CN102724557B - 一种多流视频直播中的编码控制方法及装置 - Google Patents

Abstract

本申请提供了一种多流视频直播中的编码控制方法及装置，其中，所述的方法包括：获取多流视频直播中各路视频的画面布局信息及清晰度；其中，所述画面布局信息包括主画面和分画面；根据所述画面布局信息动态调整各路视频的清晰度，具体包括：将主画面对应视频的清晰度调整为高于第一阈值，和/或，将分画面对应视频的清晰度调整为低于第二阈值。本申请可以满足用户对每路视频不同清晰度的需求，减少带宽的占用和资源的耗费。

Description

一种多流视频直播中的编码控制方法及装置

技术领域

本申请涉及视频处理的技术领域，特别是涉及一种多流视频直播中的编码控制方法，一种多流视频直播中的编码控制装置，一种多流视频直播服务器，以及，一种多流视频播放器。

背景技术

多流视频直播可以理解为多路视频流同时在一个画面中播放，即在同一画面为用户同时播放多路视频。参考图1所示的多流视频直播的画面示意图，通常多流视频直播的画面包括一个主画面和多个分画面，各主画面和分画面分别播放不同的视频，用户可以根据需求对各主画面和分画面进行布局和控制，选择播放哪些路的视频，切换某路视频为主画面，或关闭某路视频。

现有的多流视频直播方案，每路视频都是采用同样的清晰度，无法做到动态调整以符合用户的需求。比如说大多数用户最关注的视频应该以高清晰度播放，大多数用户不关注的视频应该以低清晰度播放。并且，对各路视频都采用同样的清晰度播放，势必导致宽带的占用和资源的耗费。

因此，目前需要本领域技术人员迫切解决的一个技术问题就是：提出一种多流视频直播中的编码控制机制，用以满足用户对每路视频不同清晰度的需求，减少带宽的占用和资源的耗费。

发明内容

本申请的目的是提供一种多流视频直播中的编码控制方法和装置，用以满足用户对每路视频不同清晰度的需求，减少带宽的占用和资源的耗费。

为了解决上述问题，本申请公开了一种多流视频直播中的编码控制方法，包括：

获取多流视频直播中各路视频的画面布局信息及清晰度；其中，所述画面布局信息包括主画面和分画面；

根据所述画面布局信息动态调整各路视频的清晰度，具体包括：将主画面对应视频的清晰度调整为高于第一阈值，和/或，将分画面对应视频的清晰度调整为低于第二阈值。

优选的，所述获取多流视频直播中各路视频的画面布局信息及清晰度的步骤包括：

多流视频直播服务器定时向客户端发送广播；

客户端收到所述广播后，采集本地设备上用户当前操作的各路视频的画面布局信息，以及，各路视频当前所采用的清晰度；

客户端将当前各路视频的画面布局信息及清晰度返回给多流视频直播服务器。

优选的，所述根据画面布局信息动态调整各路视频的清晰度的步骤包括：

服务器根据所述画面布局信息计算各路视频的分值，具体包括：当某路视频为主画面时则对该路视频计第一分值，当某路视频为分画面则对该路视频计第二分值；

统计各路视频的最终得分，并降序排序；

将排名第一的视频确定为主画面对应视频，并将所述主画面对应视频的清晰度调整为高于第一阈值；和/或，将排名第二及以后的视频确定为分画面对应视频，并将所述分画面对应视频的清晰度调整为低于第二阈值。

优选的，所述画面布局信息还包括关闭画面；

所述根据画面布局信息计算各路视频的分值的步骤还包括：

当某路视频为关闭画面则对该路视频计第三分值。

优选的，所述的方法，还包括，所述清晰度通过码率调整，所述第一阈值为2Mbps，所述第二阈值为400Kbps。

本申请还公开了一种多流视频直播中的编码控制装置，包括：

多路视频信息获取模块，用于获取多流视频直播中各路视频的画面布局信息及清晰度；其中，所述画面布局信息包括主画面和分画面；

清晰度调整模块，用于根据所述画面布局信息动态调整各路视频的清晰度，具体包括：将主画面对应视频的清晰度调整为高于第一阈值，和/或，将分画面对应视频的清晰度调整为低于第二阈值。

优选的，所述多路视频信息获取模块包括：

位于多流视频直播服务器的广播子模块，用于定时向客户端发送广播；

位于客户端的信息采集模块，用于在收到所述广播后，采集本地设备上用户当前操作的各路视频的画面布局信息，以及，各路视频当前所采用的清晰度；

位于客户端的信息反馈模块，用于将当前各路视频的画面布局信息及清晰度返回给多流视频直播服务器。

优选的，所述清晰度调整模块包括：

位于服务器的分值计算子模块，用于根据所述画面布局信息计算各路视频的分值，具体包括：当某路视频为主画面时则对该路视频计第一分值，当某路视频为分画面则对该路视频计第二分值；

位于服务器的统计子模块，用于统计各路视频的最终得分，并降序排序；

位于服务器的主画面清晰度调整子模块，用于将排名第一的视频确定为主画面对应视频，并将所述主画面对应视频的清晰度调整为高于第一阈值；和/或，位于服务器的分画面清晰度调整子模块，用于将排名第二及以后的视频确定为分画面对应视频，并将所述分画面对应视频的清晰度调整为低于第二阈值。

本申请还公开了一种多流视频直播服务器，包括：

多路视频信息获取模块，用于获取多流视频直播中各路视频的画面布局信息及清晰度；其中，所述画面布局信息包括主画面和分画面；

清晰度调整模块，用于根据所述画面布局信息动态调整各路视频的清晰度，具体包括：将主画面对应视频的清晰度调整为高于第一阈值，和/或，将分画面对应视频的清晰度调整为低于第二阈值。

本申请还公开了一种多流视频播放器，包括：

广播接收模块，用于接收多流视频直播服务器定时发送的广播；

信息采集模块，用于在收到所述广播后，采集本地设备上用户当前操作的各路视频的画面布局信息，以及，各路视频当前所采用的清晰度；所述画面布局信息包括主画面和分画面；

信息反馈模块，用于将当前各路视频的画面布局信息及清晰度返回给多流视频直播服务器；

播放模块，用于采用多流视频直播服务器发送的清晰度分别播放主画面和分画面。

与现有技术相比，本申请包括以下优点：

本申请实施例根据各路视频的画面布局信息，按照策略来实时调整各路视频的清晰度，使大多数用户关注的视频(主画面对应视频)能够以高清晰度播放，大多数用户不关注的视频(分画面对应视频)能够以低清晰度播放，从而满足用户对每路视频不同清晰度的需求，提升用户体验，并由于对于大多数用户不关注的视频(分画面对应视频)采用低清晰度播放，可以有效减少带宽的占用和资源的耗费。

附图说明

图1是一种多流视频直播的画面示意图；

图2是本申请的一种多流视频直播中的编码控制方法实施例1的步骤流程图；

图3是本申请的一种多流视频直播中的编码控制方法实施例2的步骤流程图；

图4是本申请的一种多流视频直播中的编码控制装置实施例的结构框图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

本申请实施例的核心构思之一在于，根据各路视频的画面布局信息，按照策略来实时调整各路视频的清晰度，使大多数用户关注的视频(主画面对应视频)能够以高清晰度播放，大多数用户不关注的视频(分画面对应视频)能够以低清晰度播放。

参照图2，其示出了本申请的一种多流视频直播中的编码控制方法实施例1的步骤流程图，具体可以包括如下步骤：

步骤101，获取多流视频直播中各路视频的画面布局信息及清晰度；

其中，所述画面布局信息包括主画面和分画面；

步骤102，根据所述画面布局信息动态调整各路视频的清晰度，具体包括：将主画面对应视频的清晰度调整为高于第一阈值，和/或，将分画面对应视频的清晰度调整为低于第二阈值。

视频质量可以通过主观和客观方式来表现，主观方式就是通常人们提到的视频清晰度，而客观参数则是量化参数或者压缩比或者码率。在视频源一样，压缩算法也一样的前提下比较，量化参数，压缩比和码率之间是有直接的比例关系的。视频文件一般涉及到三个参数：帧率、分辨率和码率。其中，帧率是指每秒显示的图片数，帧率影响画面流畅度，与画面流畅度成正比：帧率越大，画面越流畅；帧率越小，画面越有跳动感。分辨率是指图片的长度和宽度，即图片的尺寸。码率是指把每秒显示的图片进行压缩后的数据量，即数据传输时单位时间传送的数据位数，一般用的单位是kbps，即千位每秒。码率通俗一点的理解就是取样率，单位时间内取样率越大，精度就越高，处理出来的文件就越接近原始文件，也就是说画面的细节就越丰富。码率影响体积，与体积成正比，也就是说，码率越大，体积越大；码率越小，体积越小。

所谓“清晰”，是指画面十分细腻，没有马赛克。并不是分辨率越高图像就越清晰。简单说：在码率一定的情况下，分辨率与清晰度成反比关系：分辨率越高，图像越不清晰，分辨率越低，图像越清晰。在分辨率一定的情况下，码率与清晰度成正比关系，码率越高，图像越清晰；码率越低，图像越不清晰。但是，事实情况却不是这么简单。可以这么说：在码率一定的情况下，分辨率在一定范围内取值都将是清晰的；同样地，在分辨率一定的情况下，码率在一定范围内取值都将是清晰的。

在本申请的一种优选实施例中，所述清晰度可以通过码率调整，所述第一阈值可以为2Mbps，所述第二阈值可以为400Kbps。即可以将主画面对应视频的清晰度调整为高于2Mbps，和/或，将分画面对应视频的清晰度调整为低于400Kbps。

应用本申请实施例，可以满足用户对每路视频不同清晰度的需求，提升用户体验，并由于对于大多数用户不关注的视频(分画面对应视频)采用低清晰度播放，可以有效减少带宽的占用和资源的耗费。

参照图3，其示出了本申请的一种多流视频直播中的编码控制方法实施例2的步骤流程图，具体可以包括如下步骤：

步骤301，多流视频直播服务器定时向客户端发送广播；

步骤302，客户端收到所述广播后，采集本地设备上用户当前操作的各路视频的画面布局信息，以及，各路视频当前所采用的清晰度；

其中，所述画面布局信息包括主画面，分画面和关闭画面。

步骤303，客户端将当前各路视频的画面布局信息及清晰度返回给多流视频直播服务器；

步骤304，多流视频直播服务器根据所述画面布局信息计算各路视频的分值；

具体包括如下子步骤：

子步骤S11，当某路视频为主画面时则对该路视频计第一分值；

子步骤S12，当某路视频为分画面则对该路视频计第二分值；

子步骤S13，当某路视频为关闭画面则对该路视频计第三分值。

步骤305，统计各路视频的最终得分，并降序排序；

步骤306，将排名第一的视频确定为主画面对应视频，并将所述主画面对应视频的清晰度调整为高于第一阈值；以及，将排名第二及以后的视频确定为分画面对应视频，并将所述分画面对应视频的清晰度调整为低于第二阈值。

在具体实现中，多流视频直播服务器可以每隔一定时间发送广播给客户端的多流视频播放器，多流视频播放器收到广播之后将各本地设备的画面布局信息返回给多流视频直播服务器，多流视频直播服务器再根据所有多流视频播放器反馈的画面布局信息，按照策略通过调整相应视频的码率，分辨率和/或帧率等来实时调整每路视频的清晰度。例如，如果用户将某路视频设置为主画面，则对该路视频的评分为2，如果用户将某路视频设置为分画面，则对该路视频的评分为1，如果用户将某路视频关闭，则对该路视频的评分为0，然后把所有用户对各路视频的评分累计起来，进行排名，排名第一的视频则认为是主画面视频，对其使用较高清晰度进行编码，其他视频则认为是分画面视频，对其使用较低清晰度进行编码。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

参照图4，其示出了本申请的一种多流视频直播中的编码控制装置实施例的结构框图，具体可以包括以下模块：

多路视频信息获取模块401，用于获取多流视频直播中各路视频的画面布局信息及清晰度；其中，所述画面布局信息包括主画面和分画面；

清晰度调整模块402，用于根据所述画面布局信息动态调整各路视频的清晰度，具体包括：将主画面对应视频的清晰度调整为高于第一阈值，和/或，将分画面对应视频的清晰度调整为低于第二阈值。

在本申请的一种优选实施例中，所述多路视频信息获取模块301可以包括如下子模块：

位于多流视频直播服务器的广播子模块，用于定时向客户端发送广播；

位于客户端的信息采集模块，用于在收到所述广播后，采集本地设备上用户当前操作的各路视频的画面布局信息，以及，各路视频当前所采用的清晰度；

位于客户端的信息反馈模块，用于将当前各路视频的画面布局信息及清晰度返回给多流视频直播服务器。

在本申请的一种优选实施例中，所述清晰度调整模块302可以包括如下子模块：

位于服务器的分值计算子模块，用于根据所述画面布局信息计算各路视频的分值，具体包括：当某路视频为主画面时则对该路视频计第一分值，当某路视频为分画面则对该路视频计第二分值；

位于服务器的统计子模块，用于统计各路视频的最终得分，并降序排序；

位于服务器的主画面清晰度调整子模块，用于将排名第一的视频确定为主画面对应视频，并将所述主画面对应视频的清晰度调整为高于第一阈值；和/或，位于服务器的分画面清晰度调整子模块，用于将排名第二及以后的视频确定为分画面对应视频，并将所述分画面对应视频的清晰度调整为低于第二阈值。

在具体实现中，所述画面布局信息还包括关闭画面；所述根据画面布局信息计算各路视频的分值还可以包括：

当某路视频为关闭画面则对该路视频计第三分值。

作为本申请实施例具体应用的示例，所述清晰度可以通过码率调整，所述第一阈值为2Mbps，所述第二阈值为400Kbps。

本申请实施例还公开了一种多流视频直播服务器，具体可以包括如下模块：

多路视频信息获取模块，用于获取多流视频直播中各路视频的画面布局信息及清晰度；其中，所述画面布局信息包括主画面和分画面；

清晰度调整模块，用于根据所述画面布局信息动态调整各路视频的清晰度，具体包括：将主画面对应视频的清晰度调整为高于第一阈值，和/或，将分画面对应视频的清晰度调整为低于第二阈值。

其中，所述多路视频信息获取模块可以包括如下子模块：

广播子模块，用于定时向客户端发送广播；

信息接收模块，用于接收客户端依据广播反馈的当前各路视频的画面布局信息及清晰度。

在本申请的一种优选实施例中，所述清晰度调整模块可以包括如下子模块：

分值计算子模块，用于根据所述画面布局信息计算各路视频的分值，具体包括：当某路视频为主画面时则对该路视频计第一分值，当某路视频为分画面则对该路视频计第二分值；

统计子模块，用于统计各路视频的最终得分，并降序排序；

主画面清晰度调整子模块，用于将排名第一的视频确定为主画面对应视频，并将所述主画面对应视频的清晰度调整为高于第一阈值；和/或，位于服务器的分画面清晰度调整子模块，用于将排名第二及以后的视频确定为分画面对应视频，并将所述分画面对应视频的清晰度调整为低于第二阈值。

本申请实施例还公开了一种多流视频播放器，具体可以包括如下子模块：

广播接收模块，用于接收多流视频直播服务器定时发送的广播；

信息采集模块，用于在收到所述广播后，采集本地设备上用户当前操作的各路视频的画面布局信息，以及，各路视频当前所采用的清晰度；所述画面布局信息包括主画面和分画面；

信息反馈模块，用于将当前各路视频的画面布局信息及清晰度返回给多流视频直播服务器；

播放模块，用于采用多流视频直播服务器发送的清晰度分别播放主画面和分画面。

对于上述装置实施例以及服务器，客户端的实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本申请所提供的一种多流视频直播中的编码控制方法，一种多流视频直播中的编码控制装置，一种多流视频直播服务器，以及，一种多流视频播放器进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (6)

1.一种多流视频直播中的编码控制方法，其特征在于，包括:

获取多流视频直播中各路视频的画面布局信息及清晰度；其中，所述画面布局信息包括主画面和分画面；

根据所述画面布局信息动态调整各路视频的清晰度，具体包括:

服务器根据所述画面布局信息计算各路视频的分值，具体包括:当某路视频为主画面时则对该路视频计第一分值，当某路视频为分画面则对该路视频计第二分值；

统计各路视频的最终得分，并降序排序；

将排名第一的视频确定为主画面对应视频，并将所述主画面对应视频的清晰度调整为高于第一阈值；和/或，将排名第二及以后的视频确定为分画面对应视频，并将所述分画面对应视频的清晰度调整为低于第二阈值；

所述清晰度通过码率调整。

2.根据权利要求1所述的方法，其特征在于，所述获取多流视频直播中各路视频的画面布局信息及清晰度的步骤包括:

多流视频直播服务器运时向客户端发送广播；

客户端收到所述广播后，采集本地设备上用户当前操作的各路视频的画面布局信息，以及，各路视频当前所采用的清晰度；

客户端将当前各路视频的画面布局信息及清晰度返回给多流视频直播服务器。

3.根据权利要求2所述的方法，其特征在于，所述画面布局信息还包括关闭画面；

所述根据画面布局信息计算各路视频的分值的步骤还包括:

当某路视频为关闭画面则对该路视频计第三分值。

4.根据权利要求3所述的方法，其特征在于，所述清晰度通过码率调整，所述第一阈值为2Mbps，所述第二阈值为400Kbps。

5.一种多流视频直播中的编码控制装置，其特征在于，包括:

多路视频信息获取模块，用于获取多流视频直播中各路视频的画面布局信息及清晰度；其中，所述画面布局信息包括主画面和分画面；

清晰度调整模块，用于根据所述画面布局信息动态调整各路视频的清晰度，具体包括:

位于服务器的分值计算子模块，用于根据所述画面布局信息计算各路视频的分值，具体包括:当某路视频为主画面时则对该路视频计第一分值，当某路视频为分画面则对该路视频计第二分值；

位于服务器的统计子模块，用于统计各路视频的最终得分，并阵序排序；

位于服务器的主画面清晰度调整子模块，用于将排名第一的视频确定为主画面对应视频，并将所述主画面对应视频的清晰度调整为高于第一阈值；和/或，位于服务器的分画面清晰度调整子模块，用于将排名第二及以后的视频确定为分画面对应视频，并将所述分画面对应视频的清晰度调整为低于第二阈值；

所述清晰度通过码率调整。

6.根据权利要求5所述的装置，其特征在于，所述多路视频信息获取模块包括:

位于多流视频直播服务器的广播子模块，用于走时向客户端发送广播；

位于客户端的信息采集模块，用于在收到所述广播后，采集本地设备上用户当前操作的各路视频的画面布局信息，以及，各路视频当前所采用的清晰度；

位于客户端的信息反馈模块，用于将当前各路视频的画面布局信息及清晰度返回给多流视频直播服务器。