CN103024342B - 视频会议系统中的带宽控制方法及系统 - Google Patents

Abstract

本发明提供一种视频会议系统中的带宽控制方法及系统，所述方法包括以下步骤：读取带宽能力表；所述带宽能力表为将预先定义的视频编码器分配到预先划分好的各个带宽段后所形成的带宽与视频编码器对应的表格；判断当前视频会议中的多画面窗口布局是否为等比视频布局；若是，则为各终端选择相同的视频编码器；选择过程如下：根据视频总带宽及当前子窗口个数计算参考码率，并在所述带宽能力表中选择对应带宽段内码率与所述参考码率最接近且小于或等于该参考码率的视频编码器。本发明的方法及系统实现了对各个子窗口对应的终端的带宽控制，使得视频会议系统能够在一个可控的带宽范围下稳定的运行，而且采用本发明方案编码后的画面质量更好。

Description

视频会议系统中的带宽控制方法及系统

技术领域

本发明涉及视频会议系统，特别是涉及一种视频会议系统中的带宽控制方法以及一种视频会议系统中的带宽控制系统。

背景技术

视频会议系统中，实现让终端同时观看多画面布局的功能一般是依靠MCU(MultipointControlUnit，多点控制单元)把来自不同客户的不同画面的输入码流解码，然后按某种多画面布局合成一个包含了多个终端视频图像的画面再重新编码得到一个输出码流的方式实现的。视频会议系统的架构可参见图1所示。

常规视频会议系统中，MCU处理多个码流的流程示意图可参见图2所示。以4个码流为例进行说明，MCU把来自4个不同终端的码流解码，得到4个不同画面，然后把它们按2x2的多画面布局合成到一个画面中，再把它们编码就得到了输出码流。这个输出码流就是发给各个需要观看多画面的视频会议终端的码流。为了适应终端的性能差异，这种MCU通常会为不同性能的终端输出不同编码格式的码流。在这种常规视频会议系统中，收和发的视频流的码流的带宽是基本相等的，例如，对于1个720P的终端，它发送了一个720P的视频流给MCU，同时也收到一个来自MCU合成后的720P视频流，总体上这两路视频所占的带宽是基本相等的。常规MCU通过合成多画面的上下行带宽基本恒定，所以视频会议系统的带宽控制会相对简单，系统管理人员只需要保证各终端的上下行带宽是某一恒定值，既可得到稳定视频质量。

然而，上述常规视频会议系统，由于MCU需要承担繁重的解码合成再编码的工作，因此MCU的成本一般都比较高。为解决这个问题，业界提出了一种基于通知编码技术的视频会议系统，采用多码流方式及根据实际画面尺寸的通知编码技术实现多画面。

众所周知，常规的视频会议，在屏幕上看到的来自多个不同终端的画面其实是由MCU合成之后的单个视频图像，而该图像中的各子画面面积肯定是小于等于整个画面的面积的。例如，720P的终端，它观看的画面是1280*720的，那么它显示出来的多画面视频图像中，各子画面的大小肯定是小于等于1280*720的。上述基于通知编码技术的视频会议系统就是建立在“子画面小于等于总画面”的基础上的，该技术通过MCU通知所有在大画面上的客户端，让它们按各自所在子画面的尺寸编解码，然后发给MCU，MCU则不再对这些码流解码和合成编码，而是直接转发给其他客户端。于是来自不同客户端的视频码流，经由MCU中转到达了会议当中的各个终端。这些码流到达了目标终端后，经目标终端分别解码，然后显示到屏幕上，达到了传统视频会议的多画面的效果。

如图3所示，多画面布局的总画面大小为1920*1080，4个子画面的大小都为705*576，所以MCU在会议过程中负责通知各终端，按多画面布局中的画面大小，即705*576进行编码。MCU收到了终端的码流后直接转发给其他观看多画面的终端。观看多画面的终端收到多个视频码流后分别用不同的解码器解码，然后按多画面布局显示。

以上利用通知编码实现多画面的技术，由于MCU不必承担繁重的解码合成再编码的工作，因此MCU的成本大大降低。同时也因为应用了该技术，使得将来有更多的业务设计和控制策略的灵活性。但更多的灵活性的背后存在一个关系到整个系统稳定性的问题——带宽控制的难度增大。我们必须对各个子窗口对应的终端进行严格的带宽控制，尤其在多画面窗口布局改变时，我们必须通过计算并逐一通知各终端使用某种编解码器编码，只有这样严格地控制才可以让系统在可控的带宽范围内稳定运行。

发明内容

基于此，本发明提供一种视频会议系统中的带宽控制方法及系统，能够让基于通知编码技术的视频会议系统在可控的带宽范围内稳定运行。

为实现上述目的，本发明采用如下的技术方案：

一种视频会议系统中的带宽控制方法，包括以下步骤：

读取带宽能力表；所述带宽能力表为将预先定义的视频编码器分配到预先划分好的各个带宽段后所形成的带宽与视频编码器对应的表格；

判断当前视频会议中的多画面窗口布局是否为等比视频布局；

若是，则为各终端选择相同的视频编码器；选择过程如下：根据视频总带宽及当前子窗口个数计算参考码率，并在所述带宽能力表中选择对应带宽段内码率与所述参考码率最接近且小于或等于该参考码率的视频编码器。

一种视频会议系统中的带宽控制系统，包括：

读取模块，用于读取带宽能力表；所述带宽能力表为将预先定义的视频编码器分配到预先划分好的各个带宽段后所形成的带宽与视频编码器对应的表格；

判断模块，用于判断当前视频会议中的多画面窗口布局是否为等比视频布局；

第一视频编码器计算模块，用于在所述判断模块的判断结果为是的情况下，为各终端选择相同的视频编码器；选择过程如下：根据视频总带宽及当前子窗口个数计算参考码率，并在所述带宽能力表中选择对应带宽段内码率与所述参考码率最接近且小于或等于该参考码率的视频编码器。

由以上方案可以看出，本发明的视频会议系统中的带宽控制方法及系统，首先自定义一个带宽与视频编码器对应的带宽能力表，然后判断当前的多画面窗口布局类型，在等比视频布局的情况下，计算出参考码率并根据该参考码率在所述带宽能力表中选择合适的视频编码器。由于本发明的方案中各终端需要根据选定的视频编码器进行编码，因此实现了对各个子窗口对应的终端的带宽控制，使得视频会议系统能够在一个可控的带宽范围下稳定的运行。而且采用本发明的方案所编码出的视频画面质量更好。

附图说明

图1为视频会议系统的架构示意图；

图2为常规视频会议系统中MCU处理多个码流的流程示意图；

图3为通知编码实现多画面的流程示意图；

图4为本发明实施例中一种视频会议系统中的带宽控制方法的流程示意图；

图5为本发明实施例中所支持的几种非等比视频布局示意图；

图6为本发明实施例中一种视频会议系统中的带宽控制系统的结构示意图。

具体实施方式

下面结合附图以及具体的实施例，对本发明的技术方案作进一步的描述。

要实现稳定的视频会议效果，我们需要一套完整的带宽控制策略及用户的交互设计。若需要让视频会议系统在一个可控的带宽范围下稳定的运行，那么我们必须使我们在终端与服务器之间进行传输视频、音频、会议信令所用的总带宽不超过系统所部署网络环境的带宽值。例如，用户希望召开一个4Mbps带宽的会议，那么我们就认为所有参会终端到达MCU的带宽至少为4Mbps，而我们的带宽控制的目标就是：视频带宽+音频带宽+会议信令带宽＜＝4Mbps。

音频和会议信令所占的带宽基本不变，所以在通知编码的带宽控制中，控制的重点就是视频的带宽。为了方便后面的描述，我们暂时把除了音频和信令外的代表单个客户端与服务器间的点对点的用于视频传输的带宽最大值称为“视频总带宽”，把当前终端观看视频和上传视频所消耗的带宽称为“视频消耗带宽”。其中，视频总带宽包括上下行带宽相等以及上下行带宽不相等两种情况，在本发明实施例中，仅针对视频总带宽的上下行带宽相等的情况进行说明；另外，视频消耗带宽是一对可变值，在一个终端没有观看任何一路视频时，它的下行值为零，当它每增加观看了一路视频时，它的下行值就增加了该路视频编码器对应的输出带宽，当该终端的视频在多画面布局中某个子画面上时，该终端则按该子画面大小进行编解码并上传，其视频消耗带宽的上传值则为该终端编码器输出的带宽值。

参见图1所示，一种视频会议系统中的带宽控制方法，包括以下步骤：

步骤S101，读取带宽能力表；所述带宽能力表为将预先定义的视频编码器分配到预先划分好的各个带宽段后所形成的带宽与视频编码器对应的表格。

本发明实施例中只需直接读取带宽能力表即可，而事实上现有技术中是不存在这个带宽能力表的。因此为了让通知编码中带宽控制得以实现，我们在步骤S101之前还做了以下前期准备工作：

1)预先定义视频编码器。在本发明实施例中，我们根据不同的分辨率、帧率和码率定义了23种编码组合，我们视他们为23种视频编码器；

2)预先划分带宽等级。在本发明实施例中，为了方便用户根据带宽情况创建视频会议，我们从384kbps到8Mbps不等比地划分了11个带宽段；

3)生成带宽能力表。我们根据视频编码器的输出码率不可高于视频总带宽的原则，将上述23种视频编码器分配到各个带宽段中。表中各段的视频编码器可以按码率大小由小到大排列，于是形成一份带宽和视频编解码器对应的表格，这份表格就是带宽能力表。在本发明实施例中，所生成的带宽能力表如下面的表一所示：

表一：带宽能力表

需要说明的是，上表只是一个示例，并不构成对本发明方案的限制。

步骤S102，判断当前视频会议中的多画面窗口布局是否为等比视频布局。所谓的等比视频布局，即多画面窗口布局中所有子窗口都大小相等的布局。与此相反的布局我们称之为：非等比视频布局，即除了等比视频布局以外的其它形式的布局。

步骤S103，若是(即当前视频会议中的多画面窗口布局是等比视频布局)，为保证各终端观看多画面时带宽不超出视频总带宽，MCU需要通知布局中的各终端按相同的视频编码器编码，即本发明实施例中为各终端选择相同的视频编码器。具体的选择过程可以如下：根据视频总带宽及当前子窗口个数计算参考码率，并在所述带宽能力表中选择对应带宽段内码率与所述参考码率最接近且小于或等于该参考码率的视频编码器。

作为一个较好的实施例，上述计算参考码率的过程具体可以包括如下：根据所述视频总带宽及当前子窗口个数，采用如下公式计算等比视频布局下的参考码率：视频总带宽/当前子窗口个数＝参考码率。

另外，为了通知编码的带宽计算简单，我们可以规定在非等比视频布局中的子窗口只能由大、小两种不同尺寸类型的窗口组成，而不可以由大、中、小或更多类型的窗口组成。如图5所示为本发明实施例中支持的几种非等比视频布局示意图。因此，作为一个较好的实施例，若步骤S102中判断得出当前视频会议中的多画面窗口布局不是等比视频布局，并且进一步的判断得出是由大、小两种(仅为两种)不同尺寸窗口所组成的非等比视频布局，则MCU需要确定这个非等比视频布局中一大、一小的两种尺寸的视频编码器，即为该非等比视频布局上各终端分别选择大、小两种不同尺寸窗口的视频编码器；其中：

小尺寸窗口的视频编码器的选择过程如下：在所述带宽能力表中选择对应带宽段内最小码率的视频编码器作为所述小尺寸窗口的视频编码器；

大尺寸窗口的视频编码器的选择过程如下：根据视频总带宽、所有小尺寸窗口的视频编码器的码率之和以及大尺寸窗口的个数计算非等比视频布局下的参考码率，并在所述带宽能力表中选择对应带宽段内码率与所述非等比视频布局下的参考码率最接近且小于或等于该参考码率的视频编码器作为所述大尺寸窗口的视频编码器。

作为一个较好的实施例，上述计算非等比视频布局下的参考码率的过程具体可以包括如下：根据所述视频总带宽、所有小尺寸窗口的视频编码器的码率之和以及大尺寸窗口的个数，采用如下公式计算非等比视频布局下的参考码率：(视频总带宽-所有小尺寸窗口的视频编码器的码率之和)/大尺寸窗口的个数＝参考码率。

另外，为了保证视频消耗带宽不超出带宽段范围，我们还制定了以下策略：

1)为保证上传带宽不超出带宽段，某个带宽段内的视频会议一旦召开后，在会议过程中无论多画面布局如何变化，MCU通知客户端更改视频编码器的范围必须是带宽能力表中该段内的视频编码器；

2)为了保证终端的下载带宽不超出带宽段，某个带宽段内的视频会议可以使用的视频布局的子窗口个数必须满足：该段内的最小视频编码器输出码率*视频布局的总窗口个数＜＝视频总带宽。在本发明实施例中，由于解码器资源是有限的，经过计算发现，终端最多能够实现16路视频解码，所以我们规定所有多画面布局中，最多窗口数量为16画面。

作为一个较好的实施例，上述带宽控制方法在选定视频编码器之后，还可以包括一个步骤：通知各终端按照所选择的视频编码器进行编码。由于各终端需要根据选定的视频编码器进行编码，因此实现了对各个子窗口对应的终端的严格带宽控制，使得视频会议系统能够在一个可控的带宽范围下稳定的运行。

另外，与上述一种视频会议系统中的带宽控制方法相对应的，本发明还提供一种视频会议系统中的带宽控制系统，如图6所示，包括：

读取模块101，用于读取带宽能力表；所述带宽能力表为将预先定义的视频编码器分配到预先划分好的各个带宽段后所形成的带宽与视频编码器对应的表格；

判断模块102，用于判断当前视频会议中的多画面窗口布局是否为等比视频布局；

第一视频编码器计算模块103，用于在所述判断模块的判断结果为是的情况下，为各终端选择相同的视频编码器；选择过程如下：根据视频总带宽及当前子窗口个数计算参考码率，并在所述带宽能力表中选择对应带宽段内码率与所述参考码率最接近且小于或等于该参考码率的视频编码器。

作为一个较好的实施例，所述带宽控制系统还可以包括：

第二视频编码器计算模块，用于在所述判断模块的判断结果为否并且当前视频会议中的多画面窗口布局是由大、小两种不同尺寸窗口所组成的非等比视频布局时，为该非等比视频布局上各终端分别选择大、小两种不同尺寸窗口的视频编码器；其中，小尺寸窗口的视频编码器的选择过程如下：在所述带宽能力表中选择对应带宽段内最小码率的视频编码器作为所述小尺寸窗口的视频编码器；另外，大尺寸窗口的视频编码器的选择过程如下：根据视频总带宽、所有小尺寸窗口的视频编码器的码率之和以及大尺寸窗口的个数计算非等比视频布局下的参考码率，并在所述带宽能力表中选择对应带宽段内码率与所述非等比视频布局下的参考码率最接近且小于或等于该参考码率的视频编码器作为所述大尺寸窗口的视频编码器。

作为一个较好的实施例，所述第一视频编码器计算模块103中可以包括：

第一参考码率计算模块，用于根据所述视频总带宽及当前子窗口个数，采用如下公式计算等比视频布局下的参考码率：视频总带宽/当前子窗口个数＝参考码率。

作为一个较好的实施例，所述第二视频编码器计算模块中可以包括：

第二参考码率计算模块，用于根据所述视频总带宽、所有小尺寸窗口的视频编码器的码率之和以及大尺寸窗口的个数，采用如下公式计算非等比视频布局下的参考码率：(视频总带宽-所有小尺寸窗口的视频编码器的码率之和)/大尺寸窗口的个数＝参考码率。

作为一个较好的实施例，所述带宽控制系统还可以包括：

通知模块，用于在第一视频编码器计算模块或第二视频编码器计算模块选定视频编码器之后，通知各终端按照所选择的视频编码器进行编码。

上述一种视频会议系统中的带宽控制系统的其它技术特征与本发明的一种视频会议系统中的带宽控制方法相同，此处不予赘述。

通过以上方案可以看出，本发明的视频会议系统中的带宽控制方法及系统，首先自定义一个带宽与视频编码器对应的带宽能力表，然后判断当前的多画面窗口布局类型，在等比视频布局的情况下，计算出参考码率并根据该参考码率在所述带宽能力表中选择合适的视频编码器。由于本发明的方案中各终端需要根据选定的视频编码器进行编码，因此实现了对各个子窗口对应的终端的带宽控制，使得视频会议系统能够在一个可控的带宽范围下稳定的运行。而且采用本发明的方案所编码出的视频画面质量更好。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种视频会议系统中的带宽控制方法，其特征在于，包括以下步骤：

读取带宽能力表；所述带宽能力表为将预先定义的视频编码器分配到预先划分好的各个带宽段后所形成的带宽与视频编码器对应的表格；

判断当前视频会议中的多画面窗口布局是否为等比视频布局；

若是，则为各终端选择相同的视频编码器；选择过程如下：根据视频总带宽及当前子窗口个数计算参考码率，并在所述带宽能力表中选择对应带宽段内码率与所述参考码率最接近且小于或等于该参考码率的视频编码器；

若判断得出当前视频会议中的多画面窗口布局不是等比视频布局而是由大、小两种不同尺寸窗口所组成的非等比视频布局，则为该非等比视频布局上各终端分别选择大、小两种不同尺寸窗口的视频编码器；其中：

小尺寸窗口的视频编码器的选择过程如下：在所述带宽能力表中选择对应带宽段内最小码率的视频编码器作为所述小尺寸窗口的视频编码器；

大尺寸窗口的视频编码器的选择过程如下：根据视频总带宽、所有小尺寸窗口的视频编码器的码率之和以及大尺寸窗口的个数计算非等比视频布局下的参考码率，并在所述带宽能力表中选择对应带宽段内码率与所述非等比视频布局下的参考码率最接近且小于或等于该参考码率的视频编码器作为所述大尺寸窗口的视频编码器。

2.根据权利要求1所述的视频会议系统中的带宽控制方法，其特征在于，根据所述视频总带宽及当前子窗口个数，采用如下公式计算等比视频布局下的参考码率：视频总带宽/当前子窗口个数＝参考码率。

3.根据权利要求1所述的视频会议系统中的带宽控制方法，其特征在于，根据所述视频总带宽、所有小尺寸窗口的视频编码器的码率之和以及大尺寸窗口的个数，采用如下公式计算非等比视频布局下的参考码率：(视频总带宽－所有小尺寸窗口的视频编码器的码率之和)/大尺寸窗口的个数＝参考码率。

4.根据权利要求1所述的视频会议系统中的带宽控制方法，其特征在于，在选定视频编码器之后，还包括步骤：通知各终端按照所选择的视频编码器进行编码。

5.一种视频会议系统中的带宽控制系统，其特征在于，包括：

读取模块，用于读取带宽能力表；所述带宽能力表为将预先定义的视频编码器分配到预先划分好的各个带宽段后所形成的带宽与视频编码器对应的表格；

判断模块，用于判断当前视频会议中的多画面窗口布局是否为等比视频布局；

第一视频编码器计算模块，用于在所述判断模块的判断结果为是的情况下，为各终端选择相同的视频编码器；选择过程如下：根据视频总带宽及当前子窗口个数计算参考码率，并在所述带宽能力表中选择对应带宽段内码率与所述参考码率最接近且小于或等于该参考码率的视频编码器；

第二视频编码器计算模块，用于在所述判断模块的判断结果为否并且当前视频会议中的多画面窗口布局是由大、小两种不同尺寸窗口所组成的非等比视频布局时，为该非等比视频布局上各终端分别选择大、小两种不同尺寸窗口的视频编码器；其中，小尺寸窗口的视频编码器的选择过程如下：在所述带宽能力表中选择对应带宽段内最小码率的视频编码器作为所述小尺寸窗口的视频编码器；大尺寸窗口的视频编码器的选择过程如下：根据视频总带宽、所有小尺寸窗口的视频编码器的码率之和以及大尺寸窗口的个数计算非等比视频布局下的参考码率，并在所述带宽能力表中选择对应带宽段内码率与所述非等比视频布局下的参考码率最接近且小于或等于该参考码率的视频编码器作为所述大尺寸窗口的视频编码器。

6.根据权利要求5所述的视频会议系统中的带宽控制系统，其特征在于，所述第一视频编码器计算模块包括：

第一参考码率计算模块，用于根据所述视频总带宽及当前子窗口个数，采用如下公式计算等比视频布局下的参考码率：视频总带宽/当前子窗口个数＝参考码率。

7.根据权利要求5所述的视频会议系统中的带宽控制系统，其特征在于，所述第二视频编码器计算模块包括：

第二参考码率计算模块，用于根据所述视频总带宽、所有小尺寸窗口的视频编码器的码率之和以及大尺寸窗口的个数，采用如下公式计算非等比视频布局下的参考码率：(视频总带宽－所有小尺寸窗口的视频编码器的码率之和)/大尺寸窗口的个数＝参考码率。

8.根据权利要求5所述的视频会议系统中的带宽控制系统，其特征在于，还包括：

通知模块，用于在所述第一视频编码器计算模块或第二视频编码器计算模块选定视频编码器之后，通知各终端按照所选择的视频编码器进行编码。