CN103856741B - 视频会议流控方法及视频会议多点控制装置 - Google Patents

Abstract

本发明公开了一种视频会议流控方法及视频会议多点控制装置，其中方法包括：接收到终端发送的降速请求时进行视频编码速率匹配，若匹配成功，则对该终端的视频编码速率进行降速处理；若匹配失败，判断是否满足进行全网降速处理的条件，是，则进行全网降速流控处理。该视频会议流控方法及视频会议多点控制单元有效减少视频会议系统在降速处理过程中终端视频流畅性与图像质量对终端网络质量的依赖性。

Description

视频会议流控方法及视频会议多点控制装置

技术领域

本发明涉及数据通信领域，尤其涉及一种视频会议流控方法及视频会议多点控制装置。

背景技术

视频会议系统，又称会议电视系统，是指两个或两个以上不同地方的个人或群体，通过传输线路及多媒体设备，将声音、影像及文件资料互传，实现即时且互动的沟通，以实现会议目的的系统设备。MCU，又称“多点控制单元”，是实现多个终端互相通讯的设备，是会议电视系统最重要的设备之一。

视频会议系统的图像编码标准协议是H系列，即ITU-T H.261、H.263和H.264协议，是视频会议系统重要的协议之一。一个视频能力由三部分组成，即编码能力，编码格式和编码速率，例如H264_4Cif8M的视频能力，其编码能力是H264，编码格式是4Cif，编码速率是8M。会议视频能力集是多个视频能力的一个集合。

视频会议系统流控策略一般分为单点升降速流控和全网升降速流控两种，本发明假定请求升降速都由终端发起，本发明的“升降速”均指升高或降低终端视频编码速率。

（1）单点升降速流控，指当系统中有一个终端由于网络质量原因请求升降速时，MCU进行速率匹配（图1），匹配成功，则对终端编码速率进行升降速，否则升降速失败，降速失败的终端会出现花屏或图像延时等现象，如图1所示为MCU进行速率匹配的过程包括步骤101-105；单点升降速流控实现流程见图2包括步骤201-204。

（2）全网升降速流控，指当有一个终端由于网络质量原因请求升高或降低码率时，系统中与该终端视频能力相同的所有终端均要升高或降低码率，全网升降速流控实现流程见图3，实现的过程包括步骤301-303。

两种策略各有优缺点，单点升降速流控策略的优点是尽最大可能保证终端视频图像质量，但视频流畅性无法保证，即容易出现图像花屏延时等现象。全网升降速流控策略的优点是保证终端视频的流畅性，但视频图像质量受终端网络质量影响较大。

发明内容

本发明要解决的主要技术问题是，提供一种视频会议流控方法及视频会议多点控制装置有效减少视频会议系统在降速处理过程中终端视频流畅性与图像质量对终端网络质量的依赖性。

为解决上述技术问题，本发明提供一种视频会议流控方法，其具体技术方案如下：

一种视频会议流控方法,其特征在于，包括以下步骤：

接收到终端发送的降速请求时进行视频编码速率匹配，若匹配成功，则对该终端的视频编码速率进行降速处理；若匹配失败，判断是否满足进行全网降速处理的条件，是，则进行全网降速流控处理。

进一步地，所述视频会议流控方法还包括：对参加会议的终端设置终端等级；

所述判断是否满足进行全网降速处理的条件，是，则进行全网降速流控处理的过程包括：

判断所述终端的终端等级是否高于预设终端等级阀值，若所述终端的终端等级高于预设终端等级阀值，则进行全网降速流控处理。

进一步地，所述判断是否满足进行全网降速处理的条件，是，则进行全网降速流控处理的过程包括：

计算终端网络质量参数；

判断计算的网络质量参数是否在预设范围之内，若在，则进行全网降速流控处理。

进一步地，当请求终端的终端等级低于预设终端等级阀值时该方法还包括：

计算终端网络质量参数；

判断计算的网络质量参数是否在预设范围之内，若在，则进行全网降速处理。

进一步地，所述网络质量参数包括网络质量度量值，所述网络质量度量值为通过计算花屏或图像延时终端数与总终端数的百分比；

所述判断计算的网络质量参数是否在预设范围之内，若在，则进行全网降速处理的过程包括：

判断计算的网络质量度量值是否大于预设网络质量阀值，则进行全网降速流控处理。

同样为了解决上述的技术问题，本发明还提供了一种视频会议多点控制装置，包括：速率匹配模块、判断模块和降速处理模块；

所述速率匹配模块用于接收终端降速请求时进行视频编码速率匹配，若匹配成功，则通知所述降速处理模块对该终端的视频编码率进行降处理，若匹配失败，则通知所述判断模块判断是否满足进行全网降速处理的条件，若是，则通知所述降速处理模块进行全网降速流控处理。

进一步地，所述视频会议多点控制装置还包括：等级设置模块；所述等级设置模块用于对参加会议的终端设置终端等级；所述判断模块用于速率匹配失败时判断所述终端的终端等级是否高于预设终端等级阀值，若所述终端的终端等级高于预设终端等级阀值，则通知所述降速处理模块进行全网降速流控处理。

进一步地，所述判断模块包括：第一计算模块和网络参数判断模块；

所述第一计算模块用于速率匹配失败时计算终端网络质量参数；

所述网络参数判断模块用于判断计算的网络质量参数是否在预设范围之内，若在，则通知所述降速处理模块进行全网降速流控处理。

进一步地，所述多点控制装置还包括：第二计算模块和网络参数判断模块；所述等级判断模块还用于当所述判断模块所述终端的终端等级低于预设终端等级阀值时通知所述第二计算模块计算终端网络质量参数；所述网络参数判断模块用于判断计算的网络质量参数是否在预设范围之内，若在，则通知所述降速处理模块进行全网降速流控处理。

进一步地，述网络质量参数包括网络质量度量值，所述网络质量度量值为通过计算花屏或图像延时终端数与总终端数的百分比；

所述网络判断模块用于判断计算的网络质量度量值是否大于预设网络质量阀值，若大于，则通知所述速率处理模块进行全网降速流控处理。

本发明的有益效果是：

本发明提供一种视频会议流控方法及视频会议多点控制装置通过：多点控制装置接收到终端发送降速请求时进行视频编码速率匹配，若匹配成功，则对该终端的视频编码速率进行降速处理；若匹配失败，判断是否满足进行全网降速处理的条件，是，则进行全网降速流控处理的方式对终端进行降速处理；该方法可以根据终端速率匹配的情况合理的选择流控处理方法，当匹配成功时，选择单点降速流控，当匹配失败时，根据是否满足全网降速的条件的判断结果选择是否全网降速流控，可以保证终端的视频流畅性和图像质量，对系统中所有终端视频流畅性与图像质量做出一个有效的权衡，从而减少终端视频流畅性与图像质量对网络质量依赖性。

附图说明

图1为现有技术中的速率匹配流程图；

图2为现有技术中的单点升降速流控流程图；

图3为现有技术中的全网升降速流控流程图；

图4为本发明实施例一中视频会议流控方法的第一种流程图；

图5为本发明实施一中视频会议流控方法的第二种流程图；

图6为本发明实施一中视频会议流控方法的第三种流程图；

图7为本发明实施例一中视频会议流控方法的第四种流程图

图8为本发明实施二的视频会议系统的结构示意图；

图9为本发明实施例三的视频会议多点控制装置的第一种结构示意图；

图10为本发明实施三的视频会议多点控制装置的第二种结构示意图；

图11为本发明实施三的视频会议多点控制装置的第三种结构示意图；

图12为本发明实施三的视频会议多点控制装置的第四种结构示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。

实施例一：

如图4所示，为本实施例视频会议流控方法的基本流程图，本发明的“升降速”均指升高或降低终端视频编码速率，该方法包括：

步骤401：接收到终端发送的降速请求时进行视频编码速率匹配，若匹配成功执行步骤402，若匹配失败执行步骤403；

步骤402：对该终端的视频编码速率进行降速处理

步骤403：判断是否满足进行全网降速处理的条件，是，则执行步骤404，若否，则执行步骤405；

步骤404：进行全网降速流控处理；

步骤405：不做降速处理。

本实施例的视频会议流控方法可以对系统中所有终端视频流畅性与图像质量做出一个有效的权衡，从而减少终端视频流畅性与图像质量对网络质量依赖性。

本实施例的视频会议方法还括：对参加会议的终端设置终端等级，终端等级可以是一个0-9之间的数字，指终端重要性等级，数字越小，重要性等级越高，等级高的终端优先保证视频流畅性。

如图5所示，在对参加会议的终端设置终端等级的情况下，上述步骤403中判断是否满足进行全网降速处理的条件，是，则进行全网降速流控处理的过程具体包括：

判断所述终端的终端等级是否高于预设终端等级阀值，当所述请求终端的终端等级高于预设终端等级阀值时，则进行全网降速流控处理。

视频会议流控的具体过程如下（假设终端等级为0-9，数字越大等级越高）预设终端等级阀值为2）：

步骤501：终端发送降速请求；

步骤502：多点控制单元MCU接收到终端降速请求时，进行速率匹配，若匹配成功，执行步骤503；若匹配失败，执行步骤504；

步骤503：请求终端的视频编码速率进行降速处理；

步骤504：判断所述终端的终端等级是否高于预设终端等级阀值（此时为2），若高于预设终端等级阀值，则执行步骤505，若低于终端等级阀值，则执行步骤506

步骤505：查找视频会议系统中与该终端视频能力相同的所有终端，降低视频能力相同的所有终端的视频编码速率，即进行全网降速流控处理；

步骤506：不做降速处理。

本实施例在匹配失败后，上述步骤403中判断是否满足进行全网降速处理的条件，是，则进行全网降速流控处理的过程可以包括：

计算终端网络质量参数；

判断计算的网络质量参数是否在预设范围之内，若在，则进行全网降速流控处理。

如图6所示，在视频会议中降速处理的具体过程可以包括：

步骤601：终端发送降速请求；

步骤602：多点控制单元MCU接收到终端降速请求时，进行速率匹配，若匹配成功，执行步骤603；若匹配失败，执行步骤604；

步骤603：请求终端的视频编码速率进行降速处理；

步骤604：计算终端网络质量参数；

步骤605：判断计算的网络质量参数是否在预设范围之内，若在，执行步骤606，若不在执行步骤607；

步骤606：查找视频会议系统中与该终端视频能力相同的所有终端，降低视频能力相同的所有终端的视频编码速率，即进行全网降速流控处理；

步骤607：不做降速处理。

在上述步骤403中当请求终端的终端等级低于预设终端等级阀值时该方法还包括：

计算终端网络质量参数；

判断计算的网络质量参数是否在预设范围之内，若在，则进行全网降速处理。

本实施例中的网络质量参数是反应中终端网络质量好与差的数据，如可以网络质量度量值，该网络质量度量值为花屏或图像延时终端数与总终端数的百分比，数值越大，表明网络质量越差。

在网络质量参数为网络质量度量值的情况下，上述判断计算的网络质量参数是否在预设范围之内，若在，则进行全网降速处理的具体过程可以包括：

判断计算的网络质量度量值是否大于网络质量阀值，则进行全网降速流控处理。

本实施例中预设网络质量度量阈值，是一个百分数，指花屏或图像延时终端数与总终端数的最大百分比，阈值越大，表明允许终端花屏或延时的终端数越多。

如图7所示，使用本实施例的视频会议流控方法降低终端速率的具体过程可以包括如下过程：

步骤701：终端发送降速请求；

步骤702：多点控制装置MCU接收到终端降速请求时，进行速率匹配，若匹配成功，执行步骤703；若匹配失败，执行步骤704；

步骤703：请求终端的视频编码速率进行降处理；

步骤704：判断所述请求终端的终端等级是否高于预设终端等级阀值，若高于预设终端等级阀值，则执行步骤705，若低于预设终端等级阀值，则执行步骤706：

步骤705：进行全网升降速流控处理；

步骤706：计算终端网络质量度量值；

步骤707：判断计算的网络质量度量值是否大于预设网络质量阀值，若大于，则执行步骤708，若小于，则执行步骤709；

步骤708：进行全网升降速流控处理；

步骤709：不进行升降速处理，升降速失败。

本实施例中的终端等级阈值，指允许终端花屏或图像延时的最低终端等级，等级高于阈值的终端不能出现花屏或图像延时。

当然本实施中视频会议流控方法在速率匹配失败时，可以先判断网络质量参数是否在预设范围之内，若在则进行全网降速流控处理，若不在则，进步地判断终端的等级是否高于预设终端等级阀值，若高于，则进行全网降速流控处理，若低于，则不做降速处理。

本实施中的视频速率匹配的过程是在视频能力集合中查找与终端视编码能力、编码格式相同并且与终端所需要降到的速率相同的视频能力，若能查找到，则匹配成功，若查找不到就在视频能力集合中查找是否存在与终端编码能力、编码格式相同并且编码速率小于终端所需降到的速率。如在当终端的速率需要从6M降到4M，当查找到视频能力集合中没有与终端视编码能力、编码格式相同并且速率为4M的视频能力，但是有与终端视编码能力、编码格式相同并且速率为2M时，多点控制装置MCU就会将速率匹配到2M，本实施例的速率匹配过程可以参考图1的步骤。视频能力集合是预设的可以根据网络情况设置包含各种不同的终端的视频能力。

上述介绍的都是关于降低终端速率的过程，在本实施例中视频会议流控方法还包括对终端请求升高速率的过程，具体的处理如下：

多点控制装置接收到终端发送的升速请求时进行视频编码速率匹配，

若匹配成功则对该终端的视频编码速率进行升速处理；

若匹配失败则使终端的视频编码速率维持原来的速率。

在实际应用中一般的视频会议都是基于GUI界面，即图形用户接口；在MCU装置内部，通过GUI界面可以对会议网络质量阈值和终端等级阈值进行设置。

在GUI界面实施上述的视频流控方法的过程包括：

步骤A.通过GUI界面创建会议

步骤B.设置网络质量度量阈值（0%-100%）、终端等级阈值和终端等级（0-9）；

步骤C.通过GUI界面开会，开会成功

步骤D.MCU收到终端升降速请求时，执行本实施例的视频会议流控方法。

实施例二：

下面结合系统部署图8对本发明视频会议系统网络自适应流控进行说明。

一般视频会议系统网络自适应流控应用场景如下所述：假设系统中会议能力集为H264_720P8M、H264_720P4M和H264_4Cif4M，T1、T2、…、T10以H264_720P8M能力上端，T11、T12、…、T20以H264_720P4M能力上端，T20、T21、…、T30以H264_4Cif2M能力上端。设定T1，T2等级为0，其它终端等级为默认等级9级，终端等级阈值为1；网络质量度量阈值为10%。下面列出几种常见的流控结果

（1）T1（H264_720P8M）请求降速到6M，进行速率匹配，在视频能力集合中没有H264_720P6M，所以可以匹配到H264_720P4M，所以T1会流控到H264_720P4M

（2）T1（H264_720P8M）请求降速到3M，进行速率匹配，匹配失败，由于T1的T等级0高于T等级阈值1，即不允许花屏，此时要进行全网升降速，那么与T1同能力的终端（T1、T2、…、T10）的码率均降为H264_720P3M

（3）T11（H264_720P4M）请求降速到2M，进行速率匹配，匹配失败，由于T10的T等级9低于阈值1，此时计算网络质量度量值，若大于网络质量度量阈值10%，则T降速失败而花屏；否则进行全网升降速，那么与T11同能力的终端（T11、T12、…、T20）的码率均降为H264_720P2M

（4）T12（H264_720P2M）请求升速到3M，进行速率匹配，匹配失败，所以T12升速失败，继续维持2M

（5）T13（H264_720P2M）请求升速到4M，进行速率匹配，匹配到H264_720P4M，所以T13升速到H264_720P4M。

实施例三：

如图9所示，本实施提供了一种视频会议多点控制装置，包括：速率匹配模块、判断模块和降速处理模块；

所述速率匹配模块用于接收终端降速请求时进行视频编码速率匹配，若匹配成功，则通知所述降速处理模块对该终端的视频编码率进行降处理，若匹配失败，则通知所述判断模块判断是否满足进行全网降速处理的条件，若是，则通知所述降速处理模块进行全网降速流控处理。

如图10所示，本实施的MCU还包括：等级设置模块；所述等级设置模块用于对参加会议的终端设置终端等级；所述判断模块用于速率匹配失败时判断所述终端的终端等级是否高于预设终端等级阀值，若所述终端的终端等级高于预设终端等级阀值，则通知所述降速处理模块进行全网降速流控处理。

如图11所示，本实施例的判断模块包括：第一计算模块和网络参数判断模块；

所述第一计算模块用于速率匹配失败时计算终端网络质量参数；

所述网络参数判断模块用于判断计算的网络质量参数是否在预设范围之内，若在，则通知所述降速处理模块进行全网降速流控处理。

如图12所示，本实施例中多点控制装置还包括：第二计算模块和网络参数判断模块；所述等级判断模块还用于当所述判断模块所述终端的终端等级低于预设终端等级阀值时通知所述第二计算模块计算终端网络质量参数；所述网络参数判断模块用于判断计算的网络质量参数是否在预设范围之内，若在，则通知所述降速处理模块进行全网降速流控处理。

本实施例所述网络质量参数包括网络质量度量值，所述网络质量度量值为通过计算花屏或图像延时终端数与总终端数的百分比；

所述网络判断模块用于判断计算的网络质量度量值是否大于预设网络质量阀值，若大于，则通知所述速率处理模块进行全网降速流控处理。

本实施例中的视频会议多点控制装置可以为MCU。

本实施例的视频会议多点控制装置可以对系统中所有终端视频流畅性与图像质量做出一个有效的权衡，从而减少终端视频流畅性与图像质量对网络质量依赖性；可以根据当前终端网络质量自动切换流控，即选择全网升降速流控或单点升降速流控，有效减少视频会议系统中终端视频流畅性与图像质量严重受制于终端网络质量的问题。

以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种视频会议流控方法,其特征在于，包括以下步骤：

接收到终端发送的降速请求时进行视频编码速率匹配，若匹配成功，则对该终端的视频编码速率进行降速处理；若匹配失败，判断是否满足进行全网降速处理的条件，是，则进行全网降速流控处理；

所述进行视频编码速率匹配包括在视频能力集合中查找与终端视编码能力、编码格式相同并且不大于终端所需要降到的速率的视频能力，若能查找到，则匹配成功，若查找不到则匹配失败；

所述全网降速流控处理包括：查找视频会议系统中与该终端视频能力相同的所有终端，降低视频能力相同的所有终端的视频编码速率。

2.如权利要求1所述的视频会议流控方法，其特征在于，还包括：

对参加会议的终端设置终端等级；

所述判断是否满足进行全网降速处理的条件，是，则进行全网降速流控处理的过程包括：

判断所述终端的终端等级是否高于预设终端等级阀值，若所述终端的终端等级高于预设终端等级阀值，则进行全网降速流控处理。

3.如权利要求1所述的视频会议流控方法，其特征在于，

所述判断是否满足进行全网降速处理的条件，是，则进行全网降速流控处理的过程包括：

计算终端网络质量参数；

判断计算的网络质量参数是否在预设范围之内，若在，则进行全网降速流控处理。

4.如权利要求2所述的视频会议流控方法，其特征在于，当所述终端的终端等级低于预设终端等级阀值时该方法还包括：

计算终端网络质量参数；

判断计算的网络质量参数是否在预设范围之内，若在，则进行全网降速处理。

5.如权利要求4所述的视频会议流控方法，其特征在于，所述网络质量参数包括网络质量度量值，所述网络质量度量值为通过计算花屏或图像延时终端数与总终端数的百分比；

所述判断计算的网络质量参数是否在预设范围之内，若在，则进行全网降速处理的过程包括：

判断计算的网络质量度量值是否大于预设网络质量阀值，则进行全网降速流控处理。

6.一种视频会议多点控制装置，其特征在于，包括：速率匹配模块、判断模块和降速处理模块；

所述速率匹配模块用于接收终端降速请求时进行视频编码速率匹配，若匹配成功，则通知所述降速处理模块对该终端的视频编码率进行降处理，若匹配失败，则通知所述判断模块判断是否满足进行全网降速处理的条件，若是，则通知所述降速处理模块进行全网降速流控处理。

7.如权利要求6所述的视频会议多点控制装置，其特征在于，还包括：等级设置模块；所述等级设置模块用于对参加会议的终端设置终端等级；所述判断模块用于速率匹配失败时判断所述终端的终端等级是否高于预设终端等级阀值，若所述终端的终端等级高于预设终端等级阀值，则通知所述降速处理模块进行全网降速流控处理。

8.如权利要求6所述的视频会议多点控制装置，其特征在于，所述判断模块包括：第一计算模块和网络参数判断模块；

所述第一计算模块用于速率匹配失败时计算终端网络质量参数；

所述网络参数判断模块用于判断计算的网络质量参数是否在预设范围之内，若在，则通知所述降速处理模块进行全网降速流控处理。

9.如权利要求7所述的视频会议多点控制装置，其特征在于，还包括：第二计算模块和网络参数判断模块；所述等级判断模块还用于当所述判断模块所述终端的终端等级低于预设终端等级阀值时通知所述第二计算模块计算终端网络质量参数；所述网络参数判断模块用于判断计算的网络质量参数是否在预设范围之内，若在，则通知所述降速处理模块进行全网降速流控处理。

10.如权利要求9所述的视频会议多点控制装置，其特征在于，所述网络质量参数包括网络质量度量值，所述网络质量度量值为通过计算花屏或图像延时终端数与总终端数的百分比；

所述网络判断模块用于判断计算的网络质量度量值是否大于预设网络质量阀值，若大于，则通知所述速率处理模块进行全网降速流控处理。