CN108322693B - 一种mcu端控制第三方终端辅流的方法及系统 - Google Patents

Abstract

本发明公开了一种MCU端控制第三方终端辅流的方法及系统，通过MCU对所述辅流进行图像识别，获得发送决策结果，若当前没有辅流正在发送，且决策结果满足发送辅流条件，则执行向其他终端发送辅流，若当前辅流正在发送，且所述决策结果满足停止发送辅流条件，执行停止向其他终端发送辅流，达到了仅通过MCU实现向参与会议的终端自动启动和停止发送辅流的效果。

Description

一种MCU端控制第三方终端辅流的方法及系统

技术领域

涉及视频会议领域、远程双向教学领域。具体涉及一种MCU端控制第三方终端辅流的方法及系统。

背景技术

多点控制单元MCU通过网络通信可以实现视频会议，通过图像、声音等多重方式交流信息，展开协同工作。使用视频会议的用户比例逐渐增加，医疗、教育、金融、能源、通信、交通、等机构的使用比例也不断提高。政府视频会议网络将覆盖至乡镇，这将对带动视频会议系统市场的较快发展起到极大的促进作用。

目前的视频会议可以实现同时发送主流、辅流两路图像给远端会场。主流一般是主讲人图像，辅流是电脑VGA信号。对辅流的控制，H.239通信标准指定了Live实况和Presentation令牌两种模式。其中，在live模式下，参与会议的所有终端可以同时发送辅流。在令牌模式下，同一时刻只有一个视频会议终端可以发送辅流。

令牌模式的双流视频会议，辅流发送控制是通过令牌实现的。即，拥有辅流发送权限的视频会议终端可以发送辅流。辅流发送控制的常见方案是由 MCU指定发送辅流的终端。如MCU指定终端A发送辅流，视频会议终端A发送辅流至MCU，MCU转发给参与会议的其他终端。此刻，即使视频会议中的其他终端启动辅流，由于不拥有令牌，无法将辅流发送出去。

另外一种辅流控制方案，辅流令牌不由MCU控制，是分配给最后一个发送辅流的终端。当终端A发送辅流，此刻终端B或终端C启动辅流，则令牌交给终端B或终端C。

现有的以上两种辅流控制方案，终端拥有发送辅流的令牌后，需要视频会议终端主动操作启动辅流这个动作。无法做到仅通过MCU实现向参与会议的终端自动启动和停止发送辅流。

发明内容

本发明提供一种MCU端控制第三方终端辅流的方法及系统。要求负责辅流发送的终端到MCU的辅流控制通道和辅流媒体通道一直处于打开状态。

为解决上述问题，本发明提供方案如下：

一种令牌模式的双流视频会议中，MCU主动控制已打开辅流通道的终端发送和结束辅流控制的方法。

本发明所述控制方法，其中，多点控制单元MCU与拥有令牌的视频会议终端之间打开辅流媒体通道和辅流控制通道。所述辅流控制通道，可以是 H.323协议下的H239通道，也可以是SIP协议下的BFCP协议控制通道。

本发明所述控制方法，其中，负责发送辅流的视频会议终端通过已建立的辅流媒体通道，基于标准RTP协议，始终向MCU发送辅流视频数据。

本发明所述控制方法，其中，MCU对于收到的辅流视频帧进行图像识别，辅流决策模块对辅流帧图像识别、分析，并决定是否转发辅流。根据所述发送、结束辅流决策结果，执行发送或者结束向其他与会终端发送辅流。

本发明还提供一种MCU，所述MCU包括：

接收单元，接收已经与MCU建立辅流媒体通道的终端向MCU发送的辅流视频。其中，辅流控制通道可以是H.323终端与MCU建立的H239通道，也可以是SIP终端与MCU建立的BFCP辅流控制通道。

决策单元，用于对收到的辅流视频帧进行图像识别，并且分析决定当前是否向其他终端发送辅流，若当前已经向其他终端发送辅流，分析决定是否结束当前正在发送的辅流视频。

执行单元，根据决策单元作出的决定，执行发送辅流、结束当前发送辅流动作。

本发明实施实例中，MCU可以对开启的视频会议中，接收到的辅流视频进行图像分析，并决策是否满足向会议中其他终端发送辅流的条件，根据决策结果来作出发送辅流操作。当辅流正在发送，MCU会对发送的辅流视频进行解码分析，满足停止发送条件，则停止发送辅流。

附图说明

为了更清楚地说明本发明实施例技术中的技术方案，下面将对实施例技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例中的一种MCU控制辅流发送的流程示意图。

图2是视频会议组网示意图。

图3是本发明实施实例所述MCU控制辅流发送的流程示意图。

图4是本发明实施实例所述MCU的结构示意图。

图5是本发明实施实例决策单元结构示意图。

图6是本发明实施实例执行单元结构示意图。

实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的一种MCU端控制第三方终端辅流的方法，可以应用于H.323协议、SIP协议下的双向视频会议、双向视频教学等场景。

下面结合图1-图3，对本发明实施例提供的MCU端控制第三方终端辅流的方法进行详细介绍，其中，实施例中的终端，可以是视频会议终端、双向教学录播、PC或手机安装的视频会议终端软件等视频会议终端。上述终端仅仅是举例，而非穷举，包含但不限于以上终端。

一种MCU主动控制已打开辅流通道的发送和结束辅流控制的方法流程示意图。本发明实施例中的一种MCU主动控制已打开辅流通道的发送和结束辅流控制的方法包括如下步骤：

对于MCU收到的辅流进行拼帧、解码，对解码得到YUV数据进行图像识别，获得决策结果。

MCU与终端建立辅流通道，且其中一个终端始终向MCU发送辅流数据。其中，终端可以是第三方的视频会议终端打开辅流通道并向MCU发送辅流数据，可以是录播服务器与MCU建立辅流通道并向MCU发送辅流数据，可以是视频会议软件终端打开辅流通道并发送数据给MCU。当MCU收到终端发过来的辅流视频帧，MCU捕捉用于判断辅流是否运动的视频帧，具体应用中可如，当终端开启发送辅流数据时，MCU可对收到的辅流数据进行捕捉用于判断辅流是否运动的视频帧。

当MCU收到待判断辅流是否运动的辅流视频帧时，MCU对待判断辅流帧进行拼帧、解码，得到YUV数据进行图像识别，获得是否运动的决策结果。

如果MCU没有向其他终端发送辅流数据，MCU获得决策结果为发送辅流时， MCU执行向其他终端发送辅流数据。

优选地，所述MCU执行向其他终端发送辅流数据，其他与会终端包括第三方视频会议终端、录播服务器终端、视频会议终端软件等终端，负责接收 MCU发送的辅流数据。其中，第三方视频会议终端收到辅流数据后输出显示辅流。录播服务器终端收到辅流数据后，根据逻辑输出显示辅流、录制辅流数据。视频会议终端软件收到辅流数据，显示辅流数据。

如果在当前的视频会议中MCU正在向其他终端发送辅流数据，MCU获得决策结果为发送辅流，则MCU继续向其他终端发送辅流数据。直到MCU获得决策结果为停止发送辅流，MCU执行停止向其他终端发送辅流数据。

如果当前MCU正在向其他终端发送辅流数据，此时MCU获得决策结果为停止发送，则MCU停止向其他与会终端发送辅流。

所述MCU停止发送辅流，即MCU不再向其他终端发送辅流数据。其中，其他终端为除与MCU已建立239通道并负责向MCU发送辅流的终端外的其他终端。

如图3所示，优选地，是一种MCU主动控制已打开辅流通道的发送和结束辅流控制的方法流程如下：

MCU开启视频会议，与终端之间建立辅流通道，其中一个终端始终打开辅流通道，并始终向MCU发送辅流数据。

优选地，在H323协议下建立H.329通道，H.239使用“标记”来实现控制、指示和能力交换机制。其使得在视讯会议系统中可以使用多条媒体通道，即在H.239终端和MCU之间，可同时建立多条视频逻辑通道，以同时发送活动视频和PC桌面内容(如幻灯片、浏览器屏幕等)。

优选地，在SIP协议下通信的双方通过会话描述协议SDP交互双方支持的媒体流能力。SIP的双流需要SIP和BFCP协议共同控制实现，BFCP用于权限的申请，即当客户端想共享文档等内容时，需要向其他客户端发起BFCP floor请求，请求协商通过后，客户端再通过SIP的re-invite添加第二路视频流的SDP信息来开启第二路视频流。

MCU对所述收到的辅流进行拼帧、解码，对解码得到YUV数据进行图像识别，获得决策结果。

优选地，MCU与终端建立辅流通道，且其中一个终端始终向MCU发送辅流数据。其中，终端可以是第三方的视频会议终端打开辅流通道并发送数据，可以是录播服务器与MCU建立辅流通道并发送辅流数据，可以是视频会议软件终端打开辅流通道并发送数据给MCU。当MCU收到终端传送的辅流视频帧， MCU捕捉用于判断辅流是否运动的视频帧，具体应用中可如，当终端开启发送辅流数据时，MCU可对收到的辅流数据进行捕捉用于判断辅流是否运动的视频帧。

优选地，当MCU收到待判断辅流是否运动的辅流视频帧时，MCU对待判断辅流帧进行拼帧、解码，得到YUV数据进行图像识别，获得是否运动的决策结果。进一步，将收到的待处理辅流视频帧中相邻三帧图像对应像素值相减，然后取差值图像进行阀值化处理，提取出图像中的运动区域。

相邻两帧差分算法描述如下：假设f_k(i,j)、f_k-1(i,j)分别为某一图像序列的第k和第k-1帧，则他们的差分图像表示为：D_k＝|f_k(i,j)-f_k-1(i,j)|。

其中，(i,j)表示离散图像坐标，对差分后的图像利用选取的阀值T来进行二值化处理，判断图像中的各个像素点是前景像素点还是背景，当差分图像的某一像素值大于给定的阀值时，则认为是前景像素，反之则认为是背景像素，从而提取运动区域的图像R_k(i,j)，

最后对二值化后的图像进行连通性分析和数学形态滤波，当某一连通的区域的面积大于给定的阀值，则认为检测到运动并把该区域作为运动区域。

对所述运动区域与预先设置的阈值进行比较，大于预先设置阈值，MCU判定结果为运动。从而决策结果为发送辅流，MCU执行向其他终端发送辅流数据。

对所述运动区域与预先设置的阈值进行比较，小于预先设置阈值，MCU判定结果为无运动。继续对收到的辅流数据进行拼帧、解码，对解码得到YUV 数据进行图像识别，直到MCU判定结果为运动，决策结果为发送辅流。MCU执行向其他终端发送辅流数据。

如果MCU没有向其他终端发送辅流数据，MCU获得决策结果为发送辅流时， MCU执行向其他终端发送辅流数据。

优选地，所述MCU执行向其他终端发送辅流数据，其他与会终端包括第三方视频会议终端、录播服务器终端、视频会议终端软件等终端，收到MCU 发送的辅流数据。其中，第三方视频会议终端收到辅流数据后输出显示辅流。录播服务器终端收到辅流数据后，根据逻辑输出显示辅流、录制辅流数据。视频会议终端软件收到辅流数据，显示辅流数据。

当MCU决策结果为发送辅流，已经执行向其他终端发送辅流数据。图像分析运动区域与预先设置的阈值进行比较，大于预先设置阈值，MCU判定结果为运动。从而决策结果为发送辅流，MCU继续执行向其他终端发送辅流数据。直到MCU获得决策结果为停止发送辅流。

MCU获得决策结果为停止发送辅流，MCU并没有立即执行停止向其他终端发送辅流数据。MCU从第一次决策停止发送辅流开始计时n秒，连续n秒图像分析运动区域与预先设置的阈值进行比较，小于预先设置阈值。所述计时n 秒，n为预先设置阀值。MCU决策结果为停止发送辅流，并MCU执行停止向其他终端发送辅流数据。其中，其他终端为除与MCU已建立辅流通道的终端外的其他终端。

如图4-6所示，本发明实施例中的一种MCU主动控制已打开辅流通道的发送和结束辅流控制的MCU包括如下单元：

接收单元，用于接收终端通过辅流通道始终发送的辅流数据。所述辅流通道可以是H.323协议的239通道，也可以是SIP协议下的BFCP辅流控制的辅流通道。

优选地，MCU与终端建立辅流通道，且其中一个终端始终向MCU发送辅流数据。其中，终端可以是第三方的视频会议终端打开辅流通道并发送数据，可以是录播服务器与MCU建立辅流通道并发送辅流数据，可以是视频会议软件终端打开辅流通道并发送数据给MCU。当MCU收到终端传送的辅流视频帧， MCU捕捉用于判断辅流是否运动的视频帧，具体应用中可如，当终端开启发送辅流数据时，MCU可对收到的辅流数据进行捕捉用于判断辅流是否运动的视频帧。

决策单元，MCU对收到的辅流进行拼帧、解码，对解码得到YUV数据进行图像识别，获得决策结果。

第一数据获取单元用于MCU收到待判断辅流是否运动的辅流视频帧时， MCU对待判断辅流帧进行拼帧、解码，得到YUV数据进行图像识别，获得是否运动的决策结果；第一数据处理单元，对所述YUV数据进行帧间差分处理，区分变化区域；

第一比较单元，所述变化区域与预设值进行比较，若大于所述预设值， MCU执行向其他终端发送所述辅流；若小于所述预设值，则返回到第一数据处理模块。

优选地，所述MCU执行向其他终端发送辅流数据，其他与会终端包括第三方视频会议终端、录播服务器终端、视频会议终端软件等终端，收到MCU 发送的辅流数据。其中，第三方视频会议终端收到辅流数据后输出显示辅流。录播服务器终端收到辅流数据后，根据逻辑输出显示辅流、录制辅流数据。视频会议终端软件收到辅流数据，显示辅流数据。

如果在当前的视频会议中MCU正在向其他终端发送辅流数据，MCU获得决策结果为发送辅流，则MCU继续向其他终端发送辅流数据。直到MCU获得决策结果为停止发送辅流，MCU执行停止向其他终端发送辅流数据。

如果当前MCU正在向其他终端发送辅流数据，此时MCU获得决策结果为停止发送并达到停止发送条件，则MCU停止向其他与会终端发送辅流。所述 MCU停止发送辅流，即MCU不再向其他终端发送辅流数据。其中，其他终端为除与MCU已建立辅流通道的终端外的其他终端。

执行单元，MCU根据决策结果，执行发送辅流、停止发送辅流操作。执行单元包括第二数据处理单元，对所述YUV数据进行帧间差分处理，区分变化区域；第二比较单元，所述变化区域与所述预设值进行比较，若连续n秒小于所述预设值，则MCU执行停止向其他终端发送所述辅流；若大于所述预设值，则返回到第二数据处理单元。

当MCU决策结果为发送辅流，MCU执行单元执行发送辅流操作。其他终端收到MCU发送的辅流数据。

优选地，所述MCU执行向其他终端发送辅流数据，其他与会终端包括第三方视频会议终端、录播服务器终端、视频会议终端软件等终端，收到MCU 发送的辅流数据。其中，第三方视频会议终端收到辅流数据后输出显示辅流。录播服务器终端收到辅流数据后，根据逻辑输出显示辅流、录制辅流数据。视频会议终端软件收到辅流数据，显示辅流数据。

如果在当前的视频会议中MCU正在向其他终端发送辅流数据，MCU获得决策结果为发送辅流，则MCU执行单元继续向其他终端发送辅流数据。

如果当前MCU正在向其他终端发送辅流数据，此时MCU获得决策结果为停止发送并达到停止发送条件，则MCU执行单元执行停止向其他与会终端发送辅流。所述MCU停止发送辅流，即MCU不再向其他终端发送辅流数据。其中，其他终端为除与MCU已建立辅流通道的终端外的其他终端。

虽然结合附图描述了本发明的实施方式，但是专利所有者可以在所附权利要求的范围之内做出各种变形或修改，只要不超过本发明的权利要求所描述的保护范围，都应当在本发明的保护范围之内。

Claims (8)

1.一种适用于MCU端控制第三方终端辅流的方法，其特征在于，包括：

S0、所述MCU与所述多个终端之间建立所述辅流通道，且其中一个所述终端始终打开所述辅流通道，并始终向所述MCU发送所述辅流；

S1、MCU对所述辅流进行图像识别，获得发送决策结果；

S2、若当前没有所述MCU转发至终端的所述辅流正在发送，且所述决策结果满足发送所述辅流条件，则执行向其他终端发送所述辅流；

S3、若当前所述MCU正在向其他终端发送所述辅流，且所述决策结果为发送所述辅流,则继续执行向其他终端发送所述辅流；

S4、若当前所述MCU转发至终端的所述辅流正在发送，且所述决策结果满足停止发送所述辅流条件，执行停止向所述其他终端发送所述辅流；

所述MCU对所述辅流进行图像识别，获得发送决策结果包括：

根据预设算法获取所述辅流的运动区域，当运动区域大于预设阈值时，所述MCU向所述其他终端发送辅流；当所述运动区域小于预设阈值时，MCU不向所述其他终端发送辅流。

2.根据权利要求1所述的方法，其特征在于，所述步骤S2包括：

S21，所述MCU对收到的所述辅流进行拼帧和解码处理，得到YUV数据；

S22、对所述YUV数据进行帧间差分处理，区分变化区域；

S23、所述变化区域与预设值进行比较，若大于所述预设值，MCU执行向所述其他终端发送所述辅流；若小于所述预设值，则执行步骤S22。

3.根据权利要求2所述的方法，其特征在于，所述步骤S4包括：

S31、对所述YUV数据进行帧间差分处理，区分变化区域；

S32、所述变化区域与所述预设值进行比较，若连续n秒小于所述预设值，则MCU执行停止向所述其他终端发送所述辅流；若大于所述预设值，则执行步骤S31。

4.根据权利要求3所述的方法，其特征在于，

所述帧间差分处理具体方法为：假设f_k(i,j)、f_k-1(i,j)分别为某一图像序列的第k和第k-1帧，则差分图像D_k＝|f_k(i,j)-f_k-1(i,j)|，(i,j)表示离散图像坐标；

对所述差分图像进行二值化处理，当所述差分图像的某一像素值大于预设阀值时，则认为是前景像素，反之则认为是背景像素；

则提取运动区域的图像为

5.一种MUC端控制第三方终端辅流的系统，其特征在于，

包括接收单元，所述MCU与所述多个终端之间建立所述辅流通道，且其中一个所述终端始终打开所述辅流通道，并始终向所述MCU发送所述辅流；

决策单元，用于MCU对所述辅流进行图像识别，获得发送决策结果；

执行单元，若当前没有所述MCU转发至终端的所述辅流正在发送，且所述决策结果满足发送所述辅流条件，则执行向其他终端发送所述辅流；若当前所述MCU正在向其他终端发送所述辅流，且所述决策结果为发送所述辅流,则继续执行向其他终端发送所述辅流；若当前所述MCU转发至终端的所述辅流正在发送，且所述决策结果满足停止发送所述辅流条件，执行停止向所述其他终端发送所述辅流；

所述MCU对所述辅流进行图像识别，获得发送决策结果包括：

根据预设算法获取所述辅流的运动区域，当运动区域大于预设阈值时，所述MCU向所述其他终端发送辅流；当所述运动区域小于预设阈值时，MCU不向所述其他终端发送辅流。

6.根据权利要求5所述的系统，其特征在于，

所述决策单元包括第一数据获取单元，所述MCU对收到的所述辅流进行拼帧和解码处理，得到YUV数据；

第一数据处理单元，对所述YUV数据进行帧间差分处理，区分变化区域；

第一比较单元，所述变化区域与预设值进行比较；若大于所述预设值，所述MCU执行向所述其他终端发送所述辅流；若小于所述预设值，则返回到第一数据处理单元。

7.根据权利要求6所述的系统，其特征在于，

所述执行单元包括第二数据处理单元，对所述YUV数据进行帧间差分处理，区分变化区域；

第二比较单元，所述变化区域与所述预设值进行比较，若连续n秒小于所述预设值，则所述MCU执行停止向所述其他终端发送所述辅流；若大于所述预设值，则返回到第二数据处理单元。

8.根据权利要求7所述的系统，其特征在于，

所述帧间差分处理具体方法为：假设f_k(i,j)、f_k-1(i,j)分别为某一图像序列的第k和第k-1帧，则差分图像D_k＝|f_k(i,j)-f_k-1(i,j)|，(i,j)表示离散图像坐标；

对所述差分图像进行二值化处理，当所述差分图像的某一像素值大于预设阀值时，则认为是前景像素，反之则认为是背景像素；

则提取运动区域的图像为

Images