CN108810443A - 视频画面合成方法及多点控制单元 - Google Patents

Abstract

本发明实施例提供了一种视频画面合成方法，用于多点控制单元中。所述方法包括：获取多个视频终端的视频处理能力；根据获取的视频处理能力，指定所述多个视频终端中的第一视频终端为第一代理设备，及第二视频终端为第二代理设备；及指示所述第一代理设备和所述第二代理设备协作合成所述多个视频终端的多路视频画面。本发明实施例还提供一种多点控制单元。本发明实施例所述的视频画面合成方法和多点控制单元，降低了多点控制单元的处理负荷。

Description

视频画面合成方法及多点控制单元

技术领域

本发明实施例涉及通信领域，特别涉及一种视频画面合成方法及多点控制单元。

背景技术

视频会议系统主要由多点控制单元(Multipoint Control Unit，MCU)与多个视频终端组成。这些视频终端一般位于与会者旁边，用于为与会者呈现会议内容，并用于采集与会者的视频画面。MCU从这些视频终端中获取多路视频画面，将多路视频画面集中合成，并将合成后得到的合成视频画面分别发给这些视频终端，使得各个地方的与会者的现场画面能够同时呈现在每个视频终端上，从而实现远程会议功能。

在上述视频会议系统中，囿于MCU的解码能力、存储能力及网络传输能力，当视频终端的数量较多时，容易出现因MCU过负荷，无法实现多路视频画面合成的问题。

发明内容

鉴于以上内容，有必要提供一种多点控制单元(MCU)，通过从与其连接的视频终端中选择视频终端做为代理设备协助处理部分或全部视频终端的视频画面，从而缓解MCU的处理负荷。

鉴于以上内容，还有必要提供一种视频画面合成方法，通过从与MCU连接的视频终端中选择视频终端做为代理设备协助处理部分或全部视频终端的视频画面，从而缓解MCU的处理负荷。

本发明实施例提供一种多点控制单元(MCU)，应用于视频会议系统，所述视频会议系统还包括与所述MCU连接的多个视频终端，所述多个视频终端用于提供多路视频画面。所述MCU包括获取模块、选择模块和指示模块。所述获取模块用于分别获取所述多个视频终端的视频处理能力。所述指定模块用于根据所述多个视频终端的视频处理能力，至少指定所述多个视频终端中的第一视频终端做为第一代理设备，及第二视频终端做为第二代理设备。所述指示模块用于指示所述多个视频终端中的多个第三视频终端将采集到的多个视频画面发送至所述第一代理设备，并指示所述第一代理设备将自身采集到的视频画面与所述多个第三视频终端的多个视频画面合成第一合成视频画面，并将所述第一合成视频画面发送至所述第二代理设备。及所述指示模块还用于指示所述多个视频终端中的多个第四视频终端将采集到的视频画面发送至所述第二代理设备，并指示所述第二代理设备将自身采集到的视频画面、所述多个第四视频终端的多个视频画面与所述第一合成视频画面合成第二合成视频画面。

本发明实施例还提供一种视频画面合成方法，应用于视频会议系统，所述视频会议系统包括一个MCU和与所述MCU连接的多个视频终端，所述多个视频终端用于提供多路视频画面。所述方法包括：分别获取所述多个视频终端的视频处理能力；根据所述多个视频终端的视频处理能力，至少指定所述多个视频终端中的第一视频终端做为第一代理设备，及第二视频终端做为第二代理设备；指示所述多个视频终端中的多个第三视频终端将采集到的多个视频画面发送至所述第一代理设备，并指示所述第一代理设备将自身采集到的视频画面与所述多个第三视频终端的多个视频画面合成第一合成视频画面，并将所述第一合成视频画面发送至所述第二代理设备；及指示所述多个视频终端中的多个第四视频终端将采集到的视频画面发送至所述第二代理设备，并指示所述第二代理设备将自身采集到的视频画面、所述多个第四视频终端的多个视频画面与所述第一合成视频画面合成第二合成视频画面。

相较于现有技术，本发明实施例所述的MCU和视频画面合成方法，从与MCU连接的视频终端中选择视频终端，协助生成部分或全部与MCU连接的视频终端的合成视频画面。减轻了MCU的处理负荷，避免了当接入MCU的视频终端数量较多时，无法实现多路视频画面合成的问题。

附图说明

图1是本发明实施例之视频会议系统的示意图。

图2是本发明实施例之MCU的功能模块图。

图3是本发明实施例之视频画面合成的示意图。

图4是本发明实施例之画面布局结构的示意图。

图5是本发明实施例之视频画面合成方法的步骤流程图。

主要元件符号说明

具体实施方式

如图1所示，是本发明实施例之视频会议系统的示意图。视频会议系统I包括MCU 1和多个视频终端。

所述多个视频终端可以分别处于不同地点。每个视频终端能够采集对应地点的视频画面，如采集某会议室中与会者的视频画面。在本实施例中，将一个视频终端采集到的视频画面称为一路视频画面，可知，所述多个视频终端可以提供相应的多路视频画面。

MCU 1连接所述多个视频终端，用于在所述多个视频终端授权范围内对所述多个视频终端进行控制。例如，MCU 1可以指示某个视频终端将采集到的视频画面传输到另一个指定的视频终端中，也可以指示某个视频终端接收其它视频终端的多路视频画面并实施合成操作。MCU 1的具体功能详见下文。

图2为本发明实施例之MCU 1的功能模块图。MCU 1包括处理器100、存储器200、获取模块300、指定模块400和指示模块500。

存储器200可以是MCU 1的内部存储单元，例如，MCU 1的硬盘或内存。存储器300也可以是MCU 1的插接式硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(SecureDigital，SD)卡或闪存卡(Flash Card)。存储器300还可以既包括MCU 1的内部存储单元，也包括外部存储设备。存储器300用于存储MCU 1内的软件程序和数据。处理器200可以是中央处理器(Central Process Unit,CPU)，微处理器或其它数据处理芯片，用于执行软件程序代码运算数据，例如，执行MCU 1的合成多路视频画面的操作。

模块300-500被存储于存储器200中，并由处理器100所执行，以完成本发明。本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段，比程序更适合描述软件在MCU 1中的执行过程。

需要说明的是，本发明实施例还提供了如图3所示的视频会议系统II的架构图，用于辅助描述模块300-500。具体地，本视频会议系统II包括视频终端10～60和MCU 1。视频终端10～60能够各自采集视频画面，具体对应为视频画面10i～60i。例如，视频终端10采集摄像镜头范围内的图像信息并得到视频画面10i、视频终端20采集摄像镜头范围内的图像信息并得到视频画面20i。可以理解，所述架构图并不用于限制本发明。

获取模块300分别获取视频终端10～60的视频处理能力。在本实施例中，获取模块300可以向各个视频终端发送请求信息，以请求各个视频终端反馈自身的硬件信息和/或软件信息，然后，根据获得的硬件信息和/或软件信息，分析获得各个视频终端的视频处理能力。在另一实施例中，获取模块300可以向各个视频终端发送请求，以请求各个视频终端直接反馈自身的视频处理能力。所述视频处理能力可以包括视频终端编码/解码能力。

指定模块400根据视频终端10～60的视频处理能力，指定视频终端10与视频终端20分别为第一代理设备和第二代理设备。指定模块400可以指定一个或多个视频终端做为代理设备，其指定做为代理设备的视频终端数量由一项或多项因素决定。所述因素包括：视频会议系统中视频终端的数量、视频处理能力、视频画面的分辨率和网络协议地址(Internet Protocol，IP)中的网络标识号码(Identification Code，ID)等。

在一实施例中，指定模块400可以根据视频会议系统I中视频终端的数量和各个视频终端的视频处理能力，指定一个或多个视频终端做为代理设备。如图3所示的视频会议系统II，当视频终端10具备六路视频画面的视频处理能力时，指定模块400可以指定视频终端10做为唯一的代理设备。

在一实施例中，指定模块400可以根据视频会议系统I中各个视频终端10～60的网络标识号码和各个视频终端10～60的视频处理能力，指定一个或多个视频终端做为代理设备。如图3所示的视频会议系统II，视频终端10、视频终端30和视频终端40的IP地址中的网络ID相同，表示这三个视频终端处于同一网络区域。在本实施例中，如果获取模块300得到视频终端10具备处理三路视频画面的视频处理能力，视频终端20具备处理四路视频画面的视频处理能力时，指定模块400可以优先指定视频终端10做为第一代理设备，用来处理同一网络区域中的视频终端30和视频终端40提供的两路视频画面和视频终端10自身采集的一路视频画面。指定模块400还可以指定视频终端20做为第二代理设备，用来处理视频终端20、50和60提供的三路视频画面和视频终端10提供的第一合成视频画面。需要说明的是，经过指定模块400指定代理设备之后，视频终端10亦可以称之为第一代理设备10，视频终端20亦可以称之为第二代理设备20。下面以此为基础，继续介绍模块500-900的具体功能。

指示模块500指示视频终端30和40将对应的视频画面30i和40i传输至第一代理设备10，指示第一代理设备10合成视频画面30i、视频画面40i和第一代理设备10自身采集到的视频画面10i，以得到第一合成视频画面A，并指示第一代理设备10将第一合成视频画面A发送至第二代理设备20。本实施例中，由于视频终端(第一代理设备)10与视频终端30、40处于同一网络区域，第一代理设备10使得这些视频终端(10、30和40)的视频画面在本地直接完成了视频画面合成操作。

指示模块500还指示视频终端50、60将对应的视频画面50i、60i传输至第二代理设备20，并指示第二代理设备20合成视频画面50i、视频画面60i、第一合成视频画面A和第二代理设备20自身采集到的视频画面20i，以得到第二合成视频画面B。

第二合成视频画面B包括视频会议系统II中所有视频终端提供的视频画面。第二合成视频画面B被分发至视频终端10～60，供与会者阅览。

本实施例中，如图3所示，在第二代理设备20合成第二合成视频画面B之后，指示模块500指示第二代理设备20将第二合成视频画面B分别发送至第一代理设备10、视频终端50和视频终端60，并指示第一代理设备10将接收到的第二合成视频画面B分别发送至视频终端30和视频终端40进行显示。需要说明的是，第二合成视频画面B还可以以其它方式分发给各个视频终端，以下提供两种分发方式以供参考，其不用于限定本发明。

在一实施例中，在第二代理设备20合成第二合成视频画面B之后，指示模块500可以指示第二代理设备20将第二合成视频画面B直接发送至各个视频终端10～60进行显示。

在一实施例中，在第二代理设备20合成第二合成视频画面B之后，指示模块500可以指示第二代理设备20将第二合成视频画面B发送至MCU 1。MCU 1会将接收到的第二合成视频画面B分别发送至各个视频终端10～60进行显示。

在一优选实施例中，MCU 1还包括侦测模块600和部署模块700。侦测模块600用于侦测视频终端10～60中存在语音输入的主视频终端，如视频终端60。部署模块700根据侦测模块600的侦测结果，将第二合成视频画面B的视频画面布局结构部署为第一画面布局结构aa，以使第一代理设备10和第二代理设备20根据第一画面布局结构aa合成第一合成视频画面A和第二合成视频画面B。如图4所示，第一画面布局结构aa中，视频终端60的视频画面位于第一画面布局结构aa的主位置a1处，其它五个视频终端的视频画面各自处于五个普通位置a2～a6处。在一实施例中，部署模块700还用于确定视频终端10～60的合成画面的分辨率，以使第一代理设备10和第二代理设备20根据所述画面分辨率合成第一合成视频画面A和第二合成视频画面B。

在一优选实施例中，MCU 1还包括接收模块800和合成模块900，用于执行视频终端的视频画面在MCU 1端的合成操作。

例如，当所述视频会议系统还包括第五视频终端70时，指示模块500指示视频终端70将采集到的视频画面70i发送至MCU 1，指示第二代理设备20将第二合成画面B发送至MCU1。接收模块800接收视频终端70发送的视频画面70i和第二代理设备20发送的第二合成视频画面B后，合成模块900会将视频画面70i和第二合成视频画面B合成第三合成视频画面C(图中未示出)。第三合成视频画面C用于被分别发送至视频会议系统II中的各个视频终端。

在一优选实施例中，指定模块400还用于当第一视频终端10(第一代理设备)或第二视频终端20(第二代理设备)断开与MCU 1的连接时，重新指定所述视频会议系统II中视频处理能力符合的视频终端做为第一代理设备或第二代理设备。例如，当所述第一代理设备断开与所述MCU 1的连接时，由于第一代理设备10、视频终端30和视频终端40处于同一网络区域，指定模块400从视频终端30和视频终端40中重新选择视频处理能力最高的第三视频终端30做为所述第一代理设备。

图5是本发明实施例之视频画面合成方法的步骤流程图。所述方法应用于视频会议系统，所述视频会议系统包括一个MCU和与所述MCU连接的多个视频终端，所述多个视频终端用于提供多路视频画面。

步骤S10，分别获取所述多个视频终端的视频处理能力。

步骤S20，根据所述多个视频终端的视频处理能力，指定所述多个视频终端中的第一视频终端做为第一代理设备，及第二视频终端做为第二代理设备。在一实施例中，所述第一代理设备与所述第二代理设备为所述多个视频终端中视频处理能力最高的视频终端。

步骤S30，指示所述多个视频终端中的多个第三视频终端将采集到的多个视频画面发送至所述第一代理设备，并指示所述第一代理设备将自身采集到的视频画面与所述多个第三视频终端的所述多个视频画面合成第一合成视频画面。指示所述多个视频终端中的多个第四视频终端将采集到的多个视频画面发送至所述第二代理设备，并指示所述第二代理设备将自身采集到的视频画面、所述多个第四视频终端的所述多个视频画面与所述第一合成视频画面合成第二合成视频画面。本实施例中，所述第一代理设备和所述多个第三视频终端的IP地址中的网络ID相同。

步骤S40，当所述第一视频终端或所述第二视频终端断开与所述MCU的连接时，从所述多个视频终端中重新选择一个视频终端做为所述第一代理设备或所述第二代理设备。

本实施例中，由于所述第一代理设备和所述多个第三视频终端的IP地址中的网络ID相同，当所述第一代理设备断开与所述MCU的连接时，从所述多个第三视频终端中重新选择视频处理能力最高的视频终端做为所述第一代理设备。

步骤S50，侦测所述多个视频终端中有用户语音输入的主视频终端。

步骤S60，根据侦测结果部署第一画面布局结构，以使所述第一代理设备和所述第二代理设备根据所述第一画面布局结构合成所述第一合成视频画面与所述第二合成视频画面，其中，所述第一画面布局结构包括用于容纳所述主视频终端的视频画面的主位置和容纳其它视频终端的视频画面的普通位置。

步骤S70，当所述多个视频终端还包括第五视频终端时，接收所述第二合成视频画面和所述第五视频终端的视频画面。

步骤S80，将所述第二合成视频画面和所述第五视频终端的视频画面合成第三合成视频画面。

步骤S90，将所述第三合成视频画面发送至所述视频会议系统中的各个视频终端进行显示。

以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种多点控制单元(Multipoint Control Unit，MCU)，应用于视频会议系统，所述视频会议系统还包括与所述MCU连接的多个视频终端，所述多个视频终端用于提供多路视频画面，其特征在于，所述MCU包括：

获取模块，用于分别获取所述多个视频终端的视频处理能力；

指定模块，用于根据所述多个视频终端的视频处理能力，至少指定所述多个视频终端中的第一视频终端做为第一代理设备，及指定第二视频终端做为第二代理设备；

指示模块，用于指示所述多个视频终端中的多个第三视频终端将采集到的多个视频画面发送至所述第一代理设备，并指示所述第一代理设备将自身采集到的视频画面与所述多个第三视频终端的所述多个视频画面合成第一合成视频画面，并将所述第一合成视频画面发送至所述第二代理设备；及

所述指示模块还用于，指示所述多个视频终端中的多个第四视频终端将采集到的多个视频画面发送至所述第二代理设备，并指示所述第二代理设备将自身采集到的视频画面、所述多个第四视频终端的所述多个视频画面与所述第一合成视频画面合成第二合成视频画面。

2.如权利要求1所述的MCU，其特征在于，还包括；

侦测模块，用于侦测所述多个视频终端中有用户语音输入的主视频终端；及

部署模块，用于根据侦测结果部署第一画面布局结构，以使所述第一代理设备和所述第二代理设备根据所述第一画面布局结构合成所述第一合成视频画面与所述第二合成视频画面，其中，所述第一画面布局结构包括用于容纳所述主视频终端的视频画面的主位置。

3.如权利要求1或2所述的MCU，其特征在于，所述多个视频终端还包括第五视频终端，所述MCU还包括：

接收模块，用于接收所述第二合成视频画面和所述第五视频终端的视频画面；及

合成模块，用于将所述第二合成视频画面和所述第五视频的视频画面合成第三合成视频画面。

4.如权利要求3所述的MCU，其特征在于，所述指定模块还用于当所述第一视频终端或所述第二视频终端断开与所述MCU的连接时，从所述多个视频终端中重新选择一个视频终端做为所述第一代理设备或所述第二代理设备。

5.如权利要求4所述的MCU，其特征在于，所述第一代理设备与所述多个第三视频终端的网络协议地址中的网络标识号码相同。

6.一种视频画面合成方法，应用于视频会议系统，其特征在于，所述视频会议系统包括一个多点控制单元(Multipoint Control Unit，MCU)和与所述MCU连接的多个视频终端，所述多个视频终端用于提供多路视频画面，其特征在于，所述方法包括：

分别获取所述多个视频终端的视频处理能力；

根据所述多个视频终端的视频处理能力，至少指定所述多个视频终端中的第一视频终端做为第一代理设备，及指定第二视频终端做为第二代理设备；

指示所述多个视频终端中的多个第三视频终端将采集到的多个视频画面发送至所述第一代理设备，并指示所述第一代理设备将自身采集到的视频画面与所述多个第三视频终端的所述多个视频画面合成第一合成视频画面；及

指示所述多个视频终端中的多个第四视频终端将采集到的多个视频画面发送至所述第二代理设备，并指示所述第二代理设备将自身采集到的视频画面、所述多个第四视频终端的所述多个视频画面与所述第一合成视频画面合成第二视频合成画面。

7.如权利要求6所述的方法，其特征在于，还包括：

侦测所述多个视频终端中有用户语音输入的主视频终端；及

根据侦测结果部署第一画面布局结构，以使所述第一代理设备和所述第二代理设备根据所述第一画面布局结构合成所述第一合成视频画面与所述第二合成视频画面，其中，所述第一画面布局结构包括用于容纳所述主视频终端的视频画面的主位置。

8.如权利要求6或7所述的方法，其特征在于，所述多个视频终端还包括第五视频终端，所述方法还包括：

接收所述第二合成视频画面和所述第五视频终端的视频画面；

将所述第二合成视频画面和所述第五视频终端的视频画面合成第三合成视频画面。

9.如权利要求8所述的方法，其特征在于，还包括：

当所述第一视频终端或所述第二视频终端断开与所述MCU的连接时，从所述多个视频终端中重新选择一个视频终端做为所述第一代理设备或所述第二代理设备。

10.如权利要求9所述的方法，其特征在于，所述第一代理设备与所述多个第三视频终端的网络协议地址中的网络标识号码相同。