CN100454820C

CN100454820C - Mcu级联系统和该系统的创建及通信方法

Info

Publication number: CN100454820C
Application number: CNB2006100615497A
Authority: CN
Inventors: 魏小霞
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2006-07-04
Filing date: 2006-07-04
Publication date: 2009-01-21
Anticipated expiration: 2026-07-04
Also published as: CN1885785A

Abstract

本发明涉及一种MCU级联系统和该系统的创建及通信方法，所述MCU级联系统包括第一MCU、至少一第二MCU、至少一与第一MCU连接的第一终端、至少两个与第二MCU连接的不同类型的第二终端、管理所述第一MCU、第二MCU、第一终端和第二终端的资源管理中心，所述不同类型的第二终端所支持的音视频协议不同，且即使所支持的音视频协议相同但所支持的最大带宽也不同，所述第一MCU与第二MCU之间根据与第二MCU连接的第二终端的类型建立有多个级联通道，每个级联通道传输一种类型的第二终端所支持的最大带宽和音视频协议的码流。本发明不仅对硬件资源要求较低，而且能提高语音图像的质量，降低语音图像的延时。

Description

MCU级联系统和该系统的创建及通信方法

技术领域

本发明涉及通信领域，尤其涉及一种MCU(Multipoint Control Unit，多点控制单元)级联系统和该系统的创建及通信方法。

背景技术

视频通信，尤其是多方视频通信，目前正在随着宽带网络的迅速发展，得到日益广泛的应用。政府部门、军队、公安、企业等部门都在新建或扩容已有的视频会议系统。在对原有视频会议系统扩容过程中，需要考虑到已有资源的继承性问题；同时，随着技术的发展，越来越多的视频会议系统能够支持更高视频分辨率、更高视频带宽和压缩率更高的音视频协议。因此，在现有视频会议系统的扩容过程中(如公开日为2001年5月30日的中国第00114057.4专利申请所揭示的一种扩大会议电视系统容量的方法)，往往会出现不同类型、不同规格的视频会议终端设备同时接入会议的问题，同时又因视频会议网络的扩大，出现了通过MCU级联来支持的情况。在级联的情况下，因各种视频会议终端的适配接入，语音和图像经过了多次适配，质量无法得到保证。

请参阅图1，现有会议系统中的多MCU级联通常包括两个或两个以上的MCU，同时上述MCU会归属于一个资源管理中心进行管理。为了描述方便，现对图1中的设备做出一些假设：资源管理中心管理着两个MCU，分别为主MCU(上级MCU)和从MCU(下级MCU)，主MCU、从MCU都支持H.263、H.264两种视频协议。其中主MCU上接入三个终端T1、T2、T3，此三个终端为支持H.264视频协议的终端；从MCU上接入四个终端T11、T12、T21、T22，终端T11、T12为支持H.264视频协议的终端，而终端T21、T22为只支持H.263视频协议的终端。

现在需要召集一个会议将终端T1、T2、T3、T11、T12、T21、T22都加入到会议中，因为会议中支持H.264视频协议的设备较多，所以资源管理中心会将会议召开成H.264视频协议的会议，因为终端T21、T22只支持H.263视频协议，因此他们只能通过从MCU中的适配能力接入，也就是说，从MCU必须有H.263、H.264视频协议间的适配资源，否则，终端T21、T22将不能加入到会议中。此时，主MCU和从MCU间的级联通道A中的视频协议将被确定为H.264视频协议。因此，当终端T21、T22需要参加多画面并观看多画面时，终端T21、T22的视频图像需要经过多次的适配，导致图像质量下降较多。下面以终端T21参加并观看多画面来进行说明：1)因终端T21只支持H.263视频协议，且会议中MCU间级联通道A的视频协议为H.264视频协议，因此将终端T21的H.263视频协议码流送往主MCU的过程中，需要在从MCU对终端T21的视频码流从H.263视频协议适配到H.264视频协议，因此对从MCU的硬件资源要求较高；2)主MCU从级联通道A收到终端T21经过适配后的H.264视频码流后，需要对其进行解码，然后将解码后的视频图像与其他会场的视频码流解码后生成的视频图像组合成多画面，并对多画面图像进行编码，并将编码后的H.264视频协议多画面码流发送回会议中的各个终端(主MCU向级联通道A发送多画面码流来完成对从MCU上各个终端的多画面广播操作)；3)从MCU从级联通道A收到H.264视频协议多画面码流后，需要将多画面码流从H.264视频协议适配到H.263视频协议，然后再发送到终端T21。在上述过程中，终端T21的视频码流经过了三次编解码处理，导致对图像质量造成了较大的损伤，并且增加了视频图像的延时。

发明内容

为了克服现有MCU级联系统对硬件资源要求高、图像质量损伤大及视频图像延时的不足，本发明提供一种MCU级联系统和该系统的创建及通信方法，其不仅对硬件资源要求较低，而且能提高语音图像的质量，降低语音图像的延时。

为解决上述一技术问题，本发明所采用的技术方案是：提供一种多点控制单元MCU级联系统，其包括第一MCU、至少一第二MCU、至少一与第一MCU连接的第一终端、至少两个与第二MCU连接的不同类型的第二终端、管理所述第一MCU、第二MCU、第一终端和第二终端的资源管理中心，所述不同类型的第二终端所支持的音视频协议不同，且即使所支持的音视频协议相同但所支持的最大带宽也不同，所述第一MCU与第二MCU之间根据与第二MCU连接的第二终端的类型建立有多个级联通道，每个级联通道传输一种类型的第二终端所支持的最大带宽和音视频协议的码流。

为解决上述另一技术问题，本发明所采用的技术方案是：提供一种MCU级联系统的创建方法，其包括以下步骤：

A、在资源管理中心上定义一个会议，会议中有至少一与第一MCU连接的第一终端和至少两个与第二MCU连接的不同类型的第二终端；所述不同类型的第二终端所支持的音视频协议不同，且即使所支持的音视频协议相同但所支持的最大带宽也不同；

B、资源管理中心下发命令给第一MCU和第二MCU，根据与第二MCU连接的第二终端的类型建立有多个级联通道，每个级联通道传输一种类型的第二终端所支持的最大带宽和音视频协议的码流。

为解决上述再一技术问题，本发明所采用的技术方案是：提供一种MCU级联系统的通信方法，其包括以下步骤：

A、在资源管理中心上进行多画面模式及参加多画面会场的设置，所述参加多画面的会场分别为至少一与第一MCU连接的第一终端和多个与第二MCU连接的第二终端，启用所设置的多画面；

B、所述资源管理中心分别向所述第一MCU和第二MCU下发相关命令，向所述第二MCU下发的命令为：将所述第二终端的码流根据第二终端所支持的最大带宽和音视频协议的类型分别通过不同的级联通道发送到第一MCU上；向所述第一MCU下发的命令为：从所述不同的级联通道获取第二终端的码流对其进行解码生成视频图像，并与所述第一终端的视频图像组成多画面，并根据与第二MCU连接的参与会议的所有第二终端所支持的最大带宽和音视频协议的类型对多画面进行对应的多路编码；

C、资源管理中心进行多画面码流的广播，具体过程如下：资源管理中心分别向第一MCU和第二MCU下发相关命令，向第一MCU下发的命令为：将生成的第一终端支持的多画面码流广播到第一终端，将生成的不同的第二终端所支持的最大带宽和音视频协议的类型的码流分别广播到对应不同的级联通道；向第二MCU下发的命令为：从所述级联通道中将多画面码流分别广播到对应类型的参与会议的所有第二终端。

为解决上述再一技术问题，本发明所采用的另一技术方案是：提供一种MCU级联系统的通信方法，其包括以下步骤：

A、在资源管理中心上进行多画面模式及参加多画面会场的设置，所述参加多画面的会场分别为至少一与第一MCU连接的第一终端和一个与第二MCU连接的第二终端，启用所设置的多画面；

B、所述资源管理中心分别向所述第一MCU和第二MCU下发相关命令，向所述第二MCU下发的命令为：将所述第二终端的码流通过一级联通道发送到第一MCU上；向所述第一MCU下发的命令为：从所述的级联通道获取第二终端的码流对其进行解码生成视频图像，并与所述第一终端的视频图像组成多画面，并根据与第二MCU连接的参与会议的所有第二终端所支持的最大带宽和音视频协议的类型对多画面进行对应的多路编码；

本发明的有益效果在于：由于本发明的第一MCU与第二MCU之间根据与第二MCU连接的第二终端的类型建立有多个级联通道，每个级联通道传输一种类型的第二终端所支持的最大带宽和音视频协议的码流，因此对硬件资源要求较低，不用适配资源也可以让不同类型的终端接入到第二MCU上加入到级联会议中；且可减少支持不同协议数据间的多次适配，从而提高传输至与MCU连接的终端的数据质量，并且降低传输至与MCU连接的终端的数据延时。

附图说明

图1是现有的MCU级联系统的原理示意图；

图2是本发明一实施例MCU级联系统的原理示意图。

具体实施方式

本发明的MCU级联系统包括第一MCU、至少一第二MCU、至少一与第一MCU连接的第一终端、至少二与第二MCU连接的不同类型的第二终端、管理所述第一MCU、第二MCU、第一终端和第二终端的资源管理中心。所述第一终端和第二终端均为视频终端或均为音频终端，不同类型的第二终端是指支持的音视频协议不同，且即使所支持的音视频协议相同但所支持的最大带宽也不同的第二终端。第一MCU与第二MCU之间根据与第二MCU连接的第二终端的类型建立有多个级联通道，每个级联通道传输一种类型的第二终端所支持的最大带宽和音视频协议的码流。资源管理中心表现为一套软件系统，可以作为一个单独的系统运行在计算机上，也可以运行在某一MCU上，其负责对第一MCU和第二MCU进行管理，包括第一MCU和第二MCU上资源的管理、与第一MCU和第二MCU连接的终端的管理；同时，可以具有召开会议以及管理控制会议的能力。第一MCU完成第一终端的呼叫接入、媒体流的交换、音频的混音或视频多画面的合成等，第二MCU完成第二终端的呼叫接入和媒体流的交换等。

本发明的MCU级联系统的创建方法包括以下步骤：

A、在资源管理中心上定义一个会议，会议中有至少一与第一MCU连接的第一终端和至少二与第二MCU连接的不同类型的第二终端；

下面以第一MCU作为主MCU(上级MCU)、第二MCU(下级MCU)作为从MCU、第一终端和第二终端均为视频终端的实现视频会议的两级MCU级联系统为例来对本发明的MCU级联系统及该系统的通信方法进行详细的描述。本发明实现音频的原理跟视频的原理相同。

请参阅图2，本发明一实施例的MCU级联系统的资源管理中心管理着主MCU和从MCU，主MCU和从MCU都支持H.263、H.264两种视频协议，其中主MCU上连接三个终端T1、T2、T3，此三个终端为支持H.264视频协议的终端；从MCU上连接四个终端T11、T12、T21、T22，终端T11、T12为支持H.264视频协议的终端，而终端T21、T22为只支持H.263视频协议的终端，上述终端均在资源管理中心上进行注册，主MCU完成终端的呼叫接入、媒体流的交换、音频的混音、视频多画面的合成等，从MCU完成终端的呼叫接入和媒体流的交换等。现在需要召集一个会议将终端T1、T2、T3、T11、T12、T21、T22都加入到会议中，因会议中支持H.264视频协议的设备较多，因此资源管理中心会将会议召开成H.264视频协议的会议。主MCU负责将终端T1、T2、T3以H.264视频协议将它们呼入到会议中；从MCU负责将终端T11、T12以H.264视频协议将它们呼入到会议中，将终端T21、T22以H.263视频协议将他们呼入到会议中，同时在从MCU和主MCU间将建立两条级联通道A和B，其中级联通道A用来传输H.264视频协议码流，级联通道B用来传输H.263视频协议码流。

本实施例的MCU级联系统的创建过程如下：

A、在资源管理中心上定义一个会议，会议中有终端T1、T2、T3、T11、T12、T21、T22；

B、在资源管理中心上调度召开会议，因会议中终端T1、T2、T3注册在主MCU上，而终端T11、T12、T21、T22注册在从MCU，因此资源管理中心将会议调度成MCU级联类型的会议，分别下发命令给主MCU和从MCU，通知他们分别将终端T1、T2、T3，T11、T12、T21、T22呼入到会议中；资源管理中心下发命令给主MCU和从MCU，在主MCU和从MCU间建立两条级联通道，其中级联通道A用来传输H.264视频协议码流，级联通道B用来传输H.263视频协议码流，主MCU和从MCU间级联通道的个数由资源管理中心通过与从MCU连接的各个终端所支持的音视频协议和所支持最大带宽来进行确定，主MCU和从MCU间级联通道的个数至少要保证会议中从MCU上各个终端传输音视频数据到会议中的主MCU上时不用进行适配，本实施例中从MCU上存在支持两种不同视频协议(H.263、H.264)的两种类型的终端，因此在主MCU和从MCU之间建立两条级联通道，分别用来在从MCU与主MCU之间交互H.263、H.264视频协议码流。若从MCU上存在三种不同类型的终端(支持H.263视频协议且最大带宽为2M、支持H.264视频协议且最大带宽为2M、支持H.263视频协议且最大带宽为4M)，则在主MCU和从MCU之间建立三条级联通道，分别用来在从MCU与主MCU之间交互最大带宽为2M的H.263视频协议码流、最大带宽为2M的H.264视频协议码流、最大带宽为4M的H.263视频协议码流。

下面以从MCU上终端T11参加多画面并在会议中广播多画面的应用情况来描述本实施例的MCU级联系统的通信过程：

A、在资源管理中心上进行多画面模式及参加多画面会场的设置，假设使用四画面模式，参加四画面的会场分别为终端T1、T2、T3、T11，启用所设置的多画面；

B、资源管理中心分别向主MCU和从MCU下发相关命令，向从MCU下发的命令为：将终端T11的H.264视频协议码流通过级联通道A发送到主MCU上，同时向终端T11发送I帧申请命令；向主MCU下发的命令为：从级联通道A获取从MCU上终端T11的H.264视频协议码流，然后将终端T1、T2、T3、T11的视频码流分别进行解码，并将解码后生成的视频图像组成多画面，并对多画面进行两路编码，生成一路H.263视频协议多画面码流、一路H.264视频协议多画面码流；

C、资源管理中心进行多画面码流的广播，具体过程如下：资源管理中心分别向主MCU和从MCU下发相关命令，向主MCU下发的命令为：将生成的H.264视频协议多画面码流广播到终端T1、T2、T3以及级联通道A，并将生成的H.263视频协议多画面码流广播到级联通道B；向从MCU下发的命令为：将级联通道A中的H.264视频协议多画面码流广播到从MCU上的终端T11、T12，而将级联通道B中的H.263视频协议多画面码流广播到从MCU上的终端T21、T22。这样一来就完成了多画面的广播操作，会议中从MCU中的终端T11、T12与T21、T22所观看的多画面都只经过主MCU上的一次解码及编码，图像质量得到了保证、图像延时得到了控制。

下面再以从MCU上终端T11、T21参加多画面并在会议中广播多画面的应用情况来描述本实施例的MCU级联系统的通信过程，相对于以从MCU上终端T11参加多画面并在会议中广播多画面的应用情况，区别只在于步骤A和B：

A、在资源管理中心上进行多画面模式及参加多画面会场的设置，假设使用四画面模式，参加四画面的会场分别为终端T1、T2、T11、T21，启用所设置的多画面；

B、资源管理中心分别向主MCU和从MCU下发相关命令，向从MCU下发的命令为：将终端T11的H.264视频协议码流通过级联通道A发送到主MCU上，同时向终端T11发送I帧申请命令，将终端T21的H.263视频协议码流通过级联通道B发送到主MCU上，同时向终端T21发送I帧申请命令；向主MCU下发的命令为：从级联通道A获取从MCU上终端T11的H.264视频协议码流，从级联通道B获取从MCU上终端T21的H.263视频协议码流，然后将终端T1、T2、T11、T21的视频码流分别进行解码，并将解码后生成的视频图像组成多画面，并对多画面进行两路编码，生成一路H.263视频协议多画面码流、一路H.264视频协议多画面码流。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1、一种多点控制单元MCU级联系统，其包括第一MCU、至少一第二MCU、至少一与第一MCU连接的第一终端、至少两个与第二MCU连接的不同类型的第二终端、管理所述第一MCU、第二MCU、第一终端和第二终端的资源管理中心，其特征在于：所述不同类型的第二终端所支持的音视频协议不同，且即使所支持的音视频协议相同但所支持的最大带宽也不同，所述第一MCU与第二MCU之间根据与第二MCU连接的第二终端的类型建立有多个级联通道，每个级联通道传输一种类型的第二终端所支持的最大带宽和音视频协议的码流。

2、如权利要求1所述的MCU级联系统，其特征在于：所述第一MCU作为主MCU，其完成所述第一终端的呼叫接入、媒体流的交换、音频的混音和视频多画面的合成，所述第二MCU作为从MCU，其完成所述第二终端的呼叫接入和媒体流的交换。

3、如权利要求1所述的MCU级联系统，其特征在于：所述第一终端和第二终端均为视频终端或均为音频终端。

4、一种MCU级联系统的创建方法，其特征在于包括以下步骤：

5、如权利要求4所述的MCU级联系统的创建方法，其特征在于：所述第一MCU作为主MCU，其完成所述第一终端的呼叫接入、媒体流的交换、音频的混音和视频多画面的合成，所述第二MCU作为从MCU，其完成所述第二终端的呼叫接入和媒体流的交换，所述第一终端和第二终端均为视频终端。

6、一种MCU级联系统的通信方法，其特征在于包括以下步骤：

7、如权利要求6所述的MCU级联系统的通信方法，其特征在于：所述第一MCU作为主MCU，其完成所述第一终端的呼叫接入、媒体流的交换、音频的混音和视频多画面的合成，所述第二MCU作为从MCU，其完成所述第二终端的呼叫接入和媒体流的交换，所述第一终端和第二终端均为视频终端。

8、一种MCU级联系统的通信方法，其特征在于包括以下步骤：

A、在资源管理中心上进行多画面模式及参加多画面会场的设置，所述参加多画面的会场分别为至少一与第一MCU连接的第一终端和一个与第一MCU连接的第二终端，启用所设置的多画面；

9、如权利要求8所述的MCU级联系统的通信方法，其特征在于：所述第一MCU作为主MCU，其完成所述第一终端的呼叫接入、媒体流的交换、音频的混音和视频多画面的合成，所述第二MCU作为从MCU，其完成所述第二终端的呼叫接入和媒体流的交换，所述第一终端和第二终端均为视频终端。