CN102811338A

CN102811338A - 一种视频会议系统中多级回传视频信号的控制方法及装置

Info

Publication number: CN102811338A
Application number: CN2011104056765A
Authority: CN
Inventors: 薛亮
Original assignee: Suzhou Keda Technology Co Ltd
Current assignee: Suzhou Keda Technology Co Ltd
Priority date: 2011-12-08
Filing date: 2011-12-08
Publication date: 2012-12-05
Anticipated expiration: 2031-12-08
Also published as: CN102811338B

Abstract

本发明提供一种在视频会议系统中多级回传视频信号的控制方法，所述视频会议系统至少包括第一级别的至少一个MCU，所述第一级别MCU下级联第二级别的至少一个MCU或视频终端，所述第二级别MCU下级联若干级MCU或若干个视频终端，包括步骤：a.所述第一级别MCU向多个下级视频终端发出回传请求信息；b.所述第一级别MCU分别接收来自所述多个下级视频终端的视频信号，所述视频信号与所述回传请求信息相适应。还提供在视频会议系统的第一级别MCU中用于多级回传视频信号的控制装置以及一种视频会议系统。本发明使得上一级MCU可以任意调取下一级或下若干级视频终端的视频信号，从而实现了视频监控系统的应用范围的扩展。

Description

一种视频会议系统中多级回传视频信号的控制方法及装置

技术领域

本技术发明应用于视频会议系统，尤其是多用户多会议的视频会议系统，具体地，涉及分布式多级会议监控系统控制方法。

背景技术

随着网络和各种视频设备的快速发展，运营商、政府部门、军队、企业等部门，都在不断的新建或扩容已经有的视频会议系统。随着视讯技术的提升，以及用户对系统容量的扩大，MCU（Multipoint Control Unit，多点控制单元）之间的级联会议在应用中更加广泛。通过多个MCU级联召集会议的方式，可以解决分层组网、提高会议容量等问题。

现在主要采用的技术是第二级别级联单回传技术，即两台MCU进行合并级联，第一级别MCU下增加第二级别MCU，两者为主从关系或上下级关系。第一级别MCU作为上级MCU，可以看到下级会议入会的各终端，并可以对这些终端进行操作。MCU与MCU之间类同MCU与终端之间一样，有一条视频逻辑通道，这样，本MCU就能发送一路视音频码流给与之级联的MCU。由此某些应用比如上级MCU要看下级某个终端的视频码流就可以通过让下级某终端回传一路码流给上级这种方式得以实现。注意由于两个实体间只有条音频逻辑通道，所以下级同一时刻只能回传一路码流给上级，这也是单回传名称的由来。

这种第二级别级联单回传技术主要的不足在于其应用的限制性。

首先由于其为单回传，上级对下级终端做的操作相当受限，比如上级MCU的两个终端想要同时分别选看下级的某两个终端的视频码流这一要求就无法满足。又比如上次MCU的画面合成需要同时观看下级的两个终端的图像也无法满足。类似的其他应用限制也都存在。而对单级场景下越来越丰富的视频会议业务应用，这一技术势必成了级联场景中业务运用的瓶颈。

另外该技术只支持第二级别级联，对第三级别及以上的多级级联是无能为力的。由于其无法对各级终端进行有效表示区分，所以第一级别MCU无法显示及操作第n级（n>2）下的终端，由此该技术无法满足有些层级关系大于2的应用环境。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种的控制方法以及相应的控制装置。

根据本发明的一个方面，提供一种在视频会议系统中多级回传视频信号的控制方法，所述视频会议系统至少包括第一级别的至少一个MCU，所述第一级别MCU下级联第二级别的至少一个MCU或视频终端，所述第二级别MCU下级联若干级MCU或若干个视频终端，其特征在于，包括如下步骤：a. 所述第一级别MCU向多个下级视频终端发出回传请求信息；b. 所述第一级别MCU分别接收来自所述多个下级视频终端的视频信号，所述视频信号与所述回传请求信息相适应。

优选地，所述步骤a包括如下步骤：a1. 所述第一级别MCU向所述多个下级视频终端发出探测信息，所述探测信息用于确认所述下级视频终端是否支持多级回传；a2. 所述第一级别MCU接收来自所述多个下级视频终端的反馈信息，所述反馈信息包括所述下级视频是否支持多级回传的确认信息；a4. 若所述下级视频终端支持所述多级回传，则所述第一级别MCU向所述下级视频发出所述回传请求信息。

优选地，所述步骤a2与步骤a4之间还包括如下步骤：a31. 所述第一级别MCU接收来自所述多个下级视频终端的探测信息，所述探测信息用于确认所述第一级别MCU是否支持多级回传；a32. 所述第一级别MCU根据所述探测信息生成反馈信息，其中，若所述第一级别MCU支持所述多级回传，则所述反馈信息包括所述第一级别MCU支持所述多级回传的确认信息，否则所述反馈信息包括所述第一级别MCU不支持所述多级回传的确认信息。

优选地，在所述步骤a4之后还包括如下步骤：a5. 所述第一级MCU向所述多个视频终端发出回传码流要求信息；其中，所述多个视频终端收到所述回传码流要求信息后，根据所述回传码流要求信息设置回传条件。

优选地，所述控制方法还包括如下步骤：a7. 所述第一级别MCU向所述多个视频终端分配回传端口。

优选地，所述控制方法还包括如下步骤：a8. 所述第一级别MCU向所述多个视频终端发出开始回传指令信息，其中，所述开始回传指令信息至少包括所述下级视频终端被分配的所述回传端口。

优选地，在所述步骤b之后还包括如下步骤：在所述多级回传完毕后，所述第一级别MCU向所述下级视频终端发出回传资源释放指令信息；其中，所述下级视频终端判断所述回传资源是否被至少一个上级MCU所占用，若所述回传资源未被上级MCU所占用，则所述下级视频终端释放所述回传资源。

优选地，在所述步骤a中还包括如下步骤：i. 所述第一级别MCU判断所述下级视频终端是否通过中转MCU连接至所述第一级别MCU；ii. 若所述下级视频终端通过一个或多个中转MCU连接至所述第一级别MCU，则所述第一级别MCU向与所述第一级别MCU直接相连接的所述中转MCU发出所述回传请求信息，其中，所述回传请求信息包括所述下级终端的标识信息；其中，与所述第一级别MCU直接相连接的所述中转MCU接收到所述回传请求信息后，执行如下步骤：

- 所述中转MCU判断所述下级视频终端是否通过另一个或另多个中转MCU连接至所述中转MCU；

- 若所述下级视频终端通过另一个或另多个中转MCU连接至所述中转MCU，则所述中转MCU向与所述中转MCU直接相连接的所述另一个中转MCU发出所述回传请求信息，其中，所述回传请求信息包括所述下级终端的标识信息。

优选地，所述控制方法还包括如下步骤：iii. 若所述下级视频终端直接连接至所述第一级别MCU，则所述第一级别MCU向所述下级视频终端发出所述回传请求信息。

根据本发明的另一个方面，还提供一种在视频会议系统的第一级别MCU中用于多级回传视频信号的控制装置，所述视频会议系统至少包括第一级别的至少一个MCU，所述第一级别MCU下级联第二级别的至少一个MCU或视频终端，所述第二级别MCU下级联若干级MCU或若干个视频终端，其特征在于，包括：第一发送装置，其用于向多个下级视频终端发出回传请求信息；第一接收装置，其用于分别接收来自所述多个下级视频终端的视频信号，所述视频信号与所述回传请求信息相适应。

优选地，所述第一发送装置包括如下装置：第二发送装置，其用于向所述多个下级视频终端发出探测信息，所述探测信息用于确认所述下级视频终端是否支持多级回传；第二接收装置，其用于接收来自所述多个下级视频终端的反馈信息，所述反馈信息包括所述下级视频是否支持多级回传的确认信息；第三发送装置，其用于当所述下级视频终端支持所述多级回传时向所述下级视频发出所述回传请求信息。

优选地，所述控制装置还包括如下装置：第三接收装置，其用于接收来自所述多个下级视频终端的探测信息，所述探测信息用于确认所述第一级别MCU是否支持多级回传；第一生成装置，其用于根据所述探测信息生成反馈信息，其中，若所述第一级别MCU支持所述多级回传，则所述反馈信息包括所述第一级别MCU支持所述多级回传的确认信息，否则所述反馈信息包括所述第一级别MCU不支持所述多级回传的确认信息。

优选地，所述控制装置还包括如下装置：第四发送装置，其用于向所述多个视频终端发出回传码流要求信息；其中，所述多个视频终端收到所述回传码流要求信息后，根据所述回传码流要求信息设置回传条件。

优选地，所述控制装置还包括如下装置：第一处理装置，其用于向所述多个视频终端分配回传端口。

优选地，所述控制装置还包括如下装置：第五发送装置，其用于向所述多个视频终端发出开始回传指令信息，其中，所述开始回传指令信息至少包括所述下级视频终端被分配的所述回传端口。

优选地，所述控制装置还包括如下装置：第二处理装置，其用于在所述多级回传完毕后向所述下级视频终端发出回传资源释放指令信息；其中，所述下级视频终端判断所述回传资源是否被至少一个上级MCU所占用，若所述回传资源未被上级MCU所占用，则所述下级视频终端释放所述回传资源。

优选地，所述第一发送装置还包括如下装置：第一判断装置，其用于判断所述下级视频终端是否通过中转MCU连接至所述第一级别MCU；第六发送装置，其用于当若所述下级视频终端通过一个或多个中转MCU连接至所述第一级别MCU时向与所述第一级别MCU直接相连接的所述中转MCU发出所述回传请求信息，其中，所述回传请求信息包括所述下级终端的标识信息；其中，与所述第一级别MCU直接相连接的所述中转MCU接收到所述回传请求信息后，执行如下步骤：- 所述中转MCU判断所述下级视频终端是否通过另一个或另多个中转MCU连接至所述中转MCU；- 若所述下级视频终端通过另一个或另多个中转MCU连接至所述中转MCU，则所述中转MCU向与所述中转MCU直接相连接的所述另一个中转MCU发出所述回传请求信息，其中，所述回传请求信息包括所述下级终端的标识信息。

优选地，所述控制装置还包括如下装置：第七发送装置，其用于当所述下级视频终端直接连接至所述第一级别MCU时向所述下级视频终端发出所述回传请求信息。

优选地，所述回传码流要求信息至少包括如下信息中的任一种或任多种：回传数据类型；回传速率；回传数据大小；以及数据起始时间。

优选地，所述下级视频终端的标识信息至少包括：MCU级数指示信息，其用于标识从所述第一级别MCU至所述下级视频终端所直接连接的中转MCU之间的级数；下级视频终端号，其用于标识所述下级视频终端在与其直接连接的中转MCU下的唯一标识信息；以及中转MCU终端号指示信息，其用于顺序标识从所述第一级别MCU至所述下级视频终端所直接连接的中转MCU之间所有中转MCU在该中转MCU所在级别内的唯一标识信息。

根据本发明的又一个方面，还提供一种视频会议系统，至少包括第一级别的至少一个MCU，所述第一级别MCU下级联第二级别的至少一个MCU或视频终端，所述第二级别MCU下级联若干级MCU或若干个视频终端，所述视频会议系统用于控制处于不同级别的多个视频终端向某一级别MCU同时回传视频信号，其特征在于，所述视频会议系统的至少一个MCU中包括上述控制装置。

通过本发明提供的在视频会议系统中多级回传视频信号的控制方法，使得在多层级视频监控系统中，上一级MCU可以任意调取下一级或下若干级视频终端的视频信号，从而实现了视频监控系统的应用范围的扩展，具有更广阔的应用前景。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1示出根据本发明的第一实施例的，MCU多级联通信的示意图；

图2示出根据本发明的一个具体实施方式的，MCU多级联通信的流程图；

图3示出根据本发明的第二实施例的，MCU多回传的示意图；

图4示出根据本发明的另一具体实施方式的，MCU多回传信令的时序图；以及

图5示出根据本发明的第三实施例的，MCU多级视频信号回传控制装置的示意图。

具体实施方式

图1示出根据本发明的第一实施例的，MCU多级联通信的示意图。具体地，本图描述了有第三级别MCU的情况下从第一级别看各级MCU以及各终端的标识；从第二级别MCU看各级MCU以及各终端的标识；以及如何转换从第一级别看各级终端的标识至从第二级别看各级终端的标识，并以第三级别MCU下的终端C1为例。

首先是从第一级别MCU上看所有终端的标识。所述终端的标识由两部分组成，MCU号以及终端号，所述标识的MCU号为所述终端所属MCU的MCU号。对于第一级别MCU直连终端而言，其MCU号用一个特殊值表示，如本图示出的终端A1、终端A2以及第二级别MCU，其MCU号皆用x来表示。而其终端号分别用1,2,3来唯一标识。如本图所示，终端A1的标识为（x,1），终端A2的标识为（x,2）以及第二级别MCU的标识（x,3）。对于所述直属级联MCU下的各级MCU以及各终端标识的MCU号，也就是所述第二级别MCU的第三级别MCU的MCU号与一张表进行映射。所述终端的MCU号作为该表的索引，这张表每行记录一个与本MCU级联的MCU的具体标识信息。具体标识信息的列数与级联深度减一的数值相同，且所述具体标识信息由各列来组合表达。本图示出的第三级别级联通信示意图，其级联深度为3，则所述映射表每行有2列组成，第一列记录与第一级别MCU直属连接的MCU的标识的终端号，第二列用来记录在直属级联MCU下接入的MCU的标识的终端号。本图右上方示出的映射表，该映射表的索引由0开始，即所述第二级别MCU的MCU号为0。其第一列记录了与第一级别MCU直属连接的第二级别MCU的标识的终端号3；第二列记录在直属级联MCU下接入的MCU的标识的终端号，具体地，本领域技术人员理解，如根据索引第二级别MCU的MCU号为0，其本身为直属级联MCU而并未在直属级联MCU下，因此其第二列所示数值为0；又如根据索引第三级别MCU的MCU号为1，其在直属级联MCU也就是第二级别MCU下的标识的终端号为1，因此其第二列所示数值为1。由该映射表可标识出直属级联MCU也就是第二级别MCU下的各级MCU和终端的标识。如本图所示，第三级别MCU标识的MCU号应为其所属MCU也就第二级别MCU的MCU号0，其终端号为1；终端C1标识的MCU号应为其所属MCU也就是第三级别MCU的MCU号1，其终端号为1；以及终端B2标识的MCU号应为其所属MCU也就是第二级别MCU的MCU号0，其终端号在所述第三级别MCU后，所以为2。综上，所述第三级别MCU的标识为（0,1），所述终端C1的标识为（1,1）以及所述终端B1的标识为（0,2）。

然后是从第二级别MCU上看所有终端的标识。所述终端的标识由两部分组成，MCU号以及终端号，所述标识的MCU号为所述终端所属MCU的MCU号。对于第二级别MCU直连终端而言，其MCU号用一个特殊值表示，如本图示出的第一级别MCU，第三级别MCU以及终端B1，其MCU号皆用x来表示。而其终端号分别用1,2,3来唯一标识。如本图所示，第一级别MCU的标识为（x,1），第三级别MCU的标识为（x,2）以及终端B1的标识（x,3）。对于所述直属级联MCU下的各终端标识的MCU号，也就是所述第一级别MCU的第三级别MCU的MCU号与一张表进行映射。所述终端的MCU号作为该表的索引，这张表每行记录一个与本MCU级联的MCU的具体标识信息。具体标识信息的列数与级联深度减一的数值相同，且所述具体标识信息由各列来组合表达。本图示出的第三级别级联通信示意图，其级联深度为3，则所述映射表每行有2列组成，第一列记录与第一级别MCU直属连接的MCU的标识的终端号，第二列用来记录在直属级联MCU下接入的MCU的标识的终端号。本图左下方示出的映射表，该映射表的索引由0开始，即所述第一级别MCU的MCU号为0。其第一列记录了与第二级别MCU直属连接的第一级别MCU的标识的终端号1以及与第二级别MCU直属连接的第三级别MCU的标识的终端号3；第二列记录在直属级联MCU下接入的MCU的标识的终端号，具体地，本领域技术人员理解，如根据索引第一级别MCU的MCU号为0，其本身为直属级联MCU而并未在直属级联MCU下，因此其第二列所示数值为0；又如根据索引第三级别MCU的MCU号为1，其本身为直属级联MCU而并未在直属级联MCU下，因此其第二列所示数值也为0。由该映射表可标识出直属级联MCU也就是第一级别MCU以及第三级别MCU下的各级MCU和终端的标识。如本图所示，终端C1标识的MCU号为其所属MCU的MCU号，也就第三级别MCU的MCU号1，其终端号为1，因此所述终端C1的标识为（1,1）。

具体地，本领域技术人员理解，本发明所提供的MCU多级联多回传的通信技术是建立在MCU两级级联单回传技术的两级之间终端标识的转换的基础上，由此可降低原本由多个MCU号和多个终端号组成唯一终端标识，即每增加级联深度就要推翻一次终端标识结构所带来的巨大工作量。

更具体地，本领域技术人员理解，如何转换从第一级别看各级终端的标识至从第二级别看各级终端的标识。以第三级别MCU下的终端C1为例，从第一级别MCU看所述终端C1的标识为（1,1），根据所述映射表，索引所述MCU号为1的第一列与第二列的标识的终端号，将所述标识展开成（3,1,1），将其中前两个元素（3,1）单独取出作为消息的一部分内容，该内容（3,1）可将其看作两级场景下的MCU号和终端号，也就是两级级联状态下，所述终端C1的标识。本发明所提供的MCU多级联多回传的通信技术是建立在MCU两级级联单回传技术的两级之间终端标识的转换的基础上。因此所述两级场景下终端C1的表示可以沿用“两级环境下的转换终端标识的某种机制”进行标识转换，该机制并不是本技术发明的范畴，因此不予赘述。将所述展开的标识（3,1,1）最后一个元素，也就是在第三级别场景下所述终端C1标识的终端号单独取出并作为消息头的一部分。所述信息头将包括以下内容：（1）CasLv1：从本级到最终目的所属的MCU之间需要经过的MCU个数，其初始值为级联深度减去2，如本图所示，由第一级别MCU出发至第三级别MCU，途径一个MCU，该值初始为1，没过第一级别MCU，该值减1；（2）IdEx：记录MCU号映射表除了前2列以外的信息以及终端号信息。它由n个元素组成（n=级联深度-2）。对于本图所述实施例，n为1，IdEx仅记录终端号信息，对于本实施例中的终端C1而言，即1。信息由第一级别MCU开始发送，所述终端C1的标识由所述第一级别MCU来看为（1,1）。通过判断标识的MCU号是否为x，得知该终端C1非本级直属终端，又因为所述MCU映射表的第一列记录了所述直属级联MCU的标识的终端号号，也就是第二级别MCU的终端号，于是通过MCU映射表的第一列和x可以得到第二级别MCU标识（x,3）。信息将通过第二级别MCU（x,30进行中转，根据上述添加信息头操作对信息进行封装并传输至所述第二级别MCU。所述第二级别MCU收到所述信息包后，将其解封，根据第二级别级联状态下所述终端C1的标识（3,1）转换成第二级别MCU可识别的标识（x,2）。而所述第二级别MCU可识别的标识（x,2）为一个与本级级联的MCU的标识。所述标识（x,2）所标识的MCU为所述目的终端所属的MCU。根据所述目的终端终端C1所属的MCU也就是第三级别MCU的标识的终端号也就是终端号查找所述映射表得到所述第三级别MCU的MCU号1。再通过所述信息头中终端C1的终端号1，得到可被第二级别MCU所识别的标识（1,1），根据本图得知该标识（1,1）为所述终端C1的标识。其后根据原有两级级联技术发送消息的模式从所述第二级别MCU向所述终端C1发送消息，具体地在此不予赘述。

更具体地，本领域技术人员理解，所述MCU号映射表以所述终端的MCU号作为该表的索引，这张表每行记录一个与本MCU级联的MCU的具体标识信息。具体标识信息的列数与级联深度减一的数值相同，且所述具体标识信息由各列来组合表达。如当级联深度为4时，也就是有四级MCU相连接时，所述MCU映射表可以如下表所示：

MCU号索引	第1列	第2列	第3列
				0	3	0	0
1	3	1	0
				2	3	1	1

上述表格中MCU索引中的0为所述第一级别MCU直属连接的MCU的MCU号，也就是所述第二级别MCU的MCU号；1为与所述第二级别MCU级联的MCU的MCU号，也就是所述第三级别MCU的MCU号；2为与所述第三级别MCU级联的MCU的MCU号，也就是所述第四级别MCU的MCU号。第1列中的数字为与所述第一级别MCU直属级联的MCU的标识的终端号，也就是所述第二级别MCU的终端号，如该表格所示为3。第2列中的数字为当索引的MCU所属与所述第二级别MCU直属级联的MCU或其为与所述第二级别MCU直属级联的MCU，则其第2列中的数字为与所述第二级别MCU直属级联的MCU的标识的终端号，也就是所述第三级别MCU的标识的终端号。如该表格所示，其第一行为第二级别MCU的索引，因此所述第2列中的数字为0，其第二行，第三行为所述第三级别MCU与所述第四级别MCU的索引，因此，其第2列的数字为所述第三级别MCU标识的终端号，也就是表格中所示的1。第3列中的数字为当索引的MCU所属与所述第三级别MCU直属级联的MCU或其为与所述第三级别MCU直属级联的MCU，则其第3列中的数字为与所述第三级别MCU直属级联的MCU的标识的终端号，也就是所述第四级别MCU的标识的终端号。如该表格所示，其第一行，第二行为所述第二级别MCU与所述第三级别MCU的索引，因此，其第3列的数字为0。其第三行为所述第四级别MCU的索引，因此所述第3列中的数字为所述第四级别MCU标识的终端号，也就是表格中所示的1。当所述视频会议系统中有五级MCU，则如同三级和四级的映射表算法相同，具体地在此不予赘述。

图2示出根据本发明的一个具体实施方式的，MCU多级联通信的流程图。本图具体地描述了MCU多级级联时上级向下级传递信息转换标识的整个过程。具体地，共有11个步骤，首先是步骤S101，从第一级别MCU开始发送信息。之后处于步骤S202，确定目标终端的标识并判断其目标终端的标识的MCU号是否为x，如果其MCU号为x，则表示该目标终端直属在第一级别MCU下，则直接跳至步骤S210其标识直接为本级所识别，其后执行步骤S211，即直接向所述目标终端传递信息。如果其标识的MCU号不为x，则表示该目标终端非本级直属，此时执行步骤S203，即将所述目标终端标识的MCU号通过所述MCU映射表第一列和第一级别MCU号x确定中转MCU的标识。其后执行步骤S204将目的终端的标识按照映射表展开，并根据展开的标识将所述信息进行封装，具体封装方法如下：将展开后标识的前两个元素单独取出作为信息的一部分，最后一个元素作为信息头的一部分，所述信息头将包括以下内容：（1）CasLv1：从本级到最终目的所属的MCU之间需要经过的MCU个数，其初始值为级联深度减去2，如图1所示，由第一级别MCU出发至第三级别MCU，途径一个MCU，该值初始为1，没过第一级别MCU，该值减1；（2）IdEx：记录MCU号映射表除了前2列以外的信息以及终端号信息。它由n个元素组成（n=级联深度-2）。对于图1所述实施例，n为1，IdEx仅记录终端号信息，对于图1所示实施例中的终端C1而言，即1。之后执行步骤S205，所述第一级别MCU将经过上述封装后的信息包发送至所述中转MCU，其为所述第一级别MCU直属级联的MCU，所述中转MCU接收到所述信息包后，将所述信息包解封装，此时为步骤S206。解封装时，首先提取所述信息头，并获得CasLv1的数值，也就是从本级到最终目的所属的MCU之间需要经过的MCU个数，执行步骤S207，即判断其数值是否为0，如果该数值为0，则说明所述目标终端直属当前中转MCU，即直接跳入步骤S210所述信息可直接通过当前中转MCU向所述目标终端发送，将根据所述解封后的信息转换，获得所述本级MCU可识别的目标终端的标识。其后处于步骤S211，根据此标识向目标终端发送信息。如果所述CasLv1的数值不为0，则根据信息包内根据所述映射表展开后的前两个元素，通过所述MCU两级级联单回传技术的两级之间终端标识的转换将其转换为当前MCU可识别的中转MCU的标识，此时为步骤S208。步骤S208后为步骤S209，其根据所述信息头以及已转换的中转MCU的标识获得所述本级MCU可识别的目标终端的标识。获得本级可识别的目标终端标识后，重复上述步骤S204至S209，直至所述本级MCU到目的终端所述MCU之间MCU的个数为0，也就是所述目标终端为本级MCU所属，跳入步骤S210和步骤S211，其将直接进行信息的传递。具体地，本领域技术人员理解，上图示出了从上级MCU到下级MCU的通讯传递方案，从下级到上级的通讯传递也是如出一辙，在能够沿用“两级环境下的转换终端标识的某种机制”的条件，并在传递消息的过程中附加消息头，用于层层封装/解封装最终达到目的，在此不予赘述。

结合上述图1和图2所示本发明所提供的MCU多级联多回传技术中的MCU多级联技术，本领域技术人员理解，其主要基于MCU两级级联单回传技术的两级之间终端标识的格式及其转换，通过增加一张MCU号映射表来标识两级以上的MCU及终端以及每级MCU通讯时对所传输的消息的封装与解封装配合来完成所述MCU的多级联技术。本发明提供的多级联技术的支持更有利于分布式的层级部署，并能进一步扩大会议容量。以第三级别级联会议为例，假设一个MCU下可以接最多24个下级MCU，而每个会议各接入10个终端，那么第三级别会议中最多能容纳终端为5760个终端，相比第二级别级联场景最多只能容纳240个终端，会议容量的提高可谓是质的飞跃。

图3示出根据本发明的第二实施例的，MCU多回传的示意图。为了更清楚地描述所述MCU多回传技术，本图示出了两个MCU，分别为主MCU和从MCU，终端A1和从MCU直属主MCU，终端B1和终端B2直属从MCU，从MCU与主MCU相连接。本图还示出了各MCU个终端进行码流传输时的逻辑端口，所述主MCU的端口有两个，分别为主MCU的端口1，用于接收所述终端A1发来的码流及信息；主MCU的端口2，用于接收所述从MCU发来的码流及信息。所述从MCU的端口有三个，分别为从MCU的端口1，用于接收所述主MCU发来的码流及信息；从MCU的端口2，用于接收所述终端B1发来的码流及信息并通过该端口向其他MCU进行转发；从MCU的端口3，用于接收所述终端B2发来的码流及信息并通过该端口向其他MCU进行转发。本图还示出了两块视频会议系统中进行码流转发的单板。具体地，本领域技术人员理解，所述单回传MCU用于码流转发的单板遵从MP协议。MP是Multi-Link PPP的缩写，是将多个物理链路的PPP捆绑在同一个逻辑端口，旨在增加链路的带宽，只要是支持PPP的物理链路都可以启用MP，互相捆绑在同一个逻辑端口Dialer口。MP允许将IP等网络层的报文进行碎片处理，将碎片的报文通过多个链路传输，同时抵达同一个目的地，以求汇总所有链路的带宽。通常PPP物理链路在协商完LCP的一般参数之后，再发起MP请求，如果对方的链路支持MP，并且给出正确的应答，那么将和其他的物理链路共同捆绑到逻辑端口上，进而进行NCP（比如IPCP）协商，如果协商成功，所有的MP的物理链路将都使用同一个逻辑端口的网络地址。MP方式下的接口进程有如下步骤：(1) 检测对端是否工作在MP方式。首先和对端进行LCP协商，协商过程中，除了协商一般的LCP参数外，还验证对端接口是否也工作在MP方式下。如果对端不工作在MP方式下，则在LCP协商成功后，进行NCP协商步骤，不进行MP捆绑。(2) 将接口捆绑至虚模板接口。有两种方法可以将接口捆绑至虚模板接口：直接捆绑和根据用户名或终端标识符捆绑。直接捆绑是指不检测PPP接口的用户名和终端标识符，直接将接口捆绑至指定的虚模板接口。根据用户名或终端标识符捆绑是指根据PPP验证的用户名或接口的终端标识符将接口捆绑至虚模板接口。(3) 进行NCP协商等操作。PPP接口被捆绑至虚模板接口之后，将根据虚模板接口的各项NCP参数（如IP地址等）进行NCP协商，物理接口配置的NCP参数不起作用。NCP协商通过后，即可建立MP链路，用更大的带宽传输数据。所述MP协议的逻辑通道可清楚由本图虚线箭头所示出。所述虚线箭头是单回传时码流回传走音频的逻辑通道，其表示所述从MCU将从所述终端B2发来的码流通过所述从MCU的端口2向所述主MCU的端口2进行传输，而所述主MCU只有一个端口2用于接收通过所述逻辑通道从所述从MCU发来的码流及信息，因此限制了主从MCU之间的码流及信息的传输。具体地，在此不予赘述。

更具体地，本领域技术人员理解，所述MCU多回传技术基于所述MP协议，并突破逻辑通道的束缚，其在业务逻辑层中抽象出n个接收下级回传码流的回传通道。如本图所示实线箭头，所述从MCU的端口2和端口3通过本发明技术在业务逻辑层所抽象出来的通道通过所述单板向所述主MCU发送所述码流及信息。本发明技术正是基于所述MP协议以及在业务逻辑层对所述通道的抽象来实现MCU多回传的技术。而所述回传通道数量的会根据实际网络环境进行灵活调整，以最优化利用各级的网络带宽资源，如果网络状况良好，带宽充足，那么下级能回传的通道数量就会相应增加，会议中能进行的业务就会比较丰富；如果网络不理想，带宽很小，那么我们就会以回传通道数量的减少来保证会议效果的质量。同时在多级环境中，并不仅限于只有第一级别可以这样操作，下面几级都可以独立操作，比如第一级别让第二级别回传一路码流的同时第二级别也可以让第三级别某个终端回传一路码流到第二级别做自身第二级别的业务处理。即这套技术方案会根据用户实际网络环境进行合理的高效的最优化管理多回传资源。本技术发明将使用一系列交互信令来维护整个多回传机制，具体地将在下文进行描述。本领域技术人员可基于MP协议和相关技术实现上述多级独立操作，具体地，在此不予赘述。

图4示出根据本发明的另一具体实施方式的，MCU多回传信令的时序图。具体地，本图描述了本发明所提供的MCU多回传多级联技术为了维护整个多回传机制从上级MCU向下级MCU发出回传请求到下级MCU向上级MCU回传码流并最后释放码流资源的整个信令传递过程。首先第一个步骤，所述上级MCU向下级发出探测信息，探测所述下级MCU是否支持所述多回传（或开启多回传功能）。所述下级MCU收到该信令后，判断其本身是否支持多回传（或开启多回传功能），并将判断信息回复至上级MCU，本图示出的下级MCU支持多回传技术，因此第二个步骤，所述下级MCU回复所述探测信息给所述上级MCU，所述回复信令包括以下信息：下级MCU支持多回传技术（或开启多回传功能）以及探测所述上级MCU是否支持多回传技术。第三个步骤，所述上级MCU收到所述回复信令后，判断其本身是否支持多回传（或开启多回传功能），并将判断信息回复至下级MCU，本图示出的上级MCU支持多回传技术，因此所述回复信令包括如下信息：上级MCU支持多回传技术。具体地，本领域技术人员理解，步骤一至步骤三所描述的信令将决定之后码流传输的整个回传机制属于多回传机制还是原有的单回传机制，其将影响整个会议的业务功能。所述步骤一至步骤三所描述的信令同时解决了新老产品平台间的兼容问题、多家厂商间的对通问题。之后是步骤四，所述上级MCU将向所述下级MCU发送一个回传准备工作的信令，所述信令包括如下信息：所述上级MCU对下级MCU所要回传的码流的要求以及本次可预释放的带宽信息。具体地，本领域技术人员理解，所述可预释放的带宽信息用于解决替换通道的问题，例如，所述上级MCU先让下级MCU某个终端A回传码流到电视墙通道1中，也就是在业务逻辑层中抽象出的某1通道，之后让下级终端B替换下级终端A回传码流到所述电视墙通道1中。由于存在释放带宽和占用带宽同时进行，此时带宽计算容易产生错误。而在所述回传准备工作的信令中加入可预释放的带宽信息至下级MCU，可在通道替换时对所述带宽的计算进行验算，以避免带宽计算错误。其后是第五步，所述下级MCU收到所述回传准备工作的信令后，对当前的网络带宽资源进行分析，并根据所述回传准备工作信令所包含的要求判断所要回传的码流是否符合要求，进而给上级MCU进行应答。本图所示出的应答优选地，为所述下级MCU所要发送的码流符合所述上级MCU发送的回传准备工作信令所包含的码流要求。其后是步骤六，所述上级MCU收到所述应答后，根据当时的网络带宽资源分配好供下级回传的通道端口。所述通道端口根据所述多回传机制，其为在所述业务逻辑层中抽象的通道端口。所述端口分配完成后，处于步骤七，所述上级MCU发送一个通知下级MCU可以开始进行回传的信令。所述通知信令包括如下信息：通知下级可以开始进行回传以及所述上级MCU为下级MCU分配的端口信息。所述下级MCU收到所述通知信令后，根据所述通知信令所包含的端口信息，向所述端口回传码流，此为步骤八。所述码流回传完毕后，或者所述上级MCU要求结束码流回传，此时处于步骤九，所述上级MCU将向所述下级MCU发出释放资源的信令。其后为步骤10，所述下级MCU判断该码流资源的目的数是否为零，也就是所述码流资源是否还回传至其他MCU，如果没有回传至其他MCU，所述下级MCU则根据所述释放信令，将所述码流资源释放；如果还有回传至其他MCU，则当所有目的MCU都接收完所述码流，并没有其他目的MCU时，将所述码流资源释放。所述下级MCU释放所述码流资源为步骤十一。具体地，本领域技术人员理解，所述步骤十至步骤十一解决了当同一码流资源被多业务同时使用时码流资源释放的问题。例如下级终端A既被上级监控，又被上级某个终端B选看，这样当某个业务停止使用该码流时，还不能释放对应的回传资源。只要还有业务在用该回传码流时，就不能释放它。所以业务中会议记录回传码流的目的数，当目的数为0时，才会释放对应回传资源。

具体地，本领域技术人员理解，本发明所提供的MCU多级联多回传技术中的MCU多回传技术，其主要基于MP协议，在业务逻辑层抽象出n个传输通道及其端口以及一系列交互信令相配合来实现所述MCU多回传技术。所述MCU多回传技术，相较于单回传技术，在会议业务的应用上更为丰富，一些原本只能在单级场景下的应用，如今在多级联场景中其应用也变成了可能。比如上级MCU的画面合成可以同时显示下级多个终端的图像；上级MCU能同时监控下级多个终端的图像和声音；上级电视墙可以同时播放下级多个终端的图像和声音等等。

进一步地，本领域技术人员理解，本发明技术所提供MCU多级联多回传技术，在多级联情况下，也就第三级别及第三级别以上的级联环境下，所述多回传机制的信令发送及转发时间相对MCU两级联单回传的情况下更长一些，因此容易产生时序问题，在本发明技术中，采用对占用释放回传资源增加状态机来保证释放资源和占用资源的正常进行。更进一步地，本领域技术人员可根据现有状态机的相关技术，很容易的解决上述时序问题，具体地在此不予赘述。

图5示出根据本发明的第三实施例的，MCU多级视频信号回传控制装置的示意图。为了更清楚得描述所述MCU多级视频回传控制装置，本图示出了第一发送装置，其用于向多个下级视频终端发出回传请求信息。第一接收装置，其用于分别接收来自所述多个下级视频终端的视频信号，所述视频信号与所述回传请求信息相适应。第四发送装置，其用于向所述多个视频终端发出回传码流要求信息。其中，所述多个视频终端收到所述回传码流要求信息后，根据所述回传码流要求信息设置回传条件。所述回传码流要求信息至少包括如下信息中的任一种或任多种：回传数据类型、回传速率、回传数据大小以及数据起始时间。第一处理装置，其用于向所述多个视频终端分配回传端口。第五发送装置，其用于向所述多个视频终端发出开始回传指令信息，其中，所述开始回传指令信息至少包括所述下级视频终端被分配的所述回传端口。第二处理装置，其用于在所述多级回传完毕后向所述下级视频终端发出回传资源释放指令信息。其中，所述下级视频终端判断所述回传资源是否被至少一个上级MCU所占用，若所述回传资源未被上级MCU所占用，则所述下级视频终端释放所述回传资源。所述第一发送装置包括如下装置：第二发送装置，其用于向所述多个下级视频终端发出探测信息，所述探测信息用于确认所述下级视频终端是否支持多级回传；第二接收装置，其用于接收来自所述多个下级视频终端的反馈信息，所述反馈信息包括所述下级视频是否支持多级回传的确认信息；第三发送装置，其用于当所述下级视频终端支持所述多级回传时向所述下级视频发出所述回传请求信息。第三接收装置，其用于接收来自所述多个下级视频终端的探测信息，所述探测信息用于确认所述第一级别MCU是否支持多级回传；第一生成装置，其用于根据所述探测信息生成反馈信息，其中，若所述第一级别MCU支持所述多级回传，则所述反馈信息包括所述第一级别MCU支持所述多级回传的确认信息，否则所述反馈信息包括所述第一级别MCU不支持所述多级回传的确认信息。第一判断装置，其用于判断所述下级视频终端是否通过中转MCU连接至所述第一级别MCU；第六发送装置，其用于当若所述下级视频终端通过一个或多个中转MCU连接至所述第一级别MCU时向与所述第一级别MCU直接相连接的所述中转MCU发出所述回传请求信息，其中，所述回传请求信息包括所述下级终端的标识信息；第七发送装置，其用于当所述下级视频终端直接连接至所述第一级别MCU时向所述下级视频终端发出所述回传请求信息。所述MCU多级联多回传控制装置内的各发送装置，接收装置，处理装置以及生成装置相互组合以实现本发明所提供的MCU多级联多回传技术。所述MCU多级联多回传技术满足了了视频会议的大容量需求，其在会议业务的应用方式上也更为丰富。

本发明所要解决的技术问题主要集中为：1、在下级到上级的回传通道数上，突破下级MCU在同一时刻只能回传一路码流给上级MCU的限制；2、在级联的深度上，突破只能两级级联的限制。突出地针对上述两个问题，本发明采取的技术方案：为了解决第一个技术问题，我们采取了级联多回传策略。为了解决第二个技术问题，我们采用了多级联的方案。两者结合在一起就是多回传多级联的策略。

本技术方案会带来如下的有益效果：相比较单回传，多回传能使级联的业务应用更加丰富，一些原本只能在单级场景下的应用，如今在级联场景中应用也变成了可能。比如上级MCU的画面合成可以同时显示下级多个终端的图像；上级MCU能同时监控下级多个终端的图像和声音；上级电视墙可以同时播放下级多个终端的图像和声音等等。另外多级联的支持更有利于分布式的层级部署，并能进一步扩大会议容量。以三级级联会议为例，假设一个MCU下可以接最多24个下级MCU，而每个会议各接入10个终端，那么三级会议中最多能容纳终端为5760个终端，相比二级场景最多只能容纳240，会议容量的提高可谓是质的飞跃。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims

1. 一种在视频会议系统中多级回传视频信号的控制方法，所述视频会议系统至少包括第一级别的至少一个MCU，所述第一级别MCU下级联第二级别的至少一个MCU或视频终端，所述第二级别MCU下级联若干级MCU或若干个视频终端，其特征在于，包括如下步骤：

a. 所述第一级别MCU向多个下级视频终端发出回传请求信息；

b. 所述第一级别MCU分别接收来自所述多个下级视频终端的视频信号，所述视频信号与所述回传请求信息相适应。

2. 根据权利要求1所述的控制方法，其特征在于，所述步骤a包括如下步骤：

a1. 所述第一级别MCU向所述多个下级视频终端发出探测信息，所述探测信息用于确认所述下级视频终端是否支持多级回传；

a2. 所述第一级别MCU接收来自所述多个下级视频终端的反馈信息，所述反馈信息包括所述下级视频是否支持多级回传的确认信息；

a4. 若所述下级视频终端支持所述多级回传，则所述第一级别MCU向所述下级视频发出所述回传请求信息。

3. 根据权利要求2所述的控制方法，其特征在于，所述步骤a2与步骤a4之间还包括如下步骤：

a31. 所述第一级别MCU接收来自所述多个下级视频终端的探测信息，所述探测信息用于确认所述第一级别MCU是否支持多级回传；

a32. 所述第一级别MCU根据所述探测信息生成反馈信息，其中，若所述第一级别MCU支持所述多级回传，则所述反馈信息包括所述第一级别MCU支持所述多级回传的确认信息，否则所述反馈信息包括所述第一级别MCU不支持所述多级回传的确认信息。

4. 根据权利要求1至3中任一项所述的控制方法，其特征在于，在所述步骤a4之后还包括如下步骤：

a5. 所述第一级MCU向所述多个视频终端发出回传码流要求信息；

其中，所述多个视频终端收到所述回传码流要求信息后，根据所述回传码流要求信息设置回传条件。

5. 根据权利要求4所述的控制方法，其特征在于，所述回传码流要求信息至少包括如下信息中的任一种或任多种：

- 回传数据类型；

- 回传速率；

- 回传数据大小；以及

- 数据起始时间。

6. 根据权利要求1至5中任一项所述的控制方法，其特征在于，还包括如下步骤；

a7. 所述第一级别MCU向所述多个视频终端分配回传端口。

7. 根据权利要求1至6中任一项所述的控制方法，其特征在于，还包括如下步骤：

a8. 所述第一级别MCU向所述多个视频终端发出开始回传指令信息，其中，所述开始回传指令信息至少包括所述下级视频终端被分配的所述回传端口。

8. 根据权利要求1至7中任一项所述的控制方法，其特征在于，在所述步骤b之后还包括如下步骤：

在所述多级回传完毕后，所述第一级别MCU向所述下级视频终端发出回传资源释放指令信息；

其中，所述下级视频终端判断所述回传资源是否被至少一个上级MCU所占用，若所述回传资源未被上级MCU所占用，则所述下级视频终端释放所述回传资源。

9. 根据权利要求1至8中任一项所述的控制方法，其特征在于，在所述步骤a中，还包括如下步骤：

i. 所述第一级别MCU判断所述下级视频终端是否通过中转MCU连接至所述第一级别MCU；

ii. 若所述下级视频终端通过一个或多个中转MCU连接至所述第一级别MCU，则所述第一级别MCU向与所述第一级别MCU直接相连接的所述中转MCU发出所述回传请求信息，其中，所述回传请求信息包括所述下级终端的标识信息；

其中，与所述第一级别MCU直接相连接的所述中转MCU接收到所述回传请求信息后，执行如下步骤：

10. 根据权利要求9所述的控制方法，其特征在于，还包括如下步骤：

iii. 若所述下级视频终端直接连接至所述第一级别MCU，则所述第一级别MCU向所述下级视频终端发出所述回传请求信息。

11. 一种在视频会议系统的第一级别MCU中用于多级回传视频信号的控制装置，所述视频会议系统至少包括第一级别的至少一个MCU，所述第一级别MCU下级联第二级别的至少一个MCU或视频终端，所述第二级别MCU下级联若干级MCU或若干个视频终端，其特征在于，包括：

第一发送装置，其用于向多个下级视频终端发出回传请求信息；

第一接收装置，其用于分别接收来自所述多个下级视频终端的视频信号，所述视频信号与所述回传请求信息相适应。

12. 根据权利要求11所述的控制装置，其特征在于，所述第一发送装置包括如下装置：

第二发送装置，其用于向所述多个下级视频终端发出探测信息，所述探测信息用于确认所述下级视频终端是否支持多级回传；

第二接收装置，其用于接收来自所述多个下级视频终端的反馈信息，所述反馈信息包括所述下级视频是否支持多级回传的确认信息；

第三发送装置，其用于当所述下级视频终端支持所述多级回传时向所述下级视频发出所述回传请求信息。

13. 根据权利要求12所述的控制装置，其特征在于，所述控制装置还包括如下装置：

第三接收装置，其用于接收来自所述多个下级视频终端的探测信息，所述探测信息用于确认所述第一级别MCU是否支持多级回传；

第一生成装置，其用于根据所述探测信息生成反馈信息，其中，若所述第一级别MCU支持所述多级回传，则所述反馈信息包括所述第一级别MCU支持所述多级回传的确认信息，否则所述反馈信息包括所述第一级别MCU不支持所述多级回传的确认信息。

14. 根据权利要求11至13中任一项所述的控制装置，其特征在于，所述控制装置还包括如下装置：

第四发送装置，其用于向所述多个视频终端发出回传码流要求信息；

15. 根据权利要求14所述的控制装置，其特征在于，所述回传码流要求信息至少包括如下信息中的任一种或任多种：

- 回传数据类型；

- 回传速率；

- 回传数据大小；以及

- 数据起始时间。

16. 根据权利要求11至15中任一项所述的控制装置，其特征在于，还包括如下装置：

第一处理装置，其用于向所述多个视频终端分配回传端口。

17. 根据权利要求11至16中任一项所述的控制装置，其特征在于，还包括如下装置：

第五发送装置，其用于向所述多个视频终端发出开始回传指令信息，其中，所述开始回传指令信息至少包括所述下级视频终端被分配的所述回传端口。

18. 根据权利要求11至17中任一项所述的控制装置，其特征在于，还包括如下装置：

第二处理装置，其用于在所述多级回传完毕后向所述下级视频终端发出回传资源释放指令信息；

19. 根据权利要求11至18中任一项所述的控制装置，其特征在于，所述第一发送装置还包括如下装置：

第一判断装置，其用于判断所述下级视频终端是否通过中转MCU连接至所述第一级别MCU；

第六发送装置，其用于当若所述下级视频终端通过一个或多个中转MCU连接至所述第一级别MCU时向与所述第一级别MCU直接相连接的所述中转MCU发出所述回传请求信息，其中，所述回传请求信息包括所述下级终端的标识信息；

20. 根据权利要求19所述的控制装置，其特征在于，还包括如下装置：

第七发送装置，其用于当所述下级视频终端直接连接至所述第一级别MCU时向所述下级视频终端发出所述回传请求信息。

21. 根据权利要求9或10所述的控制方法和/或根据权利要求19或20所述的控制装置，其特征在于，所述下级视频终端的标识信息至少包括：

MCU级数指示信息，其用于标识从所述第一级别MCU至所述下级视频终端所直接连接的中转MCU之间的级数；

下级视频终端号，其用于标识所述下级视频终端在与其直接连接的中转MCU下的唯一标识信息；以及

中转MCU终端号指示信息，其用于顺序标识从所述第一级别MCU至所述下级视频终端所直接连接的中转MCU之间所有中转MCU在该中转MCU所在级别内的唯一标识信息。

22. 一种视频会议系统，至少包括第一级别的至少一个MCU，所述第一级别MCU下级联第二级别的至少一个MCU或视频终端，所述第二级别MCU下级联若干级MCU或若干个视频终端，所述视频会议系统用于控制处于不同级别的多个视频终端向某一级别MCU同时回传视频信号，其特征在于，所述视频会议系统的至少一个MCU中包括根据权利要求11至21中任一项所述的控制装置。