CN1553710A - 一种视频会议中的流转换系统和方法 - Google Patents

Abstract

本发明公开了一种视频会议中的流转换系统和方法，该系统和方法能够智能地对视频流格式进行转码和拼接，它包括视频会议终端、多点控制单元MCU和媒体网关MG，同一网络的视频会议终端通过网络与本网络内的多点控制单元MCU相连，不同网络的多点控制单元通过网络及媒体网关MG相连，同一网络内的视频会议终端直接受控于本网内的多点控制单元MCU，实现网络内视频会议终端的视频流的交换，不同网络的会议终端通过媒体网关可间接受控于不同网络的多点控制单元MCU，实现不同网络的视频会议终端的视频流的交换，媒体网关MG将不同的视频流格式进行相互转换和拼接，该系统还可包括信息设定模块和信息解析模块，可广泛适用于不同网络间的连接。

Description

一种视频会议中的流转换系统和方法

                               技术领域

本发明涉及一种视频会议中的流转换系统和方法，具体地说是一种在视频会议中能够智能地对视频流格式进行转码和拼接的流转换系统和方法。

                               背景技术

目前，视频的编解码方式有多种标准，其中，比较常见的是MPEG1，MPEG2，MPEG4，H.263等，各种标准的参数与应用如下表：

编码方式	幅面	帧率	带宽	应用领域
					MPEG1	352*24 or 320*240	24-30fps	1.5Mbps	VCD
MPEG2	720*24 or 640*480	24-30fps	4-8Mbps	HDTV，VC
					MPEG4	34*48-4096*4096	1-30fps	10kbps-10Mbps	VC，交互电视
H.263	128*96-1048*1152		8kbps-1.5Mbps	VC，VOIP

以上多种标准，除了MPEG1标准因清晰度较低不适用于视频会议(VC)外，其他的编码标准都在视频会议中有所应用。其中，MPEG4和H.263视频可以在窄带网络上方便地传输，具有较强的适应性。但是由于MPEG4标准是1999年开始推出的，而早在1994年MPEG2就开始广泛应用，所以，在目前的视频会议领域，存在着大量基于MPEG2标准和H.263标准的视频流。而H.263通常应用于低带宽的电话网上，所以，带宽的限制象一堵无形的墙，限制着MPEG2和H.263两套标准数据流之间的互联互通。

                               发明内容

为解决以上存在的技术问题，本发明将提供一种在视频会议中能够智能地对视频流格式进行转码和拼接的流转换系统和方法，为实现以上目的，本发明是通过以下技术方案来实现的：

一种视频会议中的流转换系统包括视频会议终端、多点控制单元MCU和媒体网关MG，同一网络的视频会议终端通过网络与本网络内的多点控制单元MCU相连，不同网络的多点控制单元通过网络及媒体网关MG相连，同一网络内的视频会议终端直接受控于本网内的多点控制单元MCU，实现网络内视频会议终端的视频流的交换，不同网络的会议终端通过媒体网关可间接受控于不同网络的多点控制单元MCU，实现不同网络的视频会议终端的视频流的交换。

视频会议终端包括视频、音频编解码器，视频、音频编解码器是硬件或软件，多点控制单元MCU包括服务器软件和网络设备，媒体网关MG是全双工的视频格式转换设备，在不同网络中，将不同的视频流格式进行相互转换和拼接。

本视频会议中的流转换系统还可包括信息设定模块和信息解析模块。

一种视频会议中的流转换方法，包括以下步骤：

网络I内的视频会议终端发送要和另一个网络II的视频会议终端进行视频流交换的请求和一些控制命令或者信息，并等待连接成功的控制命令；

网络I内的多点控制单元MCU接受这一请求，并将该请求发往媒体网关MG，媒体网关MG将该请求发往另一网络II；

网络II的多点控制单元MCU将会接受到来自媒体网关MG的请求，并根据请求里的信息，发往相应的视频会议终端；

网络II的视频会议终端接受到这个请求后，将会回一个连接成功的控制信息，该控制信息经过该网络II的多点控制单元MCU，经过媒体网关MG，再经过网络I内的多点控制单元MCU，到达网络I内的视频终端，至此网络I内的视频会议终端和网络II内的视频会议终端的连接建立完成；

连接建立成功后，网络I内的视频会议终端将视频流直接发往媒体网关MG，媒体网关MG根据对视频流相应的处理后就直接发往网络II内的视频会议终端；

以上过程是可逆的。

视频流中可通过信息设定模块加入控制信息，控制信息与视频流一起传送，媒体网关MG根据控制信息的要求对视频流进行相应处理

采用以上结构和方法的视频会议中的流转换系统方法具有以下有益效果：通过“解码、编码、拼接”实现了不同类型网络间的无缝焊接，使每个网络内的用户能够无差别地接受其他类型网络上的其他编码标准的视频数据，并且将控制信息和视频流合用同一个网络通道，节省了有限的网络资源，从而使视频会议的应用突破了网络带宽的限制，迈向新的广阔的发展空间。

下面结合附图详细说明本发明具体实施方式。

                               附图说明

图1是本发明视频会议中的流转换系统一种实施例的结构示意图。

图2是本发明视频会议中的媒体网关一种实施例硬件结构图。

图3是本发明视频会议中的流转换系统一种实施例流程示意图。

图4是本发明视频会议中媒体网关的控制模块一种实施例程序流程图。

图5是本发明视频会议中媒体网关的数据处理模块一种实施例程序流程图。

图6是控制信息与视频数据包的关系图

                               具体实施方式

图1所示  是本发明视频会议中的流转换系统的结构示意图。该系统包括网络I2(可为IP网络)内所有在线的多点控制单元MCU3和通过网络I2(为IP网络)与其相连的视频会议终端1、媒体网关MG4、网络II6(为PSTN网络)内所有在线的多点控制单元MCU5和通过网络II6(为PSTN网络)与其相连的视频会议终端7，网络I的多点控制单元MCU3与网络II的多点控制单元MCU5通过网络及媒体网关MG4相连。视频会议终端包括视频、音频的编解码器，视频、音频的编解码器可以是硬件的，也可以是软件的。在视频会议终端中设有信息设定模块，在进行实时数据传输时，经过压缩的MPEG2格式或者H.263格式的视频流在被发送到网络之前首先要经过信息设定模块的处理，信息设定模块将数据流重新打包，控制信息以一个数据结构的形式被加入到整个数据的包头或包尾。这些信息包括转发位，标志是否要跨网络发送；组合位，标志是否要参与视频流的拼接；地址信息，这里指对方网络中的地址信息。信息设定模块也可以不设在视频终端中而独立存在。

多点控制单元MCU包括控制端的服务器软件以及一些附带的网络设备。多个视频会议终端受控于多点控制单元MCU，他们同处于同一个网络中，像这样，就构成很多相同，或者不同通信协议的网络。媒体网关MG4将这些网络连接起来，使他们互连互通。

媒体网关MG4是一种全双工的视频格式转换设备，可以在不同网络，将不同的视频流格式进行相互的转换和拼接，使它们互连互通，达到节省有限的网络带宽的目的。

在本实施例中，媒体网关MG将IP网的MPEG2数据转换成H.263格式并转发到PSTN网，同时将PSTN网的H.263格式转换成MPEG2格式。此外，为了节省有限的网络带宽，该媒体网关还提供了视频数据的拼接功能，即可以把多路视频组合成一路视频数据输出，从而解决了视频会议中MPEG2标准和H.263标准间的互联互通。

图2是本发明视频会议中的媒体网关一种实施例硬件结构图。媒体网关MG包括：PSTN网发送接收模块U1、以太网的发送接收模块U2、数据处理模块U3、控制模块U4。在媒体网关MG中可设有信息解析模块，信息解析模块一般采用相应的软件程序来完成，为了减少数据处理模块U3处理数据的负担，我们通常把信息解析模块的程序放在控制模块U4中，在我们的硬件上表现为ARM系列的单片机。信息解析模块也可不设在控制模块U4中，而单独设立。

媒体网关MG中各芯片间依靠相应的电气关系进行连接，数据处理模块U3(型号为TMS320C54X)和SDRAM间主要靠数据线、控制线和时钟线连接，数据处理模块U3(型号为TMS320C54X)和控制模块U4(ARM系列的单片机)间主要是一些控制线和数据线连接。

对于整个系统，视频会议终端和多点控制单元MCU之间的连接是以现在已经架构的线路(主要是电信的IP网或PSTN网)，所有的视频会议终端和多点控制单元MCU靠这些已经存在的网络连接在一起，最后再由媒体网关来使不同网络互连互通。

为了说明的方便，以以太网和PSTN网互联为例说明其数据流的传送过程，

先从PSTN网到Ethernet网。首先，加入控制信息的视频数据流从PSTN网络进来，经过PSTN网发送接收模块U1(型号为S5N8947)解调后将数据存放在SDRAM中，同时要通知控制模块U4(型号为ARM系列单片机)和数据处理模块U3(可选择不同的DSP，如型号为TMS320C54X)做数据处理，控制模块U4(型号为ARM单片机)分析数据包中控制信息，主要是看有几路视频数据流进来、是否需要拼接、以及流的格式，是否需要进行格式转换等。然后控制模块U4(型号为ARM系列单片机)将会通知数据处理模块U3调用相应算法对视频流进行处理。每处理完一个包，数据处理模块U3将会通知控制模块U4，最后控制模块U4将会控制以太网的发送接收模块U2(型号为LXT971A)将处理好后的数据包发送到以太网上。

反过来，从Ethernet网到PSTN网也一样的进行处理，唯一不同的是，到最后，是控制模块U4控制PSTN网发送接收模块U1将处理好的数据包调制成DSL信号在电话线上进行传送。

整个过程是全双工的，保证媒体网关MG处理数据的效率。

图3是本发明视频会议中的流转换系统一种实施例流程示意图。

图3中细实箭头表示控制命令或者请求命令，空心的箭头表示数据的流向。在同一Ethernet网络中，视频会议终端A需要和视频会议终端B进行视频流的交换时，视频会议终端A发送一个请求，该请求会由Ethernet网内的多点控制单元MCU来受理，并执行该请求，使视频会议终端A和视频会议终端B建立连接。一旦视频会议终端A与视频会议终端B建立了连接，此时多点控制单元MCU的任务就完成。视频会议终端A和视频会议终端B就可以进行直接(不通过多点控制单元MCU)的视频流交换了。反之亦然。同样，视频会议终端C需要和视频会议终端D进行视频流的交换时，视频会议终端C发送一个请求，该请求会由PSTN网内的多点控制单元MCU1来受理，并执行该请求，使视频会议终端C和视频会议终端D建立连接。此时多点控制单元MCU1的任务就完成。视频会议终端C和视频会议终端D就可以进行直接(不通过多点控制单元MCU1)的视频流交换了。

如果在不同的网络中，例如Ethernet网的视频会议终端A需要和PSTN网的视频会议终端D进行视频交流时，首先视频会议终端A会发送一个需要和视频会议终端D建立连接的请求和一些控制命令或信息，Ethernet网内的多点控制单元MCU会受理该请求，MCU会发现在该MCU所辖的会议终端中找不到视频会议终端D，此时Ethernet端的MCU会将该请求转发给媒体网关MG，然后再由媒体网关MG将该请求发给PSTN网内的多点控制单元MCU1，多点控制单元MCU1将该请求发送给视频会议终端D，至此，处于不同网络的视频会议终端A和视频会议终端D建立了连接。在进行数据传送时，视频会议终端A的数据就不会经过多点控制单元MCU，而是直接发往媒体网关MG，然后由媒体网关MG将该数据直接发往视频会议终端D。这整个过程是可逆的。同样，视频会议终端A或B可随需要和视频会议终端C或D进行视频交流。

图4是本发明视频会议中媒体网关的控制模块一种实施例程序流程图。设备上电后，控制模块先调用各芯片的初始化程序，对PSTN网发送接收模块U1和以太网发送接收模块U2进行工作模式配置，对PSTN网发送接收模块U1主要进行一些寄存器的配置，保证它可以正常的进行数据收发，对于以太网发送接收模块U2来说，主要对它的工作方式(10M/100，全双工或是半双工等等)。然后对数据处理模块U3进行一些初始化操作。

图5是本发明视频会议中媒体网关的数据处理模块一种实施例程序流程图。该模块开始工作时，第一步需要完成的是等待控制模块发送过来的配置命令(包括工作方式、转换模式等)，并报告自己的配置和运行情况。第二步就是根据自己已有的信息解析模块将控制模块送过来的数据包控制信息进行解析，把存储在SDRAM的数据包读出来，并调用相应的算法对数据进行处理(流拼接或者流格式转换)，完成工作后将数据处理后将数据包写入SDRAM中，同时通知控制模块数据处理情况。

图6为控制信息与视频数据包的关系图。

实时传输的视频流中加入控制信息，一般地，控制信息在视频数据包的包头或包尾，在视频会议终端中增加信息设定模块，在媒体网关MG中增加信息解析模块，这些信息包括转发位，标志是否要跨网络发送；组合位，标志是否要参与视频流的拼接；地址信息，这里指对方网络中的地址信息。又因为视频会议终端直接受控于MCU，而MCU根据协商有能力和权限决定所辖会议终端的行为，并且以协议的方式对会议终端下达命令，指定这些行为。由此可见，对于视频会议终端而言，它的行为可控，即受控于所属多点控制单元MCU，对于媒体网关MG，它有一个信息解析模块，根据解析出的实时视频流中的“控制信息”决定对该数据流的处理方式，如是否转发，是否拼接等。可见，对于媒体网关MG，其行为亦可控，它直接受控于视频会议终端(所设置的信息)，而间接受控于多点控制单元MCU。这样的设计思路使得会议的逻辑非常清晰，合理地分解了媒体网关MG的负担，同时该方法并不需要为信息的交互设置专门的网络通道，节省了非常有限的网络资源。

以上为本发明的具体实施例，本发明不仅限于以上实施例，本发明还可有许多变形，凡是从本说明书中能够直接推导出或能够联想得到的变形均为本发明的保护范围。

Claims (14)

1、一种视频会议中的流转换系统，包括视频会议终端(1、7)、多点控制单元MCU(3、5)和媒体网关MG(4)，其特征是同一网络的视频会议终端通过网络(2、6)与本网络内的多点控制单元MCU相连，不同网络的多点控制单元通过网络(2、6)及媒体网关MG(4)相连，同一网络内的视频会议终端直接受控于本网内的多点控制单元MCU，实现网络内视频会议终端的视频流的交换，不同网络的视频会议终端通过媒体网关MG(4)可间接受控于不同网络的多点控制单元MCU，实现不同网络的会议终端的视频流的交换。

2、根据权利要求1所述的视频会议中的流转换系统，其特征是视频会议终端(1、7)包括视频、音频编解码器，视频、音频编解码器是硬件或软件，多点控制单元MCU(3、5)包括服务器软件和网络设备，媒体网关MG(4)是全双工的视频格式转换设备，在不同网络中，将不同的视频流格式进行相互转换和拼接。

3、根据权利要求1或2所述的视频会议中的流转换系统，其特征是还包括信息设定模块，该信息设定模块负责对实时传输的视频流增加控制信息，控制信息包括转发位，标志是否跨网络发送，组合位，标志是否参与视频流的拼接，地址信息指对方地址信息，信息设定模块可单独设立或设在视频会议终端中。

4、根据权利要求3所述的视频会议中的流转换系统，其特征是信息设定模块以软件的形式存在，它负责将视频流重新打包，并添加相应的控制信息。

5、根据权利要求1或2所述的视频会议中的流转换系统，其特征是媒体网关MG(4)包括发送接收模块(8、10)、数据处理模块(11)和控制模块(9)。

6、根据权利要求5所述的视频会议中的流转换系统，其特征是发送接收模块包括PSTN网发送接收模块U1(8)和以太网发送接收模块U2(10)，数据处理模块U3(11)为DSP，控制模块U4(9)为单片机。

7、根据权利要求5所述的视频会议中的流转换系统，其特征是媒体网关MG(4)还包括信息解析模块，负责解析视频流中的控制信息并执行控制信息里面的请求，信息解析模块可单独设立或设在控制模块(9)中。

8、根据权利要求7所述的视频会议中的流转换系统，其特征是信息解析模块采用相应的软件程序来完成。

9、一种视频会议中的流转换方法，包括以下步骤：

网络I(2)内的视频会议终端(1)发送要和另一个网络II(6)的视频会议终端(7)进行视频流交换的请求和一些控制命令或者信息，并等待连接成功的控制命令；

网络I(2)内的多点控制单元MCU(3)接受这一请求，并将该请求发往媒体网关MG(4)，媒体网关MG(4)将该请求发往另一网络II(6)；

网络II(6)的多点控制单元MCU(5)将会接受到来自媒体网关MG(4)的请求，并根据请求里的信息，发往相应的视频会议终端(7)；

网络II(6)的视频会议终端(7)接受到这个请求后，将会回一个连接成功的控制信息，该控制信息经过网络II(6)的多点控制单元MCU(5)，经过媒体网关MG(4)，再经过网络I(2)内的多点控制单元MCU(3)，到达网络(2)内的视频会议终端(1)，至此网络I(2)内的视频终端(1)和网络II(6)内的视频会议终端(7)的连接建立完成；

连接建立成功后，网络I(2)内的视频会议终端(1)将视频流直接发往媒体网关MG(4)，媒体网关MG(4)根据对视频流相应的处理后就直接发往网络II(6)内的视频会议终端(7)；

以上过程是可逆的。

10、根据权利要求9所述的视频会议中流转换方法，其特征是在视频流传送到网络上前，通过信息设定模块在视频流中加入控制信息，控制信息与视频流一起传送，媒体网关MG(4)根据控制信息的要求对视频流进行处理并传送，控制信息包括转发位、标志是否跨网络发送，组合位，标志是否参与视频流的拼接，地址信息指对方地址信息。

11、根据权利要求9或10所述的视频会议中流转换方法，其特征是媒体网关MG(4)处理视频流的过程包括控制模块(9)、数据处理模块(11)和信息解析模块对视频流的收发、流格式转换、拼接。

12、根据权利要求11所述的视频会议中流转换的方法，其特征是控制模块(9)的程序执行过程包括各芯片的初始化、对网络发送接收模块U1(8)和U2(10)进行工作模式配置，对数据处理模块(11)进行一些初始化。

13、根据权利要求11所述的视频会议中流转换方法，其特征是处理视频流包括数据处理模块(11)等待控制模块(9)发送过来的配置命令并报告自己的配置和运行情况，信息解析模块解析视频流中的控制信息，调用相应的算法对视频流进行处理，通知控制模块(9)。

14、根据权利要求9或10所述的视频会议中流转换方法，其特征是同一网络内的多点控制单元MCU执行视频流交换请求，直接将请求发送给同一网络内的其它视频会议终端，建立同一网络内不同视频会议终端的连接。

Images