CN101931783A - 一种视频会议双流发送系统及方法 - Google Patents

Abstract

本发明涉及一种视频会议双流发送系统，包括双流服务器和双流客户端；其中双流客户端包括用于与双流服务器的信令交互信令控制模块、用于采集原始图像数据的图像采集模块、用于将原始图像数据编码为双流服务器指定格式的图像编码模块、用于与双流服务器建立双流数据发送通道及向双流服务器发送编码好的双流数据媒体流发送模块、用于配置双流客户端的IP地址及与双流服务器交互验证信息的信息配置模块和用于控制协调上述各个模块之间关系的主控制模块。由此，在实现视频会议双流功能的同时，使视频会议双流功能实现不依赖于终端，用现有MCU和终端设备就可实现。本发明还提供了一种视频会议系统双流发送方法。

Description

一种视频会议双流发送系统及方法

技术领域

本发明涉及视频会议系统，尤其涉及视频会议双流发送系统领域。

背景技术

随着视讯技术的不断发展，视频会议系统正逐渐成为现代化办公的标准配置，就当前视频通信需求而言，视频会议中在完成传输现场音视频的同时，为更好地满足远程会议、培训、会商的需要，增加传送PC屏幕等第二路视频流，即所谓的视频会议系统双流。双流的传送大大丰富了视频会议中传送的信息量，一经推出即受到了用户的普遍欢迎，目前已经成为视频会议系统的标准配置。

当前，视频会议产品中双流功能的实现主要有两种：

方案一：将双流模块内嵌入终端产品中；

方案二：终端使用双流盒来完成双流发送功能；

对于第一种实现方案，会议中发送双流的终端必须用物理线接双流视频源（双流视频源一般都为PC机屏幕输出），这就要求发送双流的终端与双流视频源在物理位置上绑定在一起。另外，在一些旧产品中，有很多终端只支持接收、显示双流，而不能进行双流的发送。用户希望能够在由这种设备构成的视频会议系统中召开双流的会议，实现双流功能。

对于第二种实现方案，在整个项目中，用户还需要购买双流盒以实现双流发送功能。如果会议中需要多个终端发送双流，对于用户来说会增大相当数量的费用投资，并且这种实现方案中也同样存在第一种实现方案中的弊端。用户希望能够不使用双流盒仍能召开双流的会议，实现双流功能。

针对旧产品中有很多终端只支持接收、显示双流，不能进行双流的发送问题，现有两种解决方案：

一种是视频会议系统带外硬双流解决方案，此种方案是在每个会场配置一台VGA（Video Graphics Array，视频图形阵列）编解码器，在网络核心配置一台多点VGA交换服务器。需要发送双流的会场可将笔记本的VGA输出信号接入VGA编解码器的VGA输入，VGA编解码器编码双流数据后通过IP网络发送到多点VGA交换服务器，多点VGA交换服务器可将双流信号转发给需要接收双流的多个会场的VGA编解码器，VGA编解码器经解码后输出到投影机等设备显示，从而在视频会议中实现双流功能。

此种方案存在下列问题：

（1）系统组成部分来说，为实现双流功能，增加VGA编解码器和多点VGA交换服务器，单从系统配置考虑提高了系统的硬件成本，增加用户的投资费用。

（2）此方案中，双流的切换控制通过多点VGA交换服务器进行，用户在召开会议过程中发送双流时，会议管理员要先登录该服务器，建立一个会议，呼入各会场的VGA编解码器，并根据会议需要，切换广播其中欲发送双流的VGA编解码器采集的“双流”信号给其它的VGA编解码器，实现双流在会场间的切换控制。这种双流实现方案独立于视频会议音频、主视频通信，需要单独控制会议中双流，增加视频会议系统的控制复杂性。

另一种是H3C双流解决方案，此方案是视频会议开始前，参加视频会议的所有视频终端获取双流数据并保存，会议过程中需要发送双流时，指定的发送双流的视频终端控制播放自身保存的双流数据，同时通过MCU(微程序控制器)向其它的视频终端发送双流控制信息，使得其它视频终端根据所接收的双流控制信息播放自身保存的双流数据，实现会议的双流功能。这种解决方案的弊端在于会议召开前必须保证与会的各个终端获取双流数据，同时这种方案中通过控制信息来控制双流播放，这种控制方式不能保证双流中播放的文档与主视频、音频达到最佳的同步。

发明内容

本发明提供一种视频会议双流发送系统，解决以上两种双流实现功能和两种解决方案的所有弊端，既减小用户的投资成本，又能使视频会议双流功能实现不依赖于终端。

本发明解决上述技术问题的技术方案如下：一种视频会议双流发送系统，包括双流服务器和双流客户端；其中双流客户端包括用于与双流服务器的信令交互信令控制模块、用于采集原始图像数据的图像采集模块、用于将原始图像数据编码为双流服务器指定格式的图像编码模块、用于与双流服务器建立双流数据发送通道及向双流服务器发送编码好的双流数据媒体流发送模块、用于配置双流客户端的IP地址及与双流服务器交互验证信息的信息配置模块和用于控制协调上述各个模块之间关系的主控制模块。

本发明的有益效果是：视频会议系统双流的发送不再依赖于与会的某个终端，利用多点控制单元MCU就可实现双流发送功能；兼容旧产品中只能接收双流、不能发送双流的终端，实现视频会议系统双流功能；双流视频源与双流发送终端不需要物理位置的绑定，通过IP网络进行双流数据的交互即可；不需要配置双流盒或者带外硬双流系统，减小用户的投资成本。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述图像采集模块采集原始RGB格式的BMP图像数据，并同时转换成YUV格式。

进一步，所述图像编码模块将所述图像采集模块采集的YUV格式的图像数据编码为双流服务器指定的格式。其中，所述双流服务器指定的格式包括指定数据内容、数据说明、双流图像的分辨率（例如640*480, 800*600, 1024*768等等）、编码类型（H.263, H.264等等）和编码带宽（例如384kb、1920Kb等等）。

进一步，所述双流客户端为计算机，所述计算机嵌入有能采集计算机桌面信号，并能将采集的信号传送给双流服务器的软件。

进一步，所述双流服务器包括会议控制模块、会议媒体流数据处理模块；其中，所述会议控制模块用于建立会议，呼叫会议中的终端，并与终端交互协商会议信息；所述会议媒体流数据处理模块用于处理会议中各个终端发送的音视频数据，并根据会议设置给与会终端混合并转发音视频数据。其中，会议信息包括：双流图像编码数据格式、双方主视频流数据格式（分辨率，带宽，编码格式）和双方音频流数据格式（音频编码格式， 例如G.711, G.722）。

进一步，所述会议控制模块包含用于与双流客户端建立连接并交互双流相关信息的双流服务器控制模块；所述会议媒体流数据处理模块包含用于接收双流客户端发送的双流数据，并转发双流数据给与会的其它双流客户端的双流服务器媒体流数据处理模块。会议媒体流数据处理模块处理的内容包括接收会议各终端发送的音视频流；根据会议召集者的意图，将某一路终端或某几路终端作为某终端需要接收的音频数据源，对相关音频数据源的音频进行解码，混音，编码，得到针对各终端需要的编码音频数据；根据会议召集者的意图，将某一路终端或某几路终端作为某终端需要接收的主流视频数据源，对相关视频频数据源的视频进行解码，如果是多路终端需要进行图像的拼接（例如4分屏，9分屏等），然后进行编码，得到针对各终端需要的编码主视频流图像数据；根据会议召集者的意图，接收来自于某一路终端或双流客户端的双流视频数据，得到各终端需要的编码双流视频流图像数据；将各终端需要的音视频数据发送给各终端。双流客户端为进行视频会议的智能终端，双流服务器作为一个独立模块内嵌于MCU或上述智能终端，智能终端可以为PC机、手持电脑、PDA或手机。

进一步，所述双流服务器为视频会议中的MCU或终端。

本发明还提供了一种视频会议系统双流发送方法，包括：

步骤A，双流服务器与双流发送客户端建立控制连接通道；

步骤B，双流服务器和双流发送客户端中接受连接的一方对发起连接的一方进行权限认证，若认证成功，则进行信令交互，并且相互时常发送保持链接信令；若认证失败，则断开连接；

步骤C，双流发送客户端发送双流发送请求，双流服务器判断此双流发送客户端是否为会议指定的双流发送客户端，若是则同意双流客户端发送双流，并执行步骤D；否，则拒绝双流发送客户端发送双流；

步骤D，双流服务器给双流发送客户端指定发送的双流格式；双流发送客户端收到同意的响应后开始采集当前屏幕信息，并根据双流服务器指定的双流格式编码后将数据发送给双流服务器。

进一步，所述步骤B中，双流服务器和双流发送客户端在建立连接过程中可以由任意一方主动断开连接。

进一步，所述步骤C中，在双流发送客户端发送双流发送请求前，由双流服务器创建会议，指定已连接成功的欲发送双流的双流客户端发送双流。

进一步，所述方法还包括：当双流服务器为MCU时，MCU收到指定发送双流的客户端发送的双流数据时，将双流数据转发给其它与会终端；当双流服务器为终端时，终端将收到的双流发送客户端发送的双流数据转发给与终端连接的MCU或终端。

进一步，所述方法还包括：当双流服务器为MCU时，MCU收到指定发送双流的客户端发送的双流数据时，将双流数据转发给其它与会终端；当双流服务器为终端时，终端将收到的双流发送客户端发送的双流数据转发给与终端连接的MCU或终端。

附图说明

图1为本发明一种视频会议双流发送系统示意图；

图2为本发明一种视频会议系统双流发送方法流程图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，一种视频会议双流发送系统，包括双流服务器和双流客户端，双流发送客户端的实现主要分为如下几个模块：主控制模块、信令控制模块、图像采集模块、图像编码模块、媒体流发送模块以及信息配置模块。主控制模块控制协调其它各个模块之间的关系；信令控制模块负责与双流服务器的信令交互，把交互之后的状态信息及时提供给主控制模块去处理；图像采集模块接收主控制模块的任务分配，开始或停止采集最原始的BMP图像数据（RGB格式），同时转换成YUV格式；图像编码模块将YUV格式的图像数据编码为双流服务器指定的格式；媒体流发送模块与双流服务器建立双流数据发送通道，并向双流服务器发送编码好的双流数据；信息配置模块配置双流客户端的IP地址及与双流服务器交互验证的信息。双流发送客户端可以由在客户侧发送双流的PC机上安装独立运行的软件来实现。其中，所述双流服务器指定的格式包括指定数据内容、数据说明、双流图像的分辨率（例如640*480, 800*600, 1024*768等等）、编码类型（H.263, H.264等等）和编码带宽（例如384kb、1920Kb等等）。

双流服务器作为一个独立模块内嵌于MCU或终端，这是因为MCU和终端是视频会议系统的主要构成部分，都可以处理双流相关信息及数据，并可以通过一定的控制方式将双流数据转发给与会的其它终端。

先以双流服务器内嵌于MCU为例，对双流服务器进行描述。

多点控制单元MCU（Multipoint Control Unit ，MCU）作为会议的控制中心以及双流服务器，实现会议的双流功能时主要涉及如下几个模块：会议控制模块、会议媒体流数据处理模块、双流服务器控制模块和双流服务器媒体流数据处理模块。其中，会议控制模块包含双流服务器控制模块，会议媒体流数据处理模块包含双流服务器媒体流数据处理模块。在一个特定会议中，传递的媒体流数据有主视频、音频、双流、数据四种媒体流，所以对于每一种媒体流在一个会议中对应一个媒体流处理模块，双流的媒体流处理模块为双流处理模块。

会议控制模块的主要功能是建立会议，呼叫会议中的终端，并与终端交互协商会议相关信息；因包含双流服务器控制模块，所以会议控制模块同时具有与双流客户端建立连接，交互双流相关信息的功能。

会议媒体流数据处理模块负责处理会议中各个终端发送的音视频数据，并根据会议设置给与会终端混合并转发音视频数据；因会议媒体流数据处理模块包含双流服务器媒体流处理模块，所以会议媒体流处理模块中的双流处理模块具有接收双流客户端发送的双流数据，并转发双流数据给与会的其它终端的功能外还包括根据会议召集者的意图，将某一路终端或某几路终端作为某终端需要接收的音频数据源，对相关音频数据源的音频进行解码，混音，编码，得到针对各终端需要的编码音频数据；根据会议召集者的意图，将某一路终端或某几路终端作为某终端需要接收的主流视频数据源，对相关视频频数据源的视频进行解码，如果是多路终端需要进行图像的拼接（例如4分屏，9分屏等），然后进行编码，得到针对各终端需要的编码主视频流图像数据；根据会议召集者的意图，接收来自于某一路终端或双流客户端的双流视频数据，得到各终端需要的编码双流视频流图像数据。

同理，作为双流服务器的终端也包含这几个重要模块，不过各个模块负责的功能会有所变化。终端的会议控制模块主要功能是与其它终端或MCU建立呼叫，并与终端交互协商会议信息，会议信息包括：双流图像编码数据格式、双方主视频流数据格式（分辨率，带宽，编码格式）和双方音频流数据格式（音频编码格式， 例如G.711, G.722），同样会议控制模块包含双流服务器控制模块，具有与双流客户端建立连接，交互双流相关信息的功能。会议媒体流数据处理模块负责发送终端自己的音视频数据，并接收其它终端或MCU发送的音视频数据，因包含双流服务器媒体流处理模块，会议媒体流处理模块中的双流处理模块具有接收双流客户端发送的双流数据，并转发双流数据给对方MCU或终端的功能。

由于双流发送客户端软件独立运行于某台计算机，能采集计算机桌面信号(因为当前视频会议中双流数据基本上均为计算机输出的VGA系列图像），并能将采集的信号传送给双流服务器。而双流服务器做为一个模块内嵌于MCU或终端。当会议中用户要发送双流时，用户只需在运行双流客户端的计算机上打开需要传送的双流文件（比如PPT、Word文档等），该软件会自动采集文件数据并将采集到的数据发送给与该软件连接的MCU或终端（双流服务器），收到双流数据的MCU或终端通过会议中原来的双流的控制传递方式将双流转发给会议中的其他终端，从而实现视频会议的双流功能。这种解决方案既减小用户的投资成本，又能使视频会议双流功能实现不依赖于终端，用现有MCU和终端设备就可实现。

图2为本发明一种视频会议系统双流发送方法流程图。

以双流服务器内嵌于MCU为例，阐述双流服务器与双流发送客户端互通过程。

首先，双流发送客户端和MCU监听固定端口，等待对方连接（也可以只有一方监听，另一方连接），当一方发起连接，接收方进行权限认证，认证通过后进行信令交互，并且相互时常发送保持链接信令；认证失败则断开连接。双方建立连接过程中可以由任意一方主动断开连接，如任何一方判断对方连接超时，均可断开连接。

在会议中，双流发送客户端和MCU实现双流功能的实施过程为：

MCU成功创建会议，指定已连接成功的欲发送双流的双流客户端发送双流，此双流发送客户端发送双流时，先向MCU发送双流发送请求，MCU判断此双流发送客户端是否为会议指定的双流发送客户端，若是同意双流客户端发送双流；否，拒绝双流发送客户端发送双流。若同意，MCU则给双流发送客户端指定发送的双流格式。双流发送客户端收到同意的响应后开始采集当前屏幕信息，并根据MCU指定的双流格式编码后将数据发送给MCU，MCU收到指定发送双流的客户端发送的双流数据时，将双流数据转发给其它与会终端。若双流发送客户端收到拒绝的响应，双流发送客户端不发送双流。双流发送过程中若要停止发送双流，可以在MCU上取消双流发送客户端发送双流，也可在双流客户端上停止发送双流。

同理，双流服务器内嵌于终端时，与双流客户端通信过程与上述过程大致相同，原理和实现机制基本相似，不同之处在于终端收到双流客户端发送的双流数据时与MCU处理方式不一样，终端是将收到的双流发送客户端发送的双流转发给与终端连接的MCU或终端，而不能直接转发给与会的所有终端。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种视频会议双流发送系统，其特征在于，包括双流服务器和双流客户端；其中双流客户端包括用于与双流服务器的信令进行交互的信令控制模块、用于采集原始图像数据的图像采集模块、用于将原始图像数据编码为双流服务器指定格式的图像编码模块、用于与双流服务器建立双流数据发送通道及向双流服务器发送编码好的双流数据媒体流发送模块、用于配置双流客户端的IP地址及与双流服务器交互验证信息的信息配置模块和用于控制协调上述各个模块之间关系的主控制模块。

2.根据权利要求1所述的视频会议双流发送系统，其特征在于，所述图像采集模块采集原始RGB格式的BMP图像数据，并同时转换成YUV格式。

3.根据权利要求2所述的视频会议双流发送系统，其特征在于，所述图像编码模块将所述图像采集模块采集的YUV格式的图像数据编码为双流服务器指定的数据内容、数据说明、双流图像的分辨率、编码类型和编码带宽的格式。

4.根据权利要求1至3任一所述的视频会议双流发送系统，其特征在于，所述双流客户端为计算机，所述计算机嵌入有用于采集计算机桌面信号、并将采集的信号传送给双流服务器的软件。

5.根据权利要求1所述的视频会议双流发送系统，其特征在于，所述双流服务器包括会议控制模块、会议媒体流数据处理模块；其中，所述会议控制模块与双流客户端交互协商会议信息；所述会议媒体流数据处理模块用于接收会议中各个双流客户端发送的音视频数据，并根据会议设置转发音视频数据。

6.根据权利要求5所述的视频会议双流发送系统，其特征在于，所述会议信息包括：双流图像编码数据、双方主视频流数据和双方音频流数据。

7.根据权利要求5所述的视频会议双流发送系统，其特征在于，所述会议控制模块包含用于与双流客户端建立连接并交互双流信息的双流服务器控制模块；所述会议媒体流数据处理模块包含用于接收双流客户端发送的双流数据，并转发双流数据的双流服务器媒体流数据处理模块。

8.根据权利要求1至3或5至7任一所述的视频会议双流发送系统，其特征在于，所述双流客户端为进行视频会议的智能终端，双流服务器作为一个独立模块内嵌于MCU或上述智能终端。

9.根据权利要求8所述的视频会议双流发送系统，其特征在于，所述智能终端为PC机、手持电脑、PDA或手机。

10.一种视频会议系统双流发送方法，包括：

步骤A：双流服务器与双流发送客户端建立控制连接通道；

步骤B：双流服务器和双流发送客户端中接受连接的一方对发起连接的一方进行权限认证，若认证成功，则进行信令交互，并且相互时常发送保持链接信令；若认证失败，则断开连接；

步骤C：双流发送客户端发送双流发送请求，双流服务器判断此双流发送客户端是否为会议指定的双流发送客户端，若是则同意双流客户端发送双流，并执行步骤D；否，则拒绝双流发送客户端发送双流；

步骤D：双流服务器给双流发送客户端指定发送的双流格式；双流发送客户端收到同意的响应后开始采集当前屏幕信息，并根据双流服务器指定的双流格式编码后将数据发送给双流服务器。

11.根据权利要求10所述的方法，其特征在于，所述步骤B中，双流服务器和双流发送客户端在建立连接过程中可以由任意一方主动断开连接。

12.根据权利要求10所述的方法，其特征在于，所述步骤C中，在双流发送客户端发送双流发送请求前，由双流服务器创建会议，指定已连接成功的欲发送双流的双流客户端发送双流。

13.根据权利要求10所述的方法，其特征在于，所述方法还包括：当双流服务器为MCU时，MCU收到指定发送双流的客户端发送的双流数据时，将双流数据转发给其它与会双流客户端；当双流服务器为PC机、手持电脑、PDA或手机时，双流服务器将收到的双流发送客户端发送的双流数据转发给与双流服务器连接的双流客户端。

14.根据权利要求10所述的方法，其特征在于，所述步骤D中，还包括双流发送过程中，若在双流服务器上取消双流发送客户端发送双流，或在双流客户端上停止发送双流的则停止发送双流的发送。

Images