CN101350908A

CN101350908A - 用于网络视频会议的视频数据传输系统及方法

Info

Publication number: CN101350908A
Application number: CNA2008101980603A
Authority: CN
Inventors: 徐蜀中; 朱小华
Original assignee: Vtron Technologies Ltd
Current assignee: Vtron Technologies Ltd
Priority date: 2008-08-28
Filing date: 2008-08-28
Publication date: 2009-01-21

Abstract

本发明提供一种用于网络视频会议的视频数据传输系统，包括MCU以及至少2个用户端，各用户端分别与MCU网络连接，所述各用户端均包括依次连接的摄像头、视频编码器、虚拟通道发送管理模块，以及虚拟通道接收管理模块、视频解码器、显示设备，各视频解码器两端分别与虚拟通道接收管理模块、显示设备相连接。本发明将编解码工作分散到各个用户端，有效地提高了系统资源的利用率，能让更多的终端参与视频会议；能够保证视频数据的原始分辨率，从而大大提高了支持高清视频的能力。

Description

用于网络视频会议的视频数据传输系统及方法

技术领域

本发明涉及视频传输领域，具体涉及用于网络视频会议的视频数据传输系统及方法。

背景技术

网络视频会议系统是通过网络通信技术来实现虚拟会议，使在地理上分散的用户可以共聚一处，通过图形、声音等多种方式交流信息，支持人们远距离进行实时信息交流与共享、开展协同工作的应用系统。网络视频会议极大地方便了协作成员之间真实、直观地交流，对远程教学和会议有着举足轻重的作用。视频会议系统所采用的标准和协议主要是由ITU-T根据需要制定的，包括：H.320协议、H.323协议、MPEG-4标准以及H.264标准，其中H.264标准结合了H.323协议中的H.263协议和MPEG-4标准，解决了目前基于软件视频会议MPEG-4标准无法与H.323协议的终端兼容问题，使之成为目前最好的视频压缩协议。

如图1所示，在传统的网络视频会议系统中，用户端将各自的视频数据发送给多点控制单元(MCU)，由MCU集中对视频数据进行解码、混屏、编码，然后再将视频数据发送给各个用户端，如果各用户端所采用的协议不同，则MCU的编解码负荷会很重。因此，这类网络视频会议系统的主要缺点有：

(1)MCU集中承担编码、解码和混屏工作，造成其能够承载的用户数量非常有限，例如，采用H.323协议，MCU可支持16路视频用户，但在实际使用中，其最多只能支持4路高清用户，甚至更少；

(2)在网络视频会议中，用户端承担的工作相对较少，造成了资源的浪费；

(3)在传统的网络视频会议系统中，例如，有4个终端用户参与该会议，每个用户端所发送的视频数据的分辨率大小为4CIF(CIF的分辨率为352×288；4CIF的分辨率为704×576)，由于MCU必须进行混频，即将4个4CIF的视频混频成1个4CIF的视频数据，因此传回用户端时，每个视频数据的分辨率已经变为CIF大小了。因此，该方法是以降低分辨率为代价来提高传输视频数据速率。因此在高清视频会议系统中，这种缺陷是难以容忍的。

发明内容

本发明的目的在于克服现有技术的上述缺点和不足，提供一种用于网络视频会议的视频数据传输系统，该系统中的MCU将不再对视频数据进行解码、混频、编码的工作，而是将视频数据通过建好的发送虚拟通道直接发送给目标用户端，由目标用户端完成视频数据的解码工作，而无需再次混屏和编码，因此有效地提高了系统资源的利用率，减轻了MCU的工作负荷，保证了单个MCU的鲁棒性(Robustness)，能让更多的终端参与视频会议；能够保证视频数据的原始分辨率，从而大大提高了支持高清视频的能力。

本发明的目的还在于提供由上述用于网络视频会议的视频数据传输系统实现视频数据传输的方法。

本发明目的通过下述技术方案实现：用于网络视频会议的视频数据传输系统包括MCU及2个以上用户端，各用户端分别与MCU进行网络连接；所述各用户端均包括依次连接的摄像头、视频编码器、虚拟通道发送管理模块，以及依次连接的虚拟通道接收管理模块、视频解码器、显示设备，各视频解码器两端分别与虚拟通道接收管理模块、显示设备相连接。

所述MCU至少包括虚拟通道转发模块、虚拟通道逻辑控制模块；所述虚拟通道逻辑控制模块用于：

创建MCU与用户端之间的接收虚拟通道；所述的接收虚拟通道，用于将MCU已经接收的本地视频数据发送到目标用户端；

创建MCU与用户端之间的发送虚拟通道，所述的发送虚拟通道，用于将用户端视频数据发送到MCU；

所述虚拟通道转发模块用于转发MCU所收到的视频数据。

所述各用户端的视频解码器数量＝用户端的数量-1。

所述各用户端的视频编码器均为H.26X系列编码器。

所述各用户端的视频解码器均为H.26X系列解码器。

所述各用户端的虚拟通道发送管理模块均包括相互连接的编码器、网络发送设备，该编码器主要用于标注视频数据的虚拟通道标识信息，该虚拟通道标识信息至少包括：所采用的视频编码器类型、视频数据的分辨率大小以及虚拟通道号；所述网络发送设备将编码器标注完毕的视频数据发送到MCU。

所述各用户端的虚拟通道接收管理模块均包括相互连接的网络接收设备、解码器；该网络接收设备主要用于接收视频数据；所述解码器主要用于分析视频数据的虚拟通道标识信息：将接收到的视频数据按照不同的通道号整理解码，然后根据解码结果获得视频数据的编码类型选择相应的视频解码器并对其进行初始化，然后将视频数据输入视频解码器解码，最终获得可直接显示的未改变分辨率的视频数据。

利用上述用于网络视频会议的视频数据传输系统实现视频数据传输的方法，包括下述步骤：

(1)本地用户端发送建立虚拟通道请求到MCU，由MCU的虚拟通道逻辑控制模块建立本地用户端到MCU的发送虚拟通道，并由虚拟逻辑控制模块分配给该发送虚拟通道唯一的通道号；

(2)MCU的虚拟通道逻辑控制模块检查自身的用户列表，如果存在步骤(1)所述的本用户端以外的其他用户端，则由MCU的虚拟通道逻辑控制模块分别建立与本地用户端相对应的MCU到其他用户端之间的接收虚拟通道，使其他用户通过该接收虚拟通道接收本地用户端的视频数据；并且由MCU的虚拟通道逻辑控制模块分别建立与其他用户端相对应的MCU到本地用户端之间的接收虚拟通道，使本地用户端通过该接收虚拟通道接收其他用户端的视频数据；

(3)本地用户端的摄像头采集视频数据，并发送给视频编码器；

(4)本地用户端的视频编码器对所述的视频数据进行编码，并发送给虚拟通道发送管理模块；

(5)本地用户端的虚拟通道发送管理模块对接收到的视频数据标注虚拟通道标识信息，然后将本地用户端的视频数据通过步骤(1)所述的发送虚拟通道传输到MCU；所述的虚拟通道标识信息至少包括编码类型、分辨率、发送虚拟通道号；

(6)MCU接收到视频数据后，虚拟通道转发模块将其转发到步骤(2)所述的与本地用户端相对应的MCU到其他用户端之间的接收虚拟通道中；

(7)其他用户端的虚拟通道接收管理模块通过步骤(6)所述的接收虚拟通道接收视频数据，然后对所接收到的视频数据进行虚拟通道标识信息分析，获得视频数据的编码类型，再根据视频数据的编码类型选择对应的视频解码器，并对该视频解码器进行初始化，最后视频解码器将还原的视频数据发送给显示设备进行显示。

上述方法中，所述发送虚拟通道和接收虚拟通道的大小根据视频数据的大小而调整。

本发明用于网络视频会议的视频数据传输系统相对于现有技术具有以下优点：

(1)本发明突破了传统视频会议系统的技术瓶颈，整个系统将不需要进行解码、混屏、编码的高负荷工作，将MCU集中承担的解码的工作分散到各个用户端后，这样不仅有效地提高了系统资源的利用率，减轻了MCU的工作负荷，保证了单个MCU的鲁棒性，能让更多的终端参与视频会议；

(2)本发明突破了传统视频会议系统的MCU混屏以降低分辨率来获得传输效率的缺陷，在保证用户传输效率的同时能不降低视频数据的原始分辨率，因此用户端的显示不会因为参加视频会议的用户数量增多而变得模糊，使得本发明支持高清视频能力大大提高；

(3)本发明通过创建独立的虚拟通道来传输视频数据，使得MCU大部分工作集中在虚拟通道数据的转发管理，从而保证了数据传输的速度和质量。

附图说明

图1是传统网络视频会议系统的结构示意图；

图2是本发明系统的结构示意图；

图3是本发明系统的工作流程图。

具体实施方式

下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。

实施例

图2所示的本发明用于网络视频会议的视频数据传输系统包括MCU及4个用户端，即包括用户端1、用户端2、用户端3、用户端4，MCU，用户端1、2、3、4分别与MCU网络连接。

所述MCU至少包括虚拟通道转发模块、虚拟通道逻辑控制模块，还可以包括传统MCU除编解码及混屏之外的其它模块。

各用户端包括依次连接的摄像头、视频编码器、虚拟通道发送管理模块，还包括依次连接的虚拟通道接收管理模块、3个视频解码器、显示设备。

所述各用户端的虚拟通道发送管理模块均包括相互连接的编码器、网络发送设备，该编码器主要用于标注虚拟通道标识信息，所述虚拟通道标识信息包括所采用的视频编码器类型、视频数据的分辨率大小以及虚拟通道号；所述各用户端的虚拟通道接收管理模块均包括相互连接的网络接收设备、解码器，该解码器主要用于识别视频数据的类型、视频数据的分辨率大小以及虚拟通道号。

如图2所示，本发明系统中H.26X系列的视频解码器的具体类型与用户端所采用的视频编码器的类型相对应。用户端1、用户端2、用户端3、用户端4分别采用H.261、H.263、H.264、H.264视频编码器，而用户端1所包括的3个视频解码器即H.26X系列的解码器分别为H.263解码器、H.264解码器、H.264解码器，即与用户端2、3、4的视频编码器的类型对应一致；用户端2所包括的3个视频解码器即H.26X系列的解码器分别为H.261解码器、H.264解码器、H.264解码器，即与用户端1、3、4的视频编码器的类型对应一致；用户端3所包括的3个视频解码器即H.26X系列的解码器分别为H.261解码器、H.263解码器、H.264解码器，即与用户端1、2、4的视频编码器的类型对应一致；用户端4所包括的3个视频解码器即H.26X系列的解码器分别为H.261解码器、H.263解码器、H.264解码器，即与用户端1、2、3的视频编码器的类型对应一致。

用户端1与MCU的连接通道为RTP通道1，包括4条虚拟通道，分别为发送虚拟通道1，接收虚拟通道2、3、4；用户端2与MCU的连接通道为RTP通道2，包括4条虚拟通道，分别为发送虚拟通道2，接收虚拟通道1、3、4；用户端3与MCU的连接通道为RTP通道3，包括4条虚拟通道，分别为发送虚拟通道3，接收虚拟通道1、2、4；用户端4与MCU的连接通道为RTP通道4，包括4条虚拟通道，分别为发送虚拟通道4，接收虚拟通道1、2、3。

下面以用户端4为本地用户端，用户端1、2、3为其他用户端，并假设1、2、3用户端已经和MCU建立了对应的所有虚拟通道，这时用户4连接到MCU为起点，来说明本发明系统视频数据传输的过程，如图3所示，包括以下步骤：

(1)本地用户端4发送建立虚拟通道请求到MCU，由MCU的虚拟通道逻辑控制模块建立本地用户端到MCU的发送虚拟通道，并由虚拟逻辑控制模块分配给该发送虚拟通道唯一的通道号4；虚拟通道逻辑控制模块可以根据预设的条件来决定是否建立该发送虚拟通道；

(2)MCU的虚拟通道逻辑控制模块检查自身的用户列表，如果存在步骤(1)所述的本用户端以外的其他用户端1、2、3，则由MCU的虚拟通道逻辑控制模块分别建立与本地用户端的虚拟发送通道4相对应的MCU到其他用户端之间的接收虚拟通道4，即为用户端1、2、3各建立一条接收虚拟通道4，使其他用户端可以通过该接收虚拟通道4接收本地用户端的视频数据；并且由MCU的虚拟通道逻辑控制模块分别建立与其他用户端已建立的虚拟发送通道1、2、3相对应的MCU到本地用户端4之间的接收虚拟通道1、2、3，使本地用户端可以通过该接收虚拟通道1、2、3接收其他用户端的视频数据。此处接收虚拟通道也可以通过虚拟通道逻辑控制模块根据预设的条件来决定是否建立；

(3)本地用户端4的摄像头采集视频数据，并发送给视频编码器；

(4)本地用户端4的视频编码器对所述的视频数据进行编码，并发送给虚拟通道发送管理模块；

(5)本地用户端4的虚拟通道发送管理模块对接收到的视频数据标注虚拟通道标识信息，然后将本地用户端视频数据通过发送虚拟通道4传输到MCU；所述的虚拟通道标识信息至少包括视频编码器的类型、视频数据的分辨率及发送虚拟通道号(编码器为H.264、分辨率假定为4CIF、发送虚拟通道号为4)；

(6)MCU接收到视频数据后，虚拟通道转发模块将其转发到步骤(2)所述的其他用户端1、2、3的接收虚拟通道中4；

(7)其他用户端1、2、3的虚拟通道接收管理模块通过各自的接收虚拟通道4接收视频数据，然后对所接收到的数据进行虚拟通道标识信息分析，视频数据的编码类型为H.264和分辨率为4CIF，再根据视频数据的编码类型选择对应的H.264视频解码器，并对该视频解码器进行初始化，最后视频解码器将还原的视频数据发送给显示设备进行显示。

上述MCU所创建虚拟通道的大小可以根据视频数据的大小而调整，虚拟数据通道的大小与视频数据的大小相适应。

以上所述的方法仅仅用户端4为例来说明书数据处理过程，用户端1、2、3的数据处理过程与用户端4的处理过程一样。

以上示例是以4个用户端为例进行说明，但用户端只有两个的时候，可以去掉MCU，两个用户端可以应用上述的方法进行点对点的数据传输。如果确定没有第三个人加入视频会议系统的情况下，通过MCU转发将降低两个用户之间的传输效率。在不能确定是否有第三个人加入会议的时候，通常两个用户也需要通过MCU转发。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1、用于网络视频会议的视频数据传输系统，其特征在于：包括MCU及至少2个用户端，各用户端分别与MCU网络连接；

所述各用户端均包括依次连接的摄像头、视频编码器、虚拟通道发送管理模块，以及依次连接的虚拟通道接收管理模块、视频解码器、显示设备，各视频解码器两端分别与虚拟通道接收管理模块、显示设备相连接；

所述MCU包括用于转发MCU所收到的视频数据的虚拟通道转发模块、用于创建MCU与用户端之间的接收虚拟通道以及创建MCU与用户端之间的接收虚拟通道的虚拟通道逻辑控制模块。

2、根据权利要求1所述用于网络视频会议的视频数据传输系统，其特征在于：所述各用户端的视频解码器数量＝用户端的数量-1。

3、根据权利要求1所述用于网络视频会议的视频数据传输系统，其特征在于：所述各用户端的视频编码器均为H.26X系列编码器，所述各用户端的视频编码器也均为H.26X系列编码器。

4、根据权利要求1所述用于网络视频会议的视频数据传输系统，其特征在于：所述各用户端的虚拟通道发送管理模块均包括相互连接的用于标注视频数据的虚拟通道标识信息的编码器、用于将编码器标注完毕的视频数据发送到MCU的网络发送设备；所述各用户端的虚拟通道接收管理模块均包括相互连接的用于接收视频数据的网络接收设备、用于分析视频数据的虚拟通道标识信息的解码器。

5、一种利用权利要求1所述用于网络视频会议的视频数据传输系统实现视频数据传输的方法，其特征在于，包括下述步骤：

6、根据权利要求5所述的用于网络视频会议的视频数据传输方法，其特征在于：步骤(5)所述的虚拟通道标识信息至少包括编码类型、分辨率、发送虚拟通道号。

7、根据权利要求5所述的用于网络视频会议的视频数据传输方法，其特征在于：所述发送虚拟通道和接收虚拟通道的大小根据视频数据的大小而调整。