CN102387338A

CN102387338A - 分布式视频处理方法及视频会议系统

Info

Publication number: CN102387338A
Application number: CN2010102758260A
Authority: CN
Inventors: 符纪伟; 于京涛; 付贤会; 李霞
Original assignee: ZTE Corp
Current assignee: ZTE Corp
Priority date: 2010-09-03
Filing date: 2010-09-03
Publication date: 2012-03-21
Anticipated expiration: 2030-09-03
Also published as: CN102387338B; WO2012028018A1

Abstract

本发明公开了一种分布式视频处理方法及视频会议系统。在上述方法中，参加视频会议的每个终端将采集到的视频数据按照预定的画面大小进行编码后，发送给参加视频会议的所有终端；每个终端接收来自于所有终端中各个终端编码后的视频数据，解码并显示在该视频数据对应的屏幕位置上。根据本发明提供的技术方案，可以减小视频处理时间，提高实时性。

Description

分布式视频处理方法及视频会议系统

技术领域

本发明涉及通信领域，具体而言，涉及一种分布式视频处理方法及视频会议系统。

背景技术

视频会议系统用于召开远程、多点及实时的会议，实现多点之间视频和声音的传输和交互。视频会议系统主要由终端和MCU组成。在一个小型的视频会议系统中，通常由多个终端集中连接至一个MCU上，组成星型拓扑结构网络。终端是用户端设备，配有显示器、摄像机、扬声器、麦克风等多媒体部件；MCU是系统端设备，集中对各终端的多媒体信息进行交换和处理。

图1是相关技术中基于视频会议系统进行视频通信的示意图，如图1所示，该视频会议系统由两个终端(终端A和终端B)连接到一个MCU上组成。其中，终端B用户看到终端A用户的视频的过程(或者说终端A用户的视频传送到终端B用户的过程)是：终端A用户的视频由摄像机输入到终端A，这个视频流是原始的视频流，称为基带视频流，其数据量很大，例如，高清视频格式1080P30(4:2:0)的基带视频流数据量就达到了752兆比特每秒(Mbps)，如果不经过处理就直接通过网络传输将会占用很大的网络带宽，因此终端A对其进行压缩编码(简称编码)，得到压缩视频流，其数据量小了很多，比如高清视频格式1080P30(4:2:0)的压缩视频流数据量可以减少到8Mbps以下，然后发送到MCU上；压缩的视频流仅用于传输，是不能进行视频处理和显示的，而基带视频流才能进行各种视频处理和显示，而MCU需要对终端的视频流进行视频处理，因此，MCU接收到终端A的压缩视频流后，进行解压缩编码(简称解码)，得到基带视频流，随后进行各种视频处理。处理完后，因为也要通过网络传输，所以还要压缩编码，得到压缩视频流，然后发送到终端B上；终端B接收到MCU的压缩视频流后，需要进行显示，因此进行解压缩编码，得到基带视频流，然后输出到显示器上进行显示。需要注意的是，编码、解码会耗费时间，引入延时(这是一种以时间换空间的做法，即增加传输处理时间，减少传输带宽空间)，最终影响视频通信的实时效果，因此对于压缩编解码算法通常要求其两方面兼顾：既能减少数据量，但又不引入大的延时。

由此可见，相关技术中，在视频会议系统中所有的图像合成的编解码都需要MCU去完成，因而对MCU的处理能力要求很高，从而导致MCU的制造成本居高不下。并且经过了两次编解码，严重影响了系统的实时性，大大降低了用户体验。

发明内容

针对相关技术中由MCU进行图像合成的集中编解码处理，对MCU的处理能力要求很高的问题，本发明提供了一种分布式视频处理方法及视频会议系统，以解决上述问题至少之一。

根据本发明的一个方面，提供了一种分布式视频处理方法。

根据本发明的分布式视频处理方法包括：参加视频会议的每个终端将采集到的视频数据按照预定的画面大小进行编码后，发送给参加视频会议的所有终端；每个终端接收来自于所有终端中各个终端编码后的视频数据，解码并显示在该视频数据对应的屏幕位置上。

根据本发明的另一方面，提供了一种视频会议系统。

根据本发明的视频会议系统包括：多个终端，其中，每个终端均包括：编码模块，用于将采集到的视频数据按照预定的画面大小进行编码；输出模块，用于将编码模块编码后的视频数据输出至参加视频会议的所有终端；接收模块，用于接收来自于所有终端中各个终端编码后的视频数据；解码模块，用于解码所有终端中各个终端编码后的视频数据，以显示在该视频数据对应的屏幕位置上。

通过本发明，参加视频会议的每个终端将采集到的视频数据按照预定的画面大小进行编码后，发送给参加该视频会议的所有终端，每个终端接收来自于各个终端编码后的视频数据，解码并显示在该视频数据对应的屏幕位置上，解决了相关技术中由MCU进行图像合成的集中编解码处理，对MCU的处理能力要求很高，进而可以减小视频处理时间，提高实时性。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是相关技术中基于视频会议系统进行视频通信的示意图；

图2是根据本发明实施例的视频会议系统中终端的结构框图；

图3是基于图2所示的视频会议系统进行视频通信的结构示意图；

图4是基于图2所示的视频会议系统进行视频通信的详细结构示意图；

图5是根据本发明优选实施例的视频会议系统的结构框图；

图6是根据本发明实施例的分布式视频处理方法的流程图；

图7是根据本发明优选实施例的分布式视频处理方法的流程图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

图2是根据本发明实施例的视频会议系统中终端的结构框图。如图2所示，该视频会议系统包括：多个终端(10、12、14...1N)，其中，每个终端均包括以下模块：

编码模块100，用于将采集到的视频数据按照预定的画面大小进行编码；

输出模块102，与编码模块100相连接，用于将编码模块编码后的视频数据输出至参加视频会议的所有终端；

接收模块104，用于接收来自于所有终端中各个终端编码后的视频数据；

解码模块106，与接收模块104相连接，用于解码所有终端中各个终端编码后的视频数据，以显示在该视频数据对应的屏幕位置上。

相关技术中，由MCU进行图像合成的集中编解码处理，对MCU的处理能力要求很高，并且由于MCU需要进行二次编解码，影响了图像处理的实时性。通过上述实施例提供的技术方案，在终端编解码的时候，直接进行有效的编码，不需要MCU进行二次编解码。大大减少了视频处理时间，提高了实时效果，给用户带来更好的体验。

优选地，输出模块102，还用于通过组播、单播、广播中的至少一种方式将编码后的视频数据输出至所有终端。

具体实施过程中，通常采用组播方式将编码后的视频数据输出至各个终端，此方式易于实现。

优选地，输出模块102，还用于将编码后的视频数据直接发送给本地的接收模块。例如，终端A将摄像头采集到的视频数据编码为1/N全屏幕大小的视频流，之后不经过网络传输，直接发送给终端A以进行显示。此方案进一步减小了网络传输带宽。

以下结合图3和图4描述上述优选实施方式。图3和图4均示出了包括两个终端(终端A和终端B)的视频会议系统。对于每个终端(终端A或终端B)，其摄像头采集到视频数据后，对采集到的视频数据进行编码，编码为最终需要显示的大小的视频流，之后通过网络以组播方式发送至该视频会议系统中的终端A和终端B，无需再送到MCU进行多画面合成。并且，每个终端分别接收来自于终端A和终端B编码后的两路视频流，解码各路视频流并显示在其对应的显示器屏幕位置上。

优选地，如图5所示，上述系统还可以包括：MCU 20，用于根据参加视频会议的终端个数确定画面大小及屏幕位置，并通知各个终端画面大小及屏幕位置。

在优选实施过程中，首先需要确定上述画面大小和屏幕位置，具体地，可以由MCU根据参加视频会议的终端个数确定上述画面大小和屏幕位置，并下发至各个终端。例如，当前参加视频会议的终端有两个，则可确定上述画面大小可以为1/2全屏幕大小，显示的位置为左半屏幕位置或右半屏幕位置。当然，还可以通过其他方式确定上述画面大小和屏幕位置，例如，并非平均分割屏幕大小，而是根据实际需要将视频流A显示在屏幕左上方1/4区域，将视频流B显示在屏幕剩余的3/4区域。

在优选实施过程中，可以采用平均分割屏幕大小的方式确定画面大小，如果N为参加视频会议的终端个数，则接收到的各个终端的视频流对应的画面大小为1/N全屏幕大小。其中，上述全屏幕为一个终端侧的全部显示屏幕。

在优选实施过程中，可能存在如下应用场景，在一个终端侧有多个输出显示设备，此处如果将这多个输出显示设备的屏幕之和看成是上述全屏幕，则将所述视频数据解码并显示在该视频数据对应的屏幕位置上可以包括以下处理：

(1)如果终端侧有N个输出显示设备时，可以在所述N个输出显示设备的每个输出显示设备的整个屏幕上显示所述1/N全屏幕大小的图像。

例如，系统中有3个终端，则MCU计算出画面大小为1/3全屏幕大小。如果其中某个终端侧有3个输出显示设备，则可以在每个输出显示设备的整个屏幕上显示上述1/3全屏幕大小的图像。

(2)如果终端侧有M个输出显示设备时，其中，M＜N，则可以在所述M个输出显示设备中部分输出显示设备的每个输出显示设备的整个屏幕上显示所述1/N全屏幕大小的图像；在所述M个输出显示设备中其余部分输出显示设备的每个输出显示设备的屏幕上分屏显示图像。

例如，系统中有3个终端，则MCU计算出画面大小为1/3全屏幕大小。如果其中某个终端侧有2个输出显示设备，则可以在其中一个输出显示设备的整个屏幕上显示1/3全屏幕大小的图像，可以在另一个输出显示设备的半个屏幕上显示1/3全屏幕大小的图像，另外半个屏幕上显示其余1/3全屏幕大小的图像。

图6是根据本发明实施例的分布式视频处理方法的流程图。如图6所示，该分布式视频处理方法主要包括以下处理：

步骤S602：参加视频会议的每个终端将采集到的视频数据按照预定的画面大小进行编码后，发送给参加视频会议的所有终端；

步骤S604：每个终端接收来自于上述所有终端中各个终端编码后的视频数据，解码并显示在该视频数据对应的屏幕位置上。

采用上述方法，在终端编解码的时候，直接进行有效的编码，不需要MCU进行二次编解码。大大减少了视频处理时间，提高了实时效果，给用户带来更好的体验。

优选地，在执行上述步骤S602之前，还需要确定画面大小及屏幕位置。

在优选实施过程中，MCU根据参加视频会议的终端个数确定画面大小及屏幕位置；之后MCU通知各个终端画面大小及屏幕位置。

在优选实施过程中，可以采用平均分割屏幕大小的方式确定画面大小，如果N为参加视频会议的终端个数，则接收到的各个终端的视频流对应的画面大小为1/N全屏幕大小。

优选地，上述步骤S602中，每个终端将采集到的视频数据编码后，可以通过以下至少之一方式发送给上述所有终端：组播方式、单播方式、广播方式。当然，上述终端之间也可以通过其他方式传输视频数据。

优选地，上述步骤S602中，每个终端将采集到的视频数据编码后，可以直接传送至该终端以进行显示。即，一个终端将摄像头采集到的视频数据编码为预定画面大小的视频流，之后不经过网络传输，直接发送给该终端以进行显示。此方案进一步减小了网络传输带宽。

以下结合图7的示例描述上述优选实施方式。其中，以两个参加视频会议的终端所组成的视频会议系统为例进行描述，该视频会议系统的结构具体可以参见图3和图4。

图7是根据本发明优选实施例的分布式视频处理方法的流程图。如图7所示，该分布式视频处理方法包括以下处理：

步骤S702：终端A接收到从摄像头传输过来的视频流，然后根据具体使用环境(例如，参加的是二画面的会议，且该终端图像处理左半屏幕)，把原始视频流编码为半屏幕大小的视频流。

同时，终端B也接收到从摄像头传输过来的视频流，然后根据具体使用环境(例如，参加的是二画面的会议，且该终端图像处理右半屏幕)，把原始视频流编码为半屏幕大小的视频流。

步骤S704：终端A输出左半屏幕大小的视频流，通过网络，组播给所有参加该会议的终端。

同时，终端B输出右半屏幕大小的视频流，通过网络，也组播给所有参加该会议的终端。

步骤S706：终端A接收到来自终端A、终端B的视频流。

在具体实施过程中，终端A发给终端A的视频流也可以不通过网络，直接发送给本机。

同时，终端B接收到来自终端A、终端B的视频流。

在具体实施过程中，终端B发给终端B的视频流也可以不通过网络，直接发送给本机。

步骤S708：终端A对接收到的终端A、终端B的视频流分别进行解码，各自送入屏幕不同的位置，以组成一个完整的屏幕画面，输出到显示器。

同时，终端B对接收到的终端A、终端B的视频流分别进行解码，各自送入屏幕不同的位置，以组成一个完整的屏幕画面，输出到显示器。

综上所述，借助本发明提供的上述实施例，由于无需MCU进行图像合成的集中编解码处理，只需要终端进行一次编解码，因而提高了视频处理效率，减少了视频处理时间，提高了实时效果，给用户带来更好的体验。并且，相关技术中编解码都需要由MCU完成，所以对MCU的处理能力要求很高。采用本发明提供的技术方案，MCU仅需要复制控制命令的传输及处理，因而可以对更多终端的多媒体信息进行交换与处理。此外，由于因为网络上传输的不是整屏大小的视频流，而是部分屏幕大小的视频流，所以网络传输的数据量大大减少，需要注意的是，终端越多，上述优势越明显。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种分布式视频处理方法，其特征在于，包括：

参加视频会议的每个终端将采集到的视频数据按照预定的画面大小进行编码后，发送给参加所述视频会议的所有终端；

所述每个终端接收来自于所述所有终端中各个终端编码后的视频数据，解码并显示在该视频数据对应的屏幕位置上。

2.根据权利要求1所述的方法，其特征在于，在所述每个终端将所述采集到的视频数据进行编码之前，所述方法还包括：确定所述画面大小及所述屏幕位置。

3.根据权利要求2所述的方法，其特征在于，确定所述画面大小及所述屏幕位置包括：

视频会议多点控制单元MCU根据参加所述视频会议的终端个数确定所述画面大小及所述屏幕位置；

所述MCU通知所述所有终端所述画面大小及所述屏幕位置。

4.根据权利要求3所述的方法，其特征在于，所述画面大小为1/N全屏幕大小，其中，N为参加所述视频会议的终端个数。

5.根据权利要求4所述的方法，其特征在于，当所述全屏幕为N个输出显示设备的屏幕之和时，将所述视频数据解码并显示在该视频数据对应的屏幕位置上包括：

在所述N个输出显示设备的每个输出显示设备的整个屏幕上显示所述1/N全屏幕大小的图像。

6.根据权利要求4所述的方法，其特征在于，当所述全屏幕为M个输出显示设备的屏幕之和时，其中，M＜N，将所述视频数据解码并显示在该视频数据对应的屏幕位置上包括：

在所述M个输出显示设备中部分输出显示设备的每个输出显示设备的整个屏幕上显示所述1/N全屏幕大小的图像；

在所述M个输出显示设备中其余部分输出显示设备的每个输出显示设备的屏幕上分屏显示图像。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述每个终端将所述采集到的视频数据编码后，通过以下至少之一方式发送给所述所有终端：组播方式、单播方式、广播方式。

8.根据权利要求1至6中任一项所述的方法，其特征在于，所述每个终端将所述采集到的视频数据编码后，直接传送至该终端以进行显示。

9.一种视频会议系统，包括：多个终端，其特征在于，每个所述终端均包括：

编码模块，用于将采集到的视频数据按照预定的画面大小进行编码；

输出模块，用于将所述编码模块编码后的视频数据输出至参加视频会议的所有终端；

接收模块，用于接收来自于所述所有终端中各个终端编码后的视频数据；

解码模块，用于解码所述所有终端中各个终端编码后的视频数据，以显示在该视频数据对应的屏幕位置上。

10.根据权利要求9所述的系统，其特征在于，所述系统还包括：

视频会议多点控制单元MCU，用于根据参加所述视频会议的终端个数确定所述画面大小及所述屏幕位置，并通知所述所有终端所述画面大小及所述屏幕位置。

11.根据权利要求9或10所述的系统，其特征在于，所述输出模块，还用于通过组播、单播、广播中的至少一种方式将编码后的视频数据输出至所述所有终端。

12.根据权利要求9或10所述的系统，其特征在于，所述输出模块，还用于将编码后的视频数据直接发送至本地的所述接收模块。