CN101257607B - 一种应用于视频会议的多画面处理系统和方法 - Google Patents

Abstract

本发明提供一种应用于视频会议的多画面处理系统和方法，本发明的系统包括：多个终端、一个或多个多点控制单元，所述多个终端将采集到的视频流编码为分辨率不同的两路单画面视频流分别发送给所述多点控制单元；所述多点控制单元将多个所述终端分别发送来的分辨率低的单画面视频流合成为一路分辨率高的多画面视频流，并将所述多画面视频流和/或多个所述终端发送来的分辨率高的单画面视频流发送给另一个或者多个终端；所述终端收到所述多点控制单元发送的视频流后，对所述视频流进行解码显示。本发明可以降低MCU进行视频格式转换和多画面处理的资源需求，同时可以保证一个终端收看另一个终端的单画面视频的质量。

Description

一种应用于视频会议的多画面处理系统和方法

技术领域

本发明涉及多媒体通信领域，特别是指应用于视频会议的多画面处理系统和方法。

背景技术

视频会议系统是支持声音、视频以及数据通信的多媒体通信系统，它包括会议电视终端，MCU(多点控制单元)以及其它一些设备。

目前市场上的视频会议系统一般符合ITU-T H.320或ITU-T H.323标准，也有符合IETF SIP标准的系统。H.323标准定义了基于IP网络的视频会议系统和协议规程，H.320标准定义了基于电路交换网络的视频会议系统和协议规程，基于SIP的视频会议标准还在试验阶段。

终端是用户使用的设备(如摄像机)，终端内包含编码器和解码器，编码器负责完成声音、视频等媒体的压缩编码，解码器负责完成声音、视频等媒体的解码，终端还连接麦克风，摄像头，显示器，声音播放子系统，完成声音、视频的输入和输出，终端还包括用户输入接口，用户通过输入接口向终端输入指令和信息。终端负责和对方的终端建立连接，协商双方的编/解码器能力，采用双方支持的编/解码算法进行通信。

MCU用来完成多方通信，参加多方通信的终端和MCU建立呼叫，并进行媒体流的收发，MCU负责完成媒体格式的转换，声音的混合，多画面的混合等。

媒体格式的转换是指媒体流从一种编码类型的码流转换为另一种编码类型码流，例如把H.263码流转换为H.264码流，或是从一种帧格式转换为另一种帧格式，例如把4CIF帧格式转换为CIF帧格式，或是从一个速率转换为另一个速率，或是前面各种情况的组合，或是其它未提及的转换。

声音的混合指把收到的来自多个终端的声音进行叠加，叠加后的声音携带了多个终端的声音信号。

多画面混合指把收到的来自多个终端的视频进行缩放和拼接处理，输出的视频流画面由多个空间上可区分的子画面组成，每个子画面显示一个终端的视频信号。

在多点会议中，多画面功能允许用户能够同时看到多个通话终端的视频，有助于改进通话效果，是非常受欢迎的功能。

但是多画面合成需要进行解码、缩放、拼接、重新编码等处理，是非常消耗计算资源的操作，实现的成本代价也很高。例如，终端发送和接收的视频帧格式为CIF，MCU进行一个4画面的合成，那么它需要把4个CIF格式输入视频流解码，然后下抽样为4个QCIF格式视频流，然后再把4个QCIF视频流合成为一个CIF视频流，再进行编码后发送给终端。

目前业内已有的做法是，终端发送一个较低分辨率格式的视频流，而MCU合成一个较高分辨率的多画面视频。以上面的4画面合成为例，终端直接发送QCIF的视频流，而MCU把4个QCIF的视频流合成为一个CIF的视频流，解码QCIF比解码CIF降低了计算量，另外也避免了下抽样计算。

然而该方法的一个缺点是如果部分终端想看某个终端的单画面视频时，只能看到较低质量的视频流。以上面的4画面合成为例，因为所有终端发送的是QCIF视频格式，终端无法观看另一个终端CIF格式的视频流。

发明内容

本发明的目的是提供一种应用于视频会议的多画面处理系统和方法，降低了MCU进行多画面处理的资源需求，从而可以用较经济的成本以及较低的技术要求来实现MCU相关功能。

为达到上述目的，本发明提供一种应用于视频会议的多画面处理系统，包括：多个终端、一个或多个多点控制单元，所述终端将采集到的视频流编码为分辨率不同的两路单画面视频流分别发送给所述多点控制单元；

所述多点控制单元将多个所述终端分别发送来的分辨率低的单画面视频流合成为一路分辨率高的多画面视频流，并将所述多画面视频流和/或多个所述终端分别发送来的分辨率高的单画面视频流发送给另一个或者多个终端；

所述另一个或者多个终端收到所述多点控制单元发送的视频流后，对所述视频流进行解码显示。

其中，所述终端包括：视频流采集模块、第一编码器和第二编码器；

所述视频流采集模块，用于采集视频流，并将所述视频流发送给所述第一编码器和所述第二编码器；

所述第一编码器，用于将接收到的所述视频流编码为一路分辨率低的单画面视频流；

所述第二编码器，用于将接收到的所述视频流编码为一路分辨率高的单画面视频流。

所述终端还包括：第一复用模块；

所述第一复用模块，用于对所述编码后的分辨率低的单画面视频流和分辨率高的单画面视频流进行传送格式封装，并通过网络接口由一个传输通道或者两个传输通道将封装后的数据流发送给所述多点控制单元。

所述终端还包括：解复用模块，解码器和显示驱动模块；

所述解复用模块，用于对收到的所述多点控制单元发送的复用视频流进行帧格式的分拆，去除传送包头，并把拆分后的视频流送给所述解码器；

所述解码器，用于所述拆分后的视频流进行解码；

所述显示驱动模块，用于驱动所述终端的显示器输出所述视频流。

所述终端还包括：第一主控模块；

所述第一主控模块，用于控制所述视频流采集模块、所述第一编码器、所述第二编码器、所述第一复用模块以及所述网络接口之间的消息通信；并用于控制所述网络接口、所述解复用模块、所述解码器以及所述显示驱动模块之间的消息通信。

其中，所述多点控制单元包括：解复用模块、视频交换矩阵和多画面合成处理模块；

所述解复用模块，用于对所述终端发送来的分辨率低的单画面视频流和分辨率高的单画面视频流进行解复用；

所述视频交换矩阵，用于接收所述解复用后的分辨率低的视频流，并将所述分辨率低的视频流发送给所述多画面合成处理模块，或者用于接收所述解复用后的分辨率高的单画面视频流；

所述多画面合成处理模块，用于将所述视频交换矩阵发送来的多个终端的分辨率低的视频流处理成一路分辨率高的多画面视频流，发送给所述视频交换矩阵。

所述多画面合成处理模块包括：解码器、多画面视频流合成器和编码器；

所述解码器，用于对所述视频交换矩阵发送来的解复用后的多个终端的分辨率低的视频流进行解码；

所述多画面视频流合成器，用于将所述解码后的多个终端的分辨率低的视频流合成为一路分辨率高的多画面视频流；

所述编码器，用于将所述分辨率高的多画面视频流进行编码，将编码后的一路分辨率高的多画面视频流发送给所述视频交换矩阵。

所述多点控制单元还包括：第二复用模块；

所述第二复用模块，用于对所述视频交换矩阵接收的所述分辨率高的多画面视频流和/或所述解复用后的分辨率高的单画面视频流进行传送格式封装，并通过网络接口发送给终端。

所述多点控制单元还包括：第二主控模块；

所述第二主控模块，用于控制所述解复用模块、所述视频交换矩阵、所述解码器、所述多画面视频流合成器、所述编码器以及所述第二复用模块之间的消息通信。

所述系统是基于ITU-T H.323或者ITU-T H.320或者IETF SIP协议建立的系统。

为达到上述目的，本发明还提供一种应用于视频会议的多画面处理方法，包括如下步骤：

获取多个终端发送的分辨率不同的两路单画面视频流；

将多个所述终端分别发送来的分辨率低的单画面视频流合成为一路分辨率高的多画面视频流；

将所述多画面视频流和/或多个所述终端分别发送来的分辨率高的单画面视频流发送给另一个或者多个终端。

其中，所述分辨率低的单画面视频流和所述分辨率高的单画面视频流来自同一视频源。

获取多个终端发送的分辨率不同的两路单画面视频流的步骤具体为：

通过基于ITU-T H.323或者ITU-T H.320或者IETF SIP协议建立的视频流传输通道，获取多个终端发送的所述分辨率低的单画面视频流和分辨率高的单画面视频流。

将多个所述终端分别发送来的分辨率低的单画面视频流合成为一路分辨率高的多画面视频流的步骤具体为：

对多个所述终端分别发送来的分辨率低的视频流进行解码；

将所述解码后的视频流合成为一路分辨率高的多画面视频流；

对所述合成后的分辨率高的多画面视频流进行编码。

将所述多画面视频流和/或所述多个终端分别发送来的分辨率高的单画面视频流发送给另一个或者多个终端的步骤具体为：

对所述分辨率高的多画面视频流和/或多个所述终端分别发送来的分辨率高的单画面视频流进行传送格式封装，并通过网络接口发送给另一个或者多个终端。

上述技术方案通过终端发出基于一个视频源信号的两种视频格式的码流，而MCU从中选择分辨率较小的视频流进行多画面的合成，可以降低MCU进行视频格式转换和多画面处理的资源需求，从而可以用较经济的成本以及较低的技术要求来实现MCU相关功能，同时，用户终端想要观看另外某一个终端的单画面视频时，MCU也可以将另外某一个终端的单画面视频发送给该终端，不受多画面处理的影响，保证了终端收看另一个终端的单画面视频的质量。

附图说明

图1为本发明实施例中，终端和MCU建立连接流程示意图；

图2为本发明实施例的多个终端和一个MCU交换视频流示意图；

图3为本发明实施例的终端输出两路视频流至MCU，以及接收并显示MCU发送的视频流的示意图；

图4为本发明实施例的MCU内部处理双路视频流的示意图；

图5为本发明实施例的应用于视频会议的多画面处理方法的流程示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明针对现有的视频会议中，MCU进行视频格式转换和多画面处理时，需要较大的计算量，耗费资源，且终端无法观看另一个终端的高质量的视频画面的问题，提供一种应用于视频会议的多画面处理系统和方法。

ITU-T H.323标准定义了终端支持两路以及多路视频流传送的方法，MCU通过打开多个视频通道来传递多路视频流，每个视频流的地位相同。ITU-TH.239标准定义了H.320支持多路视频流的方法，另外，H.239还定义了H.323和H.320系统的基于角色划分的视频流管理；H.239定义了视频流的两种模式，即演讲模式(Presentation)和活动视频模式(Live)，演讲模式下，视频发送是受管理的，只有获得令牌的终端才允许发送视频流，MCU把该视频流广播给其它终端，在活动视频模式下，每个终端都允许发送视频流。

本发明的视频会议系统是基于上述活动视频模式下的多画面处理系统，主要包括：多个终端，一个或多个MCU，当MCU内置在终端中时，系统包括多个MCU，其余情况下，系统包括一个MCU，无论系统包括一个MCU还是多个MCU，终端和MCU的通信过程均可以如下：

图1为终端和MCU建立连接的流程示意图，假设终端主动呼叫MCU，终端和MCU建立连接的过程如下：

1)终端首先和MCU之间建立传递呼叫信令的通道。

2)终端在呼叫信令通道上和MCU进行呼叫信令交互：

终端发送Setup消息；

MCU响应Alerting(振铃)、Connect(连接)消息，呼叫过程完成。

3)终端和MCU之间建立传递H.245控制信令的通道；

4)终端在控制信令通道上和MCU进行控制信令的交互：

终端发送Terminal Capability Set(终端能力集)消息给MCU，TerminalCapability Set中指示终端支持的能力集，举例来说，该能力集包含一个能力描述子(Capability Descriptor)，该描述子指示该终端同时支持一个声音流、两个视频流的接收和发送，其中一个视频流支持最高为Level 3.1的H.264编码(1280*720帧格式，30帧)，另一个视频流支持最高为Level 1.3的H.264编码(352*288帧格式，30帧)；

MCU响应Terminal Capability Set Ack确认消息；

MCU发送Terminal Capability Set消息给终端，Terminal Capability Set中指示MCU支持的能力集，举例来说，该能力集包含一个能力描述子(CapabilityDescriptor)，该描述子指示该MCU同时支持一个声音流、两个视频流的接收和发送，其中一个视频流支持最高为Level 3.1的H.264编码(1280*720帧格式，30帧)，另一个视频流支持最高为Level 1.3的H.264编码(352*288帧格式，30帧)；

终端响应Terminal Capability Set Ack确认消息，双方能力交换完成。

5)终端执行主从决定的信令流程：

终端发送Master Slave Determination(主从决定)消息给MCU；

MCU发送Master Slave Determination消息给终端；

MCU响应Master Slave Determination Ack确认消息；

终端响应Master Slave Determination Ack确认消息，双方主从决定协商完成。

6)终端和MCU执行打开媒体通道的信令流程：

终端发送携带声音的能力的Open Logical Channel消息给MCU，请求建立从终端到MCU的声音传送通道；

MCU响应Open Logical Channel Ack确认消息，该消息指示MCU接收声音媒体流的传输地址和端口，终端收到确认后可以开始发送声音媒体流；

MCU发送携带声音的能力的Open Logical Channel消息给终端，请求建立从MCU到终端的声音传送通道；

终端响应Open Logical Channel Ack确认消息。

7)终端打开发送第一路视频的媒体通道，该通道用来传送1280*720帧格式的视频流。

8)终端打开第二路视频的媒体通道，该通道用来传送352*288帧格式的视频，其中Open Logical Channel消息的forward Logical Channel Dependency字段指示出该视频流和第一路视频流是关联的。

类似地，MCU打开发送第一路视频的媒体通道，该通道用来传送1280*720帧格式的视频流，MCU可以不必打开第二个视频通道，因为终端不需要多个不同格式的视频流。

9)MCU和终端之间在声音、视频通道上发送接收媒体流。

如图2所示，为视频会议中多个终端和一个MCU交换视频流的示意图，该视频会议系统包括多个终端，如终端1、终端2、终端3和终端4，以及一个MCU，该系统是基于ITU-T H.323、ITU-T H.320、IETF SIP协议或者其它的多媒体协议的一种或者多种建立的系统；

在该系统中，每个终端均将其采集到的视频流，编码为分辨率不同的两路单画面视频流，如分辨率为1280*720的一路单画面视频流和分辨率为352*288的一路单画面视频流，每个终端都将其编码后的不同格式的两路视频流发送给MCU；

根据用户的选择，如果终端要求看合成的多画面视频流，那么MCU将4个终端分别发送来的分辨率为352*288的单画面视频流合成为一路分辨率为1280*720的四画面视频流，再把合成的四画面视频流发送给终端，基于352*288的输入视频流进行多画面合成，比基于1280*720输入的视频流进行多画面合成节省较多的计算量，降低了MCU的资源消耗。

另外，根据用户的选择，如果某个终端(如终端2)想看另一个终端(如终端1)的视频流，那么MCU选择终端1发送来的1280*720单画面格式的视频流发送给终端2，如果终端3也想看终端1的视频流，那么MCU也可以将终端1发送来的1280*720单画面格式的视频流也发送给终端3，其他终端的处理也如此，这样就不会因为MCU对多画面的处理而影响单画面的收看质量。

如图3所示，本发明的系统中的终端301包括有：视频流采集模块302、第一编码器303和第二编码器304、第一复用模块305、网络接口306、第一主控模块307、解复用模块309、解码器310、显示驱动模块311以及显示器312；其中，视频流采集模块302，用于采集视频流，并将采集到的视频流发送给第一编码器303和第二编码器304；

第一编码器303，用于将接收到的视频流编码为一路分辨率为352*288的单画面视频流；第二编码器304，用于将接收到的视频流编码为一路分辨率为1280*720的单画面视频流；第一编码器303和第二编码器304当然也可对接收到的视频流编码为其它分辨率格式的视频流，只要二者输出的编码后的视频流的格式不同即可，另外，第一编码器303和第二编码器304对视频流进行编码的编码格式是终端和MCU通过协商过程确定双方都支持的格式，如H.264编码；其中协商过程符合ITU-T H.323、ITU-T H.320、IETF SIP协议或者其它的多媒体协议规定的方法，编码格式包括编码的算法类型、编码速率、帧格式、帧频等参数；

若终端向MCU发送来自多个视频源的信号，则分辨率为352*288的单画面视频流和分辨率为1280*720的单画面视频流可以存在一关联关系，该关联关系用于确定这两路视频流属于同一视频源信号。

第一复用模块305，用于对编码后的分辨率为352*288的单画面视频流和分辨率为1280*720的单画面视频流进传送格式封装，如对两路单画面视频流添加RTP(实时传输协议)包头，并通过网络接口306发送给MCU308，其中，这两路视频流可以复用到一个传输通道上发送给MCU308，也可以分别通过两个传输通道发送给MCU308；

解复用模块309用于解复用MCU发送的复用视频流；具体的，解复用模块309用于对收到的所述多点控制单元MCU发送的复用视频流进行帧格式的拆分，去除传送包头，并把拆分后的视频流送给解码器310；解码器310用于对压缩的视频流进行解码；具体的，解码器310用于对所述解复用模块309拆分后的视频流进行解码；解码后视频流送给显示驱动模块311，所述显示驱动模块311用于驱动所述终端的显示器312输出所述视频流；具体的，显示驱动模块311把视频数据转换成显示器312的输入格式，由显示器312输出显示。

第一主控模块307，用于控制视频流采集模块302、第一编码器303、第二编码器304、第一复用模块305以及网络接口306之间的消息通信，并用于控制网络接口306、解复用模块309、解码器310以及显示驱动模块311之间的消息通信。

如图4所示，本发明的系统中MCU308包括：网络接口401、解复用模块402、视频交换矩阵403和多画面合成处理模块、第二复用模块408、第二主控模块407，其中，多画面合成处理模块包括：解码器404、多画面视频流合成器405以及一编码器406；其中，解复用模块402，用于对每个终端的第一复用模块305分别发送来的分辨率为352*288的单画面视频流和分辨率为1280*720的单画面视频流进行解复用，如去除RTP包头，并把压缩的视频流送给视频交换矩阵403；视频交换矩阵403，用于接收解复用后的分辨率为352*288的视频流，并将分辨率为352*288的视频流发送给多画面合成处理模块；多画面合成处理模块中的解码器404，用于对视频交换矩阵发送来的解复用后的多个终端的分辨率为352*288的视频流进行解码；多画面视频流合成器405，用于将解码后的多个终端的分辨率为352*288的视频流合成为一路分辨率为1280*720的多画面视频流；编码器406，用于将分辨率为1280*720的多画面视频流进行编码，将编码后的多画面视频流再发送给视频交换矩阵403；第二复用模块408，用于对视频交换矩阵403接收的分辨率为1280*720的多画面视频流进行传送格式封装，并通过网络接口发送给终端；基于352*288的输入视频流进行多画面合成，比基于1280*720输入的视频流进行多画面合成节省较多的计算量，降低了MCU的资源消耗；

另外，根据用户的选择，如果某个终端(如终端2)想看另一个终端(如终端1)的视频流，那么MCU中的第二复用模块408也可以将合成后的多画面视频流和终端1发送来的分辨率为1280*720的单画面视频流一起进行传送格式封装，再发送给终端2，类似的，如果终端3也想看终端1的视频流，那么MCU中的第二复用模块408也可以将合成后的多画面视频流和终端1发送来的分辨率为1280*720的单画面视频流一起进行传送格式封装，再发送给终端3，这样终端可以根据需要选择收看单画面视频流还是多画面视频流，而且终端也不会因为MCU对多画面的处理而使单画面的收看质量受到影响；

第二主控模块407，用于控制解复用模块402、视频交换矩阵403、解码器404、多画面视频流合成器405、编码器406以及第二复用模块408之间的消息通信。

综上所述，本发明的视频会议多画面处理系统中，通过终端的一个视频源信号，发出两种或多种视频格式的码流，而MCU从中选择帧格式小的视频流进行多画面的合成，可以降低MCU进行视频格式转换和多画面处理的资源需求，从而可以用较经济的成本以及较低的技术要求来实现MCU相关功能，同时，用户终端想要观看另外某一个终端的单画面视频时，MCU也可以将另外某一个终端的单画面高分辨率的视频发送给该终端，不受多画面处理的影响，保证了终端收看另一个终端的单画面视频的质量。

如图5所示，本发明的应用于视频会议的多画面处理方法，包括如下步骤：

步骤51、获取多个终端发送的分辨率不同的两路单画面视频流，如终端发送的分辨率为352*288的一路单画面视频流和分辨率为1280*720的一路单画面视频流；

步骤52、将多个终端分别发送来的分辨率为352*288的单画面视频流合成为一路分辨率高的多画面视频流，如分辨率为1280*720的多画面视频流；

步骤53、将多画面视频流和/或多个终端分别发送来的分辨率高的单画面视频流发送给另一个或者多个终端。

其中，步骤52中的分辨率为352*288的单画面视频流和步骤53中的分辨率为1280*720的单画面视频流来自终端采集的同一视频源，若终端向MCU发送来自多个视频源的信号，则分辨率为352*288的单画面视频流和分辨率为1280*720的单画面视频流可以存在一关联关系，该关联关系用于确定这两路视频流属于同一视频源信号。

进一步的，步骤51具体为：通过基于ITU-T H.323或者ITU-T H.320或者IETF SIP协议建立的视频流传输通道，获取多个终端发送的分辨率低的单画面视频流和分辨率高的单画面视频流。

步骤52具体为：对多个终端分别发送来的分辨率低的视频流进行解码；将解码后的视频流合成为一路分辨率高的多画面视频流；对合成后的分辨率高的多画面视频流进行编码。

步骤53具体为：对分辨率高的多画面视频流进行传送格式封装，通过网络接口发送给多个终端；基于分辨率低的视频流进行多画面合成，比基于高分辨率的视频流进行多画面合成节省较多的计算量，降低了MCU的资源消耗。

另外，根据用户的选择，也可以对合成后的多画面视频流和多个终端分别发送来的分辨率高的单画面视频流一起进行传送格式封装，并通过网络接口发送给另一个或者多个终端，这样终端就可以看到另外一个终端的单画面视频，且单画面视频的收看质量也不会因为MCU对多画面的处理而受影响。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (15)

1.一种应用于视频会议的多画面处理系统，包括：多个终端、一个或多个多点控制单元，其特征在于，

所述终端将采集到的视频流编码为分辨率不同的两路单画面视频流分别发送给所述多点控制单元；

所述多点控制单元将多个所述终端分别发送来的分辨率低的单画面视频流合成为一路分辨率高的多画面视频流，并将所述多画面视频流和/或多个所述终端发送来的分辨率高的单画面视频流发送给另一个或者多个终端；

所述另一个或者多个终端收到所述多点控制单元发送的视频流后，对所述视频流进行解码显示。

2.根据权利要求1所述的应用于视频会议的多画面处理系统，其特征在于，所述终端包括：视频流采集模块、第一编码器和第二编码器；

所述视频流采集模块，用于采集视频流，并将所述视频流发送给所述第一编码器和所述第二编码器；

所述第一编码器，用于将接收到的所述视频流编码为一路分辨率低的单画面视频流；

所述第二编码器，用于将接收到的所述视频流编码为一路分辨率高的单画面视频流。

3.根据权利要求2所述的应用于视频会议的多画面处理系统，其特征在于，所述终端还包括：第一复用模块；

所述第一复用模块，用于对所述编码后的分辨率低的单画面视频流和分辨率高的单画面视频流进行传送格式封装，并通过网络接口由一个传输通道或者两个传输通道将封装后的数据流发送给所述多点控制单元。

4.根据权利要求3所述的应用于视频会议的多画面处理系统，其特征在于，所述终端还包括：解复用模块，解码器和显示驱动模块；

所述解复用模块，用于对收到的所述多点控制单元发送的复用视频流进行帧格式的分拆，去除传送包头，并把拆分后的视频流送给所述解码器；

所述解码器，用于对所述拆分后的视频流进行解码；

所述显示驱动模块，用于驱动所述终端的显示器输出所述视频流。

5.根据权利要求4所述的应用于视频会议的多画面处理系统，其特征在于，所述终端还包括：第一主控模块；

所述第一主控模块，用于控制所述视频流采集模块、所述第一编码器、所述第二编码器、所述第一复用模块以及所述网络接口之间的消息通信；并用于控制所述网络接口、所述解复用模块、所述解码器以及所述显示驱动模块之间的消息通信。

6.根据权利要求1所述的应用于视频会议的多画面处理系统，其特征在于，所述多点控制单元包括：解复用模块、视频交换矩阵和多画面合成处理模块；

所述解复用模块，用于对所述终端发送来的分辨率低的单画面视频流和分辨率高的单画面视频流进行解复用；

所述视频交换矩阵，用于接收所述解复用后的分辨率低的视频流，并将所述分辨率低的视频流发送给所述多画面合成处理模块，或者用于接收所述解复用后的分辨率高的单画面视频流；

所述多画面合成处理模块，用于将所述视频交换矩阵发送来的多个终端的分辨率低的视频流处理成一路分辨率高的多画面视频流，发送给所述视频交换矩阵。

7.根据权利要求6所述的应用于视频会议的多画面处理系统，其特征在于，所述多画面合成处理模块包括：解码器、多画面视频流合成器和编码器；

所述解码器，用于对所述视频交换矩阵发送来的解复用后的多个终端的分辨率低的视频流进行解码；

所述多画面视频流合成器，用于将所述解码后的多个终端的分辨率低的视频流合成为一路分辨率高的多画面视频流；

所述编码器，用于将所述分辨率高的多画面视频流进行编码，将编码后的一路分辨率高的多画面视频流发送给所述视频交换矩阵。

8.根据权利要求7所述的应用于视频会议的多画面处理系统，其特征在于，所述多点控制单元还包括：第二复用模块；

所述第二复用模块，用于对所述视频交换矩阵接收的所述分辨率高的多画面视频流和/或所述解复用后的分辨率高的单画面视频流进行传送格式封装，并通过网络接口发送给终端。

9.根据权利要求8所述的应用于视频会议的多画面处理系统，其特征在于，所述多点控制单元还包括：第二主控模块；

所述第二主控模块，用于控制所述解复用模块、所述视频交换矩阵、所述解码器、所述多画面视频流合成器、所述编码器以及所述第二复用模块之间的消息通信。

10.根据权利要求1-9任一项所述的应用于视频会议的多画面处理系统，其特征在于，所述系统是基于ITU-T H.323或者ITU-T H.320或者IETF SIP协议建立的系统。

11.一种应用于视频会议的多画面处理方法，其特征在于，包括如下步骤：

获取多个终端发送的分辨率不同的两路单画面视频流；

将多个所述终端分别发送来的分辨率低的单画面视频流合成为一路分辨率高的多画面视频流；

将所述多画面视频流和/或多个所述终端分别发送来的分辨率高的单画面视频流发送给另一个或者多个终端。

12.根据权利要求11所述的应用于视频会议的多画面处理方法，其特征在于，所述分辨率低的单画面视频流和所述分辨率高的单画面视频流来自同一视频源。

13.根据权利要求11所述的应用于视频会议的多画面处理方法，其特征在于，获取多个终端发送的分辨率不同的两路单画面视频流的步骤具体为：

通过基于ITU-T H.323或者ITU-T H.320或者IETF SIP协议建立的视频流传输通道，获取多个终端发送的分辨率低的单画面视频流和分辨率高的单画面视频流。

14.根据权利要求11所述的应用于视频会议的多画面处理方法，其特征在于，将多个所述终端分别发送来的分辨率低的单画面视频流合成为一路分辨率高的多画面视频流的步骤具体为：

对多个所述终端分别发送来的分辨率低的视频流进行解码；

将所述解码后的视频流合成为一路分辨率高的多画面视频流；

对所述合成后的分辨率高的多画面视频流进行编码。

15.根据权利要求11所述的应用于视频会议的多画面处理方法，其特征在于，将所述多画面视频流和/或多个所述终端分别发送来的分辨率高的单画面视频流发送给另一个或者多个终端的步骤具体为：

对所述分辨率高的多画面视频流和/或所述终端发送来的分辨率高的单画面视频流进行传送格式封装，并通过网络接口发送给另一个或者多个终端。

Images