CN101867767A - 视频会议系统的多点控制单元及其视频处理方法 - Google Patents

视频会议系统的多点控制单元及其视频处理方法 Download PDF

Info

Publication number
CN101867767A
CN101867767A CN201010170172A CN201010170172A CN101867767A CN 101867767 A CN101867767 A CN 101867767A CN 201010170172 A CN201010170172 A CN 201010170172A CN 201010170172 A CN201010170172 A CN 201010170172A CN 101867767 A CN101867767 A CN 101867767A
Authority
CN
China
Prior art keywords
terminal
universal port
unit
universal
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201010170172A
Other languages
English (en)
Other versions
CN101867767B (zh
Inventor
高恩克
陈涛
李文
刘克华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN 201010170172 priority Critical patent/CN101867767B/zh
Priority to PCT/CN2010/077080 priority patent/WO2011134228A1/zh
Publication of CN101867767A publication Critical patent/CN101867767A/zh
Application granted granted Critical
Publication of CN101867767B publication Critical patent/CN101867767B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/152Multipoint control units therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种视频会议系统的多点控制单元及其视频处理方法,其中,视频会议系统的多点控制单元,包括:视频处理单元,其包括多个通用端口单元,多个通用端口单元通过以太网接口与视频会议系统的多个终端连接,多个通用端口单元中的各个通用端口单元分别用于对来自视频会议系统中的一个终端的压缩视频数据进行解压缩,并将解压缩数据发送给以太网交换机;以太网交换机,其通过以太网接口与多个通用端口单元连接形成内部以太网,用于接收多个通用端口单元发送来的解压缩数据。本发明实现了视频会议多点控制单元媒体处理上的通用端口功能,并且基于以太网技术的组网稳定性较好、成本较低、容易扩容、以及兼容性较强。

Description

视频会议系统的多点控制单元及其视频处理方法
技术领域
本发明涉及通信领域,具体而言,涉及一种视频会议系统的多点控制单元及其视频处理方法。
背景技术
会议电视系统是指能够实现多点的视频和声音进行实时交互和传输的系统,通常是由后台会议管理105、多点控制单元(MultipointControlling Unit,MCU)104和各点的终端101组成,如图1所示。
后台会议管理用于实现对会议管理的功能,可以通过Internet进行;MCU则是根据会议要求,完成媒体处理等功能;这里终端是指参加会议一方的设备,包含了摄像头、视频接收和显示、麦克风、扩音器等终端设备的集合。该系统的工作原理是:各终端通过传输网络103(包括以太网、E1等网络)把视频传送到MCU104,MCU104根据后台会议管理105提出的会议要求,把与会终端视频进行解码、交互、合成、编码等处理,再传送给各终端,从而实现会议电视的功能。MCU中实现视频处理功能的单元定义为VPU(VideoProcessing Unit,视频处理单元)。
由此可知,MCU是会议电视的核心,而VPU则是MCU的核心,它决定了会议电视系统能够处理的终端的数量、画面的形式(比如六画面、12画面、16画面等形式)和质量(比如图像有1080p,720p,D1,CIF等不同的分辨率),即会议电视系统的容量和性能。
通用端口(Universal Port,简称为UP),是会议电视行业内通用的说法,并非指通常意义上理解的端口或接口,而是指会议电视系统中MCU可以支持各种不同类型的终端(比如有高清、标清终端,或其他处理能力、码流、格式不同的终端),并且它们之间可以不限制终端类型,随意组合举行会议,并满足它们各自对视频音频格式、不同的码率、不同形式的多画面和多画面内容的不同要求。具有这样性能的会议电视系统好比拥有支持各种终端的“通用端口”一样,连接任何终端都可以举行会议。
例如,某会议系统有40个终端,分别为X1~X40,其中X1~X20为高清终端,码流为8Mb/s,X21~X40为标清终端,码流为2Mb/s。现在要举行一场有X1~X10和X21~X30参加的会议,X1要求实现高清(1080p分辨率)16画面(比如分别来自X2~X10,X21~X27)的视频,而X21则只需实现720p分辨率4画面(比如分别来自X1,X2,X6,X25)的视频即可,其他终端的要求也都不尽相同。所以,要实现这个会议,MCU必须具有“通用性”,满足所有与会终端的要求。而终端的这种要求是应用层面的要求,不是物理层意义上的一般端口或接口(如以太网口、E1接口)。
终端应用层面的要求往往是对媒体流的处理,比如前面提到的视频音频格式、码率、各种形式的多画面和多画面内容的要求。所以这里的通用端口就是指在媒体处理上实现“通用端口”化,使得能够处理和支持不同类型终端的媒体流。在会议电视中,媒体流的处理重点在于视频处理,而视频处理主要在VPU中完成。所以,只要VPU实现通用端口,即视频会议实现了通用端口。
VPU实现通用端口是对VPU单元化,每个单元可以对应一个终端,负责完成对应终端的各种要求。这个单元好比一个VPU的媒体流端口,我们把它定义为Universal Port(UP)。各UP内部可以不同,能力也不一样,MCU内部的媒体控制单元(Media Controller,MC)负责协调UP和终端的连接。
目前,通用端口已经成为会议电视的一个趋势,下面介绍实现VPU通用端口的一种常用方法:基于Rapid IO实现Universal Port功能的方法。
Rapid IO是一种高速率串行接口,目前最高达到3.125G bit/s,一些芯片可以支持4X模式(但只能硬件设置,软件不能更改),也就是4路并行,达到12.5G bit/s。Rapid IO支持板内、通过背板、一定长度内定制的铜轴电缆连接。如图2所示,该方案和上述方案的不同之处在于这里用Rapid IO传输各UP之间的基带数据,下面说明其工作原理:1)在一个会议中,MC根据各UP的能力和空闲状态,分配UP1对应X1。2)UP1和X1通过千兆以太网建立连接,接收X1的码流。3)UP1解码X1的码流后,通过Rapid IO1传递到Rapid IO交换机,用于其他UP多画面合成的素材,即基带数据;同时,UP1通过Rapid IO1从Rapid IO交换机接收到其他UP输出的基带数据用于多画面合成。4)UP1将合成的多画面进行编码,通过千兆以太网传递给X1,从而实现X1的要求。
由于Rapid IO的高带宽,可以满足各UP之间基带数据的交互,另外Rapid IO接口有专用的交换芯片,可以组成网络。但是,这个方案存在以下缺陷:
1)具有Rapid IO接口的芯片价格比较贵,成本较高,并且不够普遍,选择面较窄导致具体的实现方式有限;
2)Rapid IO接口(是一种板内技术)虽然支持定制的铜轴电缆进行传输,但长度有限,一般在几米之内,限制了其应用空间;
3)Rapid IO对单板的布局和走线要求比较高,组成的网络稳定性较差,并且由于Rapid IO主要应用于板内互联,因此在板间形成复杂网络存在的技术风险较大。
综上所述,上述方案的问题主要是使用Rapid IO组成网络存在成本较高、芯片选择面窄、应用范围受限、以及组成网络的技术风险较大的问题,这些问题都不利于视频会议系统的扩容和平滑升级。
发明内容
本发明的主要目的在于提供一种视频会议系统的多点控制单元及其视频处理方法,以至少解决上述问题。
根据本发明的一个方面,提供了一种视频会议系统的多点控制单元,包括:视频处理单元,其包括多个通用端口单元,多个通用端口单元通过以太网接口与视频会议系统的多个终端连接,多个通用端口单元中的各个通用端口单元分别用于对来自视频会议系统中的一个终端的压缩视频数据进行解压缩,并将解压缩数据发送给以太网交换机;以太网交换机,其通过以太网接口与多个通用端口单元连接形成内部以太网,用于接收多个通用端口单元发送来的解压缩数据。
根据本发明的另一方面,提供了一种视频会议系统的多点控制单元的视频处理方法,包括:第一通用端口单元通过以太网接口接收来自视频会议系统的终端的压缩视频数据;第一通用端口单元对压缩视频数据进行解压缩,并将解压缩数据通过以太网接口发送给以太网交换机。
通过本发明,基于以太网技术,将各UP通过以太网接口与以太网交换机连接,用于传输各UP之间的基带数据(即上述解压缩数据),从而实现了视频会议多点控制单元媒体处理上的通用端口功能,并且基于以太网技术的组网稳定性较好、成本较低、容易扩容、以及兼容性较强。此外,由于以太网传输线缆长度不受限从而基于以太网接口组网应用广泛。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据相关技术的典型的会议电视系统示意图;
图2是根据相关技术的基于Rapid IO实现Universal Port功能的会议电视系统示意图;
图3是根据本发明实施例的视频会议系统的示意图;
图4是根据本发明优选实施例的基于以太网实现Universal Port功能的视频会议系统的示意图;
图5是根据本发明第一优选实施例的基于以太网的通用端口单元的内部框图;
图6是根据本发明第二优选实施例的通用端口单元的实现框图;
图7是根据本发明第二优选实施例的6画面形式图;以及
图8是根据本发明实施例的视频会议系统的多点控制单元的视频处理方法的流程图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
图3是根据本发明实施例的视频会议系统的示意图,该视频会议系统的多点控制单元MCU,包括:
视频处理单元VPU 20,其包括多个通用端口单元(UP)202,多个通用端口单元202通过以太网接口与视频会议系统的多个终端50连接,多个通用端口单元202中的各个通用端口单元分别用于对来自视频会议系统中的一个终端的压缩视频数据进行解压缩,并将解压缩数据发送给以太网交换机204;
以太网交换机204,其通过以太网接口与多个通用端口单元202连接形成内部以太网,用于接收多个通用端口单元202发送来的解压缩数据。
如图2所示的相关技术中由于UP使用Rapid IO接口与RapidIO交换机连接而组成网络,从而存在成本较高、芯片选择面窄、应用范围受限、以及组成网络的技术风险较大的问题。本实施例基于廉价、成熟的以太网技术,将各UP通过以太网接口与以太网交换机连接从而形成以太网络,用于传输各UP之间的基带数据(即上述解压缩数据),从而实现了视频会议多点控制单元媒体处理上的通用端口功能,并且基于以太网技术的组网稳定性较好以及成本较低。此外,由于以太网传输线缆(可以为一般使用的网线)长度不受限从而基于以太网接口组网应用广泛。
此外,本实施例由于各UP采用以太网方式组成网络,以太网技术成熟、廉价,通过以太网交换机就可以很方便地增加更多的UP,从而实现扩容,理论上不限于UP数量和空间;并且,各UP(可以内部实现方式不同,处理能力不一样)可以通过以太网交换机形成以太网络,能力差的UP可以处理要求低的终端,能力强的UP即可以处理要求高的也可以处理要求低的终端,因此兼容性较强,且在升级过程中,视情况不必完全更换或淘汰能力差的UP,可以实现平滑过渡。
优选地,多个通用端口单元202中的各个通用端口单元分别还用于通过以太网交换机204接收来自多个通用端口单元中除自己以外的其他通用端口单元(可以是一个或多个,具体根据对应的终端的要求或者由媒体控制单元30通过指令来协调)的解压缩数据,并按照对应的终端的要求(由媒体控制单元将对应的终端的要求通过指令发送给各个通用端口单元)对该解压缩数据进行处理,将处理后的数据通过外部以太网发送给该对应的终端。因此,以太网交换机204用于将VPU中的通用端口单元组成以太网络,实现各个通用端口单元之间的数据交换。
优选地,如图3所示,在上述的MCU中,还包括:媒体控制单元MC 30,用于根据视频会议系统中的第一终端(如图3中位于X1处的终端)的请求消息(该请求消息中可以包括第一终端所要求的画面格式、码流速率、内容、和形式等个性化要求),通知多个通用端口单元中的第一通用端口单元(如图3中UP1)接收第一终端的压缩视频数据。MCU内部的媒体控制单元MC(Media Controller,MC)控制和协调所有UP的工作。MC接收到来自第一终端的请求消息后,根据当前所有通用端口单元的使用情况和处理能力,选择一个通用端口单元(如第一通用端口单元)与第一终端相对应,并通知UP1接收第一终端送往MCU的压缩视频数据。这样,MC可以在接收到视频会议系统中任一终端的请求消息后,从VPU的多个UP中选择一个空闲的UP以作为为该终端分配的UP来接收其发送的压缩视频数据。
图4是根据本发明优选实施例的基于以太网实现Universal Port功能的会议电视系统示意图。
优选地,如图4和图5所示,第一通用端口单元202包括:外部以太网接口A,通过外部以太网与第一终端连接,用于根据媒体控制单元30的通知指令接收第一终端发送的压缩视频数据;解码模块2021,用于解压缩外部以太网接口A接收到的压缩视频数据,得到解压缩数据;第一媒体处理模块2022,用于对上述解压缩数据进行缩放处理,得到预定尺寸的图像;压缩模块2023,用于对上述预定尺寸的图像进行压缩,得到压缩数据;内部以太网接口B,与以太网交换机204连接,用于将压缩数据发送给以太网交换机204。
该优选实施例提供了通用端口单元的具体实施方案,显然,VPU中的多个通用端口单元均可包括上述模块以实现对来自某一终端的压缩视频数据的处理(包括解压缩、缩放、和压缩处理)。例如,上述模块的工作原理为:1)MC根据第一终端(位于X1处)上报的情况,通知UP1的外部以太网接口A接收第一终端送往MCU的压缩视频数据,UP1的解码模块2021解码该图像成原始图像或某一中间格式的图像(即上述的解压缩数据);2)UP1中的第一媒体处理模块2022对解码图像(即上述的解压缩数据)进行缩放,形成大、中、小画面(即上述的预定尺寸的图像);3)UP1的压缩模块2023对大、中、小画面采用特定算法进行压缩;4)UP1将压缩数据通过外部网络接口B以单播或组播方式发送到以太网交换机204上,作为其它UPx多画面的合成素材。
优选地,以太网交换机204还用于将来自多个通用端口单元中的第二通用端口单元(如为UP2至UP7的6个通用端口单元)的压缩数据发送给第一通用端口单元(UP1);第一通用端口单元的内部以太网接口A还用于根据媒体控制单元30的指令接收来自以太网交换机204的压缩数据(即第二通用端口单元对来自第二终端(如为处于X3至X8处的6个终端)的压缩视频数据经解压缩、缩放、和压缩处理后的得到的数据);第一通用端口单元还包括:解压缩模块2024,用于对内部以太网接口B接收的压缩数据进行解压缩,得到与第二通用端口单元对应的第二终端的预定尺寸的图像;第二媒体处理单元2025,用于将上述与第二通用端口单元对应的第二终端的预定尺寸的图像进行合成处理,得到第一终端所需的画面形式的合成图像;编码模块2026,用于对合成图像进行压缩编码,得到与第一终端的类型相对应的压缩视频码流,并通过外部以太网接口A发送给第一终端。
该优选实施例提供了UP1对其他UPx发送的压缩数据进行解压缩、合成、和压缩编码处理后,将符合终端所需图像格式、速率码流等要求的压缩视频码流发送给终端进行播放的具体实施方案。为实现通用端口的功能,每一个UP都需要与其它UP交互图像数据,如:某一个高清终端在会议中要求看一个16画面的高清图像,那么与这个终端对应的UP需要通过以太网交换机从其它16个UP获得16个其它终端的小的画面图像。这样,可以为终端提供符合其类型要求的码流,位于终端处的用户可以观看任意一个或多个自己会场或其他会场的视频。例如,1)UP1根据MC的指令,从内部以太网接口B接收来自其他UPx的压缩画面(即上述的压缩数据),比如接收其它n(多画面数量)个UPx的小画面压缩码流;2)UP1的解压缩模块2024将接收到的小画面压缩码流解码成原始图像(即上述的预定尺寸的图像),然后送到第二媒体处理模块2025,比如,解码后的n个UPx的小画面;3)第二媒体处理模块2025合成和处理相关图像,形成第一终端需要的原始图像数据(为基带图像,即上述的合成图像),然后送给编码模块2026;4)UP1的编码模块2026将基带图像压缩编码成第一终端需要的图像格式和速率码流(即与第一终端的类型相对应的压缩视频码流),发送给第一终端进行播放。
优选地,压缩模块2023和解压缩模块2024可以使用浅压缩(如MJPEG、H.264低复杂度算法等)算法对接收到的数据进行压缩和解压缩。由于采用GE(以太网)接口传送基带视频流,尤其是高清基带视频流有很大的困难,一路1080p30(4:2:0)的原始图像基带数据就达到了94M Byte/s。考虑到大量UP通过以太网交换机互联,为了避免冲突和保证效率,GE口的吞吐量也不宜过大。为此,在各个UP之间传递基带数据必须找到一种低延时(如:最终达到编解码总延时要小于10ms)的图像压缩算法,用于内部图像交换,可以称为“浅压缩算法”。如果采用DSP实现这种算法,为了达到延时要求,这种算法要求复杂度低(如:H.264bp算法复杂度的30%),在带宽、码率波动、甚至是图像质量方面要求有所放松,比如可以使用MJPEG(Motion Join Photographic Expert Group)算法(MJPEG是在JPEG算法基础上发展起来的动态图像压缩技术),也可以使用H.264低复杂度算法来实现上述的“浅压缩算法”。不同分辨率图像基带数据流量如下:1080p30 4:2:0-94MByte/s;720p304:2:0-42MByte/s;D1 30fps 4:2:0-16MByte/s;CIF 30fps 4:2:0-5MByte/s。
优选地,第一通用端口单元还用于通过加入组播组的方式接收来自第二通用端口单元的对应于第二终端的压缩数据。这样,VPU中的多个通用端口单元加入一个组播组,其中的任意一个通用端口单元都可以选择接收与其属于同一组播组的其他通用端口单元中的一个或多个的压缩数据。采用组播方式,数据传输效率会更高。
优选地,上述的第二终端可以为多个,上述的第二通用端口单元也可以为多个。这样,视频会议系统中的任意一个终端可以选择观看其他任意一个或多个终端的视频。
优选地,视频处理单元20为分层拓扑结构。MCU的VPU由大量分散的媒体处理点构成,每个媒体处理点对外可以称为通用端口单元(Universal Port,UP)。分层的拓扑结构可以是:若干UP组成媒体处理板,若干媒体处理板组成媒体处理框,若干媒体处理框组成媒体处理柜,若干媒体处理柜组成VPU。这样,可以实现MCU容量的扩展,视频会议系统的扩容也将不受单板、机框、机架、甚至地域的限制,理论上可以无限扩容。
优选地,通用端口单元202可以由处理芯片(如DSP芯片)实现。UP是一个独立运作的单元,内部可由一片或几片DSP(SOC)构成,对外有一个以太网口A与视频会议终端连接,对内有一个或多个以太网口B通过内部以太网交换机与其它UP连接。
按照以上技术方案,UP是个独立的单元,同一架构下的UP,其内部实现方式可以不尽相同。参照图4,不尽相同的UP(UP1~UP8)通过内部高速以太网组成VPU;同时连接外部高速以太网,根据MC的指令,和终端建立连接。这样就建立了一个基于不同UP构成的分布式媒体处理架构。而事实上,整个架构的以太网网络是成熟的技术,其实现的关键在于UP的实现。
UP的实现形式虽然可以不一样的,但是它们都具备图5的内部结构和外部接口。在具体实施上,Universal Port可以是一片高性能的处理芯片组成,也可以由几片相对廉价的处理芯片组成,如图4中UP1~UP8都可能根据项目要求不尽相同。同样由多片处理芯片组成的UP,其内部处理芯片也可能不尽相同;根据它们的接口和能力,这些处理芯片分别完成相应的模块功能。
例如,如图6所示,以一个六画面为例,假设MC分配图4中的UP1来处理终端X1的各项请求。此时,终端X1要求实现一个如图7所示的六画面,其中画面一到六分别来自终端X2~X7,假定终端X2~X7分别对应UP2~UP7,如图6所示,UP1由三片DSP组成,各DSP具有千兆网口GE(作为内部以太网接口B或外部以太网接口A)和VP(Video Port,视频端口),各DSP的处理能力可以不同,相应地完成的功能模块也不同。DSP之间采用VP(VideoPort)口连接,也可以采用Rapid IO、PCIE、万兆网口等高速接口或多核处理芯片的内部高速链路等技术。其中,DSP1完成解码模块2021、第一媒体处理模块2022、和压缩模块2023的功能;DSP2完成解压缩模块2024和第二媒体处理模块2025的功能;DSP3完成编码模块2026的功能。UP1的具体工作原理为:
(1)MC收到终端X1的要求后,通知UP1接收X1的码流,并输出终端X2~X7六个画面合成的六画面到X1,其中要求X2的画面为大画面,其他为小画面;
(2)UP1的DSP1对X1的码流进行解码,然后将视频数据通过VP1发送给DSP2用于多画面合成或环回显示;同时对解码后的视频数据使用MJPEG算法进行“浅压缩”,变成大、中、小画面码流,单播或组播到内部高速以太网,用作其他UP多画面的合成;
(3)根据MC的通知,DSP2接收UP2~UP7的“浅压缩”码流(即同(1)中使用MJPEG算法进行“浅压缩”得到的码流),其中UP2的码流为“浅压缩”大画面码流,其他为小画面码流;
(4)DSP2对“浅压缩”码流进行解码后,合成图7所示的六画面(也可根据终端的要求,合成的多画面包含自己的画面,或单独环回显示);
(5)DSP2合成的多画面数据最后通过VP2发送给DSP3;
(6)DSP3按照终端需要的码率(比如1Mb/s、2Mb/s、4Mb/s、8Mb/s等),对合成的多画面进行编码,通过连接外部高速以太网的GE口发送给终端X1,从而实现终端X1的六画面请求。
上述优选实施例中的UP之间采用以太网接口互联,能够线性的扩容,不受单板、机框、机架的限制,也不受会议的限制。某个UP的故障能够被快速隔离,并被其它空闲UP替代。UP内部芯片选择面广,以降低成本和实现高低搭配。随着处理芯片的升级而平滑过渡,即新扩容的能力通过增加新单板完成,老的单板可以继续使用而不需要被替换。
图8是根据本发明实施例的视频会议系统的多点控制单元的视频处理方法,结合图3,该方法包括以下步骤:
步骤S802,第一通用端口单元(如UP1)通过以太网接口接收来自视频会议系统的第一终端(如终端X1)的压缩视频数据;
步骤S804,第一通用端口单元对上述压缩视频数据进行解压缩,并将解压缩数据通过以太网接口发送给以太网交换机204;
步骤S806,以太网交换机204将上述解压缩数据通过以太网接口发送给第二通用端口单元(可以是一个或多个,如UP3、UP5、和UP6)以进行合成处理并将合成画面(通过外部以太网)发送给对应的第二终端(如终端Xn、X7、和X10)。
优选地,在上述的方法中,还包括:第一通用端口单元通过以太网交换机204接收来自VPU中除自己以外的其他通用端口单元(可以是一个或多个,如UP4-UP8)的解压缩数据;第一通用端口单元按照与其对应的第一终端的要求对该解压缩数据进行合成处理,并将处理后的合成画面(通过外部以太网)发送给第一终端。
结合图4和图5,一个UP实现的流程如下:
步骤1,MC根据终端上报的情况,通知UP的对外网络端口A接收终端送往MCU的压缩视频数据;
步骤2,UP的解码模块2021解码该图像成原始图像或某一中间格式的图像;
步骤3,UP中的第一媒体处理模块2022对解码的图像进行缩放,形成大、中、小画面;
步骤4,UP的压缩模块2023对大、中、小画面采用特定算法(MJPEG算法)进行压缩。
步骤5,UP将压缩数据通过内部以太网接口B单播或组播到内部以太网上,作为其它UPx多画面的合成素材;
步骤6,同时,UP根据MC的指令,从内部以太网接口B接收来自其他UPx的压缩画面。比如,通过加入组播组的方式接收其它n(多画面数量)个UPx的小画面压缩码流;
步骤7,UP的解压缩模块2024将接收到的压缩码流解码成原始图像,然后送到第二媒体处理模块2025。比如,解码n个UPx的小画面;
步骤8,第二媒体处理模块2025合成和处理相关图像,形成终端需要的原始图像数据,然后送给编码模块2026;
步骤9,UP的编码模块2026将基带图像压缩编码成终端需要的图像格式和速率码流,发送给终端。
从以上的描述中,可以看出,本发明实现了如下技术效果:
(1)可以以较低的成本实现视频会议的Universal Port功能,同时提升MCU的扩容和升级能力;
(2)一个UP可以和其他UP通过内部高速以太网组成一个基于分布式UP的媒体处理架构,采用“浅压缩”算法,内部的高速网的带宽足够各UP之间传递基带数据,并具有较小的延时,实现高清视频会议。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (12)

1.一种视频会议系统的多点控制单元,其特征在于,包括:
视频处理单元,其包括多个通用端口单元,所述多个通用端口单元通过以太网接口与所述视频会议系统的多个终端连接,所述多个通用端口单元中的各个通用端口单元分别用于对来自所述视频会议系统中的一个终端的压缩视频数据进行解压缩,并将解压缩数据发送给所述以太网交换机;
所述以太网交换机,其通过以太网接口与所述多个通用端口单元连接形成内部以太网,用于接收所述多个通用端口单元发送来的所述解压缩数据。
2.根据权利要求1所述的多点控制单元,其特征在于,各个所述通用端口单元分别还用于通过所述以太网交换机接收来自所述多个通用端口单元中除自己以外的其他通用端口单元的解压缩数据,并按照对应的终端的要求对所述解压缩数据进行处理,将处理后的数据发送给所述对应的终端。
3.根据权利要求1所述的多点控制单元,其特征在于,还包括:
媒体控制单元,用于根据所述视频会议系统中的第一终端的请求消息,通知所述多个通用端口单元中的第一通用端口单元接收所述第一终端的压缩视频数据。
4.根据权利要求3所述的多点控制单元,其特征在于,所述第一通用端口单元包括:
外部以太网接口,通过外部以太网与所述第一终端连接,用于根据所述媒体控制单元的通知指令接收所述第一终端发送的所述压缩视频数据;
解码模块,用于解压缩所述外部以太网接口接收到的所述压缩视频数据,得到所述解压缩数据;
第一媒体处理模块,用于对所述解压缩数据进行缩放处理,得到预定尺寸的图像;
压缩模块,用于对所述预定尺寸的图像进行压缩,得到压缩数据;
内部以太网接口,与所述以太网交换机连接,用于将所述压缩数据发送给所述以太网交换机。
5.根据权利要求4所述的多点控制单元,其特征在于,所述以太网交换机还用于将来自所述多个通用端口单元中的第二通用端口单元的压缩数据发送给所述第一通用端口单元;
所述内部以太网接口还用于根据所述媒体控制单元的指令接收来自所述以太网交换机的所述压缩数据;
所述第一通用端口单元还包括:
解压缩模块,用于对所述内部以太网接口接收的所述压缩数据进行解压缩,得到与所述第二通用端口单元对应的第二终端的预定尺寸的图像;
第二媒体处理单元,用于将所述与所述第二通用端口单元对应的第二终端的预定尺寸的图像进行合成处理,得到所述第一终端所需的画面形式的合成图像;
编码模块,用于对所述合成图像进行压缩编码,得到与所述第一终端的类型相对应的压缩视频码流,并通过所述外部以太网接口发送给所述第一终端。
6.根据权利要求5所述的多点控制单元,其特征在于,所述压缩模块和所述解压缩模块使用浅压缩算法进行压缩和解压缩。
7.根据权利要求5所述的多点控制单元,其特征在于,所述第一通用端口单元还用于通过加入组播组的方式接收来自所述第二通用端口单元的对应于第二终端的压缩数据。
8.根据权利要求5至7中任一项所述的多点控制单元,其特征在于,所述第二终端为多个,所述第二通用端口单元为多个。
9.根据权利要求1所述的多点控制单元,其特征在于,所述视频处理单元为分层拓扑结构。
10.根据权利要求1至7中任一项所述的多点控制单元,其特征在于,各所述通用端口单元由处理芯片实现。
11.一种视频会议系统的多点控制单元的视频处理方法,其特征在于,包括:
第一通用端口单元通过以太网接口接收来自所述视频会议系统的终端的压缩视频数据;
所述第一通用端口单元对所述压缩视频数据进行解压缩,并将解压缩数据通过以太网接口发送给以太网交换机。
12.根据权利要求11所述的方法,其特征在于,还包括:
所述第一通用端口单元通过所述以太网交换机接收来自第二通用端口单元的解压缩数据;
所述第一通用端口单元按照所述终端的要求对所述解压缩数据进行处理,并将处理后的数据发送给所述终端。
CN 201010170172 2010-04-30 2010-04-30 视频会议系统的多点控制单元及其视频处理方法 Active CN101867767B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN 201010170172 CN101867767B (zh) 2010-04-30 2010-04-30 视频会议系统的多点控制单元及其视频处理方法
PCT/CN2010/077080 WO2011134228A1 (zh) 2010-04-30 2010-09-17 视频会议系统的多点控制单元及其视频处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201010170172 CN101867767B (zh) 2010-04-30 2010-04-30 视频会议系统的多点控制单元及其视频处理方法

Publications (2)

Publication Number Publication Date
CN101867767A true CN101867767A (zh) 2010-10-20
CN101867767B CN101867767B (zh) 2013-08-07

Family

ID=42959296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201010170172 Active CN101867767B (zh) 2010-04-30 2010-04-30 视频会议系统的多点控制单元及其视频处理方法

Country Status (2)

Country Link
CN (1) CN101867767B (zh)
WO (1) WO2011134228A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012151854A1 (zh) * 2011-08-08 2012-11-15 中兴通讯股份有限公司 视频数据传输方法及装置
CN102984599A (zh) * 2012-12-21 2013-03-20 中国电子科技集团公司第三十二研究所 基于RapidIO协议网络的视频采集传输装置及方法
CN105227547A (zh) * 2015-09-09 2016-01-06 重庆邮电大学 一种基于众核平台的流媒体流量发生系统
CN110430386A (zh) * 2019-07-26 2019-11-08 四川新东盛科技发展有限公司 一种基于云资源池技术的视频会议系统及其工作方法
CN113038183A (zh) * 2021-03-26 2021-06-25 苏州科达科技股份有限公司 基于多处理器系统的视频处理方法、系统、设备及介质
CN117319675A (zh) * 2023-11-28 2023-12-29 苏州元脑智能科技有限公司 服务器管理控制芯片的视频压缩系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1486046A (zh) * 2002-09-27 2004-03-31 记忆科技(深圳)有限公司 小型办公及家庭办公网关
CN1832569A (zh) * 2005-03-08 2006-09-13 华为技术有限公司 一种会议电视系统及会议电视实现方法
CN1849824A (zh) * 2003-10-08 2006-10-18 思科技术公司 用于执行分布式视频会议的系统和方法
US20070153712A1 (en) * 2006-01-05 2007-07-05 Cisco Technology, Inc. Method and architecture for distributed video switching using media notifications
US20080218585A1 (en) * 2007-03-09 2008-09-11 Polycom, Inc Appearance matching for videoconferencing
US20080259823A1 (en) * 2007-04-20 2008-10-23 Eisenberg Blane A Efficient Error Response in a Video Conferencing System

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6327276B1 (en) * 1998-12-22 2001-12-04 Nortel Networks Limited Conferencing over LAN/WAN using a hybrid client/server configuration
CN1190079C (zh) * 2002-03-29 2005-02-16 武汉邮电科学研究院 基于软交换的视频会议系统多点控制器

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1486046A (zh) * 2002-09-27 2004-03-31 记忆科技(深圳)有限公司 小型办公及家庭办公网关
CN1849824A (zh) * 2003-10-08 2006-10-18 思科技术公司 用于执行分布式视频会议的系统和方法
CN1832569A (zh) * 2005-03-08 2006-09-13 华为技术有限公司 一种会议电视系统及会议电视实现方法
US20070153712A1 (en) * 2006-01-05 2007-07-05 Cisco Technology, Inc. Method and architecture for distributed video switching using media notifications
US20080218585A1 (en) * 2007-03-09 2008-09-11 Polycom, Inc Appearance matching for videoconferencing
US20080259823A1 (en) * 2007-04-20 2008-10-23 Eisenberg Blane A Efficient Error Response in a Video Conferencing System

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012151854A1 (zh) * 2011-08-08 2012-11-15 中兴通讯股份有限公司 视频数据传输方法及装置
CN102984599A (zh) * 2012-12-21 2013-03-20 中国电子科技集团公司第三十二研究所 基于RapidIO协议网络的视频采集传输装置及方法
CN102984599B (zh) * 2012-12-21 2016-04-20 中国电子科技集团公司第三十二研究所 基于RapidIO协议网络的视频采集传输装置及方法
CN105227547A (zh) * 2015-09-09 2016-01-06 重庆邮电大学 一种基于众核平台的流媒体流量发生系统
CN105227547B (zh) * 2015-09-09 2018-10-12 重庆邮电大学 一种基于众核平台的流媒体流量发生系统
CN110430386A (zh) * 2019-07-26 2019-11-08 四川新东盛科技发展有限公司 一种基于云资源池技术的视频会议系统及其工作方法
CN113038183A (zh) * 2021-03-26 2021-06-25 苏州科达科技股份有限公司 基于多处理器系统的视频处理方法、系统、设备及介质
CN117319675A (zh) * 2023-11-28 2023-12-29 苏州元脑智能科技有限公司 服务器管理控制芯片的视频压缩系统
CN117319675B (zh) * 2023-11-28 2024-02-27 苏州元脑智能科技有限公司 服务器管理控制芯片的视频压缩系统

Also Published As

Publication number Publication date
WO2011134228A1 (zh) 2011-11-03
CN101867767B (zh) 2013-08-07

Similar Documents

Publication Publication Date Title
US11503250B2 (en) Method and system for conducting video conferences of diverse participating devices
CN101262587B (zh) 一种实现多画面视频会议的方法及多点控制单元
CN101594512B (zh) 实现高清多画面的终端、多点控制单元、系统及方法
CN101867767B (zh) 视频会议系统的多点控制单元及其视频处理方法
EP2214410B1 (en) Method and system for conducting continuous presence conferences
CN101370114B (zh) 视频及音频处理方法、多点控制单元和视频会议系统
US9596433B2 (en) System and method for a hybrid topology media conferencing system
CN101198008A (zh) 一种实现多屏多画面的方法和系统
US8885015B2 (en) Method and system for composing video images from a plurality of endpoints
CN101095350A (zh) 用于低延迟视频混合的方法和系统
CN102387338B (zh) 分布式视频处理方法及视频会议系统
CN101860714B (zh) 一种视频处理方法及其系统、mcu视频处理单元
CN111601068A (zh) 一种多mcu级联无中心视频会议的实现方法
CN101098244A (zh) 一种多点会议中媒体处理的方法和系统
CN103957391A (zh) 在可视对讲中多方通话时同时显示各方视频的方法及系统
CN100366080C (zh) 在会议电视系统中实现单画面和多画面切换的方法
KR100275930B1 (ko) 화상회의 시스템에서 복수의 픽쳐를 하나의 화면에 표시하기 위한 화면 형성방법
CN107172093A (zh) 一种视频会议数据处理方法及系统
JP2007043363A (ja) 映像送信装置、映像受信装置およびビデオ会議システム
CN115734028A (zh) 一种基于级联编码的媒体流推送方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant