CN101860714B - 一种视频处理方法及其系统、mcu视频处理单元 - Google Patents

一种视频处理方法及其系统、mcu视频处理单元 Download PDF

Info

Publication number
CN101860714B
CN101860714B CN 201010160688 CN201010160688A CN101860714B CN 101860714 B CN101860714 B CN 101860714B CN 201010160688 CN201010160688 CN 201010160688 CN 201010160688 A CN201010160688 A CN 201010160688A CN 101860714 B CN101860714 B CN 101860714B
Authority
CN
China
Prior art keywords
base band
video stream
band video
shallow
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN 201010160688
Other languages
English (en)
Other versions
CN101860714A (zh
Inventor
张中华
陈涛
李文
刘克华
刘书好
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN 201010160688 priority Critical patent/CN101860714B/zh
Priority to PCT/CN2010/076995 priority patent/WO2011134224A1/zh
Publication of CN101860714A publication Critical patent/CN101860714A/zh
Application granted granted Critical
Publication of CN101860714B publication Critical patent/CN101860714B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/152Multipoint control units therefor

Abstract

本发明公开了一种视频处理方法及其系统、MCU视频处理单元,以实现MCU视频处理单元之间交换基带视频流。该视频处理方法包括:浅编码子单元对待传输基带视频流进行浅压缩编码,得到浅压缩基带视频流并输出给基带视频流输出接口;基带视频流输出接口将所述浅编码子单元输出的所述浅压缩基带视频流发送给基带视频流集中交换单元;基带视频流输入接口从所述基带视频流集中交换单元中获取浅压缩基带视频流,并输出给浅解码子单元;浅解码子单元对所述基带视频流输入接口输出的浅压缩基带视频流进行浅解码,得到基带视频流。采用本发明技术方案,在MCU视频处理单元之间交换基带视频流过程中,降低能力处理资源的消耗,提高能力处理资源的利用率。

Description

一种视频处理方法及其系统、MCU视频处理单元
技术领域
本发明涉及多媒体通讯领域,尤其涉及一种应用于MCU(MultipointControl Unit,多点控制单元)的视频处理方法、一种应用于MCU的视频处理系统以及一种MCU视频处理单元。
背景技术
目前,视频会议系统主要用于召开远程会议、多点会议、实时会议等。在实现多点会议时,需要对视频数据和音频数据进行实时传输和交换;多点会议主要包括终端和MCU;在小型视频会议系统中,该视频会议系统主要由多个终端集中连接到同一个MCU上,以组成星型拓扑结构网络。上述提到的终端为用户端设备,配置有显示器、摄像机、扬声器、麦克风等多媒体部件;提到的MCU为系统端设备,主要用于集中对与其连接的各终端的多媒体信息进行交换和处理。
以一个如图1所示的视频会议系统为例,对现有技术进行视频处理的方法进行描述。
参见图1,为现有技术中一个具体的视频会议系统的视频通信示意图,该视频会议系统由终端1、终端2以及一个MCU视频处理单元MCU3组成,并且该两个终端都连接在该MCU3上,终端1与终端2可通过MCU3进行视频数据交换;终端1包括编码器11、解码器12、摄像机13以及显示器14,终端2包括编码器21、解码器22、摄像机23以及显示器24,MCU3包括第一解码器31、第一编码器32、第二解码器33、第二编码器34。
为更清楚、详细的描述现有技术对视频进行处理的方式,假设终端1为源终端,终端2为目标终端,以终端1向终端2发送视频数据为例进行详细描述。
在终端1向终端2传输视频数据时,包括以下步骤:
步骤一、终端1接收摄像机13发送的视频数据,该视频数据称为基带视频流。
一般情况下,该基带视频流的数据量很大,如高清视频格式1080P30(4:2:0)的基带视频流数据量为752Mbps(兆比特每秒),若不对该基带视频流进行压缩处理而直接通过网络传输将会占用很大的网络带宽。
步骤二、终端1通过编码器11对接收到的基带视频流进行压缩编码得到压缩视频流,对该基带视频流进行压缩编码所采用的速率、编码格式为终端1所支持的速率与编码格式,并将该压缩视频流发送给MCU3。
经过压缩编码之后得到的压缩视频流的数据量比基带视频流的数据量小很多,如高清视频格式1080P30(4:2:0)的压缩视频流数据量低于8Mbps;压缩视频流主要用于网络传输以减少在传输过程中占用的网络带宽,压缩视频流不能进行视频处理、显示等操作,只有将该压缩视频流进行解压缩之后所得到的基带视频流才能进行视频处理和显示等操作。
步骤三、MCU3通过第一解码器31,采用终端1所支持的速率与编码格式对接收到的压缩视频流进行解压缩编码,得到基带视频流;对该基带视频流进行相应的视频处理;以及,在视频处理结束之后,通过第一编码器32,采用终端2所支持的速率与编码格式对处理后的基带视频流进行压缩编码,得到压缩视频流并发送给终端2。
步骤四、终端2通过解码器22,采用终端2所支持的速率与编码格式对接收到的压缩视频流进行解压缩编码得到基带视频流,并在显示器24中显示该基带视频流。
同理,终端2向终端1传输视频数据的流程,与上述终端1向终端2传输视频数据的流程类似,在此不再赘述。
通过上述终端1与终端2之间的视频数据流程可以看出,网络条件不同各终端使用的传输速率也不同,多媒体部件不同各终端使用的视频格式(包括基带视频格式和压缩视频格式)也不同;因此,采用该视频处理方式,对MCU视频处理需要满足两个基本要求:一、进行速率匹配,以使传输速率不同的终端之间可以实现视频数据的交换;二、进行视频格式匹配,以使视频格式不同的终端之间可以实现视频数据的交换。目前,人们还需要对视频处理功能进行多画面的合成处理,即第三个基本要求,比如某一终端的显示器的显示屏中分成两个画面,分别显示终端1传输过来的视频数据与终端2传输过来的视频数据上显示两个画面,还可以根据需要在终端的显示器上显示多路画面(后续称为多画面视频流)。
目前,由于个性化和大容量的需求,对MCU的视频处理技术提出了两大要求:一、视频处理功能可以灵活实现,如UP(Universal Port,通用端口)功能,即参加视频会议的各终端可以自由选择不同的视频格式和传输速率、多画面数目与形式以及视频内容;二、视频处理容量可以线性扩展,所谓线性扩展通常是指系统结构不变而系统规模和复杂度只随着单元模块的增加而线性增加,这样才可以方便地扩展系统容量。
实现速率匹配或格式匹配功能的步骤是:先对源终端过来的压缩视频流按其速率、格式定义进行解码,得到基带视频流,然后按目的终端的速率、格式要求进行编码,得到压缩视频流后发送给目的终端。实现多画面功能的步骤是:MCU视频处理单元首先对多个源终端发送的多个压缩视频流进行解码,得到多个基带视频流;再对该多个基带视频流分别进行缩放,得到多个小画面基带视频流;再将该多个小画面基带视频流合成一个正常大小画面基带视频流;最后对该合成得到的小画面基带视频流进行压缩编码,将得到的压缩视频流发送给目的终端。由此可见实现视频处理功能的步骤,可以分解归纳为四个:一、解码,二、编码,三、缩放,四、合成。视频处理的三个基本功能都可以由这四个步骤组合完成。视频处理的四个步骤,通常在各种处理器芯片上执行,都需要耗费大量的处理器能力资源,但各步骤所耗费的处理器能力资源大小还是不同的,这个跟其算法复杂度有关,比如高清视频格式1080P30(4:2:0),其编码∶解码∶缩放∶合成的耗费的处理能力资源的比例为32∶8∶1∶1。
上述步骤通常在各种处理器芯片上执行,需要耗费大量的处理器能力资源,由于在终端以及MCU端都需要对视频数据进行编码或/和解码等操作,因此会耗费较长的时间,引入较大的延时(这是一种以时间换空间的做法,即增加传输处理时间,减少传输带宽空间),降低了视频传输的实时性。
参见图2,为现有技术的MCU视频处理单元的结构示意图,该MCU视频处理单元包括压缩视频流输入接口201、压缩视频流输出接口202、解码子单元203、编码子单元204、缩放子单元205以及合成子单元206。如图3所示,每个MCU视频处理单元都包括一个压缩视频流输入接口与压缩视频流输出接口,并且该多个MCU视频处理单元通过各自的压缩视频流输入接口和输出接口集中连接到压缩视频流集中交换单元上,以组成星型拓扑结构网络,方便各MCU视频处理单元与其他MCU视频处理单元或其他功能单元之间交换压缩视频流。
现有的视频传输方式存在以下技术缺陷:
各MCU视频处理单元之间无法或难以直接交换基带视频流,MCU视频处理单元内部的各子单元之间交换的是基带视频流,而各MCU视频处理单元通过压缩视频流集中交换单元只能交换压缩视频流而不能交换基带视频流,因此,当多个MCU视频处理单元需要同一个终端发送的视频数据时,都需要从压缩视频流集中交换单元获取该终端发送的压缩视频流,并对该压缩视频流进行解压缩编码以得到基带视频流,由于每个MCU视频处理单元都需要执行解压缩编码的步骤,因此,消耗的处理能力资源较大。例如,20个MCU视频处理单元集中连接在压缩视频集中交换单元上,每个MCU视频处理单元都需要终端1的视频数据时,针对每一个MCU视频处理单元,从压缩视频流集中交换单元中获取终端1的压缩视频流,并对该压缩视频流进行解压缩编码之后发送给该MCU视频处理单元的各子单元,采用该种方式,相当于每一个MCU视频处理单元都需要对同一个压缩视频流进行解压缩编码,对同一终端的压缩视频流进行20次解压缩编码操作,由于对压缩视频流进行解压缩编码消耗的处理能力资源较大,因此,在处理能力资源有限时将可能导致其他功能无法实现。
发明内容
本发明提供一种视频处理的方法及其系统、MCU视频处理单元,以实现在不同的MCU视频处理单元之间进行基带视频流的交换,降低能力处理资源的消耗,提高能力处理资源的利用率。
一种多点控制单元MCU视频处理单元,包括:浅编码子单元、基带视频流输出接口、基带视频流输入接口和浅解码子单元,其中:
浅编码子单元,用于对待传输基带视频流进行浅压缩编码,得到浅压缩基带视频流并输出,其中,浅编码是对普通的编码进行简化获得,所述浅压缩基带视频流的数据量比基带视频流的数据量小,比该基带视频流进行普通压缩后的压缩视频流的数据量大;
基带视频流输出接口,用于将所述浅编码子单元输出的浅压缩基带视频流发送给基带视频流集中交换单元;
基带视频流输入接口,用于从所述浅压缩基带视频流集中交换单元中获取浅压缩基带视频流;
浅解码子单元,用于对所述基带视频流输入接口获取的所述浅压缩基带视频流进行浅解码,浅解码是对普通的解码进行简化获得。
一种利用上述MCU视频处理单元的视频处理方法,包括:
浅编码子单元对待传输基带视频流进行浅压缩编码,得到浅压缩基带视频流并输出给基带视频流输出接口;
基带视频流输出接口将所述浅编码子单元输出的所述浅压缩基带视频流发送给基带视频流集中交换单元,其中,浅编码是对普通的编码进行简化获得,所述浅压缩基带视频流的数据量比基带视频流的数据量小,比该基带视频流进行普通压缩后的压缩视频流的数据量大;
基带视频流输入接口从所述基带视频流集中交换单元中获取浅压缩基带视频流,并输出给浅解码子单元;
浅解码子单元对所述基带视频流输入接口输出的浅压缩基带视频流进行浅解码,得到基带视频流,浅解码是对普通的解码进行简化获得。
一种视频处理系统,包括基带视频流集中交换单元、多个集中连接到所述基带视频流集中交换单元上的多点控制单元MCU视频处理单元,其中:
所述基带视频流集中交换单元,用于接收并存储所述多个MCU视频处理单元发送的浅压缩基带视频流,所述浅压缩基带视频流的数据量比基带视频流的数据量小,比该基带视频流进行普通压缩后的压缩视频流的数据量大;
MCU视频处理单元,用于对待传输基带视频流进行浅压缩编码,得到浅压缩基带视频流,并将该浅压缩基带视频流发送给所述基带视频流集中交换单元,其中,浅编码是对普通的编码进行简化获得;以及,用于从所述基带视频流集中交换单元中获取浅压缩基带视频流,并对该浅压缩基带视频流进行浅解码得到基带视频流,其中,浅解码是对普通的解码进行简化获得。
本发明实施例中,MCU视频处理单元对待传输基带视频流进行浅压缩编码,得到浅压缩基带视频流,并将该浅压缩基带视频流发送给与该MCU视频处理单元相连接的基带视频流集中交换单元;MCU视频处理单元从基带视频流集中交换单元中获取浅压缩基带视频流,并对该浅压缩基带视频流进行浅解码。采用本发明技术方案,由于MCU视频处理单元将基带视频流进行浅压缩编码之后得到的浅压缩基带视频流发送给基带视频流集中交换单元,以便其他MCU视频处理单元从该基带视频流交换单元中获取该浅压缩基带视频流并进行浅解码之后即可得到上述基带视频流,从而实现了MCU视频处理单元实现基带视频流的交换;与现有技术中,MCU视频处理单元将待传输基带视频流进行压缩编码之后得到压缩视频流,并将该压缩视频流传输给压缩视频流集中交换单元,以供其他MCU视频处理单元获取该压缩视频流,并对该压缩视频流进行解码之后得到待传输基带视频流相比,本发明技术方案降低能力处理资源的消耗,提高能力处理资源的利用率。
附图说明
图1为现有技术中视频会议系统视频通信的示意图;
图2为现有技术中MCU视频处理单元的结构示意图;
图3为现有技术中MCU视频处理单元之间的互联结构示意图;
图4为本发明实施例中MCU视频处理单元的结构示意图;
图5为本发明实施例中MCU视频处理单元之间的互联结构示意图;
图6a为本发明实施例中实现MCU视频处理单元之间进行压缩视频流的交换流程图;
图6b为本发明实施例中MCU视频处理单元之间进行基带视频流的交换流程图;
图7为本发明实施例中实现视频会议系统的具体结构示意图;
图8为本发明实施例中利用图7所示的系统实现MCU视频处理单元之间基带视频流的交换流程图。
具体实施方式
为解决现有技术存在的技术问题,本发明实施例提供一种视频处理的方法及其装置,该视频处理方法主要为:多个MCU视频处理单元集中连接在一个基带视频流集中交换单元上,该基带视频流集中交换单元用于接收并存储该多个MCU视频处理单元发送的基带视频流;MCU视频处理单元将待传输基带视频流转换成该多个MCU视频处理单元都统一支持的传输速率、视频格式,并将格式转换后的基带视频流发送给基带视频流集中交换单元,以供其他MCU视频处理单元或其他功能单元从该基带视频流集中交换单元中获取该基带视频流。较佳地,由于在实际应用中,有些系统的传输、交换的带宽不充足,为保证基带视频流的可靠传输,本发明技术方案,MCU视频处理单元对待传输基带视频流进行浅压缩编码,得到浅压缩基带视频流,并将该浅压缩基带视频流发送给与该MCU视频处理单元相连接的基带视频流集中交换单元,以供其他MCU视频处理单元从基带视频流集中交换单元中获取该浅压缩基带视频流;当MCU视频处理单元需要基带视频流时,从基带视频流集中交换单元中获取浅压缩基带视频流,并对该浅压缩基带视频流进行浅解码即可得到基带视频流。采用本发明技术方案,当多个MCU视频处理单元需要同一基带视频流时,只需要对浅压缩基带视频流进行多次浅解码操作即可,与现有技术中当多个MCU视频处理单元需要同一个基带视频流时还需要对同一压缩视频流进行多个解码操作相比,降低能力处理资源的消耗,提高能力处理资源的利用率。
首先来说明一下本发明涉及到的技术术语。
浅压缩编解码算法,是指通过对普通的压缩编解码算法(如H.263或H.264)进行简化而得到的一种编解码算法,该浅压缩编解码算法必须满足压缩数据量和引入编码时延的要求,如:对格式为1080P30(4:2:0)的高清视频流进行浅压缩编码,要求压缩数据量减少为12Mbps以下,引入编码延时小于或等于30毫秒。
浅压缩基带视频流,是指将基带视频流通过上述浅压缩编解码算法进行压缩编码处理之后所得到的基带视频流,该浅压缩基带视频流的数据量比基带视频流进行浅压缩前的数据量小,比该基带视频流进行普通压缩后的压缩视频流的数据量大。
MCU视频处理单元,是指MCU中的用于处理视频的一个功能单元,该功能单元为粒度大小适当、能够独立完成各种形式的视频处理功能的功能单元,视不同项目的设计要求,根据要求MCU视频处理单元需要处理的速率匹配数目、格式匹配数目以及画面数目等因素来设置该MCU视频处理单元的粒度。
压缩视频流集中交换单元,用于接收并存储各MCU视频处理单元上传的压缩视频流;以及,将压缩视频流下发给需要该压缩视频流的MCU视频处理单元。
基带视频流集中交换单元,用于接收并存储各MCU视频处理单元上传的浅压缩基带视频流;以及,将浅压缩基带视频流下发给需要该浅压缩基带视频流的MCU视频处理单元。
多个MCU视频处理单元集中连接到压缩视频流集中交换单元和基带视频流集中交换单元上,组成星型拓扑结构网络;为实现容量的线性扩展,该多个MCU视频处理单元可组成视频处理单板,多个视频处理单板可组成视频处理机框;多个视频处理机框可组成视频处理机柜。上述基带视频流集中交换单元与压缩视频流集中交换单元设置为适用于各级的交换单元,适用于视频处理单板间、视频处理机框间、视频处理机柜间的互联,以更好的实现容量线性扩展。
下面结合说明书附图对本发明技术方案进行详细的描述。
参见图4,为本发明实施例中MCU视频处理单元的结构示意图,该MCU视频处理单元是在现有的MCU视频处理单元基础上进行了改进,在MCU视频处理单元4中增加了基带视频流输出接口42、浅编码子单元48、基带视频流输入接口43和浅解码子单元49。该MCU视频处理单元4还包括缩放子单元46、合成子单元47、压缩视频流输入接口40、压缩视频流输出接口41、解码子单元44以及编码子单元45。
其中,MCU视频处理单元4通过基带视频流输出接口42将浅压缩基带视频流发送给基带视频流集中交换单元,以供其他MCU视频处理单元或其他功能单元从基带视频流集中交换单元中获取该浅压缩基带视频流;通过基带视频流输入接口43从基带视频流集中交换单元中获取其他MCU视频处理单元或其他功能单元发送的浅压缩基带视频流;通过压缩视频流输入接口40从压缩视频流集中交换单元中获取其他MCU视频处理单元或其他功能单元发送的压缩视频流;通过压缩视频流输出接口41将接收到的压缩视频流发送给压缩视频流集中交换单元,以供其他MCU视频处理单元或其他功能单元从该压缩视频流集中交换单元中获取该压缩视频流。
解码子单元44,用于对压缩视频流输入接口40获取的压缩视频流进行解压缩编码,得到基带视频流。
编码子单元45,用于对待传输基带视频流进行压缩编码得到压缩视频流,并将该压缩视频流通过压缩视频流输出接口41发送给压缩视频流集中交换单元。
浅编码子单元48,用于采用浅压缩编解码算法,对待传输基带视频流进行浅压缩编码得到浅压缩基带视频流,并将该浅压缩基带视频流通过基带视频流输出接口42发送给基带视频流集中交换单元。
浅解码子单元49,用于采用浅压缩编解码算法,对基带视频流输入接口43获取的浅压缩基带视频流进行浅解码,得到基带视频流。
缩放子单元46,用于对在浅编码子单元48对待传输基带视频流进行浅压缩编码之前,对该待传输基带视频流进行缩放处理,得到设定大小的小画面基带视频流,并将该小画面基带视频流发送给浅编码子单元48,该小画面基带视频流的大小根据用户终端设置的画面数目、形式确定。
缩放子单元46还可以对解码子单元44输出的基带视频流进行缩放处理得到大小设定的小画面基带视频流;还可以是对浅解码子单元49浅解码得到基带视频流进行缩放处理,得到大小设定的小画面基带视频流。
合成子单元47,用于从缩放子单元46或浅解码子单元49获取多个小画面基带视频流,并对该多个小画面基带视频流进行合成处理,得到基带视频流并发送。
上述浅编码子单元48或浅解码子单元49所采用的浅压缩编解码算法可通过对普通的压缩编解码算法H.263或H.264进行简化得到。
参见图5,为本发明实施例中多个MCU视频处理单元互联的结构示意图,图5中,多个MCU视频处理单元分别通过各自的压缩视频流输入接口和压缩视频流输出接口集中连接到压缩视频流集中交换单元上,以组成星型拓扑结构网络,方便各MCU视频处理单元与其他MCU视频处理单元或其他功能单元之间交换压缩视频流;并且,该多个MCU视频处理单元分别通过各自的基带视频流输入接口与基带视频流输出接口集中连接在基带视频流集中交换单元上,以组成星型拓扑结构网络,方便各MCU视频处理单元与其他MCU视频处理单元或其他功能单元之间交换浅压缩基带视频流。
下面通过多个流程图,来对MCU视频处理单元与其他MCU视频处理单元或其他功能单元之间进行压缩视频流交换的流程、浅压缩基带视频流交换的流程进行详细的描述。
参见图6a,为本发明实施例中实现MCU视频处理单元与其他MCU视频处理单元或其他功能单元之间进行压缩视频流的交换流程图,该方法包括步骤:
当MCU视频处理单元需要获取基带视频流时,执行以下步骤601~602;当MCU视频处理单元需要发送基带视频流时,执行步骤603~604,以便其他MCU视频处理单元或其他功能单元使用该基带视频流。
步骤601、MCU视频处理单元通过其压缩视频流输入接口,从压缩视频流集中交换单元中获取其他MCU视频处理单元或其他功能单元发送的压缩视频流。
步骤602、MCU视频处理单元通过解码子单元,对获取的压缩视频流进行解码得到基带视频流,以供该MCU视频处理单元中的各子单元使用。
步骤603、MCU视频处理单元通过编码子单元,对待传输基带视频流进行压缩编码得到压缩视频流。
步骤604、MCU视频处理单元通过压缩视频流输出接口,将步骤603得到的压缩视频流发送给压缩视频流集中交换单元,以便其他MCU视频处理单元或其他功能单元使用该压缩视频流。
参见6b,为本发明实施例中实现MCU视频处理单元之间,或MCU视频处理单元与其他功能单元之间进行基带视频流的交换流程图,该方法包括步骤:
当MCU视频处理单元需要从其他MCU视频处理单元或其他功能单元获取基带视频流时,执行步骤605~606;当MCU视频处理单元需要发送基带视频流,以供其他MCU视频处理单元或其他功能单元使用时,执行步骤607~608。
步骤605、MCU视频处理单元通过基带视频流输入接口,从基带视频流集中交换单元中获取其他MCU视频处理单元或其他功能单元发送的浅压缩基带视频流。
步骤606、MCU视频处理单元通过浅解码子单元,对步骤605获取到的浅压缩基带视频流进行浅解码得到基带视频流,以便该MCU视频处理单元中的子单元使用该基带视频流。
步骤607、MCU视频处理单元通过浅编码子单元,对待传输的基带视频流进行浅压缩编码得到浅压缩基带视频流。
步骤608、MCU视频处理单元通过基带视频流输出接口,将步骤607得到的浅压缩基带视频流发送给基带视频流集中交换单元,以便其他MCU视频处理单元或其他功能单元使用该浅压缩基带视频流。
可选地,若MCU视频处理单元对其他功能单元发送的基带视频流或者从其他MCU视频处理单元获取到的基带视频流进行缩放处理,缩放成小画面基带视频流时,上述图6a、图6b所示的流程还包括步骤609:
步骤609,MCU视频处理单元的缩放子单元将基带视频流缩放成设定大小的小画面基带视频流。
可选地,若MCU处理子单元需要对缩放子单元或浅解码子单元得到的多个小画面基带视频流进行合成处理时,上述步骤609之后还包括步骤:
步骤610、MCU视频处理单元的合成子单元从缩放子单元或浅解码子单元获取多路小画面基带视频流,并对该多路小画面基带视频流进行合成处理,得到大小设定的多画面基带视频流。
较佳地,若多个MCU视频处理单元都需要相同内容、相同数目的多画面时,为提高获取多画面基带视频流的速率,上述步骤610之后还包括:
步骤611、MCU视频处理单元的浅编码子单元对该合成子单元得到的多画面基带视频流进行浅压缩编码,得到浅压缩基带视频流,并将该浅压缩基带视频流发送给基带视频流集中交换单元,以供其他MCU视频处理单元或其他功能单元使用。
较佳地,若多个MCU视频处理单元都需要获取同一终端发送的基带视频流时,可通过以下步骤获取该终端发送的基带视频流:步骤1、由该多个MCU视频处理单元中的某一个MCU视频处理单元执行上述步骤601~602,将该终端发送的压缩视频流转换成基带视频流;该MCU视频处理单元再通过执行步骤607~608,将该基带视频流进行浅压缩编码得到浅压缩基带视频流,并将该浅压缩基带视频流发送给基带视频流集中交换单元;其他的MCU视频处理单元分别通过执行上述步骤605~606,从基带视频流集中交换单元中获取该浅压缩基带视频流,并将对该浅压缩基带视频流进行浅解码得到基带视频流。
较佳地,若多个MCU视频处理单元都需要获取同一终端的缩小画面基带视频流时,可通过以下步骤获取该终端的缩小画面基带视频流:步骤1、由该多个MCU视频处理单元中的某一个MCU视频处理单元执行上述步骤601~602,将该终端发送的压缩视频流转换成基带视频流;该MCU视频处理单元通过执行上述步骤609~610,将该基带视频流缩放成大小设定大小的小画面基带视频流,并将该小画面基带视频流浅压缩编码成基带视频流;该MCU视频处理单元再通过执行步骤608,将该浅压缩基带视频流发送给基带视频流集中交换单元;其他的MCU视频处理单元分别通过执行上述步骤605~606,从基带视频流集中交换单元中获取该浅压缩基带视频流,并将对该浅压缩基带视频流进行浅解码得到基带视频流。
本发明实施例还提供一种视频处理系统,该系统包括基带视频流集中交换单元、多个集中连接到所述基带视频流集中交换单元上的MCU视频处理单元,其中:
基带视频流集中交换单元,用于接收并存储该多个MCU视频处理单元发送的浅压缩基带视频流;
MCU视频处理单元,用于将获得的待传输基带视频流进行浅压缩编码,得到浅压缩基带视频流,并将该浅压缩基带视频流发送给所述基带视频流集中交换单元。
该多个MCU视频处理单元中的任意一个或多个MCU视频处理单元从基带视频流集中交换单元中获取所述浅压缩基带视频流,并对该浅压缩基带视频流进行浅解码,得到所述待传输基带视频流。
较佳地,在实际应用中,可通过千兆以太网芯片来实现基带视频流集中交换单元与压缩视频流集中交换单元,即本发明实施例中的基带视频流集中交换单元与压缩视频流集中交换单元为千兆以太网芯片。
较佳地,MCU视频处理单元可通过多个DSP芯片来实现,并且每个DSP芯片包括视频接口与千兆以太网接口;该多个DSP芯片分别通过各自的千兆以太网接口与所述千兆以太网芯片连接,且该多个DSP芯片依次通过视频接口首尾相连,组成菊花链形状。
结合实际应用,下面以一具体的应用实例对本发明技术方案的实现进行详细的描述。
每个MCU视频处理单元包括多个DSP(Digital Signal Process,数字信号处理)芯片,由于不同类型的DSP芯片的处理能力、接口资源不相同,因此,本领域技术人员可根据MCU视频处理单元的粒度选取相应数量与不同类型的DSP芯片组成MCU视频处理单元;本发明实施例中以一个具体的实例对视频处理系统的结构进行详细的描述,该系统的结构如图7所示。
参见图7,为本发明实施例中视频处理系统的具体结构示意图,该视频处理系统包括千兆以太网交换芯片71、多个MCU视频处理单元72,其中:
千兆网以太网交换芯片71,用于实现压缩视频流集中交换单元和基带视频流集中交换单元的功能。
MCU视频处理单元72由四片DSP芯片(分别为DSP1芯片、DSP2芯片、DSP3芯片、DSP4芯片)组成,每片DSP芯片都包含有千兆以太网接口和视频接口;DSP1芯片、DSP2芯片、DSP3芯片、DSP4芯片依次通过视频接口相连,该四片DSP芯片的视频接口首尾相连组成菊花链形状,通过视频接口传输基带视频流来实现视频处理单元内部的基带视频流的传输;DSP1芯片、DSP2芯片、DSP3芯片、DSP4芯片分别通过各自的千兆以太网接口集中连接到千兆以太网交换芯片上,组成星型拓扑结构网络,并通过千兆以太网接口与其他MCU视频处理单元或其他功能单元(如网络收发单元)交换压缩视频流和基带视频流。
MCU视频处理单元72中的每个DSP芯片都可以实现解码子单元、编码子单元、缩放子单元、合成子单元、浅解码子单元以及浅编码子单元所要实现的功能;DSP芯片的千兆以太网接口可实现前述压缩视频流输出/输入接口以及基带视频流输出/输入接口所能实现的功能。
下面以一具体的实例对如图8所示的系统进行视频处理的方式进行详细的描述。
该实例中,包括20个终端参加视频会议,并且每一个终端都具有UP功能,即每个终端可以是速率不同、视频格式不同的高清终端,并且每个终端的显示器显示的画面数目为16,该20个终端所支持的视频格式都为H.264 1080P30,以终端1为例进行说明。
参见图8,为本发明实施例中应用如图8所示系统进行视频处理的方法流程,该流程包括以下步骤:
步骤801、MCU视频处理单元中的DSP1芯片通过其千兆以太网接口从千兆以太网交换芯片中获取终端1发送的高清压缩视频流,如高清压缩视频流的视频格式为H.2641080P30,该压缩视频流的数据量低于8Mbps。
步骤802、DSP1芯片对获取到的压缩视频流进行解码,得到基带视频流,并将该基带视频流缩放成设定大小的小画面基带视频流。
步骤803、DSP1芯片采用浅压缩编解码算法,对步骤902得到的小画面基带视频流进行浅压缩编码,得到浅压缩基带视频流(如该浅压缩基带视频流的数据量低于4Mbps),并将该浅压缩基带视频流通过千兆以太网口多播到千兆以太网交换芯片上,以供其他MCU视频处理单元使用该小画面基带视频流。
步骤804、DSP2芯片从千兆网以太网交换芯片中获取其他MCU视频处理单元上传的n1(n1<16)路小画面的浅压缩基带视频流,并分别对该n1路浅压缩基带视频流进行浅解码,得到n1路小画面基带视频流。
步骤805、DSP2芯片对该n1路小画面基带视频流进行合成,并将合成后的基带视频流通过视频接口发送给DSP3芯片。
步骤806、DSP3芯片从千兆以太网交换芯片中获取其他MCU视频处理单元发送的n2(n2<16,且n1+n2=16)路小画面浅压缩基带视频流,并对该n2路浅压缩基带视频流进行解码,得到n2路小画面基带视频流。
步骤807、DSP3芯片对DSP2芯片发送的n1路小画面基带视频流与n2路小画面基带视频流进行合成,得到16路画面的基带视频流,并通过视频接口将该16画面的基带视频流发送给DSP4芯片。
步骤808、DSP4芯片通过视频接口接收该16路画面的基带视频流,并对该16路画面的基带视频流进行压缩编码,得到高清压缩视频流,并通过千兆以太网接口将该高清压缩视频流发送给终端1。
上述方法流程是指一个具体的实现方式,还可以有很多其他的实现方式,如:不仅限于DSP1芯片获取终端1的高清压缩视频流,还可以是DSP2芯片、DSP3芯片或DSP4芯片来获取终端1的高清压缩视频流以及进行后续的解码、浅压缩等操作;不仅限于DSP2芯片与DSP3芯片从千兆以太网交换芯片上获取小画面浅压缩基带视频流,还可以是DSP1芯片和DSP2芯片,或DSP1芯片和DSP3芯片,或DSP1芯片和DSP4芯片,或DSP1芯片、DSP2芯片和DSP3芯片,或DSP1芯片、DSP2芯片和DSP4芯片,或DSP2芯片、DSP3芯片和DSP4芯片,或DSP1芯片、DSP2芯片、DSP3芯片和DSP4芯片来获取小画面浅压缩基带视频流,实现方式多种多样,本领域技术人员可根据实际应用进行相应的设置。
采用本发明实施例提供的视频处理方法和装置,不仅解决了各MCU视频处理单元之间无法或难以交换基带视频流的问题,而且对视频处理的实现更灵活、对视频处理的容量可线性扩展。以20个MCU视频处理单元为例,若该20个MCU视频处理单元都需要终端1的视频数据时,采用本发明技术方案,只需要其中一个MCU视频处理单元从压缩视频流集中交换单元中获取终端1的压缩视频流,并将该压缩视频流进行解码后得到基带视频流;该MCU视频处理单元将该基带视频流进行浅压缩编码得到浅压缩基带视频流;该MCU视频处理单元将该浅压缩基带视频流通过基带视频流输出接口发送给基带视频流集中交换单元;其他19个MCU视频处理单元分别从基带视频流集中交换单元中获取该浅压缩基带视频流,并对该浅压缩基带视频流进行浅解码得到基带视频流;采用本发明技术方案,只需要对终端1的压缩视频流进行一次解码、一次浅压缩编码以及19次浅解码步骤即可,与现有技术需要对终端1的压缩视频流进行20次解码操作相比,提高了基带视频流的获取速率,节省了能力处理资源。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (7)

1.一种多点控制单元MCU视频处理单元,其特征在于,包括:浅编码子单元、基带视频流输出接口、基带视频流输入接口和浅解码子单元,其中:
浅编码子单元,用于对待传输基带视频流进行浅压缩编码,得到浅压缩基带视频流并输出,其中,浅编码是对普通的编码进行简化获得,所述浅压缩基带视频流的数据量比基带视频流的数据量小,比该基带视频流进行普通压缩后的压缩视频流的数据量大;
基带视频流输出接口,用于将所述浅编码子单元输出的浅压缩基带视频流发送给基带视频流集中交换单元;
基带视频流输入接口,用于从所述基带视频流集中交换单元中获取浅压缩基带视频流;
浅解码子单元,用于对所述基带视频流输入接口获取的所述浅压缩基带视频流进行浅解码,浅解码是对普通的解码进行简化获得。
2.如权利要求1所述的MCU视频处理单元,其特征在于,还包括与所述浅编码子单元相连接的缩放子单元:
缩放子单元,用于在所述浅编码子单元对所述待传输基带视频流进行浅压缩编码之前,对所述待传输基带视频流进行缩放处理,得到设定大小的小画面基带视频流,并将该小画面基带视频流发送给浅编码子单元,所述小画面基带视频流的大小根据用户终端设置的画面数目、形式确定;
所述浅编码子单元进一步用于,对所述缩放子单元发送的小画面基带视频流进行浅压缩编码得到小画面基带视频流,并将该小画面基带视频流发送给基带视频流集中交换单元。
3.如权利要求2所述的MCU视频处理单元,其特征在于,还包括分别与所述缩放子单元和浅解码子单元相连接的合成子单元:
合成子单元,用于从缩放子单元或浅解码子单元获取多个小画面基带视频流,并对该多个小画面基带视频流进行合成处理,得到基带视频流并发送。
4.一种利用权利要求1所述MCU视频处理单元的视频处理方法,其特征在于,包括:
浅编码子单元对待传输基带视频流进行浅压缩编码,得到浅压缩基带视频流并输出给基带视频流输出接口,其中,浅编码是对普通的编码进行简化获得,所述浅压缩基带视频流的数据量比基带视频流的数据量小,比该基带视频流进行普通压缩后的压缩视频流的数据量大;
基带视频流输出接口将所述浅编码子单元输出的所述浅压缩基带视频流发送给基带视频流集中交换单元;
基带视频流输入接口从所述基带视频流集中交换单元中获取浅压缩基带视频流,并输出给浅解码子单元;
浅解码子单元对所述基带视频流输入接口输出的浅压缩基带视频流进行浅解码,得到基带视频流,浅解码是对普通的解码进行简化获得。
5.如权利要求4所述的方法,其特征在于,还包括步骤:
缩放子单元在所述浅编码子单元对所述待传输基带视频流进行浅压缩编码之前,对所述待传输基带视频流进行缩放处理,得到设定大小的小画面基带视频流,并将该小画面基带视频流发送给浅编码子单元,所述小画面基带视频流的大小根据用户终端设置的画面数目、形式确定;
所述浅编码子单元对所述缩放子单元发送的小画面基带视频流进行浅压缩编码得到小画面基带视频流,并将该小画面基带视频流发送给基带视频流集中交换单元。
6.如权利要求5所述的方法,其特征在于,还包括步骤:
合成子单元从缩放子单元或浅解码子单元获取多个小画面基带视频流,并对该多个小画面基带视频流进行合成处理,得到基带视频流并发送。
7.一种视频处理系统,其特征在于,包括基带视频流集中交换单元、多个集中连接到所述基带视频流集中交换单元上的多点控制单元MCU视频处理单元,其中:
所述基带视频流集中交换单元,用于接收并存储所述多个MCU视频处理单元发送的浅压缩基带视频流,所述浅压缩基带视频流的数据量比基带视频流的数据量小,比该基带视频流进行普通压缩后的压缩视频流的数据量大;
MCU视频处理单元,用于对待传输基带视频流进行浅压缩编码,得到浅压缩基带视频流,并将该浅压缩基带视频流发送给所述基带视频流集中交换单元,其中,浅编码是对普通的编码进行简化获得;以及,用于从所述基带视频流集中交换单元中获取浅压缩基带视频流,并对该浅压缩基带视频流进行浅解码得到基带视频流,其中,浅解码是对普通的解码进行简化获得。
CN 201010160688 2010-04-29 2010-04-29 一种视频处理方法及其系统、mcu视频处理单元 Active CN101860714B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN 201010160688 CN101860714B (zh) 2010-04-29 2010-04-29 一种视频处理方法及其系统、mcu视频处理单元
PCT/CN2010/076995 WO2011134224A1 (zh) 2010-04-29 2010-09-16 一种视频处理方法及其系统、mcu视频处理单元

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201010160688 CN101860714B (zh) 2010-04-29 2010-04-29 一种视频处理方法及其系统、mcu视频处理单元

Publications (2)

Publication Number Publication Date
CN101860714A CN101860714A (zh) 2010-10-13
CN101860714B true CN101860714B (zh) 2013-07-03

Family

ID=42946317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201010160688 Active CN101860714B (zh) 2010-04-29 2010-04-29 一种视频处理方法及其系统、mcu视频处理单元

Country Status (2)

Country Link
CN (1) CN101860714B (zh)
WO (1) WO2011134224A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102364945B (zh) * 2011-11-28 2014-06-11 杭州海康威视数字技术股份有限公司 多画面图像解码显示的方法及其视频监控终端
CN103313028A (zh) * 2013-06-28 2013-09-18 成都思迈科技发展有限责任公司 一种视频会议终端
CN103313029A (zh) * 2013-06-28 2013-09-18 成都思迈科技发展有限责任公司 一种用于视频会议的终端
CN104427377B (zh) * 2013-09-09 2018-05-18 杭州海康威视数字技术股份有限公司 多类型业务的点对点光端机
CN105992000B (zh) * 2015-03-06 2019-03-22 扬智科技股份有限公司 影像流的处理方法及其影像处理装置
CN110430383B (zh) * 2019-08-06 2021-04-09 聚好看科技股份有限公司 终端、信令服务器、音视频通信方法及计算机存储介质
CN111901680B (zh) * 2020-05-10 2022-06-21 天地阳光通信科技(北京)有限公司 多媒体数据处理方法、装置及服务器
CN113038183B (zh) * 2021-03-26 2023-03-17 苏州科达科技股份有限公司 基于多处理器系统的视频处理方法、系统、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1466384A (zh) * 2002-06-19 2004-01-07 华为技术有限公司 视讯系统中的图像分层编码和交换方法
CN101341746A (zh) * 2005-12-22 2009-01-07 维德约股份有限公司 用于使用可缩放视频编码和合成可缩放视频会议服务器进行视频会议的系统和方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7492387B2 (en) * 2002-08-05 2009-02-17 Chih-Lung Yang Implementation of MPCP MCU technology for the H.264 video standard

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1466384A (zh) * 2002-06-19 2004-01-07 华为技术有限公司 视讯系统中的图像分层编码和交换方法
CN101341746A (zh) * 2005-12-22 2009-01-07 维德约股份有限公司 用于使用可缩放视频编码和合成可缩放视频会议服务器进行视频会议的系统和方法

Also Published As

Publication number Publication date
CN101860714A (zh) 2010-10-13
WO2011134224A1 (zh) 2011-11-03

Similar Documents

Publication Publication Date Title
CN101860714B (zh) 一种视频处理方法及其系统、mcu视频处理单元
CN101257607B (zh) 一种应用于视频会议的多画面处理系统和方法
KR100880150B1 (ko) 멀티 포인트 화상회의 시스템 및 해당 미디어 프로세싱방법
KR101081803B1 (ko) 상주 컨퍼런스 생성 방법 및 시스템
KR101205386B1 (ko) 오디오 처리 방법, 시스템 및 제어 서버
CN101262587B (zh) 一种实现多画面视频会议的方法及多点控制单元
US20060168637A1 (en) Multiple-channel codec and transcoder environment for gateway, MCU, broadcast and video storage applications
CN102387338B (zh) 分布式视频处理方法及视频会议系统
CN101895718B (zh) 视频会议系统多画面广播方法及其装置和系统
CN101594512A (zh) 实现高清多画面的终端、多点控制单元、系统及方法
CN101646056B (zh) 实现视频会议和数据会议协同工作的方法、装置及系统
CN101198008A (zh) 一种实现多屏多画面的方法和系统
CN100454821C (zh) 一种视频会议系统多mcu之间资源共享的方法
EP3127326A1 (en) System and method for a hybrid topology media conferencing system
CN101404748B (zh) 用于大规模高清网络视频会议的视频数据传输系统及方法
CN109905375B (zh) 一种具备电话功能的音视频网络编解码设备
CN105072360A (zh) 一种多屏拼接控制显示系统及方法
CN102291399A (zh) 一种流媒体切换台
CN102915736A (zh) 混音处理方法和混音处理系统
CN101867767B (zh) 视频会议系统的多点控制单元及其视频处理方法
CN100502503C (zh) 一种实现多码流同时输出的转码系统及方法
CN101350908A (zh) 用于网络视频会议的视频数据传输系统及方法
CN102055962A (zh) 基于集中编解码器的视频监控系统、方法及集中编解码器
CN205005157U (zh) 一种多屏拼接控制显示系统
CN203206388U (zh) 一种用于视频会议的多点控制单元

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant