CN101594512A - 实现高清多画面的终端、多点控制单元、系统及方法 - Google Patents

实现高清多画面的终端、多点控制单元、系统及方法 Download PDF

Info

Publication number
CN101594512A
CN101594512A CNA2009101084094A CN200910108409A CN101594512A CN 101594512 A CN101594512 A CN 101594512A CN A2009101084094 A CNA2009101084094 A CN A2009101084094A CN 200910108409 A CN200910108409 A CN 200910108409A CN 101594512 A CN101594512 A CN 101594512A
Authority
CN
China
Prior art keywords
control unit
terminal
code flow
multipoint control
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2009101084094A
Other languages
English (en)
Other versions
CN101594512B (zh
Inventor
孙博
孟军
丁鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=41408913&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN101594512(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN2009101084094A priority Critical patent/CN101594512B/zh
Publication of CN101594512A publication Critical patent/CN101594512A/zh
Priority to US13/381,754 priority patent/US9253445B2/en
Priority to RU2012100633/07A priority patent/RU2536807C2/ru
Priority to PCT/CN2010/072954 priority patent/WO2010145391A1/zh
Priority to BRPI1014008A priority patent/BRPI1014008A2/pt
Priority to EP10788787.9A priority patent/EP2437492A4/en
Publication of CN101594512B publication Critical patent/CN101594512B/zh
Application granted granted Critical
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/148—Interfacing a video terminal to a particular transmission medium, e.g. ISDN

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了实现高清多画面的方法，包括终端按照多点控制单元要求发送视频码流的过程，该过程包括以下步骤：A1.终端接收多点控制单元发送的能力集，所述能力集中包括根据视频会议控制信息计算出的视频码流格式；B1.终端基于所述视频码流格式对视频图像进行编码；C1.终端向多点控制单元发送经步骤B1编码后的视频码流。本发明还公开了实现高清多画面的终端、MCU和系统。本发明由MCU向终端发出能力集，终端根据能力集中视频格式的要求进行编码，充分利用终端的编解码能力，降低了MCU编解码的开销，解决了现有实现高清多画面会议的方法对MCU图像编解码器能力要求较高的问题。

Description

实现高清多画面的终端、多点控制单元、系统及方法
技术领域
本发明涉及视频会议领域，具体涉及在多点会议中以较低的图像编解码能力要求实现高清多画面的终端、多点控制单元、系统及方法。
背景技术
多画面应用具有信息量大的优点，是视频会议系统中比较常见的应用。目前多画面采用的视频格式一般为263系列及264系列中的264_CIF、264_4CIF，采用这些视频能力的多画面技术已经很成熟。
随着用户对图像质量要求的不断提高，很多视频会议厂家推出了264系列中的720P、1080I、1080P高清视频系统，在多画面应用中采用这些高清视频格式是目前各厂家追逐的目标。但是，采用通用的多画面实现方法必须极大地提高MCU(Multipoint Control Unit：多点控制单元)设备中视频处理板的编解码能力，这样才能满足高清多画面视频编解码的要求。为了提高视频编解码器的能力，MCU设备厂商势必会投入大量的时间和资金，而这是目前激烈的市场竞争所不允许的。
发明内容
本发明要解决的技术问题是提供能够在多点会议中不需大幅提高MCU设备视频编解码器能力就能实现高清多画面的终端、多点控制单元、系统及方法。
本发明的技术问题通过以下技术方案加以解决：
实现高清多画面的方法，包括终端按照多点控制单元要求发送视频码流的过程，该过程包括以下步骤：
步骤A1.终端接收多点控制单元发送的能力集，所述能力集中包括根据视频会议控制信息计算出的视频码流格式；
步骤B1.终端基于所述视频码流格式对视频图像进行编码并向多点控制单元发送编码后的视频码流。
实现高清多画面的终端，所述终端用于接收多点控制单元发送的能力集，所述能力集中包括根据视频会议控制信息计算出的视频码流格式，基于所述接收模块接收的能力集中的视频码流格式对视频图像进行编码并向多点控制单元发送编码后的视频码流。
实现高清多画面的方法，包括多点控制单元对选中终端画面进行控制合成到多画面中的过程，该过程包括以下步骤：
步骤A2.多点控制单元根据视频会议控制信息计算视频码流格式；
步骤B2.多点控制单元向选中终端发送包含步骤A2所述视频码流格式的能力集；
步骤C2.多点控制单元接收选中终端根据视频码流格式编码并发回的视频码流；
步骤D2.多点控制单元根据视频会议控制信息将接收到的视频码流图像合成到多画面中。
上述视频会议控制信息中终端未被其他终端选看时，上述步骤A2具体执行以下操作：多点控制单元根据会议的画面数、选中终端所属画面号计算视频尺寸；上述步骤D2具体执行以下操作：多点控制单元将接收到的视频码流图像直接合成到多画面中。
上述视频会议控制信息中终端被其他终端选看时，上述步骤A2具体执行以下操作：多点控制单元选择终端的原始视频尺寸；上述步骤D2具体执行以下操作：多点控制单元对接收到的视频码流图像根据会议的画面数、选中终端所属画面号进行缩放，然后将缩放后的图像合成到多画面中。
上述多点控制单元包括主多点控制单元和从多点控制单元，上述步骤A2具体通过上述主多点控制单元根据视频会议控制信息计算视频码流格式，向上述从多点控制单元发送包含该视频码流格式能力集加以实现；上述步骤B2具体通过所述从多点控制单元向选中终端发送包含上述视频码流格式的能力集加以实现；上述步骤C2具体通过所述从多点控制单元接收选中终端根据视频码流格式编码发回的视频码流并转发给上述主多点控制单元加以实现；上述步骤D2具体通过所述主多点控制单元根据视频会议控制信息将接收到的视频码流图像合成到多画面中加以实现。
实现高清多画面的多点控制单元，所述多点控制单元用于根据视频会议控制信息计算视频码流格式，向选中终端发送包含所述视频码流格式的能力集，接收选中终端根据视频码流格式编码并发回的视频码流，根据视频会议控制信息将接收到的视频码流图像合成到多画面中。
上述视频会议控制信息中终端未被其他终端选看时，上述多点控制单元还用于根据会议的画面数、选中终端所属画面号计算出视频尺寸；将接收到的视频码流图像直接合成到对应的画面中。
上述视频会议控制信息中终端被其他终端选看时，上述多点控制单元还用于选择终端的原始视频尺寸；对接收到的视频码流图像根据会议的画面数、选中终端所属画面号进行缩放，然后将缩放后的图像合成到多画面中。
上述多点控制单元包括主多点控制单元和从多点控制单元，所述主多点控制单元用于根据视频会议控制信息计算视频码流格式，向所述从多点控制单元发送包含该视频码流格式能力集；所述从多点控制单元用于向选中终端发送包含所述视频码流格式的能力集，并接收选中终端根据视频码流格式编码并发回的视频码流并转发给所述主多点控制单元；所述主多点控制单元还用于接收所述从多点控制单元转发回的视频码流，根据视频会议控制信息将接收到的视频码流图像合成到多画面中。
实现高清多画面的方法，包括多点控制单元控制终端发送视频码流、并将视频码流图像控制合成到多画面中的过程，该过程包括以下步骤：
步骤A3.多点控制单元根据视频会议控制信息计算视频码流格式；
步骤B3.多点控制单元向选中终端发送包含步骤A3所述视频码流格式的能力集；
步骤C3.终端接收多点控制单元发送的能力集并基于所述视频码流格式对视频图像进行编码并向多点控制单元发送编码后的视频码流；
步骤D3.多点控制单元接收视频码流；
步骤E3.多点控制单元根据视频会议控制信息显示接收到的视频码流图像。
上述视频会议控制信息中终端未被其他终端选看时，上述步骤A3具体执行以下操作：多点控制单元根据会议的画面数、选中终端所属画面号计算出视频尺寸；上述步骤E3具体执行以下操作：多点控制单元将接收到的视频码流图像直接合成到多画面中。
上述视频会议控制信息中终端被其他终端选看时，上述步骤A3具体执行以下操作：多点控制单元选择终端的原始视频尺寸；上述步骤E3具体执行以下操作：多点控制单元对接收到的视频码流图像根据会议的画面数、选中终端所属画面号进行缩放，然后将缩放后的图像合成多画面中。
上述多点控制单元包括主多点控制单元和从多点控制单元，上述步骤A3具体通过所述主多点控制单元根据视频会议控制信息计算视频码流格式，向所述从多点控制单元发送包含该视频码流格式能力集加以实现；上述步骤B3具体通过所述从多点控制单元向选中终端发送包含所述视频码流格式的能力集加以实现；上述步骤C3具体通过终端接收所述从多点控制单元发送的能力集并基于所述视频码流格式对视频图像进行编码，并向所述从多点控制单元发送编码后的视频码流加以实现；上述步骤D3具体通过所述从多点控制单元接收选中终端根据视频码流格式编码发回的视频码流并转发给所述主多点控制单元加以实现；上述步骤E3具体通过所述主多点控制单元根据视频会议控制信息将接收到的视频码流图像合成到多画面中加以实现。
实现高清多画面的系统，包括终端和多点控制单元，所述多点控制单元用于根据视频会议控制信息计算视频码流格式，向选中终端发送包含所述视频码流格式的能力集；所述终端用于接收多点控制单元发送的能力集并基于所述视频码流格式对视频图像进行编码，并向多点控制单元发送编码后的视频码流；所述多点控制单元还用于接收编码后的视频码流，并根据视频会议控制信息将接收到的视频码流图像合成到多画面中。
上述视频会议控制信息包括会议的画面数、终端所属画面号以及终端是否被其它终端选看。
上述视频会议控制信息中终端未被其他终端选看时，上述多点控制单元还用于根据会议的画面数、选中终端所属画面号计算出视频尺寸；将接收到的视频码流图像直接合成到多画面中。
上述视频会议控制信息中终端被其他终端选看时，上述多点控制单元还用于选择终端的原始视频尺寸；对接收到的视频码流图像根据会议的画面数、选中终端所属画面号进行缩放，然后将缩放后的图像合成到多画面中。
上述多点控制单元包括主多点控制单元和从多点控制单元，所述主多点控制单元用于根据视频会议控制信息计算视频码流格式，向所述从多点控制单元发送包含该视频码流格式能力集；所述从多点控制单元用于向选中终端发送包含所述视频码流格式的能力集；所述终端还用于接收所述从多点控制单元发送的能力集并基于所述视频码流格式对视频图像进行编码，并向所述从多点控制单元发送编码后的视频码流；所述从多点控制单元还用于接收编码后的视频码流并转发给所述主多点控制单元；所述主多点控制单元还用于接收所述从多点控制单元转发回的视频码流，根据视频会议控制信息显示接收到的视频码流图像。
本发明与现有技术相比较的有益效果是：
(1)本发明由MCU向终端发出能力集，终端根据能力集中视频格式的要求进行编码，这样可以充分利用终端的编解码能力，降低了MCU编解码的开销，解决了现有实现高清多画面会议的方法对MCU图像编解码器能力要求较高的问题；
(2)本发明在终端未被其他终端选看时，MCU将视频码流格式计算出来发给终端，终端依据该格式进行编码并发回给MCU，MCU直接将视频图像合成到相应的画面而不做任何格式变化，降低了MCU编解码的负担，达到了以较低的编解码能力要求实现高清多画面会议的效果，节省了厂商为提高图像编解码器能力的资金与时间的开支；
(3)本发明在终端被其他终端选看时，MCU和终端之间采用原始格式进行码流传输，实现了在终端不增加视频编码节点的情况下其他终端也能选看完整能力图像的要求；
(4)本发明还通过主MCU与从MCU之间进行能力集和视频码流的转发，使得在MCU级联情况下也能以较低的编解码能力要求实现高清多画面会议系统。
附图说明
图1是本发明系统一种具体实施方式结构示意图；
图2是本发明系统另一种具体实施方式结构示意图；
图3是本发明方法实施例1信令流程图；
图4是本发明方法实施例2信令流程图；
图5是本发明方法实施例3信令流程图。
具体实施方式
下面用具体实施方式结合附图对本发明做进一步详细说明。
本发明所涉及的视频多画面组合方式，可以参考H.243协议“Procedures for establishing communication between three or more audiovisualterminals using digital channels up to 1920 kbit/s”，本发明所涉及的会议电视系统包括符合ITU-T H.320、ITU-T H323和IETF SIP标准的系统。
本发明实现高清多画面的系统，其一种具体实施方式，包括终端和MCU。MCU用于根据视频会议控制信息计算视频码流格式，向选中终端发送包含视频码流格式的能力集；终端用于接收MCU发送的能力集并基于视频码流格式对视频图像进行编码，并向MCU发送编码后的视频码流；MCU还用于接收编码后的视频码流，并根据视频会议控制信息将接收到的视频码流图像合成到多画面中。
视频会议控制信息包括会议的画面数、终端所属画面号以及终端是否被其它终端选看等信息。
视频会议控制信息中终端未被其他终端选看时，MCU还用于根据会议的画面数、选中终端所属画面号计算出视频尺寸，在本实施方式中，视频尺寸可以宏块数表示；将接收到的视频码流图像直接合成到多画面中。
视频会议控制信息中终端被其他终端选看时，MCU还用于选择终端的原始视频尺寸作为视频码流格式；对接收到的视频码流图像根据会议的画面数、选中终端所属画面号进行缩放，然后将缩放后的图像合成到多画面的对应画面中。
终端可以为多个，本实施方式中，终端有两个，分别为终端1和终端2，如图1所示。终端能够以非对称的视频比特率、帧速率和图像分辨率(如果支持多种图像的分辨率)操作。例如，允许具有720P能力的终端发送1/16720P图像而接收720P图像。
本发明系统的另一种具体实施方式，MCU包括主MCU和从MCU，从MCU可以有多个，本实施方式有一个主MCU和一个从MCU，如图2所示，主MCU连接终端A和终端B，从MCU连接终端D和终端E，主MCU通过级联口C连接至从MCU的级联口F。
主MCU用于根据视频会议控制信息计算视频码流格式，向从MCU发送包含该视频码流格式能力集；从MCU用于向选中终端发送包含视频码流格式的能力集，并接收选中终端根据视频码流格式编码并发回的视频码流并转发给主MCU；主MCU还用于接收从MCU转发回的视频码流，根据视频会议控制信息将接收到的视频码流图像合成到多画面中。
本发明实现高清多画面的方法，其一种具体实施方式，包括MCU控制终端发送视频码流、并将视频码流图像合成到多画面中的过程，该过程包括以下步骤：
步骤A3.MCU根据视频会议控制信息计算视频码流格式；
步骤B3.MCU向选中终端发送包含视频码流格式的能力集；
步骤C3.终端接收MCU发送的能力集并基于视频码流格式对视频图像进行编码，并向MCU发送编码后的视频码流；
步骤D3.MCU接收视频码流；
步骤E3.MCU根据视频会议控制信息显示接收到的视频码流图像。
本实施方式中，视频会议控制信息包括会议的画面数、终端所属画面号以及终端是否被其它终端选看等信息。
当终端未被其他终端选看时，步骤A3具体执行以下操作：MCU根据会议的画面数、选中终端所属画面号计算出视频尺寸，如宏块数；步骤E3具体执行以下操作：MCU将接收到的视频码流图像直接合成到多画面的对应画面中。
当终端被其他终端选看时，步骤A3具体执行以下操作：MCU选择终端的原始视频尺寸作为视频码流格式；步骤E3具体执行以下操作：MCU对接收到的视频码流图像根据会议的画面数、选中终端所属画面号进行缩放，然后将缩放后的图像合成到多画面的对应画面中。
本发明方法的另一种具体实施方式，MCU包括主MCU和从MCU，步骤A3具体通过主MCU根据视频会议控制信息计算视频码流格式，向从MCU发送包含该视频码流格式能力集加以实现；步骤B3具体通过从MCU向选中终端发送包含视频码流格式的能力集加以实现；步骤C3具体通过终端接收所述从MCU发送的能力集并基于视频码流格式对视频图像进行编码，并向从MCU发送编码后的视频码流加以实现；步骤D3具体通过从MCU接收选中终端根据视频码流格式编码发回的视频码流并转发给主MCU加以实现；步骤E3具体通过主MCU根据视频会议控制信息将接收到的视频码流图像合成到多画面中加以实现。
实施例1：
本例是在图1描述系统基础上使用本发明方法实现4画面的720P会议，本例是一个H.323系统，终端1、终端2均支持图像的非对称编解码，终端1被指定为4画面中的第2画面，且未被多点会议中任一终端选看。其流程如图3所示，包括以下步骤：
步骤301、MCU按照H.243协议中规定4画面中第2画面占整个图像的1/4，而720P宏块数为：(1280×720)/(16×16)＝3600，1/4的宏块数为900，根据得出的新的宏块数，MCU构造的能力集如下：
Item 0:Profile
Item
     parameterIdentifier:standard(0)
         standard:41-Profile
     parameterValue:booleanArray(1)
         booleanArray:64
         Profile:0x40，Baseline Profile
             .1......＝Baseline Profile:True
             ..0.....＝Main Profile:False
             ...0....＝Extended Profile.:False
             ....0...＝High Profile:False
             .....0..＝High 10 Profile:False
             ......0.＝High 4:2:2 Profile:False
             .......0＝High 4:4:4 Profile:False
Item 1:Level
Item
     parameterIdentifier:standard(0)
         standard:42-Level
     parameterValue:unsignedMin(2)
         unsignedMin:50-Level 2.1
Item 2:CustomMaxMBPS
Item
     parameterIdentifier:standard(0)
         standard:3-CustomMaxMBPS
     parameterValue:unsignedMin(2)
         unsignedMin:54
Item 3:CustomMaxFS
Item
     parameterIdentifier:standard(0)
                  standard:4-CustomMaxFS
              parameterValue:unsignedMin(2)
                  unsignedMin:4
步骤302、MCU向终端1发送能力集，通知终端1按照能力集中的视频格式进行缩放；
步骤303、终端1接收能力集后，因为并未重新加入会议，因此保持16:4的格式。根据能力，判断这个尺寸为1024个宏块，向MCU发送可以缩放的确认消息；
步骤304、终端1从常用的格式中，选择最相近的(向下)格式1/4720p进行缩放，然后重新打开逻辑通道，并从此信道中发送1/4720P大小的视频码流给MCU；
步骤305、MCU的图像编解码器直接将这路图像合成到4画面中的第2画面中。
可见步骤305中节省了MCU图像编解码器缩放720P图像耗费的能力。
实施例2：
本例是在实施例1基础上终端2选看终端1单画面的实施例，其流程如图4所示，包括以下步骤：
步骤401、MCU按照720P原始图像大小构造能力集；
步骤402、MCU向终端1发送能力集，即按照720P能力跟终端1进行能力交互，通知其发送一个完整大小的720P图像过来；
步骤403、终端1发送确认消息，并进入视频编解码的对称模式；
步骤404、终端1向MCU发送720P的视频码流；
步骤405、MCU将此码流发给终端2，以达到终端2能看到一个完整720P能力图像的目的；
步骤406、MCU还将此路图像按照4图像第2图像进行缩放后合成到4画面中的第2画面，并发送给多点会议的其他端，如终端1。
实施例3：
本例是在图2描述的系统基础上，使用本发明方法实现MCU级联多画面会议。图2中多点会议的设备分别有主从两个MCU，主MCU下挂终端A、B、级联口C，从MCU下挂终端D、E、级联口F。
本例主会议为多画面会议，指定级联口C是多画面中的某一画面，当前从MCU中的视频源为终端E，其流程如图5所示，包括以下步骤：
步骤501、主MCU指定级联口C为多画面中的某一画面后，按照H.243协议计算图像缩放后的大小，构造能力集；
步骤502、通过级联口C向从MCU的级联口F发送能力集，通过重新能力交换通知从MCU按照能力集中的格式进行图像缩放；
步骤503、从MCU收到级联口F发来的terminalCapbilitySet消息后，将此消息转发给从MCU的终端E；
步骤504、终端E给级联口F发送确认消息，同意进行图像缩放；
步骤505、从MCU收到级联口F发来的确认消息并转发给主MCU；
步骤506、由于终端E并未重新加入会议，保持16:4的格式重新打开和从MCU之间的视频逻辑信道，向从MCU发送缩放后的视频码流；
步骤507、从MCU也按照16:4的格式重新打开从MCU和主MCU之间级联口F的视频逻辑信道，使终端E发送过来的缩放过的图像通过级联口F发送给主MCU；
步骤508、主MCU的视频编解码器将这路图像合成到多画面中，从而以较低图像编解码能力实现了高清级联多画面会议的目的。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (24)

1.实现高清多画面的方法，包括终端按照多点控制单元要求发送视频码流的过程，其特征在于，所述过程包括以下步骤：
步骤A1.终端接收多点控制单元发送的能力集，所述能力集中包括根据视频会议控制信息计算出的视频码流格式；
步骤B1.终端基于所述视频码流格式对视频图像进行编码并向多点控制单元发送编码后的视频码流。
2.根据权利要求1所述的方法，其特征在于，所述视频会议控制信息包括会议的画面数、终端所属画面号以及终端是否被其它终端选看。
3.实现高清多画面的终端，其特征在于，所述终端用于接收多点控制单元发送的能力集，所述能力集中包括根据视频会议控制信息计算出的视频码流格式，基于所述接收模块接收的能力集中的视频码流格式对视频图像进行编码并向多点控制单元发送编码后的视频码流。
4.根据权利要求3所述的终端，其特征在于，所述视频会议控制信息包括会议的画面数、终端所属画面号以及终端是否被其它终端选看。
5.实现高清多画面的方法，包括多点控制单元对选中终端画面进行控制合成到多画面中的过程，其特征在于，所述过程包括以下步骤：
步骤A2.多点控制单元根据视频会议控制信息计算视频码流格式；
步骤B2.多点控制单元向选中终端发送包含步骤A2所述视频码流格式的能力集；
步骤C2.多点控制单元接收选中终端根据视频码流格式编码并发回的视频码流；
步骤D2.多点控制单元根据视频会议控制信息将接收到的视频码流图像合成到多画面中。
6.根据权利要求5所述的方法，其特征在于，所述视频会议控制信息包括会议的画面数、终端所属画面号以及终端是否被其它终端选看。
7.根据权利要求6所述的方法，其特征在于，所述视频会议控制信息中终端未被其他终端选看时，所述步骤A2具体执行以下操作：多点控制单元根据会议的画面数、选中终端所属画面号计算视频尺寸；所述步骤D2具体执行以下操作：多点控制单元将接收到的视频码流图像直接合成到多画面中。
8.根据权利要求6所述的方法，其特征在于，所述视频会议控制信息中终端被其他终端选看时，所述步骤A2具体执行以下操作：多点控制单元选择终端的原始视频尺寸；所述步骤D2具体执行以下操作：多点控制单元对接收到的视频码流图像根据会议的画面数、选中终端所属画面号进行缩放，然后将缩放后的图像合成到多画面中。
9.根据权利要求5至8任一所述的方法，其特征在于，所述多点控制单元包括主多点控制单元和从多点控制单元，所述步骤A2具体通过所述主多点控制单元根据视频会议控制信息计算视频码流格式，向所述从多点控制单元发送包含该视频码流格式能力集加以实现；所述步骤B2具体通过所述从多点控制单元向选中终端发送包含所述视频码流格式的能力集加以实现；所述步骤C2具体通过所述从多点控制单元接收选中终端根据视频码流格式编码发回的视频码流并转发给所述主多点控制单元加以实现；所述步骤D2具体通过所述主多点控制单元根据视频会议控制信息将接收到的视频码流图像合成到多画面中加以实现。
10.实现高清多画面的多点控制单元，其特征在于，所述多点控制单元用于根据视频会议控制信息计算视频码流格式，向选中终端发送包含所述视频码流格式的能力集，接收选中终端根据视频码流格式编码并发回的视频码流，根据视频会议控制信息将接收到的视频码流图像合成到多画面中。
11.根据权利要求10所述的多点控制单元，其特征在于，所述视频会议控制信息包括会议的画面数、终端所属画面号以及终端是否被其它终端选看。
12.根据权利要求11所述的多点控制单元，其特征在于，所述视频会议控制信息中终端未被其他终端选看时，所述多点控制单元还用于根据会议的画面数、选中终端所属画面号计算出视频尺寸；将接收到的视频码流图像直接合成到对应的画面中。
13.根据权利要求11所述的多点控制单元，其特征在于，所述视频会议控制信息中终端被其他终端选看时，所述多点控制单元还用于选择终端的原始视频尺寸；对接收到的视频码流图像根据会议的画面数、选中终端所属画面号进行缩放，然后将缩放后的图像合成到多画面中。
14.根据权利要求10至13任一所述的多点控制单元，其特征在于，所述多点控制单元包括主多点控制单元和从多点控制单元，所述主多点控制单元用于根据视频会议控制信息计算视频码流格式，向所述从多点控制单元发送包含该视频码流格式能力集；所述从多点控制单元用于向选中终端发送包含所述视频码流格式的能力集，并接收选中终端根据视频码流格式编码并发回的视频码流，并转发给所述主多点控制单元；所述主多点控制单元还用于接收所述从多点控制单元转发回的视频码流，根据视频会议控制信息将接收到的视频码流图像合成到多画面中。
15.实现高清多画面的方法，包括多点控制单元控制终端发送视频码流、并将视频码流图像控制合成到多画面中的过程，其特征在于，所述过程包括以下步骤：
步骤A3.多点控制单元根据视频会议控制信息计算视频码流格式；
步骤B3.多点控制单元向选中终端发送包含步骤A3所述视频码流格式的能力集；
步骤C3.终端接收多点控制单元发送的能力集并基于所述视频码流格式对视频图像进行编码并向多点控制单元发送编码后的视频码流；
步骤D3.多点控制单元接收视频码流；
步骤E3.多点控制单元根据视频会议控制信息显示接收到的视频码流图像。
16.根据权利要求15所述的方法，其特征在于，所述视频会议控制信息包括会议的画面数、终端所属画面号以及终端是否被其它终端选看。
17.根据权利要求16所述的方法，其特征在于，所述视频会议控制信息中终端未被其他终端选看时，所述步骤A3具体执行以下操作：多点控制单元根据会议的画面数、选中终端所属画面号计算出视频尺寸；所述步骤E3具体执行以下操作：多点控制单元将接收到的视频码流图像直接合成到多画面中。
18.根据权利要求16所述的方法，其特征在于，所述视频会议控制信息中终端被其他终端选看时，所述步骤A3具体执行以下操作：多点控制单元选择终端的原始视频尺寸；所述步骤E3具体执行以下操作：多点控制单元对接收到的视频码流图像根据会议的画面数、选中终端所属画面号进行缩放，然后将缩放后的图像合成多画面中。
19.根据权利要求15至18任一所述的方法，其特征在于，所述多点控制单元包括主多点控制单元和从多点控制单元，所述步骤A3具体通过所述主多点控制单元根据视频会议控制信息计算视频码流格式，向所述从多点控制单元发送包含该视频码流格式能力集加以实现；所述步骤B3具体通过所述从多点控制单元向选中终端发送包含所述视频码流格式的能力集加以实现；所述步骤C3具体通过终端接收所述从多点控制单元发送的能力集并基于所述视频码流格式对视频图像进行编码，并向所述从多点控制单元发送编码后的视频码流加以实现；所述步骤D3具体通过所述从多点控制单元接收选中终端根据视频码流格式编码发回的视频码流并转发给所述主多点控制单元加以实现；所述步骤E3具体通过所述主多点控制单元根据视频会议控制信息将接收到的视频码流图像合成到多画面中加以实现。
20.实现高清多画面的系统，包括终端和多点控制单元，其特征在于，
所述多点控制单元用于根据视频会议控制信息计算视频码流格式，向选中终端发送包含所述视频码流格式的能力集；
所述终端用于接收多点控制单元发送的能力集并基于所述视频码流格式对视频图像进行编码，并向多点控制单元发送编码后的视频码流；
所述多点控制单元还用于接收编码后的视频码流，并根据视频会议控制信息将接收到的视频码流图像合成到多画面中。
21.根据权利要求20所述的系统，其特征在于，所述视频会议控制信息包括会议的画面数、终端所属画面号以及终端是否被其它终端选看。
22.根据权利要求21所述的系统，其特征在于，所述视频会议控制信息中终端未被其他终端选看时，所述多点控制单元还用于根据会议的画面数、选中终端所属画面号计算出视频尺寸；将接收到的视频码流图像直接合成到多画面中。
23.根据权利要求21所述的系统，其特征在于，所述视频会议控制信息中终端被其他终端选看时，所述多点控制单元还用于选择终端的原始视频尺寸；对接收到的视频码流图像根据会议的画面数、选中终端所属画面号进行缩放，然后将缩放后的图像合成到多画面中。
24.根据权利要求20至23任一所述的系统，其特征在于，所述多点控制单元包括主多点控制单元和从多点控制单元，所述主多点控制单元用于根据视频会议控制信息计算视频码流格式，向所述从多点控制单元发送包含该视频码流格式能力集；所述从多点控制单元用于向选中终端发送包含所述视频码流格式的能力集；所述终端还用于接收所述从多点控制单元发送的能力集并基于所述视频码流格式对视频图像进行编码，并向所述从多点控制单元发送编码后的视频码流；所述从多点控制单元还用于接收编码后的视频码流并转发给所述主多点控制单元；所述主多点控制单元还用于接收所述从多点控制单元转发回的视频码流，根据视频会议控制信息显示接收到的视频码流图像。
CN2009101084094A 2009-06-30 2009-06-30 实现高清多画面的终端、多点控制单元、系统及方法 Expired - Fee Related CN101594512B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN2009101084094A CN101594512B (zh) 2009-06-30 2009-06-30 实现高清多画面的终端、多点控制单元、系统及方法
EP10788787.9A EP2437492A4 (en) 2009-06-30 2010-05-19 END DEVICE, MULTI-POINT CONTROL UNIT, SYSTEM AND METHOD FOR IMPLEMENTING SEVERAL HIGH-DEFINED PICTURES
PCT/CN2010/072954 WO2010145391A1 (zh) 2009-06-30 2010-05-19 实现高清多画面的终端、多点控制单元、系统及方法
RU2012100633/07A RU2536807C2 (ru) 2009-06-30 2010-05-19 Терминал, блок многоадресного управления, система и способ для формирования многооконных изображений высокой четкости
US13/381,754 US9253445B2 (en) 2009-06-30 2010-05-19 Terminal multipoint control unit, system and method for implementing high definition multiple pictures
BRPI1014008A BRPI1014008A2 (pt) 2009-06-30 2010-05-19 Terminal, unidade de controle multiponto, sistema e método para implementar múltiplas imagens de alta definição

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2009101084094A CN101594512B (zh) 2009-06-30 2009-06-30 实现高清多画面的终端、多点控制单元、系统及方法

Publications (2)

Publication Number Publication Date
CN101594512A true CN101594512A (zh) 2009-12-02
CN101594512B CN101594512B (zh) 2012-01-18

Family

ID=41408913

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009101084094A Expired - Fee Related CN101594512B (zh) 2009-06-30 2009-06-30 实现高清多画面的终端、多点控制单元、系统及方法

Country Status (6)

Country Link
US (1) US9253445B2 (zh)
EP (1) EP2437492A4 (zh)
CN (1) CN101594512B (zh)
BR (1) BRPI1014008A2 (zh)
RU (1) RU2536807C2 (zh)
WO (1) WO2010145391A1 (zh)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010145391A1 (zh) * 2009-06-30 2010-12-23 中兴通讯股份有限公司 实现高清多画面的终端、多点控制单元、系统及方法
CN102111605A (zh) * 2009-12-28 2011-06-29 杭州华三通信技术有限公司 Mcu多画面分屏实现方法及mcu
CN102457702A (zh) * 2010-10-29 2012-05-16 华为终端有限公司 多画面处理方法、装置及系统
CN102480613A (zh) * 2010-11-25 2012-05-30 中兴通讯股份有限公司 会议电视系统的终端的视频监控方法、装置及系统
CN102685415A (zh) * 2011-03-18 2012-09-19 华为终端有限公司 一种视频画面处理方法、系统、设备及终端
CN102883131A (zh) * 2011-07-15 2013-01-16 中兴通讯股份有限公司 基于远程呈现系统的信令交互方法及装置
CN103957453A (zh) * 2014-05-05 2014-07-30 广州长嘉电子有限公司 一种实现移动终端与液晶电视间数据链接的方法及系统
CN103974023A (zh) * 2013-02-04 2014-08-06 捷达世软件（深圳）有限公司 视频画面调节系统及方法
WO2014190812A1 (zh) * 2013-06-01 2014-12-04 中兴通讯股份有限公司 远程呈现端点的能力交互方法及装置、数据流
WO2014190809A1 (zh) * 2013-06-01 2014-12-04 中兴通讯股份有限公司 远程呈现端点的能力交互方法及装置、数据流
WO2014190811A1 (zh) * 2013-06-01 2014-12-04 中兴通讯股份有限公司 远程呈现端点的能力交互方法及装置、数据流
WO2014190808A1 (zh) * 2013-06-01 2014-12-04 中兴通讯股份有限公司 远程呈现端点的能力交互方法及装置、数据流
CN104469259A (zh) * 2014-12-15 2015-03-25 广东威创视讯科技股份有限公司 一种云端视频合成方法及系统
CN104954729A (zh) * 2014-03-31 2015-09-30 鸿富锦精密工业（深圳）有限公司 视频会议数据处理方法及系统
CN105635636A (zh) * 2015-12-30 2016-06-01 随锐科技股份有限公司 一种视频会议系统及其实现视频图像传输控制的方法
CN106027948A (zh) * 2016-06-29 2016-10-12 华为技术有限公司 多级会议控制系统、方法及mcu
CN108093197A (zh) * 2016-11-21 2018-05-29 阿里巴巴集团控股有限公司 用于信息分享的方法、系统及机器可读介质
CN108810443A (zh) * 2017-04-28 2018-11-13 南宁富桂精密工业有限公司 视频画面合成方法及多点控制单元
CN108933759A (zh) * 2017-05-23 2018-12-04 中兴通讯股份有限公司 一种多点会议中终端间直接通信的方法、设备及存储介质
CN109698927A (zh) * 2017-10-23 2019-04-30 中兴通讯股份有限公司 会议管理方法、装置及存储介质
CN110049277A (zh) * 2019-05-28 2019-07-23 南京南方电讯有限公司 一种会议接入实现方法
CN110708491A (zh) * 2018-07-10 2020-01-17 中兴通讯股份有限公司 视频会议显示方法、移动终端和计算机可读存储介质
CN111901680A (zh) * 2020-05-10 2020-11-06 天地阳光通信科技（北京）有限公司 多媒体数据处理方法、装置及服务器
CN112839197A (zh) * 2020-12-31 2021-05-25 北京融讯科创技术有限公司 图像码流处理方法、装置、系统及存储介质
CN114679548A (zh) * 2022-03-25 2022-06-28 航天国盛科技有限公司 基于avc架构的多画面合成方法、系统及装置
WO2023071356A1 (zh) * 2021-10-29 2023-05-04 朱玉荣 视频会议处理方法、处理设备、会议系统以及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103905776B (zh) * 2012-12-26 2018-01-16 华为技术有限公司 码流处理方法和系统、多点控制单元
CN105872451A (zh) * 2016-04-14 2016-08-17 广州市昇博电子科技有限公司 高清远程视频会议通讯方法
CN113497900A (zh) * 2021-09-08 2021-10-12 浙江华创视讯科技有限公司 画面控制方法、计算机设备及可读存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1134936C (zh) * 2001-02-06 2004-01-14 华为技术有限公司 一种视讯业务的实现方法
CN1199460C (zh) * 2002-06-19 2005-04-27 华为技术有限公司 视讯系统中的图像分层编码和交换方法
CN1571508B (zh) 2003-07-19 2010-05-12 华为技术有限公司 一种实现多画面的方法
US7692683B2 (en) 2004-10-15 2010-04-06 Lifesize Communications, Inc. Video conferencing system transcoder
US7830409B2 (en) * 2005-03-25 2010-11-09 Cherng-Daw Hwang Split screen video in a multimedia communication system
US8817668B2 (en) * 2006-09-15 2014-08-26 Microsoft Corporation Distributable, scalable, pluggable conferencing architecture
US8289371B2 (en) * 2007-05-21 2012-10-16 Polycom, Inc. Smart cropping of video images in a videoconferencing session
US8139100B2 (en) * 2007-07-13 2012-03-20 Lifesize Communications, Inc. Virtual multiway scaler compensation
CN101198008A (zh) * 2008-01-03 2008-06-11 中兴通讯股份有限公司 一种实现多屏多画面的方法和系统
CN101257607B (zh) * 2008-03-12 2010-06-09 中兴通讯股份有限公司 一种应用于视频会议的多画面处理系统和方法
CN101262587B (zh) * 2008-03-31 2011-04-20 杭州华三通信技术有限公司 一种实现多画面视频会议的方法及多点控制单元
CN101404748B (zh) 2008-10-31 2010-12-08 广东威创视讯科技股份有限公司 用于大规模高清网络视频会议的视频数据传输系统及方法
CN101594512B (zh) * 2009-06-30 2012-01-18 中兴通讯股份有限公司 实现高清多画面的终端、多点控制单元、系统及方法

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010145391A1 (zh) * 2009-06-30 2010-12-23 中兴通讯股份有限公司 实现高清多画面的终端、多点控制单元、系统及方法
US9253445B2 (en) 2009-06-30 2016-02-02 Zte Corporation Terminal multipoint control unit, system and method for implementing high definition multiple pictures
CN102111605A (zh) * 2009-12-28 2011-06-29 杭州华三通信技术有限公司 Mcu多画面分屏实现方法及mcu
CN102457702A (zh) * 2010-10-29 2012-05-16 华为终端有限公司 多画面处理方法、装置及系统
WO2012069011A1 (zh) * 2010-11-25 2012-05-31 中兴通讯股份有限公司 会议电视系统的终端的视频监控方法、装置及系统
CN102480613B (zh) * 2010-11-25 2014-01-01 中兴通讯股份有限公司 会议电视系统的终端的视频监控方法、装置及系统
CN102480613A (zh) * 2010-11-25 2012-05-30 中兴通讯股份有限公司 会议电视系统的终端的视频监控方法、装置及系统
CN102685415A (zh) * 2011-03-18 2012-09-19 华为终端有限公司 一种视频画面处理方法、系统、设备及终端
CN102883131A (zh) * 2011-07-15 2013-01-16 中兴通讯股份有限公司 基于远程呈现系统的信令交互方法及装置
CN102883131B (zh) * 2011-07-15 2017-02-08 中兴通讯股份有限公司 基于远程呈现系统的信令交互方法及装置
CN103974023A (zh) * 2013-02-04 2014-08-06 捷达世软件（深圳）有限公司 视频画面调节系统及方法
CN103974023B (zh) * 2013-02-04 2019-04-02 鸿富锦精密工业（深圳）有限公司 视频画面调节系统及方法
WO2014190812A1 (zh) * 2013-06-01 2014-12-04 中兴通讯股份有限公司 远程呈现端点的能力交互方法及装置、数据流
WO2014190809A1 (zh) * 2013-06-01 2014-12-04 中兴通讯股份有限公司 远程呈现端点的能力交互方法及装置、数据流
WO2014190811A1 (zh) * 2013-06-01 2014-12-04 中兴通讯股份有限公司 远程呈现端点的能力交互方法及装置、数据流
WO2014190808A1 (zh) * 2013-06-01 2014-12-04 中兴通讯股份有限公司 远程呈现端点的能力交互方法及装置、数据流
CN104954729A (zh) * 2014-03-31 2015-09-30 鸿富锦精密工业（深圳）有限公司 视频会议数据处理方法及系统
CN103957453A (zh) * 2014-05-05 2014-07-30 广州长嘉电子有限公司 一种实现移动终端与液晶电视间数据链接的方法及系统
CN104469259A (zh) * 2014-12-15 2015-03-25 广东威创视讯科技股份有限公司 一种云端视频合成方法及系统
CN105635636B (zh) * 2015-12-30 2019-05-03 随锐科技股份有限公司 一种视频会议系统及其实现视频图像传输控制的方法
CN105635636A (zh) * 2015-12-30 2016-06-01 随锐科技股份有限公司 一种视频会议系统及其实现视频图像传输控制的方法
CN106027948A (zh) * 2016-06-29 2016-10-12 华为技术有限公司 多级会议控制系统、方法及mcu
CN108093197A (zh) * 2016-11-21 2018-05-29 阿里巴巴集团控股有限公司 用于信息分享的方法、系统及机器可读介质
CN108093197B (zh) * 2016-11-21 2021-06-15 阿里巴巴集团控股有限公司 用于信息分享的方法、系统及机器可读介质
CN108810443A (zh) * 2017-04-28 2018-11-13 南宁富桂精密工业有限公司 视频画面合成方法及多点控制单元
CN108933759A (zh) * 2017-05-23 2018-12-04 中兴通讯股份有限公司 一种多点会议中终端间直接通信的方法、设备及存储介质
CN109698927A (zh) * 2017-10-23 2019-04-30 中兴通讯股份有限公司 会议管理方法、装置及存储介质
CN110708491A (zh) * 2018-07-10 2020-01-17 中兴通讯股份有限公司 视频会议显示方法、移动终端和计算机可读存储介质
CN110049277A (zh) * 2019-05-28 2019-07-23 南京南方电讯有限公司 一种会议接入实现方法
CN111901680A (zh) * 2020-05-10 2020-11-06 天地阳光通信科技（北京）有限公司 多媒体数据处理方法、装置及服务器
CN111901680B (zh) * 2020-05-10 2022-06-21 天地阳光通信科技（北京）有限公司 多媒体数据处理方法、装置及服务器
CN112839197A (zh) * 2020-12-31 2021-05-25 北京融讯科创技术有限公司 图像码流处理方法、装置、系统及存储介质
CN112839197B (zh) * 2020-12-31 2023-08-25 北京融讯科创技术有限公司 图像码流处理方法、装置、系统及存储介质
WO2023071356A1 (zh) * 2021-10-29 2023-05-04 朱玉荣 视频会议处理方法、处理设备、会议系统以及存储介质
CN114679548A (zh) * 2022-03-25 2022-06-28 航天国盛科技有限公司 基于avc架构的多画面合成方法、系统及装置

Also Published As

Publication number Publication date
CN101594512B (zh) 2012-01-18
EP2437492A4 (en) 2016-03-30
WO2010145391A1 (zh) 2010-12-23
BRPI1014008A2 (pt) 2021-12-07
RU2536807C2 (ru) 2014-12-27
US20120113212A1 (en) 2012-05-10
US9253445B2 (en) 2016-02-02
RU2012100633A (ru) 2013-08-10
EP2437492A1 (en) 2012-04-04

Similar Documents

Publication Publication Date Title
CN101594512B (zh) 实现高清多画面的终端、多点控制单元、系统及方法
US9215416B2 (en) Method and system for switching between video streams in a continuous presence conference
US9462228B2 (en) Distributed real-time media composer
CN101262587B (zh) 一种实现多画面视频会议的方法及多点控制单元
EP2214410B1 (en) Method and system for conducting continuous presence conferences
US8885015B2 (en) Method and system for composing video images from a plurality of endpoints
US9596433B2 (en) System and method for a hybrid topology media conferencing system
CN105340215B (zh) 编码器的动态分配的方法和系统
CN102387338B (zh) 分布式视频处理方法及视频会议系统
US8704871B2 (en) Method and system for creating a continuous presence video-conference
CN100454821C (zh) 一种视频会议系统多mcu之间资源共享的方法
US9369671B2 (en) Method and system for handling content in videoconferencing
EP2557780A2 (en) Method and system for switching between video streams in a continuous presence conference

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120118

Termination date: 20200630

CF01 Termination of patent right due to non-payment of annual fee