CN105635636B - 一种视频会议系统及其实现视频图像传输控制的方法 - Google Patents

一种视频会议系统及其实现视频图像传输控制的方法 Download PDF

Info

Publication number
CN105635636B
CN105635636B CN201511024779.1A CN201511024779A CN105635636B CN 105635636 B CN105635636 B CN 105635636B CN 201511024779 A CN201511024779 A CN 201511024779A CN 105635636 B CN105635636 B CN 105635636B
Authority
CN
China
Prior art keywords
video
parameter
code stream
image
video image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201511024779.1A
Other languages
English (en)
Other versions
CN105635636A (zh
Inventor
张峰源
冯文澜
王耀臣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suirui Technology Co Ltd
Original Assignee
Suirui Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suirui Technology Co Ltd filed Critical Suirui Technology Co Ltd
Priority to CN201511024779.1A priority Critical patent/CN105635636B/zh
Publication of CN105635636A publication Critical patent/CN105635636A/zh
Application granted granted Critical
Publication of CN105635636B publication Critical patent/CN105635636B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明公开一种视频会议系统及实现视频会议视频图像传输控制的方法，其中新呼入的视频客户端根据当前视频会议的视频布局参数进行视频图像的视频采集、缩放裁剪、编码以及上行传输，无需按照最大分辨率进行采集、编码和传输，可减少客户端中央处理器的处理能力和网络传输带宽的浪费或成本提升；同时由于不需多点控制单元进行缩放裁剪，可减少多点控制单元的解码和缩放负载，而多点控制单元将混屏视频图像码流中目的视频客户端本身上传的视频图像对应的码流去除后再将剩余的其他码流传送给该目的视频客户端；减少多点控制单元的编码负载浪费和网络传输带宽的浪费。

Description

一种视频会议系统及其实现视频图像传输控制的方法
技术领域
本发明属于视频会议技术领域，更具体的说，本发明涉及一种视频会议系统及其实现视频会议视频图像传输控制的方法。
背景技术
视频会议系统，又称会议电视系统，是指两个或两个以上不同地方的个人或群体，通过传输线路及多媒体设备，将声音、影像及文件资料互传，实现即时且互动的沟通，以实现会议目的的系统设备。
近年来，随着互联网和多媒体技术的迅速发展，具有较好实时性和交互性的实时视频会议系统得到了广泛应用，并且对视频质量提出了越来越高的要求。
目前在基于混屏方案的多人视频会议系统中，视频客户端根据用户配置参数和网络传输反馈信息，选择合适的视频分辨率和帧率进行编码和传输；多点控制单元(MCU，Multi-Point Control Unit)收到客户端的码流后，解码所有上行视频流为YUV(其中"Y"表示明亮度(Lumina nce或Luma)，也就是灰阶值；是个基带信号。而"U"和"V"表示的则是色度(Chrominance或Chroma))图像，然后按照既定的窗口布局，对所有解码YUV图像进行缩放处理后拼接成一幅混屏图像，然后将混频图像编码并发送到每个视频客户端进行显示。从视频图像角度来看，视频客户端采集、编码的图像分辨率和MCU混屏分辨率是相对独立的。
但上述现有技术存在如下问题：
第一，视频客户端为保证清晰度一般会按照当前网络允许的最大分辨率进行采集、编码和传输，会造成视频客户端中央处理器的处理能力和网络传输带宽的浪费或成本提升；
第二，MCU需要解码多路较高分辨率的视频码流，并对其进行缩放和混屏，会增加MCU的解码和缩放负载，如果使用较低复杂度的缩放算法还会造成混屏图像的质量损失。
第三，MCU混屏后的图像需要发送到每个视频客户端，此混屏图像中包含的视频客户端的视频与视频客户端本地采集的视频实际上是相同的，所以存在MCU的编码负载浪费和网络传输带宽的浪费。
发明内容
本发明解决的技术问题在于提供一种视频会议系统及其实现视频图像传输控制的方法，以减少客户端中央处理器的处理能力和网络传输带宽的浪费或成本提升，减少MCU的解码和缩放负载，以及减少MCU的编码负载浪费和网络传输带宽的浪费。
为解决上述技术问题，本发明采用如下技术方案：
一种实现视频会议视频图像传输控制的方法，其包括：
多点控制单元向新呼入的视频客户端发送当前视频会议的视频布局参数；
新呼入的视频客户端根据当前视频会议的视频布局参数进行视频图像的视频采集、缩放裁剪、编码以及上行传输；
多点控制单元根据当前视频布局参数对从新呼入的视频客户端及视频会议中其他视频客户端传来的视频图像数据进行解码；
多点控制单元根据当前视频布局参数对解码获取的新呼入的会议客户端传送来的视频图像以及视频会议中其他视频客户端传来的视频图像一起进行混屏处理；
多点控制单元对混屏处理后得到的混屏视频图像数据进行编码后发送给各个视频客户端；
各个视频客户端接收多点控制单元传送来的混屏视频图像码流后根据当前视频会议的布局参数进行解码得到视频会议图像。
其中，多点控制单元对混屏处理后得到的混屏视频图像数据进行编码后发送给各个视频客户端具体包括：
多点控制单元对混屏视频图像数据进行编码得到混频视频图像码流；
确定要接收混频视频图像码流的目的视频客户端；
多点控制单元将所述混屏视频图像码流中该目的视频客户端本身上传的视频图像对应的码流去除后再将剩余的其他码流传送给该目的视频客户端；
各个视频客户端接收多点控制单元传送来的混屏视频图像码流后根据当前视频会议的布局参数进行解码得到视频会议图像具体包括：
各个视频客户端接收多点控制单元传送来的混屏视频图像码流；
各个视频客户端根据当前视频会议的布局参数进行解码并将本地采集的视频图像填充到解码后的视频图像中得到完整视频会议图像。
其中，多点控制单元对混屏视频图像数据进行编码是使用SLICE并行视频编码器将混屏视频图像数据编码为若干个SLICE码流；
多点控制单元将所述混屏视频图像码流中该目的视频客户端本身上传的视频图像对应的码流去除是将该目的视频客户端本身上传的视频图像编码对应的SLICE码流剔除。
其中，当视频会议中指定参数变化时，多点控制单元将新的当前视频布局参数传送给视频会议的各个视频客户端，各个视频客户端按照新的当前视频布局参数进行处理。
其中，指定参数包括分屏的位置、分屏的大小、视频客户端标识。
其中，多点控制单元与视频客户端之间按照RTP/RTCP/SIP协议传输当前视频布局参数。
其中，视频布局参数包括：混屏图像分辨率、混屏帧率，每个客户端在混屏图像中的排列位置和分屏分辨率，每个客户端的期望接收帧率、分辨率和码率信息。
另外，本发明的一种多点控制单元，其包括：
视频布局参数发送处理单元，用于向新呼入的视频客户端发送当前视频会议的视频布局参数以及当视频会议中指定参数变化时，将新的当前视频布局参数传送给视频会议的各个视频客户端；
解码处理单元，用于根据当前视频布局参数对从新呼入的视频客户端及视频会议中其他视频客户端传来的视频图像码流进行解码；
混屏处理单元，用于根据当前视频布局参数对解码获取的新呼入的会议客户端传送来的视频图像以及视频会议中其他视频客户端传来的视频图像一起进行混屏处理；
编码处理单元，用于对混屏处理后得到的混屏视频图像进行编码处理；
码流传送处理单元，用于将编码得到视频图像码流传送给各个视频客户端。
其中，编码单元包括SLICE并行视频编码器，用于将混屏视频图像数据编码为若干个SLICE码流；
码流传送处理单元包括：
确定处理单元，用于确定要接收混频视频图像码流的目的视频客户端；
码流选择处理单元，用于将所述混屏视频图像码流中该目的视频客户端本身上传的视频图像对应的码流去除选择剩余的其他码流；
传送处理单元，将所述码流选择单元选择的码流传送给该目的视频客户端。
另外，本发明的一种视频客户端，其包括：
视频布局参数接收处理单元，用于从多点控制单元接收当前视频布局参数；
视频采集处理单元，用于根据接收得到的当前视频会议的视频布局参数进行视频图像的视频采集；
缩放裁剪处理单元，用于根据接收得到的当前视频会议的视频布局参数进行视频图像的缩放裁剪；
编码处理单元，用于根据接收得到的当前视频会议的视频布局参数对上行传送给多点控制单元的视频图像进行编码；
传输处理单元，用于根据接收得到的当前视频会议的视频布局参数将编码后的视频图像码流传送给多点控制单元；
混频视频图像接收处理单元，用于接收多点控制单元传送来的混屏视频图像码流，进行解码并将本地采集的视频图像填充到解码后的视频图像中得到完整视频会议图像。
本发明取得了以下技术效果：
本发明的视频会议系统及实现视频会议视频图像传输控制的方法，其方法中采用：MCU向新呼入的视频客户端发送当前视频会议的视频布局参数；新呼入的视频客户端根据当前视频会议的视频布局参数进行视频图像的视频采集、缩放裁剪、编码以及上行传输，而无需按照最大分辨率进行采集、编码和传输，可减少客户端中央处理器的处理能力和网络传输带宽的浪费或成本提升；同时由于不需MCU进行缩放裁剪，可减少MCU的解码和缩放负载，而MCU对混屏处理后得到的混屏视频图像数据进行编码后发送给各个视频客户端，其中MCU将混屏视频图像码流中目的视频客户端本身上传的视频图像对应的码流去除后再将剩余的其他码流传送给该目的视频客户端；减少MCU的编码负载浪费和网络传输带宽的浪费。各个视频客户端接收MCU传送来的混屏视频图像码流后根据当前视频会议的布局参数进行解码得到视频会议图像。
附图说明
图1是根据本发明实现视频会议中视频图像传输控制的一种具体实施例流程图；
图2是根据本发明视频会议系统中多点控制单元的的一种具体实施例组成示意图；
图3是根据图2的多点控制单元中码流传送处理单元的一种具体实施例组成示意图；
图4是根据本发明视频会议系统中视频客户端的一种具体实施例组成示意图。
具体实施方式
为使本发明的上述目的、特征和优点更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明：
参考图1，该图为根据本发明的一种实现视频会议视频图像传输控制的方法的具体实施例流程图，主要包括：
步骤101，多点控制单元向新呼入的视频客户端发送当前视频会议的视频布局参数；
具体实现时，视频布局参数包括但不限于如下的参数：混屏图像分辨率、混屏帧率，每个客户端在混屏图像中的排列位置和分屏分辨率，每个客户端的期望接收帧率、分辨率和码率信息等，实际中根据视频会议的需要，还可以增加其他参数，另外，多点控制单元与视频客户端之间可按照预定协议，例如实时传输协议/实时传输控制协议/会话初始协议(RTP/RTCP/SIP协议)等传输当前视频布局参数；
需要说明的，本实施例中客户端包括但不限于手机、平板电脑PAD、电视TV、个人计算机PC等终端设备。
步骤102，新呼入的视频客户端根据当前视频会议的视频布局参数进行视频图像的视频采集、缩放裁剪、编码以及上行传输；
具体实现时，视频采集处理单元22也可对比当前视频会议布局参数给出的最大采集参数(包括最大采集分辨率/帧率等)与采集摄像头的最大采集参数(包括最大采集分辨率/帧率等)，选择二者之中参数较小的进行视频采集
另外，本步骤中在视频客户端进行视频图像的缩放裁剪，通过查看进行采集的分辨率/帧率是否和编码的分辨率/帧率相一致，如果不一致则进行图像分辨率缩放或帧率转换；本步骤中由于把多点控制单元的视频解码图像的缩放裁剪功能转移到视频客户端来处理，可大大降低多点控制单元解码和缩放负载；
另外，本步骤中视频客户端进行采集、编码、传输是按照多点控制单元传送的当前视频会议的视频布局参数，实际实现时，可结合本地控制资源信息如本地中央处理器CPU负载、网络丢包率、网络估计带宽等来动态实时调节视频编码参数如分辨率、帧率和码率等，而无需按照最大分辨率进行采集、编码和传输，可减少客户端中央处理器CPU的处理能力和网络传输带宽的浪费或成本提升；
另外，本步骤中视频客户端把编码后的码流传输到MCU可根据本地控制信息(例如当前网络带宽、分辨率、码率等)进行，并实时记录传输过程中的反馈和控制信息，用于估算当前的网络可用带宽等资源，然后定时反馈回视频客户端的视频编码单元进行视频码率闭环调节；
步骤103，多点控制单元根据当前视频布局参数对从新呼入的视频客户端及视频会议中其他视频客户端传来的视频图像数据进行解码；
具体实现时，多点控制单元接收该视频会议中所有视频客户端发送来的视频码流，对其进行解码成YUV图像，这里不再赘述；
步骤104，多点控制单元根据当前视频布局参数对解码获取的新呼入的会议客户端传送来的视频图像以及视频会议中其他视频客户端传来的视频图像一起进行混屏处理；
具体实现时，由于各个视频客户端对于需要缩放裁剪的视频图像已经进行缩放裁剪处理，即视频客户端上传的视频图像分辨率与当前混屏处理所需的每个分屏的分辨率相一致，所以参与混屏的图像一般不需要缩放操作，即本步骤中多点控制单元不再需要对视频图像进行压缩裁剪，可大大减少多点控制单元的解码和缩放裁剪的负载；
步骤105，多点控制单元对混屏处理后得到的混屏视频图像数据进行编码后发送给各个视频客户端；
具体实现时，可按照下述方式进行编码和传送，即：多点控制单元对混屏视频图像数据进行编码得到混频视频图像码流；确定要接收混频视频图像码流的目的视频客户端；多点控制单元将所述混屏视频图像码流中该目的视频客户端本身上传的视频图像对应的码流去除后再将剩余的其他码流传送给该目的视频客户端；
步骤106，各个视频客户端接收多点控制单元传送来的混屏视频图像码流后根据当前视频会议的布局参数进行解码得到视频会议图像。
具体实现时，可按照下述方式进行解码得到视频会议图像，即：各个视频客户端接收多点控制单元传送来的混屏视频图像码流；各个视频客户端根据当前视频会议的布局参数进行解码并将本地采集的视频图像填充到解码后的视频图像中得到完整视频会议图像。
需要说明的，上述步骤S105中，多点控制单元进行编码时，首先接经过混屏后输出的混屏图像以及当前的视频布局参数信息，然后可使用多SLICE(片)并行视频编码器对混屏视频图像进行编码和发送，即：根据当前的混屏布局参数信息(即当前视频布局参数)，M个视频客户端的分屏图像中的每个分屏图像使用N(N>＝1)个SLICE独立编码，然后把所有MxN个SLICE的码流合并成一个独立的码流连同当前的视频布局参数信息传输到多点控制单元的码流发送模块，多点控制单元的码流发送模块对照当前的视频布局参数信息，给每个视频客户端发送视频码流，其中需要该目的视频客户端本身上传的视频图像对应的码流去除后再将剩余的其他码流传送给该目的视频客户端，即从码流缓存中剔除该目的视频客户端分屏对应的N个SLICE的码流，发送剩余的其他M-1个视频客户端分屏的码流给该目的视频客户端；实际中，也可直接读取缓存中的M个视频客户端分屏的码流发送给目的该客户端。
而在步骤S106中，各个视频客户端接收到多点控制单元发送的码流后，对全部SLICE进行解码，把解码后的YUV图像存储到本地缓存中，并检查该图像是否完整：
(1)如果该帧图像完整，则直接输出到视频显示模块进行显示，例如多点控制单元直接将缓存中的M个视频客户端分屏的码流发送给视频客户端；
(2)如果该帧图像不完整，缺失的部分为视频布局参数中指示的该视频客户端分屏图像，则用本地实时采集的视频图像补充完整，然后进行显示；否则丢弃本帧图像，不予显示。
需要说明的，当视频会议中指定参数(例如分屏的位置、分屏的大小、视频客户端标识)变化时，多点控制单元将新的当前视频布局参数传送给视频会议的各个视频客户端，各个视频客户端按照新的当前视频布局参数进行处理，以保证多点控制单元进行混屏处理和视频客户端进行编解码的视频布局参数完全一致，具体实现时，可采用实时传输协议/实时传输控制协议/会话初始协议(RTP/RTCP/SIP协议)等传输指定参数，这里对具体的传输协议不做限定。
根据上述的实施例，首先，视频客户端根据视频会议中当前视频布局参数信息进行采集、编码和传输，在保证视频质量的前提下，降低了视频客户端编码器的负载，减少了视频客户端到多点控制单元的上行网络传输带宽，从而可以降低整体成本。
其次，多点控制单元的视频解码运算量由于图像分辨率减小也会降低，同时减少了图像裁剪缩放带来的多点控制单元的中央处理CPU消耗和多次缩放引起的图像失真，提高了多点控制单元的处理性能和视频质量。多点控制单元到视频客户端的下行视频码流剔除了该视频客户端自己上传的视频图像对应的码流，从而减少了下行网络传输带宽。
再次，视频客户端使用本地采集视频图像代替下行解码视频中该客户端所在分屏的视频图像，提高了该视频客户端分屏图像的清晰度和流畅性，降低了延时；而且由于不需要解码该视频客户端分屏的图像码流从而也降低了视频客户端解码器的负载。
再次，由于上行和下行视频码率的降低，在同样网络环境中，进一步可减少网络传输的误码、丢包几率，保证了用户体验。
下面说明本发明的另一方面。
本发明中视频会议系统包括多点控制单元1和各个视频客户端2，其中如图2所示，根据本发明具体实施例的一种多点控制单元1，主要包括：
视频布局参数发送处理单元11，本实施例中视频布局参数发送处理单元11主要用于向新呼入的视频客户端发送当前视频会议的视频布局参数以及当视频会议中指定参数变化时，将新的当前视频布局参数传送给视频会议的各个视频客户端；
解码处理单元12，本实施例中解码处理单元12主要用于根据当前视频布局参数对从新呼入的视频客户端及视频会议中其他视频客户端传来的视频图像码流进行解码；
混屏处理单元13，本实施例中混屏处理单元13主要用于根据当前视频布局参数对解码获取的新呼入的会议客户端传送来的视频图像以及视频会议中其他视频客户端传来的视频图像一起进行混屏处理；
编码处理单元14，本实施例中编码处理单元14主要用于对混屏处理后得到的混屏视频图像进行编码处理；
码流传送处理单元15，本实施例中码流传送处理单元15主要用于将编码得到视频图像码流传送给各个视频客户端。
需要说明的，本实施例的编码单元14可包括SLICE并行视频编码器，该SLICE并行视频编码器用于将混屏视频图像数据编码为若干个SLICE码流；
参考图3，作为一个优选实施例，码流传送处理单元15可包括：
确定处理单元151，本实施例中确定处理单元151主要用于确定要接收混频视频图像码流的目的视频客户端；
码流选择处理单元152，本实施例中码流选择处理单元152主要用于将所述混屏视频图像码流中该目的视频客户端本身上传的视频图像对应的码流去除选择剩余的其他码流；
传送处理单元153，本实施例中传送处理单元153主要将所述码流选择单元152选择的码流传送给该目的视频客户端。
另外，参考图4，根据本发明具体实施例的一种视频客户端2，主要包括：
视频布局参数接收处理单元21，本实施例中视频布局参数接收处理单元21主要用于从多点控制单元接收当前视频布局参数；
视频采集处理单元22，本实施例中视频采集处理单元22主要用于根据接收得到的当前视频会议的视频布局参数进行视频图像的视频采集，具体实现时，视频采集处理单元22也可对比当前视频会议布局参数给出的最大采集参数(包括最大采集分辨率/帧率等)与采集摄像头的最大采集参数(包括最大采集分辨率/帧率等)，选择二者之中参数较小的进行视频采集；
缩放裁剪处理单元23，本实施例中缩放裁剪处理单元23主要用于根据接收得到的当前视频会议的视频布局参数进行视频图像的缩放裁剪；
编码处理单元24，本实施例中编码处理单元24主要用于根据接收得到的当前视频会议的视频布局参数对上行传送给多点控制单元的视频图像进行编码；
传输处理单元25，本实施例中传输处理单元25主要用于根据接收得到的当前视频会议的视频布局参数将编码后的视频图像码流传送给多点控制单元；
混频视频图像接收处理单元26，本实施例中混频视频图像接收处理单元26主要用于接收多点控制单元传送来的混屏视频图像码流，进行解码并将本地采集的视频图像填充到解码后的视频图像中得到完整视频会议图像。
需要说明的，视频客户端对视频图像的处理(例如采集、缩放、编码、解码、传输等)按照接收到的当前视频布局参数进行，其图像规格均不超过多点控制单元下发的视频布局参数，因此，在保证视频质量的前提下，可有效降低视频客户端编码器的负载，减少了视频客户端到多点控制单元的上行网络传输带宽，从而可以降低整体成本。
以上对本发明实施例所提供的技术方案进行了详细介绍，本文中应用了具体个例对本发明实施例的原理以及实施方式进行了阐述，以上实施例的说明只适用于帮助理解本发明实施例的原理；同时，对于本领域的一般技术人员，依据本发明实施例，在具体实施方式以及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种实现视频会议视频图像传输控制的方法，其特征在于，包括：
多点控制单元向新呼入的视频客户端发送当前视频会议的视频布局参数；当视频会议中指定参数变化时，多点控制单元将新的当前视频布局参数传送给视频会议的各个视频客户端，各个视频客户端按照新的当前视频布局参数进行处理；
新呼入的视频客户端根据当前视频会议的视频布局参数进行视频图像的视频采集、缩放裁剪、编码以及上行传输；其包括：根据当前视频会议布局参数给出的最大采集参数与采集摄像头的最大采集参数，选择两者中的较小值进行视频采集，或者根据本地控制资源信息所实时调节的视频编码参数进行视频采集；还包括：根据定时接收的本地控制信息，视频客户端进行视频码率的闭环调节；
多点控制单元根据当前视频布局参数对从新呼入的视频客户端及视频会议中其他视频客户端传来的视频图像数据进行解码；
多点控制单元根据当前视频布局参数对解码获取的新呼入的会议客户端传送来的视频图像以及视频会议中其他视频客户端传来的视频图像一起进行混屏处理；
多点控制单元对混屏处理后得到的混屏视频图像数据进行编码后发送给各个视频客户端；
各个视频客户端接收多点控制单元传送来的混屏视频图像码流后根据当前视频会议的布局参数进行解码得到视频会议图像；其中，传送来的混屏视频图像码流不包含本地采集的视频图像对应的码流；视频会议图像包含本地采集的视频图像。
2.根据权利要求1所述的方法，其特征在于，多点控制单元对混屏处理后得到的混屏视频图像数据进行编码后发送给各个视频客户端具体包括：
多点控制单元对混屏视频图像数据进行编码得到混频视频图像码流；
确定要接收混频视频图像码流的目的视频客户端；
多点控制单元将所述混屏视频图像码流中该目的视频客户端本身上传的视频图像对应的码流去除后再将剩余的其他码流传送给该目的视频客户端；
各个视频客户端接收多点控制单元传送来的混屏视频图像码流后根据当前视频会议的布局参数进行解码得到视频会议图像具体包括：
各个视频客户端接收多点控制单元传送来的混屏视频图像码流；
各个视频客户端根据当前视频会议的布局参数进行解码并将本地采集的视频图像填充到解码后的视频图像中得到完整视频会议图像。
3.根据权利要求2所述的方法，其特征在于，多点控制单元对混屏视频图像数据进行编码是使用SLICE并行视频编码器将混屏视频图像数据编码为若干个SLICE码流；
多点控制单元将所述混屏视频图像码流中该目的视频客户端本身上传的视频图像对应的码流去除是将该目的视频客户端本身上传的视频图像编码对应的SLICE码流剔除。
4.根据权利要求1所述的方法，其特征在于，指定参数包括分屏的位置、分屏的大小、视频客户端标识。
5.根据权利要求1所述的方法，其特征在于，多点控制单元与视频客户端之间按照RTP/RTCP/SIP协议传输当前视频布局参数。
6.根据权利要求1所述的方法，其特征在于，视频布局参数包括：混屏图像分辨率、混屏帧率，每个客户端在混屏图像中的排列位置和分屏分辨率，每个客户端的期望接收帧率、分辨率和码率信息。
7.一种多点控制单元，其特征在于，包括：
视频布局参数发送处理单元，用于向新呼入的视频客户端发送当前视频会议的视频布局参数以及当视频会议中指定参数变化时，将新的当前视频布局参数传送给视频会议的各个视频客户端；所述视频布局参数包括：混屏图像分辨率、混屏帧率，每个客户端在混屏图像中的排列位置和分屏分辨率，每个客户端的期望接收帧率、分辨率和码率信息；
解码处理单元，用于根据当前视频布局参数对从新呼入的视频客户端及视频会议中其他视频客户端传来的经过缩放裁剪和编码的视频图像码流进行解码；
混屏处理单元，用于根据当前视频布局参数对解码获取的新呼入的会议客户端传送来的视频图像以及视频会议中其他视频客户端传来的视频图像一起进行混屏处理；
编码处理单元，用于对混屏处理后得到的混屏视频图像进行编码处理；
码流传送处理单元，用于将编码得到视频图像码流传送给各个视频客户端；其中，传送给各个视频客户端的视频图像码流不包含本地采集的视频图像对应的码流。
8.根据权利要求7所述的多点控制单元，其特征在于，编码单元包括SLICE并行视频编码器，用于将混屏视频图像数据编码为若干个SLICE码流；
码流传送处理单元包括：
确定处理单元，用于确定要接收混频视频图像码流的目的视频客户端；
码流选择处理单元，用于将所述混屏视频图像码流中该目的视频客户端本身上传的视频图像对应的码流去除选择剩余的其他码流；
传送处理单元，将所述码流选择单元选择的码流传送给该目的视频客户端。
9.一种视频客户端，其特征在于，包括：
视频布局参数接收处理单元，用于从多点控制单元接收当前视频会议的视频布局参数以及当视频会议中指定参数变化时，新的当前视频布局参数；
视频采集处理单元，用于根据接收得到的当前视频会议的视频布局参数进行视频图像的视频采集；其包括：根据当前视频会议布局参数给出的最大采集参数与采集摄像头的最大采集参数，选择两者中的较小值进行视频采集，或者根据本地控制资源信息所实时调节的视频编码参数进行视频采集；
缩放裁剪处理单元，用于根据接收得到的当前视频会议的视频布局参数进行视频图像的缩放裁剪；
编码处理单元，用于根据接收得到的当前视频会议的视频布局参数对上行传送给多点控制单元的视频图像进行编码；
传输处理单元，用于根据接收得到的当前视频会议的视频布局参数将编码后的视频图像码流传送给多点控制单元；其包括：根据定时接收的本地控制信息，视频客户端进行视频码率的闭环调节；
混频视频图像接收处理单元，用于接收多点控制单元传送来的混屏视频图像码流，进行解码并将本地采集的视频图像填充到解码后的视频图像中得到完整视频会议图像；其中，传送来的混屏视频图像码流不包含本地采集的视频图像对应的码流。
CN201511024779.1A 2015-12-30 2015-12-30 一种视频会议系统及其实现视频图像传输控制的方法 Active CN105635636B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511024779.1A CN105635636B (zh) 2015-12-30 2015-12-30 一种视频会议系统及其实现视频图像传输控制的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511024779.1A CN105635636B (zh) 2015-12-30 2015-12-30 一种视频会议系统及其实现视频图像传输控制的方法

Publications (2)

Publication Number Publication Date
CN105635636A CN105635636A (zh) 2016-06-01
CN105635636B true CN105635636B (zh) 2019-05-03

Family

ID=56050073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511024779.1A Active CN105635636B (zh) 2015-12-30 2015-12-30 一种视频会议系统及其实现视频图像传输控制的方法

Country Status (1)

Country Link
CN (1) CN105635636B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107888866A (zh) * 2016-09-30 2018-04-06 中兴通讯股份有限公司 多方视频会议控制方法、装置及会议视频服务器
CN108093197B (zh) * 2016-11-21 2021-06-15 阿里巴巴集团控股有限公司 用于信息分享的方法、系统及机器可读介质
CN108206923B (zh) * 2016-12-16 2020-10-27 展讯通信（上海）有限公司 多路视频通话的实现方法、装置及多通终端
CN108270989A (zh) * 2016-12-30 2018-07-10 中移（杭州）信息技术有限公司 一种视频图像处理方法和装置
CN108307138A (zh) * 2018-01-24 2018-07-20 湖北省广播电视信息网络股份有限公司 可远程通讯的视频系统和视频方法
CN108718399B (zh) * 2018-07-09 2023-12-08 深圳市潮流网络技术有限公司 一种基于浏览器页面的视频会议布局方法
CN111327865B (zh) * 2019-11-05 2021-12-28 杭州海康威视系统技术有限公司 视频传输方法、装置及设备
CN110933359B (zh) * 2020-01-02 2021-07-02 随锐科技集团股份有限公司 一种视频会议智能布局方法、装置及计算机可读存储介质
CN111225230B (zh) * 2020-02-20 2022-10-04 腾讯科技（深圳）有限公司 一种网络直播数据的管理方法以及相关装置
CN111970474B (zh) * 2020-08-28 2022-06-21 北京容联易通信息技术有限公司 一种多路视频的智能混屏方法和系统
CN112689119B (zh) * 2021-03-11 2021-06-18 全时云商务服务股份有限公司 一种云会议中录制视频合屏的处理方法及装置
CN113259618B (zh) * 2021-05-12 2022-06-10 中移智行网络科技有限公司 一种音视频会话方法、装置、第一终端和会话服务器
CN113992883B (zh) * 2021-10-29 2022-07-29 安徽文香科技有限公司 视频会议处理方法、处理设备、会议系统以及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06113336A (ja) * 1992-09-30 1994-04-22 Fujitsu Ltd 三次元多地点テレビ会議システム
CN1540954A (zh) * 2003-10-30 2004-10-27 清华大学深圳研究生院 一种ip视频会议系统中音视频流传输的流量控制方法
CN1918912A (zh) * 2004-02-13 2007-02-21 坦德伯格电信公司 用于产生持续出席图像的装置和方法
CN101594512A (zh) * 2009-06-30 2009-12-02 中兴通讯股份有限公司 实现高清多画面的终端、多点控制单元、系统及方法
CN102111605A (zh) * 2009-12-28 2011-06-29 杭州华三通信技术有限公司 Mcu多画面分屏实现方法及mcu
CN102387338A (zh) * 2010-09-03 2012-03-21 中兴通讯股份有限公司 分布式视频处理方法及视频会议系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8542266B2 (en) * 2007-05-21 2013-09-24 Polycom, Inc. Method and system for adapting a CP layout according to interaction between conferees
JP2012005107A (ja) * 2010-05-17 2012-01-05 Ricoh Co Ltd 多拠点描画画像共有装置、多拠点描画画像共有システム、方法、プログラムおよび記録媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06113336A (ja) * 1992-09-30 1994-04-22 Fujitsu Ltd 三次元多地点テレビ会議システム
CN1540954A (zh) * 2003-10-30 2004-10-27 清华大学深圳研究生院 一种ip视频会议系统中音视频流传输的流量控制方法
CN1918912A (zh) * 2004-02-13 2007-02-21 坦德伯格电信公司 用于产生持续出席图像的装置和方法
CN101594512A (zh) * 2009-06-30 2009-12-02 中兴通讯股份有限公司 实现高清多画面的终端、多点控制单元、系统及方法
CN102111605A (zh) * 2009-12-28 2011-06-29 杭州华三通信技术有限公司 Mcu多画面分屏实现方法及mcu
CN102387338A (zh) * 2010-09-03 2012-03-21 中兴通讯股份有限公司 分布式视频处理方法及视频会议系统

Also Published As

Publication number Publication date
CN105635636A (zh) 2016-06-01

Similar Documents

Publication Publication Date Title
CN105635636B (zh) 一种视频会议系统及其实现视频图像传输控制的方法
CA2737728C (en) Low latency video encoder
KR101936944B1 (ko) 상호작용 비디오 회의
EP2863632B1 (en) System and method for real-time adaptation of a conferencing system to current conditions of a conference session
CN110430441B (zh) 一种云手机视频采集方法、系统、装置及存储介质
US20080100694A1 (en) Distributed caching for multimedia conference calls
CN106303571B (zh) 图像采集过程中实现自适应屏幕旋转的方法及系统
CN100420299C (zh) 一种屏幕广播方法
CN111416989A (zh) 视频直播方法、系统及电子设备
CN102547375A (zh) 一种快速实现预览h.264编码帧的传输方法
CN101035248A (zh) 共享图片和/或视频数据的方法、系统及可视电话
CN106162199B (zh) 带反向信道消息管理的视频处理的方法和系统
CN106303661B (zh) 一种直播客户端实现自适应屏幕旋转的方法及系统
CN114584737B (zh) 一种云会议中实时多人同场景自定义的方法与系统
CN101242513A (zh) 一种视频会议中的双流传送方法和一种视频会议系统
CN108076301A (zh) VoLTE视频多方电话的视频处理方法和系统
CN110602522A (zh) 一种多路实时直播WebRTC流合成方法
US10085029B2 (en) Switching display devices in video telephony
US9313508B1 (en) Feeding intra-coded video frame after port reconfiguration in video telephony
WO2021057686A1 (zh) 视频解码方法和装置、视频编码方法和装置、存储介质及电子装置
TW201401882A (zh) 影像傳輸系統及其傳輸端裝置與接收端裝置
CN109348273A (zh) 多路视频实时传输方法、装置、基站设备及存储介质
CN106998328A (zh) 一种视频传输方法及装置
WO2021057478A1 (zh) 视频编解码方法和相关装置
CN101521790A (zh) 基于数字电视实现高清会议系统的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant