CN103581609B - 一种视频处理方法及装置、系统 - Google Patents

一种视频处理方法及装置、系统 Download PDF

Info

Publication number
CN103581609B
CN103581609B CN201210256064.9A CN201210256064A CN103581609B CN 103581609 B CN103581609 B CN 103581609B CN 201210256064 A CN201210256064 A CN 201210256064A CN 103581609 B CN103581609 B CN 103581609B
Authority
CN
China
Prior art keywords
video
video image
module
image
raw
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210256064.9A
Other languages
English (en)
Other versions
CN103581609A (zh
Inventor
叶小阳
李明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201210256064.9A priority Critical patent/CN103581609B/zh
Priority to PCT/CN2013/079835 priority patent/WO2014015780A1/zh
Priority to US14/408,391 priority patent/US9497390B2/en
Priority to EP13822250.0A priority patent/EP2852157B1/en
Publication of CN103581609A publication Critical patent/CN103581609A/zh
Application granted granted Critical
Publication of CN103581609B publication Critical patent/CN103581609B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明公开了一种视频处理方法,所述方法包括:按照预先确定的视频排列信息,将两个或两个以上的原始视频图像进行拼接,得到一个合成视频图像;对所述合成视频图像进行编码;将所述编码后的合成视频图像发送出去。相应的,本发明还公开了视频处理装置及系统,能够确保远程呈现会议中多路视频之间的严格同步;并且,解决了视频图像输出位置的确定问题,从而使得远程呈现会议呈现逼真的通信效果。

Description

一种视频处理方法及装置、系统
技术领域
本发明涉及视频会议技术,尤其涉及一种视频处理方法及装置、系统。
背景技术
远程呈现以其真实的临场感深受高端用户的喜爱,听声辩位、真身大小是远程呈现系统的关键技术指标。
在远程呈现会议系统中,要达到真身大小和听声辩位的效果,有多显示屏的终端会场,每个显示屏显示远端一处坐席的与会者图像,并与音频输出方位相对应。即会场中显示发言者图像的显示屏,与发言者音频的输出方位相对应。比如三屏会场,左席发言,那么应该听到声音从左侧发出。因此,远端图像输出的位置需要按照协商的策略确定,且多屏之间的时序严格同步,才能呈现逼真的通信效果。
发明人发现在远程呈现会议系统中,若采用多路视频分别编码传输的方式,则很难实现多路视频之间的严格同步,从而难以达到视频会议对实时性的同步要求,且不能解决视频图像输出位置的确定问题。
发明内容
有鉴于此,本发明的主要目的在于提供一种视频处理方法及装置、系统,能够保证远程呈现会议中多路视频之间的严格同步。
为达到上述目的,本发明的技术方案是这样实现的:
本发明提供了一种视频处理方法,所述方法包括:
按照预先确定的视频排列信息,将两个或两个以上的原始视频图像进行拼接,得到一个合成视频图像;
对所述合成视频图像进行编码;
将所述编码后的合成视频图像发送出去。
在上述方案中,所述将两个或两个以上的原始视频图像进行拼接之前,所述方法还包括:分别由两个或两个以上的视频采集设备采集所述两个或两个以上的原始视频图像。
在上述方案中,所述视频排列信息包括各所述原始视频图像所对应的视频采集设备的标识、各所述原始视频图像在所述合成视频图像中的位置信息、各所述原始视频图像所对应的视频显示设备的标识之间的对应关系。
在上述方案中,所述将两个或两个以上的原始视频图像进行拼接之前,所述方法还包括:通过与用于接收所述视频图像的端点进行媒体能力协商,确定所述视频排列信息。
本发明还提供了一种视频处理装置,所述装置包括:拼接模块、编码模块和发送模块;其中,
拼接模块,用于按照预先确定的视频排列信息,将两个或两个以上的原始视频图像进行拼接,得到一个合成视频图像;
编码模块,用于对所述拼接模块得到的合成视频图像进行编码;
发送模块,用于将所述编码模块编码后的合成视频图像发送出去。
在上述方案中,所述装置还连接有两个或两个以上的视频采集设备,所述视频采集设备用于采集所述原始视频图像。
在上述方案中,所述视频排列信息包括各所述原始视频图像所对应的视频采集设备的标识、各所述原始视频图像在所述合成视频图像中的位置信息、各所述原始视频图像所对应的视频显示设备的标识之间的对应关系。
在上述方案中,所述装置还包括:第一确定模块,还用于通过与用于接收所述视频图像的端点进行媒体能力协商,确定所述视频排列信息;
所述拼接模块,用于根据所述第一确定模块确定的视频排列信息,将两个或两个以上的原始视频图像进行拼接,得到一个合成视频图像。
本发明还提供了一种视频处理方法,所述方法包括:
接收由两个或两个以上的原始视频图像拼接得到并进行编码后的合成视频图像;
对所述合成视频图像进行解码;
按照预先确定的视频排列信息,对解码后的合成视频图像进行分解,得到两个或两个以上的原始视频图像,并将各所述原始视频图像分别发送到相应的视频显示设备上进行显示。
在上述方案中,所述视频排列信息包括各所述原始视频图像所对应的视频采集设备的标识、各所述原始视频图像在所述合成视频图像中的位置信息、各所述原始视频图像所对应的视频显示设备的标识之间的对应关系。
在上述方案中,所述对解码后的合成视频图像进行分解之前,所述方法还包括:通过与用于发送所述合成视频图像的端点进行媒体能力协商,确定所述视频排列信息。
本发明还提供了一种视频处理装置,所述装置包括:接收模块、解码模块和分解模块;其中,
接收模块,用于接收由两个或两个以上的原始视频图像拼接得到并进行编码后的合成视频图像;
解码模块,用于对所述接收模块接收到的合成视频图像进行解码;
分解模块,用于按照预先确定的视频排列信息,对解码后的合成视频图像进行分解,得到两个或两个以上的原始视频图像,并将各所述原始视频图像分别发送到相应的视频显示设备上进行显示。
在上述方案中,所述视频排列信息包括各所述原始视频图像所对应的视频采集设备的标识、各所述原始视频图像在所述合成视频图像中的位置信息、各所述原始视频图像所对应的视频显示设备的标识之间的对应关系。
在上述方案中,所述装置还包括:第二确定模块,还用于通过与用于发送所述视频图像的端点进行媒体能力协商,确定所述视频排列信息;
所述分解模块,用于根据所述第二确定模块确定的视频排列信息,对解码后的合成视频图像进行分解,得到两个或两个以上的原始视频图像。
本发明还提供了一种视频处理方法,所述方法包括:
按照预先确定的视频排列信息,将两个或两个以上的原始视频图像进行拼接,得到一个合成视频图像,对所述合成视频图像进行编码后发送出去;
接收所述合成视频图像,对所述合成视频图像进行解码,并按照预先确定的视频排列信息,对解码后的合成视频图像进行分解,得到两个或两个以上的原始视频图像,再将各所述原始视频图像分别发送到相应的视频显示设备上进行显示。
在上述方案中,所述将两个或两个以上的原始视频图像进行拼接之前,所述方法还包括:分别由两个或两个以上的视频采集设备采集所述两个或两个以上的原始视频图像。
在上述方案中,所述视频排列信息包括各所述原始视频图像所对应的视频采集设备标识、各所述原始视频图像的位置信息、各所述原始视频图像所对应视频显示设备的标识之间的对应关系。
在上述方案中,所述方法还包括:进行媒体能力协商,确定所述视频排列信息。
本发明还提供了一种视频处理系统,所述视频处理系统包括:拼接模块、编码模块、发送模块、接收模块、解码模块和分解模块;其中,
拼接模块,用于按照预先确定的视频排列信息,将两个或两个以上的原始视频图像进行拼接,得到一个合成视频图像;
编码模块,用于对所述拼接模块得到的合成视频图像进行编码;
发送模块,用于将所述编码模块编码后的合成视频图像发送出去;
接收模块,用于接收所述发送模块发送的合成视频图像;
解码模块,用于对所述接收模块接收到的合成视频图像进行解码;
分解模块,用于按照预先确定的视频排列信息,对解码后的合成视频图像进行分解,得到两个或两个以上的原始视频图像,并将各所述原始视频图像分别发送到相应的外接视频显示设备上进行显示。
在上述方案中,所述拼接模块还连接有两个或两个以上的视频采集设备,所述视频采集设备用于采集所述原始视频图像。
在上述方案中,所述系统还包括:第一确定模块和第二确定模块,用于进行媒体能力协商,确定所述视频排列信息;
所述拼接模块,用于根据所述第一确定模块确定的视频排列信息,将两个或两个以上的原始视频图像进行拼接,得到一个合成视频图像;
所述分解模块,用于根据所述第二确定模块确定的视频排列信息,对解码后的合成视频图像进行分解,得到两个或两个以上的原始视频图像。
在上述方案中,所述拼接模块、编码模块、发送模块和第一确定模块设置在本端终端上,所述本端终端外接视频采集设备;
所述接收模块、解码模块、分解模块和第二确定模块设置在远端终端上,所述远端终端外接视频显示设备。
在上述方案中,所述系统还包括多点处理单元MCU,用于实现所述本端终端与一个或多个远端终端之间的交互。
在上述方案中,所述系统包括多个终端和MCU,其中,所述多个终端之间互为本端终端和远端终端,通过所述MCU进行交互;
各所述终端均外接有视频采集设备和视频显示设备,每个所述终端均包括所述拼接模块、编码模块、发送模块、接收模块、解码模块、分解模块、第一确定模块和第二确定模块;
所述MCU中包括所述拼接模块、编码模块、发送模块、接收模块、解码模块、分解模块、第一确定模块和第二确定模块。
本发明的视频处理方法及装置、系统,能够将多路原始视频图像拼接为一个合成视频图像后再进行编码和发送,确保远程呈现会议中多路视频之间的严格同步;并且,在接收所述合成视频图像后先分解为多个原始视频图像再分别由相应的视频显示设备进行显示,解决了视频图像输出位置的确定问题,保证远程呈现会议中多屏之间的时序严格同步,视频图像按照预先设定的位置输出,从而呈现逼真的通信效果。
附图说明
图1为本发明实施例一中视频处理系统的组成结构示意图;
图2为本发明实施例一中视频处理过程的具体实现流程示意图;
图3为本发明实施例二中视频处理系统的组成结构示意图;
图4为本发明实施例二中视频处理过程的具体实现流程示意图;
图5为本发明实施例三中视频处理系统的组成结构示意图。
具体实施方式
本发明的基本思想是:发送端将采集的多个视频图像按照预先协商的视频排列信息进行拼接,合成为一个图像后进行编码发送;接收端接收到所述图像后解码后,按照所述视频排列信息将所述图像进行分解,得到所述多个视频图像,并将所述多个视频图像发送到各自的显示设备上进行显示。
实施例一
本实施例提供了一种用于远程呈现的视频处理系统,所述系统包括:多个视频采集设备(VC1、VC2、VC3)、多个视频显示设备(VD1、VD2、VD3)、本端终端和远端终端,其中,所述多个视频采集设备与本端终端连接,多个视频显示设备与远端终端连接。视频采集设备用于采集原始视频图像,并将采集到的原始视频图像发送给本端终端,本端终端作为视频图像的发送端,将各视频采集设备发送的原始视频图像进行拼接得到一个合成视频图像,再对所述合成视频图像进行编码并发送;远端终端作为视频图像的接收端,接收所述本端终端发送的合成视频图像,将所述合成视频图像进行分解,得到多个原始视频图像,再将所述多个原始视频图像分别发送给对应的视频显示设备进行显示。
具体地,如图1所示,本端终端与远端终端之间进行点对点组网,本端终端上连接有三个视频采集设备(VC1、VC2、VC3),分别采集3路原始视频图像,相应的,远端终端上连接有三个视频显示设备(VD1、VD2、VD3),分别显示所述3路原始视频图像。
本实施例中,如图2所示,基于上述的视频处理系统进行视频处理的过程,具体可以包括如下步骤:
步骤201:本端终端与远端终端预先进行媒体能力协商,确定用于指示从左至右的排列方式对VC1、VC2、VC3的原始视频图像进行拼接的视频排列信息。
其中,本端终端与远端终端预先进行媒体能力协商,确定用于指示从左至右的排列方式对VC1、VC2、VC3的原始视频图像进行拼接的视频排列信息。这样,使得三个视频采集设备VC1、VC2、VC3分别采集的左路(VC1)、中路(VC2)、右路(VC3)的原始视频图像能够分别在位于左(VD1)、中(VD2)、右(VD3)处的视频显示设备中显示。
具体地,可以在所述视频排列信息预先规定各视频采集设备所采集视频图像的位置信息。在本实施例中,在所述视频排列信息中具体可以规定三个视频采集设备VC1、VC2、VC3所采集到的视频图像在所述合成视频图像中的坐标位置以及大小等信息。例如,可以在所述视频排列信息中规定VC1视频图像的宽度、高度以及坐标起始位置,VC2视频图像的宽度、高度以及坐标起始位置,VC3视频图像的宽度、高度以及坐标起始位置。如果需要将VC1、VC2、VC3的视频图像按照左中右的顺序拼接,则可以在所述视频排列信息中规定VC1视频图像在所述合成视频图像中的坐标起始位置为零,VC2视频图像在所述合成视频图像中的坐标起始位置与VC1视频图像的宽度相同,VC3视频图像在所述合成视频图像中的坐标起始位置为VC1视频图像与VC2视频图像的宽度之和。或者,也可以在所述视频排列信息中规定各视频采集设备(VC1、VC2、VC3)所采集视频图像的大小以及在所述合成视频图像中的相对位置等信息,以使得本端终端在对各视频图像进行拼接时能够依据该视频排列信息中各视频图像的大小以及相对位置进行拼接处理,得到一个合成视频图像。
这里,在所述视频排列信息中还可以规定各原始视频图像所对应的视频显示设备。对于本实施例中的应用场景,可以在所述视频排列信息中规定如下信息:VC1对应VD1、VC2对应VD2、VC3对应VD3;VD1表示左边位置处的视频显示设备,VD2表示中间位置的视频显示设备,VD3表示右边位置处的视频显示设备。
步骤202:三个视频采集设备(VC1、VC2、VC3)分别采集三路原始视频图像;
步骤203:本端终端按照所述视频排列信息,对三个视频采集设备(VC1、VC2、VC3)采集的三路原始视频图像进行拼接,得到一个合成视频图像,并对所述合成视频图像编码后通过自身与远端终端之间的媒体通道发送给远端终端;
步骤204:远端终端接收所述合成视频图像,对所述合成视频图像进行解码后,按照所述视频排列信息对解码后的合成视频图像进行分解,得到三路原始视频图像;
步骤205:远端终端将所述三路原始视频图像分别发送给左、中、右的三个视频显示设备进行显示。
具体的,远端终端接收到本端终端发送的合成视频图像码流后,进行解码处理后,根据上述协商的视频排列信息对解码后的合成视频图像进行分解处理,得到三个图像VD1、VD2、VD3,发送给对应的视频显示设备进行显示。这样,远端终端在分解得到多路视频图像时,首先根据视频排列信息中所规定的各视频采集设备所采集视频图像的位置信息,对合成视频图像进行分解,得到多个视频图像,再将所述即已确定各视频图像所对应的视频显示设备了。
本实施例中,本端终端具体包括拼接模块、编码模块和发送模块,其中,拼接模块用于按照预先确定的视频排列信息,将各视频采集设备发送的各原始视频图像进行拼接,得到一个合成视频图像;编码模块,用于对所述拼接模块得到的合成视频图像进行编码处理;发送模块,用于将所述编码模块编码处理后的合成视频图像发送给远端终端。
远端终端具体可以包括接收模块、解码模块和分解模块,其中,接收模块用于接收所述本端终端发送的合成视频图像;解码模块,用于对所述接收模块接收到的合成视频图像进行解码处理;分解模块,用于按照预先确定的视频排列信息,对所述解码模块解码处理后的合成视频图像进行分解,得到多个原始视频图像,并将多个原始视频图像分别发送给对应的视频显示设备进行显示。
本端终端还包括第一确定模块,还用于通过与远端终端进行媒体能力协商,确定所述视频排列信息;所述拼接模块,用于根据所述第一确定模块确定的视频排列信息,将两个或两个以上的原始视频图像进行拼接,得到一个合成视频图像。
远端终端还可以包括:第二确定模块,还用于通过与用于发送所述视频图像的终端进行媒体能力协商,确定所述视频排列信息;所述分解模块,用于根据所述第二确定模块确定的视频排列信息,对解码后的合成视频图像进行分解,得到两个或两个以上的原始视频图像。
综上可知,本实施例中,本端终端与远端终端协商所确定的视频排列信息中可以包括各视频采集设备的标识、各视频采集设备所采集原始视频图像的位置信息、各视频显示设备的标识及三者之间的对应关系。原始视频图像的位置信息还可以包含各视频采集设备所采集原始视频图像的大小等信息。
实施例二
本实施例中的远程呈现的视频处理系统组成结构如图3所示,与实施例一中视频处理系统的组成结构基本相同,所不同的是,本实施例中的视频处理系统中还包括多点处理单元(MCU),本端终端与远端终端通过MCU进行组网,也就是说,本端终端与远端终端之间通过MCU进行数据交互。
本实施例中视频处理的过程如图4所示,具体可以包括如下步骤:
步骤401:与步骤201基本相同,所不同的是,本端终端与远端终端之间不是直接进行媒体能力协商,而是通过MCU进行媒体能力协商。
也就是说,在进行媒体能力协商时,本端终端与用于接收所述视频图像的端点进行媒体能力协商,确定所述视频排列信息。这里,所述端点为上述的远端终端或者MCU。
步骤402:与步骤202完全相同;
步骤403:与步骤203基本相同,所不同的是,本端终端对所述合成视频图像编码后,通过自身与MCU之间的媒体通道发送给MCU。
步骤404:MCU将通过自身与远端终端之间的媒体通道,将编码后的合成视频图像发送给远端终端;
步骤405:与步骤204基本相同,所不同的是,远端终端接收MCU转发的所述合成视频图像。
步骤406:与步骤205完全相同。
本实施例中,本端终端与实施例一中的本端终端组成结构完全相同,远端终端与实施例一中远端终端的组成结构也完全相同,唯一不同的是,本实施例中本端终端的发送模块将合成视频图像发送给MCU,远端终端的接收模块接收由MCU转发的合成视频图像。
实施例三
本实施例提供了一种远程呈现的视频处理系统,如图5所示,所述系统包括:多个视频采集设备、多个视频显示设备、MCU、第一终端、第二终端和第三终端,其中,第一终端上连接有三个视频采集设备(VC1、VC2、VC3)和三个视频显示设备(VD4、VD5和VD6);第二终端上连接有两个视频采集设备(VC4、VC5)和两个视频显示设备(VD1、VD2);第三终端上连接有一个视频采集设备(VC6)和一个视频显示设备(VD3)。第一终端、第二终端和第三终端均可以同时作为视频图像的发送端和接收端。第一终端、第二终端和第三终端通过MCU组网,第一终端作为本端时,第二终端和第三终端作为相对应的远端,第二终端和第三终端作为本端时,第一终端作为相对应的远端。
本实施例中,进行视频处理的过程具体可以包括如下步骤:
步骤1:第一终端、第二终端和第三终端预先分别与MCU进行媒体能力协商,确定视频排列信息,并将所述视频排列信息分别配置到第一终端、第二终端、第三终端和MCU上。
本实施例中,第一终端与MCU协商确定的视频排列信息可以包括:VC1对应VD1、VC2对应VD2、VC3对应VD3,在合成视频图像中采用从左至右的排列方式对VC1、VC2、VC3的原始视频图像进行拼接;以及,包括:VC4对应VD4、VC5对应VD5、VC6对应VD6,并在合成视频图像中采用从左至右的排列方式对VC4、VC5、VC6的原始视频图像进行拼接。
第二终端与MCU协商确定的视频排列信息可以包括:VC1对应VD1、VC2对应VD2,在合成视频图像中采用从左至右的排列方式对VC1、VC2的原始视频图像进行拼接;以及,VC4对应VD4、VC5对应VD5,并在合成视频图像中采用从左至右的排列方式对VC4、VC5的原始视频图像进行拼接。
步骤2:三个视频采集设备(VC1、VC2、VC3)分别采集原始视频图像;
步骤3:第一终端按照自身与MCU协商确定的视频排列信息,对三个视频采集设备(VC1、VC2、VC3)采集的原始视频图像进行拼接,得到第一合成视频图像,并对所述第一合成视频图像编码后通过自身与MCU之间的媒体通道发送给MCU;
步骤4:MCU接收所述第一终端发送的第一合成视频图像的码流,进行解码后,根据自身与第一终端协商确定的视频排列信息再进行分解,得到三个原始视频图像,再将VC1、VC2的原始视频图像按照MCU与第二终端协商确定的视频排列信息进行拼接,得到第二合成视频图像,对该第二合成视频图像进行编码后通过自身与第二终端之间的通道发送给连接有VD1和VD2的第二终端,将VC3的原始视频图像编码后发送给连接有VD3的第三终端;
步骤5:第二终端接收MCU发送的VC1、VC2的第二合成视频图像,进行解码后,根据MCU与自身协商确定的视频排列信息进行分解,得到两个原始图像,分别发送给VD1、VD2进行显示;第三终端接收MCU发送的VC3的视频图像,解码后发送给VD3进行显示。
此外,上述视频处理过程还可以包括如下的步骤:
步骤6:两个视频采集设备(VC4、VC5)分别采集原始视频图像,第二终端将两个视频采集设备(VC4、VC5)采集的两路原始视频图像按照自身与MCU协商确定的视频排列信息进行拼接,得到第三合成视频图像,并对该第三合成视频图像进行编码后通过自身与MCU之间的媒体通道发送给MCU;第三终端将视频采集设备VC6采集的原始视频图像编码后发送给MCU。
步骤7:MCU对第二终端发送的第三合成视频图像解码后,再按照自身与所述第二终端协商确定的视频排列信息进行分解,得到两路原始视频图像;此外,还对第三终端发送的一路原始视频图像进行解码;然后,MCU按照自身与第一终端协商确定的视频排列信息,对上述三路原始视频图像进行拼接,得到第四合成视频图像,并对所述第四合成视频图像编码后通过自身与第一终端之间的媒体通道发送给第一终端;
步骤8:第一终端接收所述MCU发送的第四合成视频图像,对所述第四合成视频图像进行解码后,按照自身与MCU协商确定的视频排列信息对解码后的第四合成视频图像进行分解,得到三路原始视频图像,分别输出到VD4、VD5和VD6进行显示。
需要说明的是,步骤1~步骤5的流程与步骤6~步骤8的流程是互不影响的两个流程,不分先后。
本实施例中,第一终端、第二终端、第三终端和MCU均包含拼接模块、编码模块、发送模块和第一确定模块,还可以包含第二确定模块、接收模块、解码模块和分解模块,分别与实施例二中相应模块的功能基本相同。具体地,拼接模块用于在只有一个原始视频图像时,不对所述原始视频图像进行拼接处理,直接发送给编码模块进行编码;在有两个或两个以上原始视频图像时根据预先确定的视频排列信息对两个或两个以上原始视频图像进行拼接得到一个合成视频图像,发送给编码模块进行编码;发送模块用于将编码模块编码处理后的原始视频图像或合成视频图像发送给第一终端或第二终端或第三终端或MCU的接收模块;接收模块还用于接收来自第一终端、或第二终端、或第三终端或MCU的原始视频图像或合成视频图像,解码模块还用于对接收模块接收到的原始视频图像或合成视频图像进行解码;分解模块还用于对于解码模块解码后的原始视频图像不进行分解,对于解码模块解码后的合成视频图像根据预先确定的视频排列信息进行分解得到原始视频图像,并根据所述视频排列信息将原始视频图像发送到相应的视频显示设备上进行显示。
实际应用中,上述各实施例中的终端具体可以是视频会议终端、手机终端、机顶盒等类似的具备视频通信能力的硬件设备。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。

Claims (24)

1.一种视频处理方法,其特征在于,所述方法包括:
按照预先确定的视频排列信息,将两个或两个以上的原始视频图像进行拼接,得到一个合成视频图像;
对所述合成视频图像进行编码;
将所述编码后的合成视频图像发送出去;其中,所述合成视频图像,用于接收端按照预先确定的视频排列信息分解并得到所述原始视频图像,供相应的视频显示设备同步显示所述原始视频图像。
2.根据权利要求1所述的视频处理方法,其特征在于,所述将两个或两个以上的原始视频图像进行拼接之前,所述方法还包括:
分别由两个或两个以上的视频采集设备采集所述两个或两个以上的原始视频图像。
3.根据权利要求1所述的视频处理方法,其特征在于,所述视频排列信息包括各所述原始视频图像所对应的视频采集设备的标识、各所述原始视频图像在所述合成视频图像中的位置信息、各所述原始视频图像所对应的视频显示设备的标识之间的对应关系。
4.根据权利要求1或3所述的视频处理方法,其特征在于,所述将两个或两个以上的原始视频图像进行拼接之前,所述方法还包括:
通过与用于接收所述视频图像的端点进行媒体能力协商,确定所述视频排列信息。
5.一种视频处理装置,其特征在于,所述装置包括:拼接模块、编码模块和发送模块;其中,
拼接模块,用于按照预先确定的视频排列信息,将两个或两个以上的原始视频图像进行拼接,得到一个合成视频图像;其中,所述合成视频图像,用于接收端按照预先确定的视频排列信息分解并得到所述原始视频图像,供相应的视频显示设备同步显示所述原始视频图像;
编码模块,用于对所述拼接模块得到的合成视频图像进行编码;
发送模块,用于将所述编码模块编码后的合成视频图像发送出去。
6.根据权利要求5所述的视频处理装置,其特征在于,所述装置还连接有两个或两个以上的视频采集设备,所述视频采集设备用于采集所述原始视频图像。
7.根据权利要求5所述的视频处理装置,其特征在于,所述视频排列信息包括各所述原始视频图像所对应的视频采集设备的标识、各所述原始视频图像在所述合成视频图像中的位置信息、各所述原始视频图像所对应的视频显示设备的标识之间的对应关系。
8.根据权利要求5所述的视频处理装置,其特征在于,所述装置还包括:第一确定模块,还用于通过与用于接收所述视频图像的端点进行媒体能力协商,确定所述视频排列信息;
所述拼接模块,用于根据所述第一确定模块确定的视频排列信息,将两个或两个以上的原始视频图像进行拼接,得到一个合成视频图像。
9.一种视频处理方法,其特征在于,所述方法包括:
接收由两个或两个以上的原始视频图像拼接得到并进行编码后的合成视频图像;
对所述合成视频图像进行解码;
按照预先确定的视频排列信息,对解码后的合成视频图像进行分解,得到两个或两个以上的原始视频图像,并将各所述原始视频图像分别发送到相应的视频显示设备上进行同步显示。
10.根据权利要求9所述的视频处理方法,其特征在于,所述视频排列信息包括各所述原始视频图像所对应的视频采集设备的标识、各所述原始视频图像在所述合成视频图像中的位置信息、各所述原始视频图像所对应的视频显示设备的标识之间的对应关系。
11.根据权利要求9或10所述的视频处理方法,所述对解码后的合成视频图像进行分解之前,所述方法还包括:
通过与用于发送所述合成视频图像的端点进行媒体能力协商,确定所述视频排列信息。
12.一种视频处理装置,其特征在于,所述装置包括:接收模块、解码模块和分解模块;其中,
接收模块,用于接收由两个或两个以上的原始视频图像拼接得到并进行编码后的合成视频图像;
解码模块,用于对所述接收模块接收到的合成视频图像进行解码;
分解模块,用于按照预先确定的视频排列信息,对解码后的合成视频图像进行分解,得到两个或两个以上的原始视频图像,并将各所述原始视频图像分别发送到相应的视频显示设备上进行同步显示。
13.根据权利要求12所述的视频处理装置,其特征在于,所述视频排列信息包括各所述原始视频图像所对应的视频采集设备的标识、各所述原始视频图像在所述合成视频图像中的位置信息、各所述原始视频图像所对应的视频显示设备的标识之间的对应关系。
14.根据权利要求12或13所述的视频处理装置,其特征在于,所述装置还包括:第二确定模块,还用于通过与用于发送所述视频图像的端点进行媒体能力协商,确定所述视频排列信息;
所述分解模块,用于根据所述第二确定模块确定的视频排列信息,对解码后的合成视频图像进行分解,得到两个或两个以上的原始视频图像。
15.一种视频处理方法,其特征在于,所述方法包括:
按照预先确定的视频排列信息,将两个或两个以上的原始视频图像进行拼接,得到一个合成视频图像,对所述合成视频图像进行编码后发送出去;
接收所述合成视频图像,对所述合成视频图像进行解码,并按照预先确定的视频排列信息,对解码后的合成视频图像进行分解,得到两个或两个以上的原始视频图像,再将各所述原始视频图像分别发送到相应的视频显示设备上进行同步显示。
16.根据权利要求15所述的视频处理方法,其特征在于,所述将两个或两个以上的原始视频图像进行拼接之前,所述方法还包括:分别由两个或两个以上的视频采集设备采集所述两个或两个以上的原始视频图像。
17.根据权利要求15所述的视频处理方法,其特征在于,所述视频排列信息包括各所述原始视频图像所对应的视频采集设备标识、各所述原始视频图像的位置信息、各所述原始视频图像所对应视频显示设备的标识之间的对应关系。
18.根据权利要求15或17所述的视频处理方法,其特征在于,所述方法还包括:进行媒体能力协商,确定所述视频排列信息。
19.一种视频处理系统,其特征在于,所述视频处理系统包括:拼接模块、编码模块、发送模块、接收模块、解码模块和分解模块;其中,
拼接模块,用于按照预先确定的视频排列信息,将两个或两个以上的原始视频图像进行拼接,得到一个合成视频图像;
编码模块,用于对所述拼接模块得到的合成视频图像进行编码;
发送模块,用于将所述编码模块编码后的合成视频图像发送出去;
接收模块,用于接收所述发送模块发送的合成视频图像;
解码模块,用于对所述接收模块接收到的合成视频图像进行解码;
分解模块,用于按照预先确定的视频排列信息,对解码后的合成视频图像进行分解,得到两个或两个以上的原始视频图像,并将各所述原始视频图像分别发送到相应的外接视频显示设备上进行同步显示。
20.根据权利要求19所述的视频处理系统,其特征在于,所述拼接模块还连接有两个或两个以上的视频采集设备,所述视频采集设备用于采集所述原始视频图像。
21.根据权利要求19或20所述的视频处理系统,其特征在于,所述系统还包括:第一确定模块和第二确定模块,用于进行媒体能力协商,确定所述视频排列信息;
所述拼接模块,用于根据所述第一确定模块确定的视频排列信息,将两个或两个以上的原始视频图像进行拼接,得到一个合成视频图像;
所述分解模块,用于根据所述第二确定模块确定的视频排列信息,对解码后的合成视频图像进行分解,得到两个或两个以上的原始视频图像。
22.根据权利要求21所述的视频处理系统,其特征在于,
所述拼接模块、编码模块、发送模块和第一确定模块设置在本端终端上,所述本端终端外接视频采集设备;
所述接收模块、解码模块、分解模块和第二确定模块设置在远端终端上,所述远端终端外接视频显示设备。
23.根据权利要求21所述的视频处理系统,其特征在于,所述系统还包括多点处理单元MCU,用于实现本端终端与一个或多个远端终端之间的交互。
24.根据权利要求20所述的视频处理系统,其特征在于,所述系统包括多个终端和MCU,其中,所述多个终端之间互为本端终端和远端终端,通过所述MCU进行交互;
各所述终端均外接有视频采集设备和视频显示设备,每个所述终端均包括所述拼接模块、编码模块、发送模块、接收模块、解码模块、分解模块、第一确定模块和第二确定模块;
所述MCU中包括所述拼接模块、编码模块、发送模块、接收模块、解码模块、分解模块、第一确定模块和第二确定模块。
CN201210256064.9A 2012-07-23 2012-07-23 一种视频处理方法及装置、系统 Expired - Fee Related CN103581609B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201210256064.9A CN103581609B (zh) 2012-07-23 2012-07-23 一种视频处理方法及装置、系统
PCT/CN2013/079835 WO2014015780A1 (zh) 2012-07-23 2013-07-22 一种视频处理方法及装置、系统
US14/408,391 US9497390B2 (en) 2012-07-23 2013-07-22 Video processing method, apparatus, and system
EP13822250.0A EP2852157B1 (en) 2012-07-23 2013-07-22 Video processing method, apparatus, and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210256064.9A CN103581609B (zh) 2012-07-23 2012-07-23 一种视频处理方法及装置、系统

Publications (2)

Publication Number Publication Date
CN103581609A CN103581609A (zh) 2014-02-12
CN103581609B true CN103581609B (zh) 2018-09-28

Family

ID=49996584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210256064.9A Expired - Fee Related CN103581609B (zh) 2012-07-23 2012-07-23 一种视频处理方法及装置、系统

Country Status (4)

Country Link
US (1) US9497390B2 (zh)
EP (1) EP2852157B1 (zh)
CN (1) CN103581609B (zh)
WO (1) WO2014015780A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104883344B (zh) * 2014-02-28 2018-07-03 华为技术有限公司 协商媒体能力的方法和设备
CN104156187B (zh) * 2014-07-24 2018-11-23 惠州Tcl移动通信有限公司 一种多屏显示设备
GB201413581D0 (en) * 2014-07-31 2014-09-17 Microsoft Corp Instant messaging
CN105472310A (zh) * 2016-01-26 2016-04-06 邦彦技术股份有限公司 一种基于sip协议的视频会议的实现方法及其系统
CN105681731A (zh) * 2016-03-04 2016-06-15 福建星网智慧科技股份有限公司 一种基于多媒体终端实现四方视频会议的方法及系统
CN105979189A (zh) * 2016-05-31 2016-09-28 杭州趣吧科技有限公司 一种视频信号处理与存储方法与系统
CN107623822B (zh) * 2017-09-04 2019-07-16 浙江大华技术股份有限公司 一种视频融合系统、方法及装置
CN107872683B (zh) * 2017-11-21 2021-04-20 广州视源电子科技股份有限公司 一种视频数据处理方法、装置、设备及存储介质
CN108551581A (zh) * 2018-06-21 2018-09-18 湖南君瀚信息技术有限公司 一种两路通道的视频编解码传输系统
CN111372035A (zh) * 2018-12-25 2020-07-03 杭州海康威视数字技术股份有限公司 多媒体数据处理方法、装置、电子设备及可读存储介质
CN113316019B (zh) * 2021-05-26 2022-04-26 北京搜房科技发展有限公司 视频合成方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101562706A (zh) * 2009-05-22 2009-10-21 杭州华三通信技术有限公司 一种图像拼接方法和设备
CN102111605A (zh) * 2009-12-28 2011-06-29 杭州华三通信技术有限公司 Mcu多画面分屏实现方法及mcu
WO2011091604A1 (zh) * 2010-01-29 2011-08-04 华为终端有限公司 视频通信的方法、装置和系统
CN102226943A (zh) * 2011-04-29 2011-10-26 杭州海康威视数字技术股份有限公司 一种实现屏幕拼接的系统及方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008004150A2 (en) * 2006-06-30 2008-01-10 Nxp B.V. A method and device for video stitching
CN2912166Y (zh) * 2006-07-05 2007-06-13 北京汉邦高科数字技术有限公司 一种多路视频输入装置
EP2149256B1 (fr) 2007-05-30 2018-04-04 Orange Generation d'une mosaique tv personnalisable
US8139100B2 (en) 2007-07-13 2012-03-20 Lifesize Communications, Inc. Virtual multiway scaler compensation
US8502857B2 (en) 2008-11-21 2013-08-06 Polycom, Inc. System and method for combining a plurality of video stream generated in a videoconference
CN101534413B (zh) 2009-04-14 2012-07-04 华为终端有限公司 一种远程呈现的系统、装置和方法
CN101977305A (zh) 2010-10-27 2011-02-16 北京中星微电子有限公司 一种视频处理方法及装置和系统
WO2012059280A2 (en) * 2010-11-05 2012-05-10 Telefonica, S.A. System and method for multiperspective telepresence communication
US9451320B2 (en) * 2011-05-23 2016-09-20 Broadcom Corporation Utilizing multi-dimensional resource allocation metrics for concurrent decoding of time-sensitive and non-time-sensitive content
WO2012106898A1 (zh) * 2011-07-18 2012-08-16 华为技术有限公司 多路音视频传输和处理方法、装置及系统
CN102547212A (zh) * 2011-12-13 2012-07-04 浙江元亨通信技术股份有限公司 多路视频图像的拼接方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101562706A (zh) * 2009-05-22 2009-10-21 杭州华三通信技术有限公司 一种图像拼接方法和设备
CN102111605A (zh) * 2009-12-28 2011-06-29 杭州华三通信技术有限公司 Mcu多画面分屏实现方法及mcu
WO2011091604A1 (zh) * 2010-01-29 2011-08-04 华为终端有限公司 视频通信的方法、装置和系统
CN102226943A (zh) * 2011-04-29 2011-10-26 杭州海康威视数字技术股份有限公司 一种实现屏幕拼接的系统及方法

Also Published As

Publication number Publication date
EP2852157A1 (en) 2015-03-25
CN103581609A (zh) 2014-02-12
EP2852157A4 (en) 2015-07-22
US9497390B2 (en) 2016-11-15
US20150172558A1 (en) 2015-06-18
EP2852157B1 (en) 2019-07-10
WO2014015780A1 (zh) 2014-01-30

Similar Documents

Publication Publication Date Title
CN103581609B (zh) 一种视频处理方法及装置、系统
EP2154885B1 (en) A caption display method and a video communication control device
CN101257607B (zh) 一种应用于视频会议的多画面处理系统和方法
CN1571508B (zh) 一种实现多画面的方法
CN101478642A (zh) 视频会议系统的多画面混图方法及装置
CN106227492B (zh) 拼接墙与移动智能终端互联方法和装置
CN110865782B (zh) 数据传输方法、装置及设备
CN102655584A (zh) 一种远程呈现技术中媒体数据发送和播放的方法及系统
WO2014173091A1 (zh) 一种视频会议中会议材料的显示方法及装置
CN101087398A (zh) 一种在会议电视系统中实现远程监控的方法和装置
CN1411278A (zh) Ip网络电视会议系统
CN102892032A (zh) 实时互动高清网络视频通讯系统
CN102348097B (zh) 视频会议中的对话方法及多点控制单元
CN107046631A (zh) 一种可同时编码2路和以上流媒体的多人无线会议室演示的方法和系统
CN206332696U (zh) 一种多路多媒体资源实时播控系统
CN201742493U (zh) Ipav数字会议管理系统
CN110895973A (zh) 远程临床会诊平台系统
CN202957933U (zh) 一种3d视频通讯装置
CN203120077U (zh) 视频会议机顶盒终端
CN103313028A (zh) 一种视频会议终端
CN101742220B (zh) 一种基于串行差分交换器实现多画面的系统和方法
CN107480437B (zh) 数据传输方法及装置
CN209949313U (zh) 信号传输系统、信号编码装置及解码装置
CN102364934A (zh) 一种利用可视电话实现远程监控视频传输的方法和系统
CN212936044U (zh) 一种基于物联网实时监控的会议显示终端

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180928

Termination date: 20200723

CF01 Termination of patent right due to non-payment of annual fee