CN112887635A - 多画面拼接方法、装置、计算机设备和存储介质 - Google Patents

多画面拼接方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN112887635A
CN112887635A CN202110032353.XA CN202110032353A CN112887635A CN 112887635 A CN112887635 A CN 112887635A CN 202110032353 A CN202110032353 A CN 202110032353A CN 112887635 A CN112887635 A CN 112887635A
Authority
CN
China
Prior art keywords
sub
video
processor
picture
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110032353.XA
Other languages
English (en)
Inventor
许裕锋
刘海涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ifreecomm Technology Co ltd
Original Assignee
Ifreecomm Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ifreecomm Technology Co ltd filed Critical Ifreecomm Technology Co ltd
Priority to CN202110032353.XA priority Critical patent/CN112887635A/zh
Publication of CN112887635A publication Critical patent/CN112887635A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Circuits (AREA)

Abstract

本申请涉及一种多画面拼接方法、装置、计算机设备和存储介质。所述方法包括：获取多路子视频源和待拼接的多画面的布局信息。将子视频源分配至不同的处理器，通过处理器根据布局信息分别对子视频源对应的子视频图像进行缩放处理；处理器包括主处理器和从处理器。将从处理器缩放处理后的子视频图像发送至主处理器。通过主处理器对子视频图像进行多画面拼接。采用本方法能够降低多画面时延。

Description

多画面拼接方法、装置、计算机设备和存储介质
技术领域
本申请涉及多媒体通信技术领域，特别是涉及一种多画面拼接方法、装置、计算机设备和存储介质。
背景技术
随着视频会议技术的发展，出现了多画面技术。一路视频流中包括两个或两个以上的场景，叫做多画面。通过多画面，视频会议的各分会场可以同时看到来自其他不同分会场的视频场景，便于视频会议的顺利举行。传统技术中，通常采用FPGA(FieldProgrammable Gate Array，现场可编程逻辑门阵列)进行多画面拼接，将本地摄像机输出的视频图像和接收到的远端视频图像，采集进FPGA。FPGA进行多画面拼接后，再输出给处理器进行处理。
然而，传统的多画面拼接方法，需要处理器将远端视频流解码为视频图像，再将视频图像进行信号转换并传输至FPGA。当FPGA完成多画面拼接后，又需要输出给处理器进行相应处理，从而导致多画面的时延较高，尤其是当拼接多路视频图像时，时延更为明显。
发明内容
基于此，有必要针对上述技术问题，提供一种能够降低多画面时延的多画面拼接方法、装置、计算机设备和存储介质。
一种多画面拼接方法，所述方法包括：
获取多路子视频源和待拼接的多画面的布局信息；
将所述子视频源分配至不同的处理器，通过所述处理器根据所述布局信息分别对所述子视频源对应的子视频图像进行缩放处理；所述处理器包括主处理器和从处理器；
将所述从处理器缩放处理后的所述子视频图像发送至所述主处理器；
通过所述主处理器对所述子视频图像进行多画面拼接。
在其中一个实施例中，所述子视频源为本地摄像机所采集的子视频信号，所述将所述子视频源分配至不同的处理器，包括：
确定所述子视频信号的第一信号类型、视频分配器所支持的第二信号类型、以及所述处理器所支持的第三信号类型；
当所述第一信号类型与所述第二信号类型不一致时，将所述第一信号类型的子视频信号的转换为所述第二信号类型的子视频信号；
通过所述视频分配器，对所述第二信号类型的子视频信号进行分配处理；
将分配处理后的所述第二信号类型的子视频信号转换为所述第三信号类型的子视频信号；
将所述第三信号类型的子视频信号分配至对应的处理器。
在其中一个实施例中，所述子视频信号包括SDI视频信号、HDMI视频信号和VGA视频信号中的至少一种。
在其中一个实施例中，所述子视频源为远端设备通过网络所发送过来的子视频码流，所述获取多路子视频源，包括：
通过所述主处理器获取远端设备通过网络所发送过来的子视频码流；
所述将所述子视频源分配至不同的处理器，包括：
通过所述主处理器将部分所述子视频码流分配至所述从处理器；
所述方法还包括：
通过所述主处理器和所述从处理器分别对所述子视频码流进行解码，获得对应的子视频图像。
在其中一个实施例中，所述通过所述处理器根据所述布局信息分别对所述子视频源对应的子视频图像进行缩放处理，包括：
通过所述主处理器将所述布局信息配置至所述从处理器；
通过所述主处理器和所述从处理器，根据所述布局信息中各子画面的尺寸信息、以及所述子画面与所述子视频源的对应关系，分别对所述子视频源对应的子视频图像进行缩放处理。
在其中一个实施例中，所述方法还包括：
建立所述主处理器与数据交换器之间的数据交换通道，以及所述从处理器与所述数据交换器之间的数据交换通道；
所述将所述从处理器缩放处理后的所述子视频图像发送至所述主处理器，包括：
基于所述数据交换通道，将所述从处理器缩放处理后的所述子视频图像发送至所述主处理器。
在其中一个实施例中，所述通过所述主处理器对所述子视频图像进行多画面拼接，包括：
通过所述主处理器根据所述布局信息，确定所述待拼接的多画面中各子画面的坐标信息、以及所述子画面与所述子视频源的对应关系；
通过所述主处理器基于所述各子画面的坐标信息、以及所述子画面与所述子视频源的对应关系，对所述子视频图像进行多画面拼接。
一种多画面拼接装置，所述装置包括：
获取模块，用于获取多路子视频源和待拼接的多画面的布局信息；
分配模块，用于将所述子视频源分配至不同的处理器，通过所述处理器根据所述布局信息分别对所述子视频源对应的子视频图像进行缩放处理；所述处理器包括主处理器和从处理器；
发送模块，用于将所述从处理器缩放处理后的所述子视频图像发送至所述主处理器；
拼接模块，用于通过所述主处理器对所述子视频图像进行多画面拼接。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取多路子视频源和待拼接的多画面的布局信息；
将所述子视频源分配至不同的处理器，通过所述处理器根据所述布局信息分别对所述子视频源对应的子视频图像进行缩放处理；所述处理器包括主处理器和从处理器；
将所述从处理器缩放处理后的所述子视频图像发送至所述主处理器；
通过所述主处理器对所述子视频图像进行多画面拼接。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取多路子视频源和待拼接的多画面的布局信息；
将所述子视频源分配至不同的处理器，通过所述处理器根据所述布局信息分别对所述子视频源对应的子视频图像进行缩放处理；所述处理器包括主处理器和从处理器；
将所述从处理器缩放处理后的所述子视频图像发送至所述主处理器；
通过所述主处理器对所述子视频图像进行多画面拼接。
上述多画面拼接方法、装置、计算机设备和存储介质，通过获取多路子视频源和待拼接的多画面的布局信息。将子视频源分配至不同的处理器，通过处理器根据布局信息分别对子视频源对应的子视频图像进行缩放处理。处理器包括主处理器和从处理器。将从处理器缩放处理后的子视频图像发送至主处理器，并通过主处理器对子视频图像进行多画面拼接。这样，通过多个处理器同时对子视频源处理，使得各子视频源均能得到及时处理。将处理后的子视频图像发送至其中一个主处理器对子视频图像进行多画面拼接，由于处理后的子视频图像的尺寸大小已经与待拼接的多画面的布局信息中子画面的尺寸大小一致，主处理器只需对子视频图像直接进行多画面拼接，从而大大降低了多画面的时延。
附图说明
图1为一个实施例中多画面拼接方法的应用场景图；
图2为一个实施例中多画面拼接方法的流程示意图；
图3为一个实施例中多画面拼接系统示意图；
图4为一个实施例中视频图像缩放流程示意图；
图5为一个实施例中多画面拼接流程示意图；
图6为一个实施例中多画面拼接装置的结构框图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的多画面拼接方法，可以应用于如图1所示的应用环境中。该应用环境包括远端设备102、摄像机104和多画面拼接终端106。远端设备102与多画面拼接终端106通过网络进行通信。其中，多画面拼接终端106具体可以包括台式终端或移动终端。移动终端具体可以包括手机、平板电脑和笔记本电脑等中的至少一种。本领域技术人员可以理解，图1中示出的应用环境，仅仅是与本申请方案相关的部分场景，并不构成对本申请方案应用环境的限定。
多画面拼接终端106可从远端设备102，和/或摄像机104获取多路子视频源。多画面拼接终端106获取待拼接的多画面的布局信息，并将子视频源分配至不同的处理器，通过处理器根据布局信息分别对子视频源对应的子视频图像进行缩放处理，处理器包括主处理器和从处理器。多画面拼接终端106将从处理器缩放处理后的子视频图像发送至主处理器，并通过主处理器对子视频图像进行多画面拼接。
在一个实施例中，如图2所示，提供了一种多画面拼接方法，以该方法应用于图1中的多画面拼接终端106为例进行说明，包括以下步骤：
S202，获取多路子视频源和待拼接的多画面的布局信息。
其中，子视频源是子视频的源数据。布局信息是多画面布局模式的参数信息。
具体地，多画面拼接终端可从远端设备和/或本地摄像机获取多路子视频源。多画面拼接终端可选择多画面布局模式，从而根据多画面布局模式确定待拼接的多画面的布局信息。
在一个实施例中，布局信息可包括各子画面的尺寸信息、各子画面的坐标信息、子画面与子视频源的对应关系、背景图像、背景颜色以及视频格式等中的至少一种。其中，子画面的尺寸信息包括子画面的宽度信息和高度信息。子画面与子视频源的对应关系，是子画面的ID(Identity Document，身份标识号码)与子视频源ID的绑定关系。
S204，将子视频源分配至不同的处理器，通过处理器根据布局信息分别对子视频源对应的子视频图像进行缩放处理；处理器包括主处理器和从处理器。
具体地，多画面拼接终端的处理器包括一个主处理器和至少一个的从处理器。多画面拼接终端可将子视频源分配至不同的处理器，即分配给主处理器和各从处理器，通过主处理器和各从处理器根据布局信息分别对子视频源对应的子视频图像进行缩放处理。可以理解，经过缩放处理后的子视频图像，其图像尺寸大小与布局信息中对应子画面的尺寸大小一致。
在一个实施例中，多画面拼接终端可将子视频源平均分配给主处理器和各从处理器，使得主处理器和各从处理器处理数量相当的子视频源，保证各子视频源能被各处理器及时处理。
在一个实施例中，处理器具体可以是hi3531dv100处理器。
S206，将从处理器缩放处理后的子视频图像发送至主处理器。
具体地，多画面拼接终端可将从处理器缩放处理后的子视频图像发送至主处理器。可以理解，主处理器可获取自身缩放处理后的子视频图像，以及从从处理器中获取从处理器缩放处理后的子视频图像。
S208，通过主处理器对子视频图像进行多画面拼接。
具体地，多画面拼接终端可通过主处理器对子视频图像进行多画面拼接。可以理解，主处理器可将自身缩放处理后的子视频图像，以及从从处理器中获取得到的从处理器缩放处理后的子视频图像，按照待拼接的多画面的布局信息进行多画面拼接。
上述多画面拼接方法中，通过获取多路子视频源和待拼接的多画面的布局信息。将子视频源分配至不同的处理器，通过处理器根据布局信息分别对子视频源对应的子视频图像进行缩放处理。处理器包括主处理器和从处理器。将从处理器缩放处理后的子视频图像发送至主处理器，并通过主处理器对子视频图像进行多画面拼接。这样，通过多个处理器同时对子视频源处理，使得各子视频源均能得到及时处理。将处理后的子视频图像发送至其中一个主处理器对子视频图像进行多画面拼接，由于处理后的子视频图像的尺寸大小已经与待拼接的多画面的布局信息中子画面的尺寸大小一致，主处理器只需对子视频图像直接进行多画面拼接，从而大大降低了多画面的时延。
在一个实施例中，子视频源为本地摄像机所采集的子视频信号，步骤S204中将子视频源分配至不同的处理器的步骤，具体包括：确定子视频信号的第一信号类型、视频分配器所支持的第二信号类型、以及处理器所支持的第三信号类型；当第一信号类型与第二信号类型不一致时，将第一信号类型的子视频信号的转换为第二信号类型的子视频信号；通过视频分配器，对第二信号类型的子视频信号进行分配处理；将分配处理后的第二信号类型的子视频信号转换为第三信号类型的子视频信号；将第三信号类型的子视频信号分配至对应的处理器。
具体地，子视频信号的信号类型可包括多种，视频分配器和处理器也可分别支持多种信号类型的子视频信号。多画面拼接终端可确定子视频信号的第一信号类型、视频分配器所支持的第二信号类型、以及处理器所支持的第三信号类型。多画面拼接终端可将第一信号类型与第二信号类型进行比对。当第一信号类型与第二信号类型不一致时，多画面拼接终端可将第一信号类型的子视频信号的转换为第二信号类型的子视频信号。进而，多画面拼接终端可通过视频分配器，对第二信号类型的子视频信号进行分配处理，即将建立第二信号类型的子视频信号与不同的处理器之间的绑定关系。多画面拼接终端可将分配处理后的第二信号类型的子视频信号转换为第三信号类型的子视频信号，并将第三信号类型的子视频信号分配至对应的处理器，各处理器可采集得到对应的第三信号类型的子视频信号。
在一个实施例中，子视频信号包括SDI(Serial Digital Interface，数字分量串行接口)视频信号、HDMI(High Definition Multimedia Interface，高清多媒体接口)视频信号和VGA(Video Graphics Array，视频图形阵列)视频信号中的至少一种。
举例说明，多画面拼接终端确定子视频信号为SDI视频信号、视频分配器可支持HDMI视频信号、以及处理器可支持BT.1120视频信号。SDI视频信号与HDMI视频信号不一致，多画面拼接终端可将SDI视频信号转换为HDMI视频信号。进而，视频分配器可对HDMI视频信号类型的子视频信号进行分配处理，并将分配处理后的HDMI视频信号类型的子视频信号转换为BT.1120视频信号。多画面拼接终端可将BT.1120视频信号类型的子视频信号分配至对应的处理器。
在一个实施例中，视频分配器具体可以是视频矩阵装置，视频矩阵具体可以是SDI视频矩阵、VGA视频矩阵或HDMI视频矩阵。
上述实施例中，当第一信号类型与第二信号类型不一致时，通过将第一信号类型的子视频信号的转换为第二信号类型的子视频信号，使得视频分配器可对子视频信号进行分配处理。通过将分配处理后的第二信号类型的子视频信号转换为第三信号类型的子视频信号，使得处理器可采集对应的子视频信号，这样提升了子视频信号的处理效率。
在一个实施例中，子视频源为远端设备通过网络所发送过来的子视频码流，步骤S202中获取多路子视频源的步骤，具体包括：通过主处理器获取远端设备通过网络所发送过来的子视频码流。步骤S204中将子视频源分配至不同的处理器的步骤，具体包括：通过主处理器将部分子视频码流分配至从处理器。多画面拼接方法还包括：通过主处理器和从处理器分别对子视频码流进行解码，获得对应的子视频图像。
其中，子视频码流是子视频信号经过视频编码之后得到的子视频编码数据。
具体地，远端设备可对采集得到的子视频信号进行编码，得到对应的子视频码流。远端设备可通过网络向多画面拼接终端发送子视频码流。多画面拼接终端可通过主处理器获取远端设备通过网络所发送过来的子视频码流，并通过主处理器将部分子视频码流分配至各从处理器，主处理器自身保留另外一部分的子视频码流。多画面拼接终端可通过主处理器和从处理器分别对子视频码流进行解码，获得对应的子视频图像。
上述实施例中，通过主处理器将部分子视频码流分配至从处理器，使得子视频码流可分别在不同的处理器得到及时处理，提升子视频码流的处理效率。通过主处理器和从处理器分别对子视频码流进行解码，使得子视频码流可转换为对应的子视频图像，以便进行后续的缩放处理。
在一个实施例中，步骤S204中通过处理器根据布局信息分别对子视频源对应的子视频图像进行缩放处理的步骤，具体包括：通过主处理器将布局信息配置至从处理器；通过主处理器和从处理器，根据布局信息中各子画面的尺寸信息、以及子画面与子视频源的对应关系，分别对子视频源对应的子视频图像进行缩放处理。
具体地，布局信息中包括各子画面的尺寸信息、以及子画面与子视频源的对应关系。多画面拼接终端可通过主处理器将布局信息配置至从处理器，并可通过主处理器和从处理器，根据布局信息中各子画面的尺寸信息、以及子画面与子视频源的对应关系，分别对子视频源对应的子视频图像进行缩放处理。
上述实施例中，通过主处理器将布局信息配置至从处理器，使得从处理器中也记录相应的布局信息。通过主处理器和从处理器，根据布局信息中各子画面的尺寸信息、以及子画面与子视频源的对应关系，分别对子视频源对应的子视频图像进行缩放处理，使得缩放处理后的子视频图像的尺寸大小与各子画面的尺寸大小一致，提升了子视频图像的缩放处理效率。
在一个实施例中，多画面拼接方法还包括：建立主处理器与数据交换器之间的数据交换通道，以及从处理器与数据交换器之间的数据交换通道。步骤S206，也就是将从处理器缩放处理后的子视频图像发送至主处理器的步骤，具体包括：基于数据交换通道，将从处理器缩放处理后的子视频图像发送至主处理器。
具体地，用户可将多画面拼接终端中的主处理器和从处理器接入数据交换器。进而，多画面拼接终端可建立主处理器与数据交换器之间的数据交换通道，以及从处理器与数据交换器之间的数据交换通道。多画面拼接终端可基于数据交换通道，将从处理器缩放处理后的子视频图像发送至主处理器。
在一个实施例中，数据交换器可以是PCIE(Peripheral Component InterconnectExpress，高速串行计算机扩展总线标准)交换机。
上述实施例中，通过数据交换通道，将从处理器缩放处理后的子视频图像发送至主处理器，使得从处理器缩放处理后的子视频图像能顺利发送至主处理器，进一步提升多画面拼接效率。
在一个实施例中，步骤S208，也就是通过主处理器对子视频图像进行多画面拼接的步骤，具体包括：通过主处理器根据布局信息，确定待拼接的多画面中各子画面的坐标信息、以及子画面与子视频源的对应关系；通过主处理器基于各子画面的坐标信息、以及子画面与子视频源的对应关系，对子视频图像进行多画面拼接。
具体地，布局信息中可包括待拼接的多画面中各子画面的坐标信息、以及子画面与子视频源的对应关系。多画面拼接终端可通过主处理器根据布局信息，确定待拼接的多画面中各子画面的坐标信息、以及子画面与子视频源的对应关系。进而，多画面拼接终端可通过主处理器基于各子画面的坐标信息、以及子画面与子视频源的对应关系，对子视频图像进行多画面拼接。
在一个实施例中，多画面拼接终端在对子视频图像进行多画面拼接之后，可将得到的多画面在本地进行输出显示，或对多画面进行编码后，发送至第三方终端进行显示。
上述实施例中，主处理器基于各子画面的坐标信息、以及子画面与子视频源的对应关系，对子视频图像进行多画面拼接，使得子视频图像可对应填充值对应的子画面区域中，提升了多画面拼接的准确性。
在一个实施例中，如图3所示，多画面拼接终端可包括处理器-1、处理器-2和处理器-3三个处理器，其中，处理器-1为主处理器，处理器-2和处理器-3为从处理器。多画面拼接终端可从15台本地摄像机获取15路子视频信号，其中，本地摄像机接口可不同，对应子视频信号的信号类型可包括SDI、VGA和HDMI等中的至少一种。多画面拼接终端可通过视频信号转换器1中的AD(Analogue-to-Digital，模数转换)芯片，将子视频信号转换为视频矩阵所支持的信号。多画面拼接终端可通过规格为20*20的视频矩阵装置将15路子视频信号平均分配至3个处理器中，即每一个处理器分别处理5路本地摄像机获取的子视频信号，并通过视频信号转换器2中的DA(Digital-to-Analogue，数模转换)芯片，将子视频信号转换为处理器所支持的信号，使得处理器可分别采集对应的子视频信号。多画面拼接终端还可通过处理器-1接收远端设备通过网络发送过来的9路子视频码流。处理器-1可留下3路子视频码流，并完成解码，获得对应子视频图像，再将其他6路子视频码流平均分配给处理器-2和处理器-3，即，处理器-2和处理器-3各自解码3路子视频码流，获得对应子视频图像。处理器-1、处理器-2和处理器-3可分别按照带拼接的多画面的布局信息，对子视频图像进行缩放处理。多画面拼接终端可通过PCIE交换机将处理器-2和处理器-3缩放处理后的子视频图像发送至处理器-1，如图4所示。多画面拼接终端可通过处理器-1将24路子视频图像进行多画面拼接，如图5所示。
应该理解的是，虽然图2的各个步骤按照顺序依次显示，但是这些步骤并不是必然按照顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图6所示，提供了一种多画面拼接装置600，包括：获取模块601、分配模块602、发送模块603和拼接模块604，其中：
获取模块601，用于获取多路子视频源和待拼接的多画面的布局信息。
分配模块602，用于将子视频源分配至不同的处理器，通过处理器根据布局信息分别对子视频源对应的子视频图像进行缩放处理；处理器包括主处理器和从处理器。
发送模块603，用于将从处理器缩放处理后的子视频图像发送至主处理器。
拼接模块604，用于通过主处理器对子视频图像进行多画面拼接。
在一个实施例中，子视频源为本地摄像机所采集的子视频信号，分配模块602还用于确定子视频信号的第一信号类型、视频分配器所支持的第二信号类型、以及处理器所支持的第三信号类型；当第一信号类型与第二信号类型不一致时，将第一信号类型的子视频信号的转换为第二信号类型的子视频信号；通过视频分配器，对第二信号类型的子视频信号进行分配处理；将分配处理后的第二信号类型的子视频信号转换为第三信号类型的子视频信号；将第三信号类型的子视频信号分配至对应的处理器。
在一个实施例中，子视频信号包括SDI视频信号、HDMI视频信号和VGA视频信号中的至少一种。
在一个实施例中，子视频源为远端设备通过网络所发送过来的子视频码流，获取模块601还用于通过主处理器获取远端设备通过网络所发送过来的子视频码流。
在一个实施例中，分配模块602还用于通过主处理器将部分子视频码流分配至从处理器。
在一个实施例中，获取模块601还用于通过主处理器和从处理器分别对子视频码流进行解码，获得对应的子视频图像。
在一个实施例中，分配模块602还用于通过主处理器将布局信息配置至从处理器；通过主处理器和从处理器，根据布局信息中各子画面的尺寸信息、以及子画面与子视频源的对应关系，分别对子视频源对应的子视频图像进行缩放处理。
在一个实施例中，拼接模块604还用于建立主处理器与数据交换器之间的数据交换通道，以及从处理器与数据交换器之间的数据交换通道。
在一个实施例中，发送模块603还用于基于数据交换通道，将从处理器缩放处理后的子视频图像发送至主处理器。
在一个实施例中，拼接模块604还用于通过主处理器根据布局信息，确定待拼接的多画面中各子画面的坐标信息、以及子画面与子视频源的对应关系；通过主处理器基于各子画面的坐标信息、以及子画面与子视频源的对应关系，对子视频图像进行多画面拼接。
上述多画面拼接装置，通过获取多路子视频源和待拼接的多画面的布局信息。将子视频源分配至不同的处理器，通过处理器根据布局信息分别对子视频源对应的子视频图像进行缩放处理。处理器包括主处理器和从处理器。将从处理器缩放处理后的子视频图像发送至主处理器，并通过主处理器对子视频图像进行多画面拼接。这样，通过多个处理器同时对子视频源处理，使得各子视频源均能得到及时处理。将处理后的子视频图像发送至其中一个主处理器对子视频图像进行多画面拼接，由于处理后的子视频图像的尺寸大小已经与待拼接的多画面的布局信息中子画面的尺寸大小一致，主处理器只需对子视频图像直接进行多画面拼接，从而大大降低了多画面的时延。
关于多画面拼接装置的具体限定可以参见上文中对于多画面拼接方法的限定，在此不再赘述。上述多画面拼接装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是上述图1中的多画面拼接终端106，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种多画面拼接方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取多路子视频源和待拼接的多画面的布局信息；
将子视频源分配至不同的处理器，通过处理器根据布局信息分别对子视频源对应的子视频图像进行缩放处理；处理器包括主处理器和从处理器；
将从处理器缩放处理后的子视频图像发送至主处理器；
通过主处理器对子视频图像进行多画面拼接。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
确定子视频信号的第一信号类型、视频分配器所支持的第二信号类型、以及处理器所支持的第三信号类型；
当第一信号类型与第二信号类型不一致时，将第一信号类型的子视频信号的转换为第二信号类型的子视频信号；
通过视频分配器，对第二信号类型的子视频信号进行分配处理；
将分配处理后的第二信号类型的子视频信号转换为第三信号类型的子视频信号；
将第三信号类型的子视频信号分配至对应的处理器。
在一个实施例中，子视频信号包括SDI视频信号、HDMI视频信号和VGA视频信号中的至少一种。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
通过主处理器获取远端设备通过网络所发送过来的子视频码流。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
通过主处理器将部分子视频码流分配至从处理器。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
通过主处理器和从处理器分别对子视频码流进行解码，获得对应的子视频图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
通过主处理器将布局信息配置至从处理器；
通过主处理器和从处理器，根据布局信息中各子画面的尺寸信息、以及子画面与子视频源的对应关系，分别对子视频源对应的子视频图像进行缩放处理。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
建立主处理器与数据交换器之间的数据交换通道，以及从处理器与数据交换器之间的数据交换通道。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
基于数据交换通道，将从处理器缩放处理后的子视频图像发送至主处理器。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
通过主处理器根据布局信息，确定待拼接的多画面中各子画面的坐标信息、以及子画面与子视频源的对应关系；
通过主处理器基于各子画面的坐标信息、以及子画面与子视频源的对应关系，对子视频图像进行多画面拼接。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取多路子视频源和待拼接的多画面的布局信息；
将子视频源分配至不同的处理器，通过处理器根据布局信息分别对子视频源对应的子视频图像进行缩放处理；处理器包括主处理器和从处理器；
将从处理器缩放处理后的子视频图像发送至主处理器；
通过主处理器对子视频图像进行多画面拼接。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
确定子视频信号的第一信号类型、视频分配器所支持的第二信号类型、以及处理器所支持的第三信号类型；
当第一信号类型与第二信号类型不一致时，将第一信号类型的子视频信号的转换为第二信号类型的子视频信号；
通过视频分配器，对第二信号类型的子视频信号进行分配处理；
将分配处理后的第二信号类型的子视频信号转换为第三信号类型的子视频信号；
将第三信号类型的子视频信号分配至对应的处理器。
在一个实施例中，子视频信号包括SDI视频信号、HDMI视频信号和VGA视频信号中的至少一种。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
通过主处理器获取远端设备通过网络所发送过来的子视频码流。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
通过主处理器将部分子视频码流分配至从处理器。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
通过主处理器和从处理器分别对子视频码流进行解码，获得对应的子视频图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
通过主处理器将布局信息配置至从处理器；
通过主处理器和从处理器，根据布局信息中各子画面的尺寸信息、以及子画面与子视频源的对应关系，分别对子视频源对应的子视频图像进行缩放处理。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
建立主处理器与数据交换器之间的数据交换通道，以及从处理器与数据交换器之间的数据交换通道。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
基于数据交换通道，将从处理器缩放处理后的子视频图像发送至主处理器。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
通过主处理器根据布局信息，确定待拼接的多画面中各子画面的坐标信息、以及子画面与子视频源的对应关系；
通过主处理器基于各子画面的坐标信息、以及子画面与子视频源的对应关系，对子视频图像进行多画面拼接。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种多画面拼接方法，其特征在于，所述方法包括：
获取多路子视频源和待拼接的多画面的布局信息；
将所述子视频源分配至不同的处理器，通过所述处理器根据所述布局信息分别对所述子视频源对应的子视频图像进行缩放处理；所述处理器包括主处理器和从处理器；
将所述从处理器缩放处理后的所述子视频图像发送至所述主处理器；
通过所述主处理器对所述子视频图像进行多画面拼接。
2.根据权利要求1所述的方法，其特征在于，所述子视频源为本地摄像机所采集的子视频信号，所述将所述子视频源分配至不同的处理器，包括：
确定所述子视频信号的第一信号类型、视频分配器所支持的第二信号类型、以及所述处理器所支持的第三信号类型；
当所述第一信号类型与所述第二信号类型不一致时，将所述第一信号类型的子视频信号的转换为所述第二信号类型的子视频信号；
通过所述视频分配器，对所述第二信号类型的子视频信号进行分配处理；
将分配处理后的所述第二信号类型的子视频信号转换为所述第三信号类型的子视频信号；
将所述第三信号类型的子视频信号分配至对应的处理器。
3.根据权利要求2所述的方法，其特征在于，所述子视频信号包括SDI视频信号、HDMI视频信号和VGA视频信号中的至少一种。
4.根据权利要求1所述的方法，其特征在于，所述子视频源为远端设备通过网络所发送过来的子视频码流，所述获取多路子视频源，包括：
通过所述主处理器获取远端设备通过网络所发送过来的子视频码流；
所述将所述子视频源分配至不同的处理器，包括：
通过所述主处理器将部分所述子视频码流分配至所述从处理器；
所述方法还包括：
通过所述主处理器和所述从处理器分别对所述子视频码流进行解码，获得对应的子视频图像。
5.根据权利要求1所述的方法，其特征在于，所述通过所述处理器根据所述布局信息分别对所述子视频源对应的子视频图像进行缩放处理，包括：
通过所述主处理器将所述布局信息配置至所述从处理器；
通过所述主处理器和所述从处理器，根据所述布局信息中各子画面的尺寸信息、以及所述子画面与所述子视频源的对应关系，分别对所述子视频源对应的子视频图像进行缩放处理。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
建立所述主处理器与数据交换器之间的数据交换通道，以及所述从处理器与所述数据交换器之间的数据交换通道；
所述将所述从处理器缩放处理后的所述子视频图像发送至所述主处理器，包括：
基于所述数据交换通道，将所述从处理器缩放处理后的所述子视频图像发送至所述主处理器。
7.根据权利要求1至6中任一项所述的方法，其特征在于，所述通过所述主处理器对所述子视频图像进行多画面拼接，包括：
通过所述主处理器根据所述布局信息，确定所述待拼接的多画面中各子画面的坐标信息、以及所述子画面与所述子视频源的对应关系；
通过所述主处理器基于所述各子画面的坐标信息、以及所述子画面与所述子视频源的对应关系，对所述子视频图像进行多画面拼接。
8.一种多画面拼接装置，其特征在于，所述装置包括：
获取模块，用于获取多路子视频源和待拼接的多画面的布局信息；
分配模块，用于将所述子视频源分配至不同的处理器，通过所述处理器根据所述布局信息分别对所述子视频源对应的子视频图像进行缩放处理；所述处理器包括主处理器和从处理器；
发送模块，用于将所述从处理器缩放处理后的所述子视频图像发送至所述主处理器；
拼接模块，用于通过所述主处理器对所述子视频图像进行多画面拼接。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202110032353.XA 2021-01-11 2021-01-11 多画面拼接方法、装置、计算机设备和存储介质 Pending CN112887635A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110032353.XA CN112887635A (zh) 2021-01-11 2021-01-11 多画面拼接方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110032353.XA CN112887635A (zh) 2021-01-11 2021-01-11 多画面拼接方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN112887635A true CN112887635A (zh) 2021-06-01

Family

ID=76044203

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110032353.XA Pending CN112887635A (zh) 2021-01-11 2021-01-11 多画面拼接方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN112887635A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113923379A (zh) * 2021-09-30 2022-01-11 广州市保伦电子有限公司 一种自适应视窗的多画面合成方法及处理终端

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101095350A (zh) * 2005-01-04 2007-12-26 诺基亚公司 用于低延迟视频混合的方法和系统
US20090015661A1 (en) * 2007-07-13 2009-01-15 King Keith C Virtual Multiway Scaler Compensation
CN101895718A (zh) * 2010-07-21 2010-11-24 杭州华三通信技术有限公司 视频会议系统多画面广播方法及其装置和系统
CN102077587A (zh) * 2008-06-30 2011-05-25 惠普开发有限公司 合成视频流
US20130106988A1 (en) * 2011-10-28 2013-05-02 Joseph Davis Compositing of videoconferencing streams
CN105704424A (zh) * 2014-11-27 2016-06-22 中兴通讯股份有限公司 多画面处理方法、多点控制单元及视频系统
US20200335132A1 (en) * 2019-04-18 2020-10-22 Kristin Fahy Systems and Methods for Automated Generation of Video

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101095350A (zh) * 2005-01-04 2007-12-26 诺基亚公司 用于低延迟视频混合的方法和系统
US20090015661A1 (en) * 2007-07-13 2009-01-15 King Keith C Virtual Multiway Scaler Compensation
CN102077587A (zh) * 2008-06-30 2011-05-25 惠普开发有限公司 合成视频流
CN101895718A (zh) * 2010-07-21 2010-11-24 杭州华三通信技术有限公司 视频会议系统多画面广播方法及其装置和系统
US20130106988A1 (en) * 2011-10-28 2013-05-02 Joseph Davis Compositing of videoconferencing streams
CN105704424A (zh) * 2014-11-27 2016-06-22 中兴通讯股份有限公司 多画面处理方法、多点控制单元及视频系统
US20200335132A1 (en) * 2019-04-18 2020-10-22 Kristin Fahy Systems and Methods for Automated Generation of Video

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113923379A (zh) * 2021-09-30 2022-01-11 广州市保伦电子有限公司 一种自适应视窗的多画面合成方法及处理终端

Similar Documents

Publication Publication Date Title
US9154737B2 (en) User-defined content magnification and multi-point video conference system, method and logic
CN101588252B (zh) 一种多点会议的控制方法及装置
CN112073648B (zh) 视频多画面合成方法、装置、计算机设备和存储介质
CN107357585B (zh) 视频获取方法、装置、视频设备及存储介质
KR101644868B1 (ko) 단말기 간 이미지 공유 방법, 단말 장치 및 통신 시스템
CN110581962B (zh) 一种电视墙图像回显方法、服务板及分布式电视墙系统
US20160150187A1 (en) A method for generating an immersive video of a plurality of persons
CN109788229B (zh) 一种会议融合方法、终端、服务器和计算机存储介质
CN105100870A (zh) 一种截屏方法及终端设备
CN112788276A (zh) 视频流显示方法、发送方法、装置、终端、服务器及介质
CN112887635A (zh) 多画面拼接方法、装置、计算机设备和存储介质
CN112558854B (zh) 多画面分屏模式定制方法、装置和计算机设备
CN114339126A (zh) 视频会议中的字幕显示方法、设备及存储介质
JPH08228329A (ja) 通信会議方法および通信会議端末装置
WO2021093882A1 (zh) 一种视频会议方法、会议终端、服务器及存储介质
CN107580228B (zh) 一种监控视频处理方法、装置及设备
CN110290345A (zh) 跨级会议点名发言方法、装置、计算机设备和存储介质
KR100663380B1 (ko) 촬상 장치 및 영상 신호 생성 방법
US11706463B2 (en) Video synthesis method, apparatus, computer device and readable storage medium
CN111860363A (zh) 一种视频图像的处理方法及装置、电子设备、存储介质
CN113507641B (zh) 一种基于客户端的多路视频混屏方法、系统及设备
US11284094B2 (en) Image capturing device, distribution system, distribution method, and recording medium
CN112616035B (zh) 多画面拼接方法、装置、计算机设备和存储介质
CN113452947B (zh) 关键帧获取方法、装置、计算机设备和存储介质
JP2019075633A (ja) 撮像システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination