CN105404487A - 一种支持回显功能的拼接控制器及其控制方法 - Google Patents

Abstract

本发明提供一种支持回显功能的拼接控制器及其控制方法，拼接控制器包括：主芯片、采集芯片、FPGA和回显视频输出口，主芯片，用于采集第一视频图像，并将第一视频图像发送给FPGA；采集芯片，用于采集第二视频图像，并将第二视频图像发送给FPGA；FPGA，用于对第一视频图像和第二视频图像进行处理，得到第三视频图像，并通过拼接视频输出口将第三视频图像输出给视频拼接墙，以在视频拼接墙上显示第三视频图像；主芯片，用于获得第三视频图像和第三视频图像对应的回显图像，并通过回显视频输出口输出第三视频图像对应的回显图像，以在本地和/或远程回显第三视频图像。通过本发明的技术方案，可以由拼接控制器实现本地回显和/或远程回显，降低组网复杂性。

Description

一种支持回显功能的拼接控制器及其控制方法

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种支持回显功能的拼接控制器及其控制方法。

背景技术

随着图像处理和图像显示技术的日益进步，大屏幕的视频拼接墙得到了大范围应用，其灵活的配置，震撼的视觉效果受到越来越多的用户欢迎。视频拼接墙一般放置于礼堂、会议厅、监控室、指挥室等场合。对视频拼接墙的控制，可能在视频拼接墙所在的场所，也可能不在视频拼接墙所在的场所，也就是远程控制视频拼接墙的显示。当远程控制视频拼接墙的显示时，需要通过网络将视频拼接墙的视频图像传输给远程的操作员，以方便操作员看到视频拼接墙的实际显示的视频图像，继而实现对视频拼接墙的控制。

视频拼接墙的核心设备为拼接控制器(又称为电视墙控制器)，其主要功能是将一个完整的视频图像或者多个视频图像拼接组成的视频图像，划分成N块后分配给N个视频显示单元(如背投单元、LED(LightEmittingDiode，发光二极管)显示单元等)，从而完成用多个普通视频单元组成一个超大屏幕动态图像显示屏，同时完成多个信号源(如网络信号、RGB(RedGreenBlue，红绿蓝)信号和视频信号等)在视频拼接墙上的开窗、移动、缩放等功能。

目前的拼接控制器不支持回显功能，回显功能是指：将视频拼接墙上显示的视频图像，传输给远程的终端设备(如PC、平板和移动终端等)进行显示。因此，目前的拼接控制器无法实现远程控制视频拼接墙的显示。

发明内容

本发明提供一种支持回显功能的拼接控制器，所述拼接控制器具体包括：主芯片、采集芯片、现场可编程门阵列FPGA和回显视频输出口，其中：

所述主芯片，用于采集第一视频图像，并将所述第一视频图像发送给所述FPGA；所述采集芯片，用于采集第二视频图像，并将所述第二视频图像发送给所述FPGA；所述FPGA，用于接收所述第一视频图像和所述第二视频图像，并对所述第一视频图像和所述第二视频图像进行处理，得到视频拼接墙上显示的第三视频图像，并通过拼接视频输出口将所述第三视频图像输出给视频拼接墙，以在所述视频拼接墙上显示所述第三视频图像；

所述主芯片，用于获得视频拼接墙上显示的第三视频图像，并获得所述第三视频图像对应的回显图像，并通过所述回显视频输出口输出所述第三视频图像对应的回显图像，以在本地和/或远程回显所述第三视频图像。

所述主芯片，具体用于在采集第一视频图像，并将所述第一视频图像发送给所述FPGA的过程中，采集经过编码的第一视频图像，对采集到的第一视频图像进行解码，并根据预设拼接显示策略和拼接口显示分辨率，对解码后的第一视频图像进行处理，并将处理后的第一视频图像发送给所述FPGA；

所述采集芯片，具体用于在采集第二视频图像，并将所述第二视频图像发送给所述FPGA的过程中，采集没有经过编码的第二视频图像，并根据所述预设拼接显示策略和所述拼接口显示分辨率，对采集到的第二视频图像进行处理，并将处理后的第二视频图像发送给所述FPGA；

所述FPGA，具体用于在对所述第一视频图像和所述第二视频图像进行处理，得到视频拼接墙上显示的第三视频图像的过程中，根据所述预设拼接显示策略和所述拼接口显示分辨率，对所述第一视频图像和所述第二视频图像进行处理，得到所述视频拼接墙上显示的第三视频图像。

所述采集芯片，还用于在采集第二视频图像之后，将所述第二视频图像发送给所述主芯片；所述主芯片，具体用于在获得视频拼接墙上显示的第三视频图像的过程中，对所述主芯片采集到的第一视频图像和接收到的第二视频图像进行处理，得到所述视频拼接墙上显示的第三视频图像；或者，

所述FPGA，还用于在对所述第一视频图像和所述第二视频图像进行处理，得到视频拼接墙上显示的第三视频图像之后，将所述第三视频图像发送给所述主芯片；所述主芯片，具体用于在获得视频拼接墙上显示的第三视频图像的过程中，接收来自所述FPGA的视频拼接墙上显示的第三视频图像。

所述采集芯片，具体用于在采集第二视频图像，并将所述第二视频图像发送给所述主芯片的过程中，采集没有经过编码的第二视频图像，并根据所述预设拼接显示策略和回显口显示分辨率，对采集到的第二视频图像进行处理，并将处理后的第二视频图像发送给所述主芯片；

所述主芯片，具体用于在对采集到的第一视频图像和接收到的第二视频图像进行处理，得到所述视频拼接墙上显示的第三视频图像的过程中，对采集到的经过编码的第一视频图像进行解码，并根据所述预设拼接显示策略和所述回显口显示分辨率，对解码后的第一视频图像进行处理；根据所述预设拼接显示策略和所述回显口显示分辨率，对所述第一视频图像和接收到的第二视频图像进行处理，得到所述视频拼接墙上显示的第三视频图像。

所述FPGA，具体用于在将所述第三视频图像发送给所述主芯片的过程中，根据所述预设拼接显示策略和所述回显口显示分辨率，对所述第三视频图像进行处理，并将处理后的第三视频图像发送给所述主芯片。

本发明提供一种支持回显功能的拼接控制器的控制方法，所述拼接控制器包括主芯片、采集芯片、现场可编程门阵列FPGA和回显视频输出口，所述方法包括：

所述主芯片采集第一视频图像，并将所述第一视频图像发送给所述FPGA；所述采集芯片采集第二视频图像，并将所述第二视频图像发送给所述FPGA；所述FPGA接收所述第一视频图像和所述第二视频图像，并对所述第一视频图像和所述第二视频图像进行处理，得到视频拼接墙上显示的第三视频图像，并通过拼接视频输出口将所述第三视频图像输出给视频拼接墙，以在所述视频拼接墙上显示所述第三视频图像；

所述主芯片获得视频拼接墙上显示的第三视频图像，并获得所述第三视频图像对应的回显图像，并通过所述回显视频输出口输出所述第三视频图像对应的回显图像，以在本地和/或远程回显所述第三视频图像。

所述主芯片采集第一视频图像，并将第一视频图像发送给所述FPGA的过程，具体包括：所述主芯片采集经过编码的第一视频图像，对采集到的第一视频图像进行解码，并根据预设拼接显示策略和拼接口显示分辨率，对解码后的第一视频图像进行处理，将处理后的第一视频图像发送给所述FPGA；

所述采集芯片采集第二视频图像，并将所述第二视频图像发送给所述FPGA的过程，具体包括：所述采集芯片采集没有经过编码的第二视频图像，并根据所述预设拼接显示策略和所述拼接口显示分辨率，对采集到的第二视频图像进行处理，并将处理后的第二视频图像发送给所述FPGA；

所述FPGA对所述第一视频图像和所述第二视频图像进行处理，得到视频拼接墙上显示的第三视频图像的过程，具体包括：所述FPGA根据所述预设拼接显示策略和所述拼接口显示分辨率，对所述第一视频图像和所述第二视频图像进行处理，得到所述视频拼接墙上显示的第三视频图像。

所述主芯片获得视频拼接墙上显示的第三视频图像的过程，具体包括：

所述采集芯片在采集第二视频图像之后，将所述第二视频图像发送给所述主芯片；所述主芯片对所述主芯片采集到的第一视频图像和接收到的第二视频图像进行处理，得到所述视频拼接墙上显示的第三视频图像；或者，

所述FPGA在对所述第一视频图像和所述第二视频图像进行处理，得到视频拼接墙上显示的第三视频图像之后，将所述第三视频图像发送给所述主芯片；所述主芯片接收来自所述FPGA的视频拼接墙上显示的第三视频图像。

所述采集芯片采集第二视频图像，并将所述第二视频图像发送给所述主芯片的过程，具体包括：所述采集芯片采集没有经过编码的第二视频图像，并根据所述预设拼接显示策略和回显口显示分辨率，对采集到的第二视频图像进行处理，并将处理后的第二视频图像发送给所述主芯片；

所述主芯片对所述主芯片采集到的第一视频图像和接收到的第二视频图像进行处理，得到所述视频拼接墙上显示的第三视频图像的过程，具体包括：所述主芯片对采集到的经过编码的第一视频图像进行解码，并根据所述预设拼接显示策略和所述回显口显示分辨率，对解码后的第一视频图像进行处理；根据所述预设拼接显示策略和所述回显口显示分辨率，对所述第一视频图像和接收到的第二视频图像进行处理，得到视频拼接墙上显示的第三视频图像。

所述FPGA将所述第三视频图像发送给所述主芯片的过程，具体包括：所述FPGA根据所述预设拼接显示策略和所述回显口显示分辨率，对所述第三视频图像进行处理，并将处理后的第三视频图像发送给所述主芯片。

基于上述技术方案，本发明实施例中，提出一种支持回显功能的拼接控制器，可以由拼接控制器实现本地回显和/或远程回显，将视频拼接墙上显示的视频图像，传输给远程的终端设备(如PC、平板和移动终端等)进行显示，从而实现远程控制视频拼接墙的显示，降低组网复杂性，提高回显的实时性。

附图说明

图1是本发明一种实施方式中的支持回显功能的拼接控制器的结构图；

图2-图7是本发明一种实施方式中的视频图像的处理示意图；

图8是本发明一种实施方式中的拼接控制器的控制方法的流程图。

具体实施方式

在本申请使用的术语仅仅是出于描述特定实施例的目的，而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

针对现有技术中存在的问题，本发明实施例提出一种支持回显功能的拼接控制器，如图1所示，拼接控制器具体可以包括：主芯片、采集芯片、FPGA(FieldProgrammableGateArray，现场可编程门阵列)和回显视频输出口。主芯片可以是集成CPU(CentralProcessingUnit，中央处理器)、编解码、GPU(GraphicsProcessingUnit，图形处理器)等模块的SOC(SystemonChip，芯片级系统)芯片。主芯片主要完成拼接控制器的管理、用户管理、拼接控制、网络视频图像的接收和解码、回显视频图像的编码和发送等功能。采集芯片主要完成视频输出设备(如PC、投影仪等设备)的视频图像采集，并对采集的视频图像进行缩放等处理。FPGA主要完成视频图像的缩放、叠加、切割和倍帧等功能。

如图1所示，拼接控制器还可以包括PCIE(PeripheralComponentInterfaceExpress，外设组件接口)交换芯片，主要完成信令和视频图像的传输。具体的，PCIE交换芯片分别与主芯片、采集芯片和FPGA连接，且主芯片与采集芯片之间交互的信令和视频图像需要经过PCIE交换芯片的转发，主芯片与FPGA之间交互的信令和视频图像需要经过PCIE交换芯片的转发，采集芯片与FPGA之间交互的信令和视频图像需要经过PCIE交换芯片的转发。

如图1所示，与FPGA(如图1中的FPGA1和FPGA2)连接的所有HDMI(HighDefinitionMultimediaInterface，高清晰度多媒体接口)均可以为拼接视频输出口，与主芯片连接的一个HDMI0可以为回显视频输出口。

本发明实施例中，为了在视频拼接墙上显示视频图像，主芯片，用于采集第一视频图像，并将该第一视频图像发送给FPGA。采集芯片，用于采集第二视频图像，并将该第二视频图像发送给FPGA。FPGA，用于接收第一视频图像和第二视频图像，并对该第一视频图像和该第二视频图像进行处理，得到视频拼接墙上显示的第三视频图像，并通过拼接视频输出口将该第三视频图像输出给视频拼接墙，以在视频拼接墙上显示该第三视频图像。

本发明实施例中，主芯片，具体用于在采集第一视频图像，并将第一视频图像发送给FPGA的过程中，采集经过编码的第一视频图像，并对采集到的第一视频图像进行解码，并根据预设拼接显示策略和拼接口显示分辨率，对解码后的第一视频图像进行处理，并将处理后的第一视频图像发送给FPGA。采集芯片，具体用于在采集第二视频图像，并将第二视频图像发送给FPGA的过程中，采集没有经过编码的第二视频图像，并根据该预设拼接显示策略和该拼接口显示分辨率，对采集到的第二视频图像进行处理，并将处理后的第二视频图像发送给FPGA。FPGA，具体用于在对第一视频图像和第二视频图像进行处理，得到视频拼接墙上显示的第三视频图像的过程中，根据该预设拼接显示策略和该拼接口显示分辨率，对收到的第一视频图像和第二视频图像进行处理，得到视频拼接墙上显示的第三视频图像。

如图2所示，为视频图像的传输示意图，主芯片主要可以用于通过GMII(GigabitMediumIndependentInterface，千兆媒体独立接口)或者USB(UniversalSerialBus，通用串行总线)接口采集经过编码的第一视频图像，对第一视频图像进行处理，并将处理后的第一视频图像发送给FPGA。采集芯片主要可以用于通过DVI(DigitalVisualInterface，数字视频接口)采集没有经过编码的第二视频图像，对第二视频图像进行处理，并将处理后的第二视频图像发送给FPGA。第一视频图像是编码后的网络码流或者通过USB接口采集的码流对应的视频图像，第二视频图像是来自视频输出设备(如PC、投影仪等)的原始视频图像。

其中，主芯片采集经过编码的第一视频图像，对采集到的第一视频图像进行解码，并根据预设拼接显示策略和拼接口显示分辨率，对解码后的第一视频图像进行缩放处理、叠加处理，将处理后的第一视频图像发送给FPGA。

其中，采集芯片采集没有经过编码的第二视频图像(多路原始视频图像)，并根据预设拼接显示策略和拼接口显示分辨率，对采集到的第二视频图像进行缩放处理、叠加处理，并将处理后的第二视频图像发送给FPGA。

其中，FPGA根据预设拼接显示策略和拼接口显示分辨率，对第一视频图像(来自主芯片的第一视频图像)和第二视频图像(来自采集芯片的第二视频图像)进行缩放处理、叠加处理，得到视频拼接墙上显示的第三视频图像。然后FPGA将第三视频图像切割发送到不同的拼接视频输出口进行显示。

以下结合一种具体应用场景对在视频拼接墙上显示视频图像进行说明，如图3所示，为在视频拼接墙上显示视频图像的流程示意图，该过程包括：

步骤1、主芯片接收来自客户端的预设拼接显示策略，并获得拼接口显示分辨率，并将该预设拼接显示策略和该拼接口显示分辨率分别发送给采集芯片和FPGA(如FPGA1和FPGA2)，如通过PCIE交换芯片进行发送。

步骤2、主芯片接收来自客户端的拼接指令。其中，该拼接指令具体为用于在视频拼接墙上显示视频图像的拼接指令，可以根据实际情况配置。

步骤3、主芯片判断待显示的视频图像为第一视频图像和/或第二视频图像。如果是第一视频图像，则执行步骤4；如果是第二视频图像，则执行步骤5；如果是第一视频图像和第二视频图像，则执行步骤4和步骤5。

步骤4、主芯片通知源端设备(如前端设备，如摄像机等)将第一视频图像(如网络码流或者通过USB接口采集的码流)发送给拼接控制器。拼接控制器的主芯片采集经过编码的第一视频图像，对采集到的第一视频图像进行解码，并根据预设拼接显示策略和拼接口显示分辨率，对解码后的第一视频图像进行缩放处理、叠加处理，将处理后的第一视频图像发送给FPGA。本步骤4之后，执行步骤6。

其中，如果主芯片没有在内存中开辟缓存区域，则主芯片还可以根据预设拼接显示策略，在内存中开辟一块缓存区域，该缓存区域的大小等于视频拼接墙的显示区域，该缓存区域用于存储主芯片采集到的第一视频图像。

其中，根据预设拼接显示策略和拼接口显示分辨率，主芯片可以根据第一视频图像的显示位置，对解码后的第一视频图像进行缩放处理、叠加处理，将处理后的第一视频图像放到相应的显示位置上，然后发送给FPGA。

步骤5、主芯片通知采集芯片采集第二视频图像，通知第二视频图像显示的大小和位置。采集芯片采集没有经过编码的第二视频图像，根据预设拼接显示策略和拼接口显示分辨率，对采集的第二视频图像进行缩放处理、叠加处理，并将处理后的第二视频图像发送给FPGA。步骤5之后执行步骤6。

其中，根据预设拼接显示策略和拼接口显示分辨率，采集芯片可以根据第二视频图像的大小和显示位置，对第二视频图像进行缩放处理、叠加处理，并将处理后的第二视频图像放到相应的显示位置上，然后发送给FPGA。

步骤6、FPGA(如FPGA1和FPGA2)根据预设拼接显示策略和拼接口显示分辨率，对第一视频图像和第二视频图像进行缩放处理、叠加处理，得到视频拼接墙上显示的第三视频图像。然后FPGA将第三视频图像切割发送到不同的拼接视频输出口进行显示，以在视频拼接墙上显示视频图像。

其中，预设拼接显示策略具体可以为在视频拼接墙上显示视频图像的策略，例如，在视频拼接墙上显示整个视频图像，并在右上角显示特定区域的视频图像。基于此预设拼接显示策略，主芯片可以对第一视频图像进行缩放处理、叠加处理；采集芯片可以对第二视频图像进行缩放处理、叠加处理；FPGA可以对第一视频图像和第二视频图像进行缩放处理、叠加处理。

其中，拼接口显示分辨率具体可以为在视频拼接墙上显示视频图像的分辨率，例如，拼接口显示分辨率为1080P等。基于此拼接口显示分辨率，主芯片可以对第一视频图像进行缩放处理、叠加处理；采集芯片可以对第二视频图像进行缩放处理、叠加处理；FPGA可以对第一视频图像和第二视频图像进行缩放处理、叠加处理。例如，当第一视频图像的分辨率为720P，而拼接口显示分辨率为1080P时，则主芯片需要对第一视频图像进行放大处理。

本发明实施例中，为了对视频图像进行回显，主芯片，用于获得视频拼接墙上显示的第三视频图像，并获得该第三视频图像对应的回显图像，并通过回显视频输出口输出该第三视频图像对应的回显图像，以在本地和/或远程回显该第三视频图像。进一步的，方式一、采集芯片，还用于在采集到第二视频图像之后，将该第二视频图像发送给主芯片；主芯片，具体用于在获得视频拼接墙上显示的第三视频图像的过程中，对主芯片采集到的第一视频图像和接收到的第二视频图像进行处理，以得到视频拼接墙上显示的第三视频图像。或者，方式二、FPGA，还用于在对第一视频图像和第二视频图像进行处理，得到视频拼接墙上显示的第三视频图像之后，将该第三视频图像发送给主芯片；主芯片，具体用于在获得视频拼接墙上显示的第三视频图像的过程中，接收来自FPGA的视频拼接墙上显示的该第三视频图像。

其中，针对上述方式一和方式二，当主芯片的性能较强时，可以采用方式一进行处理。当FPGA的性能较强时，可以采用方式二进行处理。

方式一、采集芯片，还用于在采集到第二视频图像之后，将该第二视频图像发送给主芯片；主芯片，具体用于对主芯片采集到的第一视频图像和接收到的第二视频图像进行处理，以得到视频拼接墙上显示的第三视频图像。

基于此，采集芯片，具体用于在采集第二视频图像，并将第二视频图像发送给主芯片的过程中，采集没有经过编码的第二视频图像，并根据预设拼接显示策略和回显口显示分辨率，对采集到的第二视频图像进行处理，并将处理后的第二视频图像发送给主芯片；主芯片，具体用于在对采集到的第一视频图像和接收到的第二视频图像进行处理，得到视频拼接墙上显示的第三视频图像的过程中，对采集到的经过编码的第一视频图像进行解码，并根据预设拼接显示策略和回显口显示分辨率，对解码后的第一视频图像进行处理；根据预设拼接显示策略和回显口显示分辨率，对第一视频图像和接收到的第二视频图像进行处理，得到视频拼接墙上显示的第三视频图像。

如图4所示，为视频图像的传输示意图，采集芯片主要可以用于通过DVI采集没有经过编码的第二视频图像，对第二视频图像进行处理，并将处理后的第二视频图像发送给主芯片。主芯片主要可以用于通过GMII或者USB接口采集经过编码的第一视频图像，对第一视频图像进行处理，得到处理后的第一视频图像。其中，第一视频图像是编码后的网络码流或者通过USB接口采集的码流对应的视频图像，第二视频图像是来自视频输出设备(如PC、投影仪等)的原始视频图像。

其中，采集芯片采集没有经过编码的第二视频图像(多路原始视频图像)，并根据预设拼接显示策略和回显口显示分辨率，对采集到的第二视频图像进行缩放处理、叠加处理，并将处理后的第二视频图像发送给主芯片。

其中，主芯片采集经过编码的第一视频图像，对采集到的第一视频图像进行解码，并根据预设拼接显示策略和回显口显示分辨率，对解码后的第一视频图像进行缩放处理、叠加处理，得到处理后的第一视频图像。主芯片根据预设拼接显示策略和回显口显示分辨率，对第一视频图像和第二视频图像进行缩放处理、叠加处理，得到视频拼接墙上显示的第三视频图像。

其中，主芯片在得到视频拼接墙上显示的第三视频图像(即第一视频图像叠加第二视频图像后的视频图像)之后，可以通过回显视频输出口输出该第三视频图像对应的回显图像，继而在本地和/或远程回显该第三视频图像。

以下结合一种具体的应用场景对视频图像回显过程的方式一进行说明，如图5所示，为对视频图像回显的流程示意图，该过程具体可以包括：

步骤1、主芯片接收来自客户端的回显指令。其中，该回显指令具体为用于对视频图像进行回显的回显指令，可以根据实际情况进行配置。

步骤2、主芯片判断是否进行回显；如果是，执行步骤3，否则结束流程。

步骤3、主芯片接收来自客户端的预设拼接显示策略，获得回显口显示分辨率，将回显指令、预设拼接显示策略和回显口显示分辨率发送采集芯片。

本发明实施例中，如果主芯片没有在内存中开辟缓存区域，则还可以在内存中开辟一块缓存区域，该缓存区域的大小等于回显口显示分辨率的大小。

步骤4、采集芯片采集没有经过编码的第二视频图像，并根据预设拼接显示策略和回显口显示分辨率，对当前采集的第二视频图像进行缩放处理、叠加处理，并将处理后的第二视频图像发送给主芯片。

其中，根据预设拼接显示策略和回显口显示分辨率，采集芯片可以根据第二视频图像的大小和显示位置，对第二视频图像进行缩放处理、叠加处理，并将处理后的第二视频图像放到相应的显示位置上，然后发送给主芯片。

步骤5、主芯片采集经过编码的第一视频图像，对采集到的第一视频图像进行解码，并根据预设拼接显示策略和回显口显示分辨率，对解码后的第一视频图像进行缩放处理、叠加处理，得到处理后的第一视频图像(即根据回显口显示分辨率对发送给FPGA的第一视频图像进行缩放后的视频图像)。

其中，根据预设拼接显示策略和回显口显示分辨率，主芯片可以根据第一视频图像的显示位置，对解码后的第一视频图像进行缩放处理、叠加处理，将处理后的第一视频图像放到相应的显示位置上，得到处理后第一视频图像。

步骤6、主芯片根据预设拼接显示策略和回显口显示分辨率，对第一视频图像和第二视频图像进行缩放处理、叠加处理，得到视频拼接墙上显示的第三视频图像，并通过回显视频输出口输出该第三视频图像对应的回显图像，继而在本地和/或远程回显该第三视频图像。其中，主芯片可以通过回显视频输出口输出进行本地回显，并通过编码引擎编码后进行远程回显。

主芯片可以将得到的第一视频图像存储到缓存区域，将来自采集芯片的第二视频图像存储到缓存区域，并根据预设拼接显示策略和回显口显示分辨率，对缓存区域中的第一视频图像和第二视频图像进行缩放处理、叠加处理。

其中，预设拼接显示策略具体可以为在视频拼接墙上显示视频图像的策略，例如，在视频拼接墙上显示整个视频图像，并在右上角显示特定区域的视频图像。基于此预设拼接显示策略，主芯片可以对第一视频图像进行缩放处理、叠加处理；采集芯片可以对第二视频图像进行缩放处理、叠加处理。

其中，回显口显示分辨率具体可以为在回显视频图像时的分辨率，例如，回显口显示分辨率为1080P等。基于此回显口显示分辨率，主芯片可以对第一视频图像进行缩放处理、叠加处理；采集芯片可以对第二视频图像进行缩放处理、叠加处理。例如，当第一视频图像的分辨率为720P，而回显口显示分辨率为1080P时，则主芯片需要对第一视频图像进行放大处理。

方式二、FPGA，还用于在对第一视频图像和第二视频图像进行处理，并得到视频拼接墙上显示的第三视频图像之后，还可以将该第三视频图像发送给主芯片；主芯片，具体用于接收来自该FPGA的视频拼接墙上显示的该第三视频图像。基于此，FPGA，具体用于在将该第三视频图像发送给主芯片的过程中，可以根据预设拼接显示策略和回显口显示分辨率，对该第三视频图像进行处理，并将处理后的第三视频图像发送给主芯片。

如图6所示，为视频图像的传输示意图，FPGA主要可以用于根据预设拼接显示策略和回显口显示分辨率，对第三视频图像进行处理，并将处理后的第三视频图像发送给主芯片。其中，第三视频图像是FPGA根据预设拼接显示策略和回显口显示分辨率，对第一视频图像和第二视频图像进行缩放处理、叠加处理，得到的视频拼接墙上显示的第三视频图像。主芯片在接收到视频拼接墙上显示的第三视频图像之后，可以通过回显视频输出口输出该第三视频图像对应的回显图像，继而在本地和/或远程回显该第三视频图像。

以下结合一种具体的应用场景对视频图像回显过程的方式二进行说明，如图7所示，为对视频图像回显的流程示意图，该过程具体可以包括：

步骤1、主芯片接收来自客户端的回显指令。其中，该回显指令具体为用于对视频图像进行回显的回显指令，可以根据实际情况进行配置。

步骤2、主芯片判断是否进行回显；如果是，执行步骤3，否则结束流程。

步骤3、主芯片接收来自客户端的预设拼接显示策略，获得回显口显示分辨率，将回显指令、预设拼接显示策略和回显口显示分辨率发送给FPGA。

步骤4、FPGA根据预设拼接显示策略和回显口显示分辨率，对第三视频图像进行处理，并将处理后的第三视频图像发送给主芯片。其中，当存在多个FPGA时，每个FPGA可以单独将处理后的第三视频图像发送给主芯片，也可以由一个FPGA将所有FPGA的处理后的第三视频图像发送给主芯片。

其中，根据预设拼接显示策略和回显口显示分辨率，FPGA可以对第三视频图像进行缩放处理、叠加处理，将处理后的第三视频图像发送给主芯片。

步骤5、主芯片通过回显视频输出口输出第三视频图像对应的回显图像，继而在本地和/或远程回显该第三视频图像。其中，主芯片可以通过回显视频输出口输出进行本地回显，并通过编码引擎编码后进行远程回显。

其中，预设拼接显示策略具体可以为在视频拼接墙上显示视频图像的策略，例如，在视频拼接墙上显示整个视频图像，并在右上角显示特定区域的视频图像。基于此预设拼接显示策略，FPGA可以对第三视频图像进行缩放处理、叠加处理。其中，回显口显示分辨率具体可以为在回显视频图像时的分辨率，例如，回显口显示分辨率为1080P等。基于此回显口显示分辨率，FPGA可以对第三视频图像进行缩放处理、叠加处理。

在上述过程中，本地回显和远程回显的区别在于：本地回显时不需要对视频图像进行编码处理，而远程回显时需要对视频图像进行编码处理。

基于上述技术方案，本发明实施例中，提出一种支持回显功能的拼接控制器，可以由拼接控制器实现本地回显和/或远程回显，将视频拼接墙上显示的视频图像，传输给远程的终端设备(如PC、平板和移动终端等)进行显示，从而实现远程控制视频拼接墙的显示，降低组网复杂性，提高回显的实时性。在本地回显的情况下，监控室可以不再需要PC进行拼接控制，通过连接到拼接控制器的鼠标以及回显视频输出口的输出，即可进行回显操作控制。

基于与上述拼接控制器同样的发明构思，本发明实施例中还提供了一种支持回显功能的拼接控制器的控制方法，所述拼接控制器包括主芯片、采集芯片、现场可编程门阵列FPGA和回显视频输出口，如图8所示，所述方法包括以下步骤：

步骤801，所述主芯片采集第一视频图像，并将所述第一视频图像发送给所述FPGA；所述采集芯片采集第二视频图像，并将所述第二视频图像发送给所述FPGA；所述FPGA接收所述第一视频图像和所述第二视频图像，并对所述第一视频图像和所述第二视频图像进行处理，得到视频拼接墙上显示的第三视频图像，并通过拼接视频输出口将所述第三视频图像输出给视频拼接墙，以在所述视频拼接墙上显示所述第三视频图像。

步骤802，所述主芯片获得视频拼接墙上显示的第三视频图像，并获得所述第三视频图像对应的回显图像，并通过所述回显视频输出口输出所述第三视频图像对应的回显图像，以在本地和/或远程回显所述第三视频图像。

所述主芯片采集第一视频图像，并将第一视频图像发送给所述FPGA的过程，具体包括：所述主芯片采集经过编码的第一视频图像，对采集到的第一视频图像进行解码，并根据预设拼接显示策略和拼接口显示分辨率，对解码后的第一视频图像进行处理，将处理后的第一视频图像发送给所述FPGA；

所述采集芯片采集第二视频图像，并将所述第二视频图像发送给所述FPGA的过程，具体包括：所述采集芯片采集没有经过编码的第二视频图像，并根据所述预设拼接显示策略和所述拼接口显示分辨率，对采集到的第二视频图像进行处理，并将处理后的第二视频图像发送给所述FPGA；

所述FPGA对所述第一视频图像和所述第二视频图像进行处理，得到视频拼接墙上显示的第三视频图像的过程，具体包括：所述FPGA根据所述预设拼接显示策略和所述拼接口显示分辨率，对所述第一视频图像和所述第二视频图像进行处理，得到所述视频拼接墙上显示的第三视频图像。

所述主芯片获得视频拼接墙上显示的第三视频图像的过程，具体包括：

所述采集芯片在采集第二视频图像之后，将所述第二视频图像发送给所述主芯片；所述主芯片对所述主芯片采集到的第一视频图像和接收到的第二视频图像进行处理，得到所述视频拼接墙上显示的第三视频图像；或者，

所述FPGA在对所述第一视频图像和所述第二视频图像进行处理，得到视频拼接墙上显示的第三视频图像之后，将所述第三视频图像发送给所述主芯片；所述主芯片接收来自所述FPGA的视频拼接墙上显示的第三视频图像。

所述采集芯片采集第二视频图像，并将所述第二视频图像发送给所述主芯片的过程，具体包括：所述采集芯片采集没有经过编码的第二视频图像，并根据所述预设拼接显示策略和回显口显示分辨率，对采集到的第二视频图像进行处理，并将处理后的第二视频图像发送给所述主芯片；

所述主芯片对所述主芯片采集到的第一视频图像和接收到的第二视频图像进行处理，得到所述视频拼接墙上显示的第三视频图像的过程，具体包括：所述主芯片对采集到的经过编码的第一视频图像进行解码，并根据所述预设拼接显示策略和所述回显口显示分辨率，对解码后的第一视频图像进行处理；根据所述预设拼接显示策略和所述回显口显示分辨率，对所述第一视频图像和接收到的第二视频图像进行处理，得到视频拼接墙上显示的第三视频图像。

所述FPGA将所述第三视频图像发送给所述主芯片的过程，具体包括：所述FPGA根据所述预设拼接显示策略和所述回显口显示分辨率，对所述第三视频图像进行处理，并将处理后的第三视频图像发送给所述主芯片。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。本领域技术人员可以理解附图只是一个优选实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可进一步拆分成多个子模块。上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上公开的仅为本发明的几个具体实施例，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (10)

1.一种支持回显功能的拼接控制器，其特征在于，所述拼接控制器包括：主芯片、采集芯片、现场可编程门阵列FPGA和回显视频输出口，其中：

所述主芯片，用于采集第一视频图像，并将所述第一视频图像发送给所述FPGA；所述采集芯片，用于采集第二视频图像，并将所述第二视频图像发送给所述FPGA；所述FPGA，用于接收所述第一视频图像和所述第二视频图像，并对所述第一视频图像和所述第二视频图像进行处理，得到视频拼接墙上显示的第三视频图像，并通过拼接视频输出口将所述第三视频图像输出给视频拼接墙，以在所述视频拼接墙上显示所述第三视频图像；

所述主芯片，用于获得视频拼接墙上显示的第三视频图像，并获得所述第三视频图像对应的回显图像，并通过所述回显视频输出口输出所述第三视频图像对应的回显图像，以在本地和/或远程回显所述第三视频图像。

2.根据权利要求1所述的拼接控制器，其特征在于，

所述主芯片，具体用于在采集第一视频图像，并将所述第一视频图像发送给所述FPGA的过程中，采集经过编码的第一视频图像，对采集到的第一视频图像进行解码，并根据预设拼接显示策略和拼接口显示分辨率，对解码后的第一视频图像进行处理，并将处理后的第一视频图像发送给所述FPGA；

所述采集芯片，具体用于在采集第二视频图像，并将所述第二视频图像发送给所述FPGA的过程中，采集没有经过编码的第二视频图像，并根据所述预设拼接显示策略和所述拼接口显示分辨率，对采集到的第二视频图像进行处理，并将处理后的第二视频图像发送给所述FPGA；

所述FPGA，具体用于在对所述第一视频图像和所述第二视频图像进行处理，得到视频拼接墙上显示的第三视频图像的过程中，根据所述预设拼接显示策略和所述拼接口显示分辨率，对所述第一视频图像和所述第二视频图像进行处理，得到所述视频拼接墙上显示的第三视频图像。

3.根据权利要求1或2所述的拼接控制器，其特征在于，

所述采集芯片，还用于在采集第二视频图像之后，将所述第二视频图像发送给所述主芯片；所述主芯片，具体用于在获得视频拼接墙上显示的第三视频图像的过程中，对所述主芯片采集到的第一视频图像和接收到的第二视频图像进行处理，得到所述视频拼接墙上显示的第三视频图像；或者，

所述FPGA，还用于在对所述第一视频图像和所述第二视频图像进行处理，得到视频拼接墙上显示的第三视频图像之后，将所述第三视频图像发送给所述主芯片；所述主芯片，具体用于在获得视频拼接墙上显示的第三视频图像的过程中，接收来自所述FPGA的视频拼接墙上显示的第三视频图像。

4.根据权利要求3所述的拼接控制器，其特征在于，

所述采集芯片，具体用于在采集第二视频图像，并将所述第二视频图像发送给所述主芯片的过程中，采集没有经过编码的第二视频图像，并根据所述预设拼接显示策略和回显口显示分辨率，对采集到的第二视频图像进行处理，并将处理后的第二视频图像发送给所述主芯片；

所述主芯片，具体用于在对采集到的第一视频图像和接收到的第二视频图像进行处理，得到所述视频拼接墙上显示的第三视频图像的过程中，对采集到的经过编码的第一视频图像进行解码，并根据所述预设拼接显示策略和所述回显口显示分辨率，对解码后的第一视频图像进行处理；根据所述预设拼接显示策略和所述回显口显示分辨率，对所述第一视频图像和接收到的第二视频图像进行处理，得到所述视频拼接墙上显示的第三视频图像。

5.根据权利要求3所述的拼接控制器，其特征在于，

所述FPGA，具体用于在将所述第三视频图像发送给所述主芯片的过程中，根据所述预设拼接显示策略和所述回显口显示分辨率，对所述第三视频图像进行处理，并将处理后的第三视频图像发送给所述主芯片。

6.一种支持回显功能的拼接控制器的控制方法，其特征在于，所述拼接控制器包括主芯片、采集芯片、现场可编程门阵列FPGA和回显视频输出口，所述方法包括：

所述主芯片采集第一视频图像，并将所述第一视频图像发送给所述FPGA；所述采集芯片采集第二视频图像，并将所述第二视频图像发送给所述FPGA；所述FPGA接收所述第一视频图像和所述第二视频图像，并对所述第一视频图像和所述第二视频图像进行处理，得到视频拼接墙上显示的第三视频图像，并通过拼接视频输出口将所述第三视频图像输出给视频拼接墙，以在所述视频拼接墙上显示所述第三视频图像；

所述主芯片获得视频拼接墙上显示的第三视频图像，并获得所述第三视频图像对应的回显图像，并通过所述回显视频输出口输出所述第三视频图像对应的回显图像，以在本地和/或远程回显所述第三视频图像。

7.根据权利要求6所述的方法，其特征在于，

所述主芯片采集第一视频图像，并将第一视频图像发送给所述FPGA的过程，具体包括：所述主芯片采集经过编码的第一视频图像，对采集到的第一视频图像进行解码，并根据预设拼接显示策略和拼接口显示分辨率，对解码后的第一视频图像进行处理，将处理后的第一视频图像发送给所述FPGA；

所述采集芯片采集第二视频图像，并将所述第二视频图像发送给所述FPGA的过程，具体包括：所述采集芯片采集没有经过编码的第二视频图像，并根据所述预设拼接显示策略和所述拼接口显示分辨率，对采集到的第二视频图像进行处理，并将处理后的第二视频图像发送给所述FPGA；

所述FPGA对所述第一视频图像和所述第二视频图像进行处理，得到视频拼接墙上显示的第三视频图像的过程，具体包括：所述FPGA根据所述预设拼接显示策略和所述拼接口显示分辨率，对所述第一视频图像和所述第二视频图像进行处理，得到所述视频拼接墙上显示的第三视频图像。

8.根据权利要求6或7所述的方法，其特征在于，所述主芯片获得视频拼接墙上显示的第三视频图像的过程，具体包括：

所述采集芯片在采集第二视频图像之后，将所述第二视频图像发送给所述主芯片；所述主芯片对所述主芯片采集到的第一视频图像和接收到的第二视频图像进行处理，得到所述视频拼接墙上显示的第三视频图像；或者，

所述FPGA在对所述第一视频图像和所述第二视频图像进行处理，得到视频拼接墙上显示的第三视频图像之后，将所述第三视频图像发送给所述主芯片；所述主芯片接收来自所述FPGA的视频拼接墙上显示的第三视频图像。

9.根据权利要求8所述的方法，其特征在于，

所述采集芯片采集第二视频图像，并将所述第二视频图像发送给所述主芯片的过程，具体包括：所述采集芯片采集没有经过编码的第二视频图像，并根据所述预设拼接显示策略和回显口显示分辨率，对采集到的第二视频图像进行处理，并将处理后的第二视频图像发送给所述主芯片；

所述主芯片对所述主芯片采集到的第一视频图像和接收到的第二视频图像进行处理，得到所述视频拼接墙上显示的第三视频图像的过程，具体包括：所述主芯片对采集到的经过编码的第一视频图像进行解码，并根据所述预设拼接显示策略和所述回显口显示分辨率，对解码后的第一视频图像进行处理；根据所述预设拼接显示策略和所述回显口显示分辨率，对所述第一视频图像和接收到的第二视频图像进行处理，得到视频拼接墙上显示的第三视频图像。

10.根据权利要求8所述的方法，其特征在于，

所述FPGA将所述第三视频图像发送给所述主芯片的过程，具体包括：所述FPGA根据所述预设拼接显示策略和所述回显口显示分辨率，对所述第三视频图像进行处理，并将处理后的第三视频图像发送给所述主芯片。