CN103618869B - 多画面视频拼接方法及装置 - Google Patents

Abstract

本发明提供一种多画面视频拼接方法及装置，所述方法包括以下步骤：采集视频信号，进行解码转换后得到视频交织信号；对所述视频交织信号进行分离和解析，得到同步信号与多通道视频交织信号，并对所述多通道视频交织信号进行交叉处理；对交叉处理后的视频信号进行去隔行处理；根据所述同步信号计算垂直分辨率，并根据所述垂直分辨率判断去隔行处理后的视频信号是否为480p系统；若是，则将所述480p系统的视频信号向576p系统的视频信号转换；根据所述576p系统的视频信号进行多画面视频拼接。本发明的方法及装置可以采用一片FPGA来实现多路视频信号的拼接显示，成本低、采集信息量大；而且PCB布线及接口简单，可控性高。

Description

多画面视频拼接方法及装置

技术领域

本发明涉及拼接墙领域，特别是涉及一种多画面视频拼接方法以及一种多画面视频拼接装置。

背景技术

近年来，视频监控系统在许多场合有着广泛的应用，有效的代替了人员巡视。由于监视面广，多画面处理器的应用也愈来愈普遍。如使用一台四画面的处理器，则可在一台监视器上同时监控四个目标。一般来说多画面视频处理器除了具有多画面图像拼接的功能外，还必须具有支持更多的采集视频输入、多画面相互切换位置、多画面等宽度高度处理、去隔行以及视频字符叠加显示等功能。

目前，存在着许多采用专用DSP（Digital Signal Processor，数字信号处理器）芯片实现的多画面处理器，它在一定程度上能保证速度要求，但是开发周期较长，产品的调试，修改以及升级比较困难，导致整体成本较高。

发明内容

基于此，有必要针对上述成本高的问题，提供一种多画面视频拼接方法及装置。

为实现上述目的，本发明采用如下的技术方案：

一种多画面视频拼接方法，包括以下步骤：

采集视频信号，进行解码转换后得到视频交织信号；

对所述视频交织信号进行分离和解析，得到同步信号与多通道视频交织信号，并对所述多通道视频交织信号进行交叉处理；

对交叉处理后的视频信号进行去隔行处理；

根据所述同步信号计算垂直分辨率，并根据所述垂直分辨率判断去隔行处理后的视频信号是否为480p系统；

若是，则将所述480p系统的视频信号向576p系统的视频信号转换；

根据所述576p系统的视频信号进行多画面视频拼接。

一种多画面视频拼接装置，包括：

视频采集模块，用于采集视频信号，进行解码转换后得到视频交织信号；

视频处理模块，用于对所述视频交织信号进行分离和解析，得到同步信号与多通道视频交织信号，并对所述多通道视频交织信号进行交叉处理；

去隔行模块，用于对交叉处理后的视频信号进行去隔行处理；

判断模块，用于根据所述同步信号计算垂直分辨率，并根据所述垂直分辨率判断去隔行处理后的视频信号是否为480p系统；

信号转换模块，用于在所述判断模块的判断结果为是的情况下，将所述480p系统的视频信号向576p系统的视频信号转换；

视频拼接模块，用于根据所述576p系统的视频信号进行多画面视频拼接。

由以上方案可以看出，本发明的一种多画面视频拼接方法及装置，首先对采集到的视频信号进行解码转换得到视频交织信号，然后对视频交织信号进行分离和解析得到多通道视频交织信号，并在得到多通道视频交织信号后进行任意交叉处理、去隔行处理以及视频信号转换，最后根据所述576p系统的视频信号进行多画面视频拼接。本发明避免了采用专用DSP芯片来实现多画面视频拼接的方式，可以采用一片FPGA来实现多路视频信号的拼接显示，成本低，采集信息量大；另外本发明输入的多路视频信号可以切换到多画面输出的任意位置，并且对输入的隔行视频信号不需要额外的去隔行芯片进行处理，PCB布线及接口简单，进一步降低了硬件成本，可控性高。

附图说明

图1为本发明一种多画面视频拼接方法的流程示意图；

图2为本发明对多通道视频交织信号进行任意交叉处理的实现框图；

图3为本发明去隔行处理的实现框图；

图4为本发明OSD功能的实现框图；

图5为本发明一种多画面视频拼接装置的结构示意图。

具体实施方式

下面结合附图以及具体的实施例，对本发明的技术方案作进一步的描述。

参见图1所示，一种多画面视频拼接方法，包括以下步骤：

步骤S101，采集视频信号，进行解码转换后得到视频交织信号。

作为一个较好的实施例，本发明中进行解码转换后得到的视频交织信号可以为BT.656格式，即接收到来自DVD、VCD输入的复合视频信号后，进行解码转换为BT.656格式的数字信号。以四画面的视频拼接为例，由于BT.656单路采样时钟频率通常为27Mhz输出，本实施例中需要处理16路的CVBS信号（Composite Video Broadcast Signal，复合视频广播信号），FPGA（Field－Programmable Gate Array，即现场可编程门阵列）管脚有限，故输入到FPGA的BT.656为108Mhz系统的四路视频交织信号格式。

步骤S102，对所述视频交织信号进行分离和解析，得到同步信号与多通道视频交织信号，并对所述多通道视频交织信号进行交叉处理。

作为一个较好的实施例，本步骤中对所述视频交织信号进行分离和解析后得到的多通道视频交织信号可以为常见的BT.601格式。由于前端交织的四路BT.656格式视频信号交织位置随机变化，故本步骤中需要根据其嵌入的视频ID进行排序，并且排序后的多路视频信号（以16路为例）需要进行16路的任意交叉处理，如图2所示。事实上，上述步骤S101中得到的视频交织信号由于物理上的限制，采用了固定四路视频为一组的方式送入FPGA进行处理，这样导致后端四画面显示存在操作困难的缺点。本发明利用FPGA内部丰富的逻辑资源实现了16路输入信号的行场格式分离与输入与输出的任意调度。例如某交通指挥中心存在如下应用：16个视频监控摄像头，置于不同道路的16个分离位置，调度中心分别装置了四台显示设备A、B、C、D显示四画面监控视频。由于物理上已经固定装置，不同视频监控摄像头接入了固定的采集通道，由于成本的考虑，4路视频采用同一解码芯片进行模拟信号向数字信号的解析，这样共用同一解码芯片的四路采集视频将组成一个四画面在调度中心进行显示观察。假设A监控设备出现故障，并且A设备监控的路口处于交通高峰期需要进行交通调度，此时如果改变物理上的连接不仅费时而且非专业人员操作也非常困难，考虑到此，本发明应用FPGA利用它丰富的查找表资源解除了物理上捆绑限制，内部通过寄存器控制任意交叉，这样上层应用通过控制FPGA内部寄存器便可做到任意切换。上面的紧急情况出现，调度中心通过将A监控设备监控的画面调度到B、C、D任意监控设备便可以及时的监控并指挥交通。

步骤S103，对交叉处理后的视频信号进行去隔行处理。

由于视频信号一般采用隔行的扫描方式输出，但是现在的显示设备都需要显示逐行的视频，所以需要进行去隔行处理。目前一般有专用的ASIC（Application SpecificIntegrated Circuit，专用集成电路）芯片去隔行和软件去隔行处理。本发明由于接入了16路视频源，如果仍然采用ASIC去隔行芯片，不仅需要外接数量庞大的芯片，并且PCB（Printed Circuit Board，印刷电路板）布线、引脚数量都会增加，从而导致硬件成本的增加。因此，作为一个较好的实施例，本发明利用FPGA与外部存储器采用图3所示方法实现去隔行功能，具体的，所述去隔行处理的过程可以包括如下：

步骤S1031，将交叉处理后的视频信号按照奇场与偶场分离的方式分别存入存储器的不同位置，并在存储空间中按照每一行独立划分空间的方式进行存储，方便后端取数据的控制；

步骤S1032，FPGA根据用户选择的去隔行算法进行存储器读取数据的控制，具体如下：

如果用户选择的行复制方法去隔行，则FPGA只读取奇场/偶场的数据，并采取每一行数据重读读取的方式将视频信号最终转换为逐行数据；

如果用户选择的为奇偶场交织的方式去隔行，则FPGA内部控制读取地址一行奇场行、一行偶场行进行数据的取出进行去隔行处理。

两种去隔行方式均由FPGA实现，并且对于视频运动画面都能取得较好的效果。

步骤S104，根据所述步骤S102中分离出来的同步信号计算垂直分辨率，并根据所述垂直分辨率判断去隔行处理后的视频信号是否为480p系统。

在实际应用中多存在不同制式的视频源输入，如果不进行等高处理，拼接的四画面则不能呈现出规则的矩阵，导致用户观察困难、失去视觉美观感。本步骤根据前端送入的信息判断需要进行制式转换的视频源，通过控制存储器读取数据的方式，即如果输入的为480视频源，则进入步骤S105进行信号转换；如果输入的不是480视频源（此时为576p视频源），则可以直接进入步骤S106。

步骤S105，若去隔行处理后的视频信号为480p系统，则将所述480p系统的视频信号向576p系统的视频信号转换。

作为一个较好的实施例，本步骤中将所述480p系统的视频信号向576p系统的视频信号转换的过程具体可以包括如下：

读取所述480p系统的视频信号，并采取每读取五行数据复制第五行作为补行的方式实现480p系统向576p系统的转换。由于每读取五行数据再重复读取前一行（即第五行）数据，这样480行数据读取结束便增加了96行数据，实现了480p向576p转换。

步骤S106，根据所述576p系统的视频信号进行多画面视频拼接。

作为一个较好的实施例，所述根据576p系统的视频信号进行多画面视频拼接的过程具体可以包括如下：

步骤S1061，将所述576p系统的视频信号进行同步化帧率转换，并产生拼接时序；本实施例中，不管输入的信号为PAL制式还是NTSC制式，都按照该拼接时序统一同步化到3.0Gbps的视频信号，并且根据四画面显示的位置与大小设置控制四画面显示；

步骤S1062，对帧率转换后的视频信号叠加视频字符，方便记录采集视频的地点、时间以及其他相关信息；并根据所述拼接时序将叠加有视频字符的视频信号进行多画面视频拼接，输出多画面视频拼接数据。由于本发明实施例在步骤S102中做了16路采集信号的任意交叉，故拼接的四画面可以来自前端的任意一路输入，另外为了视觉上的美观，拼接的多画面大小可以进行等宽等高等处理。

如图4所示为OSD（on-screen display，屏幕显示）功能的实现框图，方便用户记录视频的相关信息。该功能目前较多的采用专用的字符点阵产生芯片进行编程控制，但是成本较高，本发明利用FPGA具备片上可编程分布式RAM（random access memory，随机存储器）的特点，利用微处理器将所需的OSD数据写入FPGA存入分布式RAM中，并且产生相应的OSD时序实现与视频源的叠加。OSD功能支持中英文输入，字符显示位置与大小可调，字符显示颜色可控，叠加部分背景具有透明效果等功能。并且显示的字符支持32点阵、48点阵、64点阵，可显示的字符个数受FPGA内部RAM限制。

作为一个较好的实施例，在所述输出多画面视频拼接数据之后，还可以包括如下步骤：

步骤S107，将所述多画面视频拼接数据编码后进行串行化传输；具体的，可以进行同步信号与数据信号的8b/10b编码后进行传输；

步骤S108，接收端对接收到的8b/10b数据进行解码，将串行化数据解码为编码前格式的多画面视频拼接数据，解析出行场同步信号以及视频数据等信息，并进行缩放、剪切等处理后输入到显示单元进行多画面显示。

与上述一种多画面视频拼接方法相对应，本发明还提供一种多画面视频拼接装置，如图5所示，包括：

视频采集模块101，用于采集视频信号，进行解码转换后得到视频交织信号；

视频处理模块102，用于对所述视频交织信号进行分离和解析，得到同步信号与多通道视频交织信号，并对所述多通道视频交织信号进行交叉处理；

去隔行模块103，用于对交叉处理后的视频信号进行去隔行处理；

判断模块104，用于根据所述同步信号计算垂直分辨率，并根据所述垂直分辨率判断去隔行处理后的视频信号是否为480p系统；

信号转换模块105，用于在所述判断模块的判断结果为是的情况下，将所述480p系统的视频信号向576p系统的视频信号转换；

视频拼接模块106，用于根据所述576p系统的视频信号进行多画面视频拼接。

作为一个较好的实施例，所述去隔行模块可以包括：

存储模块，用于将交叉处理后的视频信号按照奇场与偶场分离的方式分别存入存储器的不同位置，并按照每一行独立划分空间的方式进行存储；

行复制模块，用于当接收到选择行复制方法去隔行的指令时，读取奇场/偶场的数据，并采取每一行数据重读读取的方式将视频信号转换为逐行数据；

奇偶场交织模块，用于当接收到选择奇偶场交织的方式去隔行的指令时，控制读取地址一行奇场行、一行偶场行进行数据的取出进行去隔行处理。

作为一个较好的实施例，所述信号转换模块可以包括：

复制转换模块，用于读取所述480p系统的视频信号，并采取每读取五行数据复制第五行作为补行的方式实现480p系统向576p系统的转换。

作为一个较好的实施例，所述视频拼接模块可以包括：

帧同步控制模块，用于将所述576p系统的视频信号进行同步化帧率转换，并产生拼接时序；

OSD模块，用于对帧率转换后的视频信号叠加视频字符，并根据所述拼接时序将叠加有视频字符的视频信号进行多画面视频拼接，输出多画面视频拼接数据。

上述一种多画面视频拼接装置的其它技术特征与本发明的一种多画面视频拼接方法相同，此处不予赘述。

需要说明的是，除非上下文另有特定清楚的描述，本发明中的元件和组件，数量既可以单个的形式存在，也可以多个的形式存在，本发明并不对此进行限定。本发明中的步骤虽然用标号进行了排列，但并不用于限定步骤的先后次序，除非明确说明了步骤的次序或者某步骤的执行需要其他步骤作为基础，否则步骤的相对次序是可以调整的。

通过以上方案可以看出，本发明的一种多画面视频拼接方法及装置，首先对采集到的视频信号进行解码转换得到视频交织信号，然后对视频交织信号进行分离和解析得到多通道视频交织信号，并在得到多通道视频交织信号后进行任意交叉处理、去隔行处理以及视频信号转换，最后根据所述576p系统的视频信号进行多画面视频拼接。本发明避免了采用专用DSP芯片来实现多画面视频拼接的方式，可以采用一片FPGA来实现多路视频信号的拼接显示，成本低，采集信息量大；另外本发明输入的多路视频信号可以切换到多画面输出的任意位置，并且对输入的隔行视频信号不需要额外的去隔行芯片进行处理，PCB布线及接口简单，进一步降低了硬件成本，可控性高。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种多画面视频拼接方法，其特征在于，包括以下步骤：

通过FPGA采集视频信号，进行解码转换后得到视频交织信号；

通过FPGA对所述视频交织信号进行分离和解析，得到同步信号与多通道视频交织信号，并对所述多通道视频交织信号进行交叉处理；

通过FPGA对交叉处理后的视频信号进行去隔行处理；

根据所述同步信号计算垂直分辨率，并根据所述垂直分辨率判断去隔行处理后的视频信号是否为480p系统；

若是，则将所述480p系统的视频信号向576p系统的视频信号转换；

根据所述576p系统的视频信号进行多画面视频拼接；

若不是，直接根据所述576p系统的视频信号进行多画面视频拼接。

2.根据权利要求1所述的多画面视频拼接方法，其特征在于，所述去隔行处理的过程包括：

将交叉处理后的视频信号按照奇场与偶场分离的方式分别存入存储器的不同位置，并按照每一行独立划分空间的方式进行存储；

FPGA读取奇场/偶场的数据，并采取每一行数据重读读取的方式将视频信号转换为逐行数据；或FPGA交替取出奇场行和偶场行数据进行去隔行处理。

3.根据权利要求1所述的多画面视频拼接方法，其特征在于，将所述480p系统的视频信号向576p系统的视频信号转换的过程包括：

读取所述480p系统的视频信号，并采取每读取五行数据复制第五行作为补行的方式实现480p系统向576p系统的转换。

4.根据权利要求1或2或3所述的多画面视频拼接方法，其特征在于，所述根据576p系统的视频信号进行多画面视频拼接的过程包括：

将所述576p系统的视频信号进行同步化帧率转换，并产生拼接时序；

对帧率转换后的视频信号叠加视频字符，并根据所述拼接时序将叠加有视频字符的视频信号进行多画面视频拼接，输出多画面视频拼接数据。

5.根据权利要求4所述的多画面视频拼接方法，其特征在于，在所述输出多画面视频拼接数据之后，还包括步骤：

将所述多画面视频拼接数据编码后进行串行化传输；

接收端将串行化数据解码为编码前格式的多画面视频拼接数据，并进行缩放处理后输入到显示单元进行多画面显示。

6.根据权利要求1或2或3所述的多画面视频拼接方法，其特征在于，所述进行解码转换后得到的视频交织信号为BT.656格式；对所述视频交织信号进行分离和解析后得到的多通道视频交织信号为BT.601格式。

7.一种多画面视频拼接装置，其特征在于，包括：

视频采集模块，用于通过FPGA采集视频信号，进行解码转换后得到视频交织信号；

视频处理模块，用于通过FPGA对所述视频交织信号进行分离和解析，得到同步信号与多通道视频交织信号，并对所述多通道视频交织信号进行交叉处理；

去隔行模块，用于通过FPGA对交叉处理后的视频信号进行去隔行处理；

判断模块，用于根据所述同步信号计算垂直分辨率，并根据所述垂直分辨率判断去隔行处理后的视频信号是否为480p系统；

信号转换模块，用于在所述判断模块的判断结果为是的情况下，将所述480p系统的视频信号向576p系统的视频信号转换；

视频拼接模块，用于根据所述576p系统的视频信号进行多画面视频拼接，在所述判断模块的判断结果为否的情况下，直接根据所述576p系统的视频信号进行多画面视频拼接。

8.根据权利要求7所述的多画面视频拼接装置，其特征在于，所述去隔行模块包括：

存储模块，用于将交叉处理后的视频信号按照奇场与偶场分离的方式分别存入存储器的不同位置，并按照每一行独立划分空间的方式进行存储；

行复制模块，用于当接收到选择行复制方法去隔行的指令时，读取奇场/偶场的数据，并采取每一行数据重读读取的方式将视频信号转换为逐行数据；

奇偶场交织模块，用于当接收到选择奇偶场交织的方式去隔行的指令时，交替取出奇场行和偶场行数据进行去隔行处理。

9.根据权利要求7所述的多画面视频拼接装置，其特征在于，所述信号转换模块包括：

复制转换模块，用于读取所述480p系统的视频信号，并采取每读取五行数据复制第五行作为补行的方式实现480p系统向576p系统的转换。

10.根据权利要求7或8或9所述的多画面视频拼接装置，其特征在于，所述视频拼接模块包括：

帧同步控制模块，用于将所述576p系统的视频信号进行同步化帧率转换，并产生拼接时序；

OSD模块，用于对帧率转换后的视频信号叠加视频字符，并根据所述拼接时序将叠加有视频字符的视频信号进行多画面视频拼接，输出多画面视频拼接数据。