CN111083394A - 一种高效率视频拼接装置及方法 - Google Patents

Abstract

本发明公开了视频图像处理技术领域的一种高效率视频拼接装置及方法，旨在解决现有技术中视频拼接器输出板卡FPGA芯片的空闲逻辑资源无法得到充分利用，不利于实现视频拼接器性能最大化的技术问题。所述装置包括彼此串联的视频拼接前置模块和视频拼接后置模块，所述视频拼接前置模块包括不少于两路彼此并联的视频拼接前置处理链路，所述视频拼接后置模块包括不少于一路彼此并联的视频拼接后置处理链路；所述视频拼接前置处理链路包括顺序电性连接的视频输入单元、缩放单元1、高速串行信号转换单元1，所述缩放单元1电性连接有控制单元。

Description

一种高效率视频拼接装置及方法

技术领域

本发明涉及一种高效率视频拼接装置及方法，属于视频图像处理技术领域。

背景技术

随着国家政策和现实需求的双重推动，视频产业向着高分辨率方向快速发展。尤其是工信部《超高清视频产业发展行动计划（2019-2022年）》发布以来，国家将按照“4K先行、兼顾8K”的总体技术路线，大力推进超高清视频产业发展和在相关领域的应用。

视频分辨率的提高，对视频设备的处理能力有了新的更高要求，视频设备的成本也将大幅提高。如何提高视频设备的性能并控制成本，是视频设备生产商亟待解决的问题。视频拼接器由于需要处理多路视频输入信号，同时输出多路视频，视频数据处理量极大，因而对性能和成本的问题也更为敏感。

视频拼接器大多是插卡式设计，每个板卡通过FPGA芯片对视频信号单独执行特定操作，如视频图像的缩放操作、拼接操作等，这些操作大多在输出板卡FPGA芯片上实现，因而造成输出板卡FPGA芯片的逻辑资源紧张。而输入板卡由于对视频信号的操作较少，其FPGA芯片的逻辑资源仍存在较多空余。例如，12G SDI板卡由于信号速率较高，具备该处理能力的FPGA芯片往往具有较多的逻辑资源。以XILINX厂商为例，XC7K325T已是满足12G SDI板卡要求的最低配置的芯片，该芯片在实现12G SDI板卡处理能力时往往会有大量的空闲逻辑资源。在类似的应用场景中，如何利用这些空闲逻辑资源，实现视频拼接器更高的性能，是视频拼接器设计者需要考虑的重要问题。

发明内容

针对现有技术的不足，本发明的目的在于提供一种高效率视频拼接装置及方法，以解决现有技术中视频拼接器输出板卡FPGA芯片的空闲逻辑资源无法得到充分利用，不利于实现视频拼接器性能最大化的技术问题。

一种高效率视频拼接装置，包括彼此串联的视频拼接前置模块和视频拼接后置模块，所述视频拼接前置模块包括不少于两路彼此并联的视频拼接前置处理链路，所述视频拼接后置模块包括不少于一路彼此并联的视频拼接后置处理链路；所述视频拼接前置处理链路包括顺序电性连接的视频输入单元、缩放单元1、高速串行信号转换单元1，所述缩放单元1电性连接有控制单元。

进一步地，所述视频拼接前置处理链路还包括串联于视频输入单元与缩放单元1之间的裁剪单元，所述裁剪单元与所述控制单元电性连接。

进一步地，所述视频拼接后置处理链路包括顺序电性连接的高速串行信号转换单元2、缩放单元2、图像融合单元，所述控制单元分别与所述缩放单元2和所述图像融合单元电性连接，所述图像融合单元还分别电性连接有读写控制单元和视频输出单元，所述读写控制单元还电性连接有缓存单元。

进一步地，所述缩放单元2包括不少于两个彼此并联的缩放单元3。

进一步地，视频拼接前置模块通过视频路由单元与视频拼接后置模块串联，所述视频路由单元还与所述控制单元电性连接。

为达到上述目的，本发明还提供了一种高效率视频拼接方法，包括如下步骤：

视频输入单元将输入的视频图像转换为并行的视频信号；

缩放单元1或缩放单元2基于所述视频信号对所述视频图像进行缩放处理；

图像融合单元将缩放处理后的视频图像写入缓存单元；

图像融合单元基于缓存单元中的视频图像融合生成拼接视频图像；

视频输出单元输出所述拼接视频图像。

进一步地，图像融合单元将缩放处理后的视频图像写入缓存单元，包括：

读写控制单元生成写入地址；

图像融合单元将缩放处理后的视频图像写入缓存单元中与所述写入地址相对应的存储区域。

进一步地，在缩放单元1或缩放单元2基于所述视频信号对所述视频图像进行缩放处理之前，还包括：裁剪单元基于所述视频信号对所述视频图像进行裁剪处理。

进一步地，缩放单元1或缩放单元2基于所述视频信号对所述视频图像进行缩放处理，包括：

对缩放单元1所处输入板卡FPGA芯片的空闲逻辑资源与缩放处理所述视频图像所需逻辑资源进行比较；

如果缩放单元1所处输入板卡FPGA芯片的空闲逻辑资源大于缩放处理所述视频图像所需逻辑资源，由缩放单元1基于所述视频信号对所述视频图像进行缩放处理；

如果缩放单元1所处输入板卡FPGA芯片的空闲逻辑资源不大于缩放处理所述视频图像所需逻辑资源，由缩放单元2基于所述视频信号对所述视频图像进行缩放处理。

进一步地，输入的视频图像或／和输出的拼接视频图像，包括HDMI、DVI、DP、VGA、SDI中的至少任一项；

并行的视频信号，包括RGB、DE、HS、VS。

与现有技术相比，本发明所达到的有益效果：本发明装置及方法利用多路并联的视频拼接前置处理链路构成视频拼接前置模块，利用视频拼接前置处理链路中的缩放单元1和裁剪单元对视频图像进行预处理，从而分散视频拼接后置模块中缩放单元2的视频图像处理压力，达到充分利用输入板卡FPGA芯片的空闲逻辑资源的目的，以利于实现视频拼接器性能最大化。

附图说明

图1是本发明装置的连接关系示意图；

图2是本发明装置实施例中所述可融合两个视频图像的视频拼接器的连接关系示意图；

图3是本发明装置实施例中所述可融合两个视频图像的视频拼接器的视频图像拼接效果示意图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

需要说明的是，在本发明的描述中，术语“前”、“后”、“左”、“右”、“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图中所示的方位或位置关系，仅是为了便于描述本发明而不是要求本发明必须以特定的方位构造和操作，因此不能理解为对本发明的限制。本发明描述中使用的术语“前”、“后”、“左”、“右”、“上”、“下”指的是附图中的方向，术语“内”、“外”分别指的是朝向或远离特定部件几何中心的方向。

本发明具体实施方式提供了一种高效率视频拼接装置，如图1所示，是本发明装置的连接关系示意图，本发明装置所采取的技术方案如下：

所述视频拼接装置为一种视频拼接器，所述视频拼接器包括控制单元以及顺序连接的视频拼接前置模块、视频路由单元、视频拼接后置模块。

所述视频拼接前置模块包括多路彼此并联的视频拼接前置处理链路，所述视频拼接前置处理链路包括顺序连接的视频输入单元、裁剪单元、缩放单元1、高速串行信号转换单元1。

所述视频拼接后置模块包括一路或多路彼此并联的视频拼接后置处理链路，所述视频拼接后置处理链路包括顺序连接的高速串行信号转换单元2、缩放单元2、图像融合单元、读写控制单元、缓存单元，所述图像融合单元还连接有视频输出单元。

所述控制单元分别与裁剪单元、缩放单元1、缩放单元2、视频路由单元、图像融合单元相连，所述视频路由单元的输入端与高速串行信号转换单元1连接，视频路由单元的输出端与高速串行信号转换单元2连接。

其中，高速串行信号转换单元1可发送多路串行信号，高速串行信号转换单元2可接收多路高速串行信号。

该技术方案中，每个缩放单元1可处理一路视频图像的缩放；每个缩放单元2用于处理多路视频图像的缩放，其内部由多个缩放单元3并联构成；每个缩放单元3可单独处理一路视频图像的缩放，也可以多个缩放单元3协同处理一路具有较高分辨率和刷新率的视频图像的缩放。

该技术方案中，裁剪单元和缩放单元1均集成于输入板卡FPGA芯片内，可根据输入板卡FPGA芯片的逻辑资源确定其性能上限。输入板卡FPGA芯片内优先实现视频输入单元和高速串行信号转换单元1；在FPGA芯片的空闲逻辑资源充足时，裁剪单元和缩放单元1可处理较高分辨率和刷新率视频图像的裁剪和缩放；在FPGA芯片的空闲逻辑资源紧张时，裁剪单元和缩放单元1可处理较低分辨率和刷新率视频图像的裁剪和缩放；在FPGA芯片无空闲逻辑资源时，不进行裁剪和缩放操作，此时视频输入单元直接将视频图像发送到高速串行信号转换单元1，经视频路由单元传输至视频拼接后置模块，由缩放单元2对视频图像进行缩放操作。

本发明具体实施方式提供了一种高效率视频拼接方法，本发明方法基于本发明装置加以实现，该发明方法技术方案包括如下步骤：

第一步，视频输入单元将输入的视频图像转换成并行的视频信号，视频信号主要包括RGB、DE、HS、VS，视频输入单元可接收的视频图像包括但不限于HDMI、DVI、DP、VGA、SDI；

第二步，裁剪单元根据控制单元发送的指令，对视频图像进行裁剪。在此步骤中，控制单元根据用户指定的图像融合效果，判定是否需要对视频图像进行裁剪以及裁剪区域；

第三步，控制单元控制缩放单元1对视频图像进行预定倍数的放大或缩小。该步骤有两个前提：一是缩放前后视频图像的分辨率、刷新率均需要在缩放单元1可处理的分辨率、刷新率范围内；二是缩放后视频图像的信号带宽需要在高速串行信号转换单元1可发送的带宽范围内。为此，需要由控制单元预先对缩放单元1所处输入板卡FPGA芯片的空闲逻辑资源与缩放处理前述视频图像所需逻辑资源进行比较，只有当缩放单元1所处输入板卡FPGA芯片的空闲逻辑资源大于缩放处理前述视频图像所需逻辑资源时，控制单元才会控制缩放单元1对视频图像进行预定倍数的放大或缩小处理，否则将该视频图像传输至缩放单元2进行缩放处理；

第四步，高速串行信号转换单元1将并行视频信号转换成高速串行信号发送至视频路由单元；

第五步，视频路由单元接收由高速串行信号转换单元1发送的高速串行信号，并将其发送至高速串行信号转换单元2；

第六步，高速串行信号转换单元2将多路高速串行信号转换成并行视频信号，并将其发送至缩放单元2；

第七步，控制单元判断多路并行视频信号是否已经在第三步中进行了缩放操作，若未进行过缩放操作，控制单元则控制缩放单元2中的多个缩放单元3对多路视频图像进行缩放；

第八步，图像融合单元接收缩放后的视频图像，并通过读写控制单元产生相应的写入地址，将收缩放后的视频图像写入到缓存单元中与所述写入地址相对应的存储区域；

第九步，图像融合单元接收控制单元发送来的视频融合相关信息，其中包括需要读出的各路视频信号、各路视频信号在融合画面中的位置及大小、各路视频信号的图层优先级、融合后视频的刷新率等信息。图像融合单元通过控制读写控制单元产生相应的读出地址，从缓存单元对应存储区域中读出相应的视频信号，并将这些视频信号按照指定位置、指定图层优先级，融合成一路指定分辨率的视频图像后发送给视频输出单元，此时的视频图像即拼接视频图像；

第十步，视频输出单元基于融合形成的视频图像以指定格式向外输出。视频输出单元可输出的视频图像种类包括但不限于HDMI、DVI、DP、VGA、SDI。

在上述发明方法技术方案的基础上，进一步包括如下附属技术方案：

上述第二、第三步骤中，控制单元可以读取裁剪单元和缩放单元1的性能信息，来决定是否进行裁剪和缩放以及缩放的倍数；

上述第三步骤中，对于特定的缩放单元1所处理的一路视频信号，可经过视频路由单元后，到达多个高速串行信号转换单元2，最终在不同的视频输出端口输出。此时对应不同的视频输出端口，该路视频信号需要进行的缩放倍数可以是不同的，步骤三中缩放单元1只需要选择其中一种可实现的缩放倍数进行缩放，其他的倍数的缩放由缩放单元2进行；

上述第三步骤中，在确定缩放单元1可处理的分辨率范围时，需要考虑视频信号中一行的有效像素数、行消隐周期、一场图像的有效行数和场消隐周期；

上述第五步骤中，视频路由单元可同时接收多个高速串行信号转换单元1发送来的数据；

上述第五步骤中，视频路由单元可同时给多个高速串行信号转换单元2发送数据；

上述第五步骤中，视频路由单元可将指定的高速串行信号转换单元1发送来的数据发送到指定的高速串行信号转换单元2，从而实现视频路由过程；

通过上述步骤，拼接器输入板卡FPGA芯片内部空闲的逻辑资源被充分利用，从而使得拼接器可处理更多路视频图像的缩放或进行高更分辨率视频图像的缩放。

下面，结合实施例对本发明装置作更加具体细致的描述。

本实施例中，视频拼接器为一种可融合两个视频图像的视频拼接器，如图2所示，是本发明装置实施例中所述可融合两个视频图像的视频拼接器的连接关系示意图，其内部各单元连接关系与前述发明装置类似，在此不再赘述。缩放单元1可处理的视频信号最大分辨率、刷新率为1920x1080@60Hz，高速串行信号转换单元1的最大带宽可发送1920x1080@60Hz的视频信号，缩放单元2可处理的视频信号最大分辨率、刷新率为3840x2160@60Hz，每个缩放单元3可独立可处理的视频信号最大分辨率、刷新率为1920x1080@60Hz。

如图3所示，是本发明装置实施例中所述可融合两个视频图像的视频拼接器的视频图像拼接效果示意图，待融合的两个视频图像为A和B，其显示效果如图3中的图（a）、图（b）所示，其分辨率、刷新率均为1024x768@60Hz。根据应用场景，该拼接器融合后的视频图像显示效果需如图3中的图（c）所示，其分辨率、刷新率达到3840x2160@60Hz，在融合后的视频图像中，A被放大到1920x1080@60Hz，B被放大到3840x2160@60Hz。

根据前述发明方法所述的第三步骤，由于缩放单元1可处理的视频信号最大分辨率、刷新率为1920x1080@60Hz，高速串行信号转换单元1的最大带宽可发送1920x1080@60Hz的视频信号，所以视频图像A可由缩放单元1进行处理。

根据前述发明方法所述的第七步骤，由于视频图像B所需要进行的缩放操作恰好在缩放单元2可处理范围内，所以视频图像B可由缩放单元2进行处理。

在本实施例所述的应用场景下，如果不采用本发明方法，则不能满足该应用场景的图像融合需求。

本发明装置及方法利用多路并联的视频拼接前置处理链路构成视频拼接前置模块，利用视频拼接前置处理链路中的缩放单元1和裁剪单元对视频图像进行预处理，从而分散视频拼接后置模块中缩放单元2的视频图像处理压力，达到充分利用输入板卡FPGA芯片的空闲逻辑资源的目的，以利于实现视频拼接器性能最大化。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种高效率视频拼接装置，其特征是，包括彼此串联的视频拼接前置模块和视频拼接后置模块，所述视频拼接前置模块包括不少于两路彼此并联的视频拼接前置处理链路，所述视频拼接后置模块包括不少于一路彼此并联的视频拼接后置处理链路；所述视频拼接前置处理链路包括顺序电性连接的视频输入单元、缩放单元1、高速串行信号转换单元1，所述缩放单元1电性连接有控制单元。

2.根据权利要求1所述的高效率视频拼接装置，其特征是，所述视频拼接前置处理链路还包括串联于视频输入单元与缩放单元1之间的裁剪单元，所述裁剪单元与所述控制单元电性连接。

3.根据权利要求1所述的高效率视频拼接装置，其特征是，所述视频拼接后置处理链路包括顺序电性连接的高速串行信号转换单元2、缩放单元2、图像融合单元，所述控制单元分别与所述缩放单元2和所述图像融合单元电性连接，所述图像融合单元还分别电性连接有读写控制单元和视频输出单元，所述读写控制单元还电性连接有缓存单元。

4.根据权利要求3所述的高效率视频拼接装置，其特征是，所述缩放单元2包括不少于两个彼此并联的缩放单元3。

5.根据权利要求1至4中任一项所述的高效率视频拼接装置，其特征是，视频拼接前置模块通过视频路由单元与视频拼接后置模块串联，所述视频路由单元还与所述控制单元电性连接。

6.一种高效率视频拼接方法，其特征是，包括如下步骤：

视频输入单元将输入的视频图像转换为并行的视频信号；

缩放单元1或缩放单元2基于所述视频信号对所述视频图像进行缩放处理；

图像融合单元将缩放处理后的视频图像写入缓存单元；

图像融合单元基于缓存单元中的视频图像融合生成拼接视频图像；

视频输出单元输出所述拼接视频图像。

7.根据权利要求6所述的高效率视频拼接方法，其特征是，图像融合单元将缩放处理后的视频图像写入缓存单元，包括：

读写控制单元生成写入地址；

图像融合单元将缩放处理后的视频图像写入缓存单元中与所述写入地址相对应的存储区域。

8.根据权利要求6所述的高效率视频拼接方法，其特征是，在缩放单元1或缩放单元2基于所述视频信号对所述视频图像进行缩放处理之前，还包括：裁剪单元基于所述视频信号对所述视频图像进行裁剪处理。

9.根据权利要求6所述的高效率视频拼接方法，其特征是，缩放单元1或缩放单元2基于所述视频信号对所述视频图像进行缩放处理，包括：

对缩放单元1所处输入板卡FPGA芯片的空闲逻辑资源与缩放处理所述视频图像所需逻辑资源进行比较；

如果缩放单元1所处输入板卡FPGA芯片的空闲逻辑资源大于缩放处理所述视频图像所需逻辑资源，由缩放单元1基于所述视频信号对所述视频图像进行缩放处理；

如果缩放单元1所处输入板卡FPGA芯片的空闲逻辑资源不大于缩放处理所述视频图像所需逻辑资源，由缩放单元2基于所述视频信号对所述视频图像进行缩放处理。

10.根据权利要求6至9中任一项所述的高效率视频拼接方法，其特征是，

输入的视频图像或／和输出的拼接视频图像，包括HDMI、DVI、DP、VGA、SDI中的至少任一项；

并行的视频信号，包括RGB、DE、HS、VS。

Images