CN109743515A - 一种基于软核平台的异步视频融合叠加系统及方法 - Google Patents

Abstract

本发明提供的一种基于软核平台的异步视频融合叠加系统及方法，所述系统包括软核处理器、第一AXI互联模块、4K高清视频传输及融合叠加模块、异步视频处理模块、DDR控制器和DDR资源存储模块。搭建了基于软核平台软硬件协同系统，能够接收4K高清视频并融合叠加多组异步视频源，通过FPGA IP核模块化设计传输AXI视频流信号,将异步视频源和4K高清视频流在FPGA硬件层面融合叠加计算，并通过软核进行流程控制。本方法能够将多组异步视频源叠加在4K高清信号上，能够进行2K/4K高清信号融合，具有开发周期短、控制灵活、处理快速等特点，可应用于各种高清视频叠加处理有关的应用中。

Description

一种基于软核平台的异步视频融合叠加系统及方法

技术领域

本发明涉及监控显示技术领域，具体涉及一种基于软核平台的异步视频融合叠加系统及方法。

背景技术

电视监控系统包括摄像头、图像采集装置、图像处理装置、监视器和输入输出装置等。图像的融合叠加是显示装置中的常用功能，进行多组异步视频融合叠加主要是为了实现在单个终端上显示多组摄像头监控画面。目前，图像融合叠加技术采用的处理器主要有CPU、GPU、DSP、FPGA和ASIC专用芯片等。随着高清视频普及，HDMI、DP等高速视频接口应用广泛，CPU和DSP图像处理架构不能满足高分辨率融合叠加计算要求；GPU有处理数据包的能力，但在视频传输和端口种类上不如FPGA；ASIC芯片在吞吐量、延迟和功耗上有明显优势，但在定制化显示和产品移植上，适应性和灵活性不如FPGA。

软核是一种被优化过，但没有经过综合和布局布线，嵌入在FPGA中的处理器，能够同时响应软硬件控制，运行速度快、占用资源少、可配置性强。相比于硬核基于半导体工艺的物理设计，并经过工艺验证，软核平台通常以硬件语言形式嵌入FPGA产品，开发成本较低，并能广泛的应用于更类型FPGA芯片中，嵌入式平台的图像处理系统和方法，能够处理图像并兼顾软硬件性能，但仅适用于内置ARM处理器芯片的应用，这种类型的芯片对于图像融合叠加处理而言，成本较大，不利于形成有竞争优势的产品。软核平台具有广泛的应用和更低的成本，同时又能兼顾软硬件性能，非常适合目前主流高清视频接口设计和异步视频强实时融合叠加设计。

发明内容

有鉴于此，本发明提供一种基于软核平台的异步视频融合叠加系统及方法，包括软核处理器、AXI互联模块、4K高清视频传输及融合叠加模块、异步视频处理模块、DDR控制器和DDR资源存储模块。建立基于软核平台软硬件协同系统，能够接收4K高清视频并融合叠加多组异步视频源，通过FPGA IP核模块传输AXI视频流信号，将异步视频源和4K高清视频流在FPGA硬件层面融合叠加计算，并通过软核进行流程控制。能够将多组异步视频源叠加在4K高清信号上，进行2K/4K高清信号融合。

为实现上述目的，本发明公开基于软核平台的异步视频融合叠加系统，所述系统包括异步视频处理模块1、软核处理器2、第一AXI互联3、4K高清视频传输及融合叠加模块4、DRR3资源存储模块5和DDR控制器6；

所述异步视频处理模块1分别与第一AXI互联3、4K高清视频传输及融合叠加模块4以及DDR控制器6电连接，所述第一AXI互联3分别与软核处理器模块2以及4K高清视频传递及融合叠加模块4电连接，所述4K高清视频传递及融合叠加模块4与DDR控制器6电连接，所述DDR控制器6与DDR资源存储模块5电连接。

在上述技术方案中，所述异步视频处理模块1包括视频格式转换模块7、与视频格式转换模块7电连接的视频位宽同步模块20、与视频位宽同步模块20电连接的视频行场同步模块19、与视频行场同步模块19电连接的第一Video转AXI模块15、与第一Video转AXI模块15电连接的第一VDMA系统8以及与第一VDMA系统8电连接的第二AXI互联模块9。

在上述技术方案中，所述4K高清视频传递及融合叠加模块4包括视频接口控制模块10、视频接收模块11、视频融合叠加模块12、视频发送模块13、AXI转Video模块16、VideoTiming Controller 17、第二Video转AXI模块18以及第二VDMA模块14；

所述视频接口控制模块10分别与视频接收模块11以及视频发送模块13电连接，所述视频接收模块11与视频融合叠加模块12电连接，所述视频融合叠加模块12与第二Video转AXI模块18电连接，所述第二Video转AXI模块18的分别与视频发送模块13、第二VDMA模块14以及Video Timing Controller 17电连接，所述Video Timing Controller 17通过AXI转Video模块16与视频融合叠加模块12电连接。

在上述技术方案中，所述异步视频处理模块1输入端连接多组异步视频源。

在上述技术方案中，所述第一VDMA系统8由多个VDMA组成，多个VDMA组成VDMA系统控制多组视频缓存处理。

本发明还公开一种基于软核平台的异步视频融合叠加方法，所述方法包括以下步骤：

S1、初始化所述基于软核平台的异步视频融合叠加系统，配置系统各个模块参数，建立链接；

S2、所述异步视频处理模块接收多组异步视频源，并将多组视频数据进行格式转换、位宽变换、帧频变换、时钟切换，输出具有同步行场和帧频的RGB视频信号，以AXIStream视频流形式输出；

S3、所述异步视频处理模块输出视频流并通过DDR控制器缓存在DDR资源存储模块中，缓存量为1～2帧，然后异步视频处理模块通过DDR控制器读取缓存数据并输出至4K高清视频传输与融合叠加模块；

S4、所述4K高清视频传输及融合叠加模块接收4K高清视频源并进行接收传输处理，并在接收传输处理结束后将4K高清视频与多组异步视频进行像素级融合叠加运算输出。

在上述技术方案中，所述步骤S4中所述4K高清视频传输及融合叠加模块先将融合叠加视频数据通过DDR控制器写入DDR资源存储模块中调整视频时序，然后DDR控制器读取缓存视频数据通过4K高清发送处理单元进行融合叠加视频的最终输出。

本发明一种基于软核平台的异步视频融合叠加系统及方法，具有以下有益效果：所述系统传输处理4K高清视频，并且支持多组异步视频融合叠加强实时处理，系统基于软核平台实现，采用IP核模块化处理，运行稳定，开发周期短，后期升级及移植成本低。具有开发周期短、控制灵活、处理快速等特点，可应用于各种高清视频叠加处理有关的应用中。

附图说明

图1为本发明一种基于软核平台的异步视频融合叠加系统模块图；

图2为本发明异步视频处理模块内部结构图；

图3为本发明4K高清视频传输及融合叠加模块内部结构图；

图4为本发明异步视频处理模块处理视频实施例；

图5为本发明为4K高清视频传输及融合叠加模块处理实施例；

图6位本发明异步视频融合叠加方法流程图；

图7为本发明异步视频融合叠加系统软件设置流程图。

附图说明：1-异步视频处理模块，2-软核处理器，3-第一AXI互联，4-4K高清视频传输及融合叠加模块，5-DDR资源存储模块，6-DDR控制器，7-视频格式转换模块，8-第一VDMA系统，9-第二AXI互联模块，10-视频接口控制模块，11-视频接收模块，12-视频融合叠加模块，13-视频发送模块，14-第二VDMA模块，15-第一Video转AXI模块，16-AXI转Video模块，17-Video Timing Controller，18-第二Video转AXI模块，19-视频行场同步模块，20-视频位宽同步模块。

具体实施方式

下面结合附图对本发明作进一步详细描述，本发明提供一种基于软核平台的异步视频融合叠加系统，如图1所示，所述系统包括所述系统包括异步视频处理模块1、软核处理器2、第一AXI互联3、4K高清视频传输及融合叠加模块4、DDR资源存储模块5和DDR控制器6；

所述异步视频处理模块1分别与第一AXI互联3、4K高清视频传输及融合叠加模块4以及DDR控制器6电连接，所述第一AXI互联3分别与软核处理器模块2以及4K高清视频传递及融合叠加模块4电连接，所述4K高清视频传递及融合叠加模块4与DDR控制器6电连接，所述DDR控制器6与DDR资源存储模块5电连接。

具体的，所述异步视频处理模块1输入端连接多组异步视频源。接入的多组异步视频源并进行帧同步处理。所述软核处理器2用于控制FPGA软硬件资源，控制整个系统运行流程，包括系统复位、时钟和使能等信号。所述第一AXI互联3用于连接系统各个模块并传递控制信号给处理器统一控制。所述4K高清视频传递及融合叠加模块4用于接入4K高清视频信号，并与多组异步视频融合叠加后输出。所述DDR控制器6用于异步输入视频和融合叠加4K高清视频的缓存控制。所述DDR存储模块5由多片16位的DDR储存器级联，可灵活组合成32位、64位等高位宽存储器来提高吞吐量，用于缓存1～2帧异步视频和融合叠加4K高清视频。

其中，如图2所示，所述异步视频处理模块1包括视频格式转换模块7、与视频格式转换模块7电连接的视频位宽同步模块20、与视频位宽同步模块20电连接的视频行场同步模块19、与视频行场同步模块19电连接的第一Video转AXI模块15、与第一Video转AXI模块15电连接的第一VDMA系统8以及与第一VDMA系统8电连接的第二AXI互联模块9。

具体的，所述视频格式转换模块7，用于统一多组异步视频源格式，便于融合叠加处理，如RGB格式；所述视频位宽同步模块20，用于统一异步视频源位宽，长度不够补0；所述视频行场同步模块19，用于统一异步视频时序，进行行场同步；所述第一Video转AXI模块15，用于将行场同步，位宽一致的RGB视频信号转成AXI stream信号；便于AXI总线传输。所述第一VDMA系统8，由多个VDMA组成，每个VDMA控制一组视频源缓存地址分配。多个VDMA组成VDMA系统控制多组视频缓存处理；第二AXI互联模块9，将多个VDMA映射到同一个DDR控制器6中进行缓存控制。

其中，如图3所示，所述4K高清视频传递及融合叠加模块4包括视频接口控制模块10、视频接收模块11、视频融合叠加模块12、视频发送模块13、AXI转Video模块16、VideoTiming Controller 17、第二Video转AXI模块18以及第二VDMA模块14；

其中，所述视频接口控制模块10分别与视频接收模块11以及视频发送模块13电连接，所述视频接收模块11与视频融合叠加模块12电连接，所述视频融合叠加模块12与第二Video转AXI 18模块电连接，所述第二Video转AXI 18模块的分别与视频发送模块13、第二VDMA模块14以及Video Timing Controller 17电连接，所述Video Timing Controller 17通过AXI转Video模块16与视频融合叠加模块12电连接。

具体的，所述视频接口控制模块10，用于恢复4K高清信号传输速率和设置lane数量；所述视频接收模块11，用于4K高清数据的接收处理；所述AXI转Video模块16，用于将多组视频转换成便于融合叠加处理的Video RGB信号，便于融合叠加处理；第二Video转AXI模块18，用于将视频信号封装成AXI Stream信号便于视频传输；所述Video TimingController 17，用于控制AXI转Video模块和第二Video转AXI模块时序；所述视频融合叠加模块12，用于将4K高清视频信号和外部视频源进行融合叠加运算并输出；所述第二VDMA模块14，用于接收融合叠加AXI数据，分配地址进行缓存；所述视频发送模块13，接收第二VDMA模块输出融合叠加4K高清信号，并进行输出；

其中，如图4所示提供异步视频处理模块处理视频实施例，一组接入的视频信息包括视频数据vid_data、视频行场vid_blank和vid_hblank、视频速率vid_clk以及视频使能vid_ce等。这些信号经过IP核Video in to AXI-Stream配置成相同位宽和格式视频信息，如配置成8bit RGB AXI信号输出，并通过时序控制器Video Timing Controller的时钟aclk配置成统一速率输出。VDMA系统8由多个VDMA级联，能够进行多组视频的缓存分配。

其中，如图5所示4K高清视频传输及融合叠加模块处理实施例；所述视频融合叠加模块12由硬件描述语言编写相关的融合叠加算法封装成IP核，使用视频控制器Video PHYController31控制DP视频输入和输出，使用DP接收子系统DP_RX_Subsystem34接收DP视频，输出格式为Navie模式便于融合叠加处理，使用DP发送子系统DP_TX_Subsystem32读取缓存AXI stream数据发送融合叠加DP信息。

所述Video PHY Controller31采用GTX高速接口接收DP视频信号和发送融合叠加视频信号，所述GTX接口支持4通道并行传输，单通道最大线速度可高达5.4Gbps，满足4K视频传输速率要求。

所述DDR控制器使用Memory Interface Generator进行视频缓存控制。所述DDR资源存储模块5由多组16位DDR级联成32位甚至64位读写位宽的缓存池提高缓存速率，所述缓存池大小随异步视频源的数量增加而增大。

所述基于软核平台的异步视频融合叠加系统中，软核和所有的外设接口时钟速率均为100Mhz，该时钟由板级DDR控制器MIG产生；所述DP视频传输及融合叠加模块4和异步视频处理模块1主时钟频率为200Mhz，该时钟由DP传输线速度和传输通道数lane计算获取。

本发明还提供一种基于软核平台的异步视频融合叠加方法，所述方法包括以下步骤：

S1、初始化所述基于软核平台的异步视频融合叠加系统，配置系统各个模块参数，建立链接；

S2、所述异步视频处理模块接收多组异步视频源，并将多组视频数据进行格式转换、位宽变换、帧频变换、时钟切换，输出具有同步行场和帧频的RGB视频信号，以AXIStream视频流形式输出；

S3、所述异步视频处理模块输出视频流并通过DDR控制器缓存在DDR资源存储模块中，缓存量为1～2帧，然后异步视频处理模块通过DDR控制器读取缓存数据并输出至4K高清视频传输与融合叠加模块；

S4、所述4K高清视频传输及融合叠加模块接收4K高清视频源并进行接收传输处理，并在接收传输处理结束后将4K高清视频与多组异步视频进行像素级融合叠加运算输出。

其中，所述步骤S4中所述4K高清视频传输及融合叠加模块先将融合叠加视频数据通过DDR控制器写入DDR资源存储模块中调整视频时序，然后DDR控制器读取缓存视频数据通过4K高清发送处理单元进行融合叠加视频的最终输出。

具体实施步骤如图6所示包括：38.检查是否有异步视频接收；39.统一接收异步视频格式，以便于融合叠加分离出像素信息；40.统一接收异步视频位宽，位宽不足部分补0，以便于融合叠加运算和传输处理；41.同步视频行场信号，以便于同步DP视频和融合叠加视频的时序；42.将视频数据转换成AXI总线数据，以便于数据传输；43.将预处理完成的异步视频数据通过VDMA写进缓存资源；44.读取缓存异步视频数据并进行AXI转Video操作，便于视频融合叠加；45.检查是否有DP视频接收；46.根据接收的DP视频信息，进行DP传输配置；47对DP视频进行接收处理,，输出格式为navie模式，便于视频融合叠加；48.研究图像融合叠加算法，将DP视频数据和多组异步视频信号进行融合叠加运算；49.将融合叠加DP视频数据转换成AXI数据流传输；50.将融合叠加后的DP视频进行缓存控制，以便于整理视频传输时序；51.读取缓存融合叠加DP视频，并进行发送处理；52.发送融合叠加数据进行显示。

所述基于软核平台的异步视频融合叠加方法软件配置流程如图7所示；

21.检验硬件是否配置成功；22.初始化视频发送模块；23.获取视频接收分辨率、帧率等参数信息；24.基于显示器EDID制定显示方案；25.检测用户是否输入定制化信息；26.基于用户输入调整链接参数；27.建立链接；28.设置显示参数并使能视频流；29.配置视频源；30.建立主链接，开始传输视频。

综上所述，本方法通过在软核平台进行DP视频融合叠加模块化，采用AXI总线传输，在FPGA逻辑端对DP视频流进行像素运算融合叠加外部异步视频源，并通过软核处理器实现软件对FPGA逻辑的控制，具有运行速度快、占用资源少、可配置性强，开发周期短的特点，可应用在各种监控显示有关的场合。

说明书中未阐述的部分均为现有技术或公知常识。本实施方式仅用于说明该发明，而不用于限制本发明的范围，本领域技术人员对于本发明所做的等价置换等修改均认为是落入该发明权利要求书所保护范围内。

Claims (7)

1.一种基于软核平台的异步视频融合叠加系统，其特征在于，所述系统包括异步视频处理模块(1)、软核处理器(2)、第一AXI互联(3)、4K高清视频传输及融合叠加模块(4)、DDR资源存储模块(5)和DDR控制器(6)；

所述异步视频处理模块(1)分别与第一AXI互联(3)、4K高清视频传输及融合叠加模块(4)以及DDR控制器(6)电连接，所述第一AXI互联(3)分别与软核处理器模块(2)以及4K高清视频传递及融合叠加模块(4)电连接，所述4K高清视频传递及融合叠加模块(4)与DDR控制器(6)电连接，所述DDR控制器(6)与DDR资源存储模块(5)电连接。

2.根据权利要求1所述一种基于软核平台的异步视频融合叠加系统，其特征在于，所述异步视频处理模块(1)包括视频格式转换模块(7)、与视频格式转换模块(7)电连接的视频位宽同步模块(20)、与视频位宽同步模块(20)电连接的视频行场同步模块(19)、与视频行场同步模块(19)电连接的第一Video转AXI模块(15)、与第一Video转AXI模块(15)电连接的第一VDMA系统(8)以及与第一VDMA系统(8)电连接的第二AXI互联模块(9)。

3.根据权利要求1所述一种基于软核平台的异步视频融合叠加系统，其特征在于，所述4K高清视频传递及融合叠加模块(4)包括视频接口控制模块(10)、视频接收模块(11)、视频融合叠加模块(12)、视频发送模块(13)、AXI转Video模块(16)、Video Timing Controller(17)、第二Video转AXI模块(18)以及第二VDMA模块(14)；

所述视频接口控制模块(10)分别与视频接收模块(11)以及视频发送模块(13)电连接，所述视频接收模块(11)与视频融合叠加模块(12)电连接，所述视频融合叠加模块(12)与第二Video转AXI模块(18)电连接，所述第二Video转AXI模块(18)的分别与视频发送模块(13)、第二VDMA模块(14)以及Video Timing Controller(17)电连接，所述Video TimingController(17)通过AXI转Video模块(16)与视频融合叠加模块(12)电连接。

4.根据权利要求1所述一种基于软核平台的异步视频融合叠加系统，其特征在于，所述异步视频处理模块(1)输入端连接多组异步视频源。

5.根据权利要求2所述一种基于软核平台的异步视频融合叠加系统，其特征在于，所述第一VDMA系统(8)由多个VDMA组成，多个VDMA组成VDMA系统控制多组视频缓存处理。

6.一种基于软核平台的异步视频融合叠加方法，其特征在于，所述方法包括以下步骤：

S1、初始化所述基于软核平台的异步视频融合叠加系统，配置系统各个模块参数，建立链接；

S2、所述异步视频处理模块接收多组异步视频源，并将多组视频数据进行格式转换、位宽变换、帧频变换、时钟切换，输出具有同步行场和帧频的RGB视频信号，以AXI Stream视频流形式输出；

S3、所述异步视频处理模块输出视频流并通过DDR控制器缓存在DDR资源存储模块中，缓存量为1～2帧，然后异步视频处理模块通过DDR控制器读取缓存数据并输出至4K高清视频传输与融合叠加模块；

S4、所述4K高清视频传输及融合叠加模块接收4K高清视频源并进行接收传输处理，并在接收传输处理结束后将4K高清视频与多组异步视频进行像素级融合叠加运算输出。

7.根据权利要求6所述一种基于软核平台的异步视频融合叠加方法，其特征在于，所述步骤S4中所述4K高清视频传输及融合叠加模块先将融合叠加视频数据通过DDR控制器写入DDR资源存储模块中调整视频时序，然后DDR控制器读取缓存视频数据通过4K高清发送处理单元进行融合叠加视频的最终输出。