CN109873998A - 基于多层次引导滤波的红外视频增强系统 - Google Patents

Abstract

本发明揭示了基于多层次引导滤波的红外视频增强系统，包括FPGA模块和DSP模块，FPGA模块与DSP模块通过SRIO接口相通讯连接；其中，FPGA模块完成数字单绿色视频数据采集并通过SRIO接口传输至DSP模块，在DSP模块中完成视频增强处理后再通过SRIO接口传回FPGA模块，视频数据最终由FPGA模块转换格式后由FPGA模块的LVDS接口输出至外部屏显。本发明采用DSP模块与FPGA模块的架构系统，单帧图像处理高效。DSP模块与FPGA模块之间采用SRIO接口实现视频传输，具备高带宽、高效率、高实时性、低延时等特点。采用盒装滤波实现多层次引导滤波，其计算复杂度与窗口大小无关，能够保留清晰的结构特征和丰富的纹理细节，适合于对实时性要求较高的场合。

Description

基于多层次引导滤波的红外视频增强系统

技术领域

本发明涉及视频处理，尤其涉及基于多层次引导滤波的红外视频增强系统，属于红外视频增强的技术领域。

背景技术

随着飞机座舱的现代化，显示器代替飞行仪表作为机载综合显示系统的重要组成部分。显示器也从体积较大和耗能高的阴极射线管CRT显示器向轻巧和更可靠的液晶显示器LCD发展。

但由于两者成像原理的不同，CRT显示器显示画面信息采样从低灰度到高灰度是是连续的，其视频信息无任何损失。而LCD显示器显示画面受限于其AD转换精度及数据显示位数，其显示画面会显现出不连续的灰度差，且在转换过程中会有部分信息丢失，这容易导致成像图像的清晰度、辨识度降低。

发明内容

本发明的目的是解决上述现有技术的不足，针对LCD显示器在数据信息转换过程中产生的重要细节信息丢失的问题，提出基于多层次引导滤波的红外视频增强系统。

为了达到上述目的，本发明所采用的技术方案为：

基于多层次引导滤波的红外视频增强系统，包括：

FPGA模块，用于视频数据的采集、格式转换、预处理及数据传输；

DSP模块，用于视频数据增强处理；

所述FPGA模块与所述DSP模块通过SRIO接口相通讯连接；

其中，FPGA模块完成数字单绿色视频数据采集并通过SRIO接口传输至DSP模块，在DSP模块中完成视频增强处理后再通过SRIO接口传回FPGA模块，视频数据最终由FPGA模块转换格式后由FPGA模块的LVDS接口输出至外部屏显。

优选地，所述FPGA模块包括CPU处理器、VDMA模块、SRIO接口、DDR3存储器，

所述VDMA模块和所述SRIO接口用于分别控制及调度DDR3存储器中的视频数据，所述CPU处理器用于参与所述VDMA模块的控制逻辑和中断处理；

外部视频解码芯片处理后的视频信号送入FPGA模块的Video_In to AXIS模块内，FPGA模块将视频信号转换后通过AXIS总线接口并送入VDMA模块中，VDMA模块将视频数据写入FPGA模块的DDR3存储器内，

SRIO接口与DSP模块通讯相连，用于FPGA模块的DDR3存储器与DSP模块之间的视频数据交互。

优选地，所述SRIO接口包括SRIO用户程序、AXI Datamover模块及SRIO IP核，所述AXI Datamover模块用于对所述FPGA模块的DDR3存储器进行存取，所述SRIO用户程序用于将FPGA模块的DDR3存储器中的视频数据打包、组织成SRIO IP核能够接收的数据包形式、及用于将SRIO IP核接收到的数据包拆分、还原出视频数据存入所述DDR3存储器中，所述SRIOIP核用于与DSP模块的物理层互连。

优选地，所述DSP模块将处理完的视频数据写入FPGA模块的DDR3存储器后，通过VDMA模块将DDR3存储器中的视频数据读出，并以AXIS总线接口的形式送入FPGA模块的AXISto Video_Out模块中，所述FPGA模块的VTC模块提供视频时序信号，通过AXIS to Video_Out模块将处理完成的视频信号送入外部视频编码芯片。

优选地，所述DSP模块包括核心0和核心1，

所述核心0用于通过所述SRIO接口实现对FPGA模块的DDR3存储器的视频数据读写，

所述核心1用于完成基于引导滤波的视频增强，

所述核心0与所述核心1之间通过DSP模块内的IPC软件模块进行同步协调工作。

优选地，核心0通过SRIO接口读取FPGA模块的图像数据，并缓冲数据到DSP模块的DDR3_shared内存内，并通知核心1，

核心1接到通知后，通过盒装滤波实现图像增强处理，通过Cache_wbL2函数刷新DDR3_shared的输出图像缓冲帧，然后通过Cache_InvL2函数使输入图像缓冲帧的缓存失效，最后通知核心0，

核心0接到通知后，将处理后的图像缓冲数据通过SRIO接口传输给FPGA模块，并发送门铃同步信号。

本发明的有益效果主要体现在：

1.采用DSP模块与FPGA模块的架构系统，视频增强在DSP模块运行，单帧图像的处理可在10ms内完成，DSP模块的实时操作系统能保证每一帧图像的处理时间可控。FPGA模块除了执行视频图像的采集及输出显示还可提供缩放、颜色空间转换等预处理功能，保证了整个系统的可扩展性。

2.DSP模块与FPGA模块之间采用SRIO接口实现视频传输，具备高带宽、高效率、高实时性、低延时等特点。

3.采用盒装滤波实现多层次引导滤波，其计算复杂度与窗口大小无关，能够保留清晰的结构特征和丰富的纹理细节，适合于对实时性要求较高的场合。

附图说明

图1是本发明基于多层次引导滤波的红外视频增强系统的硬件架构示意图。

图2是FPGA模块的SRIO视频交互底层逻辑实现框图。

图3是FPGA模块的软核控制框图。

图4是DSP模块的运行设计框架图。

图5是DPS模块的图像增强流程图。

图6是增强效果对比图。

具体实施方式

本发明提供基于多层次引导滤波的红外视频增强系统。以下结合附图对本发明技术方案进行详细描述，以使其更易于理解和掌握。

参照图1至图6所示。

在硬件实现上，采用TI公司的高性能双核定点/浮点数字信号处理器C6657和赛灵思公司高性能K7系列的FPGA芯片来进行设计，充分发挥FPGA多功能的接口转换、高效的视频采集功能和DSP信号处理能力强的特点，FPGA与DSP的通信方式选择高可靠、高性能的SRIO接口，单通道最高传输速度可达5Gbps，综合这些性能优势来搭建硬件平台。

FPGA实现数据视频采集、转换和传输等功能，以VDMA模块和SRIO接口为核心，分别控制、调度DDR3存储器中的视频数据，CPU(Micro Blaze)软核参与VDMA的控制逻辑和中断处理。

DSP采用双核处理的方式，以核心0作为主控核，负责启动设置、DDR初始化、看门狗设置等工作，并通过SRIO接口完成与FPGA间的图像数据读写。核心1作为图像处理核，利用缓存机制、并行流水线等技术，高效地完成基于引导滤波的图像增强算法。核心0与核心1之间通过IPC软件模块进行同步协调工作。视频图像增强算法采用基于多层次引导滤波策略来保留丰富的细节特征，并且搭载在DSP硬件平台上，实现实时的视频增强处理。

DSP模块与FPGA模块的数据传输以及基于多层次引导滤波算法的视频增强处理，其包含硬件电路设计、FPGA逻辑设计和软件算法设计三部分内容。

硬件电路设计部分：

硬件电路采用TI公司的高性能双核定点/浮点数字信号处理器C6657+场可编程门阵列FPGA的架构进行设计，其中，FPGA主要用于视频数据的采集、格式转换、预处理、数据传输等任务；DSP主要用于视频的处理、分析和增强等核心工作，两者之间通过SRIO接口实现视频流的高速传输。

系统中的FPGA部分完成数字单绿色视频数据采集并通过SRIO接口传输至DSP部分，在DSP部分中完成视频增强处理后再通过SRIO接口传回FPGA，视频数据最终转换为LVDS接口输出至液晶显示模块，视频时序为VESA标准800×600@60Hz；具备对比度调节功能，通过对比度信号调节视频画面对比度。具体模块电路设计如下：

电源供电电路。外部输入电源为5V直流电，采用多片凌特公司的LTM4644电源芯片分别提供DSP、FPGA和其他功能电路需要的所有电源；

DSP及其外围电路。DSP采用TI公司的TMS320C6657作为主芯片，TMS320C6657是基于TIKeyStone的双核核定点/浮点数字信号处理器，支持高性能信号处理应用，面向图像处理专业领域。主频1.0/1.25GHz，单核可高达40GMACS和20GFLOPS，包含2个Viterbi协处理器和1个Turbo协处理解码器，每核心32KByteL1P、32KByteL1D、1MByteL2，1MByte多核共享内存，8192个多用途硬件队列，支持DMA传输；支持PCIe、SRIO、HyperLink、uPP、EMIF16、千兆网口等多种高速接口，同时支持I2C、SPI、UART、McBSP等常见接口。外围电路包括2片DDR3、串口、网口、FLASH电路、JTAG、上电配置电路、上电复位电路等；

FPGA及其外围电路。采用Xilinx公司Kintex-7系列中的XC7K325T芯片，具备325K个逻辑单元，16Mb的块RAM和16个12.5Gb/s的GTX高速串行收发总线，面向各种视频、通讯、信号处理领域。在FPGA内部主要完成视频信号的采集、转换以及SRIO接口通讯等功能，具体设计内容在FPGA逻辑设计部分进行详细说明。外围电路包括2片DDR3、串口、FLASH电路、启动模式电路、GTX参考时钟电路等；

视频帧存电路。采用DDR3存储器MT41J128M16HA-125IT，该芯片是Micron公司的DDR3系列SDRAM，电源电压为+1.5V，容量为128x16bit，时钟频率为800MHz。设计中采用4片DDR3SDRAM，DSP和FPGA各2片，数据线共32位，容量共为4Gb；

视频编码电路。经过DSP增强处理的视频数据通过SRIO接口送入FPGA， FPGA处理完的数字视频信号转换为LVDS信号送液晶屏显示，视频编码电路选用NS公司的DS90CF383芯片；

SRIO接口电路。用于DSP与FPGA之间的视频数据传输，物理接口采用×4模式（4个接收通道、4个发送通道），单通道传输速率为1.25Gbps，根据输入的视频分辨率可计算数据带宽为800×600×60×8=230.4Mbps，因此传输速率能够满足带宽要求；

离散量隔离电路。外部输入的离散量通过驱动器隔离后进入FPGA，以保证内部核心器件不易受到外部信号影响。

FPGA模块逻辑设计：

基于IP核在FPGA内部完成了SRIO接口视频交互的底层逻辑设计与实现，该方法以VDMA模块和SRIO接口为核心，分别控制、调度DDR3存储器中的视频数据，CPU(Micro Blaze)软核参与VDMA的控制逻辑和中断处理。视频传输和控制流程如下：

经过片外视频解码芯片处理后的视频信号送入Video_In to AXIS模块，将视频信号转换为AXIS总线接口并送入VDMA模块，VDMA模块将视频数据写入FPGA端的片外DDR3存储器。

SRIO接口直接与DSP相连，并且能够读写FPGA端的DDR3存储器，完成与DSP之间的视频数据交互，即将VDMA写入的原始视频数据发送至DSP，同时接收DSP处理完成的视频数据并写入DDR3。

DSP与FPGA之间采用SRIO接口实现视频传输，相较于嵌入式视频处理系统中常用的互连和传输接口EMIF具有高带宽、高效率、高实时性、低延时的特点，是一种可靠性高、性能高、基于包交换的新一代高速互联技术。

SRIO接口包括SRIO用户程序、AXI Datamover模块以及SRIO IP核。AXI Datamover模块类似DMA，用于数据直接存取DDR3；SRIO用户程序和AXI Datamover模块相互配合，主要用于一方面将DDR3中的视频数据打包、组织成SRIO IP核能够接收的数据包形式，另一方面将SRIO IP核接收到的数据包拆分、还原出视频数据存入DDR3中；SRIO IP核完成与DSP的物理层互连。

DSP将处理完的视频数据写入FPGA端的DDR3存储器后，通过VDMA模块将DDR3中的视频数据读出，并以AXIS总线接口的形式送入AXIS to Video_Out模块，VTC模块提供HS、VS、DE等视频时序信号，AXIS to Video_Out模块将处理完成的视频信号送入片外视频编码芯片，完成视频输出。

上述流程中的VDMA模块需要CPU（Micro Blaze）进行软件控制，通过AXI_Lite总线实现。另外，SRIO用户程序将来自DSP的DOORBELL信号以中断的形式送入CPU。

Micro Blaze软核CPU的控制通过AXI-Lite总线与VDMA IP核相连，控制其传输行为。DSP和Micro Blaze通过GPIO_IN和GPIO_OUT进行对SRIO的复位同步。

将一帧画面数据存入FPGA的DDR3内存之后，DSP就可以通过SRIO接口将数据读取到DSP的内存中，进行增强算法的处理过后，然后再写入FPGA的帧缓存中并输出显示，达到视频增强的目的。

运行算法设计：

基于TI C6657双核DSP的视频增强处理的软件设计方案以核心0作为主控核，负责启动设置、DDR初始化、看门狗设置等工作，并通过SRIO接口完成与FPGA间的图像数据读写。核心1作为图像处理核，利用缓存机制、并行流水线等技术，高效地完成基于引导滤波的图像增强算法。核心0与核心1之间通过IPC软件模块进行同步协调工作。具体工作流程如下：

设置DSP的启动模式（Boot Mode）为SPI NOR模式，开发板上点后，核心0首先执行RBL（Rom Boot Loader）的启动代码，通过读取启动模式，从SPI NOR加载程序分别到核心0和核心1的L2 SRAM，然后核心0执行程序，完成DDR初始化、串口和看门狗等设置，最后唤醒核心1。

核心0通过SRIO接口读取FPGA图像缓冲数据到DDR3_shared内存，并通知核心1。

核心1接到通知后，首先进行图像增强处理，通过Cache_wbL2函数刷新DDR3_shared的输出图像缓冲帧，然后通过Cache_InvL2函数使输入图像缓冲帧的L2缓存失效，最后通知核心0。

核心0接到通知后，将处理后的图像缓冲数据通过SRIO接口传输给FPGA，并发送门铃同步信号，循环作业。

多层次引导滤波的实现过程：原始图像经过引导滤波后，经过差值得到增强图像，其中引导滤波包括滤波半径r和正则项ɛ，差值公式为（k+1）*I-k*G，其中k为提升系数，I为原始图像像素矩阵，（k+1）*I为提升后的原始图像像素矩阵，k*G为引导滤波的提升滤波矩阵。

多层次引导滤波图像是通过盒装滤波实现的，其计算复杂度与滤波半径r无关；正则项ɛ控制引导滤波图像的模糊程度，提升系数k控制增强图像的细节提取效果，需要根据实际情况选择合适的值，在本发明中设置k=2。

在视频增强处理算法方面，引导滤波和双边滤波都是性能优越的保边滤波器，可用于图像平滑、细节增强、去雾等方面，但是双边滤波的计算时间复杂度为O(w2)，与滤波窗口w成二次幂函数关系。而本专利提出的多层次引导滤波的计算复杂度与窗口大小无关，能够保留清晰的结构特征和丰富的纹理细节，适合于对实时性要求较高的场合。

参照图6所示，（a）为红外图像，（b）为增强图像。

通过以上描述可以发现，本发明基于多层次引导滤波的红外视频增强系统，采用DSP模块与FPGA模块的架构系统，视频增强在DSP模块运行，单帧图像的处理可在10ms内完成，DSP模块的实时操作系统能保证每一帧图像的处理时间可控。FPGA模块除了执行视频图像的采集及输出显示还可提供缩放、颜色空间转换等预处理功能，保证了整个系统的可扩展性。DSP模块与FPGA模块之间采用SRIO接口实现视频传输，具备高带宽、高效率、高实时性、低延时等特点。采用盒装滤波实现多层次引导滤波，其计算复杂度与窗口大小无关，能够保留清晰的结构特征和丰富的纹理细节，适合于对实时性要求较高的场合。

以上对本发明的技术方案进行了充分描述，需要说明的是，本发明的具体实施方式并不受上述描述的限制，本领域的普通技术人员依据本发明的精神实质在结构、方法或功能等方面采用等同变换或者等效变换而形成的所有技术方案，均落在本发明的保护范围之内。

Claims (6)

1.基于多层次引导滤波的红外视频增强系统，其特征在于包括：

FPGA模块，用于视频数据的采集、格式转换、预处理及数据传输；

DSP模块，用于视频数据增强处理；

所述FPGA模块与所述DSP模块通过SRIO接口相通讯连接；

其中，FPGA模块完成数字单绿色视频数据采集并通过SRIO接口传输至DSP模块，在DSP模块中完成视频增强处理后再通过SRIO接口传回FPGA模块，视频数据最终由FPGA模块转换格式后由FPGA模块的LVDS接口输出至外部屏显。

2.根据权利要求1所述基于多层次引导滤波的红外视频增强系统，其特征在于：

所述FPGA模块包括CPU处理器、VDMA模块、DDR3存储器，

所述VDMA模块和所述SRIO接口用于分别控制及调度DDR3存储器中的视频数据，所述CPU处理器用于参与所述VDMA模块的控制逻辑和中断处理；

外部视频解码芯片处理后的视频信号送入FPGA模块的Video_In to AXIS模块内，FPGA模块将视频信号转换后通过AXIS总线接口并送入VDMA模块中，VDMA模块将视频数据写入FPGA模块的DDR3存储器内，

SRIO接口与DSP模块通讯相连，用于FPGA模块的DDR3存储器与DSP模块之间的视频数据交互。

3.根据权利要求2所述基于多层次引导滤波的红外视频增强系统，其特征在于：

所述SRIO接口包括SRIO用户程序、AXI Datamover模块及SRIO IP核，所述AXIDatamover模块用于对所述FPGA模块的DDR3存储器进行存取，所述SRIO用户程序用于将FPGA模块的DDR3存储器中的视频数据打包、组织成SRIO IP核能够接收的数据包形式、及用于将SRIO IP核接收到的数据包拆分、还原出视频数据存入所述DDR3存储器中，所述SRIOIP核用于与DSP模块的物理层互连。

4.根据权利要求3所述基于多层次引导滤波的红外视频增强系统，其特征在于：

所述DSP模块将处理完的视频数据写入FPGA模块的DDR3存储器后，通过VDMA模块将DDR3存储器中的视频数据读出，并以AXIS总线接口的形式送入FPGA模块的AXIS to Video_Out模块中，所述FPGA模块的VTC模块提供视频时序信号，通过AXIS to Video_Out模块将处理完成的视频信号送入外部视频编码芯片。

5.根据权利要求2所述基于多层次引导滤波的红外视频增强系统，其特征在于：

所述DSP模块包括核心0和核心1，

所述核心0用于通过所述SRIO接口实现对FPGA模块的DDR3存储器的视频数据读写，

所述核心1用于完成基于引导滤波的视频增强，

所述核心0与所述核心1之间通过DSP模块内的IPC软件模块进行同步协调工作。

6.根据权利要求5所述基于多层次引导滤波的红外视频增强系统，其特征在于：

核心0通过SRIO接口读取FPGA模块的图像数据，并缓冲数据到DSP模块的DDR3_shared内存内，并通知核心1，

核心1接到通知后，通过盒装滤波实现图像增强处理，通过Cache_wbL2函数刷新DDR3_shared的输出图像缓冲帧，然后通过Cache_InvL2函数使输入图像缓冲帧的缓存失效，最后通知核心0，

核心0接到通知后，将处理后的图像缓冲数据通过SRIO接口传输给FPGA模块，并发送门铃同步信号。