CN108024074B

CN108024074B - 一种基于sopc的小型化红外成像方法

Info

Publication number: CN108024074B
Application number: CN201710960996.4A
Authority: CN
Inventors: 田立坤; 汪江华; 孙小亮; 王凯
Original assignee: Luoyang Institute of Electro Optical Equipment AVIC
Current assignee: Luoyang Institute of Electro Optical Equipment AVIC
Priority date: 2017-10-17
Filing date: 2017-10-17
Publication date: 2020-05-01
Anticipated expiration: 2037-10-17
Also published as: CN108024074A

Abstract

本发明涉及一种基于SOPC的小型化红外成像方法，接收红外探测器输出温差信息，在FPGA中完成坏元填充和非均匀校正后，通过在内部SRAM中进行乒乓缓存操作完成图像放大、镜像变换，黑热/白热切换等功能。接着实现灰度映射功能后通过VDMA(Video Direct Memory Access)单元完成数字视频高速输出。本发明通过带ARM硬核FPGA的应用，省去了以往帧存和显存外部存储器设计，集成度高，实现小型化、低功耗高速实时红外成像。

Description

一种基于SOPC的小型化红外成像方法

技术领域

本发明属于机载红外探测信号处理领域，涉及一种基于SOPC的小型化红外成像方法。

背景技术

随着红外成像领域不断发展，红外图像分辨率也在不断提高，要处理的信息量也在大幅增加。红外探测系统是一个对实时性要求较高的系统，高性能红外成像技术有助于提高机载红外探测设备整体目标探测、识别和跟踪能力。目前采用的DSP+FPGA的图形硬件加速架构随着分辨率不断增加，产品体积、成本的急剧增加，功耗也在不断上升。为机载红外探测设备配置更合理的硬件设计和软件架构变得尤为迫切。Zynq7000系列芯片将处理器的软件可编程能力与FPGA的硬件可编程能力实现完美结合，以低功耗和低成本等系统优势实现良好的系统性能、灵活性和可扩展性。

Zynq7000片上系统内部主要分为两部分：处理器系统(Processing System，PS)和可编程逻辑(ProgrambleLogic，PL)。Zynq7000片上系统具有基于ARM的高速运算性能与基于FPGA灵活数据处理能力，同时系统内部具有丰富的外设资源且配置灵活，有利于降低目标应用系统的整体体积以及功耗。对于芯片内部的这两个部分是可以分开开发，处理器系统拥有绝大多数的单核处理器该有的部分：中央处理单元(CPU)、指令高速缓存、MMU、协处理器NEON和外设接口模块。将两个部分连接在一起的是AXI总线协议，它是由ARM公司提出的，是一种高性能、低延迟、高带宽的片内总线。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于SOPC的小型化红外成像方法，在Zynq 7000基础上完成红外成像小型化、低功耗、通用化实时高速红外成像。

技术方案

一种基于SOPC的小型化红外成像方法，其特征在于步骤如下：

步骤1：接收红外探测器输出温差信息，先进行自适应滤波坏元填充，然后进行非均匀校正

所述自适应滤波坏元填充：

1)初始化窗口宽度ω＝3,ω_max＝5；

2)使窗口在图像上滑动，当窗口中心运动到某一像素点，坐标为(i,j)处的像素灰度值为y_i,j，计算此时窗口中像素灰度的最大值Max_i,j，最小值Min_i,j和中间值Median_i,j；

3)如果Max_i,j＞Median_i,j＞Min_i,j则跳到第5)步，否则ω＝ω+2；

4)如果ω<＝ωmax，则转到2)，否则将坐标为(i,j)的像素点标记为盲元。像素灰度为y_i,j＝(Max_i,j+Min_i,j)/2；

5)满足：Max_i,j＞y_i,j＞Min_i,j，则y_i,j不是坏元，输出y_i,j，否则输出Median_i,j；

坏元检测和填充过程中信号点和噪声点是根据Max_i,j，Min_i,j来判断的，如果Max_i,j＞Media_in_,j＞Min_i,j，将Median_i,j视为信号，否则为噪声；如果Max_i,j＞y_i,j＞Min_i,j，y_i,j视为信号，否则为噪声；当y_i,j与Median_i,j都是信号时，优先输出当前值y_i,j；当Median_i,j为噪声时，输出当前值y_i,j＝(Max_i,j+Min_i,j)/2；当前值y_i,j为噪声时，输出中值Median_i,j；

所述非均匀校正:y_i,j(φ)＝G_i,j·x_i,j(φ)+O_i,j；式中，G_i,j和O_i,j分别为校正增益参数和校正偏移量参数，y_i,j则为校正后的输出图像数据；

步骤2：通过VDMA单元完成数字视频高速输出:在程序存储器DDR3中程序存储区之外开辟显存空间，通过VDMA单元进行多缓冲存储实现高速视频数据输出。DDR通过AXI_HP通道将AXI-Stream类型的数据流依次写入DDR3三个缓冲区buffer0、buffer1和buffer3中，同时依次从DDR3 buffer3、buffer1、buffer2中以AXI-Stream类型的格式读取，然后经过fifo处理后以Camerlink接口时序标准输出。

利用Zynq 7000片上系统ARM硬核高速运算性和逻辑硬件高效并行处理能力，软硬协同完成对原始红外图像非均匀校正：在ARM硬核中完成匀校正系数的计算并存储在flash中，利用Zynq 7000系列FPGA，FPGA内部开辟存储空间存储校正系数，ARM实时读取内部RAM系数完成非均匀校正。

有益效果

本发明提出的一种基于SOPC的小型化红外成像方法，接收红外探测器输出温差信息，在FPGA中完成坏元填充和非均匀校正后，通过在内部SRAM中进行乒乓缓存操作完成图像放大、镜像变换，黑热/白热切换等功能。接着实现灰度映射功能后通过VDMA(VideoDirect Memory Access)单元完成数字视频高速输出。本发明通过带ARM硬核FPGA的应用，省去了以往帧存和显存外部存储器设计，集成度高，实现小型化、低功耗高速实时红外成像。

附图说明

图1：VDMA显示单元示意图；

图2：5×5滤波模板生成示意图；

图3：红外成像流程图。

具体实施方式

现结合实施例、附图对本发明作进一步描述：

本发明提出利用Zynq 7000系列FPGA软硬结合优势，在ARM硬核中完成匀校正系数的计算并存储在flash中。利用Zynq 7000系列FPGA资源丰富的优势，FPGA内部开辟存储空间存储校正系数，ARM实时读取内部RAM系数完成非均匀校正。接收红外图像数据后，在FPGA中以双缓冲的方式即采用乒乓操作方式通过控制写地址和控制信号完成图像放大、镜像变换，黑热/白热切换等功能。

两点校正是以黑体作为辐射源，红外探测器各探测元分别对高温和低温两种状态下的黑体进行响应，并利用各探测元两次的响应值进行校正参数的计算。充分利用Zynq7000片上系统ARM硬核高速运算性能完成对原始红外图像非均匀校正

本发明提出自适应滤波坏元检测和填充。具体步骤如下：

坏元使用椒盐噪声模型进行建模，在具有灵活处理能力的FPGA中进行自适应滤波盲点检测和填充，具体步骤如下：

1)初始化窗口宽度ω＝3,ω_max＝5。

2)使窗口在图像上滑动，当窗口中心运动到某一像素点，坐标为(i,j)处的像素灰度值为y_i,j，计算此时窗口中像素灰度的最大值Max_i,j，最小值Min_i,j和中间值Median_i,j。

3)如果Max_i,j＞Median_i,j＞Min_i,j则跳到第5)步，否则ω＝ω+2。

4)如果ω<＝ωmax，则转到2)，否则将坐标为(i,j)的像素点标记为盲元。像素灰度为y_i,j＝(Max_i,j+Min_i,j)/2

5)满足：Max_i,j＞y_i,j＞Min_i,j，则y_i,j不是坏元，输出y_i,j，否则输出Median_i,j。

坏元检测和填充过程中信号点和噪声点是根据Max_i,j，Min_i,j来判断的，如果Max_i,j＞Median_i,j＞Min_i,j，将Median_i,j视为信号，否则为噪声；如果Max_i,j＞y_i,j＞Min_i,j，y_i,j视为信号，否则为噪声；当y_i,j与Median_i,j都是信号时，优先输出当前值y_i,j；当Median_i,j为噪声时，输出当前值y_i,j＝(Max_i,j+Min_i,j)/2；当前值y_i,j为噪声时，输出中值Median_i,j；

y_i,j(φ)＝G_i,j·x_i,j(φ)+O_i,j

式中，G_i,j和O_i,j分别为校正增益参数和校正偏移量参数，y_i,j则为校正后的输出图像数据。

本发明提出在程序存储器DDR3中程序存储区之外开辟显存空间，通过VDMA单元进行多缓冲存储实现高速视频数据输出。图1为VDMA显示单元示意图，DDR3通过AXI_HP总线与ARM硬核相连，ARM硬核通过AXI_GP总线与AXI总线相连，VDMA单元通过AXI总线与ARM硬核通信。视频数据通过VDMA单元以AXI-Stream类型的数据流依次写入DDR3三个缓冲区buffer0、buffer1和buffer3中，同时依次从DDR3 buffer3、buffer1、buffer2中以AXI-Stream类型的格式读取，然后经过fifo处理后以Camerlink接口时序标准输出。

具体实施方式：

FPGA中5×5窗口模板由25组寄存器和4个FIFO组成,FIFO的深度为635，宽度为14bit。第一行图像数据存储在FIFO1中进行行延迟，第二行图像数据存储在FIFO2中进行行延迟，以此类推，第四行图像数据存储在FIFO4中。在接下来的五个时钟内，数据依次输入到寄存器D1～D25中,此时4个FIFO和25个寄存器分别串连起来，由于图像数据是以数据流的形式依次进入的，这样，就可以很容易地依次进行滤波。具体形式如图1所示:

模板生成后，每个时钟都会有一个14bit图像数据依次输入到各寄存器和FIFO中并从D25寄存器输出。3×3窗口模板可从寄存器D7、D8、D9、D12、D13、D14、D17、D18、D19九个寄存器中获得。自适应中值滤波盲点检测和填充，具体步骤如下：

1)初始化窗口宽度ω＝3,ω_max＝7。

3)如果Max_i,j＞Median_i,j＞Min_i,j则跳到第5)步，否则ω＝ω+2。

5)满足：Max_i,j＞y_i,j＞Min_i,j，则y_i,j不是盲点，输出y_i,j，否则输出Median_i,j。

利用逻辑的高效并行处理能力，非均匀校正部分采用硬件实现，通过采用复用技术有效地降低了硬件成本。校正系数计算部分由软件实现,利用软件的灵活性提供对多种参数计算方法的支持。

红外探测器各探测元分别对高温和低温两种状态下的黑体进行响应，并利用各探测元两次的响应值进行校正参数的计算，所得参数存储在非易失存储器FLAHS中。在标定阶段，硬核ARM将根据一帧红外图像数据计算出每个像素的16位校正增益参数和16位校正偏移量参数，并存储在片外FLASH中；

校正阶段，系统上电后ARM硬核读取flash系数参数存储在FPGA内部SRAM中。FPGA读取SRAM内部系数来完成红外图像的非均匀校正。

y_i,j(φ)＝G_i,j·x_i,j(φ)+O_i,j

如图3红外成像流程图所示，红外图像经过非均匀校正后，第一帧图像写入SRAM1中，第二帧图像写入SRAM2中，与此同时，通过控制写地址和控制信号从SRAM1中读取红外数据完成图像放大、镜像变换，黑热/白热切换等功能。接下来第三帧画面写入SRAM1中，与此同时读出SRAM1中红外图像数据，如此不断切换双缓冲区SRAM的读写来完成高速数据传输。

本发明所设计的VDMA显示单元包含用于处理红外图像的ARM控制单元，内存DDR3，内存读写IP VDMA，视频驱动单元。如图1VDMA显示单元示意图所示，ARM硬核通过AXI_HP总线与DDR3程序存储器通信。DDR3程序存储器开辟一块存储空间作为显存进行多缓冲存储实现高速视频数据输出。ARM硬核通过AXI_HP通道将AXI-Stream类型的数据流依次写入DDR3三个缓冲区buffer0、buffer1和buffer3中，同时依次从DDR3 buffer3、buffer1、buffer2中以AXI-Stream类型的格式读取，每个缓冲器大小空间为16Kb。

通过AXIS2FIFO模块将AXI-Stream类型的格式数据存储在fifo缓存空间内。视频驱动单元通过控制FIFO控制信号读取红外图像数据，最终以canmerlink标准时序格式输出。

Claims

1.一种基于SOPC的小型化红外成像方法，其特征在于步骤如下：

所述自适应滤波坏元填充：

1)初始化窗口宽度ω＝3,ω_max＝5；

3)如果Max_i,j＞Median_i,j＞Min_i,j则跳到第5)步，否则ω＝ω+2；

4)如果ω<＝ωmax，则转到2)，否则将坐标为(i,j)的像素点标记为盲元；像素灰度为y_i,j＝(Max_i,j+Min_i,j)/2；

步骤2：通过VDMA单元完成数字视频高速输出:在程序存储器DDR3中程序存储区之外开辟显存空间，通过VDMA单元进行多缓冲存储实现高速视频数据输出；DDR通过AXI_HP通道将AXI-Stream类型的数据流依次写入DDR3三个缓冲区buffer0、buffer1和buffer3中，同时依次从DDR3 buffer3、buffer1、buffer2中以AXI-Stream类型的格式读取，然后经过fifo处理后以Camerlink接口时序标准输出。

2.根据权利要求1所述基于SOPC的小型化红外成像方法，其特征在于：利用Zynq 7000片上系统ARM硬核高速运算性和逻辑硬件高效并行处理能力，软硬协同完成对原始红外图像非均匀校正：在ARM硬核中完成匀校正系数的计算并存储在flash中，利用Zynq 7000系列FPGA，FPGA内部开辟存储空间存储校正系数，ARM实时读取内部RAM系数完成非均匀校正。