CN104424383A - 基于红外图像的硬件处理算法效果评价装置及其评价方法 - Google Patents

基于红外图像的硬件处理算法效果评价装置及其评价方法 Download PDF

Info

Publication number
CN104424383A
CN104424383A CN201310369397.7A CN201310369397A CN104424383A CN 104424383 A CN104424383 A CN 104424383A CN 201310369397 A CN201310369397 A CN 201310369397A CN 104424383 A CN104424383 A CN 104424383A
Authority
CN
China
Prior art keywords
infrared image
algorithm
module
hardware
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310369397.7A
Other languages
English (en)
Other versions
CN104424383B (zh
Inventor
隋修宝
樊晓清
顾国华
陈钱
颜奇欢
许轰烈
钱惟贤
张桥舟
朱才高
朱道广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201310369397.7A priority Critical patent/CN104424383B/zh
Publication of CN104424383A publication Critical patent/CN104424383A/zh
Application granted granted Critical
Publication of CN104424383B publication Critical patent/CN104424383B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了一种基于红外图像的硬件处理算法效果评价装置及其评价方法。本评价装置由原始红外图像输入端、千兆网络传输模块、红外图像硬件算法处理效果评价板、红外图像输出端以及评价结果显示器构成。本评价方法是原始红外图像分别传输到上位机和红外图像硬件算法处理效果评价板中,由红外图像硬件算法处理效果评价板确定处理后红外图像的效果评价指标信息,并通过评价结果显示器显示出来。本发明能够客观地评价红外图像在经过不同的硬件算法处理后的效果,可以对上位机中算法和红外图像硬件算法处理效果评价板中硬件算法处理后的红外图像进行对比,根据两种处理结果的对比设计人员可以进一步优化、改进红外图像硬件处理算法。

Description

基于红外图像的硬件处理算法效果评价装置及其评价方法
技术领域
本发明属于红外热成像技术领域,特别是一种基于红外图像的硬件处理算法效果评价装置及其评价方法。
背景技术
红外图像表征的是被测目标的温度分布信息,是一种灰度图像,一般由红外探测器采集目标的红外光信号并转换成电信号,经过AD采样可以得到原始的红外数字图像。由于景物热平衡、波长长、传输距离远、大气衰减等原因,会造成红外图像空间相关性强、对比度低;而红外探测器受限于材料缺陷、工艺水平,每个探测单元的响应特性往往不一致,会带来红外图像的非均匀性,甚至形成坏元(盲元);外界环境的随机干扰后图像处理电路设计的不完善,还会在红外图像中引入各种各样的噪声信息;因此,为了得到适合人眼观察的红外图像,通常需要对红外探测器输出的原始红外图像进行一系列的复杂图像处理算法才能输出到监视器进行显示。这些算法主要包括非均匀性校正算法、盲元去除算法、图像滤波算法、直方图均衡算法以及数字细节增强算法等。
为了能够实现红外图像的实时处理和显示,这一系列的红外图像处理算法通常需要在硬件算法平台(FPGA)中进行实现。受限于FPGA的资源限制,复杂的软件图像处理算法在进行硬件化时一般需要进行精简、优化;红外图像的硬件处理算法在不同场景下的适应性和效果往往也会存在很大的差异。因此需要对红外图像的硬件处理算法进行实时的观察和评价,对红外图像的软硬件算法的差异进行比较以得到最佳的红外图像硬件处理算法。目前,红外图像硬件处理算法的效果和评价方法主要依赖于软件算法的仿真效果,具体做法是事先采集好一段原始的红外图像,再针对该原始红外图像进行各种软件算法处理及仿真。这种方法的主要缺点在于:1.对于各种变化的场景进行采集一般比较费时费力,采集的原始图像由于图像采集卡的限制有时也不一定符合要求;2.没有考虑到硬件处理平台和软件算法实现平台的差异,硬件化的图像处理算法在不同资源的芯片中布局布线不同其实现效果差异也会很大;3.无法实时针对不同场景的红外图像硬件处理算法的实现效果进行评价。4.对于硬件处理算法效果和软件处理算法的效果只能通过人眼主观观察进行对比,难以对不同算法用客观的评价指标进行比较。
发明内容
本发明的目的在于提供一种基于红外图像的硬件处理算法效果评价装置及其评价方法,可以对红外图像的软硬件处理算法改善原始红外图像的效果进行对比。
实现本发明目的的技术解决方案为:一种基于红外图像的硬件处理算法效果评价装置,包括原始红外图像输入端、千兆网络传输模块、红外图像硬件算法处理效果评价板、红外图像输出端、评价结果显示器,原始红外图像输入端分别与千兆网络传输模块和红外图像硬件算法处理效果评价板连接,红外图像输出端分别与红外图像硬件算法处理效果评价板和评价结果显示器连接;红外图像硬件算法处理效果评价板包括硬件算法处理模块、红外图像处理算法效果分析模块、评价结果显示模块和数据存储模块,硬件算法处理模块分别与千兆网络传输模块、红外图像处理算法效果分析模块、评价结果显示模块和数据存储模块连接,红外图像处理算法效果分析模块分别与评价结果显示模块和数据存储模块连接,评价结果显示模块分别与数据存储模块和红外图像输出端连接;硬件算法处理模块包括非均匀校正算法处理模块、盲元去除算法处理模块、图像滤波算法处理模块、直方图均衡算法处理模块和数字细节增强算法处理模块,非均匀校正算法处理模块、盲元去除算法处理模块、图像滤波算法处理模块、直方图均衡算法处理模块和数字细节增强算法处理模块依次连接,并分别连接到红外图像处理算法效果分析模块,数字细节增强算法处理模块再与评价结果显示模块连接;红外图像处理算法效果分析模块包含盲元率计算模块、RMSE计算模块、红外图像SNR计算模块,盲元率计算模块、RMSE计算模块、红外图像SNR计算模块依次连接,盲元率计算模块再与非均匀校正算法处理模块、盲元去除算法处理模块、图像滤波算法处理模块、直方图均衡算法处理模块和数字细节增强算法处理模块连接,红外图像SNR计算模块再与评价结果显示模块连接;红外探测器采集输出的原始红外图像信号传输到原始红外图像输入端后分为两路,一路进入硬件算法处理模块,硬件算法处理模块中的非均匀校正算法、盲元去除算法、图像滤波算法、直方图均衡算法、数字细节增强算法依次对红外图像进行处理,并根据算法处理的需要将红外图像写入或者读出数据存储模块中,硬件算法处理模块中每个算法在处理完红外图像后都会按照与输入相同的格式将红外图像送到下一个硬件算法中,同时每个硬件算法的处理结果再分别传输到红外图像处理算法效果分析模块中,由红外图像处理算法效果分析模块中的盲元率计算模块、RMSE计算模块、红外图像SNR计算模块依次确定处理后红外图像的盲元信息、非均匀性信息、信噪比大小,并传入数据存储模块中进行实时存储;评价结果显示模块将红外图像指标信息叠加到红外图像上,同时存入数据存储模块,再将叠加后的红外图像传输至红外图像输出端,经评价结果显示器显示出来;另一路原始红外图像经千兆网络传输模块传输到上位机中,完成原始红外图像的采集及图像处理;同时,经千兆网络传输模块采集硬件算法处理模块中经过硬件算法处理的红外图像及红外图像处理算法效果分析模块中的指标信息,将上述信息传输到上位机中,与原始红外图像进行对比。
红外图像硬件算法处理效果评价板主要由带有ARM硬核的FPGA数字信号处理芯片、DDRIII SDRAM、SRAM和FLASH存储器组成,原始红外图像通过16位的数字接口直接与FPGA数字信号处理芯片连接,该数字处理芯片的I/O口分别与DDRIII SDRAM、SRAM、FLASH连接;千兆网络传输模块主要由千兆网口、千兆网物理层PHY芯片和千兆网MAC核构成,MAC核设置在FPGA芯片中,并通过FPGA的I/O口连接千兆网物理层PHY芯片,千兆网物理层PHY芯片连接到千兆网口;红外图像处理算法效果分析模块主要在FPGA的ARM硬核中实现,ARM硬核分别与MAC核、DDRIII SDRAM及FLASH连接,在ARM硬核中,由其CPU确定红外图像均值、盲元率、均方根差及信噪比;红外图像输出端包括DA芯片,红外图像硬件算法处理效果评价板的输出结果送到DA芯片中,由DA芯片将数字形式的红外图像信号转换成为模拟PAL制的黑白电视信号送到显示器中进行显示。
上述上位机中的图像处理方法为依次采用非均匀校正算法、盲元去除算法、图像滤波算法、直方图均衡算法和数字细节增强算法对图像进行处理。
硬件算法处理模块:对输入的原始红外图像进行一系列的硬件算法处理,包括非均匀校正算法处理、盲元去除算法处理、图像滤波算法处理、直方图均衡算法处理和数字细节增强算法处理。
千兆网络传输模块:采用千兆以太网协议完成红外图像及其评价指标信息的传输,在本发明中由MAC控制核和千兆网物理层PHY芯片构成,最高可以达到1000Mbps的传输速度。
红外图像处理算法效果分析模块:确定硬件算法处理模块处理后的红外图像的效果评价指标,包括盲元率信息、均方根差信息及信噪比信息,在本发明中上述信息的运算主要在ARM硬核的CPU中完成。
评价结果显示模块:完成经过硬件算法处理后的红外图像及其相应的效果评价指标信息的叠加,同时将叠加后的红外图像输出到DA芯片完成显示格式转换。
基于红外图像的硬件处理算法效果评价方法,包括以下步骤:
步骤1、红外探测器采集输出的原始红外图像由探测器驱动板的数字图像接口输出端连接到原始红外图像输入端,完成原始红外图像的输入,进入步骤2;
步骤2、经过原始红外图像输入端的原始红外图像信号分为以下两路,分别如下:
步骤2-1:一路原始红外图像经过千兆网络传输模块直接传入上位机,得到处理后的红外图像及其相应的评价指标,转入步骤4;
步骤2-2:另一路原始红外图像直接传输到红外图像硬件算法处理效果评价板中,经过红外图像硬件算法处理效果评价板得到改善后的红外图像的效果评价指标,分为两路,一路转入步骤4,另一路与数字细节增强算法后输出的红外图像进行叠加后,进入步骤3;
步骤3、将红外图像硬件算法处理效果评价板输出的叠加有评价指标的红外图像输入到红外图像输出端,并送至评价结果显示器显示;
步骤4、将步骤2-2中得到的改善后的红外图像的效果评价指标和步骤2-1中得到的处理后的红外图像及其相应的评价指标,在上位机中进行对比。
上述步骤2-1包括以下步骤:
步骤2-1-1:上位机通过千兆网络传输模块实时不丢帧的采集原始红外图像,并对采集到的原始红外图像进行存储,进入步骤2-1-2;
步骤2-1-2:上位机对采集的原始红外图像进行图像处理,得到处理后的红外图像及其相应的评价指标,转入步骤4;
上述步骤2-2包括以下步骤:
步骤2-2-1:原始红外图像数据直接输入硬件算法处理模块,在硬件算法处理模块中,原始红外图像数据依次经过非均匀校正算法模块、盲元去除算法模块、图像滤波算法模块、直方图均衡算法模块以及数字细节增强算法模块,得到改善后的红外图像,进入步骤2-2-2;
步骤2-2-2:经过上述非均匀校正算法模块、盲元去除算法模块、图像滤波算法模块、直方图均衡算法模块以及数字细节增强算法模块后的红外图像分别传输到红外图像处理算法效果分析模块,在红外图像处理算法效果分析模块中依次通过盲元率计算模块、RMSE计算模块、红外图像SNR计算模块,得到改善后的红外图像的效果评价指标,分为两路,一路进入步骤2-2-3,另一路转入步骤4;
步骤2-2-3:经过最后一个硬件处理算法,即数字细节增强算法后输出的红外图像,传输至评价结果显示模块,红外图像处理算法效果分析模块的计算结果也传输到评价结果显示模块,由评价结果显示模块完成评价指标叠加到红外图像上,转入步骤3;
上述步骤2-1-2中的图像处理方法为依次采用非均匀校正算法、盲元去除算法、图像滤波算法、直方图均衡算法和数字细节增强算法;上位机通过千兆网络传输模块采集得到原始红外图像,依次选择上述图像处理算法对采集的原始红外图像进行处理,并输出处理后的红外图像及处理后红外图像的评价指标。
上述非均匀校正算法采用基于场景的非均匀校正算法、基于两点的非均匀校正算法或者基于神经网络的非均匀校正算法;盲元去除算法采用基于两点参数的盲元检测去除算法、响应率检测去除算法、偏差检测去除算法或者噪声检测去除算法;图像滤波算法采用中值滤波算法、帧间滤波算法或者3D滤波算法;直方图均衡算法采用统计直方图均衡算法或者累计直方图均衡算法;数字细节增强算法采用基于频率变换的细节增强算法、基于空域滤波的细节增强算法或者基于统计直方图的细节增强算法。
本发明与现有技术相比,其显著优点:(1)能够更为客观地评价红外图像在经过不同的硬件算法处理后的效果,充分考虑了硬件算法在实际硬件系统中运行的效果;(2)可以对同一原始红外图像同时进行软件算法处理和硬件算法处理,进行逐帧处理效果的对比,从而对红外图像硬件算法处理效果做出改进;(3)采用千兆网络采集传输红外图像,速度快,能满足实时观察、评价的要求;(4)可以方便的携带评价装置,针对对不同场景观察硬件算法的运行效果和评价指标。
附图说明
图1本发明基于红外图像的硬件处理算法效果评价装置的结构示意图。
图2本发明基于红外图像的硬件处理算法效果评价装置中红外图像硬件算法处理效果评价板实例的结构图。
图3本发明基于红外图像的硬件处理算法效果评价方法中原始红外图像的数据格式图。
图4本发明基于红外图像的硬件处理算法效果评价装置采集的某一帧原始红外图像。
图5本发明基于红外图像的硬件处理算法效果评价装置中使用某种盲元去除硬件算法后输出的红外图像。
图6本发明基于红外图像的硬件处理算法效果评价装置中使用某种非均匀性校正硬件算法后输出的红外图像。
图7本发明基于红外图像的硬件处理算法效果评价装置中使用某种图像滤波硬件算法后输出的红外图像。
具体实施方式
下面结合附图对本发明作进一步详细描述。
结合图1,本发明的基于红外图像的硬件处理算法效果评价装置包括原始红外图像输入端、千兆网络传输模块、红外图像硬件算法处理效果评价板、红外图像输出端、评价结果显示器,原始红外图像输入端分别与千兆网络传输模块和红外图像硬件算法处理效果评价板连接,红外图像输出端分别与红外图像硬件算法处理效果评价板和评价结果显示器连接;红外图像硬件算法处理效果评价板包括硬件算法处理模块、红外图像处理算法效果分析模块、评价结果显示模块和数据存储模块,硬件算法处理模块分别与千兆网络传输模块、红外图像处理算法效果分析模块、评价结果显示模块和数据存储模块连接,红外图像处理算法效果分析模块分别与评价结果显示模块和数据存储模块连接,评价结果显示模块分别与数据存储模块和红外图像输出端连接;硬件算法处理模块包括非均匀校正算法处理模块、盲元去除算法处理模块、图像滤波算法处理模块、直方图均衡算法处理模块和数字细节增强算法处理模块,非均匀校正算法处理模块、盲元去除算法处理模块、图像滤波算法处理模块、直方图均衡算法处理模块和数字细节增强算法处理模块依次连接,并分别连接到红外图像处理算法效果分析模块,数字细节增强算法处理模块再与评价结果显示模块连接;红外图像处理算法效果分析模块包含盲元率计算模块、RMSE计算模块、红外图像SNR计算模块,盲元率计算模块、RMSE计算模块、红外图像SNR计算模块依次连接,盲元率计算模块再与非均匀校正算法处理模块、盲元去除算法处理模块、图像滤波算法处理模块、直方图均衡算法处理模块和数字细节增强算法处理模块连接,红外图像SNR计算模块再与评价结果显示模块连接。
工作流程如下:红外探测器采集输出的原始红外图像信号传输到原始红外图像输入端后分为两路,一路进入硬件算法处理模块,硬件算法处理模块中的非均匀校正算法、盲元去除算法、图像滤波算法、直方图均衡算法、数字细节增强算法依次对红外图像进行处理。在本发明的硬件算法处理模块中,非均匀校正算法采用基于场景的非均匀校正算法、基于两点的非均匀校正算法或者基于神经网络的非均匀校正算法;盲元去除算法采用基于两点参数的盲元检测去除算法、响应率检测去除算法、偏差检测去除算法或者噪声检测去除算法;图像滤波算法采用中值滤波算法、帧间滤波算法或者3D滤波算法;直方图均衡算法采用统计直方图均衡算法或者累计直方图均衡算法;数字细节增强算法采用基于频率变换的细节增强算法、基于空域滤波的细节增强算法或者基于统计直方图的细节增强算法。根据所采用的硬件算法处理的需要将红外图像写入或者读出数据存储模块中,硬件算法处理模块中每个算法在处理完红外图像后都会按照与输入相同的格式将红外图像送到下一个硬件算法中,同时每个硬件算法的处理结果再分别传输到红外图像处理算法效果分析模块中,由红外图像处理算法效果分析模块中的盲元率计算模块、RMSE计算模块、红外图像SNR计算模块依次确定处理后红外图像的盲元信息、非均匀性信息、信噪比大小,并传入数据存储模块中进行实时存储;评价结果显示模块将红外图像指标信息叠加到红外图像上,同时存入数据存储模块,再将叠加后的红外图像传输至红外图像输出端,经评价结果显示器显示出来;另一路原始红外图像经千兆网络传输模块传输到上位机中,完成原始红外图像的采集及图像处理;同时,经千兆网络传输模块采集硬件算法处理模块中经过硬件算法处理的红外图像及红外图像处理算法效果分析模块中的指标信息,将上述信息传输到上位机中,与原始红外图像进行对比。
结合图1和图2,红外图像硬件算法处理效果评价板主要由带有ARM硬核的FPGA数字信号处理芯片(如Cyclone V SoC FPGA)、DDRIII SDRAM(如大小为64Meg x16的MT41J64M16)、SRAM(如IS61LF12836A)和FLASH(如SamsungK9F5608U0D)存储器构成,红外图像通过16位的数字接口直接与FPGA数字信号处理芯片连接,该数字处理芯片的I/O口分别与DDRIII SDRAM、SRAM、FLASH连接;千兆网络传输模块主要由千兆网口、千兆网物理层PHY芯片(如88E1111)以及千兆网MAC核构成,MAC核设置在FPGA芯片中,并通过FPGA的I/O口连接到千兆网物理层PHY芯片,千兆网物理层PHY芯片连接到千兆网口;红外图像处理算法效果分析模块主要在FPGA的ARM硬核中实现,ARM硬核分别与MAC核、DDRIII SDRAM及FLASH连接,在ARM硬核中,由其CPU确定红外图像均值、盲元率、均方根差(RMSE)及信噪比(SNR)。红外图像输出端包括DA芯片(如ADV7127),红外图像硬件算法处理效果评价板的输出结果送到DA芯片中,由DA芯片将数字形式的红外图像信号转换成为模拟PAL制的黑白电视信号送到显示器中进行显示。
本发明基于红外图像的硬件处理算法效果评价方法,包括以下步骤:
第一步,红外探测器采集输出的原始红外图像由探测器驱动板的数字图像接口输出端连接到红外图像硬件算法处理效果评价板的原始红外图像输入端,完成原始红外图像的输入。输入的原始图像格式如图3,由14位并行红外数字图像信号、1位帧使能信号、1位像素时钟信号构成;如图5是某帧原始红外图像,图像大小为320*256。
第二步,经过原始红外图像输入端的原始红外图像信号分为两路,一路直接经过千兆网络传输到上位机中,一路传输送到FPGA中。对于传输到上位机中的红外图像信号,上位机通过千兆网实时不丢帧的采集原始红外图像,并对采集到的原始红外图像进行存储,同时上位机对采集到的原始红外图像进行图像处理,得到处理后的红外图像及其相应的评价指标(盲元信息、非均匀性信息、信噪比);对于传输到FPGA中的红外图像信号,FPGA中的原始红外图像首先依次经过一些列图像硬件算法处理,即非均匀性校正算法、盲元去除算法、图像滤波算法、直方图均衡算法以及数字细节增强算法,得到硬件算法处理改善后的红外图像。
第三步,在FPGA中经过各个图像硬件算法处理改善后的红外图像分别输入到红外图像硬件处理算法效果分析部分,由红外图像处理算法效果分析模块中的盲元率计算模块、RMSE计算模块、红外图像SNR计算模块依次确定处理后红外图像的效果评价指标:经过硬件算法处理后的红外图像首先按次序逐帧存储到DDRIII SDRAM存储器中,然后由红外图像处理算法效果分析模块从DDRIIISDRAM存储器中读出图像数据到ARM硬核的CPU中参与计算,本发明中红外图像的主要评价指标是盲元率信息、非均匀性大小信息以及图像信噪比信息。盲元率大小的确定就是要得出在经过盲元去除算法后红外图像上还有多少像素点是非正常的像素点,对于像素点(x,y),若能连续N帧保持在预先设定的变化阈值范围内则判定为非盲元,否则判定为盲元;非均匀性算法校正性能则通过确定红外图像的均方根误差(RMSE)来判定:
RMSE = 1 M · N Σ i , j ( X ( i , j ) - X ^ ( i , j ) ) 2
式中X(i,j)是(i,j)像素的真实值,是校正后的像素值。M,N分别为图像的行数和列数;图像信噪比的计算需要用到原始的红外图像g和算法处理后红外图像f,
SNR = 10 lg { Σ i = 1 M Σ j = 1 N g ( i , j ) 2 Σ i = 1 M Σ j = 1 N [ g ( i , j ) - f ( i , j ) ] 2 }
其中,M,N分别为图像的行数和列数;g(i,j)和f(i,j)分别为原始图像和硬件算法处理后图像在像素点(i,j)处的灰度值。
第四步,将硬件算法处理后的红外图像的评价指标和处理后的红外图像经千兆网络传输到上位机中以供软硬件两种算法的处理效果对比。同时将硬件处理算法改善后的红外图像的评价指标叠加到处理后的红外图像上直接送到显示部分,由DA芯片转换为PAL制格式并直接输出到显示器。如图5、图6、图7分别为3种硬件图像处理算法处理后输出的红外图像。从图4的原始红外图像中可以明显观察到盲元点(过亮或者过暗的像素点),原始图像还存在比较严重的非均匀性(人眼观察到的横竖条纹),原始图像噪声比较大,信噪比很低;经过某种盲元去除算法,如图5所示,人眼从图像上几乎观察不到盲元的存在,盲元率信息显示为0.063%;经过某种非均匀校正算法,如图6所示,红外图像上明显存在的横竖条纹基本被去除,RMSE的值也从108.3降到了5.35;经过某种图像滤波算法,如图7所示,红外图像中的噪声得到了进一步的抑制,显得更加清晰,信噪比从滤波前的19.3提升到了28.3。通过对处理后红外图像指标的实时观察和分析,硬件算法设计人员就可以定性的检测所采用硬件算法的质量,并进行优化。

Claims (8)

1.一种基于红外图像的硬件处理算法效果评价装置,其特征在于:包括原始红外图像输入端、千兆网络传输模块、红外图像硬件算法处理效果评价板、红外图像输出端、评价结果显示器,原始红外图像输入端分别与千兆网络传输模块和红外图像硬件算法处理效果评价板连接,红外图像输出端分别与红外图像硬件算法处理效果评价板和评价结果显示器连接;红外图像硬件算法处理效果评价板包括硬件算法处理模块、红外图像处理算法效果分析模块、评价结果显示模块和数据存储模块,硬件算法处理模块分别与千兆网络传输模块、红外图像处理算法效果分析模块、评价结果显示模块和数据存储模块连接,红外图像处理算法效果分析模块分别与评价结果显示模块和数据存储模块连接,评价结果显示模块分别与数据存储模块和红外图像输出端连接;硬件算法处理模块包括非均匀校正算法处理模块、盲元去除算法处理模块、图像滤波算法处理模块、直方图均衡算法处理模块和数字细节增强算法处理模块,非均匀校正算法处理模块、盲元去除算法处理模块、图像滤波算法处理模块、直方图均衡算法处理模块和数字细节增强算法处理模块依次连接,并分别连接到红外图像处理算法效果分析模块,数字细节增强算法处理模块再与评价结果显示模块连接;红外图像处理算法效果分析模块包含盲元率计算模块、RMSE计算模块、红外图像SNR计算模块,盲元率计算模块、RMSE计算模块、红外图像SNR计算模块依次连接,盲元率计算模块再与非均匀校正算法处理模块、盲元去除算法处理模块、图像滤波算法处理模块、直方图均衡算法处理模块和数字细节增强算法处理模块连接,红外图像SNR计算模块再与评价结果显示模块连接;红外探测器采集输出的原始红外图像信号传输到原始红外图像输入端后分为两路,一路进入硬件算法处理模块,硬件算法处理模块中的非均匀校正算法、盲元去除算法、图像滤波算法、直方图均衡算法、数字细节增强算法依次对红外图像进行处理,并根据算法处理的需要将红外图像写入或者读出数据存储模块中,硬件算法处理模块中每个算法在处理完红外图像后都会按照与输入相同的格式将红外图像送到下一个硬件算法中,同时每个硬件算法的处理结果再分别传输到红外图像处理算法效果分析模块中,由红外图像处理算法效果分析模块中的盲元率计算模块、RMSE计算模块、红外图像SNR计算模块依次确定处理后红外图像的盲元信息、非均匀性信息、信噪比大小,并传入数据存储模块中进行实时存储;评价结果显示模块将红外图像指标信息叠加到红外图像上,同时存入数据存储模块,再将叠加后的红外图像传输至红外图像输出端,经评价结果显示器显示出来;另一路原始红外图像经千兆网络传输模块传输到上位机中,完成原始红外图像的采集及图像处理;同时,经千兆网络传输模块采集硬件算法处理模块中经过硬件算法处理的红外图像及红外图像处理算法效果分析模块中的指标信息,将上述信息传输到上位机中,与原始红外图像进行对比。
2.根据权利要求1所述的基于红外图像的硬件处理算法效果评价装置,其特征在于:红外图像硬件算法处理效果评价板主要由带有ARM硬核的FPGA数字信号处理芯片、DDRIII SDRAM、SRAM和FLASH存储器组成,原始红外图像通过16位的数字接口直接与FPGA数字信号处理芯片连接,该数字处理芯片的I/O口分别与DDRIII SDRAM、SRAM、FLASH连接;千兆网络传输模块主要由千兆网口、千兆网物理层PHY芯片和千兆网MAC核构成,MAC核设置在FPGA芯片中,并通过FPGA的I/O口连接千兆网物理层PHY芯片,千兆网物理层PHY芯片连接到千兆网口;红外图像处理算法效果分析模块主要在FPGA的ARM硬核中实现,ARM硬核分别与MAC核、DDRIII SDRAM及FLASH连接,在ARM硬核中,由其CPU确定红外图像均值、盲元率、均方根差及信噪比;红外图像输出端包括DA芯片,红外图像硬件算法处理效果评价板的输出结果送到DA芯片中,由DA芯片将数字形式的红外图像信号转换成为模拟PAL制的黑白电视信号送到显示器中进行显示。
3.根据权利要求1所述的基于红外图像的硬件处理算法效果评价装置,其特征在于:上述上位机中的图像处理方法为依次采用非均匀校正算法、盲元去除算法、图像滤波算法、直方图均衡算法和数字细节增强算法对图像进行处理。
4.基于权利要求1所述的基于红外图像的硬件处理算法效果评价方法,其特征在于,包括以下步骤:
步骤1、红外探测器采集输出的原始红外图像由探测器驱动板的数字图像接口输出端连接到原始红外图像输入端,完成原始红外图像的输入,进入步骤2;
步骤2、经过原始红外图像输入端的原始红外图像信号分为以下两路,分别如下:
步骤2-1:一路原始红外图像经过千兆网络传输模块直接传入上位机,得到处理后的红外图像及其相应的评价指标,转入步骤4;
步骤2-2:另一路原始红外图像直接传输到红外图像硬件算法处理效果评价板中,经过红外图像硬件算法处理效果评价板得到改善后的红外图像的效果评价指标,分为两路,一路转入步骤4,另一路与数字细节增强算法后输出的红外图像进行叠加后,进入步骤3;
步骤3、将红外图像硬件算法处理效果评价板输出的叠加有评价指标的红外图像输入到红外图像输出端,并送至评价结果显示器显示;
步骤4、将步骤2-2中得到的改善后的红外图像的效果评价指标和步骤2-1中得到的处理后的红外图像及其相应的评价指标,在上位机中进行对比。
5.根据权利要求4所述的基于权利要求1所述的基于红外图像的硬件处理算法效果评价方法,其特征在于,上述步骤2-1包括以下步骤:
步骤2-1-1:上位机通过千兆网络传输模块实时不丢帧的采集原始红外图像,并对采集到的原始红外图像进行存储,进入步骤2-1-2;
步骤2-1-2:上位机对采集的原始红外图像进行图像处理,得到处理后的红外图像及其相应的评价指标,转入步骤4。
6.根据权利要求4所述的基于权利要求1所述的基于红外图像的硬件处理算法效果评价方法,其特征在于,上述步骤2-2包括以下步骤:
步骤2-2-1:原始红外图像数据直接输入硬件算法处理模块,在硬件算法处理模块中,原始红外图像数据依次经过非均匀校正算法模块、盲元去除算法模块、图像滤波算法模块、直方图均衡算法模块以及数字细节增强算法模块,得到改善后的红外图像,进入步骤2-2-2;
步骤2-2-2:经过上述非均匀校正算法模块、盲元去除算法模块、图像滤波算法模块、直方图均衡算法模块以及数字细节增强算法模块后的红外图像分别传输到红外图像处理算法效果分析模块,在红外图像处理算法效果分析模块中依次通过盲元率计算模块、RMSE计算模块、红外图像SNR计算模块,得到改善后的红外图像的效果评价指标,分为两路,一路进入步骤2-2-3,另一路转入步骤4;
步骤2-2-3:经过最后一个硬件处理算法,即数字细节增强算法后输出的红外图像,传输至评价结果显示模块,红外图像处理算法效果分析模块的计算结果也传输到评价结果显示模块,由评价结果显示模块完成评价指标叠加到红外图像上,转入步骤3。
7.根据权利要求5所述的基于权利要求1所述的基于红外图像的硬件处理算法效果评价方法,其特征在于:上述步骤2-1-2中的图像处理方法为依次采用非均匀校正算法、盲元去除算法、图像滤波算法、直方图均衡算法和数字细节增强算法;上位机通过千兆网络传输模块采集得到原始红外图像,依次选择上述图像处理算法对采集的原始红外图像进行处理,并输出处理后的红外图像及处理后红外图像的评价指标。
8.根据权利要求6所述的基于权利要求1所述的基于红外图像的硬件处理算法效果评价方法,其特征在于:非均匀校正算法采用基于场景的非均匀校正算法、基于两点的非均匀校正算法或者基于神经网络的非均匀校正算法;盲元去除算法采用基于两点参数的盲元检测去除算法、响应率检测去除算法、偏差检测去除算法或者噪声检测去除算法;图像滤波算法采用中值滤波算法、帧间滤波算法或者3D滤波算法;直方图均衡算法采用统计直方图均衡算法或者累计直方图均衡算法;数字细节增强算法采用基于频率变换的细节增强算法、基于空域滤波的细节增强算法或者基于统计直方图的细节增强算法。
CN201310369397.7A 2013-08-22 2013-08-22 基于红外图像的硬件处理算法效果评价装置及其评价方法 Expired - Fee Related CN104424383B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310369397.7A CN104424383B (zh) 2013-08-22 2013-08-22 基于红外图像的硬件处理算法效果评价装置及其评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310369397.7A CN104424383B (zh) 2013-08-22 2013-08-22 基于红外图像的硬件处理算法效果评价装置及其评价方法

Publications (2)

Publication Number Publication Date
CN104424383A true CN104424383A (zh) 2015-03-18
CN104424383B CN104424383B (zh) 2017-09-15

Family

ID=52973333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310369397.7A Expired - Fee Related CN104424383B (zh) 2013-08-22 2013-08-22 基于红外图像的硬件处理算法效果评价装置及其评价方法

Country Status (1)

Country Link
CN (1) CN104424383B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104866286A (zh) * 2015-06-02 2015-08-26 电子科技大学 一种基于OpenCL与SoC-FPGA的K近邻分类加速方法
CN105847711A (zh) * 2016-04-08 2016-08-10 北京航天计量测试技术研究所 一种基于高性能fpga+ddr3的高集成化红外成像系统
CN105928627A (zh) * 2016-04-08 2016-09-07 北京航天计量测试技术研究所 一种消除制冷型热像仪画面复现非均匀性的方法
CN106686281A (zh) * 2016-06-28 2017-05-17 南京理工大学 融合电路板噪声抑制能力测试系统
CN109743608A (zh) * 2018-12-21 2019-05-10 南京理工大学 易扩充性红外视频图像处理算法实现准确性的验证系统
CN110631708A (zh) * 2018-06-22 2019-12-31 杭州阿尔法红外检测技术有限公司 分析配置装置和分析配置方法
CN110751600A (zh) * 2019-09-03 2020-02-04 哈尔滨新光光电科技股份有限公司 一种小型化cameralink数字采集装置及系统
CN113612940A (zh) * 2021-07-08 2021-11-05 浙江焜腾红外科技有限公司 夜视红外热成像仪

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102801912A (zh) * 2012-07-17 2012-11-28 北京伽略电子系统技术有限公司 一种红外图像处理芯片及处理方法
CN202631114U (zh) * 2012-03-09 2012-12-26 深圳职业技术学院 红外图像处理装置及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202631114U (zh) * 2012-03-09 2012-12-26 深圳职业技术学院 红外图像处理装置及系统
CN102801912A (zh) * 2012-07-17 2012-11-28 北京伽略电子系统技术有限公司 一种红外图像处理芯片及处理方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
R.DULSHI ET AL.: "Evaluation of hardware implementation of the infraed image enhancement algorithm", 《11TH INTERNATIONAL CONFERENCE ON QUANTITATIVE INFRARED THERMOGRAPHY》 *
刘恒辉: "红外图像处理算法研究及其FPGA实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
樊晓清等: "红外热像仪与上位机通信系统设计", 《光学与光电技术》 *
高宇: "红外视频源模拟系统的研究与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
高宇等: "红外图像处理算法硬件实现验证系统", 《红外技术》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104866286A (zh) * 2015-06-02 2015-08-26 电子科技大学 一种基于OpenCL与SoC-FPGA的K近邻分类加速方法
CN104866286B (zh) * 2015-06-02 2018-05-01 电子科技大学 一种基于OpenCL与SoC-FPGA的K近邻分类加速方法
CN105847711A (zh) * 2016-04-08 2016-08-10 北京航天计量测试技术研究所 一种基于高性能fpga+ddr3的高集成化红外成像系统
CN105928627A (zh) * 2016-04-08 2016-09-07 北京航天计量测试技术研究所 一种消除制冷型热像仪画面复现非均匀性的方法
CN105928627B (zh) * 2016-04-08 2019-01-08 北京航天计量测试技术研究所 一种消除制冷型热像仪画面复现非均匀性的方法
CN106686281A (zh) * 2016-06-28 2017-05-17 南京理工大学 融合电路板噪声抑制能力测试系统
CN106686281B (zh) * 2016-06-28 2020-04-07 南京理工大学 融合电路板噪声抑制能力测试系统
CN110631708A (zh) * 2018-06-22 2019-12-31 杭州阿尔法红外检测技术有限公司 分析配置装置和分析配置方法
CN110631708B (zh) * 2018-06-22 2022-05-17 杭州阿尔法红外检测技术有限公司 分析配置装置和分析配置方法
CN109743608A (zh) * 2018-12-21 2019-05-10 南京理工大学 易扩充性红外视频图像处理算法实现准确性的验证系统
CN110751600A (zh) * 2019-09-03 2020-02-04 哈尔滨新光光电科技股份有限公司 一种小型化cameralink数字采集装置及系统
CN113612940A (zh) * 2021-07-08 2021-11-05 浙江焜腾红外科技有限公司 夜视红外热成像仪

Also Published As

Publication number Publication date
CN104424383B (zh) 2017-09-15

Similar Documents

Publication Publication Date Title
CN104424383A (zh) 基于红外图像的硬件处理算法效果评价装置及其评价方法
CN109033945B (zh) 一种基于深度学习的人体轮廓提取方法
CN103116875B (zh) 自适应双边滤波图像去噪方法
CN103020904B (zh) 反射消除系统
CN111402280B (zh) 基于对数图像处理模型的图像边缘检测系统及方法
CN108109147A (zh) 一种模糊图像的无参考质量评价方法
CN109377487B (zh) 一种基于深度学习分割的水果表面缺陷检测方法
CN104272347A (zh) 去除包含在静止图像中的雾的图像处理装置及其方法
CN103456011A (zh) 一种利用互补信息的改进型高光谱rx异常检测方法
CN106326932A (zh) 一种基于神经网络的电力巡线图像自动识别方法、装置
CN106991428A (zh) 基于自适应池化模型的害虫图像识别方法
CN103347171B (zh) 基于dsp的雾天视频处理系统及方法
CN104036493A (zh) 一种基于多重分形谱的无参考图像质量评价方法
CN104361571B (zh) 基于边缘信息和支持度变换的红外与微光图像融合方法
CN111047598B (zh) 基于深度学习的输变电设备紫外放电光斑分割方法及装置
CN104715470B (zh) 一种klt角点检测装置及方法
CN106067173A (zh) 柑橘果实糖度的复杂性测度无损检测方法
WO2024061194A1 (zh) 样本标签的获取方法和镜头失效检测模型的训练方法
CN103714336A (zh) 基于八元数和回声状态网络的织物图像边缘检测方法
Chen et al. Swintd: Transformer-based detection network for foreign objects in the cut section of tobacco packets
CN104657960A (zh) 一种灰度图像对比度拉伸方法及装置
Zhang et al. Trustworthy image fusion with deep learning for wireless applications
Li (Retracted) Infrared image filtering and enhancement processing method based upon image processing technology
CN107844746A (zh) 基于深度学习的复杂路况感知系统及装置
CN107623841A (zh) 一种监控效果好的车载监控系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170915

Termination date: 20190822

CF01 Termination of patent right due to non-payment of annual fee