CN103049879B - 一种基于fpga的红外图像预处理方法 - Google Patents

一种基于fpga的红外图像预处理方法 Download PDF

Info

Publication number
CN103049879B
CN103049879B CN201210538812.2A CN201210538812A CN103049879B CN 103049879 B CN103049879 B CN 103049879B CN 201210538812 A CN201210538812 A CN 201210538812A CN 103049879 B CN103049879 B CN 103049879B
Authority
CN
China
Prior art keywords
fpga
infrared
infrared image
nonuniformity correction
processing method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210538812.2A
Other languages
English (en)
Other versions
CN103049879A (zh
Inventor
赵凯生
汪江华
潘晓东
孙小亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Luoyang Institute of Electro Optical Equipment AVIC
Original Assignee
Luoyang Institute of Electro Optical Equipment AVIC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Luoyang Institute of Electro Optical Equipment AVIC filed Critical Luoyang Institute of Electro Optical Equipment AVIC
Priority to CN201210538812.2A priority Critical patent/CN103049879B/zh
Publication of CN103049879A publication Critical patent/CN103049879A/zh
Application granted granted Critical
Publication of CN103049879B publication Critical patent/CN103049879B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)

Abstract

本发明涉及一种基于FPGA的红外图像预处理方法，本发明采用了内嵌有可编程片上系统SOPC的单片可编程逻辑芯片FPGA和少量外围电路来实现红外图像的预处理，红外图像的非均匀校正系数的计算、直方图的统计、红外图像的非均匀校正、红外图像盲元的替换、灰度变换等全部都由FPGA来完成，不需要数字信号处理器DSP参与计算，系统结构小型化，解决了现有红外图像处理电路结构复杂、功耗大和图像处理效率低的问题。

Description

一种基于FPGA的红外图像预处理方法
技术领域
本发明涉及图像处理领域，具体涉及一种基于FPGA的红外图像预处理方法。
背景技术
近年来红外成像系统已经广泛应用于导弹制导、红外前视、红外搜索跟踪等多个领域。在红外图像处理系统中，红外图像必须经过数据采集、模拟信号数字化、非均匀性校正和灰度变换等处理，其中非均匀校正、直方图统计、线性变换等红外图像的预处理工作是红外成像系统的主要工作。目前普遍使用是现场可编程门阵列FPGA+数字信号处理器DSP的系统构架形式实现上述功能，其中FPGA完成数据采集控制、红外图像非均匀校正、数据搬运等工作，DSP依靠其强大的计算能力完成红外图像的非均匀校正系数计算、直方图统计、线性变换等负责计算功能。这种方式电路结构庞大、系统控制和时序逻辑复杂、功耗增加、电磁兼容性问题突出，而且在对图像的实时性、电路尺寸及电磁兼容有严格限制的使用环境下，上述问题尤为突出，必须进行改进和控制。
发明内容
本发明的目的是提供一种基于FPGA的红外图像预处理方法，用以解决现有红外图像处理电路结构复杂、功耗大和图像处理效率低的问题。
为实现上述目的，本发明的方案是：一种基于FPGA的红外图像预处理方法，包括以下步骤：
（1）当新一帧图像开始时，若上位机发送非均匀校正系数计算命令，则由FPGA内部SOPC软核进行红外图像非均匀校正系数的计算，并将计算结果存储到系数存储器中继续等待下一帧图像的到来；
（2）若上位机发送非均匀校正命令，则由FPGA内部的非均匀校正模块根据所述系数存储器中存储的非均匀校正系数，对红外信号进行非均匀校正；
（3）由FPGA内部SOPC软核确定盲元位置，并替换盲元；
（4）红外图像直方图统计模块实时接收经过非均匀校正和盲元替换后的红外图像数据，并实时统计每帧红外图像的直方图；
（5）根据每帧红外图像直方图统计结果，由FPGA内的控制单元实时计算出灰度变换的高低门限，并由FPGA内的SOPC软核根据高低门限进行红外信号灰度变换的计算，变换结果存放在FPGA内部的SRAM模块中；
（6）重复上述步骤（1）~步骤（5），直到完成整个红外图像的预处理。
所述红外图像非均匀校正系数的计算采用的是图像冻结的方式静态采集单帧红外图像的响应或者多帧红外图像响应的平均值来完成的。
红外图像非均匀校正采用流水线的方式将红外焦平面的每个像元的响应依次与其对应位置的非均匀校正系数进行计算。
步骤（4）是采用双口RAM、单口RAM、控制单元相结合的方式以数据量的形式实时统计每帧红外图像的直方图。
步骤（3）中对盲元的替换采用的是中值滤波的方式。
本发明达到的有益效果：本发明采用了内嵌有可编程片上系统（SOPC）的单片可编程逻辑芯片(FPGA)和少量外围电路来实现红外图像的预处理，红外图像的非均匀校正系数的计算、直方图的统计、红外图像的非均匀校正、红外图像盲元的替换、灰度变换等全部都由FPGA来完成，不需要数字信号处理器DSP参与计算，系统结构小型化，电路面积减少了40％，功耗降低了30％，元器件数量减少了35％。同时通过减少各处理芯片之间的交互，使得图像处理的效率更高，速度更快。
附图说明
图1是本发明红外图像预处理方法流程图；
图2是基于FPGA的红外图像预处理结构原理图；
图3是本发明方法采用的红外图像预处理装置结构示意图。
具体实施方式
下面结合附图对本发明做进一步详细的说明。
如图1和图2所示，红外图像预处理分为非均匀校正系数的计算和实时处理，为保证系统工作的实时性，红外图像预处理以每帧信号的开始为起点进行工作。每帧信号开始后，若通信模块收到上位机发送的非均匀校正系数计算命令，则由采用SOPC软核的非均匀校正系数计算装置进行非均匀校正系数的计算，并将计算结果写入系数存储器中。本实施例非均匀校正系数的计算是采用图像冻结的方式静态采集单帧红外图像的响应或者多帧红外图像响应的平均值来完成的。当通信模块收到模式切换命令时，非均匀校正系数计算装置立刻通过图像冻结装置禁止帧存储器的写入，然后根据帧存储器内的数据进行非均匀校正系数的计算。
若通信模块收到上位机发送的非均匀校正命令，则进行实时处理，首先非均匀校正装置根据系数存储器中的非均匀校正系数对红外信号进行非均匀校正，然后进行盲元替换，本实施例是使用SOPC软核采用3×3窗口中值滤波的方法确定盲元位置，并用窗口内9个像素的平均值替换盲元。红外图像直方图统计模块实时接收经过非均匀校正和盲元替换后的红外图像数据，并以数据量的形式实时统计每帧图像的直方图，本实施例对直方图的统计采用双口RAM、单口RAM、控制单元相结合的方式，以数据量的形式实时统计每帧红外图像的直方图，然后由灰度变换模块根据每帧图像的直方图统计结果实时计算出灰度变换的高低门限，最后根据高低门限进行灰度变换并将变换结果写入灰度变换存储器，本实施例灰度变换采用的是线性变换。关于中值滤波法和灰度变换的线性变换为本领域人员公知常识，在此不再详细介绍。
如图3，采用本发明红外图像预处理方法的装置由内嵌可编程片上系统SOPC的现场可编程芯片FPGA和其外围电路组成，图中虚线框中所示为现场可编程芯片FPGA。
本实施例现场可编程器件采用ALTERA公司的EP1S10F484I6芯片，包括时钟管理模块、NIOSII软核处理器、非均匀校正模块、双口存储器控制器、同步信号控制器、片内灰度变换存储器。其外围电路包括有源晶体振荡器、电源变换模块、配置控制器EPM7128、程序存储器AM29LV065D、数据存储器WEDPS512K32、双口存储器IDT70T631和串行通信模块XR16L2550
NIOSII软核处理器包括CPU内核、程序存储器控制器、数据存储器控制器、三态总线、64KB片内存储器、盲元替换装置、非均匀校正系数计算模块、片内灰度变换存储器接口和串行通信模块。

Claims (5)

1.一种基于FPGA的红外图像预处理方法，其特征在于，包括以下步骤：
(1)为保证系统工作的实时性，红外图像预处理以每帧信号的开始为起点进行工作，当新一帧图像开始时，若上位机发送非均匀校正系数计算命令，则由FPGA内部SOPC软核中的非均匀校正系数计算装置通过图像冻结装置禁止帧存储器的写入，然后根据帧存储器内的数据进行非均匀校正系数的计算，并将计算结果存储到系数存储器中继续等待下一帧图像的到来；
(2)若上位机发送非均匀校正命令，则由FPGA内部的非均匀校正模块根据所述系数存储器中存储的非均匀校正系数，对红外信号进行非均匀校正；
(3)由FPGA内部SOPC软核确定盲元位置，并替换盲元；
(4)红外图像直方图统计模块实时接收经过非均匀校正和盲元替换后的红外图像数据，并实时统计每帧红外图像的直方图；
(5)根据每帧红外图像直方图统计结果，由FPGA内的控制单元实时计算出灰度变换的高低门限，并由FPGA内的SOPC软核根据高低门限进行红外信号灰度变换的计算，变换结果存放在FPGA内部的SRAM模块中，灰度变换采用的是线性变换；
(6)重复上述步骤(1)～步骤(5)，直到完成整个红外图像的预处理。
2.根据权利要求1所述的一种基于FPGA的红外图像预处理方法，其特征在于，所述红外图像非均匀校正系数的计算采用的是图像冻结的方式静态采集单帧红外图像的响应或者多帧红外图像响应的平均值来完成的。
3.根据权利要求1所述的一种基于FPGA的红外图像预处理方法，其特征在于，红外图像非均匀校正采用流水线的方式将红外焦平面的每个像元的响应依次与其对应位置的非均匀校正系数进行计算。
4.根据权利要求1所述的一种基于FPGA的红外图像预处理方法，其特征在于，步骤(4)是采用双口RAM、单口RAM、控制单元相结合的方式以数据量的形式实时统计每帧红外图像的直方图。
5.根据权利要求1所述的一种基于FPGA的红外图像预处理方法，其特征在于，步骤(3)中对盲元的替换采用的是中值滤波的方式。
CN201210538812.2A 2012-12-13 2012-12-13 一种基于fpga的红外图像预处理方法 Active CN103049879B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210538812.2A CN103049879B (zh) 2012-12-13 2012-12-13 一种基于fpga的红外图像预处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210538812.2A CN103049879B (zh) 2012-12-13 2012-12-13 一种基于fpga的红外图像预处理方法

Publications (2)

Publication Number Publication Date
CN103049879A CN103049879A (zh) 2013-04-17
CN103049879B true CN103049879B (zh) 2016-06-01

Family

ID=48062509

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210538812.2A Active CN103049879B (zh) 2012-12-13 2012-12-13 一种基于fpga的红外图像预处理方法

Country Status (1)

Country Link
CN (1) CN103049879B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103268594B (zh) * 2013-05-17 2016-03-23 山东神戎电子股份有限公司 一种红外热像仪系统的盲元替换方法
CN104296876B (zh) * 2013-07-15 2017-08-04 南京理工大学 基于fpga的场景非均匀性校正方法及其装置
CN103826072B (zh) * 2014-02-13 2018-02-16 北京科技大学 一种小型红外成像系统
CN104083154A (zh) * 2014-07-24 2014-10-08 成都市晶林科技有限公司 一种人群健康检测系统及方法
CN104406459B (zh) * 2014-09-30 2016-08-03 成都市晶林科技有限公司 一种导弹精确制导系统及方法
CN104361587B (zh) * 2014-11-04 2017-05-31 中国电子科技集团公司第三十八研究所 应用于dsp的直方图统计的实现装置和方法
CN106772656B (zh) * 2015-11-19 2019-04-05 上海理工大学 一种基于红外阵列传感器的室内人体检测方法
CN106871783A (zh) * 2016-11-02 2017-06-20 北京信息科技大学 一种基于fpga的关节臂激光扫描测头激光光条图像采集系统
CN107490436A (zh) * 2017-08-10 2017-12-19 成都市晶林科技有限公司 一种红外测温系统大气透射率校正方法
CN108024074B (zh) * 2017-10-17 2020-05-01 中国航空工业集团公司洛阳电光设备研究所 一种基于sopc的小型化红外成像方法
US11195254B2 (en) * 2018-03-28 2021-12-07 Xidian University Interframe registration and adaptive step size-based non-uniformity correction method for infrared image
CN109151459A (zh) * 2018-09-11 2019-01-04 杭州电子科技大学 基于fpga的线阵ccd波形校正方法及装置
CN109738072B (zh) * 2019-01-07 2019-12-10 山东大学 一种InGaAs短波红外成像仪的十字盲元检测及校正装置和方法
CN110978509A (zh) * 2019-11-12 2020-04-10 武汉力派空间智能科技有限公司 一种基于热成像的3d打印机风道口散热装置及方法
CN117221747B (zh) * 2023-11-09 2024-01-26 海豚乐智科技(成都)有限责任公司 一种基于sopc的单周期坏点补偿与非均匀校正方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101957982A (zh) * 2010-10-11 2011-01-26 华中科技大学 适用于高帧率大面阵红外探测器的实时红外图像处理系统
CN102042878A (zh) * 2010-10-21 2011-05-04 电子科技大学 一种去除温漂的红外非均匀性校正方法
CN102156588A (zh) * 2011-03-16 2011-08-17 中国科学院上海技术物理研究所 一种嵌入式红外实时信号处理系统
CN102510481A (zh) * 2011-11-10 2012-06-20 中国科学院上海技术物理研究所 低功耗红外实时信号处理系统的信号处理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101957982A (zh) * 2010-10-11 2011-01-26 华中科技大学 适用于高帧率大面阵红外探测器的实时红外图像处理系统
CN102042878A (zh) * 2010-10-21 2011-05-04 电子科技大学 一种去除温漂的红外非均匀性校正方法
CN102156588A (zh) * 2011-03-16 2011-08-17 中国科学院上海技术物理研究所 一种嵌入式红外实时信号处理系统
CN102510481A (zh) * 2011-11-10 2012-06-20 中国科学院上海技术物理研究所 低功耗红外实时信号处理系统的信号处理方法

Also Published As

Publication number Publication date
CN103049879A (zh) 2013-04-17

Similar Documents

Publication Publication Date Title
CN103049879B (zh) 一种基于fpga的红外图像预处理方法
CN101916429B (zh) 双目相机的几何校正及视差提取装置
CN103968845B (zh) 一种用于星敏感器的dsp与fpga并行多模式星图处理方法
CN103826105A (zh) 一种基于机器视觉技术的视频跟踪系统及其实现方法
CN102663758A (zh) 一种基于fpga控制核心的图像采集及处理方法
CN107071324A (zh) 一种视觉图像处理系统及其设计方法
CN102572393A (zh) 一种基于fpga与dsp的无线视频采集装置
CN109688382B (zh) 一种水下机器人的水下图像处理系统
CN103544714A (zh) 一种基于高速图像传感器的视觉追踪系统及方法
CN109658337A (zh) 一种图像实时电子消旋的fpga实现方法
CN108053385A (zh) 一种鱼眼视频实时矫正系统及方法
CN109191524A (zh) 基于fpga的红外目标实时检测系统及检测方法
CN102497494A (zh) 基于fpga的高速稳像系统中的运动估计模块
CN104469265A (zh) 一种玻璃缺陷图像采集处理系统
CN116824080A (zh) 一种基于多传感器融合实现输电走廊slam点云建图方法
CN103065280A (zh) 一种短波红外探测器非均匀校正方法及装置
CN104378560A (zh) 一种基于cmos相机的图形采集系统
CN109873998A (zh) 基于多层次引导滤波的红外视频增强系统
CN202631121U (zh) 高分辨率微扫描红外成像装置
CN2845007Y (zh) 一种高速数据采集卡
CN204498223U (zh) 一种红外图像处理芯片
CN105354582A (zh) 图像角点提取方法和装置以及图像角点提取摄像装置
CN103247054B (zh) 一种基于fpga的目标观瞄点实时定位装置和方法
CN203435089U (zh) 基于dsp与fpga的果树农学参数实时检测装置
CN204681461U (zh) 一种高速线阵ccd工业相机

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant