CN105160657B - 基于fpga的红外成像非均匀性校正系统 - Google Patents

基于fpga的红外成像非均匀性校正系统 Download PDF

Info

Publication number
CN105160657B
CN105160657B CN201510478112.2A CN201510478112A CN105160657B CN 105160657 B CN105160657 B CN 105160657B CN 201510478112 A CN201510478112 A CN 201510478112A CN 105160657 B CN105160657 B CN 105160657B
Authority
CN
China
Prior art keywords
floating
data
transferred
parameter
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510478112.2A
Other languages
English (en)
Other versions
CN105160657A (zh
Inventor
周慧鑫
黄楙森
温志刚
于跃
李欢
宋江鲁奇
赵东
荣生辉
秦翰林
成宽洪
杜娟
钱琨
向培
王炳健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201510478112.2A priority Critical patent/CN105160657B/zh
Publication of CN105160657A publication Critical patent/CN105160657A/zh
Application granted granted Critical
Publication of CN105160657B publication Critical patent/CN105160657B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20201Motion blur correction

Abstract

本发明公开了一种基于FPGA的红外成像非均匀性校正系统。其包括:输入帧缓存器(1)、输出帧缓存器(2)、外部存储控制器(3)和神经网络模块(4);该神经网络模块(4)包括:校正子模块、预测图像计算子模块、新参数计算子模块、投影法运动估计子模块和二选一选择器。输入帧缓存器接收并缓存原始图像;外部存储控制器读入校正参数;校正子模块校正原始图像并通过输出帧缓存器缓存;预测图像计算子模块计算预测图像并通过新参数计算子模块计算新校正参数;投影法运动估计模块和二选一选择器选择参数更新,以校正下一帧原始图像。本发明解决现有技术中的“鬼影”和图像模糊问题,可用于实时校正红外图像的非均匀性。

Description

基于FPGA的红外成像非均匀性校正系统
技术领域
本发明属于红外图像处理领域,特别涉及一种基于FPGA的红外成像非均匀性校正系统,可用于对红外图像非均匀性的实时校正。
背景技术
红外凝视成像系统的核心传感器是红外焦平面阵列IRPPA,现已广泛应用于各个领域。由于传感器材料和制造工艺、信号处理系统暗电流噪声以及工作环境等因素的影响,红外焦平面阵列各个探测单元对相同辐照度的响应不同,这种响应的不一致性称为非均匀性,在图像上表现为固定图案噪声FPN。红外焦平面阵列的非均匀性降低了系统的成像质量,因此在实际应用中必须进行非均匀性校正NUC。
近年来,学者们不断提出不同的非均匀性校正方法,通常将这些方法分为两类:一类是基于参考源定标的校正方法,典型的有两点校正法和多点校正法;另一类是基于场景的校正方法,典型的有时域高通滤波法、恒定统计法、神经网络法等。
基于参考源定标的方法以不同温度下均匀辐射的黑体作为参考源获得校正参数,但是其校正参数是固定不变的,随着时间的增长和工作环境的改变校正参数通常会失效,需要通过周期性的停机来重新定标。
基于场景的校正方法利用当前图像中的场景信息实时计算更新校正参数,具有一定的自适应性,但是也存在一定缺陷。其中:
时域高通滤波法的缺点是:将时域低频信息统一当做非均匀性,会滤除掉图像中的静止场景,同时也会在运动物体上产生明显的拖影即“鬼影”现象,严重影响校正效果。
恒定统计法的缺点是:认为图像中的场景值遵循恒定的统计规律,需要连续多帧图像的统计信息来计算校正参数,对系统的存储空间要求比较大,不易于硬件实现。
神经网络法的缺点是:依赖于场景与成像系统之间的运动,校正图像中大多存在“鬼影”问题,而且当场景静止时,重复迭代计算会使校正结果边缘发生模糊。
发明内容
本发明的目的在于提供一种基于FPGA的红外成像非均匀性校正系统,用于对红外图像非均匀性的实时较正。本发明系统采用的方法,对传统的神经网络法加以改进,以解决传统的神经网络法存在的“鬼影”现象和固定场景下图像模糊的问题。
本发明的目的是这样实现的:
一.技术原理
本发明在保留原始神经网络法优点的同时,针对其缺陷加以改进,并以FPGA为核心处理器对改进方法进行实现。
在本发明系统中,保留了原始神经网络法的校正模型和参数更新计算模型,其中:
校正模型为:Io(i,j)=G(i,j)×Ib(i,j)+O(i,j);
增益参数迭代更新的计算模型为:G1(i,j)=G(i,j)-β×Ib(i,j)×(Io(i,j)-Id(i,j));
偏置参数迭代更新的计算模型为:O1(i,j)=O(i,j)-β×(Io(i,j)-Id(i,j))。
上述模型中,Ib(i,j)为输入原始图像第i行第j列像素位置的灰度值,G(i,j)和O(i,j)分别为对应位置的当前增益参数和当前偏置参数,Io(i,j)为利用校正模型计算得到该位置校正后的灰度值,Id(i,j)为预测图像在该位置的灰度值,β为迭代步长,G1(i,j)和O1(i,j)分别为利用参数更新计算模型得到的新增益参数和新偏置参数。
针对原始神经网络法存在的缺陷,经过理论及实验分析可知,“鬼影”现象的存在主要是由于原始神经网络法中预测图像由均值滤波得到,图像边缘被模糊了。本发明系统采用一种具有边缘保持效果的滤波方法代替原始神经网络法中的均值滤波来计算预测图像,有效地改善了“鬼影”现象。另外,场景静止时不必要的重复更新校正参数是造成图像模糊的主要原因。本发明引入了参数更新判断机制,利用投影法运动估计的结果来指导参数更新,从而有效地解决了静止场景下校正结果的模糊问题。针对以上改进后的神经网络非均匀性校正方法,本发明以FPGA为核心处理器件对其进行硬件实现,给出一种基于FPGA的红外成像非均匀性校正系统。
二.技术方案
本发明基于FPGA的红外成像非均匀性校正系统,其特征在于包括:输入帧缓存器、输出帧缓存器、外部存储控制器和神经网络模块;
所述输入帧缓存器,用于从外部接收并缓存完整的一帧M×N像素大小的原始图像,其中每个像素的灰度值是一个8bit位宽的整型数据;
所述输出帧缓存器,用于在系统中缓存一帧完整的校正后图像,并输出校正后的图像数据;
所述外部存储控制器,用于控制FPGA外接的第一存储器SRAM1和第二存储器SRAM2的工作状态,并负责和神经网络模块进行数据通信;
所述神经网络模块,包括校正子模块、预测图像计算子模块、新参数计算子模块、投影法运动估计子模块和一个二选一选择器;
该校正子模块,用于从输入帧缓存器中依次读取原始图像第i行第j列像素位置的数据Ib(i,j),同时从外部存储控制器中接收该像素位置的当前增益参数G(i,j)和当前偏置参数O(i,j),计算该像素位置的校正后图像数据Io(i,j),i=1,2,…,M,j=1,2,…,N,M为图像的总行数,N为图像的总列数;
该预测图像计算子模块,用于从输入帧缓存器中依次读取原始图像第i行第j列像素位置的数据Ib(i,j),并计算该像素位置的预测图像数据Id(i,j);
该新参数计算子模块,用于从输入帧缓存器中依次读入原始图像第i行第j列像素位置的数据Ib(i,j),同时从外部存储控制器中获得该像素位置的当前增益参数G(i,j)和当前偏置参数O(i,j),并从校正子模块中读取该像素位置的校正图像数据Io(i,j),再从预测图像计算子模块中读取该像素位置的预测图像数据Id(i,j),最终计算出该像素位置的新增益参数G1(i,j)和新偏置参数O1(i,j);
该投影法运动估计子模块,用于从输入帧缓存器中依次读入原始图像第i行第j列像素位置的数据Ib(i,j),判断当前图像中是否存在运动物体,并输出判别信号f来表示判断结果:如果图像中存在运动物体,则判别信号f输出为1,否则输出为0;
该二选一选择器,用于根据投影法运动估计子模块输出的判别信号f来选择参数进行更新:如果判别信号f为1,则选择新参数计算子模块输出的新增益参数G1(i,j)和新偏置参数O1(i,j)传送到外部存储控制器,并分别写入第一存储器SRAM1和第二存储器SRAM2,实现校正参数的更新;如果判别信号f为0,则外部存储控制器接收自身输出的当前增益参数G(i,j)和当前偏置参数O(i,j),并分别写入第一存储器SRAM1和第二存储器SRAM2,保持校正参数不变。
本发明具有如下优点:
1.本发明系统中由于设有较正子模块和新参数计算子模块,并通过新参数计算子模块实时计算更新校正参数,使系统能够对输入的原始图像进行自适应校正;
2.本发明系统中由于设有预测图像计算子模块,通过该模块在计算预测图像时保留原始图像中的边缘信息,故能够在保证校正效果的同时有效减弱运动物体的拖影即“鬼影”现象;
3.本发明系统中由于设有投影法运动估计子模块,通过该模块判断图像中是否存在运动物体,并使用判断的结果指导校正参数的更新,从而避免了场景静止时造成的图像模糊。
4.本发明系统以FPGA为核心处理器进行实现,充分利用了FPGA可编程和并行运算的特点,使系统能够对输入的原始图像进行实时校正。
以下结合附图和实施例对本发明的实施例和效果作进一步详细描述。
附图说明
图1为本发明基于FPGA的红外成像非均匀性校正系统结构框图;
图2为本发明中的校正子模块结构框图;
图3为本发明中的预测图像计算子模块结构框图;
图4为本发明中的均值滤波器结构框图;
图5为本发明中的新参数计算子模块结构框图;
图6为本发明中的投影法运动估计子模块结构框图;
图7为本发明中改进预测图像计算子模块前后的系统结果对比图;
图8为本发明中引入投影法运动估计子模块前后的系统结果对比图。
具体实施方式
参照图1,本发明系统以FPGA为核心处理器实现红外成像非均匀性校正,FPGA内部划分的功能模块包括:输入帧缓存器1、输出帧缓存器2、外部存储控制器3和神经网络模块4。其中神经网络模块4包括:校正子模块41、预测图像计算子模块42、新参数计算子模块43、投影法运动估计子模块44和一个二选一选择器45。
输入帧缓存器1,是一个8bit位宽、M×N深度的双口RAM,其输入端连接到FPGA外部,其输出端分别与校正子模块41的第一输入端、预测图像计算子模块42的输入端、新参数计算子模块43的第一输入端和投影法运动估计子模块44的输入端连接;
输出帧缓存器2,也是一个8bit位宽、M×N深度的双口RAM,其输入端连接到校正子模块41的输出端,其输出端连接到FPGA外部;
外部存储控制器3,其输入端与二选一选择器45的输出端单向连接,与第一存储器SRAM1和第二存储器SRAM2双向连接,其输出端分别与校正子模块41的第二输入端、新参数计算子模块43的第二输入端和二选一选择器45的第一输入端连接;
校正子模块41,其输出端分别与输出帧缓存器2的输入端和新参数计算子模块43的第三输入端连接;
预测图像计算子模块42,其输出端与新参数计算子模块43的第四输入端连接;
新参数计算子模块43,其输出端与二选一选择器45第二的输入端连接;
投影法运动估计子模块44,其输出端与二选一选择器45的第三输入端连接。
上述模块的工作原理如下:
一.原始图像校正
输入帧缓存器1,接收外部输入的原始图像序列,并在其中缓存一帧完整的M×N像素大小的原始图像,M为图像的总行数,N为图像的总列数,再将原始图像数据Ib(i,j)分别传输给校正子模块41、预测图像计算子模块42、新参数计算子模块43和投影法运动估计子模块44;
外部存储控制器3,从外部的第一存储器SRAM1和第二存储器SRAM2中分别读入当前增益参数G(i,j)和当前偏置参数O(i,j),并分别传输给校正子模块41、新参数计算子模块43和二选一选择器45;
校正子模块41,从输入帧缓存器1中依次读取原始图像第i行第j列像素位置的数据Ib(i,j),同时从外部存储控制器3中接收该像素位置的当前增益参数G(i,j)和当前偏置参数O(i,j),利用校正模型Io(i,j)=G(i,j)×Ii(i,j)+O(i,j)计算该像素位置的校正后图像数据Io(i,j),并将校正后图像数据Io(i,j)分别传输给输出帧缓存器2和新参数计算子模块43;
输出帧缓存器2,从校正子模块41中逐个读入校正后的图像数据Io(i,j),并缓存一帧完整的M×N像素大小的校正后图像,再将校正后图像数据输出到FPGA外部。
二.新参数计算
预测图像计算子模块42,从输入帧缓存器1中依次读取原始图像第i行第j列像素位置的数据Ib(i,j),计算该像素位置的预测图像数据Id(i,j)并传输给新参数计算子模块43;
新参数计算子模块43,从输入帧缓存器1中依次读入原始图像第i行第j列像素位置的数据Ib(i,j),从外部存储控制器3中获得该像素位置的当前增益参数G(i,j)和当前偏置参数O(i,j),从校正子模块41中读取该像素位置的校正后图像数据Io(i,j),从预测图像计算子模块42中读取该像素位置的预测图像数据Id(i,j),利用增益参数迭代更新的计算模型G1(i,j)=G(i,j)-β×Ib(i,j)×(Io(i,j)-Id(i,j))计算新增益参数G1(i,j),利用偏置参数迭代更新的计算模型O1(i,j)=O(i,j)-β×(Io(i,j)-Id(i,j))计算新偏置参数O1(i,j),并将新增益参数G1(i,j)和新偏置参数O1(i,j)传输给二选一选择器45。
三.校正参数选择更新
投影法运动估计子模块44,从输入帧缓存器1中依次读入原始图像第i行第j列像素位置的数据Ib(i,j),判断当前图像中是否存在运动物体,并使用判别信号f来表示判断结果:如果图像中存在运动物体,则判别信号f设置为1,否则判别信号f设置为0,再将判别信号f输出给二选一选择器45;
二选一选择器45,根据投影法运动估计子模块44输出的判别信号f来选择参数进行更新:如果判别信号f为1,则选择新参数计算子模块43输出的新增益参数G1(i,j)和新偏置参数O1(i,j)传送到外部存储控制器3,并分别写入第一存储器SRAM1和第二存储器SRAM2,实现校正参数的更新;如果判别信号f为0,则外部存储控制器3接收自身输出的当前增益参数G(i,j)和当前偏置参数O(i,j),并分别写入第一存储器SRAM1和第二存储器SRAM2,保持校正参数不变。
参照图2,本发明系统中的校正子模块41包括:类型转换器411、浮点乘法器412、浮点加法器413和类型转换器414。类型转换器411,从输入帧缓存器1接收原始图像第i行第j列像素位置的8bit整型数据Ib(i,j),同时将Ib(i,j)转换为32bit的浮点型数据I1(i,j)后传输给浮点乘法器412;浮点乘法器412,从外部存储控制器3读入当前增益参数G(i,j),并与浮点型数据I1(i,j)相乘,再将得到的乘积信号I2(i,j)传输给浮点加法器413;浮点加法器413,从外部存储控制器3读入当前偏置参数O(i,j),并与乘积信号I2(i,j)相加,再将得到的求和信号I3(i,j)传输给类型转换器414,通过类型转换器414将求和信号I3(i,j)转换为整型数据Io(i,j)后分别传输给输出帧缓存器2和新参数计算子模块43。
参照图3,本发明系统中的预测图像计算子模块42包括:两个平方运算单元42a,42b、四个结构相同的均值滤波器42c,42d,42e,42f、一个整型减法器42g、两个类型转换器42h,42i、两个浮点加法器42j,42k、两个浮点乘法器42l,42m、一个浮点除法器42n和一个浮点减法器42o。其中:
第一平方运算单元42a,对原始图像第i行第j列像素位置的数据Ib(i,j)进行平方操作,并将第一平方值I2传输给第二均值滤波器42d进行均值滤波,再将第二滤波结果mII传输给整型减法器42g;
第一均值滤波器42c,对原始图像第i行第j列像素位置的数据Ib(i,j)进行均值滤波,并将第一滤波结果mI分别传输给第二平方运算单元42b、第二类型转换器42i和浮点减法器42o,通过第二平方运算单元42b对第一滤波结果mI执行平方操作,并将第二平方值mI 2传输给整型减法器42g;
该整型减法器42g,将第二滤波结果mII与第二平方值mI 2的差值vI传输给第一类型转换器42h,再将差值vI转换为浮点差值数据vf后分别传输给第一浮点加法器42j和浮点除法器42n,通过第一浮点加法器42j,对常数ε=0.04和浮点差值数据vf求和,并将求和值vm传输给浮点除法器42n;
浮点除法器42n,将浮点差值数据vf除以求和值vm得到参数a,并将参数a分别传输给第三均值滤波器42e和第一浮点乘法器42l,通过第三均值滤波器42e对参数a进行均值滤波,并将第三滤波结果ma传输给第二浮点乘法器42m;
该第二类型转换器42i,将第一滤波结果mI转换为浮点滤波数据mf后传输给第一浮点乘法器42l,再将浮点滤波数据mf和参数a的乘积值am传输给浮点减法器42o,并由第一滤波结果mI与乘积值am相减得到参数b,再将参数b传输给第四均值滤波器42f进行均值滤波,并将第四滤波结果mb传输给第二浮点加法器42k;
该第二浮点乘法器42m,接收原始图像第i行第j列像素位置的数据Ib(i,j),并将原始图像数据Ib(i,j)和第三滤波结果ma的乘积值Ia传输给第二浮点加法器42k,再对乘积值Ia和第四滤波结果mb求和得到预测图像数据Id(i,j),并传输给新参数计算子模块43。
参照图4,预测图像计算子模块42中的每个均值滤波器包括:行缓存寄存器组、邻域寄存器组、加法器和除法器。
所述行缓存寄存器组,由五个深度为N的移位寄存器组成,用于接收并存储连续五行数据,并将五个移位寄存器移出的数据传输给邻域寄存器组;
所述邻域寄存器组,包含25个寄存器,用于连续接收五次行缓存寄存器组输出的数据,并将得到的25个数据传输给加法器求和,再其将和值传输给除法器除以25得到滤波结果。
参照图5,本发明系统中的新参数计算子模块43包括:一个整型减法器431、两个类型转换器432,433、三个浮点乘法器434,435,436和两个浮点减法器437,438。其中:
整型减法器431,计算校正后图像数据Io(i,j)和预测图像数据Id(i,j)的差值I4(i,j),并将该差值通过第一类型转换器432转换成第一浮点数据I5(i,j)后,再分别传输给第二浮点乘法器435和第三浮点乘法器436;
第二类型转换器433,将原始图像数据Ib(i,j)转换为第二浮点数据I6(i,j)后,传输给第一浮点乘法器434与常数β=4×10-6相乘,并将得到的第一乘积值I7(i,j)传输给第二浮点乘法器435;
第二浮点乘法器435,将第一乘积值I7(i,j)与第一浮点数据I5(i,j)相乘,并将得到的第二乘积值G2(i,j)通过第一浮点减法器437将其从用当前增益参数G(i,j)中减去,得到新增益参数G1(i,j)传输给二选一选择器45;
第三浮点乘法器436,将第一浮点数据I5(i,j)和常数β=4×10-6相乘,并将得到的第三乘积值O2(i,j)通过第二浮点减法器438将其从当前偏置参数O(i,j)中减去,得到新偏置参数O1(i,j)传输给二选一选择器45。
参照图6,本发明系统中的投影法运动估计子模块44包括:六个寄存器44a,44b,44c,44d,44e,44f、两个减法器组44g,44h、两个加法器44i,44j、比较器44k和时序控制器44m。其中:
第一寄存器组44a,包含N个寄存器sh[1:N],N为图像总列数,用于存储当前帧原始图像水平方向的和向量;
第二寄存器组44b,包含M个寄存器sv[1:M],M为图像总行数,用于存储当前帧原始图像垂直方向的和向量;
第三寄存器组44c,包含N个寄存器vh[1:N],用于存储当前帧原始图像水平方向的投影向量;
第四寄存器组44d,包含M个寄存器vv[1:M],用于存储当前帧原始图像垂直方向的投影向量;
第五寄存器组44e,包含N个寄存器v’h[1:N],用于存储前一帧原始图像水平方向的投影向量;
第六寄存器组44f,包含M个寄存器v’v[1:M],用于存储前一帧原始图像垂直方向的投影向量;
第一减法器组44g,将第三寄存器组44c和第五寄存器组44e中对应位置的数据相减,并将N个差值传输给第一加法器44i求和,得到水平方向运动估计值Dh
第二减法器组44h,将第四寄存器组44d和第六寄存器组44f中对应位置的数据相减,并将M个差值传输给第二加法器44j求和,得到垂直方向运动估计值Dv
比较器44k,将水平方向运动估计值Dh和垂直方向运动估计值Dv分别与常数T=1000比较,如果Dh和Dv中有任意一项大于T,则将判别信号f的值设置为1,否则设置为0,再将判别信号f输出给二选一选择器45;
时序控制器44m,按照如下时序控制上述六个寄存器组中的数据传输:
在读入当前帧原始图像第i行第j列像素的数据Ib(i,j)时,根据列数j将数据Ib(i,j)累加到第一寄存器组44a的第j个寄存器sh[j]中,根据行数i将数据Ib(i,j)累加到第二寄存器组44b的第i个寄存器sv[i]中;
在读入当前帧图像的M×N个像素数据后,将第一寄存器组44a中的值除以图像总行数M并传输给第三寄存器组44c,将第二寄存器组44b中的值除以图像总列数N并传输给第四寄存器组44d;
在读入下一帧图像数据并进行累加前,首先将第三寄存器组44c中的值复制到第五寄存器组44e中,将第四寄存器组44d中的值复制到第六寄存器组44f中,然后将第一寄存器组44a和第二寄存器组44b清零;
在读入当前帧和下一帧原始图像的间隔时间内,将第三寄存器组44c和第五寄存器组44e中的数据传输给第一减法器组44g,将第四寄存器组44d和第六寄存器组44f中的数据传输给第二减法器组44h。
以上描述仅是本发明的一个具体实施例,显然对于本领域的专业人员来说,在了解本发明内容和原理后,都可能在不背离本发明原理、结构的情况下,进行形式和细节上的各种修正和改变,但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。
本发明系统的优势可以通过以下实验进一步说明:
实验1,向本发明系统中输入一组真实红外图像测试系统的性能,并比较引入预测图像计算子模块42前后的效果,实验结果如图7所示,其中:
图7(a)为输入系统的一帧原始图像,该原始图像中包含明显的非均匀性;
图7(b)为使用均值滤波计算预测图像时,系统输出的校正结果,可以看出在运动物体上产生了明显的拖影,即发生了“鬼影”现象;
图7(c)为使用本发明系统中的预测图像计算子模块42计算预测图像时,系统输出的校正结果,可以看出在保证校正效果的同时,“鬼影”现象得到了极大的改善。
实验2,向本发明系统中输入一组航拍图像测试系统的性能,连续输入同一帧图像模拟场景静止的情况,并比较引入投影法运动估计子模块44前后的效果,实验结果如图8所示,其中:
图8(a)为输入系统的一帧原始图像,该原始图像中包含人工加入的非均匀性;
图8(b)为未引入投影法运动估计子模块44的情况下,系统输出的校正结果,可以看出校正图像中发生了明显的模糊现象;
图8(c)为引入投影法运动估计子模块44后,系统输出的校正结果,可以看出校正图像中并没有发生模糊现象。

Claims (7)

1.一种基于FPGA的红外成像非均匀性校正系统,其特征在于包括:输入帧缓存器(1)、输出帧缓存器(2)、外部存储控制器(3)和神经网络模块(4);
所述输入帧缓存器(1),用于从外部接收并缓存完整的一帧M×N像素大小的原始图像,其中每个像素的灰度值是一个8bit位宽的整型数据;
所述输出帧缓存器(2),用于在系统中缓存一帧完整的校正后图像,并输出校正后的图像数据;
所述外部存储控制器(3),用于控制FPGA外接的第一存储器SRAM1和第二存储器SRAM2的工作状态,并负责与神经网络模块(4)进行数据通信;
所述神经网络模块(4),包括校正子模块(41)、预测图像计算子模块(42)、新参数计算子模块(43)、投影法运动估计子模块(44)和一个二选一选择器(45);
该校正子模块(41),用于从输入帧缓存器(1)中依次读取原始图像第i行第j列像素位置的数据Ib(i,j),同时从外部存储控制器(3)中接收该像素位置的当前增益参数G(i,j)和当前偏置参数O(i,j),计算该像素位置的校正后图像数据Io(i,j),i=1,2,…,M,j=1,2,…,N,M为图像的总行数,N为图像的总列数;
该预测图像计算子模块(42),用于从输入帧缓存器(1)中依次读取原始图像第i行第j列像素位置的数据Ib(i,j),并计算该像素位置的预测图像数据Id(i,j);
该新参数计算子模块(43),用于从输入帧缓存器(1)中依次读入原始图像第i行第j列像素位置的数据Ib(i,j),同时从外部存储控制器(3)中获得该像素位置的当前增益参数G(i,j)和当前偏置参数O(i,j),并从校正子模块(41)中读取该像素位置的校正图像数据Io(i,j),再从预测图像计算子模块(42)中读取该像素位置的预测图像数据Id(i,j),最终计算出该像素位置的新增益参数G1(i,j)和新偏置参数O1(i,j);
该投影法运动估计子模块(44),用于从输入帧缓存器(1)中依次读入原始图像第i行第j列像素位置的数据Ib(i,j),判断当前图像中是否存在运动物体,并输出判别信号f来表示判断结果:如果图像中存在运动物体,则判别信号f输出为1,否则输出为0;
该二选一选择器(45),用于根据投影法运动估计子模块(44)输出的判别信号f来选择参数进行更新:如果判别信号f为1,则选择新参数计算子模块(43)输出的新增益参数G1(i,j)和新偏置参数O1(i,j)传送到外部存储控制器(3),并分别写入第一存储器SRAM1和第二存储器SRAM2,实现校正参数的更新;如果判别信号f为0,则外部存储控制器(3)接收自身输出的当前增益参数G(i,j)和当前偏置参数O(i,j),并分别写入第一存储器SRAM1和第二存储器SRAM2,保持校正参数不变;
所述预测图像计算子模块(42)包括:两个平方运算单元(42a,42b)、四个均值滤波器(42c,42d,42e,42f)、一个整型减法器(42g)、两个类型转换器(42h,42i)、两个浮点加法器(42j,42k)、两个浮点乘法器(42l,42m)、一个浮点除法器(42n)和一个浮点减法器(42o),其中:
第一平方运算单元(42a),用于对原始图像第i行第j列像素位置的数据Ib(i,j)进行平方操作,并将第一平方值Ib(i,j)2传输给第二均值滤波器(42d)进行均值滤波,再将第二滤波结果mII传输给整型减法器(42g);
第一均值滤波器(42c),用于对原始图像第i行第j列像素位置的数据Ib(i,j)进行均值滤波,并将第一滤波结果mI分别传输给第二平方运算单元(42b)、第二类型转换器(42i)和浮点减法器(42o),通过第二平方运算单元(42b)对第一滤波结果mI执行平方操作,并将第二平方值传输给整型减法器(42g);
该整型减法器(42g),将第二滤波结果mII与第二平方值的差值vI传输给第一类型转换器(42h),再将差值vI转换为浮点差值数据vf后分别传输给第一浮点加法器(42j)和浮点除法器(42n),通过第一浮点加法器(42j),对常数ε=0.04和浮点差值数据vf求和,并将求和值vm传输给浮点除法器(42n);
该浮点除法器(42n),将浮点差值数据vf除以求和值vm得到参数a,并将参数a分别传输给第三均值滤波器(42e)和第一浮点乘法器(42l),通过第三均值滤波器(42e)对参数a进行均值滤波,并将第三滤波结果ma传输给第二浮点乘法器(42m);
第二类型转换器(42i),将第一滤波结果mI转换为浮点滤波数据mf后传输给第一浮点乘法器(42l),再将浮点滤波数据mf和参数a的乘积值am传输给浮点减法器(42o),并由第一滤波结果mI与乘积值am相减得到参数b,再将参数b传输给第四均值滤波器(42f)进行均值滤波,并将第四滤波结果mb传输给第二浮点加法器(42k);
第二浮点乘法器(42m),用于接收原始图像第i行第j列像素位置的数据Ib(i,j),并将原始图像数据Ib(i,j)和第三滤波结果ma的乘积值Ia传输给第二浮点加法器(42k),再对乘积值Ia和第四滤波结果mb求和得到预测图像数据Id(i,j),并传输给新参数计算子模块(43)。
2.如权利要求1中所述的系统,其特征在于所述输入帧缓存器(1)和所述输出帧缓存器(2)均为一个8bit位宽、M×N深度的双口RAM,其中M为图像的总行数,N为图像的总列数。
3.如权利要求1中所述的系统,其特征在于校正子模块(41)包括:第一类型转换器(411)、浮点乘法器(412)、浮点加法器(413)和第二类型转换器(414),其中:
所述第一类型转换器(411),用于接收原始图像第i行第j列像素位置的8bit整型数据Ib(i,j),同时将Ib(i,j)转换为32bit的浮点型数据I1(i,j)后传输给浮点乘法器(412);
所述浮点乘法器(412),用于读入当前增益参数G(i,j),并与浮点型数据I1(i,j)相乘,再将得到的乘积信号I2(i,j)传输给浮点加法器(413);
所述浮点加法器(413),用于读入当前偏置参数O(i,j),并与乘积信号I2(i,j)相加,再将得到的求和信号I3(i,j)传输给第二类型转换器(414),通过第二类型转换器(414)将求和信号I3(i,j)转换为整型数据Io(i,j)后分别传输给输出帧缓存器(2)和新参数计算子模块(43)。
4.如权利要求1所述的系统,其特征在于所述四个均值滤波器(42c,42d,42e,42f)结构相同,每个均值滤波器包括:行缓存寄存器组、邻域寄存器组、加法器和除法器,
所述行缓存寄存器组,由五个深度为N的移位寄存器组成,用于接收并存储连续五行数据,并将五个移位寄存器移出的数据传输给邻域寄存器组;
所述邻域寄存器组,包含25个寄存器,用于连续接收五次行缓存寄存器组输出的数据,并将得到的25个数据传输给加法器求和,再将和值传输给除法器除以25得到的滤波结果。
5.如权利要求1中所述的系统,其特征在于新参数计算子模块(43)包括:一个整型减法器(431)、两个类型转换器(432,433)、三个浮点乘法器(434,435,436)和两个浮点减法器(437,438);
所述整型减法器(431),用于计算校正后图像数据Io(i,j)和预测图像数据Id(i,j)的差值I4(i,j)并传输给第一类型转换器(432),再将差值I4(i,j)转换成第一浮点数据I5(i,j)后分别传输给第二浮点乘法器(435)和第三浮点乘法器(436);
第二类型转换器(433),将原始图像数据Ib(i,j)转换为第二浮点数据I6(i,j)后,传输给第一浮点乘法器(434)与常数β=4×10-6相乘,并将得到的第一乘积值I7(i,j)传输给第二浮点乘法器(435);
第二浮点乘法器(435),用于将第一乘积值I7(i,j)与第一浮点数据I5(i,j)相乘,并将得到的第二乘积值G2(i,j)传输给第一浮点减法器(437),再用当前增益参数G(i,j)减去第二乘积值G2(i,j)得到新增益参数G1(i,j)传输给二选一选择器(45);
第三浮点乘法器(436),用于将第一浮点数据I5(i,j)和常数β=4×10-6相乘,并将得到的第三乘积值O2(i,j)传输给第二浮点减法器(438),再用当前偏置参数O(i,j)减去第三乘积值O2(i,j)得到新偏置参数O1(i,j)传输给二选一选择器(45)。
6.如权利要求1中所述的系统,其特征在于投影法运动估计子模块(44)包括:六个寄存器组(44a,44b,44c,44d,44e,44f)、两个减法器组(44g,44h)、两个加法器(44i,44j)、比较器(44k)和时序控制器(44m),其中:
第一寄存器组(44a),包含N个寄存器sh[1:N],N为图像总列数,用于存储当前帧原始图像水平方向的和向量;
第二寄存器组(44b),包含M个寄存器sv[1:M],M为图像总行数,用于存储当前帧原始图像垂直方向的和向量;
第三寄存器组(44c),包含N个寄存器vh[1:N],用于存储当前帧原始图像水平方向的投影向量;
第四寄存器组(44d),包含M个寄存器vv[1:M],用于存储当前帧原始图像垂直方向的投影向量;
第五寄存器组(44e),包含N个寄存器v’h[1:N],用于存储前一帧原始图像水平方向的投影向量;
第六寄存器组(44f),包含M个寄存器v’v[1:M],用于存储前一帧原始图像垂直方向的投影向量;
第一减法器组(44g),用于将第三寄存器组(44c)和第五寄存器组(44e)中对应位置的数据相减,并将N个差值传输给第一加法器(44i)求和,得到水平方向运动估计值Dh
第二减法器组(44h),用于将第四寄存器组(44d)和第六寄存器组(44f)中对应位置的数据相减,并将M个差值传输给第二加法器(44j)求和,得到垂直方向运动估计值Dv
所述比较器(44k),用于将水平方向运动估计值Dh和垂直方向运动估计值Dv分别与常数T=1000比较,如果Dh和Dv中有任意一项大于T,则将判别信号f的值设置为1,否则设置为0,再将判别信号f输出给二选一选择器(45);
所述时序控制器(44m),用于控制上述六个寄存器组之间数据的传递。
7.如权利要求6所述的系统,所述时序控制器(44m)控制六个寄存器组中的数据传输,按照如下时序进行:
在读入当前帧原始图像第i行第j列像素的数据Ib(i,j)时,根据列数j将数据Ib(i,j)累加到第一寄存器组(44a)的第j个寄存器sh[j]中,根据行数i将数据Ib(i,j)累加到第二寄存器组(44b)的第i个寄存器sv[i]中;
在读入当前帧图像的M×N个像素数据后,将第一寄存器组(44a)中的值除以图像总行数M并传输给第三寄存器组(44c),将第二寄存器组(44b)中的值除以图像总列数N并传输给第四寄存器组(44d);
在读入下一帧图像数据并进行累加前,首先将第三寄存器组(44c)中的值复制到第五寄存器组(44e)中,将第四寄存器组(44d)中的值复制到第六寄存器组(44f)中,然后将第一寄存器组(44a)和第二寄存器组(44b)清零;
在读入当前帧和下一帧原始图像的间隔时间内,将第三寄存器组(44c)和第五寄存器组(44e)中的数据传输给第一减法器组(44g),将第四寄存器组(44d)和第六寄存器组(44f)中的数据传输给第二减法器组(44h)。
CN201510478112.2A 2015-08-05 2015-08-05 基于fpga的红外成像非均匀性校正系统 Active CN105160657B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510478112.2A CN105160657B (zh) 2015-08-05 2015-08-05 基于fpga的红外成像非均匀性校正系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510478112.2A CN105160657B (zh) 2015-08-05 2015-08-05 基于fpga的红外成像非均匀性校正系统

Publications (2)

Publication Number Publication Date
CN105160657A CN105160657A (zh) 2015-12-16
CN105160657B true CN105160657B (zh) 2018-01-30

Family

ID=54801499

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510478112.2A Active CN105160657B (zh) 2015-08-05 2015-08-05 基于fpga的红外成像非均匀性校正系统

Country Status (1)

Country Link
CN (1) CN105160657B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107426466B (zh) * 2017-07-25 2019-09-06 中国科学院长春光学精密机械与物理研究所 一种tdi ccd成像系统非均匀噪声快速校正装置及校正方法
WO2019127059A1 (zh) * 2017-12-26 2019-07-04 西安电子科技大学 基于引导滤波和高通滤波的红外图像非均匀性校正方法
CN108665425A (zh) * 2018-03-28 2018-10-16 西安电子科技大学 基于帧间配准和自适应步长的红外图像非均匀性校正方法
CN111983710B (zh) * 2020-08-14 2023-07-28 西安应用光学研究所 一种用于扫描型红外搜索系统的非均匀性校正方法
CN112150409B (zh) * 2020-08-24 2023-04-25 西安电子科技大学 基于fpga的实时全方位目标检测方法及系统
CN114697557B (zh) * 2022-06-01 2022-09-13 合肥埃科光电科技股份有限公司 信号时序控制方法及存储介质
CN117221747B (zh) * 2023-11-09 2024-01-26 海豚乐智科技(成都)有限责任公司 一种基于sopc的单周期坏点补偿与非均匀校正方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101038209A (zh) * 2007-04-19 2007-09-19 华中科技大学 一种红外焦平面阵列非均匀性自适应校正方法
CN101056353A (zh) * 2007-04-19 2007-10-17 华中科技大学 基于运动检测指导的红外焦平面非均匀性校正方法
CN101666682A (zh) * 2009-08-06 2010-03-10 重庆邮电大学 基于场景统计的神经网络非均匀性校正方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10079982B2 (en) * 2011-06-10 2018-09-18 Flir Systems, Inc. Determination of an absolute radiometric value using blocked infrared sensors

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101038209A (zh) * 2007-04-19 2007-09-19 华中科技大学 一种红外焦平面阵列非均匀性自适应校正方法
CN101056353A (zh) * 2007-04-19 2007-10-17 华中科技大学 基于运动检测指导的红外焦平面非均匀性校正方法
CN101666682A (zh) * 2009-08-06 2010-03-10 重庆邮电大学 基于场景统计的神经网络非均匀性校正方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于运动指导的红外焦平面非均匀性校正方法;桑红石等;《中国图象图形学报》;20110930;第16卷(第9期);第1578页第0节 *
智能化红外图像非均勾性校正算法及其FPGA实现;张桥舟;《万方在线学位论文》;20140715;第15-17、37、41页 *

Also Published As

Publication number Publication date
CN105160657A (zh) 2015-12-16

Similar Documents

Publication Publication Date Title
CN105160657B (zh) 基于fpga的红外成像非均匀性校正系统
CN108416754B (zh) 一种自动去除鬼影的多曝光图像融合方法
CN100389601C (zh) 一种视频电子防抖的装置
CN104685538A (zh) 用于降低视频流中的噪声的系统和方法
CN102063704B (zh) 一种机载视景增强方法及其装置
CN110969589A (zh) 基于多流注意对抗网络的动态场景模糊图像盲复原方法
CN104296876B (zh) 基于fpga的场景非均匀性校正方法及其装置
Qian et al. Space low-pass and temporal high-pass nonuniformity correction algorithm
CN104252709B (zh) 一种复杂背景下俯视群养猪多目标前景检测方法
CN110660025B (zh) 一种基于gan网络的工业监控视频图像清晰化方法
JP6338385B2 (ja) 撮像装置、撮像システム、撮像装置の制御方法および撮像装置を有する撮影装置
CN111539872A (zh) 随机抖动干扰下视频图像的实时电子稳像方法
CN114998141B (zh) 基于多分支网络的空间环境高动态范围成像方法
CN102968765A (zh) 一种基于sigma滤波器的红外焦平面非均匀性校正方法
CN111598775B (zh) 基于lstm网络的光场视频时域超分辨重建方法
CN107730472A (zh) 一种基于暗原色先验的图像去雾优化算法
CN107945127A (zh) 一种基于图像列灰度概率一致性的高速运动图像去模糊方法
Zhang et al. Unified density-aware image dehazing and object detection in real-world hazy scenes
CN108270945A (zh) 一种运动补偿去噪方法及装置
CN111294520A (zh) 一种基于fpga的实时幸运成像方法及系统
CN113899349A (zh) 海浪参数检测方法、设备及存储介质
CN105005967A (zh) 时空滤波相结合的红外成像非均匀性校正方法及其装置
CN113034404A (zh) 一种基于多尺度对抗学习的交通图像去模糊方法及装置
Yan et al. Adaptive event address map denoising for event cameras
Jara Chavez et al. Acceleration algorithm for constant-statistics method applied to the nonuniformity correction of infrared sequences

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Zhou Huixin

Inventor after: Cheng Kuanhong

Inventor after: Du Juan

Inventor after: Qian Kun

Inventor after: Xiang Pei

Inventor after: Wang Bingjian

Inventor after: Huang Maosen

Inventor after: Wen Zhigang

Inventor after: Yu Yue

Inventor after: Li Huan

Inventor after: Song Jiang Lu Qi

Inventor after: Zhao Dong

Inventor after: Rong Shenghui

Inventor after: Qin Hanlin

Inventor before: Zhou Huixin

Inventor before: Ni Man

Inventor before: Jin Haowen

Inventor before: Pang Yingming

Inventor before: Wen Zhigang

Inventor before: Qin Hanlin

Inventor before: Wang Bingjian

Inventor before: Rong Shenghui

Inventor before: Qian Kun

Inventor before: Li Xiao

Inventor before: Zhao Ying

Inventor before: Cheng Kuanhong

GR01 Patent grant
GR01 Patent grant