CN101038209A - 一种红外焦平面阵列非均匀性自适应校正方法 - Google Patents

Abstract

一种红外焦平面阵列非均匀性自适应校正方法，属于红外焦平面探测器领域，目的在于有效地抑制目标退化，提高运算速度，并且易于硬件实现。本发明包括初始化步骤、预处理步骤、粗校正步骤和精校正步骤，本发明采用一点校正和神经网络自适应校正相结合的算法，并且加入边缘提取模块，结合各算法的优点，得出一种组合的校正算法，有效地消除了空间低频噪声，抑制了目标退化，在运算速度上比基于边缘指导的神经网络算法有一定提高。

Description

一种红外焦平面阵列非均匀性自适应校正方法

技术领域

本发明属于红外焦平面探测器领域，具体涉及一种红外焦平面阵列非均匀性自适应校正方法。

背景技术

红外成像系统随着红外探测器的发展而发展。在第一代红外成像系统中，采用线列探测器，通过一维光机扫描实现成像。随着CCD(ChargeCoupled Device，电耦合器件)相关技术的成熟，到了20世纪70年代中期，IRFPA(Infrared Focal Plane Array，红外焦平面阵列)探测器的出现标志着第二代红外成像系统——凝视红外成像系统的诞生。与线列探测器相比，焦平面探测器成像具有空间分辨率高、探测能力强、帧频高等优点，正迅速成为红外成像技术的主流器件。目前凝视红外成像系统已开始广泛应用于夜视、海上营救搜索、天文、工业热探测和医学等民用领域，是红外成像系统的发展方向。然而，红外焦平面阵列存在的非均匀性与无效像元严重影响了系统的成像质量，降低了系统的空间分辨率、温度分辨率、探测距离以及辐射量的正确度量，直接制约着系统的最终性能。尽管随着器件制作工艺的改进，焦平面的非均匀性和无效像元有了较大改善，但离完全解决问题还有很大距离，仍是当前红外焦平面阵列成像系统必须解决的首要问题。

针对红外焦平面阵列的非均匀性问题所提出的相应的校正方法，主要分为两大类：一类是基于定标的校正方法，该类方法原理简洁，硬件易于实现和集成；校正精度高，可用于场景温度的度量；对目标没有任何要求，是实际IRFPA组件产品中主要采用的方法。但这类方法受限于IRFPA响应漂移带来的校正误差；实际校正时需要参考源进行标定，使得设备装置相对复杂；同时在实际应用中需要进行周期性的定标，定标频率取决于系统的稳定性，对于实际探测器不易做到快速反应。另一类是基于场景类的自适应校正方法，如时域高通滤波校正法，神经网络校正法和恒定统计约束校正法等。这类方法可以在一定程度上克服IRFPA响应漂移带来的校正误差，不要求或只需要简单的定标，根据场景信息适应性的更新校正系数，成为目前算法研究和系统应用的重要研究方向。

传统神经网络校正算法结合了空域处理(以4邻域空间均值为期望输出)和时域处理(以神经网络误差反馈实现校正系数的迭代更新)的特点，自适应地实现非均匀性校正，但其中也存在着一些不足：在得到像元(i，j)期望校正输出时，直接采用其4邻域空间均值，这就使该算法呈现了空间低通滤波的特性，当序列图像中场景静止时，会出现目标边缘的退化问题。这是因为神经网络算法是将4邻域均值作为对校正后真值的估计，对于场景中同一区域内部由于信号在空间上是缓变的，这样的估计是合理的，但处于图像边缘及其边缘附近的像素来说则是不合理的。在场景保持运动的过程中，由于图像边缘的位置在不断变化，随着时域上的迭代，这种不合理的估计不会对某一像素位置校正系数更新带来异常影响，但当场景静止时，边缘处像素位置的校正系数会由于这样的不合理估计产生异常更新。

华中科技大学图像识别与人工智能研究所张天序等人在《红外与毫米波学报》2005年第4期《红外焦平面非均匀性噪声的空间频率特性及空间自适应非均匀性校正方法改进》一文中分析了红外焦平面阵列非均匀性噪声的空间频率特性，指出空间低频噪声为其中的主要成分。针对传统空域自适应校正方法去除低频空间噪声存在的不足，提出采用一点校正与神经网络自适应校正相结合的方法。该方法在空间低频噪声占优时能获得较好的校正效果，但存在目标退化问题。

华中科技大学图像识别与人工智能研究所石岩等人在《红外与毫米波学报》2005年第5期《红外焦平面阵列非均匀性自适应校正算法中目标退化与伪像的消除方法》一文中，从场景中边缘信息获取的角度出发，分析到了上述问题出现的原因，并提出了采用边缘指导的神经网络自适应智能型校正算法(ED_NN_NUC)来消除目标退化(fade-out，表明目标图象变模糊，即是目标的信噪比降低、与背景的反差变小、融于背景，不易被识别)。该算法在自适应非均匀校正过程中，自适应地提取当前帧校正后图像边缘信息，以此指导校正参数的更新环节。该算法在能准确获取场景边缘信息的前提下，能较好地抑制目标边缘的退化和伪像，特别有良好的保留弱小亮目标的作用，只是在运算速度方面较慢。

发明内容

本发明提出一种红外焦平面阵列非均匀性自适应校正方法，目的在于有效地抑制目标退化，消除伪像，提高运算速度，并且易于硬件实现。

本发明提出的一种红外焦平面阵列非均匀性自适应校正方法，包括初始化步骤、预处理步骤、粗校正步骤和精校正步骤：

(1)初始化步骤，设定待校正原始图像序列总帧数为Num，Num为自然数，初始化待校正原始图像各个象元的增益校正系数 $a_{i,j}^1=1,$ 迭代步长矩阵初始为全1矩阵，坏元模板初始为全0矩阵，置变量n＝1，变量n表示待校正原始图像序列号；

(2)预处理步骤，用红外焦平面探测器采集M帧均匀辐照的图像，对它们进行时域平均得到背景帧图像B，其各象元点灰度值B_i，j；利用基于场景的无效象元检测算法对背景帧图像各象元点进行无效象元检测，检测结果存入坏元模板，根据检测结果计算背景帧图像中有效象元的灰度平均值 B，M为10～100；

(3)粗校正步骤，输入第n帧原始图像Nⁿ，

(3.1)将其各象元位置的灰度值N_i，j ⁿ减去背景帧图像对应象元位置的灰度值B_i，j，其各象元位置的灰度值X_i，j ⁿ：

$X_{i,j}^n=N_{i,j}^n-B_{i,j},$

(3.2)对第n帧原始图像对应坏元模板无效象元位置的各像素值进行4邻域平均替代处理，得到粗校正后的图像X，其各像元灰度值X_i，j ⁿ；

(4)精校正步骤，利用神经网络校正算法对粗校正后的图像的增益非均匀性进行补偿：

$Y_{i,j}^n=a_{i,j}^n{X}_{i,j}^n+\stackrel{\‾}{B},$

$a_{i,j}^{n+1}=a_{i,j}^n-2{\mathrm{\υ}}_{i,j}^n{X}_{i,j}^n(Y_{i,j}^n-f_{i,j}^n),$

$f_{i,j}^n=(Y_{i+1,j}^n+Y_{i,j+1}^n+Y_{i-1,j}^n+Y_{i,j-1}^n)/4,$

其中，Y_i，j ⁿ为精校正后图像Yⁿ各像元灰度值，a_i，j ⁿ当前帧图像各个象元的增益校正系数，υ_i，j ⁿ为第n帧图像中象元(i，j)位置对应的迭代步长，f_i，j ⁿ为精校正后图像Yⁿ中各象元的四邻域象元灰度值均值；增益校正系数更新后，置变量n＝n+1，判断是否n＞Num，是则结束，否则转步骤(2)。

所述的一种红外焦平面阵列非均匀性自适应校正方法，其特征在于所述预处理步骤中，无效象元检测过程为：

(1)分别计算二维图像在x，y方向的一维算子，计算公式为：

B_xmax＝max{2B_i，j-1-B_i，j-2，2B_i，j+1-B_i，j+2，B_i，j-1，B_i，j+1}

B_xmin＝min{2B_i，j-1-B_i，j-2，2B_i，j+1-B_i，j+2，B_i，j-1，B_i，j+1}

B_ymax＝max{2B_i-1，j-B_i-2，j，2B_i+1，j-B_i+2，j，B_i-1，j，B_i+1，j}

B_ymin＝min{2B_i-1，j-B_i-2，j，2B_i+1，j-B_i+2，j，B_i-1，j，B_i+1，j}，

(2)对背景帧图像各象元点进行判定：

(B_i，j-B_xmax)/B_i，j＞TH、(B_i，j-B_ymax)/B_i，j＞TH、

(B_xmin-B_i，j)/B_i，j＞TH或(B_ymin-B_i，j)/B_i，j＞TH，

四式中任一成立，则判定背景帧图像B该象元B_i，j为无效象元，否则为有效象元，其中坏元检测的灰度门限值TH为0.05～0.1。

所述的一种红外焦平面阵列非均匀性自适应校正方法，其特征在于所述精校正处理步骤中，迭代步长υ_i，j ⁿ的选取过程为：

${\mathrm{\υ}}_{i,j}\left(n\right)=\mathrm{Ka}/(1+\mathrm{\λ}{\left({\mathrm{\σ}}_{i,j}^n\right)}^2),$

其中υ_i，j ⁿ为第n帧图像中象元(i，j)位置对应的迭代步长，迭代步长的最大值Ka为1×10^-2～2×10^-2，方差影响系数λ为5～10，第n帧图像中象元(i，j)位置邻域内的方差(σ_i，j ⁿ)²为：

${\left({\mathrm{\σ}}_{i,j}^n\right)}^2=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{(Y_{i,j}^n-{\mathrm{\μ}}_{i,j}^n)}^2/N\×N,$

其中Y_i，j ⁿ为精校正后图像Yⁿ各像元的灰度值，μ_i，j ⁿ为精校正后图像Yⁿ对应像元Y_i，j ⁿ神经网络法四邻域平均的期望值，N×N为方差邻域的大小，N取1～10。

                           表1  四种算法综合性能比较

比较指标	两点定标校正法	边缘指导与一点校正和神经网络结合算法(第1帧开启边缘检测模块)	边缘指导与一点校正和神经网络结合算法(第60帧开启边缘检测模块)	一点校正和神经网络结合算法	本发明
						单帧小目标信噪比(db)目标退化坏元处理能力设备复杂度	11.50无目标退化有一个坏元无法去除需周期性的定标黑体探测器结构复杂	10.91无目标退化全部去除无需定标	10.82无目标退化全部去除无需定标	1.47有目标退化全部去除无需定标	10.31无目标退化全部去除无需定标
自适应算法收敛所需帧数(帧)自适应算法收敛所需时间(s)		2004.61	2204.83	2003.48	1602.54

表1示出四种算法综合性能比较，表1中，单帧小目标信噪比(db)采用如下公式计算：

$\mathrm{SNR}=20{\log }_{10}\left(\frac{S-\stackrel{\‾}{B}}{{\mathrm{\σ}}_0}\right)=20{\log }_{10}\left(A\right)\mathrm{dB},$

其中的s为目标的亮度均值；μ₀为背景均值，σ₀为背景标准差；SNR值越大代表小目标的信噪比越高，效果越好。可见，本发明的方法，单帧小目标信噪比(db)较大，能够达到防止小目标退化的目的。

自适应算法收敛所需帧数采用曲线达到一定程度时所需运行的图像帧数。

自适应算法收敛所需时间为运行相应收敛帧数所需的时间。

本发明计算迭代步长主要受到基于边缘指导的神经网络算法和加权系数校正法的启示，利用边缘点与目标内部邻域方差的区别来调节迭代步长的大小。由于边缘点的邻域方差较大，因此对应的迭代步长则较小，表示校正系数的更新较慢甚至不更新，由此阻止场景静止时校正系数更新异常，到达抑制目标退化和伪像的目的。λ的设置主要为了调节方差对步长的影响程度。此方法较之边缘指导的校正法有较快的运算速度。相关文献中同样提到过自适应调节步长的思想，但其出发点与本发明不同，它主要考虑得到较快的收敛速度来改变步长，而本发明主要力求实现在加快收敛速度的同时对目标弱化进行抑制。

本发明采用一点校正和神经网络自适应校正相结合的算法，并且加入边缘提取模块，结合各算法的优点，得出一种组合的校正算法，有效地消除了空间低频噪声，抑制了目标退化，在运算速度上比基于边缘指导的神经网络算法有一定提高。

附图说明

图1为本发明的流程图；

图2为双向线性外推算子像素分布图，用于判断无效象元；

图3(a)为预校正处理环节所得的背景帧图像B，图3(b)为基于背景帧图像B自适应检测出的坏元模板BC_Model；

图4为在本发明的典型实施例中使用综合的校正算法与其他三种算法的一个比较结果，其中，图4a表示为校正前的原始图像；图4b为两点定标与基于国标无效像元检测校正结果(白色实线框内为飞机目标，白色虚线框内为漏检测的无效像元)；图4c表示边缘指导的神经网络校正算法边缘提取结果；图4d表示结合了一点定标与边缘指导的神经网络校正算法校正结果(从第1帧开始启用边缘检测模块，白色实线框内为飞机目标，此时抑制了目标退化)；图4e为边缘指导的神经网络校正算法边缘提取结果；图4f表示结合了一点定标与边缘指导的神经网络校正算法校正结果(从第60帧开始启用边缘检测模块，白色实线框内为飞机目标，此时抑制了目标退化)；图4g表示一点定标与神经网络结合的校正算法校正结果(白色实线框内为飞机目标，此时发生目标退化)；图4h表示本发明的校正结果(白色实线框内为飞机目标，此时抑制了目标退化)。

具体实施方式

下面的说明采用了从实际128×128规格LW MCT IRFPA所采集到的823帧序列图像，采集帧率为100帧/秒。场景为室外夜晚天空冷背景下的飞机弱小亮目标以及房屋和树木。下面详细说明本发明的步骤：

(1)初始化步骤，先初始化各个象元的校正系数 $a_{i,j}^1=1,$ 迭代步长最大值Ka为10^-2，迭代步长矩阵初始为全1矩阵，图像序列帧数Num为823，坏元模板初始为全0矩阵。

(2)预校正步骤，用探测器采集10帧均匀辐照的干净天空背景的图像，然后时域平均作为背景帧图像B，并由此计算背景帧图像各点像素值的空间均值 B和坏元模板BC_Model；利用基于场景的无效像元检测算法结合背景帧进行无效像元检测，下面介绍一种无效像元的检测方法：

先设坏元检测的灰度门限值TH为0.05(此值是多次实验后的经验值)，将采集的焦平面阵列的图像采用5×5的阵列作为内核进行双向线性外推算子的计算，如图2所示。首先分别计算二维图像在X、Y方向的一维算子，如计算公式：

B_xmax＝max{2B_i，j-1-B_i，j-2，2B_i，j+1-B_i，j+2，B_i，j-1，B_i，j+1}

B_xmin＝min{2B_i，j-1-B_i，j-2，2B_i，j+1-B_i，j+2，B_i，j-1，B_i，j+1}

B_ymax＝max{2B_i-1，j-B_i-2，j，2B_i+1，j-B_i+2，j，B_i-1，j，B_i+1，j}

B_ymin＝min{2B_i-1，j-B_i-2，j，2B_i+1，j-B_i+2，j，B_i-1，j，B_i+1，j}，

如果实际获得的B点的灰度值满足式：

(B_i，j-B_xmax)/B_i，j＞TH or(B_i，j-B_ymax)/B_i，j＞TH，

则判定背景帧图像B该象元B_i，j为过热无效像元；

如果实际获得的B点的灰度值满足关系式：

(B_xmin-B_i，j)/B_i，j＞TH or(B_ymin-B_i，j)/B_i，j＞TH，

则判定背景帧图像B该象元B_i，j为过冷无效像元；

最后将检测结果存储于坏元模板BC_Model中，完成校正预处理工作。

(3)粗校正步骤，将原始图像第n帧位置(i，j)的灰度值N_i，j ⁿ减去背景帧对应位置的灰度值B_i，j，即公式

$X_{i,j}^n=N_{i,j}^n-B_{i,j},$

校正后的图像X只剩下由于增益响应引起的非均匀性，同时读取坏元模板BC_Model，对坏元位置的像素值进行4邻域平均替代处理，得到图像的各象元灰度值为X_i，j ⁿ，完成粗校正工作；

(4)精校正步骤。利用神经网络校正算法对粗校正剩余的增益非均匀性进行补偿，校正公式为

$Y_{i,j}^n=a_{i,j}^n{X}_{i,j}^n+\stackrel{\‾}{B},$

然后取四邻域平均作为期望输出结果，

$f_{i,j}^n=(Y_{i+1,j}^n+Y_{i,j+1}^n+Y_{i-1,j}^n+Y_{i,j-1}^n)/4,$

由第n帧中(i，j)位置校正结果和输出结果的期望值得出该位置邻域内的方差(σ_i，j ⁿ)²，方差邻域为3×3邻域，即N＝3，N＝3，如公式

${\left({\mathrm{\σ}}_{i,j}^n\right)}^2=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{(Y_{i,j}^n-{\mathrm{\μ}}_{i,j}^n)}^2/N\×N,$

再取λ＝9，计算出更新后的迭代步长：

${\mathrm{\υ}}_{i,j}\left(n\right)=\mathrm{Ka}/(1+\mathrm{\λ}{\left({\mathrm{\σ}}_{i,j}^n\right)}^2),$

代回公式

$a_{i,j}^{n+1}=a_{i,j}^n-2{\mathrm{\υ}}_{i,j}^n{X}_{i,j}^n(Y_{i,j}^n-f_{i,j}^n),$

得出更新增益系数a_(i，j) ⁿ⁺¹，置变量n＝n+1，判断是否n＞Num，是则结束，否则转粗校正步骤，在校正下一帧图的时候用新的增益系数进行校正。直到所有帧图都校正完毕。

比较发现，两点校正算法可以得到比较高的校正精度，无目标退化现象，但该算法需要定标黑体，增加了探测器的结构复杂度，而且需要周期性的定标，自适应能力较差；边缘指导与一点校正和神经网络结合的算法结合的方法可以良好地抑制目标弱化，但算法收敛所需时间较长，边缘检测的运算量较大，不易硬件实现；一点校正和神经网络结合的算法的方法的收敛速度较快，但存在目标退化现象；本发明算法有效地补偿坏元，能抑制目标退化，在算法收敛所需帧数和时间优于另外两种方法。

Claims (3)

1.一种红外焦平面阵列非均匀性自适应校正方法，包括初始化步骤、预处理步骤、粗校正步骤和精校正步骤：

(1)初始化步骤，设定待校正原始图像序列总帧数为Num，Num为自然数，初始化待校正原始图像各个象元的增益校正系数 $a_{i,j}^1=1,$ 迭代步长矩阵初始为全1矩阵，坏元模板初始为全0矩阵，置变量n＝1，变量n表示待校正原始图像序列号；

(2)预处理步骤，用红外焦平面探测器采集M帧均匀辐照的图像，对它们进行时域平均得到背景帧图像B，其各象元点灰度值B_i，j；利用基于场景的无效象元检测算法对背景帧图像各象元点进行无效象元检测，检测结果存入坏元模板，根据检测结果计算背景帧图像中有效象元的灰度平均值 B，M为10～100；

(3)粗校正步骤，输入第n帧原始图像Nⁿ，

(3.1)将其各象元位置的灰度值N_i，j ⁿ减去背景帧图像对应象元位置的灰度值B_i，j，其各象元位置的灰度值X_i，j ⁿ：

$X_{i,j}^n=N_{i,j}^n-B_{i,j}$

(3.2)对第n帧原始图像对应坏元模板无效象元位置的各像素值进行4邻域平均替代处理，得到粗校正后的图像X，其各像元灰度值X_i，j ⁿ；

(4)精校正步骤，利用神经网络校正算法对粗校正后的图像的增益非均匀性进行补偿：

$Y_{i,j}^n=a_{i,j}^n{X}_{i,j}^n+\stackrel{\‾}{B},$

$a_{i,j}^{n+1}=a_{i,j}^n-{2\mathrm{\υ}}_{i,j}^n{X}_{i,j}^n(Y_{i,j}^n-f_{i,j}^n),$

$f_{i,j}^n=(Y_{i+1,j}^n+Y_{i,j+1}^n+Y_{i-1,j}^n+Y_{i,j-1}^n)/4$

其中，Y_i，j ⁿ为精校正后图像Yⁿ各像元灰度值，a_i，j ⁿ当前帧图像各个象元的增益校正系数，υ_i，j ⁿ为第n帧图像中象元(i，j)位置对应的迭代步长，f_i，j ⁿ为精校正后图像Yⁿ中各象元的四邻域象元灰度值均值；增益校正系数更新后，置变量n＝n+1，判断是否n＞Num，是则结束，否则转步骤(2)。

2.如权利要求1所述的一种红外焦平面阵列非均匀性自适应校正方法，其特征在于所述预处理步骤中，无效象元检测过程为：

(1)分别计算二维图像在x，y方向的一维算子，计算公式为：

B_xmax＝max{2B_i，j-1-B_i，j-2，2B_i，j+1-B_i，j+2，B_i，j-1，B_i，j+1}

B_xmin＝min{2B_i，j-1-B_i，j-2，2B_i，j+1-B_i，j+2，B_i，j-1，B_i，j+1}

B_ymax＝max{2B_i-1，j-B_i-2，j，2B_i+1，j-B_i+2，j，B_i-1，j，B_i+1，j}

B_ymin＝min{2B_i-1，j-B_i-2，j，2B_i+1，j-B_i+2，j，B_i-1，j，B_i+1，j}

其中，B_xmax，B_xmin，B_ymax，B_ymin分别为背景帧图像B上象元B_i，j横向最大算子，横向最小算子，纵向最大算子，纵向最小算子；

(2)对背景帧图像各象元点进行判定：

(B_i，j-B_xmax)/B_i，j＞TH、(B_i，j-B_ymax)/B_i，j＞TH、

(B_xmin-B_i，j)/B_i，j＞TH或(B_ymin-B_i，j)/B_i，j＞TH，

四式中任一成立，则判定背景帧图像B该象元B_i，j为无效象元，否则为有效象元，其中坏元检测的灰度门限值TH为0.05～0.1。

3.如权利要求1所述的一种红外焦平面阵列非均匀性自适应校正方法，其特征在于所述精校正处理步骤中，迭代步长υ_i，j ⁿ的选取过程为：

${\mathrm{\υ}}_{i,j}^n=\mathrm{Ka}/(1+\mathrm{\λ}{\left({\mathrm{\σ}}_{i,j}^n\right)}^2),$

其中υ_i，j ⁿ为第n帧图像中象元(i，j)位置对应的迭代步长，迭代步长的最大值Ka为1×10^-2～2×10^-2，方差影响系数λ为5～10，第n帧图像中象元(i，j)位置邻域内的方差(σ_i，j ⁿ)²为：

${\left({\mathrm{\σ}}_{i,j}^n\right)}^2=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{(Y_{i,j}^n-{\mathrm{\μ}}_{i,j}^n)}^2/N\×M,$

其中Y_i，j ⁿ为精校正后图像Yⁿ各像元的灰度值，μ_i，j ⁿ为精校正后图像Yⁿ对应像元Y_i，j ⁿ神经网络法四邻域平均的期望值，N×N为方差邻域的大小，N取1～10。

Images