CN102778296A - 基于总变分的自适应红外焦平面非均匀性校正方法 - Google Patents

Abstract

本发明公开了一种基于总变分的自适应红外焦平面非均匀性校正方法，首先计算不同梯度方向上均方根近似作为总变分，同时计算窗口邻域内标准差用于控制迭代速度，利用最速梯度下降算法，并结合传统的神经网络算法进行红外图像的非均匀性校正。本发明降低了计算量并且不影响算法效果，减少边缘变化对理想期望图像的影响，从而有效减少“鬼影”效应。

Description

基于总变分的自适应红外焦平面非均匀性校正方法

技术领域

本发明属于红外焦平面阵列探测技术中图像处理技术领域，特别是一种基于总变分的自适应红外焦平面非均匀性校正方法。

背景技术

红外焦平面阵列(IRFPA)探测器具有探测灵敏度高、结构紧凑、被动成像、利于隐蔽、昼夜工作等优点，广泛应用于工业、农业、航天、医学、安防，航空，遥感和科学研究中。然而由于基础制造工艺的限制，使得探测器阵列的各个单元响应度不一致，导致了叠加在图像上的固定图案噪声，严重影响了系统的成像质量，降低了系统的空间分辨率、温度分辨率、探测距离以及辐射量的正确度量，直接制约着系统的最终性能。

因此，由于红外探测器件响应的非均匀性所导致的空间噪声，严重影响了系统的最终性能，为充分利用探测器的性能必须对红外焦平面阵列探测器进行非均匀性校正后才能成像。纵观国内外红外焦平面阵列的非均匀性校正方法，概括起来可以分为二大类:1）基于黑体定标的校正技术；2）基于场景的校正技术。第一类方法假定探测元的响应特性是非时变的，利用定标红外辐射源（通常为黑体）对红外焦平面阵列各探测元的响应进行标定来实现非均匀性校正。这类方法需要昂贵的标准黑体辐射源，而且要中断成像系统的正常工作。同时不能克服随着时间的推移IRFPA空间非均匀性的缓慢变化；第二类为基于场景的校正技术，该类方法利用红外成像序列图像进行红外焦平面阵列校正系数的估计。该类校正技术在运动中根据场景的变化实时进行非均匀性校正，能够克服随时间漂移空间非均匀性的缓慢变化，目前得到了广泛的研究和发展。

目前，在众多基于场景的非均匀性校正方法中比较经典的有恒定统计约束法(J.G.Harris and Y.M.Chiang,“Nonuniformity correction of infrared imagesequences using the constant-statistics constraint”,IEEE Trans,Image Proc,vol(8):1148-1151(1999))、时域高通滤波非均匀性校正方法和神经网络非均匀性校正方法(D.A.Scribner,K.A.Sarkady，M.R.kruer,et al,“Adaptive NonuniformityCorrection for IR Focal Plane Array Using Neural Networks,”Infrared SencorsDetectors,Electronics and Signal Processing,SPIE,100-109(1991))、卡尔曼滤波校正方法（Yaobo Jian,Shuangchen Ruan,Huixin Zhou and Chengxiang Liu.“AnImproved Nonuniformity Correction Algorithm for Infrared Focal PlaneArrays”,Proc.IEEE Int.Conf.Intelligent Control and Automation,Dalian,China,une10328-10331(2006).）、基于配准的校正方法（R.C.Hardie and M.M.Hayat,“Scene-based nonuniformity correction video sequences and registration,”AppliedOptics,vol.39,1241-1250(2000)）。这类方法虽然可以在一定程度上克服IRFPA空间噪声漂移带来的校正误差，根据场景信息自适应更新校正系数，成为目前算法研究和系统应用的重要研究方向。但是以上这些算法没有很好的解决收敛速度和“鬼影“效应。

发明内容

本发明的目的在于提供一种基于总变分的自适应红外焦平面非均匀性校正方法，能够显著提高校正算法的收敛速度并且有效避免“鬼影”效应。

实现本发明目的的技术解决方案为：一种基于总变分的自适应红外焦平面非均匀性校正方法，步骤如下：

第一步，相邻行列之间，首先计算不同梯度方向上均方根近似作为总变分，将原始图像按照奇、偶帧数，依次求取前向、后向梯度的均方根作为总变分，前向梯度(F_f)的计算为：[X(i,j)-X(i+1,j)],[X(i,j)-X(i,j+1)]，后向梯度(F_b)的计算[X(i,j)-X(i-1,y)],[X(i,j)-X(i,j-1)]，奇数帧的总变分记为：

偶数帧的总变分记为：

第二步，非均匀性校正参数增益和偏置的计算，利用最速梯度下降优化算法，分别计算非均匀性校正参数增益W_i，j(n)和偏置O_i，j(n)；

第三步，迭代系数的计算，计算中心坐标为(i,j)像素点N邻域内像素灰度标准差，从而得到收敛迭代系数α；

第四步，基于传统神经网络非均匀性校正算法，迭代计算出校正系数增益和偏置，最终得到基于总变分的自适应红外焦平面非均匀性校正方法。

本发明与现有技术相比，其显著优点：（1）基于总变分的非均匀性校正算法作为传统神经网络非均匀性校正算法的延伸，可以等价于最小化二阶平滑先验模型，为了简化起见，可以采用不同梯度方向上均方根近似作为总变分，降低了计算量并且不影响算法效果。（2）利用非线性滤波-基于偏微分方程，即总变分，来取代传统神经网络非均匀性校正算法求取邻域平均作为理想的期望图像，考虑了像素周围的梯度变化，减少边缘变化对理想期望图像的影响，从而有效减少“鬼影”效应。（3）计算中心坐标为(i,j)像素点N邻域内像素灰度标准差，能有效的反应图像中非均匀性和场景的变化，进而得到自适应控制收敛的迭代系数。（4）基于总变分的红外焦平面非均匀性校正算法克服了传统的统计类非均匀性校正算法的不足，并且自适应场景变化，显著提高了算法的收敛速度，而且避免了“鬼影”效应，使得基于场景的非均匀性校正方法用于实际系统中成为了可能。

下面结合附图对本发明作进一步详细描述。

附图说明

图1是本发明基于总变分的自适应红外焦平面非均匀性校正方法的流程图。

图2是原始红外图像序列的第130帧图像。

图3是传统神经网络非均匀性方法校正图像。

图4是本文方法的校正图像。

图5是两种方法的校正对比结果。

具体实施方式

结合图1，本发明基于总变分的自适应红外焦平面非均匀性校正方法，具体步骤包括如下：

步骤1，将原始图像根据奇偶帧，分别求取前向、后向的梯度F_f(i,j)、F_b(i,j)，即

F_f,y(i,j)＝X(i,j)-X(i+1,j)

F_f,x(i,j)＝X(i,j)-X(i,j+1)

F_b,y(i,j)＝X(i,j)-X(i-1,y)

F_b,x(i,j)＝X(i,j)-X(i,j-1)

F_f(i,j)为奇数帧时中心坐标为(i,j)的前向梯度，F_b(i,j)为偶数帧时中心坐标为(i,j)的后向梯度，X(i,j)为中心坐标为(i,j)的像素校正估计值，F_f,x(i,j)、F_f,y(i,j)分别为在x、y方向上的前向梯度；

其中根据图像序列的奇偶帧不同，交叉计算前向、后向梯度值，如果为奇数帧，计算前向梯度值，如果为偶数帧，计算后向梯度值。

步骤2，根据前向、后向梯度，计算总变分的大小，即

${|\▿X|}_{i,j}=\sqrt{{F_{f,x}}^2+{F_{f,y}}^2}$

$=\sqrt{{(X(i,j)-X(i,j+1))}^2+{(X(i,j)-X(i+1,j))}^2}$

${|\▿X|}_{i,j}^{*}=\sqrt{{F_{b,x}}^2+{F_{b,y}}^2}$

$=\sqrt{{(X(i,j)-X(i,j-1))}^2+{(X(i,j)-X(i-1,j))}^2}$

分别为前向、后向梯度下的总变分大小。基于总变分的非均匀性校正算法作为传统神经网络非均匀性校正算法的延伸，可以等价于最小化二阶平滑先验模型，为了简化起见，这里采用不同梯度方向上均方根近似作为总变分。

步骤3，计算中心坐标为(i,j)像素点N邻域内像素灰度标准差σ(i,j)，

$\mathrm{\μ}(i,j)=\underset{p=i-N}{\overset{i+N}{\mathrm{\Σ}}}\underset{q=j-N}{\overset{j+N}{\mathrm{\Σ}}}\left[X(p,q)\right]$

$\mathrm{\σ}(i,j)=\sqrt{\frac{1}{{(2N+1)}^2}\underset{p=i-N}{\overset{i+N}{\mathrm{\Σ}}}\underset{q=j-N}{\overset{j+N}{\mathrm{\Σ}}}{[X(p,q)-\mathrm{\μ}(i,j)]}^2}$

μ(i,j)为中心坐标为(i,j)的邻域内像素灰度平均值，σ(i,j)为中心坐标为(i,j)的邻域内像素灰度的标准差。计算邻域内的像素灰度的均值和邻域内像素灰度的标准差，用于判断图像的边缘区域，邻域内像素灰度的标准差越大，表明像素所在位置的细节丰富，代表图像的边缘部分。

步骤4，对步骤3求得的标准差σ(i,j)，进行修正求得控制收敛的迭代系数α，

$\mathrm{\α}=K*\left[\frac{1}{1+{\mathrm{\σ}}^2(i,j)}\right]$

K是一个常数，K的取值范围可以为[0,1]。

步骤5，利用最速梯度下降优化算法，并结合传统神经网络非均匀性校正方法，迭代计算出校正参数增益W_i,j(n)和偏置O_i,j(n)，

$W_{n+1}(i,j)=W_n(i,j)-\mathrm{\α}\·\frac{X_n(i,j)-{\stackrel{\‾}{X}}_n(i,j)}{{|\▿X|}_{i,j}}\·Y_n(i,j)$

$O_{n+1}(i,j)=O_n(i,j)-\mathrm{\α}\·\frac{X_n(i,j)-{\stackrel{\‾}{X}}_n(i,j)}{{|\▿X|}_{i,j}}$

Y_n(i,j)为像素(i,j)的观测值，当图像帧数为偶数时，

用

替代。

步骤6，由步骤5得到的校正参数公式，迭代更新计算增益W_i,j(n)和偏置O_i,j(n)，得到校正后的图像：

X(i,j)＝W(i,j)·Y(i,j)+O(i,j)

X(i,j)即为校正后的均匀图像信号。采用基于偏微分方程的非线性滤波—总变分，取代传统神经网络非均匀性校正算法求取邻域平均作为理想的期望图像，以及迭代系数α，两者作用于最终的非均匀性校正，能够在提高收敛速度的同时减少“鬼影”效应。

下面以一个实施例来说明本发明的实施情况。

结合图1，本发明基于总变分的自适应红外焦平面非均匀性校正方法，步骤如下：

步骤1：如图2（含有非均匀性的原始红外图像）所示，原始图像为第130帧（偶数帧），所以求取后向梯度F_f(i,j)。

F_b,y(i,j)＝X(i,j)-X(i-1,y)

F_b,x(i,j)＝X(i,j)-X(i,j-1)

X(i,j)为中心坐标为(i,j)的像素校正估计值，F_b,x(i,j)、F_b,y(i,j)分别为在x、y方向上的后向梯度。

步骤2：根据计算的后向梯度，计算总变分的大小。

${|\▿X|}_{i,j}^{*}=\sqrt{{F_{b,x}}^2+{F_{b,y}}^2}$

$=\sqrt{{(X(i,j)-X(i,j-1))}^2+{(X(i,j)-X(i-1,j))}^2}$

为后向梯度下的总变分大小。

步骤3：计算中心坐标为(i,j)像素点N邻域内像素灰度标准差σ(i,j)（N取为3）。

$\mathrm{\μ}(i,j)=\underset{p=i-N}{\overset{i+N}{\mathrm{\Σ}}}\underset{q=j-N}{\overset{j+N}{\mathrm{\Σ}}}\left[X(p,q)\right]$

$\mathrm{\σ}(i,j)=\sqrt{\frac{1}{{(2N+1)}^2}\underset{p=i-N}{\overset{i+N}{\mathrm{\Σ}}}\underset{q=j-N}{\overset{j+N}{\mathrm{\Σ}}}{[X(p,q)-\mathrm{\μ}(i,j)]}^2}$

μ(i,j)为中心坐标为(i,j)的邻域内像素灰度平均值，σ(i,j)为中心坐标为(i,j)的邻域内像素灰度的标准差。

步骤4：对步骤3求得的标准差σ(i,j)，进行修正求得控制收敛的迭代系数α。

$\mathrm{\α}=K*\left[\frac{1}{1+{\mathrm{\σ}}^2(i,j)}\right]$

K是一个常数，作为用于控制收敛的最大迭代速率，这里取作K＝1。

步骤5：利用最速梯度下降优化算法，并结合传统神经网络非均匀性校正方法，迭代计算出校正参数增益W_i,j(n)和偏置O_i,j(n)。

$W_{i,j}(n+1)=W_{i,j}\left(n\right)-\mathrm{\α}\·\frac{X_n(i,j)-{\stackrel{\‾}{X}}_n(i,j)}{{|\▿X|}_{i,j}^{*}}\·Y_n(i,j)$

$O_{i,j}(n+1)=O_{i,j}\left(n\right)-\mathrm{\α}\·\frac{X_n(i,j)-{\stackrel{\‾}{X}}_n(i,j)}{{|\▿X|}_{i,j}^{*}}$

${\stackrel{\‾}{X}}_n(i,j)=\frac{1}{3}\·[X_n(i,j)+X_n(i-1,j)+X_n(i,j-1)]$

Y_n(i,j)为像素(i,j)的观测值。

步骤6：由步骤5得到的校正参数公式，迭代更新计算增益W_i,j(n)和偏置O_i,j(n)，得到校正后的图像。

X_n(i,j)＝W_n(i,j)·Y_n(i,j)+O_n(i,j)

X(i,j)即为校正后的均匀图像信号。如图4所示。由步骤6得到的X_n(i,j)为得到校正后的第n帧序列图像。对于每一帧红外图像，根据奇偶帧数，循环步骤1-步骤6。

图5所示为本发明公开的基于总变分的自适应红外焦平面非均匀性校正方法与传统神经网络非均匀性方法校正方法的收敛性曲线，可以看到本专利方法的收敛速度较快。

Claims (2)

1.一种基于总变分的自适应红外焦平面非均匀性校正方法，其特征在于，具体步骤包括如下：

步骤1，将原始图像根据奇偶帧，分别求取前向、后向的梯度F_f(i,j)、F_b(i,j)，即

F_f,y(i,j)＝X(i,j)-X(i+1,j)

F_f,x(i,j)＝X(i,j)-X(i,j+1)

F_b,y(i,j)＝X(i,j)-X(i-1,y)

F_b,x(i,j)＝X(i,j)-X(i,j-1)

F_f(i,j)为奇数帧时中心坐标为(i,j)的前向梯度，F_b(i,j)为偶数帧时中心坐标为(i,j)的后向梯度，X(i,j)为中心坐标为(i,j)的像素校正估计值，F_f,x(i,j)、F_f,y(i,j)分别为在x、y方向上的前向梯度；

步骤2，根据前向、后向梯度，计算总变分的大小，即

${|\▿X|}_{i,j}=\sqrt{{F_{f,x}}^2+{F_{f,y}}^2}$

$=\sqrt{{(X(i,j)-X(i,j+1))}^2+{(X(i,j)-X(i+1,j))}^2}$

${|\▿X|}_{i,j}^{*}=\sqrt{{F_{b,x}}^2+{F_{b,y}}^2}$

$=\sqrt{{(X(i,j)-X(i,j-1))}^2+{(X(i,j)-X(i-1,j))}^2}$

分别为前向、后向梯度下的总变分大小；

步骤3，计算中心坐标为(i,j)像素点N邻域内像素灰度标准差σ(i,j)，

$\mathrm{\μ}(i,j)=\underset{p=i-N}{\overset{i+N}{\mathrm{\Σ}}}\underset{q=j-N}{\overset{j+N}{\mathrm{\Σ}}}\left[X(p,q)\right]$

$\mathrm{\σ}(i,j)=\sqrt{\frac{1}{{(2N+1)}^2}\underset{p=i-N}{\overset{i+N}{\mathrm{\Σ}}}\underset{q=j-N}{\overset{j+N}{\mathrm{\Σ}}}{[X(p,q)-\mathrm{\μ}(i,j)]}^2}$

μ(i,j)为中心坐标为(i,j)的邻域内像素灰度平均值，σ(i,j)为中心坐标为(i,j)的邻域内像素灰度的标准差；

步骤4，对步骤3求得的标准差σ(i,j)，进行修正求得控制收敛的迭代系数α，

$\mathrm{\α}=K*\left[\frac{1}{1+{\mathrm{\σ}}^2(i,j)}\right]$

K是一个常数，K的取值范围为[0,1]；

步骤5，利用最速梯度下降优化算法，并结合传统神经网络非均匀性校正方法，迭代计算出校正参数增益W_i,j(n)和偏置O_i,j(n)，

$W_{n+1}(i,j)=W_n(i,j)-\mathrm{\α}\·\frac{X_n(i,j)-{\stackrel{\‾}{X}}_n(i,j)}{{|\▿X|}_{i,j}}\·Y_n(i,j)$

$O_{n+1}(i,j)=O_n(i,j)-\mathrm{\α}\·\frac{X_n(i,j)-{\stackrel{\‾}{X}}_n(i,j)}{{|\▿X|}_{i,j}}$

Y_n(i,j)为像素(i,j)的观测值，当图像帧数为偶数时，

用替代；

步骤6，由步骤5得到的校正参数公式，迭代更新计算增益W_i，j(n)和偏置O_i，j(n)，得到校正后的图像：

X(i,j)＝W(i,j)·Y(i,j)+O(i,j)

X(i,j)即为校正后的均匀图像信号。

2.根据权利1所述的基于总变分的自适应红外焦平面非均匀性校正方法，特征在于：在步骤1中，根据图像序列的奇偶帧不同，交叉计算前向、后向梯度值，如果为奇数帧，计算前向梯度值，如果为偶数帧，计算后向梯度值。

Images