CN102538973B - 一种快速收敛的基于场景非均匀性校正方法 - Google Patents

Abstract

本发明公开了一种快速收敛的基于场景非均匀性校正方法，通过最小化相邻两帧图像的帧间配准误差，达到非均匀性校正的目的。其主要包括：初始化增益与偏置校正参数并采集一帧未校正原始图像；采集一帧新的未校正原始图像，并与上一帧未校正原始图像一同利用当前非均匀性校正参数进行非均匀性校正；利用原点掩蔽相位相关方法获得两帧校正后图像的相对位移，场景相关系数与帧间配准误差；并采用最速下降法沿着负梯度方向更新校正参数。本发明具有校正精度高，收敛速度快，不存在鬼影效应，计算量、存储量低等优点。非常适合集成于红外焦平面成像系统中，达到提高红外焦平面阵列的成像质量、环境适应性、时间稳定性的功效。

Description

一种快速收敛的基于场景非均匀性校正方法

技术领域

本发明属于图像探测与处理技术领域，特别是一种快速收敛的基于场景非均匀性校正方法。

背景技术

二十一世纪是光子的时代，是信息的社会，随着信息技术的飞速发展，人们获取信息的手段在向不同波段，更广阔的领域扩展；红外成像技术正是顺应了这一时代的发展趋势，已经成为当今世界发达国家大力发展的军民两用的新兴高科技之一。由于西方发达国家对我国高技术的封锁，加上我国红外成像研究起步较晚，基础理论研究和材料工艺比较落后，所以目前国产的红外焦平面阵列探测器和红外成像系统整机的性能与发达国家相比还有一定差距。因此，红外成像的基础理论及其关键技术的研究对提升红外成像技术在我国国防建设和国民经济各领域的应用比重，缩小我国在该领域与发达国家的差距有着非常重要的意义。

红外探测器的非均匀性是限制其性能与应用的首要因素。这种非均匀性表现为一种叠加在图像上固定图案噪声。造成这种非均匀性的原因很多，首先是每个探测器单元的响应率的不一致性，红外焦平面阵列由数万个像元构成，由于各个像元的响应参数不尽相同，造成即使在均匀输入的情况下，各个像素的响应也不一致，这是红外焦平面阵列非均匀性的主要因素；其次是探测器读出电路自身以及读出电路和探测器的耦合因素等。此外研究发现，红外探测器非均匀性的时间稳定性不佳，会随着工作时间的增加与外界环境的改变而缓慢漂移，严重影响图像的空间分辨率与温度灵敏度。所以，红外探测器必须采用相应的非均匀性校正措施，来修正这种探测器不均匀响应造成的影响。

非均匀性校正概括起来有二大类方法：基于定标的校正方法与基于场景的校正方法。基于定标的方法是目前已经适用化的技术，但需要对系统进行周期性的重复定标以消除参数漂移的影响，这就相应地增加了系统的复杂性，降低了系统的可靠性和响应速度；对于机载、弹载探测器不易做到快速反应。基于场景的校正算法不但省略了参考辐射源，使系统处理流程得到简化，提高系统的稳定性，而且可以有效地消除参数特性漂移的影响，实现高精度、大动态范围的自适应非均匀校正。基于场景的非均匀性校正不需要红外参照源，从实际场景提取校正参数，实现系统简洁，克服了器件的空间非均匀性影响和周期性定标问题，具有自适应校正的优点。也正是基于这些优点，基于场景的校正方法近年来出现了许多新的研究成果，成为红外成像技术和红外成像电子学处理方法的研究热点。

自从基于场景校正这一概念出现以来，国内外学者便给予了高度关注，并取得了大量的研究成果与一批良好的校正算法。总的来说，这些算法都是通过两大类途径实现的。一类是基于统计的，基于统计类的技术通常对于焦平面每个像元接收到的辐射量作一些时间上或者空间上的统计假设，在此假设的基础上不断修正校正参数，校正焦平面的非均匀性。其中最具代表性的技术有时域高通法，统计恒定法，神经网络法，恒定范围法及其的相应的扩展形式，如统计维纳滤波法，卡尔曼滤波法等。该类算法一般要求目标场景与IRFPA器件相对运动以使IRFPA器件中所有探测单元在一段时间内所接收到的目标场景辐射的满足一定的统计假设。然而，由于图像场景的多样性，该假设不一定能够得到满足，因此这类校正算法收敛速度较慢，且经常伴随较为严重的鬼影问题。另一类是基于配准的，这类技术通常认为，在较短的时间间隔内，若观察场景中相同的位置时，每个像元的响应也应该是相同的，因此这类技术需要准确的估计帧与帧之间的移动。其中比较有代表性的技术有全景图积累法，代数校正法等。但是这类算法由于其要求限制较多，计算量与存储量较大，且校正误差易逐级累计传播，所以较难达到实用。

解决红外探测器的非均匀性校正问题已成为国内外红外成像技术研究的一个热点课题。但是目前大部分红外成像系统中，都仅仅采用了基于定标的非均匀性校正方法。红外成像系统非均匀性的参数漂移与传统基于定标的非均匀性校正方法的操作复杂性使得其在某些领域，如机载，弹载，野外勘探作战，目标搜索与跟踪系统中的性能受到严重限制。而当前的基于场景非均匀性校正技术则由于上述诸多限制因素，大多停留在实验室阶段。

发明内容

本发明的目的在于提供一种简单、高效、实用的快速收敛的基于场景非均匀性校正方法，该方法不需要黑体辐射源，仅仅采用场景信息对红外焦平面进行实时自适应标定，并能够快速达到收敛：即采用很少的帧数，在很短的时间内，计算出非均匀性校正参数，且不带来鬼影等副作用。

本发明所提出的技术问题是这样解决的：一种快速收敛的基于场景非均匀性校正方法，包括以下步骤：

第一步，初始化：采集一帧未校正原始图像Y₁(i,j)并将第一帧时的增益校正参数g₁(i,j)与偏置校正参数o₁(i,j)置为全1与全0；

第二步，非均匀性校正：读入一帧新的未校正原始图像Y_n(i,j),n=2,3,4...，并与上一帧未校正原始图像Y_n-1(i,j)一同利用当前非均匀性校正参数进行非均匀性校正，获得的第n-1帧校正后图像X_n-1(i,j)与第n帧校正后图像X_n(i,j)；

第三步，相邻两帧帧间配准，采用原点掩蔽相位相关方法，配准第二步获得的第n-1帧校正后图像X_n-1(i,j)与第n帧校正后图像X_n(i,j)，获得当前帧校正后图像与上一帧校正后图像的场景相关系数α_n，并利用快速傅里叶变换求出X_n-1(i,j)相对X_n(i,j)的配准图像T_n(i,j)；

第四步，校正参数更新：求出当前帧校正后图像与上一帧校正后图像的帧间配准误差e_n(i,j)，并采用最速下降法沿着负梯度方向更新校正参数；

第五步，参数更新完毕后，帧标号n加1，即n→n+1，然后返回第二步，由此一直不停的循环执行第二步至第五步，红外焦平面的增益校正参数与增益校正参数就会不断更新。

本发明与现有技术相比，其显著优点：（1）校正精度高：本发明仅仅依赖相邻两帧图像中场景相似性，不对长时间的场景统计信息施加假设。故本发明提出的方法校正精度要高于传统的统计类或者配准类的基于场景校正算法。（2）收敛速度快：本发明仅仅需要20帧左右的图像即可获得良好的校正效果，收敛速度远远高于传统的基于场景校正算法。（3）不存在鬼影效应：由于本发明仅仅利用最小化相邻两帧的配准误差达到非均匀性校正的目的，而在配准误差的计算过程中，场景信息的干扰已经大部分被排除在外。当相邻两帧图像景物匹配度较差时，可以自适应地调节更新速率。所以采用本发明对红外焦平面进行实时校正，可以有效防止参数错误更新，避免鬼影效应。（4）计算量、存储量低：本发明运算复杂度很低，且仅仅需要额外一副图像的存储量。

下面结合附图对本发明作进一步详细描述。

附图说明

图1为本发明提出的快速收敛的基于场景非均匀性校正方法的流程图。

图2为两幅含有非均匀性的图像的归一化互功率谱示意图。其中，图2(a)与图2(b)分别为相邻两帧含有非均匀性的图像，图2(c)为它们的归一化互功率谱的模的三维显示。

图3为相邻两帧图像经过配准后的示意图。灰色部分代表了两帧图像的场景重叠区域。

图4为本发明提出的方法、统计恒定法、神经网络法的校正图像峰值信噪比随帧号的变换曲线对比图。

图5（a）为未校正的中波碲镉汞红外焦平面阵列探测器采集到的原始图像图；5（b）为与经过本发明提出的方法校正20帧后相对应的校正图像。

具体实施方式

结合图1，本发明快速收敛的基于场景非均匀性校正方法，步骤如下：

步骤1：初始化：采集一帧未校正原始图像并将第一帧时的增益校正参数与偏置校正参数置为全1与全0。

采集一帧未校正原始图像，记作Y₁(i,j)。初始化第一帧时的增益校正参数g₁(i,j)与偏置校正参数o₁(i,j)分别为g₁(i,j)=1,o₁(i,j)=0。由于此时增益校正参数g₁(i,j)全为1，偏置校正参数o₁(i,j)全为0，相当于不进行非均匀性校正。

步骤2：非均匀性校正：读入一帧新的未校正原始图像，并与上一帧未校正原始图像一同利用当前非均匀性校正参数进行非均匀性校正。

读入一帧新的未校正原始图像，记作Y_n(i,j),n=2,3,4...，并与前一帧未校正原始图像Y_n-1(i,j)一同利用上一帧更新得到的非均匀性校正参数进行非均匀性校正，获得校正后图像X_n-1(i,j)与X_n(i,j)。采用第n-1帧时获得的增益校正参数g_n-1(x,y)与偏置校正参数o_n-1(x,y)，对第n-1帧未校正原始图像Y_n(i,j)与第n帧未校正原始图像Y_n-1(i,j)进行非均匀性校正，校正公式为

X_n-1(i,j)=g_n-1(i,j)·Y_n-1(i,j)+o_n-1(i,j)

X_n(i,j)=g_n-1(i,j)·Y_n(i,j)+o_n-1(i,j)

获得第n-1帧校正后图像X_n-1(i,j)与第n帧校正后图像X_n(i,j)，其中第n帧校正后图像X_n(i,j)作为当前帧的校正结果输出显示。

步骤3：相邻两帧帧间配准，采用原点掩蔽相位相关方法，配准第二步获得的第n-1帧校正后图像X_n-1(i,j)与第n帧校正后图像X_n(i,j)，获得当前帧校正后图像与上一帧校正后图像的场景相关系数，并利用快速傅里叶变换求出X_n-1(i,j)相对X_n(i,j)的配准图像T_n(i,j)。

配准步骤2获得的第n-1帧校正后图像X_n-1(i,j)与第n帧校正后图像X_n(i,j)。具体如下：计算第n-1帧校正后图像X_n-1(i,j)与第n帧校正后图像X_n(i,j)的归一化互功率谱

${\hat{c}}_n(u,v)={\mathrm{FFT}}^{-1}\left(\frac{{\stackrel{\‾}{X}}_n(u,v)\·{{\stackrel{\‾}{X}}_{n-1}}^{*}(u,v)}{|{\stackrel{\‾}{X}}_n(u,v)\·{{\stackrel{\‾}{X}}_{n-1}}^{*}(u,v)|}\right)$

其中(u,v)为频域坐标，

与

分别为X_n(i,j)与X_n-1(i,j)的离散傅里叶变换，这里采用快速傅里叶变换算法求解，FFT^-1代表快速傅里叶逆变换，^*为复共扼运算。图2给出了两幅含有非均匀性的图像与它们的归一化互功率谱

的模的三维显示，其中可以清晰看见两个峰值，其中位于原点的峰值为非均匀性噪声的干扰造成的，因此为了排除非均匀性噪声的干扰，将

以原点为中心的3×3区域内的值置为0:

${\hat{c}}_n^{\′}(u,v)=\left\{\begin{array}{cc}0& \left|u\right|\≤1\mathrm{and}\left|v\right|\≤1\\ {\hat{c}}_n(u,v)& \left|u\right|>1\mathrm{or}\left|v\right|>1\end{array}\right.$

图2(c)中的另一个峰值即对应了真实场景的位移，所以X_n(i,j)与X_n-1(i,j)的相对位移(d_i,d_j)可以通过判断

峰值的位置来获得，

$(d_i,d_j)=\underset{u,v}{\arg \max }\left\{\right|{\hat{c}}_n(u,v)\left|\right\}$

上式中

代表当取最大值时，将最大值的(u,v)坐标赋给(d_i,d_j)。

X_n(i,j)与X_n-1(i,j)的场景相关系数α_n通过如下获得。

${\mathrm{\α}}_n=\left(\frac{\max \left\{\right|{\hat{c}}_n(u,v)\left|\right\}}{1-\left|{\hat{c}}_n(0,0)\right|}\right)\×0.05$

上式中代表取

矩阵元素中的最大值。该计算得到的场景相关系数α_n将在步骤6中采用。

利用快速傅里叶变换求出X_n-1(i,j)相对X_n(i,j)的配准图像T_n(i,j)：

$T_n(i,j)={\mathrm{FFT}}^{-1}\left({\stackrel{\‾}{\hat{X}}}_{n-1}{(u,v)e}^{-2\mathrm{\πj}({\mathrm{ud}}_i+{\mathrm{vd}}_j)}\right).$

此时相当于将X_n-1(i,j)中的坐标进行变换，使变换后的T_n(i,j)场景与X_n(i,j)基本重合。

步骤4：校正参数更新：求出当前帧校正后图像与上一帧校正后图像的帧间配准误差，并采用最速下降法沿着负梯度方向更新校正参数。

（1）将T_n(i,j)与X_n(i,j)作差得到第n帧的帧间配准误差e_n(i,j)

e_n(i,j)=T_n(i,j)-X_n(i,j)

（2）以帧间配准误差e_n(i,j)的均方误差最小化为准则，采用最速下降法沿着负梯度方向更新第n-1帧的增益校正参数g_n-1(x,y)与偏置校正参数o_n-1(x,y)

$g_n(i,j)=\left\{\begin{array}{cc}{g}_{n-1}(i,j)+{\mathrm{\α}}_n\·e_n(i,j)\·Y_n(i,j)& (i,j)\∈X_n\∩X_{n-1}\\ g_n(i,j)& (i,j)\∉X_n\∩X_{n-1}\end{array}\right.$

$o_n(i,j)=\left\{\begin{array}{cc}{o}_{n-1}(i,j)+{\mathrm{\α}}_n\·e_n(i,j)& (i,j)\∈X_n\∩X_{n-1}\\ o_{n-1}(i,j)& (i,j)\∉X_n\∩X_{n-1}\end{array}\right.$

X_n∩X_n-1代表两幅图像中景物重叠的区域。需要指出的是，仅有那些落入景物重叠区域X_n∩X_n-1的那部分像元才更新其校正参数，否则，保持增益校正参数g_n-1(x,y)与偏置校正参数o_n-1(x,y)此帧不更新。

步骤5：参数更新完毕后，帧标号n加1，即n→n+1，然后返回步骤2，由此一直不停的循环执行步骤2-步骤5，红外焦平面的增益校正参数与增益校正参数就会不断更新，从而达到实时校正红外焦平面非均匀性的目的。

为了进一步体现本发明提出非均匀性校正方法的优势，采用一段100帧的视频来测试本发明提出的方法，该视频通过一中波碲镉汞红外焦平面阵列探测器采集，在采集这段视频前，该探测器刚刚经过多点定标，所以可以近似认为该视频序列没有任何非均匀性。通过人为添加增益与偏置非均匀性，该视频序列的平均峰值信噪比降低到24dB。图4显示了经过本发明提出的方法、统计恒定法、神经网络法的校正图像峰值信噪比随帧号的变换曲线，可以看出，本发明提出的方法对于峰值信噪比曲线在前20帧的增长速度非常快，说明本发明提出的方法的收敛速度大大高于统计恒定法，神经网络法，此外提出的方法对于峰值信噪比曲线最终稳定在43dB，明显高于另外两种算法，且波动也是最小的。这表明本发明提出的方法具有很高的校正精度，较低的稳态误差，与较强的鲁棒性。

图5（a）显示了一未校正的中波碲镉汞红外焦平面阵列探测器采集到的原始图像，图5（b）显示了与经过本发明提出的方法校正20帧后相对应的校正图像。从未校正原始图像可以看出，图像大部分细节已被非均匀性所掩盖，该条带状的非均匀性是由于的红外焦平面阵列读出结构所产生的。采用本发明提出的方法校正20帧后，图像中的非均匀性已经几乎全部去除，且校正后的图像中没有任何鬼影现象。

Claims (4)

1.一种快速收敛的基于场景非均匀性校正方法，其特征在于包括以下步骤：

第一步，初始化：采集一帧未校正原始图像Y₁(i,j)并将第一帧时的增益校正参数g₁(i,j)与偏置校正参数o₁(i,j)置为全1与全0；

第二步，非均匀性校正：读入一帧新的未校正原始图像Y_n(i,j),n=2,3,4...，并与上一帧未校正原始图像Y_n-1(i,j)一同利用当前非均匀性校正参数进行非均匀性校正，获得的第n-1帧校正后图像X_n-1(i,j)与第n帧校正后图像X_n(i,j)；

第三步，相邻两帧帧间配准，采用原点掩蔽相位相关方法，配准第二步获得的第n-1帧校正后图像X_n-1(i,j)与第n帧校正后图像X_n(i,j)，获得当前帧校正后图像与上一帧校正后图像的场景相关系数α_n，并利用快速傅里叶变换求出X_n-1(i,j)相对X_n(i,j)的配准图像T_n(i,j)；其中，相邻两帧帧间配准步骤为：计算第n-1帧校正后图像X_n-1(i,j)与第n帧校正后图像X_n(i,j)的归一化互功率谱

然后将

以原点为中心的3×3区域内的值置为0获得修改后的归一化互功率谱

X_n(i,j)与X_n-1(i,j)的相对位移(d_i,d_j)即为

峰值所对应的像素坐标；

其中X_n(i,j)与X_n-1(i,j)的场景相关系数α_n通过如下获得：

${\mathrm{\α}}_n=\left(\frac{\max \left\{\right|{\hat{c}}_n(u,v)\left|\right\}}{1-\left|{\hat{c}}_n(0,0)\right|}\right)\×0.05$

上式中

代表取矩阵元素中的最大值；

第四步，校正参数更新：求出当前帧校正后图像与上一帧校正后图像的帧间配准误差e_n(i,j)，并采用最速下降法沿着负梯度方向更新校正参数；

第五步，参数更新完毕后，帧标号n加1，即n→n+1，然后返回第二步，由此一直不停的循环执行第二步至第五步，红外焦平面的增益校正参数与增益校正参数就会不断更新。

2.根据权利要求1所述的快速收敛的基于场景非均匀性校正方法，特征在于：第一步的初始化阶段，采集一帧未校正原始图像，记作Y₁(i,j)，初始化第一帧时的增益校正参数g₁(i,j)与偏置校正参数o₁(i,j)分别为g₁(i,j)=1,o₁(i,j)=0。

3.根据权利要求1所述的快速收敛的基于场景非均匀性校正方法，特征在于：第二步的非均匀性校正阶段，先读入一帧新的未校正原始图像Y_n(i,j),n=2,3,4...，并与前一帧未校正原始图像Y_n-1(i,j)一同利用上一帧更新得到的非均匀性校正参数进行非均匀性校正，获得校正后图像X_n-1(i,j)与X_n(i,j)，并且将当前采集帧的校正图像X_n(i,j)作为校正结果输出显示。

4.根据权利要求1所述的快速收敛的基于场景非均匀性校正方法，特征在于：第四步的校正参数更新为：将T_n(i,j)与X_n(i,j)作差得到第n帧的帧间配准误差e_n(i,j)，以帧间配准误差的均方误差最小化为准则，采用最速下降法沿着负梯度方向更新第n-1帧的增益校正参数g_n-1(x,y)与偏置校正参数o_n-1(x,y)

$g_n(i,j)=\left\{\begin{array}{cc}{g}_{n-1}(i,j)+{\mathrm{\α}}_n\·e_n(i,j)\·Y_n(i,j)& (i,j)\∈X_n\∩X_{n-1}\\ g_{n-1}(i,j)& (i,j)\∉X_n\∩X_{n-1}\end{array}\right..$

Images