CN105318971A - 对红外视频序列采用图像配准的自适应非均匀性校正方法 - Google Patents

Abstract

本发明公开了一种对红外视频序列采用图像配准的自适应非均匀性校正方法。该方法是先利用图像的行列投影向量进行互相关信息的计算，然后分别寻找使得互相关信息最大的水平方向和垂直方向的位移量，即为图像的位移值。同时对图像的方差进行阈值判断，加入假设位移，然后对校正后的位移值对图像进行双向配准，得到叠加的重叠区域，在重叠区域内对图像进行校正参数的更新，完成非均匀性校正方法的自适应校正过程。本发明的创新点在于利用图像配准来进行非均匀性校正，能有效去除鬼影问题；双向配准的加入，不但提高了图像的重叠区域，而且增强了图像的配准效果；自适应假设位移的添加，能增强算法的场景适应能力。

Description

对红外视频序列采用图像配准的自适应非均匀性校正方法

技术领域

本发明属于红外热成像系统的非均匀性校正领域，特别是一种对红外视频序列采用图像配准的自适应非均匀性校正方法。

背景技术

二十一世纪是光子的时代，是信息的社会，随着信息技术的飞速发展，人们获取信息的手段在向不同波段，更广阔的领域扩展；红外成像技术正是顺应了这一时代的发展趋势，已经成为当今世界发达国家大力发展的军民两用的新兴高科技之一。由于西方发达国家对我国高技术的封锁，加上我国红外成像研究起步较晚，基础理论研究和材料工艺比较落后，所以目前国产的红外焦平面阵列探测器和红外成像系统整机的性能与发达国家相比还有一定差距。因此，红外成像的基础理论及其关键技术的研究对提升红外成像技术在我国国防建设和国民经济各领域的应用比重，缩小我国在该领域与发达国家的差距有着非常重要的意义。

红外探测器的非均匀性是限制其性能与应用的首要因素，这种非均匀性表现为一种叠加在图像上固定图案噪声。造成这种非均匀性的原因很多，首先是每个探测器单元的响应率的不一致性，红外焦平面阵列由数万个像元构成，由于各个像元的响应参数不尽相同，造成即使在均匀输入的情况下，各个像素的响应也不一致，这是红外焦平面阵列非均匀性的主要因素；其次是探测器读出电路自身以及读出电路和探测器的耦合因素等。此外，红外探测器非均匀性的时间稳定性不佳，会随着工作时间的增加与外界环境的改变而缓慢漂移，严重影响图像的空间分辨率与温度灵敏度。所以，红外探测器必须采用相应的非均匀性校正措施，来修正这种探测器不均匀响应造成的影响。

而非均匀性校正概括起来有二大类方法：基于定标的校正方法与基于场景的校正方法。基于定标的方法是目前已经适用化的技术，但需要对系统进行周期性的重复定标以消除参数漂移的影响，这就相应地增加了系统的复杂性，降低了系统的可靠性和响应速度；对于机载、弹载探测器不易做到快速反应。基于场景的校正算法不但省略了参考辐射源，使系统处理流程得到简化，提高系统的稳定性，而且可以有效地消除参数特性漂移的影响，实现高精度、大动态范围的自适应非均匀校正。自从基于场景校正这一概念出现以来，国外学者便给予了高度关注，并取得了大量的研究成果与一批良好的校正算法。总的来说，这些算法都是通过两大类途径实现的。一类是基于统计的，基于统计类的技术通常对于焦平面每个像元接收到的辐射量作一些时间上或者空间上的统计假设，在此假设的基础上不断修正校正参数，校正焦平面的非均匀性。其中最具代表性的技术有时域高通法，统计恒定法，神经网络法，恒定范围法及其的相应的扩展形式，如统计维纳滤波法，卡尔曼滤波法等。该类算法一般要求目标场景与IRFPA器件相对运动以使IRFPA器件中所有探测单元在一段时间内所接收到的目标场景辐射的满足一定的统计假设。然而，由于图像场景的多样性，该假设不一定能够得到满足，因此这类校正算法经常伴随较为严重的鬼影问题。而另一类则是基于配准的，这类技术通常认为，在较短的时间间隔内，若观察场景中相同的位置时，每个像元的响应也应该是相同的，因此这类技术需要准确的估计帧与帧之间的移动。其中比较有代表性的技术有全景图积累法，代数校正法等。但是这类算法由于其要求限制较多，计算量与存储量较大，且校正误差易逐级累计传播，所以也较难达到实用。

发明内容

本发明的目的在于提供一种对红外视频序列采用图像配准的自适应非均匀性校正方法，使热像仪在实际使用过程中可以满足帧频要求实时自适应校正。

实现本发明目的的技术解决方案为：一种对红外视频序列采用图像配准的自适应非均匀性校正方法，其特征在于：

步骤1)通过红外热像仪获得实时的红外视频序列，对于实时的红外视频序列，选取前一帧图像为参考帧图像，后一帧图像为当前帧图像，图像大小为M×N；

步骤2)分别计算上述两帧图像中每一行对应的像素值之和，即行投影值；分别计算上述两帧图像中每一列对应的像素值之和，即列投影值；并分别计算每一行和每一列的像素的平均值；

步骤3)对每一行和每一列分别对应的行投影值和列投影值进行修正，得到修正后的每一行和每一列分别对应的行投影值和列投影值：每一行对应的行投影值减去该行的图像的平均值，每一列对应的列投影值分别减去该列的图像的平均值，以消除盲元点对配准的影响；

步骤4)利用上述修正后的每一行和每一列分别对应的行投影值和列投影值计算出两帧图像在估计位移范围内的所有行的互相关信息和列的互相关信息，上述互相关信息是与行或列的相对位移有关的函数，通过比较行和列的互相关信息矩阵，找到分别使得行和列的互相关信息最大的相对位移量(dx,dy)，即为图像的位移；

步骤5)将假设位移加入到配准计算出的相对位移量(dx,dy)进行修正，得到自适应位移值；

步骤6)利用上述自适应位移值对图像进行配准，得到两帧图像的重叠区域，在重叠区域内对参考帧和当前帧上相对应位置的像素值进行误差函数的计算，用上述误差函数更新该位置的增益和偏置系数。

上述步骤4)中，对图像大小为M×N的参考帧和当前帧的行投影值进行互相关信息的计算，得到行向量互相关信息C_y(z)，图像大小为M×N的参考帧和当前帧的列投影值进行互相关信息的计算，得到列向量互相关信息C_x(w)，互相关信息的计算公式为：

$\left\{\begin{array}{c}{C}_y\left(z\right)=\underset{x=1}{\overset{M-2{\mathrm{\Δ}}_1}{\mathrm{\Σ}}}{d}_{n-1}^y(x+z)\·d_n^y({\mathrm{\Δ}}_1+x)\\ C_x\left(w\right)=\underset{y=1}{\overset{N-2{\mathrm{\Δ}}_2}{\mathrm{\Σ}}}{d}_{n-1}^x(y+w)\·d_n^x({\mathrm{\Δ}}_2+y)\end{array}\right.$

其中，和分别为上述步骤3中计算的行投影和列投影，i∈[n-1,n]，n-1代表参考帧，n代表当前帧，z为垂直位移，w为水平位移，且满足z∈[1,2Δ₁],w∈[1,2Δ₂]，Δ₁为垂直方向预设位移，Δ₂为水平方向预设位移，然后在[C_y(1),C_y(2),...C_y(2Δ₁)]和[C_x(1),C_x(2),...C_x(2Δ₂)]两个行列互相关信息矩阵中找到两个最大值和其中()为使行列投影的互相关信息最大的位移值，而即图像的垂直方向和水平方向上的相对位移量。

上述步骤5)中，将假设位移加入到配准计算出的相对位移量(dx,dy)进行修正，方法为：

在计算出对应于最大互相关信息的相对位移值(dx,dy)后，判断两帧配准图像的方差差值的绝对值|DX(n-1)-DX(n)|来改变相对位移值，并按照下面公式来改变配准计算的行列偏移向量：

${\mathrm{ds}}^{\′}=\left\{\begin{array}{ccc}\mathrm{ds}+1& \mathrm{if}& |\mathrm{DX}(n-1)-\mathrm{DX}\left(n\right)|\≤\mathrm{\σ}\\ \mathrm{ds}& \mathrm{else}& \end{array}\right.$

上式中，ds代表dx或dy，如参考帧和当前帧的方差的绝对值小于设定阈值σ，σ根据实际图像进行选择，取值范围为0.2～0.5，则使计算出的水平位移和垂直位移加1，反之，如果不小于设定阈值，则不对水平位移和垂直位移进行修正。

上述步骤6)中，在对前后两帧图像进行配准时，采用双向配准，在用当前帧配准参考帧的同时，用参考帧配准当前帧，得到两组不一样的重叠区域，然后将两个重叠区域叠加在一起进行校正；采用最小均方差法得到误差函数。

本发明与现有技术相比，其显著优点：(1)利用实时的红外视频序列来对非均匀性进行自适应校正，计算量相对降低，能满足硬件实现的要求；(2)采用图像配准的方式来对红外视频相邻帧图像进行配准，得到相邻帧的重叠区域，再利用计算得到的重叠区域对图像的增益和偏置系数进行更新，没有对图像的空域信息进行破坏，也没有添加额外的算法引入的噪声，因此避免了场景类算法带来的严重的鬼影问题；(3)根据当前图像的前后两帧的标准差的结果来判断场景的类型，然后根据不同类型的场景来对行和列的相对位移量进行修正，加入假设位移，再对图像配准，能增加该方法对不用场景的适应能力，尤其是针对竖条纹明显的红外视频序列，其校正效果非常的优异。

附图说明

图1是本发明一种对红外视频序列采用图像配准的自适应非均匀性校正方法的算法流程图。

图2是本发明一种对红外视频序列采用图像配准的自适应非均匀性校正方法中的双向配准的示意图，其中图(a)为当前帧配准参考帧；图(b)为参考帧配准当前帧；图(c)为叠加的重叠区域。

图3是真实场景的红外视频序列的校正效果图，其中图(a)为原始视频图像，图(b)为校正后图像。

具体实施方式

下面结合附图对本发明作进一步详细描述。

本发明是一种对红外视频序列采用图像配准的自适应非均匀性校正方法。其原理为：首先对红外视频序列中前后两帧图像的行列投影向量进行互相关函数的计算，然后分别寻找使得互相关函数最大的水平方向和垂直方向的位移量，即为图像的位移值。同时对图像的标准差进行阈值判断，加入假设位移，然后用校正后的位移值对图像进行双向配准，得到叠加的重叠区域，在重叠区域内对图像进行校正参数的更新，完成非均匀性校正方法的自适应校正过程。

结合图1和图2，一种对红外视频序列采用图像配准的自适应非均匀性校正方法，方法步骤如下：

在红外视频图像序列中，由于探测器像元对相同的辐射源产生的响应的不一致性，导致在图像上出现明显的固定图案噪声，即非均匀性，严重影响了图像质量，而采用探测器像元的辐照度-电压模型，可以将这种响应近似为线性，而利用这种线性模型y(i,j)＝g(i,j)·x(i,j)+o(i,j)来对图像的输出进行增益和偏置上的校正，这样能够很好的将非均匀性归结到两个系数的影响上，而如果我们能够通过对图像序列进行数据处理，得到每个探测器对应的增益和偏置系数构成的矩阵，就可以对非均匀性进行相应的校正就可以有效的去掉非均匀性的影响。

校正公式为：x(i,j)＝w(i,j)·y(i,j)+b(i,j)，其中增益系数wn(i,j)和偏置系数b_n(i,j)分别为 $w_n(i,j)=\frac{1}{g_n(i,j)},b_n(i,j)=-\frac{w_n(i,j)}{g_n(i,j)}.$

假设图像尺寸为M行N列，则行列投影可以分别由如下公式得到：

$\left\{\begin{array}{c}{d}_i^y\left(x\right)\stackrel{\mathrm{\Δ}}{=}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}{d}_i(x,y)\\ d_i^x\left(y\right)\stackrel{\mathrm{\Δ}}{=}\underset{x=1}{\overset{M}{\mathrm{\Σ}}}{d}_i(x,y)\end{array}\right.---\left(1\right)$

式(1)中，x和y为像素坐标，i为两帧图像的帧号，n-1代表参考帧，n代表当前帧，当然也可根据外部图像序列速度进行调整，不一定相邻；为两帧图像的行列投影数组，为两帧图像的列投影数组。

由于图像上偶尔会存在盲元点，而盲元点上的像素值一般过大或者过小，与正常图像像素值偏差过大，严重影响了行列投影后续的配准结果，因此在计算行投影值、列投影值时，考虑减去每一行或者每一列的图像均值，以减弱盲元点像素值对配准精度的影响，修正后的行投影值和列投影值为：

$\left\{\begin{array}{c}{d}_i^y\left(x\right)\stackrel{\mathrm{\Δ}}{=}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}{d}_i(x,y)-{\mathrm{\μ}}_y\\ d_i^x\left(y\right)\stackrel{\mathrm{\Δ}}{=}\underset{x=1}{\overset{M}{\mathrm{\Σ}}}{d}_i(x,y)-{\mathrm{\μ}}_x\end{array}\right.---\left(2\right)$

然后将两帧图像的计算结果存入FIFO缓存；

对前面计算得到的两帧图像的行投影值和列投影值进行互相关信息的计算，互相关信息的计算公式为：

$\left\{\begin{array}{c}{C}_y\left(z\right)=\underset{x=1}{\overset{M-2{\mathrm{\Δ}}_1}{\mathrm{\Σ}}}{d}_{n-1}^y(x+z)\·d_n^y({\mathrm{\Δ}}_1+x)\\ C_x\left(w\right)=\underset{y=1}{\overset{N-2{\mathrm{\Δ}}_1}{\mathrm{\Σ}}}{d}_{n-1}^x(y+w)\·d_n^x({\mathrm{\Δ}}_2+y)\end{array}\right.---\left(3\right)$

公式(3)中，Δ₁为垂直方向预设位移，Δ₂为水平方向预设位移，其值为固定值，一般设置为行或者列像素值的1/10,和分别为上述计算的行投影值和列投影值，i∈[n-1,n]分别代表参考帧和当前帧，C_y(z)和C_x(w)分别为行互相关和列互相关数组，行互相关信息数组和列互相关信息数组的大小为分别为z和w，z为垂直位移，w为水平位移，且满足z∈[1,2Δ₁],w∈[1,2Δ₂]，然后在[C_y(1),C_y(2),...C_y(2Δ₁)]和[C_x(1),C_x(2),...C_x(2D₂)]两个行列互相关信息矩阵中找到两个最大值和其中()为使行列投影的互相关信息最大的位移值，而即图像的垂直方向和水平方向上的相对位移量。

针对静止不动的场景或者竖条纹严重的场景，图像配准之后其固定图案噪声由于配准后，噪声会发生重叠，静止不动的场景，配准后的水平位移和垂直位移均为0，当前帧和参考帧配准后，重叠区域为整个图像，噪声和背景信息都没有变化，而竖条纹严重的场景，配准后竖条纹仍然会导致a位置竖条纹与b位置竖条纹重合，而无法有效地去除掉严重的条纹噪声，因此，结合图像在空域上是具有很强的相关性，而固定图案噪声在空域上相关性低的特点，可以对配准计算出的位移量进行修正。

而不管是静止不动的图像还是非均匀性都非常高的图像，其相邻两帧的图像的方差变化在一个很小的范围内，主要是由于非均匀性随时间的变化而带来的，而对于实时的红外成像系统，相邻两帧的时间通常为1/25s,并且配准算法通常也假设其非均匀性随相邻帧之间是不变的，因此，可以通过判断两帧配准图像的方差的差值来辨别这类特定场景，并按照公式4来改变配准计算的行列偏移向量：

${\mathrm{ds}}^{\′}=\left\{\begin{array}{ccc}\mathrm{ds}+1& \mathrm{if}& |\mathrm{DX}(n-1)-\mathrm{DX}\left(n\right)|\≤\mathrm{\σ}\\ \mathrm{ds}& \mathrm{else}& \end{array}\right.---\left(4\right)$

公式(4)中，ds代表dx或dy，如参考帧和当前帧的方差小于设定阈值σ(这里阈值σ根据实际情况选择具体值，其取值范围为0.2～0.5之间)，则使计算出的水平位移和垂直位移加1，反之，如果不小于设定阈值，则不对水平位移和垂直位移进行修正。

以当前帧n来配准参考帧n-1为例，得到的重叠区域为图2(a)中的阴影部分，该重叠区域只在第n帧图像上得到了体现，为第n帧的左上区域，在与此同时，利用当前帧来对前面预存的参考帧来进行配准，就可以得到图2(b)中的阴影区域，在参考帧的右下区域，而如果将这两部分重叠区域放在同一帧图像的大小上就可以得到叠加的重叠区域，如图2(c)所示，叠加的重合区域在图像上为A1+B和B+A2，其并集O＝A1∪B∪A2,且在图2(c)中,A1和A2为只重叠了一次的区域，B为重叠了2次的区域,C为未发生重叠的区域,然而为了保证图像的校正速率一致，这里我们把重叠区域O的所有区域都只校正一次，也就是在A1区域，用参考帧校正当前帧，在A2区域，用当前帧校正参考帧，在B区域，也采用当前帧校正参考帧，O区域不进行参数更新。而在参数更新上，仍利用前面的参考帧n-1和当前帧n来进行说明，其过程如下：

首先计算的两帧图像的垂直位移dx和水平位移dy来计算两帧图像的重叠区域的标准差ERR_n-1(i,j)²＝[Y_n(i,j)-Y_n-1(i-d_x,j-d_y)]²，然后采用最陡下降法来自适应更新增益系数和偏置系数，更新公式为：

$\left\{\begin{array}{c}{w}_n(i,j)=w_{n-1}(i,j)-{2\mathrm{\α}}_1\·X_{n-1}(i,j)\·{\mathrm{ERR}}_{n-1}(i,j)\\ b_n(i,j)=b_{n-1}(i,j)-{2\mathrm{\α}}_2\·{\mathrm{ERR}}_{n-1}(i,j)\end{array}\right.---\left(5\right)$

公式(5)中的α₁和α₂分别为增益和偏置系数的校正步长，其中α₁一般取值在0.002～0.008之间，α₂一般取10^-6～10^-8量级。

实施例1

采用320×256像素的制冷型HgCdTe红外热像仪对8-14μm波段进行视频采集，帧频为25帧每秒，采集到的图像未经过任何的算法进行处理，结合图3，其中，图3(a)为采集到的原始视频中截取的一帧图像，图3(b)为经过本发明提出的方法校正后的效果图，在图3(a)上充满了大量的条纹状噪声和低频噪声，而经过本发明提出的非均匀性校正方法处理之后，条纹状噪声和低频噪声都得到了良好的消除，并且图像上也没有带来新的鬼影问题，运动的人也没有产生拖影现象，校正效果明显，图像质量得到明显的提升。

Claims (4)

1.一种对红外视频序列采用图像配准的自适应非均匀性校正方法，其特征在于，方法步骤如下：

步骤1)通过红外热像仪获得实时的红外视频序列，对于实时的红外视频序列，选取前一帧图像为参考帧图像，后一帧图像为当前帧图像，图像大小为M×N；

步骤2)分别计算上述两帧图像中每一行对应的像素值之和，即行投影值；分别计算上述两帧图像中每一列对应的像素值之和，即列投影值；并分别计算每一行和每一列的像素的平均值；

步骤3)对每一行和每一列分别对应的行投影值和列投影值进行修正，得到修正后的每一行和每一列分别对应的行投影值和列投影值：每一行对应的行投影值减去该行的图像的平均值，每一列对应的列投影值分别减去该列的图像的平均值，以消除盲元点对配准的影响；

步骤4)利用上述修正后的每一行和每一列分别对应的行投影值和列投影值计算出两帧图像在估计位移范围内的所有行的互相关信息和列的互相关信息，上述互相关信息是与行或列的相对位移有关的函数，通过比较行和列的互相关信息矩阵，找到分别使得行和列的互相关信息最大的相对位移量(dx,dy)，即为图像的位移；

步骤5)将假设位移加入到配准计算出的相对位移量(dx,dy)进行修正，得到自适应位移值；

步骤6)利用上述自适应位移值对图像进行配准，得到两帧图像的重叠区域，在重叠区域内对参考帧和当前帧上相对应位置的像素值进行误差函数的计算，用上述误差函数更新该位置的增益和偏置系数。

2.根据权利要求1所述的对红外视频序列采用图像配准的自适应非均匀性校正方法，其特征在于：上述步骤4)中，对图像大小为M×N的参考帧和当前帧的行投影值进行互相关信息的计算，得到行向量互相关信息C_y(z)，图像大小为M×N的参考帧和当前帧的列投影值进行互相关信息的计算，得到列向量互相关信息C_x(w)，互相关信息的计算公式为：

其中，和分别为上述步骤3中计算的行投影和列投影，i∈[n-1,n]，n-1代表参考帧，n代表当前帧，z为垂直位移，w为水平位移，且满足z∈[1,2Δ₁],w∈[1,2Δ₂]，Δ₁为垂直方向预设位移，Δ₂为水平方向预设位移，然后在[C_y(1),C_y(2),...C_y(2Δ₁)]和[C_x(1),C_x(2),...C_x(2Δ₂)]两个行列互相关信息矩阵中找到两个最大值和其中为使行列投影的互相关信息最大的位移值，而即图像的垂直方向和水平方向上的相对位移量。

3.根据权利要求1所述的对红外视频序列采用图像配准的自适应非均匀性校正方法，其特征在于：上述步骤5)中，将假设位移加入到配准计算出的相对位移量(dx,dy)进行修正，方法为：

在计算出对应于最大互相关信息的相对位移值(dx,dy)后，判断两帧配准图像的方差差值的绝对值|DX(n-1)-DX(n)|来改变相对位移值，并按照下面公式来改变配准计算的行列偏移向量：

上式中，ds代表dx或dy，如参考帧和当前帧的方差的绝对值小于设定阈值σ，σ根据实际图像进行选择，取值范围为0.2～0.5，则使计算出的水平位移和垂直位移加1，反之，如果不小于设定阈值，则不对水平位移和垂直位移进行修正。

4.根据权利要求1所述的对红外视频序列采用图像配准的自适应非均匀性校正方法，其特征在于：上述步骤6)中，在对前后两帧图像进行配准时，采用双向配准，在用当前帧配准参考帧的同时，用参考帧配准当前帧，得到两组不一样的重叠区域，然后将两个重叠区域叠加在一起进行校正；采用最小均方差法得到误差函数。