CN102230823A - 基于边框黑体视场光阑的红外两点非均匀性校正方法 - Google Patents

Abstract

本发明涉及一种针对红外焦平面探测器阵列所成图像的非均匀性校正方法，属于红外热成像领域。本发明通过在红外热像仪的光阑处安装一个可自动伸缩的边框黑体视场光阑，进行边框下的两点校正，得到边框黑体覆盖下探测元的增益校正因子与偏置校正因子；并在两个场景下分别采集f帧经初始校正后的图像，得到每个场景下f-1组帧间位移参数。再采用代数方法获取f-1组有帧间位移的图像对内部探测元的校正参数，取帧平均后得到最终的校正矩阵G与0用于后续红外视频整个视场的校正。本方法具有快捷、自适应、系统小型化的优势；可用于制冷与非制冷红外焦平面探测器热成像系统的设计和生产制造、星上红外热成像系统、红外告警系统、科学研究等领域。

Description

基于边框黑体视场光阑的红外两点非均匀性校正方法

技术领域

本发明涉及一种针对红外焦平面探测器阵列(Infrared Focal Plane Arrays，IRFPA)所成图像的非均匀性校正方法，属于红外热成像领域。

背景技术

红外焦平面探测器阵列(IRFPA)具有结构简单、探测能力强、功耗低、帧频高、稳定性好等优点，在红外搜索系统、机载前视红外系统、成像导引头和成像跟踪系统中得到广泛的应用。IRFPA根据阵列结构可分为两类，一类是线阵，一类是凝视型面阵。其中，凝视型面阵探测器由于省去了结构复杂的光机扫描结构，得到越来越广泛的应用。

由于IRFPA中成千上万个探测元对于同一辐射输入的光电响应不一致，导致图像质量都受到固定背景噪声(Fixed Pattern Noise，FPN)的污染，也就是所谓的非均匀性。非均匀性通常表现为空间上随机分布、时间上集中于低频的固定模式噪声，它会随着工作条件变化而缓慢漂移，并且随着工作时间的延长而加重。非均匀性噪声严重影响了系统的成像性能，降低了系统的温度分辨率。

利用现代信号处理技术对凝视型IRFPA的非均匀性进行校正(Nonuniformity Correction，NUC)，可以使均匀性很差的凝视型IRFPA获得满意的视觉效果和自适应的补偿的温漂噪声，从而提高热成像系统的温度分辨率，具有巨大的应用价值和实际意义。

现有非均匀性校正方法大致可分为两类，即基于参考辐射源的校正方法(Calibration-Based NUC，CBNUC)和基于场景的自适应校正方法(Scene-BasedNUC，SBNUC)。CBNUC的基本思想是：利用参考辐射源为IRFPA器件提供均匀的辐照度，并对每个探测单元的响应输出进行测量，计算出各探测单元的校正因子——增益和偏置。SBNUC的基本思想是：计算增益和偏置因子的数据不是取自参考源，而是全部或部分来自拍摄场景的信息，该方法不需要遮挡全视场，不影响目标跟踪，但同时也存在计算量过大等问题。

实际工程应用中广泛使用的是一点校正方法(One Point Correction，OPC)和两点校正方法(Two Point Correction，TPC)，它们都属于CBNUC方法。TPC方法假设探测元的非均匀性由增益参数G与偏置参数O决定，通常分别采用高低温黑体遮挡视场，以获取校正参数G与O。此后的每帧图像与GO进行乘加运算，从而完成非均匀性补偿。OPC方法在建模时认为增益参数G恒等于1，计算时只考虑偏置因数的影响，校正效果差于TPC方法。OPC与TPC校正方法在系统工作时需要遮挡视场，会影响系统的正常工作，在目标跟踪等场合可能会造成目标的丢失。SBNUC方法中的代数方法通过代数运算获取图像的帧间位移，并最终求得校正矩阵，计算量相对较小，但校正效果相当于CBNUC中的OPC方法。

发明内容

本发明的目的是为了能够有效提高红外热像仪的成像质量，降低焦平面非均匀性的同时及时补偿温漂噪声，提出了一种基于边框黑体视场光阑的红外两点非均匀性校正方法，用于凝视型焦平面阵列的非均匀性校正。

本发明技术方案的具体实现步骤如下：

步骤一、改进红外热像仪。

在红外热像仪的光阑处安装一个可自动伸缩的边框黑体视场光阑。该视场光阑表面均匀地涂着黑体材料，黑体材料要求有较高的发射率。光阑设计成可控温的，可以通过半导体制冷或水冷的方式进行温度控制。在机械结构上，光阑设计成可伸缩的，这样就可以根据图像校正的需要插入与抽出成像视场。边框黑体视场光阑可伸出的最大范围为刚好能遮挡住视场的边缘。边框黑体视场光阑进入视场的有效边框宽度c由两帧之间最大位移确定，原则为能够适应所有可能的运动方向。为了便于描述，将边框黑体视场光阑覆盖下像元所组成的集合定义为P₁，未被黑体覆盖下像元所组成的集合定义为P₂。

步聚二.将红外热像仪出厂的校正参数查找表G₀、O₀作为改进后的红外热像仪的初始校正参数，用于对所采集图像的初始校正。

步骤三、进行边框下的两点校正。

将边框黑体视场光阑分别在高温t_h和低温t_l时整个插入视场，得到其覆盖下探测元所接受到的辐射值x(t_h)和x(t_l)后，随即缩回。边框黑体视场光阑所覆盖的探测元(i，j)对高低温辐射的响应为y(i，j，t_h)与y(i，j，t_l)，可得边框黑体覆盖下探测元的增益校正因子与偏置校正因子

$\hat{g}(i,j)=\frac{x\left(t_h\right)-x\left(t_l\right)}{y(i,j,t_h)-y(i,j,t_l)},(i,j)\∈P_1---\left(1\right)$

$\hat{o}(i,j)=\frac{x\left(t_h\right)y(i,j,t_l)-x\left(t_l\right)y(i,j,t_h)}{y(i,j,t_l)-y(i,j,t_h)},(i,j)\∈P_1---\left(2\right)$

步骤四、使用步骤一改进后的红外热像仪在两个场景下分别采集f帧经初始校正后的图像。若相邻两帧图像为一对，则每个场景下都组成f-1个帧对；对每个帧对进行帧间位移估计，得到每个场景下f-1组帧间位移参数。

其中，帧间位移估计方法可采用基于梯度的位移估计方法、基于投影的位移估计方法、频域位移估计方法等。

步骤五、采用代数方法获取步骤四中的某一组有帧间位移的图像对内部探测元的校正参数。

具体代数方法如下：

1)设在场景S下，IRFPA的探测元(i，j)第k帧所接收到的红外辐射值为x_k(i，j，S)，探测元响应为y_k(i，j，S)，则有

y_k(i，j，S)＝a(i，j)x_k(i，j，S)+b(i，j)  (i，j)∈P₂           (3)

其中a(i，j)表示乘性噪声，b(i，j)表示加性噪声。

探测元响应与红外辐射值之间呈线性关系，可得

$x_k(i,j,S)=\frac{y_k(i,j,S)-b(i,j)}{a(i,j)}---\left(4\right)$

本发明的方法需要确定图像序列中相邻帧间亚像元级的位移量。假设IRFPA的图像序列中第k帧y_k与第k+1帧y_k+1为一组有二维相对位移的图像对，y_k+1相对y_k的位移为(α_k，β_k)，α_k表示两帧之间的垂直位移，向下为正；β_k表示两帧之间的水平位移，向右为正。位移量可表示为整数和小数之和，即

其中，

和Δα_k分别表示位移量α_k的整数和小数部分，

和Δβ_k分别表示位移量β_k的整数和小数部分。

双线性插值时所用的四个系数γ_(1，k)，γ_(2，k)，γ_(3，k)，γ_(4，k)分别为

γ_(1，k)＝|Δα_kΔβ_k|

γ_(2，k)＝|Δα_k|(1-|Δβ_k|)

γ_(3，k)＝(1-|Δα_k|)|Δβ_k|                     (6)

γ_(4，k)＝(1-|Δα_k|)(1-|Δβ_k|)

易知γ_(1，k)+γ_(2，k)+γ_(3，k)+γ_(4，k)＝1。

按照国际惯例约定垂直向下和水平向右的方向为正(其余三个相对运动方向也可类推建模)，则可得到第k+1帧的信号输出双线性插值估计

$y_{k+1}(i,j,S)=a(i,j){\hat{x}}_{k+1}(i,j,S)+b(i,j)---\left(7\right)$

其中，

M，N分别表示IRFPA的垂直与水平分辨率。

根据双线性插值模型，

为了便于表示，进行简化，简化方法如下：

则式(8)可以简化为

${\hat{x}}_{k+1}(i,j,S)=\underset{p=1}{\overset{4}{\mathrm{\Σ}}}\left[{\mathrm{\γ}}_{(p,k)}\left(S\right)x_{(p,k)}\left(S\right)\right]---\left(11\right)$

则第k+1帧信号输出的双线性插值估计为

$y_{k+1}(i,j,S)=a(i,j){\hat{x}}_{k+1}(i,j,S)+b(i,j)$

$=a(i,j)\underset{p=1}{\overset{4}{\mathrm{\Σ}}}\left[{\mathrm{\γ}}_{(p,k)}\left(S\right)\frac{y_{(p,k)}\left(S\right)-b_p}{a_p}\right]+b(i,j)---\left(12\right)$

为了求取校正参数

与

需要获取两个图像帧对(y_k(S₁)，y_k+1(S₁))与(y_k(S₂)，y_k+1(S₂)))，根据(12)式组成一个二元一次方程组，解该方程组，可得探测器内部探测元的增益校正因子

与偏置校正因子

$\hat{g}(i,j)=\frac{{\mathrm{\λ}}_k\left(S_2\right){\mathrm{\ξ}}_k(i,j,S_1)-{\mathrm{\λ}}_k\left(S_1\right){\mathrm{\ξ}}_k(i,j,S_2)}{\left\{\begin{array}{c}{\mathrm{\λ}}_k\left(S_2\right)[y_{k+1}(i,j,S_1)-{\mathrm{\γ}}_{(4,k)}\left(S_1\right)y_k(i,j,S_1)]\\ -{\mathrm{\λ}}_k\left(S_1\right)[y_{k+1}(i,j,S_2)-{\mathrm{\γ}}_{(4,k)}\left(S_2\right)y_k(i,j,S_2)]\end{array}\right\}},(i,j){\∈P}_2---\left(13\right)$

$\hat{o}(i,j)=\frac{{\mathrm{\ξ}}_k(i,j,S_1)}{{\mathrm{\λ}}_k\left(S_1\right)}+\frac{\left\{\begin{array}{c}{\mathrm{\λ}}_k\left(S_2\right){\mathrm{\ξ}}_k(i,j,S_1)[{\mathrm{\γ}}_{(4,k)}\left(S_1\right)y_k(i,j,S_1)-y_{k+1}(i,j,S_1)]\\ -{\mathrm{\λ}}_k\left(S_1\right){\mathrm{\ξ}}_k(i,j,S_2)[{\mathrm{\γ}}_{(4,k)}\left(S_1\right)y_k(i,j,S_1)-y_{k+1}(i,j,S_1)]\end{array}\right\}}{\left\{\begin{array}{c}{\mathrm{\λ}}_k\left(S_1\right){\mathrm{\λ}}_k\left(S_2\right)[y_{k+1}(i,j,S_1)-{\mathrm{\γ}}_{(4,k)}\left(S_1\right)y_k(i,j,S_1)]\\ -{\mathrm{\λ}}_k\left(S_1\right){\mathrm{\λ}}_k\left(S_1\right)[y_{k+1}(i,j,S_2)-{\mathrm{\γ}}_{(4,k)}\left(S_2\right)y_k(i,j,S_2)]\end{array}\right\}},(i,j){\∈P}_2---\left(14\right)$

其中

${\mathrm{\ξ}}_k(i,j,S)=\underset{p=1}{\overset{3}{\mathrm{\Σ}}}\left[{\mathrm{\γ}}_{(p,k)}\left(S\right)\frac{y_{(p,k)}\left(S\right)-b_p}{a_p}\right]---\left(15\right)$

λ_k(S)＝1-γ_(4，k)(S)

2)为方便划分像素，引入如下定义：c+1≤l≤min(M，N)，定义某一行与某一列范围内的探测元区域为G_l，该区域内的探测元包括{(l，l)，...，(M，l)；(l，l+1)，...，(l，N)}。

对于探测元区域G_l内的递推校正的过程如下：

①令l＝c+1；

②对(i，j)∈G_l，以左上角的未校正探测元(l，l)为起点，根据式(13)、(14)与(15)，按照向下或向右的顺序递推计算探测元的校正参数，直至完成G_l范围内所有探测元校正参数的计算。计算时，对于G_l内的每一个探测元，其左上方探测元的校正参数都是已知的；

③令l′＝l+1，对(i，j)∈G_l′按照同样步骤计算G_l′的校正参数，第②步中G_l范围内已经计算出的校正参数将参加到运算中来。

④令l＝l′，重复②-③步直至l＝min(M，N)+1。

上述内部代数方法具有空间上的递推结构。递推开始于索引为(l，l)的未校正探测元，并沿着向右和向下的方向进行处理，循环更新每一行或列的校正参数。每一个探测元的校正参数都按照这种方法进行逐步估计，直到所有的探测元都完成该过程。

步骤六、用步骤三中所得的边框黑体视场光阑所覆盖下探测元(i，j)的校正参数

以及步骤四中所得的帧间位移参数，按照步骤五所述代数方法，对边框黑体未覆盖的视场中其他探测元进行递归校正，获取红外热像仪整个视场共f-1组的增益与偏置校正因子。

步骤七、对步骤六中得到的f-1组增益校正因子与偏置校正因子分别取帧平均，得到最终的校正矩阵G与O。

步骤八.将步骤七中所得的校正因子G与O更新至步骤一的初始校正参数查找表，将校正矩阵G与O应用于后续红外视频整个视场的校正，其方法为对未校正图像乘以G，再加上O。

有益效果

本发明方法用于凝视型焦平面阵列的非均匀性校正，通过将两点校正方法同SBNUC方法中的代数方法相结合，既能保证绝大部分主视场不受任何干扰，还能自适应的根据场景调整校正参数。相比于当前需要参考黑体进行周期性校正的工作模式，具有快捷、自适应、系统小型化的优势，是一种全新的技术方案。该方法仅需代数运算，运算量低、鲁棒性强，可在不遮挡中心视场和不需精确测量温度的情况下实现快速、高效的两点校正；可用于制冷与非制冷红外焦平面探测器热成像系统的设计和生产制造、星上红外热成像系统、红外告警系统、科学研究等领域，能对各种模式的非均匀性进行校正。

附图说明

图1是基于边框黑体视场光阑的红外两点非均匀性校正方法的流程图。

图2是焦平面阵列中边框黑体视场光阑的工作状态示意。a为边框黑体伸出时IRFPA的视场，b为边框黑体缩回时IRFPA的视场。

图3是具体实施方式中二维亚像素级相对运动的双线性插值模型。a表示第k帧，b表示第k+1帧，b中阴影部分像元的灰度值可以由a中相邻点像元的灰度值按照图示插值得到。

图4是具体实施方式中递归校正过程演示图，左上部分是两点校正，右下部分表示代数算法校正范围和方向。

图5是实施例中基于边框黑体光阑的红外两点非均匀性校正方法参数更新的流程图。

图6是具体实施方式中本发明方法的校正效果示意图。a为U型边框黑体在低温下插入视场，b为U型边框黑体在高温下插入视场，c表示边框黑体缩回，对边框像元进行校正，d为代数算法向内递归校正后的效果图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

本发明方法的具体步骤如图1所示。

在具体工程实施中，采用本发明方法进行动态非均匀性校正的过程如下：

每隔一定时间，光阑伸出，计算新的校正因子，跟踪参数随时间的缓慢漂移。每隔一定的帧数(如1000帧)，边框黑体视场光阑在高低温下整个插入视场随后缩回，由于其遮挡的宽度很窄，所以对热像仪的观察视场影响很小。

实施例

下面结合实例来说时本发明的运用，采用分辨率为320×240的制冷型HgCdTe红外热像仪进行了测试，此种热像仪的非均匀性主要表现为斑纹状与条纹状，非均匀性的存在对观察视场造成了严重干扰。

基于边框黑体的IRFPA非均匀校正参数更新步骤如图5所示：

S1.利用初始辐射定标得到的参数矩阵G₀、O₀作为查找表，作为初始校正参数；

S2.边框黑体视场光阑在高低温下伸出，计算边框黑体下像元视场光阑的增益校正参数

与偏置校正参数

边框黑体视场光阑随即缩回，如图2所示，在这里，取边框的宽度c＝15；

S3.读入两个场景下各20帧图像数据，保存入数组T中；

S4.将S3中数组T里的两个场景下各自20帧图像分别组成19个帧对，计算帧间位移参数；

S5.用S2中的校正参数

与

以及S4中所得的帧间位移参数，采用代数方法，得出整个视场共19组的校正因子。其中，获得探测器内部探测元的增益校正因子与偏置校正因子所采用的二维亚像素级相对运动的双线性插值模型如图3所示。a表示第k帧，b表示第k+1帧，b中阴影部分像元的灰度值可以由a中相邻点像元的灰度值按照图示插值计算得到。图4为内部探测元校正参数的传递过程示意图，一行一列组成一组，一组一组地递归传递校正参数。图5是图像帧数f＝20的探测元区域的递归校正过程演示。

S6.将19组校正参数取帧平均，得到整个视场的校正因子G与O。

S7.将S6中所得的校正因子G与O更新校正参数查找表，将G、O参数用于后续各帧的校正(校正方法：假设含有非均匀性的图像序列为y(n)，校正结果为

则

由实施例可知，本发明仅需极少的帧数就能完成校正参数的估计，运算量小，易于工程实现，可达到快速、高效、自适应的两点校正精度。本实施例的效果如图6所示，图6(a)与图6(b)为非均匀校正前的图像；图6(c)示意了校正的中间过程，对宽度为15个像素的视场四周边框进行两点校正(TPC)后的效果，注意到两点校正后边框内的场景亮度达到一致，斑纹也消除了；图6(d)是采用本发明校正后的效果，图像整体达到了均匀一致的效果，大幅度提高了图像质量。可以很明显的看出，原始图像中的条纹状，网格状，不规则斑纹状非均匀噪声经过校正后都基本清除。

在军事应用中，热像仪的地空背景转换在目标跟踪时是非常频繁的，由此造成的非均匀校正参数漂移也是很大的，如果频繁利用CBNUC方法遮挡全视场，很容易造成目标的丢失。本发明将NUC领域的两类典型方法(两点校正法和场景代数法)通过边框黑体视场光阑有机地结合，既保证了周期性两点校正的精度，又不会遮挡中心视场，并且具有场景类方法周期性自适应的特性。

Claims (3)

1.基于边框黑体视场光阑的红外两点非均匀性校正方法，其特征在于：具体实现步骤如下：

步骤一、改进红外热像仪；

在红外热像仪的光阑处安装一个可自动伸缩的边框黑体视场光阑；边框黑体视场光阑进入视场的有效边框宽度c由两帧之间最大位移确定，原则为能够适应所有可能的运动方向；

步聚二.将红外热像仪出厂的校正参数查找表G₀、O₀作为改进后的红外热像仪的初始校正参数，用于对所采集图像的初始校正；

步骤三、进行边框下的两点校正；

将边框黑体视场光阑分别在高温t_h和低温t_l时整个插入视场，得到其覆盖下探测元所接受到的辐射值x(t_h)和x(t_l)后，随即缩回；边框黑体视场光阑所覆盖的探测元(i，j)对高低温辐射的响应为y(i，j，t_h)与y(i，j，t_l)，可得边框黑体覆盖下探测元的增益校正因子 

与偏置校正因子 

其中，P₁为边框黑体视场光阑覆盖下的像元集合；

步骤四、使用步骤一改进后的红外热像仪在两个场景下分别采集f帧经初始校正后的图像；若相邻两帧图像为一对，则每个场景下都组成f-1个帧对；对每个帧对进行帧间位移估计，得到每个场景下f-1组帧间位移参数；

步骤五、采用代数方法获取步骤四中的某一组有帧间位移的图像对内部探测元的校正参数；

具体代数方法如下：

1)设在场景S下，红外焦平面探测器阵列的探测元(i，j)第k帧所接收到的红外辐射值为x_k(i，j，S)，探测元响应为y_k(i，j，S)，则有

y_k(i，j，S)＝a(i，j)x_k(i，j，S)+b(i，j)  (i，j)∈P₂         (3)

其中a(i，j)表示乘性噪声，b(i，j)表示加性噪声，P₂为未被黑体覆盖的像元集合； 

探测元响应与红外辐射值之间呈线性关系，可得

设红外焦平面探测器阵列的图像序列中第k帧y_k与第k+1帧y_k+1为一组有二维相对位移的图像对，y_k+1相对y_k的位移为(α_k，β_k)，α_k表示两帧之间的垂直位移，向下为正；β_k表示两帧之间的水平位移，向右为正；位移量为

其中， 

和Δα_k分别表示位移量α_k的整数和小数部分， 

和Δβ_k分别表示位移量β_k的整数和小数部分；

双线性插值时所用的四个系数γ(_1，k)，γ_(2，k)，γ_(3，k)，γ_(4，k)分别为

γ_(1，k)＝|Δα_kΔβ_k|

γ_(2，k)＝|Δα_k|(1-|Δβ_k|)

γ_(3，k)＝(1-|Δα_k|)|Δβ_k|                           (6)

γ_(4，k)＝(1-|Δα_k|)(1-|Δβ_k|)

易知γ_(1，k)+γ_(2，k)+γ_(3，k)+γ_(4，k)＝1；

按照国际惯例约定垂直向下和水平向右的方向为正，可得到第k+1帧的信号输出双线性插值估计

其中， 

M，N分别表示红外焦平面探测器阵列的垂直与水平分辨率；

根据双线性插值模型，

进行简化如下：

则式(8)可简化为

则第k+1帧信号输出的双线性插值估计为

为了求取校正参数 与 

需要获取两个图像帧对(y_k(S₁)，y_k+1(S₁))与(y_k(S₂)，y_k+1(S₂)))，根据(12)式组成一个二元一次方程组，解该方程组，可得探测器内部探测元的增益校正因子 

与偏置校正因子 

其中

λ_k(S)＝1-γ_(4，k)(S)

2)为方便划分像素，引入如下定义：c+1≤l≤min(M，N)，定义某一行与某一列范围内的探测元区域为G_l，该区域内的探测元包括{(l，l)，...，(M，l)；(l，l+1)，...，(l，N)}；

对于探测元区域G_l内的递推校正的过程如下： 

①令l＝c+1；

②对(i，j)∈G_l，以左上角的未校正探测元(l，l)为起点，根据式(13)、(14)与(15)，按照向下或向右的顺序递推计算探测元的校正参数，直至完成G_l范围内所有探测元校正参数的计算；计算时，对于G_l内的每一个探测元，其左上方探测元的校正参数 

都是已知的；

③令l′＝l+1，对(i，j)∈G_l′按照同样步骤计算G_l′的校正参数，第②步中G_l范围内已经计算出的校正参数将参加到运算中来；

④令l＝l′重复②-③步直至l＝min(M，N)+1；

步骤六、用步骤三中所得的边框黑体视场光阑所覆盖下探测元(i，j)的校正参数 以及步骤四中所得的帧间位移参数，按照步骤五所述代数方法，对边框黑体未覆盖的视场中其他探测元进行递归校正，获取红外热像仪整个视场共f-1组的增益与偏置校正因子；

步骤七、对步骤六中得到的f-1组增益校正因子与偏置校正因子分别取帧平均，得到最终的校正矩阵G与O；

步骤八.将步骤七中所得的校正因子G与O更新至步骤一的初始校正参数查找表，将校正矩阵G与O应用于后续红外视频整个视场的校正。

2.根据权利要求1所述的基于边框黑体视场光阑的红外两点非均匀性校正方法，其特征在于：步骤一所述的视场光阑表面均匀地涂着有较高发射率的黑体材料，光阑可通过半导体制冷或水冷的方式进行温度控制；且光阑为可伸缩的，可伸出的最大范围为刚好能遮挡住视场的边缘。

3.根据权利要求1所述的基于边框黑体视场光阑的红外两点非均匀性校正方法，其特征在于：步骤八所述的校正方法为对未校正图像乘以G，再加上O。

Images