CN106525245A - 一种基于三梯度阈值的快速时序盲元检测与校正方法 - Google Patents

Abstract

本发明涉及红外焦平面阵列成像中的红外图像处理领域，公开了一种基于三梯度阈值的快速时序盲元检测与校正方法。本发明以连续N帧图像作为一个累计周期，将每帧图像与其经过降噪处理的结果进行绝对差分，并对差分图像在水平、竖直和对角三个方向进行梯度阈值检测，找到疑似盲元位置点，然后对连续图像各自的疑似盲元分布进行与运算，得到该累计周期内的确认盲元坐标矩阵，最后通过局部插值替换对各确认位置的盲元进行校正。本发明可有效解决目前常用盲元检测方法精度低、适应性差等缺陷，对图像中的随机和连续盲元都可以很好校正，同时算法复杂度低，运算效率高，是一种可在实际红外系统中实现动态检测和实时处理的实用方法手段。

Description

一种基于三梯度阈值的快速时序盲元检测与校正方法

技术领域

本发明属于红外焦平面阵列成像技术中的图像处理技术领域，涉及一种基于三梯度阈值的快速时序盲元检测与校正方法。

背景技术

红外焦平面阵列(IRFPA,Infrared Focal Plane Array)是红外成像系统的核心部件，广泛用于工业、安防以及遥感等相关技术领域中。但由于受外部环境、红外敏感元件、电路结构、半导体特性等各种因素影响，红外焦平面阵列各探测单元往往存在响应的非均匀性，导致输出的红外图像上存在类型椒盐噪声的亮点或暗点，即盲元（或称为无效像元）。盲元的存在严重影响了红外图像质量，制约系统温度分辨率，因此需要对获取的红外图像进行盲元检测与补偿，以便后续的目标探测与识别。

盲元的处理包含了盲元检测和校正两个步骤，前者用于找到盲元位置，后者则是在对应位置用合适的值对盲元点进行替代。在这过程中，盲元检测是盲元校正的前提和基础。到目前为止，国内外已出现许多不同的盲元检测方法，概括起来可分为两大类：1）基于辐射定标的检测技术；2）基于场景的检测方法；其中前者是通过采集不同黑体温度下的均匀辐射图像，根据盲元和正常像元在响应率、噪声特性等不同特征将二者进行区分。这类方法原理简单，算法复杂度低，对位置固定的盲元（死像元）校正效果较好，但对于随环境时间变化的随机盲元则检测精度较低，同时在检测过程中会打断成像系统的正常工作，不利于成像系统的实时校正；而基于场景的盲元检测方法则不依赖外部设备，通过图像处理的相关算法直接对图像中的盲元进行检测和校正，具有成本低、适应性强等优点，因此是当前盲元检测和校正技术的重要研究方向。

目前，基于场景的盲元检测和校正方法，较为成熟的有线性外推法和背景预测法两种，同时还包括在此基础上的一些自适应改进方法。但这些方法都存在以下问题：1）只是从空域上对图像进行盲元检测，忽略了盲元在时域上的变化特性；2）对图像场景的依赖性较大，在场景快速变化时容易造成误检和图像细节丢失；3）部分改进方法计算量较大，难以在实际红外硬件平台上实时应用。

因此，现有技术缺少一种有针对性的、快速、稳健的解决方法。

发明内容

为了解决背景技术中存在的问题，本发明提出了一种基于三梯度阈值的快速时序盲元检测与校正方法，可有效解决目前常用的基于辐射定标和场景类红外焦平面阵列盲元检测方法精度低、适应性差等技术缺陷。

本发明的目的是通过以下技术方案来实现的：一种基于三梯度阈值的快速时序盲元检测与校正方法，包括以下步骤：

1）采集原始图像数据，对获取的图像序列，以连续N帧为一个累计周期，在该周期内对各帧图像X_n(i,j)与其经降噪处理后的结果进行差分运算，得到对应的差分图像S_n(i,j)，即：

其中，n代表累计周期内的图像帧数，其范围为1～N；(i,j)为对应的像素坐标位置。

2）对于差分图像，用三梯度阈值检测方法求解该帧场景图像的疑似盲元坐标矩阵，具体计算方法如下：

2.1）对步骤1）得到的差分图像S_n(i,j)，分别计算其在水平、竖直和对角方向的绝对梯度值，即：

其中和分别为奇数帧时中心坐标(i,j)对应的水平、竖直和对角方向的绝对梯度值，和是偶数帧时的对应值；

2.2）从各绝对梯度矩阵中分别找出各方向最大绝对梯度值，计算表达式为：

其中和分别为当前帧图像在水平、竖直和对角方向上的最大绝对梯度值，和分别为当前帧图像在水平、竖直和对角方向上的绝对梯度矩阵；

2.3）将每个像元三个方向的绝对梯度值分别与对应方向最大绝对梯度值进行阈值判定，若大于阈值，则将该方向盲元判定标志值置为1，反之则为0，计算表达式为：

其中，表示该帧图像在水平、竖直和对角某个方向上的对应的盲元判定标志，k代表其中任意一个方向，Th为设置的判定阈值；

2.4）将三个方向的盲元判定标志值相乘，从而得到当前帧图像的疑似盲元坐标矩阵，计算方法为：

其中，M_n(i,j)表示第n帧图像在中心位置为(i,j)处的疑似盲元判定值，若M_n(i,j)=1，则判定该像元为疑似盲元，记录其位置，反之M_n(i,j)=0则判定该像元为正常像元；

3）对累计周期内的N帧图像均按照步骤2）进行计算后，对所有疑似盲元坐标矩阵进行与运算，得到确定的盲元位置矩阵，计算方法为：

其中，W(i,j)为当前累计周期内最终确定的盲元位置矩阵，若W(i,j)=1，则将该位置点确定为盲元并记录，反之若W(i,j)=0，则确定该点为非盲元点；

4）根据步骤3）所得到的盲元位置矩阵，通过插值替换，对确定的盲元位置点进行校正；

5）当前累计周期结束后，清空盲元位置矩阵，在进入下一个累计周期后，按照上述步骤1）到4）重新进行计算，实时更新盲元列表。

进一步地，所述步骤1）中，所述降噪处理为低通均值滤波，滤波模板半径大小为3。

进一步地，所述步骤1）中，根据硬件计算特性，累积周期N的值为8。

进一步地，所述步骤2）中，根据差分图像序列奇偶帧的不同，交替求解其在水平、竖直和对角方向的绝对梯度差；如果为奇数帧，计算后向绝对梯度差；如果为偶数帧，则计算前向绝对梯度差。

进一步地，所述步骤2）中，所述设定的盲元判定阈值Th取值范围在0.03～0.05之间。

进一步地，所述步骤4）中，所述插值替换为局部中值滤波，采用3×3的滑动窗口内正常像元的中值对盲元进行替换。

本发明与现有相关技术相比，有以下显著优点：(1)在空域上，根据盲元的视觉差异，提出了一种三梯度阈值的盲元检测方法，该方法利用三个方向梯度变化信息作为判据，能够有效检测图像中的各类盲元，不受图像场景影响，检测精度高，适应性强；(2)在时域上，考虑了盲元的时序变化特性，以每个累计周期为单位对盲元进行检测，并利用帧间与运算进一步提升检测精度，避免误校正；(3)总体方法计算复杂度小，且算法流程易于硬件移植，可以满足红外成像系统的实时处理；

附图说明

图1为本发明基于三梯度阈值的快速时序盲元检测与校正方法的流程图；

图2为本发明所使用的基于三梯度阈值的盲元检测示意图；

图3为本发明所使用的含有盲元噪点的红外图像；

图4为本发明实施盲元检测和校正处理后的红外图像。

具体实施方式

以下参照附图对本发明的实施过程进行具体描述。

如图1所示，本发明提供的一种基于三梯度阈值的快速时序盲元检测与校正方法，包括以下步骤：

1）采集原始图像数据，对获取的图像序列，以连续N帧为一个累计周期，在该周期内对各帧图像X_n(i,j)与其经过降噪处理后的结果进行差分运算，得到对应的差分图像S_n(i,j)，即：

n代表累计周期内的图像帧数，其范围为1～N，根据硬件平台的计算特性，N一般取值为8，(i,j)为图像中心坐标位置。其中，降噪处理采用低通均值滤波，滤波模板半径大小为3；

2）对于差分图像，用三梯度阈值检测方法求解该帧场景图像的疑似盲元坐标矩阵，如图2所示，将每个像元与它水平、竖直和对角方向像元进行绝对差分，并设定合适的判定阈值。若筛选出三个方向同时满足判定条件的点，则认为该点为疑似盲元，记录其对应位置，反之则判定该点为正常像元。具体计算方法如下：

2.1）对步骤1）得到的差分图像，分别计算其在水平、竖直和对角方向的绝对梯度值，即：

其中和分别为奇数帧时中心坐标(i,j)对应的水平、竖直和对角方向的绝对梯度值，而和则是偶数帧时的对应值。在累计周期内根据差分图像序列奇偶帧的不同，交替求解其在水平、竖直和对角方向的绝对梯度值，可以充分利用判定位置周围的像元信息，提高盲元判断的准确性；

2.2）从各绝对差分矩阵中分别找出各方向最大绝对梯度值，计算表达式为：

其中和分别为当前帧图像在水平、竖直和对角方向上的最大绝对梯度值，和分别为当前帧图像在水平、竖直和对角方向上的绝对梯度矩阵；

2.3）将每个像元三个方向的绝对梯度值分别与对应方向最大梯度值进行阈值判定，若大于阈值，则将该方向盲元判定标志值置为1，反之则为0，计算表达式为：

其中，表示该帧图像在水平、竖直和对角某个方向上的对应的盲元判定标志，k代表其中任意一个方向，Th为设置的判定阈值，其范围在0.03～0.05之间；

2.4）将三个方向的盲元判定标志值相乘，从而得到当前帧图像的疑似盲元坐标矩阵，计算方法为：

其中，M_n(i,j)表示第n帧图像在中心位置为(i,j)处的疑似盲元判定值，若M_n(i,j)=1，则判定该像元为疑似盲元，记录其位置，反之M_n(i,j)=0则判定该像元为正常像元；

3）对累计周期内的N帧图像都按照步骤2）进行计算后，对所有疑似盲元矩阵进行与运算，得到确定的盲元位置矩阵，计算方法为：

其中，W(i,j)为当前累计周期内最终确定的盲元位置矩阵，若W(i,j)=1，则将该位置点确定为盲元并记录，反之若W(i,j)=0，则确定该点为非盲元点；

4）根据步骤3）所得到的盲元位置矩阵，利用插值替换对确定的盲元位置点进行校正，这里采用3×3的滑动窗口内正常像元的中值对盲元进行替换。

5）当前累计周期结束后，清空盲元位置矩阵，在进入下一个累计周期后，按照上述步骤1）到4）重新进行计算，实时更新盲元列表。

图3为原始图像序列中的其中一帧图像，可以看到未处理前图像中含有许多明显的黑白盲元噪点，严重影响整体图像的视觉效果。利用本发明所述方法进行检测和校正后，对应结果如图4所示，可以看出图像中的盲元均得到了有效校正，且整体图像的细节信息也得到充分保留，大大提升了图像质量和视觉效果。

本发明创造性地提出了一种基于三梯度阈值的快速时序盲元检测与校正方法，该方法综合考虑了盲元在空域和时域的变化特性，能够快速、准确地在图像上对盲元进行定位，检测精度高，同时整体流程简单，运算量小，能够满足红外成像系统的实时处理和使用需求。

Claims (6)

1.一种基于三梯度阈值的快速时序盲元检测与校正方法，其特征在于：该方法包括以下步骤：

1)采集原始图像数据，对获取的图像序列，以连续N帧为一个累计周期，在该周期内对各帧图像X_n(i,j)与其经降噪处理后的结果进行差分运算，得到对应的差分图像S_n(i,j)，即：

$S_n(i,j)=|X_n(i,j)-X_n^l(i,j)|$

其中，n代表累计周期内的图像帧数，其范围为1～N；(i,j)为对应的像素坐标位置。

2)对于差分图像，用三梯度阈值检测方法求解该帧场景图像的疑似盲元坐标矩阵，具体计算方法如下：

2.1)对步骤1)得到的差分图像S_n(i,j)，分别计算其在水平、竖直和对角方向的绝对梯度值，即：

$S_{n,f}^h(i,j)=|S_n(i,j)-S_n(i,j+1)|,S_{n,b}^h(i,j)=|S_n(i,j)-S_n(i,j-1)|$

$S_{n,f}^v(i,j)=|S_n(i,j)-S_n(i+1,j)|,S_{n,b}^v(i,j)=|S_n(i,j)-S_n(i-1,j)|$

$S_{n,f}^d(i,j)=|S_n(i,j)-S_n(i+1,j+1)|,S_{n,b}^d(i,j)=|S_n(i,j)-S_n(i-1,j-1)|$

其中和分别为奇数帧时中心坐标(i,j)对应的水平、竖直和对角方向的绝对梯度值，和是偶数帧时的对应值；

2.2)从各绝对梯度矩阵中分别找出各方向最大绝对梯度值，计算表达式为：

$G_n^h=Max\left(S_n^h\right)$

$G_n^v=Max\left(S_n^v\right)$

$G_n^d=Max\left(S_n^d\right)$

其中和分别为当前帧图像在水平、竖直和对角方向上的最大绝对梯度值，和分别为当前帧图像在水平、竖直和对角方向上的绝对梯度矩阵；

2.3)将每个像元三个方向的绝对梯度值分别与对应方向最大绝对梯度值进行阈值判定，若大于阈值，则将该方向盲元判定标志值置为1，反之则为0，计算表达式为：

$F_n^k(i,j)=\left\{\begin{array}{cc}1,& S_n^k(i,j)>Th\·G_n^k\\ 0,& S_n^k(i,j)\≤Th\·G_n^k\end{array}\right.,k\∈(h,v,d)$

其中，表示该帧图像在水平、竖直和对角某个方向上的对应的盲元判定标志，k代表其中任意一个方向，Th为设置的判定阈值；

2.4)将三个方向的盲元判定标志值相乘，从而得到当前帧图像的疑似盲元坐标矩阵，计算方法为：

$M_n(i,j)=F_n^h(i,j)\·F_n^v(i,j)\·F_n^d(i,j)$

其中，M_n(i,j)表示第n帧图像在中心位置为(i,j)处的疑似盲元判定值，若M_n(i,j)＝1，则判定该像元为疑似盲元，记录其位置，反之M_n(i,j)＝0则判定该像元为正常像元；

3)对累计周期内的N帧图像均按照步骤2)进行计算后，对所有疑似盲元坐标矩阵进行与运算，得到确定的盲元位置矩阵，计算方法为：

$W(i,j)=\underset{n=1}{\overset{N}{\Π}}{M}_n(i,j)$

其中，W(i,j)为当前累计周期内最终确定的盲元位置矩阵，若W(i,j)＝1，则将该位置点确定为盲元并记录，反之若W(i,j)＝0，则确定该点为非盲元点；

4)根据步骤3)所得到的盲元位置矩阵，通过插值替换，对确定的盲元位置点进行校正；

5)当前累计周期结束后，清空盲元位置矩阵，在进入下一个累计周期后，按照上述步骤1)到4)重新进行计算，实时更新盲元列表。

2.根据权利要求1所述的一种基于三梯度阈值的快速时序盲元检测与校正方法，其特征在于：所述步骤1)中，所述降噪处理为低通均值滤波，滤波模板半径大小为3。

3.根据权利要求1所述的一种基于三梯度阈值的快速时序盲元检测与校正方法，其特征在于：所述步骤1)中，根据硬件计算特性，累积周期N的值为8。

4.根据权利要求1所述的一种基于三梯度阈值的快速时序盲元检测与校正方法，其特征在于：所述步骤2)中，根据差分图像序列奇偶帧的不同，交替求解其在水平、竖直和对角方向的绝对梯度差；如果为奇数帧，计算后向绝对梯度差；如果为偶数帧，则计算前向绝对梯度差。

5.根据权利要求1所述的一种基于三梯度阈值的快速时序盲元检测与校正方法，其特征在于：所述步骤2)中，所述设定的盲元判定阈值Th取值范围在0.03～0.05之间。

6.根据权利要求1所述的一种基于三梯度阈值的快速时序盲元检测与校正方法，其特征在于：所述步骤4)中，所述插值替换为局部中值滤波，采用3×3的滑动窗口内正常像元的中值对盲元进行替换。