CN115100068A - 一种红外图像校正方法 - Google Patents

Abstract

本发明属于图像处理领域，具体涉及一种红外图像校正方法。该校正方法根据特征超平面划分非线性方程建立了盲元检测模型，通过对模型的训练获得了能够准确划分盲元像素和正常像素的盲元检测方法，避免盲元的错检和漏检，提高图像校正的可靠性。同时，还优化了盲元补偿过程，避免盲元邻域中存在的其他盲元对盲元补偿造成影响，增强了盲元补偿的准确性；在上述基础上，通过自适应非均匀校正，结合剪切波变化改进阈值方法以及非锐化掩膜方法分别对红外图像进行噪声抑制和图像增强，并且对弱小目标进行检测以验证红外图像的校正效果。本发明针对校正中的各个步骤，尤其是盲元检测与补偿步骤，对红外图像校正过程进行优化，从而得到更加准确的校正结果。

Description

一种红外图像校正方法

技术领域

本发明属于图像处理领域，具体涉及一种红外图像校正方法。

背景技术

红外焦平面阵列受非均匀性影响，导致红外图像盲元像素的产生，红外焦平面阵列中盲元像素的数量会随着时间的推移逐渐增加，降低图像质量。盲元像素分为死像元和热像元，即图像上显示暗点或者亮点。

现有技术中，往往是通过像素与附近背景的均值进行比较，检测出盲元，再针对检测出的盲元补偿实现图像校正。如申请公布号为CN104330164A的中国发明专利申请文件公开了一种盲元检测方法，依次对每个像元为中心进行加窗，若像元与窗内灰度均值之差过大，则判断像元为盲元。

上述盲元检测方式虽然能够实现盲元检测，但是检测结果受红外图像质量的影响较大，若红外图像中盲元像素较多，则会影响窗内灰度均值，使得盲元像素的识别容易出现误检测的情况，导致最终校正结果的可靠性降低。

发明内容

本发明的目的在于提供一种红外图像校正方法，用于解决现有技术中针对包含盲元的红外图像的校正结果可靠性较低的问题。

为了实现上述目的，本发明提供了一种红外图像校正方法的技术方案，包括以下步骤：

1)获取红外图像，对获取的红外图像进行盲元检测，检测过程如下：；

根据特征超平面划分非线性方程，建立盲元检测模型：

h(x)＝θ^TF≥0

其中F为红外图像的盲元特征，且

其中X表示像素的灰度值，L表示盲元标记点，且l₁₁＝x₁₁,...,l_mn＝x_mn；对于任意一个像素x_ij，盲元特征

其中，

红外图像用矩阵表示为

其中i，j表示像素x_ij在红外图像上的坐标位置，m*n表示红外图像的大小；设Y为盲元像素标识符，红外图像每一个像素对应唯一的标识符0或者1，表示为

将已知盲元位置的序列红外图像数据D＝{(x_ij,y_ij)}，x_ij∈[0,255]，i∈[1,m]，j∈[1,n]，y_ij∈{0,1}输入所述盲元检测模型中进行训练；

训练时的损失函数为

目标函数为

其中C为惩罚参数，C>0；

通过最小化目标函数求取θ，实现对盲元检测模型的训练；

将获取的红外图像输入到训练后的盲元检测模型中，输出盲元检测图像，实现对红外图像的盲元检测；

2)对步骤1)所述的盲元检测图像进行盲元补偿，得到盲元补偿图像；

3)将步骤2)所述的盲元补偿图像进行两点校正，得到两点校正图像；

4)将步骤3)所述的两点校正图像输入到自适应校正模型中，得到非均匀性自适应校正图像；

5)对步骤4)所述的非均匀性自适应校正图像先进行噪声抑制，再进行图像增强，得到校正红外图像；

6)对步骤5)所述的校正红外图像进行目标检测，以检验校正的效果。

该校正方法通过构造特征超平面划分非线性方程，对盲元和正常像素进行划分，相应训练盲元检测模型，对红外图像的盲元进行检测，因此能够充分提取盲元特征，减少误判和漏判，得到更准确的盲元检测结果，从而在后续对盲元进行针对性补充校正时，间接增加图像校正的可靠性，最后再针对校正的红外图像进行目标检测，以检验校正的效果。

进一步地，为避免盲元附近存在的其他盲元对盲元补偿造成的干扰，对盲元检测图像进行盲元补偿，进行盲元补偿的计算公式为：

P(i，j)＝k₁×P(i，j-a)+k₂×P(i，j+b)+m₁×P(i-c，j)+m₂×P(i-c，j)

其中k₁+k₂+m₁+m₂＝1，

具体步骤如下：

根据盲元检测的结果，确定盲元检测图像中盲元点的位置坐标，记为P(i，j)；

对于盲元点P(i，j)，选取该点上下左右四个方向上的第一个非盲元点，分别确定a、b、c、d的大小；

如果a-b＞5或者c-d＞5，则重新选择盲元点斜对角线上四个方向的第一个非盲元点，再次确定a、b、c、d的大小；

如果斜对角线上得到的a、b、c、d的值满足a-b≤5并且c-d≤5，则采用这一组的a、b、c、d的值对P(i，j)进行盲元补偿；如果斜对角线上的a、b、c、d的值依然不满足上述关系式，则比较两组a、b、c、d中a-b和c-d的差值的大小，取差值较小的一组a、b、c、d对P(i，j)进行盲元补偿。

进一步地，根据权利要求1所述的红外图像校正方法，其特征在于，所述两点校正采用两点校正的非均匀性实时校正算法。

该算法首先是通过两点校正得到增益和偏移系数，然后对两个校正系数进行滤波以去除残留噪声，以达到实时校正的功能，同时可以提高信噪比。

进一步地，所述自适应校正模型采用基于UNet结构的残差编解码网络的自适应校正模型。

所述基于UNet结构的残差编解码网络能够通过多尺度采样提高网络的特征提取能力，加入残差映射生成残差图像减少非线性映射范围。该模型能够有效抑制噪声的同时去除“鬼影”。

进一步地，所述自适应校正模型使用均方误差作为损失函数，均方误差如下：

式中，W和H分别表示红外图像的宽度和高度；y表示待校正的图像；f代表自适应校正模型的校正过程；x代表输出的校正后不含非均匀性噪声的真实红外图像。

进一步地，采用剪切波变化改进阈值方法对不含非均匀性噪声的真实红外图像进行噪声抑制，得到真实红外图像的结构特征，具体如下：

将所述真实红外图像分解成至少一幅低频子带图和多幅不同尺度和方向的高频子带图；所述高频子带图的结构特征为获取所述高频子带图在同一尺度空间内不同方向高频子带系数的最大值；所述结构特征的数学表达式为：

其中，(i,j)为输入的真实红外图像上的像素坐标，

表示像素(i,j)第l个尺度和第h个方向的改进剪切系数，feat^l(i,j)代表输入的真实红外图像第l个尺度的结构特征；

其中，

σ₁和σ₂是输入的真实红外图像每个尺度下的高频子带系数的标准差；k为系数，没有实际意义。

进一步地，为防止过度增强边缘和放大噪声，采用特征属性图改进的非锐化掩膜方法，对真实红外图像的结构特征进行图像增强，得到校正红外图像。

进一步地，为提高红外图像中弱小目标分割检测的准确性，所述目标检测采用红外切片张量核范数部分和的神经网络模型方法，检测红外弱小目标，具体如下：

a)局部优先特征提取；输入校正红外图像，通过计算获得与目标和背景信息相关的先验权重图；

b)切片张量构造；通过从左上方到右下方滑动窗口，将原始红外噪声抑制图像和先验权重图分别变换为原始切片张量和先验权重切片张量；

c)目标背景分离；通过乘法器的交替方向法将输入切片张量分解为低秩切片张量和稀疏切片张量；

d)图像重构和目标检测；由低秩切片张量和稀疏切片张量重构目标图像和背景图像，重构过程与构造过程相反；同时，利用一维中值滤波来确定多个切片重叠位置的值；重构完成后，使用自适应阈值分割检出弱小目标。

针对校正红外图像进行红外弱小目标检测，从而检验红外图像校正的效果，弱小目标的检出率越高，说明红外图像的校正效果越好。

附图说明

图1为本发明方法实施例中红外图像校正方法的结构框图；

图2为本发明方法实施例中弱小目标检测的过程框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明了，以下结合附图及实施例，对本发明进行进一步详细说明。

红外图像校正方法实施例

本实施例提供了一种红外图像校正方法，参照图1，具体包括以下步骤：

1)从红外摄像机中获取红外图像序列，进行盲元处理；参照图2，盲元处理包括盲元检测和盲元补偿两部分。盲元检测通过对单帧红外图像通过盲元检测模型进行盲元检测，识别盲元像素，得到盲元检测图像；

其中，通过盲元检测模型进行盲元检测的具体过程为：

①建立盲元检测模型，将单帧红外图像用矩阵表示为

其中i，j表示像素x_ij在红外图像上的坐标位置，m*n表示红外图像的大小；设Y为盲元像素标识符，红外图像每一个像素对应唯一的标识符0或者1，表示为

②当Y＝1时，定义盲元检测模型方程为h(x)＝θ^TF≥0，其中θ∈R^m×n，若像素满足该方程，则该像素为盲元像素；

F为红外图像的盲元特征，且

其中X表示像素的灰度值，L表示盲元标记点，且l₁₁＝x₁₁,...,l_mn＝x_mn；

对于任意一个像素x_ij，盲元特征

其中，

③将序列红外图像数据D＝{(x_ij,y_ij)}，x_ij∈[0,255]，i∈[1,m]，j∈[1,n]，y_ij∈{0,1}输入所述盲元检测模型中进行训练，训练时的损失函数为

目标函数为

其中C为惩罚参数，C>0；

通过最小化目标函数求取θ，得到盲元检测模型。

2)对步骤1)中的盲元检测图像进行盲元补偿，得到盲元补偿图像；

进行盲元补偿的计算公式为：

P(i，j)＝k₁×P(i，j-a)+k₂×P(i，j+b)+m₁×P(i-c，j)+m₂×P(i-c，j)

其中k₁+k₂+m₁+m₂＝1，

盲元补偿具体步骤如下：

根据步骤1)中的盲元检测的结果，确定盲元点的位置坐标，记为P(i，j)；

根据步骤1)中盲元检测的结果，确定盲元检测图像中盲元点的位置坐标，记为P(i，j)；

对于盲元点P(i，j)，选取该点上下左右四个方向上的第一个非盲元点，分别确定a、b、c、d的大小；

如果a-b＞5或者c-d＞5，则重新选择盲元点斜对角线上四个方向的第一个非盲元点，再次确定a、b、c、d的大小；

如果斜对角线上得到的a、b、c、d的值满足a-b≤5并且c-d≤5，则采用这一组的a、b、c、d的值对P(i，j)进行盲元补偿；如果斜对角线上的a、b、c、d的值依然不满足上述关系式，则比较两组a、b、c、d中a-b和c-d的差值的大小，取差值较小的一组a、b、c、d对P(i，j)进行盲元补偿。

3)对步骤2)中的序列帧盲元补偿图像进行两点校正，得到两点校正图像；

其中，

两点校正采用基于两点校正的非均匀性实时校正算法，经过该算法修正后的响应值可通过以下公式表示：

Y_i，j＝K_i，jX_i，j(Φ)+B_i.j

其中Φ是红外径向通量，X_i，j(Φ)是像素(i，j)的响应值；K_i，j为校正增益，B_i，j为失调系数；增益系数和失调系数的计算公式如下：

其中X_i，j(Φ_L)是采用红外焦平面探测器采集标准黑体在低温时的的红外原始图像，X_i，j(Φ_H)是采用红外焦平面探测器采集标准黑体在高温时的的红外原始图像，这里的高温和低温可以通过探测器采集图像的实际环境温度有关，通常情况下，低温范围为-80～230℃，高温范围为230～1600℃，Y(Φ_L)和Y(Φ_H)分别是标准黑体在高温和低温时的平均响应值。

4)将步骤3)中的两点校正图像输入到自适应校正模型中，得到非均匀性自适应校正图像；

自适应校正模型采用基于UNet结构的残差编解码网络的自适应校正模型，该模型具有以下优势：

使用左右对称的编解码网络，利用学习残差映射得到多尺度下非均匀性残差图像，利用全局跳跃连接将含非均匀性红外图像减去非均匀性残差图像，得到最后的校正结果；该模型能够有效抑制噪声的同时去除“鬼影”；

为了取得更好的校正效果，在卷积层之后加入批标准化；

使用PReLU激活函数解决部分神经元坏死的问题。

UNet结构能够很好地将图像浅层特征与深层特征相结合，获取全面的图像特征，增加图像校正的准确性。

该自适应校正模型使用均方误差作为损失函数，，均方误差如下：

式中，W和H分别表示红外图像的宽度和高度；y表示待校正的图像；f代表自适应校正模型的校正过程；x代表输出的校正后不含非均匀性噪声的真实红外图像。

5)将步骤4)中的非均匀性自适应校正图像先进行噪声抑制，再进行图像增强，得到红外噪声抑制图像；

首先采用剪切波变化改进阈值方法，对不含非均匀性噪声的真实红外图像进行噪声抑制，得到真实红外图像的结构特征，具体如下：

将真实红外图像分解成至少一幅低频子带图和多幅不同尺度和方向的高频子带图；高频子带图的结构特征为获取所述高频子带图在同一尺度空间内不同方向高频子带系数的最大值；结构特征的数学表达式为：

其中，(i,j)为输入的真实红外图像上的像素坐标，

表示像素(i,j)第l个尺度和第h个方向的改进剪切系数，feat^l(i,j)代表坐标(i,j)处输入的真实红外图像第l个尺度的结构特征；

其中，

σ₁和σ₂是输入的真实红外图像每个尺度下的高频子带系数的标准差。

在获取真实红外图像的高频子带图结构特征后，再采用特征属性图改进的非锐化掩膜方法，对结构特征进行图像增强，得到校正后的红外图像作为校正红外图像。

计算相邻两尺度剪切波系数之间的相关性来衡量图像结构的属性。具体计算用数学公式描述如下：

其中scale_num为剪切波分解层数，

为内积运算符号。这个操作具体分两步进行：首先，从两尺度特征图中选取以坐标(i,j)为中心的两个图像块，feat^l和feat^l+1；然后Attri_feat^l(i,j)由这两个图像块拉伸的两个向量之间的内积计算。

6)对步骤5)中的校正红外图像进行弱小目标检测，以检验校正的效果。

参照图2，目标检测采用红外切片张量核范数部分和的神经网络模型方法，具体如下：

a)局部优先特征提取；输入红外噪声抑制图像，通过计算获得与目标和背景信息相关的先验权重图；

b)切片张量构造；通过从左上方到右下方滑动窗口，将原始红外噪声抑制图像和先验权重图分别变换为原始切片张量和先验权重切片张量；

c)目标背景分离；通过乘法器的交替方向法将输入切片张量分解为低秩切片张量和稀疏切片张量；

d)图像重构和目标检测；由低秩切片张量和稀疏切片张量重构目标图像和背景图像；同时，利用一维中值滤波来确定多个切片重叠位置的值；重构完成后，使用自适应阈值分割检出目标。

本发明能够根据特征超平面划分非线性方程建立红外图像的盲元检测模型，通过对模型的训练获得了能够准确划分盲元像素和正常像素的盲元检测方法，因此能够避免盲元的错检和漏检，提高红外图像校正的可靠性。同时，还优化了盲元补偿过程，避免盲元邻域中存在的其他盲元对盲元补偿造成影响，增强了盲元补偿的准确性；在上述基础上，通过自适应非均匀校正，结合剪切波变化改进阈值方法以及特征属性图改进的非锐化掩膜方法分别对红外图像进行噪声抑制和图像增强，并且对红外弱小目标进行检测以检验校正的效果，最终输出更加准确的红外图像校正结果。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细地说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (8)

1.一种红外图像校正方法，其特征在于，包括以下步骤：

1)获取红外图像，对获取的红外图像进行盲元检测，检测过程如下：；

建立盲元检测模型：

h(x)＝θ^TF≥0

其中F为红外图像的盲元特征，且

其中X表示像素的灰度值，L表示盲元标记点，且l₁₁＝x₁₁,...,l_mn＝x_mn；对于任意一个像素x_ij，盲元特征

其中，

红外图像用矩阵表示为

其中i，j表示像素x_ij在红外图像上的坐标位置，m*n表示红外图像的大小；设Y为盲元像素标识符，红外图像每一个像素对应唯一的标识符0或者1，表示为

将已知盲元位置的序列红外图像数据D＝{(x_ij,y_ij)}，x_ij∈[0,255]，i∈[1,m]，j∈[1,n]，y_ij∈{0,1}输入所述盲元检测模型中进行训练；

训练时的损失函数为

目标函数为

其中C为惩罚参数，C＞0；

通过最小化目标函数求取θ，实现对盲元检测模型的训练；

将获取的红外图像输入到训练后的盲元检测模型中，输出盲元检测图像，实现对红外图像的盲元检测；

2)对步骤1)所述的盲元检测图像进行盲元补偿，得到盲元补偿图像；

3)将步骤2)所述的盲元补偿图像进行两点校正，得到两点校正图像；

4)将步骤3)所述的两点校正图像输入到自适应校正模型中，得到非均匀性自适应校正图像；

5)对步骤4)所述的非均匀性自适应校正图像先进行噪声抑制，再进行图像增强，得到校正红外图像；

6)对步骤5)所述的校正红外图像进行目标检测，以检验校正的效果。

2.根据权利要求1所述的红外图像校正方法，其特征在于，对盲元检测图像进行盲元补偿，盲元补偿的计算公式为：

P(i，j)＝k₁×P(i,j-a)+k₂×P(i,j+b)+m_i×P(i-c,j)+m₂×P(i+d,j)

其中k₁+k₂+m₁+m₂＝1，

具体步骤如下：

根据盲元检测的结果，确定盲元检测图像中盲元点的位置坐标，记为P(i,j)；

对于盲元点P(i,j)，选取该点上下左右四个方向上的第一个非盲元点，分别确定a、b、c、d的大小；

如果a-b＞5或者c-d＞5，则重新选择盲元点斜对角线上四个方向的第一个非盲元点，再次确定a、b、c、d的大小；

如果斜对角线上得到的a、b、c、d的值满足a-b≤5并且c-d≤5，则采用这一组的a、b、c、d的值对P(i,j)进行盲元补偿；如果斜对角线上的a、b、c、d的值依然不满足上述关系式，则比较两组a、b、c、d中a-b和c-d的差值的大小，取差值较小的一组a、b、c、d对P(i,j)进行盲元补偿。

3.根据权利要求1所述的红外图像校正方法，其特征在于，所述两点校正采用两点校正的非均匀性实时校正算法。

4.根据权利要求1所述的红外图像校正方法，其特征在于，所述自适应校正模型采用基于UNet结构的残差编解码网络的自适应校正模型。

5.根据权利要求4所述的红外图像校正方法，其特征在于，所述自适应校正模型使用均方误差作为损失函数，均方误差如下：

式中，W和H分别表示红外图像的宽度和高度；y表示待校正的图像；f代表自适应校正模型的校正过程；x代表输出的校正后不含非均匀性噪声的真实红外图像。

6.根据权利要求1所述的红外图像校正方法，其特征在于，采用剪切波变化改进阈值方法对不含非均匀性噪声的真实红外图像进行噪声抑制，得到真实红外图像的结构特征，具体如下：

将所述真实红外图像分解成至少一幅低频子带图和多幅不同尺度和方向的高频子带图；所述高频子带图的结构特征为获取所述高频子带图在同一尺度空间内不同方向高频子带系数的最大值；所述结构特征的数学表达式为：

其中，(i,j)为输入的真实红外图像上的像素坐标，

表示像素(i,j)第l个尺度和第h个方向的改进剪切系数，feat^l(i,j)代表输入的真实红外图像第l个尺度的结构特征；

其中，

σ₁和σ₂是输入的真实红外图像每个尺度下的高频子带系数的标准差；k为系数，没有实际意义。

7.根据权利要求6所述的红外图像校正方法，其特征在于，采用特征属性图改进的非锐化掩膜方法，对真实红外图像的结构特征进行图像增强，得到校正红外图像。

8.根据权利要求1所述的红外图像校正方法，其特征在于，所述目标检测采用红外切片张量核范数部分和的神经网络模型方法，检测红外弱小目标，具体如下：

a)局部优先特征提取；输入校正红外图像，通过计算获得与目标和背景信息相关的先验权重图；

b)切片张量构造；通过从左上方到右下方滑动窗口，将原始红外噪声抑制图像和先验权重图分别变换为原始切片张量和先验权重切片张量；

c)目标背景分离；通过乘法器的交替方向法将输入切片张量分解为低秩切片张量和稀疏切片张量；

d)图像重构和目标检测；由低秩切片张量和稀疏切片张量重构目标图像和背景图像；同时，利用一维中值滤波来确定多个切片重叠位置的值；重构完成后，使用自适应阈值分割检出目标。

Images