CN109741267A - 基于三边滤波和神经网络的红外图像非均匀性校正方法 - Google Patents

Abstract

本发明公开了一种基于三边滤波和神经网络的红外图像非均匀性校正方法，依次载入原始红外图像序列中第n帧原始红外图像作为当前帧图像，确定当前帧图像的第i行第j列像元校正后的灰度值通过快速三边滤波算法对第n帧原始红外图像进行处理，根据当前帧的像元x邻域τ内的像素获得像元x的期望值qⁿ(x)，根据当前帧图像的第i行第j列像元x的期望值与第i行第j列像元校正后的灰度值之间的偏差，通过具有自适应性的迭代步长更新获得第n+1帧原始红外图像第i行第j列像元对应位置的像元增益参数和像元偏置参数通过像元增益参数和像元偏置参数对第n+1帧原始红外图像进行校正。本发明不仅能提高参数的学习速率，还能改善图像的非均匀性校正效果。

Description

基于三边滤波和神经网络的红外图像非均匀性校正方法

技术领域

本发明属于红外图像处理领域，具体涉及一种基于三边滤波和神经网络的红外图像非均匀性校正方法。

背景技术

作为红外成像系统的核心部件，红外探测器由于制造水平和器件材料等方面的限制，探测器各个像元在相同辐照度下并不能理想地输出完全相同的响应值，这种响应不一致性被称为红外图像的非均匀性。由于红外图像的非均匀性在图像上表现为固定的图案噪声，严重地影响了红外图像质量，因此对于红外图像非均匀性校正算法的研究很有必要。

目前众多学者对非均匀性校正技术进行了深入的研究，并且提出了多种的非均匀性校正算法，主要可以分为两类：基于定标的非均匀性校正算法和基于场景的非均匀性校正算法。由于红外探测器的响应特性会随时间和环境的改变发生漂移，因此基于定标的非均匀性校正算法需要进行周期性定标，无法适应环境突变，难以保证系统的实时性。而基于场景的非均匀性校正算法不需要参考源，可以根据多帧的场景信息进行自适应实时校正，因此成为近几年的主要研究方向；其中，神经网络法(NN-NUC)由于具有校正精度高和自适应强等优点，成为较为典型的场景校正算法，得到了广泛的研究。但是，传统神经网络校正算法存在“鬼影”和图像退化问题。

为了解决这些问题，Vera等人在NN-NUC的基础上提出采用自适应步长的算法(ALR)，可以抑制一部分“鬼影”，但仍残留较多非均匀性；为了更好的保护边缘信息，Rossi等人采用双边滤波算法(BF-NN-NUC)计算期望值，一定程度上改善了边缘模糊和“鬼影”问题，但会破坏非阶跃边缘的细节信息；为了弥补这个缺点，李佳等人又使用三边滤波算法(TF-NN-NUC)去保留更多的细节信息，但是算法耗时较长。

发明内容

有鉴于此，本发明的主要目的在于提供一种基于三边滤波和神经网络的红外图像非均匀性校正方法。

为达到上述目的，本发明的技术方案是这样实现的：

本发明实施例提供一种基于三边滤波和神经网络的红外图像非均匀性校正方法，该方法为：依次载入原始红外图像序列中第n帧原始红外图像作为当前帧图像，确定所述当前帧图像的第i行第j列像元校正后的灰度值通过快速三边滤波算法对第n帧原始红外图像进行处理，根据当前帧的像元x邻域τ内的像素获得像元x的期望值qⁿ(x)，根据所述当前帧图像的第i行第j列像元x的期望值与第i行第j列像元校正后的灰度值之间的偏差，沿着梯度下降最陡的路径，通过具有自适应性的迭代步长更新获得第n+1帧原始红外图像第i行第j列像元对应位置的像元增益参数和像元偏置参数通过所述像元增益参数和像元偏置参数对第n+1帧原始红外图像进行校正。

上述方案中，该方法还包括：将原始红外图像的像元增益参数矩阵的初始值设为全1矩阵，同时将对应原始红外图像的像元偏置参数矩阵的初始值设为全0矩阵。

上述方案中，所述确定所述当前帧图像的第i行第j列像元校正后的灰度值即神经网络的输出层结果，具体为：通过非均匀性的线性校正模型可以计算得到当前帧图像第i行第j列像元校正后的灰度值 其中，表示第n帧原始红外图像第i行第j列像元的灰度值，构成神经网络的输入层，和分别表示第n帧原始红外图像第i行第j列的像元增益参数和像元偏置参数。

上述方案中，所述通过快速三边滤波算法对第n帧原始红外图像进行处理，根据当前帧的像元x邻域τ内的像素获得像元x的期望值qⁿ(x)，具体为：采用快速三边滤波算法对第n帧原始红外图像Iⁿ(x)进行处理，根据当前帧图像的像元x邻域τ内的像素计算得到像元x的期望值qⁿ(x)，进而构建神经网络的隐含层

式中w(δ,x)为快速三边滤波的权重，k(x)为归一化系数,Σ表示累加求和操作。

上述方案中，所述根据当前帧的像元x邻域τ内的像素获得像元x的期望值qⁿ(x)，具体通过以下步骤实现：

步骤301：确定以第n帧原始红外图像的第i行第j列的像元为中心的3×3模板内的邻域方差：

其中，I(x)表示第n帧原始红外图像像元x的灰度值，I(δ)表示以第n帧原始红外图像像元x为中心的3×3邻域内像元δ的灰度值；

步骤302：根据邻域像素灰度方差σ²的大小，快速三边滤波的权重w(δ,x)采用不同的权值函数，表达式如下：

式中，t为选定的阈值，t的值设定为0.05；w_d(δ,x)为空间距离权值函数，表示为w_r(δ,x)为灰度相似性权值函数，表示为w_s(δ,x)为结构相似性权值函数，表示为其中，σ_d、σ_r和σ_s分别表示空间域、灰度域和梯度域的高斯标准差，表示图像的梯度。

上述方案中，所述通过具有自适应性的迭代步长更新获得第n+1帧原始红外图像第i行第j列像元对应位置的像元增益参数和像元偏置参数具体为：将神经网络的隐含层得到的期望值反馈到神经网络的校正层，通过最陡下降法进行迭代更新，使得期望值与校正值的偏差最小，迭代计算公式分别为：

上述方案中，所述具有自适应性的迭代步长通过以下步骤确定：

步骤501：确定以第n帧原始红外图像的第i行第j列的像元为中心的3×3的邻域τ在相邻帧的变化量：

其中，和分别表示第n帧原始红外图像第i行第j列像元的灰度值和第n+1帧原始红外图像第i行第j列像元的灰度值；

步骤502：根据邻域τ在相邻帧的变化量和灰度邻域标准差可以计算得到具有自适应的迭代步长表达式如下：

式中，z为选定的阈值，z的值设定为1；c为允许的最大迭代步长，c的值设定为0.03；表示在第n帧原始红外图像第i行第j列像元处的迭代步长；为像素的灰度邻域方差。

与现有技术相比，本发明在红外图像期望值求取步骤采用了快速三边滤波算法可以根据像素邻域灰度方差的大小选取合适的滤波函数，在保护边缘细节信息的同时可以提升算法的处理速度；同时在红外图像像元校正参数更新过程中，更新的迭代步长结合了邻域的灰度方差和帧间变化量进行自适应性地调整，不仅可以提高参数的学习速率，还能改善图像的非均匀性校正效果。

附图说明

图1为本发明实施例提供一种基于三边滤波和神经网络的红外图像非均匀性校正方法的流程图；

图2为本发明实施例提供一种基于三边滤波和神经网络的红外图像非均匀性校正方法中原始红外图像序列的第500帧图像；

图3为本发明中经过传统神经网络非均匀性校正算法校正后的第500帧图像；

图4为本发明中经过基于三边滤波和神经网络的红外图像非均匀性校正算法校正后的第500帧图像；

图5为本发明中传统神经网络非均匀性校正算法、现有的基于三边滤波的非均匀性校正算法和本发明在校正过程中的图像信噪比(PSNR)的曲线对比图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例提供一种基于三边滤波和神经网络的红外图像非均匀性校正方法，如图1所示，该方法为：

步骤1：输入原始红外图像序列的所有图像；

具体地，图2为本发明的实施例中，第500帧带有非均匀性的原始红外图像；带有非均匀性的原始红外图像序列共有500帧图像，并且每一帧图像大小都为320×256像素；从图2可以看出，原始图像带有明显的固定图案噪声，图像质量受到严重的影响。

步骤2：将红外图像像元增益参数矩阵的初始值设为全1矩阵，同时将对应红外图像像元偏置参数矩阵的初始值设为全0矩阵，通过非均匀性的线性校正模型计算得到当前帧图像的第i行第j列像元校正后的灰度值

其中，表示第n帧原始红外图像第i行第j列像元的灰度值，和分别表示第n帧原始红外图像第i行第j列的像元增益参数和像元偏置参数。

步骤3：采用快速三边滤波算法对第n帧原始红外图像Iⁿ(x)进行处理，利用当前帧原始红外图像像元x邻域τ内的像素计算得到像元x的期望值qⁿ(x)，计算公式为：

式中w(δ,x)为快速三边滤波的权重，k(x)为归一化系数,Σ表示累加求和操作。

具体通过以下步骤实现：

确定以第n帧原始红外图像第i行第j列的像元为中心的3×3模板内的邻域方差：

其中，I(x)表示第n帧原始红外图像像元x的灰度值，I(δ)表示以第n帧原始红外图像像元x为中心的3×3邻域内像元δ的灰度值；

用于计算像元x期望值的快速三边滤波权值函数是由邻域像元的灰度方差σ²决定的，当邻域方差较小时，则认为该区域较为平坦，快速三边滤波的权重w(δ,x)采用简单的空间距离权值函数可以提升算法的速度；当邻域方差较大时，则认为该区域存在边缘区域或者细节较为丰富，快速三边滤波的权重w(δ,x)采用三边滤波权值函数可以更加精确地计算期望值，表达式如下：

式中，t为选定的阈值，t的值设定为0.05；w_d(δ,x)为空间距离权值函数，可表示为w_r(δ,x)为灰度相似性权值函数，可表示为w_s(δ,x)为结构相似性权值函数，可表示为其中，σ_d、σ_r和σ_s分别表示空间域、灰度域和梯度域的高斯标准差，表示图像的梯度。

步骤4：利用当前帧图像第i行第j列像元x的期望值与当前帧图像第i行第j列像元校正后的灰度值之间的偏差，沿着梯度下降最陡的路径，采用具有自适应性的迭代步长更新得到第n+1帧图像的第i行第j列像元对应位置的像元增益参数和像元偏置参数迭代计算公式分别为：

其中，更新校正参数的具有自适应的迭代步长具体通过以下步骤实现：

确定以第n帧原始红外图像的第i行第j列的像元为中心的3×3的邻域τ在相邻帧的变化量：

其中，和分别表示第n帧原始红外图像第i行第j列像元和第n+1帧原始红外图像第i行第j列像元的灰度值；

根据邻域τ在相邻帧的变化量和灰度邻域标准差可以计算得到具有自适应的迭代步长表达式如下：

式中，z为选定的阈值，z的值设定为1；c为允许的最大迭代步长，c的值设定为0.03；表示在第n帧原始红外图像第i行第j列像元处的迭代步长；为像素的灰度邻域方差。

步骤6：由步骤5更新得到的下一帧图像第i行第j列像元对应位置的红外图像像元增益参数和红外图像像元偏置参数可以得到下一帧的校正图像，对于后续的原始红外图像可以循环重复以上操作。

图3为本发明实施例中，带有非均匀性的原始红外图像序列的第500帧图像经过传统神经网络非均匀性校正算法校正后的结果，从图3可以看出，校正后的图像在黑色箭头区域会出现拖影，影响了图像的校正质量；

图4为本发明实施例中，带有非均匀性的原始红外图像序列的第500帧图像经过快速三边滤波和神经网络的红外图像非均匀性校正算法校正后的结果；从图4可以看出，校正后的图像在黑色箭头区域几乎不存在拖影，非均匀性校正效果较好；

图5为本发明实施例中传统神经网络非均匀性校正算法、现有的基于三边滤波的非均匀性校正算法和本发明校正过程中的图像信噪比(PSNR)的曲线对比图，可以看出，与传统神经网络非均匀性校正算法相比，现有的基于三边滤波的非均匀性校正算法和本发明得到的校正结果具有更高的信噪比，表明现有的基于三边滤波的非均匀性校正算法和本发明可以更有效地降低原始红外图像的非均匀性。

结合下表1可以看出，虽然本发明和现有的基于三边滤波的非均匀性校正算法的校正结果比较接近，但是在算法的处理速度方面，本发明具有明显的优势。

表1每帧图像的平均处理时间(单位：ms)

本发明提出的基于三边滤波和神经网络的红外图像非均匀性校正方法首先对红外图像的像元增益参数和像元偏置参数进行初始化，利用对应的校正参数计算出当前帧原始红外图像数据的校正值，然后设计一种快速三边滤波器来计算当前帧原始红外图像数据的期望值，同时为了使图像校正值和期望值之间的误差最小，采用最陡下降的方法迭代更新得到下一帧红外图像数据对应的像元增益参数和像元偏置参数，其中更新的迭代步长结合了邻域的灰度方差和帧间变化量进行自适应性地调整，最后当当前帧的全部红外图像数据处理完后，输入下一帧的图像数据重复以上的操作，直到校正参数达到收敛，获得较好的非均匀性校正效果。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (7)

1.一种基于三边滤波和神经网络的红外图像非均匀性校正方法，其特征在于，该方法为：依次载入原始红外图像序列中第n帧原始红外图像作为当前帧图像，确定所述当前帧图像的第i行第j列像元校正后的灰度值通过快速三边滤波算法对第n帧原始红外图像进行处理，根据当前帧的像元x邻域τ内的像素获得像元x的期望值qⁿ(x)，根据所述当前帧图像的第i行第j列像元x的期望值与第i行第j列像元校正后的灰度值之间的偏差，沿着梯度下降最陡的路径，通过具有自适应性的迭代步长更新获得第n+1帧原始红外图像第i行第j列像元对应位置的像元增益参数和像元偏置参数通过所述像元增益参数和像元偏置参数对第n+1帧原始红外图像进行校正。

2.根据权利要求1所述的基于三边滤波和神经网络的红外图像非均匀性校正方法，其特征在于，该方法还包括：将原始红外图像的像元增益参数矩阵的初始值设为全1矩阵，同时将对应原始红外图像的像元偏置参数矩阵的初始值设为全0矩阵。

3.根据权利要求1或2所述的基于三边滤波和神经网络的红外图像非均匀性校正方法，其特征在于，所述确定所述当前帧图像的第i行第j列像元校正后的灰度值即神经网络的输出层结果，具体为：通过非均匀性的线性校正模型可以计算得到当前帧图像第i行第j列像元校正后的灰度值 其中，表示第n帧原始红外图像第i行第j列像元的灰度值，构成神经网络的输入层，和分别表示第n帧原始红外图像第i行第j列的像元增益参数和像元偏置参数。

4.根据权利要求3所述的基于三边滤波和神经网络的红外图像非均匀性校正方法，其特征在于，所述通过快速三边滤波算法对第n帧原始红外图像进行处理，根据当前帧的像元x邻域τ内的像素获得像元x的期望值qⁿ(x)，具体为：采用快速三边滤波算法对第n帧原始红外图像Iⁿ(x)进行处理，根据当前帧图像的像元x邻域τ内的像素计算得到像元x的期望值qⁿ(x)，进而构建神经网络的隐含层

式中w(δ,x)为快速三边滤波的权重，k(x)为归一化系数,Σ表示累加求和操作。

5.根据权利要求4所述的基于三边滤波和神经网络的红外图像非均匀性校正方法，其特征在于，所述根据当前帧的像元x邻域τ内的像素获得像元x的期望值qⁿ(x)，具体通过以下步骤实现：

步骤301：确定以第n帧原始红外图像的第i行第j列的像元为中心的3×3模板内的邻域方差：

其中，I(x)表示第n帧原始红外图像像元x的灰度值，I(δ)表示以第n帧原始红外图像像元x为中心的3×3邻域内像元δ的灰度值；

步骤302：根据邻域像素灰度方差σ²的大小，快速三边滤波的权重w(δ,x)采用不同的权值函数，表达式如下：

式中，t为选定的阈值，t的值设定为0.05；w_d(δ,x)为空间距离权值函数，表示为w_r(δ,x)为灰度相似性权值函数，表示为w_s(δ,x)为结构相似性权值函数，表示为其中，σ_d、σ_r和σ_s分别表示空间域、灰度域和梯度域的高斯标准差，表示图像的梯度。

6.根据权利要求5所述的基于三边滤波和神经网络的红外图像非均匀性校正方法，其特征在于，所述通过具有自适应性的迭代步长更新获得第n+1帧原始红外图像第i行第j列像元对应位置的像元增益参数和像元偏置参数具体为：将神经网络的隐含层得到的期望值反馈到神经网络的校正层，通过最陡下降法进行迭代更新，使得期望值与校正值的偏差最小，迭代计算公式分别为：

7.根据权利要求6所述的基于三边滤波和神经网络的红外图像非均匀性校正方法，其特征在于，所述具有自适应性的迭代步长通过以下步骤确定：

步骤501：确定以第n帧原始红外图像的第i行第j列的像元为中心的3×3的邻域τ在相邻帧的变化量：

其中，和分别表示第n帧原始红外图像第i行第j列像元的灰度值和第n+1帧原始红外图像第i行第j列像元的灰度值；

步骤502：根据邻域τ在相邻帧的变化量和灰度邻域标准差可以计算得到具有自适应的迭代步长表达式如下：

式中，z为选定的阈值，z的值设定为1；c为允许的最大迭代步长，c的值设定为0.03；表示在第n帧原始红外图像第i行第j列像元处的迭代步长；为像素的灰度邻域方差。