CN111369458B - 基于多尺度滚动引导滤波平滑的红外弱小目标背景抑制方法 - Google Patents

Abstract

本发明公开了一种基于多尺度滚动引导滤波平滑的红外弱小目标背景抑制方法，包括以下步骤：对待处理图像先基于多尺度RGF构造图像数据立方体，再基于核PCA进行图像数据立方体的降维及主成分提取，然后基于双窗马氏距离进行异常点检测，实现基于多尺度滚动引导滤波平滑的红外弱小目标背景抑制，该方法对红外弱小目标背景的抑制效果较好。

Description

基于多尺度滚动引导滤波平滑的红外弱小目标背景抑制方法

技术领域

本发明涉及一种背景抑制方法，具体涉及一种基于多尺度滚动引导滤波平滑的红外弱小目标背景抑制方法。

背景技术

在红外预警和搜索跟踪系统中，由于目标距探测器较远、大气衰减等原因，探测器上得到的红外图像往往具有对比度低、图像细节模糊、在图像中所占像素点少、信噪比低等特点，这就给弱小目标的自动检测带来了困难。因此，要想提高检测概率，必须在检测之前对原始的红外图像进行预处理，以抑制背景杂波，增强目标。背景抑制是预处理的一个关键环节，其目的就是为了抑制图像中起伏的背景，提高图像的信噪比。背景抑制结果的优劣会直接影响到后续目标检测方法的性能，因此，近些年来许多学者对背景抑制的方法进行了深入的研究。

目前背景抑制方法主要有时域、空域、频域、形态学等滤波方法和统计回归的方法。例如：基于时域轮廓线的下驻点滤波的方法在时域上抑制背景杂波，检测运动的红外弱小目标，对于背景变化剧烈、目标运动速度缓慢的红外序列图像效果较差；将最大中值/均值滤波应用于弱小目标检测的方法，在空域上对图像进行处理，增大了计算量，且在窗口选择过大时会导致对背景杂波抑制效果变差，且容易在目标点周期产生虚假轮廓，定位精度较差；基于形态学top-hat变换的弱小目标检测方法，这种方法对背景杂波的抑制效果与结构元素的选择有非常密切的联系，并且对小于结构元素的背景杂波无法很好地抑制；利用二维最小均方误差滤波(TDLMS)的自适应线性预测方法，在预测过程中采用了最小均方误差准则，当原始红外图像中含有强相关的噪声时，利用杂波的相关性，可以从滤波器的输入信号中预测到杂波分量并将其消除，在滤波器的残差中得到目标信号分量，该方法对于非平稳背景反而可能会导致信噪比的降低。

除以上几种背景抑制方法外，目前针对红外弱小目标图像的背景抑制方法多种多样，但都具有各自的局限性，特别当图像包含较高灰度级，起伏剧烈的复杂背景时，许多方法无法得到良好的抑制效果。

发明内容

本发明的目的在于克服上述现有技术的缺点，提供了一种基于多尺度滚动引导滤波平滑的红外弱小目标背景抑制方法，该方法对红外弱小目标背景的抑制效果较好。

为达到上述目的，本发明所述的基于多尺度滚动引导滤波(RGF)平滑的红外弱小目标背景抑制方法包括以下步骤：对待处理图像先基于多尺度RGF构造图像数据立方体，再基于核PCA进行图像数据立方体的降维及主成分提取，然后基于双滑窗马氏距离(DWMD)算法进行异常检测，实现基于多尺度滚动引导滤波平滑的红外弱小目标背景抑制。

基于多尺度RGF构造图像数据立方体的过程中，通过调整灰度标准差来控制对图像中不同尺度细小细节的平滑滤波，得到一组相关的红外图像数据，其中，利用f_RGF(A,σ_s,σ_r,t)来表示RGF平滑操作，则平滑滤波结果为：

f_out＝f_RGF(A,σ_s,σ_r,t)      (11)

其中，σ_r决定滤波器能够滤除细小纹理的尺度，通过固定距离标准差σ_s及迭代次数t，调整σ_r得不同平滑尺度下的图像，再利用不同平滑尺度下的图像构建多尺度红外数据立方体，多尺度红外数据立方体可表示为：

双窗RX算法的表达式为：

双滑窗RX算法可以表示为：

其中，r_ij为图像中内窗中心的像素点，μ为外窗中所有像素的均值，

为内窗中像素的协方差矩阵。

内窗中像素的协方差矩阵

的表达式为：

其中，

A_k(x,y)为第k个独立分量在(x,y)点的值。

本发明具有以下有益效果：

本发明所述的基于多尺度滚动引导滤波平滑的红外弱小目标背景抑制方法在具体操作时，基于多尺度RGF、核PCA及双滑窗马氏距离算法综合抑制弱小目标背景，增强弱小目标，经实验，本发明对红外弱小目标背景的抑制效果较好，具有较为广阔的应用前景。

附图说明

图1a为未平滑处理时的图像；

图1b为σ_r＝0.001、σ_s＝3时平滑处理后的图像；

图1c为σ_r＝0.001、σ_s＝5时平滑处理后的图像；

图1d为σ_r＝0.001、σ_s＝7时平滑处理后的图像；

图1e为σ_r＝0.005、σ_s＝3时平滑处理后的图像；

图1f为σ_r＝0.005、σ_s＝5时平滑处理后的图像；

图1g为σ_r＝0.005、σ_s＝7时平滑处理后的图像；

图1h为σ_r＝0.01、σ_s＝3时平滑处理后的图像；

图1i为σ_r＝0.01、σ_s＝5时平滑处理后的图像；

图1j为σ_r＝0.01、σ_s＝7时平滑处理后的图像；

图2a为σ_r＝0.005，σ_s＝3、t＝1时滤波后的图像；

图2b为σ_r＝0.005，σ_s＝3、t＝4时滤波后的图像；

图2c为σ_r＝0.005，σ_s＝3、t＝10时滤波后的图像；

图2d为σ_r＝0.005，σ_s＝3、t＝40时滤波后的图像；

图2e为σ_r＝0.005，σ_s＝3、t＝100时滤波后的图像；

图3为本发明的流程图；

图4为双滑窗的示意图；

图5a为第一个图像序列的原始图像；

图5b为第一个图像序列的原始图像的三维显示图；

图5c为第一个图像序列经TDLMS滤波后的图像；

图5d为第一个图像序列经TDLMS滤波后的图像的三维显示图；

图5e为第一个图像序列经Top-hat处理的结果图；

图5f为第一个图像序列经Top-hat处理的三维显示图；

图5g为第一个图像序列经Max-Median滤波后的图；

图5h为第一个图像序列经Max-Median滤波后的图的三维显示图；

图5i为第一个图像序列经本发明处理后的图像；

图5j为第一个图像序列经本发明处理后的图像的三维显示图；

图5k为第一个图像序列经PQFT算法处理后的图像；

图5l为第一个图像序列经PQFT算法处理后的图像的三维显示图；

图5m为第一个图像序列经WRX算法处理后的图像；

图5n为第一个图像序列经WRX算法处理后的图像的三维显示图；

图6a为第二个图像序列的原始图像；

图6b为第二个图像序列的原始图像的三维显示图；

图6c为第二个图像序列经TDLMS滤波后的图像；

图6d为第二个图像序列经TDLMS滤波后的图像的三维显示图；

图6e为第二个图像序列经Top-hat处理的结果图；

图6f为第二个图像序列经Top-hat处理的三维显示图；

图6g为第二个图像序列经Max-Median滤波后的图；

图6h为第二个图像序列经Max-Median滤波后的图的三维显示图；

图6i为第二个图像序列经本发明处理后的图像；

图6j为第二个图像序列经本发明处理后的图像的三维显示图；

图6k为第二个图像序列经PQFT算法处理后的图像；

图6l为第二个图像序列经PQFT算法处理后的图像的三维显示图；

图6m为第二个图像序列经WRX算法处理后的图像；

图6n为第二个图像序列经WRX算法处理后的图像的三维显示图；

图7a为第三个图像序列的原始图像；

图7b为第三个图像序列的原始图像的三维显示图；

图7c为第三个图像序列经TDLMS滤波后的图像；

图7d为第三个图像序列经TDLMS滤波后的图像的三维显示图；

图7e为第三个图像序列经Top-hat处理的结果图；

图7f为第三个图像序列经Top-hat处理的三维显示图；

图7g为第三个图像序列经Max-Median滤波后的图；

图7h为第三个图像序列经Max-Median滤波后的图的三维显示图；

图7i为第三个图像序列经本发明处理后的图像；

图7j为第三个图像序列经本发明处理后的图像的三维显示图；

图7k为第三个图像序列经PQFT算法处理后的图像；

图7l为第三个图像序列经PQFT算法处理后的图像的三维显示图；

图7m为第三个图像序列经WRX算法处理后的图像；

图7n为第三个图像序列经WRX算法处理后的图像的三维显示图；

图8a为第四个图像序列的原始图像；

图8b为第四个图像序列的原始图像的三维显示图；

图8c为第四个图像序列经TDLMS滤波后的图像；

图8d为第四个图像序列经TDLMS滤波后的图像的三维显示图；

图8e为第四个图像序列经Top-hat处理的结果图；

图8f为第四个图像序列经Top-hat处理的三维显示图；

图8g为第四个图像序列经Max-Median滤波后的图；

图8h为第四个图像序列经Max-Median滤波后的图的三维显示图；

图8i为第四个图像序列经本发明处理后的图像；

图8j为第四个图像序列经本发明处理后的图像的三维显示图；

图8k为第四个图像序列经PQFT算法处理后的图像；

图8l为第四个图像序列经PQFT算法处理后的图像的三维显示图；

图8m为第四个图像序列经WRX算法处理后的图像；

图8n为第四个图像序列经WRX算法处理后的图像的三维显示图；

图9a为本发明与其它方法的BSF对比效果图；

图9b为本发明与其它方法的ISCR对比效果图。

具体实施方式

下面结合附图对本发明做进一步详细描述：

本发明在使用滚动引导滤波得到多尺度红外数据立方体后，采用核PCA对多维数据进行处理，去除冗余信息，寻找图像数据中的主要信息，最后利用双滑窗马氏距离抑制背景，增强弱小目标。

1、滚动引导滤波理论

2014年，Zhang Q.等人针对边缘保持型平滑滤波器在去除噪声的过程中无法区分边缘与图像纹理的问题，提出了能够移除不同尺度噪声及纹理细节并保持边缘强度的滚动引导滤波器(Rolling Guidance Filter,RGF)。也就是说，RGF在平滑细小纹理和复杂的小区域时，还能保持图像大区域及边界的准确性。其关键点在于，研究者发现在图像平滑的过程中，通过均值滤波方法平滑后，图像中的细小细节消失，但是强边缘依然存在，因此，提出了一种先去除细小纹理，再恢复图像边缘的巧妙的平滑滤波算法。

该滤波算法主要分为小细节移除以及边缘恢复两个步骤，具体为：

a)首先利用高斯滤波对图像进行平滑，假设输入图像为A，则经过高斯滤波后输出的图像

为：

其中，p及q为图像中的像素点，

为标准差，Kp为归一化系数，Kp的表达式为：

其中，N(p)代表p的邻域，经过高斯滤波，尺度小于

的噪声的图像的纹理细节均被平滑，边界也同时被模糊。

b)实现边界的恢复，这一部分，利用迭代来实现边界的逐步恢复，设J¹为高斯滤波后的输出图像，利用双边滤波得第t次迭代的结果J^t+1,则p点处第t次的迭代结果为：

由上式可知，图像经过高斯平滑后，其小的细节噪声区域被平滑，因此，该区域的J^t(p)-J^t(q)近似为零，滤波器在平滑区域的作用相当于一个高斯滤波器，其输出不会有太大变化。在边界的区域，由于经过高斯滤波后，虽然边界被模糊，但是边缘两边的灰度值仍有较大差异，因此，经过多次迭代后，这种差异会变得越来越强，也就是边缘被增强，从而实现去除细小纹理的同时保持边缘结构的作用。

2、RGF中的参数对滤波结果的影响

由上述分析可知，RGF与其他边缘保持滤波器最大的区别为：RGF可以在保持图像中主要边缘轮廓的前提下，控制所能平滑的细节纹理的尺度，在RGF中，主要的参数有σ_s、σ_r及迭代次数t。σ_s和σ_r类似于双边滤波中控制距离权重和灰度权重的两个标准差，距离权重和灰度权重越大，则图像对细节的平滑程度就越强，在RGF算法中，迭代能够使图像中的大的结构、强边缘更加清晰，达到在平滑细节的同时保持图像中的主要结构及边缘，图1a至图1j给出了σ_s和σ_r对滤波器输出的影响，从图1a至图1j中可以看出，随着σ_r的值增大，图像的变得越来越平滑，图像的细小纹理被逐渐模糊，其包括图像中的目标点，因为弱小目标也属于比较细小的部分，所以，随着灰度标准差的变化，也逐渐被平滑模糊，与σ_r相似，距离标准差σ_s越大，则代表中心点周围像素对权重的影响变大，所以图像会变得更加模糊。

图2a至图2e给出了在σ_s和σ_r相同的情况下迭代次数对滤波结果的影响。从图2a至图2e中可以明显看出，第一次迭代即t＝1时，图像中的边界和细节被平滑，随着迭代次数的增加，图像中的大结构的边界(海天分界线)以及弱小目标逐渐清晰，从图2a至图2e中可以很好地证实迭代次数对滤波输出结果的影响，因此，通过调整参数，可以使RGF得到所需的理想滤波结果。

3、核PCA数据分析理论

主成分分析(Principal Component Analysis，PCA)是一种常用的数据分析方法，PCA根据输入数据集的协方差矩阵最大的特征值对应的特征向量，由此找到数据方差最大正交空间，重新构造维特征，通过对新求出的主元向量的重要性进行排序，得到最重要的部分，将后面的维数省去，可以达到降维，从而简化模型或实现对数据进行压缩的效果，同时最大程度的保持原有数据的信息。

PCA以线性方式工作，如果数据集不是以线性方式组织的，那么PCA效果则不理想，此时，可以根据先验知识对数据预先进行非线性转换，将非线性数据集转换到线性空间中，这种分析方式叫做Kernel-PCA(PCA)，是一种处理非线性情况的方法。KPCA只是将原始数据通过核函数映射到高维度空间，再利用PCA算法进行降维，因此KPCA算法的关键在于核函数。

设x_n为样本集，n为样本个数，传统PCA的协方差阵为：

在KPCA中，利用非线性核将样本变为

这样，变换后的样本协方差矩阵就可以表示为：

则协方差阵的分解为：

其中，λ_i为协方差矩阵的特征值，v_i为特征向量。

将特征值由大到小进行排列，得最重要的k个特征值，舍弃较小的特征值，此时，由特征值所对应的k个特征向量分别作为列向量组成特征向量矩阵，当用v_k表示前k个特征向量矩阵，则降维后的数据为：

x_k＝v_k ^Tx_n    (8)

具体的，KPCA算法的计算过程为：

a)去除平均值，进行中心化；

首先，为去除数据之间的相关度，将方差归一化，需要对数据进行白化，即使每一个样本的数据均值为0，若x为向量，则其去均值的方法为：

x←x-E(x)(9)

b)利用核函数计算核矩阵K，其中，常用的高斯核函数为：

c)计算核矩阵的特征值和特征向量；

d)将特征相量按对应特征值大小从上到下按行排列成矩阵，取前k行组成矩阵v_k；

e)将原数据投影到v_k，即得到降维后的数据。

4、基于多尺度RGF的红外弱小目标背景抑制

基于红外弱小目标背景抑制框架，将KPCA用于多维数据的降维，并采用双滑窗马氏距离进行异常检测，抑制复杂背景，本发明的实现框图如图3所示，具体操作过程为：

1)基于多尺度RGF的图像立方体构造

通过改变RGF中的参数，可以得到边界保持良好，同时不同尺度细节被平滑的图像，在主要的三个参数中，通过调整灰度标准差来控制对图像中不同尺度细小细节的平滑，从而得到一组相关的红外图像数据，利用f_RGF(A,σ_s,σ_r,t)来表示RGF平滑操作，则滤波结果为：

f_out＝f_RGF(A,σ_s,σ_r,t)      (11)

σ_r的参数设置决定了滤波器能够滤除的细小纹理的尺度，因此，在本发明中通过固定σ_s及t，调整σ_r来得到不同平滑尺度下的一组图像，以组成多尺度红外数据立方体，多尺度红外数据立方体可表示为：

2)基于核PCA的图像数据立方体降维及主成分提取

由不同平滑尺度下的红外图像数据立方体中含有大量的冗余信息，即具有较大的相关性。通过PCA技术，可以将三维的数据立方体降为二维，即将三维数据投射到平面上，而且保留了三维数据中的关键信息，舍弃一些次要信息。由于PCA能够很好的处理具有线性相关性的数据，但经过不同尺度平滑的图像数据具有高阶相关性，即非线性相关性。因此，本发明采用核PCA来处理数据，通过核函数将非线性相关转为线性相关，再利用PCA技术对多维数据进行降维。

3)基于双滑窗马氏距离的异常检测及背景抑制

马氏距离计算输入图像在某一像素点的信号与背景像素点均值之间的差异，传统马氏距离中利用整幅图像来估计背景的均值和协方差，而整幅图像的背景杂波往往不服从单一的高斯分布，而是符合混合高斯分布，因此，不能取得良好的效果。为解决这一问题，本发明采用双滑窗马氏距离来检测数据中的异常信息，双滑窗如图4所示，在检测过程中，使用两个中心像素点相同的窗口，分别为内窗和外窗，内窗的尺寸范围为图像中典型目标的尺寸，外窗较内窗尺寸稍大，局部的均值和协方差都是通过落在外窗中的像素点来计算，内窗与外窗之间存在保护带，保护带可以防止目标过大溢出内窗时影响到外窗中均值的计算。

双滑窗马氏距离可以表示为：

其中，r_ij为图像中内窗中心的像素点，μ为外窗中所有像素的均值，

为内窗中像素的协方差矩阵：

其中，

A_k(x,y)为第k个独立分量在(x,y)点的值。

对于通过核PCA降维后的主成分向量，利用双滑窗马氏距离可找到图像中的异常点，即弱小目标的点，从而完成抑制复杂背景，检测弱小目标的目的。

仿真实验

分别利用真实的红外弱小目标图像序列进行算法性能实验测试，分析和验证基于本发明的性能优势。

为了验证本发明的抑制背景、增强目标的有效性和可行性，分别采用四组不同背景复杂度和信噪比的真实红外弱小目标图像进行实验验证，弱小目标所占像素个数大约3-9个。为了测试本发明的优越性，在仿真实验中与经典的背景抑制算法：TDLMS、Top-hat和Max-Median滤波方法以及FQFT和WRX两种背景抑制方法的检测结果进行对比。根据Top-hat算法的概念，结构算子的尺寸要大于或等于弱小目标的面积。为充分体现Top-hat滤波的性能，采用略大于目标的3×3的矩形结构算子；TDLMS算法采用3×3的二维因果型支撑域；Max-Median滤波选取矩形窗口直径为3。FQFT和WRX两种算法均采用上述参数。基于CPU为Intel i3-3220@3.30GHz，内存4.00GB的PC机上，通过Matlab R2012b软件平台完成本文的仿真实验。

选取四种常见的红外小目标背景：分别为丝状复杂云层背景、大面积云层背景、复杂房屋地面背景及海天背景，图像均为大小128×128的256级灰度图像。

第一个图像序列的检测结果如图5a至图5n所示，该序列为天空背景，弱小目标淹没在云层背景中，虽然局部可以较明显的分辨出弱小目标，但从整幅图像的灰度来看，目标点的灰度并不突出，从3D图中无法明显分辨出目标位置，TDLMS和Top-hat对该图像处理后的目标虽然被增强，但同时背景边缘也得到加强，特别是云层的强边缘无法被有效抑制。从三维图中也可明显看出云层边缘被增强，这样会给后续的检测带来困难。Max-Median方法同样能够有效的增强弱小目标，但对于背景杂波以及强边缘的抑制能力还是有所欠缺。FQFT和WRX背景抑制方法能较好的抑制背景，但是这两种方法对于目标的增强较弱，从三维图可以看出，增抢后的图像目标强度不够，且WRX将杂波增强，其强度甚至高于弱小目标的强度，从图中明显看出其增强目标抑制背景的良好性能，因此，对于这种强边缘本文方法能够有效抑制。

第二个图像序列为天空背景，其弱小目标强度很低，整个图像信杂比较低，如图6a至图6n所示，图像中大面积为云层，且云层的亮度很高，在图像的三维图中无法分辨出弱小目标。从几种背景抑制方法的结果可以看出，Top-hat和Max-Median方法的无法有效的抑制杂波，TDLMS和WRX方法对杂波的抑制能力优于以上两种方法，但仍然存在较多杂波。PQFT方法在弱小目标周围产生了虚假轮廓现象，不能对目标进行精确地定位。对于该场景，本发明同样能够较好地抑制背景，增强目标。

红外图像序列3为地面背景的红外图像，图像中的弱小目标在局部区域亮度比较突出，但建筑背景较为复杂，从图7a至图7n可以看出，除了Max-Median与PQFT外，其他背景抑制算法均得到了较好的背景抑制效果，小目标在背景中较为突出。Max-Median算法在抑制复杂地面背景方面表现不尽如人意，目标无法从复杂背景中凸显出来。而PQFT方法的抑制结果中目标的点位不准确，在小目标周围出现了重影，这会大大加大后续检测的虚警概率，本发明相比其他算法表现出更好的性能，在增强弱小目标的同时能够对背景杂波抑制的更加干净。

序列4为海天背景，对于这类背景，其难度就在于海天交界线的强边缘以及水面波浪杂波的抑制。从图8a至图8n的实验结果来看，TDLMS方法对于强边缘的抑制效果不好，Top-hat，Max-Median以及WRX算法在增强目标的同时无法有效的抑制杂波，PQFT的结果中目标出现光晕且在图像边缘出现较多杂波，而本发明对这类图像同样表现出了良好的性能。

为客观评价不同检测方法的性能，采用SCR、ISCR及BSF三个评价指标，如表1所示，计算SCR、ISCR和BSF的背景局部窗口大小是27×27(包含以目标像素为中心的3×3目标窗口)。表1及表2给出了几种背景抑制算法实验结果的指标。从表1及表2中可以看出，本发明对这三幅原始红外弱小目标图像的BSF和SCRG均有明显的改善，且都优于其他检测方法，反映出本发明对目标周围的背景和噪声进行了有效抑制，增大了目标与周围背景的差异，极大地提高了整幅图像背景的抑制程度。

表1

表2

为了验证本发明的鲁棒性，对图像序列进行测试，计算了五种对比方法对序列1中18帧图像背景抑制结果的ISCR及BSF，并绘制曲线，从图9a及图9b中可以看出，本发明在对每一帧图像处理时，其背景抑制的两个参数都远远优于其他背景抑制方法。

Claims (1)

1.一种基于多尺度滚动引导滤波平滑的红外弱小目标背景抑制方法，其特征在于，包括以下步骤：对待处理图像先基于多尺度RGF构造图像数据立方体，再基于核PCA进行图像数据立方体的降维及主成分提取，然后基于双滑窗马氏距离算法进行异常检测，实现基于多尺度滚动引导滤波平滑的红外弱小目标背景抑制；

基于多尺度RGF构造图像数据立方体的过程中，通过调整灰度标准差来控制对图像中不同尺度细小细节的平滑滤波，得到一组相关的红外图像数据，其中，利用f_RGF(A,σ_s,σ_r,t)来表示RGF平滑操作，则平滑滤波结果为：

f_out＝f_RGF(A,σ_s,σ_r,t)      (11)

其中，平滑尺度σ_r决定滤波器能够滤除细小纹理的尺度，通过固定距离标准差σ_s及迭代次数t，调整σ_r得不同平滑尺度下的图像，再利用不同平滑尺度下的图像构建多尺度红外数据立方体，多尺度红外数据立方体可表示为：

双滑窗马氏距离算法的表达式为：

双滑窗马氏距离算法可以表示为：

其中，r_ij为图像中内窗中心的像素点，μ为外窗中所有像素的均值，

为内窗中像素的协方差矩阵；

内窗中像素的协方差矩阵

的表达式为：

其中，

A_k(x,y)为第k个独立分量在(x,y)点的值。

Images