CN107403433A

CN107403433A - 一种复杂云背景下红外小目标检测方法

Info

Publication number: CN107403433A
Application number: CN201610340443.4A
Authority: CN
Inventors: 任侃; 张晓敏; 陈钱; 顾国华; 钱惟贤; 龚振飞; 赵铁锟; 隋修宝; 何伟基; 张闻文; 万敏杰; 孟思岐; 吴李勇; 过玲钰
Original assignee: Nanjing University of Science and Technology
Current assignee: Nanjing University of Science and Technology
Priority date: 2016-05-20
Filing date: 2016-05-20
Publication date: 2017-11-28

Abstract

本发明提出一种复杂云背景下红外小目标检测方法，包括图像预处理、二次显著性区域检测和疑似目标分割、帧间虚警抑制三部分；具体为：对单帧图像先进行二维中值滤波，然后进行高通模板滤波；用频域残差法对单帧图像进行处理完成一次显著性区域检测，然后进行傅里叶变换和傅里叶逆变换完成二次显著性区域检测，最后用滑动窗口遍历单帧图像进行目标与背景的二值化分割，获得疑似目标；对图像序列进行间隔采样，对不同帧图像检测出的疑似目标进行帧间关联，使用最小欧氏距离法排除虚；然后用质心法提取图像中目标的单个像素点，从而在图像中标示红外小目标。本发明方法能够将复杂云背景下的红外小目标较为准确地检测出来。

Description

一种复杂云背景下红外小目标检测方法

技术领域

本发明属于目标检测和红外图像处理技术领域，具体涉及一种复杂云背景下基于单帧显著性区域检测和帧间虚警抑制操作的红外小目标检测方法。

背景技术

红外小目标的快速检测技术是红外探测领域的核心技术，其在森林防火、卫星遥感、红外预警和精确制导等领域发挥着重要作用。红外小目标，顾名思义就是在红外图像上呈现为亮度较弱、所占尺寸与面积极小的点状光斑。由于红外传感器受到大气、海面辐射、作用距离以及探测器噪声等因素影响，使得红外小目标表现出像元数目少、缺乏纹理信息的特征。此外，在背景较为复杂的情况下，小目标的红外图像可能会显示出较低的信噪比，目标很容易被噪声和背景杂波所淹没，使得红外小目标的检测面临相当的困难和挑战。

近年来，红外图像小目标探测、识别和跟踪经过了广泛和深入研究，涌现了大量方法。现有方法大致可分为以下两类：滤波算法和特征提取算法。在滤波算法中，背景在检测之前就在空间域或频域去除，诸如：形态学滤波、二维经验模式分解、自适应巴特沃思高通滤波、基于内核的非参数回归等等。总的来说，由于在小目标探测中较小的计算量和良好的性能，这些方法已被广泛使用。但是，当背景很复杂时，滤波算法的检测性能将迅速恶化，由于去除背景较困难，这种方法可能会导致复杂背景干扰下大量的虚警。在特征提取算法中，从目标和背景中提取的不同的特征，可从背景中区别出目标。如局部对照的方法、稀疏矩阵和低秩矩阵分解方法、和主曲率方法等。这种方法的检测性能主要取决于特征选择和背景类型。因此，特征提取方法的鲁棒性较差。

发明内容

本发明提供了一种复杂云背景下基于单帧显著性区域检测和帧间虚警抑制操作的红外小目标检测方法，该方法结合了显著性区域检测简单高效、易于操作、准确率高、虚警率低、鲁棒性强的特点，能够将复杂云背景下的红外小目标较为准确地检测出来。

为了解决上述技术问题，本发明提供一种复杂云背景下红外小目标检测方法，包括图像预处理、二次显著性区域检测和疑似目标分割、帧间虚警抑制三部分；其中，

图像预处理：对单帧图像先进行二维中值滤波，然后进行高通模板滤波；

二次显著性区域检测和疑似目标分割：用频域残差法对单帧图像进行处理完成一次显著性区域检测，然后进行傅里叶变换和傅里叶逆变换完成二次显著性区域检测，最后用滑动窗口遍历单帧图像进行目标与背景的二值化分割，获得疑似目标；

帧间虚警抑制：先对图像序列进行间隔采样，对不同帧图像检测出的疑似目标进行帧间关联，使用最小欧氏距离法排除虚；然后用质心法提取图像中目标的单个像素点，从而在图像中标示红外小目标。

进一步，所述高通模板

进一步，所述一次显著性区域检测的具体过程为：对预处理后的单帧图像进行傅里叶变换，提取傅里叶变换的幅度谱和相位谱，对幅度谱取自然对数获得对数幅度谱，对对数幅度谱作平滑处理，取对数幅度谱与对数幅度谱平滑处理后结果的差值作为频域残差，对频域残差和相位谱作傅里叶逆变换并取模的平方。

进一步，所述二次显著性区域检测的具体过程为：对一次显著性区域检测获得的图像进行傅里叶变换，提取相位信息，将相位信息乘以一个虚数单位后取为e的指数，再作傅里叶逆变换并取模的平方。

进一步，对目标与背景进行二值化分割所使用的滑动窗口为九宫格窗口。

本发明与现有技术相比，其显著优点在于：(1)本发明先进行单帧图像显著区域检测然后再对序列图像检测结果做帧间关联进行虚警抑制，确率高、虚警率低、鲁棒性强，简单高效，实时操作性强；(2)本发明在预处理部分利用二维中值滤波，在较好地保留图像中目标能量和灰度特征的同时高效滤除孤立噪声点，利用高通滤波，使模板中心部分权值大，周围部分权值小，能在保证小目标通过的同时抑制背景；(3)显著区域检测及目标分割部分，首先引入频域残差法和图像傅里叶变换的相位信息抑制背景，突出红外图像中小目标潜在区域，且显著性区域检测只包含对图像作卷积、傅里叶及傅里叶逆变换等运算，计算量小，实时性强；然后利用目标与邻域背景之间的灰度变化信息，引入九宫格细胞模板进行目标背景的二值化分割；(4)虚警抑制部分，引入最小欧氏距离法，利用序列图像帧间目标位置的相关性来区分出目标，大大降低了检测虚警率；对目标点状光斑提取质心，进一步提升了检测结果的精确性。

附图说明

图1为本发明方法流程示意图。

图2为目标分割滑动窗口模板示意图。

图3为单帧复杂云背景下包含小目标的红外图像。

图4为对图3进行中值滤波后的效果图。

图5为对图4进行模板卷积处理后的效果图。

图6为对图5进行一次显著性区域检测后的效果图。

图7为对图6进行二次显著性区域检测后的效果图。

图8(a)为对图像序列第J帧图像进行目标分割操作后的效果图。

图8(b)为对图像序列第J+k帧图像进行目标分割操作后的效果图。

图9为帧间关联虚警抑制后的效果图。

图10为提取目标质心并在原始红外图像中框出目标的检测效果图。

图11为本发明方法与其他方法进行对比的ROC曲线示意图。

具体实施方式

容易理解，依据本发明的技术方案，在不变更本发明的实质精神的情况下，本领域的一般技术人员可以想象出本发明复杂云背景下红外小目标检测方法的多种实施方式。因此，以下具体实施方式和附图仅是对本发明的技术方案的示例性说明，而不应当视为本发明的全部或者视为对本发明技术方案的限制或限定。

结合图1，本发明方法包括三个部分，分别为图像预处理、显著性区域检测及目标分割、虚警抑制。

图像预处理部分包括对单帧图像的中值滤波和高通滤波操作，先对单帧图像用二维中值滤波去除孤立噪声点并对滤波后的图像进行高通模板卷积抑制背景；

显著性区域检测及目标分割部分包括对于单帧图像采用两次显著性区域检测的频域操作。先用频域残差法对红外图像中的目标、噪声、陡峭边缘等进行一次显著性区域检测，再对一次检测所得图像实行傅里叶变换，提取相位信息做二次显著性区域检测，从而突出目标潜在区域；最后利用目标与邻域背景之间灰度变化较为急剧的原理，用一个九宫格的滑动窗口遍历整幅图像进行目标与背景的二值化分割，获得疑似目标；

虚警抑制部分先通过图像序列的间隔采样，对图像序列中第J帧与第J+k帧的疑似目标检测结果进行帧间关联，通过最小欧氏距离法排除虚警，减少其对检测结果带来的影响；然后再用质心法提取目标的单个像素点，从而在原图中框出复杂云背景下的红外小目标，完成红外小目标的最终检测。

本发明方法具体步骤如下：

步骤一，对输入的单帧图像进行二维中值滤波，去除图像中的孤立噪声点。

本发明中的二维中值滤波法是对奇数个(S*S，本发明取3*3)采样组成的观察窗口中的数值进行排序，取排在中间的结果作为输出代替观察窗口原本的中心像素。二维中值滤波如式(1)所示，

G(x,y)代表观察窗口中第x行y列的像素点的灰度值；med代表取中值操作；G_med代表对窗口内S*S个像元灰度值升序排序后，第[(S*S+1)/2个的灰度值。

将计算结果G(x,y)作为输出代替观察窗口中原本的像素灰度值，窗口中心位置((S+1)/2,(S+1)/2)处取G_med，其余位置保持不变，如式(2)，然后用该窗口遍历整幅图像得到原始图像的中值滤波图，其中，G代表模板，I(x,y)代表包含小目标的单帧原始红外图像，*代表卷积运算，如式(3)，

g(x,y)＝G*I(x,y) (3)

中值滤波是图像处理中的一个常用步骤，不仅能较好地保留图像中目标的能量，而且能在不破坏目标原有灰度特征的基础上高效滤除斑点噪声和椒盐噪声。

步骤二，使用模板H遍历中值滤波处理后的图像g(x,y)，进行一个卷积运算，获得背景被抑制、目标被突出的预处理图像f(x,y)。模板H如式(4)，其中心部分权值大，周围部分权值小，且所有权值相加和为零，对于一些高强度信号，如小目标易于通过，且模板中心部分高权值分布在一个十字区，较为分散，对于以一定面积的背景部分能起到一个抑制作用，使背景较为均匀。

f(x,y)＝H*g(x,y) (5)

步骤三，由于红外图像中弱小目标集中于一个较小的区域，与邻域背景区域具有不相关的特点，可以将小目标、随机噪声等视为图像中的显著区域，对预处理后的图像利用频域残差法进行一次显著区域检测，其检测过程如下：

对包含弱小目标的红外图像进行傅里叶变换,f(x,y)是包含弱小目标的预处理后的红外图像，图像大小为M×N(本发明中实验图像为512*512)，F(f)(u,v)是对图像f(x,y)傅里叶变换结果，其如式(6)所示，

取傅里叶变换的幅度谱A(u,v)和相位谱P(u,v)分别如式(7)和式(8)所示，

A(u,v)＝|F(f)| (7)

P(u,v)＝angle(F(f)) (8)

因为所有自然图像的幅度谱取自然对数后都具有相似的起伏状态，所以对图像的对数幅度谱作平滑处理后与本身的对数幅度谱作差分即可得到显著性部分的对数幅度谱R(u,v)，其如式(9)，R(u,v)为频域残差，即图像显著性部分对数幅度谱，L(u,v)是对图像幅度谱取对数的结果，其如式(10)

R(u,v)＝L(u,v)-h_n*L(u,v) (10)

L(u,v)＝log(A(u,v)) (9)

h_n是一个均值滤波的模板，本发明中取为3*3，即

然后利用频域残差信息和相位信息作傅里叶逆变换，取模的平方，即可得到显著性图像S(x,y),完成一次显著性区域检测，计算方式如式(11)和式(12)所示，

S(u,v)＝F^-1[exp(R(u,v)+i·P(u,v))] (11)

S(x,y)＝|F^-1[exp(R(u,v)+i·P(u,v))]|² (12)

步骤四，对一次显著性区域检测的图像提取相位信息，利用傅里叶变换和傅里叶逆变换进行二次显著区域检测，其检测过程如下：

对一次显著性区域检测的图像S(x,y)进行傅里叶变换，图像大小仍然为M×N，F'(f)(u,v)是对一次显著性区域检测的图像做傅里叶变换的结果，其如式(13)所示，

提取相位信息P'(u,v)，将其乘以一个虚数单位后取为e的指数，再作傅里叶逆变换，取模的平方，即可得到显著性图像S'(x,y)，完成二显著性区域测。

P'(u,v)＝angle(F'(f)) (14)

S'(x,y)＝|F^-1[exp(j·P'(u,v))]|² (15)

步骤五，对二次显著性区域检测的图像提取疑似目标，对疑似目标和背景进行二值化分割，其分割过程如下：

如图2，是一个九宫格的滑动窗口，每一格取相同的尺寸(由于目标较小一般取3*3或5*5个像素，本发明中取5*5)，可以称为一个细胞，对其进行编号。中心细胞9作为测试细胞，其中可能出现目标，周围的八个细胞1～8作为为背景细胞。

利用目标与邻域背景之间灰度变化较为急剧的原理，利用灰度差异提取疑似目标，并将检测到的疑似目标与背景进行二值化分割，如式(16)，M_t是测试细胞的灰度均值，M_b和是Std_b背景细胞的灰度均值和标准差，λ是一个常数系数，λ越大，背景被误判为目标的概率越小，为了在检测出弱小目标的同时使检出的疑似目标尽量少，λ一般取2～8，本发明中λ取3，通过调节λ的大小，得到目标分割的结果，若满足条件一，判定为目标，灰度置一，若满足条件二，判定为背景，灰度置零，即满足R(x,y)＝1的像素点即为单帧红外图像中的疑似目标。

步骤六，分别对第J帧与第J+k帧图像进行以上全部操作，得到两帧包含疑似目标的二值化目标分割图，对其进行帧间关联，排除虚警，提取目标质心，其操作过程如下：

在单帧目标检测图中，虚警位于因为一些暗点和镜面点造成的显著区域，由于序列图像帧间目标位置会发生变化，可利用序列图像帧间目标位置的相关性来区分出目标，通过计算序列图像帧间图像疑似目标点间的最小欧氏距离排除虚警。

分别提取第J帧目标分割所得图像中的疑似目标，即满足R(x,y)＝1的像素点的坐标位置P_i(i＝1,2...n,n是第J帧中疑似目标像素点的个数)，运用式(17)计算P_i与P_j之间的欧氏距离，

dis_ij＝||P_i-P_j||₂ (17)

其中，P_j是第J+k帧中的第j个疑似目标像素点(j＝1,2...m，m是第A+k帧中疑似目标像素点的个数)，||·||₂表示二范数，

对于第J帧中的第i个疑似目标像素点，计算其与第J+k帧图像中所有m个疑似目标像素点之间的欧氏距离，取其最小值，

dis_imin＝min(dis_i) (18)

其中，min(·)是从距离向量dis_i(dis_i＝[dis_i1,dis_i2,...,dis_ij,...,dis_im])中选取最小值。

对第J帧中的所有n个像素点进行上述操作以后，设定两个阈值dis_th1和dis_th2，比较dis_imin和这两个阈值，当dis_imin在这两个阈值之间时，将位于第J帧P_i位置的疑似目标像素点判定为一个真实目标，否则，即为虚警，将其排除，这是因为移动的红外图像小目标存在帧间位置相关性，而不同图像帧中的虚警点并不存在位置相关性。由于红外图像小目标存在帧间移动但不明显，本发明中dis_th1取0，dis_th2取5。

最后对目标进行质心提取，得到单个目标像素点，提高检测精度，计算公式如下。

其中(x_i,y_i)是一个目标点状光斑所含的第i个像元(n为该目标点状光斑所含像元的数目)，s_i为对应像元点的灰度值，(X,Y)为其质心坐标，将其返回到第J帧原始红外图像中，以其为中心画一个10*10的红框标出坐标。

本发明可通过以下仿真实验进一步说明：

本实验的对象为一组图像大小为512*512，共计100帧的包含小目标的红外图像序列。本实验对第40帧和45帧图像进行采样，并按照图1所示方法流程在MATLAB平台下进行了仿真实验，图3～10分别对应本发明中所述方法的每一步给出了处理效果图。其中图8的(a)和(b)分别对应第J帧与第J+k帧的红外图像中检出的疑似目标，图9为帧间关联后的处理效果图，图10为最终检测效果图。

ROC曲线即受试者工作特征曲线，可用于评价一个分类器，ROC曲线下的面积越大，分类器的分类效果越好。ROC曲线上的每一个点对应于一个阈值，对于一个分类器，每个阈值下会有一个目标检测率(TPR)和虚警率(FPR)。而目标检测其实可以看做对目标和背景的分类，即，我们可以通过ROC曲线来评价目标检测方法的优劣。以本发明中的方法为例，通过改变目标分割过程中的阈值λ的大小，统计第40～60帧中检出的目标数和虚警数。目标检测率(TPR)和虚警率(FPR)计算方式如式(21)。

图11给出了顶帽变换法(Top-hat)，二维最小均方误差法(TDLMS)，高通滤波法(HighPass)，本发明方法等四种方法的ROC曲线，显然，本发明方法ROC曲线下面积最大，即检测效果相对其他三种方法更好。

Claims

1.一种复杂云背景下红外小目标检测方法，其特征在于，

2.如权利要求1所述复杂云背景下红外小目标检测方法，其特征在于，所述高通模板如下式所示，

式中，H代表高通模板。

3.如权利要求2所述复杂云背景下红外小目标检测方法，其特征在于，所述一次显著性区域检测的具体过程为：对预处理后的单帧图像进行傅里叶变换，提取傅里叶变换的幅度谱和相位谱，对幅度谱取自然对数获得对数幅度谱，对对数幅度谱作平滑处理，取对数幅度谱与对数幅度谱平滑处理后结果的差值作为频域残差，对频域残差和相位谱作傅里叶逆变换并取模的平方。

4.如权利要求3所述复杂云背景下红外小目标检测方法，其特征在于，所述二次显著性区域检测的具体过程为：对一次显著性区域检测获得的图像进行傅里叶变换，提取相位信息，将相位信息乘以一个虚数单位后取为e的指数，再作傅里叶逆变换并取模的平方。

5.如权利要求4所述复杂云背景下红外小目标检测方法，其特征在于，对目标与背景进行二值化分割所使用的滑动窗口为九宫格窗口。