CN109740445B

CN109740445B - 一种变尺寸的红外弱小目标检测方法

Info

Publication number: CN109740445B
Application number: CN201811525583.4A
Authority: CN
Inventors: 张梦莹; 尹彤; 朱猛
Original assignee: Tianjin Jinhang Institute of Technical Physics
Current assignee: Tianjin Jinhang Institute of Technical Physics
Priority date: 2018-12-13
Filing date: 2018-12-13
Publication date: 2023-05-23
Anticipated expiration: 2038-12-13
Also published as: CN109740445A

Abstract

本发明公开了一种变尺寸的红外弱小目标检测方法，其包括以下步骤：(1)：对输入视频的每一帧图像进行预处理；(2)：对步骤(1)预处理后的图像进行多尺度局部对比度算法处理，而后对图像进行自适应阈值分割，并提取出疑似目标集P；(3)：对步骤(1)预处理后的图像进行TopHat变换处理，而后对图像进行自适应阈值分割，并提取出疑似目标集Q；(4):确定两种算法共同检测出的目标集R、仅由多尺度局部对比度算法检测出的目标集合P’、仅TopHat变换检测出的目标集Q’，目标集R、P’、Q’定义为待选目标集；(5)：根据前几帧的目标检测位置预测当前帧目标所在的位置；(6)：根据当前帧目标预测位置，从待选目标集中确定当前帧检测目标。本发明检测精度高。

Description

一种变尺寸的红外弱小目标检测方法

技术领域

本发明属于红外小目标检测技术领域，涉及一种基于多尺度局部对比度算法和TopHat变换的变尺寸的红外弱小目标检测方法。

背景技术

目标检测在安全监测、军事制导、医疗诊断、导航灯多个领域都有广泛的应用，可以采用雷达、电视、激光、红外等手段对目标进行成像，其中红外成像传感器由于其全天候工作能力及抗电磁干扰的特点，被广泛应用在军事领域及安全监测领域。应用场景通常要求目标尽早被发现，而此时目标的尺寸较小且信杂比较低，因此红外弱小目标检测仍是目前的研究热点之一。

红外弱小目标检测的难点主要在于目标的成像面积小、能力较弱、且缺乏形状纹理等信息；目标与周围环境的热交换使得目标的对比度也较低；并且周围背景中常包含与小目标类似的特性物体的干扰(如天空中的云层、海面的反光等)；而随着目标逼近探测器，目标的尺寸还可能发生一定的变化。

目前，目标检测算法大致可以分为两类。一类是先检测后跟踪法(detect beforetrack,DBT)，即在单帧图像中检测到目标，再根据多帧图像位置连贯等信息排除伪目标；另一类是先跟踪后检测法(track before detect,TBD)，该方不再根据单帧图像给出检测结果，而是经过多帧数据的积累之后按照某种规则进行检测判决，若检测到目标存在则同时给出目标当前位置及历史航迹。由于TBD算法存在结构复杂、运算量大和存储量大的缺点，难以满足实时处理的需求，因此目前常用DBT法进行小目标检测。

利用DBT法进行小目标检测通常是利用小目标和其周围背景相比具有一定的不连贯性，通过某种算法对图像进行进一步增强以进一步提高目标信杂比，而后通过阈值分割提取出疑似目标，最后通过轨迹的判断确定真实目标。其中多尺度局部对比度算法和TopHat变换是两种有效的小目标检测手段，多尺度局部对比度算法能检测出信噪比低的目标且可适应目标的尺寸变化，但却存在当图像中有亮背景时，亮背景也会被误检的情况，Tophat变换由于其显著的检测性能一直被用来检测红外小目标，Tophat变换可以极大的抑制亮背景带来的干扰，但TopHat变换在目标较弱时的检测性能不如多尺度局部对比度算法，且TopHat变换模板的选取于依赖目标的形态，因此本发明考虑选取TopHat变换和多尺度局部对比度算法对变尺寸红外小目标进行联合检测。

发明内容

(一)发明目的

本发明的目的是：提供一种基于多尺度局部对比度算法和TopHat变换的变尺寸的红外弱小目标检测方法。

(二)技术方案

为了解决上述技术问题，本发明提供一种变尺寸的红外弱小目标检测方法，其包括以下步骤：

步骤(1)：对输入视频的每一帧图像进行预处理；

步骤(2)：对步骤(1)预处理后的图像进行多尺度局部对比度算法处理，而后对图像进行自适应阈值分割，并提取出疑似目标集P；

步骤(3)：对步骤(1)预处理后的图像进行TopHat变换处理，而后对图像进行自适应阈值分割，并提取出疑似目标集Q；

步骤(4):确定两种算法共同检测出的目标集R、仅由多尺度局部对比度算法检测出的目标集合P’、仅TopHat变换检测出的目标集Q’，目标集R、P’、Q’定义为待选目标集；

步骤(5)：根据前几帧的目标检测位置预测当前帧目标所在的位置；

步骤(6)：根据当前帧目标预测位置，从待选目标集中确定当前帧检测目标。

其中，所述步骤(1)中，采用3*3的模板W对图像进行中值滤波降噪处理，设初始图像坐标为(x,y)的像素的灰度为f(x,y)，中值滤波后的该像素的灰度为g(x,y)，med为取模板所在邻域内所有灰度点的中值的操作，则：

g(x,y)＝med{f(x-k,y-l),(k,l∈W)} (1)。

其中，所述步骤(1)中，对中值滤波后图像进行线性拉伸处理，使得中值滤波后图像最小灰度值minvalue拉伸后变为灰度0、最大灰度值maxvalue拉伸后变为灰度255，则拉伸后的图像d(x,y)表示为：

d(x,y)＝(255*g(x,y)-255*minvalue)/(maxvalue-minvalue) (2)。

其中，所述步骤(2)中，多尺度局部对比度算法首先计算预处理后图像的局部对比度算子用来抑制背景，而后利用图像金字塔的概念改进算法以适应目标的尺度变化，提取出疑似目标集P。

其中，所述步骤(2)中，以坐标(x，y)为中心、尺度为w的讨论区和其周围第i个邻域的对比度c_i(x,y,w)，表示为

c_i(x,y,w)＝L(x,y,w)/m_i(x,y,w)(i＝1,2...,8) (3)

其中，L(x,y,w)表示讨论区域0的最大灰度值，m_i(x,y,w)表示第i个邻域灰度的均值；讨论区的局部对比度c(x,y,w)是由其最大邻域灰度决定的，即

c(x,y,w)＝minc_i(x,y,w)＝L(x,y,w)/max(m_i(x,y,w))(i＝1,2...,8) (4)

将局部对比度的定义乘上讨论区的最大亮度，改写(4)式为

c(x,y,w)＝L(x,y,w)minc_i(x,y,w)＝L(x,y,w)²/max(m_i(x,y,w))(i＝1,2...,8) (5)

当讨论区刚好在目标所在位置且该讨论区的大小与目标的实际尺寸一致时，该尺度下的局部对比度值最大，至此，定义某一坐标(x,y)的多尺度局部对比度C(x,y)为：

C(x,y)＝maxc(x,y,w)(w＝j+1,j+2...,j+n) (6)

其中j+1,j+2...,j+n为目标所有可能的尺度，j+1为最小目标尺度，j+n为最大目标尺度；

利用公式(6)计算预处理后图像d(x,y)每个坐标点的多尺度局部对比度，即得到图像e(x,y)，而后设置一个自适应阈值thresh,

thresh＝μ×(maxgray-mingray)+mingray (7)

其中maxgray为e(x,y)的最大灰度值，mingray为e(x,y)的最小灰度值，μ的取值范围为区间[0.7,0.9]；

再对经多尺度局部对比度计算后的图像e(x,y)进行二值化处理，即

对二值化图像中灰度为1的像素点进行联通域提取，所有在小目标尺寸范围内的联通域即为多尺度局部对比度算法检测到的目标，定义为目标集P。

其中，所述步骤(3)中，TopHat变换选择5*5灰度为1的矩形作为结构元素，经TopHat变换后的图像h(x,y)，再利用公式(7)、(8)对图像h(x,y)进行自适应阈值分割和联通域提取即可得到TopHat变换检测到的目标集Q。

其中，所述步骤(4)中，目标集Q中的任一目标的轮廓和目标集P中某一目标的轮廓相交，则认为P中该目标为两种算法共同检测到的目标，将该目标置于集合R；多尺度局部对比度算法单独检测到的目标集为P’＝P-R，TopHat变换单独检测到的目标集为Q’＝Q-R。

其中，所述步骤(5)中，选择当前帧的前2帧目标位置的均值作为当前帧目标的预测位置。

其中，所述步骤(6)中，根据当前帧目标预测位置，从待选目标集中确定当前帧检测目标。当两种算法共同检测到多个目标，即R包含多个元素，或者两种算法没有检测到相同目标，即R为空集，时，选择当前待选目标集中与预测位置最近的目标作为当前帧目标检测结果；若两种算法检测到唯一共同目标，即R包含单个元素，且P’、Q’中的目标与预测点的最小距离超过P’、Q’中的目标与唯一共同目标最小距离的5倍以上时，选择R中的唯一共同目标作为当前帧检测结果，否则选择P’、Q’中离预测点最近的目标作为当前帧检测结果。

(三)有益效果

上述技术方案所提供的变尺寸的红外弱小目标检测方法，结合了两种目标检测算法的优点和目标的运动轨迹短时内匀速直线运动的特点，既可检测信噪比极低的目标又可适应目标的尺寸变化，同时避免了亮背景的误检的情况。

附图说明

图1为TopHat变换和多尺度局部对比度算法的联合检测流程图；

图2为目标区和局部背景区定义及目标区和局部背景区放大图

图3为原图和经过多尺度局部对比度算法增强后的图像；

图4为原图和经过TopHat变换增强后的图像；

图5为采用本发明所描述的算法对不同尺寸目标进行检测的效果图。

具体实施方式

为使本发明的目的、内容和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

参照图1所示，本发明变尺寸的红外弱小目标检测方法包括以下步骤：

步骤(1)：对输入视频的每一帧图像进行预处理；

步骤(2)：对预处理后的图像进行多尺度局部对比度算法处理，而后对图像进行自适应阈值分割，并提取出疑似目标集P；

步骤(3)：对预处理后的图像进行TopHat变换处理，而后对图像进行自适应阈值分割，并提取出疑似目标集Q；

步骤(4):确定两种算法共同检测出的目标集R和仅多尺度局部对比度算法检测出的目标集合P’和仅TopHat变换检测出的目标集Q’，定义目标集R、P’、Q’定义为待选目标集；

步骤(1)中，由于红外探测器自身的原因，图像中存在比较明显的孤立噪声点，采用中值滤波对图像进行降噪处理。为了避免对图像过度平滑以至小目标对比度剧烈下降，这里选择3*3的模板W进行中值滤波。设初始图像坐标为(x,y)的像素的灰度为f(x,y)，中值滤波后的该像素的灰度为g(x,y)，med为取模板所在邻域内所有灰度点的中值的操作，则：

g(x,y)＝med{f(x-k,y-l),(k,l∈W)} (1)

继续对输入图像进行预处理。由于红外图像通常存在灰度区间比较集中、对比度不显著的特点，因此需要对图像进行拉伸处理，此处采用基本的线性拉伸，使得中值滤波后图像最小灰度值minvalue拉伸后变为灰度0、最大灰度值maxvalue拉伸后变为灰度255。则拉伸后的图像d(x,y)可表示为：

d(x,y)＝(255*g(x,y)-255*minvalue)/(maxvalue-minvalue) (2)

步骤(2)，受到生物视觉机制的启发，多尺度局部对比度算法首先计算预处理后图像的局部对比度算子用来抑制背景，同时提高目标信噪比，而后利用图像金字塔的概念改进算法以适应目标的尺度变化，从而提取出疑似目标集P。

对于一个为以坐标(x，y)为中心、大小为w*w(简称尺度为w)的讨论区u，其周围8邻域等大小的区域即为其局部背景区v，讨论区(也称目标区)和局部背景区的概念如图2(a)所示。以坐标(x，y)为中心、尺度为w的讨论区和其周围第i个邻域的对比度c_i(x,y,w)，可以表示为

c_i(x,y,w)＝L(x,y,w)/m_i(x,y,w)(i＝1,2...,8) (3)

其中L(x,y,w)表示讨论区域0的最大灰度值，m_i(x,y,w)表示第i个邻域灰度的均值，如图2(b)所示。对于任一讨论区，若其与周围所有邻域的平均灰度相差都和悬殊，则它的对比度也较高；若讨论区仅与周围一个邻域的平均灰度相差不大，也会产生讨论区与该邻域连成一片的视觉效果，对比度较差。由此可见，讨论区的局部对比度c(x,y,w)是由其最大邻域灰度决定的，即

c(x,y,w)＝minc_i(x,y,w)＝L(x,y,w)/max(m_i(x,y,w))(i＝1,2...,8) (4)

虽然目标所在的讨论区与其局部背景区的灰度差异不大，但该讨论区也会较局部背景区更亮。为了进一步突出目标，将局部对比度的定义乘上讨论区的最大亮度，改写(4)式为

c(x,y,w)＝L(x,y,w)minc_i(x,y,w)＝L(x,y,w)²/max(m_i(x,y,w))(i＝1,2...,8) (5)

为了自适应目标的尺寸变化，讨论区的尺度大小应是可变的。当讨论区刚好在目标所在位置且该讨论区的大小与目标的实际尺寸一致时，该尺度下的局部对比度值最大。至此，定义某一坐标(x,y)的多尺度局部对比度C(x,y)为：

C(x,y)＝maxc(x,y,w)(w＝j+1,j+2...,j+n) (6)

其中j+1,j+2...,j+n为目标所有可能的尺度，j+1为最小目标尺度，j+n为最大目标尺度。

尺度的选取无疑会影响最终目标的检测结果，若尺度选取的过小，噪声有可能被放大而被误判为目标；若尺度选取过大，又会造成算法的计算量过大。因此应根据被检测目标在图像上可能显示的最小和最大像素数确定j和n。

利用公式(6)计算预处理后图像d(x,y)每个坐标点的多尺度局部对比度，即得到图像e(x,y),如图3(b)所示。可见相对于原图3(a),小目标被显著增强了。

而后，设置一个自适应阈值thresh,

thresh＝μ×(maxgray-mingray)+mingray (7)

其中maxgray为e(x,y)的最大灰度值，mingray为e(x,y)的最小灰度值，μ的取值范围为区间[0.7,0.9]。

步骤(3)，对预处理后的图像进行TopHat变换，TopHat变换选择5*5灰度为1的矩形作为结构元素。TopHat变换同样可以起到提高目标对比度的作用，是一种常见的小目标检测手段。

经TopHat变换后的图像h(x,y)，如图4(b)所示。可见相对于原图4(a)，小目标被显著增强了。再利用公式(7)、(8)对图像h(x,y)进行自适应阈值分割和联通域提取即可得到TopHat变换检测到的目标集Q。

步骤(4)，由于经TopHat变换和阈值分割后的大目标可能存在分裂的情况，但多尺度对比度算法却因为对目标尺度的自适应性不容易产生裂变，因此将目标将TopHat变换得到的目标集Q映射到多尺度局部对比度算法得到的目标集P。本发明中Q中的任一目标的轮廓和P中某一目标的轮廓相交，则认为P中该目标为两种算法共同检测到的目标，将该目标置于集合R。多尺度局部对比度算法单独检测到的目标集为P’＝P-R，TopHat变换单独检测到的目标集为Q’＝Q-R。定义目标集R、P’、Q’定义为待选目标集，真正的目标需要结果之前帧的检测结果从待选目标集中选出。

步骤(5)，虽然大部分的目标运动缺乏规律且红外成像器的方位在某些应用中也可能发生变化。但在极短时间内，由于相机的采样率较高，仍可认为目标是匀速直线运动。本专利通过选择当前帧的前2帧目标位置的均值作为当前帧目标的预测位置。

步骤(6)，根据当前帧目标预测位置，从待选目标集中确定当前帧检测目标。当两种算法共同检测到多个目标(即R包含多个元素)或者两种算法没有检测到相同目标(即R为空集)时，选择当前待选目标集中与预测位置最近的目标作为当前帧目标检测结果；若两种算法检测到唯一共同目标(即R包含单个元素)，且P’、Q’中的目标与预测点的最小距离超过P’、Q’中的目标与唯一共同目标最小距离的5倍以上时，选择R中的唯一共同目标作为当前帧检测结果，否则选择P’、Q’中离预测点最近的目标作为当前帧检测结果。

为验证本发明的有效性，利用本发明算法对不同天空背景下不同尺寸的无人机目标进行检测，检测结果如图5白圈所示。可见对尺寸不同、信噪比不同的小目标，本发明均可有效检出。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims

1.一种变尺寸的红外弱小目标检测方法，其特征在于，包括以下步骤：

步骤(1)：对输入视频的每一帧图像进行预处理；

步骤(6)：根据当前帧目标预测位置，从待选目标集中确定当前帧检测目标；

所述步骤(1)中，采用3*3的模板W对图像进行中值滤波降噪处理，设初始图像坐标为(x,y)的像素的灰度为f(x,y)，中值滤波后的该像素的灰度为g(x,y)，med为取模板所在邻域内所有灰度点的中值的操作，则：

g(x,y)＝med{f(x-k,y-l),(k,l∈W)} (1)

所述步骤(1)中，对中值滤波后图像进行线性拉伸处理，使得中值滤波后图像最小灰度值minvalue拉伸后变为灰度0、最大灰度值maxvalue拉伸后变为灰度255，则拉伸后的图像d(x,y)表示为：

d(x,y)＝(255*g(x,y)-255*minvalue)/(maxvalue-minvalue) (2)

所述步骤(2)中，多尺度局部对比度算法首先计算预处理后图像的局部对比度算子用来抑制背景，而后利用图像金字塔的概念改进算法以适应目标的尺度变化，提取出疑似目标集P；

所述步骤(2)中，以坐标(x，y)为中心、尺度为w的讨论区和其周围第i个邻域的对比度c_i(x,y,w)，表示为

c_i(x，y，w)＝L(x，y，w)/m_i(x，y，w) i＝1,2,…,8 (3)

其中，L(x,y,w)表示讨论区的最大灰度值，m_i(x,y,w)表示第i个邻域灰度的均值；讨论区的局部对比度c(x,y,w)是由其最大邻域灰度决定的，即

c(x，y，w)＝min c_i(x，y，w)＝L(x，y，w)/max(m_i(x，y，w)) i＝1,2,…,8 (4)

将局部对比度的定义乘上讨论区的最大灰度值，改写(4)式为

c`(x，y，w)＝L(x，y，w)min c_i(x，y，w)＝L(x，y，w)²/max(m_i(x，y，w)) i＝1,2,…,8 (5)

C(x，y)＝max c`(x，y，w)

w＝j+1，j+2...，j+n (6)

thresh＝μ×(maxgray-mingray)+mingray (7)

2.如权利要求1所述的变尺寸的红外弱小目标检测方法，其特征在于，所述步骤(3)中，TopHat变换选择5*5灰度为1的矩形作为结构元素，经TopHat变换后的图像h(x,y)，再利用公式(7)、(8)对图像h(x,y)进行自适应阈值分割和联通域提取即可得到TopHat变换检测到的目标集Q。

3.如权利要求2所述的变尺寸的红外弱小目标检测方法，其特征在于，所述步骤(4)中，目标集Q中的任一目标的轮廓和目标集P中某一目标的轮廓相交，则认为P中该目标为两种算法共同检测到的目标，将该目标置于集合R；多尺度局部对比度算法单独检测到的目标集为P’＝P-R，TopHat变换单独检测到的目标集为Q’＝Q-R。

4.如权利要求3所述的变尺寸的红外弱小目标检测方法，其特征在于，所述步骤(5)中，选择当前帧的前2帧目标位置的均值作为当前帧目标的预测位置。

5.如权利要求4所述的变尺寸的红外弱小目标检测方法，其特征在于，所述步骤(6)中，根据当前帧目标预测位置，从待选目标集中确定当前帧检测目标；当两种算法共同检测到多个目标，即R包含多个元素，或者两种算法没有检测到相同目标，即R为空集时，选择当前待选目标集中与预测位置最近的目标作为当前帧目标检测结果；若两种算法检测到唯一共同目标，即R包含单个元素，且P’、Q’中的目标与预测点的最小距离超过P’、Q’中的目标与唯一共同目标最小距离的5倍以上时，选择R中的唯一共同目标作为当前帧检测结果，否则选择P’、Q’中离预测点最近的目标作为当前帧检测结果。