CN110490904B - 一种弱小目标检测与跟踪方法 - Google Patents

Abstract

本发明公开了一种弱小目标检测与跟踪方法，首先对图像进行多帧累加，提高目标的能量、抑制背景噪声；然后采用梯度块滤波的方法对图像进行滤波，抑制云层等背景杂波的干扰，提高弱小目标的信噪比与对比度；其次对滤波后的图像进行阈值分割，提取二值图像中的每个连通区域，其中每个连通区域代表一个候选目标，对每个候选目标进行特征统计，得到候选目标特征数据集；再次进行每个候选目标进行轨迹窗口滤波，通过目标在相邻时刻运动轨迹与特征的连续性从候选目标数据集中检测出真实的目标；最后对检测出的目标进行邻域匹配滤波跟踪，利用目标特征变化损失函数最小化原则进行邻域数据关联匹配，实时输出匹配滤波结果。

Description

一种弱小目标检测与跟踪方法

技术领域

本发明涉及一种复杂天空背景条件下弱小目标检测与跟踪方法，属于图像处理技术领域，涉及目标检测与跟踪技术。

背景技术

弱小目标检测与跟踪一直是目标检测与跟踪技术领域极具挑战的课题，其困难主要体现在如下几个方面：

(1)随着探测器探测的距离越来越远，天空远距离目标在相机靶面上仅占几个像素，没有有效的形状和纹理结构信息可供利用，给目标的检测识别带来了很大的挑战；

(2)由于天空云层和大气湍流的影响，获得的图像背景分布不均匀，成像系统内的噪声和杂波干扰非常强，使得目标信号相对很弱，极易淹没在噪声背景中，图像的信噪比已经处在0dB以下，人的肉眼很难在图像中发现目标的存在；

(3)在高杂波的场景中进行高速运动目标跟踪时，容易发生跟踪错误，背景中的杂波或者假目标对正在跟踪的目标形成非常大的干扰。

文献“空间自适应卷积核滤波红外弱小目标检测，红外技术，37(1)，39-43”公开了一种弱小目标检测方法，提出了空间自适应卷积核滤波检测算法，将具有各向异性特性的PM扩散模型应用到红外弱小目标检测中，该方法有效抑制了边缘，提高了信噪比，但是该方法没有利用多帧图像之间的时间维度信息，对目标增强效果有限，对于极低信噪比的空间目标仍然很难检测。

文献“红外弱小目标搜索跟踪算法研究，硕士学位论文，2013，中国工程物理研究院”公开了一种弱小目标跟踪方法，提出了模糊预测的目标跟踪算法，通过轨迹预测跟踪高速运动的目标，但是该方法没有利用目标本身的表面特征信息，对于杂波较多的场景容易跟踪到背景杂波上或跟踪到场景中的假目标，跟踪的抗干扰能力较差。

本发明人在研究现有的技术资料发现，传统的弱小目标检测与跟踪方法很难完全解决低信噪比、高杂波场景中所面临的困难和挑战。针对这些问题，本发明提出一种弱小目标检测与跟踪方法，对背景杂波具有很强的抑制能力，可以提高目标的信噪比，实现在复杂背景下，弱小目标的检测与稳定跟踪。

发明内容

本发明所要处理的问题是复杂背景下弱小目标检测与跟踪，其中背景不均匀，背景杂波非常强，目标完全淹没在背景噪声中，图像的信噪比低于0dB，目标成像大小为3×3左右的弱小目标。

为了实现上述应用目的，本发明提出一种弱小目标检测与跟踪方法，包含以下具体步骤：

第1步：对图像进行多帧累加，提高目标的能量、抑制背景噪声。由于图像的信噪比低于0dB，目标极其微弱，目标完全淹没在背景噪声中，如果直接在原图上进行滤波，则滤波后的图像中将含有大量的噪声点。通过对连续时间片内的几帧图像进行累加，可以提高目标的信噪比，去除背景随机分布的噪声影响。

第2步：采用梯度块滤波的方法对图像进行滤波，抑制云层等背景杂波的干扰，提高弱小目标的信噪比与对比度，有利于后面步骤中的目标检测与跟踪。根据目标成像大小选择梯度滤波模板。

所述梯度块滤波是指采用梯度块滤波模板对图像进行模板卷积运算，梯度块滤波模板包括5个区域块，A、B、C、D、E，其中A为中心区域块，B、C、D、E为上、下、左、右四个周围区域块。

所述模板卷积运算方法为：

(1)对模板所覆盖的图像区域计算每个分块的加权和；

(2)将中心块A的加权和

分别减去B、C、D、E区域块的加权和

得到上、下、左、右四个梯度方向的梯度块值，然后对四个梯度块值按照由小到大顺序排序，并取最小两个梯度块的均值，得到

(3)将

带入下列指数扩散函数公式：

其中，K为扩散函数梯度门限参数。

通过以上三步，可以得到梯度块滤波后图像。

第3步：候选目标捕获，通过对滤波后的图像进行阈值分割，提取二值图像中的每个连通区域，其中每个连通区域代表一个候选目标，最后对每个候选目标进行特征统计，得到候选目标特征数据集。

第4步：轨迹窗口滤波，通过目标在相邻时刻运动轨迹与特征的连续性从候选目标数据集中检测出真实的目标。

第5步：目标邻域匹配滤波跟踪，根据上几帧目标在图像中的位置计算目标在当前帧的位置。具体方法如下：

(1)轨迹预测，根据前几帧目标在图像中的位置预测目标在当前时刻的位置。

(2)邻域匹配滤波，根据预测位置以及当前时刻候选目标特征信息，构建运目标特征损失函数，利用目标特征变化损失函数最小化搜寻最佳匹配目标。

(3)利用匹配成功的候选目标更新跟踪器和目标轨迹。

本发明与现有技术相比的有益效果在于：

本发明利用图像多帧累加方法，可以提高目标的能量、抑制背景噪声的影响；采用梯度块滤波方法可以抑制云层等背景杂波的干扰，梯度块滤波方法同时考虑了目标和背景的不同成像特点可以提高弱小目标的信噪比与对比度；轨迹窗口滤波技术利用运动轨迹与特征的连续性从候选数据集中检测出真实目标；目标邻域匹配滤波跟踪算法通过结合轨迹预测和特征匹配可以实现稳定的目标跟踪，一方面轨迹预测相当于对跟踪算法进行加窗处理，将窗口之外的虚假目标排除掉，另一方面特征关联匹配方法进一步将邻近虚假目标排除掉。本发明可有效抑制复杂背景和噪声对弱小目标检测与跟踪的影响，算法检测虚警率低，对于强杂波场景下的高速运动目标具有较高的跟踪稳定性。

附图说明

图1为本发明弱小目标检测与跟踪方法整体流程图。

图2为本发明实施例梯度块滤波模板。

图3为本发明实施例原始弱小目标图像。

图4为本发明实施例梯度块滤波后图像。

图5为本发明对目标进行邻域匹配滤波流程图。

具体实施方式

下面结合附图对本发明的实施例作详细说明。本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于以下的实施例。

如图1所示，本实例提供了一种弱小目标检测与跟踪的方法，具体实施步骤是：图像多帧累加；梯度块滤波；候选目标捕获；轨迹窗口滤波；邻域匹配滤波跟踪。各步骤的详细说明如下：

第1步：图像多帧累加，所述图像多帧累加计算方式如下：

其中,

是当前时刻t的累加后图像，I_i(x,y)是时刻i的图像，n是累加的帧数，优选为4～6之间。

由于相机的帧频很高，目标在图像相邻几帧之间几乎不动，或者运动小于一个像素以内，通过累加可以提高图像的信噪比，降低背景杂波的影响。

第2步：梯度块滤波，如图2所示，所述梯度块滤波是指采用图2的梯度块滤波模板对图像进行卷积运算，梯度块滤波模板包括5个区域块，A、B、C、D、E，其中A为中心区域块，B、C、D、E为上、下、左、右四个周围区域块。

所述模板卷积运算方法为：

(1)对模板所覆盖的图像区域计算每个分块的加权和，如中心块A的计算式为：

其中，A_i为模板中心块的系数，I_i为模板所覆盖区域对应图像像素的灰度值，

为中心块A的加权和。其它区域块计算方法类似，都是以该区域块的模板系数乘以对应的像素灰度值。最后输出B、C、D、E区域块的加权和为

(2)将中心块A的加权和

分别减去B、C、D、E区域块的加权和

得到上、下、左、右四个梯度方向的梯度块值，

然后对四个梯度块值按照由小到大顺序排序，并取最小两个梯度块的均值，得到

这样舍弃两个大的梯度块值，保留两个小梯度块值，可以去除强边缘的影响，如天空云层等。因为天空云侧等强边缘背景在四个梯度方向只可能有两个梯度块取得较大的值，通过取两个较小梯度块值可以抑制边缘的影响。

(3)将

带入下列指数扩散函数公式：

其中，K为扩散函数梯度门限参数，K越大，平滑和锐化的梯度门限越大；反之，门限越小；f是输出的梯度块滤波结果；

时，输出的滤波结果为0，是因为当

时，中心区域块A的加权和小于其四个周围区域B、C、D、E的加权和，这说明该中心区域不可能是目标区域，所以置0。

通过以上三步，可以得到梯度块滤波后图像，在该图像中目标区域得到了增强，背景杂波包括云层边缘等得到了较好的抑制，图3、图4是滤波前后的对比图像，从中可以发现，背景杂波抑制的非常明显，目标对比度得到了增强，为下一步目标跟踪和检测提供了方便。

第3步：候选目标捕获，所述候选目标捕获包括：(1)图像阈值分割；(2)多目标区域标记；(3)目标属性特征提取。下面分别对每一步的具体实施方法进行介绍。

(1)图像阈值分割

采用梯度块滤波方法对图像进行滤波后，图像中只含有目标，少量的背景噪声和相机坏点，目标的灰度值不一定是最大的，所以不能认为灰度值最大的就是目标区域。所述图像阈值分割是选取阈值T将图像分割成前景为1,背景为0的二值图像。方法为：首先统计图像中大于最小分割值T₁的像素的均值M和方差S，对于8位的灰度图像，T₁优选为5～20之间。最后分割阈值选为

其中a是调节因子，优选为1.5～1.7之间。

(2)多目标区域标记

所述多目标区域标记是指对阈值分割得到的二值图像中符合某种连通规则(4邻域连通和8邻域连通)的像素用相同的标记表示出来，这样一个连通区域就表示一个候选目标。多目标区域标记方法可以通过下述文章实现，如：“一种二值图像连通区域标记的新方法，陈柏生，计算机工程与应用，2006.25”，或“一种二值图像连通区域标记的新算法，高红波，计算机应用，2007.11”。

(3)目标属性特征提取

所述目标属性特征提取是指提取每个候选目标的属性特征，包括候选目标的圆形度、能量、质心坐标、中心-周围对比度等。

第4步：轨迹窗口滤波，通过目标在相邻时刻运动轨迹的连续性从候选目标中检测出真实的目标。具体方法如下：

(1)设O_t＝{o₁,...,o_n}为时刻t捕获的所有候选目标，以每个候选目标的质心点为中心建立一个T×T大小的窗口W_t＝{w₁,...,w_n}，同时为每个候选目标建立一个计数器C_t＝{c₁,...,c_n}，并将各计数器置0。其中T优选为3～5之间。

(2)在每个T×T大小的窗口W_t＝{w₁,...,w_n}内寻找t-1时刻捕获到的所有候选目标中是否有在该窗口内的候选目标。如果某一窗口w_i内出现候选目标，则该候选目标对应的计数器c_i加1，同时更新窗口w_i位置，即将窗口位置更新为t-1时刻该窗口新出现目标的质心位置；如果有不止一个候选目标出现在某一窗口w_i内，则该窗口对应的计数器c_i只加一次，同时将窗口位置更新为t-1时刻该窗口新出现目标中离窗口中心最近的目标的质心位置。

判断t-1时刻捕获的候选目标是否出现在某一窗口内的方法是：计算候选目标质心到该窗口中心的距离，如果距离小于窗口的半边长即T/2，则该候选目标在该窗口内。

(3)按上述类似的方法在每个T×T大小的窗口W_t＝{w₁,...,w_n}内寻找t-1,t-2,...,t-m时刻捕获到的所有候选目标中是否有在该窗口内的候选目标，其中m优选为8～10之间。

(4)判断时刻t捕获的候选目标对应的计数器C_t＝{c₁,...,c_n}值的大小。选取计数器中值大于a×m的候选目标，其中a是调节因子优选为0.8。如果计数器中没有值大于a×m的候选目标，则说明没有检测到目标，t时刻加1重新返回(1)进行检测；如果计数器中值大于a×m的候选目标只有一个，则该候选目标就是检测的真实目标，退出轨迹窗口滤波过程；如果计数器中值大于a×m的候选目标不止一个，进入下一步。

(5)对每个候选目标按如下公式计算：

Ω＝α×R+β×S+γ×E

其中，R是目标圆形度，S是中心-周围对比度，E是目标能量；α、β、γ是各个分量的调节权重，通过该公式可以对每个候选目标进行综合打分，分数高者即为真实目标，调节权重是个经验值，对于不同应用场景有不同的值。

第5步：目标邻域匹配滤波跟踪，根据上几帧目标在图像中的位置计算目标在当前帧的位置。具体方法如下：

(1)轨迹预测，根据前几帧目标在图像中的位置预测目标在当前时刻的位置，采用如下公式计算目标预测位置：

其中

分别表示：在第i-3、i-2、i-1、i-0时刻目标在图像x方向上相邻时刻运动的位移量；y方向含义类似；p_x、p_y表示目标在图像上的预测位置。

(2)邻域匹配滤波，根据预测位置以及当前时刻候选目标特征信息，构建目标特征损失函数，利用损失函数变化最小化搜寻最佳匹配目标。如图5所示，首先判断候选目标位置和预测位置偏移量是否超过阈值D₁,根据目标在图像上的运动速度，其中D₁优选为2～5；其次判断目标的区域的直方图对比度变化的损失函数是否超过阈值D₂，其中D₂优选为20％；最后判断目标的能量变化损失函数是否超过阈值D₃，其中D₃优选为30％。如果存在唯一的候选目标满足上述判断，则该候选即为匹配成功的目标；如果不止一个候选目标匹配成功，则距离预测位置最近的候选目标即为成功匹配的目标；否则表示匹配不成功，目标丢失。

(3)利用匹配成功的候选目标更新跟踪器和目标轨迹。将步骤(2)中匹配正确的候选目标位置及其特征信息更新跟踪器数据包，完成跟踪器信息的实时更新；同时利用当前的目标位置信息更新目标运动轨迹。

Claims (2)

1.一种弱小目标检测与跟踪方法，其特征在于：包括如下步骤：

1)对图像进行多帧累加，提高目标的能量、抑制背景噪声；

2)采用梯度块滤波的方法对图像进行滤波，抑制云层背景杂波的干扰，提高弱小目标的信噪比与对比度，降低目标检测与跟踪的难度；

3)对滤波后的图像进行阈值分割，提取二值图像中的每个连通区域，其中每个连通区域代表一个候选目标，最后对每个候选目标进行特征统计，得到候选目标特征数据集；

4)轨迹窗口滤波，通过目标在相邻时刻运动轨迹的连续性从候选目标中检测出真实的目标；

5)最后对检测出的目标进行邻域匹配滤波跟踪，根据上几帧目标在图像中的位置计算目标在当前帧的位置；

所述梯度块滤波是指采用梯度块滤波模板对图像进行卷积运算，梯度块滤波模板包括5个区域块，A、B、C、D、E，其中A为中心区域块，B、C、D、E为上、下、左、右四个周围区域块；

所述模板卷积运算方法为：

(1)对模板所覆盖的图像区域计算每个分块的加权和，中心块A的计算式为：

其中，A_i为模板中心块的系数，I_i为模板所覆盖区域对应图像像素的灰度值，

为中心块A的加权和；其它区域块计算方法类似，都是以该区域块的模板系数乘以对应的像素灰度值；最后输出B、C、D、E区域块的加权和为

(2)将中心块A的加权和

分别减去B、C、D、E区域块的加权和

得到上、下、左、右四个梯度方向的梯度块值，

然后对四个梯度块值按照由小到大顺序排序，并取最小两个梯度块的均值，得到

这样舍弃两个大的梯度块值，保留两个小梯度块值，可以去除强边缘的影响；因为强边缘背景在四个梯度方向只可能有两个梯度块取得较大的值，通过取两个较小梯度块值可以抑制边缘的影响；

(3)将

带入下列指数扩散函数公式：

其中，K为扩散函数梯度门限参数，K越大，平滑和锐化的梯度门限越大；反之，门限越小；f是输出的梯度块滤波结果；

时，输出的滤波结果为0，是因为当

时，中心区域块A的加权和小于其四个周围区域B、C、D、E的加权和，这说明该中心区域不可能是目标区域，所以置0。

2.根据权利要求1所述的弱小目标检测与跟踪方法，其特征是：所述的邻域匹配滤波跟踪方法包括如下步骤：

(1)轨迹预测，根据前几帧目标在图像中的位置预测目标在当前时刻的位置；

(2)邻域匹配滤波，根据预测位置以及当前时刻候选目标特征信息，构建目标特征损失函数，利用目标特征变化损失函数最小化原则搜寻最佳匹配目标；

(3)利用匹配成功的候选目标更新跟踪器和目标轨迹。

Images