CN113592914A - 红外弱小飞行目标自适应检测跟踪方法、装置 - Google Patents

Abstract

本发明公开了一种红外弱小飞行目标自适应检测跟踪方法、装置，所述方法包括：对所述原始红外影像的图像帧，应用窗口大小调整步骤，适用第一模板和第二模板遍历图像帧进行计算，得到第一方差图和第二方差图；其中，窗口大小调整步骤：计算图像帧的全局标准差；适用第一模板遍历图像帧，计算得到第一局部标准差，增加第一窗口大小，直到全局标准差大于第一局部标准差，确定第一窗口大小；适用第二模板遍历图像帧，计算得到第二局部标准差，增大第二窗口大小，直到第二局部标准差大于第一局部标准差，确定第二窗口大小。采用上述技术方案，滤波窗口大小自适应变化，基于变化的滤波窗口，实现时刻稳定捕捉弱小目标，提高弱小目标检测跟踪的可靠性。

Description

红外弱小飞行目标自适应检测跟踪方法、装置

技术领域

本发明涉及目标检测和跟踪技术领域，尤其涉及一种红外弱小飞行目标自适应检测跟踪方法、装置。

背景技术

弱小飞行目标由于在红外影像中很小，对于弱小飞行目标的检测和跟踪还受噪声、杂波或者云层干扰，因此，通常弱小目标的信噪比很低，经常会淹没于背景之中。

现有技术中，弱小目标检测跟踪方案虽然一定程度上克服了运算量较大的困难，但仍存在的问题是，应用的滤波窗口大小是固定的，忽略了飞行目标在影像上尺寸大小的变化性。在目标距离探测器较远时，目标呈现出点目标特性，在目标距离探测器较近时，呈现出面源特性。基于目标的弱小特点，形状、大小、尺寸、纹理等空间信息均不可用，随着目标成像尺寸的变化，在目标成像尺寸大于滤波窗口或远小于滤波窗口时，容易导致目标检测跟踪失败。

发明内容

发明目的：本发明提供一种红外弱小飞行目标自适应检测跟踪方法、装置，旨在根据弱小目标成像尺寸的变化，滤波窗口相应的自适应变化，实现时刻稳定捕捉弱小目标，提高弱小目标检测跟踪的可靠性。

技术方案：本发明提供一种红外弱小飞行目标自适应检测跟踪方法，包括：

获取包括待测目标的原始红外影像；

对所述原始红外影像的图像帧，应用窗口大小调整步骤，适用第一模板和第二模板遍历图像帧进行计算，计算第一模板范围内灰度值的方差，得到第一方差图；计算第二模板范围内灰度值的方差，得到第二方差图；其中，第一模板的范围为第一窗口，第二模板的范围为第一窗口减去位于其中的第二窗口；

其中，窗口大小调整步骤：计算图像帧的全局标准差；适用第一模板遍历图像帧，计算得到多个第一局部标准差，若全局标准差不大于第一局部标准差，则增加第一窗口大小，直到全局标准差大于第一局部标准差，确定第一窗口大小；适用第二模板遍历图像帧，计算得到多个第二局部标准差，若第二局部标准差不大于第一局部标准差，则增大第二窗口大小，直到第二局部标准差大于第一局部标准差，确定第二窗口大小；

第一方差图减去第二方差图，得到方差差值图，挑选其中的极大值点作为疑似目标点；

根据疑似目标点对待测目标进行跟踪。

具体的，对所述原始红外影像的每幅图像帧，依次应用窗口大小调整步骤调整第一窗口和第二窗口的大小。

具体的，将计算得到的灰度值的方差，替换模板中心点的灰度值，得到方差图。

具体的，所述第二模板，第一窗口与第二窗口共中心点。

具体的，第一窗口和第二窗口的初始大小为N个像素点，N≥3；

若S_{std_total}＞λS1_{std_local}，则确定当前的第一窗口大小，否则第一窗口大小L=（N+2n），n=1，2，3，……，S_{std_total}表示全局标准差，S1_{std_local}表示第一局部标准差，λ表示调节参数；

若S2_{std_local}＞λS1_{std_local}，则确定当前的第二窗口大小，否则第二窗口大小L=（N+2n），n=1，2，3，……，S2_{std_local}表示第二局部标准差。

具体的，对所述原始红外影像的每幅图像帧，计算云层边缘区域、云层区域和净空区域灰度值的方差分布，根据每幅图像帧的方差分布，调整应用窗口大小调整步骤中的调节参数。

具体的，对所述原始红外影像的图像帧进行空域滤波，将滤波后的图像帧和方差差值图对应像素点相乘，得到背景抑制图；

于背景抑制图中筛选预设数量的极大值点作为疑似目标点；

根据疑似目标点进行目标分割，获得疑似目标。

具体的，利用波门对疑似目标进行跟踪，若疑似目标处于波门范围内，确定疑似目标为待测目标；若疑似目标处于波门范围外，判断疑似目标为新目标或虚警。

本发明还提供一种红外弱小飞行目标自适应检测跟踪装置，包括获取单元、方差计算单元、窗口调整单元、筛选单元和跟踪单元，其中：

所述获取单元，用于获取包括待测目标的原始红外影像；

所述方差计算单元，用于对所述原始红外影像的图像帧，应用窗口大小调整步骤，适用第一模板和第二模板遍历图像帧进行计算，计算第一模板范围内灰度值的方差，得到第一方差图；计算第二模板范围内灰度值的方差，得到第二方差图；其中，第一模板的范围为第一窗口，第二模板的范围为第一窗口减去位于其中的第二窗口；

所述窗口调整单元，用于窗口大小调整：计算图像帧的全局标准差；适用第一模板遍历图像帧，计算得到多个第一局部标准差，若全局标准差不大于第一局部标准差，则增加第一窗口大小，直到全局标准差大于第一局部标准差，确定第一窗口大小；适用第二模板遍历图像帧，计算得到多个第二局部标准差，若第二局部标准差不大于第一局部标准差，则增大第二窗口大小，直到第二局部标准差大于第一局部标准差，确定第二窗口大小；

所述筛选单元，用于第一方差图减去第二方差图，得到方差差值图，挑选其中的极大值点作为疑似目标点；

所述跟踪单元，用于根据疑似目标点对待测目标进行跟踪。

具体的，所述窗口调整单元，用于窗口大小调整，包括：

第一窗口和第二窗口的初始大小为N个像素点，N≥3；

若S_{std_total}＞λS1_{std_local}，则确定当前的第一窗口大小，否则第一窗口大小L=（N+2n），n=1，2，3，……，S_{std_total}表示全局标准差，S1_{std_local}表示第一局部标准差，λ表示调节参数；

若S2_{std_local}＞λS1_{std_local}，则确定当前的第二窗口大小，否则第二窗口大小L=（N+2n），n=1，2，3，……，S2_{std_local}表示第二局部标准差。

有益效果：与现有技术相比，本发明具有如下显著优点：基于对获取的红外影像的图像帧的方差分布，确定待测目标在红外影像上的尺寸变化，滤波窗口大小由此自适应变化，基于变化的滤波窗口，实现时刻稳定捕捉弱小目标，提高弱小目标检测跟踪的可靠性。

附图说明

图1为本发明提供的红外弱小飞行目标自适应检测跟踪方法的流程示意图；

图2（a）为本发明提供的第一模板的示意图；图2（b）为本发明提供的第二模板的示意图。

具体实施方式

下面结合附图对本发明的技术方案作进一步说明。

参阅图1，其为本发明提供的红外弱小飞行目标自适应检测跟踪方法的流程示意图，其中包括具体步骤。

步骤1，获取包括待测目标的原始红外影像。

在具体实施中，待测的飞行目标在原始红外影像中的成像大小一般在1×1~9×9像素之间变化，大多数情况是在4×4~6×6像素之间变化，虽然数值本身均较小，但数值之间存在倍数差距。现有技术中，在实际的滤波过程中，为了可以有效捕捉待测目标，通常设定的窗口大小在4×4~6×6像素之间，但在目标成像尺寸变化至1×1~2×2或者6×6~9×9时，4×4~6×6像素大小的滤波窗口容易丢失目标。

步骤2，对所述原始红外影像的图像帧，应用窗口大小调整步骤，适用第一模板和第二模板遍历图像帧进行计算，计算第一模板范围内灰度值的方差，得到第一方差图；计算第二模板范围内灰度值的方差，得到第二方差图。

本发明实施例中，其中，第一模板的范围为第一窗口，第二模板的范围为第一窗口减去位于其中的第二窗口。

在具体实施中，对于原始红外影像的图像帧，应用窗口大小调整步骤，对第一模板和第二模板的滤波窗口进行大小的调整，应用调整后的滤波窗口对于红外图像进行待测目标的检测。

在具体实施中，参阅图2（a）和（b），第一模板的范围即为第一窗口L的全部（斜线部分），第二模板的范围是第一窗口L减去第二窗口K的部分（斜线部分）。

在具体实施中，模板范围内的局部方差反应了红外图像中各灰度分布的离散度量，局部方差分布突出表征了图像的细节信息。飞行目标的背景为天空和云层，目标区域和背景区域的灰度分布特定不同，从而导致两者的方差分布存在差异，即目标区域的方差较大，背景区域的方差较小，在背景区域中提取一部分图像，灰度的离散程度不会发生较为明显的变化，方差也不会发生较为明显的变化；在目标区域提取一部分图像，灰度的离散程度的变化明显，方差的变化同样明显。因此，根据目标区域和背景区域的差异，建立了图2所示的方差模板，如果第二模板范围内是目标区域，在排除第二窗口的范围后计算得到的方差，会和第一模板计算得到的方差有较为明显的差异。

本发明实施例中，对所述原始红外影像的每幅图像帧，依次应用窗口大小调整步骤调整第一窗口和第二窗口的大小。

在具体实施中，对于每幅图像帧，均进行窗口大小调整，在上一幅图像帧中调整的窗口大小，可以延续至下一幅图像帧，例如，在第一幅图像帧中将第一窗口调整为4×4像素大小，在对第二幅图像帧进行窗口大小调整时，以4×4像素大小的第一窗口为基础进行进一步调整。

本发明实施例中，将计算得到的灰度值的方差，替换模板中心点的灰度值，得到方差图。

本发明实施例中，在所述第二模板中，第一窗口与第二窗口共中心点。

本发明实施例中，窗口大小调整步骤包括：计算图像帧的全局标准差；适用第一模板遍历图像帧，计算得到多个第一局部标准差，若全局标准差不大于第一局部标准差，则增加第一窗口大小，直到全局标准差大于第一局部标准差，确定第一窗口大小；适用第二模板遍历图像帧，计算得到多个第二局部标准差，若第二局部标准差不大于第一局部标准差，则增大第二窗口大小，直到第二局部标准差大于第一局部标准差，确定第二窗口大小。

在具体实施中，为了可以将目标实时的包裹在窗口范围内，本发明提供了窗口自适应变化的方案。根据全局标准差和第一局部标准差之间的大小关系，确定第一窗口的大小，在全局标准差大于第一局部标准差时，第一窗口范围内的灰度值的离散程度，小于整幅图像范围内的灰度值的离散程度，表明第一窗口可以精确的捕捉到某一具体区域；根据第一局部标准差和第二局部标准差之间的大小关系，确定第二窗口的大小，在第二局部标准差大于第一局部标准差时，表明在窗口遍历过程中遇到目标区域时，提取第二窗口大小的图像时，方差产生了较为明显的变化，可以检测到变化后的弱小目标。

在具体实施中，滤波窗口的自适应变化，实现时刻稳定捕捉弱小目标，提高弱小目标检测跟踪的可靠性。

本发明实施例中，所述窗口大小调整步骤，包括：

第一窗口和第二窗口的初始大小为N个像素点，N≥3；

若S_{std_total}＞λS1_{std_local}，则确定当前的第一窗口大小，否则第一窗口大小L=（N+2n），n=1，2，3，……，S_{std_total}表示全局标准差，S1_{std_local}表示第一局部标准差，λ表示调节参数；

若S2_{std_local}＞λS1_{std_local}，则确定当前的第二窗口大小，否则第二窗口大小L=（N+2n），n=1，2，3，……，S2_{std_local}表示第二局部标准差。

在具体实施中，第一窗口和第二窗口的初始大小包括N个像素点，优选为3个像素点，对于每幅图像帧，均进行窗口大小调整，在上一幅图像帧中调整的窗口大小，可以延续至下一幅图像帧。

在具体实施中，每次调整窗口的尺寸，依序增加2n像素点为优选，可以逐步提升窗口的大小，确保不至于将窗口的大小调整的过大。

在具体实施中，增加调节参数λ，取值范围为(0,1]，可以调节第一窗口和第二窗口方差之间的关系。

本发明实施例中，对所述原始红外影像的每幅图像帧，计算云层边缘区域、云层区域和净空区域灰度值的方差分布，根据每幅图像帧的方差分布，调整应用窗口大小调整步骤中的调节参数。

在具体实施中，飞行目标的背景区域中包括云层边缘区域、云层区域和净空区域，通过计算以上具体背景区域中的灰度值的方差分布，可以表明背景区域的离散程度，如果背景区域的离散程度相对较高，可以将调节参数调低，克服由此导致的窗口过大，如果背景区域的离散程度较低，可以将调节参数调高，克服由此导致的窗口过小。具体的离散程度相对较高或相对较低，可以以预设的标准方差分布图为准，程度高于标准方差分布图即为相对较高，程度低于标准方差分布图即为相对较低。

步骤3，第一方差图减去第二方差图，得到方差差值图，挑选其中的极大值点作为疑似目标点。

在具体实施中，如果第二模板范围内是目标区域，在排除第二窗口的范围后计算得到的方差，会和第一模板计算得到的方差有较为明显的差异，因此将局部方差图像相减，得到局部方差差值，该差值所表征的图像代表待测目标。

本发明实施例中，对所述原始红外影像的图像帧进行空域滤波，将滤波后的图像帧和方差差值图对应像素点相乘，得到背景抑制图；

于背景抑制图中筛选预设数量的极大值点作为疑似目标点；

根据疑似目标点进行目标分割，获得疑似目标。

在具体实施中，为了使目标区域更加突出，增强目标和背景区域对比度，进行图像相乘，同样是本发明重要的改进点之一，经过空域滤波后的图像，接收有效信号并抑制来自其它方向的干扰信号，再与表征目标的方差差值图相乘，可以进一步突出待测目标的成像区域，可以有效检测跟踪待测目标，提升可靠性。

在具体实施中，选择预设数量的极大值点作为疑似目标点，其中预设数量可以根据实际应用场景进行相应的设定。相应的，可以设定阈值，高于阈值的极大值点可以作为疑似目标点。

在具体实施中，目标分割可以采取多种方案，例如应用阈值进行分割等。

步骤4，根据疑似目标点对待测目标进行跟踪。

本发明实施例中，利用波门对疑似目标进行跟踪，若疑似目标处于波门范围内，确定疑似目标为待测目标；若疑似目标处于波门范围外，判断疑似目标为新目标或虚警。

本发明还提供一种红外弱小飞行目标自适应检测跟踪装置，包括获取单元、方差计算单元、窗口调整单元、筛选单元和跟踪单元，其中：

所述获取单元，用于获取包括待测目标的原始红外影像；

所述方差计算单元，用于对所述原始红外影像的图像帧，应用窗口大小调整步骤，适用第一模板和第二模板遍历图像帧进行计算，计算第一模板范围内灰度值的方差，得到第一方差图；计算第二模板范围内灰度值的方差，得到第二方差图；其中，第一模板的范围为第一窗口，第二模板的范围为第一窗口减去位于其中的第二窗口；

所述窗口调整单元，用于窗口大小调整：计算图像帧的全局标准差；适用第一模板遍历图像帧，计算得到多个第一局部标准差，若全局标准差不大于第一局部标准差，则增加第一窗口大小，直到全局标准差大于第一局部标准差，确定第一窗口大小；适用第二模板遍历图像帧，计算得到多个第二局部标准差，若第二局部标准差不大于第一局部标准差，则增大第二窗口大小，直到第二局部标准差大于第一局部标准差，确定第二窗口大小；

所述筛选单元，用于第一方差图减去第二方差图，得到方差差值图，挑选其中的极大值点作为疑似目标点；

所述跟踪单元，用于根据疑似目标点对待测目标进行跟踪。

本发明实施例中，所述方差计算单元，用于对所述原始红外影像的每幅图像帧，依次应用窗口大小调整步骤调整第一窗口和第二窗口的大小。

本发明实施例中，所述方差计算单元，用于将计算得到的灰度值的方差，替换模板中心点的灰度值，得到方差图。

本发明实施例中，所述第二模板，第一窗口与第二窗口共中心点。

本发明实施例中，所述窗口调整单元，用于窗口大小调整，包括：

第一窗口和第二窗口的初始大小为N个像素点，N≥3；

若S_{std_total}＞λS1_{std_local}，则确定当前的第一窗口大小，否则第一窗口大小L=（N+2n），n=1，2，3，……，S_{std_total}表示全局标准差，S1_{std_local}表示第一局部标准差，λ表示调节参数；

若S2_{std_local}＞λS1_{std_local}，则确定当前的第二窗口大小，否则第二窗口大小L=（N+2n），n=1，2，3，……，S2_{std_local}表示第二局部标准差。

本发明实施例中，所述窗口调整单元，用于对所述原始红外影像的每幅图像帧，计算云层边缘区域、云层区域和净空区域灰度值的方差分布，根据每幅图像帧的方差分布，调整应用窗口大小调整步骤中的调节参数。

本发明实施例中，所述筛选单元，用于对所述原始红外影像的图像帧进行空域滤波，将滤波后的图像帧和方差差值图对应像素点相乘，得到背景抑制图；

于背景抑制图中筛选预设数量的极大值点作为疑似目标点；

根据疑似目标点进行目标分割，获得疑似目标。

本发明实施例中，所述跟踪单元，用于利用波门对疑似目标进行跟踪，若疑似目标处于波门范围内，确定疑似目标为待测目标；若疑似目标处于波门范围外，判断疑似目标为新目标或虚警。

Claims (10)

1.一种红外弱小飞行目标自适应检测跟踪方法，其特征在于，包括：

获取包括待测目标的原始红外影像；

对所述原始红外影像的图像帧，应用窗口大小调整步骤，适用第一模板和第二模板遍历图像帧进行计算，计算第一模板范围内灰度值的方差，得到第一方差图；计算第二模板范围内灰度值的方差，得到第二方差图；其中，第一模板的范围为第一窗口，第二模板的范围为第一窗口减去位于其中的第二窗口；

其中，窗口大小调整步骤：计算图像帧的全局标准差；适用第一模板遍历图像帧，计算得到多个第一局部标准差，若全局标准差不大于第一局部标准差，则增加第一窗口大小，直到全局标准差大于第一局部标准差，确定第一窗口大小；适用第二模板遍历图像帧，计算得到多个第二局部标准差，若第二局部标准差不大于第一局部标准差，则增大第二窗口大小，直到第二局部标准差大于第一局部标准差，确定第二窗口大小；

第一方差图减去第二方差图，得到方差差值图，挑选其中的极大值点作为疑似目标点；

根据疑似目标点对待测目标进行跟踪。

2.根据权利要求1所述的红外弱小飞行目标自适应检测跟踪方法，其特征在于，所述对所述原始红外影像的图像帧，应用窗口大小调整步骤，包括：

对所述原始红外影像的每幅图像帧，依次应用窗口大小调整步骤调整第一窗口和第二窗口的大小。

3.根据权利要求2所述的红外弱小飞行目标自适应检测跟踪方法，其特征在于，所述计算第一模板范围内灰度值的方差，得到第一方差图；计算第二模板范围内灰度值的方差，得到第二方差图，包括：

将计算得到的灰度值的方差，替换模板中心点的灰度值，得到方差图。

4.根据权利要求3所述的红外弱小飞行目标自适应检测跟踪方法，其特征在于，所述第二模板，第一窗口与第二窗口共中心点。

5.根据权利要求4所述的红外弱小飞行目标自适应检测跟踪方法，其特征在于，所述窗口大小调整步骤，包括：

第一窗口和第二窗口的初始大小为N个像素点，N≥3；

若S_{std_total}＞λS1_{std_local}，则确定当前的第一窗口大小，否则第一窗口大小L=（N+2n），n=1，2，3，……，S_{std_total}表示全局标准差，S1_{std_local}表示第一局部标准差，λ表示调节参数；

若S2_{std_local}＞λS1_{std_local}，则确定当前的第二窗口大小，否则第二窗口大小L=（N+2n），n=1，2，3，……，S2_{std_local}表示第二局部标准差。

6.根据权利要求5所述的红外弱小飞行目标自适应检测跟踪方法，其特征在于，对所述原始红外影像的每幅图像帧，计算云层边缘区域、云层区域和净空区域灰度值的方差分布，根据每幅图像帧的方差分布，调整应用窗口大小调整步骤中的调节参数。

7.根据权利要求6所述的红外弱小飞行目标自适应检测跟踪方法，其特征在于，所述挑选其中的极大值点作为疑似目标点，包括：

对所述原始红外影像的图像帧进行空域滤波，将滤波后的图像帧和方差差值图对应像素点相乘，得到背景抑制图；

于背景抑制图中筛选预设数量的极大值点作为疑似目标点；

根据疑似目标点进行目标分割，获得疑似目标。

8.根据权利要求7所述的红外弱小飞行目标自适应检测跟踪方法，其特征在于，所述根据疑似目标点对待测目标进行跟踪，包括：

利用波门对疑似目标进行跟踪，若疑似目标处于波门范围内，确定疑似目标为待测目标；若疑似目标处于波门范围外，判断疑似目标为新目标或虚警。

9.一种红外弱小飞行目标自适应检测跟踪装置，其特征在于，包括获取单元、方差计算单元、窗口调整单元、筛选单元和跟踪单元，其中：

所述获取单元，用于获取包括待测目标的原始红外影像；

所述方差计算单元，用于对所述原始红外影像的图像帧，应用窗口大小调整步骤，适用第一模板和第二模板遍历图像帧进行计算，计算第一模板范围内灰度值的方差，得到第一方差图；计算第二模板范围内灰度值的方差，得到第二方差图；其中，第一模板的范围为第一窗口，第二模板的范围为第一窗口减去位于其中的第二窗口；

所述窗口调整单元，用于窗口大小调整：计算图像帧的全局标准差；适用第一模板遍历图像帧，计算得到多个第一局部标准差，若全局标准差不大于第一局部标准差，则增加第一窗口大小，直到全局标准差大于第一局部标准差，确定第一窗口大小；适用第二模板遍历图像帧，计算得到多个第二局部标准差，若第二局部标准差不大于第一局部标准差，则增大第二窗口大小，直到第二局部标准差大于第一局部标准差，确定第二窗口大小；

所述筛选单元，用于第一方差图减去第二方差图，得到方差差值图，挑选其中的极大值点作为疑似目标点；

所述跟踪单元，用于根据疑似目标点对待测目标进行跟踪。

10.根据权利要求9所述的红外弱小飞行目标自适应检测跟踪装置，其特征在于，所述窗口调整单元，用于窗口大小调整，包括：

第一窗口和第二窗口的初始大小为N个像素点，N≥3；

若S_{std_total}＞λS1_{std_local}，则确定当前的第一窗口大小，否则第一窗口大小L=（N+2n），n=1，2，3，……，S_{std_total}表示全局标准差，S1_{std_local}表示第一局部标准差，λ表示调节参数；

若S2_{std_local}＞λS1_{std_local}，则确定当前的第二窗口大小，否则第二窗口大小L=（N+2n），n=1，2，3，……，S2_{std_local}表示第二局部标准差。

Images