CN115311460A - 一种缓动背景下融合时空域信息的红外小目标检测方法 - Google Patents

Abstract

本发明公开了一种缓动背景下融合时空域信息的红外小目标检测方法，包括：获取输入图像，基于输入图像获取时空域加权融合背景估计图像；基于时空域加权融合背景估计图像与输入图像获取残差图像；计算残差图像中像元处的低阈值；基于残差图像与低阈值，采用低阈值分割法构建时域背景更新图像；计算残差图像中像元处的高阈值，将残差图像中大于高阈值的像元作为红外检测目标。本发明能够适应时序缓动背景和时序稳定背景的背景估计，在背景估计过程中动态调节时域及空域信息的占比，具有更精确的背景估计效果。

Description

一种缓动背景下融合时空域信息的红外小目标检测方法

技术领域

本发明属于红外弱小目标检测处理领域，特别是涉及一种缓动背景下融合时空域信息的红外小目标检测方法。

背景技术

随着近年来民用无人机技术的发展，违规使用无人机进行非法拍摄，扰乱公共治安的现象愈发频繁，红外成像系统由于具有全天候工作，隐蔽性好的优点，在安防、远距离目标检测等任务中得到了广泛的应用，如何利用红外成像系统对无人机位置进行侦测，从而做到对相关不法行为有效监管，成为当前急需解决的问题。红外小目标检测是红外成像系统对无人机搜索发现过程中涉及的一个核心信息处理环节，其主要包括背景估计和阈值分割两个部分。目前典型的时域背景估计方法包括ViBe，GMM等，该类型的算法在背景不动的条件下具有较好的背景估计性能。但是，在实际无人机目标的红外探测应用中，场景中通常包含缓动云层以及晃动树林等背景，此时仅通过时序信息无法获得准确的背景估计，导致背景抑制残差中存在大量缓动背景成分，阈值分割后检测结果中存在大量虚警，难以满足红外小目标的检测性能。

发明内容

本发明的目的是提供一种缓动背景下融合时空域信息的红外小目标检测方法，以解决上述现有技术存在的问题。

为实现上述目的，本发明提供了一种缓动背景下融合时空域信息的红外小目标检测方法，包括：

获取输入图像，基于所述输入图像获取时空域加权融合背景估计图像；

基于所述时空域加权融合背景估计图像与所述输入图像获取残差图像；

计算所述残差图像中像元处的低阈值；

基于所述残差图像与所述低阈值，采用低阈值分割法构建时域背景更新图像；

计算所述残差图像中像元处的高阈值，将所述残差图像中大于所述高阈值的像元作为红外检测目标。

可选地，基于所述输入图像获取时空域加权融合背景估计图像的过程包括：

基于所述输入图像获取空域背景估计图像与时域背景估计图像，基于所述空域背景估计图像与所述时域背景估计图像进行计算，获取所述时空域加权融合背景估计图像。

可选地，基于所述输入图像获取空域背景估计图像与时域背景估计图像的过程包括：

基于最大中值滤波算法、局部对比度方法、低秩分解方法对所述输入图像进行处理，获得所述空域背景估计图像；

基于迭代加权背景估计算法、混合高斯背景估计算法获得所述时域背景估计图像。

可选地，基于所述空域背景估计图像与所述时域背景估计图像进行计算的方法为：

M_i(x,y)＝B_i(x,y)+η_i(x,y)×[P_i(x,y)-B_i(x,y)]

其中(x,y)表示像元位置，i为帧序号，η_i(x,y)为像元(x,y)处的背景估计调节因子，M_i(x,y)为加权融合背景估计图像中(x,y)处的像元值，B_i(x,y)为空域背景估计图像中(x,y)处的像元值，P_i(x,y)为时域背景估计图像中(x,y)处的像元值；σ²为红外图像时域噪声方差，所述红外图像时域噪声方差为经过实测的固定值；S_i为时域起伏图像，S_i(x,y)为[i-n+1,i]的n帧范围内像元(x,y)处的n个像元值的均方差。

可选地，基于所述时空域加权融合背景估计图像与所述输入图像获取残差图像的过程包括：

D_i(x,y)＝I_i(x,y)-M_i-1(x,y)

其中，(x,y)表示像元位置，i为帧序号，D_i(x，y)表示第i帧的残差图像，I_i(x，y) 表示第i帧的输入图像，M_i-1(x，y)表示第i-1帧的时空域加权融合背景估计图像。

可选地，所述低阈值的计算方法为：

其中，k_low为低阈值系数。

可选地，采用低阈值分割法构建时域背景更新图像的方法包括：

r₁(x,y)＝I₁(x,y) i＝1

其中，r_i(x，y)表示时域背景更新图像在(x，y)处的像元值。

可选地，所述高阈值的计算方法为：

其中，

为高阈值，k_high为高阈值系数，H_i(x,y)为高阈值调节量， H_i-1(x,y)表示上一帧的高阈值调节量。

可选地，上一帧的高阈值调节量H_i-1(x,y)的计算方法为：

式中，

K_plus为高阈值增益因子，K_dec为高阈值衰减因子，ReLU(·)代表激活函数，L_i为邻域时域起伏图像，L_i(x,y)为像元(x,y)的 (2N+1)×(2N+1)邻域范围内时域起伏图像S_i(x,y)中大于阈值T的像元数量。

可选地，时域起伏图像中大于阈值的像元数量L_i(x,y)的计算方法为：

式中

N为设定值，T为固定阈值。

本发明的技术效果为：

(1)本发明针对缓动背景估计问题，提出了一种时空域加权融合的背景估计策略，能够适应时序缓动背景和时序稳定背景的背景估计，在背景估计过程中动态调节时域及空域信息的占比，具有更精确的背景估计效果。

(2)本发明针对背景估计后的残差图像设计了一种双阈值分割策略，利用低阈值分割策略提取稳定的时域背景更新图像用于时域背景估计，利用高阈值分割策略对提高缓动背景区域残差图像的分割阈值，降低了缓动背景虚警；

(3)本发明基于时域起伏图像给出了低阈值构建方法，结合低阈值分割结果形成了时域背景更新图像及时域背景估计图像构建方法。针对时域起伏图像中小于低阈值的像元进行更新和时域估计，体现了低阈值在时序稳定背景估计上的作用；

(4)本发明基于时域起伏图像和高阈值调节量给出了高阈值构建方法，在高阈值构建的过程中对邻域像元的时序起伏图像进行统计，获取了高阈值调节量，自适应提高缓动背景区域的分割阈值，体现了高阈值在缓动背景抑制上的能力。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明实施例中的红外图像红外小目标实时检测算法流程图；

图2为本发明实施例中的时空域加权融合背景估计过程关键变量图，其中 (a1)、(a2)、(a3)、(a4)分别为第20帧、40帧、60帧、80帧的输入图像，(b1)、(b2)、(b3)、(b4)分别为第20帧、40帧、60帧、80帧输入图像对应的时域背景估计图像，(c1)、(c2)、(c3)、(c4)分别为第20帧、40帧、60帧、80帧输入图像对应的空域背景估计图像，(d1)、(d2)、 (d3)、(d4)分别为第20帧、40帧、60帧、80帧输入图像对应的时域起伏图像；

图3为本发明实施例中的时空域加权融合背景估计的结果图，其中(a1)、 (a2)、(a3)、(a4)分别为第20帧、40帧、60帧、80帧的背景估计调节因子，(b1)、(b2)、(b3)、(b4)分别为第20帧、40帧、60帧、80帧背景估计调节因子对应的时空域加权融合背景估计图像；

图4为本发明实施例在低阈值分割过程中的关键变量图，其中(a1)、(a2)、 (a3)、(a4)分别为第20帧、40帧、60帧、80帧时空域背景估计后的残差图像，(b1)、(b2)、(b3)、(b4)分别为第20帧、40帧、60帧、80帧的低阈值图，(c1)、(c2)、(c3)、(c4)分别为第20帧、40帧、60帧、80帧的时域背景更新图像；

图5为本发明实施例在高阈值分割过程中的关键变量图，其中(a1)、(a2)、 (a3)、(a4)分别为第20帧、40帧、60帧、80帧的邻域时域起伏图像，(b1)、 (b2)、(b3)、(b4)分别为第20帧、40帧、60帧、80帧的高阈值调节量， (c1)、(c2)、(c3)、(c4)分别为第20帧、40帧、60帧、80帧的高阈值图；

图6为本发明实施例中的目标检测结果图，其中(a1)、(a2)、(a3)、 (a4)分别为第20帧、40帧、60帧、80帧的输入图像，(b1)、(b2)、(b3)、 (b4)分别为第20帧、40帧、60帧、80帧的检测结果，(c1)、(c2)、(c3)、 (c4)分别为第20帧、40帧、60帧、80帧检测结果对应的目标检测结果区域局部放大图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

实施例一

如图1-6所示，本实施例中提供一种缓动背景下融合时空域信息的红外小目标检测方法。

以下结合说明书附图对本实施例的技术方案进行详细的说明：

图像采集采用短波红外凝视相机，固定指向方式，采集得到包含无人机目标以及晃动树林缓动背景的红外序列图像，图像尺寸为800×600，位深度为8bit，总帧数为80帧，树林的树梢区域在相邻帧的位移量在1～3个像元，运动方向不明显，属于典型的缓动背景。本发明的算法流程图如图1所示，本发明所用空域背景估计算法为最大中值滤波算法，时域背景估计算法为迭代加权背景估计算法，针对第i帧输入图像I_i，算法处理步骤如下：

步骤1、时空域加权融合背景估计。输入图像I_i的加权融合背景估计图像M_i通过第i帧的空域背景估计图像B_i以及时域背景估计图像P_i获得，

空域背景估计图像B_i通过最大中值滤波算法、局部对比度方法、或低秩分解方法对图像I_i处理获得。时域背景估计图像P_i通过迭代加权背景估计算法、混合高斯背景估计算法获得。

时空域加权融合背景估计图像M_i的计算公式为：

M_i(x,y)＝B_i(x,y)+η_i(x,y)×[P_i(x,y)-B_i(x,y)]

其中(x,y)表示像元位置，i为帧序号，η_i(x,y)为像元(x,y)处的背景估计调节因子，M_i(x,y)为加权融合背景估计图像中(x,y)处的像元值，B_i(x,y)为空域背景估计图像中(x,y)处的像元值，P_i(x,y)为时域背景估计图像中(x,y)处的像元值；σ²为红外图像时域噪声方差，通过实测得到，本实施例中数值为0.9；S_i为时域起伏图像，S_i(x,y)为[i-n+1,i]的n帧范围内像元(x,y)处的n个像元值的均方差。

实际应用中，n值要满足一定的数量，才满足背景估计的条件，一般情况下设置n≥20。针对场景中时域稳定背景所在像元，其像元值的时域变化主要由红外图像时域噪声决定，

与σ²相等，此时η_i(x,y)等于1，因此时域稳定背景下M_i(x,y)等于P_i(x,y)，即时域稳定背景所在像元的背景估计值可用时域背景估计值代替；针对场景中缓动背景对应的像元，其像元值的时域起伏主要由场景中缓动背景决定，在缓动背景强度较强时可能出现

的现象，此时η_i(x,y)≈0，因此缓动背景强度较强时下M_i(x,y)约等于B_i(x,y)，即较强缓动背景所在像元的背景估计值可用空域背景估计值代替。一般情况下，像元(x,y)处的背景估计调节因子0＜η_i(x,y)＜1，M_i(x,y)由空域背景估计值B_i(x,y)和时域背景估计值P_i(x,y)加权融合得到，因此称该背景估计方法称为时空域加权融合背景估计方法。如图2和图3所示，本方法在背景估计过程中动态调节时域及空域信息的占比，具有更精确的背景估计效果。

步骤1中的空域背景估计图像B_i通过最大中值滤波算法对图像I_i处理获得，时域背景估计图像P_i通过迭代加权背景估计算法获得，计算公式为：

其中N为最大中值滤波模板的半边长，数值为5，α为更新权重因子，数值为0.1，r_i为时域背景更新图由步骤2获得。

在实施过程中，若当前图像为序列首帧，则将输入图像I_i作为本算法空域背景估计图像B_i，时域背景估计图像P_i，背景更新图r_i，以及时空域加权融合背景估计图像M_i，并跳过后续步骤，直接处理第二帧图像；

步骤2、低阈值及时域背景更新图像计算。分割的对象为残差图像D_i，由第 i帧的输入图像I_i与上一帧时空域加权融合背景估计图像M_i-1相减获得：

D_i(x,y)＝I_i(x,y)-M_i-1(x,y)

像元(x,y)处的低阈值

通过下式进行计算：

其中，k_low为低阈值系数，本实施例中数值为3。

针对第i帧的残差图像D_i，通过低阈值分割操作构建时域背景更新图像r_i，该图像中(x,y)处的像元值为：

r₁(x,y)＝I₁(x,y) i＝1

时域背景估计图像P_i中(x,y)处的像元值P_i(x,y)为：

P_i(x,y)＝(1-α)×P_i-1(x,y)+α×r_i(x,y)

其中α为更新权重因子，本实施例中数值为0.1，如图4所示，本方法针对时域起伏图像中小于低阈值的像元进行更新和时域估计，体现了低阈值在时序稳定背景估计上的作用。

步骤3、高阈值计算及目标分割。分割的对象为第i帧的残差图像D_i。残差图像D_i中大于高阈值

的像元认为是疑似目标。像元(x,y)处的高阈值

的计算方式如下：

其中，k_high为高阈值系数，本实施例中数值为30，H_i(x,y)为高阈值调节量， H_i-1(x,y)代表上一帧的高阈值调节量，计算方式如下：

式中，

K_plus为高阈值增益因子，K_dec为高阈值衰减因子，本实施例中数值为3和1，ReLU(·)代表激活函数，L_i为邻域时域起伏图像，L_i(x,y) 为像元(x,y)的(2N+1)×(2N+1)邻域范围内时域起伏图像S_i(x,y)中大于阈值T的像元数量，计算方式如下：

式中

N和T为人为设定值，本实施例中数值为N为5，T 为2.7。

可以看出，像元(x,y)处的高阈值

直接由时域起伏值S_i-1(x,y)以及高阈值调节量H_i-1(x,y)决定，高阈值调节量与L_i-1(x,y)呈单调关系。如图5，图6所示，在实际应用中，当缓动背景强度较强时，该像元邻域范围内存在一定数量的高时域起伏像元，此时该像元处的高阈值调节量H_i-1(x,y)随之增加。这种策略自适应提高了缓动背景像元的分割阈值

进而抑制残差图像中的缓动背景成分，进而抑制虚警，提高小目标检测性能。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种缓动背景下融合时空域信息的红外小目标检测方法，其特征在于，包括以下步骤：

获取输入图像，基于所述输入图像获取时空域加权融合背景估计图像；

基于所述时空域加权融合背景估计图像与所述输入图像获取残差图像；

计算所述残差图像中像元处的低阈值；

基于所述残差图像与所述低阈值，采用低阈值分割法构建时域背景更新图像；

计算所述残差图像中像元处的高阈值，将所述残差图像中大于所述高阈值的像元作为红外检测目标。

2.根据权利要求1所述的缓动背景下融合时空域信息的红外小目标检测方法，其特征在于，基于所述输入图像获取时空域加权融合背景估计图像的过程包括：

基于所述输入图像获取空域背景估计图像与时域背景估计图像，基于所述空域背景估计图像与所述时域背景估计图像进行计算，获取所述时空域加权融合背景估计图像。

3.根据权利要求2所述的缓动背景下融合时空域信息的红外小目标检测方法，其特征在于，基于所述输入图像获取空域背景估计图像与时域背景估计图像的过程包括：

基于最大中值滤波算法、局部对比度方法、低秩分解方法对所述输入图像进行处理，获得所述空域背景估计图像；

基于迭代加权背景估计算法、混合高斯背景估计算法获得所述时域背景估计图像。

4.根据权利要求2所述的缓动背景下融合时空域信息的红外小目标检测方法，其特征在于，基于所述空域背景估计图像与所述时域背景估计图像进行计算的方法为：

M_i(x,y)＝B_i(x,y)+η_i(x,y)×[P_i(x,y)-B_i(x,y)]

其中(x,y)表示像元位置，i为帧序号，η_i(x,y)为像元(x,y)处的背景估计调节因子，M_i(x,y)为加权融合背景估计图像中(x,y)处的像元值，B_i(x,y)为空域背景估计图像中(x,y)处的像元值，P_i(x,y)为时域背景估计图像中(x,y)处的像元值；σ²为红外图像时域噪声方差，所述红外图像时域噪声方差为经过实测的固定值；S_i为时域起伏图像，S_i(x,y)为[i-n+1,i]的n帧范围内像元(x,y)处的n个像元值的均方差。

5.根据权利要求1所述的缓动背景下融合时空域信息的红外小目标检测方法，其特征在于，基于所述时空域加权融合背景估计图像与所述输入图像获取残差图像的过程包括：

D_i(x,y)＝I_i(x,y)-M_i-1(x,y)

其中，(x,y)表示像元位置，i为帧序号，D_i(x，y)表示第i帧的残差图像，I_i(x，y)表示第i帧的输入图像，M_i-1(x，y)表示第i-1帧的时空域加权融合背景估计图像。

6.根据权利要求1所述的缓动背景下融合时空域信息的红外小目标检测方法，其特征在于，所述低阈值的计算方法为：

其中，k_low为低阈值系数。

7.根据权利要求1所述的缓动背景下融合时空域信息的红外小目标检测方法，其特征在于，采用低阈值分割法构建时域背景更新图像的方法包括：

r₁(x,y)＝I₁(x,y) i＝1

其中，r_i(x，y)表示时域背景更新图像在(x，y)处的像元值。

8.根据权利要求1所述的缓动背景下融合时空域信息的红外小目标检测方法，其特征在于，所述高阈值的计算方法为：

其中，

为高阈值，k_high为高阈值系数，H_i(x,y)为高阈值调节量，H_i-1(x,y)表示上一帧的高阈值调节量。

9.根据权利要求7所述的缓动背景下融合时空域信息的红外小目标检测方法，其特征在于，上一帧的高阈值调节量H_i-1(x,y)的计算方法为：

式中，

K_plus为高阈值增益因子，K_dec为高阈值衰减因子，ReLU(·)代表激活函数，L_i为邻域时域起伏图像，L_i(x,y)为像元(x,y)的(2N+1)×(2N+1)邻域范围内时域起伏图像S_i(x,y)中大于阈值T的像元数量。

10.根据权利要求1所述的缓动背景下融合时空域信息的红外小目标检测方法，其特征在于，时域起伏图像中大于阈值的像元数量L_i(x,y)的计算方法为：

式中

N为设定值，T为固定阈值。

Images