CN110751068A - 基于自适应时空融合的远距离弱小目标视觉检测方法 - Google Patents

Abstract

本发明公开了一种基于自适应时空融合的远距离弱小目标视觉检测方法。该方法包括：1.滤除视频帧图像中地平线以下的地面背景，得到空域图；2.用暗目标帧间差分法对该空域图进行处理得到时间特征图；3.用行列解耦合底帽形态学滤波法对该空域图进行处理得到空间特征图；4.设计自适应切换的时空特征图融合机制对时间特征图和空间特征图进行融合，生成自适应时空融合图；5：局部自适应阈值分割。本发明方法在增强目标与背景对比度的同时抑制噪声和杂波，以实现高准确、低误检、少漏检的远距离弱小目标检测。

Description

基于自适应时空融合的远距离弱小目标视觉检测方法

技术领域

本发明涉及计算机视觉领域，具体而言，涉及一种基于自适应时空融合的远距离弱小目标视觉检测方法。

背景技术

随着低空空域的逐步开放，小型无人机、航模、滑翔机、三角翼、风筝等非合作小目标的增加，空域的管制难度大大增加。尤其是多旋翼小型无人机，由于其价格便宜、容易购买和使用、开放的编程体系、体型轻巧隐蔽、低空飞行速度快等特点，已经广泛应用到工业、民用等方面，包括个人航拍、娱乐、农业、林业、物流、气象、安防等。但是同时，近几年以来，全世界各地无人机的“黑飞”、“滥飞”事件频发，严重危害个人隐私安全、公共场所安全、航空安全以及国家安全。为应对频发的无人机的“黑飞”、“滥飞”事件对个体、公共甚至是国家安全造成的挑战，非常有必要对侵入特定区域的无人机进行反制。对目标进行高准确、低误检的检测是反制重要前提。为了给反制留出足够多的时间，应尽可能在较远距离时发现目标。由于目标距离监控摄像机很远且监测环境复杂，获取的观测目标存在信号弱、成像面积小、形状或纹理特征弱、无固定运动规律、缺乏相对运动等特点，目前的弱小目标视觉检测存在着诸多挑战。如何设计一种高准确、低误检、少漏检的远距离弱小目标检测方法是一个亟待解决的问题。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本发明提供一种基于自适应时空融合的远距离弱小目标视觉检测方法，通过设计根据目标运动状态的自适应切换的时空融合算法，在增强目标与环境对比度的同时抑制噪声和杂波的强度，以实现高准确、低误检、少漏检的远距离弱对比度小目标检测。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开实施例的一个方面，提供了一种基于自适应时空融合的远距离弱小目标视觉检测方法，包括五个步骤，分别是：步骤一：通过地平线检测算法，滤除视频帧图像中地平线以下的地面背景，得到空域图；步骤二：远距离弱小目标在可见光图像中相对于天空背景多呈暗色斑块，使用暗目标帧间差分法对所述空域图进行处理，生成时间特征图；步骤三：使用行列解耦合底帽形态学滤波法对所述空域图进行处理，生成空间特征图；步骤四：设计自适应切换的时空特征图融合机制对所述时间特征图和所述空间特征图进行融合，生成自适应时空融合图，具体为由空间特征图与时间特征图做元素点乘和空间均匀平滑得到得到块级时空融合图，当块级时空融合图的峰值大于运动阈值时，块级时空融合图即为自适应时空融合图，否则对空间特征图做元素平方得到自适应时空融合图；步骤五：使用局部自适应阈值分割对所述自适应时空融合图进行二值化分割，得到时空融合二值化分割图，将弱小目标从空域背景中分割出来。以下我们将依次对各个步骤进行详细介绍。

针对步骤一中的视频图像预处理，本方法主要用于检测空域背景中的弱小目标避免复杂地面背景对检测的影响，首先由基于Canny算子得到边缘图，然后根据原图及边缘共同构建梯度的能量优化函数，当能量优化函数取得最小值时的地平线即为最优地平线，然后将地平线以下的地面背景滤除，只保留天空背景；

在步骤二中，由暗目标帧间差分法生成时间特征图的计算过程如公式(1)所示：

T_DID(x，y，c，k)＝max{μ，I(x，y，c，k-1)-I(x，y，c，k)} (1)

其中I(x，y，c，k)表示第k帧视频图像，x＝1，2...，M，y＝1，2，...，N分别为像素的横纵坐标，M，N分别是图像的宽度和高度，c∈{R，G，B}代表图像的不同通道，T_DID(x，y，c，k)为生成的时间特征图，μ为表征暗目标的预设值。首先第k-1帧图像减去第k帧图像得到残差图像，由于远距离弱小目标在可见光图像中多呈暗色，故将残差图中小于预设值μ的元素置为μ，μ是根据实验环境设定的，通常设为0即可，得到时间特征图。

在步骤三中，使用行列解耦合底帽形态学滤波法生成空间特征图的计算过程如公式(2-5)所示：

腐蚀：

膨胀：

底帽形态学滤波法：

S_RCSBH＝min{BH(I，E_row)，BH(I，E_col)} (5)

其中I为图像I(x，y，c，k)的缩写，

与分别为形态学腐蚀算子和形态学膨胀算子如公式(2-3)所示，E、E_row、E_col均为结构化算子，其中矩形结构化算子

被解耦成行结构化算子

与列结构化算子

ω表征结构化算子的大小，S_RCSBH代表生成的空间特征图。

在步骤四中，设计自适应切换的时空特征图融合机制对步骤二、三中生成的时间特征图T_DID和空间特征图S_RCSBH进行融合，生成自适应时空融合图，其计算步骤为公式(6-8)所示：

其中|C|为图像通道数，

为融合切换符号，用于时空融合检测模式与纯空间检测模式之间的切换，其值为公式(8)确定，α为切换阈值，由大量实验数据集交叉验证得到，ASST_pixel为像素级时空融合图，ASST_patch为块级时空融合图，K(i，j)为空间均匀滤波核，其元素均为

r用来表征均匀滤波核的大小，r通常取2。

在步骤五中，使用局部自适应阈值分割对步骤四中生成的块级自适应时空融合图ASST_patch进行二值化分割，得到时空融合二值化分割图如公式(9-10)所示，将弱小目标从空域背景中分割出来。

其中θ(x，y)为局部自适应阈值，m(x，y)和σ(x，y)为大小为s×s的图像局部矩形区域的元素平均值与标准差，k₁和k₂分别是时空融合检测模式与纯空间检测模式的偏离率，由数据集交叉验证得到，B(x，y)表征最终二值化分割图。

本发明的有益效果在于：

1.根据远距离弱小目标可见光图像多呈暗色斑点的特性，使用暗目标帧间差分法代替传统的帧间差分法，消除了“鬼影”现象。

2.在空间特征图获取时，将传统底帽形态学滤波的矩形结构化算子解耦成行结构化算子与列结构化算子，减小了算法复杂度，提高了算法的运算效率。

3.使用融合机制的自适应切换，使得本发明算法可以同时检测静止和运动的目标。

4.通过时空融合机制，在提高目标与局部背景对比度的同时，抑制了噪声和杂活，提高了检测的准确率，降低了误检率与漏检率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

在附图中：

图1示出了基于自适应时空融合的远距离弱小目标视觉检测方法流程图；

图2示出了基于自适应时空融合的远距离弱小目标视觉检测方法的可视化效果图；

图3是暗目标帧间差分法的流程图；

图4是暗目标帧间差分法产与传统帧间差分法检测结果比较图；

图5是行列解耦底帽形态学滤波波的算法流程图；

图6是基于自适应时空融合的远距离弱小目标视觉检测方法在实际实验中的检测结果图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

图1示出了基于自适应时空融合的远距离弱小目标视觉检测方法流程图。步骤一：通过梯度能量优化法检测视频帧中的地平线，若检测到有地平线将地平线以下的地面背景滤除，得到空域图；步骤二：使用暗目标帧间差分法对所述空域图进行处理，生成时间特征图；步骤三：使用行列解耦合底帽形态学滤波法对所述空域图进行处理，生成空间特征图；步骤四：设计自适应切换的时空特征图融合机制对所述时间特征图和所述空间特征图进行融合，生成自适应时空融合图，具体计算过程如公式(6-8)所示：

其中|C|为图像通道数，

为融合切换符号，用于时空融合检测模式纯空间检测模式之间的切换，其值为公式(8)确定，α为切换阈值，由大量实验数据集交叉验证得到，ASST_pixel为像素级时空融合图，ASST_patch为块级时空融合图，K(i，j)为空间均匀滤波核，其元素均为

r用来表征均匀滤波核的大小，r通常取2。步骤五：使用局部自适应阈值分割对所述自适应时空融合图进行二值化分割，得到时空融合二值化分割图，将弱小目标从空域背景中分割出来，具体计算过程如公式(9-11)所示：

其中θ(x，y)为局部自适应阈值，m(x，y)和σ(x，y)为大小为s×s的图像局部矩形区域的元素平均值与标准差，s通常根据小目标的最大尺寸设定，本实施例中s＝15；k₁和k₂分别是时空融合检测模式与纯空间检测模式的偏离率，由数据集交叉验证得到，本实施例中k₁＝3和k₂＝10，B(x，y)表征最终二值化分割图。

图2示出了基于自适应时空融合的远距离弱小目标视觉检测方法的可视化效果图，从时间特征图、空间特征图与自适应时空融合图的对比中可以发现，目标与局部背景的对比度在时空融合特征图中被大大增强，同时噪声及杂波(即误检)被抑制。

图3是暗目标帧间差分法的流程图，首先第k-1帧图像减去第k帧图像得到残差图像，由于远距离弱小目标在可见光图像中多呈暗色，故将残差图的中的图像中小于μ的元素均置μ，此操作在图像RGB3个通道上均进行。

其具体计算过程如下：

T_DID(x，y，c，k)＝max{μ，I(x，y，c，k-1)-I(x，y，c，k)} (1)

其中I(x，y，c，k)表示第k帧视频图像，x＝1，2...，M，y＝1，2，...，N分别为像素的横纵坐标，M，N分别是图像的宽度和高度，c∈{R，G，B}代表图像的不同通道，T_DID(x，y，c，k)为生成的时间特征图，μ为表征暗目标的预设值。首先第k-1帧图像减去第k帧图像得到残差图像，由于远距离弱小目标在可见光图像中多呈暗色，故将残差图中小于预设值μ的元素置为μ，μ是根据实验环境设定的，通常设为0即可，得到时间特征图。

图4是暗目标帧间差分法产与传统帧间差分法检测结果比较图，(a)为视频原图，(b)为传统帧间差分检测效果图，(c)为暗目标帧间差分检测效果图，由(b)(c)图比较，我们可以发现暗目标帧间差分法可以消除鬼影现象，从而降低误检率。

图5是行列解耦底帽形态学滤波波的算法流程图，首先用行结构元素底帽形态学滤波用列结构元素滤波处理输入图像l，得到BH(I，E_row)与BH(I，E_col)，然后取两者对应元素的最小值得到空间特征图S_RCSBH，其具体计算过程如下：

腐蚀：

膨胀：

底帽形态学滤波法：

S_RcSBH＝min{BH(I，E_row)，BH(I，E_col)} (5)

其中I为图像I(x，y，c，k)的缩写，

与

分别为形态学腐蚀算子和形态学膨胀算子如公式(2-3)所示，E、E_row、E_col均为结构化算子，其中矩形结构化算子

被解耦成行结构化算子

与列结构化算子

ω表征结构化算子的大小。

图6是基于自适应时空融合的远距离弱小目标视觉检测算法在实际实验中的检测结果图。每一列代表一种不同的实验场景，第一行是视频原图，第二行是经过地平线检测过滤地面背景后的视频图像，第三、四、五行分别是时间特征图，空间特征图及自适应时间融合特征图。由对比可知，本专利提出的算法可以显著地提升目标与局部背景之间的对比度，且适用于不同天气不同场景。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (5)

1.一种基于自适应时空融合的远距离弱小目标视觉检测方法，其特征在于，包括以下步骤：

步骤一：滤除视频帧图像中地平线以下的地面背景，得到空域图；

步骤二：使用暗目标帧间差分法对所述空域图进行处理，生成时间特征图；

步骤三：使用行列解耦合底帽形态学滤波法对所述空域图进行处理，生成空间特征图；

步骤四：由空间特征图与时间特征图做元素点乘和空间均匀平滑得到块级时空融合图，当块级时空融合图的峰值大于运动阈值时，块级时空融合图即为自适应时空融合图，否则对空间特征图做元素平方得到自适应时空融合图；

步骤五：使用局部自适应阈值分割对所述自适应时空融合图进行二值化分割，得到时空融合二值化分割图，将弱小目标从空域背景中分割出来。

2.如权利要求1所述的基于自适应时空融合的远距离弱小目标视觉检测方法，其特征在于，所述步骤二中，由暗目标帧间差分法生成时间特征图的计算过程如公式(1)所示：

T_DID(x,y,c,k)＝max{μ,I(x,y,c,k-1)-I(x,y,c,k)} (1)

其中I(x,y,c,k)表示第k帧视频图像，x＝1,2…,M,y＝1,2,…,N分别为像素的横纵坐标，M,N分别是图像的宽度和高度，c∈{R,G,B}代表图像的不同通道，T_DID(x,y,c,k)为生成的时间特征图，μ为表征暗目标的预设值；首先第k-1帧图像减去第k帧图像得到残差图像，然后将残差图中小于预设值μ的元素置为μ，得到时间特征图。

3.如权利要求1所述的基于自适应时空融合的远距离弱小目标视觉检测方法，其特征在于，所述步骤三中，行列解耦合底帽形态学滤波法生成空间特征图的计算过程如公式(2-5)所示：

腐蚀：

膨胀：

底帽形态学滤波法：

S_RCSBH＝min{BH(I,E_row),BH(I,E_col)} (5)

其中I为图像I(x,y,c,k)的缩写，

与

分别为形态学腐蚀算子和形态学膨胀算子，E、E_row、E_col均为结构化算子，其中矩形结构化算子

被解耦成行结构化算子

与列结构化算子

ω表征结构化算子的大小，S_RCSBH代表生成的空间特征图。

4.如权利要求1所述的基于自适应时空融合的远距离弱小目标视觉检测方法，其特征在于，所述步骤四中，设计自适应切换的时空特征图融合机制对步骤二、三中生成的时间特征图T_DID和空间特征图S_RCSBH进行融合，生成自适应时空融合图，其计算步骤为公式(6-8)所示：

其中|c|为图像通道数，

为融合切换符号，用于时空融合检测模式与纯空间检测模式之间的切换，其值为公式(8)确定，α为切换阈值，ASST_pixel为像素级时空融合图，ASST_patch为块级时空融合图，K(i,j)为空间均匀滤波核，其元素均为

r用来表征均匀滤波核的大小。

5.如权利要求1所述的基于自适应时空融合的远距离弱小目标视觉检测方法，其特征在于，所述步骤五中，使用局部自适应阈值分割对步骤四中生成的块级自适应时空融合图ASST_patch进行二值化分割，得到时空融合二值化分割图，将弱小目标从空域背景中分割出来。

其中θ(x,y)为局部自适应阈值，m(x,y)和σ(x,y)为大小为s×s的图像局部矩形区域的元素平均值与标准差，k₁和k₂分别是时空融合检测模式与纯空间检测模式的偏离率，由数据集交叉验证得到，B(x,y)表征最终二值化分割图。

Images