CN106651937B - 一种基于超像素和场景预测的小型无人机目标检测方法 - Google Patents

Abstract

本发明属于图像处理和无人机检测技术领域，涉及一种基于超像素和场景预测的小型无人机目标检测方法。本发明主要包括预处理：将待检测光学图像进行超像素生成和场景分类，获得基于超像素的场景分类图像；无人机目标概率估计：分别估算步骤a获得的分类图像中每一个场景的显著性深度值，计算每个场景存在无人机目标的概率；无人机检测：提取待检测图像的特征，采用基于SVD的多层金字塔结构获得特征显著图，对不同特征显著图加权获得总显著图，载入步骤a中获得的超像素分类图像，根据步骤b中获得的概率加入不同场景区域的权重，采用胜者全赢和抑制返回机制，获得小型无人机的目标检测结果。本发明的有益效果为，相对于传统技术，本发明的检测精度更高。

Description

一种基于超像素和场景预测的小型无人机目标检测方法

技术领域

本发明属于图像处理和无人机检测技术领域，涉及一种基于超像素和场景预测的小型无人机目标检测方法。

背景技术

随着无人机技术的不断成熟和相关产品价格的大幅下降，各类型无人机已被应用于不同领域。但由于针对无人机的监管控制措施的缺失，无人机违规飞行现象日趋严重，甚至成为不法分子的低成本犯罪手段之一。面对此类目标的威胁，目前尚无有效的探测与发现手段。

基于上述需求，目前急需研制针对小型无人飞行机目标的探测与发现技术。利用高清光学摄像头获取小型无人机目标的图像与视频，并可以充分利用到无人机的亮度、对比度等各个特征信息，通过对光学图像或视频进行目标检测等处理，达到对小型无人机目标的快速发现与定位，是实现小型无人机目标自动实时监测的重要技术手段。该技术在军事警戒、公共安保等方面有重要的应用价值，具有显著的经济效益与社会效益。

由于小型无人机目标具有尺寸小、飞行环境复杂等特点，使得光学图像或视频中小型无人机目标的检测成为典型的复杂环境弱目标检测问题，是基于光学传感器小型无人机目标探测的难点技术问题。传统的Itti视觉注意机制的主要技术为：金字塔模型、视觉特征提取、中央周边差算法、胜者全赢机制以及返回抑制操作，由于待检测的无人机图像中每个小型无人机目标像素点要比一般光学图像中描述显著物体的像素点少很多，其尺寸更小。这就导致随着金字塔层数的增加，所有目标像素点强度降低，并且很快与背景近似，使得目标信息几乎丢失，目标存在区域显著性低，同时在背景中出现大量的虚警，出现这些虚警的原因是由于目标像素点强度过低，背景中起伏的斑点噪声中较强的部分也与其近似。

另外，传统算法忽略掉场景的一些显著信息，未能充分利用图像特征，应用范围和有效性受到限制，如何高效精确实现无人机检测，是本发明要解决的问题。

发明内容

本发明所要解决的，就是针对上述现有技术的不足和局限性，提出一种利用超像素和场景预测的光学图像小型无人机目标检测方法，并提出改进的基于SVD的视觉注意模型，使用该方法避免了小目标随分辨率降低会变得模糊并且很快消失的问题，另外充分地利用了场景信息，预测目标存在的可能性，能够大幅度提高小型无人机目标的检测精度，同时也大大提高了图像的处理效率。

本发明的技术方案是：一种基于超像素和场景预测的小型无人机目标检测方法，其特征在于，包括以下步骤：

a.预处理：将待检测光学图像进行超像素生成和场景分类，获得基于超像素的场景分类图像；

b.无人机目标概率估计：分别估算步骤a获得的分类图像中每一个场景的显著性深度值，计算每个场景存在无人机目标的概率；

c.无人机检测：提取待检测图像的特征，采用基于SVD的多层金字塔结构获得特征显著图，对不同特征显著图加权获得总显著图，载入步骤a中获得的超像素分类图像，根据步骤b中获得的概率加入不同场景区域的权重，采用胜者全赢和抑制返回机制，获得小型无人机的目标检测结果。

本发明总的技术方案，与传统的技术相比，本发明一方面充分利用到场景信息，通过计算不同场景的初始显著深度值和预测显著深度值，利用两者的差异，估计不同场景存在目标的可能性，为后面目标检测时的场景分类赋予权重，具有提高目标检测精确度，缩短检测时间的优点。另一方面，算法提出基于奇异值分解的视觉注意检测模型，避免了小目标随分辨率降低会变得模糊并且很快消失的问题，大大地降低了虚警率。

进一步的，所述步骤a的具体方法是：

a1.假设待检测图像为光学图像I，场景数为i，对每个场景进行两次区域采样获得像素分类样本信息，将像素分类样本信息保存为具有对应场景数标签的图像数据；

a2.对光学图像I进行超像素生成，获得含K个超像素块的图像；

a3.采用支持向量机对步骤a1中获得的像素样本进行训练，并对整幅光学图像I根据场景数i进行分类，同时将步骤a2中获得的超像素图像与像素图像进行对应，对应的原则是：每个超像素块的场景数标签为该超像素中包含的所有像素点所具有场景数标签类型数量最多的那一类场景数标签，得到基于超像素的分类图像。

进一步的，步骤a还包括以下步骤：

a4.对步骤a3得到的超像素分类结果图，依次对每一类场景图像进行形态学处理；所述形态学处理方式包括腐蚀、膨胀、重构开运算和重构闭运算，得到各类场景形态学处理结果图；

a5.采用掩膜覆盖方法合并处理步骤a4得到的各类场景形态学分类结果图，即得到基于所有场景的超像素分类结果图。

上述方案为对超像素分类结果图的进一步优化。

进一步的，所述步骤b的具体方法是：

b1.采用离群值检测算法测出场景中潜在的目标超像素，采用如下公式1计算所有超像素的自信息值：

公式1中，图像包含i类场景s_i，变量P(SP_ij)为场景s_i中第j个超像素SP_ij的概率，变量R为超像素SP_ij中像素点的数量，通过如下公式2判定离群超像素值：

公式2中，变量t为常数，变量μ_i和δ_i是场景s_i中所有超像素自信息值计算得到的均值和方差；

b2.获取场景的初始显著深度值，假设由步骤b1判断有q个离群超像素，首先计算阈值Th_i＝t·δ_i+μ_i，则场景的初始显著深度值是所有离群超像素值与阈值之间距离的三阶矩，然后去除所有离群超像素，仍利用公式1计算此时各场景的显著性深度，记为预测显著性深度值，预测显著性深度值表示场景没有目标存在情况下的显著性深度；

b3.假设初始显著性深度值为IDep₁，计算IDep₁-IDep_2i，其中IDep_2i为步骤b2中场景s_i的预测显著性深度值，最终得到的差值表示了场景中存在目标的可能性，当初始值明显超过预测值的时候，该场景被认为存在目标，差值大小表示目标存在可能性大小。

上述方案为通过计算不同场景待检测小型无人机目标图像中超像素的自信息值，得到不同场景的初始显著深度值和预测显著深度值；利用两种显著深度值得差异，估计不同场景存在目标的可能性，差异值大的场景被认为具有较高的可能性存在目标，充分利用场景信息提高检测性能。

进一步的，步骤c中所述提取待检测图像的特征获得特征显著图的具体方法为：

c1.假设光学图像I的尺寸为m×n，奇异值分解得到如下结果:I_m×n＝U_m×mΣ_{m× n}V_n×n ^T，U_m×m与V_n×n均为酉矩阵；

c2.计算对角矩阵Σ_m×n中的非零元素个数，并对其按一定顺序排列，形成新的对角矩阵Σ(1)，设其中的非零元素数量为k₁；

c3.减少Σ(1)中的对角元素，只保留k₁中一些较大对角元素，形成新的对角阵Σ(2)，将对角矩阵Σ(2)带入步骤c1中的奇异值分解公式，获得新的SAR图像I(2)；

c4.重复步骤c3，直到新的对角矩阵Σ(q)中的非零对角元素个数少于预先设好的阈值T，通过保留不同数量的特征值，由不同的矩阵Σ(p)构成的低阶近似图像I(p)，可以通过如下公式3-公式5计算：

I_m×n(p)＝U_m×mΣ_m×n(p)V_n×n ^T，p∈[1,min(m,n)] (公式3)

Σ_m×n(p+1)＝Σ_m×n(p)×H_n×n(p+1) (公式4)

变量k_p是矩阵Σ(p)中剩余特征值的数量，变量的初始值设置为：I(1)＝I，Σ(1)＝Σ，k₁＝Rank(I)，变量f为低阶近似的程度；

c5.提取光学图像I的方向特征，具体为通过Gabor滤波器对图像的亮度特征图进行多个方向滤波得到；滤波器的计算为如下公式6：

其中，变量α和β分别为高斯函数在x，y轴上的方差，变量λ分别表示正弦波的波长，变量和通过如下公式7计算：

c6.提取光学图像I的一致性特征，首先，通过如下公式8计算光学图像I的结构张量矩阵S：

其中，变量变量g_h和g_v分别是水平方向和垂直方向的梯度，矩阵S的特征值λ₁和λ₂通过如下公式9计算：

最后，图像的一致性Cons＝λ₁-λ₂；

c7.对各层提取不同的特征获得相应特征显著图之后，进行中央周边差操作，对于方向特征和一致性特征的对比映射图的计算公式如下公式10和公式11所示：

F_ori(c,s,θ)＝|O(c,θ)ΘO(s,θ)|,θ∈{θ₁,θ₂,θ₃,θ₄,…} (公式10)

F_std(c,s)＝|S(c)ΘS(s)| (公式11)

其中，变量c为选取的中央层，周边层为c+s，变量s为中央周边扩展范围，变量O(·)和C(·)分别是多层结构中某层的方向特征图和一致性特征图，符号Θ为中央周边差操作符号，是将两个不同层的图像中对应位置的显著值相减，变量F_ori(c,s,θ)和F_cons(c,s)分别是图像的方向特征对比映射图和一致性特征对比映射图，采用全局非线性放大算子N(·)对所有对比映射图F进行归一化，如下公式12所示：

N(F)＝(M-m)²·F_N (公式12)

其中变量M为F_N中的最大幅度值，m为F_N中除了M以外所有幅度值的均值；

c8.各特征内部的所有归一化对比映射图需要进行合并，生成特征显著图如下公式13和公式14所示：

两种特征显著图取相应的权重，得到总显著图。

上述方案提出了改进的基于SVD的视觉注意检测模型得到的显著性的算法，避免了无人机这种小目标随分辨率降低会变得模糊并且很快消失的问题，更好的保存了目标的完整信息，降低虚警率。

进一步的，步骤c中所述获得小型无人机的目标检测结果的具体方法为：

c9.根据步骤a和步骤b，最终获得的基于K个超像素分类结果图，以及初始显著性深度与预测初始显著性深度的差值IDep₁-IDep_2i；在步骤c8获得图像总显著图之后，需要根据总显著图检测小型无人机目标；其判定依据是总显著图中幅度值最高的超像素及以该超像素为中心的局部邻域范围被当做图像中的最显著区域；局部邻域的尺寸由图像分辨率和目标大小决定；

c10.采用胜者全赢和抑制返回相结合的焦点获取机制：首先，胜者全赢是找出总显著图中幅度值最大的像素点及其邻域，将其作为胜利者并抑制其他像素点；然后，利用返回抑制将已经获胜的区域进行抑制，并进行新一轮的基于胜者全赢的寻找最大幅度值像素点及其邻域的过程；这样的焦点获取机制可以有效的保证每次获取的注意焦点都是当时最显著的区域，同时又避免重复选取显著区域；最终提取出待检测图像I的小型无人机目标。

本发明的有益效果为，本发明与传统技术相比，对检测硬件要求不高，且大大提高了检测效率，目标检测的精确度更高，避免了虚警的产生。

附图说明

图1所示为本发明的整体流程图；

图2为待检测图像各个场景两次采样结果，其中图(a)为采样区域边缘显示，图(b)为采样区域，两次采样填充线条不同；

图3(a)为场景1的自信息值分布图，(b)为去除离群值后场景1的自信息分布图；

图4为本发明进行小型无人机目标检测的结果图；

图5为传统的方法下没有加入场景预测和超像素检测时的结果。

具体实施方式

下面结合附图和实施例，详细描述本发明的技术方案：

参照图1及发明内容中的实现方法，本实例的具体实现步骤如下：

步骤一，输入待检测光学图像，将多个场景转化为具有不同场景标签的超像素集合。

(1.1)输入一幅尺寸为1080*1920的待检测的含有小型无人机目标的光学图像plane.jpg，设定场景数目为2，如图2所示，对每个场景进行两次区域采样，保存对应生成的像素样本信息为Image_SampleMask，即具有场景标签label＝1、label＝2的图像数据；

(1.2)输入plane.jpg，引用SLIC算法进行超像素生成，使得超像素块边缘尽可能优的包裹目标边缘,保存超像素图像Image_MPFeatureSp；

(1.3)采用支持向量机(SVM)方法对前面得到的Image_SampleMask图像样本数据训练，并对整幅图像进行分类，同时载入Image_MPFeatureSp的数据，将超像素块与像素图像对应，超像素的标签为该超像素中包含的所有像素点所具有标签类型数量最多的那一类标签，得到超像素图像场景分类结果；

(1.4)如发明内容中描述，利用形态学操作，获取密度纹理特征，优化超像素分类结果；

步骤二，估计模块，对于每一个分类后的场景，估计其存在无人机目标的概率：

(2.1)采用离群值检测算法检测出场景中潜在的目标超像素：计算所有超像素的自信息值：

变量P(SP_ij)为场景s_i中第j个超像素SP_ij的概率，变量R为超像素SP_ij中像素点的数量，目标超像素的计算公式为：

其中，变量t为常数，变量μ_i和δ_i是场景s_i中所有超像素自信息值计算得到的均值和方差；

(2.2)计算初始显著深度值，即场景的显著深度值，它是离群值与阈值之间距离的三阶矩：变量q为检测出的离群值的数量，阈值Th_i＝t·δ_i+μ_i，经计算，两个场景的显著性深度值为：IDep_天空≈81.1536；IDep_树木≈26.5419，然后找出离群值位置，去除离群值，再计算场景的显著性深度，可以得到预测显著性深度值，它表示场景没有目标存在情况下的显著性深度：其中，变量为场景，α是预测系数，如图3所示；

(2.3)计算初始显著性深度值和预测显著性深度值之间的差值，得到各个场景存在目标的可能性，当初始值明显超过预测值的时候，该场景被认为存在目标，由差值大小给不同背景区域赋权重，表示目标存在可能性大小，因含有目标的天空场景显著深度值前后差异大，即存在目标可能性大，在检测模块将赋予大的权重。

步骤三，检测模块，对完成上述两个模块的具有场景预测的图像，利用改进的基于超像素和SVD分解的视觉注意模型处理方法，得到最终的小型无人机目标检测结果：

(3.1)对于原图像plane.jpg，采用基于SVD的多层结构模型来获取图像的显著图，以改进传统的Itti模型中，通过将图像进行降分辨率得到的高斯金字塔模型，避免了小目标随分辨率降低会变得模糊并且很快消失的问题；

(3.2)提取图像的方向特征和一致性特征，得到特征显著图，通过对SVD多层结构金字塔模型进行中央周边差和归一化操作，图像中的目标信息会被加强，最终获得总显著图；

(3.3)载入前面步骤获取的超像素分类结果图，加入不同背景区域的权重，并将特征图的显著性从点向超像素斑块变化，超像素的显著性S_ij可以通过超像素SP_ij中的所有像素点S_ij(r)的平均计算得到：

利用公式进行基于加权信息熵的感兴趣区域筛选，其中，变量p(s)为图像中强度值为s的超像素出现的概率，为图像中所有超像素强度值的均值，采用胜者全赢和抑制返回机制，最终检测出小型无人机目标。

从图4最终的检测结果来看，通过四次超像素的胜者全赢和抑制返回机制的运行，小型无人机目标被很好的检测出来；图5显示了没有加入场景预测和超像素时检测的结果，前两次都将背景边界作为了目标结果，第三次才检测到无人机目标。

本发明目前可以精确地检测简单场景的目标，创新点在于利用了图像超像素的自信息，同时提出了基于SVD的视觉注意算法得到超像素显著性，并将其显著性与其所属场景存在目标可能性相结合，使得存在目标可能性大的场景中目标的显著性增强，从而使该算法能够高效地检测无人机目标。

Claims (4)

1.一种基于超像素和场景预测的小型无人机目标检测方法，其特征在于，包括以下步骤：

a.预处理：将待检测光学图像进行超像素生成和场景分类，获得基于超像素的场景分类图像；具体方法是：

a1.假设待检测图像为光学图像I，场景数为i，对每个场景进行两次区域采样获得像素分类样本信息，将像素分类样本信息保存为具有对应场景数标签的图像数据；

a2.对光学图像I进行超像素生成，获得含K个超像素块的图像；

a3.采用支持向量机对步骤a1中获得的像素样本进行训练，并对整幅光学图像I根据场景数i进行分类，同时将步骤a2中获得的超像素图像与像素图像进行对应，对应的原则是：每个超像素块的场景数标签为该超像素中包含的所有像素点所具有场景数标签类型数量最多的那一类场景数标签，得到基于超像素的分类图像；

b.无人机目标概率估计：分别估算步骤a获得的分类图像中每一个场景的显著性深度值，计算每个场景存在无人机目标的概率；具体方法是：

b1.采用离群值检测算法测出场景中潜在的目标超像素，采用如下公式1计算所有超像素的自信息值：

公式1中，图像包含i类场景s_i，变量P(SP_ij)为场景s_i中第j个超像素SP_ij的概率，变量R为超像素SP_ij中像素点的数量，通过如下公式2判定离群超像素值：

公式2中，变量t为常数，变量μ_i和δ_i是场景s_i中所有超像素自信息值计算得到的均值和方差；

b2.获取场景的初始显著深度值，假设由步骤b1判断有q个离群超像素，首先计算阈值Th_i＝t·δ_i+μ_i，则场景的初始显著深度值是所有离群超像素值与阈值之间距离的三阶矩，然后去除所有离群超像素，仍利用公式1计算此时各场景的显著性深度，记为预测显著性深度值，预测显著性深度值表示场景没有目标存在情况下的显著性深度；

b3.假设初始显著性深度值为IDep₁，计算IDep₁-IDep_2i，其中IDep_2i为步骤b2中场景s_i的预测显著性深度值，最终得到的差值表示了场景中存在目标的可能性，当初始值明显超过预测值的时候，该场景被认为存在目标，差值大小表示目标存在可能性大小；

c.无人机检测：提取待检测图像的特征，采用基于SVD的多层金字塔结构获得特征显著图，对不同特征显著图加权获得总显著图，载入步骤a中获得的超像素分类图像，根据步骤b中获得的概率加入不同场景区域的权重，采用胜者全赢和抑制返回机制，获得小型无人机的目标检测结果。

2.根据权利要求1所述的一种基于超像素和场景预测的小型无人机目标检测方法，其特征在于，步骤c中所述提取待检测图像的特征获得特征显著图的具体方法为：

c1.假设光学图像I的尺寸为m×n，奇异值分解得到如下结果:I_m×n＝U_m×mΣ_m×nV_n×n ^T，U_m×m与V_n×n均为酉矩阵；

c2.计算对角矩阵Σ_m×n中的非零元素个数，并对其按一定顺序排列，形成新的对角矩阵Σ(1)，设其中的非零元素数量为k₁；

c3.减少Σ(1)中的对角元素，只保留k₁中一些较大对角元素，形成新的对角矩阵Σ(2)，将对角矩阵Σ(2)带入步骤c1中的奇异值分解公式，获得新的SAR图像I(2)；

c4.重复步骤c3，直到新的对角矩阵Σ(q)中的非零对角元素个数少于预先设好的阈值T，通过保留不同数量的特征值，由不同的矩阵Σ(p)构成的低阶近似图像I(p)，可以通过如下公式3-公式5计算：

I_m×n(p)＝U_m×mΣ_m×n(p)V_n×n ^T，p∈[1,min(m,n)] (公式3)

Σ_m×n(p+1)＝Σ_m×n(p)×H_n×n(p+1) (公式4)

变量k_p是矩阵Σ(p)中剩余特征值的数量，变量的初始值设置为：I(1)＝I，Σ(1)＝Σ，k₁＝Rank(I)，变量f为低阶近似的程度；

c5.提取光学图像I的方向特征，具体为通过Gabor滤波器对图像的亮度特征图进行多个方向滤波得到；滤波器的计算为如下公式6：

其中，变量α和β分别为高斯函数在x，y轴上的方差，变量λ分别表示正弦波的波长，变量和通过如下公式7计算：

c6.提取光学图像I的一致性特征，首先，通过如下公式8计算光学图像I的结构张量矩阵S：

其中，变量变量g_h和g_v分别是水平方向和垂直方向的梯度，矩阵S的特征值λ₁和λ₂通过如下公式9计算：

最后，图像的一致性Cons＝λ₁-λ₂；

c7.对各层提取不同的特征获得相应特征显著图之后，进行中央周边差操作，对于方向特征和一致性特征的对比映射图的计算公式如下公式10和公式11所示：

F_ori(c,s,θ)＝|O(c,θ)ΘO(s,θ)|,θ∈{θ₁,θ₂,θ₃,θ₄,…} (公式10)

F_std(c,s)＝|S(c)ΘS(s)| (公式11)

其中，变量c为选取的中央层，周边层为c+s，变量s为中央周边扩展范围，变量O(·)和C(·)分别是多层结构中某层的方向特征图和一致性特征图，符号Θ为中央周边差操作符号，是将两个不同层的图像中对应位置的显著值相减，变量F_ori(c,s,θ)和F_cons(c,s)分别是图像的方向特征对比映射图和一致性特征对比映射图，采用全局非线性放大算子N(·)对所有对比映射图F进行归一化，如下公式12所示：

N(F)＝(M-m)²·F_N (公式12)

其中变量M为F_N中的最大幅度值，m为F_N中除了M以外所有幅度值的均值；

c8.各特征内部的所有归一化对比映射图需要进行合并，生成特征显著图如下公式13和公式14所示：

两种特征显著图取相应的权重，得到总显著图。

3.权利要求2所述的一种基于超像素和场景预测的小型无人机目标检测方法，其特征在于，步骤a还包括以下步骤：

a4.对步骤a3得到的超像素分类结果图，依次对每一类场景图像进行形态学处理；所述形态学处理方式包括腐蚀、膨胀、重构开运算和重构闭运算，得到各类场景形态学处理结果图，假设第i类场景的形态学处理结果图为Q_i；

a5.对步骤a4中的Q₁中非本类的区域覆盖上Q₂，对结果再覆盖上Q₃，如此反复处理，得到的含各类场景形态学分类结果图，即得到基于所有场景的超像素分类结果图。

4.根据权利要求3所述的一种基于超像素和场景预测的小型无人机目标检测方法，其特征在于，步骤c中所述获得小型无人机的目标检测结果的具体方法为：

c9.根据步骤a和步骤b，最终获得的基于K个超像素分类结果图，以及初始显著性深度与预测初始显著性深度的差值IDep₁-IDep_2i；在步骤c8获得图像总显著图之后，需要根据总显著图检测小型无人机目标；其判定依据是总显著图中幅度值最高的超像素及以该超像素为中心的局部邻域范围被当做图像中的最显著区域；局部邻域的尺寸由图像分辨率和目标大小决定；

c10.采用胜者全赢和抑制返回相结合的焦点获取机制：首先，胜者全赢是找出总显著图中幅度值最大的像素点及其邻域，将其作为胜利者并抑制其他像素点；然后，利用返回抑制将已经获胜的区域进行抑制，并进行新一轮的基于胜者全赢的寻找最大幅度值像素点及其邻域的过程；这样的焦点获取机制可以有效的保证每次获取的注意焦点都是当时最显著的区域，同时又避免重复选取显著区域；最终提取出待检测图像I的小型无人机目标。