CN109948570B - 一种用于动态环境下的无人机实时检测方法 - Google Patents

Abstract

本发明公开了一种用于动态环境下的无人机实时检测方法，包括：步骤一，建立Otsu‑HSV颜色模型：步骤二，将图像输入Otsu‑HSV颜色模型使用BING算法检测，结合重叠面积公式消除部分重合度较大的检测窗口；步骤三，结合线性加权法的NMS算法，对一些原来非极大值需要抑制的窗口，采用较低的置信度代替其原来的置信度分数。本申请将HSV空间与最大类间方差法联合，引入重叠面积以及线性加权得分，提出改进的BING/NMS算法，最终在满足实时性的前提下，保证无人机检测的准确率和最佳重叠率，降低误检率和漏检率。

Description

一种用于动态环境下的无人机实时检测方法

技术领域

本发明涉及一种无人机检测方法，具体说是一种用于动态环境下的无人机实时检测方法。

背景技术

现代空战中，无人机由于体积小、成本低、安全性高等优点，发挥了越来越重要的作用。其中，敌方目标探测和识别一直是业界研究的热点，随着航空航天技术的不断发展，战场环境对实时性、准确性的要求越来越高，人工判读航空图像检测的方式已经不能适应现代信息化战争的需求。如果可以自动检测和识别对象，那么无人机真正自主飞行将是可行的。

基于RGB颜色空间的目标检测，当进行颜色分离时，容易发生误分离的状况，遗漏有用信息，或者会在有用信息中掺杂了无用信息，现代空战中，无人机所处的动态环境背景复杂，故使用RGB颜色空间不利于无人机的图像检测。HSV颜色空间从人的视觉系统出发，从色调(Hue)、对比度(Saturation)和亮度(Value)3个参数来提取图像信息，提高了图像的分辨水平，能够有效提取图片信息。因此，相比RGB颜色空间，HSV颜色空间与人眼对颜色的感知相一致，更有利于对无人机目标特征信息的提取，但是HSV颜色空间在背景与目标灰度级交叉重叠时不易区分。

最大类间方差法(Otsu)通过计算背景与目标间离散测度矩阵的迹得到最佳分割阈值，当目标与背景的灰度级相近时分割效果很好。空战中无人机所处的动态环境复杂，隐蔽性很高，无人机目标与背景之间灰度差较小，基于HSV颜色空间与人眼有很好视觉一致性的优点。

无人机目标是一种具有高机动性特征的典型时间敏感目标，对无人机目标的检测方法应满足实时和精确的要求。目前的目标检测方法主要分为基于分组提取的算法和基于窗口得分的算法，基于分组提取的算法耗时长，检测效率较低，基于窗口得分的算法检测准确率和效率相对较高，其中尤以BING算法最为优异，所产生的候选图像区域数量大大少于滑动窗口生成的图像区域数量，检测效率高。

BING算法后处理过程中，每个尺度产生一些建议窗口，而不同尺度图像包含目标的可能性不同，对于不同尺度的图像学习一个权值，得到一个置信度分数。最后运用非极大值抑制算法(Non-Maximum Suppression，NMS)，即一个迭代-遍历-消除的过程，抑制非极大值元素，得到非极大置信得分的候选框，消除多余的框，找到最佳的物体位置。

传统BING算法虽在飞机检测上有应用，但在空战无人机检测中未得到广泛应用。无人机集群飞行中受光照、相互遮挡影响大，且动态环境下背景复杂，另外传统BING算法在检测无人机集群时，尺寸大的检测边界框往往会将尺寸小的检测边界框完全覆盖，产生一些重复的候选框，从而造成误检；无人机集群相互遮挡时，两个无人机候选框区域重叠面积超过非极大值抑制算法的阈值时，按照传统的BING算法后处理中的非极大值抑制算法只能够保留一个无人机，造成漏检，以上问题导致无法满足无人机检测实时和准确的处理要求。

发明内容

面向传统的BING算法在空战无人机检测中未得到广泛应用，且无人机具有背景复杂、易受光线干扰、隐蔽性较高以及集群性的特点，针对传统BING算法检测所提取的目标容易误检和漏检问题，本申请将HSV空间与最大类间方差法联合，引入重叠面积以及线性加权得分，提出改进的BING/NMS算法，最终在满足实时性的前提下，保证无人机检测的准确率和最佳重叠率，降低误检率和漏检率。

为实现上述目的，本申请的技术方案为：一种用于动态环境下的无人机实时检测方法，包括：

步骤一，建立Otsu-HSV颜色模型：

S11.将图片从RGB颜色空间转换到HSV颜色空间；

S12.将H、S、V这3个通道图像抽取出来，以V通道信息为主，使用最大类间方差法进行预分割；

S13.融合S通道信息组成新的图像，对新的图像进行二次分割，完成第二次分割过程，形成Otsu-HSV颜色模型。

该方法利用包含丰富特征信息的HSV空间，以及Otsu较易区分相似灰度的特点，通过两者结合形成Otsu-HSV颜色模型，可以有效地处理背景复杂情况下的动态环境，保证良好地完成图像的预处理；

步骤二，基于重叠面积的使用BING算法进行处理：

S21.将图像输入Otsu-HSV颜色模型使用BING算法检测；

S22.结合重叠面积公式消除部分重合度较大的检测窗口。

该方法检测无人机集群目标时，在出现两个候选框交集的面积与其中面积较小的候选框相等，且得分相差不大情况下，可抑制其中面积较大的候选框，从而减少误检；

步骤三，基于线性加权的使用NMS算法进行处理：

S31.对不同尺度的输入，基于重叠面积的BING算法会产生很多置信度得分不同的建议窗口；

S32.结合线性加权法的NMS算法，对一些原来非极大值需要抑制的窗口，采用较低的置信度代替其原来的置信度分数。

该方法应用于无人机相互遮挡的集群检测时，可防止候选框区域重叠面积超过非极大值抑制算法的阈值情况下，只能够保留一个无人机的问题，从而避免产生漏检。

进一步的，构建Otsu-HSV颜色模型，具体是：将输入图片从RGB颜色空间转换到HSV颜色空间，在HSV颜色空间中将H、S、V这3个通道图像抽取出来，以V通道信息为主，使用最大类间方差法进行预分割，得到的分割图像信息进一步与S通道信息融合，组成新的图像，然后对新的图像二次Otsu分割，可得到新变换的Otsu-HSV颜色模型，完成对无人机图像的预处理，进而在该模型中完成此后的无人机目标检测。

进一步的，基于重叠面积的使用BING算法进行处理，具体是：

传统的BING算法在检测无人机集群时，尺寸大的检测边界框往往会将尺寸小的检测边界框完全覆盖，产生一些重复的候选框，从而造成误检。因此，本发明为了消除重复的候选框，抑制一些重合度较大的检测窗口，降低误检率，改进BING算法，提出若得分低的候选检测框完全覆盖已选中的边界框，则丢弃该检测结果，记为OBING(Overlap BinarizedNormed Gradients)算法。为此，引入公式(1.1)。

其中B_i和B_j为检测窗口，当检测无人机目标时，出现两个候选框交集的面积与其中面积较小的候选框相等，且得分相差不大情况，则抑制其中面积较大的候选框，从而减少误检。

进一步的，基于线性加权的使用NMS算法进行处理，具体是：

传统的非极大值抑制算法只能够保留一个无人机，造成漏检。为了避免这个问题，考虑用较低一点的置信度分数代替原有的置信度分数，而非直接置0。因此，本发明在原来NMS基础上引入线性加权法，即基于线性加权的NMS算法，记为LNMS(Linear Non MaximumSuppression)算法。

overlap＝(B_i∩B_j)/(B_i∪B_j) (1.2)

对于当前候选框的重叠面积高于设定阈值T，将得分较低的窗口的得分乘以一个权值weight。重叠面积overlap越大，其置信度得分下降的越快，得分越低。这样当两个无人机检测出的矩形框重叠率大于指定阈值时也不会直接过滤掉，避免漏检。

进一步的，对于阈值T的设定，目前目标检测方法的评价标准强调精确定位，并且要在多个重叠阈值下衡量候选框的平均精度。在LNMS算法中，我们阈值T如果采用较低阈值(如0.3)，可能导致平均精度下降。此外，当使用较高阈值(如0.7)会增加假正例，在这种情况下，假正例的增加将远大于真正例的增加，因为无人机目标的数量通常比算法生成的感兴趣区域(ROI)数量少得多，有过多的重复框未被过滤。进而降低平均精度。因此，使用高T阈值也不是最佳的，通常阈值范围从0.3到0.7，本发明通过实验对阈值T进行不断调整，最终确定T为0.5时，能够对非极大值进行有效抑制，检测准确率达到最大值。

本发明由于采用以上技术方案，能够取得如下的技术效果：相较于现有技术，本发明申请提出了基于Otsu-HSV颜色模型空间的图像预处理，进一步联合加权得分和重叠面积，改进BING算法和后处理过程的NMS算法，提出OBING算法和LNMS相结合的改进的BING/NMS算法，在满足无人机检测实时性要求的前提下，降低目标的误检率和漏检率，提高检测准确率。

附图说明

本申请共有附图9幅：

图1为本发明算法-改进的BING/NMS算法流程图；

图2为Otsu-HSV颜色模型转换图；

图3为训练模型w∈R^8*8；

图4为基于重叠面积BING算法前后检测效果图；

图5为本发明算法-改进的BING/NMS前后检测效果图；

图6为LNMS算法伪代码；

图7为本发明算法不同阈值T下的准确率曲线；

图8为本申请与其他算法的准确率对比图；

图9为本申请与其他算法的最佳重叠率对比图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细的描述：以此为例对本申请做进一步的描述说明。

实施例1

本实施例提供一种用于动态环境下的无人机实时检测方法，流程如图1所示，包括以下几个步骤。

步骤一：建立Otsu-HSV颜色模型，具体操作如下：

1.将图片从RGB颜色空间转换到HSV颜色空间；

2.将H、S、V这3个通道图像抽取出来，以V通道信息为主，使用最大类间方差法进行预分割；

3.进一步融合S通道信息组成新的图像，对新的图像进行二次分割，完成第二次分割过程，形成Otsu-HSV颜色模型。

传统RGB空间是由红、绿、蓝三个分量构成的，各个分量之间存在很多不需要的信息，增加计算量；当进行颜色分离时，容易发生误分离的状况，遗漏有用信息，或者在有用信息中参杂了无用信息，故使用RGB颜色空间不利于无人机的图像检测。相比RGB颜色空间，HSV颜色空间各个信息结构的连接更加紧凑，颜色信息丢失少，更有利于对无人机目标特征参数的提取。Otsu-HSV颜色模型转换如图2所示，将图像的各个像素的RGB分量值变换到HSV空间。每个RGB像素和H，S，V分量可用公式(2.1)，公式(2.2)和公式(2.3)得到。

V＝max{R，G，B} (2.1)

最大类间方差法(Otsu)通过计算背景与目标间离散测度矩阵的迹得到最佳分割阈值，当目标与背景的灰度级相近时分割效果很好。空战中无人机所处的动态环境复杂，隐蔽性很高，无人机目标与背景之间灰度差较小，因此我们结合最大类间方差法，对HSV颜色空间进行改进，记为Otsu-HSV颜色模型，从而完成视频图像的预处理。Otsu-HSV颜色模型转换的过程如图2所示。

利用包含丰富特征信息的HSV空间，以及Otsu较易区分相似灰度的特点，通过两者结合形成Otsu-HSV颜色模型，可以有效地处理背景复杂情况下的动态环境，保证良好地完成图像的预处理。具体是：将输入图片从RGB颜色空间转换到HSV颜色空间，在HSV颜色空间中将H、S、V这3个通道图像抽取出来，以V通道信息为主，使用最大类间方差法进行预分割，得到的分割图像信息进一步与S通道信息融合，组成新的图像，然后对新的图像二次Otsu分割，可得到新变换的Otsu-HSV颜色模型，即完成了对无人机图像的预处理，在该模型中完成此后的无人机检测。

公式(2.4)为分割V通道后得到图像信息进一步与S通道信息融合的过程，其中g(x，y)为V通道阈值分割的结果，表示图像某点的灰度值，若该点的灰度值为1，则该点的通道信息为S通道信息，否则通道值为0。

步骤二：基于重叠面积的BING算法，具体操作如下：

1.将图像输入Otsu-HSV颜色模型使用BING算法检测；

2.结合重叠面积公式消除部分重合度较大的检测窗口。

范数梯度(NG)特征是一个紧密且紧凑的objectness特征，首先，由于归一化了支持域，所以无论对象窗口如何改变位置、尺度以及纵横比，它对应的NG特征基本不会改变，即NG特征对于位置、尺度、纵横比不敏感，这一点在无人机检测中是十分重要的。其次，由于NG特征的紧凑性，使得计算和核实更加有效率，能够很好的应用在无人机的实时检测中。

BING算法具体过程为：首先将图像缩放成不同尺寸，使用8*8大小的检测窗口扫描这些不同尺寸的窗口，提取NG特征，计算公式为min(|g_x|+|g_y|，255)，g_x和g_y分别为水平方向和垂直方向上的梯度。其次通过线性分类器训练学习得到一个线性模型w∈R^8*8，用训练好的模型w对缩放后图像中的每一个窗口进行打分。

s_l＝<w，g_l> (2.5)

l＝(i，x，y) (2.6)

其中，s_l，w，g_l，l分别为过滤器得分、学习得到的线性分类模板、NG特征、尺度为i窗口坐标(x，y)的位置。最后运用非极大值抑制算法，为每个尺度提供一些建议窗口。在实际的图像中，不同尺度图像包含目标的可能性不同，BING算法对于不同尺度的图像学习一个权值，将窗口包含目标的得分最终定义如公式(2.7)。

o_l＝v_is_l+t_i (2.7)

其中，v_i，t_i为第i种尺度下的分值系数和偏置，通过学习得到。

本发明利用空中的无人机图像进行模型训练，获得模型w∈R⁶⁴如图3所示。

以上为传统BING算法的检测过程，当检测无人机集群时，尺寸大的检测边界框往往会将尺寸小的检测边界框完全覆盖，产生一些重复的候选框，从而造成误检。因此，本发明为了消除重复的框，抑制一些重合度较大的检测窗口，降低误检率，改进BING算法，提出若得分低的候选检测框完全覆盖已选中过的边界框，则丢弃该检测结果，即基于重叠面积的BING算法，记为OBING算法。为此，引入公式(1.1)。

该发明在进行无人机集群目标检测时，当出现两个候选框交集的面积与其中面积较小的候选框相等，且得分相差不大情况，可抑制其中面积较大的候选框，从而减少误检。

步骤三：基于线性加权的NMS算法，具体操作如下：

1.对不同尺度的输入，基于重叠面积的BING算法会产生众多置信度得分不同的建议窗口；

2.结合线性加权法改进NMS算法，对一些原本非极大值需要抑制的窗口，用较低的置信度代替其原来的置信度分数。

BING算法的后处理过程中采用NMS算法，这是一个迭代-遍历-消除的过程，抑制非极大值元素，生成非极大置信得分的候选框，消除多余的框，找到最佳的物体位置。NMS算法中将重叠面积大于阈值的窗口得分全部置0，往往导致检测失误，而且重叠面积越大时，越有可能造成误检。在无人机集群相互遮挡情况下，两个无人机候选框区域重叠面积超过非极大值抑制算法的阈值时，按照传统的非极大值抑制算法只能够保留一个无人机，造成漏检。为了避免这个问题，本发明考虑用较低置信度分数代替原有的置信度分数，而非直接置0。因此，本发明在原来NMS基础上引入线性加权法，即基于线性加权的NMS算法，记为LNMS算法。

LNMS算法核心思想是当算法对同一个目标检测出多个重叠率较高的框，将重叠面积大于阈值的候选框得分进行线性加权处理，最终选取重叠区域里分数最高的矩形框(目标概率最大)，具体伪代码如图6所示。主要分为4个步骤：

步骤1：按照检测分数从高到低降序排序初始检测窗口；

步骤2：选取检测窗口B_i作为当前抑制的窗口；

步骤3：将得分低于B_i的检测窗口作为被抑制窗口B_j，计算重叠面积overlap，若重叠面积高于设定阈值T，将得分较低的窗口的得分乘以一个权值weight；

步骤4：根据加权后的得分，重新过滤掉低分的窗口若只剩最后一个初始检测窗口则结束，否则按照得分降序顺序，取下一个未被抑制的窗口作为当前抑制窗口，执行步骤3。

其中：

overlap＝(B_i∩B_j)/(B_i∪B_j) (1.2)

本发明申请在检测无人机相互遮挡的集群时，可防止候选框区域重叠面积超过非极大值抑制算法的阈值情况下，只能够保留一个无人机的问题，避免造成漏检。

对于当前候选框的重叠面积高于设定阈值T，将得分较低窗口的得分乘以一个权值weight。重叠面积overlap越大，其置信度得分下降的越快，得分越低。这样当两个无人机检测出的矩形框重叠率大于指定阈值时也不会直接过滤掉，避免漏检。

3.阈值T设定

在LNMS算法中，如果阈值T选值较低(如0.3)时，会导致平均精度下降。此外，当使用较高阈值(如0.7)时，假正例增加的数量将远大于真正例增加的数量，因为无人机目标的数量通常比算法生成的候选区域数量少得多，有很多的重复框未被过滤，进而降低平均精度。因此，选用较高或较低的阈值都不合适，通常阈值范围从0.3到0.7。我们通过实验对阈值T进行不断调整，如图7所示，最终确定当T为0.5时，能够对非极大值进行有效抑制，检测准确率达到最大值。

实施例2

将本发明算法在Otsu-HSV颜色模型与GRAY、RGB和HSV颜色空间分别进行无人机检测性能对比，如表1所示，Otsu-HSV颜色模型平均准确率和最佳重叠率在四个颜色空间中最高，其值分别为97.15％和67.25％，这是由于当目标与背景之间灰度级交叉重叠时，在HSV颜色空间中运用最大类间方差法，解决了图像中灰度变化趋势相近导致无法有效反应图像信息的问题，且Otsu-HSV颜色模型提取的无人机特征较为明显，颜色信息丢失少，相比其他颜色空间，更有利于本发明中后续对无人机目标的检测。

表1本发明算法在不同颜色空间定量对比

表2本发明算法与不同算法性能对比

表2为本发明算法与Edge Boxes(RGB)、BING(RGB)、BING(HSV)以及OBING(Otsu-HSV)算法性能对比。可以看出传统的BING算法的检测速度远快于Edge Boxes检测算法，本发明中OBING算法和本发明算法-改进的BING/NMS算法花费的检测时间稍多于传统BING检测算法，远小于Edge Boxes算法，能够在满足实时性要求的前提下，提高检测准确率和平均覆盖率。本发明算法-改进的BING/NMS算法相比OBING算法，虽检测时间增长，但FP、TP有所降低，很好满足了我们对目标检测精度的要求。但与Edge Boxes算法相比，仍然有较高的误检率和漏检率，平均最佳覆盖率偏低，仅为66.81％。

其中，对于不同检测方法检测障碍物(这里主要是其他无人机)的平均准确率和平均最佳覆盖率如图7和图8所示，本发明算法检测的准确率和平均最佳覆盖率最高。在传统的BING算法上进行改进，并引入Otsu-HSV预处理模型后，准确率和平均最佳覆盖率分别有1.34％和1.33％的提升，将Otsu-HSV模型、OBING算法、LNMS算法融合后的本发明算法-改进的BING/NMS算法，误检率和漏检率有了较大程度的降低，一定程度上提升了检测性能。

当检测无人机目标时，出现两个候选框交集面积与其中面积较小的候选框相等，且得分相差不大情况，则抑制其中面积较大的候选框，从而减少误检。本发明引入公式(1.1)改进BING算法。

本发明提出若得分低的候选检测框完全覆盖已选中过的边界框，则丢弃该检测结果，记为OBING算法，检测效果如图4所示，a为含无人机目标的待检测图像，b为传统的BING算法检测效果，c为增加重叠面积限制公式以后的OBING算法检测效果。在RGB空间中，传统的BING算法容易丢失信息，且当目标与背景的灰度相似时，很难进行区分检测。另外，当检测无人机集群时，面积较大的候选框易将较小的候选盒覆盖，进而导致检测错误。在重构的HSV中，包含丰富的特征信息，较易区分相似灰度，且通过增加重叠区域，可以有效地防止上述问题发生。从图中可以看出，该方法检测的无人机目标更加准确。

当检测无人机集群时，由于重叠区域太大，相互靠近无人机之间生成的一些候选框可能被遗漏。本发明通过在非极大值抑制中加入线性加权，即LNMS算法，降低了非最大矩形框的置信度，并且通过重新判断是否抑制，防止误删得分较低的候选框。

本发明整体检测效果对比如图5所示，其中a用于无人机目标检测的图像，b是传统BING算法的结果，c是本发明算法-改进的BING/NMS算法的结果。可以看出，传统BING算法针对集群中距离较近的无人机存无人机候选框漏检现象。本发明算法-改进的BING/NMS算法，在构建的Otsu-HSV颜色模型中，结合重叠面积和线性加权，改进传统BING算法。从检测结果可以看出，本发明算法可以更加准确地检测无人机目标。

综上可得，本发明在无人机检测方面，改进传统的BING算法，检测准确率和平均最佳覆盖率均有所提升，尤其是在保证检测效率的前提下，误检率和漏检率明显下降。但误检率和漏检率相对于EdgeBoxes算法，仍然较高，这可能是由于BING算法要求被检测目标必须有明确的封闭轮廓，造成对边界模糊的无人机目标甚至是小尺寸无人机目标产生误检和漏检。

以上所述，仅为本发明创造较佳的具体实施方式，但本发明创造的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明创造披露的技术范围内，根据本发明创造的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明创造的保护范围之内。

Claims (4)

1.一种用于动态环境下的无人机实时检测方法，其特征在于，包括：

步骤一，建立Otsu-HSV颜色模型：

步骤二，将图像输入Otsu-HSV颜色模型使用BING算法检测，结合重叠面积公式消除部分重合度较大的检测窗口；

步骤三，结合线性加权法的NMS算法，对一些原来非极大值需要抑制的窗口，采用较低的置信度代替其原来的置信度分数；

构建Otsu-HSV颜色模型具体步骤是：将输入图片从RGB颜色空间转换到HSV颜色空间，在HSV颜色空间中将H、S、V这3个通道图像抽取出来，V通道信息使用最大类间方差法进行预分割，得到的分割图像信息进一步与S通道信息融合，组成新的图像，然后对新的图像二次Otsu分割，得到新变换的Otsu-HSV颜色模型，完成对无人机图像的预处理。

2.根据权利要求1所述一种用于动态环境下的无人机实时检测方法，其特征在于，步骤二中BING算法处理步骤具体是：若得分低的候选检测框完全覆盖已选中的边界框，则丢弃该检测结果；其重叠面积公式为：

其中B_i和B_j为检测窗口，当检测无人机目标时，出现两个候选框交集的面积与其中面积较小的候选框相等，且得分相差不大情况，则抑制其中面积较大的候选框。

3.根据权利要求1所述一种用于动态环境下的无人机实时检测方法，其特征在于，步骤三中NMS算法处理步骤具体是：对于当前候选框的重叠面积高于设定阈值T，将得分较低的窗口的得分乘以一个权值weight；重叠面积overlap越大，其置信度得分下降的越快，得分越低；这样当两个无人机检测出的矩形框重叠率大于指定阈值时也不会直接过滤掉；

overlap＝(B_i∩B_j)/(B_i∪B_j)

4.根据权利要求3所述一种用于动态环境下的无人机实时检测方法，其特征在于，T为0.5时。

Images