CN110443279A - 一种基于轻量级神经网络的无人机图像车辆检测方法 - Google Patents

Abstract

本发明公开了一种基于轻量级神经网络的无人机图像车辆检测方法，包括以下步骤：S01，计算损失公式，使度量匹配度的平方误差期望值最小，确定自适应大小的锚框尺寸；S02，使用轻量级神经网络提取图像特征，得到图像的特征图；S03，根据图像的特征图生成预测框并进行目标分类与定位；S04，过滤掉属于背景的预测框以及去除掉冗余的预测框，输出剩余的预测框。本发明提供的一种基于轻量级神经网络的无人机图像车辆检测方法及其工作方法，采用了自适应大小的锚框以及轻量级神经网络ShuffleNet V2的网络结构，使得使用无人机进行车辆目标检测拥有更高的识别精度及速度，满足了该场景下无人机内的低功耗处理器对检测任务的准确性与实时性的要求。

Description

一种基于轻量级神经网络的无人机图像车辆检测方法

技术领域

本发明涉及一种基于轻量级神经网络的无人机图像车辆检测方法，属于深度学习与目标检测领域。

背景技术

由于其移动性和快速性的特点，无人机在很多领域得到了广泛应用。目前无人机在许多特定场景下已经展现出了优势，帮助人们记录高空视角下的海量图像与视频数据。目标检测技术需要定位出物体的位置并识别出物体的类别。目前目标检测领域的深度学习方法主要分为两类：两阶段(Two-Stages)的目标检测算法和单阶段(Single-Stage)的目标检测算法。两阶段：首先在图像上提取候选框，然后进行分类与回归，常见的算法有R-CNN、Fast R-CNN、Faster R-CNN等。单阶段：不需要提取候选框，直接将目标框定位的问题转化为回归(regression)问题处理，常见的算法有YOLO、SSD等。

目前目标检测算法在无人机图像中已被广泛应用，但主流的目标检测方法在无人机目标检测的应用中，尤其是在目标较小且尺寸较为固定的情况下，普遍存在以下问题：(1)锚框尺寸的经验设置不能很好地匹配目标的尺寸；(2)网络模型复杂，使得检测过程计算量大，耗费时间。以上两个问题使得目前基于深度学习的使用无人机进行目标检测的方法，尤其是在目标较小且尺寸较为固定的情况下，不能很好地得到检测结果，且很难在一些计算能力差、功率较小的处理器上快速运行。

传统的目标检测方法在常规场景下，选择经验设置下的锚框尺寸并通过复杂的神经网络模型能够有效地对场景中的目标进行分类与定位，得到目标检测结果。但在使用无人机对车辆目标进行实时检测的场景下，经验设置下的锚框尺寸无法很好地与大小较小且尺寸较为固定的目标进行匹配，同时复杂的网络模型使得检测过程的计算量大，无法满足检测的实时性。

发明内容

本发明要解决的技术问题是，克服现有技术的缺陷，提供一种能够提高无人机进行车辆目标检测拥有更高的识别精度及速度，满足该场景下无人机内的低功耗处理器对检测任务的准确性与实时性的要求的基于轻量级神经网络的无人机图像车辆检测方法。

为解决上述技术问题，本发明采用的技术方案为：

一种基于轻量级神经网络的无人机图像车辆检测方法，包括以下步骤：

S01，计算损失公式，使度量匹配度的平方误差期望值最小，确定自适应大小的锚框尺寸；

S02，使用轻量级神经网络提取图像特征，得到图像的特征图；

S03，根据图像的特征图生成预测框并进行目标分类与定位；

S04，过滤掉属于背景的预测框以及去除掉冗余的预测框，输出剩余的预测框。

S01具体步骤为：

假设总数为K的锚框为A＝{A₁，...，A_k，...，A_K}，A_k则表示第k个锚框，S_k表示与A_k相匹配的人工标注框，则：

其中，L_mat表示损失值，E表示求期望值，B表示边界框的随机变量，表示在给定S_k的情况下与A_k最佳匹配的人工标注框；

P(B∈S_k)表示B属于S_k的概率，Var(B|B∈S_k)是随机变量B在B∈S_k条件下的方差，P(B∈S_k)和Var(B|B∈S_k)可以分别表示为：

其中n_k为属于S_k的边界框总数，n为边界框B的总数，b表示属于S_k的边界框，则公式(1)中的L_mat可表示为：

可计算出无人机图像中车辆目标的最优化锚框尺寸：

S02中，轻量级神经网络为ShuffleNet V21×，通过删去末尾的全连接层得到网络结构。

S03具体步骤为：

用一个1×1的卷积层来卷积该特征图，卷积过程中，在滑动窗口的每个像素点对应的原图像上设置S01中得到的k个最优尺寸的锚框，生成所有的预测框；

下面将卷积的结果和得到的预测框输入到两个并行的卷积层中进行卷积：

其中一个卷积层，大小为1×1，其输出是用于分类的置信度，表示每个预测框分别属于目标或背景这两种类别的概率；

另一个卷积层，大小为3×3，其输出则是用于对预测框进行修正，使其更接近人工标注框的定位输出，表示的是每个预测框回归后的坐标值(x，y，w，h)，其中x、y分别是预测框的横坐标值和纵坐标值，w、h分别是预测框的宽和高。

S04中，属于背景的预测框通过设置置信度阈值的方法过滤掉。

S04中，冗余的预测框使用非极大值抑制算法(NMS)去除掉。

本发明的有益效果：本发明提供一种基于轻量级神经网络的无人机图像车辆检测方法，主要创新点在于设计了自适应大小的锚框，并采用了轻量级神经网络ShuffleNet V2的网络结构提取图像特征，能够有效地使用可搭载在无人机上的计算能力相对较差的低功耗处理器，对无人机采集的图像中的车辆目标进行精确且快速的实时检测与定位。

附图说明

图1为本发明中一种基于轻量级神经网络的无人机图像车辆检测方法的流程示意图。

具体实施方式

如图1所示，本发明提供一种基于轻量级神经网络的无人机图像车辆检测方法，包括以下步骤：

步骤一，确定自适应大小的锚框尺寸使锚框尺寸与无人机图像中的车辆目标的人工标注框更加匹配。无人机图像是从高空视角下采集的，使得图像中的车辆目标大小较小且尺寸较为固定，因而锚框的尺寸应尽可能地与无人机图像中车辆目标的人工标注框匹配。我们首先设计了损失公式，目的是使度量匹配度的平方误差期望值最小。假设总数为K的锚框为A＝{A₁，...，A_k，...，A_K}，A_k则表示第k个锚框。S_k表示与A_k相匹配的人工标注框，则：

其中，L_mat表示损失值，E表示求期望值，B表示边界框(bounding box)的随机变量，表示在给定S_k的情况下与A_k最佳匹配的人工标注框，P(B∈S_k)表示B属于S_k的概率，Var(B|B∈S_k)是随机变量B在B∈S_k条件下的方差。

P(B∈S_k)和Var(B|B∈S_k)可以表示为：

其中n_k为属于S_k的边界框总数，n为边界框B的总数，b表示属于S_k的边界框，则公式(1)中的L_mat可表示为：

可计算出无人机图像中车辆目标的最优化锚框尺寸：

步骤二，使用轻量级神经网络提取图像特征。确定了与无人机图像中车辆目标的人工标注框更加匹配的锚框尺寸之后，下面是通过一个经过预训练的基础网络(basenetwork)来提取待检测图像的特征。

在使用无人机进行车辆目标检测的场景下，除了精确度以外，低延迟的需求也非常重要。由于无人机的负重对自身飞行的影响较大，再加上对处理器在小体积和低功耗方面的要求，使得可搭载在无人机中的处理器的性能及计算能力远不及高性能的GPU等处理器。而ShuffleNet V2作为一个轻量级的神经网络，不仅考虑了网络设计上精确与速度，也考虑了硬件上实现的效率。它在速度上和准确度之间做到了很好的平衡，且在同等准确度下，比以往的轻量级神经网络更加快速，满足了无人机内的低功耗处理器对准确和快速的需求。

因此我们选择了ShuffleNet V21×，通过删去其中末尾的全连接层(FC层)来得到我们所需的ShuffleNet V2的网络结构，并以此网络结构作为我们的基础网络来提取图像的特征并生成图像的特征图。

步骤三，生成预测框并进行目标分类与定位。由步骤二中的基础网络得到图像的特征图后，首先用一个1×1的卷积层来卷积该特征图。卷积过程中，在滑动窗口的每个像素点对应的原图像上设置步骤一中得到的k个最优尺寸的锚框，生成所有的预测框。下面将卷积的结果和得到的预测框输入到两个并行的卷积层中进行卷积。

其中一个卷积层(大小为1×1)的输出是用于分类的置信度(confidence)，表示每个预测框分别属于目标或背景这两种类别的概率。

另一个卷积层(大小为3×3)的输出则是用于对预测框进行修正，使其更接近人工标注框的定位输出(localization)，表示的是每个预测框回归后的坐标值(x，y，w，h)，其中x、y分别是预测框的横坐标值和纵坐标值，w、h分别是预测框的宽和高。

步骤四，输出目标的检测结果。得到了所有的预测框以及每个预测框的置信度与定位后，对于每一个预测框，首先根据其置信度值，通过设置置信度阈值的方法过滤掉属于背景的预测框。最后使用非极大值抑制算法(NMS)去除掉冗余的预测框，输出剩余的预测框即无人机图像中车辆目标的检测结果。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种基于轻量级神经网络的无人机图像车辆检测方法，其特征在于：包括以下步骤：

S01，计算损失公式，使度量匹配度的平方误差期望值最小，确定自适应大小的锚框尺寸；

S02，使用轻量级神经网络提取图像特征，得到图像的特征图；

S03，根据图像的特征图生成预测框并进行目标分类与定位；

S04，过滤掉属于背景的预测框以及去除掉冗余的预测框，输出剩余的预测框。

2.根据权利要求1所述一种基于轻量级神经网络的无人机图像车辆检测方法，其特征在于：S01具体步骤为：

假设总数为K的锚框为A＝{A₁，...，A_k，...，A_K}，A_k则表示第k个锚框，S_k表示与A_k相匹配的人工标注框，则：

其中，L_mat表示损失值，E表示求期望值，B表示边界框的随机变量，表示在给定S_k的情况下与A_k最佳匹配的人工标注框；

P(B∈S_k)表示B属于S_k的概率，Var(B|B∈S_k)是随机变量B在B∈S_k条件下的方差，P(B∈S_k)和Var(B|B∈S_k)可以分别表示为：

其中n_k为属于S_k的边界框总数，n为边界框B的总数，b表示属于S_k的边界框，则公式(1)中的L_mat可表示为：

可计算出无人机图像中车辆目标的最优化锚框尺寸：

3.根据权利要求1所述一种基于轻量级神经网络的无人机图像车辆检测方法，其特征在于：S02中，轻量级神经网络为ShuffieNet V21×，通过删去末尾的全连接层得到网络结构。

4.根据权利要求1所述一种基于轻量级神经网络的无人机图像车辆检测方法，其特征在于：S03具体步骤为：

用一个1×1的卷积层来卷积该特征图，卷积过程中，在滑动窗口的每个像素点对应的原图像上设置S01中得到的k个最优尺寸的锚框，生成所有的预测框；

下面将卷积的结果和得到的预测框输入到两个并行的卷积层中进行卷积：

其中一个卷积层，大小为1×1，其输出是用于分类的置信度，表示每个预测框分别属于目标或背景这两种类别的概率；

另一个卷积层，大小为3×3，其输出则是用于对预测框进行修正，使其更接近人工标注框的定位输出，表示的是每个预测框回归后的坐标值(x，y，w，h)，其中x、y分别是预测框的横坐标值和纵坐标值，w、h分别是预测框的宽和高。

5.根据权利要求1所述一种基于轻量级神经网络的无人机图像车辆检测方法，其特征在于：S04中，属于背景的预测框通过设置置信度阈值的方法过滤掉。

6.根据权利要求1所述一种基于轻量级神经网络的无人机图像车辆检测方法，其特征在于：S04中，冗余的预测框使用非极大值抑制算法去除掉。