CN113807464B - 基于改进yolo v5的无人机航拍图像目标检测方法 - Google Patents

Abstract

本发明公开一种基于改进YOLO V5的无人机航拍图像目标检测方法，属于深度学习和目标检测领域。该方法首先利用无人机航拍图像构建相关数据集，然后在YOLO V5主干网络部分利用卷积层替换Focus模块中的切片层，接着利用Neck部分对图像特征进一步处理，然后针对无人机高空航拍视角带来的目标杂散分布且目标占像素比过小问题，在网络预测层部分优化剔除76×76×255的大检测头，并同时调整锚框，最后通过泛化交并比、平均精度以及推理速度评价目标检测性能。该方法在提高识别准确率和特征提取性能的基础之上，能够实现对无人机航拍图像目标的快速、准确检测。

Description

基于改进YOLO V5的无人机航拍图像目标检测方法

技术领域

本发明涉及一种基于改进YOLO V5的无人机航拍图像目标检测方法，属于深度学习和目标检测技术领域。

背景技术

无人机影像的智能化感知不仅可以高效地提取地物信息，还能拓展无人机的场景理解能力，为无人机自主探测和飞行提供技术支持。目标检测是提升无人机影像智能感知的关键技术之一，但无人机航拍图像一般存在背景复杂、目标分布密集、尺度小、同一类别目标的角度差异大等特征。传统的“基于手动特征提取+分类器”的目标检测算法己无法满足复杂环境和多尺度下的检测精度要求。随着深度学习在解决图像处理上表现出的高效实用性，利用深度学习实现航拍图像深度变化特征的提取可有效避免传统方法的缺陷。

当前，随着深度神经网络的发展，目标检测领域的研究基本上分为两个方向，一个是基于候选区域的双阶段目标检测算法，如Faster-RCNN；另外一个是基于回归计算的单阶段目标检测方法，如YOLO V5。基于候选区域的双阶段的目标检测算法虽然精度很高，但是检测效率不高。而单阶段目标检测方法如2020年提出的YOLO V5，其在VOC 2007/2012数据集上可达到推理时间0.007秒。与Faster-RCNN相比，YOLO V5的推理速度提高了3倍，且具有更高的精度。

针对无人机航拍特殊环境，基于YOLO V5的目标检测方法面临如下两个难题。第一，无人机高空俯拍目标属于小目标，其占像素比例小，检测难度大；第二，无人机载荷小，电源供能有限，需通过提高网络推理速度，来提高其单次飞行作业效率。因此，在提高原有精度的前提下，改进YOLO V5主干网络架构，轻量化其网络模型，并提高其推理速度，对于YOLO V5应用到无人机航拍图像目标检测领域具有重要意义。

发明内容

本发明的目的是针对YOLO V5应用到无人机航拍图像目标检测中存在的因检测目标聚集为小目标，导致检测难度大，和主干网络复杂，导致实时性不够的问题，提出一种基于改进YOLO V5的无人机航拍目标检测方法，其可在提高原有YOLO V5精度的前提下，改进YOLO V5主干网络架构，轻量化其网络模型，提高其推理速度，实现快速、准确的无人机航拍目标检测。

上述的目的通过以下技术方案实现：

一种基于改进YOLO V5的无人机航拍目标检测方法，该方法包括如下步骤：

(1)利用无人机航拍图像构建数据集：对无人机航拍图像进行分类和标注后，得到带有类别标签的图像数据集，将带有类别标签的图像数据集划分为训练集和测试集，其中80％作为训练集，20％作为测试集；

(2)对步骤(1)得到的带有类别标签的图像数据集，进行预处理操作得到特征图，并将预处理后的特征图输入到改进的YOLO V5网络获取不同尺度的无人机航拍图像特征图；改进的YOLO V5网络是指在主干网络部分利用卷积层替换Focus模块中的切片层，并依次分别串联卷积层模块、跨阶段局部网络、空间金字塔池化模块；

(3)对步骤(2)得到的不同尺度的无人机航拍图像特征图，将其输入到改进的YOLOV5网络中的Neck部分，Neck部分对不同尺度的无人机航拍图像特征图进行上采样和特征融合后获得不同尺度的张量数据；

(4)对步骤(3)得到的不同尺度的张量数据，将其输入到改进的YOLO V5网络中的预测层部分，在预测层部分优化剔除大检测头与自适应调整锚框，最终计算得到无人机航拍目标的检测框；

(5)对步骤(4)得到的无人机航拍目标的检测框，利用泛化交并比、平均精度与推理速度3个参数进行评价。

进一步地，步骤(2)的具体方法是：

(21)在YOLO V5网络的主干网络部分将Focus模块中的切片层替换为卷积层，即将切片操作用卷积操作替换来进行特征提取；接着将特征图输出到卷积层模块处理特征图的传播出现梯度消失的问题，卷积层模块由卷积、批量归一化、Leaky激活函数构成，其中批量归一化定义如下：

式中，

为归一化损失函数，x^(k)为经过该层线性变换后的损失函数值，E[·]表示损失函数值的均值，Var是均方差操作符；

Leaky激活函数定义如下：

式中，f(i)为Leaky激活函数，i表示特征图输入值；

(22)将步骤(21)处理后的特征图输入到跨阶段局部网络模块进行优化处理，减小网络模型尺寸；

(23)将步骤(22)处理后的特征图输入到空间金字塔池化模块，空间金字塔池化模块利用空间金字塔池化操作对输入的特征图进行处理，获得多尺度的无人机航拍图像特征图。

进一步地，步骤(3)的具体方法是：

将步骤(2)得到的多尺度图像特征图输入到改进的YOLO V5网络中的Neck部分，Neck部分由卷积层模块、跨阶段局部网络、系列特征融合模块、上采样模块组成，Neck在特征金字塔网络的基础上引入了自下而上的路径增强结构，细化主干网络输出的图像特征矩阵，并输出不同尺度的张量数据。

进一步地，步骤(4)的具体方法是：

将步骤(3)得到的不同尺度的张量数据输入到改进的YOLO V5网络中的预测层部分，预测层由卷积层和三个大小分别为76×76×255、38×38×255、19×19×255的检测头组成；首先将针对大目标的76×76×255的检测头优化剔除，接着自适应调整锚框，即将原始的锚框调整为[10,14,23,27,37,58]与[81,82,135,169,344,319]，最后基于损失函数及反向传播输出无人机航拍目标的检测框。

进一步地，步骤(5)的具体方法是：

泛化交并比为回归目标框损失函数，其计算公式如下：

式中，GIOU表示泛化交并比，IOU表示交并比，A、B表示任意的两个无人机航拍目标的检测框，C表示一个能够包住A，B的最小方框，|C\A∪B|表示为C减去A与B并集的面积，|C|表示为C的面积，|A∪B|表示A框与B框并集的面积，|A∩B|表示A框与B框交集的面积；

采用平均精度作为衡量多标签图像检测精度的指标，平均精度通过绘制PR曲线计算得到，即以precision和recall作为纵、横轴坐标的二维曲线，precision为准确率，recall为召回率；推理速度定义为一秒钟可检测图像的数目。

附图说明

图1本发明原理示意图；

图2改进YOLO V5的主干网络结构图；

图3改进YOLO V5的预测层结构图；

图4数据集中被检测目标尺寸的散点热力图；

图5改进YOLO V5的泛化交并比参数曲线；

图6改进YOLO V5的平均精度参数曲线。

具体实施方式

以下将结合附图，对本发明的技术方案进行详细说明。

如图1所示，本发明提供了一种改进YOLO V5的无人机航拍图像目标检测方法。

具体步骤如下：

(1)利用无人机航拍图像构建相关数据集；

(2)对步骤(1)得到的带有类别标签的图像数据集，进行预处理操作得到特征图，并将预处理后的特征图输入到改进的YOLO V5网络获取不同尺度的无人机航拍图像特征图；改进的YOLO V5网络是指在主干网络部分利用卷积层替换Focus模块中的切片层，并依次分别串联卷积层模块(简称CBL)、跨阶段局部网络(简称CSP)、空间金字塔池化模块(简称(SSP)；

(3)对步骤(2)得到无人机航拍图像特征图，将其输入到改进的YOLO V5网络中的Neck部分，Neck部分对不同尺度的图像特征图进行上采样和特征融合后获得不同尺度的张量数据；

(4)对步骤(3)得到的图像不同尺度的张量数据，将其输入到改进的YOLO V5网络中的预测层部分，计算得到无人机航拍目标的检测框；

(5)对步骤(4)得到的基于改进YOLO V5的无人机航拍图像的目标检测结果，利用泛化交并比(简称GIOU)、平均精度(简称MAP)与推理速度3个参数进行评价。

本实施例的步骤(1)中，共获取1400无人机航拍图片，对航拍图像进行分类和标注后，图像数据集及经过标记工作生成的类别标签，并划分训练集和测试集，其中1120张作为训练集，280张作为测试集，图像大小为1024×1024；

本实施例的步骤(2)中，如图2所示对主干网络进行改进，改进后的主干网络使用卷积层替换了切片层(简称Slice)，这可简化YOLO V5模型的转换及移植过程。改进后的主干网络对图像的特征提取过程如下，首先对无人机航拍图像进行预处理，调整其大小为608×608×3；接着将预处理后的无人机航拍图像输入到Focus模块，改进后的Focus模块包括1个卷积层(简称Conv)和1个卷积层模块(简称CBL)，其获取的特征图大小为304×304×3；然后将大小为304×304×3的特征图依次输入到2个卷积层模块,2个跨阶段局部网络模块(简称CSP)，1个空间金字塔池化模块(简称SSP)，最后输入得到的特征图大小为19×19×256。主干网络中的卷积层模块用到了批量归一化与Leaky激活函数，其中批量归一化定义如下：

式中，

为归一化损失函数，x^(k)为经过该层线性变换后的损失函数值，E[·]表示损失函数值的均值，Var是均方差操作符。

Leaky激活函数定义如下：

式中，f(i)为Leaky激活函数，i表示特征图输入值。

进一步地，步骤(3)中，Neck部分由卷积层模块(简称CBL模块)、跨阶段局部网络(简称CSP)、系列特征融合(简称Concat)、上采样模块组成。YOLO V5的Neck网络中，采用一种增强学习能力的深度网络(简称CSPnet)设计的跨阶段局部网络结构，来加强网络特征融合能力。首先Neck网络对主干网络输入的特征图通过跨阶段局部网络和卷积层模块做进一步特征提取；然后通过空间金字塔池化(简称SSP)等操作分3个尺度对特征图进行处理，这可更好地利用主干网络输出的图像特征矩阵；最后将处理得到的3个不同尺度的张量数据传递到预测层；

进一步地，步骤(4)中，对YOLO V5预测层的改进如图3所示，针对无人机高空航拍视角带来的目标杂散分布且目标占像素比过小问题，将针对大目标的76*76*255的检测头优化剔除，同时自适应调整锚框(即anchor box)，原始的锚框调整后为[10,14,23,27,37,58]与[81，82，135，169，344，319]。改进后YOLO V5结果输出过程如下：首先将改进YOLO V5Neck网络输出的不同尺度的张量数据输入到预测层部分，预测层由1个卷积层和2个大小分别为38×38×255、19×19×255的检测头组成；最后预测层基于损失函数及反向传播对梯度输出无人机航拍目标的检测框；

进一步地，步骤(5)中，对YOLO V5的输出结果通过泛化交并比(简称GIOU)、平均精度(简称MAP)、推理速度3个参数进行评价。泛化交并比为回归目标框损失函数。泛化交并比作为评价指标时的具有以下特性：非负性、对称性以及尺度不变性。泛化交并比值越小，目标框输出精度越高。其计算公式如下：

式中，GIOU表示泛化交并比，IOU表示交并比，A、B表示任意的两个无人机航拍目标的检测框，C表示一个能够包住A，B的最小方框，|C\A∪B|表示为C减去A与B并集的面积，|C|表示为C的面积，|A∪B|表示A框与B框并集的面积，|A∩B|表示A框与B框交集的面积；

平均精度为衡量多标签图像检测精度的指标。多标签图像检测任务中，图像的标签不止一个，应采用的是和信息检索中类似的方法平均精度(Mean Average Precision，MAP)计算精度。平均精度值越大，目标检测精度越高。平均精度通过绘制PR曲线计算得到，即以precision和recall作为纵、横轴坐标的二维曲线。一般来说，precision为准确率，recall为召回率。

推理速度定义为一秒钟可检测图像的数目。推理速度越快，目标检测网络的实时性越好。

仿真实验：

实施方式的平台为Ubuntu18.04操作系统，开发环境为PyCharm CommunityEdition 2020.2.1x64。实验模型在Pytorch1.9.0框架上，采用Darknet53学习网络。模型训练在Nvdia 3080Ti(显存12G)GPU，CUDA11.2实验环境下完成。具体实验步骤如下：

(1)数据集选择：本次训练选择DOTA数据集。DOTA数据集包含2806张无人机航拍图像，对象类别包括：飞机，船舶，储罐，棒球场，网球场，篮球场，地面场地，港口，桥梁，小型车辆，大型车辆，直升机，环形交叉路口，足球场，篮球场和集装箱起重机。本次训练选择其中的1400张图片，对航拍图像进行分类和标注后，其中1120张作为训练集，280张作为测试集，图4为数据集中被检测目标尺寸的散点热力图，其横轴宽度比例值，纵轴为高度比例值，大小都限制在0到1之间，图中的点由深到浅代表目标尺寸越来越集中，从图中可以看出，无人机航拍数据集中的被检测目标集中为小目标。

(2)改进的YOLO V5训练参数设置：训练的轮数为300轮，步长为16，即一次投放的数据为16张图片，初始学习率：0.001。

(3)训练结果分析：基于改进YOLO V5的无人机航拍图像目标检测结果由泛化交并比，平均精度，推理速度评价。泛化交并比值越小，目标框输出精度越高。平均精度值越大，目标检测精度越高。推理速度越快，目标检测网络的实时性越好。图5为改进YOLO V5的泛化交并比参数曲线，其纵轴为泛化交并比值，其横轴为训练轮数，在迭代300次左右,改进的YOLO V5比未改进的YOLO V5的泛化交并比值小，其目标框输出精度更高。图6为改进YOLOV5的平均精度参数曲线，其纵轴为平均精度值，其横轴为训练轮数，在迭代300次左右,改进的YOLO V5的平均精度值为77，未改进的YOLO V5的平均精度值为74.6，其目标检测精度更高。在推理速度方面，改进的YOLO V5网络一秒钟可以检测143张图片，未改进的YOLO V5网络一秒钟可以检测100张图片，改进的YOLO V5算法的检测速度提高了31％，改进的YOLO V5网络实时性更好。

由此可以看出，本发明在提高识别准确率和特征提取性能的基础之上，简化了YOLO V5网络模型的转化和移植过程，进一步提高了YOLO V5网络模型的推理速度，能够实现对无人机航拍图像目标的快速、准确检测。

如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上作出各种变化。

Claims (3)

1.一种基于改进YOLO V5的无人机航拍图像目标检测方法，其特征在于，该方法包括如下步骤：

(1)利用无人机航拍图像构建数据集：对无人机航拍图像进行分类和标注后，得到带有类别标签的图像数据集，将带有类别标签的图像数据集划分为训练集和测试集，其中80％作为训练集，20％作为测试集；

(2)对步骤(1)得到的带有类别标签的图像数据集，进行预处理操作得到特征图，并将预处理后的特征图输入到改进的YOLO V5网络获取不同尺度的无人机航拍图像特征图；改进的YOLO V5网络是指在主干网络部分利用卷积层替换Focus模块中的切片层，并依次分别串联卷积层模块、跨阶段局部网络、空间金字塔池化模块；

(3)对步骤(2)得到的不同尺度的无人机航拍图像特征图，将其输入到改进的YOLO V5网络中的Neck部分，Neck部分对不同尺度的无人机航拍图像特征图进行上采样和特征融合后获得不同尺度的张量数据；

(4)对步骤(3)得到的不同尺度的张量数据，将其输入到改进的YOLO V5网络中的预测层部分，在预测层部分优化剔除大检测头与自适应调整锚框，最终计算得到无人机航拍目标的检测框；

(5)对步骤(4)得到的无人机航拍目标的检测框，利用泛化交并比、平均精度与推理速度3个参数进行评价；

步骤(2)的具体方法是：

(21)在YOLO V5网络的主干网络部分将Focus模块中的切片层替换为卷积层，即将切片操作用卷积操作替换来进行特征提取；接着将特征图输出到卷积层模块处理特征图的传播出现梯度消失的问题，卷积层模块由卷积、批量归一化、Leaky激活函数构成，其中批量归一化定义如下：

式中，

为归一化损失函数，x^(k)为经过该层线性变换后的损失函数值，E[·]表示损失函数值的均值，Var是均方差操作符；

Leaky激活函数定义如下：

式中，f(i)为Leaky激活函数，i表示特征图输入值；

(22)将步骤(21)处理后的特征图输入到跨阶段局部网络模块进行优化处理，减小网络模型尺寸；

(23)将步骤(22)处理后的特征图输入到空间金字塔池化模块，空间金字塔池化模块利用空间金字塔池化操作对输入的特征图进行处理，获得多尺度的无人机航拍图像特征图；

步骤(4)的具体方法是：

将步骤(3)得到的不同尺度的张量数据输入到改进的YOLO V5网络中的预测层部分，预测层由卷积层和三个大小分别为76×76×255、38×38×255、19×19×255的检测头组成；首先将针对大目标的76×76×255的检测头优化剔除，接着自适应调整锚框，即将原始的锚框调整为[10,14,23,27,37,58]与[81,82,135,169,344,319]，最后基于损失函数及反向传播输出无人机航拍目标的检测框。

2.根据权利要求1所述的基于改进YOLO V5的无人机航拍图像目标检测方法，其特征在于，步骤(3)的具体方法是：

将步骤(2)得到的多尺度图像特征图输入到改进的YOLO V5网络中的Neck部分，Neck部分由卷积层模块、跨阶段局部网络、系列特征融合模块、上采样模块组成，Neck在特征金字塔网络的基础上引入了自下而上的路径增强结构，细化主干网络输出的图像特征矩阵，并输出不同尺度的张量数据。

3.根据权利要求1所述的一种基于改进YOLO V5的无人机航拍图像目标检测方法，其特征在于，步骤(5)的具体方法是：

泛化交并比为回归目标框损失函数，其计算公式如下：

式中，GIOU表示泛化交并比，IOU表示交并比，A、B表示任意的两个无人机航拍目标的检测框，C表示一个能够包住A，B的最小方框，|C\A∪B|表示为C减去A与B并集的面积，|C|表示为C的面积，|A∪B|表示A框与B框并集的面积，|A∩B|表示A框与B框交集的面积；

采用平均精度作为衡量多标签图像检测精度的指标，平均精度通过绘制PR曲线计算得到，即以precision和recall作为纵、横轴坐标的二维曲线，precision为准确率，recall为召回率；推理速度定义为一秒钟可检测图像的数目。

Images