CN113657287A - 一种基于深度学习改进YOLOv3的目标检测方法 - Google Patents

Abstract

本发明涉及一种基于深度学习改进YOLOv3的目标检测方法，属于目标检测技术领域。方法包括：获取待检测的图像数据，并将其输入训练好的改进的YOLOv3检测模型中，得到检测结果；检测模型的主干网络包括第一特征提取层、第二特征提取层、第三特征提取层、以及第四特征提取层：第一特征提取层包括第一卷积模块、第二卷积模块、第一残差模块、第三卷积模块、第二残差模块以及第四卷积模块；第二特征提取层包括第三残差模块和第五卷积模块；第三特征提取层包括第四残差模块和第六卷积模块；第四特征提取层包括第五残差模块。该主干网路将图像的输入大小增大为640*640，增大了图片大小进而可以使得图像中包含有更多的小目标信息，提高了检测的精度。

Description

一种基于深度学习改进YOLOv3的目标检测方法

技术领域

本发明涉及一种基于深度学习改进YOLOv3的目标检测方法，属于目标检测技术领域。

背景技术

机场的场面飞机检测是智慧机场、远程塔台的重要组成部分，它能自动识别机场图像中的飞机，辅助塔台管制员保障飞行安全，在场面飞机冲突预警、防跑道侵入、远程指挥等方面具有重要的应用价值。

场面飞机图像通常是由航站楼、塔台的摄像机采集。相比于轮廓完整、姿态单一的遥感飞机图像，场面飞机图像存在飞机相互遮挡，及拍摄距离远造成飞机较小等难以检测的问题，这使得基于滑动窗口的传统方法受到限制。

近些年，随着深度学习技术的快速发展，基于深度学习的方法广泛应用于目标检测领域。目前基于深度学习的方法主要分为两类：一是基于候选区域的方法，如RCNN、Fast-RCNN、Faster-RCNN等算法；二是基于回归的目标检测方法，如：YOLO、SSD、YOLO9000、YOLOv3等算法。其中，基于候选区域的方法虽然具有很高的检测精度，但是检测速度较慢，不适用于场面飞机检测，而基于回归的目标检测方法速度快，能够满足场面飞机检测实时性要求，并且YOLOv3算法被认为是最好的，广泛应用于场面飞机的检测。

YOLOv3算法的模型如图1所示，图1中DBL是YOLOv3的基本组件，为卷积+批量归一化-BN层(Batch Normalization)+激活函数(Leaky relu)，对于v3来说，BN和leaky relu已经是和卷积层不可分离的部分了(最后一层卷积除外)，共同构成了最小组件。Resi_unit的基本组件也是DBL。Residual：表示这个Residual里含有多少个Res_unit，其为YOLOv3的大组件，YOLOv3开始借鉴了ResNet的残差结构，使用这种结构可以让网络结构更深(从yolov2的darknet-19上升到yolov3的darknet-53，前者没有残差结构)。Concat为张量拼接，将darknet中间层和后面的某一层的上采样进行拼接，拼接的操作和残差层add的操作是不一样的，拼接会扩充张量的维度，而add只是直接相加不会导致张量维度的改变。

YOLOv3的主干卷积网络是Darknet-53，该主干卷积网络融合了ResNet的跳跃连接层结构，使用1×1和3×3的卷积层，分别实现扩展和压缩特征通道，增强网络特征提取性能的作用。Darknet-53的网络结构如表一所示：

表一 Darknet-53的网络结构

然而，上述Darknet-53网络中输入的图像较小，容易丢失小目标的特征信息，导致检测精度降低。

发明内容

本申请的目的在于提供一种基于深度学习改进YOLOv3的目标检测方法，用以解决现有检测方法检测精度低的问题。

为实现上述目的，本申请提出了一种基于深度学习改进YOLOv3的目标检测方法的技术方案，检测方法包括以下步骤：

1)获取待检测的图像；

2)将待检测的图像输入训练好的检测模型中，得到检测结果；所述检测模型为改进的YOLOv3检测模型；

所述检测模型的主干网络包括按照输入到输出的方向依次设置的第一特征提取层、第二特征提取层、第三特征提取层、以及第四特征提取层：

第一特征提取层包括按照输入到输出的方向依次设置的第一卷积模块、第二卷积模块、第一残差模块、第三卷积模块、第二残差模块以及第四卷积模块；

第二特征提取层包括按照输入到输出的方向依次设置的第三残差模块和第五卷积模块；

第三特征提取层包括按照输入到输出的方向依次设置的第四残差模块和第六卷积模块；

第四特征提取层包括第五残差模块。

本发明的基于深度学习改进YOLOv3的目标检测方法的技术方案的有益效果是：本发明的检测模型在原有的YOLOv3检测模型的基础上进行改进，将原有的YOLOv3检测模型中的主干网络替换为本发明中具有四个特征提取层的主干网络，并且特征提取层由卷积模块和/或残差模块组成。该主干网路将图像的输入大小增大为640*640，增大了图片大小进而可以使得图像中包含有更多的小目标信息，提高了检测的精度。

进一步的，为了提高检测速度，所述残差模块为瓶颈残差模块。

进一步的，所述瓶颈残差模块包括按照输入到输出的方向依次设置的1*1卷积子模块、3*3卷积子模块、以及1*1卷积子模块。

进一步的，各卷积模块均为3*3卷积模块。

进一步的，各残差模块的扩展因子均为1.5。

进一步的，第一特征提取层中，第一卷积模块的输出通道数为32、重复次数为1、步长为1；第二卷积模块的输出通道数为64、重复次数为1、步长为2；第一残差模块的输出通道数为64、重复次数为1、步长为1；第三卷积模块的输出通道数为128、重复次数为1、步长为2；第二残差模块的输出通道数为128、重复次数为2、步长为1；第四卷积模块的输出通道数为256、重复次数为1、步长为2。

进一步的，第二特征提取层中，第三残差模块的输出通道数为256、重复次数为3、步长为1；第五卷积模块的输出通道数为512、重复次数为1、步长为2。

进一步的，第三特征提取层中，第四残差模块的输出通道数为512、重复次数为4、步长为1；第六卷积模块的输出通道数为1024、重复次数为1、步长为2。

进一步的，第四特征提取层中，第五残差模块的输出通道数为1024、重复次数为3、步长为1。

进一步的，检测模型训练前，还包括对训练的数据集数据进行扩增的步骤。

附图说明

图1是现有技术中基于YOLOv3算法的检测模型的结构图；

图2是本发明检测模型的结构图；

图3a是现有技术中Darknet-53主干网络中的残差模块结构图；

图3b是本发明的残差模块结构图；

图4是本发明检测模型训练时的数据集目录结构图；

图5a是本发明的检测方法与现有技术的检测方法的训练损失曲线比较曲线图；

图5b是本发明的检测方法与现有技术的检测方法的训练损失曲线比较的局部放大曲线图；

图5c是本发明的检测方法与现有技术的检测方法在IoU＝0.5时，mAP的比较曲线图；

图5d是本发明的检测方法与现有技术的检测方法在0.5<IoU<0.95时，mAP的比较曲线图；

图6a是本发明的检测结果示例1的效果图；

图6b是本发明的检测结果示例2的效果图；

图6c是本发明的检测结果示例3的效果图；

图6d是本发明的检测结果示例4的效果图。

具体实施方式

基于深度学习改进YOLOv3的目标检测方法实施例：

本发明的主要构思在于，在YOLOv3算法的基础上，为了提高检测速度，将YOLOv3算法的原Darknet-53主干网络进行替换，替换为本发明的主干网络，本发明的主干网络包括四个特征提取层，每个特征提取层设置有卷积模块和残差模块。将待检测的图像输入本发明的主干网络中，以实现目标检测。

具体的，以场面飞机为目标描述本发明的基于深度学习改进YOLOv3的目标检测方法，该目标检测方法包括以下步骤：

1)构建检测模型。

检测模型与YOLOv3算法的检测模型的不同之处在于主干网络、以及主干网络中使用的残差模块，整体检测模型的架构与YOLOv3算法的检测模型的架构相同，这里不做赘述。本发明的主干网络如图2所示，包括按照输入到输出的方向依次设置的第一特征提取层、第二特征提取层、第三特征提取层、以及第四特征提取层：

第一特征提取层包括按照输入到输出的方向依次设置的第一卷积模块、第二卷积模块、第一残差模块、第三卷积模块、第二残差模块以及第四卷积模块；

第二特征提取层包括按照输入到输出的方向依次设置的第三残差模块和第五卷积模块；

第三特征提取层包括按照输入到输出的方向依次设置的第四残差模块和第六卷积模块；

第四特征提取层包括第五残差模块。

上述主干网络中，各卷积模块均为3*3卷积模块(即conv(3*3))。

残差模块为瓶颈残差模块，原Darknet-53主干网络中采用的残差模块如图3a所示，包括conv1*1(即1*1卷积子模块)和conv3*3(即3*3卷积子模块)，该残差模块使主杆网络的层数更深，有利于提取目标深层的语义信息，但会丢失小目标特征信息，降低检测精准度，同时加倍了计算量，还降低检测速率；为了提高场面飞机的检测准确率和速率，本发明引入深度可分离卷积(Depth separable convolution)结构，采用如图3b所示的瓶颈残差模块，瓶颈残差模块包括按照输入到输出的方向依次设置的1*1卷积子模块(conv1*1)、3*3卷积子模块(Dwise3*3)、以及1*1卷积子模块(conv1*1)，不仅减少主杆网络特征提取中目标信息的丢失，还减少检测模型的计算量，提升检测模型的检测速度。当然，如果仅需要保证检测精度的情况下，也可以使用普通的残差模块，本发明对此不做限制。

关于Dwise3*3的卷积子模块与普通的3*3卷积子模块的区别为：

普通的3*3卷积子模块是对所有通道做一次卷积。比如：rgb三通道图片，图片大小为640*640，这里输入记为640*640*3，经过一次普通的3*3卷积，结果为640*640*1，输出通道变为了1。

Dwise3*3卷积子模块：对所有通道做单独的卷积操作，输入通道和输出通道数量相同：比如：rgb三通道图片，图片大小为640*640，这里输入记为640*640*3，经过一次Dwise3*3卷积，结果为640*640*3，输出通道还是3，通道数没有变，这里的Dwise3*3卷积是和后面的1*1卷积作为组合来运算的，不单独使用。

具体的，各卷积模块和残差模块的参数设置为：

第一卷积模块的输出通道数为32、重复次数为1、步长为1；第二卷积模块的输出通道数为64、重复次数为1、步长为2；第一残差模块的输出通道数为64、重复次数为1、步长为1；第三卷积模块的输出通道数为128、重复次数为1、步长为2；第二残差模块的输出通道数为128、重复次数为2、步长为1；第四卷积模块的输出通道数为256、重复次数为1、步长为2；

第三残差模块的输出通道数为256、重复次数为3、步长为1；第五卷积模块的输出通道数为512、重复次数为1、步长为2；

第四残差模块的输出通道数为512、重复次数为4、步长为1；第六卷积模块的输出通道数为1024、重复次数为1、步长为2；

第五残差模块的输出通道数为1024、重复次数为3、步长为1。

总结如表二所示：

表二 主干网络的结构及参数设置

表二中，Layer为特征提取层，Input为输入图片的大小，Operator为操作，e为扩展因子(expansion factor)，c为输出通道(out channel)，n为重复次数(repeat times)，s为步长(stride)。可以看出，本发明的主干网络的输入图片大小为640*640，原Darknet-53主干网络的输入图片大小为416*416，增大了输入图片的大小，可以减少小目标特征的丢失。

2)根据数据集对检测模型进行训练，得到训练好的检测模型。

本步骤中，由于本发明采用深度可分离卷积(Depth separable convolution)结构中的瓶颈残差模块，而深度可分离卷积是在损失了一定检测精度的基础上，减小了模型参数，提高检测速率，因此，为了提高检测精度，需要对数据集进行预处理，预处理的方式为数据扩增。

数据扩增的方法主要有Mosaic、Cutout方法，除了这两种方法外还使用了图像扰动，改变亮度、对比度、饱和度、色调，加噪声，随机缩放，随机裁剪(random crop)，翻转，旋转，随机擦除等方式。

3)获取待检测的场面飞机图像，将待检测的场面飞机图像输入训练好的检测模型中，得到检测结果。

以下以一个具体的实施例对本发明的检测方法进行验证。

首先，建立检测模型，并确定实验环境与数据集。

实验环境为Ubuntu 20.04操作系统，英特尔

酷睿^TM i9-9900K处理器，32GB内存，GPU为RTX 2080Ti*2，深度学习框架使用Pytorch1.8和通用并行计算架构CUDA11.1。数据集如表三所示：

表三 实验数据集

来源

分辨率

日期

数量(张)

类别

训练集(张)

验证集(张)

测试集(张)

某机场

1920*1080

2020-12-3

13700

飞机

8220

2740

2740

上述表三中的数据集来自某机场的飞机图片，包含了各类型号的单架客机、多架遮挡客机图像、小目标图像等图像，共计13700幅，涵盖了晴天、雾天、雨天等白昼天气状况。按6:2:2制作成训练集、验证集、测试集。利用图片标注工具labelimg对图像进行标注，将其标注为飞机和其他物体。数据的目录结构如图4所示，其中，Annotations为存放xml格式的标签文件，每个xml对应JPEGImage中的一张图片。可使用labelImg进行标注和查看；ImageSets存放训练集、验证集、测试集的文件地址路径；JPEGImages存放所有图片，包括训练集、验证集、测试集图片；SegmengtationClass和SegmengtationObject用于图像分割，我们这里不用。

其次，利用数据集对检测模型进行训练。

设置批训练数据量(batch_size)为8，输入图像尺度设置为640×640，权重衰减值(Decay)为0.0005，训练动量配置为0.9，整个训练过程分300个epoch(轮次)完成，实验采用小批量梯度下降法的方式进行优化参数。

最后，分析实验结果，评估检测模型的性能。

为了有效地评估网络模型的性能，选择精度P，召回率R，以及平均精度(mAP)来评估网络模型的检测能力。

公式如下：

TP：IoU>0.5的检测框数量(同一人工标注的目标框只计算一次)；IOU：预测框和人工标注的边界框的交并比；

FP：IoU<＝0.5的检测框，或者是检测到同一个人工标注的目标框的多余检测框的数量；

FN：没有检测到的人工标注的目标框的数量；

AP：PR曲线下面积(PR曲线：Precision-Recall曲线)；为单个目标的评价指标；

mAP：mean Average Precision，即各类别AP的平均值；C为检测目标的类别。

将本发明检测方法与现有技术中的Faster-RCNN、SSD、YOLOv3检测方法进行比较，得到如表四的比较结果：

表四 比较结果

表四中，mAP^val0.5含义：选取IoU＝0.5，验证集数据的平均精度检测指标；mAP^val0.5：0.95含义：选取0.5<IoU<0.95，验证集数据的平均精度检测指标；mAP^test0.5：0.95含义：选取0.5<IoU<0.95，测试集数据的平均精度检测指标；FPS(f/s)含义：每秒能检测多少帧图片；Params(M)含义：检测模型计算参数的大小，以M(兆)作为单位。从表四中可以看出，Faster-RCNN具有最高的精度，最高可达98.9％，FPS为2.2，检测速度最慢，无法满足机场实时检测要求；SSD检测速度较Faster-RCNN有一定提高，FPS达到2.5，但是对小物体的性能较差，识别精度过低，只有67.7％；YOLOV3更快的速度，能达到8.4FPS，且精度可以达到94.9％。本文的检测模型，具有最快的检测速度，FPS达到15.6f/s，精度与Faster-RCNN持平，同时在端对端模型检测中参数最小，速度最快，同时夜间对飞机的检测效果良好，能够满足机场飞机实时检测的要求。

具体的本发明的检测方法与现有技术的检测方法在训练损失，以及map0.5，map0.5:0.9的比较如图5a、图5b、图5c、图5d所示。

图5a为train_loss(训练损失)的比较曲线图，横轴代表训练迭代次数，纵轴代表训练损失值。ssd模型的训练损失在2.3-2.5之间，损失值无法再降低，检测精度达到一定的瓶颈。faster-rcnn，yolov3(即YOLOv3)，ours检测模型损失值更低，精测精度得到进一步提升，ours也就是本文的模型损失最接近，检测精度最高。

图5b为图5a的局部放大图，图5b的目的是对faster-rcnn(即Faster-RCNN)，yolov3，ours检测模型损失值做个放大，可以清晰的看出这三个模型的损失值变化情况，faster-rcnn训练损失值接近但是达不到0.04，yolov3比faster-rcnn模型损失值更低，ours检测模型损失值最低，精测精度也最好。

图5c为IoU＝0.5时，检测精度(map，等同于mAP)指标的比较曲线。横轴代表训练迭代次数，纵轴代表map数值。faster-rcnn和ours检测模型精度最高，接近1.0。yolov3次之，ssd精度最低。

图5d为0.5<IoU<0.95(可以认为这是选取更加严格的检测条件)时，检测精度(map)指标的比较曲线。在这种更加严格的筛选条件下，可以看出ours的检测精度最高。

利用本发明的检测模型进行检测后，得到如图6a、图6b、图6c、图6d所示的检测结果。

本发明的主干网络的设置增大了图片的尺寸，减小了小目标特征的丢失，大大提高了检测精度，同时还减少了模型参数，提高了检测速度，实现了检测速度和检测精度均最优的效果。同时本发明的目标检测方法不仅仅适用于场面飞机的目标检测，还可适用于其他的目标检测，本发明对检测的目标并不做限制。

本发明的检测方法可以实现航班挂牌、航空器起落追踪监控、视频监控数据转换为航迹数据进行补盲等功能：

(1)航班挂牌

对接ADS-B信息，对全景视频中的航空器进行航班信息叠加，实现飞机挂牌，实现飞行区现实增强的效果。

(2)航空器起落追踪监控

通过自动跟踪相机实现对飞机起飞和降落过程中的全程自动跟踪，同时会根据相机与飞机的距离自动对相机进行调焦，保证追踪相机画面始终显示出最适合观察的效果。

(3)视频监控数据转换为航迹数据进行补盲

对于部分无ADS-B信号或者信号不可信航班，采用视频监控数据转换为航迹数据进行补盲，从而建立低成本场面监视系统，增强场面低能见度运行能力。

Claims (10)

1.一种基于深度学习改进YOLOv3的目标检测方法，其特征在于，包括以下步骤：

1)获取待检测的图像；

2)将待检测的图像输入训练好的检测模型中，得到检测结果；所述检测模型为改进的YOLOv3检测模型；

所述检测模型的主干网络包括按照输入到输出的方向依次设置的第一特征提取层、第二特征提取层、第三特征提取层、以及第四特征提取层：

第一特征提取层包括按照输入到输出的方向依次设置的第一卷积模块、第二卷积模块、第一残差模块、第三卷积模块、第二残差模块以及第四卷积模块；

第二特征提取层包括按照输入到输出的方向依次设置的第三残差模块和第五卷积模块；

第三特征提取层包括按照输入到输出的方向依次设置的第四残差模块和第六卷积模块；

第四特征提取层包括第五残差模块。

2.根据权利要求1所述的基于深度学习改进YOLOv3的目标检测方法，其特征在于，所述残差模块为瓶颈残差模块。

3.根据权利要求2所述的基于深度学习改进YOLOv3的目标检测方法，其特征在于，所述瓶颈残差模块包括按照输入到输出的方向依次设置的1*1卷积子模块、3*3卷积子模块、以及1*1卷积子模块。

4.根据权利要求1所述的基于深度学习改进YOLOv3的目标检测方法，其特征在于，各卷积模块均为3*3卷积模块。

5.根据权利要求1所述的基于深度学习改进YOLOv3的目标检测方法，其特征在于，各残差模块的扩展因子均为1.5。

6.根据权利要求1所述的基于深度学习改进YOLOv3的目标检测方法，其特征在于，第一特征提取层中，第一卷积模块的输出通道数为32、重复次数为1、步长为1；第二卷积模块的输出通道数为64、重复次数为1、步长为2；第一残差模块的输出通道数为64、重复次数为1、步长为1；第三卷积模块的输出通道数为128、重复次数为1、步长为2；第二残差模块的输出通道数为128、重复次数为2、步长为1；第四卷积模块的输出通道数为256、重复次数为1、步长为2。

7.根据权利要求1所述的基于深度学习改进YOLOv3的目标检测方法，其特征在于，第二特征提取层中，第三残差模块的输出通道数为256、重复次数为3、步长为1；第五卷积模块的输出通道数为512、重复次数为1、步长为2。

8.根据权利要求1所述的基于深度学习改进YOLOv3的目标检测方法，其特征在于，第三特征提取层中，第四残差模块的输出通道数为512、重复次数为4、步长为1；第六卷积模块的输出通道数为1024、重复次数为1、步长为2。

9.根据权利要求1所述的基于深度学习改进YOLOv3的目标检测方法，其特征在于，第四特征提取层中，第五残差模块的输出通道数为1024、重复次数为3、步长为1。

10.根据权利要求1所述的基于深度学习改进YOLOv3的目标检测方法，其特征在于，检测模型训练前，还包括对训练的数据集数据进行扩增的步骤。

Images