CN116363629A

CN116363629A - 一种基于改进YOLOv5的交通标志检测方法

Info

Publication number: CN116363629A
Application number: CN202310344042.6A
Authority: CN
Inventors: 李泊荧; 姜艳姝
Original assignee: Harbin University of Science and Technology
Current assignee: Harbin University of Science and Technology
Priority date: 2023-03-31
Filing date: 2023-03-31
Publication date: 2023-06-30

Abstract

本发明公开了一种基于改进YOLOv5自动驾驶目标检测方法，属于图像处理技术领域。该方法步骤主要包括：S1：获取目标检测常用数据集，通过Mosaic进行预处理，重新进行标注，得到新的数据集；S2：针对自动驾驶需要的实时性要求，算法主干引入GhostNet网络进行特征提取，完成对主干网络的轻量化；S3：针对YOLOv5对小目标检测效果差的问题，在网络中添加ECA注意力机制增强网络特征提取能力；改进网络结构将更浅层网络的丰富的位置信息融合到预测网络中，添加160×160小目标检测层；对于目标检测的遮挡问题，改进网络结构，增加浅层特征层第三层和第四层的特征融合，保留更多对相近的或者遮挡的轮廓信息更加敏感的浅层特征层，达到提高遮挡目标检测准确率的效果。

Description

一种基于改进YOLOv5的交通标志检测方法

技术领域

本发明适用于自动驾驶目标检测领域，是一种基于改进YOLOv5的自动驾驶目标检测方法，提高YOLOv5目标检测对于小目标和遮挡目标的检测效果。

背景技术

随着社会科技水平的进步和人们经济水平的提高我国机动车拥有量急剧攀升，车辆增加随之而来的就是交通事故的增加。随着人工智能的发展，自动驾驶技术已经成为解决这些问题的关键手段。虽然各种各样的检测算法在不断提高，但是对于交通标志检测，交通标志多数占据整个图像的部分较小，因此需要处理小目标检测问题；同时交通标志也存在遮挡问题，利用当前已有的目标检测等方法能在一定程度上处理局部的遮挡问题，效果不是很理想，还不能处理严重的遮挡问题，因此在复杂的交通场景下，不可避免的会出现小目标以及遮挡目标难以检测问题，因此解决复杂的交通场景下的小目标以及遮挡目标是目标检测算法的关键，也成为近年来目标检测研究的热点。

传统的目标检测存在时间复杂度高，检测速度慢，没有很好的鲁棒性等问题。随着深度学习的发展，大量优秀的算法被提出，主要分为基于候选框的两阶段算法和基于回归的单阶段检测算法。在自动驾驶中，要求算法具有实时性，基于回归的检测算法在检测的速度上明显快于两阶段检测算法。基于回归的检测算法以YOLO系列最为常见，因其结构简单使其获得了更快的检测速度。现有的网络虽然在检测速度和精度上都有所提高，但是在小目标以及遮挡目标难以检测的问题上仍然存在着诸多的问题。

发明内容

针对上述问题，本发明的目的在于使复杂的交通环境下对于交通检测中的小目标以及遮挡目标难以检测的问题得到缓解，提出一种基于改进YOLOv5的自动驾驶检测方法。

为了解决上述问题，本发明提出了一种基于改进YOLOv5的自动驾驶检测方法，包括如下步骤：

S1：获取目标检测常规数据集，并对获得到的数据集通过Mosaic进行预处理，将得到的数据集重新进行标注，以得到最为适合的研究对象的复杂数据集；

S2：改进YOLOv5的特征提取网络，将原YOLOv5的三尺度预测增加到四尺度预测，增强对小目标的检测效果；

S3：改进YOLOv5网络主干结构，加入ECA注意力机制，增强特征提取能力。

S4：对于遮挡目标而言，改进FPN+PAN结构增加特征融合，提出跨尺度连接，增强对遮挡信息的敏感度，增强对小目标检测的效果；

S5：用GhostNet网络主干网络代替YOLO主干网络进行特征提取，完成对网络的轻量化，加快检测速度。

作为对上述步骤的进一步阐述：

进一步的，所述S1的具体步骤为：

S1.1：从多个数据集中选出所需要的图像，将其合并成一个新的数据集；

S1.2：将得到的新的数据集重新进行类别标注，以得到适合自动驾驶交通标志目标检测的复杂数据集；

S1.3：对得到的标准数据集利用Mosaic进行处理，且对标准数据集进行划分，以得到训练数据集、验证数据集与测试数据集。

进一步的，所述S2的具体步骤为：

S2.1：YOLOv5在经过特征提取网络后，特征融合网络，将浅层位置信息与高层的语义信息融合，最后输出三个尺度的预测网络，20×20、40×40、80×80，在原有的三个尺度的基础上将更浅层的信息融入到PANet网络，生成四个尺度的预测网络20×20、40×40、80×80、160×160，对小目标的检测有很好的效果。

进一步的，所述S3的具体步骤为：

S3.1：ECA注意力模块，它是一种支持即插即用的通道注意力模块。ECA-Net采用Group convolutions分组卷积用于改进CNN架构，其中高维(低维)信道在固定分组数量的情况下包括长(短)卷积。换句话说，就是通道维度C和卷积核大小k成比例。采用非线性函数，而且卷积核数量设为2的k次方(因为通常通道尺寸是2)。公式如下：

卷积尺寸K：

S3.2：将ECA通道注意力模块在主干网络的特征提取层的二层三层四层五层之前加入，能够增强主干网络的特征提取能力。

进一步的，所述S4的具体步骤为：

S4.1：由于底层的特征语义信息比较少，但是目标位置准确，高层的特征语义信息比较丰富，但是目标位置比较粗略，所以原本的特征融合结构采取了PANet结构：

S4.2：浅层信息对相近的或者遮挡的轮廓信息更加敏感，为了提高复杂背景下对于小目标和遮挡目标的检测准确率，提出新的跨尺度连接方式增加浅层特征层第三层和第四层的特征融合，保留更多对相近的或者遮挡的轮廓信息更加敏感的浅层特征层，达到提高遮挡目标检测准确率的效果。

S4.3：添加两个自适应线性变换模块。通过在深层特征与浅层特征层中插入自适应线性变换模块，将深层特征上采样后进行线性变换，自适应调整权重再与浅层特征层拼接，可以有效平衡生成特征图中高级语义特征和空间位置信息比例，提高模型检测小尺寸交通标志的感知能力。

进一步的，所述S5的具体步骤为：

S5.1：构建GhostNet，Ghost bottleneck主要由两个堆叠的Ghost模块组成。第一个Ghost模块用作扩展层，增加了通道数。第二个Ghost模块减少通道数，以与shortcut路径匹配。然后使用shortcut连接这两个Ghost模块的输入和输出。

S5.2：用GhostNet的骨干网络替换YOLOv5的主干网络,轻量化的Ghost模型相比于传统的卷积操作有着快速的推理效率，理论上可以提高s倍的推理速度，从加速比和压缩比两方面验证，公式如式(3)和式(4)所示所示。

本发明最为突出的特点和显著效果是：

1.通过自制的数据集，使得实验所需要的数据更能满足实验环境，并且实验数据经过Mosaic数据加强，使样本数据正负更加平衡，有利于检测效果的增强

2同时构建的增加预测尺度，对于小目标的检测效果得到显著的提升，小目标的漏检率得到了降低。改进的特征融合结构跨尺度链接方法使得对遮挡信息的敏感度度增强，对遮挡信息的检测能力增强，主干网络用轻量级网络替换，保证了检测的速度，加入的ECA注意力机制模型的表现能力有了提升，检测效果得到了很大改善。

附图说明

图1为本发明的系统框图；

图2为改进后的网络结构图；

具体实施方式

需要说明的是，在不冲突的情况下，本申请中实施例及实施例中的特征可以相互组合，下面对本发明进一步详细说明。

本发明采用YOLOv5-6.1检测框架，同时对框架的特征提取网络做出修改，针对自动驾驶需要的实时性要求，算法主干引入GhostNet网络进行特征提取，完成对YOLO网络主干网络的轻量化；针对YOLOv5对小目标检测效果差的问题，在主干网络中添加ECA注意力机制增强网络特征提取能力；同时改进网络结构，加强网络的融合力度，将更浅层网络的丰富的位置信息融合到预测网络中，添加160×160小目标检测层；对于目标检测的遮挡问题，改进FPN+PAN结构，提出新的跨尺度连接方式增加浅层特征层第三层和第四层的特征融合，保留更多对相近的或者遮挡的轮廓信息更加敏感的浅层特征层，达到提高遮挡目标检测准确率的效果。

本发明实例的基于YOLOv5的交通标志检测方法，如图一包括以下步骤：

S1：获取目标检测常用数据集，并对获得到的数据集通过Mosaic进行预处理，将得到的数据集重新进行标注，以得到更适合作为研究对象的复杂数据集；

S3：改进FPN+PAN结构，提出新的跨尺度连接方式增加浅层特征层第三层和第四层的特征融合增强对遮挡目标的检测效果；

S4：改进YOLOv5的主干网络，用GhostNet网络主干网络替换原本的YOLO主干完成网络的轻量化，加快检测速度；

S5：改进YOLOv5网络结构，加入ECA注意力机制，增强特征提取能力。

所述步骤S1具体为：

在多个数据集中选出所需要的图像，将其合成一个新的数据集，将得到的新的数据集重新进行类别的标注，去除无用的类别，以得到适合自动驾驶目标检测的复杂数据集，对得到的标准数据集利用Mosaic进行处理，且对标准数据集进行划分，以得到训练数据集、验证数据集与测试数据集。

所述步骤S2具体为：

YOLOv5在经过特征提取网络后，进入特征融合网络，将特征融合网络，将浅层信息与高层的语义信息融合，最后输出三个尺度的预测网络，20×20、40×40、80×80在原有的三个尺度的基础上将更浅层的信息融入到PANet网络，生成四个尺度的预测网络20×20、40×40、80×80、160×160，对小目标的检测有很好的效果。

所述步骤S3具体为：

对于遮挡目标而言，改进FPN+PAN结构增加特征融合，提出跨尺度连接，使得网络在保留更多的浅层语义信息的同时也不丢失过多的深层语义信息。因为主干网络的浅层特征层的语义信息不仅对小目标检测有十分重要的作用，同时这些浅层信息对相近的或者遮挡的轮廓信息也更加敏感，提高复杂背景下对于小目标和遮挡目标的检测准确率。

所述步骤S4具体为：

构建GhostNet，其中的Ghost bottleneck主要由两个堆叠的Ghost模块组成。第一个Ghost模块用作扩展层，增加了通道数。第二个Ghost模块减少通道数，以与shortcut路径匹配。然后，使用shortcut连接这两个Ghost模块的输入和输出。用GhostNet的骨干网络替换YOLOv5的主干网络。

所述步骤S5具体为：

ECANet是通道注意力机制的一种实现形式，ECANet可以看做是SENet的改进版。ECA注意力机制模块直接在全局平均池化层之后使用1x1卷积层，去除了全连接层。避免了维度缩减，并有效捕获了跨通道交互。并且ECANet只涉及少数参数就能达到很好的效果。ECANet通过一维卷积layers.Conv1D来完成跨通道间的信息交互，卷积核的大小通过一个函数来自适应变化，使得通道数较大的层可以更多地进行跨通道交互。将ECA通道注意力模块在特征提取层二层三层四层五层之前加入，增强主干网络的特征提取能力。

本发明具有如下有益效果：

1.改PAN结构增加特征融合，提出跨尺度连接，增强对遮挡信息的敏感度，对于遮挡目标的检测有很好的效果，使得漏检率降低。

2.YOLOv5的三尺度预测增加到四尺度预测，使得远处的小目标都能准确的得到检测。

以上所述仅为本发明的一个实施方式，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种复杂自动驾驶场景下基于YOLOv5的目标检测方法，实现精准的捕捉复杂环境中的小目标同时满足自动驾驶所需实时性，包括以下步骤：

S2：改进YOLOv5的特征提取网络，将原YOLOv5的三尺度预测增加到四尺度预测，同时对于浅层信息加入增大感受野模块，增强对小目标的检测效果；

S3：改进YOLOv5网络主干结构，加入ECA注意力机制，增强特征提取能力；

S4：改进YOLOv5网络颈部结构，改进PANet结构增加特征融合，提出跨尺度连接，增强对遮挡信息的敏感度，增强对小目标检测的效果；

2.根据权利要求1所述的一种基于改进YOLOv5的自动驾驶交通标志目标检测方法，其特征在于，所述步骤S1的具体步骤为：

S1.2：将得到的新的数据集重新进行类别标注，得到适合目标检测的复杂数据集；

3.根据权利要求1所述的一种基于改进YOLOv5的目标检测方法，其特征在于，所述步骤S2的具体步骤为：

S2.1：YOLOv5在经过特征提取网络后，进入特征融合网络，将浅层信息位置信息与高层的语义信息融合，最后输出三个尺度的预测网络，20×20、40×40、80×80，在原有的三个尺度的基础上将更浅层的信息融入到PANet网络，生成四个尺度的预测网络20×20、40×40、80×80、160×160，对小目标的检测有很好的效果。

4.根据权利要求1所述的一种基于改进YOLOv5的目标检测方法，其特征在于，所述步骤S3的具体步骤为：

S3.1：构建ECA注意力模块，它是一种支持即插即用的通道注意力模块。ECA-Net采用Groupconvolutions分组卷积用于改进CNN架构，其中高维(低维)信道在固定分组数量的情况下包括长(短)卷积。换句话说，就是通道维度C和卷积核大小k成比例。采用非线性函数，而且卷积核数量设为2的k次方(因为通常通道尺寸是2)。公式如下：

C＝φ(k)＝2^(γ*k-b)(1)

卷积尺寸K：

5.根据权利要求1所述的一种基于改进YOLOv5的目标检测方法，其特征在于，所述步骤S4的具体步骤为：

S4.3：添加两个自适应线性变换模块。通过在深层特征与浅层特征层中插入自适应线性变换模块，将深层特征上采样后进行线性变换，自适应调整权重再与浅层特征层拼接，可以有效平衡生成特征图中高级语义特征和空间位置信息比例，提高模型检测小尺寸检测物。

6.根据权利要求1所述的一种基于改进YOLOv5的目标检测方法，其特征在于，所述步骤S5的具体步骤为：

S5.1：构建GhostNet，Ghostbottleneck主要由两个堆叠的Ghost模块组成。第一个Ghost模块用作扩展层，增加了通道数。第二个Ghost模块减少通道数，以与shortcut路径匹配。然后，使用shortcut连接这两个Ghost模块的输入和输出。

S5.2：用GhostNet的骨干网络替换YOLOv5的主干网络，轻量化的Ghost模型相比于传统的卷积操作有着快速的推理效率，理论上可以提高s倍的推理速度，从加速比和压缩比两方面验证，公式如式(3)和式(4)所示所示。