CN114842503A - 基于YOLOv5网络的头盔检测方法 - Google Patents

Abstract

本发明公开了一种基于YOLOv5网络的头盔检测方法，包括：采用Mosaic‑8图像增强算法对原始图片进行预处理；将预处理后的图片输入到引入了注意力机制的YOLOv5网络中进行迭代训练，通过反复迭代训练获得最优权重模型；将待检测图片进行预处理后输入最优权重模型进行头盔检测。本发明引入的注意力机制作用在特征图之上，通过获取特征图中的可用注意力信息，能够达到更好的任务效果。

Description

基于YOLOv5网络的头盔检测方法

技术领域

本发明属于计算机视觉应用技术领域，尤其涉及一种基于YOLOv5网络的头盔检测方法。

背景技术

电动车一直是人们日常出行的重要交通工具。近年来，随着新能源技术的发展，电动车的动力越来越强，续航也更持久，但引发的交通事故也在不断增多。

科学研究表明，如果正确佩戴安全头盔，当意外发生时，头盔能够吸收大部分的冲击能量，减少事故造成的头部伤害，从而降低60％到70％的交通事故死亡风险。传统的头盔佩戴检测方法是依靠人工对摄像设备拍摄的内容进行检测，其效率较低且成本较高。因此，设计一种头盔佩戴情况自动检测方法，对于提高头盔检测的精度和效率，协助交通执法、实现智能化交通管理显得尤为重要。

头盔具有小目标、多样性等属性，再加上场景的多样性以及目标间交互的复杂性，因此难以识别。除此之外，头盔检测还存在以下难点：在昏暗条件下，由于光照强度不大，可见度低，难以对电动车进行精确定位，头盔检测任务的难度大大提高。

已经公布的多数目标检测方法已在头盔检测任务上取得了不错的成绩，但对可见度不高、光照强度不强的昏暗条件下，其检测精度仍有待提高。在探索基于深度学习的头盔检测方法中，Prajwal等人先利用YOLOv2检测出视频帧中的人和电动车，再利用 YOLOv3检测感兴趣区域(Region ofinterest,ROI)中是否含有头盔，该方法使用的框架冗余，计算量大；Noel等先利用传统机器视觉方法对摩托车和电动车进行分类，再利用YOLOv3目标检测框架对头盔进行检测，该方法对拍摄角度和图像质量的要求较高。

发明内容

为了解决现有技术中的上述技术缺陷，本发明提出了一种基于YOLOv5网络的头盔检测方法。

实现本发明目的的技术方案为：一种基于YOLOv5网络的头盔检测方法，包括：

采用Mosaic-8图像增强算法对原始图片进行预处理；

将预处理后的图片输入到引入了注意力机制的YOLOv5网络中进行迭代训练，通过反复迭代训练获得最优权重模型；

将待检测图片进行预处理后输入最优权重模型进行头盔检测。

优选地，通过网络爬取与自行拍摄相结合制作原始图片数据集，其中80％图片来源于网络，20％来源于实际拍摄。

优选地，对原始图片进行标签标注，标签分为两种，分别是yes和no，其中no表示电动车骑行者未佩戴头盔，yes表示佩戴头盔，使用图像增强算法对标签为yes的图片进行图像平移、翻转、旋转、缩放，分离三个颜色通道并添加随机噪声。

优选地，目标YOLOv5算法模型中的所有C3-n模块均添加了卷积注意力模块 CBAM。

优选地，所述C3-n模块包含三个标准卷积层以及n个Bottleneck模块，C3-n模块用于对残差特征进行学习，其结构分为两支，一支指定n个Bottleneck模块和1个标准卷积层，另一支经过1个标准卷积层，最后将两支进行特征融合操作后经过1个标准卷积层，其中，每个Bottleneck模块的最后添加卷积注意力模块CBAM。

优选地，所述卷积注意力模块CBAM通道注意力模块CAM和空间注意力模块SAM，所述通道注意力模块CAM对输入的特征F∈R^C×H×W分别采用基于宽和高的最大池化操作和全局平均池化于在空间维度上进行压缩，得到两个特征图

与

R^C×H×W为输入特征图，两个特征图共享一个两层的神经网络MLP，第一层神经元的个数为C/r，r为减少率，激活函数是ReLU，第二层的神经元个数是C，对MLP输出的两个特征图使用基于元素的加和操作，再经过Sigmoid激活函数进行归一化处理，得到最终的通道注意力特征图M_c∈R^{C ×1×1}；

空间注意力模块SAM将通道注意力模块CAM的输出特征图作为输入，对输入的特征图分别进行基于通道的全局最大池化和全局平均池化，得到两个特征图

与

将两个特征图串联，基于通道做拼接操作，再经过一个7×7卷积操作生成空间注意力特征M_s∈R^1×H×W。

优选地，所述目标YOLOv5算法模型的损失函数由分类损失、定位损失和目标置信度损失组成。

优选地，所述目标YOLOv5算法模型采用CIOU Loss作为目标框回归的损失函数，具体为：

其中，

d₁表示预测框与目标框两个中心点的欧式距离，d₂表示最小外接矩形的对角线距离。

和

分别表示目标框和预测框各自的宽高比，

优选地，使用二元交叉熵损失函数来计算分类损失和目标置信度损失，具体为：

式中，K表示网络最后输出的特征图划分为K×K个格子，M表示每个格子对应的锚框的个数，

表示有目标的锚框，

表示没有目标的锚框，λ_{no_obj}表示没有目标锚框的置信度损失权重系数，C_i和

分别代表第i个网格存在物体的预测和真实置信度。p_i(c)和

分别表示物体属于类别c的预测和真实概率。

本发明与现有技术相比，其显著优点为：

本发明引入的注意力机制作用在特征图之上，通过获取特征图中的可用注意力信息，能够达到更好的任务效果；

本发明采用CIOU Loss作为目标框回归的损失函数，由于CIOU Loss从重叠面积、中心点距离和长宽比三个角度进行衡量，故预测框回归的效果更佳。

本发明在YOLOv5网络中添加了CBAM模块，由于CBAM模型在通道注意力模块中加入了全局最大池化操作，它能在一定程度上弥补全局平均池化所丢失的信息。其次，生成的二维空间注意力图使用卷积核大小为7的卷积层进行编码，较大的卷积核对于保留重要的空间区域有良好的帮助。使YOLOv5网络不仅能更为准确地对目标进行分类识别，而且能更为精准地定位目标所在的位置。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分的从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。

图1为本发明实施例提供的一种基于YOLOv5网络的头盔检测方法流程图。

图2为本发明实施例提供的一种YOLOv5网络结构图。

图3为本发明实施例提供的一种CBAM网络结构图。

图4为本发明实施例提供的一种CAM结构图。

图5为本发明实施例提供的一种SAM结构图。

图6为数据集部分图片。

图7为图像增强后数据集可视化分析图。

图8为Focus切片操作示意图。

图9为Conv模块结构示意图。

图10为C3-n模块结构示意图。

图11为Focus模块结构示意图。

图12为SPP模块结构示意图。

图13为主干网络中Bottleneck模块结构示意图。

图14为Head模块中Bottleneck模块结构示意图。

具体实施方式

容易理解，依据本发明的技术方案，在不变更本发明的实质精神的情况下，本领域的一般技术人员可以想象出本发明的多种实施方式。因此，以下具体实施方式和附图仅是对本发明的技术方案的示例性说明，而不应当视为本发明的全部或者视为对本发明技术方案的限制或限定。相反，提供这些实施例的目的是为了使本领域的技术人员更透彻地理解本发明。下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的创新构思。

如图1所示，本发明构思为，一种基于YOLOv5网络的头盔检测方法，包括：

采用Mosaic-8图像增强算法对原始图片进行预处理，然后划分为训练数据集与测试数据集。将图片送入到引入了注意力机制CBAM(Convolutional Block AttentionModule Network)的YOLOv5网络中进行迭代训练，从而有效增强人脸和口罩等关键点信息的提取，通过反复迭代训练获得最优权重模型，完成训练后，将最优权重模型保存并在测试集上测试。

作为一种实施例，通过网络爬取与自行拍摄相结合制作原始图片数据集，其中80％图片来源于网络，20％来源于实际拍摄。实际拍摄主要获取的是在昏暗条件下的头盔佩戴图片，本实施例主要在晚上和清晨等可见度低的条件下进行图片拍摄。

对原始图片数据集使用图像增强算法进行预处理并划分数据集。如图6所示，本实施例中，对数据集中的10000张图片进行标签标注，标签分为两种，分别是yes和no，其中no表示电动车骑行者未佩戴头盔，yes表示佩戴头盔。数据集采用YOLO格式，图片标注使用的是LabelImg，标注后的文件以.txt作为后缀，文件名称和图片名称一致。

为了解决数据集存在轻微类间不平衡的问题，使用图像增强算法对标签为yes的样本图片进行图像平移、翻转、旋转、缩放，分离三个颜色通道并添加随机噪声，从而有效缓解类间不平衡的问题，如图7所示。

作为一种实施例，如图2所示，将预处理后的数据输入至目标YOLOv5算法模型，由1个Focus模块及4个Conv模块实现32倍下采样。所示Focus模块将输入数据进行切片操作，在一张图片中每隔一个像素取一个值，类似于邻近下采样，切分为4份数据，每份数据相当于2倍下采样得到的。将采样后的数据在通道维度上进行拼接，通过Conv模块进行卷积操作。每次卷积操作后的图像信息都会进入一个C3-n模块，C3-n模块参照CSPNet(CrossStage Partial Network)结构将一个阶段中基础层的特征图分成两部分，拆分和合并策略被跨阶段使用，将梯度的变化从头到尾地集成到特征图中。最后一个C3-n模块输出的信息传入至Head模块。Head模块通过将高层的特征信息使用上采样的方式与低层特征信息进行传递融合，实现自顶向下的信息流动。再通过步长为2的卷积进行处理，将底层特征与高层特征进行拼接操作，使底层的特征信息传到上层去，从而实现了PANet操作，如图8～14所示。

进一步的实施例中，目标YOLOv5算法模型中的所有C3-n模块均添加了卷积注意力模块CBAM，如图3所示。具体为：

C3-n模块包含三个标准卷积层(Conv模块)以及n个Bottleneck模块，C3-n模块用于对残差特征进行学习，其结构分为两支，一支指定n个Bottleneck模块和1个标准卷积层，另一支仅经过1个标准卷积层，最后将两支进行特征融合操作后经过1个标准卷积层。

在每个Bottleneck模块的最后添加卷积注意力模块CBAM，这意味着每一个C3-n都会进行一次注意力机制计算，对特征图片中的目标进行不同维度的注意力加权权重，提升算法对特征图中目标主要特征的提取。以此来提高目标监测算法的准确性。

具体地，如图4、5所示，所述卷积注意力模块CBAM包含两个子模块，分别是通道注意力模块CAM和空间注意力模块SAM。

通道注意力模块CAM用于汇总通道注意力信息，通道注意力模块CAM为给定的任意中间特征F∈R^C×H×W使用基于宽和高的最大池化操作(global max pooling)和全局平均池化(global average pooling)对特征映射在空间维度上进行压缩，得到

与

两个特征图，这两个特征图共享一个两层的神经网络MLP，第一层神经元的个数为C/r(r为减少率)，激活函数是ReLU，第二层的神经元个数是C，然后对MLP 输出的两个特征图使用基于元素的加和操作，再经过Sigmoid激活函数进行归一化处理，得到最终的通道注意力特征图M_c∈R^C×1×1。

空间注意力模块SAM用于汇总空间注意力信息，空间注意力模块SAM主要关注于目标在图像上的位置信息，空间注意力模块SAM将通道注意力模块CAM的输出特征图作为输入，对输入的特征图分别进行基于通道的全局最大池化和全局平均池化，分别得

与

两个特征图，然后将这两个特征图串联，基于通道做拼接操作，再经过一个7×7卷积操作生成空间注意力特征M_s∈R^1×H×W。

所述目标YOLOv5算法模型损失(Loss)函数由分类损失(Classification Loss)、定位损失(Localization Loss)和目标置信度损失(Confidence Loss)组成。本发明采用二元交叉熵损失函数来计算分类损失和目标置信度损失。为了减少误差，通过CIOU计算出定位损失，通过调节参数，使用梯度进行方向传播使该损失函数变小。从而最终得出优化模型，减少整体误差。

进一步地，在网络结构中采用CIOU Loss作为定位损失函数，具体为：

其中，

d₁表示预测框与目标框两个中心点的欧式距离，d₂表示最小外接矩形的对角线距离。

和

分别表示目标框和预测框各自的宽高比，IoU是目标检测中常用的性能评估指标之一，根据目标框和预测框的重叠程度来判断预测框的准确程度，即

进一步地，使用二元交叉熵损失函数来计算分类损失和目标置信度损失，具体为：

式中，K表示网络最后输出的特征图划分为K×K个格子，M表示每个格子对应的锚框的个数。

表示有目标的锚框，

表示没有目标的锚框。λ_{no_obj}表示没有目标锚框的置信度损失权重系数。C_i和

分别代表第i个网格存在物体的预测和真实置信度。p_i(c)和

分别表示物体属于类别c的预测和真实概率。

在训练最优权重模型的过程中，需要重复网络的训练过程，并不断修正头盔检测网络的参数，直至头盔检测网络学会找出图像中的电动车骑行者并能够正确的判断检测出来的电动车骑行者是否佩戴头盔。保存训练得到的参数，即完成训练后，将最优权重模型保存并在测试集上测试。

在网络模型训练阶段，迭代批量大小设置为32，总迭代次数为600次。初始学习率设置为0.001，采用小批量梯度下降法，并使用Adam优化器计算每个参数的自适应学习率。

实施例1

本实施例提供了一种基于YOLOv5网络的头盔检测方法，包括：

步骤一，将通过网络爬取与自行拍摄结合制作的共包含9000张图片的数据集进行分类，规范数据集格式，手工标注等预处理。

步骤二，将预处理后的图片输入到引入了注意力机制的YOLOv5网络中进行迭代训练，通过反复迭代训练获得最优权重模型；

步骤三，将待检测图片进行预处理后输入最优权重模型进行头盔检测。

本实施例中，通过网络爬取与自行拍摄相结合采集数据集，其中图片80％来源于网络，20％来源于实际拍摄，实际拍摄主要获取的是在昏暗条件下的头盔佩戴图片，实验过程中从主要在晚上和清晨等可见度低的条件下进行图片拍摄。实验参数如表所示：

本实施例中，通过优化损失函数来改进训练效果。

具体地，在对YOLOv5算法模型解释之前，首先对其结构采用的损失函数进行说明。在本发明中，采用二元交叉熵损失函数来计算分类损失和目标置信损失。本发明使用的损失函数如下：

需要说明的是，损失函数公式中K表示网络最后输出的特征图划分为K×K个格子，M表示每个格子对应的锚框的个数，

表示有目标的锚框，

表示没有目标的锚框，λ_{no_obj}表示没有目标锚框的置信度损失权重系数。C_i和

分别代表第i个网格存在物体的预测和真实置信度。p_i(c)和

分别表示物体属于类别c的预测和真实概率。

进一步地，本发明采用CIOU Loss作为目标框回归的损失函数，CIOU Loss如下：

其中，

d₁表示预测框与目标框两个中心点的欧式距离，d₂表示最小外接矩形的对角线距离。

和

分别表示目标框和预测框各自的宽高比。

本发明在原始YOLOv5的网络基础上，引入卷积注意力模块CBAM。需要说明的是，CBAM包含两个子模块，通道注意力模块CAM和空间注意力模块SAM。CAM汇总通道注意力信息，CAM为给定的任意中间特征F∈R^C×H×W使用基于宽和高的最大池化操作(global maxpooling)和全局平均池化(global average pooling)对特征映射在空间维度上进行压缩，得到

与

两个特征图，这两个特征图共享一个两层的神经网络MLP，第一层神经元的个数为C/r(r为减少率)，激活函数是ReLU，第二层的神经元个数是C，然后对MLP输出的两个特征图使用基于元素的加和操作，再经过 Sigmoid激活函数进行归一化处理，得到最终的通道注意力特征图M_c∈R^C×1×1。

SAM汇总空间注意力信息，SAM主要关注于目标在图像上的位置信息，它将CAM 的输出特征图作为本模块的输出特征图。它首先做一个基于通道的全局最大池化和全局平均池化，分别得

与

两个特征图，然后将这两个特征图串联，基于通道做拼接操作，再经过一个7×7卷积操作生成空间注意力特征M_s∈R^1×H×W。

本实施例中，迭代批量大小设置为32，总迭代次数为600次，初始学习率设置为0.001，采用小批量梯度下降法，使用Adam优化器更新网络参数。

本实施例中，模型评估指标主要使用平均精度均值(mAP)、召回率(Recall)、准确率 (Precision)。需要说明的是，平均精度均值(mAP)，即所有类别的平均精度求和除以数据集中所有类的平均精度，如以下公式所示，其中AP的值为P-R曲线的面积。

召回率，即样本中的正确类别被模型预测正确的概率，如以下所示，其中TP表示将正类别预测为正类别的个数，FN表示将正类别预测为负类别的个数。

准确率，即预测数据集中预测正确的正样本个数除以实际的正样本个数，如以下公式所示，其中FP表示将负类别预测为正类别的个数。

在某一实施案例中，模型训练完成后，保存训练得到的参数，将最优权重模型保存并在测试集上测试。本发明利用Mosaic-8图像增强算法对图片进行预处理，将通道注意力和空间注意力结合，充分挖掘电动车、头盔等关键特征点，综合考虑了实际检测中光线的明暗程度对检测精度的影响。通过注意力机制能更加准确地提取头盔关键点特征，使得原始YOLOv5网络获得更强的特征表达能力，从而提高检测准确率。

本发明在图像增强和注意力机制的加持下，经过改进的YOLOv5模型实现了头盔佩戴的高效检测，对是否正确佩戴头盔做出了正确的判断。在可见度不高、光照强度不大的昏暗条件下，引入注意力机制能更加准确地提取电动车头盔关键点特征，提高了检测的准确率和头盔检测效率。本发明对YOLOv5网络的损失函数进行相应的改进，具有较强的鲁棒性和可扩展性，基本能够达到视频图像实时性的要求。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，

任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

应当理解，为了精简本发明并帮助本领域的技术人员理解本发明的各个方面，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时在单个实施例中进行描述，或者参照单个图进行描述。但是，不应将本发明解释成示例性实施例中包括的特征均为本专利权利要求的必要技术特征。

应当理解，可以对本发明的一个实施例的设备中包括的模块、单元、组件等进行自适应性地改变以把它们设置在与该实施例不同的设备中。可以把实施例的设备包括的不同模块、单元或组件组合成一个模块、单元或组件，也可以把它们分成多个子模块、子单元或子组件。

Claims (9)

1.一种基于YOLOv5网络的头盔检测方法，其特征在于，包括：

采用Mosaic-8图像增强算法对原始图片进行预处理；

将预处理后的图片输入到引入了注意力机制的YOLOv5网络中进行迭代训练，通过反复迭代训练获得最优权重模型；

将待检测图片进行预处理后输入最优权重模型进行头盔检测。

2.根据权利要求1所述的基于YOLOv5网络的头盔检测方法，其特征在于，通过网络爬取与自行拍摄相结合制作原始图片数据集，其中80％图片来源于网络，20％来源于实际拍摄。

3.根据权利要求1所述的基于YOLOv5网络的头盔检测方法，其特征在于，对原始图片进行标签标注，标签分为两种，分别是yes和no，其中no表示电动车骑行者未佩戴头盔，yes表示佩戴头盔，使用图像增强算法对标签为yes的图片进行图像平移、翻转、旋转、缩放，分离三个颜色通道并添加随机噪声。

4.根据权利要求1所述的基于YOLOv5网络的头盔检测方法，其特征在于，目标YOLOv5算法模型中的所有C3-n模块均添加了卷积注意力模块CBAM。

5.根据权利要求4所述的基于YOLOv5网络的头盔检测方法，其特征在于，所述C3-n模块包含三个标准卷积层以及n个Bottleneck模块，C3-n模块用于对残差特征进行学习，其结构分为两支，一支指定n个Bottleneck模块和1个标准卷积层，另一支经过1个标准卷积层，最后将两支进行特征融合操作后经过1个标准卷积层，其中，每个Bottleneck模块的最后添加卷积注意力模块CBAM。

6.根据权利要求4或5所述的基于YOLOv5网络的头盔检测方法，其特征在于，所述卷积注意力模块CBAM通道注意力模块CAM和空间注意力模块SAM，所述通道注意力模块CAM对输入的特征F∈R^C×H×W分别采用基于宽和高的最大池化操作和全局平均池化于在空间维度上进行压缩，得到两个特征图

与

R^C×H×W为输入特征图，两个特征图共享一个两层的神经网络MLP，第一层神经元的个数为C/r，r为减少率，激活函数是ReLU，第二层的神经元个数是C，对MLP输出的两个特征图使用基于元素的加和操作，再经过Sigmoid激活函数进行归一化处理，得到最终的通道注意力特征图M_c∈R^C×1×1；

空间注意力模块SAM将通道注意力模块CAM的输出特征图作为输入，对输入的特征图分别进行基于通道的全局最大池化和全局平均池化，得到两个特征图

与

将两个特征图串联，基于通道做拼接操作，再经过一个7×7卷积操作生成空间注意力特征M_s∈R^1×H×W。

7.根据权利要求1所述的基于YOLOv5网络的头盔检测方法，其特征在于，所述目标YOLOv5算法模型的损失函数由分类损失、定位损失和目标置信度损失组成。

8.根据权利要求7所述的基于YOLOv5网络的头盔检测方法，其特征在于，所述目标YOLOv5算法模型采用CIOU Loss作为目标框回归的损失函数，具体为：

其中，

d₁表示预测框与目标框两个中心点的欧式距离，d₂表示最小外接矩形的对角线距离。

和

分别表示目标框和预测框各自的宽高比，

9.根据权利要求7所述的基于YOLOv5网络的头盔检测方法，其特征在于，使用二元交叉熵损失函数来计算分类损失和目标置信度损失，具体为：

式中，K表示网络最后输出的特征图划分为K×K个格子，M表示每个格子对应的锚框的个数，

表示有目标的锚框，

表示没有目标的锚框，λ_{no_obj}表示没有目标锚框的置信度损失权重系数，C_i和

分别代表第i个网格存在物体的预测置信度和真实置信度，p_i(c)和

分别表示物体属于类别c的预测概和真实概率。

Images