CN114120366B - 一种基于生成对抗网络和yolov5的非机动车头盔检测方法 - Google Patents

Abstract

本发明公开了一种基于生成对抗网络和yolov5的非机动车头盔检测方法，包括采用清晰度高的仪器设备采集到非机动车在行驶时，驾驶者佩戴头盔和未佩戴头盔的图片；将采集到的图片对头盔部分打上标签，并用上述相同图片且未做标签的图片一起作为数据集；在StyleGAN网络上引入注意力机制，对未做标签的数据集进行映射,生成特征明显的生成对抗网络数据集；在yolov5网络结构的batch normal层旁边增加一条辅助batch normal层，将做好标签的原图片输入到改进后的yolov5网络结构中，训练得到最优的网络模型参数；运用迁移学习训练获得精度较高的权重文件，从而得到头盔佩戴检测模型，能实现在人流密集的路口进行既快速又准确的检测。

Description

一种基于生成对抗网络和yolov5的非机动车头盔检测方法

技术领域

本发明涉及计算机图像生成、数据处理、目标检测领域，特别涉及一种基于生成对抗网络和yolov5的非机动车头盔检测方法。

背景技术

目前，中国正在大力建设文明城市，而非机动车佩戴头盔既能提供安全保障，又能体现城市文明的基础。

非机动车佩戴头盔的识别目的在于从监控视频或抓拍的图片中找出与待匹配帧及图片具有与标签相同的特征，在计算机视觉目标检测领域，利用深度神经网络经过良好的训练能够检测出不同目标物体，然而，目前现有的神经网络模型检测的类别是很多，但是准确率并不是特别的高，检测速度也不够快。那么数据的增强以及特征的高精确度匹配就是检测非机动车者是否佩戴头盔的关键。由于佩戴头盔的特性，数据不能同一般图片通过旋转、对称等方式做数据集的扩增，样本不均衡和总体样本较少会导致检测网络训练模型的性能不佳。

本发明的方案便是针对上述问题对现有非机动车佩戴头盔检测方法进行的改进。

发明内容

为了克服现有技术中的不足，本发明提供一种基于生成对抗网络和yolov5的非机动车头盔检测方法，可以有效地提升对非机动车在任何状态下是否佩戴头盔的检测，在现有的目标检测方法基础上进一步提高检测的速度与精确度，同时也能够为后续的物体检测提供一种新的思路。

为了达到上述发明目的，解决其技术问题所采用的技术方案如下：

一种基于生成对抗网络和yolov5的非机动车头盔检测方法，包括以下步骤：

步骤1：采用清晰度高的仪器设备采集到非机动车在行驶时，驾驶者佩戴头盔和未佩戴头盔的图片；

步骤2：将采集到的图片对头盔部分打上标签，并用上述相同图片且未做标签的图片一起作为数据集；

步骤3：在StyleGAN网络上引入注意力机制，对未做标签的数据集进行映射,从而生成特征明显的生成对抗网络数据集；

步骤4：在yolov5网络结构的batch normal层旁边增加一条辅助batch normal层，将做好标签的原图片，输入到改进后的yolov5网络结构中，训练得到最优的网络模型参数；

步骤5：运用迁移学习训练获得精度较高的权重文件，从而得到头盔佩戴检测模型，能实现在人流密集的路口进行既快速又准确的检测。

进一步的，步骤1具体包括以下步骤：

利用高清单反摄像机在不同的十字路口且分别距离拍摄目标2米到5米的范围内拍摄，为保持数据集的多样性，可在车流量较多的场景进行拍摄，拍摄出的图片格式大小为1920*1080。

进一步的，步骤2具体包括以下步骤：

将拍摄到的所有图片准备两份，一份用LabelImg对头盔部分进行打标签处理，没有头盔的图片不做任何处理；另一份不做任何标签；在处理图片数据时要做到每个图片上的目标都不能遗漏，并且也要按照由近及远的方法标注。

进一步的，步骤3具体包括以下步骤：

步骤31：在StyleGAN网络上引入注意力机制，其前端是由三个普通的1*1卷积核构成，它们的组成是完全一致的，只不过权重不一样，则可设三个权重矩阵分别为f(x)，g(x)和h(x)，W_f、W_g、W_h分别是f(x)、g(x)、h(x)的权重矩阵，具体公式如下所示：

f(x)＝W_fx (0.11)

g(x)＝W_gx (0.12)

h(x)＝W_hx (0.13)

步骤32：当输入的图片经过权重不一样1*1的卷积核后，对经过f(x)的特征矩阵进行转置，接下来再与通过g(x)的输出相乘，之后将相乘得到的矩阵再经过softmax函数进行归一化操作，得到一个注意力矩阵图，当在合成第n个区域时模型对第m个位置有影响，则用如下公式表示影响程度：

式1.4中，N表示图片一共有多少个像素点，具体含义是图片的宽度与高度的乘积，S_mn表示为经过f(x)的特征矩阵进行转置后与通过g(x)的输出矩阵相乘，具体公式如下：

s_mn＝f(x)^T·g(x_m) (0.15)

步骤33：将得到的注意力矩阵图和经过h(x)卷积后的矩阵逐个相乘，最后再经过1*1的卷积核υ(x)操作即可得到注意力机制下的特征图，即：

式1.6中，h(x_m)表示初始图片经过h(x)卷积后的特征矩阵图；

步骤34：在引入注意力机制的StyleGAN中，网络在提取特征图时可能会存在先提取近处的物体，也可能会毫无次序的提取特征，因此在训练的时候要让网络模型知道该从哪里开始提取特征，最终的特征提取图的输出如下公式：

y_m＝λo_m+x_m (0.17)

式1.7中，λ为学习参数，这里的λ参数初始化为0；

步骤35：将未带标签的图片输入到引入注意力机制的StyleGAN中，进行特征提取，经过多轮训练得到特征明显的图片。

进一步的，步骤4具体包括以下步骤：

步骤41：将做好标签的图片输入到原yolov5-s网络模型中，用原先的BN层训练并计算能使损失函数最小化时的网络模型参数，公式如下：

式1.8中，L^α表示用原BN层训练的损失函数，x^α表示输入到网络结构中训练的一小批数据，θ表示待训练的网络参数，y表示真实的标签；

步骤42：在yolov5-s网络结构的原BN层旁边添加一条辅助BN层，通过利用辅助BN层的正则化能力来提高网络在原始图像上的检测性能，则用改进后的网络结构训练并求得能使损失函数最小化时的网络模型参数，公式如下：

式1.9中，L^β表示用辅助BN层训练的损失函数，x^β表示输入到改进后的网络结构中训练的一小批数据，θ表示待训练的网络参数，y表示真实的标签；

步骤43：联合式1.8与式1.9两个公式可得最优化的网络模型，此时待求的网络模型参数如下所示：

进一步的，步骤5具体包括以下步骤：

步骤51：将做好标签的图片作为训练集，将生成对抗出的图片作为验证集；

步骤52：运用迁移学习训练获得精度较高的权重文件，从而得到头盔佩戴检测模型，能实现在人流密集的路口进行既快速又准确的检测。

本发明由于采用以上技术方案，使之与现有技术相比，具有以下的优点和积极效果：

本发明一种基于生成对抗网络和yolov5的非机动车头盔检测方法，有效解决了当前技术中数据集特征不明显、检测精度不高与速度较慢的问题。在真实的场景之中，将所有抓拍到的非机动车行驶状态下的图片进行人工标记是很消耗时间与精力的，并且相较于已经打好标签的图片来说，未作标签的图像数量更加庞大。当然由于不同街道以及路口的摄像机拍到的物体不一样，所以就需要一个能够注重想要提取特征的结构模型。本发明中将未做标签的图像通过增加了注意力机制的网络模型生成新的图片，来增强数据集，这样大大减少了人工标注数据的时间，并且准确率有显著地提高。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图中：

图1是本发明一种基于生成对抗网络和yolov5的非机动车头盔检测方法的总体流程示意图；

图2是本发明一种基于生成对抗网络和yolov5的非机动车头盔检测方法的注意力机制模块流程示意图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例公开了一种基于生成对抗网络和yolov5的非机动车头盔检测方法，整体流程如附图1所示，包括以下步骤：

步骤1：采用清晰度高的仪器设备采集到非机动车在行驶时，驾驶者佩戴头盔和未佩戴头盔的图片；

进一步的，步骤1具体包括以下步骤：

利用高清单反摄像机在不同的十字路口且分别距离拍摄目标2米到5米的范围内拍摄，为保持数据集的多样性，可在车流量较多的场景进行拍摄，拍摄出的图片格式大小为1920*1080。

步骤2：将采集到的图片对头盔部分打上标签，并用上述相同图片且未做标签的图片一起作为数据集；

进一步的，步骤2具体包括以下步骤：

将拍摄到的所有图片准备两份，一份用LabelImg对头盔部分进行打标签处理，没有头盔的图片不做任何处理；另一份不做任何标签；在处理图片数据时要做到每个图片上的目标都不能遗漏，并且也要按照由近及远的方法标注。

步骤3：在StyleGAN网络上引入注意力机制，对未做标签的数据集进行映射,从而生成特征明显的生成对抗网络数据集；

图2中，所引入的注意力机制主要包括以下步骤：

步骤31：在StyleGAN网络上引入注意力机制，其前端是由三个普通的1*1卷积核构成，它们的组成是完全一致的，只不过权重不一样，则可设三个权重矩阵分别为f(x)，g(x)和h(x)，W_f、W_g、W_h分别是f(x)、g(x)、h(x)的权重矩阵，具体公式如下所示：

f(x)＝W_fx (0.21)

g(x)＝W_gx (0.22)

h(x)＝W_hx (0.23)

步骤32：当输入的图片经过权重不一样1*1的卷积核后，对经过f(x)的特征矩阵进行转置，接下来再与通过g(x)的输出相乘，之后将相乘得到的矩阵再经过softmax函数进行归一化操作，得到一个注意力矩阵图，当在合成第n个区域时模型对第m个位置有影响，则用如下公式表示影响程度：

式1.4中，N表示图片一共有多少个像素点，具体含义是图片的宽度与高度的乘积，S_mn表示为经过f(x)的特征矩阵进行转置后与通过g(x)的输出矩阵相乘，具体公式如下：

s_mn＝f(x)^T·g(x_m) (0.25)

步骤33：将得到的注意力矩阵图和经过h(x)卷积后的矩阵逐个相乘，最后再经过1*1的卷积核υ(x)操作即可得到注意力机制下的特征图，即：

式1.6中，h(x_m)表示初始图片经过h(x)卷积后的特征矩阵图；

步骤34：在引入注意力机制的StyleGAN中，网络在提取特征图时可能会存在先提取近处的物体，也可能会毫无次序的提取特征，因此在训练的时候要让网络模型知道该从哪里开始提取特征，最终的特征提取图的输出如下公式：

y_m＝λo_m+x_m (0.27)

式1.7中，λ为学习参数，由于我们希望改进的网络模型先学习简单的任务，然后逐步增加难度，也就是说，先从图片上大的物体，显而易见的物体来提取特征，然后再增加复杂度，所以这里的λ参数初始化为0；

步骤35：将未带标签的图片输入到引入注意力机制的StyleGAN中，进行特征提取，经过多轮训练得到特征明显的图片。

步骤4：在yolov5网络结构的batch normal层旁边增加一条辅助batch normal层，将做好标签的原图片，输入到改进后的yolov5网络结构中，训练得到最优的网络模型参数；

所述获得最优化网络模型参数可分为以下步骤：

步骤41：将做好标签的图片输入到原yolov5-s网络模型中，用原先的BN层训练并计算能使损失函数最小化时的网络模型参数，公式如下：

式1.8中，L^α表示用原BN层训练的损失函数，x^α表示输入到网络结构中训练的一小批数据，θ表示待训练的网络参数，y表示真实的标签；

步骤42：在yolov5-s网络结构的原BN层旁边添加一条辅助BN层，主要目的是通过利用辅助BN层的正则化能力来提高网络在原始图像上的检测性能，则用改进后的网络结构训练并求得能使损失函数最小化时的网络模型参数，公式如下：

式1.9中，L^β表示用辅助BN层训练的损失函数，x^β表示输入到改进后的网络结构中训练的一小批数据，θ表示待训练的网络参数，y表示真实的标签；

步骤43：联合式1.8与式1.9两个公式可得最优化的网络模型，此时待求的网络模型参数如下所示：

步骤5：运用迁移学习训练获得精度较高的权重文件，从而得到头盔佩戴检测模型，能实现在人流密集的路口进行既快速又准确的检测。

进一步的，步骤5具体包括以下步骤：

步骤51：将做好标签的图片作为训练集，将生成对抗出的图片作为验证集；

步骤52：运用迁移学习训练获得精度较高的权重文件，从而得到头盔佩戴检测模型，能实现在人流密集的路口进行既快速又准确的检测。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (4)

1.一种基于生成对抗网络和yolov5的非机动车头盔检测方法，其特征在于，包括以下步骤：

步骤1：采用清晰度高的仪器设备采集到非机动车在行驶时，驾驶者佩戴头盔和未佩戴头盔的图片；

步骤2：将采集到的图片对头盔部分打上标签，并用上述相同图片且未做标签的图片一起作为数据集；

步骤3：在StyleGAN网络上引入注意力机制，对未做标签的数据集进行映射,从而生成特征明显的生成对抗网络数据集；

步骤3具体包括以下步骤：

步骤31：在StyleGAN网络上引入注意力机制，其前端是由三个普通的1*1卷积核构成，它们的组成是完全一致的，只不过权重不一样，则可设三个权重矩阵分别为f(x)，g(x)和h(x)，W_f、W_g、W_h分别是f(x)、g(x)、h(x)的权重矩阵，具体公式如下所示：

f(x)＝W_fx (1.1)

g(x)＝W_gx (1.2)

h(x)＝W_hx (1.3)

步骤32：当输入的图片经过权重不一样1*1的卷积核后，对经过f(x)的特征矩阵进行转置，接下来再与通过g(x)的输出相乘，之后将相乘得到的矩阵再经过softmax函数进行归一化操作，得到一个注意力矩阵图，当在合成第n个区域时模型对第m个位置有影响，则用如下公式表示影响程度：

式1.4中，N表示图片一共有多少个像素点，具体含义是图片的宽度与高度的乘积，S_mn表示为经过f(x)的特征矩阵进行转置后与通过g(x)的输出矩阵相乘，具体公式如下：

s_mn＝f(x)^T·g(x_m) (1.5)

步骤33：将得到的注意力矩阵图和经过h(x)卷积后的矩阵逐个相乘，最后再经过1*1的卷积核υ(x)操作即可得到注意力机制下的特征图，即：

式1.6中，h(x_m)表示初始图片经过h(x)卷积后的特征矩阵图；

步骤34：在引入注意力机制的StyleGAN中，最终的特征提取图的输出如下公式：

y_m＝λo_m+x_m (1.7)

式1.7中，λ为学习参数，这里的λ参数初始化为0；

步骤35：将未带标签的图片输入到引入注意力机制的StyleGAN中，进行特征提取，经过多轮训练得到特征明显的图片；

步骤4：在yolov5网络结构的batch normal层旁边增加一条辅助batch normal层，将做好标签的原图片，输入到改进后的yolov5网络结构中，训练得到最优的网络模型参数；

步骤4具体包括以下步骤：

步骤41：将做好标签的图片输入到原yolov5-s网络模型中，用原先的BN层训练并计算能使损失函数最小化时的网络模型参数，公式如下：

式1.8中，L^α表示用原BN层训练的损失函数，x^α表示输入到网络结构中训练的一小批数据，θ表示待训练的网络参数，y表示真实的标签；

步骤42：在yolov5-s网络结构的原BN层旁边添加一条辅助BN层，通过利用辅助BN层的正则化能力来提高网络在原始图像上的检测性能，则用改进后的网络结构训练并求得能使损失函数最小化时的网络模型参数，公式如下：

式1.9中，L^β表示用辅助BN层训练的损失函数，x^β表示输入到改进后的网络结构中训练的一小批数据，θ表示待训练的网络参数，y表示真实的标签；

步骤43：联合式1.8与式1.9两个公式可得最优化的网络模型，此时待求的网络模型参数如下所示：

步骤5：运用迁移学习训练获得精度较高的权重文件，从而得到头盔佩戴检测模型，能实现在人流密集的路口进行既快速又准确的检测。

2.根据权利要求1所述的一种基于生成对抗网络和yolov5的非机动车头盔检测方法，其特征在于，步骤1具体包括以下步骤：

利用高清单反摄像机在不同的十字路口且分别距离拍摄目标2米到5米的范围内拍摄，为保持数据集的多样性，可在车流量较多的场景进行拍摄，拍摄出的图片格式大小为1920*1080。

3.根据权利要求1所述的一种基于生成对抗网络和yolov5的非机动车头盔检测方法，其特征在于，步骤2具体包括以下步骤：

将拍摄到的所有图片准备两份，一份用LabelImg对头盔部分进行打标签处理，没有头盔的图片不做任何处理；另一份不做任何标签；在处理图片数据时要做到每个图片上的目标都不能遗漏，并且也要按照由近及远的方法标注。

4.根据权利要求1所述的一种基于生成对抗网络和yolov5的非机动车头盔检测方法，其特征在于，步骤5具体包括以下步骤：

步骤51：将做好标签的图片作为训练集，将生成对抗出的图片作为验证集；

步骤52：运用迁移学习训练获得精度较高的权重文件，从而得到头盔佩戴检测模型，能实现在人流密集的路口进行既快速又准确的检测。