CN113516076B - 一种基于注意力机制改进的轻量化YOLO v4安全防护检测方法 - Google Patents

Abstract

本发明公开了一种基于注意力机制改进的轻量化YOLO v4安全防护检测方法，其内容包括：搜集图像建立数据集，采用YOLO v4网络作为基础模型，将注意力机制融入到YOLO v4模型中，得到改进的YOLO v4安全防护检测模型；利用数据集对改进的YOLO v4安全防护检测模型进行训练得到改进后的YOLO v4目标检测模型；在改进的YOLO v4安全防护检测模型中输入待检测图像，采用改进后的YOLO v4目标检测模型输出对应的目标检测结果，分别定位行人的检测框、安全帽的检测框以及安全反光衣的检测框，并分别计算三个目标的CIoU，得到最终目标检测框；对施工场景安全设备目标进行检测和识别，并根据目标行人、安全帽和安全反光衣检测框的重合情况，判断图像中是否存在不规范穿戴安全设备的行为。

Description

一种基于注意力机制改进的轻量化YOLO v4安全防护检测 方法

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于注意力机制改进的轻量化YOLO v4安全防护检测方法，应用于各类施工现场用于实时安全帽佩戴检测和安全防护检测。

背景技术

近年来，我国的视频监控技术已经取得了长足的发展。全天候监控摄像头已基本遍布在城市的各个角落，极大地保障了人民的生命财产安全。考虑到人工监察的不足，现有学者提出结合计算机视觉技术，并将其应用于工地场景中，逐步代替人工筛查和监控，使其能够较大程度地提高安防监测的效率。

结合深度学习中的目标检测的方法，基于全天候监控的视频监控技术已经广泛应用于智能视频监控跟踪、人流量和车流量管控、公共区域安全维护等领域中，但是在安全防护装备检测中的应用却较少。针对施工现场这一特定场景中需要实时监控管理的需求特点，构建基于深度学习且适用于工地场景的安全设备穿戴检测模型，可以有效解决施工场景中由于场景复杂以及环境多变所导致的监控成效效果差的问题，并能够对施工人员安全帽佩戴情况和安全反光衣穿戴情况进行实时检测分析，并将分析结果进行统计汇总，上报给相应监管人员。因此，研究开发对实现工地智能化和安全化的自动实时监控，保障施工工地人员的安全具有十分重要的意义。

安全防护设备穿戴检测是通过计算机目标检测算法准确判断施工人员在工作区域时是否按照规范佩戴安全帽、穿着安全反光衣，对存在的潜在危险，比如不规范穿戴安全设备的行为进行提醒，进而有效保证人员的生命安全。该任务本质上属于计算机视觉技术中的目标检测任务，通过相应的算法模型对人体是否穿戴安全防护设备进行检测。

发明内容

本发明的目的在于提供一种基于注意力机制改进的轻量化YOLO v4安全防护检测方法，该方法具有较高的检测速度和精度。

为实现上述目的，本发明所采取的技术方案为：

一种基于注意力机制改进的轻量化YOLO v4安全防护检测方法，其内容包括：

步骤1：搜集图像建立数据集，所述数据集包括进入工地的施工人员图像、安全帽图像和安全反光衣图像；通过收集穿着安全反光衣以及佩戴安全帽的施工人员图像数据，对施工人员、佩戴安全帽以及穿着安全反光衣的施工人员均进行标注，使用开源软件LabelImg对工地场景下施工人员相关信息进行标注，标注包括五类：head、helmet、person、reflective-clothes和other-clothes；

步骤2：采用YOLO v4网络作为基础模型，使用轻量化网络MobileNet作为主干网络提取图像特征，增加注意力机制模块，将注意力机制融入到YOLO v4模型中，得到改进的YOLO v4安全防护检测模型，实现对施工人员、安全帽和安全反光衣的检测；

步骤3：利用所述数据集对所述改进的YOLO v4安全防护检测模型进行训练，将训练后最佳的权重文件加载至改进的YOLO v4安全防护检测模型中得到改进后的YOLO v4目标检测模型；

步骤4：在改进的YOLO v4安全防护检测模型中输入待检测图像，采用所述改进后的YOLO v4目标检测模型输出对应的目标检测结果，所述目标检测结果包括待分类图像中目标区域的位置以及每个目标区域对应的类别，依此鉴别是否穿着安全反光衣以及是否佩戴安全帽；分别定位行人的检测框、安全帽的检测框以及安全反光衣的检测框，并分别计算三个目标的CIoU，得到最终目标检测框；

步骤5：对施工场地安全设备目标进行检测和识别，通过计算目标行人、安全帽和安全反光衣检测框的重合情况，判断图像中是否存在不规范地穿戴安全设备的行为；根据公式(1)计算目标行人、安全帽和安全反光衣的检测框的重合情况，

y＝(B_p＞0 and B_p∩B_c＝0)or(B_p＞0 and B_p∩B_h＝0) (1)

if(y＞0)warning

else no warning

在(1)式中：Bp代表行人的检测框，Bc代表安全反光衣的检测框，Bh代表安全帽的检测框；

根据(1)式中的y值的情况做出判断，当y＞0时，说明施工人员不符合安全规范，没有佩戴安全帽或者未穿着安全反光衣，其与行人检测框的交集值是0，模型发出警告信息；如果施工人员佩戴安全帽并且穿着了安全反光衣，则其与行人检测框的交集值必然大于0，则y值为0，说明施工人员符合安全规范，则模型不发出报警信息。

在本发明中，首先使用轻量化网络提取图像的特征，将最后一层提取的特征结果输入到增加了注意力机制的网络层，强化检测目标对应的权重值，然后经过空间金字塔层，从多尺度特征中提取出固定大小的特征向量。同时，为了防止网络过深所导致的图像特征信息的损失，本发明在计算过程中，还保存主干网络中不同特征提取阶段的卷积计算结果，将不同尺度大小的中间特征结果与最后一层的信息进行拼接，以期望在最大程度上保留图像的信息特征，输出最终的目标检测结果。

在工地建筑场所、矿井施工、电力工程以及地下作业等一些危险系数相对较高的施工现场中，规范地穿戴安全防护装备对于保障工地施工人员的生命安全有着重要的意义。因此，正确佩戴安全帽并且规范穿着安全反光衣已经成为了对施工人员的强制性规定。

据统计，近年来在已发生的生产安全事件中，未正确穿着安全防护装备以及违规作业是导致事故发生的最主要原因之一。因为，施工场地所占面积广，仅凭有限的督查人员是无法对部分安全意识较差以及纪律性弱的施工人员进行全方位的有效实时监管。

本发明的一种基于注意力机制改进的轻量化YOLO v4安全防护检测方法，就是针对施工现场这一特定场景，采用摄像头视频实时监控的模式，构建基于深度学习的且适用于工地场景的安全设备穿戴检测模型，通过对施工人员安全帽佩戴情况和安全反光衣穿戴情况进行实时监控，能够对不规范穿着安全防护装备人员情况进行实时发出警告信息，并能够有效解决施工场景中场景复杂以及环境多变所导致的识别效果差的问题。通过对检测结果进行实时处理，能够实现工地安全监测智能化，有效减少和避免了因未穿着安全防护装备而发生的安全事故，极大地保障了施工人员的生命安全和施工企业的财产损失，对保障施工工地的人身安全具有十分重要的意义。

附图说明

图1是本发明安全检测网络模型结构图；

图中：轻量化主干网络的基本单元用DSP+BR表示，特征聚合后的基本单元用CBL表示。其中，DSP为深度可分离卷积，C(Convolution)为标准的卷积操作，B(BatchNormalization)为批量正则化，R为ReLu激活函数，L为LeakyReLU激活函数。

图2是本发明的流程图。

具体实施方式

下面结合附图对本发明作更进一步的详细说明。

本发明提供的一种基于注意力机制改进的轻量化YOLO v4安全防护检测方法，其流程图如图2所示，该方法包括以下步骤：

步骤1：搜集图像建立数据集，所述数据集包括进入工地的施工人员图像、安全帽图像和安全反光衣图像；通过收集穿着安全反光衣以及佩戴安全帽的施工人员图像数据，对施工人员、佩戴安全帽以及穿着安全反光衣的施工人员均进行标注，使用开源软件LabelImg对工地场景下施工人员相关信息进行标注，标注包括五类：head、helmet、person、reflective-clothes和other-clothes；

通过选取公共数据和自制数据建立数据集信息并对其进行专有标注。目前能够搜索到的公开防护设备数据集基本均为安全帽检测的数据，因此，在安全帽检测的基础上对数据集信息进行了扩充，对所有的数据均增加施工人员样本信息和衣服穿着的标注；通过收集安全反光衣以及安全帽的图像数据，对施工人员、安全帽以及安全反光衣进行标注，增加现有安全帽数据集中的种类，为后续安全设备检测研究提供基础；为了保证数据的准确性和标注框的精确度，使用开源软件LabelImg对工地场景下施工人员的相关信息进行标注，在图像增广方面采用像素增广和标签增广，其中像素增广包括五类：head、helmet、person、reflective-clothes和other-clothes；标签层面的处理主要包括：MixUp、Cutmix和类标签平滑对图像进行增广；在数据格式方面，采取YOLO标准的标注格式，其字段包括：文件名、图像大小、标注名称、标注目标左上角的坐标信息和右下角的坐标信息；待所有图像标注完成之后，按照8:2的训练集与测试集比例对数据集信息进行分割；数据集大小共7572张图片，其中，训练集大小为6056张图片，测试集大小为1516张图片。

步骤2：采用YOLO v4网络作为基础模型，其结构图如图1所示，使用轻量化网络MobileNet作为主干网络提取图像特征，增加注意力机制模块，将注意力机制融入到YOLOv4模型中，得到改进的YOLO v4安全防护检测模型，实现对施工人员、安全帽和安全反光衣的检测；

本发明由于使用轻量化网络结构，能够提升检测速度和精度；

采用MobileNet网络作为主干网络，对模型原有CSPDarknet53网络进行替换，使MobileNet网络与原有模型相比减小了参加计算的参数数量和计算量；在轻量化网络模型主干网络中，MobileNet首先经过一个3*3的标准卷积层，经过下采样，然后剩下的卷积均采取深度可分离卷积，其中每隔三层都进行一次下采样以减少特征图大小，最后根据预测类别加上全连接层和softmax层；整个基本单元共有28层，深度卷积层共有13层。

将注意力机制融入到YOLO v4安全防护检测模型中，就是将SENet网络中的卷积核通过在空间和特征维度上进行特征聚合，通过局部感受野完成对图像特征的聚合，然后再通过池化和全连接对特征进行描述，这样就能实现从全局感受野上进行图像特征描述。SENet通过标记通道之间的关系，通过Squeeze模块和Excitation模块自动获取到每个模块的重要程度，然后通过赋予新的权重提升有用的特征，抑制无用的特征。

步骤3：利用所述数据集对所述改进的YOLO v4安全防护检测模型进行训练，将训练后最佳的权重文件加载至改进的YOLO v4安全防护检测模型中得到改进后的YOLO v4目标检测模型；

基于融入注意力机制的YOLO v4算法构建得到融入注意力机制轻量化改进的YOLOv4网络结构，提升模型检测的推理速度。在实际应用场景中，施工场地安全设备穿戴对于实时性以及硬件配比有一定的要求，快而精是迫切需要解决的问题。因此，本发明采用轻量级的特征提取网络，在保证一定精度的情况下，有效提升了模型的推理速度。

利用所述数据集对所述改进的YOLO v4安全防护检测模型进行训练，就是在改进的YOLO v4安全防护检测模型中，输入大小608*608的图像，首先使用轻量化网络提取图像的特征，将最后一层提取的特征结果输入到增加了注意力机制的网络层，强化检测目标对应的权重值，然后经过空间金字塔层，从多尺度特征中提取出固定大小的特征向量；同时，为了防止网络过深所导致的图像特征信息的损失，在计算过程中，仍然保存主干网络中不同特征提取阶段的卷积计算结果，将不同尺度大小的中间特征结果与最后一层的信息进行拼接，以期望在最大程度上保留图像的信息特征，输出最终的目标检测结果。在训练过程中，每隔10轮随机抽取500张图片，用于模型的验证，将验证效果最好的模型保存，即保存总体损失最小的参数。批大小设置为6，IoU的损失阈值大小为0.5，整个模型的训练轮数为200次，设置初始学习率为0.0001，直到学习率为0.000001时不再进行衰减。

步骤4：在改进的YOLO v4安全防护检测模型中输入待检测图像，采用所述改进后的YOLO v4目标检测模型输出对应的目标检测结果，所述目标检测结果包括待分类图像中目标区域的位置以及每个目标区域对应的类别，依此鉴别是否穿着安全反光衣以及是否佩戴安全帽；分别定位行人的检测框、安全帽的检测框以及安全反光衣的检测框，并分别计算三个目标的CIoU，得到最终目标检测框；

本发明在检测准确度时用到交并比(Intersection over Union，IoU)，其是计算机视觉中目标检测任务中在特定数据集中检测相应物体准确度的一个标准，代表了候选框A与原标记框B的交叠程度。其计算公式可表示为：

针对IoU对目标物体的尺度不敏感的缺陷，CIoU(Complete-IoU)考虑到了回归框中的长宽比、目标之间的距离、重叠度以及尺度，使得目标框回归变得更加稳定，不会出现发散的情况，因此，本发明方法采用CIoU来分别计算三个目标的最终目标检测框，其具体公式表示为：

在(3)式中：d为权重函数，v为用来度量长宽比的相似性，b和b^gt分别代表预测框和真实框的中心点，ρ代表的是计算两个中心点间的欧式距离，c代表的是能够同时包含预测框和真实框的最小闭包区域的对角线距离；其中IoU的阈值设定为0.5。

步骤5：对施工场地安全设备目标进行检测和识别，通过计算目标行人、安全帽和安全反光衣检测框的重合情况，判断图像中是否存在不规范地穿戴安全设备的行为；根据公式(4)计算目标行人、安全帽和安全反光衣的检测框的重合情况，

y＝(B_p＞0 and B_p∩B_c＝0)or(B_p＞0 and B_p∩B_h＝0) (4)

if(y＞0)warning

else no warning

在(4)式中：Bp代表行人的检测框，Bc代表安全反光衣的检测框，Bh代表安全帽的检测框。

根据(4)式中的y值的情况做出判断，当y＞0时，说明施工人员不符合安全规范，没有佩戴安全帽或者未穿着安全反光衣，其与行人检测框的交集值是0，模型发出警告信息；如果施工人员佩戴安全帽并且穿着了安全反光衣，则其与行人检测框的交集值必然大于0，则y值为0，说明施工人员符合安全规范，则模型不发出报警信息。

实验结果表明，使用融入了注意力机制的改进的YOLO v4安全防护检测模型比没有增加注意力机制的基础模型在精准度上有较为明显的提升，基于SENet注意力机制的改进的YOLO v4安全防护检测模型，能够满足实际的检测精度需求。

本发明将现有的典型注意力机制融入到安全防护设备检测算法，强化检测目标对应的权重值，然后经过空间金字塔层，从多尺度特征中提取出固定大小的特征向量。本发明能同时兼顾检测速度和检测精度，在复杂环境下对目标具有较好的鲁棒性。

Claims (2)

1.一种基于注意力机制改进的轻量化YOLO v4安全防护检测方法，其特征在于：该方法内容包括：

步骤1：搜集图像建立数据集，所述数据集包括进入工地的施工人员图像、安全帽图像和安全反光衣图像；通过收集穿着安全反光衣以及佩戴安全帽的施工人员图像数据，对施工人员、佩戴安全帽以及穿着安全反光衣的施工人员均进行标注，使用开源软件LabelImg对工地场景下施工人员相关信息进行标注，标注包括五类：head、helmet、person、reflective-clothes和other-clothes；

步骤2：采用YOLO v4网络作为基础模型，使用轻量化网络MobileNet作为主干网络提取图像特征，增加注意力机制模块，将注意力机制融入到YOLO v4模型中，得到改进的YOLO v4安全防护检测模型，实现对施工人员、安全帽和安全反光衣的检测；

所述采用YOLO v4网络作为基础模型，使用轻量化网络MobileNet网络作为主干网络，采用MobileNet网络作为主干网络，就是对模型原有CSPDarknet53网络进行替换，使MobileNet网络与原有模型相比减小了参加计算的参数数量和计算量；在轻量化网络模型主干网络中，MobileNet首先经过一个3*3的标准卷积层，经过下采样，然后剩下的卷积均采取深度可分离卷积，其中每隔三层都进行一次下采样以减少特征图大小，最后根据预测类别加上全连接层和softmax层；整个基本单元共有28层，深度卷积层共有13层；

所述将注意力机制融入到所述基础模型中，就是就是将SENet网络中的卷积核通过在空间和特征维度上进行特征聚合，通过局部感受野完成对图像特征的聚合，然后再通过池化和全连接对特征进行描述，实现从全局感受野上进行图像特征描述；SENet通过标记通道之间的关系，通过Squeeze模块和Excitation模块自动获取到每个模块的重要程度，然后通过赋予新的权重提升有用的特征，抑制无用的特征；

步骤3：利用所述数据集对所述改进的YOLO v4安全防护检测模型进行训练，将训练后最佳的权重文件加载至改进的YOLO v4安全防护检测模型中得到改进后的YOLO v4目标检测模型；

所述利用所述数据集对所述改进YOLO v4安全防护检测模型进行训练，就是在改进的YOLO v4安全防护检测模型中，输入大小608*608的图像，首先使用轻量化网络提取图像的特征，将最后一层提取的特征结果输入到增加了注意力机制的网络层，强化检测目标对应的权重值，然后经过空间金字塔层，从多尺度特征中提取出固定大小的特征向量；同时，为了防止网络过深所导致的图像特征信息的损失，在计算过程中，仍然保存主干网络中不同特征提取阶段的卷积计算结果，将不同尺度大小的中间特征结果与最后一层的信息进行拼接，以期望在最大程度上保留图像的信息特征，输出最终的目标检测结果；在训练过程中，每隔10轮随机抽取500张图片，用于模型的验证，将验证效果最好的模型保存，即保存总体损失最小的参数；批大小设置为6，IoU的损失阈值大小为0.5，整个模型的训练轮数为200次，设置初始学习率为0.0001，直到学习率为0.000001时不再进行衰减；

步骤4：在改进的YOLO v4安全防护检测模型中输入待检测图像，采用所述改进后的YOLO v4目标检测模型输出对应的目标检测结果，所述目标检测结果包括待分类图像中目标区域的位置以及每个目标区域对应的类别，依此鉴别是否穿着安全反光衣以及是否佩戴安全帽；分别定位行人的检测框、安全帽的检测框以及安全反光衣的检测框，并分别计算三个目标的CIoU，得到最终目标检测框；

步骤5：对施工场地安全设备目标进行检测和识别，通过计算目标行人、安全帽和安全反光衣检测框的重合情况，判断图像中是否存在不规范地穿戴安全设备的行为；根据公式(1)计算目标行人、安全帽和安全反光衣的检测框的重合情况，

y＝(B_p＞0 and B_p∩B_c＝0)or(B_p＞0 and B_p∩B_h＝0) (1)

if(y＞0)warning

else no warning

在(1)式中：Bp代表行人的检测框，Bc代表安全反光衣的检测框，Bh代表安全帽的检测框；

根据(1)式中的y值的情况做出判断，当y＞0时，说明施工人员不符合安全规范，没有佩戴安全帽或者未穿着安全反光衣，其与行人检测框的交集值是0，模型发出警告信息；如果施工人员佩戴安全帽并且穿着了安全反光衣，则其与行人检测框的交集值必然大于0，则y值为0，说明施工人员符合安全规范，则模型不发出报警信息。

2.根据权利要求1所述的一种基于注意力机制改进的轻量化YOLO v4安全防护检测方法，其特征在于：

在步骤4中，所述分别计算三个目标的CIoU，得到最终目标检测框，其具体公式表示为：

在(2)式中：α为权重函数，v为用来度量长宽比的相似性，b和b^gt分别代表预测框和真实框的中心点，ρ代表的是计算两个中心点间的欧式距离，c代表的是能够同时包含预测框和真实框的最小闭包区域的对角线距离；其中IoU的阈值设定为0.5。