CN116092115A - 一种实时轻量的施工人员安全着装检测方法 - Google Patents

一种实时轻量的施工人员安全着装检测方法 Download PDF

Info

Publication number
CN116092115A
CN116092115A CN202211502044.5A CN202211502044A CN116092115A CN 116092115 A CN116092115 A CN 116092115A CN 202211502044 A CN202211502044 A CN 202211502044A CN 116092115 A CN116092115 A CN 116092115A
Authority
CN
China
Prior art keywords
module
convolution
real
dressing
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211502044.5A
Other languages
English (en)
Inventor
吕云凯
杨小兵
管爱
解明
王飞龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Priority to CN202211502044.5A priority Critical patent/CN116092115A/zh
Publication of CN116092115A publication Critical patent/CN116092115A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种实时轻量的施工人员安全着装检测方法，收集施工现场图像作为训练样本，再用软件对样本图片进行人工标注并通过数据增强技术扩充图像，构建出施工人员安全着装检测数据集；对YOLOv5算法改进，提出全新的增强特征提取模块CM3和轻量的特征融合网络DSA‑Neck，并且对损失函数(Loss)优化，用EIoU指标替代原始的CIoU指标，使用Soft NMS替代传统的NMS，最终得到施工人员安全着装检测网络；利用施工人员安全着装数据集对改进后的YOLOv5算法进行训练，得到能精确检测施工人员着装行为的网络模型；最后，用训练得到的模型对施工现场的摄像头视频流进行检测。本发明减小了模型大小，还能有效提高施工人员安全着装检测的精度，具有极高的应用价值。

Description

一种实时轻量的施工人员安全着装检测方法
技术领域
本发明设计智慧工地和深度学习领域，具体涉及一种实时轻量的施工人员安全着装检测方法。
背景技术
建筑业在生产建设过程中，安全事故频繁。为了减少频发的施工事故，有效保障作业人员的生命安全和施工安全，许多地方政府已经出台了相关规定，要求施工人员必须安全着装。施工人员在作业时规范穿戴防护用品非常重要，例如，穿戴反光背心可以起到很好的警示与预防作用，佩戴安全帽能有效减少坠落的物体对作业人员造成的伤害。但是，由于施工现场环境复杂、人员流动大，对施工人员的安全着装情况进行检测与管理较为困难。因此，在工程建设中，如何准确、有效地检测作业人员是否规范的安全着装，如检测安全帽和反光背心的佩戴情况是减少施工事故，确保施工安全的重要举措。
过去大部分工地还是通过人工的方式对施工人员的穿着情况进行监督，这很难做到施工时全程监测，而且费时费力。近几年随着计算机视觉技术的快速发展，利用深度学习技术对施工人员的安全着装智能化检测成为一个有效的方案。然而，当前很多方法大多只考虑了佩戴安全头盔的情况，没有实现对未带安全头盔及反光背心等施工人员的穿着行为的检测；且所提方法大多是粗暴的增大模型来提高模型性能，这给实际部署应用也造成了困难。此外，当前由于施工现场环境复杂、人流量大、遮挡情况常有发生，因此，我们对现有目标检测算法进行了改进，提升了模型对遮挡情况和小目标的检测精度，同时也考虑了模型部署问题，对模型做了相应的轻量化处理，最终提出了一种实时轻量的施工人员安全着装检测方法。
发明内容
本发明技术解决上述问题：克服现有技术的不足，提供一种实时轻量的施工人员安全着装检测方法。方法可以有效地检测施工人员的安全着装情况，降低意外事故的发展率，协助起到安全施工的目的，具有很高的现实应用价值。
发明采用如下技术方案：一种实时轻量的施工人员安全着装检测方法，包括以下步骤：
步骤S1：收集施工现场图像作为训练样本；
步骤S2：用软件对样本图片进行人工标注并通过数据增强技术扩充图像，构建出施工人员安全着装检测数据集；
步骤S3：对YOLOv5目标检测算法改进，构建施工人员安全着装检测网络；
步骤S4：采用步骤S2所述施工人员安全着装检测数据集对步骤S3得到的施工人员安全着装检测网络训练，并得到施工人员安全着装检测模型；
步骤S5：用步骤S4已训练好的检测模型对是施工现场的摄像头视频流进行检测，从而实现对施工人员着装行为的检测。
优选的，所述步骤S1中，样本图像主要通过搜索网络资源以及采集、筛选、整理施工现场监控视频中的信息图像这两种方式获得。收集到的训练样本中包含了大量的施工场景下的施工人员穿戴安全帽和反光背心正样本图像，以及大量的没有穿戴反光背心和没有正确佩戴安全帽的负样本图像。共收集8886张图片。
优选的，所述步骤S2构建施工人员安全着装检测数据集的实现过程为：
步骤S21：通过使用Python中的数据增强库imgaug，对步骤S1中的部分图像进行数据增强处理，其中数据增强处理包括随机水平或垂直翻转、平移、裁剪、加入高斯噪声等操作；
步骤S22：通过运用LabelImg软件，对步骤S21处理后的图像进行标注，共分为四个类别，分别为穿反光背心的人、未穿反光背心的人、佩戴安全帽的人，未正确佩戴或未佩戴安全帽的人；同时将这四个类别依次分别标记为reflective vest、no reflective vest、hat、person，其中所标注的标签文件为XML格式；
步骤S23：使用数据转换工具将标注文件由XML格式转换为yolo_txt格式，即每个图像对应一个txt文件，文件每一行为一个目标的信息，包括类别标签(class)，中心点横坐标(x_center)，中心点纵坐标(y_center)，宽(width)，高(height)；其中四个类别的类别标签依次分别为0、1、2、3；
步骤S24：按照8：1：1的比例将该数据集划分为训练集、验证集和测试集；最终构建出施工人员安全着装检测数据集。
优选的，所述步骤S3中的改进的YOLOv5算法包括以下内容：
步骤S31：在YOLOv5算法的特征提取部分添加增强特征提取CM3模块，顺序连接的Conv模块、Conv模块、C3模块、Conv模块、C3模块、Conv模块、C3模块、Conv模块、SPPF模块、特征增强CM3模块，构建为改进的YOLOv5算法主干网络；
步骤S32：在YOLOv5算法的特征融合部分用轻量卷积模块DSA-Conv对所有的常规卷积模块进行替换，构建轻量的颈部网络DSA-Neck；
步骤S33：在YOLOv5网络的损失函数部分进行了改进，引用EIoU指标来取代原本的CIoU指标；
步骤S34：在YOLOv5算法的输出端部分之后增加Soft NMS模块，构建以Soft NMS模块为输出端的改进YOLOv5算法的输出部分；
步骤S35：依次顺序连接改进的YOLOv5算法主干网络、YOLOv5算法颈部网络、改进YOLOv5算法输出部分，且改进YOLOv5算法主干网络部分的输出端连接YOLOv5算法颈部网络的输入端，YOLOv5算法颈部网络的输出端连接改进YOLOv5算法输出部分的输入端；最终构成以施工人员安全着装样本图像为输入、施工人员安全着装样本图像所对应的真值标签为输出改进YOLOv5的施工人员安全着装检测模型。
优选的，所述步骤S4中的网络训练包括以下内容：
步骤S41：采用步骤S2所述安全帽佩戴检测数据集训练步骤S3中改进的YOLOv5网络，设置批量大小(batch_size)为20，使用随即梯度下降(SGD)和动量(Momentum)优化器，并且初始的学习率为0.01，训练周期(epoch)设置为300，批量大小(batch size)为20；
步骤S42：使用测试集进行测试，分析训练结果，对比测试结果的差异；
步骤S43：在验证集上微调网络的超参数，获得施工人员安全着装检测模型。
优选的，所述步骤S5中利用步骤S4训练后得到的施工人员安全着装检测模型对施工现场进行检测，具体如下：
步骤S51：将施工现场的摄像头接入本地主机端，从施工人员着装视频监控中获取图像；
步骤S52：在本地主机端加载模型，对现场图像进行检测，即获得施工人员着装安全着装检测结果。
优选的，所述步骤S31中，增强特征提取模块CM3包括卷积1、卷积2、卷积3、卷积4、多头注意力机制模块、卷积相加层、通道拼接层；
所述卷积1定义为：Conv1；
所述卷积2定义为：Conv2；
所述卷积3定义为：Conv3；
所述卷积4定义为：Conv4；
所述多头注意力机制定义为：MHSA；
所述卷积相加层定义为：ADD；
所述通道拼接层定义为：Concat；
Conv1的输入端作为所述增强特征提取模块CM3的输入端、Conv1的输入端与Conv3的输入端相连；Conv1的输出端与Conv2的输入端、ADD的输入端分别相连；Conv2的输出端与MHSA的输入端相连，MHSA的输出端与ADD1的输入端相连；ADD的输出端与Conv3的输出端、Concat1的输入端相连；Concat的输出端与Conv4的输入端相连，最后Conv4的输出端作为增强特征提取模块CM3的输出端。
优选的，所述步骤S32中，所述轻量卷积模块DSA-Conv包括卷积a，逐通道卷积模块，空间注意力机制模块、通道注意力机制模块、通道混合模块、卷积相加层、通道拼接层；
所述卷积a定义为：Conv a；
所述逐通道卷积模块定义为：DWConv；
所述空间注意力机制模块定义为：SA；
所述通道注意力机制模块定义为：CA；
所述通道混合模块定义为：Channel Shuffle；
所述卷积相加层定义为：ADD；
所述通道拼接层定义为：Concat；
由Conv a作为输入端，Conv a的输出端与DWConv的输入端、SA的输入端、CA的输入端分别相连；所述Conv a的输出端、SA的输出端、CA的输出端与ADD的输入端三者相连，然后ADD的输出端与DWConv的输出端作为Concat的输入，Concat的输出端与Channel Shuffle的输入端相连，Channel Shuffle的输出端作为轻量卷积DSA-Conv模块的输出端；
用DSA-Conv卷积模块替换YOLOv5网络中C3模块的常规卷积，便可以得到DSA-C3模块，再将DSA-Conv模块、DSA-C3模块用于YOLOv5原始的颈部网络便可构建出轻量的颈部网络DSA-Neck。
优选的，所述步骤S33中，为了解决原有损失函数CIoU指标在回归过程中不能反映宽高分别与其置信度的真实差异，在模型训练时收敛慢的问题，我们引用了EIoU来替换原本的CIoU指标，重新定义了惩罚项；在预测框的回归过程中，CIOU Loss虽然考虑了边界框回归的重叠面积、中心点距离、纵横比，但是仍然存在着很大的问题：第一，一旦预测框和真实框(ground truth，简称gt)的宽高纵横比呈现线性比例时，CIoU中添加的相对比例的惩罚项便不再起作用；第二，根据预测框宽(w)和高(h)的梯度公式可以推知，w和h在其中一个值增大时，另外一个值必须减小，它俩不能保持同增同减；为了解决上述问题，EIoU将损失函数分成了三个部分：预测框和真实框的重叠损失LIoU、预测框和真实框的中心距离损失Ldis、预测框和真实框的宽和高损失Lasp，提出了直接对w和h的预测结果进行惩罚的损失函数：
Figure BDA0003966651260000041
其中IoU表示穿戴反光背心图像的真实框与预测框的面积的交集与面积的并集之比，ρ2(b,bgt)表示图像真实框与预测框的中心点之间的欧式距离，ρ2(w,wgt)、ρ2(h,hgt)分别表示图像真实框与预测框的宽和高之间的欧式距离；c表示能够包含图像预测框和真实框的最小封闭区域的对角线距离，
Figure BDA0003966651260000044
和
Figure BDA0003966651260000045
分别是预测框和真实框最小外接矩形的宽和高；EIoU通过定义宽高损失Lasp直接使预测框与真实框的宽度和高度之差最小，使得收敛速度更快。
优选的，其特征在于所述步骤S34中，采用基于高斯加权表达方式的Soft NMS算法，相应的计算方式为：
Figure BDA0003966651260000042
其中，
Figure BDA0003966651260000043
D表示最终检测结果的集合，Si表示当前待处理的检测框的置信度得分，IoU表示两个边框的交集与并集的比值，Nt表示IoU的阈值，M表示置信度得分最高的检测框，σ表示高斯惩罚函数的超参数，Bi表示当前待处理的检测框，e是自然对数的底数。
本发明与现有技术相比优点在于：
(1)本发明能准确地同时对施工人员着装中未佩戴安全帽、穿戴反光背心这两种不安全着装的行为进行检测。
(2)本发明算法以YOLOv5框架为基础进行三个方面改进，第一方面，构建的增强特征提取模块CM3加强了卷积网络对全局特征的提取能力，有力提升了模型对小目标、遮挡物体的检测性能；第二方面，本发明将常规卷积、DWConv和通道注意力机制、空间注意力机制结合使用，设计出的轻量级卷积模块DSA-Conv不仅大大降低了模型参数量，还利用注意力机制模块增强模型对小目标的特征表达能力，对模型性能有一定的提高；第三方面，在预测框筛选为最终检测框环节时，采用优化的NMS算法Soft NMS算法进行筛选，降低了漏检率。最终本发明的模型能够不但轻量而且足够强大，在复杂的施工环境中能有效的对施工人员安全着装情况进行检测，进而有效保护施工人员的生命安全，提高施工的安全性。
(3)相比于目前已有的方法，本发明成本低，检测精度高，受外界干扰小，具有的实时性和迁移性，并且能有效提高检测的精度，具有十分广阔的应用前景。
附图说明
图1为本发明的方法流程图；
图2为本发明中施工人员安全着装检测模型的结构图；
图3为主干网络中的CM3模块结构图；
图4为颈部网络中的DSA-Conv模块和DSA-C3模块结构图；
图5为本发明实施例中实际检测效果图。
具体实施方式
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，说明如下：
如图1所示，本发明所述的一种实时轻量的施工人员安全着装检测方法，其基本实现过程如下步骤：
步骤S1：收集施工现场图像作为训练样本；
步骤S2：用软件对样本图片进行人工标注并通过数据增强技术扩充图像，构建出施工人员安全着装检测数据集；
步骤S3：对YOLOv5目标检测算法改进，构建施工人员安全着装检测网络；
步骤S4：采用步骤S2所述施工人员安全着装检测数据集对步骤S3得到的施工人员安全着装检测网络训练，并得到施工人员安全着装检测模型；
步骤S5：用步骤S4已训练好的检测模型对是施工现场的摄像头视频流进行检测，从而实现对施工人员着装行为的检测。
具体的，所述步骤S1中，样本图像主要通过搜索网络资源以及采集、筛选、整理施工现场监控视频中的信息图像这两种方式获得。收集到的训练样本中包含了大量的施工场景下的施工人员穿戴安全帽和反光背心正样本图像，以及大量的没有穿戴反光背心和没有正确佩戴安全帽的负样本图像。共收集8886张图片。
具体的，所述步骤S2构建施工人员安全着装检测数据集的实现过程为：
步骤S21：通过使用Python中的数据增强库imgaug，对步骤S1中的部分图像进行数据增强处理，其中数据增强处理包括随机水平或垂直翻转、平移、裁剪、加入高斯噪声等操作；
步骤S22：通过运用LabelImg软件，对步骤S21处理后的图像进行标注，共分为四个类别，分别为穿反光背心的人、未穿反光背心的人、佩戴安全帽的人，未正确佩戴或未佩戴安全帽的人；同时将这四个类别依次分别标记为reflective vest、no reflective vest、hat、person，其中所标注的标签文件为XML格式；
步骤S23：使用数据转换工具将标注文件由XML格式转换为yolo_txt格式，即每个图像对应一个txt文件，文件每一行为一个目标的信息，包括类别标签(class)，中心点横坐标(x_center)，中心点纵坐标(y_center)，宽(width)，高(height)。其中四个类别的类别标签依次分别为0、1、2、3；
步骤S24：按照8：1：1的比例将该数据集划分为训练集、验证集和测试集；最终构建出施工人员安全着装检测数据集。
具体的，所述步骤S3中的改进的YOLOv5算法包括以下内容：
步骤S31：在YOLOv5算法的特征提取部分添加增强特征提取CM3模块，顺序连接的Conv模块、Conv模块、C3模块、Conv模块、C3模块、Conv模块、C3模块、Conv模块、SPPF模块、特征增强CM3模块，构建为改进的YOLOv5算法主干网络；
步骤S32：在YOLOv5算法的特征融合部分用轻量卷积模块DSA-Conv对所有的常规卷积模块进行替换，构建轻量的颈部网络DSA-Neck；
步骤S33：在YOLOv5网络的损失函数部分进行了改进，引用EIoU指标来取代原本的CIoU指标；
步骤S34：在YOLOv5算法的输出端部分之后增加Soft NMS模块，构建以Soft NMS模块为输出端的改进YOLOv5算法的输出部分；
步骤S35：依次顺序连接改进的YOLOv5算法主干网络、YOLOv5算法颈部网络、改进YOLOv5算法输出部分，且改进YOLOv5算法主干网络部分的输出端连接YOLOv5算法颈部网络的输入端，YOLOv5算法颈部网络的输出端连接改进YOLOv5算法输出部分的输入端；最终构成以施工人员安全着装样本图像为输入、施工人员安全着装样本图像所对应的真值标签为输出改进YOLOv5的施工人员安全着装检测模型。
具体的，所述步骤S4中的网络训练包括以下内容：
步骤S41：采用步骤S2所述安全帽佩戴检测数据集训练步骤S3中改进的YOLOv5网络，设置批量大小(batch_size)为20，使用随即梯度下降(SGD)和动量(Momentum)优化器，并且初始的学习率为0.01，训练周期(epoch)设置为300，批量大小(batch size)为20；
步骤S42：使用测试集进行测试，分析训练结果，对比测试结果的差异；
步骤S43：在验证集上微调网络的超参数，获得施工人员安全着装检测模型。
具体的，所述步骤S5中利用步骤S4训练后得到的施工人员安全着装检测模型对施工现场进行检测，具体如下：
步骤S51：将施工现场的摄像头接入本地主机端，从施工人员着装视频监控中获取图像；
步骤S52：在本地主机端加载模型，对现场图像进行检测，即获得施工人员着装安全着装检测结果。
本发明改进点描述如下：
(1)原始的YOLOv5主干网络由卷积神经网络构成，具有对局部特征提取效果好、全局特征效果差的特点。为了改善卷积网络的这一缺点，我们将多头注意力机制引入卷积网络，构建了增强特征提取模块CM3并用于主干网络；同时鉴于多头注意力机制的计算成本比较高，我们对原主干网络进行调整，以减少网络的参数量。增强特征提取模块CM3可以增强主干网络提取有效信息的能力，更好地学习到小目标的语义信息。CM3包括卷积1、卷积2、卷积3、卷积4、多头注意力机制模块、卷积相加层、通道拼接层；
所述卷积1定义为：Conv1；
所述卷积2定义为：Conv2；
所述卷积3定义为：Conv3；
所述卷积4定义为：Conv4；
所述多头注意力机制定义为：MHSA；
所述卷积相加层定义为：ADD；
所述通道拼接层定义为：Concat；
Conv1的输入端作为所述增强特征提取模块CM3的输入端、Conv1的输入端与Conv3的输入端相连；Conv1的输出端与Conv2的输入端、ADD的输入端分别相连；Conv2的输出端与MHSA的输入端相连，MHSA的输出端与ADD1的输入端相连；ADD的输出端与Conv3的输出端、Concat1的输入端相连；Concat的输出端与Conv4的输入端相连，最后Conv4的输出端作为增强特征提取模块CM3的输出端。
(2)为了进一步轻量化模型，本发明提出了一种轻量卷积模块DSA-Conv。同时为了不使得模型的性能受到影响，我们将轻量卷积模块DSA-Conv用于特征提取之后的特征融合部分，也即颈部网络。DSA-Conv由卷积a，逐通道卷积模块，空间注意力机制模块、通道注意力机制模块、通道混合模块、卷积相加层、通道拼接层构成。
所述卷积a定义为：Conv a；
所述逐通道卷积模块定义为：DWConv；
所述空间注意力机制模块定义为：SA；
所述通道注意力机制模块定义为：CA；
所述通道混合模块定义为：Channel Shuffle；
所述卷积相加层定义为：ADD；
所述通道拼接层定义为：Concat；
由Conv a作为输入端，Conv a的输出端与DWConv的输入端、SA的输入端、CA的输入端分别相连；所述Conv a的输出端、SA的输出端、CA的输出端与ADD的输入端三者相连，然后ADD的输出端与DWConv的输出端作为Concat的输入，Concat的输出端与Channel Shuffle的输入端相连，Channel Shuffle的输出端作为轻量卷积DSA-Conv模块的输出端。
用DSA-Conv卷积模块替换YOLOv5网络中C3模块的常规卷积，便可以得到DSA-C3模块，再将DSA-Conv模块、DSA-C3模块用于YOLOv5原始的颈部网络便可构建出轻量的颈部网络DSA-Neck。
(3)为了解决原有损失函数中CIoU指标在回归过程中不能反映宽高分别与其置信度的真实差异，在模型训练时收敛慢的问题，我们引用了EIoU来替换原本的CIoU指标，重新定义了惩罚项。在预测框的回归过程中，CIOU Loss虽然考虑了边界框回归的重叠面积、中心点距离、纵横比，但是仍然存在着很大的问题：第一，一旦预测框和真实框(groundtruth，简称gt)的宽高纵横比呈现线性比例时，CIoU中添加的相对比例的惩罚项便不再起作用。第二，根据预测框宽(w)和高(h)的梯度公式可以推知，w和h在其中一个值增大时，另外一个值必须减小，它俩不能保持同增同减。为了解决上述问题，EIoU将损失函数分成了三个部分：预测框和真实框的重叠损失LIoU、预测框和真实框的中心距离损失Ldis、预测框和真实框的宽和高损失Lasp，提出了直接对w和h的预测结果进行惩罚的损失函数：
Figure BDA0003966651260000071
其中IoU表示穿戴反光背心图像的真实框与预测框的面积的交集与面积的并集之比，ρ2(b,bgt)表示图像真实框与预测框的中心点之间的欧式距离，ρ2(w,wgt)、ρ2(h,hgt)分别表示图像真实框与预测框的宽和高之间的欧式距离。c表示能够包含图像预测框和真实框的最小封闭区域的对角线距离，
Figure BDA0003966651260000074
和
Figure BDA0003966651260000075
分别是预测框和真实框最小外接矩形的宽和高。EIoU通过定义宽高损失Lasp直接使预测框与真实框的宽度和高度之差最小，使得收敛速度更快。
(4)在检测存在遮挡的目标时，传统的NMS算法会直接将和置信度得分最大的Box的IOU大于某个阈值的Box的置信度得分直接置零，并进行过滤掉，从而存在着目标漏检的可能性。Soft NMS算法能够较好地解决此问题，本发明采用基于高斯加权表达方式的SoftNMS算法，相应的计算方式为：
Figure BDA0003966651260000072
其中，
Figure BDA0003966651260000073
D表示最终检测结果的集合，Si表示当前待处理的检测框的置信度得分，IoU表示两个边框的交集与并集的比值，Nt表示IoU的阈值，M表示置信度得分最高的检测框，σ表示高斯惩罚函数的超参数，Bi表示当前待处理的检测框，e是自然对数的底数。总之，NMS算法直接将大于IOU阈值的检测框进行剔除，显得简单粗暴，可能存在着目标漏检的问题。然而，Soft NMS算法不是直接将与置信度得分最高框的IOU大于阈值的检测框的置信度得分直接变为0，进行去除，而是用较低的置信度得分代替原来较高的置信度得分，这样能够较好地解决检测框误删的问题，取得更好的检测效果。
实际检测效果如图5所示。最后，对加入全新的增强特征提取模块CM3和轻量的特征融合网络DSA-Neck的YOLO网络模型进行对比分析。评估指标为AP、mAP、Parameters、Model Size、Detection time，分别表示模型的对单目标的检测精度、模型的总体精度、网络参数量、模型大小和检测一张图片所需时间。
如表1所示，相比于目前已有的其他方法，加入全新的增强特征提取模块CM3和轻量的特征融合网络DSA-Neck的YOLO网络模型对施工人员着装行为进行检测精度更高，且模型最小。从中可以看出，本发明方法完美地平衡了模型的大小和性能二者，具有最高的检测精度，有利于进一步的模型部署及实际应用。
表1本发明方法与三种现有方法的实验结果比较
Figure BDA0003966651260000081
以上所述仅是本发明的优选实施方式，然其并非用以限定本发明。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种实时轻量的施工人员安全着装检测方法，其特征在于步骤如下：
步骤S1：收集施工现场图像作为训练样本；
步骤S2：用软件对样本图片进行人工标注并通过数据增强技术扩充图像，构建出施工人员安全着装检测数据集；
步骤S3：对YOLOv5目标检测算法改进，构建施工人员安全着装检测网络；
步骤S4：采用步骤S2所述施工人员安全着装检测数据集对步骤S3得到的施工人员安全着装检测网络训练，并得到施工人员安全着装检测模型；
步骤S5：用步骤S4已训练好的检测模型对是施工现场的摄像头视频流进行检测，从而实现对施工人员着装行为的检测。
2.根据权利要求1所述的一种实时轻量的施工人员安全着装检测方法，其特征在于，所述步骤S1中，样本图像主要通过搜索网络资源以及采集、筛选、整理施工现场监控视频中的信息图像这两种方式获得；收集到的训练样本中包含了大量的施工场景下的施工人员穿戴安全帽和反光背心正样本图像，以及大量的没有穿戴反光背心和没有正确佩戴安全帽的负样本图像，共收集8886张图片。
3.根据权利要求1所述的一种实时轻量的施工人员安全着装检测方法，其特征在于，所述步骤S2中构建施工人员安全着装检测数据集的实现过程为：
步骤S21：通过使用Python中的数据增强库imgaug，对步骤S1中的部分图像进行数据增强处理，其中数据增强处理包括随机水平或垂直翻转、平移、裁剪、加入高斯噪声等操作；
步骤S22：通过运用LabelImg软件，对步骤S21处理后的图像进行标注，共分为四个类别，分别为穿反光背心的人、未穿反光背心的人、佩戴安全帽的人，未正确佩戴或未佩戴安全帽的人；同时将这四个类别依次分别标记为reflective vest、no reflective vest、hat、person，其中所标注的标签文件为XML格式；
步骤S23：使用数据转换工具将标注文件由XML格式转换为yolo_txt格式，即每个图像对应一个txt文件，文件每一行为一个目标的信息，包括类别标签(class)，中心点横坐标(x_center)，中心点纵坐标(y_center)，宽(width)，高(height)；其中四个类别的类别标签依次分别为0、1、2、3；
步骤S24：按照8：1：1的比例将该数据集划分为训练集、验证集和测试集；最终构建出施工人员安全着装检测数据集。
4.根据权利要求1所述的一种实时轻量的施工人员安全着装检测方法，其特征在于，所述步骤S3中的改进的YOLOv5算法包括以下内容：
步骤S31：在YOLOv5算法的特征提取部分添加增强特征提取CM3模块，顺序连接的Conv模块、Conv模块、C3模块、Conv模块、C3模块、Conv模块、C3模块、Conv模块、SPPF模块、特征增强CM3模块，构建为改进的YOLOv5算法主干网络；
步骤S32：在YOLOv5算法的特征融合部分用轻量卷积模块DSA-Conv对所有的常规卷积模块进行替换，构建轻量的颈部网络DSA-Neck；
步骤S33：在YOLOv5网络的损失函数部分进行了改进，引用EIoU指标来取代原本的CIoU指标；
步骤S34：在YOLOv5算法的输出端部分之后增加Soft NMS模块，构建以Soft NMS模块为输出端的改进YOLOv5算法的输出部分；
步骤S35：依次顺序连接改进的YOLOv5算法主干网络、YOLOv5算法颈部网络、改进YOLOv5算法输出部分，且改进YOLOv5算法主干网络部分的输出端连接YOLOv5算法颈部网络的输入端，YOLOv5算法颈部网络的输出端连接改进YOLOv5算法输出部分的输入端；最终构成以施工人员安全着装样本图像为输入、施工人员安全着装样本图像所对应的真值标签为输出改进YOLOv5的施工人员安全着装检测模型。
5.根据权利要求1所述的一种实时轻量的施工人员安全着装检测方法，其特征在于，所述步骤S4中的网络训练包括以下内容：
步骤S41：采用步骤S2所述安全帽佩戴检测数据集训练步骤S3中改进的YOLOv5网络，设置批量大小(batch_size)为20，使用随即梯度下降(SGD)和动量(Momentum)优化器，并且初始的学习率为0.01，训练周期(epoch)设置为300，批量大小(batch size)为20；
步骤S42：使用测试集进行测试，分析训练结果，对比测试结果的差异；
步骤S43：在验证集上微调网络的超参数，获得施工人员安全着装检测模型。
6.根据权利要求1所述的一种实时轻量的施工人员安全着装检测方法，其特征在于，所述步骤S5中利用步骤S4训练后得到的施工人员安全着装检测模型对施工现场进行检测，具体如下：
步骤S51：将施工现场的摄像头接入本地主机端，从施工人员着装视频监控中获取图像；
步骤S52：在本地主机端加载模型，对现场图像进行检测，即获得施工人员着装安全着装检测结果。
7.根据权利要求4所述的一种实时轻量的施工人员安全着装检测方法，其特征在于，所述步骤S31中，所述增强特征提取模块CM3包括卷积1、卷积2、卷积3、卷积4、多头注意力机制模块、卷积相加层、通道拼接层；
所述卷积1定义为：Conv1；
所述卷积2定义为：Conv2；
所述卷积3定义为：Conv3；
所述卷积4定义为：Conv4；
所述多头注意力机制定义为：MHSA；
所述卷积相加层定义为：ADD；
所述通道拼接层定义为：Concat；
Conv1的输入端作为所述增强特征提取模块CM3的输入端、Conv1的输入端与Conv3的输入端相连；Conv1的输出端与Conv2的输入端、ADD的输入端分别相连；Conv2的输出端与MHSA的输入端相连，MHSA的输出端与ADD1的输入端相连；ADD的输出端与Conv3的输出端、Concat1的输入端相连；Concat的输出端与Conv4的输入端相连，最后Conv4的输出端作为增强特征提取模块CM3的输出端。
8.根据权利要求4所述的一种实时轻量的施工人员安全着装检测方法，其特征在于，所述步骤S32中，所述轻量卷积模块DSA-Conv包括卷积a，逐通道卷积模块，空间注意力机制模块、通道注意力机制模块、通道混合模块、卷积相加层、通道拼接层；这里的卷积相加层、通道拼接层同权利要求7中的一致，为通用模块；
所述卷积a定义为：Conv a；
所述逐通道卷积模块定义为：DWConv；
所述空间注意力机制模块定义为：SA；
所述通道注意力机制模块定义为：CA；
所述通道混合模块定义为：Channel Shuffle；
所述卷积相加层定义为：ADD；
所述通道拼接层定义为：Concat；
由Conv a作为输入端，Conv a的输出端与DWConv的输入端、SA的输入端、CA的输入端分别相连；所述Conv a的输出端、SA的输出端、CA的输出端与ADD的输入端三者相连，然后ADD的输出端与DWConv的输出端作为Concat的输入，Concat的输出端与Channel Shuffle的输入端相连，Channel Shuffle的输出端作为轻量卷积DSA-Conv模块的输出端；
用DSA-Conv卷积模块替换YOLOv5网络中C3模块的常规卷积，便可以得到DSA-C3模块，再将DSA-Conv模块、DSA-C3模块用于YOLOv5原始的颈部网络便可构建出轻量的颈部网络DSA-Neck。
9.根据权利要求4所述的一种实时轻量的施工人员安全着装检测方法，其特征在于，所述步骤S33中，为了解决原有损失函数CIoU指标在回归过程中不能反映宽高分别与其置信度的真实差异，在模型训练时收敛慢的问题，我们引用了EIoU来替换原本的CIoU指标，重新定义了惩罚项；在预测框的回归过程中，CIOU Loss虽然考虑了边界框回归的重叠面积、中心点距离、纵横比，但是仍然存在着很大的问题：第一，一旦预测框和真实框(groundtruth，简称gt)的宽高纵横比呈现线性比例时，CIoU中添加的相对比例的惩罚项便不再起作用；第二，根据预测框宽(w)和高(h)的梯度公式可以推知，w和h在其中一个值增大时，另外一个值必须减小，它俩不能保持同增同减；为了解决上述问题，EIoU将损失函数分成了三个部分：预测框和真实框的重叠损失LIoU、预测框和真实框的中心距离损失Ldis、预测框和真实框的宽和高损失Lasp，提出了直接对w和h的预测结果进行惩罚的损失函数：
Figure FDA0003966651250000031
其中IoU表示穿戴反光背心图像的真实框与预测框的面积的交集与面积的并集之比，ρ2(b,bgt)表示图像真实框与预测框的中心点之间的欧式距离，ρ2(w,wgt)、ρ2(h,hgt)分别表示图像真实框与预测框的宽和高之间的欧式距离；c表示能够包含图像预测框和真实框的最小封闭区域的对角线距离，
Figure FDA0003966651250000032
和
Figure FDA0003966651250000033
分别是预测框和真实框最小外接矩形的宽和高；EIoU通过定义宽高损失Lasp直接使预测框与真实框的宽度和高度之差最小，使得收敛速度更快。
10.根据权利要求4所述的一种实时轻量的施工人员安全着装检测方法，其特征在于所述步骤S34中，采用基于高斯加权表达方式的Soft NMS算法，相应的计算方式为：
Figure FDA0003966651250000034
其中，
Figure FDA0003966651250000035
D表示最终检测结果的集合，Si表示当前待处理的检测框的置信度得分，IoU表示两个边框的交集与并集的比值，Nt表示IoU的阈值，M表示置信度得分最高的检测框，σ表示高斯惩罚函数的超参数，Bi表示当前待处理的检测框，e是自然对数的底数。
CN202211502044.5A 2022-11-28 2022-11-28 一种实时轻量的施工人员安全着装检测方法 Pending CN116092115A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211502044.5A CN116092115A (zh) 2022-11-28 2022-11-28 一种实时轻量的施工人员安全着装检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211502044.5A CN116092115A (zh) 2022-11-28 2022-11-28 一种实时轻量的施工人员安全着装检测方法

Publications (1)

Publication Number Publication Date
CN116092115A true CN116092115A (zh) 2023-05-09

Family

ID=86199949

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211502044.5A Pending CN116092115A (zh) 2022-11-28 2022-11-28 一种实时轻量的施工人员安全着装检测方法

Country Status (1)

Country Link
CN (1) CN116092115A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115722A (zh) * 2023-10-20 2023-11-24 四川泓宝润业工程技术有限公司 施工场景检测的方法、装置、存储介质及电子设备
CN117333845A (zh) * 2023-11-03 2024-01-02 东北电力大学 一种基于改进YOLOv5s的小目标交通标志实时检测方法
CN117636266A (zh) * 2024-01-25 2024-03-01 华东交通大学 一种工人安全行为检测方法、系统、存储介质及电子设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115722A (zh) * 2023-10-20 2023-11-24 四川泓宝润业工程技术有限公司 施工场景检测的方法、装置、存储介质及电子设备
CN117333845A (zh) * 2023-11-03 2024-01-02 东北电力大学 一种基于改进YOLOv5s的小目标交通标志实时检测方法
CN117636266A (zh) * 2024-01-25 2024-03-01 华东交通大学 一种工人安全行为检测方法、系统、存储介质及电子设备
CN117636266B (zh) * 2024-01-25 2024-05-14 华东交通大学 一种工人安全行为检测方法、系统、存储介质及电子设备

Similar Documents

Publication Publication Date Title
Huang et al. Detection algorithm of safety helmet wearing based on deep learning
Tan et al. Improved YOLOv5 network model and application in safety helmet detection
CN116092115A (zh) 一种实时轻量的施工人员安全着装检测方法
CN113553977B (zh) 一种基于改进yolo v5的安全帽检测方法和系统
CN113553979B (zh) 一种基于改进yolo v5的安全服检测方法和系统
CN108182454A (zh) 安检识别系统及其控制方法
CN113516076A (zh) 一种基于注意力机制改进的轻量化YOLO v4安全防护检测方法
CN110532925B (zh) 基于时空图卷积网络的驾驶员疲劳检测方法
CN113095404B (zh) 基于前后背景分卷积神经网络的x光违禁物品检测方法
CN112651371A (zh) 着装安全检测方法、装置、存储介质及计算机设备
CN117726991B (zh) 一种高空吊篮安全带检测方法及终端
Mijić et al. Traffic sign detection using YOLOv3
CN115223249A (zh) 一种基于机器视觉的井下人员不安全行为快速分析与识别方法
CN115661932A (zh) 一种垂钓行为检测方法
Chen Traffic lights detection method based on the improved yolov5 network
CN111931573A (zh) 基于yolo进化深度学习模型的安全帽检测与预警方法
Jin et al. Vision-based forest fire detection using machine learning
Yi et al. Research on Helmet wearing detection in multiple scenarios based on YOLOv5
CN112183287A (zh) 一种移动机器人在复杂背景下的人数统计方法
CN117423157A (zh) 一种结合迁移学习、区域入侵的矿井下异常视频动作理解方法
CN115601733A (zh) 基于人体骨架的科目三安全员作弊行为检测方法及系统
CN115311458A (zh) 基于多任务学习的实时高速公路行人闯入事件检测方法
Shan et al. Intelligent Identification of Violation of Rules in Construction Site Based on Artificial Intelligence Image Recognition Technology
CN110427920B (zh) 一种面向监控环境的实时行人解析方法
CN114495191A (zh) 一种基于端侧的组合式安全帽佩戴实时检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20230509