CN115205604A - 基于改进YOLOv5的化工生产过程中安全防护品佩戴检测方法 - Google Patents

基于改进YOLOv5的化工生产过程中安全防护品佩戴检测方法 Download PDF

Info

Publication number
CN115205604A
CN115205604A CN202210964797.1A CN202210964797A CN115205604A CN 115205604 A CN115205604 A CN 115205604A CN 202210964797 A CN202210964797 A CN 202210964797A CN 115205604 A CN115205604 A CN 115205604A
Authority
CN
China
Prior art keywords
module
improved
image
wearing
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210964797.1A
Other languages
English (en)
Inventor
陈晓兵
张冰莹
康丽
包涵
张润
周冬冬
郭舒心
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaiyin Institute of Technology
Original Assignee
Huaiyin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaiyin Institute of Technology filed Critical Huaiyin Institute of Technology
Priority to CN202210964797.1A priority Critical patent/CN115205604A/zh
Publication of CN115205604A publication Critical patent/CN115205604A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于改进YOLOv5的化工安全防护品佩戴检测方法，获取训练图像，使用MixUp算法对安全帽图像数据和口罩图像数据进行加权融合，得到更多存在双目标的训练图像；搭建包含注意力机制NAM模块和Encoder结构的改进的YOLOv5网络模型，在骨干网络中插入注意力机制NAM模型，在颈部模块添加了改进的Encoder结构；将训练数据集和测试数据集输入到改进的YOLOv5网络模型中，进行优化训练，得到改进的安全防护品佩戴检测模型；将待检测图像数据集输入上述模型，得到待检测图像中的安全防护品的检测结果。与现有技术相比，本发明充分优化了网络模型的特征提取能力，有效地提高了小目标检测的精确度，提高了化工生产过程中安全防护品佩戴检测的准确性。

Description

基于改进YOLOv5的化工生产过程中安全防护品佩戴检测方法
技术领域
本发明涉及化工生产场景下安全防护品佩戴检测与机器视觉的技术领域，具体涉及一种基于改进YOLOv5的化工生产过程中安全防护品佩戴检测方法。
背景技术
随着化工行业的发展，化工安全越来越被重视和关注。安全帽和口罩作为一种对人员头部防护和肺部防护起着关键作用的设备，在化工生产过程中，佩戴安全防护品的监管十分必要，研究一种精度高、鲁棒性强的安全防护品佩戴检测算法可以保障生产人员的人身安全，降低安全事故的危害，具有重要的实际意义。
安全防护品佩戴检测的研究可以分成两大类∶基于传感器的检测方法和基于计算机视觉的检测方法。基于传感器的检测方法通过在安全帽上嵌入各类传感器，如压力传感器、电子标签等实现与外界通信。但这就会对工人的正常作业造成干扰，跟踪设备通常都会有距离限制，且成本较高。
基于计算机视觉的检测方法主要包括基于深度学习的两阶段检测算法和基于深度学习的单阶段检测算法。由于两阶段安全帽检测算法需要预先生成候选框，再对候选框进行分类和回归，边界框经过两次微调，检测准确度比单阶段安全防护品佩戴检测算法要高，但损失了检测速度。这就导致两阶段安全防护品佩戴检测算法不能够适用于对速度要求极高的检测任务。
基于深度学习的单阶段安全防护品检测算法模型结构简单且检测速度快，能够很好的应用于安全防护品佩戴检测任务中，但单阶段检测算法的检测准确度有所下降。YOLOv5沿用了YOLOv4的网络结构，采用了Mosaic数据增强方法，采用自适应锚框，检测速度很快，集成了YOLOv3和YOLOv4的部分特性，检测速度远超YOLOv4，但是对于检测复杂场景中和密集小目标中作业人员安全防护品佩戴情况的检测准确度依旧有所欠缺。
发明内容
发明目的：针对现有技术中存在的问题，本发明提出一种基于改进YOLOv5的化工安全防护品佩戴检测方法，能够在小目标的情况下，精确的识别是否佩戴安全防护品。
技术方案：本发明提出一种基于改进YOLOv5的化工安全防护品佩戴检测方法，包括以下步骤：
步骤1：获取训练图像并进行预处理，使用MixUp数据增强算法对安全帽图像数据和口罩图像数据进行加权融合，得到更多存在双目标的训练图像，按比例分配得到训练数据集D1和测试数据集D2；
步骤2：搭建包含注意力机制NAM模块和Encoder结构的改进的YOLOv5网络模型；
步骤3：搭将训练数据集D1和测试数据集D2输入改进的YOLOv5网络模型中，对网络进行训练与测试，得到改进的安全防护品佩戴检测模型Mod；
步骤4：搭将待检测图像输入模型Mod中，得到待检测图像中的安全防护品的检测结果。
进一步地，所述步骤1中获取训练图像并进行预处理具体包括以下步骤：
步骤1.1：通过化工厂的监控图像和公共数据集获取安全防护品佩戴情况的图像，其中安全防护品包括安全帽和口罩；
步骤1.2：对得到的图像进行筛选，选取安全防护品佩戴图像，包括不同场景、光线、遮挡和多目标情况下的图片，并且删除错误图片；
步骤1.3：对筛选后的图像进行归一化处理，将图像按照统一规定命名，统一图像为RGB三通道彩色图，统一图像尺寸；
步骤1.4：利用LabelImg工具对图像进行手动标注，标注图像中安全帽和口罩的位置和类别，并生成XML标签文件。
进一步地，所述步骤1中使用MixUp算法对安全帽图像数据和口罩图像数据进行加权融合具体包括：
步骤1.5：通过MixUp数据增强算法随机对一张佩戴口罩的图像和一张佩戴安全帽的图像初始图像进行加权处理，得到更多的同时存在安全帽和口罩的图像数据；
步骤1.6：加权融合公式如下：
Figure BDA0003794020190000021
其中，
Figure BDA0003794020190000022
表示新生成的同时存在安全帽和口罩类别的图像数据，xa表示随机一张佩戴口罩的图像，xb表示随机一张佩戴安全帽的图像，λ是MixUp方法的权值，取值范围为λ∈[0.4，0.6]；
步骤1.7：将数据增强后的数据集按照8∶2的比例划分，得到训练数据集D1和测试数据集D2。
进一步地，所述步骤2改进的YOLOv5网络模型包括以下结构：
改进的YOLOv5网络主要包括改进的Backbone模块、改进的Neck模块和Head模块；
所述改进的Backbone模块包括Focus模块、CSP模块、SPP模块和注意力机制NAM模块；Focus模块首先把输入的安全防护品佩戴图片进行切片处理，然后进行Concat操作，再对切片后的图像进行卷积操作，得到304×304大小的初始特征图，CSP模块由卷积块和若干个残差结构组成，对网络中的梯度信息进行优化，通过在特征图中融合梯度信息降低网络的参数量，SPP模块用于特征提取，使用三个不同卷积核对CSP中输出的特征图进行下采样，得到三个特征图，再进行Concat操作，最后将融合后的特征图进行卷积操作；在CSP模块和SPP模块后均插入注意力机制NAM模块，通过使用BN的缩放因子来表示权值的重要程度，NAM模块主要包括通道注意力模块和空间注意力模块；
改进的Neck模块主要包括FPN模块和PAN模块，FPN模块自上而下的对特征图进行上采样操作，增大特征图，将得到的特征图与CSP模块中输出的特征图进行Concat操作，PAN模块自下而上的对特征图进行下采样操作，缩小特征图，将得到的特征图与FPN模块中输出的特征图进行Concat操作，在每个输出后插入改进的Encoder结构，Encoder结构的输出特征图和FPN模块的输出特征图进行Concat操作，进一步的提取更多的特征信息；
改进的Encoder结构，首先对输入的特征图进行展平操作，将特征图展平为一个序列，对该序列进行Positional Encoding操作，用于对图像区域进行位置编码，得到位置序列X，接着是一个Multi-Head Attention层，将Positional Encoding操作的输出和Multi-Head Attention层的输出进行Add操作，再对输出的特征矩阵进行归一化处理并输入多层感知器中，将多层感知器的输出和Add操作的输出再一次进行Add操作，最后对输出的特征矩阵进行归一化处理和Rearrange操作，使改进的Encoder结构的输出符合Head模块的输入要求；
将上述修改后的模块和结构按照YOLOv5的网络形式进行堆叠，得到包含注意力机制NAM模块和Encoder结构的改进的YOLOv5网络模型。
进一步地，所述注意力机制NAM模块通过使用BN的缩放因子来表示权值的重要程度，BN缩放因子公式如下：
Figure BDA0003794020190000041
其中，μB表示mini-batchB中的某个特征图的平均值，σB表示mini-batchB中的某个特征图的标准差，γ和β均通过反向传播训练更新的变换参数，Bout和Bin表示输出和输入的信息。
所述通道注意力模块通过利用网络训练过程中的权重信息来突出显著特征，其公式如下所示：
Mc＝sigmoid(Wγ(BN(F)))，
其中Mc表示输出特征，F表示输入的特征，γ是每个通道的权重因子，Wγ权重的计算公式为：
Figure BDA0003794020190000042
所述空间注意力模块通过应用BN缩放因子对像素的重要性进行判断，其公式如下所示：
Ms＝sigmoid(Wδ(BNs(F)))，
其中，Ms表示输出特征，F表示输入的特征，δ是每个通道的权重因子，Wδ权重的计算公式为：
Figure BDA0003794020190000043
进一步地，对不显著的权重进行抑制，在损失函数中添加了正则化，其公式如下所示：
Loss＝∑(x，y)l(f(x，W)，y)+p∑g(γ)+p∑g(δ)，
其中x、y分别表示输入和输出，W表示网络中的权重，l为损失函数，g表示范数惩罚函数，p是g(γ)和g(δ)的权值。
进一步地，所述Multi-Head Attention层中权重计算公式所示：
Figure BDA0003794020190000044
Q＝XWQ
K＝XWK
V＝XWV
其中，dk为一个Q和K向量的维度，
Figure BDA0003794020190000045
为尺度标量因子，X为输入位置序列，WQ、WK、WV为三个不同的权重矩阵。
进一步地，所述步骤3包括以下步骤：
步骤3.1：设置网络模型参数，设置网络模型的BatchSize为4、初始学习率为5×10-4、迭代次数设为100和IOU为0.5；
步骤3.2：利用训练数据集D1训练上述改进网络，通过反向传播算法不断优化神经网络参数，使网络模型达到最优；
步骤3.3：利用测试数据集D2进行监督学习，通过计算其精确率、召回率和平均准确率，用于进行网络模型评估；
步骤3.4：根据评估结果，对网络中的参数进行调整，得到最优推理模型Mod。
进一步地，所述步骤4包括以下步骤：
步骤4.1：使用所述模型Mod对待检测的安全防护品佩戴图片进行目标检测，标记目标类别位置，得到所有可能包含目标的预测框的坐标位置、置信度和类别概率；
步骤4.2：通过DIOU方法去除冗余的检测框，取置信度最高的检测框输出，删除其余检测框，计算置信度最高的检测框与其他边框的交并比IOU，若该检测框的IOU大于预设的阈值则删除；
步骤4.3：重复步骤4.2直至检测框列表为空，产生最终检测结果，得到待检测图像中的安全防护品佩戴的检测目标的位置和类别。
有益效果：
本发明方法在数据预处理阶段使用MixUp数据增强算法，能够弥补训练数据中同时存在安全帽和口罩的图片数据较少的情况，提高网络识别多目标图片的准确率。在骨干网络中插入注意力机制NAM模块，利用了网络模型训练过程中的原有的权重的信息，对不显著的特征进行抑制，轻量又高效地提高了网络的特征提取能力。在颈部模块中插入改进的Encoder结构，提取图像区域之间的语义关系，进一步提高网络的特征提取能力，满足化工生产过程中安全防护品佩戴检测的精度要求。
附图说明
图1为本发明基于改进YOLOv5的化工安全防护品佩戴检测方法的流程图；
图2为本发明基于改进YOLOv5的化工安全防护品佩戴检测方法的通道注意力机制模块示意图；
图3为本发明基于改进YOLOv5的化工安全防护品佩戴检测方法的空间注意力机制模块示意图；
图4为本发明基于改进YOLOv5的化工安全防护品佩戴检测方法的改进的Encoder结构示意图；
图5为本发明基于改进YOLOv5的化工安全防护品佩戴检测方法的改进的YOLOv5网络结构图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
参见附图1至附图5，本发明公开一种基于改进YOLOv5的化工安全防护品佩戴检测方法，具体包括以下步骤：
步骤1：获取训练图像，使用MixUp算法对安全帽图像数据和口罩图像数据进行加权融合，得到更多存在双目标的训练图像，按比例分配得到训练数据集D1和测试数据集D2。具体方法为：
步骤1.1：通过化工厂的监控图像和公共数据集获取安全防护品佩戴情况的图像，其中安全防护品包括安全帽和口罩。
步骤1.2：对得到的图像进行筛选，选取安全防护品佩戴图像，主要包括不同场景、光线、遮挡和多目标等情况下的图片，并且删除错误图片。
步骤1.3：对筛选后的图像进行归一化处理，将图像按照统一规定命名，统一图像为RGB三通道彩色图，统一图像尺寸。
步骤1.4：利用LabelImg工具对图像进行手动标注，标注图像中安全帽和口罩的位置和类别，并生成XML标签文件。
步骤1.5：同时存在安全帽和口罩类别的图像数据较少，通过MixUp数据增强算法随机对一张佩戴口罩的图像和一张佩戴安全帽的图像初始图像进行加权处理，得到更多的同时存在安全帽和口罩的图像数据。
步骤1.6：上述步骤1.5中的加权融合公式如下：
Figure BDA0003794020190000061
Figure BDA0003794020190000062
表示新生成的同时存在安全帽和口罩类别的图像数据，xa表示随机一张佩戴口罩的图像，xb表示随机一张佩戴安全帽的图像，λ是MixUp方法的权值，取值范围为λ∈[0.4，0.6]。
步骤1.7：将数据增强后的数据集按照8∶2的比例划分，得到训练数据集D1和测试数据集D2。
步骤2：搭建包含注意力机制NAM模块和Encoder结构的改进的YOLOv5网络模型。如图2至图5所示，具体方法为：
步骤2.1：改进的YOLOv5网络主要包括改进的Backbone模块、改进的Neck模块和Head模块。
步骤2.2：改进的Backbone模块主要包括Focus模块、CSP模块、SPP模块和注意力机制NAM模块，Focus模块首先把输入的安全防护品佩戴图片进行切片处理，然后进行Concat操作，再对切片后的图像进行卷积操作，得到304×304大小的初始特征图，CSP模块主要由卷积块和若干个残差结构组成，对网络中的梯度信息进行优化，通过在特征图中融合梯度信息降低网络的参数量，SPP模块用于特征提取，使用三个不同卷积核对CSP中输出的特征图进行下采样，得到三个特征图，再进行Concat操作，最后将融合后的特征图进行卷积操作；在CSP模块和SPP模块后均插入注意力机制NAM模块，通过使用BN的缩放因子来表示权值的重要程度，NAM模块主要包括通道注意力模块和空间注意力模块，BN缩放因子公式如下：
Figure BDA0003794020190000071
其中，μB表示mini-batchB中的某个特征图的平均值，σB表示mini-batchB中的某个特征图的标准差，γ和β均通过反向传播训练更新的变换参数，Bout和Bin表示输出和输入的信息。
步骤2.3：通道注意力模块通过利用网络训练过程中的权重信息来突出显著特征，其公式如下所示：
Mc＝sigmoid(Wγ(BN(F)))，
其中MC表示输出特征，F表示输入的特征，γ是每个通道的权重因子，Wγ权重的计算公式为：
Figure BDA0003794020190000072
步骤2.4：空间注意力模块通过应用BN缩放因子对像素的重要性进行判断，其公式如下所示：
Ms＝sigmoid(Wδ(BNs(F)))，
其中，Ms表示输出特征，F表示输入的特征，δ是每个通道的权重因子，Wδ权重的计算公式为：
Figure BDA0003794020190000081
步骤2.5：上述步骤2.3和步骤2.4中，为了对不显著的权重进行抑制，在损失函数中添加了正则化，其公式如下所示：
Loss＝∑(x，y)l(f(x，W)，y)+p∑g(γ)+p∑g(δ)，
其中，x、y分别表示输入和输出，W表示网络中的权重，1为损失函数，g表示范数惩罚函数，p是g(γ)和g(δ)的权值。
步骤2.6：改进的Neck模块主要包括FPN模块和PAN模块，FPN模块自上而下的对特征图进行上采样操作，增大特征图，将得到的特征图与CSP模块中输出的特征图进行Concat操作，PAN模块自下而上的对特征图进行下采样操作，缩小特征图，将得到的特征图与FPN模块中输出的特征图进行Concat操作，在每个输出后插入改进的Encoder结构，Encoder结构的输出特征图和FPN模块的输出特征图进行Concat操作，进一步的提取更多的特征信息。
步骤2.7：改进的Encoder结构，首先对输入的特征图进行展平操作，将特征图展平为一个序列，对该序列进行Positional Encoding操作，用于对图像区域进行位置编码，得到位置序列X，接着是一个Multi-Head Attention层，将Positional Encoding操作的输出和Multi-Head Attention层的输出进行Add操作，再对输出的特征矩阵进行归一化处理并输入多层感知器中，将多层感知器的输出和Add操作的输出再一次进行Add操作，最后对输出的特征矩阵进行归一化处理和Rearrange操作，使改进的Encoder结构的输出符合Head模块的输入要求。
步骤2.8：上述步骤2.7中，Multi-Head Attention层中权重计算公式所示：
Figure BDA0003794020190000082
Q＝XWQ
K＝XWK
V＝XWV
其中，dk为一个Q和K向量的维度，
Figure BDA0003794020190000083
为尺度标量因子，X为输入位置序列，WQ、WK、WV为三个不同的权重矩阵。
步骤2.9：将上述修改后的模块和结构按照YOLOv5的网络形式进行堆叠，得到包含注意力机制NAM模块和Encoder结构的改进的YOLOv5网络模型。
步骤3：将训练数据集D1和测试数据集D2输入改进的YOLOv5网络模型中，对网络进行训练与测试，得到改进的安全防护品佩戴检测模型Mod。具体方法为：
步骤3.1：设置网络模型参数，设置网络模型的BatchSize为4、初始学习率为5×10-4、迭代次数设为100和IOU为0.5。
步骤3.2：利用训练数据集D1训练上述改进网络，通过反向传播算法不断优化神经网络参数，使网络模型达到最优。
步骤3.3：利用测试数据集D2进行监督学习，通过计算其精确率、召回率和平均准确率，用于进行网络模型评估。
步骤3.4：根据评估结果，对网络中的参数进行调整，得到最优推理模型Mod。
步骤4：将待检测图像输入模型Mod中，得到待检测图像中的安全防护品的检测结果。具体方法为：
步骤4.1：使用上述最优推理模型Mod对待检测的安全防护品佩戴图片进行目标检测，标记目标类别位置，得到所有可能包含目标的预测框的坐标位置、置信度和类别概率。
步骤4.2：通过DIOU方法去除冗余的检测框，取置信度最高的检测框输出，删除其余检测框，计算置信度最高的检测框与其他边框的交并比IOU，若该检测框的IOU大于预设的阈值则删除。
步骤4.3：重复步骤4.2直至检测框列表为空，产生最终检测结果，得到待检测图像中的安全防护品佩戴的检测目标的位置和类别。
上述实施方式只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种基于改进YOLOv5的化工安全防护品佩戴检测方法，其特征在于，包括以下步骤：
步骤1：获取训练图像并进行预处理，使用MixUp数据增强算法对安全帽图像数据和口罩图像数据进行加权融合，得到更多存在双目标的训练图像，按比例分配得到训练数据集D1和测试数据集D2；
步骤2：搭建包含注意力机制NAM模块和Encoder结构的改进的YOLOv5网络模型；
步骤3：搭将训练数据集D1和测试数据集D2输入改进的YOLOv5网络模型中，对网络进行训练与测试，得到改进的安全防护品佩戴检测模型Mod；
步骤4：搭将待检测图像输入模型Mod中，得到待检测图像中的安全防护品的检测结果。
2.根据权利要求1所述的基于改进YOLOv5的化工安全防护品佩戴检测方法，其特征在于，所述步骤1中获取训练图像并进行预处理具体包括以下步骤：
步骤1.1：通过化工厂的监控图像和公共数据集获取安全防护品佩戴情况的图像，其中安全防护品包括安全帽和口罩；
步骤1.2：对得到的图像进行筛选，选取安全防护品佩戴图像，包括不同场景、光线、遮挡和多目标情况下的图片，并且删除错误图片；
步骤1.3：对筛选后的图像进行归一化处理，将图像按照统一规定命名，统一图像为RGB三通道彩色图，统一图像尺寸；
步骤1.4：利用LabelImg工具对图像进行手动标注，标注图像中安全帽和口罩的位置和类别，并生成XML标签文件。
3.根据权利要求2所述的基于改进YOLOv5的化工安全防护品佩戴检测方法，其特征在于，所述步骤1中使用MixUp算法对安全帽图像数据和口罩图像数据进行加权融合具体包括：
步骤1.5：通过MixUp数据增强算法随机对一张佩戴口罩的图像和一张佩戴安全帽的图像初始图像进行加权处理，得到更多的同时存在安全帽和口罩的图像数据；
步骤1.6：加权融合公式如下：
Figure FDA0003794020180000011
其中，
Figure FDA0003794020180000012
表示新生成的同时存在安全帽和口罩类别的图像数据，xa表示随机一张佩戴口罩的图像，xb表示随机一张佩戴安全帽的图像，λ是MixUp方法的权值，取值范围为λ∈[0.4，0.6]；
步骤1.7：将数据增强后的数据集按照8∶2的比例划分，得到训练数据集D1和测试数据集D2。
4.根据权利要求1所述的基于改进YOLOv5的化工安全防护品佩戴检测方法，其特征在于，所述步骤2改进的YOLOv5网络模型包括以下结构：
改进的YOLOv5网络主要包括改进的Backbone模块、改进的Neck模块和Head模块；
所述改进的Backbone模块包括Focus模块、CSP模块、SPP模块和注意力机制NAM模块；Focus模块首先把输入的安全防护品佩戴图片进行切片处理，然后进行Concat操作，再对切片后的图像进行卷积操作，得到304×304大小的初始特征图，CSP模块由卷积块和若干个残差结构组成，对网络中的梯度信息进行优化，通过在特征图中融合梯度信息降低网络的参数量，SPP模块用于特征提取，使用三个不同卷积核对CSP中输出的特征图进行下采样，得到三个特征图，再进行Concat操作，最后将融合后的特征图进行卷积操作；在CSP模块和SPP模块后均插入注意力机制NAM模块，通过使用BN的缩放因子来表示权值的重要程度，NAM模块主要包括通道注意力模块和空间注意力模块；
改进的Neck模块主要包括FPN模块和PAN模块，FPN模块自上而下的对特征图进行上采样操作，增大特征图，将得到的特征图与CSP模块中输出的特征图进行Concat操作，PAN模块自下而上的对特征图进行下采样操作，缩小特征图，将得到的特征图与FPN模块中输出的特征图进行Concat操作，在每个输出后插入改进的Encoder结构，Encoder结构的输出特征图和FPN模块的输出特征图进行Concat操作，进一步的提取更多的特征信息；
改进的Encoder结构，首先对输入的特征图进行展平操作，将特征图展平为一个序列，对该序列进行Positional Encoding操作，用于对图像区域进行位置编码，得到位置序列X，接着是一个Multi-Head Attention层，将Positional Encoding操作的输出和Multi-HeadAttention层的输出进行Add操作，再对输出的特征矩阵进行归一化处理并输入多层感知器中，将多层感知器的输出和Add操作的输出再一次进行Add操作，最后对输出的特征矩阵进行归一化处理和Rearrange操作，使改进的Encoder结构的输出符合Head模块的输入要求；
将上述修改后的模块和结构按照YOLOv5的网络形式进行堆叠，得到包含注意力机制NAM模块和Encoder结构的改进的YOLOv5网络模型。
5.根据权利要求4所述的基于改进YOLOv5的化工安全防护品佩戴检测方法，其特征在于，所述注意力机制NAM模块通过使用BN的缩放因子来表示权值的重要程度，BN缩放因子公式如下：
Figure FDA0003794020180000031
其中，μB表示mini-batchB中的某个特征图的平均值，σB表示mini-batchB中的某个特征图的标准差，γ和β均通过反向传播训练更新的变换参数，Bout和Bin表示输出和输入的信息。
所述通道注意力模块通过利用网络训练过程中的权重信息来突出显著特征，其公式如下所示：
Mc＝sigmoid(Wγ(BN(F)))，
其中Mc表示输出特征，F表示输入的特征，γ是每个通道的权重因子，Wγ权重的计算公式为：
Figure FDA0003794020180000032
所述空间注意力模块通过应用BN缩放因子对像素的重要性进行判断，其公式如下所示：
Ms＝sigmoid(Wδ(BNs(F)))，
其中，Ms表示输出特征，F表示输入的特征，δ是每个通道的权重因子，Wδ权重的计算公式为：
Figure FDA0003794020180000033
6.根据权利要求5所述的基于改进YOLOv5的化工安全防护品佩戴检测方法，其特征在于，对不显著的权重进行抑制，在损失函数中添加了正则化，其公式如下所示：
Loss＝∑(x，y)l(f(x，W)，y)+p∑g(γ)+p∑g(δ)，
其中x、y分别表示输入和输出，W表示网络中的权重，l为损失函数，g表示范数惩罚函数，p是g(γ)和g(δ)的权值。
7.根据权利要求4所述的基于改进YOLOv5的化工安全防护品佩戴检测方法，其特征在于，所述Multi-Head Attention层中权重计算公式所示：
Figure FDA0003794020180000041
Q＝XWQ
K＝XWK
V＝XWV
其中，dk为一个Q和K向量的维度，
Figure FDA0003794020180000042
为尺度标量因子，X为输入位置序列，WQ、WK、WV为三个不同的权重矩阵。
8.根据权利要求1所述的基于改进YOLOv5的化工安全防护品佩戴检测方法，其特征在于，所述步骤3包括以下步骤：
步骤3.1：设置网络模型参数，设置网络模型的BatchSize为4、初始学习率为5×10-4、迭代次数设为100和IOU为0.5；
步骤3.2：利用训练数据集D1训练上述改进网络，通过反向传播算法不断优化神经网络参数，使网络模型达到最优；
步骤3.3：利用测试数据集D2进行监督学习，通过计算其精确率、召回率和平均准确率，用于进行网络模型评估；
步骤3.4：根据评估结果，对网络中的参数进行调整，得到最优推理模型Mod。
9.根据权利要求1至8任一所述的基于改进YOLOv5的化工安全防护品佩戴检测方法，其特征在于，所述步骤4包括以下步骤：
步骤4.1：使用所述模型Mod对待检测的安全防护品佩戴图片进行目标检测，标记目标类别位置，得到所有可能包含目标的预测框的坐标位置、置信度和类别概率；
步骤4.2：通过DIOU方法去除冗余的检测框，取置信度最高的检测框输出，删除其余检测框，计算置信度最高的检测框与其他边框的交并比IOU，若该检测框的IOU大于预设的阈值则删除；
步骤4.3：重复步骤4.2直至检测框列表为空，产生最终检测结果，得到待检测图像中的安全防护品佩戴的检测目标的位置和类别。
CN202210964797.1A 2022-08-11 2022-08-11 基于改进YOLOv5的化工生产过程中安全防护品佩戴检测方法 Pending CN115205604A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210964797.1A CN115205604A (zh) 2022-08-11 2022-08-11 基于改进YOLOv5的化工生产过程中安全防护品佩戴检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210964797.1A CN115205604A (zh) 2022-08-11 2022-08-11 基于改进YOLOv5的化工生产过程中安全防护品佩戴检测方法

Publications (1)

Publication Number Publication Date
CN115205604A true CN115205604A (zh) 2022-10-18

Family

ID=83586519

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210964797.1A Pending CN115205604A (zh) 2022-08-11 2022-08-11 基于改进YOLOv5的化工生产过程中安全防护品佩戴检测方法

Country Status (1)

Country Link
CN (1) CN115205604A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546614A (zh) * 2022-12-02 2022-12-30 天津城建大学 一种基于改进yolov5模型的安全帽佩戴检测方法
CN115830533A (zh) * 2022-11-25 2023-03-21 淮阴工学院 基于K-means聚类改进YOLOv5算法的安全帽佩戴检测方法
CN116189115A (zh) * 2023-04-24 2023-05-30 青岛创新奇智科技集团股份有限公司 车型识别方法、电子设备和可读存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115830533A (zh) * 2022-11-25 2023-03-21 淮阴工学院 基于K-means聚类改进YOLOv5算法的安全帽佩戴检测方法
CN115546614A (zh) * 2022-12-02 2022-12-30 天津城建大学 一种基于改进yolov5模型的安全帽佩戴检测方法
CN116189115A (zh) * 2023-04-24 2023-05-30 青岛创新奇智科技集团股份有限公司 车型识别方法、电子设备和可读存储介质

Similar Documents

Publication Publication Date Title
CN108427920B (zh) 一种基于深度学习的边海防目标检测方法
CN110348376B (zh) 一种基于神经网络的行人实时检测方法
CN115205604A (zh) 基于改进YOLOv5的化工生产过程中安全防护品佩戴检测方法
CN100423020C (zh) 一种基于结构主元分析的人脸识别方法
CN109816695A (zh) 一种复杂背景下的红外小型无人机目标检测与跟踪方法
CN112949572B (zh) 基于Slim-YOLOv3的口罩佩戴情况检测方法
CN112836713A (zh) 基于图像无锚框检测的中尺度对流系统识别与追踪方法
CN109034092A (zh) 用于监控系统的异常事件检测方法
CN113159120A (zh) 一种基于多尺度跨图像弱监督学习的违禁物检测方法
CN111079640A (zh) 一种基于自动扩增样本的车型识别方法及系统
CN109145836A (zh) 基于深度学习网络和卡尔曼滤波的船只目标视频检测方法
CN111832484A (zh) 一种基于卷积感知哈希算法的回环检测方法
CN113139489B (zh) 基于背景提取和多尺度融合网络的人群计数方法及系统
CN115331172A (zh) 一种基于监控视频的车间危险行为识别报警方法及系统
CN112149664B (zh) 一种优化分类与定位任务的目标检测方法
CN109191418A (zh) 一种基于收缩自编码器特征学习的遥感图像变化检测方法
CN115661747A (zh) 一种基于计算机视觉的仓储货物数量估算方法
Zuo et al. A remote sensing image semantic segmentation method by combining deformable convolution with conditional random fields
CN115830449A (zh) 显式轮廓引导和空间变化上下文增强的遥感目标检测方法
CN112989958A (zh) 基于YOLOv4与显著性检测的安全帽佩戴识别方法
CN113052226A (zh) 一种基于单步检测器的时序性火灾识别方法及系统
CN117218545A (zh) 基于LBP特征与改进Yolov5的雷达图像检测方法
CN114549391A (zh) 一种基于偏振先验的电路板表面缺陷检测方法
CN117011280A (zh) 基于点云分割的3d打印混凝土墙质量监测方法及系统
CN115830381A (zh) 基于改进YOLOv5的员工未佩戴口罩检测方法及相关组件

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination