CN113781469A - 基于yolo改进模型的安全头盔佩戴检测的方法及系统 - Google Patents

基于yolo改进模型的安全头盔佩戴检测的方法及系统 Download PDF

Info

Publication number
CN113781469A
CN113781469A CN202111118606.1A CN202111118606A CN113781469A CN 113781469 A CN113781469 A CN 113781469A CN 202111118606 A CN202111118606 A CN 202111118606A CN 113781469 A CN113781469 A CN 113781469A
Authority
CN
China
Prior art keywords
image
training
improved
detected
helmet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111118606.1A
Other languages
English (en)
Inventor
孟庆虎
倪男
胡超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiaxing Research Institute Of South University Of Science And Technology
Original Assignee
Jiaxing Research Institute Of South University Of Science And Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiaxing Research Institute Of South University Of Science And Technology filed Critical Jiaxing Research Institute Of South University Of Science And Technology
Priority to CN202111118606.1A priority Critical patent/CN113781469A/zh
Publication of CN113781469A publication Critical patent/CN113781469A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于YOLO改进模型的安全头盔佩戴检测的方法及系统。通过施工现场的监控图像获得训练图像和待检测图像，其中所述监控图像包括工作人员佩戴头盔的图像；将所述训练图像输入到基于YOLOv5结构改进的网络模型进行优化训练，得到改进模型；将所述待检测图像输入到所述改进模型并输出所述待检测图像中头盔佩戴的预测结果。本发明通过采取改进的CSPDarknet53提取目标特征，增加检测颈在YOLO基础上的特征融合的尺度，并在输出端增加了新的检测头以负责小目标的检测。通过获得先验尺寸特征，同时对损失函数和预测框筛选等指标进行了优化。提高改进模型对施工现场安全头盔佩戴检测的准确性，从而保证建筑施工的安全性。

Description

基于YOLO改进模型的安全头盔佩戴检测的方法及系统
技术领域
本发明涉及工业安全处理技术，尤其涉及一种基于YOLO改进的模型的安全头盔佩戴检测的方法及系统。
背景技术
建筑生产环境中保障施工安全是企业在生产过程中的首要原则。在施工现场产生的安全事故当中，最为主要的事故原因是施工现场的工作者并未严格遵循施工的安全规范。其中佩戴安全头盔是意外发生时最可靠的安全保障。因此是否能够及时检测和提醒施工人员佩戴好安全头盔是保障施工安全的重要措施。
在自动化的检测技术尚未诞生之前，该类型的检测任务通常通过人工监视来解决，带来了效率低、消耗人力资源大等种种问题。
即使采用神经网络具体通过人工设计特征提取器和分类器实现。然而在实际的检测应用当中，目标所处的环境变化很大，且对象本身的特征比较复杂。人工设计特征提取器很难将所有因素都考虑在内，可能只能简单抽象出头盔的边缘特征、颜色特征等等，因此训练出的模型泛化效果不佳，尤其当涉及到比较复杂的背景情况和应用场景时表现效果明显下降。
发明内容
本发明实施例提供一种基于YOLO改进模型的安全头盔佩戴检测的方法及系统，通过采取改进的CSPDarknet53提取目标特征，增加检测颈在YOLO基础上的特征融合的尺度，并在输出端增加了新的检测头以负责小目标的检测。通过获得先验尺寸特征，同时对损失函数和预测框筛选等指标进行了优化。提高了改进模型对施工现场安全头盔佩戴检测的准确性，从而保证建筑施工的安全性。
本发明实施例的第一方面，提供一种基于YOLO改进模型的安全头盔佩戴检测的方法，所述方法包括：
通过施工现场的监控图像获得训练图像和待检测图像，其中所述监控图像包括工作人员佩戴头盔的图像；
将所述悬链图像输入到基于YOLOv5结构改进的网络模型进行优化训练，得到改进模型；
将所述待检测图像输入到所述改进模型并输出所述待检测图像中头盔佩戴的预测结果。
可选地，在第一方面的一种可能实现方式中，所述通过施工现场的监控图像获得训练图像和待检测图像，包括：
分别将不同分辨率的所述监控图像调节至预设尺寸的第一图像，
分别将所述第一图像中未佩戴头盔的头部和佩戴头盔的头部进行标注，得到所述训练图像和所述待检测图像。
可选地，在第一方面的一种可能实现方式中，在将所述训练图像或者所述待检测图像输入到改进模型之前，还包括：
对所述训练图像或者所述待检测图像进行色彩增强、去雾增强，以及缩放、旋转、拼接。
可选地，在第一方面的一种可能实现方式中，所述基于YOLOv5结构改进的网络模型，包括：
构建YOLOv5网络模型提供的改进的CSPDarkNet53深度网络，以便对所述训练图像进行图像特征的提取；
基于YOLOv5网络模型提供的三个检测粒度范围，增加特征融合尺度的检测颈以及增加负责小目标预测的检测头进行所述图像特征检测，输出预测网格对应的所述图像特征。
可选地，在第一方面的一种可能实现方式中，所述基于YOLOv5结构改进的网络模型进行优化训练，还包括：
采用K-means算法和交并比损失函数获得目标先验特征尺寸，并且对输出端参数绑定。
可选地，在第一方面的一种可能实现方式中，所述基于YOLOv5结构改进的网络模型进行优化训练，得到改进模型，包括：
训练输入获得特征参数，经过所述检测颈进行特征融合后，经由所述检测头输出对应的预测参数；
计算损失函数；
根据所述损失函数，采用均方根传播(RMSProp)作为反向传播优化器，训练网络模型，更新网络模型的权值。
可选地，在第一方面的一种可能实现方式中，所述损失函数为：
loss＝Lgiou+Lobj+Lcls；
Figure BDA0003276216780000031
Figure BDA0003276216780000032
Figure BDA0003276216780000033
Figure BDA0003276216780000034
Figure BDA0003276216780000035
其中，交并比损失Lgiou，反应正样本预测框和对应实际框之间的位置和尺寸差异损失；置信度损失Lobj，反应正样本预测框置信度和负样本预测框置信度和实际情况之间的差异损失；分类损失Lcls，反应正样本预测框的分类预测参数和对应实际框的实际分类之间的差异损失，采用交叉熵损失；λc用于实现平衡两类目标的损失函数贡献；αc和βc分别用于放大对未佩戴安全帽目标存在却未被检测和未佩戴安全帽目标被误分类这两种情况的惩罚。
可选地，在第一方面的一种可能实现方式中，所述方法还包括：
经过DIoU非极大抑制后输出所述预测结果。
可选地，在第一方面的一种可能实现方式中，所述方法还包括：
若所述预测结果果中存在未佩戴安全头盔的人头目标，进行报警。
本发明实施例的第二方面，提供一种基于YOLO改进模型的安全头盔佩戴检测的系统，所述系统包括：
获取模块，用于通过施工现场的监控图像获得训练图像和待检测图像，其中所述监控图像包括工作人员佩戴头盔的图像；
训练模块，用于将所述训练图像输入到基于YOLOv5结构改进的网络模型进行优化训练，得到改进模型；
检测模块，用于将所述待检测图像输入到所述改进模型并输出待检测图像中头盔佩戴的预测结果。
本发明实施例的第三方面，提供一种基于YOLO改进模型的安全头盔佩戴检测的设备，包括：存储器、处理器以及计算机程序，所述计算机程序存储在所述存储器中，所述处理器运行所述计算机程序执行本发明第一方面及第一方面各种可能涉及的所述方法。
本发明实施例的第四方面，提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现本发明第一方面及第一方面各种可能涉及的所述方法。
本发明提供的一种基于YOLO改进模型的安全头盔佩戴检测的方法及系统，通过施工现场的监控图像获得训练图像和待检测图像，其中所述监控图像包括工作人员佩戴头盔的图像；将所述训练图像输入到基于YOLOv5结构改进的网络模型进行优化训练，得到改进模型；将所述待检测图像输入到所述改进模型并输出所述待检测图像中头盔佩戴的预测结果。本发明通过将主干网络采取改进的CSPDarknet53来提取目标特征，在YOLO基础上增加了特征融合尺度的检测颈。输出端还增加了新的检测头以负责小目标的检测。该模型采用聚类算法对训练目标进行聚类，获得具有代表性的12个聚类中心作为先验尺寸特征，同时针对任务漏警率要求、目标分类等相关特性，对损失函数和预测框筛选等指标进行了优化设计。最终输出端输出预测框参数经过预测框筛选输出检测结果并实现报警。提高了改进模型对施工现场安全头盔佩戴检测的准确性，从而保证建筑施工的安全性。
附图说明
图1是本发明实施例提供的一种基于YOLO改进模型的安全头盔佩戴检测的方法流程示意图；
图2为本发明实施例提供改进模型的示意图；
图3为本发明实施例提供的反应聚类中心数量和聚类目标函数之间的关系示意图；
图4为本发明实施例提供的改进模型训练流程图；
图5为本发明实施例提供的改进模型安全头盔佩戴检测的输出效果示意图；
图6是本发明实施例提供的一种基于YOLO改进模型的安全头盔佩戴检测系统的结构示意图；
图7是本发明实施例提供的一种基于YOLO改进模型的安全头盔佩戴检测的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
应当理解，在本发明的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
应当理解，在本发明中，“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本发明中，“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含A、B和C”、“包含A、B、C”是指A、B、C三者都包含，“包含A、B或C”是指包含A、B、C三者之一，“包含A、B和/或C”是指包含A、B、C三者中任1个或任2个或3个。
应当理解，在本发明中，“与A对应的B”、“与A相对应的B”、“A与B相对应”或者“B与A相对应”，表示B与A相关联，根据A可以确定B。根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。A与B的匹配，是A与B的相似度大于或等于预设的阈值。
取决于语境，如在此所使用的“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
建筑生产环境中保证施工安全是生产过程中的首要原则，然而施工现场生产的安全事故中，最为主要的事故原因是施工现场的工作者未严格遵循施工的安全规范，例如未按照要求佩戴安全头盔，但佩戴安全头盔是意外发生时最可靠的安全保障，因此检测以及提醒工作人员佩戴好安全头盔是保障施工安全的重要措施。
本发明通过施工现场的监控图像获得训练图像和待检测图像，其中所述监控图像包括工作人员佩戴头盔的图像；将所述训练图像输入到基于YOLOv5结构改进的网络模型进行优化训练，得到改进模型；将所述待检测图像输入到改进模型并输出待检测图像中头盔佩戴的预测结果。本发明通过采取改进的CSPDarknet53提取目标特征，增加检测颈在YOLO基础上的特征融合的尺度，并在输出端增加了新的检测头以负责小目标的检测。通过获得先验尺寸特征，同时对损失函数和预测框筛选等指标进行了优化。提高改进模型对施工现场安全头盔佩戴检测的准确性，从而保证建筑施工的安全性。
图1是本发明实施例提供的一种基于YOLO改进模型的安全头盔佩戴检测的方法流程示意图。如图1所示，本实施例基于YOLO改进模型的安全头盔佩戴检测的方法可以包括步骤S101至步骤S103，具体如下：
S101、通过施工现场的监控图像获得训练图像和待检测图像，其中所述监控图像包括工作人员佩戴头盔的图像。
本实施例中采集实际监控场景下的监控图像。通过将监控图像的大小调整为固定尺寸，例如调整为640×640大小的图像。由于监控图像质量差异，对于高分辨率图像和低分辨率图像分别进行处理。具体地，对于高分辨率图像，直接通过线性变换的模式得到对应尺寸的图像。对于低分辨率图像，采用训练好的基础超分模型SRCNN进行超分，得到对应尺寸的图像。无论哪种情况最终都可以得到尺寸为640×640的监控图像。然后根据经验分别标注出监控图像中的佩戴头盔的头部和未佩戴头盔的头部，从而随机调配分别得到训练图像和待检测图像。训练图像用于训练改进模型直至确定稳定后最终得到改进模型。待检测图像用于在将其输入该改进模型输出图像中头盔佩戴的预测结果，还可以通过对比得出结果。即不仅可以测试该改进模型的性能，还可以用来验证该改进模型与现有YOLOv5网络模型的训练对比结果。
S102、将所述训练图像输入到基于YOLOv5结构改进的网络模型进行优化训练，得到改进模型。
本实施例通过采用YOLOv5网络模型提供的改进的CSPDarkNet53深度网络提取输入端图像数据的特征。为了支撑后续检测颈中新增的小目标尺度，对第一个CSP模块进行适度的加深。同时采用增加特征融合尺度的检测颈结构以及增加负责小目标预测的检测头，用于增强小目标检测能力。进而可以通过训练优化将该模型优化训练确定下来，从而得到改进模型，以便后续获取待检测图像中头盔佩戴的预测结果。
S103、将所述待检测图像输入到改进模型并输出待检测图像中头盔佩戴的预测结果。
本实施例将待检测图像输入主干网络获得特征参数，经过检测颈进行特征融合后，经由检测头输出对应的预测参数。对预测框进行预测框筛选，输出最终预测结果。如果预测结果中存在未佩戴安全头盔的头部目标，则模型进行报警。
本发明通过采取改进的CSPDarknet53提取目标特征，增加检测颈在YOLO基础上的特征融合的尺度，并在输出端增加了新的检测头以负责小目标的检测。通过获得先验尺寸特征，同时对损失函数和预测框筛选等指标进行了优化。提高了检测的准确性，从而保证建筑施工的安全性。
在一些实施例中，通过施工现场的监控图像获得训练图像和待检测图像，包括：
分别将不同分辨率的所述监控图像调节至预设尺寸的第一图像，
分别将所述第一图像中未佩戴头盔的头部和佩戴头盔的头部进行标注，得到所述训练图像和所述待检测图像。
本实施例采用监控图像通过改进模型来预测图像中工作人员是否佩戴有安全头盔，在实际应用中需将监控图像进行处理，来构建训练数据集，具体地，先进行施工现场监控图像的收集。然后根据图像的大小将监控图像分为两类，一类若图像尺寸大于320×320，直接改变其大小为预设尺寸；若图像尺寸小于320×320，需通过事先训练好的SRCNN超分模型进行超分。其中SRCNN是一个结构比较简单的端到端的超分算法。
其中，对于高分辨率图像，直接通过线性变换的模式得到对应尺寸的第一图像。
对于低分辨率图像，采用训练好的基础超分模型SRCNN进行超分，得到对应尺寸的第一图像。即将不同分辨率的监控图像调节至尺寸为640×640的第一图像。无论哪种情况最终都可以得到尺寸为640×640的监控图像。
然后根据经验分别标注出监控图像中的佩戴头盔的头部和未佩戴头盔的头部，并且标注信息采用PASCAL VOC的xml文件格式进行储存。
将上述包含标注信息的图像分别构建好数据集，例如训练集、验证集和测试集。一种实施例中可以按照7:1:2的比例随机分配为训练集、验证集和测试集。其中训练集中包含训练图像，验证集和测试集中包含待检测图像。
在一些实施例中，在将所述训练图像或者所述待检测图像输入到所述改进模型之前，还包括：
对所述训练图像或者待检测图像进行色彩增强、去雾增强，以及缩放、旋转、拼接。
由于监控图像多是户外图像，受环境光照、湿度等影响严重。因此对训练图像和待检测图像进行色彩加强，例如采用已训练好的教轻量的Retinex网络模型对图像进行色彩增强，去除一部分环境噪声。
在一些实施例中，针对训练集中的训练图像采用YOLO模型自带的mosaic算法对训练图像进行拼缩放、旋转、拼接，从而丰富训练数据，拓展数据集中目标的尺寸和位置范围。
在一些实施例中，所述基于YOLOv5结构改进的网络模型，包括：
构建YOLOv5网络模型提供的改进的CSPDarkNet53深度网络，以便对所述训练图像进行图像特征的提取；
基于YOLOv5网络模型提供的三个检测粒度范围，增加特征融合尺度的检测颈以及增加负责小目标预测的检测头进行所述图像特征检测，输出预测网格对应的所述图像特征。
本发明实施例构建改进模型，首先构建输入端，用于输入训练图像。
然后构建主干网络，通过采用YOLOv5网络模型改进的CSPDarkNet53深度网络提取训练图像的特征。在一些实施例中为了支撑后续检测颈中新增的小目标尺度，对第一个CSP模块进行适度的加深，在原基础上增加1倍的残差网络单元。如图2所示，图2为本发明实施例提供改进模型的示意图，如图2所示，新增160*160*3*(5+2)的检测头结构。不仅可以保证效率，同时提高了小目标尺度的特征提取能力。
构建检测颈和检测头，在YOLOv5网络模型提供的检测颈和检测头模型上增加新的模型融合尺度和专门负责小目标预测的检测头，用于增强小目标检测能力。其中YOLOv5网络模型基础的检测颈提供了三个检测粒度范围，其中最小预测输出的粒度为80×80个预测网格，单个网格大小为8×8大小。
本发明实施例训练集中的目标对象经过尺寸聚类之后发现，聚类尺寸为10*12大小的小目标大约占目标总数的10％。因此本发明实施例通过添加更细粒度的特征融合尺度和预测输出粒度，可以获得160×160个预测网格，单个网格大小为4×4大小。
在一些实施例中，基于YOLOv5结构改进的网络模型进行优化训练，还包括：
采用K-means算法和交兵比损失函数获得目标先验特征尺寸，并且对输出端参数绑定。
本发明实施例获取目标先验特征尺寸，具体地采用K-means算法作为聚类算法，代表目标和聚类中心之间尺寸差异的距离函数通过计算交并比获得。本实施例中需将距离函数替换为损失函数，比如下文中的交并比损失。
在某特定聚类中心数量下，采用训练图像中的头部标注尺寸作为输入，经过训练得到该数量下对应的先验特征尺寸。
在一些实施例中从小到大不断增加聚类中心数量，重复训练。直到新增聚类中心后，不再有明显的损失函数下降。图3为本发明实施例提供的反应聚类中心数量和聚类目标函数之间的关系示意图，如图3所示，聚类簇数(num_cluster)随着iou呈一定的曲线变化。从而选定当前数量的聚类中心作为最终的目标先验特征尺寸，其中数量尽可能是预测头个数的倍数，以便平均的分配绑定。
结合上述实施例，本发明实施例将最终的若干个先验特征尺寸按面积从小到大排序，并且按照输出端检测头预测网格尺寸从小到大的顺序进行平均分配。
具体地，后续的训练和实际预测过程中每个预测网格将负责预测被分配个数的预测框，同时每个预测框的预测参数包含4个基于对应先验特征尺寸参数的偏移量尺寸参数，1个置信度参数和2个分类参数。
在一些实施例中，所述基于YOLOv5结构改进的网络模型进行优化训练，得到改进模型，包括：
训练输入获得特征参数，经过所述检测颈进行特征融合后，经由所述检测头输出对应的预测参数；
计算损失函数；
根据所述损失函数，采用均方根传播(RMSProp)作为反向传播优化器，训练网络模型，更新网络模型的权值。
本发明实施例参考图4，图4为本发明实施例提供的改进模型训练流程图，如图4所示，利用高斯函数将网络模型的权值参数初始化为比较小的值，并且设定模型的迭代次数、每轮训练所用训练集大小，学习衰减率，正负样本判别IoU阈值等超参数。对训练图像进行随机采样，获得一批训练图像并将其输入模型。
训练过程中首先进行前向传播。输入经过主干网络获得特征参数，经过检测颈进行特征融合后，经由检测头输出对应的预测参数。
本发明实施例中计算损失函数如下，其中交并比损失如公式一，反应正样本预测框和对应实际框之间的位置和尺寸差异损失。
Figure BDA0003276216780000111
其中置信度损失，反应正样本预测框置信度和负样本预测框置信度和实际情况之间的差异损失，如公式二所示。其中λc用于实现平衡两类目标的损失函数贡献，防止由于头盔目标和头部目标数量不均衡导致的训练偏差。αc用于放大对未佩戴安全帽目标存在却未被检测情况出现时的训练惩罚。
Figure BDA0003276216780000112
Figure BDA0003276216780000113
其中分类损失，反应正样本预测框的分类预测参数和对应实际框的实际分类之间的差异损失，采用交叉熵损失，如公式四所示。其中λc用于实现平衡两类目标的损失函数贡献，防止由于头盔目标和人头目标数量不均衡导致的训练偏差。βc用于放大对未佩戴安全帽目标被误分类这种情况的惩罚。
Figure BDA0003276216780000114
Figure BDA0003276216780000115
将上述三类损失相加，计算得到当前训练输出的总体损失，如公式六。
loss＝Lgiou+Lobj+Lcls (公式六)
根据所述损失函数如公式六，采用均方根传播(RMSProp)作为反向传播优化器，训练网络模型，更新网络模型的权值。
直到训练到达迭代次数，保存训练过程的相关数据和训练好的网络模型的权值。
在一些实施例中，经过DIoU非极大抑制后输出所述预测结果。
本发明实施例将验证集数据输入改进模型中，得到网络模型预测参数输出。在获得输出的预测框参数后，调整固定置信度阈值对预测框进行筛选。在预测过程中，适当调整按一定比例放宽预测分类为未佩戴安全帽目标的置信度筛选阈值。牺牲一定误警率的条件下，提升漏警率表现。如果被判定为小目标，进一步调整放宽筛选置信度阈值。整非最大抑制阈值，经过DIoU非极大抑制后输出最后的预测结果。通过与标注数据的对比获得预测结果在安全头盔目标和未佩戴安全头盔人头目标上的检测表现。根据输出在验证集上的表现，若继续进行预测框筛选参数调整，直到合适预测框筛选参数，若已获得合适的预测框筛选参数，保存该预测参数用于后续的预测。
本发明采用训练好的改进模型，输入训练图像，训练输入经过主干网络获得特征参数，经过检测颈进行特征融合后，经由检测头输出对应的预测参数。对预测框进行预测框筛选，输出最终预测结果：获取训练时保存的预测筛选参数阈值。获得模型输出的预测框参数后，采用置信度阈值对预测框进行筛选。在预测过程中，适当按一定比例放宽预测若预测框分类为未佩戴安全帽的人头目标，采用放宽后的置信度阈值。如果进一步被判定为小目标，采用进一步放宽后的置信度阈值筛选。经过DIoU非极大抑制后输出最后的预测结果。
在一些实施例中，若所述预测结果果中存在未佩戴安全头盔的人头目标，进行报警。如果预测结果中存在未佩戴安全头盔的头部目标，则模型进行报警。
本发明的检测表现如图5所示，图5为本发明实施例提供的改进模型安全头盔佩戴检测的输出效果示意图，如图5所示左图为基础YOLO模型的检测输出，右图为该方法检测输出，可以看到改进后的模型可以准确的检测出佩戴安全头盔的目标和未佩戴安全头盔的人头目标。同时相比于基础的YOLO网络模型，检测出了一些原来检测不出的小目标。对两类目标，模型在测试集上的表现相比于基础的YOLO网络模型都有明显的提升，整体的mAP提升了1.7％，达到了96.2％未佩戴头盔对象的漏警率下降了3.3％，达到了96.8％。
图6是本发明实施例提供的一种基于YOLO改进模型的安全头盔佩戴检测系统的结构示意图，如图6所示，该系统10包括：
获取模块11，用于通过施工现场的监控图像获得训练图像和待检测图像，其中所述监控图像包括工作人员佩戴头盔的图像；
训练模块12，用于将所述训练图像输入到基于YOLOv5结构改进的网络模型进行优化训练，得到改进模型；
检测模块13，用于将所述待检测图像输入到所述改进模型并输出所述待检测图像中头盔佩戴的预测结果。
图6所示实施例的系统对应地可用于执行图1所示方法实施例中的步骤，其实现原理和技术效果类似，此处不再赘述。
图7是本发明实施例提供的一种基于YOLO改进模型的安全头盔佩戴检测的硬件结构示意图，该设备20包括：处理器21、存储器22和计算机程序；其中
存储器22，用于存储所述计算机程序，该存储器还可以是闪存(flash)。所述计算机程序例如是实现上述方法的应用程序、功能模块等。
处理器21，用于执行所述存储器存储的计算机程序，以实现上述方法中设备执行的各个步骤。具体可以参见前面方法实施例中的相关描述。
可选地，存储器22既可以是独立的，也可以跟处理器21集成在一起。
当所述存储器22是独立于处理器21之外的器件时，所述设备还可以包括：
总线23，用于连接所述存储器22和处理器21。
本发明还提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现上述的各种实施方式提供的方法。
其中，可读存储介质可以是计算机存储介质，也可以是通信介质。通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。计算机存储介质可以是通用或专用计算机能够存取的任何可用介质。例如，可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(ApplicationSpecific Integrated Circuits，简称：ASIC)中。另外，该ASIC可以位于用户设备中。当然，处理器和可读存储介质也可以作为分立组件存在于通信设备中。可读存储介质可以是只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本发明还提供一种程序产品，该程序产品包括执行指令，该执行指令存储在可读存储介质中。设备的至少一个处理器可以从可读存储介质读取该执行指令，至少一个处理器执行该执行指令使得设备实施上述的各种实施方式提供的方法。
在上述设备的实施例中，应理解，处理器可以是中央处理单元(英文：CentralProcessing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：DigitalSignal Processor，简称：DSP)、专用集成电路(英文：Application Specific IntegratedCircuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于YOLO改进模型的安全头盔佩戴检测的方法，其特征在于，所述方法包括：
通过施工现场的监控图像获得训练图像和待检测图像，其中所述监控图像包括工作人员佩戴头盔的图像；
将所述训练图像输入到基于YOLOv5结构改进的网络模型进行优化训练，得到改进模型；
将所述待检测图像输入到所述改进模型并输出所述待检测图像中头盔佩戴的预测结果。
2.根据权利要求1所述的方法，其特征在于，所述通过施工现场的监控图像获得训练图像和待检测图像，包括：
分别将不同分辨率的所述监控图像调节至预设尺寸的第一图像，
分别将所述第一图像中未佩戴头盔的头部和佩戴头盔的头部进行标注，得到所述训练图像和所述待检测图像。
3.根据权利要求2所述的方法，其特征在于，在将所述训练图像或者所述待检测图像输入到所述改进模型之前，还包括：
对所述训练图像或者所述待检测图像进行色彩增强、去雾增强，以及缩放、旋转、拼接。
4.根据权利要求1所述的方法，其特征在于，所述基于YOLOv5结构改进的网络模型，包括：
构建YOLOv5网络模型提供的改进的CSPDarkNet53深度网络，以便对所述训练图像进行图像特征的提取；
基于YOLOv5网络模型提供的三个检测粒度范围，增加特征融合尺度的检测颈以及增加负责小目标预测的检测头进行所述图像特征检测，输出预测网格对应的所述图像特征。
5.根据权利要求4所述的方法，其特征在于，所述基于YOLOv5结构改进的网络模型进行优化训练，还包括：
采用K-means算法和交并比损失函数获得目标先验特征尺寸，并且对输出端参数绑定。
6.根据权利要求5所述的方法，其特征在于，所述基于YOLOv5结构改进的网络模型进行优化训练，得到改进模型，包括：
训练输入获得特征参数，经过所述检测颈进行特征融合后，经由所述检测头输出对应的预测参数；
计算损失函数；
根据所述损失函数，采用均方根传播(RMSProp)作为反向传播优化器，训练网络模型，更新网络模型的权值。
7.根据权利要求6所述的方法，其特征在于，所述损失函数为：
loss＝Lgiou+Lobj+Lcls；
Figure FDA0003276216770000021
Figure FDA0003276216770000022
Figure FDA0003276216770000023
Figure FDA0003276216770000024
Figure FDA0003276216770000025
其中，交并比损失Lgiou，反应正样本预测框和对应实际框之间的位置和尺寸差异损失；置信度损失Lobj，反应正样本预测框置信度和负样本预测框置信度和实际情况之间的差异损失；分类损失Lcls，反应正样本预测框的分类预测参数和对应实际框的实际分类之间的差异损失，采用交叉熵损失；λc用于实现平衡两类目标的损失函数贡献；αc和βc分别用于放大对未佩戴安全帽目标存在却未被检测和未佩戴安全帽目标被误分类这两种情况的惩罚。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
经过DIoU非极大抑制后输出所述预测结果。
9.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若所述预测结果果中存在未佩戴安全头盔的人头目标，进行报警。
10.一种基于YOLO改进模型的安全头盔佩戴检测的系统，其特征在于，所述系统包括：
获取模块，用于通过施工现场的监控图像获得训练图像和待检测图像，其中所述监控图像包括工作人员佩戴头盔的图像；
训练模块，用于将所述训练图像输入到基于YOLOv5结构改进的网络模型进行优化训练，得到改进模型；
检测模块，用于将所述待检测图像输入到所述改进模型并输出所述待检测图像中头盔佩戴的预测结果。
CN202111118606.1A 2021-09-24 2021-09-24 基于yolo改进模型的安全头盔佩戴检测的方法及系统 Pending CN113781469A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111118606.1A CN113781469A (zh) 2021-09-24 2021-09-24 基于yolo改进模型的安全头盔佩戴检测的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111118606.1A CN113781469A (zh) 2021-09-24 2021-09-24 基于yolo改进模型的安全头盔佩戴检测的方法及系统

Publications (1)

Publication Number Publication Date
CN113781469A true CN113781469A (zh) 2021-12-10

Family

ID=78852937

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111118606.1A Pending CN113781469A (zh) 2021-09-24 2021-09-24 基于yolo改进模型的安全头盔佩戴检测的方法及系统

Country Status (1)

Country Link
CN (1) CN113781469A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116229373A (zh) * 2023-04-03 2023-06-06 青岛城市轨道交通科技有限公司 一种应用于智慧工地的超分辨安全帽检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2020100711A4 (en) * 2020-05-05 2020-06-11 Chang, Cheng Mr The retrieval system of wearing safety helmet based on deep learning
CN112784821A (zh) * 2021-03-06 2021-05-11 深圳市安比智慧科技有限公司 基于YOLOv5的工地行为安全检测识别方法及系统
CN113255826A (zh) * 2021-06-17 2021-08-13 广东电网有限责任公司中山供电局 一种基于改进yolov3的安全帽佩戴检测方法及系统
CN113361501A (zh) * 2021-08-09 2021-09-07 深圳市爱深盈通信息技术有限公司 模型生成方法、生成装置、模型及骑行佩戴头盔检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2020100711A4 (en) * 2020-05-05 2020-06-11 Chang, Cheng Mr The retrieval system of wearing safety helmet based on deep learning
CN112784821A (zh) * 2021-03-06 2021-05-11 深圳市安比智慧科技有限公司 基于YOLOv5的工地行为安全检测识别方法及系统
CN113255826A (zh) * 2021-06-17 2021-08-13 广东电网有限责任公司中山供电局 一种基于改进yolov3的安全帽佩戴检测方法及系统
CN113361501A (zh) * 2021-08-09 2021-09-07 深圳市爱深盈通信息技术有限公司 模型生成方法、生成装置、模型及骑行佩戴头盔检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116229373A (zh) * 2023-04-03 2023-06-06 青岛城市轨道交通科技有限公司 一种应用于智慧工地的超分辨安全帽检测方法

Similar Documents

Publication Publication Date Title
CN107276805B (zh) 一种基于入侵检测模型的样本预测方法、装置及电子设备
CN112561080B (zh) 样本筛选方法、样本筛选装置及终端设备
CN110443350B (zh) 基于数据分析的模型质量检测方法、装置、终端及介质
CN110135514B (zh) 一种工件分类方法、装置、设备及介质
CN102831385A (zh) 多相机监控网络中的目标识别设备和方法
CN105447859A (zh) 一种田间麦蚜虫计数方法
JP2022027473A5 (zh)
CN112000830A (zh) 一种时序数据检测方法及装置
CN111860277B (zh) 基于颜色直方图特征的民航飞机空速管套安全警示方法
CN109753408A (zh) 一种基于机器学习的流程异常预测方法
CN115439654B (zh) 动态约束下的弱监督农田地块精细化分割方法及系统
CN113781469A (zh) 基于yolo改进模型的安全头盔佩戴检测的方法及系统
CN117576632B (zh) 基于多模态ai大模型的电网监控火灾预警系统及方法
CN105469099B (zh) 基于稀疏表示分类的路面裂缝检测和识别方法
CN104966109A (zh) 医疗化验单图像分类方法及装置
CN106529455A (zh) 一种基于SoC FPGA的快速人体姿态识别方法
CN110852322B (zh) 感兴趣区域的确定方法及装置
CN116774986A (zh) 软件开发工作量自动评估方法、装置、存储介质及处理器
CN114882020B (zh) 产品的缺陷检测方法、装置、设备及计算机可读介质
CN111340139A (zh) 一种图像内容复杂度的判别方法及装置
CN110765900A (zh) 一种基于dssd的自动检测违章建筑方法及系统
CN116597197A (zh) 一种自适应消除分类负梯度的长尾目标检测方法
CN111368837A (zh) 一种图像质量评价方法、装置、电子设备及存储介质
CN112651996B (zh) 目标检测跟踪方法、装置、电子设备和存储介质
CN115439928A (zh) 一种操作行为识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination