CN117237752A - 一种基于改进的pp-yoloe模型的安全帽佩戴检测方法 - Google Patents
一种基于改进的pp-yoloe模型的安全帽佩戴检测方法 Download PDFInfo
- Publication number
- CN117237752A CN117237752A CN202310998366.1A CN202310998366A CN117237752A CN 117237752 A CN117237752 A CN 117237752A CN 202310998366 A CN202310998366 A CN 202310998366A CN 117237752 A CN117237752 A CN 117237752A
- Authority
- CN
- China
- Prior art keywords
- model
- feature
- loss
- detection
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 107
- 238000012544 monitoring process Methods 0.000 claims abstract description 20
- 238000004364 calculation method Methods 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 33
- 238000012549 training Methods 0.000 claims description 33
- 238000000034 method Methods 0.000 claims description 25
- 230000000694 effects Effects 0.000 claims description 23
- 238000010586 diagram Methods 0.000 claims description 20
- 201000006292 polyarteritis nodosa Diseases 0.000 claims description 16
- 238000012795 verification Methods 0.000 claims description 16
- 238000005457 optimization Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 7
- 210000000988 bone and bone Anatomy 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 238000007689 inspection Methods 0.000 claims description 4
- 230000010354 integration Effects 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 abstract description 13
- 238000003860 storage Methods 0.000 abstract description 3
- 230000006399 behavior Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于改进的PP‑YOLOE模型的安全帽佩戴检测方法，包括如下步骤：获取带标注信息的安全帽佩戴图像数据集；构建基于PP‑YOLOE的目标检测模型，PP‑YOLOE目标检测模型包括backbone模块、neck模块和head模块。本发明提出的安全帽检测方法可以高效准确地对施工场地施工人员安全帽佩戴情况进行检测，同时结合综合监控系统对检测结果进行报警提示和信息存储；所采用的改进的PP‑YOLOE模型，在满足计算速度的同时，极大提高了检测精度，使目标检测结果在精度和速度之间的达到了更好的平衡。同时较高的检测精度和鲁棒性，也使本方案能更好的适应各种复杂多变的应用场景。
Description
技术领域
本发明涉及安全帽检测技术领域，具体来说，涉及一种基于改进的PP-YOLOE模型的安全帽佩戴检测方法。
背景技术
安全帽是各行业安全生产工作者保护头部、保证生命安全的重要防护用品。在施工现场作业人员遭受事故或被坠落物击中时，安全帽会将冲击力分散到头盖骨的整个面积上，然后利用安全帽设置的缓冲结构变形和允许的结构破坏将大部分冲击力吸收，极大降低头部收到的冲击力，从而起到保护作业人员的作用。
但在实际施工作业过程中，由于部分作业人员安全意识淡薄以及天气环境等原因，容易出现部分作业人员在不佩戴安全帽的情况下进行施工作业的情况，给作业人员人身安全带来了极大的安全隐患，所以监督工作必不可少。传统的监督方法一般需要现场管理人员通过人眼对现场进行监督，不但人力资源消耗大，而且监督效果受监督人员责任心等因素影响较大。
综合监控系统已广泛应用于轨道交通、工厂、电厂等多种领域，包含电力(PSCADA)、机电(BAS)、火灾(FAS)、广播(PA)、视频(CCTV)等多种子系统。受限于应用场地和业务要求，综合监控系统一般部署运行在功耗低、运行稳定的一体机集成计算板卡中。
在过去的几年里，人工智能技术得到迅猛发展，其核心技术之一的目标检测技术已有广泛应用。但由于硬件设备计算能力的限制，在实际应用中往往需要牺牲检测精度来保证模型的推理速度。因此，必须考虑目标检测的精度和速度之间的平衡，更优的策略能更好的同步提升模型检测的精度和速度。新的模型结构和新的优化策略不断提出，使得此方面有更大的提升空间。
公开号为CN115439697A的中国专利文献公开了一种安全帽佩戴识别方法与系统，该方案是在YOLOv4模型的基础上进行了改动，将MobileNetv3作为backbone替换了YOLOv4模型原有的backbone，由于MobileNetv3相较于原网络会降低模型中计算参数的数量，所以此改动可以提高模型的推理速度，以达到提升检测效率的目的。在上述方案的改动中，替换了模型的backbone模块，降低了计算参数数量。虽然可以提升模型的检测效率，但由于计算参数数量的降低，模型的检测能力会显著下降，即目标检测的精度会显著下降，并没有达到一种理想的效果。
现阶段针对目标检测的网络有很多，类似与上述技术都做出了一定的优化和改进，但整体来说，目标检测的效率和精度的提升，以及两者如何达到更好的平衡，还有很大的提升空间。因此，如何使施工现场安全帽佩戴检测达到精度更高、运算更快的检测效果成为了人们急需解决的技术问题。
发明内容
针对相关技术中的上述技术问题，本发明提出一种基于改进的PP-YOLOE模型的安全帽佩戴检测方法，能够克服现有技术的上述不足。
为实现上述技术目的，本发明的技术方案是这样实现的：
一种基于改进的PP-YOLOE模型的安全帽佩戴检测方法，包括如下步骤：
S1获取带标注信息的安全帽佩戴图像数据集；
S2构建基于PP-YOLOE的目标检测模型，PP-YOLOE目标检测模型采用s规格，PP-YOLOE目标检测模型包括backbone模块、neck模块和head模块；
S3将图像数据集传入PP-YOLOE目标检测模型，对模型进行迭代训练，调整模型超参数使检测效果最优；
S4接入综合监控系统，通过视频设备获取待检测的图像或视频流数据，输入训练好的目标检测模型中,得到安全帽佩戴的检测结果，并将检测结果反馈到综合监控系统。
进一步地，S1中所述数据集包含5000张带标签的安全帽佩戴图片数据，其中标签包括佩戴安全帽和未佩戴安全帽两类。
进一步地，将图片数据按9:1比例进行拆分为训练集和验证集，训练集数据用于模型训练优化，验证集数据用于验证模型检测效果的优劣。
进一步地，backbone模块的结构为CSPResStage结构，backbone模块工作原理如下：
S211输入图像数据经过stem结构进行特征整合和提取得到特征图，stem结构由三个卷积组合堆叠构成的，其中每个卷积组合包含卷积层(Conv2D)、归一化层(BatchNorm2D)和swish激活函数；
S212得到的特征图输入到4个CSPResStage结构得到4个编号为0，1，2，3的输出特征，取编号为1，2，3的三个特征图作为backbone模块的输出特征图，并命名为C3，C4，C5。
进一步地，neck模块采用了PAN结构以加强各特征图之间的特征融合，PAN结构通过自上向下和自下向上两个特征金字塔使不同大小特征图之间的特征信息得到充分融合，具体步骤如下：
S221根据backbone得到的C3，C4，C5特征图，首先将C5特征图输入到CSPStage结构，其中一个分支经过卷积组合，另一个分支经过BasicBlock结构和SPP结构，再结合残差网络思想将两个分支的特征图进行拼接得到fpn_feats[0]，将fpn_feats[0]进行上采样操作得到特征图记为route[0]；
S222然后将route[0]与C4特征拼接后输入到CSPStage结构得到特征图fpn_feats[1]，并进行上采样得到特征图记为route[1]。同理再将route[1]与C3特征拼接后输入到CSPStage结构得到特征图fpn_feats[2]；
S223经过PAN第一阶段得到了fpn_feats特征图列表，随后先将fpn_feats[2]复制为P3特征图，然后将P3特征图进行下采样后与fpn_feats[1]进行融合，再经过两个CSPStage结构得到P4特征图；
S224然后将P4特征图进行下采样后与fpn_feats[0]进行融合，再经过两个CSPStage结构，得到P5特征图；
S225经过PAN第二阶段得到了P3，P4，P5三个特征图。
进一步地，head模块分为类别分类和坐标回归两个部分；将P3，P4，P5三个特征图分别先输入类别分类模块得到类别预测值，再输入坐标回归模块得到检测目标的坐标位置，通过regression部分得到left、right、top、bottom四个预测值，再通过如下公式计算得到预测目标位置xmin、ymin、xmax、ymax：
xmin＝Cx-left；xmax＝Cx+right；
ymin＝Cy-top；ymax＝Cy+bottom；
其中Cx与Cy指的是预测图片在特征预测图中每个网格中心点X，Y坐标，而left、right、top、bottom是regression计算得到预测参数。
进一步地，head模块中的预测损失值loss由三个损失函数共同计算得出，三个损失函数分别为：二元交叉熵损失函数(binary_cross_entropy)计算loss_cls损失值，GIoULoss损失函数计算loss_iou损失值，交叉熵损失函数(cross_entropy)计算loss_dfl，并通过公式loss＝1.0*loss_cls+2.5*loss_iou+0.5*loss_dfl得到最终预测损失值loss，然后通过反向传播对模型参数进行调节；其中GIoULoss损失函数在预测框和真实框是包含关系的情况或者处于水平/垂直方向上时，将原网络结构使用的GIoULoss损失函数替换为SIoULoss损失函数。
进一步地，步骤S3优化时选择SGD优化器。
进一步地，当检测到未佩戴安全帽的违规行为时，接入到综合监控系统的报警服务模块，将违规行为数据推送到报警平台，提示管理人员进行监管，同时将违规行为的实时视频数据保存落盘，以供核实查验。
本发明的有益效果：本发明提出的安全帽检测方法可以高效准确地对施工场地施工人员安全帽佩戴情况进行检测，同时结合综合监控系统对检测结果进行报警提示和信息存储；所采用的改进的PP-YOLOE模型，在满足计算速度的同时，极大提高了检测精度，使目标检测结果在精度和速度之间的达到了更好的平衡。同时较高的检测精度和鲁棒性，也使本方案能更好的适应各种复杂多变的应用场景。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例所述的基于改进的PP-YOLOE模型的安全帽佩戴检测方法的PP-YOLOE模型结构图；
图2是根据本发明实施例所述的基于改进的PP-YOLOE模型的安全帽佩戴检测方法的CSPResStage结构图；
图3是根据本发明实施例所述的基于改进的PP-YOLOE模型的安全帽佩戴检测方法的CSPStage结构图；
图4是根据本发明实施例所述的基于改进的PP-YOLOE模型的安全帽佩戴检测方法的系统结构图；
图5是根据本发明实施例所述的基于改进的PP-YOLOE模型的安全帽佩戴检测方法的检测效果图一；
图6是根据本发明实施例所述的基于改进的PP-YOLOE模型的安全帽佩戴检测方法的检测效果图二；
图7是根据本发明实施例所述的基于改进的PP-YOLOE模型的安全帽佩戴检测方法的检测效果图三。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
相关术语解释：
batchsize:模型训练过程中一次训练从训练集所取的图像数据数量；在本方案中，batchsize设置为32，即一次取32张图像数据进行训练；
epoch：模型训练批次；训练集中所有数据都经过模型进行训练一次后，记为1个epoch；
lr：学习率；模型训练在反向传播过程中根据学习率对模型参数进行调整；
AP：模型评价得分，满分为100％；模型计算输出的目标检测框携带置信度，取不同大小的置信度阈值对检测结果计算准确率(Precision)和召回率(Recall)，并计算PR曲线面积，将所有结果求平均值得到AP；
鲁棒性：指模型对外部干扰、环境不确定性的抗干扰能力。
如图1-4所示，根据本发明实施例所述的一种基于改进的PP-YOLOE模型的安全帽佩戴检测方法，包括如下步骤：
S1获取带标注信息的安全帽佩戴图像数据集；
S2构建基于PP-YOLOE的目标检测模型，PP-YOLOE目标检测模型采用s规格，PP-YOLOE目标检测模型包括backbone模块、neck模块和head模块；
S3将图像数据集传入PP-YOLOE目标检测模型，对模型进行迭代训练，调整模型超参数使检测效果最优；
S4接入综合监控系统，通过视频设备获取待检测的图像或视频流数据，输入训练好的目标检测模型中,得到安全帽佩戴的检测结果，并将检测结果反馈到综合监控系统。
实施例中，S1中所述数据集包含5000张带标签的安全帽佩戴图片数据，其中标签包括佩戴安全帽和未佩戴安全帽两类。
实施例中，将图片数据按9:1比例进行拆分为训练集和验证集，训练集数据用于模型训练优化，验证集数据用于验证模型检测效果的优劣。
实施例中，backbone模块的结构为CSPResStage结构，backbone模块工作原理如下：
S211输入图像数据经过stem结构进行特征整合和提取得到特征图，stem结构由三个卷积组合堆叠构成的，其中每个卷积组合包含卷积层(Conv2D)、归一化层(BatchNorm2D)和swish激活函数；
S212得到的特征图输入到4个CSPResStage结构得到4个编号为0，1，2，3的输出特征，取编号为1，2，3的三个特征图作为backbone模块的输出特征图，并命名为C3，C4，C5。
实施例中，neck模块采用了PAN结构以加强各特征图之间的特征融合，PAN结构通过自上向下和自下向上两个特征金字塔使不同大小特征图之间的特征信息得到充分融合，具体步骤如下：
S221根据backbone得到的C3，C4，C5特征图，首先将C5特征图输入到CSPStage结构，其中一个分支经过卷积组合，另一个分支经过BasicBlock结构和SPP结构，再结合残差网络思想将两个分支的特征图进行拼接得到fpn_feats[0]，将fpn_feats[0]进行上采样操作得到特征图记为route[0]；
S222然后将route[0]与C4特征拼接后输入到CSPStage结构得到特征图fpn_feats[1]，并进行上采样得到特征图记为route[1]。同理再将route[1]与C3特征拼接后输入到CSPStage结构得到特征图fpn_feats[2]；
S223经过PAN第一阶段得到了fpn_feats特征图列表，随后先将fpn_feats[2]复制为P3特征图，然后将P3特征图进行下采样后与fpn_feats[1]进行融合，再经过两个CSPStage结构得到P4特征图；
S224然后将P4特征图进行下采样后与fpn_feats[0]进行融合，再经过两个CSPStage结构，得到P5特征图；
S225经过PAN第二阶段得到了P3，P4，P5三个特征图。
实施例中，head模块分为类别分类和坐标回归两个部分；将P3，P4，P5三个特征图分别先输入类别分类模块得到类别预测值，再输入坐标回归模块得到检测目标的坐标位置，通过regression部分得到left、right、top、bottom四个预测值，再通过如下公式计算得到预测目标位置xmin、ymin、xmax、ymax：
xmin＝Cx-left；xmax＝Cx+right；
ymin＝Cy-top；ymax＝Cy+bottom；
其中Cx与Cy指的是预测图片在特征预测图中每个网格中心点X，Y坐标，而left、right、top、bottom是regression计算得到预测参数。
实施例中，head模块中的预测损失值loss由三个损失函数共同计算得出，三个损失函数分别为：二元交叉熵损失函数(binary_cross_entropy)计算loss_cls损失值，GIoULoss损失函数计算loss_iou损失值，交叉熵损失函数(cross_entropy)计算loss_dfl，并通过公式loss＝1.0*loss_cls+2.5*loss_iou+0.5*loss_dfl得到最终预测损失值loss，然后通过反向传播对模型参数进行调节；其中GIoULoss损失函数在预测框和真实框是包含关系的情况或者处于水平/垂直方向上时，将原网络结构使用的GIoULoss损失函数替换为SIoULoss损失函数。
实施例中，步骤S3优化时选择SGD优化器。
实施例中，当检测到未佩戴安全帽的违规行为时，接入到综合监控系统的报警服务模块，将违规行为数据推送到报警平台，提示管理人员进行监管，同时将违规行为的实时视频数据保存落盘，以供核实查验。
为了方便理解本发明的上述技术方案，以下通过具体使用方式上对本发明的上述技术方案进行详细说明。
在具体使用时，根据本发明所述的一种基于改进的PP-YOLOE模型的安全帽佩戴检测方法，结合改进的PP-YOLOE深度学习模型，实现的安全帽的检测方法。
具体内容包括：(1)获取带标注信息的安全帽佩戴图像数据集；(2)构建基于PP-YOLOE的目标检测模型；(3)将图像数据集传入目标检测模型，对模型进行迭代训练，调整模型超参数使检测效果最优；(4)接入综合监控系统，通过视频设备获取待检测的图像或视频流数据，输入训练好的目标检测模型中,得到安全帽佩戴的检测结果，并将检测结果反馈到综合监控系统。
利用本发明，可以实时高效检测施工现场作业人员的安全帽佩戴状态，监督作业人员安全帽佩戴情况，达到安全生产、安全施工目标。
本发明提供了一种基于改进的PP-YOLOE模型的安全帽佩戴检测方法，在提高检测速度的同时，提升检测的精度。具体包含以下操作：
1.获取携带标注信息的安全帽佩戴图像数据集。
本方案中采用的数据集为Kaggle平台提供的公开数据集Safety HelmetDetection，数据集包含5000张带标签的安全帽佩戴图片数据，其中标签包含佩戴安全帽(helmet)和未佩戴安全帽(head)两类。
预先将图片数据按9:1比例进行拆分，其中4500张图片作为训练集，500张图片作为验证集。训练集数据用于模型训练优化，验证集数据用于验证模型检测效果的优劣。
2.构建基于PP-YOLOE的目标检测模型。
PP-YOLOE目标检测模型包含s/m/l/x四种规格，受限于计算板卡的计算能力，为保证数据检测的实时性，本方案采用计算参数量最少、运算最快的s规格。PP-YOLOE目标检测模型主要结构包括三部分：backbone模块、neck模块和head模块，整体网络结构如图1所示。
backbone模块的主要结构为CSPResStage结构。输入图像数据先经过stem结构进行特征整合和提取得到特征图，stem结构由三个卷积组合堆叠构成的，其中每个卷积组合包含卷积层(Conv2D)、归一化层(BatchNorm2D)和swish激活函数。得到的特征图输入到4个CSPResStage结构，CSPResStage结构如图2所示，得到4个编号为0，1，2，3的输出特征，取编号为1，2，3的三个特征图作为backbone模块的输出特征图，并命名为C3，C4，C5。
CSPResStage结构的优点就是将传统的可重复残差网络更改为CSP形式的网络，在增强卷积网络学习能力的同时，降低了计算量和内存成本，在保证模型检测准确率的的同时提高了检测的效率。
neck模块采用了PAN结构以加强各特征图之间的特征融合。由backbone得到的C3，C4，C5特征图，首先将C5特征图输入到CSPStage结构，CSPStage结构如图3所示，其中一个分支经过卷积组合，另一个分支经过BasicBlock结构和SPP结构，再结合残差网络思想将两个分支的特征图进行拼接得到fpn_feats[0]。随后将fpn_feats[0]进行上采样操作，得到特征图记为route[0]。然后将route[0]与C4特征拼接后输入到CSPStage结构得到特征图fpn_feats[1]，并进行上采样得到特征图记为route[1]。同理再将route[1]与C3特征拼接后输入到CSPStage结构得到特征图fpn_feats[2]。经过PAN第一阶段得到了fpn_feats特征图列表，随后，先将fpn_feats[2]复制为P3特征图。然后将P3进行下采样后与fpn_feats[1]进行融合，再经过两个CSPStage结构，得到P4特征图。然后将P4进行下采样后与fpn_feats[0]进行融合，再经过两个CSPStage结构，得到P5特征图。经过PAN第二阶段得到了P3，P4，P5三个特征图。
PAN结构的优点是使不同大小特征图之间的特征信息得到充分融合，通过自上向下和自下向上两个特征金字塔，解决了深层次特征图丢失小目标特征信息和浅层次特征图对大目标特征信息包含不全的问题，使模型检测结果更全面更准确。
head模块分为类别分类(classification)和坐标回归(regression)两个部分。由neck模块得到的三个特征图中，P5特征图包含最大的感受野信息，P4次之，P3感受野最小，所以三个特征图分别用于预测图片数据中包含的大、中、小目标。三个特征图分别先输入类别分类模块得到类别预测值，再输入坐标回归模块得到检测目标的坐标位置。通过regression部分得到left、right、top、bottom四个预测值，再通过如下公式，计算得到预测目标位置xmin、ymin、xmax、ymax：
xmin＝Cx-left；xmax＝Cx+right；
ymin＝Cy-top；ymax＝Cy+bottom；
其中Cx与Cy指的是预测图片在特征预测图中每个网格中心点X，Y坐标，而left、right、top、bottom就是regression计算得到预测参数，需要注意的是这里得到的xmin、ymin、xmax、ymax都是相对预测特征图尺寸的，因此还需要乘上stride后还原到原输入图像尺度，stride为每个特征图对应的下采样缩放倍数。
head模块中，预测损失值loss由三个损失函数共同计算得出，分别为：二元交叉熵损失函数(binary_cross_entropy)计算loss_cls损失值，GIoULoss损失函数计算loss_iou损失值，交叉熵损失函数(cross_entropy)计算loss_dfl，并通过公式loss＝1.0*loss_cls+2.5*loss_iou+0.5*loss_dfl得到最终预测损失值loss，然后通过反向传播对模型参数进行调节。其中GIoULoss损失函数在预测框和真实框是包含关系的情况或者处于水平/垂直方向上时，GIoULoss损失几乎退化为IoU损失，会导致模型收敛较慢，所以在本方案中，将原网络结构使用的GIoULoss损失函数替换为SIoULoss损失函数，加快模型训练收敛速度。
3.对模型进行迭代训练及优化。
在实际应用中，待检测数据通常是不完整的、复杂多变的，同时也极易受到光照、拍摄角度、距离等多方面的影响，而有限的训练数据不足以支撑模型消除这些负面影响。为了使模型更好的适应实际应用场景，一般使用数据增强方法来增加训练数据的多样性，提高模型的鲁棒性，避免过拟合。常规的数据增强方法包括：多尺度训练、随机翻转、随机旋转、随机缩放、Mosaic等方法。结合数据样本特征，本方案采用多尺度训练、随机翻转、随机裁剪、随机扩大的组合方法以提升模型的鲁棒性。
在损失优化器选择上，保持其他模型超参数一致的前提下，对SGD、Adam、AdamW三种优化器进行实验对比。实验结果显示使用SGD优化器的模型检测效果更好，其验证集数据测试效果优于其他两种优化器，所以本方案采用SGD优化器。
其他训练超参数设置包括：batchsize设置为32，epoch设置为80，初始lr设置为0.000125，并采用余弦衰减策略调整lr，前5个epoch为学习预热训练，每经过5个epoch迭代训练后使用验证数据集进行模型效果验证，并保存当前验证效果最好的模型参数。以AP值为模型效果评分，在经过80个epoch的迭代训练后，最优模型检测AP值稳定在97％以上。
4.接入综合监控系统。
通过视频(CCTV)子系统的监控摄像头采集的视频流数据，输入到基于上述PP-YOLOE模型搭建并训练好的检测服务，计算输出得到安全帽检测结果，完整系统结构如图4所示。
为防止采集到过多无关数据，如无关行人数据、未施工时间数据等，可以通过综合监控系统服务端增加人工参数设置，设置选择将固定区域摄像头、固定时间段采集的视频流数据输入到检测服务，除实时视频数据检测外，还可设置截取固定帧数间隔的图像数据进行检测。检测效果图如图5至图7所示。
当检测到未佩戴安全帽的违规行为时，接入到综合监控系统的报警服务模块，将违规行为数据推送到报警平台，提示管理人员进行监管，同时将违规行为的实时视频数据保存落盘，以供核实查验。
综上所述，借助于本发明的上述技术方案，可以高效准确地对施工场地施工人员安全帽佩戴情况进行检测，同时结合综合监控系统对检测结果进行报警提示和信息存储；所采用的改进的PP-YOLOE模型，在满足计算速度的同时，极大提高了检测精度，使目标检测结果在精度和速度之间的达到了更好的平衡。同时较高的检测精度和鲁棒性，也使本方案能更好的适应各种复杂多变的应用场景。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于改进的PP-YOLOE模型的安全帽佩戴检测方法，其特征在于，包括如下步骤：
S1获取带标注信息的安全帽佩戴图像数据集；
S2构建基于PP-YOLOE的目标检测模型，PP-YOLOE目标检测模型包括backbone模块、neck模块和head模块；
S3将图像数据集传入PP-YOLOE目标检测模型，对模型进行迭代训练，调整模型超参数使检测效果最优；
S4接入综合监控系统，通过视频设备获取待检测的图像或视频流数据，输入训练好的目标检测模型中,得到安全帽佩戴的检测结果，并将检测结果反馈到综合监控系统。
2.根据权利要求1所述的基于改进的PP-YOLOE模型的安全帽佩戴检测方法，其特征在于，S1中所述数据集包含带标签的安全帽佩戴图片数据，其中标签包括佩戴安全帽和未佩戴安全帽两类。
3.根据权利要求2所述的基于改进的PP-YOLOE模型的安全帽佩戴检测方法，其特征在于，将图片数据按一定比例进行拆分为训练集和验证集，训练集数据用于模型训练优化，验证集数据用于验证模型检测效果的优劣。
4.根据权利要求1所述的基于改进的PP-YOLOE模型的安全帽佩戴检测方法，其特征在于，backbone模块的结构为CSPResStage结构，backbone模块工作原理如下：
S211输入图像数据经过stem结构进行特征整合和提取得到特征图，stem结构由三个卷积组合堆叠构成的，其中每个卷积组合包含卷积层(Conv2D)、归一化层(BatchNorm2D)和swish激活函数；
S212得到的特征图输入到4个CSPResStage结构得到4个编号为0，1，2，3的输出特征，取编号为1，2，3的三个特征图作为backbone模块的输出特征图，并命名为C3，C4，C5。
5.根据权利要求4所述的基于改进的PP-YOLOE模型的安全帽佩戴检测方法，其特征在于，neck模块采用了PAN结构以加强各特征图之间的特征融合，PAN结构通过自上向下和自下向上两个特征金字塔使不同大小特征图之间的特征信息得到充分融合，具体步骤如下：
S221根据backbone得到的C3，C4，C5特征图，首先将C5特征图输入到CSPStage结构，其中一个分支经过卷积组合，另一个分支经过BasicBlock结构和SPP结构，再结合残差网络思想将两个分支的特征图进行拼接得到fpn_feats[0]，将fpn_feats[0]进行上采样操作得到特征图记为route[0]；
S222然后将route[0]与C4特征拼接后输入到CSPStage结构得到特征图fpn_feats[1]，并进行上采样得到特征图记为route[1]。同理再将route[1]与C3特征拼接后输入到CSPStage结构得到特征图fpn_feats[2]；
S223经过PAN第一阶段得到了fpn_feats特征图列表，随后先将fpn_feats[2]复制为P3特征图，然后将P3特征图进行下采样后与fpn_feats[1]进行融合，再经过两个CSPStage结构得到P4特征图；
S224然后将P4特征图进行下采样后与fpn_feats[0]进行融合，再经过两个CSPStage结构，得到P5特征图；
S225经过PAN第二阶段得到了P3，P4，P5三个特征图。
6.根据权利要求5所述的基于改进的PP-YOLOE模型的安全帽佩戴检测方法，其特征在于，head模块分为类别分类和坐标回归两个部分；将P3，P4，P5三个特征图分别先输入类别分类模块得到类别预测值，再输入坐标回归模块得到检测目标的坐标位置，通过regression部分得到left、right、top、bottom四个预测值，再通过如下公式计算得到预测目标位置xmin、ymin、xmax、ymax：
xmin＝Cx-left；xmax＝Cx+right；
ymin＝Cy-top；ymax＝Cy+bottom；
其中Cx与Cy指的是预测图片在特征预测图中每个网格中心点X，Y坐标，而left、right、top、bottom是regression计算得到预测参数。
7.根据权利要求6所述的基于改进的PP-YOLOE模型的安全帽佩戴检测方法，其特征在于，head模块中的预测损失值loss由三个损失函数共同计算得出，三个损失函数分别为：二元交叉熵损失函数(binary_cross_entropy)计算loss_cls损失值，GIoULoss损失函数计算loss_iou损失值，交叉熵损失函数(cross_entropy)计算loss_dfl，并通过公式loss＝1.0*loss_cls+2.5*loss_iou+0.5*loss_dfl得到最终预测损失值loss，然后通过反向传播对模型参数进行调节；其中GIoULoss损失函数在预测框和真实框是包含关系的情况或者处于水平/垂直方向上时，将原网络结构使用的GIoULoss损失函数替换为SIoULoss损失函数。
8.根据权利要求1所述的基于改进的PP-YOLOE模型的安全帽佩戴检测方法，其特征在于，步骤S3优化时选择SGD优化器。
9.根据权利要求1所述的基于改进的PP-YOLOE模型的安全帽佩戴检测方法，其特征在于，当检测到未佩戴安全帽的违规行为时，接入到综合监控系统的报警服务模块，将违规行为数据推送到报警平台，提示管理人员进行监管，同时将违规行为的实时视频数据保存落盘，以供核实查验。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310998366.1A CN117237752A (zh) | 2023-08-09 | 2023-08-09 | 一种基于改进的pp-yoloe模型的安全帽佩戴检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310998366.1A CN117237752A (zh) | 2023-08-09 | 2023-08-09 | 一种基于改进的pp-yoloe模型的安全帽佩戴检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117237752A true CN117237752A (zh) | 2023-12-15 |
Family
ID=89086903
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310998366.1A Pending CN117237752A (zh) | 2023-08-09 | 2023-08-09 | 一种基于改进的pp-yoloe模型的安全帽佩戴检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117237752A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111967393A (zh) * | 2020-08-18 | 2020-11-20 | 杭州师范大学 | 一种基于改进YOLOv4的安全帽佩戴检测方法 |
| CN113361425A (zh) * | 2021-06-11 | 2021-09-07 | 珠海路讯科技有限公司 | 一种基于深度学习的检测工人是否佩戴安全帽的方法 |
| CN113487600A (zh) * | 2021-07-27 | 2021-10-08 | 大连海事大学 | 一种特征增强尺度自适应感知船舶检测方法 |
| CN114862837A (zh) * | 2022-06-02 | 2022-08-05 | 西京学院 | 基于改进YOLOv5s的人体安检图像检测方法及系统 |
| CN115619718A (zh) * | 2022-09-23 | 2023-01-17 | 东北大学秦皇岛分校 | 基于嵌入式边缘平台的钢板缺陷实时检测系统与方法 |
| CN115761645A (zh) * | 2022-11-28 | 2023-03-07 | 中国计量大学 | 一种基于YOLOv5的轻量化安全帽佩戴检测方法 |
| CN115830445A (zh) * | 2022-11-25 | 2023-03-21 | 中再云图技术有限公司 | 一种自动发现识别建筑物加盖识别方法及系统 |
-
2023
- 2023-08-09 CN CN202310998366.1A patent/CN117237752A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111967393A (zh) * | 2020-08-18 | 2020-11-20 | 杭州师范大学 | 一种基于改进YOLOv4的安全帽佩戴检测方法 |
| CN113361425A (zh) * | 2021-06-11 | 2021-09-07 | 珠海路讯科技有限公司 | 一种基于深度学习的检测工人是否佩戴安全帽的方法 |
| CN113487600A (zh) * | 2021-07-27 | 2021-10-08 | 大连海事大学 | 一种特征增强尺度自适应感知船舶检测方法 |
| CN114862837A (zh) * | 2022-06-02 | 2022-08-05 | 西京学院 | 基于改进YOLOv5s的人体安检图像检测方法及系统 |
| CN115619718A (zh) * | 2022-09-23 | 2023-01-17 | 东北大学秦皇岛分校 | 基于嵌入式边缘平台的钢板缺陷实时检测系统与方法 |
| CN115830445A (zh) * | 2022-11-25 | 2023-03-21 | 中再云图技术有限公司 | 一种自动发现识别建筑物加盖识别方法及系统 |
| CN115761645A (zh) * | 2022-11-28 | 2023-03-07 | 中国计量大学 | 一种基于YOLOv5的轻量化安全帽佩戴检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200349875A1 (en) | Display screen quality detection method, apparatus, electronic device and storage medium | |
| CN110929578B (zh) | 一种基于注意力机制的抗遮挡行人检测方法 | |
| CN102831439B (zh) | 手势跟踪方法及系统 | |
| CN111383429A (zh) | 建筑工地工人着装检测方法、系统、装置、存储介质 | |
| CN113516076A (zh) | 一种基于注意力机制改进的轻量化YOLO v4安全防护检测方法 | |
| CN110781882A (zh) | 一种基于yolo模型的车牌定位和识别方法 | |
| CN113850242B (zh) | 一种基于深度学习算法的仓储异常目标检测方法及系统 | |
| CN113553979B (zh) | 一种基于改进yolo v5的安全服检测方法和系统 | |
| CN111047565A (zh) | 一种用于森林云雾图像分割的方法、存储介质和设备 | |
| CN112364778A (zh) | 一种基于深度学习的电厂安全性行为信息自动检测方法 | |
| CN115131283A (zh) | 目标对象的缺陷检测、模型训练方法、装置、设备及介质 | |
| CN115294528A (zh) | 一种行人安全监控方法及装置 | |
| CN112381005A (zh) | 一种面向复杂场景的安全帽检测系统 | |
| CN116052082A (zh) | 一种基于深度学习算法的配电站房异常检测方法及装置 | |
| CN115546742A (zh) | 一种基于单目热红外摄像头的铁轨异物识别方法及系统 | |
| CN116846059A (zh) | 一种用于电网巡检和监控的边缘检测系统 | |
| CN114399734A (zh) | 一种基于视觉信息的森林火灾预警方法 | |
| CN117351409A (zh) | 混凝土坝面作业风险智能识别方法 | |
| CN117237752A (zh) | 一种基于改进的pp-yoloe模型的安全帽佩戴检测方法 | |
| CN116310967A (zh) | 一种基于改进YOLOv5的化工厂安全帽佩戴检测方法 | |
| CN116311042A (zh) | 一种改进yolo模型的智能草坪修剪机目标检测方法 | |
| CN115909192A (zh) | 一种基于改进EfficientDet的行人检测方法 | |
| CN112818836B (zh) | 一种变电站场景的人员目标检测方法及系统 | |
| CN113850134A (zh) | 一种融合注意力机制相的安全帽佩戴检测方法及系统 | |
| CN114067360A (zh) | 一种行人属性检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |