CN114419659A - 一种复杂场景下的安全帽佩戴检测方法 - Google Patents
一种复杂场景下的安全帽佩戴检测方法 Download PDFInfo
- Publication number
- CN114419659A CN114419659A CN202111514599.7A CN202111514599A CN114419659A CN 114419659 A CN114419659 A CN 114419659A CN 202111514599 A CN202111514599 A CN 202111514599A CN 114419659 A CN114419659 A CN 114419659A
- Authority
- CN
- China
- Prior art keywords
- detection
- network
- model
- safety helmet
- wearing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000001514 detection method Methods 0.000 claims abstract description 111
- 230000005021 gait Effects 0.000 claims abstract description 25
- 230000007246 mechanism Effects 0.000 claims abstract description 17
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 230000005540 biological transmission Effects 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 18
- 230000000694 effects Effects 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000010276 construction Methods 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 13
- 230000006872 improvement Effects 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 9
- 238000013526 transfer learning Methods 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 230000005284 excitation Effects 0.000 claims description 3
- 238000010304 firing Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000005096 rolling process Methods 0.000 claims description 3
- 239000004576 sand Substances 0.000 claims description 3
- 238000009827 uniform distribution Methods 0.000 claims description 3
- 238000012790 confirmation Methods 0.000 abstract description 2
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多尺度特征的安全帽佩戴检测方法,该方法包含:在YOLO v5网络骨干部分引入注意力机制,减少网络中有效信息在传递中的损失;在YOLO v5网络颈部和头部增加第四个检测尺度104×104,增强对小目标的检测能力;在大型数据集上对CSPDarkNet53模型进行预训练后,迁移学习其特征提取能力至安全帽佩戴检测模型,缓解数据集不充足的问题;根据安全帽佩戴检测框推断人体边界框,提取未佩戴安全帽人员的骨架关键点,设计步态识别模块,识别未佩戴安全帽人员身份;本发明在复杂场景下利用多尺度特征提高了安全帽佩戴检测模型的准确率,并且通过融合步态识别算法实现了未佩戴安全帽人员身份的确认。
Description
技术领域
本发明涉及深度学习和目标检测技术领域,特别是涉及一种基于多尺度特征的安全帽佩戴检测方法及其应用。
背景技术
随着城市化的发展,地铁等大量的基础设施需要建设,施工现场的安全问题引起人们越来越多的关注。安全帽则是减轻工人在自身跌落或者受到坠物撞击时受到伤害的有效个人防护用品之一,而且在施工现场佩戴安全帽是全世界的法定要求。然而,由于佩戴安全帽带来的不适和工人安全意识的淡薄,工人往往会不自觉地摘下安全帽。因此,长时地检测工人是否正确佩戴安全帽,对其安全生产至关重要,可以提高安全管理水平。传统的施工现场安全帽佩戴检查主要包括监控图像检查和人工巡逻检查。后者需要大量的时间和劳力,而人工监控视频要求检查员长时间盯着屏幕,可能会因为疲劳而造成误判。在这一背景下,借助传感器和图像分析技术来检测建筑工地工人安全帽佩戴状况的新技术得到迅速发展。
多种传感器被用于安全帽佩戴检测,如颏带传感器,三轴加速计传感器,射频识别和压力传感器。然而,这些方法不仅增加了检测的投资,而且工人会将这些传感器视为对自己的侵犯。因此,由于隐私和健康问题,工人们往往不愿意戴装有上述传感器的安全帽。因此,非侵入式的方法更容易被接受,一种常见的方法是用图像传感器来检测施工现场的安全帽佩戴状况。许多图像分析算法已经被提出来用于检测目标,如高斯混合模型、方向梯度直方图和支持向量机。这些算法也被用于安全帽检测,如利用肤色和Hu矩来识别头盔,利用方向梯度直方图检测工人,然后通过颜色和霍夫圆检测完成安全帽检测,或者利用支持向量机对工人安全帽佩戴状况进行分类。然而,以上传统的检测方法都有其缺点。高斯混合模型不能准确地区分前景类别,手工设计特征的如颜色和方向梯度直方图等难以有效地捕捉高层次和中层次特征。因此,基于这些方法的检测器泛化能力较差,难以在实际工程中应用。
随着计算机技术的发展,GPU在大规模并行计算中的应用使得训练大型深层神经网络成为可能。在目标检测领域,人们发展了一系列基于深度学习的方法,其中卷积神经网络由于其在高层特征提取中的优越性而成为最常用的方法。因此,它们逐渐取代了图像分析中的传统检测方法。一般来说,基于卷积神经网络的目标检测方法可以分为两类。一种是基于区域的两步检测器,如R-CNN、Fast R-CNN、Faster R-CNN等,另一种是基于回归的单步检测器如YOLO、SSD、RetinalNet等。一般情况下,与两步检测器相比,单步检测器拥有更高的检测速度但其准确度较低。如何兼顾速度和准确度是利用深度学习目标检测算法对安全帽佩戴进行检测时需要考虑的问题。
同时在地铁施工现场进行安全帽检测会遇到诸如尺度变换、透视畸变、小目标因素等挑战。如与摄像头距离不同会造成画面上需要被检测的个体在尺寸上的差异;某些场景施工人员密集,会出现互相遮挡的情况;由于条件限制,摄像头需要放置在离工地较远的地方,这会导致画面上个体尺寸较小;同时,有些施工场地背景复杂,也会影响安全帽佩戴的检测。这些场景的存在大大限制了检测算法的性能。
本发明拟通过四个检测尺度增大目标检测算法的可检测范围来应对画面上目标的尺寸差异,同时在图像一个区域中生成更多合理的预测框以包含尽可能多的目标来应对遮挡带来的漏检;针对小目标,一方面引入注意力机制让算法关注图像上的重点区域,另一方面让算法的第四个检测尺度尽可能拥有更大的感受野,专门针对小目标检测;最后通过数据扩充和迁移学习来提高网络的泛化能力以应对复杂的背景。在模型取得较好的检测结果后,本发明拟利用步态识别的方法确定未佩戴安全帽人员的身份。
发明内容
本发明针对单步目标检测器速度快而准确度较低的特点,提出利用多尺度特征进行检测的方法,实现安全帽佩戴状况的准确快速检测以及未佩戴安全帽人员的身份确认,本发明具体步骤如下:
步骤A,根据复杂场景下检测目标在画面中尺寸变化大的特点,设计安全帽检测的四个特征尺度;
在YOLO v5网络检测颈部和头部的基础上增加感受野更小的第四个检测尺度,增强对小目标的检测效果,增加后四个检测尺度分别为13×13,26×26,52×52,104×104,相比于原来的三个尺度具有更大的尺度检测范围;
YOLO v5训练时,其边界框回归的目标函数与真实值Bgt和预测值B有关,其计算如公式(1)所示,
其中d为真实值的中心cgt和预测框的中心c之间的距离,l为真实值和预测框最小外接矩形的对角线长度,IoU为两个矩形框的交并比,其计算如公式(2)所示,
α为权重参数,其定义如公式(3)所示,
v为纵横比一致性,根据真实值和预测框的宽wgt,w和高hgt,h计算,如公式(4)所示,
根据损失函数计算公式可以确定生成更多合适的预测框能够提升网络的训练效果;
步骤B,在YOLO v5骨干网络中引入注意力机制,设计改进后的YOLO v5网络,减少低层有效信息提取到高层时的损失;
引入第四个检测尺度会导致网络层数加深,低层信息向高层信息传递时会产生损失,因此引入注意力机制减少信息损失,提高传输效率,同时使网络可以注意到图像中的小目标;
对于卷积映射Ftr:X→U,X∈RH′×W′×C′,U∈RH×W×C,vc表示第c个卷积核,那么输出U=[u1,u2,…,uC],如式(5)所示,
uc=vc*X (5)
引入的注意力机制包括挤压操作和激发操作,挤压操作将一个通道的空间特征编码为一个全局特征,采用全局平均池化实现,如公式(6)所示,
而激发操作采取sigmoid(σ)激活函数如式(7)所示,
s=Fex(z,W)=σ(g(z,W))=σ(W2δ(W1z)) (7)
x=s·u (8)
注意力机制让模型更加关注信息量最大的通道特征,抑制不重要的通道特征,本发明引入了2个SE模块,引入位置为骨干网络中第二个和第三个卷积拼接操作前;
步骤C,从精度和速度两方面设计评价指标评价检测效果,对检测效果较差的类别进行针对性数据扩充和CutMix数据增强;
为了对比模型改进带来的提升,将改进后的模型和改进前的模型在同一训练集和测试集上进行训练和测试,并从精度和速度两个方向进行评估,在精度方面计算指标精确率(precision),召回率(recall)并绘制PR曲线,计算平均精度均值(MAP),其计算公式如公式(9),公式(10)和公式(11)所示,
其中真正(TP)是被模型正确预测的目标数目,假正(FN)是将其它物体错误的预测为目标的数目,假负(FN)为没有被模型正确预测出的真值的数量;n为类别数目,对于每一类,平均精度(APi)为相应PR曲线下的面积;在速度方面则以在相同测试集上的平均检测时间为指标;评估完成后对检测效果较差的类别进行针对性数据扩充和CutMix数据增强;
令x∈RW×H×C和y分别代表训练目标和其标签,则对于A和B两张图片CutMix数据增强操作如公式(12)和公式(13)所示,
其中M∈{0,1}W×H为一个由0和1标记的掩码矩阵,其与图像尺寸一致,0为需要裁剪的区域,1为需要保留的区域;⊙为逐元素相乘,λ为服从(0,1)的均匀分布;
数据增强操作可以使模型专注于目标较难区分的特征,提高训练效率;
步骤D,基于改进后的YOLO v5,迁移学习其骨干网络CSPDarkNet53模型的特征提取能力,实现复杂场景下的安全帽识别;
在改进后的模型可以在安全帽检测数据集上取得较好的结果后,迁移学习其他相似检测任务的模型可以进一步提升安全帽检测模型的泛化能力,
迁移学习一般化定义如下:
条件:给定一个源域Ds和源域上的学习任务Ts,目标域Dt和目标域上的学习任务Tt
目标:利用Ds和Ts学习目标域上的预测函数f(·)
限制条件:Ds≠Dt,Ts≠Tt
本发明迁移学习在MS COCO等大型数据集上进行初步训练并完成相应检测任务的骨干网络CSPDarkNet53,冻结其所有的卷积层以及分类前的全连接层,并移植到改进后的模型中,在步骤C增强的数据集上重新进行训练,得到利用多尺度特征的安全帽佩戴检测模型,在施工现场对工人进行安全帽佩戴状态检测,输出检测结果,结果有两类,未佩戴安全帽(person),佩戴安全帽(hat);
步骤E,基于改进后的YOLO v5的检测结果,设计步态识别算法模块,实现未佩戴安全帽人员的身份识别:
为了减少计算量,仅对person类检测结果采取步态识别,对于检测框的左上角坐标(x1,y1)和右下角坐标(x2,y2),可以通过计算出头部的宽度和高度推断出未佩戴安全帽的人体边界框,如公式(14)-(19)所示,
h=y2-y1 (14)
w=x2-x1 (15)
x3=max(0,x1-2×w) (16)
y3=min(0,y1-h) (17)
x4=min(width,x2+2×w) (18)
y4=min(height,y2+5×h) (19)
其中width和height为图片的宽和高,(x3,y3),(x4,y4)为人体边界框的左上角和右下角坐标;在边界框里利用HRNet提取17个骨架关键点,并将其组成的骨架关键点步态序列输入到步态识别网络GaitGraph中进行识别;
人体的骨架图可以在结构上可以被表示为G=(V,ε),其中V={v1,…,vn}为表示关节的N个节点的集合,ε表示由邻接矩阵表示的骨骼的边的集合,邻接矩阵可表示为A∈RN×N,当vi到vj有边连接时,Ai,j=1,否则Ai,j=0,因为G为非定向的,所以A为对称矩阵;
人体的步态在特征上可以被表示为X={xt,n∈Rc|t,n∈Z,1≤t≤T,1≤n≤N},对于一个特征张量X∈RT×N×C,其中xt,n=Xt,n为节点vn在时间t的C维特征向量,总共有T帧,Xt∈RN×C为时间t时,姿态特征X在C维为对应的2D坐标及其置信度,N为节点的数量;
本发明的步态识别网络由ResGCN模块组成,该模块由一个图卷积、一个普通的时域二维卷积和带有瓶颈结构的残差连接组成;整个网络由多个ResGCN模块按顺序排列组成,输出层由一个平均池化层和一个产生特征向量的全连接层组成,使用监督对比损失作为损失函数,网络最终输出结果为识别目标对应的编码及其对应的特征向量。
本发明的基于多尺度特征的工人安全帽佩戴检测方法,与现有技术相比,具有以下优点:
1.从网络的不同层提取特征进行拼接融合,从多个尺度对目标进行检测使其在进行安全帽佩戴检测时对多个尺度的目标均具有较好的检测性能,克服了以往安全帽佩戴检测算法无法同时兼顾多尺度目标检测的缺点。
2.在网络进行特征拼接前引入了注意力机制,减少因为网络层数加深造成的信息损失,将更多有效的底层特征信息与高层拼接融合,用于提高安全帽佩戴检测效果。
3.在进行针对性数据扩充时不再需要各类别数目大致相同,实验结果证明模型在各类别上的检测效果均有所提升,CSPDarkNet53模型迁移学习的成功证明了在MS COCO数据集上的预训练模型在安全帽佩戴检测任务上的有效性。与其他检测方法相比,缓解了安全帽数据集不充足的问题,在一定程度上缓解了数据集的标注工作。
4.基于安全帽佩戴状态的检测结果,设计了针对未佩戴安全帽人员的步态识别模块,在检测出存在未佩戴安全帽人员后可以进一步确定其身份,准确提醒到个人,进一步完善了基于深度学习的安全帽佩戴检测框架。
附图说明
图1为本发明中YOLO v5训练时损失函数计算示意图;
图2为本发明改进的YOLO v5网络模型图,其中改进部分已用红色虚线标出,Backbone处的标记为注意力机制的引入,Neck和Prediction中的标记为增加第四个检测尺度。
图3为本发明中基于多尺度特征进行安全帽佩戴检测的流程图。
具体实施方式
下面结合附图以及具体实施方式对本发明作进一步详细说明:
实施例1
一种复杂场景下的安全帽佩戴检测方法,包括以下步骤:
步骤A,根据复杂场景下检测目标在画面中尺寸变化大的特点,设计安全帽检测的四个特征尺度;
在YOLO v5网络检测颈部和头部的基础上增加感受野更小的第四个检测尺度,增强对小目标的检测效果,增加后四个检测尺度分别为13×13,26×26,52×52,104×104,相比于原来的三个尺度具有更大的尺度检测范围;
YOLO v5训练时,其边界框回归的目标函数与真实值Bgt和预测值B有关,其计算如公式(1)所示,
其中d为真实值的中心cgt和预测框的中心c之间的距离,l为真实值和预测框最小外接矩形的对角线长度,IoU为两个矩形框的交并比,其计算如公式(2)所示,
α为权重参数,其定义如公式(3)所示,
v为纵横比一致性,根据真实值和预测框的宽wgt,w和高hgt,h计算,如公式(4)所示,
根据损失函数计算公式可以确定生成更多合适的预测框能够提升网络的训练效果;
步骤B,在YOLO v5骨干网络中引入注意力机制,设计改进后的YOLO v5网络,减少低层有效信息提取到高层时的损失;
引入第四个检测尺度会导致网络层数加深,低层信息向高层信息传递时会产生损失,因此引入注意力机制减少信息损失,提高传输效率,同时使网络可以注意到图像中的小目标;
对于卷积映射Ftr:X→U,X∈RH′×w′×C′,U∈RH×W×c,vc表示第c个卷积核,那么输出U=[u1,u2,…,uC],如式(5)所示,
uc=vc*X (5)
引入的注意力机制包括挤压操作和激发操作,挤压操作将一个通道的空间特征编码为一个全局特征,采用全局平均池化实现,如公式(6)所示,
而激发操作采取sigmoid(σ)激活函数如式(7)所示,
s=Fex(z,W)=σ(g(z,W))=σ(W2δ(W1z)) (7)
x=s·u (8)
注意力机制让模型更加关注信息量最大的通道特征,抑制不重要的通道特征,本发明引入了2个SE模块,引入位置为骨干网络中第二个和第三个卷积拼接操作前;
步骤C,从精度和速度两方面设计评价指标评价检测效果,对检测效果较差的类别进行针对性数据扩充和CutMix数据增强;
为了对比模型改进带来的提升,将改进后的模型和改进前的模型在同一训练集和测试集上进行训练和测试,并从精度和速度两个方向进行评估,在精度方面计算指标精确率(precision),召回率(recall)并绘制PR曲线,计算平均精度均值(MAP),其计算公式如公式(9),公式(10)和公式(11)所示,
其中真正(TP)是被模型正确预测的目标数目,假正(FN)是将其它物体错误的预测为目标的数目,假负(FN)为没有被模型正确预测出的真值的数量;n为类别数目,对于每一类,平均精度(APi)为相应PR曲线下的面积;在速度方面则以在相同测试集上的平均检测时间为指标;评估完成后对检测效果较差的类别进行针对性数据扩充和CutMix数据增强;
令x∈RW×H×c和y分别代表训练目标和其标签,则对于A和B两张图片CutMix数据增强操作如公式(12)和公式(13)所示,
其中M∈{0,1}W×H为一个由0和1标记的掩码矩阵,其与图像尺寸一致,0为需要裁剪的区域,1为需要保留的区域;⊙为逐元素相乘,λ为服从(0,1)的均匀分布;
数据增强操作可以使模型专注于目标较难区分的特征,提高训练效率;
步骤D,基于改进后的YOLO v5,迁移学习其骨干网络CSPDarkNet53模型的特征提取能力,实现复杂场景下的安全帽识别;
在改进后的模型可以在安全帽检测数据集上取得较好的结果后,迁移学习其他相似检测任务的模型可以进一步提升安全帽检测模型的泛化能力,
迁移学习一般化定义如下:
条件:给定一个源域Ds和源域上的学习任务Ts,目标域Dt和目标域上的学习任务Tt
目标:利用Ds和Ts学习目标域上的预测函数f(·)
限制条件:Ds≠Dt,Ts≠Tt
本发明迁移学习在MS COCO等大型数据集上进行初步训练并完成相应检测任务的骨干网络CSPDarkNet53,冻结其所有的卷积层以及分类前的全连接层,并移植到改进后的模型中,在步骤C增强的数据集上重新进行训练,得到利用多尺度特征的安全帽佩戴检测模型,在施工现场对工人进行安全帽佩戴状态检测,输出检测结果,结果有两类,未佩戴安全帽(person),佩戴安全帽(hat);
步骤E,基于改进后的YOLO v5的检测结果,设计步态识别算法模块,实现未佩戴安全帽人员的身份识别:
为了减少计算量,仅对person类检测结果采取步态识别,对于检测框的左上角坐标(x1,y1)和右下角坐标(x2,y2),可以通过计算出头部的宽度和高度推断出未佩戴安全帽的人体边界框,如公式(14)-(19)所示,
h=y2-y1 (14)
w=x2-x1 (15)
x3=max(0,x1-2×w) (16)
y3=min(0,y1-h) (17)
x4=min(width,x2+2×w) (18)
y4=min(height,y2+5×h) (19)
其中width和height为图片的宽和高,(x3,y3),(x4,y4)为人体边界框的左上角和右下角坐标;在边界框里利用HRNet提取17个骨架关键点,并将其组成的骨架关键点步态序列输入到步态识别网络GaitGraph中进行识别;
人体的骨架图可以在结构上可以被表示为G=(V,ε),其中V={v1,…,vn}为表示关节的N个节点的集合,ε表示由邻接矩阵表示的骨骼的边的集合,邻接矩阵可表示为A∈RN×N,当vi到vj有边连接时,Ai,j=1,否则Ai,j=0,因为G为非定向的,所以A为对称矩阵;
人体的步态在特征上可以被表示为X={xt,n∈Rc|t,n∈Z,1≤t≤T,1≤n≤N},对于一个特征张量X∈RT×N×C,其中xt,n=Xt,n为节点vn在时间t的C维特征向量,总共有T帧,Xt∈RN×C为时间t时,姿态特征X在C维为对应的2D坐标及其置信度,N为节点的数量;
本发明的步态识别网络由ResGCN模块组成,该模块由一个图卷积、一个普通的时域二维卷积和带有瓶颈结构的残差连接组成;整个网络由多个ResGCN模块按顺序排列组成,输出层由一个平均池化层和一个产生特征向量的全连接层组成,使用监督对比损失作为损失函数,网络最终输出结果为识别目标对应的编码及其对应的特征向量。
实施例2
本实施例采用网络开源安全帽数据集Safety-Helmet-Wearing-Dataset以及数据扩充图片,针对性数据扩充(DA)前,共包括9047个佩戴安全帽的正类hat和9082个未佩戴安全帽的负类person,分别将两个类别按照8:2的比例随机划分成训练集和测试集对网络进行训练和测试,针对性数据扩充后,person类个数增长至35531个,测试集保持不变。为了验证本发明提出的改动的有效性,在本实施例中,原始YOLO v5网络被选为基线,依次增加第四个检测尺度(FS),引入注意力机制(SB),针对性数据扩充(DA),迁移学习(PT),在同一个测试集上进行测试,从精度和速度两方面对模型进行评估,实验环境如表1所示,得到实验结果如表2所示。
表1实验环境
表2实验结果
进行对比分析可知,相较于基线,本发明提出的每一步网络改进方法均可以带来较明显的精度提升,最终对佩戴安全帽的AP达到了92.6%,对未佩戴安全帽的AP达到了91.7%,整体MAP达到了92.2%,在测试集上平均仅需3ms即可完成对一张图片进行检测,满足实时性要求。
对于步态识别模块,采用了自制数据集进行测试,数据集包括10个施工场景下的123个经过提前建模的目标,共有1230个视频,每个视频均包括佩戴安全帽的人和未佩戴安全帽的人,测试要求算法识别出其中未佩戴安全帽的人并识别出其身份,实验平台不变,最终在1230个视频中成功识别出1109个视频中未佩戴安全帽人员的身份,准确率达到90.2%。分别平均需要6.1ms和0.08ms对安全帽检测结果进行骨架提取和步态识别,即平均一帧处理的时间为9.18ms,满足实时性要求
综上所述,本发明的基于多尺度特征的安全帽佩戴检测方法解决了施工现场目标尺度变换的问题并满足实时性要求,提出的数据扩充方法表明了在某些情况下可以不考虑样本类别的均衡性,基于CSPDarkNet53模型的迁移学习证明了在MS COCO等大型数据集上的预训练模型可以迁移到安全帽佩戴检测中,提升了算法的性能,缓解了数据不充分的问题,避免了需要标注大量数据集的缺点,基于安全帽佩戴检测结果设计的步态识别可以有效的识别出未佩戴安全帽人员的身份,实现及时准确地提醒。
以上所述仅是本发明的优选实施方式,应当指出的是,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (1)
1.一种复杂场景下的安全帽佩戴检测方法,其特征在于,该方法包括:
步骤A,根据复杂场景下检测目标在画面中尺寸变化大的特点,设计安全帽检测的四个特征尺度;
在YOLO v5网络检测颈部和头部的基础上增加感受野更小的第四个检测尺度,增强对小目标的检测效果,增加后四个检测尺度分别为13×13,26×26,52×52,104×104,相比于原来的三个尺度具有更大的尺度检测范围;
YOLO v5训练时,其边界框回归的目标函数与真实值Bgt和预测值B有关,其计算如公式(1)所示,
其中d为真实值的中心Cgt和预测框的中心c之间的距离,1为真实值和预测框最小外接矩形的对角线长度,IoU为两个矩形框的交并比,其计算如公式(2)所示,
α为权重参数,其定义如公式(3)所示,
v为纵横比一致性,根据真实值和预测框的宽wgt,w和高hgt,h计算,如公式(4)所示,
根据损失函数计算公式可以确定生成更多合适的预测框能够提升网络的训练效果;
步骤B,在YOLO v5骨干网络中引入注意力机制,设计改进后的YOLO v5网络,减少低层有效信息提取到高层时的损失;
引入第四个检测尺度会导致网络层数加深,低层信息向高层信息传递时会产生损失,因此引入注意力机制减少信息损失,提高传输效率,同时使网络可以注意到图像中的小目标;
对于卷积映射Ftr:X→U,X∈RH′×W′×C′,U∈RH×W×C,vc表示第c个卷积核,那么输出U=[u1,u2,…,uc],如式(5)所示,
uc=vc*X (5)
引入的注意力机制包括挤压操作和激发操作,挤压操作将一个通道的空间特征编码为一个全局特征,采用全局平均池化实现,如公式(6)所示,
而激发操作采取sigmoid(σ)激活函数如式(7)所示,
s=Fex(z,W)=σ(g(z,W))=σ(W2δ(W1z)) (7)
x=s·u (8)
注意力机制让模型更加关注信息量最大的通道特征,抑制不重要的通道特征,本发明引入了2个SE模块,引入位置为骨干网络中第二个和第三个卷积拼接操作前;
步骤C,从精度和速度两方面设计评价指标评价检测效果,对检测效果较差的类别进行针对性数据扩充和CutMix数据增强;
为了对比模型改进带来的提升,将改进后的模型和改进前的模型在同一训练集和测试集上进行训练和测试,并从精度和速度两个方向进行评估,在精度方面计算指标精确率(precision),召回率(recall)并绘制PR曲线,计算平均精度均值(MAP),其计算公式如公式(9),公式(10)和公式(11)所示,
其中真正(TP)是被模型正确预测的目标数目,假正(FN)是将其它物体错误的预测为目标的数目,假负(FN)为没有被模型正确预测出的真值的数量;n为类别数目,对于每一类,平均精度(APi)为相应PR曲线下的面积;在速度方面则以在相同测试集上的平均检测时间为指标;评估完成后对检测效果较差的类别进行针对性数据扩充和CutMix数据增强;
令x∈RW×H×C和y分别代表训练目标和其标签,则对于A和B两张图片CutMix数据增强操作如公式(12)和公式(13)所示,
其中M∈{0,1}W×H为一个由0和1标记的掩码矩阵,其与图像尺寸一致,0为需要裁剪的区域,1为需要保留的区域;⊙为逐元素相乘,λ为服从(0,1)的均匀分布;
数据增强操作可以使模型专注于目标较难区分的特征,提高训练效率;
步骤D,基于改进后的YOLO v5,迁移学习其骨干网络CSPDarkNet53模型的特征提取能力,实现复杂场景下的安全帽识别;
在改进后的模型可以在安全帽检测数据集上取得较好的结果后,迁移学习其他相似检测任务的模型可以进一步提升安全帽检测模型的泛化能力,
迁移学习一般化定义如下:
条件:给定一个源域Ds和源域上的学习任务Ts,目标域Dt和目标域上的学习任务Tt
目标:利用Ds和Ts学习目标域上的预测函数f(·)
限制条件:Ds≠Dt,Ts≠Tt
本发明迁移学习在MS COCO等大型数据集上进行初步训练并完成相应检测任务的骨干网络CSPDarkNet53,冻结其所有的卷积层以及分类前的全连接层,并移植到改进后的模型中,在步骤C增强的数据集上重新进行训练,得到利用多尺度特征的安全帽佩戴检测模型,在施工现场对工人进行安全帽佩戴状态检测,输出检测结果,结果有两类,未佩戴安全帽(person),佩戴安全帽(hat);
步骤E,基于改进后的YOLO v5的检测结果,设计步态识别算法模块,实现未佩戴安全帽人员的身份识别:
为了减少计算量,仅对person类检测结果采取步态识别,对于检测框的左上角坐标(x1,y1)和右下角坐标(x2,y2),可以通过计算出头部的宽度和高度推断出未佩戴安全帽的人体边界框,如公式(14)-(19)所示,
h=y2-y1 (14)
w=x2-x1 (15)
x3=max(0,x1-2×w) (16)
y3=min(0,y1-h) (17)
x4=min(width,x2+2×w) (18)
y4=min(height,y2+5×h) (19)
其中width和height为图片的宽和高,(x3,y3),(x4,y4)为人体边界框的左上角和右下角坐标;在边界框里利用HRNet提取17个骨架关键点,并将其组成的骨架关键点步态序列输入到步态识别网络GaitGraph中进行识别;
人体的骨架图可以在结构上可以被表示为G=(V,ε),其中V={v1,…,vn}为表示关节的N个节点的集合,ε表示由邻接矩阵表示的骨骼的边的集合,邻接矩阵可表示为A∈RN×N,当vi到vj有边连接时,Ai,j=1,否则Aj,j=0,因为G为非定向的,所以A为对称矩阵;
人体的步态在特征上可以被表示为X={xt,n∈Rc|t,n∈Z,1≤t≤T,1≤n≤N},对于一个特征张量X∈RT×N×C,其中xt,n=Xt,n为节点vn在时间t的C维特征向量,总共有T帧,Xt∈RN×C为时间t时,姿态特征X在C维为对应的2D坐标及其置信度,N为节点的数量;
本发明的步态识别网络由ResGCN模块组成,该模块由一个图卷积、一个普通的时域二维卷积和带有瓶颈结构的残差连接组成;整个网络由多个ResGCN模块按顺序排列组成,输出层由一个平均池化层和一个产生特征向量的全连接层组成,使用监督对比损失作为损失函数,网络最终输出结果为识别目标对应的编码及其对应的特征向量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111514599.7A CN114419659A (zh) | 2021-12-13 | 2021-12-13 | 一种复杂场景下的安全帽佩戴检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111514599.7A CN114419659A (zh) | 2021-12-13 | 2021-12-13 | 一种复杂场景下的安全帽佩戴检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114419659A true CN114419659A (zh) | 2022-04-29 |
Family
ID=81264861
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111514599.7A Pending CN114419659A (zh) | 2021-12-13 | 2021-12-13 | 一种复杂场景下的安全帽佩戴检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114419659A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114581860A (zh) * | 2022-05-09 | 2022-06-03 | 武汉纺织大学 | 一种基于改进的YOLOv5模型的安全帽检测算法 |
CN115546614A (zh) * | 2022-12-02 | 2022-12-30 | 天津城建大学 | 一种基于改进yolov5模型的安全帽佩戴检测方法 |
CN116310785A (zh) * | 2022-12-23 | 2023-06-23 | 兰州交通大学 | 基于YOLO v4的无人机影像路面病害检测方法 |
CN116976775A (zh) * | 2023-07-25 | 2023-10-31 | 山东大舜医药物流有限公司 | 疫苗流向分拣及信息监控系统 |
CN117324837A (zh) * | 2023-11-08 | 2024-01-02 | 常州迅安科技股份有限公司 | 用于焊接机互锁的防护装置、设计方法及防护面罩 |
CN118351195A (zh) * | 2024-06-18 | 2024-07-16 | 安徽炬视科技有限公司 | 一种基于人体骨架点检测的相机外部参数自标定方法 |
CN118506290A (zh) * | 2024-07-19 | 2024-08-16 | 贵州交建信息科技有限公司 | 基于ai识别的梁场施工安全质量监测方法及系统 |
-
2021
- 2021-12-13 CN CN202111514599.7A patent/CN114419659A/zh active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114581860A (zh) * | 2022-05-09 | 2022-06-03 | 武汉纺织大学 | 一种基于改进的YOLOv5模型的安全帽检测算法 |
CN115546614A (zh) * | 2022-12-02 | 2022-12-30 | 天津城建大学 | 一种基于改进yolov5模型的安全帽佩戴检测方法 |
CN116310785A (zh) * | 2022-12-23 | 2023-06-23 | 兰州交通大学 | 基于YOLO v4的无人机影像路面病害检测方法 |
CN116310785B (zh) * | 2022-12-23 | 2023-11-24 | 兰州交通大学 | 基于YOLO v4的无人机影像路面病害检测方法 |
CN116976775A (zh) * | 2023-07-25 | 2023-10-31 | 山东大舜医药物流有限公司 | 疫苗流向分拣及信息监控系统 |
CN117324837A (zh) * | 2023-11-08 | 2024-01-02 | 常州迅安科技股份有限公司 | 用于焊接机互锁的防护装置、设计方法及防护面罩 |
CN117324837B (zh) * | 2023-11-08 | 2024-04-26 | 常州迅安科技股份有限公司 | 用于焊接机互锁的防护装置、设计方法及防护面罩 |
CN118351195A (zh) * | 2024-06-18 | 2024-07-16 | 安徽炬视科技有限公司 | 一种基于人体骨架点检测的相机外部参数自标定方法 |
CN118506290A (zh) * | 2024-07-19 | 2024-08-16 | 贵州交建信息科技有限公司 | 基于ai识别的梁场施工安全质量监测方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114419659A (zh) | 一种复杂场景下的安全帽佩戴检测方法 | |
CN110502965B (zh) | 一种基于计算机视觉人体姿态估计的施工安全帽佩戴监测方法 | |
CN111488804B (zh) | 基于深度学习的劳保用品佩戴情况检测和身份识别的方法 | |
Fang et al. | Detecting non-hardhat-use by a deep learning method from far-field surveillance videos | |
CN109670441B (zh) | 一种实现安全帽穿戴识别的方法、系统、终端以及计算机可读存储介质 | |
CN114627425B (zh) | 一种基于深度学习的检测工人是否佩戴安全帽的方法 | |
CN113516076B (zh) | 一种基于注意力机制改进的轻量化YOLO v4安全防护检测方法 | |
CN108171112A (zh) | 基于卷积神经网络的车辆识别与跟踪方法 | |
CN111062429A (zh) | 基于深度学习的厨师帽和口罩佩戴的检测方法 | |
CN110490080B (zh) | 一种基于图像的人体跌倒判别方法 | |
Bo et al. | Particle pollution estimation from images using convolutional neural network and weather features | |
JP2021529389A (ja) | 人体ポーズ分析システム及び方法 | |
CN111539276B (zh) | 一种在电力场景下安全帽实时检测的方法 | |
CN109493609A (zh) | 一种便携式未礼让行人自动识别抓拍的装置和方法 | |
CN106815578A (zh) | 一种基于深度运动图‑尺度不变特征变换的手势识别方法 | |
CN111062303A (zh) | 图像处理方法、系统及计算机存储介质 | |
Zhafran et al. | Computer vision system based for personal protective equipment detection, by using convolutional neural network | |
CN107992854A (zh) | 基于机器视觉的林业生态环境人机交互方法 | |
CN106548131A (zh) | 一种基于行人检测的施工人员安全帽实时检测方法 | |
CN116524356A (zh) | 一种矿石图像小样本目标检测方法及系统 | |
Kai et al. | Wearing safety helmet detection in substation | |
CN115273150A (zh) | 基于人体姿态估计的安全帽佩戴的新型识别方法及系统 | |
CN114997279A (zh) | 一种基于改进Yolov5模型的建筑工人危险区域入侵检测方法 | |
Handoko et al. | Evaluation of yolo-x and mobilenetv2 as face mask detection algorithms | |
Pramita et al. | Mask wearing classification using CNN |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |