CN113361425A - 一种基于深度学习的检测工人是否佩戴安全帽的方法 - Google Patents
一种基于深度学习的检测工人是否佩戴安全帽的方法 Download PDFInfo
- Publication number
- CN113361425A CN113361425A CN202110653367.3A CN202110653367A CN113361425A CN 113361425 A CN113361425 A CN 113361425A CN 202110653367 A CN202110653367 A CN 202110653367A CN 113361425 A CN113361425 A CN 113361425A
- Authority
- CN
- China
- Prior art keywords
- module
- layer
- fcn
- detection
- csp
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000013135 deep learning Methods 0.000 title claims abstract description 23
- 238000001514 detection method Methods 0.000 claims abstract description 86
- 238000012549 training Methods 0.000 claims abstract description 45
- 238000012360 testing method Methods 0.000 claims abstract description 31
- 238000010276 construction Methods 0.000 claims abstract description 15
- 230000006870 function Effects 0.000 claims description 32
- 238000000605 extraction Methods 0.000 claims description 22
- 238000002372 labelling Methods 0.000 claims description 21
- 238000011176 pooling Methods 0.000 claims description 15
- 230000004927 fusion Effects 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 4
- 230000005764 inhibitory process Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000007639 printing Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 239000004576 sand Substances 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- GOLXNESZZPUPJE-UHFFFAOYSA-N spiromesifen Chemical compound CC1=CC(C)=CC(C)=C1C(C(O1)=O)=C(OC(=O)CC(C)(C)C)C11CCCC1 GOLXNESZZPUPJE-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明属于深度学习的计算机视觉领域,是一种基于深度学习的工人安全帽佩戴检测方法,该方法包括以下步骤:S1、获取足够数量的含有佩戴安全帽人物样本和未佩戴安全帽人物样本的安全帽检测数据集,并随即按一定比例划分为训练集和测试集;S2、使用Pytorch深度学习框架,搭建CSP‑R‑FCN双阶段目标检测模型;S3、搭建模型训练和测试系统,对CSP‑R‑FCN双阶段目标检测模型进行训练和测试,直到其获得检测安全帽佩戴的能力;S4、提取实际应用场景:工地监控的视频,逐帧进行检测并输出检测结果,完成对安全帽佩戴的检测。本发明对视频流数据进行逐帧检测,标记出图像内所有人物的头部以及他们的安全帽佩戴情况。该方法不需要预设候选框、且具有较强的鲁棒性,在各种应用场景下都有高的检测精度。
Description
技术领域
本发明涉及基于深度学习的计算机视觉技术领域,具体为一种基于深度学习的检测工人是否佩戴安全帽的方法。
背景技术
佩戴安全帽是工地生产作业中最有效的个人防护措施,为了最大程度地降低工地中各种危险事故对工人们人身安全的危害,监督工人的安全帽佩戴情况十分重要。随着人工智能领域的飞快发展,有越来越多基于深度学习的目标检测算法被应用在安全帽佩戴检测任务上。目前主流的目标检测模型,如单阶段的SSD、YOLOv3和双阶段的Faster-RCNN、都是对预设的或滑窗生成的锚框进行分类和回归。预设锚框受所预设的尺寸和宽高比的影响,不能很好的匹配各种各样的实际目标;而滑窗生成锚框的思路需要耗费大量的运算资源,严重影响检测速度。
为解决上述问题,本方案研发的方法运用CSP无锚框的行人检测算法和R-FCN双阶段的物体检测器,对视频流数据进行逐帧检测,标记出图像内所有人物的头部以及他们的安全帽佩戴情况。该方法不需要预设候选框、且具有较强的鲁棒性,在各种应用场景下都有高的检测精度。
发明内容
本发明的目的在于提供一种基于深度学习的检测工人是否佩戴安全帽的方法,以解决上述背景技术中提出的问题;本发明提供的方法对视频流数据进行逐帧检测,标记出图像内所有人物的头部以及他们的安全帽佩戴情况。该方法不需要预设候选框、且具有较强的鲁棒性,在各种应用场景下都有高的检测精度。
为实现上述目的,本发明提供如下技术方案:
一种基于深度学习的检测工人是否佩戴安全帽的方法,包括以下步骤:
S1、获取足够数量的含有佩戴安全帽人物样本和未佩戴安全帽人物样本的安全帽检测数据集,并随即按一定比例划分为训练集和测试集;
S2、使用Pytorch深度学习框架,搭建CSP-R-FCN双阶段目标检测模型,所述CSP-R-FCN双阶段目标检测模型包括骨干网络、csp目标区域推荐模块、R-FCN特征提取模块和R-FCN分类预测模块;
S3、搭建模型训练和测试系统,对CSP-R-FCN双阶段目标检测模型进行训练和测试,直到其获得检测安全帽佩戴的能力;
S4、提取实际应用场景:工地监控的视频,逐帧进行检测并输出检测结果,完成对安全帽佩戴的检测。
进一步地,所述步骤S1中,所述获取安全帽检测数据集的方法,包括:
1)对现有的安全帽数据集进行数据清洗,并将标签数据转换为VOC数据集的标注格式;
2)提取现有的行人检测数据集,使用labelimg标注工具对所述行人检测数据进行重新标注,得到可用的安全帽检测数据集;所标注的标签数据为VOC数据集的标注格式;
3)逐帧提取工地监控视频中的图片,对所提取的图片进行筛选并使用labelimg标注工具标注,得到可用的安全帽检测数据集;所标注的标签数据为VOC数据集的标注格式;
所述获取的安全帽检测数据集的标签数据,所标注的位置为图像内人物的头部;所标注的类别分为五类,分别是:佩戴黄色安全帽(yellow)、佩戴红色安全帽(red)、佩戴蓝色安全帽(blue)、佩戴白色安全帽(white)和未佩戴安全帽(none)。
进一步地,所述步骤S2中,
所述骨干网络为在ImageNet数据集上预训练好的VGG16的前四个卷积块,共13层:其中第一层、第二层、第四层、第五层、第七层、第八层、第九层、第十一层、第十二层和第十三层均为卷积层,且卷积核大小均为3*3;第三层、第六层和第十层均为步长为2的最大池化下采样层。
所述csp目标区域推荐模块接在骨干网络之后,可分为三个阶段,依次分别是:残差特征提取阶段、多层特征融合阶段和目标预测阶段。
优选的,所述多层特征融合阶段将三个不同深度的卷积层所提取的特征上采样并做正规化操作后进行拼接,输入分别为上采样2倍的骨干网络最后一层、上采样4倍的残差特征提取阶段第六层和上采样4倍的残差特征提取阶段第九层;
优选的,所述目标预测阶段接在多层特征融合阶段之后,经过一个卷积核大小为3*3的卷积层后,输出三个预测分支,分别为中心点(center)、尺寸(scale)和偏置(offset),实现对目标检测区域的推荐。所述的推荐区域为人体的头部。
所述R-FCN特征提取模块的输入为骨干网络的最后一层,经过一个卷积核大小为3*3的卷积层后,分为置信度预测分支和位置预测分支。置信度预测分支和位置预测分支分别经过均值池化层,输出尺寸均为7*7的置信度预测特征图与位置预测特征图。
优选的,所述的置信度预测特征图共有49*6=296个,对应6个检测类别(背景、佩戴黄色安全帽、佩戴红色安全帽、佩戴蓝色安全帽、佩戴白色安全帽、未佩戴安全帽),特征图尺寸为7*7;对应检测框的4个位置参数的偏移量(中心点坐标、宽、高),特征图尺寸为7*7。
所述R-FCN分类预测模块,包括:将输入的置信度预测特征图和位置预测特征图通过位置敏感ROI池化(Position-sensitive ROI Pooling)操作,分别得到位置敏感的类别得分图和回归得分图;
进一步地,所述步骤S3中,所述模型训练和测试系统,包括:数据预处理模块、损失函数模块、训练模块、训练日志存储模块和测试模块。
进一步地,所述步骤S3中,
所述的数据预处理模块,包括:
1)将图像尺寸按比例地缩放为16的倍数;
2)对图像做高斯滤波处理;
3)将所读取的图像数据转化为Pytorch中的张量(Tensor)格式;
所述损失函数模块,包含了csp目标区域推荐模块与R-FCN分类预测模块两部分的损失函数;
所述csp目标区域推荐模块的损失函数分为中心点损失(Lcenter)、尺度损失(Lscale)和偏置损失(Loffset)。
其中,
其中γ和β为预设的超参数,本实施例中设γ=2,β=4;pij∈[0,1]为csp目标区域推荐模块输出的center概率,Mij为在center特征图上每个正样本位置应用的高斯掩膜编码:
尺度损失(Lscale)和偏置损失(Loffset)均使用SmoothL1函数:
csp目标区域推荐模块损失函数的完整表达式为:
L=λcLcenter+λsLscale+λoLoffset
其中λc、λs和λo为预设的超参数,本实施例中,设λc=0.01,λs=1,λo=0.1。
对应每一个所预测的目标区域(ROI),R-FCN分类预测模块的损失函数为:
L(s,tx,y,w,h)=Lcls(sc*)+λ[c*>0]Lreg(t,t*)
其中,c*为该ROI的真实数据(Ground Truth)的标签;t*表示真实数据框;Lreg=SmoothL1(t,t*);[c*>0]为一个指示器,当c*>0即该ROI对应的为正样本时计算回归损失Lreg。其中,Sc为R-FCN分类预测模块所预测的置信度:
所述训练模块,包括端到端训练方式与分阶段训练方式。所述的端到端训练即csp目标区域推荐模块与R-FCN分类预测模块同步训练;分阶段训练即先训练R-FCN分类预测模块,再训练csp目标区域推荐模块;
所述测试模块,包括:测试csp目标区域推荐模块对图像中人体头部的推荐能力;测试R-FCN分类预测模块对目标的识别能力;计算各模型的对每一种检测类别的精度和召回率;从而判断模型是否已具有检测安全帽佩戴的能力。
进一步地,所述步骤S4中,包括:
1)提取实际工地监控视频图像并输入到已训练好的CSP-R-FCN目标检测模型中,先得到由csp目标区域推荐模块推荐的头部预测区域,并根据推荐区域之间的交并比,采用非极大值抑制方法,剔除部分重合度高的推荐区域;
2)根据所述推荐区域对R-FCN特征提取模块中所提取的特征图进行按区域池化,并输入到R-FCN分类预测模块中,得到类别得分图与回归得分图;
3)根据所述类别得分图与回归得分图,得到所述推荐区域中目标的类别与改进的检测框位置,并同时打印的图像上,从而实现检测目的。
与现有技术相比,本发明的有益效果是:
本发明通过运用CSP行人检测模型的无锚框检测思路推荐人体头部区域以供检测,大幅地提高了模型对各种各样应用场景的鲁棒性;无锚框检测节省了大量的用于负样本锚框的计算资源,加快了模型收敛速度,且不需要固定输入图像的分辨率;只推荐人体头部的做法有效地降低了实际应用场景中拍摄角度、人物姿态和人物肢体重叠对检测性能的影响。
运用R-FCN双阶段的物体检测器,通过位置敏感ROI池化的思路解决了图像分类网络的位置不敏感性与目标检测网络的位置敏感性之间的矛盾。相比于以往的双阶段物体检测器在速度与精度上都有较大提升。
附图说明
图1为本发明实施步骤示意图;
图2为本发明网络结构示意图;
图3为本发明位置敏感ROI池化示意图;
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1-3,本发明提供如下技术方案及实施例:
如图1所示,一种基于深度学习的检测工人是否佩戴安全帽的方法,包括以下步骤:
S1、获取足够数量的含有佩戴安全帽人物样本和未佩戴安全帽人物样本的安全帽检测数据集,并随即按一定比例划分为训练集和测试集;
S2、使用Pytorch深度学习框架,搭建CSP-R-FCN双阶段目标检测模型,所述CSP-R-FCN双阶段目标检测模型包括骨干网络、csp目标区域推荐模块、R-FCN特征提取模块和R-FCN分类预测模块;
S3、搭建模型训练和测试系统,对CSP-R-FCN双阶段目标检测模型进行训练和测试,直到其获得检测安全帽佩戴的能力;
S4、提取实际应用场景:工地监控的视频,逐帧进行检测并输出检测结果,完成对安全帽佩戴的检测。
进一步地,所述步骤S1中,所述获取安全帽检测数据集的方法,包括:
1)对现有的安全帽数据集进行数据清洗,并将标签数据转换为VOC数据集的标注格式;
2)提取现有的行人检测数据集,使用labelimg标注工具对所述行人检测数据进行重新标注,得到可用的安全帽检测数据集;所标注的标签数据为VOC数据集的标注格式;
3)逐帧提取工地监控视频中的图片,对所提取的图片进行筛选并使用labelimg标注工具标注,得到可用的安全帽检测数据集;所标注的标签数据为VOC数据集的标注格式;
所述获取的安全帽检测数据集的标签数据,所标注的位置为图像内人物的头部;所标注的类别分为五类,分别是:佩戴黄色安全帽(yellow)、佩戴红色安全帽(red)、佩戴蓝色安全帽(blue)、佩戴白色安全帽(white)和未佩戴安全帽(none)。
步骤S1中,选用GDWT-HUD安全帽检测数据集作为训练集和测试集。对数据集进行清洗后得到共3160张图片,其中600张作为测试集。
步骤S2中,所搭建CSP-R-FCN双阶段目标检测模型的具体模型如图2所示。
骨干网络截取自Pytorch内预设的VGG16模型的前四个卷积块,该VGG16模型已在ImageNet的图像分类数据集上经过充分的预训练,已具有特征提取能力。VGG16模型的前四个卷积块共13层,其中第一层、第二层、第四层、第五层、第七层、第八层、第九层、第十一层、第十二层和第十三层均为卷积层,且卷积核大小均为3*3;第三层、第六层和第十层均为步长为2的最大池化下采样层。每个卷积层的输出均经过ReLU激活函数和批标准化层(BatchNorm)处理。
步骤S2中,所述的csp目标区域推荐模块接在骨干网络之后,可分为三个阶段,依次分别是:残差特征提取阶段、多层特征融合阶段和目标预测阶段。
如图2所示,所述残差特征提取阶段共由9个瓶颈层(BottleNeck Layer)连接而成,并在第一个瓶颈层中做了下采样操作;所述瓶颈层的表达方式为:一个瓶颈层中包括三个卷积层,其中第二个卷积层的卷积核大小为3*3,其余的卷积层卷积核大小为1*1。残差特征提取阶段中,第一个瓶颈层中做了步长为2的下采样操作,且其中第七个、第八个、第九个瓶颈层做了空洞率为2的空洞卷积操作。
具体地,如图2所示,多层特征融合阶段将三个不同深度的卷积层所提取的特征上采样并做正规化操作后进行拼接,输入分别为上采样2倍的骨干网络最后一层、上采样4倍的残差特征提取阶段第六层和上采样4倍的残差特征提取阶段第九层。上采样通过转置卷积实现、所述的正规化操作为L1正规化。
如图2所示,所述的目标预测阶段接在多层特征融合阶段之后,经过经过一个卷积核大小为3*3的卷积层后,输出三个预测分支,分别为中心点(center)、尺寸(scale)和偏置(offset),实现对目标检测区域的推荐。所述的推荐区域为人体的头部。
所述步骤S2中,所述的R-FCN特征提取模块的输入为骨干网络的最后一层,经过一个卷积核大小为3*3的卷积层后,分为置信度预测分支和位置预测分支。置信度预测分支和位置预测分支分别经过均值池化层,输出尺寸均为7*7的置信度预测特征图与位置预测特征图。
所述的置信度预测特征图共有49*6=296个,对应6个检测类别(背景、佩戴黄色安全帽、佩戴红色安全帽、佩戴蓝色安全帽、佩戴白色安全帽、未佩戴安全帽)。特征图尺寸为7*7。
所述的位置预测特征图共有49*4=196个,对应检测框的4个位置参数的偏移量(中心点坐标、宽、高)。特征图尺寸为7*7。
所述步骤S2中,所述的R-FCN分类预测模块,包括:将输入的置信度预测特征图和位置预测特征图通过位置敏感ROI池化(Position-sensitive ROI Pooling)操作,分别得到位置敏感的类别得分图和回归得分图。
位置敏感ROI池化操作如图3所示。
步骤S3中,所述的模型训练和测试系统,包括:数据预处理模块、损失函数模块、训练模块、训练日志存储模块和测试模块。
所述的数据预处理模块,包括:
1)将图像尺寸按比例地缩放为16的倍数;
2)对图像做高斯滤波处理;
3)将所读取的图像数据转化为Pytorch中的张量(Tensor)格式。
所述损失函数模块,包含了csp目标区域推荐模块与R-FCN分类预测模块两部分的损失函数。
所述csp目标区域推荐模块的损失函数分为中心点损失(Lcenter)、尺度损失(Lscale)和偏置损失(Loffset)。
其中,
其中γ和β为预设的超参数,本实施例中设γ=2,β=4;pij∈[0,1]为csp目标区域推荐模块输出的center概率,Mij为在center特征图上每个正样本位置应用的高斯掩膜编码:
尺度损失(Lscale)和偏置损失(Loffset)均使用SmoothL1函数:
csp目标区域推荐模块损失函数的完整表达式为:
L=λcLcenter+λsLscale+λoLoffset
其中λc、λs和λo为预设的超参数,本实施例中,设λc=0.01,λs=1,λo=0.1。
对应每一个所预测的目标区域(ROI),R-FCN分类预测模块的损失函数为:
L(s,tx,y,w,h)=Lcls(sc*)+λ[c*>0]Lreg(t,t*)
其中,c*为该ROI的真实数据(Ground Truth)的标签;t*表示真实数据框;Lreg=SmoothL1(t,t*);[c*>0]为一个指示器,当c*>0即该ROI对应的为正样本时计算回归损失Lreg。其中,Sc为R-FCN分类预测模块所预测的置信度:
所述的训练模块,包括端到端训练方式与分阶段训练方式:
所述的端到端训练即csp目标区域推荐模块与R-FCN分类预测模块同步训练。将csp目标区域推荐模块的损失函数与R-FCN分类预测模块的损失函数同时反向传播并更新网络中的参数。本实施例中,为了平衡端到端训练时两个预测模块损失函数之间的数量级差异,在反向传播前使R-FCN分类预测模块的损失函数乘以一个平衡系数,平衡系数为100。
所述的分阶段训练即先将csp目标区域推荐模块的学习率调为0,禁止该模块损失函数的反向传播,单独训练R-FCN分类预测模块。再将R-FCN分类预测模块的学习率调为0,单独训练csp目标区域推荐模块。
在本实施例中,采用小批次训练方式;训练优化器为Adam优化器。骨干网络部分采用微调(Fine Tune)的学习策略,学习率设为,其余部分在学习率不为0时均设为。
所述的测试模块,包括:
1)测试csp目标区域推荐模块对图像中人体头部的推荐能力;
2)测试R-FCN分类预测模块对目标的识别能力;
3)计算各模型的对每一种检测类别的精度和召回率。
在测试过程中,根据预测框之间的交并比,采用非极大值抑制方法,剔除冗余的检测框。
所述步骤S4中,包括:
1)提取实际工地监控视频图像并输入到已训练好的CSP-R-FCN目标检测模型中,先得到由csp目标区域推荐模块推荐的头部预测区域,并根据推荐区域之间的交并比,采用非极大值抑制方法,剔除部分重合度高的推荐区域;
2)根据所述推荐区域对R-FCN特征提取模块中所提取的特征图进行按区域池化,并输入到R-FCN分类预测模块中,得到类别得分图与回归得分图;
3)根据所述类别得分图与回归得分图,得到所述推荐区域中目标的类别与改进的检测框位置,并同时打印的图像上,从而实现检测目的。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
Claims (9)
1.一种基于深度学习的检测工人是否佩戴安全帽的方法,其特征在于:所述方法包括以下步骤:
S1、获取足够数量的含有佩戴安全帽人物样本和未佩戴安全帽人物样本的安全帽检测数据集,并随即按一定比例划分为训练集和测试集;
S2、使用Pytorch深度学习框架,搭建CSP-R-FCN双阶段目标检测模型,所述CSP-R-FCN双阶段目标检测模型包括骨干网络、csp目标区域推荐模块、R-FCN特征提取模块和R-FCN分类预测模块;
S3、搭建模型训练和测试系统,对CSP-R-FCN双阶段目标检测模型进行训练和测试,直到其获得检测安全帽佩戴的能力;
S4、提取实际应用场景:工地监控的视频,逐帧进行检测并输出检测结果,完成对安全帽佩戴的检测。
2.根据权利要求1所述的一种基于深度学习的检测工人是否佩戴安全帽的方法,其特征在于:所述步骤S1中,所述获取安全帽检测数据集的方法,包括:
1)对现有的安全帽数据集进行数据清洗,并将标签数据转换为VOC数据集的标注格式;
2)提取现有的行人检测数据集,使用labelimg标注工具对所述行人检测数据进行重新标注,得到可用的安全帽检测数据集;所标注的标签数据为VOC数据集的标注格式;
3)逐帧提取工地监控视频中的图片,对所提取的图片进行筛选并使用labelimg标注工具标注,得到可用的安全帽检测数据集;所标注的标签数据为VOC数据集的标注格式;
所述获取的安全帽检测数据集的标签数据,所标注的位置为图像内人物的头部;所标注的类别分为五类,分别是:佩戴黄色安全帽(yellow)、佩戴红色安全帽(red)、佩戴蓝色安全帽(blue)、佩戴白色安全帽(white)和未佩戴安全帽(none)。
3.根据权利要求1所述的一种基于深度学习的检测工人是否佩戴安全帽的方法,其特征在于:所述步骤S2中,
所述骨干网络为在ImageNet数据集上预训练好的VGG16的前四个卷积块,共13层:其中第一层、第二层、第四层、第五层、第七层、第八层、第九层、第十一层、第十二层和第十三层均为卷积层,且卷积核大小均为3*3;第三层、第六层和第十层均为步长为2的最大池化下采样层;
所述csp目标区域推荐模块接在骨干网络之后,可分为三个阶段,依次分别是:残差特征提取阶段、多层特征融合阶段和目标预测阶段;
所述R-FCN特征提取模块的输入为骨干网络的最后一层,经过一个卷积核大小为3*3的卷积层后,分为置信度预测分支和位置预测分支;置信度预测分支和位置预测分支分别经过均值池化层,输出尺寸均为7*7的置信度预测特征图与位置预测特征图;
所述R-FCN分类预测模块,包括:将输入的置信度预测特征图和位置预测特征图通过位置敏感ROI池化(Position-sensitive ROI Pooling)操作,分别得到位置敏感的类别得分图和回归得分图。
4.根据权利要求3所述的一种基于深度学习的检测工人是否佩戴安全帽的方法,其特征在于:所述步骤S2中,
所述多层特征融合阶段将三个不同深度的卷积层所提取的特征上采样并做正规化操作后进行拼接,输入分别为上采样2倍的骨干网络最后一层、上采样4倍的残差特征提取阶段第六层和上采样4倍的残差特征提取阶段第九层;
所述目标预测阶段接在多层特征融合阶段之后,经过一个卷积核大小为3*3的卷积层后,输出三个预测分支,分别为中心点(center)、尺寸(scale)和偏置(offset),实现对目标检测区域的推荐;所述的推荐区域为人体的头部。
5.根据权利要求3所述的一种基于深度学习的检测工人是否佩戴安全帽的方法,其特征在于:所述步骤S2中,所述的置信度预测特征图共有49*6=296个,对应6个检测类别(背景、佩戴黄色安全帽、佩戴红色安全帽、佩戴蓝色安全帽、佩戴白色安全帽、未佩戴安全帽),特征图尺寸为7*7;对应检测框的4个位置参数的偏移量(中心点坐标、宽、高),特征图尺寸为7*7。
6.根据权利要求1所述的一种基于深度学习的检测工人是否佩戴安全帽的方法,其特征在于:所述步骤S3中,所述模型训练和测试系统,包括:数据预处理模块、损失函数模块、训练模块、训练日志存储模块和测试模块。
7.根据权利要求6所述的一种基于深度学习的检测工人是否佩戴安全帽的方法,其特征在于:所述步骤S3中,
所述的数据预处理模块,包括:
1)将图像尺寸按比例地缩放为16的倍数;
2)对图像做高斯滤波处理;
3)将所读取的图像数据转化为Pytorch中的张量(Tensor)格式;
所述损失函数模块,包含了csp目标区域推荐模块与R-FCN分类预测模块两部分的损失函数;
所述训练模块,包括端到端训练方式与分阶段训练方式;所述的端到端训练即csp目标区域推荐模块与R-FCN分类预测模块同步训练;分阶段训练即先训练R-FCN分类预测模块,再训练csp目标区域推荐模块;
所述测试模块,包括:测试csp目标区域推荐模块对图像中人体头部的推荐能力;测试R-FCN分类预测模块对目标的识别能力;计算各模型的对每一种检测类别的精度和召回率;从而判断模型是否已具有检测安全帽佩戴的能力。
8.根据权利要求7所述的一种基于深度学习的检测工人是否佩戴安全帽的方法,其特征在于:所述步骤S3中,所述损失函数模块包含了csp目标区域推荐模块与R-FCN分类预测模块两部分的损失函数;
其中,所述csp目标区域推荐模块的损失函数分为中心点损失(Lcenter)、尺度损失(Lscale)和偏置损失(Loffset);
其中,
其中γ和β为预设的超参数,本实施例中设γ=2,β=4;pij∈[0,1]为csp目标区域推荐模块输出的center概率,Mij为在center特征图上每个正样本位置应用的高斯掩膜编码:
尺度损失(Lscale)和偏置损失(Loffset)均使用SmoothL1函数:
csp目标区域推荐模块损失函数的完整表达式为:
L=λcLcenter+λsLscale+λoLoffset
其中λc、λs和λo为预设的超参数,本实施例中,设λc=0.01,λs=1,λo=0.1;
对应每一个所预测的目标区域(ROI),R-FCN分类预测模块的损失函数为:
9.根据权利要求1所述的一种基于深度学习的检测工人是否佩戴安全帽的方法,其特征在于:所述步骤S4中,包括:
1)提取实际工地监控视频图像并输入到已训练好的CSP-R-FCN目标检测模型中,先得到由csp目标区域推荐模块推荐的头部预测区域,并根据推荐区域之间的交并比,采用非极大值抑制方法,剔除部分重合度高的推荐区域;
2)根据所述推荐区域对R-FCN特征提取模块中所提取的特征图进行按区域池化,并输入到R-FCN分类预测模块中,得到类别得分图与回归得分图;
3)根据所述类别得分图与回归得分图,得到所述推荐区域中目标的类别与改进的检测框位置,并同时打印的图像上,从而实现检测目的。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110653367.3A CN113361425A (zh) | 2021-06-11 | 2021-06-11 | 一种基于深度学习的检测工人是否佩戴安全帽的方法 |
CN202210363867.8A CN114627425B (zh) | 2021-06-11 | 2022-04-07 | 一种基于深度学习的检测工人是否佩戴安全帽的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110653367.3A CN113361425A (zh) | 2021-06-11 | 2021-06-11 | 一种基于深度学习的检测工人是否佩戴安全帽的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113361425A true CN113361425A (zh) | 2021-09-07 |
Family
ID=77533890
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110653367.3A Withdrawn CN113361425A (zh) | 2021-06-11 | 2021-06-11 | 一种基于深度学习的检测工人是否佩戴安全帽的方法 |
CN202210363867.8A Active CN114627425B (zh) | 2021-06-11 | 2022-04-07 | 一种基于深度学习的检测工人是否佩戴安全帽的方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210363867.8A Active CN114627425B (zh) | 2021-06-11 | 2022-04-07 | 一种基于深度学习的检测工人是否佩戴安全帽的方法 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN113361425A (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113887634A (zh) * | 2021-10-08 | 2022-01-04 | 齐丰科技股份有限公司 | 基于改进两步检测的电力安全带检测及预警方法 |
CN114067365A (zh) * | 2021-11-23 | 2022-02-18 | 广东工业大学 | 一种基于中心注意向心网络的安全帽佩戴检测方法和系统 |
CN114241522A (zh) * | 2021-12-13 | 2022-03-25 | 北京国网信通埃森哲信息技术有限公司 | 现场作业安全穿戴识别方法、系统、设备及存储介质 |
CN114332752A (zh) * | 2021-12-09 | 2022-04-12 | 华电宁夏灵武发电有限公司 | 一种作业人员安全装备异常佩戴状态检测方法与装置 |
CN114463676A (zh) * | 2022-01-19 | 2022-05-10 | 北京工业大学 | 一种基于隐式表达的安全帽配戴检测方法 |
CN114782986A (zh) * | 2022-03-28 | 2022-07-22 | 佳源科技股份有限公司 | 基于深度学习的安全帽佩戴检测方法、装置、设备及介质 |
CN114820608A (zh) * | 2022-06-28 | 2022-07-29 | 泽景(西安)汽车电子有限责任公司 | 成像效果检测方法、装置、车辆及存储介质 |
CN114997279A (zh) * | 2022-05-11 | 2022-09-02 | 浙江大学 | 一种基于改进Yolov5模型的建筑工人危险区域入侵检测方法 |
CN115131339A (zh) * | 2022-07-25 | 2022-09-30 | 福建省海峡智汇科技有限公司 | 一种基于神经网络目标检测的厂区工装检测方法及系统 |
CN116329774A (zh) * | 2023-02-24 | 2023-06-27 | 百超(深圳)激光科技有限公司 | 一种高速光纤激光切割机智能切割控制系统及方法 |
CN117237752A (zh) * | 2023-08-09 | 2023-12-15 | 北京城建智控科技股份有限公司 | 一种基于改进的pp-yoloe模型的安全帽佩戴检测方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115966009A (zh) * | 2023-01-03 | 2023-04-14 | 迪泰(浙江)通信技术有限公司 | 一种船舶智能检测系统及方法 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109447168A (zh) * | 2018-11-05 | 2019-03-08 | 江苏德劭信息科技有限公司 | 一种基于深度特征和视频目标检测的安全帽佩戴检测方法 |
CN110070033B (zh) * | 2019-04-19 | 2020-04-24 | 山东大学 | 一种电力领域危险工作区域内安全帽佩戴状态检测方法 |
CN110263686A (zh) * | 2019-06-06 | 2019-09-20 | 温州大学 | 一种基于深度学习的施工工地图像安全帽检测方法 |
CN110399905B (zh) * | 2019-07-03 | 2023-03-24 | 常州大学 | 施工场景中安全帽佩戴情况的检测及描述方法 |
KR20210006722A (ko) * | 2019-07-09 | 2021-01-19 | 주식회사 케이티 | 안전 장비의 착용 여부를 판단하는 장치, 방법 및 컴퓨터 프로그램 |
CN110738127B (zh) * | 2019-09-19 | 2023-04-18 | 福建技术师范学院 | 基于无监督深度学习神经网络算法的安全帽识别方法 |
CN110728223A (zh) * | 2019-10-08 | 2020-01-24 | 济南东朔微电子有限公司 | 一种基于深度学习的安全帽佩戴识别方法 |
CN111160440B (zh) * | 2019-12-24 | 2023-11-21 | 广东省智能制造研究所 | 一种基于深度学习的安全帽佩戴检测方法及装置 |
CN111539276B (zh) * | 2020-04-14 | 2022-12-06 | 国家电网有限公司 | 一种在电力场景下安全帽实时检测的方法 |
AU2020100711A4 (en) * | 2020-05-05 | 2020-06-11 | Chang, Cheng Mr | The retrieval system of wearing safety helmet based on deep learning |
CN111881730A (zh) * | 2020-06-16 | 2020-11-03 | 北京华电天仁电力控制技术有限公司 | 一种火电厂现场安全帽佩戴检测方法 |
CN111753805B (zh) * | 2020-07-08 | 2024-06-07 | 深延科技(北京)有限公司 | 安全帽佩戴检测方法和装置 |
CN112149512A (zh) * | 2020-08-28 | 2020-12-29 | 成都飞机工业(集团)有限责任公司 | 一种基于两阶段深度学习的安全帽佩戴识别方法 |
CN112633308A (zh) * | 2020-09-15 | 2021-04-09 | 北京华电天仁电力控制技术有限公司 | 一种电厂作业人员是否佩戴安全带的检测方法及检测系统 |
CN112364778A (zh) * | 2020-11-12 | 2021-02-12 | 上海明华电力科技有限公司 | 一种基于深度学习的电厂安全性行为信息自动检测方法 |
-
2021
- 2021-06-11 CN CN202110653367.3A patent/CN113361425A/zh not_active Withdrawn
-
2022
- 2022-04-07 CN CN202210363867.8A patent/CN114627425B/zh active Active
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113887634A (zh) * | 2021-10-08 | 2022-01-04 | 齐丰科技股份有限公司 | 基于改进两步检测的电力安全带检测及预警方法 |
CN113887634B (zh) * | 2021-10-08 | 2024-05-28 | 齐丰科技股份有限公司 | 基于改进两步检测的电力安全带检测及预警方法 |
CN114067365A (zh) * | 2021-11-23 | 2022-02-18 | 广东工业大学 | 一种基于中心注意向心网络的安全帽佩戴检测方法和系统 |
CN114332752A (zh) * | 2021-12-09 | 2022-04-12 | 华电宁夏灵武发电有限公司 | 一种作业人员安全装备异常佩戴状态检测方法与装置 |
CN114332752B (zh) * | 2021-12-09 | 2024-06-21 | 国能宁夏灵武发电有限公司 | 一种作业人员安全装备异常佩戴状态检测方法与装置 |
CN114241522A (zh) * | 2021-12-13 | 2022-03-25 | 北京国网信通埃森哲信息技术有限公司 | 现场作业安全穿戴识别方法、系统、设备及存储介质 |
CN114241522B (zh) * | 2021-12-13 | 2024-08-06 | 北京国网信通埃森哲信息技术有限公司 | 现场作业安全穿戴识别方法、系统、设备及存储介质 |
CN114463676A (zh) * | 2022-01-19 | 2022-05-10 | 北京工业大学 | 一种基于隐式表达的安全帽配戴检测方法 |
CN114782986B (zh) * | 2022-03-28 | 2024-04-26 | 佳源科技股份有限公司 | 基于深度学习的安全帽佩戴检测方法、装置、设备及介质 |
CN114782986A (zh) * | 2022-03-28 | 2022-07-22 | 佳源科技股份有限公司 | 基于深度学习的安全帽佩戴检测方法、装置、设备及介质 |
CN114997279A (zh) * | 2022-05-11 | 2022-09-02 | 浙江大学 | 一种基于改进Yolov5模型的建筑工人危险区域入侵检测方法 |
CN114820608A (zh) * | 2022-06-28 | 2022-07-29 | 泽景(西安)汽车电子有限责任公司 | 成像效果检测方法、装置、车辆及存储介质 |
CN115131339A (zh) * | 2022-07-25 | 2022-09-30 | 福建省海峡智汇科技有限公司 | 一种基于神经网络目标检测的厂区工装检测方法及系统 |
CN116329774A (zh) * | 2023-02-24 | 2023-06-27 | 百超(深圳)激光科技有限公司 | 一种高速光纤激光切割机智能切割控制系统及方法 |
CN116329774B (zh) * | 2023-02-24 | 2023-10-20 | 百超(深圳)激光科技有限公司 | 一种高速光纤激光切割机智能切割控制系统及方法 |
CN117237752A (zh) * | 2023-08-09 | 2023-12-15 | 北京城建智控科技股份有限公司 | 一种基于改进的pp-yoloe模型的安全帽佩戴检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114627425A (zh) | 2022-06-14 |
CN114627425B (zh) | 2024-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113361425A (zh) | 一种基于深度学习的检测工人是否佩戴安全帽的方法 | |
CN106960195B (zh) | 一种基于深度学习的人群计数方法及装置 | |
WO2021227366A1 (zh) | 一种多个小目标的自动准确检测方法 | |
CN110033002B (zh) | 基于多任务级联卷积神经网络的车牌检测方法 | |
CN113065578B (zh) | 一种基于双路区域注意力编解码的图像视觉语义分割方法 | |
CN112200043A (zh) | 面向室外施工现场的危险源智能识别系统及方法 | |
CN109034092A (zh) | 用于监控系统的异常事件检测方法 | |
CN111881770A (zh) | 一种人脸识别方法及系统 | |
CN111091110B (zh) | 一种基于人工智能的反光背心穿戴识别方法 | |
US8094971B2 (en) | Method and system for automatically determining the orientation of a digital image | |
CN113361397A (zh) | 一种基于深度学习的人脸口罩佩戴情况检测方法 | |
CN112070043A (zh) | 基于特征融合的安全帽佩戴卷积网络、训练及检测方法 | |
CN116824335A (zh) | 一种基于YOLOv5改进算法的火灾预警方法及系统 | |
CN116469020A (zh) | 一种基于多尺度和高斯Wasserstein距离的无人机图像目标检测方法 | |
CN114220143A (zh) | 一种佩戴口罩的人脸识别方法 | |
CN114049325A (zh) | 轻量化人脸口罩佩戴检测模型的构建方法及应用 | |
CN112651371A (zh) | 着装安全检测方法、装置、存储介质及计算机设备 | |
CN115980050A (zh) | 排水口的水质检测方法、装置、计算机设备及存储介质 | |
CN117726991B (zh) | 一种高空吊篮安全带检测方法及终端 | |
CN114220024A (zh) | 基于深度学习的静止卫星沙尘暴识别方法 | |
CN115205650B (zh) | 基于多尺度标准化流的无监督异常定位与检测方法及装置 | |
CN115719428A (zh) | 基于分类模型的人脸图像聚类方法、装置、设备及介质 | |
Yatbaz et al. | Run-time introspection of 2d object detection in automated driving systems using learning representations | |
Proscovia et al. | A Comparison Study: Building Identification in Aerial Imagery Using Multi-Task Learning | |
Bharathi et al. | A Conceptual Real-Time Deep Learning Approach for Object Detection, Tracking and Monitoring Social Distance using Yolov5 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210907 |