CN114627425B - 一种基于深度学习的检测工人是否佩戴安全帽的方法 - Google Patents
一种基于深度学习的检测工人是否佩戴安全帽的方法 Download PDFInfo
- Publication number
- CN114627425B CN114627425B CN202210363867.8A CN202210363867A CN114627425B CN 114627425 B CN114627425 B CN 114627425B CN 202210363867 A CN202210363867 A CN 202210363867A CN 114627425 B CN114627425 B CN 114627425B
- Authority
- CN
- China
- Prior art keywords
- layer
- safety helmet
- module
- fcn
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000013135 deep learning Methods 0.000 title claims abstract description 16
- 238000001514 detection method Methods 0.000 claims abstract description 91
- 238000012549 training Methods 0.000 claims abstract description 40
- 238000012360 testing method Methods 0.000 claims abstract description 31
- 238000010276 construction Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 30
- 238000000605 extraction Methods 0.000 claims description 26
- 238000011176 pooling Methods 0.000 claims description 18
- 230000004927 fusion Effects 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 5
- 230000005764 inhibitory process Effects 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 claims description 2
- 238000011161 development Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明属于深度学习的计算机视觉领域，是一种基于深度学习的工人安全帽佩戴检测方法，该方法包括以下步骤：S1、获取足够数量的含有佩戴安全帽人物样本和未佩戴安全帽人物样本的安全帽检测数据集，并随即按一定比例划分为训练集和测试集；S2、使用Pytorch深度学习框架，搭建CSP‑R‑FCN双阶段目标检测模型；S3、搭建模型训练和测试系统，对CSP‑R‑FCN双阶段目标检测模型进行训练和测试，直到其获得检测安全帽佩戴的能力；S4、提取实际应用场景：工地监控的视频，逐帧进行检测并输出检测结果，完成对安全帽佩戴的检测。本发明对视频流数据进行逐帧检测，标记出图像内所有人物的头部以及他们的安全帽佩戴情况。该方法不需要预设候选框、且具有较强的鲁棒性，在各种应用场景下都有高的检测精度。
Description
技术领域
本发明涉及基于深度学习的计算机视觉技术领域，具体为一种基于深度学习的检测工人是否佩戴安全帽的方法。
背景技术
佩戴安全帽是工地生产作业中最有效的个人防护措施，为了最大程度地降低工地中各种危险事故对工人们人身安全的危害，监督工人的安全帽佩戴情况十分重要。随着人工智能领域的飞快发展，有越来越多基于深度学习的目标检测算法被应用在安全帽佩戴检测任务上。目前主流的目标检测模型，如单阶段的SSD、YOLOv3和双阶段的Faster-RCNN、都是对预设的或滑窗生成的锚框进行分类和回归。预设锚框受所预设的尺寸和宽高比的影响，不能很好的匹配各种各样的实际目标；而滑窗生成锚框的思路需要耗费大量的运算资源，严重影响检测速度。
为解决上述问题，本方案研发的方法运用CSP无锚框的行人检测算法和R-FCN双阶段的物体检测器，对视频流数据进行逐帧检测，标记出图像内所有人物的头部以及他们的安全帽佩戴情况。该方法不需要预设候选框、且具有较强的鲁棒性，在各种应用场景下都有高的检测精度。
发明内容
本发明的目的在于提供一种基于深度学习的检测工人是否佩戴安全帽的方法，以提高检测准确度、检测效率和节约计算资源。
为实现上述目的，本发明提供如下技术方案：
一种基于深度学习的检测工人是否佩戴安全帽的方法，其特征在于：所述方法包括以下步骤：
S1、获取足够数量的含有佩戴安全帽人物样本和未佩戴安全帽人物样本的安全帽检测数据集，并随即按一定比例划分为训练集和测试集；
所述获取安全帽检测数据集的方法，包括：
1)对现有的安全帽数据集进行数据清洗，并将标签数据转换为VOC数据集的标注格式；
2)提取现有的行人检测数据集，使用labelimg标注工具对所述行人检测数据进行重新标注，得到可用的安全帽检测数据集；所标注的标签数据为VOC数据集的标注格式；
3)逐帧提取工地监控视频中的图片，对所提取的图片进行筛选并使用labelimg标注工具标注，得到可用的安全帽检测数据集；所标注的标签数据为VOC数据集的标注格式；
所述获取的安全帽检测数据集的标签数据，所标注的位置为图像内人物的头部；所标注的类别分为五类，分别是：佩戴黄色安全帽(yellow)、佩戴红色安全帽(red)、佩戴蓝色安全帽(blue)、佩戴白色安全帽(white)和未佩戴安全帽(none)；其中，未佩戴安全帽指的就是没有佩戴安全帽，无论是光头还是受到照明的影响还是带了不是安全帽的帽子都包含在内，神经网络可以在训练过程中自行分辨哪些是佩戴安全帽的，哪些没有佩戴；
S2、使用Pytorch深度学习框架，搭建CSP-R-FCN双阶段目标检测模型，所述CSP-R-FCN双阶段目标检测模型包括骨干网络、csp目标区域推荐模块、R-FCN特征提取模块和R-FCN分类预测模块；
所述骨干网络为在ImageNet数据集上预训练好的VGG16的前四个卷积块，共13层：其中第一层、第二层、第四层、第五层、第七层、第八层、第九层、第十一层、第十二层和第十三层均为卷积层，且卷积核大小均为3*3；第三层、第六层和第十层均为步长为2的最大池化下采样层；
所述csp目标区域推荐模块接在骨干网络之后，可分为三个阶段，依次分别是：残差特征提取阶段、多层特征融合阶段和目标预测阶段；
所述R-FCN特征提取模块的输入为骨干网络的最后一层，经过一个卷积核大小为3*3的卷积层后，分为置信度预测分支和位置预测分支；置信度预测分支和位置预测分支分别经过均值池化层，输出尺寸均为7*7的置信度预测特征图与位置预测特征图；
所述R-FCN分类预测模块，包括：将输入的置信度预测特征图和位置预测特征图通过位置敏感ROI池化(Position-sensitive ROI Pooling)操作，分别得到位置敏感的类别得分图和回归得分图
S3、搭建模型训练和测试系统，对CSP-R-FCN双阶段目标检测模型进行训练和测试，直到其获得检测安全帽佩戴的能力；
S4、提取实际应用场景：工地监控的视频，逐帧进行检测并输出检测结果，完成对安全帽佩戴的检测。
由此可见，位置敏感池化层被放置在了神经网络较浅的层后面，而非放置在神经网络的末端。这使得神经网络对安全帽的颜色分类更加敏感。这是由于神经网络较浅的层能够提取层级较浅的特征(例如：边缘、颜色、纹理等)，而较深的层能够提取更为抽象的语义层级的特征(例如：某区域属于某个具体类别)。对于安全帽的分类来说，安全帽的颜色这样的浅层特征往往更为关键。因此本发明将分类器置于神经网络较浅层并依据浅层特征进行分类的做法能够大大提高安全帽分类的准确率。
逐帧提取的目的是在制作数据集前不遗漏视频中任何有效的信息，包含无效信息的帧会在后续的手动筛选中剔除；
设计13层在保证参数量不会特别大的情况下使得深度达到13层(不深也不浅)，进而可以有效提取一些对安全帽分类有意义的特征，例如颜色；
目标预测阶段融合了三个尺度的特征，可以同时检测大、中、小目标，提高了对头部区域检测的准确率。
进一步地，所述步骤S2中，
所述残差特征提取阶段共由9个瓶颈层(BottleNeck Layer)连接而成，并在第一个瓶颈层中做了下采样操作；所述瓶颈层的表达方式为：
所述多层特征融合阶段将三个不同深度的卷积层所提取的特征上采样并做正规化操作后进行拼接，输入分别为上采样2倍的骨干网络最后一层、上采样4倍的残差特征提取阶段第六层和上采样4倍的残差特征提取阶段第九层；
所述目标预测阶段接在多层特征融合阶段之后，经过一个卷积核大小为3*3的卷积层后，输出三个预测分支，分别为中心点(center)、尺寸(scale)和偏置(offset)，实现对目标检测区域的推荐；所述的推荐区域为人体的头部；
所述的置信度预测特征图共有49*6＝296个，对应6个检测类别(背景、佩戴黄色安全帽、佩戴红色安全帽、佩戴蓝色安全帽、佩戴白色安全帽、未佩戴安全帽)，特征图尺寸为7*7；对应检测框的4个位置参数的偏移量(中心点坐标、宽、高)，特征图尺寸为7*7。
进一步地，所述步骤S3中，所述模型训练和测试系统，包括：数据预处理模块、损失函数模块、训练模块、训练日志存储模块和测试模块；
所述的数据预处理模块，包括：
1)将图像尺寸按比例地缩放为16的倍数；
2)对图像做高斯滤波处理；
3)将所读取的图像数据转化为Pytorch中的张量(Tensor)格式；
所述损失函数模块，包含了csp目标区域推荐模块与R-FCN分类预测模块两部分的损失函数；
所述训练模块，包括端到端训练方式与分阶段训练方式；所述的端到端训练即csp目标区域推荐模块与R-FCN分类预测模块同步训练；分阶段训练即先训练R-FCN分类预测模块，再训练csp目标区域推荐模块；
所述测试模块，包括：测试csp目标区域推荐模块对图像中人体头部的推荐能力；测试R-FCN分类预测模块对目标的识别能力；计算各模型的对每一种检测类别的精度和召回率；从而判断模型是否已具有检测安全帽佩戴的能力。
进一步地，所述步骤S3中，所述损失函数模块包含了csp目标区域推荐模块与R-FCN分类预测模块两部分的损失函数；
其中，所述csp目标区域推荐模块的损失函数分为中心点损失(Lcenter)、尺度损失(Lscale)和偏置损失(Loffset)；
中心点损失(Lcenter)为：
其中，
其中γ和β为预设的超参数，本实施例中设γ＝2，β＝4；pij∈[0,1]为csp目标区域推荐模块输出的center概率,Mij为在center特征图上每个正样本位置应用的高斯掩膜编码：
尺度损失(Lscale)和偏置损失(Loffset)均使用SmoothL1函数：
所述SmoothL1函数为：
csp目标区域推荐模块损失函数的完整表达式为：
L＝λcLcenter+λsLscale+λoLoffset
其中λc、λs和λo为预设的超参数，本实施例中，设λc＝0.01，λs＝1，λo＝0.1；
对应每一个所预测的目标区域(ROI)，R-FCN分类预测模块的损失函数为：
L(s，tx，y，w，h)＝Lcls(sc*)+λ[c*＞0]Lreg(t，t*)
其中，c*为该ROI的真实数据(Ground Truth)的标签；t*表示真实数据框；Lreg＝SmoothL1(t,t*)；/>为一个指示器，当c*>0即该ROI对应的为正样本时计算回归损失Lreg。其中，Sc为R-FCN分类预测模块所预测的置信度：/>rc(Θ)＝∑i，jrc(i，j|Θ)。
进一步地，所述步骤S4中，包括：
1)提取实际工地监控视频图像并输入到已训练好的CSP-R-FCN目标检测模型中，先得到由csp目标区域推荐模块推荐的头部预测区域，并根据推荐区域之间的交并比，采用非极大值抑制方法，剔除部分重合度高的推荐区域；
2)根据所述推荐区域对R-FCN特征提取模块中所提取的特征图进行按区域池化，并输入到R-FCN分类预测模块中，得到类别得分图与回归得分图；
3)根据所述类别得分图与回归得分图，得到所述推荐区域中目标的类别与改进的检测框位置，并同时打印的图像上，从而实现检测目的。
由此可见，运用无锚框的ROI推荐机制，这一机制没有引入与锚框相关的参数，从而大大提升了模型在不同场景下的鲁棒性。这是因为锚框参数、例如：锚框的数量，大小，高宽比、往往需要依据实际应用场景而确定。使用某一场景下提取到的数据集训练后的到的及与锚框的模型在该场景下的测试集往往表现很好，但在面对新的应用场景时、例如：不同分辨率的摄像头、架设高度及角度不同的摄像头，检测的准确率会严重退化。相反，本发明使用了无锚框的训练和检测机制，使得模型在面对不同应用场景时依旧拥有较强的鲁棒性。
与现有技术相比，本发明的有益效果是：
本发明通过运用CSP行人检测模型的无锚框检测思路推荐人体头部区域以供检测，大幅地提高了模型对各种各样应用场景的鲁棒性；无锚框检测节省了大量的用于负样本锚框的计算资源，加快了模型收敛速度，且不需要固定输入图像的分辨率；只推荐人体头部的做法有效地降低了实际应用场景中拍摄角度、人物姿态和人物肢体重叠对检测性能的影响。具体来说，在互联网上有很多开源的安全帽检测数据集，开发者可以以较低成本获取这些数据集并训练本发明提出的安全帽检测器，训练好的检测器可以直接应用在不同的工地场景。这省去了开发者收集和标记需求场景对应数据集的流程，大大减少了开发时间和开发成本。开发结束后得到的模型在应对新的客户或新的应用场景、如升级摄像头，更换部署建筑工地等、的安全帽检测任务时，能够无缝切换，而不需要重新训练模型，极大的减少了模型的维护成本。
运用R-FCN双阶段的物体检测器，通过位置敏感ROI池化的思路解决了图像分类网络的位置不敏感性与目标检测网络的位置敏感性之间的矛盾。相比于以往的双阶段物体检测器在速度与精度上都有较大提升。
附图说明
图1为本发明实施步骤示意图；
图2为本发明网络结构示意图；
图3为本发明位置敏感ROI池化示意图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-3，本发明提供如下技术方案及实施例：
如图1所示，一种基于深度学习的检测工人是否佩戴安全帽的方法，包括以下步骤：
S1、获取足够数量的含有佩戴安全帽人物样本和未佩戴安全帽人物样本的安全帽检测数据集，并随即按一定比例划分为训练集和测试集；
S2、使用Pytorch深度学习框架，搭建CSP-R-FCN双阶段目标检测模型，所述CSP-R-FCN双阶段目标检测模型包括骨干网络、csp目标区域推荐模块、R-FCN特征提取模块和R-FCN分类预测模块；
S3、搭建模型训练和测试系统，对CSP-R-FCN双阶段目标检测模型进行训练和测试，直到其获得检测安全帽佩戴的能力；
S4、提取实际应用场景：工地监控的视频，逐帧进行检测并输出检测结果，完成对安全帽佩戴的检测。
进一步地，所述步骤S1中，所述获取安全帽检测数据集的方法，包括：
1)对现有的安全帽数据集进行数据清洗，并将标签数据转换为VOC数据集的标注格式；
2)提取现有的行人检测数据集，使用labelimg标注工具对所述行人检测数据进行重新标注，得到可用的安全帽检测数据集；所标注的标签数据为VOC数据集的标注格式；
3)逐帧提取工地监控视频中的图片，对所提取的图片进行筛选并使用labelimg标注工具标注，得到可用的安全帽检测数据集；所标注的标签数据为VOC数据集的标注格式；
所述获取的安全帽检测数据集的标签数据，所标注的位置为图像内人物的头部；所标注的类别分为五类，分别是：佩戴黄色安全帽(yellow)、佩戴红色安全帽(red)、佩戴蓝色安全帽(blue)、佩戴白色安全帽(white)和未佩戴安全帽(none)。
步骤S1中，选用GDWT-HUD安全帽检测数据集作为训练集和测试集。对数据集进行清洗后得到共3160张图片，其中600张作为测试集。
步骤S2中，所搭建CSP-R-FCN双阶段目标检测模型的具体模型如图2所示。
骨干网络截取自Pytorch内预设的VGG16模型的前四个卷积块，该VGG16模型已在ImageNet的图像分类数据集上经过充分的预训练，已具有特征提取能力。VGG16模型的前四个卷积块共13层，其中第一层、第二层、第四层、第五层、第七层、第八层、第九层、第十一层、第十二层和第十三层均为卷积层，且卷积核大小均为3*3；第三层、第六层和第十层均为步长为2的最大池化下采样层。每个卷积层的输出均经过ReLU激活函数和批标准化层(BatchNorm)处理。
步骤S2中，所述的csp目标区域推荐模块接在骨干网络之后，可分为三个阶段，依次分别是：残差特征提取阶段、多层特征融合阶段和目标预测阶段。
如图2所示，所述残差特征提取阶段共由9个瓶颈层(BottleNeck Layer)连接而成，并在第一个瓶颈层中做了下采样操作；所述瓶颈层的表达方式为：一个瓶颈层中包括三个卷积层，其中第二个卷积层的卷积核大小为3*3，其余的卷积层卷积核大小为1*1。残差特征提取阶段中，第一个瓶颈层中做了步长为2的下采样操作，且其中第七个、第八个、第九个瓶颈层做了空洞率为2的空洞卷积操作。
具体地，如图2所示，多层特征融合阶段将三个不同深度的卷积层所提取的特征上采样并做正规化操作后进行拼接，输入分别为上采样2倍的骨干网络最后一层、上采样4倍的残差特征提取阶段第六层和上采样4倍的残差特征提取阶段第九层。上采样通过转置卷积实现、所述的正规化操作为L1正规化。
如图2所示，所述的目标预测阶段接在多层特征融合阶段之后，经过一个卷积核大小为3*3的卷积层后，输出三个预测分支，分别为中心点(center)、尺寸(scale)和偏置(offset)，实现对目标检测区域的推荐。所述的推荐区域为人体的头部。
所述步骤S2中，所述的R-FCN特征提取模块的输入为骨干网络的最后一层，经过一个卷积核大小为3*3的卷积层后，分为置信度预测分支和位置预测分支。置信度预测分支和位置预测分支分别经过均值池化层，输出尺寸均为7*7的置信度预测特征图与位置预测特征图。
所述的置信度预测特征图共有49*6＝296个，对应6个检测类别(背景、佩戴黄色安全帽、佩戴红色安全帽、佩戴蓝色安全帽、佩戴白色安全帽、未佩戴安全帽)。特征图尺寸为7*7。
所述的位置预测特征图共有49*4＝196个，对应检测框的4个位置参数的偏移量(中心点坐标、宽、高)。特征图尺寸为7*7。
所述步骤S2中，所述的R-FCN分类预测模块，包括：将输入的置信度预测特征图和位置预测特征图通过位置敏感ROI池化(Position-sensitive ROI Pooling)操作，分别得到位置敏感的类别得分图和回归得分图。
位置敏感ROI池化操作如图3所示。
步骤S3中，所述的模型训练和测试系统，包括：数据预处理模块、损失函数模块、训练模块、训练日志存储模块和测试模块。
所述的数据预处理模块，包括：
1)将图像尺寸按比例地缩放为16的倍数；
2)对图像做高斯滤波处理；
3)将所读取的图像数据转化为Pytorch中的张量(Tensor)格式。
所述损失函数模块，包含了csp目标区域推荐模块与R-FCN分类预测模块两部分的损失函数。
所述csp目标区域推荐模块的损失函数分为中心点损失(Lcenter)、尺度损失(Lscale)和偏置损失(Loffset)。
中心点损失(Lcenter)为：
其中，
其中γ和β为预设的超参数，本实施例中设γ＝2，β＝4；pij∈[0,1]为csp目标区域推荐模块输出的center概率,Mij为在center特征图上每个正样本位置应用的高斯掩膜编码：
尺度损失(Lscale)和偏置损失(Loffset)均使用SmoothL1函数：
所述SmoothL1函数为：
csp目标区域推荐模块损失函数的完整表达式为：
L＝λcLcenter+λsLscale+λoLoffset
其中λc、λs和λo为预设的超参数，本实施例中，设λc＝0.01，λs＝1，λo＝0.1。
对应每一个所预测的目标区域(ROI)，R-FCN分类预测模块的损失函数为：
L(s，tx，y，w，h)＝Lcls(sc*)+λ[c*＞0]Lreg(t，t*)
其中，c*为该ROI的真实数据(Ground Truth)的标签；t*表示真实数据框；Lreg＝SmoothL1(t,t*)；/>为一个指示器，当c*>0即该ROI对应的为正样本时计算回归损失Lreg。其中，Sc为R-FCN分类预测模块所预测的置信度：/>rc(Θ)＝∑i，jrc(i，j|Θ)。
所述的训练模块，包括端到端训练方式与分阶段训练方式：
所述的端到端训练即csp目标区域推荐模块与R-FCN分类预测模块同步训练。将csp目标区域推荐模块的损失函数与R-FCN分类预测模块的损失函数同时反向传播并更新网络中的参数。本实施例中，为了平衡端到端训练时两个预测模块损失函数之间的数量级差异，在反向传播前使R-FCN分类预测模块的损失函数乘以一个平衡系数，平衡系数为100。
所述的分阶段训练即先将csp目标区域推荐模块的学习率调为0，禁止该模块损失函数的反向传播，单独训练R-FCN分类预测模块。再将R-FCN分类预测模块的学习率调为0，单独训练csp目标区域推荐模块。
在本实施例中，采用小批次训练方式；训练优化器为Adam优化器。骨干网络部分采用微调(Fine Tune)的学习策略，学习率设为，其余部分在学习率不为0时均设为。
所述的测试模块，包括：
1)测试csp目标区域推荐模块对图像中人体头部的推荐能力；
2)测试R-FCN分类预测模块对目标的识别能力；
3)计算各模型的对每一种检测类别的精度和召回率。
在测试过程中，根据预测框之间的交并比，采用非极大值抑制方法，剔除冗余的检测框。
所述步骤S4中，包括：
1)提取实际工地监控视频图像并输入到已训练好的CSP-R-FCN目标检测模型中，先得到由csp目标区域推荐模块推荐的头部预测区域，并根据推荐区域之间的交并比，采用非极大值抑制方法，剔除部分重合度高的推荐区域；
2)根据所述推荐区域对R-FCN特征提取模块中所提取的特征图进行按区域池化，并输入到R-FCN分类预测模块中，得到类别得分图与回归得分图；
3)根据所述类别得分图与回归得分图，得到所述推荐区域中目标的类别与改进的检测框位置，并同时打印的图像上，从而实现检测目的。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
Claims (2)
1.一种基于深度学习的检测工人是否佩戴安全帽的方法，其特征在于：所述方法包括以下步骤：
S1、获取足够数量的含有佩戴安全帽人物样本和未佩戴安全帽人物样本的安全帽检测数据集，并随即按一定比例划分为训练集和测试集；
获取安全帽检测数据集的方法，包括：
1)对现有的安全帽数据集进行数据清洗，并将标签数据转换为VOC数据集的标注格式；
2)提取现有的行人检测数据集，使用labelimg标注工具对所述行人检测数据进行重新标注，得到可用的安全帽检测数据集；所标注的标签数据为VOC数据集的标注格式；
3)逐帧提取工地监控视频中的图片，对所提取的图片进行筛选并使用labelimg标注工具标注，得到可用的安全帽检测数据集；所标注的标签数据为VOC数据集的标注格式；
所述获取的安全帽检测数据集的标签数据，所标注的位置为图像内人物的头部；所标注的类别分为五类，分别是：佩戴黄色安全帽(yellow)、佩戴红色安全帽(red)、佩戴蓝色安全帽(blue)、佩戴白色安全帽(white)和未佩戴安全帽(none)；其中，未佩戴安全帽指的就是没有佩戴安全帽，无论是光头还是受到照明的影响还是带了不是安全帽的帽子都包含在内，神经网络可以在训练过程中自行分辨哪些是佩戴安全帽的，哪些没有佩戴；
S2、使用Pytorch深度学习框架，搭建CSP-R-FCN双阶段目标检测模型，所述CSP-R-FCN双阶段目标检测模型包括骨干网络、csp目标区域推荐模块、R-FCN特征提取模块和R-FCN分类预测模块；
所述骨干网络为在ImageNet数据集上预训练好的VGG16的前四个卷积块，共13层：其中第一层、第二层、第四层、第五层、第七层、第八层、第九层、第十一层、第十二层和第十三层均为卷积层，且卷积核大小均为3*3；第三层、第六层和第十层均为步长为2的最大池化下采样层；
所述csp目标区域推荐模块接在骨干网络之后，可分为三个阶段，依次分别是：残差特征提取阶段、多层特征融合阶段和目标预测阶段；
所述R-FCN特征提取模块的输入为骨干网络的最后一层，经过一个卷积核大小为3*3的卷积层后，分为置信度预测分支和位置预测分支；置信度预测分支和位置预测分支分别经过均值池化层，输出尺寸均为7*7的置信度预测特征图与位置预测特征图；
所述R-FCN分类预测模块，包括：将输入的置信度预测特征图和位置预测特征图通过位置敏感ROI池化(Position-sensitive ROI Pooling)操作，分别得到位置敏感的类别得分图和回归得分图
S3、搭建模型训练和测试系统，对CSP-R-FCN双阶段目标检测模型进行训练和测试，直到其获得检测安全帽佩戴的能力；
S4、提取实际应用场景：工地监控的视频，逐帧进行检测并输出检测结果，完成对安全帽佩戴的检测；
所述步骤S2中，
所述残差特征提取阶段共由9个瓶颈层(BottleNeck Layer)连接而成，并在第一个瓶颈层中做了下采样操作；所述瓶颈层的表达方式为：
所述多层特征融合阶段将三个不同深度的卷积层所提取的特征上采样并做正规化操作后进行拼接，输入分别为上采样2倍的骨干网络最后一层、上采样4倍的残差特征提取阶段第六层和上采样4倍的残差特征提取阶段第九层；
所述目标预测阶段接在多层特征融合阶段之后，经过一个卷积核大小为3*3的卷积层后，输出三个预测分支，分别为中心点(center)、尺寸(scale)和偏置(offset)，实现对目标检测区域的推荐；推荐区域为人体的头部；
所述的置信度预测特征图共有49*6＝296个，对应6个检测类别为：背景、佩戴黄色安全帽、佩戴红色安全帽、佩戴蓝色安全帽、佩戴白色安全帽、未佩戴安全帽，特征图尺寸为7*7；对应检测框的4个位置参数的偏移量为：中心点坐标、宽、高，特征图尺寸为7*7；
所述步骤S3中，所述模型训练和测试系统，包括：数据预处理模块、损失函数模块、训练模块、训练日志存储模块和测试模块；
所述的数据预处理模块，包括：
1)将图像尺寸按比例地缩放为16的倍数；
2)对图像做高斯滤波处理；
3)将所读取的图像数据转化为Pytorch中的张量(Tensor)格式；
所述损失函数模块，包含了csp目标区域推荐模块与R-FCN分类预测模块两部分的损失函数；
所述训练模块，包括端到端训练方式与分阶段训练方式；所述的端到端训练即csp目标区域推荐模块与R-FCN分类预测模块同步训练；分阶段训练即先训练R-FCN分类预测模块，再训练csp目标区域推荐模块；
所述测试模块，包括：测试csp目标区域推荐模块对图像中人体头部的推荐能力；测试R-FCN分类预测模块对目标的识别能力；计算各模型的对每一种检测类别的精度和召回率；从而判断模型是否已具有检测安全帽佩戴的能力；
所述步骤S3中，所述损失函数模块包含了csp目标区域推荐模块与R-FCN分类预测模块两部分的损失函数；
其中，所述csp目标区域推荐模块的损失函数分为中心点损失(Lcenter)、尺度损失(Lscale)和偏置损失(Loffset)；
中心点损失(Lcenter)为：
其中，
其中γ和β为预设的超参数，本实施例中设γ＝2，β＝4；pij∈[0,1]为csp目标区域推荐模块输出的center概率,Mij为在center特征图上每个正样本位置应用的高斯掩膜编码：
尺度损失(Lscale)和偏置损失(Loffset)均使用SmoothL1函数：
所述SmoothL1函数为：
csp目标区域推荐模块损失函数的完整表达式为：
L＝λcLcenter+λsLscale+λoLoffset
其中λc、λs和λo为预设的超参数，本实施例中，设λc＝0.01，λs＝1，λo＝0.1；
对应每一个所预测的目标区域(ROI)，R-FCN分类预测模块的损失函数为：
其中，c*为该ROI的真实数据(Ground Truth)的标签；t*表示真实数据框；Lreg＝SmoothL1(t,t*)；[c*>0]为一个指示器，当c*>0即该ROI对应的为正样本时计算回归损失Lreg；其中，Sc为R-FCN分类预测模块所预测的置信度：/>rc(Θ)＝Σi，jrc(i,j|Θ)。
2.根据权利要求1所述的一种基于深度学习的检测工人是否佩戴安全帽的方法，其特征在于：所述步骤S4中，包括：
1)提取实际工地监控视频图像并输入到已训练好的CSP-R-FCN目标检测模型中，先得到由csp目标区域推荐模块推荐的头部预测区域，并根据推荐区域之间的交并比，采用非极大值抑制方法，剔除部分重合度高的推荐区域；
2)根据所述推荐区域对R-FCN特征提取模块中所提取的特征图进行按区域池化，并输入到R-FCN分类预测模块中，得到类别得分图与回归得分图；
3)根据所述类别得分图与回归得分图，得到所述推荐区域中目标的类别与改进的检测框位置，并同时打印的图像上，从而实现检测目的。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110653367.3A CN113361425A (zh) | 2021-06-11 | 2021-06-11 | 一种基于深度学习的检测工人是否佩戴安全帽的方法 |
| CN2021106533673 | 2021-06-11 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114627425A CN114627425A (zh) | 2022-06-14 |
| CN114627425B true CN114627425B (zh) | 2024-05-24 |
Family
ID=77533890
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110653367.3A Withdrawn CN113361425A (zh) | 2021-06-11 | 2021-06-11 | 一种基于深度学习的检测工人是否佩戴安全帽的方法 |
| CN202210363867.8A Active CN114627425B (zh) | 2021-06-11 | 2022-04-07 | 一种基于深度学习的检测工人是否佩戴安全帽的方法 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110653367.3A Withdrawn CN113361425A (zh) | 2021-06-11 | 2021-06-11 | 一种基于深度学习的检测工人是否佩戴安全帽的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN113361425A (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113887634B (zh) * | 2021-10-08 | 2024-05-28 | 齐丰科技股份有限公司 | 基于改进两步检测的电力安全带检测及预警方法 |
| CN114463676A (zh) * | 2022-01-19 | 2022-05-10 | 北京工业大学 | 一种基于隐式表达的安全帽配戴检测方法 |
| CN114782986B (zh) * | 2022-03-28 | 2024-04-26 | 佳源科技股份有限公司 | 基于深度学习的安全帽佩戴检测方法、装置、设备及介质 |
| CN114997279A (zh) * | 2022-05-11 | 2022-09-02 | 浙江大学 | 一种基于改进Yolov5模型的建筑工人危险区域入侵检测方法 |
| CN114820608B (zh) * | 2022-06-28 | 2022-10-21 | 泽景(西安)汽车电子有限责任公司 | 成像效果检测方法、装置、车辆及存储介质 |
| CN115966009A (zh) * | 2023-01-03 | 2023-04-14 | 迪泰（浙江）通信技术有限公司 | 一种船舶智能检测系统及方法 |
| CN116329774B (zh) * | 2023-02-24 | 2023-10-20 | 百超(深圳)激光科技有限公司 | 一种高速光纤激光切割机智能切割控制系统及方法 |
| CN117237752A (zh) * | 2023-08-09 | 2023-12-15 | 北京城建智控科技股份有限公司 | 一种基于改进的pp-yoloe模型的安全帽佩戴检测方法 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109447168A (zh) * | 2018-11-05 | 2019-03-08 | 江苏德劭信息科技有限公司 | 一种基于深度特征和视频目标检测的安全帽佩戴检测方法 |
| CN110070033A (zh) * | 2019-04-19 | 2019-07-30 | 山东大学 | 一种电力领域危险工作区域内安全帽佩戴状态检测方法 |
| CN110263686A (zh) * | 2019-06-06 | 2019-09-20 | 温州大学 | 一种基于深度学习的施工工地图像安全帽检测方法 |
| CN110399905A (zh) * | 2019-07-03 | 2019-11-01 | 常州大学 | 施工场景中安全帽佩戴情况的检测及描述方法 |
| CN110728223A (zh) * | 2019-10-08 | 2020-01-24 | 济南东朔微电子有限公司 | 一种基于深度学习的安全帽佩戴识别方法 |
| CN110738127A (zh) * | 2019-09-19 | 2020-01-31 | 福建师范大学福清分校 | 基于无监督深度学习神经网络算法的安全帽识别方法 |
| CN111160440A (zh) * | 2019-12-24 | 2020-05-15 | 广东省智能制造研究所 | 一种基于深度学习的安全帽佩戴检测方法及装置 |
| AU2020100711A4 (en) * | 2020-05-05 | 2020-06-11 | Chang, Cheng Mr | The retrieval system of wearing safety helmet based on deep learning |
| CN111539276A (zh) * | 2020-04-14 | 2020-08-14 | 国家电网有限公司 | 一种在电力场景下安全帽实时检测的方法 |
| CN111753805A (zh) * | 2020-07-08 | 2020-10-09 | 深延科技(北京)有限公司 | 安全帽佩戴检测方法和装置 |
| CN111881730A (zh) * | 2020-06-16 | 2020-11-03 | 北京华电天仁电力控制技术有限公司 | 一种火电厂现场安全帽佩戴检测方法 |
| CN112149512A (zh) * | 2020-08-28 | 2020-12-29 | 成都飞机工业（集团）有限责任公司 | 一种基于两阶段深度学习的安全帽佩戴识别方法 |
| KR20210006722A (ko) * | 2019-07-09 | 2021-01-19 | 주식회사 케이티 | 안전 장비의 착용 여부를 판단하는 장치, 방법 및 컴퓨터 프로그램 |
| CN112364778A (zh) * | 2020-11-12 | 2021-02-12 | 上海明华电力科技有限公司 | 一种基于深度学习的电厂安全性行为信息自动检测方法 |
| CN112633308A (zh) * | 2020-09-15 | 2021-04-09 | 北京华电天仁电力控制技术有限公司 | 一种电厂作业人员是否佩戴安全带的检测方法及检测系统 |
-
2021
- 2021-06-11 CN CN202110653367.3A patent/CN113361425A/zh not_active Withdrawn
-
2022
- 2022-04-07 CN CN202210363867.8A patent/CN114627425B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109447168A (zh) * | 2018-11-05 | 2019-03-08 | 江苏德劭信息科技有限公司 | 一种基于深度特征和视频目标检测的安全帽佩戴检测方法 |
| CN110070033A (zh) * | 2019-04-19 | 2019-07-30 | 山东大学 | 一种电力领域危险工作区域内安全帽佩戴状态检测方法 |
| CN110263686A (zh) * | 2019-06-06 | 2019-09-20 | 温州大学 | 一种基于深度学习的施工工地图像安全帽检测方法 |
| CN110399905A (zh) * | 2019-07-03 | 2019-11-01 | 常州大学 | 施工场景中安全帽佩戴情况的检测及描述方法 |
| KR20210006722A (ko) * | 2019-07-09 | 2021-01-19 | 주식회사 케이티 | 안전 장비의 착용 여부를 판단하는 장치, 방법 및 컴퓨터 프로그램 |
| CN110738127A (zh) * | 2019-09-19 | 2020-01-31 | 福建师范大学福清分校 | 基于无监督深度学习神经网络算法的安全帽识别方法 |
| CN110728223A (zh) * | 2019-10-08 | 2020-01-24 | 济南东朔微电子有限公司 | 一种基于深度学习的安全帽佩戴识别方法 |
| CN111160440A (zh) * | 2019-12-24 | 2020-05-15 | 广东省智能制造研究所 | 一种基于深度学习的安全帽佩戴检测方法及装置 |
| CN111539276A (zh) * | 2020-04-14 | 2020-08-14 | 国家电网有限公司 | 一种在电力场景下安全帽实时检测的方法 |
| AU2020100711A4 (en) * | 2020-05-05 | 2020-06-11 | Chang, Cheng Mr | The retrieval system of wearing safety helmet based on deep learning |
| CN111881730A (zh) * | 2020-06-16 | 2020-11-03 | 北京华电天仁电力控制技术有限公司 | 一种火电厂现场安全帽佩戴检测方法 |
| CN111753805A (zh) * | 2020-07-08 | 2020-10-09 | 深延科技(北京)有限公司 | 安全帽佩戴检测方法和装置 |
| CN112149512A (zh) * | 2020-08-28 | 2020-12-29 | 成都飞机工业（集团）有限责任公司 | 一种基于两阶段深度学习的安全帽佩戴识别方法 |
| CN112633308A (zh) * | 2020-09-15 | 2021-04-09 | 北京华电天仁电力控制技术有限公司 | 一种电厂作业人员是否佩戴安全带的检测方法及检测系统 |
| CN112364778A (zh) * | 2020-11-12 | 2021-02-12 | 上海明华电力科技有限公司 | 一种基于深度学习的电厂安全性行为信息自动检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114627425A (zh) | 2022-06-14 |
| CN113361425A (zh) | 2021-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114627425B (zh) | 一种基于深度学习的检测工人是否佩戴安全帽的方法 | |
| CN111488804B (zh) | 基于深度学习的劳保用品佩戴情况检测和身份识别的方法 | |
| CN112200043B (zh) | 面向室外施工现场的危险源智能识别系统及方法 | |
| Goyal et al. | A real time face mask detection system using convolutional neural network | |
| CN106960195B (zh) | 一种基于深度学习的人群计数方法及装置 | |
| WO2019232894A1 (zh) | 一种基于复杂场景下的人体关键点检测系统及方法 | |
| CN111178183B (zh) | 人脸检测方法及相关装置 | |
| CN111507248B (zh) | 一种低分辨热力图的人脸额头区域检测与定位方法及其系统 | |
| CN111931623A (zh) | 一种基于深度学习的人脸口罩佩戴检测方法 | |
| CN111091110B (zh) | 一种基于人工智能的反光背心穿戴识别方法 | |
| CN1975759A (zh) | 一种基于结构主元分析的人脸识别方法 | |
| CN111611895B (zh) | 一种基于OpenPose的多视角人体骨架自动标注方法 | |
| CN113516076A (zh) | 一种基于注意力机制改进的轻量化YOLO v4安全防护检测方法 | |
| CN110287370B (zh) | 基于现场鞋印的犯罪嫌疑人追踪方法、装置及存储介质 | |
| CN112149512A (zh) | 一种基于两阶段深度学习的安全帽佩戴识别方法 | |
| CN111666845B (zh) | 基于关键帧采样的小样本深度学习多模态手语识别方法 | |
| Pathak et al. | An object detection approach for detecting damages in heritage sites using 3-D point clouds and 2-D visual data | |
| CN114419659A (zh) | 一种复杂场景下的安全帽佩戴检测方法 | |
| CN114049325A (zh) | 轻量化人脸口罩佩戴检测模型的构建方法及应用 | |
| CN115223249A (zh) | 一种基于机器视觉的井下人员不安全行为快速分析与识别方法 | |
| CN117726991B (zh) | 一种高空吊篮安全带检测方法及终端 | |
| CN111950457A (zh) | 油田安全生产图像识别方法及系统 | |
| CN113723322A (zh) | 一种基于单阶段无锚点框架的行人检测方法及系统 | |
| CN110660048A (zh) | 一种基于形状特征的皮革表面缺陷检测算法 | |
| CN114694090A (zh) | 一种基于改进PBAS算法与YOLOv5的校园异常行为检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |