CN115131732A - 一种结合目标检测和语义分割的安全带违规佩戴检测方法 - Google Patents

一种结合目标检测和语义分割的安全带违规佩戴检测方法 Download PDF

Info

Publication number
CN115131732A
CN115131732A CN202210766081.0A CN202210766081A CN115131732A CN 115131732 A CN115131732 A CN 115131732A CN 202210766081 A CN202210766081 A CN 202210766081A CN 115131732 A CN115131732 A CN 115131732A
Authority
CN
China
Prior art keywords
detection
key point
positioning information
safety belt
line segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210766081.0A
Other languages
English (en)
Inventor
苟先太
钱照国
苟瀚文
康立烨
金炜东
陈强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Jiaotong University
Nanning University
Original Assignee
Southwest Jiaotong University
Nanning University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Jiaotong University, Nanning University filed Critical Southwest Jiaotong University
Priority to CN202210766081.0A priority Critical patent/CN115131732A/zh
Publication of CN115131732A publication Critical patent/CN115131732A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种结合目标检测和语义分割的安全带违规佩戴检测方法，涉及安全带佩戴检测技术领域。该方法包括采集施工现场图像数据；构建目标检测网络模型，利用采集的施工现场图像数据预测人员关键点定位信息、全身系带检测信息和脚手架区域定位信息；根据人员关键点定位信息和全身系带检测信息与脚手架区域定位信息的相对位置判断是否进行安全带挂绳检测；根据人员关键点定位信息提取挂绳区域的矩形框图像；构建语义分割网络模型，从提取的挂绳区域的矩形框图像中识别挂绳位置；根据挂绳位置确定安全带是否存在违规佩戴行为。本发明实现了安全带违规佩戴的智能化检测，提高了检测的实时性和准确性，并且更加适用于移动设备采集的图像检测。

Description

一种结合目标检测和语义分割的安全带违规佩戴检测方法
技术领域
本发明涉及安全带佩戴检测技术领域，具体涉及一种结合目标检测和语义分割的安全带违规佩戴检测方法。
背景技术
在城市建设的过程中，脚手架是为相关建筑施工活动有序进行而搭建的人员工作平台。高空安全带则是脚手架施工者的安全保障，分为全身系带以及挂绳两个部分。作业时应规范佩戴高空安全带，即挂绳部分需高于作业者腰部以上位置，才能在意外跌落时为人员起一定的缓冲作用。但由于监管行为的缺失，部分施工者并不会规范佩戴甚至不会佩戴安全带在脚手架区域施工，最后导致人员高处坠落的事故发生，造成严重不良的社会影响。为了防止此类事故的发生，可以通过深度学习的方式完成相关施工人员的安全带违规佩戴检测，加快智慧工地的建设进程。
目前已有部分学者对人员高空安全带佩戴进行研究，一般是直接利用卷积神经网络对相关图像进行特征提取，最后完成分类任务，即佩戴和未佩戴这两种结果，均未进一步对其佩戴规范性进行研究。由于以上研究没有对人员进行区域限制，因此当传统检测方法用于移动设备时，有可能对地面上的无关人员进行误判断，导致不必要的算力资源浪费。
综上所述，现有高空安全带检测方法主要存在以下技术问题：
(1)检测目标单一，不能对安全带的佩戴规范性作进一步判定；
(2)未进行区域限制，算法应用于移动设备时会导致无关人员的误识别现象。
发明内容
针对现有技术中的上述不足，本发明提供了一种结合目标检测和语义分割的安全带违规佩戴检测方法。
为了达到上述发明目的，本发明采用的技术方案为：
一种结合目标检测和语义分割的安全带违规佩戴检测方法，包括以下步骤：
S1、采集施工现场图像数据；
S2、构建目标检测网络模型，利用采集的施工现场图像数据预测人员关键点定位信息、全身系带检测信息和脚手架区域定位信息；
S3、根据人员关键点定位信息和全身系带检测信息与脚手架区域定位信息的相对位置判断是否进行安全带挂绳检测；若是，则执行步骤S4；否则结束流程；
S4、根据人员关键点定位信息提取挂绳区域的矩形框图像；
S5、构建语义分割网络模型，从提取的挂绳区域的矩形框图像中识别挂绳位置；
S6、根据挂绳位置确定安全带是否存在违规佩戴行为。
可选地，步骤S2具体包括以下分步骤：
S2-1、采用特征融合卷积神经网络对施工现场图像数据提取特征图像；
S2-2、对提取的特征图像进行上采样生成分支特征图；
S2-3、采用多分支预测神经网络对分支特征图进行预测，得到人员关键点定位信息、全身系带检测信息和脚手架区域定位信息。
可选地，步骤S2-1中特征融合卷积神经网络的计算过程为：
Figure BDA0003725626190000031
Figure BDA0003725626190000032
Figure BDA0003725626190000033
其中，I表示第n层网络的深度特征迭代输出；xn表示第n层网络输出；Node表示聚合函数；
Figure BDA0003725626190000034
表示中间计算模块从第m层到第n层网络输出；Tm(x)表示第m层特征融合卷积神经网络输出；Tn表示第n层特征融合卷积神经网络输出；
Figure BDA0003725626190000035
表示中间计算模块从第1层到第n层网络输出；B表示卷积函数；
Figure BDA0003725626190000036
表示后续计算模块从第1层到第n层网络输出。
可选地，步骤S2-2中对提取的特征图像进行上采样的计算方式为：
o＝s(i-1)+2p-k+2
其中，i表示特征图像输入尺寸；s表示步长的大小；p表示特征图像边界扩充值；k表示卷积核大小；o表示输出分支特征图的尺寸。
可选地，步骤S3中根据人员关键点定位信息和全身系带检测信息与脚手架区域定位信息的相对位置判断是否进行安全带挂绳检测具体包括：
根据人员关键点定位信息和脚手架区域定位信息计算人体目标框和脚手架旋转目标框的相交关系；
根据人体目标框和脚手架旋转目标框的相交关系结合全身系带检测信息判断是否进行安全带挂绳检测。
可选地，所述根据人员关键点定位信息和脚手架区域定位信息计算人体目标框和脚手架旋转目标框的相交关系具体为：
选取人体目标框的一条边作为第一线段，选取脚手架旋转目标框的一条边作为第二线段，采用下式计算第一线段和第二线段的相交结果：
result1＝sin(θ1)×sin(θ2)
result2＝sin(θ3)×sin(θ4)
其中，result1表示第一相交结果；θ1表示第一线段的一个端点与第二线段的两个端点之间的夹角；θ2表示第一线段的另一个端点与第二线段的两个端点之间的夹角；result2表示第二相交结果；θ3表示第二线段的一个端点与第一线段的两个端点之间的夹角；θ4表示第二线段的另一个端点与第一线段的两个端点之间的夹角；
当满足第一相交结果和第二相交结果均小于或等于0时，第一线段和第二线段相交；否则第一线段和第二线段不相交。
可选地，步骤S4具体包括：
选取人员关键点定位信息中左脚踝关键点和右脚踝关键点中纵坐标更大的对应腿部作为判别目标，并将该腿部中膝盖关键点到脚踝关键点的纵坐标的距离作为矩形框的高度；
将左肩关键点到左臀关键点和右肩关键点到右臀关键点中较大欧式距离的设定倍数作为矩形框的宽度；
将膝盖关键点和脚踝关键点分别作为矩形框的上下两边的中点。
可选地，步骤S5具体包括以下分步骤：
S5-1、对提取的挂绳区域的矩形框图像进行统一尺寸处理；
S5-2、采用卷积神经网络提取步骤S5-1处理后的矩形框图像的卷积特征；
S5-3、采用ASPP金字塔结构将步骤S5-2提取的卷积特征进行特征融合，得到编码特征图；
S5-4、采用双线性插值方法对得到的编码特征图进行解码，识别得到挂绳位置。
可选地，步骤S5-3中ASPP金字塔结构采用6、12、18空洞卷积作为图像不同感受野的特征提取，然后经过一层池化层进行特征融合处理。
可选地，所述空洞卷积的计算方式为：
Figure BDA0003725626190000051
l＝w+(w-1)*(u-1)
其中，w表示普通卷积核的大小；l表示空洞卷积核的大小；t表示空洞卷积的步长；q表示图像填充值；u表示空洞卷积中像素为0的个数；v表示经过空洞卷积输出的特征图大小。
本发明具有以下有益效果：
本发明通过构建目标检测网络模型对采集的施工现场图像数据预测人员关键点定位信息、全身系带检测信息和脚手架区域定位信息，并根据人员关键点定位信息和全身系带检测信息与脚手架区域定位信息的相对位置判断是否进行安全带挂绳检测；再通过提取挂绳区域的矩形框图像，并采用语义分割网络模型识别挂绳位置，实现了安全带违规佩戴的智能化检测，提高了检测的实时性和准确性，并且更加适用于移动设备采集的图像检测。
附图说明
图1为本发明实施例中的一种结合目标检测和语义分割的安全带违规佩戴检测方法的流程示意图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，本发明实施例提供了一种结合目标检测和语义分割的安全带违规佩戴检测方法，包括以下步骤S1至步骤S6：
S1、采集施工现场图像数据；
在本发明的一个可选实施例中，本发明的步骤S1可以利用智能安全头盔采集脚手架施工人员的施工现场图像数据，然后进行后续的安全带违规佩戴检测。本发明可以有效利用现有的智能安全头盔，使得施工现场数据不再局限于固定摄像头，提高安全带违规佩戴检测的实时性和准确性。
S2、构建目标检测网络模型，利用采集的施工现场图像数据预测人员关键点定位信息、全身系带检测信息和脚手架区域定位信息；
在本发明的一个可选实施例中，通过分析脚手架施工人员的施工现场图像数据特点，当施工人员规范佩戴安全带时，由于挂绳上的挂钩悬挂位置较高，施工人员膝盖以下位置是不存在安全带挂绳的；反之当不规范佩戴时，施工人员膝盖以下位置则会出现安全带挂绳。因此本发明首先通过构建目标检测网络模型来获取人员关键点定位信息、全身系带检测信息和脚手架区域定位信息。
本发明的步骤S2具体包括以下分步骤S2-1至分步骤S2-3：
S2-1、采用特征融合卷积神经网络对施工现场图像数据提取特征图像；
在本发明的一个可选实施例中，本发明的步骤S2-1首先将输入的施工现场图像数据统一缩放到3*512*512的尺寸，短边不足则以零进行填充；然后采用特征融合卷积神经网络对施工现场图像数据提取特征图像。本发明构建的特征融合卷积神经网络不同于传统的卷积神经网络，通过加入特征融合结构的卷积网络能将浅层特征进行不断迭代，然后作为深层特征的跨层输入，使得单个节点获取到更多不同层级的特征信息。特征融合卷积神经网络的计算过程为：
Figure BDA0003725626190000071
Figure BDA0003725626190000072
Figure BDA0003725626190000073
其中，I表示第n层网络的深度特征迭代输出；xn表示第n层网络输出；Node表示聚合函数；
Figure BDA0003725626190000074
表示中间计算模块从第m层到第n层网络输出；Tm(x)表示第m层特征融合卷积神经网络输出；Tn表示第n层特征融合卷积神经网络输出；
Figure BDA0003725626190000075
表示中间计算模块从第1层到第n层网络输出；B表示卷积函数；
Figure BDA0003725626190000076
表示后续计算模块从第1层到第n层网络输出。其中中间计算模块为两层及以上卷积神经网络搭建；后续计算模块在中间计算模块之后，由三层及以上卷积神经网络搭建。
特征融合卷积神经网络包含33层卷积层、5层池化层和1层全连接层，其中卷积核的大小为7*7，步长为2，边缘扩充为3，最后生成的特征图大小为2048*16*16。
S2-2、对提取的特征图像进行上采样生成分支特征图；
在本发明的一个可选实施例中，为了保证图像在更高分辨率上显示，本发明的步骤S2-2对特征图像进行上采样操作。这里使用反卷积的方式进行上采样，计算方式为：
o＝s(i-1)+2p-k+2
其中，i表示特征图像输入尺寸；s表示步长的大小；p表示特征图像边界扩充值；k表示卷积核大小；o表示输出分支特征图的尺寸。
反卷积层包含3层，反卷积核大小为3*3，步长为1，边缘扩充为0。经过上采样之后生成的分支特征图大小为64*128*128。
S2-3、采用多分支预测神经网络对分支特征图进行预测，得到人员关键点定位信息、全身系带检测信息和脚手架区域定位信息。
在本发明的一个可选实施例中，本发明的步骤S2-3根据目标标注给目标规划一个中心点，围绕中心点进行训练。考虑到佩戴智能安全头盔的人员可能处于多种姿态，会导致图像中的脚手架出现一定程度的水平偏移，如果采用传统的基于竖直矩形框的方式进行目标框定的话，会选出更多的无关区域，就有可能对无关人员做出违规行为的判定。因此，本发明针对脚手架区域采用旋转目标框的方式对脚手架区域进行定位，从而通过区域限制避免对无关人员做出违规行为的检测，使得本发明更适用于移动设备采集的数据检测。
本发明采用多分支预测神经网络对分支特征图进行预测，多分支预测神经网络包括第一分支预测神经网络、第二分支预测神经网络和第三分支预测神经网络，分别用于进行中心点偏移值的预测、以中心点为中心的目标框长宽预测以及角度值的预测任务。其中第三分支预测神经网络是针对脚手架区域定位进行设置的，主要了用于预测脚手架区域与水平方向的角度偏移值(角度范围为[0°,180°])。
本发明构建的第一分支预测神经网络、第二分支预测神经网络和第三分支预测神经网络均包含1层卷积层、1层池化层和1层卷积层，其中卷积核大小为3，步长为1，边缘扩充为1。第一分支预测神经网络和第二分支预测神经网络输出大小为2*128*128的预测图，分别获取到人员关键点、全身系带检测识别结果、脚手架区域对应的中心点偏移值和目标框长宽。其中人员关键点有8个，分别是左肩、右肩、左臀、右臀、左膝盖、右膝盖、左脚踝、右脚踝，并将全身系带的识别结果作为人体目标框。预测分支3则输出大小为1*128*128的预测图，表示脚手架区域旋转目标框与水平方向的偏移角度。
S3、根据人员关键点定位信息和全身系带检测信息与脚手架区域定位信息的相对位置判断是否进行安全带挂绳检测；若是，则执行步骤S4；否则结束流程；
在本发明的一个可选实施例中，本发明获取到人体目标框和脚手架旋转目标框之后，需进行两者的位置关系判断。即当人体目标框处于脚手架旋转目标框之内或者两者相交时，就判定人员处于脚手架区域之内。当人员并不处于脚手架区域内时，不用进行后续安全带挂绳检测操作；当人员处于脚手架区域内且有全身系带时，可以进行后续的安全带挂绳检测操作；当人员处于脚手架区域内且没有全身系带时，此时人员属于违规状态，不用进行后续安全带挂绳检测操作。
由于施工现场图像数据均是二维图像，因此两者属于二维平面上两个任意四边形的位置关系判断。本发明根据人员关键点定位信息和全身系带检测信息与脚手架区域定位信息的相对位置判断是否进行安全带挂绳检测具体包括：
根据人员关键点定位信息和脚手架区域定位信息计算人体目标框和脚手架旋转目标框的相交关系；
根据人体目标框和脚手架旋转目标框的相交关系结合全身系带检测信息判断是否进行安全带挂绳检测。
本发明采用的方案是依次选取人体目标框的一条边作为第一线段，再分别选取脚手架旋转目标框的一条边作为第二线段。图像坐标系将图片左上角视为原点，水平方向为x轴，竖直方向为y轴，采用下式计算第一线段和第二线段的相交结果：
result1＝sin(θ1)×sin(θ2)
result2＝sin(θ3)×sin(θ4)
其中，result1表示第一相交结果；θ1表示第一线段的一个端点与第二线段的两个端点之间的夹角；θ2表示第一线段的另一个端点与第二线段的两个端点之间的夹角；result2表示第二相交结果；θ3表示第二线段的一个端点与第一线段的两个端点之间的夹角；θ4表示第二线段的另一个端点与第一线段的两个端点之间的夹角；
当满足第一相交结果和第二相交结果均小于或等于0时，第一线段和第二线段相交；否则第一线段和第二线段不相交。
本发明根据人体目标框和脚手架旋转目标框的相交关系，当判断人员目标框与脚手架旋转目标框相交，并且全身系带检测信息判断人员有全身系带，则进行后续安全带挂绳检测。
S4、根据人员关键点定位信息提取挂绳区域的矩形框图像；
在本发明的一个可选实施例中，由于施工人员违规佩戴安全带的依据是膝盖以下位置不会出现安全带挂绳，因此需要首先进行挂绳区域的定位，获取到挂绳区域的矩形框。
本发明的步骤S4具体包括：
选取人员关键点定位信息中左脚踝关键点和右脚踝关键点中纵坐标更大的对应腿部作为判别目标，并将该腿部中膝盖关键点到脚踝关键点的纵坐标的距离作为矩形框的高度；
将左肩关键点到左臀关键点和右肩关键点到右臀关键点中较大欧式距离的设定倍数作为矩形框的宽度；
将膝盖关键点和脚踝关键点分别作为矩形框的上下两边的中点。
S5、构建语义分割网络模型，从提取的挂绳区域的矩形框图像中识别挂绳位置；
在本发明的一个可选实施例中，本发明首先利用语义分割网络模型的编码器对挂绳区域的矩形框图像进行图像编码处理，然后采用双线性插值方法对编码图像进行解码操作，从而得到识别的挂绳位置。
本发明的步骤S5具体包括以下分步骤：
S5-1、对提取的挂绳区域的矩形框图像进行统一尺寸处理；
在本发明的一个可选实施例中，为了提高模型处理效率，本发明将矩形框图像统一调整尺寸为1000*400。
S5-2、采用卷积神经网络提取步骤S5-1处理后的矩形框图像的卷积特征；
在本发明的一个可选实施例中，本发明采用卷积神经网络提取矩形框图像的全局特征；这里所采用的卷积神经网络包含13层卷积层、4层池化层、14层激活层，其中卷积层在激活层之前，池化层在激活层之后，卷积核大小为3*3，步长为2，图像扩充为0。
S5-3、采用ASPP金字塔结构将步骤S5-2提取的卷积特征进行特征融合，得到编码特征图；
在本发明的一个可选实施例中，本发明所采用的ASPP金字塔结构采用6、12、18空洞卷积作为图像不同感受野的特征提取，然后经过一层池化层进行特征融合处理。其中空洞卷积的计算方式为：
Figure BDA0003725626190000121
l＝w+(w-1)*(u-1)
其中，w表示普通卷积核的大小；l表示空洞卷积核的大小；t表示空洞卷积的步长；q表示图像填充值；u表示空洞卷积中像素为0的个数；v表示经过空洞卷积输出的特征图大小。
S5-4、采用双线性插值方法对得到的编码特征图进行解码，识别得到挂绳位置。
在本发明的一个可选实施例中，本发明所采用的双线性插值方法的计算方式为：
Figure BDA0003725626190000122
Figure BDA0003725626190000123
Figure BDA0003725626190000124
其中，Q11(x1,y1)，Q12(x1,y2)，Q21(x2,y1)，Q22(x2,y2)分别对应要插入像素的矩形区域的左下角、左上角、右上角、右下角的端点；R1(x,y1)对应左上角与右上角在x轴方向插入的点，R2(x,y2)对应左下角与右下角在x轴方向插入的点；P(x,y)表示使用双线性插值之后插入的像素点；f表示输出函数。
S6、根据挂绳位置确定安全带是否存在违规佩戴行为。
在本发明的一个可选实施例中，本发明根据安全带违规佩戴的判断原则，即当施工人员规范佩戴安全带时，施工人员膝盖以下位置是不存在安全带挂绳的；反之当不规范佩戴时，施工人员膝盖以下位置则会出现安全带挂绳；从而可以根据检测的挂绳位置来确定安全带是否存在违规佩戴行为。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (10)

1.一种结合目标检测和语义分割的安全带违规佩戴检测方法，其特征在于，包括以下步骤：
S1、采集施工现场图像数据；
S2、构建目标检测网络模型，利用采集的施工现场图像数据预测人员关键点定位信息、全身系带检测信息和脚手架区域定位信息；
S3、根据人员关键点定位信息和全身系带检测信息与脚手架区域定位信息的相对位置判断是否进行安全带挂绳检测；若是，则执行步骤S4；否则结束流程；
S4、根据人员关键点定位信息提取挂绳区域的矩形框图像；
S5、构建语义分割网络模型，从提取的挂绳区域的矩形框图像中识别挂绳位置；
S6、根据挂绳位置确定安全带是否存在违规佩戴行为。
2.根据权利要求1所述的结合目标检测和语义分割的安全带违规佩戴检测方法，其特征在于，步骤S2具体包括以下分步骤：
S2-1、采用特征融合卷积神经网络对施工现场图像数据提取特征图像；
S2-2、对提取的特征图像进行上采样生成分支特征图；
S2-3、采用多分支预测神经网络对分支特征图进行预测，得到人员关键点定位信息、全身系带检测信息和脚手架区域定位信息。
3.根据权利要求2所述的结合目标检测和语义分割的安全带违规佩戴检测方法，其特征在于，步骤S2-1中特征融合卷积神经网络的计算过程为：
Figure FDA0003725626180000011
Figure FDA0003725626180000021
Figure FDA0003725626180000022
其中，I表示第n层网络的深度特征迭代输出；xn表示第n层网络输出；Node表示聚合函数；
Figure FDA0003725626180000023
表示中间计算模块从第m层到第n层网络输出；Tm(x)表示第m层特征融合卷积神经网络输出；Tn表示第n层特征融合卷积神经网络输出；
Figure FDA0003725626180000024
表示中间计算模块从第1层到第n层网络输出；B表示卷积函数；
Figure FDA0003725626180000025
表示后续计算模块从第1层到第n层网络输出。
4.根据权利要求2所述的结合目标检测和语义分割的安全带违规佩戴检测方法，其特征在于，步骤S2-2中对提取的特征图像进行上采样的计算方式为：
o＝s(i-1)+2p-k+2
其中，i表示特征图像输入尺寸；s表示步长的大小；p表示特征图像边界扩充值；k表示卷积核大小；o表示输出分支特征图的尺寸。
5.根据权利要求1所述的结合目标检测和语义分割的安全带违规佩戴检测方法，其特征在于，步骤S3中根据人员关键点定位信息和全身系带检测信息与脚手架区域定位信息的相对位置判断是否进行安全带挂绳检测具体包括：
根据人员关键点定位信息和脚手架区域定位信息计算人体目标框和脚手架旋转目标框的相交关系；
根据人体目标框和脚手架旋转目标框的相交关系结合全身系带检测信息判断是否进行安全带挂绳检测。
6.根据权利要求5所述的结合目标检测和语义分割的安全带违规佩戴检测方法，其特征在于，所述根据人员关键点定位信息和脚手架区域定位信息计算人体目标框和脚手架旋转目标框的相交关系具体为：
选取人体目标框的一条边作为第一线段，选取脚手架旋转目标框的一条边作为第二线段，采用下式计算第一线段和第二线段的相交结果：
result1＝sin(θ1)×sin(θ2)
result2＝sin(θ3)×sin(θ4)
其中，result1表示第一相交结果；θ1表示第一线段的一个端点与第二线段的两个端点之间的夹角；θ2表示第一线段的另一个端点与第二线段的两个端点之间的夹角；result2表示第二相交结果；θ3表示第二线段的一个端点与第一线段的两个端点之间的夹角；θ4表示第二线段的另一个端点与第一线段的两个端点之间的夹角；
当满足第一相交结果和第二相交结果均小于或等于0时，第一线段和第二线段相交；否则第一线段和第二线段不相交。
7.根据权利要求1所述的结合目标检测和语义分割的安全带违规佩戴检测方法，其特征在于，步骤S4具体包括：
选取人员关键点定位信息中左脚踝关键点和右脚踝关键点中纵坐标更大的对应腿部作为判别目标，并将该腿部中膝盖关键点到脚踝关键点的纵坐标的距离作为矩形框的高度；
将左肩关键点到左臀关键点和右肩关键点到右臀关键点中较大欧式距离的设定倍数作为矩形框的宽度；
将膝盖关键点和脚踝关键点分别作为矩形框的上下两边的中点。
8.根据权利要求1所述的结合目标检测和语义分割的安全带违规佩戴检测方法，其特征在于，步骤S5具体包括以下分步骤：
S5-1、对提取的挂绳区域的矩形框图像进行统一尺寸处理；
S5-2、采用卷积神经网络提取步骤S5-1处理后的矩形框图像的卷积特征；
S5-3、采用ASPP金字塔结构将步骤S5-2提取的卷积特征进行特征融合，得到编码特征图；
S5-4、采用双线性插值方法对得到的编码特征图进行解码，识别得到挂绳位置。
9.根据权利要求8所述的结合目标检测和语义分割的安全带违规佩戴检测方法，其特征在于，步骤S5-3中ASPP金字塔结构采用6、12、18空洞卷积作为图像不同感受野的特征提取，然后经过一层池化层进行特征融合处理。
10.根据权利要求9所述的结合目标检测和语义分割的安全带违规佩戴检测方法，其特征在于，所述空洞卷积的计算方式为：
Figure FDA0003725626180000041
l＝w+(w-1)*(u-1)
其中，w表示普通卷积核的大小；l表示空洞卷积核的大小；t表示空洞卷积的步长；q表示图像填充值；u表示空洞卷积中像素为0的个数；v表示经过空洞卷积输出的特征图大小。
CN202210766081.0A 2022-07-01 2022-07-01 一种结合目标检测和语义分割的安全带违规佩戴检测方法 Pending CN115131732A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210766081.0A CN115131732A (zh) 2022-07-01 2022-07-01 一种结合目标检测和语义分割的安全带违规佩戴检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210766081.0A CN115131732A (zh) 2022-07-01 2022-07-01 一种结合目标检测和语义分割的安全带违规佩戴检测方法

Publications (1)

Publication Number Publication Date
CN115131732A true CN115131732A (zh) 2022-09-30

Family

ID=83382503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210766081.0A Pending CN115131732A (zh) 2022-07-01 2022-07-01 一种结合目标检测和语义分割的安全带违规佩戴检测方法

Country Status (1)

Country Link
CN (1) CN115131732A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115497054A (zh) * 2022-11-17 2022-12-20 安徽深核信息技术有限公司 一种高空作业安全绳挂钩悬挂状态检测方法及装置
CN116862980A (zh) * 2023-06-12 2023-10-10 上海玉贲智能科技有限公司 图像边缘的目标检测框位置优化校正方法、系统、介质及终端
CN117333635A (zh) * 2023-10-23 2024-01-02 中国传媒大学 一种基于单幅rgb图像的交互双手三维重建方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115497054A (zh) * 2022-11-17 2022-12-20 安徽深核信息技术有限公司 一种高空作业安全绳挂钩悬挂状态检测方法及装置
CN116862980A (zh) * 2023-06-12 2023-10-10 上海玉贲智能科技有限公司 图像边缘的目标检测框位置优化校正方法、系统、介质及终端
CN116862980B (zh) * 2023-06-12 2024-01-23 上海玉贲智能科技有限公司 图像边缘的目标检测框位置优化校正方法、系统、介质及终端
CN117333635A (zh) * 2023-10-23 2024-01-02 中国传媒大学 一种基于单幅rgb图像的交互双手三维重建方法及系统
CN117333635B (zh) * 2023-10-23 2024-04-26 中国传媒大学 一种基于单幅rgb图像的交互双手三维重建方法及系统

Similar Documents

Publication Publication Date Title
CN115131732A (zh) 一种结合目标检测和语义分割的安全带违规佩戴检测方法
CN112216049B (zh) 一种基于图像识别的施工警戒区监测预警系统及方法
CN109657592B (zh) 一种智能挖掘机的人脸识别方法
CN113516076B (zh) 一种基于注意力机制改进的轻量化YOLO v4安全防护检测方法
CN106934795A (zh) 一种混凝土桥梁裂缝的自动检测方法和预测方法
CN113255509A (zh) 一种基于Yolov3和OpenPose的工地危险行为监控方法
CN110414400B (zh) 一种施工现场安全帽穿戴自动检测方法及系统
CN105095829A (zh) 一种人脸识别方法及系统
CN105447529A (zh) 一种服饰检测及其属性值识别的方法和系统
CN109506628A (zh) 一种基于深度学习的卡车环境下目标物测距方法
CN108805016A (zh) 一种头肩区域检测方法及装置
CN111738336B (zh) 基于多尺度特征融合的图像检测方法
CN113762201A (zh) 基于yolov4的口罩检测方法
CN112541393A (zh) 一种基于深度学习的变电站人员检测方法及装置
CN105184278A (zh) 一种人脸检测方法和装置
KR20210006722A (ko) 안전 장비의 착용 여부를 판단하는 장치, 방법 및 컴퓨터 프로그램
CN116824335A (zh) 一种基于YOLOv5改进算法的火灾预警方法及系统
CN116563776A (zh) 基于人工智能的违章行为告警方法、系统、介质及设备
CN114359825A (zh) 监测方法和相关产品
CN113936299A (zh) 建筑工地中危险区域检测方法
CN112101260A (zh) 一种作业人员安全带识别方法、装置、设备和存储介质
CN116778214A (zh) 一种行为检测方法、装置、设备及其存储介质
CN111914704B (zh) 一种三轮车载人的识别方法、装置、电子设备及存储介质
CN112435240B (zh) 一种面向工人违规使用手机的深度视觉手机检测系统
CN112580449B (zh) 智慧工地现场的人员异常行为判别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination