CN111144263A - 一种建筑工人高坠事故预警方法及装置 - Google Patents

一种建筑工人高坠事故预警方法及装置 Download PDF

Info

Publication number
CN111144263A
CN111144263A CN201911328108.2A CN201911328108A CN111144263A CN 111144263 A CN111144263 A CN 111144263A CN 201911328108 A CN201911328108 A CN 201911328108A CN 111144263 A CN111144263 A CN 111144263A
Authority
CN
China
Prior art keywords
network
worker
detection network
operator
behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911328108.2A
Other languages
English (en)
Other versions
CN111144263B (zh
Inventor
马晓静
饶颖露
张恒
张源民
阎震
贾磊
马思乐
陈纪旸
栾义忠
姜向远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201911328108.2A priority Critical patent/CN111144263B/zh
Publication of CN111144263A publication Critical patent/CN111144263A/zh
Application granted granted Critical
Publication of CN111144263B publication Critical patent/CN111144263B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0635—Risk analysis of enterprise or organisation activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G06Q50/265—Personal security, identity or safety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Educational Administration (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Security & Cryptography (AREA)
  • Social Psychology (AREA)

Abstract

本发明提供了一种建筑工人高坠事故预警方法及装置。其中，一种建筑工人高坠事故预警方法，包括建立数据集，采用迁移学习方法分别训练目标检测网络和行为检测网络；获取预设区域的监控视频并输入至训练完成的目标检测网络，标定出作业工人、安全帽及安全带，根据安全帽及安全带的有无情况及佩戴位置，判断是否输出设备异常报警信息；将目标检测网络检测到的作业工人目标彩色图像输入到训练完成的行为检测网络，提取作业工人骨骼关键点序列，进而连接关节，评估出骨骼关键点之间的相关性，根据预设的工人动作类别及其相应作业人员不安全姿态，对作业人员进行姿态估计，当检测作业工人行为异常时进行报警。

Description

一种建筑工人高坠事故预警方法及装置
技术领域
本发明属于建筑工人高坠事故预警领域，尤其涉及一种建筑工人高坠事故预警方法及装置。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
高处作业在建筑行业的各类项目中普遍存在，工作量大，作业环境复杂多变，经常需要多工种交叉作业，但高处作业人员由于安全意识淡薄，心存侥幸心理等问题，事故发生率极高，据2009—2018年我国建筑施工安全事故统计分析，高坠事故导致死亡的人数在建筑施工生产事故中占有最高比例，高坠事故一直以来被人们列为建筑施工四大伤害(高处坠落、物体打击、触电、机械伤害)之首，被称为建筑施工“第一杀手”。从事故统计数据来看，发生事故的原因大多是人的不安全行为所致，其比例高达70％～80％。如果能够对人的异常行为进行识别，采取有效的预防措施,及时发出警报，避免安全事故发生，能够减少甚至杜绝高坠事故的发生，有力保障建筑工地施工安全。
异常主要包括以下两种：设备异常以及行为异常。目前没有专门针对高处施工建筑工人的安全隐患相关预防的科学方法。现有相关技术主要有基于传感器的方法和基于图像的方法。
基于加速度计判定建筑工人行为主要是通过采集工人手腕处的加速度数据将钢筋工行为分类，通过机器学习进行判别，实现实时监控。发明人发现，基于传感器的方法识别精度较低，精度容易随传感器精度变化，实际操作中容易出现误判。基于图像的建筑工地工人异常识别方法主要集中于研究工人人脸识别，人员是否穿戴安全帽的二分类检测等，发明人发现，存在的缺点如下：对于高处施工安全隐患的分析不够全面，不仅需要判别人员是否穿戴安全帽，还需要检测人员是否规范佩戴安全帽、安全带、防滑鞋。针对工人的行为异常分析方面分析不全面，需要从工人的规范操作，人群行为，摔倒，危险地带作业等方面进行检测。同时目前基于人体姿态估计的方法在建筑行业应用较少，其他行业的相关研究有，煤矿井下人员的人体姿态估计行为识别方法，采用基于生成对抗训练的困难样本挖掘沙漏网络(Hourglass Networks with Hard Mining)提取煤矿井下人员的姿态信息，根据姿态信息在监控视频中的运行轨迹判断人员是否行为异常。旅客异常行为检测通过提取行人骨架信息获取行人姿态，根据行人的运动轨迹进行行为判断异常。发明人发现，人体姿态估计技术在实际应用中效果不好主要是因为作业场所环境比较复杂，而人体姿态估计模型常常需要被检测对象较明显，如果有检测场景中人物较多，或者检测环境较复杂，容易出现误检漏检的问题。
发明内容
为了解决上述问题，本发明提供一种建筑工人高坠事故预警方法及装置，其能够准确检测工人姿态，并通过工人姿态分析危险行为，及时预防高处施工事故，填补了建筑工地高处施工事故预防的空白。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一方面提供了一种建筑工人高坠事故预警方法，其包括：
建立数据集，采用迁移学习方法分别训练目标检测网络和行为检测网络；
获取预设区域的监控视频并输入至训练完成的目标检测网络，标定出作业工人、安全帽及安全带，根据安全帽及安全带的有无情况及佩戴位置，判断是否输出设备异常报警信息；
将目标检测网络检测到的作业工人目标彩色图像输入到训练完成的行为检测网络，提取作业工人骨骼关键点序列，进而连接关节，评估出骨骼关键点之间的相关性，根据预设的工人动作类别及其相应作业人员不安全姿态，对作业人员进行姿态估计，当检测作业工人行为异常时进行报警。
本发明的第二方面提供了一种建筑工人高坠事故预警装置，其包括：
网络训练模块，其用于建立数据集，采用迁移学习方法分别训练目标检测网络和行为检测网络；
设备异常报警模块，其用于获取预设区域的监控视频并输入至训练完成的目标检测网络，标定出作业工人、安全帽及安全带，根据安全帽及安全带的有无情况及佩戴位置，判断是否输出设备异常报警信息；
行为异常报警模块，其用于将目标检测网络检测到的作业工人目标彩色图像输入到训练完成的行为检测网络，提取作业工人骨骼关键点序列，进而连接关节，评估出骨骼关键点之间的相关性，根据预设的工人动作类别及其相应作业人员不安全姿态，对作业人员进行姿态估计，当检测作业工人行为异常时进行报警。
本发明的第三方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的建筑工人高坠事故预警方法中的步骤。
本发明的第四方面提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的建筑工人高坠事故预警方法中的步骤。
本发明的有益效果是：
本发明解决了当前建筑工地高坠事故预防手段缺失，对于工人施工安全隐患排查不够全面具体，在施工人员异常行为识别方面，由于环境复杂常常会出现漏检误检的问题，结合目标检测网络与姿态估计预测网络，提出一种更加实用全面的建筑工人高坠事故预警方法；
本发明利用目标检测网络标定出作业工人、安全帽及安全带，根据安全帽及安全带的有无情况及佩戴位置，判断是否输出设备异常报警信息；将目标检测网络检测到的作业工人目标彩色图像输入到训练完成的行为检测网络，提取作业工人骨骼关键点序列，进而连接关节，评估出骨骼关键点之间的相关性，根据预设的工人动作类别及其相应作业人员不安全姿态，对作业人员进行姿态估计，当检测作业工人行为异常时进行报警，能够准确检测工人姿态，并通过工人姿态分析危险行为，及时预防高处施工事故，填补了建筑工地高处施工事故预防的空白。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例的一种建筑工人高坠事故预警方法流程图；
图2是本发明实施例的一种建筑工人高坠事故预警方法具体流程图；
图3是本发明实施例的YOLOV3网络的训练过程；
图4是本发明实施例的YOLOV3网络结构；
图5是本发明实施例的训练行为检测网络的过程；
图6是本发明实施例的正态曲线；
图7是本发明实施例的标注结果；
图8(a)是本发明实施例的作业工人目标彩色图像中的关键点检测；
图8(b)是本发明实施例的作业工人目标彩色图像；
图8(c)是本发明实施例的作业工人目标彩色图像对应连接的关节。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在发明中，设备异常包括：
1、不带安全帽或未正确佩戴安全帽；不少工作人员因作业时佩戴不舒服等原因，不系好安全帽带，甚至不佩戴安全帽，夏季，作业人员常常改装安全帽，将安全帽与遮阳帽重叠佩戴，导致无法系挂安全帽带。不戴安全帽或者未正确佩戴安全帽，一旦发生坠落，安全帽将脱离头部，无法起到保护头部的作用。
2、不系安全带或未正确使用安全带；实际作业中，安全带需要“高挂低用”，作业人员常因为安全带碍事，不方便行走，穿脱麻烦等原因未按照要求系挂安全带，部分人员将安全带随手系挂在脚边或不稳固地方，或者由于安全带太短而自行接长安全带，从而导致安全带无法保护好作业人员，导致高坠事故发生。
行为异常包括：
1、违章操作：高处作业人员禁止在无防护的屋架上弦支撑杵条、悬挑梁和固定的构件上等处行走或进行作业。高处进行作业时，作业人员为求省事不搭设作业平台危险作业，作业人员随吊物上下等习惯性违章，这些违章行为带来了非常大的安全风险。
2、进入危险地段：高处坠落的地段多数为外脚手架、预留洞口、阳台上、电梯井、楼梯口等的临边和垂直运输的机械设备安装、拆卸、维修、保养等四口危险地段。这些地段易发生多人事故，留下重大伤亡事故的隐患。因此当作业人员进入危险地段时需要进行安全预警，确保危险地段的作业安全。
3、人群聚集或争执：高处作业时如果发生人员争执聚集等行为会导致严重的安全问题，因此需要及时预警，制止人群聚集争执等行为。
4、作业人员摔倒：夏季露天高温作业时，由于温度较高、阳光强烈等原因，安全事故发生率较高，作业人员没有得到充足的休息，容易中暑头晕，疲惫摔倒导致在高处作业时坠落的风险。需要对作业人员进行姿态估计，假如判断其有摔倒的可能，可以进行即时预警，提醒作业人员在阴凉通风处进行适当休息。
实施例一
图1给出了本实施例的一种建筑工人高坠事故预警方法流程图。
下面结合附图来详细说明本实施例的建筑工人高坠事故预警方法的具体实施过程。
如图1所示，本实施例的建筑工人高坠事故预警方法，其包括：
步骤S101：建立数据集，采用迁移学习方法分别训练目标检测网络和行为检测网络；
在具体实施中，建立数据集的过程为：
获取建筑工地高处施工工人员图片，对图片中施工人员安全帽、安全带和作业工人进行标定，形成数据集；
通过数据扩增操作来扩增数据集，以提高目标检测网络和行为检测网络的泛化能力。
其中，数据扩增操作包括：使用翻转矩阵分别将图片进行左右和上下翻转，对图片进行不同尺度的仿射变换以及对图片进行高斯模糊。
在本实施例中，标检测网络采用YOLOV3网络，行为检测网络采用OPENPOSE网络。采用本实施例的上述网络来预警的具体过程，如图2所示。
本实施例将目标检测领域效果较好的YOLOV3与人体姿态估计相结合，首先由YOLOV3对场景中的施工人员进行目标检测，检测到目标后，交由人体姿态估计网络进行检测，判断出施工人员当前行为。YOLO系列算法是典型的one-stage算法，将物体检测转化为回归问题，能够直接通过整张图片的所有像素得到边界框bounding box的坐标，YOLOV3是最新版的YOLO算法，对于小物体的识别效果非常好，模型泛化能力强，同时该算法在多人场合对于行人检测效果非常优异，且YOLOV3处理单张图片速度非常快，可以满足实时性要求。人体姿态估计采用OPENPOSE算法，这是美国卡耐基梅隆大学提出的姿态估计模型，模型的效果很好，具有较好的鲁棒性，抗遮挡性较好。将目标检测网络和姿态估计网络结合，能够较好地提升OPENPOSE的检测效果，将其应用到建筑行业中，可以实现建筑工地高处施工安全预防。
如图3所示，YOLOV3网络的训练过程为：
首先将输入图片分割为若干个网格，如果目标中心在网格中，对应网格负责该目标大小和类别的预测；每个网格预测若干个边界框bounding box和置信度Confidence；
其中，边界框bounding box负责预测目标的位置，每个边界框bounding box包括五个值：x，y，w，h，Confidence；每个网格预测若干个条件概率Pr(Classesi|Object)，条件概率是当网格中存在目标时类别的概率分布；其中，x，y代表边界框的中心离开其所在网格单元格边界的偏移。w，h代表边界框真实宽高相对于整幅图像的比例。
测试阶段，将条件概率和每个边界框bounding box的Confidence相乘得到每一个bounding box目标类别概率分布的置信度；
Figure BDA0002328901460000081
Figure BDA0002328901460000082
其中，Pr(Object)表示边界框中是否含有目标；
Figure BDA0002328901460000083
表示预测边框和物体真实区域的交并比。单元格中存在某一类物体的条件概率为Pr(Classesi|Object)，识别到的物体是某一类别的概率是Pr(Classesi)。
在具体实施中，目标检测网络采用YOLOV3网络，YOLOV3网络采用Darknet-53的网络结构，如图4所示，借鉴残差网络residual network的做法，在预设层之间设置快捷链路，采用256*256*3作为输入，最左侧列的数字(例如：1、2、8等)表示多少个重复的残差组件，每个残差组件有两个卷积层和一个快捷链路，采用3个不同尺度的特征图来进行对象检测。其中，不同尺度的特征图，感受野不同，适合检测不同尺寸的对象。
如图5所示，当为检测网络采用OPENPOSE网络时，其训练行为检测网络的过程为：
1)建立高处作业工人数据库：模型先在mscoco数据集上进行预训练，mscoco数据集能够检测18个关键点分别为：
0:nose,1:l-eye,2:r-eye,3:l-ear,4:r-ear,5:l-shoulder,6:r-shoulder,7:l-elbow,8:r-elbow,9:l-wrist,10:r-wrist,11:l-hip,12:r-hip,13:l-keen,14:r-keen,15:l-ankle,16:rankle,17:background，采用迁移学习的方法，在建立的作业工人数据集上训练。
2)输入w*h大小的彩色图像，经过VGG19前10层网络得到一个特征映射F，网络分成两个循环分支，第一个分支用于预测关键点置信度S：关键点即人体关节，得到身体部位(如肘关节、膝盖)的二维置信图，以灰白程度展示人体部位出现的可能性。第二个分支用于预测关键点亲和度向量场L：预测像素点在骨架中的走向，即预测人体部位亲和度(PAF)的一组2D向量空间，可以通过解码得到人体部位(关键点)之间的关联度，同一个人的不同部位之间具有较大的关联度。
3)第一个循环分支以特征图F作为输入，得到一组检测置信度图S1，L1。其中S1＝ρ1(F),L1＝φ1(F)其中ρ1和φ1为卷积层组成的CNN结构，之后的每个分支分别以上一个分支的输出St-1，Lt-1和原始特征图F作为输入，产生更加精确的预测结果。
4)ρt和φt代表第t阶段的CNN结构，输出为
Figure BDA0002328901460000091
和
Figure BDA0002328901460000092
5)每个阶段t对应两个损失函数：
Figure BDA0002328901460000101
代表预测值和实际值的L2损失，
Figure BDA0002328901460000102
表示真实的置信图，
Figure BDA0002328901460000103
表示真实的身体关节联系向量，损失函数为
Figure BDA0002328901460000104
其中j表示关键点，c表示肢体，一个肢体对应两个关键点。W是一个二进制掩码,该掩码用于在训练过程中避免对正确的预测进行抑制。p表示像素p点。t∈(1,2..T)，T为常数。
6)通过图像中标注的2D点Xj,k计算S的groundtruth,其中Xj，k表示第k个人的第j种关节，
Figure BDA0002328901460000105
符合正态分布，对每个人生成个人的所有置信图
Figure BDA0002328901460000106
在P点的值定义为
Figure BDA0002328901460000107
当像素点P接近注释点Xj,k时，达到正态曲线的峰值，如图6所示。
7)标注出关键点后，采用Part affinity field(PAF)的方法进行关节连接，xj1,k和xj2,k分别代表k的肢体c两个对应的身体部位j1,j2的Groundtruth，
Figure BDA0002328901460000108
的值为j1指向j2的单位向量，如果点P落在了肢体c上，
Figure BDA0002328901460000109
表示被记为v,用于表示肢体方向的单位向量，满足0≤v·(p-xj1,k)≤lc,k和|v⊥·(p-xj1,k)|≤σl条件的点P被定义为在肢体c上，其中σl表示肢体的宽度，lc,k＝||xj1,k-xj2,k||2表示肢体的长度。
8)每张图像中第c种肢体的
Figure BDA00023289014600001010
表示k个人在位置P的向量平均值，
Figure BDA00023289014600001011
其中nc(p)代表非零向量的个数。
9)评估两个点之间的关联性：已知关键点dj1,dj2和PAF以后，计算两个关键点连线向量和两关键点连线上各像素PAF向量之间的点积的积分作为两个关键点之间的相关性。
Figure BDA0002328901460000111
其中p(u)代表两个身体部位之间的位置p(u)＝(1-u)dj1+udj2,实际预测时，对u区间进行均匀间隔采样求和求解近似解。
步骤S102：获取预设区域的监控视频并输入至训练完成的目标检测网络，标定出作业工人、安全帽及安全带，根据安全帽及安全带的有无情况及佩戴位置，判断是否输出设备异常报警信息。
例如：通过在危险区域：高处坠落的地段多数为外脚手架、预留洞口、阳台上、电梯井、楼梯口等的临边和垂直运输的机械设备安装、拆卸、维修、保养等四口危险地段对建筑工地进行监控，得到监控视频。
当监控视频图像中不存在安全帽或安全带时，出设备异常报警信息。
当监控视频图像中安全帽或安全带佩戴位置与预设位置不匹配时，输出设备异常报警信息。
标注结果如图7所示。在图7中，黑色实线为安全帽正确佩戴；黑色短实线为安全带正确佩戴；黑色虚线为工人检测。
步骤S103：将目标检测网络检测到的作业工人目标彩色图像输入到训练完成的行为检测网络，提取作业工人骨骼关键点序列，进而连接关节，评估出骨骼关键点之间的相关性，根据预设的工人动作类别及其相应作业人员不安全姿态，对作业人员进行姿态估计，当检测作业工人行为异常时进行报警。
其中，工人动作类别包括摔倒、聚集、违章操作、进入危险区域和争吵斗殴。
采用原始openpose算法直接对输入图进行检测，会存在工人姿态误检，本发明先采用YOLO将工人检测出来，再通过openpose进行姿态检测，如图8(a)-8(c)，可以看到未经YOLO检测的工人姿态只有姿态点，而不能够建立关键点序列，进行关节连接，经过YOLO准确定位工人位置之后，能够准确建立关节连接，进行姿态检测。YOLO结合Openpose改进后检测效果图，每个工人的姿态检测都较为准确。
实施例二
本实施例提供了一种建筑工人高坠事故预警装置，其包括：
(1)网络训练模块，其用于建立数据集，采用迁移学习方法分别训练目标检测网络和行为检测网络。
在具体实施中，建立数据集的过程为：
获取建筑工地高处施工工人员图片，对图片中施工人员安全帽、安全带和作业工人进行标定，形成数据集；
通过数据扩增操作来扩增数据集，以提高目标检测网络和行为检测网络的泛化能力。
其中，数据扩增操作包括：使用翻转矩阵分别将图片进行左右和上下翻转，对图片进行不同尺度的仿射变换以及对图片进行高斯模糊。
在本实施例中，标检测网络采用YOLOV3网络，行为检测网络采用OPENPOSE网络。采用本实施例的上述网络来预警的具体过程，如图2所示。
本实施例将目标检测领域效果较好的YOLOV3与人体姿态估计相结合，首先由YOLOV3对场景中的施工人员进行目标检测，检测到目标后，交由人体姿态估计网络进行检测，判断出施工人员当前行为。YOLO系列算法是典型的one-stage算法，将物体检测转化为回归问题，能够直接通过整张图片的所有像素得到边界框bounding box的坐标，YOLOV3是最新版的YOLO算法，对于小物体的识别效果非常好，模型泛化能力强，同时该算法在多人场合对于行人检测效果非常优异，且YOLOV3处理单张图片速度非常快，可以满足实时性要求。人体姿态估计采用OPENPOSE算法，这是美国卡耐基梅隆大学提出的姿态估计模型，模型的效果很好，具有较好的鲁棒性，抗遮挡性较好。将目标检测网络和姿态估计网络结合，能够较好地提升OPENPOSE的检测效果，将其应用到建筑行业中，可以实现建筑工地高处施工安全预防。
如图3所示，YOLOV3网络的训练过程为：
首先将输入图片分割为若干个网格，如果目标中心在网格中，对应网格负责该目标大小和类别的预测；每个网格预测若干个边界框bounding box和置信度Confidence；
其中，边界框bounding box负责预测目标的位置，每个边界框bounding box包括五个值：x，y，w，h，Confidence；每个网格预测若干个条件概率Pr(Classesi|Object)，条件概率是当网格中存在目标时类别的概率分布；其中，x，y代表边界框的中心离开其所在网格单元格边界的偏移。w，h代表边界框真实宽高相对于整幅图像的比例。
测试阶段，将条件概率和每个边界框bounding box的Confidence相乘得到每一个bounding box目标类别概率分布的置信度；
Figure BDA0002328901460000131
Figure BDA0002328901460000132
其中，Pr(Object)表示边界框中是否含有目标；
Figure BDA0002328901460000133
表示预测边框和物体真实区域的交并比。单元格中存在某一类物体的条件概率为Pr(Classesi|Object)，识别到的物体是某一类别的概率是Pr(Classesi)。
在具体实施中，目标检测网络采用YOLOV3网络，YOLOV3网络采用Darknet-53的网络结构，如图4所示，借鉴残差网络residual network的做法，在预设层之间设置快捷链路，采用256*256*3作为输入，最左侧列的数字(例如：1、2、8等)表示多少个重复的残差组件，每个残差组件有两个卷积层和一个快捷链路，采用3个不同尺度的特征图来进行对象检测。其中，不同尺度的特征图，感受野不同，适合检测不同尺寸的对象。
如图5所示，当为检测网络采用OPENPOSE网络时，其训练行为检测网络的过程为：
1)建立高处作业工人数据库：模型先在mscoco数据集上进行预训练，mscoco数据集能够检测18个关键点分别为：
0:nose,1:l-eye,2:r-eye,3:l-ear,4:r-ear,5:l-shoulder,6:r-shoulder,7:l-elbow,8:r-elbow,9:l-wrist,10:r-wrist,11:l-hip,12:r-hip,13:l-keen,14:r-keen,15:l-ankle,16:rankle,17:background，采用迁移学习的方法，在建立的作业工人数据集上训练。
2)输入w*h大小的彩色图像，经过VGG19前10层网络得到一个特征映射F，网络分成两个循环分支，第一个分支用于预测关键点置信度S：关键点即人体关节，得到身体部位(如肘关节、膝盖)的二维置信图，以灰白程度展示人体部位出现的可能性。第二个分支用于预测关键点亲和度向量场L：预测像素点在骨架中的走向，即预测人体部位亲和度(PAF)的一组2D向量空间，可以通过解码得到人体部位(关键点)之间的关联度，同一个人的不同部位之间具有较大的关联度。
3)第一个循环分支以特征图F作为输入，得到一组检测置信度图S1，L1。其中S1＝ρ1(F),L1＝φ1(F)其中ρ1和φ1为卷积层组成的CNN结构，之后的每个分支分别以上一个分支的输出St-1，Lt-1和原始特征图F作为输入，产生更加精确的预测结果。
4)ρt和φt代表第t阶段的CNN结构，输出为
Figure BDA0002328901460000151
和
Figure BDA0002328901460000152
5)每个阶段t对应两个损失函数：
Figure BDA0002328901460000153
代表预测值和实际值的L2损失，
Figure BDA0002328901460000154
表示真实的置信图，
Figure BDA0002328901460000155
表示真实的身体关节联系向量，损失函数为
Figure BDA0002328901460000156
其中j表示关键点，c表示肢体，一个肢体对应两个关键点。W是一个二进制掩码,该掩码用于在训练过程中避免对正确的预测进行抑制。p表示像素p点。t∈(1,2..T)，T为常数。
6)通过图像中标注的2D点Xj,k计算S的groundtruth,其中Xj，k表示第k个人的第j种关节，
Figure BDA0002328901460000157
符合正态分布，对每个人生成个人的所有置信图
Figure BDA0002328901460000158
在P点的值定义为
Figure BDA0002328901460000159
当像素点P接近注释点Xj,k时，达到正态曲线的峰值，如图6所示。
7)标注出关键点后，采用Part affinity field(PAF)的方法进行关节连接，xj1,k和xj2,k分别代表k的肢体c两个对应的身体部位j1,j2的Groundtruth，
Figure BDA00023289014600001510
的值为j1指向j2的单位向量，如果点P落在了肢体c上，
Figure BDA00023289014600001511
表示被记为v,用于表示肢体方向的单位向量，满足0≤v·(p-xj1,k)≤lc,k和|v⊥·(p-xj1,k)|≤σl条件的点P被定义为在肢体c上，其中σl表示肢体的宽度，lc,k＝||xj1,k-xj2,k||2表示肢体的长度。
8)每张图像中第c种肢体的
Figure BDA0002328901460000161
表示k个人在位置P的向量平均值，
Figure BDA0002328901460000162
其中nc(p)代表非零向量的个数。
9)评估两个点之间的关联性：已知关键点dj1,dj2和PAF以后，计算两个关键点连线向量和两关键点连线上各像素PAF向量之间的点积的积分作为两个关键点之间的相关性。
Figure BDA0002328901460000163
其中p(u)代表两个身体部位之间的位置p(u)＝(1-u)dj1+udj2,实际预测时，对u区间进行均匀间隔采样求和求解近似解。
(2)设备异常报警模块，其用于获取预设区域的监控视频并输入至训练完成的目标检测网络，标定出作业工人、安全帽及安全带，根据安全帽及安全带的有无情况及佩戴位置，判断是否输出设备异常报警信息。
例如：通过在危险区域：高处坠落的地段多数为外脚手架、预留洞口、阳台上、电梯井、楼梯口等的临边和垂直运输的机械设备安装、拆卸、维修、保养等四口危险地段对建筑工地进行监控，得到监控视频。
当监控视频图像中不存在安全帽或安全带时，出设备异常报警信息。
当监控视频图像中安全帽或安全带佩戴位置与预设位置不匹配时，输出设备异常报警信息。
标注结果如图7所示。在图7中，黑色实线为安全帽正确佩戴；黑色短实线为安全带正确佩戴；黑色虚线为工人检测。
(3)行为异常报警模块，其用于将目标检测网络检测到的作业工人目标彩色图像输入到训练完成的行为检测网络，提取作业工人骨骼关键点序列，进而连接关节，评估出骨骼关键点之间的相关性，根据预设的工人动作类别及其相应作业人员不安全姿态，对作业人员进行姿态估计，当检测作业工人行为异常时进行报警。
其中，工人动作类别包括摔倒、聚集、违章操作、进入危险区域和争吵斗殴。
采用原始openpose算法直接对输入图进行检测，会存在工人姿态误检，本发明先采用YOLO将工人检测出来，再通过openpose进行姿态检测，如图8(a)-8(c)，可以看到未经YOLO检测的工人姿态只有姿态点，而不能够建立关键点序列，进行关节连接，经过YOLO准确定位工人位置之后，能够准确建立关节连接，进行姿态检测。YOLO结合Openpose改进后检测效果图，每个工人的姿态检测都较为准确。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如图1所示的建筑工人高坠事故预警方法中的步骤。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如图1所示的建筑工人高坠事故预警方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种建筑工人高坠事故预警方法，其特征在于，包括：
建立数据集，采用迁移学习方法分别训练目标检测网络和行为检测网络；
获取预设区域的监控视频并输入至训练完成的目标检测网络，标定出作业工人、安全帽及安全带，根据安全帽及安全带的有无情况及佩戴位置，判断是否输出设备异常报警信息；
将目标检测网络检测到的作业工人目标彩色图像输入到训练完成的行为检测网络，提取作业工人骨骼关键点序列，进而连接关节，评估出骨骼关键点之间的相关性，根据预设的工人动作类别及其相应作业人员不安全姿态，对作业人员进行姿态估计，当检测作业工人行为异常时进行报警。
2.如权利要求1所述的建筑工人高坠事故预警方法，其特征在于，建立数据集的过程为：
获取建筑工地高处施工工人员图片，对图片中施工人员安全帽、安全带和作业工人进行标定，形成数据集；
通过数据扩增操作来扩增数据集，以提高目标检测网络和行为检测网络的泛化能力。
3.如权利要求2所述的建筑工人高坠事故预警方法，其特征在于，数据扩增操作包括：使用翻转矩阵分别将图片进行左右和上下翻转，对图片进行不同尺度的仿射变换以及对图片进行高斯模糊。
4.如权利要求1所述的建筑工人高坠事故预警方法，其特征在于，目标检测网络采用YOLOV3网络，YOLOV3网络采用Darknet-53的网络结构，借鉴残差网络residual network的做法，在预设层之间设置快捷链路，采用256*256*3作为输入，最左侧列的数字表示多少个重复的残差组件，每个残差组件有两个卷积层和一个快捷链路，采用3个不同尺度的特征图来进行对象检测。
5.如权利要求1所述的建筑工人高坠事故预警方法，其特征在于，行为检测网络采用OPENPOSE网络。
6.如权利要求1所述的建筑工人高坠事故预警方法，其特征在于，工人动作类别包括摔倒、聚集、违章操作、进入危险区域和争吵斗殴。
7.一种建筑工人高坠事故预警装置，其特征在于，包括：
网络训练模块，其用于建立数据集，采用迁移学习方法分别训练目标检测网络和行为检测网络；
设备异常报警模块，其用于获取预设区域的监控视频并输入至训练完成的目标检测网络，标定出作业工人、安全帽及安全带，根据安全帽及安全带的有无情况及佩戴位置，判断是否输出设备异常报警信息；
行为异常报警模块，其用于将目标检测网络检测到的作业工人目标彩色图像输入到训练完成的行为检测网络，提取作业工人骨骼关键点序列，进而连接关节，评估出骨骼关键点之间的相关性，根据预设的工人动作类别及其相应作业人员不安全姿态，对作业人员进行姿态估计，当检测作业工人行为异常时进行报警。
8.如权利要求7所述的建筑工人高坠事故预警装置，其特征在于，在所述网络训练模块中，目标检测网络采用YOLOV3网络，YOLOV3网络采用Darknet-53的网络结构，借鉴残差网络residual network的做法，在预设层之间设置快捷链路，采用256*256*3作为输入，最左侧列的数字表示多少个重复的残差组件，每个残差组件有两个卷积层和一个快捷链路，采用3个不同尺度的特征图来进行对象检测；
或
在所述网络训练模块中，行为检测网络采用OPENPOSE网络。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一项所述的建筑工人高坠事故预警方法中的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6中任一项所述的建筑工人高坠事故预警方法中的步骤。
CN201911328108.2A 2019-12-20 2019-12-20 一种建筑工人高坠事故预警方法及装置 Active CN111144263B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911328108.2A CN111144263B (zh) 2019-12-20 2019-12-20 一种建筑工人高坠事故预警方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911328108.2A CN111144263B (zh) 2019-12-20 2019-12-20 一种建筑工人高坠事故预警方法及装置

Publications (2)

Publication Number Publication Date
CN111144263A true CN111144263A (zh) 2020-05-12
CN111144263B CN111144263B (zh) 2023-10-13

Family

ID=70519207

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911328108.2A Active CN111144263B (zh) 2019-12-20 2019-12-20 一种建筑工人高坠事故预警方法及装置

Country Status (1)

Country Link
CN (1) CN111144263B (zh)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111597974A (zh) * 2020-05-14 2020-08-28 哈工大机器人（合肥）国际创新研究院 一种基于tof相机车厢内人员活动的监控方法及系统
CN111611927A (zh) * 2020-05-21 2020-09-01 长沙明本信息科技有限公司 一种基于人体姿态识别煤矿工作人员不安全行为的方法
CN111667510A (zh) * 2020-06-17 2020-09-15 常州市中环互联网信息技术有限公司 一种基于深度学习和姿态估计的攀岩动作评价系统
CN111753665A (zh) * 2020-05-26 2020-10-09 济南浪潮高新科技投资发展有限公司 一种基于姿态估计的园区异常行为识别方法及装置
CN111814601A (zh) * 2020-06-23 2020-10-23 国网上海市电力公司 一种将目标检测与人体姿态估计相结合的视频分析方法
CN111832526A (zh) * 2020-07-23 2020-10-27 浙江蓝卓工业互联网信息技术有限公司 一种行为检测方法及装置
CN111898514A (zh) * 2020-07-24 2020-11-06 燕山大学 一种基于目标检测与动作识别的多目标视觉监管方法
CN111931760A (zh) * 2020-07-30 2020-11-13 国网江苏省电力有限公司南通供电分公司 对后备保险绳特殊标记的电力作业现场安全带使用识别方法
CN111985717A (zh) * 2020-08-24 2020-11-24 珠海格力电器股份有限公司 安全预警方法、装置、安全预警设备及存储介质
CN112001347A (zh) * 2020-08-31 2020-11-27 重庆科技学院 一种基于人体骨架形态与检测目标的动作识别方法
CN112101260A (zh) * 2020-09-22 2020-12-18 广东电科院能源技术有限责任公司 一种作业人员安全带识别方法、装置、设备和存储介质
CN112149962A (zh) * 2020-08-28 2020-12-29 中国地质大学（武汉） 一种施工事故致因行为的风险定量评估方法及系统
CN112163469A (zh) * 2020-09-11 2021-01-01 燊赛(上海)智能科技有限公司 一种吸烟行为识别方法、系统、设备及可读存储介质
CN112200043A (zh) * 2020-09-30 2021-01-08 中邮通建设咨询有限公司 面向室外施工现场的危险源智能识别系统及方法
CN112215138A (zh) * 2020-10-12 2021-01-12 中国石油大学(华东) 一种基于深度学习的安全带低挂高用违规检测方法
CN112634233A (zh) * 2020-12-24 2021-04-09 四川电器集团中低压智能配电有限公司 基于图像检测和分析技术在配电设备中的应用方法
CN112633308A (zh) * 2020-09-15 2021-04-09 北京华电天仁电力控制技术有限公司 一种电厂作业人员是否佩戴安全带的检测方法及检测系统
CN112685812A (zh) * 2020-12-16 2021-04-20 中冶建筑研究总院有限公司 一种动态监管方法、装置、设备及存储介质
CN112766091A (zh) * 2021-01-05 2021-05-07 中科院成都信息技术股份有限公司 基于人体骨骼关键点的视频不安全行为识别系统及方法
CN112804498A (zh) * 2021-02-04 2021-05-14 国能信控互联技术有限公司 一种安全防护装具佩戴情况监控系统和方法
CN112861624A (zh) * 2021-01-05 2021-05-28 哈尔滨工业大学（威海） 一种人体姿态检测方法、系统、存储介质、设备及终端
CN113095132A (zh) * 2021-03-04 2021-07-09 北京市燃气集团有限责任公司 一种基于神经网络的燃气现场目标检测和行为识别方法、系统、终端及存储介质
CN113111844A (zh) * 2021-04-28 2021-07-13 中德（珠海）人工智能研究院有限公司 一种作业姿态评估方法、装置、本地终端及可读存储介质
CN113255509A (zh) * 2021-05-20 2021-08-13 福州大学 一种基于Yolov3和OpenPose的工地危险行为监控方法
WO2022059192A1 (ja) * 2020-09-18 2022-03-24 日本電信電話株式会社 転倒リスク判定装置、転倒リスク判定方法、およびプログラム
CN114821459A (zh) * 2022-03-17 2022-07-29 郑州格蒂电力智能科技有限公司 一种基于ai技术的变电站施工安全检测系统及算法
CN114882596A (zh) * 2022-07-08 2022-08-09 深圳市信润富联数字科技有限公司 行为预警方法、装置、电子设备及存储介质
CN114998990A (zh) * 2022-05-26 2022-09-02 深圳市科荣软件股份有限公司 一种工地人员安全行为识别方法及装置
CN115294533A (zh) * 2022-09-30 2022-11-04 南通羿云智联信息科技有限公司 基于数据处理的建筑施工状态监测方法
CN116311082A (zh) * 2023-05-15 2023-06-23 广东电网有限责任公司湛江供电局 基于关键部位与图像匹配的穿戴检测方法及系统
CN116994210A (zh) * 2023-09-20 2023-11-03 中国水利水电第七工程局有限公司 隧道施工人员识别方法、装置及系统
CN117499596A (zh) * 2023-11-15 2024-02-02 岳阳华润燃气有限公司 一种基于智能ar眼镜的燃气场站巡检系统及方法
CN111985717B (zh) * 2020-08-24 2024-05-31 珠海格力电器股份有限公司 安全预警方法、装置、安全预警设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109270954A (zh) * 2018-10-30 2019-01-25 西南科技大学 一种基于姿态识别的无人机交互系统及其控制方法
CN109389041A (zh) * 2018-09-07 2019-02-26 南京航空航天大学 一种基于关节点特征的跌倒检测方法
CN109635697A (zh) * 2018-12-04 2019-04-16 国网浙江省电力有限公司电力科学研究院 基于YOLOv3目标检测的电力作业人员安全着装检测方法
JP2019185752A (ja) * 2018-03-30 2019-10-24 株式会社日立製作所 画像抽出装置
CN110502965A (zh) * 2019-06-26 2019-11-26 哈尔滨工业大学 一种基于计算机视觉人体姿态估计的施工安全帽佩戴监测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019185752A (ja) * 2018-03-30 2019-10-24 株式会社日立製作所 画像抽出装置
CN109389041A (zh) * 2018-09-07 2019-02-26 南京航空航天大学 一种基于关节点特征的跌倒检测方法
CN109270954A (zh) * 2018-10-30 2019-01-25 西南科技大学 一种基于姿态识别的无人机交互系统及其控制方法
CN109635697A (zh) * 2018-12-04 2019-04-16 国网浙江省电力有限公司电力科学研究院 基于YOLOv3目标检测的电力作业人员安全着装检测方法
CN110502965A (zh) * 2019-06-26 2019-11-26 哈尔滨工业大学 一种基于计算机视觉人体姿态估计的施工安全帽佩戴监测方法

Cited By (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111597974A (zh) * 2020-05-14 2020-08-28 哈工大机器人（合肥）国际创新研究院 一种基于tof相机车厢内人员活动的监控方法及系统
CN111597974B (zh) * 2020-05-14 2023-05-12 哈工大机器人（合肥）国际创新研究院 一种基于tof相机车厢内人员活动的监控方法及系统
CN111611927A (zh) * 2020-05-21 2020-09-01 长沙明本信息科技有限公司 一种基于人体姿态识别煤矿工作人员不安全行为的方法
CN111753665A (zh) * 2020-05-26 2020-10-09 济南浪潮高新科技投资发展有限公司 一种基于姿态估计的园区异常行为识别方法及装置
CN111667510A (zh) * 2020-06-17 2020-09-15 常州市中环互联网信息技术有限公司 一种基于深度学习和姿态估计的攀岩动作评价系统
CN111814601A (zh) * 2020-06-23 2020-10-23 国网上海市电力公司 一种将目标检测与人体姿态估计相结合的视频分析方法
CN111832526A (zh) * 2020-07-23 2020-10-27 浙江蓝卓工业互联网信息技术有限公司 一种行为检测方法及装置
CN111832526B (zh) * 2020-07-23 2024-06-11 浙江蓝卓工业互联网信息技术有限公司 一种行为检测方法及装置
CN111898514A (zh) * 2020-07-24 2020-11-06 燕山大学 一种基于目标检测与动作识别的多目标视觉监管方法
CN111898514B (zh) * 2020-07-24 2022-10-18 燕山大学 一种基于目标检测与动作识别的多目标视觉监管方法
CN111931760A (zh) * 2020-07-30 2020-11-13 国网江苏省电力有限公司南通供电分公司 对后备保险绳特殊标记的电力作业现场安全带使用识别方法
CN111985717B (zh) * 2020-08-24 2024-05-31 珠海格力电器股份有限公司 安全预警方法、装置、安全预警设备及存储介质
CN111985717A (zh) * 2020-08-24 2020-11-24 珠海格力电器股份有限公司 安全预警方法、装置、安全预警设备及存储介质
CN112149962A (zh) * 2020-08-28 2020-12-29 中国地质大学（武汉） 一种施工事故致因行为的风险定量评估方法及系统
CN112149962B (zh) * 2020-08-28 2023-08-22 中国地质大学（武汉） 一种施工事故致因行为的风险定量评估方法及系统
CN112001347A (zh) * 2020-08-31 2020-11-27 重庆科技学院 一种基于人体骨架形态与检测目标的动作识别方法
CN112163469B (zh) * 2020-09-11 2022-09-02 燊赛(上海)智能科技有限公司 一种吸烟行为识别方法、系统、设备及可读存储介质
CN112163469A (zh) * 2020-09-11 2021-01-01 燊赛(上海)智能科技有限公司 一种吸烟行为识别方法、系统、设备及可读存储介质
CN112633308A (zh) * 2020-09-15 2021-04-09 北京华电天仁电力控制技术有限公司 一种电厂作业人员是否佩戴安全带的检测方法及检测系统
JP7420276B2 (ja) 2020-09-18 2024-01-23 日本電信電話株式会社 転倒リスク判定装置、転倒リスク判定方法、およびプログラム
WO2022059192A1 (ja) * 2020-09-18 2022-03-24 日本電信電話株式会社 転倒リスク判定装置、転倒リスク判定方法、およびプログラム
CN112101260B (zh) * 2020-09-22 2023-09-26 南方电网电力科技股份有限公司 一种作业人员安全带识别方法、装置、设备和存储介质
CN112101260A (zh) * 2020-09-22 2020-12-18 广东电科院能源技术有限责任公司 一种作业人员安全带识别方法、装置、设备和存储介质
CN112200043B (zh) * 2020-09-30 2022-04-19 中邮通建设咨询有限公司 面向室外施工现场的危险源智能识别系统及方法
CN112200043A (zh) * 2020-09-30 2021-01-08 中邮通建设咨询有限公司 面向室外施工现场的危险源智能识别系统及方法
CN112215138A (zh) * 2020-10-12 2021-01-12 中国石油大学(华东) 一种基于深度学习的安全带低挂高用违规检测方法
CN112685812A (zh) * 2020-12-16 2021-04-20 中冶建筑研究总院有限公司 一种动态监管方法、装置、设备及存储介质
CN112634233A (zh) * 2020-12-24 2021-04-09 四川电器集团中低压智能配电有限公司 基于图像检测和分析技术在配电设备中的应用方法
CN112766091A (zh) * 2021-01-05 2021-05-07 中科院成都信息技术股份有限公司 基于人体骨骼关键点的视频不安全行为识别系统及方法
CN112766091B (zh) * 2021-01-05 2023-09-29 中科院成都信息技术股份有限公司 基于人体骨骼关键点的视频不安全行为识别系统及方法
CN112861624A (zh) * 2021-01-05 2021-05-28 哈尔滨工业大学（威海） 一种人体姿态检测方法、系统、存储介质、设备及终端
CN112804498A (zh) * 2021-02-04 2021-05-14 国能信控互联技术有限公司 一种安全防护装具佩戴情况监控系统和方法
CN112804498B (zh) * 2021-02-04 2023-05-12 国能信控互联技术有限公司 一种安全防护装具佩戴情况监控系统和方法
CN113095132A (zh) * 2021-03-04 2021-07-09 北京市燃气集团有限责任公司 一种基于神经网络的燃气现场目标检测和行为识别方法、系统、终端及存储介质
CN113111844A (zh) * 2021-04-28 2021-07-13 中德（珠海）人工智能研究院有限公司 一种作业姿态评估方法、装置、本地终端及可读存储介质
CN113111844B (zh) * 2021-04-28 2022-02-15 中德（珠海）人工智能研究院有限公司 一种作业姿态评估方法、装置、本地终端及可读存储介质
CN113255509A (zh) * 2021-05-20 2021-08-13 福州大学 一种基于Yolov3和OpenPose的工地危险行为监控方法
CN114821459A (zh) * 2022-03-17 2022-07-29 郑州格蒂电力智能科技有限公司 一种基于ai技术的变电站施工安全检测系统及算法
CN114998990A (zh) * 2022-05-26 2022-09-02 深圳市科荣软件股份有限公司 一种工地人员安全行为识别方法及装置
CN114882596B (zh) * 2022-07-08 2022-11-15 深圳市信润富联数字科技有限公司 行为预警方法、装置、电子设备及存储介质
CN114882596A (zh) * 2022-07-08 2022-08-09 深圳市信润富联数字科技有限公司 行为预警方法、装置、电子设备及存储介质
CN115294533A (zh) * 2022-09-30 2022-11-04 南通羿云智联信息科技有限公司 基于数据处理的建筑施工状态监测方法
CN116311082A (zh) * 2023-05-15 2023-06-23 广东电网有限责任公司湛江供电局 基于关键部位与图像匹配的穿戴检测方法及系统
CN116994210A (zh) * 2023-09-20 2023-11-03 中国水利水电第七工程局有限公司 隧道施工人员识别方法、装置及系统
CN116994210B (zh) * 2023-09-20 2023-12-22 中国水利水电第七工程局有限公司 隧道施工人员识别方法、装置及系统
CN117499596A (zh) * 2023-11-15 2024-02-02 岳阳华润燃气有限公司 一种基于智能ar眼镜的燃气场站巡检系统及方法

Also Published As

Publication number Publication date
CN111144263B (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
CN111144263A (zh) 一种建筑工人高坠事故预警方法及装置
CN110110613B (zh) 一种基于动作识别的轨道交通异常人员检测方法
Fang et al. Detecting non-hardhat-use by a deep learning method from far-field surveillance videos
CN111191586B (zh) 一种施工现场人员安全帽佩戴情况巡检方法及系统
CN111598040B (zh) 一种建筑工人身份识别及安全帽佩戴检测方法及系统
CN106412501B (zh) 一种视频的施工安全行为智能监控系统及其监控方法
CN110414400B (zh) 一种施工现场安全帽穿戴自动检测方法及系统
CN113516076B (zh) 一种基于注意力机制改进的轻量化YOLO v4安全防护检测方法
CN109165685B (zh) 基于表情和动作的监狱服刑人员潜在性风险监测方法和系统
CN111079722B (zh) 一种吊装过程人员安全监测方法及系统
CN108647619A (zh) 一种基于深度学习的视频中安全帽佩戴的检测方法及装置
CN113506416A (zh) 一种基于智能视觉分析的工程异常预警方法及系统
CN114155492A (zh) 高空作业安全带挂绳高挂低用识别方法、装置和电子设备
Zhu et al. Automated monitoring of hardhats wearing for onsite safety enhancement
CN111860187A (zh) 一种高精度的佩戴口罩识别方法及系统
Al Daghan et al. A deep learning model for detecting PPE to minimize risk at construction sites
Reyes et al. Safety gear compliance detection using data augmentation-assisted transfer learning in construction work environment
CN113822242B (zh) 一种基于图像识别技术的安全帽佩戴识别方法和装置
Zhao et al. Abnormal behavior detection based on dynamic pedestrian centroid model: Case study on U-turn and fall-down
CN114359831A (zh) 一种面向险兆推理的工人临边坠落智能识别系统及方法
KR20230097854A (ko) 발전소내 작업자의 위험행동 인지방법 및 시스템
CN113256560A (zh) 一种基于YOLOv5的掘进机炮头区域入侵检测方法
CN113537019A (zh) 基于关键点识别变电站人员安全帽佩戴的检测方法
CN111241959B (zh) 一种通过工地视频流检测未佩戴安全帽人员的方法
CN117058627B (zh) 一种公共场所人群安全距离监测方法、介质及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant