CN113076825A - 一种变电站工作人员爬高安全监测方法 - Google Patents

一种变电站工作人员爬高安全监测方法 Download PDF

Info

Publication number
CN113076825A
CN113076825A CN202110296900.5A CN202110296900A CN113076825A CN 113076825 A CN113076825 A CN 113076825A CN 202110296900 A CN202110296900 A CN 202110296900A CN 113076825 A CN113076825 A CN 113076825A
Authority
CN
China
Prior art keywords
human body
climbing
image
algorithm
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110296900.5A
Other languages
English (en)
Inventor
赵永泉
杨定光
崔政
李雅特
王浩兵
彭玉林
刘楠
李永超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xishuangbanna Power Supply Bureau of Yunnan Power Grid Co Ltd
Original Assignee
Xishuangbanna Power Supply Bureau of Yunnan Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xishuangbanna Power Supply Bureau of Yunnan Power Grid Co Ltd filed Critical Xishuangbanna Power Supply Bureau of Yunnan Power Grid Co Ltd
Priority to CN202110296900.5A priority Critical patent/CN113076825A/zh
Publication of CN113076825A publication Critical patent/CN113076825A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种变电站工作人员爬高安全监测方法，属于目标检测技术领域。包括步骤：视频画面人体关节点提取，再通过一条姿势线将每对关联的身体部位连接起来，姿势线将组合成图像中检测出的人体的全身姿态；工作人员爬高动作检测判断；如果检测出来工作人员具有爬高行为，则要进行爬高中工作人员防护措施识别：判断是否根据要求正确佩戴好了安全带和安全帽，具体地，使用YOLO算法检测人体图像区域是否存在相应的物体。本发明在对现场视频进行监控时，对人员登高期间安全防护问题的响应时间约为3.4秒。可以在极短的时间内对爬高工作防护不到位的行为作出报警，提高了检测精度与反应速度，从而能极大的改善变电站爬高工作中的安全问题。

Description

一种变电站工作人员爬高安全监测方法
技术领域
本发明涉及一种变电站工作人员爬高安全监测方法，属于目标检测技术领域，适用于在不同场景下对场景中人或物的动作与位置识别。
背景技术
传统监控虽然精度和实时性比较高，也是一种成熟的解决方案，但是作业过程中需要架设过多的设备，并且后台需要工作人员专心监控，这需要大量的专业工作人员，消耗人力物力。传统监控方案自动化程度较低，只能在关键变电站进行部署，而对于偏远地区的变电站和支线变电站来说则成本过高，并且由于变电站所处环境复杂，监控设备架设受到变电站主要设备位置的制约，需要提前规划好各个设备的位置，未架设监控设备的旧变电站升级改造比较困难，不适合大规模应用。
一、传统监控方案传统监控方案是指利用各种传感器以及摄像头的配合，整合成一整套监控解决方案，实现对变电站设备运行状况的检测，对变电站场站环境的监测，以及对变电站工作人员的运维工作的监控保护。对人体的姿态估计主要是使用多个监控摄像头拍摄工作人员的现场作业，然后将视频流传输到后台服务器，后方监测人员通过实时观看作业录像以及时发现异常状况，现场会有报警装置接收后台的报警信号以提醒工作人员的危险动作。另外的技术是电子围栏，通过架设振动感应线缆和振动感应器围住工作区域，在工作人员触碰工作区域边界时感应到信号，触发报警；在危险区域埋设埋地式电缆和入侵探测器，在工作人员进入监控死角时或者进入危险区域时，传感器会向控制中心发送报警。同时监测人员会定时巡检作业区域，记录作业状况。
二、现有姿态估计算法
传统的姿态估计算法的主体思路主要有两类：生成方法(基于模型)和判别方法(无模型)。
(1)生成方法(基于模型)
基于图的结构和形变部件模型，设计2D人体部件检测器，使用图模型构建各部件的连通性，然后结合关键节点的配对关系来恢复人体的姿态。其算法步骤为：使用HOG方法进行人体检测。通过人工指定一个矩形统计区域来包含目标人体头部和肩部作为初始信息，进而划分图像为几个区域(前景、背景)；然后进行前景高亮，在前景区域搜索人体部件；进行单帧图像解析，利用前一步处理所得的图像，获取人体边缘信息、姿态信息，同时学习外观模型；最后考虑到同一视频序列中的目标人体的衣着及其外观不会发生明显变化，可以通过上一步学习到的模型以及空间几何连续性，使用熵最大法对后续人体姿态进行估计。
(2)判别方法(无模型)
判别方法直接学习从输入源到人体姿势空间的映射(基于学习)或搜索不存在的示例(基于示例)，而无需使用人体模型。其流程为：给定一个参考姿态，根据标记分布去除图像中不匹配的姿态；基于快速傅立叶变换实现循环卷积，再利用其实现快速直方图匹配算法，通过该算法计算图像中姿态与参考姿态之间的旋转角度；最后使用非线性最小二乘法修正最后结果。判别方法通常比生成方法要快。同时可以辅以传感器(摄像头、红外传感器等)检测，通过人工观察复检提高检测精度。
三、基于深度学习的姿态估计
深度学习相对于传统姿态估计算法可以提取目标更加高层和更好的表达特征，还能将提取到的特征、分类等信息整合在一个模型中。
(1)CPM
CPM使用神经网络同时学习图片特征和空间信息。相较于之前使用CNN提取图片特征，神经网络可以同时学习这两种信息，能取得更好的效果，而且可以实现端到端的学习。CPM使用多层结构。每层的输入是原始图片特征和上一层的输出，当前层根据这两种信息通过卷积层提取信息，产生新的结果，经过多层的迭代产生一个较精确的结果。
(2)MSPN
首先，对于每层的模型，MSPN采用了CPN中的GlobalNet(backbone为ResNet)，其次，MSPN增加了跨阶段的特征融合。由于经过反复的下采样-上采样，不可避免会有信息损失，故MSPN中将前一层下采样和上采样过程中对应分辨率的两个feature maps都连接过来，与当前层下采样的feature map进行融合，这样当前层得到的feature map就包含了更多高层信息，减少了各个层之间的信息丢失。此外，这种类似残差结构的设计也有助于缓解梯度消失问题。最后，MSPN还采用了coarse-to-fine supervision。直观上来说，对于多层网络，随着层数的增加，对关键点的估计是一个coarse-to-fine的过程，这样进行intermediate supervision的时候，可以将ground truth也设置成coarse-to-fine的heatmap，也就是前面层的高斯核较大，后面层的高斯核较小，随着层数的增加要求关键点位置越来越精确。
在传统机器学习算法中，虽然生成方法时间效率较高，但是提取的都是人工设定的浅层特征(如HOG，SIFT等)，丢失了大部分图像信息，导致算法受制于图像质量。同时，由于部件模型单一，当人体姿态变化范围较大时，部件模型精度不能满足此类大量形变，姿态估计的结果有多个可行解，适用范围较窄。在变电站中，由于存在大量设备，导致接收的图像数据不能完全包含模型的关键点：在单帧图像识别中，为了获得完整的人体姿态，目标人体图像对角度有一定要求，通常是正面或者偏移角度比较小的推昂，以保证人体的各个肢体关节可见，这使得相当一部分的图像不能用于识别。识别精度较低，不具备实用性。因此，生成方法在单帧图像或者序列图像方面可以取得较好的效果，但对于变电站这种复杂场景有着先天不足。本发明对变电站环境下的目标追踪与目标识别算法进行改进，提升了算法的检测精度与反应速度。
发明内容
本发明提供了一种变电站工作人员爬高安全监测方法，以用于提升检测精度与反应速度。
本发明的技术方案是：一种变电站工作人员爬高安全监测方法，所述变电站工作人员爬高安全监测方法的具体步骤如下：
Step1、视频画面人体关节点提取，再通过一条姿势线将每对关联的身体部位连接起来，姿势线将组合成图像中检测出的人体的全身姿态；其中，使用Openpose算法对视频画面中的人员进行关节点提取，并且在其中添加了人体检测和人体区域融合步骤；
Step2、工作人员爬高动作检测判断；如果检测出来工作人员具有爬高行为，则要进行下一步；
Step3、爬高中工作人员防护措施识别：判断是否根据要求正确佩戴好了安全带和安全帽，具体地，使用YOLO算法检测人体图像区域是否存在相应的物体。
作为本发明的进一步方案，所述步骤Step1的具体步骤为：
Step1.1、首先将输入图像逐帧提取后使用YOLO算法检测出人体在图像中所处的区域的位置，并将检测框提取出来用于后续姿态估计；其中，检测框具有容错能力；
当预测到的人体检测框偏大时，算法会有较高的容错能力，但当人体检测框偏小而无法截取整个人体时，会影响后续姿态估计的结果，因此，对前一步的人体检测框进行放大，其公式如下：
x_lar＝x*0.9
y_lar＝y*0.9
w_lar＝x_lar+w*1.2＜inuige.cols？
w*1.2：image.cols-x_lar
h_lar＝y_lar+h*1.2＜image.rows？
h*1.2：image.rowws-y_lar
其中，x、x_lar分别为放大前后的左上角横坐标，y、y_lar分别为放大前后的左上角的纵坐标，w、w_lar分别为放大前后的图像宽度，h，h_lar方别是放大前后的图像高度，image.cols为图像的宽度，image.rows为图像的高度；
Step1.2、通过人体区域融合步骤将相互靠的近的人体区域进行融合，以提高姿态估计算法的识别效率，定义两个人体区域的IOUMAx为
Figure BDA0002984685070000041
当两个体区域的IOUMAX超过阈值时，对这两区域进行融合，否则不进行融合；融合时依照公式：
x＝minxi，xj)
y＝min(yi，yj)
w＝max{xi+wi，xj+wj}-x
h＝max{yi+hi，yj+hj}-y
其中(x，y，w，h)为融合后的人体区域边框，(xi，yi，wi，hi)，(xj，yj，wj，hj)分别为需要融合的两个人体区域的边框，(x，y)表示的是边框左上角的坐标，(w，h)为边框的宽和高；
Step1.3、将融合后的图像VGG19卷积网络提取特征，得到图像的128维特征图，将特征图传给两个平行的卷积层分支，第一个分支用来预测18个关节点置信图PartConfidence Maps，每个图代表人体骨架中的一个关节；第二个分支预测一个集合，该集合中包含38个关节点关联度PartAffinity Fields；
Step1.4、使用图论中的偶匹配Bipartite Matching求出Part Association，将同一个人的关节点连接起来；此步骤正确性依赖PAF自身的矢量性，最终合并为一个人的整体骨架；
Step1.5、最后基于PAFs求Multi-Person Parsing的方法，将Multi-personparsing问题转换成graphs问题并使用部图匹配算法匈牙利算法Hungarian Algorithm寻找增广路径，用增广路径求二分图最大匹配。
作为本发明的进一步方案，所述步骤Step2的具体步骤为：
Step2.1、将从视频中获取的人体姿态信息在数据库中与存储的爬高姿态进行比对，再采用直方图来描述运动序列中10个骨骼夹角的分布，并将2个运动序列的骨骼夹角直方图之间的距离作为运动序列的相似性度量；并采用余弦距离来度量2个高维特征向量之间的相似性，具体通过计算2个向量之间夹角的余弦来实现；
Step2.2、如果连续5帧图像的比对重合度超过80％，则进行下一步检测；
Step2.3、利用改进的R-CNN算法检测画面信息内是否存在爬梯等爬高设备；具体地，将滑动窗口方法改为区域建议网络来生成检测框，区域建议网络是一个全卷积网络，它的核心思想就是滑动窗口在最后的卷积层上滑动一遍，由于候选区域机制和边框回归得到多尺度多长宽比的区域建议；区域建议网络针对生成区域建议的任务进行端到端地训练，同时能够预测出目标的边界框和分数；
Step2.4、如果识别出画面中有80％以上的置信度出现爬梯，则认为具有爬高行为。
作为本发明的进一步方案，所述步骤Step3中：首先使用目标检测算法提取出画面中的人体图像，然后将人体图像输入YOLO算法模型，如果检测出的物体包含安全带和安全帽，且置信度超过80％，则认为工作人员正确遵守了相关防护措施。
本发明的有益效果是：本发明在对现场视频进行监控时，对人员登高期间安全防护问题的响应时间约为3.4秒。由于存在3秒钟的持续监测阈值，本发明可以在极短的时间内对爬高工作防护不到位的行为作出报警，提高了检测精度与反应速度，从而能极大的改善变电站爬高工作中的安全问题。
附图说明
图1为本发明中现有技术中CPM结构图；
图2为本发明中的流程图；
图3为本发明中整个物体系统的计算区域的示意图。
具体实施方式
实施例1：如图1-3所示，一种变电站工作人员爬高安全监测方法，所述变电站工作人员爬高安全监测方法的具体步骤如下：
Step1、视频画面人体关节点提取，再通过一条姿势线将每对关联的身体部位连接起来，姿势线将组合成图像中检测出的人体的全身姿态；其中，使用Openpose算法对视频画面中的人员进行关节点提取，并且在其中添加了人体检测和人体区域融合步骤；
Step2、工作人员爬高动作检测判断；如果检测出来工作人员具有爬高行为，则要进行下一步；
Step3、爬高中工作人员防护措施识别：判断是否根据要求正确佩戴好了安全带和安全帽，具体地，使用YOLO算法检测人体图像区域是否存在相应的物体。
作为本发明的进一步方案，所述步骤Step1的具体步骤为：
Step1.1、首先将输入图像逐帧提取后使用YOLO算法检测出人体在图像中所处的区域的位置，并将检测框提取出来用于后续姿态估计；其中，检测框具有容错能力；
当预测到的人体检测框偏大时，算法会有较高的容错能力，但当人体检测框偏小而无法截取整个人体时，会影响后续姿态估计的结果，因此，对前一步的人体检测框进行放大，其公式如下：
x_lar＝x*0.9
y_lar＝y*0.9
w_lar＝x_lar+w*1.2＜image.cols？
w*1.2：image.cols-x_lar
h_lar＝y_lar+h*1.2＜imagee.rows？
h*1.2：image.rous-y_lar
其中，x、x_lar分别为放大前后的左上角横坐标，y、y_lar分别为放大前后的左上角的纵坐标，w、w_lar分别为放大前后的图像宽度，h，h_lar方别是放大前后的图像高度，image.cols为图像的宽度，image.rows为图像的高度；
Step1.2、通过人体区域融合步骤将相互靠的近的人体区域进行融合，以提高姿态估计算法的识别效率，定义两个人体区域的IOUMAx为
Figure BDA0002984685070000061
当两个体区域的IOUMAX超过阈值时，对这两区域进行融合，否则不进行融合；融合时依照公式：
x＝min(xi，xj)
y＝min(yi，yj)
w＝max{xi+wi，xj+wj}-x
h＝max{yi+hi，yj+hj}-y
其中(x，y，w，h)为融合后的人体区域边框，(xi，yi，wi，hi)，(xj，yj，wj，hj)分别为需要融合的两个人体区域的边框，(x，y)表示的是边框左上角的坐标，(w，h)为边框的宽和高；
Step1.3、将融合后的图像VGG19卷积网络提取特征，得到图像的128维特征图，将特征图传给两个平行的卷积层分支，第一个分支用来预测18个关节点置信图PartConfidence Maps，每个图代表人体骨架中的一个关节；第二个分支预测一个集合，该集合中包含38个关节点关联度PartAffinityFields；
Step1.4、使用图论中的偶匹配Bipartite Matching求出Part Association，将同一个人的关节点连接起来；此步骤正确性依赖PAF自身的矢量性，最终合并为一个人的整体骨架；
Step1.5、最后基于PAFs求Multi-Person Parsing的方法，将Multi-personparsing问题转换成graphs问题并使用部图匹配算法匈牙利算法Hungarian Algorithm寻找增广路径，用增广路径求二分图最大匹配。
当关节点提取完毕后，我们可以获取到视频中各个人员的关节点位置，包括鼻子、脖子、眼睛、肩膀、肘部、腕部、臀部、膝盖和脚踝。接下来，通过一条姿势线将每对关联的身体部位连接起来。这些姿势线将组合成图像中检测出的人体的全身姿态。接下来根据组合成的人体姿态信息进行爬高动作检测，以判断是否需要进一步检测工作人员的的穿戴状态。
作为本发明的进一步方案，所述步骤Step2的具体步骤为：
Step2.1、将从视频中获取的人体姿态信息在数据库中与存储的爬高姿态进行比对，再采用直方图来描述运动序列中10个骨骼夹角的分布，并将2个运动序列的骨骼夹角直方图之间的距离作为运动序列的相似性度量；并采用余弦距离来度量2个高维特征向量之间的相似性，具体通过计算2个向量之间夹角的余弦来实现；
Step2.2、如果连续5帧图像的比对重合度超过80％，则进行下一步检测；
Step2.3、利用改进的R-CNN算法检测画面信息内是否存在爬梯等爬高设备；具体地，将滑动窗口方法改为区域建议网络来生成检测框，区域建议网络是一个全卷积网络，它的核心思想就是滑动窗口在最后的卷积层上滑动一遍，由于候选区域机制和边框回归得到多尺度多长宽比的区域建议；区域建议网络针对生成区域建议的任务进行端到端地训练，同时能够预测出目标的边界框和分数；
Step2.4、如果识别出画面中有80％以上的置信度出现爬梯，则认为具有爬高行为。
作为本发明的进一步方案，所述步骤Step3中：首先使用目标检测算法提取出画面中的人体图像，然后将人体图像输入YOLO算法模型，如果检测出的物体包含安全带和安全帽，且置信度超过80％，则认为工作人员正确遵守了相关防护措施。
所述步骤Step3中的YOLO算法具体步骤如下：
(1)首先将输入图像均匀分隔为SxS个网格(grid cell)，如果某个object的中心落在这个网格中，则这个网格就负责预测这个object。
(2)将图像输入到CNN特征提取和预测网络中，其中的卷积层部分负责提取图像的特征，图像的特征经过全连接层之后输出为(S*S)*30的维度。每个1*1*30的维度对应原图S*S个cell中的一个，每个cell要预测2个bounding box(bbox)的坐标(xcenter，ycenter，w，h)以及置信度，其中，中心坐标的xcenter，ycenter相对于对应的网格归一化到0-1之间，w，h用图像的width和height归一化到0-1之间，除了要回归自身的坐标之外，还要附带预测一个confidence值。这个confidence代表了所预测的bbox中含有obiect的置信度和这个bbox预测的有多准两重信息
Figure BDA0002984685070000082
(3)除了bbox外，每个网格还要预测类别信息，对网格内的物体进行三次检测，每次用于检测的anchor尺寸不同，32倍降采样的anchor最大，适合检测大的目标，16倍适合一般大小的物体，8倍的anchor最小，适合检测小目标。检测完成后，使用logistic回归用于对anchor包围的部分进行一个目标性评分，即这块位置是目标的可能性有多大，如果没有超过设定的阈值则舍弃。
(4)最后将检测出的物体采用非极大值抑制选出置信度最高，且最有可能代表是目标的bbox。首先把置信度最高的一个bbox作为目标，然后对比剩下bbox与目标bbox之间的交叉区域，如果交叉区域大于设定的阈值，那么在剩下的bbox中去除该bbox，并不断重复该过程。
(5)最终输出各个物体的位置、类别以及置信度分数。
如果人体区域的安全带和安全帽的目标检测置信度低于80％，则认为工作人员没有按照安全规范在爬高作业时佩戴安全带和安全绳，此时系统会自动报警，并将采集到的监控图像进行保存记录，在后台记录下违规作业的时间和地点，以达到智能监控的功能。
为了验证本发明中提出算法的效果，对从变电站现场采集的2000张图片进行识别，包含500张爬高工作图片，其中有100张图片的安全措施佩戴不到位。本发明的监测结果如下表：
表1为爬高安全监测系统检验结果
Figure BDA0002984685070000081
Figure BDA0002984685070000091
同时，本发明在对现场视频进行监控时，对人员登高期间安全防护问题的响应时间约为3.4秒。由于本发明存在3秒钟的持续监测阈值，可以判断本发明可以在极短的时间内对爬高工作防护不到位的行为作出报警，从而能极大的改善变电站爬高工作中的安全问题。
上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (4)

1.一种变电站工作人员爬高安全监测方法，其特征在于：所述变电站工作人员爬高安全监测方法的具体步骤如下：
Step1、视频画面人体关节点提取，再通过一条姿势线将每对关联的身体部位连接起来，姿势线将组合成图像中检测出的人体的全身姿态；其中，使用Openpose算法对视频画面中的人员进行关节点提取，并且在其中添加了人体检测和人体区域融合步骤；
Step2、工作人员爬高动作检测判断；如果检测出来工作人员具有爬高行为，则要进行下一步；
Step3、爬高中工作人员防护措施识别：判断是否根据要求正确佩戴好了安全带和安全帽，具体地，使用YOLO算法检测人体图像区域是否存在相应的物体。
2.根据权利要求1所述的变电站工作人员爬高安全监测方法，其特征在于：所述步骤Step1的具体步骤为：
Step1.1、首先将输入图像逐帧提取后使用YOLO算法检测出人体在图像中所处的区域的位置，并将检测框提取出来用于后续姿态估计；其中，检测框具有容错能力；
Step1.2、通过人体区域融合步骤将相互靠的近的人体区域进行融合，以提高姿态估计算法的识别效率，定义两个人体区域的IOUMAx为
Figure FDA0002984685060000011
当两个体区域的IOUMAx超过阈值时，对这两区域进行融合，否则不进行融合；融合时依照公式：
x＝min(xi，xj)
y＝min(yi，yj)
w＝max{xi+wi，xj+wj}-x
h＝max{yi+hi，yi+hi}-y
其中(x，y，w，h)为融合后的人体区域边框，(xi，yi，hi)，(xj，yj，wj，hj)分别为需要融合的两个人体区域的边框，(x，y)表示的是边框左上角的坐标，(w，h)为边框的宽和高；
Step1.3、将融合后的图像VGG19卷积网络提取特征，得到图像的128维特征图，将特征图传给两个平行的卷积层分支，第一个分支用来预测18个关节点置信图Part ConfidenceMaps，每个图代表人体骨架中的一个关节；第二个分支预测一个集合，该集合中包含38个关节点关联度Part Affinity Fields；
Step1.4、使用图论中的偶匹配Bipartite Matching求出Part Association，将同一个人的关节点连接起来；此步骤正确性依赖PAF自身的矢量性，最终合并为一个人的整体骨架；
Step1.5、最后基于PAFs求Multi-Person Parsing的方法，将Multi-person parsing问题转换成graphs问题并使用部图匹配算法匈牙利算法Hungarian Algorithm寻找增广路径，用增广路径求二分图最大匹配。
3.根据权利要求1所述的变电站工作人员爬高安全监测方法，其特征在于：所述步骤Step2的具体步骤为：
Step2.1、将从视频中获取的人体姿态信息在数据库中与存储的爬高姿态进行比对，再采用直方图来描述运动序列中10个骨骼夹角的分布，并将2个运动序列的骨骼夹角直方图之间的距离作为运动序列的相似性度量；并采用余弦距离来度量2个高维特征向量之间的相似性，具体通过计算2个向量之间夹角的余弦来实现；
Step2.2、如果连续5帧图像的比对重合度超过80％，则进行下一步检测；
Step2.3、利用改进的R-CNN算法检测画面信息内是否存在爬梯等爬高设备；具体地，将滑动窗口方法改为区域建议网络来生成检测框，区域建议网络是一个全卷积网络，它的核心思想就是滑动窗口在最后的卷积层上滑动一遍，由于候选区域机制和边框回归得到多尺度多长宽比的区域建议；区域建议网络针对生成区域建议的任务进行端到端地训练，同时能够预测出目标的边界框和分数；
Step2.4、如果识别出画面中有80％以上的置信度出现爬梯，则认为具有爬高行为。
4.根据权利要求1所述的变电站工作人员爬高安全监测方法，其特征在于：所述步骤Step3中：首先使用目标检测算法提取出画面中的人体图像，然后将人体图像输入YOLO算法模型，如果检测出的物体包含安全带和安全帽，且置信度超过80％，则认为工作人员正确遵守了相关防护措施。
CN202110296900.5A 2021-03-19 2021-03-19 一种变电站工作人员爬高安全监测方法 Pending CN113076825A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110296900.5A CN113076825A (zh) 2021-03-19 2021-03-19 一种变电站工作人员爬高安全监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110296900.5A CN113076825A (zh) 2021-03-19 2021-03-19 一种变电站工作人员爬高安全监测方法

Publications (1)

Publication Number Publication Date
CN113076825A true CN113076825A (zh) 2021-07-06

Family

ID=76612815

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110296900.5A Pending CN113076825A (zh) 2021-03-19 2021-03-19 一种变电站工作人员爬高安全监测方法

Country Status (1)

Country Link
CN (1) CN113076825A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359761A (zh) * 2021-12-27 2022-04-15 广州市奔流电力科技有限公司 一种基于便携布控球的登高未系安全带识别系统
CN114882394A (zh) * 2022-04-07 2022-08-09 上海闪马智能科技有限公司 高空攀爬作业行为检测方法、装置、存储介质及电子装置
CN115910341A (zh) * 2022-12-02 2023-04-04 成都体育学院 一种运动健康监测方法、装置和介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359761A (zh) * 2021-12-27 2022-04-15 广州市奔流电力科技有限公司 一种基于便携布控球的登高未系安全带识别系统
CN114882394A (zh) * 2022-04-07 2022-08-09 上海闪马智能科技有限公司 高空攀爬作业行为检测方法、装置、存储介质及电子装置
CN115910341A (zh) * 2022-12-02 2023-04-04 成都体育学院 一种运动健康监测方法、装置和介质
CN115910341B (zh) * 2022-12-02 2024-02-13 成都体育学院 一种运动健康监测方法、装置和介质

Similar Documents

Publication Publication Date Title
CN107832672B (zh) 一种利用姿态信息设计多损失函数的行人重识别方法
CN108665487B (zh) 基于红外和可见光融合的变电站作业对象和目标定位方法
CN110425005B (zh) 矿井下皮带运输人员人机交互行为安全监控与预警方法
CN113076825A (zh) 一种变电站工作人员爬高安全监测方法
CN110070010A (zh) 一种基于行人重识别的人脸属性关联方法
CN112560741A (zh) 一种基于人体关键点的安全穿戴检测方法
Zhao et al. Detection and location of safety protective wear in power substation operation using wear-enhanced YOLOv3 algorithm
CN113111733B (zh) 一种基于姿态流的打架行为识别方法
CN112541403B (zh) 一种利用红外摄像头的室内人员跌倒检测方法
Song et al. Intrusion detection of foreign objects in high-voltage lines based on YOLOv4
Li et al. Application research of artificial intelligent technology in substation inspection tour
Lu et al. Thermal Fault Diagnosis of Electrical Equipment in Substations Based on Image Fusion.
CN113159984B (zh) 一种变电站工作人员工作路径追踪方法
CN115966025A (zh) 一种基于人体骨骼关键点的电力作业异常行为识别方法
CN116311082A (zh) 基于关键部位与图像匹配的穿戴检测方法及系统
CN116798117A (zh) 一种基于视频理解的矿井下异常动作识别方法
CN116310967A (zh) 一种基于改进YOLOv5的化工厂安全帽佩戴检测方法
CN113536950B (zh) 一种基于人工智能的人员触电检测方法和系统
CN114708544A (zh) 一种基于边缘计算的违规行为智能监测头盔及其监测方法
CN113780224A (zh) 一种变电站无人化巡视方法及系统
Yang et al. Abnormal Scene Image Recognition Method for Intelligent Operation and Maintenance of Electrical Equipment in Substations
Nan et al. Safety Helmet Detection Dynamic Model Based on the Critical Area Attention Mechanism
Zhao Research on the application of OpenPose in escalator safety systems
Sun et al. Research on wear recognition of electric worker’s helmet based on neural network
Lin et al. An integrated application platform for safety management and control of smart power plants based on video image technology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination