CN112183317B - 一种基于时空图卷积神经网络的带电作业现场违章行为检测方法 - Google Patents

一种基于时空图卷积神经网络的带电作业现场违章行为检测方法 Download PDF

Info

Publication number
CN112183317B
CN112183317B CN202011030511.XA CN202011030511A CN112183317B CN 112183317 B CN112183317 B CN 112183317B CN 202011030511 A CN202011030511 A CN 202011030511A CN 112183317 B CN112183317 B CN 112183317B
Authority
CN
China
Prior art keywords
live working
personnel
video
working
violation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011030511.XA
Other languages
English (en)
Other versions
CN112183317A (zh
Inventor
王波
罗鹏
马富齐
张迎晨
周胤宇
张天
王红霞
马恒瑞
李怡凡
张嘉鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202011030511.XA priority Critical patent/CN112183317B/zh
Publication of CN112183317A publication Critical patent/CN112183317A/zh
Application granted granted Critical
Publication of CN112183317B publication Critical patent/CN112183317B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities

Abstract

本发明涉及一种基于时空图卷积神经网络的带电作业现场违章行为检测方法，该方法包括如下步骤：(1)采集带电作业监控视频；(2)总结带电作业过程中常见的违章行为，并提取对应的视频片段，对违章行为片段中的作业人员进行标记；(3)采用时空图卷积神经网络进行训练学习；(4)使用训练好的模型对带电作业现场的监控视频自动进行违章行为检测，作业人员存在违章行为时报警。本发明通过人员姿态识别等深度视觉技术，提取带电作业人员的行为信息，当作业人员出现违章操作时，及时发出警告。该方法可以大大减少电力安全监管的工作量，保障电力作业的安全。

Description

一种基于时空图卷积神经网络的带电作业现场违章行为检测 方法
技术领域
本发明属于电力监管技术领域，具体涉及一种基于时空图卷积神经网络的带电作业现场违章行为检测方法，可用于带电作业过程中作业人员违章行为的自动化判别。
背景技术
变电站是电力系统中的重要组成部分，为了保障电力系统的可靠运行，带电作业是重要的技术手段。目前带电作业已经形成了较为成熟的工作模式，拥有完善的作业制度，但在实际作业中，作业人员可能执行不到位，极容易发生安全事故。因此，带电作业现场必须进行实时监管。
目前，电力安全监管主要通过安全监管人员现场监督实现，在作业过程中监管人员必须要全称监管作业人员是否有违章行为，十分浪费人力资源，且监管效果受人为主观因素影响大、监管不全面。随着计算机视觉技术的发展，采用人工智能的方案来实现安全监管可以大大降低工作量，及时制止违章行为，更加有效的保障带电作业现场人员的安全。
发明内容
为了解决上述问题，本发明提供一种基于时空图卷积神经网络的带电作业现场违章行为检测方法。本发明的技术方案具体如下：
一种基于时空图卷积神经网络的带电作业现场违章行为检测方法，包括如下步骤：
步骤1、采集带电作业监控视频；
步骤2、总结带电作业过程中常见的违章行为，并提取对应的视频片段，对违章行为片段中的作业人员进行标记。
步骤3、采用时空图卷积神经网络进行训练学习。
步骤4、使用训练好的模型对带电作业现场的监控视频自动进行违章行为检测，作业人员存在违章行为时报警。
进一步地，步骤1中，采集带电作业监控视频的具体步骤如下：
1.1、采集变电站带电作业过程中作业人员的监控视频，视频应能够包含带电作业过程中的主要操作和违章行为。
进一步地，步骤2中，总结违章行为和提取视频片段的具体步骤如下：
2.1、根据现场的安全围栏划分安全区域信息，获取作业人员超出安全距离的视频。
2.2、建立作业人员安全防护信息，如佩戴安全帽、着安全服、挂安全绳等。
2.3、总结带电作业关键动作，如攀爬梯子、分合刀闸、行走等，并将关键动作所对应的视频片段进行提取。
2.4、总结带电作业现场常见的违章动作，如翻越围栏、摘下安全帽等，并提取违章动作所对应的视频片段。
2.5、参考MSCOCO数据集标记方案，采用18个关键点来表示人员的身体、关节位置，形成人体姿态轮廓。
进一步地，步骤3中，通过训练学习来挖掘作业行为的具体步骤如下：
3.1、基于开源人体视频数据库来训练openpose模型，使模型能够准确识别带电作业人员的姿态信息。
3.2、使用在开源数据库上训练好的openpose模型来识别步骤(2)中提取的正常作业动作视频片段和常见违章行为视频片段，其结果即为使用18个关键点表征人体姿态的数据。
3.3、采用ST-GCN模型来学习人体姿态关键点数据，得到可以识别视频中作业人员动作的模型。
进一步地，步骤4中，训练好的模型对带电作业现场的监控视频自动进行违章行为检测的具体步骤如下：
4.1、在服务器上部署训练好的openpose模型和ST-GCN模型。
4.2、通过变电站监控视频或其他摄像头获取作业现场视频数据。
4.3、将数据传输到服务器平台，调用openpose模型和ST-GCN模型对视频进行实时的自动化监测，判断作业人员是否存在违章行为。
4.4、调用openpose模型和ST-GCN模型对视频进行实时的自动化监测，对作业人员的操作过程进行匹配，确认操作人员是否按照规程正确完成作业任务。
4.5、检测结果反馈给数据管理中心，若发现异常行为或违章操作，及时出发报警装置进行提醒。
本发明通过人员姿态识别等深度视觉技术，提取带电作业人员的行为信息，当作业人员出现违章操作时，及时发出警告。该方法可以大大减少电力安全监管的工作量，保障电力作业的安全。
附图说明
图1是本发明的结构框架图；
图2是本发明中涉及的作业动作检测示意图；
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
本发明提供一种基于时空图卷积神经网络的带电作业现场违章行为检测方法，其整体框架如图1所示，包括以下步骤：
步骤1：在110kV带电作业现场布置监控摄像头，拍摄现场实时作业信息，将信息传输到数据管理中心进行存储。
步骤2：根据带电作业现场的实际情况，总结带电作业的正常行为，如行走、分合闸、爬梯子等，以及常见的违章行为，如翻越围栏、摘下安全帽等，并提取对应片段。
步骤2.1：采集得到带电作业现场监控视频后，对视频场景进行总结，选取其中包含了完整工作过程的数据。
步骤2.2：总结带电作业的具体过程，进入带电作业现场首先做好安全防护，是否需要挂安全绳等，随后依次截取行走、更换器件、分合闸、爬梯子等各个关键动作对应的片段。
步骤2.3：总结带电作业过程中常见的违章行为，如取下安全帽、超出安全范围、违章翻越围栏等，在作业视频中选取对应的片段，截取作为违章行为视频数据集。
步骤2.4：带电作业关键动作和违章行为所对应的视频片段共同组成训练数据集。
步骤3：将提取好的视频片段利用openopse来实现骨骼标定，骨骼标定数据作为输入，采用ST-GCN网络进行挖掘，进而可以识别作业人员的实时动作信息，以此判定作业人员是否存在违章行为。
步骤3.1：本实施例中，首先搭建了openpose模型来识别人员骨架信息。首先是输入一张原始图片，经过VGG网络进行简单的特征提取，得到一个特征图，然后在经过两个分支分别预测。第一个分支为关键点的分支，此外在这个分支的基础之上增加了骨骼点走向的分支，通过将关键点相连，可以得到现场作业人员骨架信息。
步骤3.2：在本实施例中，openpose模型采用MSCOCO数据集进行训练，该数据集采用18个特征点来表示人员姿态，通过训练后，该模型可以从图片或视频中提取人员骨架关键点。
步骤3.3：在本实施例中，采用在MSCOCO数据集上训练好的openpose模型来提取带电作业人员的姿态关键点。通过识别，每帧图片都会对应得到其中作业人员的姿态关键点信息，一般为18个关键点，遮挡情况下部分关键点无法识别，设置为空。
步骤3.4：在本实施例中，openpose识别的作业人员姿态关键点信息作为姿态标记数据，视频提取时的动作作为标签，使用ST-GCN网络挖掘视频数据中的空间关系和时间关系，建立带电作业动作识别模型。
步骤4、使用训练好的模型对带电作业现场的监控视频自动进行作业行为分析和违章行为检测，判断作业人员的作业过程是否规范，作业人员存在违章行为时报警。
步骤4.1：在带电作业现场布置好摄像头，保证可以拍摄到作业全部场景，作业人员无严重遮挡。
步骤4.2：调用openpose模型对作业人员安全防护进行识别，检测安全帽、绝缘服、绝缘手套等防护措施是否到位，确认无误后允许作业人员进入作业现场，作业开始。
步骤4.3：调用openpose模型对作业人员进行实时的跟踪，获取作业人员行为姿态信息，采用18个骨骼关键点来描述作业人员的姿态，如图2所示。
步骤4.4：使用前3秒内的每个视频帧检测得到的人员姿态信息，建立作业人员关键点时空图，采用ST-GCN网络对作业人员骨骼关键点数据进行预测，判断作业人员当前执行的动作。
步骤4.5：将ST-GCN网络识别得到的作业动作与作业任务中的动作进行匹配，校核作业人员的操作顺序以及操作动作是否符合安全生产规程。同时，若时空图卷积神经网络检测到作业人员存在违章行为，则立即触发报警。
本实施例解释了一种基于时空图卷积神经网络的带电作业现场违章行为检测方法的应用过程，该发明可以用于变电站带电作业现场的违章行为监督，能够自动判别作业过程中存在的作业不规范、违章操作等，有效保障带电作业人员的安全和电网的可靠运行。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (1)

1.一种基于时空图卷积神经网络的带电作业现场违章行为检测方法，其特征在于：该方法包含以下步骤：
步骤1：在110kV带电作业现场布置监控摄像头，拍摄现场实时作业信息，将信息传输到数据管理中心进行存储；
步骤2：根据带电作业现场的实际情况，总结带电作业的正常行为，以及常见的违章行为；
步骤2.1：采集得到带电作业现场监控视频后，对视频场景进行总结，选取其中包含了完整工作过程的数据；
步骤2.2：总结带电作业的具体过程，进入带电作业现场首先做好安全防护，是否需要挂安全绳，随后依次截取行走、更换器件、分合闸、爬梯子，各个关键动作对应的片段；
步骤2.3：总结带电作业过程中常见的违章行为，包含有取下安全帽、超出安全范围、违章翻越围栏，在作业视频中选取对应的片段，截取作为违章行为视频数据集；
步骤2.4：带电作业关键动作和违章行为所对应的视频片段共同组成训练数据集；
步骤3：将提取好的视频片段利用openpose 来实现骨骼标定，骨骼标定数据作为输入，采用ST-GCN网络进行挖掘，进而识别作业人员的实时动作信息，以此判定作业人员是否存在违章行为；
步骤3.1：首先搭建openpose模型来识别人员骨架信息，首先是输入一张原始图片，经过VGG网络进行简单的特征提取，得到一个特征图，然后在经过两个分支分别预测，第一个分支为关键点的分支，此外在这个分支的基础之上增加骨骼点走向的分支，通过将关键点相连，得到现场作业人员骨架信息；
步骤3.2： openpose模型采用MSCOCO数据集进行训练，该数据集采用18个特征点来表示人员姿态，通过训练后，该模型从图片或视频中提取人员骨架关键点；
步骤3.3：采用在MSCOCO数据集上训练好的openpose模型来提取带电作业人员的姿态关键点，通过识别，每帧图片都对应得到其中作业人员的姿态关键点信息，一般为18个关键点，遮挡情况下部分关键点无法识别，设置为空；
步骤3.4： openpose识别的作业人员姿态关键点信息作为姿态标记数据，视频提取时的动作作为标签，使用ST-GCN网络挖掘视频数据中的空间关系和时间关系，建立带电作业动作识别模型；
步骤4、使用训练好的模型对带电作业现场的监控视频自动进行作业行为分析和违章行为检测，判断作业人员的作业过程是否规范，作业人员存在违章行为时报警；
步骤4.1：在带电作业现场布置好摄像头，保证可以拍摄到作业全部场景，作业人员无严重遮挡；
步骤4.2：调用openpose模型对作业人员安全防护进行识别，检测安全帽、绝缘服、绝缘手套等防护措施是否到位，确认无误后允许作业人员进入作业现场，作业开始；
步骤4.3：调用openpose模型对作业人员进行实时的跟踪，获取作业人员行为姿态信息，采用18个骨骼关键点来描述作业人员的姿态；
步骤4.4：使用前3秒内的每个视频帧检测得到的人员姿态信息，建立作业人员关键点时空图，采用ST-GCN网络对作业人员骨骼关键点数据进行预测，判断作业人员当前执行的动作；
步骤4.5：将ST-GCN网络识别得到的作业动作与作业任务中的动作进行匹配，校核作业人员的操作顺序以及操作动作是否符合安全生产规程，同时，若时空图卷积神经网络检测到作业人员存在违章行为，则立即触发报警。
CN202011030511.XA 2020-09-27 2020-09-27 一种基于时空图卷积神经网络的带电作业现场违章行为检测方法 Active CN112183317B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011030511.XA CN112183317B (zh) 2020-09-27 2020-09-27 一种基于时空图卷积神经网络的带电作业现场违章行为检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011030511.XA CN112183317B (zh) 2020-09-27 2020-09-27 一种基于时空图卷积神经网络的带电作业现场违章行为检测方法

Publications (2)

Publication Number Publication Date
CN112183317A CN112183317A (zh) 2021-01-05
CN112183317B true CN112183317B (zh) 2022-04-19

Family

ID=73943639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011030511.XA Active CN112183317B (zh) 2020-09-27 2020-09-27 一种基于时空图卷积神经网络的带电作业现场违章行为检测方法

Country Status (1)

Country Link
CN (1) CN112183317B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818768B (zh) * 2021-01-19 2022-08-26 南京邮电大学 一种基于元学习的变电站改扩建违章行为智能化识别方法
CN112766192A (zh) * 2021-01-25 2021-05-07 北京市地铁运营有限公司地铁运营技术研发中心 一种智能列车监控系统
CN113392770A (zh) * 2021-06-16 2021-09-14 国网浙江省电力有限公司电力科学研究院 变电站作业人员典型违章行为检测方法及系统
CN113537051A (zh) * 2021-07-14 2021-10-22 安徽炬视科技有限公司 一种复杂大场景下的海上人员安全作业监控算法
WO2023000253A1 (zh) * 2021-07-22 2023-01-26 京东方科技集团股份有限公司 攀爬行为预警方法和装置、电子设备、存储介质
CN113657348A (zh) * 2021-08-31 2021-11-16 江苏中科云墨数字科技有限公司 一种变电站作业违章行为智能分析方法及系统
CN114821459A (zh) * 2022-03-17 2022-07-29 郑州格蒂电力智能科技有限公司 一种基于ai技术的变电站施工安全检测系统及算法
CN116311556B (zh) * 2023-04-06 2023-08-11 北京数通魔方科技有限公司 一种基于人工智能的管控方法与管控系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110119656A (zh) * 2018-02-07 2019-08-13 中国石油化工股份有限公司 作业现场违章人员的智能监控系统及现场违章监控方法
JP6906273B2 (ja) * 2018-06-19 2021-07-21 Kddi株式会社 映像データから人の骨格位置の変位の軌跡を描写するプログラム、装置及び方法
CN109145789A (zh) * 2018-08-09 2019-01-04 炜呈智能电力科技（杭州）有限公司 供电系统安全作业保障方法及系统
CN110119703B (zh) * 2019-05-07 2022-10-04 福州大学 一种安防场景下融合注意力机制和时空图卷积神经网络的人体动作识别方法
CN111259839A (zh) * 2020-01-20 2020-06-09 芯梯众和科技服务有限公司 目标对象行为监测方法、装置、设备、系统及存储介质

Also Published As

Publication number Publication date
CN112183317A (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
CN112183317B (zh) 一种基于时空图卷积神经网络的带电作业现场违章行为检测方法
CN110795989A (zh) 一种电力作业智能安全监督系统及其监督方法
CN211741994U (zh) 一种电网现场作业安全风险的识别监控装置
CN111669548B (zh) 针对配电网爬杆作业实现安全监管处理的方法
CN110599735A (zh) 一种基于变电站作业违章行为智能识别的告警方法
CN110874866B (zh) 一种基于视频的变电站三维监控方法及系统
CN111199200A (zh) 基于电力防护装备的佩戴检测方法、装置和计算机设备
CN111428617A (zh) 一种基于视频图像的配网违规检修行为的识别方法和系统
CN107133592B (zh) 电力变电站采用红外热成像及可见光成像技术融合的人体目标特征检测算法
CN112112629A (zh) 一种钻井作业过程中的安全业务管理系统和方法
CN111277748A (zh) 一种基于视频智能分析的工地动火管理系统及其实施方法
CN111092492A (zh) 一种高压电缆线路运行监测系统
CN111920129A (zh) 一种智能安全帽系统
CN113469654B (zh) 一种基于智能算法融合的变电站多层次安全管控系统
CN112541439A (zh) 一种电厂智能视频监控方法与系统
CN111259855A (zh) 基于深度学习的移动式安全帽佩戴检测方法
CN115567690A (zh) 一种自动识别现场作业危险点的智慧监控系统
CN113949159A (zh) 智能配电室安全管控系统
CN115880722A (zh) 一种配电作业人员穿戴的智能识别方法、系统和介质
CN111860187A (zh) 一种高精度的佩戴口罩识别方法及系统
CN114067244A (zh) 一种安全作业违规行为视频分析方法及系统
CN111353465A (zh) 基于深度学习技术的变电站人员行为分析方法及系统
CN210222962U (zh) 一种智能电子围栏系统
CN115860979A (zh) 一种用于电力电网现场作业的人工智能管理系统
CN115690687A (zh) 一种基于深度学习技术的安全穿戴规范检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Wang Bo

Inventor after: Zhang Jiaxin

Inventor after: Luo Peng

Inventor after: Ma Fuqi

Inventor after: Zhang Yingchen

Inventor after: Zhou Yinyu

Inventor after: Zhang Tian

Inventor after: Wang Hongxia

Inventor after: Ma Hengrui

Inventor after: Li Yifan

Inventor before: Wang Bo

Inventor before: Zhang Jiaxin

Inventor before: Zhang Yingchen

Inventor before: Ma Fuqi

Inventor before: Luo Peng

Inventor before: Zhou Yinyu

Inventor before: Zhang Tian

Inventor before: Wang Hongxia

Inventor before: Ma Hengrui

Inventor before: Li Yifan

GR01 Patent grant
GR01 Patent grant