CN110674772A - 电力作业现场智能安全管控辅助系统及方法 - Google Patents

电力作业现场智能安全管控辅助系统及方法 Download PDF

Info

Publication number
CN110674772A
CN110674772A CN201910934780.XA CN201910934780A CN110674772A CN 110674772 A CN110674772 A CN 110674772A CN 201910934780 A CN201910934780 A CN 201910934780A CN 110674772 A CN110674772 A CN 110674772A
Authority
CN
China
Prior art keywords
intelligent
mobile terminal
identification
intelligent mobile
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910934780.XA
Other languages
English (en)
Other versions
CN110674772B (zh
Inventor
刘云厚
王云飞
张艳杰
姜亚伟
郑鑫
李宏伟
潘志远
郭方正
张正茂
刘静
李爱晶
荆辉
刘书阁
费延昭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid of China Technology College
Shandong Electric Power College
Original Assignee
State Grid Corp of China SGCC
State Grid of China Technology College
Shandong Electric Power College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid of China Technology College, Shandong Electric Power College filed Critical State Grid Corp of China SGCC
Priority to CN201910934780.XA priority Critical patent/CN110674772B/zh
Publication of CN110674772A publication Critical patent/CN110674772A/zh
Application granted granted Critical
Publication of CN110674772B publication Critical patent/CN110674772B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3226—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using a predetermined code, e.g. password, passphrase or PIN
    • H04L9/3231—Biological data, e.g. fingerprint, voice or retina
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Economics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Public Health (AREA)
  • Strategic Management (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Water Supply & Treatment (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Alarm Systems (AREA)

Abstract

本公开提供了一种电力作业现场智能安全管控辅助系统及方法，系统包括AI智能视觉终端、手持智能移动终端和物联网云平台，所述前端AI智能视觉终端为可穿戴设备，被配置为实现目标检测与识别、违章行为识别、智能分析和自动告警并将视频数据、识别结果与告警信息上传到手持智能移动终端；所述手持智能移动终端，被配置为进行身份验证、实时监控、操作票管理和识别结果回查，将智能移动终端中的数据接入到电网现场作业人身安全物联网云平台中，可以识别违章行为并报警，记录下识别结果作为评分依据，管理操作票等，有力辅助现场安全监督员，解决了便携式、智能化安监辅助产品空白的问题。

Description

电力作业现场智能安全管控辅助系统及方法
技术领域
本公开属于电力作业现场控制技术领域，涉及一种电力作业现场智能安全管控辅助系统及方法。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
电力生产是世界上公认的高危生产作业领域，据统计，90％的电力安全生产事故都来自于现场作业人员的习惯性违章，预防电力生产事故必须要加强电力作业现场的安全管控。然而，由于电力作业现场的分散性、动态性、复杂性，以及电力生产作业专业性强、环境复杂、工序多等特点，安全监管的难度很大，电力企业需要投入大量资金用于生产及安全监管。
据发明人了解，目前电力生产作业现场安全管控业务上的缺点包括：
1、作业现场的安全管控措施主要集中在管理层面，以人管和制度管为主，缺乏先进的技术措施进行实时管控；
2、电力作业专业性强、工序多，需要注意很多重要的细节，人类安监员的判断准确率、持久稳定性、客观公正性面临难以突破的瓶颈；
3、传统的视频监控和各种数据传感器仅提供数据，并没有实时处理能力，目前尚无一款便携式、低功耗、实时处理的智能化安监辅助产品。
发明内容
本公开为了解决上述问题，提出了一种电力作业现场智能安全管控辅助系统及方法，本公开可以识别违章行为并报警，记录下识别结果作为评分依据，管理操作票等，有力辅助现场安全监督员，解决了便携式、智能化安监辅助产品空白的问题。
根据一些实施例，本公开采用如下技术方案：
一种电力作业现场智能安全管控辅助系统，包括AI智能视觉终端、手持智能移动终端和物联网云平台，其中：
所述前端AI智能视觉终端为可穿戴设备，被配置为实现目标检测与识别、违章行为识别、智能分析和自动告警并将视频数据、识别结果与告警信息上传到手持智能移动终端；
所述手持智能移动终端，被配置为进行身份验证、实时监控、操作票管理和识别结果回查，将智能移动终端中的数据接入到电网现场作业人身安全物联网云平台中。
作为进一步的限定，所述前端AI智能视觉终端包括现场告警设备、AI数据处理单元和AI视频记录仪，其中，所述AI视频记录仪用于采集操作影像，所述AI数据处理单元被配置为对操作影像进行智能分析和目标识别；所述现场告警设备被配置为根据识别结果进行报警。
作为进一步的限定，所述手持智能移动终端包括身份验证模块、实时监控模块、操作票管理模块和识别结果回查模块，所述身份验证模块被配置为对作业人员进行身份验证，监督是否存在违规替代作业人员；所述操作票管理模块被配置为生成并发送电子票，利用电子票进行现场作业过程的实时管控，所述实时监控模块被配置为根据获得的AI数据和AI视频，对作业人员的操作步骤和行为进行实时监控；所述识别结果回查模块被配置为对识别的操作步骤和行为进行回查。
作为进一步的限定，所述手持智能移动终端通过4G、eMTC或Wi-Fi物联网通信方式将视频数据、识别结果与告警信息上传到手持智能移动终端。
基于上述系统的工作方法，包括以下步骤：
执业人员利用手持智能移动终端接收电子操作票，并在操作前在手持智能移动终端上进行身份验证，操作过程利用可穿戴设备进行操作过程视频的采集；
手持智能移动终端对采集的视频进行分析，实现目标检测与识别、违章行为识别，并根据识别结果进行报警，实现作业全过程的自动监控。
作为进一步的限定，采用决策树算法构建安全深度神经网络模型，在决策树节点中加入人工先验知识和图像识别结果，实现违规操作行为的智能判定。
作为进一步的限定，构建深度神经网络模型后，对模型进行轻量化处理，具体过程包括网络拟合，确定网络是否需要分解，如果需要进行张量分解，如果不需要则依次进行结构化剪枝、定点量化，得到压缩后网络。
作为进一步的限定，采用基于卷积神经网络的分类算法提取视频图像特征；通过长短期记忆网络构造编码/解码结构，使用编码结构编码视频的图像序列特征，使用解码结构解码出文本信息，生成文字描述，文字描述不匹配时则进行报警。
作为进一步的限定，基于BERT模型，通过迁移学习的方法训练出适用于应用场景的文本比对模型，根据该模型比较视频描述结果与操作票内容是否匹配，最后根据匹配结果和加权算法得出评价分数。
作为进一步的限定，对视频的图像进行分类，分类模型采用VGG和ResNet网络，对图像进行识别时选用Faster-RCNN和Yolo网络。
与现有技术相比，本公开的有益效果为：
本公开能够识别违章行为并报警，记录下识别结果作为评分依据，管理操作票等，有力辅助现场安全监督员，解决了便携式、智能化安监辅助产品空白的问题。
本公开通过电子操作票，能够解决人工票的工序多、容易丢失的问题，可以代替传统的纸质操作票或工作票，实现现场作业过程的实时管控，通过AI识别技术规范人员的操作步骤和行为，有效杜绝了跳项和漏项等违章操作。
本公开通过手持智能终端的人脸识别功能，对操作人和监护人进行身份验证，可监督是否存在违规替代作业人员，通过佩戴在现场安监员身上的AI智能视觉终端的实时推断，可实现对现场作业人员、设备标识、安全工器具、开关状态等进行自动检测与识别；
本公开在安全器具的识别基础上，AI智能视觉终端对作业人员的行为进行实时跟踪检测，一旦发现未佩戴安全帽、走错设备间隔、未佩戴绝缘手套验电或擅自解锁设备等违章行为，立即发出报警，防止发生人身伤亡事故。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1是系统架构图；
图2是深度神经网络识别算法流程图；
图3是深度神经网络轻量化流程图；
图4是操作规范识别总体框架示意图；
图5是视频描述过程示意图；
图6是文本比对过程示意图；
图7(a)-(c)为现场作业识别结果示意图；
图8是Yolo-Lite网络示意图；
图9是CBAM结构示意图。
具体实施方式：
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
电力作业现场人工智能安全管控辅助系统整体架构如图1所示。系统的整体架构分为三个层次：AI智能视觉终端、手持智能移动终端和物联网云平台。前端AI智能视觉终端采用低功耗和可穿戴设计，集成现场告警设备、AI数据处理单元、AI视频记录仪等设备与模块，实现目标检测与识别、违章行为识别、智能分析与评价、自动告警等功能，并通过4G、eMTC、Wi-Fi等物联网通信方式将视频数据、识别结果与告警信息上传到手持智能移动终端。手持智能移动终端中开发应用APP，设计有身份验证、实时监控、智能评分和评价、操作票管理和识别结果回查等功能模块。同时，可以将智能移动终端中的数据接入到电网现场作业人身安全物联网云平台中，支撑人资、安监和运检等部室的业务管理与高级应用。
产品功能有：
1、现场人员的身份识别：通过手持智能终端的人脸识别功能，对操作人和监护人进行身份验证，可监督是否存在违规替代作业人员。
2、目标检测与识别：通过佩戴在现场安监员身上的AI智能视觉终端的实时推断，可实现对现场作业人员、设备标识、安全工器具、开关状态等进行自动检测与识别。
3、人员违章行为的识别：在安全器具的识别基础上，AI智能视觉终端对作业人员的行为进行实时跟踪检测，一旦发现未佩戴安全帽、走错设备间隔、未佩戴绝缘手套验电或擅自解锁设备等违章行为，立即发出报警，防止发生人身伤亡事故。
4、现场作业过程的实时管控：手持智能移动终端上开发的APP可以代替传统的纸质操作票或工作票，实现现场作业过程的实时管控，通过AI识别技术规范人员的操作步骤和行为，有效杜绝了跳项和漏项等违章操作。
5、自动评分与评价：采用视频描述和语义理解等AI技术，实现对整个作业过程的自动评分和评价，并将前端记录的视频数据、监控结果、评价结果上传到物联网云平台，支撑人资、安监、运检等部门的业务管理和高级应用。
AI智能视觉终端的性能测试指标如表1所示：
表1AI智能视觉终端性能测试指标
额定功耗 10W
推断速度 4-10FPS
均值平均精度(mAP) 0.87
体积 9cm*8cm*7cm
通信速率 300Mbps
通信时延 <50ms
1、样本数据预处理及样本标记技术
在国网技术学院实训220kV智能变电站实地采集高清视频数据样本，设立分类和标注规则，使用自动化标注技术完成样本标注，相比于传统的人工标注方式，大大地节省了人力。样本库分为现场作业人员、主要设备、标识牌、仪表、开关状态、安全帽、绝缘手套等九大类型，共计近万张有效样本。
2、基于深度神经网络的算法模型构建技术
综合考虑图像检测结果和电力业务知识，采用决策树算法构建安全监督模型，在决策树节点中加入人工先验知识和图像识别结果，实现违规操作行为的智能判定。而深度网络的构建则分三步进行：1)选择模型架构，2)设置超参，3)训练模型，这三步互相形成闭环反馈机制。如图2所示，分类算法选用VGG和ResNet，识别算法选用Faster-RCNN和Yolo。
如图8所示，在各种先进的物体检测网络中，Yolo因其高帧率(Fps)而闻名，与Faster-rcnn网络相比，这种具有高实时性能的one-stage算法可以更好地应用于实际应用场景中。但是，基于Darknet-53的Yolov3网络在前端嵌入式硬件设备中仍然存在以下缺点。
1)模型太大，降低了检测速度，占用了更高的内存。
2)微小物体的识别精度很小。
这里提出了一种基于注意力的Yolo-Lite物体检测网络，用于实时电力运行安全监测。Yolo-Lite网络将骨干的卷积层从52层减少到13层，yolo层从3层减少到2层。此外，为了防止识别精度从模型的轻量化中下降过多，注意力模块被集成到卷积神经网络(CNN)架构中，这导致更好的识别精度，特别是对于微小对象而言，与原始网络相比具有可忽略的计算开销。CNN架构中的每个卷积层后面都插入了一个关注层，它将关注我们需要的更多信息区域并对其进行细化。
Yolo-Lite是YOLO Network的简化版。
主要区别在于骨干网使用7卷积层特征提取网络。路由层通过对低分辨率功能进行上采样。将13*13分辨率功能与26*26分辨率功能连接在一起。Yolo层(分类层)预测对上述合并特征的检测。
完整的网络结构设计如图1所示。Yolo-Lite网络简单轻巧，大大减少了计算资源，使其可以在前端设备上运行。
深度学习中的注意机制类似于人类的选择性视觉注意机制，其主要目的是选择对当前任务更为关键的信息。设计了一个改进型的卷积块注意模块(CBAM)，它是一个简单但有效的模块，用于功能改进。
CBAM的结构图设计如图9所示，该模块分别具有两个不同维度的通道和空间子模块。
整个过程可以描述为下面的公式(1)-(4)
Figure BDA0002221319950000091
Figure BDA0002221319950000092
Figure BDA0002221319950000094
其中：F0是输入的特征图，
Figure BDA0002221319950000095
Mc是通道子模块，
Figure BDA0002221319950000096
Figure BDA0002221319950000097
定义为数组元素依次相乘(element-wise multiplication)；
式2中：AvgPool是平均池化，MaxPool是最大池化，MLP是多层感知机，σ是激活函数，
Figure BDA0002221319950000098
是通道平均池化特征，
Figure BDA0002221319950000099
是通道最大池化特征；
式3中：F1是经过通道子模块的中间产物，同时作为空间子模块的输入，Ms是空间子模块
Figure BDA00022213199500000910
F2是通过空间子模块后的最终特征图；
式4中：
Figure BDA00022213199500000911
是空间平均池化特征，
Figure BDA00022213199500000912
是空间最大池化特征，f7*7是卷积核为7*7的卷积操作。
3、深度神经网络模型的轻量化技术
基于系统实时检测和告警的需求，深度神经网络模型的推断过程必须放在前端设备。服务器端训练好的深度神经网络模型虽然精度较高，但占用内存、消耗算力过大，无法直接用于嵌入式智能终端。针对该问题，提出一种基于深度神经网络加速与压缩技术的解决方案，在全精度保持的条件下，实现深度神经网络在嵌入式设备上的高效实时运行。该方案具体流程如图3所示。
4、操作规范识别技术
根据操作票步骤的内容，采用视频描述(Video Captioning)和自然语言处理(NLP)中的文本比对技术，对变电站等现场作业人员的操作进行规范识别，对不符合要求的操作给出告警提示，总体框架如图4所示。
如图5所示，现场作业人员操作行为的视频描述分为两部分内容：
1)采用基于卷积神经网络(CNN网络，如ResNet、VGG)的分类算法提取视频图像特征；
2)通过长短期记忆网络(LSTM网络)构造编码/解码结构，使用编码结构编码视频的图像序列特征，使用解码结构解码出文本信息，生成文字描述。
文本比对的具体过程：使用自然语言处理技术，将视频描述结果与操作票内容进行比对。如图6所示，依托于Google公司发布的BERT模型在自然语言理解方面的突出优势，在其中文预训练模型的基础上，通过迁移学习的方法训练出适用于本应用场景的文本比对模型，根据该模型比较视频描述结果与操作票内容是否匹配，最后根据匹配结果和加权算法得出评价分数。
系统在智能变电站进行了现场实测。图7(a)展示了对正确佩戴安全帽、确认正确设备间隔的识别结果；图7(b)展示了对使用非法钥匙擅自解锁设备的违章行为的识别结果；图7(c)展示了正确佩戴安全帽、绝缘手套进行验电操作的识别结果。
本项目基于先进的人工智能和物联网通信技术，开创性的提出了一种具有前端实时分析、告警及评价功能的电力作业现场人工智能安全管控辅助系统。
产品采用低功耗和可穿戴设计思路，可穿戴在安监员身上，对操作人员进行全程监护并评价，AI配合人类监护员，形成了一种新的安监业务模式。
违章行为检测和评分、评价结果接入物联网云平台，供人资、安监、运检等部室进行业务管理和高级应用。
现场安全监督员配备上本产品，人类和AI互补，形成了一种新的电力生产作业现场安全监督管理模式；解决了现有管理模式松散，评价手段单一的问题。
本产品可以识别违章行为并报警，记录下识别结果作为评分依据，管理操作票等，有力辅助现场安全监督员，解决人类安监员判断准确率、持久稳定性、客观公正性面临瓶颈的问题。
本产品属于电力领域内内首款高精度、低功耗、可穿戴的智能安监辅助产品，解决了便携式、智能化安监辅助产品空白的问题。
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (10)

1.一种电力作业现场智能安全管控辅助系统，其特征是：包括AI智能视觉终端、手持智能移动终端和物联网云平台，其中：
所述前端AI智能视觉终端为可穿戴设备，被配置为实现目标检测与识别、违章行为识别、智能分析和自动告警并将视频数据、识别结果与告警信息上传到手持智能移动终端；
所述手持智能移动终端，被配置为进行身份验证、实时监控、操作票管理和识别结果回查，将智能移动终端中的数据接入到电网现场作业人身安全物联网云平台中。
2.如权利要求1所述的一种电力作业现场智能安全管控辅助系统，其特征是：所述前端AI智能视觉终端包括现场告警设备、AI数据处理单元和AI视频记录仪，其中，所述AI视频记录仪用于采集操作影像，所述AI数据处理单元被配置为对操作影像进行智能分析和目标识别；所述现场告警设备被配置为根据识别结果进行报警。
3.如权利要求1所述的一种电力作业现场智能安全管控辅助系统，其特征是：所述手持智能移动终端包括身份验证模块、实时监控模块、操作票管理模块和识别结果回查模块，所述身份验证模块被配置为对作业人员进行身份验证，监督是否存在违规替代作业人员；所述操作票管理模块被配置为生成并发送电子票，利用电子票进行现场作业过程的实时管控，所述实时监控模块被配置为根据获得的AI数据和AI视频，对作业人员的操作步骤和行为进行实时监控；所述识别结果回查模块被配置为对识别的操作步骤和行为进行回查。
4.如权利要求1所述的一种电力作业现场智能安全管控辅助系统，其特征是：所述手持智能移动终端通过4G、eMTC或Wi-Fi物联网通信方式将视频数据、识别结果与告警信息上传到手持智能移动终端。
5.基于权利要求1-4中任一项所述的系统的工作方法，其特征是：包括以下步骤：
执业人员利用手持智能移动终端接收电子操作票，并在操作前在手持智能移动终端上进行身份验证，操作过程利用可穿戴设备进行操作过程视频的采集；
手持智能移动终端对采集的视频进行分析，实现目标检测与识别、违章行为识别，并根据识别结果进行报警，实现作业全过程的自动监控。
6.如权利要求5所述的工作方法，其特征是：采用决策树算法构建安全深度神经网络模型，在决策树节点中加入人工先验知识和图像识别结果，实现违规操作行为的智能判定。
7.如权利要求5所述的工作方法，其特征是：构建深度神经网络模型后，对模型进行轻量化处理，具体过程包括网络拟合，确定网络是否需要分解，如果需要进行张量分解，如果不需要则依次进行结构化剪枝、定点量化，得到压缩后网络。
8.如权利要求5所述的工作方法，其特征是：采用基于卷积神经网络的分类算法提取视频图像特征；
通过长短期记忆网络构造编码/解码结构，使用编码结构编码视频的图像序列特征，使用解码结构解码出文本信息，生成文字描述，文字描述不匹配时则进行报警。
9.如权利要求5所述的工作方法，其特征是：基于BERT模型，通过迁移学习的方法训练出适用于应用场景的文本比对模型，根据该模型比较视频描述结果与操作票内容是否匹配，最后根据匹配结果和加权算法得出评价分数。
10.如权利要求5所述的工作方法，其特征是：对视频的图像进行分类，分类模型采用VGG和ResNet网络，对图像进行识别时选用Faster-RCNN和Yolo网络。
CN201910934780.XA 2019-09-29 2019-09-29 电力作业现场智能安全管控辅助系统及方法 Active CN110674772B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910934780.XA CN110674772B (zh) 2019-09-29 2019-09-29 电力作业现场智能安全管控辅助系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910934780.XA CN110674772B (zh) 2019-09-29 2019-09-29 电力作业现场智能安全管控辅助系统及方法

Publications (2)

Publication Number Publication Date
CN110674772A true CN110674772A (zh) 2020-01-10
CN110674772B CN110674772B (zh) 2022-08-05

Family

ID=69080180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910934780.XA Active CN110674772B (zh) 2019-09-29 2019-09-29 电力作业现场智能安全管控辅助系统及方法

Country Status (1)

Country Link
CN (1) CN110674772B (zh)

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111289849A (zh) * 2020-02-02 2020-06-16 辽宁明兑电力有限公司 一种移动式电力设备安全物联检测认定系统
CN111339766A (zh) * 2020-02-19 2020-06-26 云南电网有限责任公司昆明供电局 一种操作票合规性检查方法及装置
CN111507317A (zh) * 2020-06-30 2020-08-07 之江实验室 一种基于视觉的旋转设备作业手套佩戴检测方法及系统
CN111556292A (zh) * 2020-04-25 2020-08-18 国网黑龙江省电力有限公司哈尔滨供电公司 一种作业人员的安全监护装置
CN111639594A (zh) * 2020-05-29 2020-09-08 苏州遐迩信息技术有限公司 图像描述模型的训练方法及装置
CN111652046A (zh) * 2020-04-17 2020-09-11 济南浪潮高新科技投资发展有限公司 基于深度学习的安全穿戴检测方法、设备及系统
CN112147936A (zh) * 2020-09-27 2020-12-29 武汉大学 一种电力作业安全管控装置和行为识别方法
CN112183265A (zh) * 2020-09-17 2021-01-05 国家电网有限公司 基于图像识别的电力施工视频监控告警方法及系统
CN112187305A (zh) * 2020-09-14 2021-01-05 国网山东省电力公司武城县供电公司 一种电力作业现场智能安全管控辅助系统
CN112233268A (zh) * 2020-09-16 2021-01-15 北京国电通网络技术有限公司 一种电力生产现场作业方法、移动终端、巡检设备及系统
CN112380393A (zh) * 2020-10-23 2021-02-19 岭东核电有限公司 持票试验方法、装置、计算机设备和存储介质
CN112434575A (zh) * 2020-11-12 2021-03-02 广东电网有限责任公司 一种基于姿态识别的电力物联网设备远程控制方法及系统
CN112507945A (zh) * 2020-12-18 2021-03-16 南方电网电力科技股份有限公司 作业人员行为管控方法、装置、电子设备及存储介质
CN112598317A (zh) * 2020-12-30 2021-04-02 国网四川省电力公司电力科学研究院 一种安全工器具实时状态评价方法
CN112613454A (zh) * 2020-12-29 2021-04-06 国网山东省电力公司建设公司 一种电力基建施工现场违章识别方法及系统
CN113033393A (zh) * 2021-03-24 2021-06-25 中国大唐集团科学技术研究院有限公司中南电力试验研究院 基于机器视觉的火电站人员操作安全监控系统及方法
CN113158752A (zh) * 2021-02-05 2021-07-23 国网河南省电力公司鹤壁供电公司 一种电力员工进场作业智能安全管控系统
CN113408321A (zh) * 2020-03-16 2021-09-17 中国人民解放军战略支援部队信息工程大学 一种轻量级图像、视频数据的实时目标检测方法及装置
CN113450535A (zh) * 2021-06-03 2021-09-28 国网湖北省电力有限公司检修公司 一种电力现场作业安全管控装置
CN113537119A (zh) * 2021-07-28 2021-10-22 国网河南省电力公司电力科学研究院 基于改进Yolov4-tiny的输电线路连接部件检测方法
CN113593090A (zh) * 2021-07-30 2021-11-02 国家电网有限公司技术学院分公司 一种基于区块链的变电站五防蓝牙锁具系统
CN113610011A (zh) * 2021-09-22 2021-11-05 国网江苏省电力有限公司太仓市供电分公司 一种应用于配网作业现场人员管控的ai识别系统
CN113611014A (zh) * 2021-07-08 2021-11-05 国家电网有限公司技术学院分公司 一种基于区块链的五防锁具管理方法
CN113657348A (zh) * 2021-08-31 2021-11-16 江苏中科云墨数字科技有限公司 一种变电站作业违章行为智能分析方法及系统
CN113723285A (zh) * 2021-08-30 2021-11-30 四川兴济电力设备有限公司 一种基于智能机器狗的作业现场数字化监督系统及方法
CN113762716A (zh) * 2021-07-30 2021-12-07 国网山东省电力公司营销服务中心(计量中心) 基于深度学习和注意力的台区运行状态评估方法及系统
CN113821681A (zh) * 2021-09-17 2021-12-21 深圳力维智联技术有限公司 视频标签生成方法、装置及设备
CN114299067A (zh) * 2022-03-04 2022-04-08 西安华创马科智能控制系统有限公司 一种井下煤壁片帮预警方法及装置
CN115484437A (zh) * 2022-09-09 2022-12-16 广东重工建设监理有限公司 一种佩戴式旁站记录仪和系统及其旁站监理方法
CN116108397A (zh) * 2022-12-22 2023-05-12 福建亿榕信息技术有限公司 融合多模态数据分析的电力现场作业违章行为识别方法
CN116308888A (zh) * 2023-05-19 2023-06-23 南方电网数字平台科技(广东)有限公司 一种基于神经网络的操作票管理系统
CN116596411A (zh) * 2023-07-18 2023-08-15 广州健新科技有限责任公司 一种结合两票检测的生产安全评价方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120124478A1 (en) * 2009-04-15 2012-05-17 Ipv Limited Metadata Browser
WO2017088538A1 (zh) * 2015-11-27 2017-06-01 清华大学 基于微信的大型土木工程施工安全隐患管理方法及系统
CN107103437A (zh) * 2017-06-20 2017-08-29 安徽南瑞继远电网技术有限公司 一种基于图像识别的电力作业行为管控系统
CN107239801A (zh) * 2017-06-28 2017-10-10 安徽大学 视频属性表示学习方法及视频文字描述自动生成方法
CN109242090A (zh) * 2018-08-28 2019-01-18 电子科技大学 一种基于gan网络的视频描述及描述一致性判别方法
CN109598351A (zh) * 2018-11-23 2019-04-09 国网湖北省电力有限公司孝感供电公司 用于变电站设备运检的安全预警管控系统及方法
CN110059777A (zh) * 2019-03-04 2019-07-26 国网浙江省电力有限公司物资分公司 一种基于rfid技术的电力设备运检辅助系统
CN110119686A (zh) * 2019-04-17 2019-08-13 电子科技大学 一种基于卷积神经网络的安全帽实时检测方法
CN110287494A (zh) * 2019-07-01 2019-09-27 济南浪潮高新科技投资发展有限公司 一种基于深度学习bert算法的短文本相似匹配的方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120124478A1 (en) * 2009-04-15 2012-05-17 Ipv Limited Metadata Browser
WO2017088538A1 (zh) * 2015-11-27 2017-06-01 清华大学 基于微信的大型土木工程施工安全隐患管理方法及系统
CN107103437A (zh) * 2017-06-20 2017-08-29 安徽南瑞继远电网技术有限公司 一种基于图像识别的电力作业行为管控系统
CN107239801A (zh) * 2017-06-28 2017-10-10 安徽大学 视频属性表示学习方法及视频文字描述自动生成方法
CN109242090A (zh) * 2018-08-28 2019-01-18 电子科技大学 一种基于gan网络的视频描述及描述一致性判别方法
CN109598351A (zh) * 2018-11-23 2019-04-09 国网湖北省电力有限公司孝感供电公司 用于变电站设备运检的安全预警管控系统及方法
CN110059777A (zh) * 2019-03-04 2019-07-26 国网浙江省电力有限公司物资分公司 一种基于rfid技术的电力设备运检辅助系统
CN110119686A (zh) * 2019-04-17 2019-08-13 电子科技大学 一种基于卷积神经网络的安全帽实时检测方法
CN110287494A (zh) * 2019-07-01 2019-09-27 济南浪潮高新科技投资发展有限公司 一种基于深度学习bert算法的短文本相似匹配的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHEN SUN ET AL.: "Learning video representations using contrastive bidirectional transformer", 《ARXIV》 *
何天才: "基于智能移动终端的物联网监控在现场作业风险管控中的应用", 《贵州电力技术》 *
段智华: "基于CNN字符级别模型的电信自动甩单类型识别案例研发及bert模型探索", 《科学与信息化》 *

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111289849A (zh) * 2020-02-02 2020-06-16 辽宁明兑电力有限公司 一种移动式电力设备安全物联检测认定系统
CN111339766A (zh) * 2020-02-19 2020-06-26 云南电网有限责任公司昆明供电局 一种操作票合规性检查方法及装置
CN113408321B (zh) * 2020-03-16 2023-08-22 中国人民解放军战略支援部队信息工程大学 一种轻量级图像、视频数据的实时目标检测方法及装置
CN113408321A (zh) * 2020-03-16 2021-09-17 中国人民解放军战略支援部队信息工程大学 一种轻量级图像、视频数据的实时目标检测方法及装置
CN111652046A (zh) * 2020-04-17 2020-09-11 济南浪潮高新科技投资发展有限公司 基于深度学习的安全穿戴检测方法、设备及系统
CN111556292A (zh) * 2020-04-25 2020-08-18 国网黑龙江省电力有限公司哈尔滨供电公司 一种作业人员的安全监护装置
CN111639594A (zh) * 2020-05-29 2020-09-08 苏州遐迩信息技术有限公司 图像描述模型的训练方法及装置
CN111639594B (zh) * 2020-05-29 2023-09-22 苏州遐迩信息技术有限公司 图像描述模型的训练方法及装置
CN111507317A (zh) * 2020-06-30 2020-08-07 之江实验室 一种基于视觉的旋转设备作业手套佩戴检测方法及系统
CN112187305A (zh) * 2020-09-14 2021-01-05 国网山东省电力公司武城县供电公司 一种电力作业现场智能安全管控辅助系统
CN112233268A (zh) * 2020-09-16 2021-01-15 北京国电通网络技术有限公司 一种电力生产现场作业方法、移动终端、巡检设备及系统
CN112183265A (zh) * 2020-09-17 2021-01-05 国家电网有限公司 基于图像识别的电力施工视频监控告警方法及系统
CN112147936A (zh) * 2020-09-27 2020-12-29 武汉大学 一种电力作业安全管控装置和行为识别方法
CN112380393A (zh) * 2020-10-23 2021-02-19 岭东核电有限公司 持票试验方法、装置、计算机设备和存储介质
CN112380393B (zh) * 2020-10-23 2024-04-12 岭东核电有限公司 持票试验方法、装置、计算机设备和存储介质
CN112434575A (zh) * 2020-11-12 2021-03-02 广东电网有限责任公司 一种基于姿态识别的电力物联网设备远程控制方法及系统
CN112434575B (zh) * 2020-11-12 2023-09-01 广东电网有限责任公司 一种基于姿态识别的电力物联网设备远程控制方法及系统
CN112507945A (zh) * 2020-12-18 2021-03-16 南方电网电力科技股份有限公司 作业人员行为管控方法、装置、电子设备及存储介质
CN112613454A (zh) * 2020-12-29 2021-04-06 国网山东省电力公司建设公司 一种电力基建施工现场违章识别方法及系统
CN112598317A (zh) * 2020-12-30 2021-04-02 国网四川省电力公司电力科学研究院 一种安全工器具实时状态评价方法
CN113158752A (zh) * 2021-02-05 2021-07-23 国网河南省电力公司鹤壁供电公司 一种电力员工进场作业智能安全管控系统
CN113033393A (zh) * 2021-03-24 2021-06-25 中国大唐集团科学技术研究院有限公司中南电力试验研究院 基于机器视觉的火电站人员操作安全监控系统及方法
CN113033393B (zh) * 2021-03-24 2022-09-30 中国大唐集团科学技术研究院有限公司中南电力试验研究院 基于机器视觉的火电站人员操作安全监控系统及方法
CN113450535A (zh) * 2021-06-03 2021-09-28 国网湖北省电力有限公司检修公司 一种电力现场作业安全管控装置
CN113611014A (zh) * 2021-07-08 2021-11-05 国家电网有限公司技术学院分公司 一种基于区块链的五防锁具管理方法
CN113611014B (zh) * 2021-07-08 2023-07-21 国家电网有限公司技术学院分公司 一种基于区块链的五防锁具管理方法
CN113537119A (zh) * 2021-07-28 2021-10-22 国网河南省电力公司电力科学研究院 基于改进Yolov4-tiny的输电线路连接部件检测方法
CN113537119B (zh) * 2021-07-28 2022-08-30 国网河南省电力公司电力科学研究院 基于改进Yolov4-tiny的输电线路连接部件检测方法
CN113593090B (zh) * 2021-07-30 2023-07-18 国家电网有限公司技术学院分公司 一种基于区块链的变电站五防蓝牙锁具系统
CN113593090A (zh) * 2021-07-30 2021-11-02 国家电网有限公司技术学院分公司 一种基于区块链的变电站五防蓝牙锁具系统
CN113762716A (zh) * 2021-07-30 2021-12-07 国网山东省电力公司营销服务中心(计量中心) 基于深度学习和注意力的台区运行状态评估方法及系统
CN113723285A (zh) * 2021-08-30 2021-11-30 四川兴济电力设备有限公司 一种基于智能机器狗的作业现场数字化监督系统及方法
CN113657348A (zh) * 2021-08-31 2021-11-16 江苏中科云墨数字科技有限公司 一种变电站作业违章行为智能分析方法及系统
CN113821681B (zh) * 2021-09-17 2023-09-26 深圳力维智联技术有限公司 视频标签生成方法、装置及设备
CN113821681A (zh) * 2021-09-17 2021-12-21 深圳力维智联技术有限公司 视频标签生成方法、装置及设备
CN113610011A (zh) * 2021-09-22 2021-11-05 国网江苏省电力有限公司太仓市供电分公司 一种应用于配网作业现场人员管控的ai识别系统
CN114299067A (zh) * 2022-03-04 2022-04-08 西安华创马科智能控制系统有限公司 一种井下煤壁片帮预警方法及装置
CN115484437A (zh) * 2022-09-09 2022-12-16 广东重工建设监理有限公司 一种佩戴式旁站记录仪和系统及其旁站监理方法
CN116108397A (zh) * 2022-12-22 2023-05-12 福建亿榕信息技术有限公司 融合多模态数据分析的电力现场作业违章行为识别方法
CN116108397B (zh) * 2022-12-22 2024-01-09 福建亿榕信息技术有限公司 融合多模态数据分析的电力现场作业违章行为识别方法
CN116308888A (zh) * 2023-05-19 2023-06-23 南方电网数字平台科技(广东)有限公司 一种基于神经网络的操作票管理系统
CN116308888B (zh) * 2023-05-19 2023-08-11 南方电网数字平台科技(广东)有限公司 一种基于神经网络的操作票管理系统
CN116596411A (zh) * 2023-07-18 2023-08-15 广州健新科技有限责任公司 一种结合两票检测的生产安全评价方法及系统
CN116596411B (zh) * 2023-07-18 2023-12-22 广州健新科技有限责任公司 一种结合两票检测的生产安全评价方法及系统

Also Published As

Publication number Publication date
CN110674772B (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
CN110674772B (zh) 电力作业现场智能安全管控辅助系统及方法
CN108216252B (zh) 一种地铁司机车载驾驶行为分析方法、车载终端及系统
CN111445106B (zh) 一种用电采集设备故障处理作业现场安全控制方法及系统
Chackravarthy et al. Intelligent crime anomaly detection in smart cities using deep learning
CN106355154B (zh) 一种监控视频中检测频繁过人的方法
CN111738218B (zh) 人体异常行为识别系统及方法
CN112541393A (zh) 一种基于深度学习的变电站人员检测方法及装置
CN106130762A (zh) 一种基于有穷自动机的网络训练综合分析方法
CN113850229A (zh) 基于视频数据机器学习的人员异常行为预警方法、系统及计算机设备
CN117035419B (zh) 企业项目实施智能管理系统及方法
CN108776452B (zh) 一种特种设备现场维保监控方法及系统
CN108965804A (zh) 一种用于城市安防的视频结构化技术
CN202120402U (zh) 基于云计算的海量视频分析与快速检索系统
CN115567690A (zh) 一种自动识别现场作业危险点的智慧监控系统
Jeevitha et al. Detection of Face Mask: A Systematic Approach
CN109740663A (zh) 一种基于深度ai算法的疏通人流系统及方法
CN113191273A (zh) 基于神经网络的油田井场视频目标检测与识别方法及系统
Reyes et al. Safety gear compliance detection using data augmentation-assisted transfer learning in construction work environment
CN111353465A (zh) 基于深度学习技术的变电站人员行为分析方法及系统
CN115829324A (zh) 一种人员安全风险静默监视方法
CN116433029A (zh) 电力作业风险评估方法、系统、设备及存储介质
CN113822240B (zh) 一种电力现场作业视频数据提取异常行为的方法及装置
CN115240277A (zh) 安检行为的监控方法、装置、电子设备及存储介质
Kaviya et al. A novel Covid prevention method using deep learning
CN115294519A (zh) 一种基于轻量化网络的异常事件检测及预警方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant