CN116108397A - 融合多模态数据分析的电力现场作业违章行为识别方法 - Google Patents
融合多模态数据分析的电力现场作业违章行为识别方法 Download PDFInfo
- Publication number
- CN116108397A CN116108397A CN202211657211.3A CN202211657211A CN116108397A CN 116108397 A CN116108397 A CN 116108397A CN 202211657211 A CN202211657211 A CN 202211657211A CN 116108397 A CN116108397 A CN 116108397A
- Authority
- CN
- China
- Prior art keywords
- data
- target
- violation
- model
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000007405 data analysis Methods 0.000 title claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 69
- 230000006399 behavior Effects 0.000 claims abstract description 63
- 238000013145 classification model Methods 0.000 claims abstract description 26
- 238000010276 construction Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 15
- 238000003062 neural network model Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000009194 climbing Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0635—Risk analysis of enterprise or organisation activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/06—Electricity, gas or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Abstract
本发明涉及一种融合多模态数据分析的电力现场作业违章行为识别方法，包括以下步骤：采集目标电力现场的作业图像、违章行为和数字化工作票的历史数据；基于目标识别模型，对采集的作业图像的历史数据进行目标识别，获取目标识别结果；提取数字化工作票的历史数据中的特征信息；建立BERT分类模型，通过作业图像的目标识别结果以及数字化工作票的特征信息作为输入数据，违章行为的历史数据作为标签数据，对模型进行训练，得到违章行为识别模型；获取当前作业图像以及数字化工作票，通过目标识别模型对当前作业图像进行目标识别获得当前目标识别结果，提取数字化工作票的特征信息连同当前目标识别结果输入至违章行为识别模型中，获识别结果。
Description
技术领域
本发明涉及融合多模态数据分析的电力现场作业违章行为识别方法，属于电力现场作业监测技术领域。
背景技术
在电网建设及安全运行过程中，需要在基建施工、设备检修等各类生产活动中开展现场作业。由于电力现场作业点多面广、施工人员多、环境复杂，针对现场作业安全管控中的作业点分散、人员和设备管控力度不够、安监人力不足，目前普遍开展了基于各类监控终端的现场作业安全管控，基于各类传感器、视频图像识别系统、可穿戴装备和工器具的联合使用对现场作业的违章行为进行自动识别与告警，提升作业安全监管水平。
例如，电网作业过程中经常需要爬到供电塔架高处进行检，为了保障作业人员的安全，电网公司规定：“攀爬离地人员必须佩戴安全带，并在现场配有监护人员，以防止出现意外情况”。针对这个问题，比较主流的做法是在现场部署摄像头及基于人工智能的视频分析装置，识别视频图像中的在场人员，并具体区分出监护人员、佩戴安全带的人员、处于离地状态的人员，即时给出是否存在“为配有监护人员”、“未佩戴安全带”的违章情况并给出告警。
如何利用人工智能、边缘计算、传感器、物联网等技术实现对现场作业的各类数据就地分析和实时研判，相对低成本地实现违章行为的高准确度识别，是开展电力现场作业安全管控工作的重点和难点。由于现场作业环境干扰因素多、容易遮挡、要识别的目标可能不够显著、相应人工智能模型训练的样本不典型或不充分等各种因素，目前现场作业违章识别装置的总体准确度不高，存在较多漏检、误检的情况。
针对现场作业违章识别准确度提升问题，目前主要有两类技术方案：
一是基于图像识别准确度的提升，依靠人工智能技术的飞速发展，图像识别技术在现场作业违章识别过程中发挥了重要作用，如何在各类现场因素制约下通过优化图像识别算法与相关机制提升违章作业识别准确度，是主要的技术方向。例如专利号为“CN113705476A”的发明专利公开了一种基于神经网络的现场作业违章行为分析方法，包括：建立基于前景区域分割模型的安全作业检测神经网络模型，所述前景区域分割的对象为安全作业区域；获取安全作业数据训练集，所述训练集包括由工作人员和工作环境构成的图像及与该图像对应的安全作业区域的背景掩膜；将所述训练集输入所述神经网络模型进行模型训练，得到训练后的神经网络模型；将待测图像输入所述训练后的神经网络模型进行安全作业区域分割预测，得到安全作业区域的背景掩膜；根据所述安全作业区域的背景掩膜的前景区域的面积判断工作人员是否存在违章行为。该现有技术在不会耗费较多人力、时间的前提下，也能及时发现现场作业中的违章行为。
二是基于其它装置的协同，通过可穿戴技术、物联网技术的应用，从安全帽、安全工器具、压力及角度传感器等获取位置、距离、压力等信息，与图像识别协同应用，提升违章作业准确识别整体水平。例如专利号为“CN110674772A”的发明专利提出一种电力作业现场智能安全管控辅助系统及方法，系统包括AI智能视觉终端、手持智能移动终端和物联网云平台，所述前端AI智能视觉终端为可穿戴设备，实现目标检测与识别、违章行为识别、智能分析和自动告警并将视频数据、识别结果与告警信息上传到手持智能移动终端。
对于上述现有技术，第一个现有技术的方案通过提升图像识别算法水平以适应不同的现场环境，优点是实施简单，不需要改变整体解决方案，缺点是适应性较差，且算法优化空间不大、要真正改善识别效果难度较高；第二个现有技术的方案通过与其它装置、设备协同，获得更多输入，优点是确定性比较高，缺点是实施复杂、成本较高。
发明内容
为了解决上述现有技术中存在的问题，本发明提出了一种融合多模态数据分析的电力现场作业违章行为识别方法及系统。
本发明的技术方案如下：
一方面，本发明提供一种融合多模态数据分析的电力现场作业违章行为识别方法，包括以下步骤：
采集目标电力现场的作业图像、违章行为和数字化工作票的历史数据；
基于预训练的目标识别模型，对采集的作业图像的历史数据进行目标识别，获取目标识别结果；
提取数字化工作票的历史数据中的特征信息；
建立BERT分类模型，将作业图像的历史数据的目标识别结果以及数字化工作票的历史数据中的特征信息作为输入数据，违章行为的历史数据作为标签数据，对BERT分类模型进行迭代训练，得到训练好的违章行为识别模型；
获取目标电力现场的当前作业图像以及当前作业对应的数字化工作票，通过预训练的目标识别模型对当前作业图像进行目标识别获得当前目标识别结果，提取当前作业对应的数字化工作票的特征信息连同当前目标识别结果输入至违章行为识别模型中，获得违章行为识别结果。
作为优选实施方式，所述目标识别模型基于神经网络模型构建，所述预训练的过程具体为：
收集若干电力现场的作业图像数据；
定义电力现场需要识别的目标；
根据电力现场需要识别的目标对收集到的作业图像数据进行标注，在图像中确定目标的位置信息并对目标添加标签，形成训练样本集；
通过训练样本集对目标识别模型进行迭代训练，当模型达到预设的精度时，结束迭代，得到训练好的目标识别模型。
作为优选实施方式，所述将作业图像的历史数据的目标识别结果以及数字化工作票的历史数据中的特征信息作为输入数据，违章行为的历史数据作为标签数据的步骤具体为：
获取一组训练数据，包括一作业图像的目标识别结果、一数字化工作票的特征信息以及一违章行为；
将该作业图像的历史数据的目标识别结果转换为结构化数据，作为第一数据；
将该数字化工作票的历史数据中的特征信息转换为结构化数据，作为第二数据；
将第一数据和第二数据进行拼接形成第三数据，第三数据包括第一数据和第二数据中的所有字段，且每个字段之间通过分隔符分隔；
将第三数据作为BERT分类模型的输入数据；
生成一标签数组用于对应违章行为，标签数组中的每一位置对应一违章类型，当违章行为包括对应的违章类型时，标签数组中的对应位置数值为1，当违章行为不包括对应的违章类型时，标签数组中的对应位置数值为0；
将标签数组作为BERT分类模型的标签数据。
作为优选实施方式，所述作业图像的历史数据的目标识别结果包括识别的图像目标、目标置信度、目标的图像交叉比例以及违章类型；
所述数字化工作票的历史数据中的特征信息包括作业类型、作业环境、安全工器具、安全措施、风险点以及施工人员信息。
另一方面，本发明还提供一种融合多模态数据分析的电力现场作业违章行为识别系统，包括：
历史数据采集模块，用于采集目标电力现场的作业图像、违章行为和数字化工作票的历史数据；
目标识别模块，用于基于预训练的目标识别模型，对采集的作业图像的历史数据进行目标识别，获取目标识别结果；
工作票信息提取模块，用于提取数字化工作票的历史数据中的特征信息；
BERT模型训练模块，用于建立BERT分类模型，将作业图像的历史数据的目标识别结果以及数字化工作票的历史数据中的特征信息作为输入数据，违章行为的历史数据作为标签数据，对BERT分类模型进行迭代训练，得到训练好的违章行为识别模型；
融合识别模块，用于获取目标电力现场的当前作业图像以及当前作业对应的数字化工作票，通过预训练的目标识别模型对当前作业图像进行目标识别获得当前目标识别结果，提取当前作业对应的数字化工作票的特征信息连同当前目标识别结果输入至违章行为识别模型中，获得违章行为识别结果。
作为优选实施方式，在所述目标识别模块中，所述目标识别模型基于神经网络模型构建，所述预训练的过程具体为：
收集若干电力现场的作业图像数据；
定义电力现场需要识别的目标；
根据电力现场需要识别的目标对收集到的作业图像数据进行标注，在图像中确定目标的位置信息并对目标添加标签，形成训练样本集；
通过训练样本集对目标识别模型进行迭代训练，当模型达到预设的精度时，结束迭代，得到训练好的目标识别模型。
作为优选实施方式，所述BERT模型训练模块中包括：
训练数据获取单元，用于获取一组训练数据，包括一作业图像的目标识别结果、一数字化工作票的特征信息以及一违章行为；
第一数据构建单元，用于将该作业图像的历史数据的目标识别结果转换为结构化数据，作为第一数据；
第二数据构建单元，将该数字化工作票的历史数据中的特征信息转换为结构化数据，作为第二数据；
第三数据构建单元，将第一数据和第二数据进行拼接形成第三数据，第三数据包括第一数据和第二数据中的所有字段，且每个字段之间通过分隔符分隔；
输入内容获取单元，用于将第三数据作为BERT分类模型的输入数据；
标签数组构建单元，生成一标签数组用于对应违章行为，标签数组中的每一位置对应一违章类型，当违章行为包括对应的违章类型时，标签数组中的对应位置数值为1，当违章行为不包括对应的违章类型时，标签数组中的对应位置数值为0；
输出内容获取单元，用于将标签数组作为BERT分类模型的标签数据。
作为优选实施方式，所述作业图像的历史数据的目标识别结果包括识别的图像目标、目标置信度、目标的图像交叉比例以及违章类型；
所述数字化工作票的历史数据中的特征信息包括作业类型、作业环境、安全工器具、安全措施、风险点以及施工人员信息。
再一方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明任一实施例所述的融合多模态数据分析的电力现场作业违章行为识别方法。
再一方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例所述的融合多模态数据分析的电力现场作业违章行为识别方法。
本发明具有如下有益效果：
1、本发明一种融合多模态数据分析的电力现场作业违章行为识别方法，通过提取电力现场作业的数字化工作票的特征信息，与现场作业图像数据的目标识别结果相融合，构建基于多标签分类的违章行为识别模型，替代主流的单纯依赖图像目标检测结果的方案，实现对现场作业是否存在违章行为的准确预测，降低对单纯图像目标检测的依赖；并且不需要增设额外的设备，降低方案的整体实施成本。
2、本发明一种融合多模态数据分析的电力现场作业违章行为识别方法，通过对电力现场作业的作业类型、作业环境、安全措施、安全风险点、使用到的工器具等在内的数字化工作票特征信息进行提取和表示，与现场作业视频图像的目标识别结果包括区域位置及置信度等信息相融合，通过多模态信息进行违章行为预测，给出了端到端的违章作业识别结果，相对于传统人工经验设定的目标识别结果的置信度、阈值等参数进行违章行为判断的方案，更具合理性和准确性。
附图说明
图1为本发明实施例一的整体方法流程图；
图2为本发明实施例中数字化工作票的示例图；
图3为本发明实施例中目标识别模型的预训练流程图；
图4为本发明实施例中传统的基于图像目标识别结果与规则的违章行为识别方法示意图；
图5为本发明实施例中基于BERT模型的违章行为识别模型原理示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，文中所使用的步骤编号仅是为了方便描述，不对作为对步骤执行先后顺序的限定。
应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
实施例一：
参见图1，一种融合多模态数据分析的电力现场作业违章行为识别方法，包括以下步骤：
S100、采集目标电力现场的作业图像、违章行为和数字化工作票的历史数据；
在本实施例中，电力现场的作业图像采集通过现场视频捕获和关键帧提取获得，不依赖特定的硬件平台，只需要架设网络摄像头、捕获标准的RSTP视频流、并通过网络将视频流实时传输到计算装置。目前主流的网络摄像头及工控机、边缘计算装置、服务器等各类计算装置基本都能满足需求。结合电力现场作业的要求，本实施例采用定制的小尺寸边缘计算装置，搭载Ubuntu 20.04操作系统，通过网络接入通用的支持RSTP协议的网络摄像头。
在软件方面，本实施例基于开源的DeepStream 2.0框架构建视频捕获及关键帧图像抽取程序。DeepStream是多媒体框架的硬件加速插件流水线，支持视频输入，视频解码，图像预处理，提供开箱即用的功能，可快速组装灵活的多流视频分析应用程序。基于DeepStream 2.0框架，开展视频流集成捕获以及关键帧图像抽取都只需要通过DeepStreamSDK按实际需求进行参数配置即可，具体过程不再展开。
S200、基于预训练的目标识别模型，对采集的作业图像的历史数据进行目标识别，获取目标识别结果；目标识别是人工智能计算机视觉分析的主要场景之一，包括目标检测与目标识别两个部分，即首先从图像中识别出某一各特定的目标区域(形状、位置)，其次判断检测到的图像区域具体是什么物体类型。本实施例基于目标识别过程定位电力现场作业的关键行为的目标，如“安全帽”、“绝缘手套”等；目标识别模型可以采用主流的Faster R-CNN，SSD，YOLO等目标识别算法模型。
S300、提取数字化工作票的历史数据中的特征信息；由于在不同的作业场景下，由于作业环境的不同、配备安全工器具的不同、所做的风险预案不同，乃至施工班组人工的不同，都会影响违章风险发生的概率，使得在同样的由算法模型给出的概率(置信度、交叉区域等)下，真实的发生概率是不一样的；而上述的特征信息，可以由电力作业的工作票获得，因此，本实施例依托数字化工作票作为外部数据，提取工作票的特征信息开展多模态数据的融合分析，进行违章作业识别；
S400、建立BERT分类模型，将作业图像的历史数据的目标识别结果以及数字化工作票的历史数据中的特征信息作为输入数据，违章行为的历史数据作为标签数据，对BERT分类模型进行迭代训练，得到训练好的违章行为识别模型；本实施例利用预训练语言模型BERT训练“多标签分类”模型，将违章行为的识别转换为多标签分类问题；BERT模型是一种深度双向的、无监督的语言表示，且仅使用纯文本语料库进行预训练的模型。自从2019年Google公司公开BERT技术以后，其就在在文本分类、信息提取、阅读理解等领域都获得了巨大成功，取得了相较以往技术路线都普遍更好的结果。
S500、获取目标电力现场的当前作业图像以及当前作业对应的数字化工作票，通过预训练的目标识别模型对当前作业图像进行目标识别获得当前目标识别结果，提取当前作业对应的数字化工作票的特征信息连同当前目标识别结果输入至违章行为识别模型中，获得违章行为识别结果。
基于本实施例提供的方法，通过提取电力现场作业的数字化工作票的特征信息，与现场作业图像数据的目标识别结果相融合，构建基于多标签分类的违章行为识别模型，替代主流的单纯依赖图像目标检测结果的方案，实现对现场作业是否存在违章行为的准确预测，降低对单纯图像目标检测的依赖；并且不需要增设额外的设备，降低方案的整体实施成本。
作为本实施例的优选实施方式，所述作业图像的历史数据的目标识别结果包括识别的图像目标、目标置信度、目标的图像交叉比例以及违章类型；
所述数字化工作票的历史数据中的特征信息包括作业类型、作业环境、安全工器具、安全措施、风险点以及施工人员信息，数字化工作票如图2所示。
具体参见图3，作为本实施例的优选实施方式，在步骤S200中，所述目标识别模型基于YOLO V5目标识别网络构建，所述预训练的过程具体为：
S201、收集若干电力现场的作业图像数据，具体的，从历史作业视频、针对性的场景演练视频以及公开数据集中，截取典型的目标场景图像，为后续模型构建提供真实的作业图像数据；
S202、结合违章监测需求，定义电力现场需要识别的目标；本发实施例定义的目标覆盖电网的变电、输电、配电作业类型，包括安全带、安全绳、绝缘梯、登杆、接地线、断路器、隔离开关、接地刀闸、设备标识牌、安全标示牌、安全围栏等38类需要识别的目标；
S203、开展图像标注，根据电力现场需要识别的目标对收集到的作业图像数据进行标注，在图像中确定目标的位置信息并对目标添加标签，形成训练样本集；本发明使用通用工具“LabelMe”开展图像标注，按照统一的规范，由标注人员选择对应的目标区域(位置信息)，最终导出“VOC”格式的训练样本集，该训练样本集覆盖上述38类目标。
S204、基于YOLO V5及构建的训练样本集，训练图像目标识别模型，具体实施方式为：编写Python程序，通过SDK调用YOLO V5目标识别网络，配置合理的训练参数，从上述构建的训练样本集中拆分出80％的数据作为训练集(其余20％作为验证集)，完成目标识别模型的训练；由于训练样本集涵盖38类电力作业的主要目标，训练得到的模型具有上述38类目标识别的能力。
S205、基于验证集，开展目标识别模型的测试验证。采用的评价指标通用的mAP(IoU＝0.5)，其中IoU代表“模型预测的目标区域”与“标注目标区域”的交叉空间占比，0.5代表交叉区域占比超过50％视为正确；mAP即为均值平均精度，代表38类图像目标识别的平均准确率，其中每一类准确率为识别正确的图像个数除以该类别图像总个数。在本实施例中，模型的最低准出标准为mAP(IoU＝0.5)大于0.85。
在上述过程中，特别是mAP未达到最低准出标准时，需要迭代开展模型训练优化，常用的方式包括返回步骤S201扩充作业图像数据，以及返回步骤S204调整模型训练参数。
上述的目标识别阶段获得的是各类型的单一目标识别结果。基于目标识别结果，可以进一步判定是否存在违章行为。目前传统的主流的违章识别主要基于目标图像类型及其区域位置，编制规则分析模型，计算其是否符合“违章行为的模式”。如图4所示：
图4所示的违章识别规则为：在所有图像目标的置信度大于0.5前提下(置信度由目标识别模型给出)，如果作业人员与未佩戴绝缘手套的区域交叉面积大于0.75，并且人员与操作杆的区域较差面积大于0.75，则判定为“作业人员使用操作杆时未佩戴绝缘手套”违章。在上述图像中，由于操作杆目标的置信度只有0.29，不满足置信度大于0.5的前提，并且作业人员和未佩戴手套的交叉区域(IoU值)也小于0.5，故不会触发违章告警，得到错误的结果。然而，如果把置信度阈值整体调低或把IoU值调高，可能会导致大量的误判、误告警，导致准确率更低，在实践中通常也不采用。综上所述，该方法仅依赖图像识别结果信息结合规则进行判断，而在规则中存在大量的经验数值，如置信度最小为多少、目标的交叉区域阈值为多少等，对图像识别结果过于依赖，缺乏足够适应性很难对不同的作业场景、违章类型进行合理的优化调整，导致最终识别准确度不高。
为了解决上述技术问题，作为本实施例的优选实施方式，步骤S400具体为：
S401、获取一组训练数据，包括一作业图像的目标识别结果、一数字化工作票的特征信息以及一违章行为；
S402、将该作业图像的历史数据的目标识别结果提取出来，以结构化数据存储，形成模型可用的第一数据；
S403、将该数字化工作票的历史数据中的特征信息提取出来，以结构化数据存储，形成模型可用的第二数据；
S404、将第一数据和第二数据进行拼接形成第三数据，第三数据包括第一数据和第二数据中的所有字段，在拼接过程中，每一个字段之间需要按照BERT的规范，统一添加<SEP>表示进行分隔；
S405、生成一标签数组用于对应违章行为，将标签数组作为BERT分类模型的标签数据开始进行训练；
如图5所示，训练过程中，同样遵循BERT的规范，在输入内容的最前面，定义了一个<CLS>区域，作为训练数据标签数组的输入，在常规的二分类问题中，<CLS>通常只需要是0或者1的数：0代表正例、1代表负例。由于本实施例在此步骤的任务是开展“多标签分类”，且需要预测的违章类型有38种，所以<CLS>的内容设计为一个长度为38的标签数组，并将标签数组中的每一位都固定对应一种特定的“违章类型”，比如，假定数组的第6位对应的是“跨越或下穿安全围栏”违章，且当前的训练数据仅有这一个违章，那么其输入内容的<CLS>标签值即为[0,0,0,0,0,1,0,……,0,0]。
具体实施时，本实施例使用Transformers框架，开展基于BERT的多标签分类模型训练。可以很方便地集成其提供的BERT for Chinese预训练语言模型，并使用默认的BertTokenizer作为编码器和解码器。
BERT模型在对输入内容进行预测后，给出与输入内容层同样长度为38的<CLS>标签。对<CLS>结果进行解析，如果标签数组的某一位为1，代表输入数据存在定位于该位置的“违章行为”。比如，如果预测结果为[0,0,0,0,0,1,0,……,0,0]，第6位为1，代表发生了“跨越或下穿安全围栏”违章。
基于上述技术方案，本实施例通过对电力现场作业的作业类型、作业环境、安全措施、安全风险点、使用到的工器具等在内的数字化工作票特征信息进行提取和表示，与现场作业视频图像的目标识别结果包括区域位置及置信度等信息相融合，通过多模态信息进行违章行为预测，给出了端到端的违章作业识别结果，相对于传统人工经验设定的目标识别结果的置信度、阈值等参数进行违章行为判断的方案，更具合理性和准确性。
实施例二：
本实施例提供一种融合多模态数据分析的电力现场作业违章行为识别系统，包括：
历史数据采集模块，用于采集目标电力现场的作业图像、违章行为和数字化工作票的历史数据；该模块用于实现实施例一中步骤S100的功能，在此不再赘述；
目标识别模块，用于基于预训练的目标识别模型，对采集的作业图像的历史数据进行目标识别，获取目标识别结果；该模块用于实现实施例一中步骤S200的功能，在此不再赘述；
工作票信息提取模块，用于提取数字化工作票的历史数据中的特征信息；该模块用于实现实施例一中步骤S300的功能，在此不再赘述；
BERT模型训练模块，用于建立BERT分类模型，将作业图像的历史数据的目标识别结果以及数字化工作票的历史数据中的特征信息作为输入数据，违章行为的历史数据作为标签数据，对BERT分类模型进行迭代训练，得到训练好的违章行为识别模型；该模块用于实现实施例一中步骤S400的功能，在此不再赘述；
融合识别模块，用于获取目标电力现场的当前作业图像以及当前作业对应的数字化工作票，通过预训练的目标识别模型对当前作业图像进行目标识别获得当前目标识别结果，提取当前作业对应的数字化工作票的特征信息连同当前目标识别结果输入至违章行为识别模型中，获得违章行为识别结果；该模块用于实现实施例一中步骤S500的功能，在此不再赘述。
作为本实施例的优选实施方式，在所述目标识别模块中，所述目标识别模型基于神经网络模型构建，所述预训练的过程具体为：
收集若干电力现场的作业图像数据；
定义电力现场需要识别的目标；
根据电力现场需要识别的目标对收集到的作业图像数据进行标注，在图像中确定目标的位置信息并对目标添加标签，形成训练样本集；
通过训练样本集对目标识别模型进行迭代训练，当模型达到预设的精度时，结束迭代，得到训练好的目标识别模型。
作为本实施例的优选实施方式，所述BERT模型训练模块中包括：
训练数据获取单元，用于获取一组训练数据，包括一作业图像的目标识别结果、一数字化工作票的特征信息以及一违章行为；
第一数据构建单元，用于将该作业图像的历史数据的目标识别结果转换为结构化数据，作为第一数据；
第二数据构建单元，将该数字化工作票的历史数据中的特征信息转换为结构化数据，作为第二数据；
第三数据构建单元，将第一数据和第二数据进行拼接形成第三数据，第三数据包括第一数据和第二数据中的所有字段，且每个字段之间通过分隔符分隔；
输入内容获取单元，用于将第三数据作为BERT分类模型的输入数据；
标签数组构建单元，生成一标签数组用于对应违章行为，标签数组中的每一位置对应一违章类型，当违章行为包括对应的违章类型时，标签数组中的对应位置数值为1，当违章行为不包括对应的违章类型时，标签数组中的对应位置数值为0；
输出内容获取单元，用于将标签数组作为BERT分类模型的标签数据。
作为本实施例的优选实施方式，所述作业图像的历史数据的目标识别结果包括识别的图像目标、目标置信度、目标的图像交叉比例以及违章类型；
所述数字化工作票的历史数据中的特征信息包括作业类型、作业环境、安全工器具、安全措施、风险点以及施工人员信息。
实施例三：
本实施例提出一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明任一实施例所述的融合多模态数据分析的电力现场作业违章行为识别方法。
实施例四：
本实施例提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例所述的融合多模态数据分析的电力现场作业违章行为识别方法。
本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a，b，c，a和b，a和c，b和c或a和b和c，其中a，b，c可以是单个，也可以是多个。
本领域普通技术人员可以意识到，本文中公开的实施例中描述的各单元及算法步骤，能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory；以下简称：ROM)、随机存取存储器(Random Access Memory；以下简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种融合多模态数据分析的电力现场作业违章行为识别方法，其特征在于，包括以下步骤：
采集目标电力现场的作业图像、违章行为和数字化工作票的历史数据；
基于预训练的目标识别模型，对采集的作业图像的历史数据进行目标识别，获取目标识别结果；
提取数字化工作票的历史数据中的特征信息；
建立BERT分类模型，将作业图像的历史数据的目标识别结果以及数字化工作票的历史数据中的特征信息作为输入数据，违章行为的历史数据作为标签数据，对BERT分类模型进行迭代训练，得到训练好的违章行为识别模型；
获取目标电力现场的当前作业图像以及当前作业对应的数字化工作票，通过预训练的目标识别模型对当前作业图像进行目标识别获得当前目标识别结果，提取当前作业对应的数字化工作票的特征信息连同当前目标识别结果输入至违章行为识别模型中，获得违章行为识别结果。
2.根据权利要求1所述的一种融合多模态数据分析的电力现场作业违章行为识别方法，其特征在于，所述目标识别模型基于神经网络模型构建，所述预训练的过程具体为：
收集若干电力现场的作业图像数据；
定义电力现场需要识别的目标；
根据电力现场需要识别的目标对收集到的作业图像数据进行标注，在图像中确定目标的位置信息并对目标添加标签，形成训练样本集；
通过训练样本集对目标识别模型进行迭代训练，当模型达到预设的精度时，结束迭代，得到训练好的目标识别模型。
3.根据权利要求1所述的一种融合多模态数据分析的电力现场作业违章行为识别方法，其特征在于，所述将作业图像的历史数据的目标识别结果以及数字化工作票的历史数据中的特征信息作为输入数据，违章行为的历史数据作为标签数据的步骤具体为：
获取一组训练数据，包括一作业图像的目标识别结果、一数字化工作票的特征信息以及一违章行为；
将该作业图像的历史数据的目标识别结果转换为结构化数据，作为第一数据；
将该数字化工作票的历史数据中的特征信息转换为结构化数据，作为第二数据；
将第一数据和第二数据进行拼接形成第三数据，第三数据包括第一数据和第二数据中的所有字段，且每个字段之间通过分隔符分隔；
将第三数据作为BERT分类模型的输入数据；
生成一标签数组用于对应违章行为，标签数组中的每一位置对应一违章类型，当违章行为包括对应的违章类型时，标签数组中的对应位置数值为1，当违章行为不包括对应的违章类型时，标签数组中的对应位置数值为0；
将标签数组作为BERT分类模型的标签数据。
4.根据权利要求1所述的一种融合多模态数据分析的电力现场作业违章行为识别方法，其特征在于：
所述作业图像的历史数据的目标识别结果包括识别的图像目标、目标置信度、目标的图像交叉比例以及违章类型；
所述数字化工作票的历史数据中的特征信息包括作业类型、作业环境、安全工器具、安全措施、风险点以及施工人员信息。
5.一种融合多模态数据分析的电力现场作业违章行为识别系统，其特征在于，包括：
历史数据采集模块，用于采集目标电力现场的作业图像、违章行为和数字化工作票的历史数据；
目标识别模块，用于基于预训练的目标识别模型，对采集的作业图像的历史数据进行目标识别，获取目标识别结果；
工作票信息提取模块，用于提取数字化工作票的历史数据中的特征信息；
BERT模型训练模块，用于建立BERT分类模型，将作业图像的历史数据的目标识别结果以及数字化工作票的历史数据中的特征信息作为输入数据，违章行为的历史数据作为标签数据，对BERT分类模型进行迭代训练，得到训练好的违章行为识别模型；
融合识别模块，用于获取目标电力现场的当前作业图像以及当前作业对应的数字化工作票，通过预训练的目标识别模型对当前作业图像进行目标识别获得当前目标识别结果，提取当前作业对应的数字化工作票的特征信息连同当前目标识别结果输入至违章行为识别模型中，获得违章行为识别结果。
6.根据权利要求5所述的一种融合多模态数据分析的电力现场作业违章行为识别系统，其特征在于，在所述目标识别模块中，所述目标识别模型基于神经网络模型构建，所述预训练的过程具体为：
收集若干电力现场的作业图像数据；
定义电力现场需要识别的目标；
根据电力现场需要识别的目标对收集到的作业图像数据进行标注，在图像中确定目标的位置信息并对目标添加标签，形成训练样本集；
通过训练样本集对目标识别模型进行迭代训练，当模型达到预设的精度时，结束迭代，得到训练好的目标识别模型。
7.根据权利要求5所述的一种融合多模态数据分析的电力现场作业违章行为识别系统，其特征在于，所述BERT模型训练模块中包括：
训练数据获取单元，用于获取一组训练数据，包括一作业图像的目标识别结果、一数字化工作票的特征信息以及一违章行为；
第一数据构建单元，用于将该作业图像的历史数据的目标识别结果转换为结构化数据，作为第一数据；
第二数据构建单元，将该数字化工作票的历史数据中的特征信息转换为结构化数据，作为第二数据；
第三数据构建单元，将第一数据和第二数据进行拼接形成第三数据，第三数据包括第一数据和第二数据中的所有字段，且每个字段之间通过分隔符分隔；
输入内容获取单元，用于将第三数据作为BERT分类模型的输入数据；
标签数组构建单元，生成一标签数组用于对应违章行为，标签数组中的每一位置对应一违章类型，当违章行为包括对应的违章类型时，标签数组中的对应位置数值为1，当违章行为不包括对应的违章类型时，标签数组中的对应位置数值为0；
输出内容获取单元，用于将标签数组作为BERT分类模型的标签数据。
8.根据权利要求5所述的一种融合多模态数据分析的电力现场作业违章行为识别系统，其特征在于：
所述作业图像的历史数据的目标识别结果包括识别的图像目标、目标置信度、目标的图像交叉比例以及违章类型；
所述数字化工作票的历史数据中的特征信息包括作业类型、作业环境、安全工器具、安全措施、风险点以及施工人员信息。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述的融合多模态数据分析的电力现场作业违章行为识别方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至4任一项所述的融合多模态数据分析的电力现场作业违章行为识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211657211.3A CN116108397B (zh) | 2022-12-22 | 2022-12-22 | 融合多模态数据分析的电力现场作业违章行为识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211657211.3A CN116108397B (zh) | 2022-12-22 | 2022-12-22 | 融合多模态数据分析的电力现场作业违章行为识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116108397A true CN116108397A (zh) | 2023-05-12 |
| CN116108397B CN116108397B (zh) | 2024-01-09 |
Family
ID=86262142
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211657211.3A Active CN116108397B (zh) | 2022-12-22 | 2022-12-22 | 融合多模态数据分析的电力现场作业违章行为识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116108397B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116883952A (zh) * | 2023-09-07 | 2023-10-13 | 吉林同益光电科技有限公司 | 基于人工智能算法的电力施工现场违章识别方法及系统 |
| CN117113283A (zh) * | 2023-10-25 | 2023-11-24 | 天津阿尔法优联电气有限公司 | 隔离开关的状态识别方法及系统 |
| CN117557108A (zh) * | 2024-01-10 | 2024-02-13 | 中国南方电网有限责任公司超高压输电公司电力科研院 | 电力作业风险智能识别模型的训练方法和装置 |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090254572A1 (en) * | 2007-01-05 | 2009-10-08 | Redlich Ron M | Digital information infrastructure and method |
| US20140280909A1 (en) * | 2013-03-15 | 2014-09-18 | Battelle Memorial Institute | Multi-domain situational awareness for infrastructure monitoring |
| US20170097755A1 (en) * | 2015-10-05 | 2017-04-06 | EasyPower LLC | Facilitating Analysis of a Electrical Power System |
| CN107103437A (zh) * | 2017-06-20 | 2017-08-29 | 安徽南瑞继远电网技术有限公司 | 一种基于图像识别的电力作业行为管控系统 |
| CN110674772A (zh) * | 2019-09-29 | 2020-01-10 | 国家电网有限公司技术学院分公司 | 电力作业现场智能安全管控辅助系统及方法 |
| CN110826514A (zh) * | 2019-11-13 | 2020-02-21 | 国网青海省电力公司海东供电公司 | 一种基于深度学习的施工现场违章智能识别方法 |
| US20200221054A1 (en) * | 2013-03-15 | 2020-07-09 | James Carey | Video identification and analytical recognition system |
| CN112347916A (zh) * | 2020-11-05 | 2021-02-09 | 安徽继远软件有限公司 | 基于视频图像分析的电力现场作业安全监控方法及装置 |
| CN112613453A (zh) * | 2020-12-29 | 2021-04-06 | 国网山东省电力公司建设公司 | 一种用于电力基建施工现场违章排查方法及系统 |
| CN113392770A (zh) * | 2021-06-16 | 2021-09-14 | 国网浙江省电力有限公司电力科学研究院 | 变电站作业人员典型违章行为检测方法及系统 |
| WO2022036998A1 (zh) * | 2020-08-20 | 2022-02-24 | 广东电网有限责任公司清远供电局 | 电力系统违章管理方法、装置及电力设备 |
| WO2022037279A1 (zh) * | 2020-08-19 | 2022-02-24 | 广西电网有限责任公司贺州供电局 | 一种变电现场作业违规行为检测方法 |
| CN114821406A (zh) * | 2022-04-12 | 2022-07-29 | 福建亿榕信息技术有限公司 | 一种电力作业现场违章行为的判定方法和系统 |
| CN114819004A (zh) * | 2022-07-04 | 2022-07-29 | 广东电网有限责任公司佛山供电局 | 一种基于多源数据融合的违章辨识方法及系统 |
| CN114997003A (zh) * | 2022-05-25 | 2022-09-02 | 广东交通职业技术学院 | 多模型融合的隧道施工风险预测方法、系统、装置及介质 |
| CN115049893A (zh) * | 2022-05-21 | 2022-09-13 | 国网浙江省电力有限公司杭州供电公司 | 一种基于机器视觉的电力作业现场违章判断方法 |
| CN115131172A (zh) * | 2022-08-29 | 2022-09-30 | 广东电网有限责任公司佛山供电局 | 基于多源数据融合的电力作业违章智能识别方法和系统 |
| CN115171045A (zh) * | 2022-07-15 | 2022-10-11 | 国网江苏省电力有限公司 | 一种基于yolo的电网作业现场违章识别方法及终端 |
-
2022
- 2022-12-22 CN CN202211657211.3A patent/CN116108397B/zh active Active
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090254572A1 (en) * | 2007-01-05 | 2009-10-08 | Redlich Ron M | Digital information infrastructure and method |
| US20140280909A1 (en) * | 2013-03-15 | 2014-09-18 | Battelle Memorial Institute | Multi-domain situational awareness for infrastructure monitoring |
| US20200221054A1 (en) * | 2013-03-15 | 2020-07-09 | James Carey | Video identification and analytical recognition system |
| US20170097755A1 (en) * | 2015-10-05 | 2017-04-06 | EasyPower LLC | Facilitating Analysis of a Electrical Power System |
| CN107103437A (zh) * | 2017-06-20 | 2017-08-29 | 安徽南瑞继远电网技术有限公司 | 一种基于图像识别的电力作业行为管控系统 |
| CN110674772A (zh) * | 2019-09-29 | 2020-01-10 | 国家电网有限公司技术学院分公司 | 电力作业现场智能安全管控辅助系统及方法 |
| CN110826514A (zh) * | 2019-11-13 | 2020-02-21 | 国网青海省电力公司海东供电公司 | 一种基于深度学习的施工现场违章智能识别方法 |
| WO2022037279A1 (zh) * | 2020-08-19 | 2022-02-24 | 广西电网有限责任公司贺州供电局 | 一种变电现场作业违规行为检测方法 |
| WO2022036998A1 (zh) * | 2020-08-20 | 2022-02-24 | 广东电网有限责任公司清远供电局 | 电力系统违章管理方法、装置及电力设备 |
| CN112347916A (zh) * | 2020-11-05 | 2021-02-09 | 安徽继远软件有限公司 | 基于视频图像分析的电力现场作业安全监控方法及装置 |
| CN112613453A (zh) * | 2020-12-29 | 2021-04-06 | 国网山东省电力公司建设公司 | 一种用于电力基建施工现场违章排查方法及系统 |
| CN113392770A (zh) * | 2021-06-16 | 2021-09-14 | 国网浙江省电力有限公司电力科学研究院 | 变电站作业人员典型违章行为检测方法及系统 |
| CN114821406A (zh) * | 2022-04-12 | 2022-07-29 | 福建亿榕信息技术有限公司 | 一种电力作业现场违章行为的判定方法和系统 |
| CN115049893A (zh) * | 2022-05-21 | 2022-09-13 | 国网浙江省电力有限公司杭州供电公司 | 一种基于机器视觉的电力作业现场违章判断方法 |
| CN114997003A (zh) * | 2022-05-25 | 2022-09-02 | 广东交通职业技术学院 | 多模型融合的隧道施工风险预测方法、系统、装置及介质 |
| CN114819004A (zh) * | 2022-07-04 | 2022-07-29 | 广东电网有限责任公司佛山供电局 | 一种基于多源数据融合的违章辨识方法及系统 |
| CN115171045A (zh) * | 2022-07-15 | 2022-10-11 | 国网江苏省电力有限公司 | 一种基于yolo的电网作业现场违章识别方法及终端 |
| CN115131172A (zh) * | 2022-08-29 | 2022-09-30 | 广东电网有限责任公司佛山供电局 | 基于多源数据融合的电力作业违章智能识别方法和系统 |
Non-Patent Citations (3)
| Title |
|---|
| GUOQING GAO; WENHUA LIN; GUOHE LI; FEI SUO; NAN HU: "《Identification of risk behavior in power working scenarios based on deep learning》", 2022 IEEE 10TH JOINT INTERNATIONAL INFORMATION TECHNOLOGY AND ARTIFICIAL INTELLIGENCE CONFERENCE (ITAIC), pages 391 - 395 * |
| 施丽红: "《基于5G的电力作业现场违章智能识别判定系统设计》", 《数字技术与应用》, vol. 40, no. 2, pages 124 - 126 * |
| 莫蓓蓓;吴克河;: "引入Self-Attention的电力作业违规穿戴智能检测技术研究", 计算机与现代化, no. 02, pages 162 - 168 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116883952A (zh) * | 2023-09-07 | 2023-10-13 | 吉林同益光电科技有限公司 | 基于人工智能算法的电力施工现场违章识别方法及系统 |
| CN116883952B (zh) * | 2023-09-07 | 2023-11-17 | 吉林同益光电科技有限公司 | 基于人工智能算法的电力施工现场违章识别方法及系统 |
| CN117113283A (zh) * | 2023-10-25 | 2023-11-24 | 天津阿尔法优联电气有限公司 | 隔离开关的状态识别方法及系统 |
| CN117113283B (zh) * | 2023-10-25 | 2024-01-26 | 天津阿尔法优联电气有限公司 | 隔离开关的状态识别方法及系统 |
| CN117557108A (zh) * | 2024-01-10 | 2024-02-13 | 中国南方电网有限责任公司超高压输电公司电力科研院 | 电力作业风险智能识别模型的训练方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116108397B (zh) | 2024-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116108397B (zh) | 融合多模态数据分析的电力现场作业违章行为识别方法 | |
| CN109242439B (zh) | 基于变电站设备相关联数据的特征提取识别方法 | |
| CN109214280B (zh) | 基于街景的店铺识别方法、装置、电子设备及存储介质 | |
| CN108898520B (zh) | 基于轨迹数据的学生安全监控方法和系统 | |
| CN112149512A (zh) | 一种基于两阶段深度学习的安全帽佩戴识别方法 | |
| CN108229553A (zh) | 一种otdr曲线数据分析方法 | |
| CN114665608B (zh) | 用于变电站的智能感知巡检系统及方法 | |
| CN114782897A (zh) | 基于机器视觉及深度学习的危险行为检测方法及系统 | |
| CN112949457A (zh) | 基于增强现实技术的维修方法、装置及系统 | |
| CN112685812A (zh) | 一种动态监管方法、装置、设备及存储介质 | |
| CN115272656A (zh) | 环境检测报警方法、装置、计算机设备及存储介质 | |
| CN117423157A (zh) | 一种结合迁移学习、区域入侵的矿井下异常视频动作理解方法 | |
| CN115686014A (zh) | 一种基于bim模型的地铁巡检机器人 | |
| CN112926630B (zh) | 路线规划方法、装置、电子设备以及计算机可读介质 | |
| CN115511280A (zh) | 一种基于多模态数据融合的城市洪水韧性评价方法 | |
| CN114821806A (zh) | 作业人员行为确定方法、装置、电子设备及存储介质 | |
| CN115063921A (zh) | 一种工地智能闸机系统及搭建方法 | |
| Nisa et al. | Implementation of Personal Protective Equipment Detection Using Django and Yolo Web at Paiton Steam Power Plant (PLTU) | |
| CN113537019A (zh) | 基于关键点识别变电站人员安全帽佩戴的检测方法 | |
| CN112861701A (zh) | 违章停车识别方法、装置、电子设备以及计算机可读介质 | |
| CN112818972A (zh) | 兴趣点图像的检测方法、装置、电子设备及存储介质 | |
| CN116612442B (zh) | 结合ai视觉技术的施工现场督察违章预警方法及系统 | |
| CN117274564B (zh) | 基于图文语义差异的机场跑道异物检测方法及系统 | |
| CN117036650B (zh) | 一种基于ar眼镜的电网维护导航方法、介质及系统 | |
| CN116704386B (zh) | 一种基于ai的精准应急救援方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |