CN113221640B - 一种带电作业主动预警与安全监测系统 - Google Patents

一种带电作业主动预警与安全监测系统 Download PDF

Info

Publication number
CN113221640B
CN113221640B CN202110355414.6A CN202110355414A CN113221640B CN 113221640 B CN113221640 B CN 113221640B CN 202110355414 A CN202110355414 A CN 202110355414A CN 113221640 B CN113221640 B CN 113221640B
Authority
CN
China
Prior art keywords
network
convolution
key point
camera
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110355414.6A
Other languages
English (en)
Other versions
CN113221640A (zh
Inventor
张冬
高明
刘灵光
卢健
盛晓翔
顾礼峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaianhongneng Group Co ltd
HuaiAn Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Yijiahe Technology Co Ltd
Original Assignee
Huaianhongneng Group Co ltd
HuaiAn Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Yijiahe Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaianhongneng Group Co ltd, HuaiAn Power Supply Co of State Grid Jiangsu Electric Power Co Ltd, Yijiahe Technology Co Ltd filed Critical Huaianhongneng Group Co ltd
Priority to CN202110355414.6A priority Critical patent/CN113221640B/zh
Publication of CN113221640A publication Critical patent/CN113221640A/zh
Application granted granted Critical
Publication of CN113221640B publication Critical patent/CN113221640B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Remote Sensing (AREA)
  • Mathematical Physics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及带电作业安全检测系统技术领域，公开了一种基于人工智能精准定位的带电作业主动预警与安全监测系统，包括主动预警系统、激光雷达、惯性传感器和摄像头，还包括人体关键点识别系统、带电体识别系统、数据融合系统以及空间位置判断系统，所述摄像头分别与人体关键点识别系统、带电体识别系统、数据融合系统电连接，所述激光雷达、惯性传感器分别与数据融合系统电连接，所述人体关键点识别系统输出端、带电体识别系统输出端以及数据融合系统输出端分别与所述空间位置判断系统输入端连接。与现有技术相比，本发明可以实时监测安全距离以及主动预警，预防或减少带电作业人员人身伤害等事故。

Description

一种带电作业主动预警与安全监测系统
技术领域
本发明涉及带电作业安全检测系统技术领域，具体涉及一种基于人工智能精准定位的带电作业主动预警与安全监测系统。
背景技术
随着经济技术的发展和人们生活水平的提高，电能已经成为了人们生产和生活中必不可少的二次能源，在生产和生活中发挥了巨大的作用。因此，电能的安全可靠输送一直是电网系统的最核心任务之一。停电时间是衡量电网性能的重要指标之一，而为了最大限度的减少停电时间，保障电能的正常供应，电网的带电作业应运而生。
电力工业是国民经济基础命脉产业，直接关系到国民经济发展和社会稳定，涉及千家万户，方方面面的，任何小的意外事件发生，都有可能对国民的生产、生活秩序造成相当大的破坏效果。电力安全问题一直是一个重要的话题，即使作为专业人员，在电力施工过程中，由于各种不确定因素的存在，也面临着种种危险。传统的安全管理模式大多是以经验来管理，缺乏科学性，因此在长久的电力施工中难免会引发安全事故问题。
目前，我国电网带电作业时，带电作业工人会身穿屏蔽服进行带电作业，但是很多带电作业工人会存在侥幸心理，不佩戴安全帽、不穿防护服与手套就进行带电作业，在作业过程中极有可能出现安全事故。本发明带电作业主要是指配电线路的作业，即使穿了防护服，高强度的电场、暂态电击和稳态电击的存在以及作业过程中对误操作短接空气间隙放电，使带电作业人员的安全时刻受到威胁。目前国内带电作业中安全监控及预警手段和方法缺乏，很难实时精准定位现场作业人员，并监控现场作业人员的行为，进行主动预警。
因此，亟需一种可精准定位的带电作业主动预警与安全监测系统。
发明内容
发明目的：针对现有技术中存在的问题，本发明提供一种基于人工智能精准定位的带电作业主动预警与安全监测系统，进行实时监测安全距离以及主动预警，预防或减少带电作业人员人身伤害等事故。
技术方案：本发明提供了一种基于人工智能精准定位的带电作业主动预警与安全监测系统，包括主动预警系统、激光雷达、惯性传感器和摄像头，还包括人体关键点识别系统、带电体识别系统、数据融合系统以及空间位置判断系统，所述摄像头分别与人体关键点识别系统、带电体识别系统、数据融合系统电连接，所述激光雷达、惯性传感器分别与数据融合系统电连接，所述人体关键点识别系统输出端、带电体识别系统输出端以及数据融合系统输出端分别与所述空间位置判断系统输入端连接；
所述人体关键点识别系统包括人体肢体关键点位置识别模块、关键点安全防护判断模块；所述人体肢体关键点位置识别模块接收摄像头图像并基于改进后的卷积位姿机网络对人体肢体关键点位置快速识别；所述关键点安全防护判断模块接收摄像头图像以及所述人体肢体关键点位置识别模块的输出数据，其中设有安全帽识别模块、防护服和防护手套识别模块，分别用于判断作业人员是否佩戴安全帽、是否佩戴防护服与防护手套；
所述带电体识别系统包括带电体图像识别模块和带电体测量仪器，所述带电体图像识别模块通过人工智能神经网络对带电体语义分割和识别并结合带电体测量仪器辅助判断其是否带电；
所述融合系统获取摄像头、激光雷达以及惯性传感器数据，并对其进行融合后传输至所述空间位置判断系统；
所述空间位置判断系统分别通过摄像头、激光雷达以及惯性传感器并经人体关键点识别系统、带电体识别系统、数据融合系统获取带电体空间位置以及作业人员空间位置，判断空间位置是否正常；
所述人体关键点识别系统、带电体识别系统以及空间位置判断系统均与所述主动预警系统连接，分别用于控制主动预警系统进行报警。
进一步地，所述人体肢体关键点位置识别模块基于改进后的卷积位姿机网络对人体肢体关键点位置快速识别，其具体为：选择四阶段网络的卷积位姿机，引入四阶段跳跃连接设计结构，当前阶段网络的输入来源包括：MultiBlock_1操作后输出的特征数据、小中心图特征数据、上一阶段网络输出的特征数据以及所述上一阶段网络之前的一个阶段网络输出的特征数据，其中，所述中心图为获取的摄像头图像原图与高斯函数模板进行卷积操作，生成的中心图，中心图池化后为小中心图。
进一步地，改进后的卷积位姿机网络对人体肢体关键点位置快速识别的具体步骤为：
Step1：获取的摄像头图像原图与高斯函数模板进行卷积操作，生成中心图；
Step2：中心图池化为小中心图，并送入第二，第三和第四阶段网络；
Step3：获取的摄像头图像原图经过MultiBlock_1操作后，送入第二、第三和第四阶段网络；
Step4：获取的摄像头图像原图经过MultiBlock_0操作后，送入第二和第三阶段网络；
Step5：第二阶段网络操作后的特征数据，送入第三和第四阶段网络；
Step6：在第四阶段网络，特征数据经过汇合后，经过ConvBlock操作后输出64*64*18的特征数据。
进一步地，所述改进后YOLO网络具体为：选择了YOLO模型作为检测基础模型，联合网络DensetNet和ResNet网络，并采用迁移学习方法，构建目标识别网络；选取公共数据集与施工现场环境图像集对目标识别网络模型进行离线训练，进而得到一个泛化模型；在所述泛化模型基础上，通过制作的带有标注的带电作业的安全监测图片，利用半监督学习方式进行再次训练学习。
进一步地，基于改进后YOLO网络对是否佩戴安全帽进行检测，其具体步骤为：
S1：将摄像头获取的输入每帧视频流图像划分为M×N个单元格，并在每个单元格提取W个初始候选框；
S2：对W个初始候选框进行目标识别，计算每个候选框中存在目标的预测置信度；
S3：若所述候选框不存在目标物体，则候选置信度值为零，若所述候选框存在目标物体，置信度为预测框与真实框的比值，并对存在目标物体的候选框进行目标对象类别的识别；
S4：所述候选框中包含了目标对象的置信度及边界框的位置信息，最终YOLO网络将输出向量为(X、Y、W、H、置信度C)，其中X、Y相对预测框的中心点坐标，W、H分别表示预测框的长宽，置信度C则表示含有目标对象的候选框为真实样本的概率；
S5：通过作业人员的运动轨迹进行解决头部与身体部位的遮挡问题，给出遮挡部位的虚拟的安全监测识别判断结果；
S6：根据S4与S5的判别结果，给出全部安全监测识别结果。
进一步地，所述S7中全部安全监测识别结果为：是否带有安全帽、是否穿戴防护服以及是否穿戴防护手套。
进一步地，所述数据融合系统获取摄像头与激光雷达位置内参和外参，将点云三维坐标系下的点投影到相机三维坐标系下，通过建立点云和图像像素点之间的对应关系，建立激光雷达与摄像头数据标定；并融合惯性传感器数据对激光雷达-视觉融合数据进一步补偿定位误差。
有益效果：
1、本发明通过设置人体关键点识别系统，当作业人员需要带电作业前，人体关键点识别系统则会对作业人员做必须穿戴的服装进行检测，避免作业人员在对带电体进行监测作业时，带电体对作业人员造成人身伤害。
2、本发明通过设置带电体识别系统，当作业人员需要带电作业时，在人工智能算法和带电体识别系统的配合下，从而得以对带电体位置进行检测，避免作业人员因没有保持安全作业距离，导致带电体对作业人员造成伤害，同时也提高了该系统的安全性。
3、本发明通过设置空间位置判断系统，当作业人员在带电作业的过程中，在空间位置判断系统的配合下，从而使得作业人员得以对其位置进行及时的定位，避免作业人员发生突发事件时，同时地面的作业人员也能及时得到反馈，从而保证了作业人员在对带电作业过程中的安全，提高了该装置的实用性。
4、本发明使用改进后的卷积位姿机网络对人体肢体关键点位置快速识别，在保持对受测者关节点的识别准确性的前提下，在检测速度上也满足带电作业对实时性的要求，检测速度大大提高。
5、本发明关键点安全防护判断模块利用YOLO模型作为检测基础模型，联合网络DensetNet和ResNet网络优秀特点，并采用了迁移学习的方法，构建了新型、高效的目标识别网络，由于其检测速度快，实时性强；预测时会完整分析单位块内整个图片信息，没有对网格数进行限制；可以获得目标图像的普适化特征，泛化能力强。
附图说明
图1为本发明监控系统的示意图；
图2为本发明中人体关键点安全识别系统的示意图；
图3为本发明中带电体安全识别系统的示意图；
图4为本发明中空间位置判断系统的示意图；
图5为本发明改进后的卷积位姿机网络结构图；
图6为本发明卷积位姿机网络的MultiBlock_0的内部结构；
图7为本发明卷积位姿机网络的ConvBlock的内部结构；
图8为本发明卷积位姿机网络的MultiBlock_1的内部结构；
图9为本发明改进卷积位姿机网络中的中心图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
请参阅图1-6，本发明提供以下技术方案：
本发明公开的基于人工智能精准定位的带电作业主动预警与安全监测系统，包括主动预警系统、激光雷达、高精度惯性传感器IMU和摄像头，还包括人体关键点识别系统、带电体识别系统、数据融合系统以及空间位置判断系统，摄像头分别与人体关键点识别系统、带电体识别系统、数据融合系统电连接，激光雷达、IM分别与数据融合系统电连接，人体关键点识别系统输出端、带电体识别系统输出端以及数据融合系统输出端分别与所述空间位置判断系统输入端连接。
人体关键点识别系统包括人体肢体关键点位置识别模块、关键点安全防护判断模块，人体肢体关键点位置识别模块接收摄像头图像并基于改进后的卷积位姿机网络对人体肢体关键点位置快速识别。关键点安全防护判断模块接收摄像头图像以及人体肢体关键点位置识别模块的输出数据，判断作业人员是否佩戴安全帽、是否佩戴防护服与防护手套，其中设有安全帽识别模块、防护服和防护手套识别模块。当判断作业人员未佩戴安全帽，则会通过主动预警系统进行报警。同时对作业人员是否佩戴防护服和防护手套进行检测，当摄像头检测到不良现象或者作业人员未佩戴防护服和防护手套则会通过主动预警系统进行报警。本发明通过设置人体关键点识别系统，当作业人员需要进行带电作业时，人体关键点识别系统则会对作业人员的肢体位置进行识别，及时提醒人员肢体与带电体之间的距离。
带电体识别系统包括带电体图像识别模块和带电体测量仪器，带电体图像识别模块通过人工智能神经网络对带电体语义分割和识别并结合带电体测量仪器辅助判断其是否带电。
实际施工现场会出现工程车辆抖动、作业斗抖动、人体运动加剧抖动和装置碰撞的情况，对定位准确性影响较大。本发明考虑融合激光雷达、摄像头和高精度惯性传感器进行高精度空间位置的定位。数据融合系统获取摄像头与激光雷达位置内参和外参，将点云三维坐标系下的点投影到相机三维坐标系下，通过建立点云和图像像素点之间的对应关系，建立激光雷达与摄像头融合；并结合惯性传感器数据对激光雷达-视觉融合数据进一步补偿定位误差。
空间位置判断系统分别通过摄像头、激光雷达以及惯性传感器并经人体关键点识别系统、带电体识别系统、数据融合系统获取带电体空间位置以及作用人员空间位置，判断空间位置是否正常。
人体关键点识别系统、带电体识别系统以及空间位置判断系统均与主动预警系统连接，分别用于控制主动预警系统进行报警。
一、本发明人体关键点识别系统的人体肢体关键点位置识别模块进行基于改进后的卷积位姿机网络对人体肢体关键点位置快速识别，主要过程如下：
对卷积位姿机和及其优化网络进行详细描述。
卷积位姿机利用了序列化、多阶段的卷积神经网络结构来学习表达图像的空间信息和纹理特征，同时为了解决网络过深时的梯度消失在网络的每一个阶段都使用了监督训练学习。
可见卷积位姿机在实际应用时，一共采用了六个阶段的网络结构，使用各部位响应图来表达各部位间的空间约束关系，各个阶段的响应图和特征图都被作为数据在网络中传递。同时网络的学习也受到了关节点在空间上的先验分布的指导，即六个阶段中较早阶段的预测结果会指导后面阶段中网络的学习。网络采用了在每个阶段的输出上都计算损失的多阶段中间重复监督方法，有效的避免了随着卷积位姿机网络深度的增加，梯度消失的问题。而且卷积位姿机网络中感受野随着网络阶段数增加而逐渐增大，其在第二阶段到第六阶段中所采用的11乘11这样的大卷积核也在一定程度上保证了人体发生部分遮挡情况时检测的质量。
上述原始卷积位姿机网络在本发明的场景中对受测者关节点的识别准确性很高，但是在检测速度上欠佳无法满足带电作业对实时性的要求，本发明针对带电作业上场景的特殊要求，对原始的卷积位姿机网络主要做了以下两点改进：
1)将原卷积位姿机的六阶段网络变为四阶段网络，有效地减少了网络迭代次数，网络参数量和网络模型大小。
2)原网络每一阶段的输入仅来自与其直接相连的上一阶段的输出和直接从原图中提取的特征，通过引入不同阶段间的跳跃连接，使得更多的图像底层细节在处理高层细节时得以保留，增强了不同阶段间数据的共享，提高了网络的表达能力。
改进后的网络结构如图5所示：
其中，中心图为获取的摄像头图像原图与高斯函数模板进行卷积操作，生成的中心图，中心图池化后为小中心图，如图5所示：
改进后的卷积位姿机网络对人体肢体关键点位置快速识别的具体步骤为：
Step1：获取的摄像头图像原图与高斯函数模板进行卷积操作，生成中心图。
Step2：中心图池化为小中心图，并送入第二，三和四阶段网络。
Step3：获取的摄像头图像原图经过MultiBlock_1操作后，送入第二、第三和第四阶段网络。
Step4：获取的摄像头图像原图经过MultiBlock_0操作后，送入第二和第三阶段网络。
Step5：第二阶段网络操作后的特征数据，送入第三和第四阶段网络。
Step6：在第四阶段网络，特征数据经过汇合后，经过ConvBlock操作后输出64*64*18的特征数据。
从图5可见，改进后的网络共有四个阶段，第三，第四阶段网络的输入来源除了MultiBlock_1、小中心图和直接与其相连的第二，第三阶段外，还分别有来自第一，第二阶段的输出。这样的四阶段跳跃连接设计结构使得在不损失太多原卷积位姿机检测性能的基础上实现了原网络的简化，有效地减少了网络迭代次数，网络参数量和网络模型大小，以满足带电作业对实时性的要求，改进后网络的参数设置如下表1所示。
表1改进后网络的参数设置
Figure GDA0003695864830000071
Figure GDA0003695864830000081
Figure GDA0003695864830000091
二、本发明人体关键点识别系统的关键点安全防护判断模块接收摄像头图像以及人体肢体关键点位置识别模块的输出数据，判断作业人员是否佩戴安全帽、是否佩戴防护服与防护手套，主要过程如下：
本模块的目的是实现在带电作业中的目标安全监测，如：安全帽、防护服等的检测。选择了YOLO模型作为检测基础模型，联合网络DensetNet和ResNet网络优秀特点，并采用了迁移学习的方法，构建了新型、高效的目标识别网络。传统检测算法比较，它们的主要区别是传统检测算法把检测问题划归为图像分类问题，整个检测过程利用的是滑动窗口技术，其原理是首先采用不同的窗口在图片上以特定步长滑动，然后对窗口内的图像进行分类。但是这种方法存在着窗口大小设置和步长选择等问题，且计算量相对较大，不能够实现快速检测。而本发明则将检测问题划归为回归问题，检测图片被划分为若干单元块，由各个单元块独自完成检测任务，分析落在其中心点的目标，并给出预测类型结果、边界框以及置信度等参数。本发明模型检测的优点主要有：由于其检测速度快，实时性强；预测时会完整分析单位块内整个图片信息，没有对网格数进行限制；可以获得目标图像的普适化特征，泛化能力强。
(1)YOLO算法流程
YOLO网络结构将目标分类和目标定位作业相结合，置于单个卷积神经网络模型中。其YOLO作业流程如下所述：
Step1：首先将摄像头获取的输入每帧视频流图像划分为M×N个单元格，并在每个单元格提取W个初始候选框。
Step2：对W个初始候选框进行目标识别，计算每个候选框中存在目标的预测置信度。若候选框不存在目标物体，则候选置信度值为零，若存在物体，置信度为预测框与真实框的比值。并对存在目标物体的候选框进行目标对象类别的识别。
Step3：候选框中包含了目标对象的置信度及边界框的位置信息，最终YOLO网络将输出向量为(X、Y、W、H、置信度C)，其中X、Y相对预测框的中心点坐标，W、H分别表示预测框的长宽，置信度C(confidence)则表示含有目标对象的候选框为真实样本的概率。
Step4：通过作业人员的运动轨迹进行解决头部与身体部位的遮挡问题，给出遮挡部位的虚拟的安全监测识别判断结果。
Step5：最终给出全部安全监测识别结果，全部安全监测识别结果为：是否带有安全帽、是否穿戴防护服以及是否穿戴防护手套。
(2)基于YOLO的半监督学习安全监测识别算法
基于YOLO的半监督学习安全监测识别算法，实现了在保持准确率不变的情况对样本标注与收集作业的简化，并提高了小目标的准确率。与模型的泛化能力使得能适用于施工现场工程需求的实时识别。基于YOLO的半监督学习安全监测识别算法总体框架主要包括了三个步骤：
1)设计作业人员识别网络与安全监测识别网络结构，该网络是一种级联网络结构，由一个有粗到精的过程，有效提高捕捉作业人员未佩戴安全的不安全行为效率，比较适合远景监控镜头的小目标对象；
2)选取大型公共数据集与少量真实施工现场环境图像集对网络模型进行离线训练，对网络模型的参数确定并微调，进而得到一个泛化模型；
3)在泛化模型基础上利用半监督学习方式进行在线学习，从而增强了目标单目相机在特定场景下的泛化能力，并通过作业人员的运动轨迹进行解决头部与身体部位的遮挡问题。
三、带电体识别系统首先通过人工智能神经网络对带电体语义分割和识别，然后带电体测量仪器辅助判断其是否带电。本发明使用Mask RCNN进行带电体的语义分割识别。通过设置带电体识别系统，当作业人员需要带电作业时，在带电体识别系统的配合下，从而得以对带电体位置进行判断。后期空间位置判断系统结合激光雷达产生的空间位置点云数据，计算出带电体的空间位置信息，及时预警人员肢体与带电体之间的距离，避免带电作业的安全隐患，提高了带电作业的安全性。
四、激光雷达与摄像头融合以及位置补偿
激光雷达与摄像头融合，其实相当于是激光雷达发挥激光雷达的优势，摄像头发挥摄像头的优势。激光雷达能获取点云位置信息，摄像头能获取更丰富的细节信息。本发明需要获取相机与激光雷达位置外参，将点云三维坐标系下的点投影到相机三维坐标系下，通过建立点云和图像像素点之间的对应关系，建立激光雷达与摄像头融合。由于本发明的使用场景抖动很大(工程车辆抖动、作业斗抖动、人体运动加剧抖动等)，激光雷达的刷新频率比较低。为了增加空间位置数据的精度，本发明采用高精度惯性传感器(IMU)，及时对激光雷达-视觉的定位误差。
上述实施方式只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种基于人工智能精准定位的带电作业主动预警与安全监测系统，其特征在于，包括主动预警系统、激光雷达、惯性传感器和摄像头，还包括人体关键点识别系统、带电体识别系统、数据融合系统以及空间位置判断系统，所述摄像头分别与人体关键点识别系统、带电体识别系统、数据融合系统电连接，所述激光雷达、惯性传感器分别与数据融合系统电连接，所述人体关键点识别系统输出端、带电体识别系统输出端以及数据融合系统输出端分别与所述空间位置判断系统输入端连接；
所述人体关键点识别系统包括人体肢体关键点位置识别模块、关键点安全防护判断模块；所述人体肢体关键点位置识别模块接收摄像头图像并基于改进后的卷积位姿机网络对人体肢体关键点位置快速识别；所述关键点安全防护判断模块接收摄像头图像以及所述人体肢体关键点位置识别模块的输出数据，其中设有安全帽识别模块、防护服和防护手套识别模块，分别用于判断作业人员是否佩戴安全帽、是否佩戴防护服与防护手套；
所述带电体识别系统包括带电体图像识别模块和带电体测量仪器，所述带电体图像识别模块通过人工智能神经网络对带电体语义分割和识别并结合带电体测量仪器辅助判断其是否带电；
所述融合系统获取摄像头、激光雷达以及惯性传感器数据，并对其进行融合后传输至所述空间位置判断系统；
所述空间位置判断系统分别通过摄像头、激光雷达以及惯性传感器并经人体关键点识别系统、带电体识别系统、数据融合系统获取带电体空间位置以及作业人员空间位置，判断空间位置是否正常；
所述人体关键点识别系统、带电体识别系统以及空间位置判断系统均与所述主动预警系统连接，分别用于控制主动预警系统进行报警；
所述人体肢体关键点位置识别模块基于改进后的卷积位姿机网络对人体肢体关键点位置快速识别，其具体为：选择四阶段网络的卷积位姿机，引入四阶段跳跃连接设计结构，当前阶段网络的输入来源包括：MultiBlock_1操作后输出的特征数据、小中心图特征数据、上一阶段网络输出的特征数据以及所述上一阶段网络之前的一个阶段网络输出的特征数据，其中，中心图为获取的摄像头图像原图与高斯函数模板进行卷积操作，生成的中心图，中心图池化后为小中心图；
改进后的卷积位姿机网络对人体肢体关键点位置快速识别的具体步骤为：
Step1： 获取的摄像头图像原图与高斯函数模板进行卷积操作，生成中心图；
Step2：中心图池化为小中心图，并送入第二，第三和第四阶段网络；
Step3： 获取的摄像头图像原图经过MultiBlock_1操作后，送入第二、第三和第四阶段网络；
Step4： 获取的摄像头图像原图经过MultiBlock_0操作后，送入第二和第三阶段网络；
Step5：第二阶段网络操作后的特征数据，送入第三和第四阶段网络；
Step6：在第四阶段网络，特征数据经过汇合后，经过ConvBlock操作后输出64*64*18的特征数据；
MultiBlock_0的内部结构为9×9卷积、2×池化、9×9卷积、2×池化、9×9卷积、2×池化、5×5卷积、9×9卷积、1×1卷积、1×1卷积；
MultiBlock_1的内部结构为9×9卷积、2×池化、9×9卷积、2×池化、9×9卷积、2×池化、5×5卷积；
ConvBlock的内部结构为11×11卷积、11×11卷积、11×11卷积、1×1卷积、1×1卷积。
2.根据权利要求1所述的基于人工智能精准定位的带电作业主动预警与安全监测系统，其特征在于，所述关键点安全防护判断模基于改进后YOLO网络实现在带电作业中的目标安全监测，包括是否佩戴安全帽、是否佩戴防护服与防护手套，所述改进后YOLO网络具体为：选择了YOLO模型作为检测基础模型，联合网络DensetNet和ResNet网络，并采用迁移学习方法，构建目标识别网络；选取公共数据集与施工现场环境图像集对目标识别网络模型进行离线训练，进而得到一个泛化模型；在所述泛化模型基础上，通过制作的带有标注的带电作业的安全监测图片，利用半监督学习方式进行再次训练学习。
3.根据权利要求2所述的基于人工智能精准定位的带电作业主动预警与安全监测系统，其特征在于，基于改进后YOLO网络对是否佩戴安全帽进行检测，其具体步骤为：
S1：将摄像头获取的输入每帧视频流图像划分为M ×N个单元格，并在每个单元格提取W个初始候选框；
S2：对W个初始候选框进行目标识别，计算每个候选框中存在目标的预测置信度；
S3：若所述候选框不存在目标物体，则候选置信度值为零，若所述候选框存在目标物体，置信度为预测框与真实框的比值，并对存在目标物体的候选框进行目标对象类别的识别；
S4：所述候选框中包含了目标对象的置信度及边界框的位置信息，最终YOLO网络将输出向量为(X、Y、W、H、置信度C)，其中X、Y为相对预测框的中心点坐标，W、H分别表示预测框的长宽，置信度C则表示含有目标对象的候选框为真实样本的概率；
S5：通过作业人员的运动轨迹解决头部与身体部位的遮挡问题，给出遮挡部位的虚拟的安全监测识别判断结果；
S6：根据S4与S5的判别结果，给出全部安全监测识别结果。
4.根据权利要求3所述的基于人工智能精准定位的带电作业主动预警与安全监测系统，其特征在于，所述S6中全部安全监测识别结果为：是否带有安全帽、是否穿戴防护服以及是否穿戴防护手套。
5.根据权利要求1至4任一所述的基于人工智能精准定位的带电作业主动预警与安全监测系统，其特征在于，所述数据融合系统获取摄像头与激光雷达位置内参和外参，将点云三维坐标系下的点投影到相机三维坐标系下，通过建立点云和图像像素点之间的对应关系，建立激光雷达与摄像头数据标定；并融合惯性传感器数据对激光雷达-视觉融合数据进一步补偿定位误差。
CN202110355414.6A 2021-04-01 2021-04-01 一种带电作业主动预警与安全监测系统 Active CN113221640B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110355414.6A CN113221640B (zh) 2021-04-01 2021-04-01 一种带电作业主动预警与安全监测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110355414.6A CN113221640B (zh) 2021-04-01 2021-04-01 一种带电作业主动预警与安全监测系统

Publications (2)

Publication Number Publication Date
CN113221640A CN113221640A (zh) 2021-08-06
CN113221640B true CN113221640B (zh) 2022-07-22

Family

ID=77086283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110355414.6A Active CN113221640B (zh) 2021-04-01 2021-04-01 一种带电作业主动预警与安全监测系统

Country Status (1)

Country Link
CN (1) CN113221640B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311831A (zh) * 2022-08-01 2022-11-08 太湖流域管理局苏州管理局 一种电气柜监测系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287804A (zh) * 2019-05-30 2019-09-27 广东电网有限责任公司 一种基于移动视频监控的电力作业人员着装识别方法
CN112149513A (zh) * 2020-08-28 2020-12-29 成都飞机工业（集团）有限责任公司 基于深度学习的工业制造现场安全帽佩戴识别系统和方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287804A (zh) * 2019-05-30 2019-09-27 广东电网有限责任公司 一种基于移动视频监控的电力作业人员着装识别方法
CN112149513A (zh) * 2020-08-28 2020-12-29 成都飞机工业（集团）有限责任公司 基于深度学习的工业制造现场安全帽佩戴识别系统和方法

Also Published As

Publication number Publication date
CN113221640A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
Zhang et al. A critical review of vision-based occupational health and safety monitoring of construction site workers
CN111898514B (zh) 一种基于目标检测与动作识别的多目标视觉监管方法
CN110502965B (zh) 一种基于计算机视觉人体姿态估计的施工安全帽佩戴监测方法
CN107833236A (zh) 一种动态环境下结合语义的视觉定位系统和方法
CN112434669B (zh) 一种多信息融合的人体行为检测方法及系统
CN114885133B (zh) 基于深度图像的设备安全实时监控方法、系统及相关设备
CN115294533B (zh) 基于数据处理的建筑施工状态监测方法
CN113221640B (zh) 一种带电作业主动预警与安全监测系统
CN115797864A (zh) 一种应用于智慧社区的安全管理系统
Yang et al. Probabilistic reasoning for unique role recognition based on the fusion of semantic-interaction and spatio-temporal features
CN116665305A (zh) 基于计算机视觉和知识图谱的工人行为检测方法和系统
Chang et al. Safety risk assessment of electric power operation site based on variable precision rough set
Zhang et al. Semantic segmentation of point clouds of field obstacle-crossing terrain for multi-legged rescue equipment based on random forest
Yang et al. Dynamic Speed and Separation Monitoring Based on Scene Semantic Information
Gao et al. Molten metal hazards monitoring and early warning system based on convolutional neural network
CN113313734A (zh) 一种基于线性外推预测的运动目标跟踪方法
Xiaolu et al. Electric intelligent safety monitoring identification based on YOLOv4
Yang et al. A real-time framework for dangerous behavior detection based on deep learning
Sun et al. Detection and tracking of safety helmet in factory environment
He et al. An Automatic Reflective Clothing Detection Algorithm Based on YOLOv5 for Work Type Recognition
Xie et al. Fast Intrusion Detection in High Voltage Zone of Electric Power Operations Based on YOLO and Homography Transformation Algorithm
CN116883880B (zh) 一种基于ar技术的起重机识别方法、装置和电子设备
Feng et al. A Power Grid Equipment Fault Prediction Model Based on Faster RCNN and Video Streaming
Zhang et al. YOLOv5-based fatigue state detection method
Kong et al. Abnormal Behavior Recognition Model of Power Grid Based on Multi-Scale Feature Fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant