CN117115728A - 一种应用于变电站现场作业的风险识别方法及系统 - Google Patents

一种应用于变电站现场作业的风险识别方法及系统 Download PDF

Info

Publication number
CN117115728A
CN117115728A CN202310857545.3A CN202310857545A CN117115728A CN 117115728 A CN117115728 A CN 117115728A CN 202310857545 A CN202310857545 A CN 202310857545A CN 117115728 A CN117115728 A CN 117115728A
Authority
CN
China
Prior art keywords
point cloud
point
dimensional
data
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310857545.3A
Other languages
English (en)
Inventor
张祥全
单长旺
王利平
周华良
聂江龙
卢璐
贺洲强
苏战涛
陈钊
狄磊
马宏忠
王晶
孙瀚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
STATE GRID GASU ELECTRIC POWER RESEARCH INSTITUTE
State Grid Gansu Electric Power Co Ltd
State Grid Electric Power Research Institute
Original Assignee
STATE GRID GASU ELECTRIC POWER RESEARCH INSTITUTE
State Grid Gansu Electric Power Co Ltd
State Grid Electric Power Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by STATE GRID GASU ELECTRIC POWER RESEARCH INSTITUTE, State Grid Gansu Electric Power Co Ltd, State Grid Electric Power Research Institute filed Critical STATE GRID GASU ELECTRIC POWER RESEARCH INSTITUTE
Priority to CN202310857545.3A priority Critical patent/CN117115728A/zh
Publication of CN117115728A publication Critical patent/CN117115728A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Electricity, gas or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G06Q50/265—Personal security, identity or safety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Abstract

本发明公开了一种应用于变电站现场作业的风险识别方法，包括以下步骤：对三维实景点云地图进行点云的聚类和语义分割；载入三维点云地图，导入工作票，布置变电站安全管控终端及激光雷达模块；对工作区域内的点云进行聚类和语义分割，完成三维点云地图与点云数据融合匹配；通过对工作人员的实时定位，进行实时监护，完成人员身份信息、违章行为的识别；对语义点云进行识别，匹配深度学习的风险识别库，对人员风险行为进行识别和告警。本发明还公开了一种应用于变电站现场作业的风险识别系统，包括与上述方法配合使用的装置及模块。本发明具有响应速度快、覆盖范围广、视频联动辅助监护、就地实时语音告警提示、全作业流程视频留存等优点。

Description

一种应用于变电站现场作业的风险识别方法及系统
技术领域
本发明属于变电站安全作业技术领域，尤其是涉及一种应用于变电站现场作业的风险识别方法及系统。
背景技术
目前，随着新型电力系统建设的升级提速，新设备、新技术、新系统、新运行管理模式不断在输变电工程中推广应用，风险识别难度进一步提升，现有作业管控力量不足，监控能力有限，新的安全风险点不断出现，对现场作业人员的作业能力及行为规范化水平提出新的挑战，安全生产形势依然严峻。
输变电作业现场的安全监护方式主要有人盯人监护、利用视频摄像头进行远程监护和智能识别、佩戴带定位终端对作业人员工作路线进行监督，其中人盯人的监护方式受制于人员素质参差不齐、人员梳理短缺、工作面广的方式的限制，很多安全隐患不能得到有效的识别和提示，安全事件时有方式；传统的二维影像识别技术难以捕捉到人员、设备、环境的精确空间位置信息，不能自主分辨电力场景的前景和背景，因而制约了电网工程安全风险辨识与作业管控的智能化提升；诸如智慧头盔、智慧工牌等具有GPS定位功能的可穿戴定位终端受佩戴方式、应用场景等影响，一般精度偏差在0.5米至1.5米之间，难以实现现场作业人员的高精准无感定位。
基于上述安全监护方式的缺陷，现有技术中，申请号为“2020110519231”名称为“一种变电站现场作业安全预警方法”的中国发明专利，将三维点云扫测方法和图像监控方法结合，以处理具体问题，从而具有模块化、准确率高、检测面积广、监管全面、变电站现场作业数据信息化的特点；但是，该方法将三维点云和图像监控结合增加了系统整体的计算量，导致在实际的使用中响应速度缓慢增加了现场作业的风险；其次，该专利中对于三维地图与实时点云融合匹配主要通过相机来实现，地图和点云之间匹配的误差大，导致现场作业时的定位精度和异常检测精度差。
发明内容
发明目的：本发明的目的旨在提供一种安全性好、定位精度高的应用于变电站现场作业的风险识别方法；本发明的另一目的旨在提供一种应用于变电站现场作业的风险识别系统。
技术方案：本发明所述的应用于变电站现场作业的风险识别方法，包括以下步骤：
对变电站场景进行三维实景点云扫描，采集变电站的三维点位数据和实景照片数据；
将采集到变电站的三维点位数据和实景照片数据转变成变电站三维实景点云地图；
对三维实景点云地图进行点云的聚类和语义分割；
载入三维点云地图，导入工作票，布置变电站安全管控终端及激光雷达模块；
对工作区域内的点云进行聚类和语义分割，完成三维点云地图与点云数据融合匹配；
通过对工作人员的实时定位，进行实时监护，完成人员身份信息、违章行为的识别；
对语义点云进行识别，匹配深度学习的风险识别库，对人员风险行为进行识别和告警。
其中，所述将采集到变电站的三维点位数据和实景照片数据转变成变电站三维实景点云地图，包括通过数据解析、轨迹分析、坐标转换、生成点云、点云着色和地图发布，将采集到的变电站三维点云数据转变成变电站三维实景点云地图。
其中，所述对三维实景点云地图进行点云的聚类和语义分割包括通过对点云的聚类，分割出各设备点云，通过深度学习匹配各的设备的典型点云，完成设备语义点云的自动标注；点云的聚类包括先进行预处理，通过离群点云滤除法进行噪声点的滤除，减少噪声点云对设备聚类分割的影响；然后进行地面点云进行滤除，通过随机采样执行算法对地面进行检测，将检测出来的地面数据与待聚类的设备点云进行区分；最后进行设备点云的积累，通过基于最近邻搜索的欧式聚类算法对待聚类的点云进行聚类和分割，配合数据库中的典型设备的点云信息，实现数据的聚类并完成对点云设备语义点云的分割。
其中，所述随机采样执行算法对地面进行检测包括设定算法的迭代次数为I，距离误差阈值为ΔT1，点云的总点数为N，在初始时随机选取3个点构成待拟合地面，设3个点的三维坐标为(X1，Y1，Z1)、(X2，Y2，Z2)、(X3，Y3，Z3)则拟合的平面模型为：
Ax+By+Cz+D＝0；
其中：
A＝(Y2-Y1)(Z3-Z1)-(Z2-Z1)(Y3-Y1)；
B＝(Z2-Z1)(X3-X1)-(X2-X1)(Z3-Z1)；
C＝(X2-X1)(Y3-Y1)-(Y2-Y1)(X3-X1)；
D＝-(AX1+BY1+CZ1)；
则空间任意一点(X0，Y0，Z0)到该平面的距离L如下所示：
当某点与此次假设平面的距离L≤ΔT1时，则此点为模型内点；依次遍历除初始采样的3点之外的其他N-3个点，记录此模型的内点数目；再随机采样3个点构造一个平面模型，按照同样的方法得到该模型的内点数目；按照此随机采样的方法迭代I次；随着迭代次数的增加产生合理结果的概率亦随之增加；最终基于每个模型的内点数目表决，选取内点数目最多的地面模型即为最佳拟合结果；最终完成地面点云与带聚类点云的分割，后续只需要对带聚类点云进行处理，极大的减轻了聚类的计算量；在使用最近邻搜索的欧式聚类算法进行点云聚类时，假设待搜索的节点坐标为(Xn，Yn，Zn)，目标点的坐标为(Xt，Yt，Zt)，令：
Δx＝Xn-Xt；
Δy＝Yn-Yt；
Δz＝Zn-Zt；
若||Δx|≤ΔT、|Δy|≤ΔT、|Δz|≤ΔT的3个条件同时满足，则计算待检测点与目标点的欧氏距离D，计算公式为：
若D≤ΔT，则认为此节点为目标点的最近邻点；按照此方法对所有点进行搜索，直到满足距离误差阈值的所有最近邻点搜索完毕；将搜索到的该目标点的最近邻点均记录在一个集合中，并将集合的点云数据与数据库中的点云数据进行匹配，得到聚类点云的设备属性。
其中，所述载入三维点云地图，导入工作票，布置变电站安全管控终端及激光雷达模块包括工作票获取与自动解析，通过接入PMS自动导入工作票或者受到导入电子版的工作票的方式，自动读取工作票的工作成员和工作内容信息，自动生产电子围栏，完成虚拟安措的布置；激光雷达模块布置是将定点三维激光雷达模块放置于工作区域的边缘位置，激光雷达采用电池供电和无线通讯方式实现与主服务设备之间的通讯，定点三维激光雷达模块包括三维激光雷达、全向云台、语音对讲、语音播报、无线通讯、电池、电源管理和边缘处理器；变电站安全管控终端是集成激光雷达网络接入、视频接入、数据处理与管控和对上通讯的可移动的边缘管控装置，实现激光雷达数据的分析、视频联动与分析、就地告警通讯与远程告警推送等功能。
其中，所述对工作区域内的点云进行聚类和语义分割，完成三维点云地图与点云数据融合匹配包括激光雷达的多机标定，将三维地图与激光雷达实时数据进行匹配；激光雷达对工作区域进行实时点云数据的采集，对后续功能分析提供原始数据；三维地图与实时点云数据水位融合匹配，标定后的激光雷达数据与三维地图的数据在同一坐标系下，激光点云采集到的实时数据可与三维地图进行匹配，进行工作区域实时点云的展示。
其中，所述三维地图与实时点云数据水位融合匹配包括首先构建两个点集P和Q，其中P＝{Pi，i＝1，2，3，...，k}，Q＝{Qi，i＝1，2，3，...，n}；将将实时点放在点集P中，三维地图的点云数据存储在点集Q中，两个点集的数量不一定相等，常规情况k＞n；匹配过程就是把Q的坐标系通过旋转和平移，找到旋转矩阵R和平移矩阵T，将Q点集中的与P点集中的对应点的距离最小，经过配准后，P和Q中的每个点的关系如下：
Pi＝RQi+T；
然后基于四元数法求解旋转矩阵R和平移矩阵，架设一个单位的四元数qR＝[q0，q1，q2，q3]T，其中且q0＞0，则旋转矩阵R如下：
平移矩阵的定义为qT＝[q4，qT5，q6]T，由旋转矩阵和平移矩阵构成的配准向量为 求出点集P和Q的重心，最终得到R和T后，就可以求出点集P和Q之间的欧式距离如下：
其中，L2值越小，则说明两个点集的匹配误差越小，点集相识度越高，完成点云的匹配。
其中，所述通过对工作人员的实时定位包括使用基于点云的背景减除法分析出工作人员的点云数据，将离散的点云滤除地面和设备，得到移动的点云簇；经过对点云簇进行聚类，采用滚圆法得到点云的边界，然后对点云进行三维投影，提出点云特征信息，完成目标分类和点云骨架信息；通过点云类别和骨架信息，对点云进行实时定位分析，得到对工作人员点云的实时位置数据。
其中，所述对语义点云进行识别，匹配深度学习的风险识别库，对人员风险行为进行识别和告警包括视频跟踪与图像识别，通过的得到的工作人员的实时位置，结合图像识别算法进行基于人脸信息的身份识别，以及对违规违章行为进行识别；基于语义点云的人员行为识别，通过椭球体模型拟合点云边界，得到工作人员与设备的距离信息，用于判别是否安装安全距离要素，通过结合电子围栏信息判别是否存在违规越界和误入间隔的行为，根据重心高度判别当前行为人是否有非法攀高的行为；基于语义点云的风险判别，将语义点云的骨干信息与人员的关节信息进行融合，通过对当前帧点云与前历史10帧内的数据进行匹配，进行语义点云的趋势分析，对工作人员进行趋势判别，对存在安全隐患的行为进行及时的语音提示，及时提醒工作人员。
一种应用于变电站现场作业的风险识别系统，包括：
三维实景点云扫描模块，对变电站场景进行三维实景点云扫描，采集变电站的三维点位数据和实景照片数据；
三维实景点云数据处理模块，将采集到变电站的三维点位数据和实景照片数据转变成变电站三维实景点云地图，以及对三维实景点云地图进行点云的聚类和语义分割；
多机雷达部署与标定模块，用于载入三维点云地图，导入工作票，布置变电站安全管控终端及激光雷达模块；
实时点云采集模块包括，用于对工作区域内的点云进行聚类和语义分割，完成三维点云地图与点云数据融合匹配，
无感人员定位模块，用于通过对工作人员的实时定位，进行实时监护，完成人员身份信息、违章行为的识别；
人员行为风险识别模块，用于对语义点云进行识别，匹配深度学习的风险识别库；
视频联动与语音告警模块，用于对人员风险行为进行识别和告警。
有益效果：与现有技术相比，本发明具有以下显著的进步：本发明利用三维激光点云扫描与检测技术，结合图像识别技术，通过构建工作区域的三维立体空间点云，全方位实时检测工作区域点云，实现厘米级定位精度和异常行为检测，具有响应速度快、覆盖范围广、视频联动辅助监护、就地实时语音告警提示、全作业流程视频留存的优点；同时对点云进行预处理减少了系统的运算量，进一步的加快了系统的响应速度；其次在三维地图与实时点云融合匹配的过程中计算欧式距离，增加了地图与实时点云匹配的精度；对与解决输变电站现场误入间隔、超范围作业、不合理使用大型工器具等违规或不安全行为有极大的帮助，提高现场作业人员和设备的安全。
附图说明
图1为本发明的流程示意图。
具体实施方式
本发明的流程示意图如图1所示，一种应用于变电站现场作业的风险识别方法，包括以下步骤：变电站场景三维实景点云扫描、三维实景点云数据处理、工作票导入与电子围栏部署、多机雷达部署与标定、实时点云采集与处理、无感人员定位、人员行为风险识别、安全管控模块和视频联动与语音告警。
对变电站场景进行三维实景点云扫描，获取变电站内的设备、建筑物等物体的三维点位数据和实景照片数据，包括三维激光雷达、全景相机、高精度惯导、采集与存储工控机、运动机构或背负机构、电池供电模块，并将各模块固定安装至背负机构上，方便进行数据的采集。由于三维实景点云扫描设备涉及到多个传感器，各设备通过可充电电池供电并与采集系统完成数据通讯，工作人员背负数据采集设备，在站内完成全覆盖道路行走，将站内原始数据的采集并存储到搭载的工控机内，包括：三维激光点云数据、全景相机图像数据、高精度惯导的位置信息等。
通过采集软件系统的自动标定功能，进行设备坐标系的标定和转换工作，将各传感器的坐标系统一；启动采集软件，主动连接激光雷达、全景相机和高精度高端设备，连接无误后，触发采集按钮，开始进行数据的采集，背负采集设备在变电站内行走进行数据的采集工作，为了保证采集效果，采集数据时需要在变电站内无工作时进行并尽量多的覆盖可通行道路，保证数据的采集的精度；完成数据采集后，停止数据采集工作，将采集到的数据进行存储及导出，在完成所有工作后，退出采集软件并关闭设备。
实时点云采集与处理，包括将采集的变电站数据导入到三维实景点云处理软件系统内，通过数据解析、轨迹分析、坐标转换、生成点云、点云着色和地图发布等工作，实现采集到的变电站三维点云数据转变成变电站三维实景点云地图。
数据解析是将工程文件内的点云文件、实景文件和惯导文件解析成数据处理所需要的临时文件格式；然后进行轨迹分析，通过回环检测得到设备行走的轨迹信息；将轨迹信息与坐标系进行匹配，完成坐标系的转换，各传感器数据统一坐标系后，生产带有坐标(x,y,z)信息的点云，通过点云着色，实现变电站内设备、设施的彩色点云信息，采用激光SLAM技术，计算并生成变电站的三维点云地图，并进行可视化的三维点云地图的发布。
点云分割与识别是通过点云的聚类分析，自动获取到变电站内设备的语义点云。
自动生成的三维点云地图为离散的点云数据，无法自动筛选出设备、的点云信息，因为变电站内的设备和布局有一定的规律可循，通过对点云的聚类，分割出各设备点云，通过深度学习匹配各的设备的典型点云，完成设备语义点云的自动标注。
点云聚类首先进行预处理，通过离群点云滤除法进行噪声点的滤除，减少噪声点云对设备聚类分割的影响；然后进行地面点云进行滤除，因为设备均在地面以上，为了减少运算量，将地面大量的点云数据进行滤除，通过随机采样执行算法对地面进行检测，将检测出来的地面数据与待聚类的设备点云进行区分；最后进行设备点云的积累，通过基于最近邻搜索的欧式聚类算法对待聚类的点云进行聚类和分割，配合数据库中的典型设备的点云信息，实现数据的聚类并完成对点云设备语义点云的分割。
在机采样执行算法对地面进行检测时，首先设定算法的迭代次数为I，距离误差阈值为ΔT1，点云的总点数为N，在初始时随机选取3个点构成待拟合地面，设3个点的三维坐标为(X1，Y1，Z1)、(X2，Y2，Z2)、(X3，Y3，Z3)则拟合的平面模型为公式(1)所示：
Ax+By+Cz+D＝0 (1)
其中：
A＝(Y2-Y1)(Z3-Z1)-(Z2-Z1)(Y3-Y1)；
B＝(Z2-Z1)(X3-X1)-(X2-X1)(Z3-Z1)；
C＝(X2-X1)(Y3-Y1)-(Y2-Y1)(X3-X1)；
D＝-(AX1+BY1+CZ1)；
则空间任意一点(X0，Y0，Z0)到该平面的距离L如公式(2)所示：
当某点与此次假设平面的距离L≤ΔT1时，则此点为模型内点。依次遍历除初始采样的3点之外的其他N-3个点，记录此模型的内点数目。
再随机采样3个点构造一个平面模型，按照同样的方法得到该模型的内点数目。按照此随机采样的方法迭代1次。随着迭代次数的增加产生合理结果的概率亦随之增加。最终基于每个模型的内点数目表决，选取内点数目最多的地面模型即为最佳拟合结果。最终完成地面点云与带聚类点云的分割，后续只需要对带聚类点云进行处理，极大的减轻了聚类的计算量；
在使用最近邻搜索的欧式聚类算法进行点云聚类时，假设待搜索的节点坐标为(Xn，Yn，Zn)，目标点的坐标为(Xt，Yt，Zt)，令
Δx＝Xn-Xt； (3)
Δy＝Yn-Yt； (4)
Δz＝Zn-Zt； (5)
若||Δx|≤ΔT、|Δy|≤ΔT、|Δz|≤ΔT的3个条件同时满足，则计算待检测点与目标点的欧氏距离D，计算公式为
若D≤ΔT，则认为此节点为目标点的最近邻点。按照此方法对所有点进行搜索，直到满足距离误差阈值的所有最近邻点搜索完毕。将搜索到的该目标点的最近邻点均记录在一个集合中，并将集合的点云数据与数据库中的点云数据进行匹配，得到聚类点云的设备属性。
上述步骤是可以一次性完成，设备区发生变化后进行定期更新点云数据即可，后续步骤需要根据每次工作内容进行重新执行。
三维激光雷达设备的现场部署，首先根据工作票信息获取工作内容，然后部署安全管控边缘终端和激光雷达监护模块。
工作票获取与自动解析，通过接入PMS自动导入工作票或者受到导入电子版的工作票的方式，自动读取工作票的工作成员和工作内容信息，自动生产电子围栏，完成虚拟安措的布置。
三维激光雷达监护模块布置是将定点三维激光雷达模块放置于工作区域的边缘位置，优选的放在工作区域的四角，激光雷达采用电池供电和无线通讯方式实现与主服务设备之间的通讯，定点三维激光雷达模块包括三维激光雷达、全向云台、语音对讲、语音播报、无线通讯、电池、电源管理和边缘处理器。
变电站安全管控终端是集成激光雷达网络接入、视频接入、数据处理与管控和对上通讯的可移动的边缘管控装置，实现激光雷达数据的分析、视频联动与分析、就地告警通讯与远程告警推送等功能。
激光雷达优选16线以上的三维激光雷达，进行现场点云的采集，其原理是通过发射接收激光，利用TOF原理来获取三维距离信息，并通过边缘处理节点将距离信息组合成单帧点云数据进行发布，其检测距离可达100m，为遵循充分利用激光雷达视野、盲区尽量小的原则，本实施例将激光雷达水平安装在1.5米高度的立柱上。
三维激光雷达的多机标定，是通过扫描的变电站三维地图，根据激光雷达的部署位置，在三维地图上进行位置标定，将三维地图与激光雷达实时数据进行匹配。
登录三维点云可视化地图，根据激光雷达的实际部署位置，在三维点云地图里选择一个粗略的位置作为点云匹配的初始值，通过激光雷达实际获取到的点云数据与点云地图进行匹配，使用非线性优化算法对激光雷达的位置坐标进行求解，使得激光雷达在三维点云地图上的位置坐标精准标定。
因存在多个激光雷达，需要依次完成各激光雷达的标定，各激光雷达相互补充遮挡区域，无死角全覆盖工作区域。
激光雷达对工作区域进行实时点云数据的采集，对后续功能分析提供原始数据。
因现场激光雷达数量较多，未将各雷达的激光数据进行区分，点云数据附带设备id号。
三维地图与实时点云融合匹配，标定后的激光雷达数据与三维地图的数据在同一坐标系下，激光点云采集到的实时数据可与三维地图进行匹配，进行工作区域实时点云的展示。
首先构建两个点集P和Q，其中P＝{Pi，i＝1，2，3，...，k}，Q＝{Qi，i＝1，2，3，...，n}。将将实时点放在点集P中，三维地图的点云数据存储在点集Q中，两个点集的数量不一定相等，常规情况k＞n。匹配过程就是把Q的坐标系通过旋转和平移，找到旋转矩阵R和平移矩阵T，将Q点集中的与P点集中的对应点的距离最小，经过配准后，P和Q中的每个点的关系如下：
Pi＝RQi+T； (7)
然后基于四元数法求解旋转矩阵R和平移矩阵，架设一个单位的四元数qR＝[q0，q1，q2，q3]T，其中且q0＞0，则旋转矩阵R如下：
假设平移矩阵的定义为qT＝[q4，qT5，q6]T，则由旋转矩阵和平移矩阵构成的配准向量为然后分别求出点集P和Q的重心，最终得到R和T后，就可以求出点集P和Q之间的欧式距离如下：
其中L2值越小，则说明两个点集的匹配误差越小，点集相识度越高，完成点云的匹配。
实时点云的背景滤除是根据三维地图的点云信息与实时点云的信息，将实时点云种背景数据进行滤除，包里地面、现场运行设备、立柱等点云，减少实时点云运算量，提高运算速度。
使用基于点云的背景减除法分析出工作人员的点云数据，在完成点云匹配后，将离散的点云滤除地面和设备，得到移动的点云簇。
对点云簇进行聚类和分析，通过对滤波后的点云聚类，完成工作区域人员或工器具的点云拟合，得到点云簇的骨干网络。
经过对点云簇进行聚类，采用滚圆法得到点云的边界，然后对点云进行三维投影，提出点云特征信息，完成目标分类和点云骨架信息。
通过点云进行实时定位，通过点云类别和骨架信息，对点云进行实时定位分析，得到点云的位置数据。
实时定位时，每100毫秒执行一次人员定位检测，模块收集100毫秒内的激光雷达数据并拼接成单帧点云，通过上述步骤完成人员位置数据的回传。
视频跟踪与图像识别，通过的得到的工作人员的实时位置，结合图像识别算法进行基于人脸信息的身份识别，以及对未戴安全帽、未穿工装、吸烟、安全带低挂高用等违规违章行为进行识别。
基于语义点云的人员行为识别，通过椭球体模型拟合点云边界，得到工作人员与设备的距离信息，用于判别是否安装安全距离要去，通过结合电子围栏信息判别是否存在违规越界和误入间隔等行为，根据重心高度判别当前行为人是否有非法攀高的行为。
基于语义点云的风险判别，将语义点云的骨干信息与人员的关节信息进行融合，通过对当前帧点云与前历史10帧内的数据进行匹配，进行语义点云的趋势分析，对工作人员进行趋势判别，对存在安全隐患的行为进行及时的语音提示，及时提醒工作人员。
异常行为的就地告警和视频联动抓拍，通过步骤10-步骤13，完成工作人员的异常行为判别，通过每100ms一帧的点云数据，当识别出异常行为后，就地进行语音告警，直至告警消失或人工复归后，告警停止，同事对告警期间的视频进行拼接，还原真实的告警过程并进行记录。最后将告警信息上传至上一级安全管控平台。
工作结束收工。当所有工作结束或者工作票结票时，需要收回激光雷达装置和变电站安全管控终端，并进行收工操作，形成工作闭环。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本发明实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言Java和直译式脚本语言JavaScript等。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种应用于变电站现场作业的风险识别方法，其特征在于：包括以下步骤：
对变电站场景进行三维实景点云扫描，采集变电站的三维点位数据和实景照片数据；
将采集到变电站的三维点位数据和实景照片数据转变成变电站三维实景点云地图；
对三维实景点云地图进行点云的聚类和语义分割；
载入三维点云地图，导入工作票，布置变电站安全管控终端及激光雷达模块；
对工作区域内的点云进行聚类和语义分割，完成三维点云地图与点云数据融合匹配；
通过对工作人员的实时定位，进行实时监护，完成人员身份信息、违章行为的识别；
对语义点云进行识别，匹配深度学习的风险识别库，对人员风险行为进行识别和告警。
2.根据权利要求1所述的一种应用于变电站现场作业的风险识别方法，其特征在于，所述将采集到变电站的三维点位数据和实景照片数据转变成变电站三维实景点云地图，包括通过数据解析、轨迹分析、坐标转换、生成点云、点云着色和地图发布，将采集到的变电站三维点云数据转变成变电站三维实景点云地图。
3.根据权利要求1所述的一种应用于变电站现场作业的风险识别方法，其特征在于，所述对三维实景点云地图进行点云的聚类和语义分割包括通过对点云的聚类，分割出各设备点云，通过深度学习匹配各的设备的典型点云，完成设备语义点云的自动标注；点云的聚类包括先进行预处理，通过离群点云滤除法进行噪声点的滤除，减少噪声点云对设备聚类分割的影响；然后进行地面点云进行滤除，通过随机采样执行算法对地面进行检测，将检测出来的地面数据与待聚类的设备点云进行区分；最后进行设备点云的积累，通过基于最近邻搜索的欧式聚类算法对待聚类的点云进行聚类和分割，配合数据库中的典型设备的点云信息，实现数据的聚类并完成对点云设备语义点云的分割。
4.根据权利要求3所述的一种应用于变电站现场作业的风险识别方法，其特征在于，所述随机采样执行算法对地面进行检测包括设定算法的迭代次数为I，距离误差阈值为ΔT1，点云的总点数为N，在初始时随机选取3个点构成待拟合地面，设3个点的三维坐标为(X1，Y1，Z1)、(X2，Y2，Z2)、(X3，Y3，Z3)则拟合的平面模型为：
Ax+By+Cz+D＝0；
其中：
A＝(Y2-Y1)(Z3-Z1)-(Z2-Z1)(Y3-Y1)；
B＝(Z2-Z1)(X3-X1)-(X2-X1)(Z3-Z1)；
C＝(X2-X1)(Y3-Y1)-(Y2-Y1)(X3-X1)；
D＝-(AX1+BY1+CZ1)；
则空间任意一点(X0，Y0，Z0)到该平面的距离L如下所示：
当某点与此次假设平面的距离L≤ΔT1时，则此点为模型内点；依次遍历除初始采样的3点之外的其他N-3个点，记录此模型的内点数目；再随机采样3个点构造一个平面模型，按照同样的方法得到该模型的内点数目；按照此随机采样的方法迭代I次；随着迭代次数的增加产生合理结果的概率亦随之增加；最终基于每个模型的内点数目表决，选取内点数目最多的地面模型即为最佳拟合结果；最终完成地面点云与带聚类点云的分割，后续只需要对带聚类点云进行处理，极大的减轻了聚类的计算量；在使用最近邻搜索的欧式聚类算法进行点云聚类时，假设待搜索的节点坐标为(Xn，Yn，Zn)，目标点的坐标为(Xt，Yt，Zt)，令：
Δx＝Xn-Xt；
Δy＝Yn-Yt；
Δz＝Zn-Zt；
若||Δx|≤ΔT、|Δy|≤ΔT、|Δz|≤ΔT的3个条件同时满足，则计算待检测点与目标点的欧氏距离D，计算公式为：
若D≤ΔT，则认为此节点为目标点的最近邻点；按照此方法对所有点进行搜索，直到满足距离误差阈值的所有最近邻点搜索完毕；将搜索到的该目标点的最近邻点均记录在一个集合中，并将集合的点云数据与数据库中的点云数据进行匹配，得到聚类点云的设备属性。
5.根据权利要求1所述的一种应用于变电站现场作业的风险识别方法，其特征在于，所述载入三维点云地图，导入工作票，布置变电站安全管控终端及激光雷达模块包括工作票获取与自动解析，通过接入PMS自动导入工作票或者受到导入电子版的工作票的方式，自动读取工作票的工作成员和工作内容信息，自动生产电子围栏，完成虚拟安措的布置；激光雷达模块布置是将定点三维激光雷达模块放置于工作区域的边缘位置，激光雷达采用电池供电和无线通讯方式实现与主服务设备之间的通讯，定点三维激光雷达模块包括三维激光雷达、全向云台、语音对讲、语音播报、无线通讯、电池、电源管理和边缘处理器；变电站安全管控终端是集成激光雷达网络接入、视频接入、数据处理与管控和对上通讯的可移动的边缘管控装置，实现激光雷达数据的分析、视频联动与分析、就地告警通讯与远程告警推送等功能。
6.根据权利要求1所述的一种应用于变电站现场作业的风险识别方法，其特征在于，所述对工作区域内的点云进行聚类和语义分割，完成三维点云地图与点云数据融合匹配包括激光雷达的多机标定，将三维地图与激光雷达实时数据进行匹配；激光雷达对工作区域进行实时点云数据的采集，对后续功能分析提供原始数据；三维地图与实时点云数据水位融合匹配，标定后的激光雷达数据与三维地图的数据在同一坐标系下，激光点云采集到的实时数据可与三维地图进行匹配，进行工作区域实时点云的展示。
7.根据权利要求6所述的一种应用于变电站现场作业的风险识别方法，其特征在于，所述三维地图与实时点云数据水位融合匹配包括首先构建两个点集P和Q，其中P＝{Pi，i＝1，2，3，...，k}，Q＝{Qi，i＝1，2，3，...，n}；将将实时点放在点集P中，三维地图的点云数据存储在点集Q中，两个点集的数量不一定相等，常规情况k＞n；匹配过程就是把Q的坐标系通过旋转和平移，找到旋转矩阵R和平移矩阵T，将Q点集中的与P点集中的对应点的距离最小，经过配准后，P和Q中的每个点的关系如下：
Pi＝RQi+T；
然后基于四元数法求解旋转矩阵R和平移矩阵，架设一个单位的四元数qR＝[q0，q1，q2，q3]T，其中且q0＞0，则旋转矩阵R如下：
平移矩阵的定义为qT＝[q4，qT5，q6]T，由旋转矩阵和平移矩阵构成的配准向量为 求出点集P和Q的重心，最终得到R和T后，就可以求出点集P和Q之间的欧式距离如下：
其中，L2值越小，则说明两个点集的匹配误差越小，点集相识度越高，完成点云的匹配。
8.根据权利要求1所述的一种应用于变电站现场作业的风险识别方法，其特征在于，所述通过对工作人员的实时定位包括使用基于点云的背景减除法分析出工作人员的点云数据，将离散的点云滤除地面和设备，得到移动的点云簇；经过对点云簇进行聚类，采用滚圆法得到点云的边界，然后对点云进行三维投影，提出点云特征信息，完成目标分类和点云骨架信息；通过点云类别和骨架信息，对点云进行实时定位分析，得到对工作人员点云的实时位置数据。
9.根据权利要求1所述的一种应用于变电站现场作业的风险识别方法，其特征在于，所述对语义点云进行识别，匹配深度学习的风险识别库，对人员风险行为进行识别和告警包括视频跟踪与图像识别，通过的得到的工作人员的实时位置，结合图像识别算法进行基于人脸信息的身份识别，以及对违规违章行为进行识别；基于语义点云的人员行为识别，通过椭球体模型拟合点云边界，得到工作人员与设备的距离信息，用于判别是否安装安全距离要素，通过结合电子围栏信息判别是否存在违规越界和误入间隔的行为，根据重心高度判别当前行为人是否有非法攀高的行为；基于语义点云的风险判别，将语义点云的骨干信息与人员的关节信息进行融合，通过对当前帧点云与前历史10帧内的数据进行匹配，进行语义点云的趋势分析，对工作人员进行趋势判别，对存在安全隐患的行为进行及时的语音提示，及时提醒工作人员。
10.一种应用于变电站现场作业的风险识别系统，其特征在于，包括：
三维实景点云扫描模块，对变电站场景进行三维实景点云扫描，采集变电站的三维点位数据和实景照片数据；
三维实景点云数据处理模块，将采集到变电站的三维点位数据和实景照片数据转变成变电站三维实景点云地图，以及对三维实景点云地图进行点云的聚类和语义分割；
多机雷达部署与标定模块，用于载入三维点云地图，导入工作票，布置变电站安全管控终端及激光雷达模块；
实时点云采集模块包括，用于对工作区域内的点云进行聚类和语义分割，完成三维点云地图与点云数据融合匹配，
无感人员定位模块，用于通过对工作人员的实时定位，进行实时监护，完成人员身份信息、违章行为的识别；
人员行为风险识别模块，用于对语义点云进行识别，匹配深度学习的风险识别库；
视频联动与语音告警模块，用于对人员风险行为进行告警。
CN202310857545.3A 2023-07-13 2023-07-13 一种应用于变电站现场作业的风险识别方法及系统 Pending CN117115728A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310857545.3A CN117115728A (zh) 2023-07-13 2023-07-13 一种应用于变电站现场作业的风险识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310857545.3A CN117115728A (zh) 2023-07-13 2023-07-13 一种应用于变电站现场作业的风险识别方法及系统

Publications (1)

Publication Number Publication Date
CN117115728A true CN117115728A (zh) 2023-11-24

Family

ID=88793656

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310857545.3A Pending CN117115728A (zh) 2023-07-13 2023-07-13 一种应用于变电站现场作业的风险识别方法及系统

Country Status (1)

Country Link
CN (1) CN117115728A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117688503A (zh) * 2024-02-04 2024-03-12 国网天津市电力公司滨海供电分公司 一种基于移动端的用电安全检查系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117688503A (zh) * 2024-02-04 2024-03-12 国网天津市电力公司滨海供电分公司 一种基于移动端的用电安全检查系统
CN117688503B (zh) * 2024-02-04 2024-04-16 国网天津市电力公司滨海供电分公司 一种基于移动端的用电安全检查系统

Similar Documents

Publication Publication Date Title
EP3633615A1 (en) Deep learning network and average drift-based automatic vessel tracking method and system
CN103279949B (zh) 基于自定位机器人的多相机参数自动标定系统运行方法
CN109034018A (zh) 一种基于双目视觉的低空小型无人机障碍物感知方法
CN102436738A (zh) 一种基于无人机的交通监测装置
CN103069434A (zh) 多模式视频事件索引
CN102915638A (zh) 基于监控视频的智能停车场管理系统
CN112235537B (zh) 一种变电站现场作业安全预警方法
CN112738468B (zh) 一种智慧园区安全预警方法
CN112434566B (zh) 客流统计方法、装置、电子设备及存储介质
CN111931582A (zh) 基于图像处理的高速公路交通事件检测方法
CN114419231B (zh) 基于点云数据和ai技术的交通设施矢量识别提取分析系统
CN112329691A (zh) 一种监控视频的分析方法及装置、电子设备、存储介质
CN104933392A (zh) 使用多视图融合的概率性人追踪
CN104933436A (zh) 具有动态完整性评分的基于视觉的多摄像头工厂监测
CN113205116A (zh) 输电线路无人机巡检拍摄目标点自动提取及航迹规划方法
CN117115728A (zh) 一种应用于变电站现场作业的风险识别方法及系统
CN112184773A (zh) 一种基于深度学习的安全帽佩戴检测方法及系统
CN111753780A (zh) 变电站违章检测系统及违章检测方法
CN103888731A (zh) 枪机-球机混合视频监控的结构化描述装置及系统
CN113807240A (zh) 基于非配合式人脸识别的变电站人员着装智能监控方法
CN115100724A (zh) 一种多相机人员状态识别方法
CN116846059A (zh) 一种用于电网巡检和监控的边缘检测系统
CN112785564B (zh) 一种基于机械臂的行人检测跟踪系统与方法
Tarko et al. Tscan: Stationary lidar for traffic and safety studies—object detection and tracking
CN115979250B (zh) 基于uwb模块、语义地图与视觉信息的定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination