CN112465401A - 基于多维信息融合的电力作业安全管控系统及其管控方法 - Google Patents
基于多维信息融合的电力作业安全管控系统及其管控方法 Download PDFInfo
- Publication number
- CN112465401A CN112465401A CN202011493005.4A CN202011493005A CN112465401A CN 112465401 A CN112465401 A CN 112465401A CN 202011493005 A CN202011493005 A CN 202011493005A CN 112465401 A CN112465401 A CN 112465401A
- Authority
- CN
- China
- Prior art keywords
- scene
- power operation
- electric power
- dimensional
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000008447 perception Effects 0.000 claims abstract description 22
- 238000000605 extraction Methods 0.000 claims description 19
- 230000009466 transformation Effects 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 9
- 238000005520 cutting process Methods 0.000 claims description 8
- 238000011156 evaluation Methods 0.000 claims description 8
- 238000012544 monitoring process Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 5
- 238000000926 separation method Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 description 23
- 238000007726 management method Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 238000011160 research Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- DMBHHRLKUKUOEG-UHFFFAOYSA-N diphenylamine Chemical compound C=1C=CC=CC=1NC1=CC=CC=C1 DMBHHRLKUKUOEG-UHFFFAOYSA-N 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 238000012502 risk assessment Methods 0.000 description 2
- 238000012954 risk control Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000004925 denaturation Methods 0.000 description 1
- 230000036425 denaturation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06311—Scheduling, planning or task assignment for a person or group
- G06Q10/063114—Status monitoring or status determination for a person or group
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0635—Risk analysis of enterprise or organisation activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Engineering & Computer Science (AREA)
- Economics (AREA)
- Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Game Theory and Decision Science (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Primary Health Care (AREA)
- Water Supply & Treatment (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于多维信息融合的电力作业安全管控系统及其管控方法,涉及电力安全技术领域,解决了现有技术中电力作业现场模型几何信息失真严重、运用程度不足的问题,包括:基础场景层根据历史多维信息建立电力作业场景的三维模型,并从三维模型中离线生成场景中目标的三维模型库;信息获取层获取电力作业场景的动态实时信息,动态实时信息包括对目标进行检测、识别、跟踪和定位处理所获得的实时多维信息;态势感知层将历史多维信息、实时多维信息融合后进行危险态势感知,并根据感知结果发出预警信号;应用服务层根据感知结果和预警信号对电力作业场景进行安全管控。本发明能够提升动态电力作业现场安全管控的智能化水平。
Description
技术领域
本发明涉及电力安全技术领域,更具体地说,它涉及基于多维信息融合的电力作业安全管控系统及其管控方法。
背景技术
为了保障安全,电力企业须大力实施“科技兴安”战略,运用物联网、大数据、人工智能等先进信息技术,提高远程监测、自动化控制和应急响应的能力。目前,国内已逐步运用视频监控、机器人等设备开展电力设备巡视、应急指挥及作业监控,但其目的主要侧重于提高运维检修效率,对作业现场安全管控的研究较少。针对四川地理环境复杂、现场管控难度大等特点,四川电网已在乐山、攀枝花及电力科学研究院等地试点建设安全风险管控平台,然而现有的安全风险管控平台虽具备视频图像采集和查询功能,但仍然存在依赖安全监督人员查看、分析视频的短板,安全管控未实现智能化。
综上,现阶段的电力作业安全管控存在以下问题:
1、以二维视频图像监控为主,视频图像数据是目标从三维空间到二维空间的投影,丢失了精确的三维空间信息;部分系统虽然应用了三维场景重建技术,但是重构模型的精细程度较低,造成作业现场几何信息的失真和纹理信息的丢失。
2、以单模态的数据为输入,或分别处理图像、定位等多种数据,未充分考虑作业现场多维数据之间的相关性,破坏了场景信息的完整性和一致性,造成对作业现场误操作、误碰撞、误触电等危险态势感知的性能受限。
发明内容
为解决现有技术中电力作业现场模型几何信息失真严重、运用程度不足的问题,本发明的目的是提供基于多维信息融合的电力作业安全管控系统及其管控方法,实现提升动态电力作业现场安全管控的智能化水平,推动电力作业控制及监督管理模式的革新。
本发明的上述技术目的是通过以下技术方案得以实现的:
第一方面,提供了基于多维信息融合的电力作业安全管控系统及其管控方法,其特征是,包括:
基础场景层,用于根据历史多维信息建立电力作业场景的三维模型,并从三维模型中离线生成场景中目标的三维模型库;
信息获取层,用于获取电力作业场景的动态实时信息,动态实时信息包括对目标进行检测、识别、跟踪和定位处理所获得的实时多维信息;
态势感知层,用于将历史多维信息、实时多维信息融合后进行危险态势感知,并根据感知结果发出预警信号;
应用服务层,用于根据感知结果和预警信号对电力作业场景进行安全管控。
本发明由自底向上由四个部分组成,依次为基础场景层、信息获取层、态势感知层和应用服务层;基础场景层负责电力作业场景的三维建模,离线生成场景中目标的三维模型库,从源头保证三维模型的精(高精度空间信息)与细(支持目标细节的细纹理建模);信息获取层负责动态场景的实时信息提取,包括目标的实时检测、识别、跟踪和定位,保证动态的精(高精度定位),用于三维场景模型的更新和高层的智能分析;态势感知层融合基础场景层和信息获取层的多维信息,完成危险态势的感知,及时做出预警,实现智能的精(高精度空间态势);应用服务层针对典型电力作业现场,开发基于精细三维场景的电力作业安全防控系统,实现精(高精度态势感知)、细(细纹理可视化)应用。本申请以动态电力作业现场的精细三维场景为基础,基于高精度目标定位和多维信息融合,实现误操作、误碰撞、误触电等危险态势感知和预警,防范电网、设备和人身安全事故。
进一步的,所述基础场景层包括跨源点云融合单元、语义分隔及标注单元;
跨源点云融合单元,用于融合无人机航拍扫描全场景和手持设备扫描局部细节的点云数据,得到三维场景点云数据;
语义分隔及标注单元,用于对三维场景点云数据中的每一个点赋予一个语义类别,并依据语义类别对场景中目标进行语义识别。
本发明融合无人机航拍扫描全场景和手持设备扫描局部细节的点云数据,实现精细化的三维场景建模。语义分割为三维场景点云数据中的每一个点赋予一个语义类别,通过聚类算法提取场景中的目标,进而采用目标识别算法实现场景中目标的语义识别。
进一步的,所述跨源点云融合单元包括输入模块、粗糙匹配模块、精细配准模块;
输入模块,用于输入无人机航拍生成的点云和手持设备扫描生成的点云;
粗糙匹配模块,用于在无人机航拍生成点云中搜索与手持设备扫描点云匹配的前k个区域,得到匹配结果;
精细配准模块,用于计算相应的跨源点云的配准,并利用变换误差对匹配结果进行优化。
进一步的,所述精细配准模块的运行步骤具体为:
通过变换矩阵对点云进行变换;
根据变换矩阵计算点云配准的残余误差E(T),E(T)的值越低,表示两个点云越相似;残余误差计算具体为:
其中,T表示变换矩阵;mi表示配准点云A中的第i个点;di表示待配准点云B中mi的最近邻点;N表示配准点云A中点的个数;T(di)表示经过空间变换T之后di点的坐标;s,α表示权重参数;
利用残余误差对候选区域重新排序。
进一步的,所述语义分隔及标注单元包括数据预处理模块、点云特征提取模块、语义分割及识别模块;
数据预处理模块,用于消除三维场景点云数据中的噪声和异值点,以及将场景中的地面剔除;
点云特征提取模块,用于以特征向量描述场景中的点云数据后进行特征提取;
语义分割及识别模块,用于在特征空间中对点云数据进行聚类操作,并通过卷积神经网络对目标的语义类别进行识别。
进一步的,所述信息获取层包括目标检测与识别单元、目标跟踪单元、目标定位单元;
目标检测与识别单元,用于获取电力作业现场的视频图像后进行图像预处理,并将视频图像缩放至预设的固定大小后进行卷积操作,以及通过区域推荐网络依据卷积后产生的特征图计算出候选框;
目标跟踪单元,用于对输入的当前帧图像中所检测识别到的目标进行中心剪裁,同时对前一帧图像进行剪裁操作,并将对前后两帧图像分别进行卷积操作,使当前帧图像和前一帧图像卷积层的输出经全连接层完成回归任务,以及通过迭代查找到当前帧图像中的目标位置完成对目标对象的跟踪;
目标定位单元为UWB定位或北斗定位系统。
为了满足电力作业现场目标高精度空间定位的需求,本申请采用基于视觉的目标检测、识别、跟踪算法,结合UWB定位或北斗定位技术,实现三维场景的实时空间信息获取。受益于视觉传感器的广泛应用和人工智能的快速发展,基于视觉的定位技术具有实时、高效、方便部署并且无需额外成本等优势,但无法提供高精度的三维空间定位。而UWB定位或北斗定位技术能够提供厘米级的定位精度,适用于电力作业场景精细化安全防控的需要。
进一步的,所述态势感知层包括离线建模单元、在线评估单元;
离线建模单元,用于将影响电力作业安全的风险及事件信息映射为态势要素的属性值,并提取与危险态势关联性最大的特征属性集,以及分析各要素对危险的影响程度后建立条件属性与决策属性之间的关联性;
在线评估单元,用于根据建立的关联性评估安全状态、检测作业过程中的危险以及输出危险等级。
本发明中的离线建模单元的主要任务包括态势要素的提取、知识表达和要素关联,即采用量化知识表达方法,将电力作业安全风险及事件信息映射为态势要素的属性值,提取与危险态势关联性最大的特征属性集,分析各要素对危险的影响程度,建立条件属性与决策属性之间的关联性;在线评估单元的主要功能是评估安全状态,检测作业过程中的危险,并给出危险的等级。
进一步的,所述应用服务层包括实时监控单元、实时预警单元、推演仿真单元。
第二方面,提供了基于多维信息融合的电力作业安全管控系统的管控方法,包括以下步骤:
S1、离线建立电力作业场景的静态场景三维精细模型,同步建立电力作业现场的动态对象的三维精细模型库;
S2、通过获取变电站现场的摄像头拍摄到的视频流中每一帧图像并进行处理来检测、识别和跟踪动态目标对象,并结合UWB定位或北斗定位获得高精度定位信息;并将动态目标对象分为固定作业对象和移动作业对象;
S3、对于固定作业对象,根据识别和定位信息,对三维精细模型进行实时更新;对于移动作业对象,将作业现场视频与三维精细模型库进行融合,得到实时位置信息;
S4、根据电力作业场景的电气量信息,解析出带电区域和非带电区域,对动态目标对象进行危险态势感知,并进行预警或告警或动态展示。
10.根据权利要求9所述的基于多维信息融合的电力作业安全管控系统及其管控方法,其特征是,所述固定作业对象包括安全围栏、带电仪器、现场设备;所述移动作业对象包括人员、车辆。
与现有技术相比,本发明具有以下有益效果:
1、本发明通过视频图像、三维空间位置、电气状态、安全作业规则等多维信息融合,围绕三维场景建模、高精度空间定位以及危险态势感知等问题,开发基于精细三维场景的智能安全管控系统,提升动态电力作业现场安全管控的智能化水平,推动电力作业控制及监督管理模式的革新;
2、本发明解决了两种三维建模方式生成的点云数据融合问题,生成精细化的三维场景;
3、本发明基于视觉的目标检测、识别、跟踪算法,结合超宽带(Ultra Wide Band,UWB)定位技术,实现三维场景的实时空间信息获取,满足动态电力作业现场安全管控对高精度空间定位的要求。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解,构成本申请的一部分,并不构成对本发明实施例的限定。在附图中:
图1为本发明具体实施例中的系统框架示意图;
图2为本发明具体实施例中跨源点云融合单元的示意图;
图3为本发明具体实施例中点云特征提取模块的模型示意图;
图4为本发明具体实施例中目标检测与识别单元的架构示意图;
图5为本发明具体实施例中目标跟踪单元的架构示意图;
图6为本发明具体实施例中态势感知层的危险态势感知模型示意图;
图7为本发明具体实施例中应用服务层的功能架构示意图;
图8为本发明具体实施例的管控方法流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施例和附图1-8,对本发明作进一步的详细说明,本发明的示意性实施方式及其说明仅用于解释本发明,并不作为对本发明的限定。
实施例1:
基于多维信息融合的电力作业安全管控系统,如图1所示,由自底向上由四个部分组成,依次为基础场景层、信息获取层、态势感知层和应用服务层。
基础场景层负责电力作业场景的三维建模,离线生成场景中目标的三维模型库,从源头保证三维模型的精与细;信息获取层负责动态场景的实时信息提取,包括目标的实时检测、识别、跟踪和定位,保证动态的精,用于三维场景模型的更新和高层的智能分析;态势感知层融合基础场景层和信息获取层的多维信息,完成危险态势的感知,及时做出预警,实现智能的精;应用服务层针对典型电力作业现场,开发基于精细三维场景的电力作业安全防控系统,实现精、细应用。本实施例以动态电力作业现场的精细三维场景为基础,基于高精度目标定位和多维信息融合,实现误操作、误碰撞、误触电等危险态势感知和预警,防范电网、设备和人身安全事故。
本实施例首先对电力作业场景进行精细化的三维建模,包括作业场景建模以及场景中常见目标的建模,具体分为两个阶段:场景建模,场景的语义分割及识别。
场景建模:
本实施例融合无人机航拍扫描全场景和手持设备扫描局部细节的点云数据,实现精细化的三维场景建模。对于跨源点云数据的融合,本实施例提出一种新的由粗糙到精细的点云配准算法,主要分为两个步骤:粗糙匹配、精细配准,如2所示。
粗糙匹配的目的是在无人机航拍生成点云中找到与手持设备扫描点云匹配的前k个区域,从而减少候选区域的数目。本实施例使用ESF描述符计算候选区域的特征向量,完成第一次粗匹配。
粗匹配完成之后,计算相应的跨源点云的配准,并利用变换误差对匹配结果进行优化。其主要步骤如下:(1)计算变换矩阵;(2)根据变换矩阵计算配准的残余误差;(3)利用残差对候选区域重新排序。
本实施例将点云配准看作概率密度估计问题,其中一个点集表示高斯混合模型(GMM,Gaussian Mixture Model)的质心,另一个点集表示数据点,通过最大化似然估计将GMM质心拟合到数据中。为此,本实施例提出一种嵌入式生成混合高斯模型,计算跨源点云之间的刚性变换。为提高算法的鲁棒性,在GMM的概率密度函数中引入均匀分布的噪声和异常值,权重为ω。将所有的GMM组件同等看待,则该混合高斯模型可以描述为:
其中,T表示变换矩阵,K表示高斯模型组件的数量,h是包含点云数据的3D凸壳的体积。
利用参数θ重新计算GMM质心位置,并通过最大似然估计计算参数θ,如下所示:
其中,Z为定义的潜在变量,表示T被分配给了GMM的某一个分量。使用期望最大化(EM)算法可以估计出参数。
最后,使用变换矩阵对点云进行变换,计算残差对前一阶段的匹配结果进行重新排序。残差的定义如下:
其中,T表示变换矩阵;mi表示配准点云A中的第i个点;di表示待配准点云B中mi的最近邻点;N表示配准点云A中点的个数;T(di)表示经过空间变换T之后di点的坐标;s,α表示权重参数;E(T)的值越低,表示两个点云越相似。
语义分割及标注:
语义分割为三维场景点云数据中的每一个点赋予一个语义类别,通过聚类算法提取场景中的目标,进而采用目标识别算法实现场景中目标的语义识别。该算法主要包括三个部分:数据预处理,特征提取,语义分割及识别。
数据预处理的主要任务是消除数据中的噪声和异值点以及场景中地面的剔除,从而提高后续任务的准确度。考虑到电力作业场景中的地面位于水平方向,其点云数据近似为水平的平面,则数据预处理的关键任务为寻找具有一定尺度的位于水平方向的平面,并且该平面位于其它目标之下。本实施例采用RANSAC(Random Sample Consensus,随机抽样一致算法)算法解决该问题。RANSAC是一种求解参数化数学模型的算法,迭代地寻找一组能满足最多数据的参数,适用于拟合包含大部分地面点的平面。
点云特征提取使用特征向量描述场景中的点云数据,其鉴别力和鲁棒性是场景语义分割及标注的核心问题。本实施例采用卷积神经网络实现特征的提取,其网络的结构如3所示。该网络以模型库中场景目标三维模型的点云数据作为输入,其维度为B×N×C;其中,B是输入batch的大小,N为输入点云的点数,C为点云的通道数。本实施例采用点云的三维空间坐标作为输入,即C的值为3。网络输出的是预测的模型类别。网络主要由分组采样层、特征提取层和全连接层三部分组成。分组采样层对点集进行特征点采样和分组。特征提取层对分组后的点云进行特征提取,该层依赖于特征提取对称函数,该函数由3个核为1×1的卷积层和一个最大池化层组成。网络递归调用三次该特征提取对称函数,每次卷积层输出通道数分别为(64,64,128),(128,128,256)和(256,512,1024)。全连接层主要实现对输出的特征向量进一步处理,以预测模型类别。
语义分割及标注采用均值漂移算法在特征空间中对点云数据进行聚类操作,实现场景中目标的提取,进而使用卷积神经网络对目标的类别进行识别。
之后进行高精度动态目标定位:
为了满足电力作业现场目标高精度空间定位的需求,本实施例采用基于视觉的目标检测、识别、跟踪算法,结合UWB定位或北斗定位技术,实现三维场景的实时空间信息获取。受益于视觉传感器的广泛应用和人工智能的快速发展,基于视觉的定位技术具有实时、高效、方便部署并且无需额外成本等优势,但无法提供高精度的三维空间定位。而UWB定位、北斗定位技术能够提供厘米级的定位精度,适用于电力作业场景精细化安全防控的需要。
UWB定位或北斗定位技术为现有技术,因此本实施例的研究重点放在运用端到端的深度学习技术解决视觉目标的分析,包括基于Faster R-CNN(CNN,ConvolutionalNeural Networks,卷积神经网络)算法的目标检测与目标识别、基于GOTURN(GenericObject Tracking Using Regression Networks,基于回归网络的通用目标跟踪)算法的目标跟踪。
目标检测与识别:
目标检测与目标识别运用深度学习的Faster R-CNN算法,对视频图像进行处理,对图像中新增目标进行检测与识别。该网络架构如图4所示,对于图像的处理分为4个步骤:1)预处理,将图像缩放至固定大小M×N;2)卷积操作,卷集操作中包含了13个卷积层、13个激活函数Relu和4个池化层;3)卷积后产生的特征图经RPN层处理产生候选框。RPN层全称为Region Proposal Networks(区域推荐网络),是本算法的核心,是可进行端到端训练的全卷积网络,能够快速推荐候选区域。RPN网络首先进行卷积操作,分别生成positiveanchors(正向锚点)和对应bounding box regression(边框回归)偏移量,然后计算出候选框,至此步完成目标检测任务;4)目标区域池化层从特征图中提取候选区域的特征,经全连接和softmax函数完成目标识别任务。
目标跟踪:
本实施例的目标跟踪运用深度学习中的GOTURN算法,其核心在于对目标对象进行剪裁居中操作,对比前后两帧图像,循环此步骤,完成目标跟踪任务。该算法的网络结构如图5所示。具体的:将目标对象的图像输入网络,裁剪并缩放前一帧图像以使目标对象居中,剪裁操作使得网络接收目标背景的上下文信息,网络将跟踪裁剪后图像中的目标对象。本算法具体分为以下3步:1)输入当前帧,对目标检测与识别到的目标进行中心剪裁;2)对下一帧图像进行剪裁操作,前后两帧图像进行卷积操作;3)当前帧和下一帧卷积层的输出经全连接层完成回归任务。全连接层作用是比较目标帧与当前帧的特征,查找目标对象的移动位置,从而有效的应对光照变化、遮挡或变性等因素对结果的影响。迭代上述过程,查找到当前帧中目标位置,从而实现目标跟踪的任务。
基于上述内容,进行基于多维信息融合的危险态势感知:
态势感知层基于精细化的三维场景建模,运用变精度粗糙集理论融合电力作业现场的视频、三维空间位置、电气状态、安全作业规则等多维信息,建立电力作业场景危险态势感知模型,构建风险评估规则和知识表达方法,通过属性加权相似度对比预测作业风险。
本实施例采用的研究方案如图6所示,包括离线建模阶段和在线评估阶段。其中,离线建模模块的主要任务包括态势要素的提取、知识表达和要素关联,即采用量化知识表达方法,将电力作业安全风险及事件信息映射为态势要素的属性值,提取与危险态势关联性最大的特征属性集,分析各要素对危险的影响程度,建立条件属性与决策属性之间的关联性;在线感知阶段的主要功能是评估安全状态,检测作业过程中的危险,并给出危险的等级。具体的:
要素提取:本实施例提出的危险态势感知模型融合基础场景层和信息提取层的多维信息,对作业场景的危险态势进行评估。离线建模阶段首先对影响作业安全的多元因素属性指标量化,包括电力作业场景中的带电状态信息、动态目标的身份和空间相对位置信息等。
知识表达:令S={U,A,V,F}表示作业风险知识系统,其中,U为论域空间,即研究对象中所有可能存在的场景及对应的危险程度;A为属性集合A=CUD,C={ai,i=1,2,...}表示态势要素的条件属性集合,D={di,i=1,2,...}表示决策属性集合;V=Va UVd,其中Va为条件属性的值域,Vd为决策属性的值域;f:U×A→V为信息函数,满足f(x,ai)∈Va,它制定了U中每一个对象的属性值。
要素关联:设R为U上的一个等价关系,X=R(x)为由R定义的等价类,U/X为由R定义的一个空间划分。U由条件属性集C和决策属性集D产生的划分分别表示为U/C={ci,i=1,2,...},U/D={di,i=1,2,...},|·|表示集合中元素的个数。则决策类的粗糙隶属度函数表示为:
P(dj(x)|R(x))=|R(x)I dj(x)|/|R(x)|
决策dj对知识R的依赖程度可以表示为:
m1=1-max{Pr(dj/ci)|P(dj/ci)<0.5}
m2=min{Pr(dj/ci)|P(dj/ci)>0.5)}
βj=min(m1,m2)
为进一步优化作业风险的知识表示,将精度粗糙集近似简约为reduβ(C,D),即β值下保证正确分类的最小条件属性集,满足如下两个性质:
a)rβ(C,D)=rβ(reduβ(C,D),D);
b)去掉reduβ(C,D)中的任意一个属性都会使a)不成立。
决策关联与风险评估:危险态势感知模型融合基础场景层与信息获取层的多维信息,采用事件属性特征相似性度量方法实现危险态势的评估。特征相似度描述两个不同实例在同一特征属性上的接近程度。令ui,分别表示两个电力作业实例,它们在某一属性ai上的相似度定义如下:
Sai(ui,uj)=1-|vi-vj|/|amax-amin|
其中,vi、vj分别表示对象ui,uj在属性ai上的取值,amax、amin分别为属性ai在其值域Va中的最大值和最小值。则两个实例ui,uj的相似度定义,如下所示:
其中,ωi表示各个条件态势要素对风险的重要程度。
实施例2:
在实施例1的基础上,系统的应用服务层划分如图7所示,包括以下功能:实景监控、推演仿真、告警管理、配置管理、用户管理等。
本系统可供作业人员、安全监督人员及管理人员使用,具备方案推演优化、人员培训交底、安全监督等多种功能,实现作业计划、准备、实施、监督、应急等关键环节的管控。
实施例3:
基于多维信息融合的电力作业安全管控系统的管控方法:
基于基础场景层、信息获取层、态势感知层的算法和方法,系统实现流程如图8所示。
以变电站为例,离线建立变电站的静态场景三维精细模型。同时,同步建立电力作业现场的动态对象的三维精细模型库,如作业人员、施工车辆、仪器设备、安全工器具等,包含其几何模型、纹理模型和属性模型信息。
通过获取变电站现场的摄像头拍摄到的视频流中每一帧图像并进行处理来检测、识别和跟踪动态目标对象,并结合UWB定位或北斗定位获得更精确的定位信息。根据动态目标对象的特点,将其分为固定目标(如安全围栏、仪器设备)和移动目标(如人员、车辆)。对于相对固定目标对象,根据识别和定位信息,实现精细三维场景几何模型、纹理模型的实时更新。对于移动目标,在三维几何模型更新的同时,基于项目申请人前期对变电站摄像机预置位的智能管理研究成果,创新将作业现场视频与三维实景模型进行实时的无缝融合,提供直观、实时的三维可视化效果。
变电站作业可以采集和利用的信息包括:变电站综合自动化系统提供的电气状态信息,变电站视频监控系统和机器人提供的视频图像信息,基于UWB技术的动态对象实时定位信息,变电站安规、反违章规定及标准化作业流程信息等。系统基于基于高精度三维空间信息和多维信息融合,基于碰撞检测算法等进行评估、预警,对移动目标对象进行在线误操作、误碰撞、误入带电区域等危险态势感知。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.基于多维信息融合的电力作业安全管控系统,其特征是,包括:
基础场景层,用于根据历史多维信息建立电力作业场景的三维模型,并从三维模型中离线生成场景中目标的三维模型库;
信息获取层,用于获取电力作业场景的动态实时信息,动态实时信息包括对目标进行检测、识别、跟踪和定位处理所获得的实时多维信息;
态势感知层,用于将历史多维信息、实时多维信息融合后进行危险态势感知,并根据感知结果发出预警信号;
应用服务层,用于根据感知结果和预警信号对电力作业场景进行安全管控。
2.根据权利要求1所述的基于多维信息融合的电力作业安全管控系统,其特征是,所述基础场景层包括跨源点云融合单元、语义分隔及标注单元;
跨源点云融合单元,用于融合无人机航拍扫描全场景和手持设备扫描局部细节的点云数据,得到三维场景点云数据;
语义分隔及标注单元,用于对三维场景点云数据中的每一个点赋予一个语义类别,并依据语义类别对场景中目标进行语义识别。
3.根据权利要求2所述的基于多维信息融合的电力作业安全管控系统,其特征是,所述跨源点云融合单元包括输入模块、粗糙匹配模块、精细配准模块;
输入模块,用于输入无人机航拍生成的点云和手持设备扫描生成的点云;
粗糙匹配模块,用于在无人机航拍生成点云中搜索与手持设备扫描点云匹配的前k个区域,得到匹配结果;
精细配准模块,用于计算相应的跨源点云的配准,并利用变换误差对匹配结果进行优化。
5.根据权利要求2所述的基于多维信息融合的电力作业安全管控系统,其特征是,所述语义分隔及标注单元包括数据预处理模块、点云特征提取模块、语义分割及识别模块;
数据预处理模块,用于消除三维场景点云数据中的噪声和异值点,以及将场景中的地面剔除;
点云特征提取模块,用于以特征向量描述场景中的点云数据后进行特征提取;
语义分割及识别模块,用于在特征空间中对点云数据进行聚类操作,并通过卷积神经网络对目标的语义类别进行识别。
6.根据权利要求1所述的基于多维信息融合的电力作业安全管控系统,其特征是,所述信息获取层包括目标检测与识别单元、目标跟踪单元、目标定位单元;
目标检测与识别单元,用于获取电力作业现场的视频图像后进行图像预处理,并将视频图像缩放至预设的固定大小后进行卷积操作,以及通过区域推荐网络依据卷积后产生的特征图计算出候选框;
目标跟踪单元,用于对输入的当前帧图像中所检测识别到的目标进行中心剪裁,同时对前一帧图像进行剪裁操作,并将对前后两帧图像分别进行卷积操作,使当前帧图像和前一帧图像卷积层的输出经全连接层完成回归任务,以及通过迭代查找到当前帧图像中的目标位置完成对目标对象的跟踪;
目标定位单元为UWB定位或北斗定位系统。
7.根据权利要求1所述的基于多维信息融合的电力作业安全管控系统,其特征是,所述态势感知层包括离线建模单元、在线评估单元;
离线建模单元,用于将影响电力作业安全的风险及事件信息映射为态势要素的属性值,并提取与危险态势关联性最大的特征属性集,以及分析各要素对危险的影响程度后建立条件属性与决策属性之间的关联性;
在线评估单元,用于根据建立的关联性评估安全状态、检测作业过程中的危险以及输出危险等级。
8.根据权利要求1所述的基于多维信息融合的电力作业安全管控系统,其特征是,所述应用服务层包括实时监控单元、实时预警单元、推演仿真单元。
9.基于多维信息融合的电力作业安全管控系统的管控方法,其特征是,包括以下步骤:
S1、离线建立电力作业场景的静态场景三维精细模型,同步建立电力作业现场的动态对象的三维精细模型库;
S2、通过获取变电站现场的摄像头拍摄到的视频流中每一帧图像并进行处理来检测、识别和跟踪动态目标对象,并结合UWB定位或北斗定位获得高精度定位信息;并将动态目标对象分为固定作业对象和移动作业对象;
S3、对于固定作业对象,根据识别和定位信息,对三维精细模型进行实时更新;对于移动作业对象,将作业现场视频与三维精细模型库进行融合,得到实时位置信息;
S4、根据电力作业场景的电气量信息,解析出带电区域和非带电区域,对动态目标对象进行危险态势感知,并进行预警或告警或动态展示。
10.根据权利要求9所述的基于多维信息融合的电力作业安全管控系统的管控方法,其特征是,所述固定作业对象包括安全围栏、带电仪器、现场设备;所述移动作业对象包括人员、车辆。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011493005.4A CN112465401A (zh) | 2020-12-17 | 2020-12-17 | 基于多维信息融合的电力作业安全管控系统及其管控方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011493005.4A CN112465401A (zh) | 2020-12-17 | 2020-12-17 | 基于多维信息融合的电力作业安全管控系统及其管控方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112465401A true CN112465401A (zh) | 2021-03-09 |
Family
ID=74803083
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011493005.4A Pending CN112465401A (zh) | 2020-12-17 | 2020-12-17 | 基于多维信息融合的电力作业安全管控系统及其管控方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112465401A (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114283252A (zh) * | 2021-12-28 | 2022-04-05 | 航天科工智能运筹与信息安全研究院(武汉)有限公司 | 一种基于三维场景的营区物联感知设备数据实时接入系统 |
CN114283251A (zh) * | 2021-12-28 | 2022-04-05 | 航天科工智能运筹与信息安全研究院(武汉)有限公司 | 一种基于三维场景的营区物联感知设备数据实时接入方法 |
CN114494630A (zh) * | 2022-02-08 | 2022-05-13 | 杭州十域科技有限公司 | 基于精准定位技术的变电站基建智能安全管控方法、系统 |
CN114818992A (zh) * | 2022-06-23 | 2022-07-29 | 成都索贝数码科技股份有限公司 | 图像数据解析方法、场景估计方法、3d融合方法 |
CN115240365A (zh) * | 2022-07-19 | 2022-10-25 | 成都信息工程大学 | 一种融合多维信息的电力作业人员危险态势动态感知方法 |
CN115542362A (zh) * | 2022-12-01 | 2022-12-30 | 成都信息工程大学 | 电力作业现场的高精度空间定位方法、系统、设备及介质 |
CN115597659A (zh) * | 2022-09-21 | 2023-01-13 | 山东锐翊电力工程有限公司(Cn) | 一种变电站智能安全管控方法 |
CN115620239A (zh) * | 2022-11-08 | 2023-01-17 | 国网湖北省电力有限公司荆州供电公司 | 一种点云和视频结合的输电线路在线监测方法和系统 |
CN116307741A (zh) * | 2023-05-18 | 2023-06-23 | 四川省亚通工程咨询有限公司 | 一种基于大数据的公路桥梁工程建设风险评估系统 |
CN116416457A (zh) * | 2023-02-21 | 2023-07-11 | 四川轻化工大学 | 一种电力检修车的安全态势感知与危险预警方法 |
CN116704427A (zh) * | 2023-04-19 | 2023-09-05 | 广东建设职业技术学院 | 一种基于3d cnn循环施工过程监测方法 |
CN117495867A (zh) * | 2024-01-03 | 2024-02-02 | 东莞市星火齿轮有限公司 | 小模数齿轮精度的视觉检测方法及系统 |
CN117291443B (zh) * | 2023-11-27 | 2024-02-13 | 国网湖北省电力有限公司中超建设管理公司 | 基于多维感知技术的智能放线系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105357490A (zh) * | 2015-12-01 | 2016-02-24 | 国家电网公司 | 基于变电站实景三维模型的视觉监控目标跟踪方法及系统 |
CN105956232A (zh) * | 2016-04-20 | 2016-09-21 | 国网电力科学研究院武汉南瑞有限责任公司 | 一种变电站三维实景仿真系统及实现方法 |
CN106101647A (zh) * | 2016-07-29 | 2016-11-09 | 国网河南省电力公司郑州供电公司 | 基于视觉的目标空间运动轨迹特征的安全管理方法及系统 |
-
2020
- 2020-12-17 CN CN202011493005.4A patent/CN112465401A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105357490A (zh) * | 2015-12-01 | 2016-02-24 | 国家电网公司 | 基于变电站实景三维模型的视觉监控目标跟踪方法及系统 |
CN105956232A (zh) * | 2016-04-20 | 2016-09-21 | 国网电力科学研究院武汉南瑞有限责任公司 | 一种变电站三维实景仿真系统及实现方法 |
CN106101647A (zh) * | 2016-07-29 | 2016-11-09 | 国网河南省电力公司郑州供电公司 | 基于视觉的目标空间运动轨迹特征的安全管理方法及系统 |
Non-Patent Citations (3)
Title |
---|
XIAOSHUI HUANG 等: "《A coarse-to-fine algorithm for registration in 3D street-view cross-source point clouds》", 《IEEE》 * |
彭理群: "《考虑驾驶意图的汽车碰撞危险态势辨识与避碰决策研究》", 《中国优秀博士学位论文全文数据库信息科技辑》 * |
陆桂亮: "《三维点云场景语义分割建模研究》", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114283251A (zh) * | 2021-12-28 | 2022-04-05 | 航天科工智能运筹与信息安全研究院(武汉)有限公司 | 一种基于三维场景的营区物联感知设备数据实时接入方法 |
CN114283251B (zh) * | 2021-12-28 | 2024-04-09 | 航天科工智能运筹与信息安全研究院(武汉)有限公司 | 一种基于三维场景的营区物联感知设备数据实时接入方法 |
CN114283252B (zh) * | 2021-12-28 | 2024-04-05 | 航天科工智能运筹与信息安全研究院(武汉)有限公司 | 一种基于三维场景的营区物联感知设备数据实时接入系统 |
CN114283252A (zh) * | 2021-12-28 | 2022-04-05 | 航天科工智能运筹与信息安全研究院(武汉)有限公司 | 一种基于三维场景的营区物联感知设备数据实时接入系统 |
CN114494630A (zh) * | 2022-02-08 | 2022-05-13 | 杭州十域科技有限公司 | 基于精准定位技术的变电站基建智能安全管控方法、系统 |
CN114818992A (zh) * | 2022-06-23 | 2022-07-29 | 成都索贝数码科技股份有限公司 | 图像数据解析方法、场景估计方法、3d融合方法 |
CN114818992B (zh) * | 2022-06-23 | 2022-09-23 | 成都索贝数码科技股份有限公司 | 图像数据解析方法、场景估计方法、3d融合方法 |
CN115240365B (zh) * | 2022-07-19 | 2023-03-10 | 成都信息工程大学 | 一种融合多维信息的电力作业人员危险态势动态感知方法 |
CN115240365A (zh) * | 2022-07-19 | 2022-10-25 | 成都信息工程大学 | 一种融合多维信息的电力作业人员危险态势动态感知方法 |
CN115597659B (zh) * | 2022-09-21 | 2023-04-14 | 山东锐翊电力工程有限公司 | 一种变电站智能安全管控方法 |
CN115597659A (zh) * | 2022-09-21 | 2023-01-13 | 山东锐翊电力工程有限公司(Cn) | 一种变电站智能安全管控方法 |
CN115620239B (zh) * | 2022-11-08 | 2024-01-30 | 国网湖北省电力有限公司荆州供电公司 | 一种点云和视频结合的输电线路在线监测方法和系统 |
CN115620239A (zh) * | 2022-11-08 | 2023-01-17 | 国网湖北省电力有限公司荆州供电公司 | 一种点云和视频结合的输电线路在线监测方法和系统 |
CN115542362A (zh) * | 2022-12-01 | 2022-12-30 | 成都信息工程大学 | 电力作业现场的高精度空间定位方法、系统、设备及介质 |
CN116416457A (zh) * | 2023-02-21 | 2023-07-11 | 四川轻化工大学 | 一种电力检修车的安全态势感知与危险预警方法 |
CN116416457B (zh) * | 2023-02-21 | 2023-10-20 | 四川轻化工大学 | 一种电力检修车的安全态势感知与危险预警方法 |
CN116704427A (zh) * | 2023-04-19 | 2023-09-05 | 广东建设职业技术学院 | 一种基于3d cnn循环施工过程监测方法 |
CN116704427B (zh) * | 2023-04-19 | 2024-01-26 | 广东建设职业技术学院 | 一种基于3d cnn循环施工过程监测方法 |
CN116307741B (zh) * | 2023-05-18 | 2024-03-15 | 四川省亚通工程咨询有限公司 | 一种基于大数据的公路桥梁工程建设风险评估系统 |
CN116307741A (zh) * | 2023-05-18 | 2023-06-23 | 四川省亚通工程咨询有限公司 | 一种基于大数据的公路桥梁工程建设风险评估系统 |
CN117291443B (zh) * | 2023-11-27 | 2024-02-13 | 国网湖北省电力有限公司中超建设管理公司 | 基于多维感知技术的智能放线系统 |
CN117495867A (zh) * | 2024-01-03 | 2024-02-02 | 东莞市星火齿轮有限公司 | 小模数齿轮精度的视觉检测方法及系统 |
CN117495867B (zh) * | 2024-01-03 | 2024-05-31 | 东莞市星火齿轮有限公司 | 小模数齿轮精度的视觉检测方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112465401A (zh) | 基于多维信息融合的电力作业安全管控系统及其管控方法 | |
CN110533048B (zh) | 基于全景区域场景感知的组合语义层次连接模型的实现方法及系统 | |
Zhou et al. | Self‐supervised learning to visually detect terrain surfaces for autonomous robots operating in forested terrain | |
CN110866887A (zh) | 一种基于多传感器的目标态势融合感知方法和系统 | |
Peng et al. | Pedestrian detection for transformer substation based on gaussian mixture model and YOLO | |
Qu et al. | Moving vehicle detection with convolutional networks in UAV videos | |
CN107133569A (zh) | 基于泛化多标记学习的监控视频多粒度标注方法 | |
CN111968133A (zh) | 自动驾驶场景下的三维点云数据实例分割方法及系统 | |
Zhao et al. | Fusion of Velodyne and camera data for scene parsing | |
Han et al. | Recognition and location of steel structure surface corrosion based on unmanned aerial vehicle images | |
US20230095533A1 (en) | Enriched and discriminative convolutional neural network features for pedestrian re-identification and trajectory modeling | |
CN112616023A (zh) | 复杂环境下的多摄像机视频目标追踪方法 | |
CN113936210A (zh) | 塔吊防撞方法 | |
Valappil et al. | CNN-SVM based vehicle detection for UAV platform | |
Páez-Ubieta et al. | Detection and depth estimation for domestic waste in outdoor environments by sensors fusion | |
CN117589167A (zh) | 一种基于三维点云模型的无人机巡检航线规划方法 | |
CN113569801B (zh) | 一种配电施工现场带电设备及其带电区域识别方法及装置 | |
Okochi et al. | On-the-fly spatio-temporal human segmentation of 3d point cloud data by micro-size lidar | |
CN116664851A (zh) | 一种基于人工智能的自动驾驶数据提取方法 | |
CN112465811A (zh) | 电力作业现场高精度动态目标定位方法及装置 | |
Dorner et al. | Object recognition by effective methods and means of computer vision | |
CN114912536A (zh) | 一种基于雷达和双光电的目标识别方法 | |
Zhang et al. | Semantic segmentation of point clouds of field obstacle-crossing terrain for multi-legged rescue equipment based on random forest | |
Chebi et al. | Strategy of detecting abnormal behaviors by fuzzy logic | |
Kim et al. | Intelligent Risk-Identification Algorithm with Vision and 3D LiDAR Patterns at Damaged Buildings. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210309 |
|
RJ01 | Rejection of invention patent application after publication |