CN115760976A - 一种变电站非接触式无感变电作业风险识别方法 - Google Patents

Abstract

本发明提出一种变电站非接触式无感变电作业风险识别方法，基于激光雷达和全景相机等传感器，构建变电作业现场高精度三维点云模型；接着采用二维图像语义分割技术，完成对视觉空间内的危险区域进行划分，同时建立三维世界空间坐标，通过可见光成像和三维遥感成像对作业人员进行无感定位；接着通过yolo v5网络结构构建变电站作业人员安全风险识别模型，基于现场摄像头、布控球等终端设备实现作业现场的实时识别；最后通过现场播放的方式实现现场安全风险告知预警。

Description

一种变电站非接触式无感变电作业风险识别方法

技术领域

本发明涉及人工智能技术领域，具体涉及一种变电站非接触式无感变电作业风险识别方法。

背景技术

目前，变电站作业现场的实时监测在推广成本和识别监测精度上仍存在很多问题，主要问题有如下几点：

（1）作业现场人员定位成本较高。目前人员定位主要通过卫星差分、UWB和雷达等技术，但是由于需要在作业现场架设基站或购买雷达设备，需要进行设备供电改造施工，其成本制约了这类方案的大规模推广应用，依靠电池电源供电的定位设备由于其续航时间限制，难以支持长时间的现场作业，且依赖外部硬件设备的定位系统，其设备本身的可靠性和稳定性难以得到保障。

（2）传统定位技术现场人员接受度较低。目前国网内，定位技术需要在施工人员身上佩戴定位芯片等设备，例如智能安全帽，配戴较重，加大了现场作业人员的负担，其辐射和续航等问题也影响了现场一线人员的接受度，难以大面积推广使用。

（3）现场作业风险识别精度较低，电网作业现场依赖传统纯视频图像识别的手段，普遍采用平面二维监控探头进行识别，虽然可以实现一定程度的人员作业安全监督，但缺乏高精度现场作业环境模型，缺乏三维空间位置信息，无法及时辨识安全作业距离，导致危险辨识能力欠缺。

发明内容

为了解决上述现有技术中的不足，本发明的目的在于提供一种变电站非接触式无感变电作业风险识别方法，首先通过构建变电作业现场高精度三维点云模型，然后对视觉空间内的危险区域进行划分和三维世界空间坐标建立，接着通过yolo v5网络结构构建变电作业现场实时安全风险智能辨识模型，实现作业现场的实时识别和现场安全风险告知预警。

本发明采用了下述技术方案：一种基于跨模态融合的非接触式无感变电作业风险识别方法，包括如下步骤：

步骤1： 基于激光雷达，获得变电站三维点云深度信息；基于全景相机，获取不同位置角度的变电站光学影像数据，形成变电站三维模型；以地面为参考点对三维点云数据和变电站三维模型进行联合标定，融合构建变电站高精度三维模型；

步骤2:以作业人员佩戴的全景相机坐标作为作业人员，根据全景相机的影像与变电站高精度三维模型进行空间位置转换，实现作业人员无感定位；

步骤3，针对变电站作业场景，构建变电站作业安全风险样本库；采用建yolo v5网络构建变电站作业人员安全风险识别模型；

步骤4：将变电站作业人员安全风险识别模型进行压缩量化，并部署作业现场的边缘计算装置；将全景相机、布控球连接边缘计算装置，将现场数据接入边缘计算装置，将数据送入变电站作业人员安全风险识别模型，进行人员安全行为识别，实现作业现场的实时识别，输出安全风险识别结果，若存在安全风险行为，将风险识别结果传入现场布控球等终端设备，通过语音播报方式将提示风险结果，实现实时告知预警。

本发明步骤2中，采用图像语义分割技术，将变电站高精度三维模型分割为多个区域，包括作业区域、安全区域和危险区域，从视觉空间上对区域进行划分。

本发明步骤2中，根据全景相机位置和旋转角度，加载当前视角内的所有变电站高精度三维模型，并对变电站高精度三维模型进行栅格化，利用相机内参及其在变电站高精度三维模型中的位置信息，将栅格化后点投影到相机传感器平面，得到相机二维图片中每个相素对应在变电站高精度三维模型所对应三维坐标，得到的图片像素三维坐标映射进行保存。

本发明步骤2中，利用相机内参及作业人员二维坐标得到中心像素相对于相机光心的单位方向向量；利用相机外参得到作业人员中心在变电站高精度三维模型全局坐标系的单位方向向量；利用得到的相机－人员中心的向量得到该向量相对于地面的夹角，利用相机位姿，附近地面高度坐标及预设的人体平均高度，得到相机与人员中心的高度差；利用高度差及地面夹角得到相机到人员中心的绝对距离，从而得到相机到人员中心的实际向量；利用相机到人员中心的实际向量及相机的位姿，可以计算得到人员中心的三维坐标，将该三维坐标的Z轴值设定为实际空间附近地面高度坐标值，即得到最终的人员所在的三维坐标位置和变电设备的空间位置关系。

本发明步骤3中，所述变电站作业安全风险样本库包含变电站内作业人员图像，变电设备图像，人员越线闯入图像和人员攀爬行为图像。

本发明步骤4中，压缩量化过程为：针对训练形成的变电站作业人员安全风险识别模型，首先通过网络修剪策略对正常训练后的变电站作业人员安全风险识别模型进行修剪，将原始网络变为稀疏网络，实现初步的压缩；通过K-Means++聚类得到深度网络每层权重的聚类中心，用聚类中心值表示网络的原始权重值来实现权值共享从而减少权值的数量；最后对网络各层聚类来进行各层权重的量化，进行再训练更新聚类中心。量化过程减少了表示权值所用的位数从而实现了对于深度网络的最终压缩。

本发明与现有技术相比，具有以下技术效果：

本发明基于激光雷达和全景相机，构建变电作业现场高精度三维点云模型，同时划分视觉空间内的危险区域和建立三维世界空间坐标，通过变电站作业人员安全风险识别模型，实现作业现场的实时识别和现场安全风险告知预警。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1为本发明中方法的整体流程示意图；

图2为基于激光雷达和全景相机的变电站高精度三维模型构建流程图；

图3为变电站作业人员无感定位；

图4为电力影像知识图谱包含的相关知识；

图5为多种影像标注方式示意图。

具体实施方法

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

如图1所示，本实施例公开了一种变电站非接触式无感变电作业风险识别方法，包括如下步骤：

步骤1： 基于激光雷达，获得变电站三维点云深度信息；基于全景相机，获取不同位置角度的变电站光学影像数据，形成变电站三维模型；以地面为参考点对三维点云数据和变电站三维模型进行联合标定，融合构建变电站高精度三维模型，如图2所示。

步骤2:以作业人员佩戴的全景相机坐标作为作业人员，根据全景相机的影像与变电站高精度三维模型进行空间位置转换，实现作业人员无感定位；

采用图像语义分割技术，将变电站高精度三维模型分割为多个区域，包括作业区域、安全区域和危险区域，从视觉空间上对区域进行划分。

根据全景相机位置和旋转角度，加载当前视角内的所有变电站高精度三维模型，并对变电站高精度三维模型进行栅格化，利用相机内参及其在变电站高精度三维模型中的位置信息，将栅格化后点投影到相机传感器平面，得到相机二维图片中每个相素对应在变电站高精度三维模型所对应三维坐标，得到的图片像素三维坐标映射进行保存。

利用相机内参及作业人员二维坐标得到中心像素相对于相机光心的单位方向向量；利用相机外参得到作业人员中心在变电站高精度三维模型全局坐标系的单位方向向量；

利用得到的相机－人员中心的向量得到该向量相对于地面的夹角，利用相机位姿，附近地面高度坐标及预设的人体平均高度，得到相机与人员中心的高度差；

利用高度差及地面夹角得到相机到人员中心的绝对距离，从而得到相机到人员中心的实际向量；

利用相机到人员中心的实际向量及相机的位姿，可以计算得到人员中心的三维坐标，将该三维坐标的Z轴值设定为实际空间附近地面高度坐标值，即得到最终的人员所在的三维坐标位置和变电设备的空间位置关系，如图3所示。

步骤3，针对变电站作业场景，构建变电站作业安全风险样本库；采用建yolo v5网络构建变电站作业人员安全风险识别模型；

针对变电站作业场景，构建变电站作业安全风险样本库，该变电站作业安全风险样本库包含变电站内作业人员图像，变电设备图像，人员越线闯入图像和人员攀爬行为图像。同时构建yolo v5网络架构，基于变电站作业安全风险样本库，对yolo v5网络进行训练，获得变电站作业人员安全风险识别模型，该变电站作业人员安全风险识别模型可以识别出图像中的作业人员、设备和人员的行为。

步骤4：将变电站作业人员安全风险识别模型进行压缩量化，并部署作业现场的边缘计算装置；将全景相机、布控球等终端设备连接边缘计算装置，将现场数据接入边缘计算装置，将数据送入变电站作业人员安全风险识别模型，进行人员安全行为识别，实现作业现场的实时识别，输出安全风险识别结果，若存在安全风险行为，将风险识别结果传入现场布控球等终端设备，通过语音播报方式将提示风险结果，实现实时告知预警，提高安全作业管控能力。如图4所示。

其次，将变电站作业人员安全风险识别模型进行压缩量化，以便于部署作业现场的边端设备中。针对训练形成的变电站作业人员安全风险识别模型，首先通过网络修剪策略对正常训练后的变电站作业人员安全风险识别模型进行修剪，将原始网络变为稀疏网络，实现初步的压缩；通过K-Means++聚类得到深度网络每层权重的聚类中心，用聚类中心值表示网络的原始权重值来实现权值共享从而减少权值的数量；最后对网络各层聚类来进行各层权重的量化，进行再训练更新聚类中心。量化过程减少了表示权值所用的位数从而实现了对于深度网络的最终压缩。

变电站作业人员安全风险识别模型转换成OM文件格式后，将变电站作业人员安全风险识别模型上传到边缘计算装置，以ATLAS为例但不限于，将变电站作业人员安全风险识别模型传送到系统HOST端，然后通过Matrix框架将变电站作业人员安全风险识别模型文件传输到DEVICE端。

以上描述的只是本发明的最佳实施方案，但不是对本发明其他实施方案的限制，熟悉该技术的专业人员可以使用上面公开的内容将其修改成等效的实施例。然而，在不背离本发明技术方案的内容的情况下，上述实施方式的任何简单的修改、替换和简化都应在本发明技术方案的保护范围之内。

Claims (6)

1.一种变电站非接触式无感变电作业风险识别方法，其特征是，包括如下步骤：

步骤1：基于激光雷达，获得变电站三维点云深度信息；基于全景相机，获取不同位置角度的变电站光学影像数据，形成变电站三维模型；以地面为参考点对三维点云数据和变电站三维模型进行联合标定，融合构建变电站高精度三维模型；

步骤2:以作业人员佩戴的全景相机坐标作为作业人员，根据全景相机的影像与变电站高精度三维模型进行空间位置转换，实现作业人员无感定位；

步骤3，针对变电站作业场景，构建变电站作业安全风险样本库；采用建yolo v5网络构建变电站作业人员安全风险识别模型；

步骤4：将变电站作业人员安全风险识别模型进行压缩量化，并部署作业现场的边缘计算装置；将全景相机、布控球连接边缘计算装置，将现场数据接入边缘计算装置，将数据送入变电站作业人员安全风险识别模型，进行人员安全行为识别，实现作业现场的实时识别，输出安全风险识别结果，若存在安全风险行为，将风险识别结果传入现场布控球等终端设备，通过语音播报方式将提示风险结果，实现实时告知预警。

2.根据权利要求1所述的变电站非接触式无感变电作业风险识别方法，其特征是，步骤2中，采用图像语义分割技术，将变电站高精度三维模型分割为多个区域，包括作业区域、安全区域和危险区域，从视觉空间上对区域进行划分。

3.根据权利要求2所述的变电站非接触式无感变电作业风险识别方法，其特征是，步骤2中，根据全景相机位置和旋转角度，加载当前视角内的所有变电站高精度三维模型，并对变电站高精度三维模型进行栅格化，利用相机内参及其在变电站高精度三维模型中的位置信息，将栅格化后点投影到相机传感器平面，得到相机二维图片中每个相素对应在变电站高精度三维模型所对应三维坐标，得到的图片像素三维坐标映射进行保存。

4.根据权利要求3所述的变电站非接触式无感变电作业风险识别方法，其特征是，步骤2中，利用相机内参及作业人员二维坐标得到中心像素相对于相机光心的单位方向向量；利用相机外参得到作业人员中心在变电站高精度三维模型全局坐标系的单位方向向量；利用得到的相机－人员中心的向量得到该向量相对于地面的夹角，利用相机位姿，附近地面高度坐标及预设的人体平均高度，得到相机与人员中心的高度差；利用高度差及地面夹角得到相机到人员中心的绝对距离，从而得到相机到人员中心的实际向量；利用相机到人员中心的实际向量及相机的位姿，可以计算得到人员中心的三维坐标，将该三维坐标的Z轴值设定为实际空间附近地面高度坐标值，即得到最终的人员所在的三维坐标位置和变电设备的空间位置关系。

5.根据权利要求4所述的变电站非接触式无感变电作业风险识别方法，其特征是，步骤3中，所述变电站作业安全风险样本库包含变电站内作业人员图像，变电设备图像，人员越线闯入图像和人员攀爬行为图像。

6.根据权利要求5所述的变电站非接触式无感变电作业风险识别方法，其特征是，步骤4中，压缩量化过程为：针对训练形成的变电站作业人员安全风险识别模型，首先通过网络修剪策略对正常训练后的变电站作业人员安全风险识别模型进行修剪，将原始网络变为稀疏网络，实现初步的压缩；通过K-Means++聚类得到深度网络每层权重的聚类中心，用聚类中心值表示网络的原始权重值来实现权值共享从而减少权值的数量；最后对网络各层聚类来进行各层权重的量化，进行再训练更新聚类中心。

Images