CN116563386A - 一种基于双目视觉的变电作业人员近电距离检测方法 - Google Patents

一种基于双目视觉的变电作业人员近电距离检测方法 Download PDF

Info

Publication number
CN116563386A
CN116563386A CN202310437215.9A CN202310437215A CN116563386A CN 116563386 A CN116563386 A CN 116563386A CN 202310437215 A CN202310437215 A CN 202310437215A CN 116563386 A CN116563386 A CN 116563386A
Authority
CN
China
Prior art keywords
image
distance
power transformation
parallax
operator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310437215.9A
Other languages
English (en)
Inventor
王波
王雷雄
马富齐
马恒瑞
张嘉鑫
罗鹏
李怡凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Agile Digital Cloud Information Technology Co ltd
Wuhan University WHU
Xian University of Technology
Original Assignee
Wuhan Agile Digital Cloud Information Technology Co ltd
Wuhan University WHU
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Agile Digital Cloud Information Technology Co ltd, Wuhan University WHU, Xian University of Technology filed Critical Wuhan Agile Digital Cloud Information Technology Co ltd
Priority to CN202310437215.9A priority Critical patent/CN116563386A/zh
Publication of CN116563386A publication Critical patent/CN116563386A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于双目视觉的变电作业人员近电距离检测方法，该方法基于双目立体匹配算法，通过多阶段视差修正，在尽可能减少精度损失的前提下，大幅减少模型参数量和计算量，加快模型推理速度，确保作业场景空间信息检测实时性，同时结合YOLOV4目标检测算法，准确区分图像中作业人员和带电设备，并以此进行坐标转换，进一步测算出作业人员与带电设备之间的距离，并以此作为报警判别条件。本发明能在保证检测精度的前提下有效检测作业人员近电距离，实现对变电作业触电风险实时监测，提高电力设备运行安全稳定性，保障人员生命安全。

Description

一种基于双目视觉的变电作业人员近电距离检测方法
技术领域
本发明涉及电力变电作业安全监察技术领域，具体是一种基于双目视觉的变电作业人员近电距离检测方法。
背景技术
变电站近电作业是电力设备检测、检修维护升级的重要手段，是保证电网可靠运行的重要工作内容。带电设备周边环境中存在着强电场、暂态电击、稳态电击以及静电感应等安全影响因素。因此，电力企业制定了详细安全作业规程，对不同电压等级的近电安全距离管控范围进行了严格的要求，以保障人员安全。因此，研究变电人员近电安全距离检测方法对于保障作业安全有重大意义。
传统变电作业管控方法是通过全站仪等测距装置或设置距离参照物进行人工距离管控，但是由于人员主观性及人无法实时精准监管人与设备的距离，导致触电安全事故频发。基于双目测距的视频监控方法凭借其可以感知距离，操作简单，在变电站近电作业人员近电安全距离检测上的应用成为了可能，然而变电作业安全管控对于实时性要求高和距离进度要求高，现有方法难以在实际场景中达到良好效果。
发明内容
为了改进现有技术存在的不足，本发明提出了一种基于双目视觉的变电作业人员近电距离检测方法。实现对变电作业场景人员近电安全距离实时监测，提高电力作业视频监控质量，保障人员生命安全。
一种基于双目视觉的变电作业人员近电距离检测方法，包括以下步骤：
步骤S1：采用双目相机，采集包含变电人员现场作业影像数据；
步骤S2：利用步骤S1采集到的图像标定双目相机，采用张正友方法标定相机，解析相机内外参数以及畸变系数，矫正相机本身畸变；
步骤S3：将步骤S2矫正后的图像输入至基于深度学习的立体匹配网络，进行双目立体匹配，输出视差图；
步骤S4：将步骤S3所得视差图，进行坐标系转换，获取作业现场三维点云数据；
步骤S5：将步骤S2矫正后的左图像输入目标检测神经网络模型，输出图像中包含的作业元素及其对应的图像坐标信息；
步骤S6：结合步骤S4获取的三维点云数据与步骤S5所得作业元素及其对应的图像坐标信息，检测作业元素周边点云数据深度突变，实现作业人员与带电设备边缘检测；
步骤S7：结合步骤S4获取的三维点云数据和步骤S6作业元素边缘，计算作业元素三维表面中心；
步骤S8：根据步骤S7所得作业元素三维表面中心，在世界坐标系下计算作业人员和带电设备间的三维表面中心距离，实现作业人员近电距离计算；
步骤S9：对步骤S8计算的作业人员近电距离进行判断，与标准的安全距离进行比较判断作业人员是否存在作业风险，对小于预设报警距离的作业人员进行声光告警，对临近预设报警距离的作业人员进行预警。
进一步的，所述检测方法由双目图像采集识别模块和边缘AI芯片计算模块组成。
进一步的，所述步骤S2具体为：使用黑白棋盘格的标定板，根据标定板，采集数十张拍摄视角各异的图像，提取图像方格的角点，解算出双目相机的内外参数以及畸变系数，最后矫正相机的镜头畸变。
进一步的，所述步骤S3基于深度学习的立体匹配网络由高效特征提取网络和视差生成网络组成，具体如下：
a.高效特征提取网络以U-Net为特征提取主干结构，衔接特征金字塔FPN模块用于融合不同尺度的特征；
b.视差生成网络将双目图像特征图作为输入，计算匹配代价，聚合代价，计算视差，最后输出视差图。该网络在第一阶段生成初始视差图，并在后续阶段生成校正残差图来对预测的视差图进行矫正，最后输出高精度视差图。
进一步的，所述步骤S3具体为：
步骤S31：对图片进行预处理，适当缩小图像尺寸，减少立体匹配计算量，并将其输入高效特征提取网络进行特征提取
步骤S32：通过视差生成网络计算最低分辨率特征图并低分辨率视差图；
步骤S33：视差生成网络采用更高分辨率的特征图，并用上阶段生成的视差图扭曲右特征图，通过视差网络生成残差图，该残差图指定视差图像素修正值，并在更高尺度修正现有视差图。
进一步的，所述步骤S31具体为将图像放缩，通过连续二维卷积模块进行下采样，获得不同尺度的特征图，并通过跨层连接，将不同层之间的特征进行堆叠，从而获得不同粒度的特征图，能够有效获取原始图片中的形状特征、纹理特征、边缘信息。
进一步的，所述步骤S32，具体如下：
A.匹配代价计算，代价量元素代表左图像素与右图像素/>的匹配程度，代价公式如下：
B.代价聚合，视差网络使用3D卷积层来优化代价量；
C.视差计算，视差网络采用视差回归，通过计算代价加权平均值来计算视差值，计算公式如下：
进一步的，所述步骤S33，具体为通过限制最大视差为5，生成校正残差图对现有视差图进行修正。在模型后续阶段，网络首先放大阶段1生成的视差图，并通过逐像素视差估计在更高尺寸上扭曲输入右图特征。该阶段匹配代价计算公式如下：
进一步的，所述步骤S4，具体为根据标定双目相机获取的内外参数以及预测视差图，将视差图像坐标转换到世界坐标系下的三维点云坐标值，构建现场作业图像坐标和点云坐标查询库，具体如下：
首先，结合输出的预测作业场景视差图本文在已知相机参数的基础上来计算作业场景左图像的深度值Zc，即，所有像素点对应三维世界的目标点与相机成像光心的距离值，公式如下：
式中：T为左右相机水平基线距离；f为相机的焦距。
其次，将作业场景左视图所有像素坐标(u,v)转换为三维世界(Xw,Yw,Zw)，具体公式如下：
式中：fx和fy为单一像素的长宽；(u0,v0)为双目相机的成像面的中心坐标；R和T为相机外部参数旋转矩阵和偏移矩阵。
最后，构建现场作业图像坐标和点云坐标查询库。
进一步的，所述步骤S5采集处理变电作业现场视频图像数据，是以变电作业安全规范为依据，将规范中主要涉及的作业人员和带电设备为对应标签，并将标签与数据集中的对象进行匹配标注。
进一步的，所述步骤S5，所用目标检测网络具体为YOLOv4网络，网络以Darknet53为特征提取主干结构，衔接特征金字塔FPN模块用于融合不同尺度的特征，最后通过三组Yolo-Head层输出模型预测结果。
进一步的，所述步骤S5，目标检测网络训练数据为变电作业现场视频图像数据，是以变电作业安全规范为依据，将规范中主要涉及的作业人员和带电设备为对应标签，并将标签与数据集中的对象进行匹配标注。
进一步的，所述步骤S5，YOLOV4网络通过连续下采样，获得不同尺度的特征图，并通过跨层连接，将不同层之间的特征进行堆叠，从而获得不同粒度的特征图，能够有效获取原始图片中的形状特征、纹理特征、边缘信息。
进一步的，所述步骤S5，YOLOV4网络在进行深层特征提取后，将最后三个卷积模块的输出单独提取出来，输入特征金字塔FPN模块，将不同尺度的特征通过卷积操作整合为同一尺寸，并通过通道堆叠合并为整体输出。
进一步的，所述步骤S5，YOLOV4网络将特征金字塔FPN模块的三组输出特征图分别输入Yolo-Head的预测模块，通过卷积操作对可能的目标进行位置与类别的预测。
进一步的，所述步骤S6，具体为根据步骤S5输出矩形检测框高宽和以及作业元素像素坐标，查询对应三维点云坐标，以目标框中心为起始点，向外搜索像素点，根据边缘判别公式，如下
Zc(i,j)表示像素坐标为(i,j)像素点对应三维世界的目标点与相机成像光心的距离值；Nthreshold为阈值系数，根据GB 26860-2011中表1“设备不停电时的安全距离”和表2“人员工作中与设备带电部分”的具体规定，为0.25。
当出现相邻像素点之间的深度差值大于自身深度值的1/4时，这时认为这两点在三维空间是不连续的，将该像素点设为目标边缘。
进一步的，所述步骤S7，具体为将作业人员与带电设备边缘内像素点转换三维坐标并计算均值作为检测目标三维表面中心。
进一步的，所诉步骤S8，具体为计算世界坐标系下YOLOv4算法识别的作业人员坐标和所有带电设备坐标/>的欧式距离，计算公式如下：
将计算得出的最小距离作为作业人员近电距离用于后续报警判断。
进一步的，所诉步骤S9，具体为根据步骤S8计算得出的YOLOv4算法识别的作业人员与带电设备的最短距离进行判断，对小于预设报警距离的外破识别结果直接进行声光告警，对临近预设报警距离的作业人员进行预警，大大提高了近电作业安全管控效率，提高变电作业视频监控质量，保障提高电力设备运行安全稳定性，保障作业人员人身安全。
本发明与现有技术相比具有以下有益效果：
本发明基于深度学习图像识别与双目视觉测距技术，利用计算机视觉理论以及深度学习框架构建目标检测深度神经网络模型，实现对变电作业视频的作业元素智能识别。同时基于立体视觉技术及深度学习框架构建多阶段立体匹配深度神经网络，实时获取高精度作业场景三维空间信息，结合智能识别结果，准确获取图像中作业人员和带电设备的深度距离，并以此进行坐标系转换，进一步测算出作业人员近电安全距离，并以此为报警判别条件，实现对变电作业人员近电距离实时监测，提高电力设备运行安全稳定性，保障人身安全。
附图说明
图1为本发明多阶段立体匹配网络结构图；
图2为本发明双目视差与深度距离关系图；
图3为本发明近电安全距离检测方法结构图。
具体实施方式
下面将结合附图1、2和3，对本发明的具体实施方式作进一步的描述，但本发明不限于此实施方式。
一种基于双目视觉的变电作业人员近电距离检测方法，包括以下步骤：
步骤S1：采用双目相机，采集包含变电人员现场作业影像数据；
步骤S2：利用步骤S1采集到的图像标定双目相机，使用黑白棋盘格的标定板，根据标定板，采集变电场景下的10～30米的数十张拍摄视角各异的作业图像，提取图像方格的角点，解算出相机的内外参数以及畸变系数，最后矫正相机的镜头畸变；
步骤S3：将步骤S2矫正后的图像输入至基于深度学习的立体匹配网络，进行双目立体匹配，输出视差图，具体实施如下：
1制作数据，在实际变电站由近到远采集真实双目立体图像对，并通过高精度激光雷达来制作对于双目图像对的深度图，统一裁剪并保存为1920x1080像素尺寸的图像数据，制作成模型训练所需数据集；
2构建模型，利用Pytorch框架搭建多阶段立体匹配模型，模型采用普通二维卷积来提取图像特征并采用少量三维卷积并分阶段生成视差匹配，以牺牲立体匹配的边缘精度为代价，在低分率图像上实现计算速度和准确性的权衡；
3模型检测，基于深度学习的多阶段立体匹配网络由高效特征提取网络和视差生成网络组成，具体实施如下：
3.1高效特征提取网络首先图像放缩为960x960像素尺寸，通过连续二维卷积模块进行下采样，获得不同尺度的特征图，并通过跨层连接，将不同层之间的特征进行堆叠，从而获得不同粒度的特征图，能够有效获取原始图片中的形状特征、纹理特征、边缘信息，该网络输出多个输出分辨率(1\16、1\8、1\4)特征图；
3.2视差生成网络在第一阶段，仅计算最低分辨率特征图(1\16)并通过视差网络生成低分辨率视差图(视差阶段1)。该视差图代表双目右图像每个像素点相对左图像中每个像素的水平偏移，并可用于生成深度图。由于输入分辨率较低，整个第一阶段的计算只需要十几毫秒。
3.3视差生成网络在第二阶段中，本模型无须计算完整视差图，而是修正第1阶段生成的视差图。首先，本模型将上采样上阶段生成视差图以匹配第二阶段的分辨率。然后，通过视差网络生成包含细微校正的残差图，该残差图指定视差图的每个像素应该增加或减少多少。
3.4视差生成网络如果时间允许，第三阶段遵循与第二阶段类似的过程，并再次将分辨率从1\8倍增到1\4。本模型通过分阶段预测低尺度视差图来修正高尺度特征和恢复视差图的分辨率，在尽可能提高检测速度的同时，逐阶段的提高检测精度，最终快速得到一个高精度的视差估计图。
步骤S4：将步骤S3所得视差图，进行坐标系转换，获取作业现场三维点云数据，具体实施如下：
1结合输出的预测作业场景视差图本文在已知相机参数的基础上来计算作业场景左图像的深度值Zc，即，所有像素点对应三维世界的目标点与相机成像光心的距离值，公式如下：
式中：T为左右相机水平基线距离；f为相机的焦距。
2将作业场景左视图所有像素坐标(u,v)转换为三维世界(Xw,Yw,Zw)，具体公式如下：
式中：fx和fy为单一像素的长宽；(u0,v0)为双目相机的成像面的中心坐标；R和T为相机外部参数旋转矩阵和偏移矩阵。
3构建一一对应的变电作业图像坐标和世界坐标系下三维点云坐标数据库。
步骤S5：将步骤S2矫正后的左图像输入目标检测神经网络模型，输出图像中包含的作业元素及其对应的图像坐标信息，具体实施如下：
1制作数据，通过双目相机左相机采集得到的视频数据统一裁剪并保存为1920x1080像素尺寸的图像数据，根据安规，并用矩形框标注作业人员和带电设备为待检测对象，制作成模型训练所需数据集；
2构建模型，利用Pytorch框架搭建YOLOv4模型，模型会将图像中包含的形状特征、纹理特征、边缘信息进行提取，并将提取出的特征信息输入到深度神经网络，由深度神经网络计算模型参数，并输出基于左图像的变电场景作业元素识别结果；
步骤S6：结合步骤S4获取的三维点云数据与步骤S5所得作业元素图像坐标信息，检测作业元素周边点云数据深度突变，实现作业人员与带电设备边缘检测，具体实施如下：
根据步骤S5输出矩形检测框高宽和以及作业元素像素坐标，通过步骤S4构建变电作业点云数据库查询对应三维点云坐标，以目标框中心为起始点，向外搜索像素点，根据边缘判别公式，如下：
Zc(i,j)表示像素坐标为(i,j)像素点对应三维世界的目标点与相机成像光心的距离值；Nthreshold为阈值系数，根据GB 26860-2011中表1“设备不停电时的安全距离”和表2“人员工作中与设备带电部分”的具体规定，为0.25。
步骤S7：结合步骤S4获取的三维点云数据和步骤S6作业元素边缘，计算作业元素三维表面中心；
步骤S8：根据步骤S7所得作业元素三维表面中心，在世界坐标系下计算作业人员和带电设备间的三维表面中心距离，实现作业人员近电距离计算，具体实施为：
计算世界坐标系下YOLOv4算法识别的作业人员坐标和所有带电设备坐标/>的欧式距离，计算公式如下：
将计算得出的最小距离作为作为作业人员近电距离用于后续报警判断。
步骤S9：对步骤S8计算的作业人员近电距离进行判断，与标准的安全距离进行比较判断作业人员是否存在作业风险，对小于预设报警距离的作业人员进行声光告警，对临近预设报警距离的作业人员进行预警。

Claims (12)

1.一种基于双目视觉的变电作业人员近电距离检测方法，其特征在于：包括以下步骤：
步骤S1：采用双目相机，采集包含变电人员现场作业影像数据；
步骤S2：利用步骤S1采集到的图像标定双目相机，采用张正友方法标定相机，解析相机内外参数以及畸变系数，矫正相机本身畸变；
步骤S3：将步骤S2矫正后的图像输入至基于深度学习的立体匹配网络，进行双目立体匹配，输出视差图；
步骤S4：将步骤S3所得视差图，进行坐标系转换，获取作业现场三维点云数据；
步骤S5：将步骤S2矫正后的左图像输入目标检测神经网络模型，输出图像中包含的作业元素及其对应的图像坐标信息；
步骤S6：结合步骤S4获取的三维点云数据与步骤S5所得作业元素及其对应的图像坐标信息，检测作业元素周边点云数据深度突变，实现作业人员与带电设备边缘检测；
步骤S7：结合步骤S4获取的三维点云数据和步骤S6作业元素边缘，计算作业元素三维表面中心；
步骤S8：根据步骤S7所得作业元素三维表面中心，在世界坐标系下计算作业人员和带电设备间的三维表面中心距离，实现作业人员近电距离计算；
步骤S9：对步骤S8计算的作业人员近电距离进行判断，与标准的安全距离进行比较判断作业人员是否存在作业风险，对小于预设报警距离的作业人员进行声光告警，对临近预设报警距离的作业人员进行预警。
2.根据权利要求1所述的一种基于双目视觉的变电作业人员近电距离检测方法，其特征在于：所述检测方法由双目图像采集识别模块和边缘AI芯片计算模块组成。
3.根据权利要求1所述的一种基于双目视觉的变电作业人员近电距离检测方法，其特征在于：所述步骤S2中，使用黑白棋盘格的标定板，根据标定板，采集数十张拍摄视角各异的图像，提取图像方格的角点，解算出双目相机的内外参数以及畸变系数，最后矫正相机的镜头畸变。
4.根据权利要求1所述的一种基于双目视觉的变电作业人员近电距离检测方法，其特征在于：所述步骤S3基于深度学习的立体匹配网络模型由高效特征提取网络和视差生成网络组成，具体如下：
a.高效特征提取网络以U-Net为特征提取主干结构，衔接特征金字塔FPN模块用于融合不同尺度的特征；
b.视差生成网络将双目图像特征图作为输入，计算匹配代价，聚合代价，计算视差，最后输出视差图。该网络在第一阶段生成初始视差图，并在后续阶段生成校正残差图来对预测的视差图进行矫正，最后输出高精度视差图。
5.根据权利要求1所述的一种基于双目视觉的变电作业人员近电距离检测方法，其特征在于：所述步骤S3具体为：
步骤S31：对图片进行预处理，适当缩小图像尺寸，减少立体匹配计算量，并将其输入高效特征提取网络进行特征提取；
步骤S32：通过视差生成网络计算最低分辨率特征图并低分辨率视差图；
步骤S33：通过视差生成网络采用更高分辨率的特征图，并用上阶段生成的视差图扭曲右特征图，通过视差网络生成残差图，该残差图指定视差图像素修正值，并在更高尺度修正现有视差图。
6.根据权利要求1所述的一种基于双目视觉的变电作业人员近电距离检测方法，其特征在于：所述步骤S4根据标定双目相机获取的内外参数以及预测视差图，将视差图像坐标转换到世界坐标系下的三维点云坐标值，构建现场作业图像坐标和点云坐标查询库。
7.根据权利要求1所述的一种基于双目视觉的变电作业人员近电距离检测方法，其特征在于：所述步骤S5采集处理变电作业现场视频图像数据，是以变电作业安全规范为依据，将规范中主要涉及的作业人员和带电设备为对应标签，并将标签与数据集中的对象进行匹配标注。
8.根据权利要求1所述的一种基于双目视觉的变电作业人员近电距离检测方法，其特征在于：所述步骤S5目标检测模型是采用YOLOv4网络，网络以Darknet53为特征提取主干结构，衔接特征金字塔FPN模块用于融合不同尺度的特征，最后通过三组Yolo-Head层输出模型预测结果。
9.根据权利要求1所述的一种基于双目视觉的变电作业人员近电距离检测方法，其特征在于：所述步骤S6根据步骤S5输出矩形检测框高宽和以及作业元素像素坐标，查询对应三维点云坐标，以目标框中心为起始点，向外搜索像素点，根据边缘判别公式，如下
Zc(i,j)表示像素坐标为(i,j)像素点对应三维世界的目标点与相机成像光心的距离值；Nthreshold为阈值系数，根据GB 26860-2011中表1“设备不停电时的安全距离”和表2“人员工作中与设备带电部分”的具体规定，为0.25,
当出现相邻像素点之间的深度差值大于自身深度值的1/4时，这时认为这两点在三维空间是不连续的，将该像素点设为目标边缘。
10.根据权利要求1所述的一种基于双目视觉的变电作业人员近电距离检测方法，其特征在于：所诉步骤S7将作业人员与带电设备边缘内像素点转换三维坐标并计算均值作为检测目标三维表面中心。
11.根据权利要求1所述的一种基于双目视觉的变电作业人员近电距离检测方法，其特征在于：所诉步骤S8计算世界坐标系下YOLOv4算法识别的作业人员坐标和所有带电设备坐标间的欧式距离，将最小值作为作业人员近电距离用于后续报警判断。
12.根据权利要求1所述的一种基于双目视觉的变电作业人员近电距离检测方法，其特征在于：所诉步骤S9根据步骤S8计算得出的YOLOv4算法识别的作业人员与带电设备的最短距离进行判断，对小于预设报警距离的外破识别结果直接进行声光告警，对临近预设报警距离的作业人员进行预警。
CN202310437215.9A 2023-04-22 2023-04-22 一种基于双目视觉的变电作业人员近电距离检测方法 Pending CN116563386A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310437215.9A CN116563386A (zh) 2023-04-22 2023-04-22 一种基于双目视觉的变电作业人员近电距离检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310437215.9A CN116563386A (zh) 2023-04-22 2023-04-22 一种基于双目视觉的变电作业人员近电距离检测方法

Publications (1)

Publication Number Publication Date
CN116563386A true CN116563386A (zh) 2023-08-08

Family

ID=87493830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310437215.9A Pending CN116563386A (zh) 2023-04-22 2023-04-22 一种基于双目视觉的变电作业人员近电距离检测方法

Country Status (1)

Country Link
CN (1) CN116563386A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117422754A (zh) * 2023-10-30 2024-01-19 河南送变电建设有限公司 基于实例分割的变电站近电作业人员空间距离计算方法、可读存储介质和电子设备
CN117830676A (zh) * 2024-03-06 2024-04-05 国网湖北省电力有限公司 基于无人机的输电线路施工风险识别方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117422754A (zh) * 2023-10-30 2024-01-19 河南送变电建设有限公司 基于实例分割的变电站近电作业人员空间距离计算方法、可读存储介质和电子设备
CN117422754B (zh) * 2023-10-30 2024-05-28 河南送变电建设有限公司 基于实例分割的变电站近电作业人员空间距离计算方法、可读存储介质和电子设备
CN117830676A (zh) * 2024-03-06 2024-04-05 国网湖北省电力有限公司 基于无人机的输电线路施工风险识别方法及系统
CN117830676B (zh) * 2024-03-06 2024-06-04 国网湖北省电力有限公司 基于无人机的输电线路施工风险识别方法及系统

Similar Documents

Publication Publication Date Title
CN113450408B (zh) 一种基于深度相机的非规则物体位姿估计方法及装置
CN116563386A (zh) 一种基于双目视觉的变电作业人员近电距离检测方法
CN109903331B (zh) 一种基于rgb-d相机的卷积神经网络目标检测方法
JP7212236B2 (ja) オーバービュー視覚およびローカル視覚の一体化によるロボット視覚案内方法及び装置
CN112990310A (zh) 服务于电力机器人的人工智能系统及方法
CN109543665B (zh) 图像定位方法及装置
CN111275759A (zh) 基于无人机双光影像融合的变电站刀闸温度检测方法
CN112508865B (zh) 一种无人机巡检避障方法、装置、计算机设备和存储介质
CN112200056B (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN111476762B (zh) 一种巡检设备的障碍物检测方法、装置和巡检设备
WO2020135187A1 (zh) 基于rgb_d和深度卷积网络的无人机识别定位系统和方法
CN110853002A (zh) 一种基于双目视觉的变电站异物检测方法
CN115809986A (zh) 一种多传感器融合的输电走廊智能外破检测方法
CN115995058A (zh) 基于人工智能的输电通道安全在线监测方法
CN112000094A (zh) 一种单双目结合的高压输电线路金具在线识别定位系统及方法
CN113723389B (zh) 一种支柱式绝缘子定位方法及装置
EP3961556A1 (en) Object recognition device and object recognition method
CN111768448A (zh) 一种基于多相机检测的空间坐标系标定方法
CN110956640B (zh) 一种异源图像边缘点检测与配准方法
CN115330751A (zh) 一种基于YOLOv5和Realsense的螺栓检测与定位方法
Li et al. Real time obstacle estimation based on dense stereo vision for robotic lawn mowers
CN104200469A (zh) 一种视觉智能数控系统的数据融合方法
CN110473246B (zh) 一种基于双目视觉的多重遮挡目标的测距方法
CN113792645A (zh) 一种融合图像和激光雷达的ai眼球
CN114167443A (zh) 信息补全方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination