CN118500254A - 变电站隐患目标尺寸测量方法和系统 - Google Patents

Abstract

本发明提供了一种变电站隐患目标尺寸测量方法和系统，该测量方法包括：对激光雷达和左目相机进行外参标定以获取相应的第一外参矩阵，以及对左目相机和右目相机进行外参标定以获取相应的第二外参矩阵；获取实例分割模型，并通过实例分割模型对左目图像进行实例分割，以及根据实例分割结果获取变电站的隐患目标图像；采用双目视觉测量原理根据隐患目标图像和第二外参矩阵计算隐患目标图像中的隐患目标到左目相机和右目相机之间的平均距离；根据隐患目标对应的激光雷达点云信息获取隐患目标相对激光雷达的第一深度信息；根据第一深度信息和第一外参矩阵对平均距离进行优化以获取隐患目标的优化深度信息；根据优化深度信息获取隐患目标的尺寸信息。

Description

变电站隐患目标尺寸测量方法和系统

技术领域

本发明涉及变电站隐患目标测量技术领域，具体涉及一种变电站隐患目标尺寸测量方法和一种变电站隐患目标尺寸测量系统。

背景技术

随着国家的不断进步和各类高新产业的蓬勃发展，全国各地的用电量呈现大范围增长态势，变电站是接受电能和分配电能的重要场所，可以根据不同的电压等级分为四类类变电站。变电站的安全稳定运行是安全用电的重要保障，由于变电站中电气设备种类多，重要性高，如果出现安全问题会造成重大的经济损失，因此需要对变电站隐患目标(例如，故障设备等)进行实时监测，并测量隐患目标的尺寸。

相关技术中，各变电站主要通过人力巡检和视频监控的方式检测变电站的隐患目标，存在效率低、容易产生误判且无法测量隐患目标大小等问题。

发明内容

本发明为解决上述技术问题，提供了一种变电站隐患目标尺寸测量方法，采用激光雷达点云信息辅助左目相机和右目相机能够自动准确地对变电站隐患目标进行识别和尺寸测量。

本发明采用的技术方案如下：

一种变电站隐患目标尺寸测量方法，包括以下步骤：对激光雷达和左目相机进行外参标定以获取相应的第一外参矩阵，以及对所述左目相机和右目相机进行外参标定以获取相应的第二外参矩阵，其中，所述激光雷达设置在所述变电站内，用于采集所述变电站的激光雷达点云信息，所述左目相机和所述右目相机分别与所述激光雷达对应设置，所述左目相机用于采集所述变电站的左目图像，所述右目相机用于采集所述变电站的右目图像；获取实例分割模型，并通过所述实例分割模型对所述左目图像进行实例分割，以及根据实例分割结果获取所述变电站的隐患目标图像；采用双目视觉测量原理根据所述隐患目标图像和所述第二外参矩阵计算所述隐患目标图像中的隐患目标到所述左目相机和所述右目相机之间的平均距离；根据所述隐患目标对应的所述激光雷达点云信息获取所述隐患目标相对所述激光雷达的第一深度信息；根据所述第一深度信息和所述第一外参矩阵对所述平均距离进行优化以获取所述隐患目标的优化深度信息；根据所述优化深度信息获取所述隐患目标的尺寸信息。

在本发明的一个实施例中，通过所述实例分割模型对所述左目图像进行实例分割，以及根据所述实例分割结果获取所述变电站的隐患目标图像，包括：依次对所述左目图像进行混合池化运算、上采样和加权融合处理以获取相应的特征图像；对所述特征图像进行背景抑制处理以获取背景抑制图像，并对所述背景抑制图像中各ROI区域分别进行局部滤波处理以相应的候选区域图像；对所述特征图像和所述候选区域图像进行特征区域聚集处理以获取多个固定尺寸的关键目标特征图；将各所述关键目标特征图输入所述实例分割模型以输出各所述关键目标特征图的置信度评分；在所述置信度评分的指导下将各所述关键目标特征图分别与所述右目图像进行特征融合以获取相应的所述隐患目标图像。

在本发明的一个实施例中，采用所述双目视觉测量原理根据所述隐患目标图像和所述第二外参矩阵计算所述隐患目标图像中的隐患目标到所述左目相机和所述右目相机之间的平均距离，包括：根据所述隐患目标图像和所述第二外参矩阵分别获取所述左目相机中所述隐患目标的像素坐标和所述右目相机中所述隐患目标的像素坐标；根据所述左目相机中所述隐患目标的像素坐标和所述右目相机中所述隐患目标的像素坐标通过以下公式计算所述隐患目标图像中的隐患目标到所述左目相机和所述右目相机之间的平均距离：

其中，f₀为所述左目相机初始的相机焦距，b为所述左目相机和所述右目相机的基线距，d为所述左目相机和所述右目相机的双目视差，为所述左目相机中第k个所述隐患目标的像素横坐标，为所述右目相机中第k个所述隐患目标的像素横坐标。

在本发明的一个实施例中，根据所述第一深度信息和所述第一外参矩阵对所述平均距离进行优化以获取所述隐患目标的优化深度信息，包括：根据所述第一深度信息和所述平均距离构建优化函数；以所述优化函数为指标根据所述第一外参矩阵对所述左目相机和所述右目相机的内参进行优化；根据内参优化后的所述左目相机和所述右目相机获取所述隐患目标的优化深度信息。

一种变电站隐患目标尺寸测量系统，包括：标定模块，对激光雷达和左目相机进行外参标定以获取相应的第一外参矩阵，以及对所述左目相机和右目相机进行外参标定以获取相应的第二外参矩阵，其中，所述激光雷达设置在所述变电站内，用于采集所述变电站的激光雷达点云信息，所述左目相机和所述右目相机分别与所述激光雷达对应设置，所述左目相机用于采集所述变电站的左目图像，所述右目相机用于采集所述变电站的右目图像；第一获取模块，所述第一获取模块用于获取实例分割模型，并通过所述实例分割模型对所述左目图像进行实例分割，以及根据实例分割结果获取所述变电站的隐患目标图像；计算模块，所述计算模块用于采用双目视觉测量原理根据所述隐患目标图像和所述第二外参矩阵计算所述隐患目标图像中的隐患目标到所述左目相机和所述右目相机之间的平均距离；第二获取模块，所述第二获取模块用于根据所述隐患目标对应的所述激光雷达点云信息获取所述隐患目标相对所述激光雷达的第一深度信息；第三获取模块，所述第三获取模块用于根据所述第一深度信息和所述第一外参矩阵对所述平均距离进行优化以获取所述隐患目标的优化深度信息；第四获取模块，所述第四获取模块用于根据所述优化深度信息获取所述隐患目标的尺寸信息。

在本发明的一个实施例中，所述第一获取模块具体用于：依次对所述左目图像进行混合池化运算、上采样和加权融合处理以获取相应的特征图像；

对所述特征图像进行背景抑制处理以获取背景抑制图像，并对所述背景抑制图像中各ROI区域分别进行局部滤波处理以相应的候选区域图像；对所述特征图像和所述候选区域图像进行特征区域聚集处理以获取多个固定尺寸的关键目标特征图；将各所述关键目标特征图输入所述实例分割模型以输出各所述关键目标特征图的置信度评分；在所述置信度评分的指导下将各所述关键目标特征图分别与所述右目图像进行特征融合以获取相应的所述隐患目标图像。

在本发明的一个实施例中，所述计算模块具体用于：根据所述隐患目标图像和所述第二外参矩阵分别获取所述左目相机中所述隐患目标的像素坐标和所述右目相机中所述隐患目标的像素坐标；根据所述左目相机中所述隐患目标的像素坐标和所述右目相机中所述隐患目标的像素坐标通过以下公式计算所述隐患目标图像中的隐患目标到所述左目相机和所述右目相机之间的平均距离：

其中，f₀为所述左目相机初始的相机焦距，b为所述左目相机和所述右目相机的基线距，d为所述左目相机和所述右目相机的双目视差，为所述左目相机中第k个所述隐患目标的像素横坐标，为所述右目相机中第k个所述隐患目标的像素横坐标。

在本发明的一个实施例中，所述第三获取模块具体用于：根据所述第一深度信息和所述平均距离构建优化函数；以所述优化函数为指标根据所述第一外参矩阵对所述左目相机和所述右目相机的内参进行优化；根据内参优化后的所述左目相机和所述右目相机获取所述隐患目标的优化深度信息。

本发明的有益效果：

本发明采用激光雷达点云信息辅助左目相机和右目相机能够自动准确地对变电站隐患目标进行识别和尺寸测量。

附图说明

图1为本发明实施例的变电站隐患目标尺寸测量方法的流程图；

图2为本发明实施例的变电站隐患目标尺寸测量系统的方框示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是根据本发明实施例的变电站隐患目标尺寸测量方法的流程图。

如图1所示，本发明实施例的变电站隐患目标尺寸测量方法可包括以下步骤：

S1，对激光雷达和左目相机进行外参标定以获取相应的第一外参矩阵，以及对左目相机和右目相机进行外参标定以获取相应的第二外参矩阵。

其中，激光雷达设置在变电站内，用于采集变电站的激光雷达点云信息。左目相机和右目相机分别与激光雷达对应设置，例如，左目相机和右目相机可通过连接板放置在激光雷达的上方，左目相机用于采集变电站的左目图像，右目相机用于采集变电站的右目图像。

可以理解的是，在通过激光雷达和双目相机(左目相机和右目相机)对变电站隐患目标(例如，故障设备等)进行识别和尺寸测量时，需先对激光雷达和左目相机进行外参标定，并对左目相机和右目相机进行外参标定。

首先，对激光雷达和左目相机进行外参标定以获取相应的第一外参矩阵，即获取变电站的激光雷达点云信息和对应的左目相机采集的左目图像，在激光雷达和左目相机的视野范围内放置棋盘格标定板，提取三维点云中的标定板平面，通过RANSAC算法(Randomsample consensus，随机抽样一致算法)实现理想的标定板平面拟合，基于反射率约束和标定板尺寸约束提取标定板上的三维角点，同时获取左目相机的内参，实现左目图像中标定板角点的检测，从而构建三维角点和二维角点的映射关系，利用PNP算法实现激光雷达和左目相机的外参标定。具体包括以下步骤：

步骤S11，利用激光雷达点云的法线约束，实现基于法线差的激光雷达点云聚类，提取激光雷达点云中的标定板；

步骤S12，确定标定板的边界，在步骤S11中的激光雷达点云聚类的基础上，去除标定板边缘的无效点云，其中，上边界通过选择最高的Z轴坐标确定，下边界基于标定板的尺寸约束计算得到，即

Z_top＝max P_c ^z，

其中，P_c ^z为聚类后激光雷达点云的Z轴坐标，Z_top为最高的Z轴坐标，w是标定板的棋盘格大小的约束比例，P_c ^xy为标定板的棋盘格点的x轴和y轴坐标，N_hG_s是标定板的棋盘格的尺寸参数，z为标定板的棋盘格上某点的z轴坐标。

步骤S13，利用RANSAC算法保留距离标定板平面以内的所有激光雷达点云，通过迭代细化的方式获得标定板的理想雷达点云平面，理想平面拟合公式如下，

其中，A、B、C和D为平面的参数，P_c为激光雷达点云，P_c'拟合平面的点，(x₀,y₀,z₀)为激光雷达点云的世界坐标，σ为点云到标定板的距离约束。

步骤S14，通过棋盘格反射率约束和标定板尺寸约束提取标定板激光雷达点云的三维角点，记为P_c ^I＝{(x₀,y₀,z₀)∈P_c}，其中，激光雷达的标定板由3×3的方格组成，相邻的两个方格颜色不同，分别为黑色和白色。

S15，根据图像灰度值的变换情况，定义角点响应值，通过判别角点响应值的范围，区分图像中的平坦区、边缘和角点，实现左目图像中标定板的二维角点检测，即

R＝det(M)-k(trace(M))²＝λ₁λ₂-k(λ₁+λ₂)²，

其中，其中R为角点响应值，M为图像灰度值的偏导数矩阵，λ₁和λ₂为偏导数矩阵的特征值，即当λ₁和λ₂相近时，该点为图像的角点。

S16，根据激光雷达点云的三维角点和左目图像的二维角点构建三维角点及其对应的二维角点集合，具体形式如下：

其中，(x_ki,y_ki,z_ki)为三维角点坐标，(x_ji,y_ki)为二维角点坐标，i＝1,2，……，9。

S17，利用基于RANSAC的PNP(Perspective-n-Points)算法(即通过多对3D与2D匹配点，在已知或者未知相机内参的情况下，利用最小化重投影误差来求解相机外参的算法)来获得激光雷达和左目相机外参的初始非本征解，以及丢弃重投影误差较高的解，并重复进行PNP求解，直到所有重投影误差都小于阈值ξ，获得激光雷达和左目相机之间的外参矩阵(即第一外参矩阵)，包括旋转矩阵R₁和平移矩阵T₁。

其次，通过构建双目相机的成像模型，实现左目相机和右目相机间的图像坐标转换，利用张氏标定法完成左目相机和右目相机的外参标定，具体包括以下步骤：

步骤21，根据图像平面和标定板的棋盘格平面的单应性关系，构建相机模型，即

sm＝A[R t]M，

其中，sm的齐次坐标表示图像平面的像素坐标(u,v,1)，M的齐次坐标表示世界坐标系的坐标点(X,Y,Z,1)，A为左目相机的内参矩阵，[R t]为左目相机对应的相机外参。

步骤22，根据齐次坐标系中尺度因子不会改变坐标值的特点，将世界坐标系构造在Z＝0的平面上，进行单应性计算，其中，可将步骤21中的表达式转换成如下形式：

其中，r₁,r₂,r₃分别表示世界坐标系x轴、y轴和z轴这三个方向上的旋转向量，并将A[r₁ r₂ t]记为单应性矩阵H。

步骤23，根据单应性矩阵的结构特性，在标定板中选取至少4个角点，获得像素坐标和角点坐标的对应关系，利用r₁,r₂正交以及旋转向量的模为1的约束条件求解左目相机的内参矩阵A，即

[h₁,h₂,h₃]＝λA[r₁,r₂,t]，

其中，h₁,h₂,h₃为单应性矩阵的列向量，r₁,r₂为旋转向量，t为平移向量，λ为固定系数。

步骤24，基于步骤23求出的左目相机内参矩阵A以及单应性矩阵和相机内参以及外参的关系模型计算左目相机的旋转向量和平移向量，从而得到左目相机和右目相机之间的外参，即

其中，λ＝1/||A^-1h₁||＝1/||A^-1h₂||，从而获取相应的第二外参矩阵。

S2，获取实例分割模型，并通过实例分割模型对左目图像进行实例分割，以及根据实例分割结果获取变电站的隐患目标图像。

具体而言，首先可获取变电站的历史特征图像，并对历史特征图像进行人工标注，以获取训练集，以及通过训练集训练获取实例分割模型。

然后，通过训练好的实例分割模型对左目图像进行实例分割，检测和分割变电站的隐患目标，即获取变电站的隐患目标图像。具体包括以下步骤：

S31，依次对左目图像进行混合池化运算、上采样和加权融合处理以获取相应的特征图像。

具体地，利用卷积网络构建特征提取层以获得电力杆塔、输电线路和隐患目标的边缘特征，并依次对左目图像进行混合池化运算、上采样和加权融合处理以获得优化后的变电站设备的特征图像，记为C_Z。

S32，对特征图像进行背景抑制处理以获取背景抑制图像，并对背景抑制图像中各ROI区域分别进行局部滤波处理以相应的候选区域图像。

其中，构建一个背景滤波器处理混合池化运算、上采样和加权融合后的特征图像C_Z，对特征图像C_Z进行背景抑制处理以获取背景抑制图像，然后对背景抑制图像中各ROI区域(region of interest，感兴趣区域)进行局部滤波，输出待分割关键目标的候选区域图像C_r。

S33，对特征图像和候选区域图像进行特征区域聚集处理以获取多个固定尺寸的关键目标特征图。

结合优化后的特征图像C_Z和候选区域图像C_r实现关键隐患目标的特征区域聚集，以获取多个固定尺寸的关键目标特征图C_rz。

S34，将各关键目标特征图输入实例分割模型以输出各关键目标特征图的置信度评分。

将各关键目标特征图C_rz输入实例分割模型，以预测各个关键目标特征图C_rz的准确率情况，并获得相应的置信度评分。

S35，在置信度评分的指导下将各关键目标特征图分别与右目图像进行特征融合以获取相应的隐患目标图像。

具体地，根据置信度评分和关键目标特征图C_rz生成变电站设备和隐患目标的分割结果，然后预测分割结果和真值之间的交并比，利用多任务损失函数优化交并比，实现变电站隐患目标的检测、分割，通过编码器提取不同尺度的变电站隐患目标区域参考特征，然后对每一个尺度的特征进行基于对齐注意力模块的特征扭曲，最后在匹配置信度的指导下，将对齐后不同尺度的特征分别与右目图像进行特征融合，实现变电站隐患目标区域的超分辨率重建，获得清晰的隐患目标图像。

下面结合具体实施例来详细说明如何对齐后不同尺度的特征分别与右目图像进行特征融合。

在本发明的一个实施例中，对齐后不同尺度的特征分别与右目图像进行特征融合包括以下步骤：

S351，根据变电站隐患目标的左目图像和右目图像进行余弦相似度计算，通过最大的余弦相似度确定置信度图像C_s和索引图像C_p。

S352，构建基于对齐注意力机制的特征扭曲模块，融合不同尺度的变电站隐患目标特征和索引图像。其中，通过共享编码器将隐患目标特征图分割为3×3的图像补丁，利用局部空间转换器估计补丁的对齐参数，进行仿射对齐，获得不同尺度的特征对齐图像C_q

S353，构建自适应融合模块，首先连接不同尺度的特征对齐图像C_q和对应尺度的右目变电站隐患目标特征图像，然后根据图像残差和注意力图生成图像中的高频细节，并引入可学习函数g_r处理特征对齐图像C_q得到处理后的对齐图像C_t，最后将高频细节和处理后的对齐图像相加，得到变电站隐患目标融合特征图，进行解码获得变电站隐患目标超分辨率重建图像C_o，即隐患目标图像。

S3，采用双目视觉测量原理根据隐患目标图像和第二外参矩阵计算隐患目标图像中的隐患目标到左目相机和右目相机之间的平均距离。

在本发明的一个实施例中，采用双目视觉测量原理根据隐患目标图像和第二外参矩阵计算隐患目标图像中的隐患目标到左目相机和右目相机之间的平均距离，包括以下步骤：首先，根据隐患目标图像和第二外参矩阵分别获取左目相机中隐患目标的像素坐标和右目相机中隐患目标的像素坐标(u_k,v_k)，其中，k为第k个隐患目标，然后，根据左目相机中隐患目标的像素坐标和右目相机中隐患目标的像素坐标通过以下公式计算隐患目标图像中的隐患目标到左目相机和右目相机之间的平均距离：

其中，Z_k为第k个隐患目标到左目相机和右目相机之间的平均距离，f₀为左目相机初始的相机焦距，b为左目相机和右目相机的基线距，d为左目相机和右目相机的双目视差，为左目相机中第k个隐患目标的像素横坐标，为右目相机中第k个隐患目标的像素横坐标。

S4，根据隐患目标对应的激光雷达点云信息获取隐患目标相对激光雷达的第一深度信息。

S5，根据第一深度信息和第一外参矩阵对平均距离进行优化以获取隐患目标的优化深度信息。

具体地，首先根据第一深度信息和平均距离构建优化函数，即

rec＝|Z-Z_k|，

其中，Z为第一深度信息。

然后，以优化函数为指标根据第一外参矩阵对左目相机和右目相机的内参进行优化，具体地，基于光束平差法的非线性优化策略，以优化函数为指标，优化双目相机的内参，从而通过双目相机直接得到更精准的变电站隐患目标的优化深度信息。具体包括以下步骤：

S51，确定需要优化的相机内参，基于激光雷达和左目相机标定获得的第一外参矩阵，获取第一外参矩阵所对应的不同位姿下的相机焦距、主点坐标以及主点坐标对应的世界坐标，构建优化变量x

x＝[f_x1,f_y1,c_x1,c_y1,...f_xn,f_yn,c_xn,c_yn,P₁,...P_n]，

其中，f_x1,f_y1...f_xn,f_yn为不同位姿下相机在x轴和y轴的焦距，c_x1,c_y1,...c_xn,c_yn为不同位姿下相机在x轴和y轴的主点坐标，P₁,...P_n为不同位姿下主点坐标对应的世界坐标。

S52，将自变量的增益设置为Δx，根据自变量的组成计算得到相应的目标函数增量函数的具体表达式，即

其中，f(x+Δx)为目标增量函数，F_ij为优化函数在当前位姿下对相机内参的偏导数，E_ij为优化函数在当前位姿下对相机主点世界坐标的偏导数，Δξ_i和ΔP分别为当前位姿下的相机内参增量和主点世界坐标增量。

S53，通过非线性回归算法将优化函数最小化的问题转换为求解增量线性方程组的问题，即

HΔx＝g，

其中，H为S52中优化函数对相机内参和相机主点世界坐标的偏导数矩阵组成的雅克比矩阵J和其转置相乘的结果，雅克比矩阵J由J_ij组成，J_ij为第i个相机位姿对于第j个坐标的优化函数的偏导数矩阵。

S54，基于步骤S53中雅克比矩阵J的特性，构造增量方程求解公式，利用舒尔方法和最小二乘法迭代优化，同时改变自变量和优化函数的值，获得深度优化后的相机内参，通过激光雷达点云优化双目视觉的隐患目标图像Z_d。

S6，根据优化深度信息获取隐患目标的尺寸信息。

在本发明的一个实施例中，根据优化深度信息获取隐患目标的尺寸信息包括以下步骤：

S61，根据变电站隐患目标实例分割结果，利用边缘检测算法提取隐患目标的边界，遍历隐患目标的边界像素点，通过双目视觉尺寸测量原理计算隐患目标边界点的世界坐标。

其中，(x,y,z)表示隐患目标边界点的世界坐标，f_x为左目相机的焦距，d为左目图像和右目图像的视差，b是左目相机和右目相机之间的基线距。

S62，构建基于隐患目标边界的线段特征，根据深度优先搜索算法找到最长的线段特征，通过几何关系约束找到最短的线段特征。

S63，将变电站隐患目标所占的区域用矩形近似，通过矩形面积公式计算变电站的隐患目标所占的面积。

S＝L_max×L_min，

其中S表示变电站隐患目标所占的面积，L_max为最长线段特征的长度，L_min是最短线段特征的长度。

综上所述，根据本发明实施例的变电站隐患目标尺寸测量方法，在对激光雷达和左目相机进行外参标定以获取相应的第一外参矩阵，以及对左目相机和右目相机进行外参标定以获取相应的第二外参矩阵后，获取实例分割模型，并通过实例分割模型对左目图像进行实例分割，以及根据实例分割结果获取变电站的隐患目标图像，并采用双目视觉测量原理根据隐患目标图像和第二外参矩阵计算隐患目标图像中的隐患目标到左目相机和右目相机之间的平均距离，以及根据隐患目标对应的激光雷达点云信息获取隐患目标相对激光雷达的第一深度信息，并根据第一深度信息和第一外参矩阵对平均距离进行优化以获取隐患目标的优化深度信息，以及根据优化深度信息获取隐患目标的尺寸信息。由此，采用激光雷达点云信息辅助左目相机和右目相机能够自动准确地对变电站隐患目标进行识别和尺寸测量。

对应上述实施例的变电站隐患目标尺寸测量方法，本发明还提出了一种变电站隐患目标尺寸测量系统。

如图2所示，本发明实施例的变电站隐患目标尺寸测量系统可包括：标定模块100、第一获取模块200、计算模块300、第二获取模块400、第三获取模块500和第四获取模块600。

其中，标定模块100用于对激光雷达和左目相机进行外参标定以获取相应的第一外参矩阵，以及对左目相机和右目相机进行外参标定以获取相应的第二外参矩阵，其中，激光雷达设置在变电站内，用于采集变电站的激光雷达点云信息，左目相机和右目相机分别与激光雷达对应设置，左目相机用于采集变电站的左目图像，右目相机用于采集变电站的右目图像；第一获取模块200用于获取实例分割模型，并通过实例分割模型对左目图像进行实例分割，以及根据实例分割结果获取变电站的隐患目标图像；计算模块300用于采用双目视觉测量原理根据隐患目标图像和第二外参矩阵计算隐患目标图像中的隐患目标到左目相机和右目相机之间的平均距离；第二获取模块400用于根据隐患目标对应的激光雷达点云信息获取隐患目标相对激光雷达的第一深度信息；第三获取模块500用于根据第一深度信息和第一外参矩阵对平均距离进行优化以获取隐患目标的优化深度信息；第四获取模块600用于根据优化深度信息获取隐患目标的尺寸信息。

在本发明的一个实施例中，第一获取模块200具体用于：依次对左目图像进行混合池化运算、上采样和加权融合处理以获取相应的特征图像；对特征图像进行背景抑制处理以获取背景抑制图像，并对背景抑制图像中各ROI区域分别进行局部滤波处理以相应的候选区域图像；对特征图像和候选区域图像进行特征区域聚集处理以获取多个固定尺寸的关键目标特征图；将各关键目标特征图输入实例分割模型以输出各关键目标特征图的置信度评分；在置信度评分的指导下将各关键目标特征图分别与右目图像进行特征融合以获取相应的隐患目标图像。

在本发明的一个实施例中，计算模块300具体用于：根据隐患目标图像和第二外参矩阵分别获取左目相机中隐患目标的像素坐标和右目相机中隐患目标的像素坐标；根据左目相机中隐患目标的像素坐标和右目相机中隐患目标的像素坐标通过以下公式计算隐患目标图像中的隐患目标到左目相机和右目相机之间的平均距离：

其中，f₀为左目相机初始的相机焦距，b为左目相机和右目相机的基线距，d为左目相机和右目相机的双目视差，为左目相机中第k个隐患目标的像素横坐标，为右目相机中第k个隐患目标的像素横坐标。

在本发明的一个实施例中，第三获取模块500具体用于：根据第一深度信息和平均距离构建优化函数；以优化函数为指标根据第一外参矩阵对左目相机和右目相机的内参进行优化；根据内参优化后的左目相机和右目相机获取隐患目标的优化深度信息。

需要说明的是，本发明的变电站隐患目标尺寸测量系统更具体的实施例可参照上述的变电站隐患目标尺寸测量方法的实施例，在此不再详述。

根据本发明实施例的变电站隐患目标尺寸测量系统，通过标定模块对激光雷达和左目相机进行外参标定以获取相应的第一外参矩阵，以及对左目相机和右目相机进行外参标定以获取相应的第二外参矩阵，并通过第一获取模块获取实例分割模型，以及通过实例分割模型对左目图像进行实例分割，以及根据实例分割结果获取变电站的隐患目标图像，并通过计算模块采用双目视觉测量原理根据隐患目标图像和第二外参矩阵计算隐患目标图像中的隐患目标到左目相机和右目相机之间的平均距离，以及通过第二获取模块根据隐患目标对应的激光雷达点云信息获取隐患目标相对激光雷达的第一深度信息，并通过第三获取模块根据第一深度信息和第一外参矩阵对平均距离进行优化以获取隐患目标的优化深度信息，以及通过第四获取模块用于根据优化深度信息获取隐患目标的尺寸信息。由此，采用激光雷达点云信息辅助左目相机和右目相机能够自动准确地对变电站隐患目标进行识别和尺寸测量。

在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种变电站隐患目标尺寸测量方法，其特征在于，包括以下步骤：

对激光雷达和左目相机进行外参标定以获取相应的第一外参矩阵，以及对所述左目相机和右目相机进行外参标定以获取相应的第二外参矩阵，其中，所述激光雷达设置在所述变电站内，用于采集所述变电站的激光雷达点云信息，所述左目相机和所述右目相机分别与所述激光雷达对应设置，所述左目相机用于采集所述变电站的左目图像，所述右目相机用于采集所述变电站的右目图像；

获取实例分割模型，并通过所述实例分割模型对所述左目图像进行实例分割，以及根据实例分割结果获取所述变电站的隐患目标图像；

采用双目视觉测量原理根据所述隐患目标图像和所述第二外参矩阵计算所述隐患目标图像中的隐患目标到所述左目相机和所述右目相机之间的平均距离；

根据所述隐患目标对应的所述激光雷达点云信息获取所述隐患目标相对所述激光雷达的第一深度信息；

根据所述第一深度信息和所述第一外参矩阵对所述平均距离进行优化以获取所述隐患目标的优化深度信息；

根据所述优化深度信息获取所述隐患目标的尺寸信息。

2.根据权利要求1所述的变电站隐患目标尺寸测量方法，其特征在于，通过所述实例分割模型对所述左目图像进行实例分割，以及根据所述实例分割结果获取所述变电站的隐患目标图像，包括：

依次对所述左目图像进行混合池化运算、上采样和加权融合处理以获取相应的特征图像；

对所述特征图像进行背景抑制处理以获取背景抑制图像，并对所述背景抑制图像中各ROI区域分别进行局部滤波处理以相应的候选区域图像；

对所述特征图像和所述候选区域图像进行特征区域聚集处理以获取多个固定尺寸的关键目标特征图；

将各所述关键目标特征图输入所述实例分割模型以输出各所述关键目标特征图的置信度评分；

在所述置信度评分的指导下将各所述关键目标特征图分别与所述右目图像进行特征融合以获取相应的所述隐患目标图像。

3.根据权利要求1所述的变电站隐患目标尺寸测量方法，其特征在于，采用所述双目视觉测量原理根据所述隐患目标图像和所述第二外参矩阵计算所述隐患目标图像中的隐患目标到所述左目相机和所述右目相机之间的平均距离，包括：

根据所述隐患目标图像和所述第二外参矩阵分别获取所述左目相机中所述隐患目标的像素坐标和所述右目相机中所述隐患目标的像素坐标；

根据所述左目相机中所述隐患目标的像素坐标和所述右目相机中所述隐患目标的像素坐标通过以下公式计算所述隐患目标图像中的隐患目标到所述左目相机和所述右目相机之间的平均距离：

其中，f₀为所述左目相机初始的相机焦距，b为所述左目相机和所述右目相机的基线距，d为所述左目相机和所述右目相机的双目视差，为所述左目相机中第k个所述隐患目标的像素横坐标，为所述右目相机中第k个所述隐患目标的像素横坐标。

4.根据权利要求1所述的变电站隐患目标尺寸测量方法，其特征在于，根据所述第一深度信息和所述第一外参矩阵对所述平均距离进行优化以获取所述隐患目标的优化深度信息，包括：

根据所述第一深度信息和所述平均距离构建优化函数；

以所述优化函数为指标根据所述第一外参矩阵对所述左目相机和所述右目相机的内参进行优化；

根据内参优化后的所述左目相机和所述右目相机获取所述隐患目标的优化深度信息。

5.一种变电站隐患目标尺寸测量系统，其特征在于，包括：

标定模块，标定模块用于对激光雷达和左目相机进行外参标定以获取相应的第一外参矩阵，以及对所述左目相机和右目相机进行外参标定以获取相应的第二外参矩阵，其中，所述激光雷达设置在所述变电站内，用于采集所述变电站的激光雷达点云信息，所述左目相机和所述右目相机分别与所述激光雷达对应设置，所述左目相机用于采集所述变电站的左目图像，所述右目相机用于采集所述变电站的右目图像；

第一获取模块，所述第一获取模块用于获取实例分割模型，并通过所述实例分割模型对所述左目图像进行实例分割，以及根据实例分割结果获取所述变电站的隐患目标图像；

计算模块，所述计算模块用于采用双目视觉测量原理根据所述隐患目标图像和所述第二外参矩阵计算所述隐患目标图像中的隐患目标到所述左目相机和所述右目相机之间的平均距离；

第二获取模块，所述第二获取模块用于根据所述隐患目标对应的所述激光雷达点云信息获取所述隐患目标相对所述激光雷达的第一深度信息；

第三获取模块，所述第三获取模块用于根据所述第一深度信息和所述第一外参矩阵对所述平均距离进行优化以获取所述隐患目标的优化深度信息；

第四获取模块，所述第四获取模块用于根据所述优化深度信息获取所述隐患目标的尺寸信息。

6.根据权利要求5所述的变电站隐患目标尺寸测量系统，其特征在于，所述第一获取模块具体用于：

依次对所述左目图像进行混合池化运算、上采样和加权融合处理以获取相应的特征图像；

对所述特征图像进行背景抑制处理以获取背景抑制图像，并对所述背景抑制图像中各ROI区域分别进行局部滤波处理以相应的候选区域图像；

对所述特征图像和所述候选区域图像进行特征区域聚集处理以获取多个固定尺寸的关键目标特征图；

将各所述关键目标特征图输入所述实例分割模型以输出各所述关键目标特征图的置信度评分；

在所述置信度评分的指导下将各所述关键目标特征图分别与所述右目图像进行特征融合以获取相应的所述隐患目标图像。

7.根据权利要求5所述的变电站隐患目标尺寸测量系统，其特征在于，所述计算模块具体用于：

根据所述隐患目标图像和所述第二外参矩阵分别获取所述左目相机中所述隐患目标的像素坐标和所述右目相机中所述隐患目标的像素坐标；

根据所述左目相机中所述隐患目标的像素坐标和所述右目相机中所述隐患目标的像素坐标通过以下公式计算所述隐患目标图像中的隐患目标到所述左目相机和所述右目相机之间的平均距离：

其中，f₀为所述左目相机初始的相机焦距，b为所述左目相机和所述右目相机的基线距，d为所述左目相机和所述右目相机的双目视差，为所述左目相机中第k个所述隐患目标的像素横坐标，为所述右目相机中第k个所述隐患目标的像素横坐标。

8.根据权利要求5所述的变电站隐患目标尺寸测量系统，其特征在于，所述第三获取模块具体用于：

根据所述第一深度信息和所述平均距离构建优化函数；

以所述优化函数为指标根据所述第一外参矩阵对所述左目相机和所述右目相机的内参进行优化；

根据内参优化后的所述左目相机和所述右目相机获取所述隐患目标的优化深度信息。