CN114022798A - 一种基于数字孪生技术的变电站巡检机器人避障方法 - Google Patents

Abstract

本发明公开了一种基于数字孪生技术的变电站巡检机器人避障方法，包括图像采集、图像预处理、相机标定、图像立体匹配、障碍物检测、避障路径规划和三维建模。本发明提供了一种基于数字孪生技术的变电站巡检机器人避障方法，提高了巡检机器人导航避障的准确性，保证了巡检机器人避障行走的安全性，为解决变电站巡检机器人的自主导航与避障打下坚实的基础，具有实际应用价值。

Description

一种基于数字孪生技术的变电站巡检机器人避障方法

技术领域

本发明涉及变电站运维技术领域，尤其涉及一种基于数字孪生技术的变电站巡检机器人避障方法。

背景技术

变电站作为电力系统中变换电压和传输电能的枢纽，在电力系统中占有着极其重要的地位。为了保障电力系统的安全、稳定运行，必须对变电站设备进行定期的巡检。传统的变电站巡检主要依靠巡检人员的经验、感官去判断设备的故障问题，不仅巡检效率低、难度大，而且对于一些肉眼难以识别的设备故障隐患不能及时的排查。

随着科学技术的发展，智能机器人逐渐成为电力巡检领域的研究热点，巡检机器人通过携带可见光相机、红外热像仪、紫外热像仪等传感器设备，通过自主运行的方式对变电站进行巡检，准确提供变电站设备事故隐患和故障诊断等数据。在巡检机器人的研究中，机器人避障技术是机器人自主行走的关键技术。

巡检机器人实现避障主要依靠激光雷达传感器、超声波传感器和视觉传感器以及避障算法来实现。专利号为201510664724.0，专利名称为“一种基于激光雷达的变电站巡检机器人避障方法”，应用基于激光雷达进行机器人避障。但是，巡检机器人通过激光雷达、超声波等传感器进行避障时，获取的环境信息相对稀疏，在实际应用中存在较多的问题，对于变电站环境中的杂草会引发激光雷达的报警，导致巡检机器人无法行走。

发明内容

本发明的目的是解决上述问题，提供一种基于数字孪生技术的变电站巡检机器人避障方法，与超声波和激光雷达的避障方式相比，本发明具有信息量丰富、可靠性强和容易拓展的优点，提高了巡检机器人导航避障的实时性和准确性，保证了巡检机器人避障行走的安全性和快捷性。

一种基于数字孪生技术的变电站巡检机器人避障方法包括以下步骤：

步骤S1：图像采集，利用巡检机器人的双目摄像头采集场景中物体的左右视图RGB图像；

步骤S2：图像预处理，对采集的RGB图像进行滤波去噪处理；

步骤S3：相机标定，确定摄像头成像模型和透镜畸变模型的参数；

步骤S4：图像立体匹配，利用立体匹配方法获得场景的视差图，并通过相机参数对视差图进行换算，得出场景深度信息；

步骤S5：障碍物检测，在获得深度信息的基础上，对障碍物自动检测并获取障碍物的位置、尺寸、形状和数量数据；

步骤S6：避障路径规划，利用改进人工势场法计算绕开障碍物，使巡检机器人无障碍通行的路径；

步骤S7：三维建模，获得障碍物得空间三维坐标信息，实现障碍物的三维重建。

进一步地，步骤S2所述图像滤波去噪采用均值滤波法。

进一步地，步骤S3中相机标定采用的方法为张正友相机标定法，具体的步骤有：

步骤S31：构建单应性矩阵，单应性关系为：

sm＝K[R t]P (1)

其中，s为尺度因子；m＝[u v]^T为二维像素平面的坐标，其中T为矩阵的转置；R为旋转矩阵；t为平移向量；P＝[XYZ]为三维世界坐标；K表示摄像机的内部参数矩阵。

其中，γ为歪斜系数，表示像素点在x、y方向上的尺度偏差系数，(u₀,v₀)是摄像机的主点坐标，f_x和f_y为摄像机的主轴长。

可得，

其中，H＝K[r₁ r₂ r₃ t]，为单应性矩阵，其中r₁、r₂、r₃表示旋转矩阵R的第1、2、3个列向量。

步骤S32：内外参数的求解，摄像机标定包括4个内部参数(f_x,f_y,u₀,v₀)、4外部参数(r₁,r₂,r₃,t)和5个畸变参数(k₁,k₂,k₃,p₁,p₂)，其中k₁、k₂、k₃分别为相机内部参数矩阵K的第1、2、3个列向量，p₁、p₂分别为三维世界坐标P的第1、2个列向量。

由于r₁、r₂是正交矩阵，因此存在如下关系：

其中，T为求解h₁、h₂的转置，-T为求解K的转置的逆矩阵，-1为求解K的逆矩阵。

式(2)、(3)结合单应性矩阵H，可求得相机的内外参数。

步骤S33：畸变参数的求解，畸变参数的求解公式为：

当有n张棋盘标定图时，每张棋盘图上都有m个特征角点，于是可根据联立2mn个等式的方程组，利用最小二乘法求的畸变参数。

进一步地，步骤S4所述的图像立体匹配，具体的计算步骤包括：

步骤S41：匹配代价计算，应用SAD方法计算，具体的计算公式为：

其中，d表示视差，(x,y)表示像素的坐标点，W表示匹配窗口；(i,j)表示匹配窗口的坐标点；I_l和I_r分别表示左视图的基图和右视图的待匹配图像。

步骤S42：匹配代价聚合，建立相邻像素之间的联系，通过构建能量函数，使能量函数最优；所述能量函数为：

E(d)＝E_data(d)+E_smooth(d) (6)

其中，E(d)是视差d的能量，E_data(d)是数据项，表示像素点视差为d的相似程度，E_smooth(d)为平滑项，用来约束与周围像素的关系。

步骤S43：视差计算，在像素点的视差范围内寻找最小代价的视差作为该像素点的最优视差。

步骤S44：视差优化处理，以子像素细化、左右一致性检测方法进行视差优化处理。

进一步地，所述子像素细化是通过选取最优视差的代价值及其相邻的代价值作为拟合曲线，然后选择极小值点处的视差值作为子像素视差值；所述左右一致性检测方法的计算公式为：

|d_LR(x,y)-d_RL(x+d_LR(x,y),y)|＜TH (7)

其中，d_LR(x,y)为左图像素点(x,y)对应的视差值，d_RL(x+d_LR(x,y),y)为左图像素点在右图对应点p(x+d_LR(x,y),y)的视差值，TH为设定的左右视差图差值的阈值，这里设为1。

进一步地，步骤S5中所述的障碍物检是测通过融合深度信息和色彩空间超像素分割信息的障碍物检测，对深度图进行优化评估处理，降低障碍物误检率，增加障碍物轮廓区域和可行区域的可信度。为了获取更加完整的环境信息，可对多帧障碍物信息进行融合处理。

进一步地，步骤S6中所述的改进人工势场法计算步骤为：

步骤S61：计算引力势场函数，引力势场的函数定义为：

其中，k_a表示一个正向的引力势场常量，d_g＝||q-q_g||表示当前点q到目标点q_g的距离矢量，其方向由q指向q_g，D表示当前位置与目标点间的距离阈值。当与目标点距离属于阈值D范围，维持原有引力函数表达形式；当与目标点距离不属于阈值D范围时，引力势能将变成与距离的线性关系，极大的减少引力过大的影响；

那么，引力函数变成：

步骤S62：计算斥力势场函数，斥力势场的函数定义为：

其中，k_r表示一个正向的斥力势场常量；

表示当前点q到目标点q_g的距离矢量，ta表示巡检机器人当前所处位置与目标点间的欧氏距离对斥力的影响系数；d_m表示巡检机器人到障碍物最大威胁距离；d₀表示巡检机器人到障碍物的最小威胁距离；d_b＝||q-q₀||表示当前点q到障碍物q₀的距离矢量，方向为q₀指向q；当靠近目标点时，斥力函数值将逐渐减小，最终趋于0，这就避免了目标不可达；则斥力函数变为：

步骤S63：巡检机器人在当前q所受到的合力为引力函数与斥力函数的叠加，如下：

F(q)＝-▽U(q)＝F_a(q)+F_r(q) (12)。

有益效果：针对图像立体匹配对噪声较为敏感，图像预处理步骤进行图像滤波处理；相机标定步骤是相机测量与真实三维场景测量的联系桥梁，为三维建模步骤提供基础；立体匹配步骤所获得的图像深度信息，为障碍物检测步骤提供了重要的依据；障碍物检测步骤是完成对障碍物的自动检测及获取障碍物的位置、尺寸、形状和数量等数据的过程，为避障路径规划步骤提供障碍物数据，使巡检机器人可以在已知障碍物数据的前提下，应用避障算法绕开障碍物；三维建模步骤根据立体匹配步骤所获得的视差图进行障碍物的三维重建。

附图说明

图1是一种基于数字孪生技术的变电站巡检机器人避障方法步骤图。

具体实施方式

下面结合附图与实施例对本发明做进一步说明。应当理解的是，本说明书描述的具体实施方式仅仅是为了解释本发明，并非为了限定本发明。

如图1所示，本发明提供一种基于数字孪生技术的变电站巡检机器人避障方法，具体的步骤包括：

步骤S1：图像采集，利用巡检机器人的双目摄像头采集场景中物体的左右视图RGB图像；

步骤S2：图像预处理，对采集的RGB图像进行滤波去噪处理；

步骤S3：相机标定，确定摄像头成像模型和透镜畸变模型的参数；

步骤S4：图像立体匹配，利用立体匹配方法获得场景的视差图，并通过相机参数对视差图进行换算，得出场景深度信息；

步骤S5：障碍物检测，在获得深度信息的基础上，对障碍物自动检测并获取障碍物的位置、尺寸、形状和数量数据；

步骤S6：避障路径规划，利用改进人工势场法计算绕开障碍物，使巡检机器人无障碍通行的路径；

步骤S7：三维建模，获得障碍物得空间三维坐标信息，实现障碍物的三维重建。

步骤S2所述图像滤波去噪采用均值滤波法。

步骤S3中相机标定采用的方法为张正友相机标定法，具体的步骤有：

步骤S31：构建单应性矩阵，单应性关系为：

sm＝K[R t]P (1)

其中，s为尺度因子；m＝[u v]^T为二维像素平面的坐标，其中T为矩阵的转置；R为旋转矩阵；t为平移向量；P＝[X Y Z]为三维世界坐标；K表示摄像机的内部参数矩阵。

其中，γ为歪斜系数，表示像素点在x、y方向上的尺度偏差系数，(u₀,v₀)是摄像机的主点坐标，f_x和f_y为摄像机的主轴长。

可得，

其中，H＝K[r₁ r₂ r₃ t]，为单应性矩阵，其中r₁、r₂、r₃表示旋转矩阵R的第1、2、3个列向量。

步骤S32：内外参数的求解，摄像机标定包括4个内部参数(f_x,f_y,u₀,v₀)、4外部参数(r₁,r₂,r₃,t)和5个畸变参数(k₁,k₂,k₃,p₁,p₂)，其中k₁、k₂、k₃分别为相机内部参数矩阵K的第1、2、3个列向量，p₁、p₂分别为三维世界坐标P的第1、2个列向量。

由于r₁、r₂是正交矩阵，因此存在如下关系：

其中，T为求解h₁、h₂的转置，-T为求解K的转置的逆矩阵，-1为K矩阵求逆。

式(2)、(3)结合单应性矩阵H，可求得相机的内外参数。

步骤S33：畸变参数的求解，畸变参数的求解公式为：

当有n张棋盘标定图时，每张棋盘图上都有m个特征角点，于是可根据联立2mn个等式的方程组，利用最小二乘法求的畸变参数。

步骤S4所述的图像立体匹配，具体的计算步骤包括：

步骤S41：匹配代价计算，应用SAD方法计算，具体的计算公式为：

其中，d表示视差，(x,y)表示像素的坐标点，W表示匹配窗口；(i,j)表示匹配窗口的坐标点；I_l和I_r分别表示左视图的基图和右视图的待匹配图像。

步骤S42：匹配代价聚合，建立相邻像素之间的联系，通过构建能量函数，使能量函数最优；所述能量函数为：

E(d)＝E_data(d)+E_smooth(d) (6)

其中，E(d)是视差d的能量，E_data(d)是数据项，表示像素点视差为d的相似程度，E_smooth(d)为平滑项，用来约束与周围像素的关系。

步骤S43：视差计算，在像素点的视差范围内寻找最小代价的视差作为该像素点的最优视差。

步骤S44：视差优化处理，以子像素细化、左右一致性检测方法进行视差优化处理；所述子像素细化是通过选取最优视差的代价值及其相邻的代价值作为拟合曲线，然后选择极小值点处的视差值作为子像素视差值；所述左右一致性检测方法的计算公式为：

|d_LR(x,y)-d_RL(x+d_LR(x,y),y)|＜TH (7)

其中，d_LR(x,y)为左图像素点(x,y)对应的视差值，d_RL(x+d_LR(x,y),y)为左图像素点在右图对应点p(x+d_LR(x,y),y)的视差值，TH为设定的左右视差图差值的阈值，这里设为1。

步骤S5中所述的障碍物检是测通过融合深度信息和色彩空间超像素分割信息的障碍物检测，对深度图进行优化评估处理，降低障碍物误检率，增加障碍物轮廓区域和可行区域的可信度。为了获取更加完整的环境信息，可对多帧障碍物信息进行融合处理。

步骤S6中所述的改进人工势场法计算步骤为：

步骤S61：计算引力势场函数，引力势场的函数定义为：

其中，k_a表示一个正向的引力势场常量，d_g＝||q-q_g||表示当前点q到目标点q_g的距离矢量，其方向由q指向q_g，D表示当前位置与目标点间的距离阈值。当与目标点距离属于阈值D范围，维持原有引力函数表达形式；当与目标点距离不属于阈值D范围时，引力势能将变成与距离的线性关系，极大的减少引力过大的影响。

那么，引力函数变成：

步骤S62：计算斥力势场函数，斥力势场的函数定义为：

其中，k_r表示一个正向的斥力势场常量；

表示当前点q到目标点q_g的距离矢量，ta表示巡检机器人当前所处位置与目标点间的欧氏距离对斥力的影响系数；d_m表示巡检机器人到障碍物最大威胁距离；d₀表示巡检机器人到障碍物的最小威胁距离；d_b＝||q-q₀||表示当前点q到障碍物q₀的距离矢量，方向为q₀指向q；当靠近目标点时，斥力函数值将逐渐减小，最终趋于0，这就避免了目标不可达；则斥力函数变为：

步骤S63：巡检机器人在当前q所受到的合力为引力函数与斥力函数的叠加，如下：

F(q)＝-▽U(q)＝F_a(q)+F_r(q) (12)。

本发明所涉及的障碍物检测方法，融合深度信息和色彩图像超像素信息对障碍物进行分割的方法，消除噪声和背景、地面的干扰，可以有效获得障碍物位置，提高了巡检机器人导航避障的准确性；同时，应用改进人工势场法进行避障路径规划，提高了路径规划安全到达目标点的能力，克服人工势场法的局部最小点问题，在障碍物较多的复杂环境下，保证了巡检机器人避障行走的安全性和准确性。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种基于数字孪生技术的变电站巡检机器人避障方法，该方法包括以下步骤：

步骤S1：图像采集，利用巡检机器人的双目摄像头采集场景中物体的左右视图RGB图像；

步骤S2：图像预处理，对采集的RGB图像进行滤波去噪处理；

步骤S3：相机标定，确定摄像头成像模型和透镜畸变模型的参数；

步骤S4：图像立体匹配，利用立体匹配方法获得场景的视差图，并通过相机参数对视差图进行换算，得出场景深度信息；

步骤S5：障碍物检测，在获得深度信息的基础上，对障碍物自动检测并获取障碍物的位置、尺寸、形状和数量数据；

步骤S6：避障路径规划，利用改进人工势场法计算绕开障碍物，使巡检机器人无障碍通行的路径；

步骤S7：三维建模，获得障碍物得空间三维坐标信息，实现障碍物的三维重建。

2.根据权利要求1所述的基于数字孪生技术的变电站巡检机器人避障方法，其特征在于，所述步骤S2中，所述图像滤波去噪采用均值滤波法。

3.根据权利要求1所述的基于数字孪生技术的变电站巡检机器人避障方法，其特征在于，所述步骤S3中，所述相机标定采用的方法为张正友相机标定法，具体的步骤有：构建单应性矩阵、内外参数的求解和畸变参数的求解。

4.根据权利要求1所述的基于数字孪生技术的变电站巡检机器人避障方法，其特征在于，所述步骤S4中，所述的图像立体匹配的计算步骤包括：

步骤S41：匹配代价计算，计算两个像素匹配窗口的代价；应用灰度绝对值差之和方法计算，即SAD方法，具体的计算公式为：

其中，d表示视差，(x,y)表示像素的坐标点，W表示匹配窗口；(i,j)表示匹配窗口的坐标点；I_l和I_r分别表示左视图的基图和右视图的待匹配图像。

步骤S42：匹配代价聚合，建立相邻像素之间的联系，通过构建能量函数，使能量函数最优；所述能量函数为：

E(d)＝E_data(d)+E_smooth(d) (2)

其中，E(d)是视差d的能量，E_data(d)是数据项，表示像素点视差为d的相似程度，E_smooth(d)为平滑项，用来约束与周围像素的关系；

步骤S43：视差计算，在像素点的视差范围内寻找最小代价的视差作为该像素点的最优视差；

步骤S44：视差优化处理，是以子像素细化、左右一致性检测方法进行视差优化处理。

5.根据权利要求4所述的基于数字孪生技术的变电站巡检机器人避障方法，其特征在于，所述子像素细化是通过选取最优视差的代价值及其相邻的代价值作为拟合曲线，然后选择极小值点处的视差值作为子像素视差值。

6.根据权利要求4所述的基于数字孪生技术的变电站巡检机器人避障方法，其特征在于，所述左右一致性检测方法的计算公式为：

|d_LR(x,y)-d_RL(x+d_LR(x,y),y)|＜TH (3)

其中，d_LR(x,y)为左图像素点(x,y)对应的视差值，d_RL(x+d_LR(x,y),y)为左图像素点在右图对应点p(x+d_LR(x,y),y)的视差值，TH为设定的左右视差图差值的阈值，这里设为1。

7.根据权利要求1所述的基于数字孪生技术的变电站巡检机器人避障方法，其特征在于，所述步骤S5中，所述障碍物检测是通过融合深度信息和色彩空间超像素分割信息的障碍物检测，对深度图进行优化评估处理，降低障碍物误检率，增加障碍物轮廓区域和可行区域的可信度。

8.根据权利要求1所述的基于数字孪生技术的变电站巡检机器人避障方法，其特征在于，所述步骤S6中，所述的改进人工势场法计算步骤为：

步骤S61：计算引力势场函数，引力势场的函数定义为：

其中，k_a表示一个正向的引力势场常量，d_g＝||q-q_g||表示当前点q到目标点q_g的距离矢量，其方向由q指向q_g，D表示当前位置与目标点间的距离阈值；当与目标点距离属于阈值D范围，维持原有引力函数表达形式；当与目标点距离不属于阈值D范围时，引力势能将变成与距离的线性关系，减少引力过大的影响；

则，引力函数变成：

步骤S62：计算斥力势场函数，斥力势场的函数定义为：

其中，k_r表示一个正向的斥力势场常量；

表示当前点q到目标点q_g的距离矢量，ta表示巡检机器人当前所处位置与目标点间的欧氏距离对斥力的影响系数；d_m表示巡检机器人到障碍物最大威胁距离；d₀表示巡检机器人到障碍物的最小威胁距离；d_b＝||q-q₀||表示当前点q到障碍物q₀的距离矢量，方向为q₀指向q；当靠近目标点时，斥力函数值将逐渐减小，最终趋于0，这就避免了目标不可达；则斥力函数变为：

步骤S63：巡检机器人在当前q所受到的合力为引力函数与斥力函数的叠加，如下：

Images