CN110764504A - 一种用于变电站电缆沟道巡检的机器人导航方法及系统 - Google Patents

一种用于变电站电缆沟道巡检的机器人导航方法及系统 Download PDF

Info

Publication number
CN110764504A
CN110764504A CN201911025047.2A CN201911025047A CN110764504A CN 110764504 A CN110764504 A CN 110764504A CN 201911025047 A CN201911025047 A CN 201911025047A CN 110764504 A CN110764504 A CN 110764504A
Authority
CN
China
Prior art keywords
key frame
map
cable channel
current
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911025047.2A
Other languages
English (en)
Inventor
杨鼎革
李鹏程
迟清
谷永刚
丁彬
万康鸿
左坤
李良书
袁福祥
尚宇
刘强
李文慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Shaanxi Electric Power Co Ltd
Electric Power Research Institute of State Grid Shaanxi Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Shaanxi Electric Power Co Ltd
Electric Power Research Institute of State Grid Shaanxi Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Shaanxi Electric Power Co Ltd, Electric Power Research Institute of State Grid Shaanxi Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201911025047.2A priority Critical patent/CN110764504A/zh
Publication of CN110764504A publication Critical patent/CN110764504A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种用于变电站电缆沟道巡检的机器人导航方法及系统，包括：构建变电站电缆沟道的稠密地图，将所述稠密地图加载到巡检机器人系统中；确定巡检机器人的位置，巡检机器人通过所述稠密地图实现自身的导航；将单目相机设置于巡检机器人上，通过单目相机采集获取变电站电缆沟道的图像数据；根据所述图像数据获取点云，根据获取的点云构建获得变电站电缆沟道的稠密地图；持续跟踪所述单目相机获取的图像数据，根据图像数据获取当前关键帧，根据当前关键帧获取当前单目相机的位姿信息，进而确定巡检机器人的位置。本发明能够实现电缆沟道巡检机器人的自主精确导航。

Description

一种用于变电站电缆沟道巡检的机器人导航方法及系统
技术领域
本发明属于变电站电缆沟道巡检技术领域，特别涉及一种用于变电站电缆沟道巡检的机器人导航方法及系统。
背景技术
变电站电缆沟道为变电站内部用以敷设站内通信、控制、信号、设备电源和动力线缆等的专用设施，广泛分布于变电站一次设备区域及二次设备区域。
目前，电缆沟道的巡检方式以人工巡视为主，运维人员定期打开电缆沟盖板，进入电缆沟内部，检查电缆本体、电缆发热、电缆沟积水、异物、电缆支架及防火封堵等情况。由于电缆沟内部空间狭小，采光及通风条件受限，使得巡视效率低下，且会对巡检人员的身体健康造成影响；采用巡检机器人代替人工进行电缆沟道的巡检是目前是当前最可行的方案之一，但电缆沟道环境复杂，巡检机器人需要实现自主导航的难度较高，因此需要一种能够适应电缆沟道环境的自主导航方法。
目前，有人提出了采用红外传感器来检测前方的障碍物，并根据检测结果进行导航。其存在的缺陷包括：在电缆沟道中，电缆本身会发热，对红外传感器的检测结果会造成影响；另外，单一的红外传感器获取的障碍物的信息太过单一，仅以此作为巡检机器人导航路径规划的依据并不足够，所获取的路径并不准确。
综上，亟需一种新型的变电站电缆沟道巡检机器人的导航方法及系统。
发明内容
本发明的目的在于提供一种用于变电站电缆沟道巡检的机器人导航方法及系统，以解决上述存在的一个或多个技术问题。本发明充分利用电缆沟道环境信息，建立电缆沟道的环境地图，能够实现电缆沟道巡检机器人的自主精确导航。
为达到上述目的，本发明采用以下技术方案：
本发明的一种用于变电站电缆沟道巡检的机器人导航方法，包括：
构建变电站电缆沟道的稠密地图，将所述稠密地图加载到巡检机器人系统中；确定巡检机器人的位置，巡检机器人通过所述稠密地图实现自身的导航；
其中，构建变电站电缆沟道稠密地图的步骤具体包括：
将单目相机设置于巡检机器人上，通过单目相机采集获取变电站电缆沟道的图像数据；根据所述图像数据获取点云，根据获取的点云构建获得变电站电缆沟道的稠密地图；
其中，确定巡检机器人的位置步骤具体包括：
持续跟踪所述单目相机获取的图像数据，根据图像数据获取当前关键帧，根据当前关键帧获取当前单目相机的位姿信息，根据所述位姿信息确定巡检机器人的位置。
本发明的进一步改进在于，根据当前关键帧获取当前单目相机的位姿信息的步骤包括，通过计算关键帧间的se(3)转换矩阵，得到单目相机位姿信息；其中，se(3)为特殊欧式群。
本发明的进一步改进在于，获取当前关键帧的步骤包括，当关键帧为创建时，通过深度初始化获得当前关键帧；否则，通过极线匹配获得当前关键帧。
本发明的进一步改进在于，持续跟踪所述单目相机获取的图像数据时，关键帧被替换，其对应的深度地图不再进行优化调整；最后将得到的关键帧通过地图优化，合并到全局地图中。
本发明的进一步改进在于，通过计算关键帧间的se(3)转换矩阵，得到相机位姿，完成相机跟踪功能的算法包括：当前关键帧用Ki＝(Ii,Di,Vi)表示；其中Ii表示第i个图像，I:Ω→R，Di表示第i个逆深度地图上每个像素逆深度，D:Ω→R+，Vi表示第i逆深度地图每个像素逆深度方差，V:Ω→R+；其中Ω∈R2，Ω是包含相机内参的归一化二维像素坐标点集合；
通过当前关键帧Ki计算下一帧图像Ij三维位置ξ∈se(3)，计算方法采用最小化关键帧Ki图像Ij之间的归一化光度误差；
具体的计算公式是：
Figure BDA0002248375220000031
rp(P,ξ):＝Ii(P)-Ij(ω(P,Di(P),ξ))
Figure BDA0002248375220000032
其中，E为误差函数，||·||δ是Huber范数用于计算归一化残差，P表示图像Ii上一点，P＝(Px,Py)；光度残差rP，其对应3D投影点的坐标是P'＝(x',y',z')；ξ∈se(3)为刚体三维位置矩阵；
Figure BDA0002248375220000034
是P点与关键帧Ki对应点间的光度残差方差；
Figure BDA0002248375220000035
是假设服从高斯分布的图像灰度噪声方差；ω(P,Di(P),ξ)是3D投影偏差函数，其计算公式为：
Figure BDA0002248375220000036
其中
Figure BDA0002248375220000037
本发明的进一步改进在于，误差函数Ep(ξji)的最小化优化项，用如下公式表示：
Figure BDA0002248375220000038
其中，深度残差和其方差的计算公式如下所示：
rd(P,ξji):＝[P']3-Dj([P']1,2)
Figure BDA0002248375220000041
其中，深度残差rd，P':＝ω(P,Di(P),ξji)表示相似变换后转换到相机坐标系的点，ω是相似变换投影函数，[·]n表示·矩阵第n行元素，下角标n表示矩阵第n行元素。
本发明的进一步改进在于，还包括：地图优化；通过在邻近的关键帧中使用尺度识别和Sim(3)图像关联的方法估计相似转换矩阵ξ∈sim(3)，以检测地图中的回环和尺度漂移，完成地图优化；
其中，Sim(3)为相似变换群。
本发明的进一步改进在于，完成地图优化时，按照左乘规则对误差函数进行最优化，定义误差函数为：
其中，W表示世界坐标系；
所述关键帧为包括高图像梯度值的角点的像素及含高斯噪声的深度倒数图；通过对关键帧中每个像素进行滤波、短基线立体匹配以及交错空间正则化方式优化，调整图像深度。
本发明的进一步改进在于，构建变电站电缆沟道稠密地图的步骤具体还包括：首先对当前关键帧进行筛选；当单目相机运动到距离当前地图很远的位置时，以至于不能追踪图像数据，则根据最新获取的图像创建一个新关键帧；通过单目相机移动距离和移动角度之间的关系，设定加权函数，以此判断是否创建新关键帧；
选择关键帧的量化加权函数为：
dis(ξ):＝ξTQξ，
其中，Q表示包含权值的对角矩阵，ξ∈se(3)为刚体的位置矩阵；
每个关键帧都经过尺度缩放且其逆深度均值是1，缩放的尺度直接并入sim(3)相机位姿量化加权函数与当前所在场景尺度相关并且确保关键帧间满足最小基线立体匹配条件；并将缩放的尺度直接并入sim(3)相机位姿；
当完成关键帧选择之后，使用前一帧关键帧上的点投影到当前关键帧，初始化当前关键帧深度地图，然后进行一次空间归一化迭代；
最后，用当前关键帧替换掉前一个关键帧，并用当前图像帧继续跟踪后续图像帧；如果当前图像帧不能作为关键帧参与深度地图估计，则用当前图像帧来优化当前关键帧，对关键帧图像区域，进行小基线立体配准不断更新深度，将小基线立体配准结果更新到当前关键帧深度地图中，然后计算其深度不确定性，修正深度信息，同时加入新像素点并使用卡尔曼滤波对新像素深度进行融合。
本发明的一种用于变电站电缆沟道巡检的机器人导航系统，包括：
单目相机，用于设置在巡检机器人上，采集获取变电站电缆沟道的图像数据；
跟踪模块，用于持续跟踪所述单目相机获取的图像数据，根据图像数据获取当前关键帧，根据当前关键帧获取当前单目相机的位姿信息，进而确定巡检机器人的位置；
地图构建模块，用于根据所述图像数据获取点云，根据获取的点云构建获得变电站电缆沟道的稠密地图；其中，通过构建变电站电缆沟道的稠密地图，将所述稠密地图加载到巡检机器人系统中；确定巡检机器人的位置，巡检机器人通过所述稠密地图实现自身的导航。
与现有技术相比，本发明具有以下有益效果：
本发明为变电站巡检机器人提供了一种自主导航方法，通过建立电缆沟道环境的稠密地图，并将其加载到巡检机器人系统中，巡检机器人通过建立的环境地图能够实现自身的精确导航。具体的，通过单目相机建立电缆沟道环境的稠密地图，构建的稠密地图中得到的环境信息相对于红外传感器获取的信息来说内容丰富，能够在导航中获取更多障碍物信息，且鲁棒性更高。通过单目相机构建的地图后，机器人通过该地图进行导航能够摆脱电缆发热的影响，使路径规划更为精确，从而让机器人能够稳定的在电缆沟道中进行实时导航。
附图说明
图1是本发明实施例的一种用于变电站电缆沟道巡检的机器人导航方法的流程示意框图；其中，SE(3)为特殊欧式群，Sim(3)为相似变换群。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细说明。
请参阅图1，本发明实施例的一种用于变电站电缆沟道巡检的机器人导航系统，其主要是通过构建变电站电缆沟道的稠密地图进行导航。其中，构建稠密地图分为以下几个模块：
1、单目相机模块，设置于巡检机器人上，用于获取变电站电缆沟道的图像数据。
2、跟踪相机模块(Tracking)：该模块通过跟踪相机得到图像，得到当前相机的位姿信息。当得到一个新图像输入时，可以认为他与关键帧有一个变换关系，通过变换关系我们需要根据关键帧和当前图像的数据优化得到，检测到当前图像的变换即可以得到当前位置的姿态信息。
3、深度估计模块(Depth Map Estimation)：使用若干关键帧估计出场景的几何信息，每个关键帧包括一系列特征丰富(高图像梯度值的角点)的像素及其含高斯噪声的深度倒数图。而其他纹理较少区域的像素不再考虑，因为其能提供的视差信息较少也不可靠。根据深度传递假设，可以使用前一个关键帧的数据来给当前帧深度图初始化。再通过新测量数据来更新深度图，并且对深度图正则化和误匹配点剔除。深度估计有包括一下几个部分：
(1)参考帧上极线的计算；
(2)极线上得到最好的匹配位置；
(3)通过匹配位置计算出最佳的深度。
4、全局地图优化模块(Map Optimization)：单目slam由于它的绝对尺度信息是不能直接得到的(一只眼睛很难确定远近)，导致长距离运动之后，会产生巨大的尺度漂移。为了解决这个问题，我们需要对地图进行全局优化。
首先需要插图关键帧到地图当中，要插入关键帧，需要知道什么时候需要插入，定义一个距离：
Figure BDA0002248375220000071
这里的W是一个对角阵，表示每个维度的权重，设定一个阈值，加入这个距离大于设定的阈值，那么就需要插入一帧，这个阈值实际上和当前场景有关，同时需要保证它足以满足小基线立体相机的要求。之后求取两帧的变换，通过优化函数能够获得准确的稠密地图。
本发明实施例为变电站巡检机器人提供一种自主导航方法，通过建立电缆沟道环境的稠密地图，并将其加载到巡检机器人系统中，巡检机器人通过建立的环境地图实现自身的导航。
本发明的方法主要框架包括：图像帧跟踪、深度地图估计和地图优化，其框架结构如附图1所示。图像帧跟踪主要是用来持续跟踪获取的图像数据，使用前一帧图像作为初始图像，并用该初始图像估计当前关键帧的刚体位置ξ∈se(3)。
深度地图估计部分使用跟踪的图像帧优化或者删除当前关键帧。通过对关键帧中每个像素进行滤波、短基线立体匹配以及交错空间正则化方式优化调整图像深度。
如果相机运动轨迹很长，则将邻近范围内存在的关键帧上的点进行投影，从而初始化新关键帧。
跟踪过程中关键帧一旦被替换，其对应的深度地图将不会再进行优化调整。最后将这些关键帧通过地图优化，合并到全局地图中。
为了检测地图中的回环和尺度漂移，可以通过在邻近的关键帧中使用尺度识别和直接sim(3)图像关联的方法估计相似转换矩阵ξ∈sim(3)，从而完成地图优化。
请参阅图1，本发明实施例的巡检机器人导航方法，主要是通过构建沟道稠密地图进行导航。
构建稠密地图模块详细解释如下：
1、图像帧跟踪算法
本发明实施例中，图像跟踪算法主要是通过计算关键帧间的se(3)转换矩阵，从而得到相机位姿，完成相机跟踪功能。
为了方便描述，当前关键帧用Ki＝(Ii,Di,Vi)表示，其中Ii表示第i个图像，I:Ω→R，Di表示第i个逆深度地图上每个像素逆深度，D:Ω→R+，Vi表示第i逆深度地图每个像素逆深度方差，V:Ω→R+。其中Ω∈R2，Ω是包含相机内参的归一化二维像素坐标点集合。通过当前关键帧Ki计算下一帧图像Ij三维位置ξ∈se(3)，计算方法采用最小化关键帧Ki图像Ij之间的归一化光度误差，具体的计算公式是：
Figure BDA0002248375220000081
rp(P,ξ):＝Ii(P)-Ij(ω(P,Di(P),ξ))
Figure BDA0002248375220000082
Figure BDA0002248375220000083
其中，E为误差函数，||·||δ是Huber范数用于计算归一化残差，P表示图像Ii上一点，P＝(Px,Py)；光度残差rP，其对应3D投影点的坐标是P'＝(x',y',z')；ξ∈se(3)为刚体三维位置矩阵；
Figure BDA0002248375220000091
是P点与关键帧Ki对应点间的光度残差方差；
Figure BDA0002248375220000092
是假设服从高斯分布的图像灰度噪声方差；ω(P,Di(P),ξ)是3D投影偏差函数，其计算公式为：
Figure BDA0002248375220000093
其中
Figure BDA0002248375220000094
Figure BDA0002248375220000095
是假设服从高斯分布的图像灰度噪声方差。可使用加权迭代高斯-牛顿方法确定误差函数Ep(ξ)有最优解。深度地图估计算法
2、深度地图估计主要完成关键帧判断、创建和优化功能。
本发明实施例中，使用关键帧像素创建深度地图。首先对当前关键帧进行筛选。当相机运动到距离当前地图很远的位置时，根据最新获取的图像创建一个新关键帧。为了量化关键帧选择，算法通过相机移动距离和移动角度之间的关系，设定加权函数，以此判断是否创建新关键帧。选择关键帧的量化加权的函数为：
dis(ξ):＝ξTQξ
其中，Q表示包含权值的对角矩阵。由于每个关键帧都经过尺度缩放且其逆深度均值是1，所以量化加权函数与当前所在场景尺度相关并且要确保关键帧间满足最小基线立体匹配条件。
当完成关键帧选择之后，使用前一帧关键帧上的点投影到当前关键帧，初始化当前关键帧深度地图，然后进行一次空间归一化迭代。为了使得深度地图平均逆深度为1，将深度地图进行尺度缩放，并将该缩放的尺度直接并入sim(3)相机位姿。最后，用当前关键帧替换掉前一个关键帧，并用当前图像帧继续跟踪后续图像帧。如果当前图像帧不能作为关键帧参与深度地图估计，则用当前图像帧来优化当前关键帧。对关键帧图像区域，进行小基线立体配准不断更新深度。将小基线立体配准结果更新到当前关键帧深度地图中，然后计算其深度不确定性，修正深度信息，同时加入新像素点并使用卡尔曼滤波(EKF)对新像素深度进行融合。
由于该方法具有尺度不确定性的不足，长时间跟踪会产生累积尺度漂移从而影响跟踪准确性。为了解决这个问题，该方法通过场景深度地图和跟踪准确性之间内在联系，即：每个关键帧的深度地图平均逆深度是1，提出了一种新颖的算法。该算法基于sim(3)，在不同尺度关键帧上使用图像直接匹配方法和纠正尺度漂移的图像配准方法。除了光度残差rP，为了减小关键帧间逆深度偏差，在原有误差函数Ep(ξ)中加入深度残差rd，从而直接估计出关键帧间尺度变换。误差函数Ep(ξ)的最小化优化项，可以用如下公式表示：
Figure BDA0002248375220000101
其中深度残差和其方差的计算公式如下所示：
rd(P,ξ):＝[P']3-Dj([P']1,2)
其中，P':＝ω(P,Di(P),ξ)表示相似变换后转换到相机坐标系的点，ω是相似变换投影函数，[·]n表示·矩阵第n行元素。
3、地图优化算法主要完成向地图中加入关键帧并利用关键帧构造地图的功能。
本发明实施例中，地图优化位于整个算法后端，地图中包含大量关键帧，关键帧在sim(3)具有跟踪约束条件，所以将关键帧作为图优化节点，帧间sim(3)约束关系构成图优化的边，使用图优化方式迭代优化误差函数。按照左乘规则对误差函数进行最优化，可定义误差函数为：
Figure BDA0002248375220000103
其中，W表示世界坐标系。
以上是对本发明实施例具体系统框架中每部分的建模介绍，本发明相比于目前红外传感器进行导航该导航方法不仅具有图像跟踪功能，还包含了地图构架和地图优化算法。本发明为变电站巡检机器人提供了一种自主导航方法，通过单目相机建立电缆沟道环境的稠密地图，构建的稠密地图中得到的环境信息相对于红外传感器获取的信息来说内容丰富，能够在导航中获取更多障碍物信息，且鲁棒性更高。通过单目相机构建的地图后，机器人通过该地图进行导航能够摆脱电缆发热的影响，使路径规划更为精确，从而让机器人能够稳定的在电缆沟道中进行实时导航。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。

Claims (10)

1.一种用于变电站电缆沟道巡检的机器人导航方法，其特征在于，包括：
构建变电站电缆沟道的稠密地图，将所述稠密地图加载到巡检机器人系统中；确定巡检机器人的位置，巡检机器人通过所述稠密地图实现自身的导航；
其中，构建变电站电缆沟道稠密地图的步骤具体包括：
将单目相机设置于巡检机器人上，通过单目相机采集获取变电站电缆沟道的图像数据；根据所述图像数据获取点云，根据获取的点云构建获得变电站电缆沟道的稠密地图；
其中，确定巡检机器人的位置步骤具体包括：
持续跟踪所述单目相机获取的图像数据，根据图像数据获取当前关键帧，根据当前关键帧获取当前单目相机的位姿信息，根据所述位姿信息确定巡检机器人的位置。
2.根据权利要求1所述的一种用于变电站电缆沟道巡检的机器人导航方法，其特征在于，根据当前关键帧获取当前单目相机的位姿信息的步骤包括，通过计算关键帧间的se(3)转换矩阵，得到单目相机位姿信息；其中，se(3)为特殊欧式群。
3.根据权利要求2所述的一种用于变电站电缆沟道巡检的机器人导航方法，其特征在于，获取当前关键帧的步骤包括，当关键帧为创建时，通过深度初始化获得当前关键帧；否则，通过极线匹配获得当前关键帧。
4.根据权利要求1所述的一种用于变电站电缆沟道巡检的机器人导航方法，其特征在于，
持续跟踪所述单目相机获取的图像数据时，关键帧被替换，其对应的深度地图不再进行优化调整；最后将得到的关键帧通过地图优化，合并到全局地图中。
5.根据权利要求2所述的一种用于变电站电缆沟道巡检的机器人导航方法，其特征在于，通过计算关键帧间的se(3)转换矩阵，得到相机位姿，完成相机跟踪功能的算法包括：
当前关键帧用Ki＝(Ii,Di,Vi)表示；其中Ii表示第i个图像，I:Ω→R，Di表示第i个逆深度地图上每个像素逆深度，D:Ω→R+，Vi表示第i逆深度地图每个像素逆深度方差，V:Ω→R+；其中Ω∈R2，Ω是包含相机内参的归一化二维像素坐标点集合；
通过当前关键帧Ki计算下一帧图像Ij三维位置ξ∈se(3)，计算方法采用最小化关键帧Ki图像Ij之间的归一化光度误差；
具体的计算公式是：
Figure FDA0002248375210000021
rp(P,ξ):＝Ii(P)-Ij(ω(P,Di(P),ξ))
Figure FDA0002248375210000022
Figure FDA0002248375210000023
其中，E为误差函数，||·||δ是Huber范数用于计算归一化残差，P表示图像Ii上一点，P＝(Px,Py)；光度残差rP，其对应3D投影点的坐标是P'＝(x',y',z')；ξ∈se(3)为刚体三维位置矩阵；
Figure FDA0002248375210000024
是P点与关键帧Ki对应点间的光度残差方差；
Figure FDA0002248375210000025
是假设服从高斯分布的图像灰度噪声方差；ω(P,Di(P),ξ)是3D投影偏差函数，其计算公式为：
Figure FDA0002248375210000031
其中
Figure FDA0002248375210000032
6.根据权利要求5所述的一种用于变电站电缆沟道巡检的机器人导航方法，其特征在于，
误差函数Ep(ξ)的最小化优化项，用如下公式表示：
其中，深度残差和其方差的计算公式如下所示：
rd(P,ξ):＝[P']3-Dj([P']1,2)
Figure FDA0002248375210000034
其中，深度残差rd，P':＝ω(P,Di(P),ξ)表示相似变换后转换到相机坐标系的点，ω是相似变换投影函数，[·]n表示·矩阵第n行元素，下角标n表示矩阵第n行元素。
7.根据权利要求1所述的一种用于变电站电缆沟道巡检的机器人导航方法，其特征在于，还包括：地图优化；
通过在邻近的关键帧中使用尺度识别和Sim(3)图像关联的方法估计相似转换矩阵ξ∈sim(3)，以检测地图中的回环和尺度漂移，完成地图优化；
其中，Sim(3)为相似变换群。
8.根据权利要求7所述的一种用于变电站电缆沟道巡检的机器人导航方法，其特征在于，完成地图优化时，按照左乘规则对误差函数进行最优化，定义误差函数为：
Figure FDA0002248375210000041
其中，W表示世界坐标系；
所述关键帧为包括高图像梯度值的角点的像素及含高斯噪声的深度倒数图；通过对关键帧中每个像素进行滤波、短基线立体匹配以及交错空间正则化方式优化，调整图像深度。
9.根据权利要求1所述的一种用于变电站电缆沟道巡检的机器人导航方法，其特征在于，构建变电站电缆沟道稠密地图的步骤具体还包括：
首先对当前关键帧进行筛选；当单目相机运动到距离当前地图很远的位置时，以至于不能追踪图像数据，则根据最新获取的图像创建一个新关键帧；
通过单目相机移动距离和移动角度之间的关系，设定加权函数，以此判断是否创建新关键帧；
选择关键帧的量化加权函数为：
dis(ξ):＝ξTQξ，
其中，Q表示包含权值的对角矩阵，ξ∈se(3)为刚体的位置矩阵；
每个关键帧都经过尺度缩放且其逆深度均值是1，缩放的尺度直接并入sim(3)相机位姿量化加权函数与当前所在场景尺度相关并且确保关键帧间满足最小基线立体匹配条件；并将缩放的尺度直接并入sim(3)相机位姿；
当完成关键帧选择之后，使用前一帧关键帧上的点投影到当前关键帧，初始化当前关键帧深度地图，然后进行一次空间归一化迭代；
最后，用当前关键帧替换掉前一个关键帧，并用当前图像帧继续跟踪后续图像帧；如果当前图像帧不能作为关键帧参与深度地图估计，则用当前图像帧来优化当前关键帧，对关键帧图像区域，进行小基线立体配准不断更新深度，将小基线立体配准结果更新到当前关键帧深度地图中，然后计算其深度不确定性，修正深度信息，同时加入新像素点并使用卡尔曼滤波对新像素深度进行融合。
10.一种用于变电站电缆沟道巡检的机器人导航系统，其特征在于，包括：
单目相机，用于设置在巡检机器人上，采集获取变电站电缆沟道的图像数据；
跟踪模块，用于持续跟踪所述单目相机获取的图像数据，根据图像数据获取当前关键帧，根据当前关键帧获取当前单目相机的位姿信息，进而确定巡检机器人的位置；
地图构建模块，用于根据所述图像数据获取点云，根据获取的点云构建获得变电站电缆沟道的稠密地图；
其中，通过构建变电站电缆沟道的稠密地图，将所述稠密地图加载到巡检机器人系统中；确定巡检机器人的位置，巡检机器人通过所述稠密地图实现自身的导航。
CN201911025047.2A 2019-10-25 2019-10-25 一种用于变电站电缆沟道巡检的机器人导航方法及系统 Pending CN110764504A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911025047.2A CN110764504A (zh) 2019-10-25 2019-10-25 一种用于变电站电缆沟道巡检的机器人导航方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911025047.2A CN110764504A (zh) 2019-10-25 2019-10-25 一种用于变电站电缆沟道巡检的机器人导航方法及系统

Publications (1)

Publication Number Publication Date
CN110764504A true CN110764504A (zh) 2020-02-07

Family

ID=69333757

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911025047.2A Pending CN110764504A (zh) 2019-10-25 2019-10-25 一种用于变电站电缆沟道巡检的机器人导航方法及系统

Country Status (1)

Country Link
CN (1) CN110764504A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931832A (zh) * 2020-07-30 2020-11-13 国网智能科技股份有限公司 一种变电站巡检设备最优数据采集方法及系统
CN112748733A (zh) * 2020-12-16 2021-05-04 广东电网有限责任公司 电缆放线车路径规划方法、装置、设备及存储介质
CN113075686A (zh) * 2021-03-19 2021-07-06 长沙理工大学 一种基于多传感器融合的电缆沟智能巡检机器人建图方法
CN113814953A (zh) * 2021-10-13 2021-12-21 国网山西省电力公司输电检修分公司 一种巡检机器人的履带自动找平方法、系统及电子设备
CN114281081A (zh) * 2021-12-24 2022-04-05 杭州申昊科技股份有限公司 地铁车辆巡检机器人的导航系统和导航方法、机器人
CN115731482A (zh) * 2022-12-27 2023-03-03 江阴市浩盛电器线缆制造有限公司 违规电缆敷设场景鉴别系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140350839A1 (en) * 2013-05-23 2014-11-27 Irobot Corporation Simultaneous Localization And Mapping For A Mobile Robot
CN107657640A (zh) * 2017-09-30 2018-02-02 南京大典科技有限公司 基于orb slam的智能巡防巡检管理方法
WO2018048353A1 (en) * 2016-09-09 2018-03-15 Nanyang Technological University Simultaneous localization and mapping methods and apparatus
CN108648274A (zh) * 2018-05-10 2018-10-12 华南理工大学 一种视觉slam的认知点云地图创建系统
CN109387204A (zh) * 2018-09-26 2019-02-26 东北大学 面向室内动态环境的移动机器人同步定位与构图方法
CN109658373A (zh) * 2017-10-10 2019-04-19 中兴通讯股份有限公司 一种巡检方法、设备及计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140350839A1 (en) * 2013-05-23 2014-11-27 Irobot Corporation Simultaneous Localization And Mapping For A Mobile Robot
WO2018048353A1 (en) * 2016-09-09 2018-03-15 Nanyang Technological University Simultaneous localization and mapping methods and apparatus
CN107657640A (zh) * 2017-09-30 2018-02-02 南京大典科技有限公司 基于orb slam的智能巡防巡检管理方法
CN109658373A (zh) * 2017-10-10 2019-04-19 中兴通讯股份有限公司 一种巡检方法、设备及计算机可读存储介质
CN108648274A (zh) * 2018-05-10 2018-10-12 华南理工大学 一种视觉slam的认知点云地图创建系统
CN109387204A (zh) * 2018-09-26 2019-02-26 东北大学 面向室内动态环境的移动机器人同步定位与构图方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
朱英: "污水管道机器人视觉 SLAM 研究", 《信息科技辑》 *
高超: "基于直接法的机器人半稠密地图构建研究", 《信息科技辑》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931832A (zh) * 2020-07-30 2020-11-13 国网智能科技股份有限公司 一种变电站巡检设备最优数据采集方法及系统
CN111931832B (zh) * 2020-07-30 2024-05-21 国网智能科技股份有限公司 一种变电站巡检设备最优数据采集方法及系统
CN112748733A (zh) * 2020-12-16 2021-05-04 广东电网有限责任公司 电缆放线车路径规划方法、装置、设备及存储介质
CN112748733B (zh) * 2020-12-16 2024-05-07 广东电网有限责任公司 电缆放线车路径规划方法、装置、设备及存储介质
CN113075686A (zh) * 2021-03-19 2021-07-06 长沙理工大学 一种基于多传感器融合的电缆沟智能巡检机器人建图方法
CN113075686B (zh) * 2021-03-19 2024-01-12 长沙理工大学 一种基于多传感器融合的电缆沟智能巡检机器人建图方法
CN113814953A (zh) * 2021-10-13 2021-12-21 国网山西省电力公司输电检修分公司 一种巡检机器人的履带自动找平方法、系统及电子设备
CN113814953B (zh) * 2021-10-13 2024-03-19 国网山西省电力公司超高压变电分公司 一种巡检机器人的履带自动找平方法、系统及电子设备
CN114281081A (zh) * 2021-12-24 2022-04-05 杭州申昊科技股份有限公司 地铁车辆巡检机器人的导航系统和导航方法、机器人
CN114281081B (zh) * 2021-12-24 2023-10-24 杭州申昊科技股份有限公司 地铁车辆巡检机器人的导航系统和导航方法、机器人
CN115731482A (zh) * 2022-12-27 2023-03-03 江阴市浩盛电器线缆制造有限公司 违规电缆敷设场景鉴别系统及方法
CN115731482B (zh) * 2022-12-27 2024-01-16 江阴市浩盛电器线缆制造有限公司 违规电缆敷设场景鉴别系统及方法

Similar Documents

Publication Publication Date Title
CN110764504A (zh) 一种用于变电站电缆沟道巡检的机器人导航方法及系统
CN112902953B (zh) 一种基于slam技术的自主位姿测量方法
US10553026B2 (en) Dense visual SLAM with probabilistic surfel map
Hsiao et al. Keyframe-based dense planar SLAM
Zhu et al. Camvox: A low-cost and accurate lidar-assisted visual slam system
Zhu et al. Spatial-temporal fusion for high accuracy depth maps using dynamic MRFs
Forster et al. SVO: Fast semi-direct monocular visual odometry
Sato et al. Dense 3-d reconstruction of an outdoor scene by hundreds-baseline stereo using a hand-held video camera
Kang et al. Detection and tracking of moving objects from a moving platform in presence of strong parallax
US20180308240A1 (en) Method for estimating the speed of movement of a camera
CN113674416B (zh) 三维地图的构建方法、装置、电子设备及存储介质
CN111462207A (zh) 一种融合直接法与特征法的rgb-d同时定位与地图创建方法
CN113256698B (zh) 一种具有深度预测的单目3d重建方法
US20190080190A1 (en) System and method of selecting a keyframe for iterative closest point
Huang et al. 360vo: Visual odometry using a single 360 camera
CN110428461B (zh) 结合深度学习的单目slam方法及装置
Fan et al. A nonlinear optimization-based monocular dense mapping system of visual-inertial odometry
KR101766823B1 (ko) 불규칙한 조도 변화에 강건한 영상 기반 주행거리 측정 시스템 및 방법
CN104156933A (zh) 一种基于光流场的图像配准方法
CN117367427A (zh) 一种适用于室内环境中的视觉辅助激光融合IMU的多模态slam方法
Ikeda et al. Construction of feature landmark database using omnidirectional videos and GPS positions
CN115830070A (zh) 一种牵引变电所巡检机器人红外激光融合定位方法
Zhang et al. EKF-based recursive dual estimation of structure and motion from stereo data
Xue Analysis of simultaneous localization and mapping technology for mobile robot based on binocular vision
Peng et al. Semantic and edge-based visual odometry by joint minimizing semantic and edge distance error

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200207