CN110967009A - 变电站巡检机器人导航定位与地图构建方法及装置 - Google Patents

变电站巡检机器人导航定位与地图构建方法及装置 Download PDF

Info

Publication number
CN110967009A
CN110967009A CN201911182840.3A CN201911182840A CN110967009A CN 110967009 A CN110967009 A CN 110967009A CN 201911182840 A CN201911182840 A CN 201911182840A CN 110967009 A CN110967009 A CN 110967009A
Authority
CN
China
Prior art keywords
map
transformer substation
area
current
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201911182840.3A
Other languages
English (en)
Inventor
于虹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Research Institute of Yunnan Power Grid Co Ltd
Original Assignee
Electric Power Research Institute of Yunnan Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Power Research Institute of Yunnan Power Grid Co Ltd filed Critical Electric Power Research Institute of Yunnan Power Grid Co Ltd
Priority to CN201911182840.3A priority Critical patent/CN110967009A/zh
Publication of CN110967009A publication Critical patent/CN110967009A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Automation & Control Theory (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种变电站巡检机器人导航定位与地图构建方法及装置，该方法获取变电站区域的标识，识别标识记录的变电站区域的编号，预加载与编号对应的变电站区域地图，接收双目相机采集的图像，检测图像是否属于当前变电站区域地图中的子地图的重叠区域并完成子地图的切换或者融合，根据图像和当前变电站区域地图，计算变电站巡检机器人当前所在区域的深度信息，根据深度信息以及当前变电站区域地图，控制变电站巡检机器人实现避障和轨迹规划功能，本发明通过在ORB‑SLAM的基础上加以改进，使之满足变电站巡检机器人系统运行对导航定位、避障和轨迹规划功能的需求，实现变电站巡检机器人的定位、避障和轨迹规划功能，具有实时、精确、高效等显著优点。

Description

变电站巡检机器人导航定位与地图构建方法及装置
技术领域
本发明涉及定位移动终端应用技术领域，尤其涉及一种变电站巡检机器人导航定位与地图构建方法及装置。
背景技术
变电站智能巡检机器人携带可见光CCD(Charge Coupled Device，电荷耦合器)摄像机、红外成像仪、高保真监控拾音器等采集设备，以自主或遥控的方式，在无人值守或少人值守的变电站对室外高压设备进行巡检。利用变电站智能巡检机器人辅助运行人员对设备进行巡视，可及时发现电力设备的热缺陷、异物悬挂等设备异常现象，规避设备运行隐患，真正做到提高工作效率和巡视质量，起到减员增效的作用，有效推进了变电站无人值守的进程。采用巡检机器人对变电站进行检查工作，能够有效释放劳动力，提高工作效率，实现智能化管理。
利用场景中的图像信息，根据图像处理、投影几何学和机器视觉等技术，能够复现出相机在空间中的运动轨迹，同时构建出图像特征的三维空间位置，从而达到定位和构图的效果，称之为SLAM(Simultaneous Localization And Mapping，,同步定位与建图)技术。变电站巡检机器人要完成巡检作业，需要实时实现自身位置的精准定位，并能够根据送检目标地点、路况实时感知信息完成移动路径的动态实时规划，而SLAM技术在变电站巡检机器人巡检功能的实现方面起到重要的作用。
然而，在实际的作业环境中，变电站内的情况往往较为复杂，现有的变电站巡检机器人导航定位与地图构建方案在导航的精确性和地图构建的高效性方面，仍有待进一步提高。因此，如何针对变电站巡检机器人的具实际作业环境，设计出一种能够满足变电站巡检机器人对自身位置的精准定位、避障和轨迹规划功能的需求的方案，是业内亟待解决的问题。
发明内容
本发明提供一种变电站巡检机器人导航定位与地图构建方法及装置，以解决现有的变电站巡检机器人导航定位与地图构建方案在导航的精确性和地图构建的高效性方面，仍有待进一步提高的问题。
第一方面，本发明提供一种变电站巡检机器人导航定位与地图构建方法，所述方法包括：
获取变电站区域的标识，其中，预先根据变电站的地理结构，将变电站巡检机器人的活动环境分为数个变电站区域，每个变电站区域预先构建有相应的变电站区域地图，所述变电站区域地图为3D深度点云地图，所述变电站区域地图采用子地图的集合表示，每个变电站区域的入口或出口处设置标识，所述标识记录有所述变电站区域的编号；
识别所述标识记录的变电站区域的编号；
预加载与所述编号对应的变电站区域地图；
接收双目相机采集的图像，所述双目相机设置于所述变电站巡检机器人上；
检测所述图像是否属于当前变电站区域地图中的子地图的重叠区域；
如果所述图像属于所述重叠区域，比对所述图像与所述当前变电站区域地图中的子地图的相似度；
判断比对出的所述相似度中是否存在大于预设的相似度阈值的相似度；
如果所述相似度中存在大于预设的相似度阈值的相似度，将当前变电站区域地图中的子地图切换至其中相似度最高的子地图；
如果所述相似度中不存在大于预设的相似度阈值的相似度，将所述当前变电站区域地图中的子地图融合到当前子地图中；
根据所述图像和当前变电站区域地图，计算变电站巡检机器人当前所在区域的深度信息；
根据所述深度信息以及当前变电站区域地图，控制变电站巡检机器人实现避障和轨迹规划功能。
结合第一方面，在第一方面的第一种可实现方式中，识别所述标识记录的变电站区域的编号之后，所述方法还包括：
如果预加载与所述编号对应的变电站区域地图失败，切换至自主探索模式，获取用于构成变电站区域地图的每个子地图的关键帧；
在整个变电站区域的子地图探索完成后，根据所述关键帧的集合，创建新的变电站区域地图，所述新的变电站区域地图记为AREAi＝{areai-1，areai-2，areai-3，...}，其中，areai-1为所有构成所述变电站区域地图的子地图的关键帧的集合；
加载所述新的变电站区域地图。
结合第一方面的第一种可实现方式，在第一方面的第二种可实现方式中，加载所述新的变电站区域地图之后，所述方法还包括：
如果所述变电站巡检机器人在运行过程中进入未探索区域，以所述新的变电站区域地图中的当前子地图为主地图，建立分支地图以加入到所述新的变电站区域地图中，所述分支地图记为{areai-j-1，areai-j-2，...}，其中，i为变电站区域地图编号，j分别为变电站区域地图中的子地图编号。
结合第一方面的第二种可实现方式，在第一方面的第三种可实现方式中，以所述新的变电站区域地图中的当前子地图为主地图，建立分支地图以加入到所述新的变电站区域地图中，包括：
获得一组初始3D地图点和新的关键帧；
将所述初始3D地图点和新的关键帧插入到所述子地图中。
结合第一方面的第一种可实现方式，在第一方面的第四种可实现方式中，获取用于构成变电站区域地图的每个子地图的关键帧，包括：
跟踪双目相机采集当前帧时的位姿；
评估当前帧的跟踪质量是否满足预定的质量标准；
如果所述当前帧的跟踪质量满足预定的质量标准，将所述当前帧作为插入到所述子地图中的备选关键帧；
如果所述当前帧的跟踪质量未满足预定的质量标准，创建新的子地图。
结合第一方面的第四种可实现方式，在第一方面的第五种可实现方式中，跟踪双目相机采集当前帧时的位姿，包括：
双目相机旋转时，估计双目相机采集的图像平面中的2D变换信息；
按照以下方式将所述2D变换信息转换为3D相机旋转矩阵：
最初将转换设置为恒等式，然后通过公式更δx≈-2(J(e)+J(xc))+·(I(xc)-I(e))更新；
其中，x表示图像平面中的变换，包括平移和旋转，雅可比J是图像强度相对于变换的导数，J(e)是常数，并且仅计算一次，J(e)引用了参考图像，代表当前图像一阶导数的雅可比J(xc)在每次迭代时都会更新，xc初始为单位阵，(·)+是伪逆，I(xc)和I(e)分别是当前图像和参考图像中的图像强度；
通过最小化重投影误差来估计导致上述2D变换信息转换为3D相机旋转矩阵中的相机旋转
Figure BDA0002291726530000031
其中，旋转由李代数中的3维矢量θ表示，通过最小化δθ的高斯-牛顿法解决此最小化问题。
结合第一方面，在第一方面的第六种可实现方式中，根据所述深度信息以及当前变电站区域地图，控制变电站巡检机器人实现避障和轨迹规划功能，包括：
检测双目相机是否已返回到所述变电站区域地图上已经存在的先前访问过的位置；
如果双目相机是否已返回到所述变电站区域地图上已经存在的先前访问过的位置，使用闭环信息来补偿视觉跟踪中存在的累积误差。
结合第一方面的第六种可实现方式，在第一方面的第七种可实现方式中，检测双目相机是否已返回到所述变电站区域地图上已经存在的先前访问过的位置，包括：
通过词袋模型搜索当前帧的特征点；
根据所述特征点，评价所述词袋模型内所有关键帧与所述当前帧的相似度；
筛选出与所述当前帧的相似度最高的关键帧；
通过词袋共享单词的数量对相似度最高的关键帧进行评分；
将评分高于最佳分数的75％的关键帧被选作进一步验证的候选帧；
计算当前关键帧与所述候选帧之间的3D转换相似度；
根据所述3D转换相似度，执行基于地图的几何检查，以确定双目相机是否已返回到所述变电站区域地图上已经存在的先前访问的位置。
结合第一方面的第七种可实现方式，在第一方面的第八种可实现方式中，根据所述图像和当前变电站区域地图，计算变电站巡检机器人当前所在区域的深度信息的步骤中，通过双目相机左右图像重叠部分实时解算算像素点深度。
第二方面，本发明提供一种变电站巡检机器人导航定位与地图构建装置，所述装置包括：
获取单元，用于获取变电站区域的标识，其中，预先根据变电站的地理结构，将变电站巡检机器人的活动环境分为数个变电站区域，每个变电站区域预先构建有相应的变电站区域地图，所述变电站区域地图为3D深度点云地图，所述变电站区域地图采用子地图的集合表示，每个变电站区域的入口或出口处设置标识，所述标识记录有所述变电站区域的编号；
识别单元，用于识别所述标识记录的变电站区域的编号；
加载单元，用于预加载与所述编号对应的变电站区域地图；
接收单元，用于接收双目相机采集的图像，所述双目相机设置于所述变电站巡检机器人上；
检测单元，用于检测所述图像是否属于当前变电站区域地图中的子地图的重叠区域；
比对单元，用于在所述图像属于所述重叠区域的情况下，比对所述图像与所述当前变电站区域地图中的子地图的相似度；
判断单元，用于判断比对出的所述相似度中是否存在大于预设的相似度阈值的相似度；
切换单元，用于在所述相似度中存在大于预设的相似度阈值的相似度的情况下，将当前变电站区域地图中的子地图切换至其中相似度最高的子地图；
融合单元，用于在所述相似度中不存在大于预设的相似度阈值的相似度的情况下，将所述当前变电站区域地图中的子地图融合到当前子地图中；
计算单元，用于根据所述图像和当前变电站区域地图，计算变电站巡检机器人当前所在区域的深度信息；
控制单元，用于根据所述深度信息以及当前变电站区域地图，控制变电站巡检机器人实现避障和轨迹规划功能。
本发明的有益效果如下：本发明提供的一种变电站巡检机器人导航定位与地图构建方法及装置，通过在ORB-SLAM的基础上加以改进，使之满足变电站巡检机器人系统运行对导航定位、避障和轨迹规划功能的需求，根据变电站区域结构，使用双目相机按区域构建3D深度点云地图，SLAM使用基于MEMS的IMU和双目相机的紧耦合方案，回环检测采用多个子地图进行匹配，以减少由地图增长而回环又未检测到所带来的漂移误差并提高计算效率，子地图与区域点云地图匹配以实现巡检机器人的定位、避障和轨迹规划功能，本发明可实现变电站巡检机器人的定位、避障和轨迹规划功能，具有实时、精确、高效等显著优点。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种变电站巡检机器人导航定位与地图构建方法的流程图。
图2为本发明实施例提供的一种变电站巡检机器人导航定位与地图构建方法中一可选实施方式的流程图。
图3为本发明实施例提供的一种变电站巡检机器人导航定位与地图构建方法中一可选实施方式的流程图。
图4为本发明实施例提供的一种变电站巡检机器人导航定位与地图构建方法中一可选实施方式的流程图。
图5为本发明实施例提供的一种变电站巡检机器人导航定位与地图构建方法中一可选实施方式的流程图。
图6为本发明实施例提供的一种变电站巡检机器人导航定位与地图构建方法中一可选实施方式的流程图。
图7为本发明实施例提供的一种变电站巡检机器人导航定位与地图构建方法中一可选实施方式的流程图。
图8为本发明实施例提供的一种变电站巡检机器人导航定位与地图构建装置的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。以下结合附图，详细说明本发明各实施例提供的技术方案。
请参阅图1，为本发明实施例提供的一种变电站巡检机器人导航定位与地图构建方法的流程图，所述方法的执行主体可以是处理器，所述方法具体可以包括：
步骤S101，获取变电站区域的标识。
其中，本发明根据变电站区域结构，使用双目相机按区域构建3D深度点云地图。具体为预先根据变电站的地理结构，将变电站巡检机器人的活动环境分为数个变电站区域，每个变电站区域预先构建有相应的变电站区域地图，所述变电站区域地图为3D深度点云地图，所述变电站区域地图采用子地图的集合表示，每个变电站区域的入口或出口处设置标识，所述标识记录有所述变电站区域的编号。
步骤S102，识别所述标识记录的变电站区域的编号。
该步骤通过对标识记录的变电站区域的编号进行识别，来确定当前的变电站区域。
步骤S103，预加载与所述编号对应的变电站区域地图。
该步骤通过激活所述编号对应的变电站区域地图，来对变电站巡检机器人的巡检作业作指引。
步骤S104，接收双目相机采集的图像，所述双目相机设置于所述变电站巡检机器人上。
步骤S105，检测所述图像是否属于当前变电站区域地图中的子地图的重叠区域。
重叠区域是图像显示的区域同时属于多个不同的子地图，这种情况属于变电站巡检机器人正好处于子地图的交界处。
步骤S106，如果所述图像属于所述重叠区域，比对所述图像与所述当前变电站区域地图中的子地图的相似度。
步骤S107，判断比对出的所述相似度中是否存在大于预设的相似度阈值的相似度。
步骤S108，如果所述相似度中存在大于预设的相似度阈值的相似度，将当前变电站区域地图中的子地图切换至其中相似度最高的子地图。
步骤S109，如果所述相似度中不存在大于预设的相似度阈值的相似度，将所述当前变电站区域地图中的子地图融合到当前子地图中。
在本实施例中，如果相机返回到未激活地图中已经看到的区域，则将其设置为当前激活的地图。当前地图要么融合到前一个地图中，要么设置为未激活。采用地图图描述子地图之间的相关性，创建新地图时，与相邻创建的地图的相关性初始化为1，与其他地图的相关性初始化为零。每当将地图“A”切换为地图“B”或从地图“B”切换为“A”时，“A”和“B”之间的互动次数都会增加一次。
步骤S110，根据所述图像和当前变电站区域地图，计算变电站巡检机器人当前所在区域的深度信息。
具体地，根据所述图像和当前变电站区域地图，计算变电站巡检机器人当前所在区域的深度信息的步骤中，通过双目相机左右图像重叠部分实时解算算像素点深度。
步骤S111，根据所述深度信息以及当前变电站区域地图，控制变电站巡检机器人实现避障和轨迹规划功能。
如图2所示，作为一种可选的实施方式，识别所述标识记录的变电站区域的编号之后，所述方法还包括：
步骤S201，如果预加载与所述编号对应的变电站区域地图失败，切换至自主探索模式，获取用于构成变电站区域地图的每个子地图的关键帧。
步骤S202，在整个变电站区域的子地图探索完成后，根据所述关键帧的集合，创建新的变电站区域地图，所述新的变电站区域地图记为AREAi＝{areai-1，areai-2，areai-u，...}，其中，areai-1为所有构成所述变电站区域地图的子地图的关键帧的集合；
步骤S203，加载所述新的变电站区域地图。
作为一种可选的实施方式，加载所述新的变电站区域地图之后，所述方法还包括：
步骤204，如果所述变电站巡检机器人在运行过程中进入未探索区域，以所述新的变电站区域地图中的当前子地图为主地图，建立分支地图以加入到所述新的变电站区域地图中，所述分支地图记为{areai-j-1，aeeai-j-2，...}，其中，i为变电站区域地图编号，j分别为变电站区域地图中的子地图编号。
如图3所示，作为一种可选的实施方式，以所述新的变电站区域地图中的当前子地图为主地图，建立分支地图以加入到所述新的变电站区域地图中，包括：
步骤S301，获得一组初始3D地图点和新的关键帧。
步骤S302，将所述初始3D地图点和新的关键帧插入到所述子地图中。
本发明的该部分以增量方式构造一个包含关键帧和3D地图点的地图，一旦从跟踪部分接收到新的关键帧，地图将被完善和扩展。在地图中维护了一个加权位姿图，描述了关键帧之间的关系。位姿图中每个边缘的权重取决于在由该边缘连接的两个关键帧中可见的公共地图点的数量。在将新的关键帧和地图点插入到地图中之后，从所有相关关键帧执行光束平差法，这里是一种非线性状态估计的方法。单地图部分主要分为两部分：地图初始化：获得一组初始3D点，将用于特征跟踪。地图扩展：相机离开初始区域时，连续扩展地图以继续跟踪。
如图4所示，作为一种可选的实施方式，获取用于构成变电站区域地图的每个子地图的关键帧，包括：
步骤S401，跟踪双目相机采集当前帧时的位姿。
步骤S402，评估当前帧的跟踪质量是否满足预定的质量标准。
步骤S403，如果所述当前帧的跟踪质量满足预定的质量标准，将所述当前帧作为插入到所述子地图中的备选关键帧。
步骤S404，如果所述当前帧的跟踪质量未满足预定的质量标准，创建新的子地图。
具体地，如果在十帧之内跟踪失败，则认为特征跟踪丢失，则使用全局重新定位来预测新的相机姿态，创建新的子地图。则使用全局重新定位来预测新的相机姿态。
如图5所示，作为一种可选的实施方式，跟踪双目相机采集当前帧时的位姿，包括：
步骤S501，双目相机旋转时，估计双目相机采集的图像平面中的2D变换信息。
相机旋转时跟踪容易失败，本发明将旋转估算器引入了系统。
步骤S502，按照以下方式将所述2D变换信息转换为3D相机旋转矩阵。
最初将转换设置为恒等式，然后，通过公式更δx≈-2(J(e)+J(xc))+·(I(xc)-I(e))更新。
其中，x表示图像平面中的变换，包括平移和旋转，雅可比J是图像强度相对于变换的导数，J(e)是常数，并且仅计算一次，J(e)引用了参考图像，代表当前图像一阶导数的雅可比J(xc)在每次迭代时都会更新，xc初始为单位阵，(·)+是伪逆，I(xc)和I(e)分别是当前图像和参考图像中的图像强度；
通过最小化重投影误差来估计导致上述2D变换信息转换为3D相机旋转矩阵中的相机旋转
Figure BDA0002291726530000081
其中，旋转由李代数中的3维矢量θ表示，通过最小化δθ的高斯-牛顿法解决此最小化问题。
如图6所示，作为一种可选的实施方式，根据所述深度信息以及当前变电站区域地图，控制变电站巡检机器人实现避障和轨迹规划功能，包括：
步骤S601，检测双目相机是否已返回到所述变电站区域地图上已经存在的先前访问过的位置。
步骤S602，如果双目相机是否已返回到所述变电站区域地图上已经存在的先前访问过的位置，使用闭环信息来补偿视觉跟踪中存在的累积误差。
如图7所示，作为一种可选的实施方式，检测双目相机是否已返回到所述变电站区域地图上已经存在的先前访问过的位置，包括：
步骤S701，通过词袋模型搜索当前帧的特征点。
地图由关键帧和对应的特征点以及整合它们的词袋模型构成。
步骤S702，根据所述特征点，评价所述词袋模型内所有关键帧与所述当前帧的相似度。
步骤S703，筛选出与所述当前帧的相似度最高的关键帧。
步骤S704，通过词袋共享单词的数量对相似度最高的关键帧进行评分。
步骤S705，将评分高于最佳分数的75％的关键帧被选作进一步验证的候选帧。
其中，不同词袋模型用到的评价方式并不相同，假设当前帧用向量Va描述，词袋中一向量为Vb，每个向量中包含很多特征点单词，V＝{V1，V2，…}，那么相似度：
S(Va-Vb)＝2*Σ(|Vai|+|Vbi|-|Vai-Vbi|)，这是相似度的L1范数形式。
步骤S706，计算当前关键帧与所述候选帧之间的3D转换相似度。
步骤S707，根据所述3D转换相似度，执行基于地图的几何检查，以确定双目相机是否已返回到所述变电站区域地图上已经存在的先前访问的位置。
本发明通过对SLAM使用基于MEMS(Micro-Electro-Mechanical System，微机电系统)的IMU(Inertialmeasurementunit，惯性测量单元)和双目相机的紧耦合方案，在ORB-SLAM(ORB指的是一种旋转不变性特征，整个算法均是基于ORB特征实现的)的基础上加以改进，回环检测采用多个小地图进行匹配，以减少由地图增长而回环又未检测到所带来的漂移误差并提高计算效率。传感器采用双目相机和基于MEMS的IMU，将两者数据融合，不仅能提高视觉里程计的精度，同时MEMS能提供机器人的速度信息，以便更好地对机器人运动进行控制。当未检测到回环时，使用多个小地图进行组合能有效减小整个系统的轨迹漂移，并提高计算效率。
请参阅图8，本发明提供一种变电站巡检机器人导航定位与地图构建装置，所述装置包括：
获取单元801，用于获取变电站区域的标识，其中，预先根据变电站的地理结构，将变电站巡检机器人的活动环境分为数个变电站区域，每个变电站区域预先构建有相应的变电站区域地图，所述变电站区域地图为3D深度点云地图，所述变电站区域地图采用子地图的集合表示，每个变电站区域的入口或出口处设置标识，所述标识记录有所述变电站区域的编号。
识别单元802，用于识别所述标识记录的变电站区域的编号。
加载单元803，用于预加载与所述编号对应的变电站区域地图。
接收单元804，用于接收双目相机采集的图像，所述双目相机设置于所述变电站巡检机器人上。
检测单元805，用于检测所述图像是否属于当前变电站区域地图中的子地图的重叠区域。
比对单元806，用于在所述图像属于所述重叠区域的情况下，比对所述图像与所述当前变电站区域地图中的子地图的相似度。
判断单元807，用于判断比对出的所述相似度中是否存在大于预设的相似度阈值的相似度。
切换单元808，用于在所述相似度中存在大于预设的相似度阈值的相似度的情况下，将当前变电站区域地图中的子地图切换至其中相似度最高的子地图。
融合单元809，用于在所述相似度中不存在大于预设的相似度阈值的相似度的情况下，将所述当前变电站区域地图中的子地图融合到当前子地图中。
计算单元810，用于根据所述图像和当前变电站区域地图，计算变电站巡检机器人当前所在区域的深度信息。
控制单元811，用于根据所述深度信息以及当前变电站区域地图，控制变电站巡检机器人实现避障和轨迹规划功能。
本发明实施例还提供一种存储介质，本发明实施例还提供一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现本发明提供的变电站巡检机器人导航定位与地图构建方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：Read-OnlyMemory，简称：ROM)或随机存储记忆体(英文：RandomAccessMemory，简称：RAM)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于变电站巡检机器人导航定位与地图构建装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
以上所述的本发明实施方式并不构成对本发明保护范围的限定。

Claims (10)

1.一种变电站巡检机器人导航定位与地图构建方法，其特征在于，所述方法包括：
获取变电站区域的标识，其中，预先根据变电站的地理结构，将变电站巡检机器人的活动环境分为数个变电站区域，每个变电站区域预先构建有相应的变电站区域地图，所述变电站区域地图为3D深度点云地图，所述变电站区域地图采用子地图的集合表示，每个变电站区域的入口或出口处设置标识，所述标识记录有所述变电站区域的编号；
识别所述标识记录的变电站区域的编号；
预加载与所述编号对应的变电站区域地图；
接收双目相机采集的图像，所述双目相机设置于所述变电站巡检机器人上；
检测所述图像是否属于当前变电站区域地图中的子地图的重叠区域；
如果所述图像属于所述重叠区域，比对所述图像与所述当前变电站区域地图中的子地图的相似度；
判断比对出的所述相似度中是否存在大于预设的相似度阈值的相似度；
如果所述相似度中存在大于预设的相似度阈值的相似度，将当前变电站区域地图中的子地图切换至其中相似度最高的子地图；
如果所述相似度中不存在大于预设的相似度阈值的相似度，将所述当前变电站区域地图中的子地图融合到当前子地图中；
根据所述图像和当前变电站区域地图，计算变电站巡检机器人当前所在区域的深度信息；
根据所述深度信息以及当前变电站区域地图，控制变电站巡检机器人实现避障和轨迹规划功能。
2.如权利要求1所述的方法，其特征在于，识别所述标识记录的变电站区域的编号之后，所述方法还包括：
如果预加载与所述编号对应的变电站区域地图失败，切换至自主探索模式，获取用于构成变电站区域地图的每个子地图的关键帧；
在整个变电站区域的子地图探索完成后，根据所述关键帧的集合，创建新的变电站区域地图，所述新的变电站区域地图记为AREAi＝{areai-1，areai-2，areai-3，...}，其中，areai-1为所有构成所述变电站区域地图的子地图的关键帧的集合；
加载所述新的变电站区域地图。
3.如权利要求2所述的方法，其特征在于，加载所述新的变电站区域地图之后，所述方法还包括：
如果所述变电站巡检机器人在运行过程中进入未探索区域，以所述新的变电站区域地图中的当前子地图为主地图，建立分支地图以加入到所述新的变电站区域地图中，所述分支地图记为{areai-j-1，areai-j-2，...}，其中，i为变电站区域地图编号，j分别为变电站区域地图中的子地图编号。
4.如权利要求3所述的方法，其特征在于，以所述新的变电站区域地图中的当前子地图为主地图，建立分支地图以加入到所述新的变电站区域地图中，包括：
获得一组初始3D地图点和新的关键帧；
将所述初始3D地图点和新的关键帧插入到所述子地图中。
5.如权利要求2所述的方法，其特征在于，获取用于构成变电站区域地图的每个子地图的关键帧，包括：
跟踪双目相机采集当前帧时的位姿；
评估当前帧的跟踪质量是否满足预定的质量标准；
如果所述当前帧的跟踪质量满足预定的质量标准，将所述当前帧作为插入到所述子地图中的备选关键帧；
如果所述当前帧的跟踪质量未满足预定的质量标准，创建新的子地图。
6.如权利要求5所述的方法，其特征在于，跟踪双目相机采集当前帧时的位姿，包括：
双目相机旋转时，估计双目相机采集的图像平面中的2D变换信息；
按照以下方式将所述2D变换信息转换为3D相机旋转矩阵：
最初将转换设置为恒等式，然后通过公式更δx≈-2(J(e)+J(xc))+·(I(xc)-I(e))更新；
其中，x表示图像平面中的变换，包括平移和旋转，雅可比J是图像强度相对于变换的导数，J(e)是常数，并且仅计算一次，J(e)引用了参考图像，代表当前图像一阶导数的雅可比J(xc)在每次迭代时都会更新，xc初始为单位阵，(·)+是伪逆，I(xc)和I(e)分别是当前图像和参考图像中的图像强度；
通过最小化重投影误差来估计导致上述2D变换信息转换为3D相机旋转矩阵中的相机旋转
Figure FDA0002291726520000021
其中，旋转由李代数中的3维矢量θ表示，通过最小化δθ的高斯-牛顿法解决此最小化问题。
7.如权利要求1所述的方法，其特征在于，根据所述深度信息以及当前变电站区域地图，控制变电站巡检机器人实现避障和轨迹规划功能，包括：
检测双目相机是否已返回到所述变电站区域地图上已经存在的先前访问过的位置；
如果双目相机是否已返回到所述变电站区域地图上已经存在的先前访问过的位置，使用闭环信息来补偿视觉跟踪中存在的累积误差。
8.如权利要求7所述的方法，其特征在于，检测双目相机是否已返回到所述变电站区域地图上已经存在的先前访问过的位置，包括：
通过词袋模型搜索当前帧的特征点；
根据所述特征点，评价所述词袋模型内所有关键帧与所述当前帧的相似度；
筛选出与所述当前帧的相似度最高的关键帧；
通过词袋共享单词的数量对相似度最高的关键帧进行评分；
将评分高于最佳分数的75％的关键帧被选作进一步验证的候选帧；
计算当前关键帧与所述候选帧之间的3D转换相似度；
根据所述3D转换相似度，执行基于地图的几何检查，以确定双目相机是否已返回到所述变电站区域地图上已经存在的先前访问的位置。
9.如权利要求1所述的方法，其特征在于，根据所述图像和当前变电站区域地图，计算变电站巡检机器人当前所在区域的深度信息的步骤中，
通过双目相机左右图像重叠部分实时解算算像素点深度。
10.一种变电站巡检机器人导航定位与地图构建装置，其特征在于，所述装置包括：
获取单元，用于获取变电站区域的标识，其中，预先根据变电站的地理结构，将变电站巡检机器人的活动环境分为数个变电站区域，每个变电站区域预先构建有相应的变电站区域地图，所述变电站区域地图为3D深度点云地图，所述变电站区域地图采用子地图的集合表示，每个变电站区域的入口或出口处设置标识，所述标识记录有所述变电站区域的编号；
识别单元，用于识别所述标识记录的变电站区域的编号；
加载单元，用于预加载与所述编号对应的变电站区域地图；
接收单元，用于接收双目相机采集的图像，所述双目相机设置于所述变电站巡检机器人上；
检测单元，用于检测所述图像是否属于当前变电站区域地图中的子地图的重叠区域；
比对单元，用于在所述图像属于所述重叠区域的情况下，比对所述图像与所述当前变电站区域地图中的子地图的相似度；
判断单元，用于判断比对出的所述相似度中是否存在大于预设的相似度阈值的相似度；
切换单元，用于在所述相似度中存在大于预设的相似度阈值的相似度的情况下，将当前变电站区域地图中的子地图切换至其中相似度最高的子地图；
融合单元，用于在所述相似度中不存在大于预设的相似度阈值的相似度的情况下，将所述当前变电站区域地图中的子地图融合到当前子地图中；
计算单元，用于根据所述图像和当前变电站区域地图，计算变电站巡检机器人当前所在区域的深度信息；
控制单元，用于根据所述深度信息以及当前变电站区域地图，控制变电站巡检机器人实现避障和轨迹规划功能。
CN201911182840.3A 2019-11-27 2019-11-27 变电站巡检机器人导航定位与地图构建方法及装置 Withdrawn CN110967009A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911182840.3A CN110967009A (zh) 2019-11-27 2019-11-27 变电站巡检机器人导航定位与地图构建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911182840.3A CN110967009A (zh) 2019-11-27 2019-11-27 变电站巡检机器人导航定位与地图构建方法及装置

Publications (1)

Publication Number Publication Date
CN110967009A true CN110967009A (zh) 2020-04-07

Family

ID=70031805

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911182840.3A Withdrawn CN110967009A (zh) 2019-11-27 2019-11-27 变电站巡检机器人导航定位与地图构建方法及装置

Country Status (1)

Country Link
CN (1) CN110967009A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111540077A (zh) * 2020-05-12 2020-08-14 中国电建集团福建省电力勘测设计院有限公司 基于三维模型坐标定位的换流站阀厅移动式智能巡检方法
CN112183411A (zh) * 2020-10-05 2021-01-05 浙江港创智能机器人有限公司 一种面向高压输电线路巡检的单目slam系统
CN112461227A (zh) * 2020-10-22 2021-03-09 新兴际华集团有限公司 轮式底盘机器人巡检智能化自主导航方法
CN112484729A (zh) * 2020-11-11 2021-03-12 深圳市优必选科技股份有限公司 导航地图切换方法、装置、终端设备及存储介质
CN112509006A (zh) * 2020-12-11 2021-03-16 北京华捷艾米科技有限公司 一种子地图恢复融合方法及装置
CN112729302A (zh) * 2020-12-15 2021-04-30 深圳供电局有限公司 巡检机器人导航方法、装置、巡检机器人和存储介质
CN113010724A (zh) * 2021-04-29 2021-06-22 山东新一代信息产业技术研究院有限公司 一种基于视觉特征点匹配的机器人地图选择方法及系统
CN113873439A (zh) * 2021-12-01 2021-12-31 武汉华中思能科技有限公司 一种四足机器人通信交互方法及装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111540077A (zh) * 2020-05-12 2020-08-14 中国电建集团福建省电力勘测设计院有限公司 基于三维模型坐标定位的换流站阀厅移动式智能巡检方法
CN111540077B (zh) * 2020-05-12 2022-04-19 中国电建集团福建省电力勘测设计院有限公司 基于三维模型坐标定位的换流站阀厅移动式智能巡检方法
CN112183411A (zh) * 2020-10-05 2021-01-05 浙江港创智能机器人有限公司 一种面向高压输电线路巡检的单目slam系统
CN112461227A (zh) * 2020-10-22 2021-03-09 新兴际华集团有限公司 轮式底盘机器人巡检智能化自主导航方法
CN112461227B (zh) * 2020-10-22 2023-07-21 新兴际华集团有限公司 轮式底盘机器人巡检智能化自主导航方法
CN112484729A (zh) * 2020-11-11 2021-03-12 深圳市优必选科技股份有限公司 导航地图切换方法、装置、终端设备及存储介质
CN112509006A (zh) * 2020-12-11 2021-03-16 北京华捷艾米科技有限公司 一种子地图恢复融合方法及装置
CN112729302A (zh) * 2020-12-15 2021-04-30 深圳供电局有限公司 巡检机器人导航方法、装置、巡检机器人和存储介质
CN112729302B (zh) * 2020-12-15 2024-03-29 深圳供电局有限公司 巡检机器人导航方法、装置、巡检机器人和存储介质
CN113010724A (zh) * 2021-04-29 2021-06-22 山东新一代信息产业技术研究院有限公司 一种基于视觉特征点匹配的机器人地图选择方法及系统
CN113873439A (zh) * 2021-12-01 2021-12-31 武汉华中思能科技有限公司 一种四足机器人通信交互方法及装置
CN113873439B (zh) * 2021-12-01 2022-03-11 武汉华中思能科技有限公司 一种四足机器人通信交互方法及装置

Similar Documents

Publication Publication Date Title
CN110967009A (zh) 变电站巡检机器人导航定位与地图构建方法及装置
CN110349250B (zh) 一种基于rgbd相机的室内动态场景的三维重建方法
CN111958592B (zh) 一种变电站巡检机器人图像语义分析系统及方法
Li et al. Efficient laser-based 3D SLAM for coal mine rescue robots
Yin et al. Dynam-SLAM: An accurate, robust stereo visual-inertial SLAM method in dynamic environments
CN110033489B (zh) 一种车辆定位准确性的评估方法、装置及设备
KR20200121274A (ko) 전자 지도를 업데이트하기 위한 방법, 장치 및 컴퓨터 판독 가능한 저장 매체
CN103712617B (zh) 一种基于视觉内容的多层语义地图的创建方法
CN107808123B (zh) 图像可行域检测方法、电子设备、存储介质、检测系统
CN103377476A (zh) 使用三维地理弧的多模型数据的图像配准
CN113674416A (zh) 三维地图的构建方法、装置、电子设备及存储介质
CN114964212B (zh) 面向未知空间探索的多机协同融合定位与建图方法
CN112015187B (zh) 一种用于智能移动机器人的语义地图构建方法及系统
CN111402632B (zh) 一种交叉口行人运动轨迹的风险预测方法
CN114549738A (zh) 无人车室内实时稠密点云重建方法、系统、设备及介质
CN111016887A (zh) 机动车自动泊车装置及方法
Zhu et al. Ten-fold improvement in visual odometry using landmark matching
Lim et al. AdaLIO: Robust adaptive LiDAR-inertial odometry in degenerate indoor environments
Zhou et al. Robust global localization by using global visual features and range finders data
CN114636422A (zh) 用于信息机房场景的定位导航方法
Cordes et al. Constrained Multi Camera Calibration for Lane Merge Observation.
Wang et al. DRR-LIO: A dynamic-region-removal-based LiDAR inertial odometry in dynamic environments
Wang et al. Applying SLAM algorithm based on nonlinear optimized monocular vision and IMU in the positioning method of power inspection robot in complex environment
Sun et al. Real-time and fast RGB-D based people detection and tracking for service robots
Zhuge et al. 3-D motion trajectory measurement for the target through a multi-UAVs system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200407