CN107796397A - 一种机器人双目视觉定位方法、装置和存储介质 - Google Patents
一种机器人双目视觉定位方法、装置和存储介质 Download PDFInfo
- Publication number
- CN107796397A CN107796397A CN201710827638.6A CN201710827638A CN107796397A CN 107796397 A CN107796397 A CN 107796397A CN 201710827638 A CN201710827638 A CN 201710827638A CN 107796397 A CN107796397 A CN 107796397A
- Authority
- CN
- China
- Prior art keywords
- image
- point cloud
- mrow
- laser
- pose
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种机器人双目视觉定位方法、装置和存储介质，其中该方法包括：获取机器人的当前双目图像以及当前位姿；若当前双目图像为关键图像，则从关键库中获取与当前双目图像具有重叠视野的历史关键图像，历史关键图像关联于历史关键位姿；根据当前位姿和历史关键位姿将当前双目图像和历史关键图像拼接为视觉点云地图；获取预先构建的激光点云地图；根据视觉点云地图、激光点云地图对当前位姿进行优化。通过事先构建的激光点云地图在关键帧对应的时刻对位姿估计值进行优化，能够在机器人长期运行的过程中不断修正位姿估计的累积误差；同时由于优化过程中引入了精确的激光点云地图的信息，使得定位的精确度更高。
Description
技术领域
本发明涉及机器人导航技术，尤其涉及一种机器人双目视觉定位方法、装置和存储介质。
背景技术
目前，越来越多不同类型的机器人出现在生产生活的方方面面。对于仓储物流、巡检监控等领域而言，其工作需要机器人能够在一个相对固定的环境内实现长期稳定的运行，且能实现精确的自定位。现阶段基于3D激光雷达和先验激光地图的定位方式可以满足这个需求，但是3D激光的成本较高，不适合机器人的大范围普及应用。视觉传感器成本较低，且获取的信息量较大，若采用视觉传感器实现这一功能，可以在很大程度上降低生产成本。但是现有的视觉里程计算法在长期运行时会因累积误差出错，且视觉定位方法则容易受到环境光照、气候变化的影响，从而难以与视觉地图或者先验图片实现稳定的关联，造成定位失败，进而影响机器人任务的完成。也有采用闭环检测实现位姿优化的方法，但是当工作环境的范围较大，且可以检测到闭环的场景较少的情况下，机器人在成功检测到闭环进行全局优化修正累积误差前可能已经存在较大的位姿漂移，从而造成闭环优化失败，机器人位姿估计不准确的问题。
发明内容
为了克服现有技术的不足，本发明的目的之一在于提供一种机器人双目视觉定位方法，定位时不需要昂贵的激光传感器，在特定时刻利用事先构建的激光点云地图对位姿估计值进行优化，能够在机器人长期运行的过程中不断修正位姿估计的累积误差，且不需要依赖闭环检测的稳定性与准确性，从而降低对工作环境结构的要求；同时由于优化过程中引入了更精确的激光点云地图的信息，使得定位的精确度更高。
本发明的目的之二在于提供一种机器人双目视觉定位装置，定位时不需要昂贵的激光传感器，在特定时刻利用事先构建的激光点云地图对位姿估计值进行优化，能够在机器人长期运行的过程中不断修正位姿估计的累积误差，且不需要依赖闭环检测的稳定性与准确性，从而降低对工作环境结构的要求；同时由于优化过程中引入了更精确的激光点云地图的信息，使得定位的精确度更高。
本发明的目的之三在于提供一种电子设备，定位时不需要昂贵的激光传感器，在特定时刻利用事先构建的激光点云地图对位姿估计值进行优化，能够在机器人长期运行的过程中不断修正位姿估计的累积误差，且不需要依赖闭环检测的稳定性与准确性，从而降低对工作环境结构的要求；同时由于优化过程中引入了更精确的激光点云地图的信息，使得定位的精确度更高。
本发明的目的之四在于提供一种存储介质，存储有计算机程序，定位时不需要昂贵的激光传感器，在特定时刻利用事先构建的激光点云地图对位姿估计值进行优化，能够在机器人长期运行的过程中不断修正位姿估计的累积误差，且不需要依赖闭环检测的稳定性与准确性，从而降低对工作环境结构的要求；同时由于优化过程中引入了更精确的激光点云地图的信息，使得定位的精确度更高。
本发明的目的之一采用以下技术方案实现：
一种机器人双目视觉定位方法，包括以下步骤：
获取机器人的当前双目图像以及当前位姿；
若所述当前双目图像为关键图像，则从关键库中获取与当前双目图像具有重叠视野的历史关键图像，历史关键图像关联于历史关键位姿；
根据所述当前位姿和历史关键位姿将所述当前双目图像和历史关键图像拼接为视觉点云地图；
获取激光点云地图，所述激光点云地图是预先构建的；
根据所述视觉点云地图、以及激光点云地图对所述当前位姿进行优化。
进一步地，所述激光点云地图具体为通过以下步骤构建：
获取工作环境的激光点云序列和双目图像序列；所述激光点云序列包括多个带有时间戳的激光点云数据，各激光点云数据包括多个激光点，所述双目图像序列包括多个带有时间戳的双目图像，所述双目图像包括单目图像，所述单目图像包括多个图像特征；
根据所述激光点云序列或双目图像序列计算与时间戳关联的序列位姿；
计算各激光点在具有相同时间戳的单目图像上的点云投影；
判断所述点云投影的预设过滤范围内是否存在所述单目图像的图像特征；
过滤掉各激光点云数据中点云投影的预设过滤范围内不存在图像特征的激光点，即不是激光特征点的激光点，过滤后的激光点云数据为激光特征点云数据；激光特征点云数据中包括激光特征点。
将激光特征点云数据根据序列位姿拼接为激光点云地图。
进一步地，所述视觉点云地图包括多个视觉特征点，所述激光点云地图包括多个激光特征点，当前双目图像、历史关键图像均包括二维图像特征点，且当前双目图像、历史关键图像均包括单目图像；所述根据所述视觉点云地图、以及激光点云地图对所述当前位姿进行优化，具体为根据以下算式进行优化：
其中，I表示待优化的位姿的集合，包括当前位姿和历史关键位姿，xj为I中的第j个的位姿，M表示视觉点云地图，表示M中的第i个视觉特征点的坐标，pi,j表示xj对应的当前双目图像或历史关键图像上与对应的二维图像特征点的坐标，表示投影到xj对应的单目图像上的坐标与pi,j之间的误差；L表示激光点云地图，表示L中的第l个激光特征点的坐标，表示和之间的距离误差。
进一步地，具体为：
对于第k个视觉特征点，若预设阈值范围内与视觉特征点距离最近的预设数量的激光特征点满足平行条件，则视觉特征点的坐标与所述预设数量中的各激光特征点的坐标之间的距离误差为：
其中，Ωkl为点云信息矩阵，为点的法向量；
与其余的激光特征点的坐标之间的距离误差为：
进一步地，所述获取机器人的当前双目图像以及当前位姿，具体包括以下子步骤：
获取机器人的当前双目图像、以及机器人的前一双目图像和前一位姿；
根据所述当前双目图像、前一双目图像计算位姿变化量；
根据所述位姿变化量和前一位姿计算机器人的当前位姿。
进一步地，所述根据所述视觉点云地图、以及激光点云地图对所述当前位姿进行优化时，也对历史关键位姿进行优化，所述机器人双目视觉定位方法还包括以下步骤：
根据优化后的历史关键位姿更新关键库中历史关键图像所关联的历史关键位姿。
本发明的目的之二采用以下技术方案实现：
一种机器人双目视觉定位装置，包括：
第一获取模块，用于获取机器人的当前双目图像以及当前位姿；
第二获取模块，用于若所述当前双目图像为关键图像，则从关键库中获取与当前双目图像具有重叠视野的历史关键图像，历史关键图像关联于历史关键位姿；
拼接模块，用于根据所述当前位姿和历史关键位姿将所述当前双目图像和历史关键图像拼接为视觉点云地图；
第三获取模块，用于获取激光点云地图，所述激光点云地图是预先构建的；
优化模块，用于根据所述视觉点云地图、以及激光点云地图对所述当前位姿进行优化。
进一步地，所述机器人双目视觉定位装置还包括用于构建所述激光点云地图的构建模块，所述构建模块包括：
获取单元，用于获取工作环境的激光点云序列和双目图像序列；所述激光点云序列包括多个带有时间戳的激光点云数据，各激光点云数据包括多个激光点，所述双目图像序列包括多个带有时间戳的双目图像，所述双目图像包括单目图像，所述单目图像包括多个图像特征；
第一计算单元，用于根据所述激光点云序列或双目图像序列计算与时间戳关联的序列位姿；
第二计算单元，用于计算各激光点在具有相同时间戳的单目图像上的点云投影；
判断单元，用于判断所述点云投影的预设过滤范围内是否存在所述单目图像的图像特征；
过滤单元，用于过滤掉各激光点云数据中点云投影的预设过滤范围内不存在图像特征的激光点，生成激光特征点云数据；
拼接单元，用于将激光特征点云数据根据序列位姿拼接为激光点云地图。
本发明的目的之三采用以下技术方案实现：
一种电子设备，包括存储器、处理器以及存储在存储器中的程序，所述程序被配置成由处理器执行，处理器执行所述程序时实现上述机器人双目视觉定位方法的步骤。
本发明的目的之四采用以下技术方案实现：
一种存储介质，所述介质存储有计算机程序，所述计算机程序被处理器执行时实现上述机器人双目视觉定位方法的步骤。
相比现有技术，本发明的有益效果在于：通过事先构建的激光点云地图在关键帧对应的时刻对位姿估计值进行优化，能够在机器人长期运行的过程中不断修正位姿估计的累积误差，且不需要依赖闭环检测的稳定性与准确性，从而降低对工作环境结构的要求；同时由于优化过程中引入了更精确的激光点云地图的信息，使得定位的精确度更高。
附图说明
图1为本发明实施例一的机器人双目视觉定位方法的流程示意图；
图2为图1中优化过程的示意图；
图3为本发明实施例二的机器人双目视觉定位装置的结构示意图；
图4为本发明实施例三的电子设备的结构示意图。
具体实施方式
下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
实施例一
如图1为一种机器人双目视觉定位方法，包括以下步骤：
步骤S110、获取机器人的当前双目图像以及当前位姿。
作为优选的实施方式，步骤S110获取机器人的当前双目图像以及当前位姿，具体包括以下子步骤：
步骤S111、获取机器人的当前双目图像、以及机器人的前一双目图像和前一位姿；
步骤S112、根据所述当前双目图像、前一双目图像计算位姿变化量；
步骤S113、根据所述位姿变化量和前一位姿计算机器人的当前位姿。
利用双目视觉实现机器人自身的运动估计已有较长时间的研究历史，其实现方式多为利用相邻帧图像信息，估计机器人在连续两帧间的运动，从而累积得到机器人的位姿估计。根据视觉相邻帧匹配方式的不同，可以分为稠密法和稀疏法两种运动估计方式。其中，稠密法指在估计相邻帧相机运动时，根据两张图像的灰度差或者灰度的梯度差直接估计机器人运动；而稀疏法是指，通过两张图像上预先提取的特征描述子的匹配结果，计算相邻帧机器人运动。
在本实例中，步骤S110中计算机器人的当前位姿采用稀疏法实现。在机器人运动开始前，需提供给定位模块一个机器人位姿的初始估计。若难以提供初始估计，可将机器人的运行起点设置为坐标原点，可通过在地面设置标志信息以使两次的起点相同。通过位姿变化量的累加得到当前位姿的估计值。
在另一实施例中，位姿变化量可以通过机器人的传感器，如里程计获得，因此可以不用在此步骤中获取机器人的前一双目图像。
步骤S120、若所述当前双目图像为关键图像，则从关键库中获取与当前双目图像具有重叠视野的历史关键图像，历史关键图像关联于历史关键位姿。关键库中保存了当前路径的当前帧之前的一系列历史关键图像和与历史关键图像相关联的历史关键位姿，具体的，历史关键图像关联于相应的历史关键位姿。
关键图像也可称为关键帧，是满足一定条件的普通单帧双目数据，现有技术可以判断，若检测到当前帧的观测信息与上一个关键帧的观测信息重叠较小，或者当前双目图像对应的位姿与上一个关键帧对应的位姿相比变化较大，则可认为当前帧为新的关键帧。
基于关键帧的双目视觉定位算法只需要对关键图像对应的位姿进行优化，可以在保证定位精度的同时减小机器人定位或轨迹优化的计算量；相同计算条件下可以获得比基于滤波的视觉里程计算法更高的精度；同时，基于关键帧的双目视觉定位算法更易引入其他信息实现同时优化。
在本发明中，若当前双目图像为关键图像，则对步骤S110估计得到的机器人的当前位姿进行优化，以保证关键图像对应的位姿是精确的。
当新一帧关键帧被确定后，从历史的关键帧数据中选取出与当前双目图像具有重叠视野的关键帧，即历史关键图像，由于视野重叠，当前双目图像中的特征点也会在其他历史关键图像被观测到，可以理解为当前双目图像与历史关键图像是有关联的，可以利用历史关键图像与当前双目图像之间的关联信息对当前位姿进行优化，如现有技术中的光束平差法。
步骤S130、根据所述当前位姿和历史关键位姿将所述当前双目图像和历史关键图像拼接为视觉点云地图。
光束平差法需要以机器人所在的局部位置处的视觉点云地图为基础，因此需要将当前双目图像和历史关键图像拼接为视觉点云地图，具体的是将根据当前双目图像和历史关键图像重构的视觉特征点拼接为视觉点云地图；所述视觉点云地图是与当前双目图像和历史关键图像相关联的局部视觉点云地图，利用局部视觉点云地图进行机器人的定位减小了定位所需的计算量。拼接得到的视觉点云地图包括有多个视觉特征点；视觉特征点的重构与拼接等步骤通过现有技术可以实现，不再赘述。
本发明提供的机器人双目视觉定位方法是在现有的光束平差法基础上改进的，利用激光点云地图的信息对位姿进行优化，增强定位的精确性。
步骤S140、获取激光点云地图，所述激光点云地图是预先构建的。
机器人工作环境下的激光点云地图是离线构建的，是预先生成的。当执行机器人双目视觉定位方法时，可以从数据库调取相应工作环境下的激光点云地图。因此本发明提供的机器人双目视觉定位方法在定位阶段时3D激光设备，如激光雷达不是必须的，装有双目相机即可。
作为优选的实施方式，激光点云地图具体可以通过以下步骤构建：
步骤S210、获取工作环境的激光点云序列和双目图像序列；所述激光点云序列包括多个带有时间戳的激光点云数据，各激光点云数据包括多个激光点，所述双目图像序列包括多个带有时间戳的双目图像，所述双目图像包括单目图像，所述单目图像包括多个图像特征。
具体的，激光点云序列可以由装设于机器人上的3D激光雷达获取，双目图像序列可以由装设于机器人上的双目相机获取。控制机器人遍历整个工作环境，即可采集到环境信息。双目相机获取的双目图像中一般包括左目图像和右目图像，本发明的单目图像可以为左目图像，也可以为右目图像。
步骤S220、根据所述激光点云序列或双目图像序列计算与时间戳关联的序列位姿。
作为优选的实施方式，可以利用3D激光SLAM算法计算出每一帧激光数据，即激光点云序列中各激光点云数据对应的机器人的序列位姿；一个激光点云数据对应于一个序列位姿，可以包括坐标和朝向。3D激光SLAM算法已有较多成熟的实例，根据双目图像序列计算位姿也属于现有技术，不多加赘述。一般根据激光点云序列计算出的位姿更精确。
步骤S230、计算各激光点在具有相同时间戳的单目图像上的点云投影。
在激光SLAM算法运行结束后，即可将每一帧激光点云数据按相应的序列位姿拼接成完整的环境地图。但激光数据量较大，如果全部存储会带来存储负担，并影响后续在线的双目视觉定位的运行效率；另外，激光传感器较为均匀地对环境进行采样，其激光点中的大多数并不能在步骤S130拼接的视觉点云地图中找到对应点。因此这部分激光点的存储并不能给双目视觉定位带来帮助。所以，在拼接地图时，需要将每一帧激光点云数据的激光点投影到其对应时刻的单目图像上，然后判断激光点是否可以在视觉点云地图中找到对应点，以实现对激光点的筛选。。
步骤S240、判断所述点云投影的预设过滤范围内是否存在所述单目图像的图像特征。
左目图像一般包括多个图像特征，图像特征可以是ORB、SIFT、SURF等等视觉特征，但需注意应与后期在线的双目视觉定位过程中使用的特征一致。若某激光点在单目图像上的投影位置周围一定范围内存在图像特征，则可认为该激光点可以在视觉点云地图中找到对应点，该激光点为激光特征点。激光特征点指的是激光点云数据中与视觉特征点的分布存在关联的激光点，如环境的结构或纹理信息变化处所采集到的点，可以通过本发明中所提出的滤波方法获取。
步骤S250、过滤掉各激光点云数据中点云投影的预设过滤范围内不存在图像特征的激光点，生成激光特征点云数据。
因为双目相机和激光雷达的相对位置可能有误差，相机投影模型也可能有误差，因此在本实施例中设置了3个像素的预设过滤范围，若点云投影的预设过滤范围内存在图像特征，即认为相应的激光点可以在视觉点云地图中找到对应点，这些激光点为激光特征点。可以将这些激光特征点另外保存到新的激光特征点云数据中，也可以在原有的激光点云数据中删去点云投影的预设过滤范围内不存在图像特征的激光点，过滤后的激光点云数据为激光特征点云数据。
作为优选的实施方式，若在某激光点云数据中有多个激光点的点云投影在单目图像的同一位置，则保留深度离机器人最近的一个激光点，可以进一步筛选激光点，降低存储量和计算量。
步骤S260、将激光特征点云数据根据序列位姿拼接为激光点云地图。
过滤后的各激光点云数据，即激光特征点云数据还是和相应的序列位姿关联的，可以根据序列位姿将激光特征点云数据拼接为激光点云地图。就完成了激光点云地图的构架，后续只需要调取相应工作环境的激光点云地图就可以实现机器人双目视觉定位方法。
步骤S150、根据所述视觉点云地图、以及激光点云地图对所述当前位姿进行优化。根据当前关键图像、历史关键图像之间的约束关系以及视觉点云地图、激光点云地图之间的约束关系对位姿进行优化。
作为优选的实施方式，所述视觉点云地图包括多个视觉特征点，所述激光点云地图包括多个激光特征点，当前双目图像、历史关键图像均包括二维图像特征点，且当前双目图像、历史关键图像均包括单目图像；所述根据所述视觉点云地图、以及激光点云地图对所述当前位姿进行优化，具体为根据以下算式进行优化：
其中，I表示待优化的位姿的集合，包括当前位姿和历史关键位姿，xj为I中的第j个的位姿；M表示视觉点云地图，表示M中的第i个视觉特征点的坐标；pi,j表示位姿xj对应的双目图像上与对应的二维图像特征点的坐标；当位姿xj为当前位姿时，位姿xj对应的双目图像为当前双目图像，当位姿xj为历史关键位姿时，位姿xj对应的双目图像为历史关键图像。表示投影到xj对应的单目图像上的坐标与pi,j之间的重投影误差，具体可以由以下算式计算：
其中，π(·,·)表示点到相机图像的投影函数；Ωij为特征的信息矩阵，信息矩阵是对误差不确定度的衡量，是跟获取观测数据的传感器有关系的；Ωij可以按照相关联的图像特征点的测量不确定度确定，通过现有技术可以得到。
L表示激光点云地图，表示L中的第l个激光特征点的坐标，表示和之间的距离误差。
作为优选的实施方式，和之间的距离误差具体为：
对于第k个视觉特征点，若预设阈值范围内与视觉特征点距离最近的预设数量的激光特征点满足平行条件，则视觉特征点的坐标与所述预设数量中的各激光特征点的坐标之间的距离误差为：
其中，Ωkl为点云信息矩阵，可以按照相关联的视觉特征点的不确定度确定，为点Pl L的法向量，都可以通过现有技术得到。
计算和之间的距离误差时，对于每一个视觉特征点，按欧式距离的度量方式搜索预设阈值范围内距离该视觉特征点最近的预设数量的，如三个激光特征点，若这三个激光特征点的法向量方向接近平行，即认为该视觉特征点和这些激光特征点满足平行条件；则视觉特征点和三个激光特征点之间的距离误差采用如上式的点到面的误差度量。作为优选的实施方式，搜索预设阈值范围内距离视觉特征点最近的预设数量的激光特征点可以通过k近邻算法搜索。
否则，视觉特征点和激光特征点之间的距离误差采用点到点的误差度量，即与其余的激光特征点的坐标Pl L之间的距离误差为：
综上所述，如图2所示，所述根据所述视觉点云地图、以及激光点云地图对所述当前位姿进行优化，在传统的只考虑重投影误差的基础上，综合了重投影误差约束，以及视觉特征点与激光特征点之间的点到面约束或者点到点约束，去求解最优化问题，优化效果更好。
本发明通过事先构建的激光点云地图在关键帧对应的时刻对位姿估计值进行优化，能够在机器人长期运行的过程中不断修正位姿估计的累积误差，且不需要依赖闭环检测的稳定性与准确性，从而降低对工作环境结构的要求；同时由于优化过程中引入了更精确的激光点云地图的信息，使得定位的精确度更高。
作为本发明的进一步改进，为了进一步增加位姿优化的准确程度，避免单次优化时数据关联不精确对结果造成不良影响，可以通过迭代进行多次优化，每次优化步骤后，再次通过搜索预设阈值范围内距离视觉特征点最近的预设数量的激光特征点、判断预设阈值范围内与视觉特征点距离最近的预设数量的激光特征点是否满足平行条件来区分视觉特征点和激光特征点之间采用点到点约束还是采用点到面约束，然后根据优化算式再次进行优化。
由以上最优化问题的算式可知，步骤S150根据所述视觉点云地图、以及激光点云地图对所述当前位姿进行优化时，同时也对历史关键位姿进行了优化，因此，作为本发明的进一步改进，机器人双目视觉定位方法还可以包括以下步骤：
步骤S160、根据优化后的历史关键位姿更新关键库中历史关键图像所关联的历史关键位姿。
之后还可以将当前关键帧，以及优化后的当前位姿、历史关键位姿保存至关键库中，用于作为后续双目图像的历史关键图像和历史关键位姿。进一步的，基于精确的历史关键位姿可以得到机器人的精确地运动轨迹。
实施例二
如图3所示的机器人双目视觉定位装置，包括：
第一获取模块110，用于获取机器人的当前双目图像以及当前位姿；
第二获取模块120，用于若所述当前双目图像为关键图像，则从关键库中获取与当前双目图像具有重叠视野的历史关键图像，历史关键图像关联于历史关键位姿；
拼接模块130，用于根据所述当前位姿和历史关键位姿将所述当前双目图像和历史关键图像拼接为视觉点云地图；
第三获取模块140，用于获取激光点云地图，所述激光点云地图是预先构建的；
优化模块150，用于根据所述视觉点云地图、以及激光点云地图对所述当前位姿进行优化。
作为优选的实施方式，机器人双目视觉定位装置还包括用于构建所述激光点云地图的构建模块(图未示)，所述构建模块包括：
获取单元，用于获取工作环境的激光点云序列和双目图像序列；所述激光点云序列包括多个带有时间戳的激光点云数据，各激光点云数据包括多个激光点，所述双目图像序列包括多个带有时间戳的双目图像，所述双目图像包括单目图像，所述单目图像包括多个图像特征；
第一计算单元，用于根据所述激光点云序列或双目图像序列计算与时间戳关联的序列位姿；
第二计算单元，用于计算各激光点在具有相同时间戳的单目图像上的点云投影；
判断单元，用于判断所述点云投影的预设过滤范围内是否存在所述单目图像的图像特征；
过滤单元，用于过滤掉各激光点云数据中点云投影的预设过滤范围内不存在图像特征的激光点，生成激光特征点云数据；
拼接单元，用于将激光特征点云数据根据序列位姿拼接为激光点云地图。
本实施例中的装置与前述实施例中的方法是基于同一发明构思下的两个方面，在前面已经对方法实施过程作了详细的描述，所以本领域技术人员可根据前述描述清楚地了解本实施中的系统的结构及实施过程，为了说明书的简洁，在此就不再赘述。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本发明时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法，如：
一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现前述机器人双目视觉定位方法的步骤。
描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块或单元可以是或者也可以不是物理上分开的，作为模块或单元示意的部件可以是或者也可以不是物理模块，既可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等，如实施例三。实施例三
如图4所示一种电子设备，包括存储器200、处理器300以及存储在存储器200中的程序，所述程序被配置成由处理器300执行，处理器300执行所述程序时实现上述机器人双目视觉定位方法的步骤。
本实施例中的装置与前述实施例中的方法是基于同一发明构思下的两个方面，在前面已经对方法实施过程作了详细的描述，所以本领域技术人员可根据前述描述清楚地了解本实施中的系统的结构及实施过程，为了说明书的简洁，在此就不再赘述。
本发明实施例提供的电子设备，可以通过事先构建的激光点云地图在关键帧对应的时刻对位姿估计值进行优化，能够在机器人长期运行的过程中不断修正位姿估计的累积误差，且不需要依赖闭环检测的稳定性与准确性，从而降低对工作环境结构的要求；同时由于优化过程中引入了更精确的激光点云地图的信息，使得定位的精确度更高。
上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。
Claims (10)
1.一种机器人双目视觉定位方法，其特征在于，包括以下步骤：
获取机器人的当前双目图像以及当前位姿；
若所述当前双目图像为关键图像，则从关键库中获取与当前双目图像具有重叠视野的历史关键图像，历史关键图像关联于历史关键位姿；
根据所述当前位姿和历史关键位姿将所述当前双目图像和历史关键图像拼接为视觉点云地图；
获取激光点云地图，所述激光点云地图是预先构建的；
根据所述视觉点云地图、以及激光点云地图对所述当前位姿进行优化。
2.如权利要求1所述的机器人双目视觉定位方法，其特征在于，所述激光点云地图具体为通过以下步骤构建：
获取工作环境的激光点云序列和双目图像序列；所述激光点云序列包括多个带有时间戳的激光点云数据，各激光点云数据包括多个激光点，所述双目图像序列包括多个带有时间戳的双目图像，所述双目图像包括单目图像，所述单目图像包括多个图像特征；
根据所述激光点云序列或双目图像序列计算与时间戳关联的序列位姿；
计算各激光点在具有相同时间戳的单目图像上的点云投影；
判断所述点云投影的预设过滤范围内是否存在所述单目图像的图像特征；
过滤掉各激光点云数据中点云投影的预设过滤范围内不存在图像特征的激光点，生成激光特征点云数据；
将激光特征点云数据根据序列位姿拼接为激光点云地图。
3.如权利要求1所述的机器人双目视觉定位方法，其特征在于，所述视觉点云地图包括多个视觉特征点，所述激光点云地图包括多个激光特征点，当前双目图像、历史关键图像均包括二维图像特征点，且当前双目图像、历史关键图像均包括单目图像；所述根据所述视觉点云地图、以及激光点云地图对所述当前位姿进行优化，具体为根据以下算式进行优化：
<mrow>
<munder>
<mi>min</mi>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>M</mi>
</mrow>
</munder>
<mo>&lsqb;</mo>
<munder>
<mi>&Sigma;</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>&Element;</mo>
<mi>M</mi>
<mo>,</mo>
<mi>j</mi>
<mo>&Element;</mo>
<mi>I</mi>
<mo>)</mo>
</mrow>
</munder>
<msub>
<mi>e</mi>
<mrow>
<mi>k</mi>
<mi>e</mi>
<mi>y</mi>
<mi>p</mi>
<mi>o</mi>
<mi>int</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<msubsup>
<mi>P</mi>
<mi>i</mi>
<mi>M</mi>
</msubsup>
<mo>,</mo>
<msub>
<mi>p</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
<mo>,</mo>
<msub>
<mi>x</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>+</mo>
<munder>
<mi>&Sigma;</mi>
<mrow>
<mo>(</mo>
<mi>k</mi>
<mo>&Element;</mo>
<mi>M</mi>
<mo>,</mo>
<mi>l</mi>
<mo>&Element;</mo>
<mi>L</mi>
<mo>)</mo>
</mrow>
</munder>
<msub>
<mi>e</mi>
<mrow>
<mi>p</mi>
<mi>o</mi>
<mi>int</mi>
<mi>c</mi>
<mi>l</mi>
<mi>o</mi>
<mi>u</mi>
<mi>d</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<msubsup>
<mi>P</mi>
<mi>k</mi>
<mi>M</mi>
</msubsup>
<mo>,</mo>
<msubsup>
<mi>P</mi>
<mi>l</mi>
<mi>L</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
</mrow>
其中，I表示待优化的位姿的集合，包括当前位姿和历史关键位姿，xj为I中的第j个的位姿，M表示视觉点云地图，表示M中的第i个视觉特征点的坐标，pi,j表示xj对应的当前双目图像或历史关键图像上与对应的二维图像特征点的坐标，表示投影到xj对应的单目图像上的坐标与pi,j之间的误差；L表示激光点云地图，表示L中的第l个激光特征点的坐标，表示和之间的距离误差。
4.如权利要求3所述的机器人双目视觉定位方法，其特征在于，具体为：
对于第k个视觉特征点，若预设阈值范围内与视觉特征点距离最近的预设数量的激光特征点满足平行条件，则视觉特征点的坐标与所述预设数量中的各激光特征点的坐标之间的距离误差为：
<mrow>
<msub>
<mi>e</mi>
<mrow>
<mi>p</mi>
<mi>o</mi>
<mi>int</mi>
<mi>c</mi>
<mi>l</mi>
<mi>o</mi>
<mi>u</mi>
<mi>d</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<msubsup>
<mi>P</mi>
<mi>k</mi>
<mi>M</mi>
</msubsup>
<mo>,</mo>
<msubsup>
<mi>P</mi>
<mi>l</mi>
<mi>L</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msup>
<mrow>
<mo>(</mo>
<mo>(</mo>
<mrow>
<msubsup>
<mi>P</mi>
<mi>l</mi>
<mi>L</mi>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>P</mi>
<mi>k</mi>
<mi>M</mi>
</msubsup>
</mrow>
<mo>)</mo>
<mo>&CenterDot;</mo>
<msub>
<mi>n</mi>
<msubsup>
<mi>P</mi>
<mi>l</mi>
<mi>L</mi>
</msubsup>
</msub>
<mo>)</mo>
</mrow>
<mi>T</mi>
</msup>
<msub>
<mi>&Omega;</mi>
<mrow>
<mi>k</mi>
<mi>l</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mo>(</mo>
<mrow>
<msubsup>
<mi>P</mi>
<mi>l</mi>
<mi>L</mi>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>P</mi>
<mi>k</mi>
<mi>M</mi>
</msubsup>
<mo>&CenterDot;</mo>
<msub>
<mi>n</mi>
<msubsup>
<mi>P</mi>
<mi>l</mi>
<mi>L</mi>
</msubsup>
</msub>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
其中，Ωkl为点云信息矩阵，为点的法向量；
与其余的激光特征点的坐标之间的距离误差为：
<mrow>
<msub>
<mi>e</mi>
<mrow>
<mi>p</mi>
<mi>o</mi>
<mi>int</mi>
<mi>c</mi>
<mi>l</mi>
<mi>o</mi>
<mi>u</mi>
<mi>d</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<msubsup>
<mi>P</mi>
<mi>k</mi>
<mi>M</mi>
</msubsup>
<mo>,</mo>
<msubsup>
<mi>P</mi>
<mi>l</mi>
<mi>L</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>P</mi>
<mi>k</mi>
<mi>M</mi>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>P</mi>
<mi>l</mi>
<mi>L</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mi>T</mi>
</msup>
<msub>
<mi>&Omega;</mi>
<mrow>
<mi>k</mi>
<mi>l</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<msubsup>
<mi>P</mi>
<mi>k</mi>
<mi>M</mi>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>P</mi>
<mi>l</mi>
<mi>L</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo>.</mo>
</mrow>
5.如权利要求1-4中任一项所述的机器人双目视觉定位方法，其特征在于，所述获取机器人的当前双目图像以及当前位姿，具体包括以下子步骤：
获取机器人的当前双目图像、以及机器人的前一双目图像和前一位姿；
根据所述当前双目图像、前一双目图像计算位姿变化量；
根据所述位姿变化量和前一位姿计算机器人的当前位姿。
6.如权利要求1-4中任一项所述的机器人双目视觉定位方法，其特征在于，所述根据所述视觉点云地图、以及激光点云地图对所述当前位姿进行优化时，也对历史关键位姿进行优化，所述机器人双目视觉定位方法还包括以下步骤：
根据优化后的历史关键位姿更新关键库中历史关键图像所关联的历史关键位姿。
7.一种机器人双目视觉定位装置，其特征在于，包括：
第一获取模块，用于获取机器人的当前双目图像以及当前位姿；
第二获取模块，用于若所述当前双目图像为关键图像，则从关键库中获取与当前双目图像具有重叠视野的历史关键图像，历史关键图像关联于历史关键位姿；
拼接模块，用于根据所述当前位姿和历史关键位姿将所述当前双目图像和历史关键图像拼接为视觉点云地图；
第三获取模块，用于获取激光点云地图，所述激光点云地图是预先构建的；
优化模块，用于根据所述视觉点云地图、以及激光点云地图对所述当前位姿进行优化。
8.如权利要求7所述的机器人双目视觉定位装置，其特征在于，还包括用于构建所述激光点云地图的构建模块，所述构建模块包括：
获取单元，用于获取工作环境的激光点云序列和双目图像序列；所述激光点云序列包括多个带有时间戳的激光点云数据，各激光点云数据包括多个激光点，所述双目图像序列包括多个带有时间戳的双目图像，所述双目图像包括单目图像，所述单目图像包括多个图像特征；
第一计算单元，用于根据所述激光点云序列或双目图像序列计算与时间戳关联的序列位姿；
第二计算单元，用于计算各激光点在具有相同时间戳的单目图像上的点云投影；
判断单元，用于判断所述点云投影的预设过滤范围内是否存在所述单目图像的图像特征；
过滤单元，用于过滤掉各激光点云数据中点云投影的预设过滤范围内不存在图像特征的激光点，生成激光特征点云数据；
拼接单元，用于将激光特征点云数据根据序列位姿拼接为激光点云地图。
9.一种电子设备，其特征在于：包括存储器、处理器以及存储在存储器中的程序，所述程序被配置成由处理器执行，处理器执行所述程序时实现如权利要求1-6中任一项所述的机器人双目视觉定位方法的步骤。
10.一种存储介质，所述存储介质存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的机器人双目视觉定位方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710827638.6A CN107796397B (zh) | 2017-09-14 | 2017-09-14 | 一种机器人双目视觉定位方法、装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710827638.6A CN107796397B (zh) | 2017-09-14 | 2017-09-14 | 一种机器人双目视觉定位方法、装置和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107796397A true CN107796397A (zh) | 2018-03-13 |
| CN107796397B CN107796397B (zh) | 2020-05-15 |
Family
ID=61532263
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710827638.6A Active CN107796397B (zh) | 2017-09-14 | 2017-09-14 | 一种机器人双目视觉定位方法、装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107796397B (zh) |
Cited By (52)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108898657A (zh) * | 2018-05-14 | 2018-11-27 | 肇庆学院 | 一种基于平面栅格模型的机器人三维建图方法及系统 |
| CN109081272A (zh) * | 2018-10-23 | 2018-12-25 | 西安中科光电精密工程有限公司 | 一种基于激光与视觉混合引导的无人转运叉车及方法 |
| CN109269477A (zh) * | 2018-10-08 | 2019-01-25 | 塔米智能科技（北京）有限公司 | 一种视觉定位方法、装置、设备和存储介质 |
| CN109431381A (zh) * | 2018-10-29 | 2019-03-08 | 北京石头世纪科技有限公司 | 机器人的定位方法及装置、电子设备、存储介质 |
| CN109584302A (zh) * | 2018-11-27 | 2019-04-05 | 北京旷视科技有限公司 | 相机位姿优化方法、装置、电子设备和计算机可读介质 |
| CN109798888A (zh) * | 2019-03-15 | 2019-05-24 | 京东方科技集团股份有限公司 | 移动设备的姿态确定装置、方法和视觉里程计 |
| CN109919893A (zh) * | 2019-03-20 | 2019-06-21 | 湖北亿咖通科技有限公司 | 点云修正方法、装置和可读存储介质 |
| CN109974722A (zh) * | 2019-04-12 | 2019-07-05 | 珠海市一微半导体有限公司 | 一种视觉机器人的地图更新控制方法及地图更新控制系统 |
| CN110068824A (zh) * | 2019-04-17 | 2019-07-30 | 北京地平线机器人技术研发有限公司 | 一种传感器位姿确定方法和装置 |
| CN110084885A (zh) * | 2019-05-06 | 2019-08-02 | 广州市百果园信息技术有限公司 | 一种点云和图像优化方法、装置、设备和存储介质 |
| CN110084853A (zh) * | 2019-04-22 | 2019-08-02 | 北京易达图灵科技有限公司 | 一种视觉定位方法及系统 |
| CN110163047A (zh) * | 2018-07-05 | 2019-08-23 | 腾讯大地通途（北京）科技有限公司 | 一种检测车道线的方法及装置 |
| CN110196044A (zh) * | 2019-05-28 | 2019-09-03 | 广东亿嘉和科技有限公司 | 一种基于gps闭环检测的变电站巡检机器人建图方法 |
| CN110414353A (zh) * | 2019-06-24 | 2019-11-05 | 炬星科技（深圳）有限公司 | 机器人开机定位、运行重定位方法、电子设备及存储介质 |
| WO2019233299A1 (zh) * | 2018-06-05 | 2019-12-12 | 杭州海康机器人技术有限公司 | 地图构建方法、装置及计算机可读存储介质 |
| CN110568447A (zh) * | 2019-07-29 | 2019-12-13 | 广东星舆科技有限公司 | 视觉定位的方法、装置及计算机可读介质 |
| CN110657803A (zh) * | 2018-06-28 | 2020-01-07 | 深圳市优必选科技有限公司 | 机器人定位方法、装置以及存储装置 |
| CN110657801A (zh) * | 2018-06-29 | 2020-01-07 | 高德软件有限公司 | 定位方法、装置以及电子设备 |
| CN110887490A (zh) * | 2019-11-29 | 2020-03-17 | 上海有个机器人有限公司 | 一种激光定位导航的关键帧选取方法、介质、终端和装置 |
| CN110930453A (zh) * | 2019-10-30 | 2020-03-27 | 北京迈格威科技有限公司 | 目标物体定位方法、装置及可读存储介质 |
| CN111062233A (zh) * | 2018-10-17 | 2020-04-24 | 北京地平线机器人技术研发有限公司 | 标识物表示的获取方法、标识物表示的获取装置和电子设备 |
| CN111060101A (zh) * | 2018-10-16 | 2020-04-24 | 深圳市优必选科技有限公司 | 视觉辅助的距离slam方法及装置、机器人 |
| CN111307163A (zh) * | 2018-12-11 | 2020-06-19 | 北京地平线机器人技术研发有限公司 | 可移动设备的定位方法、定位装置及电子设备 |
| CN111322993A (zh) * | 2018-12-13 | 2020-06-23 | 杭州海康机器人技术有限公司 | 一种视觉定位方法和装置 |
| CN111337947A (zh) * | 2020-05-18 | 2020-06-26 | 深圳市智绘科技有限公司 | 即时建图与定位方法、装置、系统及存储介质 |
| CN111383324A (zh) * | 2018-12-29 | 2020-07-07 | 广州文远知行科技有限公司 | 点云地图的构建方法、装置、计算机设备和存储介质 |
| CN111402332A (zh) * | 2020-03-10 | 2020-07-10 | 兰剑智能科技股份有限公司 | 基于slam的agv复合建图与导航定位方法及系统 |
| CN111442722A (zh) * | 2020-03-26 | 2020-07-24 | 达闼科技成都有限公司 | 定位方法、装置、存储介质及电子设备 |
| CN111461981A (zh) * | 2020-03-30 | 2020-07-28 | 北京百度网讯科技有限公司 | 点云拼接算法的误差估计方法和装置 |
| CN111553844A (zh) * | 2020-04-29 | 2020-08-18 | 北京百度网讯科技有限公司 | 用于更新点云的方法及装置 |
| CN111665826A (zh) * | 2019-03-06 | 2020-09-15 | 北京奇虎科技有限公司 | 基于激光雷达与单目相机的深度图获取方法及扫地机器人 |
| CN111684382A (zh) * | 2019-06-28 | 2020-09-18 | 深圳市大疆创新科技有限公司 | 可移动平台状态估计方法、系统、可移动平台及存储介质 |
| CN111829489A (zh) * | 2019-04-16 | 2020-10-27 | 杭州海康机器人技术有限公司 | 一种视觉定位的方法及装置 |
| CN111862337A (zh) * | 2019-12-18 | 2020-10-30 | 北京嘀嘀无限科技发展有限公司 | 视觉定位方法、装置、电子设备和计算机可读存储介质 |
| WO2020233724A1 (zh) * | 2019-05-23 | 2020-11-26 | 全球能源互联网研究院有限公司 | 一种基于视觉slam的电网作业环境地图的构建方法及系统 |
| CN112241977A (zh) * | 2019-07-16 | 2021-01-19 | 北京京东乾石科技有限公司 | 一种特征点的深度估计方法和装置 |
| CN112325873A (zh) * | 2021-01-04 | 2021-02-05 | 炬星科技（深圳）有限公司 | 一种环境地图自主更新方法、设备及计算机可读存储介质 |
| WO2021036587A1 (zh) * | 2019-08-29 | 2021-03-04 | 全球能源互联网研究院有限公司 | 面向电力巡检场景的定位方法及系统 |
| WO2021035966A1 (zh) * | 2019-08-30 | 2021-03-04 | 浙江商汤科技开发有限公司 | 视觉定位方法及相关装置 |
| CN112461230A (zh) * | 2020-12-07 | 2021-03-09 | 深圳市优必选科技股份有限公司 | 机器人重定位方法、装置、机器人和可读存储介质 |
| CN112747749A (zh) * | 2020-12-23 | 2021-05-04 | 浙江同筑科技有限公司 | 一种基于双目视觉和激光融合定位导航系统 |
| CN112907659A (zh) * | 2019-11-19 | 2021-06-04 | 阿里巴巴集团控股有限公司 | 移动设备定位系统、方法及设备 |
| CN113012191A (zh) * | 2021-03-11 | 2021-06-22 | 中国科学技术大学 | 一种基于点云多视角投影图的激光里程计算法 |
| CN113129369A (zh) * | 2020-01-16 | 2021-07-16 | 北京京东乾石科技有限公司 | 一种点云地图初始化方法和装置 |
| CN113252042A (zh) * | 2021-05-18 | 2021-08-13 | 杭州迦智科技有限公司 | 一种隧道内基于激光和uwb定位方法、装置 |
| CN113256718A (zh) * | 2021-05-27 | 2021-08-13 | 浙江商汤科技开发有限公司 | 定位方法和装置、设备及存储介质 |
| CN113763468A (zh) * | 2021-01-21 | 2021-12-07 | 北京京东乾石科技有限公司 | 一种定位方法、装置、系统及存储介质 |
| CN113759364A (zh) * | 2021-09-06 | 2021-12-07 | 浙江大学 | 一种基于激光地图的毫米波雷达连续定位方法及装置 |
| WO2021253430A1 (zh) * | 2020-06-19 | 2021-12-23 | 深圳市大疆创新科技有限公司 | 绝对位姿确定方法、电子设备及可移动平台 |
| CN113916213A (zh) * | 2020-07-08 | 2022-01-11 | 北京猎户星空科技有限公司 | 定位方法、装置、电子设备和计算机可读存储介质 |
| CN115900553A (zh) * | 2023-01-09 | 2023-04-04 | 成都盛锴科技有限公司 | 一种列车巡检机器人的复合定位方法及其系统 |
| CN111684382B (zh) * | 2019-06-28 | 2024-06-11 | 深圳市卓驭科技有限公司 | 可移动平台状态估计方法、系统、可移动平台及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105045263A (zh) * | 2015-07-06 | 2015-11-11 | 杭州南江机器人股份有限公司 | 一种基于Kinect的机器人自定位方法 |
| CN105856230A (zh) * | 2016-05-06 | 2016-08-17 | 简燕梅 | 一种可提高机器人位姿一致性的orb关键帧闭环检测slam方法 |
| US20170140539A1 (en) * | 2015-11-16 | 2017-05-18 | Abb Technology Ag | Three-dimensional visual servoing for robot positioning |
| CN106940186A (zh) * | 2017-02-16 | 2017-07-11 | 华中科技大学 | 一种机器人自主定位与导航方法及系统 |
-
2017
- 2017-09-14 CN CN201710827638.6A patent/CN107796397B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105045263A (zh) * | 2015-07-06 | 2015-11-11 | 杭州南江机器人股份有限公司 | 一种基于Kinect的机器人自定位方法 |
| US20170140539A1 (en) * | 2015-11-16 | 2017-05-18 | Abb Technology Ag | Three-dimensional visual servoing for robot positioning |
| CN105856230A (zh) * | 2016-05-06 | 2016-08-17 | 简燕梅 | 一种可提高机器人位姿一致性的orb关键帧闭环检测slam方法 |
| CN106940186A (zh) * | 2017-02-16 | 2017-07-11 | 华中科技大学 | 一种机器人自主定位与导航方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| MO YUDA，ETC: "Target accurate positioning based on the point cloud created by stereo vision", 《PROCEEDINGS OF 2016 23RD INTERNATIONAL CONFERENCE ON MECHATRONICS AND MACHINE VISION IN PRACTICE (M2VIP)》 * |
| 丁夏清，等: "基于混合势场的移动机器人视觉轨迹规划", 《浙江大学学报（工学版）》 * |
| 杜宇楠: "基于激光和视觉的移动机器人室内环境三维模型重建技术研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 * |
Cited By (79)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108898657A (zh) * | 2018-05-14 | 2018-11-27 | 肇庆学院 | 一种基于平面栅格模型的机器人三维建图方法及系统 |
| CN108898657B (zh) * | 2018-05-14 | 2019-04-16 | 肇庆学院 | 一种基于平面栅格模型的机器人三维建图方法及系统 |
| WO2019233299A1 (zh) * | 2018-06-05 | 2019-12-12 | 杭州海康机器人技术有限公司 | 地图构建方法、装置及计算机可读存储介质 |
| CN110657803A (zh) * | 2018-06-28 | 2020-01-07 | 深圳市优必选科技有限公司 | 机器人定位方法、装置以及存储装置 |
| CN110657803B (zh) * | 2018-06-28 | 2021-10-29 | 深圳市优必选科技有限公司 | 机器人定位方法、装置以及存储装置 |
| CN110657801B (zh) * | 2018-06-29 | 2022-02-08 | 阿里巴巴（中国）有限公司 | 定位方法、装置以及电子设备 |
| CN110657801A (zh) * | 2018-06-29 | 2020-01-07 | 高德软件有限公司 | 定位方法、装置以及电子设备 |
| CN110163047A (zh) * | 2018-07-05 | 2019-08-23 | 腾讯大地通途（北京）科技有限公司 | 一种检测车道线的方法及装置 |
| CN109269477A (zh) * | 2018-10-08 | 2019-01-25 | 塔米智能科技（北京）有限公司 | 一种视觉定位方法、装置、设备和存储介质 |
| CN111060101A (zh) * | 2018-10-16 | 2020-04-24 | 深圳市优必选科技有限公司 | 视觉辅助的距离slam方法及装置、机器人 |
| CN111062233A (zh) * | 2018-10-17 | 2020-04-24 | 北京地平线机器人技术研发有限公司 | 标识物表示的获取方法、标识物表示的获取装置和电子设备 |
| CN109081272A (zh) * | 2018-10-23 | 2018-12-25 | 西安中科光电精密工程有限公司 | 一种基于激光与视觉混合引导的无人转运叉车及方法 |
| CN109081272B (zh) * | 2018-10-23 | 2023-09-29 | 西安中科光电精密工程有限公司 | 一种基于激光与视觉混合引导的无人转运叉车及方法 |
| CN109431381B (zh) * | 2018-10-29 | 2022-06-07 | 北京石头创新科技有限公司 | 机器人的定位方法及装置、电子设备、存储介质 |
| CN114847803A (zh) * | 2018-10-29 | 2022-08-05 | 北京石头创新科技有限公司 | 机器人的定位方法及装置、电子设备、存储介质 |
| CN114847803B (zh) * | 2018-10-29 | 2024-04-16 | 北京石头创新科技有限公司 | 机器人的定位方法及装置、电子设备、存储介质 |
| CN109431381A (zh) * | 2018-10-29 | 2019-03-08 | 北京石头世纪科技有限公司 | 机器人的定位方法及装置、电子设备、存储介质 |
| CN109584302B (zh) * | 2018-11-27 | 2023-12-01 | 北京旷视科技有限公司 | 相机位姿优化方法、装置、电子设备和计算机可读介质 |
| CN109584302A (zh) * | 2018-11-27 | 2019-04-05 | 北京旷视科技有限公司 | 相机位姿优化方法、装置、电子设备和计算机可读介质 |
| CN111307163A (zh) * | 2018-12-11 | 2020-06-19 | 北京地平线机器人技术研发有限公司 | 可移动设备的定位方法、定位装置及电子设备 |
| CN111322993B (zh) * | 2018-12-13 | 2022-03-04 | 杭州海康机器人技术有限公司 | 一种视觉定位方法和装置 |
| CN111322993A (zh) * | 2018-12-13 | 2020-06-23 | 杭州海康机器人技术有限公司 | 一种视觉定位方法和装置 |
| CN111383324A (zh) * | 2018-12-29 | 2020-07-07 | 广州文远知行科技有限公司 | 点云地图的构建方法、装置、计算机设备和存储介质 |
| CN111665826A (zh) * | 2019-03-06 | 2020-09-15 | 北京奇虎科技有限公司 | 基于激光雷达与单目相机的深度图获取方法及扫地机器人 |
| CN109798888A (zh) * | 2019-03-15 | 2019-05-24 | 京东方科技集团股份有限公司 | 移动设备的姿态确定装置、方法和视觉里程计 |
| CN109919893B (zh) * | 2019-03-20 | 2021-04-23 | 湖北亿咖通科技有限公司 | 点云修正方法、装置和可读存储介质 |
| CN109919893A (zh) * | 2019-03-20 | 2019-06-21 | 湖北亿咖通科技有限公司 | 点云修正方法、装置和可读存储介质 |
| US11892301B2 (en) | 2019-04-12 | 2024-02-06 | Amicro Semiconductor Co., Ltd. | Map update control method and map update control system for vision robot |
| CN109974722B (zh) * | 2019-04-12 | 2020-09-15 | 珠海市一微半导体有限公司 | 一种视觉机器人的地图更新控制方法及地图更新控制系统 |
| CN109974722A (zh) * | 2019-04-12 | 2019-07-05 | 珠海市一微半导体有限公司 | 一种视觉机器人的地图更新控制方法及地图更新控制系统 |
| CN111829489B (zh) * | 2019-04-16 | 2022-05-13 | 杭州海康机器人技术有限公司 | 一种视觉定位的方法及装置 |
| CN111829489A (zh) * | 2019-04-16 | 2020-10-27 | 杭州海康机器人技术有限公司 | 一种视觉定位的方法及装置 |
| CN110068824A (zh) * | 2019-04-17 | 2019-07-30 | 北京地平线机器人技术研发有限公司 | 一种传感器位姿确定方法和装置 |
| CN110068824B (zh) * | 2019-04-17 | 2021-07-23 | 北京地平线机器人技术研发有限公司 | 一种传感器位姿确定方法和装置 |
| CN110084853A (zh) * | 2019-04-22 | 2019-08-02 | 北京易达图灵科技有限公司 | 一种视觉定位方法及系统 |
| CN110084885A (zh) * | 2019-05-06 | 2019-08-02 | 广州市百果园信息技术有限公司 | 一种点云和图像优化方法、装置、设备和存储介质 |
| WO2020233724A1 (zh) * | 2019-05-23 | 2020-11-26 | 全球能源互联网研究院有限公司 | 一种基于视觉slam的电网作业环境地图的构建方法及系统 |
| CN110196044A (zh) * | 2019-05-28 | 2019-09-03 | 广东亿嘉和科技有限公司 | 一种基于gps闭环检测的变电站巡检机器人建图方法 |
| CN110414353A (zh) * | 2019-06-24 | 2019-11-05 | 炬星科技（深圳）有限公司 | 机器人开机定位、运行重定位方法、电子设备及存储介质 |
| CN111684382B (zh) * | 2019-06-28 | 2024-06-11 | 深圳市卓驭科技有限公司 | 可移动平台状态估计方法、系统、可移动平台及存储介质 |
| CN111684382A (zh) * | 2019-06-28 | 2020-09-18 | 深圳市大疆创新科技有限公司 | 可移动平台状态估计方法、系统、可移动平台及存储介质 |
| CN112241977A (zh) * | 2019-07-16 | 2021-01-19 | 北京京东乾石科技有限公司 | 一种特征点的深度估计方法和装置 |
| CN110568447A (zh) * | 2019-07-29 | 2019-12-13 | 广东星舆科技有限公司 | 视觉定位的方法、装置及计算机可读介质 |
| WO2021036587A1 (zh) * | 2019-08-29 | 2021-03-04 | 全球能源互联网研究院有限公司 | 面向电力巡检场景的定位方法及系统 |
| WO2021035966A1 (zh) * | 2019-08-30 | 2021-03-04 | 浙江商汤科技开发有限公司 | 视觉定位方法及相关装置 |
| TWI745818B (zh) * | 2019-08-30 | 2021-11-11 | 大陸商浙江商湯科技開發有限公司 | 視覺定位方法、電子設備及電腦可讀儲存介質 |
| CN110930453B (zh) * | 2019-10-30 | 2023-09-08 | 北京迈格威科技有限公司 | 目标物体定位方法、装置及可读存储介质 |
| CN110930453A (zh) * | 2019-10-30 | 2020-03-27 | 北京迈格威科技有限公司 | 目标物体定位方法、装置及可读存储介质 |
| CN112907659A (zh) * | 2019-11-19 | 2021-06-04 | 阿里巴巴集团控股有限公司 | 移动设备定位系统、方法及设备 |
| CN110887490A (zh) * | 2019-11-29 | 2020-03-17 | 上海有个机器人有限公司 | 一种激光定位导航的关键帧选取方法、介质、终端和装置 |
| CN110887490B (zh) * | 2019-11-29 | 2023-08-29 | 上海有个机器人有限公司 | 一种激光定位导航的关键帧选取方法、介质、终端和装置 |
| CN111862337B (zh) * | 2019-12-18 | 2024-05-10 | 北京嘀嘀无限科技发展有限公司 | 视觉定位方法、装置、电子设备和计算机可读存储介质 |
| CN111862337A (zh) * | 2019-12-18 | 2020-10-30 | 北京嘀嘀无限科技发展有限公司 | 视觉定位方法、装置、电子设备和计算机可读存储介质 |
| CN113129369A (zh) * | 2020-01-16 | 2021-07-16 | 北京京东乾石科技有限公司 | 一种点云地图初始化方法和装置 |
| CN111402332A (zh) * | 2020-03-10 | 2020-07-10 | 兰剑智能科技股份有限公司 | 基于slam的agv复合建图与导航定位方法及系统 |
| CN111402332B (zh) * | 2020-03-10 | 2023-08-18 | 兰剑智能科技股份有限公司 | 基于slam的agv复合建图与导航定位方法及系统 |
| CN111442722A (zh) * | 2020-03-26 | 2020-07-24 | 达闼科技成都有限公司 | 定位方法、装置、存储介质及电子设备 |
| CN111461981B (zh) * | 2020-03-30 | 2023-09-01 | 北京百度网讯科技有限公司 | 点云拼接算法的误差估计方法和装置 |
| CN111461981A (zh) * | 2020-03-30 | 2020-07-28 | 北京百度网讯科技有限公司 | 点云拼接算法的误差估计方法和装置 |
| CN111553844B (zh) * | 2020-04-29 | 2023-08-29 | 阿波罗智能技术(北京)有限公司 | 用于更新点云的方法及装置 |
| CN111553844A (zh) * | 2020-04-29 | 2020-08-18 | 北京百度网讯科技有限公司 | 用于更新点云的方法及装置 |
| US11828606B2 (en) | 2020-04-29 | 2023-11-28 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for updating point cloud |
| CN111337947A (zh) * | 2020-05-18 | 2020-06-26 | 深圳市智绘科技有限公司 | 即时建图与定位方法、装置、系统及存储介质 |
| CN111337947B (zh) * | 2020-05-18 | 2020-09-22 | 深圳市智绘科技有限公司 | 即时建图与定位方法、装置、系统及存储介质 |
| WO2021253430A1 (zh) * | 2020-06-19 | 2021-12-23 | 深圳市大疆创新科技有限公司 | 绝对位姿确定方法、电子设备及可移动平台 |
| CN113916213A (zh) * | 2020-07-08 | 2022-01-11 | 北京猎户星空科技有限公司 | 定位方法、装置、电子设备和计算机可读存储介质 |
| CN112461230A (zh) * | 2020-12-07 | 2021-03-09 | 深圳市优必选科技股份有限公司 | 机器人重定位方法、装置、机器人和可读存储介质 |
| CN112747749A (zh) * | 2020-12-23 | 2021-05-04 | 浙江同筑科技有限公司 | 一种基于双目视觉和激光融合定位导航系统 |
| CN112325873A (zh) * | 2021-01-04 | 2021-02-05 | 炬星科技（深圳）有限公司 | 一种环境地图自主更新方法、设备及计算机可读存储介质 |
| WO2022143360A1 (zh) * | 2021-01-04 | 2022-07-07 | 炬星科技（深圳）有限公司 | 一种环境地图自主更新方法、设备及计算机可读存储介质 |
| CN113763468A (zh) * | 2021-01-21 | 2021-12-07 | 北京京东乾石科技有限公司 | 一种定位方法、装置、系统及存储介质 |
| CN113763468B (zh) * | 2021-01-21 | 2023-12-05 | 北京京东乾石科技有限公司 | 一种定位方法、装置、系统及存储介质 |
| CN113012191A (zh) * | 2021-03-11 | 2021-06-22 | 中国科学技术大学 | 一种基于点云多视角投影图的激光里程计算法 |
| CN113012191B (zh) * | 2021-03-11 | 2022-09-02 | 中国科学技术大学 | 一种基于点云多视角投影图的激光里程计算法 |
| CN113252042B (zh) * | 2021-05-18 | 2023-06-13 | 杭州迦智科技有限公司 | 一种隧道内基于激光和uwb定位方法、装置 |
| CN113252042A (zh) * | 2021-05-18 | 2021-08-13 | 杭州迦智科技有限公司 | 一种隧道内基于激光和uwb定位方法、装置 |
| CN113256718A (zh) * | 2021-05-27 | 2021-08-13 | 浙江商汤科技开发有限公司 | 定位方法和装置、设备及存储介质 |
| CN113759364A (zh) * | 2021-09-06 | 2021-12-07 | 浙江大学 | 一种基于激光地图的毫米波雷达连续定位方法及装置 |
| CN115900553A (zh) * | 2023-01-09 | 2023-04-04 | 成都盛锴科技有限公司 | 一种列车巡检机器人的复合定位方法及其系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107796397B (zh) | 2020-05-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107796397A (zh) | 一种机器人双目视觉定位方法、装置和存储介质 | |
| CN106909877B (zh) | 一种基于点线综合特征的视觉同时建图与定位方法 | |
| CN110335319B (zh) | 一种语义驱动的相机定位与地图重建方法和系统 | |
| CN112734852B (zh) | 一种机器人建图方法、装置及计算设备 | |
| Furgale et al. | Visual teach and repeat for long‐range rover autonomy | |
| CN102426019B (zh) | 一种无人机景象匹配辅助导航方法及系统 | |
| CN108051002A (zh) | 基于惯性测量辅助视觉的运输车空间定位方法及系统 | |
| CN108829116B (zh) | 基于单目摄像头的避障方法及设备 | |
| CN109615698A (zh) | 基于互回环检测的多无人机slam地图融合算法 | |
| Ding et al. | Vehicle pose and shape estimation through multiple monocular vision | |
| US11631195B2 (en) | Indoor positioning system and indoor positioning method | |
| CN107784671A (zh) | 一种用于视觉即时定位与建图的方法与系统 | |
| CN110119768B (zh) | 用于车辆定位的视觉信息融合系统及方法 | |
| Cheng et al. | Road mapping and localization using sparse semantic visual features | |
| CN113624221A (zh) | 一种融合视觉与激光的2.5d地图构建方法 | |
| CN111862200B (zh) | 一种煤棚内无人机定位方法 | |
| Kataria et al. | Improving structure from motion with reliable resectioning | |
| CN113822996B (zh) | 机器人的位姿估计方法及装置、电子设备、存储介质 | |
| US20210042996A1 (en) | System and method for integrating objects in monocular slam | |
| Liu et al. | 360ST-mapping: An online semantics-guided topological mapping module for omnidirectional visual SLAM | |
| Giordano et al. | 3D structure identification from image moments | |
| Tanaka et al. | Learning to bundle-adjust: A graph network approach to faster optimization of bundle adjustment for vehicular slam | |
| Ouyang et al. | Semantic slam for mobile robot with human-in-the-loop | |
| CN116563341A (zh) | 一种处理复杂环境下动态物体的视觉定位与建图方法 | |
| Shao | A Monocular SLAM System Based on the ORB Features |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |