CN105843223B - 一种基于空间词袋模型的移动机器人三维建图与避障方法 - Google Patents
一种基于空间词袋模型的移动机器人三维建图与避障方法 Download PDFInfo
- Publication number
- CN105843223B CN105843223B CN201610170481.XA CN201610170481A CN105843223B CN 105843223 B CN105843223 B CN 105843223B CN 201610170481 A CN201610170481 A CN 201610170481A CN 105843223 B CN105843223 B CN 105843223B
- Authority
- CN
- China
- Prior art keywords
- dimensional
- map
- robot
- information
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 47
- 238000001514 detection method Methods 0.000 claims abstract description 21
- 230000004927 fusion Effects 0.000 claims abstract description 21
- 238000005457 optimization Methods 0.000 claims abstract description 16
- 230000000007 visual effect Effects 0.000 claims description 42
- 230000033001 locomotion Effects 0.000 claims description 18
- 230000004888 barrier function Effects 0.000 claims description 14
- 241001553014 Myrsine salicina Species 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 claims description 5
- 230000008447 perception Effects 0.000 claims description 4
- 230000007774 longterm Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 18
- 239000000284 extract Substances 0.000 description 6
- 230000004807 localization Effects 0.000 description 6
- 230000001186 cumulative effect Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004387 environmental modeling Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种基于空间词袋模型的移动机器人三维地图创建与避障导航方法，包括以下步骤：1)采集Kinect传感器数据，对场景图像特征采用融合空间关系的空间词袋模型来描述；2）利用场景图像的SDBoW2模型描述进行机器人三维SLAM，实现闭环检测、三维点云拼接、图结构优化，从而创建环境的全局三维点云密度地图；3）机器人利用创建的三维全局地图和Kinect传感器信息在室内进行实时避障导航。本发明针对无里程计、无激光测距传感器的低成本移动机器人，在仅依赖Kinect传感器的情况下实现可靠、实时的三维地图创建与避障导航，适用于家庭、办公室等较大面积室内环境下的移动机器人长期作业服务应用场合。
Description
技术领域
本发明涉及一种基于空间词袋模型的移动机器人三维地图创建与避障导航方法，属于自主移动机器人视觉导航与环境建模的一种技术。
背景技术
能够同时提供彩色图像深度信息(即RGB-D)的Kinect传感器已经在移动机器人领域得到了初步应用，例如手势识别、人机交互、三维物体点云重构等。该传感器成本低廉、能够提供含彩色纹理信息的场景深度点云，因此在机器人领域具有显著的应用价值。经专利检索查新，费浚纯等人申请了中国发明专利第201310613016.5号，名称为“一种基于Kinect生成三维导航地图室内移动机器人”。该专利公开了一种基于Kinect生成三维导航地图室内移动机器人，但并未涉及具体如何建立三维全局地图和如何进行机器人导航控制的问题。经专利检索查新，张云等人申请了中国发明专利第201510116276.0号，名称为“基于Kinect视觉技术的三维空间地图构建方法”。该专利公开了一种利用Kinect传感器构建空间物体点云模型的方法，但是侧重于三维物体测量中的点云重构问题，并未涉及移动机器人三维地图创建与导航。
基于深度视觉(RGB-D)信息所构建的三维地图可以为移动机器人作业需求提供更加精确、详细的环境描述，具有更加重要的研究意义和广阔的应用前景。传统的用激光传感器创建的栅格二维地图仅保存了用于机器人避障的障碍物平面位置、形状等几何信息，而由Kinect传感器所创建的三维密度地图则包含了场景点云，其中存储的各个点均具有位置和颜色信息，因此能够用于描述三维空间中的物体特征。这种三维密度地图，可以支持机器人在含有坡面、甚至楼梯等非平面的空间环境中进行三维定位，还可以支持机器人从三维环境中提取所要操作的物体的位置和形状信息，从而使得机器人具备在三维空间中移动和作业能力。同时，基于RGB-D的三维地图创建也与传统的单目视觉SLAM等问题不同。单目视觉SLAM一般建立的是视觉特征地图，不是密度地图(Dense Map)，不能直接用于机器人导航控制。而基于RGB-D的三维地图创建则讨论的是密度地图创建问题，创建出来的是用点云(Point Cloud)表示的三维密度地图。另外，Kinect传感器相对激光传感器成本低廉，有利于低造价的移动机器人推广和应用。
针对基于RGB-D信息的移动机器人三维地图创建问题，利用帧间匹配关系的SLAM法(参见“杨鸿，基于Kinect传感器的移动机器人室内环境三维地图创建.东南大学学报自然科学版,2013”)实现思路简单、方便，可以快速地实现三维场景重现，但是随着帧间关系之间的累计误差不断增大，会导致三维地图的精度下降，因此需要结合多个不同算法来保证帧间关系精确，现常用于构建小规模场景的三维地图或者重建三维物体。
基于图(Graph-based)的SLAM(同时机器人定位与环境地图创建)方法曾被用来解决激光传感器创建二维栅格地图问题，但是近年来也被引入基于RGB-D信息的三维地图创建。基于图的SLAM法则先进行图像之间粗匹配完成局部三维地图拼接，然后结合闭环检测以及图优化算法不断修正累计误差，并对全局地图进行优化，因此既能够实现三维地图的精确构建也有助于提高视觉定位结果的可靠性，最终保证基于图的三维构图法可以适用于中大规模室内环境。莘菁等人(见“辛菁等.基于Kinect的移动机器人大视角3维V-SLAM，机器人，2014”)提出的移动机器人大视角3维V-SLAM方法，改进融合FAST特征检测算子和BRIEF特征描述符的ORB特征匹配算法，实现大视角变化的相邻帧图像之间的快速匹配，并利用g2o算法对机器人位姿进行优化，从而建立3D V-SLAM模型，最终成功地重构出环境模型并有效地估计出机器人的运动轨迹。Mathieu Labbe等人(见“Labbe M，MichaudF.Online global loop closure detection for large-scale multi-session graph-based slam.IEEE/RSJ International Conference on Intelligent Robots andSystems(IROS)，2014”)提出一种基于词袋模型(bag-of-word,BoW)的闭环检测方法用于视觉定位与三维构图，并加入内存管理机制，使其满足实时性要求，大大提高了Kinect在移动机器人领域的实用性。
将视觉词袋模型用于表达图像特征，是目前视觉SLAM、图像目标识别中的常用方法。例如李士进等人申请了中国发明专利第201310377651.8号，名称为“基于视觉词袋模型的遥感图像目标识别方法”。该专利公开了一种基于视觉词袋模型的遥感图像目标识别方法。Labbe等人所发表的机器人三维SLAM方面的研究论文也大多采用了SIFT/SURF特征和词袋BoW模型。但是由于室内环境存在复杂多变的特性，导致采用这种常规BoW特征描述的室内三维地图构建方法存在实时性差、消耗内存空间大、精度低等问题，因此需要考虑如何在室内环境未知以及移动机器人运动路径未知的条件下，快速并有效地创建适用于中等规模室内环境的三维地图。本发明从视觉特征描述模型的角度，提出了一种更为精确、计算内存消耗更少、计算实时性更高的空间词袋模型SDBoW2，从而在有限实际计算能力的情况下提高了移动机器人三维地图创建和定位的准确性和实时性。
如何将构建好的三维地图快速并准确地应用于视觉定位以及避障导航，是解决基于RGB-D传感器的机器人导航的一个实用性问题。针对基于RGB-D信息的移动机器人自主定位导航问题，以往大多数定位方法均讨论的是如何在给定二维栅格地图的基础上实现利用RGB-D信息的机器人定位(见Biswas J，Veloso M.Depth camera based indoor mobilerobot localization and navigation.2012 IEEE International Conference onRobotics and Automation(ICRA)，2012)。有研究者采用基于图(Graph-based)的方式将Kinect应用于室内场景建模(见Henry P，Krainin M，Herbst E，et al.RGB-D Mapping:Using Depth Cameras for Dense 3D Modeling of Indoor Environments,2014)，通过机器人在室内的反复观测，得到室内场景的收敛结果，从而减小视觉导航中由于航位推算引起的误差累计。然而该方法需要对局部场景进行反复观测，若用于机器人在环境探索中实时创建三维地图，则实用性不高。经专利检索查新，熊蓉等人申请了中国发明专利第201510400786.0号，名称为“一种基于Kinect的机器人自定位方法”。该专利公开了一种基于Kinect的机器人自定位方法，通过Kinect获取环境的RGB图像和深度图像，通过融合视觉和物理里程计的信息，实现位姿变化量的估计，将Kinect获取的三维点云投影到地面，与事先构建的环境栅格地图进行匹配，从而准确估计机器人的位姿。该方法也依赖于实现用激光传感器创建的二维栅格地图。未讨论如何直接利用Kinect传感器创建的三维地图来实现机器人定位导航。总得来说，以往方法很少涉及利用三维密度地图和Kinect传感器采集的点云数据来进行机器人实时定位和导航控制的问题。
发明内容
发明目的：针对利用低成本RGB-D传感器的移动机器人实时6DoF定位及避障导航问题，本发明提出了一种基于空间词袋模型的移动机器人三维地图创建与避障导航方法。
技术方案：为实现上述目的，本发明采用的技术方案为，提出了一种基于空间词袋模型的移动机器人三维地图创建与避障导航方法，包括以下步骤：
步骤1，在机器人环境探索过程中采集Kinect传感器信息，对场景图像特征采用融合空间关系的SDBoW2(空间词袋)模型来描述，构建场景图像的空间视觉词典(SpatialVisual Dictionary)。
所述步骤1中，场景图像特征采用融合空间关系的SDBoW2模型来描述，即融合空间关系的二进制形式视觉单词模型(Bags of Binary Words with Spatial Information)。该模型采用Kinect传感器实时地获取室内环境的视觉信息，并对整个RGB图像进行空间l层划分，即图像分成l*l个子图像，其中l为正整数，得到一共l2个子图像。再利用二进制形式的ORB特征算子对各个子图像分别进行特征提取；然后根据ORB算子的特点将场景图像特征描述成融合空间关系的SDBoW2模型，对各个子图像分别建立空间视觉单词(SpatialVisual Word)，即融合空间信息的视觉单词，从而形成空间视觉词典(Spatial VisualDictionary)，即空间视觉单词的集合。该模型可以对视觉特征所在空间位置关系进行描述，从而提高了传统词袋模型对场景和物体视觉特征的刻画能力。
步骤2，在机器人环境探索过程中利用Kinect传感器信息和步骤1构建的空间视觉词典，进行机器人三维SLAM，通过闭环检测、三维点云拼接、图结构优化等环节，创建环境的全局三维点云密度地图。
所述步骤2中，将步骤1构建的空间视觉词典存储在K-D树中，以此构建融合空间信息的二进制形式视觉词典模型；对实时获取到的视觉信息采用融合时间连续性和空间一致性两种约束条件进行闭环检测；然后利用RANSAC算法和ICP算法实现三维点云拼接，将机器人实时获取的连续帧点云进行拼接；在完成机器人环境探索后，最后对满足闭环条件的三维地图进行TORO图优化，最终准确地构建完未知室内环境下的三维全局地图并确保其全局一致性。
步骤3，机器人利用创建的全局三维点云密度地图和Kinect传感器信息在室内实时避障导航。其实现主要需要依赖于移动机器人周围实时的障碍物信息、当前所处位置以及局部导航目标位置，经过点云中的局部障碍物提取、三维空间下的视觉定位、以及实时反应式避障导航，实现机器人在点与点之间的实时避障导航运动。
所述步骤3中的点云中环境局部障碍物提取，即移动机器人周围的障碍物信息由Kinect实时创建的局部栅格地图提供，主要经过点云滤波、地面滤除、平面投影等步骤，实现从点云中提取环境障碍物信息，用于机器人避障决策。
所述步骤3中的基于Kinect的6 DoF视觉定位，视觉定位即利用带有位置信息的三维全局地图与当前实时获取到的环境点云进行基于SDBoW2模型的特征匹配，计算得到移动机器人当前位置和姿态信息，在三维地图空间中用三维位置和三维姿态来描述。
所述步骤3中的实时反应式避障导航，即将三维地图映射成二维地图，并在二维地图上利用全局路径规划算法得到最优路径，同时将路径上的序列点作为移动机器人局部导航参考目标点。采用Nearness Diagram(ND)算法根据环境局部障碍物信息、当前定位结果、以及参考目标点这三种信息，计算出移动机器人的局部运动控制量，最终实现复杂室内环境下基于RGB-D感知的避障导航功能。
有益效果：本发明提供的基于空间词袋模型的移动机器人三维地图创建与避障导航方法，相比现有技术，具有以下有益效果：
1.针对较大规模室内环境构建三维密度地图存在效率低、内存占用空间大、特征匹配精度不高等问题，本方法引入二进制形式的ORB特征算子，大大加快了特征提取与匹配的速度。结合ORB算子的特点，设计了一种融合空间信息的SDBoW2模型，不仅有效减少了三维地图的内存占用空间，还提高了三维地图拼接以及视觉定位的准确度。使得本方法能够在较大面积室内环境下明显提高三维建图的成功率和定位的准确性。
2.本方法解决了制约Kinect传感器信息用于实时避障的数据量大、噪声与干扰多等问题，通过点云中环境局部障碍物提取与投影，将点云映射成反映障碍物占有信息的二维局部地图，从而兼容传统基于激光传感器的避障导航控制方法，能够用于实现基于RGB-D感知的机器人导航，达到类似利用测距传感器导航来实现实时机器人定位导航的性能，但所采用的Kinect传感器相比激光传感器却大大降低了成本。
附图说明
图1为场景图像的空间层次划分示意图；
图2为构造空间视觉单词的流程图；
图3为创建三维点云密度地图的具体流程图；
图4为基于SDBoW2的闭环检测方法示意；
图5给出了几组场景图像闭环检测实例；
图6给出了连续帧三维点云拼接的实例；
图7给出了机器人实时获取障碍物信息的过程；
图8给出了Pioneer 3 DX机器人在室内环境三维密度地图下的定位导航实例。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
一种基于空间词袋模型的移动机器人三维地图创建与避障导航方法，包括以下步骤：
步骤1，在机器人环境探索过程中采集Kinect传感器数据，对场景图像特征采用融合空间关系的SDBoW2模型来描述。
所述步骤1中，场景图像特征采用融合空间关系的SDBoW2模型来描述，即融合空间关系的二进制形式视觉单词模型。该模型采用Kinect传感器实时地获取室内环境的视觉信息，并对整个RGB图像进行空间l层划分，即图像分成l*l个子图像，其中l为正整数，得到一共l2个子图像。再利用二进制形式的ORB特征算子对各个子图像分别进行特征提取；然后根据ORB算子的特点将场景图像特征描述成融合空间关系的SDBoW2模型，对各个子图像分别建立空间视觉单词，从而形成空间视觉词典。该模型可以对视觉特征所在空间位置关系进行描述，从而提高了传统词袋模型对场景和物体视觉特征的刻画能力。
步骤2，在机器人环境探索过程中利用Kinect传感器进行三维SLAM，创建环境三维点云密度地图。
所述步骤2中将步骤1构建的空间视觉词典存储在K-D树中，以此构建融合空间信息的二进制形式视觉词典模型；对实时获取到的视觉信息采用融合时间连续性和空间一致性两种约束条件进行闭环检测；然后利用RANSAC算法和ICP算法实现三维点云拼接，将机器人实时获取的连续帧点云进行拼接；在完成机器人环境探索后，最后对满足闭环条件的三维地图进行TORO图优化，最终准确地构建完未知室内环境下的三维全局地图并确保其全局一致性。
步骤3，机器人利用创建的三维全局地图和Kinect传感器信息在室内实时避障导航。其实现主要需要依赖于移动机器人周围实时的障碍物信息、当前所处位置以及局部导航目标位置，经过点云中的局部障碍物提取、三维空间下的视觉定位、以及避障导航，实现机器人在点与点之间的实时避障导航运动。
步骤3具体包括以下步骤：
步骤111：点云中环境局部障碍物提取，即移动机器人周围的障碍物信息由Kinect实时创建的局部栅格地图提供，主要经过点云滤波、地面滤除、平面投影等步骤，实现从点云中提取环境障碍物信息，用于机器人避障决策。
步骤112：基于Kinect的6 DoF视觉定位，视觉定位即利用带有位置信息的三维全局地图与当前实时获取到的环境点云进行基于SDBoW2模型的特征匹配，计算得到移动机器人当前位置和姿态信息，在三维地图空间中用三维位置和三维姿态来描述。
步骤113：实时反应式避障导航：即将三维地图映射成二维地图，并在二维地图上利用全局路径规划算法得到最优路径，同时将路径上的序列点作为移动机器人局部导航参考目标点。采用Nearness Diagram(ND)算法根据环境局部障碍物信息、当前定位结果、以及参考目标点这三种信息，计算出移动机器人的局部运动控制量，最终实现复杂室内环境下基于RGB-D感知的避障导航功能。本发明实施例的方法步骤是：
1、在机器人环境探索过程中采集Kinect传感器数据，对场景图像特征采用融合空间关系的SDBoW2模型来描述。具体步骤如下：
在具体实施中，采用通用型Pioneer 3 DX移动机器人，机器人车载控制计算机具备无线网卡，在环境中采用自主探索导航算法进行环境探索。探索环境的同时，机器人采用车载Kinect传感器实时地获取室内环境的视觉信息，并对场景的RGB图像进行空间l层划分，其中l为正整数，再利用二进制形式的ORB特征算子对RGB图像各个子图像分别进行特征提取。根据ORB算子的特点将图像特征描述成二进制形式的视觉单词，并存储在K-D树中，以此构建融合空间信息的二进制形式视觉词典模型。
融合空间关系的DBoW2(Bags of Binary Words with Spatial Information，即SDBoW2)模型首先将图像进行空间划分，如图1所示；再利用二进制形式的ORB特征算子对各个子图像分别进行特征提取；然后根据ORB算子的特点将场景图像特征描述成融合空间关系的SDBoW2模型，对各个子图像分别建立空间视觉单词，从而形成空间视觉词典。具体过程如图2所示。
图1中方格内的Rl,i定义为l级空间层次划分中第i个子图像，其中i的取值范围为1到l2，即l级空间层次划分下的最大子图像数量为l2，记为Snl。图2中最右边的变量Svl,i定义为l级空间层次划分中子图像i所生成的空间视觉单词。
为了衡量l级空间层次划分中第i个子图像中两个向量vi和v′i的相似性，可以通过计算评分值s(vi,v′i)得到，评分值s(vi,v′i)的范围为0到1，计算公式如下所示：
在获取每个子图像对应的视觉单词之后，只要将整个图像中所有子图像映射得到的视觉单词整合在一起，就可以得到关于该图像的一个完整特征向量vt描述。图像It与图像I′t可以通过计算D(It,I′t)来得到相似度，其计算公式如(2)所示，取值范围为0到1：
SDBoW2是增量式模型，建立以及更新词典树的具体过程为：首先，将Kinect获取到的t时刻图像It按图2所示流程获取每一个空间子图像的视觉单词，并将其全部整合在一起，转换成SDBoW2模型中的一个完整特征向量 表示W维实数集；接着在词典树的根节点到叶子节点范围内，并满足Hamming距离最小的条件下，将二进制形式的特征描述符存放在最佳位置上；最终得到Lw层、W个视觉单词的视觉词典树。另外，每个视觉单词将根据它在训练库中的相关性赋予一个初始权重，然后增加那些频繁出现的视觉单词权重，同时减少低频视觉单词的权重。
2、在机器人环境探索过程中进行三维SLAM，创建出环境三维密度地图。具体步骤如下：
在机器人探索过程中，对实时获取到的场景图像采用融合时间连续性和空间一致性两种约束条件进行闭环检测；然后利用RANSAC算法和ICP算法实现连续帧的三维点云拼接，也就是将机器人实时获取的连续点云进行拼接；在完成机器人环境探索后，最后对满足闭环条件的三维地图进行TORO图优化，最终准确地构建完未知室内环境下的三维全局地图并确保其全局一致性。
创建的三维地图中包含一个隐藏结构：由场景节点(为了与词典树中的节点区别出来，本说明书一律将图中的节点称为场景节点)和边构成的图。其中，场景节点保存的是RGB图像、深度图像和用于闭环检测的视觉单词。边存储的是场景节点之间的几何转换关系。边的类型分为两类：邻边和闭环。邻边被添加到当前场景节点和先前场景节点之间，并保存着它们的几何变换关系；闭环边被添加到当前场景节点和跟本身相似的场景节点之间。
该步骤的具体实施流程如图3所示，主要的三个环节介绍如下：
1)闭环检测：
闭环检测算法的主要目的为知晓移动机器人是否重新回到先前已经访问过的位置，有助于减少移动机器人的位姿误差和降低三维地图的视觉信息冗余。在闭环检测过程中，往往不会假设移动机器人的运动轨迹，而是首先通过场景节点存储Kinect实时获取到的图像帧，接着计算当前帧与前一帧图像之间的转换关系，并在图中的两个场景节点之间添加邻边，然后将当前帧与过去帧进行相似性比较，判断是否匹配。如果匹配，那么就可以计算这两帧图像之间的转换关系，并在图中场景节点之间添加闭环边；若不匹配，则直接进行获取下一帧场景图像操作。不断重复进行上述过程直到移动机器人停止获取环境信息，最终完成图结构的建立和更新。为了尽可能降低闭环检测的误判率，采用时间连续性和几何一致性两种约束条件对图结构进行优化。图4给出了闭环检测的原理示意。
图5是基于SDBoW2模型的闭环检测成功示例，在利用Kinect视觉传感器实时获取新图像的过程中，通过闭环检测算法找到与当前帧图像满足闭环条件的历史关键帧图像，并通过直线将两张图像之间的相同特征点关联起来。另外从图5中可以明显发现基于SDBoW2模型的闭环检测算法能够很好地应用于复杂室内环境、不同的图像获取角度以及距离等情况。
2)三维点云拼接：
三维点云拼接通过RANSAC算法和迭代最近点(ICP)算法恢复出不同点云之间的刚体变换关系，并将连续采集的不同点云按照求解得到的刚体变换关系转换到已知场景的坐标系下，最终得到完整的三维地图。假设Kinect视觉传感器获取到的两组点云信息集分别为已知场景和待匹配场景，则三维点云拼接的主要步骤如下所示，三维点云拼接效果如图6所示。
3)图的结构优化：
由于三维点云配准不可避免地会出现一定偏差，随着机器人运动距离增大而引起累计误差，进而导致最终生成的三维地图出现错误。本发明结合闭环检测算法，并使用树结构形式保存视觉词典，因此对构建好的三维地图可以用TORO算法进行图结构优化。另外，TORO图优化方法并不事先限定移动机器人只在单一平面上运动，TORO图优化方法允许移动机器人构建三维地图时在三维空间中任意运动，并确保以这种方式构建完的三维地图进行图优化之后效果依然可靠，而不像很多图优化算法需要限定视觉传感器在同一平面上构建三维地图。
首先利用闭环检测算法获取关键帧之后，通过与视觉单词进行特征匹配以及位姿关系确定当前可能闭环节点，同时解出此时关键帧与当前可能闭环节点关键帧之间的相对位姿，从而成功获取闭环信息；接着TORO图优化算法通过视觉传感器全局位姿和当前观测相对位姿建立视觉传感器位姿关系树，并将闭环位置的视觉传感器位姿推算偏移量和当前观测偏移量的区别最小化，最终完成全局位姿的优化，误差函数如公式(3)和(4)所示：
上式中，T＝{T1,T2,...,Tn}表示视觉传感器的位姿集合；Tij表示通过场景结点i推算得到的场景结点j视觉传感器的相对位姿；e(Ti,Tj,Tij)表示场景结点j处视觉传感器的推算相对位姿与场景结点j的观测值之间的偏差，即闭环误差；ψij表示场景结点i和场景结点j的视觉传感器位姿间观测相关性矩阵，c为所有满足观测约束条件的场景结点对。
如果e(Ti,Tj,Tij)＝0，那么在场景结点i至场景结点j之间，视觉传感器的位姿符合闭环条件，即当前视觉传感器位姿漂移量为零。若实际漂移量不为零，则修正整个闭环中所有由视觉里程计导致错误的边，最终达到优化三维地图的目的。
3、机器人利用所创建的三维全局地图和Kinect传感器实时采集的障碍物信息在室内进行避障导航运动。具体步骤如下：
1)点云中环境局部障碍物提取，即移动机器人周围的障碍物信息由Kinect实时创建的局部栅格地图提供，主要经过点云滤波、地面滤除、平面投影等步骤，实现从点云中提取环境障碍物信息，用于机器人避障决策。具体流程如图7所示。
Kinect坐标系转换为世界坐标系如公式(5)所示，其中(WX，WY，WZ)表示点云在世界坐标系中的坐标，(KX，KY，KZ)表示点云在Kinect坐标系的坐标，[TX，TY，TZ]T表示Kincet坐标系相对设定的世界坐标系发生的位置偏移，在具体实施中，TX和TY为零，Tz为0.39，即Kinect位于世界坐标系正上方0.39米处。θ表示Kinect坐标系相对于世界坐标发生的偏转角度，对本发明具体实施中选用的机器人型号，选定θ为12°，即Kinect的俯角设为12°。因此经过坐标系转换后的点云，满足同一水平面上z坐标相等。
2)基于Kinect的6 DoF视觉定位，视觉定位即利用带有位置信息的三维全局地图与当前实时获取到的环境点云进行基于SDBoW2模型的特征匹配，计算得到移动机器人当前位置和姿态信息，在三维地图空间中用三维位置和三维姿态来描述。
视觉定位流程，首先利用Kinect实时地获取周围环境信息；然后对获取到的RGB图像进行图像空间划分，与此同时对每个划分好的子图像进行ORB特征提取，并将其转换成视觉单词Wi；接着在视觉词典树中进行查询，判断该视觉单词Wi是否包含其中。如果在视觉词典中，则利用此时Kincet视觉传感器获取到的深度信息和构建三维全局地图时的位置信息对应关系，通过坐标变换，逆解求出当前移动机器所在位置，即完成视觉定位功能；如果不在视觉词典中，则判断查询视觉单词次数是否超过阈值，超过的话，则视觉定位失败，结束操作，否则移动机器人自转一定角度，重新获取环境信息，再按照上述流程判断能否定位成功。
3)避障导航，即将三维地图映射成二维地图，并在二维地图上利用全局路径规划算法获得最优路径，同时将路径上的序列点作为移动机器人局部导航参考目标点。采用Nearness Diagram(ND)算法根据环境局部障碍物信息、当前定位结果、以及参考目标点这三种信息，计算出移动机器人的局部运动控制量，最终实现复杂室内环境下基于RGB-D感知的避障导航功能。
由于三维全局地图中的地面并不精确保证处于同一高度的平面上，按平面提取方式提取地面，地面将不会被完整地提取出来，此时再做投影处理的话，地面信息会被错误地认为是障碍物信息，造成创建二维全局地图失败。因此本发明中的二维全局地图由三维地图通过截取一定高度平面的方式获得。
在获得的二维全局地图上利用A*算法进行路径规划，从规划好的全局路径中提取路径序列点作为移动机器人视觉避障导航的局部目标导航点(位置+方向)，构成级联结构，实际机器人运动过程中以此为参考，运动模块则由ND避障算法生成的局部运动控制量决定。图8给出了Pioneer 3 DX机器人在室内环境三维密度地图下的定位导航实例结果。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (2)
1.一种基于空间词袋模型的移动机器人三维地图创建与避障导航方法，其特征在于，包括以下步骤：
步骤1，采集Kinect传感器信息，对场景图像特征采用融合空间关系的SDBoW2模型来描述，构建场景图像的空间视觉词典；
步骤2，利用Kinect传感器信息和构建的空间视觉词典，进行机器人三维SLAM，通过闭环检测、三维点云拼接、图结构优化环节，创建环境的全局三维点云密度地图；
步骤3，利用Kinect传感器信息和创建的全局三维点云密度地图进行实时避障导航运动，其实现方式是依赖于移动机器人周围实时的障碍物信息、当前所处位置以及局部导航目标位置，经过点云中的局部障碍物提取、三维空间下的视觉定位、以及实时反应式避障导航，实现机器人在点与点之间的实时避障导航运动；
所述步骤1中的场景图像特征采用融合空间关系的SDBoW2模型来描述，即融合空间关系的二进制形式视觉单词模型；采用Kinect传感器实时地获取室内环境的视觉信息，并对RGB图像进行空间l层划分，其中l为正整数，再利用二进制形式的ORB特征算子对RGB图像各个子图像分别进行特征提取；然后根据ORB特征算子的特点将场景图像特征描述成融合空间关系的SDBoW2模型，从而构建属于对应场景图像的空间视觉词典；
所述步骤2中的利用Kinect传感器信息和构建的空间视觉词典，进行机器人三维SLAM，是将空间视觉词典存储在K-D树中，以此构建融合空间信息的二进制形式视觉词典模型；对实时获取到的视觉信息采用融合时间连续性和空间一致性两种约束条件进行闭环检测；然后利用RANSAC算法和ICP算法实现三维点云拼接，将机器人实时获取的连续帧点云进行拼接；在完成机器人环境探索后，最后对满足闭环条件的三维地图进行TORO图优化，最终准确地构建完未知室内环境下的三维全局地图并确保其全局一致性。
2.根据权利要求1所述的基于空间词袋模型的移动机器人三维地图创建与避障导航方法，其特征在于：所述步骤3具体方法如下：
步骤111：点云中环境局部障碍物提取，即移动机器人周围的障碍物信息由Kinect实时创建的局部栅格地图提供，主要经过点云滤波、地面滤除、平面投影步骤，实现从点云中提取环境障碍物信息，用于机器人避障决策；
步骤112：基于Kinect的6DoF视觉定位，视觉定位即利用带有位置信息的三维全局地图与当前实时获取到的环境点云进行基于SDBoW2模型的特征匹配，计算得到移动机器人当前位置和姿态信息，在三维地图空间中用三维位置和三维姿态来描述；
步骤113：实时反应式避障导航，即将三维地图映射成二维地图，并在二维地图上利用全局路径规划算法得到最优路径，同时将路径上的序列点作为移动机器人局部导航参考目标点；采用Nearness Diagram算法根据环境局部障碍物信息、当前定位结果、以及参考目标点这三种信息，计算出移动机器人的局部运动控制量，最终实现复杂室内环境下基于RGB-D感知的避障导航功能。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610170481.XA CN105843223B (zh) | 2016-03-23 | 2016-03-23 | 一种基于空间词袋模型的移动机器人三维建图与避障方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610170481.XA CN105843223B (zh) | 2016-03-23 | 2016-03-23 | 一种基于空间词袋模型的移动机器人三维建图与避障方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105843223A CN105843223A (zh) | 2016-08-10 |
| CN105843223B true CN105843223B (zh) | 2018-11-20 |
Family
ID=56583119
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610170481.XA Active CN105843223B (zh) | 2016-03-23 | 2016-03-23 | 一种基于空间词袋模型的移动机器人三维建图与避障方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105843223B (zh) |
Families Citing this family (76)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106403924B (zh) * | 2016-08-24 | 2019-05-31 | 智能侠（北京）科技有限公司 | 基于深度摄像头的机器人快速定位与姿态估计方法 |
| CN109643489B (zh) * | 2016-08-26 | 2022-05-03 | 松下电器（美国）知识产权公司 | 三维信息处理方法以及三维信息处理装置 |
| CN106092104B (zh) * | 2016-08-26 | 2019-03-15 | 深圳微服机器人科技有限公司 | 一种室内机器人的重定位方法及装置 |
| CN106227218A (zh) * | 2016-09-27 | 2016-12-14 | 深圳乐行天下科技有限公司 | 一种智能移动设备的导航避障方法及装置 |
| CN106643692A (zh) * | 2016-09-28 | 2017-05-10 | 深圳乐行天下科技有限公司 | 一种机器人导航定位方法、系统及机器人 |
| CN106556412A (zh) * | 2016-11-01 | 2017-04-05 | 哈尔滨工程大学 | 一种室内环境下考虑地面约束的rgb‑d视觉里程计方法 |
| CN106529583A (zh) * | 2016-11-01 | 2017-03-22 | 哈尔滨工程大学 | 一种基于视觉词袋模型的室内场景认知方法 |
| CN108073167A (zh) * | 2016-11-10 | 2018-05-25 | 深圳灵喵机器人技术有限公司 | 一种基于深度相机与激光雷达的定位与导航方法 |
| CN106599108B (zh) * | 2016-11-30 | 2019-12-31 | 浙江大学 | 一种三维环境中多模态环境地图构建方法 |
| CN106680832B (zh) * | 2016-12-30 | 2019-07-26 | 深圳优地科技有限公司 | 一种移动机器人的障碍物检测方法、装置和移动机器人 |
| CN106815578A (zh) * | 2017-01-23 | 2017-06-09 | 重庆邮电大学 | 一种基于深度运动图‑尺度不变特征变换的手势识别方法 |
| CN106708059B (zh) * | 2017-01-24 | 2020-01-17 | 厦门万久科技股份有限公司 | 一种基于通道选择的移动机器人实时运动规划方法 |
| CN106840166B (zh) * | 2017-02-15 | 2020-07-10 | 北京大学深圳研究生院 | 一种基于词袋树群模型的机器人定位和导航方法 |
| CN106940186B (zh) * | 2017-02-16 | 2019-09-24 | 华中科技大学 | 一种机器人自主定位与导航方法及系统 |
| CN107145578B (zh) * | 2017-05-08 | 2020-04-10 | 深圳地平线机器人科技有限公司 | 地图构建方法、装置、设备和系统 |
| CN107194332A (zh) * | 2017-05-09 | 2017-09-22 | 重庆大学 | 一种基于四维空间平移及旋转的心理旋转机理实现模型 |
| CN107358189B (zh) * | 2017-07-07 | 2020-12-04 | 北京大学深圳研究生院 | 一种基于多视目标提取的室内环境下物体检测方法 |
| CN109324337B (zh) * | 2017-07-31 | 2022-01-14 | 广州极飞科技股份有限公司 | 无人飞行器的航线生成及定位方法、装置及无人飞行器 |
| CN107543531B (zh) * | 2017-08-13 | 2019-10-11 | 天津职业技术师范大学 | 一种机器人视觉定位系统 |
| CN107665503A (zh) * | 2017-08-28 | 2018-02-06 | 汕头大学 | 一种构建多楼层三维地图的方法 |
| CN107680133A (zh) * | 2017-09-15 | 2018-02-09 | 重庆邮电大学 | 一种基于改进闭环检测算法的移动机器人视觉slam方法 |
| CN107677279B (zh) * | 2017-09-26 | 2020-04-24 | 上海思岚科技有限公司 | 一种定位建图的方法及系统 |
| CN107907124B (zh) * | 2017-09-30 | 2020-05-15 | 杭州迦智科技有限公司 | 基于场景重识的定位方法、电子设备、存储介质、系统 |
| CN109658373A (zh) * | 2017-10-10 | 2019-04-19 | 中兴通讯股份有限公司 | 一种巡检方法、设备及计算机可读存储介质 |
| CN107741234B (zh) * | 2017-10-11 | 2021-10-19 | 深圳勇艺达机器人有限公司 | 一种基于视觉的离线地图构建及定位方法 |
| CN107886129B (zh) * | 2017-11-13 | 2021-06-08 | 湖南大学 | 一种基于视觉词袋的移动机器人地图闭环检测方法 |
| CN108958232A (zh) * | 2017-12-07 | 2018-12-07 | 炬大科技有限公司 | 一种基于深度视觉的移动扫地机器人slam装置及算法 |
| CN108089191B (zh) * | 2017-12-25 | 2021-03-30 | 中山大学 | 一种基于激光雷达的全局定位系统及方法 |
| CN108534788B (zh) * | 2018-03-07 | 2020-06-05 | 广州大学 | 一种基于kinect视觉的AGV导航方法 |
| CN110575653A (zh) * | 2018-06-08 | 2019-12-17 | 北京眸视科技有限公司 | 一种智能捡网球机器人 |
| CN108873908B (zh) * | 2018-07-12 | 2020-01-24 | 重庆大学 | 基于视觉slam和网络地图结合的机器人城市导航系统 |
| CN108983777B (zh) * | 2018-07-23 | 2021-04-06 | 浙江工业大学 | 一种基于自适应前沿探索目标点选取的自主探索与避障方法 |
| CN109344687B (zh) * | 2018-08-06 | 2021-04-16 | 深圳拓邦股份有限公司 | 基于视觉的障碍物检测方法、装置、移动设备 |
| CN109085605A (zh) * | 2018-08-29 | 2018-12-25 | 长春博立电子科技有限公司 | 全自动探索未知空间并建立地图的方法及系统 |
| CN109326006B (zh) * | 2018-09-30 | 2023-03-28 | 阿波罗智联(北京)科技有限公司 | 地图融合方法和装置 |
| CN109802939B (zh) * | 2018-12-12 | 2020-04-28 | 山东大学 | 基于星型网络结构的三维场景数据获取方法及系统 |
| CN109696913A (zh) * | 2018-12-13 | 2019-04-30 | 中国航空工业集团公司上海航空测控技术研究所 | 一种基于深度学习的扫地机器人智能避障系统及方法 |
| CN109934094B (zh) * | 2019-01-22 | 2022-04-19 | 九天创新(广东)智能科技有限公司 | 一种提高移动机器人单目视觉环境探索可靠性的系统及其方法 |
| CN111609853B (zh) * | 2019-02-25 | 2024-08-23 | 北京奇虎科技有限公司 | 三维地图构建方法、扫地机器人及电子设备 |
| CN111637897B (zh) * | 2019-03-01 | 2022-04-19 | 纳恩博（常州）科技有限公司 | 地图的更新方法、更新装置、存储介质以及处理器 |
| CN111665826B (zh) * | 2019-03-06 | 2024-08-23 | 北京奇虎科技有限公司 | 基于激光雷达与单目相机的深度图获取方法及扫地机器人 |
| CN111694903B (zh) * | 2019-03-11 | 2023-09-12 | 北京地平线机器人技术研发有限公司 | 地图构建方法、装置、设备以及可读存储介质 |
| CN111735433B (zh) * | 2019-03-25 | 2022-05-20 | 杭州海康威视数字技术股份有限公司 | 建立二维地图的方法和装置 |
| CN110095752B (zh) * | 2019-05-07 | 2021-08-10 | 百度在线网络技术（北京）有限公司 | 定位方法、装置、设备和介质 |
| CN110276826A (zh) * | 2019-05-23 | 2019-09-24 | 全球能源互联网研究院有限公司 | 一种电网作业环境地图的构建方法及系统 |
| CN110163968B (zh) * | 2019-05-28 | 2020-08-25 | 山东大学 | Rgbd相机大型三维场景构建方法及系统 |
| CN110223380B (zh) * | 2019-06-11 | 2021-04-23 | 中国科学院自动化研究所 | 融合航拍与地面视角图像的场景建模方法、系统、装置 |
| CN110264517A (zh) * | 2019-06-13 | 2019-09-20 | 上海理工大学 | 一种基于三维场景图像确定车辆当前位置信息的方法与系统 |
| CN110263209B (zh) * | 2019-06-27 | 2021-07-09 | 北京百度网讯科技有限公司 | 用于生成信息的方法和装置 |
| CN110390356B (zh) * | 2019-07-03 | 2022-03-08 | Oppo广东移动通信有限公司 | 视觉词典生成方法及装置、存储介质 |
| CN110411464B (zh) * | 2019-07-12 | 2023-04-07 | 中南大学 | 三维点云地图生成方法、装置、设备及存储介质 |
| CN110427517B (zh) * | 2019-07-18 | 2023-04-25 | 华戎信息产业有限公司 | 一种基于场景词典树的图搜视频方法，装置及计算机可读存储介质 |
| CN110260866A (zh) * | 2019-07-19 | 2019-09-20 | 闪电(昆山)智能科技有限公司 | 一种基于视觉传感器的机器人定位与避障方法 |
| CN110375742A (zh) * | 2019-07-25 | 2019-10-25 | 广州景瑞智能科技有限公司 | 一种动态路径智能规划方法及系统 |
| CN110220531A (zh) * | 2019-07-25 | 2019-09-10 | 广州景瑞智能科技有限公司 | 一种基于视觉网络的智能导航系统 |
| CN112393719B (zh) * | 2019-08-12 | 2023-04-14 | 科沃斯商用机器人有限公司 | 一种栅格语义地图生成方法、装置以及存储设备 |
| CN110686677B (zh) * | 2019-10-10 | 2022-12-13 | 东北大学 | 一种基于几何信息的全局定位方法 |
| CN110726413B (zh) * | 2019-10-25 | 2021-03-23 | 中国人民解放军国防科技大学 | 面向大规模slam的多传感器融合与数据管理方法 |
| CN111161412B (zh) * | 2019-12-06 | 2024-02-09 | 苏州艾吉威机器人有限公司 | 三维激光建图方法及系统 |
| CN111461982B (zh) * | 2020-03-30 | 2023-09-22 | 北京百度网讯科技有限公司 | 用于拼接点云的方法和装置 |
| CN111949032A (zh) * | 2020-08-18 | 2020-11-17 | 中国科学技术大学 | 一种基于强化学习的3d避障导航系统及方法 |
| CN112595322B (zh) * | 2020-11-27 | 2024-05-07 | 浙江同善人工智能技术有限公司 | 一种融合orb闭环检测的激光slam方法 |
| CN112509056B (zh) * | 2020-11-30 | 2022-12-20 | 中国人民解放军32181部队 | 一种动态战场环境实时路径规划系统及方法 |
| CN112605991B (zh) * | 2020-12-04 | 2022-03-29 | 清华大学 | 结构化环境下机器人自主目标识别与高精度绝对定位方法 |
| CN112998606B (zh) * | 2021-03-01 | 2022-04-22 | 深圳市无限动力发展有限公司 | 智能设备与清洁机的协作清扫方法、装置和计算机设备 |
| CN113029169A (zh) * | 2021-03-03 | 2021-06-25 | 宁夏大学 | 一种基于三维地图和自主导航的空地协作搜救系统及方法 |
| CN113237479A (zh) * | 2021-05-10 | 2021-08-10 | 嘉应学院 | 一种室内导航方法、系统、装置及存储介质 |
| CN113408353B (zh) * | 2021-05-18 | 2023-04-07 | 杭州电子科技大学 | 一种基于rgb-d的实时避障系统 |
| CN113345008B (zh) * | 2021-05-31 | 2022-05-24 | 湖南大学 | 考虑轮式机器人位姿估计的激光雷达动态障碍物检测方法 |
| CN113390409A (zh) * | 2021-07-09 | 2021-09-14 | 广东机电职业技术学院 | 一种机器人全程自主探索导航实现slam技术的方法 |
| CN113899361B (zh) * | 2021-12-10 | 2022-03-01 | 西安电子科技大学 | 基于空间划分的slam快速回环检测方法 |
| CN114608552B (zh) * | 2022-01-19 | 2024-06-18 | 达闼机器人股份有限公司 | 一种机器人建图方法、系统、装置、设备及存储介质 |
| CN114384920B (zh) | 2022-03-23 | 2022-06-10 | 安徽大学 | 一种基于局部栅格地图实时构建的动态避障方法 |
| CN115019167B (zh) * | 2022-05-26 | 2023-11-07 | 中国电信股份有限公司 | 基于移动终端的融合定位方法、系统、设备及存储介质 |
| CN116362316B (zh) * | 2023-05-29 | 2023-12-12 | 成都阿加犀智能科技有限公司 | 一种模型转换方法、装置、存储介质及电子设备 |
| CN117237561B (zh) * | 2023-11-14 | 2024-01-26 | 江苏云幕智造科技有限公司 | 一种人形机器人封闭环境下三维点云地图重建方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102929969A (zh) * | 2012-10-15 | 2013-02-13 | 北京师范大学 | 一种基于互联网的移动端三维城市模型实时搜索与合成技术 |
| CN103278170A (zh) * | 2013-05-16 | 2013-09-04 | 东南大学 | 基于显著场景点检测的移动机器人级联地图创建方法 |
| CN103530603A (zh) * | 2013-09-24 | 2014-01-22 | 杭州电子科技大学 | 基于环路图模型的视频异常检测方法 |
-
2016
- 2016-03-23 CN CN201610170481.XA patent/CN105843223B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102929969A (zh) * | 2012-10-15 | 2013-02-13 | 北京师范大学 | 一种基于互联网的移动端三维城市模型实时搜索与合成技术 |
| CN103278170A (zh) * | 2013-05-16 | 2013-09-04 | 东南大学 | 基于显著场景点检测的移动机器人级联地图创建方法 |
| CN103530603A (zh) * | 2013-09-24 | 2014-01-22 | 杭州电子科技大学 | 基于环路图模型的视频异常检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| Semantic localization in the PCL library;Jesus Martínez-Gómez等;《Robotics and Autonomous Systems》;20160131;全文 * |
| 一种基于GOR+GPU算法的机器人视觉导航方法;李新德等;《机器人》;20120731;第34卷(第4期);全文 * |
| 基于Kinect传感器的移动机器人室内环境三维地图创建;杨鸿等;《东南大学学报》;20130731;第43卷;全文 * |
| 基于视觉字典的移动机器人闭环检测方法研究;崔大成等;《技术与方法》;20150930;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105843223A (zh) | 2016-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105843223B (zh) | 一种基于空间词袋模型的移动机器人三维建图与避障方法 | |
| Blochliger et al. | Topomap: Topological mapping and navigation based on visual slam maps | |
| CN106092104B (zh) | 一种室内机器人的重定位方法及装置 | |
| Paul et al. | FAB-MAP 3D: Topological mapping with spatial and visual appearance | |
| Li et al. | Efficient laser-based 3D SLAM for coal mine rescue robots | |
| CN110827415A (zh) | 一种全天候未知环境无人自主工作平台 | |
| Armagan et al. | Learning to align semantic segmentation and 2.5 d maps for geolocalization | |
| CN110260866A (zh) | 一种基于视觉传感器的机器人定位与避障方法 | |
| Jin et al. | An Indoor Location‐Based Positioning System Using Stereo Vision with the Drone Camera | |
| Park et al. | Vision-based SLAM system for small UAVs in GPS-denied environments | |
| CN111998862A (zh) | 一种基于bnn的稠密双目slam方法 | |
| Alliez et al. | Indoor localization and mapping: Towards tracking resilience through a multi-slam approach | |
| Roggeman et al. | Embedded vision-based localization and model predictive control for autonomous exploration | |
| Pöschmann et al. | Synthesized semantic views for mobile robot localization | |
| Muravyev et al. | PRISM-TopoMap: Online Topological Mapping with Place Recognition and Scan Matching | |
| Li et al. | Efficient laser-based 3D SLAM in real time for coal mine rescue robots | |
| Hernández et al. | Visual SLAM with oriented landmarks and partial odometry | |
| Baligh Jahromi et al. | Layout slam with model based loop closure for 3d indoor corridor reconstruction | |
| Li et al. | Geodetic coordinate calculation based on monocular vision on UAV platform | |
| Zhang et al. | Visual Localization in 3D Maps: Comparing Point Cloud, Mesh, and NeRF Representations | |
| Wang et al. | Autonomous UAV-Based Position and 3D Reconstruction of Structured Indoor Scene | |
| Hong et al. | Design and Implementation of Path Planning for Wheel‐Track Hybrid Mobile Robot | |
| Andert et al. | A fast and small 3-d obstacle model for autonomous applications | |
| Xu et al. | Feature selection and pose estimation from known planar objects using monocular vision | |
| Shen et al. | P‐2.11: Research on Scene 3d Reconstruction Technology Based on Multi‐sensor Fusion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20160810 Assignee: Nanjing Keyuan Intelligent Technology Group Co.,Ltd. Assignor: SOUTHEAST University Contract record no.: X2022320000108 Denomination of invention: A 3D mapping and obstacle avoidance method for mobile robot based on spatial word bag model Granted publication date: 20181120 License type: Common License Record date: 20220615 |