CN110322511A - 一种基于物体和平面特征的语义slam方法和系统 - Google Patents

一种基于物体和平面特征的语义slam方法和系统 Download PDF

Info

Publication number
CN110322511A
CN110322511A CN201910573369.4A CN201910573369A CN110322511A CN 110322511 A CN110322511 A CN 110322511A CN 201910573369 A CN201910573369 A CN 201910573369A CN 110322511 A CN110322511 A CN 110322511A
Authority
CN
China
Prior art keywords
plane
map
key frame
frame images
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910573369.4A
Other languages
English (en)
Other versions
CN110322511B (zh
Inventor
陶文兵
郑龙玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201910573369.4A priority Critical patent/CN110322511B/zh
Publication of CN110322511A publication Critical patent/CN110322511A/zh
Application granted granted Critical
Publication of CN110322511B publication Critical patent/CN110322511B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于物体和平面特征的语义SLAM方法和系统，属于计算机视觉技术领域，其中方法包括：获取场景的RGB‑D图像流，利用RGB‑D图像流进行逐帧跟踪得到关键帧图像；利用关键帧图像构建关于场景的局部地图，对关键帧图像的深度图进行平面分割得到当前平面，利用当前平面构建全局平面地图，对关键帧图像进行物体检测，得到检测框和置信度，利用检测框和置信度重建物体的点云，将检测框中的特征点归并到物体，得到全局物体地图；利用关键帧图像进行回环检测，得到回环帧，利用回环帧进行回环修正优化平面约束与物体约束，得到场景的平面地图和物体地图。本发明可以提升SLAM优化性能，并增强对环境的语义描述。

Description

一种基于物体和平面特征的语义SLAM方法和系统
技术领域
本发明属于计算机视觉技术领域，更具体地，涉及一种基于物体和平面特征的语义SLAM方法和系统。
背景技术
同步定位与地图构建技术(simultaneous localization and mapping，SLAM)是近几年比较热门的研究领域，该技术针对机器人在未知环境中的定位和建图问题提出。经过一段时间的发展，目前视觉SLAM技术的主要框架已经成熟，主要包括视觉里程计、后端优化、回环检测等部分。
传统的SLAM技术构建的地图多由低层级的几何元素(点、线、平面等)组成，在对环境有一定描述能力的同时，缺少高层级的语义信息。当机器人在运动中需要与环境中的物体进行交互时，就需要我们对环境的语义信息进行描述。语义SLAM能够在构建环境几何地图的同时或者结束时构建环境的语义地图。
近年来，基于深度学习的物体检测算法(主要是卷积神经网络，CNN)已经在各种计算机视觉任务，包括目标检测方面取得重大突破。这是因为深度学习学习海量数据的能力和提取高抽象特征的能力，这使得深度学习特征具有很好的识别能力。将深度学习用于物体检测能够获得超越传统方法的精度和速度。
然而，现有技术存在语义信息缺乏、SLAM优化能力较差的技术问题。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于物体和平面特征的语义SLAM方法和系统，由此解决语义信息缺乏、SLAM优化能力较差的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种基于物体和平面特征的语义SLAM方法，包括如下步骤：
(1)获取场景的RGB-D图像流，利用RGB-D图像流进行逐帧跟踪得到关键帧图像；
(2)利用关键帧图像构建关于场景的局部地图，对关键帧图像的深度图进行平面分割得到当前平面，利用当前平面构建全局平面地图，对关键帧图像进行物体检测，得到检测框和置信度，利用检测框和置信度重建物体的点云，将检测框中的特征点归并到物体，得到全局物体地图；
(3)利用关键帧图像进行回环检测，得到回环帧，利用回环帧进行回环修正优化平面约束与物体约束，得到场景的平面地图和物体地图。
进一步地，步骤(1)包括如下步骤：
(11)获取场景的RGB-D图像流，对于RGB-D图像流中的每一帧图像提取特征点，将当前帧图像中的特征点与前一帧图像中的特征点进行匹配，得到多组匹配点，利用多组匹配点计算当前的相机位姿；
(12)构建一个关于当前帧图像的局部地图，包括与当前帧图像有共视点的关键帧图像以及关键帧图像的相邻帧图像，在关键帧图像以及关键帧图像的相邻帧图像中查找与当前帧图像匹配的特征点，利用该特征点优化当前的相机位姿；
(13)优化位姿后，若当前帧图像为关键帧图像，将关键帧图像传入步骤(2)，否则，进入步骤(11)利用下一帧图像进行跟踪。
进一步地，步骤(11)还包括：
若当前帧图像是第一帧图像，进行相机初始化；
若匹配点组数大于等于3，则利用多组匹配点计算当前的相机位姿，否则，跟踪丢失，进行全局重定位；
所述全局重定位为：将RGB-D图像流中每一帧图像转换成词汇树，得到全局词汇数据库，在全局词汇数据库中查找关键帧图像，计算当前帧图像相对于该关键帧图像的位姿，并根据该位姿对当前帧图像和对应关键帧图像进行特征点匹配，当特征点匹配数大于等于3时继续进行相机跟踪，否则保持跟踪丢失状态。
进一步地，构建关于场景的局部地图的具体实现方式为：
构建一个共视图，共视图的顶点为关键帧图像，边为关键帧图像之间的共视点数量，每当新传入一个关键帧图像时，按照共视点数量更新共视图；
通过三角化共视图中相连的关键帧图像的特征点得到三角化后的特征点；
利用所有的关键帧图像和三角化后的特征点，构建关于场景的局部地图。
进一步地，构建全局平面地图的具体实现方式为：
对关键帧图像的深度图进行平面分割得到当前平面；
将当前平面与全局平面地图中的平面进行对比，若两个平面之间夹角小于8°且距离小于0.1m，则归并两个平面，否则，在全局平面地图中创建一个平面。
进一步地，构建全局物体地图的具体实现方式为：
对关键帧图像进行物体检测，得到检测框和置信度，利用检测框和置信度重建物体的点云，将检测框中的特征点归并到物体，得到全局物体地图；
在全局物体地图中查找与当前物体质心最近的N个物体，在N个物体中查找具有最多匹配特征点的物体；
如果两个物体特征点匹配数大于M，说明两个物体是同一个物体，否则是两个物体；
两个物体是同一物体时，计算当前物体点云相对于全局物体地图中匹配物体点云的位姿，将该位姿和当前物体点云加入全局物体地图，将当前物体特征点加入全局物体地图，将当前物体类型和置信度加入全局物体地图；
两个物体不是同一个物体时，新建一个物体，其位姿为单位矩阵，加入新建物体的特征点到全局物体地图，将检测到的新建物体类型和置信度加入全局物体地图。
进一步地，步骤(3)包括：
使用关键帧图像的词汇树在全局词汇数据库中依据词汇相似度查找候选回环帧，若候选回环帧有三个共视帧与关键帧图像词汇相似度都小于阈值，则该候选回环帧为回环帧；
计算关键帧图像和回环帧之间的相似变换矩阵，对相似变换矩阵进行捆绑调整来优化平面约束和物体约束，得到场景的平面地图和物体地图。
按照本发明的另一方面，提供了一种基于物体和平面特征的语义SLAM系统，包括如下模块：
逐帧跟踪模块，用于获取场景的RGB-D图像流，利用RGB-D图像流进行逐帧跟踪得到关键帧图像；
地图构建模块，用于利用关键帧图像构建关于场景的局部地图，对关键帧图像的深度图进行平面分割得到当前平面，利用当前平面构建全局平面地图，对关键帧图像进行物体检测，得到检测框和置信度，利用检测框和置信度重建物体的点云，将检测框中的特征点归并到物体，得到全局物体地图；
回环修正模块，用于利用关键帧图像进行回环检测，得到回环帧，利用回环帧进行回环修正优化平面约束与物体约束，得到场景的平面地图和物体地图。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
(1)本发明基于RGB-D图像流进行一系列操作，RGB-D图像流包括彩色图像和深度图像，使得本发明除了完成普通视觉SLAM的自主定位和同步建图以外，还利用深度图识别场景中的物体和平面，构建关于场景的物体地图和平面地图，从而增强SLAM对场景的语义理解并提升SLAM的性能。本发明方法可应用于无人驾驶系统、室内导航，具有广泛应用的前景。
(2)本发明对关键帧图像的深度图进行平面分割得到当前平面，利用当前平面构建全局平面地图，对关键帧图像进行物体检测，得到检测框和置信度，利用检测框和置信度重建物体的点云，将检测框中的特征点归并到物体，得到全局物体地图，将平面分割、物体检测与SLAM相融合，从而提升SLAM的性能，并增强对环境的语义描述。
(3)本发明对关键帧图像的深度图进行平面分割得到当前平面；将当前平面与全局平面地图中的平面进行对比，若两个平面之间夹角小于8°且距离小于0.1m，则归并两个平面，否则，在全局平面地图中创建一个平面。平面特征作为室内环境中稳定的物理结构具有较强的鲁棒性。在室内环境单一、光照变化剧烈的条件下，平面特征仍然具有较强的适应性和抗干扰能力。因此，将对关键帧图像的深度图进行平面分割得到的当前平面作为平面特征引入SLAM的过程将大大提升SLAM的性能。
附图说明
图1为本发明实施例提供的一种基于物体和平面特征的语义SLAM方法的总体流程图；
图2为本发明实施例提供的平面地图构建的流程图；
图3为本发明实施例提供的物体地图构建的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示，一种基于物体和平面特征的语义SLAM方法，包括：作为输入的RGB-D数据需要经过逐帧跟踪、局部地图构建、平面地图构建、物体地图构建和后端优化这几个步骤，最终完成机器人语义地图构建和自主定位任务。具体地：
(1)RGB-D数据准备
RGB-D相机A处于一个未知场景中，场景中包含已知类别的物体和平面结构，驱动相机A对场景进行扫描，得到RGB-D图像流。
(2)逐帧跟踪相机位姿
(2.1)对于RGB-D图像流中的每一帧图像，提取特征点及其描述子。
优选地，在本发明的一个实施例中，图片特征点提取采用ORB角点检测算法，除此之外，本发明中使用的特征点还可以任意选用具有局部显著性和稳定性的特征如二值鲁棒尺度不变特征点(BRISK，Binary Robust Invariant Scalable Keypoints)、加速分割试验特征(FAST，Features from Accelerated Segment Test)和加速稳健特征(SURF，Speed UpRobust Feature)等。
(2.2)将当前帧图像中的特征点及其描述子与前一帧图像中的特征点及其描述子进行匹配，得到多组匹配点；若当前帧图像中特征点的描述子与前一帧图像中的特征点的描述子之间的距离小于阈值R，则当前帧图像中特征点与前一帧图像中的特征点匹配，否则不匹配；基于多组匹配点使用PnP(perpective n points)方法计算出当前的相机位姿，如果不能找到足够匹配特征(例如，匹配点的组数少于3)，则跟踪丢失，进行全局重定位，进入(2.2.1)；如果当前帧图像是第一帧图像的话，进行相机初始化，进入(2.2.2)。
(2.2.1)全局重定位时，将RGB-D图像流中每帧图像转换成词汇树，得到全局词汇数据库，在全局词汇数据库中查找适合的关键帧图像。查找到对应关键帧图像后，计算当前帧图像相对于该关键帧图像的位姿，并根据该位姿查找当前帧图像和对应关键帧图像的特征点的匹配，只有该匹配数达到一定阈值才能继续进行相机追踪，否则保持跟踪丢失状态。
(2.2.2)如果当前帧图像是第一帧图像，将当前帧图像保留，在接下来的几帧里查找与当前帧有足够匹配数量的帧，并使用对极几何计算两帧之间位姿变换，并三角化一定数量的特征点。
(2.3)维护一个关于当前帧图像的局部地图，包括与当前帧图像有共视点的关键帧图像集合κc，κc的相邻帧图像κ1。在关键帧图像κc，κ1的视点中查找与当前帧图像匹配的特征点，最后利用该特征点优化当前的相机位姿。
(2.4)优化位姿后，判定当前帧图像是否为关键帧图像，是的话把关键帧图像传入接下来的局部地图构建、平面地图构建和物体地图构建中，否则回到(1)。
优选地，当同时满足四个判定条件时，当前帧图像为关键帧图像；
所述四个判定条件为：当前帧图像距离上一次全局重定位至少有20帧、当前帧图像距离上一次关键帧传入步骤(2)已经超过20帧、当前帧图像至少观测到50个特征点、当前帧图像没有追踪到前一帧图像90％的特征点。
(3)构建一个关于场景的局部地图，关于场景的局部地图包括关键帧图像集合和三角化后的特征点。
(3.1)构建一个共视图，共视图的顶点为关键帧图像，边为关键帧图像之间的共视点数量。每当新接受一个关键帧图像时，按照共视点数量更新共视图。
(3.2)特征点要保留在地图中，必须得满足一定条件，否则将其删除掉以保证系统的性能。
优选地，在本发明的实施例中，判定条件为同时满足以下两个要求：
a)逐帧跟踪必须在25％的帧中找到特征点，这些帧是特征点应该出现的。
b)如果距离特征点的三角化已经超过了两个关键帧图像，那么特征点应该至少要被三个关键帧图像观测到。
(3.3)特征点三角化
新的特征点通过三角化共视图中相连的关键帧图像的特征点而来，三角化后的角点(即新的特征点)要在两个关键帧图像中都具有正的深度，新的特征点在两个关键帧图像之间的视差在一定范围之内且新的特征点在两个关键帧图像之间的重投影误差在一定范围之内才能接受新的特征点。
(3.4)局部关键帧剔除
为了保持一个紧凑的重建，检测冗余的关键帧并剔除它们。抛弃所有的关键帧图像其90％的观测特征点都在至少其他三个关键帧图像中被观察到。
(4)如图2所示，平面地图构建
(4.1)对输入关键帧图像的深度图进行平面分割得到当前平面。
(4.2)将当前平面与全局平面地图中的平面进行对比，如果有相同平面，就归并两个平面。如果没有相同平面，则在全局平面地图中创建一个平面。
优选地，在本发明的一个实施例当中，判定是否是同一平面的条件为：
平面夹角小于8°且平面到平面之间的距离小于0.1m。
(5)如图3所示，物体地图构建
(5.1)使用基于深度学习的物体检测器，对关键帧图像进行物体检测，从而获得2D的检测框和置信度。
(5.2)利用检测框和深度图，重建物体的点云，并且将检测框中的特征点归并到物体。
(5.3)在全局物体地图中查找与当前物体质心最近的N个物体，然后在这N个物体中查找具有最多匹配特征点的物体。
优选地，在本发明的一个实施例中，N＝5。
(5.4)如果两个物体特征点匹配数大于一定阈值M，说明两个物体是同一个物体，否则是两个物体。如果两个物体是同一物体，进入(5.5)，否则进入(5.6)。
优选地，在本发明的一个实施例中，M＝10。
(5.5)计算当前物体点云相对于全局物体地图中匹配物体点云的位姿，将相对位姿和点云加入全局物体地图，将当前物体特征点加入全局物体地图，将当前物体类型和置信度加入全局物体地图。
(5.6)新建一个物体，其位姿为单位矩阵，加入新建物体的特征点到全局物体地图，将检测到的物体类型和置信度加入全局物体地图。
(6)后端优化
(6.1)使用关键帧图像的词汇树在全局词汇数据库中依据词汇相似度查找候选回环帧，如果候选回环帧有三个共视帧与关键帧图像词汇相似度都小于一定阈值，那么该帧就是关键帧图像的回环帧。
(6.2)对关键帧图像和回环帧，计算他们之间的相似变换矩阵，对相似变换矩阵进行捆绑调整(bundle adjustment，BA)来优化相机位姿、特征点坐标、平面约束和物体约束，得到优化后的平面地图和物体地图。
平面约束指的是两个平面的参数一致，物体约束指的是两个物体的参数一致，但是平面约束和物体约束往往存在误差，通过对相似变换矩阵进行捆绑调整可以消除误差，进而得到优化后的平面地图和物体地图。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于物体和平面特征的语义SLAM方法，其特征在于，包括如下步骤：
(1)获取场景的RGB-D图像流，利用RGB-D图像流进行逐帧跟踪得到关键帧图像；
(2)利用关键帧图像构建关于场景的局部地图，对关键帧图像的深度图进行平面分割得到当前平面，利用当前平面构建全局平面地图，对关键帧图像进行物体检测，得到检测框和置信度，利用检测框和置信度重建物体的点云，将检测框中的特征点归并到物体，得到全局物体地图；
(3)利用关键帧图像进行回环检测，得到回环帧，利用回环帧进行回环修正优化平面约束与物体约束，得到场景的平面地图和物体地图。
2.如权利要求1所述的一种基于物体和平面特征的语义SLAM方法，其特征在于，所述步骤(1)包括如下步骤：
(11)获取场景的RGB-D图像流，对于RGB-D图像流中的每一帧图像提取特征点，将当前帧图像中的特征点与前一帧图像中的特征点进行匹配，得到多组匹配点，利用多组匹配点计算当前的相机位姿；
(12)构建一个关于当前帧图像的局部地图，包括与当前帧图像有共视点的关键帧图像以及关键帧图像的相邻帧图像，在关键帧图像以及关键帧图像的相邻帧图像中查找与当前帧图像匹配的特征点，利用该特征点优化当前的相机位姿；
(13)优化位姿后，若当前帧图像为关键帧图像，将关键帧图像传入步骤(2)，否则，进入步骤(11)利用下一帧图像进行跟踪。
3.如权利要求2所述的一种基于物体和平面特征的语义SLAM方法，其特征在于，所述步骤(11)还包括：
若当前帧图像是第一帧图像，进行相机初始化；
若匹配点组数大于等于3，则利用多组匹配点计算当前的相机位姿，否则，跟踪丢失，进行全局重定位；
所述全局重定位为：将RGB-D图像流中每一帧图像转换成词汇树，得到全局词汇数据库，在全局词汇数据库中查找关键帧图像，计算当前帧图像相对于该关键帧图像的位姿，并根据该位姿对当前帧图像和对应关键帧图像进行特征点匹配，当特征点匹配数大于等于3时继续进行相机跟踪，否则保持跟踪丢失状态。
4.如权利要求1-3任一所述的一种基于物体和平面特征的语义SLAM方法，其特征在于，所述构建关于场景的局部地图的具体实现方式为：
构建一个共视图，共视图的顶点为关键帧图像，边为关键帧图像之间的共视点数量，每当新传入一个关键帧图像时，按照共视点数量更新共视图；
通过三角化共视图中相连的关键帧图像的特征点得到三角化后的特征点；
利用所有的关键帧图像和三角化后的特征点，构建关于场景的局部地图。
5.如权利要求1-3任一所述的一种基于物体和平面特征的语义SLAM方法，其特征在于，所述构建全局平面地图的具体实现方式为：
对关键帧图像的深度图进行平面分割得到当前平面；
将当前平面与全局平面地图中的平面进行对比，若两个平面之间夹角小于8°且距离小于0.1m，则归并两个平面，否则，在全局平面地图中创建一个平面。
6.如权利要求1-3任一所述的一种基于物体和平面特征的语义SLAM方法，其特征在于，所述构建全局物体地图的具体实现方式为：
对关键帧图像进行物体检测，得到检测框和置信度，利用检测框和置信度重建物体的点云，将检测框中的特征点归并到物体，得到全局物体地图；
在全局物体地图中查找与当前物体质心最近的N个物体，在N个物体中查找具有最多匹配特征点的物体；
如果两个物体特征点匹配数大于M，说明两个物体是同一个物体，否则是两个物体；
两个物体是同一物体时，计算当前物体点云相对于全局物体地图中匹配物体点云的位姿，将该位姿和当前物体点云加入全局物体地图，将当前物体特征点加入全局物体地图，将当前物体类型和置信度加入全局物体地图；
两个物体不是同一个物体时，新建一个物体，其位姿为单位矩阵，加入新建物体的特征点到全局物体地图，将检测到的新建物体类型和置信度加入全局物体地图。
7.如权利要求1-3任一所述的一种基于物体和平面特征的语义SLAM方法，其特征在于，所述步骤(3)包括：
使用关键帧图像的词汇树在全局词汇数据库中依据词汇相似度查找候选回环帧，若候选回环帧有三个共视帧与关键帧图像词汇相似度都小于阈值，则该候选回环帧为回环帧；
计算关键帧图像和回环帧之间的相似变换矩阵，对相似变换矩阵进行捆绑调整来优化平面约束和物体约束，得到场景的平面地图和物体地图。
8.一种基于物体和平面特征的语义SLAM系统，其特征在于，包括如下模块：
逐帧跟踪模块，用于获取场景的RGB-D图像流，利用RGB-D图像流进行逐帧跟踪得到关键帧图像；
地图构建模块，用于利用关键帧图像构建关于场景的局部地图，对关键帧图像的深度图进行平面分割得到当前平面，利用当前平面构建全局平面地图，对关键帧图像进行物体检测，得到检测框和置信度，利用检测框和置信度重建物体的点云，将检测框中的特征点归并到物体，得到全局物体地图；
回环修正模块，用于利用关键帧图像进行回环检测，得到回环帧，利用回环帧进行回环修正优化平面约束与物体约束，得到场景的平面地图和物体地图。
CN201910573369.4A 2019-06-28 2019-06-28 一种基于物体和平面特征的语义slam方法和系统 Active CN110322511B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910573369.4A CN110322511B (zh) 2019-06-28 2019-06-28 一种基于物体和平面特征的语义slam方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910573369.4A CN110322511B (zh) 2019-06-28 2019-06-28 一种基于物体和平面特征的语义slam方法和系统

Publications (2)

Publication Number Publication Date
CN110322511A true CN110322511A (zh) 2019-10-11
CN110322511B CN110322511B (zh) 2021-03-26

Family

ID=68120547

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910573369.4A Active CN110322511B (zh) 2019-06-28 2019-06-28 一种基于物体和平面特征的语义slam方法和系统

Country Status (1)

Country Link
CN (1) CN110322511B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110781262A (zh) * 2019-10-21 2020-02-11 中国科学院计算技术研究所 基于视觉slam的语义地图的构建方法
CN110910389A (zh) * 2019-10-30 2020-03-24 中山大学 一种基于图描述子的激光slam回环检测系统及方法
CN110956651A (zh) * 2019-12-16 2020-04-03 哈尔滨工业大学 一种基于视觉和振动触觉融合的地形语义感知方法
CN111260661A (zh) * 2020-01-15 2020-06-09 江苏大学 一种基于神经网络技术的视觉语义slam系统及方法
CN111292420A (zh) * 2020-02-28 2020-06-16 北京百度网讯科技有限公司 用于构建地图的方法和装置
CN111368759A (zh) * 2020-03-09 2020-07-03 河海大学常州校区 基于单目视觉的移动机器人语义地图构建系统
CN111429517A (zh) * 2020-03-23 2020-07-17 Oppo广东移动通信有限公司 重定位方法、重定位装置、存储介质与电子设备
CN111664866A (zh) * 2020-06-04 2020-09-15 浙江商汤科技开发有限公司 定位展示方法及装置、定位方法及装置和电子设备
CN111696118A (zh) * 2020-05-25 2020-09-22 东南大学 动态场景下基于语义分割与图像修复的视觉回环检测方法
CN113094545A (zh) * 2020-01-09 2021-07-09 舜宇光学（浙江）研究院有限公司 冗余关键帧剔除方法和slam方法及其系统和电子设备
CN113129369A (zh) * 2020-01-16 2021-07-16 北京京东乾石科技有限公司 一种点云地图初始化方法和装置
CN113160130A (zh) * 2021-03-09 2021-07-23 北京航空航天大学 一种回环检测方法、装置及计算机设备
CN113223079A (zh) * 2020-02-06 2021-08-06 阿里巴巴集团控股有限公司 视觉定位方法、装置及电子设备
CN115388880A (zh) * 2022-10-27 2022-11-25 联友智连科技有限公司 一种低成本记忆泊车建图与定位方法、装置及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106384383A (zh) * 2016-09-08 2017-02-08 哈尔滨工程大学 一种基于fast和freak特征匹配算法的rgb‑d和slam场景重建方法
CN107808407A (zh) * 2017-10-16 2018-03-16 亿航智能设备（广州）有限公司 基于双目相机的无人机视觉slam方法、无人机及存储介质
WO2018049581A1 (zh) * 2016-09-14 2018-03-22 浙江大学 一种同时定位与地图构建方法
CN108052103A (zh) * 2017-12-13 2018-05-18 中国矿业大学 基于深度惯性里程计的巡检机器人地下空间同时定位和地图构建方法
CN108133496A (zh) * 2017-12-22 2018-06-08 北京工业大学 一种基于g2o与随机蕨类的稠密地图创建方法
CN109658449A (zh) * 2018-12-03 2019-04-19 华中科技大学 一种基于rgb-d图像的室内场景三维重建方法
CN109697753A (zh) * 2018-12-10 2019-04-30 智灵飞（北京）科技有限公司 一种基于rgb-d slam的无人机三维重建方法、无人机
US10571263B2 (en) * 2013-07-12 2020-02-25 Magic Leap, Inc. User and object interaction with an augmented reality scenario

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10571263B2 (en) * 2013-07-12 2020-02-25 Magic Leap, Inc. User and object interaction with an augmented reality scenario
CN106384383A (zh) * 2016-09-08 2017-02-08 哈尔滨工程大学 一种基于fast和freak特征匹配算法的rgb‑d和slam场景重建方法
WO2018049581A1 (zh) * 2016-09-14 2018-03-22 浙江大学 一种同时定位与地图构建方法
CN107808407A (zh) * 2017-10-16 2018-03-16 亿航智能设备（广州）有限公司 基于双目相机的无人机视觉slam方法、无人机及存储介质
CN108052103A (zh) * 2017-12-13 2018-05-18 中国矿业大学 基于深度惯性里程计的巡检机器人地下空间同时定位和地图构建方法
CN108133496A (zh) * 2017-12-22 2018-06-08 北京工业大学 一种基于g2o与随机蕨类的稠密地图创建方法
CN109658449A (zh) * 2018-12-03 2019-04-19 华中科技大学 一种基于rgb-d图像的室内场景三维重建方法
CN109697753A (zh) * 2018-12-10 2019-04-30 智灵飞（北京）科技有限公司 一种基于rgb-d slam的无人机三维重建方法、无人机

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LIANG ZHANG 等: "Semantic SLAM Based on Object Detection", 《IEEE ACCESS》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110781262A (zh) * 2019-10-21 2020-02-11 中国科学院计算技术研究所 基于视觉slam的语义地图的构建方法
CN110781262B (zh) * 2019-10-21 2023-06-02 中国科学院计算技术研究所 基于视觉slam的语义地图的构建方法
CN110910389A (zh) * 2019-10-30 2020-03-24 中山大学 一种基于图描述子的激光slam回环检测系统及方法
CN110910389B (zh) * 2019-10-30 2021-04-09 中山大学 一种基于图描述子的激光slam回环检测系统及方法
CN110956651A (zh) * 2019-12-16 2020-04-03 哈尔滨工业大学 一种基于视觉和振动触觉融合的地形语义感知方法
CN110956651B (zh) * 2019-12-16 2021-02-19 哈尔滨工业大学 一种基于视觉和振动触觉融合的地形语义感知方法
CN113094545A (zh) * 2020-01-09 2021-07-09 舜宇光学（浙江）研究院有限公司 冗余关键帧剔除方法和slam方法及其系统和电子设备
CN113094545B (zh) * 2020-01-09 2023-05-16 舜宇光学（浙江）研究院有限公司 冗余关键帧剔除方法和slam方法及其系统和电子设备
CN111260661A (zh) * 2020-01-15 2020-06-09 江苏大学 一种基于神经网络技术的视觉语义slam系统及方法
CN113129369A (zh) * 2020-01-16 2021-07-16 北京京东乾石科技有限公司 一种点云地图初始化方法和装置
CN113223079A (zh) * 2020-02-06 2021-08-06 阿里巴巴集团控股有限公司 视觉定位方法、装置及电子设备
CN111292420A (zh) * 2020-02-28 2020-06-16 北京百度网讯科技有限公司 用于构建地图的方法和装置
CN111368759B (zh) * 2020-03-09 2022-08-30 河海大学常州校区 基于单目视觉的移动机器人语义地图构建系统
CN111368759A (zh) * 2020-03-09 2020-07-03 河海大学常州校区 基于单目视觉的移动机器人语义地图构建系统
CN111429517A (zh) * 2020-03-23 2020-07-17 Oppo广东移动通信有限公司 重定位方法、重定位装置、存储介质与电子设备
CN111696118A (zh) * 2020-05-25 2020-09-22 东南大学 动态场景下基于语义分割与图像修复的视觉回环检测方法
CN111664866A (zh) * 2020-06-04 2020-09-15 浙江商汤科技开发有限公司 定位展示方法及装置、定位方法及装置和电子设备
CN113160130A (zh) * 2021-03-09 2021-07-23 北京航空航天大学 一种回环检测方法、装置及计算机设备
CN115388880A (zh) * 2022-10-27 2022-11-25 联友智连科技有限公司 一种低成本记忆泊车建图与定位方法、装置及电子设备

Also Published As

Publication number Publication date
CN110322511B (zh) 2021-03-26

Similar Documents

Publication Publication Date Title
CN110322511A (zh) 一种基于物体和平面特征的语义slam方法和系统
US8798357B2 (en) Image-based localization
CN109631855A (zh) 基于orb-slam的高精度车辆定位方法
Eade et al. Monocular graph SLAM with complexity reduction
CN111862213A (zh) 定位方法及装置、电子设备、计算机可读存储介质
WO2017172778A1 (en) Collaborative navigation and mapping
CN108801268A (zh) 目标对象的定位方法、装置及机器人
CN111323024B (zh) 定位方法及装置、设备、存储介质
CN112445929B (zh) 视觉定位方法及相关装置
CN109901207A (zh) 一种北斗卫星系统与图像特征结合的高精度室外定位方法
Liu et al. Indexing visual features: Real-time loop closure detection using a tree structure
CN114088081B (zh) 一种基于多段联合优化的用于精确定位的地图构建方法
CN111179440A (zh) 一种面向自然场景的三维物体模型检索方法
CN114241464A (zh) 基于深度学习的跨视角影像实时匹配地理定位方法及系统
Xu et al. Separation of wood and foliage for trees from ground point clouds using a novel least-cost path model
Zhou et al. Place recognition and navigation of outdoor mobile robots based on random Forest learning with a 3D LiDAR
Kinnari et al. SOS-SLAM: Segmentation for Open-Set SLAM in Unstructured Environments
Sinha et al. Image retrieval using landmark indexing for indoor navigation
Wang et al. Global Localization in Large-scale Point Clouds via Roll-pitch-yaw Invariant Place Recognition and Low-overlap Global Registration
Munoz et al. Improving Place Recognition Using Dynamic Object Detection
CN115330861A (zh) 基于物体平面共同表示和语义描述符匹配的重定位算法
Wang et al. Map matching navigation method based on scene information fusion
Hu et al. Modified multi-hypothesis tracking algorithm based on radar target appearance features
Suveg et al. Knowledge based reconstruction of buildings
Tian et al. A Real‐Time and Fast LiDAR–IMU–GNSS SLAM System with Point Cloud Semantic Graph Descriptor Loop‐Closure Detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant