CN110163963A - 一种基于slam的建图装置和建图方法 - Google Patents

一种基于slam的建图装置和建图方法 Download PDF

Info

Publication number
CN110163963A
CN110163963A CN201910294127.1A CN201910294127A CN110163963A CN 110163963 A CN110163963 A CN 110163963A CN 201910294127 A CN201910294127 A CN 201910294127A CN 110163963 A CN110163963 A CN 110163963A
Authority
CN
China
Prior art keywords
image
environment
slam
pose
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910294127.1A
Other languages
English (en)
Other versions
CN110163963B (zh
Inventor
耿志远
黄骏
周晓军
孙赛
陶明
杜逢博
王行
李骊
盛赞
李朔
杨淼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Huajie Imi Software Technology Co Ltd
Original Assignee
Nanjing Huajie Imi Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Huajie Imi Software Technology Co Ltd filed Critical Nanjing Huajie Imi Software Technology Co Ltd
Priority to CN201910294127.1A priority Critical patent/CN110163963B/zh
Publication of CN110163963A publication Critical patent/CN110163963A/zh
Application granted granted Critical
Publication of CN110163963B publication Critical patent/CN110163963B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种基于SLAM的建图装置，其特征在于，所述装置包括：第一图像采集装置，用于采集第一环境图像，所述第一环境图像为所需建图的空间的顶部的图像信息；第二图像采集装置，用于采集第二环境图像，所述第二环境图像为所需建图的空间的非顶部的图像信息；建图模块，将第一环境图像和第二环境图像进行融合处理，得到最终的环境图像。本发明所提出的一种基于SLAM的建图装置不仅可实现实时运作，而且可以提供更为精确的位姿，并创建出更加丰富的地图信息，更加发挥出SLAM在定位导航、自动避障中的优势。

Description

一种基于SLAM的建图装置和建图方法
技术领域
本发明属于即时定位与建图(SLAM，Simultaneous Localization And Mapping)技术领域，尤其是涉及多设备协作建图领域。
背景技术
即时定位与地图构建(simultaneous localization and mapping,SLAM)技术最早源于机器人领域，其目标是在一个未知的环境中实时重建环境的三维结构并同时对机器人自身进行定位。作为自主机器人的核心技术，SLAM在机器人导航、控制、生产等方面都有着重要的研究意义。尤其在二十一世纪，以视觉传感器为中心的视觉SLAM技术，在理论和方法上都经历了明显的转变与突破，正逐步从实验室研究迈向成熟的市场应用。早期的SFM(Structure fromMotion)技术一般是离线处理的，后来随着技术的发展出现实时的SFM技术，可以归于SLAM的范围。SLAM技术根据拍摄的视频信息推断出摄像头在未知环境中的方位,并同时构建环境地图,其基本原理为多视图几何原理。SLAM的目标为同时恢复出每帧图像对应的相机运动参数C1...Cm，以及场景三维结构X1...Xn；其中每个相机运动参数Ci包含了相机的位置和朝向信息，通常表达为一个3×3的旋转矩阵Ri和一个三维位置变量Pi。
目前，基于单目视觉SLAM的设备都是将可见光相机水平放置，通过SLAM来定位与建图，我们知道，在视觉SLAM中需要提取视频帧图像中的特征点来求解位姿，如果场景中有运动的物体，例如人走动，那么提取的运动物体上的特征点会非常影响位姿求解的精度，因此运行视觉SLAM的场景尽量只包含静态物体。垂直顶式可见光相机方案就可以很好地解决问题，因为顶部(例如室内天花板)的物体基本都是静态的，场景比较固定，提取出来的特征点也相对稳定，有利于位姿求解的精度。
本发明运用垂直顶式可见光相机(包含普通相机及超广角相机)采集到图像信息后，通过SLAM计算出当前的位姿信息和地图，同时新增加一个水平放置的深度传感器来采集深度信息，根据上述位姿信息及可见光相机与深度传感器之间固有的位置变换关系，求得深度传感器的位姿，将深度图上的点投影到地图中。中国专利申请CN109086278A公开了“一种消除误差的地图构建方法、系统、移动终端及存储介质”，该方法在地图构建模式时在任一车辆为地图构建模式时，获取车辆的信息感知数据并从信息感知数据中提取地标信息；将分次构建的地图比较重叠区相似度并拼接；以随时间延长所累积的车辆信息感知数据优化拼接得到的地图；循环构建过程形成局部或全局地图，通过时间累积的感知数据优化构建地图的路面标线、车辆栅栏位置、车闸位置或者是原来规划为车道但后期修改成为的功能区，更新这些构建地图内的环境变量可以减小甚至杜绝了使用该构建地图规划出的行车路径无法通行的情况，且在首次构建地图以及后期优化时多次测量消除累积误差，提高地图构建准确性。该方法存在以下不足：一方面该方法的应用场景比较受限；另一方面在分次构建的地图比较重叠区相似度进行拼接时，很容易出现拼接误差，导致优化的地图不准确。
中国专利申请CN109086277A公开了“一种重叠区构建地图方法、系统、移动终端及存储介质”，该方法在地图构建模式时，获取车辆的信息感知数据并从信息感知数据中提取地标信息，基于SLAM算法，根据车辆的运动姿态和所述地标信息生成地标地图以及车辆行驶轨迹；分次构建的地图，比较重叠区相似度，匹配成功后进行拼接；循环进行地图构建过程，形成局部或全局地图。根据地标信息多次匹配分次构建的地图，不断提高构建地图精度，同时支持与车载地图的比较和云端下载功能。该方法存在以下不足：一方面该方法在比较重叠区相似度时需要匹配并进行拼接，那么匹配的好坏直接会影响拼接的效果，继而影响地图的优劣；另一方面该方法需要不断匹配和拼接，计算复杂度高，无法实现实时运作。
针对上述问题，本发明运用垂直顶式可见光相机(包含普通相机及超广角相机)采集到图像信息后，通过SLAM计算出当前的位姿信息和地图，同时新增加一个水平放置的深度传感器来采集深度信息，根据上面求的位姿信息及可见光相机与深度传感器之间固有的位置变换关系，求得深度传感器的位姿，将深度图上的点投影到地图中。该方法不仅可以提供更为精确的位姿，而且能够创建出更加丰富的地图信息，这样更加发挥出SLAM在定位导航、自动避障中的优势，为用户带来更好的AR体验，更加方便人们的生活。
发明内容
为了解决上述问题，本发明提出了一种建图信息更准确丰富、位姿识别更精确的基于SLAM的建图装置和建图方法，具体为一种基于SLAM的建图装置，其特征在于，所述装置包括：
第一图像采集装置，用于采集第一环境图像，所述第一环境图像为所需建图的空间的顶部的图像信息；
第二图像采集装置，用于采集第二环境图像，所述第二环境图像为所需建图的空间的非顶部的图像信息；
建图模块，将第一环境图像和第二环境图像进行融合处理，得到最终的环境图像。
进一步的，所述第一图像采集装置为可见光图像采集装置，包括可见光照相机、可见光摄像机和超广角相机，所述第一环境图像为可见光图像。
进一步的，所述第二图像采集装置为深度图像采集装置，包括结构光传感器和TOF传感器，所述第二环境图像为深度图像。
进一步的，所述第二环境图像为所需建图的空间的水平方向的图像信息。
一种基于SLAM的建图方法，其特征在于，包括如下步骤：
通过第一图像采集装置获取所需建图的空间的顶部的图像信息，得到第一环境图像；
通过第二图像采集装置获取所需建图的空间的非顶部的图像信息，得到第二环境图像；
对第一环境图像进行数据处理，通过建图模块构建初始环境图和识别第一图像采集装置的位姿；
使用第一图像采集装置与第二图像采集装置之间的固有位置变换关系，对第一图像采集装置的位姿进行变换，得到第二图像采集装置的位姿；
使用第二图像采集装置的位姿，对第二环境图像进行变换，得到位姿匹配的第二环境图像；
将位姿匹配的第二环境图像与初始环境图进行融合，得到最终的环境图像。
进一步的，所述第一图像采集装置为可见光图像采集装置，包括可见光照相机、可见光摄像机和超广角相机，所述第一环境图像为可见光图像。
进一步的，所述第二图像采集装置为深度图像采集装置，包括结构光传感器和TOF传感器，所述第二环境图像为深度图像。
进一步的，所述第二图像采集装置为可同时采集深度图像和可见光图像的图像采集装置，所述第二环境图像包括深度图像和可见光图像。
进一步的，所述第二环境图像为所需建图的空间的水平方向的图像信息。
进一步的，通过SLAM的方法构建初始环境图和识别第一图像采集装置的位姿：
对第一环境图通过前端视觉里程计进行特征匹配，得到移动估计信息和位姿估计信息；
通过非线性优化对移动估计信息和位姿估计信息进行优化，得到高精度的移动估计信息和高精度的位姿估计信息；
对所述高精度的移动估计信息和高精度的位姿估计信息进行回环检测，若检测不是回环，则重新对第一环境图进行特征匹配和优化处理；若检测是回环，则根据高精度的移动估计信息和高精度的位姿估计信息构建初始环境图，且将所述高精度的位姿估计信息作为第一图像采集装置的位姿。
本发明所提出的一种基于SLAM的建图装置和建图方法优化了单目视觉SLAM的定位精度，且创建更加丰富的地图信息。该方法将可见光相机垂直顶式放置，通过采集到的图像基于SLAM计算出当前的位姿信息和地图，新增加一个水平放置的深度传感器来采集深度信息，根据上面求的位姿信息及可见光相机与深度传感器之间固有的位置变换关系，求得深度传感器的位姿，将深度图上的点投影到地图中。本发明所提出的一种基于SLAM的建图装置和建图方法不仅可实现实时运作，而且可以提供更为精确的位姿，并创建出更加丰富的地图信息，更加发挥出SLAM在定位导航、自动避障中的优势。
附图说明
图1为本发明提供的一种基于SLAM的建图装置的结构示意图；
图2为本发明提出的一种基于SLAM的建图方法的流程图；
图3为本发明提出的一种基于SLMA的建图方法中SLAM建图与位姿识别的流程图。
具体实施方式
下面通过具体实施方式结合图1至图3对本发明作进一步详细说明，以便能够更好地理解本发明的内容以及其各方面的优点。在以下的实施例中，提供以下具体实施方式的目的是便于对本发明的内容更清楚透彻的理解，而不是对本发明的限制。
实施例1
如图1所示，本实施例中公开了一种基于SLAM的建图装置，所述装置包括：第一图像采集装置1、第二图像采集装置2和建图模块。所述第一图像采集装置1用于采集第一环境图像，所述第一环境图像为所需建图的空间的顶部的图像信息；所述第二图像采集装置2用于采集第二环境图像，所述第二环境图像为所需建图的空间的非顶部的图像信息；所述建图模块，将第一环境图像和第二环境图像进行融合处理，得到最终的环境图像。
图1中未具体示出建图模块，其位于建图装置载体3的内部，可为各类能实现建图功能的装置，例如可编程的数据处理器等，所述建图装置载体3可为机器人等具体放置图像采集装置、建图装置等的设备。
所述第一图像采集装置1和所述第二图像采集装置2可根据具体使用情况选择不同的图像采集装置，例如可见光图像采集装置、深度图像采集装置、红外图像采集装置等。所述可见光图像采集装置，包括可见光照相机、可见光摄像机和超广角相机等。所述深度图像采集装置包括结构光传感器和TOF传感器。本实施例中，所述第一图像采集装置1使用可见光图像采集装置，所述第二图像采集装置2使用深度图像采集装置，所述第一环境图像为可见光图像，所述第二环境图像为深度图像。
使用第一图像采集装置1采集所需建图的空间的顶部的信息，形成第一环境图像，本实施例中，所述第一环境图像为所需建图的空间的顶部的可见光图像。使用第二图像采集装置2采集所需建图的空间的非顶部的信息，形成第二环境图像，本实施例中，所述第二环境图像为所需建图的空间的非顶部的深度图像。根据第一图像采集装置1和第二图像采集装置之间固定的位置关系，将第二环境图像进行位姿变换，得到与第一环境图像位姿匹配的第二环境图像，再将二者的图像信息融合进行建图。
如图1所示，第一图像采集装置1沿第一光轴11成像，第二图像采集装置2沿第二光轴21成像，所述第一光轴11的方向与坐标系中z方向平行且方向向上，即指向所需成像的空间的顶部，通过拍摄顶部信息进行建图和位姿识别，避免了拍摄图像中包含运动物体、降低建图和位姿识别的准确性，因此，本实施例通过拍摄几乎不含运动目标的顶部图像作为建图的图像基础，提高了SLAM建图和位姿识别的精度。
为了避免仅依靠顶部信息难以完全准确的构建场景地图以及精确的识别位姿，因此，使用与第一环境图像拍摄视角不同的第二环境图像加以弥补，通过第二环境图像丰富SLAM的图像信息，因此所述第二环境图像与第一环境图像的拍摄方向不同。从图1中，即体现为第一图像采集装置1与第二图像采集装置2的成像的光轴的方向不同，或者说，所述第一光轴11和所述第二光轴21成一定的夹角。所述夹角可为30°、45°、60°、120°、135°150°等，夹角的具体度数可根据使用情况而具体调节，本实施例中，所述夹角为90°，即所述第二环境图像拍摄的为所需建图的空间的水平方向的图像信息。
实施例2
如图1至图3所示，本实施例公开了一种基于SLAM的建图方法，其特征在于，包括如下步骤：
第一步，通过第一图像采集装置获取所需建图的空间的顶部的图像信息，得到第一环境图像；本实施例中，所述第一图像采集装置为可见光图像采集装置，包括可见光照相机、可见光摄像机和超广角相机等，所述第一环境图像为可见光图像。
第二步，通过第二图像采集装置获取所需建图的空间的非顶部的图像信息，得到第二环境图像；本实施例中，所述第二图像采集装置为深度图像采集装置，包括结构光传感器和TOF传感器，所述第二环境图像为深度图像。
所述第一图像采集装置和第二图像采集装置均不局限于可见光图像采集装置或者深度图像采集装置，所述第一图像采集装置和所述第二图像采集装置可为所有满足SLAM建图与定位需求的图像采集装置，也可为具有同时采集深度图像和可见光图像的功能的图像采集装置，此时，所述第一环境图像和/或第二环境图像包括深度图像和可见光图像。本实施例中虽以可见光图像采集装置和深度图像采集装置为例，但并不局限于此。
第三步，对第一环境图像进行数据处理，通过建图模块构建初始环境图和识别第一图像采集装置的位姿。本实施例中，第一图像采集装置的位姿表示为旋转矩阵R和位移t。
第四步，使用第一图像采集装置与第二图像采集装置之间的固有位置变换关系，对第一图像采集装置的位姿进行变换，得到第二图像采集装置的位姿。
本实施例中，第一图像采集装置与第二图像采集装置由于在安装时已固定了相对位置，因此其固有位置变换关系是可以由第一图像采集装置和第二图像采集装置之间的相对角度和相对位置来确定，即所述固有的位置变换关系表示为相对角度R1和相位位置t1。
本实施例中，由于所述第一图像采集装置使用垂直拍摄顶部的可见光摄像机、第二图像采集装置使用水平拍摄周围的深度传感器，即第一图像采集装置与第二图像采集装置之间的光轴在垂直方向上所成的角度为90°，即所述相对角度R1为(0°，0°，90°)，即代表第一图像采集装置和第二图像采集装置在坐标系x方向和y方向的夹角均为0°，在z方向的夹角为90°。
所述第二图像采集装置的位姿同样表示为旋转矩阵和位移，第二图像采集装置的位姿的旋转矩阵为R2＝R*R1，第二图像采集装置的位姿的位移t2＝t+t1。
第五步，使用第二图像采集装置的位姿，对第二环境图像进行变换，得到位姿匹配的第二环境图像。本实施例中，即使用R2和t2对第二环境图像进行坐标变换，使变换后的第二环境图像与第一环境图像的位姿相匹配。
第六步，将位姿匹配的第二环境图像与初始环境图进行融合，得到最终的环境图像。在具体进行图像融合的过程中，由于本实施例中第二环境图像为深度图像，因此在融合过程中即为将深度图像中的点投影到在可见光图像基础上建立的地图中，使最终的环境图像中的每个像素点既具有二维的可见光图像信息、又具有可反映第三维度的深度图像信息，从而形成三维环境图像，实现基于SLAM的三维环境地图的建立。
投影过程就是将深度图像中的点投影到世界坐标系中，如下所示：
1.所述深度图像中的点坐标为(u,v),该点处的深度为d，深度相机内参为首先将图像坐标转为相机坐标，即
2.由第四步中得到了第二图像采集装置的位姿R2和t2，这个位姿表示的是从世界坐标系到第二图像采集装置坐标系的变换关系，需要计算其逆变换关系，也就是第二图像采集装置坐标系到世界坐标系的变换关系：旋转矩阵R3＝R2 -1，位移t3＝-R2 -1t2；
3.用步骤1求出的相机坐标和步骤2求出的逆变换关系，将相机坐标投影到世界坐标系中，得到世界坐标Xw＝R3*Xcam+t3，这样就相当于将深度图像中的点投影到了在可见光图像基础上建立的地图中。
现有技术中，基于单目视觉SLAM的设备都是将可见光相机水平放置，通过SLAM来定位与建图，我们知道，在视觉SLAM中需要提取视频帧图像中的特征点来求解位姿，如果场景中有运动的物体，例如人走动，那么提取的运动物体上的特征点会非常影响位姿求解的精度，因此运行视觉SLAM的场景尽量只包含静态物体。因此，本实施例中使用垂直顶部的可见光相机获取所需建图的空间的顶部的图像信息，避免获取图像信息时引入运动物体，实现全静态物体的SLAM建图。
此外，为了丰富根据垂直顶部的图像信息而得到的SLAM建图信息，引入第二环境图像。所述第二环境图像为了达到其丰富根据第一环境图像得到的SLAM建图信息的目的，因此，第二环境图像必须提供出与第一环境图像不同的可供建图的信息。因此，本实施例中首选的是，第二环境图像提供了与第一环境图像具有不同视角的环境图像信息，本实施例中，第一图像采集装置采集图像的视角为所需建图的空间的顶部的图像信息，则第二图像采集装置采集图像的视角为所需建图的空间的非顶部的图像信息。
所述非顶部的图像信息，主要指的是所需建图的空间的四周的环境信息，即图1中包含坐标系中x方向和y方向上的环境信息，或者说所述第一图像采集装置的光轴与第二采集装置的光轴成一定角度，该角度范围为(0°，180°]；进一步的，优选的角度范围为[30°，150°]，在该角度范围内，第二环境图像可获取的图像信息范围较广，可选择的图像较多，为与第一环境图像融合提出了更大的选择空间；更进一步的，优选的角度范围为[60°，120°]，在该角度范围内，第一环境图像和第二环境图像之间交叉的信息较少，第一环境图像和第二环境图像的融合能够更有效的获取更多的环境信息；更进一步的，第一图像采集装置的光轴与第二采集装置的光轴所成角度选取90°，这也是本实施例中所优选的角度，再该角度下，所述第二环境图像为所需建图的空间的水平方向的图像信息，第一环境图像与第二环境图像之间的图像信息实现完全无交叉，根据第一环境图像和第二环境图像构建的环境图像能够最大效率的包含更多环境信息，实现最终的三维环境建图所包含的信息量最大、建图内容更丰富。
本实施例中所提出的建图方法所使用的环境可根据实际的使用需求进行选择，若所选择的使用环境为室内，则所述第一环境图像即为室内天花板的图像，所述第二环境图像室内房间墙壁、沙发等的图像。
进一步的，本实施例中通过SLAM的方法实现第三步中的构建初始环境图和识别第一图像采集装置的位姿，具体流程如图3所示：
对第一环境图通过前端视觉里程计进行特征匹配，得到移动估计信息和位姿估计信息；
通过非线性优化对移动估计信息和位姿估计信息进行优化，得到高精度的移动估计信息和高精度的位姿估计信息；
对所述高精度的移动估计信息和高精度的位姿估计信息进行回环检测，若检测不是回环，则重新对第一环境图进行特征匹配和优化处理；若检测是回环，则根据高精度的移动估计信息和高精度的位姿估计信息构建初始环境图，且将所述高精度的位姿估计信息作为第一图像采集装置的位姿。
以上所述的仅是本发明的实施方式，在此应当指出，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，所做出的变形和改变均属于本发明的保护范围。

Claims (10)

1.一种基于SLAM的建图装置，其特征在于，所述装置包括：
第一图像采集装置，用于采集第一环境图像，所述第一环境图像为所需建图的空间的顶部的图像信息；
第二图像采集装置，用于采集第二环境图像，所述第二环境图像为所需建图的空间的非顶部的图像信息；
建图模块，将第一环境图像和第二环境图像进行融合处理，得到最终的环境图像。
2.根据权利要求1所述的一种基于SLAM的建图装置，其特征在于，所述第一图像采集装置为可见光图像采集装置，包括可见光照相机、可见光摄像机和超广角相机，所述第一环境图像为可见光图像。
3.根据权利要求1所述的一种基于SLAM的建图装置，其特征在于，所述第二图像采集装置为深度图像采集装置，包括结构光传感器和TOF传感器，所述第二环境图像为深度图像。
4.根据权利要求1所述的一种基于SLAM的建图装置，其特征在于，所述第二环境图像为所需建图的空间的水平方向的图像信息。
5.一种基于SLAM的建图方法，其特征在于，包括如下步骤：
通过第一图像采集装置获取所需建图的空间的顶部的图像信息，得到第一环境图像；
通过第二图像采集装置获取所需建图的空间的非顶部的图像信息，得到第二环境图像；
对第一环境图像进行数据处理，通过建图模块构建初始环境图和识别第一图像采集装置的位姿；
使用第一图像采集装置与第二图像采集装置之间的固有位置变换关系，对第一图像采集装置的位姿进行变换，得到第二图像采集装置的位姿；
使用第二图像采集装置的位姿，对第二环境图像进行变换，得到位姿匹配的第二环境图像；
将位姿匹配的第二环境图像与初始环境图进行融合，得到最终的环境图像。
6.根据权利要求5所述的一种基于SLAM的建图方法，其特征在于，所述第一图像采集装置为可见光图像采集装置，包括可见光照相机、可见光摄像机和超广角相机，所述第一环境图像为可见光图像。
7.根据权利要求5所述的一种基于SLAM的建图方法，其特征在于，所述第二图像采集装置为深度图像采集装置，包括结构光传感器和TOF传感器，所述第二环境图像为深度图像。
8.根据权利要求5所述的一种基于SLAM的建图方法，其特征在于，所述第二图像采集装置为可同时采集深度图像和可见光图像的图像采集装置，所述第二环境图像包括深度图像和可见光图像。
9.根据权利要求5所述的一种基于SLAM的建图方法，其特征在于，所述第二环境图像为所需建图的空间的水平方向的图像信息。
10.根据权利要求5所述的一种基于SLAM的建图方法，其特征在于，通过SLAM的方法构建初始环境图和识别第一图像采集装置的位姿：
第一步，对第一环境图通过前端视觉里程计进行特征匹配，得到移动估计信息和位姿估计信息；
第二步，通过非线性优化对移动估计信息和位姿估计信息进行优化，得到高精度的移动估计信息和高精度的位姿估计信息；
第三步，对所述高精度的移动估计信息和高精度的位姿估计信息进行回环检测，若检测不是回环，则重新回到第一步和第二步，依次对第一环境图进行特征匹配和非线性优化处理；若检测是回环，则根据高精度的移动估计信息和高精度的位姿估计信息构建初始环境图，且将所述高精度的位姿估计信息作为第一图像采集装置的位姿。
CN201910294127.1A 2019-04-12 2019-04-12 一种基于slam的建图装置和建图方法 Active CN110163963B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910294127.1A CN110163963B (zh) 2019-04-12 2019-04-12 一种基于slam的建图装置和建图方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910294127.1A CN110163963B (zh) 2019-04-12 2019-04-12 一种基于slam的建图装置和建图方法

Publications (2)

Publication Number Publication Date
CN110163963A true CN110163963A (zh) 2019-08-23
CN110163963B CN110163963B (zh) 2023-06-20

Family

ID=67639365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910294127.1A Active CN110163963B (zh) 2019-04-12 2019-04-12 一种基于slam的建图装置和建图方法

Country Status (1)

Country Link
CN (1) CN110163963B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111060948A (zh) * 2019-12-14 2020-04-24 深圳市优必选科技股份有限公司 一种定位方法、装置、头盔及计算机可读存储介质
CN112917467A (zh) * 2019-12-06 2021-06-08 深圳市优必选科技股份有限公司 机器人的定位及地图构建方法、装置及终端设备
CN113793417A (zh) * 2021-09-24 2021-12-14 东北林业大学 一种可创建大规模地图的单眼slam方法
CN113884093A (zh) * 2020-07-02 2022-01-04 苏州艾吉威机器人有限公司 Agv建图和定位的方法、系统、装置及计算机可读存储介质
WO2022095473A1 (zh) * 2020-11-05 2022-05-12 广州小鹏自动驾驶科技有限公司 一种地图融合的方法及装置、服务器、存储介质
WO2023131090A1 (zh) * 2022-01-06 2023-07-13 华为技术有限公司 一种增强现实系统、多设备构建三维地图的方法及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104240297A (zh) * 2014-09-02 2014-12-24 东南大学 一种救援机器人三维环境地图实时构建方法
CN105045263A (zh) * 2015-07-06 2015-11-11 杭州南江机器人股份有限公司 一种基于Kinect的机器人自定位方法
CN106767785A (zh) * 2016-12-23 2017-05-31 成都通甲优博科技有限责任公司 一种双回路无人机的导航方法及装置
CN107564012A (zh) * 2017-08-01 2018-01-09 中国科学院自动化研究所 面向未知环境的增强现实方法及装置
CN109029417A (zh) * 2018-05-21 2018-12-18 南京航空航天大学 基于混合视觉里程计和多尺度地图的无人机slam方法
US20180364731A1 (en) * 2017-06-14 2018-12-20 PerceptIn, Inc. Monocular Modes for Autonomous Platform Guidance Systems with Auxiliary Sensors

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104240297A (zh) * 2014-09-02 2014-12-24 东南大学 一种救援机器人三维环境地图实时构建方法
CN105045263A (zh) * 2015-07-06 2015-11-11 杭州南江机器人股份有限公司 一种基于Kinect的机器人自定位方法
CN106767785A (zh) * 2016-12-23 2017-05-31 成都通甲优博科技有限责任公司 一种双回路无人机的导航方法及装置
US20180364731A1 (en) * 2017-06-14 2018-12-20 PerceptIn, Inc. Monocular Modes for Autonomous Platform Guidance Systems with Auxiliary Sensors
CN107564012A (zh) * 2017-08-01 2018-01-09 中国科学院自动化研究所 面向未知环境的增强现实方法及装置
CN109029417A (zh) * 2018-05-21 2018-12-18 南京航空航天大学 基于混合视觉里程计和多尺度地图的无人机slam方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
聂永芳等: "基于同时定位与地图构建的AUV导航定位方法综述", 《航天控制》 *
韩煦深等: "融合几何信息的视觉SLAM回环检测方法", 《信息技术》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112917467A (zh) * 2019-12-06 2021-06-08 深圳市优必选科技股份有限公司 机器人的定位及地图构建方法、装置及终端设备
CN111060948A (zh) * 2019-12-14 2020-04-24 深圳市优必选科技股份有限公司 一种定位方法、装置、头盔及计算机可读存储介质
CN113884093A (zh) * 2020-07-02 2022-01-04 苏州艾吉威机器人有限公司 Agv建图和定位的方法、系统、装置及计算机可读存储介质
WO2022095473A1 (zh) * 2020-11-05 2022-05-12 广州小鹏自动驾驶科技有限公司 一种地图融合的方法及装置、服务器、存储介质
CN113793417A (zh) * 2021-09-24 2021-12-14 东北林业大学 一种可创建大规模地图的单眼slam方法
WO2023131090A1 (zh) * 2022-01-06 2023-07-13 华为技术有限公司 一种增强现实系统、多设备构建三维地图的方法及设备

Also Published As

Publication number Publication date
CN110163963B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
CN110163963A (zh) 一种基于slam的建图装置和建图方法
CN104217439B (zh) 一种室内视觉定位系统及方法
JP6896077B2 (ja) 車両自動パーキングシステム及び方法
US10546387B2 (en) Pose determination with semantic segmentation
EP2208021B1 (en) Method of and arrangement for mapping range sensor data on image sensor data
CN109901590B (zh) 桌面机器人的回充控制方法
CN110497901A (zh) 一种基于机器人vslam技术的泊车位自动搜索方法和系统
WO2019138678A1 (ja) 情報処理装置及びその制御方法及びプログラム、並びに、車両の運転支援システム
CN110275540A (zh) 用于扫地机器人的语义导航方法及其系统
CN112161618B (zh) 仓储机器人定位与地图构建方法、机器人及存储介质
CN107665505B (zh) 基于平面检测实现增强现实的方法及装置
CN105856243A (zh) 一种移动智能机器人
CN103680291A (zh) 基于天花板视觉的同步定位与地图绘制的方法
CN112734765A (zh) 基于实例分割与多传感器融合的移动机器人定位方法、系统及介质
CN107665507B (zh) 基于平面检测实现增强现实的方法及装置
CN108955682A (zh) 手机室内定位导航方法
CN112308913B (zh) 一种基于视觉的车辆定位方法、装置及车载终端
CN111182174B (zh) 一种扫地机器人补光的方法及装置
CN108919811A (zh) 一种基于tag标签的室内移动机器人SLAM方法
CN111061266A (zh) 一种实时场景分析和空间避障的夜间值守机器人
CN206611521U (zh) 一种基于多传感器的车载环境识别系统及全方位视觉模块
CN110039536A (zh) 室内地图构造和定位的自导航机器人系统及图像匹配方法
CN108544494A (zh) 一种基于惯性和视觉特征的定位装置、方法及机器人
KR101319526B1 (ko) 이동 로봇을 이용하여 목표물의 위치 정보를 제공하기 위한 방법
CN105321186B (zh) 一种基于正射投影的封闭空间地图采集方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant