CN107358624A - 单目稠密即时定位与地图重建方法 - Google Patents

单目稠密即时定位与地图重建方法 Download PDF

Info

Publication number
CN107358624A
CN107358624A CN201710431070.6A CN201710431070A CN107358624A CN 107358624 A CN107358624 A CN 107358624A CN 201710431070 A CN201710431070 A CN 201710431070A CN 107358624 A CN107358624 A CN 107358624A
Authority
CN
China
Prior art keywords
key frame
plane
dense
candidate
plane domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710431070.6A
Other languages
English (en)
Other versions
CN107358624B (zh
Inventor
杨欣
薛唐立
罗鸿城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Several Ancient Technology Co Ltd
Original Assignee
Wuhan Several Ancient Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Several Ancient Technology Co Ltd filed Critical Wuhan Several Ancient Technology Co Ltd
Priority to CN201710431070.6A priority Critical patent/CN107358624B/zh
Publication of CN107358624A publication Critical patent/CN107358624A/zh
Application granted granted Critical
Publication of CN107358624B publication Critical patent/CN107358624B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种单目稠密即时定位与地图重建方法，使用更快速，鲁棒性更好的平面区域检测算法，而且在重建之前先找到稳定性好，可信度高的平面区域，接着进行重建，将时间大大降低；重建之前先找到稳定性好，可信度高的平面区域，只重建这些区域，在接下来的过滤过程中只有很少一部分重建结果会被舍弃，大大提高重建效率；由于平面区域检测算法存在噪声，我们使用多平面分割的方法来重建平面区域；本发明的单目稠密即时定位与地图重建方法能够在不使用GPU的情况下实时的运行；在TUM数据集上，我们的稠密重建的算法运行时间只需要DPPTAM的35％左右，而且在地图的精度和完整率方面，我们的算法要比DPPTAM的高。

Description

单目稠密即时定位与地图重建方法
技术领域
本发明涉及即时定位与地图重建技术，尤其涉及一种单目稠密即时定位与地图重建方法。
背景技术
即时的定位与地图重建技术(SLAM)能够预测传感器或者机器人的姿态并且能实时的重建出周围环境的地图，该技术在机器人和增强现实领域有着广泛的应用。然而，针对室内场景的单目实时稠密地图重建依然是个挑战性很大的问题。现有的单目SLAM系统，要么使用关键点得到一个稀疏的地图，要么使用高梯度点得到一个半稠密的地图，对于关键点或者高梯度点可以使用三角测量的方法获取深度。对于大块的纹理不丰富的区域很难找到匹配点，很难准确预测这些区域的深度。因此利用单目摄像头构建一个实时的稠密SLAM系统非常困难。目前，最好的单目视觉稠密SLAM系统是DPPTAM，该系统利用平面模型对大块的纹理不丰富区域建模，用区域内少量有深度的点来恢复出整个平面区域所有点的深度。该系统存在以下几个主要问题：
1.时间较慢：所使用的检测平面区域的算法比较慢，而且对每一个平面区域都去重建，需要大量时间；
2.效率不高：把每个平面重建出来之后，会通过过滤条件把很多重建结果舍弃掉，导致效率不高；
3.重建精度不高：平面检测算法存在噪声，造成有些区域内可能含有不止一个平面，如果把这些区域按照只有一个平面去重建，带来很大的重建误差。
发明内容
有鉴于此，本发明提出了一种时间快、效率高、精度高、地图的完整度高的单目稠密即时定位与地图重建方法。
本发明的技术方案是这样实现的：本发明提供了一种单目稠密即时定位与地图重建方法，包括以下步骤，
S1，获取图片流，通过视觉追踪，优化得到每一帧图片对应的相机姿态；
S2，半稠密地图重建，预测高梯度点的深度，得到关键帧和半稠密点；
S3，稠密地图重建，利用平面模型去拟合大块的纹理不丰富区域，用区域内少量有深度的点来恢复出整个平面区域所有点的深度。
在以上技术方案的基础上，优选的，所述步骤S3包括，
S3-a，对于每个关键帧，提取最大稳定颜色区域，作为候选的平面区域；
S3-b，对于关键帧1的一个候选的平面区域A，将A内有深度的点，通过相机位姿投影到另一个关键帧2，如果有足够多的投影点落在了关键帧2中某个候选的平面区域B内，我们进行反向投影，将B中有深度的点投影到关键帧1中，如果有足够多的点也落在了A内部，认为关键帧1中的A和关键帧2中的B匹配，如果双向匹配过程中的任何一次匹配不成功，舍弃该候选的平面区域A；
S3-c，对于候选的平面区域中有深度的点，随机的选取其中不共线的三个点求取一个平面模型，计算符合该平面模型的内点数量，不断的进行这一过程，找到内点数量最多的那个平面模型，记录该平面模型，同时将内点从所有3D点集中移出，如果剩下的3D点的数量多于原来3D点总数量的10％，继续上述过程，最后得到1个或者多个平面模型以及每个平面模型对应的3D点；接着通过比较每个2D像素点在每个平面模型上的NCC响应以及进行平面交线划分的方式将最大稳定颜色区域内的2D像素点分别对应到不同的平面模型上；
S3-d，同一个候选的平面区域会出现在多个关键帧中，对于关键帧1中的最大稳定颜色区域A以及关键帧2中的候选的平面区域B，这两个区域会重建出两个结果，如果A中有90％的3D点经过位姿变换后都能落到B重建的平面上，我们就把这两个平面模型融合为一个新的模型；如果某个匹配的候选的平面区域重建的结果不符合该模型，则将这个不符合该模型的重建结果舍弃。
在以上技术方案的基础上，优选的，所述步骤S1中，通过最小化高梯度点的光度误差，优化得到每一帧图片对应的相机姿态。
在以上技术方案的基础上，优选的，所述步骤S2中使用立体视觉中的三角测量法来预测高梯度点的深度。
本发明的单目稠密即时定位与地图重建方法相对于现有技术具有以下有益效果：
(1)使用更快速，鲁棒性更好的平面区域检测算法，而且在重建之前先找到稳定性好，可信度高的平面区域，接着进行重建，将时间大大降低；
(2)重建之前先找到稳定性好，可信度高的平面区域，只重建这些区域，在接下来的过滤过程中只有很少一部分重建结果会被舍弃，大大提高重建效率；
(3)由于平面区域检测算法存在噪声，我们使用多平面分割的方法来重建平面区域；
(4)本发明的单目稠密即时定位与地图重建方法能够在不使用GPU的情况下实时的运行；在TUM数据集上，我们的稠密重建的算法运行时间只需要DPPTAM的35％左右，而且在地图的精度和完整率方面，我们的算法要比DPPTAM的高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明单目稠密即时定位与地图重建方法流程图。
具体实施方式
下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
如图1所示，本发明的单目稠密即时定位与地图重建方法，包括以下步骤：
S1，视觉追踪。获取图片流，通过视觉追踪，优化得到每一帧图片对应的相机姿态。具体的，通过最小化高梯度点的光度误差，优化得到每一帧图片对应的相机姿态。
S2，半稠密地图重建。预测高梯度点的深度，得到关键帧和半稠密点。具体的，使用立体视觉中的三角测量法来预测高梯度点的深度。
S3，稠密地图重建。利用平面模型去拟合大块的纹理不丰富区域，用区域内少量有深度的点来恢复出整个平面区域所有点的深度。
稠密地图重建是本发明的关键步骤，具体的，其包括以下步骤，
S3-a，准平面区域提取。对于每个关键帧，提取最大稳定颜色区域，作为候选的平面区域；
S3-b，平面区域的匹配。每个候选的平面区域内都存在少量的有深度信息的点，这些点来自于半稠密重建线程。对于关键帧1的一个候选的平面区域A，将A内有深度的点，通过相机位姿投影到另一个关键帧2，如果有足够多的投影点落在了关键帧2中某个候选的平面区域B内，我们进行反向投影，将B中有深度的点投影到关键帧1中，如果有足够多的点也落在了A内部，认为关键帧1中的A和关键帧2中的B匹配，如果双向匹配过程中的任何一次匹配不成功，舍弃该候选的平面区域A；
S3-c，多平面分割。然而由于候选的平面区域分割及匹配过程中存在噪声，得到的准平面区域中有一些可能是由多个平面组成的,因此我们进行多平面的分割。对于候选的平面区域中有深度的点，随机的选取其中不共线的三个点求取一个平面模型，计算符合该平面模型的内点数量，不断的进行这一过程，找到内点数量最多的那个平面模型，记录该平面模型，同时将内点从所有3D点集中移出，如果剩下的3D点的数量多于原来3D点总数量的10％，继续上述过程，最后得到1个或者多个平面模型以及每个平面模型对应的3D点；接着通过比较每个2D像素点在每个平面模型上的NCC响应以及进行平面交线划分的方式将最大稳定颜色区域内的2D像素点分别对应到不同的平面模型上；
S3-d，错误平面的过滤及多平面的融合。同一个候选的平面区域会出现在多个关键帧中，对于关键帧1中的最大稳定颜色区域A以及关键帧2中的候选的平面区域B，这两个区域会重建出两个结果，如果A中有90％的3D点经过位姿变换后都能落到B重建的平面上，我们就把这两个平面模型融合为一个新的模型；如果某个匹配的候选的平面区域重建的结果不符合该模型，则将这个不符合该模型的重建结果舍弃。
以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种单目稠密即时定位与地图重建方法，其特征在于：包括以下步骤，
S1，获取图片流，通过视觉追踪，优化得到每一帧图片对应的相机姿态；
S2，半稠密地图重建，预测高梯度点的深度，得到关键帧和半稠密点；
S3，稠密地图重建，利用平面模型去拟合大块的纹理不丰富区域，用区域内少量有深度的点来恢复出整个平面区域所有点的深度。
2.如权利要求1所述的单目稠密即时定位与地图重建方法，其特征在于：所述步骤S3包括，
S3-a，对于每个关键帧，提取最大稳定颜色区域，作为候选的平面区域；
S3-b，对于关键帧1的一个候选的平面区域A，将A内有深度的点，通过相机位姿投影到另一个关键帧2，如果有足够多的投影点落在了关键帧2中某个候选的平面区域B内，我们进行反向投影，将B中有深度的点投影到关键帧1中，如果有足够多的点也落在了A内部，认为关键帧1中的A和关键帧2中的B匹配，如果双向匹配过程中的任何一次匹配不成功，舍弃该候选的平面区域A；
S3-c，对于候选的平面区域中有深度的点，随机的选取其中不共线的三个点求取一个平面模型，计算符合该平面模型的内点数量，不断的进行这一过程，找到内点数量最多的那个平面模型，记录该平面模型，同时将内点从所有3D点集中移出，如果剩下的3D点的数量多于原来3D点总数量的10％，继续上述过程，最后得到1个或者多个平面模型以及每个平面模型对应的3D点；接着通过比较每个2D像素点在每个平面模型上的NCC响应以及进行平面交线划分的方式将最大稳定颜色区域内的2D像素点分别对应到不同的平面模型上；
S3-d，同一个候选的平面区域会出现在多个关键帧中，对于关键帧1中的最大稳定颜色区域A以及关键帧2中的候选的平面区域B，这两个区域会重建出两个结果，如果A中有90％的3D点经过位姿变换后都能落到B重建的平面上，我们就把这两个平面模型融合为一个新的模型；如果某个匹配的候选的平面区域重建的结果不符合该模型，则将这个不符合该模型的重建结果舍弃。
3.如权利要求1所述的单目稠密即时定位与地图重建方法，其特征在于：所述步骤S1中，通过最小化高梯度点的光度误差，优化得到每一帧图片对应的相机姿态。
4.如权利要求1所述的单目稠密即时定位与地图重建方法，其特征在于：所述步骤S2中使用立体视觉中的三角测量法来预测高梯度点的深度。
CN201710431070.6A 2017-06-06 2017-06-06 单目稠密即时定位与地图重建方法 Expired - Fee Related CN107358624B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710431070.6A CN107358624B (zh) 2017-06-06 2017-06-06 单目稠密即时定位与地图重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710431070.6A CN107358624B (zh) 2017-06-06 2017-06-06 单目稠密即时定位与地图重建方法

Publications (2)

Publication Number Publication Date
CN107358624A true CN107358624A (zh) 2017-11-17
CN107358624B CN107358624B (zh) 2020-01-07

Family

ID=60272693

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710431070.6A Expired - Fee Related CN107358624B (zh) 2017-06-06 2017-06-06 单目稠密即时定位与地图重建方法

Country Status (1)

Country Link
CN (1) CN107358624B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107945265A (zh) * 2017-11-29 2018-04-20 华中科技大学 基于在线学习深度预测网络的实时稠密单目slam方法与系统
CN108305278A (zh) * 2018-01-30 2018-07-20 西南交通大学 一种orb-slam算法中图像匹配相关性改进方法
CN110634150A (zh) * 2018-06-25 2019-12-31 上海汽车集团股份有限公司 一种即时定位与地图构建的生成方法、系统及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104732518A (zh) * 2015-01-19 2015-06-24 北京工业大学 一种基于智能机器人地面特征的ptam改进方法
CN105654492A (zh) * 2015-12-30 2016-06-08 哈尔滨工业大学 基于消费级摄像头的鲁棒实时三维重建方法
CN106251399A (zh) * 2016-08-30 2016-12-21 广州市绯影信息科技有限公司 一种基于lsd‑slam的实景三维重建方法
CN106446815A (zh) * 2016-09-14 2017-02-22 浙江大学 一种同时定位与地图构建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104732518A (zh) * 2015-01-19 2015-06-24 北京工业大学 一种基于智能机器人地面特征的ptam改进方法
CN105654492A (zh) * 2015-12-30 2016-06-08 哈尔滨工业大学 基于消费级摄像头的鲁棒实时三维重建方法
CN106251399A (zh) * 2016-08-30 2016-12-21 广州市绯影信息科技有限公司 一种基于lsd‑slam的实景三维重建方法
CN106446815A (zh) * 2016-09-14 2017-02-22 浙江大学 一种同时定位与地图构建方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ALEJO CONCHA 等: "DPPTAM: Dense Piecewise Planar Tracking and Mapping from a Monocular Sequence", 《2015 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS)》 *
ALEJO CONCHA 等: "Visual-Inertial Direct SLAM", 《ICRA 2016》 *
J. ENGEL 等: "LSD-SLAM: Large-scale direct monocular slam", 《COMPUTER VISION–ECCV 2014》 *
JAKOB ENGEL 等: "Semi-Dense Visual Odometry for a Monocular Camera", 《(ICCV) (2013)》 *
刘浩敏 等: "面向大尺度场景的单目同时定位与地图构建", 《中国科学：信息科学》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107945265A (zh) * 2017-11-29 2018-04-20 华中科技大学 基于在线学习深度预测网络的实时稠密单目slam方法与系统
CN107945265B (zh) * 2017-11-29 2019-09-20 华中科技大学 基于在线学习深度预测网络的实时稠密单目slam方法与系统
CN108305278A (zh) * 2018-01-30 2018-07-20 西南交通大学 一种orb-slam算法中图像匹配相关性改进方法
CN108305278B (zh) * 2018-01-30 2020-02-21 西南交通大学 一种orb-slam算法中图像匹配相关性改进方法
CN110634150A (zh) * 2018-06-25 2019-12-31 上海汽车集团股份有限公司 一种即时定位与地图构建的生成方法、系统及装置
CN110634150B (zh) * 2018-06-25 2023-08-11 上海汽车集团股份有限公司 一种即时定位与地图构建的生成方法、系统及装置

Also Published As

Publication number Publication date
CN107358624B (zh) 2020-01-07

Similar Documents

Publication Publication Date Title
CN111968129B (zh) 具有语义感知的即时定位与地图构建系统及方法
Wu et al. Virtual sparse convolution for multimodal 3d object detection
Li et al. Interacting attention graph for single image two-hand reconstruction
Tateno et al. When 2.5 D is not enough: Simultaneous reconstruction, segmentation and recognition on dense SLAM
CN109215117B (zh) 基于ORB与U-net的花卉三维重建方法
Franco et al. Exact polyhedral visual hulls
Liu et al. A point-cloud-based multiview stereo algorithm for free-viewpoint video
CN102750711B (zh) 一种基于图像分割和运动估计的双目视频深度图求取方法
Li et al. Confidence-based large-scale dense multi-view stereo
CN109598290A (zh) 一种基于两级检测相结合的图像小目标检测方法
EP3602494A1 (en) Robust mesh tracking and fusion by using part-based key frames and priori model
CN110688905B (zh) 一种基于关键帧的三维物体检测与跟踪方法
CN113362247A (zh) 一种激光融合多目相机的语义实景三维重建方法及系统
Tang et al. ESTHER: Joint camera self-calibration and automatic radial distortion correction from tracking of walking humans
CN106885574A (zh) 一种基于重跟踪策略的单目视觉机器人同步定位与地图构建方法
CN104851127B (zh) 一种基于交互的建筑物点云模型纹理映射方法及装置
Li et al. ADR-MVSNet: A cascade network for 3D point cloud reconstruction with pixel occlusion
CN104616286A (zh) 快速的半自动多视图深度修复方法
CN107358624A (zh) 单目稠密即时定位与地图重建方法
Song et al. Volumetric stereo and silhouette fusion for image-based modeling
CN110021043A (zh) 一种基于立体匹配和置信度传播的场景深度获取方法
Liu et al. High-quality textured 3D shape reconstruction with cascaded fully convolutional networks
Stucker et al. ResDepth: Learned residual stereo reconstruction
CN109389621A (zh) 基于多模式深度特征融合的rgb-d目标跟踪方法
Xia et al. 3-D HANet: A flexible 3-D heatmap auxiliary network for object detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200107