CN109389633A - 基于lsd-slam和激光雷达的深度信息估计方法 - Google Patents

基于lsd-slam和激光雷达的深度信息估计方法 Download PDF

Info

Publication number
CN109389633A
CN109389633A CN201811009501.0A CN201811009501A CN109389633A CN 109389633 A CN109389633 A CN 109389633A CN 201811009501 A CN201811009501 A CN 201811009501A CN 109389633 A CN109389633 A CN 109389633A
Authority
CN
China
Prior art keywords
laser radar
slam
lsd
data
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811009501.0A
Other languages
English (en)
Other versions
CN109389633B (zh
Inventor
李晓飞
华崴鉴
刘浏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Post and Telecommunication University
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN201811009501.0A priority Critical patent/CN109389633B/zh
Publication of CN109389633A publication Critical patent/CN109389633A/zh
Application granted granted Critical
Publication of CN109389633B publication Critical patent/CN109389633B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明公开了一种基于LSD‑SLAM和激光雷达的深度信息估计方法，首先利用LSD‑SLAM算法通过单目摄像头得到当前场景的点云数据，并将其导出为“.ply”文件；随后利用激光雷达得到周围场景的深度数据并进行截取，得到摄像头所能获取的相应范围内的深度数据；最后，将点云数据和激光雷达数据做相应位置的匹配，并记录所匹配的每个对应点的深度数据的差值，再根据此差值对整个点云数据进行更新，从而得到当前场景较为准确的深度信息。采用本发明可以在单目摄像头所获得的当前场景的深度信息的基础上，利用激光雷达的硬件优势，将两种深度信息进行匹配融合，最大程度地保证了当前场景的深度信息的准确性。

Description

基于LSD-SLAM和激光雷达的深度信息估计方法
技术领域
本发明具体涉及一种基于LSD-SLAM和激光雷达的深度信息估计方法。
背景技术
LSD-SLAM(Large Scale Direct monocular SLAM)是J.Engle等人于2014 年提出的SLAM工作，它标志着单目直接法在SLAM中的成功应用。LSD-SLAM的核心贡献是将直接法应用到了半稠密的单目SLAM中，它不仅不需要计算特征点，还能构建半稠密的地图。
LSD-SLAM的直接法是针对像素进行的，在CPU上实现了半稠密场景的重建，基于特征点的方法只能是稀疏的，而进行稠密重建的方案大多要使用RGB-D传感器，或者使用GPU构建稠密地图。TUM计算机视觉组在多年对直接法研究的基础上，使用了一些精妙的手段来保证追踪的实时性与稳定性，实现了这种CPU上的实时半稠密SLAM。
但是通过LSD-SLAM获取当前场景深度信息必然存在着较大的误差，本发明通过将点云的深度信息与相应范围的激光雷达的深度信息相融合，能起到有效地减少深度数据误差的作用。
发明内容
发明目的：本发明提供一种基于LSD-SLAM和激光雷达的深度信息估计方法，能充分发挥激光雷达测距的优势，通过匹配融合，弥补LSD-SLAM算法从视觉上估计深度信息的不足的问题。
技术方案：本发明所述的一种基于LSD-SLAM和激光雷达的深度信息估计方法，包括以下步骤：
(1)通过LSD-SLAM算法得到当前场景的点云数据，并将其导出；
(2)利用激光雷达得到周围场景相应范围内的深度数据；
(3)将点云数据和激光雷达数据做相应位置的匹配，并记录所匹配的每个对应位置的深度数据的差值；
(4)根据步骤(3)所得差值对整个点云数据进行更新，从而得到当前场景较为准确的深度信息。
所述步骤(1)包括以下步骤：
(11)将LSD-SLAM所依赖的ROS系统去除掉，并使用相应的库进行代替；
(12)保存当前场景的点云数据，并将点云缓存为“.ply”文件。
步骤(2)所述的激光雷达位于单目摄像头正下方，初始角度一致。
步骤(2)所述的深度数据为激光雷达和单目摄像头视角所对应角度范围内的深度数据。
步骤(3)所述深度数据的差值为一度。
有益效果：与现有技术相比，本发明的有益效果：充分发挥激光雷达测距的优势，通过匹配融合，弥补LSD-SLAM算法从视觉上估计深度信息的不足，可获得当前场景较为准确的深度信息。
附图说明
图1本发明流程示意图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
图1为本发明的流程图，包括以下步骤：
1、通过将LSD-SLAM算法得到当前场景的点云数据，并将其导出。
首先，将LSD-SLAM所依赖的ROS系统去除掉。ROS操作系统在LSD-SLAM中只是起到了数据的输入和输出的作用，完全可以通过G2O，Eigen，Qt等库来进行代替，这样就能不依赖于冗杂的ROS操作系统而实现LSD SLAM，显著地提高了运行的效率。具体方案是把源码中的ROS的发布订阅机制去除掉，采用线程间的通信方式来代替，并通过OpenGL图像库来代替源码中三维显示方案。
其次，保存当前场景的点云数据。该算法在运行的时候会对当前场景进行深度信息的估计，从而生成点云数据，每当点云数据产生的时候，通过文件流的写操作将每个点云的数据写到“.ply”文件里，当点云数据不再更新的时候，关闭文件流。
2、利用激光雷达得到周围场景相应范围内的深度数据。
原始的激光雷达的数据的范围是360度的，但是这里只需要和单目摄像头视角所对应的角度的范围内的深度数据即可。将激光雷达和摄像头的初始角度设为一致，然后记录下摄像头的视角范围，在激光雷达扫描数据的时候，如果所扫描到的点的角度不在这个范围的话，则丢弃，只保留在这个角度范围的深度数据。
3、将点云数据和激光雷达数据做相应位置的匹配，并记录所匹配的每个对应位置的深度数据的差值。
由于激光雷达是放在摄像头正下方的，因此认为点云数据中y坐标为0的点云的深度数据是和激光雷达所扫描到的数据是在同一个高度的。通过激光雷达所扫描到的点的深度数据和角度数据，算出每个点的x坐标，并将该点与点云数据中y坐标为0的点进行匹配，凡是x坐标的差值在1度范围之内的，均认为是对应的点。
4、根据步骤3所得差值对整个点云数据进行更新，从而得到当前场景较为准确的深度信息。
计算出步骤3中的点云数据和激光雷达数据中对应位置的点的深度信息的差值，并将此差值结合该点的x坐标用一个map数据结构进行保存，用一个 vector保存所有的map数据；
遍历点云文件，依次点云数据中与vector中的map的x坐标的差值在1度以内的点的深度数据均做相应的差值处理，进而更新整个点云数据。

Claims (5)

1.一种基于LSD-SLAM和激光雷达的深度信息估计方法，其特征在于，包括以下步骤：
(1)通过LSD-SLAM算法得到当前场景的点云数据，并将其导出；
(2)利用激光雷达得到周围场景相应范围内的深度数据；
(3)将点云数据和激光雷达数据做相应位置的匹配，并记录所匹配的每个对应位置的深度数据的差值；
(4)根据步骤(3)所得差值对整个点云数据进行更新，从而得到当前场景较为准确的深度信息。
2.根据权利要求1所述的一种基于LSD-SLAM和激光雷达的深度信息估计方法，其特征在于，所述步骤(1)包括以下步骤：
(11)将LSD-SLAM所依赖的ROS系统去除掉，并使用相应的库进行代替；
(12)保存当前场景的点云数据，并将点云缓存为“.ply”文件。
3.根据权利要求1所述的一种基于LSD-SLAM和激光雷达的深度信息估计方法，其特征在于，步骤(2)所述的激光雷达位于单目摄像头正下方，初始角度一致。
4.根据权利要求1所述的一种基于LSD-SLAM和激光雷达的深度信息估计方法，其特征在于，步骤(2)所述的深度数据为激光雷达和单目摄像头视角所对应角度范围内的深度数据。
5.根据权利要求1所述的一种基于LSD-SLAM和激光雷达的深度信息估计方法，其特征在于，步骤(3)所述深度数据的差值为一度。
CN201811009501.0A 2018-08-31 2018-08-31 基于lsd-slam和激光雷达的深度信息估计方法 Active CN109389633B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811009501.0A CN109389633B (zh) 2018-08-31 2018-08-31 基于lsd-slam和激光雷达的深度信息估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811009501.0A CN109389633B (zh) 2018-08-31 2018-08-31 基于lsd-slam和激光雷达的深度信息估计方法

Publications (2)

Publication Number Publication Date
CN109389633A true CN109389633A (zh) 2019-02-26
CN109389633B CN109389633B (zh) 2022-02-11

Family

ID=65417685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811009501.0A Active CN109389633B (zh) 2018-08-31 2018-08-31 基于lsd-slam和激光雷达的深度信息估计方法

Country Status (1)

Country Link
CN (1) CN109389633B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111627056A (zh) * 2020-05-14 2020-09-04 清华大学 基于深度估计的行车能见度确定方法及装置
CN114529603A (zh) * 2020-11-23 2022-05-24 新疆大学 一种基于激光slam与单目slam融合的里程计方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803267A (zh) * 2017-01-10 2017-06-06 西安电子科技大学 基于Kinect的室内场景三维重建方法
CN108229366A (zh) * 2017-12-28 2018-06-29 北京航空航天大学 基于雷达和图像数据融合的深度学习车载障碍物检测方法
CN108447116A (zh) * 2018-02-13 2018-08-24 中国传媒大学 基于视觉slam的三维场景重建方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803267A (zh) * 2017-01-10 2017-06-06 西安电子科技大学 基于Kinect的室内场景三维重建方法
CN108229366A (zh) * 2017-12-28 2018-06-29 北京航空航天大学 基于雷达和图像数据融合的深度学习车载障碍物检测方法
CN108447116A (zh) * 2018-02-13 2018-08-24 中国传媒大学 基于视觉slam的三维场景重建方法和装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111627056A (zh) * 2020-05-14 2020-09-04 清华大学 基于深度估计的行车能见度确定方法及装置
CN111627056B (zh) * 2020-05-14 2023-09-01 清华大学 基于深度估计的行车能见度确定方法及装置
CN114529603A (zh) * 2020-11-23 2022-05-24 新疆大学 一种基于激光slam与单目slam融合的里程计方法
CN114529603B (zh) * 2020-11-23 2023-05-19 新疆大学 一种基于激光slam与单目视觉slam融合的里程计方法

Also Published As

Publication number Publication date
CN109389633B (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
CN110568447B (zh) 视觉定位的方法、装置及计算机可读介质
US11210804B2 (en) Methods, devices and computer program products for global bundle adjustment of 3D images
US9269003B2 (en) Diminished and mediated reality effects from reconstruction
CN109887003A (zh) 一种用于进行三维跟踪初始化的方法与设备
US8929645B2 (en) Method and system for fast dense stereoscopic ranging
CN109191554B (zh) 一种超分辨图像重建方法、装置、终端和存储介质
CN106846467B (zh) 基于每个相机位置优化的实体场景建模方法和系统
US11315313B2 (en) Methods, devices and computer program products for generating 3D models
CN110853075A (zh) 一种基于稠密点云与合成视图的视觉跟踪定位方法
US20240070972A1 (en) Rendering new images of scenes using geometry-aware neural networks conditioned on latent variables
CN110567441A (zh) 基于粒子滤波的定位方法、定位装置、建图及定位的方法
CN109389633A (zh) 基于lsd-slam和激光雷达的深度信息估计方法
Wan et al. Drone image stitching using local mesh-based bundle adjustment and shape-preserving transform
CN110428461B (zh) 结合深度学习的单目slam方法及装置
KR20230150867A (ko) 얼굴 표정, 신체 자세 형상 및 의류 퍼포먼스 캡처를 위해 암시적 구별가능 렌더러를 사용하는 멀티뷰 신경 사람 예측
CN117990088A (zh) 一种使用三维高斯后端表征的稠密视觉slam方法及系统
Sizintsev et al. Long-range augmented reality with dynamic occlusion rendering
Zhang et al. End-to-end learning of self-rectification and self-supervised disparity prediction for stereo vision
Lin et al. Marker-less registration based on template tracking for augmented reality
Hou et al. Octree-based approach for real-time 3d indoor mapping using rgb-d video data
Ahmed et al. Time-coherent 3D animation reconstruction from RGB-D video
Shin et al. 3D scene reconstruction using colorimetric and geometric constraints on iterative closest point method
CN115019167B (zh) 基于移动终端的融合定位方法、系统、设备及存储介质
Li et al. Truncated signed distance function volume integration based on voxel-level optimization for 3D reconstruction
Jordt et al. Reconstruction of deformation from depth and color video with explicit noise models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant