CN110389348A - 基于激光雷达与双目相机的定位与导航方法及装置 - Google Patents

基于激光雷达与双目相机的定位与导航方法及装置 Download PDF

Info

Publication number
CN110389348A
CN110389348A CN201910694349.2A CN201910694349A CN110389348A CN 110389348 A CN110389348 A CN 110389348A CN 201910694349 A CN201910694349 A CN 201910694349A CN 110389348 A CN110389348 A CN 110389348A
Authority
CN
China
Prior art keywords
pose
point
laser radar
camera
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910694349.2A
Other languages
English (en)
Other versions
CN110389348B (zh
Inventor
张轶
张钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201910694349.2A priority Critical patent/CN110389348B/zh
Publication of CN110389348A publication Critical patent/CN110389348A/zh
Application granted granted Critical
Publication of CN110389348B publication Critical patent/CN110389348B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/08—Interpretation of pictures by comparison of two or more pictures of the same area the pictures not being supported in the same relative position as when they were taken
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明涉及基于激光雷达与双目相机的定位与导航方法，通过双目立体相机获取相机图像，处理来自双目立体相机的图像信息获取位姿；通过激光雷达获取雷达图像，处理来自激光雷达的图像信息获取位姿；对两种位姿进行优化融合，获取关于环境的稠密点云模型和稀疏点云模型分别用于导航和精确定位；基于激光雷达与双目相机的定位与导航装置，包括图像模块、激光雷达模块、位姿优化模块、双目立体相机、激光雷达。本申请采用用于对来自双目立体相机的位姿和来自激光雷达的位姿进行优化融合的位姿优化模块，将双目立体相机和多线激光雷达进行融合获得了高精度的位姿估计，以及高精度的稠密点云地图，其可直接用于无人车的导航和定位。

Description

基于激光雷达与双目相机的定位与导航方法及装置
技术领域
本发明属于无人小车的定位方法技术领域，具体涉及基于激光雷达与双目相机的定位与导航方法及装置。
背景技术
随着传感器种类的多元化和计算能力的增强，各型专用机器人的适用范围变得更加广泛。为了适应广泛多变的环境，单一的传感器在探测距离和探测精度已经成为了专用机器人更大的瓶颈。多传感器的融合能够能够提升机器人在复杂场景下的探测精度。
为了解决以上问题我方研发出了一种基于激光雷达与双目相机的定位与导航方法及装置。
发明内容
本发明的目的就在于为了解决上述问题而提供基于激光雷达与双目相机的定位与导航方法及装置。
本发明通过以下技术方案来实现上述目的：
基于激光雷达与双目相机的定位与导航方法，包括步骤：
通过双目立体相机获取相机图像，处理来自双目立体相机的图像信息获取位姿；
通过激光雷达获取雷达图像，处理来自激光雷达的图像信息获取位姿；
对来自双目立体相机图像的位姿和来自激光雷达的位姿进行优化融合，获取关于环境的稠密点云模型和稀疏点云模型分别用于导航和精确定位。
基于激光雷达与双目相机的定位与导航装置，包括：
用于处理双目立体相机采集的图像的图像模块；
用于处理激光雷达采集的数据的激光雷达模块；
用于对来自双目立体相机的位姿和来自激光雷达的位姿进行优化融合的位姿优化模块；
用于获取相机数据的双目立体相机；
用于获取雷达数据的激光雷达。
本发明的有益效果在于：
本发明的一种基于激光雷达与双目相机的定位与导航方法及装置，
1、本申请采用用于对来自双目立体相机的位姿和来自激光雷达的位姿进行优化融合的位姿优化模块，将双目立体相机和多线激光雷达进行融合获得了高精度的位姿估计，以及高精度的稠密点云地图，其可直接用于无人车的导航和定位；
2、使用保留了视觉稀疏点云，其保留了特征描述子，配合BoW可实现与地图的快速匹配；
3、本申请在位姿融合过程中综合考虑了双目立体相机和多线激光雷达的优缺点，使得精度更高。
附图说明
图1为本发明基于激光雷达与双目相机的定位与导航方法的框图；
图2为本发明基于激光雷达与双目相机的定位与导航方法及装置的结构示意图。
图中：1、无人小车；2、双目相机；3、激光雷达。
具体实施方式
下面结合附图对本发明作进一步说明：
如图1所示：基于激光雷达3与双目相机2的定位与导航方法，包括步骤：
通过双目立体相机获取相机图像，处理来自双目立体相机的图像信息获取位姿；
通过激光雷达3获取雷达图像，处理来自激光雷达3的图像信息获取位姿；
对来自双目立体相机图像的位姿和来自激光雷达3的位姿进行优化融合，获取关于环境的稠密点云模型和稀疏点云模型分别用于导航和精确定位。
双目立体相机的图像位姿获取步骤包括：
一、对左右目相机获取的采集图像分别提取特征点，并完成左右目特征点的匹配，通过左右目外参完成深度计算；
其中，左右目所提取的特征为ORB特征。
左右目特征点匹配的过程包括：
1)：建立从左目到右目的特征点搜索范围对应表。
2)：匹配约束包括：邻近尺度约束，匹配范围约束以及特征相似度约束。
3)：得到初步的匹配结果之后，在匹配点附近用二次多项式来进行拟合，最终得到亚像素的匹配结果。这里使用的多项式如下：
y＝ax2+bx+c
二、利用匀速假设模型和跟踪参考帧模型为视觉特征点在指定帧中寻找匹配点，并用光束平差法计算相机的位姿，得到初步位姿；
其中，跟踪参考帧模型是使用上一个关键帧作为参考帧，使用BoW描述向量的反向查找加速和参考帧中特征的匹配速度。
其中匀速假设模型是指假设允许运动，使用上一帧的位姿通过匀速运动得到当前帧的位姿，将当前帧的点投影至上一帧，再在投影点附近匹配以加速匹配过程。
判断使用匀速假设模型和跟踪参考帧模型的依据为：默认使用匀速模型，当匀速模型跟踪失败或者没有初速度的时候使用跟踪参考帧模型。对于BA优化初值设定，匀速假设模型使用上一帧的位姿经过匀速运动得到，跟踪参考帧模型直接使用上一帧的位姿；
三、局部地图跟踪；利用当前帧的共视关系构建共视地图优化初步位姿，给出视觉里程计的位姿估计；
其中，共视地图的构建主要包括两个部分：局部特征点、局部关键帧。
对于局部共视关键帧的选择依据与当前帧上任一特征点存在共视关系的关键帧，对于局部共视特征点的选择依据为：所有局部共视关键帧上的所有特征点。
四、在当前帧的局部地图上中进行局部光束平差法优化，以调整相机位姿，给出视觉端的位姿估计结果。
其中，局部关键帧包括两种类型：直接相连关键帧，关联关键帧。直接相连关键帧表示与当前帧直接关联的关键帧和当前帧，关联关键帧表示与当前帧通过特征点间接关联的关键帧。局部特征点为所有直接相连关键帧上的所有特征的合集。
其中在进行局部BA优化时，观测信息使用局部特征点，固定关联关键帧的位姿，优化直接相连关键帧的位姿。
激光雷达3的图像位姿获取步骤包括：
一、将激光雷达3采集到的数据转化为点云，并计算本帧雷达数据中每个点的曲率，完成边缘点和平面点的提取；
其中，曲率的表示为当前点与前后五个点的方差
diff＝point[cur-5]+point[cur-4]+point[cur-3]+point[cur-2]+point[cur-1]
-10point[cur]+point[cur+1]+point[cur+2]+point[cur+3]
+point[cur+4]+point[cur+5]
curvature＝diff.x*diff.x+diff.y*diff.y+diff.z*diff.z
其中，边缘点和平面点的选择步骤如下：
1)：对激光雷达3的每一条扫描线进行分段；
2)：从每个分段中找到曲率很大(此分段曲率最大的两个)的点做为非常尖锐点的边缘点，曲率较大的点曲率(此分段曲率最大的二十个)的点做为尖锐点的边缘点；
3)：从每个分段中找到曲率很小(此分段曲率最小的四个)的点做为非常平坦的平面点，将其它为分类的点全部做为平坦的平面点；
4)：为了防止特征点聚集将非常尖锐的边缘点和尖锐的边缘点以及非常平坦的平面点的附近点都进行剔除。
二、在上一帧点云数据和当前帧点云数据中寻找对应的边缘点匹配对和平面点匹配对，并计算激光雷达3的位姿，给出激光里程计的位姿估计；
其中，匹配都是位于当前帧点云的起始坐标系下完成，将上一帧的点云转换到当前帧的起始坐标系，并构建KDtree加速查找。
其中，对于边缘点的匹配形式为在上一帧点云的两个点，其中一个点为与待匹配点距离最近的点，另一个为在最近点邻近扫描线(+-1)上与待匹配点的距离最近点。
其中，对于平面点的匹配形式为在上一帧点云中的三个点，其中一个为与带匹配点距离最近的点，另一个为与最近点同一扫描线的第二近点，第三个为，与最近点不同线上的最近点。
其中，计算位姿估计所使用的损失函数包括两个部分，平面点匹配对损失，以及边缘点匹配对损失。其中平面点的匹配对包括四个点分别为O(待匹配点)A(匹配点1)B(匹配点2)C(匹配点3),平面点匹配对损失如下：
其中边缘点的匹配对包括三个点，分别为O(带匹配点)A(匹配点1)B(匹配点2),
边缘点匹配对损失如下：
三、对稠密地图进行可观测性判断，并构建小规模匹配候选点云；
其中，在稠密地图中进行可观测性判断的方式为，将地图分割为小的cube，然后判断cube的定点是否位于观测角内，观测角为与水平呈60°范围内，
具体公式(余弦定理)如下：
check＝100+side1-side2-10*sqrt(3)*sqrt(side1)
四、在匹配候选点云中寻找与当前帧点云数据构成边缘点匹配对和平面点匹配对的点，并计算激光雷达3的位姿，给出激光雷达3端的位姿优化结果。
其中，完成匹配以及计算位姿与双目立体相机的图像位姿获取步骤中第四步骤类似，区别在于初始位置使用视觉端给出的位姿估计结果。
双目立体相机图像的位姿和来自激光雷达3的位姿的优化融合步骤包括：
一、如激光雷达3端给出的位姿结果或视觉短给出的位姿结果小于阈值，则直接输出激光雷达3端的位姿；
二、如果激光端给出的位姿结果或者视觉端给出的位姿结果大于阈值，则将视觉端的位姿结果作为初值在稠密地图中进行可观测性判断，并构建小规模的匹配候选点云；
三、在匹配候选点云中寻找与当前帧点云数据构成边缘点匹配对和平面点匹配对的点，并以视觉端给出的位姿为初值优化新的位姿。
如图2所示：基于激光雷达3与双目相机2的定位与导航装置，包括：
用于处理双目立体相机采集的图像模块；
用于处理激光雷达3采集的数据的激光雷达3模块；
用于对来自双目立体相机的位姿和来自激光雷达3的位姿进行优化融合的位姿优化模块；
用于获取相机数据的双目立体相机；
用于获取雷达数据的激光雷达3。
本申请适用于无人小车1。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其效物界定。

Claims (8)

1.基于激光雷达与双目相机的定位与导航方法，其特征在于，包括步骤：
通过双目立体相机获取相机图像，处理来自双目立体相机的图像信息获取位姿；
通过激光雷达获取雷达图像，处理来自激光雷达的图像信息获取位姿；
对来自双目立体相机图像的位姿和来自激光雷达的位姿进行优化融合，获取关于环境的稠密点云模型和稀疏点云模型分别用于导航和精确定位。
2.根据权利要求1所述的基于激光雷达与双目相机的定位与导航方法，其特征在于，双目立体相机的图像位姿获取步骤包括：
一、对左右目相机获取的采集图像分别提取特征点，并完成左右目特征点的匹配，通过左右目外参完成深度计算；
二、利用匀速假设模型和跟踪参考帧模型为视觉特征点在指定帧中寻找匹配点，并用光束平差法计算相机的位姿，得到初步位姿；
三、局部地图跟踪；利用当前帧的共视关系构建共视地图优化初步位姿，给出视觉里程计的位姿估计；
四、在当前帧的局部地图上中进行局部光束平差法优化，以调整相机位姿，给出视觉端的位姿估计结果。
3.根据权利要求2所述的基于激光雷达与双目相机的定位与导航方法，其特征在于，激光雷达的图像位姿获取步骤包括：
一、将激光雷达采集到的数据转化为点云，并计算本帧雷达数据中每个点的曲率，完成边缘点和平面点的提取；
二、在上一帧点云数据和当前帧点云数据中寻找对应的边缘点匹配对和平面点匹配对，并计算激光雷达的位姿，给出激光里程计的位姿估计；
三、对稠密地图进行可观测性判断，并构建小规模匹配候选点云；
四、在匹配候选点云中寻找与当前帧点云数据构成边缘点匹配对和平面点匹配对的点，并计算激光雷达的位姿，给出激光雷达端的位姿优化结果。
4.根据权利要求3所述的基于激光雷达与双目相机的定位与导航方法，其特征在于，双目立体相机图像的位姿和来自激光雷达的位姿的优化融合步骤包括：
一、如激光雷达端给出的位姿结果或视觉短给出的位姿结果小于阈值，则直接输出激光雷达端的位姿；
二、如果激光端给出的位姿结果或者视觉端给出的位姿结果大于阈值，则将视觉端的位姿结果作为初值在稠密地图中进行可观测性判断，并构建小规模的匹配候选点云；
三、在匹配候选点云中寻找与当前帧点云数据构成边缘点匹配对和平面点匹配对的点，并以视觉端给出的位姿为初值优化新的位姿。
5.根据权利要求2所述的基于激光雷达与双目相机的定位与导航方法，其特征在于：
左右目所提取的特征为ORB特征；左右目特征点匹配的过程包括：
一、建立从左目到右目的特征点搜索范围对应表；
二、匹配约束包括：邻近尺度约束，匹配范围约束以及特征相似度约束；
三、得到初步的匹配结果之后，在匹配点附近用二次多项式来进行拟合，最终得到亚像素的匹配结果。
6.根据权利要求2所述的基于激光雷达与双目相机的定位与导航方法，其特征在于：
跟踪参考帧模型是使用上一个关键帧作为参考帧，使用BoW描述向量的反向查找加速和参考帧中特征的匹配速度；
判断使用匀速假设模型和跟踪参考帧模型的依据为：默认使用匀速模型，当匀速模型跟踪失败或者没有初速度的时候使用跟踪参考帧模型；对于BA优化初值设定，匀速假设模型使用上一帧的位姿经过匀速运动得到，跟踪参考帧模型直接使用上一帧的位姿；
共视地图的构建主要包括两个部分：局部特征点、局部关键帧；对于局部共视关键帧的选择依据与当前帧上任一特征点存在共视关系的关键帧，对于局部共视特征点的选择依据为：所有局部共视关键帧上的所有特征点；
局部关键帧包括两种类型：直接相连关键帧，关联关键帧；直接相连关键帧表示与当前帧直接关联的关键帧和当前帧，关联关键帧表示与当前帧通过特征点间接关联的关键帧；局部特征点为所有直接相连关键帧上的所有特征的合集；在进行局部BA优化时，观测信息使用局部特征点，固定关联关键帧的位姿，优化直接相连关键帧的位姿。
7.根据权利要求3所述的基于激光雷达与双目相机的定位与导航方法，其特征在于：
边缘点和平面点的选择步骤如下：
a、对激光雷达的每一条扫描线进行分段；
b、从每个分段中找到此分段曲率很大的点作为非常尖锐点的边缘点，曲率较大的点曲率的二十个点做为尖锐点的边缘点；
c、从每个分段中找到曲率很小的点作为非常平坦的平面点，将其它分类的点全部做为平坦的平面点；
d、为了防止特征点聚集将非常尖锐的边缘点和尖锐的边缘点以及非常平坦的平面点的附近点都进行剔除。
8.基于激光雷达与双目相机的定位与导航装置，其特征在于，包括：
用于处理双目立体相机采集的图像的图像模块；
用于处理激光雷达采集的数据的激光雷达模块；
用于对来自双目立体相机的位姿和来自激光雷达的位姿进行优化融合的位姿优化模块；
用于获取相机数据的双目立体相机；
用于获取雷达数据的激光雷达。
CN201910694349.2A 2019-07-30 2019-07-30 基于激光雷达与双目相机的定位与导航方法及装置 Active CN110389348B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910694349.2A CN110389348B (zh) 2019-07-30 2019-07-30 基于激光雷达与双目相机的定位与导航方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910694349.2A CN110389348B (zh) 2019-07-30 2019-07-30 基于激光雷达与双目相机的定位与导航方法及装置

Publications (2)

Publication Number Publication Date
CN110389348A true CN110389348A (zh) 2019-10-29
CN110389348B CN110389348B (zh) 2020-06-23

Family

ID=68287952

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910694349.2A Active CN110389348B (zh) 2019-07-30 2019-07-30 基于激光雷达与双目相机的定位与导航方法及装置

Country Status (1)

Country Link
CN (1) CN110389348B (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111199578A (zh) * 2019-12-31 2020-05-26 南京航空航天大学 基于视觉辅助激光雷达的无人机三维环境建模方法
CN111337947A (zh) * 2020-05-18 2020-06-26 深圳市智绘科技有限公司 即时建图与定位方法、装置、系统及存储介质
CN111340834A (zh) * 2020-03-10 2020-06-26 山东大学 基于激光雷达和双目相机数据融合的衬板装配系统及方法
CN111340797A (zh) * 2020-03-10 2020-06-26 山东大学 一种激光雷达与双目相机数据融合检测方法及系统
CN111402309A (zh) * 2020-03-05 2020-07-10 中国科学院上海微系统与信息技术研究所 一种多目立体相机的校准及深度图像处理方法
CN111521195A (zh) * 2020-04-10 2020-08-11 广州铁路职业技术学院（广州铁路机械学校） 一种智能机器人
CN111524194A (zh) * 2020-04-24 2020-08-11 江苏盛海智能科技有限公司 一种激光雷达和双目视觉相互融合的定位方法及终端
CN111681318A (zh) * 2020-06-10 2020-09-18 上海城市地理信息系统发展有限公司 一种基于点云数据建模的方法、装置和电子设备
CN111983636A (zh) * 2020-08-12 2020-11-24 深圳华芯信息技术股份有限公司 位姿融合方法、系统、终端、介质以及移动机器人
CN112461230A (zh) * 2020-12-07 2021-03-09 深圳市优必选科技股份有限公司 机器人重定位方法、装置、机器人和可读存储介质
CN112461210A (zh) * 2020-12-18 2021-03-09 湖南大学 一种空地协同建筑测绘机器人系统及其测绘方法
CN112581610A (zh) * 2020-10-16 2021-03-30 武汉理工大学 从多波束声呐数据中建立地图的鲁棒优化方法和系统
CN112698306A (zh) * 2020-12-17 2021-04-23 上海交通大学宁波人工智能研究院 一种多激光雷达结合相机解决地图构建盲区的系统和方法
CN112766328A (zh) * 2020-01-05 2021-05-07 北京航空航天大学 融合激光雷达、双目相机和ToF深度相机数据的智能机器人深度图像构建方法
CN112785702A (zh) * 2020-12-31 2021-05-11 华南理工大学 一种基于2d激光雷达和双目相机紧耦合的slam方法
CN113052846A (zh) * 2019-12-27 2021-06-29 深动科技（北京）有限公司 一种多线雷达点云稠密化方法和装置
CN113570663A (zh) * 2021-07-20 2021-10-29 上海云易航空科技有限公司 基于单线激光雷达和顶视摄像头融合的室内定位方法
CN113625288A (zh) * 2021-06-15 2021-11-09 中国科学院自动化研究所 基于点云配准的相机与激光雷达位姿标定方法和装置
CN113776515A (zh) * 2021-08-31 2021-12-10 南昌工学院 一种机器人导航方法、装置、计算机设备和存储介质
CN113914407A (zh) * 2021-10-09 2022-01-11 重庆科技学院 一种基于bim与机器视觉的挖掘机开挖隧道精确控制系统
WO2022036980A1 (zh) * 2020-08-17 2022-02-24 浙江商汤科技开发有限公司 位姿确定方法、装置、电子设备、存储介质及程序
WO2022041706A1 (zh) * 2020-08-28 2022-03-03 华为技术有限公司 一种定位方法、定位系统和车辆
CN116630764A (zh) * 2023-07-21 2023-08-22 武汉理工大学三亚科教创新园 水面目标融合辨识方法、系统、存储介质、计算机设备及终端

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104374376A (zh) * 2014-11-05 2015-02-25 北京大学 一种车载三维测量系统装置及其应用
CN107223269A (zh) * 2016-12-29 2017-09-29 深圳前海达闼云端智能科技有限公司 三维场景定位方法和装置
US20190004535A1 (en) * 2017-07-03 2019-01-03 Baidu Usa Llc High resolution 3d point clouds generation based on cnn and crf models
WO2019025035A1 (en) * 2017-08-04 2019-02-07 Bayerische Motoren Werke Aktiengesellschaft METHOD, APPARATUS AND COMPUTER PROGRAM FOR VEHICLE
CN109631855A (zh) * 2019-01-25 2019-04-16 西安电子科技大学 基于orb-slam的高精度车辆定位方法
CN110264399A (zh) * 2018-03-12 2019-09-20 福特全球技术公司 生成超分辨率深度图

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104374376A (zh) * 2014-11-05 2015-02-25 北京大学 一种车载三维测量系统装置及其应用
CN107223269A (zh) * 2016-12-29 2017-09-29 深圳前海达闼云端智能科技有限公司 三维场景定位方法和装置
US20190004535A1 (en) * 2017-07-03 2019-01-03 Baidu Usa Llc High resolution 3d point clouds generation based on cnn and crf models
WO2019025035A1 (en) * 2017-08-04 2019-02-07 Bayerische Motoren Werke Aktiengesellschaft METHOD, APPARATUS AND COMPUTER PROGRAM FOR VEHICLE
CN110264399A (zh) * 2018-03-12 2019-09-20 福特全球技术公司 生成超分辨率深度图
CN109631855A (zh) * 2019-01-25 2019-04-16 西安电子科技大学 基于orb-slam的高精度车辆定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李帅鑫: "激光雷达/相机组合的3D SLAM技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052846A (zh) * 2019-12-27 2021-06-29 深动科技（北京）有限公司 一种多线雷达点云稠密化方法和装置
CN113052846B (zh) * 2019-12-27 2024-05-28 小米汽车科技有限公司 一种多线雷达点云稠密化方法和装置
CN111199578B (zh) * 2019-12-31 2022-03-15 南京航空航天大学 基于视觉辅助激光雷达的无人机三维环境建模方法
CN111199578A (zh) * 2019-12-31 2020-05-26 南京航空航天大学 基于视觉辅助激光雷达的无人机三维环境建模方法
CN112766328B (zh) * 2020-01-05 2022-08-12 北京航空航天大学 融合激光雷达、双目相机和ToF深度相机数据的智能机器人深度图像构建方法
CN112766328A (zh) * 2020-01-05 2021-05-07 北京航空航天大学 融合激光雷达、双目相机和ToF深度相机数据的智能机器人深度图像构建方法
CN111402309B (zh) * 2020-03-05 2023-11-03 中国科学院上海微系统与信息技术研究所 一种多目立体相机的校准及深度图像处理方法
CN111402309A (zh) * 2020-03-05 2020-07-10 中国科学院上海微系统与信息技术研究所 一种多目立体相机的校准及深度图像处理方法
CN111340797B (zh) * 2020-03-10 2023-04-28 山东大学 一种激光雷达与双目相机数据融合检测方法及系统
CN111340797A (zh) * 2020-03-10 2020-06-26 山东大学 一种激光雷达与双目相机数据融合检测方法及系统
CN111340834A (zh) * 2020-03-10 2020-06-26 山东大学 基于激光雷达和双目相机数据融合的衬板装配系统及方法
CN111340834B (zh) * 2020-03-10 2023-05-12 山东大学 基于激光雷达和双目相机数据融合的衬板装配系统及方法
CN111521195A (zh) * 2020-04-10 2020-08-11 广州铁路职业技术学院（广州铁路机械学校） 一种智能机器人
CN111524194A (zh) * 2020-04-24 2020-08-11 江苏盛海智能科技有限公司 一种激光雷达和双目视觉相互融合的定位方法及终端
WO2021233029A1 (en) * 2020-05-18 2021-11-25 Shenzhen Intelligence Ally Technology Co., Ltd. Simultaneous localization and mapping method, device, system and storage medium
CN111337947A (zh) * 2020-05-18 2020-06-26 深圳市智绘科技有限公司 即时建图与定位方法、装置、系统及存储介质
CN111337947B (zh) * 2020-05-18 2020-09-22 深圳市智绘科技有限公司 即时建图与定位方法、装置、系统及存储介质
CN111681318A (zh) * 2020-06-10 2020-09-18 上海城市地理信息系统发展有限公司 一种基于点云数据建模的方法、装置和电子设备
CN111983636A (zh) * 2020-08-12 2020-11-24 深圳华芯信息技术股份有限公司 位姿融合方法、系统、终端、介质以及移动机器人
WO2022036980A1 (zh) * 2020-08-17 2022-02-24 浙江商汤科技开发有限公司 位姿确定方法、装置、电子设备、存储介质及程序
WO2022041706A1 (zh) * 2020-08-28 2022-03-03 华为技术有限公司 一种定位方法、定位系统和车辆
CN112581610A (zh) * 2020-10-16 2021-03-30 武汉理工大学 从多波束声呐数据中建立地图的鲁棒优化方法和系统
CN112461230A (zh) * 2020-12-07 2021-03-09 深圳市优必选科技股份有限公司 机器人重定位方法、装置、机器人和可读存储介质
WO2022121640A1 (zh) * 2020-12-07 2022-06-16 深圳市优必选科技股份有限公司 机器人重定位方法、装置、机器人和可读存储介质
CN112698306A (zh) * 2020-12-17 2021-04-23 上海交通大学宁波人工智能研究院 一种多激光雷达结合相机解决地图构建盲区的系统和方法
CN112461210A (zh) * 2020-12-18 2021-03-09 湖南大学 一种空地协同建筑测绘机器人系统及其测绘方法
CN112785702A (zh) * 2020-12-31 2021-05-11 华南理工大学 一种基于2d激光雷达和双目相机紧耦合的slam方法
CN113625288A (zh) * 2021-06-15 2021-11-09 中国科学院自动化研究所 基于点云配准的相机与激光雷达位姿标定方法和装置
CN113570663A (zh) * 2021-07-20 2021-10-29 上海云易航空科技有限公司 基于单线激光雷达和顶视摄像头融合的室内定位方法
CN113776515A (zh) * 2021-08-31 2021-12-10 南昌工学院 一种机器人导航方法、装置、计算机设备和存储介质
CN113776515B (zh) * 2021-08-31 2022-06-10 南昌工学院 一种机器人导航方法、装置、计算机设备和存储介质
CN113914407A (zh) * 2021-10-09 2022-01-11 重庆科技学院 一种基于bim与机器视觉的挖掘机开挖隧道精确控制系统
CN116630764B (zh) * 2023-07-21 2023-09-26 武汉理工大学三亚科教创新园 水面目标融合辨识方法、系统、存储介质、计算机设备及终端
CN116630764A (zh) * 2023-07-21 2023-08-22 武汉理工大学三亚科教创新园 水面目标融合辨识方法、系统、存储介质、计算机设备及终端

Also Published As

Publication number Publication date
CN110389348B (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
CN110389348A (zh) 基于激光雷达与双目相机的定位与导航方法及装置
Rozenberszki et al. LOL: Lidar-only Odometry and Localization in 3D point cloud maps
CN110261870B (zh) 一种用于视觉-惯性-激光融合的同步定位与建图方法
CN105866790B (zh) 一种考虑激光发射强度的激光雷达障碍物识别方法及系统
CN104197928B (zh) 多摄像机协同的无人机检测、定位及跟踪方法
CN109191504A (zh) 一种无人机目标跟踪方法
CN108520554A (zh) 一种基于orb-slam2的双目三维稠密建图方法
CN109579825B (zh) 基于双目视觉和卷积神经网络的机器人定位系统及方法
CN110686677A (zh) 一种基于几何信息的全局定位方法
CN104700414A (zh) 一种基于车载双目相机的前方道路行人快速测距方法
CN101701828A (zh) 基于立体视觉和信息融合的盲人自主导航方法
CN108549084A (zh) 一种基于稀疏二维激光雷达的目标检测与姿态估计方法
CN114184200B (zh) 一种结合动态建图的多源融合导航方法
CN109917359B (zh) 基于车载单目视觉的鲁棒车辆距离估计方法
CN104121902A (zh) 基于Xtion摄像机的室内机器人视觉里程计实现方法
JP2017083245A (ja) 建築限界判定装置
CN116468786B (zh) 一种面向动态环境的基于点线联合的语义slam方法
Wen et al. TM 3 Loc: Tightly-coupled monocular map matching for high precision vehicle localization
US20210304518A1 (en) Method and system for generating an environment model for positioning
Yang et al. Vision-based intelligent vehicle road recognition and obstacle detection method
Tian et al. DL-SLOT: Tightly-Coupled Dynamic LiDAR SLAM and 3D Object Tracking Based on Collaborative Graph Optimization
Park et al. Global map generation using LiDAR and stereo camera for initial positioning of mobile robot
CN115937810A (zh) 一种基于双目相机引导的传感器融合方法
CN115457497A (zh) 一种基于3d目标检测和多目标追踪检测车辆速度的方法
Wu et al. Visual data driven approach for metric localization in substation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant