CN112634451A - 一种融合多传感器的室外大场景三维建图方法 - Google Patents

一种融合多传感器的室外大场景三维建图方法 Download PDF

Info

Publication number
CN112634451A
CN112634451A CN202110028706.9A CN202110028706A CN112634451A CN 112634451 A CN112634451 A CN 112634451A CN 202110028706 A CN202110028706 A CN 202110028706A CN 112634451 A CN112634451 A CN 112634451A
Authority
CN
China
Prior art keywords
imu
point cloud
points
representing
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110028706.9A
Other languages
English (en)
Other versions
CN112634451B (zh
Inventor
彭育辉
林晨浩
马中原
钟聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202110028706.9A priority Critical patent/CN112634451B/zh
Publication of CN112634451A publication Critical patent/CN112634451A/zh
Application granted granted Critical
Publication of CN112634451B publication Critical patent/CN112634451B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

本发明提供了一种融合多传感器的室外大场景三维建图方法，将实现流程分为两个模块，视觉惯性里程计模块，激光里程计与建图模块。视觉惯性里程计模块包括光流追踪，IMU预积分，初始化，滑窗优化，边缘化，建立词袋模型。激光里程计与建图模块包含点云分割，去除点云畸变，特征提取和帧间匹配，回环检测和建图。相对于单一的雷达建图方案，本发明融合视觉惯性里程计的高频位姿，具有点云畸变去除效果好，回环检测精度高，建图精度高的特点。解决了室外大场景三维地图精度较低的问题，为无人驾驶的进一步发展提供了突破口。

Description

一种融合多传感器的室外大场景三维建图方法
技术领域
本发明涉及无人驾驶技术领域，特别是一种融合多传感器的室外大场景三维建图方法。
背景技术
同时定位与地图构造建(Simultaneous Localization and Mapping,SLAM)在无人驾驶车辆上的应用受到越来越多科研工作者的注目。其目的是使无人车在GPS失效后，可以根据自身搭载的传感器在依靠SLAM技术所建立的环境地图中，且没有先验信息的情况下，自主完成无人车的位姿估计和导航。主流的SLAM方法可根据传感器的类型分为两种，基于图像的视觉SLAM和基于雷达的激光SLAM。此外，融合惯性测量器件(InertialMeasurement Unit,IMU)的视觉SLAM也是当今的研究热点。
然而，纯视觉SLAM需要适度的光照条件和明显的图像特征，且在室外无法构建三维地图。激光SLAM在运动中易产生非匀速运动畸变，且在退化场景中定位不准确。
发明内容
有鉴于此，本发明的目的是提出一种融合多传感器的室外大场景三维建图方法，相对于传统的激光建图，大大提升了建图精度，能够很好的适配无人驾驶系统。
本发明采用以下方案实现：一种融合多传感器的室外大场景三维建图方法，具体包括以下步骤：
用光流追踪相邻两帧图像，并将IMU的预积分作为相邻两帧图像运动的预测值；参数初始化将视觉与IMU预积分进行松耦合求解出陀螺仪bias、尺度因子、重力方向和相邻两帧间的速度；通过滑窗优化基于视觉构造的残差项和基于IMU构造的残差项，并用边缘化充分利用离开滑窗的图像帧，将输出的高频VIO位姿通过激光雷达相机联合标定转换到激光雷达坐标系下，同时构建词袋模型；
将点云分类成不同类型的点，再融合高频VIO位姿将传统的雷达匀速运动模型改进为多阶段的匀加速模型，以去除点云畸变；然后进行点云特征提取，将特征点进行帧间匹配，匹配后的点云用LM优化得到两帧点云间的位姿变换矩阵，并转换到初始点云坐标系下，最后融合基于词袋模型的回环检测构建三维地图。
进一步地，所述用光流追踪相邻两帧图像，并将IMU的预积分作为相邻两帧图像运动的预测值具体为：
对图像数据的预处理；提取图像的FAST特征，并使用KLT光流对特征点进行追踪；为了求取光流沿x，y方向上的速度分量，构建一个5×5的像素窗口，该邻域中25个像素点的运动一致：
Figure BDA0002891215990000021
式中，Ix、Iy表示图像中像素点亮度在x、y方向上的图像梯度，It表示在t方向上的时间梯度，u、v为光流沿x、y方向上的速度矢量，pi表示第i个像素；其中，KLT光流追踪从角点检测开始：
对IMU数据的预处理；对IMU进行预积分处理，将高频率输出的加速度和角速度测量值转化为单个观测值：
Figure BDA0002891215990000022
式中，b系是IMU坐标系，w系为世界坐标系，at和wt是IMU所测得的加速度和角速度，qt bk为t时刻从IMU坐标系到世界坐标系的旋转，Ω为四元数右乘；
Figure BDA0002891215990000023
表示第k帧的位姿，
Figure BDA0002891215990000024
表示第k帧的速度，
Figure BDA0002891215990000025
表示t时刻从IMU系到世界坐标系的旋转矩阵，
Figure BDA0002891215990000026
表示IMU测得的加速度，
Figure BDA0002891215990000027
表示t时刻加速度偏置，gw表示重力加速度，
Figure BDA0002891215990000031
表示第k帧的旋转，
Figure BDA0002891215990000032
表示IMU测得的角速度，
Figure BDA0002891215990000033
表示t时刻角速度偏置。
进一步地，所述通过滑窗优化基于视觉构造的残差项和基于IMU构造的残差项，具体为：
使用滑动窗口法优化窗口内的状态变量：
Figure BDA0002891215990000034
式中，xi是在i时刻窗口中的优化向量，Ri，pi为相机位姿的旋转和平移部分，vi为相机在世界坐标系下的速度，bai、bgi分别为IMU的加速度bias和陀螺仪bias；
设在k时刻参与优化滑窗中的所有帧的所有xi的集合为Xk，系统的所有观测量为Zk；用最大后验概率估计系统的状态量：
Figure BDA0002891215990000035
式中，X0表示初始时刻参与优化滑窗中的所有优化向量的集合，Kk表示在k时刻参与优化的滑窗内所有关键帧的集合，Iij表示在关键帧时刻i和关键帧时刻j这段时间内所有IMU测量值的集合，zil表示i时刻相机观测到的三维特征点，Ci表示关键帧时刻i系统内视觉测量值的集合；
再将该最大后验问题转化为优化问题：
Figure BDA0002891215990000036
式中，Xk *代表最大估计后验值，r0代表滑窗初值残差，
Figure BDA0002891215990000037
代表IMU观测残差，
Figure BDA0002891215990000038
代表相机观测残差，∑0表示滑窗初值的协方差，∑ij表示IMU观测值的协方差，∑C表示相机观测值的协方差。
进一步地，所述构建的词袋模型为：
Figure BDA0002891215990000041
式中，v1,v2为两不同时刻的词袋向量，s为相似度评分，当s趋近于1时，则判定为回环。
进一步地，所述将点云分类成不同类型的点具体为：
为减低系统实时的运算量，对点云数据进行预处理，将原始点云划分为三类点：
地面点：将点云划分为0.5m×0.5m的栅格，计算栅格内的最高点和最低点的高度差，将高度差低于0.15m的栅格归类于地面点；
离群点：使用随机一致性采样算法剔除离群点；
有效聚类点：标记地面点后，对点云进行欧式聚类，将聚类点数少于30或在竖直方向上占据的线束小于3的点进行滤除，余下的点均为有效聚类点。
进一步地，所述融合高频VIO位姿将传统的雷达匀速运动模型改进为多阶段的匀加速模型，以去除点云畸变具体为：融合将视觉惯性里程计滑窗优化后的位姿，将传统激光雷达的匀速运动模型改进为多阶段的匀加速模型如下：
Figure BDA0002891215990000042
式中，tLq为激光雷达在第q次扫描时的时间戳，Tk，Tk+1，Tk+2，Tk+3为在tV-Ik，tV-Ik+1，tV-Ik+2，tV-Ik+3这四个时刻视觉惯性里程计输出的四个绝对位姿，a1、a2为两阶段的加速度；v1，v2，v3为第一阶段的初始度，第一阶段的末速度，第二阶段的末速度，通过两阶段的位移和速度，插值计算点云的速度，位移和欧拉角，消除非匀速运动产生的畸变。
进一步地，在去除点云畸变前，进行传感器时间戳对齐：
Figure BDA0002891215990000051
式中，tLq为雷达在第q次扫描时的时间戳，tV-Ik为VIO系统第k次位姿输出时的时间戳。
进一步地，所述融合基于词袋模型的回环检测构建三维地图具体包括以下步骤：
步骤S1：利用FAST特征提取算法，从每张图像中提取视觉词汇，将所有的的词汇汇合在一起；
步骤S2：利用K-Means算法构造单词表，将词义相近的视觉词汇合并，同时构造一个包含K个词汇的单词表；
步骤S3：统计单词表中每个单词在图像中出现的次数，从而将图像表示成为一个K维数值向量；
步骤S4：重复步骤S1至步骤S3，将描述子建立成树形结构；
步骤S5：将两个词袋的描述子进行相似度比较，当相似度趋近于1时，即认为是回环；
步骤S6：在点云数据回环检测上，采用点云近邻搜索算法，以激光雷达当前位姿为搜索点，查找半径范围为5m内的若干个位姿；
步骤S7：同步词袋模型的回环检测结果和点云数据回环检测结果，当两者同时检测为回环时，才判定为该无人车经过了同一个点；为保证在无人车启动时初始速度较慢造成误回环检测，设置连续回环检测的判定，只有在5秒内10次同时检测到回环，才判定为回环。
本发明还提供了一种融合多传感器的室外大场景三维建图系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如上文所述的方法步骤。
本发明还提供了一种计算机可读存储介质，其上存储有能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如上文所述的方法步骤。
与现有技术相比，本发明有以下有益效果：本发明提出的融合多传感器的室外大场景三维建图方法，相对于单一的雷达建图方案，融合视觉惯性里程计的高频位姿，具有点云畸变去除效果好，回环检测精度高，建图精度高的特点。解决了室外大场景三维地图精度较低的问题，为无人驾驶的进一步发展提供了突破口。相对于传统的激光建图，大大提升了建图精度，能够很好的适配无人驾驶系统。
附图说明
图1为本发明实施例的一种融合多传感器的室外大场景三维建图方法的框架结构。
图2为本发明实施例的IMU预积分示意图。
图3为本发明实施例的滑窗优化示意图。
图4为本发明实施例的相机雷达系统位姿转换关系示意图。
图5为本发明实施例的匹配提取示意图。
图6为本发明实施例的大场景建图结果俯视图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示，本实施例提供了一种融合多传感器的室外大场景三维建图方法，具体包括以下步骤：
用光流追踪相邻两帧图像，并将IMU的预积分作为相邻两帧图像运动的预测值；参数初始化将视觉与IMU预积分进行松耦合求解出陀螺仪bias、尺度因子、重力方向和相邻两帧间的速度；通过滑窗优化基于视觉构造的残差项和基于IMU构造的残差项，并用边缘化充分利用离开滑窗的图像帧，将输出的高频VIO位姿通过激光雷达相机联合标定转换到激光雷达坐标系下，同时构建词袋模型；
将点云分类成不同类型的点，再融合高频VIO位姿将传统的雷达匀速运动模型改进为多阶段的匀加速模型，以去除点云畸变；然后进行点云特征提取，将特征点进行帧间匹配，匹配后的点云用LM优化得到两帧点云间的位姿变换矩阵，并转换到初始点云坐标系下，最后融合基于词袋模型的回环检测构建三维地图。
在本实施例中，所述用光流追踪相邻两帧图像，并将IMU的预积分作为相邻两帧图像运动的预测值具体为：
对图像数据的预处理；提取图像的FAST特征，并使用KLT光流对特征点进行追踪；为了求取光流沿x，y方向上的速度分量，构建一个5×5的像素窗口，该邻域中25个像素点的运动一致：
Figure BDA0002891215990000071
式中，Ix、Iy表示图像中像素点亮度在x、y方向上的图像梯度，It表示在t方向上的时间梯度，u、v为光流沿x、y方向上的速度矢量，pi表示第i个像素；其中，KLT光流追踪从角点检测开始：
构建该5×5的像素窗口的Hessian矩阵M，当Hessian矩阵的两个特征值都很大时才可满足光流法的空间一致性假设，故KLT光流追踪必须从角点检测开始：
Figure BDA0002891215990000081
对IMU数据的预处理；如果在相机位姿估算时将IMU所有采样时刻所对应的全部位姿插入帧间进行优化，将会降低程序运行效率。本发明为保证该方法在计算机的运算效率，对IMU进行预积分处理，将高频率输出的加速度和角速度测量值转化为单个观测值：
Figure BDA0002891215990000082
式中，b系是IMU坐标系，w系为世界坐标系，at和wt是IMU所测得的加速度和角速度，qt bk为t时刻从IMU坐标系到世界坐标系的旋转，Ω为四元数右乘，位置(P)、速度(V)和旋转(Q)为视觉估计的初始值，此处的旋转为四元数形式；
Figure BDA0002891215990000083
表示第k帧的位姿，
Figure BDA0002891215990000084
表示第k帧的速度，
Figure BDA0002891215990000085
表示t时刻从IMU系到世界坐标系的旋转矩阵，
Figure BDA0002891215990000086
表示IMU测得的加速度，
Figure BDA0002891215990000087
表示t时刻加速度偏置，gw表示重力加速度，
Figure BDA0002891215990000088
表示第k帧的旋转，
Figure BDA0002891215990000089
表示IMU测得的角速度，
Figure BDA00028912159900000810
表示t时刻角速度偏置。
较佳的，本实施例中，所述的初始化参数求解具体为：首先用SFM求解滑动窗内所有帧的位姿与所有路标点的三维位置，再将其与之前求得的IMU预积分值进行对齐初始化模块恢复单目相机的尺度，从而解出角速度bias，重力方向、尺度因子、和每一帧所对应的速度。
在本实施例中，所述通过滑窗优化基于视觉构造的残差项和基于IMU构造的残差项，具体为：
为减少系统中逐渐增多的状态变量。使用滑动窗口法优化窗口内的状态变量：
Figure BDA00028912159900000811
式中，xi是在i时刻窗口中的优化向量，Ri，pi为相机位姿的旋转和平移部分，vi为相机在世界坐标系下的速度，bai、bgi分别为IMU的加速度bias和陀螺仪bias；
设在k时刻参与优化滑窗中的所有帧的所有xi的集合为Xk，系统的所有观测量为Zk；用最大后验概率估计系统的状态量：
Figure BDA0002891215990000091
式中，X0表示初始时刻参与优化滑窗中的所有优化向量的集合，Kk表示在k时刻参与优化的滑窗内所有关键帧的集合，Iij表示在关键帧时刻i和关键帧时刻j这段时间内所有IMU测量值的集合，zil表示i时刻相机观测到的三维特征点，Ci表示关键帧时刻i系统内视觉测量值的集合；
再将该最大后验问题转化为优化问题：
Figure BDA0002891215990000092
式中，Xk *代表最大估计后验值，r0代表滑窗初值残差，
Figure BDA0002891215990000093
代表IMU观测残差，
Figure BDA0002891215990000094
代表相机观测残差，∑0表示滑窗初值的协方差，∑ij表示IMU观测值的协方差，∑C表示相机观测值的协方差。
在本实施例中，所述的边缘化具体为：滑窗外的变量不可直接丢弃，这样会损失约束信息。采用边缘化将约束信息转化为待优化变量的先验分布。
本实施例将边缘化分为两种：
a.如果次新帧是关键帧，则将边缘化最老帧，并将看到的路标点和IMU数据转化为先验。流程如下：
①将上一次先验残差项传递给边缘化模块
②将第0帧和第1帧间的IMU因子添加到边缘化模块中
③将第一次观测为第0帧的所有路标点对应的视觉观测，添加到边缘化模块中。
④计算每个残差的雅克比矩阵，并将各参数块拷贝到统一的内存中。
⑤多线程构造先验项舒尔补AX＝b的结构，在X0处线性化计算雅克比矩阵和残差。
⑥调整参数块在下一次窗口中对应的位置。
b.如果次新帧不是关键帧，流程如下：
①保留次新帧的IMU测量，丢弃该帧的视觉测量，将上一次先验残差项传递给边缘化模块
②计算每个残差的雅克比矩阵，并将各参数块拷贝到统一的内存中。
③构造先验项舒尔补AX＝b的结构，计算雅克比矩阵和残差。
④调整参数块在下一次窗口中对应的位置。
进一步地，高精度的地图需要良好的回环检测机制，构造词袋模型，在回环检测时融合词袋模型的回环检测结果。所述构建的词袋模型为：
Figure BDA0002891215990000101
式中，v1,v2为两不同时刻的词袋向量，s为相似度评分，当s趋近于1时，则判定为回环。
在本实施例中，所述将点云分类成不同类型的点具体为：
在进行点云特征点提取前对点云数据进行预处理，可有效降低算法的运行时间。为减低系统实时的运算量，对点云数据进行预处理，将原始点云划分为三类点：
地面点：将点云划分为0.5m×0.5m的栅格，计算栅格内的最高点和最低点的高度差，将高度差低于0.15m的栅格归类于地面点；
离群点：使用随机一致性采样算法RANSAC剔除离群点；
有效聚类点：标记地面点后，对点云进行欧式聚类，将聚类点数少于30或在竖直方向上占据的线束小于3的点进行滤除，余下的点均为有效聚类点。
在本实施例中，所述融合高频VIO位姿将传统的雷达匀速运动模型改进为多阶段的匀加速模型，以去除点云畸变具体为：融合将视觉惯性里程计滑窗优化后的位姿，将传统激光雷达的匀速运动模型改进为多阶段的匀加速模型如下：
Figure BDA0002891215990000111
式中，tLq为激光雷达在第q次扫描时的时间戳，Tk，Tk+1，Tk+2，Tk+3为在tV-Ik，tV-Ik+1，tV-Ik+2，tV-Ik+3这四个时刻视觉惯性里程计输出的四个绝对位姿，a1、a2为两阶段的加速度；v1第一阶段的初速度，v2第一阶段的末速度，v3为第二阶段的末速度，通过两阶段的位移和速度，插值计算点云的速度，位移和欧拉角，消除非匀速运动产生的畸变。
在本实施例中，在去除点云畸变前，进行传感器时间戳对齐：
Figure BDA0002891215990000112
式中，tLq为雷达在第q次扫描时的时间戳，tV-Ik为VIO系统第k次位姿输出时的时间戳。
在本实施例中国，所述的特征提取和帧间匹配具体为：去除完点云运动畸变后，对分类好的点云数据进行特征提取帧间匹配。为保证特征点的均匀分布，将雷达每次扫描的点云划分为均等的12个点云块，每个点云块呈扇形，扇形角度均为30°。选取类粗糙度ck,i特征来分割平面点与边缘点：
Figure BDA0002891215990000113
式中，Sk,i为雷达在k时刻的扫描中距离某点云pk,i所在线束最近的前后6个点的集合。从之前分类好的地面点中，取ck,i值小的点标记为平面特征点。此类特征点数量较多，且总体分布趋于稳定。从之前分类好的有效聚类点中，取ck,i值大的点记为边缘特征点，此类点一遍在环境中曲率突变的物体处，如墙角等。
在进行点云的帧间匹配时，首先需要在点云中确定特征点位置，用KD-TREE的形式保存点云。
平面特征点的匹配。设在第k帧平面特征点的集合为Sk p，第k-1帧平面特征点的集合为Sk-1 p。p为Sk p中的一个点，在Sk-1 p查找距离p最近的点q。再从q的同一线和其相邻两线中找到距离q最近的两个点m,n。q，m，n即为p的匹配点。为了衡量匹配效果，构建距离约束方程：
Figure BDA0002891215990000121
边缘特征点的匹配。设在第k帧边缘特征点的集合为Sk p，第k-1帧边缘特征点的集合为Sk-1 p。p为Sk e中的一个点，在Sk-1 p查找距离p最近的点q。再从q相近的雷达线束上寻找距离q最近的点m。q，m即为p的匹配点。为了衡量匹配效果，构建距离约束方程：
Figure BDA0002891215990000122
将匹配点之间的距离范数和作为误差函数f(Pk-1,Pk)：
Figure BDA0002891215990000123
式中，p(k,i)为第k帧中的第i个点云，TL (k-1,k)为k帧与k-1帧间的变换矩阵。
地面通常平行于激光雷达坐标系的x-o-y平面，平面特征点由地面特征点中提取。利用这一特性，先提取平面特征点求解的六自由度中的[Rx,Ry,tz]这三个分量，Rx为绕x轴的旋转向量，Ry为绕y轴的旋转向量，tz为沿z轴的平移向量。构建误差方程：
Figure BDA0002891215990000124
式中，D(k，k-1)为各点之间欧式聚类构造的向量，Sk为Sk p和Sk e的集合。对误差函数f(Pk-1,Pk)求其对T(k-1，k) L的雅克比矩阵：
Figure BDA0002891215990000131
则目标函数变为：
Figure BDA0002891215990000132
用L-M非线性优化算法迭代求解上式，当TL (k-1,k)趋近0时，迭代终止。即可得到Tk时刻的位姿；
对边缘特征点的三个分量[Rz,tx,ty]重复以上操作。
在本实施例中，所述融合基于词袋模型的回环检测构建三维地图具体包括以下步骤：
步骤S1：利用FAST特征提取算法，从每张图像中提取视觉词汇，将所有的的词汇汇合在一起；
步骤S2：利用K-Means算法构造单词表，将词义相近的视觉词汇合并，同时构造一个包含K个词汇的单词表；
步骤S3：统计单词表中每个单词在图像中出现的次数，从而将图像表示成为一个K维数值向量；
步骤S4：重复步骤S1至步骤S3，将描述子建立成树形结构；
步骤S5：将两个词袋的描述子进行相似度比较，当相似度趋近于1时，即认为是回环；
步骤S6：在点云数据回环检测上，采用点云近邻搜索算法，以激光雷达当前位姿为搜索点，查找半径范围为5m内的若干个位姿；
其中，雷达建图模块以2Hz频率运行。匹配特征点Sk e，Sk p到当前的点云地图Qk上，得到最后的变换。
步骤S7：同步词袋模型的回环检测结果和点云数据回环检测结果，当两者同时检测为回环时，才判定为该无人车经过了同一个点；为保证在无人车启动时初始速度较慢造成误回环检测，设置连续回环检测的判定，只有在5秒内10次同时检测到回环，才判定为回环。
本实施例还提供了一种融合多传感器的室外大场景三维建图系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如上文所述的方法步骤。
本实施例还提供了一种计算机可读存储介质，其上存储有能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如上文所述的方法步骤。
接下来，本实施例结合附图进行更进一步的说明。
图1是本实施例方法的框架结构。将框架分为两个模块，视觉惯性里程计模块，激光里程计与建图模块。视觉惯性里程计模块用光流追踪相邻两帧，并将IMU的预积分作为相邻两帧图像运动的预测值。将预测值初始化后将视觉与IMU预积分进行松耦合求解出陀螺仪bias、尺度因子、重力方向和相邻两帧间的速度。将以上状态变量通过滑窗优化基于视觉构造的残差项和基于IMU构造的残差项，并用边缘化充分利用离开滑窗的图像帧，将输出的高频的VIO位姿通过激光雷达相机联合标定转换到激光雷达坐标系下，同时构建词袋模型。激光历程计与建图模块将点云分类成不同类型的点，方便后续特征提取，再融合视觉惯性里程计模块输出的高频VIO位姿将传统的雷达匀速运动模型改进为多阶段的匀加速模型，以去除点云畸变。然后进行点云特征提取，将特征点进行帧间匹配，匹配后的点云用LM优化得到两帧点云间的位姿变换矩阵，并转换到初始点云坐标系下，最后融合基于词袋模型的回环检测构建三维地图。
图2是IMU预积分示意图。将k到k+1帧间的所有IMU数据进行预积分，即可得到K+1帧的位姿速度和旋转(PVQ)：
Figure BDA0002891215990000141
式中：式中：b系是IMU坐标系，w系为世界坐标系，at和wt是IMU所测得的加速度和角速度，qt bk为t时刻从IMU坐标系到世界坐标系的旋转，Ω为四元数右乘。
图3是滑窗优化示意图。将视觉约束、IMU约束和闭环约束放在一个大的目标函数中进行非线性优化，求解滑窗内所有帧的PVQ、bias等。
构建状态向量，包括滑窗内的n+1个所有相机的状态(速度、加速度、加速度bias、陀螺仪bias、位置、朝向)；相机到IMU的外参数、m+1个点3D的逆深度：
Figure BDA0002891215990000151
Figure BDA0002891215990000152
Figure BDA0002891215990000153
式中：xk是第k帧IMU的转态向量。分别包含IMU在世界坐标系中的位置，速度和方向，加速度bias和陀螺仪bias。n为关键帧的数量，m为滑动窗口的特征数。λi是第1次观测的第i个特征的逆深度。由此得到最大后验估计：
Figure BDA0002891215990000154
式中：rβ和rc是IMU和视觉测量的残差；{rp,Hp}是边缘化的先验信息。
图4是相机雷达位姿关系转化示意图，物体P在像素坐系O′-X′-Y′下的坐标U,V和在雷达坐标系Ol-Xl-Yl-Zl下的坐标Xl,Yl,Zl。通过RVIZ上的点云和像素抓取功能，建立至少8对点云到图像上对应点的三维点-二维点点对。三维点和二维点的对应关系如下：
Figure BDA0002891215990000155
式中：R为外参矩阵的旋转部分，T为平移向量，此二者即是相机相对于雷达的旋转与平移。通过PNP求解多对点对，即可得出R,T。
图5特征匹配示意图。如图5中左图所示，设在第k帧平面特征点的集合为Sk p，第k-1帧平面特征点的集合为Sk-1 p。p为Sk p中的一个点，在Sk-1 p查找距离p最近的点q。再从q的同一线和其相邻两线中找到距离q最近的两个点m,n。q，m，n即为p的匹配点。为了衡量匹配效果，构建距离约束方程：
Figure BDA0002891215990000156
边缘特征点的匹配。设在第k帧边缘特征点的集合为Sk p，第k-1帧边缘特征点的集合为Sk-1 p。p为Sk e中的一个点，在Sk-1 p查找距离p最近的点q。再从q相近的雷达线束上寻找距离q最近的点m。q，m即为p的匹配点。为了衡量匹配效果，构建距离约束方程：
Figure BDA0002891215990000161
图6为大场景建图俯视图。将地图构成多个关键帧所构成的特征点的集合，用集合Qk＝{Sk e，Sk p}表示每一帧的特征点云，地图Mk-1表示为Mk-1＝{{S1 e,S1 p}…{Sk-1 e,Sk-1 p}}。将这些集合存储在KD-TREE中，将当前关键帧的特征点云Qk和周围地图点云进行ICP匹配并优化位姿，并将当前关键帧的特征点云更新至全局地图，实现地图构建。如图可见，点云俯视图和卫星地图重合度高，建图效果良好。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (10)

1.一种融合多传感器的室外大场景三维建图方法，其特征在于，包括以下步骤：
用光流追踪相邻两帧图像，并将IMU的预积分作为相邻两帧图像运动的预测值；参数初始化将视觉与IMU预积分进行松耦合求解出陀螺仪bias、尺度因子、重力方向和相邻两帧间的速度；通过滑窗优化基于视觉构造的残差项和基于IMU构造的残差项，并用边缘化充分利用离开滑窗的图像帧，将输出的高频VIO位姿通过激光雷达相机联合标定转换到激光雷达坐标系下，同时构建词袋模型；
将点云分类成不同类型的点，再融合高频VIO位姿将传统的雷达匀速运动模型改进为多阶段的匀加速模型，以去除点云畸变；然后进行点云特征提取，将特征点进行帧间匹配，匹配后的点云用LM优化得到两帧点云间的位姿变换矩阵，并转换到初始点云坐标系下，最后融合基于词袋模型的回环检测构建三维地图。
2.根据权利要求1所述的一种融合多传感器的室外大场景三维建图方法，其特征在于，所述用光流追踪相邻两帧图像，并将IMU的预积分作为相邻两帧图像运动的预测值具体为：
对图像数据的预处理；提取图像的FAST特征，并使用KLT光流对特征点进行追踪；为了求取光流沿x，y方向上的速度分量，构建一个5×5的像素窗口，该邻域中25个像素点的运动一致：
Figure FDA0002891215980000011
式中，Ix、Iy表示图像中像素点亮度在x、y方向上的图像梯度，It表示在t方向上的时间梯度，u、v为光流沿x、y方向上的速度矢量，pi表示第i个像素；其中，KLT光流追踪从角点检测开始：
对IMU数据的预处理；对IMU进行预积分处理，将高频率输出的加速度和角速度测量值转化为单个观测值：
Figure FDA0002891215980000021
式中，b系是IMU坐标系，w系为世界坐标系，
Figure FDA0002891215980000022
为用四元数表示时t时刻从IMU坐标系到世界坐标系的旋转，Ω为四元数右乘；
Figure FDA0002891215980000023
表示第k帧的位姿，
Figure FDA0002891215980000024
表示第k帧的速度，
Figure FDA0002891215980000025
表示t时刻从IMU系到世界坐标系的旋转矩阵，
Figure FDA0002891215980000026
表示IMU测得的加速度，
Figure FDA0002891215980000027
表示t时刻加速度偏置，gw表示重力加速度，
Figure FDA0002891215980000028
表示第k帧的旋转，
Figure FDA0002891215980000029
表示IMU测得的角速度，
Figure FDA00028912159800000210
表示t时刻角速度偏置。
3.根据权利要求1所述的一种融合多传感器的室外大场景三维建图方法，其特征在于，所述通过滑窗优化基于视觉构造的残差项和基于IMU构造的残差项，具体为：
使用滑动窗口法优化窗口内的状态变量：
Figure FDA00028912159800000211
式中，xi是在i时刻窗口中的优化向量，Ri，pi为相机位姿的旋转和平移部分，vi为相机在世界坐标系下的速度，bai、bgi分别为IMU的加速度bias和陀螺仪bias；
设在k时刻参与优化滑窗中的所有帧的所有xi的集合为Xk，系统的所有观测量为Zk；用最大后验概率估计系统的状态量：
Figure FDA00028912159800000212
式中，X0表示初始时刻参与优化滑窗中的所有优化向量的集合，Kk表示在k时刻参与优化的滑窗内所有关键帧的集合，Iij表示在关键帧时刻i和关键帧时刻j这段时间内所有IMU测量值的集合，zil表示i时刻相机观测到的三维特征点，Ci表示关键帧时刻i系统内视觉测量值的集合；
再将该最大后验问题转化为优化问题：
Figure FDA0002891215980000031
式中，Xk *代表最大估计后验值，r0代表滑窗初值残差，
Figure FDA0002891215980000032
代表IMU观测残差，
Figure FDA0002891215980000033
代表相机观测残差，∑0表示滑窗初值的协方差，∑ij表示IMU观测值的协方差，∑C表示相机观测值的协方差。
4.根据权利要求1所述的一种融合多传感器的室外大场景三维建图方法，其特征在于，所述构建的词袋模型为：
Figure FDA0002891215980000034
式中，v1,v2为两不同时刻的词袋向量，s为相似度评分，当s趋近于1时，则判定为回环。
5.根据权利要求1所述的一种融合多传感器的室外大场景三维建图方法，其特征在于，所述将点云分类成不同类型的点具体为：
为减低系统实时的运算量，对点云数据进行预处理，将原始点云划分为三类点：
地面点：将点云划分为0.5m×0.5m的栅格，计算栅格内的最高点和最低点的高度差，将高度差低于0.15m的栅格归类于地面点；
离群点：使用随机一致性采样算法剔除离群点；
有效聚类点：标记地面点后，对点云进行欧式聚类，将聚类点数少于30或在竖直方向上占据的线束小于3的点进行滤除，余下的点均为有效聚类点。
6.根据权利要求1所述的一种融合多传感器的室外大场景三维建图方法，其特征在于，所述融合高频VIO位姿将传统的雷达匀速运动模型改进为多阶段的匀加速模型，以去除点云畸变具体为：融合将视觉惯性里程计滑窗优化后的位姿，将传统激光雷达的匀速运动模型改进为多阶段的匀加速模型如下：
Figure FDA0002891215980000041
式中，tLq为激光雷达在第q次扫描时的时间戳，Tk，Tk+1，Tk+2，Tk+3为在tV-Ik，tV-Ik+1，tV-Ik+2，tV-Ik+3这四个时刻视觉惯性里程计输出的四个绝对位姿，a1、a2为两阶段的加速度；v1，v2，v3为第一阶段的初速度，第一阶段的末速度，第二阶段的末速度，通过两阶段的位移和速度，插值计算点云的速度，位移和欧拉角，消除非匀速运动产生的畸变。
7.根据权利要求6所述的一种融合多传感器的室外大场景三维建图方法，其特征在于，在去除点云畸变前，进行传感器时间戳对齐：
Figure FDA0002891215980000042
式中，tLq为雷达在第q次扫描时的时间戳，tV-Ik为VIO系统第k次位姿输出时的时间戳。
8.根据权利要求1所述的一种融合多传感器的室外大场景三维建图方法，其特征在于，所述融合基于词袋模型的回环检测构建三维地图具体包括以下步骤：
步骤S1：利用FAST特征提取算法，从每张图像中提取视觉词汇，将所有的的词汇汇合在一起；
步骤S2：利用K-Means算法构造单词表，将词义相近的视觉词汇合并，同时构造一个包含K个词汇的单词表；
步骤S3：统计单词表中每个单词在图像中出现的次数，从而将图像表示成为一个K维数值向量；
步骤S4：重复步骤S1至步骤S3，将描述子建立成树形结构；
步骤S5：将两个词袋的描述子进行相似度比较，当相似度趋近于1时，即认为是回环；
步骤S6：在点云数据回环检测上，采用点云近邻搜索算法，以激光雷达当前位姿为搜索点，查找半径范围为5m内的若干个位姿；
步骤S7：同步词袋模型的回环检测结果和点云数据回环检测结果，当两者同时检测为回环时，才判定为该无人车经过了同一个点；为保证在无人车启动时初始速度较慢造成误回环检测，设置连续回环检测的判定，只有在5秒内10次同时检测到回环，才判定为回环。
9.一种融合多传感器的室外大场景三维建图系统，其特征在于，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如权利要求1-8任一项所述的方法步骤。
10.一种计算机可读存储介质，其上存储有能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如权利要求1-8任一项所述的方法步骤。
CN202110028706.9A 2021-01-11 2021-01-11 一种融合多传感器的室外大场景三维建图方法 Expired - Fee Related CN112634451B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110028706.9A CN112634451B (zh) 2021-01-11 2021-01-11 一种融合多传感器的室外大场景三维建图方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110028706.9A CN112634451B (zh) 2021-01-11 2021-01-11 一种融合多传感器的室外大场景三维建图方法

Publications (2)

Publication Number Publication Date
CN112634451A true CN112634451A (zh) 2021-04-09
CN112634451B CN112634451B (zh) 2022-08-23

Family

ID=75293812

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110028706.9A Expired - Fee Related CN112634451B (zh) 2021-01-11 2021-01-11 一种融合多传感器的室外大场景三维建图方法

Country Status (1)

Country Link
CN (1) CN112634451B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269094A (zh) * 2021-05-26 2021-08-17 中国科学院自动化研究所 基于特征提取算法和关键帧的激光slam系统及方法
CN113379910A (zh) * 2021-06-09 2021-09-10 山东大学 基于slam的移动机器人矿山场景重建方法及系统
CN113408625A (zh) * 2021-06-22 2021-09-17 之江实验室 应用于无人系统的多源异构数据单帧融合与一致表征方法
CN113570716A (zh) * 2021-07-28 2021-10-29 视辰信息科技(上海)有限公司 云端三维地图构建方法、系统及设备
CN113781582A (zh) * 2021-09-18 2021-12-10 四川大学 基于激光雷达和惯导联合标定的同步定位与地图创建方法
CN113970330A (zh) * 2021-12-22 2022-01-25 比亚迪股份有限公司 车载多传感器融合定位方法、计算机设备及存储介质
CN114018236A (zh) * 2021-09-30 2022-02-08 哈尔滨工程大学 一种基于自适应因子图的激光视觉强耦合slam方法
CN114088104A (zh) * 2021-07-23 2022-02-25 武汉理工大学 一种自动驾驶场景下的地图生成方法
CN114088087A (zh) * 2022-01-21 2022-02-25 深圳大学 无人机gps-denied下高可靠高精度导航定位方法和系统
CN114279434A (zh) * 2021-12-27 2022-04-05 驭势科技（北京）有限公司 一种建图方法、装置、电子设备和存储介质
CN114440856A (zh) * 2022-01-21 2022-05-06 北京地平线信息技术有限公司 一种构建语义地图的方法及装置
CN115356740A (zh) * 2022-08-09 2022-11-18 群周科技(上海)有限公司 一种机载环境下的可降落区域降落定位方法
CN115421158A (zh) * 2022-11-07 2022-12-02 中国人民解放军国防科技大学 自监督学习的固态激光雷达三维语义建图方法与装置
CN115937383A (zh) * 2022-09-21 2023-04-07 北京字跳网络技术有限公司 渲染图像的方法、装置、电子设备及存储介质
CN114964212B (zh) * 2022-06-02 2023-04-18 广东工业大学 面向未知空间探索的多机协同融合定位与建图方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3078935A1 (en) * 2015-04-10 2016-10-12 The European Atomic Energy Community (EURATOM), represented by the European Commission Method and device for real-time mapping and localization
EP3451288A1 (en) * 2017-09-04 2019-03-06 Universität Zürich Visual-inertial odometry with an event camera
CN110261870A (zh) * 2019-04-15 2019-09-20 浙江工业大学 一种用于视觉-惯性-激光融合的同步定位与建图方法
CN111595333A (zh) * 2020-04-26 2020-08-28 武汉理工大学 视觉惯性激光数据融合的模块化无人车定位方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3078935A1 (en) * 2015-04-10 2016-10-12 The European Atomic Energy Community (EURATOM), represented by the European Commission Method and device for real-time mapping and localization
EP3451288A1 (en) * 2017-09-04 2019-03-06 Universität Zürich Visual-inertial odometry with an event camera
CN110261870A (zh) * 2019-04-15 2019-09-20 浙江工业大学 一种用于视觉-惯性-激光融合的同步定位与建图方法
CN111595333A (zh) * 2020-04-26 2020-08-28 武汉理工大学 视觉惯性激光数据融合的模块化无人车定位方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
林晨浩 等: "一种融合视觉与IMU的车载激光雷达建图与定位方法", 《福州大学学报(自然科学版)》 *
王潇榕等: "基于单目SLAM的实时场景三维重建", 《农业装备与车辆工程》 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269094A (zh) * 2021-05-26 2021-08-17 中国科学院自动化研究所 基于特征提取算法和关键帧的激光slam系统及方法
CN113269094B (zh) * 2021-05-26 2023-01-13 中国科学院自动化研究所 基于特征提取算法和关键帧的激光slam系统及方法
CN113379910A (zh) * 2021-06-09 2021-09-10 山东大学 基于slam的移动机器人矿山场景重建方法及系统
CN113379910B (zh) * 2021-06-09 2023-06-02 山东大学 基于slam的移动机器人矿山场景重建方法及系统
WO2022257801A1 (zh) * 2021-06-09 2022-12-15 山东大学 基于slam的移动机器人矿山场景重建方法及系统
CN113408625B (zh) * 2021-06-22 2022-08-09 之江实验室 应用于无人系统的多源异构数据单帧融合与一致表征方法
CN113408625A (zh) * 2021-06-22 2021-09-17 之江实验室 应用于无人系统的多源异构数据单帧融合与一致表征方法
CN114088104B (zh) * 2021-07-23 2023-09-29 武汉理工大学 一种自动驾驶场景下的地图生成方法
CN114088104A (zh) * 2021-07-23 2022-02-25 武汉理工大学 一种自动驾驶场景下的地图生成方法
CN113570716A (zh) * 2021-07-28 2021-10-29 视辰信息科技(上海)有限公司 云端三维地图构建方法、系统及设备
CN113781582A (zh) * 2021-09-18 2021-12-10 四川大学 基于激光雷达和惯导联合标定的同步定位与地图创建方法
CN113781582B (zh) * 2021-09-18 2023-09-19 四川大学 基于激光雷达和惯导联合标定的同步定位与地图创建方法
CN114018236A (zh) * 2021-09-30 2022-02-08 哈尔滨工程大学 一种基于自适应因子图的激光视觉强耦合slam方法
CN114018236B (zh) * 2021-09-30 2023-11-03 哈尔滨工程大学 一种基于自适应因子图的激光视觉强耦合slam方法
WO2023116797A3 (zh) * 2021-12-22 2023-08-17 比亚迪股份有限公司 车载多传感器融合定位方法、计算机设备及存储介质
CN113970330A (zh) * 2021-12-22 2022-01-25 比亚迪股份有限公司 车载多传感器融合定位方法、计算机设备及存储介质
CN114279434A (zh) * 2021-12-27 2022-04-05 驭势科技（北京）有限公司 一种建图方法、装置、电子设备和存储介质
CN114440856A (zh) * 2022-01-21 2022-05-06 北京地平线信息技术有限公司 一种构建语义地图的方法及装置
CN114088087B (zh) * 2022-01-21 2022-04-15 深圳大学 无人机gps-denied下高可靠高精度导航定位方法和系统
CN114088087A (zh) * 2022-01-21 2022-02-25 深圳大学 无人机gps-denied下高可靠高精度导航定位方法和系统
CN114964212B (zh) * 2022-06-02 2023-04-18 广东工业大学 面向未知空间探索的多机协同融合定位与建图方法
CN115356740A (zh) * 2022-08-09 2022-11-18 群周科技(上海)有限公司 一种机载环境下的可降落区域降落定位方法
CN115937383A (zh) * 2022-09-21 2023-04-07 北京字跳网络技术有限公司 渲染图像的方法、装置、电子设备及存储介质
CN115937383B (zh) * 2022-09-21 2023-10-10 北京字跳网络技术有限公司 渲染图像的方法、装置、电子设备及存储介质
CN115421158A (zh) * 2022-11-07 2022-12-02 中国人民解放军国防科技大学 自监督学习的固态激光雷达三维语义建图方法与装置

Also Published As

Publication number Publication date
CN112634451B (zh) 2022-08-23

Similar Documents

Publication Publication Date Title
CN112634451B (zh) 一种融合多传感器的室外大场景三维建图方法
CN109307508B (zh) 一种基于多关键帧的全景惯导slam方法
CN109166149B (zh) 一种融合双目相机与imu的定位与三维线框结构重建方法与系统
CN111258313B (zh) 多传感器融合slam系统及机器人
US11668571B2 (en) Simultaneous localization and mapping (SLAM) using dual event cameras
CN110070615B (zh) 一种基于多相机协同的全景视觉slam方法
CN109029433B (zh) 一种移动平台上基于视觉和惯导融合slam的标定外参和时序的方法
CN111275763B (zh) 闭环检测系统、多传感器融合slam系统及机器人
CN112734852B (zh) 一种机器人建图方法、装置及计算设备
Fraundorfer et al. Visual odometry: Part ii: Matching, robustness, optimization, and applications
CN112304307A (zh) 一种基于多传感器融合的定位方法、装置和存储介质
WO2022188094A1 (zh) 一种点云匹配方法及装置、导航方法及设备、定位方法、激光雷达
Huang Review on LiDAR-based SLAM techniques
CN108711166A (zh) 一种基于四旋翼无人机的单目相机尺度估计方法
CN112219087A (zh) 位姿预测方法、地图构建方法、可移动平台及存储介质
CN113706626B (zh) 一种基于多传感器融合及二维码校正的定位与建图方法
CN111664843A (zh) 一种基于slam的智能仓储盘点方法
CN110726406A (zh) 一种改进的非线性优化单目惯导slam的方法
CN112419497A (zh) 基于单目视觉的特征法与直接法相融合的slam方法
CN111998862A (zh) 一种基于bnn的稠密双目slam方法
CN111623773B (zh) 一种基于鱼眼视觉和惯性测量的目标定位方法及装置
CN113570716A (zh) 云端三维地图构建方法、系统及设备
CN116878501A (zh) 一种基于多传感器融合的高精度定位与建图系统及方法
CN114723920A (zh) 一种基于点云地图的视觉定位方法
Xia et al. YOLO-Based Semantic Segmentation for Dynamic Removal in Visual-Inertial SLAM

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220823