CN111932674A - 一种线激光视觉惯性系统的优化方法 - Google Patents

一种线激光视觉惯性系统的优化方法 Download PDF

Info

Publication number
CN111932674A
CN111932674A CN202010612987.8A CN202010612987A CN111932674A CN 111932674 A CN111932674 A CN 111932674A CN 202010612987 A CN202010612987 A CN 202010612987A CN 111932674 A CN111932674 A CN 111932674A
Authority
CN
China
Prior art keywords
sliding window
line laser
pose
visual
imu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010612987.8A
Other languages
English (en)
Inventor
熊明磊
陈龙冬
李鑫海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boya Gongdao Beijing Robot Technology Co Ltd
Original Assignee
Boya Gongdao Beijing Robot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boya Gongdao Beijing Robot Technology Co Ltd filed Critical Boya Gongdao Beijing Robot Technology Co Ltd
Priority to CN202010612987.8A priority Critical patent/CN111932674A/zh
Publication of CN111932674A publication Critical patent/CN111932674A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data

Abstract

本发明公开了一种线激光视觉惯性系统的优化方法，该方法包括，步骤S1，对测量数据预处理；步骤S2，对估计器初始化；步骤S3，采用松耦合的传感器融合方法得到初始值；步骤S4，对滑动窗口进行重定位；步骤S5，对全局位姿图进行优化；步骤S6，根据全局位姿与各个位姿激光三角测量深度，融合成最终3D模型。根据这种优化方法可以优化最终的3D模型，提高了线激光视觉惯性系统的精确度和鲁棒性。

Description

一种线激光视觉惯性系统的优化方法
技术领域
本发明涉及水下智能扫描技术领域，具体来说，涉及一种线激光视觉惯性系统的优化方法。
背景技术
同时定位与地图构建(Simul taneous Localization and mapping，简称SLAM 技术是移动机器人定位导航技术的重要方向，指运动物体在运动过程仅依赖所携带的传感器实现对自身的定位，同时对周围环境进行地图构建。由于相机较激光传感器价格更低体积更小，且获取的图像所含信息更为丰富，基于视觉的SLAM，简称视觉SLAMD技术成为了研究热点：相较于计算量较大的双目相机以及RGB-D深度相机，单目相机具备耗电量小，体积小，重量轻等优点，尤其在小型移动机器人(如微型无人机)平台上有着巨大的优势。因此单目SLAM技术可应用于不同的移动机器人平台，有着重要的研究价值。
然而仅依赖单目相机信息进行移动机器人自身的定位于导航，存在尺度模糊的问题，无法获得运动轨迹的真实长度，这就是单目SLAM中存在的尺度模糊性。这种缺陷限制了其大量的应用。为了解决这一缺陷，当前却来越多的解决方案倾向于传感器融合的方式，利用传感器获取数据的不同特性，进行优势互补，取得更好的效果。在不同的传感器模态中，相机与IMU的组合鲁棒性好且成本低廉，是很有潜力的解决方案。单目视觉和IMU融合的SLAM技术又称为视觉惯性导航技术(isual-Inertial Navigation System，VINS)。一方面，相机提供了丰富的环境信息，可构建三维模型、运动恢复和识别已访问的地点；另一方面，IMU传感器提供了自身运动状态信息，可以恢复单目视觉的尺度信息，估计重力方向，提供可视的绝对俯仰和滚动信息。二者的互补性使得它们融合后可获得更高精度和更好的系统鲁棒性。然而，在单目SLAM中融入 IMU会使得系统变得更加复杂，IMU在测量过程中既存在测量噪声，又存在加速度和角速度偏差(bias)，从而引来大量新的问题，包括不同传感器时间同步问题、系统状态变量的初始化问题、IMU预积分问题、非线性优化问题、闭环检测和全局优化等问题。
目前，传统VINS存在尺寸漂移位移，测量精度低，单目SLAM先用对极几何初始化，即SVD分解，再不断用PNP迭代。其中初始化设计尺度问题，由于通过2D-2D对极几何约束求解相机位姿时会产生尺度问题，即无法确定真实尺度，这是由于每两帧计算的位姿采用的尺度可能都不一致或与真实世界的尺度比例无法获得,后续的PNP涉及尺度漂移问题，计算的R,t存在误差累积；另外，系统存在点激光效率低的问题。
发明内容
针对相关技术中的问题，本发明提出一种线激光视觉惯性系统的优化方法，解决现有激光视觉惯性系统存在尺寸漂移位移，测量精度和效率低的问题。
为了实现上述技术目的，本发明的技术方案是这样的：
采用一种线激光视觉惯性系统的优化方法，包括以下步骤：
步骤S1，对测量数据预处理，通过视觉SLAM读取相机传感器的图像数据，在视觉前端中进行特征点跟踪，对两个连续帧间的惯性导航传感器IMU的陀螺仪零偏进行预积分，将激光器三角测量曲线进行拟合标定，估计出相邻图像间相机的运动以及局部地图，其中，观测模型是由视觉 SLAM和惯性导航传感器IMU组成，视觉SLAM为定位与建图技术；
步骤S2，对估计器初始化，滑动窗口纯视觉SLAM，进行视觉惯性校准和陀螺仪偏置标定，使测量速度、重力向量、尺度均初始化；
步骤S3，采用松耦合的传感器融合方法得到初始值，在估计器初始化后，采用基于滑动窗口的紧耦合单目VIO进行高精度和鲁棒的状态估计，这里带入激光器三角测量的尺度，其中，VINS若只具备位姿跟踪和地图点的构建，其本质上属于视觉和惯导融合的里程计，即VIO；
步骤S4，对滑动窗口进行重定位，利用DBoW2词袋位置识别方法来进行回环检测，当检测到回路时，通过检索特征对应关系建立局部滑动窗口与回环候选帧之间的连接，通过BRIEF描述子匹配找到对应关系，直接描述子匹配可能会造成大量异常值，用RANSAC算法进行几何异常值剔除，将所有回环帧的位姿作为常量，利用所有IMU测量值、局部视觉测量和从回环中提取特征对应值，共同优化滑动窗口；
步骤S5，对全局位姿图进行优化，重新定位后，将局部滑动窗口进行移动并与过去的位姿对齐；
步骤S6，根据全局位姿与各个位姿激光三角测量深度，融合成最终3D 模型。
进一步，所述步骤S1中，所述特征点跟踪具体步骤为，通过KLT稀疏算法对每张新图像中的现有特征进行跟踪，并通过检测器检测新的角点特征，维持每个图像中的特征的最小数量为100，其中，检测器通过设置两个相邻特征之间的最小像素间隔来实施均匀的特征分布。
进一步，所述步骤S1中，所述激光器与所述相机之间成30度夹角。
进一步，所述步骤S5中，所述全局位姿图优化过程为，通过位姿图优化模块接受几何验证的重定位结果与激光器的深度信息，并进行全局优化。
进一步，所述步骤S4，对滑动窗口进行重定位中采用了重定位模块，所述重定位模块与VIO紧密地融合了预先积分的IMU测量、特征观测和回环重新检测到的特征以及线激光器的一列深度信息，在估计器初始化后，采用基于滑动窗口的紧耦合单目VIO进行高精度和鲁棒的状态估计。
本发明的有益效果：这种线激光视觉惯性系统的优化方法以及装置，解决传统单目VINS尺度漂移问题,提出了一种鲁棒、通用的单目视觉惯性估计器；在IMU预积分，估计器初始化和故障恢复，紧耦合视觉惯性里程计，重定位和有效的全局优化上，具有最先进的和新颖的解决方案，并对线激光视觉惯性系统进行状态估计，提高了线激光视觉惯性系统的精确度和鲁棒性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例所述一种线激光视觉惯性系统的优化方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
根据本发明实施例所述的一种线激光视觉惯性系统的优化方法，包括以下步骤：
步骤S1，对测量数据预处理，通过视觉SLAM读取相机传感器的图像数据，在视觉前端中进行特征点跟踪，对两个连续帧间的惯性导航传感器IMU的陀螺仪零偏进行预积分，将激光器三角测量曲线进行拟合标定，估计出相邻图像间相机的运动以及局部地图，其中，观测模型是由视觉 SLAM和惯性导航传感器IMU组成，视觉SLAM为定位与建图技术；
步骤S2，对估计器初始化，滑动窗口纯视觉SLAM，进行视觉惯性校准和陀螺仪偏置标定，使测量速度、重力向量、尺度均初始化；
步骤S3，采用松耦合的传感器融合方法得到初始值，在估计器初始化后，采用基于滑动窗口的紧耦合单目VIO进行高精度和鲁棒的状态估计，这里带入激光器三角测量的尺度，其中，VINS若只具备位姿跟踪和地图点的构建，其本质上属于视觉和惯导融合的里程计，即VIO；
步骤S4，对滑动窗口进行重定位，利用DBoW2词袋位置识别方法来进行回环检测，当检测到回路时，通过检索特征对应关系建立局部滑动窗口与回环候选帧之间的连接，通过BRIEF描述子匹配找到对应关系，直接描述子匹配可能会造成大量异常值，用RANSAC算法进行几何异常值剔除，将所有回环帧的位姿作为常量，利用所有IMU测量值、局部视觉测量和从回环中提取特征对应值，共同优化滑动窗口，其中，重定位过程有效地使单目VIO(VI)维持的当前滑动窗口与过去的位姿图对齐；
步骤S5，对全局位姿图进行优化，重新定位后，将局部滑动窗口进行移动并与过去的位姿对齐；
步骤S6，根据全局位姿与各个位姿激光三角测量深度，融合成最终3D 模型。
在本实施例中，所述步骤S1中，所述特征点跟踪具体步骤为，通过KLT 稀疏算法对每张新图像中的现有特征进行跟踪，并通过检测器检测新的角点特征，维持每个图像中的特征的最小数量为100，其中，检测器通过设置两个相邻特征之间的最小像素间隔来实施均匀的特征分布。
在本实施例中，所述步骤S1中，所述激光器与所述相机之间成30度夹角。
在本实施例中，所述步骤S5中，所述全局位姿图优化过程为，通过位姿图优化模块接受几何验证的重定位结果与激光器的深度信息，并进行全局优化。
在本实施例中，所述步骤S4，对滑动窗口进行重定位中采用了重定位模块，所述重定位模块与VIO紧密地融合了预先积分的IMU测量、特征观测和回环重新检测到的特征以及线激光器的一列深度信息，在估计器初始化后，采用基于滑动窗口的紧耦合单目VIO进行高精度和鲁棒的状态估计。
为方便对上述技术方案的进一步理解，现对其过程原理进行说明：
如图1所示，本系统从测量预处理开始：
在系统中提取和跟踪特征，对于每张新图像，现有特征点由KLT稀疏光流算法跟踪，同时，检测新的角点特征(Shi-Tomasi)以维持每个图像中的特征的最小数(100)，检测器通过设置两个相邻特征之间的最小像素间隔来实施均匀的特征分布；
对两个连续帧间的IMU测量值进行预积分，IMU的原始陀螺仪和加速度计测量结果
Figure RE-GDA0002700750360000061
和
Figure RE-GDA0002700750360000062
如下：
Figure RE-GDA0002700750360000063
Figure RE-GDA0002700750360000064
假设加速度计和陀螺仪测量值中的附加噪声为高斯噪声：
Figure RE-GDA0002700750360000065
加速度计偏置和陀螺仪偏置被建模为随机游走，其导数为高斯性的：
Figure RE-GDA0002700750360000071
Figure RE-GDA0002700750360000072
给定对应于体坐标系bk和bk+1的两个时刻，位置、速度和方向状态可以在时间间隔[tk,tk+1]间，在世界坐标系下中通过惯性测量值传递：
Figure RE-GDA0002700750360000073
Figure RE-GDA0002700750360000074
Figure RE-GDA0002700750360000075
Figure RE-GDA0002700750360000076
其中，Δtk是时间间隔[tk,tk+1]之间的持续时间，IMU状态传递需要坐标系bk的旋转、位置和速度。当这些起始状态改变时，我们需要重新传递 IMU测量值。特别是在基于优化的算法中，每次调整位姿时，都需要在它们之间重新传递IMU测量值。这种传递策略在计算上要求很高。为了避免重新传递，我们采用了预积分算法。
将参考坐标系从世界坐标系转变为局部坐标系bk后，我们只能对线性的加速度
Figure RE-GDA0002700750360000077
和角速度
Figure RE-GDA0002700750360000078
相关的部分进行预积分，如下所示：
Figure RE-GDA0002700750360000079
Figure RE-GDA00027007503600000710
Figure RE-GDA00027007503600000711
Figure RE-GDA00027007503600000712
Figure RE-GDA00027007503600000713
Figure RE-GDA0002700750360000081
可以看出预积分项能通过将bk视为参考帧的IMU测量值单独得到。
Figure RE-GDA0002700750360000082
只与bk和bk+1中的IMU偏置有关，与其他状态无关。当偏置估计发生变化时，若偏置变化很小，我们将
Figure RE-GDA0002700750360000083
按其对偏置的一阶近似来调整，否则就进行重新传递。这种策略为基于优化的算法节省了大量的计算资源，因为我们不需要重复传递IMU测量值。
在开始时，
Figure RE-GDA0002700750360000084
是0，
Figure RE-GDA0002700750360000085
是单位四元数。α、β、γ在上述预积分公式中的平均值是如下逐步传递的。增加的噪声项nα，nω是未知的，在实现中被视为零。这得到了预积分的估计值：
Figure RE-GDA0002700750360000086
Figure RE-GDA0002700750360000087
Figure RE-GDA0002700750360000088
其中，i是在[tk,tk+1]中IMU测量值对应的离散时刻，δt是IMU测量值i和i+1之间的时间间隔。
然后讨论协方差传递问题。由于四维旋转四元数
Figure RE-GDA0002700750360000089
被过参数化，我们将其误差项定义为围绕其平均值的扰动：
Figure RE-GDA00027007503600000810
其中，
Figure RE-GDA00027007503600000811
是三维小扰动。
我们可以导出误差项的连续时间线性化方程：
Figure RE-GDA0002700750360000091
其中，Q是噪声的对角线协方差矩阵
Figure RE-GDA0002700750360000092
同时，
Figure RE-GDA0002700750360000093
的一阶雅可比矩阵相对于
Figure RE-GDA0002700750360000094
也可以用初始雅可比矩阵
Figure RE-GDA0002700750360000095
递归计算:
Figure RE-GDA0002700750360000096
利用这个递推公式，得到协方差矩阵
Figure RE-GDA0002700750360000097
和雅可比矩阵
Figure RE-GDA0002700750360000098
Figure RE-GDA0002700750360000099
关于偏置的一阶近似可以写为：
Figure RE-GDA00027007503600000910
Figure RE-GDA00027007503600000911
Figure RE-GDA00027007503600000912
其中，
Figure RE-GDA00027007503600000913
是
Figure RE-GDA00027007503600000914
中的子块矩阵，其位置对应于
Figure RE-GDA00027007503600000915
Figure RE-GDA00027007503600000916
也使用同样的含义。当偏置估计发生轻微变化时，我们使用近似校正预积分结果，而不重新传递。
IMU测量模型所其对应的协方差
Figure RE-GDA00027007503600000917
Figure RE-GDA00027007503600000918
对激光器三角测量曲线拟合标定，激光器与相机的成30度夹角，根据三角测量原理，世界坐标系下不同深度的点投影到图像坐标会在y轴产生亮斑偏移。拟合世界坐标深度值与亮斑在Y轴偏移量曲线，标定偏移量，则在x轴上每一点都可根据纵轴最亮点的y坐标计算其对应深度。
采用松耦合的传感器融合方法得到初始值。纯视觉SLAM，或从运动中恢复结构(SfM)，具有良好的初始化性质。在大多数情况下，纯视觉系统可以通过从相对运动方法(如八点法或五点法或估计单应性矩阵)中导出初始值来引导自己，这里我们用线激光测得的特征点在世界坐标下坐标来引导SFM。通过对齐IMU预积分与纯视觉SfM结果，可以粗略地恢复尺度、重力、速度，甚至偏置。以此引导非线性单目VIO估计器；联合标定观察线激光光斑的相机与单目相机。初始化过程提供了所有必要的值，包括姿态、速度、重力向量、陀螺仪偏置和三维特征位置以及线激光光斑三角测量得到的深度信息，用于引导随后的基于非线性优化的单目视觉惯性里程计(VIO)。
VIO与重定位模块紧密地融合了预先积分的IMU测量、特征观测和回环重新检测到的特征以及线激光器的一列深度信息。估计器初始化后，我们采用基于滑动窗口的紧耦合单目VIO进行高精度和鲁棒的状态估计，滑动窗口中的完整状态向量定义为：
Figure RE-GDA0002700750360000101
Figure RE-GDA0002700750360000102
Figure RE-GDA0002700750360000103
其中，xk是捕获第k图像时的IMU状态。它包含了IMU在世界坐标系中的位置、速度和方向，以及在IMU本体坐标系中的加速度计偏置和陀螺仪偏置。n是关键帧的总数，m是滑动窗口中的特征总数，λl是第一次线激光观测到第l个特征的逆深度。
我们使用视觉惯性BA，我们最小化所有测量残差的先验和 Mahalanobis范数之和，得到最大后验估计：
Figure RE-GDA0002700750360000111
其中，Huber范数被定义为：
Figure RE-GDA0002700750360000112
其中，
Figure RE-GDA0002700750360000113
和
Figure RE-GDA0002700750360000114
分别是IMU和视觉测量的残差，B是所有IMU 测量的集合，C是在当前滑动窗口中至少观察到两次的一组特征，{rp,HP} 是来自边缘化的先验信息。
考虑滑动窗口中连续两个帧bk和bk+1内的IMU测量，根据IMU测量模型，预积分IMU测量的残差可以定义为:
Figure RE-GDA0002700750360000115
其中，[·]xyz是提取四元数q的向量部分，以进行误差状态表示。
Figure RE-GDA0002700750360000116
是四元数的三维误差状态表示；
Figure RE-GDA0002700750360000117
是在两个连续图像帧的间隔时间内使用仅包含噪声的加速度计和陀螺仪测量值预积分的IMU测量项；加速度计和陀螺仪偏置也包括在在线校正的剩余项中。
与在广义图像平面上定义重投影误差的传统针孔相机模型相比，我们在单位球面上定义摄像机的测量残差。几乎所有类型相机的光学，包括广角、鱼眼或全向相机，都可以模拟为连接单位球体表面的单位射线。假设第l个特征在第i幅图像中被第一次观察到，第j幅图像中的特征观测的残差定义为：
Figure RE-GDA0002700750360000121
Figure RE-GDA0002700750360000122
Figure RE-GDA0002700750360000123
其中
Figure RE-GDA0002700750360000124
是第一次观测到出现在第i图像中的第l个特征。
Figure RE-GDA0002700750360000125
是在第j图像中对相同特征的观察；
Figure RE-GDA0002700750360000126
是利用摄像机内参将像素位置转换成单位向量的反投影函数；由于视觉残差的自由度是2，所以我们将残差向量投影到切平面上；b1、b2是在切平面
Figure RE-GDA0002700750360000127
上的两个任意选择的正交基，我们可以很容易地找到一组b1、b2，使用的
Figure RE-GDA0002700750360000128
是正切空间中固定长度的标准协方差。
6)位姿图优化模块接受几何验证的重定位结果与激光器的深度信息，并进行全局优化以消除漂移；VIO、重新定位和位姿图优化模块在多线程设置中同时运行；每个模块有不同的运行速度和实时保证，以确保在任何时候可靠运行。
在本发明的描述中，需要理解的是，指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明中，除非另有明确的规定和限定，例如，可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.一种线激光视觉惯性系统的优化方法，其特征在于，包括以下步骤：
步骤S1，对测量数据预处理，通过视觉 SLAM 读取相机传感器的图像数据，在视觉前端中进行特征点跟踪，对两个连续帧间的惯性导航传感器IMU的陀螺仪零偏进行预积分，将激光器三角测量曲线进行拟合标定，估计出相邻图像间相机的运动以及局部地图，其中，观测模型是由视觉SLAM和惯性导航传感器IMU组成，视觉SLAM为定位与建图技术，所述线激光视觉惯性系统包括单目VINS系统；
步骤S2，对估计器初始化，滑动窗口纯视觉SLAM，进行视觉惯性校准和陀螺仪偏置标定，使测量速度、重力向量、尺度均初始化；
步骤S3，采用松耦合的传感器融合方法得到初始值，在估计器初始化后，采用基于滑动窗口的紧耦合单目VIO进行高精度和鲁棒的状态估计，这里带入激光器三角测量的尺度，其中，VINS 若只具备位姿跟踪和地图点的构建，其本质上属于视觉和惯导融合的里程计，即VIO；
步骤S4，对滑动窗口进行重定位，利用DBoW2词袋位置识别方法来进行回环检测，当检测到回路时，通过检索特征对应关系建立局部滑动窗口与回环候选帧之间的连接，通过BRIEF描述子匹配找到对应关系，直接描述子匹配可能会造成大量异常值，用RANSAC算法进行几何异常值剔除，将所有回环帧的位姿作为常量，利用所有IMU测量值、局部视觉测量和从回环中提取特征对应值，共同优化滑动窗口；
步骤S5，对全局位姿图进行优化，重新定位后，将局部滑动窗口进行移动并与过去的位姿对齐；
步骤S6，根据全局位姿与各个位姿激光三角测量深度，融合成最终3D模型。
2.根据权利要求1所述的一种线激光视觉惯性系统的优化方法，其特征在于，所述步骤S1中，所述特征点跟踪具体步骤为，通过KLT稀疏算法对每张新图像中的现有特征进行跟踪，并通过检测器检测新的角点特征，维持每个图像中的特征的最小数量为100，其中，检测器通过设置两个相邻特征之间的最小像素间隔来实施均匀的特征分布。
3.根据权利要求1所述的一种线激光视觉惯性系统的优化方法，其特征在于，所述步骤S1中，所述激光器与所述相机之间成30度夹角。
4.根据权利要求1所述的一种线激光视觉惯性系统的优化方法，其特征在于，所述步骤S5中，全局位姿图优化过程为，通过位姿图优化模块接受几何验证的重定位结果与激光器的深度信息，并进行全局优化。
5.根据权利要求1所述的一种线激光视觉惯性系统的优化方法，其特征在于，所述步骤S4，对滑动窗口进行重定位中采用了重定位模块，所述重定位模块与VIO紧密地融合了预先积分的IMU测量、特征观测和回环重新检测到的特征以及线激光器的一列深度信息，在估计器初始化后，采用基于滑动窗口的紧耦合单目VIO进行高精度和鲁棒的状态估计。
CN202010612987.8A 2020-06-30 2020-06-30 一种线激光视觉惯性系统的优化方法 Pending CN111932674A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010612987.8A CN111932674A (zh) 2020-06-30 2020-06-30 一种线激光视觉惯性系统的优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010612987.8A CN111932674A (zh) 2020-06-30 2020-06-30 一种线激光视觉惯性系统的优化方法

Publications (1)

Publication Number Publication Date
CN111932674A true CN111932674A (zh) 2020-11-13

Family

ID=73317727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010612987.8A Pending CN111932674A (zh) 2020-06-30 2020-06-30 一种线激光视觉惯性系统的优化方法

Country Status (1)

Country Link
CN (1) CN111932674A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529962A (zh) * 2020-12-23 2021-03-19 苏州工业园区测绘地理信息有限公司 一种基于视觉算法的室内空间关键定位技术方法
CN112945240A (zh) * 2021-03-16 2021-06-11 北京三快在线科技有限公司 特征点位置的确定方法、装置、设备及可读存储介质
CN113834488A (zh) * 2021-11-25 2021-12-24 之江实验室 基于结构光阵列远程识别的机器人空间姿态解算方法
CN114088087A (zh) * 2022-01-21 2022-02-25 深圳大学 无人机gps-denied下高可靠高精度导航定位方法和系统
CN114529603A (zh) * 2020-11-23 2022-05-24 新疆大学 一种基于激光slam与单目slam融合的里程计方法
CN114608554A (zh) * 2022-02-22 2022-06-10 北京理工大学 一种手持slam设备以及机器人即时定位与建图方法
CN114608561A (zh) * 2022-03-22 2022-06-10 中国矿业大学 一种基于多传感器融合的定位与建图方法及系统
CN114608561B (zh) * 2022-03-22 2024-04-26 中国矿业大学 一种基于多传感器融合的定位与建图方法及系统

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114529603B (zh) * 2020-11-23 2023-05-19 新疆大学 一种基于激光slam与单目视觉slam融合的里程计方法
CN114529603A (zh) * 2020-11-23 2022-05-24 新疆大学 一种基于激光slam与单目slam融合的里程计方法
CN112529962A (zh) * 2020-12-23 2021-03-19 苏州工业园区测绘地理信息有限公司 一种基于视觉算法的室内空间关键定位技术方法
CN112945240B (zh) * 2021-03-16 2022-06-07 北京三快在线科技有限公司 特征点位置的确定方法、装置、设备及可读存储介质
CN112945240A (zh) * 2021-03-16 2021-06-11 北京三快在线科技有限公司 特征点位置的确定方法、装置、设备及可读存储介质
CN113834488A (zh) * 2021-11-25 2021-12-24 之江实验室 基于结构光阵列远程识别的机器人空间姿态解算方法
CN113834488B (zh) * 2021-11-25 2022-03-25 之江实验室 基于结构光阵列远程识别的机器人空间姿态解算方法
CN114088087A (zh) * 2022-01-21 2022-02-25 深圳大学 无人机gps-denied下高可靠高精度导航定位方法和系统
CN114088087B (zh) * 2022-01-21 2022-04-15 深圳大学 无人机gps-denied下高可靠高精度导航定位方法和系统
CN114608554A (zh) * 2022-02-22 2022-06-10 北京理工大学 一种手持slam设备以及机器人即时定位与建图方法
CN114608554B (zh) * 2022-02-22 2024-05-03 北京理工大学 一种手持slam设备以及机器人即时定位与建图方法
CN114608561A (zh) * 2022-03-22 2022-06-10 中国矿业大学 一种基于多传感器融合的定位与建图方法及系统
CN114608561B (zh) * 2022-03-22 2024-04-26 中国矿业大学 一种基于多传感器融合的定位与建图方法及系统

Similar Documents

Publication Publication Date Title
CN111258313B (zh) 多传感器融合slam系统及机器人
CN109993113B (zh) 一种基于rgb-d和imu信息融合的位姿估计方法
CN111024066B (zh) 一种无人机视觉-惯性融合室内定位方法
CN108827315B (zh) 基于流形预积分的视觉惯性里程计位姿估计方法及装置
CN111275763B (zh) 闭环检测系统、多传感器融合slam系统及机器人
CN112197770B (zh) 一种机器人的定位方法及其定位装置
CN111932674A (zh) 一种线激光视觉惯性系统的优化方法
CN108700946B (zh) 用于并行测距和建图的故障检测和恢复的系统和方法
Milella et al. Stereo-based ego-motion estimation using pixel tracking and iterative closest point
CN110044354A (zh) 一种双目视觉室内定位与建图方法及装置
CN110726406A (zh) 一种改进的非线性优化单目惯导slam的方法
Chien et al. Visual odometry driven online calibration for monocular lidar-camera systems
CN112649016A (zh) 一种基于点线初始化的视觉惯性里程计方法
CN111354043A (zh) 一种基于多传感器融合的三维姿态估计方法及装置
Yu et al. Vision-aided inertial navigation with line features and a rolling-shutter camera
CN111609868A (zh) 一种基于改进光流法的视觉惯性里程计方法
CN116205947A (zh) 基于相机运动状态的双目-惯性融合的位姿估计方法、电子设备及存储介质
CN114485640A (zh) 基于点线特征的单目视觉惯性同步定位与建图方法及系统
CN112179373A (zh) 一种视觉里程计的测量方法及视觉里程计
CN112556719A (zh) 一种基于cnn-ekf的视觉惯性里程计实现方法
Huai et al. Real-time large scale 3D reconstruction by fusing Kinect and IMU data
CN112945233B (zh) 一种全局无漂移的自主机器人同时定位与地图构建方法
CN113345032A (zh) 一种基于广角相机大畸变图的初始化建图方法及系统
CN112731503A (zh) 一种基于前端紧耦合的位姿估计方法及系统
CN114485648B (zh) 一种基于仿生复眼惯性系统的导航定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination