CN108731700B - 一种视觉惯性里程计中的加权欧拉预积分方法 - Google Patents
一种视觉惯性里程计中的加权欧拉预积分方法 Download PDFInfo
- Publication number
- CN108731700B CN108731700B CN201810239808.3A CN201810239808A CN108731700B CN 108731700 B CN108731700 B CN 108731700B CN 201810239808 A CN201810239808 A CN 201810239808A CN 108731700 B CN108731700 B CN 108731700B
- Authority
- CN
- China
- Prior art keywords
- integration
- weighted
- euler
- imu
- key frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000010354 integration Effects 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000000007 visual effect Effects 0.000 title claims abstract description 20
- 238000005259 measurement Methods 0.000 claims abstract description 39
- 230000001133 acceleration Effects 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000013519 translation Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000005484 gravity Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000017105 transposition Effects 0.000 claims 1
- 238000005457 optimization Methods 0.000 abstract description 4
- 238000007781 pre-processing Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005295 random walk Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C22/00—Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Navigation (AREA)
Abstract
本发明公开了一种视觉惯性里程计中的加权欧拉预积分方法,惯性测量单元的预积分在VIO处理流程中是很重要的数据预处理部分,提高预积分的精度对于后续的联合初始化、运动估计及优化具有重要意义。本发明方法首先在积分运动模型上使用加权欧拉预积分,然后将两关键帧间的IMU测量值通过迭代求和处理,得到两关键帧之间的运动约束,再通过公式处理进一步得到相对运动增量模型以及预积分测量模型。与传统的预积分方法相比,提出的方法能充分利用测量的角速度和加速度测量值,并且更真实地反映速度和角度的变化趋势。在视觉与惯性器件紧耦合的系统中,使用EuRoc MAV数据集,实验结果较理想,在定位精度上有显著的提升,RMSE提高约40%。
Description
技术领域
本发明涉及一种视觉惯性里程计中的加权欧拉预积分方法,属于同时定位与地图构建(SLAM)技术领域。
背景技术
视觉惯性里程计(VIO)是融合视觉和惯性传感器的融合SLAM系统,视觉传感器和惯性传感器成本都很低,包含大量信息,在许多方面两者具有互补性。VIO在许多领域都有潜在的及广泛的应用,比如机器人领域、增强现实以及无人驾驶等。
单目VIO中的一种典型高效的融合方式是紧耦合这种方法将视觉与惯性的待优化量融合为一个参量来整体估计。惯性测量单元(IMU)通常获取测量数据的速率远高于视觉传感器。当前VIO的解决方案能通过非线性优化来获得较高精度的状态估计。IMU的预积分技术在整个VIO处理流程中很重要的数据预处理部分。提高预积分的精度对于后续的联合初始化、运动估计及优化具有重要意义。
Lupton在2012年首次提出了预积分的概念,他们将两个关键帧中的惯性测量值结合为一个相对运动的约束。Forster提出了在流行结构上能适用的旋转群的预积分理论。Tong Qing通过增加IMU偏置更正部分来扩展了IMU预积分。已有的预积分技术通常使用欧拉积分及中值积分的数值积分方式,虽然便于计算,却损失了部分精度,对最终定位结果的精度有影响。
发明内容
发明目的:针对上述现有技术的问题,本发明目的在于提出一种视觉惯性里程计中的加权欧拉预积分方法,充分利用IMU测量数据,在不增加运算难度的前提下,相较欧拉预积分方法,提升定位精度,且估计的偏置更接近于实际情况。
技术方案:为实现上述发明目的,本发明采用如下技术方案:
一种视觉惯性里程计中的加权欧拉预积分方法,其特征在于:该方法首先在积分运动模型上使用加权欧拉预积分,然后将两关键帧间的IMU测量值通过迭代求和处理,得到两关键帧之间的运动约束,再通过公式处理进一步得到相对运动增量模型以及预积分测量模型。
进一步地,将积分运动模型迭代公式使用加权欧拉预积分处理后表示为:
其中Δt是两次IMU测量值之间的时间间隔;R,v,p分别代表旋转、速度和平移,w,a分别代表角速度和加速度;RWB表示从Body坐标系到世界坐标系的旋转;下标W和B分别表示世界坐标系和Body坐标系,()^表示将向量转化为反对称矩阵;上标T表示转置;
在数值积分中,两个IIMU测量时刻间的角速度和加速度计算公式为:
wB(t,t+Δt)=c1(t)wB(t)+c2(t)wB(t+Δt)
aB(t,t+Δt)=c3(t)aB(t)+c4(t)aB(t+Δt)
其中,c1-c4为权值系数。
进一步地,通过对两个连续视觉关键帧间的IMU测量值迭代求和,得到两个相邻关键帧i,j之间的约束为:
进一步地,所述相对运动增量模型表示为:
其中,R,v,p分别代表旋转、速度和平移;g为重力加速度;上标T表示转置;为加权后的IMU测量的角速度和加速度,bg、ba为对应的偏置,ηg,ηa为对应的噪声。ΔRij、Δvij、Δpij分别表示关键帧i,j之间相对旋转、速度和平移。
进一步地,所述预积分测量模型表示为:
进一步地,还包括根据如下公式获得协方差矩阵Σij:
进一步地,还包括根据如下公式获得雅可比矩阵Jj:
有益效果:本发明提出一种视觉惯性里程计中的加权欧拉预积分方法,充分利用IMU测量数据,在不增加运算难度的前提下,相较于传统欧拉预积分方法,定位精度约提升了40%,且估计的偏置更接近于实际情况。随着无人驾驶技术、增强现实技术、机器人技术的飞速发展和普及以及相关行业的兴起,大众对于位置服务的定位精度提出来更高的要求,因此视觉惯性里程计中的加权欧拉预积分方法具有重大的意义和市场价值。
附图说明
图1是含加权预积分的预积分流程图。
图2是EuRoC MAV数据集使用的无人机。
图3是轨迹图(实线)与真实轨迹(虚线)。
图4是原始VIO系统、用加权欧拉预积分方法的VIO系统和groundtruth之间的加速度计偏置在不同方向上的对比图。
图5是原始VIO系统、用加权欧拉预积分方法的VIO系统和groundtruth之间的陀螺仪偏置在不同方向上的对比图。
具体实施方式
下面结合附图和具体实施例,对本发明技术方案作进一步说明。
本发明实施例公开的一种视觉惯性里程计中的加权欧拉预积分方法,该方法首先在积分运动模型上使用加权欧拉预积分,然后将两关键帧间的IMU测量值通过迭代求和处理,得到两关键帧之间的运动约束,再通过公式处理进一步得到相对运动增量模型以及预积分测量模型。最后给出了噪声传播和偏置更新的方法,也为VIO的后续处理提供了协方差矩阵和雅可比矩阵。
下面对本实施例的视觉惯性里程计中的加权欧拉预积分方法的具体理论基础和实施过程做详细介绍:
(1)IMU测量值加权理论
IMU预积分旨在获得IMU测量值和其协方差矩阵,并为相机和惯性器件联合初始化提供初值,此外还为后端优化提供IMU约束关系。
IMU测量值包括运动主体的陀螺仪和加速度计的测量值。这些测量值通常被传感器噪声和偏置所影响。本发明假设加速度和陀螺仪的偏置都hi随机游走模型。IMU测量值如下所示:
本发明定义为IMU世界坐标系下的角速度和加速度,wB(t)和aW(t)代表不受噪声和偏置影响的角速度和加速度的真值.ηg(t)和ηa(t)代表陀螺仪和加速度计的高斯噪声。偏置的导数和噪声ηg,ηa都符合高斯分布。
本发明假设两个IIMU测量时刻间的角速度和加速度都是常数,并且由两个连续的测量值加权表示。
wB(t,t+Δt)=c1(t)wB(t)+c2(t)wB(t+Δt) (3)
aB(t,t+Δt)=c3(t)aB(t)+c4(t)aB(t+Δt) (4)
系数的计算:
c1(t)=wB(t)/(wB(t)+wB(t+Δt))
c2(t)=wB(t+Δt)/(wB(t)+wB(t+Δt))
c3(t)=aB(t)/(aB(t)+aB(t+Δt))
c4(t)=aB(t+Δt)/(aB(t)+aB(t+Δt))
其中:wB(t,t+Δt),aB(t,t+Δt)代表处于每个IMU采样周期中的角速度和加速度值。为了使表达更简洁,本发明定义加权后的IMU测量值为在后续部分中,这种加权的思想将用于加权欧拉数值积分,以及旋转的更新。
(2)相对运动增量模型
从由描述IMU测量值的运动模型可知,在两个IMU测量时刻之间的运动状态可以由下积分运动模型公式迭代得到:
其中Δt是两次IMU测量值之间的时间间隔。R,V,P分别代表旋转、速度和平移。从公式可以看出,当t时刻的运动状态改变时,公式(5)需要重复计算。为了避免这种重复计算,本发明采用了预积分算法,预处理如下所示:
为了使迭代公式能用于离散测量值,本发明使用提出的加权欧拉积分方法。在这种数值积分中,使用了(3)和(4)中的加权IMU测量值。
加权思想也用于了旋转矩阵的更新中。
与传统的欧拉积分相比,加权欧拉积分法能充分利用角速度和加速度测量值,并且能够更加真实地反映速度和角度的变化趋势。在数值积分处理过程中,本发明假设在两次IMU测量期间的角速度、加速度和方向都为常值,由于IMU的测量频率很高,所以这种假设是合理的。
通过对两个连续视觉关键帧间的IMU测量值进行求和,可以得到两个相邻关键帧i,j之间的迭代模型。
其中,本发明省略了代表不同坐标系的下标,并使用下标代表ti和tj的函数,这些处理公式表达更简洁。
公式(8)已经给出了ti和tj时刻的运动约束。本发明选择预积分与加速度和角速度相关的部分。因此相对运动增量独立于ti时刻的位姿和速度。相对运动增量模型可以定义如下:
实际上,公式(9)的等式右端可以预先通过两个关键帧间的IMU测量值计算。然而,等式右端值还受高斯噪声和随机游走偏置的影响。本发明假设在两个连续关键帧间的偏置为常值,再讨论迭代过程中的高斯噪声的影响。
(3)预积分测量模型及噪声传播公式
相对运动增量模型能够从噪声传播方面进一步分析。通过李群计算和一阶展开的处理,旋转增量能被分为两个部分,其中一部分包含IMU测量值,另一部分包含高斯噪声:
速度和平移的相对增量也能分离出噪声项:
注意初始状态ΔRii=I3×3,δαii=03×3,因此基本的预积分测量模型如下所示:
矩阵形式为:
(4)偏置更新方法
高斯噪声迭代公式(15)是基于两个连续关键帧之间的传感器噪声不变的假设的。实际传感器偏置都是随着时间缓慢变化的。此部分将建立偏置更新模型。
从公式(9)可知,预积分测量值近似服从高斯分布。因此预积分测量值的协方差可以由以下公式迭代计算:
实例:实验数据来源于公开可用的EuRoC MAV数据集。七个测试数据集分别为V1-01-easy,V1-02-mediunm,V2-01-easy,V2-02-medium,MH-01-easy,MH-03-medium和MH-05-difficult。这些数据集展示了配备IMU和立体相机的无人机的动态运动,使用的无人机如附图2所示。VIO系统是基于Visua-Inertial ORB-SLAM2。
首先比较了这五个数据集的估计轨迹与地面真实轨迹。图3显示估计的轨迹几乎跟踪地面的真实情况一致其中存在的虚线,是由于使用的VIO方案是基于关键帧方法。如果选取的两个关键帧之间的持续时间持续很长,则这两个关键帧之间的轨迹将成为虚线。但总体估计轨迹符合实际情况。
其次将估计的陀螺仪和加速度计的偏置与实际偏置进行比较。结果表明,使用加权欧拉预积分的VIO估计的加速度计偏置比原始VIO估计的加速度计偏置更为平滑,并且更接近地面真实偏置,而对陀螺仪偏置的影响不大。图4和图5显示了MH-01-easy数据集的加速度计和陀螺仪偏置。
最后,表1给出了VIO系统的定位精度的RMSE对比,对比结果显示,使用加权欧拉预积分方法的VIO定位结果精度比原始VIO系统的定位结果提高约40%。
表1定位精度的RMSE对比
Claims (5)
1.一种视觉惯性里程计中的加权欧拉预积分方法,其特征在于:该方法首先在积分运动模型上使用加权欧拉预积分,然后将两关键帧间的IMU测量值通过迭代求和处理,得到两关键帧之间的运动约束,再通过公式处理进一步得到相对运动增量模型以及预积分测量模型;
将积分运动模型迭代公式使用加权欧拉预积分处理后表示为:
其中Δt是两次IMU测量值之间的时间间隔;R,v,p分别代表旋转、速度和平移,ω,a分别代表角速度和加速度;RwB表示从Body坐标系到世界坐标系的旋转;下标W和B分别表示世界坐标系和Body坐标系,()^表示将向量转化为反对称矩阵;上标T表示转置;
在数值积分中,两个IMU测量时刻间的角速度和加速度计算公式为:
ωB(t,t+Δt)=c1(t)ωB(t)+c2(t)ωB(t+Δt)
aB(t,t+Δt)=c3(t)aB(t)+c4(t)aB(t+Δt)
其中,c1-c4为权值系数,系数的计算:
c1(t)=ωB(t)/(ωB(t)+ωB(t+Δt))
c2(t)=ωB(t+Δt)/(ωB(t)+ωB(t+Δt))
c3(t)=aB(t)/(aB(t)+aB(t+Δt))
c4(t)=aB(t+Δt)/(aB(t)+aB(t+Δt))
通过对两个连续视觉关键帧间的IMU测量值迭代求和,得到两个相邻关键帧i,j之间的约束为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810239808.3A CN108731700B (zh) | 2018-03-22 | 2018-03-22 | 一种视觉惯性里程计中的加权欧拉预积分方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810239808.3A CN108731700B (zh) | 2018-03-22 | 2018-03-22 | 一种视觉惯性里程计中的加权欧拉预积分方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108731700A CN108731700A (zh) | 2018-11-02 |
CN108731700B true CN108731700B (zh) | 2020-07-31 |
Family
ID=63941028
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810239808.3A Expired - Fee Related CN108731700B (zh) | 2018-03-22 | 2018-03-22 | 一种视觉惯性里程计中的加权欧拉预积分方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108731700B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110030994B (zh) * | 2019-03-21 | 2022-08-05 | 东南大学 | 一种基于单目的鲁棒性视觉惯性紧耦合定位方法 |
CN111024071A (zh) * | 2019-12-25 | 2020-04-17 | 东南大学 | Gnss辅助的加速度计和陀螺仪常值漂移估算的导航方法及系统 |
CN110986939B (zh) * | 2020-01-02 | 2022-06-28 | 东南大学 | 一种基于imu预积分的视觉惯性里程计方法 |
CN112284381B (zh) * | 2020-10-19 | 2022-09-13 | 北京华捷艾米科技有限公司 | 视觉惯性实时初始化对准方法及系统 |
CN112649016B (zh) * | 2020-12-09 | 2023-10-03 | 南昌大学 | 一种基于点线初始化的视觉惯性里程计方法 |
CN112529962A (zh) * | 2020-12-23 | 2021-03-19 | 苏州工业园区测绘地理信息有限公司 | 一种基于视觉算法的室内空间关键定位技术方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3035290A1 (de) * | 2014-12-17 | 2016-06-22 | Siemens Healthcare GmbH | Verfahren zur Erzeugung eines Anzeigedatensatzes durch Volumenrendern, Recheneinrichtung und Computerprogramm |
CN107193279A (zh) * | 2017-05-09 | 2017-09-22 | 复旦大学 | 基于单目视觉和imu信息的机器人定位与地图构建系统 |
CN107478220A (zh) * | 2017-07-26 | 2017-12-15 | 中国科学院深圳先进技术研究院 | 无人机室内导航方法、装置、无人机及存储介质 |
CN107504969A (zh) * | 2017-07-24 | 2017-12-22 | 哈尔滨理工大学 | 基于视觉和惯性组合的四旋翼室内导航方法 |
CN107687850A (zh) * | 2017-07-26 | 2018-02-13 | 哈尔滨工业大学深圳研究生院 | 一种基于视觉和惯性测量单元的无人飞行器位姿估计方法 |
-
2018
- 2018-03-22 CN CN201810239808.3A patent/CN108731700B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3035290A1 (de) * | 2014-12-17 | 2016-06-22 | Siemens Healthcare GmbH | Verfahren zur Erzeugung eines Anzeigedatensatzes durch Volumenrendern, Recheneinrichtung und Computerprogramm |
CN107193279A (zh) * | 2017-05-09 | 2017-09-22 | 复旦大学 | 基于单目视觉和imu信息的机器人定位与地图构建系统 |
CN107504969A (zh) * | 2017-07-24 | 2017-12-22 | 哈尔滨理工大学 | 基于视觉和惯性组合的四旋翼室内导航方法 |
CN107478220A (zh) * | 2017-07-26 | 2017-12-15 | 中国科学院深圳先进技术研究院 | 无人机室内导航方法、装置、无人机及存储介质 |
CN107687850A (zh) * | 2017-07-26 | 2018-02-13 | 哈尔滨工业大学深圳研究生院 | 一种基于视觉和惯性测量单元的无人飞行器位姿估计方法 |
Non-Patent Citations (2)
Title |
---|
Direct visual-inertial odometry with semi-dense mapping;WenjuXu 等;《Computers and Electrical Engineering》;20180223;第67卷;第761-775页 * |
基于非线性优化的单目视觉/惯性组合导航算法;程传奇 等;《中国惯性技术学报》;20171031;第25卷(第05期);第643-649页 * |
Also Published As
Publication number | Publication date |
---|---|
CN108731700A (zh) | 2018-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108731700B (zh) | 一种视觉惯性里程计中的加权欧拉预积分方法 | |
CN108731670B (zh) | 基于量测模型优化的惯性/视觉里程计组合导航定位方法 | |
CN109029433B (zh) | 一种移动平台上基于视觉和惯导融合slam的标定外参和时序的方法 | |
CN107564061B (zh) | 一种基于图像梯度联合优化的双目视觉里程计算方法 | |
CN110702107A (zh) | 一种单目视觉惯性组合的定位导航方法 | |
CN107941217B (zh) | 一种机器人定位方法、电子设备、存储介质、装置 | |
CN109029448B (zh) | 单目视觉惯性定位的imu辅助跟踪模型 | |
CN114001733B (zh) | 一种基于地图的一致性高效视觉惯性定位算法 | |
CN114013449A (zh) | 针对自动驾驶车辆的数据处理方法、装置和自动驾驶车辆 | |
CN110967017B (zh) | 一种用于双移动机器人刚体协作搬运的协同定位方法 | |
CN111156997A (zh) | 一种基于相机内参在线标定的视觉/惯性组合导航方法 | |
CN111609868A (zh) | 一种基于改进光流法的视觉惯性里程计方法 | |
CN110543184A (zh) | 一种刚性飞行器的固定时间神经网络控制方法 | |
CN105509748B (zh) | 机器人的导航方法及装置 | |
CN110488854B (zh) | 一种基于神经网络估计的刚性飞行器固定时间姿态跟踪控制方法 | |
CN111649747A (zh) | 一种基于imu的自适应ekf姿态测量改进方法 | |
CN109443355B (zh) | 基于自适应高斯pf的视觉-惯性紧耦合组合导航方法 | |
CN109443353B (zh) | 基于模糊自适应ickf的视觉-惯性紧耦合组合导航方法 | |
CN108827287B (zh) | 一种复杂环境下的鲁棒视觉slam系统 | |
CN111553954B (zh) | 一种基于直接法单目slam的在线光度标定方法 | |
CN112284381B (zh) | 视觉惯性实时初始化对准方法及系统 | |
CN114764830A (zh) | 一种基于四元数ekf和未标定手眼系统的物体位姿估算方法 | |
CN108051004B (zh) | 一种针对四轮机器人的转动瞬心估计方法 | |
CN112991445B (zh) | 模型训练方法、姿态预测方法、装置、设备及存储介质 | |
CN112712107B (zh) | 一种基于优化的视觉和激光slam融合定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200731 |