CN115479602A - 一种融合事件与距离的视觉惯性里程计方法 - Google Patents

一种融合事件与距离的视觉惯性里程计方法 Download PDF

Info

Publication number
CN115479602A
CN115479602A CN202211258632.9A CN202211258632A CN115479602A CN 115479602 A CN115479602 A CN 115479602A CN 202211258632 A CN202211258632 A CN 202211258632A CN 115479602 A CN115479602 A CN 115479602A
Authority
CN
China
Prior art keywords
event
imu
frame
constraint
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211258632.9A
Other languages
English (en)
Inventor
蔡志浩
邵博
张翀崇
赵江
王英勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202211258632.9A priority Critical patent/CN115479602A/zh
Publication of CN115479602A publication Critical patent/CN115479602A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种融合事件与距离的视觉惯性里程计方法，属于多传感器融合导航定位领域。针对传统视觉惯性里程计算法在高速运动或亮度变化剧烈的场景下的不足，本发明基于事件相机提出了融合事件、IMU与距离的位姿估计方法，在前端利用IMU状态预测、距离观测和后端估计的地图点对事件相机输出的事件流进行运动补偿，合成清晰的事件图像；然后后端将视觉几何约束、IMU预积分约束和距离观测的共面约束联合起来做非线性滑动窗口优化，最终构建代价函数优化求解估计系统状态。该方法融合距离信息，弥补IMU失效对定位带来的影响，同时实现了在高速运动下的准确定位，降低了漂移，具有良好的定位精度、稳定性与鲁棒性。

Description

一种融合事件与距离的视觉惯性里程计方法
技术领域
本发明属于多传感器融合导航定位技术领域，尤其涉及一种融合事件与距离的视觉惯性里程计方法。
背景技术
微型无人机具有体积小、重量轻、操作性强、可单人携带、隐蔽性好、操作方便 等特点，具有巨大的军事价值和民用价值。与传统飞行器不同，微型无人机在高动态 环境下的定位是一项极具挑战性的研究课题。随着无人机应对的场景越来越复杂，在 室内、楼宇之间、丛林等全球卫星定位导航拒止环境，对于微小型无人机等轻小型设 备而言，既无外部定位源，也无法携带激光雷达等体积和重量较大的传感器，定位难 度大大增加。面对上述情况，相机和惯性测量单元(Inertial Measurement Unit,IMU) 这类轻小型传感器的单目视觉惯性里程计(Visual-Inertial Odometry，VIO)能够发挥 重要作用。
目标在高速运动或亮度变化剧烈的场景下会出现运动模糊，进而导致图像质量下降，采用基于传统视觉的VIO难以实现精确的定位。事件相机作为一种新型的神经 激发视觉传感器在高动态环境中具备潜在优势。与传统帧相机输出固定帧率的图像不 同，事件相机输出异步、高频的“事件流”，即当每个像素的亮度变化超过一定阈值 时输出一个事件。相比传统帧相机，事件相机具有低延时(微秒级)、动态范围广 (140dB)的特性。事件相机这些特性在高动态场景中具有巨大的应用价值。
同时无人飞行器在高速运动过程中可能出现IMU无法得到有效激励的情况，VIO会因无法获得有效的观测尺度信息从而产生严重的运动漂移，出现较大的定位误差。 距离传感器能够以厘米级的误差测量数十米范围内的距离，并以其轻小的重量体积能 够很好的作为视觉(惯性)模组的补充而不显著地增加系统的负载。距离传感器可以 在IMU无法激励时，补充提供VIO所需的视觉尺度信息，提升VIO的定位精度与稳 定性。
基于上述现有技术中的不足，以及事件相机和距离传感器的特点，本发明提出了一种融合事件与距离的视觉惯性里程计，在现有单目VIO的基础上融合了事件相机 与距离传感器，提供更加精确的定位。
发明内容
本发明针对高动态场景下无人机导航定位困难的问题，提出了一种融合事件、距离与惯性测量单元IMU的导航定位方法，提升无人飞行器在快速运动环境下的定位 精度和稳定性。该方法的主要内容为：首先在前端利用IMU状态预测、距离观测和 后端估计的地图点对事件相机输出的事件流进行运动补偿，合成清晰的事件图像；然 后后端将视觉几何约束、IMU预积分约束和距离观测的共面约束联合起来做非线性 滑动窗口优化，最终构建代价函数优化求解估计系统状态。具体技术方案如下：
一种融合事件与距离的视觉惯性里程计方法，包含以下步骤：
S1：搭建视觉惯性里程计系统：定义世界坐标系为W，相机坐标系为C，IMU 坐标系为B，距离传感器坐标系为R，确定IMU动力学模型；
S2：生成事件运动补偿图像：固定事件数量并生成事件帧图像，利用IMU和距 离传感器获取位姿与图像深度信息，通过运动补偿得到事件运动补偿图像；
S3：特征提取、检测与跟踪：从事件运动补偿图像提取Harris角点，通过光流法 进行跟踪，得到图像帧之间的特征匹配，并基于RANSAC算法去除错误匹配，得到 准确的特征点帧间关联；
S4：构建非线性约束条件：固定滑动窗口大小，构建边缘化先验约束、IMU预 积分约束、视觉重投影约束以及距离传感器与特征点的共面约束。
S5：构建代价函数，求解位姿：约束误差项构建代价函数，优化求解位姿。
优选的，所述步骤S1中的IMU动力学模型为：
Figure BDA0003890257380000021
Figure BDA0003890257380000022
Figure BDA0003890257380000023
其中，gw是世界坐标系下的重力矢量，ti是第i帧的时间，Δt是两帧之间的时间间隔，
Figure BDA0003890257380000031
和
Figure BDA0003890257380000032
是第i帧下IMU坐标系相对世界坐标系下的平移、速度和旋转矩阵；
Figure BDA0003890257380000033
是
Figure BDA0003890257380000034
的四元数，
Figure BDA0003890257380000035
表示四元数乘法；at和ωt分别是加速度与角速度的测量值；
Figure BDA0003890257380000036
和
Figure BDA0003890257380000037
是重力加速度计与陀螺仪的偏置。
优选的，所述步骤S2中生成事件运动补偿图像过程如下：
S21：令事件相机输出的事件e＝[u t p]，其中u＝[ux uy]表示像素坐标，t 表示时间，p表示极性；
S22：按照时间戳顺序将事件流划分成多个窗格，每个窗格包含由相同数量的事件合成的一张事件图像；
S23：利用IMU与距离传感器对事件流进行运动补偿，对于一段时间内的事件流，选取其中的一个时刻作为参考时刻tref，然后将该段时间内其他时刻所有的事件分别 投影到参考时刻tref对应的图像平面上，投影后的新坐标为：
Figure BDA0003890257380000038
其中K为事件相机的内参矩阵，Tk和Tref分别为tk和tref时刻事件相机相对参考 系的位姿，通过IMU的角速度和加速度积分得到，sk和sref分别是该事件投影前和投 影后在对应相机坐标系上的深度信息，通过距离测量与平面约束获得；
S24：基于运动补偿后的新坐标p′k，进行事件的累积生成清晰的事件运动补偿图像。
优选的，所述步骤S3具体包括：
S31：从S2获得的事件运动补偿图像中提取Harris角点，将事件运动补偿图像划分成M×N个区域，每个区域维持有限个特征点，特征点在各区域内均匀分布；
S32：对于当前帧图像，先做从上一帧到当前帧的前向光流，同时为上一帧图像 的每个特征点提供当前帧图像上坐标的预测值；
S33：得到各特征点在当前帧图像的跟踪值后，做从当前帧到上一帧的反向光流，得到图像帧之间的特征匹配；
S34：基于RANSAC算法求解上一帧到当前帧的基础矩阵，去除错误匹配。
优选的，所述步骤S4中采用舒尔补的方式构建边缘化先验约束，具体为：
假设残差为r，残差关于优化变量的雅克比为J，求解以下方程：
Hδx＝b
其中H＝JTJ，b＝JTr，δx为变量x在本次迭代中的增量；
采用舒尔补的方式将变量x分成需要被边缘化的部分δx1和不被边缘化的部分 δx2：
Figure BDA0003890257380000041
相应地，H和b也分成：
Figure BDA0003890257380000042
采用高斯消元法将δx2边缘化，得到与δx1不相关的约束如下：
Figure BDA0003890257380000043
优选的，所述步骤S4中的IMU预积分约束构建方式如下：
根据步骤S1中的IMU动力学模型得到：
Figure BDA0003890257380000044
Figure BDA0003890257380000045
Figure BDA0003890257380000046
其中
Figure BDA0003890257380000047
为预积分量，分别为
Figure BDA0003890257380000048
Figure BDA0003890257380000049
Figure BDA00038902573800000410
预积分提供了连续帧之间的位置、速度和姿态约束，对于两个相邻帧i与i+1构 建预积分误差为：
Figure BDA0003890257380000051
其中
Figure BDA0003890257380000052
是误差函数，χ是优化变量，
Figure BDA0003890257380000053
是变量观测值；
优选的，所述步骤S4中的视觉重投影约束构建方式如下：
对于每一个特征点，利用其逆深度和关键帧的位姿将其投影到其他关键帧上，并与其他关键帧的对应观测坐标作差，以计算重投影误差。
优选的，所述步骤S4中的共面约束构建方式如下：
假设事件相机视野内的点都处于同一平面，通过距离观测获得IMU与水平面之 间的距离，同时利用特征点获得IMU与水平面之间的距离，构建距离观测的共面约 束。
优选的，所述步骤S5具体包括：
S51：根据S4中的非线性约束条件构建代价函数如下：
Figure BDA0003890257380000054
其中，rp表示残差，Hp是信息矩阵。
Figure BDA0003890257380000055
是IMU预积分误差函数，
Figure BDA0003890257380000056
是重投影误差函数，
Figure BDA0003890257380000057
是共面约束误差函数。
Figure BDA0003890257380000058
表示优化变量的 观测值。ρ是核函数，
Figure BDA0003890257380000059
表示IMU坐标系下第i帧与第i+1帧之间预积分的误差协 方差，
Figure BDA00038902573800000510
表示相机坐标系下第l帧与第j帧之间重投影的误差协方差，
Figure BDA00038902573800000511
表示相 机坐标系下基于距离测量点r与特征点k的在第l帧与第j帧之间的共面约束误差协 方差；
S52：通过Ceres优化器求解得到位姿估计。
相比于现有技术，本发明提出的一种融合事件与距离的视觉惯性里程计具有以下优势：
本发明融合了距离、视觉与惯导等信息实现多源共同定位，克服了无人机高动态场景定位技术的不足，解决了无人飞行器在高速运动下定位不准以及难以定位的问 题，减小了传统技术的漂移。该方法在多种场景下均能使用，受环境影响较少，具有 良好的定位精度、稳定性与鲁棒性，在无卫星定位环境中发挥重要作用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，通过参考附图会更加清楚的理解本发明的特征和优 点，附图是示意性的而不应理解为对本发明进行任何限制，对于本领域普通技术人员 来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他的附图。其中：
图1是本发明融合事件与距离的视觉惯性里程计的流程图；
图2是本发明的事件运动补偿示意图；
图3是本发明的多点共面约束示意图；
图4为本发明的位姿估计示意图；
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本发明 的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面 公开的具体实施例的限制。
一种融合事件与距离的视觉惯性里程计方法，实施方式包括以下步骤：
S1：搭建视觉惯性里程计系统：定义世界坐标系为W，相机坐标系为C，IMU 坐标系为B，距离传感器坐标系为R，确定IMU动力学模型。
IMU动力学模型为：
Figure BDA0003890257380000071
Figure BDA0003890257380000072
Figure BDA0003890257380000073
其中在A坐标系下的点P定义为pA，该点坐标由A坐标系变换到B坐标系的转 换矩阵为
Figure BDA0003890257380000074
对应旋转矩阵为
Figure BDA0003890257380000075
平移矩阵为
Figure BDA0003890257380000076
gW是世界坐标系下的重力向量， ti是第i帧的时间，Δt是两帧之间的间隔，
Figure BDA0003890257380000077
和
Figure BDA0003890257380000078
是第i帧IMU坐标系相对世 界坐标系的平移、速度和旋转矩阵。
Figure BDA0003890257380000079
是
Figure BDA00038902573800000710
对应的四元数，
Figure BDA00038902573800000711
表示四元数相乘，at和ωt是加速度与角速度的测量值，
Figure BDA00038902573800000712
与
Figure BDA00038902573800000713
是加速度计与陀螺仪的偏置。
S2：生成事件运动补偿图像：固定事件数量生成事件帧图像，利用IMU和距离 传感器获得的位姿与图像深度信息通过运动补偿得到更为清晰的事件运动补偿图像。
按照时间戳顺序将事件流分为包含相同事件数量的窗格，每个窗格Wi合成一张事件图像，其中图片上每个像素的强度和窗格内在该像素坐标上的事件数量成正相 关。运动补偿后的图像表示为：
Figure BDA00038902573800000714
Figure BDA00038902573800000715
其中x是事件原始位置，xi是运动补偿后事件位置，f(x)是事件帧图像中x像素 位置的亮度。
由于每个事件都对应着不同时间戳，当相对运动较快时，直接累积会产生严重的运动模糊，不利于后续的特征提取与跟踪。故对事件进行运动补偿，再累积为事件图 像。选取时间窗口内事件流某一时刻作为参考时刻tref，对于发生在时刻tk的事件， 将其投影至tref，投影后的新坐标为
Figure BDA00038902573800000716
其中pk是投影前坐标，K为相机的内参矩阵，Tk和Tref分别为tk和tref时刻相机 相对参考系的位姿，通过IMU的角速度和加速度积分得到，sk和sref分别是该事件投 影前和投影后在对应相机坐标系上的深度信息，通过距离测量与平面约束获得。
最后，基于运动补偿后的新的归一化坐标p′k，进行事件的累积生成更为清晰的运动补偿事件图像。
S3：特征提取、检测与跟踪：提取Harris角点，进而通过光流法进行跟踪，得到 图像帧之间的特征匹配，并基于RANSAC去除少量的错误匹配得到较为准确的特征 点帧间关联。
首先将运动补偿图像划分为M×N个区域提取Harris角点，然后对当前帧图像， 进行从上一帧到当前帧的前向光流，并为上一帧的每个特征点提供一个在当前帧的坐 标预测值。对于已三角化的特征点k，在上一帧的i归一化坐标为
Figure BDA0003890257380000081
利用IMU预 测当前帧i+1的位姿Ti+1将该点投影至当前帧上
Figure BDA0003890257380000082
对于未三角化的特征点，计算平均光流得到特征点在当前帧的预测坐标，至此前向光流完成。
在得到特征点在当前帧的跟踪值后，为保证跟踪的质量，再进行一次从当前帧到上一帧的反向光流，逆向计算特征点在上一帧的坐标，只有当两次的坐标误差小于设 定阈值时才认为是一次正确的跟踪。
最后，基于RANSAC算法求解上一帧到当前帧的基础矩阵来去除少量的错误匹 配，获得了较为准确的帧间关联。
S4：构建非线性约束条件：固定滑动窗口大小，构建边缘化先验约束、IMU预 积分约束、视觉重投影约束以及距离传感器与特征点的共面约束。
S4-1：采用滑动窗口进行后端优化求解，窗口大小为N+1，构建优化变量如下
χ＝[x0,x1,...,xN,ρ0,ρ1,...,ρm]
Figure BDA0003890257380000083
其中ρk是特征点k在起始帧的逆深度。
Figure BDA0003890257380000084
是IMU与相机之间的外参，
Figure BDA0003890257380000091
是相机与距离传感器之间的外参，可在优化求解时作为变量在线校准。
根据步骤S1中的IMU动力学模型得到
Figure BDA0003890257380000092
Figure BDA0003890257380000093
Figure BDA0003890257380000094
其中
Figure BDA0003890257380000095
为预积分量，分别为
Figure BDA0003890257380000096
Figure BDA0003890257380000097
Figure BDA0003890257380000098
预积分提供了连续帧之间的位置、速度和姿态约束，对于两个相邻帧i与i+1构 建预积分误差为：
Figure BDA0003890257380000099
其中
Figure BDA00038902573800000910
是误差函数，χ是优化变量，
Figure BDA00038902573800000911
是变量观测值。
S4-2：对于每一个特征点，利用其逆深度和关键帧的位姿将其投影到其他关键帧上，并与它在其他关键帧的对应观测坐标作差来计算重投影误差。对于特征点k，从 第i帧投影到第j帧上的坐标为：
Figure BDA00038902573800000912
其中
Figure BDA00038902573800000913
是第i帧和第j帧上的归一化坐标，λk是特征点在起始帧的逆深度。
重投影误差表示为
Figure BDA00038902573800000914
S4-3：当新的关键帧到来时，为了维持滑动窗口的大小不变，需要将窗口内最旧的关键帧边缘化出去。为了在控制规模的同时保证旧的关键帧所携带的观测或约束信 息不丢失，采用舒尔补的方式将过去的状态和观测转化为仍在窗口内的状态的先验约 束。
假设残差为r，残差关于优化变量的雅克比为J，以高斯牛顿法为例，最终将求 解以下方程
Hδx＝b
其中H＝JTJ，b＝JTr，δx为变量x在这次迭代中的增量。
采用舒尔补的方式将变量x分成需要被边缘化的部分和不被边缘化的部分：
Figure BDA0003890257380000101
相应地，H矩阵和b也分成：
Figure BDA0003890257380000102
采用高斯消元法将δx2边缘化，得到与δx1不相关的约束如下
Figure BDA0003890257380000103
S4-4：假设相机视野内的点都在同一平面上，通过距离观测可以获得IMU与水 平面之间的距离，同时利用特征点也能获得该时刻IMU与水平面的距离，利用这一 点构建距离观测的共面约束。
距离测量点在IMU坐标系下的坐标可表示为：
Figure BDA0003890257380000104
其中rj是第j帧的距离观测，
Figure BDA0003890257380000105
和
Figure BDA0003890257380000106
分别为相机与IMU的旋转和平移外参，
Figure BDA0003890257380000107
和
Figure BDA0003890257380000108
分别为相机与距离传感器的旋转和平移外参。
第j帧IMU到平面的距离可表示为：
Figure BDA0003890257380000109
其中Rj为第j帧IMU相对世界坐标系的旋转矩阵，n是该平面在世界坐标系下 的单位法向量。
对于第j帧上的特征点k，该点在世界坐标系下的坐标可表示为
Figure BDA0003890257380000111
其中λk是起始帧i的逆深度，Ri和ti为第i帧IMU相对世界坐标系的旋转与平移。
由于该特征点也在平面上，因此第j帧IMU到平面的距离也可以表示为第j帧 IMU位置与该特征点的连线与平面法线的内积：
Figure BDA0003890257380000112
Figure BDA0003890257380000113
与dj两者应该相等，即表示该特征点与距离观测点的连线属于该平面，垂直 于法线：
Figure BDA0003890257380000114
由于每一帧相机都有对应的距离传感器数据，因此对于每一个特征点可以和它所有被观测帧之间建立约束，与视觉的重投影误差在形式上保持一致。
S4-5：相机视野多数是占据大部分区域的平面，但可能存在一些不同的平面，即视野内的特征点可能不在同一平面，需要判断特征点是否和距离测量点处于同一个平 面。假设特征点在平面上，可以基于共面约束得到该特征点在当前帧j上的深度
Figure BDA0003890257380000115
Figure BDA0003890257380000116
其中
Figure BDA0003890257380000117
是特征点k在第j帧的归一化坐标。
该特征点在起始帧的估计深度为
Figure BDA0003890257380000118
判断特征点是否和距离测量点在同一平面上可以转换为基于此假设计算出来的深度是否合理。分别计算在这两个深度下的重投 影误差，通过对比这两个重投影误差，来判断特征点是否在同一平面上。
首先基于估计深度
Figure BDA0003890257380000119
计算特征点从第i帧到第j帧的重投影误差，投影得到特征点在第j帧相机坐标系下的坐标：
Figure BDA0003890257380000121
其中，
Figure BDA0003890257380000122
表示基于特征点k的在第i帧下的坐标；
坐标归一化后得到重投影误差为
Figure BDA0003890257380000123
进而基于共面约束深度
Figure BDA0003890257380000124
计算重投影误差
Figure BDA0003890257380000125
重投影误差为
Figure BDA0003890257380000126
比较两个重投影误差，如果|e2|≤|e1|，表示
Figure BDA0003890257380000127
比
Figure BDA0003890257380000128
更符合当前的位姿约束，即共面约束的深度是合理的，该特征点与距离测量点属于同一个平面，因此将该平面约束 加入到优化求解当中，否则不加入。
S5：构建代价函数，求解位姿：约束误差项构建代价函数，优化求解位姿。
根据S4中的非线性约束条件构建代价函数如下：
Figure BDA0003890257380000129
其中从左向右依次是边缘化先验约束，IMU预积分约束，视觉重投影，距离共 面约束，ρ是核函数。最后通过Ceres优化器求解即可得到位姿估计。
以上所述仅为本发明的实施按例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任 何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种融合事件与距离的视觉惯性里程计方法，其特征在于，包含以下步骤：
S1：搭建视觉惯性里程计系统：定义世界坐标系为W，相机坐标系为C，IMU坐标系为B，距离传感器坐标系为R，确定IMU动力学模型；
S2：生成事件运动补偿图像：固定事件数量并生成事件帧图像，利用IMU和距离传感器获取位姿与图像深度信息，通过运动补偿得到事件运动补偿图像；
S3：特征提取、检测与跟踪：从事件运动补偿图像提取Harris角点，通过光流法进行跟踪，得到图像帧之间的特征匹配，并基于RANSAC算法去除错误匹配，得到准确的特征点帧间关联；
S4：构建非线性约束条件：固定滑动窗口大小，构建边缘化先验约束、IMU预积分约束、视觉重投影约束以及距离传感器与特征点的共面约束；
S5：构建代价函数，求解位姿：约束误差项构建代价函数，优化求解位姿。
2.根据权利要求1所述的融合事件与距离的视觉惯性里程计方法，其特征在于，包括所述步骤S1中的IMU动力学模型为：
Figure FDA0003890257370000011
Figure FDA0003890257370000012
Figure FDA0003890257370000013
其中，gw是世界坐标系下的重力矢量，ti是第i帧的时间，Δt是两帧之间的时间间隔，
Figure FDA0003890257370000014
和
Figure FDA0003890257370000015
是第i帧下IMU坐标系相对世界坐标系下的平移、速度和旋转矩阵；
Figure FDA0003890257370000016
是
Figure FDA0003890257370000017
的四元数，
Figure FDA0003890257370000018
表示四元数乘法；at和ωt分别是加速度与角速度的测量值；
Figure FDA0003890257370000019
和
Figure FDA00038902573700000110
是加速度计与陀螺仪的偏置。
3.根据权利要求1所述的融合事件与距离的视觉惯性里程计方法，其特征在于，所述步骤S2中生成事件运动补偿图像过程如下：
S21：令事件相机输出的事件e＝[u t p]，其中u＝[ux uy]表示像素坐标，t表示时间，p表示极性；
S22：按照时间戳顺序将事件流划分成多个窗格，每个窗格包含由相同数量的事件合成的一张事件图像；
S23：利用IMU与距离传感器对事件流进行运动补偿，对于一段时间内的事件流，选取其中的一个时刻作为参考时刻tref，然后将该段时间内其他时刻所有的事件分别投影到参考时刻tref对应的图像平面上，投影后的新坐标为：
Figure FDA0003890257370000021
其中K为事件相机的内参矩阵，Tk和Tref分别为tk和tref时刻事件相机相对参考系的位姿，通过IMU的角速度和加速度积分得到，sk和sref分别是该事件投影前和投影后在对应相机坐标系上的深度信息，通过距离测量与平面约束获得；
S24：基于运动补偿后的新坐标p′k，进行事件的累积生成清晰的事件运动补偿图像。
4.根据权利要求1所述的融合事件与距离的视觉惯性里程计方法，其特征在于，所述步骤S3具体包括：
S31：从S2获得的事件运动补偿图像中提取Harris角点，将事件运动补偿图像划分成M×N个区域，每个区域维持有限个特征点，特征点在各区域内均匀分布；
S32：对于当前帧图像，先做从上一帧到当前帧的前向光流，同时为上一帧图像的每个特征点提供当前帧图像上坐标的预测值；
S33：得到各特征点在当前帧图像的跟踪值后，做从当前帧到上一帧的反向光流，得到图像帧之间的特征匹配；
S34：基于RANSAC算法求解上一帧到当前帧的基础矩阵，去除错误匹配。
5.根据权利要求1所述的融合事件与距离的视觉惯性里程计方法，其特征在于，所述步骤S4中采用舒尔补的方式构建边缘化先验约束，具体为：
假设残差为r，残差关于优化变量的雅克比为J，求解以下方程：
Hδx＝b
其中H＝JTJ，b＝JTr，δx为变量x在本次迭代中的增量；
采用舒尔补的方式将变量x分成不需要被边缘化的部分δx1和边缘化的部分δx2：
Figure FDA0003890257370000022
相应地，H和b也分成：
Figure FDA0003890257370000023
采用高斯消元法将δx2边缘化，得到与δx1不相关的约束如下：
Figure FDA0003890257370000031
6.根据权利要求1所述的融合事件与距离的视觉惯性里程计方法，其特征在于，所述步骤S4中的IMU预积分约束构建方式如下：
根据步骤S1中的IMU动力学模型得到：
Figure FDA0003890257370000032
Figure FDA0003890257370000033
Figure FDA0003890257370000034
其中
Figure FDA0003890257370000035
为预积分量，分别为
Figure FDA0003890257370000036
Figure FDA0003890257370000037
Figure FDA0003890257370000038
预积分提供了连续帧之间的位置、速度和姿态约束，对于两个相邻帧i与i+1构建预积分误差为：
Figure FDA0003890257370000039
其中
Figure FDA00038902573700000310
是误差函数，χ是优化变量，
Figure FDA00038902573700000311
是变量观测值。
7.根据权利要求1所述的融合事件与距离的视觉惯性里程计方法，其特征在于，所述步骤S4中的视觉重投影约束构建方式如下：
对于每一个特征点，利用其逆深度和关键帧的位姿将其投影到其他关键帧上，并与其他关键帧的对应观测坐标作差，以计算重投影误差。
8.根据权利要求1所述的融合事件与距离的视觉惯性里程计方法，其特征在于，所述步骤S4中的共面约束构建方式如下：
假设事件相机视野内的点都处于同一平面，通过距离观测获得IMU与水平面之间的距离，同时利用特征点获得IMU与水平面之间的距离，构建距离观测的共面约束。
9.根据权利要求1所述的融合事件与距离的视觉惯性里程计方法，其特征在于，所述步骤S5具体包括：
S51：根据S4中的非线性约束条件构建代价函数如下：
Figure FDA0003890257370000041
其中，rp表示残差，Hp是信息矩阵。
Figure FDA0003890257370000042
是IMU预积分误差函数，
Figure FDA0003890257370000043
是重投影误差函数，
Figure FDA0003890257370000044
是共面约束误差函数，
Figure FDA0003890257370000045
表示优化变量的观测值，ρ是核函数，
Figure FDA0003890257370000046
表示IMU坐标系下第i帧与第i+1帧之间预积分的误差协方差，
Figure FDA0003890257370000047
表示相机坐标系下第l帧与第j帧之间重投影的误差协方差，
Figure FDA0003890257370000048
表示相机坐标系下基于距离测量点r与特征点k的在第l帧与第j帧之间的共面约束误差协方差；
S52：通过Ceres优化器求解得到位姿估计。
CN202211258632.9A 2022-10-14 2022-10-14 一种融合事件与距离的视觉惯性里程计方法 Pending CN115479602A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211258632.9A CN115479602A (zh) 2022-10-14 2022-10-14 一种融合事件与距离的视觉惯性里程计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211258632.9A CN115479602A (zh) 2022-10-14 2022-10-14 一种融合事件与距离的视觉惯性里程计方法

Publications (1)

Publication Number Publication Date
CN115479602A true CN115479602A (zh) 2022-12-16

Family

ID=84396484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211258632.9A Pending CN115479602A (zh) 2022-10-14 2022-10-14 一种融合事件与距离的视觉惯性里程计方法

Country Status (1)

Country Link
CN (1) CN115479602A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115793001A (zh) * 2023-02-07 2023-03-14 立得空间信息技术股份有限公司 一种基于惯导复用的视觉、惯导、卫导融合定位方法
CN116188533A (zh) * 2023-04-23 2023-05-30 深圳时识科技有限公司 特征点跟踪方法与装置、电子设备
CN116188536A (zh) * 2023-04-23 2023-05-30 深圳时识科技有限公司 视觉惯性里程计方法与装置、电子设备
CN117421384A (zh) * 2023-10-24 2024-01-19 哈尔滨理工大学 基于共视投影匹配的视觉惯性slam系统滑窗优化方法
CN117647263A (zh) * 2023-12-06 2024-03-05 中山大学 基于非线性优化的单光子相机视觉惯性里程计方法及系统
CN117739996A (zh) * 2024-02-21 2024-03-22 西北工业大学 一种基于事件相机惯性紧耦合的自主定位方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115793001A (zh) * 2023-02-07 2023-03-14 立得空间信息技术股份有限公司 一种基于惯导复用的视觉、惯导、卫导融合定位方法
CN116188533A (zh) * 2023-04-23 2023-05-30 深圳时识科技有限公司 特征点跟踪方法与装置、电子设备
CN116188536A (zh) * 2023-04-23 2023-05-30 深圳时识科技有限公司 视觉惯性里程计方法与装置、电子设备
CN116188533B (zh) * 2023-04-23 2023-08-08 深圳时识科技有限公司 特征点跟踪方法与装置、电子设备
CN117421384A (zh) * 2023-10-24 2024-01-19 哈尔滨理工大学 基于共视投影匹配的视觉惯性slam系统滑窗优化方法
CN117647263A (zh) * 2023-12-06 2024-03-05 中山大学 基于非线性优化的单光子相机视觉惯性里程计方法及系统
CN117647263B (zh) * 2023-12-06 2024-07-09 中山大学 基于非线性优化的单光子相机视觉惯性里程计方法及系统
CN117739996A (zh) * 2024-02-21 2024-03-22 西北工业大学 一种基于事件相机惯性紧耦合的自主定位方法
CN117739996B (zh) * 2024-02-21 2024-04-30 西北工业大学 一种基于事件相机惯性紧耦合的自主定位方法

Similar Documents

Publication Publication Date Title
CN115479602A (zh) 一种融合事件与距离的视觉惯性里程计方法
CN111121767B (zh) 一种融合gps的机器人视觉惯导组合定位方法
CN110243358B (zh) 多源融合的无人车室内外定位方法及系统
CN114199259B (zh) 一种基于运动状态与环境感知的多源融合导航定位方法
CN111983639A (zh) 一种基于Multi-Camera/Lidar/IMU的多传感器SLAM方法
CN111024066A (zh) 一种无人机视觉-惯性融合室内定位方法
CN113945206A (zh) 一种基于多传感器融合的定位方法及装置
CN105953796A (zh) 智能手机单目和imu融合的稳定运动跟踪方法和装置
CN110726406A (zh) 一种改进的非线性优化单目惯导slam的方法
CN112556719B (zh) 一种基于cnn-ekf的视觉惯性里程计实现方法
CN114526745A (zh) 一种紧耦合激光雷达和惯性里程计的建图方法及系统
CN114019552A (zh) 一种基于贝叶斯多传感器误差约束的定位置信度优化方法
CN111623773B (zh) 一种基于鱼眼视觉和惯性测量的目标定位方法及装置
CN114323033A (zh) 基于车道线和特征点的定位方法、设备及自动驾驶车辆
CN113376669A (zh) 一种基于点线特征的单目vio-gnss融合定位算法
CN113551665A (zh) 一种用于运动载体的高动态运动状态感知系统及感知方法
CN116448100A (zh) 一种多传感器融合的近岸无人船slam方法
CN112444245A (zh) 一种基于偏振光、光流矢量、双目视觉传感器的仿昆虫视觉组合导航方法
CN114440877B (zh) 一种异步多相机视觉惯性里程计定位方法
CN116007609A (zh) 一种多光谱图像和惯导融合的定位方法和计算系统
CN114690229A (zh) 一种融合gps的移动机器人视觉惯性导航方法
CN112945233B (zh) 一种全局无漂移的自主机器人同时定位与地图构建方法
CN117710476A (zh) 基于单目视觉的无人机位姿估计与稠密建图方法
CN117687059A (zh) 一种车辆定位的方法、装置、电子设备及存储介质
CN116182855A (zh) 一种弱光强环境下仿复眼偏振视觉无人机组合导航方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination