CN111609868A - 一种基于改进光流法的视觉惯性里程计方法 - Google Patents

一种基于改进光流法的视觉惯性里程计方法 Download PDF

Info

Publication number
CN111609868A
CN111609868A CN202010481758.7A CN202010481758A CN111609868A CN 111609868 A CN111609868 A CN 111609868A CN 202010481758 A CN202010481758 A CN 202010481758A CN 111609868 A CN111609868 A CN 111609868A
Authority
CN
China
Prior art keywords
image
optical flow
imu
position information
flow method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010481758.7A
Other languages
English (en)
Inventor
谢晓梅
严鹏
魏明珠
陈敏
陈鑫
吴伟槐
吴祥飞
曾潼辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202010481758.7A priority Critical patent/CN111609868A/zh
Publication of CN111609868A publication Critical patent/CN111609868A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C22/00—Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于改进光流法的视觉惯性里程计方法，包括以下步骤：A、利用双目相机采集图像；通过IMU传感器获取加速度和角速度信息；B、采用光流的方法对图像进行处理进行运动追踪，提取图像中的角点并进行匹配获得基于图像的位置信息；对加速度和角速度进行积分处理获得IMU传感器的位置信息并对两关键帧间IMU进行预积分；C、对基于图像的位置信息和IMU传感器的位置信息基于滑动窗口进行非线性优化和回环检测、校正求得智能设备的位姿。其基于IMU和相机的时间同步，采用光流方法替代现有的特征点法对图像进行运动追踪、角点提取，减小了算法的复杂度并节省了计算空间，精度高，实时性好，降低了计算复杂度，系统稳定性高。

Description

一种基于改进光流法的视觉惯性里程计方法
技术领域
本发明涉及视觉惯性里程计领域，更具体的说是涉及一种基于改进光流法的视觉惯性里程计方法。
背景技术
实时追踪设备在未知环境中的位置和姿态问题，是增强现实、虚拟现实、导航与控制、移动机器人、无人机等领域的核心问题。基于计算机视觉和惯性测量单元融合的定位算法，由于成本低、精度高、互补性强受到越来越多的关注。这种利用设备本身的相机和IMU(Inertial Measurement Unit,惯性测量单元)信息，进行实时设备位置和姿态追踪的方法，统称为视觉惯性里程计(visual inertial odometry)。
视觉传感器在大多数纹理丰富的场景中效果很好，但是在遇到特征较少的场景，基本上无法工作；IMU长时间使用有非常大的累积误差，但是在短时间内，其相对位移数据又有很高的精度，所以当视觉传感器失效时，融合IMU数据，能够提高定位的精度。视觉惯性里程计在机器人定位中应用广泛，按照是否把图像特征信息加入到状态向量可以分为紧耦合和松耦合，而由于在精确度和鲁棒性上的优势，视觉惯性里程计多采用IMU视觉的紧耦合。紧耦合需要把图像特征引入到特征向量中，整个系统状态向量的维数会因此变得非常高，进而需要很高的计算量。
目前视觉惯性里程计大多基于特征点法，其存在以下问题：
一方面，存在特征丢失、纹理不清晰等情况，精度提升不高；
另一方面，特征点法中关键点的提取与描述计算耗时，且紧耦合方法的计算复杂度大，对实时性造成一定的影响。
发明内容
本发明为了解决上述技术问题提供一种基于改进光流法的视觉惯性里程计方法。
本发明通过下述技术方案实现：
一种基于改进光流法的视觉惯性里程计方法，包括以下步骤：
A、利用双目相机采集图像；通过IMU传感器获取加速度和角速度信息，该图像、加速度和角速度信息的时间戳同步；
B、采用二次光流的方法对图像进行处理进行运动追踪，提取图像中的角点并进行匹配获得基于图像的位置信息；对加速度和角速度进行积分处理获得IMU传感器的位置信息并对两关键帧间IMU进行预积分；
C、对图像的位置信息和IMU传感器的位置信息采用滑动窗口进行非线性优化和回环检测、校正求得智能设备的位姿。
本方法基于IMU和相机的时间同步，采用光流方法替代现有的特征点法对图像进行运动追踪、角点提取，减小了算法的复杂度并节省了计算空间，精度高，实时性好；相比于提取复杂特征耗费大量时间，降低了计算复杂度，系统稳定性高。
本发明与现有技术相比，具有如下的优点和有益效果：
1、本发明基于IMU和相机的时间同步，采用二次光流方法替代现有的特征点法对图像进行运动追踪、角点提取，减小了算法的复杂度并节省了计算空间，精度高，实时性好，降低了计算复杂度，系统稳定性高。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。
图1为本方案的原理框图。
图2为光流追踪的流程图。
图3为IMU和相机硬件同步原理图。
图4为光流法的视觉惯性里程计及特征点的ORBSLAM2算法的运行效果图。
图5为轨迹对比图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例1
如图1所示的一种基于改进光流法的视觉惯性里程计方法，整个过程双目相机和IMU传感器采用硬件同步方式，IMU和相机硬件同步如图3所示：首先固定双目相机的曝光时长，确定相机帧数；然后触发相机，在机器人操作系统ROS中标记相机的时间戳；通过串口通信触发IMU，同样标记IMU的数据和时间戳；提取同一时间戳的IMU和相机数据，发布IMU、相机同步数据。该视觉惯性里程计方法包括以下步骤：
A、利用智能设备身上搭载的双目相机采集图像；通过IMU传感器获取加速度和角速度信息，该图像、加速度和角速度信息的时间戳同步；
B、采用二次光流的方法对图像进行运动追踪，提取图像中的角点用于初始化，对图像中获取的角点进行匹配，基于此求解出基于图像的位置信息；
对加速度和角速度进行积分处理获得IMU传感器的位置信息并对两关键帧间IMU进行预积分；
C、对图像的位置信息和IMU传感器的位置信息在滑动窗口中进行非线性优化和回环检测、校正求得智能设备的位姿。
实施例2
基于上述实施例的原理，如图1和图2所示，本实施例公开一具体实施方式。
A、利用智能设备身上搭载的双目相机采集图像；通过IMU传感器获取加速度和角速度信息，IMU传感器包括陀螺仪和加速度计；
B、建立高斯金字塔、检测尺度空间极值点、提取ORB特征；
采用改进L-K光流跟踪法，具体为：将第一帧中的光流跟踪到第二帧中，再将跟踪到的光流跟踪到上一帧，将特征点跟踪正确率超过80％的确立为关键帧。
上述过程在GPU中进行，采用GPU实现图像处理，可提高光流跟踪的速度。
通过两帧间的光流跟踪恢复深度，得到3D信息；
利用PnP方法对滑动窗口中的其他帧的位姿进行求解提高光流跟踪的正确率，该过程在CPU中进行即可。
提取图像中的角点用于初始化，对图像中获取的角点进行匹配，基于此求解出基于图像的位置信息。
对加速度和角速度进行积分处理得到IMU传感器的位置信息；为了避免优化过程中因状态量改变而重新积分，在两关键帧之间进行IMU预积分，得到相邻两个关键帧之间的相对位姿，通过建立一个线性高斯误差状态传播方程，由高斯系统的协方差，推导出IMU残差的协方差和雅各比矩阵用于后续优化。IMU预积分是前端的预处理，通过IMU对相机位姿形成约束，在两帧之间直接积分，会需要几百次积分，IMU预积分就是使得两帧之间只进行1次IMU的积分，最终得到IMU的预积分值、残差的协方差和雅各比矩阵，在后端优化中即步骤C中和视觉的重投影误差紧耦合。
C、对图像的位置信息和IMU传感器的位置信息在滑动窗口中进行非线性优化，该非线性优化采用视觉-惯性BA优化(Bundle Adjustment，光束平差法)，最小化所有测量残差，以获得最大后验估计。
在进行非线性优化的同时在系统中采用词袋模型进行回环检测、校正，减小累积误差，求得智能设备的精确位姿。具体的，回环检测的方法为：
提取图像中的角点并用二进制描述子来表示；
检测到回环时，利用RANSAC算法去除异常值，当内点的数量达到一定的阈值之后，将该候选帧视为正确的回环检测，再进行闭环修复。
实施例3
基于上述实施例的原理，本实施例以智能手机为例进行说明。
使用配备有陀螺仪、加速度计、双目摄像头的智能手机，该智能手机集成有上述实施例中涉及到的视觉惯性里程计系统。视觉惯性里程计系统可以实时获取相机的二维图像输入和IMU传感器输入。相机按系统初始的帧、像素、大小采集图像。
启动智能手机的视觉惯性里程计系统，手持智能设备在室内场景比如学校体育馆等场合运动，系统通过相机拍摄周围环境图像信息，并采集IMU传感器信息。
系统获得多帧相机拍摄周围环境图像信息，将图像信息从内存传输到显卡，在GPU中依次建立高斯金字塔、检测尺度空间极值点、ORB特征提取；采用L-K光流跟踪法将第一帧中的光流跟踪到第二帧中，再将跟踪到的光流跟踪到上一帧，将特征点跟踪正确率超过80％的确立为关键帧；通过两帧间的光流跟踪恢复深度，得到3D信息；将信息回传至CPU，利用PnP方法对滑动窗口中的其他帧的位姿进行求解提高光流跟踪的正确率。提取图像中的角点用于初始化，对图像中获取的角点进行匹配，基于此求解出基于图像的位置信息。
对加速度和角速度进行积分获得IMU传感器的位置信息，加速度进行两次积分得到位移，角速度进行积分得到旋转角度。为了避免优化过程中因状态量改变而重新积分，在两关键帧之间进行IMU预积分，得到相邻两个关键帧之间的相对位姿。建立一个线性高斯误差状态传播方程，由高斯系统的协方差，推导出IMU残差的协方差和雅各比矩阵用于后续优化。
Figure BDA0002515804070000051
Figure BDA0002515804070000052
Figure BDA0002515804070000053
P、V、Q分别代表位移、速度和姿态，w表示世界坐标系，b表示IMU坐标系，gw表示世界坐标系下的重力矢量，i、j表示时刻，pwbj表示j时刻世界坐标系到IMU坐标系的位移，
Figure BDA0002515804070000054
表示j时刻在世界坐标系的速度，
Figure BDA0002515804070000057
表示j时刻世界坐标系到IMU坐标系的旋转四元数，
Figure BDA0002515804070000055
表示相对于i时刻的姿态，
Figure BDA0002515804070000056
表示相对于世界坐标系的姿态，
Figure BDA0002515804070000061
表示t时刻IMU坐标系下的角速度。这样每次优化迭代的过程中，调整姿态都是相对于世界坐标系调整，也就是调整
Figure BDA0002515804070000062
而
Figure BDA0002515804070000063
相对不变，这样就不用再重复计算积分，
Figure BDA0002515804070000064
Figure BDA0002515804070000065
即为IMU预积分。
对基于图像的位置信息和IMU传感器的位置信息在滑动窗口中进行非线性优化，在进行非线性优化的同时在系统中采用词袋模型进行回环检测，提取图像中的角点并用二进制描述子来表示，检测到回环时，利用RANSAC算法去除异常值，当内点的数量达到一定的阈值之后，将该候选帧视为正确的回环检测，再进行闭环修复。之后再检测回环校正，得到手机的精确位姿。
改进光流法的视觉惯性里程计以及特征点法的ORBSLAM2算法实际运行如图4所示，改进的光流法视觉惯性里程计与已有的视觉惯性里程计的精确度对比如图5及表1所示。图5中A线代表真实轨迹，B线为改进光流法的轨迹，C线为已有特征点方法的轨迹。表1为两者的均方根误差RMSE，数值越小说明与真实轨迹越接近。
表1均方根误差RMSE
Figure BDA0002515804070000066
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于改进光流法的视觉惯性里程计方法，其特征在于：包括以下步骤：
A、利用双目相机采集图像；通过IMU传感器获取加速度和角速度信息，该图像、加速度和角速度信息的时间戳同步；
B、采用二次光流的方法对图像进行运动追踪，提取图像中的角点并进行匹配获得基于图像的位置信息；对加速度和角速度进行积分处理获得IMU传感器的位置信息并对两关键帧间IMU进行预积分；
C、对图像的位置信息和IMU传感器的位置信息在滑动窗口中进行非线性优化和回环检测、校正求得智能设备的位姿。
2.根据权利要求1所述的一种基于改进光流法的视觉惯性里程计方法，其特征在于，采用光流的方法对图像进行运动追踪具体方法为：
B1、建立高斯金字塔、检测尺度空间极值点、ORB特征提取；
B2、将第一帧中的光流跟踪到第二帧中，再将跟踪到的光流跟踪到上一帧，提取关键帧；
B3、通过两帧间的光流跟踪恢复深度，得到3D信息；
B4、利用PnP方法对滑动窗口中的其他帧的位姿进行求解。
3.根据权利要求2所述的一种基于改进光流法的视觉惯性里程计方法，其特征在于，在GPU中进行步骤B1、B2后将关键帧信息传回CPU，进行PnP求解、位姿解算。
4.根据权利要求1所述的一种基于改进光流法的视觉惯性里程计方法，其特征在于，采用词袋模型进行回环检测。
5.根据权利要求4所述的一种基于改进光流法的视觉惯性里程计方法，其特征在于，所述回环检测具体为：
提取图像中的角点并用二进制描述子来表示；
检测到回环时，利用RANSAC算法去除异常值，当内点的数量达到一定的阈值之后，将该候选帧视为正确的回环检测，再进行闭环修复。
CN202010481758.7A 2020-05-29 2020-05-29 一种基于改进光流法的视觉惯性里程计方法 Pending CN111609868A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010481758.7A CN111609868A (zh) 2020-05-29 2020-05-29 一种基于改进光流法的视觉惯性里程计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010481758.7A CN111609868A (zh) 2020-05-29 2020-05-29 一种基于改进光流法的视觉惯性里程计方法

Publications (1)

Publication Number Publication Date
CN111609868A true CN111609868A (zh) 2020-09-01

Family

ID=72201686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010481758.7A Pending CN111609868A (zh) 2020-05-29 2020-05-29 一种基于改进光流法的视觉惯性里程计方法

Country Status (1)

Country Link
CN (1) CN111609868A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112129287A (zh) * 2020-09-24 2020-12-25 北京华捷艾米科技有限公司 一种基于视觉惯性里程计处理的方法和相关装置
CN112649016A (zh) * 2020-12-09 2021-04-13 南昌大学 一种基于点线初始化的视觉惯性里程计方法
CN112907629A (zh) * 2021-02-08 2021-06-04 浙江商汤科技开发有限公司 图像特征的跟踪方法、装置、计算机设备及存储介质
CN113155121A (zh) * 2021-03-22 2021-07-23 珠海深圳清华大学研究院创新中心 一种车辆定位方法、装置及电子设备
CN114485629A (zh) * 2021-12-16 2022-05-13 广州极飞科技股份有限公司 无人设备导航方法、装置、设备和存储介质
CN114529585A (zh) * 2022-02-23 2022-05-24 北京航空航天大学 基于深度视觉和惯性测量的移动设备自主定位方法
CN117647263A (zh) * 2023-12-06 2024-03-05 中山大学 基于非线性优化的单光子相机视觉惯性里程计方法及系统

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104599286A (zh) * 2013-10-31 2015-05-06 展讯通信(天津)有限公司 一种基于光流的特征跟踪方法及装置
CN104751465A (zh) * 2015-03-31 2015-07-01 中国科学技术大学 一种基于lk光流约束的orb图像特征配准方法
CN105761245A (zh) * 2016-01-29 2016-07-13 速感科技（北京）有限公司 一种基于视觉特征点的自动跟踪方法及装置
EP3158417A1 (en) * 2015-05-23 2017-04-26 SZ DJI Technology Co., Ltd. Sensor fusion using inertial and image sensors
CN107390704A (zh) * 2017-07-28 2017-11-24 西安因诺航空科技有限公司 一种基于imu姿态补偿的多旋翼无人机光流悬停方法
CN107869989A (zh) * 2017-11-06 2018-04-03 东北大学 一种基于视觉惯导信息融合的定位方法及系统
WO2018182524A1 (en) * 2017-03-29 2018-10-04 Agency For Science, Technology And Research Real time robust localization via visual inertial odometry
CN109540126A (zh) * 2018-12-03 2019-03-29 哈尔滨工业大学 一种基于光流法的惯性视觉组合导航方法
CN109816611A (zh) * 2019-01-31 2019-05-28 北京市商汤科技开发有限公司 视频修复方法及装置、电子设备和存储介质
CN109857115A (zh) * 2019-02-27 2019-06-07 华南理工大学 一种基于视觉反馈的移动机器人的有限时间编队控制方法
CN110136168A (zh) * 2019-04-26 2019-08-16 北京航空航天大学 一种基于特征点匹配和光流法的多旋翼速度测量方法
CN110296702A (zh) * 2019-07-30 2019-10-01 清华大学 视觉传感器与惯导紧耦合的位姿估计方法及装置
CN110595466A (zh) * 2019-09-18 2019-12-20 电子科技大学 轻量级的基于深度学习的惯性辅助视觉里程计实现方法
CN110717927A (zh) * 2019-10-10 2020-01-21 桂林电子科技大学 基于深度学习和视惯融合的室内机器人运动估计方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104599286A (zh) * 2013-10-31 2015-05-06 展讯通信(天津)有限公司 一种基于光流的特征跟踪方法及装置
CN104751465A (zh) * 2015-03-31 2015-07-01 中国科学技术大学 一种基于lk光流约束的orb图像特征配准方法
EP3158417A1 (en) * 2015-05-23 2017-04-26 SZ DJI Technology Co., Ltd. Sensor fusion using inertial and image sensors
CN105761245A (zh) * 2016-01-29 2016-07-13 速感科技（北京）有限公司 一种基于视觉特征点的自动跟踪方法及装置
WO2018182524A1 (en) * 2017-03-29 2018-10-04 Agency For Science, Technology And Research Real time robust localization via visual inertial odometry
US20200025570A1 (en) * 2017-03-29 2020-01-23 Agency For Science, Technology And Research Real time robust localization via visual inertial odometry
CN107390704A (zh) * 2017-07-28 2017-11-24 西安因诺航空科技有限公司 一种基于imu姿态补偿的多旋翼无人机光流悬停方法
CN107869989A (zh) * 2017-11-06 2018-04-03 东北大学 一种基于视觉惯导信息融合的定位方法及系统
CN109540126A (zh) * 2018-12-03 2019-03-29 哈尔滨工业大学 一种基于光流法的惯性视觉组合导航方法
CN109816611A (zh) * 2019-01-31 2019-05-28 北京市商汤科技开发有限公司 视频修复方法及装置、电子设备和存储介质
CN109857115A (zh) * 2019-02-27 2019-06-07 华南理工大学 一种基于视觉反馈的移动机器人的有限时间编队控制方法
CN110136168A (zh) * 2019-04-26 2019-08-16 北京航空航天大学 一种基于特征点匹配和光流法的多旋翼速度测量方法
CN110296702A (zh) * 2019-07-30 2019-10-01 清华大学 视觉传感器与惯导紧耦合的位姿估计方法及装置
CN110595466A (zh) * 2019-09-18 2019-12-20 电子科技大学 轻量级的基于深度学习的惯性辅助视觉里程计实现方法
CN110717927A (zh) * 2019-10-10 2020-01-21 桂林电子科技大学 基于深度学习和视惯融合的室内机器人运动估计方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
TRY_AGAIN_LATER等: "VINS-Mono 代码详细解读——IMU预积分的残差、Jacobian和协方差 processIMU（）+intergrationBase类+imu_factor.h", 《HTTPS://BLOG.CSDN.NET/TRY_AGAIN_LATER/ARTICLE/DETAILS/104888170》 *
张世辉等: "融合多特征基于图割实现视频遮挡区域检测", 《光学学报》 *
陈常: "基于视觉和惯导融合的巡检机器人定位与建图技术研究", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *
龚学锐等: "基于ROS的惯性和视觉里程计的机器人室内定位", 《组合机床与自动化加工技术》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112129287A (zh) * 2020-09-24 2020-12-25 北京华捷艾米科技有限公司 一种基于视觉惯性里程计处理的方法和相关装置
CN112649016A (zh) * 2020-12-09 2021-04-13 南昌大学 一种基于点线初始化的视觉惯性里程计方法
CN112649016B (zh) * 2020-12-09 2023-10-03 南昌大学 一种基于点线初始化的视觉惯性里程计方法
CN112907629A (zh) * 2021-02-08 2021-06-04 浙江商汤科技开发有限公司 图像特征的跟踪方法、装置、计算机设备及存储介质
CN113155121A (zh) * 2021-03-22 2021-07-23 珠海深圳清华大学研究院创新中心 一种车辆定位方法、装置及电子设备
CN113155121B (zh) * 2021-03-22 2024-04-02 珠海深圳清华大学研究院创新中心 一种车辆定位方法、装置及电子设备
CN114485629A (zh) * 2021-12-16 2022-05-13 广州极飞科技股份有限公司 无人设备导航方法、装置、设备和存储介质
CN114529585A (zh) * 2022-02-23 2022-05-24 北京航空航天大学 基于深度视觉和惯性测量的移动设备自主定位方法
CN117647263A (zh) * 2023-12-06 2024-03-05 中山大学 基于非线性优化的单光子相机视觉惯性里程计方法及系统

Similar Documents

Publication Publication Date Title
CN110009681B (zh) 一种基于imu辅助的单目视觉里程计位姿处理方法
CN109307508B (zh) 一种基于多关键帧的全景惯导slam方法
CN109029433B (zh) 一种移动平台上基于视觉和惯导融合slam的标定外参和时序的方法
CN109993113B (zh) 一种基于rgb-d和imu信息融合的位姿估计方法
CN111811506B (zh) 视觉/惯性里程计组合导航方法、电子设备及存储介质
CN111609868A (zh) 一种基于改进光流法的视觉惯性里程计方法
CN111024066B (zh) 一种无人机视觉-惯性融合室内定位方法
CN111275763B (zh) 闭环检测系统、多传感器融合slam系统及机器人
Tanskanen et al. Live metric 3D reconstruction on mobile phones
CN111210477B (zh) 一种运动目标的定位方法及系统
CN108648215B (zh) 基于imu的slam运动模糊位姿跟踪算法
CN112649016A (zh) 一种基于点线初始化的视觉惯性里程计方法
CN110726406A (zh) 一种改进的非线性优化单目惯导slam的方法
CN116205947B (zh) 基于相机运动状态的双目-惯性融合的位姿估计方法、电子设备及存储介质
US20210183100A1 (en) Data processing method and apparatus
CN111932674A (zh) 一种线激光视觉惯性系统的优化方法
CN113899364B (zh) 定位方法及装置、设备、存储介质
CN114485640A (zh) 基于点线特征的单目视觉惯性同步定位与建图方法及系统
Li et al. A binocular MSCKF-based visual inertial odometry system using LK optical flow
CN112179373A (zh) 一种视觉里程计的测量方法及视觉里程计
CN112907633B (zh) 动态特征点识别方法及其应用
Huttunen et al. A monocular camera gyroscope
CN112731503B (zh) 一种基于前端紧耦合的位姿估计方法及系统
CN112284381B (zh) 视觉惯性实时初始化对准方法及系统
CN114440877B (zh) 一种异步多相机视觉惯性里程计定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200901