CN112179373A - 一种视觉里程计的测量方法及视觉里程计 - Google Patents

一种视觉里程计的测量方法及视觉里程计 Download PDF

Info

Publication number
CN112179373A
CN112179373A CN202010847074.4A CN202010847074A CN112179373A CN 112179373 A CN112179373 A CN 112179373A CN 202010847074 A CN202010847074 A CN 202010847074A CN 112179373 A CN112179373 A CN 112179373A
Authority
CN
China
Prior art keywords
camera
depth
rgb
imu
optimization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010847074.4A
Other languages
English (en)
Inventor
陈启军
杜家源
刘成菊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202010847074.4A priority Critical patent/CN112179373A/zh
Publication of CN112179373A publication Critical patent/CN112179373A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C22/00—Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种视觉里程计的测量方法及视觉里程计，方法包括步骤：将RGB‑D相机数据和IMU数据的时间进行同步，对RGB‑D相机和IMU的采集数据进行预处理，获取系统的状态向量；利用深度信息对RGB‑D相机位姿进行绝对尺度的位姿初始化；对深度信息进行融合及深度验证，随后对系统的状态向量进行局部非线性优化；对局部非线性优化的结果进行回环检测并执行全局的位姿图优化，将全局的位姿图优化结果作为系统位姿估计的最终结果。与现有技术相比，本发明具有提高视觉‑惯性里程计的精度和鲁棒性等优点。

Description

一种视觉里程计的测量方法及视觉里程计
技术领域
本发明涉及机器人视觉技术领域，尤其是涉及一种视觉里程计的测量方法及视觉里程计。
背景技术
VO(Visual Odometry，视觉里程计)是vSLAM(Visual SLAM，视觉SLAM)系统中最核心的部分，它是通过相机在运动过程中拍摄的一系列连续的图像来解算出相机的位姿和运动轨迹。然而，只依赖于相机的VO仍存在着许多问题。例如：在纹理少的区域，特征点数量不足，VO无法工作；在相机快速运动时图像模糊，视觉前端提取特征点困难；在动态场景中，移动的物体和行人会导致特征点匹配错误；单目相机无法解决尺度问题等。而IMU(InertialMeasurement Unit，惯性测量单元)则可以很好地捕捉高速运动时相机在三个坐标轴上的加速度和旋转信息，辅助相机的定位；同时，相机的位姿信息也有助于减少IMU漂移的影响；此外，相机和IMU都具有集成度高和轻巧、耐用、低价的优势。因此，将相机信息和IMU信息融合起来，构成VIO(Visual-Inertial Odometry，视觉-惯性里程计)，可以使二者的优缺点互补，提高了系统的精准度和可靠性。同时，融合相机与IMU信息的VIO也极大地促进了VI-SLAM(Visual-Inertial SLAM)在救援机器人、AR/VR快速3D重建、自动驾驶等方面的应用。
目前，主流的VIO框架都是基于单目相机和IMU的融合，其中最具代表性的是VINS-Mono算法，但受限于单目相机的尺度不确定性，该算法在恒定加速度运动条件下会失效，导致视觉-惯性里程计的精度和鲁棒性较差。此外，虽然单目相机位姿的绝对尺度可通过与IMU信息对齐来获取，但IMU通常会受到噪声的干扰，且地面机器人采用的往往是廉价的IMU，对齐的结果较差且不够稳定。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种视觉里程计的测量方法及视觉里程计，通过RGB-D相机和IMU紧耦合的方式在系统的状态向量中直接融入深度信息来解决尺度问题，进而提高视觉-惯性里程计的精度和鲁棒性。
本发明的目的可以通过以下技术方案来实现：
本发明提供一种视觉里程计的测量方法，该方法包括如下步骤内容：
S1：将RGB-D相机数据和IMU数据的时间进行同步，对RGB-D相机和IMU的采集数据进行预处理，获取系统的状态向量。
所述RGB-D相机采集的数据包括彩色图像和深度图像，所述IMU采集的数据包括系统的角速度和加速度。所述系统的状态向量包括位置、方向(姿态或旋转)、速度、加速度bias、陀螺仪bias、特征点的逆深度(深度值的倒数)。
对RGB-D相机和IMU的采集数据进行预处理的具体内容为：
对RGB-D相机采集的彩色图像提取特征点并进行跟踪，将RGB-D相机采集的深度图像中对应位置的深度值附加在彩色图像提取的特征点上；对IMU采集的数据进行预积分处理，获取相邻两帧图像之间的IMU状态增量；将RGB-D相机和IMU的状态紧耦合，获取系统的状态向量。
S2：利用深度信息对RGB-D相机位姿进行绝对尺度的位姿初始化。
进一步地，采用PnP算法对相机位姿进行绝对尺度的初始化。
S3：对深度信息进行融合及深度验证，随后对系统的状态向量进行局部非线性优化。具体地：
对深度信息进行融合，并对融合结果的各特征点判断其是否超出RGB-D相机的测量范围，对超出测量范围的点，采用三角化的方式获取深度值，并设置为优化变量；对测量范围内的点，通过深度图像获取深度值，经过深度验证后设置为常量；随后将优化变量与常量进行局部非线性优化。
进一步地，采用Ceres优化器进行局部的非线性优化，该优化采用滑动窗口的形式。
进一步地，深度验证的具体内容为：
对于某一特征，遍历该特征的所有观测帧，将其3D坐标投影至包含该特征的另一个观测帧的2D平面，计算投影残差，若该残差小于设定阈值，则将该特征点投影到参考平面，获得其深度值；将遍历过程中深度值的均值作为该特征的深度估计。
S4：对局部非线性优化的结果进行回环检测并执行全局的位姿图优化，将全局的位姿图优化结果作为系统位姿估计的最终结果。
进一步地，采用词袋模型方法进行回环检测。
本发明另一方面还提供一种视觉里程计，该视觉里程计包括：
RGB-D相机，用以获取拍摄对象的彩色图像序列和深度图像序列；
IMU，用以测量系统的角速度与加速度；
特征处理模块，用以对RGB-D相机采集的彩色图像的特征点进行提取及跟踪，将RGB-D相机采集的深度图像中对应位置的深度值附加在彩色图像的特征点上，并对IMU采集的数据进行预积分处理，获取相邻两帧图像之间的IMU状态增量，对RGB-D相机处理后的特征点和IMU的状态增量紧耦合生成系统状态向量；
初始化模块，用以根据深度图像和彩色图像，采用PnP算法对相机位姿进行绝对尺度的初始化；
局部优化模块，用以采用滑动窗口的形式，对深度信息进行局部非线性优化；
全局优化模块，用以通过回环检测执行全局的位姿图优化，获取最终相机/IMU位姿。
进一步地，所述局部优化模块利用Ceres优化器对深度信息进行局部非线性优化。
本发明提供的视觉里程计的测量方法及视觉里程计，相较于现有技术至少包括如下有益效果：
(1)本发明利用RGB-D相机拍摄的深度图像中的深度信息来进行尺度恢复，可以获得绝对尺度，解决了单目视觉里程计尺度不确定的问题，避免了视觉-惯性里程计算法在恒定加速度运动条件下失效的情况，提高了算法的精度和稳定性。
(2)本发明通过紧耦合的方式融合RGB-D相机和IMU，即图像特征信息直接加入到系统的状态向量中，和IMU的数据一起进行位姿估计并联合优化；与相机和IMU的位姿估计过程相对独立的松耦合方式相比，紧耦合的方式精度更高。
(3)本发明在融合特征的深度信息时，首先判断特征点是否超出深度传感器的测量范围，对于超出范围的点，使用三角化的方式获得深度值，并设置为优化变量；对于范围内的点，通过深度图像获取深度值，经过深度验证后设置为常量；根据深度传感器测量范围的分情况处理弥补了RGB-D相机测量范围较窄的劣势，同时深度验证算法减小了深度测量的噪声，提高了算法精度。
(4)基于RGB-D相机较可靠的深度数据，采用PnP算法通过使用图像中的2D特征及空间中对应的3D点来估计RGB-D相机的位姿，使得初始化结果更加快速和准确。
附图说明
图1为本发明视觉里程计的测量方法的流程示意图；
图2为本发明方法对系统的状态向量进行局部的非线性优化的流程示意图；
图3为本发明在系统初始化阶段使用的PnP方法与单目VIO使用的五点法对比图，其中图3a)为依靠RGB-D相机深度数据，利用PnP方法的绝对尺度姿态初始化效果图，图3b)为依靠单目相机利用五点法的绝对尺度姿态初始化效果图；
图4为本发明实施例测试使用的Intel RealSense公开数据集，其中子图(a)为手持设备的平台，子图(b)为轮式机器人的平台，子图(c)为履带式机器人的平台。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
实施例
本发明涉及一种视觉里程计的测量方法，该方法基于RGB-D相机和IMU紧耦合方式进行姿态估计，具体流程框图如图1所示，包括以下步骤：
步骤一、将RGB-D相机数据和IMU数据的时间同步后，对RGB-D相机和IMU的测量值进行预处理，得到系统(RGB-D相机和IMU构成的视觉里程计)的状态向量。系统的状态向量包括位置、方向(姿态或旋转)、速度、加速度bias、陀螺仪bias、特征点的逆深度(深度值的倒数)。
RGB-D相机的测量值包括采集的彩色图像和深度图像。本步骤对RGB-D相机采集的彩色图像，对其特征点进行提取和跟踪，并将RGB-D相机采集的深度图像中对应位置的深度值附加在该特征上。IMU一般包含加速度计和陀螺仪两部分，分别测量加速度和角速度，少数IMU还包含磁力计，本发明中方法只需要IMU采集系统的加速度和角速度作为输入信息。本步骤对IMU的测量值进行预积分处理，得到相邻两帧图像之间的IMU状态增量。然后将RGB-D相机附加深度值后的特征与IMU的状态增量进行紧耦合，即将图像特征信息直接加入到系统的状态向量中，和IMU的数据一起进行位姿估计并联合优化，得到系统的状态向量。
作为优选方案，使用Intel RealSense D435i传感器进行数据采集，该传感器是一款集成了IMU的RGB-D相机，从硬件层面实现了视觉和关系信息的同步；在特征的跟踪阶段，使用KLT稀疏光流法跟踪Shi-Tomasi特征。
步骤二、利用深度信息对系统进行绝对尺度的位姿初始化。具体地：
根据深度图像和彩色图像，使用PnP算法对相机位姿进行绝对尺度的初始化：
在VINS-Mono中，受限于单目相机，只有彩色图像源可以使用。本发明则使用五点法，利用滑动窗口内的IMU数据解算RGB-D相机的初始位姿。尽管位姿的绝对尺度可以通过与IMU信息对齐来获取，但是IMU通常受到噪声的干扰，而且地面机器人的应用使用的往往是廉价的IMU，对齐的结果并不总是良好且稳定的。而利用RGB-D相机的相对准确的深度数据，使用PnP(Perspective-n-Point，n点透视)算法来进行相机的绝对尺度姿态初始化是可行的。PnP算法是通过使用图像中的2D特征及空间中对应的3D点来估计RGB-D相机的位姿。
图3中，C和C’是不同时间下RGB-D相机的中心，C’是由C经过旋转变换R和平移变换t得到的。X是一个3D点。X，R，t在单目相机中都是未知的。在图3a)中使用了RGB-D相机，通过像素点的深度来得到X，通过PnP方法得到具有恒定尺度因子的R和t。图3b)中则说明了只使用RGB图像的情况，依靠单目相机无法获得绝对尺度，R和t需要至少五个点对通过五点法来求解。相比单目VIO初始化采用的五点法，本发明由于使用了PnP方法和RGB-D相机较可靠的深度数据，使得初始化结果更加快速和准确。另外，初始化前系统的外参的标定采用了基于VINS框架的在线标定。系统的外参包括RGB-D相机到IMU的旋转和平移。
步骤三、系统初始化完成后，融合深度信息并进行深度验证，然后对系统的状态向量进行局部的非线性优化。
如图2所示，深度信息的融合根据Intel RealSense D435i传感器的测量范围分段处理，按照紧耦合的思路将深度值附加在对应的特征上直接加入系统状态向量，对于超出范围的点，使用三角化的方式获得深度值，并设置为优化变量；对于范围内的点，通过深度图像获取深度值，经过深度验证后设置为常量。然后将优化变量与常量使用Ceres优化器进行局部的非线性优化，该优化采用滑动窗口的形式。根据深度传感器测量范围的分情况处理弥补了RGB-D相机测量范围较窄的劣势，同时深度验证算法减小了深度测量的噪声，提高了算法精度。
上述超出范围的点是指某些超出了RGB-D相机测量范围的特征点，这些点的深度值只能通过三角化方法获得估计值，并将其作为优化变量。本发明对RGB-D相机得到的深度值进行深度验证，验证后的深度已经有较高准度，无需进一步优化，因此设为常量，只对那些通过三角化方法的得到的深度估计值进行优化；在提升精度的同时也提高了计算效率。
深度验证方法为：对于某一特征，遍历该特征的所有观测帧，将其3D坐标投影到包含该特征的另一个观测帧的2D平面，计算投影残差，若该残差小于设定阈值，则将该特征点投影到参考平面，获得其深度值；将遍历过程中深度值的均值作为该特征的深度估计。
步骤四、对局部的优化结果进行回环检测并执行全局的位姿图优化，将全局的位姿图优化结果作为系统位姿估计的最终结果。
本步骤采用词袋模型方法进行回环检测，可优先使用DboW2方法进行回环检测，然后从x，y，z和yaw(偏航角)四个自由度(4-DoF)来执行全局的位姿图优化。
为验证本发明方法可实现高精度效果，本实施例通过实际数据集进行测试APE实验进行说明，同时对相同数据集进行单目相机基于VINS-Mono算法的APE测试，将上述两种方法的测试结果进行对比，具体地：使用Intel RealSense公开数据集，如图4所示，传感器载体包含手持设备、轮式机器人和履带式机器人三种，场景为复杂的小型室内环境。典型地，选取的评估指标为APE(Absolute Pose Error，绝对位姿误差)，指真实位姿与估计位姿的绝对差值，可以直观地反映算法的精度和估计轨迹的全局一致性；通常使用RMSE(均方根误差)来统计平移部分的APE，单位为米(m)。结果如表1所示。
表1数据集测试APE结果对比表(单位：m)
Figure BDA0002643431540000061
Figure BDA0002643431540000071
如表1中数据所示，在视觉里程计不容易失效的情景如手持设备和轮式机器人测试场景中，本发明方法相比单目VIO的精度更高；在履带式机器人的测试场景中，由于连续交错的上下斜坡，相机视野受限且IMU激励不足，导致视觉里程计容易失效，本发明方法表现出比单目VIO更高的鲁棒性且保持相对较高的精度。
本发明还提供一种视觉里程计，该视觉里程计基于RGB-D相机与IMU紧耦合设计，包括：
RGB-D相机，用于获取拍摄对象的彩色图像序列和深度图像序列。
IMU，用于测量载体的角速度与加速度。
特征处理模块，用于对RGB-D相机采集的彩色图像的特征点进行提取，将RGB-D相机采集的深度图像中对应位置的深度值附加在彩色图像的特征点上，并使用KLT稀疏光流法跟踪Shi-Tomasi特征。
初始化模块，用于根据深度图像和彩色图像，使用PnP算法对相机位姿进行绝对尺度的初始化。
局部优化模块，用于采用滑动窗口的形式，利用Ceres优化器对深度信息进行局部非线性优化。
全局优化模块，用于通过回环检测执行全局的位姿图优化，获取最终相机/IMU位姿。
本发明提供的视觉里程计的测量方法及视觉里程计，与现有技术相比，最大的创新点有三点：一是利用了RGB-D相机拍摄的深度图像中的深度信息来进行尺度恢复，以获得绝对尺度，解决了单目视觉里程计尺度不确定的问题，避免了视觉-惯性里程计算法在恒定加速度运动条件下失效的情况，提高了算法的精度和稳定性。二是通过紧耦合的方式融合RGB-D相机和IMU，即图像特征信息和附加在对应特征上的深度信息直接加入到系统的状态向量中，和IMU的数据一起进行位姿估计并联合优化；与相机和IMU的位姿估计过程相对独立的松耦合方式相比，紧耦合的方式精度更高。三是本发明在融合特征的深度信息时，首先判断特征点是否超出深度传感器的测量范围，对于超出范围的点，使用三角化的方式获得深度值，并设置为优化变量；对于范围内的点，通过深度图像获取深度值，经过深度验证后设置为常量。根据深度传感器测量范围的分情况处理弥补了RGB-D相机测量范围较窄的劣势，同时深度验证算法减小了深度测量的噪声，提高了算法精度。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种视觉里程计的测量方法，其特征在于，包括下列步骤：
1)将RGB-D相机数据和IMU数据的时间进行同步，对RGB-D相机和IMU的采集数据进行预处理，获取系统的状态向量；
2)利用深度信息对RGB-D相机位姿进行绝对尺度的位姿初始化；
3)对深度信息进行融合及深度验证，随后对系统的状态向量进行局部非线性优化；
4)对局部非线性优化的结果进行回环检测并执行全局的位姿图优化，将全局的位姿图优化结果作为系统位姿估计的最终结果。
2.根据权利要求1所述的视觉里程计的测量方法，其特征在于，所述RGB-D相机采集的数据包括彩色图像和深度图像，所述IMU采集的数据包括系统的角速度和加速度。
3.根据权利要求2所述的视觉里程计的测量方法，其特征在于，步骤1)中，对RGB-D相机和IMU的采集数据进行预处理的具体内容为：
对RGB-D相机采集的彩色图像提取特征点并进行跟踪，将RGB-D相机采集的深度图像中对应位置的深度值附加在彩色图像提取的特征点上；对IMU采集的数据进行预积分处理，获取相邻两帧图像之间的IMU状态增量；将RGB-D相机和IMU的状态紧耦合，获取系统的状态向量。
4.根据权利要求1所述的视觉里程计的测量方法，其特征在于，步骤2)中，采用PnP算法对相机位姿进行绝对尺度的初始化。
5.根据权利要求1所述的视觉里程计的测量方法，其特征在于，步骤3)的具体内容为：
对深度信息进行融合，并对融合结果的各特征点判断其是否超出RGB-D相机的测量范围，对超出测量范围的点，采用三角化的方式获取深度值，并设置为优化变量；对测量范围内的点，通过深度图像获取深度值，经过深度验证后设置为常量；随后将优化变量与常量进行局部非线性优化。
6.根据权利要求5所述的视觉里程计的测量方法，其特征在于，采用Ceres优化器进行局部的非线性优化，该优化采用滑动窗口的形式。
7.根据权利要求5所述的视觉里程计的测量方法，其特征在于，深度验证方法为：
对于某一特征，遍历该特征的所有观测帧，将其3D坐标投影至包含该特征的另一个观测帧的2D平面，计算投影残差，若该残差小于设定阈值，则将该特征点投影到参考平面，获得其深度值；将遍历过程中深度值的均值作为该特征的深度估计。
8.根据权利要求1所述的视觉里程计的测量方法，其特征在于，步骤4)中，采用词袋模型方法进行回环检测。
9.一种视觉里程计，其特征在于，包括：
RGB-D相机，获取拍摄对象的彩色图像序列和深度图像序列；
IMU，测量系统的角速度与加速度；
特征处理模块，对RGB-D相机采集的彩色图像的特征点进行提取及跟踪，将RGB-D相机采集的深度图像中对应位置的深度值附加在彩色图像的特征点上，并对IMU采集的数据进行预积分处理，获取相邻两帧图像之间的IMU状态增量，对RGB-D相机处理后的特征点和IMU的状态增量紧耦合生成系统状态向量；
初始化模块，根据深度图像和彩色图像，采用PnP算法对相机位姿进行绝对尺度的初始化；
局部优化模块，采用滑动窗口的形式，对深度信息进行局部非线性优化；
全局优化模块，通过回环检测执行全局的位姿图优化，获取最终相机/IMU位姿。
10.根据权利要求9所述的视觉里程计，其特征在于，利用Ceres优化器对深度信息进行局部非线性优化。
CN202010847074.4A 2020-08-21 2020-08-21 一种视觉里程计的测量方法及视觉里程计 Pending CN112179373A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010847074.4A CN112179373A (zh) 2020-08-21 2020-08-21 一种视觉里程计的测量方法及视觉里程计

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010847074.4A CN112179373A (zh) 2020-08-21 2020-08-21 一种视觉里程计的测量方法及视觉里程计

Publications (1)

Publication Number Publication Date
CN112179373A true CN112179373A (zh) 2021-01-05

Family

ID=73925364

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010847074.4A Pending CN112179373A (zh) 2020-08-21 2020-08-21 一种视觉里程计的测量方法及视觉里程计

Country Status (1)

Country Link
CN (1) CN112179373A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113048980A (zh) * 2021-03-11 2021-06-29 浙江商汤科技开发有限公司 位姿优化方法、装置、电子设备及存储介质
CN115175119A (zh) * 2022-07-12 2022-10-11 燕山大学 一种适应于移动机器人的vr随动控制系统
CN115265560A (zh) * 2022-07-28 2022-11-01 重庆长安汽车股份有限公司 基于视觉slam的高精定位方法、系统及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180053309A1 (en) * 2016-08-22 2018-02-22 Seiko Epson Corporation Spatial Alignment of M-Tracer and 3-D Human Model For Golf Swing Analysis Using Skeleton
CN107869989A (zh) * 2017-11-06 2018-04-03 东北大学 一种基于视觉惯导信息融合的定位方法及系统
CN109993113A (zh) * 2019-03-29 2019-07-09 东北大学 一种基于rgb-d和imu信息融合的位姿估计方法
CN110766785A (zh) * 2019-09-17 2020-02-07 武汉大学 一种地下管道实时定位与三维重建装置及方法
CN111462231A (zh) * 2020-03-11 2020-07-28 华南理工大学 一种基于rgbd传感器和imu传感器的定位方法
CN111862316A (zh) * 2020-07-28 2020-10-30 杭州深瞳科技有限公司 一种基于优化的imu紧耦合稠密直接rgbd的三维重建方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180053309A1 (en) * 2016-08-22 2018-02-22 Seiko Epson Corporation Spatial Alignment of M-Tracer and 3-D Human Model For Golf Swing Analysis Using Skeleton
CN107869989A (zh) * 2017-11-06 2018-04-03 东北大学 一种基于视觉惯导信息融合的定位方法及系统
CN109993113A (zh) * 2019-03-29 2019-07-09 东北大学 一种基于rgb-d和imu信息融合的位姿估计方法
CN110766785A (zh) * 2019-09-17 2020-02-07 武汉大学 一种地下管道实时定位与三维重建装置及方法
CN111462231A (zh) * 2020-03-11 2020-07-28 华南理工大学 一种基于rgbd传感器和imu传感器的定位方法
CN111862316A (zh) * 2020-07-28 2020-10-30 杭州深瞳科技有限公司 一种基于优化的imu紧耦合稠密直接rgbd的三维重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHAN ZEYONG，等: "RGBD-Inertial Trajectory Estimation and Mapping for Ground Robots", 《SENSORS》, vol. 19, no. 10, 15 May 2019 (2019-05-15) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113048980A (zh) * 2021-03-11 2021-06-29 浙江商汤科技开发有限公司 位姿优化方法、装置、电子设备及存储介质
CN113048980B (zh) * 2021-03-11 2023-03-14 浙江商汤科技开发有限公司 位姿优化方法、装置、电子设备及存储介质
CN115175119A (zh) * 2022-07-12 2022-10-11 燕山大学 一种适应于移动机器人的vr随动控制系统
CN115265560A (zh) * 2022-07-28 2022-11-01 重庆长安汽车股份有限公司 基于视觉slam的高精定位方法、系统及存储介质

Similar Documents

Publication Publication Date Title
CN109307508B (zh) 一种基于多关键帧的全景惯导slam方法
CN109993113B (zh) 一种基于rgb-d和imu信息融合的位姿估计方法
Panahandeh et al. Vision-aided inertial navigation based on ground plane feature detection
US9990726B2 (en) Method of determining a position and orientation of a device associated with a capturing device for capturing at least one image
CN108052103B (zh) 基于深度惯性里程计的巡检机器人地下空间同时定位和地图构建方法
Lupton et al. Visual-inertial-aided navigation for high-dynamic motion in built environments without initial conditions
CN110044354A (zh) 一种双目视觉室内定位与建图方法及装置
CN111210477B (zh) 一种运动目标的定位方法及系统
CN107909614B (zh) 一种gps失效环境下巡检机器人定位方法
CN110726406A (zh) 一种改进的非线性优化单目惯导slam的方法
CN112179373A (zh) 一种视觉里程计的测量方法及视觉里程计
CN112734841B (zh) 一种用轮式里程计-imu和单目相机实现定位的方法
US20220051031A1 (en) Moving object tracking method and apparatus
CN111932674A (zh) 一种线激光视觉惯性系统的优化方法
CN111354043A (zh) 一种基于多传感器融合的三维姿态估计方法及装置
Yin et al. Dynam-SLAM: An accurate, robust stereo visual-inertial SLAM method in dynamic environments
CN111609868A (zh) 一种基于改进光流法的视觉惯性里程计方法
Bloesch et al. Fusion of optical flow and inertial measurements for robust egomotion estimation
Zhang et al. Vision-aided localization for ground robots
CN114529576A (zh) 一种基于滑动窗口优化的rgbd和imu混合跟踪注册方法
CN111307146A (zh) 一种基于双目相机和imu的虚拟现实头戴显示设备定位系统
CN115371665A (zh) 一种基于深度相机和惯性融合的移动机器人定位方法
CN116772844A (zh) 一种基于动态环境下的视觉惯性室内机器人的导航方法
CN113899364B (zh) 定位方法及装置、设备、存储介质
Zhao et al. Robust depth-aided RGBD-inertial odometry for indoor localization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210105