CN110595466A - 轻量级的基于深度学习的惯性辅助视觉里程计实现方法 - Google Patents

轻量级的基于深度学习的惯性辅助视觉里程计实现方法 Download PDF

Info

Publication number
CN110595466A
CN110595466A CN201910878954.5A CN201910878954A CN110595466A CN 110595466 A CN110595466 A CN 110595466A CN 201910878954 A CN201910878954 A CN 201910878954A CN 110595466 A CN110595466 A CN 110595466A
Authority
CN
China
Prior art keywords
vector
data
variance
time
position vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910878954.5A
Other languages
English (en)
Other versions
CN110595466B (zh
Inventor
肖卓凌
郭子彬
王亚文
阎波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201910878954.5A priority Critical patent/CN110595466B/zh
Publication of CN110595466A publication Critical patent/CN110595466A/zh
Application granted granted Critical
Publication of CN110595466B publication Critical patent/CN110595466B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C22/00—Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)

Abstract

本发明公开了一种轻量级的基于深度学习的惯性辅助视觉里程计实现方法，涉及移动机器人自主导航定位技术领域，其采用快速光流提取网络学习连续视频帧数据，并得到光流特征；将光流特征输入密集卷积网络中进行处理，处理输出结果连接至全连接层网络，得到初步位姿数据；对加速度数据和角速度数据进行预处理；通过扩展卡尔曼滤波器将初步位姿数据和预处理得到的数据融合。该方法将密集卷积网络应用于视觉里程计中，对旋转姿态的更加敏感，减小角度累积估计误差，提高地图重建精度；使用扩展卡尔曼滤波器将惯性测量单元数据与相机数据融合，减小了位姿数据误差，取得了更好的效果；视觉里程计实现的整个过程计算量小，且速度快，对相机的要求低。

Description

轻量级的基于深度学习的惯性辅助视觉里程计实现方法
技术领域
本发明涉及移动机器人自主导航定位技术领域，具体而言，涉及一种轻量级的基于深度学习的惯性辅助视觉里程计实现方法。
背景技术
同时定位与建图(simultaneous localization and mapping,SLAM)是机器人在未知环境下自主作业的核心关键技术，是机器人自动化领域的研究重点。未知环境下，基于机器人外部传感器获取的环境感知数据，为机器人构建周围环境图，同时提供机器人在环境图中的位置，并随着机器人的移动而进行环境图的增量式构建与机器人的连续定位，是实现机器人环境感知与自动化作业的基础。
在无人驾驶汽车和智能机器人的发展中，车辆和机器人在未知环境下自主定位和构建实时地图显得尤为重要。视觉测程作为一种自主定位解决方案，可以为无人驾驶车辆和智能机器人在未知环境下提供所需的姿态信息。
传统的SLAM算法，如ORB-SLAM2已经达到了较高的精度。然而，这些方法依赖于优化和闭环检测技术，车辆或机器人检测达到在地图上曾经经过位置，从而修正当前位姿，消除累积误差。但是对于只考虑帧与帧之间估计的系统，这种方法精度有待提高。
还有一种视觉里程计方法叫做光流法，例如VISO2，它是一种基于两帧间密集光流从而估计载体运动的高精度方法。但光流法计算量大，难以应用于对实时性有较高要求的场景。
PeterM.Muller提出了一种基于Flownet生成光流的端到端视觉里程计的方法，使用神经网络计算光流的Flownet 2.0方法大大提高了计算速度，比现有的基于光流的VO系统具有更高的实时性，但对于一般摄像机采样频率仍然达不到实时性的要求。
发明内容
本发明在于提供一种轻量级的基于深度学习的惯性辅助视觉里程计实现方法，其能够缓解上述问题。
为了缓解上述的问题，本发明采取的技术方案如下：
本发明提供了一种轻量级的基于深度学习的惯性辅助视觉里程计实现方法，所述视觉里程计包括快速光流提取网络、密集卷积网络以及扩展卡尔曼滤波器，所述惯性辅助视觉里程计实现方法包括以下步骤：
S1、机器人在移动过程中，通过相机获取连续视频帧数据，通过惯性测量单元获取加速度数据和角速度数据；
S2、采用所述快速光流提取网络学习所述连续视频帧数据，并得到光流特征；
S3、将所述光流特征输入所述密集卷积网络中进行处理，并输出得到初步位姿数据，所述初步位姿数据包括位置向量Ⅰ、姿态向量Ⅰ、位置向量Ⅰ预测方差和姿态向量Ⅰ预测方差；
S4、对所述加速度数据和所述角速度数据进行积分，得到位置向量Ⅱ、姿态向量Ⅱ、位置向量Ⅱ方差和姿态向量Ⅱ方差。
S5、通过所述扩展卡尔曼滤波器将位置向量Ⅰ、姿态向量Ⅰ、位置向量Ⅰ预测方差、姿态向量Ⅰ预测方差、位置向量Ⅱ、姿态向量Ⅱ、位置向量Ⅱ方差和姿态向量Ⅱ方差进行数据融合，得到融合后的位姿数据。
本技术方案的技术效果是：将密集卷积网络应用于视觉里程计中，对旋转姿态的更加敏感，减小角度累积估计误差，提高地图重建精度；使用扩展卡尔曼滤波器将惯性测量单元数据与相机数据融合，减小了位姿数据误差，取得了更好的效果；视觉里程计实现的整个过程计算量小，且速度快，对相机的要求低。
可选地，所述密集卷积网络包括一个7×7的卷积层、一个平均池化层、四个DenseBlock模块、三个transition模块以及一个全连接层网络。
可选地，四个所述DenseBlock模块所使用的bottleneck的数量分别为4个、6个、8个和12个，每个bottleneck均包括一个1×1的卷积层和一个3×3的卷积层；每个transition模块均包括一个1×1卷积核和一个2×2池化层。
可选地，各bottleneck依次排序，第i个bottleneck的输入函数公式为：
xi＝H([X0,X1,…,Xi-1]
其中，xi-1代表第i-1层的特征地图，H代表拼接操作。
可选地，所述步骤S4中，通过扩展卡尔曼滤波器进行数据融合的方法具体包括：
A1、根据位置向量Ⅰ、姿态向量Ⅰ及位置向量Ⅰ预测方差、姿态向量Ⅰ预测方差进行状态预测：
St＝St-1+Σt
其中，Tvt为t时刻位置向量Ⅰ，Rvt为t时刻姿态向量Ⅰ，μt-1为t-1时刻的位姿向量，为t时刻的位姿向量，Σt为t时刻协方差矩阵，St-1为t-1时刻的测量累积误差，St为t时刻的测量累积误差；
A2、为位置向量Ⅰ预测方差添加惩罚项：
QTt＝QT(t-1)+A×(b×t)c；
其中，QT(t-1)为t-1时刻的预测位移方差矩阵，QTt为t时刻的预测位移方差矩阵，A、b、c均为可调参数；
A3、数据融合：
K＝S/(S+Qt)
其中，QTt为t时刻的预测位移方差矩阵，QRt为t时刻的预测旋转方差矩阵，Qt为t时刻的预测方差矩阵，K为卡尔曼增益，μt即为融合后的位姿数据，Tj为位置向量Ⅱ，Rj为姿态向量Ⅱ。
本技术方案的技术效果是：通过卡尔曼滤波的实现减小了误差，使用扩展卡尔曼滤波器(EKF)将IMU数据与我们的VO数据融合以取得更好的效果，消除了神经网络的视觉里程计对旋转的不敏感性导致角度累积估计误差。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举本发明实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明实施例中所述惯性辅助视觉里程计实现方法的流程图；
图2是本发明实施例中所述视觉里程计的系统结构示意图；
图3是本发明实施例中DenseBlock的结构图；
图4是本发明实施例中融合定位轨迹与真实路况对比图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
请参照图1和图2，本发明提供了一种轻量级的基于深度学习的机器人惯性辅助视觉里程计实现方法，机器人的视觉里程计包括快速光流提取网络、密集卷积网络以及扩展卡尔曼滤波器，惯性辅助视觉里程计实现方法包括以下步骤：
S1、机器人在移动过程中，通过相机获取连续视频帧数据，通过惯性测量单元获取加速度数据和角速度数据；
S2、采用快速光流提取网络学习连续视频帧数据，并得到光流特征；
S3、将光流特征输入密集卷积网络中进行处理，并输出得到初步位姿数据，初步位姿数据包括位置向量Ⅰ、姿态向量Ⅰ、位置向量Ⅰ预测方差和姿态向量Ⅰ预测方差；
S4、对加速度数据和角速度数据进行积分，并得到位置向量Ⅱ、姿态向量Ⅱ、位置向量Ⅱ方差和姿态向量Ⅱ方差；
对加速度数据和角速度数据进行积分的具体过程为：求出当前时刻t与下一时刻t+1加速度的均值作为Δt时间内的平均加速度，根据平均加速度及当前时刻的初始速度和初始位置，就可以近似的求出t+1时刻的速度和位置。求出当前时刻t与下一时刻t+1角速度的均值，把它作为Δt时间内的平均角速度，根据平均角速度及当前时刻的姿态，就可以近似的求出t+1时刻的姿态。利用对应时刻的姿态将其转换到世界坐标系下，转换之前减去bias，转化之后减去重力加速度(世界坐标系下的重力加速度恒等于9.8)；
S5、通过扩展卡尔曼滤波器将位置向量Ⅰ、姿态向量Ⅰ、位置向量Ⅰ预测方差、姿态向量Ⅰ预测方差、位置向量Ⅱ、姿态向量Ⅱ、位置向量Ⅱ方差和姿态向量Ⅱ方差进行数据融合，得到融合后的位姿数据。
在本实施例中，考虑到Dense Net结构的诸多优势，例如原始特征保留、多层特征复用、轻量级的参数数量等，采用密集连接来解决视觉里程计(VO)问题。由于神经网络的视觉里程计(VO)对旋转的不敏感性导致角度累积估计误差，对地图重建产生很大影响。为了减小误差，使用扩展卡尔曼滤波器(EKF)将惯性测量单元(IMU)数据与相机数据融合以取得更好的效果。
在本实施例中，将快速光流提取网络TV-net运用到视觉里程计，可将光流提取网络级联到所设计的深度学习网络中完成端到端的视觉里程计效果。
在本实施例中，请参照图2和图3，密集卷积网络包括一个7×7的卷积层、一个平均池化层、四个DenseBlock模块、三个transition模块以及一个全连接层网络。7×7的卷积层和平均池化层的设计，使得输入光流特征后，能够获得较大的视野感受，并减小数据的大小。四个DenseBlock模块所使用的bottleneck的数量分别为4个、6个、8个和12个，bottleneck是DenseBlock中的最小单元。在DenseBlock1中使用的bottleneck的数量为4；在DenseBlock2中使用的bottleneck的数量为6；在DenseBlock3中使用的bottleneck的数量为8；在DenseBlock4中使用的bottleneck的数量为12。每个bottleneck包含两个卷积层，大小分别为1×1和3×3。其中，1×1的卷积核可以有效地将数据维数减少到4K，这使得我们的网络计算量更少。各bottleneck依次排序，第i个bottleneck的输入函数公式为：
xi＝H([X0,X1,…,Xi-1]
其中，xi-1代表第i-1层的特征地图，H代表拼接操作。类似的，每个transition模块均包括一个1×1卷积核和一个2×2池化层。
在本实施例中，全连接层网络包含1024个隐藏单元，以获得帧到帧的平移和旋转估计作为我们的神经网络输出。
表1显示了在同样的硬件条件下我们的方案与Flowdometry的运行时间的对比。我们选择Flowdometry作为比较，因为它比其他光流方案的计算速度更快。
表1：与其它算法的时间比较
由表1所得，我们的方法(LightVO)相比较Flowdometry，卷积层的参量由42688k减小到17856k；对每帧图像的光流计算时间由0.08s减小到0.039s；里程计算时间由0.023s减小到0.008s；对每帧图像的处理总时长由0.103s减小到0.047s，大大减少了参数和计算的数量。
在本实施例中，我们采用公开数据集KITTI的序列08、09、10。表2显示了比较传统的密集光流法VISO2，基于图像的深度学习方法P-CNN，及Flowdometry方法的平移误差(％)和旋转误差(度/100m)。
表2：不同算法下的位姿精度
由表2所得，我们的方法相比较其他方法，平移误差达到最小为5.16％。虽然旋转误差较大，但是这将会在步骤三中得到很好的修正。结果表明，我们的方案可以保持较高的精度，克服了深度学习对光照敏感的缺点。
在本实施例中，通过扩展卡尔曼滤波器进行数据融合的方法具体包括：
A1、根据位置向量Ⅰ、姿态向量Ⅰ及位置向量Ⅰ预测方差、姿态向量Ⅰ预测方差进行状态预测：
St＝St-1+Σt
其中，Tvt为t时刻位置向量Ⅰ，Rvt为t时刻姿态向量Ⅰ，μt-1为t-1时刻的位姿向量，为t时刻的位姿向量，Σt为t时刻协方差矩阵，St-1为t-1时刻的测量累积误差，St为t时刻的测量累积误差。
A2、为位置向量Ⅰ预测方差添加惩罚项：
QTt＝QT(t-1)+A×(b×t)c；
其中，QT(t-1)为t-1时刻的预测位移方差矩阵，QTt为t时刻的预测位移方差矩阵，A,b,c为可调参数；
A3、数据融合：
K＝S/(S+Qt)
其中，QRt为t时刻的预测旋转方差矩阵，Qt为t时刻的预测方差矩阵，K为卡尔曼增益，μt即为融合后的位姿数据，Tj为位置向量Ⅱ，Rj为姿态向量Ⅱ。
表3以定量的方式对比了使用惯性测量单元(IMU)修正步骤二结果之前与之后的结果，并给出了最终融合方案的效果。
表3：融合定位位姿精度
由表3所得，惯性测量单元数据的添加确实纠正了基于深度学习的视觉里程计在旋转估计中的不足，在一定程度上提高了对位姿估算的效果。用惯性测量单元修正后的平移误差和旋转误差分别为1.98％和0.0131度/100m，相较于修正前的误差有明显降低。
图4给出了公开数据集KITTI的序列08的融合轨迹与路线实况和视觉里程计轨迹的对比。可以直观的看到，融合后的方案不仅减少了旋转上的误差，还在一定程度上提高了轨迹。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种轻量级的基于深度学习的惯性辅助视觉里程计实现方法，其特征在于，所述视觉里程计包括快速光流提取网络、密集卷积网络以及扩展卡尔曼滤波器，所述惯性辅助视觉里程计实现方法包括以下步骤：
S1、机器人在移动过程中，通过相机获取连续视频帧数据，通过惯性测量单元获取加速度数据和角速度数据；
S2、采用所述快速光流提取网络学习所述连续视频帧数据，并得到光流特征；
S3、将所述光流特征输入所述密集卷积网络中进行处理，并输出得到初步位姿数据，所述初步位姿数据包括位置向量I、姿态向量I、位置向量I预测方差和姿态向量I预测方差；
S4、对所述加速度数据和所述角速度数据进行积分，得到位置向量II、姿态向量II、位置向量II方差和姿态向量II方差；
S5、通过所述扩展卡尔曼滤波器将位置向量I、姿态向量I、位置向量I预测方差、姿态向量I预测方差、位置向量II、姿态向量II、位置向量II方差和姿态向量II方差进行数据融合，得到融合后的位姿数据。
2.根据权利要求1所述轻量级的基于深度学习的惯性辅助视觉里程计实现方法，其特征在于，所述密集卷积网络包括一个7×7的卷积层、一个平均池化层、四个DenseBlock模块、三个transition模块以及一个全连接层网络。
3.根据权利要求2所述轻量级的基于深度学习的惯性辅助视觉里程计实现方法，其特征在于，四个所述DenseBlock模块所使用的bottleneck的数量分别为4个、6个、8个和12个，每个bottleneck均包括一个1×1的卷积层和一个3×3的卷积层；每个transition模块均包括一个1×1卷积核和一个2×2池化层。
4.根据权利要求3所述轻量级的基于深度学习的惯性辅助视觉里程计实现方法，其特征在于，各bottleneck依次排序，第i个bottleneck的输入函数公式为：
xi＝H([X0，X1，…，Xi-1]
其中，xi-1代表第i-1层的特征地图，H代表拼接操作。
5.根据权利要求1所述轻量级的基于深度学习的惯性辅助视觉里程计实现方法，其特征在于，所述步骤S4中，通过扩展卡尔曼滤波器进行数据融合的方法具体包括：
A1、根据位置向量I、姿态向量I及位置向量I预测方差、姿态向量I预测方差进行状态预测：
St＝St-1+∑t
其中，Tvt为t时刻位置向量I，Rvt为t时刻姿态向量I，μt-1为t-1时刻的位姿向量’为t时刻的位姿向量，∑t为t时刻协方差矩阵，St-1为t-1时刻的测量累积误差，St为t时刻的测量累积误差；
A2、为位置向量I预测方差添加惩罚项：
QTt＝QT(t-1)+A×(b×t)c；
其中，QT(t-1)为t-1时刻的预测位移方差矩阵，QTt为t时刻的预测位移方差矩阵，A、b、c均为可调参数；
A3、数据融合：
K＝S/(S+Qt)
其中，QRt为t时刻的预测旋转方差矩阵，Qt为t时刻的预测方差矩阵，K为卡尔曼增益，μt即为融合后的位姿数据，Tj为位置向量II，Rj为姿态向量II。
CN201910878954.5A 2019-09-18 2019-09-18 轻量级的基于深度学习的惯性辅助视觉里程计实现方法 Active CN110595466B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910878954.5A CN110595466B (zh) 2019-09-18 2019-09-18 轻量级的基于深度学习的惯性辅助视觉里程计实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910878954.5A CN110595466B (zh) 2019-09-18 2019-09-18 轻量级的基于深度学习的惯性辅助视觉里程计实现方法

Publications (2)

Publication Number Publication Date
CN110595466A true CN110595466A (zh) 2019-12-20
CN110595466B CN110595466B (zh) 2020-11-03

Family

ID=68860427

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910878954.5A Active CN110595466B (zh) 2019-09-18 2019-09-18 轻量级的基于深度学习的惯性辅助视觉里程计实现方法

Country Status (1)

Country Link
CN (1) CN110595466B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111044054A (zh) * 2020-01-06 2020-04-21 哈尔滨工业大学 一种基于单目slam算法利用卡尔曼滤波进行位姿优化的方法
CN111539988A (zh) * 2020-04-15 2020-08-14 京东方科技集团股份有限公司 一种视觉里程计实现方法、装置和电子设备
CN111609868A (zh) * 2020-05-29 2020-09-01 电子科技大学 一种基于改进光流法的视觉惯性里程计方法
CN112556692A (zh) * 2020-11-27 2021-03-26 绍兴市北大信息技术科创中心 一种基于注意力机制的视觉和惯性里程计方法和系统
CN112556719A (zh) * 2020-11-27 2021-03-26 广东电网有限责任公司肇庆供电局 一种基于cnn-ekf的视觉惯性里程计实现方法
CN112648994A (zh) * 2020-12-14 2021-04-13 首都信息发展股份有限公司 基于深度视觉里程计和imu的相机位姿估计方法及装置
CN113052297A (zh) * 2021-03-04 2021-06-29 吉林大学 基于卷积神经网络融合ekf的拖缆姿态解算方法及系统
CN113752267A (zh) * 2021-11-10 2021-12-07 山东捷瑞数字科技股份有限公司 一种机械臂路径规划方法及系统
CN113790728A (zh) * 2021-09-29 2021-12-14 佛山市南海区广工大数控装备协同创新研究院 一种基于视觉里程计的松耦合多传感器融合定位算法
CN114526728A (zh) * 2022-01-14 2022-05-24 浙江大学 一种基于自监督深度学习的单目视觉惯导定位方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103411621A (zh) * 2013-08-09 2013-11-27 东南大学 一种面向室内移动机器人的光流场视觉/ins组合导航方法
CN107909041A (zh) * 2017-11-21 2018-04-13 清华大学 一种基于时空金字塔网络的视频识别方法
CN108303094A (zh) * 2018-01-31 2018-07-20 深圳市拓灵者科技有限公司 基于多视觉传感器融合阵列的定位导航系统及其定位导航方法
CN108801241A (zh) * 2017-04-07 2018-11-13 辉达公司 使用深度神经网络执行自主路径导航
US20190079533A1 (en) * 2017-09-13 2019-03-14 TuSimple Neural network architecture method for deep odometry assisted by static scene optical flow
CN109798888A (zh) * 2019-03-15 2019-05-24 京东方科技集团股份有限公司 移动设备的姿态确定装置、方法和视觉里程计
CN109945858A (zh) * 2019-03-20 2019-06-28 浙江零跑科技有限公司 用于低速泊车驾驶场景的多传感融合定位方法
CN110619655A (zh) * 2019-08-23 2019-12-27 深圳大学 一种融合光流信息和Siamese框架的目标跟踪方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103411621A (zh) * 2013-08-09 2013-11-27 东南大学 一种面向室内移动机器人的光流场视觉/ins组合导航方法
CN108801241A (zh) * 2017-04-07 2018-11-13 辉达公司 使用深度神经网络执行自主路径导航
US20190079533A1 (en) * 2017-09-13 2019-03-14 TuSimple Neural network architecture method for deep odometry assisted by static scene optical flow
CN107909041A (zh) * 2017-11-21 2018-04-13 清华大学 一种基于时空金字塔网络的视频识别方法
CN108303094A (zh) * 2018-01-31 2018-07-20 深圳市拓灵者科技有限公司 基于多视觉传感器融合阵列的定位导航系统及其定位导航方法
CN109798888A (zh) * 2019-03-15 2019-05-24 京东方科技集团股份有限公司 移动设备的姿态确定装置、方法和视觉里程计
CN109945858A (zh) * 2019-03-20 2019-06-28 浙江零跑科技有限公司 用于低速泊车驾驶场景的多传感融合定位方法
CN110619655A (zh) * 2019-08-23 2019-12-27 深圳大学 一种融合光流信息和Siamese框架的目标跟踪方法及装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111044054A (zh) * 2020-01-06 2020-04-21 哈尔滨工业大学 一种基于单目slam算法利用卡尔曼滤波进行位姿优化的方法
CN111539988A (zh) * 2020-04-15 2020-08-14 京东方科技集团股份有限公司 一种视觉里程计实现方法、装置和电子设备
CN111539988B (zh) * 2020-04-15 2024-04-09 京东方科技集团股份有限公司 一种视觉里程计实现方法、装置和电子设备
CN111609868A (zh) * 2020-05-29 2020-09-01 电子科技大学 一种基于改进光流法的视觉惯性里程计方法
CN112556719B (zh) * 2020-11-27 2022-01-21 广东电网有限责任公司肇庆供电局 一种基于cnn-ekf的视觉惯性里程计实现方法
CN112556719A (zh) * 2020-11-27 2021-03-26 广东电网有限责任公司肇庆供电局 一种基于cnn-ekf的视觉惯性里程计实现方法
CN112556692A (zh) * 2020-11-27 2021-03-26 绍兴市北大信息技术科创中心 一种基于注意力机制的视觉和惯性里程计方法和系统
CN112648994A (zh) * 2020-12-14 2021-04-13 首都信息发展股份有限公司 基于深度视觉里程计和imu的相机位姿估计方法及装置
CN112648994B (zh) * 2020-12-14 2023-12-05 首都信息发展股份有限公司 基于深度视觉里程计和imu的相机位姿估计方法及装置
CN113052297A (zh) * 2021-03-04 2021-06-29 吉林大学 基于卷积神经网络融合ekf的拖缆姿态解算方法及系统
CN113790728A (zh) * 2021-09-29 2021-12-14 佛山市南海区广工大数控装备协同创新研究院 一种基于视觉里程计的松耦合多传感器融合定位算法
CN113752267A (zh) * 2021-11-10 2021-12-07 山东捷瑞数字科技股份有限公司 一种机械臂路径规划方法及系统
CN114526728A (zh) * 2022-01-14 2022-05-24 浙江大学 一种基于自监督深度学习的单目视觉惯导定位方法
CN114526728B (zh) * 2022-01-14 2023-12-05 浙江大学 一种基于自监督深度学习的单目视觉惯导定位方法

Also Published As

Publication number Publication date
CN110595466B (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
CN110595466B (zh) 轻量级的基于深度学习的惯性辅助视觉里程计实现方法
CN110243358B (zh) 多源融合的无人车室内外定位方法及系统
Cioffi et al. Tightly-coupled fusion of global positional measurements in optimization-based visual-inertial odometry
CN107516326B (zh) 融合单目视觉和编码器信息的机器人定位方法和系统
CN114199259B (zh) 一种基于运动状态与环境感知的多源融合导航定位方法
CN110207693B (zh) 一种鲁棒立体视觉惯性预积分slam方法
WO2023165093A1 (zh) 视觉惯性里程计模型的训练方法、位姿估计方法、装置、电子设备、计算机可读存储介质及程序产品
CN110533719B (zh) 基于环境视觉特征点识别技术的增强现实定位方法及装置
Shamwell et al. Vision-aided absolute trajectory estimation using an unsupervised deep network with online error correction
Zhang et al. Vision-aided localization for ground robots
CN112556719B (zh) 一种基于cnn-ekf的视觉惯性里程计实现方法
CN114001733A (zh) 一种基于地图的一致性高效视觉惯性定位算法
CN114719848B (zh) 基于视觉与惯性导航信息融合神经网络的无人机高度估算方法
CN113551665A (zh) 一种用于运动载体的高动态运动状态感知系统及感知方法
CN113516692A (zh) 一种多传感器融合的slam方法和装置
CN114964276A (zh) 一种融合惯导的动态视觉slam方法
CN108827287B (zh) 一种复杂环境下的鲁棒视觉slam系统
CN112945233B (zh) 一种全局无漂移的自主机器人同时定位与地图构建方法
CN113345032A (zh) 一种基于广角相机大畸变图的初始化建图方法及系统
Hong et al. Visual inertial odometry using coupled nonlinear optimization
CN114440877B (zh) 一种异步多相机视觉惯性里程计定位方法
CN114993338B (zh) 基于多段独立地图序列的一致性高效视觉惯性里程计算法
CN112991400B (zh) 一种无人艇的多传感器辅助定位方法
Beauvisage et al. Multimodal visual-inertial odometry for navigation in cold and low contrast environment
CN114034312B (zh) 一种轻量级多解耦的视觉里程计实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant