CN109655059A - 一种基于θ-增量学习的视觉-惯性融合导航系统及方法 - Google Patents

一种基于θ-增量学习的视觉-惯性融合导航系统及方法 Download PDF

Info

Publication number
CN109655059A
CN109655059A CN201910020225.6A CN201910020225A CN109655059A CN 109655059 A CN109655059 A CN 109655059A CN 201910020225 A CN201910020225 A CN 201910020225A CN 109655059 A CN109655059 A CN 109655059A
Authority
CN
China
Prior art keywords
data
increment
network
moving target
inertia
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910020225.6A
Other languages
English (en)
Other versions
CN109655059B (zh
Inventor
袁志勇
童倩倩
李潇洒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201910020225.6A priority Critical patent/CN109655059B/zh
Publication of CN109655059A publication Critical patent/CN109655059A/zh
Application granted granted Critical
Publication of CN109655059B publication Critical patent/CN109655059B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于θ‑增量学习的视觉‑惯性融合导航系统及方法，为实现对运动目标的时序变量θ(位置或姿态)进行快速精确估计，本发明提出了一种基于级联网络的θ‑增量学习方法，该方法采用级联网络以共享参数的方式对时序变量θ的增量进行估计。利用该θ‑增量学习方法，本发明构建了用于视觉‑惯性融合导航的姿态数据增量估计的级联网络及位置数据增量估计的嵌套级联网络，并利用训练的网络实现高精度、高频率和强稳定性的导航。本发明采用视觉导航作为主导，以确保较高的导航精度，惯性导航作为辅助，不仅有助于弥补视觉导航频率较低的缺陷，同时能解决由遮挡引起的视觉导航不稳定的问题。

Description

一种基于θ-增量学习的视觉-惯性融合导航系统及方法
技术领域
本发明属于导航技术领域，涉及一种视觉-惯性融合导航系统及方法，特别涉及一种利用深度学习技术，构建基于θ-增量学习的级联网络实现高精度、高频率和强稳定性的融合导航系统及方法。
背景技术
导航技术可以用于引导运动目标，安全、准确地沿着选定的路线到达目的地，该技术是移动机器人、自动驾驶、航空航天等领域的关键技术之一。在增强现实领域，快速精确的导航亦是联系现实场景与虚拟场景，提供沉浸式交互体验的重要环节。尤其是对实时性及精确度要求均较高的视触觉交互应用，高精度、高频率和强稳定性的导航至关重要。然而，在现有的技术中，相关研究采用的导航方法[文献1-4]难以准确、快速、稳定地捕获运动目标的微小变化，从而影响触觉交互体验。
Berkelman等人[文献1-2]采用6自由度(DOF)Optotrak Certus光学运动跟踪器(Northern Digital Inc.)为磁悬浮触觉平台实时提供位置和方向信息，无线连接的红外LED安装在操作杆的尾部。然而，当操作杆以大角度倾斜时，红外LED将彼此遮挡，导致位置信息丢失，从而影响视触觉反馈信息的精确产生。此外，由于无线模式需要电池等电子设备，跟踪模块的设计比较麻烦且整体略显笨重。
Tong等人[文献3-4]为实现磁悬浮视触觉交互设计了一个磁笔，红色标记点嵌入到磁笔上，两个RGB摄像头跟踪磁笔上的红色标记点以获得用户的交互动作。虽然这种双目视觉导航模块具有精度高、重量轻、成本低的优点，但其定位帧率受摄像头低采集频率的限制，这将影响视触觉感知的分辨率。此外，该双目视觉模块同样存在遮挡问题。
惯性导航是指使用惯性采集单元测量运动目标的加速度和角速度，并通过一定的转换和积分过程计算其姿态、速度、位移等运动信息。惯性导航系统具有体积小、成本低、采样频率高、工作稳定等优点，但也存在着随时间累积的计算误差和漂移。考虑到视觉导航和惯性导航的互补特性，研究者们探索了很多视觉-惯性融合导航的方法[文献5-8]。
Weiss等人[文献5]使用松耦合的方式执行视觉模块和惯性模块的耦合，该研究将视觉模块视为“黑盒子”，并解决了如何检测导航估计的漂移和误差等问题。Mourikis等人[文献6]设计了一种多状态约束的卡尔曼滤波算法，在特定的几何约束下对滤波器状态进行更新。与[文献6]基于滤波的融合导航方法不同，Leutenegge等人[文献7]提出OKVIS算法，采用非线性优化来完成基于关键帧的导航过程。此外，Qin等人[文献8]提出的VINS-Mono算法也是一种基于非线性优化的方法，该方法首先对惯性数据进行预积分，然后使用滑动窗口进行位姿信息的估计。
以上视觉-惯性融合导航方法已经应用于各种领域，例如自动驾驶和飞行机器人[文献9]。然而，上述方法仅能达到分米级的导航精度，且由于复杂的转换和积分过程，每一帧位姿信息的估计都需要花费很长时间，无法满足沉浸式视触觉交互过程对运动目标的导航精度和频率的要求。本发明将视觉-惯性融合导航定义为回归问题。虽然Clark等人[文献10]提出的VINet同样将视觉-惯性融合导航视为序列到序列的回归问题，但其融合导航频率仍受到低频率数据流的限制。
参考文献：
[文献1]:P.Berkelman,M.Miyasaka,and J.Anderson,“Co-located 3d graphicand haptic display using electromagnetic levitation,”in Haptics Symposium(HAPTICS).IEEE,2012,pp.77–81.
[文献2]:S.A.Pedram,R.L.Klatzky,and P.Berkelman,“Torque contributionto haptic rendering of virtual textures,”IEEE transactions on haptics,vol.10,no.4,pp.567–579,2017.
[文献3]:Q.Tong,Z.Yuan,M.Zheng,W.Zhu,G.Zhang,and X.Liao,“A novelmagnetic levitation haptic device for augmentation of tissue stiffnessperception,”in Proceedings of the 22nd ACM Conference on Virtual RealitySoftware and Technology.ACM,2016,pp.143–152.
[文献4]:Q.Tong,Z.Yuan,X.Liao,M.Zheng,T.Yuan,and J.Zhao,“Magneticlevitation haptic augmentation for virtual tissue stiffness perception,”IEEETransactions on Visualization and Computer Graphics,2017.
[文献5]:S.Weiss and R.Y.Siegwart,“Real-time metric state estimationfor modular vision-inertial systems,”in Robotics and automation,2011IEEEInternational Conference on.IEEE,2011,pp.4531–4537.
[文献6]:A.I.Mourikis and S.I.Roumeliotis,“A multi-state constraintkalman filter for vision-aided inertial navigation,”in Robotics andautomation,2007IEEE international conference on.IEEE,2007,pp.3565–3572.
[文献7]:S.Leutenegger,S.Lynen,M.Bosse,R.Siegwart,and P.Furgale“Keyframe-based visual–inertial odometry using nonlinear optimization,”TheInternational Journal of Robotics Research,vol.34,no.3,pp.314–334,2015.
[文献8]:T.Qin,P.Li,and S.Shen,“Vins-mono:A robust and versatilemonocular visual-inertial state estimator,”IEEE Transactions on Robotics,vol.34,no.4,pp.1004–1020,2018.
[文献9]:J.Delmerico and D.Scaramuzza,“A benchmark comparison ofmonocular visual-inertial odometry algorithms for flying robots,”in IEEEInternational Conference on Robotics and Automation,2018.
[文献10]:R.Clark,S.Wang,H.Wen,A.Markham,and N.Trigoni,“Vinet:Visual-inertial odometry as a sequence-to-sequence learning problem.”in AAAI,2017,pp.3995–4001.
发明内容
为了解决上述技术问题，本发明提供了一种基于级联网络的θ-增量学习的视觉-惯性融合导航系统及方法，以逐步学习时序变量θ在较短时间内的增量，从而提高导航频率，同时保持导航的高精度及高稳定性。
本发明的系统所采用的技术方案是：一种基于θ-增量学习的视觉-惯性融合导航系统，其特征在于：包括视觉导航模块、惯性导航模块、AI服务器；
所述视觉导航模块，包括双目摄像头和视觉控制单元；双目摄像头，其设置位置需要确保双目摄像头的视野足以覆盖运动目标的运动空间，以便稳定地跟踪运动目标上的有色标记点；视觉控制单元设置于视觉-惯性融合导航系统的控制器内，用于获取运动目标的位置数据；
所述惯性导航模块，包括惯性采集单元和惯性控制单元；惯性采集单元固定设置于运动目标上，用于获取运动目标的惯性数据；惯性控制单元设置于视觉-惯性融合导航系统的控制器内，惯性控制单元中的高精度数字运动处理器用于获取运动目标的姿态数据；
所述AI服务器，根据是否获取到惯性数据、位置数据及姿态数据，对位置数据和姿态数据的增量进行估计，并对运动目标的位置数据和姿态数据进行更新，实现对运动目标的快速、精确导航。
本发明的方法所采用的技术方案是：一种基于θ-增量学习的视觉-惯性融合导航方法，其特征在于，包括以下步骤：
步骤1：构建用于姿态数据增量估计的级联网络OCasNet；
步骤2：构建用于位置数据增量估计的嵌套级联网络PCasNet；
步骤3：使用惯性采集单元，获取运动目标的惯性数据，包括加速度和角速度数据；与此同时，使用视觉导航模块获取运动目标的位置数据，惯性控制单元中的高精度数字运动处理器获取运动目标的姿态数据；
步骤4：对步骤3中获取的惯性数据、位置数据和姿态数据执行格式化与归一化预处理，预处理后的惯性数据作为输入，位置数据和姿态数据作为标签完成OCasNet和PCasNet的线下训练；
步骤5：设置运动目标的初始位置和姿态，惯性采集单元实时获取运动目标的惯性数据，同时视觉导航模块获取运动目标的位置数据，惯性控制单元中的高精度数字运动处理器获取运动目标的姿态数据，上述数据实时发送给AI服务器；
步骤6：位置数据和姿态数据的增量估计；
a)若未收到姿态数据的真实值，AI服务器对惯性数据进行格式化和归一化，并利用步骤4中训练完成的OCasNet估计姿态数据的增量；
b)若未收到位置数据的真实值，AI服务器对惯性数据及位置数据进行格式化和归一化，并利用步骤4中训练完成的PCasNet估计位置数据的增量；
步骤7：位置数据和姿态数据的更新；
a)若收到位置数据和姿态数据的真实值，则采用该真实值对运动目标当前时刻的位置数据和姿态数据进行更新；
b)若未收到位置数据和姿态数据的真实值，则将运动目标前一时刻的位置数据和姿态数据加上步骤6中估计的增量，对运动目标当前时刻的位置数据和姿态数据进行更新。
作为优选，步骤1的具体实现包括以下子步骤：
步骤1.1：定义用于估计时序变量θ的输入变量为X＝(x1,x2,…,xN)，xi(i∈[1,N])为惯性采集单元在一个时间序列的时间步i∈[1,N]处获取的运动目标的加速度与角速度；定义与X相应的标签为ΔY，ΔY为时序变量θ在时段T内的总增量；所述时序变量θ指运动目标的姿态变量；
其中，N是输入变量X所包含时间步的数目；T＝nt，即T是t的n倍，也即输入变量X的频率是标签频率的n倍，t是每一个时间步的时长，n＞1；
步骤1.2：根据步骤1.1的定义，构建基于θ-增量学习的级联网络OCasNet，用于姿态数据的增量估计，OCasNet级联n个循环神经网络单元；
其中，基于θ-增量学习的级联网络OCasNet中，n个循环神经网络单元共享网络参数，步骤1.1中定义的X为OCasNet的输入，ΔY为OCasNet的标签；
步骤1.3：根据时序变量θ的估计值和其真实值ΔY之间的误差，对步骤1.2构建的级联网络OCasNet进行训练，即利用最优化算法对级联网络OCasNet的参数进行更新；
步骤1.4：在实际导航应用过程中，采用步骤1.3训练完成的基于θ-增量学习的级联网络OCasNet对时序变量θ的增量进行估计。
作为优选，步骤1.4中，在实际导航应用中，时序变量θ是时间的一次积分量时，则θ在第j个时间步的估计值Yj为第j-1个时间步的值Yj-1与通过步骤1.1～1.4估计所得θ在第j个时间步的增量的总和，即
作为优选，步骤2的具体实现包括以下子步骤：
步骤2.1：定义用于估计时序变量θ的输入变量为X'＝(x1',x'2,…,x'N)，xi'(i∈[1,N])为惯性采集单元在一个时间序列的时间步i∈[1,N]处获取的运动目标的加速度、角速度以及经初始化的时序变量θ；定义与X'相应的标签为ΔY'，ΔY'为时序变量θ在时段T内的总增量；
步骤2.2：构建基于θ-增量学习的嵌套级联网络PCasNet，用于位置数据的增量估计；具体地，首先级联n个循环神经网络单元，构成CasNet子网络，用于实现对时段t内时序变量θ增量的估计，然后级联k个CasNet子网络，构成嵌套级联网络PCasNet，以减小对θ增量的估计误差；
其中，步骤2.1中所述经初始化的时序变量θ，对于嵌套级联网络PCasNet中的第一个CasNet子网络，初始化时序变量θ的具体操作为，已知时序变量θ在时段T内的增量，将该增量划分为n段，得到n个时长为t的增量，这n段增量通过逐步累积的方式得到每隔时长t处的时序变量θ的值；对于嵌套级联网络PCasNet中的第2～k个CasNet子网络，初始化时序变量θ的具体操作为，将前一个CasNet子网络得到的n段增量通过逐步累积的方式得到每隔时长t处的时序变量θ的值；
基于θ-增量学习的嵌套级联网络PCasNet中，对于每一个CasNet子网络，n个循环神经网络单元共享网络参数；
步骤2.3：根据k个CasNet子网络对于时序变量θ增量的估计值集合和其相应的真实值集合[ΔY1',ΔY2',…,ΔYk']之间的误差，对步骤2.2构建的嵌套级联网络PCasNet进行训练，即利用最优化算法及深度监督的方式对嵌套级联网络PCasNet的参数进行更新；
步骤2.4：在实际导航应用过程中，采用步骤2.3训练好的基于θ-增量学习的嵌套级联网络PCasNet对时序变量θ的增量进行估计；具体地，首先利用训练好的嵌套级联网络PCasNet执行初始化操作，然后利用第k个CasNet子网络的循环神经网络单元执行对时序变量θ在时段t内的增量估计。
在实际导航应用中，时序变量θ是时间的二次积分量时，则θ在第j个时间步的估计值Yj'为第j-1个时间步的值Yj'-1与通过步骤2.1～2.4估计所得θ在第j个时间步的增量的总和，即步骤2.1～2.4中，所述时序变量θ指运动目标的位置变量。
作为优选，所述位置数据为运动目标的3自由度位置数据，所述姿态数据为运动目标的3自由度姿态角数据(Pitch,Yaw,Roll)，所述惯性数据包括运动目标的加速度和角速度，所述θ指表征运动目标运动状态的时序变量，即运动目标的位置变量或姿态变量。
与现有技术相比，本发明具有以下创新及优势：
1.本发明采用惯性导航辅助视觉导航，该视觉-惯性融合导航方式能够弥补视觉导航存在遮挡问题的缺陷，具有较强的稳定性；
2.本发明提出了基于级联网络的θ-增量学习方法实现视觉-惯性导航融合，该θ-增量学习方法能够以比视觉导航频率高n倍的效率实现运动目标位置数据和姿态数据的估计，并同时保持较高的导航精度；
3.本发明的视觉-惯性融合导航系统，有色标记点嵌在运动目标上，视觉导航能获取精确的位置数据；惯性采集单元采集惯性数据，惯性控制单元中的高精度数字运动处理器能获取精确的姿态数据，整个装置具有良好的实用性能。
附图说明
图1为本发明实施例中基于级联网络的θ-增量学习方法示意图；
图2为本发明实施例中用于姿态数据增量估计的级联网络OCasNet示意图；
图3为本发明实施例中用于位置数据增量估计的嵌套级联网络PCasNet示意图；
图4为本发明实施例中集惯性采集单元与有色标记点为一体的运动目标示意图；
图5为本发明实施例中基于θ-增量学习的视觉-惯性融合导航方法应用于磁悬浮视触觉交互示意图；
图6为本发明实施例中基于θ-增量学习的视觉-惯性融合在线导航流程图；
图7为本发明实施例中利用级联网络OCasNet得到的姿态数据预测值与其真实值的对比示意图；
图8为本发明实施例中基于不同初始化操作的嵌套级联网络PCasNet得到的位置数据平均绝对误差对比示意图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
针对现有导航方法难以同时实现高精度、高频率、强稳定性及低成本目标的难题，考虑到视觉导航与惯性导航优势互补，本发明公开了一种新颖的视觉-惯性融合导航系统，该系统采用高精度的视觉导航作为主要导航方式，具有较高采样频率的惯性采集单元作为辅助，用于弥补视觉导航频率低的缺陷。同时，惯性采集单元嵌入到运动目标上，具有不易受外界干扰、稳定好的优势，以弥补视觉导航存在遮挡问题的缺陷。
进一步地，本发明将视觉-惯性融合导航问题定义为回归问题，惯性采集单元获取的惯性数据作为输入，视觉导航获取的位置数据以及惯性控制单元中的高精度数字运动处理器获取的姿态数据作为输出，建立惯性数据与位置数据和姿态数据的时序预测模型，即视觉-惯性融合导航预测模型，该预测模型采用一种新颖的深度学习方法实现对运动目标运动状态的快速、精确估计。此处，位置数据为运动目标的3自由度位置数据，姿态数据为运动目标的3自由度姿态角数据(Pitch,Yaw,Roll)，惯性数据包括运动目标的加速度和角速度，θ指表征运动目标运动状态的时序变量，即运动目标的位置变量或姿态变量。
本发明提供的一种基于θ-增量学习的视觉-惯性融合导航系统，包括视觉导航模块、惯性导航模块、AI服务器；
视觉导航模块，包括双目摄像头和视觉控制单元；双目摄像头，其设置位置需要确保双目摄像头的视野足以覆盖运动目标的运动空间，以便稳定地跟踪运动目标上的有色标记点；视觉控制单元设置于视觉-惯性融合导航系统的控制器内，用于获取运动目标的位置数据；
惯性导航模块，包括惯性采集单元和惯性控制单元；惯性采集单元固定设置于运动目标上(惯性采集单元原理上需要固定在运动目标上，可以根据应用需求固定于运动目标的顶部、中间、尾部等位置。本实施例根据磁悬浮视触觉交互的需求，将惯性采集单元固定于运动目标的尾部)，用于获取运动目标的惯性数据；惯性控制单元设置于视觉-惯性融合导航系统的控制器内，惯性控制单元中的高精度数字运动处理器用于获取运动目标的姿态数据；
AI服务器，根据是否获取到惯性数据、位置数据及姿态数据，对位置数据和姿态数据的增量进行估计，并对运动目标的位置数据和姿态数据进行更新，实现对运动目标的快速、精确导航。
本发明提供的一种基于θ-增量学习的视觉-惯性融合导航方法，其特征在于，包括以下步骤：
步骤1：构建用于姿态数据增量估计的级联网络OCasNet；
为了解决视觉-惯性融合导航预测模型的输入和输出频率不同的难题，本发明提出了基于级联网络的θ-增量学习方法，用于θ-增量学习的级联网络的构建，具体实现包括以下子步骤：
步骤1.1：定义用于估计时序变量θ的输入变量为X＝(x1,x2,…,xN)，xi(i∈[1,N])为惯性采集单元在一个时间序列的时间步i∈[1,N]处获取的运动目标的加速度与角速度；定义与X相应的标签为ΔY，ΔY为时序变量θ在时段T内的总增量；
其中，N是输入变量X所包含时间步的数目；T＝nt，即T是t的n倍，也即输入变量X的频率是标签频率的n倍，t是每一个时间步的时长，n＞1；
步骤1.2：根据步骤1.1的定义，构建用于θ-增量学习的级联网络，该级联网络是OCasNet和PCasNet的组成单元，此处将该级联网络记为CasNet子网络，如图1所示，CasNet子网络级联n个循环神经网络单元，本实施例中采用长短时记忆网络(Long Short-TermMemory，LSTM)作为CasNet子网络的循环神经网络单元；
用于θ-增量学习的CasNet子网络中，第j(j∈[1,n])个循环神经网络单元用于估计时序变量θ在第j个时间步的增量则CasNet子网络估计的时序变量θ在时段T内的总增量为：
用于θ-增量学习的CasNet子网络中，n个循环神经网络单元共享网络参数，步骤1.1中定义的X为CasNet子网络的输入，ΔY为CasNet子网络的标签，则第j(j∈[1,n])个循环神经网络单元的输入Xj为：
Xj＝[xj,xj+1,…,xm+j-1] (2)
其中，m为作为时序序列输入的Xj所包含时间步的数目。
步骤1.3：根据时序变量θ的估计值和其真实值ΔY之间的误差，对步骤1.2构建的CasNet子网络进行训练，本实施例中利用Adam最优化算法对CasNet子网络的参数进行更新
步骤1.4：在实际导航应用过程中，采用步骤1.3训练好的CasNet子网络对时序变量θ的增量进行快速、精确地估计。由于CasNet子网络中的n个循环神经网络单元共享网络参数，并且这n个循环神经网络单元均用于模拟时序变量θ在一个时间步t内的增量。因此，利用CasNet子网络中的一个循环神经网络单元即可实现对时序变量θ在时段t内的增量估计。
在本实施例基于视觉-惯性融合导航的磁悬浮视触觉增强感知的应用中，需要估计的姿态数据是时间的一次积分量，根据上述基于级联网络的θ-增量学习方法构建用于姿态数据增量估计的级联网络OCasNet。值得注意地是，级联网络OCasNet的构建过程与CasNet子网络的构建过程完全相同，即步骤1.1～1.4。如图2所示，在级联网络OCasNet中，第j(j∈[1,n])个LSTM单元的输入为
其中，m为作为输入时序序列所包含时间步的数目。姿态数据在第j个时间步的增量估计值为则OCasNet估计的姿态数据在时段T内的总增量为：
在第j个时间步的姿态数据估计值Oj为第j-1个时间步的值Oj-1与OCasNet估计所得姿态数据在第j个时间步的增量的总和，即
由于基于θ-增量学习的OCasNet能估计姿态数据在时段t内的增量，t是T的1/n(n＞1)。因此，构建的OCasNet能够提高视觉-惯性融合导航系统中的姿态数据估计频率。
步骤2：构建用于位置增量估计的嵌套级联网络PCasNet；
在本实施例基于视觉-惯性融合导航的磁悬浮视触觉增强感知的应用中，需要估计的位置数据是时间的二次积分量，采用基于级联网络的θ-增量学习方法对位置数据的增量进行估计，具体包括以下子步骤：
步骤2.1：对位置数据进行初始化，初始化后的位置数据与惯性采集单获取的运动目标的加速度、角速度一并作为输入；
其中，经初始化的位置数据，指已知位置数据在时段T内的增量，将该增量以某种初始化方式划分为n段，每一段的时长为t。本实施例中，采用匀速、匀加速、随机三种初始化方式对位置进行初始化。
步骤2.2：构建基于θ-增量学习的嵌套级联网络PCasNet，如图3所示，该嵌套级联网络首先级联n个LSTM单元，构成CasNet子网络，用于实现对时段t内位置增量的估计，然后级联k个然后级联k个CasNet子网络，构成嵌套级联网络PCasNet，以减小对θ增量的估计误差；
对于每一个CasNet子网络，定义位置数据在第j个时间步的增量估计值为则PCasNet估计的位置数据在时段T内的总增量为：
已知位置数据在第一个时段T内的增量将划分为n段，得到则第j(j∈[1,n])段处位置数据的初始化值为其中为初始化阶段初始时刻的位置数据。同理，第l(l∈[1,k])个时段T内，第j(j∈[1,n])段处位置初始化值且则第l(l∈[1,k])个CasNet子网络的输入为
其中，代表连接操作。
步骤2.3：利用Adam最优化算法及深度监督的方式对PCasNet的参数进行更新。
步骤2.4：首先利用训练好的PCasNet执行初始化操作，然后利用第k个CasNet子网络的共享LSTM单元估计位置数据的增量。
由于基于θ-增量学习的PCasNet能估计位置数据在时段t内的增量，t是T的1/n(n＞1)。因此，构建的PCasNet能够提高视觉-惯性融合导航中的位置数据估计频率。
步骤3：使用惯性采集单元，获取运动目标的惯性数据，包括加速度和角速度数据；与此同时，通过视觉导航模块获取运动目标的位置数据，惯性控制单元中的高精度数字运动处理器获取运动目标的姿态数据；
步骤4：对步骤3中获取的惯性数据、位置数据和姿态数据执行格式化与归一化预处理，预处理后的惯性数据作为输入，位置数据和姿态数据作为标签完成OCasNet和PCasNet的线下训练；
步骤5：设置运动目标的初始位置和姿态，惯性采集单元实时获取运动目标的惯性数据，同时视觉导航模块获取运动目标的位置数据，惯性控制单元中的高精度数字运动处理器获取运动目标的姿态数据，上述数据实时发送给AI服务器；
步骤6：位置数据和姿态数据的增量估计；
a)若未收到姿态数据的真实值，AI服务器对惯性数据进行格式化和归一化，并利用步骤4中训练完成的OCasNet估计姿态数据的增量；
b)若未收到位置数据的真实值，AI服务器对惯性数据及位置数据进行格式化和归一化，并利用步骤4中训练完成的PCasNet估计位置数据的增量；
步骤7：位置数据和姿态数据的更新；
a)若收到位置数据和姿态数据的真实值，则采用该真实值对运动目标当前时刻的位置数据和姿态数据进行更新；
b)若未收到位置数据和姿态数据的真实值，则将运动目标前一时刻的位置数据和姿态数据加上步骤6中估计的增量，对运动目标当前时刻的位置数据和姿态数据进行更新。
本发明采用高精度的视觉导航作为主要导航方式，具有较高采样频率的惯性导航作为辅助，用于弥补视觉导航频率低的缺陷。同时，惯性采集单元嵌入在运动目标上，具有不易受外界干扰、稳定好的优势，以弥补视觉导航存在遮挡问题的缺陷。
本发明将视觉-惯性融合导航问题定义为回归问题，惯性采集单元获取的惯性数据作为输入，视觉导航获取的位置数据以及惯性控制单元中的高精度数字运动处理器获取的姿态数据作为输出，建立惯性数据与位置数据和姿态数据的时序预测模型，即视觉-惯性融合导航预测模型，该预测模型采用一种新颖的深度学习方法实现对运动目标运动状态的快速、精确估计。
为了验证本发明提出的基于θ-增量学习的视觉-惯性融合导航系统及方法的性能，本实施例设计了一个集惯性采集单元2与有色标记点3为一体的运动目标1，如图4所示，该运动目标的前端嵌入一枚小磁体4，用于磁悬浮触觉交互。如图5所示，本实施例将基于θ-增量学习的视觉-惯性融合导航方法用于磁悬浮视触觉交互。整个磁悬浮视触觉交互系统包括：视觉-惯性融合导航模块、磁悬浮触觉接口、AI服务器以及可视化模块。其中，在视觉-惯性融合导航模块中，2个惯性采集单元MPU6050被固连在运动目标1的尾端，其中一个MPU6050用于采集运动目标1加速度和角速度数据作为OCasNet和PCasNet的输入，另一个MPU6050采集的加速度和角速度数据通过惯性控制单元中的高精度数字运动处理器计算运动目标的姿态数据提供姿态数据的真实值。此外，双目摄像头捕获的图像数据通过视觉控制单元得到位置数据的真实值。经时间同步的各类数据通过路由器实时发送到AI服务器上，AI服务器通过本发明提出的基于θ-增量学习的视觉-惯性融合导航方法估计运动目标的位置数据和姿态数据，并根据该位置数据和姿态数据计算虚拟心脏形变量以及线圈阵列各线圈需要加载的电流大小和方向。随后，可视化模块实时显示虚拟心脏形变效果，与此同时，线圈驱动模块实时精确调节线圈阵列中各线圈的电流，使得空间中产生磁场，用户通过操作运动目标1感受到反馈力。
如图6所示，本实施例中基于θ-增量学习的视觉-惯性融合导航方法，在磁悬浮视触觉交互应用中包含以下流程：首先设置运动目标1的初始位置和姿态，惯性采集单元2实时获取运动目标1的惯性数据，与此同时视觉导航模块获取运动目标1的位置数据，惯性控制单元中的高精度数字运动处理器获取运动目标的姿态数据，上述数据实时发送到AI服务器上；接着进行位置数据和姿态数据增量估计，若未收到姿态数据的真实值，AI服务器对惯性数据进行格式化和归一化，并利用OCasNet估计姿态数据的增量，若未收到位置数据的真实值，AI服务器对惯性数据及经初始化的位置数据进行格式化和归一化，并利用PCasNet估计位置数据的增量；然后执行位置数据和姿态数据更新，若收到位置数据和姿态数据的真实值，则采用该真实值对运动目标当前时刻的位置数据和姿态数据进行更新，若未收到位姿数据的真实值，则将前一时刻的位置数据和姿态数据加上估计的增量，对运动目标当前时刻位置数据和姿态数据进行更新。
在本实施例的测试阶段，首先采用以上描述的磁悬浮视触觉交互系统执行心脏变形交互，并采集30000组数据，每一组数据包括加速度和角速率，以及相应的位置数据和姿态数据，上述数据的采样频率分别为200Hz，20Hz和100Hz。然后，将采集的数据分成训练集，验证集和测试集，比例为8：1：1。使用训练集训练OCasNet和PCasNet。最后，在测试集上对OCasNet和PCasNet的性能进行评估。
为了验证OCasNet的性能，训练了5个OCasNet模型，频率的增长率(ratio)分别为2,4,6,8和10。表1展示了不同ratio下的OCasNet模型所得姿态数据(Pitch，Roll和Yaw)预测值和真实值之间的平均绝对误差(MAE)(单位：度)。
表1
姿态角 ratio＝2 ratio＝4 ratio＝6 ratio＝8 ratio＝10
Pitch 0.0086 0.0115 0.0136 0.0166 0.0198
Roll 0.0092 0.0113 0.0143 0.0173 0.0200
Yaw 0.0050 0.0060 0.0072 0.0080 0.0105
从表1可以看出，虽然姿态数据的预测值和真实值之间的MAE随着ratio的增加而增大，但其平均绝对误差的最大值小于0.02度。此外，图7显示了ratio＝10(即姿态数据的估计频率提高10倍)时姿态数据的预测值与真实值的对比图，可以看出，姿态数据的预测值与真实值非常接近。
然后，使用三种不同的初始化方法(匀速初始化-u，匀加速初始化-ua和随机初始化-r)训练了3个包含10个CasNet子网络的PCasNet模型，即PCasNet对位置数据的估计频率为200Hz。3个PCasNet模型得到的位置数据预测值与真实值之间的平均绝对误差(MAE)(单位：mm)如图8所示，可以看出，对于3自由度位置数据(x,y,z)的每一个分量，三种初始化方法得到的平均绝对误差非常接近，证明PCasNet具有鲁棒性。此外，3个PCasNet模型的3自由度平均绝对误差均小于1mm。
综上所述，本发明将视觉-惯性融合导航问题定义为回归问题，并提出了基于级联网络的θ-增量学习方法，逐步学习时序变量θ的增量，随后，构建了OCasNet和PCasNet，分别估计位置数据和姿态数据的增量，以完成视觉-惯性融合导航。此外，实施例将本发明提出的视觉-惯性融合导航方法应用于基于磁悬浮的视触觉交互系统中，实验结果表明，本发明在保持高精度(位置和方向的平均绝对误差小于1mm和0.02°)的同时，能达到200Hz的导航频率。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (7)

1.一种基于θ-增量学习的视觉-惯性融合导航系统，其特征在于：包括视觉导航模块、惯性导航模块、AI服务器；
所述视觉导航模块，包括双目摄像头和视觉控制单元；双目摄像头，其设置位置需要确保双目摄像头的视野足以覆盖运动目标的运动空间，以便稳定地跟踪运动目标上的有色标记点；视觉控制单元设置于视觉-惯性融合导航系统的控制器内，用于获取运动目标的位置数据；
所述惯性导航模块，包括惯性采集单元和惯性控制单元；惯性采集单元固定设置于运动目标上，用于获取运动目标的惯性数据；惯性控制单元设置于视觉-惯性融合导航系统的控制器内，惯性控制单元中的高精度数字运动处理器用于获取运动目标的姿态数据；
所述AI服务器，根据是否获取到惯性数据、位置数据及姿态数据，对位置数据和姿态数据的增量进行估计，并对运动目标的位置数据和姿态数据进行更新，实现对运动目标的快速、精确导航。
2.一种基于θ-增量学习的视觉-惯性融合导航方法，其特征在于，包括以下步骤：
步骤1：构建用于姿态数据增量估计的级联网络OCasNet；
步骤2：构建用于位置数据增量估计的嵌套级联网络PCasNet；
步骤3：使用惯性采集单元，获取运动目标的惯性数据，包括加速度和角速度数据；与此同时，使用视觉导航模块获取运动目标的位置数据，惯性控制单元中的高精度数字运动处理器获取运动目标的姿态数据；
步骤4：对步骤3中获取的惯性数据、位置数据和姿态数据执行格式化与归一化预处理，预处理后的惯性数据作为输入，位置数据和姿态数据作为标签完成OCasNet和PCasNet的线下训练；
步骤5：设置运动目标的初始位置和姿态，惯性采集单元实时获取运动目标的惯性数据，同时视觉导航模块获取运动目标的位置数据，惯性控制单元中的高精度数字运动处理器获取运动目标的姿态数据，上述数据实时发送给AI服务器；
步骤6：位置数据和姿态数据的增量估计；
a)若未收到姿态数据的真实值，AI服务器对惯性数据进行格式化和归一化，并利用步骤4中训练完成的OCasNet估计姿态数据的增量；
b)若未收到位置数据的真实值，AI服务器对惯性数据及位置数据进行格式化和归一化，并利用步骤4中训练完成的PCasNet估计位置数据的增量；
步骤7：位置数据和姿态数据的更新；
a)若收到位置数据和姿态数据的真实值，则采用该真实值对运动目标当前时刻的位置数据和姿态数据进行更新；
b)若未收到位置数据和姿态数据的真实值，则将运动目标前一时刻的位置数据和姿态数据加上步骤6中估计的增量，对运动目标当前时刻的位置数据和姿态数据进行更新。
3.根据权利要求2所述的基于θ-增量学习的视觉-惯性融合导航方法，其特征在于，步骤1的具体实现包括以下子步骤：
步骤1.1：定义用于估计时序变量θ的输入变量为X＝(x1,x2,…,xN)，xi(i∈[1,N])为惯性采集单元在一个时间序列的时间步i∈[1,N]处获取的运动目标的加速度与角速度；定义与X相应的标签为ΔY，ΔY为时序变量θ在时段T内的总增量；所述时序变量θ指运动目标的姿态变量；
其中，N是输入变量X所包含时间步的数目；T＝nt，即T是t的n倍，也即输入变量X的频率是标签频率的n倍，t是每一个时间步的时长，n＞1；
步骤1.2：根据步骤1.1的定义，构建基于θ-增量学习的级联网络OCasNet，用于姿态数据的增量估计，OCasNet级联n个循环神经网络单元；
其中，基于θ-增量学习的级联网络OCasNet中，n个循环神经网络单元共享网络参数，步骤1.1中定义的X为OCasNet的输入，ΔY为OCasNet的标签；
步骤1.3：根据时序变量θ的估计值和其真实值ΔY之间的误差，对步骤1.2构建的级联网络OCasNet进行训练，即利用最优化算法对级联网络OCasNet的参数进行更新；
步骤1.4：在实际导航应用过程中，采用步骤1.3训练完成的基于θ-增量学习的级联网络OCasNet对时序变量θ的增量进行估计。
4.根据权利要求3所述的基于θ-增量学习的视觉-惯性融合导航方法，其特征在于：步骤1.4中，在实际导航应用中，时序变量θ是时间的一次积分量时，则θ在第j个时间步的估计值Yj为第j-1个时间步的值Yj-1与通过步骤1.1～1.4估计所得θ在第j个时间步的增量的总和，即
5.根据权利要求2所述的基于θ-增量学习的视觉-惯性融合导航方法，其特征在于，步骤2的具体实现包括以下子步骤：
步骤2.1：定义用于估计时序变量θ的输入变量为X'＝(x′1,x′2,…,x′N)，x′i(i∈[1,N])为惯性采集单元在一个时间序列的时间步i∈[1,N]处获取的运动目标的加速度、角速度以及经初始化的时序变量θ；定义与X'相应的标签为ΔY'，ΔY'为时序变量θ在时段T内的总增量；所述时序变量θ指运动目标的位置变量；
步骤2.2：构建基于θ-增量学习的嵌套级联网络PCasNet，用于位置数据的增量估计；具体地，首先级联n个循环神经网络单元，构成CasNet子网络，用于实现对时段t内时序变量θ增量的估计，然后级联k个CasNet子网络，构成嵌套级联网络PCasNet，以减小对θ增量的估计误差；
其中，步骤2.1中所述经初始化的时序变量θ，对于嵌套级联网络PCasNet中的第一个CasNet子网络，初始化时序变量θ的具体操作为，已知时序变量θ在时段T内的增量，将该增量划分为n段，得到n个时长为t的增量，这n段增量通过逐步累积的方式得到每隔时长t处的时序变量θ的值；对于嵌套级联网络PCasNet中的第2～k个CasNet子网络，初始化时序变量θ的具体操作为，将前一个CasNet子网络得到的n段增量通过逐步累积的方式得到每隔时长t处的时序变量θ的值；
基于θ-增量学习的嵌套级联网络PCasNet中，对于每一个CasNet子网络，n个循环神经网络单元共享网络参数；
步骤2.3：根据k个CasNet子网络对于时序变量θ增量的估计值集合和其相应的真实值集合[ΔY′1,ΔY′2,…,ΔY′k]之间的误差，对步骤2.2构建的嵌套级联网络PCasNet进行训练，即利用最优化算法及深度监督的方式对嵌套级联网络PCasNet的参数进行更新；
步骤2.4：在实际导航应用过程中，采用步骤2.3训练好的基于θ-增量学习的嵌套级联网络PCasNet对时序变量θ的增量进行估计；具体地，首先利用训练好的嵌套级联网络PCasNet执行初始化操作，然后利用第k个CasNet子网络的循环神经网络单元执行对时序变量θ在时段t内的增量估计。
6.根据权利要求5所述的基于θ-增量学习的视觉-惯性融合导航方法，其特征在于：步骤2.4中，在实际导航应用中，时序变量θ是时间的二次积分量时，则θ在第j个时间步的估计值Y′j为第j-1个时间步的值Y′j-1与通过步骤2.1～2.4估计所得θ在第j个时间步的增量的总和，即
7.根据权利要求2-6任意一项所述的基于θ-增量学习的视觉-惯性融合导航方法，其特征在于：所述位置数据为运动目标的3自由度位置数据，所述姿态数据为运动目标的3自由度姿态角数据(Pitch,Yaw,Roll)，所述惯性数据包括运动目标的加速度和角速度，所述θ指表征运动目标运动状态的时序变量，即运动目标的位置变量或姿态变量。
CN201910020225.6A 2019-01-09 2019-01-09 一种基于θ-增量学习的视觉-惯性融合导航系统及方法 Active CN109655059B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910020225.6A CN109655059B (zh) 2019-01-09 2019-01-09 一种基于θ-增量学习的视觉-惯性融合导航系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910020225.6A CN109655059B (zh) 2019-01-09 2019-01-09 一种基于θ-增量学习的视觉-惯性融合导航系统及方法

Publications (2)

Publication Number Publication Date
CN109655059A true CN109655059A (zh) 2019-04-19
CN109655059B CN109655059B (zh) 2022-05-13

Family

ID=66119220

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910020225.6A Active CN109655059B (zh) 2019-01-09 2019-01-09 一种基于θ-增量学习的视觉-惯性融合导航系统及方法

Country Status (1)

Country Link
CN (1) CN109655059B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110631592A (zh) * 2019-10-28 2019-12-31 华南理工大学 基于lstm模型的室内自主导航agv运动轨迹融合方法
CN112181135A (zh) * 2020-08-31 2021-01-05 南京信息工程大学 一种基于增强现实的6-dof视触觉交互方法
CN113776537A (zh) * 2021-09-07 2021-12-10 山东大学 无标记复杂场景中的去中心化多智能体导航方法及系统
CN114719848A (zh) * 2022-01-25 2022-07-08 西安微电子技术研究所 基于视觉与惯性导航信息融合神经网络的无人机高度估算方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110222724A1 (en) * 2010-03-15 2011-09-15 Nec Laboratories America, Inc. Systems and methods for determining personal characteristics
CN104833352A (zh) * 2015-01-29 2015-08-12 西北工业大学 多介质复杂环境下高精度视觉/惯性组合导航方法
CN105116881A (zh) * 2015-06-26 2015-12-02 武汉科技大学 一种基于在线学习机制的轮式机器人自适应导航方法
US20160082597A1 (en) * 2013-05-22 2016-03-24 Neurala, Inc. Methods and apparatus for early sensory integration and robust acquisition of real world knowledge
CN107504969A (zh) * 2017-07-24 2017-12-22 哈尔滨理工大学 基于视觉和惯性组合的四旋翼室内导航方法
CN108599658A (zh) * 2018-05-03 2018-09-28 杭州瑞拉腾电气科技有限公司 一种同步磁阻电机的位置传感器的零位自学习方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110222724A1 (en) * 2010-03-15 2011-09-15 Nec Laboratories America, Inc. Systems and methods for determining personal characteristics
US20160082597A1 (en) * 2013-05-22 2016-03-24 Neurala, Inc. Methods and apparatus for early sensory integration and robust acquisition of real world knowledge
CN104833352A (zh) * 2015-01-29 2015-08-12 西北工业大学 多介质复杂环境下高精度视觉/惯性组合导航方法
CN105116881A (zh) * 2015-06-26 2015-12-02 武汉科技大学 一种基于在线学习机制的轮式机器人自适应导航方法
CN107504969A (zh) * 2017-07-24 2017-12-22 哈尔滨理工大学 基于视觉和惯性组合的四旋翼室内导航方法
CN108599658A (zh) * 2018-05-03 2018-09-28 杭州瑞拉腾电气科技有限公司 一种同步磁阻电机的位置传感器的零位自学习方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
RAMBACH J R等: "Learning to fuse: A deep learning approach to visual-inertial camera pose estimation", 《2016 IEEE INTERNATIONAL SYMPOSIUM ON MIXED AND AUGMENTED REALITY (ISMAR)》 *
WONG C 等: "Markerless motion capture using appearance and inertial data", 《2014 36TH ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE ENGINEERING IN MEDICINE AND BIOLOGY SOCIETY》 *
亚森江·木沙: "基于在线单目标视觉跟踪框架的观测模型建模算法研究", 《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》 *
张潇: "基于RatSLAM的微惯性/视觉仿生导航算法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110631592A (zh) * 2019-10-28 2019-12-31 华南理工大学 基于lstm模型的室内自主导航agv运动轨迹融合方法
CN110631592B (zh) * 2019-10-28 2022-03-29 华南理工大学 基于lstm模型的室内自主导航agv运动轨迹融合方法
CN112181135A (zh) * 2020-08-31 2021-01-05 南京信息工程大学 一种基于增强现实的6-dof视触觉交互方法
CN112181135B (zh) * 2020-08-31 2023-05-09 南京信息工程大学 一种基于增强现实的6-dof视触觉交互方法
CN113776537A (zh) * 2021-09-07 2021-12-10 山东大学 无标记复杂场景中的去中心化多智能体导航方法及系统
CN113776537B (zh) * 2021-09-07 2024-01-19 山东大学 无标记复杂场景中的去中心化多智能体导航方法及系统
CN114719848A (zh) * 2022-01-25 2022-07-08 西安微电子技术研究所 基于视觉与惯性导航信息融合神经网络的无人机高度估算方法
CN114719848B (zh) * 2022-01-25 2024-05-03 西安微电子技术研究所 基于视觉与惯性导航信息融合神经网络的无人机高度估算方法

Also Published As

Publication number Publication date
CN109655059B (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
CN109029433B (zh) 一种移动平台上基于视觉和惯导融合slam的标定外参和时序的方法
CN109211241B (zh) 基于视觉slam的无人机自主定位方法
CN109655059A (zh) 一种基于θ-增量学习的视觉-惯性融合导航系统及方法
CN104236548B (zh) 一种微型无人机室内自主导航方法
CN110243358A (zh) 多源融合的无人车室内外定位方法及系统
Weiss et al. Real-time onboard visual-inertial state estimation and self-calibration of MAVs in unknown environments
CN112197770B (zh) 一种机器人的定位方法及其定位装置
CN112649016A (zh) 一种基于点线初始化的视觉惯性里程计方法
CN109885080A (zh) 自主控制系统及自主控制方法
CN108490433A (zh) 基于序贯滤波的空时偏差联合估计与补偿方法及系统
CN109029448A (zh) 单目视觉惯性定位的imu辅助跟踪模型
CN110455301A (zh) 一种基于惯性测量单元的动态场景slam方法
CN111288989A (zh) 一种小型无人机视觉定位方法
CN116182837A (zh) 基于视觉激光雷达惯性紧耦合的定位建图方法
Lippiello et al. 3D monocular robotic ball catching
Li et al. A binocular MSCKF-based visual inertial odometry system using LK optical flow
Doitsidis et al. 3d surveillance coverage using maps extracted by a monocular slam algorithm
CN112731503B (zh) 一种基于前端紧耦合的位姿估计方法及系统
CN112945233A (zh) 一种全局无漂移的自主机器人同时定位与地图构建方法
Tong et al. Cascade-LSTM-based visual-inertial navigation for magnetic levitation haptic interaction
Kehoe et al. Partial aircraft state estimation from optical flow using non-model-based optimization
Guan et al. A new integrated navigation system for the indoor unmanned aerial vehicles (UAVs) based on the neural network predictive compensation
Cao et al. Visual-Inertial-Laser SLAM Based on ORB-SLAM3
Zhang et al. An improved MCS/INS integrated navigation algorithm for multi-rotor UAV in indoor flight
Luo et al. A visual-inertial navigation method for high-speed unmanned aerial vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant