CN111566444A - 确定移动设备的位置 - Google Patents

确定移动设备的位置 Download PDF

Info

Publication number
CN111566444A
CN111566444A CN201980007844.XA CN201980007844A CN111566444A CN 111566444 A CN111566444 A CN 111566444A CN 201980007844 A CN201980007844 A CN 201980007844A CN 111566444 A CN111566444 A CN 111566444A
Authority
CN
China
Prior art keywords
pseudo
window
data
mobile device
inertial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980007844.XA
Other languages
English (en)
Inventor
陈昶昊
罗纳德·克拉克
安德鲁·马卡姆
阿加索尼基·特里戈尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oxford University Innovation Ltd
Original Assignee
Oxford University Innovation Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oxford University Innovation Ltd filed Critical Oxford University Innovation Ltd
Publication of CN111566444A publication Critical patent/CN111566444A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/183—Compensation of inertial measurements, e.g. for temperature effects
    • G01C21/185—Compensation of inertial measurements, e.g. for temperature effects for gravity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C19/00—Gyroscopes; Turn-sensitive devices using vibrating masses; Turn-sensitive devices without moving masses; Measuring angular rate using gyroscopic effects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C22/00—Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
    • G01C22/006—Pedometers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/02—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of inertia forces using solid seismic masses
    • G01P15/08—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of inertia forces using solid seismic masses with conversion into electric or magnetic values

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)

Abstract

一种确定移动设备位置的计算机实施方法，该方法包括接收由所述移动设备产生的惯性数据，所述惯性数据包括至少两个在不同时间采集的样本，将所述惯性数据分割为伪独立窗口，其中每个伪独立窗口包括至少两个所述样本，以及每个伪独立窗口的一个或以上初始状态被视为未知，使用惯性数据样本预估每个伪独立窗口上导航状态的变化，并对所述伪独立窗口上导航状态的所述变化求和，以确定所述移动设备的位置。

Description

确定移动设备的位置
技术领域
本发明涉及一种确定移动设备位置的方法和系统，更具体地，涉及一种从惯性数据确定位置的方法。特别地，该方法和系统可以允许从惯性数据更精确地确定位置，特别是当该数据由移动电话中经常使用的低质量传感器(例如惯性传感器)提供时。
背景技术
快速准确的定位，例如室内定位，适用于许多个人应用，包括智能零售、公共场所导航、人机交互和增强现实。室内定位的一种有前途的方法是使用惯性传感器进行轨迹推算。由于其移动性和灵活性，引起了学术界和产业界的极大关注(Lymberopoulos等，2015年，讨论见下文)。
MEMS(微电子机械系统)传感器的最新进展使得惯性测量单元(IMU)体积小，价格便宜，可以部署在智能手机上。然而，智能手机上的低成本惯性传感器受到高传感器噪音的困扰，导致无限的系统漂移。
传统捷联惯性导航系统(SINS)基于牛顿力学，直接集成了IMU测量数据。由于计算中会出现指数误差传播，因此此类系统很难用精度受限的IMU成功实施(例如从集成)。
为了解决这些问题，提出了基于步进的行人航迹推算(PDR)。
PDR通过检测步数、预估步长、航向、以及更新每步位置来预估轨迹(Li,F.；Zhao,C.；Ding,G.；Gong,J.；Liu,C.；and Zhao,F.2012,“A reliable and accurate indoorlocalization method using phone inertial sensors”,UbiComp 12 421-430)。步长更新不是将加速度双重积分到位置上，而是将指数增长的漂移减轻为线性增加的漂移。但是，动态步长预估在很大程度上受传感器噪音、用户的步行习惯和电话附件变化的影响(例如手持式、口袋式、手提包式)，这会给整个系统造成不可避免的错误(Brajdic,A.,andHarle,R.2013,“Walk detection and step counting on unconstrained smartphones”,Ubicomp 13)。在某些情况下，例如，如果将电话放在婴儿推车或购物推车上，则无法检测到任何步数。在这种情况下，基于步进的PDR所采用的周期性假设被打破了。
因此，SINS和PDR的内在问题阻止了惯性定位在日常生活中的广泛使用。两种现有方法的体系结构分别在图1A和1B中进行了说明。
图1A所示的SINS架构10包括IMU 12。IMU 12具有被配置为提供惯性数据的加速度计12b和陀螺仪12a。惯性数据传递给惯性导航系统14。然后，惯性导航系统14执行多个积分过程，以提供IMU 12的位置、速度和取向的输出16。
捷联惯性导航系统(SINS)已经研究了数十年(avage,P.G.1998,“StrapdownInertial Navigation Integration Algorithm Design Part 1:Attitude Algorithms”,Journal of Guidance,Control,and Dynamics 21(1):19-28)以前的惯性系统严重依赖昂贵、笨重、高精度的惯性测量单元，因此其主要应用仅限于移动车辆，例如汽车、轮船、飞机、潜艇和航天器。MEMS技术的最新进展使得低成本的MEMS IMU可以部署在机器人、UAV(Bloesch,M.；Omari,S.；Hutter,M.；and Siegwart,R.2015,“Robust visual inertialodometry using a direct EKF-based approach”,In IEEE International Conferenceon Intelligent Robots and Systems,volume 2015-Decem,298-304)和移动设备上(Lymberopoulos,D.；Liu,J.；Yang,X.；Choudhury,R.R.；Handziski,V.；and Sen,S.2015,“A Realistic Evaluation and Comparison of Indoor Location Technologies:Experiences and Lessons Learned”,IPSN 2015(Table 1):178-189)。
在理想条件下，传统的捷联惯性导航系统(图1A所示的SINS)可以预估未来所有时间的系统状态。航空和船舶应用中的高精度INS使用高精度传感器来使测量误差保持在很低的水平。他们需要耗时的系统初始化，包括传感器校准和取向初始化。但是，这些要求不适用于行人跟踪和类似的应用。
因此，在低成本的MEMS IMU平台上实现SINS机制存在以下两个问题：
·嵌入在消费者电话中的IMU的测量值会受到各种误差源的破坏，例如比例因子、轴对准误差、热机械白噪音和随机行走噪音(Naser,El-Sheimy；Haiying,H.X.N.2008,“Analysis and Modeling of Inertial Sensors Using Allan Variance”,IEEETRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT 57(JANUARY):684-694)。从姿态更新到位置更新，INS算法实现了从原始数据到位置的三重积分。因此，通过这种开环积分，即使是很小的噪音也会被夸大，有可能导致系统在数秒内崩溃。
·耗时的初始化过程不适合日常使用，尤其是取向初始化。即使很小的取向误差也将导致重力加速度矢量在x轴、y轴上的投影错误。例如，一个1度的姿态误差将会在水平面上造成0.1712m/s2的附加加速度，从而在10秒内导致1.7m/s的速度误差和8.56m的位置误差。
但是，由于尺寸和成本的限制，MEMS IMU的精度受到限制，并且必须与其他传感器集成在一起才能达到可接受的精度，例如视觉惯性里程计(Leutenegger,S.；Lynen,S.；Bosse,M.；Siegwart,R.；and Furgale,P.2015,“Keyframe-based visualinertialOdometry using nonlinear optimization”,The International Journal of RoboticsResearch 34(3):314-334)。
另一种解决方案是将IMU安装到用户的脚上，以利用后跟撞击来进行零速度更新以补偿系统误差漂移(Skog,I.；Handel,P.；Nilsson,J.-0.；and Rantakokko,J.2010,“Zero-velocity detection-an algorithm evaluation”,IEEE transactions on bio-medical engineering 57(11):2657-2666)。这些不便之处阻止了消费类设备的惯性解决方案(Harle 2013-details above)。
图1B所示的PDR架构20包括IMU 22。IMU 22具有至少一个加速度计22b和至少一个陀螺仪22a以提供惯性数据。然后将惯性数据传递到处理器24，该处理器24被配置为检测行进步数并预估航向和步长。可以使用用户步态的个人步进模型。处理器提供位置更新26作为输出。
与SINS的惯性传感器开环积分不同，PDR使用惯性测量来检测步长，通过经验公式预估步长和航向(Shu,Y.；Shin,K.G.；He,T.；and Chen,J.2015,“Last-Mile NavigationUsing Smartphones”,In Proceedings of the 21st Annual International Conferenceon Mobile Computing and Networking,MobiCom,512-524)。由于错误的步距位移分割和错误的步幅预估，系统错误仍然迅速累积。此外，必须根据每个特定用户的步行习惯仔细调整大量参数，以获得可接受的精确度。
最近的研究主要集中在将PDR与外部参考融合在一起，例如平面图(Xiao,Z.；Wen,H.；Markham,A.；and Trigoni,N.2014,“Lightweight map matching for indoorlocalization using conditional random fields”,2014 International Conferenceon Information Processing in Sensor Networks,IPSN 2014 131-142)、WiFi指纹识别(Hilsenbeck,S.；Bobkov,D.；Schroth,G.；Huitl,R.；and Steinbach,E.2014,“Graph-based Data Fusion of Pedometer and WiFi Measurements for Mobile IndoorPositioning”,UbiComp 14 147-158)和磁场(Wang,S.；Wen,H.；Clark,R.；and Trigoni,N.2016,“Keyframe based Large-Scale Indoor Localisation using GeomagneticField and Motion Pattern”,In IEEE/RSJ International Conference on IntelligentRobots and Systems(IROS),1910-1917)，仍未解决根本问题。
发明内容
根据本发明的第一方面，提供了一种确定移动设备位置的计算机实施方法，该方法包括以下步骤中的一个或多个：
(i)接收由移动设备产生的惯性数据，所述惯性数据包括至少两个在不同时间采集的样本；
(ii)将所述惯性数据分割为伪独立窗口，其中每个伪独立窗口包括至少两个样本，以及每个伪独立窗口的一个或以上初始状态被视为未知；
(iii)使用惯性数据样本预估每个伪独立窗口上导航状态的变化；以及
(iv)对所述伪独立窗口上所述导航状态的所述变化求和，以确定所述移动设备的位置。
在一些实施例中，用于预估每个伪独立窗口上导航状态的变化的唯一传感器数据为惯性数据。
在一些实施例中，单独使用所述惯性数据的样本来预估每个伪独立窗口上导航状态的所述变化。在一些实施例中，潜在值或初始状态的值不得在窗口之间传播(即所有现存的初始状态都可以被视为未知)。
在一些实施例中，所述移动设备的重力矢量值和速度中的至少一个或全部，均未被预估，并且不作为所述伪独立窗口的初始状态传播。
在一些实施例中，将所述移动设备的初始位置设置为起点，相对于所述起点定义确定位置。在一些实施例中，将起点与参考点对齐，例如使用全球定位系统(GPS)数据、用户输入等。在一些实施例中，相对位置/轨迹就足够了，不需要全球定位。因此，在许多实施例中，不需要位置的外部输入。
在一些实施例中，设备取向值不被估计并且不被作为所述窗口的初始状态传播。
在一些实施例中，所述被视为未知的一个或以上初始状态可以包括以下中的至少一项：设备主体框架的初始速度状态、设备主体框架的重力矢量、或导航框架的设备姿态(位置和姿态)。被视为未知的一个或以上初始状态可以同时包括设备主体框架的初始速度状态和设备主体框架的重力矢量。
在一些实施例中，对于每个窗口，所述每个伪独立窗口上导航状态的变化的预估操作独立执行，无需每个窗口的先前提供一个或多个初始状态(例如位置、速度)。在一些实施例中，先前窗口的初始速度不会提供给下一个窗口。
在一些实施例中，设备主体框架状态的初始速度和重力矢量可以是未知的，并且可以不作为输入传递到后续窗口。未明确计算设备主体框架状态的所述初始速度和所述重力矢量。
在一些实施例中，诸如利用神经网络或遗传算法的回归器预估所述初始速度和所述重力矢量在潜在特征中的隐式编码表示。所述回归器可以从所述惯性数据中提取所述潜在特征。回归器可以用于了解所述样本的所述惯性数据与所述导航状态的所述变化之间的关系。
在一些实施例中，惯性数据可以包括加速度和陀螺仪数据中的至少一个。
在一些实施例中，导航状态的所述变化可以包括表示当前窗口的水平行进距离的当前位移以及表示所述当前位移与先前窗口的位移之间的角度的变化。
在一些实施例中，该方法可以仅包括一个显示积分器，所述积分器存在于求和步骤中。积分器可以将每个窗口的序列对(位移、角度)或位置变化的其他表示集合为轨迹。
在一些实施例中，每个伪独立窗口可以包括大约200个样本。
在一些实施例中，每秒可以采集约一百个样本(即大约100Hz的数据采样率)。
在一些实施例中，可以采用双向架构获取精选样本的先前样本和后续样本的动态语境，以更新所述精选样本的影响。
在一些实施例中，惯性数据可以包括来自智能手机或其他IMU设备的IMU数据。
在一些实施例中，可以将窗口内每个样本的传感器测量值映射到所述窗口的极坐标位移。所述传感器可以包括一个或多个加速度计和/或陀螺仪。
在一些实施例中，每个伪独立窗口上导航状态的所述变化可以被提供为增量矢量，并且所述增量矢量可以用于求和。
根据本发明的第二方面，提供一种用于确定位置的移动设备，所述移动设备包括以下中的至少一项：惯性测量单元(IMU)，被配置为生成惯性数据，所述惯性数据包括至少两个在不同时间采集的样本；以及处理电路，被配置为生成以下中的至少一项：
所述惯性数据的片段与伪独立窗口相对应(将惯性数据分割为伪独立窗口)，其中每个伪独立窗口包括至少两个样本，以及每个伪独立窗口的一个或以上初始状态被视为未知；
使用惯性数据样本预估每个伪独立窗口上导航状态的变化；以及
对所述伪独立窗上导航状态的所述变化求和，以确定所述移动设备的位置。
在一些实施例中，移动设备可以被配置为执行针对本发明第一方面的任何实施例所述的方法。
例如，用于预估每个伪独立窗口上导航状态的变化的唯一传感器数据可以是惯性数据(不像视觉惯性里程计另外使用来自视觉传感器(如相机)的数据)，还可以单独使用所述惯性数据样本预估每个伪独立窗口上导航状态的所述变化。
在一些实施例中，通过将数据传输到远程处理电路，处理电路可以被配置为执行所述惯性数据的分割、预估和求和的一些或全部处理，使得一些或全部处理可被远程执行。或者，所有处理都可以在移动设备上本地执行。
根据本发明的第三方面，提供了一种包含指令的计算机可读介质，当处理电路读取所述指令时，使得所述处理电路执行本发明第一方面的任何实施例所述的方法。
有利的是，本发明公开的方法可以允许处理一般的跟踪问题，包括基于步进的PDR无法解决的手推车/轮式配置。
有利地，本发明公开的方法还可以通过中断连续误差传播的周期来减少惯性系统漂移。
发明人意识到，惯性跟踪可以重新表述为具有伪独立级的序列学习问题。
代替为基于步进的PDR开发多个模块，本发明公开的方法可以从原始数据中获取连续的轨迹(例如适用于室内用户)而无需进行任何手工操作(例如适应特定用户的步态，例如PDR、手工设计或“调整”参数，例如步长、用于步幅检测的阈值、高度与步幅之间的关系、速度与步幅之间的关系、以及消除动作中真实步态歧义的技巧，例如挥手，这些步态看起来像是精度所要求的步阶。PDR的挑战通常包括IMU未安装在脚上，因此观察到的运动是运动和其他活动的组合)。
通过从牛顿力学派生出基于序列的物理模型，本文发明公开的方法将惯性跟踪问题重铸为序列学习方法。
在不同的附件用户、设备和环境上进行的广泛实验表明，结果可以优于传统的SINS和PDR机制。另外，已经证明，本发明公开的方法可以推广到没有规律的周期性步行的更普遍的运动，例如，用于手推车或其他带轮配置的IMU。
在各种实施例中，神经网络用作实施的一部分。在替代或附加的实施例中，可以使用遗传算法等代替神经网络。
技术人员将理解，如果使用神经网络的替代物，则具有伪独立阶段的序列学习问题方法通常仍然适用。每个阶段(窗口)都被视为独立于之前/之后的窗口。技术人员将理解，可以将一系列IMU读数转换为矢量(例如，极矢量)的任何通用回归，该矢量可以使用位移和增量航向的极矢量表示，这样的矢量可以称为“增量矢量”。发明人测试的回归器包括传统的前馈神经网络(例如一个可同时采集所有样本的卷积神经网络)和循环神经网络(一次采集一个样本)。但是，两个网络都必须在一个窗口上运行以防止漂移累积。可以使用任何通用回归。也可以使用遗传算法或浅回归函数(例如随机森林)或其他类似的回归。遗传算法可用于随机地搜索通用的非线性回归器的参数空间。遗传编程可用于搜索非线性回归器的功能空间，并找到好的映射函数。也可以使用近似贝叶斯计算技术。
发明人相信，本发明详细描述的实施例阐明了第一神经网络(DNN)框架，该框架从原始IMU数据中学习位置变换，并构建惯性里程计，而不考虑IMU附件。在描述的实施例中，框架主要或单独从原始IMU数据中学习位置转换。特别是不需要将惯性数据与可视数据相结合。在描述的实施例中为了方便起见使用了极坐标，但是本领域技术人员应当理解，可以使用替代的坐标系。
最近，序列深度学习方法在处理序列数据方面表现出优异的性能，例如语音识别(Graves,A.,and Jaitly,N.2014,“Towards End-to-End Speech Recognition withRecurrent Neural Networks”,Proceedings of the 31st International Conferenceon Machine Learning(ICML)32(1):17641772)、机器翻译(Dai,A.M.,and Le,Q.V.2015,“Semi-supervised Sequence Learning”,In Advances in Neural InformationProcessing Systems(NIPS 2015),30793087)、视觉追踪(Ondruska,P.,and Posner,I.2016,“Deep Tracking:Seeing Beyond Seeing Using Recurrent Neural Networks”,In Proceedings of the Thirtieth AAAI Conference on Artificial Intelligence(AAAI-16),3361–3367)和视讯描述(Donahue,J.；Hendricks,L.A.；Guadarrama,S.；Rohrbach,M.；Venugopalan,S.；Darrell,T.；and Saenko,K.2015,“Long-term recurrentconvolutional networks for visual recognition and description”,Proceedings ofthe IEEE Computer Society Conference on Computer Vision and PatternRecognition 07-12-June:2625–2634)。然而，在现有技术中尚不知道使用神经网络的框架来实现仅使用惯性数据的惯性里程计。
以前基于学习的工作一直专注于通过实现视觉里程计(Zhou,T.；Brown,M.；Snavely,N.；and Lowe,D.G.2017,“Unsupervised Learning of Depth and Ego-Motionfrom Video”,CVPR 2017)和视觉惯性里程计(Clark,R.；Wang,S.；Wen,H.；Markham,A.；andTrigoni,N.2017,“VINet:Visual-Inertial Odometry as a Sequence-to-SequenceLearning Problem”,AAAI 3995–4001)来解决定位问题。其他一些工作则集中在学习直观物理(Hooman,J.；Roever,W.-p.D.；Pandya,P.；Xu,Q.；Zhou,P.；and Schepers,H.2017,“ACompositional Object-Based Approach to Learning Physical Dynamics”,ICLR 1:155–173)、状态空间模型(Karl,M.；Soelch,M.；Bayer,J.；and van der Smagt,P.2016,“Deep Variational Bayes Filters:Unsupervised Learning of State Space Modelsfrom Raw Data”,Proceedings of the Intuitive Physics Workshop at NIPS 2016(i):2–5)、以及通过物理知识监控神经网络(Stewart,R.,and Ermon,S.2017,“Label-FreeSupervision of Neural Networks with Physics and Domain Knowledge”,AAAI 2017 1(1):1–7.)。尽管大多数现有技术方法使用视觉观察，但是本发明公开的方法利用真实世界的运动测量来学习高级运动，而无需视觉观察。
本领域技术人员将理解，关于一种实施例描述的特征经过必要的变通可以应用到任何其他实施例中。
附图说明
现在仅以举例的方式，参照附图，对本发明的非限制性实施例进行详细描述，其中：
图1A(现有技术)示出了捷联惯性导航系统的架构；
图1B(现有技术)示出了行人航迹推算系统的架构；
图1C示出了适用于现有技术和本发明实施例的沿轨迹移动的移动设备；
图2示出了本发明实施例的基于学习的方法的示意图；
图3示出了本发明实施例的处理框架的示意图；
图4A示出了与现有技术相比，本发明实施例在不同用户测试中的性能，其中移动设备为手持式；
图4B示出了与现有技术相比，本发明实施例在不同用户测试中的性能，其中移动设备为口袋式；
图4C示出了与现有技术相比，本发明实施例在不同用户测试中的性能，其中移动设备为手提包式；
图5A示出了与现有技术相比，本发明实施例在使用不同移动设备类型测试中的性能，其中移动设备为手持式；
图5B示出了与现有技术相比，本发明实施例在使用不同移动设备类型测试中的性能，其中移动设备为口袋式；
图5C示出了与现有技术相比，本发明实施例在使用不同移动设备类型测试中的性能，其中移动设备为手提包式；
图6A示出了手持式移动设备在A层的轨迹；
图6B示出了口袋式移动设备在A层的轨迹；
图6C示出了手提包式移动设备在A层的轨迹；
图7A示出了手持式移动设备在B层的轨迹；
图7B示出了口袋式移动设备在B层的轨迹；
图7C示出了手提包式移动设备在B层的轨迹；
图8示出了本发明实施例的不同深度神经网络实现的验证损失曲线比较；
图9A至图9C分别示出了地面实况、本发明实施例和Google
Figure BDA0002576861480000091
的小车跟踪轨迹；
图9D示出了对应于图9A至9C的误差累积分布函数；
图10A和10B分别示出了多个用户和多个电话在90％测试时间内的最大位置误差；
图11A和11B分别示出了对于A层和B层在大规模室内定位中的位置误差；
图12A至图12G示出了用于实现本发明的实施例的计算架构；以及
图13是本发明的实施例的方法的流程图。
具体实施方式
图1C示出了建筑物的房间32内的环境30。房间32具有如图所示的一个门34。
人36沿着轨迹38在环境30中移动。
人员36携带移动设备102，在这种情况下为智能手机。在另一种实施例中，移动设备102可以放在衣服上(例如放在口袋里)、戴上(例如智能手表)、放在包中、手推车或类似物品上而不是手持。在一些实施例中，移动设备可以是自主的，例如机器人等。然而，为了方便起见，以下描述引用了“人”，但是技术人员将理解更广泛的含义。
移动设备102包括一个或以上陀螺仪102a和一个或以上加速度计102b，因此可以用作惯性测量单元(IMU)。移动设备102还包括与加速度计和陀螺仪通信的处理电路102c。
方便地，处理电路被配置为可能经由编程来执行本文描述的实施例。然而，可以想到的是，一些实施例可以被配置为将数据传输到远离移动设备的处理电路，其中，该实施例的至少一部分远离移动设备102执行。
移动设备102被配置为实施本发明的实施例的方法，特别是确定移动设备102的位置。技术人员将理解，当人36在环境30中移动时，随着时间重复位置确定实现预估轨迹38的确定。
因此，移动设备102可以用于确定人36的位置和/或轨迹。如上所述，本领域技术人员将理解，移动设备102可以自行移动、和/或可以附加到动物、机器人、车辆等以代替人36。
移动设备102的功能将在下面更详细地描述。
技术人员将理解，惯性导航的原理是基于牛顿力学的。它们允许跟踪在导航框架中的对象的位置和取向(即在图1C所示的示例中房间32的其余框架)，导航框架通过加速度计和陀螺仪给出了初始姿态和测量值。
图1A和1B说明了惯性导航算法的基本机制。三轴陀螺仪12a、22a测量主体框架(在图1C所示示例中，移动设备102的其余框架，也称为设备主体框架)相对于导航框架的角速度，通过下面的方程式(1)-(3)进行积分。
为了指定取向，方向余弦
Figure BDA0002576861480000104
用于表示从主体(b)框架到导航(n)框架的转换，并使用相对旋转矩阵Ω(t)进行更新。三轴加速度计12b、22b在主体框架中测量适当的加速度矢量。首先将加速度矢量转换为导航框架，然后将其积分为速度，并忽略式(4)中的重力g的贡献。通过积分方程(5)中的速度来更新位置。等式(1)-(5)描述了在任何时间标记t处的姿态、速度和位置更新。
在本发明描述的实施例中，忽略了地球自转和科里奥利加速度的影响。技术人员将理解，这些效果可以被包括在其他实施例中。
姿态更新：
Figure BDA0002576861480000101
σ＝w(t)dt (2)
Figure BDA0002576861480000102
速度更新：
Figure BDA0002576861480000103
位置更新：
L(t)＝L(t-1)+v(t-1)dt (5)
其中a和w是由IMU 102测量的主体框架中的加速度和角速度，v和L是导航框架中的速度和位置，以及g是重力加速度。
关于至少一些实施例，本文公开的方法通过将惯性数据分割为(伪)独立窗口而中断了连续集成的循环，其具有至少改善误差传播的优点。每个窗口包含一个或多个惯性数据样本，每个样本在已知时间获取(时间在某些情况下可能相对于先前的样本才知道，而不是相对于更普通的参考)。在描述的实施例中，每个窗口内的样本是连续的，覆盖一定的时间段。在这些实施例中，前一个窗口包含来自一个连续的较早时间段的连续样本，而后一个窗口包含来自一个连续的较晚时间段的连续样本。在描述的实施例中，每个窗口由一个窗口覆盖的时间段是相同的，并且每个窗口的样本数是相同的。在替代或附加的实施例中，窗口长度和/或每个窗口的样本数量可以变化。
图2示出了适合于由包含IMU的移动设备102实施的方法100。
在所描述的实施例中，来自移动设备102的IMU数据序列104被输入到深度神经网络106。在替代实施例中，如上所述，可以不使用神经网络，可以代替(也可以)使用遗传算法和/或其他处理。输出是移动设备102的一个或多个位置预估值108；本领域技术人员将理解，多个序列位置预估提供了轨迹108。
但是，如公式(1)-(5)所示，窗口惯性数据不是自动独立的。
这是因为关键状态(即初始姿态、速度和位置)是不可观测的，它们必须从以前的系统状态和惯性测量中得出，并随时间传播。不幸的是，误差也会随着时间传播，并对惯性里程计形成“诅咒”。
窗口通常不可能真正独立。然而，本发明公开的方法允许窗口的伪独立性，在不基于先前窗口进行初始化的情况下，预估每个窗口上导航状态的变化。用一个简单的求和法累加增量状态，公式中只有一个显示积分器。技术人员将理解，这样可以减少误差传播。
然后实施例可以考虑如何在一个窗口上约束或预估这些不可观察的状态。根据这一思想，基于牛顿运动定律，确定了一种新颖的基于序列的物理模型方法。
在所描述的主要实施例中，然后将该模型重新构造为学习模型。学习模型适合与神经网络106或各种回归器一起使用。在另一种实现方式中，可以对模型使用不同的处理方法，从而避免需要神经网络。例如，如上所述，可以使用遗传算法。因此，实现独立于实现方法，尤其是不依赖于神经网络。
惯性系统的不可观测或潜在系统状态包括取向
Figure BDA0002576861480000111
速度v和位置L。在传统模型中，系统状态的转换可以表示为两个时间框架之间的传递函数/状态空间模型，如等式(6)所示，并且系统状态直接相互耦合。
Figure BDA0002576861480000121
首先考虑位移。为了将窗口的位移与先前的窗口分开，计算n次时间样本的独立窗口上的位移变化增量L(在描述的实施例中，样本是连续的)。这给出：
Figure BDA0002576861480000122
然后可以将增量L从初始速度状态中分离出来，并将其作为导航框架中的加速度：
ΔL＝nv(0)dt+[n-1)s1+(n-2)s2+…+sn-1]dt2 (8)
其中s(t)是导航框架中的加速度，它包含一个由于重力引起的动态部分和一个恒定部分，为：
Figure BDA0002576861480000123
然后，公式(8)可以进一步表示为：
Figure BDA0002576861480000124
并简化为：
Figure BDA0002576861480000125
其中，
Figure BDA0002576861480000126
在一些实施例中，考虑了室内定位问题，即在水平面上跟踪物体和人。这引入了一个简化的观察结果：在导航框架中，没有长期的高度变化(在其他实施例中可以放宽此假设，例如，通过使用其他传感器模式，例如气压计来检测由于楼梯或电梯引起的楼层变化)。
在这种实施例中，这意味着在一个窗口上的z轴上的平均位移可以假定为零，因此可以从公式中删除。
在替代或附加实施例中，可以例如通过使用诸如气压计之类的附加传感器模式来检测由于楼梯或电梯引起的楼层变化。技术人员将理解，本文公开的其他实施例可以包括三维运动，因此不减少垂直运动/加速度，但是将范围限制在平面内的运动可以帮助减小问题的维度，使其更加合理，适合训练。
在本文描述的实施例中，可以将在窗口上的距离的绝对变化计算为L-2范数即Δl＝||ΔL||2，有效地将行进的距离与进入的取向(方位/航向)解耦，从而导致：
Figure BDA0002576861480000131
由于旋转矩阵
Figure BDA0002576861480000132
是正交矩阵，即
Figure BDA0002576861480000133
初始的未知取向已经成功地从表达式中移除，即
Figure BDA0002576861480000134
因此，在一个窗口上，行进的水平距离或位移(增量l)可以表示为初始速度和重力以及时间窗口内线性和角度加速度数据的函数，所有这些都在主体框架中：
Figure BDA0002576861480000135
为了使用极坐标预估设备的运动，确定与位移相关的角度变化Δψ。角度变化还可以表示为主体框架在当前时间窗口中的初始速度和重力、以及线性加速度和角速度数据的函数。
为了确定用户航向的变化，我认为用户的实际加速度和角速度(a1:n，w1:n)也是IMU原始测量值
Figure BDA0002576861480000136
的潜在变量，并且在水平面上仅在使用水平面运动假设的实施例中使用了航向姿态。技术人员将理解，如果假设用户被限制在水平面上移动，那么偏航(航向)角更为重要，可以忽略侧倾和/或俯仰，而不是全姿态(俯仰、侧倾、偏航)。然而，在其他实施例中，该方法可用于学习整个窗口的完整6DOF(自由度)转换。
因此，将传统模型重新定义为一个模型(在这种情况下，是基于极矢量(Δl，Δψ)的模型)，它只依赖于惯性传感器数据以及主体框架中的初始速度和重力：
Figure BDA0002576861480000141
为了导出全局位置，起始位置(x0；y0)和航向ψ0以及许多窗口的笛卡尔投影可以写为：
Figure BDA0002576861480000142
与现有技术中所做的每个时间步骤对原始数据进行三重积分不同，本发明公开的方法在窗口上更新位置，降低误差传播的速率。
结果表明，通过如上所述表示距离和航向的变化，唯一未知的潜在状态是窗口的初始速度。在所描述的实施例中，与大多数惯性定位系统一样，通过假设用户从“起点”(0，0)开始来处理初始位置。借助辅助信息(例如地图或人类输入)，可以将起点放在一个全局导航框架内。并非在所有应用程序中都必须进行全球定位。例如，简单地知道一个轨迹的形状、或者如果一个用户已经从另一个点移动了超过x米，都会很有帮助。
这里描述的实施例不需要知道，也可以不知道任何外部参考框架在起始点的初始位置(也不指导任何窗口的起始位置)，因为可以从任意起始点预估相对轨迹。类似地，不需要初始设备取向和初始速度(在起点或任何给定窗口)。使用本文描述的方法，不需要这些数据来预估航向和位移。取而代之的是，此信息的某些表示形式在所描述的实施例中由系统提取的潜在特征中被隐式编码，因此，这些初始状态被视为未知，并且不需要它们的值，因此通常不进行计算。
接下来的任务就是如何隐式地预估主体框架的初始速度和重力。在所描述的实施例中，这是通过将每个窗口转换为序列学习问题来完成的。
在上面，位移和航向变化以极矢量的形式表示。本领域技术人员将理解，该标记仅是为了方便使用(以分离运动取向的位移和变化)，并且可以替代地使用任何其他坐标系(例如笛卡尔坐标)。在3D中，极坐标(极矢量)可以很容易地用球坐标代替。
下一节将讨论使用深度神经网络框架的实施例的实现细节。本领域技术人员将理解，该实现方式仅仅是许多可能的实现方式中的示例，并且可以基于上述模型和伪独立性来使用其他实现方式。
使用传统技术精确预估每个窗口的主体框架中的初始速度和重力是一个挑战。与其试图确定速度，不如将所描述的实施例的等式(16)视为一个序列，其中输入是观察到的传感器数据，而输出是极矢量。
在本发明相对于所描述的实施例所公开的方法中，不需要提供初始速度和重力作为输入，也不必明确地计算它们。取而代之的是，此信息的某些表示形式隐式地编码在潜在特征中，在所描述的实施例中，这些特征由神经网络提取。
以行人运动为例，行人运动的规律性和约束性可以提供有关速度的信息。在一个可能长达几秒钟的窗口上，一个人以一定的速度行走会产生一个大致呈正弦曲线的加速度模式。该正弦曲线的频率与步行速度有关。此外，人体运动的生物力学测量表明，随着人们走得更快，步幅会加长(see Hausdorff,J.M.2007,“Gait dynamics,fractals and falls:Finding meaning in the stride-to-stride fluctuations of human walking”,HumanMovement Science 26(4):555–589)。本领域技术人员将理解，本发明公开的方法可应用于运动模式能够被提取并且与位移的变化有关的任何运动，不限于行人运动。
此外，在一些实施例中，主体框架中的重力可能与初始偏航角和侧倾角有关，该初始偏航角和侧倾角由设备的附着/放置确定，可以从原始数据中预估这些数据(Xiao,Z.；Wen,H.；Markham,A.；and Trigoni,N.2015,“Robust indoor positioning with lifelonglearning”,IEEE Journal on Selected Areas in Communications 33(11):2287–2301)。
本领域技术人员将理解，现有技术的方法同时需要主体框架中的速度和重力，以便预估随时间变化的轨迹/位置(例如，极坐标位移和角度变化)，并且在窗口之间传播，但是本发明的实施例不需要。
尽管传统模型中的每个窗口都需要这些初始状态，但是本方法不需要它们作为输入，也不需要将它们作为预估方法的一部分。技术人员将理解，例如，在某些实施例中，速度可能是需要的输出，因此可以进行预估。然而，在其他实施例中，不提供主体框架中的速度和重力作为初始化输入，也不在任何点进行预估。
也就是说，在本文所公开的关于所描述的实施例的方法中，由于窗口的伪独立性，仅使用主体框架中的原始加速度和陀螺仪数据来进行位置/轨迹预估。在许多实施例中，原始加速度和陀螺仪数据(IMU数据)是用于预估轨迹的唯一数据(例如，全球位置匹配，例如可以选择起点(0，0)，例如使用GPS或类似的、或人工输入。技术人员将理解，如果需要全球定位，则可以使用除IMU数据之外的数据。
因此，在本文所公开的方法中，对于任何窗口，不需要提供对初始速度或主体框架中的重力矢量的预估作为初始值。本领域技术人员将理解，可以提供对在各个位置处的速度和重力之一或二者的预估作为输出，但是使用所描述的实施例的方法对于轨迹/位置的预估不是必需的。
在所描述的实施例中，使用深度神经网络来学习原始惯性(加速度和陀螺仪数据)与增量矢量(在这种情况下是极性增量矢量)之间的关系，如图3所示。
本领域技术人员将理解，这可以在3D中推广到学习原始惯性(加速度和陀螺仪)数据与例如球坐标或球极坐标(这是3D中的极坐标的概括)之间的关系。
图3示出了适于实现本发明的实施例的框架300的概述。
移动设备102的IMU提供带有时间304的数据序列作为输入。
在所描述的实施例中，将输入数据304提供给深度神经网络306。在替代地或附加实施例中，可以使用不同的处理方法。
数据304被分割为窗口304a-e。图3中显示了五个窗口，技术人员将理解，窗口的数量可以根据实现方式而有很大差异。
如上所述，对每个窗口304a-e的数据进行处理，以提供增量矢量307的序列，每个矢量表示相应窗口内的变化(此处以极坐标(ΔL，Δθ)示出，尽管本领域技术人员将理解可以使用任何合适的坐标系)。
作为上述方法的结果，每个窗口304a-e可被视为独立的。
然后将增量矢量307组合以产生姿势序列。
输出308是至少两个位置预估值(由点表示)。序列位置预估值的组合提供了一个轨迹(用直线表示)。
提供输入数据304作为连续IMU测量的独立窗口304a-e。
IMU测量值与时间相关，代表主体运动。为了恢复运动特征和数据特征之间的潜在联系，深度递归神经网络(RNN)306能够通过在窗口304a-e的持续时间内保持隐藏状态来利用这些时间的相关性。但是请注意，潜在状态不会在窗口之间传播。
有效地，神经网络306充当函数fθ，将传感器测量值映射到窗口上的极坐标位移：
Figure BDA0002576861480000161
其中，在描述的实施例中使用了200个样本(超过2秒，即100Hz的采样率)的窗口长度(测试了50个、100个、200个和400个样本的窗口大小，并且选择200个作为关于所测试实施例的累积位置误差和预测损失之间的权衡的优选参数。技术人员将理解，在不同情况下，较高的采样频率和/或较短的窗口可能是优选的。例如，移动设备102的更快地移动，反之亦然)。
技术人员将理解，诸如采样率、分辨率等因素的选择是由应用程序引导的，例如可以由预期速度、移动类型、所需精度等引导。此外，技术人员将理解，本文公开的方法不仅限于用户上的单个IMU，而是可以从多个IMU回归多个信号，潜在地产生更高的精度。
例如，窗口的持续时间可以是一秒，和/或采样率可以在100Hz和300Hz之间。在替代实施例中，例如，对于相对慢的运动，采样率可以更低，例如10Hz。在替代实施例中，例如，对于相对快速的运动，采样率可以更高，例如500Hz。
技术人员将理解，在3D跟踪场景中，极坐标(或使用的任何其他2D坐标系统)可以被球坐标(或任何其他3D坐标系统)代替。
在物理模型中，取向转换会影响所有后续输出。
在所描述的实施例中，由于长短期记忆网络(LSTM)具有更好的利用长期依赖性的能力，因此在所描述的实施例中采用了长短期记忆网络(LSTM)来处理RNN(即一种没有门控的标准神经网络)的爆炸和消失问题(Greff,K.；Srivastava,R.K.；Koutnik,J.；Steunebrink,B.R.；and Schmidhuber,J.2016,“LSTM:A Search Space Odyssey”,IEEETransactions on Neural Networks and Learning Systems)。另外，先前的和将来的样本都可用于更新当前样本，因此在所描述的实施例中，采用双向架构来利用双方的动态语境。
公式(16)表明，对最终(在这种情况下是极性这里是极坐标)矢量建模需要对一些中间潜在变量进行建模，例如初始速度。因此，为了建立更高的IMU数据表示，可以采用两层LSTM叠加，第一层的输出序列提供第二层的输入序列，第二个LSTM输出一个极矢量来表示处理序列中的转换关系。
每层都有节点(在图3和12中用椭圆表示)。每个节点表示由RNN计算的隐藏状态。在图3和12所示的实施例中，每个椭圆代表包含并向前或向上传递96个隐藏状态的神经网络中的一个RNN(例如神经网络中的LSTM/GRU)节点。因此，在所描述的实施例中，每一层具有96个隐藏状态。本领域技术人员将理解，在不同的实施例中可以使用不同数量的隐藏状态，其中每个RNN节点(图中的椭圆)的64、96和128个隐藏状态通常是为有效GPU处理而选择的数量。对于所述实施例，发现每个节点使用96个隐藏状态是优选的。
本领域技术人员将理解，GRU是门控循环单元。即RNN的另一种类型，它使用两个门而不是LSTM中的三个门。GRU的优势在于，门数越少，意味着要学习的参数越少。
在所描述的实施例中，神经网络被配置为不仅在窗口的末端而且在每个窗口内的点处返回输出。技术人员将理解，这是增加输出更新率的方式。
为了提高极性矢量和位置的输出数据率，IMU测量被划分为所描述的实施例中的10个采样间隔的独立重叠子窗口(0.1s，即10Hz的频率)。在每个窗口预估(Δl，Δψ)的实施例中，它们通常添加到现有轨迹中(通常为每个窗口提供一个求和)。然而，在每个窗口生成超过(Δl,Δψ)的实施例中，每个窗口都可以添加到现有轨迹中。
在另一种实施例中，系统可以在窗口中的每个采样(见图12D)之后、每10个采样之后或更一般地、在每x个采样之后返回输出。
有效地，在一个窗口内输出值是通过使用一个长窗口来扩展对预估值的支持范围的一种方法，但不会遭受长窗口会导致高延迟的问题的困扰。
可以通过最小化训练数据集D＝(X,Y)的损失函数来恢复所提出的深度RNN体系结构内的最佳参数θ*。技术人员将认识到，θ*是用于RNN回归器的最优参数(权重)集合。可以使用随机梯度下降及其变体(例如ADAM)。
Figure BDA0002576861480000181
损失函数l定义为地面实况
Figure BDA0002576861480000182
和预估值(Δl，Δψ)之间的欧式距离之和。
Figure BDA0002576861480000183
其中，k是调节Δl和Δψ权重的一个因子。
实验
在各种情况下对实施例进行了测试，以证明它们与现有技术的定位技术相比的性能。
训练细节
数据集：在现有技术中，没有用于使用基于电话的IMU进行室内定位的公共数据集。收集行人36在安装有光学运动捕捉系统的房间32中行走的数据(Vicon-Vicon,2017,“ViconMotion Capture Systems:Viconn”)，提供精确的全姿态参考(位置为0.01m，取向为0.1度)，以了解地面实况姿态和所用的移动设备102(在此示例中为电话)的位置。
所生成的训练数据集包括来自电话102的不同附件的IMU数据，例如手持式、口袋式、手提包式、手推车式，每次2小时，使用普通的消费类电话
Figure BDA0002576861480000191
7Plus收集。
请注意，上述实验中使用的所有训练数据都是由一个人36，用户1携带
Figure BDA0002576861480000192
7收集的。为了测试该方法推广到训练数据之外的数据中的能力，然后使用在训练数据训练的神经网络306为三名新参与者和另外两部手机(
Figure BDA0002576861480000193
6和
Figure BDA0002576861480000194
5)生成了位置预估。
训练：对于所描述的实验，该模型在公开的TensorFlow框架上实现，并且培训过程在NVIDIA TITAN X GPU上运行。
在训练期间，使用了Adam；学习率为0.0015的基于一阶梯度的优化器(seeKingma,D.P.,and Ba,J.2015,“Adam:A Method for Stochastic Optimization”,InInternational Conference on Learning Representations(ICLR),1–15)。在这些实验中，训练通常会在100次迭代后收敛。
为了防止神经网络过度拟合，收集了具有丰富运动特征的数据(即包含各种不同运动的数据，以便于在测试阶段将其推广到看不见的运动)，并且每个LSTM层都采用了Dropout(Srivastava,N.；Hinton,G.；Krizhevsky,A.；Sutskever,I.；and Salakhutdinov,R.2014,“Dropout:A Simple Way to Prevent Neural Networks from Overfitting”,Journal of Machine Learning Research 15:1929–1958)，训练过程中随机从神经网络中删除25％的单元。该方法大大减少了过度拟合，并证明了在新用户、设备和环境中的良好性能。
使用所有附件(手持式等)收集训练数据。
与其他深度神经网络(DNN)框架的比较：为了评估采用两层双向LSTM(Bi-LSTM)进行极矢量回归的方法，将其验证结果与其他各种DNN框架的验证结果进行了比较，DNN框架包括vanillar RNN、vanilla卷积神经网络、1层LSTM和2层LSTM。
图8通过比较采用各种框架带来的损失，示出了验证损失曲线。
所提出的具有2层Bi-LSTM的框架的损失曲线比所有其他神经网络在训练过程中体现出收敛更快、保持更低、更平稳，证明了本文所公开方法的强大功能。
技术人员将理解，梯度消失(及其对应的爆炸)是对于非门控RNN的一个问题，因为反向传播时每个步骤的微小误差趋向于零，这意味着传感器输入的误差信号与期望回归输出的时间距离是很难学习的。卷积网络可以一次性查看整个序列，但是由于输入的维数很高(例如200个框架或样本)，很难将输入与期望的输出关联起来。门控的RNN(像LSTM)学习在每个瞬间传播的潜在状态，这是压缩/降维的一种形式。
测试：与在实验中一起训练的所有附件类型相比，发现对每一种不同的附件进行单独训练可获得更好的预测性能。因此，针对所描述的实验实施了由单独附件训练的2层Bi-LSTM的预测模型。
在实践中，技术人员将理解，可以采用现有技术来从纯IMU测量(Brajdic和Harle2013，上文引用)中识别不同的附件，从而提供了在训练好的模型之间动态切换的能力。
基线：选择两种传统方法作为基线：行人航位推算(PDR)和捷联惯性导航系统(SINS)机制(Savage,P.G.1998,“Strapdown Inertial Navigation IntegrationAlgorithm Design Part 1:Attitude Algorithms”,Journal of Guidance,Control,andDynamics 21(1):19–28)，与本发明实施例产生的预测结果进行比较。
PDR算法很少是开源的，特别是对不同附件都能使用的健壮PDR算法，因此本文根据Brajdic和Harle(Brajdic,A.,and Harle,R.2013,“Walk detection and stepcounting on unconstrained smartphones”,Ubicomp 13)用于步进检测的论文和Xiao等人(Xiao,Z.；Wen,H.；Markham,A.；and Trigoni,N.2014,“Robust pedestrian deadreckoning(R-PDR)for arbitrary mobile device placement”,In IPIN)用于航向和步长预估的论文实现了编码。
涉及多个用户和设备的测试
在具有新用户36和移动电话102的大房间32内进行了一系列实验，以显示本文公开的方法具有概括超出训练数据涵盖的场景的能力。Vicon系统可提供高精度的参考(地面实况位置和姿态)以测量位置误差。
第一组测试包括四名用户36，使用不同附件的电话102随机行走两分钟，例如手持式、口袋式和手提包式，涵盖日常行为。
这些实验的训练数据集中仅包含来自用户1的数据，来自其他三个用户的数据被排除在训练数据集中用于测试。
本文公开的方法(尤其是详细描述的IONet实施例)的性能被测量为针对Vicon地面实况的误差累积分布函数(CDF)，并与传统的PDR和SINS进行比较。
进行了第一组实验以测试不同用户36的性能，如图4A至4C所示。
在这些图中，最陡的一组线(标有圆圈)显示IONet的数据，下一组线(最暗的一组，用菱形标记)显示PDR的数据，最浅的一组线(用三角形标记)显示IONet的数据。
在每个集合中，用户1的数据用实线表示，用户2的数据用短划线表示，用户3的数据用点虚线表示，用户4的数据用点划线表示。
图4A至图4C示出了所提出的方法在每个附件中都优于竞争方法。图4A至图4C分别示出了当设备102为手持式设备400a、口袋式设备400b以及手提包式设备400c时的数据。
技术人员将理解，如果原始数据被SINS直接三重积分，则其错误将呈指数传播。相比之下，本文所公开方法的最大误差在进行的实验中90％的测试时间内保持在2米左右。如图10A所示，与传统PDR相比，改进了30％-40％。
进行了另一组实验以测试不同设备102的性能，如图5A至5C所示。图5A至5C分别显示了设备102为手持式500a、口袋式500b和手提包式500c时的数据。测试了两种不同的普通消费者电话。
Figure BDA0002576861480000211
6和
Figure BDA0002576861480000212
5的IMU传感器InvenSense MP67B和ST L3G4200DH与训练设备iPhone 7(IMU：InvenSense ICM-20600)有所不同。
在这些图中，最陡的一组线(用圆圈标记)显示IONet的数据，下一组线(最暗的一组，用菱形标记)显示PDR的数据，最浅的一组线(用三角形标记)显示SINS的数据，如图4A-4C所示。
在每个集合中，iPhone 7的数据用实线表示，iPhone 6的数据用短划线表示，iPhone 5的数据用点虚线示。
尽管IMU的固有特性会影响惯性测量的质量，但所描述的神经网络实施例示出良好的鲁棒性，如图10B所示。
图10A和10B分别示出了在用户36和电话102分开的90％测试时间内最大位置误差的曲线图。
大规模室内定位
在进一步的实验中，该方法被应用到一个更具挑战性的室内定位场景中，以证明其在新环境中的性能。
对于所述的实验，所述实施例的神经网络仅对在配备Vicon设备的训练室中收集的训练数据进行训练，而没有从其他地方提供用于训练的数据。
然后将此实施例直接应用于在办公楼的两层(A层和B层，见图6A-C和7A-C)上进行的六个大型实验。新的场景包含长直线和斜率，而这些都没有包含在训练数据集中。缺乏来自Vicon的高精度参考，来自一种视觉惯性设备Google
Figure BDA0002576861480000221
Tablet，的数据被视为伪地面实况。
图6A-C(A层-约1650m2)和图7A-C(B层-约2475m2)中示出了楼层分布图。
用户通常通过三种方式带着手机沿着走廊行走，分别是图6A和7A、6B和7B以及6C和7C的手持式、口袋式和手提包式。
由本文所揭示的方法(“IONet”-惯性里程计神经网络)、Tango(伪地面实况)、PDR和SINS所确定的预测轨迹分别在这些图的平面图上示出。
从图6A-C和7A-C可以看出，与其他两种方法相比，本文公开的方法的预测轨迹更接近Tango轨迹。
SINS机制的持续传播误差导致轨迹的漂移随时间呈指数增长(从初始位置(0，0)的开始，朝向平面图的左下角)。
由于步进检测错误和/或步距和航向估计不准确，PDR的精度也受到限制。
在距终点50m、100m和终点处，计算了IONet和PDR相对于Tango的伪地面实况值的绝对位置误差；A层和B层的结果分别如图11A和11B所示。对SINS的比较没有显示，但是其精度会在几秒内迅速漂移。它没有显示由于它太不精确而无法在当前的智能手机传感器中使用。
经实施例测试的方法(IONet)显示出优于传统PDR的性能，尽管其前进取向有时会偏离真实值，但具有产生连续轨迹的优势。
手推车跟踪
进行了进一步的实验，以考虑更一般的运动，而无需涉及步行步骤。对于传统的基于步进的PDR(依赖于周期性运动)或SINS(使用智能手机等设备中常见的有限质量的IMU)而言是很难实现的。
基于车轮的运动跟踪包括手推车、机器人、婴儿车和轮车，具有巨大的潜力。
当前跟踪基于车轮的运动对象的方法主要基于视觉里程计或视觉惯性里程计(VIO)(Li,M.,and Mourikis,A.I.2013,“High-precision,consistent EKF-basedvisual-inertial Odometry”,The International Journal of Robotics Research 32(6):690–711)。当设备被遮挡或在弱光环境下运行时(例如放在袋子或口袋中)，这些方法将不起作用。而且，它们的高能耗和计算消耗也限制了应用。
将IONet模型应用于仅使用惯性传感器的小车跟踪问题。由于缺乏可比较的技术，因此将提出的方法与最新的视觉惯性里程计
Figure BDA0002576861480000236
进行了比较。
移动设备(
Figure BDA0002576861480000234
7和Google
Figure BDA0002576861480000235
)安装在手推车上，由用户推动。
Vicon提供了高精度的运动参考作为地面实况。图中显示了来自Vicon(图9A-地面实况)、IONet(图9B)、
Figure BDA0002576861480000233
(图9C)的轨迹、以及IONet 902和Tango 904(图9D)的CDF。
本文公开的IONet方法显示出与
Figure BDA0002576861480000232
几乎相同的精度，并且由于纯惯性方法受环境因素的影响较小具有更好的鲁棒性。
借助于视觉特征，视频惯性里程计(VIO，在本例中由
Figure BDA0002576861480000231
提供)可以通过融合视觉变换和惯性系统来限制误差漂移，但是当捕获错误特征或没有特征时，它会崩溃特别是在开放空间中。在实验中发生的如图9D所示。尽管VIO可以从崩溃中恢复，但仍会产生较大的距离误差；因此，
Figure BDA0002576861480000237
的误差会突然增加，并且无法恢复。还应当理解，
Figure BDA0002576861480000238
不会在黑暗的环境中工作，但是本发明的实施例是可以的。
框架概述和选项
本文公开了直接从IMU原始数据进行惯性里程测量的新框架。该方法源自牛顿力学。
在详细描述的实施例中，使用神经网络的框架直接从IMU原始数据中学习惯性里程计。其他框架可用于其他实施例中。在此实施例中，该方法被描述为一个序列学习问题，使用深度递归神经网络来恢复运动特征(例如，通常由行人运动或手推车运动引起的振动产生的正弦加速度模式)。技术人员将理解，本文公开的方法由于特性是从数据中获取，与平台的运动特征无关。
通过广泛的实验，包括涉及多个用户36/设备102的测试，大规模室内定位和手推车跟踪，对新框架，尤其是使用上述实施例的神经网络实施的IONet的性能进行了评估。其性能优于传统的基于步进的PDR和SINS机制。因此，该方法可以提供一种更精准和可靠的室内导航系统。
图12A-F示出了使用不同IONet架构的实施例。
图12A示出了上述描述的使用深层递归神经网络、2层双向LSTM IONet的框架。输入是IMU序列(n*6)，输出是一个极矢量(1*2)。
图12B示出了一个替代框架，其中仅使用了单向LSTM以及深度递归神经网络。该图说明了具有三种不同的基于序列的模型，例如LSTM、RNN和GRU的可能的深层神经网络结构。这些架构只能是单向的，并且可以使用任何基于序列的模型。
图12C示出了一个替代框架，其中使用了卷积神经网络代替图12A和12B的深度循环神经网络。该图说明了采用卷积神经网络而不是递归神经网络来提取特征并输出极矢量的框架。输入是IMU序列(n*6)，输出是一个极矢量(1*2)。
图12D示出了一个类似于图12A的替代框架，但是在该框架中为每个窗口提供了多个输出。该图示出了类似于图12A和图12B的替代框架，但是在该框架中为每个窗口提供了多个输出而不是一个输出。可以连接多个输出以增加最终姿势序列的输出数据速率。输入为IMU序列(n*6)，输出为多个极矢量(m*2)。
技术人员将理解，多个输出可以是全姿态(例如俯仰、侧倾、偏航)、速度和/或加速度。附加地或替代地，数据可以回归到任何其他的连续量，例如冲击力(例如脚承受的力)。
附加地或替代地，输出可以包括不确定性的度量，例如姿势预估中的预期误差。
技术人员将理解，可以通过在训练期间对另一数量进行回归来实现替代输出。
图12E示出了一个类似于图12D的替代框架，但是具有附加的融合层。与图12D的体系结构相比，此体系结构可以将循环神经网络的多个输出与附加的融合层(完全连接的层或其他层)组合在一起。
技术人员将理解，融合层可以是浅层过滤器(例如卡尔曼滤波器)，其可以随时间进行最优状态估计，也可以是另一个神经网络。融合层可以被配置为在多个窗口上进行姿势预估，例如20s的数据，以进一步完善里程计预估。在一些实施例中，它也可以预估长期误差。融合层可以进一步被配置为结合地图信息、无线电指纹识别和/或类似物以提供全球定位。
图12F示出了一个类似于图12E的替代框架，但是增加了先前信息的输入。该图说明了利用先前序列信息的体系结构。用当前序列的输入对先前序列的输出/隐藏状态表示进行编码，以更新模型。
技术人员将理解，相对于具有完全独立的窗口，传播某种潜在状态(其可以表示诸如手/脚或甚至平台(人/车辆)之类的信息)的能力可以进一步增强位置估计。该潜在状态不需要显示地与真实属性相关联；神经网络将了解什么是敏感的潜在状态。因此，技术人员将理解，虽然一个或多个初始状态被视为未知(即，它们的值不在窗口之间传播)，但是在一些实施例中，一个或多个其他初始状态在窗口之间传播。
图12G示出了一种使用不同架构、不使用神经网络的实施例。
在训练阶段，将带窗口的IMU训练数据输入非线性回归函数。将预估的位移(导航状态变化，这可能是上述其他实施例中讨论的相同的极增量矢量)与实际(地面实况)位移进行比较，并通过优化算法(例如遗传算法)使用这些误差以更新非线性回归函数的函数参数。继续该过程，直到保持令人满意的精度为止。
在测试阶段(运行时)，将带窗口的IMU数据输入非线性回归函数，并输出预估的位移；这可以是如其他实现例所述的矢量、位置预估、轨迹之类的形式。
本领域技术人员将理解，回归函数可以是任何可参数化的函数，例如模糊、神经网络、样条曲线等，并且设置遗传算法(或任何随机优化器)用于学习所选函数的参数。
图13示出了本发明各种实施例的方法1300的概述。
在步骤1302，接收由移动设备产生的惯性数据，该惯性数据包括至少两个在不同时间采集的样本。
在步骤1304，将惯性数据分割为伪独立窗口。每个伪独立窗口包括至少两个样本。每个伪独立窗口的一个或以上初始状态(例如速度、重力加速度)被视为未知。
在步骤1306，使用惯性数据样本预估每个伪独立窗口上导航状态的变化。在描述的实施例中，用于预估导航状态变化的唯一传感器数据为惯性数据，但其他数据(例如，附件类型的用户标识、或设备位于小车上的实施例中与小车振动相关的衍生潜在状态等)可以在窗口之间传播并与惯性数据一起使用。
在步骤1308，在连续窗口上对伪独立窗口上导航状态的变化求和，以确定移动设备的位置。
可以重复方法1300。技术人员将理解，随着时间的位置序列提供了移动设备中的轨迹。

Claims (26)

1.一种确定移动设备位置的计算机实施方法，所述方法包括：
接收由所述移动设备产生的惯性数据，所述惯性数据包括至少两个在不同时间采集的样本；
将所述惯性数据分割为伪独立窗口，其中每个伪独立窗口包括至少两个所述样本，以及每个伪独立窗口的一个或以上初始状态被视为未知；
使用惯性数据样本预估每个伪独立窗口上导航状态的变化；以及
对所述伪独立窗口上所述导航状态的所述变化求和，以确定所述移动设备的位置。
2.根据权利要求1所述的方法，其特征在于，用于预估每个伪独立窗口上导航状态的变化的唯一传感器数据为所述惯性数据。
3.根据权利要求1或2所述的方法，其特征在于，单独使用所述惯性数据样本预估每个伪独立窗口上导航状态的所述变化。
4.根据前述任一项权利要求中所述的方法，其特征在于，所述移动设备的重力矢量值和速度中的至少一个或全部，均未被预估，并且不作为所述伪独立窗口的初始状态传播。
5.根据前述任一项权利要求中所述的方法，其特征在于，将所述移动设备的初始位置设置为起点，并且相对于所述起点定义确定位置。
6.根据前述任一项权利要求中所述的方法，其特征在于，设备取向值未被预估并且不被作为所述伪独立窗口的初始状态传播。
7.根据前述任一项权利要求中所述的方法，其特征在于，被视为未知的一个或以上初始状态包括以下中的至少一项：设备主体框架的初始速度状态、设备主体框架的重力矢量、或导航框架中的设备姿势(位置和姿态)。
8.根据前述任一项权利要求中所述的方法，其特征在于，对于每个伪独立窗口，所述每个伪独立窗口上导航状态的变化的预估操作独立执行，无需每个窗口的先前窗口提供初始状态。
9.根据前述任一项权利要求中所述的方法，其特征在于，设备主体框架状态的初始速度和重力矢量是未知的，并且不作为输入传递到后续窗口。
10.根据权利要求9所述的方法，其特征在于，未明确计算所述设备主体框架状态的所述初始速度和所述重力矢量。
11.根据权利要求9或10所述的方法，其特征在于，利用神经网络或遗传算法回归器预估所述初始速度和所述重力矢量在潜在特征中的隐式编码表示，所述潜在特征由所述回归器从所述惯性数据中提取。
12.根据权利要求11所述的方法，其特征在于，所述回归器用于学习所述惯性数据的所述样本与所述导航状态的变化之间的关系。
13.根据前述任一项权利要求中所述的方法，其特征在于，所述惯性数据包括加速度和陀螺仪数据中的至少一个。
14.根据前述任一项权利要求中所述的方法，其特征在于，导航状态的所述变化包括表示水平行进距离的当前位移以及表示所述当前位移与先前窗口的位移之间的角度变化。
15.根据前述任一项权利要求中所述的方法，其特征在于，所述方法仅包括一个显示积分器，所述积分器存在于求和步骤中。
16.根据权利要求15所述的方法，其特征在于，所述积分器将序列对(位移、角度)积分为轨迹。
17.根据前述任一项权利要求中所述的方法，其特征在于，每个伪独立窗口包括大约200个样本。
18.根据前述任一项权利要求中所述的方法，其特征在于，每秒采集一百个样本(即100Hz的数据采样率)。
19.根据前述任一项权利要求中所述的方法，其特征在于，采用双向架构获取精选样本的先前样本和后续样本的动态语境，以更新所述精选样本的影响。
20.根据前述任一项权利要求中所述的方法，其特征在于，所述惯性数据包括来自智能手机或其他IMU设备的IMU数据。
21.根据前述任一项权利要求中所述的方法，其特征在于，将窗口内每个样本的传感测量值映射到所述窗口的极坐标位移。
22.根据前述任一项权利要求中的所述的方法，其特征在于，每个伪独立窗口上导航状态的所述变化被提供为增量矢量，并且所述增量矢量用于求和。
23.一种被配置为确定位置的移动设备，其特征在于，所述移动设备包括：
惯性测量单元(IMU)，被配置为生成惯性数据，所述惯性数据包括至少两个在不同时间采集的样本；以及
处理电路，被配置为：
将所述惯性数据分割为伪独立窗口，其中每个伪独立窗口包括至少两个所述样本，以及每个伪独立窗口的一个或以上初始状态被视为未知；
使用惯性数据样本预估每个伪独立窗口上导航状态的变化；以及
对所述伪独立窗口上所述导航状态的所述变化求和，以确定所述移动设备的位置。
24.根据权利要求23所述的移动设备，其特征在于，所述移动设备被配置为执行权利要求1至22中任一项所述的方法。
25.根据权利要求23或24所述的移动设备，其特征在于，通过将数据传输到远程处理电路，所述处理电路被配置为生成分割、预估以及求和处理中的一部分或全部，以使得远程执行所述处理的一部分或全部。
26.一种包含指令的计算机可读介质，其特征在于，当处理电路读取所述指令时，使得所述处理电路执行权利要求1至22中任一项所述的方法。
CN201980007844.XA 2018-01-10 2019-01-10 确定移动设备的位置 Pending CN111566444A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
GR20180100008 2018-01-10
GR20180100008 2018-01-10
GBGB1804079.0A GB201804079D0 (en) 2018-01-10 2018-03-14 Determining the location of a mobile device
GB1804079.0 2018-03-14
PCT/GB2019/050056 WO2019138225A1 (en) 2018-01-10 2019-01-10 Determining the location of a mobile device

Publications (1)

Publication Number Publication Date
CN111566444A true CN111566444A (zh) 2020-08-21

Family

ID=61972755

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980007844.XA Pending CN111566444A (zh) 2018-01-10 2019-01-10 确定移动设备的位置

Country Status (6)

Country Link
US (1) US11788843B2 (zh)
EP (1) EP3737912B1 (zh)
CN (1) CN111566444A (zh)
AU (1) AU2019207463B2 (zh)
GB (1) GB201804079D0 (zh)
WO (1) WO2019138225A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020029146A1 (zh) * 2018-08-08 2020-02-13 华为技术有限公司 一种获取用户运动轨迹的方法及终端
EP3706034A1 (en) * 2019-03-06 2020-09-09 Robert Bosch GmbH Movement prediction of pedestrians useful for autonomous driving
US11205112B2 (en) 2019-04-01 2021-12-21 Honeywell International Inc. Deep neural network-based inertial measurement unit (IMU) sensor compensation method
CN110631592B (zh) * 2019-10-28 2022-03-29 华南理工大学 基于lstm模型的室内自主导航agv运动轨迹融合方法
CN111623797B (zh) * 2020-06-10 2022-05-20 电子科技大学 一种基于深度学习的步数测量方法
CN112556692B (zh) * 2020-11-27 2023-01-31 绍兴市北大信息技术科创中心 一种基于注意力机制的视觉和惯性里程计方法和系统
CN112729301A (zh) * 2020-12-10 2021-04-30 深圳大学 一种基于多源数据融合的室内定位方法
CN112911509A (zh) * 2021-03-03 2021-06-04 深圳市富临通实业股份有限公司 物联网的室内定位方法、装置、终端设备和存储介质
CN113252031A (zh) * 2021-04-28 2021-08-13 燕山大学 一种narx神经网络辅助组合导航的方法
CN113686335B (zh) * 2021-06-10 2024-05-24 上海奥欧智能科技有限公司 通过一维卷积神经网用imu数据进行精确室内定位的方法
CN113934212A (zh) * 2021-10-14 2022-01-14 北京科创安铨科技有限公司 一种可定位的智慧工地安全巡检机器人
CN113810846B (zh) * 2021-10-15 2022-05-03 湖南大学 一种基于WiFi和IMU融合的室内定位方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060164393A1 (en) * 2005-01-24 2006-07-27 Chic Technology Corp. Highly sensitive inertial mouse
EP2657647A1 (en) * 2012-04-23 2013-10-30 Deutsches Zentrum für Luft- und Raumfahrt e. V. Method for estimating the position and orientation using an inertial measurement unit fixed to a moving pedestrian
EP2730888A1 (en) * 2012-11-07 2014-05-14 Ecole Polytechnique Federale de Lausanne EPFL-SRI Method to determine a direction and amplitude of a current velocity estimate of a moving device
WO2015013418A2 (en) * 2013-07-23 2015-01-29 The Regents Of The University Of California Method for processing feature measurements in vision-aided inertial navigation
US20150219767A1 (en) * 2014-02-03 2015-08-06 Board Of Regents, The University Of Texas System System and method for using global navigation satellite system (gnss) navigation and visual navigation to recover absolute position and attitude without any prior association of visual features with known coordinates
GB201610747D0 (en) * 2016-06-20 2016-08-03 Atlantic Inertial Systems Ltd Inertial Navigation System

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001238681A (ja) 2000-03-03 2001-09-04 Japan Science & Technology Corp 共培養による血液脳関門再構築モデル
CA2559236C (en) * 2004-03-12 2013-05-14 Vectronix Ag Apparatus and method of determining 3d pedestrian motion by using projection planes
WO2008108788A2 (en) * 2006-05-31 2008-09-12 Trx Systems, Inc. Method and system for locating and monitoring first responders
US8751151B2 (en) * 2012-06-12 2014-06-10 Trx Systems, Inc. System and method for localizing a trackee at a location and mapping the location using inertial sensor information
US9448072B2 (en) * 2007-05-31 2016-09-20 Trx Systems, Inc. System and method for locating, tracking, and/or monitoring the status of personnel and/or assets both indoors and outdoors
US9902940B2 (en) 2010-06-17 2018-02-27 Wisconsin Alumni Research Foundation Human blood-brain barrier endothelial cells derived from pluripotent stem cells and blood-brain barrier model thereof
US8594971B2 (en) * 2010-09-22 2013-11-26 Invensense, Inc. Deduced reckoning navigation without a constraint relationship between orientation of a sensor platform and a direction of travel of an object
US10215587B2 (en) * 2012-05-18 2019-02-26 Trx Systems, Inc. Method for step detection and gait direction estimation
WO2014074837A1 (en) * 2012-11-08 2014-05-15 Duke University Unsupervised indoor localization and heading directions estimation
KR101851836B1 (ko) * 2012-12-03 2018-04-24 나비센스, 인크. 물체의 움직임을 추정하기 위한 시스템 및 방법
WO2014186782A2 (en) 2013-05-17 2014-11-20 The Regents Of The University Of California Scalable organotypic models of tumor dormancy
EP2886258A1 (de) 2013-12-18 2015-06-24 HILTI Aktiengesellschaft Eintreibgerät
EP2995949A1 (en) 2014-09-09 2016-03-16 Institut Pasteur New in vitro blood brain barrier model
CN105116431A (zh) * 2015-09-08 2015-12-02 中国人民解放军装备学院 一种惯性导航平台和北斗卫星的高精度超紧耦合导航方法
US10162362B2 (en) * 2016-08-29 2018-12-25 PerceptIn, Inc. Fault tolerance to provide robust tracking for autonomous positional awareness
CN106643715A (zh) 2016-11-17 2017-05-10 天津大学 一种基于bp神经网络改善的室内惯性导航方法
AU2018209336B2 (en) 2017-01-23 2021-11-18 Oxford University Innovation Limited Determining the location of a mobile device
JP7221203B2 (ja) 2017-01-23 2023-02-13 オックスフォード ユニヴァーシティ イノヴェーション リミテッド モバイル装置の位置特定方法
US10145962B1 (en) * 2017-10-06 2018-12-04 Cisco Technology, Inc. Adaptive localization and incremental deployment of infrastructure with crowd-sourced feedback

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060164393A1 (en) * 2005-01-24 2006-07-27 Chic Technology Corp. Highly sensitive inertial mouse
EP2657647A1 (en) * 2012-04-23 2013-10-30 Deutsches Zentrum für Luft- und Raumfahrt e. V. Method for estimating the position and orientation using an inertial measurement unit fixed to a moving pedestrian
EP2730888A1 (en) * 2012-11-07 2014-05-14 Ecole Polytechnique Federale de Lausanne EPFL-SRI Method to determine a direction and amplitude of a current velocity estimate of a moving device
WO2015013418A2 (en) * 2013-07-23 2015-01-29 The Regents Of The University Of California Method for processing feature measurements in vision-aided inertial navigation
US20150219767A1 (en) * 2014-02-03 2015-08-06 Board Of Regents, The University Of Texas System System and method for using global navigation satellite system (gnss) navigation and visual navigation to recover absolute position and attitude without any prior association of visual features with known coordinates
GB201610747D0 (en) * 2016-06-20 2016-08-03 Atlantic Inertial Systems Ltd Inertial Navigation System

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘猛;李光春;高延滨;李莹;王帝;: "基于伪地球坐标系的惯导系统全球导航算法", 中国惯性技术学报, no. 04 *
程传奇;郝向阳;李建胜;刘智伟;胡鹏;: "基于非线性优化的单目视觉/惯性组合导航算法", 中国惯性技术学报, no. 05 *

Also Published As

Publication number Publication date
WO2019138225A1 (en) 2019-07-18
GB201804079D0 (en) 2018-04-25
US20200355503A1 (en) 2020-11-12
AU2019207463A1 (en) 2020-07-23
EP3737912A1 (en) 2020-11-18
US11788843B2 (en) 2023-10-17
EP3737912B1 (en) 2022-08-10
AU2019207463B2 (en) 2024-03-21

Similar Documents

Publication Publication Date Title
CN111566444A (zh) 确定移动设备的位置
Chen et al. Ionet: Learning to cure the curse of drift in inertial odometry
Chen et al. Oxiod: The dataset for deep inertial odometry
Chen et al. Deep neural network based inertial odometry using low-cost inertial measurement units
Chen et al. Deep-learning-based pedestrian inertial navigation: Methods, data set, and on-device inference
Chen et al. A data-driven inertial navigation/Bluetooth fusion algorithm for indoor localization
Cortés et al. Deep learning based speed estimation for constraining strapdown inertial navigation on smartphones
US20160069690A1 (en) Method and apparatus for using map information aided enhanced portable navigation
EP3529560A1 (en) Method and system for global shape matching a trajectory
WO2017112414A1 (en) Method and system for using offline map information aided enhanced portable navigation
EP2386828B1 (en) Method and system for detection of a zero velocity state of an object
Rao et al. Ctin: Robust contextual transformer network for inertial navigation
Hasan et al. Mems IMU based pedestrian indoor navigation for smart glass
Kim et al. Nine-Axis IMU-based Extended inertial odometry neural network
Yu et al. AZUPT: Adaptive zero velocity update based on neural networks for pedestrian tracking
Manos et al. Walking direction estimation using smartphone sensors: A deep network-based framework
Chen et al. Deep learning for inertial positioning: A survey
Luo et al. Learning-based complex motion patterns recognition for pedestrian dead reckoning
Chen Learning methods for robust localization
Liu Hybrid positioning with smart phones
Lin et al. A Cnn-Speed-Based Gnss/Pdr Integrated System For Smartwatch
Feng et al. CrowdLOC-S: Crowdsourced seamless localization framework based on CNN-LSTM-MLP enhanced quality indicator
Yuan et al. A novel ESKF based ZUPT using midpoint integration approach for indoor pedestrian navigation
Seo et al. DO IONet: 9-axis IMU-based 6-DOF odometry framework using a neural network for direct orientation estimation
Reina et al. Iterative path reconstruction for large-scale inertial navigation on smartphones

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination