CN112334737A - 定位设备、定位方法和程序 - Google Patents

定位设备、定位方法和程序 Download PDF

Info

Publication number
CN112334737A
CN112334737A CN201980043409.2A CN201980043409A CN112334737A CN 112334737 A CN112334737 A CN 112334737A CN 201980043409 A CN201980043409 A CN 201980043409A CN 112334737 A CN112334737 A CN 112334737A
Authority
CN
China
Prior art keywords
motion vector
coordinate system
data
motion
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980043409.2A
Other languages
English (en)
Inventor
辻井崇纮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN112334737A publication Critical patent/CN112334737A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C22/00Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
    • G01C22/006Pedometers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/183Compensation of inertial measurements, e.g. for temperature effects
    • G01C21/188Compensation of inertial measurements, e.g. for temperature effects for accumulated errors, e.g. by coupling inertial systems with absolute positioning systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Navigation (AREA)

Abstract

该技术涉及使用加速度传感器和角速度传感器执行精确定位的定位设备、定位方法和程序。基于由检测装置的加速度的加速度传感器检测到的加速度和由检测装置的角速度的角速度传感器检测到的角速度,根据机器学习模型估计指示装置的运动量和运动方向的运动矢量。对所估计的运动矢量进行积分并计算装置的绝对位置。该技术可以应用于例如用于测量行人等的位置的定位设备。

Description

定位设备、定位方法和程序
技术领域
本技术涉及定位设备、定位方法和程序,并且尤其涉及使用加速度传感器和角速度传感器来测量测量对象(诸如,行人)的位置的定位设备、定位方法和程序。
背景技术
已知行人航位推算(Pedestrian dead reckoning,PDR)是用于使用加速度传感器和角速度传感器来测量行人的位置的技术。
作为使用PDR技术的航位推算设备,专利文献1公开了预先获得行人的平均步幅长度,并且基于从测量数据检测到的行人的步数和平均步幅长度来计算行人行进的距离。
此外,专利文献2公开了当从使用例如全球定位系统(GPS)执行的其他定位切换到使用PDR执行的定位时,获取根据通过执行其他定位获得的定位结果计算的较少误差的参考位置和运动方向;并且基于所获取的参考位置和运动方向开始使用PDR执行定位。
此外,专利文献3公开了用于根据使用加速度传感器、地磁传感器和GPS定位获得的数据来估计运动方向的技术。
引用列表
专利文献
专利文献1:日本专利申请公开第2016-218026号
专利文献2:日本专利申请公开第2017-111098号
专利文献3:日本专利申请公开第2018-54414号
发明内容
技术问题
要求使用加速度传感器和角速度传感器以高精度执行定位。
鉴于上述情况,已经实现了本技术,并且具体地,本技术的目的是使得可以使用加速度传感器和角速度传感器以高精度执行定位。
问题的解决方案
本技术的一个方面的定位设备或程序,该定位设备包括:运动矢量估计器,其基于装置的加速度和装置的角速度使用机器学习模型来估计运动矢量,该运动矢量指示装置的运动量和运动方向,加速度由用于检测加速度的加速度传感器检测,角速度由用于检测角速度的角速度传感器检测;以及积分部,其对运动矢量进行积分并计算装置的相对位置,该程序使计算机用作定位设备。
本技术的一个方面的定位方法,该定位方法包括:由包括在定位设备中的运动矢量估计器基于装置的加速度和装置的角速度使用机器学习模型来估计运动矢量,该运动矢量指示装置的运动量和运动方向,加速度由用于检测加速度的加速度传感器检测,角速度由用于检测角速度的角速度传感器检测;并且由包括在定位设备中的积分部对运动矢量进行积分并计算装置的相对位置。
在本技术的一个方面的定位设备、定位方法和程序中,基于装置的加速度和装置的角速度使用机器学习模型来估计运动矢量,该运动矢量指示装置的运动量和运动方向,加速度由用于检测加速度的加速度传感器检测,角速度由用于检测角速度的角速度传感器检测。然后,对运动矢量进行积分并计算装置的相对位置。
附图说明
[图1]示出了根据本技术的定位方法的概要。
[图2]是应用本技术的定位设备的实施例的配置示例的框图。
[图3]示出了装置坐标系和世界坐标系。
[图4]是描述由坐标转换器执行的处理的内容的示图。
[图5]是描述由积分部执行的处理的内容的示图。
[图6]是描述由获得绝对位置的PDR部执行的处理的内容的示图。
[图7]示出了显示使用世界坐标系的坐标值生成的轨迹数据的示例。
[图8]是示出由定位设备执行的处理的示例的流程图。
[图9]是用于生成机器学习模型的模型发生器和数据收集器的配置示例的框图。
[图10]是示出由模型发生器和数据收集器执行的处理的示例的流程图。
[图11]是描述机器学习模型的输入/输出模式的示图。
[图12]是描述机器学习模型的输入/输出模式的示图。
[图13]是描述机器学习模型的输入/输出模式的示图。
[图14]示出了应用本技术的根据本实施例的定位设备与比较设备之间的定位数据的误差的评价。
[图15]示出了应用本技术的根据本实施例的定位设备与比较设备之间的定位数据的误差的评价。
[图16]示出了在由比较设备执行的运动量或运动方向的检测中引起误差并且可以由本技术以足够的精度来处理的因素。
[图17]示出了引起运动量的误差的因素。
[图18]示出了引起运动方向的误差的因素。
[图19]是描述当使用步数和步幅长度来估计运动量时附接有传感器的身体部位之间的难度差异的示图。
[图20]是描述应用本技术的定位设备与比较设备之间的运动矢量的误差差异的示图。
[图21]是描述应用本技术的定位设备与比较设备之间的运动矢量的误差差异的示图。
[图22]示出了设施中的地磁干扰。
[图23]示出了设施中的地磁干扰。
[图24]是使用程序执行一系列处理的计算机的硬件的配置示例的框图。
具体实施方式
下面,将参考附图描述本技术的实施例。
《应用本技术的定位设备的概要》
如专利文献1所公开的,当使用PDR时,检测行人的步数,并且基于步数和步幅长度来估计运动距离。
然而,步幅长度根据个体或根据行走情况(诸如,走动运动和行走地方)而变化。步幅长度的变化引起运动量的误差,并且这导致定位精度的降低。
在专利文献1中,针对每个行人测量平均步幅长度,并且使用所测量的平均步幅长度来计算运动量。因此,减少了由于个体之间的步幅长度的差异而引起的运动量的误差。
然而,如果行走条件(诸如,如何行走和行走地方)存在差异,则同一个体的步幅长度将存在差异。因此,难以提高各种行走条件下的定位精度。
此外,专利文献2所公开的技术实现了在开始定位时关于行人的位置和运动方向的精度的提高。然而,该技术没有实现随后使用加速度传感器和角速度传感器执行的定位精度的提高。
此外,专利文献3所公开的技术是用于使用利用GPS执行的定位结果来估计运动方向的技术,并且由于需要使用GPS执行定位,因此其不同于用于使用加速度传感器和角速度传感器执行定位的技术。
图1示出了应用本技术的定位方法的概要。
参考图1描述的定位方法是这样的示例,其中,定位对象是行人,并且应用本技术的定位设备10包括在由行人持有(携带)的智能电话20中,或者作为专用设备22附接到可穿戴物品,诸如,行人戴的帽子。注意,定位设备10可以安装在或内置在由不打算行走的对象持有的设备上,诸如,用于例如虚拟现实(VR)、增强现实(AR)或混合现实(MR)的头戴式显示器(HMD)24。
如后所述,定位设备10包括作为惯性传感器的三轴加速度传感器和三轴角速度传感器,并且从加速度传感器和角速度传感器获得指示由行人的运动产生的加速度和角速度的图1的传感器数据12。
随后,定位设备10将传感器数据12输入到图1所示的机器学习模型14,该机器学习模型14使用用于机器学习的算法构建。机器学习模型14基于输入的传感器数据12估计(计算)指示定位设备10的运动量和运动方向的运动矢量。运动矢量指示从运动矢量的先前估计起的定位设备10的相对位置的变化。
使用图1所示的用于学习的行走数据18预先训练机器学习模型14(使其执行学习)。根据各种情况的假设而收集的数据生成用于学习的行走数据18,诸如,当惯性传感器附接到各种地方时的行走数据、当以各种方式行走时的行走数据以及当惯性传感器附接到各种人时的行走数据。
接下来,定位设备10对由机器学习模型14估计的运动矢量、定位设备10在真实空间中的初始位置和初始定向以及关于定位设备10的相对姿态变化的估计的估计信息进行集成。由于该集成,定位设备10获得定位设备10已经在真实空间中通过的位置,并且获得定位设备10(行人)在真实空间中的运动轨迹,如图1中所示的轨迹数据16所示。
《应用本技术的定位设备10的实施例》
图2是应用本技术的定位设备10的实施例的配置示例的框图。假设在本实施例中,图2所示的所有结构部件通过例如支撑件集成,并且定位设备10保持(安装、抓握等)在作为定位对象的任意可移动体(诸如,行人或汽车)的期望部分。在以下描述中,假设定位对象是行人。
定位设备10包括惯性测量单元(IMU)30、姿态航向参考系统32(AHRS)、深度神经网络(DNN)34、外部传感器36和传感器组合器38。
IMU 30是惯性传感器,并且包括三轴加速度传感器40、三轴角速度传感器42和IMU校准器44。加速度传感器40、角速度传感器42和IMU校准器44与框架一体地保持。
加速度传感器40检测在装置中产生的并且是在彼此正交的相应的三个轴的方向上的加速度,并且将指示所检测到的加速度在三个轴的方向上的幅度和定向的加速度信号提供给IMU校准器44。注意,该装置是指支撑加速度传感器40和角速度传感器42的支撑件。
角速度传感器42检测在装置中产生的并且围绕彼此正交的相应的三个轴的角速度,并且将取决于所检测到的围绕三个轴的角速度的幅度和定向的角速度信号提供给IMU校准器44。
(装置坐标系)
此处,当加速度传感器40沿其检测加速度的三个轴是x轴、y轴和z轴时,加速度传感器40和角速度传感器42固定到装置,使得角速度传感器42围绕其检测角速度的三个轴也是x轴、y轴和z轴。以x轴、y轴和z轴为坐标轴的坐标系被称为装置坐标系(局部坐标系)。装置坐标系是固定到装置的坐标系。例如,如图3所示,x轴、y轴和z轴表示相对于与装置一体地移动的定位设备10预先确定的方向的三个轴。
IMU校准器44对由加速度传感器40和角速度传感器42分别提供的加速度信号和角速度信号执行诸如偏差消除和增益调整的校准处理,并减小测量误差。
然后,相对于已经执行校准处理的加速度信号和角速度信号,IMU校准器44以指定的输出间隔将这些信号作为数字数据的加速度数据和角速度数据提供给DNN 34和AHRS32。在本实施例中,输出加速度数据和角速度数据的输出间隔是0.02秒(50Hz的频率),但不限于此。
注意,x、y和z的三个轴的方向上的加速度的加速度数据由(Ax,Ay,Az)表示,并且围绕x、y和z的相应轴的角速度的角速度数据由(ωx,ωy,ωz)表示。
在图2中,AHRS 32包括地磁传感器45和姿态估计器46。
地磁传感器45检测在装置坐标系中的x、y和z的三个轴的方向上的地磁,并且将取决于x、y和z的三个轴的方向上的地磁的幅度和定向的地磁信号提供给姿态估计器46。
姿态估计器46基于来自IMU 30的IMU校准器44的加速度数据(Ax,Ay,Az)和角速度数据(ωx,ωy,ωz)以及来自地磁传感器45的地磁信号来检测(估计)IMU 30的姿态。
具体地,姿态估计器46基于来自IMU校准器44的加速度数据(Ax,Ay,Az)和角速度数据(ωx,ωy,ωz)来检测装置坐标系中的垂直方向(重力加速度方向)。
注意,基于加速度数据(Ax,Ay,Az)和角速度数据(ωx,ωy,ωz)检测垂直方向的方法是公知的,并且省略其详细描述。此外,也可以仅从加速度数据(Ax,Ay,Az)检测垂直方向,并且可以采用用于检测垂直方向的任何方法。
此外,姿态估计器46基于来自地磁传感器45的地磁信号来检测装置坐标系中的地磁方向,并且将所检测到的地磁方向确定为装置坐标系中的磁北方向(magnetic-northdirection)。
姿态估计器46基于所检测到的装置坐标系中的磁北方向和所检测到的垂直方向来检测装置坐标系中的真北方向(true-north direction)。注意,真北方向与垂直方向正交。
然后,姿态估计器46以指定的输出间隔将装置坐标系中的垂直方向和真北方向作为指示IMU 30的姿态(以下称为装置的姿态)的姿态数据提供给传感器组合器38。在本实施例中,输出姿态数据的输出间隔是一秒(1Hz的频率),但不限于此。
(姿态估计的其他模式)
注意,装置的姿态可以由姿态估计器46估计,如下所示。
首先,在姿态估计开始时,姿态估计器46基于加速度数据(Ax,Ay,Az)和角速度数据(ωx,ωy,ωz)来检测装置坐标系中的垂直方向,并且基于来自地磁传感器45的地磁信号来检测装置坐标系中的磁北方向。然后,姿态估计器46基于所检测到的垂直方向和所检测到的磁北方向来计算装置坐标系中的真北方向。
如上所述,姿态估计器46将装置坐标系中的垂直方向和真北方向作为指示装置的初始姿态(初始定向)的姿态数据提供给传感器组合器38,装置坐标系中的垂直方向和真北方向使用来自地磁传感器45的地磁信号获得。此后,不参考来自地磁传感器45的地磁信号,姿态估计器46基于来自IMU校准器44的角速度数据(ωx,ωy,ωz)来检测装置的旋转运动以更新装置坐标系中的垂直方向和真北方向。
因此,每次由IMU校准器44每秒提供角速度数据(ωx,ωy,ωz)时,姿态估计器46更新指示装置坐标系中的垂直方向和真北方向的姿态数据,并且将所更新的姿态数据提供给传感器组合器38。注意,当继续更新垂直方向和真北方向而不使用来自地磁传感器45的地磁信号时,垂直方向与真北方向之间的误差累积以逐渐增大。因此,可以在适当的定时从开始执行该模式中的处理。
此处,AHRS 32不必必须包括地磁传感器45。当AHRS 32不包括地磁传感器45时,姿态估计器46可以从外部地磁传感器获取关于磁北方向(或真北方向)的信息。此外,当行人执行指定的操作时,姿态估计器46可以识别(定位设备10的)装置坐标系中的特定方向是磁北方向,其中,(定位设备10的)装置坐标系中的特定方向朝向磁北方向定向。此外,姿态估计器46可以从外部GNSS接收器(诸如,稍后描述的外部传感器36)、姿态估计传感器(诸如,地球旋转传感器)或地图信息获取关于真北方向的信息。注意,当定位设备10包括多个GNSS接收器时,这使得姿态估计器46能够基于由多个GNSS接收器检测到的纬度、经度和高度的值来检测装置坐标系中的真北方向。此外,姿态估计器46能够根据从GNSS接收器获得的关于装置的速度(装置的运动方向)的信息和由稍后描述的运动矢量估计器48估计的装置的运动方向来检测装置坐标系中的真北方向。
此外,相对于装置坐标系中的垂直方向和真北方向的检测,即装置的绝对姿态的检测,检测处理的一部分可以由传感器组合器38执行,所有检测处理不由姿态估计器46执行。
例如,姿态估计器46基于来自IMU校准器44的角速度数据(ωx,ωy,ωz)来检测装置相对于初始绝对姿态的相对姿态的变化(相对姿态的变化)或者在每个指定时间段内装置的相对姿态的变化,并且将所检测到的相对姿态的变化作为姿态数据提供给传感器组合器38。此外,姿态估计器46还基于来自IMU校准器44的加速度数据(Ax,Ay,Az)将关于装置坐标系中的垂直方向的信息作为姿态数据提供给传感器组合器38。
传感器组合器38基于从例如地磁传感器45、稍后描述的外部传感器36、姿态估计传感器(诸如,地球旋转传感器)或地图信息获得的数据来检测装置坐标系中的磁北方向或真北方向。然后,传感器组合器38使用关于所检测到的磁北方向或真北方向的信息以及来自姿态估计器46的关于垂直方向的信息来检测装置的初始绝对姿态。在传感器组合器38检测到装置的初始绝对姿态之后,传感器组合器38基于装置的初始绝对姿态和由姿态估计器46提供的关于装置的相对姿态的变化的信息来检测装置的绝对姿态。
DNN 34包括使用机器学习模型执行算术处理的运动矢量估计器48。
基于由IMU 30的IMU校准器44提供的加速度数据(Ax,Ay,Az)和角速度数据(ωx,ωy,ωz),运动矢量估计器48估计(计算)装置坐标系中的运动矢量M,该运动矢量M指示由装置执行的运动的运动量和运动方向。然后,运动矢量估计器48以指定的输出间隔将所估计的运动矢量M提供给传感器组合器38。在本实施例中,输出运动矢量M的输出间隔是一秒(1Hz的频率),但不限于此。
使用基于用于机器学习的算法构建的机器学习模型来估计运动矢量M,并且运动矢量估计器48使用预先训练的机器学习模型来执行算术处理以估计运动矢量M。
机器学习模型的输入数据是总共六个轴的传感器数据(Ax,Ay,Az,ωx,ωy,ωz),即由IMU校准器44提供的加速度数据(Ax,Ay,Az)和角速度数据(ωx,ωy,ωz)。此外,机器学习模型相对于输入数据的输出数据是装置坐标系中的运动矢量M,该运动矢量M指示被估计为在用于估计运动矢量的指定时间段内已经由装置执行的运动的运动量和运动方向。
具体地,输出数据是装置坐标系中的x、y和z的三个轴的方向的估计的运动矢量M的分量值(xyz分量值),并且装置坐标系中的运动矢量M的xyz分量值由(Mx,My,Mz)表示。
用于估计运动矢量的时间段指示从计算先前估计的运动矢量M到计算当前估计的运动矢量M的时间段。用于估计运动矢量的时间段与估计的运动矢量M提供给传感器组合器38的输出间隔同步(一致),并且在本实施例中用于估计运动矢量的时间段是一秒(1Hz的频率)。因此,由运动矢量估计器48估计的运动矢量M指示由装置在一秒钟内执行的运动的运动量和运动方向。
外部传感器36是使用全球定位系统(GPS)的定位传感器,该GPS是使用人造卫星的全球导航卫星系统(GNSS)中的一个。
外部传感器36包括传感器部50、定位地图数据存储器52和定位部54。
传感器部50接收从多个(例如,四个)低地球轨道GPS卫星发送的卫星无线电信号,并且提取包括在卫星无线电信号中的信息,并且是诸如指示卫星位置的轨道信息和指示发送时间的时间信息的信息。然后,传感器部50将所提取的信息作为卫星接收数据提供给定位部54。
定位地图数据存储器52存储有地图数据,该地图数据将地理坐标系中的纬度、经度和高度与例如道路形状、道路宽度、道路名称、建筑物、各种设施、地理名称和地形的数据相关联。
基于来自传感器部50的卫星接收数据和存储在定位地图数据存储器52中的地图数据,定位部54计算地球上的地理坐标系中的纬度、经度和高度的值作为接收卫星无线电信号时装置的位置。
换句话说,基于包括在来自传感器部50的卫星接收数据中的轨道信息和时间信息,定位部54计算地理坐标系中的坐标值G(纬度值,经度值,高度值),该坐标值指示接收卫星无线电信号时装置的位置。
此外,定位部54从定位地图数据存储器52获取所计算的坐标值G周围的地图数据,并且基于所获取的地图数据适当地校正坐标值G。例如,当定位部54确定坐标值G的位置是装置不能物理存在于由从定位地图数据存储器52获取的地图数据指示的地图上的位置时,定位部54对坐标值G执行校正,以获得位于坐标值G的位置附近的位置的适当坐标值。
用于校正坐标值G的各种方法是公知的,并且可以使用任何方法。此外,不必必须执行校正本身。
定位部54以指定的输出间隔将地理坐标系中的坐标值G(纬度值,经度值,高度值)作为指示装置的当前位置的外部定位数据提供给传感器组合器38,坐标值G通过执行上述处理获得。在本实施例中,输出外部定位数据的输出间隔是一秒,但不限于此。定位部54可以仅在传感器组合器38发出请求时将外部定位数据提供给传感器组合器38,这将在后面描述。
传感器组合器38包括坐标转换器56、积分部58和获得绝对位置的PDR部60。
基于来自AHRS 32的姿态估计器46的姿态数据,坐标转换器56将来自DNN 34的运动矢量估计器48的装置坐标系中的运动矢量M转换为稍后描述的世界坐标系中的运动矢量MG。
具体地,基于来自姿态估计器46的姿态数据,坐标转换器56将装置坐标系中的xyz分量值(Mx,My,Mz)转换为世界坐标系中的XYZ分量值(MX,MY,MZ),xyz分量值(Mx,My,Mz)是来自运动矢量估计器48的运动矢量M的xyz分量值。
坐标转换器56以指定的输出间隔将世界坐标系中的运动矢量MG提供给积分部58。在本实施例中,输出运动矢量MG的输出间隔是一秒,但不限于此。
(世界坐标系)
此处,世界坐标系是固定在真实空间中的坐标系,其中,彼此正交的X轴、Y轴和Z轴的三个轴是坐标轴,如图3所示。注意,世界坐标系被设置为使得真北方向和垂直方向是预先确定的方向。例如,世界坐标系被设置为使得真北方向由Y轴方向表示,并且垂直方向由与Z轴方向相反的方向表示。
(姿态数据)
坐标转换器56基于由装置坐标系表示并且由来自姿态估计器46的姿态数据指示的垂直方向和真北方向来指定世界坐标系中的装置坐标系的x轴、y轴和z轴的三个方向。换句话说,在由装置坐标系表示并且由姿态数据指示的垂直方向和真北方向分别与世界坐标系中的垂直方向和真北方向一致的状态下,坐标转换器56指定世界坐标系中的装置坐标系的x轴、y轴和z轴的三个方向。
(坐标转换的描述)
图4是描述由坐标转换器56执行的处理的内容的示图。注意,在附图中,省略了作为与附图的纸张的表面正交的方向的装置坐标系中的z轴和世界坐标系中的Z轴,并且仅示出了装置坐标系中的x轴和y轴以及世界坐标系中的X轴和Y轴。装置坐标系由O1-xy表示,世界坐标系由O2-XY表示。此外,假设装置坐标系中的z轴始终与世界坐标系中的Z轴一致,并且装置的姿态的变化限于围绕Z轴(z轴)的旋转运动。
在图4的A中,在装置坐标系O1-xy中指示的运动矢量M1、M2和M3是当装置限于沿X轴和Y轴(x轴和y轴)的两个方向运动时的运动矢量M的示例,运动矢量M以此顺序从运动矢量估计器48提供给坐标转换器56。
另一方面,图4的B中所示的世界坐标系O2-XY中的装置坐标系80指示当由运动矢量估计器48估计运动矢量M1时的装置坐标系O1-xy。可以使用来自姿态估计器46的姿态数据来掌握装置坐标系O1-xy与世界坐标系O2-XY之间的空间关系(相对于旋转运动的关系)。当在估计运动矢量M1时的装置坐标系O1-xy基于在估计运动矢量M1时的姿态数据由世界坐标系O2-XY表示时,装置坐标系80是装置坐标系O1-xy。
此外,在装置坐标系80中表示运动矢量MG1,该运动矢量MG1通过保持在装置坐标系O1-xy中的运动矢量M1的幅度和定向的同时在装置坐标系80中表示运动矢量M1来获得。
注意,由坐标转换器56执行的处理是相对于矢量分量执行的从装置坐标系到世界坐标系的坐标转换,并且装置坐标系相对于世界坐标系的平移运动不影响转换结果。因此,在图4的B中,为了方便起见,装置坐标系80的原点O1与世界坐标系O2-XY的原点O2一致。
如在装置坐标系80的情况下,当在估计运动矢量M2时的装置坐标系O1-xy由基于在估计运动矢量M2时的姿态数据的世界坐标系O2-XY表示时,图4的B中所示的世界坐标系O2-XY中的装置坐标系82是装置坐标系O1-xy,并且当在估计运动矢量M3时的装置坐标系O1-xy由基于在估计运动矢量M3时的姿态数据的世界坐标系O2-XY表示时,图4的B中所示的世界坐标系O2-XY中的装置坐标系84是装置坐标系O1-xy。
此外,在装置坐标系82中表示运动矢量MG2,该运动矢量MG2通过保持在装置坐标系O1-xy中的运动矢量M2的幅度和方向的同时在装置坐标系82中表示运动矢量M2来获得,并且在装置坐标系84中表示运动矢量MG3,该运动矢量MG3通过保持在装置坐标系O1-xy中的运动矢量M3的幅度和方向的同时在装置坐标系84中表示运动矢量M3来获得。
注意,使装置坐标系82的原点O1与运动矢量MG1的终点一致,使得运动矢量MG2的起点与运动矢量MG1的终点一致,并且使装置坐标系84的原点O1与运动矢量MG2的终点一致,使得运动矢量MG3的起点与运动矢量MG2的终点一致。
如图4的B中所示的装置坐标系80、82和84以及运动矢量MG1、MG2和MG3所示,装置坐标系80、82和84相对于世界坐标系O2-XY的旋转的运动量根据装置的姿态而变化。由运动矢量MG1和MG2形成的角度、由运动矢量MG1和MG3形成的角度以及由运动矢量MG2和MG3形成的角度也分别不同于图4的A所示的装置坐标系O1-xy中的由运动矢量M1和M2形成的角度、由运动矢量M1和M3形成的角度以及由运动矢量M2和M3形成的角度。
装置在真实空间中的运动由世界坐标系O2-XY中的运动矢量MG1、MG2和MG3表示。因此,坐标转换器56将装置坐标系O1-xy中的运动矢量M1、M2和M3转换为世界坐标系O2-XY中的运动矢量MG1、MG2和MG3。例如,对装置坐标系O1-xy中的运动矢量M1执行坐标转换,使得装置坐标系O1-xy中的运动矢量M1的xy分量值被转换为通过由世界坐标系O2-XY表示并且具有XY分量值的矢量绕着Z轴旋转世界坐标系O2-XY中的装置坐标系80的绕着Z轴的旋转的运动量而获得的xy分量值。这导致计算通过将装置坐标系O1-xy中的运动矢量M转换为世界坐标系中的运动矢量MG而获得的运动矢量MG的XY分量值。
此处,已经描述了装置的姿态的变化限于绕着Z轴旋转的运动,并且装置限于沿X轴和Y轴的两个方向移动的情况。然而,在没有这些限制的情况下,装置坐标系中的运动矢量M的xyz分量值被类似地转换为世界坐标系中的运动矢量MG的XYZ分量值。换句话说,对装置坐标系中的运动矢量M执行坐标转换,使得装置坐标系中的运动矢量M的xyz分量值(Mx,My,Mz)被转换为通过由世界坐标系O2-XYZ表示并且具有XYZ分量值的矢量绕着相应的X、Y和Z轴旋转世界坐标系O2-XYZ中的装置坐标系O1-xyz的绕着相应的X、Y和Z轴的旋转的运动量而获得的XYZ分量值(MX,MY,MZ)。这导致计算通过将装置坐标系中的运动矢量M转换为世界坐标系中的运动矢量MG而获得的运动矢量MG的XYZ分量值(MX,MY,MZ)。
如上所述,当由运动矢量估计器48估计的装置坐标系中的运动矢量M被转换为世界坐标系中的运动矢量MG时,这导致获得已经消除由于装置的姿态的变化引起的影响的装置的运动量和运动方向。
在图2中,积分部58对来自坐标转换器56的运动矢量MG进行积分以计算位移矢量D,并且以指定的输出间隔将所计算的位移矢量D提供给获得绝对位置的PDR部60。在本实施例中,输出位移矢量D的输出间隔与从坐标转换器56提供运动矢量MG的间隔同步为一秒。然而,输出间隔不限于此。
(运动矢量的积分)
通过对X分量、Y分量和Z分量的相应分量的运动矢量MG的XYZ分量值(MX,MY,MZ)进行积分来执行运动矢量MG的积分,XYZ分量值(MX,MY,MZ)由坐标转换器56每秒提供。然后,通过积分获得的X分量、Y分量和Z分量的相应分量的积分值DX、DY和DZ用于位移矢量D的XYZ分量值(DX,DY,DZ)。因此,位移矢量D最初被设置为零矢量,并且每次从坐标转换器56提供新的运动矢量MG时,运动矢量MG被添加到位移矢量D。这导致更新位移矢量D。
此处,当对来自坐标转换器56的运动矢量MG进行积分以计算位移矢量D时,估计装置的位移。换句话说,当积分部58开始执行积分时(当位移矢量D是零矢量时),装置在真实空间和世界坐标系中的位置是参考位置(初始位置),位移矢量D指示装置从真实空间和世界坐标系中的参考位置到当前位置的位移的位移量和位移方向。此外,位移矢量D指示装置相对于真实空间和装置坐标系中的参考位置的相对当前位置(相对位置)。
<由积分部58执行的积分的描述>
图5是描述由积分部58执行的处理的内容的示图。注意,在附图中,省略了作为与附图的纸张的表面正交的方向的世界坐标系中的Z轴,并且仅示出了世界坐标系中的X轴和Y轴。世界坐标系由O2-XY表示。此外,该附图示出了装置限于沿X轴和Y轴的两个方向移动的情况。
该附图示出了世界坐标系O2-XY中的运动矢量MG1、MG2、MG3、…、MGp、…、MGq(p和q是正整数,并且p<q)和位移矢量D1、D2、D3、…、Dp、…、Dq(p和q是自然数,并且p<q)。
当位移矢量D是零矢量时,运动矢量MG1、MG2、MG3、…、MGp、…、MGq是从坐标转换器56依次提供给积分部58的运动矢量MG,并且处于按时间顺序连接的状态。注意,连接是指两个时间上相邻的运动矢量中的较早提供的一个运动矢量的终点被设置为较晚提供的运动矢量的起点的状态。
位移矢量D1、D2、D3、…、Dp、…、Dq是分别通过由积分部58依次相加的相应运动矢量MG1、MG2、MG3、…、MGp、…、MGq获得的位移矢量D。
位移矢量D1是当位移矢量D是零矢量时通过将首先由坐标转换器56提供的运动矢量MG1相加而获得的位移矢量,并且等同于运动矢量MG1。位移矢量D1的终点指示装置根据由运动矢量MG1指示的运动量和运动方向从原点O2移动到的位置,并且指示装置相对于真实空间中的参考位置的当前相对位置。注意,当位移矢量D是零矢量时,世界坐标系的原点O2被设置为指示装置在真实空间和世界坐标系中的位置的参考位置,但是参考位置不必限于此。
当运动矢量MG2随后提供给积分部58时,运动矢量MG2被添加到位移矢量D1以计算位移矢量D2。如图所示,位移矢量D2的终点指示装置根据由运动矢量MG2指示的运动量和运动方向从位移矢量D1的终点移动到的位置,并且当连接运动矢量MG1和MG2时,与运动矢量MG2的终点一致。
如上所述,当提供运动矢量MGp时,积分部58将运动矢量MGp与位移矢量D(p-1)相加以计算位移矢量Dp。此处,位移矢量Dp的终点指示装置根据由运动矢量MGp指示的运动量和运动方向从位移矢量D(p-1)的终点移动到的位置。
然后,当最新的运动矢量MGq被提供给积分部58时计算的位移矢量Dq的终点指示装置相对于真实空间和世界坐标系中的参考位置的当前相对位置。
注意,由积分部58依次计算的世界坐标系中的位移矢量D的XYZ分量值(DX,DY,DZ)可以作为指示装置相对于真实空间中的指定参考位置的相对位置的数据存储在存储器(未示出)中,使得例如可以显示装置相对于参考位置的相对位置的轨迹。
在图2中,获得绝对位置的PDR部60基于来自积分部58的位移矢量D来计算绝对坐标系的坐标值,该绝对坐标系的坐标值指示装置在真实空间中的当前位置(当前绝对位置)。
绝对坐标系是使用坐标值来唯一地指定例如地球上的真实空间中的任意位置的坐标系。例如,纬度、经度和高度的值用作坐标值的地理坐标系对应于绝对坐标系。
此处,本实施例中的世界坐标系是例如x轴、y轴和z轴的三个方向上的距原点的距离由坐标值表示的坐标系。通常,真实空间中的位置和世界坐标系的坐标点彼此不相关联。因此,在这种情况下,使用真实空间中的位置和坐标值预先彼此相关联的地理坐标系的坐标值(纬度值,亮度值,高度值)来获得指示装置在真实空间中的当前位置的坐标值。
注意,获得绝对位置的PDR部60可以使用另一类型的绝对坐标系(诸如,真实空间中的位置和坐标值预先彼此相关联的地理坐标系)的坐标值来获得装置的当前位置,或者可以在绝对坐标系本身用作世界坐标系的情况下使用世界坐标系的坐标值来获得装置的当前位置。
此外,如本实施例中所述,当获得绝对坐标系的坐标值作为指示装置的当前位置的坐标值时,在绝对坐标系本身用作世界坐标系的情况下,不需要使用除了绝对坐标系之外的世界坐标系。然而,在本实施例中,考虑到在除了绝对坐标系之外的坐标系中获得指示装置的当前位置的坐标值的情况,使用作为世界坐标系和绝对坐标系的两个坐标系来获得指示装置的当前位置的坐标值。
首先,获得绝对位置的PDR部60设置世界坐标系和地理坐标系的参考位置。参考位置可以在诸如当由获得绝对位置的PDR部60执行的处理开始时的任何定时设置。参考位置可以在当行人在作为参考位置的地方时他/她自己给出使用指定的输入装置(inputmeans)在真实空间中设置参考位置的指令的定时设置,或者可以在由外部传感器(未示出)给出指示参考位置的信号的定时设置。
此外,在由运动矢量估计器48计算的运动矢量M中出现理论上可计算的误差,并且该误差累积在位移矢量D中。因此,获得绝对位置的PDR部60可以计算位移矢量D中的误差,并且可以在所计算的误差不小于指定阈值时设置参考位置,以便重置位移矢量D,如下所述。
从由外部传感器36每秒提供的外部定位数据中,获得绝对位置的PDR部60获取当设置世界坐标系和地理坐标系的参考位置时提供的外部定位数据。注意,当需要获得绝对位置的PDR部60时,获得绝对位置的PDR部60可以请求外部传感器36提供外部定位数据。
然后,获得绝对位置的PDR部60将由所获取的外部定位数据指示的地理坐标系中的坐标值G(纬度值,经度值,高度值)设置为指示地理坐标系的参考位置的参考坐标值SB,并且将积分部58的位移矢量D重置为零矢量。此外,对应于地理坐标系的参考坐标值SB的世界坐标系的坐标值被设置为指示世界坐标系的参考位置的参考坐标值PB。
注意,当第一次设置参考坐标值PB时,预定坐标值(例如,原点)被设置为世界坐标系的参考坐标值PB。图6示出了在世界坐标系O2-XYZ中设置的参考坐标值PB(D0X,D0Y,DOZ),其中,Z轴是与附图的纸张的表面正交的方向。
世界坐标系被设置为使得真实空间中的垂直方向和真北方向是相对于X轴、Y轴和Z轴的三个方向的指定方向。因此,当世界坐标系的参考坐标值PB和地理坐标系的参考坐标值SB作为指示真实空间中相同位置的坐标值彼此相关联时,世界坐标系的每一个坐标值和地理坐标系的相应一个坐标值彼此相关联,并且真实空间中的位置和世界坐标系的坐标值通过地理坐标系的坐标值彼此相关联。
注意,当不使用地理坐标系时,当行人位于作为真实空间中的参考位置的地方时,通过将世界坐标系的预定坐标值设置为参考坐标值PB,真实空间中的位置和世界坐标系的坐标值也彼此相关联。
在获得绝对位置的PDR部60设置世界坐标系和地理坐标系的参考位置之后,每次从积分部58提供位移矢量D时,获得绝对位置的PDR部60计算坐标值P(D0X+DX,D0Y+DY,D0Z+DZ)作为指示装置的当前位置的坐标值P,该坐标值P(D0X+DX,D0Y+DY,D0Z+DZ)通过将位移矢量D的XYZ分量值(DX,DY,DZ)与世界坐标系的参考坐标值PB(D0X,D0Y,D0Z)相加来获得,如图6所示。
此外,计算与世界坐标系的坐标值P(D0X+DX,D0Y+DY,D0Z+DZ)相关联的地理坐标系的坐标值S(纬度值,经度值,高度值)作为指示装置的当前位置的坐标值S。
注意,通过将位移矢量D转换为地理坐标系的相应轴的分量值,并且将该分量值与地理坐标系的参考坐标值SB相加,也可以直接计算地理坐标系的坐标值S(纬度值,经度值,高度值),而无需使用世界坐标系。
然后,获得绝对位置的PDR部60将所获得的世界坐标系的坐标值P和所获得的地理坐标系的坐标值S设置为各自指示装置的当前位置的坐标值,并且将所获得的世界坐标系的坐标值P和所获得的地理坐标系的坐标值S设置为指示定位结果的定位数据。
此外,获得绝对位置的PDR部60基于由积分部58每秒提供的位移矢量D以顺序的方式获得定位数据,并且生成指示装置在真实空间中已经沿着其移动的轨迹的轨迹数据。
获得绝对位置的PDR部60将如上所述获得的定位数据和轨迹数据提供给显示部(未示出)、存储器(未示出)和外部设备(未示出)中的至少一个。当定位数据和轨迹数据被提供给显示部时,可以采用任何显示模式(诸如,由定位数据或轨迹数据指示的位置被可视化为在地图图像上的相应位置上显示的模式)来执行显示。
图7示出了显示使用世界坐标系的坐标值生成的轨迹数据的示例。在图7中,横轴表示世界坐标系的X坐标值,纵轴表示世界坐标系的Y坐标值。如图7所示,轨迹数据可以通过使用直线并以通过的顺序连接装置在表示世界坐标系的XY坐标平面中通过的坐标点来被可视化显示。
注意,在该附图中,省略了世界坐标系的Z轴方向的轨迹数据的显示。然而,也可以通过显示世界坐标系的XZ坐标平面和YZ坐标平面并且通过在这些坐标平面的每一个上显示轨迹数据来显示Z轴方向的轨迹数据。此外,还可以立体地显示世界坐标系的X轴、Y轴和Z轴,并且可以三维地显示X轴、Y轴和Z轴的方向上的轨迹数据。
此处,外部设备是使用无线连接和有线连接中的至少一个连接到定位设备10的诸如计算机的设备。
此外,在存储器中,从获得绝对位置的PDR部60提供的数据存储在诸如闪存的非易失性存储器中,数据可以被重写到该非易失性存储器中。
此外,在上述实施例中,所有结构部件例如通过支撑件一体化。结构部件不必必须一体化,并且可以分成多个部分,只要可以无线地或通过有线传送信号。然而,加速度传感器40、角速度传感器42和地磁传感器45由诸如行人的测量对象保持。
《在图2所示的本实施例中执行的处理过程》
图8是示出由图2所示的定位设备10执行的处理的示例的流程图。
图8的步骤S10至S20由AHRS 32、DNN 34和传感器组合器38重复执行。
在步骤S10中,AHRS 32和DNN 34从IMU 30获取分别指示由IMU 30的加速度传感器40和角速度传感器42分别检测到的加速度和角速度的加速度数据(Ax,Ay,Az)和角速度数据(ωx,ωy,ωz)作为传感器数据(Ax,Ay,Az,ωx,ωy,ωz)。注意,在步骤S10中,AHRS 32和DNN 34在一秒的时间段内获取传感器数据(Ax,Ay,Az,ωx,ωy,ωz),该传感器数据(Ax,Ay,Az,ωx,ωy,ωz)由IMU 30每0.02秒提供。
在步骤S12中,AHRS 32基于在步骤S10中获取的传感器数据(Ax,Ay,Az,ωx,ωy,ωz)和来自包括在AHRS 32中的地磁传感器45的地磁信号来估计装置在真实空间中的姿态。换句话说,AHRS 32计算装置坐标系中的垂直方向和真北方向作为指示装置的姿态的姿态数据。
相对于由IMU 30提供的在一秒的时间段内的传感器数据(Ax,Ay,Az,ωx,ωy,ωz),AHRS 32估计装置在一秒的时间段内改变之后的姿态。然后,通过重复执行步骤S10至S20,AHRS 32每秒更新姿态数据,并且每秒将所更新的姿态数据提供给传感器组合器38的坐标转换器56。
在步骤S14中,DNN 34的运动矢量估计器48基于在步骤S10中获取的传感器数据(Ax,Ay,Az,ωx,ωy,ωz)来估计装置坐标系中的运动矢量M。换句话说,运动矢量估计器48计算装置坐标系中的运动矢量M的xyz分量值(Mx,My,Mz),该xyz分量值(Mx,My,Mz)指示被估计为在用于估计运动矢量的时间段的一秒的时间段内已经由装置执行的运动的运动量和运动方向。
在运动矢量的估计中,使用由稍后将描述的图9所示的模型发生器90和数据收集器92生成的训练的机器学习模型(已经执行学习的机器学习模型)。
通过重复执行步骤S10至S20,运动矢量估计器48每秒估计运动矢量M,并且每秒将所估计的运动矢量M提供给传感器组合器38的坐标转换器56。
在步骤S16中,传感器组合器38的坐标转换器56基于在步骤S12中由AHRS 32提供的姿态数据和在步骤S14中由运动矢量估计器48提供的运动矢量,将装置坐标系中的运动矢量M转换为世界坐标系中的运动矢量MG。
换句话说,坐标转换器56基于装置的姿态,将装置坐标系中的运动矢量M的xyz分量值(Mx,My,Mz)转换为世界坐标系中的运动矢量MG的XYZ分量值(MX,MY,MZ)。
通过重复执行步骤S10至S20,坐标转换器56将从运动矢量估计器48每1秒提供的装置坐标系中的运动矢量M转换为世界坐标系中的运动矢量MG,并且每秒将通过转换获得的运动矢量MG提供给传感器组合器38的积分部58。
在步骤S18中,传感器组合器38的积分部58将在步骤S16中由坐标转换器56提供的运动矢量MG与位移矢量D相加,以更新位移矢量D。
换句话说,积分部58将由坐标转换器56提供的运动矢量MG的XYZ分量值(MX,MY,MZ)与位移矢量D的XYZ分量值(DX,DY,DZ)相加,并且将通过相加获得的XYZ分量值(DX+MX,DY+MY,DZ+MZ)更新为位移矢量D的XYZ分量值(DX,DY,DZ)。这导致计算指示装置从世界坐标系中的参考位置到当前位置的位移的位移量和位移方向(装置相对于参考位置的相对位置)的位移矢量D。
通过重复执行步骤S10至S20,积分部58响应于由积分部58每秒提供的运动矢量MG每秒更新位移矢量D,并且每秒将所更新的位移矢量D提供给获得绝对位置的PDR部60。
在步骤S20中,传感器组合器38的获得绝对位置的PDR部60基于由积分部58提供的位移矢量D来计算指示装置在真实空间中的当前位置(当前绝对位置)的坐标值。
换句话说,获得绝对位置的PDR部60将由积分部58提供的位移矢量D的XYZ分量值(DX,DY,DZ)与世界坐标系的参考坐标值PB(D0X,D0Y,D0Z)相加,并且计算指示装置的当前位置的坐标值P(D0X+DX,D0Y+DY,D0Z+DZ)。
此外,获得绝对位置的PDR部60计算与世界坐标系的坐标值P(D0X+DX,D0Y+DY,D0Z+DZ)相关联的地理坐标系的坐标值S(纬度值,经度值,高度值)作为指示装置的当前位置的坐标值S。
注意,获得绝对位置的PDR部60在开始执行处理时将积分部58的位移矢量D重置为零矢量,并且在重置时将由从外部传感器36获取的外部定位数据指示的地理坐标系中的坐标值G(纬度值,经度值,高度值)设置为指示地理坐标系的参考位置的参考坐标值SB。
此外,同时,获得绝对位置的PDR部60将对应于地理坐标系的参考坐标值SB的世界坐标系的坐标值设置为指示世界坐标系的参考位置的参考坐标值PB。当获得绝对位置的PDR部60第一次设置参考坐标值PB时,获得绝对位置的PDR部60将预定坐标值(例如,原点)设置为世界坐标系的参考坐标值PB。因此,获得绝对位置的PDR部60将世界坐标系的坐标值与地理坐标系的坐标值相关联。
然后,通过重复执行步骤S10至S20,相对于由积分部58每秒提供的位移矢量D,获得绝对位置的PDR部60每秒计算世界坐标系的坐标值P和地理坐标系的坐标值S作为指示装置在真实空间中的当前位置的坐标值,并且使用所计算的世界坐标系的坐标值P和所计算的地理坐标系的坐标值S作为由定位设备10执行的定位的结果的定位数据。
此外,通过重复执行步骤S10至S20,获得绝对位置的PDR部60存储每秒获得的定位数据以生成指示装置已经通过的位置的轨迹的轨迹数据。
《机器学习模型的生成》
接下来,描述机器学习模型的生成(训练)。如图9所示,使用模型发生器90和数据收集器92来生成(训练)机器学习模型,该模型发生器90和数据收集器92通过安装在通用计算机等中的软件的程序来操作。
图9是模型发生器90和数据收集器92的配置示例的框图,该模型发生器90执行使用安装在通用计算机中的软件的程序来生成机器学习模型的处理,数据收集器92收集行走数据。
在模型发生器90中,中央处理单元(CPU)151、只读存储器(ROM)152和随机存取存储器(RAM)153通过总线154彼此连接。
此外,输入/输出接口155连接到总线154。输入部156、输出部157、存储器158、通信部159和驱动器160连接到输入/输出接口155。
输入部156包括例如键盘、鼠标和麦克风。输出部157包括例如显示器和扬声器。存储器158包括例如硬盘和非易失性存储器。通信部159包括例如网络接口。驱动器160驱动可移动介质161,诸如磁盘、光盘、磁光盘或半导体存储器。
在具有上述配置的模型发生器90中,例如,通过CPU 151经由输入/输出接口155和总线154将存储在存储器158中的程序加载到RAM 153中并执行该程序来执行生成机器学习模型的处理。
例如,数据收集器92具有与上述实施例中的定位设备10的配置类似的配置,并且通信地连接到模型发生器90的通信部159。
注意,进行以下描述,其中,数据收集器92的与定位设备10的部件相同或类似的部件由与定位设备10相同的参考数字表示。然而,数据收集器92不必包括运动矢量估计器48。如果数据收集器92包括与定位设备10的IMU 30和AHRS 32类似的IMU 30和AHRS 32,并且能够获得从IMU 30和AHRS 32输出的加速度数据、角速度数据和姿态数据,这就足够了。
此外,当生成机器学习模型的训练数据时,姿态数据是用于获得装置坐标系中的运动矢量的xyz分量值的数据,该姿态数据是用作输出数据的正确答案。然而,姿态数据不必必须由AHRS 32测量。例如,当数据收集器92在真实空间中的姿态在收集行走数据时基本上是恒定的并且可以保持该姿态时,也不需要由AHRS 32执行的姿态数据的测量,并且因此也不需要AHRS 32。
此外,数据收集器92包括使用来自执行无线通信的装置的信号(诸如,信标信号)的定位装置(positioning means),并且数据收集器92的三维位置由定位装置测量。然而,定位装置不限于此。
图10是示出由模型发生器90和数据收集器92执行的生成机器学习模型的处理的示例的流程图。
在图1O的S22中,模型发生器90(CPU 151)通过数据收集器92收集行走数据。行走数据是用于生成训练数据的实际测量数据,该训练数据用于训练机器学习模型(以使机器学习模型执行学习),并且从行走数据生成的训练数据被称为用于学习的行走数据。
当机器学习模型的创建者使用数据收集器92收集行走数据时,机器学习模型的创建者使数据收集器92在行人握住数据收集器92的状态下开始测量(获取数据的处理)。然后,行人沿着指定的运动路径行走(包括跑步)。然而,运动路径可以由行人自由地确定。
在测量开始之后,数据收集器92获取由通过IMU 30以指定的时间间隔输出的加速度数据(Ax,Ay,Az)和角速度数据(ωx,ωy,ωz)组成的传感器数据(Ax,Ay,Az,ωx,ωy,ωz)作为行走数据。传感器数据对应于当行人握住定位设备10时由定位设备10(装置)的加速度传感器40和角速度传感器42分别获得的加速度数据和角速度数据。
此外,数据收集器92获取由AHRS 32以指定的时间间隔输出的姿态数据以及指示数据收集器92的三维位置并且由定位装置以指定的时间间隔输出的位置数据作为行走数据。
此外,数据收集器92获取指示从测量开始起已经经过的时间并且指示分别输出传感器数据(Ax,Ay,Az,ωx,ωy,ωz)、姿态数据和位置数据的时间的时间数据作为行走数据。
由数据收集器92获取的行走数据临时存储在数据收集器92中,并且在测量结束之后通过模型发生器90的通信部159被传送到存储器158。
在改变与行人的运动相关的因素、与行人(个体)相关的因素和与行走环境相关的因素的同时,在各种情况下执行上述行走数据的收集。
与行人的运动相关的因素的示例包括行走的同时侧视、重复运动和停止的停止和前进(STOP&GO)以及侧向行走。
此外,与行人相关的因素的示例包括如何行走的个体差异(行人自己)、保持数据收集器92的位置(诸如,脚、腰部、手、手臂和头部)、保持数据收集器92的状态(诸如,穿在身上、附着在衣服上、用手抓住以及放入口袋或包中)、行人的性别和行人的鞋(诸如,运动鞋、皮鞋和高跟鞋)。
与环境相关的因素的示例包括行走地方的状态(诸如,楼梯和斜坡)。
通过改变这些因素的组合来收集行走数据。通过使用考虑了这种各种情况的行走数据来训练机器模型,相对于各种情况以高精度执行使用机器学习模型的运动矢量的估计。
在图10的步骤S24中,模型发生器90(CPU 151)对在步骤S22中收集的行走数据执行预处理以生成作为训练数据的用于学习的行走数据。
此处,作为用于训练机器学习模型的训练数据的用于学习的行走数据包括在训练时从机器学习模型的数据输入部输入的输入数据以及作为输入数据的正确答案的输出数据。输入数据是包括加速度数据(Ax,Ay,Az)和角速度数据(ωx,ωy,ωz)的传感器数据(Ax,Ay,Az,ωx,ωy,ωz),并且输出数据是作为输入数据的正确答案的装置坐标系中的运动矢量M的xyz分量值(Mx,My,Mz)。
对于在步骤S22中在各种情况下获取的大量行走数据,对行走数据中的每一个类似地执行对行走数据的预处理。然而,以下集中于单个行走数据进行描述。
首先,模型发生器90(CPU 151)可以生成包括已经从其分离重力的加速度数据的行走数据。换句话说,基于模型发生器90(CPU 151)的传感器数据(Ax,Ay,Az,ωx,ωy,ωz),获得包括在加速度数据(Ax,Ay,Az)中的重力加速度的xyz轴分量值。当使用重力加速度数据(Gx,Gy,Gz)来表示重力加速度的xyz轴分量值时,模型发生器90(CPU 151)通过从加速度数据(Ax,Ay,Az)中减去重力加速度数据(Gx,Gy,Gz)来获得重力移除加速度(Ax-Gx,Ay-Gy,Az-Gz)。因此,模型发生器90(CPU 151)将加速度数据(Ax,Ay,Az)分离为重力移除加速度(Ax-Gx,Ay-Gy,Az-Gz)和重力加速度数据(Gx,Gy,Gz)。然后,模型发生器90(CPU 151)可以使用九轴数据(Ax-Gx,Ay-Gy,Az-Gz,Gx,Gy,Gz,ωx,ωy,ωz)作为传感器数据(Ax,Ay,Az,ωx,ωy,ωz)来生成较少依赖于装置的姿态的行走数据。然而,假设在对行走数据执行的预处理的以下描述中,模型发生器90(CPU 151)不生成包括已经从其分离重力的加速度数据的行走数据。
基于定位设备10的形状(外部形状)的对称性,模型发生器90(CPU 151)在收集行走数据时从姿态(称为原始姿态)生成定位设备10的外部形状与定位设备10在原始姿态中的外部形状基本一致的姿态(称为对称姿态)中的行走数据。
换句话说,定位设备10的外部形状与定位设备10在预期是定位设备10在被行人保持的状态下的姿态的另一姿态(原始姿态)中的外部形状基本一致的姿态(对称姿态)也是定位设备10在被行人保持的状态下的姿态。
例如,如图3所示,当定位设备10的外部形状相对于绕z轴旋转180度具有对称性时,定位设备10从原始姿态绕z轴旋转180度的姿态是定位设备10的外部形状与定位设备10在原始姿态中的外部形状基本一致并且可以预期是定位设备10在被行人保持的状态下的姿态的对称姿态。在这种情况下,x轴和y轴的定向由于绕z轴旋转180度而反转。因此,相对于原始姿态中的传感器数据(Ax,Ay,Az,ωx,ωy,ωz)的x分量值和y分量值执行正与负之间的切换并且z分量值保持不变的传感器数据(-Ax,-Ay,Az,-ωx,-ωy,ωz)是对称姿态中的传感器数据。
如上所述,基于原始姿态的x轴、y轴和z轴与对称姿态的x轴、y轴和z轴之间的关系,模型发生器90(CPU 151)在获取行走数据时计算定位设备10的外部形状与定位设备10在原始姿态中的外部形状基本一致的所有对称姿态中的行走数据。当装置的姿态是不同于原始姿态的对称姿态时,这导致获得行走数据而无需实际测量,并且因此容易地扩展行走数据。
注意,当模型发生器90(CPU 151)从原始姿态的行走数据生成对称姿态的行走数据时,模型发生器90(CPU 151)将包括在原始姿态的行走数据中的姿态数据改变为对称姿态的姿态数据,并且将对称姿态的姿态数据设置为包括在对称姿态的行走数据中的姿态数据。
此外,模型发生器90(CPU 151)可以从原始姿态的行走数据生成任何姿态的行走数据。
此外,模型发生器90(CPU 151)生成通过将由于随机微旋转而产生的信号与在步骤S20中获取的行走数据和通过执行预处理而生成的行走数据相加而获得的行走数据。
换句话说,模型发生器90(CPU 151)将随机生成的无穷小值与行走数据的角速度数据(ωx,ωy,ωz)相加作为姿态变化的值,并且通过处理角速度数据(ωx,ωy,ωz)来生成新的行走数据。
注意,模型发生器90(CPU 151)可以将随机生成的无穷小值与行走数据的加速度数据(Ax,Ay,Az)相加作为姿态改变的值,并且通过处理加速度数据(Ax,Ay,Az)来生成新的行走数据。
接下来,模型发生器90(CPU 151)参考时间数据以从如上所述获得的行走数据中提取传感器数据(Ax,Ay,Az,ωx,ωy,ωz),该传感器数据(Ax,Ay,Az,ωx,ωy,ωz)是在期望时间的特定时间段内获得的并且是在作为用于估计运动矢量的时间段的一秒钟内获得的。
接下来,从由数据收集器92获得的姿态数据中,模型发生器90(CPU151)提取在已经提取传感器数据(Ax,Ay,Az,ωx,ωy,ωz)的时间段期间获得的姿态数据中的一个。此外,基于包括在行走数据中的位置数据和时间数据,模型发生器90(CPU 151)掌握在已经提取了传感器数据(Ax,Ay,Az,ωx,ωy,ωz)的时间段期间由数据收集器92在真实空间中执行的运动的运动量和运动方向。
然后,模型发生器90(CPU 151)根据所提取的姿态数据和所掌握的运动量和运动方向来计算装置坐标系中的运动矢量M的xyz分量值(Mx,My,Mz)。
因此,模型发生器90(CPU 151)生成用于学习的行走数据(Ax,Ay,Az,ωx,ωy,ωz:Mx,My,Mz),该行走数据包括作为输入数据的传感器数据(Ax,Ay,Az,ωx,ωy,ωz)和装置坐标系中的运动矢量M的xyz分量值(Mx,My,Mz),该xyz分量值(Mx,My,Mz)是作为输入数据的正确答案的输出数据。
此外,当从使用数据收集器92执行的单个测量(获取数据的处理)获得的行走数据中提取多个不同时间段(多个不同时间范围)的行走数据,并且生成用于学习的行走数据(Ax,Ay,Az,ωx,ωy,ωz:Mx,My,Mz)时,这导致能够获得用于单个测量的多个用于学习的行走数据。
在图10的步骤S26中,模型发生器90(CPU 151)使用在步骤S24中生成的用于学习的行走数据来生成(训练)机器学习模型。
例如,机器学习模型具有作为一种神经网络(NN)的深度神经网络(DNN)的结构。深度神经网络包括输入层、多个隐藏层和输出层,并且从输入层的相应节点输入的值通过隐藏层的相应节点传播到输出层的相应节点,尽管由于深度神经网络是公知的,因此省略详细描述。此外,在隐藏层的每个节点和输出层的每个节点中,对来自每个节点的输入值执行使用诸如权重和偏差或激活函数的参数的操作以计算输出值。
相对于本实施例的机器学习模型,传感器数据(Ax,Ay,Az,ωx,ωy,ωz)从直接连接到输入层的节点或通过例如存储器间接连接到输入层的节点的数据输入部输入,并且所估计的运动矢量M的xyz分量值(Mx,My,Mz)从直接或间接连接到输出层的数据输出部输出。
(机器学习模型的输入/输出模式)
此处,相对于传感器数据(Ax,Ay,Az,ωx,ωy,ωz)的输入,以下所示的第一输入模式或第二输入模式可以应用于机器学习模型。
如图11所示,在第一输入模式的机器学习模型100中,由IMU 30每0.02秒(由IMU30执行的输出的输出间隔)提供的用于估计运动矢量的时间段的一秒钟的(50个)传感器数据中的一个传感器数据(附图中的数据a)从数据输入部102作为输入数据被输入。
如图12和图13所示,在第二输入模式的机器学习模型100中,由IMU 30每0.02秒(由IMU 30执行的输出的输出间隔)提供的用于估计运动矢量的时间段的一秒钟的(50个)传感器数据按每0.02秒的输入间隔按时间顺序从数据输入部102作为输入数据顺序地输入。然而,输入数据输入到机器学习模型100的输入间隔不必与由IMU 30执行的输出的输出间隔相同。从IMU 30获取的传感器数据减少使得输入间隔是由IMU 30执行的输出的输出间隔的整数倍并且小于用于估计运动矢量的时间段的1/2的模式也对应于第二输入模式。
此外,在本实施例中,在用于估计运动矢量的时间段内,基于从数据输入部102输入的传感器数据来估计运动矢量M。然而,在与用于估计运动矢量的时间段在时间长度上不同的时间段内,可以基于从数据输入部102输入的传感器数据来估计运动矢量M。
另一方面,相对于运动矢量M的输出,以下所示的第一输出模式或第二输出模式可以应用于机器学习模型100。
如图11和图12所示,当应用第一输入模式或第二输入模式时,第一输出模式的机器学习模型100基于在用于估计运动矢量的时间段内从数据输入部102输入的传感器数据来估计指示装置在用于估计运动矢量的时间段的一秒内运动的运动矢量M,并且在用于估计运动矢量的时间段的每一秒从数据输出部104输出所估计的运动矢量M。
如图13所示,当应用第二输入模式时,第二输出模式的机器学习模型100估计指示装置在用于估计运动矢量的时间段的一秒内运动的运动矢量M,该估计以从数据输入部102输入传感器数据的输入间隔的每0.02秒执行,并且从数据输出部104输出所估计的运动矢量M。此时,基于在用于估计运动矢量的时间段之前顺序地输入到数据输入部102的时间序列传感器数据来估计运动矢量。然后,在每个与输入传感器数据的输入间隔同步输出的运动矢量M中,仅在用于估计运动矢量的时间段的每秒输出的运动矢量M(附图中的运动矢量b)被提供给传感器组合器38。
模型发生器90(CPU 151)使用在图10的S24中生成的大量用于学习的行走数据集作为训练数据集来训练机器学习模型100。
由模型发生器90(CPU 151)使用称为例如梯度下降或反向传播的公知的方法来执行训练。原则上,使用包括在用于学习的行走数据集中的大量用于学习的行走数据来校正包括在机器学习模型中的参数(诸如,权重和偏差),使得通过将关于大量用于学习的行走数据的输入数据输入到机器学习模型100而计算出的输出数据与关于大量用于学习的行走数据的正确答案的输出数据之间的误差较小。这导致计算优选参数。
然而,训练方法不限于梯度下降和反向传播。此外,还使用公知的训练方法,该方法包括将用于学习的行走数据集分为训练数据集和测试数据集,并且使用该测试数据集来验证训练结果。然而,适当地省略其详细描述。
当生成由模型发生器90训练并且其参数被优化的训练的机器学习模型时,使用训练的机器学习模型执行算术处理的程序结合到定位设备10的DNN 34中,并且由运动矢量估计器48执行使用机器学习模型的算术处理。
注意,机器学习模型不限于具有上述结构的深度神经网络。可以采用具有其他结构的深度神经网络或各种神经网络(诸如,卷积神经网络(CNN)和递归神经网络(RNN))。此外,迭代二分法3(ID3)、决策树学习、关联规则学习、遗传编程(GP)、归纳逻辑编程(ILP)、模糊算法、进化算法、强化学习、支持向量机(SVM)、聚类、贝叶斯网络等是公知的用于除神经网络之外的机器学习的算法。然而,任何算法都可以应用于根据本技术的机器学习模型,只要它包括在上述用于机器学习的算法中。
《效果》
描述了由定位设备10提供的效果。
<与比较设备的比较>
图14和图15示出了根据本实施例的定位设备10与用于比较的航位推算设备(以下称为比较设备)之间的定位数据的误差的评价。
比较设备不包括本实施例的运动矢量估计器48,并且基于从加速度传感器和角速度传感器分别获得的加速度和角速度来检测行人的步数和装置的姿态。然后,比较设备基于所检测到的步数和预定的每一步的运动距离来估计运动量。此外,与根据本实施例的定位设备10的情况一样,比较设备基于装置的估计的姿态来检测运动方向。
图14是对运动量的误差执行比较和评价的示图,并且图15是对运动方向的误差执行比较和评价的示图。
<运动量的误差>
图14的A示出了行人在验证期间如何行走。将定位设备10和比较设备保持在主体上相同位置的行人在重复停止和运动(停止和前进)的同时行走,其中,行人直线向前行走20m的距离,并且在行走期间暂时停止在间隔5m的三个位置处,三个位置中的每一个标记有圆圈。
图14的B示出了如图14的A所示的在行人开始行走、移动20m的距离并完成行走的时间段内,由定位设备10和比较设备中的每一个执行定位的位置的轨迹。图14的B所示的XY坐标表示真实空间中的水平面中的位置,其中,行人的运动路径由真实空间中的X轴(沿着X轴的线)表示,行走开始的位置是原点。
在图14的B的XY坐标平面中,运动轨迹r1指示通过以规则的时间间隔绘制由定位设备10测量的位置并通过使用线连接绘制的位置而获得的轨迹,并且运动轨迹r2指示通过以规则的时间间隔绘制由比较设备测量的位置并通过使用线连接绘制的位置而获得的轨迹。
图14的B示出了由比较设备获得的运动轨迹r2与作为行人的实际运动路径的沿着X轴的线平行,并且几乎精确地检测到行人的运动方向。另一方面,运动轨迹r2示出了大约25m的点作为对应于当行人已经行走20m时他/她到达的点的点,其中,在运动量中出现大约5m的误差。
另一方面,由定位设备10获得的运动轨迹r1在Y轴方向上与作为行人的实际运动路径的沿着X轴的线稍微偏离。然而,运动轨迹r1示出了在X轴方向上大约20m的点作为对应于当行人已经行走20m时他/她到达的点的点,其中,至少运动量的误差充分小于比较设备的误差。
注意,运动轨迹r1中的圆圈部分中的绘图在XY坐标平面中比在其他部分中的绘图更紧密地间隔,并且这表明行人已经停止。这种现象在距离X轴5m、10m和15m的点周围的部分中看到,并且这与行人实际上在那些点处停止的事实一致。这也表明,相对于诸如停止和前进的行走,不仅当行走结束时,而且在从行走开始到行走结束的整个时间段内,定位设备10的运动量的误差比比较设备的运动量的误差小得多。
此外,由定位设备10执行定位的位置中的误差仅在Y轴方向上比比较设备的误差大,而这种误差在X轴方向上几乎不表现出来。因此,定位设备10仅表现出小于2m的误差。
另一方面,由比较设备执行定位的位置的误差在X轴方向上较大,其中,当行人完成行走20m时,比较设备表现出大约5m的误差。
因此,与比较设备相比,根据本实施例的定位设备10表现出较小的运动量的误差,并且还表现出较小的执行定位的位置的误差。
<运动方向的误差>
在图15中,图15的A示出了行人在验证期间如何行走。将定位设备10和比较设备保持在主体上相同位置的行人在行走的同时侧视,其中,行人直线向前行走20m的距离,并且在行走期间每5m向左看、向右看和向左看。
图15的B示出了如图15的A所示的在行人开始行走、移动20m的距离并完成行走的时间段内,由定位设备10和比较设备中的每一个执行定位的位置的轨迹。与图14的情况一样,图15的B所示的XY坐标表示真实空间中的水平面中的位置,其中,行人的运动路径由真实空间中的X轴(沿着X轴的线)表示,行走开始的位置是原点。
在图15的B的XY坐标平面中,运动轨迹r1指示通过以规则的时间间隔绘制由定位设备10测量的位置并通过使用线连接绘制的位置而获得的轨迹,并且运动轨迹r2指示通过以规则的时间间隔绘制由比较设备测量的位置并通过使用线连接绘制的位置而获得的轨迹。
图15的B示出了由比较设备获得的运动轨迹r2在Y轴方向上与作为行人的实际运动路径的沿着X轴的线最多偏离大约3m。这种在Y轴方向上的偏差是由于行人在行走的同时侧视而引起由比较设备检测到的运动方向的误差引起的。
另一方面,由定位设备10获得的运动轨迹r1在Y轴方向上与作为行人的实际运动路径的沿着X轴的线偏离大约1m。该偏差充分小于比较设备的偏差。
聚焦于运动轨迹r1中的圆圈部分,定位设备10的绘图之间的线比比较设备的同时的绘图更进一步定向到X轴方向。
这表明由定位设备10检测到的运动方向的误差充分小于比较设备的误差。
此外,由定位设备10执行定位的位置的误差在X轴方向上几乎不表现出来。即使当考虑在X轴方向和在Y轴方向上引起的误差两者时,定位设备10也最多仅表现出大约1m的误差。
因此,与比较设备相比,根据本实施例的定位设备10表现出较小的运动量的误差,并且还表现出较小的执行定位的位置的误差。
如上所述,这表明,相对于容易引起运动量的误差的停止和前进的行走或者容易引起运动方向的误差的行走的同时侧视,根据本技术的定位设备10也能够精确地执行定位。
<误差的验证>
图16示出了在由比较设备执行的运动量或运动方向的检测中引起误差并且可以由根据本实施例的定位设备10估计运动矢量M以足够的精度来处理的因素。如图16所示,都引起由比较设备执行的运动量或运动方向的检测中的误差的因素被粗略地分类为与行人的运动相关的因素、与行人(个体)相关的因素和与行走环境相关的因素。
与运动相关的因素的示例包括“行走的同时侧视”(参考图18)、停止和前进(参考图17)和“缓慢行走”、“避开人”、“跑步”(参考图17)和“侧向行走”(参考图18)。
与个体相关的因素的示例包括“如何行走的个体差异”、“如何握持/佩戴终端的个体差异”和“个体穿的鞋子的差异(运动鞋、皮鞋和高跟鞋)”。
与环境相关的因素包括“楼梯”和“斜坡”。
此外,当因素极大地影响比较设备的运动量的误差时,在位于因素右侧的“运动量的误差”中给出圆圈,并且当因素极大地影响比较设备的运动方向的误差时,在位于更右侧的“运动方向的误差”中给出圆圈。
另一方面,应用本技术的定位设备10能够抑制由于图16中列出的因素引起的误差,如通过使用关于“停止和前进”(图14)和“行走的同时侧视”(图15)的示例的实际测量结果执行比较所描述的。
<与用于附接的身体部位相关的效果>
此外,当由比较设备检测到行走的运动时并且当用户在行走期间将比较设备佩戴在用户更可能做出除行走之外的运动的身体部位上时,没有适当地检测到行走的运动,并且在执行定位的位置处可能引起误差。
如图19所示,脚适合作为比较设备所附接的身体部位,因为脚在行走期间每一步都静止。
此外,腰部也适合作为用于附接的身体部位,因为身体和比较设备的定向在行走期间保持不变。
另一方面,手和手臂不适合作为比较设备所附接的身体部位,因为在行走期间存在很大的运动的个体差异,并且还存在很大的定向自由度。
此外,头部不适合作为附接比较设备的位置。原因是自由度小于手或手臂的自由度,但是存在运动的个体差异,并且身体和头部的定向由于侧视而改变。
通常,远离脚或躯干的身体部位表现出更大的运动自由度,并且不太适合作为比较设备所附接的身体部位。
另一方面,根据本实施例的定位设备10能够抑制由于用于附接的身体部位的差异而引起的误差。这导致能够准确地执行定位而不限制用于附接的身体部位。
此外,当定位设备10附接到头部时,也可以精确地执行定位。因此,将定位设备10包括在用于视觉AR或听觉AR的头戴式设备(诸如,头戴式显示器)中也是有效的。
此外,当定位设备10包括在头戴式设备中时,定位设备10还能够在用户处于诸如蹲下或俯卧(squatting down or lying down on his/her stomach)的运动中时测量头部的位置(高度)。因此,将定位设备10用于视觉AR或听觉AR是有效的,因为可以直接掌握眼睛和耳朵的位置。
<与误差区域相关的效果>
此外,图20示出了当行人沿指定方向前进一步以移动1/2(m)的距离时,分别从由行人保持的三轴加速度传感器和三轴角速度传感器输出的加速度数据和角速度数据。另一方面,图21的A示出了指示由比较设备基于图20的加速度数据和角速度数据计算的运动量和运动方向的矢量120以及所计算的运动量和运动方向的误差范围a。
比较设备基于加速度数据和角速度数据分别计算运动量和运动方向。因此,如图21的A所示,运动量和运动方向的误差范围a是沿着以矢量120的起点为中心并被绘制为穿过运动矢量120的终点的弧的细长的非圆形范围。
另一方面,图21的B示出了由根据本实施例的定位设备10的运动矢量估计器48基于图20的加速度数据和角速度数据估计的运动矢量M以及运动矢量M的误差范围b。
定位设备10根据加速度数据信号和角速度数据来直接估计运动矢量M。因此,如误差范围b所示,该范围是以运动矢量M的终点为中心的大致圆形范围。作为低速下的精度指标,在比较设备的情况下,误差范围b的误差优于误差范围a的误差。
此外,根据本实施例的定位设备10还提供以下所示的效果。
由于更新位置的定时不依赖于步骤,因此定位设备10能够在任何定时输出估计的位置。当由定位设备10执行的定位应用于增强现实(AR)时,这使得可以在任何定时更新形成(显示)增强图像的位置。这导致平滑的呈现。
此外,可以使用例如卡尔曼滤波器将定位设备10与全球导航卫星系统(GNSS)集成,并且可以在地下通道、隧道和大型建筑物的街道中产生具有优异性能的GNSS接收器。
此外,可以将定位设备10结合到头戴式设备中。这比单独安装定位设备10和头戴式设备更有效。
此外,可以将定位设备10结合到智能电话中,并且因此通过使用智能电话的显示器来用于视觉AR。
此外,定位设备10能够执行定位,而不管各种握持状态,诸如,被握持用于呼叫、被握持在口袋中以及被握持在手中。因此,可以获得用于智能电话的视觉AR应用,该用于智能电话的视觉AR应用允许诸如在定位设备10的使用期间被转向或者处于呼叫状态或者当用户未观看屏幕时被放在口袋中的行为。
《其他实施例》
<用于计算磁北方向的其他实施例>
在图2所示的实施例中,AHRS 32的姿态估计器46确定基于由地磁传感器45提供的地磁信号检测到的装置坐标系中的地磁方向是装置坐标系中的磁北方向而没有变化。然而,考虑到地磁干扰,可以执行以下所示的计算处理来确定磁北方向。
地磁干扰是由于周围环境的影响引起的,并且地磁方向可能不会指示真磁北方向。图22示出了设施中的地磁干扰。图22示出了使用实线箭头的地磁矢量70,该地磁矢量70表示设施的每个地方的地磁方向。
如图22所示的地磁矢量70所指示的,由于布置在设施中的墙壁或电子设备(未示出)的影响,设施中的地磁方向以分散的方式定向在各个方向上,并且存在地磁方向不同于真磁北方向(附图的纸张的表面上的向上方向)的地方。在这种情况下,如果在单个地方检测到的地磁方向被确定为磁北方向,则所确定的磁北方向与真磁北方向之间可能存在很大差异。
因此,姿态估计器46可以基于由地磁传感器45提供的地磁信号检测和收集多个地方的地磁方向,并且可以计算通过平均所收集的地磁方向而获得的平均方向作为磁北方向。
因此,例如,收集由图22所示的圆圈指示的设施中的多个地方71的地磁方向,并且计算所收集的地磁方向的平均方向72作为磁北方向。平均方向72与真磁北方向基本上一致。如上所述,通过计算多个地方的地磁方向的平均方向作为磁北方向,相对于由于周围环境的影响引起的地磁方向的变化,减少了检测磁北方向的误差。
描述了当执行这种计算磁北方向的处理时由姿态估计器46执行的处理。
(地磁方向的收集)
首先,姿态估计器46基于由地磁传感器45提供的地磁信号来检测多个地方的地磁方向,并且收集多个地方的地磁方向。
当行人正在移动时,可以在预先设置的指定的时间间隔收集地磁方向,并且当完成地磁方向的预设数量的检测时或者当从开始收集地磁方向起已经经过预设的指定时间段时,可以完成地磁方向的收集。此外,可以考虑检测到地磁方向的地方来收集地磁方向,这将在后面描述。收集方法不限于特定的方法。此外,当收集地磁方向时,握持定位设备10的行人可以有意识地在设施中移动,或者当行人移动而没有意识到地磁方向的收集时,可以收集地磁方向。
此外,在多个地方的地磁方向的收集期间,姿态估计器46从传感器组合器38获取指示装置的当前位置(绝对位置)的坐标值P。因此,姿态估计器46知道检测到地磁方向的地方。这使得可以避免在同一地方冗余地检测地磁方向。
注意,当尚未计算磁北方向时,姿态估计器46使用在单个地方检测到的磁北方向获得姿态数据,并且将所获得的姿态数据提供给传感器组合器38的坐标转换器56。
此外,在地磁方向的收集期间,姿态估计器46基于由IMU校准器44提供的角速度数据(ωx,ωy,ωz)来估计相对于装置的初始姿态(初始定向)的相对姿态的变化。
(地磁方向的平均方向的计算)
当完成地磁方向的收集时,姿态估计器46计算通过平均所收集的地磁方向而获得的平均方向。
此处,由姿态估计器46执行的地磁方向的检测是基于来自地磁传感器45的地磁信号来检测装置坐标系中的地磁方向的处理。具体地,地磁方向的检测对应于基于来自地磁传感器45的地磁信号来检测地磁方向矢量的xyz分量值,该地磁方向矢量以矢量的形式表示装置坐标系中的地磁方向。此处,假设地磁方向矢量是单位矢量而不考虑地磁的强度。
另一方面,当在地磁方向(地磁方向矢量)的收集期间装置的姿态改变时,装置坐标系在真实空间中的X轴、Y轴和Z轴的方向改变。因此,如果使用在检测时获得的xyz分量值在单个装置坐标系中表示在多个地方检测到的地磁方向矢量,这将无法正确地表示真实空间中每个地方的地磁方向。
因此,当在多个地方检测到的地磁方向矢量由单个地方的装置坐标系表示时,姿态估计器46计算xyz分量值。
具体地,假设在多个地方检测到的相应地磁方向矢量按检测顺序是第一地磁方向矢量至第n地磁方向矢量(n是大于1的整数),并且检测到第一地磁方向矢量至第n地磁方向矢量的相应地方是第一地方至第n地方。当第一地磁方向矢量至第n地磁方向矢量由第n地方的装置坐标系表示时,姿态估计器46计算xyz分量值。
当第一地磁方向矢量至第(n-1)地磁方向矢量中的期望地磁方向矢量由第m地磁方向矢量(m是从1至(n-1)的任意整数)表示时,姿态估计器46基于在地磁方向的收集期间估计的装置的相对姿态的变化来获得当行人从第m地方移动到第n地方时引起的装置的相对姿态的变化。
然后,基于所获得的装置的相对姿态的变化,当由第m地磁方向矢量表示的真实空间中的第m地方的地磁方向由第n地方的装置坐标系表示时,姿态估计器46计算xyz分量值。
注意,当第一地磁方向矢量至第(n-1)地磁方向矢量由最后检测到地磁方向的第n地方的装置坐标系表示时,姿态估计器46计算xyz分量值。然而,表示地磁方向矢量的对象装置坐标系不限于第n地方的装置坐标系。例如,如果在完成地磁方向的收集之后继续估计装置的相对姿态的变化,则在完成地磁方向的收集之后的任何地方或任何时间的装置坐标系可以用作表示地磁方向矢量的对象装置坐标系。在这种情况下,如在第一地磁方向矢量至第(n-1)地磁方向矢量的情况下一样,当第n地磁方向矢量由表示地磁方向矢量的对象装置坐标系表示时,姿态估计器46也计算xyz分量值。
此外,在以下所示的处理的描述中,表示地磁方向矢量的对象装置坐标系被简单地称为装置坐标系,而不陈述对象装置坐标系是哪个地方或哪个时间的哪个装置坐标系。
(地磁方向的平均方向的计算和磁北方向的确定)
接下来,姿态估计器46计算在第一地方至第n地方收集的所有地磁方向(第一地磁方向矢量至第n地磁方向矢量)的算术平均值,并且将由所计算的算术平均值指示的矢量的方向设置为在第一地方至第n地方收集的所有地磁方向的平均方向。
然后,姿态估计器46将在第一地方至第n地方收集的所有地磁方向的平均方向确定为磁北方向。
注意,在执行除以n以获得第一地磁方向矢量至第n地磁方向矢量的算术平均值之前,由第一地磁方向矢量至第n地磁方向矢量的和指示的矢量的方向可以用作平均方向。此外,已经假设地磁方向矢量是单位矢量,而没有考虑地磁的强度,但是当姿态估计器46检测地磁方向时,姿态估计器46也可以检测地磁的强度,可以将指示检测到地磁方向的地方中的地磁方向的矢量设置为地磁方向矢量,并且具有取决于检测地方中的地磁强度的大小。在这种情况下,姿态估计器46计算在多个地方检测到的地磁方向矢量的算术平均值的矢量,并且使用所计算的算术平均值的矢量的方向作为平均方向来确定磁北方向。考虑到每个地方的地磁的强度,这导致能够获得磁北方向。
(装置的姿态的估计)
如上所述,当姿态估计器46确定装置坐标系中的磁北方向时,姿态估计器46基于由IMU校准器44提供的加速度数据(Ax,Ay,Az)和角速度数据(ωx,ωy,ωz)来检测装置坐标系中的垂直方向,并且基于所检测到的垂直方向和磁北方向来检测装置坐标系中的真北方向。然后,姿态估计器46基于所检测到的垂直方向和真北方向来检测装置在世界坐标系中的姿态。
此后,使用所检测到的装置的姿态作为初始姿态,姿态估计器46基于由IMU校准器44提供的角速度数据(ωx,ωy,ωz)来估计相对于装置的初始姿态的相对姿态的变化。然后,姿态估计器46基于初始姿态和所估计的装置的相对姿态的变化来估计装置在世界坐标系中的姿态。
不仅在开始定位时执行上述磁北方向的计算,而且还可以以指定的时间间隔重复执行上述磁北方向的计算。在这种情况下,每次姿态估计器46计算磁北方向时,姿态估计器46基于所计算的磁北方向获得装置的姿态。此后,使用所获得的装置的姿态作为初始姿态,姿态估计器46估计相对于初始姿态的相对姿态的变化以估计装置的姿态。
(与地磁方向的收集相关的模式)
随后,进一步描述用于计算磁北方向的多个地方的地磁方向的收集。
图23示出了与图22的情况相同的设施中的地磁干扰,并且与图22中的元件相同的元件由相同的参考数字表示,并且省略其描述。
在设施中的局部区域73中的几乎所有地方,地磁矢量70的方向可以大大不同于真磁北方向,并且地磁矢量70可能朝向基本相同的方向定向。在这种情况下,即使在区域73中的多个地方检测到地磁方向,并且地磁方向的平均方向74被计算为磁北方向,所计算的平均方向74也将大大不同于真磁北方向。
另一方面,在设施中的宽区域75中,可能由于周围环境的影响而在每个地方引起地磁干扰,但是地磁矢量70通常不规则地朝向不同的方向定向,真磁北方向用作参考。因此,当在宽区域75中的多个地方检测到地磁方向,并且计算地磁方向的平均方向76作为磁北方向时,所计算的平均方向76与真磁北方向基本上一致。这导致能够适当地检测真磁北方向。
因此,相对于已经检测到地磁方向的所有地方,姿态估计器46在多个地方的地磁方向的收集期间,基于从稍后描述的传感器组合器38获取的关于装置的位置的信息,当地方彼此间隔不小于指定距离(例如,2m)的距离时,检测地磁方向。换句话说,姿态估计器46检测彼此间隔不小于指定距离的地方的地磁方向。
然后,当围绕已经收集地磁方向的所有地方的最小圆的直径的长度不小于指定长度(例如,10m)时,姿态估计器46完成地磁方向的收集。
<外部传感器36>
在本技术的实施例中,任何定位方法都可以用作使用外部传感器36的定位方法,只要它使用任意绝对坐标系指定装置在定位设备10实际移动的真实空间中的位置。可采用的定位方法的示例包括:使用利用卫星信息(诸如,全球定位系统(GPS))的全球导航卫星系统(GNSS)的定位方法;使用来自根据Wi-Fi(注册商标)、蓝牙(注册商标)、iBeacon(注册商标)、超宽带(UWB)或其他无线通信标准执行无线通信的设备的信号(诸如,信标信号)的定位方法;以及使用关于无线通信网络的基站设备的位置的信息的定位方法。此外,还可以采用使用环境安装相机或设备上的相机(诸如,SLAM)的定位方法或者使用地图匹配的定位方法。
<定位对象>
已经在假设行人是作为保持定位设备10的定位对象的主要可移动体的前提下描述了本技术的实施例,但是行人也包括不打算行走的人。定位对象可移动体不限于行人,并且可以移动的任何可移动体(诸如,汽车和自行车)可以是定位对象。还可以将应用本技术的定位设备10结合到可移动体中。
<二维应用>
已经在假设相对于绝对坐标系中的纬度、经度和高度执行三维定位的前提下描述了本技术的实施例。然而,可以仅相对于纬度和经度来执行二维定位。在这种情况下,获得绝对位置的PDR部60可以被配置为不相对于来自积分部58的位移矢量D计算包括在地理坐标系的坐标值(纬度值,经度值,高度值)中的高度值。此外,坐标转换器56可以被配置为不计算世界坐标系的高度方向的分量值。此外,积分部58可以被配置为不计算世界坐标系的高度方向的分量值。在其他处理部中,可以适当容易地执行二维应用的改变。
<其他效果>
此外,本文描述的效果不是限制性的,而仅是说明性的,并且可以提供其他效果。
<程序>
此外,可以使用硬件或软件来执行图2所示的DNN 34、传感器组合器38、姿态估计器46、坐标转换器56、积分部58和获得绝对位置的PDR部60中的一系列处理的一部分或全部。当使用软件执行一系列处理时,包括在软件中的程序安装在计算机上。此处,计算机的示例包括结合到专用硬件中的计算机以及能够通过安装在其上的各种程序来执行各种功能的诸如通用个人计算机的计算机。
图24是使用程序执行上述一系列处理的计算机的硬件的配置示例的框图。
在计算机中,中央处理单元(CPU)201、只读存储器(ROM)202和随机存取存储器(RAM)203通过总线204彼此连接。
此外,输入/输出接口205连接到总线204。输入部206、输出部207、存储器208、通信部209和驱动器210连接到输入/输出接口205。
输入部206包括例如键盘、鼠标和麦克风。输出部207包括例如显示器和扬声器。存储器208包括例如硬盘和非易失性存储器。通信部209包括例如网络接口。驱动器210驱动可移动介质211,诸如磁盘、光盘、磁光盘或半导体存储器。
在具有上述配置的计算机中,例如,通过CPU 201经由输入/输出接口205和总线204将存储在存储器208中的程序加载到RAM 203中并执行该程序来执行上述一系列处理。
例如,可以通过存储在用作例如封装介质的可移动介质211中来提供由计算机(CPU 201)执行的程序。此外,可以经由有线或无线传输介质(诸如局域网、因特网或数字卫星广播)来提供程序。
在计算机中,程序可以通过安装在驱动器210上的可移动介质211经由输入/输出接口205安装在存储器208上。此外,程序可以由通信部209经由有线或无线传输介质接收以安装在存储器208上。此外,程序可以预先安装在ROM 202或存储器208上。
注意,由计算机执行的程序可以是按照本文的描述顺序按时间顺序执行处理的程序,或者可以是并行执行处理或者在诸如调用的定时的必要定时执行处理的程序。
注意,本技术也可以采用以下配置。
<1>一种定位设备,包括:
运动矢量估计器,其基于装置的加速度和装置的角速度使用机器学习模型来估计运动矢量,该运动矢量指示装置的运动量和运动方向,加速度由用于检测加速度的加速度传感器检测,角速度由用于检测角速度的角速度传感器检测;以及
积分部,其对运动矢量进行积分并计算装置的相对位置。
<2>根据<1>的定位设备,其中,
基于由加速度传感器检测到的加速度和由角速度传感器检测到的角速度,运动矢量估计器使用机器学习模型来估计指示运动量和运动方向并且由固定到装置的装置坐标系表示的运动矢量。
<3>根据<2>的定位设备,还包括:
转换器,其将由装置坐标系表示并由运动矢量估计器估计的运动矢量转换为世界坐标系中的运动矢量,该世界坐标系固定在真实空间中,其中,
积分部对通过由转换器执行的转换获得的世界坐标系中的运动矢量进行积分,并且计算装置相对于真实空间中的指定参考位置的相对位置。
<4>根据<3>的定位设备,还包括:
姿态估计器,其检测装置在世界坐标系中的姿态,其中,
基于由姿态估计器检测到的姿态,转换器将由运动矢量估计器估计的运动矢量转换为世界坐标系中的运动矢量。
<5>根据<4>的定位设备,还包括:
地磁传感器,其检测装置坐标系中的地磁方向,其中,
姿态估计器基于由地磁传感器检测到的地磁方向来检测装置的姿态。
<6>根据<5>的定位设备,其中,
姿态估计器基于由地磁传感器在多个地方分别检测到的地磁方向的平均方向来检测装置的姿态。
<7>根据<6>的定位设备,其中,
姿态估计器基于在彼此间隔不小于指定距离的距离的多个地方分别检测到的地磁方向的平均方向来检测装置的姿态。
<8>根据<1>至<3>中任一项的定位设备,还包括:
绝对位置获得部,其基于装置相对于参考位置的相对位置来计算装置的绝对位置,相对位置由积分部计算,绝对位置是相对于真实空间坐标值预先确定的绝对坐标系中的位置,该绝对位置是真实空间中对应于相对位置的位置。
<9>根据<8>的定位设备,还包括:
外部传感器,其获取装置在绝对坐标系中的绝对位置,其中,
绝对位置获得部基于由外部传感器获取的装置的绝对位置来设置绝对坐标系中的参考位置,并且基于所设置的参考位置和相对位置来计算装置的绝对位置。
<10>根据<9>的定位设备,还包括:
姿态估计器,其使用来自外部传感器的信息来检测装置的姿态,其中,
基于由姿态估计器检测到的姿态,转换器将由运动矢量估计器估计的运动矢量转换为世界坐标系中的运动矢量。
<11>根据<2>至<10>中任一项的定位设备,其中,
在用于估计运动矢量的指定时间段内,由加速度传感器检测到的加速度和由角速度传感器检测到的角速度被输入到机器学习模型作为输入数据,并且
对应于输入数据,在用于估计运动矢量的每个指定时间段内,从机器学习模型输出指示运动量和运动方向并且由装置坐标系表示的运动矢量,该运动量和运动方向是在用于估计运动矢量的指定时间段内估计已经由装置执行的运动量和运动方向。
<12>根据<2>至<11>中任一项的定位设备,其中,
加速度传感器检测彼此正交的三个轴的方向上的加速度,
角速度传感器检测三个轴的方向上的角速度,并且
运动矢量估计器以装置坐标系的正交的三个轴的方向的分量值的形式估计装置坐标系中的运动矢量。
<13>根据<1>至<12>中任一项的定位设备,其中,
使用用于学习的行走数据预先训练机器学习模型,并且
用于学习的行走数据包括输入数据和用作输入数据的正确答案的运动矢量,该输入数据对应于当装置被行人持有时由加速度传感器和角速度传感器分别获取的加速度和角速度。
<14>根据<1>至<13>中任一项的定位设备,其中,
机器学习模型具有神经网络的配置。
<15>一种定位方法,包括:
由包括在定位设备中的运动矢量估计器基于装置的加速度和装置的角速度使用机器学习模型来估计运动矢量,该运动矢量指示装置的运动量和运动方向,加速度由用于检测加速度的加速度传感器检测,角速度由用于检测角速度的角速度传感器检测;并且
由包括在定位设备中的积分部对运动矢量进行积分并计算装置的相对位置。
<16>一种程序,使计算机用作运动矢量估计器和积分部,
运动矢量估计器基于装置的加速度和装置的角速度使用机器学习模型来估计运动矢量,该运动矢量指示装置的运动量和运动方向,加速度由用于检测加速度的加速度传感器检测,角速度由用于检测角速度的角速度传感器检测;并且
积分部对运动矢量进行积分并计算装置的相对位置。
参考标记列表
10 定位设备
30 IMU
32 AHRS
34 DNN
36 外部传感器
38 传感器组合器
40 加速度传感器
42 角速度传感器
46 姿态估计器
48 运动矢量估计器
50 传感器部
52 定位地图数据存储器
54 定位部
56 坐标转换器
58 积分部
60 获得绝对位置的PDR部
90 模型发生器
92 数据收集器
14、100 机器学习模型。

Claims (16)

1.一种定位设备,包括:
运动矢量估计器,基于装置的加速度和所述装置的角速度使用机器学习模型来估计运动矢量,所述运动矢量指示所述装置的运动量和运动方向,所述加速度由用于检测所述加速度的加速度传感器检测,所述角速度由用于检测所述角速度的角速度传感器检测;以及
积分部,对所述运动矢量进行积分并计算所述装置的相对位置。
2.根据权利要求1所述的定位设备,其中,
基于由所述加速度传感器检测到的所述加速度和由所述角速度传感器检测到的所述角速度,所述运动矢量估计器使用所述机器学习模型来估计指示所述运动量和所述运动方向并且由固定到所述装置的装置坐标系表示的所述运动矢量。
3.根据权利要求2所述的定位设备,还包括:
转换器,将由所述装置坐标系表示并由所述运动矢量估计器估计的所述运动矢量转换为世界坐标系中的运动矢量,所述世界坐标系固定在真实空间中,其中,
所述积分部对通过由所述转换器执行的转换获得的所述世界坐标系中的所述运动矢量进行积分,并且计算所述装置相对于所述真实空间中的指定参考位置的相对位置。
4.根据权利要求3所述的定位设备,还包括:
姿态估计器,检测所述装置在所述世界坐标系中的姿态,其中,
基于由所述姿态估计器检测到的所述姿态,所述转换器将由所述运动矢量估计器估计的所述运动矢量转换为所述世界坐标系中的所述运动矢量。
5.根据权利要求4所述的定位设备,还包括:
地磁传感器,检测所述装置坐标系中的地磁方向,其中,
所述姿态估计器基于由所述地磁传感器检测到的所述地磁方向来检测所述装置的所述姿态。
6.根据权利要求5所述的定位设备,其中,
所述姿态估计器基于由所述地磁传感器在多个地方分别检测到的所述地磁方向的平均方向来检测所述装置的所述姿态。
7.根据权利要求6所述的定位设备,其中,
所述姿态估计器基于在彼此间隔不小于指定距离的距离的所述多个地方分别检测到的所述地磁方向的平均方向来检测所述装置的所述姿态。
8.根据权利要求3所述的定位设备,还包括:
绝对位置获得部,基于所述装置相对于所述参考位置的相对位置来计算所述装置的绝对位置,所述相对位置由所述积分部计算,所述绝对位置是相对于所述真实空间坐标值预先确定的绝对坐标系中的位置,所述绝对位置是所述真实空间中对应于所述相对位置的位置。
9.根据权利要求8所述的定位设备,还包括:
外部传感器,获取所述装置在所述绝对坐标系中的所述绝对位置,其中,
所述绝对位置获得部基于由所述外部传感器获取的所述装置的绝对位置来设置所述绝对坐标系中的参考位置,并且基于所设置的参考位置和所述相对位置来计算所述装置的绝对位置。
10.根据权利要求9所述的定位设备,还包括:
姿态估计器,使用来自所述外部传感器的信息来检测所述装置的姿态,其中,
基于由所述姿态估计器检测到的所述姿态,所述转换器将由所述运动矢量估计器估计的所述运动矢量转换为所述世界坐标系中的所述运动矢量。
11.根据权利要求2所述的定位设备,其中,
在用于估计运动矢量的指定时间段内,由所述加速度传感器检测到的所述加速度和由所述角速度传感器检测到的所述角速度被输入到所述机器学习模型作为输入数据,并且
对应于所述输入数据,在用于估计运动矢量的每个指定时间段内,从所述机器学习模型输出指示所述运动量和所述运动方向并且由所述装置坐标系表示的所述运动矢量,所述运动量和所述运动方向是在用于估计运动矢量的所述指定时间段内估计已经由所述装置执行的运动量和运动方向。
12.根据权利要求2所述的定位设备,其中,
所述加速度传感器检测彼此正交的三个轴的方向上的加速度,
所述角速度传感器检测所述三个轴的方向上的角速度,并且
所述运动矢量估计器以所述装置坐标系的正交的三个轴的方向的分量值的形式估计所述装置坐标系中的所述运动矢量。
13.根据权利要求1所述的定位设备,其中,
使用用于学习的行走数据预先训练所述机器学习模型,并且
所述用于学习的行走数据包括输入数据和用作所述输入数据的正确答案的运动矢量,所述输入数据对应于当所述装置被行人持有时由所述加速度传感器和所述角速度传感器分别获取的所述加速度和所述角速度。
14.根据权利要求1所述的定位设备,其中,
所述机器学习模型具有神经网络的配置。
15.一种定位方法,包括:
由包括在定位设备中的运动矢量估计器基于装置的加速度和所述装置的角速度使用机器学习模型来估计运动矢量,所述运动矢量指示所述装置的运动量和运动方向,所述加速度由用于检测所述加速度的加速度传感器检测,所述角速度由用于检测所述角速度的角速度传感器检测;并且
由包括在所述定位设备中的积分部对所述运动矢量进行积分并计算所述装置的相对位置。
16.一种程序,使计算机用作运动矢量估计器和积分部,
所述运动矢量估计器基于装置的加速度和所述装置的角速度使用机器学习模型来估计运动矢量,所述运动矢量指示所述装置的运动量和运动方向,所述加速度由用于检测所述加速度的加速度传感器检测,所述角速度由用于检测所述角速度的角速度传感器检测;并且
所述积分部对所述运动矢量进行积分并计算所述装置的相对位置。
CN201980043409.2A 2018-07-02 2019-06-19 定位设备、定位方法和程序 Pending CN112334737A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862693019P 2018-07-02 2018-07-02
US62/693,019 2018-07-02
PCT/JP2019/024214 WO2020008878A1 (ja) 2018-07-02 2019-06-19 測位装置、測位方法、及びプログラム

Publications (1)

Publication Number Publication Date
CN112334737A true CN112334737A (zh) 2021-02-05

Family

ID=69060576

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980043409.2A Pending CN112334737A (zh) 2018-07-02 2019-06-19 定位设备、定位方法和程序

Country Status (5)

Country Link
US (1) US20210247189A1 (zh)
EP (1) EP3819592B1 (zh)
JP (1) JP7342864B2 (zh)
CN (1) CN112334737A (zh)
WO (1) WO2020008878A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112762933A (zh) * 2021-04-07 2021-05-07 智道网联科技(北京)有限公司 基于神经网络模型的车辆定位方法及装置

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108917751B (zh) * 2018-03-30 2021-11-02 北京凌宇智控科技有限公司 一种免标定的定位方法及系统
JP7280227B2 (ja) * 2020-08-31 2023-05-23 ヤフー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
JP7193507B2 (ja) * 2020-08-31 2022-12-20 ヤフー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
CN116848375A (zh) * 2020-09-29 2023-10-03 华为技术有限公司 基于惯性测量单元数据的用户轨迹估计
JP7432478B2 (ja) 2020-10-01 2024-02-16 株式会社フジタ 位置変換方法、プログラムおよび移動装置
US20220143820A1 (en) * 2020-11-11 2022-05-12 Sony Interactive Entertainment Inc. Domain adaptation for simulated motor backlash
WO2022113340A1 (ja) * 2020-11-30 2022-06-02 日本電気株式会社 情報処理装置、情報処理方法、及び、記録媒体
WO2022149383A1 (ja) * 2021-01-07 2022-07-14 パナソニックIpマネジメント株式会社 自律航法装置および自律航法方法
CN113686335B (zh) * 2021-06-10 2024-05-24 上海奥欧智能科技有限公司 通过一维卷积神经网用imu数据进行精确室内定位的方法
CN113899362B (zh) * 2021-09-09 2023-09-22 武汉大学 一种基于残差网络的带不确定性评估的行人航迹推算方法
JP7482094B2 (ja) 2021-09-13 2024-05-13 大井電気株式会社 学習データ生成装置および状態解析システム
CN113873637A (zh) * 2021-10-26 2021-12-31 上海瑾盛通信科技有限公司 定位方法、装置、终端和存储介质
CN117419761B (zh) * 2023-09-27 2024-04-19 成都天测皓智科技有限公司 高精度智能感知垃圾填埋场态势监测方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03148009A (ja) * 1989-11-02 1991-06-24 Matsushita Electric Ind Co Ltd 車載方位検出装置
US6522266B1 (en) * 2000-05-17 2003-02-18 Honeywell, Inc. Navigation system, method and software for foot travel
JP2007240194A (ja) * 2006-03-06 2007-09-20 Japan Radio Co Ltd 方位計測装置
JP2010122034A (ja) * 2008-11-19 2010-06-03 Fujitsu Ltd 絶対移動経路算出装置及び方法、並びにプログラム
US20110105957A1 (en) * 2008-07-02 2011-05-05 Masakatsu Kourogi Moving body posture angle processing device
JP2018042672A (ja) * 2016-09-13 2018-03-22 株式会社東芝 推定装置、推定方法及びコンピュータプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010071977A (ja) * 2008-08-20 2010-04-02 Seiko Epson Corp 初期位置決定方法、測位方法及び測位装置
JP2010151459A (ja) * 2008-12-24 2010-07-08 Seiko Epson Corp 位置算出方法及び位置算出装置
JP5439826B2 (ja) * 2009-01-26 2014-03-12 セイコーエプソン株式会社 位置算出方法及び位置算出装置
US9816818B2 (en) * 2010-12-03 2017-11-14 Qualcomm Incorporated Inertial sensor aided heading and positioning for GNSS vehicle navigation
JP6094026B2 (ja) 2011-03-02 2017-03-15 セイコーエプソン株式会社 姿勢判定方法、位置算出方法及び姿勢判定装置
US9268026B2 (en) * 2012-02-17 2016-02-23 Samsung Electronics Co., Ltd. Method and apparatus for location positioning in electronic device
US10288431B2 (en) * 2012-07-13 2019-05-14 National Institute Of Advance Industrial Device for estimating moving object travel direction and method for estimating travel direction
JP6152511B2 (ja) * 2013-03-29 2017-06-28 株式会社メガチップス 携帯端末装置、プログラムおよび補正方法
CN104111978B (zh) * 2014-06-25 2017-08-29 京东方科技集团股份有限公司 能量消耗测量方法以及能量消耗测量系统
JP2016218026A (ja) 2015-05-26 2016-12-22 株式会社東芝 情報処理装置、測位方法およびプログラム
JP6521853B2 (ja) 2015-12-18 2019-05-29 Kddi株式会社 情報処理装置、測位システム、情報処理方法、及びコンピュータプログラム
JP6852333B2 (ja) 2016-09-28 2021-03-31 カシオ計算機株式会社 進行方向推定装置、進行方向推定方法及び進行方向推定プログラム
EP3889719A1 (en) * 2017-02-08 2021-10-06 SZ DJI Technology Co., Ltd. Methods and system for controlling a movable object
WO2018220911A1 (ja) * 2017-06-01 2018-12-06 シャープ株式会社 歩幅算出装置、携帯端末、位置情報提供システム、歩幅算出装置の制御方法およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03148009A (ja) * 1989-11-02 1991-06-24 Matsushita Electric Ind Co Ltd 車載方位検出装置
US6522266B1 (en) * 2000-05-17 2003-02-18 Honeywell, Inc. Navigation system, method and software for foot travel
JP2007240194A (ja) * 2006-03-06 2007-09-20 Japan Radio Co Ltd 方位計測装置
US20110105957A1 (en) * 2008-07-02 2011-05-05 Masakatsu Kourogi Moving body posture angle processing device
JP2010122034A (ja) * 2008-11-19 2010-06-03 Fujitsu Ltd 絶対移動経路算出装置及び方法、並びにプログラム
JP2018042672A (ja) * 2016-09-13 2018-03-22 株式会社東芝 推定装置、推定方法及びコンピュータプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112762933A (zh) * 2021-04-07 2021-05-07 智道网联科技(北京)有限公司 基于神经网络模型的车辆定位方法及装置

Also Published As

Publication number Publication date
US20210247189A1 (en) 2021-08-12
JP7342864B2 (ja) 2023-09-12
EP3819592A1 (en) 2021-05-12
WO2020008878A1 (ja) 2020-01-09
EP3819592B1 (en) 2024-04-10
EP3819592A4 (en) 2021-09-01
JPWO2020008878A1 (ja) 2021-07-08

Similar Documents

Publication Publication Date Title
CN112334737A (zh) 定位设备、定位方法和程序
Qiu et al. Inertial/magnetic sensors based pedestrian dead reckoning by means of multi-sensor fusion
JP6268945B2 (ja) 慣性装置、方法及びプログラム
Norrdine et al. Step detection for ZUPT-aided inertial pedestrian navigation system using foot-mounted permanent magnet
US8473241B2 (en) Navigation trajectory matching
Fourati Heterogeneous data fusion algorithm for pedestrian navigation via foot-mounted inertial measurement unit and complementary filter
JP6322960B2 (ja) 慣性装置、方法及びプログラム
CN103314274B (zh) 活动元件或物体的轨迹的估算方法及系统
JP4515497B2 (ja) 進行方向計測装置及び進行方向計測方法
JP6083279B2 (ja) 移動状況情報算出方法及び移動状況情報算出装置
JP6573156B2 (ja) データ解析装置及びデータ解析方法、データ解析プログラム
JP5176145B2 (ja) 方位検出方法及び装置、並びに移動履歴算出方法及び装置
US20130110397A1 (en) Method and System for Detection of a Zero Velocity State of an Object
US20150308831A1 (en) Apparatus for inferring pedestrian position based on pedestrian movement detection, and method therefor
JP2017106891A (ja) 慣性装置、プログラム、測位方法
Van Nguyen et al. Real-time human foot motion localization algorithm with dynamic speed
Xuan et al. Making indoor maps with portable accelerometer and magnetometer
Park et al. Robust pedestrian dead reckoning for multiple poses in smartphones
US11029415B2 (en) Systems and methods for estimating initial heading at start-up of navigation
JP2013111407A (ja) 軌跡演算装置および軌跡演算方法
CN109997014B (zh) 用于确定轨迹的系统和方法
JP2019148586A (ja) 位置計測装置、位置補正方法、及び位置情報取得システム
Sang et al. A self-developed indoor three-dimensional pedestrian localization platform based on MEMS sensors
Ray Pedestrian navigation using particle filtering and a priori building maps
Luttwak Human Motion Tracking and Orientation Estimation using inertial sensors and RSSI measurements

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination