CN115908476A - 轨迹估计模型训练方法、轨迹估计方法及设备 - Google Patents
轨迹估计模型训练方法、轨迹估计方法及设备 Download PDFInfo
- Publication number
- CN115908476A CN115908476A CN202111165311.XA CN202111165311A CN115908476A CN 115908476 A CN115908476 A CN 115908476A CN 202111165311 A CN202111165311 A CN 202111165311A CN 115908476 A CN115908476 A CN 115908476A
- Authority
- CN
- China
- Prior art keywords
- trajectory
- imu data
- data
- estimation
- measured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 178
- 238000000034 method Methods 0.000 title claims abstract description 150
- 238000000605 extraction Methods 0.000 claims abstract description 130
- 238000005259 measurement Methods 0.000 claims abstract description 107
- 238000006073 displacement reaction Methods 0.000 claims description 33
- 230000001133 acceleration Effects 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 abstract description 11
- 230000006870 function Effects 0.000 description 68
- 239000013598 vector Substances 0.000 description 65
- 238000010586 diagram Methods 0.000 description 34
- 238000004364 calculation method Methods 0.000 description 19
- 238000007781 pre-processing Methods 0.000 description 19
- 230000007850 degeneration Effects 0.000 description 18
- 230000005021 gait Effects 0.000 description 17
- 238000012512 characterization method Methods 0.000 description 14
- 238000005070 sampling Methods 0.000 description 12
- 230000036544 posture Effects 0.000 description 9
- 238000002360 preparation method Methods 0.000 description 9
- 230000005484 gravity Effects 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000021615 conjugation Effects 0.000 description 5
- 230000003247 decreasing effect Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000004925 denaturation Methods 0.000 description 4
- 230000036425 denaturation Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000009987 spinning Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003189 isokinetic effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Navigation (AREA)
Abstract
本申请涉及数据处理技术领域,具体涉及一种轨迹估计模型训练方法、轨迹估计方法及设备。该方法包括:获取第一惯性测量单元在第一时间段内产生的第一IMU数据;获取第二IMU数据;其中,第一IMU数据和第二IMU数据采用的坐标系相同,且第二IMU数据和所述第一IMU数据具有预设的对应关系;在特征提取模块,提取第一IMU数据的第一特征,以及提取第二IMU数据的第二特征;在标签估计模块,根据第一特征,确定第一标签,以及根据第二特征,确定第二标签;确定第一标签和第二标签之间的第一差异;朝着降低第一差异的方向,对特征提取模块的参数和标签估计模块的参数进行第一更新。该方法可以降低对数据的依赖,并提升轨迹估计的精度。
Description
技术领域
本申请涉及数据处理技术领域,具体涉及一种轨迹估计模型训练方法、轨迹估计方法及设备。
背景技术
在向用户提供导航服务时,需要获取用户的轨迹。一种轨迹获取方案为:借助于卫星定位技术(例如,全球定位系统(global positioning system,GPS)),来获取用户的轨迹。另一种方案为:基于惯性测量单元(inertial measurement unit,IMU)测量到的IMU数据,估计用户的轨迹。基于IMU数据估计轨迹的方案,可以在室内以及卫星定位技术可用性较弱的室外环境下,得到用户的轨迹,使得室内导航、增强现实(augmented reality,AR)等服务得以实现。
目前,基于IMU数据估计轨迹的方案包括如下两种。
A)基于物理原理模型的轨迹估计方案。该方案有两种实现方式,其中一种方式为,基于双积分的捷联惯导系统进行轨迹估计,该方式高度依赖惯性测量单元的准确性,因此,需要笨重且昂贵的高精度惯性测量单元;另一种方式为,使用基于步态检测的轨迹推算系统进行轨迹估计,该方式需要调整大量参数,且遇到新的步态特征时,轨迹估计精度较差。
B)数据驱动的轨迹推算方案。该方案需要大量真值轨迹,且对真值轨迹的精确度要求较高,导致该方案的的成本较高;并且,在真值轨迹没有覆盖的场景,轨迹推算精度会大幅降低。
发明内容
本申请实施例提供了一种轨迹估计模型训练方法、轨迹估计方法及设备,以提升轨迹估计的精度。
第一方面,本申请实施例提供了一种轨迹估计模型的训练方法,轨迹估计模型包括:特征提取模块、标签估计模块;该方法包括:获取第一惯性测量单元在第一时间段内产生的第一IMU数据;其中,第一惯性测量单元在第一时间段内沿第一轨迹移动;获取第二IMU数据;其中,第一IMU数据和第二IMU数据采用的坐标系相同,且第二IMU数据和第一IMU数据具有预设的对应关系;在特征提取模块,提取第一IMU数据的第一特征,以及提取第二IMU数据的第二特征;在标签估计模块,根据第一特征,确定第一标签,以及根据第二特征,确定第二标签;其中,第一标签和第二标签对应第一物理量;确定第一标签和第二标签之间的第一差异;朝着降低第一差异的方向,对特征提取模块的参数和标签估计模块的参数进行第一更新。
也就是说,本申请实施例提供的轨迹估计模型的训练方法可以采用自监督的方式,训练轨迹估计模型,从而降低了对真值数据的依赖,并且可提高轨迹估计模型的估计精度以及泛化性。
在一种可能的实现方式中,第一物理量包括速度、位移、步长、航向角中的任一种或多种。
也就是说,在该实现方式中,可以通过训练用于估计不同的物理量的轨迹估计模型,实现对轨迹的灵活估计。
在一种可能的实现方式中,第一IMU数据包括第一加速度和第一角速度,获取第二IMU数据包括:将第一加速度的方向沿着第一方向旋转第一角度,以及将第一角速度的方向沿着第一方向旋转第一角度,得到第二IMU数据。
也就是说,在该实现方式中,可以将第一IMU数据进行旋转,得到第二IMU数据,利用第一IMU数据和第二IMU数据可以实现轨迹估计模型的旋转等变性自监督训练。
在一种可能的实现方式中,根据第一特征,确定第一标签,以及根据第二特征,确定第二标签,包括:根据第一特征,确定第一初始标签,并将第一初始标签的方向沿着第一方向旋转第一角度,得到第一标签;或者,根据第二特征,确定第二初始标签,并将第二初始标签的方向沿着第二方向旋转第一角度,得到第二标签,第二方向和第一方向相反。
也就是说,在该实现方式中,可以将基于第一IMU数据的标签旋转后,和基于第二IMU数据的标签进行对比,得到损失函数;或者,可以将基于第二IMU数据的标签旋转后,和基于第一IMU数据的标签进行对比,得到损失函数;从而可以实现轨迹估计模型的旋转等变性自监督训练。
在一种可能的实现方式中,该方法还包括:获取第一IMU数据的设备共轭数据,设备共轭数据为第二惯性测量单元在第一时间段内产生的IMU数据;其中,第二惯性测量单元在第一时间段内沿第一轨迹移动;在特征提取模块,提取设备共轭数据的特征;在标签估计模块,根据设备共轭数据的特征,确定设备共轭数据所对应的标签;确定第一标签和设备共轭数据所对应的标签之间的设备共轭差异;朝着降低第一差异的方向,对特征提取模块的参数和标签估计模块的参数进行第一更新包括:朝着降低第一差异的方向和朝着降低设备共轭差异的方向,对特征提取模块的参数和标签估计模块的参数进行第一更新。
也就是说,在该实现方式中,在对轨迹估计模型进行旋转等变性的同时,可以利用不同惯性测量单元产生的IMU数据,对轨迹估计模型进行跨设备一致性自监督训练。
在一种可能的实现方式中,该方法还包括:获取第一IMU数据的设备共轭数据,设备共轭数据为第二惯性测量单元在第一时间段内产生的IMU数据;其中,第二惯性测量单元在第一时间段内沿第一轨迹移动;在特征提取模块,提取设备共轭数据的特征;确定第一特征和设备共轭数据的特征之间的共轭特征相似度;朝着提高共轭特征相似度的方向,对特征提取模块的参数进行第二更新。
也就是说,在该实现方式中,可以利用不同惯性测量单元产生的IMU数据,对轨迹估计模型的特征提取模块进行跨设备一致性自监督训练。
在一种可能的实现方式中,第二IMU数据是第二惯性测量单元在第一时间段内产生的;其中,第二惯性测量单元在第一时间段内沿第一轨迹移动。
也就是说,在该实现方式中,可以利用不同惯性测量单元产生的IMU数据,对轨迹估计模型进行跨设备一致性自监督训练。
在一种可能的实现方式中,第一IMU数据包括第一加速度和第一角速度,该方法还包括:将第一加速度的方向沿着第一方向旋转第一角度,以及将第一角速度的方向沿着第一方向旋转第一角度,得到第一IMU数据的旋转共轭IMU数据;在特征提取模块,提取旋转共轭IMU数据的特征;在标签估计模块,根据旋转共轭IMU数据的特征,确定旋转共轭标签;确定第一标签和旋转共轭标签之间的旋转共轭差异;朝着降低第一差异的方向,对特征提取模块的参数和标签估计模块的参数进行第一更新包括:朝着降低第一差异的方向和朝着降低旋转共轭差异的方向,对特征提取模块的参数和标签估计模块的参数进行第一更新。
也就是说,在该实现方式中,在对轨迹估计模型进行跨设备一致性自监督的同时,可以将IMU数据进行旋转,以对轨迹估计模型进行旋转等变性自监督。
在一种可能的实现方式中,该方法还包括:确定第一特征和第二特征之间的相似度;朝着提高第一特征和第二特征之间的相似度的方向,对特征提取模块的参数进行第二更新。
也就是说,在该实现方式中,可以利用不同惯性测量单元产生的IMU数据,对轨迹估计模型的特征提取模块进行跨设备一致性自监督训练。
在一种可能的实现方式中,该方法还包括:获取第一惯性测量单元在沿着第一轨迹移动时的实际标签;确定第一标签和实际标签之间的标签差异;朝着降低第一差异的方向,对特征提取模块的参数和标签估计模块的参数进行第一更新包括:朝着降低第一差异的方向和朝着降低标签差异的方向,对特征提取模块的参数和标签估计模块的参数进行第一更新。
也就是说,在该实现方式中,在对轨迹估计模型进行自监督的基础上,还可以对轨迹估计模型进行真值监督,进一步提高了轨迹估计模型的估计精度。
另外,在本申请实施例中,一标签和另一标签之间的差异可以称为标签差异。
在一种可能的实现方式中,在对特征提取模块的参数和标签估计模块的参数进行第一更新之后,该方法还包括:在经过第一更新之后的特征提取模块,提取第一IMU数据的第三特征;在经过第一更新之后的标签估计模块,根据第三特征,确定第三标签,第三标签包括估计速度;根据第一时间段的时长和第三标签,确定第一惯性测量单元在第一时间段内的第一估计轨迹;确定第一估计轨迹和第一轨迹之间的轨迹差异;朝着降低轨迹差异的方向,对特征提取模块的参数和标签估计模块的参数进行第三更新。
也就是说,在该实现方式中,在对轨迹估计模型进行自监督的基础上,还可以对轨迹估计模型进行轨迹级的监督,进一步提高了轨迹估计模型的估计精度。
在一种可能的实现方式中,确定第一估计轨迹和第一轨迹之间的轨迹差异包括:确定第一估计轨迹的长度和第一轨迹的长度之间的长度差异,以及确定第一估计轨迹的航向角和第一轨迹的航向角之间的角度差异;朝着降低轨迹差异的方向,对特征提取模块的参数和标签估计模块的参数进行第三更新包括:朝着降低长度差异和朝着降低角度差异的方向,对特征提取模块的参数和标签估计模块的参数进行第三更新。
也就是说,在该实现方式中,在该实现方式中,在对轨迹估计模型进行自监督的基础上,还可以对轨迹估计模型进行轨迹长度监督,进一步提高了轨迹估计模型在估计轨迹长度方面的估计精度。
第二方面,本申请实施例提供了一种利用轨迹估计模型进行轨迹估计的方法,该轨迹估计模型由第一方面所提供的方法训练得到,该轨迹估计模型包括特征提取模块和标签估计模块;方法包括:获取第一物体的第一实测IMU数据,第一实测IMU数据是第一物体上的惯性测量单元在第一时间段内产生的;在特征提取模块,提取第一实测IMU数据的第一特征;在标签估计模块,根据第一实测IMU数据的第一特征,确定第一物体对应的第一实测标签,第一实测标签对应第一物理量;根据第一实测标签,确定第一物体在第一时间段内的轨迹。
也就是说,本申请实施例的方案可以利用第一方面训练得到的轨迹估计模型进行轨迹估计,得到精度较高的估计轨迹。
在一种可能的实现方式中,第一物理量包括速度、位移、步长、航向角中的任一种或多种。
也就是说,在该实现方式中,可以通过估计不同的物理量,实现对轨迹的灵活估计。
在一种可能的实现方式中,在提取第一实测IMU数据的第一特征之前,方法还包括:获取第一物体的第二实测IMU数据,第一实测IMU数据和第二实测IMU数据采用的坐标系相同,且第二实测IMU数据和第一实测IMU数据具有预设的对应关系;在特征提取模块,提取第一实测IMU数据的第二特征,以及提取第二实测IMU数据的特征;在标签估计模块,根据第一实测IMU数据的第二特征,确定第二实测标签,以及根据第二实测IMU数据的特征,确定第三实测标签;其中,第二实测标签和第三实测标签对应第一物理量,第一物理量包括速度、位移、步长和航向角中的任一种或多种;确定第二实测标签和第三实测标签之间的差异;朝着降低第二实测标签和第三实测标签之间的差异的方向,对特征提取模块的参数和标签估计模块的参数进行更新。
也就是说,在该实现方式中,在利用轨迹估计模型进行轨迹估计时,可以利用实测IMU数据,对轨迹估计模型先进行自监督训练,以更新轨迹估计模型,使得轨迹估计模型可以适应实测IMU数据,提高了轨迹估计模型对实测IMU数据的适应性,从而提高了在利用实测IMU数据进行轨迹估计的估计精度,以及提高了轨迹估计模型的泛化性。
在一种可能的实现方式中,第一实测IMU数据包括第一实测加速度和第一实测角速度,获取第一物体的第二实测IMU数据包括:将第一实测加速度的方向沿着第一方向旋转第一角度,以及将第一实测角速度的方向沿着第一方向旋转第一角度,得到第二IMU数据。
也就是说,在该实现方式中,在利用轨迹估计模型进行轨迹估计时,可以利用实测IMU数据,对轨迹估计模型先进行旋转等变性自监督训练,以更新轨迹估计模型,使得轨迹估计模型可以适应实测IMU数据,提高了轨迹估计模型对实测IMU数据的适应性,从而提高了在利用实测IMU数据进行轨迹估计的估计精度,以及提高了轨迹估计模型的泛化性。
在一种可能的实现方式中,第二实测IMU数据和第一实测IMU数据分别是第一物体上的不同惯性测量单元在第一时间段内产生的。
也就是说,在该实现方式中,在利用轨迹估计模型进行轨迹估计时,可以利用实测IMU数据,对轨迹估计模型先进行跨设备一致性自监督训练,以更新轨迹估计模型,使得轨迹估计模型可以适应实测IMU数据,提高了轨迹估计模型对实测IMU数据的适应性,从而提高了在利用实测IMU数据进行轨迹估计的估计精度,以及提高了轨迹估计模型的泛化性。
第三方面,本申请实施例提供了一种轨迹不确定度确定方法,包括:获取多个轨迹估计模型输出的多个估计结果,多个轨迹估计模型和多个估计结果一一对应,多个估计结果对应第一物理量,多个轨迹估计模型中不同轨迹估计模型的训练过程彼此独立,且训练方法相同;确定多个估计结果之间的第一差异,第一差异用于表示第一物理量的不确定度;其中,第一差异使用方差或标准差表示。
也就是说,在本申请实施例中,可以利用独立训练得到的多个轨迹估计模型进行轨迹估计,得到物理量的多个估计结果,通过物理量多个轨迹估计结果的差异分析,得到该物理量的不确定度作为轨迹估计质量指示量,为轨迹估计结果的可用性提供指示,有助于实现高可靠的轨迹估计。
在一种可能的实现方式中,第一物理量为速度。
也就是说,在该实现方式中,可以确定速度的不确定度,为轨迹估计结果的可用性提供指示,有助于实现高可靠的轨迹估计。
在一种可能的实现方式中,该方法还包括:确定估计结果对应的第一位置;确定多个估计结果对应的多个第一位置之间的第二差异,多个第一位置和多个估计结果一一对应,第二差异用于表示第一位置的不确定度;其中,第二差异使用方差或标准差表示。
也就是说,在该实现方式中,可以确定位置的不确定度,为轨迹估计结果的可用性提供指示,有助于实现高可靠的轨迹估计。
在一种可能的实现方式中,估计结果通过三维空间坐标系表示,估计结果包括在三维空间坐标系的第一坐标轴方向上的第一速度、在三维空间坐标系的第二坐标轴方向上的第二速度;该方法还包括:确定第一航向角在第一速度上的第一变化率,以及确定第一航向角在第二速度上的第二变化率;其中,第一航向角为在第一坐标轴和第二坐标轴所在平面上的角度;基于第一变化率、第二变化率、第一速度的不确定度和第二速度的不确定度,确定第一航向角的不确定度。
也就是说,在该实现方式中,可以确定航向角在速度上变化率,并利用误差传播原理,基于航向角在速度上的变化率、速度的不确定度,确定航向角的不确定度,从而可以实现静止状态或近似静止状态下的不确定度的准确估计。
在一种可能的实现方式中,确定第一航向角在第一速度上的第一变化率,以及确定第一航向角在第二速度上的变化率包括:使用第一速度和第二速度表示第一航向角,得到第一表达式;对第一表达式,进行第一速度的一阶偏导数计算,得到第一变化率;对第一表达式,进行第二速度的一阶偏导数计算,得到第二变化率。
也就是说,在该实现方式中,可以利用速度和航向角的几何关系,使用速度来表示航向角,然后对使用来表示航向角的关系式进行一阶偏导数计算,可以得到航向角在速度上的变化率。
第四方面,本申请实施例提供了一种计算设备,包括处理器、存储器;存储器用于存储计算机程序;处理器用于执行计算机程序,以实现第一方面所提供的方法。
第五方面,本申请实施例提供了一种计算设备,包括处理器、存储器;存储器用于存储计算机程序;处理器用于执行计算机程序,以实现第二方面所提供的方法。
第六方面,本申请实施例提供了一种计算设备,包括处理器、存储器;存储器用于存储计算机程序;处理器用于执行计算机程序,以实现第三方面所提供的方法。
第七方面,本申请实施例提供了一种计算机可读存储介质,包括计算机程序指令,当计算机程序指令由计算设备执行时,计算设备执行第一方面或第二方面或第三方面所提供的方法。
第八方面,本申请实施例提供了一种包含指令的计算机程序产品,当指令被计算设备运行时,使得计算设备执行第一方面或第二方面或第三方面所提供的方法。
本申请实施例提供的轨迹估计模型训练方法、轨迹估计方法以及设备,可以采用自监督的方式训练轨迹估计模型,在低数据依赖的情况下,提升了轨迹估计模型的估计精度。
附图说明
图1为本申请实施例提供的一种轨迹估计模型结构示意图;
图2为本申请实施例提供的一种系统架构示意图;
图3为本申请实施例提供的一种旋转等变性自监督训练示意图;
图4为本申请实施例提供的一种跨设备一致性自监督训练示意图;
图5为本申请实施例提供的一种轨迹级解耦监督训练示意图;
图6为本申请实施例提供的一种轨迹估计方案示意图;
图7为本申请实施例提供的一种轨迹不确定度确定方案示意图;
图8A为本申请的实施例1提供的一种数据预处理方案示意图;
图8B为本申请的实施例1提供的一种特征提取模块结构示意图;
图8C为本申请的实施例1提供的一种标签估计模块结构示意图;
图8D为本申请的实施例1提供的一种轨迹估计模型正向传播示意图;
图8E为本申请的实施例1提供的一种旋转等变性自监督损失函数的示意图;
图8F为本申请的实施例1提供的一种跨设备一致性自监督损失函数的示意图;
图8G为本申请的实施例1提供的一种真值速度监督损失函数的示意图;
图9A为本申请的实施例1的轨迹级解耦监督训练阶段的数据预处理方案示意图
图9B为本申请的实施例1的轨迹级解耦监督训练阶段的轨迹重构示意图;
图9C为本申请的实施例1的轨迹级解耦监督训练阶段的轨迹总里程监督的损失函数示意图;
图9D为本申请的实施例1的轨迹级解耦监督训练阶段的步点航向角监督的损失函数示意图;
图10A为本申请的实施例2的数据预处理阶段的示意图;
图10B为本申请的实施例2的推断时训练阶段的示意图;
图10C为本申请的实施例2的轨迹重构示意图;
图11A为一种轨迹估计方案的估计轨迹的形态示意图;
图11B为利用本申请实施例提供的轨迹估计模型进行轨迹估计得到的估计轨迹示意图;
图11C为利用本申请实施例提供的轨迹估计模型进行轨迹估计得到的估计轨迹示意图;
图12A基于多个独立的速度估计模型,得到多个相互独立的估计速度和多个相互独立的估计位置的示意图;
图12B为确定速度不确定度和位置不确定度的示意图;
图12C为速度vx、速度vy和航向角θ的几何关系示意图;
图13A为本申请实施例提供的轨迹不确定度示意图;
图13B为本申请实施例提供的轨迹不确定度示意图;
图13C为本申请实施例提供的轨迹不确定度示意图;
图14A为本申请实施例提供的速度不确定度示意图;
图14B为本申请实施例提供的航向角不确定度示意图;
图14C为本申请实施例提供的估计轨迹和真值轨迹对比示意图;
图14D为本申请实施例提供的估计轨迹和真值轨迹对比示意图;
图15为本申请实施例提供的一种轨迹估计模型训练方法流程图;
图16为本申请实施例提供的一种轨迹估计方法流程图;
图17为本身申请实施例提供的一种轨迹不确定度方法流程图;
图18为本申请实施例提供的一种计算设备示意性框图。
具体实施方式
下面将结合附图,对本申请实施例中的技术方案进行描述。显然,本说明书所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。
在本说明书的描述中“一个实施例”或“一些实施例”等意味着在本说明书的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。
其中,在本说明书的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,在本说明书实施例的描述中,“多个”是指两个或多于两个。
在本说明书的描述中,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
室内导航服务以及在室内进行增强现实(augmented reality,AR)服务等需要获取用户的轨迹。而在室内难以借助卫星定位技术来获取用户的轨迹。在这种情况下,通常是利用IMU数据,估计用户的轨迹。
在方案A1中,将一定时长内的IMU数据分割为多个窗口,基于各窗口的IMU数据,利用深度学习模型,分别预估窗口的位移,基于相邻窗口的位移之间的角度变化,估计轨迹。该方案中,深度学习模型在推断过程中,参数一成不变,难以适应新步态。并且,该方案估计出的轨迹长度偏短。
在方案A2中,基于地磁传感器,检测惯性测量单元(inertial measurement unit,IMU)在世界坐标系中的姿态,基于该姿态将用户的运动矢量转换为世界坐标系中的运动矢量,以估计用户的位置,进而得到用户的轨迹。该方案依赖地磁传感器,使用场景受限。并且,该方案也难以适应新步态。
在方案A3中,结合GPS数据和IMU数据进行轨迹估计。该方案依赖GPS技术,难以应用于无GPS的室内场景和弱GPS的室外场景。并且,该方案也难以适应新步态。
参阅图1,本申请实施例提供了一种轨迹估计模型,该轨迹估计模型可以包括特征提取模块和标签估计模块。其中,特征提取模块可以提取IMU数据的特征,并将提取的特征输入至标签估计模块。标签估计模块可以根据该特征,输出对应于物理量A的标签。
其中,物理量A可以为位移、速度、步长、航向角中的任一种或多种。其中,当物理A为速度时,速度包括速度的大小(即速率)以及速度的方向。同理,物理量A为位移时,位移包括位移的长度和方向。示例性的,物理量A可以为步长和航向角。在一些实施例中,标签估计模块输出的标签具体为物理量A。在一些实施例中,标签估计模块输出的标签与物理量A成正比例。
在一些实施例中,轨迹估计模型可以为神经网络。在一些实施例中,轨迹估计模型可以为支持向量机。等等,本申请实施例对轨迹估计模型的具体形式不做限定。
其中,在本申请实施例中,可以采用自监督学习方法,训练该轨迹估计模型,不但降低了对真值数据的依赖,还提升了轨迹估计模型的估计精度,并且,在后续使用该轨迹估计模型进行轨迹估计时,可以对轨迹估计模型的参数进行更新,以适应新的步态。另外,在训练该轨迹估计模型时,可以对轨迹的长度和航向角分别进行监督,既提升了轨迹估计模型对轨迹的长度的估计准确度,也提升了轨迹估计模型对轨迹的航向角的估计准确度。另外,可以独立训练多个轨迹估计模型,然后使用该多个轨迹估计模型中的不同轨迹估计模型进行轨迹估计,并基于不同轨迹估计模型输出的轨迹估计结果,计算轨迹估计的不确定度,以评估轨迹估计模型输出结果的可靠性。
IMU数据是指惯性测量单元测量到的数据,可以包括惯性测量单元测量到的加速度和角速度。
真值数据是指在实验环境下获取的可以表示真实的轨迹或者说实际的轨迹的数据。在本申请实施例中,可以利用光学运动捕捉系统(例如)获取真值数据,也可以采用视觉追踪技术(例如,即时定位与地图构建(simultaneous localization and mapping,SLAM))获取真值数据。
步态是惯性测量单元的姿态或惯性测量单元所在设备的姿态。其中,物体的姿态可以是指在物体在三维空间中的摆放角度。惯性测量单元所在设备的姿态不同,导致惯性测量单元的姿态也不相同。可以理解,手机、平板电脑、智能穿戴设备等终端设备通常具有惯性测量单元。在终端设备的不同使用场景下,终端设备的姿态不同。例如,用户边走路边打电话场景下的终端设备的姿态和用户边走路边拍照场景下的终端设备的姿态通常是不同的。再例如,用户走路时,手持的终端设备随着用户手臂的不断摆动,终端设备的姿态也是不断变化的。
轨迹的长度是指轨迹在三维空间中的长度。在本申请实施例中,轨迹的长度可以是指相邻步点的长度的加和。其中,步点是指单位时间内的位移,步点的长度是指位移的大小。轨迹的航向角是指轨迹在三维空间中的角度。轨迹的航向角可由组成该轨迹的步点的航向角组成。步点的航向角是指步点在三维空间中的角度。
接下来,介绍轨迹估计模型的训练方案以及推断方案。其中,推断方案是指利用该轨迹估计模型进行轨迹估计的方案。
图2示出了本申请实施例的系统架构。如图2所示,该系统架构可以分为训练阶段和推断阶段。
其中,训练阶段可以由训练装置执行,该训练装置可以配置于任何具有数据计算、处理能力的设备、平台、集群。
在训练阶段,可以对轨迹估计模型进行训练。具体而言,可以朝着降低损失函数(loss)的方向,更新轨迹估计模型的参数。其中,在对轨迹估计模型进行训练之前,可以随机化设置速度估计模块的参数。
参阅图2,在训练的第一阶段可以进行自监督训练。其中,自监督训练是指在无需真值数据的情况下,更新轨迹估计模型的参数的训练方式。
在一些实施例中,如图2所示,自监督训练可以包括旋转等变性(rotationequivariance)自监督,用于训练轨迹估计模型的旋转等变性。其中,模型的旋转等变性是指对模型的输入进行旋转,模型的输出也会发生相同的旋转。具体到本申请实施例提供的轨迹估计模型,其旋转等变性是指将输入到轨迹估计模型的IMU数据进行旋转,轨迹估计模型输出的速度发生相同的旋转。其中,IMU数据旋转具体是指IMU数据中的角速度方向的旋转和加速度方向的旋转。
可以理解,好的轨迹估计模型应该具备旋转等变性。举例而言,用户以速度A进行移动时,其佩戴的惯性测量单元产生IMU数据A1;若用户以速度B进行移动时,其佩戴的惯性测量单元产生IMU数据B1。若速度A的方向相对速度B的方向具有夹角C,那么IMU数据A1相对于IMU数据B1也具有夹角C。如此,在假设速度A的大小和速度B的大小相同的情况下,将IMU数据A1旋转夹角C,可以得到IMU数据B1。因此,将旋转了夹角C的IMU数据A1,输入到具有旋转等变性的轨迹估计模型,该模型可以输出速度B。同理,若将旋转了夹角C的IMU数据A1,输入到轨迹估计模型,若该模型输出速度B,那么说明该轨迹估计模型具有旋转等变性。
基于上述原理,可以对轨迹估计模型进行旋转等变性自监督训练。接下来,结合图3,对旋转等变性自监督训练进行示例介绍。
参阅图3,可以获取时间段t1的IMU数据。其中,时间段t1的IMU数据是指惯性测量单元在时间段t1内产生的IMU数据。在一些实施例中,惯性测量单元实时采集IMU数据,训练装置可以通过训练装置和惯性测量单元之间的接口,按照预设的读取频率读取IMU数据。如此,在正常情况下,在时间段t1内可以读取到预设次数的IMU数据,该预设次数的IMU数据可以称为时间段t1的IMU数据,一次读取的IMU数据也可以称为一个IMU数据,也就是说,时间段t1的IMU数据可以包括多个IMU数据。在一个例子中,可以设定时间段t1为1秒,预设的频率为100Hz,如此,在正常情况下,在时间段t1可以读取到100次IMU数据,该100次IMU数据可以称为时间段t1的IMU数据。时间段t1的IMU数据整体可以作为独立的数据点,用于估计或者说预测该时间段t1的速度。
在一些实施例中,参阅图3,在将时间段t1的IMU数据输入到轨迹估计模型之前,可以对时间段t1的IMU数据进行预处理。可以理解,从惯性测量单元获取的IMU数据可能会受到传感器可靠性以及器件噪声等因素的影响,因此,需要对时间段t1的IMU数据进行预处理。
在一个示例中,对时间段t1的IMU数据进行预处理包括数据校验采样。具体而言,可以判断在时间段t1内从惯性测量单元读取到的数据满足预设条件。在一个例子中,预设条件具体为IMU数据的读取次数是否大于或等于预设阈值。若IMU数据的读取次数大于或等于该预设阈值,则认为在该时间段t1内读取的IMU数据合格,确认数据读取成功。若小于该预设阈值,则认为在该时间段t1内读取的IMU数据不合格,确认数据读取失败。在另一个例子中,预设条件具体可以为时间段t1的IMU数据中相邻两个的IMU数据之间的读取时间差是否小于预设时长。其中,相邻两个的IMU数据是指读取时间相邻的两个IMU数据。若时间段t1的IMU数据中每组相邻两个的IMU数据之间的读取时间差均小于该预设时长,则确认数据读取成功。若时间段t1的IMU数据中一组或多组相邻两个的IMU数据之间的读取时间差均不小于该预设时长,则确认数据读取失败。
在一个示例中,对时间段t1的IMU数据进行预处理包括插值与采样。其中,可以根据在时间段t1内成功读取到的IMU数据,重新生成时间段t1的IMU数据。具体而言,可以对在时间段t1内成功读取到的IMU数据进行分段线性拟合,得到曲线。然后,按照预设的读取频率,在曲线上均匀取值,得到时间段t1的IMU数据。举例而言,设定时间段t1为1秒,预设的读取频率为100Hz,在时间段t1内成功读取到95个IMU数据。可以对该95个IMU进行线性拟合,得到曲线。然后,按照100Hz的频率在曲线上均匀取100个IMU数据,其中,相邻的两个IMU数据之间的时间差为10ms,如此,可以得到时间戳分布均匀的IMU数据,并据此组成时间段t1的IMU数据。
在一个示例中,对时间段t1的IMU数据进行预处理包括,将IMU数据所采样的坐标系的Z轴旋转至与重力方向重合。也就是说,在该示例中,使用世界坐标系表征IMU数据。
继续参阅图3,可以将时间段t1的IMU数据作为锚点数据,进行旋转处理。其中,旋转后的IMU数据可以称为旋转共轭数据。也就是说,锚点数据是未发生旋转的IMU数据,旋转共轭数据是将锚点数据旋转后得到的数据。其中,锚点数据的旋转包括锚点数据中的加速度的旋转和锚点数据中的角速度的旋转。
可以将锚点数据沿着三维空间中的任意方向D1旋转角度θ,得到旋转共轭数据。即将锚点数据沿着三维空间中的任意方向D1旋转角度θ得到的数据,称为旋转共轭数据。其中,角度θ大于0°,小于360°。在一些实施例中,可以将锚点数据分别沿着不同的方向旋转,且旋转的角度相同或不同,得到多个旋转共轭数据。在一个例子中,可以在坐标轴X和坐标轴Y所限定的平面上,以Z轴为旋转轴,分别以72°、144°、216°、288°为中心,以±18°为范围,随机选取四个角度,对锚点数据进行旋转,得到四组旋转共轭数据。其中,每组旋转共轭数据均可联合锚点数据,对轨迹估计模型进行旋转等变性自监督训练。
在下文中,当锚点数据和旋转共轭数据没有特别区分时,锚点数据和旋转共轭数据可简称为IMU数据。
需要说明的是,角度旋转是一种方式是获取旋转共轭数据的一种方式。本申请实施例不限于这种方式,在其他实施例中,可以采用其他方式获取旋转共轭数据,在此不再一一赘述。
另外,在下文中,以标签估计模块输出的标签具有为速度为例,对本申请实施例的方案进行举例说明。
可以将IMU数据输入到轨迹估计模型的特征提取模块,提取锚点数据的特征和旋转共轭数据的特征。其中,提取到的特征可以用向量表示。具体而言,可以将IMU数据进行嵌入(embedding)处理,得到IMU数据的表征向量。然后,将IMU数据的表征向量输入到特征提取模块,在特征提取模块,利用相关参数,对IMU数据表征向量进行运算,以提取IMU数据的特征,得到IMU数据的特征向量。其中,这一过程也可以称为IMU数据的信号表征。其中,锚点数据的特征向量可以称为锚点向量,旋转共轭数据的特征向量可以称为旋转共轭向量。
在一些实施例中,如上文所述,时间段t1的IMU数据整体可以作为独立的数据点,用于估计或者说预测该时间段t1的速度。其中,时间段t1的IMU数据包括多个读取时间不同的IMU数据。因此,输入至特征提取模块的IMU数据属于时序信号,可以使用一维(1dimensional)卷积(Conv1D)轨迹估计模型提取IMU数据的特征。
示例性的,特征提取模块可以包括多个串联设置的一维卷积层,每个卷积层可以包括一个或多个卷积核。其中,卷积核也可以称为卷积窗口。每个卷积窗口具有一定的覆盖范围。覆盖范围可以理解为宽度,可以使用IMU数据的个数表示。例如,一个卷积窗口的覆盖范围为Z个IMU数据,在采用该卷积窗口进行卷积处理时,可以对该卷积窗口覆盖的Z个IMU数据进行卷积处理,得到本层提取到的IMU数据的特征向量。其中,卷积处理可以为使用卷积窗口对应的参数,对该Z个IMU数据进行运算,得到IMU数据的特征向量。卷积层可以向其下一卷积层输出IMU数据的特征向量,该下一卷积层可以对IMU数据的特征向量继续进行卷积处理。
特征提取模块可以将其提取到的IMU数据的特征输入到标签估计模块。标签估计模块可以根据IMU数据的特征,计算出具有大小和方向的速度。具体而言,在标签估计模块,可以根据锚点向量,计算出锚点速度;根据旋转共轭向量,计算出旋转共轭速度。
通过上述方案,可以得到锚点数据对应的锚点速度和旋转共轭数据对应的旋转共轭速度。
继续参阅图3,可以对锚点数据或旋转共轭速度进行旋转。接下来,对这两种情况分别进行介绍。
在一些实施例中,可以设定旋转共轭数据是锚点数据沿方向D1旋转角度θ而得到的。那么可以将锚点速度沿方向D1旋转角度θ,得到锚点伪速度。然后,可以比较锚点伪速度和旋转共轭速度,计算两者之间的差异。可以以锚点伪速度和旋转共轭速度之间的差异为损失函数,对特征提取模块的参数以及速度提取层的参数进行更新。即可以朝着减少锚点伪速度和旋转共轭速度之间的差异的方向,更新特征提取模块的参数以及速度提取层的参数,以进行旋转等变性自监督训练。其中,锚点伪速度和旋转共轭速度之间的差异可以称为旋转共轭差异。
在一些实施例中,可以设定旋转共轭数据是锚点数据沿方向D1旋转角度θ而得到的。可以将旋转共轭速度沿着方向D2旋转角度θ,得到旋转共轭伪速度。方向D2和方向D1相反。然后,可以比较锚点速度和旋转共轭伪速度,计算两者之间的差异。可以以锚点速度和旋转共轭伪速度之间的差异为损失函数,对特征提取模块的参数以及速度提取层的参数进行更新。即可以朝着减少锚点速度和旋转共轭伪速度之间的差异的方向,更新特征提取模块的参数以及速度提取层的参数,以进行旋转等变性自监督训练。其中,锚点速度和旋转共轭伪速度之间的差异可以称为旋转共轭差异。
上文示例介绍了,旋转等变性自监督训练的方案。在一些实施例中,回到图2,在进行旋转等变性自监督的同时,还可以进行跨设备一致性(cross-device consistency)自监督。接下来,对跨设备一致性自监督进行介绍。
可以理解,对于一物体,其可以携带或搭载两个或更多个具有惯性测量单元的设备,也就是说,该物体携带或搭载了多个惯性测量单元。例如,对于一用户而言,其可以携带有手机、智能手表等多个设备,该多个设备配置有惯性测量单元。也就是说,该用户携带了多个惯性测量单元。对于携带或搭载在同一物体的多个惯性测量单元,在该物体运动时,可以同时工作,得到IMU数据。
跨设备一致性自监督是指利用携带或搭载在同一物体的多个惯性测量单元,因该物体运动,而分别测量到的IMU数据,进行自监督学习。接下来,设定惯性测量单元I1和惯性测量单元I2为例,对跨设备一致性监督进行示例介绍。
可以设定惯性测量单元I1和惯性测量单元I2搭载在同一物体上,并在该物体运动时,分别产生IMU数据I11和IMU数据I21,其中,IMU数据I11和IMU数据I21的产生时刻相同。参阅图4,可以将IMU数据I11输入到轨迹估计模型的特征提取模块,进行信号表征,得到IMU数据I11的特征;以及将IMU数据I21输入到特征提取模块,进行信号表征,得到IMU数据I21的特征。其中,IMU数据I11的特征可以使用特征向量I12表示,也就是说,特征提取模块可以输出特征向量I12,以表示IMU数据I11的特征。IMU数据I21的特征可以使用特征向量I22表示,也就是说,特征提取模块可以输出特征向量I22,以表示IMU数据I21的特征。
其中,IMU数据I21也可以称为IMU数据I11的设备共轭数据。
示例性的,在将IMU数据I11和IMU数据I21输入到特征提取模块之前,可以先对IMU数据I11和IMU数据I21进行数据预处理。数据预处理的方案可以参考上文对图3的介绍,在此不再赘述。
在一些实施例中,继续参阅图4,可以计算IMU数据I11的特征和IMU数据I21的特征的相似度S1。其中,IMU数据I11的特征和IMU数据I21的特征的相似度S1也可以称为IMU数据I11的特征和IMU数据I21的特征的共轭特征相似度。然后,朝着提高相似度S1的方向,更新特征提取模块的参数,以进行跨设备一致性自监督训练。可以理解,携带在同一物体上的不同惯性测量单元在同一时刻,因该物体的运动,而产生的IMU数据,对应该物体的轨迹上的一点。因此,IMU数据I11和IMU数据I21在特征提取模块所提取到的特征应相似。由此,朝着提高相似度S1的方向,更新特征提取模块的参数,可以训练出精度更高的模型。
在一些实施例中,可以将IMU数据I11的特征和IMU数据I21的特征输入到轨迹估计模型的标签估计模块。在标签估计模块,根据IMU数据I11的特征,确定速度I13;以及根据IMU数据I21的特征,确定速度I23。然后,可以以速度I13和速度I23之间的差异为损失函数,更新轨迹估计模型中各层的参数。换言之,可以朝着降低速度I13和速度I23之间的差异的方向,更新轨迹估计模型中各层的参数。具体而言,可以更新特征提取模块的参数和标签估计模块的参数。可以将速度I13和速度I23之间的差异称为设备共轭差异。
上文示例介绍了,跨设备一致性自监督训练的方案。在一些实施例中,回到图2,在进行旋转等变性自监督和/或跨设备一致性自监督的同时,还可以进行真值速度监督。接下来,对真值速度监督进行介绍。
可以获取真值速度,真值速度是指物体的实际速度,可以在实验室环境下获取。在一个例子中,可以通过计算机视觉技术获取真值速度。具体可以参考现有技术的介绍,在此不再赘述。另外,在本申请实施例中,可以将根据IMU数据,利用估计速度模型,计算得到的速度称为估计速度。
可以将IMU数据输入到轨迹估计模型。轨迹估计模型根据IMU数据,可以输出估计速度。具体可以参考上文对轨迹估计模型的介绍,在此不再赘述。
可以比较估计速度和真值速度,得到估计速度和真值速度的差异。然后,以估计速度和真值速度的差异为损失函数,更新轨迹估计模型中各层的参数。换言之,可以朝着降低估计速度和真值速度之间的差异的方向,更新轨迹估计模型中各层的参数。具体而言,可以更新特征提取模块的参数和标签估计模块的参数。
上文介绍了旋转等变性自监督、跨设备一致性自监督和真值速度监督这三种训练方案。可以同时采用这三种训练方案训练轨迹估计模型,也可以采用其中的任一种或两种训练方案训练轨迹估计模型。
如上所述,这三种训练方案的损失函数不同,其中,旋转等变性自监督方案的损失函数为锚点速度和旋转共轭伪速度之间的差异,跨设备一致性自监督方案的损失函数为基于不同惯性测量单元测量的IMU数据所估计到的不同速度(例如,速度I13和速度I23)之间的差异,真值速度监督方案的损失函数为估计速度和真值速度之间的差异)。
当这三种训练方案同时被采用时,可以为这三种训练方案分别设置权重,例如,旋转等变性自监督的训练方案的权重为Q1,跨设备一致性自监督的训练方案的权重为Q2,真值速度监督的训练方案的权重为Q3。其中,Q1+Q2+Q3=1。在一个例子中,Q1为0.4,Q2为0.1,Q3为0.5。将每种训练方案的损失函数乘以相应的权重,然后加和,得到总损失然后,以降低总损失为目标,更新速度模型模型的参数。
当三种训练方案中的任意两种训练方案同时被采用时,可以为该两种方案分别设置权重。例如,可以同时采用旋转等变性自监督的训练方案和真值速度监督的训练方案,那么可以设置旋转等变性自监督的训练方案的权重为q1、真值速度监督的训练方案的权重为q2。其中,q1+q2=1。将每种训练方案的损失函数乘以相应的权重,然后加和,得到总损失然后,以降低总损失为目标,更新速度模型模型的参数。
在一些实施例中,回到图2,轨迹估计模型的训练可以分为两个阶段,其中,训练的第一阶段为利用旋转等变性自监督、跨设备一致性自监督和真值速度监督中任一种或多种的训练方案训练轨迹估计模型。训练的第二阶段为利用轨迹级解耦监督再次训练轨迹估计模型。
可以理解,当标签估计模块输出的标签为其他物理量时,参考上述训练方案,可以实现对轨迹估计模型的训练。例如,当标签估计模块输出的标签为位移时,可以采集预设时长的IMU数据,输入到轨迹估计模型,标签估计模块可直接输出位移。其中,在训练时,可以采用真值位移作为监督量进行有监督训练。真值位移是指物体的实际位移,可以在实验室环境下获取。在一个例子中,可以通过计算机视觉技术获取真值位移。具体可以参考现有技术的介绍,在此不再赘述。当标签估计模块输出的标签为步长时,可以采集预设时长的IMU数据,输入到轨迹估计模型,标签估计模块可直接输出步长。其中,在训练时,可以采用真值步长作为监督量进行有监督训练。真值步长是指物体的实际步长,可以在实验室环境下获取。在一个例子中,可以通过计算机视觉技术获取真值步长。具体可以参考现有技术的介绍,在此不再赘述。当标签估计模块输出的标签为航向角时,可以采集预设时长的IMU数据,输入到轨迹估计模型,标签估计模块可直接输出航向角。在训练时,可以采用真值航向角作为监督量进行有监督训练。。真值航向角是指物体的实际航向角,可以在实验室环境下获取。在一个例子中,可以通过计算机视觉技术获取真值航向角。具体可以参考现有技术的介绍,在此不再赘述。当标签估计模块输出的标签为步长和航向角时,可以采集预设时长的IMU数据,输入到轨迹估计模型,标签估计模块可直接输出步长和航向角。在训练时,可以采用真值步长和真值航向角作为监督量进行有监督训练。等等,本申请实施例不再一一赘述。
接下来,结合图5,对轨迹级解耦监督进行示例介绍。其中,在下文中,仍以标签估计模块输出的标签为速度为例进行介绍。
如上所述,时间段t1的IMU数据整体可以作为独立的数据点,用于估计或者说预测该时间段t1的速度。其中,可以设定时间段t1的IMU数据是物体A携带的惯性测量单元产生的,估计或者说预测的时间段t1的速度是指该物体A在时间段t1的速度。轨迹估计模型可以获取到时间段t1的IMU数据,并基于时间段t1的IMU数据,确定时间段t1的估计速度。时间段t1的估计速度乘以时间段t1的时长,得到时间段t1的估计轨迹。参考时间段t1的估计轨迹,可以得到其他时间段的估计轨迹。将多个依次相邻的时间段的估计轨迹,按照该多个时间段在时间维度上的顺序,依次相接,可以重构物体A在多个时间段的轨迹。其中,可以设定该多个时间段是对时间段T1进行划分得到的,那么重构的物体A在多个时间段的轨迹是指物体A在时间段T1的轨迹。其中,为方便描述,可以将利用多个估计轨迹重构得到的轨迹称为重构轨迹。可以将利用多个估计轨迹重构得到的轨迹的过程称为轨迹重构。可以将多个时间段中的一个时间段称为一个窗口,该时间段的IMU数据称为窗口IMU数据。
回到图5,可以获取物体A的多个窗口IMU数据,其中,每个窗口IMU数据包括在相应窗口中从物体A携带的惯性测量单元多次读取到的IMU数据。具体可以参考上文对时间段t1的IMU数据的介绍,在此不再赘述。
可以将物体A的多个窗口IMU数据输入到轨迹估计模型,然后,由轨迹估计模型输出多个窗口的速度,其中,多个窗口IMU数据和多个窗口的速度一一对应。也就是说,轨迹估计模型可以根据多个窗口IMU数据中每个窗口IMU数据,计算出每个窗口的速度。具体而言,可以在轨迹估计模型的特征提取模块,提取每个窗口IMU数据的特征,然后在标签估计模块,根据每个窗口IMU数据的特征,计算出每个窗口的速度。具体可以参考上文对图3所示实施例的介绍,在此不再赘述。
在一些实施例中,参阅图5,在将多个窗口IMU数据输入到轨迹估计模型之前,进行数据预处理。其中,数据预处理的具体过程可以参考上文对图3所示实施例的介绍,在此不再赘述。
在得到每个窗口的速度后,可以将每个窗口的速度乘以相应窗口的时长,得到该窗口的估计轨迹。多个窗口的估计轨迹经过轨迹重构,得到物体A的多个窗口的重构轨迹。其中,多个窗口是对时间段T1进行划分得到的,物体A的多个窗口的重构轨迹即是指物体A对应时间段T1的重构轨迹。
可以获取物体A对应的时间段T1的真值轨迹。其中,真值轨迹可以在实验室环境下,利用轨迹追踪技术获取到的轨迹。在一个例子中,可以通过计算机视觉技术获取真值速度。具体可以参考现有技术的介绍,在此不再赘述。
在获取物体A对应的时间段T1的真值轨迹和重构轨迹之后,可以比较物体A对应的时间段T1的真值轨迹和重构轨迹,得到真值轨迹和重构轨迹之间的轨迹差异。其中,一轨迹和另一轨迹之间的差异可以称为轨迹差异。然后,以轨迹差异为损失函数,更新估计速度模型的参数,实现轨迹级监督训练。具体而言,以降低轨迹差异为目标,更新估计速度模型中的特征提取模块和标签估计模块的参数。
可以理解,轨迹可以包括轨迹的长度和方向。其中,轨迹的方向可以是指轨迹指向的角度。轨迹的长度也可以称为里程。在本申请实施例中,可以将轨迹的方向称为轨迹的航向角。
在一些实施例中,比较物体A对应的时间段T1的真值轨迹和重构轨迹具体可以包括,比较时间段T1的真值轨迹和重构轨迹的长度。其中,时间段T1的重构轨迹的长度等于时间段T1中各个窗口的估计轨迹的长度的加和。时间段T1的真值轨迹的长度是指物体A在时间段T1内移动的总里程。通过比较时间段T1的真值轨迹和重构轨迹的长度,得到里程差异。可以以降低里程差异为目标,更新估计速度模型中的特征提取模块和标签估计模块的参数。
在一些实施例中,比较物体A对应的时间段T1的真值轨迹和重构轨迹具体可以包括,比较时间段T1的真值轨迹和重构轨迹的航向角,得到航向角差异。在一个示例中,时间段T1中的任一窗口,可以比较该窗口对应的估计轨迹的航向角和该窗口对应的真值轨迹的航向角,得到该窗口的航向角差异。可以将时间段T1中的一个或多个窗口的航向角差异相加,得到航向角总差异。可以以降低航向角总差异为目标,更新估计速度模型中的特征提取模块和标签估计模块的参数。
在一些实施例中,比较物体A对应的时间段T1的真值轨迹和重构轨迹具体可以包括,比较时间段T1的真值速度和估计速度,得到速度差异。在一个示例中,时间段T1中的任一窗口,可以比较该窗口对应的估计速度和该窗口对应的真值速度,得到该窗口的速度差异。可以将时间段T1中的一个或多个窗口的速度差异相加,得到速度总差异。可以以降低速度总差异为目标,更新估计速度模型中的特征提取模块和标签估计模块的参数。
通过上述方案,可以实现轨迹估计模型的轨迹级监督训练,可以训练出精度更高的轨迹估计模型。
上文介绍了轨迹估计模型的训练方案。接下来,以对物体B的轨迹进行估计为例,描述使用轨迹估计模型进行轨迹估计的方案。其中,使用已训练的轨迹估计模型进行轨迹估计也的过程也可以称为推断过程或者说推断阶段。为了和训练阶段区分,在推断阶段所采用的IMU数据可以称为实测数据。
推断阶段可以由轨迹估计装置执行。该轨迹估计装置可以为任何具有计算、处理能力的设备、平台、集群。在一些实施例中,该轨迹估计装置具体可以为手机、平板电脑、个人电脑(personal computer,PC)、智能穿戴设备、车载终端等。
参阅图6,可以获取物体B的实测IMU数据I31。其中,实测IMU数据I31包括在时间段T2内从物体B携带的惯性测量单元I3读取到的IMU数据。其中,时间段T2可以划分为多个时间段t2。也就是说,时间段T2有多个连续的时间段t2组成。其中在每个时间段t2多次从物体B携带的惯性测量单元I3读取IMU数据,得到时间段t2的实测IMU数据。从惯性测量单元I3读取IMU数据的方式可以参考上文对时间段t1的IMU数据的介绍,在此不再赘述。
可以将实测IMU数据I31输入到轨迹估计模型。轨迹估计模型可以输出每个时间段t2的速度。将速度乘以相应的时间段t2,得到该时间段t2的估计轨迹。其中,轨迹估计模型输出的速度包括大小和方向,即速度包括速率和航向角,因此,估计轨迹为具有长度和航向角的轨迹。将时间段T2中的各个时间段t2的估计轨迹按照时间顺序依次相接,得到时间段T2的重构轨迹。如此,可以预测到物体B在时间段T2内的轨迹。
在一些实施例中,参阅图6,在将实测IMU数据I31输入到轨迹估计模型之前,可以对实测IMU数据I31进行数据预处理。具体为对实测IMU数据I31中每个时间段t2的数据进行数据预处理。其中,时间段t2的数据预处理过程可以参考上文对时间段t1的数据预处理过程的介绍,在此不再赘述。
在一些实施例中,在推断阶段,可以对轨迹估计模型再次进行自监督训练,使得轨迹估计模型可以更好的适应新的步态下的实测IMU数据。接下来,进行示例说明。
在一些实施例中,在推断阶段,可以对轨迹估计模型再次进行旋转等变性自监督训练。具体而言,可以将时间段t2的实测IMU数据,进行旋转,得到时间段t2的实测旋转共轭数据。将时间段t2的实测IMU数据和实测旋转共轭数据,输入到轨迹估计模型,使得轨迹估计模型根据实测IMU数据输出实测锚点速度,以及根据实测旋转共轭数据输出实测旋转共轭速度。
可以以实测锚点速度和实测旋转共轭速度的差异为损失函数,更新轨迹估计模型中各层的参数。即以降低锚点速度和实测旋转共轭速度的差异为目标,更新轨迹估计模型中各层的参数。
在一些实施例中,实测锚点速度和实测旋转共轭速度的差异为实测锚点伪速度和实测旋转共轭速度的差异。具体而言,可以设定实测旋转共轭数据是实测IMU数据沿方向D1旋转角度θ而得到的。那么可以将实测锚点速度沿方向D1旋转角度θ,得到实测锚点伪速度。然后,可以比较锚点伪速度和实测旋转共轭速度,计算两者之间的差异。可以以实测锚点伪速度和实测旋转共轭速度之间的差异为损失函数,对轨迹估计模型的特征提取模块的参数以及速度提取层的参数进行更新。即可以朝着减少实测锚点伪速度和实测旋转共轭速度之间的差异的方向,更新特征提取模块的参数以及速度提取层的参数,以进行旋转等变性自监督训练。
在一些实施例中,实测锚点速度和实测旋转共轭速度的差异为实测锚点速度和实测旋转共轭伪速度的差异。具体而言,可以设定实测旋转共轭数据是实测IMU数据沿方向D1旋转角度θ而得到的。可以将实测旋转共轭速度沿着方向D2旋转角度θ,得到实测旋转共轭伪速度。方向D2和方向D1相反。然后,可以比较锚点速度和实测旋转共轭伪速度,计算两者之间的差异。可以以锚点速度和实测旋转共轭伪速度之间的差异为损失函数,对轨迹估计模型的特征提取模块的参数以及速度提取层的参数进行更新。即可以朝着减少锚点速度和实测旋转共轭伪速度之间的差异的方向,更新特征提取模块的参数以及速度提取层的参数。从而实现推断阶段的旋转等变性自监督训练。
在一些实施例中,在推断阶段,可以对轨迹估计模型进行跨设备一致性自监督训练。可以获取实测IMU数据I41。其中,实测IMU数据I41包括在时间段T2内从物体B携带的惯性测量单元I4读取到的IMU数据。其中,时间段T2可以划分为多个时间段t2。其中在每个时间段t2多次从物体B携带的惯性测量单元I4读取IMU数据,得到时间段t2的实测IMU数据I41。从惯性测量单元I4读取IMU数据的方式可以参考上文对时间段t1的IMU数据的介绍,在此不再赘述。为方便描述,将在时间段t2从物体B携带的断相测量单元I3读取到的IMU数据称为时间段t2的实测IMU数据I31。其中,时间段t2的实测IMU数据I41是时间段t2的实测IMU数据I31的设备共轭数据。
可以将时间段T2中的每个时间段t2的实测IMU数据I31和实测IMU数据I41,输入到轨迹估计模型的特征提取模块,以进行信号表征,得到实测IMU数据I31的特征和实测IMU数据I41的特征。示例性的。可以计算实测IMU数据I31的特征和实测IMU数据I41的特征的相似度,然后,在朝着提高该相似度的方向,更新特征提取模块的参数。
特征提取模块可以将实测IMU数据I31的特征和实测IMU数据I41的特征输入到标签估计模块。在标签估计模块可以根据实测IMU数据I31的特征,计算出速度I32;以及根据实测IMU数据I41的特征,计算出速度I42。可以计算速度I32和速度I42之间的差异,并以该差异为损失函数,更新特征提取模块的参数以及速度提取层的参数。具体而言,以降低该差异为目标,更新特征提取模块的参数以及速度提取层的参数。从而实现推断阶段的跨设备一致性自监督训练。
在一些实施例中,根据图2所示的训练方案,分别独立训练多个轨迹估计模型。然后,使用该多个轨迹估计模型分别对实测IMU数据进行计算,得到多个估计速度。多个估计速度和多个轨迹估计模型一一对应。参阅图7。
可以设定独立训练出轨迹估计模型m1、轨迹估计模型m2、轨迹估计模型m3,其中,轨迹估计模型m1输出速度vm1,轨迹估计模型m2输出速度vm2,轨迹估计模型m3输出速度vm3。可以计算速度vm1、速度vm2、速度vm3之间的差异,得到速度不确定度σv1。更具体地,如上所述,IMU数据I31包括多个时间段t2的IMU数据。如图7所示,可以设定IMU数据I31包括n个时间段t2的IMU数据。对应每个时间段t2可以得到速度vm1、速度vm2、速度vm3。可以分别计算每个时间段t2的速度不确定度。
可以理解,每个时间段t2的估计轨迹的末端表示物体B在时间段t2的末端时刻的位置。对于每个时间段t2而言,基于多个轨迹估计模型输出的多个速度,可以到的该时间段t2的多个估计轨迹。计算该时间段t2的多个估计轨迹的末端之间的差异,可以得到位置不确定度σp。
根据几何关系与误差传播原理(或者说误差传播定律),可以计算每个时间段的轨迹估计的航向角的不确定度σan。
可以理解,当标签估计模块输出的标签为位移或航向角时,参考上述推断方案,可以实现对位移或航向角的估计,进而实现对估计的轨迹。等等,本申请实施例不再一一赘述。
本申请实施例提供的轨迹估计模型训练方法以及轨迹估计方法,可以采用自监督的方式训练轨迹估计模型,在低数据依赖的情况下,可以提升轨迹估计模型的估计精度;并且采用轨迹级解耦监督的方式,提升轨迹估计模型对轨迹长度的估计精度,避免了轨迹长度偏短的问题;进一步地,在推断阶段,可以更新轨迹估计模型,提高轨迹估计模型对陌生数据(例如新步态的数据)的估计精度,提高了轨迹估计模型的泛化性能。另外,利用独立训练得到的多个轨迹估计模型进行轨迹估计,得到物理量的多个估计结果,通过物理量多个轨迹估计结果的差异分析,得到该物理量的不确定度作为轨迹估计质量指示量,为轨迹估计结果的可用性提供指示,有助于实现高可靠的轨迹估计。
接下来,在一个具体实施例中,对本申请实施例提供的轨迹估计模型训练方法以及轨迹估计方法进行举例说明。
实施例1。
实施例1的方案包含训练流程。其中,训练流程包含两个阶段:第一阶段,自监督与速度监督的联合预训练;第二阶段,轨迹级解耦监督训练。自监督预训练包括旋转等变性自监督、跨设备一致性自监督。轨迹估计模型随机初始化后,利用旋转等变性和跨设备一致性自监督,与速度监督联合训练可得到预训练模型。轨迹级解耦监督应用于预训练模型之后,进一步微调提升模型精度,为第二步训练过程。训练流程第一阶段包含五个模块,第二阶段包含五个模块,其中旋转等变性自监督模块、跨设备一致性自监督模块和轨迹级解耦监督模块为本流程的核心模块。
自监督与速度监督的联合预训练的方案如下。
训练流程可以包括数据获取阶段,在数据获取阶段获取IMU数据与真值数据。
具体而言,通过可读取终端设备中惯性测量单元的IMU数据的接口实现对IMU数据的读取。其中,IMU数据包括加速度计监测到的加速度数据、陀螺仪监测到的角速度数据等数据。其中,读取的频率不低于100Hz。通过SLAM软件模块同时监测相应轨迹的相对位置数据,得到真值数据,并对SLAM监测到的真值数据进行不低于100Hz读取,读取的真值数据作为监督真值。在本实施例中共有50用户的114条轨迹作为训练验证数据。
训练流程可以包括训练数据准备阶段,在训练数据准备阶段,准备训练数据。
训练数据准备阶段可以包括数据加载、数据预处理、数据增强等步骤,具体如下。
数据加载:为满足跨设备一致性训练需求,在加载训练数据时,每加载一条轨迹对应的IMU数据作为锚点轨迹的IMU数据时,需同时加载随机一条同时采集的其他IMU数据作为设备共轭轨迹的IMU数据。两条数据共享一条真值轨迹的数据。锚点轨迹的IMU数据、设备共轭轨迹的IMU数据与其真值轨迹的数据三者共同组成为训练轨迹的数据。其中,锚点轨迹的IMU数据和设备共轭轨迹的IMU数据分别为搭载在同一用户上的不同惯性测量单元测量得到的。
可以参阅图8A,数据预处理包括采样插值、坐标对齐、随机取窗、水平旋转、真值速度计算。其中,
采样插值:对所有训练数据中的锚点轨迹的IMU数据、设备共轭轨迹的IMU数据和真值轨迹的数据进行线性插值上采样至200Hz,从而使得从不同惯性测量单元读取的IMU数据之间的采样均衡与时间对齐。
坐标对齐:计算重力方向向量,具体可以通过IMU数据计算出重力方向,然后,将锚点轨迹的IMU数据、设备共轭轨迹的IMU数据的表征坐标的z轴旋转至与重力方向对齐。
随机取窗:对所有的训练数据,分别从锚点轨迹的IMU数据、设备共轭轨迹的IMU数据中随机取128段1s时长的IMU数据作为一个批次的输入数据。
制备旋转共轭数据:针对从锚点轨迹的IMU数据中抽取的IMU数据,以Z轴为旋转轴,在水平面即X轴-Y轴平面(如上所述,将三维坐标系的z轴旋转至与重力方向重合,所以x轴-y轴平面为水平面)上的随机旋转角度θ,得到旋转共轭数据。
其中,为了方便描述,在下文中,将从锚点轨迹的IMU数据中抽取的IMU数据称为锚点数据,从设备共轭轨迹的IMU数据中抽取的IMU数据称为设备共轭数据,从真值轨迹的数据中抽取的数据称为真值数据。
真值速度计算:计算真值数据中1s时间窗口的位移,得到真值速度,即速度监督量,用于监督锚点数据在对应的1s时间窗口内速度。
经数据预处理,得到一个批次的训练数据,即128个数据点,每个数据点由时间长度为1s、频率为200Hz的锚点数据、设备共轭数据、旋转共轭数据和真值速度构成。
数据增强:对锚点数据、设备共轭数据和旋转共轭数据和真值速度,同时以z轴为旋转轴,在水平面,即X轴-Y轴平面上的随机旋转,且均旋转同一角度,进行旋转数据增强。通过数据增强,可增加训练数据的多样性,进而有助于提升训练出来的轨迹估计模型的泛化性
速度估计模式正向传播。
轨迹估计模型包括特征提取模块和标签估计模块。其中,特征提取模块的网络结构由一维卷积(Conv1D)神经网络堆叠而成,具体结构可以如图8B所示。该结构以残差网络为基础(backbone),通过一维卷积实现对IMU数据的特征提取,可以将输入的IMU数据表征为512个7维向量。其中,图8B所示结构中的正则(norm)层可由group normalization算子实现。
标签估计模块的网络结构包括一维卷积层和全连接层,具体可以如图8C所示。速度回归估计模块由一个卷积层和三个全连接层组成,其中,全连接层也可以称为线性层(linear layer)。卷积层可以将特征提取模块输出的512个7维度向量转化为128个7维向量,三个全连接层将特征向量分别回归为512维向量、512维向量、3维向量,其中的3维向量即对速度的回归估计,即速度由该3维向量表示。其中,如图8C所示,该3维向量为:(vx,vy,vz)。
如图8D所示,可以将锚点数据、设备共轭数据、旋转共轭数据分别经特征提取模块传播,将得到锚点数据的表征向量称为锚点向量,设备共轭数据的表征向量称为设备共轭向量,旋转共轭数据的表征向量称为旋转共轭向量。其中,锚点向量进一步经过标签估计模块得到锚点速度,旋转共轭向量进一步通过标签估计模块得到旋转共轭速度。
监督函数计算。监督函数也称为损失函数。在自监督与速度监督的联合预训练中,损失函数由旋转等变性自监督的损失函数、跨设备一致性自监督的损失函数和真值速度监督损失函数三种损失函数组成。
接下来,分别介绍这三种损失函数。
旋转等变性自监督损失函数计算。根据旋转等变性,经过轨迹估计模型传播得到的锚点速度和旋转共轭速度之间的夹角应为训练数据准备模块在制备旋转共轭数据时所用的水平旋转角θ。参阅图8E,按照训练数据准备模块所用的角度θ,对锚点速度进行水平旋转,得到锚点伪速度。若轨迹估计模型已收敛至高精度轨迹估计模型,则锚点伪速度与旋转共轭速度应一致。考虑到预训练过程中轨迹估计模型还未收敛,在计算损失时仅考虑角度上的限制。由于在低速,尤其是超低速接近静止时,惯性测量单元信号数据信噪比较低不足以进行角度估计,因此,损失计算时不考虑速度低于0.5m/s时的角度误差。综合前述内容,旋转等变性自监督的损失计函数L1如图8E和公式(1)所示。即,
跨设备一致性自监督损失函数计算:根据跨设备一致性,经过轨迹估计模型传播得到的锚点向量和设备共轭向量为应为轨迹上同一点速度对应的惯性测量单元所监测到的IMU数据的表征向量,应具有极大的相似度。将锚点向量视为预测向量p时,将设备共轭向量固定,视为向量z,可优化向量p与向量z之间的余弦相似度,即沿着向量p向向量z接近的方向,优化轨迹估计模型。反之亦然。综合前述内容,基于跨设备一致性自监督的损失函数L2如图8F和公式(2)所示。即,
其中,p1表示作为预测向量的锚点向量,z2表示固定的设备共轭向量,p2表示作为预测向量的设备共轭向量,z1表示固定的锚点向量。
真值速度监督损失函数计算。真值速度监督为有真值标签的监督,可直接将估计速度与真值速度之间的差异作为损失函数L3,具体可如图8G和公式(3)所示。
旋转等变性自监督的损失函数L1乘以权利0.4,跨设备一致性自监督的损失函数L3乘以权重0.1,真值速度监督的损失函数L3乘以权重0.5,然后加和得到总损失L。
轨迹估计模型训练:使用总损失L反向传播优化轨迹估计模型,即以降低总损失L为目标,更新轨迹估计模型中的参数。其中,学习率为1e-4,使用Adam优化器,使用全部训练数据共优化400轮。
上文示例介绍了第一阶段,即自监督与速度监督的联合预训练阶段。接下来,介绍第二阶段,即轨迹级解耦监督训练阶段。具体方案如下。
轨迹级解耦监督训练阶段也包括数据获取模块,该数据获取模块与第一阶段的数据获取模块相同,可以用于获取IMU数据与真值数据。具体可以参考上文介绍,在此不再赘述。
轨迹级解耦监督训练阶段也包括训练数据准备模块,用于准备训练数据。与第一阶段的训练数据准备模块类似,轨迹级解耦监督训练阶段的训练数据准备模块也执行数据加载、数据预处理、数据增强等步骤,具体如下。
数据加载:加载训练数据时,仅加载一条轨迹的IMU数据与其对应的真值轨迹的数据组成为训练轨迹。
参阅图9A,数据预处理包括采样插值、坐标对齐、滑动取窗、真值速度和真值位置计算。其中,采用插值和坐标对齐的具体方式可以参考上文图8A的介绍,在此不再赘述。
滑动取窗:对所有的训练数据,随机取64段30s时长的IMU数据作为输入数据。对30s时长的IMU数据,以1s时长为时间窗口,以0.5s时长为步长间隔滑动,得到59个1s时长的窗口IMU数据。真值轨迹的数据可以进行同样的滑动取窗操作,得到59个1s时长的窗口真值数据。
真值速度计算:计算1s时长的窗口真值数据的位移,得到真值速度,即速度监督量,用于监督窗口IMU数据在对应的1s时间窗口内速度。以坐标(0,0,0)为轨迹的初始坐标,即以坐标(0,0,0)为轨迹的起点,可以得到每个时间窗口末端对应时间点的相对位置作为真值位置,即位置监督量,用于监督窗口IMU数据在对应的1s时间窗口的末端对应时间点的相对位置。
经数据预处理,得到一个批次的训练数据,即64个数据点,每个数据点由59个时间长度为1s,频率为200Hz的窗口IMU数据、对应的59个真值速度和真值位置构成。
轨迹估计模型正向传播。
轨迹级解耦监督训练阶段的轨迹估计模型初始化为经自监督与速度监督的联合预训练得到的轨迹估计模型。参阅图9B,将连续的窗口IMU数据放入轨迹估计模型得到窗口估计速度,将窗口估计速度乘以窗口时长,得到窗口估计轨迹。然后,进一步将窗口估计轨迹累加得到重构轨迹。
更具体地,根据滑动窗口之间的间隔,即滑动步长计算对应时间窗口估计速度对应的时间段长度,在本实施例中为0.5s。将每个时间窗口估计的速度与时间0.5s相乘得到此段时间对应的位移,将每段位移累加得到这段时间的总位移。以(0,0,0)为初始位置,通过每段时间的位移累加,可以得到每个时刻的位置,即一条具有相对位置坐标的轨迹。
需要说明的是,在本申请实施例中,如无特殊说明,估计轨迹也可以称为估计位移,也就是说,经过估计速度乘以相应时长得到的估计轨迹为位移。
监督函数计算。监督函数也称为损失函数。在轨迹级解耦监督训练中,损失函数由轨迹总里程监督的损失函数、步点航向角监督的损失函数和真值速度监督的损失函数这四种损失函数组成。其中速度监督与自监督与速度监督的联合预训练阶段的真速度监督一致。轨迹总里程监督的损失函数、步点航向角监督地损失函数具体介绍如下。
轨迹总里程监督的损失函数的计算。
其中,轨迹总里程是指轨迹的总长度。参阅图9C,可以将窗口估计轨迹的长度进行累加,得到估计轨迹总里程。将真值速度乘以相应的窗口时长得到的窗口真值轨迹进行累加,得到真值轨迹总里程。其中,图9C中的表示估计速度,vt表示真值速度,表示第i个时间窗口的估计速度,vt+i表示第i个时间窗口的真值速度,n表示时间窗口的个数,dt表示时间窗口之间的时间间隔,lt,t+n表示真值轨迹总里程,表示估计轨迹总里程。真值轨迹总里程和估计轨迹总里程相减后取绝对值,得到轨迹总里程误差,作为轨迹总里程监督的损失函数lossl。具体如公式(4)所示。
步点航向角监督的损失函数的计算。
步点是指时间窗口的轨迹。可以计算同一时间窗口的估计速度和真值速度的余弦相似度,并根据余弦相似度,得到估计速度和真值速度的航向角差异。其中,航向角差异和余弦相似度成反比例。将各个时间窗口对应的航向角差异累加,作为
如图9D所示,对模型输出的估计速度和训练数据中的真值速度计算余弦相似度作为角度误差指标,累加得到相应时间段内总航向角误差,作为步点航向角监督的损失函数lossa。
具体如公式(5)所示。
其中,公式(5)中各字母的含义参见上文对公式(4)的介绍,在此不再赘述。
通过如上方式,可以得到轨迹总里程监督的损失函数lossl、步点航向角监督的监督函数lossa。将轨迹总里程监督的损失函数lossl乘以权重0.5,步点航向角监督的监督函数lossa乘以权重0.1,真值速度监督的损失函数L3乘以权重0.5,然后加和,得到总损失l。
使用总损失l反向传播优化轨迹估计模型,即以降低总损失l为目标,更新轨迹估计模型中的参数。
上文在实施例1中举例介绍了轨迹估计模型的训练方案。接下来,在另一实施例中,介绍以利用实施例1训练的轨迹估计模型进行推断,即进行轨迹估计的方案。
实施例2。
在实施例2中介绍推断流程,具体方案如下。
推断流程可以包括数据获取阶段,在数据获取阶段获取实测IMU数据。
具体而言,通过可读取终端设备中惯性测量单元的IMU数据的接口实现对实测IMU数据的读取。其中,实测IMU数据包括加速度计实时监测到的加速度数据、陀螺仪实时监测到的角速度数据等数据。其中,读取的频率不低于100Hz。
推断流程可以包括数据预处理阶段。其中,参阅图10A,数据处理阶段包括丢数校验、采样插值、旋转坐标三个步骤。
其中,丢数校验具体为,校验输入的实测IMU数据这一时序信号中相邻采样点的时间差。若任一相邻数据点的时差大于50ms,则表示从惯性测量单元读取的数据存在采样异常,那么读取到的实测IMU数据不用用于轨迹估计,返回异常。反之,则将读取到的实测IMU数据视为可以用于轨迹估计的IMU数据。
采样插值具体为,在给定的时间窗口内,通过对校验后的实测IMU的数据进行线性插值上采样至200Hz,从而确保不同异步IMU之间采样均衡与时间对齐。
旋转坐标具体为,计算重力方向向量,将实测IMU数据所采用的坐标系的坐标轴旋转至z轴与重力方向对齐。
其中,当读取到多个惯性测量单元的IMU数据时,可以对该多个惯性测量单元的IMU数据取相同的时间窗口做数据预处理。
推断流程可以包括推断时训练阶段。参阅图10B,推断时训练阶段可以包括数据旋转、信号表征、速度估计、速度旋转、模型参数更新、最终速度估计等步骤。其中,用户可以携带两个不同的终端设备,实测IMU数据1和实测IMU数据2分别为这两个不同的终端设备产生的。其中,实测IMU数据2是实测IMU数据1的实测设备共轭数据。
接下来,对上述步骤分别进行介绍。
数据旋转具体为将实测IMU数据1视为实测锚点数据,在x轴-y轴的平面上,以72°、144°、216°、288°为中心,±18°为范围,随机选取四个角度,对实测锚点数据进行水平面(x轴-y轴的平面)上的随机旋转,得到四组实测旋转共轭数据。
信号表征具体为,将实测IMU数据1、实测旋转共轭数据和实测IMU数据2分别放入轨迹估计模型的特征提取模块进行,得到实测IMU数据1的特征向量、实测旋转共轭数据的特征向量和实测IMU数据2的特征向量。其中,实测IMU数据1的特征向量和实测IMU数据2的特征向量用于相似度计算,以进行跨设备一致性自监督训练。
速度估计具体为,将实测IMU数据1的特征向量和实测旋转共轭数据的特征向量分别输入到标签估计模块进行计算,得实测锚点估计速度和实测旋转共轭估计速度,用于旋转等变性自监督训练。
速度旋转具体位移,将实测锚点估计分别进行数据旋转步骤中的四个角度的水平旋转,得到四个实测锚点伪速度,作为基于旋转等变性的速度监督量。
损失计算具体为,若轨迹估计模型输出的实测锚点速度的平均速度小于0.8m/s,则不进行损失计算与模型更新,若轨迹估计模型输出的实测锚点速度的平均速度大于0.8m/s,旋转等变性自监督训练的损失函数计算可以如图8E所示,跨设备一致性自监督训练的损失函数计算如图8F所示。然后,将旋转等变性自监督训练的损失函数乘以权重0.8,跨设备一致性自监督训练的损失函数乘以0.2,再进行加和,得到自监督总损失函数。
模型参数更新具体为基于自监督总损失函数,采用学习率5e-5,Adam优化器,更新轨迹估计模型的参数。使用更新后的模型再进行自监督损失函数计算,每次经轨迹估计模型推断一次的数据,更新轨迹估计模型1次。
通过上述方案,可以实现轨迹估计模型在推断时的自更新。
将实测IMU数据1输入到自更新后的轨迹估计模型,进行速度估计。之后,可以进行轨迹估计,具体如下。
参阅图10C,根据滑动窗户之间的间隔,即滑动步长,确定时间窗口估计速度对应的时间段长度,在本实施例中为0.1s。将每个时间窗口的估计速度与时间0.1s相乘得到此该时间窗口对应的估计轨迹,将每个时间窗口对应的估计轨迹累加得到重构轨迹。以(0,0,0)为初始位置,通过每个时间窗口对应的估计轨迹的累加,可以得到每个时间窗口对应的相对位置,从而得到一条具有相对位置坐标的轨迹。其中,为方便描述,将时间窗口对应的估计轨迹称为步点。每个时间窗口对应的相对位置称为估计位置。
其中,在图10C中,i为位置的编号,j为步点和速度的编号,x、y、z分别为三维空间坐标系的坐标、mk为轨迹估计模型的编号,dt为时间窗口的滑动步长,v表示估计速度,p表示估计位置。
上文示例介绍了轨迹估计模型在推断时的自更新以及推断过程。其中,轨迹估计模型在推断时的自更新可以称为推断时自更新。另外,需要说明的是,推断时自更新为可选过程,并非必选过程。也就是说,在利用本申请实施例提供的轨迹估计模型进行轨迹估计时,可以进行推断时自更新,也可以不进行推断时自更新。其中,在不进行推断时自更新的情况下,也能获得精度较高的估计结果。
参见图11A和图11B。其中,图11A为采用方案A1,利用混合步态轨迹测试集C1,进行轨迹估计的结果示意图。图11B为本申请实施例提供的、未进行推断时自更新的轨迹估计模型,对混合步态轨迹测试集C1,进行轨迹估计的结果示意图。其中,混合步态轨迹是指该轨迹包括了多种步态。对比图11A和图11B可知,本申请实施例提供的轨迹估计模型,即使在未进行推断时自更新的情况下,实线所表示的估计轨迹更接近虚线所表示的真值轨迹,即估计轨迹的精度更高。
本申请实施例提供的轨迹估计模型,在进行推断时自更新的情况下,获得估计轨迹的精度会进一步提高。本申请实施例提供的轨迹估计模型,利用混合步态轨迹测试集C1进行推断时自更新,具体可以参考上文介绍,在此不再赘述。进行了推断自更新后的轨迹估计模型,利用混合步态轨迹测试集C1,进行轨迹估计,结果如图11C所示。可知,相对图11A和图11B,图11C中实线所表示的估计轨迹更接近虚线所表示的真值轨迹。这表明在进行了推断时自更新的情况下,估计的精度进一步提升。其中,具体而言,在测试集对应的轨迹的平均长度为190m,对应的平均时长为4min的情况下,绝对轨迹位置误差(AbsoluteTrajectory Error)由方案A1的8.39m下降至4.94m,相对轨迹位置误差(RelativeTrajectory Error)由方案A1的7.40m下降至4.65m。轨迹里程误差中心由方案A1的-4.43m/100m降至-0.56m/100m。
其中,计算估计轨迹上的位置A1和真值轨迹上的位置B1之间的欧式距离,位置A1和位置B1对应同一时间戳。多个时间戳对应的位置向量之间的欧式距离的平均值为绝对轨迹位置误差。
将一轨迹按照30秒的时长进行划分,得到多个依次相接的区段。在估计轨迹的区段A2的起点和真值轨迹的区段B2的起点对齐的情况下,确定区段A2的终点和区段B2的终点之间的欧式距离。区段A2和区段B2对应同一时间段。多个时间段对应的终点位置向量之间的欧式距离的平均值为相对轨迹位置误差。
轨迹里程误差中心是指在测试集对应多条轨迹的情况下,这多条轨迹的估计轨迹的里程长度和真值轨迹的里程长度之间差值的平均值。
综上所述,本申请实施例提供的轨迹估计模型训练方案以及轨迹估计方案,可以采用自监督的方式训练轨迹估计模型,在低数据依赖的情况下,可以提升轨迹估计模型的估计精度;并且采用轨迹级解耦监督的方式,提升轨迹估计模型对轨迹长度的估计精度,避免了轨迹长度偏短的问题;进一步地,在推断阶段,可以更新轨迹估计模型,提高轨迹估计模型对陌生数据(例如新步态的数据)的估计精度,提高了轨迹估计模型的泛化性能。另外,利用独立训练得到的多个轨迹估计模型进行轨迹估计,得到物理量的多个估计结果,通过物理量多个轨迹估计结果的差异分析,得到该物理量的不确定度作为轨迹估计质量指示量,为轨迹估计结果的可用性提供指示,有助于实现高可靠的轨迹估计。
本申请实施例还提供了一种轨迹不确定度确定方案,其中,轨迹不确定度确定方案可以包括速度不确定度确定方案、位置不确定度确定方案和航向角不确定度确定方案。
接下来,对速度不确定度确定方案、位置不确定度确定方案和航向角不确定度确定方案进行介绍。
参阅图12A,可以采用实施例1的训练方案,独立训练K个速度估计模型,K>=3。可以设定K=3,则可以独立训练得到轨迹估计模型m1、轨迹估计模型m2、轨迹估计模型m3。这三个轨迹估计模型的训练过程各自独立,因此,这三个轨迹模型各不相同。使用这三个模型对同一IMU数据,进行估计,可以到的多个相互独立的估计速度,进一步可以得到多个相互独立的估计位置。
记轨迹估计模型mk的输出的一个估计速度为(vx,k,vy,k,vz,k),则计算这三个轨迹估计模型的估计速度在X轴方向上的均值vx,mean,在Y轴方向上的均值vy,mean,在Z轴方向上的均值vz,mean,可通过如下公式计算。
同理,由轨迹估计模型的估计速度进一步推导出的估计位置记为(px,k,py,k,pz,k),那么这三个轨迹估计模型的估计位置在X轴上均值px,mean,Y轴上的均值py,mean,Z轴上的均值pz,mean,可以通过如下公式计算。
这三个轨迹估计模型的估计位置在X轴上的方差,在X轴上的方差,在X轴上的方差,可以通过如下公式计算
同理,由轨迹估计模型的估计速度和一定的采样时间间隔Δt(即上文所述的滑动步长)推导出的估计步长记为lk,估计步长是指估计轨迹长度,其为水平面(即X轴-Y轴所限定的平面)的位移长度,则估计步长记为lk通过如下公式计算。
这三个轨迹估计模型的估计步长的均值lmean通过如下公式计算。
如此,参阅图12B,可以计算多个相互独立的估计速度之间的标准差,作为估计速度的不确定度。还可以计算多个相互独立的估计位置之间的标准差,作为估计位置的不确定度。还可以计算多个相互独立的估计步长之间的标准差,作为估计位置的不确定度。进一步的,可以根据估计速度的不确定度和误差传播原理,可以推导出若干物理量的不确定度,本实施例中仅根据几何关系做平面上航向角不确定度的推导。
可以理解,用户可以按照不同的速度运动,例如走走停停。再例如,有时快速走,有时慢速走。经验表明,在运动速度较慢的情况下,通常会产生大角度误差。特别是,当用户处于静止状态时,其可以朝向任一角度。这种情况下,惯性测量单元难以捕捉航向角,由此,用户处于静止状态或近似于静止状态时会产生的大角度误差。
基于上述情况,本申请实施例提供了一种航向角不确定度确定方案,可以捕捉用户处于静止状态或近似于静止状态时所产生的大角度误差。具体如下。
图12C示出了航向角θ、X轴方向上的估计速度vx、Y轴方向上的估计速度vy的几何关系。其中,航向角θ是指水平面(即X轴-Y轴所限定的平面)上角度。X轴方向上的估计速度vx的方差可以通过公式(7.1)计算得到,Y轴方向上的估计速度vy的方差可以通过公式(7.2)计算得到。
通过误差传播原理,可以得到航向角θ方差与X轴方向上的估计速度vx的方差Y轴方向上的估计速度vy的方差之间的关系。通过一阶偏导与误差关系式,可计算出航向角θ方差作为航向角θ的不确定度估计。具体可以过程如下。
首先,根据几何关系,可以根据X轴方向上的估计速度vx、Y轴方向上的估计速度vy计算航向角θ,具体如公式(10)所示。
其中,将公式(12)、公式(13)带入到公式(14),可以得到公式(15)。
在本申请实施例提供的航向角不确定度确定方案中,对航向角与速度之间的关系式(公式(11))进行一阶偏导数计算,可以得到航向角在vx上的变化率(即公式(12))与航向角在vy上的变化率(即公式(12))。根据航向角在vx上的变化率和在vy上的变化率,利用误差传播原理(公式14),可以得到航向角的不确定度与vx的不确定度、vy的不确定度之间的线性关系(即公式(15))。如此,将vx的不确定度、vy的不确定度,带入到公式(15)中,可以得到航向角的不确定度。
通过本申请实施例提供的航向角不确定度确定方案,可以捕捉到用户处于静止状态或近似于静止状态时所产生的大角度误差。具体而言,根据公式(15),航向角不确定度和速度vx负相关。在用户处于静止状态或者近似静止状态的情况下,速度vx是一个极小的值。那么根据公式(15),航向角不确定度是个较大值,从而捕捉到用户处于静止状态或近似于静止状态时所产生的大角度误差。
本申请实施例提供的轨迹不确定度估计方案,利用独立训练得到的多个轨迹估计模型进行轨迹估计,通过对多个轨迹估计结果的方差分析,得到多个物理量的不确定度作为轨迹估计质量指示量,为轨迹估计结果的可用性提供指示,有助于实现高可靠的轨迹估计。
可以参阅图13A、图13B和图13C,其中,虚线表示真值轨迹,实线为估计轨迹,阴影表示不确定度。当虚线和实线接近乃至重合时,即真值轨迹和估计轨迹接近乃至重合时,阴影较窄,也就是不确定度较低。当虚线和实线差异较大时,即真值轨迹和估计轨迹差异较大时,阴影较宽,也就是不确定度较高。由此,本申请实施例的轨迹不确定度确定方案确定的不确定度可以作为轨迹估计质量指示量,为轨迹估计结果的可用性提供指示。
另外,图14A、图14B和图14C所示内容也表明了申请实施例的轨迹不确定度确定方案确定的不确定度可以作为轨迹估计质量指示量,为轨迹估计结果的可用性提供指示。
其中,图14A示出了速度不确定度曲线,其中,横坐标为时间,纵坐标为速度,阴影表示速度的不确定度。通过图14A所示的速度不确定度以及速度,可以得到图14B所示的航向角不确定度。
其中,图14B中的实线表示航向角不确定度,虚线表示航向角不确定度的二值化结果。图14B中的横坐标为时间,纵坐标为航向角不确定度。通过图14B中虚线所表示的航向角不确定度的度二值化结果,可知在某些时刻,航向角不确定度超过预设阈值。其中,超过预设阈值的航向角不确定度可认为是较大的航向角不确定度。
参阅图14C和图14D,在轨迹轨迹和真值轨迹偏离较多的情况下,在较大的航向角不确定度处对估计轨迹进行切分,将切分后的轨迹分别与真值轨迹进行旋转对齐,可得到切分重构后的估计轨迹。从图14D可看出,切分重构后的估计轨迹几乎与真值轨迹重合。
由此,本申请实施例的轨迹不确定度确定方案确定的不确定度可以作为轨迹估计质量指示量,为轨迹估计结果的可用性提供指示。
接下来,基于上文介绍的轨迹模型训练方案,对本申请实施例提供的一种轨迹估计模型的训练方法进行介绍。可以理解的是,该即将在下文进行描述的训练方法是上文介绍的轨迹模型训练方案的另一种表达方式,两者是相结合的,该方法中的部分或全部内容可以参见上文对轨迹模型训练方案的介绍。
该轨迹估计模型包括:特征提取模块、标签估计模块。参阅图15,该轨迹估计模型的训练方法可以包括如下步骤。
步骤1501,获取第一惯性测量单元在第一时间段内产生的第一IMU数据;其中,所述第一惯性测量单元在所述第一时间段内沿第一轨迹移动。具体可以参考上文对图3所示实施例中的IMU数据,或图4所示实施例中的IMU数据I11的介绍实现。
步骤1502,获取第二IMU数据;其中,所述第一IMU数据和所述第二IMU数据采用的坐标系相同,且所述第二IMU数据和所述第一IMU数据具有预设的对应关系。具体可以参考上文对图3所示实施例中的旋转共轭数据,或图4所示实施例中的IMU数据I21的介绍实现。
步骤1503,在所述特征提取模块,提取所述第一IMU数据的第一特征,以及提取所述第二IMU数据的第二特征。具体可以参考上文对图3或图4所示实施例中的特征提取模块的介绍实现。
步骤1504,在所述标签估计模块,根据所述第一特征,确定第一标签,以及根据第二特征,确定第二标签;其中,所述第一标签和所述第二标签对应第一物理量。具体可以参考上文对图3或图4所示实施例中的标签估计模块的介绍实现。
步骤1505,确定所述第一标签和所述第二标签之间的第一差异。具体可以参考上文对图3或图4所示实施例中的损失计算过程的介绍实现。
步骤1506,朝着降低所述第一差异的方向,对所述特征提取模块的参数和所述标签估计模块的参数进行第一更新。
在一些实施例中,第一物理量包括速度、位移、步长、航向角中的任一种或多种。
在一些实施例中,所述第一IMU数据包括第一加速度和第一角速度,所述获取第二IMU数据包括:将所述第一加速度的方向沿着第一方向旋转第一角度,以及将所述第一角速度的方向沿着所述第一方向旋转所述第一角度,得到所述第二IMU数据。
具体可以参考上文对图3所示实施例中的锚点数据和旋转共轭数据的介绍实现。
在这些实施例的一个说明性示例中,所述根据所述第一特征,确定第一标签,以及根据第二特征,确定第二标签,包括:根据所述第一特征,确定第一初始标签,并将所述第一初始标签的方向沿着所述第一方向旋转所述第一角度,得到所述第一标签;或者,根据所述第二特征,确定第二初始标签,并将所述第二初始标签的方向沿着第二方向旋转所述第一角度,得到所述第二标签,所述第二方向和所述第一方向相反。
具体可以参考上文对图3所示实施例中的锚点伪速度和旋转共轭速度,以及锚点速度和旋转共轭伪速度的介绍实现。
在这些实施例的一个说明性示例中,所述方法还包括:获取所述第一IMU数据的设备共轭数据,所述设备共轭数据为第二惯性测量单元在所述第一时间段内产生的IMU数据;其中,所述第二惯性测量单元在所述第一时间段内沿所述第一轨迹移动;在所述特征提取模块,提取所述设备共轭数据的特征;在所述标签估计模块,根据所述设备共轭数据的特征,确定所述设备共轭数据所对应的标签;确定所述第一标签和所述设备共轭数据所对应的标签之间的设备共轭差异;所述朝着降低所述第一差异的方向,对所述特征提取模块的参数和所述标签估计模块的参数进行第一更新包括:朝着降低所述第一差异的方向和朝着降低所述设备共轭差异的方向,对所述特征提取模块的参数和所述标签估计模块的参数进行第一更新。
具体可以参考上文对图4所示实施例的介绍实现。
在这些实施例的又一个说明性示例中,所述方法还包括:获取所述第一IMU数据的设备共轭数据,所述设备共轭数据为第二惯性测量单元在所述第一时间段内产生的IMU数据;其中,所述第二惯性测量单元在所述第一时间段内沿所述第一轨迹移动;在所述特征提取模块,提取所述设备共轭数据的特征;确定所述第一特征和所述设备共轭数据的特征之间的共轭特征相似度;朝着提高所述共轭特征相似度的方向,对所述特征提取模块的参数进行第二更新。
具体可以参考上文对图4所示实施例中关于特征提取模块参数更新方案的介绍实现。
在一些实施例中,所述第二IMU数据是第二惯性测量单元在所述第一时间段内产生的;其中,所述第二惯性测量单元在所述第一时间段内沿所述第一轨迹移动。
具体可以参考上文对图4所示实施例的介绍实现。
在这些实施例的一个说明性示例中,所述第一IMU数据包括第一加速度和第一角速度,所述方法还包括:将所述第一加速度的方向沿着第一方向旋转第一角度,以及将所述第一角速度的方向沿着所述第一方向旋转所述第一角度,得到第一IMU数据的旋转共轭IMU数据;在所述特征提取模块,提取所述旋转共轭IMU数据的特征;在所述标签估计模块,根据所述旋转共轭IMU数据的特征,确定旋转共轭标签;确定所述第一标签和所述旋转共轭标签之间的旋转共轭差异;所述朝着降低所述第一差异的方向,对所述特征提取模块的参数和所述标签估计模块的参数进行第一更新包括:朝着降低所述第一差异的方向和朝着降低所述旋转共轭差异的方向,对所述特征提取模块的参数和所述标签估计模块的参数进行第一更新。
在这些实施例的另一个说明性示例中,所述方法还包括:确定所述第一特征和所述第二特征之间的相似度;朝着提高所述第一特征和所述第二特征之间的相似度的方向,对所述特征提取模块的参数进行第二更新。
具体可以参考上文对图4所示实施例中关于特征提取模块参数更新方案的介绍实现。
在一些实施例中,所述方法还包括:获取所述第一惯性测量单元在沿着所述第一轨迹移动时的实际标签;确定所述第一标签和所述实际标签之间的标签差异;所述朝着降低所述第一差异的方向,对所述特征提取模块的参数和所述标签估计模块的参数进行第一更新包括:朝着降低所述第一差异的方向和朝着降低所述标签差异的方向,对所述特征提取模块的参数和所述标签估计模块的参数进行第一更新。
具体可以参考上文对真值速度监督训练的介绍实现。
在一些实施例中,在对所述特征提取模块的参数和所述标签估计模块的参数进行第一更新之后,所述方法还包括:在经过所述第一更新之后的所述特征提取模块,提取所述第一IMU数据的第三特征;在经过所述第一更新之后的所述标签估计模块,根据所述第三特征,确定第三标签,所述第三标签包括估计速度;根据所述第一时间段的时长和所述第三标签,确定所述第一惯性测量单元在所述第一时间段内的第一估计轨迹;确定所述第一估计轨迹和所述第一轨迹之间的轨迹差异;朝着降低所述轨迹差异的方向,对所述特征提取模块的参数和所述标签估计模块的参数进行第三更新。
具体可以参考上文对图5所示实施例的介绍实现。
在这些实施例的一个说明性示例中,所述确定所述第一估计轨迹和所述第一轨迹之间的轨迹差异包括:确定所述第一估计轨迹的长度和所述第一轨迹的长度之间的长度差异,以及确定所述第一估计轨迹的航向角和所述第一轨迹的航向角之间的角度差异;所述朝着降低所述轨迹差异的方向,对所述特征提取模块的参数和所述标签估计模块的参数进行第三更新包括:朝着降低所述长度差异和朝着降低所述角度差异的方向,对所述特征提取模块的参数和所述标签估计模块的参数进行第三更新。
具体可以参考上文对图5所示实施例中的轨迹级解耦监督训练的介绍实现。
本申请实施例提供的轨迹估计模型训练方法可以采用自监督的方式训练轨迹估计模型,在低数据依赖的情况下,可以提升轨迹估计模型的估计精度;并且采用轨迹级解耦监督的方式,提升轨迹估计模型对轨迹长度的估计精度,避免了轨迹长度偏短的问题。
接下来,基于上文介绍轨迹估计方案,对本申请实施例提供的一种使用轨迹估计模型进行轨迹估计的方法进行介绍。可以理解的是,该即将在下文进行描述的使用轨迹估计模型进行轨迹估计的方法是上文介绍的轨迹估计的方案的另一种表达方式,两者是相结合的,该方法中的部分或全部内容可以参见上文对轨迹估计方案的介绍。
在本申请实施例提供的使用轨迹估计模型进行轨迹估计的方法中,轨迹估计模型可以由图15所示实施例训练得到。该轨迹估计模型包括:特征提取模块、标签估计模块。参阅图16,该轨迹估计方法可以包括如下步骤。
步骤1601,获取第一物体的第一实测IMU数据,所述第一实测IMU数据是第一物体上的惯性测量单元在第一时间段内产生的。具体可以参考上文对图6所示实施例中实测IMU数据I31的介绍实现。
步骤1602,在所述特征提取模块,提取所述第一实测IMU数据的第一特征。具体可以参考上文对图6所示实施例中特征提取模块的介绍实现。
步骤1603,在所述标签估计模块,根据所述第一实测IMU数据的第一特征,确定所述第一物体对应的第一实测标签,所述第一实测标签对应第一物理量。具体可以参考上文对图6中标签估计模块的介绍实现。
步骤1604,根据所述第一实测标签,确定所述第一物体在所述第一时间段内的轨迹。具体可以参考上文对图6中重构轨迹过程的介绍实现。
在一些实施例中,第一物理量包括速度、位移、步长、航向角中的任一种或多种。在一些实施例中,在提取所述第一实测IMU数据的第一特征之前,所述方法还包括:获取所述第一物体的第二实测IMU数据,所述第一实测IMU数据和所述第二实测IMU数据采用的坐标系相同,且所述第二实测IMU数据和所述第一实测IMU数据具有预设的对应关系;在所述特征提取模块,提取所述第一实测IMU数据的第二特征,以及提取所述第二实测IMU数据的特征;在所述标签估计模块,根据所述第一实测IMU数据的第二特征,确定第二实测标签,以及根据所述第二实测IMU数据的特征,确定第三实测标签;其中,所述第二实测标签和所述第三实测标签对应第一物理量,所述第一物理量包括速度、位移、步长和航向角中的任一种或多种;确定所述第二实测标签和所述第三实测标签之间的差异;朝着降低所述第二实测标签和所述第三实测标签之间的差异的方向,对所述特征提取模块的参数和所述标签估计模块的参数进行更新。
具体可以参考上文对图6所示实施例中自监督更新参数过程的介绍实现。
在这些实施例的一个说明性示例中,所述第一实测IMU数据包括第一实测加速度和第一实测角速度,所述获取所述第一物体的第二实测IMU数据包括:将所述第一实测加速度的方向沿着第一方向旋转第一角度,以及将所述第一实测角速度的方向沿着所述第一方向旋转所述第一角度,得到所述第二IMU数据。
具体可以参考上文对图6所示实施例中实测描点数据和实测共轭旋转数据的介绍实现。
在这些实施例的一个说明性示例中,所述第二实测IMU数据和第一实测IMU数据分别是第一物体上的不同惯性测量单元在所述第一时间段内产生的。
具体可以参考上述对图6所示实施例中实测IMU数据I41的介绍实现。
本申请实施例的提供的轨迹估计方法利用图15所示实施例训练得到的轨迹估计模型进行轨迹估计,得到精度较高的估计轨迹。并且,在推断阶段,可以更新轨迹估计模型,提高轨迹估计模型对陌生数据(例如新步态的数据)的估计精度,提高了轨迹估计模型的泛化性能。
接下来,基于上文介绍的轨迹不确定度确定方案,对本申请实施例提供的一种轨迹不确定度确定方法进行介绍。可以理解的是,该即将在下文进行描述的轨迹不确定度确定方法是上文介绍的轨迹不确定度确定方案的另一种表达方式,两者是相结合的,该方法中的部分或全部内容可以参见上文对轨迹不确定度确定方案的介绍。
参阅图17,该方法包括如下步骤。
步骤1701,获取多个轨迹估计模型输出的多个估计结果,所述多个轨迹估计模型和所述多个估计结果一一对应,所述多个估计结果对应第一物理量,所述多个轨迹估计模型中不同轨迹估计模型的训练过程彼此独立,且训练方法相同。具体可以参考上文对图12A所示实施例的介绍实现。
步骤1702,确定所述多个估计结果之间的第一差异,所述第一差异用于表示所述第一物理量的不确定度;其中,所述第一差异使用方差或标准差表示。具体可以参考上文对图12B所示实施例的介绍实现。
在一些实施例中,所述第一物理量为速度。具体可以参考上文对公式(6.1)-公式(7.3)的介绍实现。
在一些实施例中,所述方法还包括:确定所述估计结果对应的第一位置;确定所述多个估计结果对应的多个第一位置之间的第二差异,所述多个第一位置和所述多个估计结果一一对应,所述第二差异用于表示所述第一位置的不确定度;其中,所述第二差异使用方差或标准差表示。具体可以参考上文对公式(8.1)-公式(9.3)的介绍实现。
在一些实施例中,所述估计结果通过三维空间坐标系表示,所述估计结果包括在所述三维空间坐标系的第一坐标轴方向上的第一速度、在所述三维空间坐标系的第二坐标轴方向上的第二速度;所述方法还包括:确定第一航向角在所述第一速度上的第一变化率,以及确定所述第一航向角在所述第二速度上的第二变化率;其中,所述第一航向角为在所述第一坐标轴和所述第二坐标轴所在平面上的角度;基于所述第一变化率、所述第二变化率、所述第一速度的不确定度和所述第二速度的不确定度,确定所述第一航向角的不确定度。
具体可以参考上文对图12C所示实施例以及公式(14)、公式(15)的介绍实现。
在这些实施例的一个说明性示例中,所述确定第一航向角在所述第一速度上的第一变化率,以及确定所述第一航向角在所述第二速度上的变化率包括:使用所述第一速度和所述第二速度表示第一航向角,得到第一表达式;对所述第一表达式,进行所述第一速度的一阶偏导数计算,得到所述第一变化率;对所述第一表达式,进行所述第二速度的一阶偏导数计算,得到所述第二变化率。
具体可以参考上文对图12C所示实施例以及公式(11)-公式(13)的介绍实现。
本申请实施例提供的不确定度估计方案可以利用独立训练得到的多个轨迹估计模型进行轨迹估计,得到物理量的多个估计结果,通过物理量多个轨迹估计结果的差异分析,得到该物理量的不确定度作为轨迹估计质量指示量,为轨迹估计结果的可用性提供指示,有助于实现高可靠的轨迹估计。
本申请实施例还提供了一种计算设备,参阅图18,该计算设备可以包括处理器1810和存储器1820。其中,存储器1820用于存储计算机指令。处理器1810用于执行存储器1820存储的计算机指令,使得计算设备可以执行上文图15所示的方法实施例。
本申请实施例还提供了一种计算设备,仍参阅图18,该计算设备可以包括处理器1810和存储器1820。其中,存储器1820用于存储计算机指令。处理器1810用于执行存储器1820存储的计算机指令,使得计算设备可以执行上文图16所示的方法实施例。
本申请实施例还提供了一种计算设备,仍参阅图18,该计算设备可以包括处理器1810和存储器1820。其中,存储器1820用于存储计算机指令。处理器1810用于执行存储器1820存储的计算机指令,使得计算设备可以执行上文图17所示的方法实施例。
可以理解的是,本申请的实施例中的处理器可以是中央处理单元(centralprocessing unit,CPU),还可以是其他通用处理器、数字信号处理器(digital signalprocessor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现场可编程门阵列(field programmable gate array,FPGA)或者其他可编程逻辑器件、晶体管逻辑器件,硬件部件或者其任意组合。通用处理器可以是微处理器,也可以是任何常规的处理器。
本申请的实施例中的方法步骤可以通过硬件的方式来实现,也可以由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成,软件模块可以被存放于随机存取存储器(random access memory,RAM)、闪存、只读存储器(read-only memory,ROM)、可编程只读存储器(programmable rom,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
可以理解的是,在本申请的实施例中涉及的各种数字编号仅为描述方便进行的区分,并不用来限制本申请的实施例的范围。
Claims (27)
1.一种轨迹估计模型的训练方法,其特征在于,所述轨迹估计模型包括:特征提取模块、标签估计模块;所述方法包括:
获取第一惯性测量单元在第一时间段内产生的第一IMU数据;其中,所述第一惯性测量单元在所述第一时间段内沿第一轨迹移动;
获取第二IMU数据;其中,所述第一IMU数据和所述第二IMU数据采用的坐标系相同,且所述第二IMU数据和所述第一IMU数据具有预设的对应关系;
在所述特征提取模块,提取所述第一IMU数据的第一特征,以及提取所述第二IMU数据的第二特征;
在所述标签估计模块,根据所述第一特征,确定第一标签,以及根据第二特征,确定第二标签;其中,所述第一标签和所述第二标签对应第一物理量;
确定所述第一标签和所述第二标签之间的第一差异;
朝着降低所述第一差异的方向,对所述特征提取模块的参数和所述标签估计模块的参数进行第一更新。
2.根据权利要求1所述的方法,其特征在于,所述第一物理量包括速度、位移、步长、航向角中的任一种或多种。
3.根据权利要求1或2所述的方法,其特征在于,所述第一IMU数据包括第一加速度和第一角速度,所述获取第二IMU数据包括:
将所述第一加速度的方向沿着第一方向旋转第一角度,以及将所述第一角速度的方向沿着所述第一方向旋转所述第一角度,得到所述第二IMU数据。
4.根据权利要求3所述的方法,其特征在于,所述根据所述第一特征,确定第一标签,以及根据第二特征,确定第二标签,包括:
根据所述第一特征,确定第一初始标签,并将所述第一初始标签的方向沿着所述第一方向旋转所述第一角度,得到所述第一标签;或者,
根据所述第二特征,确定第二初始标签,并将所述第二初始标签的方向沿着第二方向旋转所述第一角度,得到所述第二标签,所述第二方向和所述第一方向相反。
5.根据权利要求3所述的方法,其特征在于,
所述方法还包括:
获取所述第一IMU数据的设备共轭数据,所述设备共轭数据为第二惯性测量单元在所述第一时间段内产生的IMU数据;其中,所述第二惯性测量单元在所述第一时间段内沿所述第一轨迹移动;
在所述特征提取模块,提取所述设备共轭数据的特征;
在所述标签估计模块,根据所述设备共轭数据的特征,确定所述设备共轭数据所对应的标签;
确定所述第一标签和所述设备共轭数据所对应的标签之间的设备共轭差异;
所述朝着降低所述第一差异的方向,对所述特征提取模块的参数和所述标签估计模块的参数进行第一更新包括:
朝着降低所述第一差异的方向和朝着降低所述设备共轭差异的方向,对所述特征提取模块的参数和所述标签估计模块的参数进行第一更新。
6.根据权利要求3所述的方法,其特征在于,所述方法还包括:
获取所述第一IMU数据的设备共轭数据,所述设备共轭数据为第二惯性测量单元在所述第一时间段内产生的IMU数据;其中,所述第二惯性测量单元在所述第一时间段内沿所述第一轨迹移动;
在所述特征提取模块,提取所述设备共轭数据的特征;
确定所述第一特征和所述设备共轭数据的特征之间的共轭特征相似度;
朝着提高所述共轭特征相似度的方向,对所述特征提取模块的参数进行第二更新。
7.根据权利要求1或2所述的方法,其特征在于,所述第二IMU数据是第二惯性测量单元在所述第一时间段内产生的;其中,所述第二惯性测量单元在所述第一时间段内沿所述第一轨迹移动。
8.根据权利要求7所述的方法,其特征在于,所述第一IMU数据包括第一加速度和第一角速度,所述方法还包括:
将所述第一加速度的方向沿着第一方向旋转第一角度,以及将所述第一角速度的方向沿着所述第一方向旋转所述第一角度,得到第一IMU数据的旋转共轭IMU数据;
在所述特征提取模块,提取所述旋转共轭IMU数据的特征;
在所述标签估计模块,根据所述旋转共轭IMU数据的特征,确定旋转共轭标签;
确定所述第一标签和所述旋转共轭标签之间的旋转共轭差异;
所述朝着降低所述第一差异的方向,对所述特征提取模块的参数和所述标签估计模块的参数进行第一更新包括:
朝着降低所述第一差异的方向和朝着降低所述旋转共轭差异的方向,对所述特征提取模块的参数和所述标签估计模块的参数进行第一更新。
9.根据权利要求7所述的方法,其特征在于,所述方法还包括:
确定所述第一特征和所述第二特征之间的相似度;
朝着提高所述第一特征和所述第二特征之间的相似度的方向,对所述特征提取模块的参数进行第二更新。
10.根据权利要求1或2所述的方法,其特征在于,
所述方法还包括:
获取所述第一惯性测量单元在沿着所述第一轨迹移动时的实际标签;
确定所述第一标签和所述实际标签之间的标签差异;
所述朝着降低所述第一差异的方向,对所述特征提取模块的参数和所述标签估计模块的参数进行第一更新包括:
朝着降低所述第一差异的方向和朝着降低所述标签差异的方向,对所述特征提取模块的参数和所述标签估计模块的参数进行第一更新。
11.根据权利要求1所述的方法,其特征在于,在对所述特征提取模块的参数和所述标签估计模块的参数进行第一更新之后,所述方法还包括:
在经过所述第一更新之后的所述特征提取模块,提取所述第一IMU数据的第三特征;
在经过所述第一更新之后的所述标签估计模块,根据所述第三特征,确定第三标签,所述第三标签包括估计速度;
根据所述第一时间段的时长和所述第三标签,确定所述第一惯性测量单元在所述第一时间段内的第一估计轨迹;
确定所述第一估计轨迹和所述第一轨迹之间的轨迹差异;
朝着降低所述轨迹差异的方向,对所述特征提取模块的参数和所述标签估计模块的参数进行第三更新。
12.根据权利要求11所述的方法,其特征在于,所述确定所述第一估计轨迹和所述第一轨迹之间的轨迹差异包括:
确定所述第一估计轨迹的长度和所述第一轨迹的长度之间的长度差异,以及确定所述第一估计轨迹的航向角和所述第一轨迹的航向角之间的角度差异;
所述朝着降低所述轨迹差异的方向,对所述特征提取模块的参数和所述标签估计模块的参数进行第三更新包括:
朝着降低所述长度差异和朝着降低所述角度差异的方向,对所述特征提取模块的参数和所述标签估计模块的参数进行第三更新。
13.一种利用轨迹估计模型进行轨迹估计的方法,其特征在于,所述轨迹估计模型由权利要求1-12任一项所述的方法训练得到,所述轨迹估计模型包括特征提取模块和标签估计模块;所述方法包括:
获取第一物体的第一实测IMU数据,所述第一实测IMU数据是第一物体上的惯性测量单元在第一时间段内产生的;
在所述特征提取模块,提取所述第一实测IMU数据的第一特征;
在所述标签估计模块,根据所述第一实测IMU数据的第一特征,确定所述第一物体对应的第一实测标签,所述第一实测标签对应第一物理量;
根据所述第一实测标签,确定所述第一物体在所述第一时间段内的轨迹。
14.根据权利要求13所述的方法,其特征在于,所述第一物理量包括速度、位移、步长、航向角中的任一种或多种。
15.根据权利要求13或14所述的方法,其特征在于,在提取所述第一实测IMU数据的第一特征之前,所述方法还包括:
获取所述第一物体的第二实测IMU数据,所述第一实测IMU数据和所述第二实测IMU数据采用的坐标系相同,且所述第二实测IMU数据和所述第一实测IMU数据具有预设的对应关系;
在所述特征提取模块,提取所述第一实测IMU数据的第二特征,以及提取所述第二实测IMU数据的特征;
在所述标签估计模块,根据所述第一实测IMU数据的第二特征,确定第二实测标签,以及根据所述第二实测IMU数据的特征,确定第三实测标签;其中,所述第二实测标签和所述第三实测标签对应所述第一物理量;
确定所述第二实测标签和所述第三实测标签之间的差异;
朝着降低所述第二实测标签和所述第三实测标签之间的差异的方向,对所述特征提取模块的参数和所述标签估计模块的参数进行更新。
16.根据权利要求15所述的方法,其特征在于,所述第一实测IMU数据包括第一实测加速度和第一实测角速度,所述获取所述第一物体的第二实测IMU数据包括:
将所述第一实测加速度的方向沿着第一方向旋转第一角度,以及将所述第一实测角速度的方向沿着所述第一方向旋转所述第一角度,得到所述第二IMU数据。
17.根据权利要求15所述的方法,其特征在于,所述第二实测IMU数据和第一实测IMU数据分别是第一物体上的不同惯性测量单元在所述第一时间段内产生的。
18.一种轨迹不确定度确定方法,其特征在于,包括:
获取多个轨迹估计模型输出的多个估计结果,所述多个轨迹估计模型和所述多个估计结果一一对应,所述多个估计结果对应第一物理量,所述多个轨迹估计模型中不同轨迹估计模型的训练过程彼此独立,且训练方法相同;
确定所述多个估计结果之间的第一差异,所述第一差异用于表示所述第一物理量的不确定度;其中,所述第一差异使用方差或标准差表示。
19.根据权利要求18所述的方法,其特征在于,所述第一物理量为速度。
20.根据权利要求19所述的方法,其特征在于,所述方法还包括:
确定所述估计结果对应的第一位置;
确定所述多个估计结果对应的多个第一位置之间的第二差异,所述多个第一位置和所述多个估计结果一一对应,所述第二差异用于表示所述第一位置的不确定度;其中,所述第二差异使用方差或标准差表示。
21.根据权利要求18所述的方法,其特征在于,所述估计结果通过三维空间坐标系表示,所述估计结果包括在所述三维空间坐标系的第一坐标轴方向上的第一速度、在所述三维空间坐标系的第二坐标轴方向上的第二速度;
所述方法还包括:
确定第一航向角在所述第一速度上的第一变化率,以及确定所述第一航向角在所述第二速度上的第二变化率;其中,所述第一航向角为在所述第一坐标轴和所述第二坐标轴所在平面上的角度;
基于所述第一变化率、所述第二变化率、所述第一速度的不确定度和所述第二速度的不确定度,确定所述第一航向角的不确定度。
22.根据权利要求21所述的方法,其特征在于,所述确定第一航向角在所述第一速度上的第一变化率,以及确定所述第一航向角在所述第二速度上的变化率包括:
使用所述第一速度和所述第二速度表示第一航向角,得到第一表达式;
对所述第一表达式,进行所述第一速度的一阶偏导数计算,得到所述第一变化率;
对所述第一表达式,进行所述第二速度的一阶偏导数计算,得到所述第二变化率。
23.一种计算设备,其特征在于,包括处理器、存储器;所述存储器用于存储计算机程序;所述处理器用于执行所述计算机程序,以实现如权利要求1-12任一项所述的方法。
24.一种计算设备,其特征在于,包括处理器、存储器;所述存储器用于存储计算机程序;所述处理器用于执行所述计算机程序,以实现如权利要求13-17任一项所述的方法。
25.一种计算设备,其特征在于,包括处理器、存储器;所述存储器用于存储计算机程序;所述处理器用于执行所述计算机程序,以实现如权利要求18-22任一项所述的方法。
26.一种计算机可读存储介质,其特征在于,包括计算机程序指令,当所述计算机程序指令由计算设备执行时,所述计算设备执行如权利要求1至12或13至17或18至22中任一项所述的方法。
27.一种包含指令的计算机程序产品,其特征在于,当所述指令被计算设备运行时,使得所述计算设备执行如权利要求1至12或13至17或18至22中任一项所述的方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111165311.XA CN115908476A (zh) | 2021-09-30 | 2021-09-30 | 轨迹估计模型训练方法、轨迹估计方法及设备 |
PCT/CN2022/120740 WO2023051390A1 (zh) | 2021-09-30 | 2022-09-23 | 轨迹估计模型训练方法、轨迹估计方法及设备 |
EP22874776.2A EP4400991A1 (en) | 2021-09-30 | 2022-09-23 | Trajectory estimation model training method, trajectory estimation method, and device |
US18/621,182 US20240271939A1 (en) | 2021-09-30 | 2024-03-29 | Method for training trajectory estimation model, trajectory estimation method, and device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111165311.XA CN115908476A (zh) | 2021-09-30 | 2021-09-30 | 轨迹估计模型训练方法、轨迹估计方法及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115908476A true CN115908476A (zh) | 2023-04-04 |
Family
ID=85748471
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111165311.XA Pending CN115908476A (zh) | 2021-09-30 | 2021-09-30 | 轨迹估计模型训练方法、轨迹估计方法及设备 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20240271939A1 (zh) |
EP (1) | EP4400991A1 (zh) |
CN (1) | CN115908476A (zh) |
WO (1) | WO2023051390A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116558513B (zh) * | 2023-07-06 | 2023-10-03 | 中国电信股份有限公司 | 室内终端定位方法、装置、设备及介质 |
CN117874529B (zh) * | 2024-03-12 | 2024-05-28 | 浪潮电子信息产业股份有限公司 | 运动轨迹预测方法、模型训练方法、装置、设备及介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106094822B (zh) * | 2016-06-27 | 2022-12-16 | 中国计量大学 | 基于辅助定位装置的惯性导引车定位方法及惯性导引车 |
US10282574B1 (en) * | 2018-03-06 | 2019-05-07 | Motorola Mobility Llc | Location correction apparatus and method in a real-time locating system |
CN108896044B (zh) * | 2018-07-23 | 2021-09-10 | 湖南格纳微信息科技有限公司 | 一种基于惯性导航和卫星导航的定位方法及装置 |
CN109238279A (zh) * | 2018-09-28 | 2019-01-18 | 南京沃旭通讯科技有限公司 | 一种基于步态识别的手推车融合定位方法 |
CN113137967B (zh) * | 2021-05-19 | 2023-05-26 | 深圳市优必选科技股份有限公司 | 一种机器人定位方法、装置、机器人和可读存储介质 |
-
2021
- 2021-09-30 CN CN202111165311.XA patent/CN115908476A/zh active Pending
-
2022
- 2022-09-23 EP EP22874776.2A patent/EP4400991A1/en active Pending
- 2022-09-23 WO PCT/CN2022/120740 patent/WO2023051390A1/zh active Application Filing
-
2024
- 2024-03-29 US US18/621,182 patent/US20240271939A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20240271939A1 (en) | 2024-08-15 |
WO2023051390A1 (zh) | 2023-04-06 |
EP4400991A1 (en) | 2024-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP4400991A1 (en) | Trajectory estimation model training method, trajectory estimation method, and device | |
US11035915B2 (en) | Method and system for magnetic fingerprinting | |
US8890875B2 (en) | Processing method for capturing movement of an articulated structure | |
RU2628217C2 (ru) | Устройство распознавания трехмерного объекта и способ распознавания трехмерного объекта | |
CN107976193A (zh) | 一种行人航迹推断方法、装置、航迹推断设备及存储介质 | |
CN113091738B (zh) | 基于视觉惯导融合的移动机器人地图构建方法及相关设备 | |
CN106052691B (zh) | 激光测距移动制图中闭合环误差纠正方法 | |
US10557711B2 (en) | Apparatus for inferring pedestrian position based on pedestrian movement detection, and method therefor | |
Manos et al. | Walking direction estimation using smartphone sensors: A deep network-based framework | |
CN112004183B (zh) | 一种基于卷积神经网络融合IMU和WiFi信息的机器人自主定位方法 | |
CN112729301A (zh) | 一种基于多源数据融合的室内定位方法 | |
CN106403953B (zh) | 一种用于水下自主导航与定位的方法 | |
CN108415041A (zh) | 移动装置的接收器及其改进方法 | |
CN106028450B (zh) | 室内定位方法及设备 | |
Fu et al. | A survey on artificial intelligence for pedestrian navigation with wearable inertial sensors | |
US11692829B2 (en) | System and method for determining a trajectory of a subject using motion data | |
US10914793B2 (en) | Method and system for magnetometer calibration | |
Chen et al. | Pedestrian positioning with physical activity classification for indoors | |
CN116952277A (zh) | 一种基于人工智能和行为特征的潜在位置估算方法及系统 | |
US20230114585A1 (en) | Ranging-type positioning system and ranging-type positioning method based on crowdsourced calibration | |
CN116026325A (zh) | 一种基于神经过程与卡尔曼滤波的导航方法及相关装置 | |
CN115615432A (zh) | 一种基于深度神经网络的室内行人惯性导航方法 | |
CN111735478B (zh) | 基于lstm的行人实时导航零速检测方法 | |
CN114705223A (zh) | 多移动智能体在目标跟踪中的惯导误差补偿方法及系统 | |
CN113449265A (zh) | 一种基于堆叠lstm的腰载式航向角计算方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |