CN116848375A - 基于惯性测量单元数据的用户轨迹估计 - Google Patents
基于惯性测量单元数据的用户轨迹估计 Download PDFInfo
- Publication number
- CN116848375A CN116848375A CN202080105565.XA CN202080105565A CN116848375A CN 116848375 A CN116848375 A CN 116848375A CN 202080105565 A CN202080105565 A CN 202080105565A CN 116848375 A CN116848375 A CN 116848375A
- Authority
- CN
- China
- Prior art keywords
- measurement
- coordinate system
- type
- user
- imu
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005259 measurement Methods 0.000 title claims abstract description 106
- 238000013528 artificial neural network Methods 0.000 claims abstract description 112
- 238000000034 method Methods 0.000 claims abstract description 63
- 239000013598 vector Substances 0.000 claims abstract description 58
- 238000004891 communication Methods 0.000 claims abstract description 27
- 230000015654 memory Effects 0.000 claims description 20
- 230000005484 gravity Effects 0.000 claims description 13
- 238000001228 spectrum Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 8
- 238000006073 displacement reaction Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 11
- 238000010606 normalization Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 5
- 230000000306 recurrent effect Effects 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/183—Compensation of inertial measurements, e.g. for temperature effects
- G01C21/188—Compensation of inertial measurements, e.g. for temperature effects for accumulated errors, e.g. by coupling inertial systems with absolute positioning systems
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Navigation (AREA)
Abstract
本发明一般涉及网络导航领域，具体涉及用于在无线通信网络中估计用户轨迹的技术。为此，可使用惯性测量单元(inertial measurement unit，IMU)数据，其包括用户携带的移动用户设备(user equipment，UE)的IMU的第一类测量和第二类测量。第一类测量和第二类测量最初在IMU链接的坐标系中进行。此外，第一类测量或第二类测量用于获得IMU的旋转方向的表示。然后，第一类测量和第二类测量从IMU链接的坐标系传输到用户链接的坐标系，从而使用预训练的神经网络(neural network，NN)确定用户链接的坐标系中的UE的速度矢量。接下来，通过使用IMU的旋转方向的方向，将速度矢量从用户链接的坐标系传输到世界坐标系。通过在世界坐标系中整合速度矢量，即可算出用户轨迹坐标。通过这些步骤，能够以高精度估计用户轨迹，尤其是在室内场景中。
Description
技术领域
本发明一般涉及网络导航领域，并且具体地涉及基于惯性测量单元(inertialmeasurement unit，IMU)数据在无线通信网络中进行用户轨迹估计的技术。
背景技术
一种基于全球定位系统(Global Positioning System，GPS)的导航系统，包括GPS接收器，其从绕地球运行的卫星接收信息，并使用该信息来确定GPS接收器的位置。基于GPS的导航系统可以安装在不同的移动用户设备(user equipment，UE)中，例如无线电话。用户使用配备GPS的无线电话来确定其位置，并到达所需目的地。通常，基于GPS的导航系统支持以高精度估计用户位置，因此，也支持以高精度估计用户轨迹。然而，基于GPS的导航系统具有以下缺点，即在移动UE和卫星之间的通信路径上，基于GPS的导航系统必须处于开放空间才能在移动UE和卫星之间传递无线电信号。在现实世界中，无线电信号的路径上存在各种各样的障碍物，例如树木、地貌、摩天大楼等。因此，确定用户位置的精度会因无线电信号在这些障碍物中的反射而降低。具体地，基于GPS的导航系统几乎不可能来跟踪建筑物内(即所谓的室内场景)的用户轨迹。
鉴于上述情况，已经提出使用来自通常集成在移动UE中的IMU的数据来估计用户位置和轨迹，尤其是在室内场景中。其中，IMU可以包括陀螺仪、磁力计和加速度计。需要适当地处理IMU收集的数据，才能精准定位用户位置。在这种情况下，机器学习(machinelearning，ML)可能有助于处理IMU数据。然而，即使基于ML的现有方法处理IMU数据，仍然不能将确定用户位置的精度提高到可接受的水平。
发明内容
本发明内容简单介绍了一些概念，在具体实施方式中会进一步描述这些概念。本发明内容并不旨在识别本发明的关键特征，也不旨在用于限制本发明的范围。
本发明的目的是提供一种技术解决方案，其允许基于惯性测量单元(inertialmeasurement unit，IMU)数据在无线通信网络中进行用户轨迹估计。
上述目的是通过所附权利要求中独立权利要求的特征来实现的。其他实施例和示例从从属权利要求、具体实施方式和附图中是显而易见的。
根据第一方面，提供了一种用于在无线通信网络中进行用户轨迹估计的装置。该装置包括处理器和耦合到处理器的存储器。其中，存储器用于存储处理器可执行指令。接收到处理器可执行指令后，处理器用于从移动UE中集成的IMU接收输入数据。其中，输入数据包括第一类测量和第二类测量。第一类测量和第二类测量彼此不同，并在IMU链接的坐标系中进行。之后，处理器用于使用第一类测量或第二类测量获得IMU的旋转方向的表示。然后，处理器用于将第一类测量和第二类测量从IMU链接的坐标系传输到用户链接的坐标系。接下来，处理器用于通过预训练的神经网络(neural network，NN)确定UE在用户链接的坐标系中的速度矢量。其中，NN用于使用用户链接的坐标系中的第一类测量和第二类测量作为输入，并且每个速度矢量指示给定时间段内的UE位移。所述处理器还用于利用所述IMU的旋转方向的表示，将所述速度矢量从所述用户链接的坐标系传递到世界坐标系，并通过对所述世界坐标系中的速度矢量进行整合，计算出用户轨迹坐标。通过这种配置，根据第一方面的装置能够以高精度提供基于IMU数据的用户导航，尤其是在室内场景中。此外，根据第一方面的装置可以应用于配备IMU的任何移动UE(例如智能手机、智能手表等)，从而使装置的使用更加灵活。
在第一方面的一个实施例中，IMU包括加速度计和陀螺仪的组合。在本实施例中，第一类测量包括加速度计读数，第二类测量包括陀螺仪读数，反之亦然。此外，在本实施例中，处理器可以用于基于陀螺仪读数，获得IMU的旋转方向的表示，作为一组旋转四元数或旋转矩阵。通过使用旋转四元数或旋转矩阵，可以在三个维度上提供移动UE的方向和旋转的适当表示。
在第一方面的一个实施例中，加速度计读数包括指示重力矢量的低频分量和指示用户行走的高频分量的组合。在本实施例中，处理器还可以用于在所述传输第一类测量和第二类测量之前，通过以下方式校正陀螺仪读数中的漂移引起的误差：
—使用一组旋转四元数将加速度计读数传输到世界坐标系；
—从世界坐标系中的加速度计读数中过滤高频分量；
—查找低频分量与世界坐标系中定义的真实重力矢量之间的差值；以及
—使用差值校正陀螺仪读数中的漂移引起的误差。
通过以这种方式消除陀螺仪读数中的漂移引起的误差，可以提高整个用户轨迹估计的精度。
在第一方面的一个实施例中，处理器用于通过计算加速度计读数的傅里叶频谱，并从傅里叶频谱中移除高频分量来执行所述滤波。这可以更有效地消除陀螺仪读数中的漂移引起的误差。
在第一方面的一个实施例中，所述NN被配置为残差NN(ResNet)。在确定用户链接的坐标系中UE的速度矢量时，这种类型的NN可以提供可接受的精度。
在第一方面的一个实施例中，所述NN包括第一NN和第二NN的组合。其中，第一NN用于在给定时间段内从用户链接的坐标系中的第一类测量和第二类测量中提取特征。第二NN用于对从第一NN提取的特征进行累积，并在给定时间段内生成UE在用户链接的坐标系中的速度矢量。通过以这种方式配置NN，可以使其实现更有效的操作，即在用户链接的坐标系中确定UE的速度矢量效果更佳。
在第一方面的一个实施例中，第一NN用于具有一个或多个残差连接的卷积神经网络(convolutional neural network，CNN)，第二NN用于门控循环神经网络(gatedrecurrent neural network，GRNN)。通过使用这种类型的第一NN和第二NN，可以提高确定用户链接的坐标系中UE的速度矢量的精度。
根据第二方面，提供了一种用于在无线通信网络中进行用户轨迹估计的方法。该方法的第一步是从集成到移动用户设备(user equipment，UE)中的惯性测量单元(inertial measurement unit，IMU)接收输入数据。其中，输入数据包括第一类测量和第二类测量。第一类测量和第二类测量彼此不同，并在IMU链接的坐标系中进行。接着，该方法使用第一类测量或第二类测量以获得IMU的旋转方向的表示。然后，该方法将第一类测量和第二类测量从IMU链接的坐标系传输到用户链接的坐标系。之后，启动下一步，即使用预训练的神经网络(neural network，NN)确定用户链接的坐标系中UE的速度矢量。NN使用用户链接的坐标系中的第一类测量和第二类测量作为输入，并且每个速度矢量指示给定时间段内的UE位移。接下来，该方法通过使用IMU的旋转方向的方向，将速度矢量从用户链接的坐标系传输到世界坐标系。最后，该方法通过在世界坐标系中整合速度矢量来计算用户轨迹坐标。通过这些步骤，能够基于IMU数据以高精度执行用户导航，尤其是在室内场景中。此外，根据第二方面的方法可以应用于配备IMU的任何移动UE(例如智能手机、智能手表等)，从而使该方法在使用中更加灵活。
在第二方面的一个实施例中，IMU包括加速度计和陀螺仪的组合。在本实施例中，第一类测量包括加速度计读数，第二类测量包括陀螺仪读数，反之亦然。此外，本实施例涉及基于陀螺仪读数获得IMU的旋转方向的表示，作为一组旋转四元数或旋转矩阵。通过使用旋转四元数或旋转矩阵，可以在三个维度上提供移动UE的方向和旋转的适当表示。
在第二方面的一个实施例中，加速度计读数包括指示重力矢量的低频分量和指示用户行走的高频分量的组合。在本实施例中，该方法还包括在传输第一类测量和第二类测量的步骤之前，通过以下方式校正陀螺仪读数中的漂移引起的误差的步骤：
—使用一组旋转四元数将加速度计读数传输到世界坐标系；
—从世界坐标系中的加速度计读数中过滤高频分量；
—查找低频分量与世界坐标系中定义的真实重力矢量之间的差值；以及
—使用差值校正陀螺仪读数中的漂移引起的误差。
通过以这种方式消除陀螺仪读数中的漂移引起的误差，可以提高整个用户轨迹估计的精度。
在第二方面的一个实施例中，通过计算加速度计读数的傅里叶频谱，并从傅里叶频谱中移除高频分量来过滤高频分量。这可以更有效地消除陀螺仪读数中的漂移引起的误差。
在第二方面的一个实施例中，所述NN被配置为残差NN(ResNet)。在确定用户链接的坐标系中UE的速度矢量时，这种类型的NN可以提供可接受的精度。
在第二方面的一个实施例中，所述NN包括第一NN和第二NN的组合。其中，第一NN用于在给定时间段内从用户链接的坐标系中的第一类测量和第二类测量中提取特征。第二NN用于对从第一NN提取的特征进行累积，并在给定时间段内生成UE在用户链接的坐标系中的速度矢量。通过以这种方式配置NN，可以使其实现更有效的操作，即在用户链接的坐标系中确定UE的速度矢量效果更佳。
在第二方面的一个实施例中，第一NN用于具有一个或多个残差连接的卷积神经网络(convolutional neural network，CNN)，第二NN用于门控循环神经网络(gatedrecurrent neural network，GRNN)。通过使用这种类型的第一NN和第二NN，可以提高确定用户链接的坐标系中UE的速度矢量的精度。
根据第三方面，提供了一种用于使计算机执行根据第二方面所述的方法的计算机程序。通过使用这样的计算机程序，可以简化根据第二方面的方法在任何计算设备(例如根据第一方面的装置)中的实施。
根据第四方面，提供了一种计算机可读非瞬时性存储介质。该存储介质存储计算机代码，在由处理器执行时，该计算机代码使处理器执行所述根据第二方面的方法。通过使用这样的存储介质，可以简化根据第二方面的方法在任何计算设备(例如根据第一方面的装置)中的实施。
在阅读以下具体实施方式并回顾附图后，本发明的其他特征和优点将是显而易见的。
附图说明
下面结合附图解释本发明，其中：
图1示出了根据一个示例性实施例，用于在无线通信网络中进行用户轨迹估计的装置的方框图；
图2示出了根据一个示例性实施例，用于在无线通信网络中进行用户轨迹估计的方法的流程图；
图3解释了根据一个示例性实施例，如何将陀螺仪防飘移技术整合到图2所示的方法中。
图4示出了根据一个示例性实施例，用于图2所示方法的预训练的NN的方框图。
图5示出了根据一个示例性实施例，图4所示的NN中包括的每个残差块的方框图。
具体实施方式
结合附图进一步详细地描述了本发明的各种实施例。但是，本发明可以通过许多其它形式体现，并且不应解释为限于在以下描述中公开的任何特定结构或功能。相反，提供这些实施例是为了使本发明的描述更加详尽和完整。
根据具体实施方式，本领域技术人员应理解，本发明的范围包括在此公开的任何实施例，无论本实施例是独立实施的还是与本发明的任何其他实施例一致实施。例如，本文公开的装置和方法在实践中可以通过使用本文提供的任意数量的实施例来实现。此外，应当理解，本发明的任何实施例都可以使用所附权利要求中提出的一个或多个元件来实现。
此处使用的“示例性”一词具有“用作说明”的含义。除非另有说明，否则本文描述为“示例性”的任何实施例不应被解释为比其他实施例优选或具有优势。
根据本文公开的实施例，移动用户设备(简称移动UE)可以是指移动设备、移动站、移动终端、用户单元、移动电话、蜂窝电话、智能手机、无绳电话、个人数字助理(personaldigital assistant，PDA)、无线通信设备、笔记本电脑、平板电脑，游戏设备(例如游戏机、游戏控制器等)、上网本、智能本、超极本、医疗设备或医疗器械、生物识别传感器、可穿戴设备(例如智能手表、智能眼镜、智能手环等)，娱乐设备(例如音频播放器、视频播放器等)、车辆部件或传感器、智能仪表/传感器、无人驾驶车辆(例如工业机器人、四轴飞行器等)、工业制造设备、全球定位系统(global positioning system，GPS)设备、物联网(Internet-of-Things，IoT)设备、机器类型通信(machine-type communication，MTC)设备、一组大规模物联网(Massive IoT，MIoT)或大规模机器类型通信(Massive MTC，mMTC)设备/传感器，或配置为支持无线通信的任何其他合适的移动设备。在一些示例性实施例中，移动UE可以指如此定义的至少两个并置且互连的移动UE。
如本文所公开的实施例中所使用的，惯性测量单元(简称IMU)可以是指移动UE中包括的一个或多个惯性传感器。比如，惯性传感器可以包括角速度传感器(陀螺仪)、加速度传感器(加速度计)和磁场传感器(磁力计)，它们用于测量移动UE或携带移动UE的用户的旋转和平移运动。同时，应当注意，本发明并不限于惯性传感器的这些示例。在一些实施例中，IMU可以附加或改用高度计(例如如果移动UE是无人驾驶飞行器)，或用于测量和报告移动UE的特定移动、位置、磁场方向和方向中的至少一个的任何其他电子设备。根据来自惯性传感器的测量或读数，可进行计算以估计用户在无线通信网络内移动的轨迹。
根据本文公开的实施例，应估计用户轨迹的无线通信网络可以是指蜂窝或移动网络、无线局域网(Wireless Local Area Network，WLAN)、无线个人局域网(WirelessPersonal Area Network，WPAN)、无线广域网(Wireless Wide Area Network，WWAN)、卫星通信(satellite communication，SATCOM)系统或任何其他类型的无线通信网络。这些类型的无线通信网络中的每一个都支持基于一个或多个通信协议标准的无线通信。例如，蜂窝网络可以根据全球移动通信系统(Global System for Mobile Communications，GSM)标准、码分多址(Code-Division Multiple Access，CDMA)标准、宽带码分多址(Wide-BandCode-Division Multiple Access，WCDM)标准、时分多址(Time-Division MultipleAccess，TDMA)标准或任何其他通信协议标准运行；而WLAN可以根据IEEE 802.11标准的一个或多个版本运行；WPAN可以根据红外数据协会(Infrared Data Association，IrDA)、无线USB、蓝牙或ZigBee标准运行；WWAN可以根据全球微波接入互操作性(WorldwideInteroperability for Microwave Access，WiMAX)标准运行。
虽然在室外场景(即在开放空间)中，基于GPS的导航是用于确定用户位置和轨迹的可靠且易于获得的技术，但在室内场景(即在封闭或半开放空间)中，情况并非如此。这是因为对于从绕地球运行的一个或多个GPS卫星发射的无线电信号，在它们通往例如建筑物内的移动UE中的GPS接收器的路径上会遇到不同的障碍物，包括树木、建筑墙壁等。因此，由于无线电波会在这些障碍物中反射，导致确定用户位置和轨迹的精度降低。
克服上述问题的一种可能方法是使用来自IMU的数据(即测量或读数)，该数据取自移动UE，用于确定室内场景中的用户位置和轨迹。因此，应对IMU数据进行适当处理，以提供可接受的结果。要做到这一点，可以使用机器学习(machine learning，ML)技术，如神经网络(neural network，NN)。然而，NN不久前才开始用于此目的，因此在本领域中只有少量基于NN的方案可用来确定用户位置和轨迹。即使是本领域可用的技术，其确定用户位置和轨迹的精度也无法达到可接受的水平。此外，现有基于NN的方案在存储器方面属于成本密集型，并且没有考虑在IMU中使用陀螺仪时会导致陀螺仪漂移的问题。
本文公开的示例性实施例提供了一种技术方案，其能够减轻或甚至消除现有技术特有的上述缺点。具体地，本文公开的技术方案能够以高精度在无线通信网络中估计用户轨迹，尤其是在室内场景(例如建筑物内)中。为此，可使用IMU数据，其包括来自属于用户携带的移动UE的IMU的第一类测量和第二类测量。第一类测量和第二类测量最初在IMU链接的坐标系中进行。此外，第一类测量或第二类测量用于获得IMU的旋转方向的表示。然后，第一类测量和第二类测量从IMU链接的坐标系传输到用户链接的坐标系，从而使用预训练的神经网络(neural network，NN)确定用户链接的坐标系中的UE的速度矢量。接下来，通过使用IMU的旋转方向的方向，将速度矢量从用户链接的坐标系传输到世界坐标系。通过在世界坐标系中整合速度矢量，即可算出用户轨迹坐标。
图1示出了根据一个示例性实施例，用于在无线通信网络中进行用户轨迹估计的装置100的方框图。装置100可以集成到移动UE中，或者实现为用于通过无线或有线连接与移动UE通信的独立装置。应使UE配备IMU。如图1所示、装置100包括处理器102和存储器104。存储器104存储处理器可执行指令106，当由处理器102执行时，该指令使处理器102估计用户轨迹坐标，如下文详述。应当注意，构成装置100的构造元件的数量、布置和互连如图1所示，并不旨在限制本发明，而仅仅用于提供构造元件如何在装置100内实现的一般想法。例如，处理器102可以替换为几个处理器，存储器104可以替换为几个可移除和/或固定存储设备，具体取决于特定的应用。此外，独立实现的装置100还可以包括收发器，用于接收来自UE的IMU数据作为输入数据，并响应(即在处理IMU数据时)以向UE提供用户轨迹坐标。在一些实施例中，这样的收发器可以实现为两个独立的设备，其中一个用于接收操作，另一个用于发送操作。无论其实现方式如何，收发器都旨在能够执行用于执行数据接收和传输所需的不同操作，例如信号调制/解调、编码/解码等。
处理器102可以实现为CPU、通用处理器、单用途处理器、微控制器、微处理器、专用集成电路(application-specific integrated circuit，ASIC)、现场可编程门阵列(fieldprogrammable gate array，FPGA)、数字信号处理器(digital signal processor，DSP)、复杂可编程逻辑装置等。还应注意，处理器102可实施为前述中的一者或一者以上的任意组合。例如，处理器102可以是两个或多个微处理器的组合。
存储器104可以实现为现代电子计算机中使用的经典非易失性或易失性存储器。作为示例，非易失性存储器可以包括只读存储器(Read-Only Memory，ROM)、铁电随机存取存储器(ferroelectric Random-Access Memory，RAM)、可编程ROM(Programmable ROM，PROM)、电可擦除PROM(Electrically Erasable PROM，EEPROM)、固态驱动器(solid statedrive，SSD)、闪存、磁盘存储器(例如硬盘驱动器和磁带)，光盘存储器(如CD、DVD和蓝光光盘)等。对于易失性存储器，其示例包括动态RAM、同步DRAM(Synchronous DRAM，SDRAM)、双数据速率SDRAM(Double Data Rate SDRAM，DDR SDRAM)、静态RAM等。
存储在存储器104中的处理器可执行指令106可以用于使处理器102执行本发明的各方面的计算机可执行代码。用于执行本发明各方面的操作或步骤的计算机可执行代码可以用一种或多种编程语言的任何组合编写，例如Java、C++等。在一些示例中，计算机可执行代码可以是高级语言的形式或预编译的形式，并由解释器(也预存储在存储器104中)动态生成。
图2示出了根据一个示例性实施例，用于在无线通信网络中进行用户轨迹估计的方法200的流程图。通常，方法200描述了装置100的操作。方法200从步骤S202开始，其中处理器102从移动UE中的IMU接收输入数据。其中，输入数据包括第一类测量和第二类测量。第一类测量和第二类测量彼此不同，并在IMU链接的坐标系中进行。接着，方法200进入步骤S204，其中处理器102使用第一类测量或第二类测量以获得IMU的旋转方向的表示。然后，方法200进入步骤S206，其中处理器102将第一类测量和第二类测量从IMU链接的坐标系传输到用户链接的坐标系。之后，进入步骤S208，其中处理器102通过使用预训练的神经网络(neural network，NN)确定用户链接的坐标系中UE的速度矢量。NN使用用户链接的坐标系中的第一类测量和第二类测量作为输入。可以通过使用历史IMU数据和关联的历史用户轨迹坐标作为训练集，并基于任何适当的训练方法(例如反向传播)来预训练NN。每个速度矢量指示给定时间段内的UE(或用户)位移。接下来，方法200进入步骤210，其中处理器102通过使用IMU的旋转方向的方向，将速度矢量从用户链接的坐标系传输到世界坐标系。最后，方法200结束于步骤212，其中处理器102通过整合世界坐标系中的速度矢量来计算用户轨迹坐标。通过这些步骤，能够基于IMU数据以高精度执行用户导航，尤其是在室内场景中。
在一个示例性实施例中，IMU可以由加速度计和陀螺仪的组合表示。在本实施例中，第一类测量包括加速度计读数，第二类测量包括陀螺仪读数，反之亦然。通过使用陀螺仪读数，在方法200的步骤S204中，可以以一组旋转四元数或旋转矩阵的形式获得IMU的旋转方向的表示。旋转四元数和矩阵都是本领域公知的，因此在此省略它们的描述。
陀螺仪天生就存在陀螺仪漂移这一问题。陀螺仪漂移是由陀螺仪运动部件的摩擦和对齐造成的。如果出现陀螺仪漂移，会导致角速度测量误差，进而使在无线通信网络中进行用户轨迹估计出现误差。此外，这些误差往往会随着时间的推移而累积。因此，使用漂移补偿技术来提供正确的用户轨迹估计是很重要的。
在IMU配备有加速度计和陀螺仪的一个示例性实施例中，可以通过使用以下技术来减少陀螺仪漂移：让我们先处理加速度计读数。加速度计读数可以被视为指示重力矢量的低频分量和指示用户在IMU链接的坐标系中行走的高频分量的组合。因此，处理器102还可以在方法200的步骤S206之前，通过以下方式校正陀螺仪读数中的漂移引起的误差：
—通过使用旋转四元数(在方法200的步骤S204中获得)将加速度计读数传输到世界坐标系；
—从世界坐标系中的加速度计读数中过滤高频分量；
—找到低频分量和真实重力矢量之间的差值；以及
—使用差值校正陀螺仪读数中的漂移引起的误差。
可以通过使用傅里叶变换(例如，快速傅里叶变换(FFT))来过滤高频分量。更具体地，处理器102可用于计算加速度计读数的傅里叶频谱，并从傅里叶频谱中移除高频分量。
过滤掉高频分量后，加速度计读数应仅由低频分量表示，即世界坐标系中的重力矢量。对于低频分量和真实重力矢量(即常数矢量(0,0,9.8))之间的差值，由用于将加速度读数传输到世界坐标系的陀螺仪读数中的漂移引起的误差确定。通过所述差值，隐含了低频分量的最短旋转，使低频分量与真实重力矢量(0,0,9.8)对齐。然后，这些旋转被用作陀螺仪读数的校正旋转，从而也被用作旋转四元数。这种陀螺仪防漂移技术将始终生效。换句话说，每个瞬间都有最短的旋转。所有这些最短旋转都用于校正所有旋转四元数。
图3解释了根据一个示例性实施例，如何将陀螺仪防漂移技术整合到方法200中。具体地，陀螺仪防漂移技术在图3中示意性地表示为方框300。对于方框300，方法200可以按以下方式执行。在步骤S202中，处理器102从移动UE的IMU接收陀螺仪读数和加速度计读数(在图3中、陀螺仪读数和加速度计读数分别表示为“陀螺仪”和“加速度计”，以免图过载)。然后，处理器102在方法200的步骤S204中使用陀螺仪读数来计算旋转四元数(如上所述，这是IMU的旋转方向的表示的一个示例)。接下来，处理器102基于旋转四元数和加速度计读数执行上述陀螺仪防漂移技术。如上所述，陀螺仪防漂移技术的结果由校正四元数表示，所述校正四元数进一步用于在步骤S206中校正陀螺仪读数，并在步骤S210中用于将速度矢量从用户链接的坐标系传输到世界坐标系。方法200的其余步骤以与上面参考图2描述的相同的方式执行。
在一个示例性实施例中，在方法200的步骤208中使用的预训练的NN被配置为残差NN(ResNet)。在确定用户链接的坐标系中UE的速度矢量时，这种类型的NN可以提供可接受的精度。
在另一个示例性实施例中，在方法200的步骤208中使用的预训练的NN包括第一NN和第二NN的组合。其中，第一NN用于在给定时间段内从用户链接的坐标系中的第一类测量和第二类测量中提取特征。第二NN用于对从第一NN提取的特征进行累积，并在给定时间段内生成移动UE在用户链接的坐标系中的速度矢量。通过以这种方式配置NN，可以使其实现更有效的操作，即在用户链接的坐标系中确定移动UE的速度矢量效果更佳。第一NN用于具有一个或多个残差连接的卷积NN，第二NN用于门控循环NN。
图4示出了根据一个示例性实施例，方法200中可以使用的预训练的NN 400的方框图。NN 400包括第一NN 402和第二NN 404。第一NN 402用作特征提取器，其从IMU数据的时间序列中获取有用信息(即特征)，用于用户轨迹估计。第二NN 404累积由第一NN 402在整个给定时间段内提取的所有特征，并生成给定时间段的平均速度矢量。第二NN 404可以被认为是NN 400的“整合部分”。第一NN 402和第二NN 404中的每一个的实现方式如下。
第一NN 402可以被配置为没有最后一层的ResNet-18。ResNet-18是一种已知类型的具有残差连接的特定卷积NN，因此在此省略其详细描述。如图4所示、第一NN 402(即没有最后一层的ResNet-18)包括卷积层406、复合层408和三个残差块410-414。卷积层406包括一组可训练的滤波器，这些滤波器用于从IMU数据的时间序列中提取特征，用于用户轨迹估计。复合层408包括批量归一化子层、整流线性单元(Rectified Linear Unit，ReLu)子层和最大池化层。批量归一化子层用于从由卷积层406提取的特征构成的输入数据集中减去平均值，并将结果除以标准差。在训练期间按批次计算平均值和标准偏差。ReLu子层使用非线性函数转换批量归一化子层的输出。最大池化子层用于以较小的间隔获取局部最大值，其主要目的是缩短ReLu子层的输出。残差块410-414可提高特征提取效率，并且易于训练。残差块410-414也可以包括卷积层。
第二NN 404可以被配置为两个长短期存储器(long short-term memory，LSTM)层416、418和密集层420的组合。LSTM是众所周知的门控循环NN的一种特定类型，因此在此也省略了其详细描述。密集层420是规则的深度连接NN层。
应当注意，图4中括号中所示的数字表示可能的层参数。具体地，标题“(64,5,2)”意味着卷积层406中存在64个尺寸为5、步长为2的滤波器。对于残差块410-414，标题“(128,3)”、“(256,3)”和“(512,3)”意味着在残差块410-414的内部卷积层中分别存在大小为3的128个、256个和512个滤波器。对于密集层420，标题“(100,2)”意味着该层将大小为100的输入向量转换为大小为2的输出向量。本领域技术人员应理解，图4中所示的数字仅仅是示例性的，如果需要并取决于特定的应用，可以用其他数字替换。
图5示出了根据一个示例性实施例，可以在NN 400的第一NN 402中使用的残差块500的方框图。如图5所示、残差块500包括三个卷积层502-506、由批量归一化子层和ReLu子层构成的复合层508、单个批量归一化层510和单个ReLu层512。应当注意，图4中所示的每个残差块410-414可以通过在卷积层502-506中选择适当数量的滤波器来实现为残差块500。
残差块500可以以两种模式操作，一种模式涉及保存输入数据集(即从IMU数据的时间序列中提取和处理的特征)的长度，另一种模式涉及对输入数据集进行下采样。卷积层502可以包括指示应使用两种模式中的哪一种的专用参数。此参数可以由布尔值表示(即设置为“true”或“false”)。
如果使用下采样模式(例如参数被设置为“true”)，则输入数据集从卷积层502提供到卷积层506，在那里它被大小为1、步长为2的滤波器转换。此转换使输入数据集缩短2倍。
如果将该参数设置为“false”，则不应使用缩短模式。这意味着输入特征从卷积层502引导到单个批量归一化层510，这意味着求和操作。更具体地说，单个Relu层512取“batchnorm(conv1)+batchnorm(conv2)”之和，其中“batchnorm”是批量归一化的缩写，“con1”是卷积层502的输出，“con2”是卷积层504的输出。
应当注意，方法200的每个步骤或操作，或步骤或操作的任何组合，可以通过各种方式，例如硬件、固件和/或软件来实现。例如，上述步骤或操作中的一个或多个可以由处理器可执行指令、数据结构、程序模块和其他适当的数据表示来体现。此外，体现上述步骤或操作的可执行指令可以存储在相应的数据载体上，并由处理器102执行。该数据载体可以实现为可由至少一个处理器读取以执行计算机可执行指令的任何计算机可读存储介质。这种计算机可读存储介质可以包括易失性和非易失性介质、可移除和不可移除介质。作为示例而非限制，计算机可读介质包括以任何适合存储信息的方法或技术实现的介质。更详细地，计算机可读介质的实际示例包括但不限于信息传递介质、RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能光盘(digital versatile disc，DVD)、全息介质或其它光盘存储器、磁带、磁带盒、磁盘存储器和其它磁存储设备。
尽管本文描述了本发明的示例性实施例，但应注意，在不偏离由所附权利要求所定义的法律保护范围的情况下，可以在本发明的实施例中进行任何各种改变和修改。在所附权利要求书中，词语“包括”不排除其它元件或步骤，术语“一”或者“一个”不排除多个。在互不相同的从属权利要求中列举某些措施并不表示这些措施的组合不能被有利地使用。
Claims (16)
1.一种用于在无线通信网络中进行用户轨迹估计的装置，所述装置包括：
处理器；以及
耦合至所述处理器的存储器，可存储处理器可执行指令。
其中，当执行所述处理器可执行指令时，所述处理器用于：
从包括在移动用户设备(user equipment，UE)中的惯性测量单元(inertialmeasurement unit，IMU)接收输入数据，所述输入数据包括第一类测量和第二类测量，所述第一类测量和第二类测量不同，并在IMU链接的坐标系中进行；
基于第一类测量或第二类测量，获得IMU的旋转方向的表示；
将第一类测量和第二类测量从IMU链接的坐标系传输到用户链接的坐标系；
通过使用预训练的神经网络(neural network，NN)确定用户链接的坐标系中的UE的速度矢量，所述NN使用用户链接的坐标系中的第一类测量和第二类测量作为输入，并且每个速度矢量指示给定时间段内的UE位移；
通过使用IMU的旋转方向的表示，将速度矢量从用户链接的坐标系传输到世界坐标系；以及
通过在世界坐标系中整合速度矢量，计算用户轨迹坐标。
2.根据权利要求1所述的装置，其中
IMU包括加速度计和陀螺仪的组合；
所述第一类测量包括加速度计读数，所述第二类测量包括陀螺仪读数，反之亦然；以及
所述处理器用于基于所述陀螺仪读数，获得所述IMU的旋转方向的表示，作为一组旋转四元数或旋转矩阵。
3.根据权利要求2所述的装置，其中所述加速度计读数包括指示重力矢量的低频分量和指示用户行走的高频分量的组合，并且其中所述处理器还用于在传输所述第一类测量和所述第二类测量之前，通过以下方式校正所述陀螺仪读数中的漂移引起的误差：
使用一组旋转四元数将加速度计读数传输到世界坐标系；
从世界坐标系中的加速度计读数中过滤高频分量；
查找低频分量与世界坐标系中定义的真实重力矢量之间的差值；以及
使用差值校正陀螺仪读数中的漂移引起的误差。
4.根据权利要求3所述的装置，其中，所述处理器用于通过计算所述加速度计读数的傅里叶频谱，并从所述傅里叶频谱中移除所述高频分量来执行所述滤波。
5.根据权利要求1至4中任一项所述的装置，其中，所述NN被配置为残差NN(ResNet)。
6.根据权利要求1至4中任一项所述的装置，其中，所述NN包括第一NN和第二NN的组合，所述第一NN用于在给定时间段内从所述用户链接的坐标系中的所述第一类测量和所述第二类测量中提取特征，以及第二NN用于累积从第一NN提取的特征，并在给定时间段内在用户链接的坐标系中生成UE的速度矢量。
7.根据权利要求6所述的装置，其中，所述第一NN被配置为具有一个或多个残差连接的卷积NN(convolutional NN，CNN)，所述第二NN被配置为门控循环NN。
8.一种用于在无线通信网络中进行用户轨迹估计的方法，所述方法包括：
从包括在移动用户设备(user equipment，UE)中的惯性测量单元(inertialmeasurement unit，IMU)接收输入数据，所述输入数据包括第一类测量和第二类测量，所述第一类测量和第二类测量彼此不同，并在IMU链接的坐标系中进行；
基于第一类测量或第二类测量，获得IMU的旋转方向的表示；
将第一类测量和第二类测量从IMU链接的坐标系传输到用户链接的坐标系；
通过使用预训练的神经网络(neural network，NN)确定用户链接的坐标系中的UE的速度矢量，所述NN使用用户链接的坐标系中的第一类测量和第二类测量作为输入，并且每个速度矢量指示给定时间段内的UE位移；
通过使用IMU的旋转方向的方向，将速度矢量从用户链接的坐标系传输到世界坐标系；以及
通过在世界坐标系中整合速度矢量，计算用户轨迹坐标。
9.根据权利要求8所述的方法，其中
IMU包括加速度计和陀螺仪的组合；
所述第一类测量包括加速度计读数，所述第二类测量包括陀螺仪读数，反之亦然；以及
所述获取包括基于陀螺仪读数获得IMU的旋转方向的表示，作为一组旋转四元数或旋转矩阵。
10.根据权利要求9所述的方法，其中所述加速度计读数包括指示重力矢量的低频分量和指示用户行走的高频分量的组合，并且其中所述方法包括在传输所述第一类测量和所述第二类测量之前，通过以下方式校正所述陀螺仪读数中的漂移引起的误差：
使用一组旋转四元数将加速度计读数传输到世界坐标系；
通过在世界坐标系中整合速度矢量，计算用户轨迹坐标；
查找低频分量与世界坐标系中定义的真实重力矢量之间的差值；以及
使用差值校正陀螺仪读数中的漂移引起的误差。
11.根据权利要求10所述的装置，其中所述滤波包括计算所述加速度计读数的傅里叶频谱，并从所述傅里叶频谱中移除所述高频分量。
12.根据权利要求8至11中任一项所述的方法，其中，所述NN被配置为残差NN(ResNet)。
13.根据权利要求8至11中任一项所述的方法，其中，所述NN包括第一NN和第二NN的组合，所述第一NN用于在给定时间段内从所述用户链接的坐标系中的所述第一类测量和所述第二类测量中提取特征，以及第二NN用于累积从第一NN提取的特征，并在给定时间段内在用户链接的坐标系中生成UE的速度矢量。
14.根据权利要求13所述的方法，其中，所述第一NN被配置为具有一个或多个残差连接的卷积NN，所述第二NN被配置为门控循环NN。
15.一种计算机程序，用于使计算机执行如权利要求8-14中任一项所述的方法。
16.一种计算机可读非瞬时性存储介质，用于存储计算机代码，当代码被处理器执行时，使处理器执行如权利要求8-14中任一项所述的方法。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/RU2020/000501 WO2022071821A1 (en) | 2020-09-29 | 2020-09-29 | User trajectory estimation based on inertial measurement unit data |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116848375A true CN116848375A (zh) | 2023-10-03 |
Family
ID=73856544
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080105565.XA Pending CN116848375A (zh) | 2020-09-29 | 2020-09-29 | 基于惯性测量单元数据的用户轨迹估计 |
Country Status (3)
| Country | Link |
|---|---|
| EP (1) | EP4211421A1 (zh) |
| CN (1) | CN116848375A (zh) |
| WO (1) | WO2022071821A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2626733A (en) * | 2023-01-30 | 2024-08-07 | Arwain Systems Ltd | Localisation system |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IN2014MU00117A (zh) * | 2014-01-13 | 2015-08-28 | Tata Consultancy Services Ltd | |
| CN105021189A (zh) * | 2014-04-25 | 2015-11-04 | 广州市香港科大霍英东研究院 | 一种综合利用加速度计和陀螺仪校准移动设备姿态的方法 |
| EP3819592B1 (en) * | 2018-07-02 | 2024-04-10 | Sony Group Corporation | Positioning device, positioning method, and program |
-
2020
- 2020-09-29 CN CN202080105565.XA patent/CN116848375A/zh active Pending
- 2020-09-29 WO PCT/RU2020/000501 patent/WO2022071821A1/en active Application Filing
- 2020-09-29 EP EP20828572.6A patent/EP4211421A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| EP4211421A1 (en) | 2023-07-19 |
| WO2022071821A1 (en) | 2022-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10082583B2 (en) | Method and apparatus for real-time positioning and navigation of a moving platform | |
| US11035915B2 (en) | Method and system for magnetic fingerprinting | |
| CN107884800B (zh) | 观测时滞系统的组合导航数据解算方法、装置及导航设备 | |
| KR101985344B1 (ko) | 관성 및 단일 광학 센서를 이용한 슬라이딩 윈도우 기반 비-구조 위치 인식 방법, 이를 수행하기 위한 기록 매체 및 장치 | |
| EP3430419A1 (en) | Estimating locations of mobile devices in a wireless tracking system | |
| WO2018149324A1 (zh) | 一种检测方法及终端设备 | |
| WO2012075463A1 (en) | Inertial sensor aided heading and positioning for gnss vehicle navigation | |
| US11162791B2 (en) | Method and system for point of sale ordering | |
| CN112556696B (zh) | 一种对象定位方法、装置、计算机设备以及存储介质 | |
| US9147165B2 (en) | Method of location estimation and tracking using distributed message passing of heterogeneous observation data accompanied with low-complexity data-fusion scheme | |
| CN104613965B (zh) | 一种基于双向滤波平滑技术的步进式行人导航方法 | |
| US10812877B2 (en) | System and method for calibration-lessly compensating bias of sensors for localization and tracking | |
| WO2014001320A1 (en) | Sequential estimation in a real-time positioning or navigation system using historical states | |
| CN116848375A (zh) | 基于惯性测量单元数据的用户轨迹估计 | |
| CN113218389B (zh) | 一种车辆定位方法、装置、存储介质及计算机程序产品 | |
| CN117320148A (zh) | 多源数据融合定位方法、系统、电子设备及存储介质 | |
| US11415420B2 (en) | Method and device for characterising a heading determined from the measurement of the magnetic field | |
| US11287259B2 (en) | Determination of heading from the field measured by magnetic sensors | |
| Gessesse et al. | Multi-sensor attitude and heading reference system using genetically optimized kalman filter | |
| CN116448105B (zh) | 位姿更新方法、装置、电子设备和存储介质 | |
| CN112595342B (zh) | 一种基于窗循环的加速度计零偏迭代估计方法及系统 | |
| Li et al. | UWB Ranging Aided Inertial Pedestrian Positioning with Backtrack | |
| Shiraiwa et al. | A Method for Adaptive GNSS/PDR Integrated Navigation | |
| KR20230065549A (ko) | 관성 측정 장치의 캘리브레이션 방법 | |
| CN113917511A (zh) | 一种基于gnss和ins的组合导航方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |