CN115112121A - 基于数据与模型结合的多源融合定位方法、系统及终端 - Google Patents

基于数据与模型结合的多源融合定位方法、系统及终端 Download PDF

Info

Publication number
CN115112121A
CN115112121A CN202210311275.1A CN202210311275A CN115112121A CN 115112121 A CN115112121 A CN 115112121A CN 202210311275 A CN202210311275 A CN 202210311275A CN 115112121 A CN115112121 A CN 115112121A
Authority
CN
China
Prior art keywords
data
model
positioning
pedestrian
dead reckoning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210311275.1A
Other languages
English (en)
Other versions
CN115112121B (zh
Inventor
陈锐志
钱隆
牛晓光
徐诗豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Deqing Zhilu Navigation Technology Co ltd
Original Assignee
Zhejiang Deqing Zhilu Navigation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Deqing Zhilu Navigation Technology Co ltd filed Critical Zhejiang Deqing Zhilu Navigation Technology Co ltd
Priority to CN202210311275.1A priority Critical patent/CN115112121B/zh
Publication of CN115112121A publication Critical patent/CN115112121A/zh
Application granted granted Critical
Publication of CN115112121B publication Critical patent/CN115112121B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1652—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/46—Indirect determination of position data
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)

Abstract

本发明属于多源融合定位技术领域，公开了一种基于数据与模型结合的多源融合定位方法、系统及终端，基于数据与模型结合的多源融合定位方法包括：构建基于深度学习的PDR神经网络模型，通过训练加速度传感器与陀螺仪测量值特征，学习速度变化矢量和推算高精度行人航迹，并通过扩展卡尔曼滤波与音频测距观测量融合，进行数据‑模型双驱动的多源融合定位。本发明基于数据驱动的PDR方法可提供20Hz的位置更新率，与高精度音频测距融合，可实现0.23米的实时定位精度，同时定位稳定性好。跟传统的纯模型驱动融合定位方法相比，本发明在定位更新率、定位精度和定位稳定性等方面，都具有明显优势。

Description

基于数据与模型结合的多源融合定位方法、系统及终端
技术领域
本发明属于多源融合定位技术领域，尤其涉及一种基于数据与模型结合的多源融合定位方法、系统及终端。
背景技术
目前，室外定位技术由于在室内条件下，障碍物多、环境复杂甚至多维，使得这些室外定位技术一旦应用到室内环境条件下，使用的精度会出现很大程度的降低，所以现有技术无法直接应用到室内。
在室内高精度定位技术中最具代表性的是Wi-Fi RTT测距技术和苹果推动的超宽带定位技术。此外，还有音频定位技术、5G定位技术、蓝牙测角技术和视觉定位技术等。
Wi-Fi RTT定位技术是由IEEE802.11协议工作组Task Group mc提出的基于测量终端到周围基站距离的 Wi-Fi通讯协议的定位技术。该技术通过Wi-Fi终端与基站交互，利用定位信号的来回传播，消除终端和基站的钟差，实现高精度测距和1-2米精度定位。利用该技术定位时需要标定和改正由系统硬件造成的终端- 基站的系统测距偏差，目前市场上只有谷歌系列手机支持该功能。该技术与智能手机的内置惯性传感器融合，可以实现优于1米的定位精度。
UWB定位技术是苹果手机支持的一种距离感知和定位技术。小米和三星也在其手机上推广这一技术。目前该技术在智能手机上只支持距离和方向感知，还没有实现完善的定位系统。在理想室内环境下， UWB具备10cm测距精度和40cm定位精度的能力。其定位模式包括双向测距(Two Way Ranging，TWR) 和到达时间差(Time Difference of Arrival，TDoA)两种。TWR定位模式与Wi-Fi RTT定位模式相似，其优点是不需要时间同步，缺点是用户数量受限制。TDoA定位模式可以克服用户数量受限的缺点，但其代价是基站间需要高精度时间同步(亚纳秒级)。TDoA的定位模式可细分为下行TDoA和上行TDoA。下行TDoA 采用广播模式，由终端定位，上行TDoA由终端发射信号，服务器端定位，其优点是用户终端功耗比下行 TDoA模式更低，适用于标签等位置跟踪设备。UWB是目前成熟度最高的高精度定位技术。
音频定位技术是一种通过测量声波传播时间来计算信号发射端和接收端之间距离的定位技术，其工作模式与全球导航卫星系统(Global Navigation Satellite System，GNSS)定位相同，都是广播模式。具有成本低、精度高、兼容性好等特点，为基于消费级智能手机的室内定位提供了新的可能。音频定位技术可利用智能手机的内置麦克风，在无需改变现有手机的硬件的前提下，实现高精度定位。该技术具有精确测距，精准定位和广域覆盖的优点，具备12cm的测距精度，50厘米的定位精度和50米的信号覆盖等能力。
5G技术引入的大规模天线阵列、超密集组网等创新技术引发了大量基于5G信号的定位研究，主要包括基于上行信号的测距测角定位、基于接收信号强度的指纹定位和基于5G专用定位信号定位等研究方向。现有的5G定位研究以基于毫米波频段为主，缺乏基于已广泛商用部署的sub-6GHz频段的相关研究。此外，目前能够取得米级到亚米级定位精度的5G定位研究大多限于仿真或者室外条件，实验室环境下5G 技术可支撑亚米级的测距精度和1-2米的定位精度。而对于实际室内场景下的5G定位研究仍然非常有限，基于实际商用5G信号可大规模应用的5G室内定位方法依旧缺乏。
蓝牙测角技术是通过天线阵列测量信号到达或发射方向的定位技术。蓝牙5.1协议引入了高精度测角功能，使得该技术成为一项可支持大众手机和低功耗的定位技术，可广泛用于手机导航，资产跟踪和智慧医疗等领域。蓝牙测角技术可以用于2D或3D定位，其定位精度取决天线阵列的安装高度，从分米级到米级。当天线阵列安装高度低时，其定位精度高，但信号覆盖范围小。因此蓝牙测角技术不适合地下停车场等矮层高环境。克服多路径干扰以及传统算法存在计算复杂度较高等问题是其面临的挑战。
视觉定位在自动驾驶和室内机器人等算力强大的平台上已经得到广泛推广。即时定位与地图构建 (Simultaneous Localization and Mapping，SLAM)技术是高精度视觉定位的主流技术，但由于对定位平台的算力要求很高，在智能手机和可穿戴设备等移动平台上还难以实现。基于单张照片的智能手机视觉定位技术也能够实现0.3米的定位精度。视觉定位技术对定位环境的光照条件要求高，在夜间或光照不足的环境里难以应用。此外，视觉定位技术对定位终端的算力要求高，巨大的计算量很难保证低功耗。
高精度室内定位市场目前处于百花齐放，百家争鸣的状态。尽管在苹果支持下，UWB技术在这场激烈的竞争中拥有一定的优势，但5G、音频和蓝牙测角等可支持所有大众手机的技术会让这场竞争更加精彩。室内定位技术目前主要面临定位精度低、成本高、信号覆盖范围小、定位系统泛化能力差等难题。多源融合定位是解决这些问题的主要解决方案之一，特别是融合低成本IMU与上述高精度定位技术，形成低成本、高精度和广覆盖的解决方案。IMU是多源融合技术的核心定位源，对智能手机而言，这是一种无处不在、无时不有、成本最低、功耗最低和数据输出频率最高的定位源。其优势在多源融合方案里不言而喻。但由于受漂移误差影响，常规惯导积分会带来累积误差的飙升，因此，基于步子探测(StepDetection)的PDR 方法在行人导航定位中广泛采纳。PDR利用分析行人走路的动态信号特征来计算步数，再利用步行方向来递推行人的位置，这样避免积分和误差累积。但是，由于用户手机握持姿态的复杂性和手机IMU传感器硬件的差异性，常规PDR在定位精度，手机泛化能力和多握持姿态支撑等方面有很多不足。
尽管在苹果支持下，超宽带(Ultra Wide Band，UWB)技术在这场激烈的竞争中拥有一定的优势，但5G、音频和蓝牙测角等可支持所有大众手机的技术也会让这场竞争更加精彩。室内定位技术目前主要面临定位精度低、成本高、信号覆盖范围小、定位系统泛化能力差等难题。多源融合定位是解决这些问题的重要途径之一，特别是融合低成本的惯性传感器与高精度定位技术，形成低成本、高精度和广覆盖的解决方案。行人航迹推算技术具有避免积分误差累积的优势，是多源融合定位方案的核心技术之一。但由于用户手机握持姿态的复杂性和手机惯性测量单元(Inertial Measurement Unit，IMU)传感器硬件的差异性，导致在定位精度，手机泛化能力和多握持姿态支撑等方面有很多不足。此外，受步频的影响，位置更新率低于2Hz。
通过上述分析，现有技术存在的问题及缺陷为：现有技术位置更新率低于2Hz，定位精度不高，定位稳定性不好；且成本高、信号覆盖范围小、定位系统泛化能力差。
发明内容
针对现有技术存在的问题，本发明提供了一种基于数据与模型结合的多源融合定位方法、系统及终端。
本发明是这样实现的，一种基于数据与模型结合的多源融合定位方法包括：
构建基于深度学习的PDR神经网络模型，通过训练加速度传感器与陀螺仪测量值特征，学习速度变化矢量和推算高精度行人航迹，并通过扩展卡尔曼滤波与音频测距观测量融合，进行数据-模型双驱动的多源融合定位。
进一步，所述基于数据与模型结合的多源融合定位方法还包括：
利用基于深度学习的数据驱动方法基于智能终端内置的加速度计与陀螺仪的数据估计终端移动速度；并利用扩展卡尔曼滤波将速度矢量与基于声波的测距结果相结合，估计用户的位置、航向与速度，得到定位结果。
进一步，所述基于数据与模型结合的多源融合定位方法进一步包括：
首先，通过采集大量行人行走的IMU数据与真实轨迹并制作成神经网络的输入特征与标签，训练得到一个拟合行人行走步态特征的网络模型；
其次，利用所述拟合行人行走步态特征的网络模型得到行人的速度增量，再通过积分推导得到行人的运动轨迹；
然后，将误差参数添加至神经网络框架并进行训练，预测运动变换及运动变换方差，并得到不同预测段的置信度指标；
最后，通过结合不确定性和地磁稳定性检测算法，对神经网络PDR进行航向校正，得到定位轨迹。
进一步，所述基于数据与模型结合的多源融合定位方法包括以下步骤：
步骤一，构建并训练基于数据驱动的行人航迹推算模型，并利用训练好的基于数据驱动的行人航迹推算模型基于惯性传感器测量的数据确定相对位置和不确定性；
步骤二，将误差参数添加至基于数据驱动的行人航迹推算模型并进行训练，预测运动变换及其方差，并计算预测结果的不确定性；同时得到预测的置信度指标；
步骤三，进行基于地磁的轨迹校正；
步骤四，构建基于EKF的数模融合定位模型通过扩展卡尔曼滤波紧密耦合音频测距观测量与基于数据驱动的行人航迹推算模型输出的高频速度矢量，得到定位结果。
进一步，所述构建并训练基于数据驱动的行人航迹推算模型包括：
(1)获取惯性传感器采集的相关数据，并基于获取的数据利用基于梯度下降的算法计算得到姿态四元数，利用姿态四元数将加速度和角速度从传感器坐标系转换到导航坐标系下；
(2)按照航向角、俯仰角和横滚角的顺序将四元数转变为欧拉角，取欧拉角与姿态角的航向角差值将运动轨迹从导航坐标系转换到全球坐标系；
(3)构建基于数据驱动的行人航迹推算模型，利用标准数据集以及自采数据集作为训练集和测试集，对基于数据驱动的行人航迹推算模型进行训练，并于训练过程随机旋转基于数据驱动的行人航迹推算模型的每个窗口的特征与标签。
进一步，所述利用姿态四元数将加速度和角速度从传感器坐标系转换到导航坐标系下包括：
利用下式将传感器坐标系下的向量aIMU转换为导航坐标系下的aINS：
aINS＝q×aIMU×q-；
其中，q-表示四元数的共复轭。
进一步，所述基于数据驱动的行人航迹推算模型采用ResNet18残差神经网络模型；
所述基于数据驱动的行人航迹推算模型包括：
数据划分模块，用于利用固定大小的滑动窗口将惯性传感器数据分为独立的序列；
预测模块，用于利用每个序列的深度神经网络预测速度矢量；
合并链接模块，用于基于速度矢量生成位置数据；
更新模块，用于利用重叠窗口进行预测更新；
平滑模块，用于利用低通滤波器处理速度矢量得到的位置平滑重建预测的轨迹。
进一步，所述预测结果的不确定性包括：
σdata＝mean(υi)；
σtotal＝σdata+σmodel；
其中，σtotal表示预测的总不确定性；σdata表示数据不确定性；σmodel表示模型不确定性。
进一步，所述进行基于地磁的轨迹校正包括：
首先，利用下式计算直行序列的校正角
Figure RE-RE-GDA0003715926670000041
Figure RE-RE-GDA0003715926670000042
其中，sti表示磁场的平均稳定性，
Figure RE-RE-GDA0003715926670000043
ci表示磁场信息与身体方向的关联量，用各直行序列平均航向角和平均神经网络PDR方向的差值代表；ca表示锚点，所述锚点为稳定的磁场环境和低不确定性的直行序列上的关联量；
其次，将基于数据驱动的行人航迹推算模型预测得到的轨迹旋转
Figure RE-RE-GDA0003715926670000044
进行轨迹的自适应校正。
本发明的另一目的在于提供一种基于数据与模型结合的多源融合定位系统包括：
行人航迹推算模型构建模块，用于构建并训练基于数据驱动的行人航迹推算模型，并利用训练好的基于数据驱动的行人航迹推算模型基于惯性传感器测量的数据确定相对位置和不确定性；
人航迹推算模型预测模块，用于将误差参数添加至基于数据驱动的行人航迹推算模型并进行训练，预测运动变换及其方差，并计算预测结果的不确定性；同时得到预测的置信度指标；
定位结果获取模块，用于进行基于地磁的轨迹校正；
数模融合定位模型构建模块，用于构建基于EKF的数模融合定位模型通过扩展卡尔曼滤波紧密耦合音频测距观测量与基于数据驱动的行人航迹推算模型输出的高频速度矢量，得到定位结果。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：构建基于深度学习的PDR神经网络模型，通过训练加速度传感器与陀螺仪测量值特征，学习速度变化矢量和推算高精度行人航迹，并通过扩展卡尔曼滤波与音频测距观测量融合，进行数据-模型双驱动的多源融合定位。
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于执行所述基于数据与模型结合的多源融合定位方法。
结合上述的技术方案和解决的技术问题，请从以下几方面分析本发明所要保护的技术方案所具备的优点及积极效果为：
第一、针对上述现有技术存在的技术问题以及解决该问题的难度，紧密结合本发明的所要保护的技术方案以及研发过程中结果和数据等，详细、深刻地分析本发明技术方案如何解决的技术问题，解决问题之后带来的一些具备创造性的技术效果。具体描述如下：
本发明提出了一种基于数据与模型双驱动的室内多源融合定位新方法。在数据驱动方面，构建一种基于深度学习的PDR神经网络，训练加速度计和陀螺仪观测量特征，学习行人步行速度矢量，精准推算行人航迹。传统PDR方案是以每步为单位，统计人的步频和步长，PDR的位置更新频率是在1.5-1.8Hz，基于数据驱动的PDR可以学习人体迈步的全过程，以20Hz速度矢量输出，实现高频PDR位置更新，充分发挥惯性传感器数据更新率高的优势。在模型部分，通过扩展卡尔曼滤波，紧密耦合高精度音频测距观测量与PDR 网络输出的高频速度矢量，以20Hz的位置更新率，实现23cm的定位精度。跟传统的纯模型驱动融合定位方法相比，本发明在定位更新率、定位精度和定位稳定性等方面，都具有明显优势。
第二，把技术方案看做一个整体或者从产品的角度，本发明所要保护的技术方案具备的技术效果和优点，具体描述如下：
本发明基于数据驱动的PDR方法可提供20Hz的位置更新率，与高精度音频测距融合，可实现0.23米的实时定位精度。
本发明基于数据驱动的PDR解决了双积分问题，避免了低廉IMU导致的误差飞速累积的问题，同时释放了行走时的各种约束。
第三，作为本发明的权利要求的创造性辅助证据，还体现在以下几个重要方面：
(1)本发明的技术方案是否解决了人们一直渴望解决、但始终未能获得成功的技术难题：
本发明的技术方案解决了室内空间同时实现高精度和高更新率的位置服务，使得室内定位能够更进一步实现实际应用。
(2)本发明的技术方案是否克服了技术偏见：。
本发明的技术方案分析多模态惯性传感数据的步态特征，构建了基于混合监督表征学习的运动预测网络和基于变分推断的假定密度滤波算法，训练出自监督的具有评估输出不确定性的高精度航迹推算模型，融合模型输出与地磁信息启发式再校准，有效抑制惯性导航系统误差累计及传播，突破了复杂环境中数据驱动的行人航迹精准推算；提出了基于扩展卡尔曼滤波融合定位方法，有机耦合基于模型驱动的精准测距和基于数据驱动的精准航迹，建立了数据与模型双驱动的耦合定位新范式。
目前国际上高可用定位技术的定位精度在2－5米之间。由于室内环境的拓扑关系和信道环境非常复杂，给高精度室内定位技术带来极大的困难，优于1米定位精度、低成本并且广域覆盖的室内定位技术依然是实现高精度室内外无缝定位的最大障碍。本发明的技术方案进一步提升了高精度室内定位的可靠性，在维持高精度定位特性的基础上，大幅度提升了定位的更新频率；并且在高精度定位源未覆盖的区域实现短期高精度位置更新，进一步拓展了定位的覆盖空间。本发明的技术方案在一定程度上克服了基于手机 MEMS传感器实现航迹推算中的误差飞速累积的问题和行走时的各种约束。
附图说明
图1是本发明实施例提供的基于数据与模型结合的多源融合定位方法原理图；
图2是本发明实施例提供的基于数据与模型结合的多源融合定位方法流程图；
图3是本发明实施例提供的数据驱动PDR结构图；
图4是本发明实施例提供的不确定性估计的计算流程图；
图5是本发明实施例提供的音频信号网络示意图；
图6是本发明实施例提供的小范围场景UWB定位试验和结果示意图；
图7是本发明实施例提供的小范围场景音频定位试验和结果示意图；
图8是本发明实施例提供的小范围场景数模融合定位试验和结果示意图；
图9是本发明实施例提供的大范围场景数模融合定位试验和结果示意图；
图10是本发明实施例提供的沿东方向定位模型初始化试验轨迹结果示意图；
图11是本发明实施例提供的沿南方向定位模型初始化试验轨迹结果示意图；
图12是本发明实施例提供的沿西方向定位模型初始化试验轨迹结果示意图；
图13是本发明实施例提供的航向夹角估计θ示意图。
图14是本发明应用实施例提供的以行人正常步行速度连续在大厅内以空手、拖拽行李箱或行李车等姿态移动6分钟定位结果图。
图15是本发明应用实施例提供的完成了实际应用场景对本发明技术方案的验证与指标测试图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
一、解释说明实施例。为了使本领域技术人员充分了解本发明如何具体实现，该部分是对权利要求技术方案进行展开说明的解释说明实施例。
如图1所示，本发明实施例提供的基于数据与模型结合的多源融合定位方法包括：
构建基于深度学习的PDR神经网络模型，通过训练加速度传感器与陀螺仪测量值特征，学习速度变化矢量和推算高精度行人航迹，并通过扩展卡尔曼滤本发明实施例提供的基于数据与模型结合的多源融合定位方法还包括：
利用基于深度学习的数据驱动方法基于智能终端内置的加速度计与陀螺仪的数据估计终端移动速度；并利用扩展卡尔曼滤波将速度矢量与基于声波的测距结果相结合，估计用户的位置、航向与速度，得到定位结果。
本发明实施例提供的基于数据与模型结合的多源融合定位方法进一步包括：
首先，通过采集大量行人行走的IMU数据与真实轨迹并制作成神经网络的输入特征与标签，训练得到一个拟合行人行走步态特征的网络模型；
其次，利用所述拟合行人行走步态特征的网络模型得到行人的速度增量，再通过积分推导得到行人的运动轨迹；
然后，将误差参数添加至神经网络框架并进行训练，预测运动变换及运动变换方差，并得到不同预测段的置信度指标；
最后，通过结合不确定性和地磁稳定性检测算法，对神经网络PDR进行航向校正，得到定位轨迹。
如图2所示，本发明实施例提供的基于数据与模型结合的多源融合定位方法包括以下步骤：
S101，构建并训练基于数据驱动的行人航迹推算模型，并利用训练好的数据驱动的行人航迹推算模型基于惯性传感器测量的数据确定相对位置和不确定性；
S102，将误差参数添加至基于数据驱动的行人航迹推算模型并进行训练，预测运动变换及其方差，并计算预测结果的不确定性；同时得到预测的置信度指标；
S103，进行基于地磁的轨迹校正；
S104，构建基于EKF的数模融合定位模型通过扩展卡尔曼滤波紧密耦合音频测距观测量与基于数据驱动的行人航迹推算模型输出的高频速度矢量，得到定位结果。
本发明实施例提供的构建并训练基于数据驱动的行人航迹推算模型包括：
(1)获取惯性传感器采集的相关数据，并基于获取的数据利用基于梯度下降的算法计算得到姿态四元数，利用姿态四元数将加速度和角速度从传感器坐标系转换到导航坐标系下；
(2)按照航向角、俯仰角和横滚角的顺序将四元数转变为欧拉角，取欧拉角与姿态角的航向角差值将运动轨迹从导航坐标系转换到全球坐标系；
(3)构建基于数据驱动的行人航迹推算模型，利用标准数据集以及自采数据集作为训练集和测试集，对基于数据驱动的行人航迹推算模型进行训练，并于训练过程随机旋转基于数据驱动的行人航迹推算模型的每个窗口的特征与标签。
本发明实施例提供的利用姿态四元数将加速度和角速度从传感器坐标系转换到导航坐标系下包括：
利用下式将传感器坐标系下的向量aIMU转换为导航坐标系下的aINS：
aINS＝q×aIMU×q-；
其中，q-表示四元数的共复轭。
本发明实施例提供的基于数据驱动的行人航迹推算模型采用ResNet18残差神经网络模型。
本发明实施例提供的基于数据驱动的行人航迹推算模型包括：
数据划分模块，用于利用固定大小的滑动窗口将惯性传感器数据分为独立的序列；
预测模块，用于利用每个序列的深度神经网络预测速度矢量；
合并链接模块，用于基于速度矢量生成位置数据；
更新模块，用于利用重叠窗口进行预测更新；
平滑模块，用于利用低通滤波器处理速度矢量得到的位置平滑重建预测的轨迹。
本发明实施例提供的预测结果的不确定性包括：
σdata＝mean(υi)；
σtotal＝σdata+σmodel；
其中，σtotal表示预测的总不确定性；σdata表示数据不确定性；σmodel表示模型不确定性。
本发明实施例提供的进行基于地磁的轨迹校正包括：
首先，利用下式计算直行序列的校正角
Figure RE-RE-GDA0003715926670000081
Figure RE-RE-GDA0003715926670000082
其中，sti表示磁场的平均稳定性，
Figure RE-RE-GDA0003715926670000083
ci表示磁场信息与身体方向的关联量，用各直行序列平均航向角和平均神经网络PDR方向的差值代表；ca表示锚点，所述锚点为稳定的磁场环境和低不确定性的直行序列上的关联量；
其次，将基于数据驱动的行人航迹推算模型预测得到的轨迹旋转
Figure RE-RE-GDA0003715926670000084
进行轨迹的自适应校正。
下面结合具体实施例对本发明的技术方案作进一步说明。
实施例1：
1、基于数-模结合的多源融合定位架构
用户终端位置的估计通过融合音频测距与惯性传感器数据实现。用户终端位置估计的数据处理架构主要包含两个部分，如图1所示。
(1)数据驱动部分。借助智能手机或标签内置的加速度计与陀螺仪的数据来估计终端移动速度 v＝[vx,vy,vz]T。这部分将由一种基于深度学习的数据驱动方法实现。
(2)模型驱动部分。将速度矢量与基于声波的精确测距结果相结合，利用扩展卡尔曼滤波(Extended Kalman Filter，EKF)来估计用户的位置、航向与速度。
由于惯性传感器具有功耗低和数据更新频率高的特点，它在定位智能手机和可穿戴设备方面应用广泛。然而，低成本惯性传感器(加速度计、陀螺仪和磁力计等)的测量结果容易受到漂移误差的影响，如当加速度直接被二次积分以计算位移时，误差几乎呈几何级数地增长。以惯性传感器的测量值作为输入，本发明采用了基于深度学习的方法来估计行人的运动轨迹。这是一种数据驱动的PDR方法，它与使用步子探测的模型驱动方法全然不同。
2、基于数据驱动的行人航迹推算模型构建
PDR依靠惯性传感器对行人的位置轨迹进行推算跟踪。传统PDR主要使用步长模型公式估算步长、陀螺仪和磁力计估算方向，然后推算每一步的位置。由于步长模型需要根据行人特征进行参数调整，而且方向估算需要限制手机的拿持姿态，这导致传统PDR无法在通用场景下使用。如图3所示，数据驱动PDR 基于数学推断将概率神经网络覆写为不确定性神经网络，使用经过预处理的海量惯性传感器数据与真实轨迹，训练出一个适应不同姿态、不同行人的神经网络模型。该模型由惯性传感器数据驱动，输出相对位置和不确定性。由于PDR存在航向上的累积误差，通过使用磁场稳定性检测算法，结合神经网络输出的不确定性，在适当的时候进行自动校正。
2.1基于四元数的归一化预处理
在将惯性传感器数据输入神经网络之前，需要对数据进行预处理以降低数据的复杂度，以便网络更好拟合行人行走模型。通过9轴传感器数据，使用基于梯度下降的算法解算出姿态四元数后，利用姿态四元数将加速度和角速度从传感器坐标系转换到导航坐标系下。传感器坐标系下的向量aIMU可以通过以下公式转换为导航坐标系下的aINS。
aINS＝q×aIMU×q- (1)
式中q-表示四元数的共复轭。
由于每条运动轨迹的初始坐标系都不相同，而大部分实际定位应用场景，需要的是绝对的全球坐标。因此需要找到每个序列导航坐标系和全球坐标系的旋转关系。通过四元数和姿态角，本发明可以计算出导航坐标系到全球坐标系的旋转关系。
四元数仅能用于对向量进行旋转，而不能计算自身旋转的角度。需要将其转换为欧拉角。手机姿态角的定义的顺序是＜z,x,y＞，即航向角、俯仰角和横滚角。因此按这个顺序把四元数转变成欧拉角。导航坐标系和全球坐标系的Z轴是一致的，只存在水平面上Y轴的差别。因此取欧拉角与姿态角的航向角差值来将运动轨迹从导航坐标系转换到全球坐标系。
2.2基于深度神经网络的行人航迹推算
传统PDR算法基于陀螺仪和加速度计数据进行二次积分得到位移量，存在较为严重的误差累计问题，本发明采用轻量级深度神经网络解决传统惯性导航的误差无限累积问题，利用ResNet18残差神经网络框架学习惯性传感器数据惯性跟踪。
传统惯性导航系统的物理模型基于牛顿机制，低成本的惯性传感器有较高的噪声，而且航迹推导具有极强的连续性，因而在航迹推算过程中误差会飞速累积。建立在估计步长和步长方向上的模型(如PDR) 包含隐式运动模型，会因对象的步行习惯或使用环境的改变而失效(例如坐下)。总之，基于零速更新(Zero Velocity Update，ZUPT)的惯性导航和基于步阶的PDR类导航都会受到运动动力学和传感器连接假设的限制，而深度学习方法能够根据行人步行的周期性质提取高级特征表示(速度矢量)并且不依赖于几何理论。同时，基于ResNet18架构的深度学习框架在一定程度上减少了计算复杂度，为部署至智能终端提供可能性。
本发明采用滑动窗口的方法，提高神经网络预测的输出率，通过使用固定大小的滑动窗口，惯性传感器数据将被分为独立的序列。序列的窗口大小n为200帧(1秒)，滑动窗口步长为10帧。速度矢量由每个序列的深度神经网络预测，并通过合并链接模块生成位置，当前位置更新为之前的200帧。利用重叠窗口进行预测更新，输出频率将提升至20Hz，再通过低通滤波器进一步处理速度矢量得出的位置，以平滑重建预测的轨迹。
本发明采用公开标准数据集以及自采数据集作为训练集和测试集，在训练阶段随机旋转每个窗口的特征与标签，增强数据的航向无关性。训练目标为最小化数据集提供的估计值和真实值之间的均方误差，通过ADAM优化器训练以得到最佳参数，学习率可定为1e-5，批次大小定为256。在GPU上训练完毕之后，能够直接在本地终端和移动设备上应用模型推算行人航迹。
2.3基于EP框架的不确定性网络
深度神经网络导航一般通过预估值与真实值的均方误差来进行评估，然而在实际部署时无法获得真值轨迹，因而无法评估网络预测的准确度(即使该次预测偏差很大)。因此本发明研究了深度学习惯性导航的不确定性，该不确定性表示深度神经网络模型输出的置信度，不确定性估计可以量化信任模型预测的程度。通过将误差参数添加至神经网络框架并进行训练，可以预测运动变换及其方差，从而推断预测结果的不确定性，进而为后续的融合算法提供了不同预测段的置信度指标。将残差网络航迹推算框架拓展至贝叶斯模型，并基于数学推断将概率网络覆写为不确定性网络，从而以无监督的方式快速估计惯性导航的不确定性。
网络预测的总不确定性被定义为σtotal＝varp(y|x)(y)，并根据不确定性来源，被分为数据不确定性σdata和模型不确定性σmodel，数据不确定性指示网络对于输入数据的抗噪性能，模型不确定度指示网络对于预测的置信程度。
不确定估计方案基于贝叶斯置信网络，借助期望传播(expectationpropagation，EP)框架，利用假设密度滤波(assumed density filtering，ADF)方法经由数学推理对ResNet18通用的网络层进行了覆写，不确定性网络层定义如下：
定义1：对于任一网络层z(i)＝f(i)(z(i-1)；θ(i))，其不确定性传播层基于如下公式近似：
Figure RE-RE-GDA0003715926670000101
Figure RE-RE-GDA0003715926670000102
不确定性网络使初始化为1e-3量级的噪声方差能够在网络中前向传播，概率化深度模型的网络层，最终网络将得到均值及方差。对于单次传播，均值μ代表网络预测值，方差v代表初始噪声前向传播的最终输出，即为数据不确定性。
对于模型不确定性，网络通过蒙特卡洛采样输出期望及方差，固定激活层ReLU后的dropout层为 training模式，参数将进行随机丢弃。初始化噪声方差，与测试数据一起进行传播，得到若干组采样预测值μ及对应方差υ。通过定义2评估网络对于输出的置信度(即模型不确定性)。
定义2：网络经过若干次如定义1的传播和蒙特卡洛采样，可得若干组预测值及方差，记为μi，υi，进行如下计算模型不确定度，其中var代表方差计算。
σmodel＝var(μi) (3)
经由蒙特卡洛采样，数据不确定性可表示为若干次采样预测值的均值，进而网络的总不确定度σtotal计算如下，其中mean表示均值计算
σdata＝mean(υi) (4)
σtotal＝σdata+σmodel (5)
直观地，数据不确定性即为噪声在网络中的传播结果，且在网络层中与输入数据互相影响。模型不确定度在丢弃参数的情况下可视为对网络预测稳定性的测试。网络总不确定性的计算流程如图4所示，采用不确定性网络框架，避免了贝叶斯网络的计算繁杂性，并可在不影响网络结构及输出且无监督的情况下给定网络预测的置信度指标，从而为后续融合算法提供参考。
2.4基于地磁的轨迹校正
由于神经网络预测的轨迹存在航向上的累积误差，并且这个误差无法通过模型消除，因此需要结合地磁信息来校正轨迹。磁场信息中的航向角在直行时和身体方向有一定相关性。航向角和时间无关，不受累计漂移的影响，它是一个绝对量，可以用来校正PDR轨迹。为了获取稳定的航向角信息，需要设计一个磁场稳定性检测算法筛选出稳定可用的航向角。而神经网络输出的不确定性则用来筛选出可用的行人身体方向。
当环境中的磁场处于稳定时，即只存在一个稳定的磁场合向量，磁力计的三维磁向量应该随着IMU的姿态变化而变化。当IMU姿态变化和磁向量变化不匹配时，说明有强磁体影响，磁场环境不稳定。为了计算IMU与磁向量之间的姿态差值，使用陀螺仪来计算IMU的姿态变化，并把它表示成四元数形式qi。然后利用这个四元数将磁向量mi转化为
Figure RE-RE-GDA0003715926670000111
最后计算mi+1和
Figure RE-RE-GDA0003715926670000112
的向量差的模，作为匹配度su。匹配度越大，说明IMU与磁向量的姿态差大，磁场不稳定。
同时，磁场强度也可以反映磁环境的稳定性。将磁场强度的滑动标准差std作为确定磁场稳定性的条件之一。滑动窗口的大小设置为200帧(1s)。最后，将磁场的稳定性定义为以下公式。
Figure RE-RE-GDA0003715926670000113
当平均滑动标准差和平均匹配度小于某个阈值时，磁场完全稳定，则
Figure RE-RE-GDA0003715926670000114
设置为1。
Figure RE-RE-GDA0003715926670000115
的范围为0到1，表示从不稳定到稳定。
通过直行序列，本发明可以得到行人的身体方向与全球坐标系的水平旋转关系。而航向角又表示IMU 坐标系与全球坐标系的水平旋转关系。由于行走时人体处于一个周期运动状态，因此直行航向角几乎都围绕一个值波动。直接取直行航向角的平均值，发现它能很好地反应直行时的IMU水平朝向。用各直行序列平均航向角和平均神经网络PDR方向的差值来代表磁场信息与身体方向的关联量ci。
选取稳定的磁场环境和低不确定性的直行序列上的关联量作为锚点ca。如果不改变拿持手机的姿势，每个直行序列关联量应该只会在小范围波动。当波动大于一定阈值时，可以认定手机与人之间的相对水平姿态关系发生了较大改变，此时需要更新ca。之后利用ca来计算直行序列的校正角
Figure RE-RE-GDA0003715926670000116
Figure RE-RE-GDA0003715926670000117
式中，sti是磁场的平均稳定性。最后通过将神经网络PDR预测出的轨迹旋转该校正角
Figure RE-RE-GDA0003715926670000118
即可实现对轨迹的自适应校正。
3基于EKF的数模融合定位模型构建
与存在诸多限制的单数据源定位方法相比，将不同维度和属性的数据紧耦互补通常能实现更佳的定位精度和稳定度。基于数据驱动的PDR算法已在短时间内给出了细粒度的相对动态信息，因而仅需辅以全局观测信息，便可借助数学表达式构建模型，提供绝对坐标系下的位置服务。由于音频TDoA是一种高精度、高隐私、高安全的定位技术，且其具有兼容大众智能手机与支持无限并发用户数量等特点，因此本发明以 PDR和TDoA数据为例，给出了一类泛用的基于EKF框架的融合定位模型。
3.1系统模型与观测模型
将数据驱动PDR采用的坐标系称为本地坐标系L系(xL,yL,αL)，并选取东北天坐标系作为绝对坐标系 G系(eG,nG,αG)，其中α表示航向，则系统待估状态向量可描述为
Xk＝[ek nk θk]T (8)
式中，(ek,nk)为k时刻下目标在G系下的东/北坐标，θk为L系相对于G系呈右手系的航向夹角，包含定位服务启动瞬间两坐标系的初始偏角以及传感器的累计误差偏角。通常，室内行人的手机握持平均高度为1.2m，且高程变化相对于平面坐标变化对结果产生的影响更弱，因而系统状态仅考虑了二维平面坐标。
在PDR数据的驱动下，系统的状态转移如下
Figure RE-RE-GDA0003715926670000121
式中，Wk为均值为0、方差为Qk的过程噪声，Δxk与Δyk分别为PDR于k-1历元至k历元间在本地坐标系下的横纵方向输出位移增量。
本发明的音频TDoA估计采用了时分多址与频分多址策略，形成的音频Chirp信号网络如图5所示。每经过约1s的时间间隔，终端可解算出包含至少2个TDoA在内的观测数据，通过几何关系，观测方程可写为
Figure RE-RE-GDA0003715926670000131
Figure RE-RE-GDA0003715926670000132
Figure RE-RE-GDA0003715926670000133
式中，Vk为均值为0、方差为Rk的观测噪声，m为本历元估计的TDoA个数，
Figure RE-RE-GDA0003715926670000134
及Si分别对应第i个音频基站的预测观测与G系坐标，c表示T温度下的声音传播速度。之后，将f(*)和h(*)分别围绕
Figure RE-RE-GDA0003715926670000135
做一阶Taylor展开得到状态转移矩阵
Figure RE-RE-GDA0003715926670000136
和观测矩阵
Figure RE-RE-GDA0003715926670000137
则本轮迭代的位置可估计为
Figure RE-RE-GDA0003715926670000138
Figure RE-RE-GDA0003715926670000139
Figure RE-RE-GDA00037159266700001310
Figure RE-RE-GDA00037159266700001311
式中，Kk为Kalman增益，Pk为误差协方差，Zk为当前历元的真实观测。
由于音频TDoA观测数据更新率仅为1Hz，而PDR驱动的数据更新率可达20Hz，因此只在TDoA更新的历元执行量测更新，其余历元只需执行状态更新。
3.2模型初始化
模型初始化对于滤波而言至关重要，它影响到算法能否快速收敛以及后续定位的准确性。本发明将观测信息与简易粒子滤波器相结合来计算终端的平面坐标初值。观测信息中蕴含的坐标数据通常给出了终端可能所处的区域范围，在该范围内均匀分布一定数量的粒子，通过重采样操作，能够以较少的迭代次数估计较高精度的初值。给定粒子属性[eGnG]T，则粒子集被初始化为
Figure RE-RE-GDA00037159266700001312
式中，emin,emax,nmin,nmax为初始观测信息划定的区域边界，N为粒子数目。音频TDoA估计误差整体服从正态分布，因此根据预测残差ε，每个粒子的权重可写为
Figure RE-RE-GDA0003715926670000141
Figure RE-RE-GDA0003715926670000142
式中，Z0和
Figure RE-RE-GDA0003715926670000143
分别为初始观测与预测观测。将粒子集权重归一化并采用随机重采样方法到新的粒子集后，便可对其进行平均处理得到初值估计
Figure RE-RE-GDA0003715926670000144
Figure RE-RE-GDA0003715926670000145
3.3模型参数动态调整
系统状态中的航向夹角范围为(-2π,2π]。根据工程经验，在给定系统初始误差协方差矩阵P0＝I3×3的前提下，要想使航向夹角迅速收敛，可在滤波前期适当提升观测信息的基本权重并放大过程噪声，如
Figure RE-RE-GDA0003715926670000146
Qk＝[0.5,0.5,5]T。当预测残差基本波动在较小数值的附近时，可认为系统趋于稳定。此时适当降低观测基本权重并缩小过程噪声，如
Figure RE-RE-GDA0003715926670000147
Qk＝[0.05,0.05,0.1]T，有助于增强模型鲁棒性以抵抗部分观测粗差。另外，动态改变观测权重的策略也将进一步地优化模型。本发明采用伪Huber函数来调整每一个观测数据对应的观测噪声，如下
Figure RE-RE-GDA0003715926670000148
式中，
Figure RE-RE-GDA0003715926670000149
为观测噪声协方差矩阵第i个对角线元素，
Figure RE-RE-GDA00037159266700001410
对应第i个TDoA的预测残差，k0为方差膨胀阈值，通常与观测数据在稳态下的一倍中误差相关。最后，数据驱动PDR模型的不确定性因子也可在探测到地磁突变等因素引起的姿态异常更新时，及时给出调整状态与观测权重的指导。
本发明提出了一种基于数据与模型双驱动的室内多源融合定位新方法。在数据驱动方面，构建一种基于深度学习的PDR神经网络，训练加速度计和陀螺仪观测量特征，学习行人步行速度矢量，精准推算行人航迹。传统PDR方案是以每步为单位，统计人的步频和步长，PDR的位置更新频率是在1.5-1.8Hz，基于数据驱动的PDR可以学习人体迈步的全过程，以20Hz速度矢量输出，实现高频PDR位置更新，充分发挥惯性传感器数据更新率高的优势。在模型部分，通过扩展卡尔曼滤波，紧密耦合高精度音频测距观测量与PDR 网络输出的高频速度矢量，以20Hz的位置更新率，实现23cm的定位精度。跟传统的纯模型驱动融合定位方法相比，该方法在定位更新率、定位精度和定位稳定性等方面，都具有明显优势。
在本发明实施例中，在60m*30m*6m的机场候机大厅中，测试员手持测试手机，以行人正常步行速度连续在大厅内以空手、拖拽行李箱或行李车等姿态移动6分钟，定位结果如图14所示。表1列出了系统所有输出数据与参考真值相比的平均误差、均方根误差(RMSE)、最大和最小误差的统计结果。从表中可以看出，本发明所提出的室内音频定位系统在无论是静态还是动态的条件下都达到了至少0.60m的平均定位精度，定位时延≤1s，并且在各个测试手机中差异性不明显。
表1不同测试手机在本项目提出的室内音频定位系统下的定位性能比较统计
Figure RE-RE-GDA00037159266700001411
Figure RE-RE-GDA0003715926670000151
二、应用实施例。为了证明本发明的技术方案的创造性和技术价值，该部分是对权利要求技术方案进行具体产品上或相关技术上的应用实施例。
应用例1
本发明的应用实施例提供了一种信息数据处理终端，所述信息数据处理终端用于执行所述基于数据与模型结合的多源融合定位方法。
应用例2
利用本发明地方法在某机场Q岛值机大厅定位系统进行应用，如下：
本发明的导航系统通过与某机场合作，率先在该机场1800m2的Q岛值机大厅布设3套设备开展小范围试点应用，通过手机App或微信小程序向大众和机场工作人员提供位置服务。其中，在机场的公共服务中，存在多个室内场景亟待解决的定位需求，如通过主动导航服务引导旅客前往登机门、卫生间或购物点；协助旅客在停车场内反向寻车；帮助机场管理部门实时掌握机场内部人流动态；室外与室内定位服务的无缝对接等等。
应用例3
某国际展览中心1号展厅游客室内导览系统：某国际展览中心坐落于某小镇，其中1号展厅全厅大小为47.7*106.2*19米，总占地面积超过5000m2。该场景面向实际会展中游客的寻位需求，以音频为核心，光、电、场室内全源辅助方案的特点，在应用上采取数模融合的定位方案。场馆蓝牙、Wi-Fi全覆盖，同时覆盖了音频高精度定位源，结合磁场定位，完成了实际应用场景对本发明技术方案的验证与指标测试。如图15所示。
应用例4
某市中心地下停车场定位与导航系统：中心地下停车场定位导航项目，位于星港街地下隧道至苏州中心北车库停车场B1/B2层，项目覆盖总面积约2000m2，共布设5套设备。当用户驾驶车辆驶离苏州中心室外星港街高架后将驶入星港街地下隧道，此时接入导航系统，通过该隧道进入北车库P1停车场，而后切换至行人模式，通过系统的导航指引，找到进入商场的停车场电梯。
应用例5
某市地球空间信息科学国际研究中心室内导览系统：在地球空间信息科学国际研究中心1/3层大厅、生活及办公区展开室内导览试点应用。覆盖总面积约1000m2，共使用设备10套，涵盖大厅、接待厅、展厅、会议室、办公室、设备间等多个典型的室内场景。系统在该中心实现了场景识别与无缝漫游定位，测试员使用华为Mate30、小米8、Pixel 3、三星S10、黑鲨测试手机，在全场景下实现平均优于0.57m的动态定位精度，定位时延优于1s。
应用例6
某市大学师生四食堂定位辅助疫情防控系统：为体现数模融合定位技术在防疫监控层面的先进作用，与某大学合作，在该校师生四食堂试行音频定位辅助疫情防控系统。该系统为该校大健康管理系统的子系统，旨在在学校恢复正常教学的情况下，为避免大规模病毒感染，学校需能实时掌握全校人员基础健康信息和人员流动信息，高效追溯防疫各类人群。音频系统在人员密度监测和防疫溯源两个方面，都有十分明确的功能需求。
1)人员密度监测
基于通过实时定位信号，采集校内人员活动信息，通过数据分析和呈现(热力图)校内各区域的人员聚集情况，包括但不限于办公楼、宿舍楼、教学楼、食堂、图书馆、体育馆等生活配套设施，可以实时显示人员数量和密度。
2)防疫溯源
通过实时定位服务，实现全校人员行为轨迹的记录和查询。结合校园地图和定位数据，动态呈现人员的活动轨迹，可以快速查找人员的活动轨迹。同时基于定位数据，分析两两人员接触的距离与接触时长构建密切接触者模型，可以快速查询14天、21天等不同时间范围的密切接触者。本项目将音频信号定位方法引入，补齐室内定位技术这块短板，为学校建立完整的校园内位置服务网络，保障师生安全提供技术保证。
通过试点推行，验证了音频信号定位技术在提供室内定位数据时具有准确、稳定、可靠、兼容及耐用的特点。
应用例7
移动公司5G展厅游客导览定位系统：移动为向大众科普5G将如何改变人们的生活方式、提升生活质量，也为推广各行业5G技术的最新应用成果，在公司侧厅举办了“5G+未来”主题展览。通过音频数模融合定位系统，展厅内的设备均可实时获取自身所在的位置，并提供给游客；当设备感应到游客出现在附近时，便自动播放介绍视频或语音，实现“人找展位，展位寻人”的联动目的。
三、实施例相关效果的证据。本发明实施例在研发或者使用过程中取得了一些积极效果，和现有技术相比的确具备很大的优势，下面内容结合试验过程的数据、图表等进行描述。
1试验数据与分析
1.1试验描述
本发明在两个测试场景下分别设计了两组试验来评价融合定位方法。其中一个小范围场景如图6至图 9所示，该测试场景是某中心写字楼里的一间办公室，试验区域约为147m2，部署4个音频基站；而另外一个大范围场景是德清国际展览中心1号展厅，试验区域约为4688m2，部署32个音频基站。基站间通过 433MHz无线模块进行同步。试验用手机型号为华为Nova 7(HarmonyOS 2)和小米Mi 10Ultra(Android 10)，手机搭载的运动传感器(加速度计、陀螺仪)采样率为200Hz，音频信号的采样率为48kHz。在小范围场景试验中，静态试验的参考真值由SNDWAY SW-80G激光测距仪测量提供；而在大范围场景试验中，轨迹标志点的参考真值由Leica Nova TS60全站仪测量提供。在这两个测试场景下，动态试验均为试验人员握持试验手机沿设定的轨迹移动，本发明方法的性能通过比较融合定位输出的位置与真实轨迹的吻合程度来衡量。
1.2定位初始化试验
本试验评价了数模融合定位模型初始化性能，在大范围测试场景中分别选取向东，向南和向西这三个方向的直线轨迹，初始化航向角为90°，试验当本地坐标系与绝对坐标系之间的初始偏角分别为0°，90°和180°时，本发明模型的初始化性能。如图10所示，蓝色圆圈实线为PDR模型更新时刻的轨迹结果，红色加号实线为TDoA观测更新时刻的轨迹结果，当初始偏角为0°时，此时初始化航向角即为绝对坐标系下的真实航向角，在移动后的一个观测历元后收敛。如图11所示，当初始偏角为90°时，在移动后的 4个观测历元后收敛。如图12所示，当初始偏角为180°时，此时初始化航向角与真实航向角偏差最大，在移动后的6个观测历元后收敛。通过这组试验，本发明模型均能在步行约5m内，实现航向估计状态量的收敛。
5.3定位试验
5.3.1静态定位试验
在小范围试验场景下对融合定位方法的静态精度进行评估，如图8所示，在该试验区域中设置15个静态试验点，使用SNDWAY SW-80G激光测距仪量测的位置作为真值基准，试验人员使用手机分别在试验点上采集约30s的数据，图中蓝色加号标记为各试验点位上融合定位结果。融合定位方法误差统计结果如表2所示。
表2定位误差统计结果
Figure RE-RE-GDA0003715926670000171
5.3.2动态定位试验
本试验对融合定位方法的动态精度进行评估，并在小范围场景下对单一UWB动态定位，单一音频定位和本发明数模驱动融合定位结果进行对比。试验人员自然握持手机，沿预先设置的轨迹匀速行走并记录实时PDR模型输出数据和音频TDOA数据。对于UWB对比实验，由试验人员使用定位标签，沿同样预先设置的轨迹匀速行走并记录实时UWB距离观测值。如图13所示，给出了模型参数动态调整的结果，从图中可以看出本地坐标系与绝对坐标系航向夹角估计在经过初始化过程后，估计结果较为稳健。
图6至图9给出了动态定位试验轨迹结果，红色五角星代表音频定位基站，红色虚线为参考轨迹真值，黄色虚线为动态定位试验轨迹，黄色加号标记为动态定位输出结果。如图6和图7所示，分别为单一高精度定位源UWB和音频，定位更新频率为1Hz下的定位输出结果，从图中可以看出单一高精度定位源动态轨迹虽然总体上同参考轨迹吻合，但是受更新频率和实际观测条件的限制，在转弯和定位信号覆盖条件较差的区域，动态轨迹同参考轨迹偏差较大。如图8所示，数模驱动融合定位动态轨迹，在保持单一高精度定位源定位精度的基础上，对上述动态定位精度较差的区域实现了提升。动态定位误差通过将试验轨迹切割为多段直线轨迹，然后分别统计各历元定位结果同对应参考轨迹的误差来评估定位精度。动态定位试验结果如表1所示。从统计结果可以看出，融合动态定位结果与静态定位结果相当，在小范围场景下融合动态定位结果与单一高精度定位源UWB和音频动态定位结果也相当，均为亚米级精度。数模驱动多源融合定位模型在保持高精度定位源定位精度优势的基础上，极大提升了定位更新频率。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于数据与模型结合的多源融合定位方法，其特征在于，所述基于数据与模型结合的多源融合定位方法包括：构建基于深度学习的PDR神经网络模型，通过训练加速度传感器与陀螺仪测量值特征，学习速度变化矢量和推算高精度行人航迹，并通过扩展卡尔曼滤波与音频测距观测量融合，进行数据-模型双驱动的多源融合定位。
2.如权利要求1所述基于数据与模型结合的多源融合定位方法，其特征在于，所述基于数据与模型结合的多源融合定位方法还包括：
利用基于深度学习的数据驱动方法基于智能终端内置的加速度计与陀螺仪的数据估计终端移动速度；并利用扩展卡尔曼滤波将速度矢量与基于声波的测距结果相结合，估计用户的位置、航向与速度，得到定位结果。
3.如权利要求1所述基于数据与模型结合的多源融合定位方法，其特征在于，所述基于数据与模型结合的多源融合定位方法进一步包括：
通过采集大量行人行走的IMU数据与真实轨迹并制作成神经网络的输入特征与标签，训练得到一个拟合行人行走步态特征的网络模型；
利用所述拟合行人行走步态特征的网络模型得到行人的速度增量，再通过积分推导得到行人的运动轨迹；
将误差参数添加至神经网络框架并进行训练，预测运动变换及运动变换方差，并得到不同预测段的置信度指标；
通过结合不确定性和地磁稳定性检测算法，对神经网络PDR进行航向校正，得到定位轨迹。
4.如权利要求1所述基于数据与模型结合的多源融合定位方法，其特征在于，所述基于数据与模型结合的多源融合定位方法包括以下步骤：
步骤一，构建并训练基于数据驱动的行人航迹推算模型，并利用训练好的基于数据驱动的行人航迹推算模型基于惯性传感器测量的数据确定相对位置和不确定性；
步骤二，将误差参数添加至基于数据驱动的行人航迹推算模型并进行训练，预测运动变换及其方差，并计算预测结果的不确定性；同时得到预测的置信度指标；
步骤三，进行基于地磁的轨迹校正；
步骤四，构建基于EKF的数模融合定位模型通过扩展卡尔曼滤波紧密耦合音频测距观测量与基于数据驱动的行人航迹推算模型输出的高频速度矢量，得到定位结果。
5.如权利要求4所述基于数据与模型结合的多源融合定位方法，其特征在于，所述构建并训练基于数据驱动的行人航迹推算模型包括：
(1)获取惯性传感器采集的相关数据，并基于获取的数据利用基于梯度下降的算法计算得到姿态四元数，利用姿态四元数将加速度和角速度从传感器坐标系转换到导航坐标系下；
(2)按照航向角、俯仰角和横滚角的顺序将四元数转变为欧拉角，取欧拉角与姿态角的航向角差值将运动轨迹从导航坐标系转换到全球坐标系；
(3)构建基于数据驱动的行人航迹推算模型，利用标准数据集以及自采数据集作为训练集和测试集，对基于数据驱动的行人航迹推算模型进行训练，并于训练过程随机旋转基于数据驱动的行人航迹推算模型的每个窗口的特征与标签；
所述利用姿态四元数将加速度和角速度从传感器坐标系转换到导航坐标系下包括：
利用下式将传感器坐标系下的向量aIMU转换为导航坐标系下的aINS：
aINS＝q×aIMU×q-；
其中，q-表示四元数的共复轭。
6.如权利要求4所述基于数据与模型结合的多源融合定位方法，其特征在于，所述基于数据驱动的行人航迹推算模型采用ResNet18残差神经网络模型；
所述基于数据驱动的行人航迹推算模型包括：
数据划分模块，用于利用固定大小的滑动窗口将惯性传感器数据分为独立的序列；
预测模块，用于利用每个序列的深度神经网络预测速度矢量；
合并链接模块，用于基于速度矢量生成位置数据；
更新模块，用于利用重叠窗口进行预测更新；
平滑模块，用于利用低通滤波器处理速度矢量得到的位置平滑重建预测的轨迹。
7.如权利要求4所述基于数据与模型结合的多源融合定位方法，其特征在于，所述预测结果的不确定性包括：
σdata＝mean(υi)；
σtotal＝σdata+σmodel；
其中，σtotal表示预测的总不确定性；σdata表示数据不确定性；σmodel表示模型不确定性；
所述进行基于地磁的轨迹校正包括：
(1)利用下式计算直行序列的校正角
Figure FDA0003568415650000031
Figure FDA0003568415650000032
其中，sti表示磁场的平均稳定性，
Figure FDA0003568415650000033
ci表示磁场信息与身体方向的关联量，用各直行序列平均航向角和平均神经网络PDR方向的差值代表；ca表示锚点，所述锚点为稳定的磁场环境和低不确定性的直行序列上的关联量；
(2)将基于数据驱动的行人航迹推算模型预测得到的轨迹旋转
Figure FDA0003568415650000034
进行轨迹的自适应校正。
8.一种基于数据与模型结合的多源融合定位系统，其特征在于，所述基于数据与模型结合的多源融合定位系统包括：
行人航迹推算模型构建模块，用于构建并训练基于数据驱动的行人航迹推算模型，并利用训练好的基于数据驱动的行人航迹推算模型基于惯性传感器测量的数据确定相对位置和不确定性；
人航迹推算模型预测模块，用于将误差参数添加至基于数据驱动的行人航迹推算模型并进行训练，预测运动变换及其方差，并计算预测结果的不确定性；同时得到预测的置信度指标；
定位结果获取模块，用于进行基于地磁的轨迹校正；
数模融合定位模型构建模块，用于构建基于EKF的数模融合定位模型通过扩展卡尔曼滤波紧密耦合音频测距观测量与基于数据驱动的行人航迹推算模型输出的高频速度矢量，得到定位结果。
9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：构建基于深度学习的PDR神经网络模型，通过训练加速度传感器与陀螺仪测量值特征，学习速度变化矢量和推算高精度行人航迹，并通过扩展卡尔曼滤波与音频测距观测量融合，进行数据-模型双驱动的多源融合定位。
10.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于执行如权利要求1-9任意一项所述基于数据与模型结合的多源融合定位方法。
CN202210311275.1A 2022-03-28 2022-03-28 基于数据与模型结合的多源融合定位方法、系统及终端 Active CN115112121B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210311275.1A CN115112121B (zh) 2022-03-28 2022-03-28 基于数据与模型结合的多源融合定位方法、系统及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210311275.1A CN115112121B (zh) 2022-03-28 2022-03-28 基于数据与模型结合的多源融合定位方法、系统及终端

Publications (2)

Publication Number Publication Date
CN115112121A true CN115112121A (zh) 2022-09-27
CN115112121B CN115112121B (zh) 2023-03-03

Family

ID=83325406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210311275.1A Active CN115112121B (zh) 2022-03-28 2022-03-28 基于数据与模型结合的多源融合定位方法、系统及终端

Country Status (1)

Country Link
CN (1) CN115112121B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115604817A (zh) * 2022-10-08 2023-01-13 浙江德清知路导航科技有限公司（Cn） 一种基于射频增强的广域音频室内定位方法、系统及终端
CN116678421A (zh) * 2023-06-12 2023-09-01 深圳沧穹科技有限公司 基于多模块ble发射装置的多源融合定位方法及系统
CN116740846A (zh) * 2023-08-02 2023-09-12 深圳零和壹物联科技有限公司 一种rfid智能顶装式门禁终端控制方法
GB2626733A (en) * 2023-01-30 2024-08-07 Arwain Systems Ltd Localisation system

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090280827A1 (en) * 2008-05-09 2009-11-12 Mitel Networks Corporation Method, system and apparatus for locating a mobile communications device
US8164514B1 (en) * 2009-05-07 2012-04-24 Chun Yang Method and apparatus for fusing referenced and self-contained displacement measurements for positioning and navigation
CN107631732A (zh) * 2017-11-02 2018-01-26 武汉大学 基于蓝牙、Wi‑Fi和声波的混合室内定位方法及系统
CN108362289A (zh) * 2018-02-08 2018-08-03 浙江大学城市学院 一种基于多传感器融合的移动智能终端pdr定位方法
CN109324330A (zh) * 2018-09-18 2019-02-12 东南大学 基于混合无导数扩展卡尔曼滤波的usbl/sins紧组合导航定位方法
WO2019120195A1 (en) * 2017-12-18 2019-06-27 Fruit Innovations Limited Indoor navigation system using inertial sensors and short-wavelength low energy device
CN110602647A (zh) * 2019-09-11 2019-12-20 江南大学 基于扩展卡尔曼滤波和粒子滤波的室内融合定位方法
US20210095965A1 (en) * 2019-09-26 2021-04-01 Harbin Engineering University Elman neural network assisting tight-integrated navigation method without GNSS signals
WO2021063136A1 (zh) * 2019-09-30 2021-04-08 江苏大学 一种数据驱动的高精度组合导航数据融合方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090280827A1 (en) * 2008-05-09 2009-11-12 Mitel Networks Corporation Method, system and apparatus for locating a mobile communications device
US8164514B1 (en) * 2009-05-07 2012-04-24 Chun Yang Method and apparatus for fusing referenced and self-contained displacement measurements for positioning and navigation
CN107631732A (zh) * 2017-11-02 2018-01-26 武汉大学 基于蓝牙、Wi‑Fi和声波的混合室内定位方法及系统
WO2019120195A1 (en) * 2017-12-18 2019-06-27 Fruit Innovations Limited Indoor navigation system using inertial sensors and short-wavelength low energy device
CN108362289A (zh) * 2018-02-08 2018-08-03 浙江大学城市学院 一种基于多传感器融合的移动智能终端pdr定位方法
CN109324330A (zh) * 2018-09-18 2019-02-12 东南大学 基于混合无导数扩展卡尔曼滤波的usbl/sins紧组合导航定位方法
CN110602647A (zh) * 2019-09-11 2019-12-20 江南大学 基于扩展卡尔曼滤波和粒子滤波的室内融合定位方法
US20210095965A1 (en) * 2019-09-26 2021-04-01 Harbin Engineering University Elman neural network assisting tight-integrated navigation method without GNSS signals
WO2021063136A1 (zh) * 2019-09-30 2021-04-08 江苏大学 一种数据驱动的高精度组合导航数据融合方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
吴金凯等: "基于手机传感器的行人室内定位算法", 《桂林电子科技大学学报》 *
庞茂等: "基于声波测距与PDR融合的手机室内定位方法", 《物联网学报》 *
徐龙阳等: "基于神经网络的多传感器融合PDR定位方法", 《传感技术学报》 *
林峰等: "基于智能手机声信号的自标定室内定位系统", 《计算机研究与发展》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115604817A (zh) * 2022-10-08 2023-01-13 浙江德清知路导航科技有限公司（Cn） 一种基于射频增强的广域音频室内定位方法、系统及终端
GB2626733A (en) * 2023-01-30 2024-08-07 Arwain Systems Ltd Localisation system
CN116678421A (zh) * 2023-06-12 2023-09-01 深圳沧穹科技有限公司 基于多模块ble发射装置的多源融合定位方法及系统
CN116678421B (zh) * 2023-06-12 2024-01-23 深圳沧穹科技有限公司 基于多模块ble发射装置的多源融合定位方法及系统
CN116740846A (zh) * 2023-08-02 2023-09-12 深圳零和壹物联科技有限公司 一种rfid智能顶装式门禁终端控制方法

Also Published As

Publication number Publication date
CN115112121B (zh) 2023-03-03

Similar Documents

Publication Publication Date Title
Murata et al. Smartphone-based indoor localization for blind navigation across building complexes
Murata et al. Smartphone-based localization for blind navigation in building-scale indoor environments
CN115112121B (zh) 基于数据与模型结合的多源融合定位方法、系统及终端
Potortì et al. Off-line evaluation of indoor positioning systems in different scenarios: The experiences from IPIN 2020 competition
EP2946167B1 (en) Method and apparatus for determination of misalignment between device and pedestrian
US8751151B2 (en) System and method for localizing a trackee at a location and mapping the location using inertial sensor information
Ouyang et al. A survey of magnetic-field-based indoor localization
US10677883B2 (en) System and method for automating beacon location map generation using sensor fusion and simultaneous localization and mapping
CN109164411B (zh) 一种基于多数据融合的人员定位方法
TW201440013A (zh) 基於虛擬地標之定位及地圖繪製技術
JP2013531781A (ja) 対象物のゼロ速度状態の検出方法及びシステム
Renaudin et al. Adaptative pedestrian displacement estimation with a smartphone
CN116678421B (zh) 基于多模块ble发射装置的多源融合定位方法及系统
KR102119196B1 (ko) 머신러닝 기반의 실내 측위 방법 및 시스템
Ehrlich et al. Pedestrian localisation inside buildings based on multi-sensor smartphones
KR102095135B1 (ko) 실내 측위 방법 및 이를 수행하는 장치들
Koroglu et al. Multiple hypothesis testing approach to pedestrian INS with map-matching
Shu et al. Indoor geomagnetic positioning using direction-aware multiscale recurrent neural networks
Potortì et al. Offsite evaluation of localization systems: criteria, systems and results from IPIN 2021-22 competitions
Liu et al. Smartphone-based Pedestrian Inertial Tracking: Dataset, Model, and Deployment
Qi et al. Hybrid pedestrian positioning system using wearable inertial sensors and ultrasonic ranging
He et al. WiFi based indoor localization with adaptive motion model using smartphone motion sensors
Mahida et al. Indoor positioning framework for visually impaired people using Internet of Things
Han Application of inertial navigation high precision positioning system based on SVM optimization
Gao Investigation of Context Determination for Advanced Navigation Using Smartphone Sensors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant