CN106017454B - 一种基于多传感器融合技术的行人导航装置和方法 - Google Patents

一种基于多传感器融合技术的行人导航装置和方法 Download PDF

Info

Publication number
CN106017454B
CN106017454B CN201610431107.0A CN201610431107A CN106017454B CN 106017454 B CN106017454 B CN 106017454B CN 201610431107 A CN201610431107 A CN 201610431107A CN 106017454 B CN106017454 B CN 106017454B
Authority
CN
China
Prior art keywords
imu
initial data
module
processing unit
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610431107.0A
Other languages
English (en)
Other versions
CN106017454A (zh
Inventor
庄园
杨军
戚隆宁
李由
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201610431107.0A priority Critical patent/CN106017454B/zh
Priority to PCT/CN2016/087281 priority patent/WO2017215024A1/zh
Publication of CN106017454A publication Critical patent/CN106017454A/zh
Application granted granted Critical
Publication of CN106017454B publication Critical patent/CN106017454B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于多传感器融合技术的行人导航装置和方法，装置包括手持智能设备、观测量处理单元和融合滤波器；方法包括如下步骤：(1)手持智能设备利用自身硬件获取IMU、磁力计、压力计、WiFi、BLE和GNSS等的原始数据；(2)观测量处理单元处理手持智能设备提供的原始数据以提供位置或速度等观测量给融合滤波器；(3)融合滤波器利用运动学模型作为系统模型，观测量处理单元的结果建立观测模型，经过融合滤波器的处理最终得到行人导航结果。本发明克服了在没有其他辅助系统的情况下，导航误差会迅速累积的缺点；IMU处理模块考虑了手持智能设备的多种模式，突破了传统多传感器融合IMU需和载体固定的限制；提高了行人导航的精确度。

Description

一种基于多传感器融合技术的行人导航装置和方法
技术领域
本发明涉及多传感器融合和行人导航领域，尤其是一种基于多传感器融合技术的行人导航装置和方法。
背景技术
随着移动互联网的发展，室内外的行人导航应用蓬勃发展，例如大型商场室内导航、医院病人追踪、超市人流分析等。国内外多个市场分析报告一致认为行人导航将是一个有巨大市场的研究方向。与此同时，便携式智能设备，例如：智能手机、平板电脑和智能手表等在过去十年中一直超高速发展，已成为人们生活不可缺少的一部分。这些便携式设备大多数具备强大的处理器、无线收发器、摄像头、全球导航卫星系统GNSS接收机和众多传感器。因此，这些便携式智能设备已成为多传感器融合和行人导航相关应用的理想平台。
目前单一行人导航技术都存在不同程度的缺陷。基于WiFi和蓝牙等无线系统的行人导航技术通常具有无线信号强度在恶劣的环境下波动较大，无法提供完整的导航信息如三维位置、速度和姿态，系统性能高度依赖于发射设备的分布和数量，位置信息不连续平滑等缺陷。基于微惯性单元的行人导航技术短期精准，但导航误差累积较快。基于摄像头的视觉定位在复杂环境下视觉传感器标定较慢、特征信息提取错误率高、导航信息计算慢等缺陷。因此，多传感器融合已成为目前行人导航的主流方案。
目前，现有的多传感器融合技术一般包括以下几个步骤：(1)以惯性单元(三轴加速度计和三轴陀螺仪)的测量数据通过惯性机械编排算法计算跟踪物体的位置、速度和姿态信息；(2)建立与惯性机械编排算法对应的误差模型，并作为融合滤波器的系统模型；(3)将其他辅助系统(GPS、WiFi、蓝牙、RFID、GNSS等)建立为融合滤波器的观测模型；(4)通过融合滤波器的预测和更新过程估计出系统状态量误差；和(5)将系统状态量误差补偿惯性单元误差和基于惯性机械编排算法的位置、速度和姿态信息，得出最终的位置信息、速度和姿态信息。
现有多传感器融合技术具有以下两个致命缺点(1)在没有其他辅助系统的情况下，导航误差会迅速累积；(2)当惯性单元与载体不固定的情况下，例如：行人导航中的手机和行人，传统的多传感器融合技术无法正确估计出载体的信息。因此，现有多传感器融合技术在很多场景下无法提供准确的行人导航信息。
发明内容
本发明所要解决的技术问题在于，提供一种基于多传感器融合技术的行人导航装置和方法，达到提升行人导航精度和可用性的效果。
为解决上述技术问题，本发明提供一种基于多传感器融合技术的行人导航装置和方法，包括：手持智能设备、观测量处理单元以及融合滤波器；手持智能设备利用自身硬件获取惯性测量单元(Inertial Measurement Unit，IMU)、磁力计、压力计、WiFi、低耗能蓝牙(Bluetooth Low Energy，BLE)和全球导航卫星系统(Global Navigation SatelliteSystem，GNSS)的原始数据，观测量处理单元处理手持智能设备提供的原始数据以提供位置和速度观测量给融合滤波器，融合滤波器利用运动学模型作为系统模型，观测量处理单元的结果建立观测模型，经过融合滤波器的处理最终得到行人导航结果。
优选的，手持智能设备包括现有智能设备常见的IMU、磁力计、压力计、WiFi、低耗能蓝牙和GNSS；IMU提供加速度和角速度的原始数据；所述磁力计提供地磁的原始数据；压力计提供大气气压的原始数据；WiFi提供WiFi接收信号强度(Received Signal Strength，RSS)的原始数据；BLE提供BLERSS的原始数据；GNSS接收机提供GNSS的原始数据；智能设备平台任何可以提供观测信息的其他传感器都可以包含在所提出的多传感器融合算法中。
优选的，观测量处理单元包括：IMU处理单元、磁力计处理单元、压力计处理单元、WiFi处理单元、BLE处理单元和GNSS处理单元；IMU处理单元处理所述IMU提供的加速度和角速度的原始数据以得到IMU位置信息并传送给所述融合滤波器；磁力计处理单元处理所述磁力计提供的地磁的原始数据以得到地磁位置信息并传送给所述融合滤波器；压力计处理单元处理所述压力计提供的大气气压的原始数据以得到高程信息并传送给所述融合滤波器；WiFi处理单元处理所述WiFi提供的RSS原始数据以得到WiFi位置信息并传送给所述融合滤波器；BLE处理单元处理所述BLE提供的RSS原始数据以得到BLE位置信息并传送给所述融合滤波器；GNSS处理单元处理所述GNSS接收机提供的位置和速度信息并传送给所述融合滤波器。观测量处理单元还包括其他处理单元以处理智能设备平台的其他传感器来得到位置或速度信息并传送给融合滤波器。
优选的，融合滤波器包括系统模型和观测模型；系统模型使用运动学模型对待测目标的位置和速度信息进行预测，并传送给观测模型；观测模型将系统模型预测的位置、速度信息与观测量处理单元提供的基于IMU、磁力计、压力计、WiFi、BLE和GNSS的位置、速度信息结合，更新待测目标的的最终位置和速度信息。
优选的，IMU处理单元包括用户运动模式和设备使用模式识别模块、航向角偏差估计模块、改进航位推算算法模块，用户运动模式和设备使用模式识别模块根据所述手持智能设备的IMU和其他可选的硬件(例如磁力计)提供的原始数据识别出静止、行走、跑步用户运动模式和手持、短信、电话、导航、口袋、背包设备使用模式；航向角偏差估计模块根据所述用户运动模式和设备使用模式识别模块输出的用户运动模式和设备使用模式和所述手持智能设备的IMU和其他可选的硬件(例如磁力计)提供的原始数据估计出航向角偏差；改进航位推算算法模块根据所述航向角偏差估计模块输出的航向角偏差和所述手持智能设备的IMU和其他可选的硬件(例如磁力计)提供的原始数据得到IMU位置信息并传送给所述融合滤波器。
优选的，改进航位推算算法模块包括测姿系统模块、航向角偏差补偿模块、步伐检测模块、步长估计模块、航位推算算法模块，测姿系统模块根据所述手持智能设备的IMU和其他可选磁力计提供的原始数据识别出手持智能设备的姿态信息；航向角偏差补偿模块读取航向角偏差估计模块输出的航向角偏差并补偿给行人航向角、输出给航位推算算法；步伐检测模块算法模块根据所述手持智能设备的IMU的原始数据检测出行人的步数反馈给步长估计模块；步长估计模块根据所述步伐检测模块的结果和所述手持智能设备的IMU的原始数据估计出行人的步长，并反馈给所述的航位推算算法模块；航位推算算法模块根据所述步长估计模块输出的步长信息和所述航向角偏差补偿模块输出的行人航向角信息计算出IMU位置观测量并反馈给所述的融合滤波器。
相应地，本发明还提供了一种基于多传感器融合技术的行人导航方法，包括以下步骤：
(1)手持智能设备利用自身硬件获取IMU、磁力计、压力计、WiFi、BLE和GNSS的原始数据；(2)观测量处理单元处理手持智能设备提供的原始数据以提供位置和速度观测量给融合滤波器；(3)融合滤波器利用运动学模型作为系统模型，观测量处理单元的结果建立观测模型，经过融合滤波器的处理最终得到行人导航结果。
优选的，观测量处理单元处理手持智能设备提供的原始数据以提供位置和速度观测量给融合滤波器包括如下步骤：
(1)IMU处理单元处理IMU提供的加速度和角速度的原始数据以得到IMU位置信息并传送给融合滤波器；(2)磁力计处理单元处理磁力计提供的地磁的原始数据以得到地磁位置信息并传送给融合滤波器；(3)压力计处理单元处理压力计提供的大气气压的原始数据以得到高程信息并传送给融合滤波器；(4)WiFi处理单元处理WiFi提供的RSS原始数据以得到WiFi位置信息并传送给融合滤波器；(5)BLE处理单元处理BLE提供的RSS原始数据以得到BLE位置信息并传送给融合滤波器；(6)GNSS处理单元处理GNSS芯片提供的GNSS的原始数据以得到GNSS的位置和速度信息并传送给融合滤波器。
优选的，IMU处理单元处理IMU提供的加速度和角速度的原始数据以得到IMU位置信息并传送给融合滤波器包括如下步骤：
(1)用户运动模式和设备使用模式识别模块根据手持智能设备的IMU和其他可选的硬件(例如磁力计)提供的原始数据识别出静止、行走、跑步用户运动模式和手持、短信、电话、导航、口袋、背包设备使用模式；
(2)航向角偏差估计模块根据用户运动模式和设备使用模式识别模块输出的用户运动模式和设备使用模式和手持智能设备的IMU和其他可选的硬件(例如磁力计)提供的原始数据估计出航向角偏差；
(3)改进航位推算算法模块根据航向角偏差估计模块输出的航向角偏差和手持智能设备的IMU和其他可选的硬件(例如磁力计)提供的原始数据得到IMU位置信息并传送给所述融合滤波器。
优选的，所述改进航位推算算法模块包括如下步骤：
(1)测姿系统模块根据手持智能设备的IMU和其他可选磁力计提供的原始数据识别出手持智能设备的姿态信息；
(2)航向角偏差补偿模块读取航向角偏差估计模块输出的航向角偏差并补偿给行人航向角、输出给航位推算算法；
(3)步伐检测模块算法模块根据手持智能设备的IMU的原始数据检测出行人的步数反馈给步长估计模块；
(4)步长估计模块根据步伐检测模块的结果和手持智能设备的IMU的原始数据估计出行人的步长，并反馈给航位推算算法模块；
(5)航位推算算法模块根据步长估计模块输出的步长信息和航向角偏差补偿模块输出的行人航向角信息计算出IMU位置观测量并反馈给融合滤波器。
本发明的有益效果为：本发明优化了传统行人导航中IMU的使用方法，将其从融合滤波器的系统模型解放出来变成观测模型，克服了将传统多传感器融合在没有其他辅助系统的情况下，导航误差会迅速累积的缺点。本发明中的IMU处理模块考虑了日常生活中手持智能设备的多种模式，突破了传统多传感器融合IMU需和载体固定的限制。因此，本发明大大提高了行人导航的精确度和可用性。
附图说明
图1为本发明基于多传感器融合的行人导航装置的结构示意图。
图2为本发明中惯性单元处理模块的结构示意图。
图3为本发明中高斯内核支持向量机非线性分类器示意图。
图4为本发明中用户运动模式和智能设备使用模式识别支持向量机示意图。
图5为本发明中改进的行人航位推测算法示意图。
具体实施方式
如图1所示，一种基于多传感器融合的行人导航装置，包括：手持智能设备1、观测量处理单元2以及融合滤波器3。手持智能设备1利用自身硬件获取惯性测量单元(InertialMeasurement Unit，IMU)11、磁力计12、压力计13、WiFi14、低耗能蓝牙(Bluetooth LowEnergy，BLE)15和GNSS接收机16的原始数据，观测量处理单元2处理手持智能设备1提供的原始数据以提供位置或速度等观测量给融合滤波器3，融合滤波器3利用运动学模型作为系统模型31，观测量处理单元的结果建立观测模型32，经过融合滤波器3的处理最终得到行人导航结果。上述多传感器融合行人导航装置可以用于各种手持智能设备(包括智能手机、平板电脑、智能手表等)，手持智能设备可以手持或固定于行人身上。图1所示的多传感器融合的行人导航系统颠覆了传统行人导航中IMU的使用方法，将其从融合滤波器的系统模型31解放出来变成观测模型32，克服了将传统多传感器融合行人导航装置在没有其他辅助系统的情况下，导航误差会迅速累积的缺点。
上述手持智能设备1包括现有智能设备常见的IMU 11、磁力计12、压力计13、WiFi14、蓝牙BLE 15和GNSS接收机16等；IMU 11提供加速度和角速度的原始数据；磁力计12提供地磁的原始数据；所述压力计13提供大气气压的原始数据；WiFi 14提供WiFi接收信号强度(Received Signal Strength，RSS)的原始数据；蓝牙BLE 15提供BLERSS的原始数据；GNSS接收机16提供GNSS的原始速度和位置数据。手持智能设备1任何可以提供观测信息的其他传感器都可以包含在所提出的多传感器融合算法中。
上述观测量处理单元2包括：IMU处理单元21、磁力计处理单元22、压力计处理单元23、WiFi处理单元24、BLE处理单元25和GNSS处理单元26等。IMU处理单元21处理所述IMU 11提供的加速度和角速度的原始数据以得到IMU位置信息并传送给所述融合滤波器3；磁力计处理单元22处理所述磁力计12提供的地磁的原始数据以得到地磁位置信息并传送给所述融合滤波器3；压力计处理单元23处理所述压力计13提供的大气气压的原始数据以得到高程信息并传送给所述融合滤波器3；WiFi处理单元24处理所述WiFi 14提供的RSS原始数据以得到WiFi位置信息并传送给所述融合滤波器3；BLE处理单元25处理所述蓝牙BLE 15提供的RSS原始数据以得到BLE位置信息并传送给所述融合滤波器3；GNSS处理单元26处理所述GNSS接收机16原始数据以得到图像位置信息并传送给所述融合滤波器3。观测量处理单元2还包括其他处理单元以处理手持智能设备1的其他传感器来得到位置或速度信息并传送给融合滤波器3。
上述融合滤波器3包括系统模型31和观测模型32。系统模型31使用运动学模型对待测目标的位置和速度信息进行预测，并传送给观测模型32；观测模型32将系统模型31预测的位置、速度信息与观测量处理单元提供的基于IMU 11、磁力计12、压力计13、WiFi 14、蓝牙BLE 15和GNSS接收机16等的位置、速度等信息结合，更新待测目标的的最终位置和速度信息。
如图2所示，IMU处理单元21包括用户运动模式和设备使用模式识别模块211、航向角偏差估计模块212、改进航位推算算法模块213，用户运动模式和设备使用模式识别模块211根据所述手持智能设备的IMU 11和其他可选的硬件(例如磁力计12)提供的原始数据识别出静止、行走、跑步等用户运动模式和手持、短信、电话、导航、口袋、背包等设备使用模式。航向角偏差估计212模块根据所述用户运动模式和设备使用模式识别模块211输出的用户运动模式和设备使用模式和所述手持智能设备的IMU 11和其他可选的硬件(例如磁力计12)提供的原始数据估计出航向角偏差。改进航位推算算法模块213根据所述航向角偏差估计模块212输出的航向角偏差和所述手持智能设备1IMU 11和其他可选的硬件(例如磁力计12)提供的原始数据得到IMU位置信息并传送给所述融合滤波器3。图2中的所述IMU处理单元考虑了行人多种运动模式和智能设备的多种使用模式，设计了针对多种使用场景的IMU数据处理方法，突破了传统算法中IMU需要和载体固定的限制，提高了行人导航系统的可用性。
用户运动模式和设备使用模式识别模块211使用现有的手持智能设备1相关传感器输出：IMU 11，磁强计12，测距传感器(可选)，光传感器(可选)。IMU 11和磁强计12更新频率为50-200Hz；后两种传感器的输出为标量，更新为用户行为触发。用户运动模式和设备使用模式识别算法提取1-3秒内传感器统计数据，做出分类决定。用户运动模式和设备使用模式识别算法可以有多种实现方式。本发明用高斯内核对偶型支持向量机作为实现的示例。
如图3所示，基于高斯内核的支持向量机可以隐含的将特征向量映射到无限维线性空间，从而达到或超越非线性分类(如传统的KNN)的效果。l1范数软边际支持向量机原型如下：
训练公式(1)：
s.t.yi(wTφ(xi)+b)≥1-ξi，
ξi≥0.
其中，xi∈Rd，yi，i＝1，2，...，N为训练集合中的特征向量与分类结果，w∈Rd为权重向量，C为可控规范化常量用以平衡对于训练集合中数据的拟合过度与不足，φ(·)为特征向量映射函数。
分类公式(2)：
f(x)＝wTφ(x)+b.
由于满足KKT条件，l1范数软边际支持向量机对偶型如下：
训练公式(3)：
s.t.0≤αi≤C，
分类公式(4)：
引入高斯内核作为高效计算映射与内积的方式如下(5)：
k(x，x′)＝φ(x)Tφ(x′)＝exp(-||x-x＇||2/2σ2)，σ＞0.
则对偶型转可以化为如下形式：
训练公式(6)：
s.t.0≤αi≤C，
分类公式(7)：
与传统的分类器KNN不同，支持向量机对偶型的最优解αi，i＝1，2，...，N只存在少部分非零值，因此只需保留少部分训练特征向量(即支持向量)参与在线的分类计算(例如，实现如图3所示的基于随机产生数据的非线性分类器，KNN需要存储并使用1000个原始训练特征向量，支持向量机则只需142个支持向量)，从而在很大程度上降低了对于处理器电池消耗与系统内存的需求，比较适合于手持智能设备的应用。
用户运动模式和设备使用模式识别模块211将行人行为模式分为5类：1.静止；2.行走；3.跑步；4.自行车；5.驾驶汽车。行人行为模式的识别可以用于应用零速矫正，调节跟踪滤波器过程噪声的方差，以及调节动态系统马尔可夫过程的相关时间。所述用户运动模式和设备使用模式识别模块211将设备使用模式分为4类：1.前端平置；2.耳侧竖置；3.背包；4.臂章。手机姿态模式的识别可以用于前进方向的确定(坐标变换)，以及调节跟踪滤波器过程噪声的方差。
如图4所示，为应用二级分类器的用户运动模式和设备使用模式识别支持向量机示意图，包括加速度统计量2111、角速度统计量2112、转动角和倾斜角统计量2113、光和距离统计量2114、速度反馈统计量2115、特征规范化模块2116、主成分分析模块2117、支持向量机模块2118、用户运动模式一级分类器2119和设备使用模式二级分类器2110。具体实现步骤有：线下收集具有代表性的数据集，进行特征向量规范化与主成分分析，应用公式(5)与(6)进行训练，提取并存储支持向量；在线计算传感器输出统计量，进行特征向量规范化与主成分提取(与训练集中系数相同)，应用存储的支持向量，以及公式(5)与(7)进行二级分类，决定用户运动模式和设备使用模式。
本发明中的航向角偏差估计模块212包含多种不同的方法。当只有IMU 11可用时，我们采用基于主成分分析方法(Principle Component Analysis，PCA)。行人运动的一个特征是行人加速和减速的方向都在行进方向。因此可以通过PCA分析加速度计的数据得到行人的行进方向。当GNSS接收机16可用时，行人行进的方向可以通过GNSS的速度计算得来。当磁力计12可用的时候，行人行进的方向也可以通过磁力计12计算得来。手持智能设备的航向角则通过九轴融合或者六轴融合得来。因此，航向角偏差可以通过各种方法得来的行人行进方向的融合解和手持智能设备的航向角相减得到，并输出到航向角偏差补偿模块2132。
如图5所示，为上述改进航位推算算法模块213示意图，包括测姿系统模块2131、航向角偏差补偿模块2132、步伐检测模块2133、步长估计模块2134、航位推算算法模块2135，测姿系统模块2131根据所述手持智能设备1的IMU 11和其他可选磁力计12提供的原始数据识别出手持智能设备1的姿态信息。航向角偏差补偿模块2132读取航向角偏差估计模块212输出的航向角偏差并补偿给行人航向角、输出给航位推算算法模块2135。步伐检测模块2133根据所述手持智能设备的IMU 11的原始数据检测出行人的步数反馈给步长估计模块2134。步长估计模块2134根据所述步伐检测模块的结果和所述手持智能设备1的IMU 11的原始数据估计出行人的步长，并反馈给所述的航位推算算法模块2135。航位推算算法模块2135根据所述步长估计模块2134输出的步长信息和所述航向角偏差补偿模块2132输出的行人航向信息计算出IMU位置观测量并输出给所述的融合滤波器3。
测姿系统模块2131根据所述手持智能设备1的IMU 11和其他可选磁力计12提供的原始数据识别出手持智能设备1的姿态信息。测姿系统模块2131采用的算法根据地磁信息是否可用，选择九轴测姿算法或六轴测姿算法。最终，测姿系统模块2131输出智能设备1的航向角给航向角偏差补偿模块2132。
所述航向角偏差补偿模块2132读取航向角偏差估计模块212输出的航向角偏差并补偿给行人航向角、输出给航位推算算法模块2135。具体计算公式如下：
θp＝θd+θoffset .(1)
式中θp是行人航向角，θd是设备航向角，θoffset是航向角偏差。
步伐检测模块2133根据所述手持智能设备1的IMU 11的原始数据检测出行人的步数反馈给步长估计模块2134。步伐检测可以通过峰值检测、过零检测、相关检测和功率谱检测等方法检测步伐。本发明考虑到多种用户运动模式和设备使用模式，步伐检测算法采用峰值检测同时检测IMU 11的加速度数据和陀螺仪数据。
步长估计模块2134根据所述步伐检测模块2133的结果和所述手持智能设备1的IMU 11的原始数据估计出行人的步长，并输出给所述的航位推算算法模块2135。步长估算可以通过加速度积分、钟摆模型、线性模型、经验模型等不同方法计算。本发明考虑到多种用户运动模式和设备使用模式，步长估算采用如下线性模型：
sk-1，k＝A·(fk-1+fk)+B·(σacc，k-1+σacc，k)+C (2)
式中A，B和C是常数，fk-1和fk是k-1时刻和k时刻的步频，σacc，k-1和σacc，k是k-1时刻和k时刻的加速度计的方差。
航位推算算法模块2135根据k-1时刻的位置[re，k-1 rn，k-1]T、步长估计模块2134输出的步长信息sk-1，k和航向角偏差补偿模块2132输出的航向角信息θk-1推算出k时刻的位置[re，k rn，k]T。对应的计算公式如下：
最终，航位推算算法模块2135输出IMU位置观测量给所述的融合滤波器3。
融合滤波器3包括系统模型31和观测模型32。传统的多传感器融合结构一般通过惯性机械编排算法处理IMU测量数据，并建立相关的融合滤波器系统模型。由于惯性机械编排中存在很多积分操作，因此当没有外在辅助系统的情况下，传统的多传感器融合结构的定位误差会迅速累积。本发明克服传统的多传感器融合结构的缺陷，以行人的运动模型作为系统模型，而IMU相关数据和其他系统一样作为观测模型。
融合滤波器3可以采用卡尔曼滤波(Kalman Filter，KF)、自适应卡尔曼滤波(Adaptive Kalman Filter，AKF)、UKF无损卡尔曼滤波(Unscented Kalman Filter，UKF)或粒子滤波(Particle Filter，PF)。本发明给出KF的设计范例。其他的滤波器可以参考KF的设计。融合滤波器3实现为KF的状态向量定义如下：
x＝[re rn ru ve vn vu]T (4)
式中re，rn和ru是三维位置(东北天坐标系)，ve，vn和vu是对应的三维速度组成。该KF系统模型32采用经典的运动学模型，定义如下：
xk+1k＝Φk，k+1 xk|k+ωk (5)
式中xk+1k是预测的状态向量，xk|k是在k时刻先前的状态向量，Φk，k+1是一个6×6转移矩阵：
式中Δt是两个时刻的时间差。ωk是协方差矩阵的处理噪声，定义如下：
式中和是在k时刻东向天坐标系下的速度噪声，按随机游走建模。
式中和是在k-1时刻东向天坐标系的速度噪声，ne，nn和nu是高斯白噪声，Δt是两个时刻的时间差。
融合滤波器3实现为KF的测量模型31定义如下：
zk＝Hkxkk+υk (9)
式中zk是测量向量，Hk是决策矩阵。υk是测量噪声以高斯白噪声为模型，其协方差矩阵为zk和Hk随观测量的不同而变化。当观测量来自于IMU 11时，典型的zk和Hk定义如下：
zk＝[re ru]T
当观测量来自于磁力计12时，典型的zk和Hk定义如下：
zk＝[re rn ru]T
当观测量来自于压力计13时，典型的zk和Hk定义如下：
zk＝ru
Hk＝[0 0 1 0 0 0] (12)
当观测量来自于WiFi 14时，典型的zk和Hk定义如下：
zk＝[re rn ru]T
当观测量来自于蓝牙BLE15时，典型的zk和Hk定义如下：
zk＝[re rn ru]T
当观测量来自于GNSS接收机16时，典型的zk和Hk定义如下：
zk＝[re rn ru ve vn vu]T
KF处理过程有两个阶段：预测和更新。在预测过程，根据系统模型预测出状态向量和协方差矩阵。
在更新过程中，根据测量模型更新状态向量和协方差矩阵：
式中Kk称为卡尔曼增益。
尽管本发明就优选实施方式进行了示意和描述，但本领域的技术人员应当理解，只要不超出本发明的权利要求所限定的范围，可以对本发明进行各种变化和修改。

Claims (12)

1.一种基于多传感器融合技术的行人导航装置，其特征在于，包括：手持智能设备(1)、观测量处理单元(2)以及融合滤波器(3)；所述的手持智能设备(1)利用自身硬件获取观测量原始数据，所述观测量处理单元(2)处理手持智能设备(1)提供的原始数据以提供位置和速度观测量给融合滤波器(3)，所述融合滤波器(3)利用运动学模型作为系统模型(32)，观测量处理单元的结果建立观测模型(33)，经过融合滤波器(3)的处理最终得到行人导航结果。
2.如权利要求1所述的基于多传感器融合技术的行人导航装置，其特征在于，所述手持智能设备1自身硬件包括：惯性测量单元IMU(11)、磁力计(12)、压力计(13)、WiFi(14)、低耗能蓝牙BLE(15)和GNSS接收机(16)；所述惯性测量单元IMU(11)提供加速度和角速度的原始数据；所述磁力计(12)提供地磁的原始数据；所述压力计(13)提供大气气压的原始数据；所述WiFi(14)提供WiFi接收信号强度RSS的原始数据；所述蓝牙BLE(15)提供BLERSS的原始数据；所述GNSS接收机(16)提供GNSS的原始数据；手持智能设备(1)还包括提供观测信息的其他传感器。
3.如权利要求1所述的基于多传感器融合技术的行人导航装置，其特征在于，观测量处理单元(2)包括：IMU处理单元(21)、磁力计处理单元(22)、压力计处理单元(23)、WiFi处理单元(24)、BLE处理单元(25)和GNSS处理单元(26)；所述IMU处理单元(21)根据所述惯性测量单元IMU(11)的加速度和角速度的原始数据以得到IMU位置信息并传送给所述融合滤波器(3)；所述磁力计处理单元(22)根据所述磁力计(12)的地磁的原始数据以得到地磁位置信息并传送给所述融合滤波器(3)；所述压力计处理单元(23)根据所述压力计(13)的大气气压的原始数据以得到高程信息并传送给所述融合滤波器(3)；所述WiFi处理单元（ 24 ）根据所述WiFi(14)的RSS原始数据以得到WiFi位置信息并传送给所述融合滤波器(3)；所述BLE处理单元(25)根据所述蓝牙BLE(15)的RSS原始数据以得到BLE位置信息并传送给所述融合滤波器(3)；所述GNSS处理单元(26)根据所述GNSS接收机(16)的位置和速度信息并传送给所述融合滤波器(3)；观测量处理单元(2)还包括其他处理单元以处理智能设备平台的其他传感器来得到位置或速度信息并传送给融合滤波器(3)。
4.如权利要求3所述的基于多传感器融合技术的行人导航装置，其特征在于，所述IMU处理单元(21)包括用户运动模式和设备使用模式识别模块、航向角偏差估计模块、改进航位推算算法模块，所述用户运动模式和设备使用模式识别模块根据所述手持智能设备的IMU提供的原始数据识别出静止、行走、跑步用户运动模式和手持、短信、电话、导航、口袋、背包设备使用模式；所述航向角偏差估计模块根据所述用户运动模式和设备使用模式识别模块输出的用户运动模式和设备使用模式和所述手持智能设备的IMU提供的原始数据估计出航向角偏差；改进航位推算算法模块根据所述航向角偏差估计模块输出的航向角偏差和所述手持智能设备的IMU提供的原始数据得到IMU位置信息并传送给所述融合滤波器(3)。
5.如权利要求4所述的基于多传感器融合技术的行人导航装置，其特征在于，所述改进航位推算算法模块包括测姿系统模块、航向角偏差补偿模块、步伐检测模块、步长估计模块、航位推算算法模块，所述测姿系统模块根据所述手持智能设备的IMU和磁力计提供的原始数据识别出手持智能设备的姿态信息；所述航向角偏差补偿模块读取航向角偏差估计模块输出的航向角偏差并补偿给行人航向角、输出给航位推算算法模块；步伐检测模块算法模块根据所述手持智能设备的IMU的原始数据检测出行人的步数反馈给步长估计模块；步长估计模块根据所述步伐检测模块的结果和所述手持智能设备的IMU的原始数据估计出行人的步长，并反馈给所述的航位推算算法模块；航位推算算法模块根据所述步长估计模块输出的步长信息和所述航向角偏差补偿模块输出的行人航向角信息计算出IMU位置观测量并反馈给所述的融合滤波器(3)。
6.如权利要求4所述的基于多传感器融合技术的行人导航装置，其特征在于，所述用户运动模式和设备使用模式识别模块采用一种基于高斯内核对偶型支持向量机的二级分类器，在周期性时间间隔中提取手持智能设备的传感器输出，运用支持向量与高斯内核对用户运动模式与手机使用模式进行识别与分类。
7.如权利要求1所述的基于多传感器融合技术的行人导航装置，其特征在于：计算IMU，磁力计，测距，光传感器的输出统计量，及其衍生统计量，以其为特征向量进行规范化与主成分分析，截取相应于保留绝大多数数据方差的特征值的特征向量参与支持向量机的线下训练。
8.如权利要求1所述的基于多传感器融合技术的行人导航装置，其特征是：手持智能设备的在线分类计算，只需存储并运用降维后的少数支持向量，进行用户运动模式与设备使用模式的二级分类。
9.一种基于多传感器融合技术的行人导航方法，其特征在于，包括如下步骤：
(1)手持智能设备利用自身硬件获取IMU、磁力计、压力计、WiFi、BLE和GNSS的原始数据；
(2)观测量处理单元处理手持智能设备提供的原始数据以提供位置和速度观测量给融合滤波器(3)；
(3)融合滤波器(3)利用运动学模型作为系统模型，观测量处理单元的结果建立观测模型，经过融合滤波器(3)的处理最终得到行人导航结果。
10.如权利要求9所述的一种基于多传感器融合技术的行人导航方法，其特征在于，观测量处理单元处理手持智能设备提供的原始数据以提供位置和速度观测量给融合滤波器(3)包括如下步骤：
IMU处理单元处理IMU提供的加速度和角速度的原始数据以得到IMU位置信息并传送给融合滤波器(3)；
磁力计处理单元处理磁力计提供的地磁的原始数据以得到地磁位置信息并传送给融合滤波器(3)；
压力计处理单元处理压力计提供的大气气压的原始数据以得到高程信息并传送给融合滤波器(3)；
WiFi处理单元处理WiFi提供的RSS原始数据以得到WiFi位置信息并传送给融合滤波器(3)；
BLE处理单元处理BLE提供的RSS原始数据以得到BLE位置信息并传送给融合滤波器(3)；
GNSS处理单元处理GNSS芯片提供的GNSS的原始数据以得到GNSS的位置和速度信息并传送给融合滤波器(3)。
11.如权利要求10所述的一种基于多传感器融合技术的行人导航方法，其特征在于，IMU处理单元处理IMU提供的加速度和角速度的原始数据以得到IMU位置信息并传送给融合滤波器(3)包括如下步骤：
用户运动模式和设备使用模式识别模块根据手持智能设备的IMU提供的原始数据识别出静止、行走、跑步用户运动模式和手持、短信、电话、导航、口袋、背包设备使用模式；
航向角偏差估计模块根据用户运动模式和设备使用模式识别模块输出的用户运动模式和设备使用模式和手持智能设备的IMU提供的原始数据估计出航向角偏差；
改进航位推算算法模块根据航向角偏差估计模块输出的航向角偏差和手持智能设备的IMU提供的原始数据得到IMU位置信息并传送给融合滤波器(3)。
12.如权利要求11所述的一种基于多传感器融合技术的行人导航方法，其特征在于，改进航位推算算法模块包括如下步骤：
测姿系统模块根据手持智能设备的IMU和磁力计提供的原始数据识别出手持智能设备的姿态信息；
航向角偏差补偿模块读取航向角偏差估计模块输出的航向角偏差并补偿给行人航向角、输出给航位推算算法模块；
步伐检测模块算法模块根据手持智能设备的IMU的原始数据检测出行人的步数反馈给步长估计模块；
步长估计模块根据步伐检测模块的结果和手持智能设备的IMU的原始数据估计出行人的步长，并反馈给航位推算算法模块；
航位推算算法模块根据步长估计模块输出的步长信息和航向角偏差补偿模块输出的行人航向角信息计算出IMU位置观测量并反馈给融合滤波器(3)。
CN201610431107.0A 2016-06-16 2016-06-16 一种基于多传感器融合技术的行人导航装置和方法 Active CN106017454B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610431107.0A CN106017454B (zh) 2016-06-16 2016-06-16 一种基于多传感器融合技术的行人导航装置和方法
PCT/CN2016/087281 WO2017215024A1 (zh) 2016-06-16 2016-06-27 一种基于新型多传感器融合技术的行人导航装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610431107.0A CN106017454B (zh) 2016-06-16 2016-06-16 一种基于多传感器融合技术的行人导航装置和方法

Publications (2)

Publication Number Publication Date
CN106017454A CN106017454A (zh) 2016-10-12
CN106017454B true CN106017454B (zh) 2018-12-14

Family

ID=57089015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610431107.0A Active CN106017454B (zh) 2016-06-16 2016-06-16 一种基于多传感器融合技术的行人导航装置和方法

Country Status (2)

Country Link
CN (1) CN106017454B (zh)
WO (1) WO2017215024A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106767784B (zh) * 2016-12-21 2019-11-08 上海网罗电子科技有限公司 一种蓝牙训练惯导的消防精确室内定位方法
CN107328406B (zh) * 2017-06-28 2020-10-16 中国矿业大学(北京) 一种基于多源传感器的矿井移动目标定位方法与系统
CN107990901B (zh) * 2017-11-28 2021-03-12 元力云网络有限公司 一种基于传感器的用户方向定位方法
CN107943042B (zh) * 2017-12-06 2021-04-27 东南大学 一种地磁指纹数据库自动化构建方法与装置
CN110118549B (zh) * 2018-02-06 2021-05-11 刘禹岐 一种多源信息融合定位方法和装置
CN108413968B (zh) * 2018-07-10 2018-10-09 上海奥孛睿斯科技有限公司 一种运动识别的方法和系统
CN109682372B (zh) * 2018-12-17 2022-10-18 重庆邮电大学 一种结合建筑物结构信息与rfid标定的改进型pdr方法
CN110132257B (zh) * 2019-05-15 2023-03-24 吉林大学 基于多传感器数据融合的人体行为预测方法
CN111984853B (zh) * 2019-05-22 2024-03-22 北京车和家信息技术有限公司 试驾报告生成方法和云端服务器
CN110427046B (zh) * 2019-07-26 2022-09-30 沈阳航空航天大学 一种三维平滑随机游走无人机群移动模型
CN112747754A (zh) * 2019-10-30 2021-05-04 北京初速度科技有限公司 一种多传感器数据的融合方法、装置及系统
CN110764506B (zh) * 2019-11-05 2022-10-11 广东博智林机器人有限公司 移动机器人的航向角融合方法、装置和移动机器人
CN110849392A (zh) * 2019-11-15 2020-02-28 上海有个机器人有限公司 一种机器人的里程计数据校正方法及机器人
CN110986941B (zh) * 2019-11-29 2021-09-24 武汉大学 一种手机安装角的估计方法
CN111174780B (zh) * 2019-12-31 2022-03-08 同济大学 盲人道路惯导定位系统
CN111174781B (zh) * 2019-12-31 2022-03-04 同济大学 一种基于可穿戴设备联合目标检测的惯导定位方法
CN111256709B (zh) * 2020-02-18 2021-11-02 北京九曜智能科技有限公司 基于编码器和陀螺仪的车辆航位推算定位方法及装置
CN111811502B (zh) * 2020-07-10 2022-07-22 北京航空航天大学 一种运动载体多源信息融合导航方法及系统
CN112268557B (zh) * 2020-09-22 2024-03-05 宽凳(湖州)科技有限公司 一种城市场景实时高精定位方法
CN112379395B (zh) * 2020-11-24 2023-09-05 中国人民解放军海军工程大学 一种定位导航授时系统
CN112556696B (zh) * 2020-12-03 2022-01-07 腾讯科技（深圳）有限公司 一种对象定位方法、装置、计算机设备以及存储介质
CN113008224A (zh) * 2021-03-04 2021-06-22 国电瑞源(西安)智能研究院有限公司 一种融合多传感器的室内外自适应导航系统及方法
CN113229804A (zh) * 2021-05-07 2021-08-10 陕西福音假肢有限责任公司 一种用于关节活动度的磁场数据融合电路及其方法
CN113790722B (zh) * 2021-08-20 2023-09-12 北京自动化控制设备研究所 一种基于惯性数据时频域特征提取的行人步长建模方法
CN113655439A (zh) * 2021-08-31 2021-11-16 上海第二工业大学 一种改进粒子滤波的室内定位方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102175463A (zh) * 2011-02-12 2011-09-07 东南大学 一种基于改进卡尔曼滤波的汽车路试制动性能检测方法
CN103759730A (zh) * 2014-01-16 2014-04-30 南京师范大学 一种基于导航信息双向融合的行人与智能移动载体的协同导航系统及其导航方法
CN103968827A (zh) * 2014-04-09 2014-08-06 北京信息科技大学 一种可穿戴式人体步态检测的自主定位方法
CN104613963A (zh) * 2015-01-23 2015-05-13 南京师范大学 基于人体运动学模型的行人导航系统与导航定位方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201500411D0 (en) * 2014-09-15 2015-02-25 Isis Innovation Determining the position of a mobile device in a geographical area
US9410979B2 (en) * 2014-09-23 2016-08-09 Fitbit, Inc. Hybrid angular motion sensors
CN104931049A (zh) * 2015-06-05 2015-09-23 北京信息科技大学 一种基于运动分类的行人自主定位方法
CN105588566B (zh) * 2016-01-08 2019-09-13 重庆邮电大学 一种基于蓝牙与mems融合的室内定位系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102175463A (zh) * 2011-02-12 2011-09-07 东南大学 一种基于改进卡尔曼滤波的汽车路试制动性能检测方法
CN103759730A (zh) * 2014-01-16 2014-04-30 南京师范大学 一种基于导航信息双向融合的行人与智能移动载体的协同导航系统及其导航方法
CN103968827A (zh) * 2014-04-09 2014-08-06 北京信息科技大学 一种可穿戴式人体步态检测的自主定位方法
CN104613963A (zh) * 2015-01-23 2015-05-13 南京师范大学 基于人体运动学模型的行人导航系统与导航定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
三维复杂运动模式航迹推算惯性导航室内定位;陈兴秀等;《应用科学学报》;20140731;第32卷(第4期);349-356 *
基于PDR、WiFi指纹识别、磁场匹配组合的室内行人导航定位;张鹏等;《测绘地理信息》;20160605;第41卷(第3期);29-32,37 *

Also Published As

Publication number Publication date
CN106017454A (zh) 2016-10-12
WO2017215024A1 (zh) 2017-12-21

Similar Documents

Publication Publication Date Title
CN106017454B (zh) 一种基于多传感器融合技术的行人导航装置和方法
EP2946167B1 (en) Method and apparatus for determination of misalignment between device and pedestrian
Ban et al. Indoor positioning method integrating pedestrian Dead Reckoning with magnetic field and WiFi fingerprints
US10126134B2 (en) Method and system for estimating uncertainty for offline map information aided enhanced portable navigation
US10648816B2 (en) Device and method for integrated navigation based on wireless fingerprints and MEMS sensors
US11041725B2 (en) Systems and methods for estimating the motion of an object
Kourogi et al. Indoor/outdoor pedestrian navigation with an embedded GPS/RFID/self-contained sensor system
US10337884B2 (en) Method and apparatus for fast magnetometer calibration
US8473241B2 (en) Navigation trajectory matching
US10547976B2 (en) Method and system for assigning point of sale information
Lee et al. An experimental heuristic approach to multi-pose pedestrian dead reckoning without using magnetometers for indoor localization
US10652696B2 (en) Method and apparatus for categorizing device use case for on foot motion using motion sensor data
KR20170060034A (ko) 맵 정보 보조 향상된 휴대가능 내비게이션을 이용하기 위한 방법 및 장치
CN107110654A (zh) 定位设备和用于定位的方法
CN111024126A (zh) 一种行人导航定位中的自适应零速修正方法
JP3968429B2 (ja) 位置情報処理装置
KR101523147B1 (ko) 실내 측위 장치 및 방법
Koroglu et al. Multiple hypothesis testing approach to pedestrian INS with map-matching
Asano et al. A robust pedestrian dead-reckoning positioning based on pedestrian behavior and sensor validity
KR20160004084A (ko) 실내 보행자 위치 추적 장치 및 방법
Martin et al. Simplified pedestrian tracking filters with positioning and foot-mounted inertial sensors
Saadatzadeh et al. Pedestrian dead reckoning using smartphones sensors: an efficient indoor positioning system in complex buildings of smart cities
Kasebzadeh Learning human gait
Parviainen Studies on sensor aided positioning and context awareness
Woyano et al. A survey of pedestrian dead reckoning technology using multi-sensor fusion for indoor positioning systems

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant