CN107907127A - 一种基于深度学习的步长估计方法 - Google Patents

一种基于深度学习的步长估计方法 Download PDF

Info

Publication number
CN107907127A
CN107907127A CN201710938502.2A CN201710938502A CN107907127A CN 107907127 A CN107907127 A CN 107907127A CN 201710938502 A CN201710938502 A CN 201710938502A CN 107907127 A CN107907127 A CN 107907127A
Authority
CN
China
Prior art keywords
mrow
single step
zupt
msubsup
acceleration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710938502.2A
Other languages
English (en)
Inventor
刘昱
吴建超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201710938502.2A priority Critical patent/CN107907127A/zh
Publication of CN107907127A publication Critical patent/CN107907127A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的步长估计方法，步骤(1)、采集行人自由行走时的三轴加速度以及三轴角速度、四元数作为单步传感数据；步骤(2)、对于每一个单步传感数据基于双零速率修正点D‑ZIPT算法进行划分，选择F‑ZUPT点和S‑ZUPT点之间的距离得到单步传感数据；步骤(3)、通过计算单步行走在图像中跨越的像素点数目推算实际步长；步骤(4)、将规范的单步感数据后与基于视频分析得到的单步步长相关联，构建出用于学习的训练数据库；通过训练获得的智能预测模型对行人行进过程中的单步步长进行估计，并通过结果反馈和优化预测模型。与现有技术相比，本发明结合PDR系统的双零速率修正点D‑ZUPT技术，提高了步长估计的精度。

Description

一种基于深度学习的步长估计方法
技术领域
本发明涉及人员定位、数据处理应用领域，特别是涉及一种步长估计方法。
背景技术
基于惯性导航理论可以提供一种“无信标”、“无卫星”的定位和导航系统，即步行者航位推算(Pedestrian Dead Reckoning，PDR)系统。PDR系统是一种不依赖于卫星信号、无信标、完全自主的导航定位系统，该系统通过附加于人员身体的惯性测量单元(InertialMeasurement Unit，IMU)，根据测量人员运动时的加速度、角速度以及四元数数据，对数据进行计算和融合，得到人员的行进距离及方向，最终推算出人员的行进路线及位置。运用PDR技术的人员定位方案，其关键技术在于步行者行进步长及方向的估计。对于PDR技术中的步长估计问题，早期的步长计算都是将行人的每一个单步步长设置为常数，由于行人行走的随机性和不确定性，这种方法并不适用于普通的步长计算。虽然国内外研究机构已经完成了一些有关PDR的研究工作，但对于PDR系统长期工作的误差漂移问题还有待解决，通常需要借助WiFi等定点信标对PDR系统误差进行消除。
研究者根据步长与步频的关系，又提出了基于步频的步长计算方法，而行人的步频与身高、体重等情况存在很大的相关性；根据牛顿定律，对行人运动的加速度进行二次积分，可以很方便获得运动的距离。而由于IMU本身偏差、电磁干扰等因素，导致误差成平方增长，并且不断累积。
发明内容
为了克服现有技术的不足，本发明提出了一种基于深度学习的步长估计方法，在人员定位步长估计中应用深度学习对数据进行学习，获得智能模型预测步长。
本发明的一种基于深度学习的步长估计方法，该方法包括以下步骤：
步骤1、采集行人自由行走时的三轴加速度以及三轴角速度作为单步传感数据；
步骤2、对于每一个单步传感数据基于双零速率修正点D-ZUPT算法进行划分；具体方法如下：依据人员运动过程中的规律性和周期性，对人员行走的步态周期和相应的加速度进行对应和分解，即设“脚尖离地”时刻为第一零速率修正点F-ZUPT，“脚跟着地”时刻为第二零速率修正点S-ZUPT；如果i时刻的三轴加速度满足公式如下时，即判定为F-ZUPT点：
其中，t表示采样间隔，和分别表示i时刻的人员的三轴加速度，Mth和Nth分别表示加速度斜率阈值和加速度阈值；
当人员脚跟触地时，人员运动的三轴加速度在这个瞬间就会产生一个拐点，即满足下式：
其中，表示i时刻的任一轴的加速度，即和集合。
将满足该式的时间点集合定义为触地瞬间时间组lgp，在lgp中选取S-ZUPT点，具体处理如下：
计算lgp中三轴加速度的绝对值，选取最大加速度的时刻m；
将时刻m后的第二个时间点当作S-ZUPT点；
选择F-ZUPT点和S-ZUPT点之间的距离得到单步传感数据；
步骤3、采用视频分析的方法对实际步长进行推算，通过计算单步行走在图像中跨越的像素点数目推算实际步长；
步骤4、将规范的单步感数据后与基于视频分析得到的单步步长相关联，构建出用于学习的训练数据库；通过训练获得的智能预测模型对行人行进过程中的单步步长进行估计，并通过结果反馈和优化预测模型。
与现有技术相比，本发明将深度学习智能模型与步行者航位推算(PedestrianDead Reckoning，PDR)系统的双零速率修正点(Dual Zero Velocity Updates，D-ZUPT)等技术结合，提高了步长估计的精度。
附图说明
图1为本发明一种基于深度学习的步长估计方法的整体流程图。
图2人员行走步态周期中D-ZUPT方法划分单步的原理示意图；
具体实施方式
深度学习作为智能信息处理方法，已经被广泛应用于各类信息处理系统中。本发明通过采集不同步态条件下的单步传感数据，构建不同单步运动的加速度、角速度以及四元数数据库。基于CNN模型设计卷积神经网络结构，采用TensorFlow框架平台设计算法，对人员运动中的惯性数据进行学习，调整网络模型中的训练参数，获得对步长的良好预测。
下面将结合附图对本发明的实施方式作进一步的详细描述。
如图1所示，本发明一种基于深度学习的步长估计方法的整体流程包括以下步骤：
步骤1、行人自由行走时，采集行人运动的三轴加速度以及三轴角速度、四元数，本发明选用的惯性测量单元(IMU)为Xsens公司生产的MTw传感器，内置三轴加速度计、三轴陀螺仪以及三轴磁力计；将IMU放置在行人双脚脚跟外侧位置，鉴于脚跟位置在行进过程中步态信息变化较为显著，将IMU固定于脚跟外侧，安装简单且对人员的行进过程影响较小。
步骤2、对于传感器获得的每一个单步数据采用D-ZUPT算法进行划分；具体方法如下：依据人员运动过程中的规律性和周期性，对人员行走的步态周期和相应的加速度进行对应和分解，如图2所示。设Toe-off(脚尖离地)时刻为第一零速率修正点(F-ZUPT)，Heel-strike(脚跟着地)时刻为第二零速率修正点(S-ZUPT)。对于F-ZUPT，如果i时刻的三轴加速度满足公式如下时，即判定为F-ZUPT点：
其中：t表示采样间隔，和分别表示i时刻的人员的三轴加速度，Mth和Nth分别表示加速度斜率阈值和加速度阈值，基于大量的实验数据验证，我们将加速度斜率阈值Mth设置为58m/s3，将加速度阈值Nth设置为14m/s3。
当人员脚跟触地时，人员运动的三轴加速度在这个瞬间就会产生一个拐点，即满足下式：
其中，表示i时刻的任一轴的加速度，即和集合；
将满该式的时间点集合定义为触地瞬间时间组(lgp)，S-ZUPT点在lgp中进行选取，具体步骤如下：
(1)计算lgp中三轴加速度的绝对值，选取最大加速度的时刻m；
(2)将时刻m后的第二个时间点当作S-ZUPT点。
完成D-ZUPT点的检测之后，即完成F-ZUPT点和S-ZUPT点的选取。单步步行的对应的传感数据即可选择F-ZUPT点和S-ZUPT点之间的数据即可。
步骤3、采用视频分析的方法对实际步长进行推算：在测试场地的地面上粘贴白色的行走导向标记，采用高清摄像机(4K×2K)对人员侧面进行正对拍摄，调整拍摄角度和位置，覆盖整个测试场地，并在左右2边各留出2米空间；这样，不考虑几何畸变的条件下，图片像素点与地面实际距离存在对应关系，可以通过计算单步行走在图像中跨越的像素点数目推算实际单步步长；以实际步长与规范后的通过D-ZUPT技术划分得到的单步步长传感器数据相关联，构建用于深度学习的数据集；
步骤4、为了保证数据统一表达特性，单步行走的中加速度、角速度数据还需“归一化”处理为单步传感数据(采用256个样本表示一个单步行走)。此外，由于传感器在行走中姿态一直变化，需要采用坐标转换将“归一化”的单步传感数据转换为标准坐标系(东西-南北-天地)，并对左、右脚上的传感数据进行同步处理，最终得到规范的单步传感数据。最后，将规范的单步感数据后与基于视频分析得到的单步步长相关联，构建出用于学习的训练数据库。通过训练获得的智能预测模型对行人行进过程中的单步步长进行估计，并通过结果反馈和优化预测模型。

Claims (3)

1.一种基于深度学习的步长估计方法，其特征在于，该方法包括以下步骤：
步骤(1)、采集行人自由行走时的三轴加速度以及三轴角速度作为单步传感数据；
步骤(2)、对于每一个单步传感数据基于双零速率修正点D-ZUPT算法进行划分；具体方法如下：依据人员运动过程中的规律性和周期性，对人员行走的步态周期和相应的加速度进行对应和分解，即设“脚尖离地”时刻为第一零速率修正点F-ZUPT，“脚跟着地”时刻为第二零速率修正点S-ZUPT；如果i时刻的三轴加速度满足公式如下时，即判定为F-ZUPT点：
<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mo>|</mo> <mfrac> <mrow> <msubsup> <mi>&amp;delta;a</mi> <mi>i</mi> <mi>N</mi> </msubsup> </mrow> <mrow> <mi>&amp;delta;</mi> <mi>t</mi> </mrow> </mfrac> <mo>|</mo> <mo>+</mo> <mo>|</mo> <mfrac> <mrow> <msubsup> <mi>&amp;delta;a</mi> <mi>i</mi> <mi>E</mi> </msubsup> </mrow> <mrow> <mi>&amp;delta;</mi> <mi>t</mi> </mrow> </mfrac> <mo>|</mo> <mo>+</mo> <mo>|</mo> <mfrac> <mrow> <msubsup> <mi>&amp;delta;a</mi> <mi>i</mi> <mi>D</mi> </msubsup> </mrow> <mrow> <mi>&amp;delta;</mi> <mi>t</mi> </mrow> </mfrac> <mo>|</mo> <mo>&amp;GreaterEqual;</mo> <msub> <mi>M</mi> <mrow> <mi>t</mi> <mi>h</mi> </mrow> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>|</mo> <msubsup> <mi>a</mi> <mi>i</mi> <mi>N</mi> </msubsup> <mo>|</mo> <mo>+</mo> <mo>|</mo> <msubsup> <mi>a</mi> <mi>i</mi> <mi>E</mi> </msubsup> <mo>|</mo> <mo>+</mo> <mo>|</mo> <msubsup> <mi>a</mi> <mi>i</mi> <mi>D</mi> </msubsup> <mo>|</mo> <mo>&amp;le;</mo> <msub> <mi>N</mi> <mrow> <mi>t</mi> <mi>h</mi> </mrow> </msub> </mrow> </mtd> </mtr> </mtable> </mfenced>
其中，t表示采样间隔，和分别表示i时刻的人员的三轴加速度，Mth和Nth分别表示加速度斜率阈值和加速度阈值；
当人员脚跟触地时，人员运动的三轴加速度在这个瞬间就会产生一个拐点，即满足下式：
<mrow> <mfrac> <mrow> <msubsup> <mi>&amp;delta;a</mi> <mi>i</mi> <mi>n</mi> </msubsup> </mrow> <mrow> <mi>&amp;delta;</mi> <mi>t</mi> </mrow> </mfrac> <mo>=</mo> <mn>0</mn> </mrow>
其中，表示i时刻的任一轴的加速度，即和集合；
将满足该式的时间点集合定义为触地瞬间时间组lgp，在lgp中选取S-ZUPT点，具体处理如下：
计算lgp中三轴加速度的绝对值，选取最大加速度的时刻m；
将时刻m后的第二个时间点当作S-ZUPT点；
选择F-ZUPT点和S-ZUPT点之间的距离得到单步传感数据；
步骤(3)、采用视频分析的方法对实际步长进行推算，通过计算单步行走在图像中跨越的像素点数目推算实际步长；
步骤(4)、将规范的单步感数据后与基于视频分析得到的单步步长相关联，构建出用于学习的训练数据库；通过训练获得的智能预测模型对行人行进过程中的单步步长进行估计，并通过结果反馈和优化预测模型。
2.如权利要求1所述的一种基于深度学习的步长估计方法，其特征在于，其中所述步骤(1)中的单步数据还需经过以下处理：
将构成所述单步传感数据的三轴加速度、角速度数据进行“归一化”处理，之后采用坐标转换将“归一化”的单步传感数据转换为标准坐标系，并对左、右脚上的传感数据进行同步处理，最终得到规范的单步传感数据。
3.如权利要求1所述的一种基于深度学习的步长估计方法，其特征在于，其中所述步骤(2)中的加速度斜率阈值Mth设置为58m/s3，将加速度阈值Nth设置为14m/s3。
CN201710938502.2A 2017-09-30 2017-09-30 一种基于深度学习的步长估计方法 Pending CN107907127A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710938502.2A CN107907127A (zh) 2017-09-30 2017-09-30 一种基于深度学习的步长估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710938502.2A CN107907127A (zh) 2017-09-30 2017-09-30 一种基于深度学习的步长估计方法

Publications (1)

Publication Number Publication Date
CN107907127A true CN107907127A (zh) 2018-04-13

Family

ID=61841216

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710938502.2A Pending CN107907127A (zh) 2017-09-30 2017-09-30 一种基于深度学习的步长估计方法

Country Status (1)

Country Link
CN (1) CN107907127A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109883416A (zh) * 2019-01-23 2019-06-14 中国科学院遥感与数字地球研究所 一种结合可见光通信定位和惯导定位的定位方法及装置
CN110558990A (zh) * 2019-07-30 2019-12-13 福建省万物智联科技有限公司 一种步态分析方法及装置
CN110866419A (zh) * 2018-08-28 2020-03-06 北京嘀嘀无限科技发展有限公司 一种步长确定方法、系统及计算机可读存储介质
CN113686335A (zh) * 2021-06-10 2021-11-23 上海奥欧智能科技有限公司 通过一维卷积神经网用imu数据进行精确室内定位的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104266648A (zh) * 2014-09-16 2015-01-07 南京诺导电子科技有限公司 Android平台MARG传感器的室内定位系统
CN105698795A (zh) * 2015-12-04 2016-06-22 天津大学 一种室内定位步长计算方法
CN106225801A (zh) * 2016-06-30 2016-12-14 天津大学 一种基于惯性传感的人员步长估算的方法
CN106643715A (zh) * 2016-11-17 2017-05-10 天津大学 一种基于bp神经网络改善的室内惯性导航方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104266648A (zh) * 2014-09-16 2015-01-07 南京诺导电子科技有限公司 Android平台MARG传感器的室内定位系统
CN105698795A (zh) * 2015-12-04 2016-06-22 天津大学 一种室内定位步长计算方法
CN106225801A (zh) * 2016-06-30 2016-12-14 天津大学 一种基于惯性传感的人员步长估算的方法
CN106643715A (zh) * 2016-11-17 2017-05-10 天津大学 一种基于bp神经网络改善的室内惯性导航方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘昱等: "Step length estimation based on D-ZUPT for pedestrian dead-reckoning system", 《ELECTRONICS LETTERS》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866419A (zh) * 2018-08-28 2020-03-06 北京嘀嘀无限科技发展有限公司 一种步长确定方法、系统及计算机可读存储介质
CN109883416A (zh) * 2019-01-23 2019-06-14 中国科学院遥感与数字地球研究所 一种结合可见光通信定位和惯导定位的定位方法及装置
CN110558990A (zh) * 2019-07-30 2019-12-13 福建省万物智联科技有限公司 一种步态分析方法及装置
CN113686335A (zh) * 2021-06-10 2021-11-23 上海奥欧智能科技有限公司 通过一维卷积神经网用imu数据进行精确室内定位的方法
CN113686335B (zh) * 2021-06-10 2024-05-24 上海奥欧智能科技有限公司 通过一维卷积神经网用imu数据进行精确室内定位的方法

Similar Documents

Publication Publication Date Title
Chen et al. Ionet: Learning to cure the curse of drift in inertial odometry
Chen et al. Deep neural network based inertial odometry using low-cost inertial measurement units
EP3819592B1 (en) Positioning device, positioning method, and program
CN107830862A (zh) 一种基于智能手机的室内定位行人追踪的方法
CN104406586B (zh) 基于惯性传感器的行人导航装置和方法
CN107907127A (zh) 一种基于深度学习的步长估计方法
CN103033189B (zh) 一种深空探测巡视器惯性/视觉组合导航方法
US10352959B2 (en) Method and system for estimating a path of a mobile element or body
US11788843B2 (en) Determining the location of a mobile device
CN102538781B (zh) 基于机器视觉和惯导融合的移动机器人运动姿态估计方法
CN110095116A (zh) 一种基于lift的视觉定位和惯性导航组合的定位方法
CN109827577A (zh) 基于运动状态检测的高精度惯性导航定位算法
US10267646B2 (en) Method and system for varying step length estimation using nonlinear system identification
EP2386828B1 (en) Method and system for detection of a zero velocity state of an object
CN103968827A (zh) 一种可穿戴式人体步态检测的自主定位方法
Zhao et al. Smartphone-based 3D indoor pedestrian positioning through multi-modal data fusion
CN107014375B (zh) 超低部署的室内定位系统及方法
CN104713554A (zh) 一种基于mems惯性器件与安卓智能手机融合的室内定位方法
CN104613965B (zh) 一种基于双向滤波平滑技术的步进式行人导航方法
CN104197935B (zh) 一种基于移动智能终端的室内定位方法
CN102768361A (zh) 基于遗传粒子滤波与模糊神经网络的gps/ins组合定位方法
CN103791902A (zh) 适用于高机动载体的星敏感器自主导航方法
CN112004183B (zh) 一种基于卷积神经网络融合IMU和WiFi信息的机器人自主定位方法
CN106225801A (zh) 一种基于惯性传感的人员步长估算的方法
CN105547300A (zh) 用于auv的全源导航系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180413

WD01 Invention patent application deemed withdrawn after publication