CN110132257B - 基于多传感器数据融合的人体行为预测方法 - Google Patents

基于多传感器数据融合的人体行为预测方法 Download PDF

Info

Publication number
CN110132257B
CN110132257B CN201910403428.3A CN201910403428A CN110132257B CN 110132257 B CN110132257 B CN 110132257B CN 201910403428 A CN201910403428 A CN 201910403428A CN 110132257 B CN110132257 B CN 110132257B
Authority
CN
China
Prior art keywords
model
state
motion
information
attitude information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910403428.3A
Other languages
English (en)
Other versions
CN110132257A (zh
Inventor
周求湛
郝凯
杨桐
胡继康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN201910403428.3A priority Critical patent/CN110132257B/zh
Publication of CN110132257A publication Critical patent/CN110132257A/zh
Application granted granted Critical
Publication of CN110132257B publication Critical patent/CN110132257B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Navigation (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种基于多传感器数据融合的人体行为预测方法，所述方法包括如下步骤：步骤一、九轴传感器姿态信息滤波：通过九轴传感器监测人体姿态信息，经过扩展卡尔曼滤波器，对人体的姿态动作进行预测，同时反馈和更新姿态信息；步骤二、运动状态预测：由加速度传感器和GPS收发机监测人体运动状态和位置信息，通过交互多卡尔曼滤波器和九轴姿态信息反馈的姿态信息，结合模型似然函数对多种运动模型加权合并更新为新的运动状态信息，实现预测目的。本发明通过扩展卡尔曼滤波与交互多卡尔曼滤波结合，可以对人体运动状态进行精确估计，相比较之前的单传感器估计方法，本发明提出的方法具有更高的估计精度。

Description

基于多传感器数据融合的人体行为预测方法
技术领域
本发明属于滤波估计领域，涉及一种人体行为预测方法，具体涉及一种基于多传感器数据融合的人体行为预测方法。
背景技术
随着各种传感器滤波技术的不断发展，广泛的应用在生活的各个方面。目前应用在人体行为预测方面以单传感器和卡尔曼滤波为主，但是单传感器的数据类型单一，估计精度不高；同时在人体运动状态这种非线性条件下，卡尔曼滤波预测误差大。
发明内容
本发明的目的是提供一种基于多传感器数据融合的人体行为预测方法，该方法基于多传感器数据融合的交互多卡尔曼滤波方法来对人体行为进行预测，相比于其他方法精度有很大提升。
本发明的目的是通过以下技术方案实现的：
一种基于多传感器数据融合的人体行为预测方法，包括如下步骤：
步骤一、九轴传感器姿态信息滤波
通过九轴传感器监测人体姿态信息，经过扩展卡尔曼滤波器，对人体的姿态动作进行预测，同时反馈和更新姿态信息；
步骤二、运动状态预测
由加速度传感器和GPS收发机监测人体运动状态和位置信息，通过交互多卡尔曼滤波器和九轴姿态信息反馈的姿态信息，结合模型似然函数对多种运动模型加权合并更新为新的运动状态信息，实现预测目的。
本相比于现有技术，本发明具有如下优点：
本发明通过扩展卡尔曼滤波与交互多卡尔曼滤波结合，可以对人体运动状态进行精确估计，相比较之前的单传感器估计方法，本发明提出的方法具有更高的估计精度。
附图说明
图1是本发明九轴传感器姿态信息滤波流程图。
图2是本发明运动状态预测流程图。
具体实施方式
下面结合附图对本发明的技术方案作进一步的说明，但并不局限于此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。
本发明提供了一种基于多传感器数据融合的人体行为预测方法，所述方法通过多种传感器的数据融合，对人体的姿态、动作轨迹进行预测，主要包括两部分：第一部分通过九轴传感器ICM-20948监测人体姿态信息，经过扩展卡尔曼滤波器，对人体的姿态动作进行预测，同时反馈和更新姿态信息；第二部分由加速度传感器和GPS收发机监测人体运动状态和位置信息，首先输入人体的多种常用运动模型，分别通过扩展卡尔曼滤波器；根据九轴姿态信息反馈的姿态信息和预测的姿态信息，结合模型似然函数对多种模型加权合并更新为新的运动状态信息，依次循环，实现预测目的。具体步骤如下：
步骤一、九轴传感器姿态信息滤波(图1)
步骤1、九轴姿态参数初始化
选取九轴传感器状态量为X＝[ax，ay，az，wx，wy，wz，mx，my，mz]T，观测量为
Figure BDA0002060497270000031
其中，X表示九轴传感器加速度a、角速度w、磁力计m分别在x，y，z三个方向的状态值，Z表示九轴传感器加速度a、角速度w、磁力计m分别在x，y，z三个方向的观测值。
步骤2、系统方程线性化
人体姿态信息非线性动态方程为：
X(k+1)＝f(k，X(k))+L(k)M(k)；
Z(k)＝h(k，X(k))+N(k)；
其中：X(k)、X(k+1)分别为k时刻和k+1时刻的状态值，L(k)表示噪声驱动矩阵，M(k)表示过程噪声，Z(k)为k时刻观测值，N(k)表示观测噪声，f(k，X(k))、h(k，X(k))为系统非线性函数。
扩展卡尔曼滤波采用非线性函数的局部线性特征，将非线性模型线性化，线性化方程为：
X(k+1)＝Φ(k+1|k)+L(k)M(k)；
Z(k)＝H(k)X(k)+N(k)；
其中：Φ(k+1|k)为状态转移矩阵，H(k)为观测矩阵。系统的状态变量为9维，则它们的雅克比矩阵为：
Figure BDA0002060497270000032
Figure BDA0002060497270000041
/>
步骤3、k时刻姿态信息状态的提前预测：
Figure BDA0002060497270000042
姿态信息提前预测协方差为：
P(k+1|k)＝Φ(k+1|k)P(k|k)ΦT(k+1|k)+M(k+1)。
步骤4、姿态信息卡尔曼增益：
Figure BDA0002060497270000043
步骤5、姿态信息状态更新：
Figure BDA0002060497270000044
姿态信息协方差更新：
P(k+1)＝[I-K(k+1)H(k+1)P(k+1|k)]；
式中，I为单位矩阵。
步骤二、运动状态预测(图2)
步骤1、目标的运动模型
通常情况下，人体运动状态有匀速、匀加速、匀速转弯等几种运动模型，本发明针对匀速、匀加速、匀速转弯这几种情况进行讨论。
匀速模型为：
Figure BDA0002060497270000051
匀加速模型为：
Figure BDA0002060497270000052
匀速转弯模型为：
Figure BDA0002060497270000053
步骤2、输入交互
由上一步(k时刻)中更新的混合状态估计和每个模型滤波器的概率得到k+1时刻的混合状态估计和混合协方差估计。
假设模型n为匀速模型、匀加速模型、匀速转弯模型三种运动模型中的一种，模型m为匀速模型、匀加速模型、匀速转弯模型三种运动模型中的另一种，则有：
模型n的预测概率为：
Figure BDA0002060497270000054
模型m到模型n的混合概率为：
Figure BDA0002060497270000061
模型n的混合状态估计为：
Figure BDA0002060497270000062
模型n的混合协方差估计为：
Figure BDA0002060497270000063
其中：
Figure BDA0002060497270000064
为归一化常数；pmn为模型m到模型n的转移概率；μm(k)为模型m在k时刻的概率，/>
Figure BDA0002060497270000065
分别为k时刻模型m、模型n的预测值、pm(k/k)为模型m的混合协方差估计。
步骤3、卡尔曼滤波
每种运动模型都按照模型n经过扩展卡尔曼滤波，则有：
系统动态方程为：
Xn(k+1)＝fn(k，Xn(k))+Ln(k)Mn(k)；
Zn(k)＝hn(k，Xn(k))+Nn(k)。
k时刻状态的提前预测：
Figure BDA0002060497270000066
提前预测协方差为：
Figure BDA0002060497270000067
/>
卡尔曼增益：
Kn(k+1)＝Pn(k+1|k)HT(k+1)；
[H(k+1)Pn(k+1|k)HT(k+1)+Nn(k+1)]-1。
状态更新：
Figure BDA0002060497270000071
协方差更新：
Pn(k+1)＝[I-Kn(k+1)H(k+1)Pn(k+1|k)]。
步骤4、运动模型概率更新
通常交互多卡尔曼滤波采用似然函数更新模型的概率，模型n的似然函数为：
Figure BDA0002060497270000072
Figure BDA0002060497270000073
Sn(k+1)＝H(k+1)Pn(k+1|k)HT(k+1)+Nn(k+1)。
模型n的概率为：
Figure BDA0002060497270000074
其中：
Figure BDA0002060497270000075
c均为归一化常数。θn(k+1)为预测方差，Sn(k+1)为观测转移矩阵。
步骤5、输出交互模型
根据每个运动模型的概率和步骤一的九轴姿态信息，将每个滤波器的运动状态估计加权平均，得到总的混合运动状态估计
Figure BDA0002060497270000076
和混合协方差估计P(k+1|k+1)。
本发明通过扩展卡尔曼滤波与交互多卡尔曼滤波结合，可以对人体运动状态进行精确估计，相比较之前的单传感器估计方法，提出的方法有更高的估计精度。

Claims (2)

1.一种基于多传感器数据融合的人体行为预测方法，其特征在于所述方法包括如下步骤：
步骤一、九轴传感器姿态信息滤波
通过九轴传感器监测人体姿态信息，经过扩展卡尔曼滤波器，对人体的姿态动作进行预测，同时反馈和更新姿态信息；
步骤二、运动状态预测
由加速度传感器和GPS收发机监测人体运动状态和位置信息，通过交互多卡尔曼滤波器和九轴姿态信息反馈的姿态信息，结合模型似然函数对多种运动模型加权合并更新为新的运动状态信息，实现预测目的，具体步骤如下：
步骤1、目标的运动模型
匀速模型：
Figure FDA0003957318750000011
匀加速模型：
Figure FDA0003957318750000012
匀速转弯模型：
Figure FDA0003957318750000021
其中，w为角速度；
步骤2、输入交互
假设模型n为匀速模型、匀加速模型、匀速转弯模型三种运动模型中的一种，模型m为匀速模型、匀加速模型、匀速转弯模型三种运动模型中的另一种，则有：
模型n的预测概率为：
Figure FDA0003957318750000022
模型m到模型n的混合概率为：
Figure FDA0003957318750000023
模型n的混合状态估计为：
Figure FDA0003957318750000024
模型n的混合协方差估计为：
Figure FDA0003957318750000025
其中：
Figure FDA0003957318750000026
为归一化常数；pmn为模型m到模型n的转移概率；μm(k)为模型m在k时刻的概率；
步骤3、卡尔曼滤波
每种运动模型都按照模型n进行卡尔曼滤波，则有：
系统动态方程为：
Xn(k+1)＝fn(k,Xn(k))+Ln(k)Mn(k)；
Zn(k)＝hn(k,Xn(k))+Nn(k)；
k时刻状态的提前预测：
Figure FDA0003957318750000031
提前预测协方差为：
Figure FDA0003957318750000032
卡尔曼增益：
Kn(k+1)＝Pn(k+1|k)HT(k+1)；
[H(k+1)Pn(k+1|k)HT(k+1)+Nn(k+1)]-1；
状态更新：
Figure FDA0003957318750000033
协方差更新：
Pn(k+1)＝[I-Kn(k+1)H(k+1)Pn(k+1|k)]；
步骤4、运动模型概率更新
每种运动模型都按照模型n采用似然函数更新模型的概率，则有：
模型n的似然函数为：
Figure FDA0003957318750000034
Figure FDA0003957318750000035
Sn(k+1)＝H(k+1)Pn(k+1|k)HT(k+1)+Nn(k+1)；
模型n的概率为：
Figure FDA0003957318750000036
其中：
Figure FDA0003957318750000037
c均为归一化常数；
步骤5、输出交互模型
根据每个运动模型的概率和步骤一的九轴姿态信息，将每个滤波器的运动状态估计加权平均，得到总的运动状态估计
Figure FDA0003957318750000041
和P(k+1|k+1)。
2.根据权利要求1所述的基于多传感器数据融合的人体行为预测方法，其特征在于所述步骤一的具体步骤如下：
步骤1、九轴姿态参数初始化
选取九轴传感器状态量为X＝[ax,ay,az,wx,wy,wz,mx,my,mz]T，观测量为
Figure FDA0003957318750000042
，其中，X表示九轴传感器加速度a、角速度w、磁力计m分别在x，y，z三个方向的状态值，Z表示九轴传感器加速度a、角速度w、磁力计m分别在x，y，z三个方向的观测值；
步骤2、系统方程线性化
人体姿态信息非线性动态方程为：
X(k+1)＝f(k,X(k))+L(k)M(k)；
Z(k)＝h(k,X(k))+N(k)；
其中：X(k)、X(k+1)分别为k时刻和k+1时刻的状态值，L(k)表示噪声驱动矩阵，M(k)表示过程噪声，Z(k)为k时刻观测值，N(k)表示观测噪声，f(k,X(k))、h(k,X(k))为系统非线性函数；
扩展卡尔曼滤波采用非线性函数的局部线性特征，将非线性模型线性化，线性化方程为：
X(k+1)＝Φ(k+1|k)+L(k)M(k)；
Z(k)＝H(k)X(k)+N(k)；
其中：Φ(k+1|k)为状态转移矩阵，H(k)为观测矩阵；
系统的状态变量为9维，则它们的雅克比矩阵为：
Figure FDA0003957318750000051
Figure FDA0003957318750000052
步骤3、k时刻姿态信息状态的提前预测：
Figure FDA0003957318750000053
姿态信息提前预测协方差为：
P(k+1|k)＝Φ(k+1|k)P(k|k)ΦT(k+1|k)+M(k+1)；
步骤4、姿态信息卡尔曼增益：
K(k+1)＝P(k+1|k)HT(k+1)；
[H(k+1)P(k+1|k)HT(k+1)+N(k+1)]-1；
步骤5、姿态信息状态更新：
Figure FDA0003957318750000054
姿态信息协方差更新：
P(k+1)＝[I-K(k+1)H(k+1)P(k+1|k)]。
CN201910403428.3A 2019-05-15 2019-05-15 基于多传感器数据融合的人体行为预测方法 Active CN110132257B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910403428.3A CN110132257B (zh) 2019-05-15 2019-05-15 基于多传感器数据融合的人体行为预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910403428.3A CN110132257B (zh) 2019-05-15 2019-05-15 基于多传感器数据融合的人体行为预测方法

Publications (2)

Publication Number Publication Date
CN110132257A CN110132257A (zh) 2019-08-16
CN110132257B true CN110132257B (zh) 2023-03-24

Family

ID=67574284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910403428.3A Active CN110132257B (zh) 2019-05-15 2019-05-15 基于多传感器数据融合的人体行为预测方法

Country Status (1)

Country Link
CN (1) CN110132257B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652263B (zh) * 2020-03-30 2021-12-28 西北工业大学 一种基于多滤波器信息融合的自适应目标跟踪方法
CN111896052A (zh) * 2020-07-28 2020-11-06 广州中科智巡科技有限公司 用于监测高空作业安全的实现方法、监测高空作业安全的佩戴装置
CN113305830B (zh) * 2021-04-28 2022-08-16 吉林大学 一种基于人体姿态控制的仿人机器人动作系统及控制方法
CN116541663B (zh) * 2023-06-21 2023-09-19 四川信息职业技术学院 一种基于卡尔曼滤波提高双套站传感器数据质量的方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10274318B1 (en) * 2014-09-30 2019-04-30 Amazon Technologies, Inc. Nine-axis quaternion sensor fusion using modified kalman filter
US10837794B2 (en) * 2014-12-12 2020-11-17 Invensense, Inc. Method and system for characterization of on foot motion with multiple sensor assemblies
CN105203098B (zh) * 2015-10-13 2018-10-02 上海华测导航技术股份有限公司 基于九轴mems传感器的农业机械全姿态角更新方法
CN106017454B (zh) * 2016-06-16 2018-12-14 东南大学 一种基于多传感器融合技术的行人导航装置和方法
CN106500695B (zh) * 2017-01-05 2019-02-01 大连理工大学 一种基于自适应扩展卡尔曼滤波的人体姿态识别方法
CN107102749B (zh) * 2017-04-23 2019-11-08 吉林大学 一种基于超声波和惯性传感器的三维笔式定位方法
CN107260179A (zh) * 2017-06-08 2017-10-20 朱翔 基于惯性和体感传感器数据质量评价的人体运动跟踪方法
US10663298B2 (en) * 2017-06-25 2020-05-26 Invensense, Inc. Method and apparatus for characterizing platform motion
CN107289932B (zh) * 2017-06-28 2019-08-20 东南大学 基于mems传感器和vlc定位融合的单卡尔曼滤波导航装置和方法
CN107492251B (zh) * 2017-08-23 2020-02-14 武汉大学 一种基于机器学习与深度学习的驾驶员身份识别与驾驶状态监测方法
CN107728788A (zh) * 2017-10-31 2018-02-23 吉林大学 一种基于红外超声三维定位体感交互装置
CN108981694A (zh) * 2018-07-18 2018-12-11 兰州交通大学 基于小波神经网络与ekf的姿态解算方法及系统
CN109556606A (zh) * 2018-11-28 2019-04-02 吉林大学 基于模糊补偿和卡尔曼滤波的传感器角度测量优化方法
CN109550219B (zh) * 2018-11-30 2021-02-02 歌尔科技有限公司 一种运动信息的确定方法、系统及移动设备

Also Published As

Publication number Publication date
CN110132257A (zh) 2019-08-16

Similar Documents

Publication Publication Date Title
CN110132257B (zh) 基于多传感器数据融合的人体行为预测方法
Shojaei Observer-based neural adaptive formation control of autonomous surface vessels with limited torque
US7765062B2 (en) Method and system for autonomous tracking of a mobile target by an unmanned aerial vehicle
WO2006113173A1 (en) Decentralized maneuver control in heterogeneous autonomous vehicle networks
CN109976164B (zh) 一种多旋翼无人机能量优化视觉覆盖轨迹规划方法
CN110794857B (zh) 考虑外部风干扰的固定翼无人机鲁棒离散分数阶控制方法
CN109657928B (zh) 一种车载传感器系统的闭环协同调度框架的协同调度方法
Ho et al. Traversability estimation for a planetary rover via experimental kernel learning in a gaussian process framework
CN114138010A (zh) 一种基于加权偏差的多智能体高阶滑模编队控制方法
CN112683261B (zh) 一种基于速度预测的无人机鲁棒性导航方法
CN114987511A (zh) 模拟人类驾驶行为以训练基于神经网络的运动控制器的方法
CN110647161B (zh) 基于状态预测补偿的欠驱动uuv水平面轨迹跟踪控制方法
CN116954258A (zh) 未知扰动下多四旋翼无人机编队的分层控制方法及装置
CN109693774B (zh) 一种水下航行器轨迹的控制方法和系统
CN114020018B (zh) 导弹控制策略的确定方法、装置、存储介质及电子设备
CN116009583A (zh) 基于纯粹视觉的分布式无人机协同运动控制方法和装置
CN114047744A (zh) 基于采样通信的自适应反步滑模多无人艇编队控制方法
US20220204018A1 (en) Vehicle control using neural network controller in combination with model-based controller
KR20220027832A (ko) 상태 결정 방법 및 장치, 로봇, 저장 매체 및 컴퓨터 프로그램
Tian et al. Autonomous formula racecar: Overall system design and experimental validation
CN111580550A (zh) 一种无人机仿人智能控制方法
CN116880186B (zh) 一种数据驱动的自适应动态规划空战决策方法
CN114035592B (zh) 一种水下滑翔机三维协同路径跟踪控制系统
Etezadi et al. A Comprehensive Overview of Control Algorithms, Sensors, Actuators, and Communication Tools of Autonomous All-Terrain Vehicles in Agriculture
De Almeida et al. Controlling Tiltrotors Unmanned Aerial Vehicles (UAVs) with Deep Reinforcement Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant