CN105787434A - 基于惯性传感器的人体运动模式识别方法 - Google Patents

Abstract

本发明提出一种基于惯性传感器的人体运动模式识别方法，包括：采集惯性传感器的原始信号；对采样信号进行预处理；选取一定时间片长度或者一定采样点数目的采样信号，提取时域特征和频域特征，以构建特征矢量；预设若干运动状态，构建运动识别隐马尔科夫模型，根据运动状态转移可能性经验地估计运动状态转移概率，根据运动特征矢量的特征值的分布特性估计状态‑观测变量的概率密度函数；基于最大后验概率准则，采用维特比算法解算观测变量序列对应的最优运动状态序列。本发明可使运动识别结果更加精确。

Description

基于惯性传感器的人体运动模式识别方法

技术领域

本发明涉及情节感知、人机交互领域，特别涉及的是一种基于惯性传感器的人体运动模式识别方法。

背景技术

人体运动模式识别意味着识别一个人当前的行为，是情景感知的重要组成部分，能够应用在很多方面，比如普适计算、运动辅助训练，虚拟现实、医疗健康等等。

人体运动识别的方法大致可以分为两类，一种是使用计算机视觉技术，另一种是使用惯性传感器数据处理技术。早期的运动识别使用的基本上都是计算机视觉技术，采用带有一个或者多个摄像头的运动识别系统。当人的运动局限在一个固定的区域比如办公室或起居室且环境光线充足时，这种基于视觉的系统是比较有效的。然而如果被观测对象的活动范围很大，这种采用摄像头的运动识别系统就不太适用了。而且，基于视觉的运动识别系统会在无意间捕捉到用户的隐私，对于很多人来说会造成心理上的负担。随着微机电系统的发展，惯性传感器如加速度计、陀螺仪、磁力计等体积大大缩小，价格便宜，目前已被广泛地嵌入智能手机等终端设备中，为基于惯性传感器的运动模式识别系统的广泛应用创造了条件。

一般来说，基于惯性传感器的人体运动模式识别系统都是先在时间上将原始运动数据进行分片，然后对每个分片内的数据提取特征，训练出一个分类器，然后就可以根据训练出的分类器进行运动分类了。这种传统识别方法专注于当前时间片内的信号，可以取得一定的分类精度，然而如果两个不同的运动模式的特征向量空间交叉较多的话，会产生较多的动作误判。

发明内容

本发明所要解决的技术问题是提供一种基于惯性传感器的人体运动模式识别方法，识别结果更加精确。

为解决上述问题，本发明提出一种基于惯性传感器的人体运动模式识别方法，包括以下步骤：

S1：采集惯性传感器的原始信号，生成采样信号；

S2：对所述采样信号进行预处理；

S3：从预处理信号中选取一定时间片长度或者一定采样点数目的采样信号，提取选取信号的时域特征和频域特征，以构建特征矢量；

S4：预设若干运动状态，构建运动识别隐马尔科夫模型，根据运动状态转移可能性经验地估计运动状态转移概率，将运动特征矢量作为观测变量，根据特征矢量的特征值的分布特性估计状态-观测变量的概率密度函数；

S5：基于最大后验概率准则，采用维特比算法解算观测变量序列对应的最优运动状态序列。

根据本发明的一个实施例，在所述步骤S2中，采用滑动平均窗或低通滤波器对采样信号进行平滑或滤波预处理，以消除抖动噪声。

根据本发明的一个实施例，在所述步骤S3中，时域特征包括均值、方差、斜度、峰度、平均能量中的几个或全部，频域特征包括第一主峰频率、第二主峰频率。

根据本发明的一个实施例，在所述步骤S3中，对惯性传感器的采样信号进行特征提取时，采用幅值、垂直分量和水平分量表示，包括以下步骤：

获得重力加速度矢量g；

根据全加速度矢量a和重力加速度矢量g计算线性加速度矢量a_lin＝a-g；

计算线性加速度垂直分量和水平分量，将线性加速度矢量在重力矢量方向上进行投影得到垂直分量为利用矢量加减法得到水平分量为a_{lin_h}＝a_lin-a_{lin_v}。

根据本发明的一个实施例，所述获得重力加速度矢量g的方法包括：

通过部署的重力传感器获得重力加速度矢量；

或者，

在静止一段时间内，加速度计的采样信号为(x₁,y₁,z₁),(x₂,y₂,z₂),…,(x_n,y_n,z_n)，则计算重力矢量的公式为：

$g=(\frac{x_1+x_2+...+x_n}{n},\frac{y_1+y_2+...+y_n}{n},\frac{z_1+z_2+...+z_n}{n}).$

根据本发明的一个实施例，在所述步骤S4中，根据特征矢量的特征值的分布特性估计状态-观测变量的概率密度函数包括：

由于运动模式观测变量中的特征值是连续的，用概率密度函数代替概率分布；

设s_i为某一运动状态，o＝(f₁,f₂,...,f_M)是所述运动模式下的观测变量，则概率密度p(o|s_i)服从多维高斯分布。

根据本发明的一个实施例，根据贝叶斯定理，有在运动状态序列解算时用P(s_i|o)对p(o|s_i)进行替换，其中，观测变量的概率p(o)对任意的运动状态s_i是相同的，运动状态的概率P(s_i)已知。

根据本发明的一个实施例，所述步骤S5包括：

S50：给定观测变量序列O＝O₁O₂...O_T，其中O_i是第i个时间片内所提取的特征矢量，基于最大后验概率准则，所求最优运动状态序列Q＝q₁q₂...q_T满足： $Q=\underset{q_1{q}_2\mathrm{...}{q}_T}{\arg max}P\left(q_1{q}_2\mathrm{...}{q}_T\right|O_1{O}_2\mathrm{...}{O}_T);$

S51：定义表示t时刻运动状态q_t＝s_i时的最优运动状态序列和前t个观测变量序列的联合概率，定义1*N维的数组λ_t来存储运动状态索引，λ_t(i)＝j表示在时刻t运动状态为s_i的最优运动状态序列中，前一时刻t-1对应的运动状态为s_j；

S52：求解最优运动状态序列Q＝q₁q₂...q_T包括步骤S521-S524：

S521：初始化运动状态λ₁(j)＝0,1≤j≤N

S522：递推运动状态

S523：计算最终的完整运动状态序列的最大概率P_max和最大概率的运动状态序列的最后一个状态q_T，

S524：逆向查找运动状态：如果用q_t表示最优运动状态序列中t时刻的运动状态，则查找过程为：q_t＝λ_t+1(q_t+1),T-1≥t≥1；

其中，a_ij表示从状态s_i转移到状态s_j的概率，b_j(O_t)表示在时刻t运动状态为s_j时观测变量O_t的分布概率，用观测变量概率密度描述，π_j则是运动状态s_j的初始概率。

根据本发明的一个实施例，使用移动终端实现，所述移动终端中集成有惯性传感器。

根据本发明的一个实施例，所述惯性传感器包括加速度计、陀螺仪。

采用上述技术方案后，本发明相比现有技术具有以下有益效果：采集加速度计和陀螺仪等惯性传感器的信号，进行预处理，减小传感器信号噪声，提取信号中的特征矢量，构建从运动模式到特征矢量的映射模型，使用隐马尔科夫模型解决运动分类容易被误判的问题。在进行人体运动模式识别时，通过考虑相邻动作的关联性，根据各动作之间的转移概率、观测变量的分布概率，基于最大后验概率准则求出最优运动状态序列，提高人体运动模式识别的精度。

附图说明

图1是本发明实施例的基于惯性传感器的人体运动模式识别方法的流程示意图；

图2是本发明实施例的选取信号进行频域特征提取的示意图；

图3是本发明实施例的线性加速度垂直分量和水平分量的分解示意图；

图4是本发明实施例的三种运动状态时的状态转移概率示意图；

图5是本发明实施例的三种运动状态时的最优运动状态序列求解示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施的限制。

参看图1，本实施例的基于惯性传感器的人体运动模式识别方法，包括以下步骤：

S1：采集惯性传感器的原始信号，生成采样信号；

S2：对所述采样信号进行预处理；

S3：从预处理信号中选取一定时间片长度或者一定采样点数目的采样信号，提取选取信号的时域特征和频域特征，以构建特征矢量；

S4：预设若干运动状态，构建运动识别隐马尔科夫模型，根据运动状态转移可能性经验地估计运动状态转移概率，将运动特征矢量作为观测变量，根据特征矢量的特征值的分布特性估计状态-观测变量的概率密度函数；

S5：基于最大后验概率准则，采用维特比算法解算观测变量序列对应的最优运动状态序列。

本发明可以采用智能终端(移动终端，手持终端等)实现识别方法，智能终端中集成有惯性传感器，惯性传感器可以包括加速度计、陀螺仪等，惯性传感器是检测和测量加速度、倾斜、冲击、振动、旋转和多自由度(DoF)运动的传感器。下面对本实施例的基于惯性传感器的人体运动模式识别方法的各个步骤进行详细的描述。

在步骤S1中，可以通过智能终端采集其中的惯性传感器的原始信号，生成采样信号，通常来说，读取惯性传感器输出的数据即可。

在步骤S2中，可以采用滑动平均窗或低通滤波器对加速度计、陀螺仪等惯性传感器输出的采样信号进行平滑或滤波预处理，以消除抖动噪声。以三阶滑动平均窗为例，设在第i个采样时刻三轴加速度计的采样值为(x_i,y_i,z_i)，其前后采样时刻的采样值为(x_i-1,y_i-1,z_i-1)和(x_i+1,y_i+1,z_i+1)，则第i个采样时刻的三轴加速度值平滑可以为：

$({x_i}^{\′},{y_i}^{\′},{z_i}^{\′})=(\frac{x_{i-1}+x_i+x_{i+1}}{3},\frac{y_{i-1}+y_i+y_{i+1}}{3},\frac{z_{i-1}+z_i+z_{i+1}}{3})$

对其他惯性传感器的输出采样信号也可做相同的处理，当然也不限于三阶滑动平均窗，可以是更多阶的滑动平均窗，或者可以是其他的滤波器。

在步骤S3中，与采样惯性传感器的采样率对应，从预处理信号中选取合适的时间片长度或采样点数目的采样信号，选取的信号保证提取的特征能够反映原始信号，对时间片内的数据进行特征提取，包括时域特征和频域特征，将提取的特征构建成为一个特征矢量。提取时域特征时，直接对时域采样信号进行处理，提取诸如均值、方差、斜度、峰度、平均能量等特征值，可以是其中的几个，也可以是全部选取。提取频域特征时，先对时域采样信号进行快速傅里叶变换运算(或者其他时频变换运算)得到频域信号，然后提取特定的频域特征，参看图2，提取的频域特征比如第一主峰频率、第二主峰频率等，由于第一主峰频率、第二主峰频率最能反映原始信号的特征，因而可以选取这两个，当然也可以再选取一些旁瓣信号。

在在特征提取时，为了避免智能终端的朝向问题，可以使用惯性传感器的幅值、垂直分量和水平分量代替三轴分量进行相应的运算。获取垂直分量和水平分量之前，首先需要获取重力加速度矢量，若智能终端中部署了重力传感器，则可以直接使用重力传感器的输出读数作为重力加速度矢量，表示为g＝(g_x,g_y,g_z)。若没有部署重力传感器，则对于智能终端而言，采用加速度计来获得重力加速度矢量，假设智能终端静止一段时间，在静止的时间内加速度计的采样信号为(x₁,y₁,z₁),(x₂,y₂,z₂),…,(x_n,y_n,z_n)，则计算重力加速度矢量的公式为：

$g=(\frac{x_1+x_2+...+x_n}{n},\frac{y_1+y_2+...+y_n}{n},\frac{z_1+z_2+...+z_n}{n})$

在得到了重力加速度矢量后，获取惯性传感器采样信号的垂直分量和水平分量，以加速度计为例，可以使用线性加速度代替全加速度进行人体运动模式识别，设a是全加速度矢量，g是重力加速度矢量，则线性加速度矢量为a_lin＝a-g。参看图3，获取线性加速度垂直分量和水平分量时，将线性加速度矢量在重力加速度矢量方向上进行投影得到垂直分量为利用矢量加减法得到水平分量为a_{lin_h}＝a_lin-a_{lin_v}，对其他需要获取垂直分量和水平分量的惯性传感器可做相同的处理。

在步骤S4中，预设若干运动状态，构建运动识别隐马尔科夫模型，包括状态转移概率的估计和状态-观测变量分布概率的估计。状态转移概率的估计可以根据所要识别的运动种类，通过观测不同的运动状态之间的转移可能性，进行经验估计而确定，图4是三种运动状态时的转移概率示意图，转移概率可以根据经验估计。运动状态-观测变量分布概率的估计方法为：对每一种运动模式，由于观测变量(特征矢量)中特征值是连续的，所以可以用概率密度函数代替概率分布，根据特征矢量的特征值的连续性估计状态-观测变量的概率密度函数，例如可以使用一个多维高斯概率密度函数模型。

设s_i为某一运动状态(1≤i≤N，N是所有可能的运动状态数)，o＝(f₁,f₂,...,f_M)是该运动模式下的特征矢量(M是特征向量维度，f_j是第j个特征值)，则概率密度p(o|s_i)服从多维高斯分布，可表示为：

$p\left(o\right|s_i)=\frac{1}{{\left(2\mathrm{\π}\right)}^{M/2}{\left|{\Σ}_i\right|}^{1/2}}\exp (-\frac{1}{2}{\left(o-{\mathrm{\μ}}_i\right)}^T{\Σ}_i^{-1}(o-\mathrm{\μ}\left)\right),1\≤i\≤N$

其中，μ_i＝E[o]表示隐含状态为s_i时的特征矢量的期望值，表示隐含状态为s_i时的特征矢量各个分量之间的协方差组成的协方差矩阵。有时为了问题的简化，可以认为特征矢量各个分量是相互独立的，此时有：

$p\left(o\right|s_i)=\underset{j=1}{\overset{M}{\Π}}p\left(f_j\right|s_i)=\underset{j=1}{\overset{M}{\Π}}\frac{1}{\sqrt{2\mathrm{\π}}{\mathrm{\σ}}_j}\exp (-\frac{1}{2}{\left(f_j-{\mathrm{\μ}}_j\right)}^2),1\≤i\≤N.$

此外，由贝叶斯定理可以得出由于p(o)对任意的s_i是相同的，故在P(s_i)已知的情况下，可以用P(s_i|o)来替换p(o|s_i)。某些经典的分类器如随机森林可以概率分布的形式输出各个类别的可能性大小，故可先用随机森林对特性向量进行判别，然后进行概率替换得到观测变量分布概率。

在步骤S5中，根据最大后验概率准则确定选取信号获得的观测变量序列的最优运动状态序列的概率，根据状态-观测变量的概率密度函数初始化运动状态，根据某一时刻运动状态的最优运动状态序列和该时刻之前的观测变量序列的联合概率递推运动状态。

具体的，给定观测序列O＝O₁O₂...O_T，其中O_i是第i个时间片内所提取的特征矢量，基于最大后验概率准则，所求最优运动序列Q＝q₁q₂...q_T满足： $Q=\underset{q_1{q}_2\mathrm{...}{q}_T}{\arg max}P\left(q_1{q}_2\mathrm{...}{q}_T\right|O_1{O}_2\mathrm{...}{O}_T).$

求解最优运动状态序列最直接的方法就是对所有可能的序列进行比较，找出其中后验概率最大的序列作为输出序列。然而这种方法时间复杂度非常高，本发明可以采用维特比算法，它是一种基于动态规划思想的方法，能够有效地降低计算时间。

定义表示t时刻运动状态q_t＝s_i时的最优运动状态序列和前t个观测变量序列的联合概率，定义1*N维的数组λ_t来存储运动状态索引，λ_t(i)＝j表示在时刻t运动状态为s_i的最优运动序列中，前一时刻t-1对应的运动状态为s_j。

最优运动状态序列的求解可参看图5所示，实线表示在各个时刻每种状态下的最优路径，虚线则不是最优路径，它们在后续的计算中不会被保存。

采用求解最优运动状态的完整过程如下：

求解最优运动状态序列Q＝q₁q₂...q_T包括步骤S521-S524：

S521：初始化运动状态λ₁(j)＝0,1≤j≤N

S522：递推运动状态

S523：计算最终的完整运动状态序列的最大概率P_max和最大概率的运动状态序列的最后一个状态q_T，

S524：逆向查找运动状态：如果用q_t表示最优运动状态序列中t时刻的运动状态，则查找过程为：q_t＝λ_t+1(q_t+1),T-1≥t≥1；

其中，a_ij表示从状态s_i转移到状态s_j的概率，b_j(O_t)表示在时刻t运动状态为s_j时观测变量O_t的分布概率，用观测变量概率密度描述，π_j则是运动状态s_j的初始概率。

本发明虽然以较佳实施例公开如上，但其并不是用来限定权利要求，任何本领域技术人员在不脱离本发明的精神和范围内，都可以做出可能的变动和修改，因此本发明的保护范围应当以本发明权利要求所界定的范围为准。

Claims (10)

1.一种基于惯性传感器的人体运动模式识别方法，其特征在于，包括以下步骤：

S1：采集惯性传感器的原始信号，生成采样信号；

S2：对所述采样信号进行预处理；

S3：从预处理信号中选取一定时间片长度或者一定采样点数目的采样信号，提取选取信号的时域特征和频域特征，以构建特征矢量；

S4：预设若干运动状态，构建运动识别隐马尔科夫模型，根据运动状态转移可能性经验地估计运动状态转移概率，将运动特征矢量作为观测变量，根据特征矢量的特征值的分布特性估计状态-观测变量的概率密度函数；

S5：基于最大后验概率准则，采用维特比算法解算观测变量序列对应的最优运动状态序列。

2.如权利要求1所述的基于惯性传感器的人体运动模式识别方法，其特征在于，在所述步骤S2中，采用滑动平均窗或低通滤波器对采样信号进行平滑或滤波预处理，以消除抖动噪声。

3.如权利要求1所述的基于惯性传感器的人体运动模式识别方法，其特征在于，在所述步骤S3中，时域特征包括均值、方差、斜度、峰度、平均能量中的几个或全部，频域特征包括第一主峰频率、第二主峰频率。

4.如权利要求1所述的基于惯性传感器的人体运动模式识别方法，其特征在于，在所述步骤S3中，对惯性传感器的采样信号进行特征提取时，采用幅值、垂直分量和水平分量表示，包括以下步骤：

获得重力加速度矢量g；

根据全加速度矢量a和重力加速度矢量g计算线性加速度矢量a_lin＝a-g；

计算线性加速度垂直分量和水平分量，将线性加速度矢量在重力矢量方向上进行投影得到垂直分量为利用矢量加减法得到水平分量为a_{lin_h}＝a_lin-a_{lin_v}。

5.如权利要求4所述的基于惯性传感器的人体运动模式识别方法，其特征在于，所述获得重力加速度矢量g的方法包括：

通过部署的重力传感器获得重力加速度矢量；

或者，

在静止一段时间内，加速度计的采样信号为(x₁,y₁,z₁),(x₂,y₂,z₂),…,(x_n,y_n,z_n)，则计算重力矢量的公式为：

$g=(\frac{x_1+x_2+...+x_n}{n},\frac{y_1+y_2+...+y_n}{n},\frac{z_1+z_2+...+z_n}{n}).$

6.如权利要求1所述的基于惯性传感器的人体运动模式识别方法，其特征在于，在所述步骤S4中，根据特征矢量的特征值的分布特性估计状态-观测变量的概率密度函数包括：

由于运动模式观测变量中的特征值是连续的，用概率密度函数代替概率分布；

设s_i为某一运动状态，o＝(f₁,f₂,...,f_M)是所述运动模式下的观测变量，则概率密度p(o|s_i)服从多维高斯分布。

7.如权利要求6所述的基于惯性传感器的人体运动模式识别方法，其特征在于，根据贝叶斯定理，有在运动状态序列解算时用P(s_i|o)对p(o|s_i)进行替换，其中，观测变量的概率p(o)对任意的运动状态s_i是相同的，运动状态的概率P(s_i)已知。

8.如权利要求1所述的基于惯性传感器的人体运动模式识别方法，其特征在于，所述步骤S5包括：

S50：给定观测变量序列O＝O₁O₂...O_T，其中O_i是第i个时间片内所提取的特征矢量，基于最大后验概率准则，所求最优运动状态序列Q＝q₁q₂...q_T满足：

$Q=\underset{q_1{q}_2...q_T}{\mathrm{argmax}}P(q_1{q}_2...q_T|O_1{O}_2...O_T);$

S51：定义表示t时刻运动状态q_t＝s_i时的最优运动状态序列和前t个观测变量序列的联合概率，定义1*N维的数组λ_t来存储运动状态索引，λ_t(i)＝j表示在时刻t运动状态为s_i的最优运动状态序列中，前一时刻t-1对应的运动状态为sj；

S52：求解最优运动状态序列Q＝q₁q₂...q_T包括步骤S521-S524：

S521：初始化运动状态λ₁(j)＝0,1≤j≤N

S522：递推运动状态

S523：计算最终的完整运动状态序列的最大概率P_max和最大概率的运动状态序列的最后一个状态q_T，

S524：逆向查找运动状态：如果用q_t表示最优运动状态序列中t时刻的运动状态，则查找过程为：q_t＝λ_t+1(q_t+1),T-1≥t≥1；

其中，a_ij表示从状态s_i转移到状态s_j的概率，b_j(O_t)表示在时刻t运动状态为s_j时观测变量O_t的分布概率，用观测变量概率密度描述，π_j则是运动状态s_j的初始概率。

9.如权利要求1所述的基于惯性传感器的人体运动模式识别方法，其特征在于，使用移动终端实现，所述移动终端中集成有惯性传感器。

10.如权利要求1或9所述的基于惯性传感器的人体运动模式识别方法，其特征在于，所述惯性传感器包括加速度计、陀螺仪。