CN108549856A - 一种人体动作和路况识别方法 - Google Patents

Abstract

本发明涉及一种人体动作和路况识别方法，使用惯性传感器采集人体膝关节处x、y和z轴方向上的加速度、角度和角速度信号，并用小波包变换消除信号的抖动噪声和干扰；然后对时间窗内的信号进行快速傅里叶变换，提取其系数作为特征值；随后对特征进行主成分分析去除冗余信息；最后采用高斯混合模型和隐马尔可夫模型进行假肢（下肢）动作和路况识别。只需一个惯性传感器实现人体动作和路况识别，为智能假肢减少了制作成本和空间。本发明利用了GMM和HMM模型训练相互穿插计算，降低运算量，不仅比传统的识别方法运算量少，同时提高了人体行为和路况识别准确率和实时性。

Description

一种人体动作和路况识别方法

技术领域

本发明涉及一种信号处理技术，特别涉及一种高斯混合模型(GMM)和隐马尔可夫模型(HMM)结合的人体动作和路况识别方法。

背景技术

智能假肢(下肢)是最近几年假肢技术的主要研究方向之一。利用多种传感器实时检测人体行走状态，推测环境信息，并根据不同的行走步态和环境特征，利用微处理控制器实现智能假肢膝关节自适应控制。人在不同路况和不同动作模式下，步态模式的变化使得所需的控制量或者参数有较大变化。腿部各关节力矩不仅随着步行速度的变化而变化，而且随着路况和动作模式的改变(例如上下坡道、跑步)有很大区别。

惯性传感器小巧、灵敏、传输速度快，满足假肢的易安装性和实时性。通过比较时域、频域和时频域等14种特征，发现虽然时频域特征可以用来描述非平稳信号，但在对主体进行的动态活动分类时，它并不像频域特征那样精确，因此基于FFT的频域特征是较好的选择。基于惯导信息的人体行为识别方法主要是提取信号的FFT系数为特征，使用SVM、神经网络等方法对特征进行分类，但从目前文献看识别的行为类型较少且识别率不高。

发明内容

本发明是针对基于惯导信息的人体行为识别方法的行为类型较少且识别率不高的问题，提出了一种人体动作和路况识别方法，只需一个惯性传感器实现人体动作和路况识别，为智能假肢减少了制作成本和空间。

本发明的技术方案为：一种人体动作和路况识别方法，具体包括如下步骤：

1)使用惯导传感器和三轴数字罗盘采集膝关节x、y和z轴方向上的加速度、角度和角速度信号；

其中惯导传感器内部集成了三轴陀螺仪和三轴加速度计，陀螺仪用来检测转动角速度，加速度计用来测量线运动加速度，而磁力计三轴数字罗盘用来测方位角；惯导传感器固定在下肢膝盖处，其中z轴朝着人体正前方，x轴与地面垂直向上，拇指方向为z轴正方向，x轴到y轴旋转方向符合右手定则；受试者按照要求分别完成跑步、行走、骑行、上下楼梯和上下坡这7种路况或状态，每个动作持续10分钟，数据将被实时地保存到上位机中；

2)对步骤1)中采集的数据信号进行降噪，用小波包变换消除信号的抖动噪声和干扰，在处理器中用小波包降噪后，对采集数据中的加速度，角度和角速度进行归一化处理：

其中X表示原始采集数据信号，μ表示信号均值，σ表示信号方差；

3)为了提取阶段性的信息，使用重叠窗口法对步骤2)归一化后的连续信号加时间窗：每个窗口重叠率为50％，窗口内有750个样本点同时时间跨度大约为1～2s的重叠窗口；然后对时间窗内信号进行快速傅里叶变换，提取其系数作为特征值，最后输出14×9的系数矩阵；

4)对步骤3)所得到系数矩阵进行主成分分析去除冗余信息：采用PCA方法对步骤3)提取出的系数矩阵进行降维，把原始的14×9矩阵降维到6×6的特征矩阵；每种行为状态模式提取出n个6×6的特征矩阵，并将其表示为{X₁，X₂，...，X_n}；

5)GMHMM模型训练：步骤4)得到7组特征矩阵集合，根据7组特征矩阵集合，对应地训练出7个GMHMM；每个GMHMM模型包含一个隐马尔可夫模型HMM和一个高斯混合模型GMM；其中隐马尔可夫模型选择4个隐状态；高斯混合模型下选择3个高斯分模型；

首先对GMHMM模型参数进行初始化，隐藏状态概率分布矩阵A初始化为一个6×6的单位阵，其中每个高斯分模型的均值μ^jm为[0，0，0，0，0，0]，协方差σ^jm为[1，1，1，1，1，1]，隐状态s_j下第m个高斯分模型的权重c_jm为1/3；

其次输入步骤1)～4)所提取好的动作或路况的训练样本集{X₁，X₂，...，X_n}；取出一个训练样本矩阵X_n，根据下面公式计算出该训练矩阵下的第t个观测向量x_t的观测概率b_j(x_t)，

公式中M表示高斯分模型的总个数；N(x_t；μ^jm，σ^jm)表示高斯分模型，括号里面的数字高斯分模型参数；

根据下面公式计算出前向概率α_t(s_j)和后向概率β_t(s_i)，

其中，N是高斯模型对应的符号；a_ij为HMM隐藏状态概率分布矩阵A的元素，代表当前状态为s_i，且下一状态为s_j的概率；

随后根据下面公式计算在马尔可夫模型下，从t到t+1向量，状态从s_i转移到s_j的概率ξ_t(s_i，s_j)和第t个列向量x_t属于隐状态s_j的概率γ_t(s_j)，

其中p(X_n|λ)为观测矩阵X_n在该模型下的概率；

然后根据下面公式更新状态转移率第m个高斯分模型的均值协方差权值和和初始概率分布矩阵

其中T表示一个特征矩阵中列向量的个数；公式中()^T的上角标的T表示转置；γ_t(s_j，m)为给定马尔可夫模型下，在t时刻处于状态为s_j和第m个分模型的概率，如下式所示：

γ_t(s_j，m)＝P(S(t)＝s_j，l＝m|X_n，λ)

如果各个参数值趋于稳定，则训练过程结束，否则继续重取出一个新的训练样本矩阵X_n继续训练；

最后GMHMM模型的输出为HMM隐藏状态转移概率矩阵A、GMM权值参数GMM均值向量GMM协方差矩阵和初始概率分布矩阵即

6)识别人体行为和路况过程：将已经训练好的7个模型导入智能假肢处理器中；智能假肢处理器接收到一段待识别信号以后，经过上述步骤1)～4)同样的预处理和特征提取后，生成一个待识别特征矩阵，表示为O＝{o₁，o₂，...，o₆}；处理器取出一个已经训练好GMHMM模型然后根据μ^jm、c_jm、∑^jm和观测概率计算公式，计算出该待识别特征矩阵的观测向量o_t的观测概率b_j(o_t)；接着根据前向概率公式计算出待识别矩阵O下{o₁，o₂，...，o₆}的前向概率α₆(s_i)，最终计算出待测矩阵在该模型下的概率P(O|λ)，计算如下式所示：

随后计算该待测矩阵在其他GMHMM模型中的P(O|λ)，直到7个模型均计算出来；这7个概率最大者即为该数据所属的人体行为；最后输出此时间窗口所属的路况或人体行为。

本发明的有益效果在于：本发明人体动作和路况识别方法，利用了GMM和HMM模型训练相互穿插计算，降低运算量，不仅比传统的识别方法运算量少，同时提高了人体行为和路况识别准确率和实时性。本方法的优势还在于，只需一个惯性传感器就能实现人体动作和路况识别。

附图说明

图1为本发明人体动作和路况识别方法示意图；

图2为7种不同动作的z轴加速度信号对比图；

图3为本发明GMHMM训练流程图；

图4为本发明人体行为识别过程图。

具体实施方式

面对智能假肢对运动模式和环境的感知，提出了一种基于高斯混合模型(GMM)和隐马尔科夫模型(HMM)融合的人体动作和路况识别方法(简称为Gaussian Mixture HMM-GMHMM)，如图1所示示意图。具体包括如下步骤：

1、使用高性能惯导传感器和三轴数字罗盘(磁力计)采集膝关节x、y和z轴方向上的加速度、角度和角速度信号。

其中惯导传感器内部集成了三轴陀螺仪和三轴加速度计，陀螺仪用来检测转动角速度，加速度计用来测量线运动加速度，而磁力计三轴数字罗盘用来测方位角。惯导传感器的三轴陀螺仪量程为±2000°/s分辨率高达16位。三轴加速度计的测量范围为±16g，有16位分辨率。当穿戴者穿上行走时，惯性传感器和编码器同时采集行走过程中加速度数据和角度数据，采样频率为50Hz。本实验中惯导传感器固定在下肢膝盖处，其中z轴朝着人体正前方，x轴与地面垂直向上，x轴到y轴旋转方向符合右手定则(拇指方向为z轴正方向)。受试者按照要求分别完成跑步、行走、骑行、上下楼梯和上下坡这7种路况或状态，每个动作持续10分钟。这些数据将被实时地保存到上位机中，以z轴方向加速度为例，7种不同动作的曲线如图2所示。

2、人体关节扭动和地面环境变化带来的惯导信号噪声，对特征提取带来很强的干扰，所以需要采取合适的方法去噪。对步骤1中采集的下肢惯导信号(原始采集数据)进行降噪，用小波包变换消除信号的抖动噪声和干扰，小波分析具备良好的时域局部性和多分辨率分析能力，借助小波分析与重构技术，使得小波包降噪有效的减少高频噪音信号，并保留数据的主要特征。在处理器中用小波包降噪后，由于在采集数据中的加速度，角度和角速度的量纲差别等原因，需先进行归一化。这里采用Z-score标准化方法：

其中X表示原始采集数据，μ表示信号均值，σ表示信号方差。

3、为了提取阶段性的信息，使用重叠窗口法对步骤2归一化后的连续信号加时间窗。重叠窗口法可以利用上个窗口的部分数据，产生更密集、半冗余的信息，使得更充分使用信息和更高效利用CPU。在本方法中每个窗口重叠率为50％，窗口内有750个样本点同时时间跨度大约为1～2s的重叠窗口。然后对时间窗内信号进行快速傅里叶变换，提取其系数作为特征值，最后输出14×9的系数矩阵。

4、对步骤3所得到系数矩阵进行主成分分析去除冗余信息。为了提高实时性，采用PCA方法对步骤3提取出的系数矩阵进行降维，把原始的14×9矩阵降维到6×6的特征矩阵。每种行为状态模式提取出n个6×6的特征矩阵，并将其表示为{X₁，X₂，...，X_n}。该方法减少了计算量，而且保留原始数据中有鉴别力的特征。

5、GMHMM模型训练。散步、跑步、骑行、上下坡和上下楼梯这7种状态下的原始数据经过步骤1-4处理后得到7组特征矩阵集合，根据这些特征矩阵集合，对应地训练出7个GMHMM。每个GMHMM模型包含一个隐马尔可夫模型HMM和一个高斯混合模型GMM。其中隐马尔可夫模型选择4个隐状态；高斯混合模型下选择3个高斯分模型。单个行为状态的GMHMM的训练过程如图3所示。

首先对GMHMM模型参数进行初始化，隐藏状态概率分布矩阵A初始化为一个6×6的单位阵，其中每个高斯分模型的均值μ^jm为[0，0，0，0，0，0]，协方差σ^jm为[1，1，1，1，1，1]，隐状态s_j下第m个高斯分模型的权重c_jm为1/3。

其次输入步骤1-4所提取好的动作或路况的训练样本集{X_1，X₂，...，X_n}。取出一个训练样本矩阵X_n，根据下面公式计算出该训练矩阵下的第t个观测向量x_t的观测概率b_j(x_t)。

公式中M表示高斯分模型的总个数。N(x_t；μ^jm，σ^jm)表示高斯分模型，括号里面的数字高斯分模型参数。

根据下面公式计算出前向概率α_t(s_j)和后向概率β_t(s_i)，

其中N是高斯模型对应的符号；a_ij为HMM隐藏状态概率分布矩阵A的元素，代表当前状态为s_i，且下一状态为s_j的概率。

随后根据下面公式计算在马尔可夫模型下，从t到t+1时刻，状态从s_i转移到s_j的概率ξ_t(s_i，s_j)和第t个列向量x_t属于隐状态s_j的概率γ_t(s_j)，

其中p(X_n|λ)为观测矩阵X_n在该模型下的概率。

然后根据下面公式更新状态转移率第m个高斯分模型的均值协方差权值和和初始概率分布矩阵

在所有的公式中T表示一个特征矩阵中列向量的个数。例如：特征矩阵是6×6的矩阵，那么就有6个列向量，此时T＝6，就是这个意思。公式中()^T的上角标的T表示转置；其中γ_t(s_j，m)为给定马尔可夫模型下，在t时刻处于状态为s_j和第m个分模型的概率，如下式所示：

γ_t(s_j，m)＝P(S(t)＝s_j，l＝m|X_n，λ)

如果各个参数值趋于稳定，则训练过程结束，否则继续重取出一个新的训练样本矩阵X_n继续训练。

最后GMHMM模型的输出为HMM隐藏状态转移概率矩阵A、GMM权值参数GMM均值向量GMM协方差矩阵和初始概率分布矩阵即

6、识别人体行为和路况过程如图4所示；将已经训练好的7个模型导入智能假肢处理器中。智能假肢处理器接收到一段待识别信号以后，也经过上述步骤1-4同样的预处理和特征提取后，生成一个待识别特征矩阵，表示为O＝{o₁，o₂，...，o₆}。处理器取出一个已经训练好GMHMM模型 然后根据μ^jm、c_jm、∑^jm和观测概率计算公式，计算出该待识别特征矩阵的观测向量o_t的观测概率b_j(o_t)。接着根据前向概率公式计算出待识别矩阵O下{o₁，o₂，...，o₆}的前向概率α₆(s_i)，最终计算出待测矩阵在该模型下的概率P(O|λ)，计算如下式所示：

随后计算该待测矩阵在其他GMHMM模型中的P(O|λ)，直到7个模型均计算出来。这7个概率最大者即为该数据所属的人体行为。最后输出此时间窗口所属的路况或人体行为。

Claims (1)

1.一种人体动作利路况识别方法，其特征在于，具体包括如下步骤：

1)使用惯导传感器和三轴数字罗盘采集膝关节x、y和z轴方向上的加速度、角度和角速度信号；

其中惯导传感器内部集成了三轴陀螺仪和三轴加速度计，陀螺仪用来检测转动角速度，加速度计用来测量线运动加速度，而磁力计三轴数字罗盘用来测方位角；惯导传感器固定在下肢膝盖处，其中z轴朝着人体正前方，x轴与地面垂直向上，拇指方向为z轴正方向，x轴到y轴旋转方向符合右手定则；受试者按照要求分别完成跑步、行走、骑行、上下楼梯和上下坡这7种路况或状态，每个动作持续10分钟，数据将被实时地保存到上位机中；

2)对步骤1)中采集的数据信号进行降噪，用小波包变换消除信号的抖动噪声和干扰，在处理器中用小波包降噪后，对采集数据中的加速度，角度和角速度进行归一化处理：

其中X表示原始采集数据信号，μ表示信号均值，σ表示信号方差；

3)为了提取阶段性的信息，使用重叠窗口法对步骤2)归一化后的连续信号加时间窗：每个窗口重叠率为50％，窗口内有750个样本点同时时间跨度大约为1～2s的重叠窗口；然后对时间窗内信号进行快速傅里叶变换，提取其系数作为特征值，最后输出14×9的系数矩阵；

4)对步骤3)所得到系数矩阵进行主成分分析去除冗余信息：采用PCA方法对步骤3)提取出的系数矩阵进行降维，把原始的14×9矩阵降维到6×6的特征矩阵；每种行为状态模式提取出n个6×6的特征矩阵，并将其表示为{X₁，X₂，...，X_n}；

5)GMHMM模型训练：步骤4)得到7组特征矩阵集合，根据7组特征矩阵集合，对应地训练出7个GMHMM；每个GMHMM模型包含一个隐马尔可夫模型HMM和一个高斯混合模型GMM；其中隐马尔可夫模型选择4个隐状态；高斯混合模型下选择3个高斯分模型；

首先对GMHMM模型参数进行初始化，隐藏状态概率分布矩阵A初始化为一个6×6的单位阵，其中每个高斯分模型的均值μ^jm为[0，0，0，0，0，0]，协方差σ^jm为[1，1，1，1，1，1]，隐状态s_j下第m个高斯分模型的权重c_jm为1/3；

其次输入步骤1)～4)所提取好的动作或路况的训练样本集{X₁，X₂，...，X_n}；取出一个训练样本矩阵X_n，根据下面公式计算出该训练矩阵下的第t个观测向量x_t的观测概率b_j(x_t)，

公式中M表示高斯分模型的总个数；N(x_t；μ^jm，σ^jm)表示高斯分模型，括号里面的数字高斯分模型参数；

根据下面公式计算出前向概率α_t(s_j)和后向概率β_t(s_i)，

其中，N是高斯模型对应的符号；a_ij为HMM隐藏状态概率分布矩阵A的元素，代表当前状态为s_i，且下一状态为s_j的概率；

随后根据下面公式计算在马尔可夫模型下，从t到t+1向量，状态从s_i转移到s_j的概率ξ_t(s_i，s_j)和第t个列向量x_t属于隐状态s_j的概率γ_t(s_j)，

其中p(X_n|λ)为观测矩阵X_n在该模型下的概率；

然后根据下面公式更新状态转移率第m个高斯分模型的均值协方差权值和和初始概率分布矩阵

其中T表示一个特征矩阵中列向量的个数；公式中()^T的上角标的T表示转置；γ_t(s_j，m)为给定马尔可夫模型下，在t时刻处于状态为s_j和第m个分模型的概率，如下式所示：

γ_t(s_j，m)＝P(S(t)＝s_j，l＝m|X_n，λ)

如果各个参数值趋于稳定，则训练过程结束，否则继续重取出一个新的训练样本矩阵X_n继续训练；

最后GMHMM模型的输出为HMM隐藏状态转移概率矩阵A、GMM权值参数GMM均值向量GMM协方差矩阵和初始概率分布矩阵即

6)识别人体行为和路况过程：将已经训练好的7个模型导入智能假肢处理器中；智能假肢处理器接收到一段待识别信号以后，经过上述步骤1)～4)同样的预处理和特征提取后，生成一个待识别特征矩阵，表示为O＝{o₁，o₂，...，o₆}；处理器取出一个已经训练好GMHMM模型然后根据μ^jm、c_jm、∑^jm和观测概率计算公式，计算出该待识别特征矩阵的观测向量o_t的观测概率b_j(o_t)；接着根据前向概率公式计算出待识别矩阵O下{o₁，o₂，...，o₆}的前向概率α₆(S_i)，最终计算出待测矩阵在该模型下的概率P(O|λ)，计算如下式所示：

随后计算该待测矩阵在其他GMHMM模型中的P(O|λ)，直到7个模型均计算出来；这7个概率最大者即为该数据所属的人体行为；最后输出此时间窗口所属的路况或人体行为。