CN105956558A - 一种基于三轴加速度传感器人体动作识别方法 - Google Patents

Abstract

一种基于三轴加速度传感器人体动作识别方法，本发明包括以下步骤：1)获取人体所佩戴移动设备输出的三轴加速度信号；2)对原始信号滤除噪声提取动作分类特征；3)采用多个分类器进行分类，并将输出结果的平均值作为最终输出结果。本发明的有益效果为，提升了人体动作识别的准确率，使人体动作分类正确率更高。

Description

一种基于三轴加速度传感器人体动作识别方法

技术领域

本发明属于人体动作识别方法技术领域，尤其是属于基于三轴加速度传感器技术和多列双向长短期记忆人工神经网络技术的人体动作识别方法技术领域。

背景技术

随着手机、平板等电子设备的普及，其中内含的带有加速度传感器的移动设备也在人们生活中普及。带有加速度传感器的移动设备可以很方便地捕获人体的动作，通过捕获人体的动作，从而提升了用户体验感，并为附带有该系统的设备提供了很好的发展机会。因此，基于移动设备的人体动作识别系统受到了研究人员越来越多的关注，特别是多媒体大数据领域的关注。

提取特征和分类在模式识别领域是很重要的两个步骤。提取特征分对于时域特征的提取和对于频域特征的提取两种。

对于时域特征的提取，提取特征(人体加速度特征)一般只考虑了一维的情况，对时间轴上的原始信号直接进行特征提取，研究者用均值作为特征，通常会用一个窗函数来过滤随机峰值和噪声，这种方法的计算复杂度和对硬件的要求比较低；有用最大最小值，方差和标准差的方法来做人体动作识别的问题，这种方法对于步行和跑步等差别较大的动作的识别有不错效果，但对于原地踏步、快速走、上下楼梯等动作的识别不是很理想。对于频域特征的提取，大多数的研究者依赖快速傅里叶变换，离散傅里叶变换，离散余弦变换分解时域信号到频域上，频域上要得到比较好的区分信号，需要进行较长的采样时间，这样会很大程度上影响实时性。

目前，上述两种提取特征的方法，人体动作识别的效果并不理想。

特征提取后，就是对所提的特征进行分类，现有的分类器如，k近邻分类器(k-NN)，支持向量机(SVM)，多层感知机(MLP)，k均值(k-means)，都是不错的分类器，但这些传统的分类器，并不是最优的选择。

发明内容

本发明正是为了克服上述现有技术的缺陷，提供了一种采用了双向长短期记忆人工神经网络(BLSTM)的分类器，其对特征有很好的分类，能达到理想的效果。

本发明采用如下技术方案实现。

一种基于三轴加速度传感器人体动作识别方法，本发明包括以下步骤：1)获取人体所佩戴移动设备输出的三轴加速度信号；2)对原始信号滤除噪声提取动作分类特征；3)采用多个分类器进行分类，并将输出结果的平均值作为最终输出结果。

本发明步骤1)，以三轴加速度信号的合加速度峰值为中心，截取一小段信号作为待识别的人体动作样本。

本发明三轴加速度信号的峰值通过以下方式获得：

一个采样窗口获取的人体动作三轴加速度信号，可以表示为一个包含M＝1000个样本点的矩阵B＝[B₁，B₂，…，B_M]，每一个样本点B_i是一个3维向量：

B_i＝(b_xi，b_yi，b_zi)^T (1)

b_xi，b_yi，b_zi分别表示第i个样本的x，y，z，3个轴上的信号，因此每个样本点合加速度构成矩阵B′＝[||B₁||，||B₂||，…，||B_M||]，这里

因此，合加速度信号的峰值可以有以下的方式计算：

D＝L(B′，w1)-L(B′，w2) (2)

L表示均值滤波器，w1和w2(w1＞w2)是均值滤波器的窗口大小，取差值D的局部极大值就是加速度信号的峰值。

本发明样本截取方式，其信号的长度定义为250个采样点；

本发明步骤2)，提取的特征是：原始加速度信号特征，加速度信号的范数特征，两方向加速度信号特征作为人体动作识别的特征。

本发明步骤3)采用双向长短期记忆人工神经网络(BLSTM)分类器进行分类。

本发明步骤3)采用三个双向长短期记忆人工神经网络(BLSTM)分类器构成多列双方向的长短期记忆人工神经网络(MBLSTM)，其输出结果为前端的三个BLSTM输出的平均值。

本发明步骤2)，对原始信号滤除噪声提取动作分类特征过程如下：

在人体动作识别发明中，三轴加速度传感器的一个采样窗口的输出表示为一个包含N＝250个样本点的矩阵A＝[A₁，A₂，…，A_N]，每一个样本点A_i是一个3维向量：

A_i＝(a_xi，a_yi，a_zi)^T (3)

a_xi，a_yi，a_zi分别表示第i个样本的x，y，z3个轴上的信号；A作为原始加速度信号特征。

每个样本点合加速度构成矩阵A′＝[||A₁||，||A₂||，…，||A_N||]，这里A′就是加速度信号的范数特征。

加速度信号的均值可以有以下的方式计算：

$\stackrel{\‾}{A_x}=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{a}_{xi}}{N}---\left(4\right)$

$\stackrel{\‾}{A_y}=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{a}_{yi}}{N}---\left(5\right)$

$\stackrel{\‾}{A_z}=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{a}_{zi}}{N}---\left(6\right)$

分别表示x，y，z三轴上人体动作信号的均值。

接下来，考虑到加速度信号能被分解到水平和竖直2个方法上，由于在一段时间内，水平方向上的加速度信号的均值很小，所以竖直方向上的单位向量e_V表示为：

$e_V=\frac{(\stackrel{\‾}{A_x},\stackrel{\‾}{A_y},\stackrel{\‾}{A_z})}{\left|\right|(\stackrel{\‾}{A_x},\stackrel{\‾}{A_y},\stackrel{\‾}{A_z})\left|\right|}---\left(7\right)$

所以第i个样本垂直方向上的信号V_i可以用下式估计：

V_i＝A_i·e_V (8)

第i个样本水平方向上的信号的范数H_i为：

H_i＝||A_i-V_i|| (9)

V＝[V₁，V₂，…，V_N]和H＝[H₁，H₂，…，H_N]就是两方向特征；即得到原始加速度信号特征，加速度信号的范数特征，两方向加速度信号特征。

一种双向长短期记忆人工神经网络(BLSTM)分类器，该分类器设置为5层，且上一个层的输出作为下一个层输入；该分类器包括一个输入层、一个前向传播层、一个双向长短期记忆人工神经网络(BLSTM)层、一个汇总层、一个softmax层依序连接组成。

本发明分离器的工作过程如下：1)输入层：输入的序列被分割成大小为3的块，然后每个块被扫描成一个向量作为第1个隐藏层的输入；2)第2个隐藏层是前向传播层，第1个隐藏层的输出作为第2隐藏层的输入；3)双向长短期记忆人工神经网络(BLSTM)层是第3个隐藏层包含了若干个双向长短期记忆人工神经网络(BLSTM)单元，第2个隐藏层的输出作为第3隐藏层的输入；4)第4个隐藏层是汇总层，每隔一段时间会汇总第3层所有的输出；5)softmax层：汇总层的输出作为最后一层：softmax层的输入，最后一层有C路输出，代表人体动作的 类别数。

本发明的有益效果为，本发明从多个方向提取、结合了不同的加速度信号特征，使得提取的特征有更强的判别能力，提升了人体动作识别的准确率；确立采用多个双向长短期记忆人工神经网络(BLSTM)分类器对不同特征进行分类，并对分类结果求平均，使人体动作分类正确率更高。本发明通过优化了的特征提取方法和分类器的结构，最终达到人体动作的高效识别，具有突出的进步和显著效果。

下面结合附图和具体实施方式对本发明作进一步解释。

附图说明

图1为本发明的原理结构示意图。

具体实施方式

一种基于三轴加速度传感器人体动作识别方法，本发明包括以下步骤：1)获取人体所佩戴移动设备输出的三轴加速度信号；2)对原始信号滤除噪声提取动作分类特征；3)采用多个分类器进行分类，并将输出结果的平均值作为最终输出结果。

本发明步骤1)，以三轴加速度信号的合加速度峰值为中心，截取一小段信号作为待识别的人体动作样本。

本发明三轴加速度信号的峰值通过以下方式获得：

一个采样窗口获取的人体动作三轴加速度信号，可以表示为一个包含M＝1000个样本点的矩阵B＝[B₁，B₂，…，B_M]，每一个样本点B_i是一个3维向量：

B_i＝(b_xi，b_yi，b_zi)^T (1)

b_xi，b_yi，b_zi分别表示第i个样本的x，y，z，3个轴上的信号，因此每个样本点合加速度构成矩阵B′＝[||B₁||，||B₂||，…，||B_M||]，这里

因此，合加速度信号的峰值可以有以下的方式计算：

D＝L(B′，w1)-L(B′，w2) (2)

L表示均值滤波器，w1和w2(w1＞w2)是均值滤波器的窗口大小，取差值D的局部极大值就是加速度信号的峰值。

本发明样本截取方式，其信号的长度定义为250个采样点；

本发明步骤2)，提取的特征是：原始加速度信号特征，加速度信号的范数特征，两方向加速度信号特征作为人体动作识别的特征。

本发明步骤3)采用双向长短期记忆人工神经网络(BLSTM)分类器进行分类。

本发明步骤3)采用三个双向长短期记忆人工神经网络(BLSTM)分类器构成多列双方向的长短期记忆人工神经网络(MBLSTM)，其输出结果为前端的三个BLSTM输出的平均值。

本发明步骤2)，对原始信号滤除噪声提取动作分类特征过程如下：

在人体动作识别发明中，三轴加速度传感器的一个采样窗口的输出表示为一个包含N＝250个样本点的矩阵A＝[A₁，A₂，…，A_N]，每一个样本点A_i是一个3维向量：

A_i＝(a_xi，a_yi，a_zi)^T (3)

a_xi，a_yi，a_zi分别表示第i个样本的x，y，z3个轴上的信号；A作为原始加速度信号特征。

每个样本点合加速度构成矩阵A′＝[||A₁||，||A₂||，…，||A_N||]，这里A′就是加速度信号的范数特征。

加速度信号的均值可以有以下的方式计算：

$\stackrel{\‾}{A_x}=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{a}_{xi}}{N}---\left(4\right)$

$\stackrel{\‾}{A_y}=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{a}_{yi}}{N}---\left(5\right)$

$\stackrel{\‾}{A_z}=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{a}_{zi}}{N}---\left(6\right)$

分别表示x，y，z三轴上人体动作信号的均值。

接下来，考虑到加速度信号能被分解到水平和竖直2个方法上，由于在一段时间内，水平方向上的加速度信号的均值很小，所以竖直方向上的单位向量e_V表示为：

$e_V=\frac{(\stackrel{\‾}{A_x},\stackrel{\‾}{A_y},\stackrel{\‾}{A_z})}{\left|\right|(\stackrel{\‾}{A_x},\stackrel{\‾}{A_y},\stackrel{\‾}{A_z})\left|\right|}---\left(7\right)$

所以第i个样本垂直方向上的信号V_i可以用下式估计：

V_i＝A_i·e_V (8)

第i个样本水平方向上的信号的范数H_i为：

H_i＝||A_i-V_i|| (9)

V＝[V₁，V₂，…，V_N]和H＝[H₁，H₂，…，H_N]就是两方向特征；即得到原始加速度信号特征，加速度信号的范数特征，两方向加速度信号特征。

一种双向长短期记忆人工神经网络(BLSTM)分类器，该分类器设置为5层，且上一个层的输出作为下一个层输入；该分类器包括一个输入层、一个前向传播层、一个双向长短期记忆人工神经网络(BLSTM)层、一个汇总层、一个softmax层依序连接组成。

本发明分离器的工作过程如下：1)输入层：输入的序列被分割成大小为3的块，然后每个块被扫描成一个向量作为第1个隐藏层的输入；2)第2个隐藏层是前向传播层，第1个隐藏层的输出作为第2隐藏层的输入；3)双向长短期记忆人工神经网络(BLSTM)层是第3个隐藏层包含了若干个双向长短期记忆人工神经网络(BLSTM)单元，第2个隐藏层的输出作为第3隐藏层的输入；4)第4个隐藏层是汇总层，每隔一段时间会汇总第3层所有的输出；5)softmax层：汇总层的输出作为最后一层：softmax层的输入，最后一层有C路输出，代表人体动作的类别数。

实施例：实验选100个人，用智能手机收集了人体动作的三轴加速度信号，包括跳，慢跑，正常走，原地踏步，快速走，上楼梯，下楼梯7种人体动作。用包含250点的窗，将峰值点置于窗的中心截取信号，得到的每个人体动作信号的数量如表1：

表1 样本统计

实验中，分别对比了两方向加速度信号特征VH，加速度信号的特征A和加速度信号均值的范数特征A′；实验中，随机选择所有人中的50，60，70，80个作为训练集，表中记为p_tr，随机选择所有人中的20个作为测试集，选择训练集中的5分之1作为验证集。每个实验重复10次，都用双向长短期记忆人工神经网络(BLSTM)来进行分类，对以上三种特征的错误率，如表2，表3，表4所示：

为了说明本方法的有效性，选择了k近邻分类器(k-NN)，支持向量机(SVM)，集成流型排序保留(EMR)，双向的长短期记忆人工神经网络(BLSTM)来进行对比，这里都用两方向特征来作为输入的特征。随机选择所有人中的40和80个作为训练集，剩下的作为测试集，选择训练集中的5分之1作为验证集。每个试验重复5次，算出平均错误率。对比结果如表5所示。

表2 加速度信号特征A对应的实验结果

表3 加速度信号范数特征A′对应的实验结果

表4 两方向加速度信号特征V H对应的实验结果

表5 5种分类算法的平均错误率

通过表2，表3，表4的实验结果，从合计错误率来看，在用相同分类器的条件下，两方向加速度信号特征V H得到的错误率要比加速度信号的均值特征A_i和加速度信号均值的范数特征A′错误率要低，这说明了两方向加速度信号特征V H比其他2种特征更有区分能力。

通过表5的实验结果，在输入相同特征的情况下，多列双向长短期记忆人工神经网络(MBLSTM)分类器的平均错误率要远低于其他4中分类器的错误率，说明MBLSTM分类器分类能力优于其他4种分类器。

Claims (9)

1.一种基于三轴加速度传感器人体动作识别方法，其特征在于，包括以下步骤：1)获取人体所佩戴移动设备输出的三轴加速度信号；2)对原始信号滤除噪声提取动作分类特征；3)采用多个分类器进行分类，并将输出结果的平均值作为最终输出结果。

2.根据权利要求1所述的一种基于三轴加速度传感器人体动作识别方法，其特征在于，步骤1)的实现方法，以三轴加速度信号的合加速度峰值为中心，截取一小段信号作为待识别的人体动作样本。

3.根据权利要求1或2所述的一种基于三轴加速度传感器人体动作识别方法，其特征在于，步骤2)，提取的特征是：原始加速度信号特征，加速度信号的范数特征，两方向加速度信号特征作为人体动作识别的特征。

4.根据权利要求1或3所述的一种基于三轴加速度传感器人体动作识别方法，其特征在于，所述的步骤2)，对原始信号滤除噪声提取动作分类特征过程如下：

在人体动作识别发明中，三轴加速度传感器的一个采样窗口的输出表示为一个包含N个样本点的矩阵A＝[A₁，A₂，…，A_N]，每一个样本点A_i是一个3维向量：

A_i＝(a_xi，a_yi，a_zi)^T (3)

a_xi，a_yi，a_zi分别表示第i个样本的x，y，z3个轴上的信号；A作为原始加速度信号特征；

每个样本点合加速度构成矩阵A′＝[||A₁||，||A₂||，…，||A_N||]，这里A′就是加速度信号的范数特征；

加速度信号的均值可以有以下的方式计算：

$\stackrel{\‾}{A_x}=\frac{\underset{i=1}{\overset{N}{\Σ}}{a}_{xi}}{N}---\left(4\right)$

$\stackrel{\‾}{A_y}=\frac{\underset{i=1}{\overset{N}{\Σ}}{a}_{yi}}{N}---\left(5\right)$

$\stackrel{\‾}{A_z}=\frac{\underset{i=1}{\overset{N}{\Σ}}{a}_{zi}}{N}---\left(6\right)$

分别表示x，y，z三轴上人体动作信号的均值；

接下来，考虑到加速度信号能被分解到水平和竖直2个方法上，由于在一段时间内，水平方向上的加速度信号的均值很小，所以竖直方向上的单位向量e_V表示为：

$e_V=\frac{(\stackrel{\‾}{A_x},\stackrel{\‾}{A_y},\stackrel{\‾}{A_z})}{\left|\right|(\stackrel{\‾}{A_x},\stackrel{\‾}{A_y},\stackrel{\‾}{A_z})\left|\right|}---\left(7\right)$

所以第i个样本垂直方向上的信号V_i可以用下式估计：

V_i＝A_i·e_V (8)

第i个样本水平方向上的信号的范数H_i为：

H_i＝||A_i-V_i|| (9)

V＝[V₁，V₂，…，V_N]和H＝[H₁，H₂，…，H_N]就是两方向特征；即得到原始加速度信号特征，加速度信号的范数特征，两方向加速度信号特征。

5.根据权利要求1所述的一种基于三轴加速度传感器人体动作识别方法，其特征在于，步骤3)采用双向长短期记忆人工神经网络(BLSTM)分类器进行分类。

6.根据权利要求1或5所述的一种基于三轴加速度传感器人体动作识别方法，其特征在于，步骤3)采用三个双向长短期记忆人工神经网络(BLSTM)分类器构成多列双方向的长短期记忆人工神经网络(MBLSTM)，其输出结果为前端的三个BLSTM输出的平均值。

7.根据权利要求2所述的一种基于三轴加速度传感器人体动作识别方法，其特征在于，所述的三轴加速度信号的合加速度峰值通过以下方式获得：

一个采样窗口获取的人体动作三轴加速度信号，可以表示为一个包含M个样本点的矩阵B＝[B₁，B₂，…，B_M]，每一个样本点B_i是一个3维向量：

B_i＝(b_xi，b_yi，b_zi)^T (1)

b_xi，b_yi，b_zi分别表示第i个样本的x，y，z，3个轴上的信号，因此每个样本点合加速度构成矩阵B′＝[||B₁||，||B₂||，…，||B_M||]，这里

因此，合加速度信号的峰值可以有以下的方式计算：

D＝L(B′，w1)-L(B′，w2) (2)

L表示均值滤波器，w1和w2(w1＞w2)是均值滤波器的窗口大小，取差值D的局部极大值就是加速度信号的峰值。

8.一种双向长短期记忆人工神经网络分类器，其特征在于，该分类器设置为5层，且上一个层的输出作为下一个层输入；该分类器包括一个输入层、一个前向传播层、一个双向长短期记忆人工神经网络层、一个汇总层、一个softmax层依序连接组成。

9.根据权利要求8所述的一种双向长短期记忆人工神经网络分类器，其特征在于，该分离器的工作过程如下：1)输入层：输入的序列被分割成大小为3的块，然后每个块被扫描成一个向量作为第1个隐藏层的输入；2)第2个隐藏层是前向传播层，第1个隐藏层的输出作为第2隐藏层的输入；3)双向长短期记忆人工神经网络层是第3个隐藏层包含了若干个双向长短期记忆人工神经网络单元，第2个隐藏层的输出作为第3隐藏层的输入；4)第4个隐藏层是汇总层，每隔一段时间会汇总第3层所有的输出；5)softmax层：汇总层的输出作为最后一层：softmax层的输入，最后一层有C路输出，代表人体动作的类别数。