CN103984921A - 一种用于人体动作识别的三轴特征融合方法 - Google Patents

Abstract

本发明提供了一种用于人体动作识别的三轴特征融合方法，包括以下步骤：(1)基于特征基的三轴特征表示，将三轴特征表示成特征基的线性组合，确定每轴特征基的系数；(2)融合权重，利用每轴特征基的系数，基于方差贡献率计算每轴特征的融合权重；(3)三轴特征融合，利用每轴特征对不同动作识别的贡献大小来融合三轴特征，提高对动作识别的识别率。具有动作识别准确率高等优点。

Description

一种用于人体动作识别的三轴特征融合方法

技术领域

本发明涉及一种模式识别与人工智能技术，特别涉及一种用于人体动作识别的三轴特征融合方法。

背景技术

近年来，随着个人电子设备的发展，智能手机越来越多的内置传感设备和增强嵌入式计算能力。当智能手机被人们放在裤兜或背包中，随着人体运动频率的改变，手机加速度传感器可以检测到人体运动的状态，这极大的提高了识别人体运动行为的方便，手机加速度传感器逐渐成为人体运动模式分类的理想平台。然而，基于智能手机加速度传感器的人体运动模式分类仍存在很大限制和困难，其中一项就是加速度信号特征的融合能力差，很多特征融合后识别率反倒下降，而成功的融合方法也基于很多考虑，融合效果不是很好，我们为此提出更普用的高识别率的特征融合算法。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种用于人体动作识别的三轴特征融合方法，该方法是一种适用于智能手机三轴加速度信号融合特征的提取方法。

本发明的目的通过下述技术方案实现：一种用于人体动作识别的三轴特征融合方法，包括以下步骤：

(1)基于特征基的三轴特征表示，将三轴特征表示成特征基的线性组合，确定每轴特征基的系数；

(2)融合权重，利用每轴特征基的系数，基于方差贡献率计算每轴特征的融合权重；

(3)三轴特征融合，利用每轴特征对不同动作识别的贡献大小来融合三轴特征，提高对动作识别的识别率。

所述步骤(1)中，基于特征基的三轴特征表示是将三轴特征表示成特征基的线性组合，由此确定每轴特征基的系数，具体方法如下：

从多类动作构成的大量三轴加速度信号样本集中分别提取每轴的时频域特征，构成三轴特征矢量空间，记为F＝[F_x,F_y,F_z]，F_x,F_y,F_z分别表示x轴、y轴和z轴的特征向量，每一轴的特征向量维数记为m，即三轴特征矢量空间F是一个3×m的矩阵，则三轴特征矢量可以表示成特征基[X₁,X₂,…,X_m]的线性组合，即：

F_x＝A_x1X₁+A_x2X₂+…+A_xmX_m+ε_x

F_y＝A_y1X₁+A_y2X₂+…+A_ymX_m+ε_y，    (1)

F_z＝A_z1X₁+A_z2X₂+…+A_zmX_m+ε_z

其中，特征基[X₁,X₂,…,X_m]可以唯一的表示每一轴的特征向量，A_ij是一个3×m的矩阵，表示特征基的系数，i∈{x,_y,z}，j＝[1,2,…,m]。ε_i表示每轴的误差平衡，i∈{x,_y,z}；

特征基X＝[X₁,X₂,…,X_m]的线性组合通过稀疏编码重构三轴特征矢量空间F的代价函数，用矩阵形式表示如下：

$J(A,X)={\left|\right|\mathrm{AX}-F\left|\right|}_2^2+\mathrm{\λ}{\left|\right|X\left|\right|}_1+\mathrm{\γ}{\left|\right|A\left|\right|}_2^2,---\left(2\right)$

用L₁范数对基矢量X做稀疏性惩罚，同时为防止特征基的系数矩阵A过大，对特征基的系数矩阵A用L₂范数来约束；但是基矢量X处的L₁范数在0点是不可微的，所以不能用梯度下降法对上面的代价函数寻优，于是为了在0处可导，将公式(2)变成：

$J(A,X)={\left|\right|\mathrm{AX}-F\left|\right|}_2^2+\mathrm{\λ}\sqrt{X^2+\mathrm{\ϵ}}+\mathrm{\γ}{\left|\right|A\left|\right|}_2^2,---\left(3\right)$

对公式(3)执行以下算法就可以确定使J(A,x)最小化的特征基X和特征基的系数矩阵A，其算法包括如下步骤：

1)随机初始化A；

2)根据步骤1)给定的A，求解能够最小化J(A,x)的X；

3)根据步骤2)得到的X，求解能够最小化J(A,x)的A；

4)重复步骤2)、3)直至AX收敛于F。

所述步骤(2)融合权重，每轴特征向量的融合权重系数的提取如下：

利用每轴特征基的系数可以计算方差贡献率：

${\mathrm{VC}}_i^2=\underset{j=1}{\overset{m}{\mathrm{\Σ}}}(A_{\mathrm{ij}}-{\mathrm{\μ}}_i){(A_{\mathrm{ij}}-{\mathrm{\μ}}_i)}^T,i\∈\{x,y,z\},---\left(4\right)$

其中，表示每轴特征基系数的均值；

因为每一类动作的三个轴的特征基的系数应该分别稳定在三轴系数的均值附近，从而每一类动作的特征空间才是稳定的，这样不同动作的特征空间才会更少的重叠，识别效果才更好。所以特征基系数的方差贡献率重新计算如下：

${\mathrm{VC}}_{i\_\mathrm{new}}^2=\frac{{\mathrm{VC}}_{\max }^2-{\mathrm{VC}}_{\min }^2}{{\mathrm{VC}}_i^2-{\mathrm{VC}}_{\min }^2},i\∈\{x,y,z\}---\left(5\right)$

将三轴的特征基系数的方差贡献率进行幅度上的压缩，就可以得到三轴特征的融合权重矩阵，记为W＝[W_x,W_y,W_z]，W_x,W_y,W_z分别表示x轴、y轴和z轴的特征融合权重，三轴特征的融合权重矩阵W也是一个3×m的矩阵，幅度压缩后的特征融合权重表示为：

$[W_x,W_y,W_z]=\frac{[{\mathrm{VC}}_{x\_\mathrm{new}}^2,{\mathrm{VC}}_{y\_\mathrm{new}}^2,{\mathrm{VC}}_{z\_\mathrm{new}}^2]}{{\mathrm{VC}}_{x\_\mathrm{new}}^2+{\mathrm{VC}}_{y\_\mathrm{new}}^2+{\mathrm{VC}}_{z\_\mathrm{new}}^2},---\left(6\right)$

其中，[W_x,W_y,W_z]表示幅度压缩后的特征融合权重。

所述步骤(3)中的三轴特征融合，利用三轴特征的融合权重就可以获得融合后的特征向量：

EFF＝[F_x,F_y,F_z][W_x,W_y,W_z]^T，    (7)

其中，EFF表示融合后的特征向量。

本发明是基于特征基的三轴特征表示、融合权重确定和三轴特征融合的融合方法，其具体方法也可以描述如下：

1、基于特征基的三轴特征表示；

从多类动作构成的大量三轴加速度信号样本集中分别提取每轴的时频域特征，构成三轴特征矢量空间，记为F＝[F_x,F_y,F_z]，F_x,F_y,F_z分别表示x轴、y轴和z轴的特征向量，每一轴的特征向量维数记为m，即三轴特征矢量空间F是一个3×m的矩阵。则三轴特征矢量可以表示成特征基[X₁,X₂,…,X_m]的线性组合，即

F_x＝A_x1X₁+A_x2X₂+…+A_xmX_m+ε_x

F_y＝A_y1X₁+A_y2X₂+…+A_ymX_m+ε_y，    (1)

F_z＝A_z1X₁+A_z2X₂+…+A_zmX_m+ε_z

其中，特征基[X₁,X₂,…,X_m]可以唯一的表示每一轴的特征向量。A_ij是一个3×m的矩阵，表示特征基的系数，i∈{x,y,z}，j＝[1,2,…,m]。ε_i表示每轴的误差平衡，i∈{x,_y,z}。

特征基X＝[X₁,X₂,…,X_m]的线性组合通过稀疏编码重构三轴特征矢量空间F的代价函数，用矩阵形式表示如下：

$J(A,X)={\left|\right|\mathrm{AX}-F\left|\right|}_2^2+\mathrm{\λ}{\left|\right|X\left|\right|}_1+\mathrm{\γ}{\left|\right|A\left|\right|}_2^2,---\left(2\right)$

这里用L₁范数对基矢量X做了稀疏性惩罚，同时为防止特征基的系数矩阵A过大，对其用L₂范数来约束。但是基矢量X处的L₁范数在0点是不可微的，所以不能用梯度下降法对上面的代价函数寻优，于是为了在0处可导，将公式(2)变成：

$J(A,X)={\left|\right|\mathrm{AX}-F\left|\right|}_2^2+\mathrm{\λ}\sqrt{X^2+\mathrm{\ϵ}}+\mathrm{\γ}{\left|\right|A\left|\right|}_2^2,---\left(3\right)$

对公式(3)执行以下算法就可以确定使J(A,x)最小化的特征基X和特征基的系数矩阵A。算法如下：

1)随机初始化A；

2)根据步骤1)给定的A，求解能够最小化J(A,x)的X；

3)根据步骤2)得到的X，求解能够最小化J(A,x)的A；

4)重复步骤2)、3)直至AX收敛于F。

2、融合权重的确定；

利用每轴特征基系数的方差贡献率，计算每轴特征的融合权重。具体如下：

利用每轴特征基的系数可以计算方差贡献率：

${\mathrm{VC}}_i^2=\underset{j=1}{\overset{m}{\mathrm{\Σ}}}(A_{\mathrm{ij}}-{\mathrm{\μ}}_i){(A_{\mathrm{ij}}-{\mathrm{\μ}}_i)}^T,i\∈\{x,y,z\},---\left(4\right)$

其中，表示每轴特征基系数的均值。

因为每一类动作的三个轴的特征基的系数应该分别稳定在三轴系数的均值附近，从而每一类动作的特征空间才是稳定的，这样不同动作的特征空间才会更少的重叠，识别效果才更好。所以基于公式(4)，每轴特征基系数的方差贡献率重新计算如下：

${\mathrm{VC}}_{i\_\mathrm{new}}^2=\frac{{\mathrm{VC}}_{\max }^2-{\mathrm{VC}}_{\min }^2}{{\mathrm{VC}}_i^2-{\mathrm{VC}}_{\min }^2},i\∈\{x,y,z\}---\left(5\right)$

将三轴的特征基系数的方差贡献率进行幅度上的压缩，就可以得到三轴特征的融合权重矩阵，记为W＝[W_x,W_y,W_z]，W_x,W_y,W_z分别表示x轴、y轴和z轴的特征融合权重，三轴特征的融合权重W也是一个3×m的矩阵。幅度压缩后的特征融合权重表示为：

$[W_x,W_y,W_z]=\frac{[{\mathrm{VC}}_{x\_\mathrm{new}}^2,{\mathrm{VC}}_{y\_\mathrm{new}}^2,{\mathrm{VC}}_{z\_\mathrm{new}}^2]}{{\mathrm{VC}}_{x\_\mathrm{new}}^2+{\mathrm{VC}}_{y\_\mathrm{new}}^2+{\mathrm{VC}}_{z\_\mathrm{new}}^2},---\left(6\right)$

3、三轴特征融合；

利用公式(6)得到的三轴特征的融合权重就可以获得融合后的特征向量：

EFF＝[F_x,F_y,F_z][W_x,W_y,W_z]^T，    (7)其中，EFF表示融合后的特征向量。

本发明相对于现有技术具有如下的优点及效果：

动作识别准确率高；本发明利用每轴特征对不同动作识别的贡献大小对三轴特征进行融合，针对从智能手机加速度传感器获得的三轴加速度信号中提取的三轴特征，对其进行基于特征基的三轴特征表示、融合权重确定以及三轴特征融合，达到提高了动作识别准确率的目的。

附图说明

图1是本发明的特征融合方法的流程框图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

本实施所用的输入设备是内置三轴加速度传感器的智能手机，用计算机进行处理，便能较好地实施本发明。

用于人体动作识别的三轴特征融合算法的系统流程图如图1所示，具体步骤包括：

1、预处理；

对于采集到的三轴加速度信号用比值线性归一化的方法，把不同人的三轴加速度信号归一化到[-1，1]的范围内。

2、基于特征基的三轴特征表示，确定每轴特征基的系数；

从多类动作构成的大量三轴加速度信号样本集中分别提取每轴的时频域特征，构成三轴特征矢量空间，记为F＝[F_x,F_y,F_z]，F_x,F_y,F_z分别表示x轴、y轴和z轴的特征向量，每一轴的特征向量维数记为m，即三轴特征矢量空间F是一个3×m的矩阵。则三轴特征矢量可以表示成特征基[X₁,X₂,…,X_m]的线性组合，即

F_x＝A_x1X₁+A_x2X₂+…+A_xmX_m+ε_x

F_y＝A_y1X₁+A_y2X₂+…+A_ymX_m+ε_y，    (1)

F_z＝A_z1X₁+A_z2X₂+…+A_zmX_m+ε_z

其中，特征基[X₁,X₂,…,X_m]可以唯一的表示每一轴的特征向量。A_ij是一个3×m的矩阵，表示特征基的系数，i∈{x,y,z}，j＝[1,2,…,m]。ε_i表示每轴的误差平衡，i∈{x,_y,z}。

特征基X＝[X₁,X₂,…,X_m]的线性组合通过稀疏编码重构三轴特征矢量空间F的代价函数，用矩阵形式表示如下：

$J(A,X)={\left|\right|\mathrm{AX}-F\left|\right|}_2^2+\mathrm{\λ}{\left|\right|X\left|\right|}_1+\mathrm{\γ}{\left|\right|A\left|\right|}_2^2,---\left(2\right)$

这里用L₁范数对基矢量X做了稀疏性惩罚，同时为防止特征基的系数矩阵A过大，对其用L₂范数来约束。但是基矢量X处的L₁范数在0点是不可微的，所以不能用梯度下降法对上面的代价函数寻优，于是为了在0处可导，将公式(2)变成：

$J(A,X)={\left|\right|\mathrm{AX}-F\left|\right|}_2^2+\mathrm{\λ}\sqrt{X^2+\mathrm{\ϵ}}+\mathrm{\γ}{\left|\right|A\left|\right|}_2^2,---\left(3\right)$

对公式(3)执行以下算法就可以确定使J(A,x)最小化的特征基X和特征基的系数矩阵A。算法如下：

1)随机初始化A；

2)根据步骤1)给定的A，求解能够最小化J(A,x)的X；

3)根据步骤2)得到的X，求解能够最小化J(A,x)的A；

4)重复步骤2)、3)直至AX收敛于F。

3、基于特征基系数的方差贡献率确定三轴特征的融合权重

利用每轴特征基系数的方差贡献率，计算每轴特征的融合权重。具体如下：

利用每轴特征基的系数可以计算方差贡献率：

${\mathrm{VC}}_i^2=\underset{j=1}{\overset{m}{\mathrm{\Σ}}}(A_{\mathrm{ij}}-{\mathrm{\μ}}_i){(A_{\mathrm{ij}}-{\mathrm{\μ}}_i)}^T,i\∈\{x,y,z\},---\left(4\right)$

其中，表示每轴特征基系数的均值。

因为每一类动作的三个轴的特征基的系数应该分别稳定在三轴系数的均值附近，从而每一类动作的特征空间才是稳定的，这样不同动作的特征空间才会更少的重叠，识别效果才更好。所以基于公式(4)，每轴特征基系数的方差贡献率重新计算如下：

${\mathrm{VC}}_{i\_\mathrm{new}}^2=\frac{{\mathrm{VC}}_{\max }^2-{\mathrm{VC}}_{\min }^2}{{\mathrm{VC}}_i^2-{\mathrm{VC}}_{\min }^2},i\∈\{x,y,z\}---\left(5\right)$

将三轴的特征基系数的方差贡献率进行幅度上的压缩，就可以得到三轴特征的融合权重矩阵，记为W＝[W_x,W_y,W_z]，W_x,W_y,W_z分别表示x轴、y轴和z轴的特征融合权重，三轴特征的融合权重W也是一个m×3的矩阵。幅度压缩后的特征融合权重表示为：

$[W_x,W_y,W_z]=\frac{[{\mathrm{VC}}_{x\_\mathrm{new}}^2,{\mathrm{VC}}_{y\_\mathrm{new}}^2,{\mathrm{VC}}_{z\_\mathrm{new}}^2]}{{\mathrm{VC}}_{x\_\mathrm{new}}^2+{\mathrm{VC}}_{y\_\mathrm{new}}^2+{\mathrm{VC}}_{z\_\mathrm{new}}^2},---\left(6\right)$

4、三轴特征融合；

将三轴特征空间F＝[F_x,F_y,F_z]用公式(6)获得的融合权重压缩成单轴的特征EFF：

EFF＝[F_x,F_y,F_z][W_x,W_y,W_z]^T，    (7)

5、贝叶斯网络分类；

用上面生成的样本特征集的80％训练贝叶斯网络分类器，然后对剩下的20％用贝叶斯网络分类器识别出每个测试样本的动作类别。

本发明的优异性能通过大样本的实验得到了证实。下面描述采用本发明所述的特征融合方法，对大量人体运动的加速度信号样本进行相关实验的结果。

由于基于智能手机加速度传感器的人体运动识别目前还没有一个公共的数据库。本实施例采集了87个人的5种动作数据(走、跑、跳、上楼和下楼)，共采集到87套数据。每个类随机选取70套样本(占每类总样本数的80％)进行训练，总训练样本数为350，余下的17套样本用于测试，总的测试样本数目为85。

在实验中将本发明提出的基于三轴特征融合方法后的动作识别率和特征融合前的5种动作的识别率做了比较。如表1所示(表1为特征融合前后5种动作识别率的比较的表格)，给出了特征融合前后5种动作的识别率。

表1

由表1中可以看到，采用本发明提出的三轴特征融合提取方法获得的特征，其识别率明显高于未融合的三轴加速度信号的时频域特征。因此，实验结果显示了本发明所述的基于三轴特征的融合特征提取方法在性能方面明显优于传统的未融合的时频域特征。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (4)

1.一种用于人体动作识别的三轴特征融合方法，其特征在于，包括以下步骤：

(1)基于特征基的三轴特征表示，将三轴特征表示成特征基的线性组合，确定每轴特征基的系数；

(2)融合权重，利用每轴特征基的系数，基于方差贡献率计算每轴特征的融合权重；

(3)三轴特征融合，利用每轴特征对不同动作识别的贡献大小来融合三轴特征，提高对动作识别的识别率。

2.根据权利要求1所述的用于人体动作识别的三轴特征融合方法，其特征在于，所述步骤(1)中基于特征基的三轴特征表示是将三轴特征表示成特征基的线性组合，由此确定每轴特征基的系数，具体方法如下：

从多类动作构成的大量三轴加速度信号样本集中分别提取每轴的时频域特征，构成三轴特征矢量空间，记为F＝[F_x,F_y,F_z]，F_x,F_y,F_z分别表示x轴、y轴和z轴的特征向量，每一轴的特征向量维数记为m，即三轴特征矢量空间F是一个3×m的矩阵，则三轴特征矢量可以表示成特征基[X₁,X₂,…,X_m]的线性组合，即：

F_x＝A_x1X₁+A_x2X₂+L+A_xmX_m+ε_x

F_y＝A_y1X₁+A_y2X₂+…+A_ymX_m+ε_y，    (1)

F_z＝A_z1X₁+A_z2X₂+…+A_zmX_m+ε_z

其中，特征基[X₁,X₂,…,X_m]可以唯一的表示每一轴的特征向量，A_ij是一个3×m的矩阵，表示特征基的系数，i∈{x,_y,z}，j＝[1,2,…,m]；ε_i表示每轴的误差平衡，i∈{x,y,z}；

特征基X＝[X₁,X₂,…,X_m]的线性组合通过稀疏编码重构三轴特征矢量空间F的代价函数，用矩阵形式表示如下：

$J(A,X)={\left|\right|\mathrm{AX}-F\left|\right|}_2^2+\mathrm{\λ}{\left|\right|X\left|\right|}_1+\mathrm{\γ}{\left|\right|A\left|\right|}_2^2,---\left(2\right)$

用L₁范数对基矢量X做稀疏性惩罚，同时对特征基的系数矩阵A用L₂范数来约束；为了在0处可导，将公式(2)变成：

$J(A,X)={\left|\right|\mathrm{AX}-F\left|\right|}_2^2+\mathrm{\λ}\sqrt{X^2+\mathrm{\ϵ}}+\mathrm{\γ}{\left|\right|A\left|\right|}_2^2,---\left(3\right)$

对公式(3)执行以下算法就可以确定使J(A,x)最小化的特征基X和特征基的系数矩阵A，其算法包括如下步骤：

1)随机初始化A；

2)根据步骤1)给定的A，求解能够最小化J(A,x)的X；

3)根据步骤2)得到的X，求解能够最小化J(A,x)的A；

4)重复步骤2)、3)直至AX收敛于F。

3.根据权利要求1所述的用于人体动作识别的三轴特征融合方法，其特征在于，所述步骤(2)融合权重，每轴特征向量的融合权重系数的提取如下：

利用每轴特征基的系数可以计算方差贡献率：

${\mathrm{VC}}_i^2=\underset{j=1}{\overset{m}{\mathrm{\Σ}}}(A_{\mathrm{ij}}-{\mathrm{\μ}}_i){(A_{\mathrm{ij}}-{\mathrm{\μ}}_i)}^T,i\∈\{x,y,z\},---\left(4\right)$

其中，表示每轴特征基系数的均值；

特征基系数的方差贡献率重新计算如下：

${\mathrm{VC}}_{i\_\mathrm{new}}^2=\frac{{\mathrm{VC}}_{\max }^2-{\mathrm{VC}}_{\min }^2}{{\mathrm{VC}}_i^2-{\mathrm{VC}}_{\min }^2},i\∈\{x,y,z\}---\left(5\right)$

将三轴的特征基系数的方差贡献率进行幅度上的压缩，得到三轴特征的融合权重矩阵，记为W＝[W_x,W_y,W_z]，W_x,W_y,W_z分别表示x轴、y轴和z轴的特征融合权重，三轴特征的融合权重矩阵W也是一个3×m的矩阵，幅度压缩后的特征融合权重表示为：

$[W_x,W_y,W_z]=\frac{[{\mathrm{VC}}_{x\_\mathrm{new}}^2,{\mathrm{VC}}_{y\_\mathrm{new}}^2,{\mathrm{VC}}_{z\_\mathrm{new}}^2]}{{\mathrm{VC}}_{x\_\mathrm{new}}^2+{\mathrm{VC}}_{y\_\mathrm{new}}^2+{\mathrm{VC}}_{z\_\mathrm{new}}^2},---\left(6\right)$

其中，[W_x,W_y,W_z]表示幅度压缩后的特征融合权重。

4.根据权利要求1所述的用于人体动作识别的三轴特征融合方法，其特征在于，所述步骤(3)中的三轴特征融合，利用三轴特征的融合权重获得融合后的特征向量：

EFF＝[F_x,F_y,F_z][W_x,W_y,W_z]^T，    (7)

其中，EFF表示融合后的特征向量。