CN106210269A - 一种基于智能手机的人体动作识别系统及方法 - Google Patents

Abstract

本发明公开了一种利用智能手机传感器平台的人体动作识别系统及相关方法。本发明中利用智能手机中集成的多种传感器和网络连接服务设计了一种客户端/服务器端架构的在线人体动作识别系统，通过设计一种多传感器信息融合的姿态矫正算法解决了手机姿态不固定导致的传感器轴向信息丢失的问题。本专利中提出了一种利用滑动窗口对加速度时间序列进行特征提取的方案，并利用多核支持向量机进行多模态信息组合分类。本专利中设计的利用智能手机传感器平台的人体动作识别系统具有通用和有效性。

Description

一种基于智能手机的人体动作识别系统及方法

技术领域

本发明涉及移动便携设备，特别涉及基于移动智能手机传感器数据的人体姿态识别技术中的手机姿态矫正算法、特征提取算法和机器学习算法。

背景技术

医疗健康在当今社会生活中正受到越来多的关注。现在有很多的医疗监控的设备，比如随处可见的智能手环，它通过传感器的数值判断步数，并根据用户自己输入的年龄、性别、身高、体重等信息估计出步行距离和卡路里消耗量，这种基于阈值判断的人体动作监控方式具有速度快，设备简单的特点，在一些对准确度不高的环境下可以起到不错的效果。在智能手环技术如此火热的时代，这种便捷随身的人体动作监控技术的重要性不言而喻，不仅仅是年轻人有锻炼身体的需要，尤其是在这个老龄化严重的时代，子女对老人照料的压力巨大，但我们通过便携的人体动作监控设备和一些其他信息，例如GPS位置的符合，我们可以推断出老人目前的状态，更重要的是可以利用动作信息判断甚至是预判老人是否摔倒，从而减轻老年人照顾的负担。事实上，在传统的医疗领域，对长期人体动作监控的需求也越来越强烈，比如某一些精神病的诊断需要知道病人动作特征，而目前的技术主要是通过对病人和病人家属的主观询问，但尤其是对病人来说，这种主观理解并不准确，因为病人不能准确的记忆或者描述出当时的状态，这种情况下，如果使用基于设备的人体动作记录，就可以获得客观的数据，帮助医生的诊断和治疗。在这样的背景下，便携的人体动作识别系统的是非常重要的。

本发明针对人体动作识别应用中的便携性和有效性两个方面进行了系统和方法的设计，利用常用的智能手机传感器平台和姿态矫正、特征抽取和模式分类的算法实现了一种可靠的人体动作识别系统。

发明内容

本发明针对人体动作识别中的便携性和有效性两个方面进行了系统和方法的设计，本专利中实现了走路、跑步、跳跃、上楼梯、下楼梯、慢走、快走、向后走、骑车、休息等10种人体日常动作的识别。

本发明为解决上述问题，采用如下技术方案：

步骤一、利用智能手机传感器平台采集人体动作特征；

步骤二、处理原始特征进行姿态矫正；

步骤三、对矫正后的数据进行特征提取；

步骤四、进行特征处理后训练模型；

步骤五、对未知的时间序列进行识别。

所述步骤一中，我们利用智能手机中常见的方位传感器、重力传感器和加速度传感器分别采集用户的动作数据。三种传感器的功能说明分别为

方位传感器：返回手机轴向的角度数据。

重力传感器：返回手机轴向的重力分量。

加速度传感器：返回手机轴向的加速度

手机轴向的说明见图2.

所述步骤二中，由于在日常生活中手机的姿态不固定，本专利中发明了一个多传感器数据融合的算法进行姿态的矫正，从而分析出手机的水平和竖直方向加速度。

算法1：姿态矫正算法

1.利用方位传感器返回的×轴和Y轴对水平面的夹角，和重力传感器的三轴数据在竖直方向的矢量和为g，从而计算出手机Z轴对于水平面的夹角

$Z_H={\sin }^{-1}\frac{\[-G-GRA\left(2\right)\×\sin ORI\left(2\right)+GRA\left(1\right)\×\sin ORI\left(3\right)\]}{GRA\left(3\right)}$

2.计算竖直方向的加速度

ACC_Vertical＝[ACC(2)×sin ORI(2)-ACC(1)×sin ORI(3)+ACC(3)×sin Z_H]×-1

3.根据重力传感器的三个分量在水平面上的投影的矢量和为零，而重力传感器的三个分量的投影大小固定，因此我们可以唯一的计算到X，Y，Z三轴在水平面上的投影方向

GRA_H(1)＝|GRA(2)×cos ORI(2)|

GRA_H(2)＝|GRA(1)×cos ORI(3)|

GRA_H(3)＝|GRA(3)×cos Z_H|

ACC_H(1)＝|ACC(2)×cos ORI(2)|

ACC_H(2)＝|ACC(1)×cos ORI(3)|

ACC_H(3)＝|ACC(3)×cos Z_H|

$G2G1={\cos }^{-1}\[\frac{{{\mathrm{GRA}}_{H\left(1\right)}}^2+{{\mathrm{GRA}}_{H\left(2\right)}}^2-{{\mathrm{GRA}}_{H\left(3\right)}}^2}{2\×{\mathrm{GRA}}_{H\left(1\right)}\×{\mathrm{GRA}}_{H\left(2\right)}}\]$

$G3G1={\cos }^{-1}\[\frac{{{\mathrm{GRA}}_{H\left(1\right)}}^2+{{\mathrm{GRA}}_{H\left(3\right)}}^2-{{\mathrm{GRA}}_{H\left(2\right)}}^2}{2\×{\mathrm{GRA}}_{H\left(1\right)}\×{\mathrm{GRA}}_{H\left(3\right)}}\]$

G2G3＝cos^-1[cos G2G1×cos G3G1-sin G2G1×sin G3G1]

4.计算ACC2和ACC3在水平面上的合加速度

$L=\sqrt{{{\mathrm{ACC}}_{H\left(2\right)}}^2+{{\mathrm{ACC}}_{H\left(3\right)}}^2+2\×{\mathrm{ACC}}_{H\left(2\right)}\×{\mathrm{ACC}}_{H\left(3\right)}\×\cos G2G3}$

5.计算水平方向合加速度

$LA2={\cos }^{-1}\frac{{{\mathrm{ACC}}_{H\left(2\right)}}^2+L^2-{{\mathrm{ACC}}_{H\left(3\right)}}^2}{2\×{\mathrm{ACC}}_{H\left(2\right)}\×L}$

LA1＝cos^-1-1×(cosLA2×cos G2G1+sinLA2×cos G2G1)

${\mathrm{ACC}}_{Horizontal}=\sqrt{{{\mathrm{ACC}}_{H\left(1\right)}}^2+L^2+2\×{\mathrm{ACC}}_{H\left(1\right)}\×\cos LA1}$

从而得到了矫正后的水平加速度和竖直加速度，这两种模态的信息的分离将使后面的识别步骤更加精确、简单。

ACG_Vertical ACG_Horizontal

所述步骤三中，利用步骤二中矫正后的水平和竖直方向数据进行特征提取。本专利中，样本采集过程中，使用50Hz的采样率进行数据采集，利用5s的时间窗和2.5s的滑动窗口，进行样本的分割，每次对时间窗内的数据做一次快速傅里叶变换，去除傅里叶系数的直流分量作为一组特征，另外，本专利中也采用了其他一些统计/物理特征：

1.运动强度(MI)

$MI\left(t\right)=\sqrt{a_x{\left(t\right)}^2+a_y{\left(t\right)}^2+a_z{\left(t\right)}^2}$

$AI=\frac{1}{T}\left(\underset{t=1}{\overset{T}{\mathrm{\Σ}}}MI\right(t\left)\right)$

$VI=\frac{1}{T}\left(\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\left(MI\left(t\right)-AI\right)}^2\right)$

2.归一化的信号量级(SMA)

$SMA=\frac{1}{T}\left(\underset{t=1}{\overset{T}{\mathrm{\Σ}}}\right|a_x\left(t\right)|+\underset{t=1}{\overset{T}{\mathrm{\Σ}}}|a_y\left(t\right)|+\underset{t=1}{\overset{T}{\mathrm{\Σ}}}|a_z\left(t\right)\left|\right)$

3.主方向特征(EVA)

建立X，Y，Z轴加速度数据的协方差矩阵，这个矩阵的特征向量对应于哪个方向为现在运动的主方向，而特征值体现了三个方向之间的相关性。我们采用前两个特征值来表现前进方向和竖直方向的相关性。

4.主频(DF)

定义主频(Dominant Frequency)为FFT变换后，除去直流分量后的最大绝对值。

5.能量(ENERGY)

定义每个方向上的能量为FFT变换后，除去直流分量的所有频率幅度的绝对值和。

6.平均加速能量(AAE)

定义平均加速能量为每个轴上能量的均值。

7.加速度均值(MEAN)

定义加速度均值为一个窗口内加速度的平均值。

8.加速度中值(MEDIAN)

定义加速度中值为一个窗口内加速度的中值。

9.加速度方差，标准差(VAR，STD_VAR)

定义加速度方差，标准差为一个窗口内加速度的方差和标准差。

10.过零率和过均值率(CROSS_ZERO，CROSS_MEAN)

定义一个窗口内加速度值通过零值和均值的概率来表示过零率和过均值率。

本专利中，对水平、竖直方向的时间序列分别提取特征，得到关于人体运动姿态的2中模态的特征。

所述步骤四中，利用步骤三提取到时间窗内的特征，对特征进行滤噪，之后利用多核支持向量机的方法进行模型学习。

所述步骤五中，对实际应用中提取到的用户运动的时间序列信息进行时间窗分割，特征提取等步骤之后，利用步骤四学习到的分类器进行分类，将一个时间窗内的特征识别为一种人体动作。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

(1)不需要限定传感器与人体的相对固定，只使用随身的智能手机即可实现人体动作识别；

(2)和目前智能手机中的动作识别应用相比具有更高的分辨能力并且支持更多动作；

(3)采用客户端/服务器架构，优化了计算耗能。

附图说明

图1为本发明的完整的系统工作流程图。

图2为本发明中涉及的智能手机传感器数据的轴向说明。

图3为本发明中涉及的时间窗特征提取模式。

图4为本发明中所用的机器学习框架。

图5为本发明中所用的多核支持向量机模型。

具体实施方式

以下结合附图和实施例对本发明的技术方案做进一步详细说明：

实施例

如图1所示，具体的实施过程包含两个部分和12个步骤：

在第一部分中，即客户端的工作步骤：

步骤1是当用户打开客户端后，客户端应用打开主线程，步骤2是主线程同时开始尝试与服务器端建立可靠的网络连接。同时，在步骤3中，主线程启动3个后台服务，分别对方位传感器，加速度传感器和重力传感器建立监听，这3个后台服务同时将采集到的数据在步骤4中选择数据是用来训练还是用来识别。选择训练模式后，主线程判断样本是否合格，如果合格则存储到样本集中，并用于后期训练，则进入步骤6。如果选择识别，则进入步骤5，步骤5中，客户端中主线程将收集到的三个传感器数据进行分割编码后，利用发送线程把数据发送到服务器端。

在第二部分中，即服务器端的工作步骤：

服务器启动后，步骤10中开始监听是否有客户端请求接入，客户端接入后为其建立一个网络连接线程。步骤9中，客户端和服务器端保持连接的有效性。步骤6中，利用采集到的数据集首先进行姿态的矫正，然后对水平和竖直方向的加速度数据进行特征提取，然后使用多核支持向量机进行模型的训练，并存储样本投影矩阵。步骤8中，服务器接收来自客户端的数据，接收线程中对网络数据进行解码合并后利用滑动窗口提取5s的时间序列，对时间序列进行特征提取后在步骤7中读取模型并进行识别，步骤11中，将识别结果送入到发送线程，步骤12中将识别结果返回到客户端.

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (6)

1.一种基于智能手机的人体动作识别系统及方法包括以下步骤：

(1)在智能手机中启用对服务器端的网络连接；

(2)智能手机中使用三个后台服务监听三种传感器信息；

(3)利用姿态矫正算法将智能手机加速度信息矫正到水平竖直方向；

(4)将步骤(3)中的矫正后的加速度数据提取特征；

(5)使用支持向量机(Support Vector Machine)和多核技术进行模型的学习和应用。

2.根据权利要求1所述的一种基于智能手机的人体动作识别系统及方法，其特征在于，所述步骤(1)中，建立了客户端与服务器端网络连接。其实现方法包括：

(21)客户端启动时请求和服务器端建立连接，新建网络线程保持连接的有效性；

(22)服务器端启动后等待客户端连接，收到请求后为该客户端建立网络连接和数据处理线程；

(23)客户端发送数据到服务器端，服务器端进行处理后将结果返回到客户端。

3.根据权利要求1所述的一种基于智能手机的人体动作识别系统及方法，其特征在于，所述步骤(2)中，客户端使用三个后台服务实现传感器监听，其实现方法包括：

(31)分别建立三个后台服务，并分别注册对加速度传感器、方位传感器和重力传感器的监听；

(32)将后台服务的监听数据同步到主线程。主线程选择存储数据或者将数据编码打包后发送到服务器端进行处理；

(33)收集走路、跑步、跳跃、上楼梯、下楼梯、慢走、快走、向后走、骑车、休息等10种人体日常动作的数据作为训练数据。

4.根据权利要求1所述的一种基于智能手机的人体动作识别系统及方法，其特征在于，所述步骤(3)中，姿态矫正算法，其实现方法包括：

(41)利用方位传感器返回的X轴和Y轴对水平面的夹角，和重力传感器的三轴数据在竖直方向的矢量和为g，从而计算出手机Z轴对于水平面的夹角

计算竖直方向的加速度

ACC_Vertical＝[ACC(2)×sin ORI(2)-ACC(1)×sin ORI(3)+ACC(3)×sin Z_H]×-1

根据重力传感器的三个分量在水平面上的投影的矢量和为零，而重力传感器的三个分量的投影大小固定，因此我们可以唯一的计算到X，Y，Z三轴在水平面上的投影方向

GRA_H(1)＝|GRA(2)×cos ORI(2)|

GRA_H(2)＝|GRA(1)×cos ORI(3)|

GRA_H(3)＝|GRA(3)×cos Z_H|

ACC_H(1)＝|ACC(2)×cos ORI(2)|

ACC_H(2)＝|ACC(1)×cos ORI(3)|

ACC_H(3)＝|ACC(3)×cos Z_H|

G2G3＝cos^-1[cos G2G1×cos G3G1-sin G2G1×sin G3G1]

计算ACC2和ACC3在水平面上的合加速度

计算水平方向合加速度

LA1＝cos^-1-1×(cos LA2×cos G2G1+sin LA2×cos G2G1)

从而得到了矫正后的水平加速度和竖直加速度

ACC_VerticalACC_Horizontal。

5.根据权利要求1所述的一种基于智能手机的人体动作识别系统及方法，其特征在于，所述步骤(4)中，从矫正后的数据中提取特征，其实现方法包括：

(51)利用5s的时间窗和2.5s的滑动窗口对时间序列进行特征提取，分别对水平方向加速度和竖直方向加速度进行特征提取；

(52)对时间窗内时间序列进行傅里叶变换后去除直流噪声后作为一组特征；

(53)提取一系列统计/物理特征作为另一组特征，

1.运动强度(MI)

2.归一化的信号量级(SMA)

3.主方向特征(EVA)

建立X，Y，Z轴加速度数据的协方差矩阵，这个矩阵的特征向量对应于哪个方向为现在运动的主方向，而特征值体现了三个方向之间的相关性。我们采用前两个特征值来表现前进方向和竖直方向的相关性。

4.主频(DF)

定义主频(Dominant Frequency)为FFT变换后，除去直流分量后的最大绝对值。

5.能量(ENERGY)

定义每个方向上的能量为FFT变换后，除去直流分量的所有频率幅度的绝对值和。

6.平均加速能量(AAE)

定义平均加速能量为每个轴上能量的均值。

7.加速度均值(MEAN)

定义加速度均值为一个窗口内加速度的平均值。

8.加速度中值(MEDIAN)

定义加速度中值为一个窗口内加速度的中值。

9.加速度方差，标准差(VAR，STD_VAR)

定义加速度方差，标准差为一个窗口内加速度的方差和标准差。

10.过零率和过均值率(CROSS_ZERO，CROSS_MEAN)

定义一个窗口内加速度值通过零值和均值的概率来表示过零率和过均值率。

6.根据权利要求1所述的一种基于智能手机的人体动作识别系统及方法，其特征在于，所述步骤(5)中，将步骤(4)中提取到的水平竖直方向两种特征进行线性的融合后训练模型并应用，其实现方法包括：

(61)分别对步骤(2)中收集的训练数据利用步骤(3)中的方法进行方向矫正利用步骤(4)中的方法进行特征提取后计算线性核矩阵；

(62)对水平和竖直方向所对应的核矩阵进行线性加权，利用支持向量机(SupportVector Machine)训练分类模型；

(63)服务器端利用步骤(4)处理客户端发送的数据，并利用模型识别后将结果返回到客户端。