CN104021573A - 一种基于关节姿态角的人体动作分类识别方法 - Google Patents

Abstract

本发明提供的是一种基于关节姿态角的人体动作分类识别方法。(1)采用基于惯性传感器的动作捕捉系统获取人体动作数据信号；(2)对所采集到的人体动作数据信号进行滤波去噪、归一化预处理；(3)用异步隐马尔科夫模型对每种动作建模，训练异步隐马尔科夫模型，对其进行特征提取和选择；(4)用训练好的异步隐马尔科夫模型对输入动作进行分类识别。本发明不但解决了人体动作不存在严格划分的问题，填补了目前人体运动研究对象相对单一，没有相应的理论体系的空白。而且，由于采用关节姿态角表征人体动作特征，所以本发明所采用的特征对个体的依赖性很低，对不同的人都有比较稳健的特征，识别速度和识别率较均有较大幅度的提高。

Description

一种基于关节姿态角的人体动作分类识别方法

技术领域

本发明涉及的是一种人体运动分析方法，具体涉及一种基于关节姿态角的人体动作分类及识别方法。

背景技术

人体动作分析是关节运动学的延伸，是人体运动学的基础，也是人体运动分析的重要组成部分。人在日常生活、生产劳动以及体育运动中的许多重要的行为都要通过人体执行动作来实现^[1]，显而易见，在体育运动中人体动作更具有重要意义，因此对于人体运动动作的研究早就引起了人们的重视。

人体运动学是研究人体活动科学的领域，是描述和研究人体的运动随时间变化的规律或在运动过程中所经过的轨迹^[2]，而不考虑人体运动状态改变的原因。关节运动学属于人体运动学的范畴，关节联结人体各部位的环节，是人体运动的枢纽，它是传递载荷、保持能量、使人体做正常运动的重要器官，其中以肩、肘、腕、髋、膝、踝为六大主要关节^[3]。人体运动学目前仅对人体的运动作了区分，主要有三种方法^[4]，第一种是将人体简化为质点，按照质点的运动轨迹将人体运动分类为平动、转动和复合运动；第二种是按关节将人体简化为多刚体模型，将人体关节的运动分为屈曲/伸展、内收/外展、内旋/外旋、旋前/旋后和内翻/外翻；第三种是视人体为上肢、头、躯干、下肢组成的多环节铰链形式，将上肢运动分为推、拉和鞭打，下肢运动分为缓冲、蹬伸和鞭打，全身运动分为摆动、躯干扭转和相向运动等形式。人体运动学对人体运动的区分实质上仅是对人体姿态进行了微观分类，而一般的运动研究都是针对人体连贯运动，即有意义的运动的，由于上述的分类方法将人体运动划分为若干个不具意义的姿态，即不能够表现人体意图，因此它并不适用于人体日常活动、生产劳动和体育运动中对人体运动的研究。

人体运动分析是用于描述、识别人体动作、人与人之间、人与外界环境之间的交互行为的技术，目前主流的人体运动分析是基于视觉的运动分析^[5]，主要步骤有运动目标检测、运动目标分类、人体运动跟踪以及动作识别或行为识别等^[6]，其中人体动作识别或行为识别是人体运动分析的输出，也是最终的判别结果，识别率表征着整个运动分析过程的有效性，因此对待识别的人体动作的定义显得尤为关键。对人体动作进行准确定义并按其定义采集训练样本，对识别率的提高很有帮助。目前虽然已有可用于人体运动分析研究的人体动作库^[7]，但其内含的动作从分类采集到存储均是按动作库创建者个人的理解进行的，因此这些动作没有统一的定义，各个动作区分也没有严格的规范，甚至动作库中存在人体姿态、动作、行为等概念混淆的现象。

鉴于人体运动学和人体运动分析技术都不能对人体动作进行严格的定义和分类，本发明提出一种基于关节姿态角的人体动作分类及识别方法，首先在关节运动学的基础上，对人体执行动作时的运动状态作了分析，再对人体运动姿态进行识别。由此得出具有意义的、组成人体运动的基本单元——人体动作的分类及识别方法。

与发明相关的公开报道包括：

[1]Aggarwal J K,Cai Q.Human motion analysis:A review[C].Nonrigid and ArticulatedMotion Workshop,1997,Proceedings.,IEEE,1997:90-102.

[2]Newell K M.Kinesiology:Challenges of multiple agendas[J].Quest,2007,59(1):5-24.

[3]Hamilton N,Luttgens K,Weimar W.Scientific Basis of Human Motion[M].2002.

[4]Herzog W,Longino D.The role of muscles in joint degeneration and osteoarthritis[J].Journal of biomechanics,2007,40:S54-S63.

[5]黎洪松,李达.人体运动分析研究的若干新进展[J].模式识别与人工智能,2009,22(1):70-78.

[6]Peursum P,Venkatesh S,West G.Tracking-as-recognition for articulated full-body humanmotion analysis[C].IEEE Conf.Computer Vision and Pattern Recognition,2007:1-8.

[7]Zerger A,Freudenberger D,Thackway R,et al.VegTrack:a structured vegetation restorationactivity database[J].Ecological management&restoration,2009,10(2):136-144。

发明内容

本发明的目的在于提供一种识别速度快和识别率高的基于关节姿态角的人体动作分类识别方法。

本发明的目的是这样实现的：

(1)采用基于惯性传感器的动作捕捉系统获取人体动作数据信号；

(2)对所采集到的人体动作数据信号进行滤波去噪、归一化预处理；

(3)用异步隐马尔科夫模型对每种动作建模，训练异步隐马尔科夫模型，对其进行特征提取和选择；

(4)用训练好的异步隐马尔科夫模型对输入动作进行分类识别。

本发明首先，采用基于惯性传感器的动作捕捉系统采集人体动作信号，对人体动作信号进行滤波去噪、归一化等预处理；然后，再用异步隐马尔科夫模型对每种动作进行建模，进而训练异步隐马尔科夫模型，最后，用训练好的异步隐马尔科夫模型对输入动作进行分类识别。不但解决了人体动作不存在严格划分的问题，填补了目前人体运动研究对象相对单一，没有相应的理论体系的空白。而且，由于采用关节姿态角表征人体动作特征，所以本发明所采用的特征对个体的依赖性很低，对不同的人都有比较稳健的特征，识别速度和识别率较均有较大幅度的提高。

本发明的主要贡献和特点在于：为基于关节姿态角的人体动作分类及识别方法提供新的思路。对人体动作采用主要关节的姿态角发生的改变进行表征，并对按一定规律组合构成人体运动的人体基本动作进行分类，填补了人体姿态不能够表现人体意图和复杂多变的人体运动不适于定量化描述之间的空白。本发明采用关节姿态角表征人体动作特征，对个体的依赖性很低，对不同的人都有比较稳健的特性。

附图说明

图1为基于惯性传感器的人体动作识别框架图；

图2为动作捕捉系统结构图；

图3(a)-图3(c)为采集的原始姿态角信号图；

图4(a)-图4(c)为平滑滤波后的姿态角信号图；

图5为异步隐马尔科夫组成示意图；

图6为基于异步隐马尔科夫模型的动作识别的原理框图；

图7为人体基本轴和基本面示意图；

图8为取不同状态时的识别率；

图9为关节运动形式分类表(表1)；

图10为人体基本动作分类表(表2)；

图11为状态数为4时的识别结果(表3)；

图12为状态数为7时的识别结果(表4)。

具体实施方式

下面结合附图举例对本发明做更详细地描述：

一种基于关节姿态角的人体动作分类及识别方法，首先，采用基于惯性传感器的动作捕捉系统采集人体动作信号，对人体动作信号进行滤波去噪、归一化等预处理；然后，再用异步隐马尔科夫模型对每种动作进行建模，进而训练异步隐马尔科夫模型，最后，用训练好的异步隐马尔科夫模型对输入动作进行分类识别。具体为：

1.动作数据获取

在动作数据获取阶段采用基于惯性传感器的动作捕捉方法。动作捕捉系统结构如图2所示，惯性传感器被固定在人体的相关部位构成传感器节点，节点将采集到的数据通过无线方式传输到PC机，实现对人体动作的实时捕捉。数据传到PC以后会被保存，建立人体动作数据库。

2.预处理

由于惯性传感器采集到的人体运动信息含有很多噪声，信号具有不同幅度大小和动作有快慢等问题，因此，要对采集到的运动信息做数据平滑滤波和归一化的预处理，从而消除噪声。

2.1数据的平滑滤波

采集到的数据序列中掺杂的噪声信号主要包括两种：惯性传感器自身的固有噪声和人体不自觉抖动产生的噪声。我们选择巴特沃斯低通滤波器滤除高频噪声。

设计步骤如下：

①首先考虑利用冲激响应不变法将系统的传递函数G(s)转换为转移函数H(z)，需要对单位冲激响应g(t)抽样，即：

$h\left({\mathrm{nT}}_s\right)=g\left(t\right){|}_{t={\mathrm{nT}}_s}=g\left(t\right)\underset{n=0}{\overset{\∞}{\mathrm{\Σ}}}\mathrm{\δ}(t-{\mathrm{nT}}_s)$

②转化成模拟滤波器指标后就可据其进行模拟低通滤波器G(s)的设计。

由Butterworth滤波器模型：

${\left|G\left(\mathrm{j\Ω}\right)\right|}^2=\frac{1}{1+C^2{\left({\mathrm{\Ω}}^2\right)}^N}$

其中，C为待定常数，N为待定的滤波器节次。

可求得：

$C^2={10}^{{\mathrm{\α}}_s/10}-1$

$N=\log \sqrt{\frac{{10}^{{\mathrm{\α}}_s}-1}{{10}^{{\mathrm{\α}}_p}-1}}/\log \frac{{\mathrm{\Ω}}_s}{{\mathrm{\Ω}}_p}$

由可求得G(p)：

$G\left(p\right)=\frac{1}{(p-p_1)(p-p_2)...(p-p_N)}$

最后，用代替变量p，即求得实际需要的G(s)。

③最后按规则将G(z)转换成H(z)。

图3是动作捕捉系统采集到的右大腿节点的原始姿态角信号，图4是通过滤波处理后的姿态角信号，从图4中可以看出，姿态角信号的噪声经滤波后已经被有效地去除了。

2.2归一化

归一化处理就是要把信号按一定规则变换到一个区间内以实现将数据幅度调整为一致。

设原始数据为P_i＝[P₁,P₂,…,P_n],将其归一化到区间[X₁,X₂]之内，归一化后的数据是T_i＝[T₁,T₂,…,T_n]，则有归一化公式：

T_i＝X₁+[(X₂-X₁)·(P_i-min(P_i))/(max(P_i)-min(P_i))]

其中，min(P_i)为P_i中最小的一个数据元素，max(P_i)为P_i中最大的一个数据元素，区间[X₁,X₂]一般取[0,1]或[-1,1]，本发明把原始的动作数据归一化到[-1,1]区间之内。

3.特征提取与选择

由于人体动作信号具有时间序列特性，因此我们将异步隐马尔科夫算法引入人体动作识别中来。因为对人体动作提取特征得到的是一维的特征向量序列O＝O₁O₂…O_T，而且，每个特征向量是满足某种概率分布的随机向量，这种随机向量是随时间变化的，所以可以看做是一种随机过程。我们将从动作数据中提取的关键特征集构造离散异步隐马尔科夫模型进行动作识别。该模型实际上是一种多状态自动机的马氏链。

马尔科夫链是状态和时间参数都离散的马尔科夫过程，定义如下：

随机序列X_m在任意时刻n，可以处于状态θ₁,…θ_N，X_n在m+k时刻的状态为q_m+k的概率只与该序列在m时刻的状态q_m有关，即：

P(X_m+k＝q_m+k/X_m＝q_m,X_m-1＝q_m-1,…,X₁＝q₁)

＝P(X_m+k＝q_m+k/X_m＝q_m)

其中，q₁,q₂,…,q_m,…,q_m+k∈(θ₁,θ₂,…,θ_N)，则称X_n为马尔科夫链。

这样，一个有N个状态的异步隐马尔科夫模型可记为λ＝(π,A,B)，异步隐马尔科夫模型分为两部分π,A描述的马尔科夫链产生的输出状态序列；另一个是由B描述的随机过程，它产生的输出为观察序列，图5所示，其中π为初始状态概率矢量，A为状态转移矩阵，B为观察值概率矩阵，T为观察之时间长度。

在人体动作识别中，隐马尔科夫模型的每个状态表示一种可能的姿态；状态转换表示从一种姿态转换成另一种姿态；相应的输出观测符号表示一种特定的姿态，一组输出符号代表一种动作。因此可以构建一系列隐马尔科夫模型，在识别过程中，测试样本被归类到后验概率最大的类别。

基于异步离散隐马尔科夫模型的动作识别的原理框图如图6所示，其基本思想是：在训练阶段，用异步隐马尔科夫模型的训练算法，建立每个动作W_i对应的异步隐马尔科夫模型，记为λ_i(对应图6中的参考模式)；在识别阶段，用前向-后向算法求出各个概率P(O|λ_i)值，其中，O为待识别动作的观察值序列(对应图6中的模式匹配)；后处理就是选取最大P(O|λ_i)值所对应的动作W_i为O的识别结果。

4.分类及识别

4.1动作的分类

人体运动可看成是按照一定的规则和顺序组合而成的一系列基本动作，而这些基本动作能够通过人体关节的姿态角变化进行表征。关节姿态角指的是航向角、俯仰角和横滚角，它们分别指关节绕垂直轴转动的角度、绕矢状轴转动的角度和绕冠状轴转动的角度。图7是人体基本面和基本轴，即水平面、矢状面、冠状面、垂直轴、矢状轴和冠状轴的示意图。根据关节运动方向以及运动关节与身体其他部分的关系，将运动形式大致分为平动和旋转运动两类，旋转运动又可分为：屈/伸、外展/内收、回旋、环旋等，如图9的表1所示。

按人体姿态发生变化与否为标准，将人体运动状态分为静态和动态两种。静态状态主要包括立、坐、蹲、卧等四个基本姿态，根据人体面向的基本面，又可将坐和卧的姿态分别细分为直立坐、前倾坐、后仰坐，以及仰卧、侧卧、俯卧等姿态。通过以上方法对人体动作进行分析后，可将人体动作分类。图10的表2是总结出的40个有意义的基本动作，它们是：站姿、坐姿(直立坐、前倾坐、后仰坐)、卧姿(仰卧、侧卧、俯卧)、蹲姿、推、拉、举、压、拍、扣、抽、抱臂、摆臂、前踢腿、后踢腿、前蹬、后蹬、马步、弓步、滑步、侧铲、劈叉、跪、行走(前行、后退)、跑、跳(上跳、前跳)、弯腰、转身(侧转、后转)、爬、翻身、上台阶、下台阶等40个动作。通过以上定义对动作数据的进行分类后，根据分类方法得到相应的动作姿态的识别结果。

4.2动作的识别

对于每一类待识别动作，都利用训练集建立相应的异步离散隐马尔科夫模型λ_i。异步离散隐马尔科夫模型的输入为基于聚类的特征选择挑选的前r个特征每种动作用一系列的观察值作为输入，应用Baum-Welch算法训练相应的异步离散隐马尔科夫模型的参数。异步离散隐马尔科夫模型训练好之后，即可进行动作的识别。

5.实验结果比较与分析

本实验使用采集到的20个采集者的10种不同的动作的数据集，为了保证识别率的无偏估计，我们采用的是交叉验证法，即每次将一个人的动作数据取作测试集，其余19人的动作数据取作训练集，用训练得到的模型对测试集中的样本进行分类。

在实验中，我们把经过主成分分析方法选择好的特征矢量进行矢量量化，作为异步隐马尔科夫的输入。

理论上，状态数越多越好，然而由于训练样本是有限的，如果实验中N取的过大，则训练后很多状态在参数λ＝(π,A,B)对应项中为0或者非常接近于0，成为冗余项，因此实验中将状态数按其复杂程度固定为3到8不等的数目。

实验中比较了不同状态数对动作识别率的影响。图11的表3和图12的表4分别表示状态数为4和7时的识别结果。

图8是状态数取不同数值时的识别率，可以看出随着状态数大小的增加，识别率整体上呈上升趋势，当状态数从3到7识别率增长很明显，大于7之后基本没有太大变化。

Claims (5)

1.一种基于关节姿态角的人体动作分类识别方法，其特征是：

(1)采用基于惯性传感器的动作捕捉系统获取人体动作数据信号；

(2)对所采集到的人体动作数据信号进行滤波去噪、归一化预处理；

(3)用异步隐马尔科夫模型对每种动作建模，训练异步隐马尔科夫模型，对其进行特征提取和选择；

(4)用训练好的异步隐马尔科夫模型对输入动作进行分类识别。

2.根据权利要求1所述的基于关节姿态角的人体动作分类识别方法，其特征是所述采用基于惯性传感器的动作捕捉系统获取人体动作数据信号的方法包括：惯性传感器固定在人体的相关部位构成传感器节点，传感器节点将采集到的数据通过无线方式传输到PC机，数据传到PC以后被保存，建立人体动作数据库。

3.根据权利要求2所述的基于关节姿态角的人体动作分类识别方法，其特征是所述预处理具体包括：

(1)平滑滤波

用巴特沃斯低通滤波器滤除高频噪声：

①首先利用冲激响应不变法将传递函数G(s)转换为转移函数H(z)，对单位冲激响应g(t)抽样，

即：

$h\left({\mathrm{nT}}_s\right)=g\left(t\right){|}_{t={\mathrm{nT}}_s}=g\left(t\right)\underset{n=0}{\overset{\∞}{\mathrm{\Σ}}}\mathrm{\δ}(t-{\mathrm{nT}}_s)$

②转化成模拟滤波器指标后，进行模拟低通滤波器G(s)的设计，

由Butterworth滤波器模型：

${\left|G\left(\mathrm{j\Ω}\right)\right|}^2=\frac{1}{1+C^2{\left({\mathrm{\Ω}}^2\right)}^N}$

其中，C为待定常数，N为待定的滤波器节次，

求得：

$C^2={10}^{{\mathrm{\α}}_s/10}-1$

$N=\log \sqrt{\frac{{10}^{{\mathrm{\α}}_s}-1}{{10}^{{\mathrm{\α}}_p}-1}}/\log \frac{{\mathrm{\Ω}}_s}{{\mathrm{\Ω}}_p}$

由求得G(p)：

$G\left(p\right)=\frac{1}{(p-p_1)(p-p_2)...(p-p_N)}$

最后，用代替变量p，求得实际需要的G(s)；。

③最后按规则将G(z)转换成H(z)；。

(2)归一化

设原始数据为P_i＝[P₁,P₂,…,P_n],将其归一化到区间[X₁,X₂]之内，归一化后的数据是T_i＝[T₁,T₂,…,T_n]，归一化公式：

T_i＝X₁+[(X₂-X₁)·(P_i-min(P_i))/(max(P_i)-min(P_i))]

其中，min(P_i)为P_i中最小的一个数据元素，max(P_i)为P_i中最大的一个数据元素，区间[X₁,X₂]取[0,1]或[-1,1]。

4.根据权利要求3所述的基于关节姿态角的人体动作分类识别方法，其特征是所述特征提取和选择具体包括：

在训练阶段，用异步隐马尔科夫模型的训练算法，建立每个动作W_i对应的异步隐马尔科夫模型，记为λ_i；在识别阶段，用前向-后向算法求出各个概率P(O|λ_i)值，其中，O为待识别动作的观察值序列；后处理就是选取最大P(O|λ_i)值所对应的动作W_i为O的识别结果。

5.根据权利要求4所述的基于关节姿态角的人体动作分类识别方法，其特征是所述分类识别具体包括：

(1)动作的分类

按人体姿态发生变化与否为标准，将人体运动状态分为静态和动态两种；静态状态主要包括立、坐、蹲、卧四个基本姿态，根据人体面向的基本面，又将坐和卧的姿态分别细分为直立坐、前倾坐、后仰坐，以及仰卧、侧卧、俯卧等姿态；

(2)动作的识别

对于每一类待识别动作，都利用训练集建立相应的异步离散隐马尔科夫模型λ_i，异步离散隐马尔科夫模型的输入为基于聚类的特征选择挑选的前r个特征每种动作用一系列的观察值作为输入，应用Baum-Welch算法训练相应的异步离散隐马尔科夫模型的参数，异步离散隐马尔科夫模型训练好之后，进行动作的识别。