CN106650619A - 一种人体动作识别方法 - Google Patents

Abstract

本发明涉及一种人体动作识别方法，包括以下步骤：S1，获取包含人体动作识别特征数据的连续图像帧；S2，筛选出有效图像帧，将有效图像帧中的特征数据作为待测数据；S3，构建待测数据的静态姿势特征向量F_cc、连续动作特征向量F_cp和整体动作特征向量F_co作为动作特征；S4，构建最终特征向量F_c，F_c＝[F_cc,F_cp,F_co]；S5，对最终特征向量F_c降维；S6，使用训练好的模型分类器对降维后最终特征向量F_c进行动作识别，得到识别结果。与现有技术相比，本发明具有识别率高、计算量小等优点。

Description

一种人体动作识别方法

技术领域

本发明涉及计算机视觉和模式识别领域，尤其是涉及一种人体动作识别方法。

背景技术

在日常生活中，通过肉眼来识别人体动作是件非常简单的事。但是通过计算机视觉系统来实现对人体动作的自动分类，是件非常复杂和具有挑战性的工作。其中，有许多问题需要解决，比如，人体动作信息的捕获、训练样本的学习、相似动作模式在其时间与空间中的微小变化的识别以及人的行为意图的获取等。目前，人体动作识别技术还不够成熟，还有很长的路要走，该项研究面临的主要困难有：

(1)人体结构与动作

人体是由一系列的骨骼关节所构成的复杂有机体，其动作是由相关骨骼驱动产生不同姿势组成。人体动作是高度复杂的非刚体动作，在人体动作期间呈现出复杂的动作特征。由于人的体型、动作习惯的不同，以及不同人做同种动作也会有明显的差异，这无疑为人体动作识别增大了技术难度。

(2)人体动作的切割

要识别的人体动作通常是由一系列的动作姿势组成的，这些姿势之间无明显的界限，它们具有持续性，因此对这些连续动作的切割是一个难题。目前主要对单个动作的识别进行了大量的研究，对连续动作的研究还很少，也缺乏考虑涵盖四肢精细复杂姿势的人体动作。

(3)人体的高维表示

人体动作识别首先遇到的问题是人体动作的跟踪和重建，为了更真实地描述人体动作与便于计算，目前大多选用人体模型来表示，即人体骨架模型。专家们一般需要人体模型的60个左右的关节参数实现对人体动作的精确估计，但是超过60维的参数空间中的最优参数估计的计算是非常复杂的，并且需要消耗大量的时间。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于帧选模型的人体动作识别方法，结合模糊支持向量机，以实现更准确快速的人体动作识别。

本发明的目的可以通过以下技术方案来实现：

一种人体动作识别方法，包括以下步骤：

S1，获取包含人体动作识别特征数据的连续图像帧，所述的特征数据为人体多个骨骼关节点的深度图像数据；

S2，使用基于累积运动能量的帧选择算法，筛选出有效图像帧，将有效图像帧中的特征数据作为待测数据；

S3，构建待测数据的静态姿势特征向量F_cc、连续动作特征向量F_cp和整体动作特征向量F_co作为动作特征，所述的静态特征向量F_cc表示一帧图像中，人体各个躯干的位置向量信息，所述的连续动作特征向量F_cp表示一帧图像相对其前一帧图像的骨骼关节点的位移变化，所述的整体动作特征向量F_co表示一帧图像相对于首帧图像的骨骼关节点的位移变化；

S4，构建最终特征向量F_c，F_c＝[F_cc,F_cp,F_co]；

S5，对最终特征向量F_c降维；

S6，使用训练好的模型分类器对降维后最终特征向量F_c进行动作识别，得到识别结果。

所述的步骤S1中，通过Kinect设备采集图像帧，特征数据包括人体20个骨骼关节点的深度图像数据。

所述的步骤S2中，帧选择算法包括：对于同一个动作，按照图像帧顺序，从第二帧开始计算当前帧三维深度图像的动作能量图的和AME(i)，将当前帧与上一帧进行比较，若AME(i)-AME(i-1)＞ε，则将当前帧作为有效图像帧进行保留，否则舍弃当前帧，然后进行下一帧的计算，直到最后一帧，

当AME(i)-AME(i-1)＞ε

其中，i表示帧的序号，表示第j帧三维深度图像被投射到三维坐标轴得到的三维坐标，其中v表示坐标轴，v∈{1,2,3}，ε是帧选择算法设定的阈值，0<ε<1。AME(i)计算得到这个动作能量图的和，每一帧的动作能量图通过两个连续的帧之间累积差计算获得。

所述的步骤S3中，静态姿势特征向量F_cc、连续动作特征向量F_cp和整体动作特征向量F_co的表达式分别为：

F_cc＝{v₂₀-v₃,v₁-v₃,v₂-v₃,v₁-v₈,v₈-v₁₀,v₁₀-v₁₂,v₂-v₉,

v₉-v₁₁,v₁₁-v₁₃,v₃-v₄,v₄-v₇,v₇-v₅,v₇-v₆,v₅-v₁₄,

v₆-v₁₅,v₁₄-v₁₆,v₁₅-v₁₇,v₁₆-v₁₈,v₁₇-v₁₉}

F_cp＝{v_i-v_j|v_i∈V_c,v_j∈V_p,i＝j}

F_co＝{v_i-v_j|v_i∈V_c,v_j∈V_o,i＝j}

其中，V表示一帧图像包含的数据，V的下标c表示当前帧，p表示前一帧，o表示首帧，V＝{v₁,v₂,v₃…v₂₀}，v_i＝(x_i,y_i,z_i)^T∈R³，其中z_i表示红外摄像头光轴坐标，光轴与图像平面垂直，y_i表示实际点的上下位置坐标，x_i表示实际点的左右位置坐标。

所述的步骤S5中，使用主成分分析法进行降维。

所述的步骤S6中，所述的训练模型分类器训练包括以下步骤：

S61，将与已知人体动作对应的连续图像帧作为训练样本集，并使用如步骤S2～S5所述的过程对训练样本集进行处理；

S62，使用基于标准模型的模糊支持向量机对训练样本集进行训练，得到训练模型分类器。

所述的步骤S62包括以下步骤：

S621，在标准支持向量机的基础上，给每个训练样本赋予不同的隶属度值，得到新的模糊训练样本集；

S622，采用标准支持向量机的方法对新的模糊训练样本集进行训练，得到训练模型分类器。

与现有技术相比，本发明具有以下优点：

(1)建立结合了动态属性以及静态属性的特征向量，充分发挥了人体骨架模型的优势，提取到足够充分的动作特征，对后期的动作识别率有所提高。

(2)使用基于累积运动能量的帧选择算法，筛选出有效图像帧，作为特征提取的基础，该过程可以帮助移除容易混淆识别的帧，提高识别率，同时减少计算量。

(3)在标准支持向量机的基础上改进得到模糊支持向量机，给每个训练样本赋予不同的隶属度值，从而提高算法抵抗噪声的能力。有效的提高了人体动作识别的准确性和效率。

附图说明

图1为本实施例的方法流程图；

图2为特征向量的示意图；

图3为人体的20个关节点位置信息表示的人体骨架模型示意图；

图4为骨骼空间坐标示意图；

图5为三组交叉实验中特征向量在不同维度下的识别率的变化的示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例

如图1所示，本实施例一种人体动作识别方法，包括如下步骤。

步骤一：获取所需要的人体动作识别特征数据的视频；

具体的，可以使用MSR Action3D动作数据库作为实验数据；MSR Action3D是一个公共数据集，其提供由一个RGBD摄像机捕获的深度图和骨架序列。它包括由10个人面对相机进行20种动作的操作。每个动作每个人进行两到三次。该深度图的像素大小为320x240。为了能够更加清楚的分析动作识别的结果，将该动作数据集分成三部分实验，从20个动作数据中选择18个动作类分成三组进行实验，定义这18个动作分别是Action1至Action18。

步骤二：基于传统累积运动能量改进帧选择算法，选择有效的图像帧；

具体的，其表达式可以为

上式中：对于第i帧，它的三维深度图被投射到三维坐标轴上从而产生了f_v，v∈{1,2,3}，ε是一个大于0小于1的常数；通过所提出的改进的累积能量算法AME对图像帧序列进行选择，选择适合进行动作识别的视频帧，同时减少了后续训练识别的计算量；

步骤三：将实验数据分为两类：训练动作序列数据和测试动作序列数据；测试序列需要与训练序列经过相同的数据处理，包括特征提取，特征向量构建，标准化处理，降维处理中的至少一种。

交叉实验中，本发明实施例可以将1/2的人做的动作数据用于训练，剩下的1/2的人的动作数据用于测试。

步骤四：利用3D骨骼关节点的位置信息构建实验数据的位移向量作为动作特征；

如图2所示，本发明实施例给出了一个视频的帧序列，前两行表示机器采集视频帧图像，后两行表示原视频帧图像。用current表示当前帧，prior表示当前帧的前一帧，original表示视频的初始帧；所以F_cc表示静态姿势特征向量，F_cp表示连续动作特征向量，F_co表示整体动作特征向量。

首先，静态姿势特征是视频序列中一帧图像的人体骨骼特征点之间的向量特征，该特征表征了该帧中人体的静态的姿势特征。获取人体的20个关节点位置信息来表示人体骨架模型，如图3所示。用这20个骨骼关节点之间的向量关系表示静态姿势特征，也就是如图3人体骨架所示的19条线段所表示的人体躯干的向量形式。

因为实验设备所获得的一帧图像有20个骨骼关节点，每一帧的骨骼关节点的位置信息为V＝{v₁,v₂,v₃…v₂₀}，v_i＝(x_i,y_i,z_i)^T∈R³，其中z_i表示红外摄像头光轴坐标，与图像平面垂直，y_i轴表示实际当中的竖直方向，x_i轴表示实际当中的左右方向，骨骼空间坐标如图4所示；

假设当前帧为V_c，计算当前帧的静态姿势特征，其表达式为：

F_cc＝{v₂₀-v₃,v₁-v₃,v₂-v₃,v₁-v₈,v₈-v₁₀,v₁₀-v₁₂,v₂-v₉,

v₉-v₁₁,v₁₁-v₁₃,v₃-v₄,v₄-v₇,v₇-v₅,v₇-v₆,v₅-v₁₄,

v₆-v₁₅,v₁₄-v₁₆,v₁₅-v₁₇,v₁₆-v₁₈,v₁₇-v₁₉}；

通过公式可知F_cc为3*19维的特征向量。

其次，连续动作特征是当前帧相对于前一帧骨骼关节点之间的位移变化的向量特征，假设当前帧为V_c，当前帧的前一帧为V_p，因此骨骼关节点的位移变化的特征向量为F_cp，连续动作特征向量的公式如下：

F_cp＝{v_i-v_j|v_i∈V_c,v_j∈V_p,i＝j}；

可知F_cp为3*20维的特征向量。

最后，整体动作特征指的是当前帧与视频起始帧之间的骨骼关节点之间的位移变化向量特征，当前帧为V_c，当前视频序列的起始帧为V_o，则骨骼关节点的位移变化特征向量为F_co，公式如下：

F_co＝{v_i-v_j|v_i∈V_c,v_j∈V_o,i＝j}；

计算得到F_co为3*20的特征向量。

步骤五：在特征提取与特征向量构建的过程中，利用的是Kinect设备得到的3D骨骼关节点的位置信息构建的位移向量作为动作特征，通过结合动态动作和静态姿态构建了所需要的用于识别的动作特征向量，结合这三个表征不同动作特征信息的特征向量作为在该动作识别系统中所使用的动作特征向量，构建最终特征向量F_c，其表达式为：F_c＝[F_cc,F_cp,F_co]；

步骤六：为了能够更加合理有效的利用获得的特征向量，需要对获得的特征向量进行标准化处理，同时，为了能够减小计算量，提高识别精度，通过主成份分析法对特征向量进行降维处理，其方法为：

假设有样本数据集X＝[x₁,x₂,…,x_N]∈Rⁿ，它存在C类样本，N_i代表第i类的样本数，为样本的总数，x_k代表一个样本图像数据，表示第i类的第j幅图像数据。所有样本的均值向量u和类i的样本均值u_i可通过如下方式计算：

根据式上式，训练样本的总散布矩阵可定义为

其中e为N维单位向量，I为单位矩阵。

主成分分析通过下式的线性变换把图像x_k映射到低维空间中y_k

y_k＝a^Tx_k,k＝1,2,…N

式中，x_k∈Rⁿ，a∈Rⁿ，是投影方向。

主成分分析的目的就是通过寻找最大方差来寻找投影方向a，相反就是移除方差最小的投影方法w，即满足下式

步骤七：使用支持向量机对动作特征进行训练，然后用训练得到的模型分类器识别测试动作序列。在实际应用中，数据集常常带有孤立点或噪声。针对标准支持向量机对噪声点或孤立点敏感的问题，采用台湾学者Chunfu Lin，Shengde Wang 等人提出的将隶属度函数引入支持向量机，构建一种单边加权模糊支持向量机(fuzzy support vectormachine,FSVM)。FSVM的基本思想是：训练样本集中的每个样本对于分类的贡献程度是不同的，根据样本对于分类的重要程度赋予样本不同的隶属度，这样可以有效地减少噪声和孤立点对于分类性能造成的影响。使用基于标准模型的模糊支持向量机对动作特征进行训练，其特点在于：

SVM的基本思想是将那些在低维空间无法分类的样本通过一个非线性变换映射到高维的特征空间，这样在高维空间中样本变为线性可分的，此时构造出一个超平面作为分类超平面，并且使得所分样本之间的间隔达到最大，假定大小为n的训练样本集{(x_i,y_i),i＝1,2,…,n}，其中y_i＝±1，为样本的类别属性(正类与负类)，学习的目标是构造一个决策函数，将测试数据尽可能正确分类。d维空间中分类面方程为：

wx+b＝0，

其中w表示d维向量，x为样本的向量表示，对所有的样本模糊化，得到每个样本的隶属度值s_i，于是训练集就变成了模糊训练集，如下

T＝{(x₁,y₁,s₁),(x₂,y₂,s₂),…,(x_n,y_n,s_n)}，

其中x_k∈Rⁿ，对于二分类问题，y_i∈{-1,1}，σ_i≤s_i≤1，σ_i为充分小的正数。则求解最优分类超平面的数学模型为下列优化问题：

s.t.y_i(w^Tφ(x_i)+b)≥1-ξ_i,i＝1,2,…,n，

ξ_i≥0,i＝1,2,…,n

其中w^T为w的转置，上式优化问题的Lagrange函数为：

其中，α_i和β_i为拉格朗日乘子，且α_i＞0，β_i＞0。

其KKT(Karush-Kuhn-Tucker)条件为：

其中x＝(x₁,…,x_n)→φ(x)＝(φ₁(x),…φ_n(x))，这个步骤等价于将输入X空间映射到一个新的空间，F＝{φ(x)|x∈X}。

进一步推导，得到原问题的对偶问题为：

s.t.0≤α_i≤s_iC,i＝1,…,n，

其中K(x_i,x_j)为径向基核函数，给定了样本的模糊隶属度s_i后，就可以用求解标准支持向量机的算法来求解优化问题，待得到超平面参数α和b之后，就可以用判别函数

其中式中sign()为符号函数，由于非支持向量对应的α_i均为O，因此，式中的求和实际上只对支持向量进行，最后根据分类函数的正负判别样本x的所属类别，对新的样本x进行识别；

步骤八：训练得到的模型分类器识别测试动作序列；

第九步：输出结果，图5为交叉实验识别率随维度变化的折线图，其中x轴代表特征向量维度，y轴代表识别率；

其中，测试序列需要与训练序列经过相同的数据处理，包括(特征提取，特征向量构建，标准化处理，降维处理)；

进一步地，步骤八中的模型分类器是将训练样本通过步骤六、七处理后得到的训练模型。

其中，步骤五中的特征向量结合了动态属性以及静态属性的特征向量，静态特征指的是静态的姿势特征，表征的是一帧图像中各个躯干的位置向量信息；动态特征动态的动作姿势变化，包含两部分，一部分是当前帧相对于前一帧的骨骼关节点的位移变化，另一部分是当前帧与首帧的骨骼关节点的位移变化。

本发明实施例在MSR Action3D数据集上进行实验从而评估所提出的方法具体结果如表1和图5所示，表1为发明实施例所构建的识别系统与当前比较先进的识别算法：bag-of-3D-points和HOJ3D在交叉实验环境下的识别结果的对比。结果显示，当维度一定时具有较高的识别效率，其性能与一些先进的且具有代表性的算法具有可比性。

表1

识别方法	交叉实验
		Bag-of-3D-points[33]	74.7
HOJ3D[34]	79.0
		我们的识别系统	77.2

上述实施例仅例示性说明本发明实施例的原理及其功效，而非用于限制本发明实施例。任何本领域技术人员均可在不违背本发明实施例的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明实施例的权利保护范围，，应如权利要求书所列。

Claims (7)

1.一种人体动作识别方法，其特征在于，包括以下步骤：

S1，获取包含人体动作识别特征数据的连续图像帧，所述的特征数据为人体多个骨骼关节点的深度图像数据；

S2，使用基于累积运动能量的帧选择算法，筛选出有效图像帧，将有效图像帧中的特征数据作为待测数据；

S3，构建待测数据的静态姿势特征向量F_cc、连续动作特征向量F_cp和整体动作特征向量F_co作为动作特征，所述的静态特征向量F_cc表示一帧图像中，人体各个躯干的位置向量信息，所述的连续动作特征向量F_cp表示一帧图像相对其前一帧图像的骨骼关节点的位移变化，所述的整体动作特征向量F_co表示一帧图像相对于首帧图像的骨骼关节点的位移变化；

S4，构建最终特征向量F_c，F_c＝[F_cc,F_cp,F_co]；

S5，对最终特征向量F_c降维；

S6，使用训练好的模型分类器对降维后最终特征向量F_c进行动作识别，得到识别结果。

2.根据权利要求1所述的一种人体动作识别方法，其特征在于，所述的步骤S1中，通过Kinect设备采集图像帧，特征数据包括人体20个骨骼关节点的深度图像数据。

3.根据权利要求1所述的一种人体动作识别方法，其特征在于，所述的步骤S2中，帧选择算法包括：对于同一个动作，按照图像帧顺序，从第二帧开始计算当前帧三维深度图像的动作能量图的和AME(i)，将当前帧与上一帧进行比较，若AME(i)-AME(i-1)＞ε，则将当前帧作为有效图像帧进行保留，否则舍弃当前帧，然后进行下一帧的计算，直到最后一帧，AME(i)计算式如下：

当AME(i)-AME(i-1)＞ε

其中，i表示帧的序号，表示第j帧三维深度图像被投射到三维坐标轴得到的三维坐标，其中v表示坐标轴，v∈{1,2,3}，ε是帧选择算法设定的阈值，0<ε<1。

4.根据权利要求2所述的一种人体动作识别方法，其特征在于，所述的步骤S3中，静态姿势特征向量F_cc、连续动作特征向量F_cp和整体动作特征向量F_co的表达式分别为：

F_cc＝{v₂₀-v₃,v₁-v₃,v₂-v₃,v₁-v₈,v₈-v₁₀,v₁₀-v₁₂,v₂-v₉,v₉-v₁₁,v₁₁-v₁₃,v₃-v₄,v₄-v₇,v₇-v₅,v₇-v₆,v₅-v₁₄,v₆-v₁₅,v₁₄-v₁₆,v₁₅-v₁₇,v₁₆-v₁₈,v₁₇-v₁₉}

F_cp＝{v_i-v_j|v_i∈V_c,v_j∈V_p,i＝j}

F_co＝{v_i-v_j|v_i∈V_c,v_j∈V_o,i＝j}

其中，V表示一帧图像包含的数据，V的下标c表示当前帧，p表示前一帧，o表示首帧，V＝{v₁,v₂,v₃…v₂₀}，v_i＝(x_i,y_i,z_i)^T∈R³，其中z_i表示红外摄像头光轴坐标，光轴与图像平面垂直，y_i表示实际点的上下位置坐标，x_i表示实际点的左右位置坐标。

5.根据权利要求1所述的一种人体动作识别方法，其特征在于，所述的步骤S5中，使用主成分分析法进行降维。

6.根据权利要求1所述的一种人体动作识别方法，其特征在于，所述的步骤S6中，所述的训练模型分类器训练包括以下步骤：

S61，将与已知人体动作对应的连续图像帧作为训练样本集，并使用如步骤S2～S5所述的过程对训练样本集进行处理；

S62，使用基于标准模型的模糊支持向量机对训练样本集进行训练，得到训练模型分类器。

7.根据权利要求6所述的一种人体动作识别方法，其特征在于，所述的步骤S62包括以下步骤：

S621，在标准支持向量机的基础上，给每个训练样本赋予不同的隶属度值，得到新的模糊训练样本集；

S622，采用标准支持向量机的方法对新的模糊训练样本集进行训练，得到训练模型分类器。