CN105373810A - 一种用于建立动作识别模型的方法及系统 - Google Patents

Abstract

本发明公开了一种用于建立动作识别模型的方法，包括：获取动作样本的骨架位置序列，根据所述骨架位置序列获取每个动作个体中各节点的坐标，所述骨架位置序列中包括多个节点；根据各节点的坐标获取每个动作个体的特征向量，并根据所述特征向量，获取多个动作大类以及各动作大类的动作特征；根据所述动作特征，建立各动作大类的动作识别模型。本发明通过获取每个动作个体的特征向量，以实现所有动作样本的自动聚类，与现有技术的人工干预进行聚类相比，具有提高推广性的优点。

Description

一种用于建立动作识别模型的方法及系统

技术领域

本发明涉及数据动作分析领域，具体涉及一种用于建立动作识别模型的方法及系统。

背景技术

从图像序列中识别出人体动作是模式识别、人机交互领域的一个基础问题，近些年得到了越来越多的关注并且取得了巨大的进展。人体动作识别在人机交互、医疗保健、视频监控和娱乐设备等方面具有非常广泛的应用。根据输入数据的不同，现有的动作识别算法可以分为基于深度图的算法和基于3D骨架的算法。

基于深度图的算法以场景的深度图序列作为输入数据进行动作识别。对深度图进行前景分割得到人体部分，通过对人体深度图提取特征进行模式匹配，从而识别人体动作。然而该算法的识别准确率严重依赖于深度图的精度和完整性，如果深度信息噪声太大或者人体部分有缺失，则会严重影响识别的准确率。同时，由于该算法需要在深度图上进行特征提取，其时间复杂度会很高。

基于3D骨架的算法则采用了人体骨架的3D位置作为输入数据进行动作识别。人体骨架是由人体的多个关节点(如肩、手肘、膝盖等)及其连接构成的人体模型，而人体动作可以通过骨架的3D位置运动来精确地描述。目前人体骨架已经可以通过姿势识别算法实时可靠地从深度图中提取出来。由于骨架的有效性和简洁性，基于3D骨架的算法可以大大减小噪声的影响，同时也降低了时间复杂度。对基于3D骨架所提取的特征，有些算法使用最近邻方法来进行模式匹配。其缺点是没有考虑帧序列的时间关系，从而使得动作的识别准确率较低。

近些年，图模型被广泛应用在模式识别的各个领域，由于其可以将动作的状态跳转建模为有向图的结点及边，对于动作的描述非常有效，所以被应用在动作识别领域。与此同时，很多算法在提取特征时没有考虑动作的局部性，将骨架的全部关节点用于特征提取，从而导致对于相似动作的识别准确率较低。有技术人员在《光学仪器与技术》国际会议上提出一种层级模型的算法。该算法将骨架节点分为5个部件，根据动作与5个部件的相关程度手动地将动作划分为几个大类，从而将动作识别转化为两层的决策过程。其中第一层决定动作所属大类，第二层再最终判定动作类别，并且在第二层中只从相关的关节点提取特征，因此识别准确率有所提高。但该算法是通过人工干预进行聚类，不具有推广性。

发明内容

针对现有技术中的缺陷，本发明提供了一种用于建立动作识别模型的方法及系统，该方法通过获取每个动作个体的特征向量，以实现所有动作样本的自动聚类，具有推广性高的优点。

本发明提出了一种用于建立动作识别模型的方法，其特征在于，包括：

获取动作样本的骨架位置序列，根据所述骨架位置序列获取每个动作个体中各节点的坐标，所述骨架位置序列中包括多个节点；

根据各节点的坐标获取每个动作个体的特征向量，并根据所述特征向量，获取多个动作大类以及各动作大类的动作特征；

根据所述动作特征，建立各动作大类的动作识别模型。

可选的，所述根据每个动作个体的特征向量，获取多个动作大类以及各动作大类的动作特征，包括：

根据所述特征向量，对所有动作个体进行聚类，获取多个动作大类；

根据所述特征向量，获取与每个动作个体相关的节点，并根据与每个动作个体相关的节点的坐标，获取各动作大类的动作特征。

可选的，所述根据所述动作特征，建立各动作大类的动作识别模型，包括：

根据所述动作特征，对各动作大类中的所有动作个体进行聚类，获取各动作大类的多个动作状态；

并根据各动作大类的所有动作状态建立各动作大类的动作识别模型。

可选的，在根据所述动作特征，建立各动作大类的动作识别模型之后，还包括：

获取待识别动作的骨架位置序列，根据所述骨架位置序列获取各节点的坐标；

根据各节点的坐标获取所述待识别动作的特征向量和动作特征；

根据所述特征向量，在所述动作识别模型中获取与所述待识别动作对应的动作识别模型，并根据所述动作特征和所述动作识别模型，获取所述待识别动作的动作种类。

可选的，所述根据所述动作特征和所述动作识别模型，获取所述待识别动作的动作种类，包括：

根据所述动作特征，通过所述动作识别模型，对所述待识别动作与所述动作大类中的所有动作个体进行模型匹配，并根据匹配结果获取与所述待识别动作匹配度最高的动作个体以及所述动作个体的动作种类。

本发明还提供了一种用于建立动作识别模型的系统，其特征在于，包括：

第一获取模块，用于获取动作样本的骨架位置序列，根据所述骨架位置序列获取每个动作个体中各节点的坐标，所述骨架位置序列中包括多个节点；

第二获取模块，用于根据各节点的坐标获取每个动作个体的特征向量，并根据所述特征向量，获取多个动作大类以及各动作大类的动作特征；

建立模块，用于根据所述动作特征，建立各动作大类的动作识别模型。

可选的，所述第二获取模块还用于：

根据所述特征向量，对所有动作个体进行聚类，获取多个动作大类；

根据所述特征向量，获取与每个动作个体相关的节点，并根据与每个动作个体相关的节点的坐标，获取各动作大类的动作特征。

可选的，所述建立模块还用于：

根据所述动作特征，对各动作大类中的所有动作个体进行聚类，获取各动作大类的多个动作状态；

并根据各动作大类的所有动作状态建立各动作大类的动作识别模型。

可选的，还包括：

第三获取模块，用于在建立各动作大类的动作识别模型之后，获取待识别动作的骨架位置序列，根据所述骨架位置序列获取各节点的坐标；

第四获取模块，用于根据各节点的坐标获取所述待识别动作的特征向量和动作特征；

第五获取模块，用于根据所述特征向量，在所述动作识别模型中获取与所述待识别动作对应的动作识别模型，并根据所述动作特征和所述动作识别模型，获取所述待识别动作的动作种类。

可选的，所述第五获取模块还用于：

根据所述动作特征，通过所述动作识别模型，对所述待识别动作与所述动作大类中的所有动作个体进行模型匹配，并根据匹配结果获取与所述待识别动作匹配度最高的动作个体以及所述动作个体的动作种类。

由上述技术方案可知，本发明提出的用于建立动作识别模型的方法通过获取每个动作个体的特征向量，以实现所有动作样本的自动聚类，与现有技术的人工干预进行聚类相比，具有提高推广性的优点。

附图说明

通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1示出了本发明一实施例提供的用于建立动作识别的方法的流程示意图；

图2示出了本发明另一实施例提供的用于建立动作识别的方法的流程示意图；

图3示出了本发明一实施例提供的用于建立动作识别的方法的人体骨架图；

图4示出了本发明一实施例提供的用于建立动作识别的方法的聚类结果；

图5示出了本发明一实施例提供的用于建立动作识别的方法的动作识别模型示意图。

图6示出了本发明一实施例提供的用于建立动作识别的系统的结构示意图；

图7示出了本发明另一实施例提供的用于建立动作识别的系统的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明一实施例提供的用于建立动作识别的方法的流程示意图，参照图1，该用于建立动作识别模型的方法，包括：

101、获取动作样本的骨架位置序列，根据所述骨架位置序列获取每个动作个体中各节点的坐标，所述骨架位置序列中包括多个节点；

102、根据各节点的坐标获取每个动作个体的特征向量，并根据所述特征向量，获取多个动作大类以及各动作大类的动作特征；

103、根据所述动作特征，建立各动作大类的动作识别模型。

本发明通过获取每个动作个体的特征向量，以实现所有动作样本的自动聚类，与现有技术的人工干预进行聚类相比，具有提高推广性的优点。

图2为本发明另一实施例提供的用于建立动作识别的方法的流程示意图，参照图2可知：本发明包括3个主要步骤。在训练阶段，首先根据各动作个体与节点的相关性进行聚类，将所有动作个体聚类为几个动作大类；然后由相关的关节点的3D位置计算出各动作大类的动作特征；最后对每一个动作建立图模型，通过训练数据训练得到模型的参数。在测试阶段，首先根据动作个体与节点的相关性进行匹配，判定其所属的动作大类；然后由相关的关节点的3D位置计算出动作特征；最后根据模型使用维特比译码判定动作类别。

下面对本发明的工作原理进行详细说明：

为了在部分节点缺失的情况下，仍能精确的识别动作种类，本发明在提取每个动作大类的动作特征时，根据所述特征向量，对所有动作个体进行聚类，获取多个动作大类；根据所述特征向量，获取与每个动作个体相关的节点，并根据与每个动作个体相关的节点的坐标，获取各动作大类的动作特征。

可理解的是，在部分节点缺失的情况下，只需将对应的特征向量置为0以使算法正常运行，而不会影响识别结果。

为了进一步提高动作识别的精确度，本发明采用整个动作过程中不同状态的方式来描述一个动作，其工作过程包括：根据动作特征，对各动作大类中的所有动作个体进行聚类，获取各动作大类的多个动作状态；并根据各动作大类的所有动作状态建立各动作大类的动作识别模型。

需要说明的是，本发明再根据动作状态建立动作识别模型后，通过各动作状态对待识别动作进行模式匹配，与现有技术中以骨架位置序列为匹配对象相比，能充分考虑时间关联性，提高动作识别的精确度。

下面举例对本发明的建立动作识别模型的工作原理进行详细说明：

图3为本发明一实施例提供的用于建立动作识别的方法的人体骨架图，参照图3，本发明人体骨架图中总共包含20个关节点，将这20个关节点分为5个部件，分别为：

O₁＝左上肢＝{左肩(1),左肘(2),左腕(3),左手(4)}；

O₂＝右上肢＝{右肩(4),右肘(5),右腕(6),右手(7)}；

O₃＝左下肢＝{左臀(8),左膝(9),左踝(10),左脚(11)}；

O₄＝右下肢＝{右臀(12),右膝(13),右踝(14),右脚(15)}；

O₅＝躯干＝{头(16),肩部中央(17),脊柱(18),臀部中央(19)}.

图4为本发明一实施例提供的用于建立动作识别的方法的聚类结果，参照图4，给定一个动作个体的T帧的骨架位置序列X＝{X¹,…,X^T}，其中，X^t为X¹,…,X^T中的任意一帧， 为第t帧第i个关节点的3D坐标。

定义方差向量V＝[V₁,...,V₂₀]，其中， $V_i=\underset{t=1}{\overset{T}{\Σ}}\left|\right|x_i^t-\stackrel{\‾}{x_i}|{|}^2,\stackrel{\‾}{x_i}=\frac{1}{T}{\mathrm{\Σ}}_{t=1}^T{x}_i^t,$ V_i表示第i个节点的方差向量，i的取值范围为1-20，均为三维的向量，因为表示的是3D坐标，所以这里的是两个向量之差的二范数，而不是绝对值，其结果为一个标量的数，因此，V_i也是一个标量的数，而V则为V₁,...,V₂₀组成的20维的向量。可理解的是，对于部分关节点缺失的情况，只需将对应的项V_i置为0，这样即使与动作不相关的关节点出现缺失，算法也能正常地运行，并且不会影响识别结果。

根据方差向量V定义特征向量R以表征该动作与各个身体节点的相关性：

${\hat{R}}_j=\underset{i\∈O_j}{\Σ}{V}_i,\∀j\∈\{1,...,5\}$

$R_j=1_{\{({\hat{R}}_j/{\max }_{l\∈\{1,...,5\}}{\hat{R}}_l)>\mathrm{\η}\}},$

R＝[R₁,...,R₅].

其中，R₁-R₅分别为左上肢、右上肢、左下肢、右下肢以及躯干的特征向量，1_{}为示性函数，取值为0或1；为中间结果，下标j对任意的j∈{1,…,5}均成立；为除以所有(l∈{1,...,5})中最大的一个，然后与阈值η做比较，取示性函数的值；如果大于η，则R_j＝1；否则R_j＝0，这里η可通过交叉检验得到。

由此，动作序列的训练动作样本可以根据R进行自动聚类，进而构建分层结构；图4即为一个实际的聚类结果。从图中可以看到，同一动作的不同样本可以被分到不同的动作大类中。比如一个人可以用一只手做侧出拳这个动作，而另一个人可能用两只手，从而导致对应计算得到的R是不同的，最终使得它们被分入不同的动作大类中。允许同一动作的不同动作样本分到不同动作大类可以使得算法对个体动作差异不敏感，从而提高识别准确率。

确定动作大类后，对于每个动作大类中的所有动作个体，提取动作特征F＝{F^t,t＝1,...,T}，其中，F^t为该动作个体第t帧的动作特征，F只依赖于与该动作个体相关的节点坐标 ${\hat{X}}^t=\left\{x_i^t\right|i\∈O_j,R_j=1,j=1,...,5\}.$

为了进一步地，提高识别准确率，动作特征包含三个部分，静态姿势SP、动态姿势DP及偏移姿势OP，定义分别如下：

${\mathrm{SP}}^t=\{{\hat{x}}_i^t-{\hat{x}}_j^t|i,j=1,...,M;i\≠j\},$

${\mathrm{DP}}^t=\{{\hat{x}}_i^t-{\hat{x}}_j^{t-s}|i,j=1,...,M;s=1,5,10\},$

${\mathrm{OP}}^t=\{{\hat{x}}_i^t-{\hat{x}}_j^1|i,j=1,...,M\}.$

其中，M为与该动作相关的关节点数量，和分别为与该动作个体相关的节点3D坐标中第i个关节点与第j个关节点的3D坐标，s为计算动态姿势时向前取的帧数，即时间尺度，s取1,5,10三个值。

本发明在计算动态姿势DP的时候考虑了在当前帧之前1、5、10帧与当前帧的差异，所以能够获取在不同时间尺度上的动作信息，进而能够鲁棒地应对不同个体动作速度的巨大差异，最终保证较高的识别准确率。在此基础上，本发明把这三部分顺序串接，得到初步的动作特征然后本发明使用主成分分析(PCA)进行特征降维得到最终的动作特征为其中，μ为所有训练样本的的均值，W_opt为PCA得到的最优投影矩阵。本发明选取的主成分个数为32，即最终的动作特征F^t的维数为32。

图5示出了本发明一实施例提供的用于建立动作识别的方法的动作识别模型示意图，参照图5，下面对建立动作识别模型进行说明：

在完成每个动作大类的提取动作特征之后，本发明使用图模型对每个动作建立动作识别模型。

首先，一个加权有向图能够很好地描述一个动作在不同状态之间的跳转，这里图的节点表示状态，图的边表示该动作在不同状态之间跳转的概率。图5即为两个动作的图模型示意图，图的边附近标注的是两个状态之间跳转的概率。动作“高抛”包含了3个状态，ω₁＝提起手，ω₂＝扔，ω₃＝放下手。大部分情况下，“高抛”这个动作经历了“提起手”状态->“扔”状态->“放下手”状态的状态转移路径。相邻两帧停留在同一状态的可能性也是很大的，所以图上也存在自环。动作“高位挥手”的情况也是类似的，而且与前一个动作共享了“提起手”和“放下手”两个状态。由于不同个体挥手的差异大，所以存在不同的状态转移路径1->4->3或1->5->3.由于动作之间会共享状态，所以本发明通过K-means算法对同一大类下所有训练样本得到的动作特征进行聚类得到K个聚类中心作为K个状态Ω＝{ω_k,k＝1,...,K}，其中，Ω为K个状态的集合，ω_k为第k个状态。

在训练阶段，对同一大类下的N个动作A＝{A_n,n＝1,...,N}，通过训练样本我们可以训练得到每个动作A_n对应图模型的参数B_n，B_n为一个K*K的矩阵，其第i行第j列的值B_n[i,j]为该动作从第i个状态跳转到第j个状态的概率(i,j＝1,...,K)。

下面对待识别动作的识别过程进行详细说明：

在测试阶段，在根据所述动作特征，建立各动作大类的动作识别模型之后，本发明还包括：获取待识别动作的骨架位置序列，根据所述骨架位置序列获取各节点的坐标；根据各节点的坐标获取所述待识别动作的特征向量和动作特征；

根据所述特征向量，在所述动作识别模型中获取与所述待识别动作对应的动作识别模型，并根据所述动作特征和所述动作识别模型，获取所述待识别动作的动作种类。

可理解的是，本发明根据动作特征，通过所述动作识别模型，对所述待识别动作与所述动作大类中的所有动作个体进行模型匹配，并根据匹配结果获取与所述待识别动作匹配度最高的动作个体以及所述动作个体的动作种类。

需要说明的是，测试阶段即为模式匹配阶段，本发明使用维特比译码(ViterbiDecoding)进行模式匹配以最终判定动作类别。通过一定的独立性和马尔可夫链假设及推导，本发明最终得到待识别动作与动作大类中每个动作个体A_n的似然度分数：

$Score\left(A_n\right)=\underset{I\∈{\left\{1,\mathrm{...},K\right\}}^{T+1}}{\max }\left\{\underset{t=1}{\overset{T}{\mathrm{\Σ}}}\[\log \left(B_n\[I^{t-1},I^t\]\right)-C\left|\right|F^t-{\mathrm{\ω}}_{I^t}|{|}^2\]\right\}$

其中，A_n为第n个动作个体，T为帧数，t∈{1,...,T}为帧序号；I∈{1,...,K}^T+1为长度为T+1的数字序列，I^t(t＝1,...,T)为该数字序列的第t位数字且I^t∈{1,...,K}，I⁰为初始状态，恒为1；B_n为该动作个体从第i个状态跳转到第j个状态的概率；表示第I^t个状态；C则为模型参数，C的值可通过交叉检验得到。

根据最大似然准则本发明选取似然度分数最大的作为最终的判定结果。由于该过程等价于寻找最优路径，所以本发明使用维特比译码来求解。

图6为本发明一实施例提供的用于建立动作识别的系统的结构示意图，参照图6，本发明还提供了一种用于建立动作识别模型的系统，其特征在于，包括：

第一获取模块61，用于获取动作样本的骨架位置序列，根据所述骨架位置序列获取每个动作个体中各节点的坐标，所述骨架位置序列中包括多个节点；

第二获取模块62，用于根据各节点的坐标获取每个动作个体的特征向量，并根据所述特征向量，获取多个动作大类以及各动作大类的动作特征；

建立模块63，用于根据所述动作特征，建立各动作大类的动作识别模型。

其中，第二获取模,62还用于：根据所述特征向量，对所有动作个体进行聚类，获取多个动作大类；根据所述特征向量，获取与每个动作个体相关的节点，并根据与每个动作个体相关的节点的坐标，获取各动作大类的动作特征。

所述建立模块63还用于：根据所述动作特征，对各动作大类中的所有动作个体进行聚类，获取各动作大类的多个动作状态；并根据各动作大类的所有动作状态建立各动作大类的动作识别模型。

图7为本发明另一实施例提供的用于建立动作识别的系统的结构示意图，参照图7，本发明在建立动作识别模型后，还包括：

第三获取模块74，用于在建立各动作大类的动作识别模型之后，获取待识别动作的骨架位置序列，根据所述骨架位置序列获取各节点的坐标；

第四获取模块75，用于根据各节点的坐标获取所述待识别动作的特征向量和动作特征；

第五获取模块76，用于根据所述特征向量，在所述动作识别模型中获取与所述待识别动作对应的动作识别模型，并根据所述动作特征和所述动作识别模型，获取所述待识别动作的动作种类。

其中，第五获取模块76还用于：根据所述动作特征，通过所述动作识别模型，对所述待识别动作与所述动作大类中的所有动作个体进行模型匹配，并根据匹配结果获取与所述待识别动作匹配度最高的动作个体以及所述动作个体的动作种类。

虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种用于建立动作识别模型的方法，其特征在于，包括：

获取动作样本的骨架位置序列，根据所述骨架位置序列获取每个动作个体中各节点的坐标，所述骨架位置序列中包括多个节点；

根据各节点的坐标获取每个动作个体的特征向量，并根据所述特征向量，获取多个动作大类以及各动作大类的动作特征；

根据所述动作特征，建立各动作大类的动作识别模型。

2.根据权利要求1中所述的方法，其特征在于，所述根据每个动作个体的特征向量，获取多个动作大类以及各动作大类的动作特征，包括：

根据所述特征向量，对所有动作个体进行聚类，获取多个动作大类；

根据所述特征向量，获取与每个动作个体相关的节点，并根据与每个动作个体相关的节点的坐标，获取各动作大类的动作特征。

3.根据权利要求1中所述的方法，其特征在于，所述根据所述动作特征，建立各动作大类的动作识别模型，包括：

根据所述动作特征，对各动作大类中的所有动作个体进行聚类，获取各动作大类的多个动作状态；

并根据各动作大类的所有动作状态建立各动作大类的动作识别模型。

4.根据权利要求1中所述的方法，其特征在于，在根据所述动作特征，建立各动作大类的动作识别模型之后，还包括：

获取待识别动作的骨架位置序列，根据所述骨架位置序列获取各节点的坐标；

根据各节点的坐标获取所述待识别动作的特征向量和动作特征；

根据所述特征向量，在所述动作识别模型中获取与所述待识别动作对应的动作识别模型，并根据所述动作特征和所述动作识别模型，获取所述待识别动作的动作种类。

5.根据权利要求4中所述的方法，其特征在于，所述根据所述动作特征和所述动作识别模型，获取所述待识别动作的动作种类，包括：

根据所述动作特征，通过所述动作识别模型，对所述待识别动作与所述动作大类中的所有动作个体进行模型匹配，并根据匹配结果获取与所述待识别动作匹配度最高的动作个体以及所述动作个体的动作种类。

6.一种用于建立动作识别模型的系统，其特征在于，包括：

第一获取模块，用于获取动作样本的骨架位置序列，根据所述骨架位置序列获取每个动作个体中各节点的坐标，所述骨架位置序列中包括多个节点；

第二获取模块，用于根据各节点的坐标获取每个动作个体的特征向量，并根据所述特征向量，获取多个动作大类以及各动作大类的动作特征；

建立模块，用于根据所述动作特征，建立各动作大类的动作识别模型。

7.根据权利要求6中所述的系统，其特征在于，所述第二获取模块还用于：

根据所述特征向量，对所有动作个体进行聚类，获取多个动作大类；

根据所述特征向量，获取与每个动作个体相关的节点，并根据与每个动作个体相关的节点的坐标，获取各动作大类的动作特征。

8.根据权利要求6中所述的系统，其特征在于，所述建立模块还用于：

根据所述动作特征，对各动作大类中的所有动作个体进行聚类，获取各动作大类的多个动作状态；

并根据各动作大类的所有动作状态建立各动作大类的动作识别模型。

9.根据权利要求6中所述的系统，其特征在于，还包括：

第三获取模块，用于在建立各动作大类的动作识别模型之后，获取待识别动作的骨架位置序列，根据所述骨架位置序列获取各节点的坐标；

第四获取模块，用于根据各节点的坐标获取所述待识别动作的特征向量和动作特征；

第五获取模块，用于根据所述特征向量，在所述动作识别模型中获取与所述待识别动作对应的动作识别模型，并根据所述动作特征和所述动作识别模型，获取所述待识别动作的动作种类。

10.根据权利要求9中所述的系统，其特征在于，所述第五获取模块还用于：

根据所述动作特征，通过所述动作识别模型，对所述待识别动作与所述动作大类中的所有动作个体进行模型匹配，并根据匹配结果获取与所述待识别动作匹配度最高的动作个体以及所述动作个体的动作种类。