CN110097008A - 一种人体动作识别方法 - Google Patents

Abstract

本发明提出一种动作识别方法，包括正则化坐标系，对动作样本每一帧骨骼关节点的三维坐标进行标准化处理；设计二阶自循环神经网络，提取每一帧骨骼关节点坐标特征，得到每一帧的特征向量；从每种动作类型的训练样本中选择一个作为该动作类型的参考动作样本，将测试动作样本内的各帧与每个参考动作样本各帧进行匹配，建立时序对应关系；计算测试动作样本与每个参考动作样本的匹配代价，找出与测试动作样本有最小匹配代价的参考动作样本，该参考动作样本的动作类型即为测试动作样本的动作类型。本发明提取的特征维度较小，算法效率高，通过时间序列匹配，该方法对同类型动作在时间长度和时间形态上的差异有良好的适应性，提高了动作识别的准确率。

Description

一种人体动作识别方法

技术领域

本发明涉及一种人体动作识别方法，属于人体动作识别技术领域。

背景技术

机器视觉是当前人工智能领域的一个重要研究方向，其中基于机器视觉的动作识别在人机交互、虚拟现实、视频检索和安防监控等领域中有着十分广泛的应用。随着深度相机等相关技术的发展，人们可以便捷地获取深度图像并从中提取出人体骨骼关节点信息。基于人体骨骼关节点的动作识别相较于传统的基于二维图像的动作识别有着显著的优越性。尽管基于人体骨骼关节点的动作识别研究已经取得了许多令人瞩目的进展，但动作识别仍然是一项非常具有挑战性的工作。

一个完整的动作序列是由一系列帧的动作信息按动作发生的时间顺序组合而成的，利用这一系列帧中的动作信息进行动作特征的提取是动作识别的核心内容。然而，在做同一类型的动作时，由于动作实施者完成动作的速度不同，使得动作序列的长短不同，即帧数不同。此外，不同的动作实施者做同一类型的动作时，在动作发生的不同阶段，动作的速度也会有差异。建立一个动作序列中的每一帧与另一个动作序列中的每一帧的帧间对应关系，才能更好地衡量两个帧数不同的动作序列的相似程度。通过省略或者重复部分帧可以对动作序列进行压缩或扩展，使得两个动作序列的帧数相等。但是，这种方法不仅损失了部分动作信息，还破坏了动作在时间上的形态，即动作的某些阶段变长，而某些阶段变短，这会降低动作识别的准确率。因此，动作识别方法应当能对同类型动作在时间长度和时间形态上的差异有着良好的适应性。

针对上述动作识别算法的问题，提出一种基于时间序列匹配的动作识别方法。

发明内容

本发明是为解决现有技术中的问题而提出的，技术方案如下，

一种人体动作识别方法，包括如下步骤：

步骤一、正则化坐标系，并对动作样本每一帧骨骼关节点的三维坐标进行标准化处理；

步骤二、设计一种二阶自循环神经网络对人体骨骼关节点的三维坐标数据进行特征提取，得到每一帧的特征向量；

步骤三、从每种动作类型的训练样本中选择一个作为该类型的参考动作样本，将测试动作样本内的各帧与每个参考动作样本各帧进行匹配，建立时序对应关系；

步骤四、计算测试动作样本与每个参考动作样本的匹配代价；

步骤五、寻找与测试动作样本有最小匹配代价的参考动作样本，该参考动作样本的动作类型即为测试动作样本的动作类型。

优选的，所述步骤一正则化坐标系的具体方法为：取动作样本的动作序列第一帧中左肩关节到右肩关节的方向为x轴正方向，取胯骨到颈椎关节的方向为y轴正方向，取人脸正面朝向的方向为z轴正方向，正则化坐标系。

优选的，所述步骤一对动作样本每一帧骨骼关节点的三维坐标进行标准化处理的方法为：

一个长度为N帧的动作样本J，设该样本每帧记录了S个骨骼关节点的三维坐标，其中第s个骨骼关节点在第n帧的三维坐标为(x_s,n,y_s,n,z_s,n)，第n帧的静态姿势可以通过S个骨骼关节的坐标来表示，具体表示方法为：

动作样本J是由N帧的静态姿势组成的，可以通过以下方式表示：

J＝{P₁,P₂,...,P_N}，

P_n包含了该动作样本内第n帧的S×3个坐标值，以该S×3个坐标值构成向量设向量集取V中拥有最大二阶范数的向量，记其二阶范数取V中拥有最小二阶范数的向量，记其二阶范数按以下方式，对每一帧骨骼关节点的三维坐标进行标准化处理：

经过标准化处理之后，第n帧的静态姿势可以表示为：

以P′_n内S×3个元素构成向量并将称为第n帧的坐标向量。

优选的，所述步骤二中得到每一帧的特征向量的具体方法为：

设计二阶自循环神经网络，二阶自循环神经网络对动作样本的每一帧的坐标向量进行了两次编码并在编码过程中对每一帧进行权重处理，从而得到每一帧的特征向量

在第一次编码中，将训练集中所有动作样本所有帧的坐标向量输入至二阶自循环神经网络，设定神经网络期望输出值为输入值，隐层神经元个数为L₁，训练神经网络；训练完毕后，将每一帧的特征向量再次输入神经网络，提取神经网络隐层的L₁维数据作为该帧的编码向量

设第一次编码得到的编码向量为对其进行加权处理；设分别为动作样本J的第1帧到第N帧的坐标向量，设为第一次编码得到的编码向量，则的权重系数的计算方式如下：

将每个编码向量乘以各自的权重得到加权编码向量即

在第二次编码中，对得到的加权编码向量进行编码，将动作样本每一帧的加权编码向量作为二阶自循环神经网络的训练样本；设定神经网络的期望输出值为输入值，隐层神经元个数为L₂，训练神经网络；训练完毕后，将加权编码向量再次输入训练完毕的神经网络，提取神经网络隐层的L₂维数据，作为该帧的二次编码向量

设第二次编码得到的编码向量为对其进行加权处理，的权重系数的计算方式如下：

将二次编码向量乘以相应权重，得到特征向量即

对于长度为N帧的动作样本J，在将该动作样本的每一帧骨骼关节点的坐标向量进行二次编码及加权处理后，可以得到该动作样本每一帧的特征向量动作样本J就可以用这N个特征向量表示：

进一步的，所述步骤三建立时序对应关系的具体方法为：

一个帧数为A的动作类型已知的参考动作样本一个帧数为B的测试动作样本构建两个动作样本之间帧与帧的匹配关系：

将参考动作样本R的A帧在横轴上标出，将测试动作样本T的B帧在纵轴上标出，并在横轴和纵轴上分别做A和B条垂直线，形成A×B个小方格；每一个方格为一个节点，每个节点的横坐标与纵坐标分别对应了两个动作样本内某一帧的特征向量；通过扩展相邻右侧或上侧或者右上对角的方格将起点节点(1,1)与终点节点(A,B)连接起来，就实现了两个动作样本之间帧与帧的匹配；

所有可能到达的节点为A×B个方格，将路径上位于(a,b)的节点记作w_k＝(a,b)，其中a∈[1,A],b∈[1,B]，定义总的路径节点集合W包含了组成路径的所有节点，其中K为路径长度，即路径上节点的总个数。

进一步的，路径节点的扩展方式有如下要求：

①边界条件：两个动作序列，第一帧与第一帧固定匹配，最后一帧与最后一帧固定匹配，即起始节点坐标为(1,1)，终点节点坐标为(A,B)，w₁＝(1,1)，w_K＝(A,B)；

②连续性：每次选择的下一个节点，只能是相邻右侧，相邻上侧，或者右上对角相邻的节点，若w_k-1＝(a′,b′)，w_k＝(a,b)，则需要满足a-a′≤1且b-b′≤1；

③单调性：每次选择的下一个方格，不能为左侧或者下侧的方格，若w_k-1＝(a′,b′)， w_k＝(a,b)，则需要满足a-a′≥0且b-b'≥0。

进一步的，所述测试动样本与每个参考动作样本的匹配代价H(R,T)的计算方式为：

其中，D(A,B)为由起点(1,1)到达终点(A,B)的最优匹配路径的累计代价，K为路径长度，即路径上节点的总个数。

进一步的，所述最优匹配路径的累计代价D(A,B)的计算方法为：

定义任意一个节点(a,b)的代价函数d(a,b)以及节点(a,b)的累计代价D(a,b)：

代价函数d(a,b)为节点(a,b)在横轴和纵轴上所分别对应的两个特征向量的距离，记该距离为距离的计算方式分为如下两步：

第一步:一个帧数为A的动作类型已知的参考动作样本一个帧数为B的测试动作样本设向量集G包含了这两个动作样本的特征向量，即

设向量集G内所有特征向量的平方平均向量为令则G内特征向量的平方平均向量的第l(1≤l≤L₂)个元素计算方式为:

按以上方式，计算内的各个元素，从而得到平方平均向量

第二步：设为来自参考动作样本R的一个特征向量，为来自测试动作样本T的一个特征向量，两个特征向量的距离的计算方式如下:

其中，

节点(a,b)的代价函数d(a,b)即为与的距离即

设D(a,b)为从(1,1)到(a,b)的路径上所有节点的代价函数的和，并称D(a,b)为点(a,b)的累计代价，每次选择新的节点(a,b)，新的累计代价即为前一节点的累计代价 D(a-1,b)或D(a,b-1)或D(a-1,b-1)加上新节点(a,b)的代价；

根据路径选择的方式，累计代价D(a,b)增加的值分别为向右或向上扩展新节点d(a,b)或向右上方扩展新节点2×d(a,b)，设D⁽¹⁾，D⁽²⁾，D⁽³⁾分别为向右上方，右方，上方扩展节点得到的累计代价，具体计算方式如下：

D⁽¹⁾＝2×d(a,b)+D(a-1,b-1)，

D⁽²⁾＝d(a,b)+D(a-1,b)，

D⁽³⁾＝d(a,b)+D(a,b-1)，

其中，D(a-1,b)，D(a,b-1)，D(a-1,b-1)分别为能够达到(a,b)的三个节点(a-1,b)，(a,b-1)，(a-1,b-1)的累计代价；

计算累计代价最小的时序匹配关系：

假设匹配节点已到达w_k＝(a,b)，由上述规定可知，w_k的前一节点w_k-1有三种可能的坐标取值，分别为：(a-1,b)，(a,b-1)，(a-1,b-1)。对应于这三种路径选择可能，(a,b)处的累计代价D(a,b)也有三种可能与之对应，分别为D⁽¹⁾,D⁽²⁾,D⁽³⁾。

为了使得累计代价函数最小，应当选择能够使得累计代价D(a,b)取得最小值的路径，即：

D(a,b)＝min{D⁽¹⁾,D⁽²⁾,D⁽³⁾}。

按以上节点扩展规定以及累计代价最小原则，计算从匹配起点(1,1)出发到终点(A,B)的累计代价最小的路径节点集合W＝{w_k|k＝1,2,...,K}，具体算法流程如下：

a、计算(1,1)处的代价函数d(1,1)，令累计代价函数D(1,1)＝d(1,1)，并标记(1,1)为已到达过的点；

b、从每个已经被标记的节点(a,b)向右方、上方、右上方分别扩展新的节点，计算其可以到达的节点(a+1,b)，(a,b+1)，(a+1,b+1)的累计代价D′(a+1,b)， D′(a,b+1)，D′(a+1,b+1)，其具体计算方式如下：

D′(a+1,b)＝D(a,b)+d(a+1,b)，

D′(a,b+1)＝D(a,b)+d(a,b+1)，

D′(a+1,b+1)＝D(a,b)+2×d(a+1,b+1)。

c、若节点(a+1,b)，(a,b+1)，(a+1,b+1)中存在未被标记的坐标点，即从未计算过到该坐标点的累计代价，设该未被标记的坐标点为(x,y)，由当前节点到达(x,y)计算得到的累计代价为D′(x,y)赋值给该坐标点应有的累计代价D(x,y)，即 D(x,y)＝D′(x,y)(‘＝’在此意义为赋值)，并标记该坐标点；

若节点(a+1,b)，(a,b+1)，(a+1,b+1)中存在已被标记的坐标点，即已到达过且计算了累计代价，设该被标记的坐标点为(x,y)，设该坐标点已有的累计代价为D(x,y)，由当前节点到达(x,y)计算得到的累计代价为D′(x,y)，取两个累计代价中较小的值作为该坐标点新的累计代价，具体规定如下：

若D(x,y)≤D′(x,y)，则该坐标点累计代价D(x,y)不变；若D(x,y)＞D′(x,y)，则令D′(x,y)取代D(x,y)，成为该坐标点(x,y)的新的累计代价D(x,y)；

d、循环b，c，直到所有节点都不再有可以继续扩展的节点；

通过以上算法，可以得到由起点(1,1)到达终点(A,B)的累计代价D(A,B)，并获得最小的路径节点集合W_min＝{w_k|k＝1,2,...K}，其中K为路径长度，即路径上节点的总个数。

对于长度为A的参考动作样本R与长度为B的测试动作样本T，定义匹配代价 H(R,T)为最优匹配路径W_min下的累计代价D(A,B)除以路径长度K，其具体计算方式如下：

进一步的，所述步骤五中寻找与测试动作样本有最小匹配代价的参考动作样本的具体方法为：

将测试动作样本T与C个动作类型的参考动作样本R₁,R₂,...,R_C进行序列匹配。依照上述代价计算方法以及路径节点选择算法，确定T与R₁,R₂,...,R_C各自的最佳时序匹配方式，并分别计算T与R₁,R₂,...,R_C匹配代价，寻找与测试动作样本T的匹配代价最小的参考动作样本：

设R₁,R₂,...,R_C分别为C个不同动作类型的参考动作样本，分别计算测试动作样本T 对这C个参考动作样本的匹配代价，将其结果分别记为H(R₁,T),H(R₂,T),...,H(R_C,T)，选择其中最小匹配代价min{H(R_c,T)}所对应的参考动作样本R_c，R_c的动作类型即为该测试动作样本的动作类型。

本发明在动作类型更多，动作更复杂的情况下，通过二阶自循环神经网络能够提取有区分度的特征。特征维度较小，提高了算法效率，可以满足实时应用的要求；此外，通过时间序列匹配，对同类型动作在时间长度和时间形态上的差异有着良好的适应性，提高动作识别的准确率。

附图说明

图1是本发明一种动作识别方法的工作流程图。

图2是本发明二阶自循环神经网络提取特征向量的原理图。

图3是本发明各个节点的代价函数值构成的矩阵图。

图4是本发明搜索累计代价最小路径的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种人体动作识别方法，具体流程如下：

1、取第一帧中左肩关节到右肩关节的方向为x轴正方向，取胯骨到颈椎关节的方向为y轴正方向，取人脸正面朝向为z轴正方向，正则化坐标系。

2、假设每个动作样本记录了人体20个骨骼关节点在每一帧的三维坐标。对于一个长度为10帧的动作样本，第n帧的静态姿势可以通过这20个骨骼关节的坐标来表示，具体表示方法为：

设动作样本J是10帧静态姿势的有序排列，则其可以表示为：

J＝{P₁,P₂,...,P₁₀}。

P_n包含了动作样本第n帧的60个坐标值，以该60个坐标值构成向量设向量集取V中二阶范数最大的向量，记其二阶范数为取V 中二阶范数最小的向量，记其二阶范数为按以下方式，对每一帧骨骼关节点的三维坐标做标准化处理：

经过标准化处理之后，第n帧的静态姿势可以表示为：

以P′_n内60个经标准化处理的坐标值构成将其称为第n帧的坐标向量。

3、设计二阶自循环神经网络，二阶自循环神经网络对动作样本的每一帧的坐标向量进行了两次编码并在编码过程中对每一帧进行权重处理，从而得到每一帧的特征向量

如图2所示，在第一次编码中，将训练集中所有动作样本所有帧的坐标向量输入至二阶自循环神经网络，设定神经网络期望输出值为输入值，隐层神经元个数为L₁，训练神经网络；训练完毕后，将每一帧的特征向量再次输入神经网络，提取神经网络隐层的 L₁维数据作为该帧的编码向量

设第一次编码得到的编码向量为对其进行加权处理；设分别为动作样本J的第1帧到第N帧的坐标向量，设为第一次编码得到的编码向量，则的权重系数的计算方式如下：

将每个编码向量乘以各自的权重得到加权编码向量即

在第二次编码中，对得到的加权编码向量进行编码，将动作样本每一帧的加权编码向量作为二阶自循环神经网络的训练样本；设定神经网络的期望输出值为输入值，隐层神经元个数为L₂，训练神经网络；训练完毕后，将加权编码向量再次输入训练完毕的神经网络，提取神经网络隐层的L₂维数据，作为该帧的二次编码向量

设第二次编码得到的编码向量为对其进行加权处理，的权重系数的计算方式如下：

将二次编码向量乘以相应权重，得到特征向量即

对于长度为N帧的动作样本J，在将该动作样本的每一帧骨骼关节点的坐标向量进行二次编码及加权处理后，可以得到该动作样本每一帧的特征向量动作样本J就可以用这N个特征向量表示：

将一个长度为10帧的动作样本J的每一帧坐标向量作为神经网络的训练样本，设定神经网络期望输出值为输入值，进行两次编码。设第一次编码中，神经网络隐层神经元的个数为50，则第一次编码完成后的编码向量为

对编码向量进行加权，设动作样本J的10个坐标向量，经过第一次编码得到的编码向量为则的权重系数的计算方式如下：

对编码向量进行加权处理，得到加权编码向量即

在第二次编码中，对上一步得到的加权编码向量进行编码，神经网络期望输出值仍为输入值，隐层神经元个数为30，可以得到第二次编码向量将该向量称为二次编码向量，下面对二次编码向量进行加权处理，的权重系数的计算方式如下：

对二次编码向量进行加权处理，得到特征向量即

将动作样本J每一帧的坐标向量进行两次编码并做相应加权处理，可以得到各自的加权二次编码向量一个长度为10帧的动作样本J就可以用这10个特征向量来表示，其具体表示方式为：

4、取帧数为6的参考动作样本以及帧数为4测试动作样本建立这两个动作样本的时序匹配关系，即将测试动作样本内的各帧与每个参考动作样本各帧进行匹配，建立时序对应关系。以参考动作样本R的帧数为纵轴长，测试动作样本T的帧数为横轴长，在一块大小为4×6的方格图上选择一系列节点，每个被选节点表明该节点横纵轴坐标所代表的两个特征向量匹配对应。

在整个匹配方格图中，所有可能到达的节点为4×6个方格。将路径上位于(a,b)的节点记作w_k＝(a,b)，其中a∈[1,4],b∈[1,6]。设路径节点集合为W包含了组成路径的所有节点。W中的节点表明了两个动作样本的时序匹配关系。

整个路径选择有以下要求：

①w₁＝(1,1)，w_K＝(4,6)，

②若w_k-1＝(a′,b′)，w_k＝(a,b)，则a-a′≤1且b-b′≤1，

③若w_k-1＝(a′,b′)，w_k＝(a,b)，则a-a′≥0且b-b′≥0。

5、确定方格图上每一个节点的代价值及累计代价值。设进行匹配的参考动作样本为测试动作样本为设矢量集

下面计算矢量集内的10个特征向量的平方平均向量设 则G内10个特征向量的平方平均向量的第l(1≤l≤30)个元素计算方式为:

按以上方式，计算内的30个元素，从而得到平方平均向量

设d(a,b)为节点(a,b)的代价函数，(a,b)所对应的两个特征向量分别为则代价函数d(a,b)的计算方式如下:

其中，

如图3所示，通过计算可以获得4×6个节点的代价函数值，假设各点的代价函数构成代价矩阵为[(2,1,4,5,3,2)^T,(1,5,7,2,4,1)^T,(7,1,2,4,8,5)^T,(5,6,4,3,2,1)^T]。

设D(a,b)为(a,b)的累计代价。每次扩展新的节点(a,b)，新的累计代价D(a,b)即为在前一节点的累计代价加上新节点的代价函数d(a,b)(向右或向上扩展)，2×d(a,b)(向右上方扩展)。

设D⁽¹⁾，D⁽²⁾，D⁽³⁾分别为向右上方，右方，上方扩展节点得到的累计代价，则这些累计代价的具体计算方式如下：

D⁽¹⁾＝2×d(a,b)+D(a-1,b-1)，

D⁽²⁾＝d(a,b)+D(a-1,b)，

D⁽³⁾＝d(a,b)+D(a,b-1)。

为了使得累计代价最小，应当选择能够使得累计代价D(a,b)取得最小值的路径，即：

D(a,b)＝min{D⁽¹⁾,D⁽²⁾,D⁽³⁾}。

参照以上节点扩展规定以及最小累计代价原则，计算由节点(1,1)出发，到达节点(4,6)的最小累计代价函数D(4,6)，并记录其路径。如图4所示，每一个方格内的粗体字(括号外)为该节点的代价函数值d(a,b)，括号内的值为到达该点的最小累计代价 D(a,b)。最优路径已用加粗箭头标出，如图4所示，由起点节点(1,1)到终点节点(4,6)的最小累计代价为26。

定义匹配代价函数H(R,T)，对于长度为4的参考动作样本R与长度为6的测试动作样本T，其匹配代价H(R,T)的计算方式如下：

其中，D(4,6)为由起点节点(1,1)到终点节点(4,6)时序匹配的最小累计代价，K为路径上节点的总个数。

6、将测试动作样本T与多个参考动作样本匹配，计算T与各个参考动作样本的匹配代价。假设共有8个动作类型不同的参考动作样本，计算得到测试动作样本T与8个参考动作样本R₁,R₂,...,R₈的匹配代价分别为:26,89,67,46,53,75,10,80。选择最小匹配代价(在本例中为10)所对应的参考动作样本(在本例中为R₇)所对应的动作类型，判断其为测试动作样本的动作类型。至此，动作识别结束。

尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种人体动作识别方法，包括如下步骤：

步骤一、正则化坐标系，并对动作样本每一帧骨骼关节点的三维坐标进行标准化处理；

步骤二、设计一种二阶自循环神经网络对人体骨骼关节点的三维坐标数据进行特征提取，得到每一帧的特征向量；

步骤三、从每种动作类型的训练样本中选择一个作为该类型的参考动作样本，将测试动作样本内的各帧与每个参考动作样本各帧进行匹配，建立时序对应关系；

步骤四、计算测试动作样本与每个参考动作样本的匹配代价；

步骤五、寻找与测试动作样本有最小匹配代价的参考动作样本，该参考动作样本的动作类型即为测试动作样本的动作类型。

2.根据权利要求1所述的一种人体动作识别方法，其特征在于：所述步骤一正则化坐标系的具体方法为：取动作样本的动作序列第一帧中左肩关节到右肩关节的方向为x轴正方向，取胯骨到颈椎关节的方向为y轴正方向，取人脸正面朝向的方向为z轴正方向，正则化坐标系。

3.根据权利要求1所述的一种人体动作识别方法，其特征在于：所述步骤一对动作样本每一帧骨骼关节点的三维坐标进行标准化处理的方法为：

一个长度为N帧的动作样本J，设该样本每帧记录了S个骨骼关节点的三维坐标，其中第s个骨骼关节点在第n帧的三维坐标为(x_s,n,y_s,n,z_s,n)，第n帧的静态姿势可以通过S个骨骼关节的坐标来表示，具体表示方法为：

动作样本J是由N帧的静态姿势组成的，可以通过以下方式表示：

J＝{P₁,P₂,...,P_N}，

P_n包含了该动作样本内第n帧的S×3个坐标值，以该S×3个坐标值构成向量设向量集取V中拥有最大二阶范数的向量，记其二阶范数取V中拥有最小二阶范数的向量，记其二阶范数按以下方式，对每一帧骨骼关节点的三维坐标进行标准化处理：

经过标准化处理之后，第n帧的静态姿势可以表示为：

以P′_n内S×3个元素构成向量并将称为第n帧的坐标向量。

4.根据权利要求1所述的一种人体动作识别方法，其特征在于：所述步骤二中得到每一帧的特征向量的具体方法为：

设计二阶自循环神经网络，二阶自循环神经网络对动作样本的每一帧的坐标向量进行了两次编码并在编码过程中对每一帧进行权重处理，从而得到每一帧的特征向量

在第一次编码中，将训练集中所有动作样本所有帧的坐标向量输入至二阶自循环神经网络，设定神经网络期望输出值为输入值，隐层神经元个数为L₁，训练神经网络；训练完毕后，将每一帧的特征向量再次输入神经网络，提取神经网络隐层的L₁维数据作为该帧的编码向量

设第一次编码得到的编码向量为对其进行加权处理；设分别为动作样本J的第1帧到第N帧的坐标向量，设为第一次编码得到的编码向量，则的权重系数的计算方式如下：

将每个编码向量乘以各自的权重得到加权编码向量即

在第二次编码中，对得到的加权编码向量进行编码，将动作样本每一帧的加权编码向量作为二阶自循环神经网络的训练样本；设定神经网络的期望输出值为输入值，隐层神经元个数为L₂，训练神经网络；训练完毕后，将加权编码向量再次输入训练完毕的神经网络，提取神经网络隐层的L₂维数据，作为该帧的二次编码向量

设第二次编码得到的编码向量为对其进行加权处理，的权重系数的计算方式如下：

将二次编码向量乘以相应权重，得到特征向量即

对于长度为N帧的动作样本J，在将该动作样本的每一帧骨骼关节点的坐标向量进行二次编码及加权处理后，可以得到该动作样本每一帧的特征向量动作样本J就可以用这N个特征向量表示：

5.据权利要求4所述的一种人体动作识别方法，其特征在于：所述步骤三建立时序对应关系的具体方法为：

一个帧数为A的动作类型已知的参考动作样本一个帧数为B的测试动作样本构建两个动作样本之间帧与帧的匹配关系：

将参考动作样本R的A帧在横轴上标出，将测试动作样本T的B帧在纵轴上标出，并在横轴和纵轴上分别做A和B条垂直线，形成A×B个小方格；每一个方格为一个节点，每个节点的横坐标与纵坐标分别对应了两个动作样本内某一帧的特征向量；通过扩展相邻右侧或上侧或者右上对角的方格将起点节点(1,1)与终点节点(A,B)连接起来，就实现了两个动作样本之间帧与帧的匹配；

将路径上位于(a,b)的节点记作w_k＝(a,b)，其中a∈[1,A],b∈[1,B]，定义总的路径节点集合W包含了组成路径的所有节点，其中K为路径长度，即路径上节点的总个数。

6.据权利要求5所述的一种人体动作识别方法，其特征在于：路径节点的扩展方式有如下要求：

①两个动作序列，第一帧与第一帧固定匹配，最后一帧与最后一帧固定匹配，即起始节点坐标为(1,1)，终点节点坐标为(A,B)，w₁＝(1,1)，w_K＝(A,B)；

②每次选择的下一个节点，只能是相邻右侧，相邻上侧，或者右上对角相邻的节点，若w_k-1＝(a′,b′)，w_k＝(a,b)，则需要满足a-a′≤1且b-b′≤1；

③每次选择的下一个方格，不能为左侧或者下侧的方格，若w_k-1＝(a′,b′)，w_k＝(a,b)，则需要满足a-a′≥0且b-b'≥0。

7.据权利要求5所述的一种人体动作识别方法，其特征在于：所述测试动样本与每个参考动作样本的匹配代价H(R,T)的计算方式为：

其中，D(A,B)为由起点(1,1)到达终点(A,B)的最优匹配路径的累计代价，K为路径长度，即路径上节点的总个数。

8.据权利要求7所述的一种人体动作识别方法，其特征在于：所述最优匹配路径的累计代价D(A,B)的计算方法为：

定义任意一个节点(a,b)的代价函数d(a,b)以及节点(a,b)的累计代价D(a,b)：

代价函数d(a,b)为节点(a,b)在横轴和纵轴上所分别对应的两个特征向量的距离，记该距离为距离的计算方式分为如下两步：

第一步:一个帧数为A的动作类型已知的参考动作样本一个帧数为B的测试动作样本设向量集G包含了这两个动作样本的特征向量，即

设向量集G内所有特征向量的平方平均向量为令则G内特征向量的平方平均向量的第l(1≤l≤L₂)个元素计算方式为:

按以上方式，计算内的各个元素，从而得到平方平均向量

第二步：设为来自参考动作样本R的一个特征向量，为来自测试动作样本T的一个特征向量，两个特征向量的距离的计算方式如下:

其中，

节点(a,b)的代价函数d(a,b)即为与的距离即

设D(a,b)为从(1,1)到(a,b)的路径上所有节点的代价函数的和，并称D(a,b)为点(a,b)的累计代价，每次选择新的节点(a,b)，新的累计代价即为前一节点的累计代价D(a-1,b)或D(a,b-1)或D(a-1,b-1)加上新节点(a,b)的代价；

根据路径选择的方式，累计代价D(a,b)增加的值分别为向右或向上扩展新节点d(a,b)或向右上方扩展新节点2×d(a,b)，设D⁽¹⁾，D⁽²⁾，D⁽³⁾分别为向右上方，右方，上方扩展节点得到的累计代价，具体计算方式如下：

D⁽¹⁾＝2×d(a,b)+D(a-1,b-1)，

D⁽²⁾＝d(a,b)+D(a-1,b)，

D⁽³⁾＝d(a,b)+D(a,b-1)，

其中，D(a-1,b)，D(a,b-1)，D(a-1,b-1)分别为能够达到(a,b)的三个节点(a-1,b)，(a,b-1)，(a-1,b-1)的累计代价；

为了使得累计代价函数最小，应当选择能够使得累计代价D(a,b)取得最小值的路径，即：

D(a,b)＝min{D⁽¹⁾,D⁽²⁾,D⁽³⁾}，

按以上节点扩展规定以及累计代价最小原则，计算从匹配起点(1,1)出发到终点(A,B)的累计代价最小的路径节点集合W＝{w_k|k＝1,2,...,K}，具体算法流程如下：

a、计算(1,1)处的代价函数d(1,1)，令累计代价函数D(1,1)＝d(1,1)，并标记(1,1)为已到达过的点；

b、从每个已经被标记的节点(a,b)向右方、上方、右上方分别扩展新的节点，计算其可以到达的节点(a+1,b)，(a,b+1)，(a+1,b+1)的累计代价D′(a+1,b)，D′(a,b+1)，D′(a+1,b+1)，其具体计算方式如下：

D′(a+1,b)＝D(a,b)+d(a+1,b)，

D′(a,b+1)＝D(a,b)+d(a,b+1)，

D′(a+1,b+1)＝D(a,b)+2×d(a+1,b+1)；

c、若节点(a+1,b)，(a,b+1)，(a+1,b+1)中存在未被标记的坐标点，即从未计算过到该坐标点的累计代价，设该未被标记的坐标点为(x,y)，由当前节点到达(x,y)计算得到的累计代价为D′(x,y)赋值给该坐标点应有的累计代价D(x,y)，并标记该坐标点；

若节点(a+1,b)，(a,b+1)，(a+1,b+1)中存在已被标记的坐标点，即已到达过且计算了累计代价，设该被标记的坐标点为(x,y)，设该坐标点已有的累计代价为D(x,y)，由当前节点到达(x,y)计算得到的累计代价为D′(x,y)，取两个累计代价中较小的值作为该坐标点新的累计代价，具体规定如下：

若D(x,y)≤D′(x,y)，则该坐标点累计代价D(x,y)不变；若D(x,y)＞D′(x,y)，则令D′(x,y)取代D(x,y)，成为该坐标点(x,y)的新的累计代价D(x,y)；

d、循环b，c，直到所有节点都不再有可以继续扩展的节点；

通过以上算法，可以得到由起点(1,1)到达终点(A,B)的累计代价D(A,B)，并获得最小的路径节点集合W_min＝{w_k|k＝1,2,...K}，其中K为路径长度，即路径上节点的总个数。

9.据权利要求8所述的一种人体动作识别方法，其特征在于：所述步骤五中寻找与测试动作样本有最小匹配代价的参考动作样本的具体方法为：

将测试动作样本T与C个动作类型的参考动作样本进行序列匹配，分别计算测试动作样本T对这C个参考动作样本的匹配代价，选择其中最小匹配代价所对应的参考动作样本，该参考动作样本的动作类型即为该测试动作样本的动作类型。