CN107358171B - 一种基于余弦距离与动态时间规整的手势识别方法 - Google Patents

Abstract

本发明公开了一种基于余弦距离与动态时间规整的手势识别方法，首先获取手部节点坐标值，使用倒序识别法来截取手势坐标序列，将手势坐标序列进行向量化的特征分割形成待识别序列；然后通过余弦距离和动态时间规整的方法将待识别序列与模板进行匹配，求得其累积距离矩阵以及最短距离值；最后比较DTW检测所得到的最短距离值与设定的阈值之间的大小关系，从而确定动作是否触发，达到动作识别的目标。本发明可以得到较高的识别率。

Description

一种基于余弦距离与动态时间规整的手势识别方法

技术领域

本发明属于传感器手势检测技术领域，涉及动态时间规整算法领域以及Kinect体感交互领域；具体涉及一种在Unity3D开发环境下进行设计的基于余弦距离与动态时间规整的手势识别方法。

技术背景

Dynamic Time Warping算法，中文称动态时间规整算法。最早用于两段语音序列的优化匹配，计算两段序列最小距离，达到比较两段序列相似度的目的。后来由于其同样能识别两段特征序列相似度，也被用于动态手势的检测，有着很高的容错率和鲁棒性，在非概率和深度学习的手势识别领域具有很多的应用。但几乎所有的动态时间规整算法在进行手势识别检测时，都是对身体部位坐标或者骨骼伸展向量进行动作序列的匹配，使得动作识别时，更加趋于“相同”动作的检测。但当手势发起者做出一个相似而非相同手势时，仍需要其能够检测出来的需求也是存在的。所以在对动态时间规整算法作出改进，让它可以满足不同手势发起者的需求变得很有价值和意义。

发明内容

为了解决上述技术问题，本发明提供了一种基于余弦距离与动态时间规整的手势识别方法。

本发明所采用的技术方案是：一种基于余弦距离与动态时间规整的手势识别方法，其特征在于，包括以下步骤：

步骤1：运用Kinect深度图骨骼点坐标获取的功能获取手部节点坐标值；

步骤2：使用倒序识别法来截取手部动作序列；

步骤3：将手势坐标序列进行向量化的特征分割，并录入模板序列；

步骤4：通过余弦距离法对模板序列和待识别序列进行DTW检测，求得其累积距离矩阵以及最短距离值；

步骤5：比较DTW检测所得到的最短距离值与设定的阈值之间的大小关系，从而确定动作是否触发，达到动作识别的目标。

本发明的有益效果是：

1.采用倒序检测法来收集动作序列，这种做法规避了动作序列起始点和终止点的获取会因多余的动作造成数据序列的偏差；

2.采用动作中手部坐标在运动过程中两帧构成的向量作为动态时间规整算法模板序列与目标序列的组成元素；

3.采用余弦距离法作为DTW矩阵距离计算时的距离计算法，这种方式更加注重方向而非距离，使得其能够完成相似(包含相同)动作的检测；

4.采用Kinect作为手势交互的设备，因为Kinect成像稳定，可以获取人体的骨骼结果图以及检测到人体的骨骼节点并输出各个节点的深度图坐标，易于数据收集与坐标系的管理。

附图说明

图1是本发明实施例的倒序识别法序列收集示意图；

图2是本发明实施例的动态手势轨迹分割示意图；

图3是本发明实施例的DTW矩阵示意图；

图4是本发明实施例的累计矩阵路径示意图；

图5是本发明实施例的手势识别的程序流程图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

本发明是一个运用动态时间规整算法，并选用两帧之间的方向向量的有序集合作为动态时间规整算法的序列的组成成分。然后通过倒序收集的方式，收集序列。最后通过动态时间规整算法值来进行动态手势检测触发判定的方法。

本发明使用余弦距离法来改进动态时间规整算法，余弦距离法多用于深度学习中的语音识别，用于判断两个向量的相似度。它更加注重向量的方向变化弱化距离的影响是本发明选择的重点。

Kinect是美国微软公司在2010年推出的一款XBOX360交互式体感设备，拥有包含红外，彩色，红外深度摄像头在内的3大摄像头。通过这三个摄像头和摄像机，可以实现饱满的光感成像。除此之外，Kinect可以通过深度图像，进行边缘检测，生成一副清晰的人体骨架图。开发者可以通过由微软官方给出的开发文档以及API，获取深度图像中各个骨骼点的Position值。为本发明提供了硬件基础。

本实施例以“鼓乐器的敲击动作为例”对本发明进行详细说明。

请见图5，本发明提供的一种基于余弦距离与动态时间规整的手势识别方法，包括以下步骤：

步骤1：运用Kinect深度图骨骼点坐标获取的功能获取手部节点坐标值；

“鼓”打击手势序列段的获取，即确定“鼓”动态手势的起点和终止点、在用户手势达到敲击“鼓”这一动作目标后(代码坐标表示为Lefthand.y<SpineMid.y)，向前延展45帧长的手势数据(依据手势的所需时长)，将这些数据整合为用户序列与目标序列进行匹配检测。本实施例关注更多是“击中鼓面”那一瞬间，忽略掉击鼓动作结束后的动作“后摇”，以“击中鼓面”这一瞬间之前数十帧的数据来进行待识别序列构成。实现方式为一个不断更新存储坐标位置的循环队列。通过检测当前帧Lefthand.y<SpineMid.y的完成情况，确定是否停止进行手势检测，利用队列来进行数据读取和处理，进队列，出队列来更新数据其流程如图1所示。

步骤2：使用倒序识别法来截取手部动作序列；

设动态手势(Dynamic Gestures)为D，静态手势(Static Gestures)为S。对于任何一个动态手势D，通过分割，只要时间够短，总满足关系：

D≈{S[1],S[2],S[3],S[4],......,S[n-1],S[n]}

n越大，则表示检测取样频率越高，等式两边越接近。通过将动态手势分割为一个个静态手势或者能够表征静态手势的数据。一个动态手势的识别便可以转化为一个静态手势序列的识别。而这个静态手势序列就成为了动态手势的特征序列。

本实施例中，“鼓”手势表示为坐标的特征集合，设为A。

A＝{(x[0],y[0],z[0]),(x[1],y[1],z[1]),……(x[n-1],y[n-1],z[n

-1]),(x[n],y[n],z[n])}

步骤3：将手势坐标序列进行向量化的特征分割；

在采样频率足够短的情况下，通过“微分”思想。两帧之间的向量即可近似表示为前一帧静态手势的方向特征，因为动态手势在轨迹方面的研究通常忽略手型，更多关注的是手的运动方向,设X为空间向量。那么

D≈{S[1],S[2],S[3],S[4],......,S[n-1],S[n]}

也就能转化为

D≈{X[1],X[2],X[3],X[4],......,X[n-1],X[n]}

即，对一个动态手势的检测，可以看作是对一个向量集合的相似度问题。

本实施例中，在“鼓”手势坐标序列获取之后，就要考虑将坐标序列A转化为向量序列B。如下公式所示：

B＝{(x[1]-x[0],y[1]-y[0],z[1]-z[0]),……(x[n]-x[n-1],y[n]

-y[n-1],z[n]-z[n-1])}

鼓手势序列的特征表示便从特征点序列的A变成了特征向量序列集合B。而向量相对于坐标而言，在相似度层面的更加易于比较，尤其是对于“鼓”乐器敲击手势，相似动作亦能通过向量检测出来，这个过程可以如图2所示。手势模板录入者可以在做出标准的手势后通过这一过程，形成鼓动作的的标准向量模板序列Gestures_鼓模板。

步骤4：通过余弦距离法对模板序列和待识别序列进行DTW检测，求得其累积距离矩阵以及最短距离值；

通过动态时间规整算法以及运动手势轨迹的分割，完全可以将目标手势和用户的手势分解为多个向量组成的序列：

Gestures_目标＝{X[1],X[2],X[3],......,X[n-1],X[n]}

Gestures_用户＝{x[1],x[2],x[3],......,x[n-1],x[n]}

然后对两个序列按照一定的距离要求进行DTW序列匹配。

DTW(Gesture_目标，Gesture_用户)

求出其最小距离，确定手势相似度。

在确定好使用动态时间规整算法求两个手势序列的相似度后，由于在本发明中，动态手势的特征序列是向量为元素构成的特征序列序列，则在动态时间规整算法中，要求得DTW距离矩阵，一定会要求向量与向量之间的距离，即要求向量之间的相似度。本发明对于向量与向量之间的距离使用的是余弦距离。更加看重手势运动的方向而非距离。

由于在手势研究中，尤其动态手势的轨迹研究，方向相对距离更是研究的重点方面，位置不同，方向相似的手势运动依然可以被看做同一手势，即相似手势。那么这样的话，对于手势轨迹方向的匹配检测，则显得十分的重要了，而向量是方向最直接的数学表达，向量之间的相似度(或称距离)，在数学领域常用余弦距离来进行衡量。

Gestures_目标和Gestures_用户它们的元素均由向量构成，在DTW矩阵中进行计算，设为Gestures_目标中向量，设为Gestures_用户中向量，计算向量和之间的余弦距离，将其作为两序列距离的衡量标准；其公式为：

可以很明显的看出θ值介于0到π之间，所以说两向量之间的cosθ值介于-1到1之间，且越接近于1，说明两个向量的在方向上越相似，越接近-1表示两向量方向距离越远。而本实施例在这里构造一个新函数：

Y＝1-cosθ

则Y的取值范围为[0,2]，越接近0，两个向量的方向距离越相近，越接近2两向量方向距离越远。将其作为动态时间规整算法中DTW矩阵的距离计算公式。可依据公式：

Y＝1-cosθ；

转化为：

DTW(Y(Gesture_目标，Gesture_用户))；

即：

其中，n表示模板序列长度，m表示待识别序列长度，ω作为求和最优路径的匹配参数控制，按照DTW路径选择的情况不同，

根据DTW矩阵路径选择的方法：

其中，d为两点距离，Mc为累计距离矩阵值，Mc(i,j)表示当前坐标距离累计距离值，d(i,j)表示当前坐标的余弦距离值；

ω取值范围为：

ω＝{0,1,2}。

本实施例中，将“鼓”手势的模板序列与待识别序列放置于DTW矩阵之中，进行动态时间规整算法的检测。设“鼓”模板序列为：

Gestures_鼓模板＝{M[1],M[2],M[3],......,M[n-1],M[n]}

设“鼓”动作获取到的待识别序列为：

Gestures_待识别＝{N[1],N[2],N[3],......,N[n-1],N[n]}

然后将两序列放入DTW矩阵中进行动态时间规整算法的检测，如图3。

在图3的DTW矩阵中每个小格子应当存放的是比较的两序列两两元素之间的距离，而对于这种向量与向量之间的距离表征，本实施例采用的是改进的余弦距离表述。对于“鼓”乐器打击中的两序列，进行动态时间规整检测(如图4)，引入余弦距离检测，总满足下列公式。

DTW(Gesture_鼓模板，Gesture_待识别)

然后转化为

DTW(Y(Gesture_鼓模板，Gesture_待识别))

即

然后通过该公式求得最小累计矩阵Mc矩阵，矩阵中的最小距离累计值便是两个模板相似度的值。

步骤5：比较DTW检测所得到的最短距离值与设定的阈值之间的大小关系，从而确定动作是否触发，达到动作识别的目标。

本实施例可以对手势识别率进行阈值设定，并通过阈值与所得值进行比较判定得到动作识别结果，通过对锣，钹，鼓三种乐器各50次的识别测试，其结果如表1所示，可以得到较高的识别率。

表1

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (3)

1.一种基于余弦距离与动态时间规整的手势识别方法，其特征在于，包括以下步骤：

步骤1：获取手部节点坐标值；

步骤2：使用倒序识别法来截取手部动作序列；

步骤3：将手势坐标序列进行向量化的特征分割，并通过这一过程收集注册的标准动作形成模板序列；

步骤4：通过余弦距离法对模板序列和待识别序列进行DTW检测，求得其累积距离矩阵以及最短距离值；

步骤4的具体实现包括以下子步骤：

步骤4.1：将模板序列中的手势Gestures_目标和待识别序列中的手势Gestures_用户分解为多个向量组成的序列：

Gestures_目标＝{X[1],X[2],X[3],......,X[n-1],X[n]}；

Gestures_用户＝{x[1],x[2],x[3],......,x[n-1],x[n]}；

然后对两个序列按照一定的距离要求进行DTW序列匹配：

DTW(Gesture_目标，Gesture_用户)；

求出其最小距离，确定手势相似度；

步骤4.2：Gestures_目标和Gestures_用户它们的元素均由向量构成，在DTW矩阵中进行计算，设为Gestures_目标中向量，设为Gestures_用户中向量，计算向量和之间的余弦距离，将其作为两序列距离的衡量标准；其公式为：

cosθ值介于-1到1之间，且越接近于1，两个向量的在方向上越相似，越接近-1表示两向量方向距离越远；

步骤4.3：构造一个新函数

Y＝1-cosθ；

则Y的取值范围为[0,2]，越接近0，两个向量的方向距离越相近，越接近2两向量方向距离越远；将其作为动态时间规整算法中DTW矩阵的距离计算公式；

步骤4.4：将公式

Y＝1-cosθ；

转化为：

DTW(Y(Gesture_目标，Gesture_用户))；

即：

其中，n表示模板序列长度，m表示待识别序列长度，ω作为求和最优路径的匹配参数控制，按照DTW路径选择的情况不同，根据DTW矩阵路径选择的方法：

其中，d为两点距离，Mc为累计距离矩阵值，Mc(i,j)表示当前坐标距离累计距离值，d(i,j)表示当前坐标的余弦距离值；

则ω取值范围为：

ω＝{0,1,2}；

步骤5：比较DTW检测所得到的最短距离值与设定的阈值之间的大小关系，从而确定动作是否触发，达到动作识别的目标。

2.根据权利要求1所述的基于余弦距离与动态时间规整的手势识别方法，其特征在于：步骤1中，运用Kinect深度图骨骼点坐标获取的功能获取手部节点坐标值。

3.根据权利要求1所述的基于余弦距离与动态时间规整的手势识别方法，其特征在于，步骤3的具体实现包括以下子步骤：

步骤3.1：设动态手势为D，静态手势为S；对于任何一个动态手势D，通过分割，转化为一个静态手势序列：

D≈{S[1],S[2],S[3],S[4],......,S[n-1],S[n]}；

其中，n表示分割次数，n越大，等式两边越接近；该静态手势序列即为动态手势的特征序列；

步骤3.2：设X为空间向量，当n足够大时，两帧之间的向量即可表示为前一帧静态手势的方向特征，则：

D≈{S[1],S[2],S[3],S[4],......,S[n-1],S[n]}；

转化为：

D≈{X[1],X[2],X[3],X[4],......,X[n-1],X[n]}；

步骤3.3：通过步骤3.2中的分割过程，获得标准动作对应的模板序列Gestures_目标。