CN104123007B - 一种多维加权的3d动态手势识别方法 - Google Patents

Abstract

本发明公开了一种多维加权的3D动态手势识别方法，在训练阶段，首先对标准手势进行分割，获得标准手势的特征向量，然后进行坐标系转换、归一化处理、平滑处理、降采样以及差分处理，得到一个标准手势的特征向量集以及其中各关节点的权值和元素各维的权值，这样构建出标准手势样本库。在识别阶段，采用多维加权动态时间规整算法计算待识别手势的特征向量集分别与标准手势样本库中的各个标准手势的特征向量集c＝1,2,…,C的动态规整距离，在计算代价矩阵C第(m,n)个元素s(m,n)时，考虑关节点的权值以及元素中各维的权值，去掉了对手势识别无贡献的关节点和坐标维数，有效去掉了关节抖动、人体误动作对手势识别造成的干扰，提高了算法的抗干扰能力，最终提高的手势识别的正确率和实时性。

Description

一种多维加权的3D动态手势识别方法

技术领域

本发明属于模式识别与智能系统、计算机视觉与人机交互技术领域，更为具体地讲，涉及一种多维加权的3D动态手势识别方法。

背景技术

人机交互领域经历过两次革命，第一次是1983年鼠标的出现，让人们从基于键盘的一维命令行进入到了基于鼠标的二维图形界面。第二次是触摸屏技术的产生，将显示和输入融为一体，使人们逐渐熟悉多点触控的交互方式。触摸屏技术的发展，也带动了其他新型交互方式和设备的探索和研究。

可以认为，人机交互方式的转变与科技进步和社会的发展是密切联系的。从传统遥控器、鼠标、键盘输入方式到现在的手写、触摸屏和语音输入方式，再到最新的体感输入方式，这些趋势告诉我们，由人适应计算机的工作方式已逐渐转变为以人为中心，让计算机去获得视觉感知的能力，从而“理解”用户的意图，做出正确的响应。

手势作为一种人类基本的交互手段，使用手势进行人机交互会更加自然、直观、友好、符合人类心理。目前，能识别手势的传感设备主要有：智能手环、智能手机、TOF摄像机、Kinect等。但现有的手势识别系统存在手势识别率不高的问题。

发明内容

本发明的目的在于克服现有技术的不足，提供一种多维加权的3D动态手势识别方法，以提高手势识别的正确率和实时性。

为实现上述发明目的，本发明多维加权的3D动态手势识别方法，其特征在于，包括以下步骤：

(1)、训练阶段

1.1)、手势分割

从图像输入设备提供的连续人体动作视频(训练视频)中获取标准手势的关节点数据，并跟踪左右手、左右手腕、左右手肘这6个关节点的位置，当检测到手处于伸出状态即手的Z坐标值在跟踪的六个关节点的Z坐标值中最小时，并且手的移动速度在接下来的连续的若干帧图像中由0增加到某一阈值，认为手势开始；当该手部的移动速度在连续的若干帧图像中逐渐减小到某一阈值，则认为手势结束；

1.2)、获取手势特征向量

手势分割结束后，根据跟踪的6个关节点的连续坐标信息，就可以得到描述该标准手势的运动轨迹；

对于每一帧图像，6个关节点的位置信息：

$f_t^c=\{(x_1^t,y_1^t,z_1^t),(x_2^t,y_2^t,z_2^t),(x_3^t,y_3^t,z_3^t),(x_4^t,y_4^t,z_4^t),(x_5^t,y_5^t,z_5^t),(x_6^t,y_6^t,z_6^t)\}$

其中，t为图像帧序号，为第t帧图像中第i个关节点的三维坐标，这些关节点分别为右手、右手腕、右手肘、左手腕、左手肘、左手；可以看成是一个包含6个元素的特征向量，而其中的每个元素是三维的，c表示这个特征向量所属的标准手势类别；

一个标准手势就是上述特征向量的集合，一个标准手势需要N帧的时间完成，则它对应的特征向量集为：N为标准手势持续的帧数；

1.3)、坐标系转换

以肩部中心这一关节点为基准，把每一帧获取的关节点的坐标系转换为以肩部中心为原点的用户坐标系：

肩部中心的坐标为(C_x,C_y,C_z)，第t帧图像中关节点i的坐标为i∈[1,6]转换完之后的坐标为则

$x_i^{\′t}=x_i^t-C_x,,$

$y_i^{\′t}=y_i^t-C_y,$

$z_i^{\′t}=z_i^t-C_z;$

经过处理之后，关节点所参考的坐标系就变成了以肩部中心这个关节点为原点的用户坐标系；这样对应的特征向量具有平移不变性，不受手离图像输入设备的距离以及手势起始位置的影响；

1.4)、归一化处理

记特征向量集合F_c中，x,y,z三个坐标分量的最大值、最小值分别为X_Max，X_Min，Y_Max，Y_Min，Z_Max，Z_Min，对每一维坐标采用线性函数进行如下处理：

${\hat{x}}_i^t=(x_i^{\′t}-X_{\mathrm{Min}})/(X_{\mathrm{Max}}-X_{\mathrm{Min}}),$

${\hat{y}}_i^t=(y_i^{\′t}-Y_{\mathrm{Min}})/(Y_{\mathrm{Max}}-Y_{\mathrm{Min}}),$

${\hat{z}}_i^t=(z_i^{\′t}-Z_{\mathrm{Min}})/(Z_{\mathrm{Max}}-Z_{\mathrm{Min}}),$

则： ${\hat{f}}_t^c=\{({\hat{x}}_1^t,{\hat{y}}_1^t,{\hat{z}}_1^t),({\hat{x}}_2^t,{\hat{y}}_2^t,{\hat{z}}_2^t),({\hat{x}}_3^t,{\hat{y}}_3^t,{\hat{z}}_3^t),({\hat{x}}_4^t,{\hat{y}}_4^t,{\hat{z}}_4^t),({\hat{x}}_5^t,{\hat{y}}_5^t,{\hat{z}}_5^t),({\hat{x}}_6^t,{\hat{y}}_6^t,{\hat{z}}_6^t)\};$

第c类标准手势经过预处理之后的特征向量集为：

${\hat{F}}_c=\{{\hat{f}}_1^c,{\hat{f}}_2^c,{\hat{f}}_3^c,...,{\hat{f}}_N^c\}$

经过归一化之后的特征向量具有尺度不变性；

1.5)、对特征向量集进行平滑处理

考虑到本方法时间序列相邻帧变化缓慢的特点，最终选择移动平均滤波器对关节点的每一维数据进行平滑滤波；

移动平均滤波基于统计规律，将连续的图像帧看成一个长度固定为N的队列，然后对这个队列进行算术运算，并将其结果作为本次滤波的结果；

平滑处理的步骤为：

将特征向量集中，第一个关节点的第一维坐标按帧进行平滑滤波，滤波的窗口宽度为5，即：

${{\stackrel{\‾}{x}}_1}^1={\hat{x}}_1^1$

${{\stackrel{\‾}{x}}_1}^2=({\hat{x}}_1^1+{\hat{x}}_1^2+{\hat{x}}_1^3)/3$

${{\stackrel{\‾}{x}}_1}^3=({\hat{x}}_1^1+{\hat{x}}_1^2+{\hat{x}}_1^3+{\hat{x}}_1^4+{\hat{x}}_1^5)/5$

${{\stackrel{\‾}{x}}_1}^4=({\hat{x}}_1^2+{\hat{x}}_1^3+{\hat{x}}_1^4+{\hat{x}}_1^5+{\hat{x}}_1^6)/5$

${{\stackrel{\‾}{x}}_1}^5=({\hat{x}}_1^3+{\hat{x}}_1^4+{\hat{x}}_1^5+{\hat{x}}_1^6+{\hat{x}}_1^7)/5$

${{\stackrel{\‾}{x}}_1}^{N-2}=({\hat{x}}_1^{N-4}+{\hat{x}}_1^{N-3}+{\hat{x}}_1^{N-2}+{\hat{x}}_1^{N-1}+{\hat{x}}_1^N)/5$

${{\stackrel{\‾}{x}}_1}^{N-1}=({\hat{x}}_1^{N-2}+{\hat{x}}_1^{N-1}+{\hat{x}}_1^N)/3$

${{\stackrel{\‾}{x}}_1}^N={\hat{x}}_1^N$

每一个关节点的每一维坐标都按上述方法进行平滑处理，经平滑处理之后，关节点的抖动被很好的处理了；

1.6)、降采样

为了降低手势特征向量集的元素数，对特征向量集进行二元采样，每隔一个元素提取一个元素，从而得到一个降采样特征向量集

1.7)、差分处理

对降采样之后的特征向量集的每一个特性向量的每一维进行一阶差分处理，用一阶差分的结果替换坐标值来描述手势随时间变化的位置特征趋势，差分如下：

${\stackrel{\·}{x}}_i^t={\stackrel{\‾}{x}}_i^{t+1}-{\stackrel{\‾}{x}}_i^t$

${\stackrel{\·}{y}}_i^t={\stackrel{\‾}{y}}_i^{t+1}-{\stackrel{\‾}{y}}_i^t$

${\stackrel{\·}{z}}_i^t={\stackrel{\‾}{z}}_i^{t+1}-{\stackrel{\‾}{z}}_i^t$

式中，分别表示经过前面七步处理之后的特征向量集第t帧的第i个关节点的x，y，z坐标，1<t<M，M＝N/2-1,1<i<6；

第c类标准手势经过预处理之后的特征向量集为：

${\stackrel{\&CenterDot;}{F}}_c=\{{\stackrel{\&CenterDot;}{f}}_1^c,{\stackrel{\&CenterDot;}{f}}_2^c,{\stackrel{\&CenterDot;}{f}}_3^c,...,{\stackrel{\&CenterDot;}{f}}_M^c\};$

1.8)、计算特征向量集中各关节的权值

选择逻辑斯蒂函数来为每个关节点计算它在标准手势中的权值：

$w_i^c=\frac{2}{1+e^{-(D_i^c-D_{\max }^c)/h}},i\&Element;\left[\mathrm{1,6}\right];$

其中，为关节点i的位移，Sⁱ()函数的作用是，在手势样本的特征向量集中，依次取相邻的两个分量，计算关节点i的累加位移：

$D_i^c=\underset{t=2}{\overset{M}{\mathrm{\&Sigma;}}}{S}^i(f_t^c,f_{t-1}^c),$

$S^i(f_t^c,f_{t-1}^c)=\sqrt{{({\stackrel{\&CenterDot;}{x}}_i^t-{\stackrel{\&CenterDot;}{x}}_i^{t-1})}^2+{({\stackrel{\&CenterDot;}{y}}_i^t-{\stackrel{\&CenterDot;}{y}}_i^{t-1})}^2+{({\stackrel{\&CenterDot;}{z}}_i^t-{\stackrel{\&CenterDot;}{z}}_i^{t-1})}^2}$

为关节点位移i∈[1,6]中的最大值，h为单位距离，根据实际情况确定；

1.9)、计算特征向量集中元素各维的权值

选取特征向量集中权值最大的三个关节点α，β，γ各帧对应的三维坐标组成一个新的特征向量集：

$T_c=\left\{\right\{({\stackrel{\&CenterDot;}{x}}_{\mathrm{\&alpha;}}^1,{\stackrel{\&CenterDot;}{y}}_{\mathrm{\&alpha;}}^1,{\stackrel{\&CenterDot;}{z}}_{\mathrm{\&alpha;}}^1),({\stackrel{\&CenterDot;}{x}}_{\mathrm{\&beta;}}^1,{\stackrel{\&CenterDot;}{y}}_{\mathrm{\&beta;}}^1,{\stackrel{\&CenterDot;}{z}}_{\mathrm{\&beta;}}^1),({\stackrel{\&CenterDot;}{x}}_{\mathrm{\&gamma;}}^1,{\stackrel{\&CenterDot;}{y}}_{\mathrm{\&gamma;}}^1,{\stackrel{\&CenterDot;}{z}}_{\mathrm{\&gamma;}}^1)\},...\{({\stackrel{\&CenterDot;}{x}}_{\mathrm{\&alpha;}}^M,{\stackrel{\&CenterDot;}{y}}_{\mathrm{\&alpha;}}^M,{\stackrel{\&CenterDot;}{z}}_{\mathrm{\&alpha;}}^M),({\stackrel{\&CenterDot;}{x}}_{\mathrm{\&beta;}}^M,{\stackrel{\&CenterDot;}{y}}_{\mathrm{\&beta;}}^M,{\stackrel{\&CenterDot;}{z}}_{\mathrm{\&beta;}}^M),({\stackrel{\&CenterDot;}{x}}_{\mathrm{\&gamma;}}^M,{\stackrel{\&CenterDot;}{y}}_{\mathrm{\&gamma;}}^M,{\stackrel{\&CenterDot;}{z}}_{\mathrm{\&gamma;}}^M)\left\}\right\};$

分别计算特征向量集合T_c里每个关节点对应的x,y,z三维坐标的方差，其中，关节点α，β，γ的x维坐标的方差为：

$D_{\mathrm{\&alpha;}}^c\left(x\right)=\sqrt{\frac{1}{M}\underset{t=1}{\overset{M}{\mathrm{\&Sigma;}}}{({\stackrel{\&CenterDot;}{x}}_{\mathrm{\&alpha;}}^t-{\stackrel{\&OverBar;}{X}}_{\mathrm{\&alpha;}})}^2}$

$D_{\mathrm{\&beta;}}^c\left(x\right)=\sqrt{\frac{1}{M}\underset{t=1}{\overset{M}{\mathrm{\&Sigma;}}}{({\stackrel{\&CenterDot;}{x}}_{\mathrm{\&beta;}}^t-{\stackrel{\&OverBar;}{X}}_{\mathrm{\&beta;}})}^2}$

$D_{\mathrm{\&gamma;}}^c\left(x\right)=\sqrt{\frac{1}{M}\underset{t=1}{\overset{M}{\mathrm{\&Sigma;}}}{({\stackrel{\&CenterDot;}{x}}_{\mathrm{\&gamma;}}^t-{\stackrel{\&OverBar;}{X}}_{\mathrm{\&gamma;}})}^2}$

表示关节点α，β，γ在第t帧坐标的x维数据，表示特征向量集合T_c中关节点α，β，γ各自对应的所有x维坐标的平均值；

当均小于阈值时，表示在标准手势中x维坐标是次要的，权值为0；当中有大于阈值的情况时，表示在标准手势中x维坐标是主要的，权值为1；

对于y、z维坐标，采用同样的方法，得到其权值

1.10)、构建标准手势样本库

按照步骤1.1)～1.9)的方法，构造每个标准手势的特征向量集以及其中各关节点的权值、元素各维坐标的权值，生成标准手势样本库；

(2)、识别阶段

2.1)、采用步骤1.1)～1.7)的方法，从待识别视频中获取待识别手势的特征向量集

2.2)、采用多维加权动态时间规整(MDW-DTW)算法，计算出待识别手势的特征向量集分别与标准手势样本库中的各个标准手势的特征向量集c＝1,2,…,C的动态规整距离(相似度)，并进行比较，与待识别手势特征向量集的动态规整距离最短(相似度最高)的特征向量集对应的标准手势类别即为待识别手势的类别，C标准手势类别总数；

其中，多维加权动态时间规整算法中，代价矩阵C第(m,n)个元素s(m,n)的计算公式为：

$s(m,n)=\underset{i=1}{\overset{6}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{3}{\mathrm{\&Sigma;}}}\sqrt{{(({\stackrel{\&CenterDot;}{f}}_m^{\mathrm{test}}(i,j)-{\stackrel{\&CenterDot;}{f}}_n^c(i,j))\&times;w_i^c\&times;{\hat{w}}_j^c)}^2};$

为待识别手势特征向量集中第m帧图像中第i个关节点对应坐标的第j维坐标，为标准手势样本库中标准手势c的特征向量集中第n帧图像中第i个关节点对应坐标的第j维坐标，j＝1,2,3分别代表x,y,z；

其中，动态规整距离为：

$\mathrm{DTW}({\stackrel{\&CenterDot;}{F}}_{\mathrm{test}},{\stackrel{\&CenterDot;}{F}}_c)=\min \left\{\underset{k=1}{\overset{L}{\mathrm{\&Sigma;}}}s(m_k,n_k)\right\};$

其中，L为规整路径的长度，(m_k,n_k)为代价矩阵C中规整路径上的第k个元素坐标，分别代表待识别手势特征向量集中第m_k帧，标准手势样本库中标准手势c的特征向量集中第n_k帧。

本发明的发明目的是这样实现的：

本发明多维加权的3D动态手势识别方法，在训练阶段，首先对标准手势进行分割，根据左右手、左右手腕、左右手肘的运动轨迹得到标准手势的特征向量，然后进行坐标系转换、归一化处理、平滑处理、降采样以及差分处理，得到一个标准手势的特征向量集，最后计算出其中各关节点的权值和元素各维的权值，这样构建出标准手势样本库；在识别阶段，对待识别手势采样同样的方法，获得其特征向量集，然后采用多维加权动态时间规整(MDW-DTW)算法计算出待识别手势的特征向量集分别与标准手势样本库中的各个标准手势的特征向量集c＝1,2,…,C的动态规整距离，最短的动态规整距离对应的标准手势类别即为待识别手势的类别。由于对描述手势的特征向量集进行了上述预处理，使得该特征向量集能够更好的为每类标准手势进行建模。首先，以肩部中心为坐标原点使得手势识别时不受人体相对图像输入设备的空间位置的影响，提高了手势操作的灵活性。其次，用一阶差分结果代替三维坐标值，用手势随时间变化的空间位置趋势来表达手势，使其更为准确的反应出手势的本质特征，提高手势识别的泛化能力和鲁棒性，对不同体型的人做出的手势都有较好的识别效果。同时，在计算待识别手势与标准手势的动态规整距离时，采用多维加权动态时间规整算法进行计算，在计算代价矩阵C第(m,n)个元素s(m,n)时，考虑关节点的权值以及坐标元素中各维的权值，去掉了对手势识别无贡献的关节点和坐标维数，有效的去掉了关节抖动、人体误动作对手势识别造成的干扰，提高了算法的抗干扰能力，并且减少了计算量，同时在计算代价矩阵时，将每一帧图像中六个关节点的位置信息组成的特征向量看做一个单元进行规整计算，降低了算法的时间复杂度，提高了运算的效率，从而提高算法的实时性。最终提高了手势识别的正确率和实时性。

附图说明

图1是本发明多维加权的3D动态手势识别方法一种具体实施方式流程图；

图2是图1所示手势分割一种具体实施方式流程图；

图3是平滑处理前后的三维坐标曲线图；

图4是降采样前后的三维坐标曲线图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

在本实施例中，如图1所示，首先进行手势分割，如图2所示，从图像输入设备提供的连续人体动作视频(训练视频)中获取标准手势的关节点数据；

跟踪左右手、左右手腕、左右手肘这6个关节点的位置，检测手是否处于伸出状态即手的Z坐标在跟踪的六个关节点的Z坐标中是否最小，如果不是伸出状态，则返回继续获取标准手势的关节点数据。

计算左右手的移动速度，在接下来的连续的若干帧图像中左或右手由0增加到某一阈值，认为手势开始，记录关节点位置，然后，逐帧记录该手部的移动速度在连续的若干帧图像中逐渐减小到某一阈值，则认为手势结束。

手势分割结束后，根据跟踪的右手、右手腕、右手肘、左手腕、左手肘、左手6个关节点的连续坐标信息，就可以得到描述该标准手势的运动轨迹即特征向量集为： $F_c=\{f_1^c,f_2^c,f_3^c,...,f_N^c\}.$

特征向量集F_c以肩部中心这个关节点为原点进行坐标系转换，这样对应的特征向量具有平移不变性，不受手离图像输入设备的距离以及手势起始位置的影响。

然后进行归一化处理和平滑处理，关节点的抖动被很好地处理。如图3所示，三条曲线分别对应一个关节点的三维坐标即关节点相对于肩部的坐标相对时间(帧)的位置变化情况。从图3可以看出，经过平滑后关节点的抖动被很好地处理了。

平滑处理后，还需要进行降采样处理。由于关节点数据的采样频率为30fps，所以相邻帧间的关节点位置变化不大，为了降低手势特征向量集的元素数，在本发明中，对特征向量集进行二元采样，每隔一个元素提取一个元素，从而得到一个降采样特征向量集

对降采样之后的特征向量集的每一个特性向量的每一维进行一阶差分处理，用一阶差分的结果替换坐标值来描述手势随时间变化的位置特征趋势，得到特征向量集

在本发明中，为了进一步提高识别的准确性，还需要计算出特征向量集中各关节的权值以及元素各维的权值。

首先计算各关节点的权值。本发明选择了逻辑斯蒂函数来为关节点自动计算它在每一类标准手势中的权值。逻辑斯蒂函数是一个对称的函数，它的标准形式如下：

$f\left(x\right)=\frac{1}{1+e^{-x}}$

对于本发明的手势识别来说，某个关节点i对标准手势c的贡献(或权值)由它在该标准手势中的运动位移的数值大小所决定。

以运动位移的数值最大的关节点为参考点，它的权值设为w_max/2，当某个关节点的运动位移的数值大小与最大位移的差值较大时，说明此关节点对标准手势的贡献很小，应该赋予较低的权值。因此，本发明的权值计算公式可由修改后的逻辑斯蒂函数表示：

$w_i^c=\frac{w_{\max }}{1+e^{-(D_i^c-D_{\max }^c)/h}},i\&Element;\left[\mathrm{1,6}\right]$

其中，w_max是要设置的权值上限，是标准手势c中关节点的最大运动位移的数值，h为单位距离，根据实际情况确定。从式中可以看出，当某个关节点贡献较低时，对应的权值就越小，反之，对应的权值就越大。

首先计算此关节点在整个手势中所移动的位移，也即关节点的活跃程度：

$D_i^c=\underset{t=2}{\overset{M}{\mathrm{\&Sigma;}}}{S}^i(f_t^c,f_{t-1}^c)$

$S^i(f_t^c,f_{t-1}^c)=\sqrt{{({\stackrel{\&CenterDot;}{x}}_i^t-{\stackrel{\&CenterDot;}{x}}_i^{t-1})}^2+{({\stackrel{\&CenterDot;}{y}}_i^t-{\stackrel{\&CenterDot;}{y}}_i^{t-1})}^2+{({\stackrel{\&CenterDot;}{z}}_i^t-{\stackrel{\&CenterDot;}{z}}_i^{t-1})}^2}$

令w_max＝2计算出某个关节点在标准手势c中的位移之后，关节点在该标准手势中的权重为：

$w_i^c=\frac{2}{1+e^{-(D_i^c-D_{\max }^c)/h}},i\&Element;\left[\mathrm{1,6}\right]$

的权值范围为[0,1]。可以看出，对于不同的手势，每个关节点的权重可能是不一样的。通过计算每个关节点在每类手势样本中的权重，可以降低一些不重要的关节点对整个DTW距离的贡献，同时也提高了那些关键关节点的重要性，从而提高算法的抗干扰能力。

然后计算各维数据的权值。通过对标准手势的特征向量集进行计算和统计，确定标准手势中哪些维数的数据是主要的，哪些维数的数据是次要的，从而得到每个维数的权值。

前面已经计算出在一个标准样本c中各关节点的权值，选取权值最大的三个关节点α，β，γ对应的特征向量组成一个新的特征向量集：

$T_c=\left\{\right\{({\stackrel{\&CenterDot;}{x}}_{\mathrm{\&alpha;}}^1,{\stackrel{\&CenterDot;}{y}}_{\mathrm{\&alpha;}}^1,{\stackrel{\&CenterDot;}{z}}_{\mathrm{\&alpha;}}^1),({\stackrel{\&CenterDot;}{x}}_{\mathrm{\&beta;}}^1,{\stackrel{\&CenterDot;}{y}}_{\mathrm{\&beta;}}^1,{\stackrel{\&CenterDot;}{z}}_{\mathrm{\&beta;}}^1),({\stackrel{\&CenterDot;}{x}}_{\mathrm{\&gamma;}}^1,{\stackrel{\&CenterDot;}{y}}_{\mathrm{\&gamma;}}^1,{\stackrel{\&CenterDot;}{z}}_{\mathrm{\&gamma;}}^1)\},...\{({\stackrel{\&CenterDot;}{x}}_{\mathrm{\&alpha;}}^M,{\stackrel{\&CenterDot;}{y}}_{\mathrm{\&alpha;}}^M,{\stackrel{\&CenterDot;}{z}}_{\mathrm{\&alpha;}}^M),({\stackrel{\&CenterDot;}{x}}_{\mathrm{\&beta;}}^M,{\stackrel{\&CenterDot;}{y}}_{\mathrm{\&beta;}}^M,{\stackrel{\&CenterDot;}{z}}_{\mathrm{\&beta;}}^M),({\stackrel{\&CenterDot;}{x}}_{\mathrm{\&gamma;}}^M,{\stackrel{\&CenterDot;}{y}}_{\mathrm{\&gamma;}}^M,{\stackrel{\&CenterDot;}{z}}_{\mathrm{\&gamma;}}^M)\left\}\right\}.$

分别计算特征向量集T_c里每个关节点对应x,y,z三维数据的方差，如果所有关节点的某一维方差低于某个设定的阈值，在非线性规整时，该维数据就不应该被考虑进去。因为这些维数包含的数据很有可能是噪声。在本发明中，方差阈值是凭经验确定的，在本实施例中值为0.1，以标准样本c的x维坐标方差为例，先计算α，β，γ三个关节点对应的x维坐标的方差公式如下：

$D_{\mathrm{\&alpha;}}^c\left(x\right)=\sqrt{\frac{1}{M}\underset{t=1}{\overset{M}{\mathrm{\&Sigma;}}}{({\stackrel{\&CenterDot;}{x}}_{\mathrm{\&alpha;}}^t-{\stackrel{\&OverBar;}{X}}_{\mathrm{\&alpha;}})}^2}$

$D_{\mathrm{\&beta;}}^c\left(x\right)=\sqrt{\frac{1}{M}\underset{t=1}{\overset{M}{\mathrm{\&Sigma;}}}{({\stackrel{\&CenterDot;}{x}}_{\mathrm{\&beta;}}^t-{\stackrel{\&OverBar;}{X}}_{\mathrm{\&beta;}})}^2}$

$D_{\mathrm{\&gamma;}}^c\left(x\right)=\sqrt{\frac{1}{M}\underset{t=1}{\overset{M}{\mathrm{\&Sigma;}}}{({\stackrel{\&CenterDot;}{x}}_{\mathrm{\&gamma;}}^t-{\stackrel{\&OverBar;}{X}}_{\mathrm{\&gamma;}})}^2}$

表示关节点α，β，γ在第t帧坐标的x维数据，表示特征向量集合T_c中关节点α，β，γ各自对应的所有x维坐标的平均值。

当均小于阈值时，表示在标准手势中x维坐标是次要的，权值为0；当中有大于阈值的情况时，表示在标准手势中x维坐标是主要的，权值为1。

构造每个标准手势的特征向量集以及其中各关节点的权值、元素各维的权值，构成标准手势样本库。

从待识别视频中获取待识别手势的特征向量集采用多维加权动态时间规整(MDW-DTW)算法，计算出待识别手势的特征向量集分别与标准手势样本库中的各个标准手势的特征向量集c＝1,2,…,C动态规整距离(相似度)，并进行比较，与待识别手势特征向量集动态规整距离最短(相似度最高)的特征向量集对应的标准手势类别即为待识别手势的类别，C标准手势类别总数。

为了把权重引入到动态时间规整路径计算中，本发明采用的多维加权动态时间规整算法对代价矩阵C第(m,n)个元素s(m,n)的计算公式进行了修改，加入了关节点权值和坐标维数的权值的计算，并且在进行规整计算时，将每一帧图像中六个关节点的位置信息组成的特征向量看做一个单元进行计算，其他的与动态时间规整算法相同，动态时间规整算法属于现有技术，在此不再赘述。

选取不同的标准手势，即标准手势类别c选取为不同值时，得到一系列的动态规整距离 $\{\mathrm{DTW}({\stackrel{\&CenterDot;}{F}}_{\mathrm{test}},{\stackrel{\&CenterDot;}{F}}_1),\mathrm{DTW}({\stackrel{\&CenterDot;}{F}}_{\mathrm{test}},{\stackrel{\&CenterDot;}{F}}_2),.......,\mathrm{DTW}({\stackrel{\&CenterDot;}{F}}_{\mathrm{test}},{\stackrel{\&CenterDot;}{F}}_C)\},$ 与待识别手势特征向量集动态规整距离最短(相似度最高)的特征向量集对应的标准手势类别即为待识别手势的类别。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (2)

1.一种多维加权的3D动态手势识别方法，其特征在于，包括以下步骤：

(1)、训练阶段

1.1)、手势分割

从图像输入设备提供的连续人体动作视频中获取标准手势的关节点数据，并跟踪左右手、左右手腕、左右手肘这6个关节点的位置，当检测到手处于伸出状态即手的Z坐标值在跟踪的六个关节点的Z坐标值中最小时，并且手的移动速度在接下来的连续的若干帧图像中由0增加到某一阈值，认为手势开始；当该手部的移动速度在连续的若干帧图像中逐渐减小到某一阈值，则认为手势结束；

1.2)、获取手势特征向量

手势分割结束后，根据跟踪的6个关节点的连续坐标信息，得到描述该标准手势的运动轨迹；

对于每一帧图像，6个关节点的位置信息：

$f_t^c=\{(x_1^t,y_1^t,z_1^t),(x_2^t,y_2^t,z_2^t),(x_3^t,y_3^t,z_3^t),(x_4^t,y_4^t,z_4^t),(x_5^t,y_5^t,z_5^t),(x_6^t,y_6^t,z_6^t)\}$

其中，t为图像帧序号，为第t帧图像中第i个关节点的三维坐标，这些关节点分别为右手、右手腕、右手肘、左手腕、左手肘、左手；看成是一个包含6个元素的特征向量，而其中的每个元素是三维的，c表示这个特征向量所属的标准手势类别；

一个标准手势就是上述特征向量的集合，一个标准手势需要N帧的时间完成，则它对应的特征向量集为：N为标准手势持续的帧数；

1.3)、坐标系转换

以肩部中心这一关节点为基准，把每一帧获取的关节点的坐标系转换为以肩部中心为原点的用户坐标系：

肩部中心的坐标为(C_x,C_y,C_z)，第t帧图像中关节点i的坐标为i∈[1,6]转换完之后的坐标为则

$x_i^{\&prime;t}=x_i^t-C_x,,$

$y_i^{\&prime;t}=y_i^t-C_y,$

$z_i^{\&prime;t}=z_i^t-C_z;$

经过处理之后，关节点所参考的坐标系就变成了以肩部中心这个关节点为原点的用户坐标系；这样对应的特征向量具有平移不变性，不受手离图像输入设备的距离以及手势起始位置的影响；

1.4)、归一化处理

记特征向量集合F_c中，x,y,z三个坐标分量的最大值、最小值分别为X_Max，X_Min，Y_Max，Y_Min，Z_Max，Z_Min，对每一维坐标采用线性函数进行如下处理：

${\hat{x}}_i^t=(x_i^{\&prime;t}-X_{Min})/(X_{Max}-X_{Min}),$

${\hat{y}}_i^t=(y_i^{\&prime;t}-Y_{Min})/(Y_{Max}-Y_{Min}),$

${\hat{z}}_i^t=(z_i^{\&prime;t}-Z_{Min})/(Z_{Max}-Z_{Min}),$

则：

第c类标准手势经过预处理之后的特征向量集为：

${\hat{F}}_c=\{{\hat{f}}_1^c,{\hat{f}}_2^c,{\hat{f}}_3^c,...,{\hat{f}}_N^c\}$

经过归一化之后的特征向量具有尺度不变性；

1.5)、对特征向量集进行平滑处理

考虑到本方法时间序列相邻帧变化缓慢的特点，最终选择移动平均滤波器对关节点的每一维数据进行平滑滤波；

移动平均滤波基于统计规律，将连续的图像帧看成一个长度固定为N的队列，然后对这个队列进行算术运算，并将其结果作为本次滤波的结果；

平滑处理的步骤为：

将特征向量集中，第一个关节点的第一维坐标按帧进行平滑滤波，滤波的窗口宽度为5，即：

$\begin{array}{c}{\stackrel{\&OverBar;}{x}}_1^1={\hat{x}}_1^1\\ {\stackrel{\&OverBar;}{x}}_1^2=({\hat{x}}_1^1+{\hat{x}}_1^2+{\hat{x}}_1^3)/3\\ {\stackrel{\&OverBar;}{x}}_1^3=({\hat{x}}_1^1+{\hat{x}}_1^2+{\hat{x}}_1^3+{\hat{x}}_1^4+{\hat{x}}_1^5)/5\\ {\stackrel{\&OverBar;}{x}}_1^4=({\hat{x}}_1^2+{\hat{x}}_1^3+{\hat{x}}_1^4+{\hat{x}}_1^5+{\hat{x}}_1^6)/5\\ {\stackrel{\&OverBar;}{x}}_1^4=({\hat{x}}_1^3+{\hat{x}}_1^4+{\hat{x}}_1^5+{\hat{x}}_1^6+{\hat{x}}_1^7)/5\\ ......\\ {\stackrel{\&OverBar;}{x}}_1^{N-2}=({\hat{x}}_1^{N-4}+{\hat{x}}_1^{N-3}+{\hat{x}}_1^{N-2}+{\hat{x}}_1^{N-1}+{\hat{x}}_1^N)/5\\ {\stackrel{\&OverBar;}{x}}_1^{N-1}=({\hat{x}}_1^{N-2}+{\hat{x}}_1^{N-1}+{\hat{x}}_1^N)/3\\ {\stackrel{\&OverBar;}{x}}_1^N={\hat{x}}_1^N\end{array}$

每一个关节点的每一维坐标都按上述方法进行平滑处理，经平滑处理之后，关节点的抖动被很好的处理了；

1.6)、降采样

为了降低手势特征向量集的元素数，对特征向量集进行二元采样，每隔一个元素提取一个元素，从而得到一个降采样特征向量集

1.7)、差分处理

对降采样之后的特征向量集的每一个特性向量的每一维进行一阶差分处理，用一阶差分的结果替换坐标值来描述手势随时间变化的位置特征趋势，差分如下：

${\stackrel{\&CenterDot;}{x}}_i^t={\stackrel{\&OverBar;}{x}}_i^{t+1}-{\stackrel{\&OverBar;}{x}}_i^t$

${\stackrel{\&CenterDot;}{y}}_i^t={\stackrel{\&OverBar;}{y}}_i^{t+1}-{\stackrel{\&OverBar;}{y}}_i^t$

${\stackrel{\&CenterDot;}{z}}_i^t={\stackrel{\&OverBar;}{z}}_i^{t+1}-{\stackrel{\&OverBar;}{z}}_i^t$

式中，分别表示经过前面七步处理之后的特征向量集第t帧的第i个关节点的x，y，z坐标；

第c类标准手势经过预处理之后的特征向量集为：

${\stackrel{\&CenterDot;}{F}}_c=\{{\stackrel{\&CenterDot;}{f}}_1^c,{\stackrel{\&CenterDot;}{f}}_2^c,{\stackrel{\&CenterDot;}{f}}_3^c,...,{\stackrel{\&CenterDot;}{f}}_M^c\};$

1.8)、计算特征向量集中各关节的权值

选择逻辑斯蒂函数来为每个关节点计算它在标准手势中的权值：

$w_i^c=\frac{2}{1+e^{-(D_i^c-D_{max}^c)/h}},i\&Element;\&lsqb;1,6\&rsqb;;$

其中，为关节点i的位移：

$\begin{array}{c}{D}_i^c=\underset{t=2}{\overset{M}{\mathrm{\&Sigma;}}}{S}^i(f_t^c,f_{t-1}^c)\\ S^i(f_t^c,f_{t-1}^c)=\sqrt{{({\stackrel{\&CenterDot;}{x}}_i^t-{\stackrel{\&CenterDot;}{x}}_i^{t-1})}^2+{({\stackrel{\&CenterDot;}{y}}_i^t-{\stackrel{\&CenterDot;}{y}}_i^{t-1})}^2+{({\stackrel{\&CenterDot;}{z}}_i^t-{\stackrel{\&CenterDot;}{z}}_i^{t-1})}^2}\end{array},$

为关节点位移i∈[1,6]中的最大值，h为单位距离，根据实际情况确定；

1.9)、计算特征向量集中元素各维的权值

选取特征向量集中权值最大的三个关节点α，β，γ各帧对应的三维坐标组成一个新的特征向量集：

$T_c=\left\{\right\{({\stackrel{\&CenterDot;}{x}}_{\mathrm{\&alpha;}}^1,{\stackrel{\&CenterDot;}{y}}_{\mathrm{\&alpha;}}^1,{\stackrel{\&CenterDot;}{z}}_{\mathrm{\&alpha;}}^1),({\stackrel{\&CenterDot;}{x}}_{\mathrm{\&beta;}}^1,{\stackrel{\&CenterDot;}{y}}_{\mathrm{\&beta;}}^1,z_{\mathrm{\&beta;}}^1),({\stackrel{\&CenterDot;}{x}}_{\mathrm{\&gamma;}}^1,{\stackrel{\&CenterDot;}{y}}_{\mathrm{\&gamma;}}^1,{\stackrel{\&CenterDot;}{z}}_{\mathrm{\&gamma;}}^1)\},...\{({\stackrel{\&CenterDot;}{x}}_{\mathrm{\&alpha;}}^M,{\stackrel{\&CenterDot;}{y}}_{\mathrm{\&alpha;}}^M,{\stackrel{\&CenterDot;}{z}}_{\mathrm{\&alpha;}}^M),({\stackrel{\&CenterDot;}{x}}_{\mathrm{\&beta;}}^M,{\stackrel{\&CenterDot;}{y}}_{\mathrm{\&beta;}}^M,{\stackrel{\&CenterDot;}{z}}_{\mathrm{\&beta;}}^M),({\stackrel{\&CenterDot;}{x}}_{\mathrm{\&gamma;}}^M,{\stackrel{\&CenterDot;}{y}}_{\mathrm{\&gamma;}}^M,{\stackrel{\&CenterDot;}{z}}_{\mathrm{\&gamma;}}^M)\left\}\right\};$

分别计算特征向量集合T_c里每个关节点对应的x,y,z三维坐标的方差，其中，关节点α，β，γ的x维坐标的方差为：

$D_{\mathrm{\&alpha;}}^c\left(x\right)=\sqrt{\frac{1}{M}\underset{t=1}{\overset{M}{\&Sigma;}}{({\stackrel{\&CenterDot;}{x}}_{\mathrm{\&alpha;}}^t-{\stackrel{\&OverBar;}{X}}_{\mathrm{\&alpha;}})}^2}$

$D_{\mathrm{\&beta;}}^c\left(x\right)=\sqrt{\frac{1}{M}\underset{t=1}{\overset{M}{\&Sigma;}}{({\stackrel{\&CenterDot;}{x}}_{\mathrm{\&beta;}}^t-{\stackrel{\&OverBar;}{X}}_{\mathrm{\&beta;}})}^2}$

$D_{\mathrm{\&gamma;}}^c\left(x\right)=\sqrt{\frac{1}{M}\underset{t=1}{\overset{M}{\&Sigma;}}{({\stackrel{\&CenterDot;}{x}}_{\mathrm{\&gamma;}}^t-{\stackrel{\&OverBar;}{X}}_{\mathrm{\&gamma;}})}^2}$

表示关节点α，β，γ在第t帧坐标的x维数据，表示特征向量集合T_c中关节点α，β，γ各自对应的所有x维坐标的平均值；

当均小于阈值时，表示在标准手势中x维坐标是次要的，权值为0；当中有大于阈值的情况时，表示在标准手势中x维坐标是主要的，权值为1；

对于y、z维坐标，采用同样的方法，得到其权值

1.10)、构建标准手势样本库

按照步骤1.1)～1.9)的方法，构造每个标准手势的特征向量集以及其中各关节点的权值、元素各维坐标的权值，生成标准手势样本库；

(2)、识别阶段

2.1)、采用步骤1.1)～1.7)的方法，从待识别视频中获取待识别手势的特征向量集

2.2)、采用多维加权动态时间规整(MDW-DTW)算法，计算出待识别手势的特征向量集分别与标准手势样本库中的各个标准手势的特征向量集c＝1,2,…,C的动态规整距离(相似度)，并进行比较，与待识别手势的特征向量集合动态规整距离最短(相似度最高)的特征向量集对应的标准手势类别即为待识别手势的类别，C标准手势类别总数；

其中，多维加权动态时间规整算法中，代价矩阵C第(m,n)个元素s(m,n)的计算公式为：

$s(m,n)=\underset{i=1}{\overset{6}{\&Sigma;}}\underset{j=1}{\overset{3}{\&Sigma;}}\sqrt{{\left(\right({\stackrel{\&CenterDot;}{f}}_m^{test}(i,j)-{\stackrel{\&CenterDot;}{f}}_n^c(i,j))\&times;w_i^c\&times;{\hat{w}}_j^c)}^2};$

为待识别手势特征向量集中第m帧图像中第i个关节点对应坐标的第j维坐标，为标准手势样本库中标准手势c的特征向量集中第n帧图像中第i个关节点对应坐标的第j维坐标，j＝1,2,3分别代表x,y,z；

其中，动态规整距离为：

$DTW({\stackrel{\&CenterDot;}{F}}_{test},{\stackrel{\&CenterDot;}{F}}_c)=min\left\{\underset{k=1}{\overset{L}{\&Sigma;}}s(m_k,n_k)\right\};$

其中，L为规整路径的长度，﹙m_k,n_k﹚为代价矩阵C中规整路径上的第k个元素坐标，分别代表待识别手势特征向量集中第m_k帧，标准手势样本库中标准手势c的特征向量集中第n_k帧。

2.根据权利要求1所述的多维加权的3D动态手势识别方法，其特征在于，步骤1.9所述的阈值为0.1。