CN105740823A - 基于深度卷积神经网络的动态手势轨迹识别方法 - Google Patents

Abstract

本发明提出了一种基于深度卷积神经网络的动态手势轨迹识别方法，包括：采集原始输入的手势轨迹点序列进行预处理，检测手势轨迹点序列的异常点并排除；对预处理后的手势轨迹点序列进行边缘化处理，生成归一化手势轨迹图，利用已训练的深度卷积神经网络模型提取归一化手势轨迹图的深度特征；利用已训练的支持向量机识别出对应的手势轨迹点序列的形状类型；利用树形分类器依据手势轨迹点序列的形状类型划分未知方向类型；对识别出来的形状类型和方向类型进行融合，生成手势轨迹点序列的融合轨迹识别结果。本发明采用形状识别和方向识别，对手势轨迹点序列提供带有方向的动态手势识别服务，动态手势轨迹识别工作不受时空差异的影响、分类更加细致。

Description

基于深度卷积神经网络的动态手势轨迹识别方法

技术领域

本发明涉及计算机视觉及模式识别技术领域，特别涉及一种基于深度卷积神经网络的动态手势轨迹识别方法。

背景技术

随着人工智能新技术和输入输出设备新工艺的不断涌现，人机交互技术正朝着智能自动化的方向快速迈进，由原来计算机为中心的机械交互技术发展成以人为中心的多通道多媒体的智能交互技术上来。这些新型人机交互技术摆脱了旧有机械交互的束缚，越来越得到广大受众的喜爱，如皮肤显示器、指纹或角膜识别安全防护、眼动交互仪等。

手势，作为人们常用的沟通方式是一种具有强大潜力的人机自然交互方式。从时间角度，手势可分为静态手势和动态手势。静态手势可以看成是动态手势的基元，在连续一段时间内构成动态手势。理论上，研究动态手势就是要在时空上建立精确的关联模型。然而，由于手的非刚性，手势的几何特征很难得到广义的精细量化。故通常学者限定动态手势识别为判定手心依时序的动态空间轨迹类别，即动态手势被定义为参数空间中的手势轨迹，识别便是对手部运动的时空轨迹的类型划分。

动态手势的时空特性引起的手势轨迹识别，在持续时间和空间幅度上，同一手势很难有精确的界限范围，不同手势也不能武断有相异的时段。很多时候，即使由同一个人在连续时间刻意保持一致地做相同手势，也不免存在上述两个方面的差异。这造成手势轨迹的非线性波动，但克服时空特性的不稳定性影响却必须予以考虑，使得这项任务变得十分艰巨。

动态手势识别的方法分为四种：

第一，基于模板匹配的方法：将已知的手势轨迹作模板，利用模板匹配算法对待测的手势轨迹进行分类，它的性能依赖模板库的多样性和丰富性。这种方法具有高精度，但同时大幅降低了速度。

第二，基于结构知识的方法：需要提取手势轨迹的边缘和区域特征作为输入，利用先前的几何特征模型对输入特征进行度量识别。由于动态手势时空特性，这种方法的几何特征不易建立。

第三，基于统计特征的方法：先利用统计学和机器学习原理对大量样本进行训练处理得到分类器，然后使用分类器对未知样本进行类型划分。这种方法比较常见，如隐马尔可夫模型、人工神经网络、支持向量机等，但存在各种不同的问题。

第四，基于有限状态机的方法：通过手势轨迹的有限状态机，实现对预定义轨迹的判断。这种方法难点在于构建有效的特征字典和有限状态机模型。

专利(申请号：201310585572.6；名称：一种基于隐马尔科夫模型自增量学习的动态手势识别方法)公开了一种识别手势操作人在摄像头前完成的动态手势操作，并能将识别后的手势数据用于旧模型的增量学习以调整模型参数中的技术方案，可以使旧模型能动态适应未来手势数据中产生的新变化，使得模型能不断随着手势数据的调整。但是该方案仍是基于隐马尔可夫模型，只对轨迹点序列组成的状态空间关系感兴趣，造成多种案例划分为同一类型，识别结果粗糙，不够精确。

发明内容

本发明的目的旨在至少解决所述技术缺陷之一。

为此，本发明的目的在于提出一种基于深度卷积神经网络的动态手势轨迹识别方法，采用形状识别和方向识别，对手势轨迹点序列提供带有方向的动态手势识别服务，由于层次性功能分解、卷积神经网络和树形分类器的作用，使得动态手势轨迹识别工作不受时空差异的影响、分类更加细致。

为了实现上述目的，本发明一方面的实施例提供一种基于深度卷积神经网络的动态手势轨迹识别方法，包括如下步骤：

步骤S1，采集原始输入的手势轨迹点序列，对所述手势轨迹点序列进行预处理，检测出所述手势轨迹点序列中的异常点，并进行排除；

步骤S2，对所述预处理后的手势轨迹点序列进行边缘化处理，生成归一化手势轨迹图，训练深度卷积神经网络，利用已训练的深度卷积神经网络模型提取所述归一化手势轨迹图的深度特征；

步骤S3，利用已训练的支持向量机对所述归一化手势轨迹图的深度特征进行类型划分，以识别出对应的手势轨迹点序列的形状类型；

步骤S4，利用树形分类器依据所述手势轨迹点序列的形状类型，构造出相同形状类型的不同方向的划分模型，对所述预处理后的手势轨迹点序列的多个主几何方向，依据不同方向的划分模型识别出对应的手势轨迹点序列的方向类型；

步骤S5，对识别出来的形状类型和方向类型进行融合，生成所述手势轨迹点序列的融合轨迹识别结果。

进一步，在所述步骤S1中，所述对手势轨迹点序列进行预处理，包括如下步骤：

计算所述手势轨迹点序列中相邻手势轨迹点对的欧氏距离，得到多组点对距离序列；

计算所述多组点对距离序列的平均距离和方差；

设所述多组点对距离序列服从正态分布，根据所述平均距离和方差构造卡方检验统计量，利用双边检验原理，在置信水平为0.05下求导出置信区间；

判断每组点对距离序列是否位于所述置信区间内，如果是，则判断该组点对距离序列对应的点位异常点，进行排除处理。

进一步，在所述步骤S2中，所述对预处理后的手势轨迹点序列进行边缘化处理，包括如下步骤：

对所述预处理后的多组点对距离序列进行遍历，查找所述预处理后的多组点对距离序列中的最大值；

以所述最大值为内圆半径，取所述手势轨迹点序列中的各点为中心的正方形，对该正方形的每个点设置数值，其中，同一点处的数值可叠加计算；

将数值大于2的各个点映射到手势轨迹图上，并利用3x3的中通卷积核对手势轨迹图进行平滑处理，再利用形态学的闭运算对所述手势轨迹图进行处理，将所述手势轨迹图归一化为预设尺寸，生成所述归一化手势轨迹图。

进一步，在所述步骤S2中，训练深度卷积神经网络模型，包括如下步骤：

利用深度卷积神经网络模型抽取所有样本的深度特征；

利用训练数据集的特征，结合线性支持向量机，对每种动态轨迹形状类型均训练一个线性支持向量机模型；

测试各个类型的线性支持向量机模型，根据测试结果判定预测率是否达标，若没有则将负样本的特征加入到相应的训练数据集中，返回上一步，直至预测率全部达标。

进一步，在所述步骤S2中，所述利用已训练的深度卷积神经网络模型提取所述归一化手势轨迹图的深度特征，包括如下步骤：

将所述归一化手势轨迹图作为样本输入至已训练的深度卷积神经网络模型中；

利用所述已训练的深度卷积神经网络模型对所述归一化手势轨迹图进行特征提取，以所述深度卷积神经网络的全连接层输出的特征元素，作为所述归一化手势轨迹图的深度特征。

进一步，在所述步骤S5中，所述树形分类器包括以下方向识别分支条件：用于判断左右运动的左右横段形条件、用于判断上下运动的上下竖段形条件、用于判断顺时针和逆时针运动的椭圆形条件、用于判断L状自上而下运动的L形条件和用于判断反L状自上而下运动的反L形条件。

进一步，在所述左右横段形条件下：将预处理后的手势轨迹点序列的首尾两点形成一个二维矢量，利用单位向量(1,0)对该二维矢量进行内积运算，如果内积结果大于0，则判断所述手势轨迹点序列为向右运动，否则为向左运动。

进一步，在所述上下竖段形条件下：将预处理后的手势轨迹点序列的首尾两点形成一个二维矢量，利用单位向量(0,1)对该二维矢量进行卷积操作，如果卷积结果大于0，则判断所述手势轨迹点序列为向上运动，否则为向下运动。

进一步，在所述椭圆形条件下：在预处理后的手势轨迹点序列中依次选取三个点，分别记为q₀(x₀,y₀)、q₁(x₁,y₁)和q₂(x₂,y₂)，判断f(q₀,q₁,q₂)的结果，

其中，为q₁点到q₀点的向量，为向量的有向法向量，定义为s(x)为符号函数，

若f(q₀,q₁,q₂)大于0，则判断所述手势轨迹点序列为顺时针运动，否则为逆时针运动。

根据本发明实施例的基于深度卷积神经网络的动态手势轨迹识别方法，以原始的带有噪音的手势轨迹点序列作为输入，先后通过预处理、深度特征提取、形状识别和方向识别得到手势轨迹的类型。本发明具有以下有益效果：

第一，提供形状识别和方向识别的功能划分。现有的隐马尔可夫模型或有限状态机通常只是对轨迹点序列组成的状态空间关系感兴趣，造成多种案例划分为同一类型。而本发明分解为形状和方向识别，从而使得工作更加具体细致。

第二，采用深度卷积神经网络模型提取手势轨迹点序列的深度特征。特征的构造不再依赖设计实现人员的单一经验，而是通过在大量数据中学习查找显著的特征。同时，卷积神经网络模型通过局域感受野、权值共享与降采样等技术方法的结合，对光照变化、位移、缩放和扭曲等方面，具有一定的鲁棒性，即容忍有轻微变化的模式或简单几何形变。此外，训练后的卷积神经网络模型以较小的计算代价提取待检区域的深度特征。

第三，利用树形分类器对手势轨迹点序列进行方向识别，从而弥补了基于计算机视觉处理方法的缺憾，不仅能够得到精确形状类型，还可以增加了方向的维度。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的基于深度卷积神经网络的动态手势轨迹识别方法的流程图；

图2为根据本发明实施例的动态手势轨迹识别的框架图；

图3为根据本发明实施例的深度卷积神经网络的层次结构图；

图4为根据本发明实施例的深度卷积神经网络中C1和P2层的关联方法图；

图5为根据本发明实施例的线性支持向量机的训练流程图；

图6(a)至图6(h)为根据本发明实施例的8种动态手势轨迹的示例图；

图7为根据本发明实施例的树形分类器的层次架构图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

本发明实施例提供一种基于深度卷积神经网络的动态手势轨迹识别方法，该方法通过对手势轨迹点序列的预处理后，对手势轨迹点序列进行形状和方向识别，融合识别结果，生成更加精细的动态手势类型判别结果。

如图1和图2所示，本发明实施例的基于深度卷积神经网络的动态手势轨迹识别方法，包括如下步骤：

步骤S1，采集原始输入的手势轨迹点序列，对手势轨迹点序列进行预处理，检测出手势轨迹点序列中的异常点，并进行排除。

由于原始输入的手势轨迹点序列中存在噪声，在对这些点序列进行特征提取前，需要滤除其中的异常点。本步骤利用手势运动的时空局部性原理，通过规定在一定的采样频率下相邻轨迹点对的距离不应超出一定范围，来检测出异常点，并进行排除。因手势的空间幅度存在差异性，所以上述选取的距离范围需要动态量化，不能简单的定义为固定区间。在本发明中，根据距离的一致性原则，轨迹点对的距离可以采用点对坐标的欧氏距离。

具体地，对手势轨迹点序列进行预处理，包括如下步骤：

首先，计算手势轨迹点序列中相邻手势轨迹点对的欧氏距离，得到多组点对距离序列。

其中，任意轨迹点对(p(x_i,y_i)，p(x_j,y_j))的欧氏距离如下：

$d=\sqrt{{(x_i-x_j)}^2+{(y_i-y_j)}^2}---\left(1\right)$

然后，计算多组点对距离序列的平均距离和方差等统计参数。

其次，设多组点对距离序列服从正态分布，根据平均距离和方差构造卡方检验统计量，利用双边检验原理，在置信水平为0.05下求导出置信区间。

需要说明的是，求导出的置信区间即为排除距离的动态范围。

最后，判断每组点对距离序列是否位于置信区间内，如果是，则判断该组点对距离序列对应的点位异常点，进行排除处理。

通过上述方式，可以将原始输入的手势轨迹点序列中的噪声滤除，达到平滑点序列的目的，并且可以够减少后续步骤的误判。

步骤S2，对预处理后的手势轨迹点序列进行边缘化处理，生成归一化手势轨迹图，训练深度卷积神经网络，利用已训练的深度卷积神经网络模型提取归一化手势轨迹图的深度特征。

由于手势轨迹点序列，如果只用直线连接会造成归一化断裂，或者由于手势时空差异导致出现严重边缘锐化现象，此时需要给定相邻轨迹点对间的边缘生成策略。即，将预处理后的手势轨迹点序列转化生成归一化手势轨迹图。

对预处理后的手势轨迹点序列进行边缘化处理，包括如下步骤：

首先，对预处理后的多组点对距离序列进行遍历，查找预处理后的多组点对距离序列中的最大值。

然后，以最大值为内圆半径，取手势轨迹点序列中的各点为中心的正方形，对该正方形的每个点设置数值，其中，同一点处的数值可叠加计算。

最后，将数值大于2的各个点映射到手势轨迹图上，并利用3x3的中通卷积核对手势轨迹图进行平滑处理，再利用形态学的闭运算对手势轨迹图进行处理，将手势轨迹图归一化为预设尺寸，生成归一化手势轨迹图。

在本发明的一个实施例中，预设尺寸为32x32。即，根据卷积神经网络结构的要求，将手势轨迹图归一化成32x32尺寸大小，生成归一化手势轨迹图。

为实现利用深度卷积申请网络模型对手势轨迹序列点的深度特征提取，首先需要训练深度卷积神经网络模型。

在深度特征提取中，深度卷积神经网络的训练分为两个步骤：第一，正向的参数初始化；第二，逆向的动态调整。

首先，训练深度网络的数据集，包括5个子集：左右横段形(对应左右运动)、上下竖段形(对应上下运动)、椭圆形(对应顺逆时针运动)、L形(对应自上而下L形运动)和反L形(对应自上而下反L形运动)。每个子集各有500个样本，该500个样本的要求是多样但无歧义。

图3为根据本发明实施例的深度卷积神经网络模型的层次结构图。

如图3所示，深度卷积神经网络模型依次为：输入层(input)、卷积层(convolution)、最大池化层(maxpooling)、全连接层(fullconnected)和输出层(output)。

该深度卷积神经网络模型的基本参数如下：

输入层：32x32大小的单通道灰度图；

第一层卷积层(C1)：5x5大小的卷积核，共16个；

第二层最大池化层(P2)：2x2的核；

第三层卷积层(C3)：3x3大小的卷积核，共32个；

第四层最大池化层(P4)：2x2的核；

第五层卷积层(C5)：3x3大小的卷积核，共64个；

第六层最大池化层(P6)：2x2的核；

第七层卷积层(C7)：2x2大小的卷积核，共90个；

第八层全连接层(F8)：180维，将P6和C7的输出联合生成该层；

输出层：维数由训练动态手势轨迹的种类而定。

具体地，输出层的维数取决于子集的个数。由于本发明的深度网络的数据集包括5个子集，则输出层的维数为5。需要说明的是，在本发明方法中，输出层的使用仅限于参数训练。

在本发明的实施例中，卷积层(convolution)的操作，其数学形式下所示：

$c^{i\left(r\right)}=max(0,b^{i\left(r\right)}+\underset{j}{\mathrm{\Σ}}{k}^{ij\left(r\right)}*x^{j\left(r\right)})---\left(2\right)$

其中，x^j和cⁱ分别为第j个输入特征图和第i个输出特征图，当为第1层卷积操作时j仅能为0，表示原灰度图，k^ij表示第j个输入特征图和第i个输出特征图的卷积核，符号*指卷积运算，bⁱ表示第i个输出特征图的偏置系数，r表示共享权重的局部区域。

需要说明的是，本卷积层的操作在隐藏神经元中使用了ReLU非线性函数，即c＝max(0,x)。

在本发明的实施例中，卷积神经网络所有最大池化层的操作对应数学公式如下：

$p_{j,k}^i=\underset{0\&le;m,n<s}{max}\left\{x_{j\&CenterDot;s+m,k\&CenterDot;s+n}^i\right\}---\left(3\right)$

其中，为第i个输出特征图pⁱ池的任意神经元。s×s为第i个输入特征图xⁱ的非重叠局部关联块的尺寸。图4为C1层和P2层的关联方法示意图。其中，C1层为图3中左起第一个卷积层(convolution)，P2为图3中左起第一个最大池化层(maxpooling)。

在本发明的实施例中，卷积神经网络全连接层的操作对应数学公式如下：

$f^i=max\{0,b^i+\underset{j}{\mathrm{\&Sigma;}}{\mathrm{\&omega;}}_1^{i,j}*x_1^j+\underset{j}{\mathrm{\&Sigma;}}{\mathrm{\&omega;}}_2^{i,j}*x_2^j\}---\left(4\right)$

其中，(x₁,w₁)和(x₂,w₂)分别为第6层最大池化层和第7层卷积层的神经元和相应权重。bⁱ表示第i个输出特征元素fⁱ的偏置系数。

在本发明的实施例中，卷积神经网络输出层(output)在n类输出的预测概率可以表示如下：

${\hat{y}}_i=\frac{\exp \left(y_i^{\&prime;}\right)}{{\mathrm{\&Sigma;}}_{j=1}^n\exp \left(y_j^{\&prime;}\right)}---\left(5\right)$

其中，表达了第j类输出的计算方法，x表示全连接层特征，ω_j指的是第j类输出的权重序列，b_j为相应的偏置系数。

图5为根据本发明实施例的线性支持向量机的训练流程图。

训练所需的数据集可以分为正样本数据集和负样本数据集，构造如下：

正样本数据集为每种形状类型2500个，共计12500个。负样本数据集为每种形状类型除自身外，其他形状类型的样本数据组织成为负样本。并且，

数据集又分为训练数据集和测试数据集：训练数据集为每种形状类型各500个；测试数据集则为每种形状类型2000个。

首先，利用深度卷积神经网络模型抽取所有样本的深度特征，并进行类型标记和存储；

然后，利用训练数据集的特征，结合线性支持向量机，对每种动态轨迹形状类型均训练一个线性支持向量机模型。

最后，测试各个类型的线性支持向量机模型，根据测试结果判定预测率是否达标，若没有则将负样本的特征加入到相应的训练数据集中，返回上一步，直至预测率全部达标，从而获得已训练的深度卷积神经网络模型。

利用已训练的深度卷积神经网络模型提取归一化手势轨迹图的深度特征，包括如下步骤：

首先，将归一化手势轨迹图作为样本输入至已训练的深度卷积神经网络模型中。

然后，利用已训练的深度卷积神经网络模型对归一化手势轨迹图进行特征提取，以深度卷积神经网络的全连接层(倒数第二层)输出的特征元素，作为归一化手势轨迹图的深度特征进行提取(即180维)。

本发明结合基于统计特征的方法和基于结构知识的方法的优点，将手势轨迹的类型判别层次化为形状识别和方向识别。下面结合步骤S3和步骤S4对形状识别和方向识别进行说明。

步骤S3，利用已训练的支持向量机对归一化手势轨迹图的深度特征进行类型划分，器输出类型，即可以识别为对应的手势轨迹点序列的形状类型。

步骤S4，利用树形分类器依据手势轨迹点序列的形状类型，构造出相同形状类型的不同方向的划分模型，对预处理后的手势轨迹点序列的多个主几何方向，依据不同方向的划分模型识别出对应的手势轨迹点序列的方向类型。

需要指出的是，方向识别需要在形状识别之后进行，即需要在已知手势轨迹点序列的形状类型情况下，对手势轨迹点序列的方向进行识别。

图6给出8种动态手势的示意图，包括向右运动(如图6(a)所示)、向左运动(如图6(b)所示)、向下运动(如图6(c)所示)、向上运动(如图6(d)所示)、顺时针椭圆运动(如图6(e)所示)、逆时针椭圆运动(如图6(f)所示)、L自上而下运动(如图6(g)所示)和反L自上而下运动(如图6(h)所示)。

在方向识别中，将手势轨迹点序列的几何基元归结为两种：通开状和闭合状。通开状典型的是左右上下等运动的轨迹图，闭合状则是绕着椭圆、矩形等闭合态几何形状运动的轨迹图。此外，还有可能是二者的结合体。

首先通过观察手势轨迹点走势，构造方向的树形分类器。然后利用树形分类器依据手势轨迹点序列的形状类型，构造出相同形状类型的不同方向的划分模型，对预处理后的手势轨迹点序列的多个主几何方向，依据不同方向的划分模型识别出对应的手势轨迹点序列的方向类型。即，对相同形状类型的不同方向，如左右、上下、顺时针或逆时针等。

图7为根据本发明实施例的树形分类器的层次架构图。该三层树形分类器是依据图6(a)至图6(h)中的8种动态手势构造而成。

如图7所示，树形分类器包括以下方向识别分支条件：用于判断左右运动的左右横段形条件、用于判断上下运动的上下竖段形条件、用于判断顺时针和逆时针运动的椭圆形条件、用于判断L状自上而下运动的L形条件和用于判断反L状自上而下运动的反L形条件。

需要说明的是，判断L状自上而下运动和判断反L状自上而下运动，均在步骤S3中的形状识别中完成。左右横段形、上下竖段形和椭圆形在步骤S4中完成。

在左右横段形条件下：将预处理后的手势轨迹点序列的首尾两点形成一个二维矢量，利用单位向量(1,0)对该二维矢量进行内积运算，如果内积结果大于0，则判断手势轨迹点序列为向右运动，否则为向左运动。

在上下竖段形条件下：将预处理后的手势轨迹点序列的首尾两点形成一个二维矢量，利用单位向量(0,1)对该二维矢量进行卷积操作，如果卷积结果大于0，则判断手势轨迹点序列为向上运动，否则为向下运动。

在椭圆形条件下：在预处理后的手势轨迹点序列中依次选取三个点，分别记为q₀(x₀,y₀)、q₁(x₁,y₁)和q₂(x₂,y₂)，判断f(q₀,q₁,q₂)的结果，

其中，为q₁点到q₀点的向量，。为向量的有向法向量，定义为s(x)为符号函数，

若f(q₀,q₁,q₂)大于0，则判断手势轨迹点序列为顺时针运动，否则为逆时针运动。

步骤S5，对识别出来的形状类型和方向类型进行融合，生成手势轨迹点序列的融合轨迹识别结果，包括：生成手势轨迹点序列的相应具体类型，如向右挥动、顺时针运动等。

需要说明的是，动态手势轨迹识别的类型可以由用户根据需求进行个性化定制，从而具有较广应用范围。

本发明采用形状识别和方向识别，不同于以往动态手势轨迹的识别方法，该方法结合基于统计特征和基于结构知识两种方法的优点，对手势轨迹点序列提供带有方向的动态手势识别服务。由于层次性功能分解、卷积神经网络和树形分类器的作用，使得动态手势轨迹识别工作不受时空差异的影响、分类更加细致，不仅能够具有隐马尔可夫模型和有限状态机的优点，即避免手势时空差异的影响，而且能够进一步精确地阐述手势轨迹点序列类型。现有技术没有应用方向识别步骤，导致仅能告诉用户或计算机，诸如水平运动、垂直运动、矩形闭合运动等方式。而本发明采用方向识别，从而可以识别诸如向右运动、向上运动、顺时针矩形闭合运动等更明确的运动方式。

根据本发明实施例的基于深度卷积神经网络的动态手势轨迹识别方法，以原始的带有噪音的手势轨迹点序列作为输入，先后通过预处理、深度特征提取、形状识别和方向识别得到手势轨迹的类型。本发明具有以下有益效果：

第一，提供形状识别和方向识别的功能划分。现有的隐马尔可夫模型或有限状态机通常只是对轨迹点序列组成的状态空间关系感兴趣，造成多种案例划分为同一类型。而本发明分解为形状和方向识别，从而使得工作更加具体细致。

第二，采用深度卷积神经网络模型提取手势轨迹点序列的深度特征。特征的构造不再依赖设计实现人员的单一经验，而是通过在大量数据中学习查找显著的特征。同时，卷积神经网络模型通过局域感受野、权值共享与降采样等技术方法的结合，对光照变化、位移、缩放和扭曲等方面，具有一定的鲁棒性，即容忍有轻微变化的模式或简单几何形变。此外，训练后的卷积神经网络模型以较小的计算代价提取待检区域的深度特征。

第三，利用树形分类器对手势轨迹点序列进行方向识别，从而弥补了基于计算机视觉处理方法的缺憾，不仅能够得到精确形状类型，还可以增加了方向的维度。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求极其等同限定。

Claims (9)

1.一种基于深度卷积神经网络的动态手势轨迹识别方法，其特征在于，包括如下步骤：

步骤S1，采集原始输入的手势轨迹点序列，对所述手势轨迹点序列进行预处理，检测出所述手势轨迹点序列中的异常点，并进行排除；

步骤S2，对所述预处理后的手势轨迹点序列进行边缘化处理，生成归一化手势轨迹图，训练深度卷积神经网络，利用已训练的深度卷积神经网络模型提取所述归一化手势轨迹图的深度特征；

步骤S3，利用已训练的支持向量机对所述归一化手势轨迹图的深度特征进行类型划分，以识别出对应的手势轨迹点序列的形状类型；

步骤S4，利用树形分类器依据所述手势轨迹点序列的形状类型，构造出相同形状类型的不同方向的划分模型，对所述预处理后的手势轨迹点序列的多个主几何方向，依据不同方向的划分模型识别出对应的手势轨迹点序列的方向类型；

步骤S5，对识别出来的形状类型和方向类型进行融合，生成所述手势轨迹点序列的融合轨迹识别结果。

2.如权利要求1所述的基于深度卷积神经网络的动态手势轨迹识别方法，其特征在于，在所述步骤S1中，所述对手势轨迹点序列进行预处理，包括如下步骤：

计算所述手势轨迹点序列中相邻手势轨迹点对的欧氏距离，得到多组点对距离序列；

计算所述多组点对距离序列的平均距离和方差；

设所述多组点对距离序列服从正态分布，根据所述平均距离和方差构造卡方检验统计量，利用双边检验原理，在置信水平为0.05下求导出置信区间；

判断每组点对距离序列是否位于所述置信区间内，如果是，则判断该组点对距离序列对应的点位异常点，进行排除处理。

3.如权利要求1所述的基于深度卷积神经网络的动态手势轨迹识别方法，其特征在于，在所述步骤S2中，所述对预处理后的手势轨迹点序列进行边缘化处理，包括如下步骤：

对所述预处理后的多组点对距离序列进行遍历，查找所述预处理后的多组点对距离序列中的最大值；

以所述最大值为内圆半径，取所述手势轨迹点序列中的各点为中心的正方形，对该正方形的每个点设置数值，其中，同一点处的数值可叠加计算；

将数值大于2的各个点映射到手势轨迹图上，并利用3x3的中通卷积核对手势轨迹图进行平滑处理，再利用形态学的闭运算对所述手势轨迹图进行处理，将所述手势轨迹图归一化为预设尺寸，生成所述归一化手势轨迹图。

4.如权利要求1所述的基于深度卷积神经网络的动态手势轨迹识别方法，其特征在于，在所述步骤S2中，训练深度卷积神经网络模型，包括如下步骤：

利用深度卷积神经网络模型抽取所有样本的深度特征；

利用训练数据集的特征，结合线性支持向量机，对每种动态轨迹形状类型均训练一个线性支持向量机模型；

测试各个类型的线性支持向量机模型，根据测试结果判定预测率是否达标，若没有则将负样本的特征加入到相应的训练数据集中，返回上一步，直至预测率全部达标。

5.如权利要求1所述的基于深度卷积神经网络的动态手势轨迹识别方法，其特征在于，在所述步骤S2中，所述利用已训练的深度卷积神经网络模型提取所述归一化手势轨迹图的深度特征，包括如下步骤：

将所述归一化手势轨迹图作为样本输入至已训练的深度卷积神经网络模型中；

利用所述已训练的深度卷积神经网络模型对所述归一化手势轨迹图进行特征提取，以所述深度卷积神经网络的全连接层输出的特征元素，作为所述归一化手势轨迹图的深度特征。

6.如权利要求1所述的基于深度卷积神经网络的动态手势轨迹识别方法，其特征在于，在所述步骤S5中，所述树形分类器包括以下方向识别分支条件：用于判断左右运动的左右横段形条件、用于判断上下运动的上下竖段形条件、用于判断顺时针和逆时针运动的椭圆形条件、用于判断L状自上而下运动的L形条件和用于判断反L状自上而下运动的反L形条件。

7.如权利要求6所述的基于深度卷积神经网络的动态手势轨迹识别方法，其特征在于，

在所述左右横段形条件下：将预处理后的手势轨迹点序列的首尾两点形成一个二维矢量，利用单位向量(1,0)对该二维矢量进行内积运算，如果内积结果大于0，则判断所述手势轨迹点序列为向右运动，否则为向左运动。

8.如权利要求6所述的基于深度卷积神经网络的动态手势轨迹识别方法，其特征在于，

在所述上下竖段形条件下：将预处理后的手势轨迹点序列的首尾两点形成一个二维矢量，利用单位向量(0,1)对该二维矢量进行卷积操作，如果卷积结果大于0，则判断所述手势轨迹点序列为向上运动，否则为向下运动。

9.如权利要求6所述的基于深度卷积神经网络的动态手势轨迹识别方法，其特征在于，

在所述椭圆形条件下：在预处理后的手势轨迹点序列中依次选取三个点，分别记为q₀(x₀,y₀)、q₁(x₁,y₁)和q₂(x₂,y₂)，判断f(q₀,q₁,q₂)的结果，

$f(q_0,q_1,q_2)={\stackrel{\&RightArrow;}{q_1{q}_2}}_{\&perp;}\&CenterDot;\stackrel{\&RightArrow;}{q_1{q}_0}$

其中，为q₁点到q₀点的向量，为向量的有向法向量，定义为 ${\stackrel{\&RightArrow;}{q_1{q}_2}}_{\&perp;}=\left(s\right(x_2-x_1\left)\right|y_2-y_1|,-s(y_2-y_1\left)\right|x_2-x_1\left|\right),$ s(x)为符号函数，

若f(q₀,q₁,q₂)大于0，则判断所述手势轨迹点序列为顺时针运动，否则为逆时针运动。