CN107704072A - 一种手势交互过程中用户手势的自动纠错方法 - Google Patents

Abstract

本发明公开了一种手势交互过程中用户手势的自动纠错方法，首先利用深度学习训练几种手势得到网络模型，针对训练过程中识别错误的手势样本集，提取这些样本的特征，并存入一个集合中。在手势交互过程中，就可以先利用hausdorff距离计算手势是否与集合中的元素相似，如果相似则说明这个手势易被我们的网络模型识别为错误手势，我们采取以某个概率强制转换成正确的样本标签，如果和集合中任意元素都不相似则识别为网络模型测试的结果。从而提高识别率，使得自然交互过程更加准确。

Description

一种手势交互过程中用户手势的自动纠错方法

技术领域

本发明涉及一种手势交互过程中用户手势的自动纠错方法。

背景技术

目前在人机交互的领域，用户更加注重交互方式的自然性。手势作为欣欣向上的新的交互方式，给我们的智能生活带来了很多便利。但是在自然交互过程中，如果手势识别率很差，导致用户在实际应用中做的手势经常被误认为错的手势。那么这种交互方式也就会逐渐被大家遗弃。因此找出容易混淆的手势，把这些手势区分开是必然、刻不容缓要解决的问题。

发明内容

为解决以上技术上的不足，本发明提供了一种手势交互过程中用户手势的自动纠错方法，它提高了手势识别效率，使得自然交互过程更加准确。

本发明是通过以下措施实现的：

本发明的一种手势交互过程中用户手势的自动纠错方法，包括以下步骤：

步骤1，采用kinect设备获取不同角度、不等距离的n种类别的手势样本，然后采用卷积神经网络模型对手势样本进行训练，得到训练过程中识别错误的手势样本；

步骤2，提取步骤1中识别错误的手势样本的特征，并将手势样本特征以及对应的手势类别存入样本集合中；

步骤3，提取待识别手势的特征，采用hausdorff距离算法计算待识别手势的特征与样本集合中所有手势样本的特征之间的距离，如果某一手势样本的特征与待识别手势的特征之间的距离小于给定阈值，则识别结果输出该手势样本特征对应的手势类别。

上述在步骤1中，采用kinect设备获取手势样本的彩色图，并将手势样本的彩色图统一裁剪成大小为225*225尺寸。

上述在步骤1中采用5种卷积、3层池化层的卷积神经网络模型。

本发明的有益效果是：本发明利用hausdorff距离计算待识别手势是否与易错手势样本集合中的手势样本相似，如果相似则采取强制输出该手势样本对应的手势类别，从而提高识别率，使得自然交互过程更加准确，对手势识别的交互方式具有很大的推广作用。

附图说明

图1为本发明的工作流程框图。

具体实施方式

下面结合附图对本发明做进一步详细的描述：

如图1所示，本发明首先利用深度学习训练几种手势得到网络模型，针对训练过程中识别错误的手势样本集，提取这些样本的特征，并存入一个集合中。在手势交互过程中，就可以先利用hausdorff距离计算手势是否与集合中的元素相似，如果相似则说明这个手势易被我们的网络模型识别为错误手势，我们采取以某个概率强制转换成正确的样本标签，如果和集合中任意元素都不相似则识别为网络模型测试的结果。从而提高识别率，使得自然交互过程更加准确。

步骤1，采用kinect设备获取不同角度、不等距离的n种类别的手势样本，然后采用卷积神经网络模型对手势样本进行训练，得到训练过程中识别错误的手势样本；

步骤2，提取步骤1中识别错误的手势样本的特征，并将手势样本特征以及对应的手势类别存入样本集合中；

步骤3，提取待识别手势的特征，采用hausdorff距离算法计算待识别手势的特征与样本集合中所有手势样本的特征之间的距离，如果某一手势样本的特征与待识别手势的特征之间的距离小于给定阈值，则识别结果输出该手势样本特征对应的手势类别。

卷积神经网络是一种特殊的深层的神经网络模型，主要由卷积层以及下采样层组成。它的特殊性体现在两个方面，一方面它的神经元间的连接是非全连接的，另一方面同一层中某些神经元之间的连接的权重是共享的。它的非全连接和权值共享的网络结构使之更类似生物的神经网络，降低了网络模型的复杂性，大大减少了网络训练的参数数量。

CNN的基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后，它与其它特征间的位置关系也随之确定下来；其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的激活函数，使得特征映射具有位移不变性。此外，由于一个映射面上的神经元共享权值，因而减少了网络自由参数的个数。卷积神经网络中的每一个卷积层都紧跟着一个用来求局部平均与二次提取的计算层，这种特有的两次特征提取结构减小了特征分辨率。

卷积神经网络是在BP神经网络基础上的的改进优化，与BP神经网络相比，CNN结构多了卷积运算。在一个卷积层，上一层的特征图被一个可学习的卷积核卷积，通过一个激活函数就可以得到本层特征map。用公式(1) 表示如下：

这里M_j表示输入的上一层maps集合，f()表示激活函数，表示可学习的卷积核值，b表示偏置，l表示当前卷积层。

利用图像局部相关性原理，对图像进行子抽样，可以减少数据处理量同时保留有用信息。采样层每个特征图的神经元可按照公式(2)进行计算。

式中p位降采样函数，降采样函数一般是对输入图像n*n大小的区域进行加权求和。F为激活函数，每一个输出特征图有一个偏置B和权重系数β。

卷积神经网络的权值训练方法采用反向传播的算法，我们假设第n次迭代中，输出端的第j个神经元的输出为y_j(n),则该神经元的误差信号为

e_j(n)＝d_j(n)-y_j(n) (3)

定义单元j的平方误差为则输出端总的平方误差的瞬时值为

其中c包含所有的输出单元，设训练集中的样本总数为N，则平方误差的均值为

E_AV为学习的目标函数，学习的目的使E_AV达到最小,E_AV是网络所有权值和阈值以及输入信号的的函数。

hausdorff距离是根据Felix hausdorff(1868-1942)命名的，hausdorff距离是指某一集合中离另一集合最近点的所有距离的最大值。正式的数学描述为，集合A到集合B的hausdorff距离为maximin函数，定义为：

这里a和b分别为集合A和集合B中的点，d(a,b)为两点间的尺度；一般的，我们取d(a,b)为a,b之间的欧几里得距离。

Hausdorff距离是有方向性的，除外特例，一般情况下h(A,B)不等于h(B,A)。因为hausdorff距离更一般定义为如下：

H(A，B)＝max{h(A，B)，h(B，A)} (7)

该式定义了A集合到B集合和从B集合到A集合的单向Hausdorff距离。这样函数的意义在于度量了两个点集间的最大不匹配程度。为了交互过程的自然性，选用的样本为普通的彩色图。通过kinect设备获取不同角度、不等距离的5种手势的彩色图，其中每种手势的样本数量为5300种。验证集中每种样本数量为100种。

在研究过程中，为了减少网络需要训练的数据量，并同时保留足够多的数据图像细节信息，将实验数据库中的手势统一成大小为225*225尺寸。

网络的框架由卷积层和采样层交替组成，最后一层为输出层。卷积层中具有多个不同的特征图，一个特征图表示提取图像的一种特征，不同的特征图使用不同的卷积核。本算法采用的5种卷积，3层池化层的CNN模型。得到识别的准确率为95.8％。

对这些样本利用python接口提取全连接层特征，得到4096维数据。将这些手势看成集合中的一个个的点，每一个点是4096维的向量。然后把所有识别错误的手势放在一个集合当中。再测试新手势的时候就可以利用 hausdorff进行计算判断是否与集合中的手势有相似的。如果小于某一个阈值，我们视为此手势为相似手势，输出应有的序号，这个序号可以根据行数来判断。否则的话运用模型进行测试。

以上所述仅是本专利的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本专利技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本专利的保护范围。

Claims (3)

1.一种手势交互过程中用户手势的自动纠错方法，其特征在于，包括以下步骤：

步骤1，采用kinect设备获取不同角度、不等距离的n种类别的手势样本，然后采用卷积神经网络模型对手势样本进行训练，得到训练过程中识别错误的手势样本；

步骤2，提取步骤1中识别错误的手势样本的特征，并将手势样本特征以及对应的手势类别存入样本集合中；

步骤3，提取待识别手势的特征，采用hausdorff距离算法计算待识别手势的特征与样本集合中所有手势样本的特征之间的距离，如果某一手势样本的特征与待识别手势的特征之间的距离小于给定阈值，则识别结果输出该手势样本特征对应的手势类别。

2.根据权利要求1所述手势交互过程中用户手势的自动纠错方法，其特征在于：在步骤1中，采用kinect设备获取手势样本的彩色图，并将手势样本的彩色图统一裁剪成大小为225*225尺寸。

3.根据权利要求1所述手势交互过程中用户手势的自动纠错方法，其特征在于：在步骤1中采用5种卷积、3层池化层的卷积神经网络模型。