CN103679213A - 一种3d手势识别方法 - Google Patents

Abstract

本发明涉及计算机视觉和人机交互领域，具体涉及一种3D手势识别方法，包括以下步骤：通过第一层分类器，将手势的运动轨迹进行分段，得到一个个组成手势的笔画轨迹；通过标准化过程将笔画轨迹转化得到对应的标准笔画序号；提取手势多个动作的笔画序号与笔画长度组合成手势的特征序列；特征序列通过第二层分类器与模板计算相似度，得到手势所属的类。本方法在各层中，把变化的特征进行识别与标准化，用多层识别，多层标准化，最终就得到了识别结果，能准确计算出笔画方向特征的相似度、和运动特征序列的相似度。算法简单，复杂度低，正确率高。

Description

一种3D手势识别方法

技术领域

本发明涉及计算机视觉和人机交互领域，具体涉及一种3D手势识别方法。

背景技术

人与计算机的交互越来越成为人们日常生活中的一个重要组成部分，逐渐成为计算机领域的一个重要研究课题。在手势识别中，最基础、关键的是对手势的识别。在得到动态手势的运动轨迹之后，计算机便可对其进行特征的提取，根据特征信息进行识别。本算法提出了新的基于笔画特征与DTLS的多层分类算法，首先，把运动轨迹分为多个笔画，对笔画特征进行标准化，再用DTLS相似度进行匹配与识别，得到手势所属的类。

中国专利申请号为201210242290.1的发明专利申请公开了一种基于深度信息的手势识别方法，其主要技术方案为：通过深度信息进行背景建模，得到人体信息，采用肤色检测得到人手位置；跟踪人手得到手势轨迹信息。采用隐马尔科夫模型，对手势进行识别。该方法采用隐马尔科夫模型进行识别，需要大量的训练数据作为样本进行训练，同时隐马尔科夫模型的算法复杂度为O(n^2T)，计算比较复杂。

发明内容

本发明的目的在于提供一种3D手势识别方法，解决现有技术中计算机在识别人手时计算太过复杂，需要的计算机配置要求过高，不利于广泛应用的问题。

为解决上述的技术问题，本发明采用以下技术方案：

一种3D手势识别方法，包括以下步骤：

步骤一，通过第一层分类器，将手势的运动轨迹进行分段，得到一个个组成手势的笔画轨迹；

步骤二，通过标准化过程将笔画轨迹转化得到对应的标准笔画序号；

步骤三，提取手势多个动作的笔画序号与笔画长度组合成手势的特征序列；

步骤四，特征序列通过第二层分类器与模板计算相似度，得到手势所属的类。

更进一步的技术方案是，所述步骤一中，将手势的运动轨迹进行分段，是指在手势轨迹的方向改变超过一定阈值、速度改变超过一定阈值和方向变化率改变超过一定阈值时的位置提取识别的笔画。

更进一步的技术方案是，所述步骤二中，笔画轨迹转化得到对应的标准笔画序号是将所有的手势笔画都转化为16种标准笔画，并将笔画特征分为直线笔画特征和曲线笔画特征，通过36维直方图分为36份，每份10度，用36维直方图对所有运动方向进行统计，如果所有点的运动方向集中在当前点或起始点的运动方向上，并占60%以上，则识别为直线笔画，否则识别为曲线笔画，通过计算笔画角度分辨出直线笔画和曲线笔画分别属于16种标准笔画中的哪一种。

更进一步的技术方案是，所述步骤三中，特征序列具体是通过手势笔画分段和笔画识别，将手势生成一串笔画序列，序列中每个元素包含2个数，一个是笔画类型，另一个是笔画长度。

更进一步的技术方案是，所述步骤四中，特征序列和模板的相似度计算从二维扩展到三维，新增一维表示时间或长度；同时将长短不同的笔画进行位置对齐，获得最大的相似度。

更进一步的技术方案是，所述第二层分类器是采用方向到位置的DTLS算法进行相似度计算，设定两个同心圆，将8个直线笔画特征转换到大圆周上，把8个曲线笔画特征转化到小圆周上，实现从方向信息到位置信息的映射，把方向特征信息转换为位置特征信息，将所述位置特征信息与模板进行计算比较得到手势所属的类。

与现有技术相比，本发明的有益效果是：本方法在各层中，把变化的特征进行识别与标准化，用多层识别，多层标准化，最终就得到了识别结果，能准确计算出笔画方向特征的相似度、和运动特征序列的相似度。算法简单，复杂度低，正确率高。

附图说明

图1为本发明一种3D手势识别方法一个实施例的8种标准直线笔画示意图。

图2为本发明一种3D手势识别方法一个实施例的8种标准曲线笔画示意图。

图3为本发明一种3D手势识别方法一个实施例的手势笔画特征示意图。

图4为本发明一种3D手势识别方法一个实施例的方向到位置的转化的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明一种3D手势识别方法的一个实施例：一种3D手势识别方法，包括以下步骤：

步骤一，通过第一层分类器，将手势的运动轨迹进行分段，得到一个个组成手势的笔画轨迹；

步骤二，通过标准化过程将笔画轨迹转化得到对应的标准笔画序号；

步骤三，提取手势多个动作的笔画序号与笔画长度组合成手势的特征序列；

步骤四，特征序列通过第二层分类器与模板计算相似度，得到手势所属的类。

这里值得指出的是，上述第一层分类器和第二层分类器，是模式识别的一种说法，其输入为测试样本，输出为样本的所属类，是一个广泛的概念。

图3示出了本发明一种3D手势识别方法的一个优选实施例，所述步骤一中，将手势的运动轨迹进行分段，是指在手势轨迹的方向改变超过一定阈值、速度改变超过一定阈值和方向变化率改变超过一定阈值时的位置提取识别的笔画。

所述手势轨迹的方向改变、速度改变和方向变化率的三个方向向量可以通过以下公式算出：

$\stackrel{\→}{a}=(x_i-x_{i-1},y_i-y_{i-1})$

$\stackrel{\→}{b}=(x_{i-1}-x_{i-2},y_{i-1}-y_{i-2})$

$\stackrel{\→}{c}=(x_{i-2}-x_{i-3},y_{i-2}-y_{i-3})$

$\stackrel{\→}{s}=(x_{\mathrm{start}+1}-x_{\mathrm{start}},y_{\mathrm{start}+1}-y_{\mathrm{start}})$

式中，和

分别是轨迹最近三处的运动方向向量，x_i,y_i代表当前点的x,y值，x_i-1,y_i-1代表前1点的x,y值。

是此笔画开始点的运动方向向量，x_start,y_start代表此笔画的起始点。

对于手势轨迹上的每个点，采用以下公式计算：

$\frac{\stackrel{\→}{a\·}\stackrel{\→}{b}}{\left|\stackrel{\→}{a}\right|\·\left|\stackrel{\→}{b}\right|}=\frac{a_1{b}_1+a_2{b}_2}{\sqrt{a_1^2+a_2^2}\·\sqrt{b_1^2+b_2^2}}>T_1$

$\left|\right|\left|\stackrel{\→}{a}\right||-|\left|\stackrel{\→}{b}\right|\left|\right|=|\sqrt{a_1^2+a_2^2}-\sqrt{b_1^2+b_2^2}|>T_2$

$|\frac{\stackrel{\→}{a}\·\stackrel{\→}{b}}{\left|\stackrel{\→}{a}\right|\·\left|\stackrel{\→}{b}\right|}-\frac{\stackrel{\→}{b}\·\stackrel{\→}{c}}{\left|\stackrel{\→}{b}\right|\·\left|\stackrel{\→}{c}\right|}|=|\frac{a_1{b}_1+a_2{b}_2}{\sqrt{a_1^2+a_2^2}\·\sqrt{b_1^2+b_2^2}}-\frac{b_1{c}_1+b_2{c}_2}{\sqrt{b_1^2+b_2^2}\·\sqrt{c_1^2+c_2^2}}|>T_3$

$\left|\frac{\stackrel{\→}{s}\·\stackrel{\→}{a}}{\left|\stackrel{\→}{s}\right|\·\left|\stackrel{\→}{a}\right|}\right|=\left|\frac{s_1{a}_1+s_2{a}_2}{\sqrt{s_1^2+s_2^2}\·\sqrt{a_1^2+a_2^5}}\right|>T_4$

其中，T₁,T₂,T₃,T₄分别代表4个阈值。当4个式子中有一个成立时，此处就是笔画的分割点。

根据本发明一种3D手势识别方法的另一个优选实施例，所述步骤二中，笔画轨迹转化得到对应的标准笔画序号是将所有的手势笔画都转化为16种标准笔画，并将笔画特征分为直线笔画特征和曲线笔画特征，通过36维直方图分为36份，每份10度，用36维直方图对所有运动方向进行统计，如果所有点的运动方向集中在当前点或起始点的运动方向上，并占60%以上，则识别为直线笔画，否则识别为曲线笔画，通过计算笔画角度分辨出直线笔画和曲线笔画分别属于16种标准笔画中的哪一种。

根据本发明一种3D手势识别方法的另一个优选实施例，所述步骤三中，特征序列是通过手势笔画分段和笔画识别，将手势生成一串笔画序列，序列中每个元素包含2个数，一个是笔画类型，另一个是笔画长度。如图1所示，对笔画进行编号，用于生成运动特征序列，图2显示了手势生成的最终运动特征序列。

这样，就把复杂的手势轨迹点变成了一个低维的特征向量，把任意变化不定的运动轨迹变成了归一化的标准笔画序列。通过笔画识别，复杂的概念简单化了，变化的特征也标准化了。

根据本发明一种3D手势识别方法的另一个优选实施例，所述特征序列和模板的相似度计算从二维扩展到三维，新增一维表示时间或长度；同时将长短不同的笔画进行位置对齐，获得最大的相似度。

图4示出了本发明一种3D手势识别方法的另一个优选实施例，所述步骤四中，第二层分类器是采用方向到位置的DTLS算法进行相似度计算，设定两个同心圆，将8个直线笔画特征转换到大圆周上，把8个曲线笔画特征转化到小圆周上，实现从方向信息到位置信息的映射，把方向特征信息转换为位置特征信息，将所述位置特征信息与模板进行计算比较得到手势所属的类。

在计算相似度时，如果仅用方向信息，由于方向是0°到360°，在其端点0°和360°处，0°和360°在方向上是相同的，但角度差距却是最大的。

如附图4所示，采用两个同心圆，把8个直线笔画特征转换到大圆周上，把8个曲线笔画特征转化到小圆周上，从而实现从方向信息到位置信息的映射，则两个笔画的相似度计算采用下面的公式：

$S=\mathrm{\α}\·e\frac{(x1-x2)\·(x1-x2)+(y1-y2)\·(y1-y2)}{2\·\mathrm{\δ}}$

$\mathrm{\δ}=\mathrm{\β}\·\sqrt{{(x_{\mathrm{right}}-x_{\mathrm{topright}})}^2+{(y_{\mathrm{right}}-y_{\mathrm{topright}})}^2}$

式中，δ是计算DTLS位置映射中，β倍的圆上最近两点的距离，δ是一个固定的参数；S用于计算相似度，α是一个比例系数。

值得注意的是，由于不同人做出的手势不一，可能某个笔画很长，某个笔画很短，因此，在识别时，需要把长短不同的笔画进行位置对齐，以获得最大相似度

在进行位置对齐后，两个运动特征序列的相似度计算公式如下：

$S_A=\underset{i\∈\left[\mathrm{1,100}\right]}{\mathrm{\Σ}}{S}_i+\underset{j\∈[1,N]}{\mathrm{\Σ}}{M}_j\·\frac{100}{N}$

$M=\left\{\begin{array}{cc}1,& (C_{\mathrm{1,1}}-C_{\mathrm{1,2}}=C_{2,1}-C_{\mathrm{2,2}})\\ 0,& (C_{\mathrm{1,1}}-C_{\mathrm{1,2}}\≠C_{\mathrm{2,1}}-C_{\mathrm{2,2}})\end{array}\right.$

式中，S_i代表总长度为100的第i个点的笔画特征相似度，M_j代表第j个笔画转折点处的转折点相似度，N是笔画转折点的个数，C_1,1,C_1,2分别代表第1个序列中前一个笔画和后一笔画的类型，C_2,1,C_2,2分别代表第2个序列中前一个笔画和后一个笔画的类型。式中，S_A就是两个序列的总体相似度。

本发明的一个优选方式：可以识别16种手势，每种手势采集30个训练样本，采用样本到类的分类器：

$C=\underset{n\∈\{\mathrm{1,2},...,N_c\}}{\arg \max }\left\{\underset{i=1}{\overset{s_n}{\mathrm{\Σ}}}{\mathrm{\ω}}_{n,i}{S}_A\left(i\right)\right\}$

式中，N_c代表类的个数，S_n代表当前类中训练样本个数，ω代表当前训练样本占整个类的权重，满足

S_A(i)是第i个训练样本与当前测试样本的DTLS相似度。

Claims (6)

1.一种3D手势识别方法，其特征在于包括以下步骤：

步骤一，通过第一层分类器，将手势的运动轨迹进行分段，得到一个个组成手势的笔画轨迹；

步骤二，通过标准化过程将笔画轨迹转化得到对应的标准笔画序号；

步骤三，提取手势多个动作的笔画序号与笔画长度组合成手势的特征序列；

步骤四，特征序列通过第二层分类器与模板计算相似度，得到手势所属的类。

2.根据权利要求1所述的一种3D手势识别方法，其特征在于：所述步骤一中，将手势的运动轨迹进行分段，是指在手势轨迹的方向改变超过一定阈值、速度改变超过一定阈值和方向变化率改变超过一定阈值时的位置提取识别的笔画。

3.据权利要求1所述的一种3D手势识别方法，其特征在于：所述步骤二中，笔画轨迹转化得到对应的标准笔画序号是将所有的手势笔画都转化为16种标准笔画，并将笔画特征分为直线笔画特征和曲线笔画特征，通过36维直方图分为36份，每份10度，用36维直方图对所有运动方向进行统计，如果所有点的运动方向集中在当前点或起始点的运动方向上，并占60%以上，则识别为直线笔画，否则识别为曲线笔画，通过计算笔画角度分辨出直线笔画和曲线笔画分别属于16种标准笔画中的哪一种。

4.根据权利要求1所述的一种新型的3D手势识别算法，其特征在于：所述步骤三中，特征序列具体是通过手势笔画分段和笔画识别，将手势生成一串笔画序列，序列中每个元素包含2个数，一个是笔画类型，另一个是笔画长度。

5.根据权利要求1所述的一种新型的3D手势识别算法，其特征在于：所述步骤四中，特征序列和模板的相似度计算从二维扩展到三维，新增一维表示时间或长度；同时将长短不同的笔画进行位置对齐，获得最大的相似度。

6.根据权利要求1所述的一种新型的3D手势识别算法，其特征在于：所述第二层分类器是采用方向到位置的DTLS算法进行相似度计算，设定两个同心圆，将8个直线笔画特征转换到大圆周上，把8个曲线笔画特征转化到小圆周上，实现从方向信息到位置信息的映射，把方向特征信息转换为位置特征信息，将所述位置特征信息与模板进行计算比较得到手势所属的类。

Images