CN109359566A - 利用手指特征进行层级分类的手势识别方法 - Google Patents

Abstract

利用手指特征进行层级分类的手势识别方法，涉及人工智能技术领域，通过构建一种嵌入深度稀疏自编码器的层级决策分类器，利用不同手势伸出手指的数量、方向、位置和形状等信息对手势进行逐级分组和分类识别，其主要包括手势图像预处理、手指区域分割、手指特征提取和手势分类识别四个步骤。本发明有益效果：本发明解决了现有手势识别的精度低以及针对光照、方向和尺度改变的鲁棒性差的问题，具有很好的鲁棒性，在识别率和稳定性方面具有显著优越性。

Description

利用手指特征进行层级分类的手势识别方法

技术领域

本发明涉及人工智能技术领域，具体地说是利用手指特征进行层级分类的手势识别方法。

背景技术

当今，几乎所有的人机交互都是用手来完成的。例如：利用手通过对键盘、鼠标或触摸屏的操作来输入或读取设备的信息；利用数据手套感知手的抓取、移动、旋转等动作，实现与虚拟现实系统的交互。传统的人机交互方式需要繁琐枯燥的操作，甚至需要复杂的硬件系统，这些都给用户带来了极大的不便。随着人工智能技术的发展，基于视觉的手势识别技术实现了非接触式的人机交互，极大的减轻了人机交互对用户的约束和限制，并且有助于人类手势自然表达方式的发挥，在人与计算机交互、人与机器人交互、手语交互、医疗辅助、智能家居、虚拟现实、体感游戏等领域具有十分广泛的应用前景。

视觉手势识别是指对视频采集设备采集得到的包含手势的图像或视频，通过计算机视觉技术进行处理，进而识别出用户不同手势所传递的信息的技术。手势识别分为静态手势识别和动态手势识别两种类型：静态手势识别通过对手势图像的处理，根据不同手指伸出组合的状态进行分类识别，从而确定每种手势所代表的含义；动态手势识别通过对手势视频的处理，根据手运动的轨迹、速度、角度等信息识别手势所表达的信息。

基于视觉的手势识别技术是当今国际上极具体挑战性的前沿课题，并正在引起研究人员的极大兴趣。现有的手势识别方法主要有：基于手势几何特征的方法、基于手势轮廓特征的方法、基于手势形状特征的方法等；尽管目前已有针对手势识别的研究工作，但识别的精度以及针对光照、方向和尺度改变的鲁棒性还远未达到实际应用的需要。

发明内容

本发明所要解决的技术问题是提供利用手指特征进行层级分类的手势识别方法，解决现有手势识别的精度低以及针对光照、方向和尺度改变的鲁棒性差的问题。

本发明为解决上述技术问题所采用的技术方案是：利用手指特征进行层级分类的手势识别方法，包括以下步骤：

步骤一、手势图像预处理：对采集得到的包含手势的图像进行预处理以从中分割出手势区域，并对手势进行方向校正；

步骤二、手指区域分割：根据人手轮廓的生理特点，获取分割所需的候选切割线；然后依据候选切割线分割出手指形状的凸性以及候选切割线的两个端点之间所包含间隔轮廓点数量，确定手势中每一根手指的最佳切割线；最后，利用手指的最佳切割线逐一分割出每个手指区域；

步骤三、手指特征提取：首先，将手指细化成逼近手指中心线的单像素线条，再由手指中心线的像素坐标计算手指的方向特征；然后，根据分割出的每个手指所有像素点在手势圆周面内的方位分布情况来确定手指的位置特征；最后，利用分割出手指尺度不变Hu矩特征构建手指的形状特征；

步骤四、手势分类识别：构建一种嵌入深度稀疏自编码器的层级决策分类器对手势进行逐级分类识别，先利用手指的数量对手势图像进行分组，再利用手指的方向、位置和形状特征在每一组内进行手势类别的细分和识别。

本发明所述步骤一中对手势图像预处理包括以下内容：

1.1、在颜色空间中利用贝叶斯模型分割得到肤色区域：首先，采用手势图像在YCrCb颜色空间中的Cr和Cb分量组成肤色特征向量；然后，分别建立肤色区域和背景区域特征向量的先验概率；最后，利用贝叶斯决策规则根据图像不同区域Cr、Cb分量的值分割出肤色手势区域；

1.2、通过形态学处理去除背景区域中的噪声点；

1.3、利用手势区域的最大内接圆确定手势中心点，并以该点作为基准去除手腕部分；

1.4、运用霍夫变换检测出手势轮廓线上直线特征的方向，再根据这些直线方向的平均值将手势旋转校正到竖直方向。

本发明所述步骤2中手指区域分割的具体方法为：

2.1、候选切割线判定：在手势轮廓上间隔取点，以手势区域中心正下方的轮廓点作为起始点，沿顺时针方向对轮廓点依次进行编号；当两个轮廓点的连线位于手势轮廓内，或与轮廓重叠，称这一对轮廓点为可见对；计算间隔轮廓点集中每一对可见对之间的距离，并使用手势区域最大内接圆半径归一化处理为d_L；设置距离阈值Th_d和间隔阈值Th_h，采用可见对之间的相对距离d_L和可见对之间所包含间隔轮廓点数量h_L判定是否为候选切割线：

当S(d_L,h_L)＝1时，表示该可见对符合阈值条件，将保留其构成的切割线。

2.2、最佳切割线选择：设G_m表示间隔轮廓点集中所有可见对的数量，G_n为间隔轮廓点集中所有轮廓点相连线段的数量，变量C_R表示分割后形状的凸性，用来衡量分割后形状是否满足要求：

取可见对中两个轮廓点中较小的一个序号作为切割线序号，根据切割线的序号的相近程度，将它们分为若干组，每一组切割线对应一个手指，在此基础上确定每个手指的候选切割线，计算每组中每一条切割线分割出手指的凸性c_L，并统计构成此切割线的可见对之间所包含间隔轮廓点的数量设置凸性阈值Th_c进行满足手势分割凸性的判断：

当M(c_L,g_L)＝1时，表示该可见对所构成的切割线满足手势分割的凸性条件；当每一组中的一条切割线同时满足式(2)和(3)时，则该切割线为这一组中的最佳切割线，即所对应手指的最佳切割线；按照从左到右的顺序，对每个手指进行逐一分割。

本发明所述步骤3中手指特征提取的具体内容为：

3.1、手指方向特征建立：将分割得到的每个手指区域缩成逼近手指中心线的单像素线条，再利用线条的像素点坐标计算手指的伸出方向，具体方法为：

在3×3邻域内检查图像的每一像素点，如果该像素点同时满足：1)在上、下、左、右任一方向没有邻点；2)不是孤立点或终止线；3)去除该象素点不会断开区域，则去除该象素点；不断的遍历手指图像，重复这一步骤直到没有像素点可以去除，直至手指区域被细化成一中心线；

在手指的细化中心线上按照一定的像素间隔取两个像素，坐标分别为(x₁,y₁)和(x₂,y₂)，将这两个像素相连构成的第i条直线的方向可表示为：

沿手指中心细线的方向取n_l对这样的像素，可以得到n_l条直线的方向(i＝1,2,3,…,n)，将这n_l个方向的平均值定义为该手指的方向特征β_f：

3.2、手指位置特征建立：根据公式(5)计算出每一个手指的方向角，将所有手指的方向角进行平均得到手势的主方向，根据手势的主方向的值将手势图像旋转一定的角度，将所有手势图像的主方向统一调整到竖直方向；

以手势区域中心为圆心，以水平向右方向为起始位置，沿圆周方向逆时针将手势区域分成N等份，对每个等份依次进行编号：1,2,3,…,N，采用这些编号定义每个手指的位置，即设p_j代表某个手指所包含的第j个像素点的位置，如果这个像素点位于第k个等分区域时，p_j＝k；则该手指的位置D为所有像素点所在区域编号的平均值：

式中，n_f为手指所包含像素点的数量。

3.3、手指形状特征建立：设Hu不变矩为构建如下特征M₁,M₂,M₃,…,M₆描述手指的形状：

本发明的有益效果是：本发明提供一种具有高识别率和高鲁棒性的静态手势识别方法，针对现有手势识别的精度低以及针对光照、方向和尺度改变的鲁棒性差的问题，进行专门的设计，建立在光照、方向和尺度变化的情况下具有很好的鲁棒性，在识别率和稳定性方面具有显著优越性的手势识别方法，具有以下优点：(1)本发明的手势识别方法在YCrCb空间中通过肤色分割得到手势区域，这种处理利用了肤色在YCrCb空间中良好聚类特性，克服了光照条件变化对手势识别的影响。

(2)在手指分割前，利用手势轮廓线的方向对手势进行方向旋转校正；在手指分割完成后，利用手指方向对手势方向进行进一步的旋转校正，这种方法克服了手势方向变化对手势识别的影响，使手势识别结果更加准确。

(3)通过构建具有尺度不变性的Hu矩特征来描述不同手指的形状，这种表示克服了手势尺度变化对手势识别的影响，在进行手势识别时，通过在分类器中嵌入深度稀疏自编码器提高了分类器的泛化能力。

(4)本发明方法在光照、方向和尺度变化时具有很好的鲁棒性，对15种手势的平均识别率达到了99.6％，识别率的标准差仅为0.38，这些指标远显著优于现有方法。

附图说明

图1为典型的静态手势图像示意图；

图2为本发明对图1中手势图像的手势区域肤色分割效果图；

图3为本发明对图2中手势图像的背景区域去燥后效果图；

图4为本发明对图1的手势区域分割结果图；

图5为本发明对手势方向归一化效果图；

图6为本发明手势分割的可见对示意图；

图7为本发明手指分割结果的示意图；

图8为本发明对手指细化后手指图像的效果图；

图9为本发明对手指细化后手指中心线的效果图；

图10为本发明手势图像分区示意图；

图11为本发明手势图像数据库示意图；

图12为本发明层级决策分类器分类示意图。

具体实施方式

下面结合说明书附图对本发明实施例进行详细的阐述。

本发明的手势识别方法主要有四个步骤组成：手势图像预处理、手指区域分割、手指特征提取和手势分类识别。典型的静态手势如图1所示，下面以该图中的手势为对象说明本发明的实施过程。

步骤1手势图像预处理

手势图像预处理的目的是从采集得到的手势图像中分割出手势区域，并对手势进行方向校正。首先在颜色空间中利用贝叶斯模型分割得到肤色区域；然后，通过形态学处理去除背景区域中的噪声点；最后，利用手势区域的最大内接圆确定手势中心点，并以该点作为基准去除手腕部分。

步骤1.1肤色区域分割

首先，采用手势图像在YCrCb颜色空间中的Cr和Cb分量组成肤色特征向量；然后，分别建立肤色区域和背景区域特征向量的先验概率；最后，利用贝叶斯决策规则根据图像不同区域Cr、Cb分量的值分割出肤色手势区域。

根据图1中原始图像像素点的Cr、Cb分量，利用贝叶斯决策规则将像素点分类为肤色像素和背景像素。将背景像素的Cr、Cb分量设置为零得到手势的肤色区域的分割效果如图2所示。

步骤1.2背景区域去噪

选用5×5的正方形结构元素对手势图像进行逻辑运算。首先，用结构元素遍历目标图像，使结构元素与其覆盖的图像像素点邻域作“与”操作，如果结果为“1”，则保留该像素点，否则剔除。然后，用结构元素遍历目标图像，使结构元素与其覆盖的图像邻域作“或”操作，如果结果都为“0”，则剔除像素点，否则保留。对图2中的手势图像区域进行去噪处理，得到的结果图像如图3所示。

步骤1.3手势区域分割

以手势区域内的任意一点为圆心画半径为r且完全内含于手势区域的圆，在手势区域内遍历圆心的位置，当半径r达到最大值r_max时的圆为手势区域的最大内接圆。在得到的圆心位置画半径为2r_max的圆，将圆下方的手腕部分去除，从而最终完成手势区域的分割。如图4所示。

步骤1.4手势方向归一化

运用霍夫变换检测出手势轮廓线上直线特征的方向，再根据这些直线的方向的平均值将手势旋转校正到竖直方向，如图5所示。

步骤2手指区域分割

首先，根据人手轮廓的生理特点，获取分割所需的候选切割线；然后，依据候选切割线分割出手指形状的凸性以及候选切割线的两个端点之间所包含间隔轮廓点数量，确定手势中每一根手指的最佳切割线。

步骤2.1候选切割线判定

在手势轮廓上间隔取点。以手势区域中心正下方的轮廓点作为起始点，沿顺时针方向对轮廓点依次进行编号。如图6所示，设点V₁、V₂、V₃、V₄为间隔轮廓点集中的4个轮廓点。当两个轮廓点的连线位于手势轮廓内，或与轮廓重叠，称这一对轮廓点为可见对。图6中V₂V₄是一对可见对，因为两点的连线位于手势轮廓内；而V₁V₂与V₂V₃则不是，因为它们的连线的全部或部分位于手势轮廓外。

计算间隔轮廓点集中每一对可见对之间的距离，并使用手势区域最大内接圆半径归一化处理为d_L。采用可见对之间的相对距离d_L和可见对之间所包含间隔轮廓点数量h_L来判定是否为候选切割线，设置距离阈值Th_d和间隔阈值Th_h进行判断：

当S(d_L,h_L)＝1时，表示该可见对符合阈值条件，将保留其构成的切割线。

步骤2.2最佳切割线选择

设G_m表示间隔轮廓点集中所有可见对的数量，G_n为间隔轮廓点集中所有轮廓点相连线段的数量。定义一个变量C_R来表示分割后形状的凸性，用来衡量分割后形状是否满足要求：

取可见对中两个轮廓点中较小的一个序号作为切割线序号，根据切割线的序号的相近程度，将它们分为若干组。每一组切割线对应一个手指，在此基础上确定每个手指的候选切割线。计算每组中每一条切割线分割出手指的凸性c_L，并统计构成此切割线的可见对之间所包含间隔轮廓点的数量设置凸性阈值Th_c进行满足手势分割凸性的判断：

当M(c_L,g_L)＝1时，表示该可见对所构成的切割线满足手势分割的凸性条件。当每一组中的一条切割线同时满足式(1)和(2)时，则该切割线为这一组中的最佳切割线，即所对应手指的最佳切割线。按照从左到右的顺序，对每个手指进行逐一分割，得到典型手势的分割结果如图7所示。图中采用不同的颜色对分割出的手指进行标记。

步骤3手指特征提取

利用伸出的手指来建立手势识别的特征。首先，将手指细化成逼近手指中心线的单像素线条，再由手指中心线的像素坐标计算手指的方向；然后，根据分割出的每个手指所有像素点在手势圆周面内的方位分布情况来确定手指的位置特征；最后，利用分割出手指尺度不变Hu矩特征构建手指的形状特征。

步骤3.1手指方向特征建立

将分割得到的每个手指区域缩成逼近手指中心线的单像素线条，再利用线条的像素点坐标计算手指的伸出方向。

在3×3邻域内检查图像的每一像素点，如果满足：1)在上、下、左、右任一方向没有邻点；2)不是孤立点或终止线；3)去除该象素点不会断开区域，则去除该象素点；不断的遍历手指图像，重复这一步骤直到没有像素点可以去除。这一过程通过迭代法实现，一次剥去一层剥去区域边界，直至手指区域被细化成一中心线。细化处理后，原来的手指由相应的中心线来表示，将图8中的手指细化处理得到的结果如图9所示。

在手指的细化中心线上按照一定的像素间隔取两个像素，坐标分别为(x₁,y₁)和(x₂,y₂)，将这两个像素相连构成的第i条直线的方向可表示为：

沿手指中心细线的方向取n_l对这样的像素，可以得到n_l条直线的方向(i＝1,2,3,…,n)。将这n_l个方向的平均值定义为该手指的方向特征：

步骤3.2手指位置特征建立

根据(5)式计算出每一个手指的方向角，将所有手指的方向角进行平均得到手势的主方向。根据手势的主方向的值将手势图像旋转一定的角度，将所有手势图像的主方向统一调整到竖直方向。

以手势区域中心为圆心，以水平向右方向为起始位置，沿圆周方向逆时针将手势区域分成N等份，如图10所示。对每个等份依次进行编号：1,2,3,…,N，采用这些编号来定义每个手指的位置。设p_j代表某个手指所包含的第j个像素点的位置，如果这个像素点位于第k个等分区域时，p_j＝k。则该手指的位置为所有像素点所在区域编号的平均值：

式中，n_f为手指所包含像素点的数量。

步骤3.3手指形状特征建立

Hu不变矩具有旋转和平移不变性，在Hu不变矩的基础上构建具有尺度不变性的矩特征来描述不同手指的形状。设Hu不变矩为构建如下特征M₁,M₂,M₃,…,M₆描述手指的形状：

步骤4手势分类识别

建立一种嵌入深度稀疏自编码器的层级决策分类器对手势进行逐级分类识别。采用阈值判断的方法，利用伸出手指的数量、方向和位置等特征对手势进行逐级分类；采用深度网络的输出，通过对伸出手指形状的识别来完成手势的最终识别。用于手指形状分类的深度稀疏自编码器采用4层网络结构，分别为一个输入层、两个特征层以及一个Softmax分类层。

本发明拟进行分类的图像库包含15种手势，如图11所示。进行分类所采用的层级决策分类器如图12所示。分类过程如下：

首先进行手势分组：根据手指数量将手势分为6组，分别包含0、1、2、3、4、5个手指。然后，再对每一组进行分类。

第一组的分类：第一组手势伸出的手指数量为0，仅对应于一种手势“手势1”，直接识别为手势“手势1”。

第二组的分类：根据伸出的手指方向将手势“手势3”区分出来，再根据手指的位置将手势“手势2”和手势“手势4”区分开来。为避免手势“手势2”和手势“手势3”之间的混淆，采用形状特征再对它们进行一次分类。

第三组的分类：根据伸出的左侧手指的位置将手势分为两组，再根据右侧手指的位置对每一组进行再分类，从而识别出手势“手势5”、“手势6”、“手势7”和“手势8”。

第四组的分类：根据伸出的左侧手指的位置将手势分为两组，再根据右侧手指的形状将第一组区分为出手势“手势9”和“手势10”，根据右侧手指的位置将第二组区分为出手势“手势11”和“手势12”。为避免手势“手势1”和“手势12”的混淆，利用右侧手指的形状特征对两者再进行一次分类。

第五组的分类：根据左侧第一个手指的形状特征将手势区分为手势“手势13”和“手势14”。

第六组的分类：第六组伸出的手指数量为5，仅对应于一种手势“手势15”，直接识别为手势“手势15”。

图11中的图像库包含15种手势，相应的编号分别为1、2、3、…、15。每一种手势分别由5人各采集40次，共计3000幅手势图像。使用900幅图像进行层级决策分类器的训练，使用其余的2100幅图像进行识别测试实验，得到的平均识别率为99.6％，识别率的标准差为0.38。

Claims (4)

1.利用手指特征进行层级分类的手势识别方法，其特征在于：包括以下步骤：

步骤一、手势图像预处理：对采集得到的包含手势的图像进行预处理以从中分割出手势区域，并对手势进行方向校正；

步骤二、手指区域分割：根据人手轮廓的生理特点，获取分割所需的候选切割线；然后依据候选切割线分割出手指形状的凸性以及候选切割线的两个端点之间所包含间隔轮廓点数量，确定手势中每一根手指的最佳切割线；最后，利用手指的最佳切割线逐一分割出每个手指区域；

步骤三、手指特征提取：首先，将手指细化成逼近手指中心线的单像素线条，再由手指中心线的像素坐标计算手指的方向特征；然后，根据分割出的每个手指所有像素点在手势圆周面内的方位分布情况来确定手指的位置特征；最后，利用分割出手指尺度不变Hu矩特征构建手指的形状特征；

步骤四、手势分类识别：构建一种嵌入深度稀疏自编码器的层级决策分类器对手势进行逐级分类识别，先利用手指的数量对手势图像进行分组，再利用手指的方向、位置和形状特征在每一组内进行手势类别的细分和识别。

2.根据权利要求1所述的利用手指特征进行层级分类的手势识别方法，其特征在于：所述步骤一中对手势图像预处理包括以下内容：

1.1、在颜色空间中利用贝叶斯模型分割得到肤色区域：首先，采用手势图像在YCrCb颜色空间中的Cr和Cb分量组成肤色特征向量；然后，分别建立肤色区域和背景区域特征向量的先验概率；最后，利用贝叶斯决策规则根据图像不同区域Cr、Cb分量的值分割出肤色手势区域；

1.2、通过形态学处理去除背景区域中的噪声点；

1.3、利用手势区域的最大内接圆确定手势中心点，并以该点作为基准去除手腕部分；

1.4、运用霍夫变换检测出手势轮廓线上直线特征的方向，再根据这些直线方向的平均值将手势旋转校正到竖直方向。

3.根据权利要求1所述的利用手指特征进行层级分类的手势识别方法，其特征在于：所述步骤2中手指区域分割的具体方法为：

2.1、候选切割线判定：在手势轮廓上间隔取点，以手势区域中心正下方的轮廓点作为起始点，沿顺时针方向对轮廓点依次进行编号；当两个轮廓点的连线位于手势轮廓内，或与轮廓重叠，称这一对轮廓点为可见对；计算间隔轮廓点集中每一对可见对之间的距离，并使用手势区域最大内接圆半径归一化处理为d_L；设置距离阈值Th_d和间隔阈值Th_h，采用可见对之间的相对距离d_L和可见对之间所包含间隔轮廓点数量h_L判定是否为候选切割线：

当S(d_L,h_L)＝1时，表示该可见对符合阈值条件，将保留其构成的切割线；

2.2、最佳切割线选择：设G_m表示间隔轮廓点集中所有可见对的数量，G_n为间隔轮廓点集中所有轮廓点相连线段的数量，变量C_R表示分割后形状的凸性，用来衡量分割后形状是否满足要求：

取可见对中两个轮廓点中较小的一个序号作为切割线序号，根据切割线的序号的相近程度，将它们分为若干组，每一组切割线对应一个手指，在此基础上确定每个手指的候选切割线，计算每组中每一条切割线分割出手指的凸性c_L，并统计构成此切割线的可见对之间所包含间隔轮廓点的数量设置凸性阈值Th_c进行满足手势分割凸性的判断：

当M(c_L,g_L)＝1时，表示该可见对所构成的切割线满足手势分割的凸性条件；当每一组中的一条切割线同时满足式(2)和(3)时，则该切割线为这一组中的最佳切割线，即所对应手指的最佳切割线；按照从左到右的顺序，对每个手指进行逐一分割。

4.根据权利要求1所述的利用手指特征进行层级分类的手势识别方法，其特征在于：所述步骤3中手指特征提取的具体内容为：

3.1、手指方向特征建立：将分割得到的每个手指区域缩成逼近手指中心线的单像素线条，再利用线条的像素点坐标计算手指的伸出方向，具体方法为：在3×3邻域内检查图像的每一像素点，如果该像素点同时满足：1)在上、下、左、右任一方向没有邻点；2)不是孤立点或终止线；3)去除该象素点不会断开区域，则去除该象素点；不断的遍历手指图像，重复这一步骤直到没有像素点可以去除，直至手指区域被细化成一中心线；

在手指的细化中心线上按照一定的像素间隔取两个像素，坐标分别为(x₁,y₁)和(x₂,y₂)，将这两个像素相连构成的第i条直线的方向可表示为：

沿手指中心细线的方向取n_l对这样的像素，可以得到n_l条直线的方向将这n_l个方向的平均值定义为该手指的方向特征β_f：

3.2、手指位置特征建立：根据公式(5)计算出每一个手指的方向角，将所有手指的方向角进行平均得到手势的主方向，根据手势的主方向的值将手势图像旋转一定的角度，将所有手势图像的主方向统一调整到竖直方向；

以手势区域中心为圆心，以水平向右方向为起始位置，沿圆周方向逆时针将手势区域分成N等份，对每个等份依次进行编号：1,2,3,…,N，采用这些编号定义每个手指的位置，即设p_j代表某个手指所包含的第j个像素点的位置，如果这个像素点位于第k个等分区域时，p_j＝k；则该手指的位置D为所有像素点所在区域编号的平均值：

式中，n_f为手指所包含像素点的数量；

3.3、手指形状特征建立：设Hu不变矩为构建如下特征M₁,M₂,M₃,…,M₆描述手指的形状：