CN104063059B - 一种基于手指分割的实时手势识别方法 - Google Patents

Abstract

本发明公开了一种基于手指分割的实时手势识别方法。手势识别技术是人机交互领域中非常热门的话题之一。在本发明中，我们提出了一种新的手势识别技术。首先，我们利用背景减除方法将整个手部区域提取出来，针对提取出来的手部区域，我们再进行手掌和手指部分的分割；根据手指的位置、角度等多种信息判断手指类型；最后通过一个规则分类器来对整个手势进行手势识别。我们通过大量实验图像进行相关手势识别测试，结果表明，我们的识别方法速度快，效率高，可以达到实时的效果。

Description

一种基于手指分割的实时手势识别方法

技术领域

本发明主要涉及手势识别技术，具体涉及一种基于手指分割的实时手势识别方法。

背景技术

基于视觉的手势识别技术是人机交互(HCI)中非常重要的内容。十几年来，键盘和鼠标是人机交互的重要媒介。但是，随着硬件和软件的快速发展，对HCI方法也有了更高的要求。特别地，语音识别和动作识别技术在HCI领域中得到了非常多的关注。

动作是身体的行为或情绪的表达。这包括身体姿势和手势。它可以分为两类：静态动作和动态动作。对前者来讲，身体的姿势或手势表示是一个符号。对后者来讲，身体或手的动作表达了一些重要信息。手势可以作为人机交互中的重要通信工具。这与传统的基于硬件的HCI方法有很大的不同。手势识别是通过识别姿势或动作的一部分来确定用户的意图。在过去的十年里，研究者人员一直致力于改进手势识别技术。手势识别在许多应用中具有很大价值。例如手语识别、增强现实(虚拟现实)、手语翻译、机器人控制等。

一般的手势识别流程如下：

(1)利用输入设备(摄像头)得到手势图像。

(2)提取手势的某些主要特征。

(3)通过测量特征数据与匹配数据的相似度来完成手势识别。

输入设备用来提供原始图像信息。包括一般的相机，双目相机和TOF(Time of Flight)相机。双目相机和TOF相机同时还提供深度信息，在复杂背景的情况下也很容易检测到手部区域。一般的单目相机对肤色的光照和背景颜色很敏感，所以一般要结合多种特征进行手部区域的检测。检出ROI(Region of Interest)以后，从ROI区域提取有用的特征。颜色，亮度和梯度是广泛使用的特征。

除了颜色、形状、亮度等一般特征外，还有很多其他比较复杂的特征，比如Gaborfilter，HOG，SIFT，BRIEF和ORB等特征。这些特征都可以被各个复杂分类器，如SVM,HMM,CRF和adapted boosting分类器等用来训练从而进行手势识别。上面提到的复杂分类器虽然识别性能良好，但是时间成本过高，达不到实时识别的目的。

发明内容

本发明的目的在于提出一种基于手指分割的实时手势识别方法，以解决现有技术中存在的缺陷。在该发明中，用户不必佩戴任何穿戴装置或任何标记物；并且避开使用复杂分类器。所以该方法具有很好的高效性和实时性。

本发明的技术方案如下：

(1)手部区域检测：利用一般的网络摄像机作为输入设备，进行手势图像采集。由于背景单一，所以利用背景减除的方法进行手部区域检测。为防治背景中噪声干扰，利用HSV色彩空间的肤色信息。确定手部区域，同时将图像大小调整为200*200。

(2)手掌手指分割：首先利用距离变换找到手掌中心点；以手掌中心点为圆心找到手部区域内的内切圆，为了有效分割手掌，将内切圆的半径扩大1.2倍，得到最后的掌心圆；根据掌心圆上的点继续检测手指指根连接点和手腕两端的腕点，从而得到手掌部分；手部区域减去手掌区域得到手指部分。

(3)手指识别：根据步骤(2)，得到分割后的手指。用Labeling算法确定手指个数；找到手指尖、手指中心、指根；扫描找到手掌线，将手掌线四等分；结合位置信息和角度信息进行那个手指识别。

(4)手势识别：使用简单规则的分类器，根据上面得到的手部特征进行手势识别。

本发明的优势在于，用户可以不用佩戴任何穿戴式设备，并且对检测的手部区域具有旋转不变形和缩放性，计算简单，可以很好的满足实时的要求。

附图说明

图1为本发明中手势识别方法的概要图

图2为手部区域检测图

图3为分割手部区域的二值图

图4为距离变换矩阵示意图

图5为距离变换图

图6为计算掌心和手掌分割示意图

图7为手掌分割图

图8为手部区域旋转后的分割二值图

图9为手指分割图

图10为手指区域的外切矩形示意图

图11为手掌线示意图

图12为手指识别示意图

具体实施方式

如图1所示，基于手指分割的实时手势识别方法的步骤如下：

步骤1:手部区域检测

如图2所示，利用一般的网络摄像机作为输入设备，进行手势图像采集由于背景单一，利用背景减除的方法进行手部区域检测。为了防治背景中噪声干扰，利用了HSV色彩空间的肤色信息，使用的具体空间数值为H:315,S:94,V:37。图3为确定的手部区域，同时将图像大小调整为200*200。

步骤2:手掌手指分割

先利用距离变换找到手掌中心点。此处距离变换又可以称为距离映射。在距离变换图上记录手部区域内各像素点与边界像素的距离。如图4所示，左图表示二值图中像素点的值，右图表示用距离变换方法计算得到的结果图。距离边界像素越远，所赋予的像素点的值越大。例如图中像素点的最大值为4，即此像素点为距离边界最远的点，此点为要找的手掌掌心。对应的手部区域距离变换图如图5所示。

如图6所示，以手掌中心点为圆心找到手部区域内的内切圆，为了有效分割手掌，将内切圆的半径扩大1.2倍，得到最后的掌心圆。令圆心坐标为(X₀,Y₀)，在掌心圆上以弧度t为步长取样本点。样本点的坐标由公式如下：

$\left\{\begin{array}{c}X=R\cos \left(\frac{\mathrm{\θ}\·\mathrm{\π}}{180}\right)+X_0\\ Y=R\sin \left(\frac{\mathrm{\θ}\·\mathrm{\π}}{180}\right)+Y_0\end{array}\right.\mathrm{\θ}=0:t:360---\left(1\right)$

再分别以这些样本点作为圆心画圆，使得这些圆与二值图中的黑色部分相切，切点就是要找的手部边界上的目标点。连接所有目标点，得到了手掌区域。图7为得到的手掌区域。距离最远的两个相邻目标点则为手腕两端的点，称之为腕点。确定腕点，可用如下公式：

$\arg \underset{P_i,P_{i+1}}{\max }\mathrm{dist}(P_i,P_{i+1})P_i,P_{i+1}\∈S---\left(2\right)$

其中P_i,P_i+1为相邻的两个目标点；S为手掌区域边界中目标点集合。两个腕点的连线称之为手腕线。

根据手腕线和掌心的位置关系，将手势旋转到竖直位置。连接手腕线中点和掌心，连线指向掌心。通过旋转连线，使得其指向正北方，从而达到旋转手势的目的。为方便识别，将手腕线以下的手臂部分去掉。图8为手部区域旋转后的分割二值图。

如图9所示，根据得到的手掌区域，利用手部区域减去手掌区域即可得到手指分割部分。分割得到的手指部分是相互独立的区域。

步骤3:手指识别

结合图10-图12所示：

手指分割得到相互独立的手指区域。用labeling方法识别独立区域个数，包含较少像素的独立区域忽略，保留包含满足一定数量像素数的区域，最后得到的区域数即为手指个数。针对每一个手指区域，得到其最小外切矩形，此矩形的中心点即为该手指中心点。

拇指检测。分别计算手指中心和掌心连线与手腕线的角度。根据经验，拇指中心和掌心连线与手腕线的夹角不会超过50度。如果存在夹角小于50度，则此手指区域为拇指。否则，手势中无拇指区域。

其他手指检测。将手势旋转变换后，没有拇指时，从手腕线开始逐行向上扫描，直到扫描线穿越两个白色区域，停止扫描，此时得到手掌线。有拇指时，从拇指根部开始向上扫描，直到扫描线穿越两个白色区域，停止扫描，此时得到手掌线。将手掌线四等分，根据手指中心的横坐标和手掌线四等分的位置信息可以判断手指类型。为避免多个手指被分割成一个区域，要计算手指区域最小外切矩形的宽度，大于某一阈值，说明该手指区域存在多个手指。

步骤4:手势识别

针对不同的手势，分配不同的标签。利用检测到的手指数和手指类别进行手势识别。利用这种简单的分类规则进行手势识别，避开了复杂分类器分类耗时的缺点，有效地保证了实时识别的要求。

预设13种带有标签的匹配手势，用1300张手势图像作为测试集，平均识别准确率达96.69％，平均每张手势图像识别时间为0.024秒。本发明的优点在于对手势识别具有旋转不变形，计算简单，快速，可以很好地满足实时的要求，并且识别准确率高。

Claims (4)

1.一种基于手指分割的实时手势识别方法，其特征包括以下步骤：

(1)手部区域检测：利用一般的网络摄像机作为输入设备，进行手势图像采集，由于背景单一，所以利用背景减除的方法进行手部区域检测，为防止背景中噪声干扰，利用HSV色彩空间的肤色信息，确定手部区域，同时将图像大小调整为200*200；

(2)手掌手指分割：首先利用距离变换找到手掌中心点；以手掌中心点为圆心找到手部区域内的内切圆，为了有效分割手掌，将内切圆的半径扩大1.2倍，得到最后的掌心圆；根据掌心圆上的点继续检测手掌周围的目标点和手腕两端的腕点，从而得到手掌部分；手部区域减去手掌区域得到手指部分；

(3)手指识别：根据步骤(2)，得到分割后的手指；用Labeling算法确定手指个数；找到手指尖、手指中心、指根；扫描找到手掌线，将手掌线四等分；结合位置信息和角度信息进行手指识别；

(4)手势识别：使用简单规则的分类器，根据上面得到的手部特征进行手势识别。

2.根据权利要求1所述的一种基于手指分割的实时手势识别方法，其特征在于步骤(1)所述手部区域检测：采用背景减除的方法进行初步分割；利用HSV色彩空间中的肤色信息防止背景中的噪声干扰,具体空间数值为H:315,S:94,V:37。

3.根据权利要求1所述的一种基于手指分割的实时手势识别方法，其特征在于步骤(2)所述手掌手指分割，其具体过程如下：

(21)采用距离变换找到手掌中心，以手掌中心为圆心，找到手部区域内的最大内切圆；为有效得到手掌区域，将内切圆的半径扩大1.2倍得到掌心圆；

(22)在掌心圆上以弧度t为步长取样本点，坐标如下：

$\begin{array}{cc}\left\{\begin{array}{c}X=Rcos\left(\frac{\mathrm{\θ}\·\mathrm{\π}}{180}\right)+X_0\\ Y=Rsin\left(\frac{\mathrm{\θ}\·\mathrm{\π}}{180}\right)+Y_0\end{array}\right.& \mathrm{\θ}=0:t:360\end{array}---\left(1\right)$

分别以这些样本点为圆心，画圆，找到距离这些样本点最近的手掌边界点，称之为目标点；连接所有目标点，得到手掌区域，其中X、Y为样本点的坐标，X₀、Y₀为掌心圆的圆心坐标；

(33)距离最大的相邻的两个目标点为手腕两端的腕点，利用公式(2)判断两目标点是否为腕点；

$\begin{array}{cc}\arg \underset{P_i,P_{i+1}}{max}dist(P_i,P_{i+1})& P_i,P_{i+1}\∈S\end{array}---\left(2\right)$

其中P_i,P_i+1为相邻的两个目标点；S为手掌区域边界中目标点集合；连接两腕点，得到手腕线；将手腕线以下手臂部分去除；手部区域减除手掌区域，得到手指分割区域。

4.根据权利要求1所述的一种基于手指分割的实时手势识别方法，其特征在于步骤(3)所述手指识别，其具体过程如下：

(31)连结手腕线中点和掌心，连线指向掌心，通过旋转连线，使得其指向正北方，将手势竖直放置；

(32)根据步骤(2)得到的手指分割区域，利用Labeling方法，确定手指区域个数；手指区域包含的像素个数满足某一阈值，则将此手指区域保留，否则，去除；针对每个手指区域，找到其最小外切矩形，该矩形的中心标记为手指中心；

(33)拇指检测：计算手指中心和掌心连线与水平方向的夹角，小于50度，则标记为拇指；若没有，说明此手势中无拇指；

(34)其余手指检测：没有拇指时，从手腕线开始向上扫描，知道扫描线被分成两部分，停止扫描，得到的扫描线为手掌线；有拇指时，从经过距离手掌中心最近的目标点的扫描线还是扫描，直到扫描停止，得到手掌线；将手掌线四等分，根据手指中心横坐标和手掌线四等分信息可以判断手指类型；为准确检测，有时也要计算角度和手指间距离等信息。