CN102592113B - 一种基于表观特征的静态手势快速识别法 - Google Patents

Abstract

本发明提供了一种基于表观特征的静态手势快速识别法，其包括以下步骤：步骤1，手势的检测和手势的分割提取，对图像中的每一个像素点进行阈值判断，把符合肤色在RGB色彩空间阈值范围的像素点的值置为零，不符合肤色特性的区域的像素点的值置为一，得到手势的二值图像；步骤2，手势的二值图像的预处理，将噪声去除；步骤3：手势的特征提取及识别。本发明提出了静态手势快速识别法，该方法可以应用在MP4、电子书、手机等电子产品中，取代基础的操作，包括“上移”、“下移”、“左移”、“右移”、“确认”、“退出”，它在没有降低识别正确率的同时提高了系统的实时性，使人们在操作使用中没有时滞的弊端，实现了自然地人机交互。

Description

一种基于表观特征的静态手势快速识别法

技术领域

本发明涉及一种静态手势快速识别法，尤其涉及应用在MP4、电子书、手机等电子产品中手势快速识别法。

背景技术

在手势识别的过程中，首先通过一个摄像头获取使用者做出手势的视频数据流，然后系统依照肤色检测方法检测是否有手势出现在画面中，若发现了手势则将其分割提取出来，接下来，对分割提取之后的手势二值图像进行一系列的图像预处理，然后进行手势分析，分析过程中包括了手势的特征提取以及手势判定，手势判定就是将提取到的特征结果转换成符号或语言的描述，系统会依据描述结果给予相应的应用。具体步骤如图1所示。

现有大多数识别方法采用的是HIS(色调H\强度I\饱和度S)的肤色识别方法，理由是HSI色彩模式更接近于人们对于色彩的认识和解释。

发明内容

为了解决现有技术中问题，本发明提供了一种基于表观特征的静态手势快速识别法，其特征在于，其包括以下步骤：

步骤1，手势的检测和手势的分割提取，对图像中的每一个像素点进行阈值判断，把符合肤色在RGB色彩空间阈值范围的像素点的值置为零，不符合肤色特性的区域的像素点的值置为一，得到手势的二值图像；

步骤2，手势的二值图像的预处理，将噪声去除；

步骤3：手势的特征提取及识别。

作为本发明的进一步改进，步骤2中选取邻域平滑法去噪处理，即将固定区域内的所有点的灰度平均值作为该像素点的灰度值，对于经过邻域平滑法去噪处理后的二值图像，再找出其中最大的连通区域，然后舍掉所有小的连通区域。

作为本发明的进一步改进，手势为表示“上移”、“下移”、“左移”、“右移”、“确认”和“退出”的手势。

作为本发明的进一步改进，步骤3中，首先绘制手势区域长为L，宽为W的矩形框，若L/W>1，则手是横向的，再根据特性：手指的宽度小于手掌的宽度，分别在靠近矩形框的左边和靠近矩形框的右边分别计算出手势的宽度c和d，然后把c和d进行比较，若c<d则手指在左端，手掌在右端，若c>d则手指在右端，手掌在左端。

作为本发明的进一步改进，矩形框绘制方法如下：找出画面中手势区域的横坐标的最大值X_max和最小值X_min，以及纵坐标的最小值Y_min和最大值Y_max，根据公式 $\left\{\begin{array}{c}W=X_{\max }-X_{\min }\\ L=Y_{\max }-Y_{\min }\end{array}\right.$ 求出外接最小矩形的各边长，以图像中的坐标值为(X_min，Y_min)的点为矩形的左上角绘制一个长为L，宽为W的矩形框。

作为本发明的进一步改进，步骤3中，首先绘制手势区域长为L，宽为W的矩形框，若L/W<1，则在距离矩形框的上半部分等间隔的画7条线，分别求出每条线上颜色突变的点的个数，然后这七个数字中重复次数最多的那个数就是要用到的特征值，根据它求出图像中手指的个数。

作为本发明的进一步改进，所述的上半部分指上边的四分之一处到二分之一处。

作为本发明的进一步改进，其中4出现的次数最多，则N＝4，说明有二根手指，若6出现的次数最多，N＝6说明有三根手指，若2出现的次数最多，N＝2，说明有一根手指。

本发明的有益效果是：

本发明提出了静态手势快速识别法，该方法可以应用在MP4、电子书、手机等电子产品中，取代基础的操作，包括“上移”、“下移”、“左移”、“右移”、“确认”、“退出”，它在没有降低识别正确率的同时提高了系统的实时性，使人们在操作使用中没有时滞的弊端，实现了自然地人机交互。

首先，本方法识别的对象是裸手手势，不会给用户带来任何不便；其次，本方法能够同时满足实时性和准确性，正确率高达97.3％；最后，本发明创新采用RGB色彩模式的肤色检测和分割提取的方法，采用RGB方法的原因主要有以下三点：

(1)一般图片都是RGB格式的，采用针对RGB色彩模式的图片进行肤色提取时，就不用把RGB色彩模式转换成HSI模式了，减少了系统的复杂度，减少了耗时。

(2)采用针对RGB色彩模式的图片进行肤色提取时，对复杂背景中的接近肤色的物体排除效果更好。

(3)采用针对RGB色彩模式的图片进行肤色提取时，不易受到光照条件(光源，光照强度等等)影响，肤色检测的稳定性和完整性都有所提高。

附图说明

图1是本发明手势识别的步骤结构示意图；

图2是直接光照条件下的检测结果；

图3是间接光照条件下的检测结果；

图4是日光灯照射条件下的检测结果；

图5是经过邻域平均法去噪处理前后的对比图；

图6是本发明手势的定义；

图7是手势区域的最小外接矩形框；

图8是手势识别的流程图；

图9是区分“左移”和“右移”示意图；

图10是区分“确认”和“退出”示意图；

图11是区分“上移”和“下移”示意图。

具体实施方式

下面结合附图说明及具体实施方式对本发明进一步说明。

快速识别法的步骤与以往的方法大致是一样的，在手势识别的过程中，首先通过一个摄像头获取使用者做出手势的视频数据流，然后系统依照肤色检测方法检测是否有手势出现在画面中，若发现了手势则将其分割提取出来，接下来，对分割提取之后的手势二值图像进行一系列的图像预处理，然后进行手势分析，分析过程中包括了手势的特征提取以及手势判定，手势判定就是将提取到的特征结果转换成符号或语言的描述，系统会依据描述结果给予相应的应用。具体步骤如图1所示。

手势的检测和手势的分割提取：

这一步骤的具体操作是：对图像中的每一个像素点进行阈值判断，阈值范围如式1所示，把符合肤色在RGB色彩空间阈值范围的像素点的值置为零，不符合肤色特性的区域的像素点的值置为一，这样就得到一幅手势的二值图像。如图2至4所示，图2至图4为RGB色彩模式下提取肤色区域。

$\left\{\begin{array}{c}R\&GreaterEqual;130\\ B\&GreaterEqual;55\\ G\&GreaterEqual;B\\ (R-G)\&GreaterEqual;8\end{array}\right.---\left(1\right)$

手势的二值图像的预处理：

手势图像在经过肤色的检测和分割提取处理之后，便得到了初步的手势的二值图像，这种二值图像由于本身还具有大量噪声，所以一定要先将噪声去除。本发明选取了邻域平滑法去噪处理，如公式2所示，即将固定区域内的所有点的灰度平均值作为该像素点的灰度值。它针对图像中灰度的突变处理效果较好，可以在提取较大的目标之前用于除去小细节以及消除噪声。对于经过邻域平滑法去噪处理后的二值图像，再找出其中最大的连通区域(即手势区域)，然后舍掉所有小的连通区域(即去噪处理后还存留的较大面积的噪声区域)，处理结果如图5所示。

$G(j,k)=\frac{1}{L}\underset{(x,y)\&Element;A}{\mathrm{\&Sigma;}}F(x,y)---\left(2\right)$

式中F(j,k)——像素的灰度值；

G(j,k)——像素F(j,k)对应的输出；

A——窗口像素组成点的集合；

L——点集内像素点的总数。

手势的特征提取及识别(判定)：

本方法定义各含义对应的手势如图6所示，其中包括“上移”、“下移”、“左移”、“右移”、“确认”和“退出”，分别对应图6中的A、B、C、D、E、F。

找出画面中手势区域的横坐标的最大值X_max和最小值X_min，以及纵坐标的最小值Y_min和最大值Y_max。根据公式3就可以求出外接最小矩形的各边长了。此时，只要以图像中的坐标值为(X_min，Y_min)的点为矩形的左上角绘制一个长为L，宽为W的矩形框即可，如图7所示。

$\left\{\begin{array}{c}W=X_{\max }-X_{\min }\\ L=Y_{\max }-Y_{\min }\end{array}\right.---\left(3\right)$

式中X_max——画面中手势区域的横坐标的最大值；

X_min——画面中手势区域的横坐标的最小值；

Y_max——画面中手势区域的纵坐标的最大值；

Y_min——画面中手势区域的纵坐标的最小值；

W——外接最小矩形的宽；

L——外接最小矩形的长。

求出最小外接矩形框之后得到的各个手势的二值图像如图6所示。

手势识别的流程图如图8所示。首先，求出长宽比值，若L/W<1，则手势的含义是“左移”或者“右移”，再根据特性：手指的宽度小于手掌的宽度，分别在距离矩形框的左边的四分之一处和距离矩形框的右边的四分之一处分别计算出手势的宽度c和d，然后把c和d进行比较，若c<d则手势指示的方向是“左移”，若c>d则手势指示的方向是“右移”。其中，c和d按照公式4求得。示意图如图9所示。

$\left\{\begin{array}{c}c=Y_C-Y_D\\ d=Y_E-Y_F\end{array}\right.---\left(4\right)$

式中c——距离矩形框的左边的四分之一处手势的宽度；

d——距离矩形框的右边的四分之一处手势的宽度；

Y_C——距离矩形框的左边的四分之一处从上起第一个颜色突变的点的纵坐标；

Y_D——距离矩形框的左边的四分之一处从上起第二个颜色突变的点的纵坐标；

Y_E——距离矩形框的右边的四分之一处从上起第一个颜色突变的点的纵坐标；

Y_F——距离矩形框的右边的四分之一处从上起第二个颜色突变的点的纵坐标。

再回到上一个判定，若L/W<1，则在距离矩形框的上边的四分之一处到二分之一处等间隔的画7条线，分别求出每条线上颜色突变的点的个数，然后这七个数字中重复次数最多的那个数就是要用到的特征值，根据它我们能够求出图像中手指的个数，举例来说，如图10所示，位于矩形框上边的四分之一处到二分之一处的线段分别是l1和l7，线段l1上颜色突变的点有4个，线段l2上颜色突变的点有4个，线段l3上颜色突变的点有4个，线段l4上颜色突变的点有4个，线段l5上颜色突变的点有4个，线段l6上颜色突变的点有2个，线段l7上颜色突变的点有2个，即{4,4,4,4,4,2,2}，其中4出现的次数最多，则N＝4，由4÷2＝2得出，说明有二根手指，表示的含义为“确认”。依次类推，若6出现的次数最多，N＝6说明有三根手指，表示含义为“退出”；若2出现的次数最多，N＝2说明表示的含义可能是“上移”或者“下移”。

当N＝2的时候，进入下一步判定，同样利用特点——手指的宽度小于手掌的宽度进行识别。根据这一特性，分别在距离矩形框的上边的四分之一处和距离矩形框下边的四分之一处分别计算出手势的宽度a和b，然后把a和b进行比较，若a<b则手势指示的方向是“上移”，若a>b则手势指示的方向是“下移”。其中，a和b按照公式5求得。如图11所示。

$\left\{\begin{array}{c}a=X_C-X_D\\ b=X_E-X_F\end{array}\right.---\left(5\right)$

式中a——距离矩形框的上边的四分之一处手势的宽度；

b——距离矩形框的下边的四分之一处手势的宽度；

X_C——距离矩形框的上边的四分之一处从左起第一个颜色突变的点的横坐标；

X_D——距离矩形框的上边的四分之一处从左起第二个颜色突变的点的横坐标；

X_E——距离矩形框的下边的四分之一处从左起第一个颜色突变的点的横坐标；

X_F——距离矩形框的下边的四分之一处从左起第二个颜色突变的点的横坐标。

图9中，C、D所在直线在图形的左四份之一处，EF所在直线在图形的右四份之一处，C、D之间的长度为c，E、F之间的长度为d，当c<d时，表明是“左”的手势。

图11中，C、D所在直线在图形的上四份之一处，EF所在直线在图形的下四份之一处，C、D之间的长度为a，E、F之间的长度为b，当a<b时，表明是“上”的手势。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (6)

1.一种基于表观特征的静态手势快速识别法，其特征在于，其包括以下步骤：

步骤1，手势的检测和手势的分割提取，对图像中的每一个像素点进行阈值判断，把符合肤色在RGB色彩空间阈值范围的像素点的值置为零，不符合肤色特性的区域的像素点的值置为一，得到手势的二值图像；

手势的检测和手势的分割提取：

这一步骤的具体操作是：对图像中的每一个像素点进行阈值判断，阈值范围如式1所示

$\left\{\begin{array}{c}R\&GreaterEqual;130\\ B\&GreaterEqual;55\\ G\&GreaterEqual;B\\ (R-G)\&GreaterEqual;8\end{array}\right.---\left(1\right)$

步骤2，手势的二值图像的预处理，将噪声去除；选取邻域平滑法去噪处理，即将固定区域内的所有点的灰度平均值作为该像素点的灰度值，对于经过邻域平滑法去噪处理后的二值图像，再找出其中最大的连通区域，然后舍掉所有小的连通区域；

步骤3：手势的特征提取及识别，首先绘制手势区域长为L，宽为W的矩形框，若L/W<1，则在距离矩形框的上半部分等间隔的画7条线，分别求出每条线上颜色突变的点的个数，然后这七个数字中重复次数最多的那个数就是要用到的特征值，根据它求出图像中手指的个数。

2.根据权利要求1所述的一种基于表观特征的静态手势快速识别法，其特征在于：手势为表示“上移”、“下移”、“左移”、“右移”、“确认”和“退出”的手势。

3.根据权利要求2所述的一种基于表观特征的静态手势快速识别法，其特征在于：步骤3中，首先绘制手势区域长为L，宽为W的矩形框，若L/W>1，则手是横向的，再根据特性：手指的宽度小于手掌的宽度，分别在靠近矩形框的左边和靠近矩形框的右边分别计算出手势的宽度c和d，然后把c和d进行比较，若c<d则手指在左端，手掌在右端，若c>d则手指在右端，手掌在左端。

4.根据权利要求3所述的一种基于表观特征的静态手势快速识别法，其特征在于：矩形框绘制方法如下：找出画面中手势区域的横坐标的最大值X_max和最小值X_min，以及纵坐标的最小值Y_min和最大值Y_max，根据公式 $\left\{\begin{array}{c}W=X_{\max }-X_{\min }\\ L=Y_{\max }-Y_{\min }\end{array}\right.$ 求出外接最小矩形的各边长，以图像中的坐标值为(X_min，Y_min)的点为矩形的左上角绘制一个长为L，宽为W的矩形框。

5.根据权利要求1所述的一种基于表观特征的静态手势快速识别法，其特征在于：所述的上半部分指上边的四分之一处到二分之一处。

6.根据权利要求5所述的一种基于表观特征的静态手势快速识别法，其特征在于：其中4出现的次数最多，则N＝4，说明有二根手指，若6出现的次数最多，N＝6说明有三根手指，若2出现的次数最多，N＝2，说明有一根手指。