CN102063618A

CN102063618A - 互动系统中的动态手势识别方法

Info

Publication number: CN102063618A
Application number: CN 201110006619
Authority: CN
Inventors: 朱丽娟; 薛亮; 韩磊; 贺东芹
Original assignee: China Key System and Integrated Circuit Co Ltd
Current assignee: China Key System and Integrated Circuit Co Ltd
Priority date: 2011-01-13
Filing date: 2011-01-13
Publication date: 2011-05-18
Anticipated expiration: 2031-01-13
Also published as: CN102063618B

Abstract

本发明公开了一种互动系统中的动态手势识别方法，具体有以下四个步骤：采集图像，经过去噪处理之后，得到当前图像帧；利用当前图像帧和参考图像帧做帧差，得到图像的运动区域，同时，结合肤色检测法得到二值化图像；利用灰度投影法对二值化图像做手势分割，得到手势区域和重心位置；根据重心位置和指尖特征采用分类识别方法得到最终识别结果。这种方法的优点在于克服以往算法中复杂度高、实时性低、识别率不高的问题，具有实现简单，实时性好，识别率高的优点，能很好地应用于动态手势识别中；另外，本发明算法可以容忍定义手势的平移，尺度以及旋转角度的变换，具有很好的鲁棒性。

Description

互动系统中的动态手势识别方法

技术领域

本发明涉及一种图像分析与识别技术领域，特别涉及一种互动系统中的动态手势识别方法。

背景技术

众所周知，传统的鼠标是人机交互的基本工具之一，人们通常必须借助外力才能控制计算机，实现对计算机的操作。随着科技的逐渐发展，人机交互界面越来越向友好、便捷的方向发展。近年来，各种新型的人机互动系统涌现在人们面前，例如触摸屏、数据手套、遥控手柄以及徒手等等，其中，触摸屏，数据手套，遥控手柄等因为识别率高，实现简单，被普遍的用在商业、游戏等领域。而通过识别普通摄像头采集的手势图像来进行徒手操作则因为它成本低廉、操作人性化，逐渐成为众人瞩目的焦点，但与此同时，不得不承认的是，由于环境的不确定性、操作者的随意性和手形的多样性等，徒手操作的识别率比较低，因此，提高动态手势的识别率成为了需要解决的首要问题。

现有技术中影响动态手势识别率的主要因素有：手具有唯一性，不同人的同一种手势的差别很大；手是三维空间中的物质，在二维图像中手势方向难以确定。因此，动态手势识别的难度比较大。

目前手势识别方法主要有几何特征法，神经网络法(ANN)和隐马尔可夫模型(HMM)识别方法等。其中ANN和HMM由于算法复杂，实时性不高，并不适用于动态手势识别中，而几何特征识别法则面临识别率不够高的问题。

发明内容

本发明的目的是提供一种互动系统中的动态手势识别方法，以克服以往算法中复杂度高、实时性低、识别率不高的问题。该方法主要采用了根据手势重心和指尖的几何特征进行分类识别的方法，具有实现简单，实时性好，识别率高的优点，能很好地应用于动态手势识别中。

为实现上述目的，本发明的整个识别过程主要包括以下几个步骤：

第一步：采集图像，经过去噪处理之后，得到当前图像帧；

第二步：利用当前图像帧和参考图像帧做帧差，得到图像的运动区域，同时，结合肤色检测法得到二值化图像；

第三步：利用灰度投影法对二值化图像做手势分割，得到手势区域和重心位置；

第四步：根据重心位置和指尖特征采用分类识别方法得到最终识别结果。

具体每一步的技术细节如下：

第一步，所述的采集图像为YCbCr图像，去噪处理为空域滤波法。

第二步，由于互动系统中摄像头的角度和图像背景相对固定，为了简化算法，本发明采用帧差法。同时，为了减少手势阴影对结果的影响，本发明在传统的帧差法基础上，结合了肤色检测法来对图像进行二值化处理。其中帧差法和肤色检测法都是传统的图像处理方法。另外，这里参考图像使用的是固定背景图像，即当检测不到运动时，取若干帧之后的图像作为参考图像。

第三步，利用灰度投影法对手势进行分割。所谓灰度投影法，就是沿X，Y方向对二值化图像做灰度统计，从而得到两个方向的直方图。通过X方向的投影，可以得到Y方向的范围（y_start, y_end），通过Y方向的投影，可以得到X方向的范围（x_start, x_end），从而可以确定手掌所在的矩形区域。之后，需要在矩形区域内寻找重心。假设重心位置为（xr, yr），手势所在的矩形区域为（x_end-x_start, y_end-y_start），则

Figure 201110006619X100002DEST_PATH_IMAGE001

其中Sij为点(i, j)处的灰度值。

第四步，本发明定义了3种手势：右手食指伸出、右手食指和大拇指伸出、右手拳头。鼠标的操作可以将这几个手势进行组合来表示，例如，右手食指伸出移动表示鼠标移动，右手食指和大拇指伸出移动表示鼠标左键按下拖动，大拇指收回变成仅右手食指伸出表示鼠标左键单击。

由定义的手势可以知道，需要识别的手势有三种，分别是右手食指伸出，右手食指和大拇指伸出，以及右手拳头。

采用分类识别方法进行识别，分为三步进行：

第一步：通过多级菱形样板匹配法采集指尖位置点。传统的多级菱形样板匹配法使用的菱形样板比较简单，通常会使用1X1,3X3,5X5的样板，步进都为1，通过实验，发现误判率会比较高。本发明在此基础上进行了改进，其中菱形匹配分为三级：第一级用1X1菱形样板，也就是单个像素，若为该像素手势区域，则进行二级匹配；第二级用5X5菱形样板，步进T=2，单位为像素，若周围四个像素值都为手势区域，则进行三级匹配；第三级用13X13菱形样板，步进K=3，单位为像素，若周围8个像素中有1~4个像素为手势区域时，则该像素为指尖的备选位置F。

第二步：通过指尖特征分类识别定义手势。上述指尖位置的识别比较粗糙，因此还需要进一步对菱形样板匹配出来的备选指尖位置结合本发明定义的手势进行判断识别。由于只认食指、大拇指，因此，当指尖计数最大到2时就结束计算。假设S1代表手势重心到食指指尖点的距离，S2代表手势重心到拳头前沿的距离，S3代表两个有效指尖点间的距离，且都为以像素为单位的垂直方向距离，这几个值都是阈值，可以通过实验合理设置。另外，根据指尖数量，做一下分类定义：

（1）指尖数量为0：表示没有指头伸出，此时手势为拳头或者没有出现；

（2）指尖数量为1：表示伸出右手食指；

（3）指尖数量为2：表示伸出了右手食指和大拇指。

具体分类识别的规则如下：

步骤一：假如指尖的备选位置F为第一个指尖点，那么在Y方向的投影图上：

a) 若该点离手势重心距离大于S1，表示该点为第一个有效指尖点，返回至第一步，重新搜索下一个备选指尖；

b) 若该点离手势重心距离介于S1与S2之间时，表示可能为拳头的前沿点，先假设该点为有效点，返回至第一步，重新搜索下一个备选指尖；

c) 若该点离手势重心距离小于S2时，表示为拳头的前沿点，返回指尖数量0。

步骤二：假如指尖的备选位置F为第二个指尖点，那么如果该点与前一有效指尖点的距离大于S3时，则该点为有效指尖点，跳至步骤三，继续判断；否则，该点为误判点，返回至第一步，重新搜索下一个备选指尖。

步骤三：看前后两个指尖点与重心是否满足一定的三角关系：假设重心为圆心O，水平向左OP为0°，计算A与重心连线的角度∠AOP和长度S_AO，以及B与重心连线的角度∠BOP和长度S_BO。由右手的形状特点可以知道，有下述情况出现时：当A在以O为圆心，S_AO为半径的圆上运动，B也在以O为圆心，S_BO为半径的圆上运动，同时，夹角∠AOB在30^o～120^o之间，且在∠AOB的平分线上，被手势覆盖的像素点比较少，这时，表示拇指指尖已经找到，返回指尖数量2。否则，返回至第一步，重新搜索指尖。

第三步：整个手势区域搜索完成，若始终没有找到第二个指尖点，而此时，若第一个指尖点为拳头的可能前沿点，那么这时判断第一个指尖点是拳头的前沿点，返回指尖数量0；另一种可能，在第一步判断的指尖点是一个有效的指尖点，那么这时返回指尖数量1。

本发明的有益效果在于：克服以往算法中复杂度高、实时性低、识别率不高的问题，具有实现简单，实时性好，识别率高的优点，能很好地应用于动态手势识别中；另外，本发明算法可以容忍定义手势的平移，尺度以及旋转角度的变换，具有很好的鲁棒性。

附图说明

图1：本发明中利用灰度投影法对手势进行分割的灰度直方图。

图2：本发明中定义的3种手势示意图。

图3：本发明中多级菱形样板匹配法的菱形样板示意图。

图4：本发明中采用分类识别方法逐级寻找手势流程示意图。

图5：本发明中通过指尖特征分类识别的指尖三角关系示意图。

其中图1至图5的符号说明如下：

11、二值化后的手势图像，12、沿Y方向的投影，13、沿X方向的投影，14、分割后的手势图像，21、右手食指伸出，22、右手食指和大拇指伸出，23、右手拳头，31、1X1菱形样板，32、5X5菱形样板，33、13X13菱形样板，51、∠AOP，52、∠AOB，53、∠BOP，54、S_AO，55、S_BO。

具体实施方式

如图1至图5所示，分别为本发明中利用灰度投影法对手势进行分割的灰度直方图、定义的3种手势示意图、多级菱形样板匹配法的菱形样板示意图、采用分类识别方法逐级寻找手势流程示意图、通过指尖特征分类识别的指尖三角关系示意图。

本发明的整个识别过程主要包括以下几个步骤：

第一步：采集图像，经过去噪处理之后，得到当前图像帧；

具体每一步的技术细节如下：

第三步，利用灰度投影法对手势进行分割。如图1所示，是利用灰度投影法对手势11进行分割的灰度直方图，就是沿X，Y方向对二值化图像做灰度统计，从而得到两个方向的直方图。通过X方向的投影13，可以得到Y方向的范围（y_start, y_end），通过Y方向的投影12，可以得到X方向的范围（x_start, x_end），从而可以确定手掌所在的矩形区域14。之后，需要在矩形区域内寻找重心。假设重心位置为（xr, yr），手势所在的矩形区域为（x_end-x_start, y_end-y_start），则

其中Sij为点(i, j)处的灰度值。

第四步，本发明定义了3种手势，如图2所示，分别为右手食指伸出21，右手食指和大拇指伸出22，右手拳头23。鼠标的操作可以将这几个手势进行组合来表示，例如，右手食指伸出21移动表示鼠标移动，右手食指和大拇指伸出22移动表示鼠标左键按下拖动，大拇指收回变成仅右手食指伸出21表示鼠标左键单击，右手拳头23做前后伸缩动作表示进入鼠标滚轮模式。

由定义的手势可以知道，需要识别的手势有三种，分别是右手食指伸出21，右手食指和大拇指伸出22，以及右手拳头23。

采用分类识别方法进行识别，分为三步进行，具体的流程图如图4所示：

第一步：通过多级菱形样板匹配法采集指尖位置点。传统的多级菱形样板匹配法使用的菱形样板比较简单，通常会使用1X1,3X3,5X5的样板，步进都为1，通过实验，发现误判率会比较高。本发明在此基础上进行了改进，如图3所示，其中菱形匹配分为三级：第一级用1X1菱形样板31，也就是单个像素，若为该像素手势区域，则进行二级匹配；第二级用5X5菱形样板32，步进T=2，单位为像素，若周围四个像素值都为手势区域，则进行三级匹配；第三级用13X13菱形样板33，步进K=3，单位为像素，若周围8个像素中有1~4个像素为手势区域时，则该像素为指尖的备选位置F。

（2）指尖数量为1：表示伸出右手食指；

（3）指尖数量为2：表示伸出了右手食指和大拇指。

具体分类识别的规则如下：

a）若该点离手势重心距离大于S1，表示该点为第一个有效指尖点，返回至第一步，重新搜索下一个备选指尖；

b）若该点离手势重心距离介于S1与S2之间时，表示可能为拳头的前沿点，

先假设该点为有效点，返回至第一步，重新搜索下一个备选指尖；

c）若该点离手势重心距离小于S2时，表示为拳头的前沿点，返回指尖数量0。

步骤三：看前后两个指尖点与重心是否满足一定的三角关系：如图5所示，假设重心为圆心O，水平向左OP为0°，计算指尖点A与重心连线的角度∠AOP 51和长度S_AO54，以及指尖点B与重心连线的角度∠BOP 53和长度S_BO55。由右手的形状特点可以知道，有下述情况出现时：当A在以O为圆心， S_AO54为半径的圆上运动，B也在以O为圆心，S_BO55为半径的圆上运动，同时，夹角∠AOB 52在30^o～120^o之间，且在∠AOB 52的平分线上，被手势覆盖的像素点比较少，这时，表示拇指指尖已经找到，返回指尖数量2。否则，返回至第一步，重新搜索指尖。

Claims

1.一种互动系统中的动态手势识别方法，其特征在于包括以下步骤：

第一步：采集图像，经过去噪处理之后，得到当前图像帧；

2.如权利要求1所述的互动系统中的动态手势识别方法，其特征在于第一步所述的采集图像为YCbCr图像，去噪处理为空域滤波法。

3.如权利要求1所述的互动系统中的动态手势识别方法，其特征在于第四步所述的分类识别方法的步骤为：

第一步：通过多级菱形样板匹配法采集指尖位置点；

第二步：通过指尖特征分类识别定义手势；

第三步：当搜索完成，按照定义的规则识别手势。

4.如权利要求3所述的互动系统中的动态手势识别方法，其特征在于第一步所述的多级菱形样板匹配法的菱形匹配分为三级：第一级用1X1菱形样本（31），第二级用5X5菱形样本（32），步进T=2，第三级用13X13菱形样本（33），步进K=3。

5.如权利要求3所述的互动系统中的动态手势识别方法，其特征在于第二步所述的分类识别的规则为：

步骤一：指尖的备选位置为第一个指尖点，那么在Y方向的投影图上：

若该点离手势重心距离大于手势重心到食指指尖点的距离，表示该点为第一个有效指尖点，返回至第一步，重新搜索下一个备选指尖；

若该点离手势重心距离介于手势重心到食指指尖点的距离与手势重心到拳头前沿的距离之间时，表示可能为拳头的前沿点，先假设该点为有效点，返回至第一步，重新搜索下一个备选指尖；

c）若该点离手势重心距离小于手势重心到拳头前沿的距离时，表示为拳头的前沿点，返回指尖数量0；

步骤二：指尖的备选位置为第二个指尖点，如果该点与前一有效指尖点的距离大于两个有效指尖点间的距离时，则该点为有效指尖点，跳至步骤三，继续判断；否则，该点为误判点，返回至第一步，重新搜索下一个备选指尖；

步骤三：看前后两个指尖点与重心是否满足一定的三角关系：假设重心为圆心O，水平向左OP为0°，计算指尖点A与重心连线的角度∠AOP（51）和长度S_AO（54），以及指尖点B与重心连线的角度∠BOP（53）和长度S_BO（55），由右手的形状特点可以知道，有下述情况出现时：当A在以O为圆心，S_AO（54）为半径的圆上运动，B也在以O为圆心，S_BO（55）为半径的圆上运动，同时，夹角∠AOB（52）在30^o～120^o之间，且在∠AOB（52）的平分线上，被手势覆盖的像素点比较少，这时，表示拇指指尖已经找到，返回指尖数量2，否则，返回至第一步，重新搜索指尖。

6.如权利要求3所述的互动系统中的动态手势识别方法，其特征在于第三步所述规则为：当整个手势区域搜索完成时，若始终没有找到第二个指尖点，而此时，若第一个指尖点为拳头的可能前沿点，那么这时判断第一个指尖点是拳头的前沿点，返回指尖数量0；另一种可能，第一个指尖点是一个有效的指尖点，那么这时返回指尖数量1。

7.如权利要求3至5之一所述的互动系统中的动态手势识别方法，其特征在于定义了三种手势，分别是右手食指伸出（21），右手食指和大拇指伸出（22），右手拳头（23）。