CN102194097A

CN102194097A - 一种多用途手势识别方法

Info

Publication number: CN102194097A
Application number: CN2010101234234A
Authority: CN
Inventors: 范为
Original assignee: Individual
Current assignee: Individual
Priority date: 2010-03-11
Filing date: 2010-03-11
Publication date: 2011-09-21

Abstract

本发明提供了一种基于视觉的多用途手势识别方法。该方法首先通过背景消减，将手部区域从背景中提取出来。然后，对提取出来的手部区域进行指尖检测，确定手势所含单个指尖的个数。与此同时，获取手部区域的轮廓，将其轮廓通过改进型形状上下文描述子进行描述。在此之后，引入有向无环支持向量机队对提取的改进型形状上下文描述子进行分类。在分类后，将其所属手型的手指个数与指尖检测的结果相比较，若结果相符，则输出最终判决结果，若结果不相符，则做出拒判。本发明可以在人机交互，移动设备以及手语输入上有较好的运用。

Description

一种多用途手势识别方法

技术领域

本发明涉及一种手语识别方法，可以用于人机交互、手语字母输入、移动设备的操控以及游戏设计等很多领域，同时也有助于残障人士更好的使用目前先进的电子设备，融入到现代生活之中。

技术背景

2002年，牛津大学工程科学系完成了对46个手语字母以及符号的识别。

2003年，美国加州大学圣芭芭拉分校计算机科学系研制出HandVu系统，可以对手势进行定位和判别，并设计了其相关应用，取得了较好的效果。

现有技术中存在的困难有以下几点：

首先，手部区域跟踪的困难。主要原因在于当背景复杂时，手部的跟踪往往难以实现。在复杂背景下获取手部区域，是目前研究的热点之一。

其次，手部区域表达的困难。因为人手是多关节形变物体，在不同的角度所采集到的特征不尽相同，而且由于遮挡的存在，使得手部区域的特征表达有着很大的困难。

发明内容

本发明解决技术问题所采用的方案是：首先是背景图像的建模和消减。之后是在此基础之上获取手部区域，得到手部区域的轮廓。在轮廓的基础上，对手部区域的指尖进行检测。与此同时，计算手部区域的质心，通过质心对手部区域轮廓的整体进行基于改进型形状上下文描述子的描述。并将描述子所构成的特征向量送入有向无环支持向量机进行分类。将分类结果所属手型的指尖个数与指尖检测得到的结果相比较，若结果相符，则输出最终结果，否则，拒判。

本发明的进一步技术方案是：在上所述的背景图像建模和消减方法中，采用基于滑动平均图像序列的方法对背景进行建模，并在手部区域伸入图像之后进行背景消减。

在上述的指尖检测方法中，通过对指尖轮廓的建模，使用多点游走模板在边界轮廓上进行游走，将符合条件的边界作为指尖点。

在上述的手部轮廓描述算法中，通过改进型形状上下文描述子，以质心为基础，将手部轮廓进行投影。

在最终的判决结果中，如判决结果给出的初步结果所属手势类型所含有的指尖数和实际中指尖检测的结果不相符，则最终结果给出拒判，反之，将其输出为最终结果。

较之于现有的技术，本发明通过背景建模在最大程度上减轻了复杂背景对手势的影响。同时采用改进型形状上下文描述子对手部区域的轮廓进行描述，并且进行指尖检测。将改进型形状上下文描述子送入有向无环支持向量机，得到初始判决结果，并结合指尖数给出最终的结果，通过引入拒判，提高了识别率，增强了识别效果。

附图说明

图1为本发明的方法流程示意图。

图2为本发明中手指模型示意图。

图3为本发明中改进型形状上下文描述子示意图。

具体实施方式

在背景建模中，采用滑动平均图像序列的方法。

R_{t} (x, y) = \frac{N - 1}{N} R_{t - 1} (x, y) + \frac{1}{N} I (x, y),

其中R_t为t时刻的均值图像，R_t-1为t-1时刻的均值图像，I为当前采集到的图像。通过上述背景建模，可以得到背景模型，由于该方法是不断滑动的，所以对于环境的变化能够实施的作出相应。

在建模结束之后，将手伸入图像区域中。将此时采集到的图像与先前建模完成的背景图像做绝对值差分。通过设置阈值，将前景图像和背景图像区分开来。如果绝对值差分的结果大于阈值，则说明该像素点为前景图像，若结果小于阈值，则说明该像素点为背景图像。

由于要适应周围环境，即背景建模所得到的模型也不是一成不变的。通过采用指尖检测，来确定该部分是否为手部区域。若该部分为手，则降低该部分的更新速率，或者抑制其更新，以保证在背景的更行过程中不至于被当做背景而更新掉。否则，按照正常速率更新，这样就保证了在能在实时更新的条件下，保证手部区域的完整性。

在获取手部轮廓之后，进行指尖检测。指尖检测依赖于手指模型的建立。将手指抽象为一个长条矩形和一个半圆相连接，以此作为手指的抽象模型。并且，在手指模型的边界上标记一些参考点，其中半圆的弧顶为一个重要标记参考点，圆弧与长矩形相接的两个点也标记为参考点。在矩形长边的中点处设置参考标记点，在矩形的末端同样也设置两个参考标记点。通过以上标记点的设计，手部轮廓的7点标记模型就建立起来了。在该模型中，对称两点到弧顶标记点的连线所称的角度成为内角度。那么凡是内角度值依次小于一定阈值，并且对称部分的面积比值在一定阈值范围内的点均可看做指尖点。采用多点游走模型，在手部区域的轮廓上进行游走，逐个判别轮廓的内角度值是否符合阈值以及面积比值是否符合阈值。对轮廓游走完之后，在一个手指的指尖位置会检测出一些符合条件的轮廓点，于是对于这些轮廓点作出如下处理方式：将一个区域内符合条件的点串联起来，并对这些点求取均值，得出中点所在的位置，并将此位置作为一个手指尖的描述。

在对手部区域的整体描述中，首先求取手部区域的质心坐标。然后以质心坐标为基准，将极坐标叠加其上，以边界点到质心点最远距离为半径，以360度角为角度，设计作为极坐标的长度轴和角度轴。通过计算手势轮廓的矩形特征，得到该轮廓的主方向。将极坐标的长度轴与轮廓主方向相重合，将极坐标的长度和角度分别均分为m项和n项，这样一来，整个极坐标区域被分为m×n个扇区。由于极坐标的长度轴以最远距离为半径，则可以覆盖边界轮廓上的每一点。通过统计落在每一扇区中的轮廓点数目，将其数目作为扇区的值记录下来。之后将极坐标沿着长度轴展开，以长度轴为横坐标，以角度轴为纵坐标将极坐标映射为m×n的直方图，以此将极坐标系下的每个扇区映射为直角坐标系下的方格点。在此之后，用轮廓点总数对直方图进行归一化即将直方图中每一项的数值除以轮廓点的总数。以此得到改进型形状上下文描述子。

在对描述子特征进行判别之后，有向无环支持向量机分类器会给出一个初步的判决结果，将输入的手势判别为某个类别的手势。该类别的手势所包含的单个手指个数是已知的，通过与指尖检测中所得到的指尖数结果相比较，就可以得知这两个结果是否相符。如果指尖数相符，则说明初步判决是正确的，并将其作为最终的判决结果输出，若指尖数不相符，则认为出错，产生拒判。

本发明通过对图像序列的建模来降低复杂背景对手的干扰，通过使用改进型形状上下文描述子来对手部区域进行整体描述，与此同时，进行指尖检测。在分类过程中，引入拒判机制，提高了分类率，增加了识别效果。

Claims

1.一种多用途手势识别方法，其主要包括以下处理方法：首先是背景图像的建模和消减。之后是在此基础之上获取手部区域，得到手部区域的轮廓。在轮廓的基础上，对手部区域的指尖进行检测。与此同时，计算手部区域的质心，通过质心对手部区域轮廓的整体进行基于改进型形状上下文描述子的描述。并将描述子所构成的特征向量送入有向无环支持向量机进行分类。将分类结果所属手型的指尖个数与指尖检测得到的结果相比较，若结果相符，则输出最终结果，否则，拒判。

2.依据权利要求1所述的背景图像建模和消减方法，其特征在于：所述步骤基于滑动平均图像序列对背景进行建模，并在手部区域伸入图像之后进行背景消减。

3.依据权利要求1所述的指尖检测，其特点在于：通过对指尖轮廓的建模，使用多点游走模板在边界轮廓上进行游走，将符合条件的边界作为指尖点。

4.依据权利要求1所述的手部轮廓描述，其特征在于：通过改进型形状上下文描述子，以质心为基础，将手部轮廓进行投影。

5.依据权利要求1所述的判决结果，其特征在于：如判决结果给出的初步结果所属手势类型所含有的指尖数和实际中指尖检测的结果不相符，则最终结果给出拒判，反之，将其输出为最终结果。