CN103440035A - 一种三维空间中的手势识别系统及其识别方法 - Google Patents

Abstract

本发明公开了一种三维空间中的手势识别系统，包括图像采集单元，图像处理单元，图像比较单元和手势识别单元。本发明还公开了一种实现三维空间中的手势识别系统的手势识别方法，包括以下步骤：步骤1、红外照明模块照亮手势操作区域；步骤2、手势采集模块中各个摄像头采集用户手势操作图像；步骤3、图像处理单元对多个摄像头所采集的图像进行处理，提取出各个摄像头在同一时刻采集到的用户手势；步骤4、图像比较单元对比同一时刻所提取的各个用户手势图像，依照选取规则，选择其中最优的手势图像；步骤5、输出识别结果。具有真正使用户能够在实际空间中灵活地对物件进行非接触手势操作等优点。

Description

一种三维空间中的手势识别系统及其识别方法

技术领域

本发明涉及一种图像识别技术，特别涉及一种三维空间中的手势识别系统及其识别方法。

背景技术

随着人机交互技术的发展，自然和谐的人机交互方式日益受到人们的重视.在人机交互领域中,非接触手势交互方式摆脱了遥控器,鼠标等的束缚,为人们提供了一种更加方便的交互方法.基于视觉的非接触手势识别技术，以其自然性、简洁性和直接性的特点，提供了一个自然的人机接口，受到了人们的普遍关注。

现有的手势识别技术可以分为两大类：基于三维手势建模的方法和基于表现建模的方法。其中，基于表现的手势识别方法直接从图像中提取相应的特征进行识别，受视角和手指遮掩等因素影响较大，可有效识别的手势种类较少。而目前已有的三维手势建模的方法主要是使用深度摄像头（如kinect等），或者使用双目或多目摄像头进行建模。用户在使用此类方法进行手势识别时，需要对着特定的方向进行操作，如果用户操作超出图像采集区域，就会造成丢失，降低用户体验。

发明内容

本发明的首要目的在于克服现有技术的缺点与不足，提供一种三维空间中的手势识别系统，该系统操作简单方便。

本发明的另一目的在于克服现有技术的缺点与不足，提供一种实现三维空间中的手势识别系统的识别方法，该方法使手势识别的精度高，误识别率低。

本发明的首要目的通过下述技术方案实现：一种三维空间中的手势识别系统，包括图像采集单元，图像处理单元和图像比较单元，手势识别单元。图像采集单元包括红外照明模块和手势采集模块；图像处理单元包括图像预处理模块，区域分割模块和特征提取模块；图形比较单元为手势选取模块；手势识别单元包括手势数据库及手势匹配模块，手势识别模块。

所述红外照明模块用于提供复杂环境下的可靠照明，确保采集图像的质量。

所述手势采集模块，具体为多个摄像头，用于对用户手势图像进行采集。

所述图像处理单元用于对所采集图像的处理，并提取出用户的手势。

所述图像比较单元用于对所述图像处理单元所提取的用户手势进行对比，确定最优的用户手势。

所述手势数据库及手势匹配模块，用于图像比较单元所选取的最优手势与手势数据库的匹配。

所述手势识别模块，用于对最优图像的图像处理并进行手势识别，并输出识别结果。

本发明的另一目的通过以下技术方案实现，一种实现三维空间中的手势识别系统的识别方法，包括以下步骤：

1、红外照明模块照亮手势操作区域；

2、手势采集模块中各个摄像头采集用户手势操作图像；

3、图像处理单元对多个摄像头所采集的图像进行处理，提取出各个摄像头在同一时刻采集到的用户手势；

4、图像比较单元对比同一时刻所提取的各个用户手势图像，依照选取规则，选择其中最优的手势图像；所述特定的选取规则可以根据实际需要灵活设定，比如面积最大选取或者手势特征值最优选取。具体可为：三维空间中的手势识别系统包括图像采集单元，图像处理单元，图像比较单元和手势识别单元。其中，图像采集单元通过三维空间中的多摄像头进行手势图像的采集；图像处理单元则通过图像预处理，区域分割，特征提取等方式对采得的图像数据进行处理，进而获得相应的手势数据;图像比较单元,用于选取其中最优的手势特征值；最后，手势识别单元则根据已有的手势数据库进行比较分析最后完成对手势类型的识别。本发明中，通过多方位，多角度的摄像头对手势进行捕捉，为用户摆脱摄像头对操作的束缚提供了条件，真正使用户能够在实际空间中灵活地对物件进行非接触手势操作；

5、手势识别单元对最优手势图像进行匹配和识别，并输出识别结果。

本发明的工作原理：通过布置在三维空间中的多个摄像头进行手势图像采集，依照特定的选取原则，从同一时间采集的多个手势图像中选取最优的手势图像，并对该手势图像进行识别，输出识别结果。

本发明相对于现有技术具有如下的优点及效果：

1、使用者进行非接触手势识别时不必对着特定的摄像头进行手势识别，可以更加自然的姿态进行非接触手势操作，操作简单方便；

2、一定程度上解决了超过识别区域所造成的手势跟丢现象，提升用户体验；

3、提取多个手势图像并进行最优选择，使得手势识别的精确高，误识别率低。

附图说明

图1是本发明的三维空间中非接触式手势识别系统框架图。

图2是本发明的识别方法的识别流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

如图2所示,用户按照以下步骤进行操作:1、红外照明模块照亮手势操作区域；2、手势采集模块采集多个用户手势操作图像；3、图像对多个手势图像进行处理，提取出各个图像的用户手势；4、图像比较单元对比同一时刻所提取的各个手势图像，选择其中最优的手势图像；5、手势识别模块对该手势图像进行识别。

如图1所示，图像采集单元中的手势采集模块主要通过多方位、多角度的摄像头进行用户手势图像的采集工作，并且在采集时必须运用红外照明模块以有效获得图像数据。在图像处理单元中，图像采集及预处理模块是通过多摄像头的联网汇总接口收集所捕捉了的图像数据并进行初步的A/D转换。同时，由于所采集的图像由于光照和背景等原因，可能会存在噪点，为了减小图像在区域分割时产生的误差，需要对采集的图像进行预处理，采用图像中值滤波对图像进行平滑和滤波处理。具体方法如下：

用某种结构的二维滑动模板，将板内像素按照像素值的大小进行排序，生成单调上升（或下降）的为二维数据序列。二维中值滤波输出为g(x，y)＝med{f(x-k，y-1)，(k，1∈w)}，其中f(x，y)，g(x，y)分别为原始图像和处理后图像。W为二维模板，通常为2×2，3×3区域，也可以是不同的的形状，如线状，圆形，十字形，圆环形等。

区域分割和手势特征提取用于检测图像中是否有手势，若存在手势则将手势区域与背景分离，从而得到手势识别分析的具体区域，便于下一步对手势进行比较识别。具体方法如下:

为了削弱光照情况对手势的影响，采用转换色彩空间的方法将RGB空间转HSV空间，得到更为明显的肤色聚类特征。

从RGB到HSL或HSV的转换

设(r，g，b)分别是一个颜色的红、绿和蓝坐标，它们的值是在0到1之间的实数。设maX等价于r，g和b中的最大者。设min等于这些值中的最小值。要找到在HSL空间中的(h，s，l)值，这里的h∈[0，360)是角度的色相角，而s，1∈[0，1]是饱和度和亮度，计算为:

$l=\frac{1}{2}(\max +\min )$

$s=\left\{\begin{array}{cc}0,& \mathrm{if}\max =0\\ \frac{\max -\min }{\max }=1-\frac{\min }{\max },& \mathrm{otherwise}\end{array}\right.$

v=max

以上公式采用转换色彩空间的方法将RGB空间转HSV空间，以得到更为明显的肤色聚类特征。其中，（r,g,b）分别是一个颜色的红、绿和蓝坐标，它们的值是在0到1之间的实数。（h,s,l）分别是色相角，饱和度和亮度。色相角的值介于0到360度，饱和度和亮度的值介于0到1.max为r,g和b中的最大值。min为r,g和b中的最小值。

将RGB空间转化到HSV空间后，使用Hue色度分量来构建阈值分割模型并引入色度信息。在此实施例中，我们使用的分割模型为：

O<Hue＜360，

350＜Hue＜360，

设置Hue色度分量用于构建阈值分割模型并引入色度信息。

应用这种阈值分割模型对一个手势图像进行分割。为了使分割效果进一步提升，在分割后进行连通性去噪，从而得到二值的手势图，实现复杂背景下的肤色分割。

而在图像比较单元中，以经过区域分割和特征提取的手势图像数据为基础，通过计算及比较分割提取后的手势面积，我们选取面积最大的图像作为最佳手势图像以供手势识别使用。

手势识别即在获得最佳判别的手势图像后，对其采用梯度方向直方图方法提取手势特征，具体步骤如下：

将二值化图像划分为2×2的单元；

分别在水平和垂直方向上，利用一维离散微分模板计算出每个单元的梯度；

统计每一个单元的梯度直方图；

将若干个单元组成一个区间，一幅图像由若干个区间构成；

利用L2范数为因子在区间中进行梯度归一化：

$f=\frac{1}{{\sqrt{\left|\right|V\left|\right|}}^2+e^2}$

其中：

||V||表示V的一阶范数，e表示常数。

f表示以L2范数为因子进行上式梯度归一化得到的结果。

根据以上式子计算出每个手势图像的特征向量维数。

采用基于支持向量机（SVM）的动态手势识别的方法进行手势识别。SVM通过把特征向量映射到高维空间并建立能够充分区分不同种类的最大间隔超平面，从而可以实现对特征的非线性分类。对装置采用大量样本训练的方法，每一个手势采集700张不同背景、角度和光照的图像提取特征值，将特征值与手势数据库中的相应手势进行匹配并识别出手势。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.一种三维空间中的手势识别系统，其特征在于，包括图像采集单元，图像处理单元，图像比较单元和手势识别单元。

2.根据权利要求1所述的手势识别系统，其特征在于，所述图像采集单元包括红外照明模块和手势采集模块；所述红外照明模块用于提供；所述手势采集模块具有若干个摄像头，所述手势采集模块用于对用户手势图像进行采集。

3.根据权利要求1所述的手势识别系统，其特征在于，所述图像处理单元包括图像预处理模块，区域分割模块和特征提取模块；所述图像处理单元用于对所采集图像的预处理，提取出用户的手势，并进行手势的特征提取。

4.根据权利要求1所述的手势识别系统，其特征在于，所述图形比较单元为手势选取模块；所述图像比较单元用于对图像处理单元所提取的用户手势进行对比，以确定用户手势图像。

5.根据权利要求1所述的手势识别系统，其特征在于，所述手势识别单元包括手势数据库及手势匹配模块，手势识别模块；所述手势数据库及手势匹配模块，用于图像比较单元所选取的最优手势与手势数据库的匹配；所述手势识别模块，用于对最优图像的图像处理并进行手势识别，并输出识别结果。

6.一种实现权利要求1所述的三维空间中的手势识别系统的手势识别方法，其特征在于，包括以下步骤：

步骤1、红外照明模块照亮手势操作区域；

步骤2、手势采集模块中各个摄像头采集用户手势操作图像；

步骤3、图像处理单元对多个摄像头所采集的图像进行处理，提取出各个摄像头在同一时刻采集到的用户手势；

步骤4、图像比较单元对比同一时刻所提取的各个用户手势图像，依照选取规则，选择同一时刻所提取的各个用户手势图像中最优的手势图像；

步骤5、手势识别单元对所述最优的手势图像进行匹配和识别，并输出识别结果。

Images