CN103679145A - 一种手势自动识别方法 - Google Patents

Abstract

本发明提出了一种手势自动识别方法，所述方法将获得的手势视频数据中的每帧源图像转换到YCbCr颜色空间；运用肤色椭圆模型进行皮肤检测；使用连通域分析、边缘检测和轮廓提取完成手势分割；通过手势分析来进行特征向量提取，选取图像归一化转动惯量、不变矩特征等统计特征参数，手势的外围矩形、方向、周长、面积、比例值等形状特征参数，和手指的个数、是否包含拇指等结构特征参数作为分析识别手势的参数；采用基于改进欧氏距离的模板匹配法进行手势识别。该方法可有效识别不同手势，使得以高效、直接、自然的手势为主要方式的人机交互更加接近人与人之间的交流。

Description

一种手势自动识别方法

技术领域

本发明属于人机交互和计算机视觉领域，具体指的是一种手势自动识别方法。

背景技术

手势识别技术是一种高效、直接、自然的人机交互方式，但是由于技术水平的限制，以及手的高自由度所引起的手势复杂、变化多样、移动高速等特性，使得手势识别成为极具挑战性的研究课题之一。

发明内容

本发明所要解决的技术问题是为了克服现有技术的不足，提出一种手势自动识别方法。所述方法显著提高对摄像头获取的手势图像的识别准确率和识别速度。

为了解决上述技术问题，本发明所采用的技术方案是：

一种手势自动识别方法，包括如下步骤：

步骤A，采集手势视频数据；

步骤B，对步骤A得到的视频数据中的每帧源图像进行中值滤波；

步骤C，将步骤B得到的中值滤波图像映射到YCbCr颜色空间；

步骤D，对步骤C得到的YCbCr颜色空间中的图像像素点，使用肤色椭圆模型进行皮肤检测，得到二值图像；

步骤E，找出步骤D得到的二值图像中的面积最大连通域，并对其进行边缘检测和轮廓提取来分割手势，得到手势边缘图像和轮廓矩阵；

步骤F，基于步骤D得到的二值图像和步骤E得到的边缘图像和轮廓矩阵，提取手势特征向量；

步骤G，根据步骤F得到的特征向量，采用基于改进欧氏距离的模板匹配法进行手势的特征匹配和识别。

步骤D中，所述皮肤检测，其具体过程如下：

步骤D-1，将步骤C得到的YCbCr颜色空间中的图像像素点向CbCr平面进行投影，得到次平面；

步骤D-2，对步骤D-1得到的次平面上的图像像素点做K-L变换；

步骤D-3，对步骤D-2得到的K-L变换后的图像像素点用椭圆模型进行分类，得到二值图像。

步骤E中，所述连通域是指二值图像中，像素点同值连片区域，该同值连片区域中，没有不同值的像素点。

步骤F中，所述提取手势特征向量，其具体过程如下：

步骤F-1，对步骤D得到的二值图像和步骤E得到的手势边缘图像和轮廓矩阵进行定量描述，提取手势的统计特征参数，所述统计特征参数包括图像归一化转动惯量和不变矩特征；

步骤F-2，对步骤D得到的二值图像和步骤E得到的手势边缘图像和轮廓矩阵进行定量描述，提取手势的形状特征参数，所述形状特征参数包括外围矩形、方向、周长、面积、比例值；

步骤F-3，对步骤D得到的二值图像和步骤E得到的手势边缘图像和轮廓矩阵进行定量描述，提取手指的个数，并判定是否包含拇指。

本发明的有益效果是：本发明提出了一种手势自动识别方法，所述方法将获得的手势视频数据中的每帧源图像转换到YCbCr颜色空间；运用肤色椭圆模型进行皮肤检测；使用连通域分析、边缘检测和轮廓提取完成手势分割；通过手势分析来进行特征向量提取，选取图像归一化转动惯量、不变矩特征等统计特征参数，手势的外围矩形、方向、周长、面积、比例值等形状特征参数，和手指的个数、是否包含拇指等结构特征参数作为分析识别手势的参数；采用基于改进欧氏距离的模板匹配法进行手势识别。该方法可有效识别不同手势，使得以高效、直接、自然的手势为主要方式的人机交互更加接近人与人之间的交流。

附图说明

图1是本发明的手势自动识别方法的流程图。

图2是手势区域的外围矩形。

图3是判断手势的方向。

图4是扫描手势图像中手指的个数。

图5是手外围矩形的中心A与手势二值图像的重心B。

具体实施方式

下面结合附图，对本发明提出的手势识别方法进行详细说明：

如图1所示，本发明的手势自动识别方法，其步骤如下

步骤101，采集手势视频数据；

步骤102，对步骤101得到的视频数据中的每帧源图像进行预处理；

步骤103，对步骤102得到的预处理后的图像由RGB颜色空间转换到YCbCr颜色空间；

步骤104，对步骤103得到的YCbCr颜色空间中的图像像素点，使用肤色椭圆模型进行皮肤检测，得到二值图像；

步骤105，对步骤104得到的二值图像中的最大连通域进行边缘检测和轮廓提取来分割手势，得到边缘图像和轮廓矩阵；

步骤106，基于步骤104得到的二值图像和步骤105得到的边缘图像和轮廓矩阵，提取手势特征向量；

步骤107，根据步骤106提取的手势特征向量判断手势的类别。

下面结合图1-5详细说明本发明的手势自动识别方法。

1.颜色空间转换

本发明在颜色空间转换步骤使用YCbCr颜色空间。因为YCbCr具有二维独立分布性质，能够较好的限制肤色分布区域。通过对肤色像素点在YCbCr空间中做投影，可以将肤色像素点聚类成椭圆形分布。

YCbCr是DVD、摄像机、数字电视等消费类视频产品中常用的色彩编码方案。YCbCr有时也称为YCC。YCbCr在模拟分量视频中也常被称为YPbPr。YCbCr不是一种绝对色彩空间，是YUV压缩和偏移的版本。YCbCr中的Y是指亮度分量，Cb指蓝色色度分量，而Cr指的是红色色度分量。YCbCr色彩模型被广泛应用在电视的色彩显示领域，具有将空间中的色度与亮度分离的特点。人的肉眼对视频的Y分量更敏感，因此在通过对色度分量进行子采样来减少色度分量后，肉眼将察觉不到图像质量的变化。

YCbCr是设备无关的，与RGB之间具有简单的线性变换关系。

$\left[\begin{array}{c}Y\\ \mathrm{Cb}\\ \mathrm{Cr}\end{array}\right]=\left[\begin{array}{c}16\\ 128\\ 128\end{array}\right]+\frac{1}{256}\left[\begin{array}{ccc}65.738& 129.057& 25.064\\ -37.945& -74.494& 112.439\\ 112.439& -94.154& -18.285\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]---\left(1\right)$

2.皮肤检测

皮肤检测主要是根据肤色在颜色空间上的分布特征来检测图像中的皮肤区域。利用颜色信息对皮肤检测是因为不同人的肤色在排除亮度、室内环境等因素对肤色的影响之后，皮肤的色调基本一致。

为了使肤色聚类不受亮度Y的影响，首先将映射到YCbCr颜色空间中的图像像素点向CbCr平面进行投影，然后进行K-L变换，最后用肤色椭圆模型进行皮肤检测。椭圆内部的点判定为肤色点，椭圆外部的点判定为非肤色点。椭圆模型的公式如下：

$\frac{{(x-{\mathrm{ec}}_x)}^2}{a^2}+\frac{{(y-{\mathrm{ec}}_y)}^2}{b^2}=1---\left(2\right)$

$\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{cc}\cos \mathrm{\θ}& \sin \mathrm{\θ}\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]\left[\begin{array}{c}{\mathrm{cb}}^{`}-c_x\\ {\mathrm{cr}}^{`}-c_y\end{array}\right]---\left(3\right)$

其中c_x=109.38,c_y=152.02,θ=2.53(弧度)，ec_x=1.60，ec_y=2.41，a=25.39，b=14.03。

3.手势分割

经过皮肤检测步骤得到的图像是二值图像，皮肤部分为白色，背景为黑色。借助连通域算法，可以找到每一个相连通的部分，并对每一个连通的部分进行赋值，以便于区分。在所有找出的连通域中，找到面积最大的连通域并提取出来，这个最大连通域就是手势部分。接下来对这个最大连通域进行边缘检测和轮廓提取。这里采用的是Canny边缘检测算法和八邻域搜索法。

4.手势特征提取

经过前三个步骤，得到了手势的二值图像、边缘图像以及轮廓矩阵。在这些数据中包含了手势的原始特征。通常，手势的原始特征的数据量会很大，所以有必要通过特征提取降低特征空间的维数。这里抽取的手势特征主要有统计特征、形状特征和结构特征。

（1）统计特征参数

（1a）图像归一化转动惯量（NMI）

图像的NMI值具有抗灰度畸变性、平移不变性、旋转不变性、大小不变性等特点。在二维图像处理中，习惯上用二维坐标函数f(x,y)表示图像在(x,y)点的灰度，即亮度值。若将二维图像看成具有一定质量的平面薄片，灰度值f(x,y)表示图像在(x,y)点的质量，结合物理学上物体质量、重心及转动惯量的概念，对二维图像图像质量进行如下定义：

将二维灰度图像中所有像素的灰度值之和定义为该图像的质量，记为m，计算公式如下：

$m=\underset{\mathrm{\Ω}}{\∫\∫}f(x,y)\mathrm{dxdy}---\left(4\right)$

其中Ω为手势图像所占的二维空间区域。

用

来代表图像的重心，则有式(5)和(6)：

$\stackrel{\‾}{x}=\frac{\underset{\mathrm{\Ω}}{\∫\∫}x\·f(x,y)\mathrm{dxdy}}{m}=\frac{\underset{\mathrm{\Ω}}{\∫\∫}x\·f(x,y)\mathrm{dxdy}}{\underset{\mathrm{\Ω}}{\∫\∫}f(x,y)\mathrm{dxdy}}---\left(5\right)$

$\stackrel{\‾}{y}=\frac{\underset{\mathrm{\Ω}}{\∫\∫}y\·f(x,y)\mathrm{dxdy}}{m}=\frac{\underset{\mathrm{\Ω}}{\∫\∫}y\·f(x,y)\mathrm{dxdy}}{\underset{\mathrm{\Ω}}{\∫\∫}f(x,y)\mathrm{dxdy}}---\left(6\right)$

对于均匀灰度值的二值图像，图像的重心即该图像所占平面图形的形心。图像在点(x₀,y₀)的转动惯量记为

定义为下式：

$J_{(x_0,y_0)}=\underset{\mathrm{\Ω}}{\∫\∫}({(x-x_0)}^2+{(y-y_0)}^2)f(x,y)\mathrm{dxdy}---\left(7\right)$

根据图像的质量、重心、转动惯量的定义，给出图像绕重心

的归一化转动惯量NMI如式（8）：

$\mathrm{NMI}=\frac{\sqrt{J_{(x_0,y_0)}}}{m}=\frac{\sqrt{\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}({(x-x_0)}^2+(y-y_0{)}^2)f(x,y)}}{\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}f(x,y)}---\left(8\right)$

（1b）矩特征

对于手势图像函数f(x,y)，如果它分段连续并且在XOY平面上只有有限个点不为0，则可以证明它的各阶矩存在。手势图像的p+q阶矩、p+q阶中心距和归一化中心矩是用所有属于手势区域内的像素点计算出来的，因而不太受噪声的影响。

（2）形状特征参数

这类特征主要由手势的形状所决定，同时也要符合平移和尺度不变性的原则。这里提取的形状特征主要包含两类，一类是以手势的轮廓为基础，计算出的手势不变特征，另一类是通过图像中的各种手势属性计算出的比例参数。

（2a）外围矩形

为了使计算更加精确，消除图像中的冗余信息，在计算手势特征之前需要找到一个精确的手势区域，称之为外围矩形。如图2所示，外围矩形就是由图像中手势区域最外围四条切线（上、下、左、右四个方向）所组成的矩形区域。计算过程如下：首先从上下两个方向对手势图像进行逐行扫描找到手势图像在上下两个方向最外围的点顶点和底点，同理对图像在左右两个方向进行逐列扫描得到左端点和右端点，经过这四个点分别作出手势的切线，四条切线相交形成矩形。得到外围矩形之后可以计算出外围矩形的高和宽。

（2b）手势的方向

在得到手势矩形的基础上，判断手势的方向。这里假设所涉及的均为左右方向的手势，如图3所示，将外围矩形平均分为两个部分，分别计算两个部分中的手势面积A和B。如果A小于B，则手势的方向为从左到右，也就是左手手势，返回值为0。如果A大于B，则为右手图像，返回值为1。同理可分析上下方向的手势。

（2c）手势的周长=手势轮廓上的像素总数。

（2d）手势的面积=手势矩形区域内包含的像素总数。

（2e）手势的比例特征

即由图像中手势的属性以及外围矩形相结合计算出来的比例特征，包括由手势的总面积以及不同区域内手势的面积所得出的四个参数。

参数1是手势外围矩形右上方1/2矩形区域内的手势面积与手势外围矩形中手势区域的面积比。

与参数1的定义类似，参数2是手势外围矩形左上方1/3矩形区域内的手势面积与手势外围矩形中手势面积比。

通过大量实验我们发现，参数1和参数2能够比较好的代表指定手势的比例参数，具有很好的区分度。

参数3为手势形状比例特征参数，是手势的周长的平方和手势的面积的比值。该参数对于图像的旋转、平移和缩放具有不变性。

参数4为手势的外围矩形宽高比。

（3）结构特征参数

通常情况下，手势的结构特征都比较直观明显，例如手势图像中手指的个数（不包含大拇指）、手势中是否含有大拇指。

（3a）手指的个数

在前面得到的手势矩形的基础上，可以通过图4所示方法来获得手势图像中手指的个数。以手势图像的左方为起始方向，以图像中的像素列为单位对手势图像进行隔列扫描，扫描的过程中间隔像素单位为10，也就是被扫描的两列像素点之间间隔为10。在扫描的过程中记录每列扫描到轮廓点的个数k_i(1≤k≤10)，k_i就是手势区域第i列像素在手势轮廓上的点的个数，取扫描过程中k_i的最大值k_max，图像中手指的个数=k_max/2。

（3b）判定是否包含拇指

手势的这一结构特征主要是为了判定是否有大拇指，并指出大拇指的朝向。当没有大拇指时返回值为0，大拇指朝上、下、左、右时返回值分别为1、2、3和4。具体算法如下：如图5所示，首先找到手势二值图像的重心B，然后与外围矩形的中心A相比较，如果手势二值图像的重心B的纵坐标与手外围矩形的中心A的横、纵坐标基本相符（误差小于5），则说明手势中没有拇指。否则，如果手势二值图像的重心B在手势外围矩形中心A的下面，则说明手势中含有拇指，并且拇指指向的方向向上。如果手势二值图像的重心在手势外围矩形中心的上面，则说明手势图像中含有拇指，并且拇指方向向下。左右方向可以进行类似的判断。

5.手势识别

这里采用基于欧氏距离的模板匹配法进行手势的特征匹配和识别。在具体的匹配过程中采用改进的欧氏距离，其计算公式如下：

$D=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\β}}_i{({\mathrm{\φ}}_i-F_i)}^2---(5-1)$

其中D为欧氏距离，φ_i为待识别的手势特征向量中的特征分量，F_i为手势模板库中相应的特征分量。β_i为权系数。这里β_i=1/n。

在计算出待识别手势的特征向量与模板库中每个手势模板间的欧氏距离之后，比较出其中的最小值，并且最小值应当小于20(大于20时确定为无法识别)，输出相应的模板序号，即完成手势的特征匹配和识别。

通过上述实施方式，可见本发明具有如下优点：

（1）本方法通过摄像头实时采集手势图像并对其中的手势进行自动识别，能够在一定程度上克服光照等环境因素的干扰，达到较高的识别率，使得以手势为主要方式的人机交互更加接近人与人之间的交流。

（2）本发明选取对应不同手势形状取值差异较大的特征作为模板匹配特征。这些特征对图像缩放、旋转、平移和尺度保持一定的不变性，能够很好的描述和区分不同的手势，在计算速度和识别准确率上都取得了很好的效果。

Claims (4)

1.一种手势自动识别方法，其特征在于，包括如下步骤：

步骤A，采集手势视频数据；

步骤B，对步骤A得到的视频数据中的每帧源图像进行中值滤波；

步骤C，将步骤B得到的中值滤波图像映射到YCbCr颜色空间；

步骤D，对步骤C得到的YCbCr颜色空间中的图像像素点，使用肤色椭圆模型进行皮肤检测，得到二值图像；

步骤E，找出步骤D得到的二值图像中的面积最大连通域，并对其进行边缘检测和轮廓提取来分割手势，得到手势边缘图像和轮廓矩阵；

步骤F，基于步骤D得到的二值图像和步骤E得到的边缘图像和轮廓矩阵，提取手势特征向量；

步骤G，根据步骤F得到的特征向量，采用基于改进欧氏距离的模板匹配法进行手势的特征匹配和识别。

2.根据权利要求1所述的一种手势自动识别方法，其特征在于，步骤D中，所述皮肤检测，其具体过程如下：

步骤D-1，将步骤C得到的YCbCr颜色空间中的图像像素点向CbCr平面进行投影，得到次平面；

步骤D-2，对步骤D-1得到的次平面上的图像像素点做K-L变换；

步骤D-3，对步骤D-2得到的K-L变换后的图像像素点用椭圆模型进行分类，得到二值图像。

3.根据权利要求1所述的一种手势自动识别方法，其特征在于，步骤E中，所述连通域是指二值图像中，像素点同值连片区域，该同值连片区域中，没有不同值的像素点。

4.根据权利要求1所述的一种手势自动识别方法，其特征在于，步骤F中，所述提取手势特征向量，其具体过程如下：

步骤F-1，对步骤D得到的二值图像和步骤E得到的手势边缘图像和轮廓矩阵进行定量描述，提取手势的统计特征参数，所述统计特征参数包括图像归一化转动惯量和不变矩特征；

步骤F-2，对步骤D得到的二值图像和步骤E得到的手势边缘图像和轮廓矩阵进行定量描述，提取手势的形状特征参数，所述形状特征参数包括外围矩形、方向、周长、面积、比例值；

步骤F-3，对步骤D得到的二值图像和步骤E得到的手势边缘图像和轮廓矩阵进行定量描述，提取手指的个数，并判定是否包含拇指。

Images