CN101901350B - 一种基于特征向量的静态手势识别方法 - Google Patents

Abstract

本发明一种基于特征向量的静态手势识别方法，可概括为：首先在YCbCr颜色空间中用肤色特性对手势进行分割处理，然后选取特征向量描述手势，进行长度和角度归一化处理，根据特征向量确定手势中指尖的位置，最终用指尖和手势中心的相对位置对手势进行识别。该方法具有旋转不变性和缩放不变性，有很好的实时性，满足人机交互应用要求。

Description

一种基于特征向量的静态手势识别方法

(一)技术领域：

本发明涉及一种静态手势识别方法，尤其是一种基于特征向量的静态手势识别方法。属于人机交互领域。

(二)背景技术：

随着人机交互技术的发展，自然和谐的人机交互方式日益受到人们的重视。基于视觉的手势识别技术，以其自然性、简洁性和直接性的特点，提供了一个自然的人机交互接口，受到了研究者的重视。由于人手非刚体的特性，传统的具有旋转不变性和缩放不变性的识别方法，例如傅立叶描述子、图像不变矩等，在手势识别的应用中遇到了种种问题，不能满足人机交互对手势识别实时性的要求。

经过对现有的文献资料研究发现，覃文军等2009年在《东北大学学报(自然科学版)》第30卷第9期发表的论文《基于傅立叶描述子-BP神经网络的手势识别方法》中提出了一种基于傅立叶描述子和BP神经网路的手势识别方法，首先通过多特征融合的手势分割方法提取手势区域，然后结合傅立叶描述子较好的轮廓描绘能力和BP神经网络较好的自学习能力，用傅立叶描述子和BP神经网络的方法对手势进行识别。该论文的方法得到了较高的识别率，但是算法计算量大，识别一幅图像需要4.5秒时间，远不能达到实时应用的要求；同时由于傅立叶描述子适用于对刚体的轮廓描述，因此应用于手势识别中，并不能很好的描述不同角度下的同一手势，其算法的鲁棒性差。

(三)发明内容：

本发明的目的在于提出一种基于特征向量的静态手势识别方法，以解决现有技术在手势识别应用中计算量大、识别结果受手势方向影响大的问题，克服现有技术中的缺陷。

本发明的技术方案概括为：首先在YCbCr颜色空间中用肤色特性对手势进行分割处理，然后选取特征向量描述手势，进行长度和角度归一化处理，根据特征向量确定手势中指尖的位置，最终用指尖和手势中心的相对位置对手势进行识别。

本发明一种基于特征向量的静态手势识别方法，其具体步骤如下：

步骤1：手势分割

采用Logitech QuickCam Pro9000摄像头采集图像，获得图像尺寸为320×240，图像格式为JPEG，拍摄背景无类似肤色的区域，被拍摄的用户穿非肤色长袖衣服。对得到的图像，首先从RGB颜色空间转化到YCbCr颜色空间，之后选择Cb、Cr分量的中心值和阈值，其中Cb分量中心值Cb_mid＝115，Cr分量中心值Cr_mid＝145，阈值l_thres＝15，对输入图像的各像素计算其Cb、Cr值与中心值的欧式距离dist：

$\mathrm{dist}=\sqrt{{\left({\mathrm{Cb}-\mathrm{Cb}}_{\mathrm{mid}}\right)}^2+{\left({\mathrm{Cr}-\mathrm{Cr}}_{\mathrm{mid}}\right)}^2}---\left(1\right)$

若dist小于相应的阈值l_thres，则将该像素的值设为1，否则将其值设为0，将输入图像转化为二值图像。对得到的二值图像进行一次腐蚀膨胀处理，并假定图像中最大连通区域为手势所在区域。

步骤2：获得手势的中心、方向和边缘

将手势图像转化为二值图像后，通过计算获得手势的中心、方向，并提取手势的边缘。具体方法如下：

由式(2)和式(3)计算手势中心点坐标x和y：

$x=\frac{{\mathrm{\Σ}}_{i=1}^n{\mathrm{\Σ}}_{j=1}^m\mathrm{jB}[i,j]}{{\mathrm{\Σ}}_{i=1}^n{\mathrm{\Σ}}_{j=1}^{m}B[i,j]}---\left(2\right)$

$y=\frac{{\mathrm{\Σ}}_{i=1}^n{\mathrm{\Σ}}_{j=1}^m\mathrm{iB}[i,j]}{{\mathrm{\Σ}}_{i=1}^n{\mathrm{\Σ}}_{j=1}^{m}B[i,j]}---\left(3\right)$

式中，B[i，j]表示图像中第i行第j列的值，图像的大小为n×m。

手势方向θ的计算式如下：

$\mathrm{\θ}=\frac{1}{2}{\tan }^{-1}\left[\frac{{2\mathrm{\μ}}_{11}}{{\mathrm{\μ}}_{20}-{\mathrm{\μ}}_{02}}\right]---\left(4\right)$

式中，μ₁₁、μ₂₀、μ₀₂为图像的二阶中心矩。

用Canny算子从二值图像中提取手势的边缘。

步骤3：选取特征向量

计算手势中心点和边缘各点连线的角度，找出角度与手势方向角最接近的点，以该点为起始点，对手势边界进行n等分，得边界上的n个点。以手势中心点为起始点，边界上的n个点之一为终止点构造向量，用n个向量来表征该手势。为消除输入图像中手势的尺寸对识别的影响，选取特征向量中长度最长的向量，将其长度设置为100，将其它向量的长度归一化到(0，100)。经实验，采用n＝60。

步骤4：定位指尖位置

将步骤3得到的特征向量视为一个首尾相连的向量组，消除起始点选择对向量组的影响，保证特征向量对旋转不敏感。从向量组中求出局部极大值和局部极小值，其中局部极大值对应的点为指尖点候选点，而其相邻的两个局部极小值点的角度差为手指所在区域的角度。选定手指长度阈值l_th和角度阈值θ_th，用指尖到手势中心的长度l和手指所在区域的角度θ与设定阈值相比较来判定指尖候选点是否为指尖。当l＞l_th且θ＜θ_th时，则该特征向量的终点所在位置为指尖位置，否则该点为非指尖。经实验，采用l_th＝53，θ_th＝1.87。

步骤5：手势识别

根据步骤2和步骤4得到手势中心点和指尖位置，构造一组以手势中心点为起点，指尖位置为终点的向量。找出这些向量中两两间最大的夹角，以夹角最大的两个向量中的一个为起始向量，将其角度设置为0，在保证各向量相对角度不变的前提下，使其它向量与起始向量的逆时针夹角和之和最小，得到唯一的归一化结果。得到角度归一化的向量组之后，确定手势包含的手指数；根据手指的相对位置和长度信息，对包含相同手指数的不同手势进行区分。

本发明优点及功效在于：对手势的识别具有旋转不变性和缩放不变性，计算简单，满足实时处理要求，适用于不同人手的不同手势的识别。

(四)附图说明：

图1为本发明方法的算法框图。

图2为手势的中心和方向示意图，图中菱形代表手势的中心，图中箭头代表手势的方向。

图3为手势的特征向量示意图。

其中，图3(a)为2手指手势特征向量示意图；

图3(b)为4手指手势特征向量示意图。

图4为指尖位置图，图中菱形为本发明方法定位的指尖位置。

其中，图4(a)为3手指定位结果图；

图4(b)为5手指定位结果图；

(五)具体实施方法：

本发明的技术方案概括为：首先在YCbCr颜色空间中用肤色特性对手势进行分割处理，然后选取特征向量描述手势，进行长度和角度归一化处理，根据特征向量确定手势中指尖的位置，最终用指尖和手势中心的相对位置对手势进行识别。

下面结合附图对本发明的技术方案作进一步的详细描述。主要步骤如下：

步骤1：手势分割

本发明采用Logitech QuickCam Pro9000摄像头采集图像，获得彩色图像尺寸为320×240，图像格式为JPEG，拍摄背景无类似肤色的区域，被拍摄的用户穿非肤色长袖衣服。对得到的手势图像，首先从RGB颜色空间转化到YCbCr颜色空间，之后选择Cb、Cr分量的中心值和阈值，其中Cb分量中心值Cb_mid＝115，Cr分量中心值Cr_mid＝145，阈值l_thres＝15，对输入图像的各像素计算其Cb、Cr值与中心值的欧式距离dist：

$\mathrm{dist}=\sqrt{{\left({\mathrm{Cb}-\mathrm{Cb}}_{\mathrm{mid}}\right)}^2+{\left({\mathrm{Cr}-\mathrm{Cr}}_{\mathrm{mid}}\right)}^2}---\left(1\right)$

若dist小于相应的阈值l_thres，则将该像素值设为1，否则将其值设为0，从而将输入图像转化为二值图像。对得到的二值图像进行一次腐蚀膨胀处理，并假定图像中最大连通区域为手势所在区域。

步骤2：获得手势的中心、方向和边缘

将手势图像转化为二值图像后，通过计算获得手势的中心、方向，并提取手势的边缘。

由式(2)和式(3)计算手势中心点坐标x和y：

$x=\frac{{\mathrm{\Σ}}_{i=1}^n{\mathrm{\Σ}}_{j=1}^m\mathrm{jB}[i,j]}{{\mathrm{\Σ}}_{i=1}^n{\mathrm{\Σ}}_{j=1}^{m}B[i,j]}---\left(2\right)$

$y=\frac{{\mathrm{\Σ}}_{i=1}^n{\mathrm{\Σ}}_{j=1}^m\mathrm{iB}[i,j]}{{\mathrm{\Σ}}_{i=1}^n{\mathrm{\Σ}}_{j=1}^{m}B[i,j]}---\left(3\right)$

式中，B[i，j]表示图像中第i行第j列的值，图像的大小为n×m。

手势方向θ的计算式如下：

$\mathrm{\θ}=\frac{1}{2}{\tan }^{-1}\left[\frac{{2\mathrm{\μ}}_{11}}{{\mathrm{\μ}}_{20}-{\mathrm{\μ}}_{02}}\right]---\left(4\right)$

式中，μ₁₁、μ₂₀、μ₀₂为图像的二阶中心矩。

用Canny算子从二值图像中提取手势的边缘。

图2为手势的中心和方向示意图，图中菱形代表手势的中心，图中箭头代表手势的方向。

步骤3：选取特征向量

计算手势中心点和边缘各点连线的角度，找出角度与手势方向角最接近的点，以该点为起始点，对手势边界进行n等分，得边界上的n个点。以手势中心点为起始点，边界上的n个点之一为终止点构造向量，用n个向量来表征该手势。为消除输入图像中手势的尺寸对识别的影响，选取特征向量中长度最长的向量，将其长度设置为100，将其它向量的长度归一化到[0，100]。经实验，采用n＝60。

图3(a)为对2手指手势选取特征向量结果图，图3(b)为对4手指手势选取特征向量结果图，

步骤4：定位指尖位置

将步骤3得到的特征向量视为一个首尾相连的向量组，消除起始点选择对向量组的影响，保证特征向量对旋转不敏感。从向量组中求出局部极大值和局部极小值，其中局部极大值对应的点为指尖点候选点，而其相邻的两个局部极小值点的角度差为手指所在区域的角度。选定手指长度阈值l_th和角度阈值θ_th，用指尖到手势中心的长度l和手指所在区域的角度θ与设定阈值相比较来判定指尖候选点是否为指尖。当l＞l_th且θ＜θ_th时，则该特征向量的终点所在位置为指尖位置，否则该点为非指尖。经实验，采用l_th＝53，θ_th＝1.87。

图4(a)为对3手指手势的指尖定位结果图，图4(b)为对5手指手势的指尖定位结果图。

步骤5：手势识别

根据步骤2和步骤4得到手势中心点和指尖位置，构造一组以手势中心点为起点，指尖位置为终点的向量。找出这些向量中两两间最大的夹角，以夹角最大的两个向量中的一个为起始向量，将其角度设置为0，在保证各向量相对角度不变的前提下，使其它向量与起始向量的逆时针夹角和之和最小，得到唯一的归一化结果。得到角度归一化的向量组之后，确定了手势包含的手指数；根据手指的相对位置和长度信息，对包含相同手指数的不同手势进行区分。本发明方法识别一幅手势图像耗时0.4秒左右，而覃文军等的方法识别一幅手势图像耗时在4.5秒左右。在本发明优点及功效在于：对手势的识别具有旋转不变性和缩放不变性，计算简单，满足实时处理要求，有很好的识别率。

说明书附图中出现的英文符号，其含义如下：

l：用指尖到手势中心的长度；

θ：手指所在区域的角度；

l_th：手指长度阈值，设为53；

θ_th：角度阈值，设为1.87。

Claims (1)

1.一种基于特征向量的静态手势识别方法，其特征在于，包括下述几个步骤：

步骤1：手势分割

采用Logitech QuickCam Pro9000摄像头采集图像，获得图像尺寸为320×240，图像格式为JPEG，拍摄背景无类似肤色的区域，被拍摄的用户穿非肤色长袖衣服；对得到的图像，首先从RGB颜色空间转化到YCbCr颜色空间，之后选择Cb、Cr分量的中心值和阈值，其中Cb分量中心值Cb_mid＝115，Cr分量中心值Cr_mid＝145，阈值l_thres＝15，对输入图像的各像素计算其Cb、Cr值与中心值的欧式距离dist：

$\mathrm{dist}=\sqrt{{\left({\mathrm{Cb}-\mathrm{Cb}}_{\mathrm{mid}}\right)}^2+{\left({\mathrm{Cr}-\mathrm{Cr}}_{\mathrm{mid}}\right)}^2}---\left(1\right)$

若dist小于相应的阈值l_thres，则将该像素的值设为1，否则将其值设为0，从而将输入图像转化为二值图像；对得到的二值图像进行一次腐蚀膨胀处理，并假定图像中最大连通区域为手势所在区域；

步骤2：获得手势的中心、方向和边缘

将手势图像转化为二值图像后，通过计算获得手势的中心、方向，并提取手势的边缘；

由式(2)和式(3)计算手势中心点坐标x和y：

$x=\frac{{\mathrm{\Σ}}_{i=1}^n{\mathrm{\Σ}}_{j=1}^m\mathrm{jB}[i,j]}{{\mathrm{\Σ}}_{i=1}^n{\mathrm{\Σ}}_{j=1}^{m}B[i,j]}---\left(2\right)$

$y=\frac{{\mathrm{\Σ}}_{i=1}^n{\mathrm{\Σ}}_{j=1}^m\mathrm{iB}[i,j]}{{\mathrm{\Σ}}_{i=1}^n{\mathrm{\Σ}}_{j=1}^{m}B[i,j]}---\left(3\right)$

式中，B[i，j]表示图像中第i行第j列的值，图像的大小为n×m；

手势方向θ的计算式如下：

$\mathrm{\θ}=\frac{1}{2}{\tan }^{-1}\left[\frac{{2\mathrm{\μ}}_{11}}{{\mathrm{\μ}}_{20}-{\mathrm{\μ}}_{02}}\right]---\left(4\right)$

式中，μ₁₁、μ₂₀、μ₀₂为图像的二阶中心矩；

用Canny算子从二值图像中提取手势的边缘；

步骤3：选取特征向量

计算手势中心点和边缘各点连线的角度，找出角度与手势方向角最接近的点，以该点为起始点，对手势边界进行n等分，得到边界上的n个点；以手势中心点为起始点，边界上的n个点之一为终止点构造向量，用这n个向量来表征该手势；为消除输入图像中手势的尺寸对识别的影响，选取特征向量中长度最长的向量，将其长度设置为100，将其它向量的长度归一化到(0，100)；采用n＝60；

步骤4：定位指尖位置

将步骤3得到的特征向量视为一个首尾相连的向量组，消除起始点选择对向量组的影响，保证特征向量对旋转不敏感；从向量组中求出局部极大值和局部极小值，其中局部极大值对应的点为指尖点候选点，而其相邻的两个局部极小值点的角度差为手指所在区域的角度；选定手指长度阈值l_th和角度阈值θ_th，用指尖到手势中心的长度l和手指所在区域的角度θ与设定阈值相比较来判定指尖候选点是否为指尖；当l＞l_th且θ＜θ_th时，则该特征向量的终点所在位置为指尖位置，否则该点为非指尖；采用l_th＝53，θ_th＝1.87；

步骤5：手势识别

根据步骤2和步骤4得到手势中心点和指尖位置，构造一组以手势中心点为起点，指尖位置为终点的向量；找出这些向量中两两间最大的夹角，以夹角最大的两个向量中的一个为起始向量，将其角度设置为0，在保证各向量相对角度不变的前提下，使其它向量与起始向量的逆时针夹角和之和最小，得到唯一的归一化结果；得到角度归一化的向量组后，则确定了手势包含的手指数；根据手指的相对位置和长度信息，对包含相同手指数的不同手势进行区分。

Images