CN102880865A - 基于肤色与形态特征的动态手势识别方法 - Google Patents

Abstract

本发明公开了一种基于肤色与形态特征的动态手势识别方法，该方法为：采集视频图像，得到当前的视频帧；对采集到的视频帧作肤色阈值处理，得到肤色二值图像；将二值图像进行滤波降噪处理，提高图像质量；检测识别肤色二值图像中的人手部分；根据人手部分的重心位置信息识别手势的动作。本发明具有一下优点：（1）实时性好，响应时间短，可以应用到人机交互领域；（2）成本低廉，通过摄像头和计算机或DSP之类的处理设备即可组成；（3）稳定性好，对于手势的旋转、平移、变形，本算法都有较好的处理效果。本发明可应用于人机交互领域。

Description

基于肤色与形态特征的动态手势识别方法

技术领域

本发明所述的基于肤色与形态特征的动态手势识别方法，属于一种利用摄像头检测视频信息的方法，主要用于人机交互系统、互动广告系统等领域。 

背景技术

随着社会的计算机化，计算机在现代社会中的影响迅速扩大。随着计算机性能的逐步提高和各领域对计算机使用的不断深入，高性能、高智能和高可靠性被普遍认为是当前计算机科学发展的主要方向。与鼠标键盘相比，基于手势识别的人机交互方式在自然性和易用性上有较大的优势，手势的直观性和强大语义使得人机交互变得更灵活、更直接、更方便。而且，基于视觉的手势交互还具有成本低廉、部署方便的特点。 

根据手势的时间特性，可以讲手势分为静态手势和动态手势两种。静态手势处理时只对一帧图像进行计算，主要是单个手形进行识别，不需要时间信息；动态手势则需要对序列图像进行分析，需要分析包含时间轴上的手势位置的变化以及手势形状的变化。 

由于手的形状不规则，灵活多变，很难提取特征，这也造成了手势识别的识别率低。本发明提供了一种稳定性好、识别率高的手势动作识别方法。 

发明内容

本发明提供了一种基于肤色与形态特征的动态手势识别方法，可以检测并判断人手的挥动方向，进而可以利用此信息控制机器，本发明具有稳定性好、识别率高等特点，可以应用在人机交互系统、互动广告系统等领域。 

本发明采用的技术方案为：一种基于肤色与形态特征的动态手势识别方法，包括以下步骤： 

步骤1：初始化，并截取一帧M×N大小的彩色图像，记为S₁，其中M和N为正整数，分别表示图像矩阵的行数和列数； 

步骤2：对图像S₁作高斯滤波处理，其方法为：首先，确定高斯滤波器模板，二维高斯函数的表达式为： 

$G(x,y)=e^{-\frac{x^2+y^2}{2{\mathrm{\σ}}^2}}$

设定σ²和n，可以确定高斯模板权值，取 

和n＝3，可以得到高斯模板： 

$G=\left(\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}\right)$

其次，用模板G扫描图像S₁中的每一个像素，经过滤波后的图像记为S₂，S₂中第i行第j列的像素点的值(记为 )，由图像S₁中第i行第j列的像素值(记为V_(i，j))和其领域内的其他像素值经过加权平均后得到，公式如下： 

$V_{(i,j)}{|}_{S_2}=G\left(\begin{array}{ccc}{V}_{(i-1,j-1)}& V_{(i-1,j)}& V_{(i-1,j+1)}\\ V_{(i,j-1)}& V_{(i,j)}& V_{(i,j+1)}\\ V_{(i+1,j-1)}& V_{(i+1,j)}& V_{(i+1,j+1)}\end{array}\right)$

步骤3：将图像S₂由RGB色彩空间转换为YCrCb色彩空间，具体方法为：将图像中第i行第j列的像素点记为(i，j)，点(i，j)的RGB值分别记为R_(i，j)，G_(i，j)，B_(i，j)，那么对应的YCrCb颜色空间的Y_(i，j)，Cr_(i，j)，Cb_(i，j)值分别为： 

$\left\{\begin{array}{c}{Y}_{(i,j)}=0.299*R_{(i,j)}+0.587*G_{(i,j)}+0.114*B_{(i,j)}\\ {\mathrm{Cr}}_{(i,j)}=-0.147*R_{(i,j)}-0.289*G_{(i,j)}+0.436*B_{(i,j)}\\ {\mathrm{Cb}}_{(i,j)}=0.615*R_{(i,j)}-0.515*G_{(i,j)}-0.100*B_{(i,j)}\end{array}\right.$

求出每个像素点的Y_(i，j)，Cr_(i，j)，Cb_(i，j)值，得到YCrCb颜色空间的图像，记为S₃； 

步骤4：对图像S₃作阈值分割处理，其方法如下：人皮肤颜色在YCrCb颜色空间中的Cr和Cb分量分布近似于一个椭圆形，其分布可由以下公式得到： 

$\frac{x^2}{a^2}+\frac{y^2}{b^2}=K$

其中，a＝25，b＝14，x，y的值由由以下公式决定： 

x＝25.6*(Cr_(i，j)-109)-19.2*(Cb_(i，j)-152)+51 

y＝25.6*(Cr_(i,j)-109)+19.2*(Cb_(i,j)-152)+77 

根据求出的K的值，对图像S₃进行肤色分割，对于点(i,j)，计算出其K值，将K的值与拟合椭圆方程的右值比较，若K的值小，则说明点(i,j)在拟合椭圆中，属于肤色点；若K的值大，则说明点(i,j)部在拟合椭圆中，属于非肤色点，由于拟合椭圆方程和YCrCb中的Y分量也有关系，故对于不同的Y值采取不同的拟合值，将图像S₃肤色分割后的图像记为S₄，S₄中像素点(i,j)的值记为V_(i,j)，V_(i,j)的值由以下阈值判决准则得到： 

执行阈值判决准则得到新的图像S₄，其为二值图像，大小为M×N； 

步骤5：对图像S₄作数字形态学处理，其方法如下：设3×3的结构元素B的取值为： 

$B=\left(\begin{array}{ccc}1& 1& 1\\ 1& 1& 1\\ 1& 1& 1\end{array}\right)$

首先，腐蚀图像，用结构元素B扫描图像S₄中的每一个图像，将结构元素与其覆盖的二值图像做“与”操作，如果都为1，结果图像的该像素值为1，否则为0，将结果图像的值赋给S₄， 

其次，膨胀图像，用结构元素B扫描图像S₄中的每一个图像，将结构元素与其覆盖的二值图像做“与”操作，如果都为0，结果图像的该像素值为0，否则为1，将结果图像的值赋给S₄； 

步骤6：从图像S₄中检测人手，具体方法如下： 

a)检索整个图像S₄中的非零像素点，有很多非零像素点连接在一起的区域 称为肤色块，寻找面积大于一定阈值的肤色块，并按肤色块面积的由大到小排序，首先选择肤色块面积最大的进行检测； 

b)按照如下述公式求出肤色块的圆形度： 

$e=\frac{4\mathrm{\π}*A}{P^2}$

其中，A是肤色块的面积，P是肤色块的周长，将肤色块记为S_f，S₄中像素点(i,j)的值记为V_(i,j)，肤色块面积A可由肤色块中非零像素点之和求出，即： 

$A=\underset{(i,j)}{\overset{(i,j)\∈S_f}{\mathrm{\Σ}}}{V}_{(i,j)}$

P可由肤色块的边界点的个数得到，即： 

c)若肤色块的圆形度e的值在0.15-0.7之间，说明肤色块是人手，标记出此肤色块，停止检测，若不在，重复步骤b检测下一个肤色块；若在， 

执行步骤d 

d)返回相应的肤色块信息； 

步骤7：检测手的动态运动信息，具体方法如下： 

求出图像S₄中标记出的人手肤色块的重心，记为(i_c,j_c)，并记录，设当前图像是第k帧图像，重心记为((i_c)_k,(j_c)_k)，将图像沿水平方向由左向右分为宽度比为2:1:2的X₁，X₂，X₃三个部分，将图像沿竖直方向由下到上分为宽度比为2:1:2的Y₁，Y₂，Y₃三个部分，判断(i_c)_k属于X₁，X₂，X₃中的哪个部分，(j_c)_k属于Y₁，Y₂，Y₃的哪个部分，并记录； 

比较1,2,...,k帧图像的肤色块重心的水平坐标i_c在水平方向上的位置变化，若i_c移动轨迹是X₁→X₂→X₃，说明肤色块是向右移动，即手向右挥动，令k＝1，检测下一帧图像，若肤色块的水平坐标i_c移动轨迹是X₃→X₂→X₁，说明肤色块是向左移动，即手向左挥动，令k＝1，检测下一帧图像； 

比较1,2,...,k帧图像的肤色块重心的竖直坐标j_c在竖直方向上的位置变化， 若j_c移动轨迹是Y₁→Y₂→Y₃，说明肤色块是向上移动，即手向上挥动，令k＝1，检测下一帧图像，若肤色块的竖直坐标j_c移动轨迹是Y₃→Y₂→Y₁，说明肤色块是向下移动，即手向下挥动，令k＝1，检测下一帧图像； 

若以上4种情况都不满足，则令k加1，检测下一帧图像。 

有益效果：与现有的技术相比，本发明的特点在于： 

（1）算法比较简单，可以做到实时响应，从而可以应用到人机交互领域； 

（2）成本低廉，使用方便，通过摄像头和计算机或DSP之类的处理设备即可组成； 

（3）稳定性好，对于手势的旋转、平移、变形，本算法都有较好的处理效果。 

附图说明

图1为本发明基于肤色与形态特征的动态手势识别方法的系统结构流程图； 

图2为本发明图像沿水平方向的区域分块示意图； 

图3为本发明图像沿竖直方向的区域分块示意图； 

图4为本发明手的动态运动信息检测流程图。 

具体实施方式

下面结合附图对本发明作更进一步的说明。 

图1是本发明的系统执行流程图。该手部动作识别系统主要包括滤波降噪处理模块、色彩空间转化模块、肤色阈值处理模块、图像形态学处理模块、人手检测模块和动作识别模块。 

步骤1：初始化，从摄像头读入视频文件，并截取一帧M×N大小的彩色图像，记为S₁，其中M和N为正整数，分别表示图像矩阵的行数和列数， 

步骤2：对图像S₁作高斯滤波处理，高斯滤波能降低图像的噪声，提高图像的质量。其方法为：首先，确定高斯滤波器模板。二维高斯函数的表达式为： 

$G(x,y)=e^{-\frac{x^2+y^2}{2{\mathrm{\σ}}^2}}$

设定σ²和n，可以确定高斯模板权值。取 

和n＝3，可以得到高斯模板： 

$G=\left(\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}\right)$

其次，用模板G扫描图像S₁中的每一个像素经过滤波后的图像记为S₂，S₂中第i行第j列的像素点的值，由图像S₁中第i行第j列的像素值(记为 

)和其领域内的其他像素值经过加权平均后得到，公式如下： 

$V_{(i,j)}{|}_{S_2}=G\left(\begin{array}{ccc}{V}_{(i-1,j-1)}& V_{(i-1,j)}& V_{(i-1,j+1)}\\ V_{(i,j-1)}& V_{(i,j)}& V_{(i,j+1)}\\ V_{(i+1,j-1)}& V_{(i+1,j)}& V_{(i+1,j+1)}\end{array}\right)$

步骤3：对图像S₂进行色彩空间转换，由于RGB空间里肤色受亮度的影响比较大，所以肤色很难从非肤色点中分离出来。将采集的图像色彩空间由RGB转化为YCrCb，可以忽略对亮度的影响。具体方法为：将图像中第i行第j列的像素点记为(i，j)，点(i，j)的RGB值分别记为R_(i，j)，G_(i，j)，B_(i，j)，那么对应的YCrCb颜色空间的Y_(i，j)，Cr_(i，j)，Cb_(i，j)值分别为： 

$\left\{\begin{array}{c}{Y}_{(i,j)}=0.299*R_{(i,j)}+0.587*G_{(i,j)}+0.114*B_{(i,j)}\\ {\mathrm{Cr}}_{(i,j)}=-0.147*R_{(i,j)}-0.289*G_{(i,j)}+0.436*B_{(i,j)}\\ {\mathrm{Cb}}_{(i,j)}=0.615*R_{(i,j)}-0.515*G_{(i,j)}-0.100*B_{(i,j)}\end{array}\right.$

求出每个像素点的Y_(i，j)，Cr_(i，j)，Cb_(i，j)值，得到YCrCb颜色空间的图像，记为S₃， 

步骤4：对图像S₃作阈值分割处理，其方法如下：人皮肤颜色在YCrCb颜色空间中的Cr和Cb分量分布近似于一个椭圆形，其分布可由以下公式得到： 

$\frac{x^2}{a^2}+\frac{y^2}{b^2}=K$

其中，a＝25，b＝14，x，y的值由由以下公式决定： 

x＝25.6*(Cr_(i，j)-109)-19.2*(Cb_(i，j)-152)+51 

y＝25.6*(Cr_(i，j)-109)+19.2*(Cb_(i，j)-152)+77 

根据求出的K的值，对图像S₃进行肤色分割。对于点(i，j)，计算出其K值。 将K的值与拟合椭圆方程的右值比较，若K的值小，则说明点(i,j)在拟合椭圆中，属于肤色点；若K的值大，则说明点(i,j)部在拟合椭圆中，属于非肤色点。由于拟合椭圆方程和YCrCb中的Y分量也有关系，故对于不同的Y值采取不同的拟合值。将图像S₃肤色分割后的图像记为S₄，S₄中像素点(i,j)的值记为V_(i,j)。V_(i,j)的值由以下阈值判决准则得到：

执行阈值判决准则得到新的图像S₄，其为二值图像，大小为M×N， 

步骤5：对图像S₄作数字形态学处理，其方法如下：设3×3的结构元素B的取值为： 

$B=\left(\begin{array}{ccc}1& 1& 1\\ 1& 1& 1\\ 1& 1& 1\end{array}\right)$

首先，腐蚀图像。用结构元素B扫描图像S₄中的每一个图像，将结构元素与其覆盖的二值图像做“与”操作，如果都为1，结果图像的该像素值为1，否则为0，将结果图像的值赋给S₄， 

其次，膨胀图像。用结构元素B扫描图像S₄中的每一个图像，将结构元素与其覆盖的二值图像做“与”操作，如果都为0，结果图像的该像素值为0，否则为1，将结果图像的值赋给S₄， 

步骤6：从图像S₄中检测人手，具体方法如下， 

a)检索整个图像S₄中的非零像素点，有很多非零像素点连接在一起的区域称为肤色块。寻找面积大于一定阈值的肤色块，并按肤色块面积的由大到小排序，首先选择肤色块面积最大的进行检测。 

b)按照如下述公式求出肤色块的圆形度： 

其中，A是肤色块的面积，P是肤色块的周长，将肤色块记为S_f，S₄中像素点(i,j)的值记为V_(i,j)，肤色块面积A可由肤色块中非零像素点之和求出，即： 

P可由肤色块的边界点的个数得到，即： 

c)若肤色块的圆形度e的值在0.15-0.7之间，说明肤色块是人手，标记出此肤色块，停止检测，若不在，重复步骤b检测下一个肤色块；若在，执行步骤d 

d)返回相应的肤色块信息 

步骤7：检测手的动态运动信息，其流程图如图4所示，方法如下： 

求出图像S₄中标记出的人手肤色块的重心，记为(i_c,j_c)，并记录。设当前图像是第k帧图像，重心记为((i_c)_k,(j_c)_k)。如图2所示，将图像沿水平方向由左向右分为宽度比为2:1:2的X₁，X₂，X₃三个部分，如图3所示，将图像沿竖直方向由下到上分为宽度比为2:1:2的Y₁，Y₂，Y₃三个部分。判断(i_c)_k属于X₁，X₂，X₃中的哪个部分，(j_c)_k属于Y₁，Y₂，Y₃的哪个部分，并记录， 

比较1,2,...,k帧图像的肤色块重心的水平坐标i_c在水平方向上的位置变化，若i_c移动轨迹是X₁→X₂→X₃，说明肤色块是向右移动，即手向右挥动，令k＝1，检测下一帧图像，若肤色块的水平坐标i_c移动轨迹是X₃→X₂→X₁，说明肤色块是向左移动，即手向左挥动，令k＝1，检测下一帧图像， 

比较1,2,...,k帧图像的肤色块重心的竖直坐标j_c在竖直方向上的位置变化，若j_c移动轨迹是Y₁→Y₂→Y₃，说明肤色块是向上移动，即手向上挥动，令k＝1，检测下一帧图像，若肤色块的竖直坐标j_c移动轨迹是Y₃→Y₂→Y₁，说明肤色块是 向下移动，即手向下挥动，令k＝1，检测下一帧图像， 

若以上4种情况都不满足，则令k加1，检测下一帧图像。 

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。 

Claims (3)

1.一种基于肤色与形态特征的动态手势识别方法，其特征在于：包括以下步骤：

步骤1：初始化，并截取一帧M×N大小的彩色图像，记为S₁，其中M和N为正整数，分别表示图像矩阵的行数和列数；

步骤2：对图像S₁作高斯滤波处理，其方法为：首先，确定高斯滤波器模板，二维高斯函数的表达式为：

$G(x,y)=e^{-\frac{x^2+y^2}{2{\mathrm{\σ}}^2}}$

设定σ²和n，可以确定高斯模板权值，取

和n＝3，可以得到高斯模板：

$G=\left(\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}\right)$

其次，用模板G扫描图像S₁中的每一个像素，经过滤波后的图像记为S₂，S₂中第i行第j列的像素点的值，记为

，由图像S₁中第i行第j列的像素值，记为V_(i，j)，和其领域内的其他像素值经过加权平均后得到，公式如下：

$V_{(i,j)}{|}_{S_2}=G\left(\begin{array}{ccc}{V}_{(i-1,j-1)}& V_{(i-1,j)}& V_{(i-1,j+1)}\\ V_{(i,j-1)}& V_{(i,j)}& V_{(i,j+1)}\\ V_{(i+1,j-1)}& V_{(i+1,j)}& V_{(i+1,j+1)}\end{array}\right)$

步骤3：将图像S₂由RGB色彩空间转换为YCrCb色彩空间，具体方法为：将图像中第i行第j列的像素点记为(i，j)，点(i，j)的RGB值分别记为R_(i，j)，G_(i，j)，B_(i，j)，那么对应的YCrCb颜色空间的Y_(i，j)，Cr_(i，j)，Cb_(i，j)值分别为：

$\left\{\begin{array}{c}{Y}_{(i,j)}=0.299*R_{(i,j)}+0.587*G_{(i,j)}+0.114*B_{(i,j)}\\ {\mathrm{Cr}}_{(i,j)}=-0.147*R_{(i,j)}-0.289*G_{(i,j)}+0.436*B_{(i,j)}\\ {\mathrm{Cb}}_{(i,j)}=0.615*R_{(i,j)}-0.515*G_{(i,j)}-0.100*B_{(i,j)}\end{array}\right.$

求出每个像素点的Y_(i，j)，Cr_(i，j)，Cb_(i，j)值，得到YCrCb颜色空间的图像，记为S₃；

步骤4：对图像S₃作阈值分割处理，其方法如下：人皮肤颜色在YCrCb颜色空间中的Cr和Cb分量分布近似于一个椭圆形，其分布可由以下公式得到：

$\frac{x^2}{a^2}+\frac{y^2}{b^2}=K$

其中，a＝25，b＝14，x，y的值由由以下公式决定：

x＝25.6*(Cr_(i,j)-109)-19.2*(Cb_(i,j)-152)+51

y＝25.6*(Cr_(i,j)-109)+19.2*(Cb_(i,j)-152)+77

根据求出的K的值，对图像S₃进行肤色分割，对于点(i,j)，计算出其K值，将K的值与拟合椭圆方程的右值比较，若K的值小，则说明点(i,j)在拟合椭圆中，属于肤色点；若K的值大，则说明点(i,j)部在拟合椭圆中，属于非肤色点，由于拟合椭圆方程和YCrCb中的Y分量也有关系，故对于不同的Y值采取不同的拟合值，将图像S₃肤色分割后的图像记为S₄，S₄中像素点(i,j)的值记为V_(i,j)，V_(i,j)的值由以下阈值判决准则得到：

执行阈值判决准则得到新的图像S₄，其为二值图像，大小为M×N；

步骤5：对图像S₄作数字形态学处理，其方法如下：设3×3的结构元素B的取值为：

$B=\left(\begin{array}{ccc}1& 1& 1\\ 1& 1& 1\\ 1& 1& 1\end{array}\right)$

首先，腐蚀图像，用结构元素B扫描图像S₄中的每一个图像，将结构元素与其覆盖的二值图像做“与”操作，如果都为1，结果图像的该像素值为1，否则为0，将结果图像的值赋给S₄；

其次，膨胀图像，用结构元素B扫描图像S₄中的每一个图像，将结构元素与其覆盖的二值图像做“与”操作，如果都为0，结果图像的该像素值为0，否则为1，将结果图像的值赋给S₄；

步骤6：从图像S₄中检测人手肤色块；

步骤7：检测手的动态运动信息。

2.根据权利要求1所述的基于肤色与形态特征的动态手势识别方法，其特征在于：所述步骤6从图像S₄中检测人手肤色块的方法如下：

a)检索整个图像S₄中的非零像素点，有很多非零像素点连接在一起的区域称为肤色块，寻找面积大于一定阈值的肤色块，并按肤色块面积的由大到小排序，首先选择肤色块面积最大的进行检测；

b)按照如下述公式求出肤色块的圆形度：

$e=\frac{4\mathrm{\π}*A}{P^2}$

其中，A是肤色块的面积，P是肤色块的周长，将肤色块记为S_f，S₄中像素点(i,j)的值记为V_(i,j)，肤色块面积A可由肤色块中非零像素点之和求出，即：

$A=\underset{(i,j)}{\overset{(i,j)\∈S_f}{\mathrm{\Σ}}}{V}_{(i,j)}$

P可由肤色块的边界点的个数得到，即：

c)若肤色块的圆形度e的值在0.15-0.7之间，说明肤色块是人手，标记出此肤色块，停止检测并执行步骤d，若不在，重复步骤b检测下一个肤色块；

d)返回肤色块信息。

3.根据权利要求1所述的基于肤色与形态特征的动态手势识别方法，其特征在于：所述步骤7检测手的动态运动信息方法如下：

求出图像S₄中标记出的人手肤色块的重心，记为(i_c,j_c)，并记录，设当前图像是第k帧图像，重心记为((i_c)_k,(j_c)_k)，将图像沿水平方向由左向右分为宽度比为2:1:2的X₁，X₂，X₃三个部分，将图像沿竖直方向由下到上分为宽度比为2:1:2的Y₁，Y₂，Y₃三个部分，判断(i_c)_k属于X₁，X₂，X₃中的哪个部分，(j_c)_k属于Y₁，Y₂，Y₃的哪个部分，并记录；

比较1,2,...,k帧图像的肤色块重心的水平坐标i_c在水平方向上的位置变化，若i_c移动轨迹是X₁→X₂→X₃，说明肤色块是向右移动，即手向右挥动，令k＝1，检测下一帧图像，若肤色块的水平坐标i_c移动轨迹是X₃→X₂→X₁，说明肤色块是向左移动，即手向左挥动，令k＝1，检测下一帧图像；

比较1,2,...,k帧图像的肤色块重心的竖直坐标j_c在竖直方向上的位置变化，若j_c移动轨迹是Y₁→Y₂→Y₃，说明肤色块是向上移动，即手向上挥动，令k＝1，检测下一帧图像，若肤色块的竖直坐标j_c移动轨迹是Y₃→Y₂→Y₁，说明肤色块是向下移动，即手向下挥动，令k＝1，检测下一帧图像；

若以上4种情况都不满足，则令k加1，检测下一帧图像。

Images