CN107330354B - 一种自然手势识别方法 - Google Patents

Abstract

本发明公开了一种自然手势识别方法，利用移动设备拍摄到带有手势的图像，经过YCrCb空间加入亮度补偿的椭圆肤色模型进行肤色区域的提取，获取手势二值图像，查找二值图像中的最大轮廓，舍弃小区域肤色图，得到手势最大轮廓。改进现有Hu矩计算整个手掌重心的做法，采用欧氏距离变换算法来计算手掌重心点。提出利用N个具有手势图像的旋转、平移、缩放不变性的特征参数进行拳头、开手掌、闭手掌、左摆手和右摆手五种基本手势的识别。

Description

一种自然手势识别方法

技术领域

本发明涉及机器视觉领域，特别是一种自然手势识别方法。

背景技术

现行的手势识别大都是基于PC平台，并借助于传感设备(如数据手套等)来获取手势特征，与系统预定义的手势库比对，以确定手势类型，进而执行相应的操作指令来控制系统。随着移动设备的普及，这种交互方式越来越不适用，迫切需要一种不借助任何设备，只根据摄像头捕获的手势图像就能知道用户意图的交互方式，进而控制系统发出相应的指令来达到用户所希望的目的。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种自然手势识别方法。

为解决上述技术问题，本发明所采用的技术方案是：一种自然手势识别方法，其特征在于，包括以下步骤：

1)获取手部图像的RGB图像，将RGB图像转换至YC_rC_b空间，然后将YC_rC_b空间的图形非线性变换至色彩空间YC_r’C_b’，建立椭圆肤色模型；

2)利用上述椭圆肤色模型遍历图像中所有像素，若像素坐标(C_r’,C_b’)在椭圆内部，则判定该像素点(C_r’,C_b’)为肤色点，否则(C_r’,C_b’)为非肤色点；

3)提取出肤色图像中手势区域的外围轮廓，并根据人的肤色范围值将手势区域的外围轮廓转换为二值图像，并获取手掌轮廓曲线；

4)将上述二值图像经过欧式距离变换，得到距离灰度图；

5)利用上述距离灰度图，计算手掌重心坐标；

6)利用上述手掌轮廓曲线获得精简轮廓S，计算轮廓S中点集的凸包H，通过比较H中各像素点的X坐标、Y坐标，提取手部的关键点，即顶端点、左端点、右端点和底端点，结合手掌重心坐标，根据四个端点坐标拟合出包围手部的矩形，并以此为掩码，与所述二值图像进行与运算，最后的计算结果即为手部图像；

7)利用上述手部图像计算N个特征参数进行手势识别。

步骤1)中，利用下式将RGB图像转换至YC_rC_b空间：

其中，R——红色值；G——绿色值；B——蓝色值。Y——亮度；Cb——蓝色分量值；Cr——红色分量值。

所述椭圆肤色模型表达式为：

其中，C_r’、C_b’——色彩空间转换后的红色分量值和蓝色分量值；C_x、C_y——色彩空间YC_r’C_b’的C_r’C_b’平面上的椭圆中心；a、b——椭圆的长、短半轴；

Θ——椭圆在平面内的倾斜角度。

本发明中,a＝25.39，b＝14.03，c_x＝1.60，c_y＝2.41，θ＝2.53，C_x＝109.38，C_y＝152.02。

步骤5)中，手掌重心坐标(k,l)的计算公式为：

其中，I(i,j)表示图像像素坐标，

m、n分别表示图像的宽和高。

为消除手掌重心计算过程中手指和手臂的影响，通过实验确定距离灰度图的距离灰度值ξ为150～230。

步骤7)的具体实现过程包括：

1)提取以下特征：特征F₁：包围手部的矩形R的面积S与手势图像的轮廓面积A的比值，F1＝S/A；特征F₂：R的面积S与内切圆面积C的比值，F2＝S/C；特征F₃：R的长宽比，F3＝H/W；特征F₄：R的旋转角θ，F4＝R_θ；

2)若手势图像的特征F₁在区间P_SA＝[1.8088,1.9554]内，则判定手势为开手掌；若手势图像的特征F₂取值在区间P_SC1＝[1.5568,2.0951]内，则判定手势为拳头；否则，若手势特征F₂在区间P_SC2＝[2.1341,3.2045]内，则判定手势为闭手掌，或者左摆手，或者右摆手；若手势特征F₃取值P_HW1＝[1.53,2.38]，且F₄为R_θ1＝[-65,-15)，则判定手势为左摆手；若手势特征F₃取值P_HW2＝[0.42,0.65]，且F₄为R_θ2＝(-75,-25]，则判定手势为右摆手；否则，若手势特征F₄为R_θ3＝[-15,0]∪[-89,-75]，则判定手势为闭手掌；若所提取的手势特征值为其他情况，则均判定为无效手势。

与现有技术相比，本发明所具有的有益效果为：本发明不需要借助外部设备，只根据摄像头捕获的手势图像就能识别用户的交互意图，即实现自然的手势识别方法；而且本发明的时间复杂度和空间复杂度都比较低，适合于移动平台硬件资源相对欠缺的实际情况。

附图说明

图1为普通光照实时检测效果，其中，(a)原始图像；(b)RGB模型；(c)YCrCb模型；(d)加入亮度补偿的椭圆模型；

图2为强光环境实时检测效果，其中，(a)原始图像；(b)RGB模型；(c)YCrCb模型；(d)加入亮度补偿的椭圆模型；

图3为昏暗环境实时检测效果，其中，(a)原始图像；(b)RGB模型；(c)YCrCb模型；(d)加入亮度补偿的椭圆模型；

图4为提取手势轮廓，其中，(a)原图像；(b)二值图像；(c)所有轮廓；(d)最大轮廓；(e)最大轮廓填充图；

图5手势二值图像；

图6距离灰度图像；

图7不同灰度阈值下的二值化效果，其中(a)～(i)分别对应阈值ξ＝70、100、140、150、180、210、230、240、250；

图8为系统预定义手势，其中(a)～(e)分别对应开手掌、闭手掌、拳头、左摆手、右摆手；

图9为距离变换法提取重心及半径，(a)拳型，(b)单手指,(c)双手指，(d)多手指；

图10手部关键点提取；

图11为手部提取示意图，(a)手势图像；(b)手势轮廓；(c)关键点拟合矩形；(d)手部提取效果图；

图12手势判别决策模型；

图13基本手势识别效果，其中(a)～(e)分别对应拳头、开手掌、闭手掌、左摆手、右摆手；

图14为五种手势在手机上的识别效果；(a)开手掌表示放大；(b)拳头表示复原；(c)闭手掌表示缩小；(d)左摆手向左切换；(e)右摆手表示向右切换；

具体实施方式

本发明理论来源：第一步，利用移动设备(如手机)拍摄到带有手势的图像，经过YCrCb空间加入亮度补偿的椭圆肤色模型进行肤色区域的提取，获取手势二值图像，查找二值图像中的最大轮廓，舍弃小区域肤色图，得到手势最大轮廓。

第二步，改进现有Hu矩(几何不变矩)计算整个手掌重心的做法，采用欧氏距离变换算法来计算手掌重心点，并通过实验，确定灰度阈值ξ为150-230时，能够较好的消除噪声影响。

第三步，提出利用4个具有手势图像的旋转、平移、缩放不变性的特征参数进行拳头、开手掌、闭手掌、左摆手和右摆手五种基本手势的识别。

特征F1：R的面积S与轮廓面积A的比值F1＝S/A；

特征F2：R的面积S与内切圆面积C的比值F2＝S/C；

特征F3：R的长宽比F3＝H/W；

特征F4：R的旋转角θF4＝R_θ。

其中R表示手势最小外接矩形；A表示手势轮廓面积；C表示手势轮廓内切圆面积。

1、获取手势最大轮廓

利用人的肤色与背景颜色的不同来获取手势最大轮廓，肤色检测方法有很多，考虑到实际使用过程中，会有各种光照环境，而光照不同对肤色的影响比较大，直接使用RGB模型会产生较大误差。为此，本发明采用改进的基于Y(代表亮度)Cr(代表红色色度)Cb(代表蓝色色度)空间的加入亮度补偿的椭圆肤色检测模型。具体步骤如下：

首先，利用式(1)将摄像头获取的RGB图像转换至YC_rC_b空间，利用式(2)、式(3)、式(4)将YC_rC_b非线性变换至色彩空间YC_r’C_b’。其中，C_r(Y)、C_b(Y)表示将YC_rC_b颜色空间中色度分量C_r、C_b记作亮度Y的函数；同样，

表示经非线性变换后的

空间色度分量函数。

式(2)中，K_l、K_h为常数，表示非线性色彩变换函数的分段阈值，分别取值：K_l＝125，K_h＝188；Ymin、Ymax表示肤色聚类区域中亮度Y的边界值，根据实验数据获得，分别取值：Ymin＝16，Ymax＝235。

式(3)中，W_Ci(Y)表示在C_rC_b空间中肤色区域的宽度；其W_Ci、WL_Ci和WH_Ci分别为：W_Cr＝38.76，W_Cb＝46.97，WL_Cr＝20，WL_Cb＝23，WH_Cr＝10，WH_Cb＝14，均由实验数据获得。

式(4)表示YC_r’C_b’与

之间的非线性色彩变换函数，其变换时色度分量C_i’由K_l和K_h决定。经非线性变换后，色彩空间YC_r’C_b’对亮和暗的肤色区域检测具有较强的鲁棒性，而且，根据Hsu的研究结果可知，C_r’C_b’子空间中的肤色区域可以近似用椭圆肤色模型描述，如式(5)、式(6)所示。

其中，C_x、C_y表示C_r’C_b’平面上的椭圆中心，a、b为椭圆的长、短半轴，θ表示椭圆在平面内的倾斜角度。根据Hsu等人的实验数据可知：a＝25.39，b＝14.03，ec_x＝1.60，ec_y＝2.41，θ＝2.53(弧度)，C_x＝109.38，C_y＝152.02，以上各值均由C_r’C_b’空间的肤色区域计算得到。

经过YC_r’C_b’颜色空间的转换后，就可以利用所建立的椭圆模型对图像中的肤色区域进行检测判定，即遍历图像中所有像素，若像素坐标(C_r’,C_b’)在椭圆内部(含边界)，则判定其为肤色点，否则为非肤色点。

最后借助OpenCV提供的轮廓查找函数findContours()，提取出肤色图像中手势区域的外围轮廓。并根据人的肤色范围值Y-(20，255),C_r-(132,174),C_b-(40,130)将手势区域轮廓图转换为二值图像。

针对上述常用肤色模型检测方法进行实验效果对比，以验证本文所选算法——基于亮度补偿的椭圆肤色检测模型的优越性。其实验环境分为：①普通(正常)光照环境；②强光环境；③昏暗环境三种情况，各模型算法的肤色检测效果如图1、图2、图3所示。

由上述3种不同环境下的实验结果可知，RGB肤色模型检测算法受光照强度影响较大；YC_rC_b肤色算法与改进的加入亮度补偿的椭圆肤色模型算法相比也有较为明显的差异，即改进的加入亮度补偿的椭圆肤色模型算法在不同光照条件下的检测效果更加稳定，能够有效去除由光照产生的阴影区域。综上所述，采用基于YC_rC_b空间的加入亮度补偿的椭圆模型进行图像肤色区域的检测，能去除不同光照对肤色区域提取的影响。

经过肤色提取后，将该图像转换为二值图像，去除噪声，得到较为纯净的手势轮廓，并对轮廓内部进行填充，如图4所示。

2、获取手掌重心

获得了较为纯净的手势轮廓及其对应的二值图像后，要分析提取手掌重心，为手势识别做准备。通常的做法是借助Hu矩(几何不变矩)计算整个手部的重心，并近似作为手掌重心，但该方法只适用于拳型或者只有单手指伸出的情况，且无手臂等的干扰，倘若有多个手指伸出或者手臂的干扰，所计算得到的手掌重心将严重偏离实际位置。为此本发明采用基于距离变换的重心提取算法，该算法能够有效避免相关噪声的影响，较为精确的提取手掌重心。

所谓距离变换就是二值图像中非零像素点到最近的零像素点的距离，其距离值表示为对应灰度图像中像素的灰度值。距离的具体计算方法有两大类：非欧氏距离和欧氏距离。非欧氏距离的计算复杂度虽然较低，但精度不高，为此，本发明采用欧氏距离变换算法。

欧氏距离的公式化定义：设二维平面中有两点p(x,y)，q(s,t)，则两点间的欧氏距离可表示为式(7)：

D(p,q)＝[(x-s)²+(y-t)²]^1/2 (7)

欧氏距离变换的公式表示：设一副M×N的二值图像A，其对应的二维数组P[M,N]＝[p_xy]，p_xy表示坐标为(x,y)的像素点，令p_xy＝0表示图像的背景点，p_xy＝1表示图像的前景点，即目标点，则有B＝{(x,y)|p_xy＝0}，F＝{(i,j)|p_ij＝1}，B、F分别表示图像的背景、前景像素集合，计算A的欧氏距离变换等价于求解集合F中所有像素(i,j)到集合B中像素的最短欧氏距离，即

D_ij＝min{Dist[(i,j),(x,y)],(x,y)∈B} (8)

式(8)中Dist[(i,j),(x,y)]＝[(i-x)²+(j-y)²]^1/2。手势二值图像(图5)经过欧氏距离变换后，得到其距离灰度图，如图6所示。

接下来，利用得到的距离灰度图像来完成手掌重心的计算。根据人体形态特征可知，通常情况下，手掌区域的宽度要大于手臂(手腕)的宽度，而且，通过观察图6也可以清晰地发现，距离手部骨架越远亮度越暗，其像素灰度值越小，因此，为了得到更精确的手掌重心坐标，必须消除手掌重心计算过程中手指和手臂的影响，所以通过实验确定最佳灰度阈值ξ，如图7所示。

阈值ξ为150-230时，能够较好的消除噪声影响，且如图7所示，当阈值ξ>230时，肤色区域面积过小，为重心的提取会带来一定的误差。进一步，根据得到的距离二值图像，计算手掌重心，即

式(9)中，I(i,j)表示图像像素坐标，m、n表示图像的宽高，通过遍历图像中各像素点，进行累加求均值，即可得到手掌重心坐标(k,l)。在此，为简化重心计算的复杂度，借助OpenCV的基本函数minMaxLoc()，将上文获取的距离图像作为输入参数，获取图像矩阵中的最大距离值D，以及该值对应的图像像素坐标C。由欧氏距离变换定义可知，该最大距离值D就是手掌最大内切圆的半径，坐标C是手掌内切圆的圆心，即手掌重心Hc＝C，手掌半径Hr＝D。以下为各种手势图像(均含手臂)中，采用距离变换算法所提取的手掌重心及半径，如图9所示。图9中圆点表示手掌重心，圆圈表示最大内切圆，直线段表示半径，闭合曲线表示所提取的最大肤色连通域的轮廓。由图9可以看出，利用欧氏距离变换算法能够准确地提取手掌重心位置，而不受手指和手臂区域的影响。

3、手势识别

(1)系统与定义手势

本发明预定义的5种基本手势，如图8所示。

上述手势的语义分别定义为：(a)开手掌，表示放大；(b)闭手掌，表示缩小；(c)拳头，表示复位；(d)左摆手，表示向左切换；(e)右摆手，表示向右切换。

(2)手部关键点提取

运用多边形逼近算法对前面得到的轮廓曲线进行处理，以获得精简轮廓S；然后，计算轮廓S中点集的凸包H，以进一步减少无效坐标点，提升程序的运行效率；接下来，通过比较H中各像素点的X坐标、Y坐标，提取手部的关键点，即顶端点(Top)、左端点(Left)、右端点(Right)，其底端点(Bottom)为手掌重心轮廓内切圆半径的1.3倍距离处。由手掌重心坐标确定，如图10所示，并且，根据四个端点坐标拟合出包围手部的矩形，并以此为掩码，与输入的二值图像进行与运算；最后的计算结果即为手部图像，如图11所示。

为增强算法的适用性，在进行轮廓精简时，多边形逼近算法的精度阈值可以设定为手掌半径R的1/3，以自适应手势图像的缩放。

(3)手势识别

在图像识别中，对象特征的选取对识别结果的准确性有较大的影响，单一的特征很容易受到外界环境的干扰。同时，在将目标对象从图像中提取的过程中，也会受到具有相似属性区域的干扰，从而降低所提取特征的有效性。本发明设计并实现一种具有较强抗干扰能力的手势识别算法。

经过前面的步骤，已经获取了较为纯净的手部图像，考虑到人手的几何形状变化较为明显，很适合作为特征参数进行手势图像的辨别。此外，出于对移动平台运算能力较低，以及算法复杂度和系统实时性等因素的考虑，本发明针对上述5种手势特征参数的提取采用3个变量来表示：1)手势轮廓面积A；2)手势轮廓内切圆面积C；3)手势最小外接矩形R。所提取的4个特征参数如下：

特征F₁：R的面积S与轮廓面积A的比值

F1＝S/A (10)

特征F₂：R的面积S与内切圆面积C的比值

F2＝S/C (11)

特征F₃：R的长宽比

F3＝H/W (12)

特征F₄：R的旋转角θ

F4＝R_θ (13)

上式中，S、H、W分别表示最小包围矩形R的面积、长和宽，R_θ表示R的旋转角度。由于上述4个特征参数的运算复杂度都非常低，满足系统实时性的要求，而且，F₁、F₂和F₃均为比例特征参数，确保了手势图像的旋转、平移、缩放不变性，同时，特征参数F₃为手势的朝向做出了判定，F₄又辅助F₃完成了旋转角度的计算，从而进一步完善了对手势类型的辨别。各手势图像的判别依赖特征如表1所示，其中，“●”表示手势的决定特征组合，“〇”表示手势的非依赖决定特征。

表1 手势特征依赖表

在实际编码实现时，手势的语义判别流程可依据图12进行决策。

在图13中，P_SA、P_SCi、P_HWi、R_θi分别表示各手势特征参数的取值范围，通过对100名参与者进行手势采样，每位参与者针对预定义的5种手势各采集5次，则每种手势共采集样本5×100次，然后，对各手势样本实验所得特征数据进行分析，以确定各区间取值。

具体判别过程：若手势图像的特征F₁在区间P_SA＝[1.8088,1.9554]内，则判定手势为开手掌；若手势图像的特征F₂取值在区间P_SC1＝[1.5568,2.0951]内，则判定手势为拳头；否则，若手势特征F₂在区间P_SC2＝[2.1341,3.2045]内，则判定手势为闭手掌，或者左摆手，或者右摆手，进一步，根据最小包围矩形的长宽比和旋转角来确定手势类型，若满足手势特征F₃取值P_HW1＝[1.53,2.38]，且F₄为R_θ1＝[-65,-15)，则判定手势为左摆手；若满足手势特征F₃取值P_HW2＝[0.42,0.65]，且F₄为R_θ2＝(-75,-25]，则判定手势为右摆手；否则，若手势特征F₄为R_θ3＝[-15,0]∪[-89,-75]，则判定手势为闭手掌；若所提取的手势特征值为其他情况，则均判定为无效手势。

基于以上算法设计，手势类型识别效果如14所示，图中以输出对应手势类型表示识别结果。

Claims (6)

1.一种自然手势识别方法，其特征在于，包括以下步骤：

1)获取手部图像的RGB图像，将RGB图像转换至YC_rC_b空间，然后将YC_rC_b空间的图形非线性变换至色彩空间YC_r’C_b’，建立椭圆肤色模型；

2)利用上述椭圆肤色模型遍历RGB图像中所有像素，若像素坐标(C_r’,C_b’)在椭圆内部，则判定该像素点(C_r’,C_b’)为肤色点，否则(C_r’,C_b’)为非肤色点，得到肤色图像；

3)提取出肤色图像中手势区域的外围轮廓，并根据人的肤色范围值将手势区域的外围轮廓转换为二值图像，并获取手掌轮廓曲线；

4)将上述二值图像经过欧式距离变换，得到距离灰度图；

5)利用上述距离灰度图，计算手掌重心坐标；

6)利用上述手掌轮廓曲线获得精简轮廓S^*，计算轮廓S^*中点集的凸包H，通过比较H中各像素点的X坐标、Y坐标，提取手部的关键点，即顶端点、左端点、右端点和底端点，结合手掌重心坐标，根据四个端点坐标拟合出包围手部的矩形，并以此为掩码，与所述二值图像进行与运算，最后的计算结果即为手部图像；

7)利用上述手部图像计算N个特征参数进行手势识别；

步骤7)的具体实现过程包括：

A)提取以下特征：特征F₁：包围手部的矩形R的面积S与手势图像的轮廓面积A的比值，F₁＝S/A；特征F₂：R的面积S与手势轮廓内切圆面积C的比值，F₂＝S/C；特征F₃：R的长宽比，F₃＝H/W；特征F₄：R的旋转角θ，F₄＝R_θ；

B)若手势图像的特征F₁在区间P_SA＝[1.8088,1.9554]内，则判定手势为开手掌；若手势图像的特征F₂取值在区间P_SC1＝[1.5568,2.0951]内，则判定手势为拳头；否则，若手势特征F₂在区间P_SC2＝[2.1341,3.2045]内，则判定手势为闭手掌，或者左摆手，或者右摆手；若手势特征F₃取值P_HW1＝[1.53,2.38]，且F₄为R_θ1＝[-65,-15)，则判定手势为左摆手；若手势特征F₃取值P_HW2＝[0.42,0.65]，且F₄为R_θ2＝(-75,-25]，则判定手势为右摆手；否则，若手势特征F₄为R_θ3＝[-15,0]∪[-89,-75]，则判定手势为闭手掌；若所提取的手势特征值为其他情况，则均判定为无效手势。

2.根据权利要求1所述的自然手势识别方法，其特征在于，步骤1)中，利用下式将RGB图像转换至YC_rC_b空间：

其中，R——红色值；G——绿色值；B——蓝色值；Y——亮度；Cb——蓝色分量值；Cr——红色分量值。

3.根据权利要求2所述的自然手势识别方法，其特征在于，所述椭圆肤色模型表达式为：

其中，C_r’、C_b’为色彩空间转换后的红色分量值和蓝色分量值；C_x、C_y为色彩空间YC_r’C_b’的C_r’C_b’平面上的椭圆中心；a、b为椭圆的长、短半轴；θ为椭圆在平面内的倾斜角度。

4.根据权利要求3所述的自然手势识别方法，其特征在于，a＝25.39，b＝14.03，c_x＝1.60，c_y＝2.41，θ＝2.53，C_x＝109.38，C_y＝152.02。

5.根据权利要求1所述的自然手势识别方法，其特征在于，所述距离灰度图的最佳灰度阈值ξ为150～230。

6.根据权利要求1或5所述的自然手势识别方法，其特征在于，步骤5)中，手掌重心坐标(k,l)的计算公式为：

其中，I(i,j)表示图像像素坐标，

m、n分别表示图像的宽和高。

Images