CN110796033B - 一种基于包围盒模型的静态手势识别方法 - Google Patents

Abstract

本发明涉及一种基于包围盒的静态手势识别方法，首先根据肤色信息对场景图像中的手势区域进行分割，获得手势图像；再针对手势几何特征易受形变的影响，从多方面考虑手势几何特征，提出利用分层策略的思想，将多种手势的识别任务分两步骤实现；首先检测手势图像中的手指数目，在此基础上利用手指相对位置进行手势建模，将多类型手势分类转化到当前步骤下两种手势类型的分类，避免特征数据融合带来计算复杂的问题，利用手势几何特征进行手势建模并分类，提高了手势识别率。

Description

一种基于包围盒模型的静态手势识别方法

技术领域

本发明涉及计算机视觉，具体涉及一种基于包围盒模型的静态手势识别方法。

背景技术

随着科学技术的发展，人机交互技术逐步成为计算机领域研究的重点。作为一种人性化的交互方式——手势，其具有更自然、更简单、更强的实时性特点。手势识别算法在各个领域已经有了广泛的应用，手势识别的普及使得人机交互变得更加简单。通常把手势定义为：通过手掌以及手指的位置、形状构成一种特定的语义系统，用来表达某种特定的含义。手势可分为静态手势和动态手势，静态手势表现的是在某一时刻手的空间姿态，而动态手势强调的是一个时间段的手的姿态序列。

基于几何特征的手势识别方法是一种基础的手势识别方法，相比于基于模板匹配、基于机器学习的识别方法，其具有计算简单、识别速度快的优点。中国专利“一种基于单目视觉的手势识别方法及装置”(专利号：CN201710780344.2)，提出根据深度学习模型来对获取的手势进行识别，该方法需要花费大量的时间对手势模型进行训练，一定程度上模型训练的优劣直接影响了手势识别的准确性。中国专利“一种单步手势识别方法”(专利号：CN201410013073.4)，提出通过提取手势坐标，再将其进行手势重组，得出手势图形，并旋转手势模型之后与预先设置的手势图形模板进行匹配，从而得出手势图形；该方法在实验过程中需要采集大量的手势坐标，导致数据计算量大，手势匹配速度慢。中国专利“基于手轮廓特征的手势识别控制方法和系统”(专利号：CN201310123587.0)，提出利用手势特征面积以及手势特征周长阈值结合凸包缺陷面积来识别手势，用于识别手掌以及抱拳两个手势，因此其表达语义有限，无法满足自然的人机交互功能。文献《融合改进指尖点和Hu矩的手势识别》一文中，采用提取手势指尖个数结合Hu特征的方法，构建加权融合的特征距离，将待识别手势与模板进行相似度匹配来识别手势。使用多种特征结合的手势识别方法虽然可以获得较高的手势识别率，但会带来特征数据变多，计算复杂的缺点。

发明内容

本发明需要解决的技术问题是针对上述现有技术的不足，而提出一种基于包围盒模型的静态手势识别方法。根据肤色信息对场景图像中的手势区域进行分割，获得手势图像，再针对手势几何特征易受形变的影响，从多方面考虑手势几何特征，研究了一种分层的手势识别算法，避免特征数据融合带来计算复杂的问题，利用手势几何特征进行手势建模并分类，提高了手势识别率。

为解决上述技术问题，本发明采用的技术方案是：

一种基于包围盒模型的静态手势识别方法，包括以下步骤：

步骤(1)：加载场景图像并对图像进行色彩空间转换；

步骤(2)：对步骤(1)中色彩空间转化后的图像利用肤色阈值进行手指部位区域检测，获得二值化图像；

步骤(3)：对于步骤(2)中获得的二值化图像进行形态学处理，将边缘轮廓检测获得最大轮廓绘制为手势图像；

步骤(4)：对步骤(3)中的获得的手势图像，去除小连通域，设置面值阈值，进行手指数的检测；

步骤(5)：采用分层策略，通过构造矩形包围盒对手势进行建模，计算出指间距以及指间夹角，建立手势模型参数；

步骤(6)：根据步骤(5)中得出的手势模型参数，采用模板匹配法，从而输出手势识别结果。

作为进一步的优选方案，步骤(1)中，所述图像色彩空间转换是指将图像从RGB空间转换到HSV空间；

作为进一步的优选方案，步骤(3)中，所述形态学处理是一种基于图像形状的变换，能够实现消除噪声、分割出独立区域以及连接图像中相邻元素的功能，主要用来细化图像，包括形态学膨胀和形态学腐蚀。对图像进行边缘轮廓检测，计算封闭轮廓所围成的面积，排除干扰区域，获得最大轮廓作为手势图像；

作为进一步的优选方案，步骤(4)中，所述对手势图像去除小连通域，是指对图像进行腐蚀操作，此时图像呈现的是相互分离的手指图像以及一些小面积干扰区域，通过设置面积阈值统计手指数。

作为进一步的优选方案，步骤(5)中，所述的分层策略是指：对于部分仅依靠手指数即可作为唯一性判断的手势，根据步骤(4)即可输出结果；对于需要进一步判别的手势，结合指间固定位置，提取指间距以及指间夹角，再次分类；所述的手势模型参数是指：其中，/>是指图像编号为i-j的矩形包围盒的最大值，θ为指间夹角。

作为进一步的优选方案，步骤(6)中，所述的模板匹配法是指：用待识别的手势模型参数与标准的模板图像的手势模型参数进行比较，建立相似度评价函数，根据相似度值与设定的阈值来确定最终的识别结果。

本发明的优点和有益效果主要是：

本专利利用肤色模型检测手部区域，针对使用几何特征进行识别的方法容易受到手势变形的影响，提出利用分层策略的思想，将多种手势的识别任务分两步骤实现，首先检测手势图像中的手指数目，在此基础上利用手指相对位置进行手势建模，将多类型手势分类转化到当前步骤下两种手势类型的分类，能够识别预定义的多种自然手势类型，提高了手势的识别率以及鲁棒性，且识别速度较快，适合实时交互需求场合；同时采用层次化算法实现，算法简单有效，能够满足桌面静态手势识别的需求。

附图说明

图1为手势识别整体流程图；

图2为HSV色彩模型；

图3为二值化手势图；

图4为优化后的手势图像；

图5为手势图像检测流程图；

图6为特征提取示意图；

图7为分层策略流程图；

图8为实验手势及其实验编号图；

具体实施方式

下面结合附图详细说明本发明的优选技术方法。

一种基于包围盒模型的静态手势识别方法，如图1所示流程，先对场景图像进行手部区域检测，获得手势图像。对于手势图像进行识别的过程拆分为两层。层一是利用形态学操作对手指进行检测，根据手指数的不同将手势初步分类，实现手势的初步识别，对于部分仅依靠手势数目即可做唯一性判别的手势类型一而言，本层所获结果即可作为最后的识别结果输出。层二是在获得层一识别的基础上，对于还需要进一步判别的手势类型二，结合指间的相对固定位置，提取指间距及指间夹角，对手势进行建模并再次进行分类，最终实现手势的识别。具体步骤如下：

步骤(1)：加载场景图像并对图像进行色彩空间转换；

色彩空间是为了方便对彩色图像进行量化而人为定义的一种坐标系统，包括RGB、HSV、 YCBCR等。其中RGB是最常见的颜色空间模型，采用R、G、B作为三个通道的颜色叠加来表达出其他颜色。进行手势识别的主要任务是将手势区域与背景图像相分离。在场景图像中，肤色作为人手作为明显的特征之一，具有良好的聚类特性。虽然基于肤色信息的手势检测方法速度较快，但容易受到光照的影响。为了增强肤色在不同光照条件下的鲁棒性，可将图像转换到对光照不敏感的色彩空间下，常见的就是HSV空间。在HSV色彩空间中，用色度、饱和度和亮度对色彩进行量化表示，符合人眼的直观特性，其空间锥体模型如图2所示。其中色度是用角度来表示的，取值范围为0～360；饱和度S用百分比来度量，取值范围为0％～100％，描述颜色与光谱色的接近程度；亮度用来描述颜色明亮的程度，取值范围同样为0％～100％，其值与光亮及物体反射比或透射比有关。将图像从RGB色彩空间转换到HSV 色彩空间采用如下的公式：

V＝max(R,G,B)

S＝1-min(R,G,B)/V

步骤(2)：对步骤(1)中色彩空间转化后的图像利用肤色阈值进行手指部位区域检测，获得二值化图像；

针对摄像机获取的图像容易受到光照影响的问题，选用HSV(hue-saturation-value) 色彩空间将场景图像亮度信息分离，利用人体肤色与场景色的差异进行手势区域检测。在场景图像中，肤色在排除亮度信息后具有很好的聚类特性。在HSV颜色空间中检测肤色时，人类的肤色范围为：2≤H≤28，50≤S≤200。通过摄像机拍摄到场景图像，并利用上述肤色阈值进行手部区域检测，获得二值图像高亮区域如图3所示；

步骤(3):对于步骤(2)中获得的二值化图像进行形态学处理，将边缘轮廓检测获得最大轮廓绘制为手势图像；

上述肤色分割获得的手势二值图像往往会存在噪声、孔洞及其他无关区域，这些区域会对手势特征的提取造成干扰，影响最终的手势识别率，因此需要进一步的优化。首先利用开运算操作去除一些与手势无关的噪声点，在对手势进行膨胀操作，将手势的主体区域进行孔洞填充，优化后的手势图像如图4所示。由于在肤色分割过后手部区域成为手势二值图中主要部分，需要对图像进行边缘轮廓检测，计算封闭轮廓所围成的面积，排除其他干扰区域，并将最大的轮廓绘制为手势图像。其过程流程图如图5所示。

步骤(4):对步骤(3)中的获得的手势图像，去除小连通域，设置面值阈值，进行手指数的检测；

对上述步骤中得到的手势二值图像中进行手指检测。在检测之前，对手势图像进行腐蚀，调整操作核的大小，使其能够在一次操作中将手指部位去除，同时不会在腐蚀过程中消除过多的掌心区域，记录下此时的操作核。手指检测原理图如图5所示：

1)对手势图像进行开运算操作，用事先试验出的结构元素作为手指检测的操作核，获得手势图像中的掌心部分；

2)利用手势图像减去步骤1)中的掌心部分，得到手指图像；

3)对手指图像进行腐蚀以达到去除小连通区域的目的，此时的手指图像中呈现的是互相分离的手指图像以及一些小面积区域，通过设置面积阈值即可统计出手指数。

步骤五：采用分层策略，通过构造矩形包围盒对手势进行建模，计算出指间距以及指间夹角，建立手势模型参数；

手势识别方法在上述获得的手势图像中进行，包括手势几何特征的提取、建模与分类，进而实现手势的识别。由于个体差异及操作习惯的不同，即使对于同类型手势的图像组，提取的手势几何特征也往往存在很大区别，从而导致基于几何特征的方法不能取得满意效果。对此提出将手势图像中手指数目以及利用指间距和指间夹角参数进行手势建模，并利用分层的策略提来对手势进行最终的判别。由于手指在展开时呈现出长条形状，且手指间的角度存在较为稳定的范围，可以通过构造矩形来近似代替手势图像图中的手指区域。通过每个手指区域构建其最小外接矩形，以矩形的中心点作为手指的位置，通过计算两个矩形中心点的距离作为对应手指间的距离，同时利用两个矩形长边所在直线构造方向向量并计算指间夹角，并以此作为指间距调节参数，用来进一步加强特征数据的可分性。结合图6以及图7流程图所示，手势模型构建算法步骤如下：

1)根据上节中手指检测获得的手指数目m判断是否需要对手势进行再次识别，如果则直接输出m作为手势识别结果，否则进行下一步骤；

2)在手指二值图像中检测手指轮廓，并将每个轮廓链的首地址保存到集合Q中 (Q＝{q₁,q₂…q_n}，其中n为轮廓链个数)；

3)遍历Q中所有轮廓，计算轮廓组成的封闭区域面积，对手指区域的轮廓构建其最小矩形包围盒，并保将包围盒存保存到集合B中(B＝{b₁,b₂…b_m}，m≤5)；

4)计算任意两个矩形包围盒中心点之间的距离，并保存到集合D中 (D＝{d₁,d₂…d_t}，t≤10)；

5)提取D中最大值d_max，计算距离最大的两个即为组成最大夹角的两个手指中心点，并记录此时的两个手指矩形包围盒，由于手指形成的矩形包围盒相邻边的长度不相等，提取中心点所在矩形包围盒长边，并构造像素坐标系下的直线方程；

6)计算两条直线的交点O，根据交点及两个包围盒中心点的相对位置构建手指方向向量计算交点与两个包围盒中所在直线上的点形成的夹角θ，作为手势模型参数的组成部分；

7)计算手势模型参数根据参数与标注手势模板的模型参数进行比较，从而得到最终的识别结果，其中i-j为手势图像的编号。

步骤(6)：根据步骤(5)中得出的手势模型参数，采用模板匹配法，从而输出手势识别结果；

在静态手势识别方法中，模板匹配法是一种最基本的识别方法，其原理是用待识别的手势图像特征向量与标准的模板图像的特征向量进行比较，建立相似度评价函数，根据相似度值与设定的阈值来确定最终的识别结果。

在一个具体实施例中，根据步骤(1)～步骤(4)中，在如图8所示的实验手势及其实验编号中，编号0代表手势0，编号1代表手势1，编号2-1表示手势2，编号2-2代表手势 6；其中手势0、手势1可直接根据手指数目直接得出结果。对于手势2、手势6需要进一步识别手势，根据步骤(5)中，构造其最小矩形包围盒对手势进行建模，计算出指间距以及指间夹角，建立手势模型参数计算对应的标准手势特征K′_i-j(i-j为对应的手势编号)，考虑到手势的多样性，对于实际获得的手势特征K_i-j按照下表中所示的阈值对手势进行再次的判定，从而得出最终的手势识别结果。

本方法的手势识别方法是通过分层识别来实现的，在使用模板匹配之前已经根据手指数目对手势进行了初步分类，因此降低了待识别手势特征向量与模板特征值的比较次数。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于包围盒模型的静态手势识别方法，其特征在于，包括以下步骤：

步骤(1)、加载场景图像并对图像进行色彩空间转换；

步骤(2)、对步骤(1)中色彩空间转化后的图像利用肤色阈值进行手指部位区域检测，获得二值化图像；

步骤(3)、对于步骤(2)中获得的二值化图像进行形态学处理，将边缘轮廓检测获得最大轮廓绘制为手势图像；

步骤(4)、对步骤(3)中的获得的手势图像，去除小连通域，设置面值阈值，进行手指数的检测；

步骤(5)、采用分层策略，通过构造矩形包围盒对手势进行建模，计算出指间距以及指间夹角，建立手势模型参数；

步骤(6)、根据步骤(5)中得出的手势模型参数，采用模板匹配法，从而输出手势识别结果；

其中，步骤(4)中，所述对手势图像去除小连通域，是指对图像进行腐蚀操作，此时图像呈现的是相互分离的手指图像以及一些小面积干扰区域，通过设置面积阈值统计手指数；

步骤(5)中，所述的分层策略是指：对于部分仅依靠手指数即可作为唯一性判断的手势，根据步骤(4)即可输出结果；对于需要进一步判别的手势，结合指间固定位置，提取指间距以及指间夹角，再次分类；所述的手势模型参数是指：其中，/>是指图像编号为i-j的矩形包围盒的最大值，θ为指间夹角。

2.根据权利要求1所述的一种基于包围盒模型的静态手势识别方法，其特征在于：步骤(1)中，所述图像色彩空间转换是指将图像从RGB空间转换到HSV空间。

3.根据权利要求1所述的一种基于包围盒模型的静态手势识别方法，其特征在于：步骤(3)所述形态学处理是一种基于图像形状的变换，能够实现消除噪声、分割出独立区域以及连接图像中相邻元素的功能，主要用来细化图像，包括形态学膨胀和形态学腐蚀；对图像进行边缘轮廓检测，计算封闭轮廓所围成的面积，排除干扰区域，获得最大轮廓作为手势图像。

4.根据权利要求1所述的一种基于包围盒模型的静态手势识别方法，其特征在于：步骤(6)中，所述的模板匹配法是指：用待识别的手势模型参数与标准的模板图像的手势模型参数进行比较，建立相似度评价函数，根据相似度值与设定的阈值来确定最终的识别结果。