CN109919039A - 一种基于手掌和手指特征的静态手势识别方法 - Google Patents

Abstract

本发明公开了一种基于手掌和手指特征的静态手势识别方法，涉及人机交互领域。本发明通过获得手势的外部轮廓，使用距离变换和外接圆求交点的方法，在所述外部轮廓的图像上，识别出掌心位置和手掌半径；在所述外部轮廓上，识别出轮廓凸包，并结合所述掌心位置确定手指方向、基于所述掌心位置和所述手指方向，使用所述轮廓凸包和所述外部轮廓上的凸缺陷，确定手指位置；利用手指个数以及所述手指位置与所述掌心位置关系完成手势的分类，完成静态手势识别。本发明使用掌心与手指作为手势的特征，使用距离变换和外接圆求交点的方法识别掌心并识别出掌心和手指的方向，具有简单灵活且易实现、很好的可靠性和准确性。

Description

一种基于手掌和手指特征的静态手势识别方法

技术领域

本发明涉及人机交互领域，尤其涉及一种基于手掌和手指特征的静态手势识别方法。

背景技术

目前，手势识别的方法主要分为基于深度学习的识别分类方法和基于传统计算机视觉的方法。基于深度学习的方法具有自组织、自学习的能力，抗干扰性强，但是需要大量的样本集来进行训练；基于传统计算机视觉的方法使用边缘检测、图像阈值分割等方法进行手部区域提取，选取手势的几何特征，通过模板匹配、决策树等方法进行手势分类，但是存在识别率低，实时性较差等问题。

改进的方法中提出了一种基于手指轮廓和决策树的静态手势识别方法，其通过圆周序曲线对手掌轮廓进行建模，利用极值点区分手指轮廓和手腕轮廓并建立手势特征集，最后使用决策树针对不同手指个数的手势特征集进行训练和识别。但是，该专利依赖特定的输入设备，输入图像基本就是手腕以上的手部轮廓，无法适用于处理一般的视频帧，且利用极大值极小值的手指轮廓提取方法在轮廓不平滑时容易受到干扰。

因此，本领域的技术人员致力于开发一种基于手掌和手指特征的静态手势识别方法。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是解决现有基于传统计算机视觉的静态手势方法依赖特定的硬件输入、回避手掌手腕以外的轮廓，特别是手臂对识别的影响、识别率低、实时性差等问题。

为实现上述目的，本发明提供了一种基于手掌和手指特征的静态手势识别方法，包含以下步骤：

步骤1，获得手势的外部轮廓；

步骤2，使用距离变换和外接圆求交点的方法，在所述外部轮廓的图像上，识别出掌心位置和手掌半径；

步骤3，在所述外部轮廓上，计算出轮廓凸包，并结合所述掌心位置确定手指方向；

步骤4，基于所述掌心位置和所述手指方向，使用所述轮廓凸包和所述外部轮廓上的凸缺陷，确定手指位置；

步骤5，利用手指个数以及所述手指位置与所述掌心位置关系完成手势的分类，完成静态手势识别。

进一步地，步骤1中包含以下步骤：

步骤1-1，对手势静态图像进行平滑处理，去除噪点；

步骤1-2，利用肤色模型对所述手势静态图像进行二值化，得到封闭的肤色连通区域，即所述外部轮廓；

步骤1-3，对所述外部轮廓进行轮廓预筛选。

进一步地，步骤1-1中，平滑处理的方式是高斯模糊和中值模糊。

进一步地，在步骤1-2中的二值化处理过程中，先将图像转化至HSV颜色空间，再采用如下肤色模型进行所述二值化：

在所述二值化的结果中，白色设为肤色区域，黑色设为非肤色区域。

进一步地，在步骤1-3中的所述轮廓预筛选中，设定轮廓面积阈值来排除轮廓噪声。

进一步地，步骤2中，通过对所述外部轮廓内的点进行所述距离变换，筛选出距离的区域极大值，结合所述外接圆求交点的方式，得到所述掌心位置和所述手掌半径，其步骤包含：

步骤2-1：对所述外部轮廓内的像素采用所述距离变换，得到各所述像素到所述外部轮廓的边界最近距离；

步骤2-2：找到所述像素中，其所述最近距离是极大值的点，归并为极大值点集；

步骤2-3：将所述极大值点集里的所述像素，按所述距离变换的值，由大到小排序；

步骤2-4：对于排序完成的所述极大值点集内的所有所述像素，计算以所述像素为圆心以对应所述最近距离2倍为半径的圆，与所述外部轮廓的交点个数。所述交点个数最多的所述像素为所述掌心位置，所述掌心位置对应的所述距离变换的值为所述手掌半径。

进一步地，步骤2-2和步骤2-3之间插入一个优化步骤，去除噪声点，具体步骤为：

步骤2-2-1：对所述外部轮廓内的像素采用所述距离变换，得到各所述像素到所述外部轮廓的边界最近距离；

步骤2-2-2：找到所述像素中，其所述最近距离是极大值的点，归并为极大值点集；

步骤2-2-3：将所述极大值点集里的所述像素，按所述距离变换的值，由大到小排序；

步骤2-2-4：对于排序完成的所述极大值点集里的每一个所述像素，均向前遍历，判断所述像素是否落在以排序在所述像素之前的所述像素为圆心且以该像素对应所述距离变换的值为半径的圆内；若是，则当前所述像素视为噪声点，从所述极大值点集中剔除；

步骤2-2-5：对于所述极大值点集内所有剩下的所述像素，计算以所述像素为圆心，以对应所述最近距离2倍为半径的圆，与所述外部轮廓的交点个数。所述交点个数最多的所述像素为所述掌心位置，所述掌心位置的所述距离变换的值为所述手掌半径。

进一步地，步骤3中，利用所述掌心位置和所述轮廓凸包中待选的手指位置确定出正确的所述手指方向，其步骤包含：

步骤3-1：以所述掌心位置为极点，x轴正方向为极轴建立极坐标系；

步骤3-2：以所述外部轮廓上任一凸包点为起点，顺时针遍历；对每一个遍历到的新凸包点，计算所述新凸包点的极角与上一个所述凸包点极角的差值；若小于5°，则将所述新凸包点与上一个所述凸包点放到同一个点集中；反之，则新建一个点集；

步骤3-3：在遍历后得到的包含一个或多个所述凸包点的所述点集中，仅保留所述点集中距离所述掌心位置最远的所述凸包点；

步骤3-4：以所述掌心位置为圆心，以所述手掌半径的2倍为半径作圆，得到与所述外部轮廓的交点集；

步骤3-5：对于每一个在步骤3-2中得到的所述点集中的所述凸包点，以所述掌心位置为极点，以所述掌心位置指向所述凸包点为极轴方向，计算步骤3-4中所述交点集落在区域R＝{(ρ,r)|-π/2≤ρ<π/2}中的个数；所述个数取到最大值时，所述极轴方向为所述手指方向。其中r是所述手掌半径；

若有分布于多个所述点集中的所述凸包点同时满足步骤3-5中的所述个数最大，则取与所述掌心位置到所述凸包点距离最远的所述凸包点，以所述掌心位置到所述距离最远的所述凸包点方向为所述手指方向。

进一步地，步骤4中，结合所述掌心位置和所述手指方向确定出手腕位置，进一步使用所述轮廓凸包和所述凸缺陷以及所述轮廓凸包到手腕的距离筛选出正确的所述手指位置，其步骤包含：

步骤4-1：定义有效的所述凸缺陷为一个缺陷点与其左右所述凸包点连线距离d_h满足：0.75r≤d_h≤2.5r，且所述凸包点到所述掌心的距离d_o满足：d_o≤2r；其中，r是所述手掌半径；

步骤4-2：以所述掌心位置为极坐标原点，向所述手指方向的反方向，寻找到合理的所述手腕位置；

步骤4-3：如果一个所述凸包点与所述手腕位置的连线与所述手指方向夹角小于90°，到所述手腕位置的距离合理，且所述凸包点两侧各存在一个所述有效的凸缺陷，则认为所述凸包点为一个有效所述手指位置。

进一步地，令所述掌心位置的坐标为(x₀,y₀)，所述手指方向的极角为p_i，r是所述手掌半径，那么：

步骤4-2中，所述手腕位置由(x₀-r*cos(p_i),y₀-r*sin(p_i))确定；

步骤4-3中，所述手腕位置的距离合理是指，所述距离d_w满足3r≤d_w≤6r。

在本发明的较佳实施方式中，本发明使用掌心与手指作为手势的特征，简单灵活且易实现、使用距离变换和外接圆求交点的方法识别掌心，具有很好的稳定性，在轮廓包含手臂的情况下，也能准确地识别出掌心和手指的方向。本发明基于掌心位置和手指方向，使用凸包和凸缺陷来确定手指位置，效率高且比较可靠。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是本发明的一个较佳实施例的流程图；

图2是本发明的一个较佳实施例的原始视频帧；

图3是HSV空间下肤色分量分析示例图；

图4是本发明的一个较佳实施例的黑白二值图；

图5是本发明的一个较佳实施例的手部轮廓图；

图6是本发明的一个较佳实施例的掌心定位图；

图7是本发明的一个较佳实施例的确定手指方向图；

图8是本发明的一个较佳实施例的最终结果图。

具体实施方式

以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。

实施例一

如图1所示，本实施例的流程为：

流程1：获得原始视频帧，即需要处理的手势的原始图像。

流程2：对原始视频帧进行图像平滑去噪处理。

流程3：将平滑后的图像转化至HSV颜色空间，然后进行肤色轮廓提取。

流程4：通过对轮廓内的点进行距离变换，筛选距离的区域极大值得到掌心位置。

流程5：利用掌心位置和轮廓凸包中待选的手指位置确定出正确的手指方向。

流程6：结合掌心位置和手指方向确定出手腕位置，进一步使用凸包和凸缺陷以及这些点到手腕的距离筛选出正确的指尖位置。

流程7：利用手指个数以及手指与掌心的位置关系完成手势分类。

实施例二

本实施例基于如图2所示的需要进行手势识别的原始视频帧，开始以下步骤：

步骤1，获得手势的外部轮廓；

为了降低图像中的噪点对识别的影响，对图像先后进行一次高斯模糊和中值模糊的平滑处理。

基于肤色找出手部轮廓。为了更好的提取手部的轮廓将原始RGB空间的图像转换至HSV空间。之所以选用HSV空间，是由于相较于RGB空间，HSV空间上肤色的分布更为集中，且对光照较不敏感。

在HSV空间下，可以根据下述HSV肤色模型(如图3所示)对图像进行二值化，白色设为肤色区域，黑色设为非肤色区域。

最后得到黑白二值图，如图4所示

在黑白二值图像上找出封闭的轮廓，即白色连通区域的外边界，若用户手臂部分裸露在镜头下，那么很自然的，这个轮廓将包含手臂。我们可以通过设定轮廓面积阈值来排除一些过小和过大的轮廓噪声。

最后得到手部的外部轮廓，如图5所示。

步骤2，使用距离变换和外接圆求交点的方法，在所述外部轮廓的图像上，识别出掌心位置和手掌半径；

对得到外部轮廓内的像素采用距离变换，即得到各轮廓内像素到轮廓边界的最近距离d_i，掌心的位置O对应一个该距离的区域极大值出现的点。区域极大值主要出现在掌心、手肘、指尖等位置，同时也存在部分由于轮廓不平滑而出现的噪点，为了筛选出正确的掌心位置，我们首先将所有区域极大值点按距离变换值由大到小排序，记作(E₁，E₂，...)，对于每一个极大值点E_i，向前遍历(E_i-1，Ei-₂，...)，判断E_i是否落在以这些极大值点为圆心的轮廓内接圆内，若是，则视为噪声点并剔除。对于剩下的点，计算以他们为圆心，各自极大值的2倍为半径的圆与轮廓的交点个数(如图6所示)，其中交点个数最多的点即为掌心的位置O，该点的距离变换值即为手掌的半径r。大部分情况下，非掌心位置的极大值点只有2个交点，而掌心则至少有4个交点(一根手指的2个交点以及手腕的2个交点)。

步骤3，在所述外部轮廓上，识别出轮廓凸包，并结合所述掌心位置确定手指方向；

以掌心O为极点，x轴正方向为极轴建立极坐标系，计算轮廓的凸包，记作C＝{C₁,C₂,...}。理想情况下，每一个凸包点应该对应一个指尖或者轮廓上的其他凸点，但实际情景中，往往由于轮廓不平滑，而导致一个指尖上存在多个凸包点，因而，需要先去除这些多余的凸包点。

为此，我们以任一凸包点为起点，顺时针遍历，对每一个遍历到的凸包点，计算其极角p_i与上一个凸包点极角p_i-1的差值，若小于5°，则将其与上一个凸包点放到同一个点集中，反之，则新建一个点集。以此类推，在遍历完后，会得到若干包含一个或多个凸包点的点集。对于每个点集，仅保留其中距离掌心最远的点，此时每个指尖只对应一个凸包点。进一步的，以O为圆心，2r为半径作圆，得到与轮廓的交点集P＝{P₁,P₂,...}，这部分可以复用步骤2中的结果。对于筛选出的凸包点C_i，(1≤i≤n)，以O为极点，OC_i为极轴方向，计算P中的点落在区域R＝{(ρ,r)|-π/2≤ρ<π/2}中的个数N_i，N_i取到最大值时的即为手指方向(如图7所示)。若存在多个这样的C_i，则取|OC_i|最大者。至此，我们可以完全排除手臂部分轮廓对识别的影响。

步骤4，基于所述掌心位置和所述手指方向，使用所述轮廓凸包和所述外部轮廓上的凸缺陷，确定手指位置；

我们利用凸包来定位手指，但是正如手部的自然形状，凸包上的点必须满足到手腕距离符合正常手指长度，且其两侧各有1个有效的凸缺陷，根据经验值，此处定义有效的凸缺陷为一个缺陷点与其左右凸包点连线距离d_h满足：0.75r≤d_h≤2.5r，且该缺陷点到掌心的距离d_o满足：d_o≤2r。首先根据上一步中得到的手指方向来估算出手腕的位置，令掌心O的坐标为(x₀,y₀)，步骤3中找出的C_i的极角为p_i，那么手腕W的坐标可以近似计算为(x₀-r*cos(p_i),y₀-r*sin(p_i))，即掌心内接圆上距离C_i最远的点。最后，如果一个凸包点与手腕连线与手指方向夹角小于90°，到手腕的距离满足3r≤d_w≤6r，且其两侧各存在一个有效的凸缺陷，则认为该凸包点为一个有效的指尖位置。最终，得到的掌心和指尖位置如图8所示。

步骤5，利用手指个数以及所述手指位置与所述掌心位置关系完成手势的分类，完成静态手势识别。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种基于手掌和手指特征的静态手势识别方法，其特征在于，包含以下步骤：

步骤1，获得手势的外部轮廓；

步骤2，使用距离变换和外接圆求交点的方法，在所述外部轮廓的图像上，识别出掌心位置和手掌半径；

步骤3，在所述外部轮廓上，计算出轮廓凸包，并结合所述掌心位置确定手指方向；

步骤4，基于所述掌心位置和所述手指方向，使用所述轮廓凸包和所述外部轮廓上的凸缺陷，确定手指位置；

步骤5，利用手指个数以及所述手指位置与所述掌心位置关系完成手势的分类，完成静态手势识别。

2.如权利要求1所述的静态手势识别方法，其特征在于，步骤1中包含以下步骤：

步骤1-1，对手势静态图像进行平滑处理，去除噪点；

步骤1-2，利用肤色模型对所述手势静态图像进行二值化，得到封闭的肤色连通区域，即所述外部轮廓；

步骤1-3，对所述外部轮廓进行轮廓预筛选。

3.如权利要求2所述的静态手势识别方法，其特征在于，步骤1-1中，平滑处理的方式是高斯模糊和中值模糊。

4.如权利要求2所述的静态手势识别方法，其特征在于，在步骤1-2中的二值化处理过程中，先将图像转化至HSV颜色空间，再采用如下肤色模型进行所述二值化：

在所述二值化的结果中，白色设为肤色区域，黑色设为非肤色区域。

5.如权利要求2所述的静态手势识别方法，其特征在于，在步骤1-3中的所述轮廓预筛选中，设定轮廓面积阈值来排除轮廓噪声。

6.如权利要求1所述的静态手势识别方法，其特征在于，步骤2中，通过对所述外部轮廓内的点进行所述距离变换，筛选出距离的区域极大值，结合所述外接圆求交点的方式，得到所述掌心位置和所述手掌半径，其步骤包含：

步骤2-1：对所述外部轮廓内的像素采用所述距离变换，得到各所述像素到所述外部轮廓的边界最近距离；

步骤2-2：找到所述像素中，其所述最近距离是极大值的点，归并为极大值点集；

步骤2-3：将所述极大值点集里的所述像素，按所述距离变换的值，由大到小排序；

步骤2-4：对于排序完成的所述极大值点集内的所有所述像素，计算以所述像素为圆心以对应所述最近距离2倍为半径的圆，与所述外部轮廓的交点个数；所述交点个数最多的所述像素为所述掌心位置，所述掌心位置对应的所述距离变换的值为所述手掌半径。

7.如权利要求6所述的静态手势识别方法，其特征在于，步骤2-2和步骤2-3之间插入一个优化步骤，去除噪声点，具体步骤为：

步骤2-2-1：对所述外部轮廓内的像素采用所述距离变换，得到各所述像素到所述外部轮廓的边界最近距离；

步骤2-2-2：找到所述像素中，其所述最近距离是极大值的点，归并为极大值点集；

步骤2-2-3：将所述极大值点集里的所述像素，按所述距离变换的值，由大到小排序；

步骤2-2-4：对于排序完成的所述极大值点集里的每一个所述像素，均向前遍历，判断所述像素是否落在以排序在所述像素之前的所述像素为圆心且以该像素对应所述距离变换的值为半径的圆内；若是，则当前所述像素视为噪声点，从所述极大值点集中剔除；

步骤2-2-5：对于所述极大值点集内所有剩下的所述像素，计算以所述像素为圆心，以对应所述最近距离2倍为半径的圆，与所述外部轮廓的交点个数；所述交点个数最多的所述像素为所述掌心位置，所述掌心位置的所述距离变换的值为所述手掌半径。

8.如权利要求1所述的静态手势识别方法，其特征在于，步骤3中，利用所述掌心位置和所述轮廓凸包中待选的手指位置确定出正确的所述手指方向，其步骤包含：

步骤3-1：以所述掌心位置为极点，x轴正方向为极轴建立极坐标系；

步骤3-2：以所述外部轮廓上任一凸包点为起点，顺时针遍历；对每一个遍历到的新凸包点，计算所述新凸包点的极角与上一个所述凸包点极角的差值；若小于5°，则将所述新凸包点与上一个所述凸包点放到同一个点集中；反之，则新建一个点集；

步骤3-3：在遍历后得到的包含一个或多个所述凸包点的所述点集中，仅保留所述点集中距离所述掌心位置最远的所述凸包点；

步骤3-4：以所述掌心位置为圆心，以所述手掌半径的2倍为半径作圆，得到与所述外部轮廓的交点集；

步骤3-5：对于每一个在步骤3-2中得到的所述点集中的所述凸包点，以所述掌心位置为极点，以所述掌心位置指向所述凸包点为极轴方向，计算步骤3-4中所述交点集落在区域R＝{(ρ,r)|-π/2≤ρ<π/2}中的个数；所述个数取到最大值时，所述极轴方向为所述手指方向，其中r是所述手掌半径；

若有分布于多个所述点集中的所述凸包点同时满足步骤3-5中的所述个数最大，则取与所述掌心位置到所述凸包点距离最远的所述凸包点，以所述掌心位置到所述距离最远的所述凸包点方向为所述手指方向。

9.如权利要求1所述的静态手势识别方法，其特征在于，步骤4中，结合所述掌心位置和所述手指方向确定出手腕位置，进一步使用所述轮廓凸包和所述凸缺陷以及所述轮廓凸包到手腕的距离筛选出正确的所述手指位置，其步骤包含：

步骤4-1：定义有效的所述凸缺陷为一个缺陷点与其左右所述凸包点连线距离d_h满足：0.75r≤d_h≤2.5r，且所述凸包点到所述掌心的距离d_o满足：d_o≤2r；其中，r是所述手掌半径；

步骤4-2：以所述掌心位置为极坐标原点，向所述手指方向的反方向，寻找到合理的所述手腕位置；

步骤4-3：如果一个所述凸包点与所述手腕位置的连线与所述手指方向夹角小于90°，到所述手腕位置的距离合理，且所述凸包点两侧各存在一个所述有效的凸缺陷，则认为所述凸包点为一个有效所述手指位置。

10.如权利要求9所述的静态手势识别方法，其特征在于，令所述掌心位置的坐标为(x₀,y₀)，所述手指方向的极角为p_i，r是所述手掌半径，那么：

步骤4-2中，所述手腕位置由(x₀-r*cos(p_i),y₀-r*sin(p_i))确定；

步骤4-3中，所述手腕位置的距离合理是指，所述距离d_w满足3r≤d_w≤6r。