CN106650554A - 静态手势识别方法 - Google Patents

Abstract

本发明提供一种静态手势识别方法，包括以下步骤：获取待识别的手势图像；提取所述手势图像中的手部姿态特征；将所述手部姿态特征与预设的手势模型进行特征比对，确定所述待识别的手势图像的识别结果。本发明的静态手势识别方法，获取待识别的手势图像，通过检测识别手部姿态特征，实现静态手势识别。本发明的静态手势识别方法在检测手部姿态轮廓的同时进行手部姿态轮廓分割，将检测和分割结合，显著地提高了手势识别效率，同时无需获取精确的手部轮廓，能够有效避免由于手部分割和轮廓边缘提取不精确导致的误差。

Description

静态手势识别方法

技术领域

本发明涉及人工智能及图像识别技术领域，尤其涉及一种静态手势识别方法。

背景技术

手势是人类重要的交互手段之一，其历史甚至早于有声语言。手势主要是通过手臂、手掌以及手指的姿态或者运动轨迹作为信息载体，实现信息的传递与交流。手势是人类最本能的意图表达，也是最为生动形象、最符合人们习惯的自然交流方式。

随着计算机软、硬件技术的快速发展，智能设备日益普及，自然舒适的人机交互方式的重要性逐渐突显，成为智能人机交互领域研究的热点方向之一。手势交互作为一种新型的人机交互方式，具有表意简明、通用性强、种类丰富和应用广泛等诸多特点，符合自然舒适的人机交互理念，成为新型人机交互方式发展的重要方向之一。

现有技术方案中，根据手势的运动特点，手势可以分为静态手势和动态手势，静态手势主要以手部的静止形态作为手势特征，通过提取手部的几何特征进行手势信息识别。由于手势特征识别容易受到光照和遮挡等因素的干扰，影响检测的稳定性和准确性，因此，如何快速准确地检测手部姿态轮廓，实现静态手势识别，成为智能人机交互领域内亟待解决的技术问题之一。

发明内容

本发明的目的是提供一种静态手势识别方法，获取待识别的手势图像，通过检测识别手部姿态轮廓，实现静态手势识别。本发明在检测手部姿态轮廓的同时进行手部姿态轮廓分割，将检测和分割结合，显著地提高了手势识别效率，同时无需获取精确的手部轮廓，能够有效避免由于手部分割和轮廓边缘提取不精确导致的误差。

有鉴于此，本发明提供一种静态手势识别方法，包括以下步骤：获取待识别的手势图像；提取所述手势图像中的手部姿态特征；将所述手部姿态特征与预设的手势模型进行特征比对，确定所述待识别的手势图像的识别结果。

优选地，所述静态手势识别方法，还包括：建立手势模型库。

优选地，所述提取所述手势图像中的手部姿态特征的步骤，具体为：采用基于肤色的分割方法提取所述手势图像中的手部图像区域，获取所述手部图像区域对应的轮廓序列。

优选地，所述将所述手部姿态特征与预设的手势模型进行特征比对，确定所述待识别的手势图像的识别结果的步骤，具体为：根据手势模型库中预设的手势模型对应的手部轮廓序列，通过相似度比对确定所述待识别的手势图像的识别结果。

优选地，所述根据手势模型库中预设的手势模型对应的手部轮廓序列，通过相似度比对确定所述待识别的手势图像的识别结果的步骤，具体为：计算所述手势模型库中预设的手势模型对应的手部轮廓序列与所述待识别的手势图像的手部图像区域对应的轮廓序列之间的全局代价矩阵，确定与所述待识别的手势图像匹配的手势模型。

优选地，所述建立手势模型库的步骤，具体为：预设一个或多个手势模型，提取所述手势模型对应的手部轮廓序列。

本发明静态手势识别方法，获取待识别的手势图像，通过检测识别手部姿态轮廓，实现静态手势识别，采用改进的动态时间规整算法，能够在手部图像区域对应的轮廓序列中自动识别出手部轮廓序列，同时通过相似度计算匹配对应的手势模型，确定手势识别结果，避免了由于手部图像分割和边缘提取不精确所导致的误差，提高了静态手势识别的准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图：

图1示出了本发明实施例的静态手势识别方法的流程示意图；

图2示出了本发明实施例的静态手势识别方法的全局代价矩阵示意图；

图3示出了本发明实施例的静态手势识别方法的全局代价矩阵元素邻域点示意图；

图4示出了本发明实施例的静态手势识别方法的轮廓点归一化示意图。

具体实施方式

为了能够更清楚地理解本发明的目的、特征和优点，下面结合附图和具体实施方式对本发明做进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互结合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，这仅仅是本发明的一些实施例，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

图1示出了根据本发明实施例的静态手势识别方法的流程示意图。

如图1所示，根据本发明实施例的静态手势识别方法，主要包括以下步骤：

步骤S101，获取待识别的手势图像；

步骤S102，提取手势图像中的手部姿态特征；

步骤S103，将手部姿态特征与预设的手势模型进行特征比对，确定待识别的手势图像的识别结果。

在该技术方案中，通过图像采集设备获取待识别手势的普通彩色图像，或者通过深度图像采集设备获取待识别手势的深度图像。

在上述技术方案中，优选地，采用基于肤色的分割方法提取待识别的手势图像中的手部图像区域，获取手部图像区域对应的轮廓序列作为手部姿态特征。具体地，采用基于肤色的分割方法将待识别的手势图像中的手部区域从图像的背景中分离后得到手部图像区域，提取手部图像区域对应的轮廓序列，该轮廓序列中包括手部轮廓序列。

在上述技术方案中，优选地，在将手部姿态特征与预设的手势模型进行特征比对之前，还可以预先建立手势模型库，在手势模型库中存储预设的标准手势模型，用于与待识别的手势图像进行手势特征比对匹配，确定待识别的手势图像中手势的识别结果。具体地，在手势模型库中预设一个或多个标准手势模型，提取所述手势模型对应的手部轮廓序列。同样地，对手势模型库中每一个手势模型进行手部轮廓序列提取，可以获得该手势模型库中的每一个手势模型对应的手部轮廓序列，此处不再赘述。

在上述技术方案中，优选地，根据手势模型库中预设的手势模型对应的手部轮廓序列，通过相似度比对确定待识别手势图像的识别结果。具体地，将待识别的手势图像中手部图像区域对应的轮廓序列与手势模型库中的手势模型对应的手部轮廓序列进行比对，在待识别的手势图像中手部图像区域对应的轮廓序列中提取手部轮廓序列，计算待识别的手部轮廓序列与手势模型库中的手势模型对应的手部轮廓序列之间的相似度，若相似度达到预设的相似度阈值，则确定待识别的手势图像与该手势模型匹配成功，根据所匹配的手势模型确定待识别手势图像的识别结果。

在上述技术方案中，优选地，将待识别的手势图像中手部图像区域对应的轮廓序列与手势模型库中的手势模型对应的手部轮廓序列进行特征比对，采用动态时间规整算法通过计算手势模型库中预设的手势模型的手部轮廓序列与待识别手势图像的手部图像区域对应的轮廓序列之间的全局代价矩阵，提取手部图像区域对应的轮廓序列中的手部轮廓序列，通过相似度计算确定与待识别手势图像的相似度达到预设阈值的手势模型，得到待识别的手势图像的识别结果。具体地，动态时间规整算法以计算代价矩阵为基础，如图2所示，M为手势模型库中任一手势模型的手部轮廓序列G与待识别手势图像中手部图像区域对应的轮廓序列Q之间的全局代价矩阵，其中，手势模型的手部轮廓序列G＝{g₁……g_m}的长度为m，待识别的手势图像中手部图像区域对应的轮廓序列Q＝{q₁……q_∞}的长度为任意无限长，则全局代价矩阵M为一个m×∞维的矩阵，其中，m为大于等于1的正整数。通过计算手势模型的手部轮廓序列G与待识别的手势图像中手部图像区域对应的轮廓序列Q之间的全局代价矩阵M，可以根据全局代价矩阵M实现手部轮廓检测，确定待识别手势图像中手部图像区域对应的轮廓序列Q中所包含的手部轮廓序列，以及该手部轮廓序列与手势模型库中的手势模型对应的手部轮廓序列G的相似度。全局代价矩阵M的表达式为：

M(ω)＝d(ω)+min_{ω′∈N(ω)}M(ω′)

在全局代价矩阵M的表达式中，ω＝(i,j)为全局代价矩阵M中的元素(i,j)，i为手势模型的手部轮廓序列G中的第i个特征点g_i，j为待识别手势图像中手部图像区域对应的轮廓序列Q中的第j个特征点q_j，其中，i为正整数，且1≤i≤m，j为正整数。

在全局代价矩阵M的表达式中，d(ω)表示手势模型的手部轮廓序列G中的第i个特征g_i与手势图像中手部图像区域对应的轮廓序列Q中的第j个特征q_j之间的距离，具体地，采用欧式距离度量(g_i,q_j)之间的距离，则d(ω)的表达式为：

d(ω)＝||g_i,q_j||₂

在全局代价矩阵M的表达式中，N(ω)为全局代价矩阵M中与ω＝(i,j)元素相邻的三个邻域点，分别是ω＝(i,j)的左邻域点、上邻域点和左上邻域点，即全局代价矩阵M中的(i-1,j-1)、(i-1,j)和(i,j-1)三个元素，如图3所示。因此，全局代价矩阵M中每一个M(ω)的值为手势模型的手部轮廓序列G中的第i个特征g_i与待识别手势图像中手部图像区域对应的轮廓序列Q中的第j个特征q_j之间的距离与全局代价矩阵M中元素(i,j)的三个邻域点中匹配值最小的一个相加之和。

在全局代价矩阵M中，元素ω＝(m,k)位于全局代价矩阵M的最后一行，由于M(ω)为全局代价矩阵M中路径的累加和，因此，M(m,k)为全局代价矩阵M中以第一行的某一元素为起点，以元素(m,k)为终点的完整匹配路径的累加和，也就是待识别的手势图像中手部图像区域对应的轮廓序列Q中手部轮廓序列与手势模型库中的手势模型对应的手部轮廓序列G的相似度。预设待识别的手势图像中手部图像区域对应的轮廓序列Q中手部轮廓序列与手势模型库中的手势模型对应的手部轮廓序列G的相似度阈值为μ，当M(m,k)＜μ时，则表示在待识别的手势图像中手部图像区域对应的无限长轮廓序列Q中检测到了与手势模型库中的手势模型对应的手部轮廓序列G相似度达到预设阈值的手部轮廓序列段，即待识别的手势图像与该手势模型匹配，其中，k为正整数，且k≥m。进一步地，当手势模型库中包含多个手势模型时，与待识别的手势图像相似度最高的手势模型，即是与该待识别的手势图像匹配的手势模型。

在上述技术方案中，预设待识别的手势图像中手部图像区域对应的轮廓序列Q与手势模型库中的手势模型对应的手部轮廓序列G的相似度阈值为μ，具体地，相似度阈值μ可以通过交叉验证的方法获得，预先计算同一手势的多个样本的手部轮廓序列之间的相似度，选取相似度的平均值作为相似度阈值μ的值。

在上述技术方案中，优选地，在手势模型库中预设一个或多个标准手势模型，提取所述手势模型的手部轮廓，计算所述手部轮廓中每两个轮廓点之间的方向向量，并对该方向向量进行归一化，将该手势模型的手部轮廓转化为一组归一化的方向向量序列，作为该手势模型对应的手部姿态特征。如图4所示，P₁和P₂分别是手势模型的手部轮廓中的两个轮廓点，是两个轮廓点之间的方向向量，其中，V_x,V_y分别是向量对应的分量，则归一化后的方向向量(v_x,v_y)的表达式为：

同样地，对手势模型库中每一个手势模型进行上述操作，可以获得该手势模型库中每一个手势模型对应的手部姿态特征，此处不再赘述。

在上述技术方案中，优选地，在待识别的手势图像中提取手部图像区域对应的图像轮廓，计算所述图像轮廓中每两个轮廓点之间的方向向量，并对该方向向量进行归一化，将待识别的手势图像中手部图像区域的图像轮廓转化为一组归一化的方向向量序列，作为该待识别的手势图像对应的手部姿态特征。

根据本发明实施例的静态手势识别方法，获取待识别的手势图像，通过检测识别手部姿态轮廓，实现静态手势识别。采用改进的动态时间规整算法，可以克服轮廓曲线因拉伸、压缩或者幅值变化引起的相似度变化，能够在待识别的手势图像轮廓序列中准确地检测出有效的手势轮廓的同时识别手势，提高了静态手势识别的效率，同时避免了由于手部图像分割和边缘提取不精确所导致的误差，提高了静态手势识别的准确率。

再次声明，本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

本发明并不局限于前述的具体实施方式。本发明可以扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (6)

1.一种静态手势识别方法，其特征在于，包括以下步骤：

获取待识别的手势图像；

提取所述手势图像中的手部姿态特征；

将所述手部姿态特征与预设的手势模型进行特征比对，确定所述待识别的手势图像的识别结果。

2.根据权利要求1所述的静态手势识别方法，其特征在于，还包括：

建立手势模型库。

3.根据权利要求1或2中任一项所述的静态手势识别方法，其特征在于，所述提取所述手势图像中的手部姿态特征的步骤，具体为：

采用基于肤色的分割方法提取所述手势图像中的手部图像区域，获取所述手部图像区域对应的轮廓序列。

4.根据权利要求3所述的静态手势识别方法，其特征在于，所述将所述手部姿态特征与预设的手势模型进行特征比对，确定所述待识别的手势图像的识别结果的步骤，具体为：

根据手势模型库中预设的手势模型对应的手部轮廓序列，通过相似度比对确定所述待识别的手势图像的识别结果。

5.根据权利要求4所述的静态手势识别方法，其特征在于，所述根据手势模型库中预设的手势模型对应的手部轮廓序列，通过相似度比对确定所述待识别的手势图像的识别结果的步骤，具体为：

计算所述手势模型库中预设的手势模型对应的手部轮廓序列与所述待识别的手势图像的手部图像区域对应的轮廓序列之间的全局代价矩阵，确定与所述待识别的手势图像匹配的手势模型。

6.根据权利要求所述5的静态手势识别方法，其特征在于，所述建立手势模型库的步骤，具体为：

预设一个或多个手势模型，提取所述手势模型对应的手部轮廓序列。