CN104933408A - 手势识别的方法及系统 - Google Patents

Abstract

本发明适用于人机交互技术领域，提供了一种手势识别的方法及系统。所述方法包括：当检测到手势起始坐标时，记录从所述手势起始坐标开始的运动轨迹信息；从所述运动轨迹信息中提取固定特征信息；通过预设的手势识别模型对所述固定特征信息进行识别，并输出识别结果；判断所述识别结果中是否存在错误识别的样本；若存在，从所述错误识别的样本中提取特定特征信息；通过所述预设的手势识别模型对所述特定特征信息进行识别，并输出识别结果。通过本发明，不仅可以保证手势识别的实时性，而且可以极大的提高手势识别的正确率。

Description

手势识别的方法及系统

技术领域

本发明属于人机交互技术领域，尤其涉及一种手势识别的方法及系统。

背景技术

随着信息技术的发展，人机交互活动逐渐成为人们日常生活中的一个重要组成部分。鼠标、键盘、遥控器等传统的人机交互设备在使用的自然性和友好性方面都存在一定的缺陷，因此用户迫切希望能通过一种自然而直观的人机交互模式来取代传统设备单一的基于按键的输入和控制方式。

现有基于手势识别的人机交互模式由于其自然性、直观性、简洁性等特点，被应用的越来越广泛。然而，虽然现有基于手势识别的人机交互模式对特定的静态手势具有较高的识别率，但是该手势识别只能在手势结束之后进行识别，影响了手势识别的实时性。

发明内容

鉴于此，本发明实施例提供一种手势识别的方法及系统，以实现手势的实时识别，并提高手势识别的正确率。

第一方面，本发明实施例提供了一种手势识别的方法，所述方法包括：

当检测到手势起始坐标时，记录从所述手势起始坐标开始的运动轨迹信息；

从所述运动轨迹信息中提取固定特征信息；

通过预设的手势识别模型对所述固定特征信息进行识别，并输出识别结果；

判断所述识别结果中是否存在错误识别的样本；

若存在，从所述错误识别的样本中提取特定特征信息；

通过所述预设的手势识别模型对所述特定特征信息进行识别，并输出识别结果。

第二方面，本发明实施例提供了一种手势识别的系统，所述系统包括：

手势数据采集模块，用于当检测到手势起始坐标时，记录从所述手势起始坐标开始的运动轨迹信息；

固定特征提取模块，用于从所述运动轨迹信息中提取固定特征信息；

第一识别模块，用于通过预设的手势识别模型对所述固定特征信息进行识别，并输出识别结果；

判断模块，用于判断所述识别结果中是否存在错误识别的样本；

特定特征提取模块，用于在所述判断模块判断结果为是时，从所述错误识别的样本中提取特定特征信息；

第二识别模块，用于通过所述预设的手势识别模型对所述特定特征信息进行识别，并输出识别结果。

本发明实施例与现有技术相比存在的有益效果是：本发明实施例通过采集手势数据，提取固定特征信息以及特定特征信息，通过手势识别模型对所述固定特征信息以及特定特征信息进行识别，获得识别结果。由于所述手势识别模型可根据所述固定特征信息以及特定特征信息识别手势，从而不需要手势完成后再进行识别，实现了手势识别的实时性。另外，在第一次识别后，通过检测错误样本，提取错误样本中的特定特征信息以及对所述特定特征信息进行二次识别，可有效改进现有手势误识别的问题，极大的提高手势识别的正确率，具有较强的易用性和实用性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的手势识别方法的实现流程示意图；

图2是本发明实施例提供的建立三维坐标系的示意图；

图3是本发明实施例提供的计算方向角的示意图；

图4是本发明实施例提供的手势区域划分的示例图；

图5是本发明实施例提供的手势识别系统的组成结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透切理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

请参阅图1，为本发明实施例提供的手势识别方法的实现流程，该手势识别方法可适用于各类终端设备，如个人计算机、平板电脑、手机等。该手势识别方法主要包括以下步骤：

步骤S101，当检测到手势起始坐标时，记录从所述手势起始坐标开始的运动轨迹信息。

在本发明实施例中，检测手势起始坐标之前，需要建立与图像输入设备平行的三维坐标系。如图2所示，以图像输入设备的中心为原点，图像输入设备所在的平面为XY(即Z＝0)平面。其中，X轴平行于图像输入设备的长边且指向屏幕正方向的右方，Y轴平行于图像输入设备短边且指向屏幕正方向的上方，Z轴垂直于XY平面且指向远离屏幕的方向。通过建立好的三维坐标系记录手势的运动轨迹信息。所述运动轨迹信息包括运动方向、运动速度、运动轨迹坐标等。

进一步的，本发明实施例还包括：

设置采样频率(如每秒钟采集15次)，当检测到手势的X、Y、Z坐标低于某特定值(在图像输入设备的检测范围内)且手势的运动速度从零连续变化到某一阈值时，将运动速度为零或者所述某一阈值时的运动轨迹坐标作为所述起始坐标。当手势的运动速度由另一阈值连续变化到零时，将该运动速度为零时的运动轨迹坐标作为所述终止坐标，即手势结束，停止数据采集，由此分割出一次完整的手势。

另外，需要说明的是，本发明实施例中完成手势的媒介可以是人身体的一部分(例如，手)，也可以特定形状的工具，例如制成手掌形状的引导棒或者带有传感器的手套等，在此不做限制。

在步骤S102中，从所述运动轨迹信息中提取固定特征信息。

具体的可以是，根据第一预设时间间隔，计算所述运动轨迹信息中相邻运动轨迹坐标之间的方向角；

按照预设的方向角范围与编码值的对应关系，对计算获得的所述方向角进行编码获得编码值；

将获得的所述编码值进行组合后获得所述固定特征信息。

在本发明实施例中，所述方向角由相邻两时刻的坐标向量与X正轴按逆时针方向所组成的角表示，如图3所示。由于每个手势都有一个主要的运动平面，这里默认为XOY平面，为了表达方便，将所有手势的运动轨迹信息投影到XOY平面，则相邻两时刻的采样点位置分别为P_t(X_t,Y_t,0)和P_t+1(X_t+1,Y_t+1,0)，设方向角为θ_t，则θ_t的计算过程如下：

其中， $\begin{array}{c}\mathrm{\Δ}Y=Y_{t+1}-Y_t;\\ \mathrm{\Δ}X=X_{t+1}-X_t.\end{array}$

由计算过程可知，θ_t∈[0,360)，然后对方向角进行量化编码，将[0,360)均分为8份，即[0,45)编码为1，[45,90)编码为2，[90,135)编码为3，以此类推，[315,360)编码为8。因此每个手势都可以用1至8的数字编码构成，并将所述数字编码按顺序组合后作为手势的固定特征信息输入到手势识别模型中进行训练。

在步骤S103中，通过预设的手势识别模型对所述固定特征信息进行识别，并输出识别结果。

在本发明实施例中，所述预设的手势识别模型可以为隐马尔科夫模型，所述隐马尔可夫模型由模型的隐状态数、观测值数、状态转移概率矩阵、观测概率矩阵、初始状态概率矩阵和持续时间六个参数确定。

示例性的，可以将采集的0～9的数字手势和A～Z的字母手势作为样本集，每个手势取其中60％的数据用于模型训练(即取60％的数据用于隐马尔可夫模型进行手势建模)，然后利用剩余的40％的数据用于识别测试。

在步骤S104中，判断所述识别结果中是否存在错误识别的样本，若判断结果为“是”，则执行步骤S105，若判断结果为“否”，则执行步骤S106。

在本发明实施例中，当所述识别结果中存在错误识别的样本时，将所述错误识别样本重新归入新的样本集——错误样本集，以进行下一阶段特定特征信息的分析。

在步骤S105中，从所述错误识别的样本中提取特定特征信息。

其中，所述特定特征信息包括拐点特征信息和/或采样点数分区比例特征信息：

所述提取特定特征信息具体可以包括：

判断相邻两组方向角变化的值(Δθ_t＝θ_t+1-θ_t)是否大于预定阈值，若是，则判定存在拐点特征信息，并记录该拐点特征信息，包括拐点的位置以及拐点的数量等信息；

和/或，将每个手势划分为多个相同大小的区域，提取每个区域中的采样点数，通过比较所述采样点数获得采样点数分区比例特征信息。示例性的，将每个手势划分为4个相同大小的区域，如图4所示，当需要上下两部分采样点数比例作为特定特征信息时，取(1+2)/(3+4)，当需要取左右两部分采样点数比例作为特定特征信息时，取(1+3)/(2+4)。例如，“9”的上半部分采样点数明显多于下半部分，而“G”的下半部分采样点数占较大比例，通过比较手势上下采样点数比例可明显将二者区分。

在步骤S106中，保存所述识别结果。

在步骤S107中，通过所述预设的手势识别模型对所述特定特征信息进行识别，并输出识别结果。

在本发明实施例中，为了解决现有特殊或相似手势容易识别错误的问题，提高手势识别的正确率，在第一次手势识别完后，若判断出存在错误识别的样本，分离出所述错误识别的样本，并从所述错误识别的样本中提取特定特征信息以再次进行手势识别。该特定特征信息能明显区分出两个被错误识别的样本，例如，“5”和“S”、“2”和“Z”因形状相似常常产生误判，而“9”和“G”因结构相似产生误判，“0”和“O”因手势采样频率低也常常被认为是同一个字母。针对以上三类情况，通过分析验证得到，采用拐点个数和采样点数分区比例可明显区分被错误识别的样本。因为“5”棱角较为分明，明显的拐点有两处，而“S”较为平滑，没有拐点，故拐点个数可将其区分。又因为“9”的圆圈在上部，而“G”的圆圈在下部，故可以将图案分为上下两部分，并统计上下两部分采样点所占的百分比，得出“9”的上部分百分比高，“G”的下部分百分比高。针对“0”和“O”的差异，采取采样点分布之长宽比为判定依据，“0”的采样点分布长宽比要大于“O”，只要选取合适的阈值便可将其区分。依此类推，当再次出现新的误判时，通过所述特定特征信息可更准确的识别出手势。最后，将所述特定特征信息融合起来，并赋予不同的权值，可进一步提高手势识别率。

本发明实施例对于错误识别的样本，提取出能够区分误判手势的特定特征信息，并将所述特定特征信息输入所述手势识别模型再次进行模型训练与识别，若仍存在被错误识别的样本，则可重新设定该手势特定特征信息的阈值，再进行识别，直至能够完全正确识别出该手势(或者该手势正确识别率大于某预设值，例如95％)。

通过本发明实施例，不仅可以保证手势识别的实时性，还可以通过提取特定特征信息对错误识别的手势进行再次识别，极大的提高手势识别的正确率。

另外，应理解，图1对应实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

请参阅图5，为本发明实施例提供的手势识别系统的组成结构示意图。为了便于说明，仅示出了与本发明实施例相关的部分。

所述手势识别系统可以是内置于终端设备(例如个人计算机、手机、平板电脑等)中的软件单元、硬件单元或者是软硬件结合的单元。

所述手势识别系统包括：手势数据采集模块51、固定特征提取模块52、第一识别模块53、判断模块54、特定特征提取模块55以及第二识别模块56，各单元具体功能如下：

手势数据采集模块51，用于当检测到手势起始坐标时，记录从所述手势起始坐标开始的运动轨迹信息；

固定特征提取模块52，用于从所述运动轨迹信息中提取固定特征信息；

第一识别模块53，用于通过预设的手势识别模型对所述固定特征信息进行识别，并输出识别结果；

判断模块54，用于判断所述识别结果中是否存在错误识别的样本；

特定特征提取模块55，用于在所述判断模块54判断结果为是时，从所述错误识别的样本中提取特定特征信息；

第二识别模块56，用于通过所述预设的手势识别模型对所述特定特征信息进行识别，并输出识别结果。

进一步的，所述特定特征信息包括拐点特征信息和/或采样点数分区比例特征信息：

所述特定特征提取模块55具体用于：

判断相邻两组方向角变化的值是否大于预定阈值，若是，则判定存在拐点特征信息，并记录该拐点特征信息；

和/或，将每个手势划分为多个相同大小的区域，提取每个区域中的采样点数，通过比较所述采样点数获得采样点数分区比例特征信息。

进一步的，所述固定特征提取模块52包括：

方向角计算单元521，用于根据第一预设时间间隔，计算所述运动轨迹信息中相邻运动轨迹坐标之间的方向角；

编码单元522，用于按照预设的方向角范围与编码值的对应关系，对计算获得的所述方向角进行编码获得编码值；

固定特征获取单元523，用于将获得的所述编码值进行组合后获得所述固定特征信息。

进一步的，所述系统还包括：

信息获取模块57，用于根据第二预设时间间隔，获取手势的运动轨迹坐标和运动速度；

起始坐标确定模块58，用于当检测到所述手势的运动速度从零连续变化到某一阈值时，将运动速度为零或者所述某一阈值时的运动轨迹坐标作为所述起始坐标。

其中，所述预设的手势识别模型为隐马尔科夫模型，所述隐马尔可夫模型由模型的隐状态数、观测值数、状态转移概率矩阵、观测概率矩阵、初始状态概率矩阵和持续时间六个参数确定。

综上所述，本发明实施例通过采集手势数据，提取固定特征信息以及特定特征信息，通过手势识别模型对所述固定特征信息以及特定特征信息进行识别，获得识别结果。由于所述手势识别模型可根据所述固定特征信息以及特定特征信息识别手势，从而不需要手势完成后再进行识别，实现了手势识别的实时性。另外，在第一次识别后，通过检测错误样本，提取错误样本中的特定特征信息以及对所述特定特征信息进行二次识别，可有效改进现有手势误识别的问题，极大的提高手势识别的正确率，目前已对0～9的数字和A～Z的字母共36个手势做模型训练与识别，实时识别动态手势的正确率达到97％以上，具有较强的易用性和实用性。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述系统的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明实施例各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例各实施例技术方案的精神和范围。

Claims (10)

1.一种手势识别的方法，其特征在于，所述方法包括：

当检测到手势起始坐标时，记录从所述手势起始坐标开始的运动轨迹信息；

从所述运动轨迹信息中提取固定特征信息；

通过预设的手势识别模型对所述固定特征信息进行识别，并输出识别结果；

判断所述识别结果中是否存在错误识别的样本；

若存在，从所述错误识别的样本中提取特定特征信息；

通过所述预设的手势识别模型对所述特定特征信息进行识别，并输出识别结果。

2.如权利要求1所述的方法，其特征在于，所述特定特征信息包括拐点特征信息和/或采样点数分区比例特征信息：

所述提取特定特征信息包括：

判断相邻两组方向角变化的值是否大于预定阈值，若是，则判定存在拐点特征信息，并记录该拐点特征信息；

和/或，将每个手势划分为多个相同大小的区域，提取每个区域中的采样点数，通过比较所述采样点数获得采样点数分区比例特征信息。

3.如权利要求1所述的方法，其特征在于，所述从所述运动轨迹信息中提取固定特征信息包括：

根据第一预设时间间隔，计算所述运动轨迹信息中相邻运动轨迹坐标之间的方向角；

按照预设的方向角范围与编码值的对应关系，对计算获得的所述方向角进行编码获得编码值；

将获得的所述编码值进行组合后获得所述固定特征信息。

4.如权利要求1所述的方法，其特征在于，所述检测手势的起始坐标包括：

根据第二预设时间间隔，获取手势的运动轨迹坐标和运动速度；

当检测到所述手势的运动速度从零连续变化到某一阈值时，将运动速度为零或者所述某一阈值时的运动轨迹坐标作为所述起始坐标。

5.如权利要求1至4任一项所述的方法，其特征在于，所述预设的手势识别模型为隐马尔科夫模型，所述隐马尔可夫模型由模型的隐状态数、观测值数、状态转移概率矩阵、观测概率矩阵、初始状态概率矩阵和持续时间六个参数确定。

6.一种手势识别的系统，其特征在于，所述系统包括：

手势数据采集模块，用于当检测到手势起始坐标时，记录从所述手势起始坐标开始的运动轨迹信息；

固定特征提取模块，用于从所述运动轨迹信息中提取固定特征信息；

第一识别模块，用于通过预设的手势识别模型对所述固定特征信息进行识别，并输出识别结果；

判断模块，用于判断所述识别结果中是否存在错误识别的样本；

特定特征提取模块，用于在所述判断模块判断结果为是时，从所述错误识别的样本中提取特定特征信息；

第二识别模块，用于通过所述预设的手势识别模型对所述特定特征信息进行识别，并输出识别结果。

7.如权利要求6所述的系统，其特征在于，所述特定特征信息包括拐点特征信息和/或采样点数分区比例特征信息：

所述特定特征提取模块具体用于：

判断相邻两组方向角变化的值是否大于预定阈值，若是，则判定存在拐点特征信息，并记录该拐点特征信息；

和/或，将每个手势划分为多个相同大小的区域，提取每个区域中的采样点数，通过比较所述采样点数获得采样点数分区比例特征信息。

8.如权利要求6所述的系统，其特征在于，所述固定特征提取模块包括：

方向角计算单元，用于根据第一预设时间间隔，计算所述运动轨迹信息中相邻运动轨迹坐标之间的方向角；

编码单元，用于按照预设的方向角范围与编码值的对应关系，对计算获得的所述方向角进行编码获得编码值；

固定特征获取单元，用于将获得的所述编码值进行组合后获得所述固定特征信息。

9.如权利要求6所述的系统，其特征在于，所述系统还包括：

信息获取模块，用于根据第二预设时间间隔，获取手势的运动轨迹坐标和运动速度；

起始坐标确定模块，用于当检测到所述手势的运动速度从零连续变化到某一阈值时，将运动速度为零或者所述某一阈值时的运动轨迹坐标作为所述起始坐标。

10.如权利要求6至9任一项所述的系统，其特征在于，所述预设的手势识别模型为隐马尔科夫模型，所述隐马尔可夫模型由模型的隐状态数、观测值数、状态转移概率矩阵、观测概率矩阵、初始状态概率矩阵和持续时间六个参数确定。