CN109542229B - 手势识别方法、用户设备、存储介质及装置 - Google Patents

Abstract

本发明公开了手势识别方法、用户设备、存储介质及装置。本发明中在接收到手势识别指令时，采集用户手部的拇指在第一预设坐标系中的拇指手势数据；采集所述用户手部中的除所述拇指外的其他手指在第二预设坐标系中的非拇指手势数据；根据所述拇指手势数据与所述非拇指手势数据通过预设手势识别模型进行手势识别，以获得手势识别结果。在本发明中由于区分了拇指与手部的其他四指分别进行数据采集操作，区别于通过单一坐标系来获取手势数据的操作在实际手势识别过程中需要额外进行拇指手指位置的换算环节，本发明规避了额外进行手指位置的换算环节，这将降低计算过程的复杂度，从而解决了无法快速识别手势的技术问题。

Description

手势识别方法、用户设备、存储介质及装置

技术领域

本发明涉及手势识别技术领域，尤其涉及手势识别方法、用户设备、存储介质及装置。

背景技术

随着电子设备的普及程度越来越广泛，用户与电子设备之间的人机交互方式也从利用遥控器、鼠标以及键盘等外设进行的简单交互方式，发展到了利用语音交互、体感交互、眼动交互和手势交互等多样化的交互方式。

针对手势交互方式而言，在完成手势交互的过程中需要进行手势识别，但由于手势感知传感器返回的数据量较大，且手势识别的计算过程比较复杂，使得经过手势识别设备得到的手势结果较实际延迟较大，且识别实时性不强。

具体而言，手势识别方案可分为两类，第一类为基于图像来进行手势识别，第二类为使用姿态传感器来进行手势识别。

第一类的手势识别方案需结合灰度处理、边缘检测、形态学变换以及特征提取等步骤，并图像作为采集对象，计算对象以像素为单位，这导致需计算的数据量巨大；第二类的手势识别方案需计算的数据量虽然较第一种有所下降，但是姿态传感器采集到的数据种类多，且不同种类的数据需分别处理，这提高了计算过程的复杂度。

明显地，这两类手势识别方案均不能对手势数据快速处理分析，存在无法快速识别手势的技术问题。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供手势识别方法、用户设备、存储介质及装置，旨在解决无法快速识别手势的技术问题。

为实现上述目的，本发明提供一种手势识别方法，所述手势识别方法包括以下步骤：

在接收到手势识别指令时，采集用户手部的拇指在第一预设坐标系中的拇指手势数据；

采集所述用户手部中的除所述拇指外的其他手指在第二预设坐标系中的非拇指手势数据；

根据所述拇指手势数据与所述非拇指手势数据通过预设手势识别模型进行手势识别，以获得手势识别结果。

优选地，所述拇指手势数据包括拇指偏移角度，所述非拇指手势数据包括非拇指偏移角度；

所述在接收到手势识别指令时，采集用户手部的拇指在第一预设坐标系中的拇指手势数据，包括：

在接收到手势识别指令时，确定与第一预设坐标系对应的第一预设角度范围；

采集用户手部的拇指在所述第一预设坐标系中且在所述第一预设角度范围内的拇指偏移角度；

相应地，所述采集所述用户手部中的除所述拇指外的其他手指在第二预设坐标系中的非拇指手势数据，包括：

确定与第二预设坐标系对应的第二预设角度范围；

采集所述用户手部中的除所述拇指外的其他手指在所述第二预设坐标系中且在所述第二预设角度范围内的非拇指偏移角度；

相应地，所述根据所述拇指手势数据与所述非拇指手势数据通过预设手势识别模型进行手势识别，以获得手势识别结果，包括：

根据所述拇指偏移角度与所述非拇指偏移角度通过预设手势识别模型进行手势识别，以获得手势识别结果。

优选地，所述根据所述拇指手势数据与所述非拇指手势数据通过预设手势识别模型进行手势识别，以获得手势识别结果之前，所述手势识别方法还包括：

从所述拇指手势数据中提取与预设第一自由度轴对应的第一拇指旋转数据以及与预设第二自由度轴对应的第二拇指旋转数据；

从所述非拇指手势数据中提取与所述预设第一自由度轴对应的第一非拇指旋转数据以及与所述预设第二自由度轴对应的第二非拇指旋转数据；

相应地，所述根据所述拇指手势数据与所述非拇指手势数据通过预设手势识别模型进行手势识别，以获得手势识别结果，包括：

根据所述第一拇指旋转数据、所述第二拇指旋转数据、所述第一非拇指旋转数据以及所述第二非拇指旋转数据通过预设手势识别模型进行手势识别，以获得手势识别结果。

优选地，所述根据所述拇指手势数据与所述非拇指手势数据通过预设手势识别模型进行手势识别，以获得手势识别结果之前，包括：

对所述拇指手势数据与所述非拇指手势数据进行归一化处理，以获得归一化的拇指手势数据与归一化的非拇指手势数据；

所述根据所述拇指手势数据与所述非拇指手势数据通过预设手势识别模型进行手势识别，以获得手势识别结果，包括：

根据归一化的拇指手势数据与归一化的非拇指手势数据通过预设手势识别模型进行手势识别，以获得手势识别结果。

优选地，所述预设手势识别模型为预设三层手势识别神经网络模型；

所述根据归一化的拇指手势数据与归一化的非拇指手势数据通过预设手势识别模型进行手势识别，以获得手势识别结果，包括：

根据归一化的拇指手势数据与归一化的非拇指手势数据通过所述预设三层手势识别神经网络模型进行手势识别，以获得手势识别结果。

优选地，所述预设三层手势识别神经网络模型中包括预设输入层、预设隐含层以及预设输出层；

所述根据归一化的拇指手势数据与归一化的非拇指手势数据通过所述预设三层手势识别神经网络模型进行手势识别，以获得手势识别结果，包括：

在所述预设输入层中输入归一化的拇指手势数据与归一化的非拇指手势数据；

在所述预设隐含层中对归一化的拇指手势数据与归一化的非拇指手势数据进行训练，以获得与预设手势类别对应的归一化手势概率；

在所述预设输出层中将所述归一化手势概率与预设手势概率阈值进行比较，以获得比较结果；

在所述预设输出层中将与所述比较结果对应的手势类别作为手势识别结果。

优选地，所述在所述预设输出层中将所述归一化手势概率与预设手势概率阈值进行比较，以获得比较结果，包括：

在所述预设输出层中将所述归一化手势概率与预设手势概率阈值进行比较；

在所述归一化手势概率大于所述预设手势概率阈值时，统计大于所述预设手势概率阈值的归一化手势概率对应的手势类别的手势数量；

在所述手势数量大于预设数量阈值时，将大于所述预设手势概率阈值的归一化手势概率按照从大至小的顺序进行排序，以获得排序结果，并从所述排序结果中处于正向第一顺位的归一化手势概率作为目标归一化手势概率，将与所述目标归一化手势概率作为比较结果。

此外，为实现上述目的，本发明还提出一种用户设备，所述用户设备包括与第一预设坐标系对应的第一指端传感器、与第二预设坐标系对应的第二指端传感器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的手势识别程序，所述手势识别程序配置为实现如上文所述的手势识别方法的步骤。

此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有手势识别程序，所述手势识别程序被处理器执行时实现如上文所述的手势识别方法的步骤。

此外，为实现上述目的，本发明还提出一种手势识别装置，所述手势识别装置包括：

第一手势数据采集模块，用于在接收到手势识别指令时，采集用户手部的拇指在第一预设坐标系中的拇指手势数据；

第二手势数据采集模块，用于采集所述用户手部中的除所述拇指外的其他手指在第二预设坐标系中的非拇指手势数据；

手势识别模块，用于根据所述拇指手势数据与所述非拇指手势数据通过预设手势识别模型进行手势识别，以获得手势识别结果。

本发明中为了实现手势识别，可分别采集用户手部的拇指在第一预设坐标系中的拇指手势数据，并采集用户手部中的除拇指外的其他四指在第二预设坐标系中的非拇指手势数据，进而基于拇指手势数据与非拇指手势数据通过预设手势识别模型进行手势识别，以获得手势识别结果。明显地，本发明中由于区分了拇指与手部的其他四指分别进行数据采集操作，区别于通过单一坐标系来获取手势数据的操作在实际手势识别过程中需要额外进行拇指手指位置的换算环节，本发明规避了额外进行手指位置的换算环节，这将降低计算过程的复杂度，从而解决了无法快速识别手势的技术问题。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的用户设备结构示意图；

图2为本发明手势识别方法第一实施例的流程示意图；

图3为本发明实施例描述的指端传感器的示意图；

图4为本发明实施例描述的指端传感器适配的坐标系的示意图；

图5为本发明手势识别方法第二实施例的流程示意图；

图6为本发明手势识别方法第三实施例的流程示意图；

图7为本发明手势识别装置第一实施例的结构框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的用户设备结构示意图。

如图1所示，该用户设备可以包括：处理器1001，例如CPU，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)，可选用户接口1003还可以包括标准的有线接口、无线接口，对于用户接口1003的有线接口在本发明中可为USB接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的结构并不构成对用户设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

所述用户设备还包括：与第一预设坐标系对应的第一指端传感器以及与第二预设坐标系对应的第二指端传感器。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及手势识别程序。

在图1所示的用户设备中，网络接口1004主要用于连接后台服务器，与所述后台服务器进行数据通信；用户接口1003主要用于连接外设；所述用户设备通过处理器1001调用存储器1005中存储的手势识别程序，并执行以下操作：

在接收到手势识别指令时，采集用户手部的拇指在第一预设坐标系中的拇指手势数据；

采集所述用户手部中的除所述拇指外的其他手指在第二预设坐标系中的非拇指手势数据；

根据所述拇指手势数据与所述非拇指手势数据通过预设手势识别模型进行手势识别，以获得手势识别结果。

进一步地，处理器1001可以调用存储器1005中存储的手势识别程序，还执行以下操作：

在接收到手势识别指令时，确定与第一预设坐标系对应的第一预设角度范围；

采集用户手部的拇指在所述第一预设坐标系中且在所述第一预设角度范围内的拇指偏移角度；

相应地，还执行以下操作：

确定与第二预设坐标系对应的第二预设角度范围；

采集所述用户手部中的除所述拇指外的其他手指在所述第二预设坐标系中且在所述第二预设角度范围内的非拇指偏移角度；

相应地，还执行以下操作：

根据所述拇指偏移角度与所述非拇指偏移角度通过预设手势识别模型进行手势识别，以获得手势识别结果。

进一步地，处理器1001可以调用存储器1005中存储的手势识别程序，还执行以下操作：

从所述拇指手势数据中提取与预设第一自由度轴对应的第一拇指旋转数据以及与预设第二自由度轴对应的第二拇指旋转数据；

从所述非拇指手势数据中提取与所述预设第一自由度轴对应的第一非拇指旋转数据以及与所述预设第二自由度轴对应的第二非拇指旋转数据；

相应地，还执行以下操作：

根据所述第一拇指旋转数据、所述第二拇指旋转数据、所述第一非拇指旋转数据以及所述第二非拇指旋转数据通过预设手势识别模型进行手势识别，以获得手势识别结果。

进一步地，处理器1001可以调用存储器1005中存储的手势识别程序，还执行以下操作：

对所述拇指手势数据与所述非拇指手势数据进行归一化处理，以获得归一化的拇指手势数据与归一化的非拇指手势数据；

相应地，还执行以下操作：

根据归一化的拇指手势数据与归一化的非拇指手势数据通过预设手势识别模型进行手势识别，以获得手势识别结果。

进一步地，处理器1001可以调用存储器1005中存储的手势识别程序，还执行以下操作：

根据归一化的拇指手势数据与归一化的非拇指手势数据通过所述预设三层手势识别神经网络模型进行手势识别，以获得手势识别结果。

进一步地，处理器1001可以调用存储器1005中存储的手势识别程序，还执行以下操作：

在所述预设输入层中输入归一化的拇指手势数据与归一化的非拇指手势数据；

在所述预设隐含层中对归一化的拇指手势数据与归一化的非拇指手势数据进行训练，以获得与预设手势类别对应的归一化手势概率；

在所述预设输出层中将所述归一化手势概率与预设手势概率阈值进行比较，以获得比较结果；

在所述预设输出层中将与所述比较结果对应的手势类别作为手势识别结果。

进一步地，处理器1001可以调用存储器1005中存储的手势识别程序，还执行以下操作：

在所述预设输出层中将所述归一化手势概率与预设手势概率阈值进行比较；

在所述归一化手势概率大于所述预设手势概率阈值时，统计大于所述预设手势概率阈值的归一化手势概率对应的手势类别的手势数量；

在所述手势数量大于预设数量阈值时，将大于所述预设手势概率阈值的归一化手势概率按照从大至小的顺序进行排序，以获得排序结果，并从所述排序结果中处于正向第一顺位的归一化手势概率作为目标归一化手势概率，将与所述目标归一化手势概率作为比较结果。

本实施例中为了实现手势识别，可分别采集用户手部的拇指在第一预设坐标系中的拇指手势数据，并采集用户手部中的除拇指外的其他四指在第二预设坐标系中的非拇指手势数据，进而基于拇指手势数据与非拇指手势数据通过预设手势识别模型进行手势识别，以获得手势识别结果。明显地，本实施例由于区分了拇指与手部的其他四指分别进行数据采集操作，区别于通过单一坐标系来获取手势数据的操作在实际手势识别过程中需要额外进行拇指手指位置的换算环节，本实施例规避了额外进行手指位置的换算环节，这将降低计算过程的复杂度，从而解决了无法快速识别手势的技术问题。

基于上述硬件结构，提出本发明手势识别方法的实施例。

参照图2，图2为本发明手势识别方法第一实施例的流程示意图。

在第一实施例中，所述手势识别方法包括以下步骤：

步骤S10：在接收到手势识别指令时，采集用户手部的拇指在第一预设坐标系中的拇指手势数据。

可以理解的是，考虑到现行的手势识别方案存在需处理的数据量过大以及计算过程较为复杂等技术缺陷，为了应对上述技术缺陷可给出一种快速识别手势的手势识别方案，本实施例可为拇指以及其他四指分别设置不同的坐标系，以降低计算过程的复杂度，可以实现手势的快速识别。

应当理解的是，本实施例的执行主体为用户设备。用户设备可表现为一智能手套，该智能手套内可嵌入多种类型的传感器以采集手势数据。

在具体实现中，当智能手套接收到手势识别指令时，进行手势识别的识别过程。具体而言，可分别针对用户手部的拇指以及其他手指采集手势数据。比如，用户手部存在拇指也称大拇指、食指、中指、无名指和小指共五指，考虑到拇指的三维空间坐标系偏转角度较大，而食指、中指、无名指和小指的三维空间坐标系较为相近，所以，可分别设置采集数据所使用的坐标系，即第一预设坐标系与第二预设坐标系。这是考虑到若将与其他四指活动幅度存在较大区别的拇指与其他四指归回同一坐标系，在后续手势识别过程中还需另外进行手指位置的换算，这将加大计算过程的复杂度。

应当理解的是，为了适应第一预设坐标系与第二预设坐标系，参见图3，可在智能手套中分别设置安装于拇指处的第一指端传感器以及安装于其他四指处的第二指端传感器，第一指端传感器将采集用户手部的拇指在第一预设坐标系中的拇指手势数据，第二指端传感器采集所述用户手部中的除所述拇指外的其他手指在第二预设坐标系中的非拇指手势数据。

步骤S20：采集所述用户手部中的除所述拇指外的其他手指在第二预设坐标系中的非拇指手势数据。

可以理解的是，参见图4，将第一指端传感器安装于用户手部的拇指位置且适配与拇指对应的第一预设坐标系，将第二指端传感器安装于用户手部的其他四指的位置且适配与其他手指对应的第二预设坐标系。其中，其他手指包括食指、中指、无名指和小指共四指，第一预设坐标系与第二预设坐标系可为直角坐标系，而第一预设坐标系的x轴沿着拇指向指尖的方向，y轴与x轴垂直且共同组成用户手部所在的平面，令z轴垂直于手部平面，建立三维空间坐标系；第二预设坐标系的x轴沿着其他四指中的任意一指指向指尖的方向，y轴与x轴垂直且共同组成用户手部所在的平面，令z轴垂直于手部平面，建立三维空间坐标系。

步骤S30：根据所述拇指手势数据与所述非拇指手势数据通过预设手势识别模型进行手势识别，以获得手势识别结果。

应当理解的是，在获取到针对拇指的拇指手势数据以及针对其他四指的非拇指手势数据后，可输入该手势数据并结合预设手势识别模型以得到手势识别结果，从而完成手势识别的过程。

本实施例中为了实现手势识别，可分别采集用户手部的拇指在第一预设坐标系中的拇指手势数据，并采集用户手部中的除拇指外的其他四指在第二预设坐标系中的非拇指手势数据，进而基于拇指手势数据与非拇指手势数据通过预设手势识别模型进行手势识别，以获得手势识别结果。明显地，本实施例由于区分了拇指与手部的其他四指分别进行数据采集操作，区别于通过单一坐标系来获取手势数据的操作在实际手势识别过程中需要额外进行拇指手指位置的换算环节，本实施例规避了额外进行手指位置的换算环节，这将降低计算过程的复杂度，从而解决了无法快速识别手势的技术问题。

参照图5，图5为本发明手势识别方法第二实施例的流程示意图，基于上述图2所示的第一实施例，提出本发明手势识别方法的第二实施例。

第二实施例中，所述拇指手势数据包括拇指偏移角度，所述非拇指手势数据包括非拇指偏移角度。

可以理解的是，在手势识别的过程中，主要采集的是手指旋转的角度用于识别手势。所以，拇指手势数据中将包括用于记录拇指旋转角度的拇指偏移角度，非拇指手势数据中将包括用于记录其他四指旋转角度的非拇指偏移角度。

所述步骤S10，包括：

步骤S101：在接收到手势识别指令时，确定与第一预设坐标系对应的第一预设角度范围。

可以理解的是，为了进一步地减少手势识别过程待处理的数据量，以减少延迟，提高识别速度，可为拇指以及非拇指分别设置手指可旋转的角度范围，这是考虑到人体手部的骨骼形态上，拇指可旋转的角度比之其他四指的可旋转角度范围更大。所以，可在适配第一预设坐标系以及第二预设坐标系的前提下，额外增设第一预设角度范围以及第二预设角度范围，以降低数据采集的范围，进而提高了反应速度。

步骤S102：采集用户手部的拇指在所述第一预设坐标系中且在所述第一预设角度范围内的拇指偏移角度。

在具体实现中，比如，可将与拇指适配的第一预设角度范围设置为0≤x≤80，x为拇指可绕y轴旋转的角度值。

相应地，所述步骤S20，包括：

步骤S201：确定与第二预设坐标系对应的第二预设角度范围。

在具体实现中，可将与其他四指适配的第二预设角度范围设置为0≤x≤40，x为其他四指中的任意一指可绕y轴旋转的角度值。

步骤S202：采集所述用户手部中的除所述拇指外的其他手指在所述第二预设坐标系中且在所述第二预设角度范围内的非拇指偏移角度。

相应地，所述步骤S30，包括：

步骤S301：根据所述拇指偏移角度与所述非拇指偏移角度通过预设手势识别模型进行手势识别，以获得手势识别结果。

应当理解的是，由于拇指可旋转的角度比之其他四指的可旋转角度范围更大，可设置第一预设角度范围的范围包括了第二预设角度范围。通过设置角度上限，也就在保证可准确地采集拇指以及非拇指的旋转幅度的前提下，降低了对于其他四指的采集范围，进而提高了手势采集的精度和灵敏度。

此外，用户设备内除了可设置第一指端传感器与第二指端传感器外，还可设置一中心传感器，参见图3及图4，中心传感器可部署于用户手部的背部。在获取拇指偏移角度与非拇指偏移角度时，中心传感器可作为参考对照，比如，中心传感器内可设置第一中心传感器与第二中心传感器。第一中心传感器与第一预设坐标系相匹配，可用于配合该坐标系下第一指端传感器获取拇指处的拇指偏移角度；第二中心传感器与第二预设坐标系相匹配，可用于配合该坐标系下四个第二指端传感器获取四个手指的非拇指偏移角度。

进一步地，所述根据所述拇指手势数据与所述非拇指手势数据通过预设手势识别模型进行手势识别，以获得手势识别结果之前，所述手势识别方法还包括：

从所述拇指手势数据中提取与预设第一自由度轴对应的第一拇指旋转数据以及与预设第二自由度轴对应的第二拇指旋转数据；

从所述非拇指手势数据中提取与所述预设第一自由度轴对应的第一非拇指旋转数据以及与所述预设第二自由度轴对应的第二非拇指旋转数据；

相应地，所述根据所述拇指手势数据与所述非拇指手势数据通过预设手势识别模型进行手势识别，以获得手势识别结果，包括：

根据所述第一拇指旋转数据、所述第二拇指旋转数据、所述第一非拇指旋转数据以及所述第二非拇指旋转数据通过预设手势识别模型进行手势识别，以获得手势识别结果。

可以理解的是，在适配第一预设坐标系与第二预设坐标系的前提下，可额外设置第一预设角度范围与第二预设角度范围的角度上限，也可额外设置自由度轴以减少数据采集量。

当然，在适配第一预设坐标系与第二预设坐标系额外的前提下，可同时设置角度上限以及自由度轴。所以，所述根据所述拇指偏移角度与所述非拇指偏移角度通过预设手势识别模型进行手势识别，以获得手势识别结果之前，可从所述拇指偏移角度中提取与预设第一自由度轴对应的第一拇指旋转数据以及与预设第二自由度轴对应的第二拇指旋转数据，从所述非拇指偏移角度中提取与所述预设第一自由度轴对应的第一非拇指旋转数据以及与所述预设第二自由度轴对应的第二非拇指旋转数据。相应地，所述根据所述拇指偏移角度与所述非拇指偏移角度通过预设手势识别模型进行手势识别，以获得手势识别结果，包括：根据所述第一拇指旋转数据、所述第二拇指旋转数据、所述第一非拇指旋转数据以及所述第二非拇指旋转数据通过预设手势识别模型进行手势识别，以获得手势识别结果。

应当理解的是，考虑到根据医学上人体手部的骨骼和运动形态学原理，手部的五指只能包括两个自由度轴，自由度轴是指可以绕它转动因而提供自由度的轴，比如，手部的食指会以y轴为旋转轴运动，完成俯仰角变换动作；手部的食指会以z轴为旋转轴运动，完成航向角变换动作。但是，食指运动无法完成绕第三轴即x轴旋转。因此，在识别手势时，输入数据中无需包含手指姿态横滚角的信息，即仅有以y轴为旋转轴、以z轴为旋转轴的手势数据就可以完成手势识别。当然，拇指、中指、无名指和小指的运动情况均与食指一致。

在具体实现中，在获得了针对拇指的拇指偏移角度以及针对其他四指的非拇指偏移角度后，可分别从中提取在第一预设坐标系中与预设第一自由度轴对应的第一拇指旋转数据以及在第一预设坐标系中与预设第二自由度轴对应的第二拇指旋转数据，第一预设坐标系中的预设第一自由度轴为y轴，第一预设坐标系中的预设第二自由度轴为z轴，而第一预设坐标系的x轴为沿着拇指向指尖的方向，故而此处省去了以x轴为旋转轴的旋转数据，将数据量降为原来的三分之二。可分别从中提取在第二预设坐标系中与预设第一自由度轴对应的第一非拇指旋转数据以及在第二预设坐标系中与预设第二自由度轴对应的第二非拇指旋转数据，第二预设坐标系中的预设第一自由度轴为y轴，第二预设坐标系中的预设第二自由度轴为z轴，而第二预设坐标系的x轴为沿着其他四指中的任意一指指向指尖的方向，故而此处省去了以x轴为旋转轴的旋转数据，将数据量降为原来的三分之二。

本实施例可在区分了坐标系的前提下额外设置与坐标系适配的第一预设角度范围以及第二预设角度范围的角度上限，以在保证了可准确地采集拇指以及非拇指的旋转幅度的前提下，降低了对于其他四指的采集范围，进而提高了反应速度。此外，还可将手势数据或者偏移角度进行进一步地区分，可区分为分别针对预设第一自由度轴、预设第二自由度轴以及本实施例不适用的第三自由度轴即x轴的旋转数据，以省去以x轴为旋转轴的旋转数据，从而省去了三分之一的数据。通过降低待处理的数据量，减少了运算时间，使得手势识别的实时性更高，反应更加灵敏。

参照图6，图6为本发明手势识别方法第三实施例的流程示意图，基于上述图2所示的第一实施例，提出本发明手势识别方法的第三实施例。

第三实施例中，所述步骤S30之前，包括：

步骤S302：对所述拇指手势数据与所述非拇指手势数据进行归一化处理，以获得归一化的拇指手势数据与归一化的非拇指手势数据。

可以理解的是，为了便于后续适用预设手势识别模型进行手势识别，可先对数据进行规范化处理。比如，可先将拇指手势数据与非拇指手势数据进行归一化处理，以将拇指手势数据与非拇指手势数据换算为从0至1内的某一数值表示。

所述步骤S30，包括：

步骤S303：根据归一化的拇指手势数据与归一化的非拇指手势数据通过预设手势识别模型进行手势识别，以获得手势识别结果。

进一步地，所述预设手势识别模型为预设三层手势识别神经网络模型；

所述根据归一化的拇指手势数据与归一化的非拇指手势数据通过预设手势识别模型进行手势识别，以获得手势识别结果，包括：

根据归一化的拇指手势数据与归一化的非拇指手势数据通过所述预设三层手势识别神经网络模型进行手势识别，以获得手势识别结果。

在具体实现中，对于适用归一化的拇指手势数据与归一化的非拇指手势数据的预设手势识别模型存在多种，比如，支持向量机、神经网络、隐马尔科夫链和模糊C均值聚类等多种手势识别模型。而本实施例中以三层神经网络为例，可适用预设三层手势识别神经网络模型进行手势识别。

进一步地，所述预设三层手势识别神经网络模型中包括预设输入层、预设隐含层以及预设输出层；

所述在预设三层手势识别神经网络模型中基于归一化的拇指手势数据与归一化的非拇指手势数据进行手势识别，以获得手势识别结果，包括：

在所述预设输入层中输入归一化的拇指手势数据与归一化的非拇指手势数据；

在所述预设隐含层中对归一化的拇指手势数据与归一化的非拇指手势数据进行训练，以获得与预设手势类别对应的归一化手势概率；

在所述预设输出层中将所述归一化手势概率与预设手势概率阈值进行比较，以获得比较结果；

在所述预设输出层中将与所述比较结果对应的手势类别作为手势识别结果。

在具体实现中，可预先设置多种预设手势类别，比如，握拳手势、表征为数字一的手势、表征为数字二的手势、表征为数字三的手势等。在输入归一化的拇指手势数据与归一化的非拇指手势数据进行训练后，将获得与每个预设手势类型对应的归一化手势概率，以表征此刻的真实用户手势为该预设手势类型的可能性，归一化手势概率的数值越大，表明可能性越大。

应当理解的是，可预先设置预设手势概率阈值为0.8，若与握拳手势对应的归一化手势概率为0.9，则可将大于所述预设手势概率阈值的归一化手势概率作为比较结果。故而，此时握拳手势为手势识别结果。

进一步地，所述在所述预设输出层中将所述归一化手势概率与预设手势概率阈值进行比较，以获得比较结果，包括：

在所述预设输出层中将所述归一化手势概率与预设手势概率阈值进行比较；

在所述归一化手势概率大于所述预设手势概率阈值时，统计大于所述预设手势概率阈值的归一化手势概率对应的手势类别的手势数量；

在所述手势数量大于预设数量阈值时，将大于所述预设手势概率阈值的归一化手势概率按照从大至小的顺序进行排序，以获得排序结果，并从所述排序结果中处于正向第一顺位的归一化手势概率作为目标归一化手势概率，将与所述目标归一化手势概率作为比较结果。

可以理解的是，考虑到大于所述预设手势概率阈值的归一化手势概率可能同时存在多个。所以，可设置预设数量阈值为1，预设手势类别的总数为11，则手势数量大于1时，对符合条件的归一化手势概率进行排序。

在具体实现中，若有11个预设手势类别，则将存在11个对应的归一化手势概率。若其中存在3个归一化手势概率大于0.8，比如，0.9、0.87以及0.95，则排序结果的集合为{0.95，0.9，0.87}。排序结果的集合中处于正向第一顺位的归一化手势概率即为最大的概率0.95，可将最大可能性的手势类别作为手势识别结果。

进一步地，在所述手势数量等于预设数量阈值时，将大于所述预设手势概率阈值的归一化手势概率作为比较结果。

进一步地，在所述手势数量小于所述预设数量阈值时，获取预设未定义类别，并将所述预设未定义类别作为手势识别结果。

应当理解的是，考虑到可能11个手势对应的手势概率可能均小于0.8，则符合条件的手势数量为0小于预设数量阈值1，可额外设置一预设未定义类别以补充预设手势类别不足的短板，也是可防止识别失败时出现系统故障。

本实施例中在识别手势时，可适用预设三层手势识别神经网络模型。并且，可为不同数量的比较结果提供不同的处理流程，增强了手势识别的准确度。

此外，本发明实施例还提出一种存储介质，所述存储介质上存储有手势识别程序，所述手势识别程序被处理器执行时实现如下操作：

在接收到手势识别指令时，采集用户手部的拇指在第一预设坐标系中的拇指手势数据；

采集所述用户手部中的除所述拇指外的其他手指在第二预设坐标系中的非拇指手势数据；

根据所述拇指手势数据与所述非拇指手势数据通过预设手势识别模型进行手势识别，以获得手势识别结果。

进一步地，所述手势识别程序被处理器执行时还实现如下操作：

在接收到手势识别指令时，确定与第一预设坐标系对应的第一预设角度范围；

采集用户手部的拇指在所述第一预设坐标系中且在所述第一预设角度范围内的拇指偏移角度；

相应地，还实现如下操作：

确定与第二预设坐标系对应的第二预设角度范围；

采集所述用户手部中的除所述拇指外的其他手指在所述第二预设坐标系中且在所述第二预设角度范围内的非拇指偏移角度；

相应地，还实现如下操作：

根据所述拇指偏移角度与所述非拇指偏移角度通过预设手势识别模型进行手势识别，以获得手势识别结果。

进一步地，所述手势识别程序被处理器执行时还实现如下操作：

从所述拇指手势数据中提取与预设第一自由度轴对应的第一拇指旋转数据以及与预设第二自由度轴对应的第二拇指旋转数据；

从所述非拇指手势数据中提取与所述预设第一自由度轴对应的第一非拇指旋转数据以及与所述预设第二自由度轴对应的第二非拇指旋转数据；

相应地，还实现如下操作：

根据所述第一拇指旋转数据、所述第二拇指旋转数据、所述第一非拇指旋转数据以及所述第二非拇指旋转数据通过预设手势识别模型进行手势识别，以获得手势识别结果。

进一步地，所述手势识别程序被处理器执行时还实现如下操作：

对所述拇指手势数据与所述非拇指手势数据进行归一化处理，以获得归一化的拇指手势数据与归一化的非拇指手势数据；

相应地，还实现如下操作：

根据归一化的拇指手势数据与归一化的非拇指手势数据通过预设手势识别模型进行手势识别，以获得手势识别结果。

进一步地，所述手势识别程序被处理器执行时还实现如下操作：

根据归一化的拇指手势数据与归一化的非拇指手势数据通过所述预设三层手势识别神经网络模型进行手势识别，以获得手势识别结果。

进一步地，所述手势识别程序被处理器执行时还实现如下操作：

在所述预设输入层中输入归一化的拇指手势数据与归一化的非拇指手势数据；

在所述预设隐含层中对归一化的拇指手势数据与归一化的非拇指手势数据进行训练，以获得与预设手势类别对应的归一化手势概率；

在所述预设输出层中将所述归一化手势概率与预设手势概率阈值进行比较，以获得比较结果；

在所述预设输出层中将与所述比较结果对应的手势类别作为手势识别结果。

进一步地，所述手势识别程序被处理器执行时还实现如下操作：

在所述预设输出层中将所述归一化手势概率与预设手势概率阈值进行比较；

在所述归一化手势概率大于所述预设手势概率阈值时，统计大于所述预设手势概率阈值的归一化手势概率对应的手势类别的手势数量；

在所述手势数量大于预设数量阈值时，将大于所述预设手势概率阈值的归一化手势概率按照从大至小的顺序进行排序，以获得排序结果，并从所述排序结果中处于正向第一顺位的归一化手势概率作为目标归一化手势概率，将与所述目标归一化手势概率作为比较结果。

本实施例中为了实现手势识别，可分别采集用户手部的拇指在第一预设坐标系中的拇指手势数据，并采集用户手部中的除拇指外的其他四指在第二预设坐标系中的非拇指手势数据，进而基于拇指手势数据与非拇指手势数据通过预设手势识别模型进行手势识别，以获得手势识别结果。明显地，本实施例由于区分了拇指与手部的其他四指分别进行数据采集操作，区别于通过单一坐标系来获取手势数据的操作在实际手势识别过程中需要额外进行拇指手指位置的换算环节，本实施例规避了额外进行手指位置的换算环节，这将降低计算过程的复杂度，从而解决了无法快速识别手势的技术问题。

此外，参照图7，本发明实施例还提出一种手势识别装置，所述手势识别装置包括：

第一手势数据采集模块10，用于在接收到手势识别指令时，采集用户手部的拇指在第一预设坐标系中的拇指手势数据。

可以理解的是，考虑到现行的手势识别方案存在需处理的数据量过大以及计算过程较为复杂等技术缺陷，为了应对上述技术缺陷可给出一种快速识别手势的手势识别方案，本实施例可为拇指以及其他四指分别设置不同的坐标系，以降低计算过程的复杂度，可以实现手势的快速识别。

在具体实现中，当智能手套接收到手势识别指令时，进行手势识别的识别过程。具体而言，可分别针对用户手部的拇指以及其他手指采集手势数据。比如，用户手部存在拇指也称大拇指、食指、中指、无名指和小指共五指，考虑到拇指的三维空间坐标系偏转角度较大，而食指、中指、无名指和小指的三维空间坐标系较为相近，所以，可分别设置采集数据所使用的坐标系，即第一预设坐标系与第二预设坐标系。这是考虑到若将与其他四指活动幅度存在较大区别的拇指与其他四指归回同一坐标系，在后续手势识别过程中还需另外进行手指位置的换算，这将加大计算过程的复杂度。

应当理解的是，为了适应第一预设坐标系与第二预设坐标系，参见图3，可在智能手套中分别设置安装于拇指处的第一指端传感器以及安装于其他四指处的第二指端传感器，第一指端传感器将采集用户手部的拇指在第一预设坐标系中的拇指手势数据，第二指端传感器采集所述用户手部中的除所述拇指外的其他手指在第二预设坐标系中的非拇指手势数据。

第二手势数据采集模块20，用于采集所述用户手部中的除所述拇指外的其他手指在第二预设坐标系中的非拇指手势数据。

可以理解的是，参见图4，将第一指端传感器安装于用户手部的拇指位置且适配与拇指对应的第一预设坐标系，将第二指端传感器安装于用户手部的其他四指的位置且适配与其他手指对应的第二预设坐标系。其中，其他手指包括食指、中指、无名指和小指共四指，第一预设坐标系与第二预设坐标系可为直角坐标系，而第一预设坐标系的x轴沿着拇指向指尖的方向，y轴与x轴垂直且共同组成用户手部所在的平面，令z轴垂直于手部平面，建立三维空间坐标系；第二预设坐标系的x轴沿着其他四指中的任意一指指向指尖的方向，y轴与x轴垂直且共同组成用户手部所在的平面，令z轴垂直于手部平面，建立三维空间坐标系。

手势识别模块30，用于根据所述拇指手势数据与所述非拇指手势数据通过预设手势识别模型进行手势识别，以获得手势识别结果。

应当理解的是，在获取到针对拇指的拇指手势数据以及针对其他四指的非拇指手势数据后，可输入该手势数据并结合预设手势识别模型以得到手势识别结果，从而完成手势识别的过程。

本实施例中为了实现手势识别，可分别采集用户手部的拇指在第一预设坐标系中的拇指手势数据，并采集用户手部中的除拇指外的其他四指在第二预设坐标系中的非拇指手势数据，进而基于拇指手势数据与非拇指手势数据通过预设手势识别模型进行手势识别，以获得手势识别结果。明显地，本实施例由于区分了拇指与手部的其他四指分别进行数据采集操作，区别于通过单一坐标系来获取手势数据的操作在实际手势识别过程中需要额外进行拇指手指位置的换算环节，本实施例规避了额外进行手指位置的换算环节，这将降低计算过程的复杂度，从而解决了无法快速识别手势的技术问题。

在一实施例中，所述第一手势数据采集模块10，还用于在接收到手势识别指令时，确定与第一预设坐标系对应的第一预设角度范围；采集用户手部的拇指在所述第一预设坐标系中且在所述第一预设角度范围内的拇指偏移角度；

所述第二手势数据采集模块20，还用于确定与第二预设坐标系对应的第二预设角度范围；采集所述用户手部中的除所述拇指外的其他手指在所述第二预设坐标系中且在所述第二预设角度范围内的非拇指偏移角度；

所述手势识别模块30，还用于根据所述拇指偏移角度与所述非拇指偏移角度通过预设手势识别模型进行手势识别，以获得手势识别结果。

在一实施例中，所述手势识别装置还包括：

旋转数据采集模块，用于从所述拇指手势数据中提取与预设第一自由度轴对应的第一拇指旋转数据以及与预设第二自由度轴对应的第二拇指旋转数据；从所述非拇指手势数据中提取与所述预设第一自由度轴对应的第一非拇指旋转数据以及与所述预设第二自由度轴对应的第二非拇指旋转数据；

所述手势识别模块30，还用于根据所述第一拇指旋转数据、所述第二拇指旋转数据、所述第一非拇指旋转数据以及所述第二非拇指旋转数据通过预设手势识别模型进行手势识别，以获得手势识别结果。

在一实施例中，所述手势识别装置还包括：

数据归一化模块，用于对所述拇指手势数据与所述非拇指手势数据进行归一化处理，以获得归一化的拇指手势数据与归一化的非拇指手势数据；

所述手势识别模块30，还用于根据归一化的拇指手势数据与归一化的非拇指手势数据通过预设手势识别模型进行手势识别，以获得手势识别结果。

在一实施例中，所述手势识别模块30，还用于根据归一化的拇指手势数据与归一化的非拇指手势数据通过所述预设三层手势识别神经网络模型进行手势识别，以获得手势识别结果。

在一实施例中，所述手势识别模块30，还用于在所述预设输入层中输入归一化的拇指手势数据与归一化的非拇指手势数据；在所述预设隐含层中对归一化的拇指手势数据与归一化的非拇指手势数据进行训练，以获得与预设手势类别对应的归一化手势概率；在所述预设输出层中将所述归一化手势概率与预设手势概率阈值进行比较，以获得比较结果；在所述预设输出层中将与所述比较结果对应的手势类别作为手势识别结果。

在一实施例中，所述手势识别模块30，还用于在所述预设输出层中将所述归一化手势概率与预设手势概率阈值进行比较；在所述归一化手势概率大于所述预设手势概率阈值时，统计大于所述预设手势概率阈值的归一化手势概率对应的手势类别的手势数量；在所述手势数量大于预设数量阈值时，将大于所述预设手势概率阈值的归一化手势概率按照从大至小的顺序进行排序，以获得排序结果，并从所述排序结果中处于正向第一顺位的归一化手势概率作为目标归一化手势概率，将与所述目标归一化手势概率作为比较结果。

本发明所述手势识别装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序，可将这些词语解释为名称。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种手势识别方法，其特征在于，所述手势识别方法包括以下步骤：

在接收到手势识别指令时，采集用户手部的拇指在第一预设坐标系中的拇指手势数据；

采集所述用户手部中的除所述拇指外的其他手指在第二预设坐标系中的非拇指手势数据；

根据所述拇指手势数据与所述非拇指手势数据通过预设手势识别模型进行手势识别，以获得手势识别结果；

其中，所述根据所述拇指手势数据与所述非拇指手势数据通过预设手势识别模型进行手势识别，以获得手势识别结果之前，所述手势识别方法还包括：

从所述拇指手势数据中提取与预设第一自由度轴对应的第一拇指旋转数据以及与预设第二自由度轴对应的第二拇指旋转数据；

从所述非拇指手势数据中提取与所述预设第一自由度轴对应的第一非拇指旋转数据以及与所述预设第二自由度轴对应的第二非拇指旋转数据；

相应地，所述根据所述拇指手势数据与所述非拇指手势数据通过预设手势识别模型进行手势识别，以获得手势识别结果，包括：

根据所述第一拇指旋转数据、所述第二拇指旋转数据、所述第一非拇指旋转数据以及所述第二非拇指旋转数据通过预设手势识别模型进行手势识别，以获得手势识别结果。

2.如权利要求1所述的手势识别方法，其特征在于，所述拇指手势数据包括拇指偏移角度，所述非拇指手势数据包括非拇指偏移角度；

所述在接收到手势识别指令时，采集用户手部的拇指在第一预设坐标系中的拇指手势数据，包括：

在接收到手势识别指令时，确定与第一预设坐标系对应的第一预设角度范围；

采集用户手部的拇指在所述第一预设坐标系中且在所述第一预设角度范围内的拇指偏移角度；

相应地，所述采集所述用户手部中的除所述拇指外的其他手指在第二预设坐标系中的非拇指手势数据，包括：

确定与第二预设坐标系对应的第二预设角度范围；

采集所述用户手部中的除所述拇指外的其他手指在所述第二预设坐标系中且在所述第二预设角度范围内的非拇指偏移角度；

相应地，所述根据所述拇指手势数据与所述非拇指手势数据通过预设手势识别模型进行手势识别，以获得手势识别结果，包括：

根据所述拇指偏移角度与所述非拇指偏移角度通过预设手势识别模型进行手势识别，以获得手势识别结果。

3.如权利要求1所述的手势识别方法，其特征在于，所述根据所述拇指手势数据与所述非拇指手势数据通过预设手势识别模型进行手势识别，以获得手势识别结果之前，包括：

对所述拇指手势数据与所述非拇指手势数据进行归一化处理，以获得归一化的拇指手势数据与归一化的非拇指手势数据；

相应地，所述根据所述拇指手势数据与所述非拇指手势数据通过预设手势识别模型进行手势识别，以获得手势识别结果，包括：

根据归一化的拇指手势数据与归一化的非拇指手势数据通过预设手势识别模型进行手势识别，以获得手势识别结果。

4.如权利要求3所述的手势识别方法，其特征在于，所述预设手势识别模型为预设三层手势识别神经网络模型；

所述根据归一化的拇指手势数据与归一化的非拇指手势数据通过预设手势识别模型进行手势识别，以获得手势识别结果，包括：

根据归一化的拇指手势数据与归一化的非拇指手势数据通过所述预设三层手势识别神经网络模型进行手势识别，以获得手势识别结果。

5.如权利要求4所述的手势识别方法，其特征在于，所述预设三层手势识别神经网络模型中包括预设输入层、预设隐含层以及预设输出层；

所述根据归一化的拇指手势数据与归一化的非拇指手势数据通过所述预设三层手势识别神经网络模型进行手势识别，以获得手势识别结果，包括：

在所述预设输入层中输入归一化的拇指手势数据与归一化的非拇指手势数据；

在所述预设隐含层中对归一化的拇指手势数据与归一化的非拇指手势数据进行训练，以获得与预设手势类别对应的归一化手势概率；

在所述预设输出层中将所述归一化手势概率与预设手势概率阈值进行比较，以获得比较结果；

在所述预设输出层中将与所述比较结果对应的手势类别作为手势识别结果。

6.如权利要求5所述的手势识别方法，其特征在于，所述在所述预设输出层中将所述归一化手势概率与预设手势概率阈值进行比较，以获得比较结果，包括：

在所述预设输出层中将所述归一化手势概率与预设手势概率阈值进行比较；

在所述归一化手势概率大于所述预设手势概率阈值时，统计大于所述预设手势概率阈值的归一化手势概率对应的手势类别的手势数量；

在所述手势数量大于预设数量阈值时，将大于所述预设手势概率阈值的归一化手势概率按照从大至小的顺序进行排序，以获得排序结果，并从所述排序结果中处于正向第一顺位的归一化手势概率作为目标归一化手势概率，将与所述目标归一化手势概率作为比较结果。

7.一种用户设备，其特征在于，所述用户设备包括：与第一预设坐标系对应的第一指端传感器、与第二预设坐标系对应的第二指端传感器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行手势识别程序，所述手势识别程序被所述处理器执行时实现如权利要求1至6中任一项所述的手势识别方法的步骤。

8.一种存储介质，其特征在于，所述存储介质上存储有手势识别程序，所述手势识别程序被处理器执行时实现如权利要求1至6中任一项所述的手势识别方法的步骤。

9.一种手势识别装置，其特征在于，所述手势识别装置包括：

第一手势数据采集模块，用于在接收到手势识别指令时，采集用户手部的拇指在第一预设坐标系中的拇指手势数据；

第二手势数据采集模块，用于采集所述用户手部中的除所述拇指外的其他手指在第二预设坐标系中的非拇指手势数据；

手势识别模块，用于根据所述拇指手势数据与所述非拇指手势数据通过预设手势识别模型进行手势识别，以获得手势识别结果；

数据提取模块，用于从所述拇指手势数据中提取与预设第一自由度轴对应的第一拇指旋转数据以及与预设第二自由度轴对应的第二拇指旋转数据；

数据提取模块，还用于从所述非拇指手势数据中提取与所述预设第一自由度轴对应的第一非拇指旋转数据以及与所述预设第二自由度轴对应的第二非拇指旋转数据；

所述手势识别模块，还用于根据所述第一拇指旋转数据、所述第二拇指旋转数据、所述第一非拇指旋转数据以及所述第二非拇指旋转数据通过预设手势识别模型进行手势识别，以获得手势识别结果。

Images