CN111178170A - 一种手势识别方法和一种电子设备 - Google Patents

Abstract

本申请公开了一种手势识别方法和一种电子设备。一种手势识别方法包括：通过深度相机拍摄手势得到深度图；利用预先训练完成的神经网络模型对所述深度图进行处理，定位出手部关节点并输出各所述手部关节点的三维位置信息；基于所述手部关节点的三维位置信息以及预设手势模板完成手势识别，其中，所述预设手势模板中包括各模板关节点的三维位置信息。本申请实施例，既提高了手势识别精度，满足了3D手势识别的需求，又为复杂手势操作提供了良好的可扩展性，丰富了手势识别应用场景。

Description

一种手势识别方法和一种电子设备

技术领域

本申请涉及人机交互技术领域，具体涉及一种手势识别方法和一种电子设备。

背景技术

目前在人机交互领域，大多数手势识别方案是基于手势的二维图像实现定位和识别，这种手势识别方案受限于环境条件，识别精度不高并且可扩展性差，难以满足特定场景的应用需求。

发明内容

本申请提供了一种手势识别方法和一种电子设备，该手势识别方法和电子设备，基于手势的深度图像以及手部关节点实现手势识别，既提高了手势识别精度，满足了3D手势识别的需求，又为复杂手势操作提供了良好的可扩展性，丰富了手势识别应用场景。

根据本申请的一个方面，提供了一种手势识别方法，该方法包括：

通过深度相机拍摄手势得到深度图；

利用预先训练完成的神经网络模型对所述深度图进行处理，定位出各手部关节点并输出所述各手部关节点的三维位置信息；

基于所述各手部关节点的三维位置信息以及预设手势模板完成手势识别，其中，所述预设手势模板中包括各模板关节点的三维位置信息。

根据本申请的另一个方面，提供了一种电子设备，电子设备包括：

深度相机，用于拍摄手势得到深度图；

处理器，用于利用预先训练完成的神经网络模型对所述深度图进行处理，定位出各手部关节点并输出所述各手部关节点的三维位置信息；基于所述各手部关节点的三维位置信息以及预设手势模板完成手势识别，其中，所述预设手势模板中包括各模板关节点的三维位置信息。

本申请的这种手势识别方法和电子设备，通过深度相机拍摄手势得到深度图，利用预先训练完成的神经网络模型对深度图进行处理，定位出各手部的手部关节点并输出各手部关节点的三维位置信息，基于各手部关节点的三维位置信息以及预设手势模板完成手势识别，从而提高了手势识别精度和鲁棒性，能够适应复杂的环境。并且本申请基于手部关节点的三维位置信息，支持定义多种手势并可实现判断多种手势操作的功能，能够应用于带深度相机的各种电子设备，提高了手势的可扩展性，丰富了手势识别的应用场景。

附图说明

图1是本申请一个实施例的一种手势识别方法的流程图；

图2是本申请一个实施例的神经网络模型训练流程图；

图3是本申请一个实施例的神经网络模型工作流程图；

图4是本申请一个实施例的手部定位标记示意图；

图5是本申请一个实施例的手部轮廓标记示意图；

图6是本申请一个实施例的手部关节点定位标记示意图；

图7是本申请一个实施例的电子设备的框图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1是本申请一个实施例的一种手势识别方法的流程图，参见图1，本实施例的手势识别方法包括下列步骤：

步骤S101，通过深度相机拍摄手势得到深度图；

步骤S102，利用预先训练完成的神经网络模型对所述深度图进行处理，定位出各手部的手部关节点并输出各所述手部关节点的三维位置信息；

步骤S103，基于各所述手部关节点的三维位置信息以及预设手势模板完成手势识别，其中，所述预设手势模板中包括各模板关节点的三维位置信息。

由图1所示可知，本实施例的手势识别方法，利用深度相机对手势进行拍摄从而得到包含手势的深度图，接着利用预先训练好的神经网络模型对深度图进行处理，定位出深度图中的手部以及手部关节点，而后将各手部关节点的三维位置信息与预设手势模板中各个手势模板的模板关节点三维位置信息进行匹配，如果一致，那么确定当前深度图中的手势为匹配一致的手势模板指示的手势，完成手势识别。可知，本实施例的手势识别方法，基于深度图和手部关节点空间位置实现，降低了手势识别对环境的要求，减小了识别误差，提高了手势识别精度，并且支持复杂场景下的手势识别应用和手势自定义，提高了手势识别的可扩展性，丰富了手势操作和应用场景。

在一个实施例中，该手势识别方法包括离线训练和在线识别两个主要步骤，离线训练是指神经网络模型训练，在线识别则是应用训练完成的神经网络模型进行手势识别。由于神经网络模型的训练是应用的前提，所以这里先对神经网络模型的训练进行说明。

图2是本申请一个实施例的神经网络模型训练流程图，参见图2，本实施例的神经网络模型训练包括下列四个步骤：

步骤S201，数据采集；

数据采集是根据模型需求采集所需数据，主要是利用深度相机比如TOF(Time ofFlight，飞行时间)深度相机在真实场景下完成手势采集，得到深度图样本。

需要指出的是，本实施例的神经网络模型训练考虑到实际应用中，用户有单手、双手操作完成人机交互的不同情况，在采集样本时主动采集单手、双手两种情况分别对应的样本，以更好训练神经网络模型。

步骤S202，数据标记；

数据标记分为手部定位数据标记和手部关节点数据标记，其中，手部定位数据标记是手部在样本深度图中的位置区域标记，这又可分为三种情况，第一种情况是在样本深度图上依据每个手部的位置，对应标记矩形框，标记结果如图4所示，从图4可以看出，深度图中标记出了一个矩形框，矩形框指示了手部所在的区域，手部矩形框对应的位置信息可记为R(x,y,w,h)，其中，x，y分别为矩形框左上角对应的点的坐标值，也是坐标原点的坐标值，w和h分别为矩形框的高度值和宽度值。

第二种情况是，在样本深度图上依据各手部轮廓，标记相应的不规则多边形；如果样本深度图上包括两只手的手势，那么可以分别依据两只手各自的手部轮廓，标记对应的不规则多边形；如果样本深度图上仅包括一只手的手势，那么依据这一只手的手部轮廓，标记对应的不规则多边形，如图5所示，图5示意了根据手部轮廓，标记的不规则多边形，即由多个点组成的闭环区域。通过对样本数据进行手部轮廓标记，方便后续进行手部关节点检测，提高了检测效率以及手部关节点的训练精度。

第三种情况是在深度图上依据各手部的位置，标记相应的矩形框之后，在所述矩形框内依据手部轮廓，标记相应的不规则多边形。也就是说，根据需要可以将前两种情况下的标记进行结合，先在深度图上依据各手部的位置，标记相应的矩形框，之后，在该矩形框之内，依据手部轮廓，标记相应的不规则多边形，以满足应用需要。

在定位出深度图中的手部之后，为了完成手势识别接着进行手部关节点检测和数据标记。本实施例利用14个关节点和1个质心点(参见图6中标记为0_0的点)共计15个关节点，按照由大拇指到小指的顺序进行标记，手部关节点可记为J(x,y)，如图6所示，大拇指上包括第一关节和第二关节共2个关节点，分别记为1_1和1_2，基于前述手部定位过程中构建的坐标系，可确定关节点1_1和1_2对应的三维位置信息。

继续参见图6，食指上包括三个指关节，相应的，关节点数量也为三个，分别记为2_1，2_2和2_3，基于前述手部定位过程中构建的坐标系，可确定关节点2_1，2_2和2_3对应的三维位置信息。同理，对于中指、无名指和小指，按照前述步骤可确定这三个手指上各关节点的三维位置信息。

需要说明的是，本实施例在进行手部关节点标记时，按照一定的顺序进行，即，按照从大拇指到小指的顺序依次进行标记，之所以按照顺序进行手部关节点标记是为了满足复杂环境以及用户自定义手势这样的应用需求。在实际应用中，根据按照顺序标记的手部关节点的三维位置信息，可以快速确定各个手指的状态，进而识别出丰富和多样的手势。比如，在识别“点赞”这一手势时，根据关节点标记1_1和1_2对应的三维位置信息，确定这两个点在一条直线上，而根据其余四个手指的关节点标记对应的三维位置信息确定其余各手指的关节点均不在同一条直线上，由此得到该深度图中的手势与预设手势模板中的“点赞”手势一致，完成手势识别。

步骤S203，模型训练；

为了提高训练精度和训练效率，本实施例中需要训练两个神经网络模型，第一个为手部定位模型(即，第一神经网络模型)，用于定位手部在深度图中的目标区域；第二个为手部关节点检测模型(即，第二神经网络模型)，用于检测手部关节点并定位手部关节点的三维位置信息，本实施例中，设计好两个神经网络模型并进行训练。可以理解，这两个模型在工作时有先后顺序，即，先利用训练好的手部定位模型进行手部定位而后再利用手部关节点检测模型确定出各手部关节点的三维位置信息。具体的训练过程为现有技术，在此不做过多说明。

步骤S204，模型验证。

对上一步骤中训练好的神经网络模型进行验证，主要是通过验证集进行检测精度验证，以及通过测试集评估模型好坏，在模型精度达到预设阈值时，停止训练，得到符合训练要求的模型参数，至此模型训练结束。

图3是本申请一个实施例的神经网络模型工作流程图，参见图3，本实施例的手势识别方法，利用神经网络模型进行手部定位和手部关节点检测的工作流程包括下列步骤：

步骤S301，图像输入和预处理；

如前述，本实施例中训练两个模型，且两个模型工作时有先后顺序，这里的图像输入是将当前采集的待识别深度图输入到第一神经网络模型中，在输入之前，本实施例对深度图进行预处理，比如，对深度图进行滤波、去噪，以减少数据的局部噪声。

步骤S302，手部定位和区分左右手；

在本步骤中，手部定位是利用预先训练完成的第一神经网络模型对深度图进行手部定位处理，在深度图上标记手部所在的目标区域；这里的，在所述深度图上标记手部所在的目标区域包括：在所述深度图上依据各手部的位置，标记相应的矩形框；或者，在所述深度图上依据各手部轮廓，标记相应的不规则多边形；或者，在所述深度图上依据各手部的位置，标记相应的矩形框之后，在所述矩形框内依据手部轮廓，标记相应的不规则多边形。

区分左右手是指在所述深度图上标记手部所在的目标区域之后，如果依据所述目标区域的数量，确定所述深度图中包括两只手部，则根据两只手部在所述深度图中的左右位置关系，将两只手部区分为左手和右手；如果依据所述目标区域的数量确定所述深度图中包括单只手部，则根据单只手部所在的目标区域的质量分布，区分左右手。

实际应用中，手势识别不仅包括单只手的识别而且可能包括两只手的识别，比如当用户同时通过两只手做出不同的手势动作时，则需要对两只手的手势动作分别进行识别，确定用户做出的手势进而根据手势实现人机交互。这种情况下，区分左右手可以根据两只手部在深度图中的左右位置关系来简单的确定，比如，当前的深度图中有两只手，以深度图的左边界为参照，距离左边界较近的手部为左手，距离左边界较远的手部为右手，即，这里区分出的左右手与用户实际的左右手可能不一致。这种区分出的左右手与用户实际的左右手不一致并不影响手势识别，因为在定义预设手势模板时可以根据深度图中的左右手实现，这样只要待识别深度图中识别出的左右手的手势与预设手势模板中左右手的手势能够匹配成功，仍然可以确定出待识别深度图中左右手的手势动作，达到手势识别目的。

而在待识别深度图仅包括单只手部时，由于只有一只手，缺少对照，所以，这一只手对应用户的左手还是右手则需要通过计算确定。本实施例中根据单只手部所在的目标区域的质量分布，区分左右手，具体包括：以深度图左上角的点为坐标原点，以竖直向下为纵轴正方向，以水平向右为横轴正方向，构建直角坐标系；根据预设深度阈值以及所述深度图上像素点的深度值，对深度图进行手部分割，得到二值图像，根据所述二值图像以及质心计算公式，计算该单只手部的质心点坐标值；以所述质心点坐标值中的纵坐标值为第一阈值，提取满足纵坐标值不小于所述第一阈值且不大于第二阈值的手部像素点作为第一像素点，其中，所述第二阈值大于所述第一阈值；计算所述质心点与各所述第一像素点的距离，确定出所述第一像素点中与最大距离对应的第二像素点；如果目标向量的方向指向第一象限，则确定该单只手部为左手，否则确定该单只手部为右手；其中，所述目标向量的起点为所述第二像素点，终点为所述质心点，所述第一象限为所述直角坐标系中的右上面。

具体的，根据定位出来的手部的位置判断手的左右：

首先，以深度图左上角的点为坐标原点，即，x代表横坐标，y代表纵坐标，以竖直向下为纵轴y的正方向，以水平向右为横轴x的正方向，构建直角坐标系，并记录手部区域的位置，比如记录定位出的手部区域为L(x,y)。

其次，在深度图上通过深度分布进行手部分割，得到二值图像；比如，根据预设深度阈值对深度图进行分割，将深度图上深度值大于或等于预设深度阈值的点的灰度值设置为第一数值(如0)，将深度图上深度值小于所述预设深度阈值的点的灰度值设置为第二数值(如255)，得到二值图像。

接着，在二值图像上计算手部质心，计算公式如下：

其中x,y分别表示手部区域L(x,y)的横纵坐标，s,t为可变量，当s＝0,t＝0时，可得到整个手部的总质量，记为M₀₀；当s＝0,t＝1和s＝1,t＝0时，记为M₀₁，M₁₀，则质心点P_c(x_c,y_c)通过下列公式得到：

接下来，以质心点P_c的纵坐标为分界，结合手部轮廓，提取[y_c，h]区域内的图像，提取图像的像素点作为第一像素点，h为第二阈值，h大于第一阈值y_c。计算质心点P_c到手部轮廓的距离(即，计算质心点与各第一像素点的距离)，获取最大距离所在的坐标点，记为P_m(x_m,y_m)，计算第二像素点P_c和质心点P_m形成的目标向量

的方向，当目标向量

的方向指向第一象限时，判断待识别深度图中的这只手为左手，否则为右手。第一象限为前述直角坐标系中的右上面。

步骤S303，手部关节点检测；

在完成手部定位以及区分出左右手之后，利用预先训练完成的第二神经网络模型对深度图进行手部关节点定位处理，在目标区域内确定出各手部关节点的三维位置信息，并输出各手部关节点的三维位置信息。

具体的，将步骤S302中定位后经过手部分割的深度图输入到第二神经网络模型，利用训练好的第二神经网络模型(即，手部关节点检测模型)，进行手部关节点定位，手部关节点的检测和标记结果如图6所示。

步骤S304，手部关节点平滑滤波；

为了保证输出结果的稳定性，本实施例的第二神经网络模型还进行手部关节点的平滑、滤波及校验。在完成这些处理之后，将手部关节点的三维位置信息输出。

本实施例根据第二神经网络模型输出的手部关节点的三维位置信息与预设手势模板，完成手势识别，其中，预设手势模板中包括各模板关节点的三维位置信息。比如，预设手势模板包括的模板关节点有大拇指、食指、中指、无名指和小指上的关节点的三维位置信息，通过待识别手势的手部关节点与模板关节点之间的三维位置信息确定是否匹配一致，如果一致说明两个手势相同，否则说明手势不同。

由上可知，本实施例的手势识别基于深度相机的深度图进行手的定位，并根据手的边界判断左右手，基于深度神经网络进行手部定位和手部关节点检测，使得手势操作能取代手持设备操作，给用户提供更轻松的操作体验，并降低手持设备的疲惫感；而且提高了手势识别的应用精度，适应更复杂的环境，提高了手势的可扩展性。

图7是本申请一个实施例的电子设备的框图，如图7所示，该电子设备700包括

深度相机701，用于拍摄手势得到深度图；

处理器702，用于利用预先训练完成的神经网络模型对所述深度图进行处理，定位出各手部关节点并输出所述各手部关节点的三维位置信息；基于所述各手部关节点的三维位置信息以及预设手势模板完成手势识别，其中，所述预设手势模板中包括各模板关节点的三维位置信息。

在本申请的一个实施例中，处理器702，具体用于利用预先训练完成的第一神经网络模型对所述深度图进行手部定位处理，在所述深度图上标记手部所在的目标区域；利用预先训练完成的第二神经网络模型对所述深度图进行手部关节点定位处理，在所述目标区域内确定出各手部关节点的三维位置信息，并输出所述各手部关节点的三维位置信息。

在本申请的一个实施例中，处理器702具体用于在所述深度图中标记各手部所在的矩形框；或者，在所述深度图中分别标记包含各手部轮廓的不规则多边形；或者，在标记各手部所在的矩形框之后，在所述矩形框内依据手部轮廓标记手部轮廓的不规则多边形；

所述处理器702，具体用于在所述目标区域内，定位出手指的各手部关节点的三维位置信息，并按照从大拇指到小指的顺序依次标记手指上的各手部关节点。

在本申请的一个实施例中，处理器702还用于，在所述深度图上标记手部所在的目标区域之后，如果依据所述目标区域的数量，确定所述深度图中包括两只手部，则根据两只手部在所述深度图中的左右位置关系，将两只手部区分为左手和右手；如果依据所述目标区域的数量确定所述深度图中包括单只手部，则根据单只手部所在的目标区域的质量分布，区分左右手。

在本申请的一个实施例中，处理器702，具体用于以深度图左上角的点为坐标原点，以竖直向下为纵轴正方向，以水平向右为横轴正方向，构建直角坐标系并记录手部区域的位置；根据预设深度阈值以及所述深度图上像素点的深度值，对深度图进行手部分割，得到二值图像，根据所述二值图像以及质心计算公式，计算该单只手部的质心点坐标值；以所述质心点坐标值中的纵坐标值为第一阈值，提取满足纵坐标值不小于所述第一阈值且不大于第二阈值的手部像素点作为第一像素点，其中，所述第二阈值大于所述第一阈值；计算所述质心点与各所述第一像素点的距离，确定出所述第一像素点中与最大距离对应的第二像素点；如果目标向量的方向指向第一象限，则确定该单只手部为左手，否则确定该单只手部为右手；其中，所述目标向量的起点为所述第二像素点，终点为所述质心点，所述第一象限为所述直角坐标系中的右上面。

本申请的另一个实施例提供一种计算机可读存储介质，计算机可读存储介质存储计算机指令，计算机指令使所述计算机执行上述的手势识别方法。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的对象在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

本领域内的技术人员应明白，本申请的实施例可提供为方法或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图的一个流程或多个流程和/或方框图的一个方框或多个方框中指定的功能的装置。

需要说明的是术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本申请的说明书中，说明了大量具体细节。然而能够理解的是，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本申请公开并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，正如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

以上所述，仅为本申请的具体实施方式，在本申请的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本申请的目的，本申请的保护范围以权利要求的保护范围为准。

Claims (10)

1.一种手势识别方法，其特征在于，包括：

通过深度相机拍摄手势得到深度图；

利用预先训练完成的神经网络模型对所述深度图进行处理，定位出各手部关节点并输出所述各手部关节点的三维位置信息；

基于所述各手部关节点的三维位置信息以及预设手势模板完成手势识别，其中，所述预设手势模板中包括各模板关节点的三维位置信息。

2.如权利要求1所述的方法，其特征在于，利用预先训练完成的神经网络模型对所述深度图进行处理，定位出各手部关节点并输出所述各手部关节点的三维位置信息包括：

利用预先训练完成的第一神经网络模型对所述深度图进行手部定位处理，在所述深度图上标记手部所在的目标区域；

利用预先训练完成的第二神经网络模型对所述深度图进行各手部关节点定位处理，在所述目标区域内确定出各手部关节点的三维位置信息，并输出所述各手部关节点的三维位置信息。

3.如权利要求2所述的方法，其特征在于，所述在所述深度图上标记手部所在的目标区域包括：

在所述深度图上依据各手部的位置，标记相应的矩形框；或者，

在所述深度图上依据各手部轮廓，标记相应的不规则多边形；或者，

在所述深度图上依据各手部的位置，标记相应的矩形框之后，在所述矩形框内依据手部轮廓，标记相应的不规则多边形。

4.如权利要求2所述的方法，其特征在于，所述在所述目标区域内确定出各手部关节点的三维位置信息包括：

在所述目标区域内，定位出手指的各手部关节点的三维位置信息，并按照从大拇指到小指的顺序依次标记手指上的各手部关节点。

5.如权利要求2所述的方法，其特征在于，该方法还包括：

在所述深度图上标记手部所在的目标区域之后，如果依据所述目标区域的数量，确定所述深度图中包括两只手部，则根据两只手部在所述深度图中的左右位置关系，将两只手部区分为左手和右手；

如果依据所述目标区域的数量确定所述深度图中包括单只手部，则根据单只手部所在的目标区域的质量分布，区分左右手。

6.如权利要求5所述的方法，其特征在于，所述根据单只手部所在的目标区域的质量分布，区分左右手包括：

以深度图左上角的点为坐标原点，以竖直向下为纵轴正方向，以水平向右为横轴正方向，构建直角坐标系并记录手部区域的位置；

根据预设深度阈值以及所述深度图上像素点的深度值，对深度图进行手部分割，得到二值图像，根据所述二值图像以及质心计算公式，计算该单只手部的质心点坐标值；

以所述质心点坐标值中的纵坐标值为第一阈值，提取满足纵坐标值不小于所述第一阈值且不大于第二阈值的手部像素点作为第一像素点，其中，所述第二阈值大于所述第一阈值；

计算所述质心点与各所述第一像素点的距离，确定出所述第一像素点中与最大距离对应的第二像素点；

如果目标向量的方向指向第一象限，则确定该单只手部为左手，否则确定该单只手部为右手；其中，所述目标向量的起点为所述第二像素点，终点为所述质心点，所述第一象限为所述直角坐标系中的右上面。

7.一种电子设备，其特征在于，所述电子设备包括：

深度相机，用于拍摄手势得到深度图；

处理器，用于利用预先训练完成的神经网络模型对所述深度图进行处理，定位各手部关节点并输出所述各手部关节点的三维位置信息；基于所述各手部关节点的三维位置信息以及预设手势模板完成手势识别，其中，所述预设手势模板中包括各模板关节点的三维位置信息。

8.如权利要求7所述的电子设备，其特征在于，所述处理器，具体用于利用预先训练完成的第一神经网络模型对所述深度图进行手部定位处理，在所述深度图上标记手部所在的目标区域；利用预先训练完成的第二神经网络模型对所述深度图进行各手部关节点定位处理，在所述目标区域内确定出各手部关节点的三维位置信息，并输出所述各手部关节点的三维位置信息。

9.如权利要求8所述的电子设备，其特征在于，

所述处理器，具体用于在所述深度图中标记各手部所在的矩形框；或者，在所述深度图中分别标记包含各手部轮廓的不规则多边形；或者，在标记各手部所在的矩形框之后，在所述矩形框内依据手部轮廓标记手部轮廓的不规则多边形；

所述处理器，具体用于在所述目标区域内，次定位出手指的各手部关节点的三维位置信息，并按照从大拇指到小指的顺序依次标记手指上的各手部关节点。

10.如权利要求8所述的电子设备，其特征在于，

所述处理器还用于，在所述深度图上标记各手部所在的目标区域之后，如果依据所述目标区域的数量，确定所述深度图中包括两只手部，则根据两只手部在所述深度图中的左右位置关系，将两只手部区分为左手和右手；如果依据所述目标区域的数量确定所述深度图中包括单只手部，则根据单只手部所在的目标区域的质量分布，区分左右手。

Images