CN110991319B - 手部关键点检测方法、手势识别方法及相关装置 - Google Patents

Abstract

本发明实施例公开了一种手部关键点检测方法、手势识别方法及相关装置，手部关键点检测方法包括：获取手部图像；将手部图像输入预先训练的热力图模型中得到手部关键点的热力图；将热力图和手部图像输入预先训练的三维信息预测模型中获得手部结构化连接信息；根据手部结构化连接信息和热力图中的二维坐标确定手部关键点在世界坐标系下的三维坐标。本发明实施例通过两个模型先后预测二维坐标和手部结构化连接信息以计算手部关键点的三维坐标相对于直接通过深度神经网络回归三维坐标，每个模型的计算量小，适用于计算能力受限的移动终端，并且由于计算量小，手部关键点的检测时间短，实现了实时检测手部关键点，有利于手势识别应用于移动终端。

Description

手部关键点检测方法、手势识别方法及相关装置

技术领域

本发明实施例涉及计算机视觉技术领域，尤其涉及手部关键点检测方法、手部关键点检测装置、手势识别方法、手势识别装置、设备和存储介质。

背景技术

在计算机视觉领域中，手势识别被广泛应用于人机交互、手语识别等场景中，而手势识别依赖于手部关键点检测，并且随着移动终端和移动互联网的普及，手势识别也广泛应用于移动终端中。

手部关键点是指手部中的各个关节点，现有技术中手部关键点检测最常用的方法是使用深度卷积神经网络，通过深度卷积神经网络输出手部关键点的三维坐标，例如，使用包含多个卷积层和全连接层的深度卷积神经网络提取二维手部图像的图像特征后，通过全连接层回归手部关键点的三维坐标，此种方式深度卷积神经网络复杂、数据计算量大，然而，受限于移动终端的计算能力，上述通过深度卷积神经网络直接回归手部关键点三维坐标的方式应用于移动终端后，计算时间长，难以通过移动终端实时地检测手部关键点，限制了手势识别在移动终端的应用。

发明内容

本发明实施例提供一种手部关键点检测方法、手部关键点检测装置、手势识别方法、手势识别装置、设备和存储介质，以解决现有手部关键点检测方法应用于移动终端后存在计算时间长、实时性差、限制了手势识别在移动终端应用的问题。

第一方面，本发明实施例提供了一种手部关键点检测方法，包括：

获取待检测的手部图像；

将所述手部图像输入预先训练的热力图模型中得到手部关键点的热力图，所述热力图包含所述手部关键点的二维坐标；

将所述热力图和所述手部图像输入预先训练的三维信息预测模型中获得手部结构化连接信息；

根据所述手部结构化连接信息和所述热力图中的二维坐标确定所述手部关键点在世界坐标系下的三维坐标。

第二方面，本发明实施例提供了一种手势识别方法，包括：

获取待识别的手部图像；

检测出所述手部图像中的关键点；

基于所述关键点识别所述手部图像中手部所表达的手势；

其中，所述关键点根据本发明任一实施例所述的手部关键点检测方法所检测。

第三方面，本发明实施例提供了一种手部关键点检测装置，包括：

手部图像获取模块，用于获取待检测的手部图像；

热力图获取模块，用于将所述手部图像输入预先训练的热力图模型中得到手部关键点的热力图，所述热力图包含所述手部关键点的二维坐标；

手部结构化连接信息获取模块，用于将所述热力图和所述手部图像输入预先训练的三维信息预测模型中获得手部结构化连接信息；

三维坐标计算模块，用于根据所述手部结构化连接信息和所述热力图中的二维坐标确定所述手部关键点在世界坐标系下的三维坐标。

第四方面，本发明实施例提供了一种手势识别装置，包括：

手部图像获取模块，用于获取待识别的手部图像；

关键点检测模块，用于检测出所述手部图像中的关键点；

手势识别模块，用于基于所述关键点识别所述手部图像中手部所表达的手势；

其中，所述关键点根据本发明实施例所述的手部关键点检测装置所检测。

第五方面，本发明实施例提供了一种设备，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任一实施例所述的手部关键点检测方法和/或手势识别方法。

第六方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任一实施例所述的手部关键点检测方法和/或手势识别方法。

本发明实施例在获取待检测的手部图像后，先通过热力图模型得到包含手部关键点的二维坐标的热力图，再通过三维信息预测模型获得手部结构化连接信息，最后通过二维坐标和手部结构化连接信息计算手部关键点的三维坐标，相对于直接通过深度神经网络回归手部关键点的三维坐标，通过两个模型先后预测二维坐标和手部结构化连接信息以计算手部关键点的三维坐标，每个模型的计算量小，适用于计算能力有限的移动终端，并且由于计算量小，手部关键点的检测时间短，实现了在移动终端上实时检测手部关键点，有利于手势识别应用于移动终端上。

附图说明

图1是本发明实施例一提供的一种手部关键点检测方法的流程图；

图2是本发明实施例的手部关键点的示意图；

图3是本发明实施例二提供的一种手部关键点检测方法的流程图；

图4是本发明实施例中手部坐标系和世界坐标系的示意图；

图5是本发明实施例三提供的一种手势识别方法的流程图；

图6是本发明实施例中手势识别时检测到的手部关键点的示意图；

图7是图6中的手部关键点所表达的手势的示意图；

图8是本发明实施例四提供的一种手部关键点检测装置的结构框图；

图9是本发明实施例五提供的一种手势识别装置的结构框图；

图10是本发明实施例六提供的一种设备的结构框图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种手部关键点检测方法的流程图，本发明实施例可适用于检测手部关键点的情况，该方法可以由手部关键点检测装置来执行，该装置可以通过软件和/或硬件的方式来实现，并集成在执行本方法的设备中，具体地，如图1所示，本发明实施例的手部关键点检测方法可以包括如下步骤：

S101、获取待检测的手部图像。

在本发明实施例中，待检测的手部图像可以是需要检测出手部关键点的三维坐标的图像，该手部图像可以是bmp、jpg、png、tif等存储格式的、包含手部生理特征的图像，另外，手部图像可以是彩色图像。

在实际应用中，可以在手势识别应用的场景中获取手部图像，该手势识别应用的场景可以是通过手势控制的人机交互(VR应用)、手语识别(直播手语教学)等场景，在上述场景中，可以通过图像采集装置采集手部图像，当然，还可以对现有图像进行检测以从图像中获得手部图像，本发明实施例对获取手部图像的场景和方式不加以限制。

S102、将所述手部图像输入预先训练的热力图模型中得到手部关键点的热力图，所述热力图包含所述手部关键点的二维坐标。

在本发明实施例中，热力图可以是以特殊高亮的形式显示手部关键点所属区域的图像，热力图上某个位置关联的值为手部关键点在该位置上的概率，某个位置上的概率越大，该位置离热力图上高斯核的中心越近，因此高斯核的中心即为概率最大的位姿，也就是手部关键点的位置。

具体地，可以预先训练热力图模型，该热力图模型可以输出手部关键点的热力图，其中，热力图模型可以是各种神经网络，例如，可以使用深度卷积神经网络训练热力图模型，比如，对于已知手部关键点的二维坐标的手部图像，首先，使用手部关键点的二维坐标生成一个高斯核，该高斯核即为热力图的高斯核，训练时，将该手部图像输入深度卷积神经网络输出一热力图，采用该输出的热力图中的高斯核与之前生成的高斯核计算损失率，再对深度卷积神经网络的参数进行调整，不断迭代该深度卷积神经网络，直到损失率小于预设值或者达到预设的迭代次数后停止迭代，最终得到的深度卷积神经网络即为热力图模型，该热力图模型在输入一个手部图像后，可以获得手部的各个手部关键点的热力图，该热力图中高斯核的中心即为手部关键点所在位置，即高斯核中心的坐标即为手部关键点的二维坐标。

S103、将所述热力图和所述手部图像输入预先训练的三维信息预测模型中获得手部结构化连接信息。

如图2所示为手部关键点的示意图，手部关键点可以包括手腕关键点O以及每根手指上的各个关键点(关键点MCP、PIP、DIP和TIP)，如图2所示，手腕关键点为点O，每个手指包括有点MCP、PIP、DIP和TIP四个关键点，手腕关键点和各个手指的关键点构成手部的手部关键点。

在本发明实施例中，手部结构化连接信息可以包括手部的欧拉角以及各个手部关键点处的夹角的角度，其中手部的欧拉角可以是手部坐标系相对于世界坐标系的表示，其表达了手部在三维空间中的位姿；手部关键点处的夹角可以包括相邻两个手指的关键点MCP到手腕关键点O的连线形成的夹角a，还包括关键点MCP处的夹角b，关键点PIP处的夹角c，关键点DIP处的夹角d。

在本发明实施例中，可以先通过人工标注的方法标注手部的欧拉角、通过传感器获得手部关节处的角度以及热力图模型预测的各个手部关键点的热力图作为训练数据来训练三维信息预测模型，该三维信息预测模型可以是各种神经网络。将热力图和手部图像输入训练好的三维信息预测模型后，可以获得包括手部的欧拉角以及各个手部关键点处的关节弯曲夹角的角度的手部结构化连接信息。

S104、根据所述手部结构化连接信息和所述热力图中的二维坐标确定所述手部关键点在世界坐标系下的三维坐标。

本发明实施例通过三维信息预测模型获得手部结构化连接信息后，可以通过该手部结构化连接信息确定相邻两个手部关键点所形成的、在手部坐标系下的向量的方向向量，然后通过欧拉角将该方向向量转换为世界坐标系下的方向向量，同时通过热力图可以获得每个手部关键点的二维坐标，以此可以求得两个手部关键点形成的向量的向量长度，知道向量的向量长度和方向向量后可以确定该向量，同时，可以通过手部图像的成像原理获得手腕关键点在世界坐标系下的三维坐标，根据向量加法原理，可以获得各个手部关键点在世界坐标系下的三维坐标。

本发明实施例在获取待检测的手部图像后，先通过热力图模型得到包含手部关键点的二维坐标的热力图，再通过三维信息预测模型获得手部结构化连接信息，最后通过二维坐标和手部结构化连接信息计算手部关键点的三维坐标，相对于直接通过深度神经网络回归手部关键点的三维坐标，通过两个模型先后预测二维坐标和手部结构化连接信息以计算手部关键点的三维坐标，每个模型结构简单，计算量小，适用于计算能力有限的移动终端，并且由于模型结构简单、计算量小，手部关键点的检测时间短，实现了在移动终端实时检测手部关键点，有利于手势识别应用于移动终端上。

实施例二

图3为本发明实施例二提供的一种手部关键点检测方法的流程图，本发明实施例在前述实施例一的基础上进行优化，具体地，如图3所示，本发明实施例的手部关键点检测方法可以包括如下步骤：

S301、获取原始图像。

在本发明实施例中，原始图像可以是包括手部的图像，例如，可以是包含整个人体的图像或者是包含手臂和手掌在内的图像，该原始图像可以是图像采集装置采集到的图像，例如可以是直播过程中通过摄像头采集到的图像，或者是从多媒体视频数据中提取到的图像。

S302、从所述原始图像中检测出手部。

其中，手部可以是从手腕到手指末端的部分，在本发明实施例中可以通过手部检测算法从原始图像中检测出手部，例如，可以通过语义分割网络检测出原始图像中的手部，当然，还可以通过其他方式从原始图像中检测出手部，本发明实施例对从原始图像中检测出手部的方式不加以限制。

S303、截取包含所述手部的、预设尺寸的图像作为待检测的手部图像。

在实际应用中，手部关键点检测一般假设手部位于手部检测器来检测手部关键点，可以先从原始图像中截取包含手部的图像区域作为手部图像，该图像区域可以是预设尺寸的区域，例如，该图像区域的形状可以为正方形，并且将该正方形区域缩放为64×64的尺寸大小，对于每张手部图像均为64×64×3的三维张量，其中，64×64是手部图像的尺寸大小，3是二维图像的RGB通道。

本发明实施例从原始图像中截取包含手部的、预设尺寸的图像作为待检测的手部图像，使得该手部图像所包含的背景减少，后续模型处理更关注于手部本身的特征，降低了需要处理的数据量，能够提高手部关键点检测的效率。

S304、将所述手部图像输入预先训练的热力图模型中获得每一个手部关键点的热力图，其中，每一个手部关键点的热力图的尺寸与所述手部图像的尺寸相同。

本发明实施例的热力图模型可以预先训练，该热力图模型可以输出手部关键点的热力图，其中，热力图模型可以是各种神经网络，例如，可以使用深度卷积神经网络训练热力图模型，该热力图模型输入一个手部图像后，可以获得手部的各个手部关键点的热力图，该热力图中高斯核的中心即为手部关键点所在位置，高斯核的中心的坐标即为手部关键点的二维坐标。

具体地到本发明实施例中，手部图像经缩放后可以为64×64×3的三维张量，将该三维张量输入热力图模型后，该热力图模型实际为深度神经网络，通过深度神经网络提取图像特征，最后输出所有手部关键点的热力图，如图2所示，手部关键点总共有20个，则热力图模型输出20个热力图，每个热力图的尺寸大小与手部图像相同，即热力图的尺寸大小也为64×64。

S305、将所有手部关键点的热力图和所述手部图像输入预先训练的三维信息预测模型中，以获得所述手部关键点所形成的关节弯曲角度和所述手部的欧拉角。

在本发明实施例中，可以通过已知手部的欧拉角、手部关节处的角度以及热力图模型预测的各个手部关键点的热力图来训练三维信息预测模型，该三维信息预测模型在输入手部关键点的热力图和手部图像后可以输出手部的欧拉角和各个手部关键点的关节弯曲所形成的夹角的角度。

具体到本发明实施例中，手部关键点的热力图和手部图像的大小尺寸相同，手部图像为64×64×3的三维张量，手部关键点有20个，所有手部关键点的热力图可以表示为一个64×64×20的三维张量，以上两个张量连接形成一个64×64×23的张量输入到训练好的三维信息预测模型中，得到各个手部关键点所形成的关节弯曲角度和手部的欧拉角。

S306、根据所述关节弯曲角度计算在所述手部的手部坐标系下两个手部关键点所构成的向量的第一方向向量。

向量为具有大小和方向的量，具体到本发明实施例中，任意两个手部关键点均可以构成一个向量，该向量的大小为两个手部关键点之间的距离，向量的方向为两个手部关键点连线的方向，如图2所示的向量B为手腕关键点O到小指的近指骨关键点MCP所形成的向量，基于此，可以根据预测得到的关节弯曲角度计算在手部的手部坐标系下两个手部关键点所构成的向量的第一方向向量，具体可以包括如下步骤：

S3061、基于预先建立的手部模型确定手腕关键点到中指的近指骨关键点的向量的第一方向向量。

其中，建立手部模型为：假设手腕关键点O和所有手指的关键点MCP在三维空间中共面，假设手腕关键点O和各个手指的关键点MCP，PIP，DIP，TIP五点在三维空间中共面且平行于手掌所在的平面，由于手部骨架的限制，各个手指的关节只能做一些弯曲和伸展的动作，所以手腕关键点O以外的各个手指的关键点总是共面的，为简化问题，假设手腕关键点O也和各个手指的关键点共面。

基于上述手部模型，建立手部坐标系如下(如图2)：

以手腕关键点O到中指关键点MCP(近指骨关键点)的方向为y轴正方向建立y轴，可知y轴位于手掌所在的平面上，在此平面上，以垂直于y轴，大拇指侧的方向为x轴正方向，建立x轴；以垂直于xy平面，手背朝向为z轴正方向，建立z轴。

根据上述建立的手部坐标系，即可得到手腕关键点O到中指关键点MCP构成的向量C的第一方向向量为(0，1，0)。

S3062、采用所述关节弯曲角度、所述手腕关键点到中指的近指骨关键点的向量的第一方向向量分别计算所述手腕关键点到各个手指的近指骨关键点的向量的第一方向向量。

具体地，向量的方向和向量长度无关，已知一个向量的方向向量后，另一向量的方向向量可以通过已知方向向量的向量旋转一定的角度所得，对于手腕关键点到各个手指的近指骨关键点MCP形成的向量而言，其可以通过手腕关键点到中指的近指骨关键点的向量的第一方向向量和预测得到的关节弯曲角度求得。

如图2所示，对于手腕关键点O到无名指的近指骨关键点MCP所形成的向量D，向量D的第一方向向量可以通过向量C以及夹角β求得，即向量C的方向向量旋转角度β即可以得到向量D的第一方向向量，即向量D的第一方向向量为(sinβ，cosβ，0)。

同理，手腕关键点O到其他手指的近指骨关键点MCP所形成的向量的第一方向向量均可以通过相邻的向量旋转一定的夹角所得，该夹角为三维信息预测模型预测得到关节弯曲处的角度，如图2中的β、α。通过步骤S3062后，可以得到手腕关键点O分别到小指、无名指、中指、食指以及拇指的关键点MCP的向量的第一方向向量。

S3063、针对每一个手指，采用所述关节弯曲角度、所述手腕关键点到所述手指的近指骨关键点的向量的第一方向向量计算所述手指的各个指骨的关键点之间的向量的第一方向向量。

如图2所示，对于每个手指，获得该手腕关键点O到该手指的近指骨关键点MCP的向量的第一方向向量后，可以采用手腕关键点O到该手指的近指骨关键点MCP的向量的第一方向向量、三维信息预测模型预测的各个关节弯曲角度计算该手指的各个指骨的关键点之间的向量的第一方向向量。

如图2所示，以小指为示例，在前述S3062已经计算出手腕关键点O到小指近指骨关键点MCP的向量B的第一方向向量，并且通过三维信息预测模型可以得到小指的关键点MCP、PIP、DIP处关节弯曲夹角的角度分别为b、c、d，则在小指中，关键点MCP与关键点PIP所形成的向量E与向量B的夹角为b，关键点PIP与关键点DIP所形成的向量F与向量B的夹角为夹角b和夹角c的和，关键点DIP与关键点TIP所形成的向量G与向量B的夹角为夹角b、夹角c和夹角d的和，当知道各个向量与手腕关键点O到近指骨关键点MCP的夹角后，可以通过旋转手腕关键点O到手指近指骨关键点MCP所形成的向量B得到每个向量的第一方向向量。

以上以小指为示例说明了小指上各个关键点形成的向量的第一方向向量的计算方式，对于其他手指计算各个关键点形成的向量的第一方向向量的方式相同，在此不再详述。

S307、采用所述欧拉角将所述第一方向向量转换为世界坐标系下的第二方向向量。

在实际应用中，各个向量的第一方向向量为在手部坐标系下的方向向量，由于手部在空间中具有一定的位姿，需要将各个向量的第一方向向量转换为世界坐标系下的方向向量，即第二方向向量，具体地，可以采用欧拉角计算欧拉旋转矩阵，计算第一方向向量和欧拉旋转矩阵的乘积得到第一方向向量在世界坐标系下的第二方向向量。

如图4所示，欧拉角可以用三个夹角α，β，γ来表示，其中坐标系xyz为手部坐标系，XYZ为世界坐标系，x轴和N轴之间的夹角为α，z轴和Z轴之间的夹角为β，N轴和X轴之间的夹角为γ，其中，N轴是x轴在绕z轴旋转后的位置。

假设一个手掌平行于x-y平面且中指关节到手腕关键点处的直线L垂直于x轴，平行于y轴，此时手部的状态为初始状态。初始状态的手部经过欧拉角的旋转可以得到当前三维空间中手部的状态，即手部在世界坐标系下的位姿。在手部旋转的过程中，手部坐标系随着手部的旋转同时旋转，手部关键点在手部坐标系下的坐标不变，而手部关键点在世界坐标系下的坐标改变，手部的旋转的过程可以如下：先绕z轴旋转角度α，再绕N轴旋转角度β，最后绕Y轴旋转角度γ，即可得到当前手部在世界坐标系中的状态。

在本发明实施例中，欧拉旋转矩阵表达了向量从手部坐标系到世界坐标系下的转换关系，欧拉旋转矩阵具体如下：

对于每个向量的第一方向向量，其第一方向向量与上述欧拉旋转矩阵相乘后即可以的到该向量在世界坐标系下的第二方向向量。

S308、采用所述热力图中的二维坐标计算所述向量的向量长度。

具体地，向量由两个手部关键点构成，对于每个向量可以确定构成该向量的两个手部关键点，基于两个手部关键点的热力图分别确定该两个手部关键点的二维坐标，然后采用两个手部关键点的二维坐标计算向量的长度。

在本发明实施例中，每个手部关键点的热力图表达了手部关键点在该热力图的位置的分布，该热力图上的每个像素点均可以关联一个概率值，该概率值表达了手部关键点在该位置的概率。因此，对于每个手部关键点，可以从手部关键点的热力图上确定概率值最大的像素点；获取该像素点在热力图中的坐标得到局部二维坐标，将该局部二维坐标转换为手部图像中的坐标得到手部关键点的二维坐标，亦即，先确定手部关键点在热力图中的坐标(像素点的位置)，同时热力图和手部图像成比例的关系，手部关键点在热力图中的坐标乘上比例系数即得到手部关键点在手部图像中的坐标，亦即二维坐标。

如图2所示，向量为向量长度和向量方向的表示，假设手腕关键点到无名指关键点MCP的向量是D＝(X，Y，Z)，已知向量D的第二方向向量为A＝(x，y，z)，所以D＝α×A，其中，α为向量长度。把第二方向向量A投影到x-y平面上，也就是方向向量B＝(x,y,0)。

同时，根据热力图可以求出所有手部关键点的二维坐标，该二维坐标也是手部关键点在x-y平面上的投影，由于向量D在x-y平面上的投影为C＝(X,Y,0)，即C＝α×B，该投影C中的坐标X，Y即为热力图所求得的二维坐标，即已知B和C，可以求出向量长度α，同时已知方向向量A，可以求出向量D。

S309、计算所述向量长度和所述第二方向向量的乘积以得到所述向量。

即向量为向量长度和方向向量的表示，计算向量长度和第二方向向量的乘积即为向量，如向量D＝α×A，α为向量长度，A为向量的方向向量。

S310、采用所述向量计算构成所述向量的两个手部关键点在所述世界坐标系下的三维坐标。

在本发明实施例中，可以获取手部关键点中手腕关键点在世界坐标系下的三维坐标，采用手腕关键点在世界坐标系下的三维坐标和向量计算构成向量的两个手部关键点在世界坐标系下的三维坐标。

其中，手腕关键点在世界坐标系下的三维坐标可以通过手部图像获取，即可以根据近大远小的成像原理从手部图像获得到手腕关键点在世界坐标系下的三维坐标。

假设手腕关键点在世界坐标系下的坐标为O(X0，Y0，Z0)，并且已知手腕关键点O到各个手指的关键点MCP的向量为D(X，Y，Z)，则关键点MCP的三维坐标为(X0，Y0，Z0)+(X，Y，Z)＝(X0+X，Y0+Y，Z0+Z)，即在构成向量的两个手部关键点中，已知一个手部关键点的三维坐标和该向量，可以通过向量求和得到另一个手部关键点的三维坐标。

具体到本发明实施例中，对于每个手指，可以根据该手指上手部关键点与手腕关键点的生理结构连接顺序依次计算各个手部关键点的三维坐标，例如对于图2中的小指，在获得手腕关键点O的三维坐标后，由于前述已获得手腕关键点O到小指关键点MCP的向量B，则可以通过手腕关键点O的三维坐标和向量B通过向量求和的方式得到小指关键点MCP的三维坐标，同时前述已获得小指关键点MCP到小指关键点PIP的向量E，则可以通过小指关键点MCP的三维坐标和向量E计算小指关键点PIP的三维坐标，以此类推直到计算出小指关键点TIP的三维坐标。

本发明实施例从获取的原始图像中检测出手部并截取出待检测的手部图像，进一步通过热力图模型和三维信息预测模型分别获得手部关键点的热力图和包含关节弯曲角度和欧拉角的手部结构化连接信息，并且通过关节弯曲角度计算手部关键点构成的向量在手部坐标系下的第一方向向量，通过欧拉角将第一方向向量转换为世界坐标系下的第二方向向量，进一步通过热力图获得各个手部关键点的二维坐标以计算向量的向量长度，通过向量长度和第二方向向量确定各个手部关键点处的向量，进而能够根据向量计算形成向量的手部关键点在世界坐标系下的三维坐标。通过两个模型先后预测二维坐标和手部结构化连接信息以计算手部关键点的三维坐标，相对于直接通过深度神经网络回归手部关键点的三维坐标，每个模型结构简单，计算量小，适用于计算能力有限的移动终端，并且由于模型结构简单、计算量小，手部关键点的检测时间短，实现了在移动终端实时检测手部关键点，有利于手势识别应用于移动终端上。

实施例三

图5为本发明实施例三提供的一种手势识别方法的流程图，本发明实施例可适用于基于手部图像识别手势的情况，该方法可以由手势识别装置来执行，该装置可以通过软件和/或硬件的方式来实现，并集成在执行本方法的设备中，具体地，如图5所示，本发明实施例的手势识别方法可以包括如下步骤：

S501、获取待识别的手部图像。

在发明实施例中，待识别的手部图像可以是需要识别出手势的图像，该手部图像可以是在手势识别应用的场景中获取的图像，可选地，手势识别应用的场景可以是通过手势控制的人机交互(VR控制)、手语识别(手语教学)等场景，在上述场景中，可以通过图像采集装置采集手部图像，当然，还可以对现有图像进行识别以从图像中获得手部图像，本发明实施例对获取手部图像的场景和方式不加以限制。

S502、检测出所述手部图像中的关键点。

具体地，可以将待识别的手部图像输入预先训练的热力图模型中得到手部关键点的热力图，热力图包含手部关键点的二维坐标；将热力图和手部图像输入预先训练的三维信息预测模型中获得手部结构化连接信息；根据手部结构化连接信息和热力图中的二维坐标确定手部关键点在世界坐标系下的三维坐标。

在本发明实施例中，检测手部关键点即确定手部的各个关键点在空间中的三维坐标，可以通过本发明实施例一或者实施例二所提供的手部关键点检测方法检测出手部图像中手部关键点在三维空间中的三维坐标，具体可参考实施例一或者实施例二，在此不再详述。

S503、基于所述关键点识别所述手部图像中手部所表达的手势。

手势即为手指的各个关键点位于不同位置时所组成，不同的手势可以表达不同的意思，手势识别即识别手指的各个关键点的三维坐标所能表达的手势。

如图6所示，手部可以包括21个关键点，在获取到该21个关键点的三维坐标后，可以基于三维坐标识别手部图像中手部所表达的手势，在本发明的一个示例中，可以按照手部的骨骼结构连接各个手部关键点，并根据各个手部关键点的三维坐标识别该手部所表达的手势，例如，连接各个手部关键点后得到一手部骨骼图像，可以对该手部骨骼图像识别得到一手势，如图7为图6中所检测到的关键点的手势。

本发明实施例的手势识别方法在获取待识别图像后，通过本发明实施例的手部关键点检测方法检测出手部关键点，并基于关键点识别手部图像中手部所表达的手势，由于手部关键点检测通过两个模型先后预测二维坐标和手部结构化连接信息以计算手部关键点的三维坐标，无需通过深度神经网络直接回归手部关键点的三维坐标，每个模型结构简单，数据计算量小，适用于计算能力有限的移动终端，并且由于模型结构简单、数据计算量小，手部关键点的检测时间短，实现了在移动终端实时检测手部关键点，有利于手势识别应用于移动终端上。

实施例四

图8是本发明实施例四提供的一种手部关键点检测装置的结构框图，本发明实施例的手部关键点检测装置具体可以包括如下模块：

手部图像获取模块801，用于获取待检测的手部图像；

热力图获取模块802，用于将所述手部图像输入预先训练的热力图模型中得到手部关键点的热力图，所述热力图包含所述手部关键点的二维坐标；

手部结构化连接信息获取模块803，用于将所述热力图和所述手部图像输入预先训练的三维信息预测模型中获得手部结构化连接信息；

三维坐标计算模块804，用于根据所述手部结构化连接信息和所述热力图中的二维坐标确定所述手部关键点在世界坐标系下的三维坐标。

可选地，所述手部图像获取模块801包括：

原始图像获取子模块，用于获取原始图像；

手部识别子模块，用于从所述原始图像中检测出手部；

手部图像截取子模块，用于截取包含所述手部的、预设尺寸的图像作为待检测的手部图像。

可选地，热力图获取模块802包括：

热力图获取子模块，用于将所述手部图像输入预先训练的热力图模型中获得每一个手部关键点的热力图，其中，每一个手部关键点的热力图的尺寸与所述手部图像的尺寸相同。

可选地，所述热力图包括每一个手部关键点的热力图，所述手部结构化连接信息获取模块803，包括：

关节弯曲角度和欧拉角获取子模块，用于将所有手部关键点的热力图和所述手部图像输入预先训练的三维信息预测模型中，以获得所述手部关键点所形成的关节弯曲角度和所述手部的欧拉角。

可选地，所述手部结构化连接信息包括所述手部关键点所形成的关节弯曲角度和所述手部的欧拉角，所述三维坐标计算模块804包括：

第一方向向量计算子模块，用于根据所述关节弯曲角度计算在所述手部的手部坐标系下两个手部关键点所构成的向量的第一方向向量；

第二方向向量计算子模块，用于采用所述欧拉角将所述第一方向向量转换为世界坐标系下的第二方向向量；

向量长度计算子模块，用于采用所述热力图中的二维坐标计算所述向量的向量长度；

向量计算子模块，用于计算所述向量长度和所述第二方向向量的乘积以得到所述向量；

三维坐标计算子模块，用于采用所述向量计算构成所述向量的两个手部关键点在所述世界坐标系下的三维坐标。

可选地，所述第一方向向量计算子模块包括：

第一计算单元，用于基于预先建立的手部模型确定手腕关键点到中指的近指骨关键点的向量的第一方向向量；

第二计算单元，用于采用所述关节弯曲角度、所述手腕关键点到中指的近指骨关键点的向量的第一方向向量分别计算所述手腕关键点到各个手指的近指骨关键点的向量的第一方向向量；

第三计算单元，用于针对每一个手指，采用所述关节弯曲角度、所述手腕关键点到所述手指的近指骨关键点的向量的第一方向向量计算所述手指的各个指骨的关键点之间的向量的第一方向向量。

可选地，所述第二方向向量计算子模块包括：

欧拉旋转矩阵计算单元，用于采用所述欧拉角计算欧拉旋转矩阵；

第二方向向量计算单元，用于计算所述第一方向向量和所述欧拉旋转矩阵的乘积得到所述第一方向向量在所述世界坐标系下的第二方向向量。

可选地，所述向量计算子模块包括：

关键点确定单元，用于确定构成所述向量的两个手部关键点；

二维坐标确定单元，用于基于两个手部关键点的热力图分别确定两个手部关键点的二维坐标；

向量长度计算单元，用于采用两个手部关键点的二维坐标计算所述向量的长度。

可选地，所述热力图表达了所述手部关键点属于各个二维坐标的概率，所述二维坐标确定单元包括：

像素点确定子单元，用于针对每个手部关键点，从所述手部关键点的热力图上确定概率值最大的像素点；

局部二维坐标获取子单元，用于获取该像素点在所述热力图中的坐标得到局部二维坐标；

二维坐标转换子单元，用于将所述局部二维坐标转换为所述手部图像中的坐标得到所述手部关键点的二维坐标。

可选地，所述三维坐标计算子模块包括：

手腕关键点三维坐标获取单元，用于获取所述手部关键点中手腕关键点在所述世界坐标系下的三维坐标；

三维坐标计算单元，用于采用所述手腕关键点在所述世界坐标系下的三维坐标和所述向量计算构成所述向量的两个手部关键点在所述世界坐标系下的三维坐标。

本发明实施例所提供的手部关键点检测装置可执行本发明实施例所提供的手部关键点检测方法，具备执行方法相应的功能模块和有益效果。

实施例五

图9是本发明实施例五提供的一种手势识别装置的结构框图，本发明实施例的手势识别装置具体可以包括如下模块：

手部图像获取模块901，用于获取待识别的手部图像；

关键点检测模块902，用于检测出所述手部图像中的关键点；

手势识别模块903，用于基于所述关键点识别所述手部图像中手部所表达的手势；

其中，所述关键点根据实施例四所述的手部关键点检测装置所检测。

本发明实施例所提供的手势识别装置可执行本发明实施例所提供的手势识别方法，具备执行方法相应的功能模块和有益效果。

实施例六

参照图10，示出了本发明一个示例中的一种设备的结构示意图。如图10所示，该设备具体可以包括：处理器1000、存储器1001、具有触摸功能的显示屏1002、输入装置1003、输出装置1004以及通信装置1005。该设备中处理器1000的数量可以是一个或者多个，图10中以一个处理器1000为例。该设备中存储器1001的数量可以是一个或者多个，图10中以一个存储器1001为例。该设备的处理器1000、存储器1001、显示屏1002、输入装置1003、输出装置1004以及通信装置1005可以通过总线或者其他方式连接，图10中以通过总线连接为例。

存储器1001作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例一到实施例二所述的手部关键点检测方法对应的程序指令/模块(例如，上述手部关键点检测装置中的手部图像获取模块801、热力图获取模块802、手部结构化连接信息获取模块803和三维坐标计算模块804)，或如本发明实施例三所述的手势识别方法对应的程序指令/模块(例如，上述手势识别装置中的手部图像采集模块901、关键点检测模块902和手势识别模块903)。存储器1001可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作装置、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器1001可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器1001可进一步包括相对于处理器1000远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

显示屏1002为具有触摸功能的显示屏1002，其可以是电容屏、电磁屏或者红外屏。一般而言，显示屏1002用于根据处理器1000的指示显示数据，还用于接收作用于显示屏1002的触摸操作，并将相应的信号发送至处理器1000或其他装置。可选的，当显示屏1002为红外屏时，其还包括红外触摸框，该红外触摸框设置在显示屏1002的四周，其还可以用于接收红外信号，并将该红外信号发送至处理器1000或者其他设备。

通信装置1005，用于与其他设备建立通信连接，其可以是有线通信装置和/或无线通信装置。

输入装置1003可用于接收输入的数字或者字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入，还可以是用于获取图像的摄像头以及获取音频数据的拾音设备。输出装置1004可以包括扬声器等音频设备。需要说明的是，输入装置1003和输出装置1004的具体组成可以根据实际情况设定。

处理器1000通过运行存储在存储器1001中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述手部关键点检测方法和/或手势识别方法。

具体地，实施例中，处理器1000执行存储器1001中存储的一个或多个程序时，具体实现本发明实施例提供的手部关键点检测方法和/或手势识别方法的步骤。

本发明实施例还提供一种计算机可读存储介质，所述存储介质中的指令由设备的处理器执行时，使得设备能够执行如上述方法实施例所述的手部关键点检测方法和/或手势识别方法。

需要说明的是，对于装置、设备、存储介质实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是机器人，个人计算机，服务器，或者网络设备等)执行本发明任意实施例所述的手部关键点检测方法和/或手势识别方法。

值得注意的是，上述手部关键点检测装置和/或手势识别装置中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (14)

1.一种手部关键点的检测方法，其特征在于，包括：

获取待检测的手部图像；

将所述手部图像输入预先训练的热力图模型中得到每一个手部关键点的热力图，所述热力图包含所述手部关键点在所述手部图像中的二维坐标；

将所述热力图和所述手部图像输入预先训练的三维信息预测模型中获得手部结构化连接信息；

根据所述手部结构化连接信息和所述热力图中的二维坐标确定所述手部关键点在世界坐标系下的三维坐标；

所述手部结构化连接信息包括所述手部关键点所形成的关节弯曲角度和所述手部的欧拉角，所述根据所述手部结构化连接信息和所述热力图中的二维坐标确定所述手部关键点在世界坐标系下的三维坐标，包括：

根据所述关节弯曲角度计算在所述手部的手部坐标系下两个手部关键点所构成的第一向量的第一方向向量；

采用所述欧拉角将所述第一方向向量转换为世界坐标系下的第二方向向量；

采用所述热力图中的二维坐标计算所述第一向量的向量长度；

计算所述向量长度和所述第二方向向量的乘积以得到第二向量；

采用所述第二向量计算构成所述第一向量的两个手部关键点在所述世界坐标系下的三维坐标。

2.根据权利要求1所述的检测方法，其特征在于，所述获取待检测的手部图像，包括：

获取原始图像；

从所述原始图像中检测出手部；

截取包含所述手部的、预设尺寸的图像作为待检测的手部图像。

3.根据权利要求1所述的检测方法，其特征在于，

每一个手部关键点的热力图的尺寸与所述手部图像的尺寸相同。

4.根据权利要求1所述的检测方法，其特征在于，所述热力图包括每一个手部关键点的热力图，所述将所述热力图和所述手部图像输入预先训练的三维信息预测模型中获得手部结构化连接信息，包括：

将所有手部关键点的热力图和所述手部图像输入预先训练的三维信息预测模型中，以获得所述手部关键点所形成的关节弯曲角度和所述手部的欧拉角。

5.根据权利要求1所述的检测方法，其特征在于，所述根据所述关节弯曲角度计算在所述手部的手部坐标系下两个关键点之间构成的第一向量的第一方向向量，包括：

基于预先建立的手部模型确定手腕关键点到中指的近指骨关键点的向量的第一方向向量；

采用所述关节弯曲角度、所述手腕关键点到中指的近指骨关键点的向量的第一方向向量分别计算所述手腕关键点到各个手指的近指骨关键点的向量的第一方向向量；

针对每一个手指，采用所述关节弯曲角度、所述手腕关键点到所述手指的近指骨关键点的向量的第一方向向量计算所述手指的各个指骨的关键点之间的向量的第一方向向量。

6.根据权利要求1所述的检测方法，其特征在于，所述采用所述欧拉角将所述第一方向向量转换为所述世界坐标系下的第二方向向量，包括：

采用所述欧拉角计算欧拉旋转矩阵；

计算所述第一方向向量和所述欧拉旋转矩阵的乘积得到所述第一方向向量在所述世界坐标系下的第二方向向量。

7.根据权利要求1所述的检测方法，其特征在于，所述采用所述热力图中的二维坐标计算所述第一向量的向量长度，包括：

确定构成所述第一向量的两个手部关键点；

基于两个手部关键点的热力图分别确定两个手部关键点的二维坐标；

采用两个手部关键点的二维坐标计算所述第一向量的长度。

8.根据权利要求7所述的检测方法，其特征在于，所述热力图表达了所述手部关键点属于各个二维坐标的概率，所述基于两个手部关键点的热力图分别确定两个手部关键点的二维坐标，包括：

针对每个手部关键点，从所述手部关键点的热力图上确定概率值最大的像素点；

获取该像素点在所述热力图中的坐标得到局部二维坐标；

将所述局部二维坐标转换为所述手部图像中的坐标得到所述手部关键点的二维坐标。

9.根据权利要求1所述的检测方法，其特征在于，所述采用所述第二向量计算构成所述第一向量的两个手部关键点在世界坐标系下的三维坐标，包括：

获取所述手部关键点中手腕关键点在所述世界坐标系下的三维坐标；

采用所述手腕关键点在所述世界坐标系下的三维坐标和所述第二向量计算构成所述第一向量的两个手部关键点在所述世界坐标系下的三维坐标。

10.一种手势识别方法，其特征在于，包括：

获取待识别的手部图像；

检测出所述手部图像中的关键点；

基于所述关键点识别所述手部图像中手部所表达的手势；

其中，所述关键点根据权利要求1-9任一项所述的手部关键点检测方法所检测。

11.一种手部关键点的检测装置，其特征在于，包括：

手部图像获取模块，用于获取待检测的手部图像；

热力图获取模块，用于将所述手部图像输入预先训练的热力图模型中得到每一个手部关键点的热力图，所述热力图包含所述手部关键点在所述手部图像中的二维坐标；

手部结构化连接信息获取模块，用于将所述热力图和所述手部图像输入预先训练的三维信息预测模型中获得手部结构化连接信息；

三维坐标计算模块，用于根据所述手部结构化连接信息和所述热力图中的二维坐标确定所述手部关键点在世界坐标系下的三维坐标；

所述手部结构化连接信息包括所述手部关键点所形成的关节弯曲角度和所述手部的欧拉角，所述三维坐标计算模块包括：

第一方向向量计算子模块，用于根据所述关节弯曲角度计算在所述手部的手部坐标系下两个手部关键点所构成的第一向量的第一方向向量；

第二方向向量计算子模块，用于采用所述欧拉角将所述第一方向向量转换为世界坐标系下的第二方向向量；

向量长度计算子模块，用于采用所述热力图中的二维坐标计算所述第一向量的向量长度；

向量计算子模块，用于计算所述向量长度和所述第二方向向量的乘积以得到所述第二向量；

三维坐标计算子模块，用于采用所述第二向量计算构成所述第一向量的两个手部关键点在所述世界坐标系下的三维坐标。

12.一种手势识别装置，其特征在于，包括：

手部图像获取模块，用于获取待识别的手部图像；

关键点检测模块，用于检测出所述手部图像中的关键点；

手势识别模块，用于基于所述关键点识别所述手部图像中手部所表达的手

势；

其中，所述关键点根据权利要求11所述的手部关键点检测装置所检测。

13.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的手部关键点检测方法和/或如权利要求10所述的手势识别方法。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一所述的手部关键点检测方法和/或如权利要求10所述的手势识别方法。

Images