CN112613409A - 手部关键点检测方法、装置、网络设备及存储介质 - Google Patents

Abstract

本发明实施方式涉及通信技术领域，公开了一种手部关键点检测方法，包括：调整手部图像的方向，使所述手部图像中手部的方向调整至预设方向，其中，所述预设方向根据关键点检测模型在训练时所用的输入图像中手部的方向确定；将调整后的所述手部图像输入至所述关键点检测模型进行检测；获取所述关键点检测模型输出的手部关键点。本发明实施方式还公开了一种手部关键点检测装置、网络设备及存储介质。本发明实施方式提供的手部关键点检测方法、装置、网络设备及存储介质，可以使得手部骨骼关键点的检测精度提高。

Description

手部关键点检测方法、装置、网络设备及存储介质

技术领域

本发明涉及通信技术领域，特别涉及一种手部关键点检测方法、装置、网络设备及存储介质。

背景技术

手势，是指人类用语言中枢建立起来的一套用手掌和手指位置、形状的特定语言系统，可以用在多种场景中，例如用在聋哑人的手语中。

目前，对手势进行识别通常采用检测手部骨骼的关键点来实现。然而，目前检测手部骨骼关键点的算法的精度较低，经常会出现手部骨骼关键点的误检或闪烁的问题。

发明内容

本发明实施方式的目的在于提供一种手部关键点检测方法、装置、网络设备及存储介质，使得手部骨骼关键点的检测精度提高。

为解决上述技术问题，本发明的实施方式提供了一种手部关键点检测方法，包括：调整手部图像的方向，使手部图像中手部的方向调整至预设方向，其中，预设方向根据关键点检测模型在训练时所用的输入图像中手部的方向确定；将调整后的手部图像输入至关键点检测模型进行检测；获取关键点检测模型输出的手部关键点。

本发明的实施方式还提供了一种手部关键点检测装置，包括：调整模块，用于调整手部图像的方向，使手部图像中手部的方向调整至预设方向，其中，预设方向根据关键点检测模型在训练时所用的输入图像中手部的方向确定；输入模块，用于将调整后的手部图像输入至关键点检测模型进行检测；获取模块，用于获取关键点检测模型输出的手部关键点。

本发明的实施方式还提供了一种网络设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的手部关键点检测方法。

本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述的手部关键点检测方法。

本发明实施方式相对于现有技术而言，通过调整手部图像的方向，使手部图像中手部的方向调整至预设方向，再输入关键点检测模型中进行检测，由于调整后手部图像中手部的方向与关键点检测模型训练所用的输入图像中手部的方向相同或相近，因此更适合关键点检测模型的推理，从而使关键点检测模型输出的手部关键点更加稳定，提高手部关键点的检测精度，减少手部关键点的误检或闪烁的问题。

另外，调整手部图像的方向，使手部图像中手部的方向调整至预设方向，包括：获取手部的方向相对于预设方向的倾斜角度；根据倾斜角度调整手部图像，使手部的方向调整至预设方向。

另外，获取手部的方向相对于预设方向的倾斜角度，包括：利用坐标检测模型获取手部的两个预设关键点的坐标；根据两个预设关键点的坐标确定倾斜角度。

另外，坐标检测模型根据深度可分离卷积模型训练得到，深度可分离卷积模型包括若干层卷积层和若干个瓶颈层。由于深度可分离卷积模型中的瓶颈层可以对手部图像进行降维，减少运算量，因此利用基于深度可分离卷积模型训练得到的坐标检测模型，可以提高获取手部的倾斜角度的效率。

另外，在根据倾斜角度调整手部图像之前，还包括：利用手部检测模型检测视频流中帧图像的手部，并以长方形检测框框出手部的位置，长方形检测框的边与帧图像的边平行；将长方形检测框修改为正方形检测框；旋转正方形检测框，使正方形检测框的其中两条边与手部的方向成垂直状态；根据旋转后的正方形检测框将手部的图像从帧图像中裁剪出来，得到手部图像。通过将长方形检测框修改为正方形检测框，可以使手部图像在后续调整为关键点检测模型所需要的输入大小时，不会发生形变，从而保证手部关键点的检测精度。

另外，根据倾斜角度调整手部图像，使手部的方向调整至预设方向，包括：根据倾斜角度将手部图像旋转至预设方向，使手部图像中手部的方向调整至预设方向。

另外，在获取关键点检测模型输出的手部关键点之后，还包括：对手部关键点进行滤波处理，将滤波处理后的手部关键点的位置作为最终手部关键点的位置。通过在调整手部图像方向的基础上，还对输出的手部关键点进行滤波处理，将滤波处理后的手部关键点的位置作为最终手部关键点的位置，可以实现对关键点检测模型的输入和输出均进行约束和优化的效果，进一步提高手部关键点的检测精度和减少误检、闪烁的问题。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定。

图1是本发明第一实施方式提供的手部关键点检测方法的流程示意图；

图2是本发明第一实施方式提供的手部关键点检测方法中S101细化步骤的流程示意图；

图3是本发明第一实施方式提供的手部关键点检测方法中S1011细化步骤的流程示意图；

图4是本发明第一实施方式提供的手部关键点检测方法中手部21个关键点的位置示意图；

图5是本发明第一实施方式提供的手部关键点检测方法中坐标检测模型的卷积层的结构示意图；

图6是本发明第一实施方式提供的手部关键点检测方法中坐标检测模型的瓶颈层的结构示意图；

图7是本发明第一实施方式提供的手部关键点检测方法中获取手部两个关键点的坐标的示例图；

图8是本发明第一实施方式提供的手部关键点检测方法中坐标检测模型的各层参数的示例图；

图9是本发明第一实施方式提供的手部关键点检测方法中在S1012之前步骤的流程示意图；

图10是本发明第一实施方式提供的手部关键点检测方法中利用手部检测模型检测手部的示意图；

图11是本发明第一实施方式提供的手部关键点检测方法中长方形检测框的形状扩张为正方形的示意图；

图12是本发明第一实施方式提供的手部关键点检测方法中长方形检测框修改为正方形检测框的示意图；

图13是本发明第一实施方式提供的手部关键点检测方法中将正方形检测框旋转后的示意图；

图14是本发明第一实施方式提供的手部关键点检测方法中将手部图像转换为预设方向的示意图；

图15是本发明第一实施方式提供的手部关键点检测方法中对旋转后的手部图像的示意图；

图16是本发明第二实施方式提供的手部关键点检测方法的流程示意图；

图17是本发明第三实施方式提供的手部关键点检测装置的模块结构示意图；

图18是本发明第四实施方式提供的网络设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

本发明的第一实施方式涉及一种手部关键点检测方法，通过调整手部图像的方向，使手部图像中手部的方向调整至预设方向，其中，预设方向根据关键点检测模型在训练时所用的输入图像中手部的方向确定；将调整后的手部图像输入至关键点检测模型进行检测，获取关键点检测模型输出的手部关键点。由于调整后的手部图像中手部的方向与关键点检测模型训练所用的输入图像中手部的方向相同或相近，更适合关键点检测模型的推理，因此可以提高手部关键点的检测精度。

应当说明的是，本发明实施方式提供的手部关键点检测方法的执行主体可以为服务端，其中，服务端可以通过单独的服务器或由多个服务器组成的集群来实现。以下以服务端为例进行说明。

本发明实施方式提供的手部关键点检测方法的具体流程如图1所示，具体包括以下步骤：

S101：调整手部图像的方向，使手部图像中手部的方向调整至预设方向，其中，预设方向根据关键点检测模型在训练时所用的输入图像中手部的方向确定。

其中，预设方向可以与关键点检测模型在训练时所用的输入图像中手部的方向相同或相近，例如与输入图像中手部的方向在10度范围之内，以使手部图像输入至关键点检测模型进行检测时，更加适合关键点检测模型的推理，从而提高手部关键点的检测精度。一般而言，关键点检测模型在训练时所用的输入图像中手部的方向为一个，例如朝上、朝下、朝左或朝右等，以提高模型的检测精度。当然，关键点检测模型在训练时所用的输入图像中手部的方向也可以为两个或以上，当方向为两个或以上时，预设方向可以与其中一个方向相同或相近。

手部图像可以从一张普通的包含手部的图像中获取，也可以从实时的视频流的帧图像中获取，例如，从视频流的帧图像中先检测出手部，再将手部的图像从帧图像中裁剪出来，从而得到手部图像。

可选地，调整手部图像的方向，使手部图像中手部的方向调整至预设方向，可以先将整个图像(将手部图像裁剪出来之前的图像)进行旋转，在整个图像中的手部的方向调整至预设方向后，再将手部图像从整个图像中裁剪出来，从而得到调整后的手部图像。

在一个具体的例子中，如图2所示，S101具体可以包括：

S1011：获取手部的方向相对于预设方向的倾斜角度。

可选地，如图3所示，S1011具体可以包括：

S10111：利用坐标检测模型获取手部的两个预设关键点的坐标。

其中，手部的两个预设关键点可以根据实际需要进行选取。请参考图4，其为手部21个关键点的位置示意图，由于手部的关键点中包括手腕中部关键点(第0个关键点)和中指起始关键点(第9个关键点)，而手腕中部关键点与中指起始关键点可以较为准确地反映手部的方向，因此优选地，手部的两个预设关键点可以选取手腕中部关键点和中指起始关键点。

可选地，坐标检测模型可以通过以下步骤进行训练得到：1、标注一系列手部两个预设关键点坐标以及手部的位置框；2、以手部的位置框中心点向外随机扰动抠出不同的正方形图像；3、将手部图像的大小改变为模型设置的输入大小并修正图像大小改变后的两个预设关键点坐标；4、将坐标修改后的手部图像输入至原始的模型中进行关键点坐标回归，即可完成坐标检测模型的训练。在第2步中，由于实际检测时手部的方向各有不同，因此随机扰动抠出不同的正方形图像，可以提高坐标检测模型的泛化能力。

坐标检测模型可以基于多种神经网络训练得到，例如基于卷积神经网络模型训练得到。优选地，坐标检测模型基于深度可分离卷积模型训练得到，其中，深度可分离卷积模型包括若干层卷积层和若干层瓶颈层，卷积层和瓶颈层的具体层数可以根据实际需要进行设置，此处不做具体限制，其中瓶颈层可以对图像进行降维，减少计算量。优选地，深度可分离卷积模型具体可以为MobileNetV1，由于MobileNetV1为轻量级的神经网络，因此通过MobileNetV1训练得到的坐标检测模型可以应用在计算能力不高的移动终端上，在移动终端实现对手部两个预设关键点的坐标检测。进一步地，深度可分离卷积模型具体可以为3x3的卷积层，如图5所示；而瓶颈层可以由3x3的卷积层和1x1的卷积层组成，如图6所示。

请参考图7，其为采用坐标检测模型获取手部两个预设关键点的坐标的示例图。具体地，将手部图像输入至坐标检测模型，由坐标检测模型输出所述手部图像中两个预设关键点的坐标。请参考图8，其为图7采用的坐标检测模型中各层参数，其中，stride为卷积步长，channel num为通道数，input size为各层输出的数据类型。

S10112：根据两个预设关键点的坐标确定倾斜角度。

以图7为例，手部两个预设关键点的坐标分别为k1(x1,y1)和k2(x2,y2)，若预设方向为朝上的方向，则倾斜角度为β＝arctan2(|x1-x2|/|y1-y2|)。

S1012：根据倾斜角度调整手部图像，使手部的方向调整至预设方向。

可选地，可以以手部图像的中心点旋转手部图像，使旋转的角度为倾斜角度或为360度减去倾斜角度得到的角度，从而使手部的方向调整至预设方向。

在一个具体的例子中，在S1012之前，即在根据倾斜角度调整手部图像之前，如图9所示，还可以包括以下步骤：

S1013：利用手部检测模型检测视频流中帧图像的手部，并以长方形检测框框出手部的位置，长方形检测框的边与帧图像的边平行。

其中，手部检测模型可以根据目标检测算法来实现，用于检测图像中的手部。

请参考图10，其为利用手部检测模型检测手部的示意图，图中手部检测模型以长方形检测框框出了手部的位置，A点和B点为长方形检测框的两个顶点，长方形检测框的边与帧图像的边平行。

S1014：将长方形检测框修改为正方形检测框。

可选地，将长方形检测框修改为正方形检测框具体可以是：将长方形检测框的形状扩张为正方形，并将正方形放大预设倍数，根据放大后的正方形得到正方形检测框，其中，预设倍数大于1且小于2，优选地，预设倍数为1.2。通过将正方形放大预设倍数，可以保证在旋转正方形检测框时手部不会超出正方形检测框的边界，进而便于后续根据正方形检测框调整手部的方向。

请参考图11，其为将图10中长方形检测框的形状扩张为正方形的示意图。具体地，假设图10中的A点坐标为(x1,y1)，B点坐标为(x2,y2)，则可以得到长方形检测框中心点C点坐标为((x1+x2)/2,(y1+y2)/2)，并计算长方形检测框的最大边长S＝max(x2-x1,y2-y1)，则扩张后的正方形的坐标计算方式如下：

x_left＝(x1+x2)/2-S/2；

y_top＝(y1+y2)/2-S/2；

x_right＝(x1+x2)/2+S/2；

y_bottom＝(y1+y2)/2+S/2；

从而得到图11中正方形两个顶点的坐标为A_(x_left,y_top)，B_(x_right,y_bottom)。

在将正方形放大预设倍数时，以预设倍数为1.2为例，则放大后得到的正方形检测框的顶点的坐标计算方式如下：

A_a_x＝(x1+x2)/2-S/2*1.2；

A_a_y＝(y1+y2)/2-S/2*1.2；

B_a_x＝(x1+x2)/2+S/2*1.2；

B_a_y＝(y1+y2)/2+S/2*1.2；

得到如图12所示的正方形检测两顶点A_a和B_a的坐标。

S1015：旋转正方形检测框，使正方形检测框的其中两条边与手部的方向成垂直状态。

可选地，在旋转正方形检测框时，可以绕正方形检测框某一顶点进行旋转，也可以绕正方形检测框的中心点进行旋转。

以绕正方形检测框的中心点进行旋转为例，正方形检测框的顶点的旋转矩阵公式为：

其中，xr和yr为绕中心点旋转后的点坐标，β为倾斜角度，x_c和y_c为正方形检测框的中心点坐标C，旋转后的结果如图13所示。

S1016：根据旋转后的所述正方形检测框将手部的图像从帧图像中裁剪出来，得到手部图像。

可选地，在得到手部图像之后，将裁剪出来的手部图像旋转至预设方向可以通过如下矩阵进行转换：

其旋转的结果如图14所示。

可选地，可以将旋转后的手部图像通过插值法设置其图像大小为关键点检测模型所需要的输入大小。

S102：将调整后的手部图像输入至关键点检测模型进行检测。

其中，关键点检测模型可以采用现有的手部21个或20个关键点的关键点检测模型，也可以为其它的用于手部的关键点检测模型，具体可以根据实际需要进行选用，这里不做具体限制。

由于调整后的手部图像是经过旋转的，因此调整后的手部图像可能不符合关键点检测模型的输入图像的要求，例如手部图像是倾斜的，如图15所示。可选地，可以对手部图像进行扩充，例如将图15中的手部图像扩充至虚线正方形的位置，从而符合关键点检测模型的输入图像的要求。

S103：获取关键点检测模型输出的手部关键点。

可选地，在对实时视频流检测手部关键点时，由于前后帧图像的手部的位置不会相差太大，因此可以根据前一帧中得到的手部的倾斜角度作为后一帧的手部的倾斜角度，然后根据倾斜角度调整手部图像后利用关键点检测模型进行检测，从而减少获取手部的倾斜角度的计算量。另外，在获取关键点检测模型输出的手部关键点的同时，可以获取手部关键点的检测的置信度，若置信度过低，则判断为手部位置丢失，此时再重新获取(例如使用坐标检测模型获取)当前帧图像中手部的倾斜角度。

与现有技术相比，本发明实施方式提供的手部关键点检测方法，通过调整手部图像的方向，使手部图像中手部的方向调整至预设方向，再输入关键点检测模型中进行检测，由于调整后手部图像中手部的方向与关键点检测模型训练所用的输入图像中手部的方向相同或相近，因此更适合关键点检测模型的推理，从而使关键点检测模型输出的手部关键点更加稳定，提高手部关键点的检测精度，减少手部关键点的误检或闪烁的问题。

本发明的第二实施方式涉及一种手部关键点检测方法。第二实施方式与第一实施方式大致相同，主要区别之处在于：在本发明实施方式中，在获取关键点检测模型输出的手部关键点之后，还包括：对手部关键点进行滤波处理，将滤波处理后的手部关键点的位置作为最终手部关键点的位置。

本发明实施方式提供的手部关键点检测方法的具体流程如图16所示，具体包括以下步骤：

S201：调整手部图像的方向，使手部图像中手部的方向调整至预设方向，其中，预设方向根据关键点检测模型在训练时所用的输入图像中手部的方向确定。

S202：将调整后的手部图像输入至关键点检测模型进行检测。

S203：获取关键点检测模型输出的手部关键点。

S204：对手部关键点进行滤波处理，将滤波处理后的手部关键点的位置作为最终手部关键点的位置。

其中，S201-S203与第一实施方式中的S101-S103相同，具体可以参见第一实施方式中的描述，为了避免重复，这里不再赘述。

对于S204，具体地，手部图像可以为实时视频流的帧图像中的手部的图像，滤波处理具体可以是：根据相邻N(N为大于1的正整数)帧的手部关键点的检测结果，计算该N帧中手部关键点的偏差总和记为Δd，其中，Δd＝(k个手部关键点前后之间残差总和)/k，设置阈值Δf，若Δd小于或等于Δf，表示轻微抖动，则取前N帧手部关键点的加权平均求和的结果作为最终手部关键点的位置；若Δd大于Δf，表示移动范围较大，则使用当前手部关键点的位置作为最终手部关键点的位置。

应当说明的是，以上关于滤波处理的方式仅为示例，其它可以实现相同或者类似的滤波方式也同样可以应用在S204中，具体可以根据实际需要进行设置，此处不做具体限制。

与现有技术相比，本发明实施方式提供的手部关键点检测方法，通过在调整手部图像方向的基础上，还对输出的手部关键点进行滤波处理，将滤波处理后的手部关键点的位置作为最终手部关键点的位置，可以实现对关键点检测模型的输入和输出均进行约束和优化的效果，进一步提高手部关键点的检测精度和减少误检、闪烁的问题。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包含相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本发明第三实施方式涉及一种手部关键点检测装置300，如图17所示，包括调整模块301、输入模块302和获取模块303，各模块功能详细说明如下：

调整模块301，用于调整手部图像的方向，使手部图像中手部的方向调整至预设方向，其中，预设方向根据关键点检测模型在训练时所用的输入图像中手部的方向确定；

输入模块302，用于将调整后的手部图像输入至关键点检测模型进行检测；

获取模块303，用于获取关键点检测模型输出的手部关键点。

进一步地，调整模块301还用于：

获取手部的方向相对于预设方向的倾斜角度；

根据倾斜角度调整手部图像，使手部的方向调整至预设方向。

进一步地，调整模块301还用于：

利用坐标检测模型获取手部的两个预设关键点的坐标；

根据两个预设关键点的坐标确定倾斜角度。

进一步地，坐标检测模型根据深度可分离卷积模型训练得到，深度可分离卷积模型包括若干层卷积层和若干个瓶颈层。

进一步地，本发明实施方式提供的手部关键点检测装置300还包括裁剪模块，其中裁剪模块用于：

利用手部检测模型检测视频流中帧图像的手部，并以长方形检测框框出手部的位置，长方形检测框的边与帧图像的边平行；

将长方形检测框修改为正方形检测框；

旋转正方形检测框，使正方形检测框的其中两条边与手部的方向成垂直状态；

根据旋转后的正方形检测框将手部的图像从帧图像中裁剪出来，得到手部图像。

进一步地，调整模块301还用于：

根据倾斜角度将手部图像旋转至预设方向，使手部图像中手部的方向调整至预设方向。

进一步地，裁剪模块具体用于：将长方形检测框的形状扩张为正方形，并将正方形放大预设倍数，得到正方形检测框，其中，预设倍数大于1且小于2。

进一步地，本发明实施方式提供的手部关键点检测装置300还包括滤波模块，其中，滤波模块用于：

对手部关键点进行滤波处理，将滤波处理后的手部关键点的位置作为最终手部关键点的位置。

不难发现，本实施方式为与第一实施方式相对应的装置实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。

本发明第四实施方式涉及一种网络设备，如图18所示，包括至少一个处理器401；以及，与至少一个处理器401通信连接的存储器402；其中，存储器402存储有可被至少一个处理器401执行的指令，指令被至少一个处理器401执行，以使至少一个处理器401能够执行上述的手部关键点检测方法。

其中，存储器402和处理器401采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器401和存储器402的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器401处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器401。

处理器401负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器402可以被用于存储处理器401在执行操作时所使用的数据。

本发明第五实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。

即，本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种手部关键点检测方法，其特征在于，包括：

调整手部图像的方向，使所述手部图像中手部的方向调整至预设方向，其中，所述预设方向根据关键点检测模型在训练时所用的输入图像中手部的方向确定；

将调整后的所述手部图像输入至所述关键点检测模型进行检测；

获取所述关键点检测模型输出的手部关键点。

2.根据权利要求1所述的手部关键点检测方法，其特征在于，所述调整手部图像的方向，使所述手部图像中手部的方向调整至预设方向，包括：

获取所述手部的方向相对于所述预设方向的倾斜角度；

根据所述倾斜角度调整所述手部图像，使所述手部的方向调整至所述预设方向。

3.根据权利要求2所述的手部关键点检测方法，其特征在于，所述获取所述手部的方向相对于所述预设方向的倾斜角度，包括：

利用坐标检测模型获取所述手部的两个预设关键点的坐标；

根据所述两个预设关键点的坐标确定所述倾斜角度。

4.根据权利要求3所述的手部关键点检测方法，其特征在于，所述坐标检测模型根据深度可分离卷积模型训练得到，所述深度可分离卷积模型包括若干层卷积层和若干个瓶颈层。

5.根据权利要求2所述的手部关键点检测方法，其特征在于，在所述根据所述倾斜角度调整所述手部图像之前，还包括：

利用手部检测模型检测视频流中帧图像的手部，并以长方形检测框框出所述手部的位置，所述长方形检测框的边与所述帧图像的边平行；

将所述长方形检测框修改为正方形检测框；

旋转所述正方形检测框，使所述正方形检测框的其中两条边与所述手部的方向成垂直状态；

根据旋转后的所述正方形检测框将所述手部的图像从所述帧图像中裁剪出来，得到所述手部图像。

6.根据权利要求5所述的手部关键点检测方法，其特征在于，所述根据所述倾斜角度调整所述手部图像，使所述手部的方向调整至所述预设方向，包括：

根据所述倾斜角度将所述手部图像旋转至所述预设方向，使所述手部图像中所述手部的方向调整至所述预设方向。

7.根据权利要求1所述的手部关键点检测方法，其特征在于，在所述获取所述关键点检测模型输出的手部关键点之后，还包括：

对所述手部关键点进行滤波处理，将滤波处理后的所述手部关键点的位置作为最终手部关键点的位置。

8.一种手部关键点检测装置，其特征在于，包括：

调整模块，用于调整手部图像的方向，使所述手部图像中手部的方向调整至预设方向，其中，所述预设方向根据关键点检测模型在训练时所用的输入图像中手部的方向确定；

输入模块，用于将调整后的所述手部图像输入至所述关键点检测模型进行检测；

获取模块，用于获取所述关键点检测模型输出的手部关键点。

9.一种网络设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一项所述的手部关键点检测方法。

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的手部关键点检测方法。

Images