CN108985148B - 一种手部关键点检测方法及装置 - Google Patents

Abstract

本发明实施例提出一种手部关键点检测方法及装置，涉及计算机视觉技术领域。该方法及装置首先对一原始图像依次向下采样以获取图像金字塔，接着基于多个预建立的第一卷积神经网络以及图像金字塔获取手部位置区域，然后基于预建立的深度学习模型以及手部位置区域提取手部特征，以获取多通道特征图，接着基于预建立的第二卷积神经网络以及多通道特征图预测关键点以及防射场，最后对关键点以及防射场进行偶匹配以确定手部关键点位置；因此仅通过RGB图像便能确定手部关键点位置从而实现对手部姿态的估计；同时在通过第一卷积神经网络对图像金字塔进行多重筛选，从而在提高了对手部的检测精度的同时，还提高了检测效率。

Description

一种手部关键点检测方法及装置

技术领域

本发明涉及计算机视觉技术领域，具体而言，涉及一种手部关键点检测方法及装置。

背景技术

获取场景中各点相对于摄像机的距离是计算机视觉系统的重要任务之一，场景中各点相对于摄像机的距离可以用深度图(Depth Map)来表示，即深度图中的每一个像素值表示场景中某一点与摄像机之间的距离。

在现有技术中，通常采用基于深度图像的估计方法实现对手部姿态的估计，然而基于这类方法在背景复杂的室外场景很难达到较高的确定度，因而最终获取的手部姿态并不准确。

发明内容

有鉴于此，本发明的目的在于提供一种手部关键点检测方法及装置，以解决上述问题。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种手部关键点检测方法，所述手部关键点检测方法包括：

对一原始图像依次向下采样以获取图像金字塔；

基于多个预建立的第一卷积神经网络以及所述图像金字塔获取手部位置区域；

基于预建立的深度学习模型以及所述手部位置区域提取手部特征图像；

基于预建立的第二卷积神经网络以及所述手部特征图像预测关键点以及防射场；

对所述关键点以及所述防射场进行偶匹配以确定手部关键点位置。

第二方面，本发明实施例还提供了一种手部关键点检测装置，所述手部关键点检测装置包括：

图像获取单元，用于对一原始图像依次向下采样以获取图像金字塔；

手部位置区域获取单元，用于基于多个预建立的第一卷积神经网络以及所述图像金字塔获取手部位置区域；

手部特征图像获取单元，用于基于预建立的深度学习模型以及所述手部位置区域提取手部特征图像；

位置参数预测单元，用于基于预建立的第二卷积神经网络以及所述手部特征图像预测关键点以及防射场；

手部关键点位置确定单元，用于对所述关键点以及所述防射场进行偶匹配以确定手部关键点位置。

本发明实施例提供的手部关键点检测方法及装置，首先对一原始图像依次向下采样以获取图像金字塔，接着基于多个预建立的第一卷积神经网络以及图像金字塔获取手部位置区域，然后基于预建立的深度学习模型以及手部位置区域提取手部特征，以获取多通道特征图，接着基于预建立的第二卷积神经网络以及多通道特征图预测关键点以及防射场，最后对关键点以及防射场进行偶匹配以确定手部关键点位置；因此仅通过RGB图像便能确定手部关键点位置从而实现对手部姿态的估计；同时在通过第一卷积神经网络对图像金字塔进行多重筛选，从而在提高了对手部的检测精度的同时，还提高了检测效率。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例提供的服务器的功能框图。

图2示出了为本发明实施例提供的手部关键点检测方法的流程图。

图3示出了图2中步骤S203的具体流程图。

图4示出了图2中步骤S205的具体流程图。

图5示出了本发明实施例提供的手部关键点检测装置的功能模块图。

图6示出了手部位置区域获取单元的子模块框图。

图7示出了位置参数预测单元的子模块框图。

图标：100-服务器；111-存储器；112-处理器；113-通信单元；200-手部关键点检测装置；210-预处理单元；220-图像获取单元；230-手部位置区域获取单元；232-概率分布图生成子单元；234-手部位置区域确定子单元；236-比对子单元；238-合并子单元；240-手部特征图像获取单元；250-位置参数预测单元；252-关键点预测子单元；254-防射场预测子单元；260-优化单元；270-手部关键点位置确定单元。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

请参阅图1，图1示出了一种可应用于本发明实施例中的服务器100的功能框图。服务器100包括手部关键点检测装置200、存储器111、存储控制器，一个或多个(图中仅示出一个)处理器112、通信单元113。这些组件通过一条或多条通讯总线/信号线相互通讯。所述手部关键点检测装置200包括至少一个可以软件或固件(firmware)的形式存储于所述存储器111中或固化在所述服务器100的操作系统(operating S4stem，OS)中的软件功能单元。

存储器111可用于存储软件程序以及单元，如本发明实施例中的软件测试装置及方法所对应的程序指令/单元，处理器112通过运行存储在存储器111内的手部关键点检测装置200、方法的软件程序以及单元，从而执行各种功能应用以及数据处理，如本发明实施例提供的手部关键点检测方法。其中，所述存储器111可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(Erasable ProgrammableRead-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable ProgrammableRead-Only Memory，EEPROM)等。处理器112以及其他可能的组件对存储器111的访问可在存储控制器的控制下进行。

所述通信单元113用于通过所述网络建立所述服务器100与其它通信终端之间的通信连接，并用于通过所述网络收发数据。

应当理解的是，图1所示的结构仅为示意，服务器100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。

第一实施例

本发明实施例提供了一种手部关键点检测方法，用于检测原始图像中的手部姿态。请参阅图2，为本发明实施例提供的手部关键点检测方法的流程图。该手部关键点检测方法包括：

步骤S201：对一原始图像进行去噪、归一化处理。

由于原始图像在数字化和传输过程中承受到成像设备与外部环境噪声干扰等影响，因此原始图像大多包含噪声。

通过对原始图像进行去噪处理，可以提高原始图像的质量、清晰度，以减小服务器对原始图像进行检测过程中存在的误差，使得服务器对原始图像的检测结果更加精确。

通过对原始图像进行归一化处理，可将原始图像的大小尺寸限制在一定的范围内，以保证服务器在检测原始图像中的手部姿态的过程中收敛加快，提高检测效率。

步骤S202：对原始图像依次向下采样以获取图像金字塔。

需要说明的是，该原始图像为RGB图像。RGB图像是用RGB颜色模式来显示的图像。

图像金字塔是指对同一幅原始图像通过梯次向下采样的方式而获得的一系列以金字塔形状排列的分辨率逐步降低的图像合集。可以理解地，图像金字塔也为RGB图像。

步骤S203：基于多个预建立的第一卷积神经网络以及所述图像金字塔获取手部位置区域。

请参阅图3，为步骤S203的具体流程图。步骤S203包括：

子步骤S2031：基于预建立的第一级神经网络获取图像金字塔的第一概率分布图。

可以理解地，通过多个预建立的第一级神经网络，图像金字塔包含的每幅图像都可获取与之对应的第一概率分布图，以获取手部特征在该图像内各个区域的分布情况，便于服务器进一步从图像金字塔中筛选出具有较高概率包含手部的区域。

子步骤S2032：将基于第一概率分布图从图像金字塔中筛选出的符合第一预设条件的区域作为第一手部位置区域。

需要说明的是，每个第一手部位置区域均为从图像金字塔内截选的包含有手部特征的区域。此外，不同的第一手部位置区域可能具有不同的尺寸，第一手部位置区域大小依据其截选的输入图像的大小而定。具体地，输入图像越小，则相应的第一手部位置区域越大；输入图像越大，相应的第一手部位置区域越小。

在一种优选的实施例中，若图像金字塔包含的一区域所对应的概率值大于预设定的第一阈值时，将该区域选定为第一手部位置区域。

通过此步骤，服务器可以将图像金字塔中不包含手部图形的区域或者包含手部特征的概率较低的区域筛选出来。

由于在输入图像中，概率值大于预设定的第一阈值的区域，有较大可能性包含目标特征，因而将其选定为第一手部位置区域，可以优化服务器100对输入图像进行检测的过程，使最终的结果能更加精确；概率值小于或等于预设定的第三阈值的区域，包含目标特征的概率低，可能性小，因此将其剔除，以减小服务器100对输入图像进行检测过程中的运算量，提高检测效率。

子步骤S2033：将多个第一手部位置区域进行比对。

子步骤S2034：将重叠度大于预设定的第一阈值的两个第一手部位置区域合并。

通过合并重叠度较高的第一手部位置区域，可以使得最终输入至第二级神经网络的第一手部位置区域的数量较少，从而提高了运算效率。

子步骤S2035：基于预建立的第二级神经网络获取每个第一手部位置区域的第二概率分布图。

需要说明的是，第二级神经网络相对于第一级神经网络更大，因而识别精度更高，可进一步对第一手部位置区域进行筛选，从而达到提高检测精度的效果。

子步骤S2036：将基于第二概率分布图从每个第一手部位置区域中筛选出的符合第二预设条件的区域作为第二手部位置区域。

在一种优选的实施例中，若第一手部位置区域包含的一区域所对应的概率值大于预设定的第二阈值时，将该区域选定为第二手部位置区域。

通过此步骤，服务器100能够进一步减少目标手部位置区域的数量，从而减小计算量，提高检测效率。

子步骤S2037：将多个第二手部位置区域进行比对。

子步骤S2038：将重叠度大于预设定的阈值的两个第二手部位置区域合并。

通过合并重叠度较高的第二手部位置区域，可以使得最终输入至第三级神经网络的第二手部位置区域的数量较少，从而再次提高运算效率。

子步骤S2039：基于预建立的第三级神经网络获取每个第二手部位置区域的目标概率分布图。

需要说明的是，第三级神经网络相对于第二级神经网络更大，因而识别精度更高，可进一步对第二手部位置区域进行筛选，从而达到提高检测精度的效果。

还需要说明的是，多个预建立的第一卷积神经网络分别为第一级神经网络、第二级神经网络以及第三级神经网络，且第一级神经网络、第二级神经网络以及第三级神经网络依次增大。需要说明的是，在其他实施例中，多个预建立的第一卷积神经网络还可包括比第一级神经网络、第二级神经网络以及第三级神经网络更多的卷积神经网络，在此不做具体限制。

子步骤S2040：将基于目标概率分布图从每个第二手部位置区域中筛选出的符合第三预设条件的区域作为手部位置区域。

在一种优选的实施例中，符合第三预设条件是指：若第二手部位置区域包含的一区域所对应的概率值大于预设定的第三阈值时，将该区域选定为手部位置区域。

通过此步骤，服务器100能够再次减少手部位置区域的数量，以便获得精确的手部位置区域，从而减小计算量，提高检测效率。

步骤S204：基于预建立的深度学习模型以及手部位置区域提取手部特征图像。

需要说明的是，该手部特征图像为多通道特征图。由于原始图像为RGB格式，因而该多通道特征图也为RGB模式。在RGB模式下，多通道特征图包裹三个分量，分别为红色R、绿色G、蓝色B部分三部分，这三个分量共同构成了完整的多通道特征图。

步骤S205：基于预建立的第二卷积神经网络以及手部特征图像预测关键点以及防射场。

可以理解地，该关键点可以指手部的关节、手肘、指尖等等可辅助确定手部形状的位置；防射场用于表示关键点之间的连接关系，用于与关键点配合还原手部姿态。

请参阅图4，在一种优选的实施例中，步骤S205包括：

子步骤S2051：基于预建立的第二卷积神经网络的上分支及手部特征图像预测关键点。

需要说明的是，通过将手部特征图像输入至预建立的第二卷积神经网络的上分支，可以获取关键点。同时，该关键点以热点图的形式呈现。

由于手部特征图像包括多个图层，每个图层都包括相同的特征。而通常情况下，每个图层相同的特征会互相充电，使得彼此之间难以区分，难以直接用肉眼获取重要信息。

而热点图通过使用彩色区域表示手部特征图像上各个特征的密度，密集中点最多的区域密度也最大，而密度最大的区域也就是热点区域，即为本发明实施例中的关键点。

子步骤S2052：基于预建立的第二卷积神经网络的下分支及手部特征图像预测防射场。

通过预测防射场，实际上是预测各关节之间的连接关系，从而可以得知各个关键点之间的连接关系。

步骤S206：基于多个预建立的第三卷积神经网络、手部特征图像、关键点以及防射场获取优化后的关键点以及防射场。

具体地，步骤S206的具体实现过程可以为：

假设有n个预建立的第三卷积神经网络，因而分别将n个预建立的第三卷积神经网络标识为T1、T2、…、Tn。首先，将手部特征图像、关键点以及防射场输入标识为T1的第三卷积神经网络的上下分支，以获取经由标识为T1的第三卷积神经网络优化后的关键点以及防射场，为方便表述，在后文称经由标识为T1的第三卷积神经网络优化后的关键点以及防射场分别为第一关键点以及第一防射场。

接着，将手部特征图像、第一关键点以及第一防射场输入标识为T2的第三卷积神经网络的上下分支，以获取经由标识为T2的第三卷积神经网络优化后的关键点以及防射场，从而再次在第一关键点以及第一防射场的基础上进行了优化。

以此类推，最后获取经由标识为Tn的第三卷积神经网络优化后的关键点以及防射场，从而对关键点以及防射场完成n次优。

可以理解地，经由n个预建立的第三卷积神经网络优化后的关键点相较于优化前的关键点，更贴合于手部实际的关节位置；经由n个预建立的第三卷积神经网络优化后的防射场相较于优化前的防射场，也更贴合实际的关节与关节之间的连接关系。

需要说明的是，在本实施例中，n为大于等于0的正整数。

步骤S207：对优化后的关键点以及优化后的防射场进行偶匹配以确定手部关键点位置。

第二实施例

本发明实施例提供的一种手部关键点检测装置200，应用于服务器。需要说明的是，本实施例所提供的手部关键点检测装置200，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。

请参阅图5，为本发明实施例提供的一种手部关键点检测装置200的功能模块图。该手部关键点检测装置200包括预处理单元210、图像获取单元220、手部位置区域获取单元230、手部特征图像获取单元240、位置参数预测单元250、优化单元260以及手部关键点位置确定单元270。

预处理单元210用于对一原始图像进行去噪、归一化处理。

可以理解地，预处理单元210可用于执行步骤S201。

图像获取单元220用于对原始图像依次向下采样以获取图像金字塔。

可以理解地，图像获取单元220可用于执行步骤S202。

手部位置区域获取单元230用于基于多个预建立的第一卷积神经网络以及所述图像金字塔获取手部位置区域。

具体地，请参阅图6，手部位置区域获取单元230包括概率分布图生成子单元232、手部位置区域确定子单元234、比对子单元236以及合并子单元238。

其中，概率分布图生成子单元232用于基于预建立的第一级神经网络获取图像金字塔的第一概率分布图。

可以理解地，概率分布图生成子单元232可用于执行子步骤S2031。

手部位置区域确定子单元234用于将基于第一概率分布图从图像金字塔中筛选出的符合第一预设条件的区域作为第一手部位置区域。

可以理解地，手部位置区域确定子单元234可用于执行子步骤S2032。

比对子单元236用于将多个第一手部位置区域进行比对。

可以理解地，比对子单元236可用于执行子步骤S2033。

合并子单元238用于将重叠度大于预设定的第一阈值的两个第一手部位置区域合并。

可以理解地，合并子单元238可用于执行子步骤S2034。

概率分布图生成子单元232还用于基于预建立的第二级神经网络获取每个第一手部位置区域的第二概率分布图。

可以理解地，概率分布图生成子单元232可用于执行子步骤S2035。

手部位置区域确定子单元234还用于将基于第二概率分布图从每个第一手部位置区域中筛选出的符合第二预设条件的区域作为第二手部位置区域。

可以理解地，手部位置区域确定子单元234可用于执行子步骤S2036。

比对子单元236还用于将多个第二手部位置区域进行比对。

可以理解地，比对子单元236可用于执行子步骤S2037。

合并子单元238还用于将重叠度大于预设定的阈值的两个第二手部位置区域合并。

可以理解地，合并子单元238可用于执行子步骤S2038。

概率分布图生成子单元232还用于基于预建立的第三级神经网络获取每个第二手部位置区域的目标概率分布图。

可以理解地，概率分布图生成子单元232可用于执行子步骤S2039。

手部位置区域确定子单元234还用于将基于目标概率分布图从每个第二手部位置区域中筛选出的符合第三预设条件的区域作为手部位置区域。

可以理解地，手部位置区域确定子单元234可用于执行子步骤S2040。

手部特征图像获取单元240用于基于预建立的深度学习模型以及手部位置区域提取手部特征图像。

可以理解地，手部特征图像获取单元240可用于执行步骤S204。

位置参数预测单元250用于基于预建立的第二卷积神经网络以及手部特征图像预测关键点以及防射场。

具体地，请参阅图7，位置参数预测单元250包括关键点预测子单元252以及防射场预测子单元254。

关键点预测子单元252用于基于预建立的第二卷积神经网络的上分支及手部特征图像预测关键点。

可以理解地，关键点预测子单元252可用于执行子步骤S2051。

防射场预测子单元254用于基于预建立的第二卷积神经网络的下分支及手部特征图像预测防射场。

可以理解地，防射场预测子单元254可用于执行子步骤S2052。

优化单元260用于基于多个预建立的第三卷积神经网络、手部特征图像、关键点以及防射场获取优化后的关键点以及防射场。

可以理解地，优化单元260可用于执行步骤S206。

手部关键点位置确定单元270用于对优化后的关键点以及优化后的防射场进行偶匹配以确定手部关键点位置。

可以理解地，手部关键点位置确定单元270可用于执行步骤S207。

综上所述，本发明实施例提供的手部关键点检测方法及装置，首先对一原始图像依次向下采样以获取图像金字塔，接着基于多个预建立的第一卷积神经网络以及图像金字塔获取手部位置区域，然后基于预建立的深度学习模型以及手部位置区域提取手部特征，以获取多通道特征图，接着基于预建立的第二卷积神经网络以及多通道特征图预测关键点以及防射场，最后对关键点以及防射场进行偶匹配以确定手部关键点位置；因此仅通过RGB图像便能确定手部关键点位置从而实现对手部姿态的估计；同时在通过第一卷积神经网络对图像金字塔进行多重筛选，从而在提高了对手部的检测精度的同时，还提高了检测效率。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

Claims (8)

1.一种手部关键点检测方法，其特征在于，所述手部关键点检测方法包括：

对一原始图像依次向下采样以获取图像金字塔，所述原始图像为RGB图像；

基于多个预建立的第一卷积神经网络以及所述图像金字塔获取手部位置区域；所述预建立的第一卷积神经网络包括预建立的第一级神经网络、第二级神经网络以及第三级神经网络；

所述基于多个预建立的第一卷积神经网络以及所述图像金字塔获取手部位置区域的步骤包括：

基于预建立的所述第一级神经网络获取所述图像金字塔的第一概率分布图；

将基于所述第一概率分布图从所述图像金字塔中筛选出的符合第一预设条件的区域作为第一手部位置区域；

基于预建立的所述第二级神经网络获取每个所述第一手部位置区域的第二概率分布图；

将基于所述第二概率分布图从每个所述第一手部位置区域中筛选出的符合第二预设条件的区域作为第二手部位置区域；

基于预建立的所述第三级神经网络获取每个所述第二手部位置区域的目标概率分布图；

将基于所述目标概率分布图从每个所述第二手部位置区域中筛选出的符合第三预设条件的区域作为所述手部位置区域；

基于预建立的深度学习模型以及所述手部位置区域提取手部特征图像；

基于预建立的第二卷积神经网络以及所述手部特征图像预测关键点以及仿射场；

对所述关键点以及所述仿射场进行偶匹配以确定手部关键点位置。

2.根据权利要求1所述的手部关键点检测方法，其特征在于，所述基于预建立的第二卷积神经网络以及所述手部特征图像预测关键点以及仿射场的步骤包括：

基于所述预建立的第二卷积神经网络的上分支及所述手部特征图像预测所述关键点；

基于所述预建立的第二卷积神经网络的下分支及所述手部特征图像预测所述仿射场。

3.根据权利要求1所述的手部关键点检测方法，其特征在于，在所述基于预建立的第二卷积神经网络以及所述手部特征图像预测关键点以及仿射场的步骤之后，所述手部关键点检测方法还包括：

基于多个预建立的第三卷积神经网络、多通道特征图、所述关键点以及所述仿射场获取优化后的关键点以及仿射场；

所述对所述关键点以及所述仿射场进行偶匹配以确定手部关键点位置的步骤包括：

对所述优化后的关键点以及所述优化后的仿射场进行偶匹配以确定手部关键点位置。

4.根据权利要求1所述的手部关键点检测方法，其特征在于，在基于预建立的所述第二级神经网络获取每个所述第一手部位置区域的第二概率分布图的步骤之前，所述基于多个预建立的第一卷积神经网络以及所述图像金字塔获取手部位置区域的步骤还包括：

将多个所述第一手部位置区域进行比对；

将重叠度大于预设定的第一阈值的两个所述第一手部位置区域合并；

在所述基于预建立的所述第三级神经网络获取每个所述第二手部位置区域的目标概率分布图的步骤之前，所述基于多个预建立的第一卷积神经网络以及所述图像金字塔获取手部位置区域的步骤还包括：

将多个所述第二手部位置区域进行比对；

将重叠度大于预设定的第二阈值的两个所述第二手部位置区域合并。

5.一种手部关键点检测装置，其特征在于，所述手部关键点检测装置包括：

图像获取单元，用于对一原始图像依次向下采样以获取图像金字塔，所述原始图像为RGB图像；

手部位置区域获取单元，用于基于多个预建立的第一卷积神经网络以及所述图像金字塔获取手部位置区域；所述预建立的第一卷积神经网络包括预建立的第一级神经网络、第二级神经网络以及第三级神经网络；

所述手部位置区域获取单元包括：

概率分布图获取子单元，用于基于预建立的所述第一级神经网络获取所述图像金字塔的第一概率分布图；

手部位置区域选定子单元，用于将基于所述第一概率分布图从所述图像金字塔中筛选出的符合第一预设条件的区域作为第一手部位置区域；

所述概率分布图获取子单元还用于基于预建立的所述第二级神经网络获取每个所述第一手部位置区域的第二概率分布图；

所述手部位置区域选定子单元还用于将基于所述第二概率分布图从每个所述第一手部位置区域中筛选出的符合第二预设条件的区域作为第二手部位置区域；

所述概率分布图获取子单元还用于基于预建立的所述第三级神经网络获取每个所述第二手部位置区域的目标概率分布图；

所述手部位置区域选定子单元还用于将基于所述目标概率分布图从每个所述第二手部位置区域中筛选出的符合第三预设条件的区域作为所述手部位置区域；

手部特征图像获取单元，用于基于预建立的深度学习模型以及所述手部位置区域提取手部特征图像；

位置参数预测单元，用于基于预建立的第二卷积神经网络以及所述手部特征图像预测关键点以及仿射场；

手部关键点位置确定单元，用于对所述关键点以及所述仿射场进行偶匹配以确定手部关键点位置。

6.根据权利要求5所述的手部关键点检测装置，其特征在于，所述位置参数预测单元包括：

关键点预测子单元，用于基于所述预建立的第二卷积神经网络的上分支及所述手部特征图像预测所述关键点；

仿射场预测子单元，用于基于所述预建立的第二卷积神经网络的下分支及所述手部特征图像预测所述仿射场。

7.根据权利要求5所述的手部关键点检测装置，其特征在于，所述手部关键点检测装置还包括：

优化单元，用于基于多个预建立的第三卷积神经网络、多通道特征图、所述关键点以及所述仿射场获取优化后的关键点以及仿射场；

所述手部关键点位置确定单元还用于对所述优化后的关键点以及所述优化后的仿射场进行偶匹配以确定手部关键点位置。

8.根据权利要求5所述的手部关键点检测装置，其特征在于，所述手部位置区域获取单元还包括：

比对子单元，用于将多个所述手部位置区域进行比对；

合并子单元，用于将重叠度大于预设定的阈值的两个所述手部位置区域合并。

Images