CN110705365A - 一种人体关键点检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供了一种人体关键点检测方法、装置、电子设备及存储介质，该方法包括：获取待检测图像，其中，所述待检测图像包括人体图像；将所述待检测图像输入到预先训练好的神经网络中，得到所述人体图像的人体上半身稠密关键点对应的热力图，所述人体上半身稠密关键点为：基于人体解剖学定义的人体上半身体表关键点；将所述人体图像中与目标位置对应的像素点，确定为人体上半身关键点，所述目标位置为：所述热力图中所显示的人体上半身稠密关键点的位置。利用本申请所确定的人体关键点来描述人体姿态时，所描述的人体姿态的准确度较高。

Description

一种人体关键点检测方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种人体关键点检测方法、装置、电子设备及存储介质。

背景技术

人体关键点对于描述人体姿态，预测人体行为至关重要。因此，人体关键点的检测是诸多计算机视觉任务的基础，例如动作分类，异常行为检测，以及自动驾驶等等。人体关键点的检测，主要检测人体的一些关键点，如关节、四肢、五官等，通过关键点描述人体姿态。人体具有相当的柔性，会出现各种姿态和形状，人体任何一个部位的微小变化都会产生一种新的姿态。

相关技术中，人体关键点检测结果只标注了人体的重要关节位置，所标注的人体的重要关节位置比较稀疏，因此，在利用相关技术中的人体关键点检测结果来描述人体姿态时，所描述的人体姿态的准确度较低。

发明内容

本公开提供了一种人体关键点检测方法、装置、电子设备及存储介质，以至少解决相关技术中所存在的：利用人体关键点检测结果来描述人体姿态时，所描述的人体姿态的准确度较低的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供了一种人体关键点检测方法，包括：

获取待检测图像，其中，所述待检测图像包括人体图像；

将所述待检测图像输入到预先训练好的神经网络中，得到所述人体图像的人体上半身稠密关键点对应的热力图，所述人体上半身稠密关键点为：基于人体解剖学定义的人体上半身体表关键点；

将所述人体图像中与目标位置对应的像素点，确定为人体上半身关键点，所述目标位置为：所述热力图中所显示的人体上半身稠密关键点的位置；

其中，所述预先训练好的神经网络由主神经网络和子神经网络组成，所述主神经网络用于提取所述待检测图像的高分辨率特征图，所述子神经网络用于提取所述待检测图像的低分辨率特征图，并且，所述主神经网络还用于：将所述高分辨率特征图与所述低分辨率特征图进行融合，并将融合得到的特征图作为所述热力图。

可选的，所述将所述待检测图像输入到预先训练好的神经网络中，得到所述人体图像的人体上半身稠密关键点对应的热力图，包括：

将所述待检测图像输入所述主神经网络，以使所述主神经网络对所述待检测图像进行卷积操作，得到第一高分辨率特征图，并对所述第一高分辨率特征图进行多次下采样操作，得到多个低分辨率特征图；

将所述多个低分辨率特征图分别输入对应的子神经网络，以使所述子神经网络对输入的所述多个低分辨率特征图进行融合操作、卷积操作，以及多次下采样操作和/或上采样操作，得到多个第二高分辨率特征图；

将所述多个第二高分辨率特征图输入到所述主神经网络，以使所述主神经网络对所述第一高分辨率特征图和所述多个第二高分辨率特征图进行融合操作及卷积操作，得到目标特征图，并将所述目标特征图确定为所述人体图像的人体上半身稠密关键点对应的热力图。

可选的，所述主神经网络在对所述待检测图像进行卷积操作，得到第一高分辨率特征图，并对所述第一高分辨率特征图进行多次下采样操作，得到多个低分辨率特征图之前，还包括：

所述主神经网络对所述待检测图像进行预处理，得到预设大小的高分辨率图像，其中，所述高分辨率图像的分辨率小于所述待检测图像的分辨率。

可选的，所述预先训练好的神经网络还包括：denseblock模块和senet模块；

所述主神经网络在对所述待检测图像进行卷积操作，得到第一高分辨率特征图，并对所述第一高分辨率特征图进行多次下采样操作，得到多个低分辨率特征图之前，还包括：

将所述待检测图像输入到所述denseblock模块和所述senet模块中，以使所述主神经网络、所述denseblock模块和所述senet模块对所述待检测图像进行预处理，得到预设大小的高分辨率图像，所述denseblock模块和所述senet模块用于使得所述高分辨率图像保留所述待检测图像的图像特征。

可选的，所述卷积操作为depthwise卷积操作。

可选的，所述主神经网络对待检测图像进行卷积操作，包括：

对于待检测图像的每一第一通道，利用所述主神经网络中，与所述第一通道对应的第一卷积核进行卷积操作，其中，不同的第一通道对应的第一卷积核不同。

可选的，所述子神经网络对输入的所述低分辨率特征图进行卷积操作包括：

对于输入的所述低分辨率特征图的每一第二通道，利用所述子神经网络中，与所述第二通道对应的第二卷积核进行卷积操作，其中，不同的第二通道对应的第二卷积核不同。

根据本公开实施例的第二方面，本发明实施例提供了一种人体关键点检测装置，包括：

图像获取模块，用于获取待检测图像，其中，所述待检测图像包括人体图像；

第一图像输入模块，用于将所述待检测图像输入到预先训练好的神经网络中，得到所述人体图像的人体上半身稠密关键点对应的热力图，所述人体上半身稠密关键点为：基于人体解剖学定义的人体上半身体表关键点；

关键点确定模块，用于将所述人体图像中与目标位置对应的像素点，确定为人体上半身关键点，所述目标位置为：所述热力图中所显示的人体上半身稠密关键点的位置；

其中，所述预先训练好的神经网络由主神经网络和子神经网络组成，所述主神经网络用于提取所述待检测图像的高分辨率特征图，所述子神经网络用于提取所述待检测图像的低分辨率特征图，并且，所述主神经网络还用于：将所述高分辨率特征图与所述低分辨率特征图进行融合，并将融合得到的特征图作为所述热力图。

可选的，所述图像输入模块，包括：

第一输入单元，用于将所述待检测图像输入所述主神经网络，以使所述主神经网络对所述待检测图像进行卷积操作，得到第一高分辨率特征图，并对所述第一高分辨率特征图进行多次下采样操作，得到多个低分辨率特征图；

第二输入单元，用于将所述多个低分辨率特征图分别输入对应的子神经网络，以使所述子神经网络对输入的所述多个低分辨率特征图进行融合操作、卷积操作，以及多次下采样操作和/或上采样操作，得到多个第二高分辨率特征图；

第三输入单元，用于将所述多个第二高分辨率特征图输入到所述主神经网络，以使所述主神经网络对所述第一高分辨率特征图和所述多个第二高分辨率特征图进行融合操作及卷积操作，得到目标特征图，并将所述目标特征图确定为所述人体图像的人体上半身稠密关键点对应的热力图。

可选的，所述主神经网络，包括：

图像预处理模块，用于在对所述待检测图像进行卷积操作，得到第一高分辨率特征图，并对所述第一高分辨率特征图进行多次下采样操作，得到多个低分辨率特征图之前，对所述待检测图像进行预处理，得到预设大小的高分辨率图像，其中，所述高分辨率图像的分辨率小于所述待检测图像的分辨率。

可选的，所述预先训练好的神经网络还包括：denseblock模块和senet模块；

所述装置还包括：

第二图像输入模块，用于将所述待检测图像输入到所述denseblock模块和所述senet模块中，以使所述主神经网络、所述denseblock模块和所述senet模块对所述待检测图像进行预处理，得到预设大小的高分辨率图像，所述denseblock模块和所述senet模块用于使得所述高分辨率图像保留所述待检测图像的图像特征。

可选的，所述卷积操作为depthwise卷积操作。

可选的，所述主神经网络还包括：

第一卷积操作模块，用于对于待检测图像的每一第一通道，利用所述主神经网络中，与所述第一通道对应的第一卷积核进行卷积操作，其中，不同的第一通道对应的第一卷积核不同。

可选的，所述子神经网络，包括：

第二卷积操作模块，用于对于输入的所述低分辨率特征图的每一第二通道，利用所述子神经网络中，与所述第二通道对应的第二卷积核进行卷积操作，其中，不同的第二通道对应的第二卷积核不同。

根据本公开实施例的第三方面，本发明实施例提供了一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现第一方面所述的人体关键点检测方法。

根据本公开实施例的第四方面，本发明实施例提供了一种存储介质，当所述存储介质中的指令由终端的处理器执行时，使得所述终端能够执行第一方面所述的人体关键点检测方法。

本公开的实施例提供的技术方案至少带来以下有益效果：电子设备获取待检测图像；将待检测图像输入到预先训练好的神经网络中，得到人体图像的人体半身稠密关键点对应的热力图，并将人体图像中与目标位置对应的像素点，确定为人体上半身关键点，该目标位置为：热力图中所显示的人体上半身稠密关键点的位置。可见，本公开所提供的技术方案，所确定的人体关键点较为密集，且人体半身稠密关键点是人体上半身体表关键点，位置会随着人体的转动发生改变，从而利用本公开所确定的人体关键点来描述人体姿态时，所描述的人体姿态的准确度较高。

附图说明

图1是根据一示例性实施例示出的一种人体关键点检测方法的步骤流程图；

图2是根据一示例性实施例示出的为可见的人体半身稠密关键点的示意图；

图3是根据一示例性实施例示出的为不可见的人体半身稠密关键点的示意图；

图4是根据一示例性实施例示出的一种预先训练好的神经网络的结构示意图；

图5是图1中步骤S12的一种实施方式的步骤流程图；

图6是根据一示例性实施例示出的depthwise卷积操作的示意图；

图7是根据一示例性实施例示出的一种人体关键点检测装置的结构示意图；

图8是根据一示例性实施例示出的一种电子设备的框图；

图9是根据一示例性实施例示出的一种人体关键点检测装置的框图；

图10是根据一示例性实施例示出的另一种人体关键点检测装置的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种人体关键点检测方法的流程图，该人体关键点检测方法用于电子设备，该电子设备可以是智能手机、平板电脑或者服务器等，本公开实施例对该电子设备不做具体限定。

如图1所示，该人体关键点检测方法可以包括以下步骤。

S11，获取待检测图像，其中，待检测图像包括人体图像。

人体关键点的检测是诸多计算机视觉任务的基础。例如，可以利用人体关键点来描述人体姿态，进而分析人体的动作；或者对人的异常行为进行检测等。

在确定人体关键点时，需要获取包括人体图像的待检测图像。该待检测图像可以是作为执行主体的电子设备拍摄的图像，或者，还可以是作为执行主体的电子设备从其他电子设备获取的图像，这都是合理的。并且，待检测图像中包括的人体图像的数量可以是一个，也可以是多个，本发明实施例对此不做具体限定。

S12，将待检测图像输入到预先训练好的神经网络中，得到人体图像的人体上半身稠密关键点对应的热力图。

其中，人体上半身稠密关键点为：基于人体解剖学定义的人体上半身体表关键点。而且，预先训练好的神经网络由一个主神经网络和多个子神经网络组成，主神经网络用于提取待检测图像的高分辨率特征图，子神经网络用于提取待检测图像的低分辨率特征图，并且，主神经网络还用于：将高分辨率特征图与低分辨率特征图进行融合，并将融合得到的特征图作为热力图。

需要的说明是，人体上半身稠密关键点比较密集，且均为体表关键点，因此，人体上半身稠密关键点的位置可以随着人体的转动而发生改变，可见，利用本公开所确定的人体关键点来描述人体姿态时，所描述的人体姿态的准确度较高。

并且，根据人体上半身稠密关键点的位置，可以将人体上半身稠密关键点分为两类，一类为可见的人体上半身稠密关键点；另一类为不可见的人体上半身稠密关键点。如图2所示，为可见的人体半身稠密关键点。如图3所示，为不可见的人体半身稠密关键点。由图2和图3可以看出，图2和图3一共有0到32个标号，这33个标号所标示的位置为：33个人体上半身稠密关键点的位置。

具体的，标号0为：右耳垂，标号1为：右颈前，标号2为：右侧颈根，标号3为：右肩上侧，标号4为：右肩中侧，标号5为：右腋前，标号6为：右腋后，标号7为：前胸中，标号8为：锁骨中，标号9为：前颈下，标号10为：前颈上，标号11为：左耳垂，标号12为：左颈前，标号13为：左侧颈根，标号14为：左肩上侧，标号15为：左肩中侧，标号16为：左腋前，标号17为：左腋后，标号18为：后胸中，标号19为：后背上，标号20为：后颈下，标号21为：后颈上，标号22为：左肋下，标号23为：右盆上，标号24为：右臀侧，标号25为：裆中心，标号26为：左肋下，标号27为：左盆上，标号28为：左臀侧，标号29为：丹田点，标号30为：后腰椎点，标号31为：左乳头点，标号32为：右乳头点。

在获取到待检测图像之后，可以将待检测图像输入到预先训练好的神经网络中。为了融合不同网络的多尺度特征，预先训练好的神经网络可以包括主神经网络和子神经网络。其中，主神经网络可以用于提取待检测图像的高分辨率特征图；而子神经网络可以用于提取待检测图像的低分辨率特征图。并且，为了在高分辨率特征图中，并行加入低分辨率特征图，主神经网络还可以将高分辨率特征图与低分辨率特征图进行融合。可以理解的是，主神经网络的数量可以为1，而子神经网络的数量可以根据实际需要进行设定，例如，子神经网络的数量可以是1.2.3，...N等。本公开对子神经网络的数量不做具体限定。

如图4所示，为一种预先训练好的神经网络的结构示意图。在该结构示意图中，最上面一行可以为主神经网络。其他三行可以为子神经网络。主神经网络一直用于提取待检测图像的高分辨率特征图；而子神经网络用于提取待检测图像的低分辨率特征图。

需要说明的是，为了方案描述清楚，将在下面实施例对步骤S12的具体实施方式进行详细阐述。

S13，将人体图像中与目标位置对应的像素点，确定为人体上半身关键点。

其中，目标位置为：热力图中所显示的人体上半身稠密关键点的位置。

可以理解的是，热力图中会以高亮等形式将人体上半身稠密关键点显示出来，因此，在得到人体半身稠密关键点对应的热力图之后，可以在人体图像中找到与热力图中，与人体上半身稠密关键点位置对应的点，这些点即为人体上半身关键点。

本公开的实施例提供的技术方案至少带来以下有益效果：电子设备获取待检测图像；将待检测图像输入到预先训练好的神经网络中，得到人体图像的人体半身稠密关键点对应的热力图，并将人体图像中与目标位置对应的像素点，确定为人体上半身关键点，该目标位置为：热力图中所显示的人体上半身稠密关键点的位置。可见，本公开所提供的技术方案，所确定的人体关键点较为密集，且人体半身稠密关键点是人体上半身体表关键点，位置会随着人体的转动发生改变，从而利用本公开所确定的人体关键点来描述人体姿态时，所描述的人体姿态的准确度较高。

下面将对“步骤S12，将待检测图像输入到预先训练好的神经网络中，得到人体图像的人体半身稠密关键点对应的热力图”的具体实施方式进行详细阐述。

在一种实施方式中，如图5所示，步骤S12可以包括如下步骤：

S121，将待检测图像输入主神经网络，以使主神经网络对待检测图像进行卷积操作，得到第一高分辨率特征图，并对第一高分辨率特征图进行多次下采样操作，得到多个低分辨率特征图。

为了降低卷积操作的计算量，在一种实施方式中，主神经网络对待检测图像所执行的卷积操作可以为depthwise卷积操作。此时，主神经网络对待检测图像进行卷积操作，包括：

对于待检测图像的每一第一通道，利用主神经网络中，与第一通道对应的第一卷积核进行卷积操作，其中，不同的第一通道对应的第一卷积核不同。如图6所示。从图6可以看出，待检测图像有三个通道，主神经网络有三个卷积核，每一个通道对应一个卷积核，且每一个通道对应的卷积核不同。

并且，为了提取待检测图像更多通道的特征，作为本发明实施例的一种实现方式，主神经网络在对待检测图像进行卷积操作，得到第一高分辨率特征图，并对第一高分辨率特征图进行多次下采样操作，得到多个低分辨率特征图之前，本发明实施例所提供的人体关键点还可以包括：

主神经网络对待检测图像进行预处理，得到预设大小的高分辨率图像，其中，高分辨率图像的分辨率小于待检测图像的分辨率。

具体的，假设待检测图像的大小为：3x128x128，其中，3为待检测图像的通道数。为了提取更到通道的特征，可以将待检测图像预处理为预设大小的高分辨率图像，该预设大小可以根据实际情况进行设定。例如，可以是nx16x16，其中，n到高分辨率特征图的通道数。

并且，为了加强待检测图像的底层信息之间的传递与交互，在一种实施方式中，预先训练好的神经网络还可以包括：denseblock模块和senet模块；

此时，主神经网络在对待检测图像进行卷积操作，得到第一高分辨率特征图，并对第一高分辨率特征图进行多次下采样操作，得到多个低分辨率特征图之前，还可以包括：

将待检测图像输入到denseblock模块和senet模块中，以使主神经网络、denseblock模块和senet模块对待检测图像进行预处理，得到预设大小的高分辨率图像，denseblock模块和senet模块用于使得高分辨率图像保留待检测图像的图像特征。

具体的，在该实施方式中，通过主神经网络、denseblock模块和senet模块对待检测图像进行预处理，可以加强待检测图像的底层信息的传递和交互，这样，后续步骤中得到的人体半身稠密关键点对应的热力图的准确度更高。其中，底层信息可以为：颜色信息，纹理信息，形状信息等。

S122，将多个低分辨率特征图分别输入对应的子神经网络，以使子神经网络对输入的多个低分辨率特征图进行融合操作、卷积操作，以及多次下采样操作和/或上采样操作，得到多个第二高分辨率特征图。

在一种实施方式中，子神经网络对低分辨率特征图所执行的卷积操作也可以为：depthwise卷积操作，此时，子神经网络对输入的低分辨率特征图进行卷积操作，可以包括：

对于输入的低分辨率特征图的每一第二通道，利用子神经网络中，与第二通道对应的第二卷积核进行卷积操作，其中，不同的第二通道对应的第二卷积核不同。

S123，将多个第二高分辨率特征图输入到主神经网络，以使主神经网络对第一高分辨率特征图和多个第二高分辨率特征图进行融合操作及卷积操作，得到目标特征图，并将目标特征图确定为人体图像的人体上半身稠密关键点对应的热力图。

具体的，每个子神经网络可以输出一个第二高分辨率特征图，那么，多个子神经网络就可以输出多个第二高分辨率特征图。将多个高分辨率特征输入到主神经网络之后，主神经网络可以对第一高分辨率特征图和多个子神经网络进行融合操作以及卷积操作，进而得到目标特征图，目标特征图即为人体上半身稠密关键点对应的热力图。

为了方案描述清楚，下面将以子神经网络的数量为1，子神经网络的数量为2，以及子神经网络数量为3为例，依次对“S12,，将待检测图像输入到预先训练好的神经网络中，得到人体图像的人体上半身稠密关键点对应的热力图”的具体实施方式，进行详细阐述。

在一种实施方式中，当子神经网络的数量为1时，“将待检测图像输入到预先训练好的神经网络中，得到人体图像的人体上半身稠密关键点对应的热力图”的具体实施方式，可以分为如下步骤，分别为：步骤a1至步骤a3。

步骤a1，将待检测图像输入主神经网络中。主神经网络可以对对高分辨率图像进行卷积操作，得到第一高分辨率特征图；并对第一高分辨率特征图进行下采样操作，得到低分辨率特征图。

步骤a2，将低分辨率特征图输入子神经网络中。子神经网络对低分辨率特征图进行卷积操作，并对卷积操作后的低分辨率特征图进行上采样操作，得到第二高分辨率特征图；

步骤a3，将第一高分辨率特征图和第二高分辨率特征图输入到主神经网络中，主神经网络对第一高分辨率特征图和第二高分辨率特征图进行融合操作以及卷积操作，得到目标特征图，该目标特征图即为人体图像的人体上半身稠密关键点对应的热力图。

在另一种实施方式中，当子神经网络的数量为2时，“将待检测图像输入到预先训练好的神经网络中，得到人体图像的人体上半身稠密关键点对应的热力图”的具体实施方式，可以分为如下步骤，分别为：步骤b1至步骤b6。

步骤b1，将待检测图像输入主神经网络中。主神经网络可以对待检测图像进行卷积操作，得到第一高分辨率特征图；并对第一高分辨率特征图进行下采样，得到第一低分辨率特征图。

步骤b2，将第一低分辨率特征图输入第一子神经网络中。第一子神经网络对第一低分辨率特征图进行卷积操作，得到所述待检测图像的第二低分辨率特征图，对第二低分辨率特征图上采样得到，第二高分辨特征图。

步骤b3，将第二高分辨特征图输入到主神经网络，主神经网络对第一高分辨率特征图以及第二高分辨特征图，进行融合操作和卷积操作，得到第三高分辨特征图。

步骤b4，主神经网络对第一高分辨率特征图进行下采样，得到第三低分辨率特征图，子神经网络对第二低分辨率进行下采样，得到第四低分辨率特征，其中，第三低分辨率特征图的分辨率与第四低分辨率特征图的分辨率相同。

步骤b5，将第三低分辨率特征图和第四低分辨率特征均输入到第二子神经网络中，第二子神经网络对第三低分辨率特征图和第四低分辨率特征进行融合操作和卷积操作，得到第五低分辨率特征图，并对第五低分辨率特征图进行上采样操作，得到第四高分辨率特征图。

步骤b6，将第四高分辨率特征图输入主神经网络中，主神经网络对第三高分辨率特征图和第四高分辨率特征图进行融合操作和卷积操作，得到目标特征图，即为人体图像的人体上半身稠密关键点对应的热力图。

在另一种实施方式中，当子神经网络的数量为3时，为了方案描述清楚，将以具体实例对“将待检测图像输入到预先训练好的神经网络中，得到人体图像的人体半身稠密关键点对应的热力图”的具体实施方式进行阐述。此时，预先训练好的神经网络结构示意图可以为图4。

第一步，假设待检测图像输入大小是3x128x128,经过主神经网络对待检测图像进行预处理，得到大小为nx16x16的图像I1；其中，在预处理的过程中，可以加入denseblock模块和senet模块，以加强图像的前期信息(底层信息)之间的传递和融合。

第二步，将I1经过下采样得到2*n*8*8的特征图(I2)。保持两个特征图(I1，I2)分辨率不变，分别对两个特征图(I1，I2)进行4个depthwise卷积block的计算，得到新的特征图O1，O2，将特征图O1与特征图O2的上采样特征图进行融合，得到特征图O1’，将特征图O2与特征图O1的下采样特征图进行融合，得到特征图O2’。

第三步，将特征图O2’经过下采样得到4*n*4*4的特征图O3。保持三个特征图O1’，O2’，O3分辨率不变，分别对三个特征图O1’，O2’，O3进行4个depthwise卷积block的计算，得到新的特征图S1，S2，S3。

将特征图S1与特征图S2的上采样特征图，以及特征图S3的上采样特征图进行融合，得到特征图S1’；

将特征图S2与特征图S1的下采样特征图，以及特征图S3的上采样特征图进行融合，得到特征图S2’；

将特征图S3与特征图S1的下采样特征图，以及特征图S3的下采样特征图进行融合，得到特征图S3’。

第四步，将特征图S3’经过下采样得到8*n*2*2的特征图S4。保持四个特征图S1’，S2’，S3’，S4分辨率不变，分别对特征图S1’，S2’，S3’，S4进行4个depthwise卷积block的计算，得到新的特征图(L1，L2，L3，L4)。

将特征图L1与特征图L2的上采样特征图，特征图L3的上采样特征图，以及特征图L4的上采样特征图，进行融合，得到L1’；

将特征图L2与特征图L1的下采样特征图，特征图L3的上采样特征图，以及特征图L4的上采样特征图，进行融合，得到L2’；

将特征图L3与特征图L1的下采样特征图，特征图L2的下采样特征图，以及特征图L4的上采样特征图，进行融合，得到L3’；

将特征图L4与特征图L1的下采样特征图，特征图L2的下采样特征图，以及特征图L3的下采样特征图，进行融合，得到L4’。

第五步，由于特征图L1’是将高分辨率特征图和各个低分辨率特征图经上采样得到的高分辨率特征图进行融合得到的，因此，可以将特征图L1’作为输出，得到人体半身稠密关键点对应的热力图。

本公开还提供了一种人体关键点检测装置，如图7所示，包括：

图像获取模块710，用于获取待检测图像，其中，所述待检测图像包括人体图像；

第一图像输入模块720，用于将所述待检测图像输入到预先训练好的神经网络中，得到所述人体图像的人体上半身稠密关键点对应的热力图，所述人体上半身稠密关键点为：基于人体解剖学定义的人体上半身体表关键点；

关键点确定模块730，用于将所述人体图像中与目标位置对应的像素点，确定为人体上半身关键点，所述目标位置为：所述热力图中所显示的人体上半身稠密关键点的位置；

其中，所述预先训练好的神经网络由主神经网络和子神经网络组成，所述主神经网络用于提取所述待检测图像的高分辨率特征图，所述子神经网络用于提取所述待检测图像的低分辨率特征图，并且，所述主神经网络还用于：将所述高分辨率特征图与所述低分辨率特征图进行融合，并将融合得到的特征图作为所述热力图。

本公开的实施例提供的技术方案至少带来以下有益效果：电子设备获取待检测图像；将待检测图像输入到预先训练好的神经网络中，得到人体图像的人体半身稠密关键点对应的热力图，并将人体图像中与目标位置对应的像素点，确定为人体上半身关键点，该目标位置为：热力图中所显示的人体上半身稠密关键点的位置。可见，本公开所提供的技术方案，所确定的人体关键点较为密集，且人体半身稠密关键点是人体上半身体表关键点，位置会随着人体的转动发生改变，从而利用本公开所确定的人体关键点来描述人体姿态时，所描述的人体姿态的准确度较高。

可选的，所述图像输入模块，包括：

第一输入单元，用于将所述待检测图像输入所述主神经网络，以使所述主神经网络对所述待检测图像进行卷积操作，得到第一高分辨率特征图，并对所述第一高分辨率特征图进行多次下采样操作，得到多个低分辨率特征图；

第二输入单元，用于将所述多个低分辨率特征图分别输入对应的子神经网络，以使所述子神经网络对输入的所述多个低分辨率特征图进行融合操作、卷积操作，以及多次下采样操作和/或上采样操作，得到多个第二高分辨率特征图；

第三输入单元，用于将所述多个第二高分辨率特征图输入到所述主神经网络，以使所述主神经网络对所述第一高分辨率特征图和所述多个第二高分辨率特征图进行融合操作及卷积操作，得到目标特征图，并将所述目标特征图确定为所述人体图像的人体上半身稠密关键点对应的热力图。

可选的，所述主神经网络，包括：

图像预处理模块，用于在对所述待检测图像进行卷积操作，得到第一高分辨率特征图，并对所述第一高分辨率特征图进行多次下采样操作，得到多个低分辨率特征图之前，对所述待检测图像进行预处理，得到预设大小的高分辨率图像，其中，所述高分辨率图像的分辨率小于所述待检测图像的分辨率。

可选的，所述预先训练好的神经网络还包括：denseblock模块和senet模块；

所述装置还包括：

第二图像输入模块，用于将所述待检测图像输入到所述denseblock模块和所述senet模块中，以使所述主神经网络、所述denseblock模块和所述senet模块对所述待检测图像进行预处理，得到预设大小的高分辨率图像，所述denseblock模块和所述senet模块用于使得所述高分辨率图像保留所述待检测图像的图像特征。

可选的，所述卷积操作为depthwise卷积操作。

可选的，所述主神经网络还包括：

第一卷积操作模块，用于对于待检测图像的每一第一通道，利用所述主神经网络中，与所述第一通道对应的第一卷积核进行卷积操作，其中，不同的第一通道对应的第一卷积核不同。

可选的，所述子神经网络，包括：

第二卷积操作模块，用于对于输入的所述低分辨率特征图的每一第二通道，利用所述子神经网络中，与所述第二通道对应的第二卷积核进行卷积操作，其中，不同的第二通道对应的第二卷积核不同。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图8是根据一示例性实施例示出的一种电子设备框图。参照图8，该电子设备包括：

处理器810；

用于存储所述处理器可执行指令的存储器820；

其中，所述处理器被配置为执行所述指令，以实现本公开所提供的人体关键点检测方法。

本公开的实施例提供的技术方案至少带来以下有益效果：电子设备获取待检测图像；将待检测图像输入到预先训练好的神经网络中，得到人体图像的人体半身稠密关键点对应的热力图，并将人体图像中与目标位置对应的像素点，确定为人体上半身关键点，该目标位置为：热力图中所显示的人体上半身稠密关键点的位置。可见，本公开所提供的技术方案，所确定的人体关键点较为密集，且人体半身稠密关键点是人体上半身体表关键点，位置会随着人体的转动发生改变，从而利用本公开所确定的人体关键点来描述人体姿态时，所描述的人体姿态的准确度较高。

图9是根据一示例性实施例示出的一种用于人体关键点检测的装置900的框图。例如，装置900可以是移动电话，计算机，数字广播电子设备，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图9，装置900可以包括以下一个或多个组件：处理组件902，存储器904，电力组件906，多媒体组件908，音频组件910，输入/输出(I/O)的接口912，传感器组件914，以及通信组件916。

处理组件902通常控制装置900的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件902可以包括一个或多个处理器920来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件902可以包括一个或多个模块，便于处理组件902和其他组件之间的交互。例如，处理组件902可以包括多媒体模块，以方便多媒体组件908和处理组件902之间的交互。

存储器904被配置为存储各种类型的数据以支持在设备900的操作。这些数据的示例包括用于在装置900上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器904可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件906为装置900的各种组件提供电力。电源组件906可以包括电源管理系统，一个或多个电源，及其他与为装置900生成、管理和分配电力相关联的组件。

多媒体组件908包括在所述装置900和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件908包括一个前置摄像头和/或后置摄像头。当设备900处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件910被配置为输出和/或输入音频信号。例如，音频组件910包括一个麦克风(MIC)，当装置900处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器404或经由通信组件916发送。在一些实施例中，音频组件910还包括一个扬声器，用于输出音频信号。

I/O接口912为处理组件902和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件914包括一个或多个传感器，用于为装置900提供各个方面的状态评估。例如，传感器组件914可以检测到设备900的打开/关闭状态，组件的相对定位，例如所述组件为装置900的显示器和小键盘，传感器组件914还可以检测装置900或装置900一个组件的位置改变，用户与装置900接触的存在或不存在，装置900方位或加速/减速和装置900的温度变化。传感器组件914可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件914还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件914还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件916被配置为便于装置900和其他设备之间有线或无线方式的通信。装置900可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件416经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件916还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置900可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器904，上述指令可由装置900的处理器920执行以完成上述方法。可选地，例如，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性非临时性计算机可读存储介质计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本公开的实施例提供的技术方案至少带来以下有益效果：电子设备获取待检测图像；将待检测图像输入到预先训练好的神经网络中，得到人体图像的人体半身稠密关键点对应的热力图，并将人体图像中与目标位置对应的像素点，确定为人体上半身关键点，该目标位置为：热力图中所显示的人体上半身稠密关键点的位置。可见，本公开所提供的技术方案，所确定的人体关键点较为密集，且人体半身稠密关键点是人体上半身体表关键点，位置会随着人体的转动发生改变，从而利用本公开所确定的人体关键点来描述人体姿态时，所描述的人体姿态的准确度较高。

图10是根据一示例性实施例示出的一种用于人体关键点检测的装置1000的框图。例如，装置1000可以被提供为一服务器。参照图10，装置1000包括处理组件1022，其进一步包括一个或多个处理器，以及由存储器1032所代表的存储器资源，用于存储可由处理组件1022的执行的指令，例如应用程序。存储器1032中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1022被配置为执行指令，以执行上述人体关键点检测方法。

装置1000还可以包括一个电源组件1026被配置为执行装置1000的电源管理，一个有线或无线网络接口1050被配置为将装置1000连接到网络，和一个输入输出(I/O)接口1058。装置1000可以操作基于存储在存储器1032的操作系统，例如Windows ServerTM，MacOS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。

本公开的实施例提供的技术方案至少带来以下有益效果：电子设备获取待检测图像；将待检测图像输入到预先训练好的神经网络中，得到人体图像的人体半身稠密关键点对应的热力图，并将人体图像中与目标位置对应的像素点，确定为人体上半身关键点，该目标位置为：热力图中所显示的人体上半身稠密关键点的位置。可见，本公开所提供的技术方案，所确定的人体关键点较为密集，且人体半身稠密关键点是人体上半身体表关键点，位置会随着人体的转动发生改变，从而利用本公开所确定的人体关键点来描述人体姿态时，所描述的人体姿态的准确度较高。

在本公开实施的又一方面，本公开实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机实现本公开所提供的人体关键点检测方法。

本公开的实施例提供的技术方案至少带来以下有益效果：电子设备获取待检测图像；将待检测图像输入到预先训练好的神经网络中，得到人体图像的人体半身稠密关键点对应的热力图，并将人体图像中与目标位置对应的像素点，确定为人体上半身关键点，该目标位置为：热力图中所显示的人体上半身稠密关键点的位置。可见，本公开所提供的技术方案，所确定的人体关键点较为密集，且人体半身稠密关键点是人体上半身体表关键点，位置会随着人体的转动发生改变，从而利用本公开所确定的人体关键点来描述人体姿态时，所描述的人体姿态的准确度较高。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种人体关键点检测方法，其特征在于，包括：

获取待检测图像，其中，所述待检测图像包括人体图像；

将所述待检测图像输入到预先训练好的神经网络中，得到所述人体图像的人体上半身稠密关键点对应的热力图，所述人体上半身稠密关键点为：基于人体解剖学定义的人体上半身体表关键点；

将所述人体图像中与目标位置对应的像素点，确定为人体上半身关键点，所述目标位置为：所述热力图中所显示的人体上半身稠密关键点的位置；

其中，所述预先训练好的神经网络由主神经网络和子神经网络组成，所述主神经网络用于提取所述待检测图像的高分辨率特征图，所述子神经网络用于提取所述待检测图像的低分辨率特征图，并且，所述主神经网络还用于：将所述高分辨率特征图与所述低分辨率特征图进行融合，并将融合得到的特征图作为所述热力图。

2.根据权利要求1所述的方法，其特征在于，所述将所述待检测图像输入到预先训练好的神经网络中，得到所述人体图像的人体上半身稠密关键点对应的热力图，包括：

将所述待检测图像输入所述主神经网络，以使所述主神经网络对所述待检测图像进行卷积操作，得到第一高分辨率特征图，并对所述第一高分辨率特征图进行多次下采样操作，得到多个低分辨率特征图；

将所述多个低分辨率特征图分别输入对应的子神经网络，以使所述子神经网络对输入的所述多个低分辨率特征图进行融合操作、卷积操作，以及多次下采样操作和/或上采样操作，得到多个第二高分辨率特征图；

将所述多个第二高分辨率特征图输入到所述主神经网络，以使所述主神经网络对所述第一高分辨率特征图和所述多个第二高分辨率特征图进行融合操作及卷积操作，得到目标特征图，并将所述目标特征图确定为所述人体图像的人体上半身稠密关键点对应的热力图。

3.根据权利要求2所述的方法，其特征在于，所述主神经网络在对所述待检测图像进行卷积操作，得到第一高分辨率特征图，并对所述第一高分辨率特征图进行多次下采样操作，得到多个低分辨率特征图之前，还包括：

所述主神经网络对所述待检测图像进行预处理，得到预设大小的高分辨率图像，其中，所述高分辨率图像的分辨率小于所述待检测图像的分辨率。

4.根据权利要求3所述的方法，其特征在于，所述预先训练好的神经网络还包括：denseblock模块和senet模块；

所述主神经网络在对所述待检测图像进行卷积操作，得到第一高分辨率特征图，并对所述第一高分辨率特征图进行多次下采样操作，得到多个低分辨率特征图之前，还包括：

将所述待检测图像输入到所述denseblock模块和所述senet模块中，以使所述主神经网络、所述denseblock模块和所述senet模块对所述待检测图像进行预处理，得到预设大小的高分辨率图像，所述denseblock模块和所述senet模块用于使得所述高分辨率图像保留所述待检测图像的图像特征。

5.根据权利要求2至4任一项所述的方法，其特征在于，所述卷积操作为depthwise卷积操作。

6.根据权利要求5所述的方法，其特征在于，所述主神经网络对待检测图像进行卷积操作，包括：

对于待检测图像的每一第一通道，利用所述主神经网络中，与所述第一通道对应的第一卷积核进行卷积操作，其中，不同的第一通道对应的第一卷积核不同。

7.根据权利要求5所述的方法，其特征在于，所述子神经网络对输入的所述低分辨率特征图进行卷积操作，包括：

对于输入的所述低分辨率特征图的每一第二通道，利用所述子神经网络中，与所述第二通道对应的第二卷积核进行卷积操作，其中，不同的第二通道对应的第二卷积核不同。

8.一种人体关键点检测装置，其特征在于，包括：

图像获取模块，用于获取待检测图像，其中，所述待检测图像包括人体图像；

第一图像输入模块，用于将所述待检测图像输入到预先训练好的神经网络中，得到所述人体图像的人体上半身稠密关键点对应的热力图，所述人体上半身稠密关键点为：基于人体解剖学定义的人体上半身体表关键点；

关键点确定模块，用于将所述人体图像中与目标位置对应的像素点，确定为人体上半身关键点，所述目标位置为：所述热力图中所显示的人体上半身稠密关键点的位置；

其中，所述预先训练好的神经网络由主神经网络和子神经网络组成，所述主神经网络用于提取所述待检测图像的高分辨率特征图，所述子神经网络用于提取所述待检测图像的低分辨率特征图，并且，所述主神经网络还用于：将所述高分辨率特征图与所述低分辨率特征图进行融合，并将融合得到的特征图作为所述热力图。

9.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的人体关键点检测方法。

10.一种存储介质，当所述存储介质中的指令由终端的处理器执行时，使得所述终端能够执行如权利要求1至7中任一项所述的人体关键点检测方法。

Images