CN110619310B - 一种人体骨骼关键点检测方法、装置、设备及介质 - Google Patents

Abstract

本公开关于一种人体骨骼关键点检测方法、装置、设备及介质，用以降低人体骨骼关键点检测的计算量，使其适用于嵌入式手持设备。所述人体骨骼关键点检测方法，包括：获取包含人体的图像数据；对所述图像数据进行至少一次下采样处理，得到用于表征所述图像数据中人体信息的第一特征；将所述第一特征输入到第一沙漏网络中，得到输出的用于表征人体关键点的第二特征；将所述第一特征和所述第二特征串联得到第三特征，将所述第三特征输入到第二沙漏网络中，得到输出的用于表征人体关键点的第四特征；基于所述第四特征，确定所述图像数据中的人体骨骼关键点。

Description

一种人体骨骼关键点检测方法、装置、设备及介质

技术领域

本公开涉及人工智能技术领域，尤其涉及一种人体骨骼关键点检测方法、装置、设备及介质。

背景技术

人体骨骼关键点对于描述人体姿态，预测人体行为至关重要。因此人体骨骼关键点检测是诸多计算机视觉任务的基础，例如动作分类，异常行为检测，以及自动驾驶等等。

人体骨骼关键点检测，主要检测人体的一些关键点，如关节，五官等，通过关键点描述人体骨骼信息。由于人体具有相当的柔性，会出现各种姿态和形状，人体任何一个部位的微小变化都会产生一种新的姿态，同时其关键点的可见性受穿着、姿态、视角等影响非常大，而且还面临着遮挡、光照、雾等环境的影响。

针对上述问题，现有技术方案是基于Stacked沙漏网络算法进行变形或者改进，将深度学习应用于人体姿态分析，同时用卷积图层表达纹理信息和空间信息。在该方案中，沙漏网络是本方案的核心部件，由Residual模块组成，其上下两个半路都包含若干Residual模块，逐步提取更深层次特征。具体来说，该方案一般使用的是四阶沙漏网络，每次降采样之前，分出上半路保留原尺度信息，对下半路进行先降采样再升采样处理，且每次下半路升采样之后，和上半路原尺度的数据相加。其中，两次降采样之间，使用三个Residual模块提取特征，两次相加之间，使用一个Residual模块提取特征，降采样使用max pooling，升采样使用最近邻插值。

但是现有技术方案存在明显的问题，每个沙漏网络输入为nx64x64的特征图，计算量过大，无法适用于嵌入式手持设备。

发明内容

本公开提供一种人体骨骼关键点检测方法、装置、设备及介质，用以降低人体骨骼关键点检测的计算量，使其适用于嵌入式手持设备。

根据本公开实施例的第一方面，提供了一种人体骨骼关键点检测方法，包括：

获取包含人体的图像数据；

对图像数据进行至少一次下采样处理，得到用于表征图像数据中人体信息的第一特征；

将第一特征输入到第一沙漏网络中，得到输出的用于表征人体关键点的第二特征；

将第一特征和第二特征串联得到第三特征，将第三特征输入到第二沙漏网络中，得到输出的用于表征人体关键点的第四特征；

基于第四特征，确定图像数据中的人体骨骼关键点；

其中，第一沙漏网络对第一特征进行卷积处理之前，对第一特征进行特征重排列，和/或第二沙漏网络对第三特征进行卷积处理之前，对第三特征进行特征重排列。

本公开实施例提供的人体骨骼关键点检测方法，在确定包含人体的图像数据中人体骨骼关键点过程中，通过在第一沙漏网络对第一特征进行卷积处理之前，对第一特征进行特征重排列，和/或在第二沙漏网络对第三特征进行卷积处理之前，对第三特征进行特征重排列，从而降低了第一沙漏网络对第一特征进行卷积处理的计算量，和/或降低了第二沙漏网络对第三特征进行卷积处理的计算量，进而降低了检测人体骨骼关键点的计算量，使得检测人体骨骼关键点能够适用于手持设备。

在一种可能的实施方式中，对第一特征进行特征重排列，包括：

将尺寸为n*P*Q的第一特征重排列为(N2*n)*(P/N)*(Q/N)的特征，其中，n为第一特征的特征数目，P为第一特征的行数，Q为第一特征的列数，N为大于1的自然数。

在一种可能的实施方式中，对第三特征进行特征重排列，包括：

将尺寸为m*S*T的第三特征重排列为(M²*m)*(S/M)*(T/M)的特征，其中，m为第三特征的特征数目，S为第三特征的行数，T为第三特征的列数，M为大于1的自然数。

在一种可能的实施方式中，若第一沙漏网络对第一特征进行卷积处理之前，对第一特征进行特征重排列，第一沙漏网络对第一特征进行卷积处理之后，方法还包括：

对第一沙漏网络输出的第二特征进行上采样处理，上采样处理后的第二特征的特征尺寸与第一特征的特征尺寸相同。

本公开实施例提供的人体骨骼关键点检测方法，若第一沙漏网络对第一特征进行卷积处理之前，对第一特征进行特征重排列，则在第一沙漏网络对第一特征进行卷积处理之后，对第一沙漏网络输出的第二特征进行上采样处理，以使上采样处理后的第二特征的特征尺寸与第一特征的特征尺寸相同。

在一种可能的实施方式中，若第二沙漏网络对第三特征进行卷积处理之前，对第三特征进行特征重排列，第二沙漏网络对第三特征进行卷积处理之后，方法还包括：

对第二沙漏网络输出的第四特征进行上采样处理，上采样处理后的第四特征的特征尺寸与第三特征的特征尺寸相同。

本公开实施例提供的人体骨骼关键点检测方法，若第二沙漏网络对第三特征进行卷积处理之前，对第三特征进行特征重排列，则在第二沙漏网络对第三特征进行卷积处理之后，对第二沙漏网络输出的第四特征进行上采样处理，以使上采样处理后的第四特征的特征尺寸与第三特征的特征尺寸相同。

在一种可能的实施方式中，在第一沙漏网络对第一特征进行卷积处理之前，该方法还包括：

若确定第一特征的特征数目小于第一预设数量，将第一特征的特征数目扩展为第二预设数量，并对扩展特征数目后的第一特征进行卷积处理，第二预设数量大于或者等于第一预设数量。

本公开实施例提供的人体骨骼关键点检测方法，在第一沙漏网络对第一特征进行卷积处理之前，若确定第一特征的特征数目小于第一预设数量，则将第一特征的特征数目扩展为第二预设数量，并对扩展特征数目后的第一特征进行卷积处理，从而避免因第一特征的特征数目较少，影响卷积处理的性能。

在一种可能的实施方式中，在第二沙漏网络对第三特征进行卷积处理之前，该方法还包括：

若确定第三特征的特征数目小于第三预设数量，将第三特征的特征数目扩展为第四预设数量，并对扩展特征数目后的第三特征进行卷积处理，第四预设数量大于或者等于第三预设数量。

本公开实施例提供的人体骨骼关键点检测方法，在第二沙漏网络对第三特征进行卷积处理之前，若确定第三特征的特征数目小于第三预设数量，则将第三特征的特征数目扩展为第四预设数量，并对扩展特征数目后的第三特征进行卷积处理，从而避免因第三特征的特征数目较少，影响卷积处理的性能。

根据本公开实施例第二方面，提供一种人体骨骼关键点检测装置，包括：

获取模块，被配置为获取包含人体的图像数据；

第一处理模块，被配置为执行对图像数据进行至少一次下采样处理，得到用于表征图像数据中人体信息的第一特征；

第二处理模块，被配置为执行将第一特征输入到第一沙漏网络中，得到输出的用于表征人体关键点的第二特征；

第三处理模块，被配置为执行将第一特征和第二特征串联得到第三特征，将第三特征输入到第二沙漏网络中，得到输出的用于表征人体关键点的第四特征；

第四处理模块，被配置为执行基于第四特征，确定图像数据中的人体骨骼关键点；

其中，第一沙漏网络对第一特征进行卷积处理之前，对第一特征进行特征重排列，和/或第二沙漏网络对第三特征进行卷积处理之前，对第三特征进行特征重排列。

在一种可能的实施方式中，第一沙漏网络对第一特征进行特征重排列是将尺寸为n*P*Q的第一特征重排列为(N²*n)*(P/N)*(Q/N)的特征，其中，n为第一特征的特征数目，P为第一特征的行数，Q为第一特征的列数，N为大于1的自然数。

在一种可能的实施方式中，第二沙漏网络对第三特征进行特征重排列是将尺寸为m*S*T的第三特征重排列为(M2*m)*(S/M)*(T/M)的特征，其中，m为第三特征的特征数目，S为第三特征的行数，T为第三特征的列数，M为大于1的自然数。

在一种可能的实施方式中，该装置还包括：

第一上采样模块，被配置为执行若第一沙漏网络对第一特征进行卷积处理之前，对第一特征进行特征重排列，第一沙漏网络对第一特征进行卷积处理之后，对第一沙漏网络输出的第二特征进行上采样处理，上采样处理后的第二特征的特征尺寸与第一特征的特征尺寸相同。

在一种可能的实施方式中，该装置还包括：

第二上采样模块，被配置为执行若第二沙漏网络对第三特征进行卷积处理之前，对第三特征进行特征重排列，第二沙漏网络对第三特征进行卷积处理之后，对第二沙漏网络输出的第四特征进行上采样处理，上采样处理后的第四特征的特征尺寸与第三特征的特征尺寸相同。

在一种可能的实施方式中，该装置还包括：

第一扩展模块，被配置为执行在第一沙漏网络对第一特征进行卷积处理之前，若确定第一特征的特征数目小于第一预设数量，将第一特征的特征数目扩展为第二预设数量，并对扩展特征数目后的第一特征进行卷积处理，第二预设数量大于或者等于第一预设数量。

在一种可能的实施方式中，该装置还包括：

第二扩展模块，被配置为执行在第二沙漏网络对第三特征进行卷积处理之前，若确定第三特征的特征数目小于第三预设数量，将第三特征的特征数目扩展为第四预设数量，并对扩展特征数目后的第三特征进行卷积处理，第四预设数量大于或者等于第三预设数量。

根据本公开实施例第三方面，提供一种人体骨骼关键点检测设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，处理器被配置为执行指令，以实现本公开实施例第一方面任一项的人体骨骼关键点检测方法。

根据本公开实施例第四方面，提供一种存储介质，当存储介质中的指令由人体骨骼关键点检测设备的处理器执行时，使得人体骨骼关键点检测设备能够执行本公开实施例第一方面任一项的人体骨骼关键点检测方法。

根据本公开实施例第五方面，提供一种计算机程序产品，当该计算机程序产品由人体骨骼关键点检测设备的处理器执行时，使得人体骨骼关键点检测设备能够执行本公开实施例第一方面任一项的人体骨骼关键点检测方法。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是本公开实施例提供的一种人体骨骼关键点检测方法的实施框图；

图2是本公开实施例提供的沙漏网络的结构框图；

图3是本公开实施例提供的一种人体骨骼关键点检测方法的示意流程图；

图4是本公开实施例提供的一种人体骨骼关键点检测装置的结构示意图；

图5是本公开实施例提供的一种人体骨骼关键点检测设备的结构示意图；

图6是本公开实施例提供的一种应用人体骨骼关键点检测方法的终端的结构示意图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

有鉴于现有人体骨骼关键点检测技术方案中存在计算量过大，无法适用于嵌入式手持设备的问题，本公开实施例提供了一种人体骨骼关键点检测算法，用以降低人体骨骼关键点检测的计算量，使其适用于嵌入式手持设备。

下面结合附图以及具体实施例，对本公开提供的人体骨骼关键点检测方法、装置、设备及介质进行详细说明。

如图1所示，本公开实施例提供的人体骨骼关键点检测算法,获取包含人体的图像数据之后，先对图像数据进行至少一次下采样处理，得到用于表征图像数据中人体信息的第一特征I1，然后将第一特征I1输入到第一沙漏网络中，得到输出的用于表征人体关键点的第二特征O1，将第一特征I1和第二特征O1串联得到第三特征I2，而后将第三特征I2输入到第二沙漏网络中，得到输出的用于表征人体关键点的第四特征O2，然后基于第四特征O2，确定图像数据中的人体骨骼关键点。

本公开实施例中提到的第一沙漏网络和第二沙漏网络，仅用于区分人体骨骼检测方法中两个处于不同检测位置的沙漏网络，第一沙漏网络和第二沙漏网络的结构相同。具体来说，如图2所示，第一沙漏网络和第二沙漏网络的结构均为二阶结构，其包括两个嵌套的一阶沙漏网络。具体在每一阶沙漏网络中均包括上半路和下半路，上半路保留原尺度信息，对下半路进行先降采样再升采样处理，且每次下半路升采样之后，和上半路原尺度的数据相加。

从图2中示出的沙漏网络的结构可以看出，在上半路和下半路中均需要通过Bottleneck卷积网络对特征进行多次卷积处理，相关技术中通过Bottleneck卷积网络对特征进行卷积处理时，对原特征进行卷积处理，计算量较大。

本公开实施例，在第一沙漏网络通过Bottleneck卷积网络对第一特征进行卷积处理之前，对第一特征进行特征重排列，和/或在第二沙漏网络通过Bottleneck卷积网络对第三特征进行卷积处理之前，对第三特征进行特征重排列，以减少卷积处理的计算量，进而减小整个人体骨骼检测过程的计算量。

具体实施时，对第一特征进行特征重排列，包括：将尺寸为n*P*Q的第一特征重排列为(N2*n)*(P/N)*(Q/N)的特征，其中，n为第一特征的特征数目，P为第一特征的行数，Q为第一特征的列数，N为大于1的自然数。其中，P和Q的取值可以相等，也可以不相等，本公开实施例对此不做限定。

具体实施时，对第三特征进行特征重排列，包括：将尺寸为m*S*T的第三特征重排列为(M2*m)*(S/M)*(T/M)的特征，其中，m为第三特征的特征数目，S为第三特征的行数，T为第三特征的列数，M为大于1的自然数。其中，S和T的取值可以相等，也可以不相等，本公开实施例对此不做限定。

在一个示例中，假设特征的尺寸为3*256*256，相关技术中使用c*3*3的卷积核对特征进行卷积处理，输出3*256*256的特征时，其计算量为c*3*3*3*256*256。

若在卷积处理之前，对特征进行特征重排列，例如，将3*256*256通过特征重排列处理为(4×4)*3*(256/4)*(256/4)，则使用c*3*3的卷积核对特征进行卷积处理，输出3*(256/4)*(256/4)的特征图像时，计算量将变为c*3*3*3*(256/4)*(256/4)，也即计算量变为相关技术中的1/16。

需要说明的是，通过对特征进行特征重排列减少卷积处理的计算量时，为保证卷积处理前后的特征尺寸不变，若第一沙漏网络对第一特征进行卷积处理之前，对第一特征进行特征重排列，则本公开实施例可以在第一沙漏网络对第一特征进行卷积处理之后，对第一沙漏网络输出的第二特征进行上采样处理，上采样处理后的第二特征的特征尺寸与第一特征的特征尺寸相同。

当然，若第二沙漏网络对第三特征进行卷积处理之前，对第三特征进行特征重排列，则本公开实施例可以在第二沙漏网络对第三特征进行卷积处理之后，对第二沙漏网络输出的第四特征进行上采样处理，且上采样处理后的第四特征的特征尺寸与第三特征的特征尺寸相同。

另外，在通过Bottleneck卷积网络对特征进行卷积处理时，为了避免特征的特征数目过少，影响卷积处理的性能，本公开实施例在第一沙漏网络对第一特征进行卷积处理之前，若确定第一特征的特征数目小于第一预设数量，将第一特征的特征数目扩展为第二预设数量，并对扩展特征数目后的第一特征进行卷积处理，第二预设数量大于或者等于第一预设数量。

当然，在第二沙漏网络对第三特征进行卷积处理之前，若确定第三特征的特征数目小于第三预设数量，将第三特征的特征数目扩展为第四预设数量，并对扩展特征数目后的第三特征进行卷积处理，第四预设数量大于或者等于第三预设数量。

其中，第一预设数量、第二预设数量、第三预设数量和第四预设数量均可以根据经验值进行设定，例如，可将第一预设数量设置为8，第二预设数量设置为8或者16，第三预设数量设置为8，第四预设数量设置为8或者16，再例如，第三预设数量设置为16，第四预设数量设置为16或者32，本公开实施例对此不做限定。

基于上述对本公开实施例的介绍，本公开实施例提供一种人体骨骼关键点检测方法，如图3所示，该方法包括：

步骤301，获取包含人体的图像数据；

步骤302，对图像数据进行至少一次下采样处理，得到用于表征图像数据中人体信息的第一特征；

步骤303，将第一特征输入到第一沙漏网络中，得到输出的用于表征人体关键点的第二特征；

步骤304，将第一特征和第二特征串联得到第三特征，将第三特征输入到第二沙漏网络中，得到输出的用于表征人体关键点的第四特征；

步骤305，基于第四特征，确定图像数据中的人体骨骼关键点。

其中，第一沙漏网络对第一特征进行卷积处理之前，对第一特征进行特征重排列，和/或第二沙漏网络对第三特征进行卷积处理之前，对第三特征进行特征重排列。

基于相同的发明构思，本公开实施例还提供一种人体骨骼关键点检测装置。

如图4所示，本公开实施例所提供的人体骨骼关键点检测装置，包括：

获取模块401，被配置为获取包含人体的图像数据；

第一处理模块402，被配置为执行对图像数据进行至少一次下采样处理，得到用于表征图像数据中人体信息的第一特征；

第二处理模块403，被配置为执行将第一特征输入到第一沙漏网络中，得到输出的用于表征人体关键点的第二特征；

第三处理模块404，被配置为执行将第一特征和第二特征串联得到第三特征，将第三特征输入到第二沙漏网络中，得到输出的用于表征人体关键点的第四特征；

第四处理模块405，被配置为执行基于第四特征，确定图像数据中的人体骨骼关键点；

其中，第一沙漏网络对第一特征进行卷积处理之前，对第一特征进行特征重排列，和/或第二沙漏网络对第三特征进行卷积处理之前，对第三特征进行特征重排列。

在一种可能的实施方式中，第一沙漏网络对第一特征进行特征重排列是将尺寸为n*P*Q的第一特征重排列为(N²*n)*(P/N)*(Q/N)的特征，其中，n为第一特征的特征数目，P为第一特征的行数，Q为第一特征的列数，N为大于1的自然数。

在一种可能的实施方式中，第二沙漏网络对第三特征进行特征重排列是将尺寸为m*S*T的第三特征重排列为(M2*m)*(S/M)*(T/M)的特征，其中，m为第三特征的特征数目，S为第三特征的行数，T为第三特征的列数，M为大于1的自然数。

在一种可能的实施方式中，该装置还包括：

第一上采样模块406，被配置为执行若第一沙漏网络对第一特征进行卷积处理之前，对第一特征进行特征重排列，第一沙漏网络对第一特征进行卷积处理之后，对第一沙漏网络输出的第二特征进行上采样处理，上采样处理后的第二特征的特征尺寸与第一特征的特征尺寸相同。

在一种可能的实施方式中，该装置还包括：

第二上采样模块407，被配置为执行若第二沙漏网络对第三特征进行卷积处理之前，对第三特征进行特征重排列，第二沙漏网络对第三特征进行卷积处理之后，对第二沙漏网络输出的第四特征进行上采样处理，上采样处理后的第四特征的特征尺寸与第三特征的特征尺寸相同。

在一种可能的实施方式中，该装置还包括：

第一扩展模块408，被配置为执行在第一沙漏网络对第一特征进行卷积处理之前，若确定第一特征的特征数目小于第一预设数量，将第一特征的特征数目扩展为第二预设数量，并对扩展特征数目后的第一特征进行卷积处理，第二预设数量大于或者等于第一预设数量。

在一种可能的实施方式中，该装置还包括：

第二扩展模块409，被配置为执行在第二沙漏网络对第三特征进行卷积处理之前，若确定第三特征的特征数目小于第三预设数量，将第三特征的特征数目扩展为第四预设数量，并对扩展特征数目后的第三特征进行卷积处理，第四预设数量大于或者等于第三预设数量。

图5是根据一示例性实施例示出的一种人体骨骼关键点检测设备500的框图。如图5所示，本公开实施例提供的人体骨骼关键点检测设备500，包括：

处理器510；

用于存储所述处理器510可执行指令的存储器520；

其中，所述处理器510被配置为执行所述指令，以实现本公开实施例中的人体骨骼关键点检测方法。

在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器520，上述指令可由装置500的处理器510执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在本公开实施例中，如图6所示，本公开实施例给出一种应用人体骨骼关键点检测方法的终端600，包括：射频(Radio Frequency，RF)电路610、电源620、处理器630、存储器640、输入单元650、显示单元660、摄像头670、通信接口680、以及无线保真(WirelessFidelity，Wi-Fi)模块690等部件。本领域技术人员可以理解，图6中示出的终端的结构并不构成对终端的限定，本申请实施例提供的终端可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图6对所述终端600的各个构成部件进行具体的介绍：

所述RF电路610可用于通信或通话过程中，数据的接收和发送。特别地，所述RF电路610在接收到基站的下行数据后，发送给所述处理器630处理；另外，将待发送的上行数据发送给基站。通常，所述RF电路610包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low Noise Amplifier，LNA)、双工器等。

此外，RF电路610还可以通过无线通信与网络和其他终端通信。所述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(Global System of Mobilecommunication，GSM)、通用分组无线服务(General Packet Radio Service，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code DivisionMultiple Access，WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。

Wi-Fi技术属于短距离无线传输技术，所述终端600通过Wi-Fi模块690可以连接接入点(Access Point，AP)，从而实现数据网络的访问。所述Wi-Fi模块690可用于通信过程中，数据的接收和发送。

所述终端600可以通过所述通信接口680与其他终端实现物理连接。可选的，所述通信接口680与所述其他终端的通信接口通过电缆连接，实现所述终端600和其他终端之间的数据传输。

所述终端600需要具有数据传输功能，即所述终端600内部需要包含通信模块。虽然图6示出了所述RF电路610、所述Wi-Fi模块690、和所述通信接口680等通信模块，但是可以理解的是，所述终端600中存在上述部件中的至少一个或者其他用于实现通信的通信模块(如蓝牙模块)，以进行数据传输。

例如，当所述终端600为手机时，所述终端600可以包含所述RF电路610，还可以包含所述Wi-Fi模块690；当所述终端600为计算机时，所述终端600可以包含所述通信接口680，还可以包含所述Wi-Fi模块690；当所述终端600为平板电脑时，所述终端600可以包含所述Wi-Fi模块。

所述存储器640可用于存储软件程序以及模块。所述处理器630通过运行存储在所述存储器640的软件程序以及模块，从而执行所述终端600的各种功能应用以及数据处理，并且当处理器630执行存储器640中的程序代码后，可以实现本公开实施例图3中的部分或全部过程。

可选的，所述存储器640可以主要包括存储程序区和存储数据区。其中，存储程序区可存储操作系统、各种应用程序(比如通信应用)以及人脸识别模块等；存储数据区可存储根据所述终端的使用所创建的数据(比如各种图片、视频文件等多媒体文件，以及人脸信息模板)等。

此外，所述存储器640可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

所述输入单元650可用于接收用户输入的数字或字符信息，以及产生与所述终端600的用户设置以及功能控制有关的键信号输入。

可选的，输入单元650可包括触控面板651以及其他输入终端652。

其中，所述触控面板651，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在所述触控面板651上或在所述触控面板651附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，所述触控面板651可以包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给所述处理器630，并能接收所述处理器630发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现所述触控面板651。

可选的，所述其他输入终端652可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

所述显示单元660可用于显示由用户输入的信息或提供给用户的信息以及所述终端600的各种菜单。所述显示单元660即为所述终端600的显示系统，用于呈现界面，实现人机交互。

所述显示单元660可以包括显示面板661。可选的，所述显示面板661可以采用液晶显示屏(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-EmittingDiode，OLED)等形式来配置。

进一步的，所述触控面板651可覆盖所述显示面板661，当所述触控面板651检测到在其上或附近的触摸操作后，传送给所述处理器630以确定触摸事件的类型，随后所述处理器630根据触摸事件的类型在所述显示面板661上提供相应的视觉输出。

虽然在图6中，所述触控面板651与所述显示面板661是作为两个独立的部件来实现所述终端600的输入和输入功能，但是在某些实施例中，可以将所述触控面板651与所述显示面板661集成而实现所述终端600的输入和输出功能。

所述处理器630是所述终端600的控制中心，利用各种接口和线路连接各个部件，通过运行或执行存储在所述存储器640内的软件程序和/或模块，以及调用存储在所述存储器640内的数据，执行所述终端600的各种功能和处理数据，从而实现基于所述终端的多种业务。

可选的，所述处理器630可包括一个或多个处理单元。可选的，所述处理器630可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到所述处理器630中。

所述摄像头670，用于实现所述终端600的拍摄功能，拍摄图片或视频。所述摄像头670还可以用于实现终端600的扫描功能，对扫描对象(二维码/条形码)进行扫描。

所述终端600还包括用于给各个部件供电的电源620(比如电池)。可选的，所述电源620可以通过电源管理系统与所述处理器630逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗等功能。

需要说明的是，本公开实施例处理器630可以执行图5中处理器510的功能，存储器640存储处理器610中的内容。

另外，在示例性实施例中，本公开还提供了一种存储介质，当存储介质中的指令由上述人体骨骼关键点检测设备的处理器执行时，使得上述人体骨骼关键点检测设备能够实现本公开实施例中的人体骨骼关键点检测方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (14)

1.一种人体骨骼关键点检测方法，其特征在于，包括：

获取包含人体的图像数据；

对所述图像数据进行至少一次下采样处理，得到用于表征所述图像数据中人体信息的第一特征；

将所述第一特征输入到第一沙漏网络中，得到输出的用于表征人体关键点的第二特征；

将所述第一特征和所述第二特征串联得到第三特征，将所述第三特征输入到第二沙漏网络中，得到输出的用于表征人体关键点的第四特征；

基于所述第四特征，确定所述图像数据中的人体骨骼关键点；

其中，所述第一沙漏网络对所述第一特征进行卷积处理之前，对所述第一特征进行特征重排列，和/或所述第二沙漏网络对所述第三特征进行卷积处理之前，对所述第三特征进行特征重排列；

所述对所述第一特征进行特征重排列，包括：

将尺寸为n*P*Q的第一特征重排列为(N²*n)*(P/N)*(Q/N)的特征，其中，n为第一特征的特征数目，P为第一特征的行数，Q为第一特征的列数，N为大于1的自然数。

2.根据权利要求1所述的方法，其特征在于，所述对所述第三特征进行特征重排列，包括：

将尺寸为m*S*T的第一特征重排列为(M²*m)*(S/M)*(T/M)的特征，其中，m为第三特征的特征数目，S为第三特征的行数，T为第三特征的列数，M为大于1的自然数。

3.根据权利要求1所述的方法，其特征在于，若所述第一沙漏网络对所述第一特征进行卷积处理之前，对所述第一特征进行特征重排列，所述第一沙漏网络对所述第一特征进行卷积处理之后，所述方法还包括：

对所述第一沙漏网络输出的第二特征进行上采样处理，上采样处理后的第二特征的特征尺寸与所述第一特征的特征尺寸相同。

4.根据权利要求1所述的方法，其特征在于，若所述第二沙漏网络对所述第三特征进行卷积处理之前，对所述第三特征进行特征重排列，所述第二沙漏网络对所述第三特征进行卷积处理之后，所述方法还包括：

对所述第二沙漏网络输出的第四特征进行上采样处理，上采样处理后的第四特征的特征尺寸与所述第三特征的特征尺寸相同。

5.根据权利要求1-4中任一项所述的方法，其特征在于，所述第一沙漏网络对所述第一特征进行卷积处理之前，所述方法还包括：

若确定所述第一特征的特征数目小于第一预设数量，将所述第一特征的特征数目扩展为第二预设数量，并对扩展特征数目后的第一特征进行卷积处理，所述第二预设数量大于或者等于所述第一预设数量。

6.根据权利要求1-4中任一项所述的方法，其特征在于，所述第二沙漏网络对所述第三特征进行卷积处理之前，所述方法还包括：

若确定所述第三特征的特征数目小于第三预设数量，将所述第三特征的特征数目扩展为第四预设数量，并对扩展特征数目后的第三特征进行卷积处理，所述第四预设数量大于或者等于所述第三预设数量。

7.一种人体骨骼关键点检测装置，其特征在于，包括：

获取模块，被配置为获取包含人体的图像数据；

第一处理模块，被配置为执行对所述图像数据进行至少一次下采样处理，得到用于表征所述图像数据中人体信息的第一特征；

第二处理模块，被配置为执行将所述第一特征输入到第一沙漏网络中，得到输出的用于表征人体关键点的第二特征；

第三处理模块，被配置为执行将所述第一特征和所述第二特征串联得到第三特征，将所述第三特征输入到第二沙漏网络中，得到输出的用于表征人体关键点的第四特征；

第四处理模块，被配置为执行基于所述第四特征，确定所述图像数据中的人体骨骼关键点；

其中，所述第一沙漏网络对所述第一特征进行卷积处理之前，对所述第一特征进行用于减少所述第一沙漏网络计算量的特征重排列，和/或所述第二沙漏网络对所述第三特征进行卷积处理之前，对所述第三特征进行用于减少所述第二沙漏网络计算量的特征重排列；

所述第一沙漏网络对所述第一特征进行特征重排列是将尺寸为n*P*Q的第一特征重排列为(N²*n)*(P/N)*(Q/N)的特征，其中，n为第一特征的特征数目，P为第一特征的行数，Q为第一特征的列数，N为大于1的自然数。

8.根据权利要求7所述的装置，其特征在于，所述第二沙漏网络对所述第三特征进行特征重排列是将尺寸为m*S*T的第三特征重排列为(M²*m)*(S/M)*(T/M)的特征，其中，m为第三特征的特征数目，S为第三特征的行数，T为第三特征的列数，M为大于1的自然数。

9.根据权利要求7所述的装置，其特征在于，所述装置还包括：

第一上采样模块，被配置为执行若所述第一沙漏网络对所述第一特征进行卷积处理之前，对所述第一特征进行特征重排列，所述第一沙漏网络对所述第一特征进行卷积处理之后，对所述第一沙漏网络输出的第二特征进行上采样处理，上采样处理后的第二特征的特征尺寸与所述第一特征的特征尺寸相同。

10.根据权利要求7所述的装置，其特征在于，所述装置还包括：

第二上采样模块，被配置为执行若所述第二沙漏网络对所述第三特征进行卷积处理之前，对所述第三特征进行特征重排列，所述第二沙漏网络对所述第三特征进行卷积处理之后，对所述第二沙漏网络输出的第四特征进行上采样处理，上采样处理后的第四特征的特征尺寸与所述第三特征的特征尺寸相同。

11.根据权利要求7-10中任一项所述的装置，其特征在于，所述装置还包括：

第一扩展模块，被配置为执行在所述第一沙漏网络对所述第一特征进行卷积处理之前，若确定所述第一特征的特征数目小于第一预设数量，将所述第一特征的特征数目扩展为第二预设数量，并对扩展特征数目后的第一特征进行卷积处理，所述第二预设数量大于或者等于所述第一预设数量。

12.根据权利要求7-10中任一项所述的装置，其特征在于，所述装置还包括：

第二扩展模块，被配置为执行在所述第二沙漏网络对所述第三特征进行卷积处理之前，若确定所述第三特征的特征数目小于第三预设数量，将所述第三特征的特征数目扩展为第四预设数量，并对扩展特征数目后的第三特征进行卷积处理，所述第四预设数量大于或者等于所述第三预设数量。

13.一种人体骨骼关键点检测设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至6中任一项所述的人体骨骼关键点检测方法。

14.一种存储介质，其特征在于，当所述存储介质中的指令由人体骨骼关键点检测设备的处理器执行时，使得人体骨骼关键点检测设备能够执行如权利要求1至6中任一项所述的人体骨骼关键点检测方法。

Images