CN109711273B - 图像关键点提取方法、装置、可读存储介质及电子设备 - Google Patents

Abstract

本公开涉及一种图像关键点提取方法、装置、可读存储介质及电子设备，所述方法包括：提取目标图像中人体部分在多种分辨率下对应的第一特征图；将各个所述第一特征图分别输入至与该第一特征图的分辨率对应的提取模型，获得各个所述第一特征图分别对应的关键点特征；对所述关键点特征进行解码，获得所述第一特征图对应的图像分割特征，其中，所述图像分割特征用于指示人体部位；根据各个所述第一特征图对应的图像分割特征和所述关键点特征确定所述目标图像中人体部分的关键点。由此，可以有效提高提取的特征的准确性，为提取关键点提供准确的数据基础；可以有效确定出目标图像中人体部分的关键点对应的区域，提高人体关键点提取的效率和准确率。

Description

图像关键点提取方法、装置、可读存储介质及电子设备

技术领域

本公开涉及图像处理领域，具体地，涉及一种图像关键点提取方法、装置、可读存储介质及电子设备。

背景技术

计算机技术的发展推动着图像处理技术的发展。现有技术中，图像处理中最重要的部分便是提取图像的关键点，从而可以基于图像的关键点对其进行后续处理或操作。示例地，在对图像中的人体部分进行姿态估计时，通常是对图像进行特征提取，之后直接根据该提取出的特征确定图像关键点。但是通过上述方案，确定出的图像关键点的误差偏大，影响后续的处理过程。

发明内容

本公开的目的是提供一种准确的图像关键点提取方法、装置、可读存储介质及电子设备。

为了实现上述目的，根据本公开的第一方面，提供一种图像关键点提取方法，所述方法包括：

提取目标图像中人体部分在多种分辨率下对应的第一特征图；

将各个所述第一特征图分别输入至与该第一特征图的分辨率对应的提取模型，获得各个所述第一特征图分别对应的关键点特征；

对所述关键点特征进行解码，获得所述第一特征图对应的图像分割特征，其中，所述图像分割特征用于指示人体部位；

根据各个所述第一特征图对应的图像分割特征和所述关键点特征确定所述目标图像中人体部分的关键点。

可选地，所述根据各个所述第一特征图对应的图像分割特征和所述关键点特征确定所述目标图像中人体部分的关键点，包括：

将各个所述第一特征图对应的所述关键点特征进行融合，确定目标关键点特征；

将所述目标关键点特征、各个所述第一特征图对应的所述图像分割特征输入至特征融合模型，获得目标特征，其中所述特征融合模型包含至少一组自注意力网络和空间注意力网络的组合；

对所述目标特征进行解码，获得所述目标图像中人体部分的关键点。

可选地，所述提取目标图像中人体部分在多种分辨率下对应的第一特征图，包括：

提取所述目标图像的人体部分对应的第一图像；

将所述第一图像对应的分辨率调整至预设分辨率，获得第二图像，并根据所述第二图像确定所述目标图像中人体部分在多种分辨率下对应的第一特征图。

可选地，与分辨率对应的提取模型通过如下方式训练：

提取训练图像中人体部分在该分辨率下对应的第二特征图；

将所述第二特征图输入与该分辨率对应的提取模型，获得预测关键点特征；

对所述预测关键点特征进行解码，获得预测图像分割特征；

根据所述预测图像分割特征和所述训练图像在该分辨率下对应的标记图像分割特征，确定与该分辨率对应的提取模型的损失值；

在所述损失值大于预设阈值时，根据所述损失值更新与该分辨率对应的提取模型。

可选地，在更新与该分辨率对应的提取模型后，提取新的训练图像中人体部分在该分辨率下对应的第二特征图，并返回将所述第二特征图输入与该分辨率对应的提取模型，获得预测关键点特征的步骤，直至更新后的所述与该分辨率对应的提取模型的损失值小于或等于所述预设阈值为止。

根据本公开的第二方面，提供一种图像关键点提取装置，所述装置包括：

提取模块，用于提取目标图像中人体部分在多种分辨率下对应的第一特征图；

处理模块，用于将各个所述第一特征图分别输入至与该第一特征图的分辨率对应的提取模型，获得各个所述第一特征图分别对应的关键点特征；

解码模块，用于对所述关键点特征进行解码，获得所述第一特征图对应的图像分割特征，其中，所述图像分割特征用于指示人体部位；

确定模块，用于根据各个所述第一特征图对应的图像分割特征和所述关键点特征确定所述目标图像中人体部分的关键点。

可选地，所述确定模块包括：

确定子模块，用于将各个所述第一特征图对应的所述关键点特征进行融合，确定目标关键点特征；

处理子模块，用于将所述目标关键点特征、各个所述第一特征图对应的所述图像分割特征输入至特征融合模型，获得目标特征，其中所述特征融合模型包含至少一组自注意力网络和空间注意力网络的组合；

解码子模块，用于对所述目标特征进行解码，获得所述目标图像中人体部分的关键点。

可选地，所述提取模块包括：

提取子模块，用于提取所述目标图像的人体部分对应的第一图像；

调整子模块，用于将所述第一图像对应的分辨率调整至预设分辨率，获得第二图像，并根据所述第二图像确定所述目标图像中人体部分在多种分辨率下对应的第一特征图。

可选地，与分辨率对应的提取模型通过如下方式训练：

提取训练图像中人体部分在该分辨率下对应的第二特征图；

将所述第二特征图输入与该分辨率对应的提取模型，获得预测关键点特征；

对所述预测关键点特征进行解码，获得预测图像分割特征；

根据所述预测图像分割特征和所述训练图像在该分辨率下对应的标记图像分割特征，确定与该分辨率对应的提取模型的损失值；

在所述损失值大于预设阈值时，根据所述损失值更新与该分辨率对应的提取模型。

可选地，在更新与该分辨率对应的提取模型后，提取新的训练图像中人体部分在该分辨率下对应的第二特征图，并返回将所述第二特征图输入与该分辨率对应的提取模型，获得预测关键点特征的步骤，直至更新后的所述与该分辨率对应的提取模型的损失值小于或等于所述预设阈值为止。

根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面任一所述方法的步骤。

根据本公开的第四方面，提供一种电子设备，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现上述第一方面任一所述方法的步骤。

在上述技术方案，通过提取目标图像中人体部分在多种分辨率下的第一特征图，并根据各个第一特征图提取其对应的关键点特征，从而可以有效保证提取的关键点特征的完整性和全面性。并且，对关键点特征进行解码从而获得用于指示人体部位的图像分割特征，并根据该图像分割特征和关键点特征确定目标图像中人体部分的关键点。由此，通过上述技术方案，一方面可以有效提高提取的特征的准确性，为提取关键点提供准确的数据基础，另一方面，可以有效确定出目标图像中人体部分的关键点对应的区域，提高人体关键点提取的效率和准确率，提升用户使用体验。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1是根据本公开的一种实施方式提供的图像关键点提取方法的流程图；

图2是根据各个第一特征图对应的图像分割特征和关键点特征确定目标图像中人体部分的关键点的一种示例性实现方式的流程图；

图3是根据本公开的一种实施方式提供的图像关键点提取装置的框图；

图4是根据本公开的一种实施方式提供的图像关键点提取装置的确定模块的框图；

图5是根据一示例性实施例示出的一种电子设备的框图；

图6是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。

图1所示，为根据本公开的一种实施方式提供的图像关键点提取方法的流程图，如图1所示，所述方法包括：

在S11中，提取目标图像中人体部分在多种分辨率下对应的第一特征图。

其中，可以根据Resnet网络进行特征提取。在根据Resnet网络进行特征提取时，可以预先设置多种分辨率。示例地，该多种分辨率可以是输入至Resnet网络的图像的分辨率的1/4、1/8、1/16、1/32等对应的分辨率，本公开对此不进行限定。通过Resnet网络进行特征提取为现有技术，在此不再赘述。

在S12中，将各个第一特征图分别输入至与该第一特征图的分辨率对应的提取模型，获得各个第一特征图分别对应的关键点特征。

其中，不同的分辨率的特征图所包含的目标图像的特征不同，例如，高分辨率的特征图所包含的特征语义信息比较少，但是每个特征的位置比较准确；而低分辨率的特征对应的语义特征比较丰富，但是每个特征的位置比较粗略。因此，在一实施例中，可以预先训练每一类分辨率对应的提取模型，从而在将第一特征图输入至与该第一特征图的分辨率对应的提取模型中时，可以根据该第一特征图获得目标图像中人体部分在该分辨率下的关键点特征。

在另一实施例中，示例地，当多种分辨率分别是目标图像分辨率的1/4、1/8、1/16、1/32等对应的分辨率时，可以通过FPN(feature pyramid networks，特征金字塔网络)实现该4类分辨率对应的模型。其中，FPN的网络的每一层分别实现一类分辨率对应的提取模型，每一层可以独立预测和提取，从而可以通过FPN网络实现对各个分辨率下的第一特征图的关键点特征提取。

在S13中，对关键点特征进行解码，获得第一特征图对应的图像分割特征，其中，所述图像分割特征用于指示人体部位。

示例地，可以通过卷积神经网络对关键点特征进行解码。其中，该卷积神经网络可以预先进行训练，也可以预先设置提取的图像分割特征对应的类型，例如，可以设置针对1/4的分辨率对应的提取模型中提取出的关键点特征、对该关键点特征进行解码时，对该关键点特征中的腿部区域的关键点特征进行高亮，则该卷积神经网络提取的图像分割特征对应的类型为腿部区域，从而确定出第一特征图对应的图像分割特征。其他分辨率对应的关键点特征的解码方式与上文所述类似，在此不再赘述。

在S14中，根据各个第一特征图对应的图像分割特征和关键点特征确定目标图像中人体部分的关键点。

在上述技术方案，通过提取目标图像中人体部分在多种分辨率下的第一特征图，并根据各个第一特征图提取其对应的关键点特征，从而可以有效保证提取的关键点特征的完整性和全面性。并且，对关键点特征进行解码从而获得用于指示人体部位的图像分割特征，并根据该图像分割特征和关键点特征确定目标图像中人体部分的关键点。由此，通过上述技术方案，一方面可以有效提高提取的特征的准确性，为提取关键点提供准确的数据基础，另一方面，可以有效确定出目标图像中人体部分的关键点对应的区域，提高人体关键点提取的效率和准确率，提升用户使用体验。

为了使本领域技术人员更加理解本发明实施例提供的技术方案，下面对上述步骤进行详细的说明。

可选地，在S11中，提取目标图像中人体部分在多种分辨率下对应的第一特征图的一种示例性实现方式如下，可以包括：

提取目标图像的人体部分对应的第一图像，其中，可以通过现有的人体识别提取算法提取出第一图像，示例地，可以通过faster-rcnn算法或者maskrcnn算法对目标图像中的人体图像进行提取。

将所述第一图像对应的分辨率调整至预设分辨率，获得第二图像，并根据所述第二图像确定所述目标图像中人体部分在多种分辨率下对应的第一特征图。

不同的目标图像中人体部分对应的占比可能相同也可能不同，例如，目标图像是同一用户通过连拍获得的，其中人体部分对应的占比一般类似，而对于不同用户拍摄的图像而言，其中人体部分对应的占比一般不同。因此，为了便于对目标图像中人体部分进行统一的处理，在该实施例中，可以在提取出目标图像中的人体部分对应的第一图像之后，将该第一图像的分辨率调整到预设分辨率以获得第二图像。示例地，预设分辨率可以是400*600，当提取出的第一图像的分辨率小于该预设分辨率时，可以通过放大图像的方式使得第一图像的分辨率为400*600；当提取出的第一图像的分辨率大于该预设分辨率时，可以通过缩小图像的方式使得第一图像的分辨率为400*600。其中，对图像进行放大或缩小的方式为现有技术，在此不再赘述。

需要进行说明的是，分辨率对应的提取模型指的是提取第一特征图时所用的分辨率的比例对应的提取模型，即1/4、1/8、1/16、1/32分别对应一个提取模型。示例地，通过对第一图像的分辨率调整获得第二图像，从而基于第二图像确定各个第一特征图时，可以使得不同的目标图像对应的第二图像的分辨率相同，由此，使得输入同一提取模型的各个第一特征图对应的分辨率比例和分辨率都是一致的，有效简化处理流程，提高处理速度，有效提高提取模型提取出的关键点特征的准确度，贴合用户的使用需求，便于用户使用。

可选地，在S14中，根据各个第一特征图对应的图像分割特征和关键点特征确定目标图像中人体部分的关键点的一种示例性实现方式如下，如图2所示，可以包括：

在S21中，将各个第一特征图对应的关键点特征进行融合，确定目标关键点特征。

在一实施例中，当提取模型为分别训练的神经网络时，将各个提取模型提取出的关键点特征通过卷积神经网络进行融合，示例地，可以将卷积神经网络的最后一个特征层对应的特征确定为目标关键点特征。

在另一实施例中，当各个提取模型通过FPN网络实现时，FPN可以在其对应的每一层提取出关键点特征后，对各层对应的关键点特征进行融合。因此，可以直接将FPN网络的输出特征确定为目标关键点特征。

在S22中，将目标关键点特征、各个第一特征图对应的图像分割特征输入至特征融合模型，获得目标特征，其中所述特征融合模型包含至少一组自注意力网络和空间注意力网络的组合。

其中，目标关键点特征用于指示目标图像中人体部分的各个关键点，各个第一特征图对应的图像分割特征用于指示人体部位，对目标关键点特征和各个图像分割特征进行融合时，可以通过特征融合模型对将目标关键点特征和各个图像分割特征进行耦合，从而可以为每个关键点确定其所对应的人体部位，获得目标特征。

在一实施例中，特征融合模型可以包括一组或多组自注意模型和空间注意力模型的组合，在该特征融合模型包括多组自注意模型和空间注意力模型的组合，每一组之间为串联连接。由此，在对目标关键点特征和各个图像分割特征进行融合时，可以自动关注与该目标关键点特征相关的部分以及图像分割特征对应的空间结构特征，从而有效保证目标特征的准确度，从而为确定目标图像中人体部分的关键点提供准确的数据基础。

在S23中，对目标特征进行解码，获得目标图像中人体部分的关键点。

示例地，可以通过解码器进行解码，例如，可以根据实际使用设置解码通道的个数，示例地，解码通道的个数为16。因此，在通过解码器对目标特征进行解码时，一个通道的解码数据对应一个关键点的位置，即通过对目标特征进行解码，可以获得该目标图像中人体部分的16个关键点。

因此，通过上述技术方案，通过将各个第一特征图对应的关键点特征进行融合，可以获得该目标图像中人体部分对应的目标关键点特征。之后通过将该目标关键点特征与各个图像分割特征相融合，可以获得目标关键点特征和图像分割特征之间的对应关系，从而有效保证提起出的目标图像中人体部分的关键点的准确度。

可选地，与分辨率对应的提取模型通过如下方式训练：

提取训练图像中人体部分在该分辨率下对应的第二特征图，其中提取训练图像中人体部分在该分辨率下对应的第二特征图与上文所述提取目标图像中人体部分对应的第一特征图的方式相同，在此不再赘述。

将所述第二特征图输入与该分辨率对应的提取模型，获得预测关键点特征；对所述预测关键点特征进行解码，获得预测图像分割特征。其中，对关键点特征的解码方式已在上文进行详述，在此不再赘述。

根据所述预测图像分割特征和所述训练图像在该分辨率下对应的标记图像分割特征，确定与该分辨率对应的提取模型的损失值。其中，可以预先对训练图像中的人体部分对应的图像分割特征进行标注，即，可以对训练图像中人体的全部或部分部位进行标注，从而获得标记图像分割特征，可以通过比对该标记图像分割特征与预测图像分割特征，确定该提取模型的损失值。示例地，该损失值可以通过预测图像分割特征和对应的标记图像分割特征之间的距离进行确定，本公开对此不进行限定。

在所述损失值大于预设阈值时，根据所述损失值更新与该分辨率对应的提取模型。

其中，在损失值大于预设阈值时，表示预测图像分割特征和对应的标记图像分割特征之间的距离较大，即预测图像分割特征的预测偏差较大。因此，可以根据该损失值更新与该分辨率对应的提取模型。需要进行说明的是，根据损失值的反馈对神经网络模型进行更新的方式为现有技术，在此不再赘述。

因此，通过上述技术方案，通过对训练图像的预测关键点特征进行解码，得到预测图像分割特征，并根据该预测图像分割特征与对应的标记图像分割特征的损失值对提取模型进行更新，一方面可以有效提高提取模型的精确度和使用范围，另一方面，也可以有效保证基于该提取模型输出的关键点特征解码所得的图像分割特征的准确度，为确定人体部分的关键点提供数据支持。

可选地，在更新与该分辨率对应的提取模型后，提取新的训练图像中人体部分在该分辨率下对应的第二特征图，并返回将所述第二特征图输入与该分辨率对应的提取模型，获得预测关键点特征的步骤，直至更新后的所述与该分辨率对应的提取模型的损失值小于或等于所述预设阈值为止。

其中，训练样本中可以有多个训练图像，在该实施例中，可以在训练样本重新选择一个训练图像，重新提取该新的训练图像中人体部分在该分辨率下对应的第二特征图。之后，将该第二特征图输入至该分辨率对应的提取模型，以对该提取模型进行新一轮的训练。其中，后续训练的步骤在上文已经详述，在此不再赘述。

在上述技术方案中，通过循环执行上述训练的步骤，从而实现对提取模型的训练。当更新后的提取模型的损失值小于或等于预设阈值时，表示该提取模型准确率满足训练要求，此时可以结束该提取模型的训练过程。需要进行说明的是，不同分辨率对应的提取模型在训练时，其损失值对应的预设阈值可以相同，也可以不同，本公开对此不进行限定。

因此，通过上述技术方案，可以快速且准确地对各个分辨率对应的提取模型进行训练，从而可以有效保证该提取模型的适用范围和特征提取结果的精准度，提升用户使用体验。

可选地，所述人体部分的关键点为所述人体部分对应的骨骼关键点，在确定出目标图像中的人体部分的骨骼关键点后，可以根据该骨骼关键点对目标图像中的人体部分进行姿态估计。示例地，通过图像分割特征和关键点特征确定目标图像中人体部分的关键点时，可以确定出目标图像中人体部分的关键点对应的人体部位。示例地，确定出的关键点对应的图像分割特征为左臂，则在确定目标图像中人体部分左臂对应的关键点时，可以直接对与左臂的相对应的关键点进行提取，提高人体部分对应的骨骼关键点的预测准确度，提高人体姿态估计的效率，保证对目标图像中人体部分进行姿态估计的准确性。

本公开还提供一种图像关键点提取装置，如图3所示，所述装置10包括：

提取模块100，用于提取目标图像中人体部分在多种分辨率下对应的第一特征图；

处理模块200，用于将各个所述第一特征图分别输入至与该第一特征图的分辨率对应的提取模型，获得各个所述第一特征图分别对应的关键点特征；

解码模块300，用于对所述关键点特征进行解码，获得所述第一特征图对应的图像分割特征，其中，所述图像分割特征用于指示人体部位；

确定模块400，用于根据各个所述第一特征图对应的图像分割特征和所述关键点特征确定所述目标图像中人体部分的关键点。

可选地，如图4所示，所述确定模块400包括：

确定子模块401，用于将各个所述第一特征图对应的所述关键点特征进行融合，确定目标关键点特征；

处理子模块402，用于将所述目标关键点特征、各个所述第一特征图对应的所述图像分割特征输入至特征融合模型，获得目标特征，其中所述特征融合模型包含至少一组自注意力网络和空间注意力网络的组合；

解码子模块403，用于对所述目标特征进行解码，获得所述目标图像中人体部分的关键点。

可选地，所述提取模块100包括：

提取子模块，用于提取所述目标图像的人体部分对应的第一图像；

调整子模块，用于将所述第一图像对应的分辨率调整至预设分辨率，获得第二图像，并根据所述第二图像确定所述目标图像中人体部分在多种分辨率下对应的第一特征图。

可选地，与分辨率对应的提取模型通过如下方式训练：

提取训练图像中人体部分在该分辨率下对应的第二特征图；

将所述第二特征图输入与该分辨率对应的提取模型，获得预测关键点特征；

对所述预测关键点特征进行解码，获得预测图像分割特征；

根据所述预测图像分割特征和所述训练图像在该分辨率下对应的标记图像分割特征，确定与该分辨率对应的提取模型的损失值；

在所述损失值大于预设阈值时，根据所述损失值更新与该分辨率对应的提取模型。

可选地，在更新与该分辨率对应的提取模型后，提取新的训练图像中人体部分在该分辨率下对应的第二特征图，并返回将所述第二特征图输入与该分辨率对应的提取模型，获得预测关键点特征的步骤，直至更新后的所述与该分辨率对应的提取模型的损失值小于或等于所述预设阈值为止。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图5是根据一示例性实施例示出的一种电子设备700的框图。如图5所示，该电子设备700可以包括：处理器701，存储器702。该电子设备700还可以包括多媒体组件703，输入/输出(I/O)接口704，以及通信组件705中的一者或多者。

其中，处理器701用于控制该电子设备700的整体操作，以完成上述的图像关键点提取方法中的全部或部分步骤。存储器702用于存储各种类型的数据以支持在该电子设备700的操作，这些数据例如可以包括用于在该电子设备700上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器702或通过通信组件705发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口704为处理器701和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件705用于该电子设备700与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G、4G或5G，NB-IOT(Narrow Band Internet of Things，窄带物联网)，或者它们中一种或者多种的组合，因此相应的该通信组件705可以包括：Wi-Fi模块，蓝牙模块，NFC模块。

在一示例性实施例中，电子设备700可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的图像关键点提取方法。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的图像关键点提取方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器702，上述程序指令可由电子设备700的处理器701执行以完成上述的图像关键点提取方法。

图6是根据一示例性实施例示出的一种电子设备1900的框图。例如，电子设备1900可以被提供为一服务器。参照图6，电子设备1900包括处理器1922，其数量可以为一个或多个，以及存储器1932，用于存储可由处理器1922执行的计算机程序。存储器1932中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理器1922可以被配置为执行该计算机程序，以执行上述的图像关键点提取方法。

另外，电子设备1900还可以包括电源组件1926和通信组件1950，该电源组件1926可以被配置为执行电子设备1900的电源管理，该通信组件1950可以被配置为实现电子设备1900的通信，例如，有线或无线通信。此外，该电子设备1900还可以包括输入/输出(I/O)接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统，例如WindowsServerTM，Mac OS XTM，UnixTM,LinuxTM等等。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的图像关键点提取方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器1932，上述程序指令可由电子设备1900的处理器1922执行以完成上述的图像关键点提取方法。

以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。

此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (8)

1.一种图像关键点提取方法，其特征在于，所述方法包括：

提取目标图像中人体部分在多种分辨率下对应的第一特征图；

将各个所述第一特征图分别输入至与该第一特征图的分辨率对应的提取模型，获得各个所述第一特征图分别对应的关键点特征；

对所述关键点特征进行解码，获得所述第一特征图对应的图像分割特征，其中，所述图像分割特征用于指示人体部位；

根据各个所述第一特征图对应的图像分割特征和所述关键点特征确定所述目标图像中人体部分的关键点；

所述根据各个所述第一特征图对应的图像分割特征和所述关键点特征确定所述目标图像中人体部分的关键点，包括：

将各个所述第一特征图对应的所述关键点特征进行融合，确定目标关键点特征；

将所述目标关键点特征、各个所述第一特征图对应的所述图像分割特征输入至特征融合模型，获得目标特征，其中，所述特征融合模型包含至少一组自注意力网络和空间注意力网络的组合；

对所述目标特征进行解码，获得所述目标图像中人体部分的关键点。

2.根据权利要求1所述的方法，其特征在于，所述提取目标图像中人体部分在多种分辨率下对应的第一特征图，包括：

提取所述目标图像的人体部分对应的第一图像；

将所述第一图像对应的分辨率调整至预设分辨率，获得第二图像，并根据所述第二图像确定所述目标图像中人体部分在多种分辨率下对应的第一特征图。

3.根据权利要求1所述的方法，其特征在于，与分辨率对应的提取模型通过如下方式训练：

提取训练图像中人体部分在该分辨率下对应的第二特征图；

将所述第二特征图输入与该分辨率对应的提取模型，获得预测关键点特征；

对所述预测关键点特征进行解码，获得预测图像分割特征；

根据所述预测图像分割特征和所述训练图像在该分辨率下对应的标记图像分割特征，确定与该分辨率对应的提取模型的损失值；

在所述损失值大于预设阈值时，根据所述损失值更新与该分辨率对应的提取模型。

4.根据权利要求3所述的方法，其特征在于，在更新与该分辨率对应的提取模型后，提取新的训练图像中人体部分在该分辨率下对应的第二特征图，并返回将所述第二特征图输入与该分辨率对应的提取模型，获得预测关键点特征的步骤，直至更新后的所述与该分辨率对应的提取模型的损失值小于或等于所述预设阈值为止。

5.一种图像关键点提取装置，其特征在于，所述装置包括：

提取模块，用于提取目标图像中人体部分在多种分辨率下对应的第一特征图；

处理模块，用于将各个所述第一特征图分别输入至与该第一特征图的分辨率对应的提取模型，获得各个所述第一特征图分别对应的关键点特征；

解码模块，用于对所述关键点特征进行解码，获得所述第一特征图对应的图像分割特征，其中，所述图像分割特征用于指示人体部位；

确定模块，用于根据各个所述第一特征图对应的图像分割特征和所述关键点特征确定所述目标图像中人体部分的关键点；

所述确定模块包括：

确定子模块，用于将各个所述第一特征图对应的所述关键点特征进行融合，确定目标关键点特征；

处理子模块，用于将所述目标关键点特征、各个所述第一特征图对应的所述图像分割特征输入至特征融合模型，获得目标特征，其中所述特征融合模型包含至少一组自注意力网络和空间注意力网络的组合；

解码子模块，用于对所述目标特征进行解码，获得所述目标图像中人体部分的关键点。

6.根据权利要求5所述的装置，其特征在于，所述提取模块包括：

提取子模块，用于提取所述目标图像的人体部分对应的第一图像；

调整子模块，用于将所述第一图像对应的分辨率调整至预设分辨率，获得第二图像，并根据所述第二图像确定所述目标图像中人体部分在多种分辨率下对应的第一特征图。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-4中任一项所述方法的步骤。

8.一种电子设备，其特征在于，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-4中任一项所述方法的步骤。

Images