CN111783882B - 关键点检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提供了一种关键点检测方法、装置、电子设备及存储介质，所述方法包括：获取待检测图像；基于所述待检测图像，生成图像特征图和多个关键点热图；所述图像特征图用于表征所述待检测图像中各个目标对象之间的相对位置关系；每个所述关键点热图中包含所述待检测图像的一种类别的关键点，不同类别的关键点对应所述目标对象的不同部位；基于所述图像特征图和多个所述关键点热图，生成关键点图模型；所述关键点图模型中包含所述待检测图像中不同类别的关键点的信息以及连接边的信息，每个连接边为两个不同类别的关键点之间的边；基于所述关键点图模型，确定属于同一目标对象的各个关键点。

Description

关键点检测方法、装置、电子设备及存储介质

技术领域

本公开涉及图像检测技术领域，具体而言，涉及一种关键点检测方法、装置、电子设备及存储介质。

背景技术

人体关键点检测为分析视频中人的行为提供了高层信息支持，是实现视频人体动作识别和人机交互的基础。近年来，基于深度神经网络的人体关键点检测方法，因其输入图像简单易获取、检测效果高效准确，成为了研究热点。

一般的，基于深度神经网络的人体关键点检测方法中，关键点的检测和关键点的聚类是两个独立的步骤，即关键点的聚类一般是不可微分的后处理操作。但是，这种方式下，关键点聚类过程的准确度较低，即可能会产生聚类错误，将不同人的关键点作为同一个人的关键点聚类在一起，从而导致检测结果出现错误。

发明内容

有鉴于此，本公开至少提供一种关键点检测方法、装置、电子设备及存储介质。

第一方面，本公开提供了一种关键点检测方法，包括：

获取待检测图像；

基于所述待检测图像，生成图像特征图和多个关键点热图；所述图像特征图用于表征所述待检测图像中各个目标对象之间的相对位置关系；每个所述关键点热图中包含所述待检测图像的一种类别的关键点，不同类别的关键点对应所述目标对象的不同部位；

基于所述图像特征图和多个所述关键点热图，生成关键点图模型；所述关键点图模型中包含所述待检测图像中不同类别的关键点的信息以及连接边的信息，每个连接边为两个不同类别的关键点之间的边；

基于所述关键点图模型，确定属于同一目标对象的各个关键点。

采用上述方法，可以基于生成的图像特征图和多个关键点热图，生成待检测图像对应的关键点图模型，由于关键点图模型中包括图像特征图和关键点热图中的信息，而图像特征图可以表征出待检测图像中不同目标对象之间的相对位置关系，从而使得基于关键点图模型，可以较准确地对不同目标对象的关键点进行区分，以提高关键点聚类的精准度。

一种可能的实施方式中，基于所述关键点图模型，确定属于同一目标对象的各个关键点，包括：

基于所述关键点图模型中各个关键点的信息以及所述连接边的信息，确定所述关键点图模型中存在连接关系的两个关键点之间的相关度；

基于确定的所述相关度，确定属于同一目标对象的各个关键点。

上述实施方式下，可以基于各个关键点的信息以及连接边的信息，确定关键点图模型中存在连接关系的两个关键点之间的相关度，由于该相关度可以表征对应的两个关键点之间属于同一目标对象的概率，故可以通过确定的相关度，实现将属于同一目标对象的各个关键点聚类在一起，得到每个目标对象对应的各个关键点。

一种可能的实施方式中，基于确定的所述相关度，确定属于同一目标对象的各个关键点，包括：

将对应的所述相关度大于设定阈值的各个关键点作为同一目标对象的关键点。

一种可能的实施方式中，基于所述关键点图模型中各个关键点的信息以及所述连接边的信息，确定所述关键点图模型中存在连接关系的两个关键点之间的相关度，包括：

针对每个关键点，基于所述关键点的信息，和所述关键点图模型中与所述关键点存在连接关系的其它关键点的信息，确定所述关键点的融合特征；

基于各个关键点分别对应的融合特征，确定所述关键点图模型中存在连接关系的两个关键点之间的相关度。

上述实施方式下，针对每个关键点，基于该关键点的信息和与该关键点存在连接关系的其它关键点的信息，确定该关键点的融合特征，这样，该关键点的融合特征不仅可以表征该关键点的特征，还可以表征该关键点与其他关键点之间的关联关系，进而基于各个关键点分别对应的融合特征，可以确定出存在连接关系的两个关键点之间的相关度，进而可以基于该相关度，较准确的确定每个目标对象对应的各个关键点。

一种可能的实施方式中，所述关键点的信息包括位置信息、类别信息、以及像素特征信息；

根据以下步骤确定所述关键点图模型中各个关键点的信息：

基于所述关键点热图，确定各个关键点的位置信息；

基于每个所述关键点的位置信息，从所述图像特征图中提取所述关键点的像素特征信息，并基于所述关键点所属关键点热图的类别标签，确定所述关键点对应的类别信息。

一种可能的实施方式中，根据以下步骤生成所述关键点图模型中的各个连接边：

基于各个关键点对应的所述类别信息，将每个关键点和与所述关键点所属的类别不同的其它关键点连接，形成所述关键点图模型中的连接边。

这里，通过基于各个关键点对应的类别信息，将每个关键点和与关键点所属的类别不同的其它关键点连接，形成关键点图模型中的连接边，进而得到了关键点图模型，为后续确定每个目标对象的各个关键点提供了数据支持。

一种可能的实施方式中，根据以下步骤生成所述关键点图模型中的各个连接边：

基于各个关键点对应的所述类别信息、和预设的不同类别之间的匹配关系，将每个关键点和与所述关键点所属类别匹配的目标类别对应的关键点连接，形成所述关键点图模型中的连接边。

在上述实施方式中，可以预设不同类别之间的匹配关系，比如，可以预设头部关键点与颈部关键点匹配，脚部关键点与膝部关键点匹配等，将每个关键点和与关键点所属类别匹配的目标类别对应的关键点连接，使得每个关键点与不匹配的关键点不进行连接，可以减少计算相关度的计算量，进而提高关键点检测的效率。

一种可能的实施方式中，在基于所述关键点图模型，确定属于同一目标对象的各个关键点之后，还包括：

基于每个目标对象对应的各个关键点的信息，确定所述目标对象的行为类型。

一种可能的实施方式中，在基于所述关键点图模型，确定属于同一目标对象的各个关键点之后，还包括：

基于每个目标对象对应的各个关键点的信息，生成针对所述目标对象的特效信息。

以下装置、电子设备等的效果描述参见上述方法的说明，这里不再赘述。

第二方面，本公开提供了一种关键点检测装置，包括：

获取模块，用于获取待检测图像；

第一生成模块，用于基于所述待检测图像，生成图像特征图和多个关键点热图；所述图像特征图用于表征所述待检测图像中各个目标对象之间的相对位置关系；每个所述关键点热图中包含所述待检测图像的一种类别的关键点，不同类别的关键点对应所述目标对象的不同部位；

第二生成模块，用于基于所述图像特征图和多个所述关键点热图，生成关键点图模型；所述关键点图模型中包含所述待检测图像中不同类别的关键点的信息以及连接边的信息，每个连接边为两个不同类别的关键点之间的边；

确定模块，用于基于所述关键点图模型，确定属于同一目标对象的各个关键点。

一种可能的实施方式中，所述确定模块，在基于所述关键点图模型，确定属于同一目标对象的各个关键点，包括：

基于所述关键点图模型中各个关键点的信息以及所述连接边的信息，确定所述关键点图模型中存在连接关系的两个关键点之间的相关度；

基于确定的所述相关度，确定属于同一目标对象的各个关键点。

一种可能的实施方式中，所述确定模块，在基于确定的所述相关度，确定属于同一目标对象的各个关键点时，用于：

将对应的所述相关度大于设定阈值的各个关键点作为同一目标对象的关键点。

一种可能的实施方式中，所述确定模块，在基于所述关键点图模型中各个关键点的信息以及所述连接边的信息，确定所述关键点图模型中存在连接关系的两个关键点之间的相关度时，用于：

针对每个关键点，基于所述关键点的信息，和所述关键点图模型中与所述关键点存在连接关系的其它关键点的信息，确定所述关键点的融合特征；

基于各个关键点分别对应的融合特征，确定所述关键点图模型中存在连接关系的两个关键点之间的相关度。

一种可能的实施方式中，所述关键点的信息包括位置信息、类别信息、以及像素特征信息；

所述第二生成模块，用于根据以下步骤确定所述关键点图模型中各个关键点的信息：

基于所述关键点热图，确定各个关键点的位置信息；

基于每个所述关键点的位置信息，从所述图像特征图中提取所述关键点的像素特征信息，并基于所述关键点所属关键点热图的类别标签，确定所述关键点对应的类别信息。

一种可能的实施方式中，所述第二生成模块，用于根据以下步骤生成所述关键点图模型中的各个连接边：

基于各个关键点对应的所述类别信息，将每个关键点和与所述关键点所属的类别不同的其它关键点连接，形成所述关键点图模型中的连接边。

一种可能的实施方式中，所述第二生成模块，用于根据以下步骤生成所述关键点图模型中的各个连接边：

基于各个关键点对应的所述类别信息、和预设的不同类别之间的匹配关系，将每个关键点和与所述关键点所属类别匹配的目标类别对应的关键点连接，形成所述关键点图模型中的连接边。

一种可能的实施方式中，在基于所述关键点图模型，确定属于同一目标对象的各个关键点之后，还包括：

行为类型确定模块，用于基于每个目标对象对应的各个关键点的信息，确定所述目标对象的行为类型。

一种可能的实施方式中，在基于所述关键点图模型，确定属于同一目标对象的各个关键点之后，还包括：

特效信息生成模块，用于基于每个目标对象对应的各个关键点的信息，生成针对所述目标对象的特效信息。

第三方面，本公开提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述第一方面或任一实施方式所述的关键点检测方法的步骤。

第四方面，本公开提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述第一方面或任一实施方式所述的关键点检测方法的步骤。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种关键点检测方法的流程示意图；

图2示出了本公开实施例所提供的一种关键点图模型的示例图；

图3示出了本公开实施例所提供的一种关键点检测装置的架构示意图；

图4示出了本公开实施例所提供的一种电子设备400的结构示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

一般的，可以使用深度神经网络对图像进行检测，确定图像中包括的目标对象的关键点信息，其中，基于深度神经网络的关键点检测方法中，包括关键点的检测和关键点的聚类。

目前，关键点的检测和关键点的聚类是两个独立的步骤，即关键点的聚类一般是不可微分的后处理操作。但是，使用这种方式时，使得关键点聚类过程的准确度较低，即可能会产生聚类错误，将不同人的关键点作为同一个人的关键点而聚类在一起，从而导致检测结果出现错误。

为了解决上述问题，本公开实施例提供了一种关键点检测方法。

为便于对本公开实施例进行理解，首先对本公开实施例所公开的一种关键点检测方法进行详细介绍。

本公开实施例提供的关键点检测方法的执行主体可以为服务器，该服务器可以为本地服务器，也可以为云端服务器；或者，该方法的执行主体也可以为终端设备，比如，该终端设备可以为手机、平板电脑、AR眼镜等。

参见图1所示，为本公开实施例所提供的一种关键点检测方法的流程示意图，该方法包括S101-S104，其中：

S101，获取待检测图像。

S102，基于待检测图像，生成图像特征图和多个关键点热图；图像特征图用于表征待检测图像中各个目标对象之间的相对位置关系；每个关键点热图中包含待检测图像的一种类别的关键点，不同类别的关键点对应目标对象的不同部位。

S103，基于图像特征图和多个关键点热图，生成关键点图模型；关键点图模型中包含待检测图像中不同类别的关键点的信息以及连接边的信息，每个连接边为两个不同类别的关键点之间的边。

S104，基于关键点图模型，确定属于同一目标对象的各个关键点。

上述方法中，可以基于生成的图像特征图和多个关键点热图，生成待检测图像对应的关键点图模型，由于关键点图模型中包括图像特征图和关键点热图中的信息，而图像特征图可以表征出待检测图像中不同目标对象之间的相对位置关系，从而使得基于关键点图模型，可以较准确地对不同目标对象的关键点进行区分，以提高关键点聚类的精准度。

针对S101以及S102：

待检测图像可以为任一包括目标对象的图像。具体实施时，可以从相连的存储装置中获取待检测图像，也可以为从相连的摄像装置中获取实时采集到的待检测图像。

在具体实施时，可以将获取的待检测图像输入至训练后的关键点检测神经网络中，生成图像特征图和多个关键点热图；并基于图像特征图、多个关键点热图、以及训练后的关键点检测神经网络，确定每个目标对象的各个关键点。

这里，每个关键点热图中包含待检测图像的一种类别的关键点，不同类别的关键点对应目标对象的不同部位。比如，关键点的类别可以为头部、颈部、手部等，进而关键点热图可以为包含头部关键点的图像，或者，关键点热图可以为包含颈部关键点的图像等；或者，关键点的类别可以为设置的第一类别、第二类别等，其中，第一类别关键点可以为拇指上的关键点，第二类别关键点可以为食指上的关键点等，进而关键点热图可以为包含第一类别关键点的图像，或者，关键点热图可以为包含第二类别关键点的图像等。其中，关键点的类别和类别的数量可以根据实际需要进行设置。以及，每个目标对象对应的关键点的数量可以根据实际需要进行设置，比如，每个目标对象对应的关键点的数量可以为17个、105个等。

这里，关键点热图的数量与设置的关键点类别的数量一致，比如，若设置的关键点的类别数量为17个，则基于待检测图像生成的关键点热图的数量也为17个。其中，每种类别的关键点的数量可以为一个或多个。

图像特征图的数量可以为一个，也可以为多个。其中，在图像特征图的数量为一个时，则该图像特征图可以表征待检测图像中各个目标对象的、各种类别的关键点对应的部位之间的相对位置关系。在图像特征图的数量为多个时，图像特征图的数量与关键点热图的数量可以相同，即每张图像特征图可以表征待检测图像中各个目标对象的一种类别的关键点对应的部位之间的相对位置关系。其中，图像特征图的尺寸与关键点热图的尺寸一致。

在具体实施时，可以通过在关键点检测神经网络中设置不同的损失函数，得到图像特征图和多个关键点热图。

针对S103：

这里，可以从多个关键点热图和图像特征图中提取得到每个关键点的信息，将包含信息的每个关键点作为节点、以不同类别的关键点之间的边作为连接边，构成了关键点图模型。

一种可选实施方式中，关键点的信息可以包括位置信息、类别信息、以及像素特征信息。其中，可以根据以下步骤确定关键点图模型中各个关键点的信息：基于关键点热图，确定各个关键点的位置信息；基于每个关键点的位置信息，从图像特征图中提取关键点的像素特征信息，并基于关键点所属关键点热图的类别标签，确定关键点对应的类别信息。

在具体实施时，可以基于关键点热图中每个像素点的像素值，确定各个关键点的位置信息。示例性的，针对每个关键点热图，可以选择像素值为极大值的像素点，确定为一关键点，并将选择的该像素点的位置信息确定为关键点的位置信息。其中，若关键点热图中某一像素点的像素值大于周围像素点的像素值，则认为该像素点的像素值为极大值，该像素点为关键点。

在得到了每个像素点的位置信息之后，可以从图像特征图中提取与该位置信息对应的像素点的像素值，将提取的像素值确定为关键点的像素特征信息。

同时，还可以根据每个关键点所属关键点热图的类别标签，确定关键点对应的类别信息。比如，若关键点热图A的类别标签为头部时，则关键点热图A中包括的各个关键点的类别信息为头部关键点；若关键点热图B的类别标签为颈部时，则关键点热图B中包括的各个关键点的类别信息为颈部关键点。

一种可选实施方式中，可以根据以下两种方式生成关键点图模型中的各个连接边：

方式一、基于各个关键点对应的类别信息，将每个关键点和与关键点所属的类别不同的其它关键点连接，形成关键点图模型中的连接边。

方式二、基于各个关键点对应的类别信息、和预设的不同类别之间的匹配关系，将每个关键点和与关键点所属类别匹配的目标类别对应的关键点连接，形成关键点图模型中的连接边。

方式一中，可以基于每个关键点对应的类别信息，对类别信息相同的关键点不进行连接，对类别信息不同的关键点相连接，形成关键点图模型中的连接边。

这里，通过基于各个关键点对应的类别信息，将每个关键点和与关键点所属的类别不同的其它关键点连接，形成关键点图模型中的连接边，进而得到了关键点图模型，为后续确定每个目标对象的各个关键点提供了数据支持。

方式二中，可以基于人体结构，提前预设不同类别之间的匹配关系，比如，预设的不同类别之间的匹配关系可以为头部类别与颈部类别相匹配，颈部类别点分别与左肩类别、右肩类别、以及头部类别相匹配，脚部类别与膝部类别相匹配等。其中，不同类别之间的匹配关系可以根据实际需要进行设置。

进而针对每个关键点，可以确定与该关键点的类别匹配的目标类别，将该关键点与目标类别对应的关键点连接，形成了关键点图模型中的连接边。

在上述实施方式中，可以预设不同类别之间的匹配关系，比如，可以预设头部关键点与颈部关键点匹配，脚部关键点与膝部关键点匹配等，将每个关键点和与关键点所属类别匹配的目标类别对应的关键点连接，使得每个关键点与不匹配的关键点不进行连接，可以减少计算相关度的计算量，进而提高关键点检测的效率。

参见图2所示的一种关键点图模型的示例图，该图中包括基于方式一生成的关键点图模型21、和基于方式二生成的关键点图模型22。其中，图中包括第一类别的关键点201、第二类别的关键点202、以及第三类别的关键点203，还包括不同关键点之间的连接边204。由图可知，关键点图模型21中，包括不同类别的各个关键点之间的连接边；关键点图模型22中，包括存在匹配关系的不同关键点之间的连接边，由图可知预设的不同类别之间的匹配关系为：第一类别与第二类别匹配，第二类别与第三类别匹配。

针对S104：

这里，可以基于关键点图模型，对关键点图模型中包括的各个关键点进行划分，将属于同一目标对象的多个关键点划分在一起，进而可以得到待检测图像中包括的每个目标对象对应的多个关键点。其中，每个目标对象对应的关键点的数量相同。

一种可选实施方式中，基于关键点图模型，确定属于同一目标对象的各个关键点，可以包括：

A1，基于关键点图模型中各个关键点的信息以及连接边的信息，确定关键点图模型中存在连接关系的两个关键点之间的相关度。

A2，基于确定的相关度，确定属于同一目标对象的各个关键点。

上述实施方式下，可以基于各个关键点的信息以及连接边的信息，确定关键点图模型中存在连接关系的两个关键点之间的相关度，由于该相关度可以表征对应的两个关键点之间属于同一目标对象的概率，故可以通过确定的相关度，实现将属于同一目标对象的各个关键点聚类在一起，得到每个目标对象对应的各个关键点。

在步骤A1中，可以针对关键点图模型中的每一连接边，确定该连接边对应的两个关键点之间的相关度，即可以得到每条连接边对应的相关度。

作为一可选实施方式，基于关键点图模型中各个关键点的信息以及连接边的信息，确定关键点图模型中存在连接关系的两个关键点之间的相关度，包括：

一、针对每个关键点，基于关键点的信息，和关键点图模型中与关键点存在连接关系的其它关键点的信息，确定关键点的融合特征。

二、基于各个关键点分别对应的融合特征，确定关键点图模型中存在连接关系的两个关键点之间的相关度。

确定每个关键点的融合特征时，可以基于该关键点的信息、和关键点图模型中与该关键点存在连接关系的其他关键点的信息，确定关键点的融合特征，其中，其他关键点可以为关键点图模型中与该关键点之间存在连接边的关键点。

这里，可以为关键点图模型中的每个关键点确定对应的融合特征，基于各个关键点分别对应的融合特征，确定关键点图模型中每条连接边对应的两个关键点之间的相关度。

在具体实施时，融合特征可以为每个关键点对应的特征向量，则可以通过计算每条连接边对应的两个关键点的融合特征(特征向量)之间的相似度，将计算得到的相似度确定这两个关键点之间的相关度。

上述实施方式下，针对每个关键点，基于该关键点的信息和与该关键点存在连接关系的其它关键点的信息，确定该关键点的融合特征，这样，该关键点的融合特征不仅可以表征该关键点的特征，还可以表征该关键点与其他关键点之间的关联关系，进而基于各个关键点分别对应的融合特征，可以确定出存在连接关系的两个关键点之间的相关度，进而可以基于该相关度，较准确的确定每个目标对象对应的各个关键点。

在步骤A2中，在确定得到关键点图模型中每条连接边对应的两个关键点的相关度之后，可以基于确定的各个相关度，将各个关键点进行划分，确定属于同一目标对象的各个关键点。

作为一可选实施方式，基于确定的相关度，确定属于同一目标对象的各个关键点，可以包括：将对应的相关度大于设定阈值的各个关键点作为同一目标对象的关键点。

在具体实施时，可以基于设置相关度的阈值、和预设的每种类别的关键点的目标数量，将对应的相关度大于设置的阈值的各个关键点作为同一目标对象的关键点。其中，每个目标对象的关键点中包括多个不同类别的关键点，以及每个类别的关键点的数量预设的目标数量相符。

一种可选实施方式中，在基于关键点图模型，确定属于同一目标对象的各个关键点之后，还可以包括：基于每个目标对象对应的各个关键点的信息，确定目标对象的行为类型。

这里，在得到每个目标对象的各个关键点的信息之后，可以将每个目标对象的各个关键点的信息输入至行为检测神经网络中，确定该目标对象的行为类型，比如，该行为类型可以为跑步、走步、托举双臂等。

一种可选实施方式中，在基于关键点图模型，确定属于同一目标对象的各个关键点之后，还可以包括：基于每个目标对象对应的各个关键点的信息，生成针对目标对象的特效信息。

这里，可以针对目标对象的各个关键点的信息，确定目标对象的目标部位的位置，基于预设的目标部位对应的特效信息，在目标对象的目标部位的位置处生成对应的特效信息。其中，目标部位可以为手臂、头部、手部等。比如，可以针对目标对象的各个关键点的信息，确定目标对象的手臂位置，并基于预设的手臂的特效信息，在目标对象的手臂位置处生成对应的特效信息。

这里，还可以针对每个目标对象对应的各个关键点的信息，确定该目标对象的动作类型，基于预设的动作类型与特效信息之间的映射关系，为该目标对象生成对应的特效信息。比如，若基于目标对象A对应的各个关键点的信息，确定该目标对象的动作类型为比心动作，则可以为该目标对象生成心形的特效信息。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于相同的构思，本公开实施例还提供了一种关键点检测装置，参见图3所示，为本公开实施例提供的一种关键点检测装置的架构示意图，包括获取模块301、第一生成模块302、第二生成模块303、确定模块304、行为类型确定模块305、以及特效信息生成模块306，具体的：

获取模块301，用于获取待检测图像；

第一生成模块302，用于基于所述待检测图像，生成图像特征图和多个关键点热图；所述图像特征图用于表征所述待检测图像中各个目标对象之间的相对位置关系；每个所述关键点热图中包含所述待检测图像的一种类别的关键点，不同类别的关键点对应所述目标对象的不同部位；

第二生成模块303，用于基于所述图像特征图和多个所述关键点热图，生成关键点图模型；所述关键点图模型中包含所述待检测图像中不同类别的关键点的信息以及连接边的信息，每个连接边为两个不同类别的关键点之间的边；

确定模块304，用于基于所述关键点图模型，确定属于同一目标对象的各个关键点。

一种可能的实施方式中，所述确定模块304，在基于所述关键点图模型，确定属于同一目标对象的各个关键点，包括：

基于所述关键点图模型中各个关键点的信息以及所述连接边的信息，确定所述关键点图模型中存在连接关系的两个关键点之间的相关度；

基于确定的所述相关度，确定属于同一目标对象的各个关键点。

一种可能的实施方式中，所述确定模块304，在基于确定的所述相关度，确定属于同一目标对象的各个关键点时，用于：

将对应的所述相关度大于设定阈值的各个关键点作为同一目标对象的关键点。

一种可能的实施方式中，所述确定模块304，在基于所述关键点图模型中各个关键点的信息以及所述连接边的信息，确定所述关键点图模型中存在连接关系的两个关键点之间的相关度时，用于：

针对每个关键点，基于所述关键点的信息，和所述关键点图模型中与所述关键点存在连接关系的其它关键点的信息，确定所述关键点的融合特征；

基于各个关键点分别对应的融合特征，确定所述关键点图模型中存在连接关系的两个关键点之间的相关度。

一种可能的实施方式中，所述关键点的信息包括位置信息、类别信息、以及像素特征信息；

所述第二生成模块303，用于根据以下步骤确定所述关键点图模型中各个关键点的信息：

基于所述关键点热图，确定各个关键点的位置信息；

基于每个所述关键点的位置信息，从所述图像特征图中提取所述关键点的像素特征信息，并基于所述关键点所属关键点热图的类别标签，确定所述关键点对应的类别信息。

一种可能的实施方式中，所述第二生成模块303，用于根据以下步骤生成所述关键点图模型中的各个连接边：

基于各个关键点对应的所述类别信息，将每个关键点和与所述关键点所属的类别不同的其它关键点连接，形成所述关键点图模型中的连接边。

一种可能的实施方式中，所述第二生成模块303，用于根据以下步骤生成所述关键点图模型中的各个连接边：

基于各个关键点对应的所述类别信息、和预设的不同类别之间的匹配关系，将每个关键点和与所述关键点所属类别匹配的目标类别对应的关键点连接，形成所述关键点图模型中的连接边。

一种可能的实施方式中，在基于所述关键点图模型，确定属于同一目标对象的各个关键点之后，还包括：

行为类型确定模块305，用于基于每个目标对象对应的各个关键点的信息，确定所述目标对象的行为类型。

一种可能的实施方式中，在基于所述关键点图模型，确定属于同一目标对象的各个关键点之后，还包括：

特效信息生成模块306，用于基于每个目标对象对应的各个关键点的信息，生成针对所述目标对象的特效信息。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模板可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

基于同一技术构思，本公开实施例还提供了一种电子设备。参照图4所示，为本公开实施例提供的电子设备的结构示意图，包括处理器401、存储器402、和总线403。其中，存储器402用于存储执行指令，包括内存4021和外部存储器4022；这里的内存4021也称内存储器，用于暂时存放处理器401中的运算数据，以及与硬盘等外部存储器4022交换的数据，处理器401通过内存4021与外部存储器4022进行数据交换，当电子设备400运行时，处理器401与存储器402之间通过总线403通信，使得处理器401在执行以下指令：

获取待检测图像；

基于所述待检测图像，生成图像特征图和多个关键点热图；所述图像特征图用于表征所述待检测图像中各个目标对象之间的相对位置关系；每个所述关键点热图中包含所述待检测图像的一种类别的关键点，不同类别的关键点对应所述目标对象的不同部位；

基于所述图像特征图和多个所述关键点热图，生成关键点图模型；所述关键点图模型中包含所述待检测图像中不同类别的关键点的信息以及连接边的信息，每个连接边为两个不同类别的关键点之间的边；

基于所述关键点图模型，确定属于同一目标对象的各个关键点。

此外，本公开实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述方法实施例中所述的关键点检测方法的步骤。

本公开实施例所提供的关键点检测方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的关键点检测方法的步骤，具体可参见上述方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应所述理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者所述技术方案的部分可以以软件产品的形式体现出来，所述计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种关键点检测方法，其特征在于，包括：

获取待检测图像；

基于所述待检测图像，生成图像特征图和多个关键点热图；所述图像特征图用于表征所述待检测图像中各个目标对象之间的相对位置关系；每个所述关键点热图中包含所述待检测图像的一种类别的关键点，不同类别的关键点对应所述目标对象的不同部位；

基于所述图像特征图和多个所述关键点热图，生成关键点图模型；所述关键点图模型中包含所述待检测图像中不同类别的关键点的信息以及连接边的信息，每个连接边为两个不同类别的关键点之间的边；

基于所述关键点图模型，确定属于同一目标对象的各个关键点。

2.根据权利要求1所述的方法，其特征在于，基于所述关键点图模型，确定属于同一目标对象的各个关键点，包括：

基于所述关键点图模型中各个关键点的信息以及所述连接边的信息，确定所述关键点图模型中存在连接关系的两个关键点之间的相关度；

基于确定的所述相关度，确定属于同一目标对象的各个关键点。

3.根据权利要求2所述的方法，其特征在于，基于确定的所述相关度，确定属于同一目标对象的各个关键点，包括：

将对应的所述相关度大于设定阈值的各个关键点作为同一目标对象的关键点。

4.根据权利要求2或3所述的方法，其特征在于，基于所述关键点图模型中各个关键点的信息以及所述连接边的信息，确定所述关键点图模型中存在连接关系的两个关键点之间的相关度，包括：

针对每个关键点，基于所述关键点的信息，和所述关键点图模型中与所述关键点存在连接关系的其它关键点的信息，确定所述关键点的融合特征；

基于各个关键点分别对应的融合特征，确定所述关键点图模型中存在连接关系的两个关键点之间的相关度。

5.根据权利要求1～4任一所述的方法，其特征在于，所述关键点的信息包括位置信息、类别信息、以及像素特征信息；

根据以下步骤确定所述关键点图模型中各个关键点的信息：

基于所述关键点热图，确定各个关键点的位置信息；

基于每个所述关键点的位置信息，从所述图像特征图中提取所述关键点的像素特征信息，并基于所述关键点所属关键点热图的类别标签，确定所述关键点对应的类别信息。

6.根据权利要求5所述的方法，其特征在于，根据以下步骤生成所述关键点图模型中的各个连接边：

基于各个关键点对应的所述类别信息，将每个关键点和与所述关键点所属的类别不同的其它关键点连接，形成所述关键点图模型中的连接边。

7.根据权利要求5所述的方法，其特征在于，根据以下步骤生成所述关键点图模型中的各个连接边：

基于各个关键点对应的所述类别信息、和预设的不同类别之间的匹配关系，将每个关键点和与所述关键点所属类别匹配的目标类别对应的关键点连接，形成所述关键点图模型中的连接边。

8.根据权利要求1～7任一所述的方法，其特征在于，在基于所述关键点图模型，确定属于同一目标对象的各个关键点之后，还包括：

基于每个目标对象对应的各个关键点的信息，确定所述目标对象的行为类型。

9.根据权利要求1～7任一所述的方法，其特征在于，在基于所述关键点图模型，确定属于同一目标对象的各个关键点之后，还包括：

基于每个目标对象对应的各个关键点的信息，生成针对所述目标对象的特效信息。

10.一种关键点检测装置，其特征在于，包括：

获取模块，用于获取待检测图像；

第一生成模块，用于基于所述待检测图像，生成图像特征图和多个关键点热图；所述图像特征图用于表征所述待检测图像中各个目标对象之间的相对位置关系；每个所述关键点热图中包含所述待检测图像的一种类别的关键点，不同类别的关键点对应所述目标对象的不同部位；

第二生成模块，用于基于所述图像特征图和多个所述关键点热图，生成关键点图模型；所述关键点图模型中包含所述待检测图像中不同类别的关键点的信息以及连接边的信息，每个连接边为两个不同类别的关键点之间的边；

确定模块，用于基于所述关键点图模型，确定属于同一目标对象的各个关键点。

11.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至9任一所述的关键点检测方法的步骤。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至9任一所述的关键点检测方法的步骤。

Images