CN109934165A - 一种关节点检测方法、装置、存储介质及电子设备 - Google Patents

Abstract

本发明公开了一种关节点检测方法、装置、存储介质及电子设备。其中，关节点检测方法包括：获取待处理图像中的人体图像；利用生成对抗网络模型的生成器生成人体图像的检测关节点热图；根据人体图像的检测关节点热图，确定待处理图像中的关节点位置。本发明实施例提供的技术方案实现了高精度的关节点检测。

Description

一种关节点检测方法、装置、存储介质及电子设备

技术领域

本发明实施例涉及关节点检测领域，尤其涉及一种关节点检测方法、装置、存储介质及电子设备。

背景技术

人体姿态估计技术在业界已有一定应用，例如Kinect游戏机中人体关节点的检测与识别。总体来说，该技术是较新的技术，有很大的潜在应用市场，如机器人、增强现实应用、虚拟现实应用、体育教育行业等。

现有的人体关节点检测方法是采用卷积神经网络建立关节点检测模型，利用关节点检测模型生成各个关节点的关节点热图，热图中每个位置的值代表该关节点出现在该位置的概率，关节点热图中最大值所处的位置坐标即为检测到的关节点位置。但是，现有的人体关节点检测方法在训练关节点检测模型时采用梯度下降法，需要代价函数可导，而获得关节点热图中最大值所处的位置坐标的函数不可导，因此，现有的人体关节点检测方法所采用的代价函数为关节点检测模型生成的关节点热图与真实关节点热图对应坐标位置的值的差值。该代价函数无法体现关节点检测模型生成的关节点热图中关节点位置与真实关节点位置之间的位置远近关系，使得关节点检测的精度不高。

发明内容

本发明提供一种关节点检测方法、装置、存储介质及电子设备，以实现高精度的关节点检测。

第一方面，本发明实施例提供了一种关节点检测方法，包括：

获取待处理图像中的人体图像；

利用生成对抗网络模型的生成器生成所述人体图像的检测关节点热图；

根据所述人体图像的检测关节点热图，确定所述待处理图像中的关节点位置。

可选的，利用生成对抗网络模型的生成器生成所述人体图像的检测关节点热图之前，还包括：

通过如下方式训练所述生成对抗网络模型：

将样本人体图像输入至生成对抗网络模型的生成器；

将生成器生成的检测关节点热图输入生成对抗网络模型的判别器，以对所述生成器和所述判别器进行训练。

可选的，所述生成器的输入参数包括样本人体图像以及目标关节点热图；

所述生成器的输出结果为检测关节点热图；

所述判别器的输入参数包括第一部分和第二部分；

所述第一部分为目标关节点热图；

所述第二部分为生成器输出的检测关节点热图或目标关节点热图；

所述判别器的输出结果包括所述第二部分与所述第一部分的相似度。

可选的，所述生成器和所述判别器交替进行训练；

所述判别器的训练次数大于或等于所述生成器的训练次数。

可选的，在获取待处理图像中的人体图像之前还包括：

在所述待处理图像中定位人体位置；

所述根据所述人体图像的检测关节点热图，确定所述待处理图像中的关节点位置包括：

根据所述人体图像的检测关节点热图确定关节点在所述检测关节点热图中的坐标；

根据所述人体位置对关节点在所述检测关节点热图中的坐标进行坐标转换，获得关节点在所述待处理图像中的坐标。

第二方面，本发明实施例还提供了一种关节点检测装置，包括：

人体图像获取模块，用于获取待处理图像中的人体图像；

检测关节点热图生成模块，用于利用生成对抗网络模型的生成器生成所述人体图像的检测关节点热图；

关节点位置获取模块，用于根据所述人体图像的检测关节点热图，确定所述待处理图像中的关节点位置。

可选的，本发明实施例提供的关节点检测装置还包括：

人体定位模块，用于在所述待处理图像中定位人体位置；

所述关节点位置获取模块包括：

关节点坐标计算单元，用于根据所述人体图像的检测关节点热图确定关节点在所述检测关节点热图中的坐标；

关节点坐标转换单元，用于根据所述人体位置对关节点在所述检测关节点热图中的坐标进行坐标转换，获得关节点在所述待处理图像中的坐标。

可选的，所述关节点检测装置还包括：

生成对抗网络模型训练模块，用于通过如下方式训练所述生成对抗网络模型：

将样本人体图像输入至生成对抗网络模型的生成器，并将生成器生成的检测关节点热图输入生成对抗网络模型的判别器，以对所述生成器和所述判别器进行训练。

第三方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的任一关节点检测方法。

第四方面，本发明实施例还提供了一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的任一关节点检测方法。

本发明实施例通过获取待处理图像中的人体图像，利用生成对抗网络模型的生成器生成所述人体图像的检测关节点热图，根据所述人体图像的检测关节点热图，来确定所述待处理图像中的关节点位置，由于生成器在生成对抗网络模型中训练时是与判别器之间进行相互对抗，避免了现有技术中的关节点检测模型独立训练时所采用的代价函数无法体现检测的关节点位置与真实关节点位置之间的远近关系的问题，从而提高了关节点检测的精度。

附图说明

图1为本发明实施例提供的一种关节点检测方法的流程示意图；

图2为本发明实施例提供的另一种关节点检测方法的流程示意图；

图3为本发明实施例提供的又一种关节点检测方法的流程示意图；

图4为本发明实施例提供的一种关节点检测装置的结构示意图；

图5为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

目前，在人体关节点检测领域，主要采用两种方法来进行人体关节点的检测，一种是采用传统的机器视觉方法，另一种是采用卷积神经网络方法。传统的机器视觉方法在人体关节点检测时，需要人工设计图像特征，这些人工设计的特征无法自适应复杂多变的光线、颜色、纹理等环境条件，检测的准确性较低。卷积神经网络方法是采用卷积神经网络建立关节点检测模型，与传统的机器视觉方法相比，不需要人工设计图像特征，而是由卷积神经网络自己学习得到图像特征，使得该方法能够应对复杂多变的光线、颜色、纹理等环境条件。利用卷积神经网络方法进行人体关节点检测时，关节点检测模型生成各个关节的关节点热图，热图中每个位置的值代表该关节点出现在该位置的概率，关节点热图中最大值所处的位置坐标即为检测到的关节点位置。但是，现有的人体关节点检测方法在训练关节点检测模型时采用梯度下降法，需要代价函数可导，而获得关节点热图中最大值所处的位置坐标的函数不可导，因此，现有的人体关节点检测方法所采用的代价函数为关节点检测模型生成的关节点热图与真实关节点热图对应坐标位置的值的差值。该代价函数无法体现关节点检测模型生成的关节点热图中关节点位置与真实关节点位置之间的位置远近关系，使得关节点检测的精度不高。

基于上述技术问题，本发明实施例提供了一种关节点检测方法、装置、存储介质及电子设备，通过获取待处理图像中的人体图像，利用生成对抗网络模型的生成器生成所述人体图像的检测关节点热图，根据所述人体图像的检测关节点热图，来确定所述待处理图像中的关节点位置。通过采用本发明所提供的技术方案，利用生成对抗网络模型中的生成器生成检测关节点热图，由于生成器在生成对抗网络模型中训练时是与判别器之间进行相互对抗，避免了现有技术中的关节点检测模型独立训练时所采用的代价函数无法体现检测的关节点位置与真实关节点位置之间的远近关系的问题，从而提高了关节点检测的精度。

以上是本发明的核心思想，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的一种关节点检测方法的流程示意图，本发明实施例可适用于对图像进行关节点检测的情况，该方法可以由本发明实施例所提供的关节点检测装置执行，该装置可以由软件和/或硬件的方式来实现，并可集成于电子设备中。

如图1所示，本发明实施例提供的关节点检测方法包括：

步骤110、获取待处理图像中的人体图像。

其中，待处理图像具体可以采用摄像头或高清数码相机拍摄得到，也可以通过摄像头或高清数码相机进行录像得到，在后续的步骤中，可以对包含带有人体图像的一帧或者多帧图像进行提取，从而得到待处理图像。在本发明实施例中，待处理图像不限于普通图像，也可以是红外图像、深度图像等。只要其中包含人体图像，任何形式的图像均是可以的。待处理图像中可以包括一个人体图像，也可以包括多个人体图像。

步骤120、利用生成对抗网络模型的生成器生成所述人体图像的检测关节点热图。

其中，生成对抗网络模型由生成器和判别器两部分构成，生成器与判别器两者相互对抗训练，从而可以得到较好的训练效果。在本发明实施例中，通过生成器生成所述人体图像的检测关节点热图，可以是将人体图像输入至生成器后，生成所述人体图像的检测关节点热图。

步骤130、根据所述人体图像的检测关节点热图，确定所述待处理图像中的关节点位置。

其中，关节点热图(Heatmap)是通过色彩变化来显示关节点位置信息，关节点热图中每个位置的值代表该关节点出现在该位置的概率，检测关节点热图关节点热图中最大值所处的位置坐标即为检测到的关节点位置。

本发明实施例提供的技术方案，通过获取待处理图像中的人体图像，利用生成对抗网络模型的生成器生成所述人体图像的检测关节点热图，根据所述人体图像的检测关节点热图，来确定所述待处理图像中的关节点位置，由于生成器在生成对抗网络模型中训练时是与判别器之间进行相互对抗，避免了现有技术中的关节点检测模型独立训练时所采用的代价函数无法体现检测的关节点位置与真实关节点位置之间的远近关系的问题，从而提高了关节点检测的精度。

图2为本发明实施例提供的另一种关节点检测方法的流程示意图，本发明实施例在上述实施例的技术方案的基础上，进行了进一步的优化，与上述实施例相同或相应的结构以及术语的解释在此不再赘述。具体优化为：利用生成对抗网络模型的生成器生成所述人体图像的检测关节点热图之前，还包括：通过如下方式训练所述生成对抗网络模型：将样本人体图像输入至生成对抗网络模型的生成器；将生成器生成的检测关节点热图输入生成对抗网络模型的判别器，以对所述生成器和所述判别器进行训练。

如图2所示，本发明实施例提供的关节点检测方法包括：

步骤210、将样本人体图像输入至生成对抗网络模型的生成器。

步骤220、将生成器生成的检测关节点热图输入生成对抗网络模型的判别器，以对所述生成器和所述判别器进行训练。

其中，生成器根据输入的样本人体图像生成检测关节点热图，将检测关节点热图输入生成对抗网络模型的判别器，判别器对检测关节点热图的真实性进行判别，并将判别结果反馈到生成器，对生成器进行调整训练，生成器经过训练后再次生成真实度更高的检测关节点热图，并将检测关节点热图输入到判别器中再次进行判别，如此循环，从而对生成器和判别器进行训练。

步骤230、获取待处理图像中的人体图像。

步骤240、利用生成对抗网络模型的生成器生成所述人体图像的检测关节点热图。

步骤250、根据所述人体图像的检测关节点热图，确定所述待处理图像中的关节点位置。

本发明实施例提供的技术方案，通过生成对抗网络模型的生成器生成检测关节点热图，判别器对检测关节点热图进行判别，输出结果再传送到生成器，使得生成器和判别器之间进行相互对抗训练，从而提高了关节点检测的精度。

可选的，生成器的输入参数包括样本人体图像以及目标关节点热图，生成器的输出结果为检测关节点热图；判别器的输入参数包括第一部分和第二部分；第一部分为目标关节点热图，第二部分为生成器输出的检测关节点热图或目标关节点热图，判别器的输出结果包括所述第二部分与所述第一部分的相似度。

示例性的，生成对抗网络模型包括生成器和判别器，其中，采用卷积神经网络建立关节点热图生成模型作为生成对抗网络模型中的生成器，然后利用卷积神经网络建立生成对抗网络中的判别器。将样本人体图像输入至生成对抗网络模型的生成器，生成器采用残差网络提取样本人体图像的特征并生成特征图，然后对特征图进行反卷积操作以及上采样运算，使生成器输出尺寸与样本人体图像尺寸相同的检测关节点热图。判别器的输入参数包括第一部分和第二部分，其中，第一部分为目标关节点热图，第二部分为生成器输出的检测关节点热图或目标关节点热图，目标关节点热图即为样本人体图像真实的关节点热图。判别器对第一部分和第二部分输入的关节点热图采用卷积和全局池化操作，得到第二部分与第一部分的相似度并输出，其中，第二部分与第一部分的相似度可以为一个数值，数值大小代表了第二部分与第一部分的相似度，例如，数值越大，第二部分与第一部分的相似度越高，判别器输出的数值传入生成器，对生成器进行调整训练。在训练时，生成器和判别器形成对抗，当判别器输入的第二部分为目标关节点热图时，判别器尽可能判断出输入的第一部分和第二部分完全相同，即输出一个很大的数值，当判别器输入的第二部分为生成器生成的检测关节点热图时，判别器尽可能判断出输入的第一部分和第二部分不相同，即输出一个较小的数值。生成器则尽可能使其生成的检测关节点热图接近目标关节点热图，使得检测关节点热图作为判别器的第二部分输入时让判别器判断为相同，即输出一个较大的数值，这样生成器和判别器就会相互对抗从而促进学习。当生成对抗网络模型训练完成后，生成对抗网络模型中的生成器就能够根据输入的人体图像生成准确的检测关节点热图。判别器对输入的第二部分与第一部分的相似度进行判定，若第二部分输入的是生成器生成的检测关节点热图，则判别器输出的数值越大，表明生成器生成的检测关节点热图与目标关节点热图中的关节点位置越接近，即判别器输出的数值能够反映出生成器生成的检测关节点热图与目标关节点热图中的关节点位置的远近关系，因此，通过将判别器的输出结果反馈到生成器进行训练，有利于对生成器生成的检测关节点热图中的关节点位置进行限定。

可选的，生成器和判别器交替进行训练；判别器的训练次数大于或等于生成器的训练次数。

具体的，首先对判别器进行训练，使得判别器能够判别出输入的第二部分与第一部分的相似度，然后将生成器生成的检测关节点热图输入生成对抗网络模型的判别器，通过将判别器的判别结果传送到生成器，对生成器进行训练，生成器经过训练后再次生成检测关节点热图并传送到判别器，对判别器进行训练，判别器得到判别结果并将判别结果再次传送到生成器从而对生成器进行训练，生成器和判别器继续循环交替训练。在训练时，当判别器输入的第二部分为目标关节点热图时，判别器尽可能判断出输入的第一部分和第二部分相同，即相似度高，当判别器输入的第二部分为生成器生成的检测关节点热图时，判别器尽可能判断出输入的第一部分和第二部分不相同，即相似度低。生成器则尽可能使其生成的检测关节点热图与目标关节点热图相似度高，使得检测关节点热图作为判别器的第二部分输入时让判别器判断为相同，即相似度高，这样生成器和判别器就会相互对抗从而促进学习。

其中，生成器和判别器交替进行训练，判别器的训练次数大于或等于生成器的训练次数。由于优先训练判别器，判别器的训练次数不少于生成器的训练次数，使得判别器判别输入的第二部分与第一部分的相似度的能力较高，从而能够通过判别器的判别结果去提高生成器生成准确的检测关节点热图的能力。示例性的，在训练时，可以训练一次判别器后，训练一次生成器，然后再训练一次判别器，如此循环；也可以训练多次判别器后，训练一次生成器，然后再训练多次判别器，如此循环。

可选的，生成器生成的检测关节点热图为多个，每一个关节点对应一个检测关节点热图。通过对每一个关节点分别生成检测关节点热图并进行后续训练，使得生成器能够应对人体图像中部分关节点被遮挡的情况，从而提高了关节点检测的准确度。

图3为本发明实施例提供的又一种关节点检测方法的流程示意图，本发明实施例在上述实施例的技术方案的基础上，进行了进一步的优化，与上述实施例相同或相应的结构以及术语的解释在此不再赘述。具体优化为：在获取待处理图像中的人体图像之前还包括：在所述待处理图像中定位人体位置。所述根据所述人体图像的检测关节点热图，确定所述待处理图像中的关节点位置包括：根据所述人体图像的检测关节点热图确定关节点在所述检测关节点热图中的坐标；根据所述人体位置对关节点在所述检测关节点热图中的坐标进行坐标转换，获得关节点在所述待处理图像中的坐标。

如图3所示，本发明实施例提供的关节点检测方法包括：

步骤310、将样本人体图像输入至生成对抗网络模型的生成器。

步骤320、将生成器生成的检测关节点热图输入生成对抗网络模型的判别器，以对所述生成器和所述判别器进行训练。

步骤330、在所述待处理图像中定位人体位置。

其中，待处理图像中可能包括一个人体，也可能包括多个人体，通过定位人体位置，便于后续获得关节点在原待处理图像中的坐标。

步骤340、获取待处理图像中的人体图像。

其中，可以获取待处理图像中的一个人体图像或者获取待处理图像中的多个人体图像。

具体的，在待处理图像中定位人体位置，获得每个人体在待处理图像中的边界框，根据每个人体的边界框分别对待处理图像进行裁剪，裁剪结果为只包含单个人体的人体图像。示例性的，采用目标检测算法在待处理图像中定位人体位置，目标检测算法采用SSD算法(Single Shot MultiBox Detector)，SSD算法是目标检测中应用最广泛的算法，在速度和精度上都有很好的效果。在裁剪时，记录每个人体人体的边界框在待处理图像中的位置。

步骤350、利用生成对抗网络模型的生成器生成所述人体图像的检测关节点热图。

步骤360、根据所述人体图像的检测关节点热图确定关节点在所述检测关节点热图中的坐标。

步骤370、根据所述人体位置对关节点在所述检测关节点热图中的坐标进行坐标转换，获得关节点在所述待处理图像中的坐标。

其中，首先对检测关节点热图进行分析计算得到关节点在该检测关节点热图中的坐标，然后根据步骤330中在待处理图像中定位的人体位置，对关节点在检测关节点热图中的坐标进行变换得到该关节点在待处理图像中的坐标。

本发明实施例提供的技术方案，通过获取待处理图像中的人体图像，利用生成对抗网络模型的生成器生成所述人体图像的检测关节点热图，根据所述人体图像的检测关节点热图，来确定所述待处理图像中的关节点位置，由于生成器在生成对抗网络模型中训练时是与判别器之间进行相互对抗，解决了现有技术中的关节点检测模型独立训练时所采用的代价函数无法体现检测的关节点位置与真实关节点位置之间的远近关系的问题。从而提高了关节点检测的精度。并且，通过在待处理图像中定位人体位置并获取待处理图像中的人体图像，在确定待处理图像中的关节点位置时先确定关节点在检测关节点热图中的坐标，再根据在待处理图像中定位的人体位置，对关节点在检测关节点热图中的坐标进行变换获得关节点在待处理图像中的坐标，实现了对包含多个人体的待处理图像的关节点检测。

基于同样的发明构思，本发明实施例还提供了一种关节点检测装置，用于执行上述实施例提供的任一关节点检测方法，与上述实施例相同或相应的结构以及术语的解释在此不再赘述，图4为本发明实施例提供的一种关节点检测装置的结构示意图，如图4所示，本发明实施例提供的关节点检测装置包括：

人体图像获取模块410，用于获取待处理图像中的人体图像。

检测关节点热图生成模块420，用于利用生成对抗网络模型的生成器生成所述人体图像的检测关节点热图。

关节点位置获取模块430，用于根据所述人体图像的检测关节点热图，确定所述待处理图像中的关节点位置。

继续参考图4所示，可选的，本发明实施例提供的关节点检测装置还包括：人体定位模块440，用于在待处理图像中定位人体位置。关节点位置获取模块430包括：关节点坐标计算单元4301，用于根据所述人体图像的检测关节点热图确定关节点在所述检测关节点热图中的坐标；关节点坐标转换单元4302，用于根据所述人体位置对关节点在所述检测关节点热图中的坐标进行坐标转换，获得关节点在所述待处理图像中的坐标。

可选的，本发明实施例提供的关节点检测装置还包括：生成对抗网络模型训练模块，用于通过如下方式训练所述生成对抗网络模型：

将样本人体图像输入至生成对抗网络模型的生成器，并将生成器生成的检测关节点热图输入生成对抗网络模型的判别器，以对所述生成器和所述判别器进行训练。

可选的，生成器的输入参数包括样本人体图像以及目标关节点热图；生成器的输出结果为检测关节点热图；判别器的输入参数包括第一部分和第二部分；第一部分为目标关节点热图；第二部分为生成器输出的检测关节点热图或目标关节点热图；判别器的输出结果包括第二部分与第一部分的相似度。

可选的，生成器和判别器交替进行训练；判别器的训练次数大于或等于生成器的训练次数。

上述产品可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。

基于同样的发明构思，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序在由处理器执行时用于执行一种关节点检测方法，该方法包括：

获取待处理图像中的人体图像；

利用生成对抗网络模型的生成器生成所述人体图像的检测关节点热图；

根据所述人体图像的检测关节点热图，确定所述待处理图像中的关节点位置。

存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到计算机系统。第二计算机系统可以提供程序指令给计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。

当然，本发明实施例所提供的计算机可读存储介质，其上存储的计算机程序不限于如上所述的关节点检测操作，还可以执行本发明任意实施例所提供的关节点检测方法中的相关操作。

基于同样的发明构思，本发明实施例还提供了一种电子设备，该电子设备中可集成本发明实施例提供的任一关节点检测装置。图5为本发明实施例提供的一种电子设备的结构示意图，如图5所示，本发明实施例提供了一种电子设备500，其包括：一个或多个处理器520；存储装置510，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器520执行，使得所述一个或多个处理器520实现本发明实施例所提供的关节点检测方法，该方法包括：

获取待处理图像中的人体图像；

利用生成对抗网络模型的生成器生成所述人体图像的检测关节点热图；

根据所述人体图像的检测关节点热图，确定所述待处理图像中的关节点位置。

当然，本领域技术人员可以理解，处理器520还可以实现本发明任意实施例所提供的关节点检测方法的技术方案。

图5显示的电子设备500仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图5所示，该电子设备500包括处理器520、存储装置510、输入装置530和输出装置540；电子设备中处理器520的数量可以是一个或多个，图5中以一个处理器520为例；电子设备中的处理器520、存储装置510、输入装置530和输出装置540可以通过总线或其他方式连接，图5中以通过总线550连接为例。

存储装置510作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的关节点检测方法对应的程序指令。

存储装置510可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储装置510可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置510可进一步包括相对于处理器520远程设置的存储器，这些远程存储器可以通过网络连接。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置530可用于接收输入的数字、字符信息或语音信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置540可包括显示屏、扬声器等设备。

本发明实施例提供的电子设备，能够实现对人体图像中的关节点进行高精度的检测。

上述实施例中提供的关节点检测装置、存储介质及电子设备可执行本发明任意实施例所提供的关节点检测方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的关节点检测方法。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种关节点检测方法，其特征在于，包括：

获取待处理图像中的人体图像；

利用生成对抗网络模型的生成器生成所述人体图像的检测关节点热图；

根据所述人体图像的检测关节点热图，确定所述待处理图像中的关节点位置。

2.根据权利要求1所述的关节点检测方法，其特征在于，利用生成对抗网络模型的生成器生成所述人体图像的检测关节点热图之前，还包括：

通过如下方式训练所述生成对抗网络模型：

将样本人体图像输入至生成对抗网络模型的生成器；

将生成器生成的检测关节点热图输入生成对抗网络模型的判别器，以对所述生成器和所述判别器进行训练。

3.根据权利要求2所述的关节点检测方法，其特征在于，所述生成器的输入参数包括样本人体图像以及目标关节点热图；

所述生成器的输出结果为检测关节点热图；

所述判别器的输入参数包括第一部分和第二部分；

所述第一部分为目标关节点热图；

所述第二部分为生成器输出的检测关节点热图或目标关节点热图；

所述判别器的输出结果包括所述第二部分与所述第一部分的相似度。

4.根据权利要求2所述的关节点检测方法，其特征在于，所述生成器和所述判别器交替进行训练；

所述判别器的训练次数大于或等于所述生成器的训练次数。

5.根据权利要求1所述的关节点检测方法，其特征在于，在获取待处理图像中的人体图像之前还包括：

在所述待处理图像中定位人体位置；

所述根据所述人体图像的检测关节点热图，确定所述待处理图像中的关节点位置包括：

根据所述人体图像的检测关节点热图确定关节点在所述检测关节点热图中的坐标；

根据所述人体位置对关节点在所述检测关节点热图中的坐标进行坐标转换，获得关节点在所述待处理图像中的坐标。

6.一种关节点检测装置，其特征在于，包括：

人体图像获取模块，用于获取待处理图像中的人体图像；

检测关节点热图生成模块，用于利用生成对抗网络模型的生成器生成所述人体图像的检测关节点热图；

关节点位置获取模块，用于根据所述人体图像的检测关节点热图，确定所述待处理图像中的关节点位置。

7.根据权利要求6所述的关节点检测装置，其特征在于，还包括：

人体定位模块，用于在所述待处理图像中定位人体位置；

所述关节点位置获取模块包括：

关节点坐标计算单元，用于根据所述人体图像的检测关节点热图确定关节点在所述检测关节点热图中的坐标；

关节点坐标转换单元，用于根据所述人体位置对关节点在所述检测关节点热图中的坐标进行坐标转换，获得关节点在所述待处理图像中的坐标。

8.根据权利要求6所述的关节点检测装置，其特征在于，所述关节点检测装置还包括：

生成对抗网络模型训练模块，用于通过如下方式训练所述生成对抗网络模型：

将样本人体图像输入至生成对抗网络模型的生成器，并将生成器生成的检测关节点热图输入生成对抗网络模型的判别器，以对所述生成器和所述判别器进行训练。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一项所述的关节点检测方法。

10.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-5中任一项所述的关节点检测方法。