CN114022900A - 检测模型的训练方法、检测方法、装置、设备和介质 - Google Patents

Abstract

本公开提供了一种检测模型的训练方法、检测方法、装置、设备和介质，涉及计算机技术领域，尤其涉及人工智能、计算机视觉和深度学习技术。具体实现方案为：获取样本图像；将样本图像中的输入图像输入关键点识别模型中，以输出识别有关键点基础位置的输出图像；根据输入图像和输出图像中的关键点基础位置，产生关键点特征序列；将关键点特征序列输入至关键点修正模型中，以输出关键点修正位置；根据输出图像中的关键点基础位置和关键点修正位置确定关键点目标位置；根据标注图像中的关键点标注位置和关键点目标位置，对模型进行训练优化。本公开的技术方案考虑了图像中远距离位置像素之间的影响，从而使得关键点的确定更加准确。

Description

检测模型的训练方法、检测方法、装置、设备和介质

技术领域

本公开涉及计算机技术领域，尤其涉及人工智能、计算机视觉和深度学习技术。

背景技术

随着社会的进步和科技的迅猛发展，短视频、直播、在线教育等行业不断的兴起，在各种交互场景中，基于人体关键点信息进行互动的功能需求越来越多。因此，基于图像进行人体关键点检测的技术得到持续的发展。

现有的人体关键点检测技术，一般是从图像中截取每个人所在区域作为输入场景图像，根据场景图像输入卷积神经网络，生成能够体现人体关键点的多个高斯热图，进而确定人体关键点信息。

上述技术方案中，使用卷积神经网络对图像特征进行提取，难以全面关注到图像中的人体结构化信息，并且，当某些关键点坐标被遮挡时也难以提取特征进行学习，因此，关键点识别结果的准确性有待提高。

发明内容

本公开提供了一种人体关键点检测模型的训练方法、检测方法、装置、设备和介质，以提高关键点识别结果的准确性。

根据本公开的第一方面，提供了一种人体关键点检测模型的训练方法，该方法包括：

获取样本图像；其中，样本图像包括输入图像和标注图像，标注图像为标注有输入图像中一个或多个人体关键点位置的热图；

将输入图像输入关键点识别模型中，以输出识别有关键点基础位置的输出图像；

根据输入图像和输出图像中的关键点基础位置，产生关键点特征序列；

将关键点特征序列输入至关键点修正模型中，以输出关键点修正位置；其中，关键点修正模型为深度注意力变换网络；

根据输出图像中的关键点基础位置和关键点修正位置确定关键点目标位置；

根据标注图像中的关键点标注位置和关键点目标位置，对关键点识别模型和关键点修正模型进行训练优化。

根据本公开的第二方面，提供了一种人体关键点检测方法，该方法包括：

获取待识别图像；

将待识别图像输入本公开第一方面所提供的人体关键点检测模型的训练方法中所训练的关键点识别模型和关键点修正模型，以输出关键点目标位置。

根据本公开的第三方面，提供了一种人体关键点检测模型的训练装置，该人体关键点检测模型的训练装置包括：

样本图像获取模块，用于获取样本图像；其中，样本图像包括输入图像和标注图像，标注图像为标注有输入图像中一个或多个人体关键点位置的热图；

图像输出模块，用于将输入图像输入关键点识别模型中，以输出识别有关键点基础位置的输出图像；

特征序列产生模块，用于根据输入图像和输出图像中的关键点基础位置，产生关键点特征序列；

位置修正模块，用于将关键点特征序列输入至关键点修正模型中，以输出关键点修正位置；其中，关键点修正模型为深度注意力变换网络；

目标位置确定模块，用于根据输出图像中的关键点基础位置和关键点修正位置确定关键点目标位置；

训练优化模块，用于根据标注图像中的关键点标注位置和关键点目标位置，对关键点识别模型和关键点修正模型进行训练优化。

根据本公开第四方面，提供了一种人体关键点检测装置，该人体关键点检测装置包括：

待识别图像获取模块，用于获取待识别图像；

识别结果输出模块，用于将待识别图像输入本公开第一方面所提供的人体关键点检测模型的训练方法所训练的关键点识别模型和关键点修正模型，以输出关键点目标位置。

根据本公开第五方面，提供一种电子设备，包括：

至少一个处理器；

与至少一个处理器通信连接的存储器；

其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开第一方面所提供的人体关键点检测模型的训练方法或执行本公开第二方面所提供的人体关键点检测方法。

根据本公开第六方面，提供了一种存储有计算机指令的非瞬间计算机可读存储介质，其中，计算机指令用于使计算机执行本公开第一方面所提供的人体关键点检测模型的训练方法或执行本公开第二方面所提供的人体关键点检测方法。

根据本公开第七方面，提供一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实本公开第一方面所提供的人体关键点检测模型的训练方法或执行本公开第二方面所提供的人体关键点检测方法。

本公开提供了一种人体关键点检测模型的训练方法、检测方法、装置、设备和介质，首先根据输出图像中的关键点特征，对图像语义特征进行提取；而后将提取的图像语义特征转换为序列化向量特征，输入关键点修正模型进行处理，以输出坐标位置，对关键点识别模型的输出图像中的关键点位置进行修正。从而能够基于注意力机制考虑图像远距离像素位置之间关联影响，使得关键点的确定更加准确。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是本公开实施例提供的一种人体关键点检测模型的训练方法的流程示意图；

图2是本公开实施例所适用的深度注意力变换网络示意图；

图3是本公开实施例提供的人体关键点示意图；

图4是本公开实施例提供的一种人体关键点检测方法的流程示意图；

图5是本公开实施例提供的一种人体关键点检测模型的训练装置的结构框图；

图6是本公开实施例提供的一种人体关键点检测装置的结构框图；

图7是本公开实施例提供的一种电子设备的结构示意图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是本公开实施例提供的一种人体关键点检测模型的训练方法的流程示意图，本实施例可适用于人体关键点检测模型的训练，该方法可以由本公开实施例提供的人体关键点检测模型的训练装置来执行，该装置可以采用软件和/或硬件的方式来实现。在本实施例中，人体关键点检测模型的训练设备可以为具备计算能力的电子设备。

如图1所示，本公开实施例提供的一种人体关键点检测模型的训练方法，包括如下：

S110、获取样本图像；其中，样本图像包括输入图像和标注图像，标注图像为标注有输入图像中一个或多个人体关键点位置的热图。

其中，样本图像可以从多个渠道获取，例如可以是，自制关键点数据集进行采集；或者可以是，下载现有人体关键点数据集，本实施例对此不进行限定。

其中，人体关键点位置是指对应人体上有一定自由度的关节点，包括如颈、肩、肘、腕、腰、膝和踝等；热图是指用特殊高亮的形式显示突出的部分区域。在样本图像中，输入图像是待识别的包括人体的图像，标注图像是将输入图像中的人体关键点进行标注，并转换成为热图，在该热图中，以像素点的亮度值表征像素点为关键点的置信度。

具体的，根据人体关键点的标注坐标生成对应的标注图用于训练，具体包括生成人体关键点2D位置得到在图像中的高斯热图，其中，标注坐标包括X横坐标和Y纵坐标。

示例性的，当人体有17个关键点位置，就会生成包括17个通道的热图，每一个通道为某个关键点的热图分布，同时会生成17*2个通道的矢量图，2是因为矢量图分为两个方向，一个是X方向，一个是Y方向。假设生成的热图大小与输入图像的大小一致，生成的热图会在相应的坐标处生成一个高斯分布的概率区域，区域的中心值最大，最接近1，就最高亮；越向四周，概率越小，高亮就逐渐减弱。即只在X和Y的位置有高亮显示。从X和Y为中心做高斯分布，中心置信度最高，远离中心趋近于0。

S120、将输入图像输入关键点识别模型中，以输出识别有关键点基础位置的输出图像。

其中，关键点识别模型是指能够识别关键点并生成关键点热图的模型，一般是采用卷积神经网络的，具有像素点深度数据能力提取的模型；输出图像是指包含有关键点基础位置的图像。

例如，hourglass是可以识别人体关键点的模型，可以将样本图像输入hourglass模型，hourglass模型可以有多个卷积处理层，每层的分辨率可以相同或者不同，当分辨率越大，深度数据的维度就越小；当分辨率越小，深度数据的维度就越大。同时，不同的卷积层提取的都是图像语义特征矩阵。

其中，hourglass模型又称作堆叠漏斗神经网络，是由一个个的漏斗状的神经网络级联起来，每一个漏斗神经网络由编码器和解码器组成，负责提取特征和生成热图结果。

可选的，关键点识别模型包括多层卷积神经网络，用于顺序提取多个图像语义特征集。

其中，卷积神经网络是一种前馈神经网络，由一个活多个卷积层和顶端的全连通层组成，同时也包括关联权重和池化层，简单的来说主要包括3个部分，卷积、池化和全连接，卷积层主要负责图像的局部特征提取，池化层是用来大幅度降低数量级，全连接层是类似于传统神经网络的部分，用来输出想要的结果；图像语义特征是指提取图像的底层特征，然后把底层特征通过映射的关系转换成高层语义信息的一个概念。

这样设置的好处在于，通过提取图像特征，对输入的图像进行分析，实现图像内容的语义描述、分析和理解。

可选的，将样本图像输入关键点识别模型中，以输出识别有关键点基础位置的输出图像包括：将样本图像输入关键点识别模型中，以提取至少一个图像语义特征集，并根据图像语义特征集识别输出标注有关键点基础位置的输出图像。

示例性的，当将一个样本图像输入关键点识别模型，通过降采样、升采样等过程最后输出图像，每次降采样之前，分出上半路保留的原信息；每次升采样之后，和上一个数据相加；两个降采样之间，使用三个残缺模块进行特征提取，两个相加之间，使用一个残缺模块进行特征提取，经过高层的特征提取和分析，得到特征信息，明确关键点的基础位置，并输出图像。

这样设置的好处在于，对关键点进行可靠的提取，使得提取的关键点特征丰富，增强对关键点的基础位置的分辨能力。

S130、根据输入图像和输出图像中的关键点基础位置，产生关键点特征序列。

可选的，根据输入图像和所述输出图像中的关键点基础位置，产生关键点特征序列包括：根据所述输出图像中的关键点基础位置对所述图像语义特征集进行特征提取，以获取关键点特征序列。

其中，关键点基础位置是经过高斯解析后的中心点位置；关键点特征序列是对人体多个关键点的检测结果，进行轨迹抽象。具体的，根据输出图像中的关键点基础位置，对图像语义特征集进行特征提取，获得关键点特征系列，根据不同关键点提取不同的特征。这样设置的好处在于，获取关键点特征序列，得到更加丰富的人体关键点信息，提高后续模型的识别效果。

可选的，根据输出图像中的关键点基础位置对图像语义特征集进行特征提取，以获取关键点特征序列包括：根据输出图像中的关键点基础位置对至少两个图像语义特征集进行特征提取，以获取至少两个初始关键点特征序列；将至少两个初始关键点特征序列拼接为一个关键点特征序列。

具体的，至少对两个图像语义特征集进行特征提取，并对人体不同的关键点拼接成关键点特征序列，实现特征关联。示例性的，当只进行一个图像语义特征集分析时，只能确定一个关键点，而进行至少两个图像语义特征集分析时，确定多个关键点，形成多关键点之间的联系。这样设置的好处在于，建立多关键点之间的联系，实现人体结构化信息的建立。

可选的，根据输出图像中的关键点基础位置对至少两个图像语义特征集进行特征提取，以获取至少两个初始关键点特征序列包括：根据输出图像中的关键点基础位置，分别对第一个和最后一个图像语义特征集进行特征提取，以获取两个初始关键点特征序列。

具体的，对于第几个图像语义特征集进行特征提取，不同的语义层抽取特征，一般是最底层和最高层抽取，能够兼顾计算量，并获得比较丰富的语义特征。

这样设置的好处在于，图像的低层的特征语义信息比较少，但是目标位置准确，很多视觉问题就基本上得到了解决；高层的特征语义信息比较丰富，但是目标位置比较粗略。对这两层的语义特征集进行提取，使得关键点目标准确且特征丰富。

可选的，根据输出图像中的关键点基础位置对图像语义特征集进行特征提取，以获取关键点特征序列包括：将输出图像中的关键点基础位置的像素点特征矩阵n*h*w与图像语义特征集的像素点特征矩阵c*h*w相乘，以确定查询特征矩阵c*n；将图像语义特征集的像素点特征矩阵c*h*w与查询特征矩阵c*n相乘，以确定关联权重矩阵n*h*w；将关联权重矩阵n*h*w与图像语义特征集的像素点特征矩阵c*h*w相乘，以确定关键点特征序列n*c。其中，其中，h为分辨率的高度、w为分辨率的宽度、c为通道数量、n为关键点数量。这样设置的好处在于，能够充分建立关键点基础位置之间的关联，以关联权重矩阵的方式表达出来，并结合图像语义特征集的像素点特征矩阵，转换为序列化的特征，从而方便后续进行注意力关注。

S140、将关键点特征序列输入至关键点修正模型中，以输出关键点修正位置；其中，关键点修正模型为深度注意力变换网络。

其中，关键点修正模型可以是指深度注意力变换网络，即可以是Transformer模型，该模型是处理一维向量的，将远距离的图像特征抽取出来，并进行远距离的特征关联，进行训练学习。

具体的，图2是本公开实施例所适用的深度注意力变换网络示意图，图3是本公开实施例提供的人体关键点示意图；如图2所示，该模型训练的主干网络为Hourglass模型，结合了transformer模型。Hourglass模型从输入图像中进行逐层的语义特征提取，从而得到底层语义特征的特征值v1(其维度为c1*h*w)，以及高层语义特征的特征值v2(其维度为c2*h*w)和键值k(键值k实际上为特征值v2，其维度也是c2*h*w)，基于高层语义特征图识别得到包括关键点基础位置的输出图像；然后通过输出图像的热图(其维度为n*h*w)和高层语义特征相乘，生成查询值q(其维度为c3*n)，基于q和k可以生成全局特征和关键点特征之间的关联权重矩阵(其维度为n*h*w)，关联权重矩阵即是通过q和k做内积，得到人体关键点与整张图之间的强弱关系。接着利用关联权重矩阵，可以在v1和v2上采样关键点特征1(其维度为n*c1)和关键点特征2(其维度为n*c3)，并将关键点特征1和关键点特征2拼接，形成关键点特征序列(其维度为h*(c3+c1))，输入标准Transformer模型进行进一步学习，输出关键点修正位置，即各个关键点的x坐标序列和y坐标序列(其维度是n*2)。

最后还可以进一步利用transformer所学到的特征上回归学习偏移值，将关键点修正位置叠加到输出图像中，进行进一步精修定位，完成学习过程，输出关键点目标位置。

其中，c1、c2、c3表示特征层面的通道数，原始图像例如可以是RGB，则通道数为3，经过语义提取特征后，通道数会发生变化。h*w是分辨率，n是关键点的数量，例如人体关键点为17。通过高斯图，抽取了c3中高亮点位置的特征。其他点是0。键值k，原始特征图像经过卷积处理，得到c3维度，例如c3＝256，在每个宽高点都有一个256维度的特征。q是一个矩阵，c3*h*w和n*h*w的矩阵乘，意义是通过高斯图，将关键点的特征值进行了抽取，非关键点的特征被忽略了。

示例性的，n*h*w，17个图层，每个像素点，属于该图层关键点的概率；c1为256维度，表征该像素点的特征。分辨率可以先变小，再变大。分辨率小，通道数多，反之分辨率大时可以减小通道数，从而满足计算量适宜的要求；c3*n，n个关键点抽取出多个像素点，进行特征聚合。n*h*w表示在每个像素点取值，是作为关键点与整张图的相似性。输出的xy序列，相当于学习到的残差。这样的设置的好处在于，能关注到图像中远距离的像素特征之间的影响，例如，手和肘的距离远，但是有关系，可以通过手部的位置修正肘部的位置；且在热图的基础上学习偏移信息，将热图的矩阵进行调整，进一步对关键点精准定位完成学习过程。

S150、根据输出图像中的关键点基础位置和关键点修正位置确定关键点目标位置。

具体的，可以将序列形式的关键点修正位置映射到与输入图像相同分辨率的图像，并调整输出图像的热图调整至相同分辨率，而后将两个图像叠加，从而对热图中的关键点基础位置进行修正，以确定热图中关键点目标位置。

可选的，根据输出图像中的关键点基础位置和关键点修正位置确定关键点目标位置包括：将输出图像中的关键点基础位置和关键点修正位置进行叠加，以确定关键点目标位置。

具体的，用来确定关键点基础位置的高斯热图的分辨率小，且离散，例如，100*100，而一般图像的分辨率较高，例如，1000*1000，关键点修正位置的序列，是带浮点的坐标位置。可以先将高斯热图的分辨率映射到输入图像的分辨率；再将关键点修正位置的浮点坐标映射到该图像上；两者进行叠加。这样设置的好处在于，能够补全热图中关键点的间隔位置，使得目标位置更加准确。

S160、根据标注图像中的关键点标注位置和关键点目标位置，对关键点识别模型和关键点修正模型进行训练优化。

具体的，标注图像为监督训练的图像，对标注图像的关键点标注位置和关键点目标位置的输出值进行损失计算，与标注图中的关键点位置进行监督，对模型进行迭代训练。

可选的，根据标注图像中的关键点标注位置和关键点目标位置，对关键点识别模型和关键点修正模型进行训练优化的同时，还包括：根据标注图像中的关键点标注位置与输出图像中的关键点目标位置之间的损失关系，对关键点识别模型进行训练优化，这样设置的好处在于，通过损失关系，不断对训练模型进行优化，从而准确识别关键点位置。

本实施例的技术方案，通过对人体关键点处的位置进行特征采样，将采样特征输入到transformer网络进行训练学习，在采样特征上构建transformer网络可有效构建全局注意力机制，从而更好学习人体结构化信息，同时在transformer基础上通过回归每个关键点偏移向量，可有效解决热图分辨率不足问题，最后结合热图进一步对人体关键点进行精准定位，确定关键点的目标位置。

在上述技术方案基础上，关键点识别模型为可以hourglass模型，关键点修正模型可以为transformer模型，但不限于此，还可以为其他具有类似功能的模型。这样设置的好处在于，基于hourglass模型和transformer模型输出值的叠加，与标注图中的关键点位置，进行监督学习，完成人体关键点的高精度定位。

图4是本公开实施例提供的一种人体关键点检测方法的流程示意图，包括如下：

S410、获取待识别图像。

待识别图像可以是任何需要识别人体关键点的场景中获取的图像，例如，直播软件中获取到的直播图像，可识别人体关键点后，作出一些直播界面的特效。

S420、将待识别图像输入人体关键点检测模型的训练方法所训练的关键点识别模型和关键点修正模型，以输出关键点目标位置。

人体关键点检测模型的训练方法可采用本公开前述实施例所提供的人体关键点检测模型的训练方法。

具体的，输出关键点目标位置是在完成模型的训练后，通过对关键点识别模型输出的热图进行积分回归可获取经过降采样后的热图预测结果，通过关键点修正模型解析预测位置的对应矢量值，可获取偏移向量值，结合降采样预测位置和偏移矢量计算得到关键点检测位置，将输出关键点目标位置。

本实施例的技术方案，通过获取待识别图像，将待识别图像输入人体关键点检测模型的训练方法中的关键点识别模型和关键点修正模型，以输出关键点目标位置，有效提升人体关键点的定位精度。

图5是本公开实施例提供的一种人体关键点检测模型的训练装置的结构框图。本实施例可以适用于人体关键点检测模型的训练，如图5所示，装置具体包括：样本图像获取模块510、图像输出模块520、特征序列产生模块530、位置修正模块540、目标位置确定模块550和训练优化模块560。其中：

样本图像获取模块510，用于获取样本图像；其中，样本图像包括输入图像和标注图像，标注图像为标注有输入图像中一个或多个人体关键点位置的热图；

图像输出模块520，用于将输入图像输入关键点识别模型中，以输出识别有关键点基础位置的输出图像；

特征序列产生模块530，用于根据输入图像和输出图像中的关键点基础位置，产生关键点特征序列；

位置修正模块540，用于将关键点特征序列输入至关键点修正模型中，以输出关键点修正位置；其中，关键点修正模型为深度注意力变换网络；

目标位置确定模块550，用于根据输出图像中的关键点基础位置和关键点修正位置确定关键点目标位置；

训练优化模块560，用于根据标注图像中的关键点标注位置和关键点目标位置，对关键点识别模型和关键点修正模型进行训练优化。

本实施例的技术方案，通过对人体关键点处的位置进行特征采样，将采样特征输入到transformer网络进行训练学习，在采样特征上构建transformer网络可有效构建全局注意力机制，从而更好学习人体结构化信息，同时在transformer基础上通过回归每个关键点偏移向量，可有效解决热图分辨率不足问题，最后结合热图进一步对人体关键点进行精准定位，确定关键点的目标位置。

可选的，所述图像输出模块具体用于将所述输入图像输入关键点识别模型中，以提取至少一个图像语义特征集，并根据所述图像语义特征集识别输出标注有关键点基础位置的输出图像；

相应的，所述特征序列产生模块包括：

特征序列获取单元，用于根据所述输出图像中的关键点基础位置对所述图像语义特征集进行特征提取，以获取关键点特征序列。

可选的，所述特征序列获取单元，包括：

特征提取子单元，用于根据所述输出图像中的关键点基础位置对至少两个所述图像语义特征集进行特征提取，以获取至少两个初始关键点特征序列；

特征拼接子单元，用于将至少两个初始关键点特征序列拼接为一个关键点特征序列。

可选的，所述关键点识别模型包括多层卷积神经网络，用于顺序提取多个图像语义特征；

相应的，所述特征提取子单元具体用于：

根据所述输出图像中的关键点基础位置，分别对第一个和最后一个图像语义特征集进行特征提取，以获取两个初始关键点特征序列。

可选的，所述特征序列产生模块，包括：

确定查询特征矩阵单元，用于将所述输出图像中的关键点基础位置的像素点特征矩阵n*h*w与所述图像语义特征集的像素点特征矩阵c*h*w相乘，以确定查询特征矩阵c*n；

确定关联权重矩阵单元，用于将所述图像语义特征集的像素点特征矩阵c*h*w与所述查询特征矩阵c*n相乘，以确定关联权重矩阵n*h*w；

确定特征序列单元，用于将所述关联权重矩阵n*h*w与所述图像语义特征集的像素点特征矩阵c*h*w相乘，以确定关键点特征序列n*c；

其中，h为分辨率的高度、w为分辨率的宽度、c为通道数量、n为关键点数量。

可选的，所述关键点识别模型为hourglass模型，关键点修正模型为transformer模型。

可选的，所述目标位置确定模块具体用于将所述输出图像中的关键点基础位置和所述关键点修正位置进行叠加，以确定关键点目标位置。

可选的，所述训练优化模块具体用于根据所述标注图像中的关键点标注位置与所述输出图像中的关键点目标位置之间的损失关系，对所述关键点识别模型进行训练优化。

本公开实施例所提供的人体关键点检测模型的训练方法，可用于执行本公开实施例所提供的人体关键点检测模型的训练方法，具备相应的功能和有益效果。

图6是本公开实施例提供的一种人体关键点检测装置的结构框图。本实施例可以适用于人体关键点检测，如图6所示，装置具体包括：待识别图像获取模块610和识别结果输出模块620。其中，

待识别图像获取模块610，用于获取待识别图像；

识别结果输出模块620，用于将待识别图像输入人体关键点检测模型的训练方法所训练的关键点识别模型和关键点修正模型，以输出关键点目标位置。

人体关键点检测模型的训练方法可采用本公开前述实施例所提供的人体关键点检测模型的训练方法。

本公开实施例所提供的人体关键点检测模型的训练方法，可用于执行本公开实施例所提供的人体关键点检测模型的训练方法，具备相应的功能和有益效果。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图7是本公开实施例提供的一种电子设备的结构示意图。图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如人体关键点检测模型的训练方法。例如，在一些实施例中，人体关键点检测模型的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由计算单元701执行时，可以执行上文描述的人体关键点检测模型的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行人体关键点检测模型的训练方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (21)

1.一种人体关键点检测模型的训练方法，所述方法包括：

获取样本图像；其中，所述样本图像包括输入图像和标注图像，所述标注图像为标注有输入图像中一个或多个人体关键点位置的热图；

将所述输入图像输入关键点识别模型中，以输出识别有关键点基础位置的输出图像；

根据所述输入图像和所述输出图像中的关键点基础位置，产生关键点特征序列；

将所述关键点特征序列输入至关键点修正模型中，以输出关键点修正位置；其中，所述关键点修正模型为深度注意力变换网络；

根据所述输出图像中的关键点基础位置和所述关键点修正位置确定关键点目标位置；

根据所述标注图像中的关键点标注位置和所述关键点目标位置，对所述关键点识别模型和关键点修正模型进行训练优化。

2.根据权利要求1所述的方法，其中，将所述输入图像输入关键点识别模型中，以输出识别有关键点基础位置的输出图像包括：

将所述输入图像输入关键点识别模型中，以提取至少一个图像语义特征集，并根据所述图像语义特征集识别输出标注有关键点基础位置的输出图像；

相应的，根据所述输入图像和所述输出图像中的关键点基础位置，产生关键点特征序列包括：

根据所述输出图像中的关键点基础位置对所述图像语义特征集进行特征提取，以获取关键点特征序列。

3.根据权利要求2所述的方法，其中，根据所述输出图像中的关键点基础位置对所述图像语义特征集进行特征提取，以获取关键点特征序列包括：

根据所述输出图像中的关键点基础位置对至少两个所述图像语义特征集进行特征提取，以获取至少两个初始关键点特征序列；

将至少两个初始关键点特征序列拼接为一个关键点特征序列。

4.根据权利要求3所述的方法，其中，所述关键点识别模型包括多层卷积神经网络，用于顺序提取多个图像语义特征集；

相应的，根据所述输出图像中的关键点基础位置对至少两个所述图像语义特征集进行特征提取，以获取至少两个初始关键点特征序列包括：

根据所述输出图像中的关键点基础位置，分别对第一个和最后一个图像语义特征集进行特征提取，以获取两个初始关键点特征序列。

5.根据权利要求2-4任一所述的方法，其中，根据所述输出图像中的关键点基础位置对所述图像语义特征集进行特征提取，以获取关键点特征序列包括：

将所述输出图像中的关键点基础位置的像素点特征矩阵n*h*w与所述图像语义特征集的像素点特征矩阵c*h*w相乘，以确定查询特征矩阵c*n；

将所述图像语义特征集的像素点特征矩阵c*h*w与所述查询特征矩阵c*n相乘，以确定关联权重矩阵n*h*w；

将所述关联权重矩阵n*h*w与所述图像语义特征集的像素点特征矩阵c*h*w相乘，以确定关键点特征序列n*c；

其中，h为分辨率的高度、w为分辨率的宽度、c为通道数量、n为关键点数量。

6.根据权利要求1所述的方法，其中，所述关键点识别模型为hourglass模型，所述关键点修正模型为transformer模型。

7.根据权利要求1所述的方法，其中，根据所述输出图像中的关键点基础位置和所述关键点修正位置确定关键点目标位置包括:

将所述输出图像中的关键点基础位置和所述关键点修正位置进行叠加，以确定关键点目标位置。

8.根据权利要求1所述的方法，在根据所述标注图像中的关键点标注位置和所述关键点目标位置，对所述关键点识别模型和关键点修正模型进行训练优化的同时，还包括：

根据所述标注图像中的关键点标注位置与所述输出图像中的关键点目标位置之间的损失关系，对所述关键点识别模型进行训练优化。

9.一种人体关键点检测方法，所述方法包括：

获取待识别图像；

将所述待识别图像输入权利要求1-8任一所述的人体关键点检测模型的训练方法所训练的关键点识别模型和关键点修正模型，以输出关键点目标位置。

10.一种人体关键点检测模型的训练装置，包括：

样本图像获取模块，用于获取样本图像；其中，所述样本图像包括输入图像和标注图像，所述标注图像为标注有输入图像中一个或多个人体关键点位置的热图；

图像输出模块，用于将所述输入图像输入关键点识别模型中，以输出识别有关键点基础位置的输出图像；

特征序列产生模块，用于根据所述输入图像和所述输出图像中的关键点基础位置，产生关键点特征序列；

位置修正模块，用于将所述关键点特征序列输入至关键点修正模型中，以输出关键点修正位置；其中，所述关键点修正模型为深度注意力变换网络；

目标位置确定模块，用于根据所述输出图像中的关键点基础位置和所述关键点修正位置确定关键点目标位置；

训练优化模块，用于根据所述标注图像中的关键点标注位置和所述关键点目标位置，对所述关键点识别模型和关键点修正模型进行训练优化。

11.根据权利要求10所述的装置，其中，所述图像输出模块具体用于将所述输入图像输入关键点识别模型中，以提取至少一个图像语义特征集，并根据所述图像语义特征集识别输出标注有关键点基础位置的输出图像；

相应的，所述特征序列产生模块包括：

特征序列获取单元，用于根据所述输出图像中的关键点基础位置对所述图像语义特征集进行特征提取，以获取关键点特征序列。

12.根据权利要求11所述的装置，其中，所述特征序列获取单元，包括：

特征提取子单元，用于根据所述输出图像中的关键点基础位置对至少两个所述图像语义特征集进行特征提取，以获取至少两个初始关键点特征序列；

特征拼接子单元，用于将至少两个初始关键点特征序列拼接为一个关键点特征序列。

13.根据权利要求12所述的装置，其中，所述关键点识别模型包括多层卷积神经网络，用于顺序提取多个图像语义特征；

相应的，所述特征提取子单元具体用于：

根据所述输出图像中的关键点基础位置，分别对第一个和最后一个图像语义特征集进行特征提取，以获取两个初始关键点特征序列。

14.根据权利要求10-12任一所述的装置，其中，所述特征序列产生模块，包括：

确定查询特征矩阵单元，用于将所述输出图像中的关键点基础位置的像素点特征矩阵n*h*w与所述图像语义特征集的像素点特征矩阵c*h*w相乘，以确定查询特征矩阵c*n；

确定关联权重矩阵单元，用于将所述图像语义特征集的像素点特征矩阵c*h*w与所述查询特征矩阵c*n相乘，以确定关联权重矩阵n*h*w；

确定特征序列单元，用于将所述关联权重矩阵n*h*w与所述图像语义特征集的像素点特征矩阵c*h*w相乘，以确定关键点特征序列n*c；

其中，h为分辨率的高度、w为分辨率的宽度、c为通道数量、n为关键点数量。

15.根据权利要求10所述的装置，其中，所述关键点识别模型为hourglass模型，关键点修正模型为transformer模型。

16.根据权利要求10所述的装置，其中，所述目标位置确定模块具体用于将所述输出图像中的关键点基础位置和所述关键点修正位置进行叠加，以确定关键点目标位置。

17.根据权利要求10所述的装置，其中，所述训练优化模块具体用于根据所述标注图像中的关键点标注位置与所述输出图像中的关键点目标位置之间的损失关系，对所述关键点识别模型进行训练优化。

18.一种人体关键点检测装置，包括：

待识别图像获取模块，用于获取待识别图像；

识别结果输出模块，用于将所述待识别图像输入权利要求1-8任一所述的人体关键点检测模型的训练方法所训练的关键点识别模型和关键点修正模型，以输出关键点目标位置。

19.一种电子设备，包括：

至少一个处理器；

与所述至少一个处理器通信连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的人体关键点检测模型的训练方法或权利要求9所述的人体关键点检测方法。

20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-8中任一项所述的人体关键点检测模型的训练方法或权利要求9所述的人体关键点检测方法。

21.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-8中任一项所述的人体关键点检测模型的训练方法或权利要求9所述的人体关键点检测方法。

Images