CN116071601A - 训练模型的方法、装置、设备和介质 - Google Patents

Abstract

本公开实施例公开了一种训练模型的方法、装置、设备和介质，其中，方法包括：获取第一样本集、第二样本集、n个教师模型和待训练的姿态识别模型，其中，第一样本集包括多个已标记样本标签的第一样本图像，第二样本集包括多个未标记的第二样本图像；利用n个教师模型分别预测每个第二样本图像中的关键点，并将n个预测结果作为该第二样本图像的伪标签，得到每个第二样本图像对应的n个初始伪标签；对每个第二样本图像对应的n个初始伪标签进行聚合处理，得到每个第二样本图像对应的目标伪标签；基于第一样本集、第二样本集以及每个第二样本图像对应的目标伪标签，对待训练的姿态识别模型进行迭代训练，得到训练后的姿态识别模型。

Description

训练模型的方法、装置、设备和介质

技术领域

本公开涉及人工智能技术领域，尤其涉及一种训练模型的方法、装置、设备和介质。

背景技术

目前，针对姿态识别模型，通常是采用半监督的方式，利用少量有标签数据和大量无标签数据进行训练。为了提高训练效果，可以在训练过程中引入教师模型，利用教师模型对无标签数据进行处理，并将得到的处理结果作为无标签数据的伪标签，以此指导姿态识别模型的训练。

由于教师模型对无标签数据的处理过程中会产生噪音伪标签，并且仅基于关键点的置信度很难区分高质量的伪标签和噪音伪标签，相关技术中对姿态识别模型进行训练时，往往忽略了噪声伪标签对训练过程的不利影响，导致训练效果不佳。

发明内容

本公开实施例提供一种训练模型的方法、装置、电子设备和存储介质。

本公开实施例的一个方面，提供一种训练模型的方法，包括：获取第一样本集、第二样本集、n个教师模型和待训练的姿态识别模型，其中，第一样本集包括多个已标记样本标签的第一样本图像，第二样本集包括多个未标记的第二样本图像，n为不小于2的正整数；利用n个教师模型分别预测每个第二样本图像中的关键点，并将n个预测结果作为该第二样本图像的伪标签，得到每个第二样本图像对应的n个初始伪标签；对每个第二样本图像对应的n个初始伪标签进行聚合处理，修正该n个初始伪标签中关键点的位置，得到每个第二样本图像对应的目标伪标签；基于第一样本集、第二样本集以及每个第二样本图像对应的目标伪标签，对待训练的姿态识别模型进行迭代训练，得到训练后的姿态识别模型。

在一些实施例中，利用n个教师模型分别预测每个第二样本图像中的关键点，并将预测结果作为该第二样本图像的伪标签，得到每个第二样本图像对应的n个初始伪标签，包括：对每个第二样本图像进行第一类型的数据增强处理，得到每个第二样本图像对应的第三样本图像；将每个第二样本图像对应的第三样本图像分别输入n个教师模型，得到每个第二样本图像对应的n个初始伪标签。

在一些实施例中，该方法还包括：对每个第二样本图像进行第二类型的数据增强处理，得到每个第二样本图像对应的第四样本图像，并将每个第二样本图像对应的目标伪标签确定为每个第四样本图像的目标伪标签；以及，基于第一样本集、第二样本集以及每个第二样本图像对应的目标伪标签，对待训练的姿态识别模型进行迭代训练，得到训练后的姿态识别模型，包括：将第一样本图像输入待训练的姿态识别模型，并基于样本标签与待训练的姿态识别模型的输出结果，确定第一损失值；将第四样本图像输入待训练的姿态识别模型，并基于第四样本图像的目标伪标签与待训练的姿态识别模型的输出结果，确定第二损失值；基于第一损失值与第二损失值，调整待训练的姿态识别模型的模型参数；迭代执行确定第一损失值的步骤、确定第二损失值的步骤和调整待训练的姿态识别模型的模型参数的步骤，直至满足预设的迭代终止条件，得到训练后的姿态识别模型。

在一些实施例中，对每个第二样本图像对应的n个初始伪标签进行聚合处理，修正该n个初始伪标签中关键点的位置，得到每个第二样本图像对应的目标伪标签，包括：获取n个教师模型在上轮迭代中得到的n个历史伪标签；对每个第二样本图像对应的n个初始伪标签和n个历史伪标签进行配对，确定多个标签对，标签对包括一个初始伪标签和一个历史伪标签；从标签对包括的初始伪标签和历史伪标签中确定出具有匹配关系的关键点对，并确定关键点对中两个关键点的像素距离；对于n个初始伪标签中具有相同标签的关键点，从包含该关键点的各关键点对中确定出像素距离最小的目标关键点对，并将该关键点在目标关键点对中的位置确定为该关键点的目标位置；基于每个第二样本图像对应的n个初始伪标签中的各关键点及其目标位置，确定每个第二样本图像对应的目标伪标签。

在一些实施例中，对每个第二样本图像进行第二类型的数据增强处理，得到每个第二样本图像对应的第四样本图像，包括：对每个第二样本图像进行仿射变换处理，得到每个第二样本图像对应的变换后的图像；对每个第二样本图像对应的变换后的图像进行掩膜处理，得到每个第二样本图像对应的第四样本图像。

在一些实施例中，对每个第二样本图像对应的n个初始伪标签进行聚合处理之前，该方法还包括：将第一样本图像分别输入n个教师模型，并基于样本标签与n个教师模型的输出结果，确定n个教师模型中的各教师模型的第三损失值；依次将n个教师模型中的各教师模型作为学生模型，并将其他n-1个教师模型作为参考模型，得到n个模型组合；对于n个模型组合中的每个模型组合，将第四样本图像输入该模型组合中的学生模型，得到第四样本图像对应该模型组合的第一预测结果，并确定该模型组合中的参考模型对第四样本图像对应的第三样本图像进行处理时得到的n-1个初始伪标签；基于第四样本图像对应该模型组合的第一预测结果与n-1个初始伪标签，确定该模型组合对应的第四损失值；基于第三损失值与n个模型组合中的各模型组合对应的第四损失值，调整n个教师模型中各教师模型的模型参数。

在一些实施例中，对每个第二样本图像对应的变换后的图像进行掩膜处理，得到每个第二样本图像对应的第四样本图像，包括：获取待裁剪图像；从待裁剪图像中裁剪出肢体部位对应的图像区域，得到局部图像；基于第二样本图像对应的n个初始伪标签，确定第二样本图像对应的变换后的图像中的关键点位置；将局部图像贴附在第二样本图像对应的变换后的图像中的关键点位置，得到第二样本图像对应的第四样本图像。

本公开实施例还提供了一种姿态识别方法，包括：获取包括目标对象的目标图像；以及，通过上述任一实施例中的训练模型的方法得到的训练后的姿态识别模型识别目标图像中目标对象的姿态。

本公开实施例还提供了一种训练模型的装置，包括：数据获取单元，被配置成获取第一样本集、第二样本集、n个教师模型和待训练的姿态识别模型，其中，第一样本集包括多个已标记样本标签的第一样本图像，第二样本集包括多个未标记的第二样本图像，n为不小于2的正整数；标签生成单元，被配置成利用n个教师模型分别预测每个第二样本图像中的关键点，并将n个预测结果作为该第二样本图像的伪标签，得到每个第二样本图像对应的n个初始伪标签；标签聚合单元，被配置成对每个第二样本图像对应的n个初始伪标签进行聚合处理，修正该n个初始伪标签中关键点的位置，得到每个第二样本图像对应的目标伪标签；迭代训练单元，被配置成基于第一样本集、第二样本集以及每个第二样本图像对应的目标伪标签，对待训练的姿态识别模型进行迭代训练，得到训练后的姿态识别模型。

本公开实施例还提供了一种姿态识别装置，包括：图像获取单元，被配置成获取包括目标对象的目标图像；姿态识别单元，被配置成通过上述任一实施例中的训练模型的方法得到的训练后的姿态识别模型识别目标图像中目标对象的姿态。

本公开的实施例还提供了一种电子设备，包括：存储器，用于存储计算机程序产品；处理器，用于执行存储器中存储的计算机程序产品，且计算机程序产品被执行时，实现上述任一实施例中的方法。

本公开的实施例还提供了一种计算机可读存储介质，其上存储有计算机程序指令，该计算机程序指令被处理器执行时，实现上述任一实施例中的方法。

本公开提供的训练模型的方法、装置、设备和介质，可以对n个教师模型输出的初始伪标签进行聚合处理，以修正初始伪标签中关键点的位置，可以得到准确度更高的目标伪标签，并剔除其中的噪音伪标签，从而避免了噪音伪标签对模型训练的不利影响，有助于提高姿态识别模型的训练质量，得到准确度更高的姿态识别模型。

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

附图说明

构成说明书的一部分的附图描述了本公开的实施例，并且连同描述一起用于解释本公开的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：

图1为本公开的训练模型的方法的一个实施例的流程图；

图2为本公开的训练模型的方法的又一个实施例的流程示意图；

图3为本公开的训练模型的方法的一个实施例中掩膜处理的流程示意图；

图4为本公开的训练模型的方法的一个实施例中生成目标伪标签的流程示意图；

图5为本公开的训练模型的方法的又一个实施例的流程示意图；

图6为本公开的训练模型的方法的一个实施例中迭代训练的示意图；

图7为本公开训练模型的装置一个实施例的结构示意图；

图8为本公开电子设备一个应用实施例的结构示意图。

具体实施方式

现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。

还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。

还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。

另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。

还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。

终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

本公开概述

在实施本公开的过程中，发明人发现，在利用教师模型生成无标签数据的伪标签时，由于教师模型自身的准确度限制，导致教师模型会不可避免的产生噪音伪标签。如果利用噪音伪标签指导模型的训练，会导致被训练的模型对噪音伪标签产生过拟合，进而导致训练得到的模型准确度下降。

示例性方法

下面结合图1对本公开的训练模型的方法进行示例性说明。图1示出了本公开的训练模型的方法的一个实施例的流程图，如图1所示，该流程包括以下步骤。

步骤110、获取第一样本集、第二样本集、n个教师模型和待训练的姿态识别模型。

其中，第一样本集包括多个已标记样本标签的第一样本图像，第二样本集包括多个未标记的第二样本图像，n为不小于2的正整数。

在本实施例中，教师模型可以是预先训练的姿态识别模型，例如可以是Resnet、卷积神经网络、循环神经网络等。n可以取不小于2的任意正整数，n的取值越大，姿态识别模型的训练效果越好，同时，训练过程对硬件的性能需求也越高，作为示例，n可以取2，此时可以兼顾训练效果和硬件成本。

通常，第一样本图像的数量可以小于第二样本图像的数量，如此一来，可以降低标记样本所产生的的工作量。

步骤120、利用n个教师模型分别预测每个第二样本图像中的关键点，并将n个预测结果作为该第二样本图像的伪标签，得到每个第二样本图像对应的n个初始伪标签。

在本实施例中，教师模型可以提取第二样本图像的图像特征，并根据图像特征预测各像素点为姿态关键点的置信度和类型标签，并根据各像素点的置信度和类型标签形成关键点热力图，得到该教师模型的预测结果，并作为第二样本图像的初始伪标签。

步骤130、对每个第二样本图像对应的n个初始伪标签进行聚合处理，修正该n个初始伪标签中关键点的位置，得到每个第二样本图像对应的目标伪标签。

在本实施例中，通过对n个初始伪标签的聚合处理，从n个初始伪标签中筛选出准确度最高的关键点，并根据筛选出的关键点生成目标伪标签。

作为示例，可以根据关键点的类型标签，从n个初始伪标签中选取置信度最高的关键点。以人体姿态识别为例，可以首先确定n个初始伪标签中头部关键点的置信度，然后选取置信度最高的初始伪标签中的头部关键点，作为目标伪标签中的头部关键点；分别对各个肢体关键点执行上述筛选步骤，可以从各个初始伪标签中筛选出置信度最高的各个肢体关键点，作为目标伪标签的肢体关键点。之后，可以根据筛选出的关键点的类型标签和置信度，生成关键点热力图，即得到目标伪标签。

步骤140、基于第一样本集、第二样本集以及每个第二样本图像对应的目标伪标签，对待训练的姿态识别模型进行迭代训练，得到训练后的姿态识别模型。

在本实施例中，可以通过第一样本集对待训练的姿态识别模型进行少量监督训练，同时，通过第二样本集中的第二样本图像及其伪标签对待训练的姿态识别模型进行大量半监督训练，以此得到训练后的姿态识别模型。

作为示例，待训练的姿态识别模型的迭代训练过程可以包括两个阶段，第一阶段是将第一样本图像作为输入，将样本标签作为期望输出，对待训练的姿态识别模型进行迭代训练，以更新待训练的姿态识别模型的模型参数；第二阶段，将第二样本图像作为输入，将目标伪标签作为期望输出，再次对待训练的姿态识别模型进行迭代训练，并再次更新待训练的姿态识别模型的模型参数，直至达到迭代终止条件，得到训练后的姿态识别模型。

本公开实施例提供的训练模型的方法，可以对n个教师模型输出的初始伪标签进行聚合处理，以修正初始伪标签中关键点的位置，可以得到准确度更高的目标伪标签，并剔除其中的噪音伪标签，从而避免了噪音伪标签对模型训练的不利影响，有助于提高姿态识别模型的训练质量，得到准确度更高的姿态识别模型。

接着参考图2，图2示出了本公开的训练模型的方法的又一个实施例的流程示意图，如图2所示，该流程包括以下步骤。

步骤210、获取第一样本集、第二样本集、n个教师模型和待训练的姿态识别模型。

步骤220、对每个第二样本图像进行第一类型的数据增强处理，得到每个第二样本图像对应的第三样本图像。

在本实施例中，第一类型的数据增强处理表示简单的数据增强处理，例如可以包括较小幅度的旋转、较小距离的平移等，具体可以是20°以下的旋转，10个像素以下的平移。

步骤230、将每个第二样本图像对应的第三样本图像分别输入n个教师模型，得到每个第二样本图像对应的n个初始伪标签。

在本实施例中，将第三样本图像输入教师模型后，可以将教师模型输出的预测结果作为第二样本图像的初始伪标签。

在本实施例中，可以对第二样本图像进行第一类型的数据增强处理后得到第三样本图像，由教师模型预测第三样本图像的关键点并输出预测结果，然后将预测结果作为第二样本图像的初始伪标签。有助于提高初始伪标签的准确度。

步骤240、对每个第二样本图像对应的n个初始伪标签进行聚合处理，修正该n个初始伪标签中关键点的位置，得到每个第二样本图像对应的目标伪标签。

步骤250、对每个第二样本图像进行第二类型的数据增强处理，得到每个第二样本图像对应的第四样本图像，并将每个第二样本图像对应的目标伪标签确定为每个第四样本图像的目标伪标签。

在本实施例中，第二类型的数据增强处理表示复杂增强处理，例如可以包括较大幅度的旋转、较大距离的平移等。具体可以是20°以上的旋转，10个像素以上的平移。

由此得到的第四样本图像可以与对应的第三样本图像组成样本图像对，每个样本图像对可以包括一个第二样本图像对应的简单增强处理和复杂增强处理得到两个样本图像。

步骤260、将第一样本图像输入待训练的姿态识别模型，并基于样本标签与待训练的姿态识别模型的输出结果，确定第一损失值。

步骤270、将第四样本图像输入待训练的姿态识别模型，并基于第四样本图像的目标伪标签与待训练的姿态识别模型的输出结果，确定第二损失值。

步骤280、基于第一损失值与第二损失值，调整待训练的姿态识别模型的模型参数。

迭代执行确定上述步骤260至步骤280，直至满足预设的迭代终止条件，得到训练后的姿态识别模型。

作为示例，迭代终止条件可以是损失函数收敛或达到预设的迭代次数。

在本实施例中，可以根据待训练的姿态识别模型对第一样本图像进行处理得到的输出结果与样本标签，确定第一损失值；然后，将第一数据增强处理后的第三样本图像输入教师模型中，得到第二样本图像的初始伪标签，再通过聚合处理得到第二样本图像的目标伪标签；之后，将第二数据增强处理后得到的第四样本图像输入待训练的姿态识别模型，并根据目标伪标签和待训练的姿态识别模型的输出结果确定第二损失值；再之后，根据第一损失值与第二损失值，调整待训练的姿态识别模型的模型参数，可以同时利用第一样本图像的样本标签和教师模型生成的伪标签指导待训练的姿态识别模型的训练过程，既可以降低标记图像数据产生的工作量，又可以避免噪音伪标签对训练过程造成的不利影响。

在上述实施例的一些可选的实施方式中，上述步骤250可以通过如下方式生成第四样本图像：对每个第二样本图像进行仿射变换处理，得到每个第二样本图像对应的变换后的图像；对每个第二样本图像对应的变换后的图像进行掩膜处理，得到每个第二样本图像对应的第四样本图像。

在本实施例方式中，仿射变换可以包括较大幅度的旋转和/或较大程度的平移。通过掩膜处理，可以将仿射变换后的图像中的部分或全部关键点进行遮挡，以生成第四样本图像。后续通过第四样本图像对待训练的姿态识别模型进行训练，可以提高训练质量，获得可以识别遮挡图像中的姿态且准确度更高的姿态识别模型。

进一步的，可以通过图3所示的流程对每个第二样本图像对应的变换后的图像进行掩膜处理，如图3所示，该流程可以包括以下步骤。

步骤310、获取待裁剪图像。

在本实施例中，待裁剪图像可以是预先确定的包含有识别对象的图像，例如待训练的姿态识别模型用于识别人体姿态时，待裁剪图像可以是包括人物的图像。

步骤320、从待裁剪图像中裁剪出肢体部位对应的图像区域，得到局部图像。

作为示例，可以利用目标检测模型识别出待剪裁图像的肢体部位，得到肢体部位对应的图像区域，然后从待剪裁图像中提取对应区域，得到局部图像。

步骤330、基于第二样本图像对应的n个初始伪标签，确定第二样本图像对应的变换后的图像中的关键点位置。

在本实施方式中，初始伪标签是由教师模型对第三样本图像进行处理得到的预测结果，由于第三样本图像是第二样本图像经第一类型的数据增强处理(即小幅度的仿射变换)得到的，而变换后的图像是第二样本图像经较大幅度的仿射变换得到的，在这里，可以根据仿射变换与第一类型的数据增强处理之间的差异程度，对初始伪标签进行仿射变换，再从变换后的初始伪标签中确定关键点位置。

作为示例，第一类型的数据增强处理依次包括：顺时针旋转15°、向右平移5个像素点；对第二样本图像进行的仿射变换可以包括顺时针旋转40°，向右平移15个像素点，由此可以确定，两种数据增强处理之间的差异程度可以表示为顺时针旋转25°和向右平移10个像素点。之后，可以对初始伪标签中进行如下处理：顺时针旋转25°、向右平移10个像素点，得到变换后的初始伪标签，然后从中确定出关键点位置。

步骤340、将局部图像贴附在第二样本图像对应的变换后的图像中的关键点位置，得到第二样本图像对应的第四样本图像。

在本实施方式中，可以在第二样本图像对应的变换后的图像中的部分或全部关键点位置上贴附局部图像，以此生成存在遮挡区域的第四样本图像。

在图3所示的实施方式中，可以利用教师模型生成的初始伪标签确定遮挡位置，然后将待裁剪图像中的局部图像贴附在对应的位置上，可以获得针对性更强的第四样本图像，有助于进一步提高训练质量。

接着参考图4，图4示出了本公开的训练模型的方法的一个实施例中生成目标伪标签的流程图，如图4所示，该流程包括以下步骤。

步骤410、获取n个教师模型在上轮迭代中得到的n个历史伪标签。

在本实施例中，一个第二样本图像对应一轮迭代(即上述步骤260至步骤270)，历史伪标签表示教师模型在上轮迭代中对上一个第二样本图像进行处理时生成的初始伪标签。

步骤420、对每个第二样本图像对应的n个初始伪标签和n个历史伪标签进行配对，确定多个标签对。

其中，标签对包括一个初始伪标签和一个历史伪标签。

作为示例，n为2，2个教师模型在t轮迭代中对第i个第二样本图像进行处理得到2个初始伪标签：A、B；2个教师模型在t-1轮迭代中对第i-1个第二样本图像进行处理得到2个历史伪标签：a、b。由此可以确定4个标签对，分别表示为A和a、A和b、B和a、B和b。

步骤430、从标签对包括的初始伪标签和历史伪标签中确定出具有匹配关系的关键点对，并确定关键点对中两个关键点的像素距离。

在本实施例中，可以通过关键点的类型标签或位置，对标签对中的初始伪标签和历史伪标签进行关键点匹配，确定出具有匹配关系的关键点对，并确定关键点对中两个关键点的像素距离。

继续结合步骤420中的示例进行说明，假设初始伪标签A和历史伪标签a组成的标签对中，初始伪标签A中的关键点1与历史伪标签a中的关键点2组成关键点对。其中，关键点1在初始伪标签A中的坐标为(x₁，y₁)，关键点2在历史伪标签a中的坐标为(x₂，y₂)，则关键点1与关键点2的像素距离可以表示为

步骤440、对于n个初始伪标签中具有相同标签的关键点，从包含该关键点的各关键点对中确定出像素距离最小的目标关键点对，并将该关键点在目标关键点对中的位置确定为该关键点的目标位置。

在本实施例中，关键点的目标位置表示关键点在目标伪标签中的位置。

继续结合步骤430中的示例进行说明，假设初始伪标签B与历史伪标签a组成的标签对中，初始伪标签B中的关键点3与关键点1具有相同的标签，且关键点3与关键点2组成关键点对。若关键点3与关键点2的像素距离小于关键点1与关键点2的像素距离，则关键点3与关键点2组成的关键点对为目标关键点对，且关键点3在初始伪标签B中的坐标为该关键点的目标位置。对初始伪标签A和初始伪标签B中的各个关键点执行步骤440，即可确定出各个关键点在目标伪标签中的目标位置。

步骤450、基于每个第二样本图像对应的n个初始伪标签中的各关键点及其目标位置，确定每个第二样本图像对应的目标伪标签。

在本实施例中，可以根据各个关键点的类型及其目标位置，确定目标伪标签中包含的各个关键点的类型及位置，进而得到目标伪标签。

在图4所示的实施例中，根据像素距离从各个关键点对中筛选出准确度最高的关键点对，进而确定关键点在目标伪标签中的目标位置，可以利用教师模型在上轮迭代中输出的历史伪标签与本轮迭代中输出的初始伪标签之间的位置不一致性，对伪标签中的关键点的位置进行修正，有助于提高目标伪标签中关键点的位置的准确度。

在图2所示的实施例的基础上参考图5，图5示出了本公开的训练模型的方法的一个实施例的流程图，图2所示的流程还可以进一步包括图5所示的流程，如图5所示，该流程以下步骤。

步骤510、将第一样本图像分别输入n个教师模型，并基于样本标签与n个教师模型的输出结果，确定n个教师模型中的各教师模型的第三损失值。

步骤520、依次将n个教师模型中的各教师模型作为学生模型，并将其他n-1个教师模型作为参考模型，得到n个模型组合。

步骤530、对于n个模型组合中的每个模型组合，将第四样本图像输入该模型组合中的学生模型，得到第四样本图像对应该模型组合的第一预测结果，并确定该模型组合中的参考模型对第四样本图像对应的第三样本图像进行处理时得到的n-1个初始伪标签。

步骤540、基于第四样本图像对应该模型组合的第一预测结果与n-1个初始伪标签，确定该模型组合对应的第四损失值。

在本实施例中，可以根据第一预测结果与n-1个初始伪标签之间的差异，确定每个模型组合对应的第四损失函数值，对每个模型组合执行步骤540即可得到n个第四损失值。

作为示例，可以首先对n-1个初始伪标签进行加权平均，得到处理后的伪标签；然后再根据处理后的伪标签与第一预测结果之间的差异，确定第四损失值。

步骤550、基于第三损失值与n个模型组合中的各模型组合对应的第四损失值，调整n个教师模型中各教师模型的模型参数。

进一步结合图6对本实施例进行说明，图6示出了训练模型的方法的一个实施例的迭代训练的示意图，如图6所示，本实施例中每一轮迭代训练姿态识别模型的流程可以包括三个阶段。第一阶段，将第一样本图像610分别输入第一教师模型630、第二教师模型640以及待训练的姿态识别模型650，然后根据预测结果与样本标签660，分别确定第一教师模型630对应的第三损失值1、第二教师模型640对应的第三损失函数2以及待训练的姿态识别模型650对应的第一损失值651，可以利用反向传播原理，根据损失值调整各个模型的参数。

之后，进入第二阶段。首先，将第二教师模型640作为学生网络，将第二样本图像620经第一类型的数据增强处理得到的第三样本图像621输入第一教师模型630，得到第一初始伪标签631；将第二样本图像620经第二类型的数据增强处理得到的第四样本图像622输入第二教师模型640，并根据第二教师模型640的预测结果与第一初始伪标签631，确定第二教师模型640对应的第四损失值1，在这里，可以根据第四损失值1对第二教师模型640的模型参数进行调整。然后，将第一教师模型630作为学生模型，将第三样本图像621输入第二教师模型640，得到第二初始伪标签641；将第四样本图像622输入第一教师模型630，并根据预测结果与第二初始伪标签641，确定第一教师模型630对应的第四损失值2，在这里，可以根据第四损失值2调整第一教师模型630的模型参数。之后，还可以对第一初始伪标签631和第二初始伪标签641进行聚合处理，得到目标伪标签670。

再之后，进入第三阶段。将第四样本图像622输入待训练的姿态识别模型650，并根据预测结果与目标伪标签670，确定第二损失值652，然后根据第二损失值652调整待训练的姿态识别模型650的模型参数。

迭代执行上述三个阶段，直至满足预设的迭代终止条件，即可得到训练后的姿态识别模型。

在本实施例中，可以通过n个教师模型之间的交互学习，确定n个第四损失值，再结合第三损失值，利用反向传播原理优化各教师模型的模型参数，在训练待训练的姿态识别模型的过程中，对各个教师模型进行优化，有助于进一步提高姿态识别模型的训练效果。

在一个具体的示例中，通过上述任一实施例得到的训练后的姿态识别模型，可以基于图像预测目标对象的姿态，目标对象包括但不限于人物、动物。例如，姿态识别模型可以提取输入图像的特征数据，然后基于特征数据预测图像中各个像素点为关键点的置信度和类型标签，在这里，关键点例如可以表征目标对象的骨骼关节，如此一来，通过多个关键点可以表征目标对象的姿态。之后，姿态识别模型可以根据各个像素点的置信度和类型标签，形成并输出关键点热力图。通过对关键点热力图的后处理，可以从中筛选置信度最高的各个关键点，并将各个关键点的坐标映射至输入图像，即可在输入图像中呈现目标对象的姿态。

得益于本公开的训练模型的方法，姿态识别模型的训练过程只需少量标注数据和大量无标注数据，降低了标注数据所产生的工作量；并且，通过对教师模型的初始伪标签进行聚合处理，剔除噪音标签对训练过程的不利影响，可以保证姿态识别模型具有更高的准确度。

基于上述任一实施例中的模型训练方法，本公开实施例还提供了一种姿态识别方法，包括：获取包括目标对象的目标图像；以及，通过上述任一实施例中的训练模型的方法得到的训练后的姿态识别模型识别目标图像中目标对象的姿态。

在本实施例中，目标对象可以是人或动物，每个目标图像中可以包括一个或多个目标对象。

作为示例，可以预先采用上述任一实施例中的训练模型的方法获取训练后的姿态识别模型，可以理解的是，若目标对象为人，则训练时采用的第一样本图像和第二样本图像均为包括人的图像；若目标对象为动物，则第一样本图像和第二样本图像均为包括动物的图像。之后，可以利用相机拍摄目标对象的图像，并将拍摄得到的目标图像作为姿态识别模型的输入数据，利用姿态识别模型对目标图像进行特征提取、特征映射等处理，识别出目标对象的关键点及其置信度，并输出热力图，该热力图即可表征目标对象的姿态。

本实施例中的姿态识别方法，可以通过上述实施例中训练模型的方法提高姿态识别模型的训练质量和准确度，从而提高姿态识别的准确度。

示例性装置

下面结合图7对本公开的训练模型的装置进行示例性说明，如图7所示，该装置包括：数据获取单元710，被配置成获取第一样本集、第二样本集、n个教师模型和待训练的姿态识别模型，其中，第一样本集包括多个已标记样本标签的第一样本图像，第二样本集包括多个未标记的第二样本图像，n为不小于2的正整数；标签生成单元720，被配置成利用n个教师模型分别预测每个第二样本图像中的关键点，并将n个预测结果作为该第二样本图像的伪标签，得到每个第二样本图像对应的n个初始伪标签；标签聚合单元730，被配置成对每个第二样本图像对应的n个初始伪标签进行聚合处理，修正该n个初始伪标签中关键点的位置，得到每个第二样本图像对应的目标伪标签；迭代训练单元740，被配置成基于第一样本集、第二样本集以及每个第二样本图像对应的目标伪标签，对待训练的姿态识别模型进行迭代训练，得到训练后的姿态识别模型。

在其中一个实施方式中，标签生成单元720进一步包括：第一增强模块，被配置成对每个第二样本图像进行第一类型的数据增强处理，得到每个第二样本图像对应的第三样本图像；标签生成模块，被配置成将每个第二样本图像对应的第三样本图像分别输入n个教师模型，得到每个第二样本图像对应的n个初始伪标签。

在其中一个实施方式中，该装置还包括：第二增强单元，被配置成对每个第二样本图像进行第二类型的数据增强处理，得到每个第二样本图像对应的第四样本图像，并将每个第二样本图像对应的目标伪标签确定为每个第四样本图像的目标伪标签；以及，迭代训练单元740进一步包括：第一模块，被配置成将第一样本图像输入待训练的姿态识别模型，并基于样本标签与待训练的姿态识别模型的输出结果，确定第一损失值；第二模块，被配置成将第四样本图像输入待训练的姿态识别模型，并基于第四样本图像的目标伪标签与待训练的姿态识别模型的输出结果，确定第二损失值；调整模块，被配置成基于第一损失值与第二损失值，调整待训练的姿态识别模型的模型参数；迭代模块，被配置成迭代执行确定第一损失值的步骤、确定第二损失值的步骤和调整待训练的姿态识别模型的模型参数的步骤，直至满足预设的迭代终止条件，得到训练后的姿态识别模型。

在其中一个实施方式中，标签聚合单元730进一步包括：获取模块，被配置成获取n个教师模型在上轮迭代中得到的n个历史伪标签；组合模块，被配置成对每个第二样本图像对应的n个初始伪标签和n个历史伪标签进行配对，确定多个标签对，标签对包括一个初始伪标签和一个历史伪标签；匹配模块，被配置成从标签对包括的初始伪标签和历史伪标签中确定出具有匹配关系的关键点对，并确定关键点对中两个关键点的像素距离；筛选模块，被配置成对于n个初始伪标签中具有相同标签的关键点，从包含该关键点的各关键点对中确定出像素距离最小的目标关键点对，并将该关键点在目标关键点对中的位置确定为该关键点的目标位置；聚合模块，被配置成基于每个第二样本图像对应的n个初始伪标签中的各关键点及其目标位置，确定每个第二样本图像对应的目标伪标签。

在其中一个实施方式中，第二增强单元进一步包括：变换模块，被配置成对每个第二样本图像进行仿射变换处理，得到每个第二样本图像对应的变换后的图像；掩膜模块，被配置成对每个第二样本图像对应的变换后的图像进行掩膜处理，得到每个第二样本图像对应的第四样本图像。

在其中一个实施方式中，该装置还包括：第一输入单元，被配置成将第一样本图像分别输入n个教师模型，并基于样本标签与n个教师模型的输出结果，确定n个教师模型中的各教师模型的第三损失值；模型组合单元，被配置成依次将n个教师模型中的各教师模型作为学生模型，并将其他n-1个教师模型作为参考模型，得到n个模型组合；第二输入单元，被配置成对于n个模型组合中的每个模型组合，将第四样本图像输入该模型组合中的学生模型，得到第四样本图像对应该模型组合的第一预测结果，并确定该模型组合中的参考模型对第四样本图像对应的第三样本图像进行处理时得到的n-1个初始伪标签；损失确定单元，被配置成基于第四样本图像对应该模型组合的第一预测结果与n-1个初始伪标签，确定该模型组合对应的第四损失值；模型调整单元，被配置成基于第三损失值与n个模型组合中的各模型组合对应的第四损失值，调整n个教师模型中各教师模型的模型参数。

在其中一个实施方式中，掩膜模块进一步配置成：获取待裁剪图像；从待裁剪图像中裁剪出肢体部位对应的图像区域，得到局部图像；基于第二样本图像对应的n个初始伪标签，确定第二样本图像对应的变换后的图像中的关键点位置；将局部图像贴附在第二样本图像对应的变换后的图像中的关键点位置，得到第二样本图像对应的第四样本图像。

此外，本公开实施例还提供一种姿态识别装置，包括：图像获取单元，被配置成获取包括目标对象的目标图像；姿态识别单元，被配置成通过上述任一实施例中的训练模型的方法得到的训练后的姿态识别模型识别目标图像中目标对象的姿态。

示例性电子设备

下面，参考图8来描述根据本公开实施例的电子设备。

图8图示了根据本公开实施例的电子设备的框图。

如图8所示，电子设备包括一个或多个处理器和存储器。

处理器可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。

存储器可以存储一个或多个计算机程序产品，所述存储器可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序产品，处理器可以运行所述计算机程序产品，以实现上文所述的本公开的各个实施例的训练模型的方法和/或姿态识别方法以及/或者其他期望的功能。

在一个示例中，电子装置还可以包括：输入装置和输出装置，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

此外，该输入装置还可以包括例如键盘、鼠标等等。

该输出装置可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出装置等等。

当然，为了简化，图8中仅示出了该电子设备中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备还可以包括任何其他适当的组件。

除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述部分中描述的根据本公开各种实施例的训练模型的方法和/或姿态识别方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述部分中描述的根据本公开各种实施例的训练模型的方法和/或姿态识别方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (12)

1.一种训练模型的方法，其特征在于，包括：

获取第一样本集、第二样本集、n个教师模型和待训练的姿态识别模型，其中，所述第一样本集包括多个已标记样本标签的第一样本图像，所述第二样本集包括多个未标记的第二样本图像，n为不小于2的正整数；

利用所述n个教师模型分别预测每个所述第二样本图像中的关键点，并将n个预测结果作为该第二样本图像的伪标签，得到每个所述第二样本图像对应的n个初始伪标签；

对每个所述第二样本图像对应的n个初始伪标签进行聚合处理，修正该n个初始伪标签中关键点的位置，得到每个所述第二样本图像对应的目标伪标签；

基于所述第一样本集、所述第二样本集以及每个所述第二样本图像对应的目标伪标签，对所述待训练的姿态识别模型进行迭代训练，得到训练后的姿态识别模型。

2.根据权利要求1所述的方法，其特征在于，利用所述n个教师模型分别预测每个所述第二样本图像中的关键点，并将预测结果作为该第二样本图像的伪标签，得到每个所述第二样本图像对应的n个初始伪标签，包括：

对每个所述第二样本图像进行第一类型的数据增强处理，得到每个所述第二样本图像对应的第三样本图像；

将每个所述第二样本图像对应的第三样本图像分别输入所述n个教师模型，得到每个所述第二样本图像对应的n个初始伪标签。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：对每个所述第二样本图像进行第二类型的数据增强处理，得到每个所述第二样本图像对应的第四样本图像，并将每个所述第二样本图像对应的目标伪标签确定为每个所述第四样本图像的目标伪标签；以及，

所述基于所述第一样本集、所述第二样本集以及每个所述第二样本图像对应的目标伪标签，对所述待训练的姿态识别模型进行迭代训练，得到训练后的姿态识别模型，包括：将所述第一样本图像输入所述待训练的姿态识别模型，并基于所述样本标签与所述待训练的姿态识别模型的输出结果，确定第一损失值；将所述第四样本图像输入所述待训练的姿态识别模型，并基于所述第四样本图像的目标伪标签与所述待训练的姿态识别模型的输出结果，确定第二损失值；基于所述第一损失值与所述第二损失值，调整所述待训练的姿态识别模型的模型参数；迭代执行所述确定第一损失值的步骤、所述确定第二损失值的步骤和所述调整所述待训练的姿态识别模型的模型参数的步骤，直至满足预设的迭代终止条件，得到所述训练后的姿态识别模型。

4.根据权利要求3所述的方法，其特征在于，对每个所述第二样本图像对应的n个初始伪标签进行聚合处理，修正该n个初始伪标签中关键点的位置，得到每个所述第二样本图像对应的目标伪标签，包括：

获取所述n个教师模型在上轮迭代中得到的n个历史伪标签；

对每个所述第二样本图像对应的n个初始伪标签和所述n个历史伪标签进行配对，确定多个标签对，所述标签对包括一个初始伪标签和一个历史伪标签；

从所述标签对包括的初始伪标签和历史伪标签中确定出具有匹配关系的关键点对，并确定所述关键点对中两个关键点的像素距离；

对于所述n个初始伪标签中具有相同标签的关键点，从包含该关键点的各所述关键点对中确定出像素距离最小的目标关键点对，并将该关键点在所述目标关键点对中的位置确定为该关键点的目标位置；

基于每个所述第二样本图像对应的n个初始伪标签中的各关键点及其目标位置，确定所述每个所述第二样本图像对应的目标伪标签。

5.根据权利要求3或4所述的方法，其特征在于，对每个所述第二样本图像进行第二类型的数据增强处理，得到每个所述第二样本图像对应的第四样本图像，包括：

对每个所述第二样本图像进行仿射变换处理，得到每个所述第二样本图像对应的变换后的图像；

对每个所述第二样本图像对应的变换后的图像进行掩膜处理，得到每个所述第二样本图像对应的第四样本图像。

6.根据权利要求5所述的方法，其特征在于，对每个所述第二样本图像对应的n个初始伪标签进行聚合处理之前，所述方法还包括：

将所述第一样本图像分别输入所述n个教师模型，并基于所述样本标签与所述n个教师模型的输出结果，确定所述n个教师模型中的各教师模型的第三损失值；

依次将所述n个教师模型中的各教师模型作为学生模型，并将其他n-1个教师模型作为参考模型，得到n个模型组合；

对于所述n个模型组合中的每个模型组合，将所述第四样本图像输入该模型组合中的学生模型，得到所述第四样本图像对应该模型组合的第一预测结果，并确定该模型组合中的参考模型对所述第四样本图像对应的第三样本图像进行处理时得到的n-1个初始伪标签；基于所述第四样本图像对应该模型组合的第一预测结果与所述n-1个初始伪标签，确定该模型组合对应的第四损失值；

基于所述第三损失值与所述n个模型组合中的各模型组合对应的第四损失值，调整所述n个教师模型中各教师模型的模型参数。

7.根据权利要求6所述的方法，其特征在于，对每个所述第二样本图像对应的变换后的图像进行掩膜处理，得到每个所述第二样本图像对应的第四样本图像，包括：

获取待裁剪图像；

从所述待裁剪图像中裁剪出肢体部位对应的图像区域，得到局部图像；

基于所述第二样本图像对应的n个初始伪标签，确定所述第二样本图像对应的变换后的图像中的关键点位置；

将所述局部图像贴附在所述第二样本图像对应的变换后的图像中的关键点位置，得到所述第二样本图像对应的第四样本图像。

8.一种姿态识别方法，其特征在于，包括：

获取包括目标对象的目标图像；以及

通过权利要求1至7中任一项得到的训练后的姿态识别模型识别所述目标图像中所述目标对象的姿态。

9.一种训练模型的装置，其特征在于，包括：

数据获取单元，被配置成获取第一样本集、第二样本集、n个教师模型和待训练的姿态识别模型，其中，所述第一样本集包括多个已标记样本标签的第一样本图像，所述第二样本集包括多个未标记的第二样本图像，n为不小于2的正整数；

标签生成单元，被配置成利用所述n个教师模型分别预测每个所述第二样本图像中的关键点，并将n个预测结果作为该第二样本图像的伪标签，得到每个所述第二样本图像对应的n个初始伪标签；

标签聚合单元，被配置成对每个所述第二样本图像对应的n个初始伪标签进行聚合处理，修正该n个初始伪标签中关键点的位置，得到每个所述第二样本图像对应的目标伪标签；

迭代训练单元，被配置成基于所述第一样本集、所述第二样本集以及每个所述第二样本图像对应的目标伪标签，对所述待训练的姿态识别模型进行迭代训练，得到训练后的姿态识别模型。

10.一种姿态识别装置，其特征在于，包括：

图像获取单元，被配置成获取包括目标对象的目标图像；

姿态识别单元，被配置成通过权利要求1至7中任一项得到的训练后的姿态识别模型识别所述目标图像中所述目标对象的姿态。

11.一种电子设备，其特征在于，包括：

存储器，用于存储计算机程序产品；

处理器，用于执行所述存储器中存储的计算机程序产品，且所述计算机程序产品被执行时，实现上述权利要求1-8任一所述的方法。

12.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该计算机程序指令被处理器执行时，实现上述权利要求1-8任一所述的方法。

Images