CN115761890A - 人体姿态分类方法、设备和存储介质 - Google Patents

Abstract

本发明公开了一种人体姿态分类方法、设备和存储介质，人体姿态分类方法包括：将待分类人体图像包含的多个人体划分为若干种人体，若干种人体包括次要人体；对待分类人体图像中对应次要人体的次要人体区域进行填充，得到填充图像；利用填充图像进行人体姿态分类，得到目标姿态分类结果。由于填充图像中的次要人体区域被填充，在对填充图像进行人体姿态分类时，可以避免次要人体图像干扰人体姿态分类，从而可以提高人体姿态分类的准确性。

Description

人体姿态分类方法、设备和存储介质

技术领域

本发明涉及计算机视觉技术领域，特别是涉及一种人体姿态分类方法、设备和存储介质。

背景技术

人体姿态包括人体的动作或者行为，例如，站立、倒地、下蹲、坐地、坐椅子、趴桌子、扭头等。人体姿态分类指对人的动作或行为进行分类的过程，被广泛应用在健康检测、人机交互以及运动分析等场景中。

目前，通常通过对人体图像进行人体目标检测，并基于深度学习的方法实现人体姿态的分类。然而，当目标检测框中的图像包含多个人体时，在进行人体姿态分类时，多个人体之间会相互干扰，影响人体姿态分类的准确性。

发明内容

本发明主要解决的技术问题是提供一种人体姿态分类方法、设备和存储介质，能够提高人体姿态识别的准确性。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种人体姿态分类方法，所述方法包括：将待分类人体图像包含的多个人体划分为若干种人体，所述若干种人体包括次要人体；对所述待分类人体图像中对应所述次要人体的次要人体区域进行填充，得到填充图像；利用所述填充图像进行人体姿态分类，得到目标姿态分类结果。

其中，所述对所述待分类人体图像中对应所述次要人体的次要人体区域进行填充，得到填充图像，包括：从所述待分类人体图像的人体实例分割结果中，获取所述次要人体的位置表征信息；利用所述次要人体的位置表征信息，在所述待分类人体图像中确定所述次要人体区域；按照预设像素值填充方式，对所述待分类人体图像中的所述次要人体区域进行像素值填充，得到所述填充图像。

其中，所述位置表征信息包括人体检测框位置信息和人体分割掩码中的至少一种，所述利用所述次要人体的位置表征信息，在所述待分类人体图像中确定所述次要人体区域，包括以下任意一个步骤：将所述待分类人体图像中的次要人体检测框区域作为所述次要人体区域，所述次要人体检测框区域为与所述次要人体的人体检测框位置信息对应的区域；将所述待分类人体图像中的次要人体分割掩码区域作为所述次要人体区域，所述次要人体分割掩码区域为与所述次要人体的人体分割掩码对应的区域；将所述待分类人体图像中的人体交集区域作为所述次要人体区域，所述人体交集区域为所述次要人体的次要人体检测框区域与次要人体分割掩码区域之间的交集区域。

其中，所述若干种人体包括主要人体，所述利用所述填充图像进行人体姿态分类，得到目标姿态分类结果，包括：从所述待分类人体图像的人体实例分割结果中，获取所述主要人体的位置表征信息；利用所述主要人体的位置表征信息，对所述填充图像中所述主要人体对应的主要人体区域进行去干扰，得到主要人体图像；对所述主要人体图像进行人体姿态分类，得到目标姿态分类结果。

其中，所述位置表征信息包括人体分割掩码，所述利用所述主要人体的位置表征信息，对所述填充图像中所述主要人体对应的主要人体区域进行去干扰，得到主要人体图像，包括：对所述填充图像和所述主要人体的人体分割掩码进行融合，得到所述主要人体图像；和/或，所述对所述主要人体图像进行人体姿态分类，得到目标姿态分类结果，包括：利用姿态分类网络对所述主要人体图像进行姿态分类，得到目标姿态分类结果。

其中，所述将待分类人体图像包含的多个人体划分为若干种人体，包括：基于所述待分类人体图像的人体关键点检测结果，将所述多个人体划分为所述若干种人体，所述人体关键点检测结果包括待划分人体的关键点信息，所述待划分人体为所述待分类人体图像中能够被检测到关键点的所述人体，所述待划分人体的关键点信息包括所述待划分人体的关键点数量和所述待划分人体的每个关键点的置信度中的至少一者。

其中，所述基于所述待分类人体图像的人体关键点检测结果，将所述多个人体划分为所述若干种人体，包括：将所述关键点数量满足第一要求的所述待划分人体确定为主要人体；或者，利用各所述待划分人体的每个关键点的置信度，得到各所述待划分人体的综合置信度，将所述综合置信度满足第二要求的所述待划分人体确定为所述主要人体；或者，获取各所述待划分人体的关键点数量以及综合置信度的加权结果，将所述加权结果满足第三要求的所述待划分人体确定为所述主要人体；以及，将所述待分类人体图像中除所述主要人体之外的其他人体确定为所述次要人体。

其中，在所述将待分类人体图像包含的多个人体划分为若干种人体之前，还包括：基于所述待分类人体图像的人体关键点检测结果或者人体实例分割结果，确定所述待分类人体图像包含的人体数量；响应于所述人体数量为单个，将所述人体实例分割结果中的初始姿态分类结果作为所述目标姿态分类结果；响应于所述人体数量为至少两个，执行所述将待分类人体图像包含的多个人体划分为若干种人体及后续步骤。

其中，所述若干种人体是基于所述待分类人体图像的人体关键点检测结果而划分得到的，所述次要人体区域是基于所述待分类人体图像的人体实例分割结果确定的；在所述将待分类人体图像包含的多个人体划分为若干种人体之前，所述方法还包括：利用人体图像处理模型的共享特征提取网络对所述待分类人体图像进行特征提取，得到特征图像；利用所述人体图像处理模型的关键点检测分支对所述特征图像进行关键点检测，得到所述人体关键点检测结果；以及，利用所述人体图像处理模型的实例分割分支对所述特征图像进行实例分割，得到所述人体实例分割结果。

其中，所述实例分割分支包括分类子分支和分割子分支，所述方法还包括：利用所述共享特征提取网络对样本图像进行特征提取，得到样本特征图像；利用所述关键点检测分支对所述样本特征图像进行关键点检测，得到样本关键点检测结果；以及，利用所述分割子分支对所述样本特征图像进行人体分割，得到所述样本图像的样本人体分割掩码，利用所述分类子分支对所述样本特征图进行分类处理，得到样本分类结果，所述样本分类结果包括样本初始姿态分类结果、以及所述样本图像中各人体的样本人体检测框信息；获取所述样本关键点检测结果与所述样本图像的实际关键点结果之间的第一差异、所述样本人体分割掩码与所述样本图像的实际人体分割掩码之间的第二差异、所述样本分类结果与所述样本图像的实际分类结果之间的第三差异；基于所述第一差异、第二差异和第三差异，调整所述共享特征提取网络的参数，基于所述第一差异调整所述关键点检测分支的参数，基于所述第二差异、第三差异调整所述实例分割分支中的分类子分支和分割子分支的参数。

其中，在所述将待分类人体图像包含的多个人体划分为若干种人体之前，所述方法还包括：对原始图像进行预处理，得到预处理图像；利用人体检测模块对所述预处理图像进行人体目标检测，得到所述预处理图像中各人体目标的初始检测框；裁剪所述预处理图像中与其中一个人体目标的初始检测框对应的图像部分，得到所述待分类人体图像。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种处理设备，包括相互耦接的存储器和处理器，存储器存储有程序指令；处理器用于执行存储器中存储的程序指令，以实现上述人体姿态分类方法。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质用于存储程序指令，程序指令能够被执行以实现上述人体姿态分类方法。

以上方案，当待分类人体图像中包括多个人体时，先对待分类人体图像中对应次要人体的次要人体区域进行填充，得到填充图像。然后再利用填充图像进行人体姿态分类，得到目标姿态分类结果。由于填充图像中的次要人体区域被填充，在对填充图像进行人体姿态分类时，可以避免次要人体图像干扰人体姿态分类，从而可以提高人体姿态分类的准确性。

附图说明

图1是本申请提供的人体姿态分类方法一实施例的流程示意图；

图2是本申请提供的人体图像处理模型一实施例的框架示意图；

图3是本申请提供的人体姿态分类方法另一实施例的流程示意图；

图4是本申请提供的人体姿态分类装置一实施例的框架示意图；

图5是本申请提供的处理设备一实施例的框架示意图；

图6是本申请提供的计算机可读存储介质一实施例的框架示意图。

具体实施方式

为使本申请的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本申请进一步详细说明。

需要说明的是，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

另外，若本申请实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。

请参阅图1，图1是本申请提供的人体姿态分类方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图1所示的流程顺序为限。如图1所示，该方法包括如下步骤：

S101：将待分类人体图像包含的多个人体划分为若干种人体。

本实施例中，待分类人体图像可以通过对原始图像进行预处理以及人体目标检测得到。例如，利用人体检测模块对预处理图像进行人体目标检测，得到预处理图像中各人体目标的初始检测框；将其中一个人体目标对应的初始检测框内图像作为待分类人体图像。

人体较为密集或者因图像检测装置视角因素可能会导致待分类人体图像中包含多个人体，多个人体中包括除人体目标之外的其他人体。在一实施方式中，当待分类人体图像中包含多个人体时，划分的若干种人体包括主要人体和次要人体。主要人体指前述的人体目标；次要人体指待分类人体图像中除了主要人体之外的其他人体。在对待分类人体图像进行分类时，次要人体的图像会影响主要人体的人体姿态分类结果。

在一实施方式中，可以基于待分类人体图像的人体关键点检测结果，将待分类人体图像包含的多个人体划分为主要人体和次要人体。人体关键点检测结果包括待划分人体的关键点信息，待划分人体为待分类人体图像中能够被检测到关键点的人体。待划分人体的关键点信息包括待划分人体的关键点数量和待划分人体的每个关键点的置信度中的至少一者。例如，将关键点数量最多的待划分人体作为主要人体；或者，将关键点置信度之和最高的待划分人体作为主要人体；或者，对各待划分人体的关键点数量和关键点置信度之和进行加权，将加权结果最高的待划分人体作为主要人体。以及，将待分类人体图像中除了主要人体之外的其他人体作为次要人体。

可以理解的是，在其他实施方式中，还可以采用其他方式对待分类人体图像包含的多个人体进行划分。例如，基于待分类人体图像中各人体的图像面积进行划分。将待分类人体图像中图像面积最大的人体作为主要人体，将待分类人体图像中除了主要人体之外的其他人体作为次要人体。本实施例对此不作限定。

S102：对待分类人体图像中对应次要人体的次要人体区域进行填充，得到填充图像。

本实施例中，可以先基于次要人体的位置表征信息，在待分类人体图像中确定次要人体对应的次要人体区域。然后，对待分类人体图像中的次要人体区域进行像素值进行填充，得到填充图像。

在一示例中，次要人体的位置表征信息包括次要人体的人体检测框位置信息和次要人体的人体分割掩码中的至少一种。次要人体的人体检测框位置信息和次要人体的人体分割掩码通过对待分类人体图像进行人体实例分割得到。在其他的示例中，次要人体的位置表征信息还可以是其他的位置信息，例如，次要人体图像对应的边界坐标信息。本实施例对此不作限定。

需要说明的是，本实施例中，填充的次要人体区域可以是待分类人体图像中次要人体的全部图像。或者，填充的次要人体区域可以是待分类人体图像中次要人体的部分图像，剩余未被填充的部分次要人体图像对主要人体的人体姿态分类结果影响较小。

S103：利用填充图像进行人体姿态分类，得到目标姿态分类结果。

在一实施方式中，可以直接将填充图像输入至姿态分类网络，利用姿态分类网络对填充图像进行人体姿态分类，得到目标姿态分类结果。

在一实施方式中，还可以利用主要人体的位置表征信息，对填充图像中主要人体的主要人体区域进行去干扰，得到主要人体图像；然后，将主要人体图像输入至姿态分类网络进行人体姿态分类，得到目标姿态分类结果。示例性地，主要人体的位置表征信息可以是主要人体的人体分割掩码或者主要人体图像对应的边界坐标信息。主要人体的人体分割掩码或者主要人体图像对应的边界坐标信息可以为姿态分类网络提供主要人体的轮廓信息，使得姿态分类网络在对主要人体图像进行人体姿态分类时，更加关注于轮廓内的特征，减少轮廓外信息对人体姿态分类产生干扰。

本实施例中，当待分类人体图像中包括多个人体时，先对待分类人体图像中对应次要人体的次要人体区域进行填充，得到填充图像。然后再利用填充图像进行人体姿态分类，得到目标姿态分类结果。由于填充图像中的次要人体区域被填充，在对填充图像进行人体姿态分类时，可以避免次要人体图像干扰人体姿态分类，从而可以提高人体姿态分类的准确性。

请参阅图2，图2是本申请提供的人体图像处理模型一实施例的框架示意图。如图2所示，该人体图像处理模型包括：共享特征提取网络、关键点检测分支和实例分割分支，关键点检测分支和实例分割分支共用共享特征提取网络。

其中，共享特征提取网络用于对待分类人体图像进行特征提取，得到特征图像。在一示例中，共享特征提取网络为resnet系列网络，例如resnet18、resnet34或者resnet50。在其他示例中，共享特征提取网络还可以是其他类型的特征提取网络，本实施例对此不作具体限定。共享特征提取网络中包含多次下采样。例如，共享特征提取网络中包含5次下采样，输入至共享特征提取网络的待分类人体图像的分辨率为256*256，待分类人体图像经过5次下采样后得到分辨率为8*8的特征图像。

关键点检测分支用于对特征图像进行关键点检测，得到人体关键点检测结果。人体关键点检测结果包括人体的各关键点、各关键点的置信度以及各关键点之间的连接关系等。在一示例中，关键点检测分支采用自下而上的方式对特征图像进行关键点检测。例如，关键点检测分支采用PIF(Part Intensity Field，部件强度场)定位人体各关键点，采用PAF(Part Association Field，部件关联场)将人体的各关键点相关联，形成完整的人体姿势。关键点检测分支的检测效率与输入的特征图像的分辨率有关，例如，当输入至关键点检测分支的特征图像的分辨率为32*32时，关键点检测分支的检测效率最高。可选地，本实施例中，共享特征提取网络与关键点检测分支之间还包括反卷积模块，反卷积模块用于对共享特征提取网络输出的低分辨率的特征图像扩张至设定大小的分辨率，再输出至关键点检测分支。例如，共享特征提取网络输出分辨率为8*8的特征图像，经过反卷积模块处理后得到分辨率为32*32的图像输入至关键点检测分支。

实例分割分支用于对特征图像进行实例分割，得到人体实例分割结果。实例分割分支包括分割子分支和分类子分支，人体实例分割结果包括通过分割子分支得到的人体分割掩码，以及通过分类子分支得到的初始姿态分类结果和人体检测框位置信息等。在一示例中，实例分割分支包括RPN(Region Proposal Network，区域推荐网络)、Rol Align(全连接层)和3个head分支，3个head分支包括Mask(掩码)分支、Bbox Regression(边界框回归)分支和Classfication(分类)分支。其中，RPN用于生成区域候选框。ROI用于将各区域候选框所对应的特征图区域统一为同一尺寸，然后输出至3个head分支。Mask子分支用于对候选区域中的目标进行像素级分类，Bbox Regression分支用于对候选区域进行边界框的回归，Classfication分支用于对候选区域进行分类。

上述人体图像处理模型为基于样本图像训练好的模型，本实施例中采用多任务联合训练的方式得到上述人体图像处理模型。在一实施方式中，多任务联合训练包括以下步骤：利用共享特征提取网络对样本图像进行特征提取，得到样本特征图像；利用关键点检测分支对样本特征图像进行关键点检测，得到样本关键点检测结果；以及，利用分割子分支对样本特征图像进行人体分割，得到样本图像的样本人体分割掩码，利用分类子分支对样本特征图进行分类处理，得到样本分类结果，样本分类结果包括样本初始姿态分类结果以及样本图像中各人体的样本人体检测框信息；获取样本关键点检测结果与样本图像的实际关键点结果之间的第一差异、样本人体分割掩码与样本图像的实际人体分割掩码之间的第二差异、样本分类结果与样本图像的实际分类结果之间的第三差异；基于第一差异、第二差异和第三差异，调整共享特征提取网络的参数，基于第一差异调整关键点检测分支的参数，基于第二差异、第三差异调整实例分割分支中的分类子分支和分割子分支的参数。

具体地，当第一差异、第二差异和第三差异之和小于差异阈值时得到的人体图像处理模型作为上述人体图像处理模型。示例性地，第一差异、第二差异和第三差异可以分别由对应的损失函数实现。

本实施例中，采用多任务联合训练的方式得到人体图像处理模型，关键点检测分支和实例分割分支(包括分割子分支和分类子分支)共用共享特征提取网络。在进行模型训练时，关键点检测分支和实例分割分支可以为共享特征提取网络提供一些辅助信息。例如，关键点检测分支可以为共享特征提取网络提供关键点信息(例如，人体各关键点以及各关键点之间的连接关系)，实例分割分支可以为共享特征提取网络提供人体轮廓信息等。这些辅助信息可以使得共享特征提取网络更容易学习到人体的关键信息以及人体轮廓信息等，使得共享特征提取网络提取的特征更有利于人体姿态分类，从而可以促使人体姿态分类更加准确和更具鲁棒性，提高人体姿态分类的效果。

请参阅图3，图3是本申请提供的人体姿态分类方法另一实施例的流程示意图，该方法基于图2中的人体图像处理模型实现。如图3所示，该方法包括如下步骤：

S301：获取待分类人体图像。

本实施例中，待分类人体图像通过对原始图像进行预处理以及人体目标检测得到。步骤S301包括以下子步骤：

子步骤一，对原始图像进行预处理，得到预处理图像。

示例性地，原始图像可以通过图像检测设备获取。

示例性地，预处理包括平移、旋转和放缩中的至少一种。对原始图像进行平移处理指将原始图像中所有像素点按照给定的平移量进行水平或垂直方向上的移动。对原始图像进行旋转指将原始图像以某一点为中心旋转一定的角度。对原始图像进行放缩指对原始图像的图像大小进行调整。通过对原始图像进行预处理，可以消除原始图像中部分无关信息，增强有关信息的可检测性。

子步骤二，利用人体检测模块对预处理图像进行人体目标检测，得到预处理图像中各人体目标的初始检测框。

本实施例中，预处理图像中包括多个人体目标，对预处理图像进行人体目标检测后，可以得到针对每个人体目标的初始检测框。各初始检测框内除了包括对应的人体目标的图像外，可能还包括其他次要人体的图像。

子步骤三，裁剪预处理图像中与其中一个人体目标的初始检测框对应的图像部分，得到待分类人体图像。

S302：利用人体图像处理模型的共享特征提取网络对待分类人体图像进行特征提取，得到特征图像。

共享特征提取网络以及特征提取的相关内容参见图2所示的实施例，在此省略详细描述。

S303：利用人体图像处理模型的关键点检测分支对特征图像进行关键点检测，得到人体关键点检测结果。

本实施例中，人体关键点检测结果包括待划分人体的关键点信息。待划分人体为待分类人体图像中能够被检测到关键点的人体。待划分人体的关键点信息包括待划分人体的关键点数量和待划分人体的每个关键点的置信度中的至少一者。

关键点检测分支以及关键点检测的相关内容参见图2所示的实施例，在此省略详细描述。

S304：利用人体图像处理模型的实例分割分支对特征图像进行实例分割，得到人体实例分割结果。

本实施例中，人体实例分割结果包括一个初始姿态分类结果和各人体的位置表征信息。次要人体的位置表征信息用于表示次要人体在待分类人体图像中的图像位置。具体地，各人体的位置表征信息包括各人体检测框位置信息和人体分割掩码中的至少一种。例如，位置表征信息仅包括人体检测框位置信息；或者，位置表征信息仅包括人体分割掩码信息；或者，位置表征信息同时包括人体检测框位置信息和人体分割掩码。在一示例中，各人体的人体检测框位置信息包括各人体对应的人体检测框的坐标，例如，人体检测框的两个对角的坐标。各人体的人体分割掩码为二进制数据。

实例分割分支的相关内容参见图2所示的实施例，在此省略详细描述。

需要说明的是，本实施例中，对步骤S303和步骤S304的顺序不作具体限定，可以先执行步骤S303再执行步骤S304，或者先执行步骤S304再执行步骤S303，或者同时执行步骤S303和步骤S304。

S305：确定待分类人体图像包含的人体数量。

在一实施方式中，基于待分类人体图像的人体关键点检测结果或者待分类人体图像的人体实例分割结果，确定待分类人体图像包含的人体数量。

具体地，待分类人体图像的人体关键点检测结果中，每个人体对应一组关键点信息。将待分类人体图像针对各人体的关键点信息的组数作为待分类人体图像包含的人体数量。或者，待分类人体图像的人体实例分割结果中，每个人体对应一组位置表征信息。将待分类人体图像针对各人体的位置表征信息的组数，作为待分类人体图像包含的人体数量。

S306：判断待分类人体图像包含的人体数量是否为单个。如果待分类人体图像包含的人体数量为单个，则执行步骤307；如果待分类人体图像包含的人体数量为至少两个，则执行步骤308。

当待分类人体图像包含的人体数量为单个时，由于人体图像处理模型是基于多任务联合训练的方式得到的，该单个人体对应的初始姿态分类结果较为准确，因此，可以直接将人体实例分割结果中的初始姿态分类结果作为目标姿态分类结果。当待分类人体图像包含的人体数量为至少两个时，进行人体姿态分类时该至少两个人体之间会相互干扰，导致初始姿态分类结果不够准确。因此，本实施例中当待分类人体图像包多个人体时，先排除待分类人体图像中的干扰因素，然后进行人体姿态分类，以提高人体姿态分类结果的准确性。

S307：将人体实例分割结果中的初始姿态分类结果作为目标姿态分类结果。

该目标姿态分类结果即为待分类人体图像中单个人体的姿态分类结果。

S308：基于待分类人体图像的人体关键点检测结果，将待分类人体图像包含的多个人体划分为若干种人体。

本实施例中，人体关键点检测结果包括待划分人体的关键点信息，基于待划分人体的关键点信息，将待分类人体图像包含的多个人体划分为主要人体和次要人体。其中，主要人体指前述初始检测框中的人体目标，次要人体指该初始检测框中除了人体目标之外的其他人体。在对待分类人体图像进行人体姿态分类时，次要人体图像会对主要人体的人体姿态分类产生干扰，进而导致主要人体的人体姿态分类不准确。因此，本实施例中先划分出待分类人体图像中的主要人体和次要人体，然后再进一步填充待分类人体图像中对应次要人体的次要人体区域图像。

在一实施方式中，待划分人体的关键点信息包括待划分人体的关键点数量。由于待分类人体图像中主要人体的关键点数量较多，次要人体的关键点数量较少，因此，本实施方式中可以基于待划分人体的关键点数量，对待分类人体图像包含的多个人体进行划分。具体地，将关键点数量满足第一要求的待划分人体确定为主要人体。以及，将待分类人体图像中除主要人体之外的其他人体确定为次要人体。第一要求为关键点数量最多。

在一实施方式中，待划分人体的关键点信息包括待划分人体的每个关键点的置信度。由于待分类人体图像中主要人体的图像比次要人体的图像清晰，即主要人体的关键点的置信度会高于次要人体的关键点的置信度。因此，本实施方式中基于待划分人体的每个关键点的置信度，对待分类人体图像包含的多个人体进行划分。具体地，利用各待划分人体的每个关键点的置信度，得到各待划分人体的综合置信度，将综合置信度满足第二要求的待划分人体确定为主要人体。以及，将待分类人体图像中除主要人体之外的其他人体确定为次要人体。第二要求为综合置信度的数值最高。各待划分人体的综合置信度为各待划分人体的各关键点的置信度之和。

在一实施方式中，待划分人体的关键点信息包括待划分人体的关键点数量和待划分人体的每个关键点的置信度。综合待划分人体的关键点数量和待划分人体的每个关键点的置信度，对待分类人体图像包含的多个人体进行划分。具体地，获取各待划分人体的关键点数量以及综合置信度的加权结果，将加权结果满足第三要求的待划分人体确定为主要人体。以及，将待分类人体图像中除主要人体之外的其他人体确定为次要人体。第三要求为加权结果的数值最高。各待划分人体的关键点数量对应的加权系数以及综合置信度对应的加权系数之和为设定值，例如，设定值为1。示例性地，各待划分人体的关键点数量对应的加权系数为0.5，综合置信度对应的加权系数为0.5。

可选地，本实施例中为了进一步提高待分类人体图像人体划分的准确性，在基于待划分人体的关键点信息对待分类人体图像的多个人体进行划分之前，还包括：剔除待划分人体的各关键点中置信度小于置信度阈值的关键点。置信度阈值根据实际需要进行设定。

S309：从待分类人体图像的人体实例分割结果中，获取次要人体的位置表征信息。

由于待分类人体图像的人体实例分割结果中包括各人体的位置表征信息，因此，可以直接从待分类人体图像的人体实例分割结果中获取次要人体的位置表征信息。

S310：利用次要人体的位置表征信息，在待分类人体图像中确定次要人体区域。

本实施例中，为了便于确定出待分类人体图像中次要人体的图像所在的位置，利用次要人体的位置表征信息，确定待分类人体图像中的次要人体区域。

在一实施方式中，次要人体的位置表征信息包括次要人体的人体分割掩码，将待分类人体图像中的次要人体分割掩码区域作为次要人体区域。次要人体分割掩码区域为与次要人体的人体分割掩码对应的区域。

在一实施方式中，次要人体的位置表征信息包括次要人体的人体检测框位置信息，将待分类人体图像中的次要人体检测框区域作为次要人体区域。次要人体检测框区域为与次要人体的人体检测框位置信息对应的区域。

在一实施方式中，次要人体的位置表征信息包括次要人体的人体分割掩码和次要人体的人体检测框位置信息。考虑到基于人体实例分割预测的次要人体的人体分割掩码可能不够准确，直接对次要人体分割掩码区域进行填充时，可能会填充到主要人体的图像；以及直接对次要人体检测框区域进行填充时，也可能会填充到主要人体的图像。因此，为了提高图像填充的准确性，本实施方式中，将待分类人体图像中的人体交集区域作为次要人体区域，人体交集区域为次要人体的次要人体检测框区域与次要人体分割掩码区域之间的交集区域。

可选地，上述后两种实施方式中，还可以将次要人体的人体检测框内的部分区域作为次要人体区域。例如，以距离次要人体检测框边界设定距离为边界，将该边界内的区域作为次要人体区域。设定距离可以根据实际的人体姿态分类效果进行设置。

S311：按照预设像素值填充方式，对待分类人体图像中的次要人体区域进行像素值填充，得到填充图像。

本实施例中，通过改变待分类人体图像中次要人体区域的像素值来实现填充次要人体区域对应的图像。像素值的变化范围为0～255。

在一些实施方式中，预设像素值填充方式为将次要人体区域的所有像素按照同一像素值填充，即将次要人体区域用同一种颜色填充。或者，预设像素值填充方式为将次要人体区域的所有像素的像素值随机进行填充，不同像素的像素值不同或者不同像素的像素值部分相同。本实施例对预设像素值的具体填充方式不作限定，只要能实现模糊次要人体区域对应的图像即可。

S312：利用填充图像进行人体姿态分类，得到目标姿态分类结果。

在一实施方式中，可以直接将填充图像输入至姿态分类网络，利用姿态分类网络对填充图像进行人体姿态分类，得到目标姿态分类结果。

在一实施方式中，还可以从待分类人体图像的人体实例分割结果中，获取主要人体的位置表征信息；利用主要人体的位置表征信息，对填充图像中主要人体对应的主要人体区域进行去干扰，得到主要人体图像；对主要人体图像进行人体姿态分类，得到目标姿态分类结果。通过对主要人体对应的主要人体区域进行去干扰，可以避免填充图像中的非主要人体区域的图像信息干扰人体姿态分类，进一步提高人体姿态分类的准确性。

在一具体应用中，主要人体的位置表征信息包括主要人体的分割掩码，通过对填充图像和主要人体的人体分割掩码进行融合，得到主要人体图像；利用姿态分类网络对主要人体图像进行姿态分类，得到目标姿态分类结果。在一示例中，采用concat融合的方式对填充图像和主要人体的人体分割掩码进行融合。在姿态分类网络进行人体姿态识别时，主要人体的人体分割掩码可以为姿态分类网络提供主要人体的轮廓信息，使得姿态分类网络更加关注主要人体轮廓范围内的特征，从而可以减少主要人体轮廓范围外的特征对主要人体的姿态分类产生干扰。

上述实施方式中，姿态分类网络可以是图2中的共享特征提取网络以及实例分割分支的分类子分支的组合，也可以是其他的分类网络，本实施例对此不作具体限制。

本实施例中，一方面，人体图像处理模型是通过多任务联合训练的方式得到的，当待分类人体图像中包括单个人体时，将人体图像处理模型对应的人体实例分割结果中的初始姿态分类结果作为目标姿态分类结果，可以提高单个人体的人体姿态分类的准确性。当待分类人体图像中包括多个人体时，先对待分类人体图像中对应次要人体的次要人体区域进行填充，得到填充图像；然后再利用填充图像进行人体姿态分类，得到目标姿态分类结果。由于填充图像中的次要人体区域被填充，在对填充图像进行人体姿态分类时，可以避免次要人体图像干扰人体姿态分类，从而可以进一步提高人体姿态分类的准确性。另一方面，相较于传统的基于穿戴设备进行人体姿态识别的方法，本实施例中提供的人体姿态分类方法无需人体穿戴设备，实时性好且具有更准确的人体姿态识别效果。

请参阅图4，图4是本申请提供的人体姿态分类装置一实施例的框架示意图。本实施方式中，人体姿态分类装置40包括：人体划分模块41、填充模块42和人体姿态分类模块43。

其中，人体划分模块41用于将待分类人体图像包含的多个人体划分为若干种人体，若干种人体包括次要人体。填充模块42用于对待分类人体图像中对应次要人体的次要人体区域进行填充，得到填充图像。人体姿态分类模块43用于利用填充图像进行人体姿态分类，得到目标姿态分类结果。

可选地，填充模块42用于从待分类人体图像的人体实例分割结果中，获取次要人体的位置表征信息；利用次要人体的位置表征信息，在待分类人体图像中确定次要人体区域；按照预设像素值填充方式，对待分类人体图像中的次要人体区域进行像素值填充，得到填充图像。

可选地，位置表征信息包括人体检测框位置信息和人体分割掩码中的至少一种，填充模块42利用次要人体的位置表征信息，在待分类人体图像中确定次要人体区域，包括以下任意一个步骤：将待分类人体图像中的次要人体检测框区域作为次要人体区域，次要人体检测框区域为与次要人体的人体检测框位置信息对应的区域；将待分类人体图像中的次要人体分割掩码区域作为次要人体区域，次要人体分割掩码区域为与次要人体的人体分割掩码对应的区域；将待分类人体图像中的人体交集区域作为次要人体区域，人体交集区域为次要人体的次要人体检测框区域与次要人体分割掩码区域之间的交集区域。

可选地，人体姿态分类模块43用于从待分类人体图像的人体实例分割结果中，获取主要人体的位置表征信息；利用主要人体的位置表征信息，对填充图像中主要人体对应的主要人体区域进行去干扰，得到主要人体图像；对主要人体图像进行人体姿态分类，得到目标姿态分类结果。

可选地，位置表征信息包括人体分割掩码，人体姿态分类模块43用于对填充图像和主要人体的人体分割掩码进行融合，得到主要人体图像；和/或，利用姿态分类网络对主要人体图像进行姿态分类，得到目标姿态分类结果。

可选地，人体划分模块41用于基于待分类人体图像的人体关键点检测结果，将多个人体划分为若干种人体，人体关键点检测结果包括待划分人体的关键点信息，待划分人体为待分类人体图像中能够被检测到关键点的人体，待划分人体的关键点信息包括待划分人体的关键点数量和待划分人体的每个关键点的置信度中的至少一者。

可选地，人体划分模块41用于将关键点数量满足第一要求的待划分人体确定为主要人体；或者，利用各待划分人体的每个关键点的置信度，得到各待划分人体的综合置信度，将综合置信度满足第二要求的待划分人体确定为主要人体；或者，获取各待划分人体的关键点数量以及综合置信度的加权结果，将加权结果满足第三要求的待划分人体确定为主要人体；以及，将待分类人体图像中除主要人体之外的其他人体确定为次要人体。

可选地，人体姿态分类装置40还包括确定模块44，确定模块44用于在将待分类人体图像包含的多个人体划分为若干种人体之前，基于待分类人体图像的人体关键点检测结果或者人体实例分割结果，确定待分类人体图像包含的人体数量。人体姿态分类模块43用于响应于人体数量为单个，将人体实例分割结果中的初始姿态分类结果作为目标姿态分类结果；响应于人体数量为至少两个，执行将待分类人体图像包含的多个人体划分为若干种人体及后续步骤。

可选地，若干种人体是基于待分类人体图像的人体关键点检测结果而划分得到的，次要人体区域是基于待分类人体图像的人体实例分割结果确定的；人体姿态分类装置40还包括共享特征提取模块45、关键点检测模块46和实例分割模块47。在将待分类人体图像包含的多个人体划分为若干种人体之前，共享特征提取模块45用于对待分类人体图像进行特征提取，得到特征图像；关键点检测模块46用于对特征图像进行关键点检测，得到人体关键点检测结果；以及实例分割模块47用于对特征图像进行实例分割，得到人体实例分割结果。

可选地，人体姿态分类装置40还包括模型训练模块48。共享特征提取模块45用于对样本图像进行特征提取，得到样本特征图像；关键点检测模块46用于对样本特征图像进行关键点检测，得到样本关键点检测结果；以及，实例分割模块47用于对样本特征图像进行人体分割，得到样本图像的样本人体分割掩码，以及对样本特征图进行分类处理，得到样本分类结果，样本分类结果包括样本初始姿态分类结果、以及样本图像中各人体的样本人体检测框信息；模型训练模块48用于获取样本关键点检测结果与样本图像的实际关键点结果之间的第一差异、样本人体分割掩码与样本图像的实际人体分割掩码之间的第二差异、样本分类结果与样本图像的实际分类结果之间的第三差异；基于第一差异、第二差异和第三差异，调整共享特征提取网络的参数，基于第一差异调整关键点检测分支的参数，基于第二差异、第三差异调整实例分割分支中的分类子分支和分割子分支的参数。

可选地，人体姿态分类装置40还包括图像处理模块49，图像处理模块49用于在将待分类人体图像包含的多个人体划分为若干种人体之前，对原始图像进行预处理，得到预处理图像；利用人体检测模块对预处理图像进行人体目标检测，得到预处理图像中各人体目标的初始检测框；裁剪预处理图像中与其中一个人体目标的初始检测框对应的图像部分，得到待分类人体图像。

需要说明的是，本实施方式的装置可以执行上述方法中的步骤，相关内容的详细说明请参见上述方法部分，在此不再赘叙。

请参阅图5，图5是本申请提供的处理设备一实施例的框架示意图。本实施方式中，处理设备50包括存储器51和处理器52。

处理器52还可以称为CPU(Central Processing Unit，中央处理单元)。处理器52可能是一种集成电路芯片，具有信号的处理能力。处理器52还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器52也可以是任何常规的处理器52等。

处理设备50中的存储器51用于存储处理器52运行所需的程序指令。

处理器52用于执行程序指令以实现本申请中的人体姿态分类方法。

请参阅图6，图6是本申请提供的计算机可读存储介质一实施例的框架示意图。本申请实施例的计算机可读存储介质60存储有程序指令61，该程序指令61被执行时实现本申请提供的人体姿态分类方法。其中，该程序指令61可以形成程序文件以软件产品的形式存储在上述计算机可读存储介质60中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施方式方法的全部或部分步骤。而前述的计算机可读存储介质60包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。

以上方案，当待分类人体图像中包括多个人体时，先对待分类人体图像中对应次要人体的次要人体区域进行填充，得到填充图像。然后再利用填充图像进行人体姿态分类，得到目标姿态分类结果。由于填充图像中的次要人体区域被填充，在对填充图像进行人体姿态分类时，可以避免次要人体图像干扰人体姿态分类，从而可以提高人体姿态分类的准确性。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法、装置和系统，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (13)

1.一种人体姿态分类方法，其特征在于，所述方法包括：

将待分类人体图像包含的多个人体划分为若干种人体，所述若干种人体包括次要人体；

对所述待分类人体图像中对应所述次要人体的次要人体区域进行填充，得到填充图像；

利用所述填充图像进行人体姿态分类，得到目标姿态分类结果。

2.根据权利要求1所述的方法，其特征在于，所述对所述待分类人体图像中对应所述次要人体的次要人体区域进行填充，得到填充图像，包括：

从所述待分类人体图像的人体实例分割结果中，获取所述次要人体的位置表征信息；

利用所述次要人体的位置表征信息，在所述待分类人体图像中确定所述次要人体区域；

按照预设像素值填充方式，对所述待分类人体图像中的所述次要人体区域进行像素值填充，得到所述填充图像。

3.根据权利要求2所述的方法，其特征在于，所述位置表征信息包括人体检测框位置信息和人体分割掩码中的至少一种，所述利用所述次要人体的位置表征信息，在所述待分类人体图像中确定所述次要人体区域，包括以下任意一个步骤：

将所述待分类人体图像中的次要人体检测框区域作为所述次要人体区域，所述次要人体检测框区域为与所述次要人体的人体检测框位置信息对应的区域；

将所述待分类人体图像中的次要人体分割掩码区域作为所述次要人体区域，所述次要人体分割掩码区域为与所述次要人体的人体分割掩码对应的区域；

将所述待分类人体图像中的人体交集区域作为所述次要人体区域，所述人体交集区域为所述次要人体的次要人体检测框区域与次要人体分割掩码区域之间的交集区域。

4.根据权利要求1所述的方法，其特征在于，所述若干种人体包括主要人体，所述利用所述填充图像进行人体姿态分类，得到目标姿态分类结果，包括：

从所述待分类人体图像的人体实例分割结果中，获取所述主要人体的位置表征信息；

利用所述主要人体的位置表征信息，对所述填充图像中所述主要人体对应的主要人体区域进行去干扰，得到主要人体图像；

对所述主要人体图像进行人体姿态分类，得到目标姿态分类结果。

5.根据权利要求4所述的方法，其特征在于，所述位置表征信息包括人体分割掩码，所述利用所述主要人体的位置表征信息，对所述填充图像中所述主要人体对应的主要人体区域进行去干扰，得到主要人体图像，包括：

对所述填充图像和所述主要人体的人体分割掩码进行融合，得到所述主要人体图像；

和/或，所述对所述主要人体图像进行人体姿态分类，得到目标姿态分类结果，包括：

利用姿态分类网络对所述主要人体图像进行姿态分类，得到目标姿态分类结果。

6.根据权利要求1所述的方法，其特征在于，所述将待分类人体图像包含的多个人体划分为若干种人体，包括：

基于所述待分类人体图像的人体关键点检测结果，将所述多个人体划分为所述若干种人体，所述人体关键点检测结果包括待划分人体的关键点信息，所述待划分人体为所述待分类人体图像中能够被检测到关键点的所述人体，所述待划分人体的关键点信息包括所述待划分人体的关键点数量和所述待划分人体的每个关键点的置信度中的至少一者。

7.根据权利要求6所述的方法，其特征在于，所述基于所述待分类人体图像的人体关键点检测结果，将所述多个人体划分为所述若干种人体，包括：

将所述关键点数量满足第一要求的所述待划分人体确定为主要人体；或者，利用各所述待划分人体的每个关键点的置信度，得到各所述待划分人体的综合置信度，将所述综合置信度满足第二要求的所述待划分人体确定为所述主要人体；或者，获取各所述待划分人体的关键点数量以及综合置信度的加权结果，将所述加权结果满足第三要求的所述待划分人体确定为所述主要人体；以及，

将所述待分类人体图像中除所述主要人体之外的其他人体确定为所述次要人体。

8.根据权利要求1所述的方法，其特征在于，在所述将待分类人体图像包含的多个人体划分为若干种人体之前，还包括：

基于所述待分类人体图像的人体关键点检测结果或者人体实例分割结果，确定所述待分类人体图像包含的人体数量；

响应于所述人体数量为单个，将所述人体实例分割结果中的初始姿态分类结果作为所述目标姿态分类结果；

响应于所述人体数量为至少两个，执行所述将待分类人体图像包含的多个人体划分为若干种人体及后续步骤。

9.根据权利要求1所述的方法，其特征在于，所述若干种人体是基于所述待分类人体图像的人体关键点检测结果而划分得到的，所述次要人体区域是基于所述待分类人体图像的人体实例分割结果确定的；

在所述将待分类人体图像包含的多个人体划分为若干种人体之前，所述方法还包括：

利用人体图像处理模型的共享特征提取网络对所述待分类人体图像进行特征提取，得到特征图像；

利用所述人体图像处理模型的关键点检测分支对所述特征图像进行关键点检测，得到所述人体关键点检测结果；以及，

利用所述人体图像处理模型的实例分割分支对所述特征图像进行实例分割，得到所述人体实例分割结果。

10.根据权利要求9所述的方法，其特征在于，所述实例分割分支包括分类子分支和分割子分支，所述方法还包括：

利用所述共享特征提取网络对样本图像进行特征提取，得到样本特征图像；

利用所述关键点检测分支对所述样本特征图像进行关键点检测，得到样本关键点检测结果；以及，

利用所述分割子分支对所述样本特征图像进行人体分割，得到所述样本图像的样本人体分割掩码，利用所述分类子分支对所述样本特征图进行分类处理，得到样本分类结果，所述样本分类结果包括样本初始姿态分类结果、以及所述样本图像中各人体的样本人体检测框信息；

获取所述样本关键点检测结果与所述样本图像的实际关键点结果之间的第一差异、所述样本人体分割掩码与所述样本图像的实际人体分割掩码之间的第二差异、所述样本分类结果与所述样本图像的实际分类结果之间的第三差异；

基于所述第一差异、第二差异和第三差异，调整所述共享特征提取网络的参数，基于所述第一差异调整所述关键点检测分支的参数，基于所述第二差异、第三差异调整所述实例分割分支中的分类子分支和分割子分支的参数。

11.根据权利要求1所述的方法，其特征在于，在所述将待分类人体图像包含的多个人体划分为若干种人体之前，所述方法还包括：

对原始图像进行预处理，得到预处理图像；

利用人体检测模块对所述预处理图像进行人体目标检测，得到所述预处理图像中各人体目标的初始检测框；

裁剪所述预处理图像中与其中一个人体目标的初始检测框对应的图像部分，得到所述待分类人体图像。

12.一种处理设备，其特征在于，包括相互耦接的存储器和处理器，

所述存储器存储有程序指令；

所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1-11任一项所述的方法。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序指令，所述程序指令能够被执行以实现权利要求1-11任一项所述的方法。

Images