CN114220163A - 人体姿态估计方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提供了人体姿态估计方法、装置、电子设备及存储介质，涉及深度学习、计算机视觉以及增强现实等人工智能领域，其中的方法可包括：针对待处理视频中的第i帧图像，i≤2≤M，M为大于一的正整数，表示待处理视频中包括的帧数，若确定从第i‑1帧图像中检测到了目标，则针对检测到的目标，进行以下处理：根据该目标在第i‑1帧图像中的包围框，确定出第i帧图像中包括该目标的第一图像区域；根据第一图像区域进行该目标的关键点坐标预测。应用本公开所述方案，可提升处理结果的准确性及提升处理效率等。

Description

人体姿态估计方法、装置、电子设备及存储介质

技术领域

本公开涉及人工智能技术领域，特别涉及深度学习、计算机视觉以及增强现实等领域的人体姿态估计方法、装置、电子设备及存储介质。

背景技术

人体姿态估计是计算机视觉领域的一个基础问题，是指从给定的图像或视频中的各帧图像中检测出目标(即人体)及对应的关键点坐标，所述关键点可包括眼、耳、肩、肘、腕、膝等。

目前的人体姿态估计方式主要包括：1)自下而上(Bottom-Up)的方式，即先预测/估计出图像中的各关键点的坐标，之后再对这些关键点进行分组，以构成每个人体的完整姿态结果；2)自上而下(top-down)的方式，即先利用预先训练得到的检测模型检测出图像中的各人体的包围框(Bbox，Bounding box)，之后再分别预测出各人体的关键点坐标。

但是，方式1)中很容易出现多人关键点交叉的错误，即准确性较差，而对于方式2)，以视频为例，需要利用检测模型分别对每帧图像进行检测，而每次检测均需要耗费较长的时间，效率低下。

发明内容

本公开提供了人体姿态估计方法、装置、电子设备及存储介质。

一种人体姿态估计方法，包括：

针对待处理视频中的第i帧图像，i≤2≤M，M为大于一的正整数，表示所述待处理视频中包括的帧数，若确定从第i-1帧图像中检测到了目标，则针对检测到的目标，进行以下处理：

根据所述目标在所述第i-1帧图像中的包围框，确定出所述第i帧图像中包括所述目标的第一图像区域；

根据所述第一图像区域进行所述目标的关键点坐标预测。

一种人体姿态估计装置，包括：第一处理模块以及第二处理模块；

所述第一处理模块，用于针对待处理视频中的第i帧图像，i≤2≤M，M为大于一的正整数，表示所述待处理视频中包括的帧数，若确定从第i-1帧图像中检测到了目标，则通知所述第二处理模块执行自身处理；

所述第二处理模块，用于针对检测到的目标，根据所述目标在所述第i-1帧图像中的包围框，确定出所述第i帧图像中包括所述目标的第一图像区域，根据所述第一图像区域进行所述目标的关键点坐标预测。

一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如以上所述的方法。

一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行如以上所述的方法。

一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现如以上所述的方法。

上述公开中的一个实施例具有如下优点或有益效果：整体采用自上而下的实现思路，从而避免了出现多人关键点交叉的错误，进而提升了处理结果的准确性，而且，可基于前一帧图像的目标检测结果实现对于当前帧图像的人体姿态估计，从而提升了处理效率等。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1为本公开所述人体姿态估计方法实施例的流程图；

图2为本公开所述某一目标在第i-1帧图像中的包围框的示意图；

图3为根据图2所示包围框生成的扩展包围框的示意图；

图4为本公开所述人体姿态估计装置第一实施例400的组成结构示意图；

图5为本公开所述人体姿态估计装置第二实施例500的组成结构示意图；

图6示出了可以用来实施本公开的实施例的电子设备600的示意性框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

另外，应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

图1为本公开所述人体姿态估计方法实施例的流程图。如图1所示，包括以下具体实现方式。

在步骤101中，针对待处理视频中的第i帧图像，i≤2≤M，M为大于一的正整数，表示待处理视频中包括的帧数，若确定从第i-1帧图像中检测到了目标，则针对检测到的目标，按照步骤102-步骤103所示方式进行处理。

在步骤102中，根据该目标在第i-1帧图像中的包围框，确定出第i帧图像中包括该目标的第一图像区域。

在步骤103中，根据第一图像区域进行该目标的关键点坐标预测。

可以看出，上述方法实施例所述方案中，整体采用自上而下的实现思路，从而避免了出现多人关键点交叉的错误，进而提升了处理结果的准确性，而且，可基于前一帧图像的目标检测结果实现对于当前帧图像的人体姿态估计，从而提升了处理效率等。

针对从第i-1帧图像检测到的任一目标，可根据其在第i-1帧图像中的包围框，确定出第i帧图像中包括该目标的第一图像区域。

本公开的一个实施例中，可根据该目标在第i-1帧图像中的包围框生成扩展包围框，所述包围框对应的第一区域小于扩展包围框对应的第二区域，且第一区域位于第二区域内，进而可根据扩展包围框在第i-1帧图像中的位置，确定出第i帧图像中所述位置对应的第一图像区域。

图2为本公开所述某一目标在第i-1帧图像中的包围框的示意图，图3为根据图2所示包围框生成的扩展包围框的示意图。

如图3所示，可通过在包围框的上下左右各方向分别添加一定的偏移(offset)，来得到扩展包围框，另外，上下左右各方向的偏移量可以相同，也可以部分相同，还可以全不相同。比如，上下方向的偏移量可分别为包围框的高度的30％，左右方向的偏移量可分别为包围框的宽度的40％。

如图3所示，扩展包围框在第i-1帧图像中的位置是已知的，那么相应地，可将第i帧图像中所述位置(即同样位置)对应的区域作为所需的第一图像区域。

上述处理方式中，通过一些简单的扩展等操作，即可确定出第一图像区域，从而为后续处理奠定了良好的基础。

进一步地，针对任一目标，可根据对应的第一图像区域进行该目标的关键点坐标预测。

本公开的一个实施例中，可从第i帧图像中截取出第一图像区域，并可对截取出的第一图像区域进行目标检测，若检测到目标，则可从第一图像区域中截取出检测到的目标的包围框对应的第二图像区域，并可将第二图像区域作为待预测区域，根据待预测区域确定出其中的目标的关键点坐标。

本公开的一个实施例中，可利用关键点预测模型确定出待预测区域中的目标的关键点坐标。关键点预测模型可为预先训练得到的。即可将待预测区域作为关键点预测模型的输入，从而得到关键点预测模型输出的其中的目标的关键点坐标。借助于关键点预测模型，可高效准确地获取到所需的目标的关键点坐标。

另外，本公开的一个实施例中，可利用第二检测模型对第一图像区域进行目标检测，第二检测模型为对第一检测模型进行简化后得到的模型。

第一检测模型可为传统的人体姿态估计方式如方式2)中所使用的检测模型，采用简化后的第二检测模型进行目标检测，可提升检测效率。

本公开的一个实施例中，若确定未从第i-1帧图像中检测到目标，那么可利用第一检测模型对第i帧图像进行目标检测，若检测到目标，可从第i帧图像中截取出检测到的目标的包围框对应的第三图像区域，并可将第三图像区域作为待预测区域，根据待预测区域确定出其中的目标的关键点坐标。

本公开的一个实施例中，若确定未从第i帧图像中检测到目标或符合预定的触发条件，也可利用第一检测模型对第i帧图像进行目标检测，若检测到目标，可从第i帧图像中截取出检测到的目标的包围框对应的第四图像区域，并可将第四图像区域作为待预测区域，根据待预测区域确定出其中的目标的关键点坐标。

比如，从第i-1帧图像中检测到了两个目标，并基于第i帧图像分别获取到了这两个目标对应的第一图像区域，但从两个第一图像区域中均未检测到目标，那么则可认为未从第i帧图像中检测到目标，相应地，可利用第一检测模型对第i帧图像进行目标检测。

另外，所述预定的触发条件具体为何种条件不作限制，可根据实际需要而定。比如，从第i-1帧图像及之前的连续多帧图像中均检测到了两个目标，但从第i帧图像中仅检测到了一个目标，那么则可认为符合触发条件，相应地，可利用第一检测模型对第i帧图像进行目标检测。

相比于第二检测模型，第一检测模型的性能更优，利用第一检测模型对整张图像进行目标检测，能够尽可能准确地检测出图像中的所有目标，相应地，基于该检测结果进行后续的各帧图像的人体姿态估计，可提升处理结果的准确性等。

第一检测模型和第二检测模型均为预先训练得到的。本公开的一个实施例中，可利用第一数据集中的训练数据训练得到第一检测模型，每条训练数据中分别包括样本图像以及对应的标签，所述标签包括对应的样本图像中的目标的包围框，并且，针对任一包围框，可分别进行以下处理：生成对应的扩展包围框，从所在样本图像中截取出扩展包围框对应的第五图像区域，将第五图像区域作为新的样本图像，并生成新的样本图像对应的标签，将新的样本图像及对应的标签作为一条新的训练数据，并可利用得到的所有新的训练数据组成第二数据集，进而可利用第二数据集训练得到第二检测模型。

第一数据集可为全量带有标准标签的数据集，相应地，利用第一数据集可训练得到第一检测模型。基于第一数据集可进一步生成第二数据集，即针对第一数据集中的各样本图像中的包围框，可分别生成对应的扩展包围框并截取，作为新的样本图像，并可生成新的样本图像对应的标签，即其中的目标的包围框，从而得到新的训练数据，利用得到的所有新的训练数据，可组成第二数据集，进而可利用第二数据集训练得到第二检测模型。

按照上述方式处理后，新的样本图像中通常最多包括一个目标。

第一检测模型可为一阶段检测模型，也可为二阶段检测模型。

若第一检测模型为一阶段检测模型，那么可通过将第一检测模型的主干网络(backbone)部分缩小宽度和/或使用更小的输入分辨率来得到第二网络模型，并可利用第二数据集对第二网络模型进行训练，直至收敛。主干网络部分宽度越小，模型的处理速度越快，输入分辨率越小，模型的处理速度也会越快。

若第一检测模型为二阶段检测模型，那么通常包括三个处理阶段，即候选建议(proposal)、回归(regression)和分类(calssfication)，可以将网络进行解耦，将第二数据集中的训练数据直接作为回归部分的输入，再接入分类部分，从而利用第二数据集训练得到第二检测模型。

本公开所述方案中，可将第一检测模型和第二检测模型结合进行使用，从而分别利用了各自的优势，既确保了检测结果的准确性，又提升了检测效率。

以下通过具体示例，对本公开所述方案进行进一步说明。

假设待处理视频中包括20帧(仅为举例说明，实际可能远大于此)图像，为便于表述，分别称为图像1～图像20，并假设各图像中最多包括一个目标。

首先，利用第一检测模型对图像1进行目标检测，假设未检测到目标，那么则利用第一检测模型对图像2进行目标检测。

假设从图像2中检测到了目标，那么可从图像2中截取出检测到的目标的包围框对应的图像区域，如称为图像区域a，之后可利用关键点预测模型确定出图像区域a中的目标的关键点坐标。

之后，针对图像3，可获取图像2中的目标的包围框对应的扩展包围框，并可根据扩展包围框在图像2中的位置，确定出图像3中所述位置对应的图像区域，如称为图像区域b，并可将图像区域b从图像3中截取出来，进而可利用第二检测模型对图像区域b进行目标检测，假设检测到了目标，那么可进一步从图像区域b中截取出检测到的目标的包围框对应的图像区域，如称为图像区域c，进而可利用关键点预测模型确定出图像区域c中的目标的关键点坐标。

之后，针对图像4，可获取图像3中的目标的包围框对应的扩展包围框，并可根据扩展包围框在图像3中的位置，确定出图像4中所述位置对应的图像区域，如称为图像区域d，并可将图像区域d从图像4中截取出来，进而可利用第二检测模型对图像区域d进行目标检测，假设检测到了目标，那么可进一步从图像区域d中截取出检测到的目标的包围框对应的图像区域，如称为图像区域e，进而可利用关键点预测模型确定出图像区域e中的目标的关键点坐标。

之后，针对图像5，可获取图像4中的目标的包围框对应的扩展包围框，并可根据扩展包围框在图像4中的位置，确定出图像5中所述位置对应的图像区域，如称为图像区域f，并可将图像区域f从图像5中截取出来，进而可利用第二检测模型对图像区域f进行目标检测，假设未检测到目标，那么可利用第一检测模型对图像5进行目标检测，假设也未检测到目标。

之后，可利用第一检测模型对图像6进行目标检测，假设从图像6中检测到了目标，那么可从图像6中截取出检测到的目标的包围框对应的图像区域，如称为图像区域g，之后可利用关键点预测模型确定出图像区域g中的目标的关键点坐标。

之后，针对图像7，可获取图像6中的目标的包围框对应的扩展包围框，并可根据扩展包围框在图像6中的位置，确定出图像7中所述位置对应的图像区域，如称为图像区域h，并可将图像区域h从图像7中截取出来，进而可利用第二检测模型对图像区域h进行目标检测，假设检测到了目标，那么可进一步从图像区域h中截取出检测到的目标的包围框对应的图像区域，如称为图像区域i，进而可利用关键点预测模型确定出图像区域i中的目标的关键点坐标。

图像8～图像20的处理方式可参照上述说明，不再赘述。

需要说明的是，对于前述的方法实施例，为了简单描述，将其表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开并不受所描述的动作顺序的限制，因为依据本公开，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本公开所必须的。

总之，采用本公开方法实施例所述方案，可提升处理结果的准确性，并可借助于扩展包围框以及第二检测模型等提升了处理效率，另外，可适用于不同场景以及人体的不同运动状态等，具有广泛适用性。

以上是关于方法实施例的介绍，以下通过装置实施例，对本公开所述方案进行进一步说明。

图4为本公开所述人体姿态估计装置第一实施例400的组成结构示意图。如图4所示，包括：第一处理模块401以及第二处理模块402。

第一处理模块401，用于针对待处理视频中的第i帧图像，i≤2≤M，M为大于一的正整数，表示待处理视频中包括的帧数，若确定从第i-1帧图像中检测到了目标，则通知第二处理模块402执行自身处理。

第二处理模块402，用于针对检测到的目标，根据该目标在第i-1帧图像中的包围框，确定出第i帧图像中包括目标的第一图像区域，根据第一图像区域进行该目标的关键点坐标预测。

上述装置实施例所述方案中，整体采用自上而下的实现思路，从而避免了出现多人关键点交叉的错误，进而提升了处理结果的准确性，而且，可基于前一帧图像的目标检测结果实现对于当前帧图像的人体姿态估计，从而提升了处理效率等。

针对从第i-1帧图像检测到的任一目标，第二处理模块402可根据其在第i-1帧图像中的包围框，确定出第i帧图像中包括该目标的第一图像区域。

本公开的一个实施例中，第二处理模块402可根据该目标在第i-1帧图像中的包围框生成扩展包围框，所述包围框对应的第一区域小于扩展包围框对应的第二区域，且第一区域位于第二区域内，进而可根据扩展包围框在第i-1帧图像中的位置，确定出第i帧图像中所述位置对应的第一图像区域。

进一步地，针对任一目标，第二处理模块402可根据对应的第一图像区域进行该目标的关键点坐标预测。

本公开的一个实施例中，第二处理模块402可从第i帧图像中截取出第一图像区域，并可对截取出的第一图像区域进行目标检测，若检测到目标，则可从第一图像区域中截取出检测到的目标的包围框对应的第二图像区域，并可将第二图像区域作为待预测区域，根据待预测区域确定出其中的目标的关键点坐标。

本公开的一个实施例中，第一处理模块401若确定未从第i-1帧图像中检测到目标，那么可利用第一检测模型对第i帧图像进行目标检测，若检测到目标，可从第i帧图像中截取出检测到的目标的包围框对应的第三图像区域，并可将第三图像区域作为待预测区域，根据待预测区域确定出其中的目标的关键点坐标。

本公开的一个实施例中，第二处理模块402若确定未从第i帧图像中检测到目标或符合预定的触发条件，也可利用第一检测模型对第i帧图像进行目标检测，若检测到目标，可从第i帧图像中截取出检测到的目标的包围框对应的第四图像区域，并可将第四图像区域作为待预测区域，根据待预测区域确定出其中的目标的关键点坐标。

本公开的一个实施例中，所述关键点坐标可为利用关键点预测模型确定出的待预测区域中的目标的关键点坐标。关键点预测模型可为预先训练得到的。即可将待预测区域作为关键点预测模型的输入，从而得到关键点预测模型输出的其中的目标的关键点坐标。

另外，本公开的一个实施例中，可利用第二检测模型对第一图像区域进行目标检测，第二检测模型为对第一检测模型进行简化后得到的模型。

第一检测模型和第二检测模型均为预先训练得到的。相应地，图5为本公开所述人体姿态估计装置第二实施例500的组成结构示意图。如图5所示，包括：第一处理模块401、第二处理模块402以及预处理模块403。

其中，第一处理模块401和第二处理模块402与图4所示实施例中相同，不再赘述。

预处理模块403可利用第一数据集中的训练数据训练得到第一检测模型，每条训练数据中分别包括样本图像以及对应的标签，所述标签包括对应的样本图像中的目标的包围框，并且，针对任一包围框，可分别进行以下处理：生成对应的扩展包围框，从所在样本图像中截取出扩展包围框对应的第五图像区域，将第五图像区域作为新的样本图像，并生成新的样本图像对应的标签，将新的样本图像及对应的标签作为一条新的训练数据，并可利用得到的所有新的训练数据组成第二数据集，进而可利用第二数据集训练得到第二检测模型。

第一数据集可为全量带有标准标签的数据集，相应地，利用第一数据集可训练得到第一检测模型。基于第一数据集可进一步生成第二数据集，即针对第一数据集中的各样本图像中的包围框，可分别生成对应的扩展包围框并截取，作为新的样本图像，并可生成新的样本图像对应的标签，即其中的目标的包围框，从而得到新的训练数据，利用得到的所有新的训练数据，可组成第二数据集，进而可利用第二数据集训练得到第二检测模型。

第一检测模型可为一阶段检测模型，也可为二阶段检测模型。

若第一检测模型为一阶段检测模型，那么可通过将第一检测模型的主干网络部分缩小宽度和/或使用更小的输入分辨率来得到第二网络模型，并可利用第二数据集对第二网络模型进行训练。主干网络部分宽度越小，模型的处理速度越快，输入分辨率越小，模型的处理速度也会越快。

若第一检测模型为二阶段检测模型，那么通常包括三个处理阶段，即候选建议、回归和分类，可以将网络进行解耦，将第二数据集中的训练数据直接作为回归部分的输入，再接入分类部分，从而利用第二数据集训练得到第二检测模型。

图4和图5所示装置实施例的具体工作流程可参照前述方法实施例中的相关说明。

总之，采用本公开装置实施例所述方案，可提升处理结果的准确性，并可借助于扩展包围框以及第二检测模型等提升了处理效率，另外，可适用于不同场景以及人体的不同运动状态，具有广泛适用性。

本公开所述方案可应用于人工智能领域，特别涉及深度学习、计算机视觉以及增强现实等领域。人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术，人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术，人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

本公开所述实施例中的视频/图像并不针对某一特定用户，并不能反映出某一特定用户的个人信息，另外，人体姿态估计方法的执行主体可以通过各种公开、合法合规的方式获取所述视频/图像，如经过了用户的授权从用户处获取等。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图6示出了可以用来实施本公开的实施例的电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如本公开所述的方法。例如，在一些实施例中，本公开所述的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行本公开所述的方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行本公开所述的方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (19)

1.一种人体姿态估计方法，包括：

针对待处理视频中的第i帧图像，i≤2≤M，M为大于一的正整数，表示所述待处理视频中包括的帧数，若确定从第i-1帧图像中检测到了目标，则针对检测到的目标，进行以下处理：

根据所述目标在所述第i-1帧图像中的包围框，确定出所述第i帧图像中包括所述目标的第一图像区域；

根据所述第一图像区域进行所述目标的关键点坐标预测。

2.根据权利要求1所述的方法，其中，所述确定出所述第i帧图像中包括所述目标的第一图像区域包括：

根据所述目标在所述第i-1帧图像中的包围框生成扩展包围框，所述包围框对应的第一区域位于所述扩展包围框对应的第二区域内；

根据所述扩展包围框在所述第i-1帧图像中的位置，确定出所述第i帧图像中所述位置对应的所述第一图像区域。

3.根据权利要求2所述的方法，其中，所述根据所述第一图像区域进行所述目标的关键点坐标预测包括：

从所述第i帧图像中截取出所述第一图像区域；

对截取出的所述第一图像区域进行目标检测，若检测到目标，则从所述第一图像区域中截取出检测到的目标的包围框对应的第二图像区域，并将所述第二图像区域作为待预测区域，根据所述待预测区域确定出其中的目标的关键点坐标。

4.根据权利要求3所述的方法，还包括：

若确定未从所述第i-1帧图像中检测到目标，则利用第一检测模型对所述第i帧图像进行目标检测；

若检测到目标，则从所述第i帧图像中截取出检测到的目标的包围框对应的第三图像区域，并将所述第三图像区域作为待预测区域，根据所述待预测区域确定出其中的目标的关键点坐标。

5.根据权利要求3所述的方法，还包括：

若确定未从所述第i帧图像中检测到目标或符合预定的触发条件，则利用第一检测模型对所述第i帧图像进行目标检测；

若检测到目标，则从所述第i帧图像中截取出检测到的目标的包围框对应的第四图像区域，并将所述第四图像区域作为待预测区域，根据所述待预测区域确定出其中的目标的关键点坐标。

6.根据权利要求3、4或5所述的方法，其中，所述根据所述待预测区域确定出其中的目标的关键点坐标包括：

利用关键点预测模型确定出所述待预测区域中的目标的关键点坐标。

7.根据权利要求4或5所述的方法，其中，对所述第一图像区域进行目标检测包括：

利用第二检测模型对所述第一图像区域进行目标检测，所述第二检测模型为对所述第一检测模型进行简化后得到的模型。

8.根据权利要求7所述的方法，还包括：

利用第一数据集中的训练数据训练得到所述第一检测模型，每条训练数据中分别包括样本图像以及对应的标签，所述标签包括对应的样本图像中的目标的包围框；

针对任一包围框，分别进行以下处理：生成对应的扩展包围框，从所在样本图像中截取出所述扩展包围框对应的第五图像区域，将所述第五图像区域作为新的样本图像，并生成所述新的样本图像对应的标签，将所述新的样本图像及对应的标签作为一条新的训练数据；

利用得到的新的训练数据组成第二数据集，利用所述第二数据集训练得到所述第二检测模型。

9.一种人体姿态估计装置，包括：第一处理模块以及第二处理模块；

所述第一处理模块，用于针对待处理视频中的第i帧图像，i≤2≤M，M为大于一的正整数，表示所述待处理视频中包括的帧数，若确定从第i-1帧图像中检测到了目标，则通知所述第二处理模块执行自身处理；

所述第二处理模块，用于针对检测到的目标，根据所述目标在所述第i-1帧图像中的包围框，确定出所述第i帧图像中包括所述目标的第一图像区域，根据所述第一图像区域进行所述目标的关键点坐标预测。

10.根据权利要求9所述的装置，其中，

所述第二处理模块根据所述目标在所述第i-1帧图像中的包围框生成扩展包围框，所述包围框对应的第一区域位于所述扩展包围框对应的第二区域内，根据所述扩展包围框在所述第i-1帧图像中的位置，确定出所述第i帧图像中所述位置对应的所述第一图像区域。

11.根据权利要求10所述的装置，其中，

所述第二处理模块从所述第i帧图像中截取出所述第一图像区域，并对截取出的所述第一图像区域进行目标检测，若检测到目标，则从所述第一图像区域中截取出检测到的目标的包围框对应的第二图像区域，将所述第二图像区域作为待预测区域，根据所述待预测区域确定出其中的目标的关键点坐标。

12.根据权利要求11所述的装置，其中，

所述第一处理模块进一步用于，若确定未从所述第i-1帧图像中检测到目标，则利用第一检测模型对所述第i帧图像进行目标检测，若检测到目标，则从所述第i帧图像中截取出检测到的目标的包围框对应的第三图像区域，并将所述第三图像区域作为待预测区域，根据所述待预测区域确定出其中的目标的关键点坐标。

13.根据权利要求11所述的装置，其中，

所述第二处理模块进一步用于，若确定未从所述第i帧图像中检测到目标或符合预定的触发条件，则利用第一检测模型对所述第i帧图像进行目标检测，若检测到目标，则从所述第i帧图像中截取出检测到的目标的包围框对应的第四图像区域，并将所述第四图像区域作为待预测区域，根据所述待预测区域确定出其中的目标的关键点坐标。

14.根据权利要求11、12或13所述的装置，其中，

所述关键点坐标为利用关键点预测模型确定出的所述待预测区域中的目标的关键点坐标。

15.根据权利要求12或13所述的装置，其中，

所述第二处理模块利用第二检测模型对所述第一图像区域进行目标检测，所述第二检测模型为对所述第一检测模型进行简化后得到的模型。

16.根据权利要求15所述的装置，还包括：

预处理模块，用于利用第一数据集中的训练数据训练得到所述第一检测模型，每条训练数据中分别包括样本图像以及对应的标签，所述标签包括对应的样本图像中的目标的包围框，针对任一包围框，分别进行以下处理：生成对应的扩展包围框，从所在样本图像中截取出所述扩展包围框对应的第五图像区域，将所述第五图像区域作为新的样本图像，并生成所述新的样本图像对应的标签，将所述新的样本图像及对应的标签作为一条新的训练数据，利用得到的新的训练数据组成第二数据集，利用所述第二数据集训练得到所述第二检测模型。

17.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。

18.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行权利要求1-8中任一项所述的方法。

19.一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现权利要求1-8中任一项所述的方法。

Images