CN114332939B - 一种位姿序列生成方法和系统 - Google Patents

Abstract

本说明书实施例提供一种位姿序列生成方法，该方法包括基于目标对象的第一位姿序列和个性化信息，通过位姿生成模型生成目标对象在目标时间段内的第二位姿序列，其中，第一位姿序列包括目标对象在初始时间段内的多个时间点的位姿信息。

Description

一种位姿序列生成方法和系统

技术领域

本说明书涉及图像技术领域，特别涉及一种位姿序列生成方法和系统。

背景技术

对目标对象的(例如，人体)位姿的预测和生成作为计算机视觉研究领域中的一个重要课题，具有广泛的应用。现有技术中，常见的方式大多是基于获取的目标对象初始位姿信息，生成一系列的预测目标对象位姿。但是，生成预测目标对象位姿不仅与目标对象的初始位姿信息相关，还应该与目标对象位姿在不同时刻下的变化信息相关。同时，不同目标对象在运动时，其运动特征也应该不同，例如，老人和小孩在跑步时，其姿势、身体摆动幅度均不同。

因此，希望可以提供一种位姿序列生成方法和系统，可以基于目标对象的初始位姿信息、目标对象位姿在不同时刻下的变化信息以及目标对象自身的信息，生成更加准确、真实的目标对象的位姿。

发明内容

本说明书实施例之一提供一种位姿序列生成方法，所述位姿序列生成方法包括：基于目标对象的第一位姿序列和个性化信息，通过位姿生成模型生成所述目标对象在目标时间段内的第二位姿序列，其中，所述第一位姿序列包括所述目标对象在初始时间段内的多个时间点的位姿信息。

本说明书实施例之一提供一种位姿序列生成系统，所述位姿序列生成系统包括：生成模块，用于基于目标对象的第一位姿序列和个性化信息，通过位姿生成模型生成所述目标对象在目标时间段内的第二位姿序列，其中，所述第一位姿序列包括所述目标对象在初始时间段内的多个时间点的位姿信息。

本说明书实施例之一提供一种位姿序列生成装置，所述装置包括处理设备以及存储器；所述存储器用于存储指令，所述指令被所述处理设备执行时，导致所述装置实现如上述实施例中任意一项所述的位姿序列生成方法。

本说明书实施例之一提供一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机运行如上述实施例中任意一项所述的位姿序列生成方法。

附图说明

本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：

图1是根据本说明书一些实施例所示的位姿序列生成系统的应用场景示意图；

图2是根据本说明书一些实施例所示的位姿序列生成方法的示例性流程图；

图3是根据本说明书一些实施例所示的又一位姿序列生成方法的示例性流程图；

图4是根据本说明书一些实施例所示的又一位姿序列生成方法方法的示意图。

具体实施方式

为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

应当理解，本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。

如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标签的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。

本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

图1是根据本说明书一些实施例所示的位姿序列生成系统的应用场景示意图。

位姿序列生成系统100可以对目标对象进行位姿预测。系统100的应用场景可以包括第一位姿序列110、个性化信息120、处理设备130和第二位姿序列140。

第一位姿序列110可以指目标对象在初始时间段内的位姿序列信息。在一些实施例中，第一位姿序列110可以包括目标对象在初始时间段内某采样间隔下的多个时间点的位姿信息，例如，位姿信息111、位姿信息112、…。第一位姿序列可以通过多种方式获取，例如，用户直接输入第一位姿序列，再例如，对视频进行筛选获得第一位姿序列。

个性化信息120可以指表征目标对象的特征的信息。在一些实施例中，个性化信息可以包括但不限于目标对象的年龄、性别、身高、体重、性格等。在一些实施例中，可以对包含有目标对象的视频帧进行图像识别，确定目标对象的个性化信息。在一些实施例中，还可以基于其他方式确定个性化信息，例如，用户直接输入。

处理设备130可以处理从其他设备或系统组成部分中获得的数据、信息和/或处理结果，并基于这些数据、信息和/或处理结果执行程序指令，以执行一个或多个本说明书中描述的功能。例如，处理设备可以基于第一位姿序列以及个性化信息，生成第二位姿序列。

第二位姿序列140可以指目标对象在目标时间段内的位姿序列信息，其中，目标时间段位于初始时间段之后。与第一位姿序列相似，第二位姿序列也可以包括目标对象在目标时间段内某采样间隔下的多个时间点的位姿信息，例如，位姿信息141、位姿信息142、位姿信息143、…。在一些实施例中，第二位姿序列可以由处理设备生成。

在一些实施例中，所述位姿序列生成系统100可以包括生成模块，所述生成模块可以用于基于目标对象的第一位姿序列和个性化信息，通过位姿生成模型生成所述目标对象在目标时间段内的第二位姿序列，其中，所述第一位姿序列包括所述目标对象在初始时间段内的多个时间点的位姿信息。关于目标对象、位姿生成模型、目标时间段的更多内容，参见图2及其相关描述，此处不再赘述。在一些实施例中，生成模块还可以进一步用于：基于所述第一位姿序列，确定所述目标对象的初始位姿信息以及初始位姿变化序列；基于所述初始位姿信息、所述初始位姿变化序列以及所述个性化信息，通过所述位姿生成模型生成所述目标对象在目标时间段内的第二位姿序列。关于初始位姿信息、初始位姿变化序列的更多内容参见图3及其相关描述，此处不再赘述。

应当理解，图1所示的系统及其模块可以利用各种方式来实现。另外，以上对于系统100及其模块的描述，仅为描述方便，并不能把本说明书限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。

图2是根据本说明书一些实施例所示的位姿序列生成方法的示例性流程图。在一些实施例中，流程200可以由处理设备执行。如图2所示，流程200包括下述步骤：

步骤210，获取目标对象的第一位姿序列。

目标对象可以指需要进行位姿生成的对象。在一些实施例中，目标对象可以是一个或多个。目标对象可以是人，也可以是其他对象，例如，猫、狗等。在一些实施例中，可以对包含有目标对象的视频帧进行图像识别，确定其中的运动对象，并将该运动对象确定为目标对象。在一些实施例中，目标对象还可以通过其他方式确定，例如，可以由用户直接指定。

第一位姿序列可以为目标对象在初始时间段内多个时间点的位姿信息。初始时间段可以指第一位姿序列所对应的时间段，可以包含有多个时间点。

在一些实施例中，位姿信息可以是目标对象的关节点信息。对应的，第一位姿序列可以是目标对象在初始时间段内多个时间点的关节点信息序列。关节点信息可以指目标对象的各个关节点在世界坐标系下的位置信息。在一些实施例中，可以基于目标对象的类型，确定目标对象的关节点类型及其关节点间的相对位置关系。例如，可以基于目标对象为人，确定目标对象的关节点有头、颈、颈下脊椎、…，其中，头与颈连接、颈与颈下脊椎连接、…。

在一些实施例中，处理设备可以对视频进行处理，筛选出视频中目标对象发生连贯动作且不存在镜头切换的视频片段。在一些实施例中，处理设备还可以依次提取该视频片段中的某采样间隔下的帧作为关键帧。例如，每0.2S提取该视频片段中的一帧作为关键帧，从而提取出该视频片段的关键帧序列。再对前述视频片段或基于视频片段提取的关键帧序列进行位姿估计，确定各个时间点目标对象的关节点信息。示例性的，处理设备可以对视频片段进行3D位姿估计，确定开始时间点中目标对象的第一关节点的坐标为(5.0,6.0,5.0)、第二关节点的坐标为(5.0,8.0,5.0)、第二时间点中目标对象的第一关节点的坐标为(4.0,6.0,5.0)、第二关节点的坐标为(4.0,8.0,5.0)、…。

在一些实施例中，基于各个时间点目标对象各个关节点的关节点信息，可以确定各个时间点目标对象的关节长度，其中，所述关节长度可以为目标对象两个相邻关节点之间关节的长度。例如，基于目标对象开始时间点各个关节点的关节点信息，可以确定头关节点到颈关节点，即颈部关节的关节长度为16.0cm。再例如，基于目标对象第二时间点各个关节点的关节点信息，可以确定颈部关节的关节长度为15.6cm。在一些实施例中，可以对多个时间点的目标对象的各关节的关节长度进行归一化处理。可以取目标对象在各个时间点的对应关节的关节长度的均值，将该均值作为目标对象对应关节的归一化处理后的关节长度。例如，初始时间段中包含有三个时间点，开始时间点颈部关节的关节长度为16.0cm，第二时间点颈部关节的关节长度为15.6cm，第三时间点颈部关节的关节长度为15.5cm，对目标对象的关节长度进行归一化处理后，确定目标对象颈部关节的关节长度为15.7cm。在一些实施例中，当关节在目标对象身体两侧对称存在时，可以在得到各时间点的对应关节长度的均值后，再对身体两侧对称存在关节的关节长度再一起取一次均值，将得到的该均值作为目标对象的对应关节归一化处理后的关节长度。例如，通过取各时间点的对应关节长度的均值，确定目标对象的左肩关节点到左肘关节点(即左上肘关节)的关节长度为25.0cm，右肩关节点到右肘关节点(即右上肘关节)的关节长度为24.6cm，左上肘关节与右上肘关节为目标对象身体两侧对称存在的关节，因此，左上肘关节与右上肘关节再一起取一次均值，确定左上肘关节与右上肘关节的关节长度均为24.8cm。

在一些实施例中，基于归一化处理后的关节长度，可以对各个时间点目标对象各个关节点的关节点信息进行调整，得到调整后的各时间点的关节点信息，调整后的各时间点的关节点信息序列将作为第一位姿序列。

在一些实施例中，所述位姿信息还可以是其他信息，例如，位姿信息还可以是图像，所述图像可以为二维图像，也可以为三维图像。对应的，第一位姿序列可以为目标对象在初始时间段内多个时间点的图像序列。在一些实施例中，处理设备可以直接将前述视频片段直接作为第一位姿序列。在一些实施例中，处理设备还可以将前述的关键帧序列作为目标对象的第一位姿序列。

步骤220，基于目标对象的第一位姿序列和个性化信息，通过位姿生成模型生成目标对象在目标时间段内的第二位姿序列。

目标时间段可以指需要生成目标对象的位姿的时间段。在一些实施例中，目标时间段的长度可以基于用户输入确定。例如，用户输入目标时间段30S。目标时间段也可以包含有多个时间点，同时，目标时间段的开始时间点为初始时间段中最后一个时间点的下一个时间点。例如，初始时间段为0～1S，包含有6个时间点，分别为视频的0.0S、0.2S、0.4S、0.6S、0.8S、1.0S，目标时间段的长度为1S，也包含有6个时间点，可以为视频的1.0S、1.2S、1.4S、1.6S、1.8S、2.0S。

第二位姿序列可以为目标对象在目标时间段的多个时间点的位姿信息。与第一位姿序列类似，第二位姿序列可以为目标时间段内多个时间点的关节点信息序列，也可以为目标时间段的多个时间点的图像序列。示例性地，目标时间段为30S，第二位姿序列为30内第0.2S、0.4S、0.6S、…的关节点信息序列。

在一些实施例中，位姿生成模型可以是时域卷积网络模型。在一些实施例中，位姿生成模型还可以是其他模型，例如，支持向量机模型、卷积神经网络模型、循环神经网络模型等。

在一些实施例中，位姿生成模型的输入可以为第一位姿序列。可以先基于目标对象的个性化信息，通过预设对应关系，确定该个性化信息对应的位姿生成模型。例如，基于目标对象的个性化信息为男、25岁、活泼，确定该个性化信息对应的位姿生成模型。再将第一位姿序列输入位姿生成模型，确定目标对象在目标时间段内的第二位姿序列。应当注意的是，当位姿生成模型的输入仅为第一位姿序列时，在对位姿生成模型进行训练时，训练样本应为同一个性化信息对应的位姿序列，训练结束后得到该个性化信息对应的位姿生成模型。

在一些实施例中，位姿生成模型的输入还可以为第一位姿序列和个性化信息。可以将第一位姿序列和个性化信息输入位姿生成模型，确定目标对象在目标时间段内的第二位姿序列。对应的，当位姿生成模型的输入为第一位姿序列和个性化信息时，该位姿生成模型的训练样本可以包括各种个性化信息对应的位姿序列。

在一些实施例中，位姿生成模型的输出可以直接为目标对象在目标时间段内的第二位姿序列。例如，基于位姿生成模型对输入的第一位姿序列和个性化信息进行处理，输出为目标对象在目标时间段内的第二位姿序列。当位姿生成模型的输出为目标对象在目标时间段内的第二位姿序列时，可以获取视频数据对位姿生成模型进行训练，训练样本可以为目标对象在视频数据中第一时间段的位姿序列以及目标对象对应的个性化信息，训练样本的标签可以是目标对象在视频数据中第二时间段的位姿序列，其中，第二时间段是第一时间段之后的时间段，第一时间段与第二时间段的位姿序列可以基于视频数据获取，目标对象对应的个性化信息可以通过人工标注获取。

在一些实施例中，输出可以为目标时间段内其中一个时间点的位姿信息。基于目标对象的第一位姿序列和个性化信息，通过位姿生成模型可以生成目标时间段的开始时间点的位姿信息，再基于第二个时间点至目标时间段的开始时间点的位姿序列和个性化信息，通过位姿生成模型可以生成目标时间段的第二个时间点的位姿信息，进行滑窗操作，直至生成目标时间段内最后一个时间点的位姿信息，将得到的目标时间段内所有时间点的位姿信息的序列作为第二位姿序列。例如，可以将第一位姿序列，具体的，第一位姿序列中所包含的第1～T个时间点目标对象的位姿序列和个性化信息输入位姿生成模型，输出为下一时间点，即第T+1个时间点目标对象的位姿信息。再基于第2～T+1个时间点目标对象的位姿序列和个性化信息输入位姿生成模型，输出第T+2个时间点目标对象的位姿信息，进行滑窗操作，直至输出第T+M个时间点目标对象的位姿信息，其中，M为目标时间段的时间点数量。再将第T+1～T+M时间点目标对象的位姿序列作为目标对象在目标时间段内的第二位姿序列。对应的，该位姿生成模型的训练样本为目标对象在视频数据中第一时间段，即第1～T个时间点的位姿序列，训练样本的标签可以为目标对象在视频数据中第一时间段的下一时间点，即第T+1个时间点的位姿信息。

在一些实施例中，还可以通过其他方式获得第二位姿序列。例如，可以基于第一位姿序列，确定目标对象的初始位姿信息以及位姿变化序列；基于初始位姿信息、初始位姿变化序列以及个性化信息，通过位姿生成模型生成目标对象在目标时间段内的第二位姿序列。关于前述实施例的更多内容参见图3及其相关描述，此处不再赘述。

图3是根据本说明书一些实施例所示的又一位姿序列生成方法的示例性流程图。在一些实施例中，流程300可以由处理设备执行。如图3所示，流程300包括下述步骤：

步骤310，基于第一位姿序列，确定目标对象的初始位姿信息以及初始位姿变化序列。

初始位姿信息可以是目标对象在第一位姿序列中开始时间点的位姿信息。在一些实施例中，初始位姿信息可以是目标对象在初始时间段的开始时间点的关节点信息。在一些实施例中，初始位姿信息也可以是目标对象在初始时间段的开始时间点的图像。

初始位姿变化序列可以是目标对象在初始时间段内的多个时间点的位姿变化信息，其中，位姿变化信息可以为位姿信息的变化信息。

在一些实施例中，可以基于第一位姿序列，确定目标对象各个关节点在初始时间段内下一时间点与上一时间点关节点信息的差分坐标序列，将该差分坐标序列作为初始位姿变化序列。例如，目标对象有两个关节点，第一位姿序列中存在三个时间点，第一关节点在三个时间点的关节点信息分别为(5.0,6.0,5.0)、(4.0,6.0,5.0)、(3.0,6.0,5.0)，第二关节点在三个时间点的关节点信息分别为(5.0,5.0,5.0)、(4.0,4.0,5.0)、(3.0,5.0,5.0)，可以确定对应的初始位姿变化序列为{[(1.0,0.0,0.0)，(1.0,0.0,0.0)]，[(1.0,1.0,0.0)，(1.0,-1.0,0.0)]}。在一些实施例中，初始位姿还可以通过其他方式确定，例如，确定目标对象各个关节点在初始时间段内下一时间点与上一时间点关节点信息的旋转四元数序列，将该旋转四元数序列作为初始位姿变化序列。

步骤320，基于初始位姿信息、初始位姿变化序列以及个性化信息，通过位姿生成模型生成目标对象在目标时间段内的第二位姿序列。

在一些实施例中，可以将初始位姿信息、初始位姿变化序列以及个性化信息输入位姿生成模型，输出目标对象在目标时间段内的第二位姿序列。该位姿生成模型可以基于视频数据训练获取，该位姿生成模型的训练样本可以为视频数据中第一时间段内开始时间点的位姿信息、第一时间段内的位姿变化信息以及目标对象对应的个性化信息，训练样本可以为视频数据中第二时间段内的位姿序列，其中，第二时间段是第一时间段之后的时间段，第一时间段内开始时间点的位姿信息、第一时间段内的位姿变化信息、第二时间段内的位姿序列可以基于视频数据获取，个性化信息可以基于人工标注获取。将多个带有标签的训练样本输入初始位姿生成模型，通过训练更新初始位姿生成模型的参数，当训练的模型满足预设条件时，训练结束，获取训练好的该个性化信息对应的位姿生成模型。

在一些实施例中，也可以先基于个性化信息，通过预设对应关系，确定该个性化信息对应的位姿生成模型。再将初始位姿信息、初始位姿变化序列输入位姿生成模型，位姿生成模型输出为目标对象在目标时间段内的第二位姿序列。对应的，位姿生成模型的训练数据均为同一个性化信息对应的视频数据，训练样本中不需要个性化信息，其余训练内容与需要输入个性化信息的位姿生成模型相同，参见本说明书上文，此处不再赘述。

在一些实施例中，可以基于初始位姿信息、初始位姿变化序列以及个性化信息，通过位姿生成模型生成目标对象在目标时间段内各个时间点的目标位姿变化信息。进一步的，可以基于目标对象在目标时间段内各个时间点的目标位姿变化信息，确定目标对象在目标时间段内的第二位姿序列。关于上述实施例的更多内容，参见图4及其相关描述，此处不再赘述。

图4是根据本说明书一些实施例所示的又一位姿序列生成方法的示意图。在一些实施例中，流程400可以由处理设备执行。如图4所示，流程400包括下述步骤：

步骤410，基于所述第一位姿序列，确定目标对象的初始位姿信息以及初始位姿变化序列。

步骤410与本说明书中步骤310一致，关于步骤410的具体细节，参见本说明书上文步骤310，此处不再赘述。

步骤420，基于初始位姿信息、初始位姿变化序列以及个性化信息，通过位姿生成模型生成目标对象在目标时间段内各个时间点的目标位姿变化信息。

目标位姿变化信息可以是输入位姿生成模型的位姿变化序列对应的时间段中最后一个时间点的下一时间点的位姿变化信息，其中，输入位姿生成模型的位姿变化序列可以为初始位姿变化序列，也可以为滑窗操作时输入模型的其他时间段对应的位姿变化序列。

在一些实施例中，可以将初始位姿信息、初始位姿变化序列以及个性化信息输入位姿生成模型，输出目标时间段内开始时间点的目标位姿变化信息，再通过滑窗操作，生成目标对象在目标时间段内各个时间点的目标位姿变化信息。关于滑窗操作进行预测的更多内容，参见图2及其相关描述，此处不再赘述。

在一些实施例中，位姿生成模型的参数可以经训练得到。位姿生成模型可以基于视频数据训练获取，训练样本可以为目标对象在视频数据中第一时间段的开始时间点的位姿信息、第一时间段内的位姿变化序列(例如，第1～T个时间点的位姿变化序列)以及个性化信息，训练样本的标签可以是目标对象在第一时间段的下一时间点(例如，第T+1个时间点)的位姿变化信息。通过多组训练样本可以更新初始位姿生成模型的参数，得到训练好的初始位姿生成模型。位姿生成模型的参数来自于训练好的初始位姿生成模型，其中，位姿生成模型的参数可以以任何可行的方式传递。

在训练过程中，可以将初始位姿信息编码成长度为K的数组，其中，K可以与目标对象的关节点数量相关，例如，K为关节点数量的三倍。可以采用时域卷积网络对第一时间段内的位姿变化序列，例如，第1～T个时间点的位姿变化序列进行处理，依次经过一维卷积、最大池化、一维卷积、最大池化、张量拉伸操作后，可以得到长度为[(T-2)/2-2]/2*72的数组。可以将个性化信息编码成长度为L的数组，第二预设长度可以与个性化信息所描述的目标对象的特征的多少相关。在一些实施例中，将上述得到的三类数组通过串联操作得到长度为[(T-2)/2-2]/2*72+K+L的数组，经过全连接操作后得到长度为θ*关节点数的长向量，其中，θ为可变参数，再经过一层全连接层操作后得到长度为关节点数的长向量，然后，再用预测得到的长度为关节点数的长向量与训练样本的标签，即目标对象在第T+1个时间点的位姿变化信息进行损失函数计算进行模型训练、梯度计算，当损失函数满足预设条件时，得到训练好的位姿生成模型。

在一些实施例中，位姿生成模型的损失函数可以与目标对象的位姿变化信息相关。损失函数可以如公式(1)所示：

其中，q表示真实的目标对象的位姿变化信息；q′表示预测的目标对象的位姿变化信息；q_i表示目标对象的第i个关节点真实的位姿变化信息；q′_i表示预测的所述目标对象第i个关节点的位姿变化信息；i表示目标对象的第i个关节点；n表示目标对象的关节点总数。

在一些实施例中，损失函数还可以与目标对象的关节长度相关，关节长度为目标对象的两个相邻关节点间的长度。损失函数可以如公式(2)所示：

其中，q表示真实的目标对象的位姿变化信息，q′表示预测的目标对象的位姿变化信息；q_i表示目标对象的第i个关节点真实的位姿变化信息；q′_i表示预测的目标对象第i个关节点的位姿变化信息；i表示目标对象的第i个关节点；n表示目标对象的关节点总数；β_i表示调节关节长度的第一参数，可以预先设置。

在一些实施例中，第一参数可以平衡对称的关节对损失函数的影响，以及对相同层级的关节点设置不同的损失权重。例如，可以按照关节点到根节点的由近到远的距离，来进行从小到大的编号。以臀部关节点为根节点，那么臀部关节点为第1个关节点，右胯关节点为第2个关节点，右膝关节点为第3个关节点，右踝关节点为第4个关节点，当对左侧的关节进行编号时，需要从5开始编号，左胯关节点为第5个关节点，左膝关节点为第6个关节点，左踝关节点为第7个关节点。但其中部分关节为对称关节，例如，第2个关节点到第3个关节点所表示的关节和第5个关节点到第6个关节点所表示的关节是对称的，对损失函数的贡献理论上也应该相同，但n-2和n-5是不同的，所以可以基于第一参数进行调节，将对称位置对损失函数的贡献调整为相等，即：这样的设置方式可以平衡对称关节点对损失函数的影响。又例如，以臀部关节点为根节点，左右胯部关节点和脊柱关节点到臀部关节点的层级关系相同，但脊柱关节点对整体的影响大于左右胯部关节点对整体的影响，那么也可以通过设置不同的第一参数来实现。

在一些实施例中，损失函数可以体现出关节长度对位姿的影响。例如，人体手指关节的关节长度比膝关节的关节长度短，在进行预测时，人体手指关节对位姿的影响较膝关节对位姿的影响更小。

在一些实施例中，损失函数还可以与个性化信息相关。损失函数可以如公式(3)所示：

其中，q表示真实的目标对象的位姿变化信息，q′表示预测的目标对象的位姿变化信息；q_i表示目标对象的第i个关节点真实的位姿变化信息；q′_i表示预测的目标对象第i个关节点的位姿变化信息；i表示目标对象的第i个关节点；n表示目标对象的关节点总数；l_i表示第i个关节点至第i-1个关节点所表示关节的关节长度；β_i表示调节所述关节长度的第一参数；λ_i表示基于个性化信息对第i个关节点进行调节的第二参数，可以基于个性化信息的内容，通过预设关系确定。

在一些实施例中，每一组不同的个性化信息，经过编码之后都会得到一组第二参数，第二参数可以表示初始位姿生成模型对不同关节点的关注度。例如，个性化信息中包含有活泼、跳舞的目标对象，其手部的动作幅度相对会更大，可以将与手部相关关节点的第二参数设置得更高。再例如，沉稳的人和/或老人，手部的动作会低一些，那么就会将与手部相关的关节点的第二参数设置得更低。应当理解的是，目标对象中变化更大(或者更关注)的关节点，其对应的第二参数就设置得更高，以调整不同个性化信息对应的目标对象对动作的完成的不同表现。

步骤430，基于目标对象在目标时间段内各时间点的目标位姿变化信息，确定目标对象在目标时间段内的第二位姿序列。

可以基于目标对象在目标时间段内各个时间点的目标位姿变化信息、初始位姿信息以及初始位姿变化序列，确定目标对象在目标时间段内各个时间点其各个关节点在世界坐标系下的关节点信息，将该关节点信息对应的序列确定为目标对象在目标时间段内的第二位姿序列。

应当注意的是，上述有关各个流程的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对各个流程进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。

本说明书一些实施例还公开了一种位姿序列生成装置，所述装置包括处理设备以及存储器；所述存储器用于存储指令，所述指令被所述处理设备执行时，导致所述装置实现如上述实施例中任一项所述位姿序列生成方法。

本说明书一些实施例还公开了计算机可读存储介质，所述介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机运行如上述实施例中任一项所述位姿序列生成方法。

本说明书实施例可能带来的有益效果包括但不限于：1)输入位姿生成模型的内容可以包括目标对象的个性化信息，可以使位姿生成模型学习到目标对象本身的运动特征，使得生成的第二位姿序列更加真实；2)输入位姿生成模型的内容可以包括基于时序变化的位姿变化信息，其不受视频本身的分辨率及内容质量影响，可以保证位姿生成模型预测得到的位姿信息与之前的位姿信息有较好的连贯性；3)输入位姿生成模型的内容还可以包括初始位姿信息，可以更好地让位姿生成模型学习到目标对象位姿本身的信息；4)位姿生成模型可以包括时域卷积网络模型，使得模型从输入的各项信息中学习位姿到随时间变化的规律，使得输出的数据更加连贯，更加真实。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。

同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。

针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。

最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (9)

1.一种位姿序列生成方法，其特征在于，包括：

基于目标对象的第一位姿序列和个性化信息，通过位姿生成模型生成所述目标对象在目标时间段内的第二位姿序列，其中，所述第一位姿序列包括所述目标对象在初始时间段内的多个时间点的位姿信息，所述个性化信息为表征所述目标对象的特征的信息，所述位姿生成模型的参数经训练获得，所述位姿生成模型的损失函数与所述目标对象的关节长度相关，所述损失函数还与所述个性化信息相关，所述关节长度为所述目标对象的两个相邻关节点间的长度。

2.根据权利要求1所述的方法，其特征在于，所述基于目标对象的第一位姿序列和个性化信息，通过位姿生成模型生成所述目标对象在目标时间段内的第二位姿序列包括：

基于所述第一位姿序列，确定所述目标对象的初始位姿信息以及初始位姿变化序列；

基于所述初始位姿信息、所述初始位姿变化序列以及所述个性化信息，通过所述位姿生成模型生成所述目标对象在目标时间段内的第二位姿序列。

3.根据权利要求2所述的方法，其特征在于，所述初始位姿变化序列包括所述目标对象在初始时间段内的多个时间点的位姿变化信息。

4.根据权利要求1或2所述的方法，其特征在于，所述位姿生成模型包括时域卷积网络模型。

5.根据权利要求4所述的方法，其特征在于，所述位姿生成模型的损失函数与所述目标对象的位姿变化信息相关。

6.一种位姿序列生成系统，其特征在于，所述系统包括：

生成模块，用于基于目标对象的第一位姿序列和个性化信息，通过位姿生成模型生成所述目标对象在目标时间段内的第二位姿序列，其中，所述第一位姿序列包括所述目标对象在初始时间段内的多个时间点的位姿信息，所述个性化信息为表征所述目标对象的特征的信息，所述位姿生成模型的参数经训练获得，所述位姿生成模型的损失函数与所述目标对象的关节长度相关，所述损失函数还与所述个性化信息相关，所述关节长度为所述目标对象的两个相邻关节点间的长度。

7.根据权利要求6所述的系统，其特征在于，所述生成模块进一步用于：

基于所述第一位姿序列，确定所述目标对象的初始位姿信息以及初始位姿变化序列；

基于所述初始位姿信息、所述初始位姿变化序列以及所述个性化信息，通过所述位姿生成模型生成所述目标对象在目标时间段内的第二位姿序列。

8.一种位姿序列生成装置，所述装置包括处理设备以及存储器；所述存储器用于存储指令，所述指令被所述处理设备执行时，导致所述装置实现如权利要求1至5中任意一项所述位姿序列生成方法。

9.一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机运行如权利要求1至5中任意一项所述位姿序列生成方法。