CN116051699A - 动捕数据的处理方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种动捕数据的处理方法、装置、设备及存储介质，属于视频动捕技术领域。该方法包括：对动作视频中的目标对象进行动捕分析，得到原始视频动捕数据；基于所述动作视频，对所述目标对象进行脚接地状态分析，得到各个视频帧中所述目标对象的脚接地数据；基于所述原始视频动捕数据以及所述脚接地数据，确定所述原始视频动捕数据的脚部穿模损失以及脚部滑步损失；基于所述脚部穿模损失以及所述脚部滑步损失，对所述原始视频动捕数据进行迭代优化，得到所述目标对象的目标视频动捕数据；采用本申请实施例提供的方法，能够减少视频动捕数据中存在的脚部穿模问题以及滑步问题，提高视频动捕数据的质量。

Description

动捕数据的处理方法、装置、设备及存储介质

技术领域

本申请实施例涉及视频动捕技术领域，特别涉及一种动捕数据的处理方法、装置、设备及存储介质。

背景技术

人体运动捕捉技术能够直接获取人体的动作并且采用数字化方式表示，进而应用于其他领域。而视频动作捕捉技术是其中成本最低的运动数据获取方式，具有广泛的应用前景。

但是由于视频中的平面运动数据和三维动作数据之间存在显著的语义鸿沟，因而得到的动作数据广泛存在瑕疵，比如脚部穿模问题和滑步问题，相关技术中，主要是通过动画师对动作数据中存在的脚部穿模问题和滑步问题进行后期修复，需要消耗大量的时间和费用，成本较高。

发明内容

本申请实施例提供了一种动捕数据的处理方法、装置、设备及存储介质，能够提高视频动捕数据的质量，减少视频动捕数据中存在的脚部穿模问题以及滑步问题。所述技术方案如下。

一方面，本申请实施例提供了一种动捕数据的处理方法，所述方法包括：

对动作视频中的目标对象进行动捕分析，得到原始视频动捕数据，所述原始视频动捕数据包括各个视频帧中所述目标对象的全局位移数据以及骨骼旋转数据，所述全局位移数据表征所述目标对象的中心骨骼节点的位移情况；

基于所述动作视频，对所述目标对象进行脚接地状态分析，得到各个视频帧中所述目标对象的脚接地数据，所述脚接地数据表征所述目标对象的脚部接地情况；

基于所述原始视频动捕数据以及所述脚接地数据，确定所述原始视频动捕数据的脚部穿模损失以及脚部滑步损失，其中，所述脚部穿模损失表征各个视频帧中所述目标对象的脚部陷地情况，所述脚部滑步损失表征所述目标对象在脚接地状态下的脚部滑动情况；

基于所述脚部穿模损失以及所述脚部滑步损失，对所述原始视频动捕数据进行迭代优化，得到所述目标对象的目标视频动捕数据。

另一方面，本申请实施例提供了一种动捕数据的处理装置，所述装置包括：

第一分析模块，用于对动作视频中的目标对象进行动捕分析，得到原始视频动捕数据，所述原始视频动捕数据包括各个视频帧中所述目标对象的全局位移数据以及骨骼旋转数据，所述全局位移数据表征所述目标对象的中心骨骼节点的位移情况；

第二分析模块，用于基于所述动作视频，对所述目标对象进行脚接地状态分析，得到各个视频帧中所述目标对象的脚接地数据，所述脚接地数据表征所述目标对象的脚部接地情况；

损失确定模块，用于基于所述原始视频动捕数据以及所述脚接地数据，确定所述原始视频动捕数据的脚部穿模损失以及脚部滑步损失，其中，所述脚部穿模损失表征各个视频帧中所述目标对象的脚部陷地情况，所述脚部滑步损失表征所述目标对象在脚接地状态下的脚部滑动情况；

优化模块，用于基于所述脚部穿模损失以及所述脚部滑步损失，对所述原始视频动捕数据进行迭代优化，得到所述目标对象的目标视频动捕数据。

另一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上述方面所述的动捕数据的处理方法。

另一方面，本申请实施例提供了一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如上述方面所述的动捕数据的处理方法。

另一方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面提供的动捕数据的处理方法。

本申请实施例中，通过对动作视频中的目标对象进行动捕分析，得到原始视频动捕数据，并根据动作视频对目标对象进行脚接地状态分析，得到各个视频帧中目标对象的脚接地数据，从而计算机设备可以根据原始视频动捕数据以及脚接地数据，确定脚部滑步损失以及脚部穿模损失，进而根据脚部滑步损失以及脚部穿模损失对原始视频动捕数据进行迭代优化，得到目标视频动捕数据，采用本申请实施例提供的方案，能够减少视频动捕数据中存在的脚部滑步问题以及脚部穿模问题，提高视频动捕数据的数据质量，减少后期动画制作的修复工作以及修复成本。

附图说明

图1示出了本申请一个示例性实施例提供的动捕数据的处理框架图；

图2示出了本申请一个示例性实施例提供的实施环境的示意图；

图3示出了本申请一个示例性实施例提供的动捕数据的处理方法的流程图；

图4示出了本申请另一个示例性实施例提供的动捕数据的处理方法的流程图；

图5示出了本申请一个示例性实施例提供的通过VIT模型确定2D关键点信息的结构示意图；

图6示出了本申请一个示例性实施例提供的通过TCN模型确定脚部接地数据的结构示意图；

图7示出了本申请一个示例性实施例提供的构建全局位移数据的第二横轴分量以及第二纵轴分量的时序差分关系的示意图；

图8示出了本申请一个示例性实施例提供的分阶段迭代优化的流程图；

图9示出了本申请又一个示例性实施例提供的动捕数据的处理方法的流程图；

图10示出了本申请一个示例性实施例提供的动捕数据的处理装置的结构框图；

图11示出了本申请一个示例性实施例提供的计算机设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

人工智能（Artificial Intelligence，AI）是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

机器学习（Machine Learning，ML）是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。

随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

相关技术中，通过对动作视频进行视频动捕分析，得到原始视频动捕数据后，直接根据该原始视频动捕数据，生成动画视频，从而由动画后期师对动画视频中出现的脚部穿模问题以及脚部滑步问题进行后期处理，导致动画后期师需要耗费较长的时间和费用，成本较高。

本申请实施例中，除了根据动作视频确定原始视频动捕数据，还根据动作视频确定各个视频帧中目标对象的脚接地数据，从而基于原始视频动捕数据以及脚接地数据，确定原始视频动捕数据中存在的脚部穿模损失以及脚部滑步损失，并根据脚部穿模损失以及脚部滑步损失，对原始视频动捕数据进行迭代优化，从而得到目标视频动捕数据，该目标视频动捕数据的数据质量高于原始视频动捕数据。

示意性的，如图1所示，计算机设备获取动作视频101，从而通过视频动捕分析模块103确定原始视频动捕数据，根据接地状态分析模块102确定各个视频帧中目标对象的脚接地数据，进而通过迭代优化模块104，基于脚部穿模损失以及脚部滑步损失，对原始视频动捕数据进行迭代优化，得到目标视频动捕数据105。

本申请实施例提供的方案涉及人工智能的机器学习等技术，具体通过如下实施例进行说明。

请参考图2，其示出了本申请一个示例性实施例提供的实施环境的示意图。该实施环境中包括终端220和服务器240。其中，终端220与服务器240之间通过通信网络进行数据通信，可选地，通信网络可以是有线网络也可以是无线网络，且该通信网络可以是局域网、城域网以及广域网中的至少一种。

终端220是安装有具有动捕数据处理功能的应用程序的电子设备。其中，该动捕数据处理功能可以为终端中原生应用的功能，或者，第三方应用的功能；该电子设备可以是智能手机、平板电脑、个人计算机、可穿戴式设备或车载终端等等，图2中，以终端220为个人计算机为例进行说明，但并不对此构成限定。

服务器240可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络（Content Delivery Network，CDN）、以及大数据和人工智能平台等基础云计算服务的云服务器。本申请实施例中，服务器240可以为具有动捕数据处理功能的应用的后台服务器。

在一种可能的实施方式下，如图2所示，服务器240和终端220之间存在数据交互。在终端220根据动作视频确定出原始视频动捕数据以及脚接地数据之后，终端220将原始视频动捕数据以及脚接地数据发送给服务器240，从而由服务器240基于原始视频动捕数据以及脚接地数据，确定脚部穿模损失以及脚部滑步损失，并根据脚部穿模损失以及脚部滑步损失，对原始视频动捕数据进行迭代优化，得到目标视频动捕数据，并将目标视频动捕数据发送给终端220，进而终端220可以根据该目标视频动捕数据生成动画视频。

请参考图3，其示出了本申请一个示例性实施例提供的动捕数据的处理方法的流程图，本实施例以该方法用于计算机设备（包括终端220和/或服务器240）为例进行说明，该方法包括如下步骤。

步骤301，对动作视频中的目标对象进行动捕分析，得到原始视频动捕数据，原始视频动捕数据包括各个视频帧中目标对象的全局位移数据以及骨骼旋转数据，全局位移数据表征目标对象的中心骨骼节点的位移情况。

在一种可能的实施方式中，计算机设备对目标对象进行视频动捕分析，并得到原始视频动捕数据，可选的，视频动捕分析的方式可以是对目标对象进行实时动作采集和数据分析，也可以是直接对离线动作视频进行动捕数据分析，本申请实施例对此不作限定。

可选的，原始视频动捕数据包括各个视频帧中目标对象的全局位移数据以及骨骼旋转数据，其中，全局位移数据表征目标对象的中心骨骼节点的位移情况，该中心骨骼节点为人体骨盆重心点；骨骼旋转数据表征目标对象的各个骨骼关节点的运动旋转情况。

在一种可能的实施方式中，计算机设备确定目标对象对应的24个骨骼节点，并对动作视频中的目标对象进行视频动捕分析，从而基于各个视频帧中中心骨骼节点的位置，确定出目标对象的全局位移数据；基于各个视频帧中24个骨骼节点的位置，确定出目标对象的骨骼旋转数据。

步骤302，基于动作视频，对目标对象进行脚接地状态分析，得到各个视频帧中目标对象的脚接地数据，脚接地数据表征目标对象的脚部接地情况。

在直接根据原始视频动捕数据生成动画数据的过程中，由于视频中的平面运动数据和三维动作数据之间存在语义鸿沟，导致得到的动作数据难免存在瑕疵，比如脚部穿模问题和滑步问题，因此为了对原始视频动捕数据进行优化，提高视频动捕数据的质量，计算机设备可以基于目标对象的脚接地数据，对原始视频动捕数据中存在的脚部穿模问题以及滑步问题进行处理。

在一种可能的实施方式中，计算机设备可以基于动作视频，对目标对象进行脚接地状态分析，从而得到各个视频帧中目标对象的脚接地数据，其中，脚接地数据表征目标对象的脚部接地情况。

可选的，计算机设备可以在目标对象的脚部选取四个关键点，分别为左脚尖、左脚跟、右脚尖以及右脚跟，从而通过确定各个视频帧中四个关键点的接地情况，得到目标对象的脚接地数据。

步骤303，基于原始视频动捕数据以及脚接地数据，确定原始视频动捕数据的脚部穿模损失以及脚部滑步损失，其中，脚部穿模损失表征各个视频帧中目标对象的脚部陷地情况，脚部滑步损失表征目标对象在脚接地状态下的脚部滑动情况。

在一种可能的实施方式中，为了减少原始视频动捕数据中存在的脚部穿模问题以及脚部滑步问题，计算机设备可以根据原始视频动捕数据以及脚接地数据，确定原始视频动捕数据对应的脚部穿模损失以及脚部滑步损失。

其中，脚部穿模损失表征各个视频帧中目标对象的脚部陷地情况，可选的，计算机设备可以根据目标对象的四个脚部关键点的陷地情况，确定各个视频帧中的脚部穿模损失。脚部滑步损失表征目标对象在脚接地状态下的脚部滑动情况，可选的，在目标对象脚部处于接地状态的情况下，计算机设备可以根据相邻视频帧之间四个脚部关键点的位移情况，确定原始视频动捕数据中的脚部滑步损失。

步骤304，基于脚部穿模损失以及脚部滑步损失，对原始视频动捕数据进行迭代优化，得到目标对象的目标视频动捕数据。

在一种可能的实施方式中，在确定脚部穿模损失以及脚部滑步损失之后，计算机设备对原始视频动捕数据进行迭代优化，从而得到目标对象的目标视频动捕数据，其中，目标视频动捕数据的质量高于原始视频动捕数据，且目标视频动捕数据中存在的脚部穿模问题和脚部滑步问题明显少于原始视频动捕数据。

在一种可能的实施方式中，计算机设备可以先基于脚部穿模损失对原始视频动捕数据进行迭代优化，得到优化后的视频动捕数据，进而再基于脚部滑步损失对优化后的视频动捕数据进行迭代优化，从而得到目标视频动捕数据。

综上所述，本申请实施例中，通过对动作视频中的目标对象进行动捕分析，得到原始视频动捕数据，并根据动作视频对目标对象进行脚接地状态分析，得到各个视频帧中目标对象的脚接地数据，从而计算机设备可以根据原始视频动捕数据以及脚接地数据，确定脚部滑步损失以及脚部穿模损失，进而根据脚部滑步损失以及脚部穿模损失对原始视频动捕数据进行迭代优化，得到目标视频动捕数据，采用本申请实施例提供的方案，能够减少视频动捕数据中存在的脚部滑步问题以及脚部穿模问题，提高视频动捕数据的数据质量，减少后期动画制作的修复工作以及修复成本。

在一种可能的实施方式中，为了提高对原始视频动捕数据中的脚部穿模问题和脚部滑步问题的优化准确性，计算机设备可以根据原始视频动捕数据先构建目标对象的参数化模型，再根据参数化模型确定全局位移数据和各个脚部骨骼节点在三维坐标空间内的三维空间坐标，从而确定出脚部穿模损失以及脚部滑步损失，对原始视频动捕数据进行迭代优化。

请参考图4，其示出了本申请另一个示例性实施例提供的动捕数据的处理方法的流程图，本实施例以该方法用于计算机设备（包括终端220和/或服务器240）为例进行说明，该方法包括如下步骤。

步骤401，对动作视频中的目标对象进行动捕分析，得到原始视频动捕数据，原始视频动捕数据包括各个视频帧中目标对象的全局位移数据以及骨骼旋转数据，全局位移数据表征目标对象的中心骨骼节点的位移情况。

本步骤的具体实施方式可以参考步骤301，本实施例在此不作赘述。

步骤402，基于动作视频，对各个视频帧中的目标对象进行2D关键点提取，得到各个视频帧中目标对象对应的2D关键点信息。

在一种可能的实施方式中，计算机设备根据动作视频，对各个视频帧中的目标对象进行2D关键点提取，其中，2D关键点数量可以和骨骼节点数量相同，也可以多于骨骼节点数量，本申请实施例对此不作限定。

可选的，计算机设备可以通过VIT（Vision Transformer）模型完成对目标对象的2D关键点提取。在一种可能的实施方式中，计算机设备将动作视频输入VIT模型，通过VIT模型对动作视频中的各个视频帧进行编码和解码，从而输出各个视频帧对应的2D关键点信息。

示意性的，如图5所示，计算机设备将动作视频501中的各个视频帧输入VIT模型，VIT模型将各个视频帧划分为固定大小的补丁（Patch）图像输入补丁嵌入层（PatchEmbedding），并通过转换编码器502（Transformer Encoder）对各个补丁图像进行特征点提取，进而通过解码器503（Decoder）对经过特征点提取的补丁图像进行解码，从而得到各个视频帧中的2D关键点信息504。

步骤403，基于2D关键点信息，确定各个视频帧中目标对象的脚接地数据。

在一种可能的实施方式中，计算机设备基于各个视频帧中目标对象的2D关键点信息，确定目标对象的脚部关键点的接地状态，从而得到脚接地数据。

在一种可能的实施方式中，计算机设备根据2D关键点信息，确定各个视频帧中目标对象的脚部骨骼节点的接地状态，包括左脚尖、左脚跟、右脚尖以及右脚跟的接地状态，进而根据接地状态对各个脚部骨骼节点进行标记，生成脚接地数据。比如，计算机设备可以将接地状态的脚部骨骼节点标记为1，将未接地的脚部骨骼节点标记为0。

在一种可能的实施方式中，计算机设备还可以将各个视频帧对应的2D关键点信息输入TCN（Temporal Convolutional Network，时域卷积网络）模型，通过TCN模型获取各个视频帧中目标对象的脚接地数据。

在一种可能的实施方式中，由于TCN模型的时间序列长度是固定的，因此在动作视频的帧数较多的情况下，计算机设备还需要对视频帧进行分割，将视频帧分为多个时间序列长度的子视频帧，从而再将各个子视频帧对应的2D关键点信息输入TCN模型，通过TCN模型输出各个视频帧中的脚接地数据。

示意性的，如图6所示，计算机设备将时间序列长度为的子视频帧以及各个子视频帧对应的2D关键点信息601输入TCN模型602，通过该TCN模型602输出各个视频帧中目标对象的脚接地数据603。

步骤404，基于原始视频动捕数据，构建目标对象的参数化模型，参数化模型用于指示目标对象的各个骨骼节点在三维坐标空间内的骨骼节点坐标。

在一种可能的实施方式中，为了能够确定出原始视频动捕数据中的脚部穿模损失和脚部滑步损失，计算机设备需要首先确定出各个视频帧中目标对象的脚部骨骼节点在三维坐标空间内的空间坐标，因此计算机设备可以首先根据原始视频动捕数据，构建目标对象的参数化模型，该参数化模型用于指示目标对象的各个骨骼节点在三维坐标空间内的骨骼节点坐标。

在一种可能的实施方式中，计算机设备基于原始视频动捕数据中的全局位移数据以及骨骼旋转数据，构建目标对象对应的SMPL模型（Skinned Multi-Person LinearModel），该SMPL模型能够表征目标对象的人体姿态变化，从而根据该SMPL模型得到目标对象对应的各个骨骼节点坐标以及mesh坐标。

步骤405，基于参数化模型，获取各个视频帧中目标对象的脚部骨骼节点坐标。

进一步的，计算机设备从参数化模型中获取各个视频帧中目标对象的脚部骨骼节点坐标，包括左脚尖坐标、左脚跟坐标、右脚尖坐标以及右脚跟坐标。

在一种可能的实施方式中，计算机设备构建目标对象对应的SMPL模型，该SMPL模型上各个点的三维坐标可以表示为，其中，是指目标对象的骨骼旋转数据，是指目标对象的全局位移数据，可以分为三个维度，分别是，，代表该点在三个不同方向上的位移。

步骤406，基于脚部骨骼节点坐标，确定各个视频帧中的脚部穿模损失。

在一种可能的实施方式中，在确定各个视频帧中目标对象对应的脚部骨骼节点坐标后，计算机设备可以根据脚部骨骼节点坐标，对各个视频帧中的脚部穿模损失进行确定。

在一种可能的实施方式中，考虑到脚部穿模问题是指脚部陷入地面，即在三维坐标空间内可以表现为脚部骨骼节点坐标在竖轴方向上低于地面，因此计算机设备可以首先确定出各个视频帧中脚部骨骼节点坐标的第一竖轴分量，进而根据第一竖轴分量，确定各个视频帧中的脚部穿模损失。

在一种可能的实施方式中，针对各个视频帧，计算机设备分别对左脚尖坐标、左脚跟坐标、右脚尖坐标以及右脚跟坐标的第一竖轴分量进行确定，该第一竖轴分量可以表示为，表示第帧的第个位置在竖轴轴上的数值，进而在视频帧的帧数为的情况下，脚部穿模损失可以表示为，即在三维空间坐标内地面在竖轴方向上的值为0，在脚部骨骼节点的第一竖轴分量为负值的情况下，即产生脚部穿模损失。

步骤407，基于脚部骨骼节点坐标以及脚接地数据，确定脚部滑步损失。

在一种可能的实施方式中，在确定各个视频帧中目标对象对应的脚部骨骼节点坐标后，计算机设备可以根据脚部骨骼节点坐标以及脚接地数据，对各个视频帧中的脚部滑步损失进行确定。

在一种可能的实施方式中，考虑到脚部滑步问题是指脚部处于接地状态的情况下出现位移的现象，即在三维空间坐标内可以表现为在脚部处于接地状态的情况下，相邻视频帧之间的脚部骨骼节点坐标在水平方向上发生位移变化，该水平方向包括三维坐标空间内的横轴方向和纵轴方向，因此计算机设备可以通过计算相邻帧之间的脚部骨骼节点坐标在横轴方向和纵轴方向的差值，确定脚部滑步损失。

在一种可能的实施方式中，计算机设备可以先确定各个视频帧中脚部骨骼节点坐标的第一横轴分量以及第一纵轴分量，并根据第一横轴分量以及第一纵轴分量，计算相邻视频帧之间目标对象对应的脚部位移差值，从而根据该脚部位移差值以及脚接地数据，确定脚部滑步损失。

在一种可能的实施方式中，计算机设备将脚部骨骼节点坐标表示为，脚部骨骼节点坐标的第一横轴分量可以表示为，第一纵轴分量可以表示为，从而相邻视频帧之间的脚部位移差值可以表示为，即第帧和第帧之间在第位置处的脚部位移差值，并且第帧的第位置处的脚接地数据可以表示为，用0或1表示，其中，1表示接地，0表示未接地，进而在视频帧的帧数为的情况下，计算机设备可以将脚部滑步损失表示为，即在脚接地状态下，相邻视频帧之间产生脚部位移差值的情况下，即产生脚部滑步损失。

步骤408，基于全局位移数据以及参数化模型，确定全局位移数据在三维坐标空间内的第二竖轴分量。

在一种可能的实施方式中，为了提高对原始视频动捕数据中存在的脚部穿模问题和脚部滑步问题的优化效率，考虑到脚部穿模损失主要体现在竖直方向上的位移情况，因此针对原始视频动捕数据中存在的脚部穿模问题，计算机设备可以单独对全局位移数据在三维坐标空间内的竖轴分量进行迭代优化。

在一种可能的实施方式中，计算机设备根据全局位移数据以及构建的参数化模型，确定出全局位移数据在三维坐标空间内的第二竖轴分量，可选的，全局位移数据可以表示为，第二竖轴分量可以表示为。

步骤409，基于脚部穿模损失，对第二竖轴分量进行迭代优化。

在一种可能的实施方式中，在确定出脚部穿模损失以及全局位移数据的第二竖轴分量之后，计算机设备根据脚部穿模损失，对第二竖轴分量进行迭代优化。

在一种可能的实施方式中，计算机设备可以使用Adam优化器，通过脚部穿模损失对第二竖轴分量进行迭代优化，比如，Adam优化器的学习率可以设置为0.001，迭代次数可以设置为200次。

步骤410，基于脚部穿模损失以及脚部滑步损失，对全局位移数据以及骨骼旋转数据进行迭代优化，得到目标视频动捕数据。

在一种可能的实施方式中，在确定脚部穿模损失以及脚部滑步损失，并且对全局位移数据的第二竖轴分量迭代优化，减少了脚部穿模问题之后，计算机设备还需要根据脚部滑步损失，对原始视频动捕数据中的脚部滑步问题进行优化，并且为了避免在优化脚部滑步问题的过程中，再次引起脚部穿模问题，计算机设备可以在基于脚部滑步损失优化脚部滑步问题的过程中，同时基于脚部穿模损失继续保持对第二竖轴分量的优化。

在一种可能的实施方式中，计算机设备根据脚部穿模损失以及脚部滑步损失，对全局位移数据以及骨骼旋转数据进行迭代优化，从而得到目标视频动捕数据。

在一种可能的实施方式中，计算机设备可以使用Adam优化器，通过脚部穿模损失以及脚部滑步损失，对全局位移数据以及骨骼旋转数据进行迭代优化，比如，Adam优化器的学习率可以设置为0.001，迭代次数可以设置为600次。

在一种可能的实施方式中，由于全局位移数据的第二横轴分量以及第二纵轴分量在运动过程中变化范围较大，为了降低优化难度，计算机设备还可以对全局位移数据的优化参数进行调整，将全局位移数据中的绝对变化量第二横轴分量以及第二纵轴分量调整为相邻视频帧之间的相对变化量第二横轴分量差值以及第二纵轴分量差值，从而加快优化速度，提高优化后的效果。

在一种可能的实施方式中，计算机设备首先根据全局位移数据以及参数化模型，确定全局位移数据在三维坐标空间内的第二横轴分量以及第二纵轴分量，并对第二横轴分量以及第二纵轴分量进行时序差分构建，得到相邻视频帧之间的第二横轴分量差值以及第二纵轴分量差值。

示意性的，如图7所示，计算机设备通过对全局位移数据中维度构建时序差分关系，将全局位移数据中的绝对变化量第二横轴分量以及第二纵轴分量调整为相邻视频帧之间的相对变化量第二横轴分量差值以及第二纵轴分量差值。

进一步的，计算机设备根据基于脚部穿模损失以及脚部滑步损失，对第二横轴分量差值、第二纵轴分量差值、第二竖轴分量以及骨骼旋转数据进行迭代优化，其中，第二横轴分量差值、第二纵轴分量差值以及第二竖轴分量组成的优化参数可以表示为，进而计算机设备根据优化后的第二横轴分量差值、第二纵轴分量差值以及第二竖轴分量，确定出优化后的全局位移数据，并根据优化后的全局位移数据以及骨骼旋转数据，得到目标视频动捕数据，其中，优化后的全局位移数据可以表示为，优化后的骨骼旋转数据可以表示为。

上述实施例中，通过构建目标对象的参数化模型，确定出脚部骨骼节点坐标，从而根据各个视频帧中脚部骨骼节点坐标的第二竖轴分量确定脚部穿模损失，根据相邻视频帧之间的脚部骨骼节点坐标的变化值确定脚部位移差值，进而得到脚部滑步损失，提高了迭代优化过程中损失计算的效率和准确性。

此外，先针对脚部穿模问题对第二竖轴分量进行迭代优化，再针对脚部滑步问题对全局位移数据以及骨骼旋转数据进行迭代优化，并且在针对脚部滑步问题进行迭代优化的过程中，继续保持对第二竖轴分量的迭代优化，提高了迭代优化的效率的同时，增强了对脚部穿模问题和脚部滑步问题的优化效果。

在一种可能的实施方式中，在针对脚部穿模问题以及脚部滑步问题，对全局位移数据和骨骼旋转数据进行迭代优化的过程中，为了避免优化后的全局位移数据与优化前的全局位移数据之间差值较大，尤其是在优化参数调整为相邻视频帧之间的坐标分量差值的情况下，可能会产生累计误差，导致优化后的全局位移数据与优化前的全局位移数据之间差值较大，计算机设备可以根据优化前的全局位移数据以及优化后的全局位移数据，确定全局位移损失，从而以该全局位移损失，对全局位移数据和骨骼旋转数据进行迭代优化。

在一种可能的实施方式中，在根据脚部穿模损失以及脚部滑步损失，对全局位移数据进行优化，得到优化后的全局位移数据之后，计算机设备根据优化前的全局位移数据以及优化后的全局位移数据，确定出全局位移损失。

在一种可能的实施方式中，考虑到累加误差一般在间隔多个视频帧之后才会产生，计算机设备可以选取间隔视频帧中的全局位移数据，并计算间隔视频帧中优化前的全局位移数据与优化后的全局位移数据之间的全局位移差值，从而确定全局位移损失。

在一种可能的实施方式中，计算机设备首先确定视频帧间隔，从而根据视频帧间隔以及动作视频的视频帧数，确定采样视频帧以及采样视频帧数，进一步的，根据优化前的全局位移数据以及优化后的全局位移数据，确定各个采样视频帧中全局位移数据与优化后的全局位移数据之间的全局位移差值，进而根据采样视频帧数以及全局位移差值，通过均方误差计算公式确定全局位移损失。

在一种可能的实施方式中，优化前的全局位移数据可以表示为，优化后的全局位移数据可以表示为，采样视频帧数为，全局位移损失可以表示为。

进而，计算机设备根据脚部穿模损失、脚部滑步损失以及全局位移损失，对全局位移数据以及骨骼旋转数据进行迭代优化，得到目标视频动捕数据。

上述实施例中，在根据脚部穿模损失以及脚部滑步损失，对全局位移数据进行优化，得到优化后的全局位移数据之后，通过确定间隔视频帧中优化前的全局位移数据与优化后的全局位移数据之间的全局位移差值，通过均方误差公式得到全局位移损失，从而加入全局位移损失对全局位移数据以及骨骼旋转数据进行迭代优化，避免了优化后的全局位移数据与优化前的全局位移数据之间位移相差较大的问题，保证了目标视频动捕数据与原始视频动捕数据尽可能接近，提高了迭代优化的效率以及目标视频动捕数据的数据质量。

在一种可能的实施方式中，为了保证根据目标视频动捕数据能够得到流畅的动画效果，避免视频帧之间的突变，计算机设备还可以根据全局位移数据，对相邻视频帧之间的全局位移速度损失进行确定，从而根据脚部穿模损失、脚部滑步损失以及全局位移速度损失，对全局位移数据以及骨骼旋转数据进行迭代优化，得到目标视频动捕数据。

在一种可能的实施方式中，相邻视频帧之间的全局位移速度差值可以表示为，即第帧和第帧之间的全局位移速度差值，即第帧的加速度，从而在视频帧的帧数为的情况下，全局位移速度损失可以表示为。

上述实施例中，通过在迭代优化过程中加入全局位移速度损失，减少了视频帧之间全局位移数据的突变问题，提高了迭代优化的效率，增加了根据目标视频动捕数据得到的动画的流畅度。

在一种可能的实施方式中，为了能够根据脚部穿模损失、脚部滑步损失、全局位移损失以及全局位移速度损失对脚部穿模问题和脚部滑步问题进行针对性的迭代优化，提高迭代优化的效率，计算机设备可以将迭代优化过程分为两个阶段，并且在两个阶段分别设置不同的损失权重。

在一种可能的实施方式中，在第一阶段，计算机设备基于第一脚部穿模损失权重、第一脚部滑步损失权重、第一全局位移损失权重以及第一全局位移速度损失权重，对脚部穿模损失、脚部滑步损失、全局位移损失以及全局位移速度损失进行加权，得到第一加权损失，从而基于第一加权损失，对全局位移数据进行迭代优化。

在一种可能的实施方式中，在第一阶段，为了针对脚部穿模问题，对全局位移数据中的第二竖轴分量进行迭代优化，可以将第一脚部穿模损失权重设置大于第一脚部滑步损失权重、第一全局位移损失权重以及第一全局位移速度损失权重。

在一个示意性的例子中，可以将第一脚部穿模损失权重设置为100，第一脚部滑步损失权重、第一全局位移损失权重以及第一全局位移速度损失权重均设置为0。

在一种可能的实施方式中，在完成对全局位移数据中的第二竖轴分量的迭代优化的情况下，在第二阶段，计算机设备基于第二脚部穿模损失权重、第二脚部滑步损失权重、第二全局位移损失权重以及第二全局位移速度损失权重，对脚部穿模损失、脚部滑步损失、全局位移损失以及全局位移速度损失进行加权，得到第二加权损失，从而基于第二加权损失，对全局位移数据以及骨骼旋转数据进行迭代优化，得到目标视频动捕数据。

在一种可能的实施方式中，在第二阶段，由于基于脚部穿模损失进行迭代优化仅仅是为了避免在优化脚部滑步问题的过程中，再次增加脚部穿模问题，并且第二阶段主要目的是为了针对脚部滑步问题，对全局位移数据以及骨骼旋转数据进行迭代优化，因此可以将第二脚部穿模损失权重设置小于第二脚部滑步损失权重、第二全局位移损失权重以及第二全局位移速度损失权重。

在一个示意性的例子中，可以将第二脚部穿模损失权重设置为100，第二脚部滑步损失权重、第二全局位移损失权重以及第二全局位移速度损失权重均设置为1000。

在一种可能的实施方式中，计算机设备可以将脚部穿模损失、脚部滑步损失、全局位移损失以及全局位移速度损失对应的损失权重分别表示为，，以及，从而加权损失可以表示为。

上述实施例中，通过分阶段对全局位移数据以及骨骼旋转数据进行迭代优化，并在不同阶段根据不同的损失权重，对全局位移数据以及骨骼旋转数据进行迭代优化，提高了迭代优化的效率，并且提高了目标视频动捕数据的数据质量。

在一种可能的实施方式中，可以将对全局位移数据以及骨骼旋转数据进行迭代优化的全部过程视为一个通过迭代优化模型对全局位移数据以及骨骼旋转数据进行迭代优化的过程，该迭代优化模型分为两个阶段，该迭代优化模型的输入为全局位移数据、骨骼旋转数据以及脚接地数据，输出为优化后的全局位移数据和优化后的骨骼旋转数据。

请参考图8，示出了本申请一个示例性实施例提供的分阶段迭代优化的流程图。

步骤801，确定全局位移数据、骨骼旋转数据以及脚接地数据。

首先，计算机设备根据原始视频动捕数据，得到全局位移数据以及骨骼旋转数据，并通过对动作视频进行脚接地状态分析，得到脚接地数据。

步骤802，基于第一加权损失，对全局位移数据中的第二竖轴分量进行迭代优化。

其次，计算机设备获取第一脚部穿模损失权重、第一脚部滑步损失权重、第一全局位移损失权重、第一全局位移速度损失权重，并获取迭代次数为200次，以及 Adam优化器的学习率为0.001，从而基于脚部穿模损失对全局位移数据中的第二竖轴分量进行迭代优化。

步骤803，基于第二加权损失，对全局位移数据以及骨骼旋转数据进行迭代优化。

在完成对第二竖轴分量的迭代优化之后，计算机设备获取第二脚部穿模损失权重、第二脚部滑步损失权重、第二全局位移损失权重、第二全局位移速度损失权重，并获取迭代次数为600次，以及 Adam优化器的学习率为0.001，从而基于脚部穿模损失、脚部滑步损失、全局位移损失以及全局位移速度损失，对调整后的全局位移数据以及骨骼旋转数据进行迭代优化。

步骤804，得到优化后的全局位移数据和优化后的骨骼旋转数据。

在达到迭代次数后，计算机设备得到优化后的全局位移数据和优化后的骨骼旋转数据，从而得到目标视频动捕数据。

请参考图9，示出了本申请另一个示例性实施例提供的动捕数据的处理方法的流程图。

首先，计算机设备对动作视频901进行视频动捕分析，得到原始视频动捕数据902，该原始视频动捕数据902中包括各个视频帧中目标对象的全局位移数据903和骨骼旋转数据904，并且计算机设备对动作视频901进行脚接地状态分析，得到各个视频帧中目标对象的脚接地数据905，进而，计算机设备根据原始视频动捕数据902构建目标对象的参数化模型，并根据参数化模型得到各个视频帧中目标对象的脚部骨骼节点坐标906，从而计算机设备根据脚部骨骼节点坐标906，确定各个视频帧中原始视频动捕数据902中的脚部穿模损失907，并根据脚部骨骼节点坐标906以及脚接地数据905，确定原始视频动捕数据902中的脚部滑步损失908，并且为了提高动画视频的流畅性，减少突变，计算机设备还可以根据全局位移数据903确定原始视频动捕数据902中的全局位移速度损失910。

其次，针对原始视频动捕数据902中的脚部穿模问题，计算机设备进行第一阶段迭代优化，通过脚部穿模损失907对全局位移数据903中的第二竖轴分量909进行迭代优化，得到优化后的第二竖轴分量913，在完成对第二竖轴分量909的迭代优化后，针对原始视频动捕数据902中的脚部滑步问题，计算机设备进行第二阶段迭代优化，并且为了避免在优化脚部滑步问题的过程中，增加脚部穿模问题，计算机设备在第二阶段迭代优化过程中可以继续保持对脚部穿模问题的优化，通过脚部穿模损失907、脚部滑步损失908以及全局位移速度损失910，对全局位移数据903以及骨骼旋转数据904进行迭代优化，同时，为了避免优化前后全局位移数据的变化较大，在每次优化过程中，计算机设备还可以根据优化前的全局位移数据903以及优化后的全局位移数据911，确定全局位移损失912，进而计算机设备基于脚部穿模损失907、脚部滑步损失908、全局位移损失912以及全局位移速度损失910，对全局位移数据903以及骨骼旋转数据904进行迭代优化，最终得到目标视频动捕数据914。

请参考图10，其示出了本申请一个示例性实施例提供的动捕数据的处理装置的结构框图，该装置包括。

第一分析模块1001，用于对动作视频中的目标对象进行动捕分析，得到原始视频动捕数据，所述原始视频动捕数据包括各个视频帧中所述目标对象的全局位移数据以及骨骼旋转数据，所述全局位移数据表征所述目标对象的中心骨骼节点的位移情况；

第二分析模块1002，用于基于所述动作视频，对所述目标对象进行脚接地状态分析，得到各个视频帧中所述目标对象的脚接地数据，所述脚接地数据表征所述目标对象的脚部接地情况；

损失确定模块1003，用于基于所述原始视频动捕数据以及所述脚接地数据，确定所述原始视频动捕数据的脚部穿模损失以及脚部滑步损失，其中，所述脚部穿模损失表征各个视频帧中所述目标对象的脚部陷地情况，所述脚部滑步损失表征所述目标对象在脚接地状态下的脚部滑动情况；

优化模块1004，用于基于所述脚部穿模损失以及所述脚部滑步损失，对所述原始视频动捕数据进行迭代优化，得到所述目标对象的目标视频动捕数据。

可选的，所述损失确定模块1003，包括：

模型构建单元，用于基于所述原始视频动捕数据，构建所述目标对象的参数化模型，所述参数化模型用于指示所述目标对象的各个骨骼节点在三维坐标空间内的骨骼节点坐标；

坐标获取单元，用于基于所述参数化模型，获取各个视频帧中所述目标对象的脚部骨骼节点坐标；

第一损失确定单元，用于基于所述脚部骨骼节点坐标，确定各个视频帧中的所述脚部穿模损失；

第二损失确定单元，用于基于所述脚部骨骼节点坐标以及所述脚接地数据，确定所述脚部滑步损失。

可选的，所述第一损失确定单元，用于：

基于所述脚部骨骼节点坐标，确定各个视频帧中所述脚部骨骼节点坐标的第一竖轴分量；

基于所述第一竖轴分量，确定各个视频帧中的所述脚部穿模损失。

可选的，所述第二损失确定单元，用于：

基于所述脚部骨骼节点坐标，确定各个视频帧中所述脚部骨骼节点坐标的第一横轴分量以及第一纵轴分量；

基于所述第一横轴分量以及所述第一纵轴分量，确定相邻视频帧之间所述目标对象的脚部位移差值；

基于所述脚部位移差值以及所述脚接地数据，确定所述脚部滑步损失。

可选的，所述优化模块1004，包括：

分量确定单元，用于基于所述全局位移数据以及所述参数化模型，确定所述全局位移数据在所述三维坐标空间内的第二竖轴分量；

第一优化单元，用于基于所述脚部穿模损失，对所述第二竖轴分量进行迭代优化；

第二优化单元，用于基于所述脚部穿模损失以及所述脚部滑步损失，对所述全局位移数据以及所述骨骼旋转数据进行迭代优化，得到所述目标视频动捕数据。

可选的，所述第二优化单元，还用于：

基于所述脚部穿模损失以及所述脚部滑步损失，对所述全局位移数据进行优化，得到优化后的全局位移数据；

基于所述全局位移数据以及所述优化后的全局位移数据，确定全局位移损失；

基于所述脚部穿模损失、所述脚部滑步损失以及所述全局位移损失，对所述全局位移数据以及所述骨骼旋转数据进行迭代优化，得到所述目标视频动捕数据。

可选的，所述第二优化单元，还用于：

确定视频帧间隔；

基于所述视频帧间隔，确定采样视频帧以及采样视频帧数；

基于所述全局位移数据以及所述优化后的全局位移数据，确定各个采样视频帧中所述全局位移数据与所述优化后的全局位移数据之间的全局位移差值；

基于所述采样视频帧数以及所述全局位移差值，确定所述全局位移损失。

可选的，所述第二优化单元，还用于：

基于所述全局位移数据，确定相邻视频帧之间的全局位移速度损失；

基于所述脚部穿模损失、所述脚部滑步损失以及所述全局位移速度损失，对所述全局位移数据以及所述骨骼旋转数据进行迭代优化，得到所述目标视频动捕数据。

可选的，所述第二优化单元，还用于：

基于所述全局位移数据以及所述参数化模型，确定所述全局位移数据在所述三维坐标空间内的第二横轴分量以及第二纵轴分量；

对所述第二横轴分量以及所述第二纵轴分量进行时序差分构建，得到相邻视频帧之间的第二横轴分量差值以及第二纵轴分量差值；

基于所述脚部穿模损失以及所述脚部滑步损失，对所述第二横轴分量差值、所述第二纵轴分量差值、所述第二竖轴分量以及所述骨骼旋转数据进行迭代优化；

基于优化后的第二横轴分量差值、第二纵轴分量差值以及第二竖轴分量，确定优化后的全局位移数据；

基于所述优化后的全局位移数据以及优化后的骨骼位移数据，得到所述目标视频动捕数据。

可选的，所述装置还包括：

第一损失确定模块，用于基于第一脚部穿模损失权重、第一脚部滑步损失权重、第一全局位移损失权重以及第一全局位移速度损失权重，对所述脚部穿模损失、所述脚部滑步损失、全局位移损失以及全局位移速度损失进行加权，得到第一加权损失；

第二损失确定模块，用于基于第二脚部穿模损失权重、第二脚部滑步损失权重、第二全局位移损失权重以及第二全局位移速度损失权重，对所述脚部穿模损失、所述脚部滑步损失、全局位移损失以及全局位移速度损失进行加权，得到第二加权损失；

所述第一优化单元，用于基于所述第一加权损失，对所述全局位移数据进行迭代优化；

所述第二优化单元，用于在完成对所述全局位移数据的迭代优化的情况下，基于所述第二加权损失，对所述全局位移数据以及所述骨骼旋转数据进行迭代优化，得到所述目标视频动捕数据。

可选的，

所述第一脚部穿模损失权重大于所述第一脚部滑步损失权重、所述第一全局位移损失权重以及所述第一全局位移速度损失权重；

所述第二脚部穿模损失权重小于所述第二脚部滑步损失权重、所述第二全局位移损失权重以及所述第二全局位移速度损失权重。

可选的，所述第二分析模块1002，包括：

关键点提取模块，用于基于所述动作视频，对各个视频帧中的所述目标对象进行2D关键点提取，得到各个视频帧中所述目标对象对应的2D关键点信息；

数据确定模块，用于基于所述2D关键点信息，确定各个视频帧中所述目标对象的所述脚接地数据。

可选的，所述数据确定模块，用于：

基于所述2D关键点信息，确定各个视频帧中所述目标对象的各个脚部骨骼节点的接地状态；

基于各个脚部骨骼节点的接地状态，对各个视频帧中的各个脚部骨骼节点进行标记，得到所述脚接地数据。

综上所述，本申请实施例中，通过对动作视频中的目标对象进行动捕分析，得到原始视频动捕数据，并根据动作视频对目标对象进行脚接地状态分析，得到各个视频帧中目标对象的脚接地数据，从而计算机设备可以根据原始视频动捕数据以及脚接地数据，确定脚部滑步损失以及脚部穿模损失，进而根据脚部滑步损失以及脚部穿模损失对原始视频动捕数据进行迭代优化，得到目标视频动捕数据，采用本申请实施例提供的方案，能够减少视频动捕数据中存在的脚部滑步问题以及脚部穿模问题，提高视频动捕数据的数据质量，减少后期动画制作的修复工作以及修复成本。

需要说明的是：上述实施例提供的装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其实现过程详见方法实施例，这里不再赘述。

请参考图11，其示出了本申请一个示例性实施例提供的计算机设备的结构示意图。具体来讲：所述计算机设备1100包括中央处理单元（Central Processing Unit，CPU）1101、包括随机存取存储器1102和只读存储器1103的系统存储器1104，以及连接系统存储器1104和中央处理单元1101的系统总线1105。所述计算机设备1100还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统（Input/Output，I/O系统）1106，和用于存储操作系统1113、应用程序1114和其他程序模块1115的大容量存储设备1107。

所述基本输入/输出系统1106包括有用于显示信息的显示器1108和用于用户输入信息的诸如鼠标、键盘之类的输入设备1109。其中所述显示器1108和输入设备1109都通过连接到系统总线1105的输入输出控制器1110连接到中央处理单元1101。所述基本输入/输出系统1106还可以包括输入输出控制器1110以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1110还提供输出到显示屏、打印机或其他类型的输出设备。

所述大容量存储设备1107通过连接到系统总线1105的大容量存储控制器（未示出）连接到中央处理单元1101。所述大容量存储设备1107及其相关联的计算机可读介质为计算机设备1100提供非易失性存储。也就是说，所述大容量存储设备1107可以包括诸如硬盘或者驱动器之类的计算机可读介质（未示出）。

不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括随机存取记忆体（RAM，Random Access Memory）、只读存储器（ROM，Read Only Memory）、闪存或其他固态存储其技术，只读光盘（Compact Disc Read-Only Memory，CD-ROM）、数字通用光盘（Digital Versatile Disc，DVD）或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1104和大容量存储设备1107可以统称为存储器。

存储器存储有一个或多个程序，一个或多个程序被配置成由一个或多个中央处理单元1101执行，一个或多个程序包含用于实现上述方法的指令，中央处理单元1101执行该一个或多个程序实现上述各个方法实施例提供的方法。

根据本申请的各种实施例，所述计算机设备1100还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备1100可以通过连接在所述系统总线1105上的网络接口单元1112连接到网络1111，或者说，也可以使用网络接口单元1112来连接到其他类型的网络或远程计算机系统（未示出）。

本申请实施例还提供一种计算机可读存储介质，该可读存储介质中存储有至少一条指令，至少一条指令由处理器加载并执行以实现上述实施例所述的动捕数据的处理方法。

可选地，该计算机可读存储介质可以包括：ROM、RAM、固态硬盘（SSD，Solid StateDrives）或光盘等。其中，RAM可以包括电阻式随机存取记忆体（ReRAM，Resistance RandomAccess Memory）和动态随机存取存储器（DRAM，Dynamic Random Access Memory）。

本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例所述的动捕数据的处理方法。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的可选的实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (16)

1.一种动捕数据的处理方法，其特征在于，所述方法包括：

对动作视频中的目标对象进行动捕分析，得到原始视频动捕数据，所述原始视频动捕数据包括各个视频帧中所述目标对象的全局位移数据以及骨骼旋转数据，所述全局位移数据表征所述目标对象的中心骨骼节点的位移情况；

基于所述动作视频，对所述目标对象进行脚接地状态分析，得到各个视频帧中所述目标对象的脚接地数据，所述脚接地数据表征所述目标对象的脚部接地情况；

基于所述原始视频动捕数据以及所述脚接地数据，确定所述原始视频动捕数据的脚部穿模损失以及脚部滑步损失，其中，所述脚部穿模损失表征各个视频帧中所述目标对象的脚部陷地情况，所述脚部滑步损失表征所述目标对象在脚接地状态下的脚部滑动情况；

基于所述脚部穿模损失以及所述脚部滑步损失，对所述原始视频动捕数据进行迭代优化，得到所述目标对象的目标视频动捕数据。

2.根据权利要求1所述的方法，其特征在于，所述基于所述原始视频动捕数据以及所述脚接地数据，确定所述原始视频动捕数据的脚部穿模损失以及脚部滑步损失，包括：

基于所述原始视频动捕数据，构建所述目标对象的参数化模型，所述参数化模型用于指示所述目标对象的各个骨骼节点在三维坐标空间内的骨骼节点坐标；

基于所述参数化模型，获取各个视频帧中所述目标对象的脚部骨骼节点坐标；

基于所述脚部骨骼节点坐标，确定各个视频帧中的所述脚部穿模损失；

基于所述脚部骨骼节点坐标以及所述脚接地数据，确定所述脚部滑步损失。

3.根据权利要求2所述的方法，其特征在于，所述基于所述脚部骨骼节点坐标，确定各个视频帧中的所述脚部穿模损失，包括：

基于所述脚部骨骼节点坐标，确定各个视频帧中所述脚部骨骼节点坐标的第一竖轴分量；

基于所述第一竖轴分量，确定各个视频帧中的所述脚部穿模损失。

4.根据权利要求2所述的方法，其特征在于，所述基于所述脚部骨骼节点坐标以及所述脚接地数据，确定所述脚部滑步损失，包括：

基于所述脚部骨骼节点坐标，确定各个视频帧中所述脚部骨骼节点坐标的第一横轴分量以及第一纵轴分量；

基于所述第一横轴分量以及所述第一纵轴分量，确定相邻视频帧之间所述目标对象的脚部位移差值；

基于所述脚部位移差值以及所述脚接地数据，确定所述脚部滑步损失。

5.根据权利要求2所述的方法，其特征在于，所述基于所述脚部穿模损失以及所述脚部滑步损失，对所述原始视频动捕数据进行迭代优化，得到所述目标对象的目标视频动捕数据，包括：

基于所述全局位移数据以及所述参数化模型，确定所述全局位移数据在所述三维坐标空间内的第二竖轴分量；

基于所述脚部穿模损失，对所述第二竖轴分量进行迭代优化；

基于所述脚部穿模损失以及所述脚部滑步损失，对所述全局位移数据以及所述骨骼旋转数据进行迭代优化，得到所述目标视频动捕数据。

6.根据权利要求5所述的方法，其特征在于，所述基于所述脚部穿模损失以及所述脚部滑步损失，对所述全局位移数据以及所述骨骼旋转数据进行迭代优化，得到所述目标视频动捕数据，还包括：

基于所述脚部穿模损失以及所述脚部滑步损失，对所述全局位移数据进行优化，得到优化后的全局位移数据；

基于所述全局位移数据以及所述优化后的全局位移数据，确定全局位移损失；

基于所述脚部穿模损失、所述脚部滑步损失以及所述全局位移损失，对所述全局位移数据以及所述骨骼旋转数据进行迭代优化，得到所述目标视频动捕数据。

7.根据权利要求6所述的方法，其特征在于，所述基于所述全局位移数据以及所述优化后的全局位移数据，确定全局位移损失，包括：

确定视频帧间隔；

基于所述视频帧间隔，确定采样视频帧以及采样视频帧数；

基于所述全局位移数据以及所述优化后的全局位移数据，确定各个采样视频帧中所述全局位移数据与所述优化后的全局位移数据之间的全局位移差值；

基于所述采样视频帧数以及所述全局位移差值，确定所述全局位移损失。

8.根据权利要求5所述的方法，其特征在于，所述基于所述脚部穿模损失以及所述脚部滑步损失，对所述全局位移数据以及所述骨骼旋转数据进行迭代优化，得到所述目标视频动捕数据，还包括：

基于所述全局位移数据，确定相邻视频帧之间的全局位移速度损失；

基于所述脚部穿模损失、所述脚部滑步损失以及所述全局位移速度损失，对所述全局位移数据以及所述骨骼旋转数据进行迭代优化，得到所述目标视频动捕数据。

9.根据权利要求5所述的方法，其特征在于，所述基于所述脚部穿模损失以及所述脚部滑步损失，对所述全局位移数据以及所述骨骼旋转数据进行迭代优化，得到所述目标视频动捕数据，还包括：

基于所述全局位移数据以及所述参数化模型，确定所述全局位移数据在所述三维坐标空间内的第二横轴分量以及第二纵轴分量；

对所述第二横轴分量以及所述第二纵轴分量进行时序差分构建，得到相邻视频帧之间的第二横轴分量差值以及第二纵轴分量差值；

基于所述脚部穿模损失以及所述脚部滑步损失，对所述第二横轴分量差值、所述第二纵轴分量差值、所述第二竖轴分量以及所述骨骼旋转数据进行迭代优化；

基于优化后的第二横轴分量差值、第二纵轴分量差值以及第二竖轴分量，确定优化后的全局位移数据；

基于所述优化后的全局位移数据以及优化后的骨骼位移数据，得到所述目标视频动捕数据。

10.根据权利要求5至9任一所述的方法，其特征在于，所述方法还包括：

基于第一脚部穿模损失权重、第一脚部滑步损失权重、第一全局位移损失权重以及第一全局位移速度损失权重，对所述脚部穿模损失、所述脚部滑步损失、全局位移损失以及全局位移速度损失进行加权，得到第一加权损失；

基于第二脚部穿模损失权重、第二脚部滑步损失权重、第二全局位移损失权重以及第二全局位移速度损失权重，对所述脚部穿模损失、所述脚部滑步损失、全局位移损失以及全局位移速度损失进行加权，得到第二加权损失；

基于所述第一加权损失，对所述全局位移数据进行迭代优化；

在完成对所述全局位移数据的迭代优化的情况下，基于所述第二加权损失，对所述全局位移数据以及所述骨骼旋转数据进行迭代优化，得到所述目标视频动捕数据。

11.根据权利要求10所述的方法，其特征在于，

所述第一脚部穿模损失权重大于所述第一脚部滑步损失权重、所述第一全局位移损失权重以及所述第一全局位移速度损失权重；

所述第二脚部穿模损失权重小于所述第二脚部滑步损失权重、所述第二全局位移损失权重以及所述第二全局位移速度损失权重。

12.根据权利要求1所述的方法，其特征在于，所述基于所述动作视频，对所述目标对象进行脚接地状态分析，得到各个视频帧中所述目标对象的脚接地数据，包括：

基于所述动作视频，对各个视频帧中的所述目标对象进行2D关键点提取，得到各个视频帧中所述目标对象对应的2D关键点信息；

基于所述2D关键点信息，确定各个视频帧中所述目标对象的所述脚接地数据。

13.根据权利要求12所述的方法，其特征在于，所述基于所述2D关键点信息，确定各个视频帧中所述目标对象的所述脚接地数据，包括：

基于所述2D关键点信息，确定各个视频帧中所述目标对象的各个脚部骨骼节点的接地状态；

基于各个脚部骨骼节点的接地状态，对各个视频帧中的各个脚部骨骼节点进行标记，得到所述脚接地数据。

14.一种动捕数据的处理装置，其特征在于，所述装置包括：

第一分析模块，用于对动作视频中的目标对象进行动捕分析，得到原始视频动捕数据，所述原始视频动捕数据包括各个视频帧中所述目标对象的全局位移数据以及骨骼旋转数据，所述全局位移数据表征所述目标对象的中心骨骼节点的位移情况；

第二分析模块，用于基于所述动作视频，对所述目标对象进行脚接地状态分析，得到各个视频帧中所述目标对象的脚接地数据，所述脚接地数据表征所述目标对象的脚部接地情况；

损失确定模块，用于基于所述原始视频动捕数据以及所述脚接地数据，确定所述原始视频动捕数据的脚部穿模损失以及脚部滑步损失，其中，所述脚部穿模损失表征各个视频帧中所述目标对象的脚部陷地情况，所述脚部滑步损失表征所述目标对象在脚接地状态下的脚部滑动情况；

优化模块，用于基于所述脚部穿模损失以及所述脚部滑步损失，对所述原始视频动捕数据进行迭代优化，得到所述目标对象的目标视频动捕数据。

15.一种电子设备，其特征在于，所述电子设备包括处理器和存储器；所述存储器存储有至少一条指令，所述至少一条指令用于被所述处理器执行以实现如权利要求1至13任一所述的动捕数据的处理方法。

16.一种计算机可读存储介质，其特征在于，所述存储介质存储有至少一条指令，所述至少一条指令用于被处理器执行以实现如权利要求1至13任一所述的动捕数据的处理方法。

Images