CN115564803B - 一种动画处理方法、装置、设备、存储介质及产品 - Google Patents
一种动画处理方法、装置、设备、存储介质及产品 Download PDFInfo
- Publication number
- CN115564803B CN115564803B CN202211553250.9A CN202211553250A CN115564803B CN 115564803 B CN115564803 B CN 115564803B CN 202211553250 A CN202211553250 A CN 202211553250A CN 115564803 B CN115564803 B CN 115564803B
- Authority
- CN
- China
- Prior art keywords
- target object
- information
- track
- time period
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 30
- 230000033001 locomotion Effects 0.000 claims abstract description 176
- 238000000034 method Methods 0.000 claims abstract description 48
- 238000012545 processing Methods 0.000 claims description 136
- 230000009467 reduction Effects 0.000 claims description 82
- 230000015654 memory Effects 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000009877 rendering Methods 0.000 claims description 9
- 239000002131 composite material Substances 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 20
- 238000005516 engineering process Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 12
- 238000013473 artificial intelligence Methods 0.000 description 10
- 230000004927 fusion Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 239000000126 substance Substances 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 241001465754 Metazoa Species 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 210000004197 pelvis Anatomy 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 210000004394 hip joint Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010339 medical test Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请实施例公开了一种动画处理方法、装置、设备、存储介质及产品。其中方法包括：获取第一参考集合和第二参考集合，第一参考集合包含动画的第一时间段内的第一参考图像，第二参考集合包含动画的第二时间段内的第二参考图像，且第一参考图像和第二参考图像中均包含目标对象，对第一参考图像中及第二参考图像中的目标对象的运动状况进行分析，获得目标对象的运动特征信息，获取目标对象在目标时间段内的运动轨迹，根据目标对象的运动特征信息及目标对象在目标时间段内的运动轨迹，预测动画中在目标时间段内的图像。可见，通过目标对象在目标时间段内的运动轨迹对图像预测过程进行约束，可以降低预测过程中的误差，提高生成的图像的准确度。
Description
技术领域
本申请涉及计算机技术领域，具体涉及一种动画处理方法、一种动画处理装置、一种计算机设备、一种计算机可读存储介质及一种动画处理产品。
背景技术
随着科技研究的进步，人工智能技术飞速发展，并已经被广泛应用在各个领域；例如，动画处理、文本处理、信号处理、医疗检测等等。在动画处理领域中，基于动画中至少一张历史时间图像和至少一张未来时间图像可以预测二者中间的图像。研究发现，由于图像的预测过程中存在随机性，预测的图像的准确度较低；例如，动画中包含的对象（如人、物体、动物等）在预测的图像中的位置和姿态与该对象的实际位置和实际姿态之间的差异较大。
发明内容
本申请实施例提供了一种动画处理方法、装置、设备、计算机可读存储介质及产品，能够提高生成的图像的准确度。
一方面，本申请实施例提供了一种动画处理方法，包括：
获取第一参考集合和第二参考集合，第一参考集合和第二参考集合均用于对动画中在目标时间段内的图像进行预测，第一参考集合包含动画的第一时间段内的至少一张第一参考图像；第二参考集合包含动画的第二时间段内的至少一张第二参考图像；目标时间段在动画中位于第一时间段和第二时间段之间；且第一参考图像和第二参考图像中均包含目标对象；
对第一参考图像中及第二参考图像中的目标对象的运动状况进行分析，获得目标对象的运动特征信息；
获取目标对象在目标时间段内的运动轨迹；
根据目标对象的运动特征信息及目标对象在目标时间段内的运动轨迹，预测动画中在目标时间段内的图像。
一方面，本申请实施例提供了一种动画处理装置，该动画处理装置包括：
获取单元，用于获取第一参考集合和第二参考集合，第一参考集合和第二参考集合均用于对动画中在目标时间段内的图像进行预测，第一参考集合包含动画的第一时间段内的至少一张第一参考图像；第二参考集合包含动画的第二时间段内的至少一张第二参考图像；目标时间段在动画中位于第一时间段和第二时间段之间；且第一参考图像和第二参考图像中均包含目标对象；
处理单元，用于对第一参考图像中及第二参考图像中的目标对象的运动状况进行分析，获得目标对象的运动特征信息；
获取单元，还用于获取目标对象在目标时间段内的运动轨迹；
处理单元，还用于根据目标对象的运动特征信息及目标对象在目标时间段内的运动轨迹，预测动画中在目标时间段内的图像。
在一种实施方式中，动画中在目标时间段内的图像的数量为M，M为正整数；目标时间段内的M张图像中的任一张表示为第i张图像；若i=1，则处理单元用于，获取目标对象在目标时间段内的运动轨迹，具体用于：
获取第一轨迹差异信息，第一轨迹差异信息用于指示目标对象在第i张图像中待降噪的轨迹信息和第一参考轨迹信息之间的差异，第一参考轨迹信息是基于第一参考集合中的至少一张第一参考图像提取的；
对第一轨迹差异信息进行偏移预测处理，得到第一轨迹偏移信息；
通过第一轨迹偏移信息对目标对象在第i张图像中待降噪的轨迹信息进行降噪处理，得到目标对象在第i张图像中的轨迹信息；
基于目标对象的初始轨迹位置，目标对象的终止轨迹位置和目标对象在第i张图像中的轨迹信息，确定目标对象在目标时间段内的运动轨迹；目标对象的初始轨迹位置是基于第一参考图像确定的，目标对象的终止轨迹位置是基于第二参考图像确定的。
在一种实施方式中，处理单元用于，对第一轨迹差异信息进行偏移预测处理，得到第一轨迹偏移信息，具体用于：
连接第一轨迹差异信息和运动特征信息，得到待处理的第一连接信息；
调用偏移预测模型对待处理的第一连接信息进行偏移预测处理，得到处理后的第一连接信息；
对处理后的第一连接信息进行拆分处理，得到第一轨迹偏移信息。
在一种实施方式中，处理单元用于，获取第一轨迹差异信息，具体用于：
采用轨迹预测模型对第一参考集合和第二参考集合进行轨迹预测处理，得到目标对象在目标时间段内的参考轨迹；或者，基于第一参考集合和第二参考集合建模，得到目标对象在第一时间段内的参考轨迹；
基于目标对象在第一时间段内的参考轨迹，确定目标对象在第i张图像中待降噪的轨迹信息；
对第一参考集合中的至少一张第一参考图像进行轨迹信息提取处理，得到第一参考轨迹信息；
根据目标对象在第i张图像中待降噪的轨迹信息和第一参考轨迹信息之间的差异，计算第一轨迹差异信息。
在一种实施方式中，目标时间段内的M张图像按照播放顺序排列；若i不等于1，则处理单元用于，获取目标对象在目标时间段内的运动轨迹，具体用于：
获取第二轨迹差异信息，第二轨迹差异信息用于指示目标对象在第i张图像中待降噪的轨迹信息和第二参考轨迹信息之间的差异，第二参考轨迹信息为目标对象在第i-1张图像中的轨迹信息；
对第二轨迹差异信息进行偏移预测处理，得到第二轨迹偏移信息；
通过第二轨迹偏移信息对目标对象在第i张图像中待降噪的轨迹信息进行降噪处理，得到目标对象在第i张图像中的轨迹信息；
基于目标对象在M张图像中的前i张图像中的轨迹信息，以及目标对象的初始轨迹位置和目标对象的终止轨迹位置，确定目标对象在目标时间段内的运动轨迹。
在一种实施方式中，处理单元用于，对第二轨迹差异信息进行偏移预测处理，得到第二轨迹偏移信息，具体用于：
获取第i张图像的关联特征信息，第i张图像的关联特征信息包括：基于第i-1张图像提取到的目标对象的前向运动特征信息，以及基于第二参考集合中至少一张第二参考图像提取到的目标对象的后向运动特征信息；
连接第二轨迹差异信息和第i张图像的关联特征信息，得到待处理的第二连接信息；
调用偏移预测模型对待处理的第二连接信息进行偏移预测处理，得到处理后的第二连接信息；
对处理后的第二连接信息进行拆分处理，得到第二轨迹偏移信息。
在一种实施方式中，处理单元用于，获取第二轨迹差异信息，具体用于：
采用轨迹预测模型对第一参考集合和第二参考集合进行轨迹预测处理，得到目标对象在目标时间段内的参考轨迹；或者，基于第一参考集合和第二参考集合建模，得到目标对象在第一时间段内的参考轨迹；
基于目标对象在第一时间段内的参考轨迹，确定目标对象在第i张图像中待降噪的轨迹信息；
将目标对象在第i-1张图像中的轨迹信息，确定为第二参考轨迹信息；
根据目标对象在第i张图像中待降噪的轨迹信息和第二参考轨迹信息之间的差异，计算第二轨迹差异信息。
在一种实施方式中，第一参考集合中的第一参考图像和第二参考集合中的第二参考图像均按照在动画中的播放顺序排列；处理单元还用于：
将第一参考集合中最后一张第一参考图像中目标对象的姿态确定为第一姿态，并将第二参考集合中第一张第二参考图像中目标对象的姿态确定为第二姿态；
基于第一姿态和第二姿态的姿态差异信息，确定动画中在目标时间段内的图像的数量；
其中，姿态差异信息包括以下至少一项：第一姿态和第二姿态之间的距离、第一姿态对应的朝向信息、第二姿态对应的朝向信息。
在一种实施方式中，目标对象在目标时间段内的运动轨迹通过M*P的矩阵表示，M为动画中在目标时间段内的图像的数量，P为目标对象在目标时间段内的轨迹信息的维度；M，P均为正整数；
目标对象在目标时间段内的轨迹信息包括以下至少一项：目标对象的根关节的三维位置在水平面上的投影，目标对象的根关节的三维位置，目标对象的根关节旋转特征。
在一种实施方式中，处理单元用于，根据目标对象的运动特征信息及目标对象在目标时间段内的运动轨迹，预测动画中在目标时间段内的图像，具体用于：
调用姿态预测模型基于目标对象在目标时间段内的运动轨迹和目标对象的运动特征信息，预测目标对象在目标时间段内的轨迹信息；
对目标时间段内的轨迹信息进行渲染处理，得到动画中在目标时间段内的图像。
在一种实施方式中，处理单元还用于：
按照图像在动画中的播放顺序，对第一参考集合中的第一参考图像，在目标时间段内的图像和第二参考集中的第二参考图像进行合并，得到合成动画。
相应地，本申请提供了一种计算机设备，该计算机设备包括：
存储器，存储器中存储有计算机程序；
处理器，用于加载计算机程序实现上述动画处理方法。
相应地，本申请提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，该计算机程序适于由处理器加载并执行上述动画处理方法。
相应地，本申请提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述动画处理方法。
本申请实施例中，获取第一参考集合和第二参考集合，第一参考集合包含动画的第一时间段内的至少一张第一参考图像，第二参考集合包含动画的第二时间段内的至少一张第二参考图像，且第一参考图像和第二参考图像中均包含目标对象，对第一参考图像中及第二参考图像中的目标对象的运动状况进行分析，获得目标对象的运动特征信息，获取目标对象在目标时间段内的运动轨迹，根据目标对象的运动特征信息及目标对象在目标时间段内的运动轨迹，预测动画中在目标时间段内的图像。可见，在图像预测过程中，通过目标对象在目标时间段内的运动轨迹对其进行约束，可以降低图像预测过程中的误差，提高生成的图像的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a为本申请实施例提供的一种动画处理系统的场景架构图；
图1b为本申请实施例提供的一种动画处理方案的流程示意图；
图2为本申请实施例提供的一种动画处理方法的流程图；
图3为本申请实施例提供的另一种动画处理方法的流程图；
图4为本申请实施例提供的一种模型架构示意图；
图5为本申请实施例提供的一种实验结果效果对比图；
图6为本申请实施例提供的一种动画处理装置的结构示意图；
图7为本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
人工智能（Artificial Intelligence，AI）：所谓AI是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。本申请实施例主要涉及通过目标对象（如人、物体、动物、可移动机器人等）的运动轨迹对姿态预测模型的预测过程进行约束，提高预测的轨迹信息的准确度，进而提高生成的图像的准确度。
AI技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大应用程序的处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机图形学(Computer Graphics，简称CG)是一种使用数学算法将二维或三维图形转化为计算机显示器的栅格形式的科学。简单地说，计算机图形学的主要研究内容就是研究如何在计算机中表示图形、以及利用计算机进行图形的计算、处理和显示的相关原理与算法。本申请实施例主要涉及提取动画中至少一张历史时间图像和至少一张未来时间图像中目标对象的运动特征，并基于提取的运动特征预测目标对象在目标时间段（位于历史时间和未来时间之间）内的轨迹信息，并基于预测的目标对象在目标时间段内的轨迹信息渲染得到历史时间图像和未来时间图像的中间图像。需要说明的是，在本申请中所提及的任一图像，均可以是指二维图像信息，或者三维姿态信息，本申请对此不作限制。
深度学习：深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。本申请实施例主要涉及通过多层感知编码器对输入数据（如第一参考图像、第二参考图像）进行编码，以及通过多层感知解码器对输入数据（如网络层输出的数据）进行解码。
基于AI技术中的计算机图形学技术和深度学习技术，本申请实施例提供了一种动画处理方案，以提高生成的图像的准确度。图1a为本申请实施例提供的一种动画处理系统的场景架构图。如图1a所示，该动画处理系统可以包括：计算机设备101。本申请实施例提供的动画处理方案可由计算机设备101执行。计算机设备101具体可以是终端设备，也可以是服务器；其中，终端设备可以包括但不限于：智能手机（如Android手机、IOS手机等）、平板电脑、便携式个人计算机、移动互联网设备（Mobile Internet Devices，简称MID）、车载终端、智能语音交互设备、智能家电、飞行器等智能设备，本申请实施例对此不做限定；服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN（Content Delivery Network，内容分发网络）、以及大数据和人工智能平台等基础云计算服务的云服务器，本申请实施例对此不做限定。
图1b为本申请实施例提供的一种动画处理方案的流程示意图。如图1b所示，动画处理方案的大致流程如下：
（1）计算机设备101获取第一参考集合和第二参考集合。第一参考集合和第二参考集合均用于对动画中在目标时间段内的图像进行预测，第一参考集合包含动画的第一时间段内的至少一张第一参考图像，第二参考集合包含动画的第二时间段内的至少一张第二参考图像，目标时间段在动画中位于第一时间段和第二时间段之间；也就是说，预测的图像在动画中的播放顺序位于第一参考图像和第二参考图像之间。在一种实施方式中，第一参考图像和第二参考图像中均包含目标对象，目标对象具体可以是人、物体、动物、可移动机器人等等。
可选的，当第一参考集合中第一参考图像的数量大于1时，第一参考集合中可以存在不包含目标对象的第一参考图像；类似地，当第二参考集合中第二参考图像的数量大于1时，第二参考集合中可以存在不包含目标对象的第二参考图像。
（2）计算机设备101对第一参考图像中及第二参考图像中的目标对象的运动状况进行分析，获得目标对象的运动特征信息。目标对象的运动特征信息用于描述目标对象的运动过程以及运动状态；例如，目标对象的运动特征信息可以包括但不限于：姿态信息，姿态信息用于指示目标对象在运动过程中的一个或多个姿态；速度信息，速度信息用于指示目标对象在运动过程中的速度；朝向信息，朝向信息用于指示目标对象在运动过程中的朝向。
在一种实施方式中，计算机设备101可以调用运动特征提取模型对第一参考图像和第二参考图像进行特征提取处理，得到目标对象的运动特征信息。可以理解的是，通过调用运动特征提取模型提取到的目标对象的运动特征信息具体可以是一个向量，或者是一个矩阵，或者是一个编码序列，本申请对此不作限制。
（3）计算机设备101获取目标对象在目标时间段内的运动轨迹。目标对象在目标时间段内的运动轨迹是基于目标对象的初始轨迹位置，目标对象在目标时间段内的至少一张图像中的轨迹信息和目标对象的终止轨迹位置确定的。其中，目标对象的初始轨迹位置是基于第一参考图像确定的；例如，按照动画的播放顺序对第一参考集合中的第一参考图像进行排序，目标对象的初始轨迹位置是基于目标对象在第一参考集合中的最后一张第一参考图像中的位置确定的。类似地，目标对象的终止轨迹位置是基于第二参考图像确定的；例如，按照动画的播放顺序对第二参考集合中的第二参考图像进行排序，目标对象的终止轨迹位置是基于目标对象在第二参考集合中的第一张第二参考图像中的位置确定的。目标对象在目标时间段内的目标图像中的轨迹信息用于是指目标对象在目标图像中的轨迹位置，目标图像为动画中目标时间段内的任一张图像，目标对象在目标图像中的轨迹信息是对目标对象在该图像中待降噪的轨迹信息进行降噪处理得到的，目标对象在目标图像中待降噪的轨迹信息可以是计算机设备101采用轨迹预测模型对第一参考集合和第二参考集合进行轨迹预测处理得到的；也可以是计算机设备101基于第一参考集合和第二参考集合建模得到的，还可以是由动画制作人员指定的。
（4）计算机设备101根据目标对象的运动特征信息及目标对象在目标时间段内的运动轨迹，预测动画中在目标时间段内的图像。在一种实施方式中，计算机设备101可以调用姿态预测模型基于目标对象在目标时间段内的运动轨迹和目标对象的运动特征信息，预测目标对象在目标时间段内的轨迹信息，目标对象在目标时间段内的轨迹信息包括以下至少一项：目标对象的根关节在目标时间段内的三维位置在水平面上的投影，目标对象的根关节在目标时间段内的三维位置，目标对象的根关节在目标时间段内的旋转特征。在得到目标对象在目标时间段内的轨迹信息后，计算机设备101对目标时间段内的轨迹信息进行处理，得到动画中在目标时间段内的图像。其中，计算机设备101对目标时间段内的轨迹信息进行处理后得到的结果可以是目标对象的三维姿态信息，也可以是目标对象的三维姿态信息经过渲染后得到的二维图像，本申请对此不作限制。姿态预测模型是基于训练数据对模型进行训练得到的。具体来说，使用模型预测出的目标对象三维姿态信息和训练数据中对应的真实目标对象的三维姿态信息之间的差异，对模型中的权重参数进行优化，得到姿态预测模型。
本申请实施例中，获取第一参考集合和第二参考集合，第一参考集合包含动画的第一时间段内的至少一张第一参考图像，第二参考集合包含动画的第二时间段内的至少一张第二参考图像，且第一参考图像和第二参考图像中均包含目标对象，对第一参考图像中及第二参考图像中的目标对象的运动状况进行分析，获得目标对象的运动特征信息，获取目标对象在目标时间段内的运动轨迹，根据目标对象的运动特征信息及目标对象在目标时间段内的运动轨迹，预测动画中在目标时间段内的图像。可见，在图像预测过程中，通过目标对象在目标时间段内的运动轨迹对其进行约束，可以降低图像预测过程中的误差，提高生成的图像的准确度。
基于上述动画处理方案，本申请实施例提出更为详细的动画处理方法，下面将结合附图对本申请实施例提出的动画处理方法进行详细介绍。
请参阅图2，图2为本申请实施例提供的一种动画处理方法的流程图，该动画处理方法可以由计算机设备执行，该计算机设备可以是终端设备或者服务器。如图2所示，该动画处理方法可包括如下步骤S201-S204：
S201、获取第一参考集合和第二参考集合。
第一参考集合和第二参考集合均用于对动画中在目标时间段内的图像进行预测，第一参考集合包含动画的第一时间段内的至少一张第一参考图像，第二参考集合包含动画的第二时间段内的至少一张第二参考图像，目标时间段在动画中位于第一时间段和第二时间段之间；也就是说，预测的图像在动画中的播放顺序位于第一参考图像和第二参考图像之间。
举例来说，假设动画1由10帧构成，第一参考集合中包括3张第一参考图像，这3张第一参考图像为动画1中的第1帧到第3帧，第二参考集合中包括4张第二参考图像，这4张第二参考图像为动画1中的第7帧到第10帧，第一参考集合和第二参考集合可以用于对动画1中的第4帧到第6帧进行预测。
在一种实施方式中，第一参考图像和第二参考图像中均包含目标对象，目标对象具体可以是人、物体、动物、可移动机器人等等。
可选的，当第一参考集合中第一参考图像的数量大于1时，第一参考集合中可以存在不包含目标对象的第一参考图像，在此情况下，第一参考集合中存在至少一张包含目标对象的第一参考图像；类似地，当第二参考集合中第二参考图像的数量大于1时，第二参考集合中可以存在不包含目标对象的第二参考图像，在此情况下，第二参考集合中存在至少一张包含目标对象的第二参考图像。
S202、对第一参考图像中及第二参考图像中的目标对象的运动状况进行分析，获得目标对象的运动特征信息。
目标对象的运动特征信息用于描述目标对象的运动过程以及运动状态；例如，目标对象的运动特征信息可以包括但不限于：姿态信息，姿态信息用于指示目标对象在运动过程中的一个或多个姿态；速度信息，速度信息用于指示目标对象在运动过程中的速度；朝向信息，朝向信息用于指示目标对象在运动过程中的朝向。
在一种实施方式中，计算机设备可以调用运动特征提取模型对第一参考图像和第二参考图像进行特征提取处理，得到目标对象的运动特征信息。特征提取处理可以包括：对第一参考图像和第二参考图像进行编码处理，得到第一参考图像和第二参考图像的编码信息，通过运动特征提取模型中的网络层对第一参考图像和第二参考图像的编码信息进行处理（如信息过滤处理、信息融合处理等），得到目标对象的运动特征信息。可以理解的是，通过调用运动特征提取模型提取到的目标对象的运动特征信息具体可以是一个向量，或者是一个矩阵，或者是一个编码序列，本申请对此不作限制。
S203、获取目标对象在目标时间段内的运动轨迹。
目标对象在目标时间段内的运动轨迹是基于目标对象的初始轨迹位置，目标对象在目标时间段内的至少一张图像中的轨迹信息和目标对象的终止轨迹位置确定的。其中，目标对象的初始轨迹位置是基于第一参考图像确定的；例如，按照动画的播放顺序对第一参考集合中的第一参考图像进行排序，目标对象的初始轨迹位置是基于目标对象在第一参考集合中的最后一张第一参考图像中的位置确定的。类似地，目标对象的终止轨迹位置是基于第二参考图像确定的；例如，按照动画的播放顺序对第二参考集合中的第二参考图像进行排序，目标对象的终止轨迹位置是基于目标对象在第二参考集合中的第一张第二参考图像中的位置确定的。目标对象在目标时间段内的目标图像中的轨迹信息用于是指目标对象在目标图像中的轨迹位置，目标图像为动画中目标时间段内的任一张图像，目标对象在目标图像中的轨迹信息是对目标对象在该图像中待降噪的轨迹信息进行降噪处理得到的，目标对象在目标图像中待降噪的轨迹信息可以是计算机设备采用轨迹预测模型对第一参考集合和第二参考集合进行轨迹预测处理得到的；也可以是计算机设备基于第一参考集合和第二参考集合建模得到的，还可以是由动画制作人员指定的。其中，目标对象在目标时间段内的轨迹信息包括以下至少一项：目标对象的根关节在目标时间段内的三维位置在水平面上的投影，目标对象的根关节在目标时间段内的三维位置，目标对象的根关节在目标时间段内的旋转特征。其中，目标对象的根关节是指：在将结构化的目标对象建模为一棵由关节铰链链接骨骼的树的情况下，这棵树的起点，即为目标对象的根关节，以人体为例，根关节通常可以选择盆骨或者脖子关节作为根关节。
在一种实施方式中，动画中在目标时间段内的图像的数量为M，M为正整数。目标时间段内的M张图像中的任一张表示为第i张图像。若i=1，则计算机设备获取第一轨迹差异信息，第一轨迹差异信息用于指示目标对象在第i张图像中待降噪的轨迹信息和第一参考轨迹信息之间的差异，第一参考轨迹信息是基于第一参考集合中的至少一张第一参考图像提取的。计算机设备对获取的第一轨迹差异信息进行偏移预测处理，得到第一轨迹偏移信息。通过第一轨迹偏移信息对目标对象在第i张图像中待降噪的轨迹信息进行降噪处理，得到目标对象在第i张图像中的轨迹信息。在得到目标对象在第i张图像中的轨迹信息后，计算机设备基于目标对象的初始轨迹位置，目标对象的终止轨迹位置和目标对象在第i张图像中的轨迹信息，确定目标对象在目标时间段内的运动轨迹；例如，计算机设备可以通过平滑曲线对目标对象的初始轨迹位置，目标对象在第i张图像中的轨迹信息所指示的轨迹位置和目标对象的终止轨迹位置进行连接，得到目标对象在目标时间段内的运动轨迹。
在另一种实施方式中，动画中在目标时间段内的图像的数量为M，M为正整数。目标时间段内的M张图像中的任一张表示为第i张图像。目标时间段内的M张图像按照播放顺序排列；若i不等于1，则计算机设备获取第二轨迹差异信息，第二轨迹差异信息用于指示目标对象在第i张图像中待降噪的轨迹信息和第二参考轨迹信息之间的差异，第二参考轨迹信息为目标对象在第i-1张图像中的轨迹信息。计算机设备对获取的第二轨迹差异信息进行偏移预测处理，得到第二轨迹偏移信息。通过第二轨迹偏移信息对目标对象在第i张图像中待降噪的轨迹信息进行降噪处理，得到目标对象在第i张图像中的轨迹信息。在得到目标对象在第i张图像中的轨迹信息后，计算机设备基于目标对象在M张图像中的前i张图像中的轨迹信息，以及目标对象的初始轨迹位置和目标对象的终止轨迹位置，确定目标对象在目标时间段内的运动轨迹。
可选的，计算机设备还可以获取动画制作人员设定的目标对象在目标时间段内的运动轨迹，或者直接通过轨迹预测模型预测目标对象在目标时间段内的运动轨迹。
S204、根据目标对象的运动特征信息及目标对象在目标时间段内的运动轨迹，预测动画中在目标时间段内的图像。
在一种实施方式中，计算机设备可以调用姿态预测模型基于目标对象在目标时间段内的运动轨迹和目标对象的运动特征信息，预测目标对象在目标时间段内的轨迹信息，目标对象在目标时间段内的轨迹信息包括以下至少一项：目标对象的根关节在目标时间段内的三维位置在水平面上的投影，目标对象的根关节在目标时间段内的三维位置，目标对象的根关节在目标时间段内的旋转特征。对目标时间段内的轨迹信息进行渲染处理，得到动画中在目标时间段内的一张或多张图像。其中，姿态预测模型是基于训练数据对模型进行训练得到的。具体来说，使用模型预测出的目标对象三维姿态信息和训练数据中对应的真实目标对象的三维姿态信息之间的差异，对模型中的权重参数进行优化，得到姿态预测模型。
进一步地，计算机设备还可以按照图像在动画中的播放顺序，对第一参考集合中的第一参考图像，在目标时间段内的图像和第二参考集中的第二参考图像进行合并，得到合成动画。
本申请实施例中，获取第一参考集合和第二参考集合，第一参考集合包含动画的第一时间段内的至少一张第一参考图像，第二参考集合包含动画的第二时间段内的至少一张第二参考图像，且第一参考图像和第二参考图像中均包含目标对象，对第一参考图像中及第二参考图像中的目标对象的运动状况进行分析，获得目标对象的运动特征信息，获取目标对象在目标时间段内的运动轨迹，根据目标对象的运动特征信息及目标对象在目标时间段内的运动轨迹，预测动画中在目标时间段内的图像。可见，在图像预测过程中，通过目标对象在目标时间段内的运动轨迹对其进行约束，可以降低图像预测过程中的误差，提高生成的图像的准确度。
请参阅图3，图3为本申请实施例提供的另一种动画处理方法的流程图，该动画处理方法可以由计算机设备执行，该计算机设备可以是终端设备或者服务器。如图3所示，该动画处理方法可包括如下步骤S301-S307：
S301、获取第一参考集合和第二参考集合。
第一参考集合和第二参考集合均用于对动画中在目标时间段内的图像进行预测，第一参考集合包含动画的第一时间段内的至少一张第一参考图像，第二参考集合包含动画的第二时间段内的至少一张第二参考图像，目标时间段在动画中位于第一时间段和第二时间段之间。
在一种实施方式中，第一参考集合中的第一参考图像属于第一动画，第二参考集合中的第二参考图像属于第二动画，第一动画和第二动画可以同属于一个动画（即第一动画和第二动画均为同一个动画中的一部分），也可以是两个不同的动画。第一动画和第二动画中均包含目标对象，且第一动画和第二动画可以通过预测到的图像进行连接，得到合成动画。
S302、对第一参考图像中及第二参考图像中的目标对象的运动状况进行分析，获得目标对象的运动特征信息。
步骤S302的具体实施方式可参考图2中步骤S202的实施方式，在此不再赘述。
在一种实施方式中，第一参考集合中的第一参考图像和第二参考集合中的第二参考图像均按照在动画中的播放顺序排列；计算机设备将第一参考集合中最后一张（包含目标对象的）第一参考图像中目标对象的姿态确定为第一姿态，并将第二参考集合中第一张（包含目标对象的）第二参考图像中目标对象的姿态确定为第二姿态。计算机设备基于第一姿态和第二姿态的姿态差异信息，确定动画中在目标时间段内的图像的数量M；其中，姿态差异信息包括以下至少一项：第一姿态和第二姿态之间的距离、第一姿态对应的朝向信息，第一姿态对应的朝向信息用于指示目标对象在第一姿态下的朝向、第二姿态对应的朝向信息，第二姿态对应的朝向信息用于指示目标对象在第二姿态下的朝向，M为正整数。
举例来说，当姿态差异信息包括第一姿态和第二姿态之间的距离时，动画中在目标时间段内的图像的数量与第一姿态和第二姿态之间的距离成正比。
进一步地，将目标时间段内的M张图像中的任一张表示为第i张图像，当i=1时，计算机设备继续执行步骤S303。
S303、获取第一轨迹差异信息。
第一轨迹差异信息用于指示目标对象在第i张图像中待降噪的轨迹信息和第一参考轨迹信息之间的差异，第一参考轨迹信息是基于第一参考集合中的至少一张第一参考图像提取的。目标对象的轨迹信息包括以下至少一项：目标对象的根关节的三维位置在水平面上的投影，目标对象的根关节的三维位置，目标对象的根关节的旋转特征。其中，目标对象的根关节是指：在将结构化的目标对象建模为一棵由关节铰链链接骨骼的树的情况下，这棵树的起点，即为目标对象的根关节，以人体为例，根关节通常可以选择盆骨或者脖子关节或髋关节作为根关节。
在一种实施方式中，一方面，计算机设备可以采用轨迹预测模型对第一参考集合和第二参考集合进行轨迹预测处理，得到目标对象在目标时间段内的参考轨迹；或者，基于第一参考集合和第二参考集合建模，得到目标对象在第一时间段内的参考轨迹；或者获得动画制作人员输入的目标对象在目标时间段内的参考轨迹。在得到目标对象在目标时间段内的参考轨迹后，计算机设备基于目标对象在第一时间段内的参考轨迹，确定目标对象在第i张图像中待降噪的轨迹信息；例如，假设第i张图像对应时刻t，计算机设备，从目标对象在第一时间段内的参考轨迹中获取在时刻t时目标对象的轨迹位置，并根据目标对象在时刻t时的轨迹位置，生成目标对象在第i张图像中待降噪的轨迹信息；例如，计算机设备可以将目标对象的根关节在时刻t时的三维位置，确定为目标对象在第i张图像中待降噪的轨迹信息。
另一方面，计算机设备对第一参考集合中的至少一张第一参考图像进行轨迹信息提取处理，得到第一参考轨迹信息；例如，计算机设备可以目标对象的根关节在至少一张第一参考图像中的位置，确定目标对象的根关节的三维位置，并将目标对象的根关节的三维位置，确定为第一参考轨迹信息。
在得到目标对象在第i张图像中待降噪的轨迹信息和第一参考轨迹信息后，计算机设备根据目标对象在第i张图像中待降噪的轨迹信息和第一参考轨迹信息之间的差异，计算第一轨迹差异信息。具体可以表示为：
其中，
为第一轨迹差异信息，
为目标对象在第i张图像中待降噪的
轨迹信息，
为第一参考轨迹信息。
S304、对第一轨迹差异信息进行偏移预测处理，得到第一轨迹偏移信息。
在一种实施方式中，计算机设备连接第一轨迹差异信息和目标对象的运动特征信息，得到待处理的第一连接信息；例如，假设第一轨迹差异信息表示为3*1的矩阵，目标对象的运动特征信息表示为4*1的矩阵，则连接第一轨迹差异信息和目标对象的运动特征信息得到的待处理的第一连接信息，可以表示为7*1的矩阵。在得到待处理的第一连接信息后，计算机设备可以调用偏移预测模型（如长短期记忆(Long short-term memory，LSTM)模型）对待处理的第一连接信息进行偏移预测处理，得到处理后的第一连接信息。计算机设备（如通过split）对处理后的第一连接信息进行拆分处理，得到第一轨迹偏移信息。
S305、通过第一轨迹偏移信息对目标对象在第i张图像中待降噪的轨迹信息进行降噪处理，得到目标对象在第i张图像中的轨迹信息。
在一种实施方式中，计算机设备通过第一轨迹偏移信息对目标对象在第i张图像中待降噪的轨迹信息进行修正，得到目标对象在第i张图像中的轨迹信息，具体可以表示为：
其中，
为目标对象在第i张图像中的轨迹信息，
为第一轨迹偏移信息，
为目标对象在第i张图像中待降噪的轨迹信息。
在另一种实施方式中，计算机设备通过第一轨迹差异信息和第一轨迹偏移信息计算第一差异信息，具体可以表示为：
其中，
为第一差异信息，
为第一轨迹差异信息，
为第一轨迹偏移信息。
在得到第一差异信息后，计算机设备可以基于第一参考轨迹信息和第一差异信息，计算目标对象在第i张图像中的轨迹信息，具体可以表示为：
其中，
为目标对象在第i张图像中的轨迹信息，
为第一差异信息，
为第一参
考轨迹信息。
S306、基于目标对象在第i张图像中的轨迹信息，确定目标对象在目标时间段内的运动轨迹。
目标对象在目标时间段内的运动轨迹通过M*P的矩阵表示，M为动画中在目标时间段内的图像的数量，P为目标对象在目标时间段内的轨迹信息的维度，M，P均为正整数。目标对象在目标时间段内的轨迹信息包括以下至少一项：目标对象的根关节在目标时间段内的三维位置在水平面上的投影，目标对象的根关节在目标时间段内的三维位置，目标对象的根关节在目标时间段内的旋转特征。具体来说，当目标对象的根关节在目标时间段内的三维位置在水平面上的投影作为目标对象在目标时间段内的轨迹信息时，目标对象在目标时间段内的轨迹信息的维度为2；当目标对象的根关节在目标时间段内的三维位置作为目标对象在目标时间段内的轨迹信息时，目标对象在目标时间段内的轨迹信息的维度为3；当目标对象的根关节在目标时间段内的三维位置和目标对象的根关节在目标时间段内的旋转特征（通过四元树表示）作为目标对象在目标时间段内的轨迹信息时，目标对象在目标时间段内的轨迹信息的维度为7。
可见，通过上述任一种方式来表示目标对象在目标时间段内的轨迹信息时，由于轨迹信息的维度较小（轨迹信息的维度小于等于7），对本申请提供的动画处理方法的整体复杂度影响较小。另外，通过降噪后的第i张图像中的轨迹信息确定的目标对象在目标时间段内的运动轨迹，相比于通过第i张图像中待降噪的轨迹信息确定的目标对象在目标时间段内的运动轨迹来说，更加合理；例如，第i张图像中待降噪的轨迹信息中可能存在不合理的参数（如旋转特征不合理），在降噪处理过程中可以对不合理的参数进行修正，使得通过降噪后的第i张图像中的轨迹信息确定的目标对象在目标时间段内的运动轨迹更加合理。
在一种实施方式中，计算机设备基于目标对象的初始轨迹位置，目标对象的终止轨迹位置和目标对象在第i张图像中的轨迹信息，确定目标对象在目标时间段内的运动轨迹；其中，目标对象的初始轨迹位置是基于第一参考图像确定的；例如，按照动画的播放顺序对第一参考集合中的第一参考图像进行排序，目标对象的初始轨迹位置是基于目标对象在第一参考集合中的最后一张第一参考图像中的位置确定的。类似地，目标对象的终止轨迹位置是基于第二参考图像确定的；例如，按照动画的播放顺序对第二参考集合中的第二参考图像进行排序，目标对象的终止轨迹位置是基于目标对象在第二参考集合中的第一张第二参考图像中的位置确定的。在一种实现方式中，计算机设备可以通过平滑曲线对目标对象的初始轨迹位置，目标对象在第i张图像中的轨迹信息所指示的轨迹位置和目标对象的终止轨迹位置进行连接，得到目标对象在目标时间段内的运动轨迹。
S307、根据目标对象的运动特征信息及目标对象在目标时间段内的运动轨迹，预测动画中在目标时间段内的图像。
在一种实施方式中，动画中在目标时间段内的图像的数量为1，即M=1。计算机设备可以调用姿态预测模型基于目标对象在目标时间段内的运动轨迹和目标对象的运动特征信息，预测目标对象在目标时间段内的轨迹信息，目标对象在目标时间段内的轨迹信息包括以下至少一项：目标对象的根关节在目标时间段内的三维位置在水平面上的投影，目标对象的根关节在目标时间段内的三维位置，目标对象的根关节在目标时间段内的旋转特征。计算机设备对目标时间段内的轨迹信息进行渲染处理，得到动画中在目标时间段内的一张或多张图像。在一种实现方式中，动画中在目标时间段内的图像数量与目标对象在目标时间段内的轨迹信息的数量匹配。
在另一种实施方式中，动画中在目标时间段内的图像的数量大于1，即M>1。计算机设备可以调用姿态预测模型基于目标对象在目标时间段内的运动轨迹和目标对象的运动特征信息，预测目标对象在目标时间段内的第一个轨迹信息，并对第一个轨迹信息进行渲染处理得到动画中在目标时间段内的第一张图像。在得到动画中在目标时间段内的第一个轨迹信息后，计算机设备基于动画中在目标时间段内的第一个轨迹信息，预测动画中在目标时间段内的M-1张图像对应的M-1个轨迹信息，并对预测的M-1个轨迹信息进行渲染处理，得到目标时间段内除第一张图像外的其余M-1张图像。目标时间段内的M张图像按照播放顺序排列，计算机设备生成动画中在目标时间段内的第i张（i>1）图像的具体方式如下：
计算机设备获取第二轨迹差异信息，第二轨迹差异信息用于指示目标对象在第i张图像中待降噪的轨迹信息和第二参考轨迹信息之间的差异，第二参考轨迹信息是目标对象在第i-1张图像中的轨迹信息。具体来说，一方面计算机设备基于目标对象在第一时间段内的参考轨迹，确定目标对象在第i张图像中待降噪的轨迹信息；具体是实施方式可参考步骤S303中计算机设备基于目标对象在第一时间段内的参考轨迹，确定目标对象在第i张图像中待降噪的轨迹信息的实施方式，在此不再赘述。另一方面，计算机设备将位姿预测模型预测到的目标对象在第i-1张图像中的轨迹信息确定为第二参考轨迹信息。在得到目标对象在第i张图像中待降噪的轨迹信息和第二参考轨迹信息后，计算机设备根据目标对象在第i张图像中待降噪的轨迹信息和第二参考轨迹信息之间的差异，计算第二轨迹差异信息。具体可以表示为：
其中，
为第二轨迹差异信息，
为目标对象在第i张图像中待降噪的
轨迹信息，
为第二参考轨迹信息。
在得到第二轨迹差异信息后，计算机设备对第二轨迹差异信息进行偏移预测处理，得到第二轨迹偏移信息。具体来说，计算机设备获取第i张图像的关联特征信息，第i张图像的关联特征信息包括：基于第i-1张图像提取到的目标对象的前向运动特征信息，以及基于第二参考集合中至少一张第二参考图像提取到的目标对象的后向运动特征信息。计算机设备连接第二轨迹差异信息和第i张图像的关联特征信息，得到待处理的第二连接信息，并调用偏移预测模型对待处理的第二连接信息进行偏移预测处理，得到处理后的第二连接信息。接着计算机设备对处理后的第二连接信息进行拆分处理，得到第二轨迹偏移信息。
在得到第二轨迹偏移信息后，计算机设备通过第二轨迹偏移信息对目标对象在第i张图像中待降噪的轨迹信息进行降噪处理，得到目标对象在第i张图像中的轨迹信息。在一种实现方式中，计算机设备通过第二轨迹偏移信息对目标对象在第i张图像中待降噪的轨迹信息进行修正，得到目标对象在第i张图像中的轨迹信息，具体可以表示为：
其中，
为目标对象在第i张图像中的轨迹信息，
为第二轨迹偏移信息，
为目标对象在第i张图像中待降噪的轨迹信息。
在另一种实现方式中，计算机设备通过第二轨迹差异信息和第二轨迹偏移信息计算第二差异信息，具体可以表示为：
其中，
为第二差异信息，
为第二轨迹差异信息，
为第二轨迹偏移信息。
在得到第二差异信息后，计算机设备可以基于第二参考轨迹信息和第二差异信息，计算目标对象在第i张图像中的轨迹信息，具体可以表示为：
其中，
为目标对象在第i张图像中的轨迹信息，
为第二差异信息，
为第二
参考轨迹信息。在得到目标对象在第i张图像中的轨迹信息后，计算机设备可以基于目标对
象在M张图像中的前i张图像中的轨迹信息，以及目标对象的初始轨迹位置和目标对象的终
止轨迹位置，确定目标对象在目标时间段内的运动轨迹，并根据该运动轨迹和目标对象的
运动特征信息，预测动画中在目标时间段内的第i张图像。
图4为本申请实施例提供的一种模型架构示意图。如图4所示，首先通过编码器1-编码器3对第一参数集合和第二参数集合进行编码，得到编码数据；其中，编码器1可以是状态编码器（State Encoder），编码器2可以是目标编码器（Target Encoder），编码器3可以是偏移编码器（Offset Encoder），每个编码器可以包含至少一组线性层与激活层，每个编码包含的线性层与激活层的具体组数可以基于实际情况动态调整，本申请不作限制；例如，编码器还可以是多层感知编码器（包含的线性层与激活层的组数大于1）。每组线性层与激活层用于对数据（如第一参考图像、第二参考图像）进行线性处理并激活，激活函数可以是分段线性单位（Piecewise Linear Unit，PLU）激活函数。在得到每个编码器输出的编码数据后（编码器1-编码器3输出的编码数据表示为编码数据1-编码数据3），将各个编码数据与时间数据（如Time To Arrive）融合，得到融合数据1-融合数据3。在得到融合数据1-融合数据3后，首先连接融合数据2和融合数据3，得到连接数据1，并将连接数据1与噪声数据融合，得到融合数据4，再将融合数据1和融合数据4，以及第i张图像中待降噪的轨迹信息进行连接，得到连接数据2。在得到连接数据2后，调用偏移预测模型（如长短期记忆(Long short-termmemory，LSTM)模型）对连接数据进行偏移预测处理，得到连接数据2的偏移预测结果。再通过多层感知解码器对连接数据2的偏移预测结果进行解码处理，得到解码结果。需要说明的是，多层感知解码器包含至少两组线性层与激活层，每组线性层与激活层用于对数据（如连接数据2）进行线性处理并激活，激活函数可以是指数线性单位（Exponential LinearUnit，PLU）激活函数；在一些实现方式中，多层感知解码器也可以包含于偏移预测模型中。在得到解码结果后，通过拆分模块对解码结果进行拆分处理，得到轨迹偏移信息和其他信息。基于轨迹偏移信息对第i张图像中待降噪的轨迹信息进行降噪处理，得到目标对象在第i张图像中的轨迹信息。可以理解的是，在运行效率方面，轨迹信息添加部分只对偏移预测模型的输入在原维度（1024）的基础上增加了最多7个维度（实际由轨迹信息的表示方式确定），对模型的复杂度的影响非常小。在技术效果方面，将第i张图像中待降噪的轨迹信息与基于第一参数集合和第二参数集合得到的运动特征信息（即融合数据1和融合数据4）连接，并通过偏移预测模型进行偏移预测处理，可以在偏移预测处理过程中基于目标对象的运动特征信息过滤出第i张图像中待降噪的轨迹信息中的噪声数据（即轨迹偏移信息）；例如，通过目标对象的运动特征信息过滤第i张图像中待降噪的轨迹信息中不合理的参数。进一步地，基于噪声数据对第i张图像中待降噪的轨迹信息进行降噪处理，可以使得降噪后的第i张图像中的轨迹信息更加合理、准确度更高。
图5为本申请实施例提供的一种实验结果效果对比图。如图5所示，非灰度为不采用运动轨迹进行约束生成的图像与实际图像之间目标对象的轨迹位置差异，灰度为采用运动轨迹进行约束生成的图像与实际图像之间目标对象的轨迹位置差异。由图5可知，随着生成图像的数量的增加，不采用运动轨迹进行约束生成的图像与实际图像之间目标对象的轨迹位置差异明显增大，生成图像的准确度明显下降（如生成图像数量为80张时，平均轨迹位置差达到50cm左右）；而随着生成图像的数量的增加，采用运动轨迹进行约束生成的图像与实际图像之间目标对象的轨迹位置差异变化相对较小（如生成图像数量为80张时，平均轨迹位置差不到5cm），生成图像的准确度较高。
本申请实施例中，获取第一参考集合和第二参考集合，第一参考集合包含动画的第一时间段内的至少一张第一参考图像，第二参考集合包含动画的第二时间段内的至少一张第二参考图像，且第一参考图像和第二参考图像中均包含目标对象，对第一参考图像中及第二参考图像中的目标对象的运动状况进行分析，获得目标对象的运动特征信息，获取目标对象在目标时间段内的运动轨迹，根据目标对象的运动特征信息及目标对象在目标时间段内的运动轨迹，预测动画中在目标时间段内的图像。可见，在图像预测过程中，通过目标对象在目标时间段内的运动轨迹对其进行约束，可以降低图像预测过程中的误差，提高生成的图像的准确度。此外，通过轨迹偏移信息对第i张图像中待降噪的轨迹信息进行降噪处理，可以对目标对象在目标时间段内的运动轨迹进行修正，进一步提高生成的图像的准确度。
上述详细阐述了本申请实施例的方法，为了便于更好地实施本申请实施例的上述方案，相应地，下面提供了本申请实施例的装置。
请参见图6，图6为本申请实施例提供的一种动画处理装置的结构示意图，图6所示的动画处理装置可以搭载在计算机设备中，该计算机设备具体可以是终端设备或者服务器。该动画处理装置可以用于执行上述图2和图3所描述的方法实施例中的部分或全部功能。请参见图6，该动画处理装置包括：
获取单元601，用于获取第一参考集合和第二参考集合，第一参考集合和第二参考集合均用于对动画中在目标时间段内的图像进行预测，第一参考集合包含动画的第一时间段内的至少一张第一参考图像；第二参考集合包含动画的第二时间段内的至少一张第二参考图像；目标时间段在动画中位于第一时间段和第二时间段之间；且第一参考图像和第二参考图像中均包含目标对象；
处理单元602，用于对第一参考图像中及第二参考图像中的目标对象的运动状况进行分析，获得目标对象的运动特征信息；
获取单元601，还用于获取目标对象在目标时间段内的运动轨迹；
处理单元602，还用于根据目标对象的运动特征信息及目标对象在目标时间段内的运动轨迹，预测动画中在目标时间段内的图像。
在一种实施方式中，动画中在目标时间段内的图像的数量为M，M为正整数；目标时间段内的M张图像中的任一张表示为第i张图像；若i=1，则处理单元602用于，获取目标对象在目标时间段内的运动轨迹，具体用于：
获取第一轨迹差异信息，第一轨迹差异信息用于指示目标对象在第i张图像中待降噪的轨迹信息和第一参考轨迹信息之间的差异，第一参考轨迹信息是基于第一参考集合中的至少一张第一参考图像提取的；
对第一轨迹差异信息进行偏移预测处理，得到第一轨迹偏移信息；
通过第一轨迹偏移信息对目标对象在第i张图像中待降噪的轨迹信息进行降噪处理，得到目标对象在第i张图像中的轨迹信息；
基于目标对象的初始轨迹位置，目标对象的终止轨迹位置和目标对象在第i张图像中的轨迹信息，确定目标对象在目标时间段内的运动轨迹；目标对象的初始轨迹位置是基于第一参考图像确定的，目标对象的终止轨迹位置是基于第二参考图像确定的。
在一种实施方式中，处理单元602用于，对第一轨迹差异信息进行偏移预测处理，得到第一轨迹偏移信息，具体用于：
连接第一轨迹差异信息和运动特征信息，得到待处理的第一连接信息；
调用偏移预测模型对待处理的第一连接信息进行偏移预测处理，得到处理后的第一连接信息；
对处理后的第一连接信息进行拆分处理，得到第一轨迹偏移信息。
在一种实施方式中，处理单元602用于，获取第一轨迹差异信息，具体用于：
采用轨迹预测模型对第一参考集合和第二参考集合进行轨迹预测处理，得到目标对象在目标时间段内的参考轨迹；或者，基于第一参考集合和第二参考集合建模，得到目标对象在第一时间段内的参考轨迹；
基于目标对象在第一时间段内的参考轨迹，确定目标对象在第i张图像中待降噪的轨迹信息；
对第一参考集合中的至少一张第一参考图像进行轨迹信息提取处理，得到第一参考轨迹信息；
根据目标对象在第i张图像中待降噪的轨迹信息和第一参考轨迹信息之间的差异，计算第一轨迹差异信息。
在一种实施方式中，目标时间段内的M张图像按照播放顺序排列；若i不等于1，则处理单元602用于，获取目标对象在目标时间段内的运动轨迹，具体用于：
获取第二轨迹差异信息，第二轨迹差异信息用于指示目标对象在第i张图像中待降噪的轨迹信息和第二参考轨迹信息之间的差异，第二参考轨迹信息为目标对象在第i-1张图像中的轨迹信息；
对第二轨迹差异信息进行偏移预测处理，得到第二轨迹偏移信息；
通过第二轨迹偏移信息对目标对象在第i张图像中待降噪的轨迹信息进行降噪处理，得到目标对象在第i张图像中的轨迹信息；
基于目标对象在M张图像中的前i张图像中的轨迹信息，以及目标对象的初始轨迹位置和目标对象的终止轨迹位置，确定目标对象在目标时间段内的运动轨迹。
在一种实施方式中，处理单元602用于，对第二轨迹差异信息进行偏移预测处理，得到第二轨迹偏移信息，具体用于：
获取第i张图像的关联特征信息，第i张图像的关联特征信息包括：基于第i-1张图像提取到的目标对象的前向运动特征信息，以及基于第二参考集合中至少一张第二参考图像提取到的目标对象的后向运动特征信息；
连接第二轨迹差异信息和第i张图像的关联特征信息，得到待处理的第二连接信息；
调用偏移预测模型对待处理的第二连接信息进行偏移预测处理，得到处理后的第二连接信息；
对处理后的第二连接信息进行拆分处理，得到第二轨迹偏移信息。
在一种实施方式中，处理单元602用于，获取第二轨迹差异信息，具体用于：
采用轨迹预测模型对第一参考集合和第二参考集合进行轨迹预测处理，得到目标对象在目标时间段内的参考轨迹；或者，基于第一参考集合和第二参考集合建模，得到目标对象在第一时间段内的参考轨迹；
基于目标对象在第一时间段内的参考轨迹，确定目标对象在第i张图像中待降噪的轨迹信息；
将目标对象在第i-1张图像中的轨迹信息，确定为第二参考轨迹信息；
根据目标对象在第i张图像中待降噪的轨迹信息和第二参考轨迹信息之间的差异，计算第二轨迹差异信息。
在一种实施方式中，第一参考集合中的第一参考图像和第二参考集合中的第二参考图像均按照在动画中的播放顺序排列；处理单元602还用于：
将第一参考集合中最后一张第一参考图像中目标对象的姿态确定为第一姿态，并将第二参考集合中第一张第二参考图像中目标对象的姿态确定为第二姿态；
基于第一姿态和第二姿态的姿态差异信息，确定动画中在目标时间段内的图像的数量；
其中，姿态差异信息包括以下至少一项：第一姿态和第二姿态之间的距离、第一姿态对应的朝向信息、第二姿态对应的朝向信息。
在一种实施方式中，目标对象在目标时间段内的运动轨迹通过M*P的矩阵表示，M为动画中在目标时间段内的图像的数量，P为目标对象在目标时间段内的轨迹信息的维度；M，P均为正整数；
目标对象在目标时间段内的轨迹信息包括以下至少一项：目标对象的根关节的三维位置在水平面上的投影，目标对象的根关节的三维位置，目标对象的根关节旋转特征。
在一种实施方式中，处理单元602用于，根据目标对象的运动特征信息及目标对象在目标时间段内的运动轨迹，预测动画中在目标时间段内的图像，具体用于：
调用姿态预测模型基于目标对象在目标时间段内的运动轨迹和目标对象的运动特征信息，预测目标对象在目标时间段内的轨迹信息；
对目标时间段内的轨迹信息进行渲染处理，得到动画中在目标时间段内的图像。
在一种实施方式中，处理单元602还用于：
按照图像在动画中的播放顺序，对第一参考集合中的第一参考图像，在目标时间段内的图像和第二参考集中的第二参考图像进行合并，得到合成动画。
根据本申请的一个实施例，图2和图3所示的动画处理方法所涉及的部分步骤可由图6所示的动画处理装置中的各个单元来执行。例如，图2中所示的步骤S201和步骤S203可由图6所示的获取单元601执行，图2中所示的步骤S202和步骤S204可由图6所示的处理单元602执行；图3中所示的步骤S301和步骤S303可由图6所示的获取单元601执行，步骤S302和步骤S304步骤-步骤S307可由图6所示的处理单元602执行。图6所示的动画处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个（些）单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本申请的其它实施例中，动画处理装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。
根据本申请的另一个实施例，可以通过在包括中央处理单元（CPU）、随机存取存储介质（RAM）、只读存储介质（ROM）等处理元件和存储元件的例如计算机设备的通用计算装置上运行能够执行如图2和图3中所示的相应方法所涉及的各步骤的计算机程序（包括程序代码），来构造如图6中所示的动画处理装置，以及来实现本申请实施例的动画处理方法。计算机程序可以记载于例如计算机可读记录介质上，并通过计算机可读记录介质装载于上述计算装置中，并在其中运行。
基于同一发明构思，本申请实施例中提供的动画处理装置解决问题的原理与有益效果与本申请方法实施例中动画处理方法解决问题的原理和有益效果相似，可以参见方法的实施的原理和有益效果，为简洁描述，在这里不再赘述。
请参阅图7，图7为本申请实施例提供的一种计算机设备的结构示意图，该计算机设备可以是终端设备或者服务器。如图7所示，计算机设备至少包括处理器701、通信接口702和存储器703。其中，处理器701、通信接口702和存储器703可通过总线或其他方式连接。其中，处理器701（或称中央处理器（Central Processing Unit，CPU））是计算机设备的计算核心以及控制核心，其可以解析计算机设备内的各类指令以及处理计算机设备的各类数据，例如：CPU可以用于解析对象向计算机设备所发出的开关机指令，并控制计算机设备进行开关机操作；再如：CPU可以在计算机设备内部结构之间传输各类交互数据，等等。通信接口702可选的可以包括标准的有线接口、无线接口（如WI-FI、移动通信接口等），受处理器701的控制可以用于收发数据；通信接口702还可以用于计算机设备内部数据的传输以及交互。存储器703（Memory）是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的存储器703既可以包括计算机设备的内置存储器，当然也可以包括计算机设备所支持的扩展存储器。存储器703提供存储空间，该存储空间存储了计算机设备的操作系统，可包括但不限于：安卓（Android）系统、互联网操作系统（Internetworking OperatingSystem，IOS）等等，本申请对此并不作限定。
本申请实施例还提供了一种计算机可读存储介质（Memory），计算机可读存储介质是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括计算机设备中的内置存储介质，当然也可以包括计算机设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了计算机设备的处理系统。并且，在该存储空间中还存放了适于被处理器701加载并执行的计算机程序。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器（non-volatile memory），例如至少一个磁盘存储器；可选的，还可以是至少一个位于远离前述处理器的计算机可读存储介质。
在一个实施例中，处理器701通过运行存储器703中的计算机程序，执行如下操作：
获取第一参考集合和第二参考集合，第一参考集合和第二参考集合均用于对动画中在目标时间段内的图像进行预测，第一参考集合包含动画的第一时间段内的至少一张第一参考图像；第二参考集合包含动画的第二时间段内的至少一张第二参考图像；目标时间段在动画中位于第一时间段和第二时间段之间；且第一参考图像和第二参考图像中均包含目标对象；
对第一参考图像中及第二参考图像中的目标对象的运动状况进行分析，获得目标对象的运动特征信息；
获取目标对象在目标时间段内的运动轨迹；
根据目标对象的运动特征信息及目标对象在目标时间段内的运动轨迹，预测动画中在目标时间段内的图像。
作为一种可选的实施例，动画中在目标时间段内的图像的数量为M，M为正整数；目标时间段内的M张图像中的任一张表示为第i张图像；若i=1，则处理器701获取目标对象在目标时间段内的运动轨迹的具体实施例为：
获取第一轨迹差异信息，第一轨迹差异信息用于指示目标对象在第i张图像中待降噪的轨迹信息和第一参考轨迹信息之间的差异，第一参考轨迹信息是基于第一参考集合中的至少一张第一参考图像提取的；
对第一轨迹差异信息进行偏移预测处理，得到第一轨迹偏移信息；
通过第一轨迹偏移信息对目标对象在第i张图像中待降噪的轨迹信息进行降噪处理，得到目标对象在第i张图像中的轨迹信息；
基于目标对象的初始轨迹位置，目标对象的终止轨迹位置和目标对象在第i张图像中的轨迹信息，确定目标对象在目标时间段内的运动轨迹；目标对象的初始轨迹位置是基于第一参考图像确定的，目标对象的终止轨迹位置是基于第二参考图像确定的。
作为一种可选的实施例，处理器701对第一轨迹差异信息进行偏移预测处理，得到第一轨迹偏移信息的具体实施例为：
连接第一轨迹差异信息和运动特征信息，得到待处理的第一连接信息；
调用偏移预测模型对待处理的第一连接信息进行偏移预测处理，得到处理后的第一连接信息；
对处理后的第一连接信息进行拆分处理，得到第一轨迹偏移信息。
作为一种可选的实施例，处理器701获取第一轨迹差异信息的具体实施例为：
采用轨迹预测模型对第一参考集合和第二参考集合进行轨迹预测处理，得到目标对象在目标时间段内的参考轨迹；或者，基于第一参考集合和第二参考集合建模，得到目标对象在第一时间段内的参考轨迹；
基于目标对象在第一时间段内的参考轨迹，确定目标对象在第i张图像中待降噪的轨迹信息；
对第一参考集合中的至少一张第一参考图像进行轨迹信息提取处理，得到第一参考轨迹信息；
根据目标对象在第i张图像中待降噪的轨迹信息和第一参考轨迹信息之间的差异，计算第一轨迹差异信息。
作为一种可选的实施例，目标时间段内的M张图像按照播放顺序排列；若i不等于1，则处理器701获取目标对象在目标时间段内的运动轨迹的具体实施例为：
获取第二轨迹差异信息，第二轨迹差异信息用于指示目标对象在第i张图像中待降噪的轨迹信息和第二参考轨迹信息之间的差异，第二参考轨迹信息为目标对象在第i-1张图像中的轨迹信息；
对第二轨迹差异信息进行偏移预测处理，得到第二轨迹偏移信息；
通过第二轨迹偏移信息对目标对象在第i张图像中待降噪的轨迹信息进行降噪处理，得到目标对象在第i张图像中的轨迹信息；
基于目标对象在M张图像中的前i张图像中的轨迹信息，以及目标对象的初始轨迹位置和目标对象的终止轨迹位置，确定目标对象在目标时间段内的运动轨迹。
作为一种可选的实施例，处理器701对第二轨迹差异信息进行偏移预测处理，得到第二轨迹偏移信息的具体实施例为：
获取第i张图像的关联特征信息，第i张图像的关联特征信息包括：基于第i-1张图像提取到的目标对象的前向运动特征信息，以及基于第二参考集合中至少一张第二参考图像提取到的目标对象的后向运动特征信息；
连接第二轨迹差异信息和第i张图像的关联特征信息，得到待处理的第二连接信息；
调用偏移预测模型对待处理的第二连接信息进行偏移预测处理，得到处理后的第二连接信息；
对处理后的第二连接信息进行拆分处理，得到第二轨迹偏移信息。
作为一种可选的实施例，处理器701获取第二轨迹差异信息的具体实施例为：
采用轨迹预测模型对第一参考集合和第二参考集合进行轨迹预测处理，得到目标对象在目标时间段内的参考轨迹；或者，基于第一参考集合和第二参考集合建模，得到目标对象在第一时间段内的参考轨迹；
基于目标对象在第一时间段内的参考轨迹，确定目标对象在第i张图像中待降噪的轨迹信息；
将目标对象在第i-1张图像中的轨迹信息，确定为第二参考轨迹信息；
根据目标对象在第i张图像中待降噪的轨迹信息和第二参考轨迹信息之间的差异，计算第二轨迹差异信息。
作为一种可选的实施例，第一参考集合中的第一参考图像和第二参考集合中的第二参考图像均按照在动画中的播放顺序排列；处理器701通过运行存储器703中的计算机程序，还执行如下操作：
将第一参考集合中最后一张第一参考图像中目标对象的姿态确定为第一姿态，并将第二参考集合中第一张第二参考图像中目标对象的姿态确定为第二姿态；
基于第一姿态和第二姿态的姿态差异信息，确定动画中在目标时间段内的图像的数量；
其中，姿态差异信息包括以下至少一项：第一姿态和第二姿态之间的距离、第一姿态对应的朝向信息、第二姿态对应的朝向信息。
作为一种可选的实施例，目标对象在目标时间段内的运动轨迹通过M*P的矩阵表示，M为动画中在目标时间段内的图像的数量，P为目标对象在目标时间段内的轨迹信息的维度；M，P均为正整数；
目标对象在目标时间段内的轨迹信息包括以下至少一项：目标对象的根关节的三维位置在水平面上的投影，目标对象的根关节的三维位置，目标对象的根关节旋转特征。
作为一种可选的实施例，处理器701根据目标对象的运动特征信息及目标对象在目标时间段内的运动轨迹，预测动画中在目标时间段内的图像的具体实施例为：
调用姿态预测模型基于目标对象在目标时间段内的运动轨迹和目标对象的运动特征信息，预测目标对象在目标时间段内的轨迹信息；
对目标时间段内的轨迹信息进行渲染处理，得到动画中在目标时间段内的图像。
作为一种可选的实施例，处理器701通过运行存储器703中的计算机程序，还执行如下操作：
按照图像在动画中的播放顺序，对第一参考集合中的第一参考图像，在目标时间段内的图像和第二参考集中的第二参考图像进行合并，得到合成动画。
基于同一发明构思，本申请实施例中提供的计算机设备解决问题的原理与有益效果与本申请方法实施例中动画处理方法解决问题的原理和有益效果相似，可以参见方法的实施的原理和有益效果，为简洁描述，在这里不再赘述。
本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序适于被处理器加载并执行上述方法实施例的动画处理方法。
本申请实施例还提供一种计算机程序产品，该计算机程序产品包括计算机程序，计算机程序适于被处理器加载并执行上述方法实施例的动画处理方法。
本申请实施例还提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述的动画处理方法。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，可读存储介质可以包括：闪存盘、只读存储器（Read-Only Memory ，ROM）、随机存取器（RandomAccess Memory，RAM）、磁盘或光盘等。
以上所揭露的仅为本申请一种较佳实施例而已，当然不能以此来限定本申请之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本申请权利要求所作的等同变化，仍属于申请所涵盖的范围。
Claims (13)
1.一种动画处理方法，其特征在于，所述方法包括：
获取第一参考集合和第二参考集合，所述第一参考集合和所述第二参考集合均用于对动画中在目标时间段内的图像进行预测，所述第一参考集合包含所述动画的第一时间段内的至少一张第一参考图像；所述第二参考集合包含所述动画的第二时间段内的至少一张第二参考图像；所述目标时间段在所述动画中位于所述第一时间段和所述第二时间段之间；且所述第一参考图像和所述第二参考图像中均包含目标对象；
对所述第一参考图像中及所述第二参考图像中的目标对象的运动状况进行分析，获得所述目标对象的运动特征信息；
获取所述目标对象在所述目标时间段内的至少一张图像中的待降噪的轨迹信息；
对所述目标对象在所述目标时间段内的至少一张图像中的待降噪的轨迹信息进行降噪处理，得到所述目标对象在所述目标时间段内的至少一张图像中的轨迹信息；
基于所述目标对象的初始轨迹位置，所述目标对象在所述目标时间段内的至少一张图像中的轨迹信息和所述目标对象的终止轨迹位置，确定所述目标对象在所述目标时间段内的运动轨迹，所述目标对象的初始轨迹位置是基于所述第一参考图像确定的，所述目标对象的终止轨迹位置是基于所述第二参考图像确定的；
调用姿态预测模型基于所述目标对象在所述目标时间段内的运动轨迹和所述目标对象的运动特征信息，预测所述目标对象在所述目标时间段内的轨迹信息；
对所述目标时间段内的轨迹信息进行渲染处理，得到所述动画中在所述目标时间段内的图像。
2.如权利要求1所述的方法，其特征在于，所述动画中在所述目标时间段内的图像的数量为M，M为正整数；所述目标时间段内的M张图像中的任一张表示为第i张图像；若i=1，则对所述目标对象在所述目标时间段内的至少一张图像中的待降噪的轨迹信息进行降噪处理，得到所述目标对象在所述目标时间段内的至少一张图像中的轨迹信息，包括：
获取第一轨迹差异信息，所述第一轨迹差异信息用于指示所述目标对象在所述第i张图像中待降噪的轨迹信息和第一参考轨迹信息之间的差异，所述第一参考轨迹信息是基于所述第一参考集合中的至少一张第一参考图像提取的；
对所述第一轨迹差异信息进行偏移预测处理，得到第一轨迹偏移信息；
通过所述第一轨迹偏移信息对所述目标对象在所述第i张图像中待降噪的轨迹信息进行降噪处理，得到所述目标对象在所述第i张图像中的轨迹信息。
3.如权利要求2所述的方法，其特征在于，所述对所述第一轨迹差异信息进行偏移预测处理，得到第一轨迹偏移信息，包括：
连接所述第一轨迹差异信息和所述运动特征信息，得到待处理的第一连接信息；
调用偏移预测模型对待处理的第一连接信息进行偏移预测处理，得到处理后的第一连接信息；
对处理后的第一连接信息进行拆分处理，得到第一轨迹偏移信息。
4.如权利要求2所述的方法，其特征在于，所述获取第一轨迹差异信息，包括：
采用轨迹预测模型对所述第一参考集合和所述第二参考集合进行轨迹预测处理，得到所述目标对象在所述目标时间段内的参考轨迹；或者，基于所述第一参考集合和所述第二参考集合建模，得到所述目标对象在所述第一时间段内的参考轨迹；
基于所述目标对象在所述第一时间段内的参考轨迹，确定所述目标对象在所述第i张图像中待降噪的轨迹信息；
对所述第一参考集合中的至少一张第一参考图像进行轨迹信息提取处理，得到第一参考轨迹信息；
根据所述目标对象在所述第i张图像中待降噪的轨迹信息和所述第一参考轨迹信息之间的差异，计算第一轨迹差异信息。
5.如权利要求2所述的方法，其特征在于，所述目标时间段内的M张图像按照播放顺序排列；若i不等于1，则对所述目标对象在所述目标时间段内的至少一张图像中的待降噪的轨迹信息进行降噪处理，得到所述目标对象在所述目标时间段内的至少一张图像中的轨迹信息，包括：
获取第二轨迹差异信息，所述第二轨迹差异信息用于指示所述目标对象在所述第i张图像中待降噪的轨迹信息和第二参考轨迹信息之间的差异，所述第二参考轨迹信息为所述目标对象在第i-1张图像中的轨迹信息；
对所述第二轨迹差异信息进行偏移预测处理，得到第二轨迹偏移信息；
通过所述第二轨迹偏移信息对所述目标对象在所述第i张图像中待降噪的轨迹信息进行降噪处理，得到所述目标对象在所述第i张图像中的轨迹信息。
6.如权利要求5所述的方法，其特征在于，所述对所述第二轨迹差异信息进行偏移预测处理，得到第二轨迹偏移信息，包括：
获取所述第i张图像的关联特征信息，所述第i张图像的关联特征信息包括：基于第i-1张图像提取到的所述目标对象的前向运动特征信息，以及基于所述第二参考集合中至少一张第二参考图像提取到的所述目标对象的后向运动特征信息；
连接所述第二轨迹差异信息和所述第i张图像的关联特征信息，得到待处理的第二连接信息；
调用偏移预测模型对待处理的第二连接信息进行偏移预测处理，得到处理后的第二连接信息；
对处理后的第二连接信息进行拆分处理，得到第二轨迹偏移信息。
7.如权利要求5所述的方法，其特征在于，所述获取第二轨迹差异信息，包括：
采用轨迹预测模型对所述第一参考集合和所述第二参考集合进行轨迹预测处理，得到所述目标对象在所述目标时间段内的参考轨迹；或者，基于所述第一参考集合和所述第二参考集合建模，得到所述目标对象在所述第一时间段内的参考轨迹；
基于所述目标对象在所述第一时间段内的参考轨迹，确定所述目标对象在所述第i张图像中待降噪的轨迹信息；
将所述目标对象在第i-1张图像中的轨迹信息，确定为第二参考轨迹信息；
根据所述目标对象在所述第i张图像中待降噪的轨迹信息和所述第二参考轨迹信息之间的差异，计算第二轨迹差异信息。
8.如权利要求1所述的方法，其特征在于，所述第一参考集合中的第一参考图像和所述第二参考集合中的第二参考图像均按照在所述动画中的播放顺序排列；所述方法还包括：
将所述第一参考集合中最后一张第一参考图像中所述目标对象的姿态确定为第一姿态，并将所述第二参考集合中第一张第二参考图像中所述目标对象的姿态确定为第二姿态；
基于所述第一姿态和所述第二姿态的姿态差异信息，确定所述动画中在所述目标时间段内的图像的数量；
其中，所述姿态差异信息包括以下至少一项：所述第一姿态和所述第二姿态之间的距离、所述第一姿态对应的朝向信息、所述第二姿态对应的朝向信息。
9.如权利要求1所述的方法，其特征在于，所述目标对象在所述目标时间段内的运动轨迹通过M*P的矩阵表示，M为所述动画中在所述目标时间段内的图像的数量，P为所述目标对象在所述目标时间段内的轨迹信息的维度；M，P均为正整数；
所述目标对象在所述目标时间段内的轨迹信息包括以下至少一项：所述目标对象的根关节的三维位置在水平面上的投影，所述目标对象的根关节的三维位置，所述目标对象的根关节旋转特征。
10.如权利要求1所述的方法，其特征在于，所述方法还包括：
按照图像在所述动画中的播放顺序，对所述第一参考集合中的第一参考图像，在所述目标时间段内的图像和所述第二参考集中的第二参考图像进行合并，得到合成动画。
11.一种动画处理装置，其特征在于，所述动画处理装置包括：
获取单元，用于获取第一参考集合和第二参考集合，所述第一参考集合和所述第二参考集合均用于对动画中在目标时间段内的图像进行预测，所述第一参考集合包含所述动画的第一时间段内的至少一张第一参考图像；所述第二参考集合包含所述动画的第二时间段内的至少一张第二参考图像；所述目标时间段在所述动画中位于所述第一时间段和所述第二时间段之间；且所述第一参考图像和所述第二参考图像中均包含目标对象；
处理单元，用于对所述第一参考图像中及所述第二参考图像中的目标对象的运动状况进行分析，获得所述目标对象的运动特征信息；
所述获取单元，还用于获取所述目标对象在所述目标时间段内的至少一张图像中的待降噪的轨迹信息；
所述处理单元，还用于对所述目标对象在所述目标时间段内的至少一张图像中的待降噪的轨迹信息进行降噪处理，得到所述目标对象在所述目标时间段内的至少一张图像中的轨迹信息；
以及用于基于所述目标对象的初始轨迹位置，所述目标对象在所述目标时间段内的至少一张图像中的轨迹信息和所述目标对象的终止轨迹位置，确定所述目标对象在所述目标时间段内的运动轨迹，所述目标对象的初始轨迹位置是基于所述第一参考图像确定的，所述目标对象的终止轨迹位置是基于所述第二参考图像确定的；
以及用于调用姿态预测模型基于所述目标对象在所述目标时间段内的运动轨迹和所述目标对象的运动特征信息，预测所述目标对象在所述目标时间段内的轨迹信息；
以及用于对所述目标时间段内的轨迹信息进行渲染处理，得到所述动画中在所述目标时间段内的图像。
12.一种计算机设备，其特征在于，包括：存储器和处理器；
存储器，所述存储器中存储有计算机程序；
处理器，用于加载所述计算机程序实现如权利要求1-10任一项所述的动画处理方法。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于被处理器加载并执行如权利要求1-10任一项所述的动画处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211553250.9A CN115564803B (zh) | 2022-12-06 | 2022-12-06 | 一种动画处理方法、装置、设备、存储介质及产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211553250.9A CN115564803B (zh) | 2022-12-06 | 2022-12-06 | 一种动画处理方法、装置、设备、存储介质及产品 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115564803A CN115564803A (zh) | 2023-01-03 |
| CN115564803B true CN115564803B (zh) | 2023-03-14 |
Family
ID=84770251
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211553250.9A Active CN115564803B (zh) | 2022-12-06 | 2022-12-06 | 一种动画处理方法、装置、设备、存储介质及产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115564803B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017010224A (ja) * | 2015-06-19 | 2017-01-12 | キヤノン株式会社 | 物体追尾装置、物体追尾方法及びプログラム |
| CN110443833A (zh) * | 2018-05-04 | 2019-11-12 | 佳能株式会社 | 对象跟踪方法和设备 |
| CN110458861A (zh) * | 2018-05-04 | 2019-11-15 | 佳能株式会社 | 对象检测与跟踪方法和设备 |
| WO2020037610A1 (zh) * | 2018-08-23 | 2020-02-27 | 深圳市大疆创新科技有限公司 | 目标对象的运动轨迹预测方法和监控平台 |
| CN113947650A (zh) * | 2021-09-30 | 2022-01-18 | 完美世界(北京)软件科技发展有限公司 | 动画处理方法、装置、电子设备及介质 |
| CN114897973A (zh) * | 2022-07-15 | 2022-08-12 | 腾讯科技（深圳）有限公司 | 轨迹检测方法、装置、计算机设备和存储介质 |
| CN114972591A (zh) * | 2022-06-15 | 2022-08-30 | 北京字跳网络技术有限公司 | 动画生成模型的训练方法、动画生成方法和装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111942407B (zh) * | 2020-07-31 | 2022-09-23 | 商汤集团有限公司 | 轨迹预测方法、装置、设备及存储介质 |
-
2022
- 2022-12-06 CN CN202211553250.9A patent/CN115564803B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017010224A (ja) * | 2015-06-19 | 2017-01-12 | キヤノン株式会社 | 物体追尾装置、物体追尾方法及びプログラム |
| CN110443833A (zh) * | 2018-05-04 | 2019-11-12 | 佳能株式会社 | 对象跟踪方法和设备 |
| CN110458861A (zh) * | 2018-05-04 | 2019-11-15 | 佳能株式会社 | 对象检测与跟踪方法和设备 |
| WO2020037610A1 (zh) * | 2018-08-23 | 2020-02-27 | 深圳市大疆创新科技有限公司 | 目标对象的运动轨迹预测方法和监控平台 |
| CN113947650A (zh) * | 2021-09-30 | 2022-01-18 | 完美世界(北京)软件科技发展有限公司 | 动画处理方法、装置、电子设备及介质 |
| CN114972591A (zh) * | 2022-06-15 | 2022-08-30 | 北京字跳网络技术有限公司 | 动画生成模型的训练方法、动画生成方法和装置 |
| CN114897973A (zh) * | 2022-07-15 | 2022-08-12 | 腾讯科技（深圳）有限公司 | 轨迹检测方法、装置、计算机设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115564803A (zh) | 2023-01-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109961507B (zh) | 一种人脸图像生成方法、装置、设备及存储介质 | |
| CN110889381B (zh) | 换脸方法、装置、电子设备及存储介质 | |
| WO2024051445A1 (zh) | 图像生成方法以及相关设备 | |
| CN111369681A (zh) | 三维模型的重构方法、装置、设备及存储介质 | |
| CN112418292B (zh) | 一种图像质量评价的方法、装置、计算机设备及存储介质 | |
| CN111862274A (zh) | 生成对抗网络训练方法、图像风格迁移方法及装置 | |
| CN111768425A (zh) | 图像处理方法、装置及设备 | |
| CN111833360B (zh) | 一种图像处理方法、装置、设备以及计算机可读存储介质 | |
| CN110728319B (zh) | 一种图像生成方法、装置以及计算机存储介质 | |
| CN113705520A (zh) | 动作捕捉方法、装置及服务器 | |
| CN114202615A (zh) | 人脸表情的重建方法、装置、设备和存储介质 | |
| CN113095206A (zh) | 虚拟主播生成方法、装置和终端设备 | |
| CN115861498A (zh) | 动作捕捉的重定向方法和装置 | |
| CN113706577A (zh) | 一种图像处理方法、装置和计算机可读存储介质 | |
| CN112634413B (zh) | 生成模型和生成3d动画的方法、装置、设备和存储介质 | |
| CN115564803B (zh) | 一种动画处理方法、装置、设备、存储介质及产品 | |
| CN114333069B (zh) | 对象的姿态处理方法、装置、设备及存储介质 | |
| CN115965736A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN116977502A (zh) | 运动重定向方法、装置、电子设备及计算机可读存储介质 | |
| CN115482557A (zh) | 人体图像生成方法、系统、设备及存储介质 | |
| CN113222178A (zh) | 模型训练方法、用户界面的生成方法、装置及存储介质 | |
| CN113822790A (zh) | 一种图像处理方法、装置、设备及计算机可读存储介质 | |
| CN111915701A (zh) | 一种基于人工智能的按钮图像生成方法和装置 | |
| CN116091675B (zh) | 一种图像处理方法、装置、设备及存储介质 | |
| CN115984943B (zh) | 面部表情捕捉及模型训练方法、装置、设备、介质及产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40079084 Country of ref document: HK |