CN110310350B - 基于动画的动作预测生成方法和装置 - Google Patents
基于动画的动作预测生成方法和装置 Download PDFInfo
- Publication number
- CN110310350B CN110310350B CN201910550582.3A CN201910550582A CN110310350B CN 110310350 B CN110310350 B CN 110310350B CN 201910550582 A CN201910550582 A CN 201910550582A CN 110310350 B CN110310350 B CN 110310350B
- Authority
- CN
- China
- Prior art keywords
- action
- fusion
- animation
- motion
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 152
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000009471 action Effects 0.000 claims abstract description 190
- 230000004927 fusion Effects 0.000 claims abstract description 101
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims description 60
- 230000006870 function Effects 0.000 claims description 30
- 239000013598 vector Substances 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 11
- 210000002569 neuron Anatomy 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 241001465754 Metazoa Species 0.000 abstract description 19
- 230000000694 effects Effects 0.000 abstract description 11
- 230000008859 change Effects 0.000 abstract description 7
- 230000036544 posture Effects 0.000 description 37
- 230000008569 process Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241000894007 species Species 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000009192 sprinting Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提出一种基于动画的动作预测生成方法和装置，其中，方法包括：获取目标角色对应的目标动画的当前动画帧；根据当前动画帧获取目标角色的当前骨骼姿态信息，以及在预设运动轨迹上的运动姿态信息；获取与当前动画帧对应的相似动作和与相似动作对应的相似度；根据相似度和相似动作获取融合动作；获取下一时刻的预测动作；控制目标动画在下一个动画帧中模拟预测动作。本发明通过对人或动物等具有骨骼结构的行动体在不同运动状态下的运动特征和运动状态之间的变化特征进行网络学习，最终能够很好的表现不同的运动特征，并在不同的运动状态之间变化能够自然的进行融合，进而制作出人或动物的行进动画效果，保证了动画效果的自然效果。
Description
技术领域
本发明涉及计算机动画技术领域，尤其涉及一种基于动画的动作预测生成方法和装置。
背景技术
相关技术中，骨骼动画的多种运动状态之间的融合在动画制作上一直是一个难点，困难在于骨骼所描述的动物运动模态具有多变性，也就是动物在同一运动状态下虽然会保持固有的运动姿态(例如，行走会周期性的进行)，但当切换到另一种运动状态后，则又会以另外一种方式运动。因此，动物的运动周期规律将在两种状态之间进行变化，如果不能将其很好的融合，将会大大降低动画的实际效果。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的第一个目的在于提出一种基于动画的动作预测生成方法，以实现在不同的运动状态之间能够自然的进行融合，进而在给定的路径下制作出骨骼的行进动画效果。
本发明的第二个目的在于提出一种基于动画的动作预测生成装置。
本发明的第三个目的在于提出一种计算机设备。
本发明的第四个目的在于提出一种非临时性计算机可读存储介质。
为达上述目的，本发明第一方面实施例提出了一种基于动画的动作预测生成方法，包括：获取目标角色对应的目标动画的当前动画帧；根据所述当前动画帧获取所述目标角色的当前骨骼姿态信息，以及在预设运动轨迹上的运动姿态信息；将所述运动姿态信息和所述当前骨骼姿态信息输入预先训练的动作融合网络，获取与所述当前动画帧对应的相似动作和与所述相似动作对应的相似度；根据所述相似度和所述相似动作获取融合动作；将所述融合动作输入预先训练的姿态预测网络，获取下一时刻的预测动作；控制所述目标动画在下一个动画帧中模拟所述预测动作。
本发明实施例的基于动画的动作预测生成方法，本方法包括一种通用骨骼数据的采集和制作，骨骼运动数据的处理，骨骼运动特征数据的网络学习过程，最后通过动作融合网络和运动姿态预测网络得到人或动物在特定的路径下的动画轨迹。
在本发明的实施例中，在所述将所述运动姿态信息和所述当前骨骼姿态信息输入预先训练的动作融合网络之前，还包括：获取与所述目标角色的物种类型对应的训练动画帧；获取与所述训练动画帧对应的训练骨骼姿态信息和训练运动姿态信息；将所述训练骨骼姿态信息和所述训练运动姿态信息输入至动作融合网络，获取所述动作融合网络输出的与所述训练动画帧对应的第一动作和与所述第一动作对应的相似度；若所述第一动作和与所述第一动作对应的相似度，与所述训练动画帧对应的实际动作和与所述实际动作对应的相似度不一致，则调整所述动作融合网络，直至所述第一动作和与所述第一动作对应的相似度，与所述训练动画帧对应的实际动作和与所述实际动作对应的相似度一致，则完成对所述动作融合网络的训练。
本发明的实施例中，所述动作融合网络的第一层和第二层为全连接层，所述全连接层的定义为：
其中，M是参数的总数、b是0均值的高斯噪音、ΦM是xM对应的基函数列向量，
表示点积，St代表t时刻的方向向量，Et代表t时刻的速度向量，ΦS是St对应的基函数列向量；
所述第一层和所述第二层之间连接非线性函数层，其中，所述函数连接层的定义为：
ELU(x)＝max(x,0)+exp(min(x,0))-1
其中，x是非线性激活函数ELU的输入，在该结构中代表上层神经网络的输出；
所述动作融合网络的第三层包含指数函数层，其中，所述指数函数层的公式为：
其中，Si为所述第三层中的第i个神经元的输出经动作融合网络后得到的相似度，
为第i个神经元的输出值的指数，C为动作融合网络的神经元个数。
本发明的实施例中，在所述将所述融合动作输入预先训练的姿态预测网络之前，还包括：获取第N-m帧到第N帧的m帧训练帧的训练融合动作，其中，N为大于m的自然数，m为大于1的自然数；将所述m帧训练帧的训练融合动作输入至姿态预测网络，获取所述姿态预测网络输入的第N+1帧的预测动作；判断所述第N+1帧的预测动作与预先获取的第N+1帧的实际动作是否一致，若不一致，则调整所述姿态预测网络的网络参数，直至所述姿态预测网络输出的所述第N+1帧的预测动作与预先获取的第N+1帧的实际动作一致，则完成对所述姿态预测网络的训练。
本发明的实施例中，在所述将所述融合动作输入预先训练的姿态预测网络之前，还包括：完成对所述动作融合网络和所述姿态预测网络的串行训练。
本发明的实施例中，所述根据所述相似度和所述相似动作获取融合动作，包括：确定所述相似动作的数量是否为多个；若所述数量不为多个，则确定无需做出融合动作并将所述相似动作作为所述融合动作；若所述数量为多个，则确定需要做出融合动作并计算多个相似动作中每个相似动作对应的相似度，设置所述多个相似动作中每个动作的融合权重，根据所述融合权重融合所述多个相似动作获取所述融合动作。
为达上述目的，本发明第二方面实施例提出了一种基于动画的动作预测生成装置，包括：第一获取模块，用于获取目标角色对应的目标动画的当前动画帧；第二获取模块，用于根据所述当前动画帧获取所述目标角色的当前骨骼姿态信息，以及在预设运动轨迹上的运动姿态信息；第三获取模块，用于将所述运动姿态信息和所述当前骨骼姿态信息输入预先训练的动作融合网络，获取与所述当前动画帧对应的相似动作和与所述相似动作对应的相似度；生成模块，用于根据所述相似度和所述相似动作获取融合动作；第四获取模块，用于将所述融合动作输入预先训练的姿态预测网络，获取下一时刻的预测动作；更新模块，控制所述目标动画在下一个动画帧中模拟所述预测动作。
本发明实施例的基于动画的动作预测生成装置，通过第一获取模块、第二获取模块、第三获取模块、生成模块、第四获取模块、更新模块，通过对骨骼在不同运动状态下的运动特征和运动状态之间的变化特征进行网络学习，最终能够很好的表现不同的运动特征，并在不同的运动状态之间能够自然的进行融合，进而在给定的路径下制作出骨骼的行进动画效果。
本发明的实施例中，在第四获取模块之前，还包括：训练模块，用于完成对所述动作融合网络和所述姿态预测网络的串行训练。
为达上述目的，本发明第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述实施例第一方面所述的基于动画的动作预测生成方法。
为了实现上述目的，本发明第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例第一方面所述的基于动画的动作预测生成方法。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例所提供的一种基于动画的动作预测生成方法的流程示意图；
图2为本发明实施例提供的一种基于动画的动作预测生成装置的结构示意图；
图3为本发明实施例提供的另一种基于动画的动作预测生成装置的结构示意图；
图4为四足动物在骨骼的驱动下在地面坐下的效果；
图5为四足动物在骨骼的驱动下进行行走的效果；
图6为四足动物在骨骼的驱动下进行奔跑的效果。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的基于动画的动作预测生成方法和装置。图1为本发明实施例所提供的一种基于动画的动作预测生成方法的流程示意图。
针对上述实施例，本发明实施例提供了基于动画的动作预测生成方法，如图1所示，该基于动画的动作预测生成方法包括以下步骤：
步骤101，获取目标角色对应的目标动画的当前动画帧。
具体的，使用相机等设备获取目标角色对应的目标动画的当前动画帧，其中，目标角色可以是选定的动物，也可以是人。对选定的动物(如狗)或人进行特殊训练后，在其身上相应关节或者关键部位绑定动捕设备，按指令进行相应的运动，得出真实的动物或人的运动捕捉数据。对运动数据进行逐帧的设置形成连续的动画帧导出整理，然后得到当前动画帧。
步骤102，根据当前动画帧获取目标角色的当前骨骼姿态信息，以及在预设运动轨迹上的运动姿态信息。
具体的，根据当前动画帧获取目标角色的当前骨骼姿态信息，以及在预设运动轨迹上的运动姿态信息。其中，骨骼姿态信息，包括骨骼的空间位置、速度、旋转等信息，其中，运动姿态信息包括轨迹的位置坐标XYZ向量、方向向量和速度向量，根据需要对四足动物的运动轨迹进行设定，这里的轨迹需要是满足基本的运动规律的曲线。作为本发明的一个实施例，在软件设备(比如MotionBuilder等)中对设定的骨骼的姿态进行逐帧的设置形成连续的动画帧，然后将动画以文件的形式导出，得到骨骼的运动数据，其中，骨骼可以是在自然界中真实存在的动物或人等行动体的骨骼，也可以是根据动画的需要虚拟出来的骨骼结构，人或动物的骨骼在同一运动状态下呈现同样的周期规律，在不同的运动状态中可以呈现不同的运动姿势。例如慢行、小跑、快跑、跳跃等，以及其他类型的动作，例如坐、站、闲散等，如图4、图5、图6所示。
步骤103，将运动姿态信息和当前骨骼姿态信息输入预先训练的动作融合网络，获取与当前动画帧对应的相似动作和与相似动作对应的相似度。
具体的，由于骨骼动画在运动中会因为运动形式的改变而呈现不同的运动姿态，很难用单个固定的运动循环周期来表达，这在骨骼动画制作中需要耗费大量的时间来对运动步态和相位进行标注。因此，作为本发明可能实现的一个实施例，设计了动作融合网络对动物的运动周期进行学习，在训练数据的准备过程中无需人工标注运动语义。
动作融合网络使用三层非线性拟合，结构设计简单，具体如下公式(1)所示：
Φ(x)＝W2ELU(W1ELU(W0X+B0)+B1)+B2 公式(1)
其中，W0，W1，W2分别代表三层非线性拟合层的权重向量，B0，B1，B2分别代表三层非线性拟合层的偏置向量，ELU代表非线性激活函数；
需要说明的是，网络的输入是将轨迹的位置坐标XYZ向量、方向向量和速度向量组合为一组互相制约的特征向量，我们用Q＝{Qf|f＝1……F}表示一组由F个运动姿态构成的姿态向量，Qf表示在第f帧时刻的运动姿态。将位置坐标向量，方向向量，速度向量进行连接，可以得到一组由{Q|S|E}表示的多维度特征向量作为网络输入。
动作融合网络的第一层和第二层为全连接层，全连接层的定义为如下公式(2)所示：
其中，M是参数的总数、b是0均值的高斯噪音、ΦM是xM对应的基函数列向量，
表示点积，St代表t时刻的方向向量，Et代表t时刻的速度向量，ΦS是St对应的基函数列向量；
由于b服从高斯分布，所以公式定义的随机过程是一个高斯过程，网络的设计采用三层这样的结构，第一层和第二层之间连接非线性函数层，其中，函数连接层的定义为如下公式(3)所示：
ELU(x)＝max(x,0)+exp(min(x,0))-1 公式(3)
其中，x是非线性激活函数ELU的输入，在该结构中代表上层神经网络的输出；
前两层经过非线性激活操作后，为了防止过拟合，且加快网络训练速度，我们采取对部分神经元随机丢弃的策略(即dropout操作)。第三层为输出层，该层不加入任何非线性操作，为了对估计的参数规则化处理，该层最后加入归一化指数函数，也称为softmax操作，动作融合网络的第三层包含指数函数层，其中，指数函数层的公式为如下公式(4)所示：
其中，Si为第三层中的第i个神经元的输出经动作融合网络后得到的相似度，
为第i个神经元的输出值的指数，C为动作融合网络的神经元个数。
需要说明的是，在将运动姿态信息和当前骨骼姿态信息输入预先训练的动作融合网络之前，还包括：获取与目标角色的物种类型对应的训练动画帧；
获取与训练动画帧对应的训练骨骼姿态信息和训练运动姿态信息；将训练骨骼姿态信息和训练运动姿态信息输入至动作融合网络，获取动作融合网络输出的与训练动画帧对应的第一动作和与第一动作对应的相似度；若第一动作和与第一动作对应的相似度，与训练动画帧对应的实际动作和与实际动作对应的相似度不一致，则调整动作融合网络，直至第一动作和与第一动作对应的相似度，与训练动画帧对应的实际动作和与实际动作对应的相似度一致，则完成对动作融合网络的训练。
步骤104，根据相似度和相似动作获取融合动作。
具体的，确定相似动作的数量是否为多个；若数量不为多个，则确定无需做出融合动作并将相似动作作为融合动作；若数量为多个，则确定需要做出融合动作并计算多个相似动作中每个相似动作对应的相似度，设置多个相似动作中每个动作的融合权重，根据融合权重融合多个相似动作获取融合动作，比如，多个相似动作为跑步和走路，跑步对应的相似度为10％，走路对应的相似度为90％，则生成的融合动作介于走路和跑步之间的过渡动作，该过渡动作更接近走路，这种融合动作的组成方式，使得基于融合动作进行预测的动作覆盖了两种动作之间的过渡动作，可以更好的实现动画切换效果。
举例而言，动作融合网络对数据进行判断，决策当前是应该走或者跑或者其他动作，如果当前需要做出过渡，网络会逐渐的调整运动各部分的比重来达到动作融合的效果。例如相似动作的数量不为多个，处于一直走的状态，也就是说走的姿态的权重为100％，则确定无需做出融合动作并将相似动作作为融合动作；若相似动作的数量为多个，比如骨骼从走开始，当跑的姿态在一段时间内的权重从0％开始逐渐增大到100％时，运动融合网络会在权重达到某个值的时候将动作模式切换成跑，完成从走到跑的转变，在各自的运动中呈现各自的特征。
步骤105，将融合动作输入预先训练的姿态预测网络，获取下一时刻的预测动作。
具体的，姿态预测网络会依据这一组权重来指导动物的运动模式，根据人或动物的骨骼这一段时间内的运动状态综合权重值计算下一时刻的运动姿态。
需要说明的是，在将融合动作输入预先训练的姿态预测网络之前，需要对姿态预测网络进行训练，包括：获取第N-m帧到第N帧的m帧训练帧的训练融合动作，其中，N为大于m的自然数，m为大于1的自然数；将m帧训练帧的训练融合动作输入至姿态预测网络，获取姿态预测网络输入的第N+1帧的预测动作；判断第N+1帧的预测动作与预先获取的第N+1帧的实际动作是否一致，若不一致，则调整姿态预测网络的网络参数，直至姿态预测网络输出的第N+1帧的预测动作与预先获取的第N+1帧的实际动作一致，则完成对姿态预测网络的训练。
可以理解，作为本发明实施例一种可能实现的方式，通过动作融合网络计算后得到相应运动姿态的权重，例如在一次运动中，网络会对过去的多个时刻的运动姿态进行评估，然后根据当前的用户输入，综合计算得到下一时刻的运动权重。网络根据权重对运动的姿态进行分配，从而得到当前时刻的运动姿态，进而实现对运动姿态的预测。运动姿态预测网络的设计结构与动作融合网络基本一致，网络参数使用动作融合网络计算结果对其初始化。该网络的全连接层除了最后一层不使用softmax操作外，其他结构与动作融合网络完全一样。该网络构建如下形式的目标函数，优化网络使网络参数得到最优解如下公式(5)所示：
其中
是估计出的未知参数，St代表t时刻的方向向量，λ是误差函数拟合系数，y*代表t时刻的真实运动参数描述。
似然部分用来衡量合成的运动与未知运动的相似性，使其尽可能的靠近训练数据集。估计出未知参数后，可以固定某一参数，通过改变其他参数为这个对象合成新的的运动姿态。由于运动姿态预测网络以动作融合网络参数作为初始化，该网络训练效率更高，预测结果更加自然、平滑。
进一步地，还需要完成对动作融合网络和姿态预测网络的串行训练。
具体的，在本实施例中，整个网络的训练时将两个子网络进行串行训练，实现端到端的运动预测。网络训练快速、方便，主要的优化方法、超参数设计如下：优化器选用常规的adam优化器；初始学习率设置为0.0001；中间层隐藏神经元个数设置为512；Dropout比例设置为0.7。
步骤106，控制目标动画在下一个动画帧中模拟预测动作。
具体的，初始化整个网络，根据网络对轨迹上的点进行采样，得到一组初始值，网络得到初始姿态后开始对下一帧进行预测，目标动画在达到下一帧后立刻更新数据，然后根据当前状态决定下一步的行动。
本实施例中基于动画的动作预测生成方法，通过对人或动物在不同运动状态下的运动特征和运动状态之间的变化特征进行网络学习，最终能够很好的表现不同的运动特征，并在不同的运动状态之间能够自然的进行融合，进而在给定的路径下制作出人或动物的行进动画效果。
为了实现上述实施例，本发明还提出一种基于动画的动作预测生成装置。
图2为本发明实施例提供的一种基于动画的动作预测生成装置的结构示意图。
如图2所示，该基于动画的动作预测生成装置包括：第一获取模块10、第二获取模块20、第三获取模块30、生成模块40、第四获取模块50、更新模块60。其中，第一获取模块10，用于获取目标角色对应的目标动画的当前动画帧；其次第二获取模块20，用于根据当前动画帧获取目标角色的当前骨骼姿态信息，以及在预设运动轨迹上的运动姿态信息；接着第三获取模块30，用于将运动姿态信息和当前骨骼姿态信息输入预先训练的动作融合网络，获取与当前动画帧对应的相似动作和与相似动作对应的相似度；生成模块40，根据相似度和相似动作获取融合动作；在本发明的一个实施例中，如图3所示，在图2的基础上，还包括训练模块70，用于完成对动作融合网络和姿态预测网络的串行训练。然后第四获取模块50，将融合动作输入预先训练的姿态预测网络，获取下一时刻的预测动作；最后更新模块60，控制目标动画在下一个动画帧中模拟预测动作。
需要说明的是，前述对基于动画的动作预测生成方法实施例的解释说明也适用于该实施例的基于动画的动作预测生成装置，此处不再赘述。
为了实现上述实施例，本发明还提出一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现如上述实施例所描述的基于动画的动作预测生成方法。
为了实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述实施例所描述的基于动画的动作预测生成方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (9)
1.一种基于动画的动作预测生成方法，其特征在于，包括以下步骤：
获取目标角色对应的目标动画的当前动画帧；
根据所述当前动画帧获取所述目标角色的当前骨骼姿态信息，以及在预设运动轨迹上的运动姿态信息；
将所述运动姿态信息和所述当前骨骼姿态信息输入预先训练的动作融合网络，获取与所述当前动画帧对应的相似动作和与所述相似动作对应的相似度；
根据所述相似度和所述相似动作获取融合动作，具体为：确定所述相似动作的数量是否为多个；若所述数量不为多个，则确定无需做出融合动作并将所述相似动作作为所述融合动作；若所述数量为多个，则确定需要做出融合动作并计算多个相似动作中每个相似动作对应的相似度，设置所述多个相似动作中每个相似动作的融合权重，根据所述融合权重融合所述多个相似动作获取所述融合动作；
将所述融合动作输入预先训练的姿态预测网络，获取下一时刻的预测动作；
控制所述目标动画在下一个动画帧中模拟所述预测动作。
2.如权利要求1所述的方法，其特征在于，在所述将所述运动姿态信息和所述当前骨骼姿态信息输入预先训练的动作融合网络之前，还包括：
获取与所述目标角色的物种类型对应的训练动画帧；
获取与所述训练动画帧对应的训练骨骼姿态信息和训练运动姿态信息；
将所述训练骨骼姿态信息和所述训练运动姿态信息输入至动作融合网络，获取所述动作融合网络输出的与所述训练动画帧对应的第一动作和与所述第一动作对应的相似度；
若所述第一动作和与所述第一动作对应的相似度，与所述训练动画帧对应的实际动作和与所述实际动作对应的相似度不一致，则调整所述动作融合网络，直至所述第一动作和与所述第一动作对应的相似度，与所述训练动画帧对应的实际动作和与所述实际动作对应的相似度一致，则完成对所述动作融合网络的训练。
3.如权利要求2所述的方法，其特征在于，所述动作融合网络的第一层和第二层为全连接层，所述全连接层的定义为：
其中，M是参数的总数、b是0均值的高斯噪音、ΦM是xM对应的基函数列向量，
表示点积，St代表t时刻的方向向量，Et代表t时刻的速度向量，ΦS是St对应的基函数列向量；
所述第一层和所述第二层之间连接非线性函数层，其中，所述非线性函数层的定义为：
ELU(x)＝max(x,0)+exp(min(x,0))-1
其中，x是非线性激活函数ELU的输入，在所述全连接层中代表上层神经网络的输出；
所述动作融合网络的第三层包含指数函数层，其中，所述指数函数层的公式为：
其中，Si为所述第三层中的第i个神经元的输出经动作融合网络后得到的相似度，
为第i个神经元的输出值的指数，C为动作融合网络的神经元个数。
4.如权利要求1所述的方法，其特征在于，在所述将所述融合动作输入预先训练的姿态预测网络之前，还包括：
获取第N-m帧到第N帧的m帧训练帧的训练融合动作，其中，N为大于m的自然数，m为大于1的自然数；
将所述m帧训练帧的训练融合动作输入至姿态预测网络，获取所述姿态预测网络输入的第N+1帧的预测动作；
判断所述第N+1帧的预测动作与预先获取的第N+1帧的实际动作是否一致，若不一致，则调整所述姿态预测网络的网络参数，直至所述姿态预测网络输出的所述第N+1帧的预测动作与预先获取的第N+1帧的实际动作一致，则完成对所述姿态预测网络的训练。
5.如权利要求1所述的方法，其特征在于，在所述将所述融合动作输入预先训练的姿态预测网络之前，还包括：
完成对所述动作融合网络和所述姿态预测网络的串行训练。
6.一种基于动画的动作预测生成装置，其特征在于，所述装置包括：
第一获取模块，用于获取目标角色对应的目标动画的当前动画帧；
第二获取模块，用于根据所述当前动画帧获取所述目标角色的当前骨骼姿态信息，以及在预设运动轨迹上的运动姿态信息；
第三获取模块，用于将所述运动姿态信息和所述当前骨骼姿态信息输入预先训练的动作融合网络，获取与所述当前动画帧对应的相似动作和与所述相似动作对应的相似度；
生成模块，用于根据所述相似度和所述相似动作获取融合动作，所述生成模块具体用于确定所述相似动作的数量是否为多个；若所述数量不为多个，则确定无需做出融合动作并将所述相似动作作为所述融合动作；若所述数量为多个，则确定需要做出融合动作并计算多个相似动作中每个相似动作对应的相似度，设置所述多个相似动作中每个相似动作的融合权重，根据所述融合权重融合所述多个相似动作获取所述融合动作；
第四获取模块，用于将所述融合动作输入预先训练的姿态预测网络，获取下一时刻的预测动作；
更新模块，控制所述目标动画在下一个动画帧中模拟所述预测动作。
7.如权利要求6所述的装置，在第四获取模块之前，还包括：
训练模块，用于完成对所述动作融合网络和所述姿态预测网络的串行训练。
8.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-5任一所述的基于动画的动作预测生成方法。
9.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5任一所述的基于动画的动作预测生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910550582.3A CN110310350B (zh) | 2019-06-24 | 2019-06-24 | 基于动画的动作预测生成方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910550582.3A CN110310350B (zh) | 2019-06-24 | 2019-06-24 | 基于动画的动作预测生成方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110310350A CN110310350A (zh) | 2019-10-08 |
| CN110310350B true CN110310350B (zh) | 2021-06-11 |
Family
ID=68076434
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910550582.3A Expired - Fee Related CN110310350B (zh) | 2019-06-24 | 2019-06-24 | 基于动画的动作预测生成方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110310350B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112950751B (zh) * | 2019-12-11 | 2024-05-14 | 阿里巴巴集团控股有限公司 | 姿态动作的展示方法及装置、存储介质、系统 |
| CN111223170B (zh) * | 2020-01-07 | 2022-06-10 | 腾讯科技（深圳）有限公司 | 动画生成方法、装置、电子设备和存储介质 |
| CN111260762B (zh) * | 2020-01-19 | 2023-03-28 | 腾讯科技（深圳）有限公司 | 一种动画实现方法、装置、电子设备和存储介质 |
| CN111260764B (zh) * | 2020-02-04 | 2021-06-25 | 腾讯科技（深圳）有限公司 | 一种制作动画的方法、装置及存储介质 |
| CN111383309B (zh) * | 2020-03-06 | 2023-03-17 | 腾讯科技（深圳）有限公司 | 一种骨骼动画驱动方法、装置及存储介质 |
| CN111311714A (zh) * | 2020-03-31 | 2020-06-19 | 北京慧夜科技有限公司 | 一种三维动画的姿态预测方法和系统 |
| CN112560962B (zh) * | 2020-12-17 | 2024-03-22 | 咪咕文化科技有限公司 | 骨骼动画的姿态匹配方法、装置、电子设备及存储介质 |
| CN115617429A (zh) * | 2021-07-14 | 2023-01-17 | 华为技术有限公司 | 一种数据处理方法及相关设备 |
| CN113920231A (zh) * | 2021-10-29 | 2022-01-11 | 上海商汤智能科技有限公司 | 运动动画生成方法、装置、计算机设备和存储介质 |
| CN114253281A (zh) * | 2021-11-09 | 2022-03-29 | 深圳鹏行智能研究有限公司 | 一种四足机器人运动控制方法、相关装置及存储介质 |
| CN115797517B (zh) * | 2023-01-16 | 2023-04-28 | 腾讯科技（深圳）有限公司 | 虚拟模型的数据处理方法、装置、设备和介质 |
| CN115779436B (zh) * | 2023-02-09 | 2023-05-05 | 腾讯科技（深圳）有限公司 | 动画切换方法、装置、设备及计算机可读存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107492113A (zh) * | 2017-06-01 | 2017-12-19 | 南京行者易智能交通科技有限公司 | 一种视频图像中运动目标位置预测模型训练方法、位置预测方法及轨迹预测方法 |
| CN107516321A (zh) * | 2017-07-04 | 2017-12-26 | 深圳大学 | 一种视频多目标跟踪方法及装置 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9786085B2 (en) * | 2013-03-15 | 2017-10-10 | Dreamworks Animation L.L.C. | Method and system for directly manipulating the constrained model of a computer-generated character |
| CN104658022B (zh) * | 2013-11-20 | 2019-02-26 | 中国电信股份有限公司 | 三维动画制作方法和装置 |
| CN106485773B (zh) * | 2016-09-14 | 2019-09-24 | 厦门黑镜科技有限公司 | 一种用于生成动画数据的方法和装置 |
| CN106960459B (zh) * | 2016-12-26 | 2019-07-26 | 北京航空航天大学 | 角色动画中基于扩展位置动力学的蒙皮技术及权重重定位的方法 |
| US10595039B2 (en) * | 2017-03-31 | 2020-03-17 | Nvidia Corporation | System and method for content and motion controlled action video generation |
| CN107067451B (zh) * | 2017-04-07 | 2021-07-13 | 阿里巴巴（中国）有限公司 | 动画中动态骨骼的实现方法和装置 |
| CN107610208B (zh) * | 2017-08-09 | 2020-06-09 | 厦门大学 | 一种颗粒介质环境下动画角色的运动仿真方法 |
| CN107609541B (zh) * | 2017-10-17 | 2020-11-10 | 哈尔滨理工大学 | 一种基于可变形卷积神经网络的人体姿态估计方法 |
| KR101986912B1 (ko) * | 2017-11-20 | 2019-06-07 | 경일대학교산학협력단 | 인공 신경망을 이용한 데이터가 은닉된 영상을 탐지 및 추출하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체 |
| CN114495283A (zh) * | 2018-01-19 | 2022-05-13 | 腾讯科技（深圳）有限公司 | 骨骼运动预测处理方法、装置和肢体运动预测处理方法 |
| CN108961369B (zh) * | 2018-07-11 | 2023-03-17 | 厦门黑镜科技有限公司 | 生成3d动画的方法和装置 |
| CN109376663A (zh) * | 2018-10-29 | 2019-02-22 | 广东工业大学 | 一种人体姿态识别方法及相关装置 |
-
2019
- 2019-06-24 CN CN201910550582.3A patent/CN110310350B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107492113A (zh) * | 2017-06-01 | 2017-12-19 | 南京行者易智能交通科技有限公司 | 一种视频图像中运动目标位置预测模型训练方法、位置预测方法及轨迹预测方法 |
| CN107516321A (zh) * | 2017-07-04 | 2017-12-26 | 深圳大学 | 一种视频多目标跟踪方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110310350A (zh) | 2019-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110310350B (zh) | 基于动画的动作预测生成方法和装置 | |
| Peng et al. | Learning locomotion skills using deeprl: Does the choice of action space matter? | |
| Heess et al. | Learning and transfer of modulated locomotor controllers | |
| Amarjyoti | Deep reinforcement learning for robotic manipulation-the state of the art | |
| Van de Panne et al. | Sensor-actuator networks | |
| Holland et al. | Robots with internal models a route to machine consciousness? | |
| CN111223168B (zh) | 目标对象控制方法、装置、存储介质和计算机设备 | |
| Kidziński et al. | Artificial intelligence for prosthetics: Challenge solutions | |
| Bohez et al. | Imitate and repurpose: Learning reusable robot movement skills from human and animal behaviors | |
| Passalis et al. | Deep reinforcement learning for controlling frontal person close-up shooting | |
| CN113093779B (zh) | 基于深度强化学习的机器人运动控制方法及系统 | |
| CN109657800A (zh) | 基于参数噪声的强化学习模型优化方法及装置 | |
| Kim et al. | Learning and generalization of dynamic movement primitives by hierarchical deep reinforcement learning from demonstration | |
| Hafez et al. | Improving robot dual-system motor learning with intrinsically motivated meta-control and latent-space experience imagination | |
| Hafez et al. | Efficient intrinsically motivated robotic grasping with learning-adaptive imagination in latent space | |
| Llobera et al. | Physics-based character animation and human motor control | |
| Hafez et al. | Behavior self-organization supports task inference for continual robot learning | |
| Tang et al. | Humanmimic: Learning natural locomotion and transitions for humanoid robot via wasserstein adversarial imitation | |
| Arie et al. | Creating novel goal-directed actions at criticality: A neuro-robotic experiment | |
| CN112766317B (zh) | 基于记忆回放的神经网络权重训练方法以及计算机设备 | |
| Morales | Deep Reinforcement Learning | |
| Son et al. | Bio-insect and artificial robot interaction using cooperative reinforcement learning | |
| Nguyen et al. | Deep learning with experience ranking convolutional neural network for robot manipulator | |
| Duan | Meta learning for control | |
| KR102179045B1 (ko) | 3차원 영상에서의 강화 학습 기반 랜드마크 위치 검출 모델 학습 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210611 |