CN111583364A - 一种基于神经网络的群组动画生成方法 - Google Patents
一种基于神经网络的群组动画生成方法 Download PDFInfo
- Publication number
- CN111583364A CN111583364A CN202010379163.0A CN202010379163A CN111583364A CN 111583364 A CN111583364 A CN 111583364A CN 202010379163 A CN202010379163 A CN 202010379163A CN 111583364 A CN111583364 A CN 111583364A
- Authority
- CN
- China
- Prior art keywords
- neural network
- foot
- motion
- ground
- training data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明提供一种基于神经网络的群组动画生成方法，包括以下步骤：S1、动画数据采集：使用动作捕捉设备收集角色的动作信息；S2、训练数据生成：将采集到的动作信息生成训练数据；S3、神经网络构建：构建相位函数神经网络，对不同的相位，神经网络的参数随之变化；S4、神经网络训练：通过训练数据对神经网络进行训练；S5、神经网络推理：通过神经网络的向前计算，得到的输出经过逆运动学微调，即可得到生成的群组动画；解决了群组动画中，不同角色根据不同地形自适应的生成动画的问题。并且提高了制作效率，节约了制作成本。
Description
技术领域
本发明属于群组动画技术领域，具体涉及一种基于神经网络的群组动画生成方法。
背景技术
在娱乐产业中，群组的模拟是非常重要和有用的。它被广泛用于电视，电影和游戏中的虚拟人群和动物群体的模拟。在模拟和观察大规模群组的运动规律时，其中很重要的一个部分就是记录任一个体在移动过程中的轨迹。一般的，我们既从全局的角度关注群组整体的运动规律，同时也会局部跟踪每个个体的行进特征。在群组动画的研究领域，正是由于群组是由一定数量的个体有序组成的，如何快速、直观的通过用户操作，模拟符合物理规律的个体运动，进而合成需要的整体运动是我们研究的关键。
作为一个运动整体，在用户指定了模拟开始的起点和目标位置以后，其从起点到终点之间的运动轨迹可以通过三维的曲线P表达，在任一时刻t所处的空间位置就是P(t)。目前，群组动画的制作方法主要分为两种。一是人工制作，此方法通常需要制作者逐个构建动画角色。其缺点在于工作量大，消耗时间长；二是动画生成技术，目前这类方法虽然可以生成动画，不过由于其不能根据不同地形生成不同的动画，因此其在使用过程中可用度不高。
发明内容
本发明的目的是提供一种基于神经网络的群组动画生成方法，以解决在群组动画制作中，不同角色需要制作的工作量大、时间长的问题，同时提高制作效率，节约制作成本。
本发明提供了如下的技术方案：
一种基于神经网络的群组动画生成方法，包括以下步骤：S1、动画数据采集：使用动作捕捉设备收集角色的动作信息；S2、训练数据生成：将采集到的动作信息生成训练数据；S3、神经网络构建：构建相位函数神经网络，对不同的相位，神经网络的参数随之变化；S4、神经网络训练：通过训练数据对神经网络进行训练；S5、神经网络推理：通过神经网络的向前计算，得到的输出经过逆运动学微调，即可得到生成的群组动画。
优选的，所述S1中，所述动作信息包括站立、走路、跑步和跳跃的脚部变量。
优选的，所述S1中，所述运动信息包括每个动作需要覆盖的所有朝向的运动，同时包括不同动作之间切换以及在不同地形的运动。
优选的，所述S1中，所述动作捕捉设备收集角色的动作信息的时长为1-2h。
优选的，所述S2中，所述将采集到的动作信息生成训练数据，包括以下步骤：S11、标注脚部运动的相位：通过判断脚踝和脚趾的运动速度低于阈值来判定脚部是否接触地面，若是，则基于脚部接触地面的时间点，左脚接触地面相位记为π,右脚接触地面相位记为2π，然后通过线性插值补全其他帧的相位；S12、标注脚部动作的风格：采用每个六维向量对应标注脚部动作每一帧的动作风格，首先通过人工标注出开始帧并用one-hot的六维向量进行标注，即对应动作的位置为1，其他位置为0；然后通过线性插值补全其他帧的六维向量；S13、脚部动作的地形适应：首先预设至少一个地形图，把地形分割成3m*3m的单元，将脚部动作的六维向量通过暴力搜索的方式从地形图上找到最适合的10个单元，然后通过rbf网格编辑微调上述地形图的单元。
优选的，所述暴力搜索方式的最小化目标函数为：
Efit＝Edown+Eup+Eover
其中i为总帧数，J为脚踝与脚趾的动作信息，其中包含多个关键点；
为第i帧第j个关键点的高度，
为第i帧的第j个关键点是否接触地面，
为第i帧第j个关键点在地面投影点的高度信息，
为角色第i帧的跳跃状态即风格向量中对应风格的值；Edown是为了确保当脚落下时地面高度匹配脚的高度，Eup是为了确保当脚抬起时脚是高于地面的，Eover只有当角色是有跳跃动作时才纳入计算，为了确保跳起来时的高度高于L值，L值预设为30cm。
优选的，所述S3中，所述神经网络包括：
神经网络的输入和输出：首先对于每一帧此神经网络需要一个相位p来计算网络的权重，权重计算后，神经网络的输入包括用户控制的参数、前一帧动作关节的位置、速度以及运动轨迹上环境交互的信息；神经网络的输出包括预测帧的位置、速度、旋转信息、根节点的变换信息、下一帧的运动轨迹、相位的变化量以及脚步接触地面与否；
神经网络的结构：设有三层神经网络的简单结构，每一层神经网络的隐藏层都使用了512个隐藏单元，激活函数使用了ELU；
神经网络的相位函数：使用了三阶Catmull-Rom曲线作为其相位函数。
优选的，所述S4中，所述通过训练数据对神经网络进行训练，包括以下步骤：S21、对训练数据做正规化处理，即减去其均值并除以其方差；S22、对于和运动关节点相关的参数加上0.1的权重来降低其重要性，以此增加运动轨迹的影响；S23、整个训练过程是一个最优化的过程，其中代价函数为mse加上正则项，正则项系数设置为0.01。
优选的，所述最优化的过程采用随机梯度下降的变种方法Adam优化器作，并且加入了dropout层来加强模型的鲁棒性，其中dropout概率为0.3。
优选的，所述神经网络推理的推理阶段封装为maya插件，在运行时用户通过maya插件输入角色模型、运动轨迹和动作风格。
本发明的有益效果是：
本发明一种基于神经网络的群组动画生成方法，首先是相比于人工制作方法，通过神经网络自动生成动画，大大降低了制作的工作量，只需要在最终生成的动画中微调即可。其次，相比于其他的生成技术，结合了地形信息，把地理位置当作输入的一部分，最后生成符合地形的动画。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明结构示意图。
具体实施方式
如图1所示，一种基于神经网络的群组动画生成方法，包括以下步骤：
S1、动画数据采集：使用动作捕捉设备收集角色的动作信息；
动作信息包括站立、走路、跑步和跳跃的脚部变量，运动信息包括每个动作需要覆盖的所有朝向的运动，同时包括不同动作之间切换以及在不同地形的运动，动作捕捉设备收集角色的动作信息的时长为1-2h。
S2、训练数据生成：将采集到的动作信息生成训练数据；
将采集到的动作信息生成训练数据，包括以下步骤：
S11、标注脚部运动的相位：通过判断脚踝和脚趾的运动速度低于阈值来判定脚部是否接触地面，若是，则基于脚部接触地面的时间点，左脚接触地面相位记为π,右脚接触地面相位记为2π，然后通过线性插值补全其他帧的相位；
S12、标注脚部动作的风格：采用每个六维向量对应标注脚部动作每一帧的动作风格，首先通过人工标注出开始帧并用one-hot的六维向量进行标注，即对应动作的位置为1，其他位置为0；然后通过线性插值补全其他帧的六维向量；
S13、脚部动作的地形适应：首先预设至少一个地形图，把地形分割成3m*3m的单元，将脚部动作的六维向量通过暴力搜索的方式从地形图上找到最适合的10个单元，然后通过rbf网格编辑微调上述地形图的单元，暴力搜索方式的最小化目标函数为：
Efit＝Edown+Eup+Eover
其中i为总帧数，J为脚踝与脚趾的动作信息，其中包含多个关键点；
为第i帧第j个关键点的高度，
为第i帧的第j个关键点是否接触地面，
为第i帧第j个关键点在地面投影点的高度信息，
为角色第i帧的跳跃状态即风格向量中对应风格的值；Edown是为了确保当脚落下时地面高度匹配脚的高度，Eup是为了确保当脚抬起时脚是高于地面的，Eover只有当角色是有跳跃动作时才纳入计算，为了确保跳起来时的高度高于L值，L值预设为30cm。
S3、神经网络构建：构建相位函数神经网络，对不同的相位，神经网络的参数随之变化；神经网络包括：
神经网络的输入和输出：首先对于每一帧此神经网络需要一个相位p来计算网络的权重，权重计算后，神经网络的输入包括用户控制的参数、前一帧动作关节的位置、速度以及运动轨迹上环境交互的信息；神经网络的输出包括预测帧的位置、速度、旋转信息、根节点的变换信息、下一帧的运动轨迹、相位的变化量以及脚步接触地面与否；
神经网络的结构：设有三层神经网络的简单结构，每一层神经网络的隐藏层都使用了512个隐藏单元，激活函数使用了ELU；
神经网络的相位函数：使用了三阶Catmull-Rom曲线作为其相位函数。
S4、神经网络训练：通过训练数据对神经网络进行训练；通过训练数据对神经网络进行训练，包括以下步骤：S21、对训练数据做正规化处理，即减去其均值并除以其方差；S22、对于和运动关节点相关的参数加上0.1的权重来降低其重要性，以此增加运动轨迹的影响；S23、整个训练过程是一个最优化的过程，其中代价函数为mse加上正则项，正则项系数设置为0.01，最优化的过程采用随机梯度下降的变种方法Adam优化器作，并且加入了dropout层来加强模型的鲁棒性，其中dropout概率为0.3。
S5、神经网络推理：通过神经网络的向前计算，得到的输出经过逆运动学微调，即可得到生成的群组动画，神经网络推理的推理阶段封装为maya插件，在运行时用户通过maya插件输入角色模型、运动轨迹和动作风格。
文中：
one-hot：one-hot编码为将类别向量转化为机器学习算法易于利用的一种形式的过程。其表现形式为对应类别的维度为1，其他维度为0。
ELU：一种激活函数，其公式为ELU(x)＝max(x,0)+exp(min(x,0))-1。
MSE：Mean Square Error即均方误差。
Adam：一种最优化算法。本质上是带有动量项的RMSprop，它利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率
Dropout：一种增加网络鲁棒性与对抗过拟合的方法。主要做法为在训练的不同批次中随机的忽略隐层中的部分节点
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于神经网络的群组动画生成方法，其特征在于，包括以下步骤：
S1、动画数据采集：使用动作捕捉设备收集角色的动作信息；
S2、训练数据生成：将采集到的动作信息生成训练数据；
S21、标注脚部运动的相位：通过判断脚踝和脚趾的运动速度低于阈值来判定脚部是否接触地面，若是，则基于脚部接触地面的时间点，左脚接触地面相位记为π,右脚接触地面相位记为2π，然后通过线性插值补全其他帧的相位；
S22、标注脚部动作的风格：采用每个六维向量对应标注脚部动作每一帧的动作风格，首先通过人工标注出开始帧并用one-hot的六维向量进行标注，即对应动作的位置为1，其他位置为0；然后通过线性插值补全其他帧的六维向量；
S23、脚部动作的地形适应：首先预设至少一个地形图，把地形分割成3m*3m的单元，将脚部动作的六维向量通过暴力搜索的方式从地形图上找到最适合的10个单元，然后通过rbf网格编辑微调上述地形图的单元；
S3、神经网络构建：构建相位函数神经网络，对不同的相位，神经网络的参数随之变化；
S4、神经网络训练：通过训练数据对神经网络进行训练；
S5、神经网络推理：通过神经网络的向前计算，得到的输出经过逆运动学微调，即可得到生成的群组动画。
2.根据权利要求1所述的一种基于神经网络的群组动画生成方法，其特征在于，所述S1中，所述动作信息包括站立、走路、跑步和跳跃的脚部变量。
3.根据权利要求1所述的一种基于神经网络的群组动画生成方法，其特征在于，所述S1中，所述运动信息包括每个动作需要覆盖的所有朝向的运动，同时包括不同动作之间切换以及在不同地形的运动。
4.根据权利要求1所述的一种基于神经网络的群组动画生成方法，其特征在于，所述S1中，所述动作捕捉设备收集角色的动作信息的时长为1-2h。
5.根据权利要求1所述的一种基于神经网络的群组动画生成方法，其特征在于，所述暴力搜索方式的最小化目标函数为：
Efit＝Edown+Eup+Eover
其中i为总帧数，J为脚踝与脚趾的动作信息，其中包含多个关键点；
为第i帧第j个关键点的高度，
为第i帧的第j个关键点是否接触地面，
为第i帧第j个关键点在地面投影点的高度信息，
为角色第i帧的跳跃状态即风格向量中对应风格的值；Edown是为了确保当脚落下时地面高度匹配脚的高度，Eup是为了确保当脚抬起时脚是高于地面的，Eover只有当角色是有跳跃动作时才纳入计算，为了确保跳起来时的高度高于L值，L值预设为30cm。
6.根据权利要求1所述的一种基于神经网络的群组动画生成方法，其特征在于，所述S3中，所述神经网络包括：
神经网络的输入和输出：首先对于每一帧此神经网络需要一个相位p来计算网络的权重，权重计算后，神经网络的输入包括用户控制的参数、前一帧动作关节的位置、速度以及运动轨迹上环境交互的信息；神经网络的输出包括预测帧的位置、速度、旋转信息、根节点的变换信息、下一帧的运动轨迹、相位的变化量以及脚步接触地面与否；
神经网络的结构：设有三层神经网络的简单结构，每一层神经网络的隐藏层都使用了512个隐藏单元，激活函数使用了ELU；
神经网络的相位函数：使用了三阶Catmull-Rom曲线作为其相位函数。
7.根据权利要求1所述的一种基于神经网络的群组动画生成方法，其特征在于，所述S4中，所述通过训练数据对神经网络进行训练，包括以下步骤：
S21、对训练数据做正规化处理，即减去其均值并除以其方差；
S22、对于和运动关节点相关的参数加上0.1的权重来降低其重要性，以此增加运动轨迹的影响；
S23、整个训练过程是一个最优化的过程，其中代价函数为mse加上正则项，正则项系数设置为0.01。
8.根据权利要求7所述的一种基于神经网络的群组动画生成方法，其特征在于，所述最优化的过程采用随机梯度下降的变种方法Adam优化器作，并且加入了dropout层来加强模型的鲁棒性，其中dropout概率为0.3。
9.根据权利要求1所述的一种基于神经网络的群组动画生成方法，其特征在于，所述神经网络推理的推理阶段封装为maya插件，在运行时用户通过maya插件输入角色模型、运动轨迹和动作风格。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010379163.0A CN111583364A (zh) | 2020-05-07 | 2020-05-07 | 一种基于神经网络的群组动画生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010379163.0A CN111583364A (zh) | 2020-05-07 | 2020-05-07 | 一种基于神经网络的群组动画生成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111583364A true CN111583364A (zh) | 2020-08-25 |
Family
ID=72124742
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010379163.0A Pending CN111583364A (zh) | 2020-05-07 | 2020-05-07 | 一种基于神经网络的群组动画生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111583364A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113345061A (zh) * | 2021-08-04 | 2021-09-03 | 成都市谛视科技有限公司 | 动作补全模型的训练方法、装置、补全方法、设备和介质 |
| CN116570921A (zh) * | 2023-07-13 | 2023-08-11 | 腾讯科技（深圳）有限公司 | 虚拟对象的姿态控制方法、装置、计算机设备、存储介质 |
| WO2024012007A1 (zh) * | 2022-07-15 | 2024-01-18 | 腾讯科技（深圳）有限公司 | 一种动画数据生成方法、装置及相关产品 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108182719A (zh) * | 2017-12-28 | 2018-06-19 | 北京聚力维度科技有限公司 | 人工智能自适应障碍地形的行进动画生成方法和装置 |
| CN108495129A (zh) * | 2018-03-22 | 2018-09-04 | 北京航空航天大学 | 基于深度学习方法的块分割编码复杂度优化方法及装置 |
| US20190122411A1 (en) * | 2016-06-23 | 2019-04-25 | LoomAi, Inc. | Systems and Methods for Generating Computer Ready Animation Models of a Human Head from Captured Data Images |
| CN110197235A (zh) * | 2019-06-28 | 2019-09-03 | 浙江大学城市学院 | 一种基于独特性注意力机制的人体活动识别方法 |
| CN110930483A (zh) * | 2019-11-20 | 2020-03-27 | 腾讯科技（深圳）有限公司 | 一种角色控制的方法、模型训练的方法以及相关装置 |
-
2020
- 2020-05-07 CN CN202010379163.0A patent/CN111583364A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190122411A1 (en) * | 2016-06-23 | 2019-04-25 | LoomAi, Inc. | Systems and Methods for Generating Computer Ready Animation Models of a Human Head from Captured Data Images |
| CN108182719A (zh) * | 2017-12-28 | 2018-06-19 | 北京聚力维度科技有限公司 | 人工智能自适应障碍地形的行进动画生成方法和装置 |
| CN108495129A (zh) * | 2018-03-22 | 2018-09-04 | 北京航空航天大学 | 基于深度学习方法的块分割编码复杂度优化方法及装置 |
| CN110197235A (zh) * | 2019-06-28 | 2019-09-03 | 浙江大学城市学院 | 一种基于独特性注意力机制的人体活动识别方法 |
| CN110930483A (zh) * | 2019-11-20 | 2020-03-27 | 腾讯科技（深圳）有限公司 | 一种角色控制的方法、模型训练的方法以及相关装置 |
Non-Patent Citations (1)
| Title |
|---|
| 吴新月: "基于深度学习的智能体角色动画自动生成技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113345061A (zh) * | 2021-08-04 | 2021-09-03 | 成都市谛视科技有限公司 | 动作补全模型的训练方法、装置、补全方法、设备和介质 |
| WO2024012007A1 (zh) * | 2022-07-15 | 2024-01-18 | 腾讯科技（深圳）有限公司 | 一种动画数据生成方法、装置及相关产品 |
| CN116570921A (zh) * | 2023-07-13 | 2023-08-11 | 腾讯科技（深圳）有限公司 | 虚拟对象的姿态控制方法、装置、计算机设备、存储介质 |
| CN116570921B (zh) * | 2023-07-13 | 2023-09-22 | 腾讯科技（深圳）有限公司 | 虚拟对象的姿态控制方法、装置、计算机设备、存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111583364A (zh) | 一种基于神经网络的群组动画生成方法 | |
| Xie et al. | Feedback control for cassie with deep reinforcement learning | |
| Lee et al. | Precomputing avatar behavior from human motion data | |
| Kwon et al. | Control Systems for Human Running using an Inverted Pendulum Model and a Reference Motion Capture Sequence. | |
| Multon et al. | Computer animation of human walking: a survey | |
| CN111597976A (zh) | 一种基于rgbd相机的多人三维姿态估计方法 | |
| JP2022518970A (ja) | 異種のターゲットアニメーションデータを使用してキャラクタをトレーニングする強化学習 | |
| CN107578461B (zh) | 一种基于子空间筛选的三维虚拟人体物理运动生成方法 | |
| CN111899320B (zh) | 数据处理的方法、动捕去噪模型的训练方法及装置 | |
| WO2009014273A1 (en) | Method and system for simulating character | |
| Wang et al. | Reinforced imitative graph representation learning for mobile user profiling: An adversarial training perspective | |
| Saeedvand et al. | Hierarchical deep reinforcement learning to drag heavy objects by adult-sized humanoid robot | |
| Huang et al. | Reward-adaptive reinforcement learning: Dynamic policy gradient optimization for bipedal locomotion | |
| Liu et al. | Ensemble bootstrapped deep deterministic policy gradient for vision-based robotic grasping | |
| Xie et al. | Hierarchical planning and control for box loco-manipulation | |
| Glardon et al. | Robust on-line adaptive footplant detection and enforcement for locomotion | |
| KR101014852B1 (ko) | 인공지능 기반의 캐릭터 동작생성 장치, 방법 및 그 기록 매체 | |
| Dau et al. | Proposal of augmented linear inverted pendulum model for bipedal gait planning | |
| Liu et al. | Workspace trajectory generation method for humanoid adaptive walking with dynamic motion primitives | |
| CN116031957A (zh) | 一种大规模风电场电压与频率恢复控制方法 | |
| CN103116901A (zh) | 基于运动特征的人体运动插值计算方法 | |
| Zhu et al. | An optimization method for the inverted pendulum problem based on deep reinforcement learning | |
| CN115810069A (zh) | 建立复杂运动控制器的方法 | |
| Wawrzyński | Autonomous reinforcement learning with experience replay for humanoid gait optimization | |
| Ming et al. | Distributed Human Pose Estimation Based on BlazePose |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200825 |