CN109903364B - 一种基于肌肉骨骼模型生成3d人物动画动作风格的物理仿真方法 - Google Patents

Abstract

本发明公开了一种基于肌肉骨骼模型生成3D人物动画动作风格的物理仿真方法，包括以下步骤：1)构建动作风格处理层；2)确定每个肌肉的影响因子的计算参数；3)根据动作风格处理层构建仿真模型；4)使用训练好的模型生成动画。本发明通过设计位于传统肌肉骨骼模型之上的动作风格处理层，使得需要人工参与少，较大程度实现了动作风格生成的自动化，并且能够方便地实现不同动作风格之间的转移。

Description

一种基于肌肉骨骼模型生成3D人物动画动作风格的物理仿真 方法

技术领域

本发明涉及计算机图形学技术，尤其涉及一种基于肌肉骨骼模型生成3D人 物动画动作风格的物理仿真方法。

背景技术

3D动画未来的发展，必将是一个越来越自动化、减少人工参与，提高真实 性的过程。3D动画制作现今仍是一个需要大量手工劳作的工作，由于近年技术 的发展以及用户欣赏水平提升，3D动画越来越强调真实性，这不仅要求人物动 作符合人体运动规律，还要通过人物动作体现出人物的特点以及情绪等，这就 是动作风格所研究的问题，而在动画产业以及游戏产业的爆炸性需求增长的情 况下，我们急需降低动画制作过程中的人力付出，提高制作效率。

现有的方法包括：

1.以海量动作捕捉数据为基础的数据驱动的方法来制作动作风格动画，该 方法能够生成的动作是受输入数据的限制，一旦动作发生的场景有任何变化， 就需要重新寻找数据源。

2.需要人工参与调整的基于物理仿真的方法来制作动作风格动画，该方法 是通过模拟物理环境，训练一个控制器，这个控制器会根据环境状态自动生成 人物从当前状态转移到用户指定状态的动画，该方法要想实现动作风格需要用 户手动去调整，动作风格依赖于用户的水平，需要一定的人工劳动。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于肌肉 骨骼模型生成3D人物动画动作风格的物理仿真方法。

本发明解决其技术问题所采用的技术方案是：一种基于肌肉骨骼模型生成 3D人物动画动作风格的物理仿真方法，包括以下步骤：

1)构建动作风格处理层；所述动作风格处理层为位于传统肌肉骨骼模型之 上的动作风格处理层；

1.1)对肌肉m_i，计算情绪对m_i受刺激信号的影响因子：

其中，em_j表示情绪的强度，k_i的大小表示情绪变化对m_i受电信号刺激敏感 度变化快慢，h_i表示情绪对m_i受刺激信号影响的幅度的大小，

表示的则 是情绪对m_i受刺激信号的影响值大小，称为影响因子；

1.2)将这个影响因子作用于肌肉上：

/>

其中，

是m_i产生生物力的大小，F_max表示m_i能产生力的上限，这个参数 由肌肉骨骼模型优化确定，a表示肌肉骨骼模型控制器产生的对m_i的刺激信号；

2)确定每个肌肉m_i的影响因子中的计算参数

输入动作捕捉数据{motion_j}(0≤j≤N)，N为输入的动作捕捉数据的组数； 将每一组动作捕捉数据对应的情绪的强度称为em_j，这些数据是与训练肌肉骨骼 模型控制器的动作捕捉数据只有情绪不同的参照数据；

2.1)选定初始参数，基础参数包括：h_i、k_i和em_j；(1≤i≤NM,1≤j≤N)； N是输入的动作捕捉数据的组数，NM是肌肉骨骼模型中包含的肌肉数；em_j表示 的是输入的第j个动作捕捉数据的情绪值，em_j初始值通过观测动作捕捉数据来 确定情绪的属于正向积极还是负向消极；当情绪观测为正向积极时，选取大于0 的数值表示当前情绪值，当为负向消极时，选取小于0的值表示当前情绪值；h_i表 示的是第i条肌肉在情绪变化下受刺激信号的影响程度的变化，在0.2～0.8之 间随机选取，k_i表示是第i条肌肉受刺激信号的过程对情绪变化的敏感度，初始 值取1；

2.2)设X＝(x1，…，xp)，X为一组参数值组成的向量，包含所有NM组肌 肉的参数，以及N组动作捕捉数据的情绪值，排列的顺序无关紧要，即x1，…,xp 的数列可代表em1，em2，…，emN，h1，k1，h2，k2，…，hNM，kNM或任何顺 序的排列；x1到xp的数列为上述各参数依次排列形成，设X满足正态分布，我 们将2.1)中设置的各初始值作为X的均值EX＝μ，

各变量的协方差矩阵为

其中，cij代表xi与 xj的协方差，初始值可随意设置，尽量选取足够大的值，好让选取出的数据足 够分散，用户可以根据自己系统采集数据的单位来设置；

分布密度函数为f(X)＝(2π)^-p/2|Σ|^-1/2exp{-1/2(x-μ)′Σ^-1(x-μ)}。 我们在随机选取一组X值，计算f(X)的值，若f(X)>kp则选为候选参数组， 一共选出SN组,SN由用户指定，SN不宜过大或过小，每代20组左右为宜，kp 为用户选定的概率阈值，选出的参数组集合称作S_X；

2.3)对S_X中的每一个X，我们计算出每一条肌肉的影响因子

将影 响因子传入到肌肉骨骼模型中，所有参照动作与训练动作的起始动作一致，根 据影响因子通过训练好的肌肉骨骼模型计算出当前X确定各参数情况下的人物 肢体各部位的位置，加速度，旋转，旋转加速度，我们通过比较计算出的状态 信息与输入的真实动作捕捉数据同一时刻下状态信息的差距，计算误差值E(X)。

2.4)若E(X)中的最小值达到阈值则停止，E(X)的阈值，由两方面确定，一 是数据的比例，即模型与真实人物数据的比例，二是用户的要求，阈值越小精 度越高，训练出的人物动作就越真实，对应计算复杂度越高，这个值用户根据 自己的系统(包括动作捕捉设备采集数据规格)来选择，此处很难给出一个通 用的参考值；否则选出使E(X)最小的一个X，作为新的正态分布中心点，根据 本轮所有的样本X计算协方差矩阵∑，返回到第二步重复执行到指定轮次。这 个次数由使用人指定，理论上轮次越多结果越精确。

3)模型

模型分为三部分：

1控制器

控制器，根据人物的当前状态和目标状态计算出应给每个肌肉施加的刺激 信号Si(signal i)

2风格处理层

根据训练好的参数，以及用户指定的情绪值em，使用

来计算出对第i条肌肉的影响因子/>

再与Si相乘得到肌肉i 的激活程度ai，即/>

3仿真器

由风格处理层将激活程度ai传递给每一条肌肉mi，仿真器根据激活程度计 算所有肌肉产生的生物力，再结合环境中的重力与摩擦力等外部力，一起改变 人物的状态信息，获得新的状态信息，比较判断新的状态信息是否已到达用户 指定的最终状态，如果已达到，则输出所有的中间状态信息与开始结束状态信 息，作为输出，否则将新的状态信息传回第一部分继续计算。

1,3部分由肌肉骨骼模型提供，可参考现有研究实现，不属于本发明的创新 范畴。

4)使用训练好的模型生成动画

当确定好风格处理层的各参数后，就可以，快速生成动画，用户只需要指 定情绪值、开始状态和最终状态即可。也可以给出开始状态、最终状态、初始 情绪、最终情绪、情绪过度时间，生成在动作风格之间转移的动画。

1、生成指定动作风格的动画：

固定情绪值em，计算出影响因子，应用到肌肉骨骼模型中，指定好人物最 终的状态信息(身体各部位位置，速度，各关节旋转角度，旋转角速度)与初 始状态信息，就可以生成对应的动画。

2、生成转移动作风格的动画：

第一步：给定初始情绪em_start和最终情绪em_end，我们根据由用户给定的情 绪过渡时间T进行插值，计算出指定时间t下的情绪值em_t；

第二步：根据步骤一中生成的数值，在时刻t将em_t计算出的影响因子应用 到肌肉骨骼模型中，用户指定好最终状态信息与最初状态信息，肌肉骨骼模型 就会自动生成对应动画。

本发明产生的有益效果是：

1.本发明通过设计位于传统肌肉骨骼模型之上的动作风格处理层，使得需 要人工参与少，较大程度实现了动作风格生成的自动化，并且能够方便地实现 不同动作风格之间的转移。

2、物理控制器生成的动画可以生成与动作捕捉相媲美的动作，但是物理方 法的控制器，一旦生成便无法进行修改，动画风格稍有不同就需要新的数据重 新进行训练，更难以做到动作风格的转移，即从一个风格过渡到另一个风格。 使用本方法，只需要训练一次物理模型，将风格的改变单独分离到风格控制层， 这样只需一次训练便可生成多种多样的情绪风格下的人物动作，也可以实现人 物动作风格从一种情绪自然过渡到另一种情绪，实时地改变生成动画的动作风 格。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的方法流程图；

图2是本发明实施例的动作风格处理层工作原理流程图；

图3是本发明实施例的用户使用流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例， 对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解 释本发明，并不用于限定本发明。

如图1所示，一种基于肌肉骨骼模型生成3D人物动画动作风格的物理仿真 方法，包括以下步骤：

1)构建动作风格处理层；所述动作风格处理层为位于传统肌肉骨骼模型之 上的动作风格处理层；

1.1)对肌肉m_i，计算情绪对m_i受刺激信号的影响因子：

其中，em_j表示情绪的强度，k_i的大小表示情绪变化对m_i受电信号刺激敏感 度变化快慢，h_i表示情绪对m_i受刺激信号影响的幅度的大小，

表示的则 是情绪对m_i受刺激信号的影响值大小，称为影响因子；

1.2)将这个影响因子作用于肌肉上：

其中，

是m_i产生生物力的大小，F_max表示m_i能产生力的上限，这个参数 由肌肉骨骼模型优化确定，a表示肌肉骨骼模型控制器产生的对m_i的刺激信号；

2)确定每个肌肉m_i的影响因子中的计算参数

输入动作捕捉数据{motion_j}(0≤j≤N)，N为输入的动作捕捉数据的组数； 将每一组动作捕捉数据对应的情绪的强度称为em_j，这些数据是与训练肌肉骨骼 模型控制器的动作捕捉数据只有情绪不同的参照数据；

2.1)选定初始参数，基础参数包括：h_i、k_i和em_j；(1≤i≤NM,1≤j≤N)； N是输入的动作捕捉数据的组数，NM是肌肉骨骼模型中包含的肌肉数；em_j表示 的是输入的第j个动作捕捉数据的情绪值，em_j初始值通过观测动作捕捉数据来 确定情绪的属于正向积极还是负向消极；当情绪观测为正向积极时，选取大于0 的数值表示当前情绪值，当为负向消极时，选取小于0的值表示当前情绪值；h_i表 示的是第i条肌肉在情绪变化下受刺激信号的影响程度的变化，在0.2～0.8之 间随机选取，k_i表示是第i条肌肉受刺激信号的过程对情绪变化的敏感度，初始 值取1；

2.2)设X＝(x1，…，xp)，X为一组参数值组成的向量，包含所有NM组肌 肉的参数，以及N组动作捕捉数据的情绪值，排列的顺序无关紧要，即x1，…,xp 的数列可代表em1，em2，…，emN，h1，k1，h2，k2，…，hNM，kNM或任何顺 序的排列；x1到xp的数列为上述各参数依次排列形成，设X满足正态分布，我 们将2.1)中设置的各初始值作为X的均值EX＝μ，

各变量的协方差矩阵为

其中，cij代表xi与xj的协方差，初始值可随意设置，尽量选取足够大的值，好让选取出的数据足 够分散，用户可以根据自己系统采集数据的单位来设置；

分布密度函数为f(X)＝(2π)^-p/2|Σ|^-1/2exp{-1/2(x-μ)′Σ^-1(x-μ)}。 我们在随机选取一组X值，计算f(X)的值，若f(X)>kp则选为候选参数组， 一共选出SN组,SN由用户指定，SN不宜过大或过小，每代20组左右为宜，kp 为用户选定的概率阈值，选出的参数组集合称作S_X；

2.3)对S_X中的每一个X，我们计算出每一条肌肉的影响因子

将影 响因子传入到肌肉骨骼模型中，所有参照动作与训练动作的起始动作一致，根 据影响因子通过训练好的肌肉骨骼模型计算出当前X确定各参数情况下的人物 肢体各部位的位置，加速度，旋转，旋转加速度，我们通过比较计算出的状态 信息与输入的真实动作捕捉数据同一时刻下状态信息的差距，计算误差值E(X)。

2.4)若E(X)中的最小值达到阈值则停止，E(X)的阈值，由两方面确定，一 是数据的比例，即模型与真实人物数据的比例，二是用户的要求，阈值越小精 度越高，训练出的人物动作就越真实，对应计算复杂度越高，这个值用户根据 自己的系统(包括动作捕捉设备采集数据规格)来选择，此处很难给出一个通 用的参考值；否则选出使E(X)最小的一个X，作为新的正态分布中心点，根据 本轮所有的样本X计算协方差矩阵∑，返回到第二步重复执行到指定轮次。这 个次数由使用人指定，理论上轮次越多结果越精确。

3)构建模型

模型分为三部分：

1控制器

控制器，根据人物的当前状态和目标状态计算出应给每个肌肉施加的刺激 信号Si(signal i)

2风格处理层

根据训练好的参数，以及用户指定的情绪值em，使用

来计算出对第i条肌肉的影响因子/>

再与Si相乘得到肌肉i 的激活程度ai，即/>

3仿真器

由风格处理层将激活程度ai传递给每一条肌肉mi，仿真器根据激活程度计 算所有肌肉产生的生物力，再结合环境中的重力与摩擦力等外部力，一起改变 人物的状态信息，比较新的状态信息是否已到达用户指定的最终状态，如果已 达到，则输出所有的中间状态信息与开始结束状态信息，作为输出，否则将新 的状态信息传回第一部分继续计算。

1,3部分由肌肉骨骼模型提供，可参考现有研究实现。

4)使用训练好的模型生成动画

当确定好风格处理层的各参数后，就可以，快速生成动画，用户只需要指 定情绪值、开始状态和最终状态即可。也可以给出开始状态、最终状态、初始 情绪、最终情绪、情绪过度时间，生成在动作风格之间转移的动画。

1、生成指定动作风格的动画：

固定情绪值em，计算出影响因子，应用到肌肉骨骼模型中，指定好人物最 终的状态信息(身体各部位位置，速度，各关节旋转角度，旋转角速度)与初 始状态信息，就可以生成对应的动画。

2、生成转移动作风格的动画：

第一步：给定初始情绪em_start和最终情绪em_end，我们根据由用户给定的情 绪过渡时间T进行插值，计算出指定时间t下的情绪值em_t；

第二步：根据步骤一中生成的数值，在时刻t将em_t计算出的影响因子应用 到肌肉骨骼模型中，用户指定好最终状态信息与最初状态信息，肌肉骨骼模型 就会自动生成对应动画。

具体应用实例

1、动作风格处理层

动作风格处理层，位于肌肉骨骼模型之上：

如图2，流程如下：

1)用户指定动作风格处理层的各参数初始值；

2)以用户定义的初始值为中心，按正态分布采样N组样本数据S；

3)对于S中的每个样本，我们计算出所有肌肉影响因子集合S_factor；

4)对于S中每个样本对应的影响因子集合S_factor，将它与骨骼肌肉模型产 生的刺激信号a对应相乘得到每条肌肉的激活程度，骨骼肌肉模型的刺激信号a 是通过当前状态，与期望状态之间的差异来计算的，通常使用PID控制来计算 要到达目标状态，当前肌肉需要多强的刺激信号；

5)将肌肉激活程度送入骨骼肌肉模型物理仿真器中，它将根据当前的物理 状态，肌肉产生的内部力与重力摩擦力等外部力组合作用起来，改变当前人物 的状态，计算得到下一时刻的状态信息；

6)将每一时刻的状态信息，与输入的动作捕捉数据的同一时刻状态信息进 行误差计算，将所有时刻的误差值累加起来作为总的误差值；

7)比较哪一组样本最后计算得到的误差最小，并比较最小误差是否已经达 到用户要求或者当前是否已经达到用户指定迭代次数，如果达到，训练结束， 该组样本为风格处理层最后的参数，没有则将误差最小的样本作为分布中心点， 重新采样N组数据，并返回第3步。

2、用户使用方法，如图3；

A、固定风格：

1)用户指定情绪指数，也即风格指数，通过风格处理层，计算出影响因子；

2)用户指定初始状态，和目标状态；

3)肌肉骨骼模型控制器，通过当前状态(若为初始时间，状态为初始状态) 和指定的目标状态计算出刺激信号，经过与影响因子相乘，传递到物理仿真器 中；

4)物理仿真器计算下一时刻(时间间隔即为动画帧之间的时间间隔，由用 户指定)人物状态信息，如果已经达到目标状态则停止计算输出所有中间状态 信息，作为生成的动画序列；如果没有达到，则将人物当前状态信息传回控制 器，返回第3)步。

B、风格转移：

1)用户定义初始情绪指数和最终情绪指数，以及情绪过渡时间；

2)每一次计算，根据当前时间t，和用户指定过渡时间，插值产生当前情 绪指数，并计算当前时刻影响因子；

3)用户指定任务的初始状态和目标状态；

4)肌肉骨骼模型控制器，通过当前状态(若为初始时间，状态为初始状态) 和指定的目标状态计算出刺激信号，经过与当前时刻的影响因子相乘，传递到 物理仿真器中；

5)物理仿真器计算下一时刻(时间间隔即为动画帧之间的时间间隔，由用 户指定)人物状态信息，如果已经达到目标状态则停止计算并输出所有中间状 态信息，作为生成的动画；如果没有达到目标，则将人物当前状态信息传回控 制器，返回第4)步。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进 或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (3)

1.一种基于肌肉骨骼模型生成3D人物动画动作风格的物理仿真方法，包括以下步骤：

1)构建动作风格处理层；

所述动作风格处理层用于计算情绪对肌肉m_i受刺激信号的影响因子；

所述动作风格处理层为位于肌肉骨骼模型之上的动作风格处理层；构建动作风格处理层具体如下：

对肌肉m_i，计算情绪对m_i受刺激信号的影响因子：

其中，em_j表示情绪的强度，k_i的大小表示情绪变化对m_i受电信号刺激敏感度变化快慢，h_i表示情绪对m_i受刺激信号影响的幅度的大小，

表示的则是情绪对m_i受刺激信号的影响值大小，称为影响因子；

2)确定每个肌肉m_i的影响因子

的计算参数；

3)根据动作风格处理层构建仿真模型；

模型包括三部分：控制器、风格处理层和仿真器；

控制器，根据人物的当前状态和目标状态计算出应给每个肌肉施加的刺激信号Si；

风格处理层，用于根据训练好的参数，以及用户指定的情绪值em，使用

来计算出对第i条肌肉的影响因子

再与Si相乘得到肌肉i的激活程度ai，即

仿真器，由风格处理层将激活程度ai传递给每一条肌肉mi，仿真器根据激活程度计算所有肌肉产生的生物力，改变人物的状态信息获得新的状态信息，判断新的状态信息是否已到达用户指定的最终目标状态，如果已达到，则输出所有的中间状态信息与开始结束状态信息，否则将新的状态信息传回控制器继续计算；

4)使用模型生成动画

根据用户的需求，使用模型生成动画；

4.1)生成指定动作风格的动画：

根据用户指定的情绪值、开始状态信息和最终状态信息生成指定动作风格的动画，所述状态信息包括：身体各部位位置，速度，各关节旋转角度，旋转角速度；具体如下：

固定情绪值em，计算出影响因子，应用到肌肉骨骼模型中，指定好人物最终的状态信息与初始状态信息，生成对应的动画；

4.2)生成转移动作风格的动画：

用户给定初始情绪em_start和最终情绪em_end，我们根据由用户给定的情绪过渡时间T进行插值，计算出指定时刻t下的情绪值em_t；

将在时刻t下的情绪值em_tem_t计算出的影响因子应用到肌肉骨骼模型中，根据用户指定好最终状态信息与最初状态信息，肌肉骨骼模型生成对应动画。

2.根据权利要求1所述的基于肌肉骨骼模型生成3D人物动画动作风格的物理仿真方法，其特征在于，所述步骤2)中确定每个肌肉m_i的影响因子

的计算参数，具体如下：

设输入动作捕捉数据{motion_j}，0≤j≤N，N为输入的动作捕捉数据的组数；将每一组动作捕捉数据对应的情绪值称为em_j；

2.1)选定初始参数，参数包括：h_i、k_i和em_j；1≤i≤NM,1≤j≤N；N是输入的动作捕捉数据的组数，NM是肌肉骨骼模型中包含的肌肉数；em_j表示的是输入的第j个动作捕捉数据的情绪值，h_i表示的是第i条肌肉在情绪变化下受刺激信号的影响程度的变化；k_i表示是第i条肌肉受刺激信号的过程对情绪变化的敏感度，初始值取1；

2.2)设X＝(x1，…，xp)，X为一组参数值组成的向量，包含所有NM组肌肉的参数，以及N组动作捕捉数据的情绪值，x1到xp的数列为上述各参数依次排列形成，设X满足正态分布，将2.1)中设置的各初始值作为X的均值EX＝μ，

各变量的协方差矩阵为

其中，cij代表xi与xj的协方差；

分布密度函数为f(X)＝(2π)^-p/2|Σ|^-1/2exp{-1/2(x-μ)′Σ^-1(x-μ)}；

随机选取一组X值，计算f(X)的值，若f(X)>kp则选为候选参数组，一共选出SN组,SN由用户指定，kp为用户选定的概率阈值，按照概率分布来采样选出的参数组集合称作S_X；

2.3)对S_X中的每一个X，我们计算出每一条肌肉的影响因子

将影响因子传入到肌肉骨骼模型中，所有参照动作与训练动作的起始动作一致，根据影响因子通过训练好的肌肉骨骼模型计算出当前X确定各参数情况下的人物肢体各部位的位置，加速度，旋转，旋转加速度，我们通过比较计算出的状态信息与输入的真实动作捕捉数据同一时刻下状态信息的差距，计算误差值E(X)；

2.4)若E(X)中的最小值达到设定阈值则停止；或者选出使E(X)最小的一个X，作为新的正态分布中心点，根据本轮所有的样本X计算协方差矩阵∑，返回到第2)步重复执行到指定轮次。

3.根据权利要求1所述的基于肌肉骨骼模型生成3D人物动画动作风格的物理仿真方法，其特征在于，所述步骤3)中仿真器计算生物力采用以下方法：

其中，

是m_i产生生物力的大小，F_max表示m_i能产生力的上限，F_max由肌肉骨骼模型优化确定，Si表示肌肉骨骼模型控制器产生的对m_i的刺激信号。

Images