CN109856991B - 一种基于动能热力分布图的动态虚拟人仿真方法 - Google Patents

Abstract

本发明公开了一种基于动能热力分布图的动态虚拟人仿真方法，其步骤为：1）采集运动捕获数据，结合虚拟人的物理属性，在黎曼几何空间下，构造虚拟人的运动过程的动能模型，并在虚拟人的关节空间下根据动能模型描绘出运动的动能热力分布图；2）根据动能热力分布图对运动过程进行分析，根据图中的颜色变化，对运动过程进行分割，提取关键的控制参数和转换时间；3）基于姿势的虚拟人控制器，对关键的姿势进行实时的追踪；4）根据姿势的动能变化进行补偿力的计算，实现动态地控制虚拟人的实时运动仿真。应用本发明能够实时地、有效地控制虚拟人与虚拟环境进行实时的交互，增强了现有方法对虚拟环境交互的鲁棒性，提升了物理模拟虚拟人运动的真实感。

Description

一种基于动能热力分布图的动态虚拟人仿真方法

技术领域

本发明属于计算机图形学领域，具体地说是一种基于动能热力分布图的动态虚拟人仿真方法，其部分技术包括运动捕获数据分析，虚拟比例微分控制器原理以及虚拟补偿力计算等。

背景技术

虚拟世界中，双足仿真虚拟人的运动一直以来都是计算机图形学领域的一个重要的研究方向，并且在游戏开发与电影制作等计算机图形软件领域有着广泛的应用前景。传统的虚拟人动画仿真是使用运动捕捉设备对人体动画进行采集和重现，它的局限性在于无法与虚拟环境进行实时的交互以及只能对采集的动画进行剪辑和拼接来完成动画的重用。而基于物理的虚拟人仿真则可以应对环境的实时交互，并且产生新的虚拟人动画。目前对于基于物理的虚拟人多使用虚拟的三维机器人作为表示，并用机器人控制技术作为驱动虚拟人运动的基础。

基于姿势的控制技术是基于物理的虚拟人动画生成技术的一种较为流行的方法，其概念基础是使用比例微分控制器驱动关节产生趋于目标角度的运动轨迹。然而在追踪运动轨迹时无法保证精确的追踪轨迹，这导致使用这种方法产生的动画对于环境变化非常敏感，并且运动动画不够生动。使用已有的运动捕获数据来引导控制器对于精准姿势的追踪可以改善基于姿势的动画生成技术的缺点。

然而运动捕获数据只具有空间变换信息，仅仅使用空间变换信息来引导基于物理的虚拟人运动具有局限性。对于虚拟人的物理属性也必须考虑，以达到精确的运动分析。同时，在仿真运动过程中，使用运动状态切换来应对复杂环境时，可以快速地计算虚拟人关节的补偿力，使得虚拟人应对与复杂环境交互时更具有鲁棒性，尤其是行走在高低不平坦的路面的场景中体现得尤其明显。如果能准确的估计出转换时间并且快速计算出转换时虚拟人的关节力矩，可以很好地改善虚拟人在复杂环境下的动画生成质量，则对大众的视觉体验来说将会是巨大的提升。

发明内容

本发明的目的在于使用易获得的运动捕获数据指导基于物理的虚拟人进行运动仿真，提出了一种基于动能分布热力图的虚拟人运动仿真方法，该方法引入动能对运动捕获数据进行分析和控制参数提取，引入动态补偿力对运动控制过程的细节进行完善，获得了更加鲁棒的运动控制器。

实现本发明目的的具体技术方案是：

一种基于动能热力分布图的动态虚拟人仿真方法，该方法包括以下步骤：

步骤1：动能模型与动能热力分布图的构造过程，具体包括：

i)黎曼几何空间中对运动捕获数据进行处理

首先采集运动捕获数据，其次对数据的每一帧进行处理，其次人体关节的运动都是在父关节的子空间下运动的，考虑黎曼几何空间下，计算子关节在点A运动到点B的距离g_AB，其具体的公式为：

其中l表示子关节到关节的距离，即骨骼的长度，arcos：[-1，1]→[0，π]表示反三角函数，A，B则表示A点和B点的三维坐标信息；

ii)运动过程的动能计算

利用在运动捕获数据中每帧的间隔时间，根据黎曼空间下关节的运动距离，计算每个关节i运动的平动速度v_i，其次关节的质量m_i来自与虚拟人的物理定义，则运动的平动动能

的计算通过公式

得到；同时每个关节的转动动能

计算通过公式

得到，其中ω_i表示关节在三个轴转动的角速度

I表示当前关节的转动惯量，通过公式

计算得到，其中N(i)表示包括关节和所有子关节的集合；结合平动动能和转动动能，每个关节的动能模型E_i通过公式

得到；

iii)动能热力分布图的表示

首先根据动能模型计算每个关节在每一帧的动能，其次根据动能描绘动能热力分布图，图的水平坐标表示时间帧数，而垂直坐标表示每个关节的动能；

步骤2：基于动能热力分布图的运动分析，具体包括：

i)运动过程的阶段性分割

首先根据设定的阈值将动能热力分布图进行颜色分割，进而动能热力分布图转化成了离散的运动片段；

ii)运动过程的控制参数提取

首先提取运动片段的边界帧，其次在运动片段中检索动能变化最小的帧，动能变化d_e的计算公式为：

d_e＝|E_j-E_in|+|E_j-E_out|

其中E_j为运动片段中第j帧的动能，E_jn为进入运动片段的第一帧，E_out为退出运动片段的最后一帧；

其次对运动片段进行参数化建模，片段S的表达公式为：

S＝{p_in，p_mid，p_out，t}

其中t为运动片段的时间，p_in，p_mid，p_out分别为进入运动片段的姿势参数，动能变化最小的姿势参数和退出运动片段的姿势参数，姿势参数p的表达公式为：p＝{Q，E}，其中Q为每个关节的目标角度构成的矩阵，E为每个关节的动能构成的矩阵；

步骤3：基于姿势的虚拟人控制器，具体包括：

首先虚拟人的关节是使用虚拟比例微分控制器进行模拟的，比例微分控制器的反馈规则公式为：

θ_t＝θ_d+c_sdd_s+c_svv_s+c_cdd_c+c_cvv_c

其中θ_t和θ_d分别表示在比例微分控制器的目标角度和预计算的目标角度；d_s和d_c分别表示人体矢状面和冠状面上质心和支撑脚的距离，v_s和v_c分别表示人体矢状面和冠状面上质心的速度，c_sd和c_sv分别是矢状面上距离和速度的反馈参数，c_cd和c_cv分别是冠状面上距离和速度的反馈参数；

其次比例微分控制器的力反馈τ的计算公式为：

其中θ为关节的水平角度，

为关节的水平角速度，k_p和k_d分别为比例系数和微分系数；

步骤4：动态补偿力计算，具体包括：

在力反馈τ计算完成后，由于不同运动切换之间的存在差异，在比例微分控制器的力反馈基础上引入虚拟补偿力的计算，实现虚拟人运动转换中保持平衡和姿势的稳定，其中质心的平衡与速度的补偿力F_b计算公式为：

其中ε是仿真的时间步长，

是每个关节的平动动能差，v为虚拟人质心的速度，T为运动片段的时间差；

姿势修复的补偿力τ_p计算公式为：

其中

为每个关节的转动动能差，ω为关节的转动角速度。

本发明的有益效果：

现有的将运动捕获数据应用到基于物理的虚拟人运动的方法对于动能的关注度并不高。本发明在黎曼空间下对运动捕获数据进行动能热力分布图的建立，并在运动控制技术上引入了动能对虚拟人的关节力矩的影响，对虚拟人的运动的稳定性和真实性的细节进行了完善，得到了更加稳定逼真的虚拟人控制框架。

本发明在对运动捕获数据分析中考虑了虚拟人的物理属性和黎曼流形的运动轨迹，产生的动能模型较现在的方法更加严谨，尊于现实，保证了分析过程的物理真实感。同时在运动仿真过程中，直接使用动能模型产生的数据，使得单位时间内的计算量更少，并能够实时地应对复杂环境的交互。

总之，应用本发明可以快速地构建基于物理的虚拟人的分析和控制框架，在控制器的鲁棒性和真实感上都有所提升。

附图说明

图1为本发明构造的动能热力分布图示意图；

图2为本发明实时仿真的虚拟人行走和奔跑过程的示意图；

图3为本发明实时仿真的虚拟人行走和奔跑切换过程的示意图；

图4为本发明实时仿真的虚拟人奔跑在不平坦地面过程的示意图；

图5为本发明实时仿真的虚拟人奔跑在不平坦地面时关节高度随时间变化关系示意图；

图6为本发明实时仿真的虚拟人行走时受外力作用速度随时间变化关系示意图。

具体实施方式

本发明包括以下步骤：

1)基于运动捕获数据的动能模型的构造过程：

由于运动捕获数据的空间信息是在特定的运动捕获系统下输出的，虽然它具有开源性，需要对数据进行预处理，才能得到可处理的空间信息数据，从而在黎曼几何空间计算符合关节实际运动的位置变化信息。结合虚拟人的物理属性，对运动过程进行在动能角度的建模。

2)动能热力分布图的描绘和分析：

利用动能模型，对每一帧的运动数据进行动能计算，并使用热力分布图对数据进行铺开描述，并使用运动分析得到每个运动片段的精细化控制参数。

3)基于姿势的虚拟人控制器的调用：

利用基于姿势的虚拟人控制器，将运动控制参数赋予关节的虚拟比例微分控制器，得到虚拟人运动的基础力反馈。

4)动态的虚拟修复力计算的引入：

利用动能控制参数，实时计算仿真环境中的虚拟人在平衡速度方面和姿势纠正方面的修复力，得到更加稳定和鲁棒的仿真控制器。

人体运动捕获数据的关节位置计算过程具体为：

人体运动捕获数据有着高度定制化的格式，通用的数据格式为BVH数据，BVH格式的运动捕获数据中含有人体分层结构信息，以及人体运动的每一帧的运动空间信息，分层结构信息主要包括每个关节的名称、偏移量

通道；动画信息包括动画的总时间，每一帧的时间t，以及第j帧每个关节的移动量

与旋转量

首先计算第j帧关节在物体坐标系下的位置

具体形式如下：

然后计算第j帧关节在世界坐标系下的旋转矩阵

具体形式如下：

其中

表示关节的父节点在世界坐标系的旋转矩阵，由于人体骨骼关节结构是分层记录关系，所以子关节的计算顺序一定在父节点计算之后。

从而计算第j帧关节在世界坐标系下的位置

具体形式如下：

其中

表示关节的父节点在世界坐标系的位置。

本发明的动能热力分布图构建过程具体为：

通常对运动捕获数据中关节移动距离的计算方式是采用欧式距离进行直接计算。然而在运动的过程中关节点移动的位置与其父关节有着密切的关系，这符合黎曼流形结构。同一关节相邻两帧的世界坐标位置分别为和，本发明在黎曼几何空间中，计算关节运动距离g_AB的公式为：

其中l表示子关节到父关节的距离，即骨骼的长度，arcos：[-1，1]→[0，π]表示反三角函数。而在同一帧内计算某关节的角度α，需要关节点的世界坐标G，关节父节点的坐标F，关节子节点的坐标C，计算关节角度的公式为：

利用在运动捕获数据中每帧的间隔时间t，根据黎曼空间下关节的运动距离，计算每个关节i运动的平动速度

转动速度ω_i表示关节在三个轴转动的角速度

单轴的转动速度

Δα表示两帧的关节角度差，则运动的平动动能

和转动动能

的计算公式如下：

其中I表示当前关节的转动惯量，可通过公式

计算得到，其中N(i)表示包括关节和所有子关节的集合，其次关节的质量m_i来自与虚拟人的物理定义；结合平动动能和转动动能，每个关节的动能模型E_j的计算公式：

然后逐帧计算关节动能，根据运动过程的动能峰值进行动能热力分布图的颜色分配，在动能图中，图的水平坐标表示时间帧数，而垂直坐标表示每个关节的动能。

本发明的控制参数提取过程具体为：

首先根据设定的阈值将动能热力分布图进行颜色分割，阈值的合理取值范围在动能峰值的0.8～1.0倍之间，进而动能热力分布图转化成了离散的运动片段，然后提取运动片段的边界帧，其次在运动片段中检索动能变化最小的帧，动能变化d_e的计算公式为：

d_e＝|E_j-E_in|+|E_j-E_out| (9)

其中E_j为运动片段中第j帧的动能，E_jn为进入运动片段的第一帧，E_out为退出运动片段的最后一帧；

其次对运动片段进行参数化建模，具体过程如下算法1所示，片段S的表达公式为：

S＝{p_in，p_mid，p_out，t} (10)

其中t为运动片段的时间，p_in，p_mid，p_out分别为进入运动片段的姿势参数，动能变化最小的姿势参数和退出运动片段的姿势参数，姿势参数p的表达公式为：p＝{Q，E}，其中Q为每个关节的目标角度构成的矩阵，E为每个关节的动能构成的矩阵，具体过程如下算法1所示。

算法1.运动片段参数化算法

取运动片段的首帧更新p_in

取运动片段的末帧更新p_out

对其他帧i

利用公式(9)计算其动能变化参数

若帧i动能变化小于i-1更新p_mid

将运动片段时间赋予t

基于姿态的虚拟人控制器的基本框架：

控制器的基本框架是使用动作发生器来生成动作轨迹。首先将关节的目标夹角输入基于比例微分控制的控制器，并产生相应的追踪扭转力矩。其中比例微分控制器的反馈规则公式为：

θ_t＝θ_d+c_sdd_s+c_svv_s+c_cdd_c+c_cvv_c (11)其中θ_t和θ_d分别表示在比例微分控制器的目标角度和预计算的目标角度；d_s和d_c分别表示人体矢状面和冠状面上质心和支撑脚的距离，v_s和v_c分别表示人体矢状面和冠状面上质心的速度，c_sd和c_sv分别是矢状面上距离和速度的反馈参数，c_cd和c_cv分别是冠状面上距离和速度的反馈参数；

其次比例微分控制器产生的力反馈τ的计算公式为：

其中θ为关节的水平角度，

为关节的水平角速度，k_p和k_d分别为比例系数和微分系数。至此完成了虚拟人的基础力矩计算的过程。

本发明的动态补偿力计算具体为：

本发明在基础的力矩计算之后，对虚拟人在运动过程转化以及应对复杂环境时，计算补偿力来修正运动的错误表现，首先估计转化的时间T_e，时间的估计公式为：

其中ΔE_e表示两个运动过程的动能差，ΔE_f和ΔE_f分别表示前一个运动过程和后一个运动过程中的动能差，T_f和T_b分别表示两个运动过程的时间。

其次，由于不同运动切换之间的存在差异，在比例微分控制器的力反馈基础上引入虚拟补偿力的计算，实现虚拟人运动转换中保持平衡和姿势的稳定，其中质心的平衡与速度的补偿力F_b计算公式为：

其中ε是仿真的时间步长，

是每个关节的平动动能差，v为虚拟人质心的速度，T为运动片段的时间差；

姿势修复的补偿力τ_p计算公式为：

其中

为每个关节的转动动能差，ω为关节的转动角速度。在本发明中补偿力的计算发生在每个时间步长发生时，与基础力矩计算平行。

本发明的具体实现过程为：

将所有运动片段参数化表示，并为每个运动片段进行运动图的建模，每个运动图的节点含有动能、运动目标角度、时间等参数。设置好时间步长，将所有的时间参数规范化为时间步长的整数倍。赋予虚拟环境重力参数，赋予地面摩擦系数以及虚拟人的骨骼长度、质量和关系属性等。

利用物理引擎解析虚拟人和虚拟环境的物理信息，在每一个时间步长判断是否进行运动片段切换，若进行运动切换则利用公式(13)估计时间过渡时间，并同时计算基础力反馈和补偿力，若无运动切换则直接计算基础力与补偿力。具体算法流程如下算法2所示。

算法2.虚拟人运动仿真算法

虚拟人运动中：

对所有的关节i

利用公式(11)计算目标角度θ_t

利用公式(12)计算基础力矩τ

判断是否进行片段转换

若转换

利用公式(13)计算转换时间T_e

若不转换则取运动节点的时间参数T

对盆骨和躯干关节

利用公式(14)计算补偿力F_b

更新盆骨和躯干关节的水平作用力

对所有关节i

利用公式(15)计算补偿力τ_p

更新惯性方向上的力矩

更新力反馈计算关节运动轨迹

当面对复杂环境时，在每一个时间步长的计算中，运动状态一直在发生改变，所以补偿力在计算时一直对姿势和平衡进行修复。最后，根据得到的运动轨迹信息，物理引擎可以使用基础的实时渲染将虚拟人的运动动画呈现。

实施例

本发明基于动能热力分布图的动态虚拟人仿真方法，效果展示说明如下：

图1展示了使用行走类的运动捕获数据构造的动能热力分布图。该图中的运动捕获数据使用了315帧，由横坐标表示。纵坐标表示具有代表性的关节的动能变化，从上至下分别是左盆骨关节、左腿关节、左肩关节、左肘关节、右盆骨关节、右腿关节、右肩关节、右肘关节。图中的虚线框表示一个被分割出的运动片段，其颜色在分割阈值范围内。

图2展示了基于物理的虚拟人对于行走类和奔跑类运动的呈现过程，a图表示的是行走过程，b图表示的是奔跑过程。仿真的过程都是实时进行渲染的，行走的动画的总帧数约为2000帧，而奔跑的动画总帧数约为1000帧，这是由于奔跑的时间比行走的短。行走的过程中，上半身主要完成身体摆动以及双臂的前后摆动的控制，而下半身则完成了大腿的抬起和放下，脚的提踵，小腿的倾斜以及双腿交换的控制，而在奔跑的过程中，大腿的控制范围较小，脚的提踵频率更快，而上半身的摆动频率加快，双臂的动作姿态会发生更明显的改变。

图3展示了基于物理的虚拟人在行走类动作和奔跑类运动的运动切换过程，a图表示从行走转换到奔跑的过程，b图表示从奔跑转换到行走的过程。在行走转换到奔跑的过程中，身体的摆动频率增大，双臂抬起，并且膝关节的提升幅度发生变化，最后趋向奔跑姿态。而在奔跑转换到行走的过程中，身体的摆动变小，双臂放下，身体前倾，膝关节的提升幅度上升，最后趋向行走姿态。

图4展示了基于物理的虚拟人在奔跑高低不平的路面的运动过程，路面具有一定的高低差，并且面片之间具有坡度变化，虚拟人从底处奔跑至高处，再由高处奔跑至底处，其平衡一直保持完好，并且在上坡和下坡时速度有一定的变化。

为了更具体地反映该场景中存在的高低变化过程，在此记录了场景中各关节随着模拟时间的高度变化情况，如图5所示。从图中可以看出，每个关节的高度变化是平稳并且平滑的，并且总趋势在1000帧开始进行下坡，2000帧开始上坡，脚踝的高度交换体现了虚拟人的步态变化是平稳的，而质心的平滑变化体现了虚拟人整体的运动是保持平衡的。

最后，为了体现本发明的运动框架在应对外力时也具有稳定性，图6体现了基于物理的虚拟人的质心在行走过程中速度的变化，其中箭头表示在水平面上的任意方向对质心施加500N作用力，可以看到速度虽然会有细微变化，但是最后仍然会趋向平稳的速度振荡。而在基于控制理论的虚拟人运动控制下，虚拟人的运动速度应该是保持在一定范围内振荡的。

以上列举的仅是本发明的具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (1)

1.一种基于动能热力分布图的动态虚拟人仿真方法，其特征在于，该方法包括以下步骤：

步骤1：动能模型与动能热力分布图的构造过程，具体包括：

i)黎曼几何空间中对运动捕获数据进行处理

首先采集运动捕获数据，再对数据的每一帧进行处理，其次人体关节的运动都是在父关节的子空间下运动的，考虑黎曼几何空间下，计算子关节在点A运动到点B的距离g_AB，其具体的公式为：

其中l表示子关节到关节的距离，即骨骼的长度，arcos：[-1，1]→[0，π]表示反三角函数，A，B则表示A点和B点的三维坐标信息；

ii)运动过程的动能计算

利用在运动捕获数据中每帧的间隔时间，根据黎曼空间下关节的运动距离，计算每个关节i运动的平动速度v_i，其次关节的质量m_i来自与虚拟人的物理定义，则运动的平动动能

的计算通过公式

得到；同时每个关节的转动动能

计算通过公式

得到，其中ω_i表示关节在三个轴转动的角速度

I表示当前关节的转动惯量，通过公式

计算得到，其中N(i)表示包括关节和所有子关节的集合；结合平动动能和转动动能，每个关节的动能模型E_i通过公式

得到；

iii)动能热力分布图的表示

首先根据动能模型计算每个关节在每一帧的动能，其次根据动能描绘动能热力分布图，图的水平坐标表示时间帧数，而垂直坐标表示每个关节的动能；

步骤2：基于动能热力分布图的运动分析，具体包括：

i)运动过程的阶段性分割

首先根据设定的阈值将动能热力分布图进行颜色分割，进而动能热力分布图转化成了离散的运动片段；

ii)运动过程的控制参数提取

首先提取运动片段的边界帧，其次在运动片段中检索动能变化最小的帧，动能变化d_e的计算公式为：

d_e＝|E_j-E_in|+|E_j-E_out|

其中E_j为运动片段中第j帧的动能，E_in为进入运动片段的第一帧，E_out为退出运动片段的最后一帧；

其次对运动片段进行参数化建模，运动片段S的表达公式为：

s＝{p_in，p_mid，p_out，t}

其中t为运动片段的时间，p_in，p_mid，p_out分别为进入运动片段的姿势参数，动能变化最小的姿势参数和退出运动片段的姿势参数，姿势参数p的表达公式为：

p＝{Q，E}

其中Q为每个关节的目标角度构成的矩阵，E为每个关节的动能构成的矩阵；

步骤3：基于姿势的虚拟人控制器，具体包括：

首先虚拟人的关节是使用比例微分控制器进行模拟，比例微分控制器的反馈规则公式为：

θ_t＝θ_d+c_sdd_s+c_svv_s+c_cdd_c+c_cvv_c

其中θ_t和θ_d分别表示在比例微分控制器的目标角度和预计算的目标角度；d_s和d_c分别表示人体矢状面和冠状面上质心和支撑脚的距离，v_s和v_c分别表示人体矢状面和冠状面上质心的速度，c_sd和c_sv分别是矢状面上距离和速度的反馈参数，c_cd和c_cv分别是冠状面上距离和速度的反馈参数；

其次比例微分控制器的力反馈τ的计算公式为：

其中θ为关节的水平角度，

为关节的水平角速度，k_p和k_d分别为比例系数和微分系数；

步骤4：动态补偿力计算，具体包括：

在力反馈τ计算完成后，由于不同运动切换之间的存在差异，在比例微分控制器的力反馈基础上引入虚拟补偿力的计算，实现虚拟人运动转换中保持平衡和姿势的稳定，其中质心的平衡与速度的补偿力F_b计算公式为：

其中ε是仿真的时间步长，

是每个关节的平动动能差，v为虚拟人质心的速度，T为运动片段的时间差；

姿势修复的补偿力τ_p计算公式为：

其中

为每个关节的转动动能差，ω为关节的转动角速度。

Images