CN101101666A - 一种基于运动捕获数据的虚拟角色运动合成方法 - Google Patents

Abstract

本发明公开了一种基于运动捕获数据的虚拟角色运动合成方法，包括：获得运动数据样本；对约简得到的样本运动数据序列进行基于函数的统计分析，得到特征运动；根据用户的控制或者应用需求合成新的运动数据序列；对合成的运动数据序列进行后处理。本发明所提出的方法具有较好的通用性，适用于游戏、虚拟现实漫游等应用中生成或控制虚拟角色交互式行为，也适用于动画编辑、影视制作中快速、逼真地合成各种虚拟角色动画。

Description

一种基于运动捕获数据的虚拟角色运动合成方法

技术领域

本发明涉及一种虚拟角色运动合成方法，特别地，涉及到一种基于运动捕获数据的角色运动合成方法。

背景技术

近年来，虚拟现实技术的应用出现在越来越多的领域中。从网络游戏到影视制作、从体育训练到安全预演都可以看到虚拟现实技术的身影。在这些应用当中，虚拟角色作为角色在计算机中的表示，是提高其真实感和交互性的关键要素之一。然而，如何对虚拟角色的运动进行建模，进而合成逼真的、满足约束的虚拟角色运动，是具有挑战性的课题。

传统的虚拟角色动画大都是由经验丰富的动画师利用软件工具进行手工编辑生成的。由于角色的自由度较高，这种传统的编辑方法需要消耗大量的人力和时间，而且生成的动画结果依赖于动画师的经验。

近些年来，运动捕获设备的出现为角色动画提供了一种新的合成方法。基于运动捕获的动画技术利用专门的设备捕捉演员的真实动作，然后将这些数据映射到动画角色上。有关运动捕获技术的相关信息可参考中国专利“获取运动捕获数据的方法”，专利申请号[00803619.5]。由于运动捕获设备真实地记录了角色的运动，因此在此基础上生成角色动画具有逼真、自然的优点。并且动画制作所需的工作量、工作难度和工作强度大大降低。即使对于复杂的角色运动，也只需要由表演者表演一次，再经过简单处理即可生成相应的角色动画。然而，该方法运动捕获数据的可重用性低。即其捕获的数据只能在特定的环境中应用，当虚拟环境改变或者用户需求改变时，直接使用运动捕获数据就会出现问题。

针对运动捕获数据重用中遇到的各种问题，研究者们提出了不同的方法。运动融合是最有效地利用运动捕获数据的方法之一。所谓运动融合是将两个或多个指定的运动进行加权平均，从而得到新的运动。文献1(LucasKovar and Michael Gleicher.Automated extraction and parameterization ofmotions in large data sets.ACM Transactions on Graphics，2004，23(3)：559-568)应用了运动融合的方法，其步骤主要包含：1)在对大规模数据库进行自动分析的基础上，得到具有相似运动结构的一系列样本运动后，建立该类运动的参数化模型，进而进行运动配准，即将样本运动对齐；2)用户定义一个函数，用该函数计算给定运动序列的特征，例如对于一个伸手的运动序列，该函数可以定义为某帧中手的位置坐标；3)在样本的权值空间进行高密度采样，即按照很小的间隔不断地调整各个样本的加权系数，计算每组加权系数对应运动序列及其特征；4)在采样后的运动空间中计算得到最接近用户要求特征的加权系数。然而，基于融合的合成方法具有如下缺点：1)该方法无法根据用户要求的特征反求出加权系数，即只有加权系数到特征的映射关系，而没有特征到加权系数之间的逆映射关系。这也是该方法在权值空间进行高密度采样的原因，即便如此其精度也依赖于采样的密度；2)泛化能力不强，即合成新的结果只是对原有样本内插的结果。如果进行外插则得到结果的逼真性会大大降低；3)缺乏高层控制能力。虽然该方法能根据用户的要求合成运动，但却无法实现对运动风格、运动类型的高层控制。

发明内容

本发明的目的是为了提供一种通用、高效的方法来合成逼真的虚拟角色运动，其合成的结果能满足实时应用的需求；且以一种较高层次的控制手段来控制虚拟角色的动作；在合成虚拟角色运动的同时精确满足使用者给定的约束；实现在不同运动风格的同类运动之间进行平滑的过渡。

为实现上述目的，根据本发明的一个方面，提供了一种基于运动捕获数据的虚拟角色运动合成方法，包括下列步骤：

获得角色运动数据；

对所述运动数据序列进行基于函数的统计分析，得到特征运动；

根据上述特征运动合成新的运动数据序列；

对所述合成的运动数据序列进行后处理，使其能够展示运动过程。

根据本发明的另一个方面，角色运动数据需要具有相似的结构或属于同一种运动类型。

根据本发明的再一个方面，对运动数据序列进行基于函数的统计分析包括下列步骤：

根据运动数据类型选择基函数，并构造基函数矩阵；

计算运动数据序列在选定基函数上的系数，依此计算平滑后的运动数据序列；

计算所述平滑后的运动数据序列的特征运动。

本发明方法通过选择不同的基函数不仅可以处理周期性的运动，如走、跑、上下楼梯，也可以处理非周期的运动，如拾取、踢腿等；所采用各个步骤不涉及耗时的计算过程，因此可以满足类似于网络游戏、虚拟漫游等实时应用的需求；将高维的运动数据序列用一种低维的参数来表示，且具有较直观的意义，因此便于使用者在较高层次上控制虚拟角色的运动；能够根据特定时刻的姿态来合成整个运动数据序列，使得虚拟角色能够根据虚拟环境产生新的动作，即产生虚拟角色交互式行为；能够通过对低维控制参数的逐渐改变实现不同类型运动或不同风格运动之间的平滑过渡。

附图说明

以下，结合附图来详细说明本发明的实施例，其中：

图1为本发明方法流程图。

图2为虚拟人从走到跑的连续控制示意图。

图3为虚拟人从上楼梯到下楼梯的连续控制示意图。

具体实施方式

本发明提出了一种利用运动捕获数据基于函数的统计分析合成虚拟角色运动的方法。基于函数的统计分析是针对时间序列的统计分析方法。该方法利用基于函数的统计分析，从给定的时序样本中提取最能刻画其内在变化规律的指标，从而得到一个低维的函数子空间。该空间的每个维度都是一个函数，本发明称之为“特征运动”。特征函数的个数需根据实际的问题而确定，一种确定的准则可以是运动数据序列投影再重构的结果同该序列本身之间的误差。这组“特征运动”是正交的，在基于由“特征运动”张成的子空间中，任何一个运动数据序列都可以通过向“特征运动”投影得到一组坐标系数。这组系数表明该运动数据序列在子空间中的位置，进而反映出该运动的内在属性。反过来，通过设定在这个低维函数子空间中的坐标系数，即各特征运动的加权系数则可以合成出新的运动片段。一方面降维后的子空间有效地描述了样本，因此使得合成的结果逼真自然；另一方面，因其每个维度具有较明确的含义，因此可以实现较高层次的运动控制。

参照附图1，对本发明所述方法做详细说明。本发明的基于运动捕获数据的虚拟角色运动合成方法包括以下步骤：

步骤10、获得角色运动数据。

利用当前市场上销售的各种光学、电磁学的运动捕获设备，例如VICON公司生产的捕获设备VICON8等，采集角色运动数据样本。对于采集的运动数据样本要求具有相似的运动结构或者属于同一种运动类型，例如小步行走、正常行走、上下楼梯、慢跑都属于具有相同结构的运动。假设采集了m个运动数据序列，记为{Mⁱ}_i＝1 ^m；其中每个序列由一组带时间的姿态组成，记为 $M={\left\{(t_j,P_j)\right\}}_{j=1}^k,$ 其中t_j表示了该序列中第j帧数据的时间，P_j表示第i个序列中第j帧姿态，k表示该序列的帧数，对于不同的序列k可能不同；一个姿态由一组刻画关节角度的矢量组成，用P＝{q₁，q₂，...，q_N}表示。其中q_i既可以用四元数的对数映射表示，也可以用欧拉角表示，N为该虚拟角色自由度的个数。

如果每一个运动数据持续的时间不相同，可以将运动数据进行时间缩放将它们缩放到统一的时间区间，并重新采样。通常可以缩放到[01]区间，即第一帧的时间为0，最后一帧的时间为1，中间帧的时间按等比例缩放。下面假设对M_i进行处理，处理后的每一帧数据的时间用下式表示。为了表示方便，省略下标i。

$t_j^{\′}=\frac{t_j-t_1}{t_k-t_1}$

对时间缩放后需要对每个运动数据序列重新采样，其目的是为了使每一个运动数据序列都具有相同的帧数。设重采样后的帧数为S，采样方式为均匀采样，则采样时间s_j(j＝1，2，…S)的计算公式为：

$s_j=\frac{j-1}{S-1}$

重采样的过程即为按照新的采样时间对原运动数据序列插值的过程。插值可以采用线性插值或其它非线性插值方法，记插值后新的姿态为P′＝{P₁，p₂，...，P_N}。经过重采样处理后，所有运动片段{Mⁱ}_i＝1 ^m都具有相同的帧数S，且对应帧上的时间相同，故而省去表示时间的参数，原运动数据序列可以表示为：

为了提高后续函数分析的效率，可以对运动数据所在的姿态空间进行维数约简，将原始虚拟角色自由度的个数N降低为n(n＜N)；如果运动数据所在的姿态空间维数已经满足后续处理的需要，也可以不进行维数约简。可根据实际问题采用不同的维数约简的方法，如主成份分析(PCA)、多维数据缩放(MDS)、局部线性嵌入(LLE)、核主成份分析(Kernel PCA)、ISOMAP等。约简后的维度n可根据具体的情况进行选择，其选择的标准可以是维数约简后再重建得到的数据与约简前数据之间的误差。在维数约简的同时，还需要得到从维数约简后的空间到原始空间的映射函数矩阵U，以用于对合成的新运动进行后处理。该函数映射根据采用的维数约简方法的不同而不同。下面以PCA方法为例叙述维数约简过程。

首先将采集的所有运动片段中的所有姿态按列排列，得到如下矩阵：

$M_{\mathrm{all}}=\left[\begin{array}{c}{M}^1\\ M^2\\ .\\ .\\ .\\ M^m\end{array}\right]$

然后计算M_all的协方差矩阵C_N×N，再计算矩阵C的特征值并按由大到小排列λ₁，λ₂，…λ_N(λ₁＞λ₂＞…＞λ_N)和对应的特征矢量u₁，u₂，…u_N。选择前n个特征矢量组成矩阵U＝[u₁ u₂…u_N]。这里n可以用下面的方法确定，在 $\frac{\underset{1}{\overset{k}{\mathrm{\Σ}}}{\mathrm{\λ}}_i}{\underset{1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\λ}}_i}>0.95$ 条件下：

$n=\underset{k}{\min }\frac{\underset{1}{\overset{k}{\mathrm{\Σ}}}{\mathrm{\λ}}_i}{\underset{1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\λ}}_i}$

最后通过下式计算维数约简后的低维运动数据序列：

${\stackrel{\‾}{M}}^i=M^i\·U$

步骤20、对运动数据序列进行基于函数的统计分析，以主成分分析为例，包括以下步骤：

根据运动数据的类型选择基函数，对于周期性的运动数据序列，选择傅立叶基函数：φ₀(t)＝1，φ_2r-1(t)＝sin rωt，φ_2r(t)＝cos rωt；对于非周期的运动数据序列，可以选择多项式基函数、B样条基函数等，具体形式可以参考文献2([RAMS97]J.O.Ramsay and B.W.Silverman，Functional Data Analysis，New York：Springer.1997)。

设定基函数的个数K并构造基函数矩阵Φ。

然后通过下式计算出每一个运动数据序列在选定基函数上的系数，Cⁱ为K×n矩阵：

$C^i={\left({\mathrm{\Φ}}^T\mathrm{\Φ}\right)}^{-1}{\mathrm{\Φ}}^T{\stackrel{\‾}{M}}^i$

则平滑后的运动数据序列

可以用下面的公式表示：

${\tilde{M}}^i=\mathrm{\Φ}\·C^i$

对于每一个运动数据序列Cⁱ按列进行重排，得到Zⁱ：

根据所有运动数据序列构造矩阵Z：

$Z=\left[\begin{array}{c}{Z}^1\\ Z^2\\ .\\ .\\ .\\ Z^m\end{array}\right]\∈R^{m\×\mathrm{Kn}}$

按照下式构造矩阵W：

$W=\left[\begin{array}{cccc}{\mathrm{\Φ}}^T\mathrm{\Φ}& 0& 0& 0\\ & & & .\\ 0& {\mathrm{\Φ}}^T\mathrm{\Φ}& ...& .\\ & & & .\\ .& .& & .\\ .& .& ...& .\\ .& .& & .\\ 0& 0& ...& {\mathrm{\Φ}}^T\mathrm{\Φ}\end{array}\right]\∈R^{\mathrm{Kn}\×\mathrm{Kn}}$

计算下面矩阵V的特征值并按照由大到小排列α₁，α₂，…，α_m，(α₁＞α₂＞…＞α_m)与其对应的特征矢量ξ₁，ξ₂，…ξ_m∈R^Kn。保留前m′＜m个特征值和特征矢量。m′的大小可以用计算姿态空间约简后维数n的方法确定。

V＝N^-1W^1/2Z^TZW^1/2

计算特征矢量bⁱ＝W^-1/2ξ_i，并将b中的元素按下面的矩阵重排。

$b=\left[\begin{array}{cccc}{b}_1& b_{K+1}& ...& b_{(n-1)K+1}\\ & & & .\\ b_2& b_{K+2}& ...& .\\ & & & .\\ .& .& .& .\\ .& .& .& .\\ .& .& .& .\\ b_K& b_{2K}& ...& b_{\mathrm{Kn}}\end{array}\right]$

按照下式计算 ${\hat{M}}^i(i=\mathrm{1,2},...m^{\′}),$ 记为运动数据序列的特征函数，也称为特征运动。

${\hat{M}}^i=\mathrm{\Φ}\·b^i$

步骤30：合成新的运动数据序列。

首先获得一组参数B＝[β₁ β₂…β_m′，]^T，然后根据控制参数B利用下面的公式合成新的低维运动数据序列：

${\stackrel{\‾}{M}}_{\mathrm{new}}=\underset{i=0}{\overset{m^{\′}}{\mathrm{\Σ}}}{\mathrm{\β}}_i{\hat{m}}^i$

其中参数B的设定可以由用户通过交互式界面直接设定，也可以采用下面的方法得到。该方法的思想是由用户指定想要合成的新的运动数据序列中某一时刻的姿态，然后通过计算得到该参数。具体计算步骤如下：

首先由用户设定想要合成的新的运动数据序列中某时刻j的姿态P。

如果在步骤10中对姿态P进行了维数约简，在此也需要相同的操作。这里仍以PCA方法为例，约简后的姿态用下式表示：

$\stackrel{\‾}{P}=\mathrm{PU}\∈R^{1\×n}$

然后根据下式构造矩阵Δ：

$\mathrm{\Δ}=\left[\begin{array}{c}{\hat{M}}_j^1\\ {\hat{M}}_j^2\\ .\\ .\\ .\\ {\hat{M}}_j^{m^{\′}}\end{array}\right]\∈R^{m^{\′}}\×n$

最后计算下式得到所求参数：

$B=\stackrel{\‾}{P}\·{\mathrm{\Δ}}^{+},$ 其中Δ⁺为矩阵Δ的伪逆。

步骤40：对合成的运动数据序列进行后处理，使其能够展示运动过程。

如果在步骤10中进行了维数约简，需要将得到的新的低维运动数据序列反投影到高维空间，得到高维的运动数据序列。这里反投影的过程与步骤10中的过程相关，不同的维数约简方法，导致不同的反投影计算方法。这里仍以PCA为例，利用下式可以得到最终的合成结果。

$M_{\mathrm{new}}={\stackrel{\‾}{M}}_{\mathrm{new}}{U}^T$

如果在步骤10中进行了时间缩放，在此需要生成运动片段中每一帧的时间。用户设定合成的新的运动片段的频率f，则合成运动片中每一帧的时间t_i(i＝1，2，…S)通过下面的式子计算得到：

$t_i=\frac{i}{f}$

生成根骨骼相对于世界坐标系的平移。在预处理过程中，我们已经丢弃了根骨骼相对于世界坐标系的平移，因此这里需要反求出这一信息。反求根关节的平移信息大致可根据运动片段的类型分为两类：对于和环境发生接触的运动片段，如行走、上下楼梯以及跑步中的支撑阶段，脚尖在某段时间内的位置是固定的，可以根据这些接触约束来反求出根骨骼的平移；对于和环境没有交互的运动类型，如跑步中的腾空阶段，可以根据其离开地面时的速度和重力加速度来近似拟合生成根骨骼的轨迹。图2、图3给出了利用本发明方法合成运动的结果。图2展示了虚拟人从走到跑的连续控制；图3展示了对虚拟人从上楼梯到下楼梯的连续控制。

应该注意到并理解，在不脱离后附的权利要求所要求的本发明的精神和范围的情况下，能够对上述详细描述的本发明做出各种修改和改进。因此，要求保护的技术方案的范围不受所给出的任何特定示范教导的限制。

Claims (9)

1、本发明公开了一种基于运动捕获数据的虚拟角色运动合成方法，包括以下步骤：

获得角色运动数据；

对所述运动数据序列进行基于函数的统计分析，得到特征运动；

根据所述特征运动合成新的运动数据序列；

对所述合成的运动数据序列进行后处理，使其能够展示运动过程。

2、根据权利要求1所述的方法，其特征在于所述角色运动数据具有相似的结构或属于同一种运动类型。

3、根据权利要求1所述的方法，其特征在于所述获得角色运动数据，当每一个运动数据持续的时间不相同时，将运动数据时间缩放到统一的时间区间并把时间缩放后的序列进行重新采样使每一个样本具有相同的帧数。

4、根据权利要求1所述的方法，其特征在于所述获得角色运动数据，包含对运动数据所在的姿态空间进行维数约简。

5、根据权利要求1所述的方法，其特征在于所述对运动数据序列进行基于函数的统计分析包括以下步骤：

根据运动数据类型选择基函数，并构造基函数矩阵；

计算运动数据序列在选定基函数上的系数，依此计算平滑后的运动数据序列；

计算所述平滑后的运动数据序列的特征运动。

6、根据权利要求1所述的方法，其特征在于所述合成新的运动数据序列，包含以下步骤：

根据应用获得一组特征运动加权系数；

根据特征运动和特征运动加权系数，计算合成新的运动数据序列。

7、根据权利要求6所述的方法，其特征在于所述一组特征运动加权系数由用户通过交互式界面直接设定。

8、根据权利要求6所述的方法，其特征在于所述一组特征运动加权系数由用户指定运动数据序列的姿态反计算得到。

9、根据权利要求1所述的方法，其特征在于所述对合成的运动数据序列进行后处理包含生成根骨骼相对于世界坐标系的平移。

Images