CN101655990B - 一种基于非线性流形学习的三维人体运动合成方法 - Google Patents

Abstract

本发明公开了一种基于非线性流形学习的三维人体运动合成方法，以制作真实感的三维人体运动动画，其特征是：首先将一组稀疏三维人体运动样本通过非线性流形学习映射到低维流形上构建运动语义参数空间；然后对低维运动语义参数空间进行分布均匀的密集重采样，并将重采样系数集应用于原始运动空间中分布稀疏的运动样本，得到高维空间中密集且均匀分布的运动样本；然后将新采样得到的高维运动样本重映射得到最终的低维运动语义参数空间；最后用户通过交互在低维语义参数空间中选择合成的运动语义参数，系统将该运动语义参数映射到高维运动空间得到新的运动序列。本发明不仅能够对如特定关节的运动位置、物理运动特征等运动物理参数进行较为精确的控制，还可用于合成具有如运动风格等高层运动语义的新运动数据。

Description

一种基于非线性流形学习的三维人体运动合成方法

技术领域

本发明涉及计算机三维动画领域，尤其涉及一种基于非线性流形学习的三维人体运动合成方法。

背景技术

现有的数据驱动的运动合成技术提供了很多方法，如运动过渡、运动融合、运动图模型等，使得用户可以将多个已有运动数据作为输入，经过一系列算法处理合成得到新的运动序列。但是，如何精确控制运动合成的结果一直是数据驱动运动合成方法所面临的难点。采用非线性流形降维技术能够发掘已有运动数据的最本质运动特征，并可用于指导生成具有新特性的运动数据。但现有很多基于非线性流形学习的运动很成方法都存在对运动合成结果控制不精确的问题，难以满足现实应用的需求。现有的基于非线性流形学习的三维人体运动合成和编辑可以分为以下几类：

人体运动数据重新排列：通过非线性流形学习方法将三维人体运动序列投影到低维流形上，通过用户指定的起始帧和若干关键帧进行重排得到新的运动序列。但这种方式其本质在于对原始运动帧的重新排序，并未实际生成具有新特性的运动数据。

建立逆向映射模型的合成方法：采用非线性流形学习方法得到高维运动数据在低维流形上的分布，基于已有低维流形到高维样本的对应关系通过RBF函数训练得到一个逆向映射的产生式模型，用于从低维样本合成对应的高维运动数据。但是由于原始样本分布的稀疏性及低维流形维度较小，重建得到的三维人体姿态存在失真现象，并且所生成新运动相邻帧之间存在较大跳变。

稀疏运动集的低维空间交互合成方法：将原始运动数据通过非线性流形学习投影到低维流形空间并对其可视化，用户直接在低维流形空间中采取勾画草图、指定关键帧等方式控制原始运动数据在时域和空域上进行插值生成新的运动数据。但该方法的不足之处在于数据样本在低维空间中分布比较松散，合成运动的语义不能做到精确控制。

发明内容

本发明的目的是克服现有技术的不足，提供一种基于非线性流形学习的三维人体运动合成方法。

基于非线性流形学习的三维人体运动合成方法包括如下步骤：

1)将一组经过预处理的长度相同的三维人体运动数据分别展开为一组向量，作为非线性流形学习方法的输入，通过非线性流形学习方法将这一组稀疏三维人体运动样本映射到低维流形上构建运动语义参数空间；

2)对低维运动语义参数空间进行分布均匀的密集重采样，并将重采样系数集应用于原始运动空间中分布稀疏的运动样本，得到高维空间中分布密集且均匀的运动样本；

3)将密集重采样得到的高维运动样本通过非线性流形学习重映射得到最终的低维运动语义参数空间；

4)用户通过交互在低维语义参数空间中选择合成的运动语义参数，系统将该运动语义参数映射到高维运动空间得到新的运动序列。

所述的将一组经过预处理的长度相同的三维人体运动数据分别展开为一组向量，作为非线性流形学习方法的输入，通过非线性流形学习方法将这一组稀疏三维人体运动样本映射到低维流形上构建运动语义参数空间步骤：

1)从每个原始运动样本中提取一段完整的运动周期；

2)通过时间变形方法调整运动之间的“步调”一致并保证运动数据的长度相同，运动数据预处理后，所有运动数据样本在原始数据空间中具有相同的长度和自由度；

3)将一组三维人体运动数据分别展开为一组向量，作为非线性流形学习方法的输入，通过非线性流形学习方法将这一组稀疏三维人体运动样本映射到低维流形上构建运动语义参数空间。

所述的对低维运动语义参数空间进行分布均匀的密集重采样，并将重采样系数集应用于原始运动空间中分布稀疏的运动样本，得到高维空间中密集且均匀分布的运动样本步骤：

1)对于一组经过预处理后的运动集M_set＝{m₁，m₂，...，m_n}，用户指定采样数目N和等待时间t，将M_set通过非线性流形学习方法映射得到维度为d的低维流形，记为p_set＝{p₁，p₂，...，p_n}，d为该组运动集合的本征运动语义的维度；

2)在d维流形上求取样本集合p_set的外包围盒；

3)在外包围盒内部随机产生一点p，在低维流形上找到距p最近的d+1个点p′₁，p′₂，...，p′_d+1，同时随机生成一组权重w₁，w₂，...，w_d+1，0≤w_i≤1， $\underset{i=1}{\overset{d+1}{\mathrm{\Σ}}}{w}_i=1,$ 用于合成低维流形中新的样本点 $p^{,}=\underset{i=1}{\overset{d+1}{\mathrm{\Σ}}}{w}_i{p}_i^{,},$ 并将该组权重系数w₁，w₂，...，w_d+1赋给对应的高维运动样本得到新运动 $m^{,}=\underset{i=1}{\overset{d+1}{\mathrm{\Σ}}}{w}_i{m}_i,$ 其中m_i是与p’_i相对应的高维运动样本；进行上述重采样时，可采用公式(3)判断新样本在低维空间中的分布是否足够均匀，若满足公式1，M_set＝M_set∪m′，p_set＝p_set∪p′，否则丢弃p′和m′；

$D[p^{\′},p^{\′\′}]\≥\frac{\sqrt{\underset{i=1}{\overset{d}{\mathrm{\Σ}}}{(C_{\max }^i-C_{\min }^i)}^2}}{\mathrm{\λ}\sqrt[n]{N}}---1$

其中p′是用于合成低维流形中新的样本点，是p”是集合p′₁，p′₂，...，p′_d+1中距离p’最远的点，λ为用户指定的阈值，用于控制样本采样的密度，0.5≤λ≤3较为适宜，N用户指定采样数目，C_max ⁱ、C_min ⁱ分别为已有样本在维度i上的最大坐标和最小坐标，d为该组运动集合的本征运动语义的维度，D采用欧式距离计算样本点之间的距离；

4)重复步骤3)，直到采样数目达到了N或者采样时间超过t；

5)若采样不够密集，可将新采样后的M_set作为已有样本，重复步骤1)～步骤4)。

所述的将用户在低维运动语义参数空间中交互合成的运动语义参数映射到高维运动空间得到新的运动序列步骤：

1)用户通过鼠标左键在低维流形表示中选择需要合成的运动约束，系统自动重建出对应的高维运动数据，用户通过鼠标右键选取运动语义参数空间中的已有采样点进行实时预览，以确定所需生成的新运动样本的语义特征；

2)给定运动语义参数空间中用户指定的一个新样本首先在低维流形上找到

的k个最近邻样本，并将其按照到

距离的升序排列得到样本集合p₁，p₂，...，p_k，根据如下公式求取得到采用这k个近邻对

进行线性拟合的加权系数集合；

$w_i=\frac{1}{D(\tilde{p},p_i)}-\frac{1}{D(\tilde{p},p_k)},p_i\∈[p_1,p_2,\·\·\·p_k]---2$

其中D(p，p_i)表示两个样本p，p_i在低维空间中的欧氏距离，

为给定运动语义参数空间中用户指定的一个新样本，p_i为

的k个最近邻样本中的第i个样本，p_k为k个最近邻样本距离最远的样本，w_i为线性拟合的加权系数；

3)将w_i规一化后映射到与该组近邻样本相对应的高维运动数据集合m₁，m₂，...m_k，根据如下公式合成得到重建得到的新运动数据；

$\tilde{m}=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{\hat{w}}_i\·m_i,m_i\∈[m_1,m_2,\·\·\·m_k]---3$

其中

是经过规一化处理后的权重系数，m_i为低维空间中k个最近邻样本里的第i个样本对应的高维运动数据，

是重建得到的运动数据。

本发明与现有技术相比具有的有益效果：

1)通过非线性流形学习方法把三维人体运动的运动语义映射到低维空间，用户对合成的运动语义的控制交互在低维空间上进行，使得控制合成的三维人体运动语义更加简单，提高了三维人体动画的制作效率；

2)对稀疏三维人体运动样本进行分布均匀的密集重采样，可以对合成的运动语义进行精确地控制；

3)不仅能够对如特定关节的运动位置、物理运动特征等运动物理参数进行较为精确的控制，还可用于合成具有如运动风格等高层运动语义的新运动数据。

附图说明

下面结合附图和具体实施对本发明作进一步的说明；

图1为右手抓取运动样本的密集采样及构建运动语义参数空间过程示意图；

图2(a)为用户在低维运动语义空间中交互选择重建样本点界面示意图；

图2(b)为对用户选择的样本点重建得到的三维人体运动；

图3(a)为右手抓取运动在低维空间中的语义本征示意图；

图3(b)为沿着V方向的四个右手抓取运动的重建示意图，重建得到的运动右手腕关节最终位置沿着V向量方向，右手腕关节达到的最终位置从下到上分布；

图3(c)为沿着H方向的四个右手抓取运动的重建示意图，重建得到的运动右手腕关节最终位置沿着H向量方向，右手腕关节达到的最终位置从左到右分布；

图4(a)为三种不同风格的走路运动样本在低维流形中的分布示意图；

图4(b)为合成得到的走路运动从左至右猫步风格逐渐减弱示意图；

图4(c)为合成得到的走路运动从左至右摆臂幅度越来越小示意图；

图4(d)为合成得到的走路运动从左至右猫步风格逐渐减弱，摆臂幅度风格逐渐增强示意图。

具体实施方式

基于非线性流形学习的三维人体运动合成方法包括如下步骤：

1)将一组经过预处理的长度相同的三维人体运动数据分别展开为一组向量，作为非线性流形学习方法的输入，通过非线性流形学习方法将这一组稀疏三维人体运动样本映射到低维流形上构建运动语义参数空间；

2)对低维运动语义参数空间进行分布均匀的密集重采样，并将重采样系数集应用于原始运动空间中分布稀疏的运动样本，得到高维空间中分布密集且均匀的运动样本；

3)将密集重采样得到的高维运动样本通过非线性流形学习重映射得到最终的低维运动语义参数空间；

4)用户通过交互在低维语义参数空间中选择合成的运动语义参数，系统将该运动语义参数映射到高维运动空间得到新的运动序列。

所述的将一组经过预处理的长度相同的三维人体运动数据分别展开为一组向量，作为非线性流形学习方法的输入，通过非线性流形学习方法将这一组稀疏三维人体运动样本映射到低维流形上构建运动语义参数空间步骤：

1)从每个原始运动样本中提取一段完整的运动周期；

2)通过时间变形方法调整运动之间的“步调”一致并保证运动数据的长度相同，运动数据预处理后，所有运动数据样本在原始数据空间中具有相同的长度和自由度。

3)将一组三维人体运动数据分别展开为一组向量，作为非线性流形学习方法的输入，通过非线性流形学习方法将这一组稀疏三维人体运动样本映射到低维流形上构建运动语义参数空间。

为了求取嵌入在复杂高维流形上的三维人体运动语义参数空间，可以考虑采用各种流形降维方法，考虑到三维人体运动数据在高维流形上的分布是非线性的且在进行本征语义参数分析时需考虑到运动样本集的全局特性，采用ISOMAP方法将经过预处理的三维人体运动数据映射到低维流形以构建低维运动语义参数空间，具体步骤如下：

(1)将经过预处理的N个长度均为L的三维人体运动数据分别展开为3*K*L维的向量，作为ISOMAP算法的输入数据集X，其中K为所采用人体骨架除去根结点后的关节数，每个关节具有3个旋转数据；

(2)计算局部邻域：选择距离度量函数计算数据集X中每一对数据点x_i，x_j之间的距离，D_X(x_i，x_j)，有两种方式计算数据点x_i的局部邻域N_i，N_i＝{x_j|D_X(i，j)＜e}，或者N_i取数据点x_i的k最近邻。特别注意的是计算D_X(x_i，x_j)时应该为人体骨架上不同层次的关节点设置不同的权重，距离根节点越近的关节点其权重值越大；

(3)计算测地线距离，构建距离矩阵D_M(i，j)：以局部邻域的数据点，构建无向连接图G(V＝X，E)，其中E为<x_i，x_j>，x_j∈N_i，局部邻域数据点之间的连接。以D_G(i，j)即无向图的最短路径来近似表示流形的测地线距离D_M(i，j)。

(4)应用MDS求解数据的d维低维流形嵌入，即得到上述运动样本集的低维运动语义参数空间。

所述的对低维运动语义参数空间进行分布均匀的密集重采样，并将重采样系数集应用于原始运动空间中分布稀疏的运动样本，得到高维空间中密集且均匀分布的运动样本步骤：

1)对于一组经过预处理后的运动集M_set＝{m₁，m₂，...，m_n}，用户指定采样数目N和等待时间t，将M_set通过非线性流形学习方法映射得到维度为d的低维流形，记为p_set＝{p₁，p₂，...，p_n}，d为该组运动集合的本征运动语义的维度；

2)在d维流形上求取样本集合p_set的外包围盒；

3)在外包围盒内部随机产生一点p，在低维流形上找到距p最近的d+1个点p′₁，p′₂，...，p′_d+1，同时随机生成一组权重w₁，w₂，...，w_d+1，0≤w_i≤1， $\underset{i=1}{\overset{d+1}{\mathrm{\&Sigma;}}}{w}_i=1,$ 用于合成低维流形中新的样本点 $p^{,}=\underset{i=1}{\overset{d+1}{\mathrm{\&Sigma;}}}{w}_i{p}_i^{,},$ 并将该组权重系数w₁，w₂，...，w_d+1赋给对应的高维运动样本得到新运动 $m^{,}=\underset{i=1}{\overset{d+1}{\mathrm{\&Sigma;}}}{w}_i{m}_i,$ 其中m_i是与p’_i相对应的高维运动样本；进行上述重采样时，可采用公式(3)判断新样本在低维空间中的分布是否足够均匀，若满足公式1，M_set＝M_set∪m′，p_set＝p_set∪p′，否则丢弃p′和m′；

$D[p^{\&prime;},p^{\&prime;\&prime;}]\&GreaterEqual;\frac{\sqrt{\underset{i=1}{\overset{d}{\mathrm{\&Sigma;}}}{(C_{\max }^i-C_{\min }^i)}^2}}{\mathrm{\&lambda;}\sqrt[n]{N}}---1$

其中p′是用于合成低维流形中新的样本点，是p”是集合p′₁，p′₂，...，p′_d+1中距离p’最远的点，λ为用户指定的阈值，用于控制样本采样的密度，0.5≤λ≤3较为适宜，N用户指定采样数目，C_max ⁱ、C_min ⁱ分别为已有样本在维度i上的最大坐标和最小坐标，d为该组运动集合的本征运动语义的维度，D采用欧式距离计算样本点之间的距离；

4)重复步骤3)，直到采样数目达到了N或者采样时间超过t；

5)若采样不够密集，可将新采样后的M_set作为已有样本，重复步骤1)～步骤4)。图1表示了九个稀疏的右手抓取运动样本的密集采样及构建运动语义参数空间过程。

所述的将用户在低维运动语义参数空间中交互合成的运动语义参数映射到高维运动空间得到新的运动序列步骤：

1)用户通过鼠标左键在低维流形表示中选择需要合成的运动约束，系统自动重建出对应的高维运动数据，用户通过鼠标右键选取运动语义参数空间中的已有采样点进行实时预览，以确定所需生成的新运动样本的语义特征；图2表示了用户在低维空间中通过交互实时重建得到三维人体运动的界面；

2)给定运动语义参数空间中用户指定的一个新样本

首先在低维流形上找到

的k个最近邻样本，并将其按照到

距离的升序排列得到样本集合p₁，p₂，...，p_k，根据如下公式求取得到采用这k个近邻对进行线性拟合的加权系数集合；

$w_i=\frac{1}{D(\tilde{p},p_i)}-\frac{1}{D(\tilde{p},p_k)},p_i\&Element;[p_1,p_2,\&CenterDot;\&CenterDot;\&CenterDot;p_k]---2$

其中D(p，p_i)表示两个样本p，p_i在低维空间中的欧氏距离，

为给定运动语义参数空间中用户指定的一个新样本，p_i为的k个最近邻样本中的第i个样本，p_k为k个最近邻样本距离最远的样本，w_i为线性拟合的加权系数；

3)将w_i规一化后映射到与该组近邻样本相对应的高维运动数据集合m₁，m₂，...m_k，根据如下公式合成得到重建得到的新运动数据；

$\tilde{m}=\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}{\hat{w}}_i\&CenterDot;m_i,m_i\&Element;[m_1,m_2,\&CenterDot;\&CenterDot;\&CenterDot;m_k]---3$

其中

是经过规一化处理后的权重系数，m_i为低维空间中k个最近邻样本里的第i个样本对应的高维运动数据，

是重建得到的运动数据。

图3给出了右手抓取这个运动的重建结果，图3(b)中生成的运动沿着图3(a)中所示的V向量方向，右手腕关节达到的最终位置从下到上分布；而图3(c)中生成的运动沿着H向量方向，抓取运动右手腕关节到达的最终位置从左到右分布。H与V接近于正交，且其分布与原始运动空间中右手腕关节达到最终位置的分布相一致，因此该低维运动语义空间所表达的抓取运动的本征就是右手腕关节的最终位置。说明本发明可以对如特定关节的运动位置、物理运动特征等运动物理参数进行较为精确的控制。

图4中采用三组不同风格的走路运动样本(包括正常走路、大幅度摆臂走路及猫步)构建低维运动语义参数空间。如图4(a)所示，三种不同风格的走路运动分布在低维流形空间的三个角落，这表明低维流行中的样本分布情况能够很好的区分与表达不同运动风格。图4(b)、图4(c)、图4(d)给出了基于该低维运动语义空间合成不同风格走路运动的结果。从合成结果可以看到，用户完全可以通过本文所述方法所构建的低维运动语义参数空间对运动风格进行控制与合成。

Claims (1)

1.一种基于非线性流形学习的三维人体运动合成方法，其特征在于包括如下步骤：

1)将一组经过预处理的长度相同的三维人体运动数据分别展开为一组向量，作为非线性流形学习方法的输入，通过非线性流形学习方法将这一组稀疏三维人体运动样本映射到低维流形上构建运动语义参数空间；

2)对低维运动语义参数空间进行分布均匀的密集重采样，并将重采样系数集应用于原始运动空间中分布稀疏的运动样本，得到高维空间中分布密集且均匀的运动样本；

3)将密集重采样得到的高维运动样本通过非线性流形学习重映射得到最终的低维运动语义参数空间；

4)用户通过交互在低维语义参数空间中选择合成的运动语义参数，将该运动语义参数映射到高维运动空间得到新的运动序列；

所述的将一组经过预处理的长度相同的三维人体运动数据分别展开为一组向量，作为非线性流形学习方法的输入，通过非线性流形学习方法将这一组稀疏三维人体运动样本映射到低维流形上构建运动语义参数空间步骤具体为：

(1)从每个原始运动样本中提取一段完整的运动周期；

(2)通过时间变形方法调整运动之间的步调一致并保证运动数据的长度相同，运动数据预处理后，所有运动数据样本在原始数据空间中具有相同的长度和自由度；

(3)将一组三维人体运动数据分别展开为一组向量，作为非线性流形学习方法的输入，通过非线性流形学习方法将这一组稀疏三维人体运动样本映射到低维流形上构建运动语义参数空间；

所述的将用户在低维运动语义参数空间中交互合成的运动语义参数映射到高维运动空间得到新的运动序列步骤：

(4)用户通过鼠标左键在低维流形表示中选择需要合成的运动约束，自动重建出对应的高维运动数据，用户通过鼠标右键选取运动语义参数空间中的已有采样点进行实时预览，以确定所需生成的新运动样本的语义特征；

(5)给定运动语义参数空间中用户指定的一个新样本 

首先在低维流形上找到 

的k个最近邻样本，并将其按照到 

距离的升序排列得到样本集合p₁，p₂，...，p_k，根据如下公式求取得到采用这k个近邻对 

进行线性拟合的加权系数集合； 

p_i∈[p₁，p₂，...p_k]    2

其中D(p，p_i)表示两个样本p，p_i在低维空间中的欧氏距离， 

为给定运动语义参数空间中用户指定的一个新样本，p_i为 的k个最近邻样本中的第i个样本，p_k为k个最近邻样本距离最远的样本，w_i为线性拟合的加权系数；

(6)将w_i规一化后映射到与该组近邻样本相对应的高维运动数据集合m₁，m₂，...m_k，根据如下公式合成得到重建得到的新运动数据；

m_i∈[m₁，m₂，...m_k]    3

其中 

是经过规一化处理后的权重系数，m_i为低维空间中k个最近邻样本里的第i个样本对应的高维运动数据， 

是重建得到的运动数据；

所述的对低维运动语义参数空间进行分布均匀的密集重采样，并将重采样系数集应用于原始运动空间中分布稀疏的运动样本，得到高维空间中密集且均匀分布的运动样本步骤：

(7)对于一组经过预处理后的运动集M_set＝{m₁，m₂，...，m_n}，用户指定采样数目N和等待时间t，将M_set通过非线性流形学习方法映射得到维度为d的低维流形，记为p_set＝{p₁，p₂，...，p_n}，d为该组运动集合的本征运动语义的维度；

(8)在d维流形上求取样本集合p_set的外包围盒；

(9)在外包围盒内部随机产生一点p，在低维流形上找到距p最近的d+1个点p′₁，p′₂，...，p′_d+1，同时随机生成一组权重w₁，w₂，...，w_d+1， 

用于合成低维流形中新的样本点 

并将该组权重系数w₁，w₂，...，w_d+1赋给对应的高维运动样本得到新运动 

其中m_i是与p’_i相对应的高维运动样本；进行上述重采样时，采用公式3判断新样本在低维空间中的分布是否足够均匀，若满足公式1，M_set＝M_set∪m′，p_set＝p_set∪p′，否则丢弃p′和m′；

其中p′是用于合成低维流形中新的样本点，p”是集合p′₁，p′₂，...，p′_d+1中距离p’最远的点，λ为用户指定的阈值，用于控制样本采样的密度，0.5≤λ≤3较为适宜，N用户指定采样数目， 

分别为已有样本在维度i上的最大坐标和最小坐标，d为该组运动集合的本征运动语义的维度，D采用欧式距离计算样本点之间的距离；

(10)重复步骤(9)，直到采样数目达到了N或者采样时间超过t；

(11)若采样数目达不到N，可将新采样后的M_set作为已有样本，重复步骤(7)～步骤(10)。 

Images