CN101311966A - 一种基于运行传播和Isomap分析的三维人脸动画编辑与合成方法 - Google Patents

Abstract

本发明公开了一种基于运动传播和Isomap分析的三维人脸动画编辑与合成的方法。它首先让用户在三维人脸模型上选定控制点，并在二维平面上指定表情动作的约束条件；系统根据人脸动画数据训练一个先验概率模型，将较少的用户约束传播到人脸网格的其他部分，从而生成完整生动的人脸表情；然后通过Isomap学习算法对三维人脸动画知识进行建模，结合用户指定的关键帧，拟合高维曲面上的平滑测地线，以自动合成新的人脸动画序列。本发明可以使人脸表情的编辑只需要在二维投影空间上进行，使得人脸表情的编辑更加简单，通过先验概率模型的约束可以得到符合人体解剖学原理的三维人脸表情，结合用户指定的关键帧自动合成新的人脸动画序列，简化人脸表情动画的制作。

Description

一种基于运动传播和Isomap分析的三维人脸动画编辑与合成方法

技术领域

本发明涉及计算机三维动画技术领域，尤其涉及一种基于运动传播和Isomap分析的三维人脸动画编辑与合成方法。

背景技术

三维人脸动画技术最早的工作开始于1972年。其后的学者做了很多工作，以期能够生成逼真生动的三维人脸动画。但由于人脸的解剖学结构非常复杂，细微的非刚性运动难以用数学建模，同时，人们对人脸外观的敏感性，使得这一课题非常困难。目前越来越多采集的人脸动画数据开始开放，三维人脸动画数据重用的工作取得了一些进展，基本上可以分为如下几类：

三维人脸形状的重用：通过三维扫描仪采集人脸三维形状数据库，对采集的数据进行去噪、平滑和修补后，建立网格之间的对应关系，新角色的三维人脸可以表示为数据库中的三维人脸形状的线性组合。

表情重定向：将已有的人脸表情运动应用到新的角色上，运动位移针对新角色的局部几何特征进行旋转、缩放等调整，表情运动在新的人脸模型上得到真实再现。

表情动画编辑：给定一些约束条件，在已有的三维人脸动画库中合成新的动画序列。表情动画的编辑算法可以使已有的动画数据自动适应剧本的要求。

在动画领域，一种比较常用的方法是以插值方式生成中间帧(In-BetweenFrames)，但这种方法生成的动画比较生硬。

发明内容

本发明的目的是克服现有技术的不足，提供一种基于运动传播和Isomap分析的三维人脸动画编辑与合成方法。此方法可以直观的对人脸动画的生成进行交互式控制，结合先验概率模型对人脸表情的约束，生成较为逼真的表情，同时通过对人脸表情的知识学习，有效地重用人脸动画数据，指定动画的关键帧，得到逼真的人脸表情动画。

为实现上述发明目的，本发明采用下述的技术方案：

基于运动传播和Isomap分析的三维人脸动画编辑与合成方法包括如下步骤：

1)用户通过鼠标在二维屏幕的投影空间进行交互，选择二维空间上人脸模型的投影上的控制点用于约束，将用户指定的约束条件由二维映射到三维空间，从而在三维人脸模型上选定控制点；

2)在建立用户约束条件之后，把人脸动画数据训练一个先验概率模型，通过训练数据估计一个多元高斯概率分布来增加约束条件，将用户约束条件传播到人脸网格的未约束部分，对运动传播的结果采用概率方法选择最佳的人脸表情模型。

3)人脸表情的变化分布在一个高维空间的流形上，通过对三维人脸模型的顶点坐标首尾相接得到高维向量组成的表情动画数据，用标准的Isomap算法来对表情动画数据处理，寻找人脸动画序列的低维本征参数；

4)通过Isomap算法拟合高维曲面上的平滑测地线，用户交互式指定关键帧，从已有动画库中选取中间帧，以自动合成新的人脸动画序列。

所述的在建立用户约束条件之后，把人脸动画数据训练一个先验概率模型，通过训练数据估计一个多元高斯概率分布来增加约束条件，将用户约束条件传播到人脸网格的未约束部分，对运动传播的结果采用概率方法选择最佳的人脸表情模型步骤：

(a)对于包含N个人脸表情模型的训练样本，假设任意训练样本中的人脸模型有m个顶点，每个表情模型根据大小、朝向进行对齐后，每个顶点以中性表情帧作为参照，提取每个顶点的运动向量Δv_ij＝{Δx_ij，Δy_ij，Δz_ij}，1≤i≤m，1≤j≤N，表示第j帧第i个顶点的位移，每个点的运动向量的长度l_ij＝||Δv_ij||，则将其规一化为[0，1)： $l_{\mathrm{ij}}^{\′}=\frac{l_{\mathrm{ij}}}{\underset{p}{\max }{l}_{i,p}+\mathrm{\δ}}$ 为松弛因子。根据l′_ij建立256维运动向量直方图：

$B_n=\left\{l_{\mathrm{ij}}^{\&prime;}\right|\frac{n}{256}\&le;l_{\mathrm{ij}}^{\&prime;}<\frac{n+1}{256},0\&le;n\&le;255\}---1$

(b)然后得到每个训练样本的直方图h_j＝(h_0j，h_1j，...，h_255j)，其中h_n，j＝|B_n，j|，(0≤n≤255，1≤j≤N)，表示第j个训练样本的第n维运动向量直方图。对于第j个训练表情运动帧的第n维运动向量直方图，用如下的高斯分布表示其分布概率：

$f\left(h_{n,j}\right)=\frac{1}{\sqrt{2\mathrm{\&pi;}}{\left|\mathrm{\&Sigma;}\right|}^{\frac{1}{2}}}{e}^{-\frac{1}{2}{(h_{n,j}-{\mathrm{\&mu;}}_n)}^{\&prime;}{{\mathrm{\&Sigma;}}_n}^{-1}(h_{n,j}-{\mathrm{\&mu;}}_n)},(0\&le;n\&le;\mathrm{255,1}\&le;j\&le;N)---2$

其中，∑_n和μ_n分别表示训练数据的运动直方图第n维的方差和均值。对于从通过控制点约束采样出来的表情运动帧，按照同样的方法提取运动直方图，运动约束条件通过高斯分布传播到人脸网格的其他未约束部分；

(c)计算 $\mathrm{match}=\underset{n=0}{\overset{255}{\mathrm{\&Sigma;}}}f\left(h_n\right),$ 取match最大值的帧作为关键帧，得到的关键帧就是运动传播采用概率方法选择最佳的人脸表情模型。

所述的人脸表情的变化分布在一个高维空间的流形上，通过对三维人脸模型的顶点坐标首尾相接得到高维向量组成的表情动画数据，用标准的Isomap算法来对表情动画数据处理，寻找人脸动画序列的低维本征参数步骤：

(d)对三维人脸模型的顶点坐标首尾相接得到高维向量组成的表情动画数据；

(e)计算局部邻域：选择距离度量函数计算输入空间X中每一对数据点i，j之间的距离D_X(i，j)，有两种方式计算数据点x_i的局部邻域N_i，N_i＝{x_j|D_X(i，j)＜ε}，或者N_i取数据点x_i的k最近邻。

(f)估计测地线距离，构建距离矩阵D_M(i，j)：以局部邻域的数据点，构建无向连接图G(V＝X，E)，其中E为<x_i，x_j>，x_j∈N_i，局部邻域数据点之间的连接，以D_G(i，j)即无向图的最短路径来近似表示流形的测地线距离D_M(i，j)；

(g)应用MDS求解数据的d维低维流形嵌入。

所述的通过Isomap算法拟合高维曲面上的平滑测地线，用户交互式指定关键帧，从已有动画库中选取中间帧，以自动合成新的人脸动画序列步骤：

(h)对邻域选择采用k最近邻机制，用户选择最近邻机制中的k值；

(i)用户手动选取动画库中的关键帧用于拟合人脸动画序列的；

(j)通过关键帧，在Isomap平滑曲线上自动拟合动关键帧之间的过渡帧，得到人脸动画序列。

本发明与现有技术相比具有的有益效果：

(1)在二维平面上指定表情动作的约束条件，再把约束条件映射到三维空间，人脸表情的编辑只需要在二维投影空间上进行，使得人脸表情的编辑更加简单，提高了人脸动画的制作效率；

(2)增加了先验概率模型的约束，使得用户约束传播到最接近的真实人脸表情，避免产生不符合人脸的解剖学原理的表情，提高了真实感表情的逼真性；

(3)通过Isomap学习算法对三维人脸动画知识进行建模，然后结合用户指定的关键帧，拟合高维曲面上的平滑测地线，能够自动合成新的人脸动画序列，简化人脸表情动画的制作。

附图说明

下面结合附图和具体实施对本发明作进一步的说明；

图1为本发明用户约束选择界面，其中黄色的点代表初始点位置，绿色的点代表目标点约束；

图2(a)为本发明中基于概率模型的运动传播中用户指定的约束条件；

图2(b)为本发明中基于概率模型的运动传播时符合约束条件的候选动画帧；

图2(c)为经过概率运动传播后的动画结果。

图3为本发明从某一对关键帧生成的过渡帧，起始帧为第51帧发怒表情，终点帧为第357帧蹙眉表情。

具体实施方式

基于运动传播和Isomap分析的三维人脸动画编辑与合成方法包括如下步骤：

1)用户通过鼠标在二维屏幕的投影空间进行交互，选择二维空间上人脸模型的投影上的控制点用于约束，将用户指定的约束条件由二维映射到三维空间，从而在三维人脸模型上选定控制点；

2)在建立用户约束条件之后，把人脸动画数据训练一个先验概率模型，通过训练数据估计一个多元高斯概率分布来增加约束条件，将用户约束条件传播到人脸网格的未约束部分，对运动传播的结果采用概率方法选择最佳的人脸表情模型。

3)人脸表情的变化分布在一个高维空间的流形上，通过对三维人脸模型的顶点坐标首尾相接得到高维向量组成的表情动画数据，用标准的Isomap算法来对表情动画数据处理，寻找人脸动画序列的低维本征参数；

4)通过Isomap算法拟合高维曲面上的平滑测地线，用户交互式指定关键帧，从已有动画库中选取中间帧，以自动合成新的人脸动画序列。

首先用户通过鼠标在二维屏幕的投影空间进行交互，系统将用户指定的约束由二维映射到三维空间。交互过程如下：如图1所示，首先选择人脸网格曲面上的一个控制点；然后指定二维屏幕投影空间上的一个对应的约束；重复上面两个步骤，可以指定多对控制点和约束。

所述的在建立用户约束条件之后，把人脸动画数据训练一个先验概率模型，通过训练数据估计一个多元高斯概率分布来增加约束条件，将用户约束条件传播到人脸网格的未约束部分，对运动传播的结果采用概率方法选择最佳的人脸表情模型步骤：

(a)对于包含N个人脸表情模型的训练样本，假设任意训练样本中的人脸模型有m个顶点，每个表情模型根据大小、朝向进行对齐后，每个顶点以中性表情帧作为参照，提取每个顶点的运动向量Δv_ij＝{Δx_ij，Δy_ij，Δz_ij}，1≤i≤m，1≤j≤N，表示第j帧第i个顶点的位移，每个点的运动向量的长度l_ij＝||Δv_ij||，则将其规一化为[0，1)： $l_{\mathrm{ij}}^{\&prime;}=\frac{l_{\mathrm{ij}}}{\underset{p}{\max }{l}_{i,p}+\mathrm{\&delta;}}$ 为松弛因子。根据l′_ij建立256维运动向量直方图：

$B_n=\left\{l_{\mathrm{ij}}^{\&prime;}\right|\frac{n}{256}\&le;l_{\mathrm{ij}}^{\&prime;}<\frac{n+1}{256},0\&le;n\&le;255\}---1$

(b)然后得到每个训练样本的直方图h_j＝(h_0j，h_1j，...，h_255j)，其中h_n，j＝|B_n，j|，(0≤n≤255，1≤j≤N)，表示第j个训练样本的第n维运动向量直方图。对于第j个训练表情运动帧的第n维运动向量直方图，用如下的高斯分布表示其分布概率：

$f\left(h_{n,j}\right)=\frac{1}{\sqrt{2\mathrm{\&pi;}}{\left|\mathrm{\&Sigma;}\right|}^{\frac{1}{2}}}{e}^{-\frac{1}{2}{(h_{n,j}-{\mathrm{\&mu;}}_n)}^{\&prime;}{{\mathrm{\&Sigma;}}_n}^{-1}(h_{n,j}-{\mathrm{\&mu;}}_n)},(0\&le;n\&le;\mathrm{255,1}\&le;j\&le;N)---2$

其中，∑_n和μ_n分别表示训练数据的运动直方图第n维的方差和均值。对于从通过控制点约束采样出来的表情运动帧，按照同样的方法提取运动直方图，运动约束条件通过高斯分布传播到人脸网格的其他未约束部分；

(c)计算 $\mathrm{match}=\underset{n=0}{\overset{255}{\mathrm{\&Sigma;}}}f\left(h_n\right),$ 取match最大值的帧作为关键帧，得到的关键帧就是运动传播采用概率方法选择最佳的人脸表情模型。

图2是本发明中基于概率模型的运动传播的示意图，图2(a)为本发明中基于概率模型的运动传播中用户指定的约束条件，图2(b)为本发明中基于概率模型的运动传播时符合约束条件的候选动画帧。通过采用概率模型选择得到与用户约束条件相符合的最佳的人脸表情模型。

所述的人脸表情的变化分布在一个高维空间的流形上，通过对三维人脸模型的顶点坐标首尾相接得到高维向量组成的表情动画数据，用标准的Isomap算法来对表情动画数据处理，寻找人脸动画序列的低维本征参数步骤：

(d)对三维人脸模型的顶点坐标首尾相接得到高维向量组成的表情动画数据；

(e)计算局部邻域：选择距离度量函数计算输入空间X中每一对数据点i，j之间的距离D_X(i，j)，有两种方式计算数据点x_i的局部邻域N_i，N_i＝{x_j|D_X(i，j)＜ε}，或者N_i取数据点x_i的k最近邻。

(f)估计测地线距离，构建距离矩阵D_M(i，j)：以局部邻域的数据点，构建无向连接图G(V＝X，E)，其中E为<x_i，x_j>，x_j∈N_i，局部邻域数据点之间的连接，以D_G(i，j)即无向图的最短路径来近似表示流形的测地线距离D_M(i，j)；

(g)应用MDS求解数据的d维低维流形嵌入。

所述的通过Isomap算法拟合高维曲面上的平滑测地线，用户交互式指定关键帧，从已有动画库中选取中间帧，以自动合成新的人脸动画序列步骤：

(h)对邻域选择采用k最近邻机制，用户选择最近邻机制中的k值；

(i)用户手动选取动画库中的关键帧用于拟合人脸动画序列的；

(j)通过关键帧，在Isomap平滑曲线上自动拟合动关键帧之间的过渡帧，得到人脸动画序列。

用户手动选取好关键帧和选取k值后，通过关键帧，在Isomap平滑曲线上自动拟合动关键帧之间的过渡帧，得到人脸动画序列。图3是在k＝18的条件下，起止帧为51帧和357帧，分别对应了发怒和蹙眉的表情，这是用户指定的关键帧，通过这两个关键帧，自动生成的动画序列。

本实施例通过基于运动传播和Isomap分析的三维人脸动画编辑与合成方法，在二维平面上指定表情动作的约束条件，映射到三维空间，人脸表情的编辑只需要在二维投影空间上进行约束，使得人脸表情的编辑更加简单，提高了人脸动画的制作效率；增加了先验概率模型的约束，使得用户约束传播到最接近的真实人脸表情，避免产生不符合人脸的解剖学原理的表情，提高了真实感表情的逼真性；通过Isomap学习算法对三维人脸动画知识进行建模，然后结合用户指定的关键帧，拟合高维曲面上的平滑测地线，能够自动合成新的人脸动画序列，简化人脸表情动画的制作。

Claims (4)

1、一种基于运动传播和Isomap分析的三维人脸动画编辑与合成方法，其特征在于包括如下步骤：

1)用户通过鼠标在二维屏幕的投影空间进行交互，选择二维空间上人脸模型的投影上的控制点用于约束，将用户指定的约束条件由二维映射到三维空间，从而在三维人脸模型上选定控制点；

2)在建立用户约束条件之后，把人脸动画数据训练一个先验概率模型，通过训练数据估计一个多元高斯概率分布来增加约束条件，将用户约束条件传播到人脸网格的未约束部分，对运动传播的结果采用概率方法选择最佳的人脸表情模型。

3)人脸表情的变化分布在一个高维空间的流形上，通过对三维人脸模型的顶点坐标首尾相接得到高维向量组成的表情动画数据，用标准的Isomap算法来对表情动画数据处理，寻找人脸动画序列的低维本征参数；

4)通过Isomap算法拟合高维曲面上的平滑测地线，用户交互式指定关键帧，从已有动画库中选取中间帧，以自动合成新的人脸动画序列。

2、根据权利要求1所述的一种基于运动传播和Isomap分析的三维人脸动画编辑与合成方法，其特征在于所述的在建立用户约束条件之后，把人脸动画数据训练一个先验概率模型，通过训练数据估计一个多元高斯概率分布来增加约束条件，将用户约束条件传播到人脸网格的未约束部分，对运动传播的结果采用概率方法选择最佳的人脸表情模型步骤：

(a)对于包含N个人脸表情模型的训练样本，假设任意训练样本中的人脸模型有m个顶点，每个表情模型根据大小、朝向进行对齐后，每个顶点以中性表情帧作为参照，提取每个顶点的运动向量Δv_ij＝{Δx_ij，Δy_ij，Δz_ij}，1≤i≤m，1≤j≤N，表示第j帧第i个顶点的位移，每个点的运动向量的长度l_ij＝||Δv_ij||，则将其规一化为[0，1)： $l_{\mathrm{ij}}^{\&prime;}=\frac{l_{\mathrm{ij}}}{\underset{p}{\max }{l}_{i,p}+\mathrm{\&delta;}}$ 为松弛因子。根据l′_ij建立256维运动向量直方图：

$B_n=\left\{l_{\mathrm{ij}}^{\&prime;}\right|\frac{n}{256}\&le;l_{\mathrm{ij}}^{\&prime;}<\frac{n+1}{256},0\&le;n\&le;255\}---1$

(b)然后得到每个训练样本的直方图h_j＝(h_0j，h_1j，...，h_255j)，其中h_n，j＝|B_n，j|，(0≤n≤255，1≤j≤N)，表示第j个训练样本的第n维运动向量直方图。对于第j个训练表情运动帧的第n维运动向量直方图，用如下的高斯分布表示其分布概率：

$f\left(h_{n,j}\right)=\frac{1}{\sqrt{2\mathrm{\&pi;}}{\left|\mathrm{\&Sigma;}\right|}^{\frac{1}{2}}}{e}^{-\frac{1}{2}{(h_{n,j}-{\mathrm{\&mu;}}_n)}^{\&prime;}{{\mathrm{\&Sigma;}}_n}^{-1}(h_{n,j}-{\mathrm{\&mu;}}_n),}$ (0≤n≤255，1≤j≤N)

                  2

其中，∑_n和μ_n分别表示训练数据的运动直方图第n维的方差和均值。对于从通过控制点约束采样出来的表情运动帧，按照同样的方法提取运动直方图，运动约束条件通过高斯分布传播到人脸网格的其他未约束部分；

(c)计算 $\mathrm{match}=\underset{n=0}{\overset{255}{\mathrm{\&Sigma;}}}f\left(h_n\right),$ 取match最大值的帧作为关键帧，得到的关键帧就是运动传播采用概率方法选择最佳的人脸表情模型。

3、根据权利要求1所述的一种基于运动传播和Isomap分析的三维人脸动画编辑与合成方法，其特征在于所述的人脸表情的变化分布在一个高维空间的流形上，通过对三维人脸模型的顶点坐标首尾相接得到高维向量组成的表情动画数据，用标准的Isomap算法来对表情动画数据处理，寻找人脸动画序列的低维本征参数步骤：

(d)对三维人脸模型的顶点坐标首尾相接得到高维向量组成的表情动画数据；

(e)计算局部邻域：选择距离度量函数计算输入空间X中每一对数据点i，j之间的距离D_x(i，j)，有两种方式计算数据点x_i的局部邻域N_i，N_i＝{x_j|D_x(i，j)＜ε}，或者N_i取数据点x_i的k最近邻。

(f)估计测地线距离，构建距离矩阵D_M(i，j)：以局部邻域的数据点，构建无向连接图G(V＝X，E)，其中E为<x_i，x_j>，x_j∈N_i，局部邻域数据点之间的连接，以D_G(i，j)即无向图的最短路径来近似表示流形的测地线距离D_M(i，j)；

(g)应用MDS求解数据的d维低维流形嵌入。

4、根据权利要求1所述的一种基于运动传播和Isomap分析的三维人脸动画编辑与合成方法，其特征在于所述的通过Isomap算法拟合高维曲面上的平滑测地线，用户交互式指定关键帧，从已有动画库中选取中间帧，以自动合成新的人脸动画序列步骤：

(h)对邻域选择采用k最近邻机制，用户选择最近邻机制中的k值；

(i)用户手动选取动画库中的关键帧用于拟合人脸动画序列的；

(i)通过关键帧，在Isomap平滑曲线上自动拟合动关键帧之间的过渡帧，得到人脸动画序列。

Images