CN101303772A - 一种基于单幅图像的非线性三维人脸建模方法 - Google Patents

Abstract

本发明公开了一种在三维人脸数据库的支撑下从单幅图像中非线性构建三维人脸模型的方法。它首先根据输入图像提取一组特征点；然后根据人脸库中的平均人脸模型，自动估计输入图像中头部姿势参数；姿势恢复以后，它根据一个相似度度量函数为给定人脸图像在三维人脸库中确定一个邻域，邻域的大小通过交叉验证算法来自适应的确定；通过邻域插值算法合成个性化三维人脸模型；最后通过提取的特征点求解纹理映射。本发明可以得到高精度的三维人脸动画，在不同的实验条件下应用到各种单幅图像合成三维模型，保证人脸动画的真实感，同时避免了对人脸缝隙区域进行手工划分的繁琐，提高了人脸动画的制作效率，生成三维人脸模型计算过程相对迭代算法更加稳定和高效，同时生成三维人脸模型具有纹理信息，能够实时生成具有真实感的高精度三维人脸动画。

Description

一种基于单幅图像的非线性三维人脸建模方法

技术领域

本发明涉及计算机三维动画技术领域，尤其涉及一种基于单幅图像的非线性三维人脸建模方法。

背景技术

三维人脸动画技术最早的工作开始于1972年。其后的学者做了很多工作，以期能够生成逼真生动的三维人脸动画。但由于人脸的解剖学结构非常复杂，细微的非刚性运动难以用数学建模，同时，人们对人脸外观的敏感性，使得这一课题非常困难。目前真实感三维人脸动画的工作取得了一些进展，基本上可以分为如下几类：

基于插值的方法：最早的人脸动画是基于插值的方法。首先由动画师制作一些特定的人脸表情关键帧，然后用线性插值在这些关键帧之间建立光滑的过渡。这种方法主要依靠动画师的个人能力，而且比较耗时。

基于自由变形的方法：自由变形的方法把三维人脸动画转化为一个曲面变形的问题。由若干控制点组成了一个包围体，包围体的运动直接驱动人脸网格的变形。这种方法输入限制少，但往往需要对人脸进行区域划分，这个过程对一般用户来说比较困难和繁琐；而且由于变形体没有考虑人脸网格本身的拓扑结构，所以变形往往会产生一些瑕疵。

基于物理建模的方法：首先对人脸的解剖学结构，如肌肉、头骨和皮肤进行建模，然后运动捕获数据则可以转化为肌肉收缩的参数，驱动模型的人脸动画。这种方法产生的符合人脸的运动特性，比较真实，但计算代价比较高，且难以快速对新角色建立物理模型。

基于例子的方法：三维人脸动画被看作是一些特定实例的线性组合。运动捕获数据中的运动向量，直接被用来估计线性组合的参数和插值系数。预先定义的实例则通过这些参数和系数被混合在一起。这类方法比较稳定和准确，但建立实例的过程比较昂贵和繁琐。

表情克隆的方法：为了将已有的三维网格运动数据应用到新的三维人脸模上，运动位移需要针对网格的局部几何特征进行旋转和缩放。表情克隆可以解决不同三维人脸曲面网格之间的运动重定向问题。

实时人脸动画捕获：通过计算机视觉算法，视频中的角色的三维形状和彩色纹理被实时重建。这种方法可以对特定角色进行逼真生动的动画创作，但产生的动画难以转移到其他角色上。

发明内容

本发明的目的在于提供一种基于单幅图像的非线性三维人脸建模方法。此方法在三维人脸数据库的支持下，通过单幅图像对人脸的拓扑结构进行有效的建模，保证人脸动画的真实感，同时避免了对人脸缝隙区域进行手工划分的繁琐，具有较好的实时性和可扩展性。

为实现上述发明目的，本发明采用下述的技术方案：

基于单幅图像的非线性三维人脸建模方法包括如下步骤：

1)给定一副人脸图像，标记预定义特征点；

2)基于特征点和参照模型，图像中的头部姿态被自动恢复；

3)根据定义的相似度函数，为人脸图像在三维人脸空间中找到局部邻域；

4)采用基于邻域的最优化方法进行三维人脸重建，用径向基函数网络从给定图像推断三维人脸模型，径向基函数网络输入是二维像素位置，输出三维空间坐标；

5)通过提取的基于图像的特征点坐标计算纹理坐标，选择用径向基函数网络从三维坐标映射到纹理坐标的函数，给定一组三维模型上的特征顶点和纹理坐标，中间点的纹理坐标可以通过散乱数据插值得到，生成三维人脸模型的纹理映射。

所述给定一副人脸图像，标记预定义特征点步骤：

(a)所采用的三维模型中除了表示面部的几何面片之外，还有颈部和耳朵等其他部位；

(b)三维人脸数据库中的模型经过预处理后，已经实现了顶点对应，因此在一个模型上定义的特征点可以直接传播到其他人脸模型上；

(c)三维人脸模型上的特征点集合定义了一个包围盒，从人脸动画的需求和图像的覆盖范围考虑，人脸建模和纹理映射时，仅绘制包围盒内的几何面片。

所述的基于特征点和参照模型，图像中的头部姿态被自动恢复步骤：

(d)在一个三维参照模型的支持下，从单幅人脸图像中恢复姿态参数，使用的参照模型是数据库中的平均人脸；

(e)通过矩阵运算求得旋转R，平移t，和缩放s相似性变换参数得到头部姿态；

(f)使用最小二乘估计头部姿态的准确性，最小二乘估计计算公式如下

$C(R,t,s)=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left|\right|p_i-(s{\mathrm{Rv}}_i+t)\left|\right|}^2---1$

{p_i＝(x_i，y_i，0)}是图像中特征点的集合，{v_i＝(x_i，y_i，z_i)}是三维模型中特征顶点的集合，R、t、s是变换参数(旋转、平移和缩放)，n是特征点的数目，变换参数可以通过最小化等式1中的代价函数能够求得。

所述的根据定义的相似度函数，为人脸图像在三维人脸空间中找到局部邻域步骤：

(g)选择图像和数据库中三维样本的距离函数，计算公式如下

$D(I,M_j)=\sqrt{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left|\right|p_i-{\mathrm{proj}}_{\mathrm{xoy}}({\mathrm{sRv}}_i+t)\left|\right|}^2}---2$

其中I是输入图像，M_j是三维人脸空间中的第j个样本，proj_xoy是从(x，y)到(x，y，z)的映射函数；

(h)用k近邻通过距离函数检验领域数量的选值，并且一些数据库外的三维样例被保留下来用于交叉验证，确定领域边界。

所述采用基于邻域的最优化方法进行三维人脸重建，用径向基函数网络从给定图像推断三维人脸模型，径向基函数网络输入是二维像素位置，输出三维空间坐标步骤：

(i)在三维人脸空间中找到输入图像的邻域后，用径向基函数RBF网络构造一个从二维像素位置映射到三维空间坐标的函数，采用基于邻域的最优化方法进行三维人脸重建，从给定图像推断三维人脸模型：

其中V_j是输出的三维空间坐标，I是用特征点表示的输入图像，M_i是该图像邻域中的第i个三维模型，D(I，M_i)是在距离函数，k是k-NN中近邻的数目，c_ji表示学习参数，j表示输出向量中的第j个元素，f(r)是径向对称基函数；

(j)替换等式3中k对邻域训练数据

得到k个等式的线性方程组，

是将proj_xoy(sRv_i+t)中所有元素首尾相连的向量，

是将第i个三维模型中所有顶点坐标首位相连的向量；

(k)解这个线性方程组得到：

$\stackrel{\→}{c}={(H+\mathrm{lI})}^{-1}\stackrel{\→}{v}---4$

其中

是重建得到的三维人脸，l＝0.01是为了降低噪声影响而引入的一个阈值，H是计算过程中的中间矩阵，I是单位矩阵。

本发明与现有技术相比具有的有益效果：

(1)本发明可以在不同的实验条件下应用到各种单幅图像合成三维模型，有很好的可扩展性，避免了自由变形方法中的人脸功能区域划分的复杂和繁琐，提高了人脸动画的制作效率；

(2)图像中的头部姿态基于特征点和参照模型被自动恢复，这个过程只需要矩阵运算，相对迭代算法更加稳定和高效，具有较好的实时性和可扩展性；

(3)通过提取的基于图像的特征点坐标计算纹理坐标，生成三维人脸模型的纹理映射，实时生成具有真实感的高精度三维人脸动画。

附图说明

下面结合附图和具体实施对本发明作进一步的说明；

图1为统一标准特征点定义；

图2(a)为用于估计图像中姿态的特征点(右)和一个三维人脸样本(左)；

图2(b)为头部姿态参数估计应用到三维人脸样本；

图3(a)为本发明通过京剧脸谱的单幅图像生成人脸模型的示意图；

图3(b)为本发明通过蒙娜丽莎的单幅图像生成人脸模型的示意图；

图3(c)为本发明通过的一个学生单幅图像生成人脸模型的示意图；

图3(d)为本发明通过电视直播员的单幅图像生成人脸模型的示意图。

具体实施方式

基于单幅图像的非线性三维人脸建模方法，其特征在于包括如下步骤：

1)给定一副人脸图像，标记预定义特征点；

2)基于特征点和参照模型，图像中的头部姿态被自动恢复；

3)根据定义的相似度函数，为人脸图像在三维人脸空间中找到局部邻域；

4)采用基于邻域的最优化方法进行三维人脸重建，用径向基函数网络从给定图像推断三维人脸模型，径向基函数网络输入是二维像素位置，输出三维空间坐标；

5)通过提取的基于图像的特征点坐标计算纹理坐标，选择用径向基函数网络从三维坐标映射到纹理坐标的函数，给定一组三维模型上的特征顶点和纹理坐标，中间点的纹理坐标可以通过散乱数据插值得到，生成三维人脸模型的纹理映射。

所述给定一副人脸图像，标记预定义特征点步骤：

(a)我们使用58个特征点定义脸部特征，如图1所示，所采用的三维模型中除了表示面部的几何面片之外，还有颈部和耳朵等其他部位；

(b)三维人脸数据库中的模型经过预处理后，已经实现了顶点对应，因此在一个模型上定义的特征点可以直接传播到其他人脸模型上；

(c)三维人脸模型上的特征点集合定义了一个包围盒，从人脸动画的需求和图像的覆盖范围考虑，人脸建模和纹理映射时，仅绘制包围盒内的几何面片。

所述的基于特征点和参照模型，图像中的头部姿态被自动恢复步骤：

(d)在计算相似度之前，需要确定图像中头部的姿态，在一个三维参照模型的支持下，从单幅人脸图像中恢复姿态参数，使用的参照模型是数据库中的平均人脸；

(e)通过矩阵运算求得旋转R，平移t，和缩放s相似性变换参数得到头部姿态；

(f)使用最小二乘估计头部姿态的准确性，最小二乘估计计算公式如下

$C(R,t,s)=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left|\right|p_i-(s{\mathrm{Rv}}_i+t)\left|\right|}^2---1$

{p_i＝(x_i，y_i，0)}是图像中特征点的集合，{v_i＝(x_i，y_i，z_i)}是三维模型中特征顶点的集合，R、t、s是变换参数(旋转、平移和缩放)，n是特征点的数目，变换参数可以通过最小化等式1中的代价函数能够求得。

图2是通过单副图像中的特征点和参照模型恢复头部姿态模型。图2(a)为用于估计图像中姿态的特征点(右)和一个三维人脸样本(左)，图2(b)为头部姿态参数估计应用到三维人脸样本后得到的头部姿态恢复后的三维人脸模型。

所述的根据定义的相似度函数，为人脸图像在三维人脸空间中找到局部邻域步骤：

(g)选择图像和数据库中三维样本的距离函数，计算公式如下

$D(I,M_j)=\sqrt{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left|\right|p_i-{\mathrm{proj}}_{\mathrm{xoy}}({\mathrm{sRv}}_i+t)\left|\right|}^2}---2$

其中I是输入图像，M_j是三维人脸空间中的第j个样本，proj_xoy是从(x，y)到(x，y，z)的映射函数；

(h)用k近邻通过距离函数检验领域数量的选值，并且一些数据库外的三维样例被保留下来用于交叉验证，确定领域边界。结合了k-NN和交叉验证算法来决定k的适当选值，通过实验，k的合适取值为8.

所述采用基于邻域的最优化方法进行三维人脸重建，用径向基函数网络从给定图像推断三维人脸模型，径向基函数网络输入是二维像素位置，输出三维空间坐标步骤：

(i)在三维人脸空间中找到输入图像的邻域后，用径向基函数RBF网络构造一个从二维像素位置映射到三维空间坐标的函数，采用基于邻域的最优化方法进行三维人脸重建，从给定图像推断三维人脸模型：

其中V_j是输出的三维空间坐标，I是用特征点表示的输入图像，M_i是该图像邻域中的第i个三维模型，D(I，M_i)是在距离函数，k是k-NN中近邻的数目，c_ji表示学习参数，j表示输出向量中的第j个元素，f(r)是径向对称基函数；

(j)替换等式3中k对邻域训练数据

得到k个等式的线性方程组，

是将proj_xoy(sRv_i+t)中所有元素首尾相连的向量，

是将第i个三维模型中所有顶点坐标首位相连的向量；

(k)解这个线性方程组得到：

$\stackrel{\→}{c}={(H+\mathrm{lI})}^{-1}\stackrel{\→}{v}---4$

其中

是重建得到的三维人脸，l＝0.01是为了降低噪声影响而引入的一个阈值，H是计算过程中的中间矩阵，I是单位矩阵。

纹理坐标可以基于图像的特征点通过插值得到，从而生成三维人脸模型的纹理映射。给定一组三维模型上的特征顶点和纹理坐标，中间点的纹理坐标可以通过散乱数据插值得到。我们采用径向基函数RBF网络差值得到中间点纹理坐标，这里的RBF网络的输入是三维坐标，输出是相应的纹理坐标。

其中v是输入的三维顶点坐标，v_i是第i个特征顶点，t是纹理坐标。

用本发明对4个单副图像进行非线性三维人脸建模，合成生动逼真的三维模型。如图3所示，图3(a)为本发明通过京剧脸谱的单幅图像生成人脸模型的示意图，图3(b)为本发明通过蒙娜丽莎的单幅图像生成人脸模型的示意图，图3(c)为本发明通过的一个学生单幅图像生成人脸模型的示意图，图3(d)为本发明通过电视直播员的单幅图像生成人脸模型的示意图。

本发明通过基于单幅图像的非线性三维人脸建模方法，通过单幅图像合成生动逼真的三维模型。可以应用到各种单幅图像合成三维模型，有很好的可扩展性，避免了自由变形方法中的人脸功能区域划分的复杂和繁琐，提高了人脸动画的制作效率；图像中的头部姿态基于特征点和参照模型被自动恢复。这个过程只需要矩阵运算，相对迭代算法更加稳定和高效；通过提取的基于图像的特征点坐标计算纹理坐标，生成三维人脸模型的纹理映射，实时生成具有真实感的三维人脸动画。

Claims (5)

1、一种基于单幅图像的非线性三维人脸建模方法，其特征在于包括如下步骤：

1)给定一副人脸图像，标记预定义特征点；

2)基于特征点和参照模型，图像中的头部姿态被自动恢复；

3)根据定义的相似度函数，为人脸图像在三维人脸空间中找到局部邻域；

4)采用基于邻域的最优化方法进行三维人脸重建，用径向基函数网络从给定图像推断三维人脸模型，径向基函数网络输入是二维像素位置，输出三维空间坐标；

5)通过提取的基于图像的特征点坐标计算纹理坐标，选择用径向基函数网络从三维坐标映射到纹理坐标的函数，给定一组三维模型上的特征顶点和纹理坐标，中间点的纹理坐标可以通过散乱数据插值得到，生成三维人脸模型的纹理映射。

2、根据权利要求1所述的一种基于单幅图像的非线性三维人脸建模方法，其特征在于：所述给定一副人脸图像，标记预定义特征点步骤：

(a)所采用的三维模型中除了表示面部的几何面片之外，还有颈部和耳朵等其他部位；

(b)三维人脸数据库中的模型经过预处理后，已经实现了顶点对应，因此在一个模型上定义的特征点可以直接传播到其他人脸模型上；

(c)三维人脸模型上的特征点集合定义了一个包围盒，从人脸动画的需求和图像的覆盖范围考虑，人脸建模和纹理映射时，仅绘制包围盒内的几何面片。

3、根据权利要求1所述的一种基于单幅图像的非线性三维人脸建模方法，其特征在于：所述的基于特征点和参照模型，图像中的头部姿态被自动恢复步骤：

(d)在一个三维参照模型的支持下，从单幅人脸图像中恢复姿态参数，使用的参照模型是数据库中的平均人脸；

(e)通过矩阵运算求得旋转R，平移t，和缩放s相似性变换参数得到头部姿态；

(f)使用最小二乘估计头部姿态的准确性，最小二乘估计计算公式如下

$C(R,t,s)=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left|\right|p_i-(\mathrm{sR}{v}_i+t)\left|\right|}^2---1$

{p_i＝(x_i，y_i，0)}是图像中特征点的集合，{v_i＝(x_i，y_i，z_i)}是三维模型中特征顶点的集合，R、t、s是变换参数(旋转、平移和缩放)，n是特征点的数目，变换参数可以通过最小化等式1中的代价函数能够求得。

4、根据权利要求1所述的一种基于单幅图像的非线性三维人脸建模方法，其特征在于：所述的根据定义的相似度函数，为人脸图像在三维人脸空间中找到局部邻域步骤：

(g)选择图像和数据库中三维样本的距离函数，计算公式如下

$D(I,M_j)=\sqrt{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left|\right|p_i-{\mathrm{proj}}_{\mathrm{xoy}}(\mathrm{sR}{v}_i+t)\left|\right|}^2}---2$

其中I是输入图像，M_j是三维人脸空间中的第j个样本，proj_xoy是从(x，y)到(x，y，z)的映射函数；

(h)用k近邻通过距离函数检验领域数量的选值，并且一些数据库外的三维样例被保留下来用于交叉验证，确定领域边界。

5、根据权利要求1所述的一种基于单幅图像的非线性三维人脸建模方法，其特征在于：所述采用基于邻域的最优化方法进行三维人脸重建，用径向基函数网络从给定图像推断三维人脸模型，径向基函数网络输入是二维像素位置，输出三维空间坐标步骤：

(i)在三维人脸空间中找到输入图像的邻域后，用径向基函数RBF网络构造一个从二维像素位置映射到三维空间坐标的函数，采用基于邻域的最优化方法进行三维人脸重建，从给定图像推断三维人脸模型：

其中V_j是输出的三维空间坐标，I是用特征点表示的输入图像，M_i是该图像邻域中的第i个三维模型，D(I，M_i)是在距离函数，k是k-NN中近邻的数目，c_ji表示学习参数，j表示输出向量中的第j个元素，f(r)是径向对称基函数；

(j)替换等式3中k对邻域训练数据得到k个等式的线性方程组，

是将proj_xoy(sRv_i+t)中所有元素首尾相连的向量，

是将第i个三维模型中所有顶点坐标首位相连的向量；

(k)解这个线性方程组得到：

$\stackrel{\→}{c}={(H+\mathrm{lI})}^{-1}\stackrel{\→}{v}---4$

其中

是重建得到的三维人脸，l＝0.01是为了降低噪声影响而引入的一个阈值，H是计算过程中的中间矩阵，I是单位矩阵。

Images