CN1818977A - 由一幅正面图像实现快速人脸模型重建的方法 - Google Patents

Abstract

一种图像处理技术领域的由一幅正面图像实现快速人脸模型重建的方法。步骤为：(1)取点，保存。取点包括平均模型上的三维点、在二维图像上取对应的特征点，三维标记点的特征和数目必须与目标图像的标记点一致；(2)将二维图像特征点转化为三维特征点；(3)用薄板样条插值算法进行弹性变形。所有的二维点均用三维点代替，相应的函数均修改成三维坐标的变量，直接求取新的坐标；(4)粘贴纹理；(5)纹理插值。插值包含两部分，即由于正面纹理信息不够而需要的插值，及侧面缺少信息而需要插值。本发明只用一个平均模型和一幅目标二维图像，快速生成对应的三维人脸模型，具有实时快速、方便简单、无需大量人脸库等多方面优点。

Description

由一幅正面图像实现快速人脸模型重建的方法

技术领域

本发明涉及一种图像处理技术领域的方法，具体是一种由一幅正面图像实现快速人脸模型重建的方法。

背景技术

图像作为一种十分重要的媒体和手段越来越受到人们的重视，图像已成为工程学、计算机科学、信息科学、统计学、物理学、化学、生物学、医学甚至社会科学等领域各学科之间学习和研究的对象。三维图形是计算机图形学中比较重要的分支。而将二维图像和三维模型结合起来也是最近研究的热点，同时也是人脸识别中的难点所在。若由二维图像获得对应的三维模型，这将会对人脸识别大有作用。因为现有人脸识别的几大难题，如姿态、光照、表情(PIE)在二维图像中几乎很难解决，而在三维中就可以获得很多的信息量。另外，加上不同的光照，动画生成表情，姿态的旋转等都可以容易在三维中得到实现。因此，有必要也迫切需要由二维图像实现人脸模型重建的发明方法。

经对现有技术的文献检索发现，Volker Blanz等人在《IEEE transaction onPattern Recognition and Machine Intelligence》Vol.25，No.9，September2003，1063-1074(IEEE模式识别与机器智能，第25卷，第9期，2003年九月版，1063-1074页)上，使用一种可变形的模型，经过多重优化得到最终匹配的人脸模型。该方法用了200个扫描获得的三维人脸模型，通过线性组合。结合旋转角度、光照等22个参数，经过迭代优化算法，最终获得目标模型。这样的匹配是一个相当复杂的过程，在奔42G的机器上需耗时四分半钟。检索中还发现，江大龙等人在《Pattern Recognition》Vol.38，Issue 6，June 2005，787-798(IEEE模式识别与机器智能，第38卷，第6期，2005年六月版，787-798页)上，用了几何重建的方法。他们首先在二维正面人脸图像上标好特征点，计算二维形状特征值，代换到三维的线性组合中，从而得到三维模型的形状值。最后抽取纹理信息补到三维模型上。这样的方法也用到了多个人脸库，包括二维图像库和三维人脸模型库，因此计算速度也不是很快。

发明内容

本发明的目的在于针对现有技术的不足，提出由一幅正面图像实现快速人脸模型重建的方法，不需要多个三维模型和多幅二维图像，而是只用一个平均模型和一幅目标二维图像，快速生成对应的三维人脸模型。实验证明，本发明具有实时快速、方便简单、无需大量人脸库等多方面优点。

本发明是通过以下技术方案实现的：用标定好模型上的标记点和由目标二维图像的特征点对应的三维标记点，采用基于改进的薄板样条(Thin-plateSpline)弹性插值算法，对模型每一个坐标进行计算，得到新的模型的三维坐标点；同时粘贴原始图像的纹理，得到粗略的模型；最后通过插值算法将侧面的纹理信息补全，最终获得目标三维模型。

本发明具体包括以下步骤：

(1)取点，保存。这里的取点包括两种取点：一是平均模型上的三维点，这个可以很容易得到；二是在二维图像上取对应的特征点。一般人脸图像的特征点有眼睛，鼻子，嘴巴，脸轮廓等。三维标记点的特征和数目必须与目标图像的标记点一致；

(2)将二维图像特征点转化为三维特征点。将x、y方向上的特征点进行比例缩放，从而得到二维图像的“三维”特征点的x、y坐标；再将x、y的比例求其平均缩放对应三维标记点的深度信息作为新的特征点的深度。

(3)用薄板样条插值算法进行弹性变形。对此，薄板样条函数作如下改进：所有的二维点均用三维点代替，相应的距离函数、双调和函数、求取新的坐标点的函数均修改成三维坐标的变量，直接求取新的坐标，此时变形完成，获得基本的形状模型；

(4)粘贴纹理。这里可将对应的纹理信息按比例放置于模型上，中间不够的信息可以采用插值的方法得到；而若模型不需要很多纹理信息，则可以对应位置上先求取平均再粘贴到模型制定位置上；

(5)纹理插值。这里的插值包含两部分，一部分是由于正面纹理信息不够而需要的插值，一部分是侧面缺少信息而需要插值。对于由于正面纹理信息不够而需要的插值，可以设置适当的球体，计算球体内的纹理平均信息直接填补。对于由于侧面缺少信息而需要插值，可以采用加权的RGB信息来得到。取得框好边界的立体块，其中包含了侧面的纹理空缺点，同时也包含足够的纹理信息。对于任意一个位置纹理信息的点，将体积块以此点为中心分成若干扇形小块(n)，沿着分成的方向取已有的纹理信息，再经距离加权，可以获得比较准确的纹理。公式如下：

$T_{\mathrm{int\; erp}}=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\λ}}_{i}T}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\λ}}_i}$

式中，λ_i为纹理点到待插值点距离的倒数，T为已有的纹理信息。此方法获得的插值信息，可用于实时场合，快速细致。

本发明不需要多个三维模型和多幅二维图像，而是只用一个平均模型和一幅目标二维图像，快速生成对应的三维人脸模型，具有实时快速、方便简单、无需大量人脸库等多方面优点。

附图说明

图1为本发明方法框图

具体实施方式

如图1所示，由一幅正面图像实现快速人脸模型重建的方法，需要四个步骤：

1.取点，保存

这里的取点包括两种取点：一是平均模型上的三维点，这个利用openGL的相关知识可以很容易得到；二是在二维图像上取对应的特征点，也不是问题。要说明的是，一般人脸图像的特征点有眼睛，鼻子，嘴巴，脸轮廓等，并且三维标记点的特征和数目必须与二维目标图像的标记点一致；

2.将二维图像特征点转化为三维特征点

将x、y方向上的特征点进行比例缩放，从而得到二维图像的“三维”特征点的x、y坐标；再将x、y的比例求其平均缩放对应三维标记点的深度信息作为新的特征点的深度。缩放时，可以将平均三维模型的标记点影射得到对应的屏幕坐标，对应的原点也得到了一个基准点；再在二维图像上取相同特征的二维坐标，通过比例关系，计算得到新的“三维”特征点。计算公式如下：

$X_{\mathrm{new}}=X_{\mathrm{land}}*\frac{X_{\mathrm{fea}}-X_{\mathrm{norm}1}}{X_{\mathrm{land}}^{\′}-X_{\mathrm{norm}2}},Y_{\mathrm{new}}=Y_{\mathrm{land}}*\frac{Y_{\mathrm{fea}}-Y_{\mathrm{norm}1}}{Y_{\mathrm{land}}^{\′}-Y_{\mathrm{norm}2}},$

$Z_{\mathrm{new}}=Z_{\mathrm{land}}*(\frac{X_{\mathrm{fea}}-X_{\mathrm{norm}1}}{X_{\mathrm{land}}^{\′}-X_{\mathrm{norm}2}}+\frac{Y_{\mathrm{fea}}-Y_{\mathrm{norm}1}}{Y_{\mathrm{land}}^{\′}-Y_{\mathrm{norm}2}})/2$

其中，I_new为转换后的三维坐标，I_land指先前取得的三维标记点坐标，I_fea是先前取得的二维特征点坐标，I_norm1为按要求取的对应的二维基准点坐标，I_land′指影射得到的屏幕二维坐标，I_norm2是三维原点影射得到的屏幕坐标。I＝X，Y，Z。

3.用薄板样条插值算法进行弹性变形

一般的弹性变形算法涉及以下三个方面：

1)在参考图像和待配准图像中选择控制点并且决定它们的对应关系；

2)通过已知的坐标和控制点决定映射函数的类型和参数；

3)用映射函数对待配准图像进行几何变换。

这里，本发明选择既有全局变形，也有局部变形的薄板样条插值算法。该算法描述如下：

薄板样条是用于对分散点数据集插值得到曲面的工具，是弹性插值，它将插值问题模拟为一个薄金属板在点约束下的弯曲变形，用简练的代数式表示变形的能量。薄板样条是这样得到的。

薄板样条的基函数为U(r)＝r²logr²

其中， $r=\sqrt{x^2+y^2}$

可以看作是一维三次样条函数|x³|自然扩展到二维的结果。

假设有一个二维点集，(x₁，y₁)，(x₂，y₂)，…，(x_n，y_n)，称之为标志点，

令P_i＝(x_i，y_i)，i＝1，2，...，n，同时定义r_i，j＝|P_i-P_j|，为点P_i和点P_j的欧几里得距离。

定义n×n矩阵

及n×3矩阵 $P=\left|\begin{array}{ccc}1& x_1& y_1\\ 1& x_2& y_2\\ \·& \·& \·\\ \·& \·& \·\\ \·& \·& \·\\ 1& x_n& y_n\end{array}\right|$

$L=\left|\begin{array}{cc}K& P\\ P^T& 0\end{array}\right|$

在此0代表3×3的0矩阵，P^T是P的转置。想使金属板在点(x_i，y_i)处高度为z_i，因而构建行矢量V＝(z₁，z₂，...，z_i)和列矢量Y＝(V 0 0 0)^T，维数为(n+3)×1。

通过下式定义列矢量W＝(w₁，w₂，...w_n)和系数a₁，a_x，a_y：

L^-1Y＝(W|a₁ a_x a_y)^T

根据以上定义得到要求的函数：

$f(x,y)=a_1+a_{x}x+a_{y}y+\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{w}_{i}U(P_i-(x,y))$

为此，将薄板样条函数作如下改进：所有的二维点均用三维点代替，相应的基函数、构建矩阵、求取新的坐标点的函数均加以修改成三维坐标的变量。这样，通过两组得到的三维标记点，可以直接代入求取新的坐标。此时，变形完成。

该方法同样适用于其它类型的径向基函数，如线形插值、高斯插值、多曲面插值等。利用直接的三维点进行插值，消除了因为二维坐标展开造成的数据失真，也大大节省了运算时间，是比较理想的变形方法。

4.粘贴纹理

这里可将对应的纹理信息按比例放置于模型上，中间不够的信息可以采用插值的方法得到；而若模型不需要很多纹理信息，则可以对应位置上先求取平均再粘贴到模型制定位置上；

5.纹理插值

这里的插值包含两部分，一部分是由于正面纹理信息不够而需要的插值，一部分是侧面缺少信息而需要插值。对于由于正面纹理信息不够而需要的插值，可以设置适当的球体，计算球体内的纹理平均信息直接填补。对于由于侧面缺少信息而需要插值，可以采用加权的纹理信息来得到。取得框好边界的立体块，其中包含了侧面的纹理空缺点，同时也包含足够的纹理信息。对于任意一个位置纹理信息的点，将体积块以此点为中心分成若干扇形小块(n)，沿着分成的方向取已有的纹理信息，再经距离加权，可以获得比较准确的纹理。公式如下：

$T_{\mathrm{int\; erp}}=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\λ}}_{i}T}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\λ}}_i}$

式中，λ_i为纹理点到待插值点距离的倒数，T为已有的纹理信息。此方法获得的插值信息，可用于实时场合，快速细致，也可用于人脸识别系统，提高识别率。

Claims (4)

1、一种由一幅正面图像实现快速人脸模型重建的方法，其特征在于，包括以下步骤：

(1)取点，保存：包括两种取点，即平均模型上的三维点以及在二维图像上取对应的特征点，三维标记点的特征和数目必须与目标图像的标记点一致；

(2)将二维图像特征点转化为三维特征点；

(3)用薄板样条插值算法进行弹性变形：薄板样条函数作如下改进：所有的二维点均用三维点代替，相应的距离函数、双调和函数、求取新的坐标点的函数均修改成三维坐标的变量，直接求取新的坐标，此时变形完成，获得基本的形状模型；

(4)粘贴纹理：将对应的纹理信息按比例放置于模型上，中间不够的信息采用插值的方法得到；

(5)纹理插值：插值包含两部分，一部分是由于正面纹理信息不够而需要的插值，一部分是侧面缺少信息而需要插值，对于由于正面纹理信息不够而需要的插值，设置球体，计算球体内的纹理平均信息直接填补，对于由于侧面缺少信息而需要插值，采用加权的纹理信息来得到。

2、根据权利要求1所述的由一幅正面图像实现快速人脸模型重建的方法，其特征是，所述的(2)，将x、y方向上的特征点进行比例缩放，从而得到二维图像的“三维”特征点的x、y坐标；再将x、y的比例求其平均缩放对应三维标记点的深度信息作为新的特征点的深度。

3、根据权利要求1所述的由一幅正面图像实现快速人脸模型重建的方法，其特征是，所述的(4)，若模型不需要很多纹理信息，则对应位置上先求取平均再粘贴到模型制定位置上。

4、根据权利要求1所述的由一幅正面图像实现快速人脸模型重建的方法，其特征是，所述的(5)，取得框好边界的立体块，其中包含了侧面的纹理空缺点，同时也包含足够的纹理信息，对于任意一个位置纹理信息的点，将体积块以此点为中心分成若干扇形小块，沿着分成的方向取已有的纹理信息，再经距离加权，获得比较准确的纹理。

Images