CN102222363B - 从人脸图像快速构建高精度个性化人脸模型的方法 - Google Patents

Abstract

本发明公开了一种从人脸图像快速构建高精度个性化人脸模型的方法，属于计算机视觉和计算机图形学交叉领域，用于解决从真实人脸图像中快速重建个性化人脸三维几何模型和高精度人脸二维纹理贴图这一问题。该方法包括以下步骤：首先从多个角度拍摄5张人脸图像；其次在人脸图像和中性人脸模型上标记41个特征点的位置和对应关系；接着将中性人脸模型在虚拟摄像机焦平面上的投影与人脸图像对齐；然后对中性人脸模型进行层次化几何变形得到个性化人脸几何模型；最后根据5张人脸图像合成高精度人脸纹理贴图。本发明提供的人脸建模方法具有数据采集方便、建模速度快、建模精度高等优点，在视频通信、电子游戏、人机交互等领域具有较高的实用价值。

Description

从人脸图像快速构建高精度个性化人脸模型的方法

技术领域

本发明专利涉及计算机视觉和计算机图形学交叉领域，特别是涉及一种从人脸图像快速构建高精度个性化人脸模型的方法。

背景技术

计算机视觉和计算机图形学技术的进步促进了互动式数字媒体产业的诞生和发展。虚拟角色作为参与者在虚拟世界中的代表，将现实世界中的人物代入到虚拟世界中，在影视制作、游戏娱乐、视频通信等领域具有广泛应用。人脸是人类表达感情、气质和情绪最为重要的部分之一，具有个性化、多样化、形象化等特征。随着人们对虚拟角色娱乐性和真实感要求的不断提高，构建与参与者本人相似的真实感虚拟角色成为学术界和工业界的研究开发重点。

至今已经有多种人脸建模方法提出。第一类是交互式人脸建模方法。建模人员利用通用三维建模软件，例如Autodesk公司的3DS MAX或MAYA，完全手动构建人脸模型的每个细节元素，其优点是对人脸建模细节的控制更加精确，缺点是建模操作复杂、建模工作量大，并且构建与真实人脸相似的人脸模型需要较高的建模技巧。第二类是三维人脸扫描方法。建模人员利用三维激光扫描仪对人脸进行数据采集，获得人脸点云，然后进行去噪、光顺、网格化等处理，生成三维人脸模型，其优点是建模精度高，缺点是操作复杂、建模速度慢，并且需要特殊的硬件设备，建模成本较高。第三类是从人脸图像或人脸视频中重建出三维人脸模型。这类方法使用人脸图像或视频中的几何、纹理等信息驱动人脸模型逐步生成，其优点是建模速度快、操作简便、建模成本低，缺点是建模精度有一定损失。

近年来，许多研究者都对第三类人脸建模方法进行了深入研究。一些研究者设计出了“Light Stage 5”装置，用于构建高度真实感的人脸模型及人脸表情。该人脸建模装置包含156个LED结构光源和一个每秒可拍摄4800帧图像的高速数码相机，用于在各种光照条件下拍摄一组人脸照片并进行建模。该装置已成功应用于电影《阿凡达》的特效制作和“The Digital Emily”项目中，虽然其重建的人脸模型非常真实，但是人脸建模时间较长、建模成本也较高，参见O.Alexander，M.Rogers，W.Lambeth，M.Chiang，P.Debevec，Creating aPhotoreal Digital Actor：The Digital Emily Project，SIGGRAPH 2009 CourseNotes：The Digital Emily Project，12：1-12：15。为减少人脸建模复杂性，一些研究者使用7个数码相机一次性拍摄一组人脸图像，然后利用立体视觉原理重建出人脸模型，参见T.Beeler，B.Bickel，P.Beardsley，M.Gross，HighQuality Single-Shot Capture of Facial Geometry，ACM Transactions onGraphics，29(4)：40：1-40：9，但该方法制作成本仍然较高。还有一些研究者提出使用一张人脸照片构建人脸模型，虽然建模操作简单实用，但是重建的人脸模型往往精度较低，参见Y.Ye，M.Zhang，H.Li，R.Jiang，X.Tang，Z.Pan，EasyFace：a Realistic Face Modeling and Facial Animation AuthoringSystem，Proceeding of VRCAI 2009，113-117。

上述人脸建模方法，或是建模成本高，或是建模周期长，或是建模精度低，无法在保证较低建模成本的同时，又提供较高的建模精度和较快的建模速度。由于数码相机目前已经成为非常普及的电子消费品，为满足人们对虚拟角色娱乐性和真实感的要求，因此研发低成本、高精度、个性化的快速人脸建模技术十分必要。

发明内容

本发明克服了现有技术中的缺点，提供了一种从人脸图像快速构建高精度个性化人脸模型的方法，结合计算机视觉和计算机图形学前沿技术，可从5张人脸图像中快速重建出个性化人脸三维几何模型和高精度人脸二维纹理贴图，既降低了建模成本又保证了建模精度，使得用户利用普通数码相机即可快速制作出自身的虚拟人脸模型，可应用于视频游戏、数字娱乐、视频通信等领域。

本发明的技术方案包括以下五个步骤：

1)从5个角度获取5张真实人脸图像

分别从人脸的正面、左侧面45度、左侧面90度、右侧面45度、右侧面90度拍摄5张人脸图像，人脸图像的分辨率应达到宽1024个像素和高1024个像素以上；

2)标记41个特征点的位置和特征点的对应关系

分别在5张人脸图像和中性人脸模型上按轮廓特征点、位置特征点、形状特征点三个层次和顺序标记41个特征点位置和特征点对应关系：

2.1)标记14个轮廓特征点，包括1个头顶轮廓点、1个发际轮廓点、2个眉骨轮廓点、2个颧骨轮廓点、2个脸颊轮廓点、1个鼻梁轮廓点、1个鼻尖轮廓点、1个鼻根轮廓点、1个嘴巴轮廓点、2个下巴轮廓点；

2.2)标记9个位置特征点，包括2个眉毛位置点、2个眼睛位置点、2个颧骨位置点、1个鼻子位置点、1个嘴巴位置点、1个下巴位置点；

2.3)标记18个形状特征点，包括4个眉毛形状点、8个眼睛形状点、2个鼻翼形状点、4个嘴角形状点；

3)对齐人脸图像和中性人脸模型

把中性人脸模型和5个虚拟摄像机放置在世界坐标系中，将5张人脸图像作为纹理贴图分别映射到5个虚拟摄像机的焦平面上，调整虚拟摄像机的位置、朝向和焦平面距离，使得中性人脸模型在虚拟摄像机焦平面上的投影与5张人脸图像都对齐；

4)特征点驱动中性人脸模型层次化几何变形生成个性化人脸三维几何模型

分别以轮廓特征点、位置特征点、形状特征点作为约束点，采用网格模型微分坐标和拉普拉斯算子对中性人脸模型进行层次化几何变形，生成所有特征点都对齐的个性化人脸三维几何模型；

5)根据5张人脸图像逐像素合成高精度人脸二维纹理贴图

在人脸三维几何模型的二维纹理图像空间上采用扫描线算法对每个三角形进行扫描，计算扫描得到的每个纹元对应到人脸三维几何模型上的顶点坐标和该顶点处的法向，将该顶点投影到5个虚拟摄像机的焦平面上，获取5个投影点对应的像素颜色值，对5个像素颜色值进行插值，得到该纹元的颜色值，将该颜色值填充到二维纹理贴图上对应的纹理坐标处，得到高精度的人脸二维纹理贴图。

本发明与背景技术相比，具有的有益的效果是：

本发明采用计算机视觉和计算机图形学相结合的原理，使用特征点驱动的层次化几何变形和多图像源的逐像素人脸纹理贴图合成技术，能根据5张人脸图像快速重建出个性化人脸三维几何模型和高精度人脸二维纹理贴图，有效地克服了现有方法亦或建模成本高，亦或建模精度低的缺点，使得利用普通数码相机即可快速制作出高精度个性化的三维人脸模型，可满足视频通信、电子游戏等领域中快速构建个性化人脸模型的需求。

附图说明

图1是本发明方法的技术方案流程图。

图2是人脸特征点层次化结构图。

图3是特征点驱动的层次化几何变形流程图。

图4是多图像源的逐像素人脸纹理贴图合成原理图。

具体实施方式

在实施本发明一种从人脸图像快速构建高精度个性化人脸模型的方法时，具体步骤如下：

第一步，从5个角度获取5张真实人脸图像。

分别从人脸的正面、左侧面45度、左侧面90度、右侧面45度、右侧面90度拍摄真实人脸的5张图像。拍摄时可以手持数码相机，最好采用三脚架固定数码相机，以提高人脸数据采集精度。每个拍摄角度允许不超过10度的误差，最好将拍摄角度误差控制在5度以内，并使得5张人脸图像上的像素能够以最佳效果完整覆盖人脸的所有细节。拍摄人脸图像时，保持数码相机焦距不变，光照条件要求人脸上应无明显阴影和高光，并且人脸上光照分布较为均匀。拍摄的5张人脸图像应具有相同分辨率，且分辨率不低于1024个像素宽、1024个像素高。

第二步，在人脸图像和中性人脸模型上标记特征点。

分别在5张人脸图像以及中性人脸模型上按以下层次和顺序标记出41个特征点的位置和特征点对应关系：

(1)标记14个轮廓特征点，包括1个头顶轮廓、1个发际轮廓点、2个眉骨轮廓点、2个颧骨轮廓点、2个脸颊轮廓点、1个鼻梁轮廓点、1个鼻尖轮廓点、1个鼻根轮廓点、1个嘴巴轮廓点、2个下巴轮廓点；

(2)标记9个位置特征点，包括2个眉毛位置点、2个眼睛位置点、2个颧骨位置点、1个鼻子位置点、1个嘴巴位置点、1个下巴位置点；

(3)标记18个形状特征点，包括4个眉毛形状点、8个眼睛形状点、2个鼻翼形状点、4个嘴角形状点。

41个特征点的位置和对应关系参见图2。在人脸图像上，特征点位置用图像像素的二维坐标表示，特征点对应关系用特征点序号表示。在中性人脸模型上，特征点位置用模型顶点的三维坐标表示，特征点对应关系同样用特征点序号表示。

第三步，将5张人脸图像和中性人脸模型对齐。

首先将中性人脸模型顶点的坐标归一化到(-1，-1，-1)至(1，1，1)范围内，并将中性人脸模型放置于世界坐标系中，中性人脸模型中心与坐标系原点重合，人脸向上方向为Y轴，人脸正面向前方向为Z轴，人脸左侧面90度为X轴。将5个虚拟摄像机CF、CL、CFL、CR、CFR放置在世界坐标系中，虚拟摄像机观察方向均朝向中性人脸模型，CF放置于正Z轴上，CL放置于负X轴上，CR放置于正X轴上，CFL放置于正Z轴和负X轴角平分线上，CRL放置于正Z轴和正X轴角平分线上，虚拟摄像机与中性人脸模型之间的相对位置与拍摄人脸图像时一致。将5个虚拟摄像机的焦平面设置为半透明状态，并将5张人脸图像作为纹理贴图分别映射到对应的焦平面上，调整焦平面的距离和虚拟摄像机的朝向使得中性人脸模型在焦平面上的投影与人脸图像大致对齐。由于个性化人脸与中性人脸模型之间的差异，人脸轮廓特征点、位置特征点和形状特征点一般不能完全对齐，这将通过第四步进行调整。

第四步，特征点驱动中性人脸模型进行层次化几何变形得到个性化人脸三维几何模型。

令M＝(V，E，F)为中性人脸模型的三维几何网格，其中V为顶点集合，E为边集合，F为三角形集合。令|V|＝n，V中的顶点表示为v_i＝(x，y，z)，i＝{1，2，...，n}，x、y、z为世界坐标系下坐标，E中的边表示为e＝(i，j)，F中的三角形表示为f＝(i，j，k)，其中i、j、k为顶点索引。进行以下层次化几何变形操作，操作流程参见图3。

(1)计算顶点的微分坐标向量δ，计算公式如下：

${\mathrm{\δ}}_i=v_i-\frac{\underset{j\∈N\left(i\right)}{\mathrm{\Σ}}{v}_j}{d_i}$

其中N(i)＝{j|(i，j)∈E}，为第i个顶点一环领域内的顶点索引集合，d_i＝|N(i)|为第i个顶点的度，即第i个顶点一环领域内顶点的数量。

(2)对网格M应用拉普拉斯算子得到矩阵L，计算公式如下：

(3)进行轮廓特征点驱动的几何变形。将人脸图像的轮廓特征点作为约束点，求解线性方程组AX＝B，计算得到个性化人脸几何模型顶点的新坐标。

其中A为n+14行n列矩阵，计算公式如下：

X为n行1列矩阵，为待求解模型顶点的x坐标分量，表示为：

X＝(x₁，x₂，...，x_n)^T

B为n+14行1列矩阵，计算公式如下：

$B_i=\left\{\begin{array}{cc}{d}_i{\mathrm{\δ}}_i,& i\≤n\\ \mathrm{\δx},& i>n\end{array}\right.$

其中δx为人脸图像上轮廓特征点反投影到中性人脸模型上的x坐标分量。

对x、y、z求解线性方程组AX＝B三次分别得到个性化人脸几何模型顶点新的x、y、z坐标。

(4)进行位置特征点驱动的几何变形。观察人脸三维几何模型在5个虚拟摄像机焦平面上的投影，如果所有41个特征点基本对齐，则直接跳到第五步；否则进一步优化人脸三维几何模型。优化方法与操作(3)相似。此时，A为n+23行n列矩阵，X仍为n行1列矩阵，B为n+23行1列矩阵，并将轮廓特征点和位置特征点同时作为约束点，轮廓特征点对应的B矩阵元素取其原坐标，位置特征点对应的B矩阵元素取人脸图像上位置特征点反投影到中性人脸模型上的坐标分量。

(5)进行形状特征点驱动的几何变形。继续观察得到的人脸三维几何模型在5个虚拟摄像机焦平面上的投影，如果所有特征点基本对齐，则直接跳到第五步；否则进一步优化人脸三维几何模型。优化方法与操作(3)相似。此时，A为n+41行n列矩阵，X仍为n行1列矩阵，B为n+41行1列矩阵，并将轮廓特征点、位置特征点和形状特征点同时作为约束点，轮廓特征点和位置特征点对应的B矩阵元素取其原坐标，形状特征点对应的B矩阵元素取人脸图像上形状特征点反投影到中性人脸模型上的坐标分量。

第五步，根据5张人脸图像合成高精度人脸二维纹理贴图。

遍历并处理F中每个三角形，令当前处理的三角形为f＝(i，j，k)，即当前三角形由顶点v_i、v_j和v_k组成，其顶点纹理坐标分别为t_i、t_j、t_k。利用扫描线算法在二维纹理图像空间对三角形(t_i，t_j，t_k)进行扫描，得到的纹元标记为TE，其纹理坐标为t_e，对每个纹元TE进行如下操作：

(1)计算纹元TE对应到人脸三维几何模型上顶点坐标v_e，计算公式如下：

$V_e=\frac{S_{t_e{t}_j{t}_k}}{S_{t_i{t}_j{t}_k}}{V}_i+\frac{S_{t_e{t}_i{t}_k}}{S_{t_i{t}_j{t}_k}}{V}_j+\frac{S_{t_e{t}_i{t}_j}}{S_{t_i{t}_j{t}_k}}{V}_k$

其中

表示三角形(t_i、t_j、t_k)的面积。

(2)计算顶点v_e处的法向量n_e，计算公式如下：

$n_e=\frac{S_{v_e{v}_j{v}_k}}{S_{v_i{v}_j{v}_k}}{n}_i+\frac{S_{v_e{v}_i{v}_k}}{S_{v_i{v}_j{v}_k}}{n}_j+\frac{S_{v_e{v}_i{\text{v}}_j}}{S_{v_i{v}_j{v}_k}}{n}_k$

其中n_e、n_i、n_j、n_k分别表示顶点v_e、v_i、v_j、v_k处的法向量。

(3)令n_F、n_R、n_L、n_FR、n_FL分别表示5个虚拟摄像机的光轴方向向量，将顶点v_e投影到5个虚拟摄像机焦平面上，得到投影点像素颜色值分别为p_F、p_R、p_L、p_FR、p_FL，用以下公式计算纹元TE的颜色值p_e：

$p_e=\frac{A(n_e\·n_F)p_F+A(n_e\·n_R)p_R+A(n_e\·n_L)p_L+A(n_e\·n_{\mathrm{FR}})p_{\mathrm{FR}}+A(n_e\·n_{\mathrm{FL}})p_{\mathrm{FL}}}{\mathrm{WA}}$

WA＝A(n_e·n_F)+A(n_e·n_R)+A(n_e·n_L)+A(n_e·n_FR)+A(n_e·n_FL)

$A\left(x\right)=\left\{\begin{array}{cc}x,& x\&GreaterEqual;0\\ 0,& x<0\end{array}\right.$

其中(·)表示两个向量的点积。

(4)将计算得到的颜色值p_e填充到二维人脸纹理贴图的纹理坐标t_e处。

扫描处理完所有三角形的所有纹元后，即可得到一张完整的高精度人脸二维纹理贴图，人脸纹理贴图合成原理参见如图4。

Claims (1)

1.一种从人脸图像快速构建高精度个性化人脸模型的方法，其特征在于：

1)从5个角度获取5张真实人脸图像

分别从人脸的正面、左侧面45度、左侧面90度、右侧面45度、右侧面90度拍摄5张人脸图像，人脸图像的分辨率应达到宽1024个像素和高1024个像素以上；

2)标记41个特征点的位置和特征点的对应关系

分别在5张人脸图像和中性人脸模型上按轮廓特征点、位置特征点、形状特征点三个层次和顺序标记41个特征点位置和特征点对应关系：

2.1)标记14个轮廓特征点，包括1个头顶轮廓点、1个发际轮廓点、2个眉骨轮廓点、2个颧骨轮廓点、2个脸颊轮廓点、1个鼻梁轮廓点、1个鼻尖轮廓点、1个鼻根轮廓点、1个嘴巴轮廓点、2个下巴轮廓点；

2.2)标记9个位置特征点，包括2个眉毛位置点、2个眼睛位置点、2个颧骨位置点、1个鼻子位置点、1个嘴巴位置点、1个下巴位置点；

2.3)标记18个形状特征点，包括4个眉毛形状点、8个眼睛形状点、2个鼻翼形状点、4个嘴角形状点；

3)对齐人脸图像和中性人脸模型

把中性人脸模型和5个虚拟摄像机放置在世界坐标系中，将5张人脸图像作为纹理贴图分别映射到5个虚拟摄像机的焦平面上，调整虚拟摄像机的位置、朝向和焦平面距离，使得中性人脸模型在虚拟摄像机焦平面上的投影与5张人脸图像都对齐；

4)特征点驱动中性人脸模型层次化几何变形生成个性化人脸三维几何模型

分别以轮廓特征点、位置特征点、形状特征点作为约束点，采用网格模型微分坐标和拉普拉斯算子对中性人脸模型进行层次化几何变形，生成所有特征点都对齐的个性化人脸三维几何模型；

5)根据5张人脸图像逐像素合成高精度人脸二维纹理贴图

在人脸三维几何模型的二维纹理图像空间上采用扫描线算法对每个三角形进行扫描，计算扫描得到的每个纹元对应到人脸三维几何模型上的顶点坐标和该顶点处的法向量，将该顶点投影到5个虚拟摄像机的焦平面上，获取5个投影点对应的像素颜色值，对5个像素颜色值进行插值，得到该纹元的颜色值，将该颜色值填充到二维纹理贴图上对应的纹理坐标处，得到高精度的人脸二维纹理贴图。

Images