CN103646416A - 一种三维卡通人脸纹理生成方法及设备 - Google Patents

Abstract

本发明提供一种三维卡通人脸纹理生成方法及设备，所述方法包括：获得三维卡通人脸模型的标准纹理贴图模板，定义该标准纹理贴图模板内的纹理Mask区域；基于纹理Mask区域的三角网格拓扑结构对二维人脸图片内的特征点进行三角剖分，得到与所述纹理Mask区域内的三角网格相对应的部分二维人脸图片内的三角网格。所述方法还包括将所述部分二维人脸图片进行变形，并且将变形后的部分二维人脸图片叠加到所述标准纹理贴图模板。本发明仅利用单张正面人脸照片就能生成整体效果较好的三维卡通人脸纹理贴图，并且可以在一定程度上增强三维卡通人脸模型与照片的相似度。

Description

一种三维卡通人脸纹理生成方法及设备

技术领域

本发明涉及计算机图形学技术领域，特别地，涉及一种三维卡通人脸纹理生成方法及设备。

背景技术

纹理贴图（Texture Mapping），或称纹理映射，是计算机图形学和计算可视化领域中的一项重要技术。目前，纹理贴图广泛应用于工业产品的形态设计、3D模拟、3D游戏、虚拟现实场景等的开发中。纹理贴图技术是将（通常是位图形式的）图像映射、叠加到计算机三维物体上的一种技术。通过纹理贴图，可以构造形态各异的物体表面的纹理特征、模仿各种材质，并且实现景物和环境的完全仿真。由于纹理贴图可以在不改变三维模型的几何信息的情况下达到真实感的视觉效果，并且不需要太多的计算开销就能够实现，因此它是用于表现真实感三维物体的一种常用技术手段。

三维卡通人脸是指对真实人脸进行夸张变形而得到的一种艺术形式。对于计算机三维卡通人脸模型而言，要展示其较好的卡通视觉效果，需要在以下两个方面具有较好的表现力：其一是人脸模型的三维网格拓扑结构，三维卡通人脸正是通过夸张变形的三维网格拓扑结构来表现其艺术加工效果的；其二是纹理贴图，通过纹理贴图可以增添与真实人脸更多的相似性。其中，人脸网格拓扑结构只能表现人脸的几何形状特征，而人脸表面的颜色特征，比如肤色、黑痣等，则需要通过纹理来表现，所以纹理在三维卡通人脸建模中起着非常重要的作用。最终的三维卡通人脸模型与原始照片相似与否，极大程度地取决于该三维模型的纹理，因此，为三维卡通人脸模型生成合适的纹理极为重要。

由于纹理获取的途径不同，目前的纹理生成方法可分为以下几类：

1）多张照片图像拼接。例如，可使用一张正面的照片和一张侧面的照片来拼接组成一张纹理，也可以用多张不同角度的照片拼接组成纹理，这类方法要求做到不同照片上同一特征点的标定要准确。多张照片拼接生成的纹理在正面通常都会有很好的效果，但其缺点是不同照片上的相同特征点难以准确对应，在偏离正面角度较大的情况下效果不是很理想，而且需要事先准备多张不同角度的照片。

2）视频图像拼接。可以通过跟踪视频中人脸的特征位置和姿态来获取不同角度的人脸纹理，然后把各种角度的纹理融合起来合成一张完整的纹理。该方法适用于在只有视频的条件下生成纹理，其产生的效果与多张照片图像拼接类似。

3）单张照片合成。可通过将正面照片垂直映射到相应的三维人脸模型上得到纹理图，并且对遮挡的纹理部分进行插值计算。该纹理贴图的正面效果较好，但是侧面纹理存在着一定的误差。

总的来说，与使用多张不同角度的照片相比，仅使用单张照片生成三维人脸纹理节省了成本，并且在一定程度上提高了纹理生成的效率。然而，使用单张照片的问题在于，由于侧面信息的缺失，导致侧面部分纹理生成的效果不够好，从而影响整体效果。而且现有的方法生成的纹理多针对真实感的三维人脸模型，对于三维卡通人脸模型来说，如何使用单张照片来生成卡通纹理并使添加了该纹理的三维卡通人脸具有较好的整体效果是极具挑战性的问题。

发明内容

为解决上述问题，根据本发明的一个实施例，提供了一种三维卡通人脸纹理生成方法，包括：

步骤1）、获得三维卡通人脸的标准纹理贴图模板中纹理Mask区域的三角网格拓扑结构；

步骤2）、基于所述纹理Mask区域内的三角网格，得到与其相对应的部分二维人脸图片内的三角网格；

步骤3）、将所述部分二维人脸图片进行变形，使其内的三角网格与所述纹理Mask区域内的三角网格一致；以及

步骤4）、将变形后的部分二维人脸图片叠加到所述标准纹理贴图模板。

在一个实施例中，所述方法还包括：

步骤5）、对叠加后的标准纹理贴图模板进行平滑处理。

在进一步的实施例中，步骤5）包括：

对叠加后的标准纹理贴图模板做边缘检测，在边缘处保留其梯度信息；在所述梯度信息的指导下使用泊松图像编辑对所述叠加后的标准纹理贴图模板进行处理；以及得到目标纹理贴图。

在一个实施例中，步骤2）包括：

基于所述纹理Mask区域的三角网格拓扑结构对二维人脸图片内的特征点进行三角剖分，得到与所述纹理Mask区域内的三角网格相对应的部分二维人脸图片内的三角网格。

在一个实施例中，步骤2）还包括：

在得到所述部分二维人脸图片内的三角网格之后，调整所述标准纹理贴图模板的颜色，使其与所述部分二维人脸图片的颜色接近。

在一个实施例中，步骤3）包括：

将所述部分二维人脸图片内的三角网格中的三角形进行变形，使得该三角形与其在所述纹理Mask区域内的对应三角形一致。

在进一步的实施例中，通过仿射变换将所述部分二维人脸图片内的三角网格中的三角形进行变形。

在一个实施例中，步骤1）之前还包括：

获得三维卡通人脸模型的标准纹理贴图模板；以及定义该标准纹理贴图模板内的纹理Mask区域。

根据本发明的一个实施例，还提供一种三维卡通人脸纹理生成设备，包括：

拓扑获取装置，用于获得三维卡通人脸的标准纹理贴图模板中纹理Mask区域的三角网格拓扑结构；

抠图装置，用于基于所述纹理Mask区域内的三角网格，得到与其相对应的部分二维人脸图片内的三角网格；

变形装置，用于将所述部分二维人脸图片进行变形，使其内的三角网格与所述纹理Mask区域内的三角网格一致；以及

叠加装置，用于将变形后的部分二维人脸图片叠加到所述标准纹理贴图模板。

在一个实施例中，所述设备还包括：

平滑装置，用于对叠加后的标准纹理贴图模板进行平滑处理。

采用本发明提供的三维卡通人脸纹理生成方法及设备，仅利用单张正面人脸照片就能生成整体效果较好的三维卡通人脸纹理贴图，与现有的采用多张不同角度照片生成纹理贴图的方法相比，具有操作简单、高效等优点。同时，所生成的纹理贴图的侧面效果也要好于现有的基于单张照片生成纹理贴图的方法。此外，将使用本发明生成的纹理贴图添加到三维卡通人脸模型后，可以在一定程度上增强模型与照片的相似度，使得所生成的三维卡通人脸模型更加生动形象。

附图说明

图1是根据本发明一个实施例的三维卡通人脸纹理生成方法的流程图；

图2A-2C是根据本发明一个实施例分别描述三维卡通人脸模型对应的标准纹理贴图模板、该标准纹理贴图模板中的纹理Mask区域，和该纹理Mask区域的网格拓扑结构的示意图；

图3是图2A所示的标准纹理贴图模板UV坐标的截图；

图4A-4C是根据本发明一个实施例分别描述输入人脸图片的网格拓扑结构、抠出的部分图片，和将抠出的部分图片经过变形叠加到标准纹理贴图模板的示意图；

图5是泊松图像编辑的示意图；

图6是根据本发明一个实施例对人脸图片进行泊松图像编辑的结果图；以及

图7是使用本发明提供的三维卡通人脸纹理生成方法对三维卡通人脸模型添加纹理后的结果图。

具体实施方式

下面结合附图和具体实施方式对本发明加以说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

根据本发明的一个实施例，提供一种三维卡通人脸纹理生成方法，图1示出了该方法的各个步骤。概括来说，该方法首先根据三维卡通人脸模型得到相对应的标准纹理贴图模板，并且定义该模板中将用于执行叠加操作的纹理Mask区域；接着，将输入的单张人脸照片（或称人脸图片或人脸图像）中的一部分人脸图片进行变形后叠加到标准纹理贴图模板；最后，使用图像的无缝拼接技术对标准纹理贴图模板进行平滑处理，得到一幅适用于上述三维卡通人脸模型的纹理贴图。

继续参考图1，对三维卡通人脸纹理生成方法展开详细描述。

步骤一、获得标准纹理贴图模板及纹理Mask区域

对于给定的三维卡通人脸模型，要生成其纹理贴图，需首先定义与该三维模型对应的二维标准纹理贴图模板。该二维标准纹理贴图模板在经过一系列处理后，所得到的目标纹理贴图可用于贴合到所述给定的三维卡通人脸模型。不同的三维卡通人脸模型可具有不同的标准纹理贴图模板，图2A示出了根据一个三维卡通人脸得到的标准纹理贴图模板示例，从图2A可见，该标准纹理贴图模板显示出五官轮廓等人脸特征。

在定义三维卡通人脸模型对应的标准纹理贴图模板的同时，还可获得该模板的UV坐标。在一个实施例中，可以首先利用本领域公知的技术对输入的三维卡通人脸模型定义一个初步的标准纹理贴图模板；接着，使用诸如Maya软件工具中的UV Texture Editor功能根据三维卡通人脸模型进一步调整该初步的标准纹理贴图模板，UV Texture Editor功能可以将UV坐标与三维卡通人脸的五官和脸部轮廓等特征部位对齐，得到最终的标准纹理贴图模板及其UV坐标。图3示出了图2A所示的标准纹理贴图模板的UV坐标，该UV坐标可标识二维标准纹理贴图模板的三角网格中每个三角形的顶点位置，利用该UV坐标可以将标准纹理贴图模板正确地贴合到对应的三维人脸模型上。

在得到三维卡通人脸模型对应的标准纹理贴图模板之后，可在该模板内定义纹理Mask区域，即需要用单张人脸图片中的部分图片进行叠加的区域。图2B示出了对于图2A所示的标准纹理贴图模板所定义的一个纹理Mask区域，其中白色部分为该纹理Mask区域。本文中，纹理Mask是就脸部轮廓内的一个区域进行描述的。

在定义了纹理Mask区域后，可以得到标准纹理贴图模板在该纹理Mask区域内的网格拓扑结构，即三角网格，如图2C所示。该网格拓扑结构中的每个三角形是与构成三维卡通人脸模型的三角面片一一对应的，当由三维卡通人脸模型得到对应的二维标准纹理贴图模板时，也能够得到每个三角面片在该二维标准纹理贴图模板上的对应的三角形，其中每个三角形的顶点具有一个UV坐标。

步骤二、将单张人脸图片中的部分图片进行变形后叠加到标准纹理贴图模板

在本步骤中，需要对输入的单张正面人脸图片进行特征点检测、图片抠图、图片变形，从而得到与标准纹理贴图模板的纹理Mask区域相对应的部分人脸图像，接着将该部分人脸图像叠加至标准纹理贴图模板。本步骤中通过对二维人脸图片中人脸的轮廓和五官进行识别和一定的变形，使得抠出的部分人脸图片能够正确对应三维卡通人脸模型上的各个五官部件，包括以下几个子步骤：

1、对于人脸图片，得到其与标准纹理贴图模板相对应的网格拓扑结构。

在一个实施例中，对于一张新输入的人脸图片，可采用发明人在标题为“数据驱动的卡通人脸夸张表现方法研究”的论文（中国科学院计算技术研究所博士学位论文，2009）中提供的方法来获得该人脸图片中的118个特征点的位置。其中，这些特征点包括脸部轮廓点和包含五官特征的轮廓点。在识别这些特征点后，可基于脸部轮廓点并且根据标准纹理贴图模板中纹理Mask区域的网格拓扑结构（其中先前定义的纹理Mask区域位于脸部轮廓内），对该人脸图片的特征点进行三角剖分，获得与如图2C所示的网格拓扑结构相对应的人脸图片的网格拓扑结构（三角网格）。这里，网格拓扑结构相对应指的是人脸图片中经过三角剖分得的三角形能够与纹理Mask区域中的三角形一一对应，如图4A所示。

三角剖分的结果是得到许多不同三角形的顶点坐标和像素区域，因此可建立这些三角形与纹理Mask区域的三角网格中的三角形及其顶点之间的一一映射关系。

2、根据所得到的人脸图片的三角网格，将其覆盖的区域从该人脸图片中抠出来，得到如图4B所示的部分人脸图片。

经过抠图，可得到用于叠加到标准纹理贴图模板的部分人脸图片。在一个实施例中，在进行抠图之后，还需要根据抠出的部分人脸图片对标准纹理贴图模板做一个整体的颜色变换调整，使得该标准模板与人脸图片的脸部纹理颜色接近。

3、将抠出的部分人脸图片进行变形，使其三角网格所覆盖的区域与标准纹理贴图模板的纹理Mask区域中的三角网格所覆盖的区域一致。

在一个实施例中，对人脸图片进行变形是通过对每个像素的坐标进行移动来实现的。在将人脸图片进行三角剖分之后，需要对所得到的每个三角形进行变形，使得该三角形与其在纹理Mask区域内对应的三角形一致。在一个实施例中，这一变形可通过仿射变换来实现。仿射变换是五种常见变换：平移、旋转、缩放、反射和错切的组合，下文说明了如何对三角形进行仿射变换。

假设二维平面内有两个不同的三角形，分别为源三角形T_s和目标三角形T_d，且假设从源三角形到目标三角形之间的仿射变换如下：

$\left(\begin{array}{c}{P}_d.x\\ P_d.y\\ 1\end{array}\right)=\left(\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{P}_S.x\\ P_S.y\\ 1\end{array}\right)---\left(1\right)$

其中，P_s.x、P_s.y分别为T_s中任意一点的x、y坐标，P_d.x、P_d.y分别为T_d中任意一点的x、y坐标。a_ij（i=1,2；j=1,2,3）为待定的仿射变换系数。

设a_ij构成以下矩阵：

$M=\left(\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\end{array}\right)---\left(2\right)$

若已知T_s和T_d的顶点分别为

和

则可以由这六个点的坐标，根据式（3）来唯一确定矩阵M：

$M=\left(\begin{array}{ccc}{P}_d^1.x& P_d^2.x& P_d^3.x\\ P_d^1.y& P_d^2.y& P_d^3.y\end{array}\right){\left(\begin{array}{ccc}{P}_S^1.x& P_S^2.x& P_S^3.x\\ P_S^1.y& P_S^2.y& P_S^3.y\\ 1& 1& 1\end{array}\right)}^{-1}---\left(3\right)$

得到矩阵M后，三角形内部所有像素点的映射便可以通过式（1）来实现，即实现了从源三角形到目标三角形的坐标变换。

4、将变形后的部分人脸图片叠加到标准纹理贴图模板的纹理Mask区域，如图4C所示。

步骤三、对叠加后的标准纹理贴图模板进行平滑处理，得到目标纹理贴图。

在一个实施例中，可采用Pérez等人提出的泊松图像编辑（Poisson Image Editing）方法来对修改过的标准纹理贴图模板进行平滑处理，并获得三维卡通人脸的目标纹理贴图。该泊松图像编辑主要利用了梯度不变的原则来实现图像的无缝过渡，从而提高纹理生成的整体效果。

图5是Poisson Image Editing的一个原理示意图，其中，g表示用以进行替换的一个区域，v表示g区域所包含的梯度信息，如果需要在梯度信息v指导下使用g无缝地替换S中被边界Ω所包含的区域，则需要使得替换后的梯度与原来的梯度误差最小，即：

$\underset{f}{\min }{\∫}_{\mathrm{\Ω}}\left|\right|\▿f-v|{|}^2$ 且 $f|\∂\mathrm{\Ω}=f^{*}|\∂\mathrm{\Ω}---\left(4\right)$

上式相当于求解一个Dirichlet边界条件下的泊松方程：

$\frac{{\∂}^{2}u}{{\∂x}^2}+\frac{{\∂}^{2}u}{{\∂y}^2}=f(x,y),$ 边界条件为 $f|\∂\mathrm{\Ω}=f^{*}|\∂\mathrm{\Ω}---\left(5\right)$

对其离散化后，可以得到下式：

f(x₁+1,x₂)+f(x₁-1,x₂)+f(x₁,x₂+1)+f(x₁,x₂-1)-4f(x₁,x₂)

=g(x₁+1,x₂)+g(x₁-1,x₂)+g(x₁,x₂+1)+g(x₁,x₂-1)-4g(x₁,x₂)  (6)

而公式（6）的右边都是已知的，这样，最终无缝过渡问题就可以等价为一个线性方程组的求解。

在一个实施例中，为了增加纹理贴图的卡通效果，可以通过对标准纹理贴图模板做一个边缘检测，然后只在边缘处保留其梯度信息，并在该梯度信息的指导下使用泊松图像编辑，则最终可得到具有一定卡通效果的平滑结果。效果如图6所示，其中图的右半部份是对图的左半部分进行泊松图像编辑得到的结果示意图。

根据本发明的一个实施例，还提供一种三维卡通人脸纹理生成设备，包括拓扑获取装置、抠图装置、变形装置、叠加装置和平滑装置。

其中，拓扑获取装置用于获得三维卡通人脸模型的标准纹理贴图模板，定义该标准纹理贴图模板内的纹理Mask区域，并且得到该纹理Mask区域的三角网格拓扑结构。

抠图装置用于基于纹理Mask区域的三角网格拓扑结构对二维人脸图片内的特征点进行三角剖分，得到与纹理Mask区域内的三角网格相对应的部分二维人脸图片内的三角网格。

此外，变形装置用于将部分二维人脸图片进行变形，使其内的三角网格与纹理Mask区域内的三角网格一致。叠加装置用于将变形后的部分二维人脸图片叠加到标准纹理贴图模板，并且平滑装置用于对叠加后的标准纹理贴图模板进行平滑处理。

为验证本发明提供的三维卡通人脸纹理生成方法的有效性，发明人针对四个不同的三维卡通人脸模型并且提供不同的二维人脸图片进行了实验。通过本发明提供的纹理生成方法分别获得了四个不同的目标纹理贴图，图7示出了将该目标纹理贴图贴合到对应三维卡通人脸模型的结果。其中，图7的第一行示例了输入的二维人脸图片，第二行是四个三维卡通人脸模型。图7的第三行和第四行分别示出了将生成的目标纹理贴图贴合到相应的三维卡通人脸模型后，每个三维卡通人脸模型的正面效果和侧面效果。可见，使用本发明提供的三维卡通人脸纹理生成方法，一定程度上增强了三维卡通人脸模型与输入的二维人脸图片之间的相似度，并且贴合后的三维模型的正面和侧面均具有较好的效果。

应该注意到并理解，在不脱离后附的权利要求所要求的本发明的精神和范围的情况下，能够对上述详细描述的本发明做出各种修改和改进。因此，要求保护的技术方案的范围不受所给出的任何特定示范教导的限制。

Claims (10)

1.一种三维卡通人脸纹理生成方法，包括：

步骤1）、获得三维卡通人脸的标准纹理贴图模板中纹理Mask区域的三角网格拓扑结构；

步骤2）、基于所述纹理Mask区域内的三角网格，得到与其相对应的部分二维人脸图片内的三角网格；

步骤3）、将所述部分二维人脸图片进行变形，使其内的三角网格与所述纹理Mask区域内的三角网格一致；以及

步骤4）、将变形后的部分二维人脸图片叠加到所述标准纹理贴图模板。

2.根据权利要求1所述的方法，还包括：

步骤5）、对叠加后的标准纹理贴图模板进行平滑处理。

3.根据权利要求2所述的方法，其中，步骤5）包括：

对叠加后的标准纹理贴图模板做边缘检测，在边缘处保留其梯度信息；

在所述梯度信息的指导下使用泊松图像编辑对所述叠加后的标准纹理贴图模板进行处理；以及

得到目标纹理贴图。

4.根据权利要求1-3中任何一个所述的方法，其中，步骤2）包括：

基于所述纹理Mask区域的三角网格拓扑结构对二维人脸图片内的特征点进行三角剖分，得到与所述纹理Mask区域内的三角网格相对应的部分二维人脸图片内的三角网格。

5.根据权利要求1-3中任何一个所述的方法，其中，步骤2）还包括：

在得到所述部分二维人脸图片内的三角网格之后，调整所述标准纹理贴图模板的颜色，使其与所述部分二维人脸图片的颜色接近。

6.根据权利要求1-3中任何一个所述的方法，其中，步骤3）包括：

将所述部分二维人脸图片内的三角网格中的三角形进行变形，使得该三角形与其在所述纹理Mask区域内的对应三角形一致。

7.根据权利要求6所述的方法，在步骤3）中，

通过仿射变换将所述部分二维人脸图片内的三角网格中的三角形进行变形。

8.根据权利要求1-3中任何一个所述的方法，其中，步骤1）之前还包括：

获得三维卡通人脸模型的标准纹理贴图模板；以及

定义该标准纹理贴图模板内的纹理Mask区域。

9.一种三维卡通人脸纹理生成设备，包括：

拓扑获取装置，用于获得三维卡通人脸的标准纹理贴图模板中纹理Mask区域的三角网格拓扑结构；

抠图装置，用于基于所述纹理Mask区域内的三角网格，得到与其相对应的部分二维人脸图片内的三角网格；

变形装置，用于将所述部分二维人脸图片进行变形，使其内的三角网格与所述纹理Mask区域内的三角网格一致；以及

叠加装置，用于将变形后的部分二维人脸图片叠加到所述标准纹理贴图模板。

10.根据权利要求9所述的设备，其中，所述设备还包括：

平滑装置，用于对叠加后的标准纹理贴图模板进行平滑处理。

Images