CN107316340B - 一种基于单张照片的快速人脸建模方法 - Google Patents

Abstract

本发明公开了一种基于单张照片的快速人脸建模方法，具体包括以下几个步骤：建立各种标准脸型的三维模型库；通过人脸识别技术对输入的人脸照片进行人脸特征点识别；基于人脸特征点对照片人脸进行缩放、平移、旋转，使照片人脸和uv平面下的人脸网格初步重合；将特征人脸和uv人脸完全重合；提取人脸特征区域，与原始的纹理贴图进行泊松融合，生成新的贴图；对新的贴图进行美白磨皮操作；根据脸型轮廓参数和人脸轮廓特征点求解权值，重建新的三维人脸模型；将新的人脸贴图和新的三维人脸模型进行纹理映射，可以获得完整的三维人脸模型。本发明可以通过单张照片，快速的生成与照片贴近的三维人脸模型。

Description

一种基于单张照片的快速人脸建模方法

技术领域

本发明涉及一种基于单张照片的快速人脸建模方法，属于人脸重建技术领域。

背景技术

自从上世纪70年代Parke建立第一个三维人脸模型以来，三维人脸重建就成为了计算机图形学领域中的研究重点，并取得了一定的突破和进展。三维人脸重建的应用领域非常广泛，可以用于影视动漫、医学图形、人脸识别、虚拟试发、虚拟试衣等。

传统的人脸建模往往是由美工手工进行建模，会耗费大量的时间和人力，也使得三维人头重建的技术难以普及。现有的快速人脸建模方法稳定性低、建模速度慢、用户体验差。而如果有一种手段，使得通过单张正面人脸照片就可以实现对三维人头模型的重建，这样就会使得三维人头模型的重建效率大大提高，无论是游戏玩家，还是动漫开发人员。因此，基于单张照片的三维人头建模的研究意义十分重要。

发明内容

针对现在技术存在的不足之处，本方法的目的是提供一种基于单张照片的快速人脸建模方法，本发明的方法稳定性高，用户体验好，可以通过单张照片，快速的生成与照片贴近的三维人脸模型。

为了实现上述目的，本发明通过如下技术方案来实现：

本发明的一种基于单张照片的快速人脸建模方法，具体包括以下几个步骤：

(1)建立各种标准脸型的三维模型库；

(2)通过人脸识别技术对输入的正面人脸照片进行人脸特征点识别；

(3)基于人脸特征点对照片人脸进行缩放、平移、旋转，使照片人脸和uv平面下的人脸网格初步重合；

(4)使用滑动最小二乘变换，使得特征人脸和uv人脸完全重合；

(5)提取人脸特征区域，该区域宽度为大于人脸宽度，高度为眉毛以上及下巴以下的正方形区域；与原始的纹理贴图进行泊松融合，生成新的贴图；

(6)对新的贴图进行美白磨皮操作；

(7)根据脸型库中映射到xoy平面的脸型轮廓参数和人脸轮廓特征点求解权值，重建新的三维人脸模型；

(8)将新的人脸贴图和新的三维人脸模型进行纹理映射(因为人脸贴图和三维人脸模型是配套的，所以直接进行纹理映射)，可以获得完整的三维人脸模型。

步骤(1)中，标准脸型包括长脸、鹅蛋脸、方脸、梨脸、菱形脸、心脸和圆脸；各种标准脸型的三维模型库的建立方法如下：

对于脸型库中的每一个标准脸型模型，都要在三维网格上标定好的特征点，所有模型共用一张原始纹理贴图，原始纹理贴图根据输入照片重建。

步骤(2)中，使用Stasm4.1+opencv实现对人脸77个关键点的提取，特征点包括五官以及轮廓。

步骤(4)中，特征人脸和uv人脸完全重合的方法如下：

以人脸五官特征点集合p和UV人脸五官特征点集合q作为控制点，实现图像变形；公式如下：

l_v(x)＝(x-p_*)M+q_*

其中x为原点，l_v(x)为变换后区域，p_*和q_*分别为特征点集合参数和控制点集合参数；

其中M为线性变换矩阵，求解方法为：

其中w_i为权重系数，求解方法如下：

其中v表示图像中待变换的坐标点，α为指数系数，(可进行调整，一般取0.7)；

p_*,q_*的求解方法如下：

步骤(5)中，新的贴图生产方法如下：

将原始照片和原始的纹理贴图转换成hsv颜色空间表示，分别对三个通道进行比较，并进行平均处理，h通道处理过程如下：

h_ori表示原有图片或贴图的h通道值，h_avg表示原有贴图和图片的h通道平均值，w为权重系数(取值一般为0.3)；

对s通道、v通道的处理方法与h通道一致；

之后对人脸特征区域进行提取，使用泊松融合，将提取出的特征部分与美工制作好的原始的纹理贴图进行像素融合。

步骤(6)中，对新的贴图进行美白磨皮操作的公式如下：

其中，v_i(x,y)为第i个人脸轮廓特征点的像素值，w(x,y)为像素点的原像素值；β为参数，取值为[2,3,4,5]，且系数越高，美白的程度越高。

步骤(7)中，根据脸型库中映射到xoy平面的脸型轮廓参数，具体为三维人脸在二维平面映射后的脸部轮廓参数，和人脸轮廓特征点求解权值，重建新的三维人脸模型的方法如下：

对于给定的正面人脸照片，提取出照片人脸轮廓的特征点，并对特征点坐标值进行归一化处理，得到向量T_input；将标准脸型库中已有的模型投影到xoy平面，假定目前有七个模型，同样作归一化的处理，得到T₁,T₂…T₇.得到公式：

其中，a1……a7为权值,

最后可求解权值α，公式如下：

其中ΔT为ΔT_i的向量集，通过权值α，对原有的7个标准脸型模型进行加权计算，可生成新的脸型模型。

本发明只需通过一张正面的高清人脸照片，即可获取与真实人脸较为逼近的人脸模型；本发明使用Stasm进行人脸特征点识别，在此基础上，通过对面部照片变形，截取特征部分，与原有贴图进行泊松融合；并通过对模型库中的模型和照片轮廓进行权值求解，通过权值建立新的模型。与现有的技术相比，本发明的人脸建模方案速度更快，可生成与照片人脸较为逼近的三维人脸模型，可用于娱乐、游戏等领域。

附图说明

图1为本发明的基于单张照片的快速人脸建模方法工作流程图；

图2为标准脸型库中的脸型；

图3为纹理贴图生成方式；

图4为映射到xoy平面的标准脸型库人脸轮廓和照片人脸轮廓。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

参见图1，本发明具体包括以下几个步骤：

(1)建立标准的脸型库和通用人脸背景贴图

本方案首先需要建立标准的脸型库，理论上，脸型库中各种不同标准脸型的数量越多，最后生成的人脸模型与实际人脸更为接近。本方案暂时使用了七种标准的人脸模型，分别有长脸，鹅蛋脸，方脸，梨脸，菱形脸，心脸，圆脸，基本覆盖了东方美女的几种常见的脸型。对于脸型库中的每个模型，都要对人脸的特征点进行标定，因为标准脸型库中的模型顶点的标号一致，所以标定一个模型的特征点，其余模型的特征点标号也一致。为所有模型制作一张共用的原始纹理贴图，该贴图需要根据输入的照片进行调整。

(2)生成三维人脸模型的贴图

理论上我们可以直接通过对照片中的人脸区域进行变形，使其与UV平面的人脸关键点一一对应，但是用此方案生成的贴图效果不够理想，会出现贴图无法覆盖整个模型，纹理不匹配的问题。

先由美工绘制好人脸背景贴图。然后通过以下步骤生成贴图。

a)通过对照片人脸进行调整，使其与UV人脸特征点完全重合。

先根据人脸特征点的得出一个脸部区域的包围盒，在对比背景贴图的脸部的包围盒，由这两个矩形区域得到缩放的系数，对照片脸部区域进行缩放，并通过适当平移和旋转，使的贴图包围盒和脸部区域的包围盒重合。然后使用MLS变形，对人脸特征区域进行变形，使得人脸特征点与UV人脸特征点部分完全重合。主要公式如下：

l_v(x)＝(x-p_*)M+q_*

其中M为线性变换矩阵：

其中

以及p_*,q_*的求解方法

b)对变形后的脸部区域进行截取，并和原有贴图进行泊松梯度融合。

将照片和原有贴图转换成hsv颜色空间表示，分别对三个通道进行比较，并进行平均处理，处理过程以h通道为例，过程如下：

其中h_ori为图片和贴图原有的h通道值，h_avg为照片和贴图的h通道平均值，w为权重系数，可根据实验数据设定，暂时设定w＝0.5.

对s，v通道的处理方案与h一致。通过该方法，可使照片人脸区域和贴图与颜色过度较为平滑。接着进行泊松梯度融合，主要过程为确定泊松融合区域，构建泊松矩阵，求解泊松矩阵，部分区域内外判断，及像素填充。

(3)对贴进行美白，磨皮等优化处理

对已经生成的贴图进行美白、磨皮的操作，使得生成的贴图效果更为逼真，其主要公式如下：

其中β取值为[2,3,4,5]，且系数越高，美白的程度越高，磨皮效果越大。但是β的取值并非越高越好，美白过高，磨皮太过都会使得图像细节丢失。一般使得β＝3较为合理。然后确定肤色取值的区域，投票确定平均像素值，比较每一个像素点的像素值，只需要整体做一个亮度阈值的约束。

(4)根据照片人脸，与脸型库模型的模型进行权值计算，生成新的模型。

首先需要提取出正面人脸照片的轮廓特征点，根据Stasm提取的特征点，脸部轮廓特征点约有19个，并对其进行归一化处理，得到轮廓特征点的向量集T_input。该向量具体为

其中v_i(x,y)第i个人脸轮廓特征点的坐标值为x，y。表示然后我们将模型库中的标准脸型模型(当前为7个)投影到xoy平面，同样进行归一化处理，并得到向量集T₁,T₂…T₇。其中T_i的形式与T_input一致。

根据上面的向量，我们可以得到如下的方程：

其中，

求解上述方程，我们可以得到

所以我们可以求出权值向量

根据这个权值，我们可以将其代入到三维模型中对标准脸型库中的七个模型进行加权求值，从而可以获得一个新的三维脸型模型。将新的人脸贴图和新的人脸模型进行纹理映射，可得到一个与真实人脸较为接近的三维人脸模型。

参见图2所示，建立起标准的脸型库，其中包括长脸，鹅蛋脸，方脸，梨脸，菱形脸，心脸，圆脸等。

参见图3所示，我们先由美工绘制好一张人脸贴图背景，该贴图特征点与uv人脸特征点时一一对应的。然后我们通过对输入照片进行相应的变形处理，使用泊松融合将其与原有的贴图融合，生成一个新的贴图。

参见图4所示，将照片人脸特征点提取出来，并将标准库中的人脸轮廓映射到xoy平面得到7中不同的特征点，通过这两个特征值，我们进行权值求解，求解除人脸轮廓和三维人脸轮廓的权值关系，并通过该权重得出新的三维人脸模型。以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (1)

1.一种基于单张照片的快速人脸建模方法，其特征在于，具体包括以下几个步骤：

(1)建立各种标准脸型的三维模型库；

(2)通过人脸识别技术对输入的正面人脸照片进行人脸特征点识别；

(3)基于人脸特征点对照片人脸进行缩放、平移、旋转，使照片人脸和uv平面下的人脸网格初步重合；

(4)使用滑动最小二乘变换，使得特征人脸和uv人脸完全重合；

(5)提取人脸特征区域，该区域宽度为大于人脸宽度，高度为眉毛以上及下巴以下的正方形区域；与原始的纹理贴图进行泊松融合，生成新的贴图；

(6)对新的贴图进行美白磨皮操作；

(7)根据脸型库中映射到xoy平面的脸型轮廓参数和人脸轮廓特征点求解权值，重建新的三维人脸模型；

(8)将新的人脸贴图和新的三维人脸模型进行纹理映射，可以获得完整的三维人脸模型；

步骤(1)中，标准脸型包括长脸、鹅蛋脸、方脸、梨脸、菱形脸、心脸和圆脸；各种标准脸型的三维模型库的建立方法如下：

对于脸型库中的每一个标准脸型模型，都要在三维网格上标定好特征点，所有模型共用一张原始纹理贴图，原始纹理贴图根据输入照片重建；

步骤(2)中，使用Stasm4.1+opencv实现对人脸77个关键点的提取，特征点包括五官以及轮廓；

步骤(4)中，特征人脸和uv人脸完全重合的方法如下：

以人脸五官特征点集合p和uv人脸五官特征点集合q作为控制点，实现图像变形；公式如下：

l_v(x)＝(x-p_*)M+q_*

其中x为原点，l_v(x)为变换后区域，p_*和q_*分别为特征点集合参数和控制点集合参数；

其中M为线性变换矩阵，求解方法为：

其中w_i为权重系数，求解方法如下：

其中v表示图像中待变换的坐标点，α为指数系数；

p_*,q_*的求解方法如下：

步骤(5)中，新的贴图生产方法如下：

将原始照片和原始的纹理贴图转换成hsv颜色空间表示，分别对三个通道进行比较，并进行平均处理，h通道处理过程如下：

h_ori表示原有图片或贴图的h通道值，h_avg表示原有贴图和图片的h通道平均值，w为权重系数；

对s通道、v通道的处理方法与h通道一致；

之后对人脸特征区域进行提取，使用泊松融合，将提取出的特征部分与美工制作好的原始的纹理贴图进行像素融合；

步骤(6)中，对新的贴图进行美白磨皮操作的公式如下：

其中，v(x,y)为人脸轮廓特征点的像素值，w(x,y)为像素点的原像素值；β为参数，取值为2或3或4或5，且系数越高，美白的程度越高；

步骤(7)中，根据脸型库中映射到xoy平面的脸型轮廓参数，具体为三维人脸在二维平面映射后的脸部轮廓参数，和人脸轮廓特征点求解权值，重建新的三维人脸模型的方法如下：

对于给定的正面人脸照片，提取出照片人脸轮廓的特征点，并对特征点坐标值进行归一化处理，得到向量T_input；将标准脸型库中已有的模型投影到xoy平面，假定目前有七个模型，同样作归一化的处理，得到T₁,T₂...T₇.得到公式：

其中，α₁,α₂,...,α₇为权值,

最后可求解权值α，公式如下：

其中ΔT为ΔT_i的向量集，通过权值α，对原有的7个标准脸型模型进行加权计算，可生成新的脸型模型。

Images