CN108492373B - 一种人脸浮雕几何建模方法 - Google Patents

Abstract

本发明公开了一种人脸浮雕几何建模方法，属于浮雕建模领域，解决现有人像浮雕建模效率低、自动化差的问题；其方法包括如下步骤：对输入的单张人脸图像进行人脸关键特征点定位，获取人脸图像特征点；基于BFM参数化人脸模型构建初始3D人脸；基于Bi‑Laplacian约束点位移法对初始3D人脸进行形状优化，生成形状优化后3D人脸；基于人脸图像光照强度与3D人脸几何法向之间的联系对形状优化后3D人脸进行高度场优化，生成高度优化后3D人脸；对高度场优化后3D人脸进行线性压缩，生成原始3D人脸浮雕，并通过基于关键点约束的Bi‑Laplacian网格变形法对原始人脸浮雕进行几何细节优化，生成具备丰富几何细节的人脸浮雕。

Description

一种人脸浮雕几何建模方法

技术领域

本发明涉及浮雕建模领域，具体地说是一种人脸浮雕几何建模方法。

背景技术

人像浮雕是浮雕艺术的一种常见类型，它在背景平面或曲面上雕刻出凹凸起伏的人物形象，加上光线的运用塑造出空间感，在单一材质和有限的体积厚度内传递人物形态，是介于2D肖像和3D雕塑之间的一种艺术表现形式。根据厚度不同，人像浮雕可以分为浅浮雕和高浮雕两种类型。

传统数字人像浮雕设计以手工建模为主，专业性强，设计师需要在软件平台上(如ArtCAM、Type3、JDPaint)构造点线面进行大量虚拟雕刻，人机交互复杂，设计一件作品需要花费几个小时时间。如何提高人像浮雕的设计效率解决的技术问题。

发明内容

本发明的技术任务是针对以上不足，提供一种人脸浮雕几何建模方法，来解决现有人像浮雕建模效率低、自动化差的问题。

本发明的技术任务是按以下方式实现的：

一种人脸浮雕几何建模方法，以单张人脸图像为输入，在网格域进行三维几何自动重构，根据用户指定的厚度和映射角度生成人脸浮雕模型，包括如下步骤：

S1、对输入的单张人脸图像进行人脸关键特征点定位，获取人脸图像特征点；

S2、基于BFM参数化人脸模型构建初始3D人脸；

S3、基于Bi-Laplacian约束点位移法对初始3D人脸进行形状优化，生成形状优化后3D人脸；

S4、基于人脸图像光照强度与形状优化后3D人脸几何法向之间的联系，通过人脸高度场泊松重建方法对形状优化后3D人脸进行高度场优化，生成高度场优化后3D人脸；

S5、对高度场优化后3D人脸进行线性压缩，生成原始3D人脸浮雕，并通过人脸高度场泊松重建方法对原始人脸浮雕进行几何细节优化，生成具备丰富几何细节的人脸浮雕。

通过人脸图像特征点定位、构建初始3D人脸、对初始3D人脸进行形状优化、对形状优化后3D人脸进行高度场优化，对高度优化后3D人脸进行优化生成人脸浮雕五个步骤，在少量人机互动的基础上生成可自主设定浮雕高度和映射角度的人脸浮雕。

进一步的，步骤S2基于BFM参数化人脸模型构建初始3D初始人脸，包括如下步骤：

S21、BFM人脸表示为M＝(μ,σ,t)，基于上述BFM人脸，3D人脸在BFM模型空间表示为S(α)＝μ+t·diag(σ)·α，其中α为形状因子，μ∈R^3m为平均人脸，m为3D人脸网格顶点数量，σ∈R^n-1为形状标准偏差，t＝(t₁,t₂,......,t_n)∈R^3m×n-1为n-1个经过PCA分解的标准正交基；

S22、人脸图像特征点像素坐标表示为f_i'＝(w_i,h_i)，平均人脸图像特征点空间坐标表示为g_i＝(x_i,y_i,z_i)，将人脸图像特征点像素坐标逆映射为BFM模型空间坐标，BFM模型空间坐标表示为f_i＝(x_i,y_i,z_i)，BFM模型空间坐标与平均人脸图像特征点空间坐标之间的坐标差表示为D＝(d₁,d₂,......,d_n)^T∈R^2m withd_i＝f_i-g_i；

S23、输入矩阵Q∈R^2m×n with q_ij＝σ_j·t_ij，输入矩阵Q的SVD奇异值分解式表示为Q＝U·W·V with W∈R^2m×n，通过上述输入矩阵Q的SVD奇异值分解式构建形状因子，形状因子的表达式为

S24、将上述形状因子的表达式代入3D人脸在BFM模型空间的表达式，生成初始3D人脸。

进一步的，步骤S3中基于Bi-Laplacian约束点位移法对初始3D人脸进行形状优化，包括如下步骤：

S31、选取人脸图像特征点作为约束点，求解约束点由当前位置移动至目标位置的约束点位置变动量；

S32、基于上述约束点位置变动量采用硬约束通过Bi-Laplacian约束点位移法求解并带动3D人脸中除约束点之外的其它3D人脸顶点产生位移。

进一步的，步骤S4基于人脸图像光照强度与形状优化后3D人脸几何法向之间的联系对形状优化后3D人脸进行高度场优化，包括如下步骤：

S41、通过二次光照模型模拟人脸图像的当前光照环境，计算形状优化后3D人脸网格顶点亮度，并对形状优化后3D人脸网格顶点亮度进行光照细节分割，得到形状优化后3D人脸顶点亮度的中低频组分和高频组分；

S42、以形状优化后3D人脸网格顶点亮度的中低频组分为目标亮度，以形状优化后3D人脸法向为初始值，通过基于半球网格模型的三角面片法向搜索方法对形状优化后3D人脸的每个三角面片进行法向搜索，生成3D人脸的目标法向；

S43、以3D人脸的目标法向为输入，通过高度场泊松重建方法对形状优化后3D人脸进行高度场优化，生成高度场优化后3D人脸。

步骤S41中通过计算形状优化后3D人脸顶点亮度，该亮度可理解为灰度，可通过亮度看到人脸的明暗变化。

步骤S42中通过基于半球网格模型的三角面片法向搜索方法进行法向搜索，该方法降低了法向搜索的运算复杂度，尤其相对于传统的梯度下降法或牛顿迭代法。

进一步的，步骤S41包括如下步骤：

S411、在全局光照条件下，形状优化后3D人脸网格顶点亮度S_i表示为形状优化后3D人脸网格顶点法向的二次函数：对称矩阵A∈R^3×3，向量b∈R^3×1，c为常量，n_i为形状优化后3D人脸网格顶点法向，形状优化后3D人脸网格顶点亮度S_i的取值范围为0～255，对称矩阵A、向量b和常量c组成二次光照参数，以形状优化后3D人脸网格顶点法向n_i和人脸图像内对应的像素亮度I_i为输入条件，通过最小二乘法计算上述二次光照参数；

S412、以形状优化后3D人脸网格顶点法向n_i和上述二次光照参数为输入条件，计算形状优化后3D人脸网格顶点亮度S_i；

S413、形状优化后3D人脸网格顶点亮度S_i和人脸图像内对应的像素亮度I_i的亮度差l_i表示为l_i＝I_i-S_i，通过能量最小化提取亮度差l_i的中低频组分，能量最小化公式表示为通过求解上述能量最小化公式得到形状优化后3D人脸网格顶点亮度的高频组分r_i，r_i＝l_i-l'_i。

进一步的，步骤S5包括如下步骤：

S51、将高度场优化后3D人脸变换至指定映射角度，在指定映射角度下对高度场优化后3D人脸的高度坐标进行归一化并进行线性压缩，生成原始人脸浮雕；

S52、以人脸图像像素亮度为目标亮度，以3D人脸的目标法向为初始值，通过基于半球网格模型的三角面片法向搜索方法进行法向二次搜索，生成浮雕人脸的目标法向；

S53、以人脸浮雕的目标法向为输入，基于人脸高度场泊松重建方法对原始浮雕人脸进行高度场优化，生成高度场优化后的浮雕人脸。

进一步的，步骤S42以及步骤S52中基于半球网格模型的三角面片法向搜索方法，包括如下步骤：

L1、在人脸图像的当前光照环境下计算半球网格模型的亮度范围，亮度范围记为[b_min,b_max]，并将亮度范围均分为多个半球亮度区间，每个半球亮度区间内均包括多个具有相同亮度的半球顶点，上述位于同一个半球亮度区间内、且具有相同亮度的半球顶点记为候选顶点；

L2、将上述亮度范围设定为目标亮度，根据三角面片的目标亮度搜索到对应的半球亮度区间，半球亮度区间内每个半球顶点的亮度和与其对应的三角面片的目标亮度一致；

L3、根据法向夹角最小判断准则，位于同一半球亮度区间内的所有候选顶点中其法向与三角面片输入法向夹角最小的候选顶点法向为对应三角面片的目标法向。

进一步的，步骤S43以及步骤S53中人脸高度场泊松重建方法，包括如下步骤：

M1、通过欧拉-拉格朗日方程推导目标函数生成泊松方程ΔH＝div(g)，上述泊松方程等价于求解稀疏线性系统L·z＝b，其中，L为人脸网格顶点的Laplacian矩阵，z为人脸网格顶点的高度坐标向量，b为人脸网格顶点的散度向量；

M2、将每个三角面片沿其中心旋转至目标法向位置，计算每个三角面片的高度梯度，并基于三角面片的高度梯度计算人脸网格顶点高度方向的散度；

M3、对人脸内部进行高度不变的位置约束，稀疏线性系统变形为位置约束后稀疏线性系统L²·z＝L^Tb，其中L²为Bi-Laplacian矩阵。

进一步的，步骤S43还包括如下步骤：区分3D人脸网格顶点在泊松重建过程中的变形比重，并在位置约束后稀疏线性系统的两侧同时乘以对称的对角矩阵M，位置约束后稀疏线性系统变形为M·L²·z＝M·L^Tb，M的对角元素为每个3D人脸网格顶点的权因子ω_j，ω_j＝exp(λ·l'_i)，l'_i为亮度补偿值，λ为常数。

进一步的，步骤S53还包括如下步骤：区分原始浮雕人脸网格顶点在泊松重建过程中的变形比重，并在位置约束后稀疏线性系统的两侧同时乘以对称的对角矩阵M，位置约束后稀疏线性系统变形为M·L²·z＝M·L^Tb，M的对角元素为每个原始浮雕人脸网格顶点的权因子ω_j，ω_j＝exp(λ·r_i)，r_i为3D人脸网格顶点亮度的高频亮度，λ为常数。

本发明的一种人脸浮雕几何建模方法具有以下优点：

1、自动构建人脸五官凹凸起伏变化，无需用户手工干涉；

2、人脸上的法令纹、眼袋、皱纹等关键几何特征和几何细节自动生成；

3、仅需单张图像为输入，可自动生成人脸浅浮雕和人脸高浮雕，并可以生成不同投影角度的人脸浮雕。

附图说明

下面结合附图对本发明进一步说明。

附图1为实施例一种人脸浮雕几何建模方法的步骤框图；

附图2为实施例一种人脸浮雕几何建模方法中步骤S1人脸图像特征点编号效果图；

附图3为实施例一种人脸浮雕几何建模方法中光照细节分隔前的人脸图像；

附图4为实施例一种人脸浮雕几何建模方法中3D人脸网格顶点亮度的中低频亮度图像；

附图5为实施例一种人脸浮雕几何建模方法中3D人脸网格顶点亮度的中亮度残差图像；

附图6为实施例一种人脸浮雕几何建模方法中不同厚度压缩系数的人脸浮雕对比图；

附图7为实施例一种人脸浮雕几何建模方法中不同映射角度的人脸浮雕对比图；

附图8为实施例一种人脸浮雕几何建模方法中不同输入角度的人脸浮雕对比图；

附图9为实施例一种人脸浮雕几何建模方法中不同表情的人脸浮雕对比图。

具体实施方式

参照说明书附图和具体实施例对本发明的一种人脸浮雕几何建模方法作以下详细地说明。

实施例：

如附图1所示，本发明的一种人脸浮雕几何建模方法，以单张人脸图像为输入，在网格域进行三维几何自动重构，根据用户指定的厚度和映射角度生成人脸浮雕模型，包括如下步骤：

S1、对输入的单张人脸图像进行人脸关键特征点定位，获取人脸图像特征点；

S2、基于BFM参数化人脸模型构建初始3D人脸；

S3、基于Bi-Laplacian约束点位移法对初始3D人脸进行形状优化，生成形状优化后3D人脸；

S4、基于人脸图像光照强度与3D人脸几何法向之间的联系对形状优化后3D人脸进行高度场优化，生成高度优化后3D人脸；

S5、对高度场优化后3D人脸进行线性压缩，生成原始3D人脸浮雕，并通过基于关键点约束的Bi-Laplacian网格变形法对原始人脸浮雕进行几何细节优化，生成具备丰富几何细节的人脸浮雕。

其中，步骤S1中，为了保证人脸浮雕建模精度，本实施例中采用120特征点模型，如图附图2所示，其中1-83#特征点由Face++软件进行人脸关键特征点自动定位，84-120#特征点由用户手工标记位置坐标。

获取人脸图像特征点后，通过步骤S2构建初始3D人脸，具体操作步骤为：

S21、BFM人脸表示为M＝(μ,σ,U)，基于上述BFM人脸，3D人脸在BFM模型空间表示为：

S(α)＝μ+U·diag(σ)·α (1)

其中α为形状因子，μ∈R^3m为平均人脸，m为人脸网格顶点数量，m＝53490，σ∈R^n-1为形状标准偏差，U＝(u₁,u₂,......,u_n)∈R^3m×n-1为n-1个经过PCA分解的标准正交基，n＝200；

S22、人脸图像特征点像素坐标表示为f_i'＝(w_i,h_i)，平均人脸图像特征点空间坐标表示为g_i＝(x_i,y_i,z_i)，在OpenGL环境里通过gluUnProject语句将人脸图像特征点像素坐标逆映射为BFM模型空间坐标，BFM模型空间坐标表示为f_i＝(x_i,y_i,z_i)，BFM模型空间坐标与平均人脸图像特征点空间坐标之间的坐标差表示为D＝(d₁,d₂,......,d_n)^T∈R^2m withd_i＝f_i-g_i；

S23、输入矩阵Q∈R^2m×n with q_ij＝σ_ij·u_ij，输入矩阵Q的SVD奇异值分解式为：Q＝U·W·V with W∈R^2m×n，通过上述输入矩阵Q的SVD奇异值分解式构建形状因子，形状因子的表达式为：

其中η＝1.0×10⁷；

S24、将上述公式(2)的形状因子的表达式代入3D人脸在BFM模型空间的表达式(1)，生成初始3D人脸。

初始3D人脸构建后，其形状与人脸图像之间存在差距，为了提高3D人脸的形状精度，通过步骤S3对初始3D人脸进行形状优化，生成形状优化后3D人脸。步骤S3包括如下步骤：

S31、选取人脸图像特征点作为约束点，通过Bi-Laplacian约束点位移法求解约束点由当前位置移动至目标位置的约束点位置变动量，Bi-Laplacian约束点位移线性方程为：

其中，L²为Bi-Laplacian矩阵、等价于两个Laplacian矩阵的乘积L²＝L·L，L为Laplacian矩阵，I_k为单位矩阵，n为网格顶点总数量，n'为自由顶点数量，m为约束点数量，m＝n-n'＝120，约束点位置变动量d_i＝f_i-g_i为上述Bi-Laplacian约束点位移线性方程系统的边界条件；

S32、基于上述约束点位置变动量采用硬约束将每个约束点移位至目标位置，并带动3D人脸中除约束点之外的其它3D人脸网格顶点产生位移，其中，3D人脸的最终位置为v‘_i＝v_i+d_i，i＝0,1,.....n，由于采用硬约束，120个约束点精确位移到目标位置，3D人脸整体形状得以优化。

形状优化后3D人脸沿用了初始3D人脸的高度分布，没有几何细节，高度外观与人脸图像存在较大差距。通过步骤S4对形状优化后3D人脸进行高度优化，具体包括如下操作步骤：

S41、通过二次光照模型模拟人脸图像的当前光照环境，计算形状优化后3D人脸网格顶点亮度，并对形状优化后3D人脸网格顶点亮度进行光照细节分割，得到形状优化后3D人脸网格顶点亮度的中低频组分和高频组分；

S42、以形状优化后3D人脸网格顶点亮度的低频亮度为目标亮度，以形状优化后3D人脸法向为初始值，通过基于半球网格模型的三角面片法向搜索方法对形状优化后3D人脸的每个三角面片进行法向搜索，生成3D人脸的目标法向；

S43、以3D人脸的目标法向为输入，基于人脸高度场泊松重建方法对形状优化后3D人脸进行高度场优化，生成高度场优化后的3D人脸。

本实施例中，步骤S41具体包括如下操作步骤：

S411、在全局光照条件下，形状优化后3D人脸网格顶点亮度S_i表示为形状优化后3D人脸网格顶点法向的二次函数：

其中，对称矩阵A∈R^3×3，向量b∈R^3×1，c为常量，n_i为形状优化后3D人脸网格顶点法向，形状优化后3D顶点亮度S_i的取值范围为0～255，对称矩阵A、向量b和常量c组成二次光照参数，以形状优化后3D人脸网格顶点法向n_i和人脸图像内对应的像素亮度I_i为输入条件，通过最小二乘法计算上述二次光照参数，考虑到眉毛、嘴唇、胡须的光照反射系数与人脸皮肤有一定差异，本实施例仅选择鼻子区域和未包含胡须的人脸区域顶点参与运算；

S412、以形状优化后3D人脸网格顶点法向n_i和上述二次光照参数为输入条件，通过公式(4)计算形状优化后3D人脸网格顶点亮度S_i；

S413、形状优化后3D人脸网格顶点亮度S_i和人脸图像内对应的像素亮度I_i的亮度差l_i表示为l_i＝I_i-S_i，整个形状优化后3D人脸内，亮度差l_i(或称为亮度补偿量)存在较大噪声分布，为了使其光滑连续，接下来通过能量最小化提取亮度差l_i的中低频组分，能量最小化公式为：

其中，能量函数的第二项用来约束亮度差的整体幅度，第三项用来使亮度差保持Bi-Laplacian连续，l‘_i为光顺后的亮度差，默认条件下，系数μ₁＝1.0，μ₂＝100.0。该能量函数等价于求解一个无约束条件的稀疏线性系统。

通过求解上述能量最小化公式生成3D人脸网格顶点亮度的高频亮度r_i，r_i＝l_i-l'_i，人脸图像细节如皱纹、毛孔均包含在残差内，如附图3、附图4和附图5所示。

基于形状优化后3D人脸网格顶点亮度的中低频组分，在步骤S42中通过基于半球网格模型的三角面片法向搜索方法对形状优化后3D人脸的每个三角面片进行法向搜索，具体包括如下操作步骤：

S421、在人脸图像的当前光照环境下计算半球网格模型(21185个顶点)的亮度范围，亮度范围记为[b_min,b_max]，并将亮度范围均分为n个半球亮度区间，每个半球亮度区间内均包括多个具有相同亮度的半球顶点，上述位于同一个半球亮度区间内、且具有相同亮度的半球顶点记为候选顶点；

S422、将上述亮度范围设定为目标亮度，根据三角面片的目标亮度搜索到对应的半球亮度区间，半球亮度区间内每个半球顶点的亮度和与其对应的三角面片的目标亮度一致；

S423、根据法向夹角最小判断准则，位于同一半球亮度区间内的所有候选顶点中其法向与三角面片输入法向夹角最小的候选顶点法向为对应三角面片的目标法向。

基于上述3D人脸的目标法向，通过步骤S43对形状优化后3D人脸进行高度优化，具体包括如下操作步骤：

S431、目标函数为：

通过欧拉-拉格朗日方程推导目标函数，生成泊松方程：

ΔH＝div(g') (7)

上述泊松方程等价于求解稀疏线性系统：

L·z＝b (8)

其中，L为网格顶点的Laplacian矩阵，z为人脸网格顶点的高度坐标向量，b为人脸网格顶点的散度向量；

S432、将每个三角面片沿其中心旋转至目标法向位置，计算每个三角面片的高度梯度，并基于三角面片的高度梯度计算人脸网格顶点高度方向的散度；

S433、对形状优化后3D人脸内部进行高度不变的位置约束，稀疏线性系统变形为位置约束后稀疏线性系统：

L²·z＝L^Tb (9)

其中，L²为Bi-Laplacian矩阵，位置约束方式类似公式(3)采用硬约束。

S434、为区分形状优化后3D人脸网格顶点在泊松重建过程中的变形比重，在位置约束后稀疏线性系统的两侧同时乘以对称的对角矩阵M，位置约束后稀疏线性系统变形为：

M·L²·z＝M·L^Tb (10)

其中，M的对角元素为每个3D人脸网格顶点的权因子ω_j，ω_j＝exp(λ·l'_i)，l'_i为亮度补偿值，λ为常数，默认λ＝0.1。

高度场优化后，人脸法令线等大尺度特征逐渐显现，高度优化后3D人脸逐渐接近目标图像，但仍缺少几何纹理细节。接下来通过步骤S5对高度优化后3D人脸法向进一步优化，生成指定映射角度和压缩厚度的人脸浮雕，在保持原有高度优化后3D人脸五官几何架构的前提下，使人脸中频低几何细节和高频细节同时显现。步骤S5包括如下步骤：

S51、将高度优化后3D人脸变换至指定映射角度(α，β，θ)，其中，α是以y轴为旋转轴的左右摆角，β是以x轴为旋转轴的上下摆角，θ是以z轴为旋转轴的平面旋转角，在当前指定映射角度下对高度优化后3D人脸的高度坐标进行归一化并进行线性压缩，生成原始人脸浮雕：

z'＝λ·(z-z_max)/(z_max-z_min) (11)

其中，z_max为人脸最大高度值，z_min为人脸最小高度值，λ为厚度压缩系数；

S52、线性压缩后的人脸浮雕五官会出现外观模糊和几何细节丢失现象，为了强化人脸几何细节，以人脸图像像素亮度为目标亮度，以步骤S42中得到的3D人脸的目标法向为初始值，通过基于半球网格模型的三角面片法向搜索方法进行二次法向搜索，即对高度优化后3D人脸的每个三角面片进行法向搜索，生成浮雕人脸的目标法向；

S53、以浮雕人脸的目标法向为输入，基于人脸高度场泊松重建方法对原始浮雕人脸进行高度场优化，生成高度优化后的浮雕人脸。

步骤S52中通过基于半球网格模型的三角面片法向搜索方法对高度优化后3D人脸的每个三角面片进行法向搜索，具体操作步骤为：

S521、在人脸图像的当前光照环境下计算半球网格模型(21185个顶点)的亮度范围，亮度范围记为[b_min,b_max]，并将亮度范围均分为n个半球亮度区间，每个半球亮度区间内均包括多个具有相同亮度的半球顶点，上述位于同一个半球亮度区间内、且具有相同亮度的半球顶点记为候选顶点；

S522、将上述亮度范围设定为目标亮度，根据三角面片的目标亮度搜索到对应的半球亮度区间，半球亮度区间内每个半球顶点的亮度和与其对应的三角面片的目标亮度一致；

S523、根据法向夹角最小判断准则，位于同一半球亮度区间内的所有候选顶点中其法向与三角面片输入法向夹角最小的候选顶点法向为对应三角面片的目标法向。

步骤S53基于人脸高度场泊松重建方法对原始浮雕人脸进行高度场优化，具体操作步骤为：

S531、目标函数为：

通过欧拉-拉格朗日方程推导目标函数，生成泊松方程：

ΔH＝div(g') (7)

上述泊松方程等价于求解稀疏线性系统：

L·z＝b (8)

其中，L为网格顶点的Laplacian矩阵，z为人脸网格顶点的高度坐标向量，b为人脸网格顶点的散度向量；

S532、将每个三角面片沿其中心旋转至目标法向位置，计算每个三角面片的高度梯度，并基于三角面片的高度梯度计算原始浮雕人脸网格顶点高度方向的散度；

S533、对原始浮雕人脸内部进行高度不变的位置约束，稀疏线性系统变形为位置约束后稀疏线性系统：

L²·z＝L^Tb (9)

其中，L²为Bi-Laplacian矩阵，位置约束方式类似公式(3)采用硬约束。

S534、为区分原始浮雕人脸网格顶点在泊松重建过程中的变形比重，在位置约束后稀疏线性系统的两侧同时乘以对称的对角矩阵M，位置约束后稀疏线性系统变形为M·L²·z＝M·L^Tb，M的对角元素为每个原始浮雕人脸网格顶点的权因子ω_j，ω_j＝exp(λ·r_i)，r_i为形状优化后3D人脸网格顶点亮度的高频亮度，λ为常数，默认λ＝0.1。

泊松重建后的人脸浮雕保持了目标法向内的几何细节，其外观相比原始人脸浮雕有了较大改进，同时五官高低分布与原有高度优化后3D人脸保持一致。

在实际操作中，通过变换厚度压缩系数λ，可获得不同压缩的人脸浮雕，如附图6所示；通过变换映射角度(α，β，θ)，可获得不同映射角度的人脸浮雕，附图7所示；通过输入不同输入角度的单张人脸图像，可获得不同输入角度的人脸浮雕，如附图8所示；通过输入不同表情的单张人脸图像，可获得不同表情的人脸浮雕，如附图9所示。

通过上面具体实施方式，所述技术领域的技术人员可容易的实现本发明。但是应当理解，本发明并不限于上述的具体实施方式。在公开的实施方式的基础上，所述技术领域的技术人员可任意组合不同的技术特征，从而实现不同的技术方案。除说明书所述的技术特征外，均为本专业技术人员的已知技术。

Claims (9)

1.一种人脸浮雕几何建模方法，其特征在于以单张人脸图像为输入，在网格域进行三维几何自动重构，根据用户指定的厚度和映射角度生成人脸浮雕模型，包括如下步骤：

S1、对输入的单张人脸图像进行人脸关键特征点定位，获取人脸图像特征点；

S2、基于BFM参数化人脸模型构建初始3D人脸；

S3、基于Bi-Laplacian约束点位移法对初始3D人脸进行形状优化，生成形状优化后3D人脸，包括：选取人脸图像特征点作为约束点，求解约束点由当前位置移动至目标位置的约束点位置变动量；基于上述约束点位置变动量，采用硬约束通过Bi-Laplacian约束点位移法求解并带动初始3D人脸中除约束点之外的其它3D人脸网格顶点产生位移；

Bi-Laplacian约束点位移线性方程为：

其中，L²为Bi-Laplacian矩阵、等价于两个Laplacian矩阵的乘积L²＝L·L，L为Laplacian矩阵，I_k为单位矩阵，n为形状优化后3D人脸顶点总数量，n'为自由顶点数量，m为约束点数量，m＝n-n'，约束点位置变动量d_i＝f_i-g_i为上述Bi-Laplacian约束点位移线性方程系统的边界条件；

S4、基于人脸图像光照强度与形状优化后3D人脸几何法向之间的联系，通过人脸高度场泊松重建方法对形状优化后3D人脸进行高度场优化，生成高度场优化后3D人脸；

S5、对高度场优化后3D人脸进行线性压缩，生成原始3D人脸浮雕，并通过人脸高度场泊松重建方法对原始人脸浮雕进行几何细节优化，生成具备丰富几何细节的人脸浮雕。

2.根据权利要求1所述的一种人脸浮雕几何建模方法，其特征在于步骤S2基于BFM参数化人脸模型构建初始3D初始人脸，包括如下步骤：

S21、BFM人脸表示为M＝(μ,σ,t)，基于上述BFM人脸，3D人脸在BFM模型空间表示为S(α)＝μ+t·diag(σ)·α，其中α为形状因子，μ∈R^3m为平均人脸，m为3D人脸网格顶点数量，σ∈R^n-1为形状标准偏差，t＝(t₁,t₂,......,t_n)∈R^3m×n-1为n-1个经过PCA分解的标准正交基；

S22、人脸图像特征点像素坐标表示为f_i'＝(w_i,h_i)，平均人脸图像特征点空间坐标表示为g_i＝(x_i,y_i,z_i)，将人脸图像特征点像素坐标逆映射为BFM模型空间坐标，BFM模型空间坐标表示为f_i＝(x_i,y_i,z_i)，BFM模型空间坐标与平均人脸图像特征点空间坐标之间的坐标差表示为D＝(d₁,d₂,......,d_n)^T∈R^2mwith d_i＝f_i-g_i；

S23、输入矩阵Q∈R^2m×nwith q_ij＝σ_j·t_ij，输入矩阵Q的SVD奇异值分解式表示为Q＝U·W·V with W∈R^2m×n，通过上述输入矩阵Q的SVD奇异值分解式构建形状因子，形状因子的表达式为

S24、将上述形状因子的表达式代入3D人脸在BFM模型空间的表达式，生成初始3D人脸。

3.根据权利要求2所述的一种人脸浮雕几何建模方法，其特征在于步骤S4基于人脸图像光照强度与形状优化后3D人脸几何法向之间的联系对形状优化后3D人脸进行高度场优化，包括如下步骤：

S41、通过二次光照模型模拟人脸图像的当前光照环境，计算形状优化后3D人脸网格顶点亮度，并对形状优化后3D人脸网格顶点亮度进行光照细节分割，得到形状优化后3D人脸顶点亮度的中低频组分和高频组分；

S42、以形状优化后3D人脸网格顶点亮度的中低频组分为目标亮度，以形状优化后3D人脸法向为初始值，通过基于半球网格模型的三角面片法向搜索方法对形状优化后3D人脸的每个三角面片进行法向搜索，生成3D人脸的目标法向；

S43、以3D人脸的目标法向为输入，通过高度场泊松重建方法对形状优化后3D人脸进行高度场优化，生成高度场优化后3D人脸。

4.根据权利要求3所述的一种人脸浮雕几何建模方法，其特征在于步骤S41包括如下步骤：

S411、在全局光照条件下，形状优化后3D人脸顶点网格亮度S_i表示为形状优化后3D人脸网格顶点法向的二次函数：对称矩阵A∈R^3×3，向量b∈R^3×1，c为常量，n_i为形状优化后3D人脸网格顶点法向，形状优化后3D人脸网格顶点亮度S_i的取值范围为0～255，对称矩阵A、向量b和常量c组成二次光照参数，以形状优化后3D人脸网格顶点法向n_i和人脸图像内对应的像素亮度I_i为输入条件，通过最小二乘法计算上述二次光照参数；

S412、以形状优化后3D人脸网格顶点法向n_i和上述二次光照参数为输入条件，计算形状优化后3D人脸网格顶点亮度S_i；

S413、形状优化后3D人脸网格顶点亮度S_i和人脸图像内对应的像素亮度I_i的亮度差l_i表示为l_i＝I_i-S_i，通过能量最小化提取亮度差l_i的中低频组分，能量最小化公式表示为通过求解上述能量最小化公式得到形状优化后3D人脸网格顶点亮度的高频组分r_i，r_i＝l_i-l′_i，l_i'为光顺后的亮度差，L²为Bi-Laplacian矩阵、等价于两个Laplacian矩阵的乘积L²＝L·L，L为Laplacian矩阵。

5.根据权利要求4所述的一种人脸浮雕几何建模方法，其特征在于步骤S5包括如下步骤：

S51、将高度场优化后3D人脸变换至指定映射角度，在指定映射角度下对高度场优化后3D人脸的高度坐标进行归一化并进行线性压缩，生成原始人脸浮雕；

S52、以人脸图像像素亮度为目标亮度，以3D人脸的目标法向为初始值，通过基于半球网格模型的三角面片法向搜索方法进行法向二次搜索，生成浮雕人脸的目标法向；

S53、以人脸浮雕的目标法向为输入，基于人脸高度场泊松重建方法对原始浮雕人脸进行高度场优化，生成高度场优化后的浮雕人脸。

6.根据权利要求5所述的一种人脸浮雕几何建模方法，其特征在于步骤S42以及步骤S52中基于半球网格模型的三角面片法向搜索方法，包括如下步骤：

L1、在人脸图像的当前光照环境下计算半球网格模型的亮度范围，亮度范围记为[b_min,b_max]，并将亮度范围均分为多个半球亮度区间，每个半球亮度区间内均包括多个具有相同亮度的半球顶点，上述位于同一个半球亮度区间内、且具有相同亮度的半球顶点记为候选顶点；

L2、将上述亮度范围设定为目标亮度，根据三角面片的目标亮度搜索到对应的半球亮度区间，半球亮度区间内每个半球顶点的亮度和与其对应的三角面片的目标亮度一致；

L3、根据法向夹角最小判断准则，位于同一半球亮度区间内的所有候选顶点中其法向与三角面片输入法向夹角最小的候选顶点法向为对应三角面片的目标法向。

7.根据权利要求5所述的一种人脸浮雕几何建模方法，其特征在于步骤S43以及步骤S53中人脸高度场泊松重建方法，包括如下步骤：

M1、通过欧拉-拉格朗日方程推导目标函数生成泊松方程ΔH＝div(g')，上述泊松方程等价于求解稀疏线性系统L·z＝b，其中，L为人脸顶点网格顶点的Laplacian矩阵，z为人脸网格顶点的高度坐标向量，b为人脸网格顶点的散度向量；

M2、将每个三角面片沿其中心旋转至目标法向位置，计算每个三角面片的高度梯度，并基于三角面片的高度梯度计算人脸网格顶点高度方向的散度；

M3、对人脸内部进行高度不变的位置约束，稀疏线性系统变形为位置约束后稀疏线性系统L²·z＝L^Tb，其中L²为Bi-Laplacian矩阵。

8.根据权利要求6所述的一种人脸浮雕几何建模方法，其特征在于步骤S43还包括如下步骤：区分3D人脸网格顶点在泊松重建过程中的变形比重，并在位置约束后稀疏线性系统的两侧同时乘以对称的对角矩阵M，位置约束后稀疏线性系统变形为M·L²·z＝M·L^Tb，M的对角元素为每个3D人脸网格顶点的权因子ω_j，ω_j＝exp(λ·l′_i)，l′_i为亮度补偿值，λ为常数。

9.根据权利要求6所述的一种人脸浮雕几何建模方法，其特征在于步骤S53还包括如下步骤：区分原始浮雕人脸网格顶点在泊松重建过程中的变形比重，并在位置约束后稀疏线性系统的两侧同时乘以对称的对角矩阵M，位置约束后稀疏线性系统变形为M·L²·z＝M·L^Tb，M的对角元素为每个原始浮雕人脸网格顶点的权因子ω_j，ω_j＝exp(λ·r_i)，r_i为3D人脸网格顶点亮度的高频亮度，λ为常数。