CN110751665A - 一种由人像浮雕重建3d人像模型的方法及系统 - Google Patents

Abstract

本发明公开了一种由人像浮雕重建3D人像模型的方法及系统，属于模型重建领域，要解决的技术问题为如何由较薄的人像浮雕构建构建3D人像模型并提供更大视角自由度。方法为以单幅人像浮雕为输入，提取人像浮雕中的法向和人脸轮廓，通过法向迁移方法以及基于模板的形状优化方法重建出与人像浮雕具有相似外观的3D人像模型。系统包括初始构建模块、法向迁移模块、形状优化模块、法向重建模块和高度优化模块。

Description

一种由人像浮雕重建3D人像模型的方法及系统

技术领域

本发明涉及模型重建领域，具体地说是一种由人像浮雕重建3D人像模型的方法及系统。

背景技术

人像浮雕是介于2D人像和3D模型之间的一种2.5D雕塑形式，在硬币、奖章、建筑等媒介中得到广泛应用，其缺点在于具有较强的视角依赖性，只描述当前视角下的人像特征，被遮挡特征不做刻画。

为了提供更大的视角自由度，本文提出一种由人像浮雕重建3D人像模型的方法及系统。

发明内容

本发明的技术任务是针对以上不足，提供一种由人像浮雕重建3D人像模型的方法及系统，来解决如何由较薄的人像浮雕构建3D人像模型并提供更大视角自由度的问题。

第一方面，本发明提供一种由人像浮雕重建3D人像模型的方法，以单幅人像浮雕为输入，提取人像浮雕中的法向和人脸轮廓，通过法向迁移方法以及基于模板的形状优化方法重建出与人像浮雕具有相似外观的3D人像模型，所述方法包括：

S100、选取一个3D人脸模板，在给定观察方向上对3D人脸模板和人像浮雕进行人像特征点匹配以及人脸轮廓匹配，得到初始3D人脸；

S200、计算人像浮雕的基础法向和细节法向，并分别将人像浮雕的基础法向和细节法向迁移到初始3D人脸上，得到法向迁移后3D人脸法向图；

S300、以法向迁移后3D人脸法向图内的法向为目标法向，将初始3D人脸内每个三角面片沿着其中心进行旋转，使得每个三角面片的法向与目标法向匹配以求解梯度和散度向量，并通过求解基于梯度和向量散度的双拉普拉斯线性系统以实现初始3D人脸的形状优化，得到形状优化后3D人脸；

S400、根据人像浮雕的轮廓法向估算一个膨胀法向层，将人像浮雕的基础法向和细节法向迁移至膨胀法向层后，叠加形状优化后3D人脸的法向、并通过优化确保叠加边界处的法向连续性，得到3D人像整体法向图；

S500、以3D人像整体法向图内的法向为目标法向，将人像浮雕内每个三角面片沿着其中心进行旋转，使得每个三角面片的法向与上述目标法向匹配以求解梯度和散度向量，并通过求解基于梯度和散度向量的双拉普拉斯线性系统以实现重建人像浮雕高度场，并将重建后人像浮雕高度场人脸部分替换为形状优化后3D人脸，得到3D人像模型。

作为优选，步骤S100中，在给定观察方向上对3D人脸模板和人像浮雕进行人像特征点匹配以及人脸轮廓匹配，包括如下步骤：

S110、分别在3D人脸模板和人像浮雕上标定若干个一一对应的人脸特征点，根据上述一一对应的人脸特征点的坐标差计算人脸位姿，根据人脸位姿对 3D人脸模板进行坐标变换，得到匹配后3D人脸；

S120、对于上述匹配后3D人脸，以其人脸特征点的目标坐标和原始坐标的坐标差为约束，将所述匹配后3D人脸的特征点与人像浮雕的特征点对齐，得到变形后3D人脸；

S130、根据法线方向检测所述变形后3D人脸的人脸轮廓线，从人脸轮廓线上标定轮廓线段，并从标定轮廓线段上选取一定数量的标定顶点作为约束，将所述变形后3D人脸的人脸轮廓线与人像浮雕的人脸轮廓线对齐，得到初始3D 人脸；

脸位姿包括缩放参数、旋转参数以及平移量参数。

作为优选，步骤S120包括如下分步骤：

S121、通过如下公式计算匹配后3D人脸中每个镜像特征点的z坐标，所述计算公式为：

其中，z_i表示匹配后3D人脸中第i个镜像特征点，z(v_i)表示匹配后3D人脸中第i个镜像特征点的z坐标，o_x表示匹配后3D人脸中鼻梁特征点o_i的x坐标， o_y表示匹配后3D人脸中鼻梁特征点o_i的y坐标，o_z表示匹配后3D人脸中鼻梁特征点o_i的z坐标，n_x表示匹配后3D人脸镜像平面的法向的x分量，n_y表示匹配后3D人脸镜像平面的法向的y分量，n_z表示匹配后3D人脸镜像平面的法向的z 分量，c_x表示人像浮雕上与鼻梁特征点o_i对应的镜像特征点c_i的x坐标，c_y表示人像浮雕上与鼻梁特征点o_i对应的镜像特征点c_i的y坐标，c_z表示人像浮雕上与鼻梁特征点o_i对应的镜像特征点c_i的z坐标；

S122、对于匹配后3D人脸中除了镜像特征点之外的其它可见特征点，每个可见特征点的目标z坐标与原始z坐标相同，对于匹配后3D人脸中不可见特征点，其目标坐标通过对应的可见特征点坐标镜像得到，匹配后3D人脸中每个特征点均对应有一个目标坐标；

S123、以匹配后3D人脸中人像特征点的目标坐标和原始坐标之间的坐标差为约束，通过求解如下公式对匹配后3D人脸进行特征点对齐，所述公式为：

L₂·Δd＝0

其中，L₂表示双拉普拉斯算子，Δd表示匹配后3D人脸中特征点的目标坐标和原始坐标之间的坐标差；

S124、将Δd添加到匹配后3D人脸中特征点的原始坐标，更新匹配后3D人脸的形状，得到变形后3D人脸。

作为优选，步骤S200中，通过拉普拉斯平滑方法计算人像浮雕的基础法向 n_b；

通过向量分解得到人像浮雕的细节法向n_d，向量分解时，计算输入法向n₀与基础法向n_b之间的旋转角θ，围绕轴n₀×n_b将z轴旋转θ，或者围绕轴n₀×n_b将z轴旋转2*θ以增强法向细节。

作为优选，所述基础法向和细节法向均为待迁移法向，通过如下方法将人像浮雕的待迁移法向迁移至初始3D人脸：

通过深度插值计算初始3D人脸与人像浮雕之间网格顶点对应关系；

计算迁移法向与法向n_z之间的旋转角θ_b，其中n_z＝[0,0,1]；

围绕轴n_z×n_f将n_f增加θ_f，其中法向n_f为变形后3D人脸中可见人脸法向，θ_f＝cosα*θ_b，α为法向n_z与法向n_f之间的夹角。

作为优选，步骤S300中，通过求解基于梯度和向量散度的双拉普拉斯线性系统以实现初始3D人脸的形状优化，包括：

通过实现初始3D人脸能量最小化的方式对初始3D人脸进行形状优化，使得初始3D人脸曲面的坐标梯度接近三角面片沿着其中心进行旋转后初始3D人脸的梯度，所述计算公式为：

其中，f(v)是初始3D人脸顶点的坐标，

为初始3D人脸顶点的坐标梯度，g_f(v)为三角面片沿着其中心进行旋转后初始3D初始人脸顶点的梯度；

将上述计算公式转换为双拉普拉斯线性系统，所述公式为：

L₂·f＝b

其中，L₂为初始3D人脸的双拉普拉斯矩阵，b为初始3D人脸的拉普拉斯矩阵和散度向量的乘积，f为待求解的3D人脸的坐标。

作为优选，步骤S400根据人像浮雕的轮廓法向估算一个膨胀法向层，包括如下步骤：

设定人像浮雕的轮廓法向为法向N_i，N_i＝[n_x,n_y.n_z]，将上述法向N_i修正为 N'_i＝[n'_x,n”_y.n'_z]，法向N'_i与z向量z＝[0,0,1]垂直；

以法向N_i'为已知条件，通过如下公式计算对应于人像浮雕对应的膨胀层3D 人像法向，公式为：

L·n′＝0

其中，L为人像浮雕的拉普拉斯算子，n'为待求解的膨胀层3D人像法向的法向分量n'_x和n'_y；

通过归一化计算膨胀层3D人像法向的法向分量n'_z。

作为优选，S400中通过优化确保叠加边界处的法向连续性，包括如下步骤：

以叠加形状优化后3D人脸的法向之前以及之后的膨胀法向层法向差值为约束条件，计算如下公式：

L·Δn＝0

其中，L为人像浮雕的拉普拉斯算子，Δn表示叠加边界处的顶点法向差值；

叠加形状优化后3D人脸的法向之前，膨胀法向层的法向为法向n，将Δn添加至法向n以更新法向，得到3D人像整体法向图。

作为优选，步骤S500中，通过求解基于梯度和散度向量的双拉普拉斯线性系统以实现重建人像浮雕高度场，包括：

通过实现人像浮雕能量最小化的方式对人像浮雕进行高度场重建，使得人像浮雕曲面的坐标梯度接近三角面片沿着其中心进行旋转后人像浮雕的梯度，所述计算公式为：

其中，f(v)是人像浮雕顶点的坐标，

为人像浮雕顶点的坐标梯度，g_f(v) 为三角面片沿着其中心进行旋转后人像浮雕人脸顶点的梯度；

将上述计算公式转换为双拉普拉斯线性系统，所述公式为：

L₂·f＝b

其中，L₂为人像浮雕的双拉普拉斯矩阵，b为人像浮雕的拉普拉斯矩阵和散度向量的乘积，f为待求解的人像高度场z坐标。

第二方面，本发明提供一种重建3D人脸模型的系统，通过如第一方面任一项所述的一种由人像浮雕重建3D人像模型的方法构建3D人像模型，所述系统包括：

初始构建模块，所述初始构建模块用于在给定观察方向上对3D人脸模板和人像浮雕进行人像特征点匹配以及轮廓匹配，得到初始3D人脸；

法向迁移模块，所述法向迁移模块用于计算人像浮雕的基础法向和细节法向，并分别将人像浮雕的基础法向和细节法向迁移到初始3D人脸上，得到法向迁移后3D人脸法向图；

形状优化模块，所述形状优化模块用于以法向迁移后3D人脸法向图内的法向为目标法向，将初始3D人脸内每个三角面片沿着其中心进行旋转，使得每个三角面片的法向与目标法向匹配以求解梯度和散度向量，并通过求解基于梯度和向量散度的双拉普拉斯线性系统以实现初始3D人脸的形状优化，得到形状优化后3D人脸；

法向重建模块，所述法向重建模块用于根据人像浮雕的轮廓法向估算一个膨胀法向层，将人像浮雕的基础法向和细节法向迁移至膨胀法向层后，叠加形状优化后3D人脸的法向、并通过优化确保叠加边界处的法向连续性，得到3D 人像整体法向图；

高度优化模块，所述高度优化模块用于以3D人像整体法向图内的法向为目标法向，将人像浮雕内每个三角面片沿着其中心进行旋转，使得每个三角面片的法向与上述目标法向匹配以求解梯度和散度向量，并通过求解基于梯度和散度向量的双拉普拉斯线性系统以实现重建人像浮雕高度场，并将重建后人像浮雕高度场人脸部分替换为形状优化后3D人脸，得到3D人像模型。

本发明的一种由人像浮雕重建3D人像模型的方法及系统具有以下优点：以较薄的单幅人像浮雕为输入，提取人像浮雕中的法向和人脸轮廓，通过法向迁移方法以及基于模板的形状优化方法重建出与人像浮雕具有相似外观的3D人像模型，该3D人像模型具有更大的视角自由度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

下面结合附图对本发明进一步说明。

附图1为实施例1一种由人像浮雕重建3D人像模型的方法的流程框图；

附图2为实施例1一种由人像浮雕重建3D人像模型的方法中步骤S100和步骤200对应的3D人像的状态图；

附图3为实施例1一种由人像浮雕重建3D人像模型的方法中步骤S300工作流程图；

附图4为实施例1一种由人像浮雕重建3D人像模型的方法中步骤S400对应的3D人像整体法向图的状态图；

附图5为实施例1一种由人像浮雕重建3D人像模型的方法中步骤S500对应的3D人像整体法向图的状态图；

附图2中，a为人像浮雕，b为标定有人像特征点的3D人脸模板，c为特征点对齐后3D人脸模板，d为人脸轮廓线对齐后3D人脸模板，e为初始3D人脸。

附图3中，a为将人像浮雕的基础法向和细节法向迁移到初始3D人脸的工作示意图，b为迁移后3D人像整体法向图；

附图4中，a为人像浮雕，b为膨胀法向层，c为将人像浮雕的基础法向和细节法向迁移至膨胀法向层后得到的3D人像整体法向图，d为叠加形状优化后 3D人脸后3D人像整体法向图，e为优化法向细节后3D人像整体法向图；

附图5中，a为人像浮雕，b为和c为重建后人像高度场，d为3D人像模型。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互结合。

本发明实施例提供一种由人像浮雕重建3D人像模型的方法及系统，用于解决如何由较薄的人像浮雕构建3D人像模型并提供更大视角自由度。

实施例1：

本发明的一种由人像浮雕重建3D人像模型的方法，以单幅人像浮雕为输入，提取人像浮雕中的法向和人脸轮廓，通过法向迁移方法以及基于模板的形状优化方法重建出与人像浮雕具有相似外观的3D人像模型。

如附图1所示，该方法包括如下步骤：

S100、选取一个3D人脸模板，在给定观察方向上对3D人脸模板和人像浮雕进行人像特征点匹配以及人脸轮廓匹配，得到初始3D人脸；

S200、计算人像浮雕的基础法向和细节法向，并分别将人像浮雕的基础法向和细节法向迁移到初始3D人脸上，得到法向迁移后3D人脸法向图；

S300、以法向迁移后3D人脸法向图内的法向为目标法向，将初始3D人脸内每个三角面片沿着其中心进行旋转，使得每个三角面片的法向与目标法向匹配以求解梯度和散度向量，并通过求解基于梯度和向量散度的双拉普拉斯线性系统以实现初始3D人脸的形状优化，得到形状优化后3D人脸；

S400、根据人像浮雕的轮廓法向估算一个膨胀法向层，将人像浮雕的基础法向和细节法向迁移至膨胀法向层后，叠加形状优化后3D人脸的法向、并通过优化确保叠加边界处的法向连续性，得到3D人像整体法向图；

S500、以3D人像整体法向图内的法向为目标法向，将人像浮雕内每个三角面片沿着其中心进行旋转，使得每个三角面片的法向与上述目标法向匹配以求解梯度和散度向量，并通过求解基于梯度和散度向量的双拉普拉斯线性系统以实现重建人像浮雕高度场，并将重建后人像浮雕高度场人脸部分替换为形状优化后3D人脸，得到3D人像模型。

其中，本实施例中选取的3D模板为Basel参数化3D人脸模板。

步骤S100中，在给定观察方向上对3D人脸模板和人像浮雕进行人像特征点匹配以及轮廓匹配，包括如下分步骤：

第一步、人脸重建，预先在3D人脸模板上标定97个人脸特征点，对于输入的人像浮雕，通过手工标注方法同样标定97个人像特征点，两组人脸特征点一一的对应，然后以上述两组一一对应的人脸特征点的坐标差为输入，计算人脸位姿，包括缩放参数、旋转参数以及平移量参数等，并根据人脸位姿对3D 人脸模板进行坐标变换，得到匹配后3D人脸；

第一步、人脸特征点对齐，对于上述匹配后3D人脸，以其人脸特征点的目标坐标和原始坐标的坐标差为约束，将匹配后3D人脸的特征点与人像浮雕的特征点对齐，得到变形后3D人脸；

第三步、人脸轮廓对齐，根据法线方向检测变形后3D人脸的人脸轮廓线，从人脸轮廓线上标定轮廓线段，并从标定轮廓线段上选取一定数量的标定顶点，对于每个标定顶点通过搜索人像浮雕上的最近点来确定其目标x坐标和目标y 坐标，以上述标定顶点为约束，将变形后3D人脸的人脸轮廓线与人像浮雕的人脸轮廓线对齐，得到初始3D人脸。

其中第一步对匹配后3D人脸进行人脸变形，使其面部特征与输入的人像浮雕进行精确对齐。为确保匹配后3D人脸镜像平面上的特征点v_i变形后仍位于中间镜像平面上，采用如下方法估算每个镜像特征点v_i的z坐标：

上式中，z_i表示匹配后3D人脸中第i个镜像特征点，z(v_i)表示匹配后3D人脸中第i个镜像特征点的z坐标，o_x表示匹配后3D人脸中鼻梁特征点o_i的x坐标， o_y表示匹配后3D人脸中鼻梁特征点o_i的y坐标，o_z表示匹配后3D人脸中鼻梁特征点o_i的z坐标，n_x表示匹配后3D人脸镜像平面的法向的x分量，n_y表示匹配后3D人脸镜像平面的法向的y分量，n_z表示匹配后3D人脸镜像平面的法向的z 分量，c_x表示人像浮雕上与鼻梁特征点o_i对应的镜像特征点c_i的x坐标，c_y表示人像浮雕上与鼻梁特征点o_i对应的镜像特征点c_i的y坐标，c_z表示人像浮雕上与鼻梁特征点o_i对应的镜像特征点c_i的z坐标。

对于匹配后3D人脸中除了镜像特征点之外的其它可见特征点，每个特征点的目标z坐标与原始z坐标相同，对于匹配后3D人脸中不可见特征点，其目标坐标通过对应的可见特征点坐标镜像得到，最终，匹配后3D人脸中每个特征点均对应有一个目标坐标。

以匹配后3D人脸中人像特征点的目标坐标和原始坐标之间的坐标差为约束，通过求解公式(2)对匹配后3D人脸进行特征点对齐，公式为：

L₂·Δd＝0 (2)

其中，L₂表示双拉普拉斯算子，Δd表示匹配后3D人脸中特征点的目标坐标和原始坐标之间的坐标差。

将Δd添加到匹配后3D人脸中特征点的原始坐标，更新匹配后3D人脸的形状，得到变形后3D人脸。

人脸特征点对齐后，通过步第三步进行人脸轮廓线对齐。首先，根据法线方向自动检测变形后3D人脸的人脸轮廓线，从人脸轮廓线上手动标定需要对齐的轮廓线段，并从标定轮廓线段上选取一定数量的标定顶点作为约束，将变形后3D人脸的人脸轮廓线与人像浮雕的人脸轮廓线对齐。对于变形后3D人脸中一侧的轮廓线，对于每个标定顶点通过搜索人像浮雕上的最近点来确定其目标 x坐标和目标y坐标；对于变形后3D人脸中另一侧的人脸轮廓线，对于每个标定顶点通过镜像来确定其目标x坐标和目标y坐标。

c中变形后3D人脸的人脸轮廓线共三条，中间曲线位于镜像平面上，最右侧为变形后3D人脸的目标轮廓线。

如附图2所示，人像浮雕不仅包含表面细节，还包含一定程度的形状变化，尽管其法向已被压缩，仍保留了可供3D人像优化的几何细节。通过步骤S200 将人像浮雕的法向迁移至初始3D人脸。具体步骤为：

第一步、将人像浮雕的法向分解为基础法向n_b和细节法向n_d，通过拉普拉斯平滑方法计算人像浮雕的基础法向n_b，通过向量分解得到人像浮雕的细节法向n_d，向量分解时，计算输入法向n₀与基础法向n_b之间的旋转角θ，围绕轴n₀×n_b将z轴旋转2*θ，以增强法向细节；

第二步、将基础法向和细节法向分别迁移到初始3D人脸，迁移方法为：首先通过深度插值计算初始3D人脸与人像浮雕之间网格顶点对应关系，然后计算待迁移法向与法向n_z之间的旋转角θ_b，其中n_z＝[0,0,1]，围绕轴n_z×n_f将n_f增加θ_f，其中法向n_f为变形后3D人脸中可见人脸法向，θ_f＝cosα*θ_b，α为法向n_z与法向 n_f之间的夹角，cosα用于约束垂直于z轴的初始3D人脸法向转动量，保证合成后的法向n'_f非负。

通过上述方法分别将人像浮雕的基础法向和细节法向迁移至初始3D人脸后，得到迁移后3D人像整体法向图如附图3中c图所示。

通过实现初始3D人脸能量最小化的方式对初始3D人脸进行形状优化，使得初始3D人脸曲面的坐标梯度接近三角面片沿着其中心进行旋转后初始3D人脸的梯度，计算公式为：

其中，f(v)是初始3D人脸顶点的坐标，

为初始3D人脸顶点的坐标梯度，g_f(v)为三角面片沿着其中心进行旋转后初始3D初始人脸顶点的梯度。

本实施例中将上述形状优化问题转化为双拉普拉斯线性系统，公式为：

L₂·f＝b (4)

其中，L₂为初始3D人脸的双拉普拉斯矩阵，b为初始3D人脸的拉普拉斯矩阵和散度向量的乘积，f为待求解的3D人脸的坐标，包括x坐标、y坐标和z 坐标。

计算梯度和散度向量时，以迁移后3D人像整体法向图的法向为目标法向，将法向迁移后3D人脸法向图中每个三角面片沿着其中心进行旋转，使得每个三角面片的法向与目标法向匹配，最终通过求解公式(4)得到形状优化后3D人脸，如附图1中e所示。

如附图4所示，得到形状优化后3D人脸后进行整体重建，具体包括如下四步。

第一步、估计一个膨胀法向层，设定人像浮雕的轮廓法向为法向N_i， N_i＝[n_x,n_y.n_z]，将上述法向N_i修正为N_i'＝[n'_x,n”_y.n'_z]，法向N_i'与z向量z＝[0,0,1]垂直；以法向N_i为已知条件，通过如下公式计算对应于人像浮雕对应的膨胀层3D 人像法向，公式为：

L·n′＝0 (5)

其中，L为人像浮雕的拉普拉斯算子，n'为待求解的膨胀层3D人像法向的法向分量n'_x和n'_y；通过归一化计算膨胀层3D人像法向的法向分量n'_z。

第二步、将人像浮雕的基础法向和细节法向分别迁移至膨胀法向层，迁移方法同将基础法向和细节法向分别迁移到初始3D人脸的方法一致；

第三步、通过优化确保叠加边界处的法向连续性，具体为：以叠加形状优化后3D人脸的法向之前以及之后的膨胀法向层法向差值为约束条件，计算如下公式：

L·Δn＝0 (6)

其中，L为人像浮雕的拉普拉斯算子，Δn表示叠加边界处的顶点法向差值；

第四步、叠加形状优化后3D人脸的法向之前，膨胀法向层的法向为法向n，将Δn添加至法向n以更新法向，得到3D人像整体法向图。

如附图5所示，通过步骤S500进行高度场重建，具体方法为：

通过实现人像浮雕能量最小化的方式对人像浮雕进行高度场重建，使得人像浮雕曲面的坐标梯度接近三角面片沿着其中心进行旋转后人像浮雕的梯度，计算公式为：

其中，f(v)是人像浮雕顶点的坐标，

为人像浮雕顶点的坐标梯度，g_f(v) 为三角面片沿着其中心进行旋转后人像浮雕人脸顶点的梯度。

本实施例中将上述高度场重建问题转化为双拉普拉斯线性系统，公式为：

L₂·f＝b (4)

其中，L₂为人像浮雕的双拉普拉斯矩阵，b为人像浮雕的拉普拉斯矩阵和散度向量的乘积，f为待求解的人像高度场z坐标。

计算梯度和散度向量时，以3D人像整体法向图内的法向为目标法向，将人像浮雕内每个三角面片沿着其中心进行旋转，使得每个三角面片的法向与上述目标法向匹配以求解梯度和散度向量，最终通过求解公式(4)得到形状优化后 3D人脸，如附图5中d所示。

实施例2：

本发明提供一种由人像浮雕重建3D人像模型的系统，该系统包括初始构建模块、法向迁移模块、形状优化模块、法向重建模块和高度优化模块。

初始构建模块用于在给定观察方向上对3D人脸模板和人像浮雕进行人像特征点匹配以及轮廓匹配，得到初始3D人脸。工作步骤为：

第一步、人脸重建，预先在3D人脸模板上标定97个人脸特征点，对于输入的人像浮雕，通过手工标注方法同样标定97个人像特征点，两组人脸特征点一一的对应，然后以上述两组一一对应的人脸特征点的坐标差为输入，计算人脸位姿，包括缩放参数、旋转参数以及平移量参数等，并根据人脸位姿对3D 人脸模板进行坐标变换，得到匹配后3D人脸；

第一步、人脸特征点对齐，对于上述匹配后3D人脸，以其人脸特征点的目标坐标和原始坐标的坐标差为约束，将匹配后3D人脸的特征点与人像浮雕的特征点对齐，得到变形后3D人脸；

第三步、人脸轮廓对齐，根据法线方向检测变形后3D人脸的人脸轮廓线，从轮廓线上标定轮廓线段，并从标定轮廓线段上选取一定数量的标定顶点，对于每个标定顶点通过搜索人像浮雕上的最近点来确定其目标x坐标和目标y坐标，以上述标定顶点为约束，将变形后3D人脸的人脸轮廓线与人像浮雕的人脸轮廓线对齐，得到初始3D人脸。

其中第一步对匹配后3D人脸进行人脸变形，使其面部特征与输入的人像浮雕进行精确对齐。

为确保匹配后3D人脸镜像平面上的特征点v_i变形后仍位于中间镜像平面上，采用如下方法估算每个镜像特征点v_i的z坐标：

上式中，z_i表示匹配后3D人脸中第i个镜像特征点，z(v_i)表示匹配后3D人脸中第i个镜像特征点的z坐标，o_x表示匹配后3D人脸中鼻梁特征点o_i的x坐标， o_y表示匹配后3D人脸中鼻梁特征点o_i的y坐标，o_z表示匹配后3D人脸中鼻梁特征点o_i的z坐标，n_x表示匹配后3D人脸镜像平面的法向的x分量，n_y表示匹配后3D人脸镜像平面的法向的y分量，n_z表示匹配后3D人脸镜像平面的法向的z 分量，c_x表示人像浮雕上与鼻梁特征点o_i对应的镜像特征点c_i的x坐标，c_y表示人像浮雕上与鼻梁特征点o_i对应的镜像特征点c_i的y坐标，c_z表示人像浮雕上与鼻梁特征点o_i对应的镜像特征点c_i的z坐标。

对于匹配后3D人脸中除了镜像特征点之外的其它可见特征点，每个特征点的目标z坐标与原始z坐标相同，对于匹配后3D人脸中不可见特征点，其目标坐标通过对应的可见特征点坐标镜像得到，最终，匹配后3D人脸中每个特征点均对应有一个目标坐标。

以匹配后3D人脸中人像特征点的目标坐标和原始坐标之间的坐标差为约束，通过求解公式(2)对匹配后3D人脸进行特征点对齐，公式为：

L₂·Δd＝0 (2)

其中，L₂表示双拉普拉斯算子，Δd表示匹配后3D人脸中特征点的目标坐标和原始坐标之间的坐标差。

将Δd添加到匹配后3D人脸中特征点的原始坐标，更新匹配后3D人脸的形状，得到变形后3D人脸。

人脸特征点对齐后，通过步第三步进行人脸轮廓线对齐。首先，根据法线方向自动检测变形后3D人脸的人脸轮廓线，从轮廓线上手动标定需要对齐的轮廓线段，并从标定轮廓线段上选取一定数量的标定顶点作为约束，将变形后3D 人脸的人脸轮廓线与人像浮雕的人脸轮廓线对齐。对于变形后3D人脸中一侧的人脸轮廓线，对于每个标定顶点通过搜索人像浮雕上的最近点来确定其目标x 坐标和目标y坐标；对于变形后3D人脸中另一侧的人脸轮廓线，对于每个标定顶点通过镜像来确定其目标x坐标和目标y坐标。

法向迁移模块用于计算人像浮雕的基础法向和细节法向，并分别将人像浮雕的基础法向和细节法向迁移到初始3D人脸上，得到法向迁移后3D人脸法向图。法向迁移模块通过其如下功能实现法向迁移：

第一步、将人像浮雕的法向分解为基础法向n_b和细节法向n_d，通过拉普拉斯平滑方法计算人像浮雕的基础法向n_b，通过向量分解得到人像浮雕的细节法向n_d，向量分解时，计算输入法向n₀与基础法向n_b之间的旋转角θ，围绕轴n₀×n_b将z轴旋转2*θ；

第二步、将基础法向和细节法向分别迁移到初始3D人脸，迁移方法为：首先通过深度插值计算初始3D人脸与人像浮雕之间网格顶点对应关系，然后计算待迁移法向与法向n_z之间的旋转角θ_b，其中n_z＝[0,0,1]，围绕轴n_z×n_f将n_f增加θ_f，其中法向n_f为变形后3D人脸中可见人脸法向，θ_f＝cosα*θ_b，α为法向n_z与法向 n_f之间的夹角，cosα用于约束垂直于z轴的初始3D人脸法向转动量，保证合成后的法向n'_f非负。

形状优化模块用于以以法向迁移后3D人脸法向图内的法向为目标法向，将初始3D人脸内每个三角面片沿着其中心进行旋转，使得每个三角面片的法向与目标法向匹配以求解梯度和散度向量，并通过求解基于梯度和向量散度的双拉普拉斯线性系统以实现初始3D人脸的形状优化，得到形状优化后3D人脸。

通过其如下功能实现形状优化：

通过实现初始3D人脸能量最小化的方式对初始3D人脸进行形状优化，使得初始3D人脸曲面的坐标梯度接近三角面片沿着其中心进行旋转后初始3D人脸的梯度，计算公式为：

其中，f(v)是初始3D人脸顶点的坐标，

为初始3D人脸顶点的坐标梯度，g_f(v)为三角面片沿着其中心进行旋转后初始3D初始人脸顶点的梯度。

本实施例中将上述形状优化问题转化为双拉普拉斯线性系统，公式为：

L₂·f＝b (4)

其中，L₂为初始3D人脸的双拉普拉斯矩阵，b为初始3D人脸的拉普拉斯矩阵和散度向量的乘积，f为待求解的3D人脸的坐标，包括x坐标、y坐标和z 坐标。

计算梯度和散度向量时，以迁移后3D人像整体法向图的法向为目标法向，将法向迁移后3D人脸法向图中每个三角面片沿着其中心进行旋转，使得每个三角面片的法向与目标法向匹配，最终通过求解公式(4)得到形状优化后3D人脸。

法向重建模块用于根据人像浮雕的轮廓法向估算一个膨胀法向层，将人像浮雕的基础法向和细节法向迁移至膨胀法向层后，叠加形状优化后3D人脸的法向、并通过优化确保叠加边界处的法向连续性，得到3D人像整体法向图。通过其如下功能实现模型重建：

第一步、估计一个膨胀法向层，设定人像浮雕的轮廓法向为法向N_i， N_i＝[n_x,n_y.n_z]，将上述法向N_i修正为N_i'＝[n'_x,n”_y.n'_z]，法向N'_i与z向量z＝[0,0,1]垂直；以法向N_i为已知条件，通过如下公式计算对应于人像浮雕对应的膨胀层3D 人像法向，公式为：

L·n′＝0 (5)

其中，L为人像浮雕的拉普拉斯算子，n'为待求解的膨胀层3D人像法向的法向分量n'_x和n'_y；

通过归一化计算膨胀层3D人像法向的法向分量n'_z。

第二步、将人像浮雕的基础法向和细节法向分别迁移至膨胀法向层，迁移方法同将基础法向和细节法向分别迁移到初始3D人脸的方法一致；

第三步、通过优化确保叠加边界处的法向连续性，具体为：以叠加形状优化后3D人脸的法向之前以及之后的膨胀法向层法向差值为约束条件，计算如下公式：

L·Δn＝0 (6)

其中，L为人像浮雕的拉普拉斯算子，Δn表示叠加边界处的顶点法向差值；

第四步、叠加形状优化后3D人脸的法向之前，膨胀法向层的法向为法向n，将Δn添加至法向n以更新法向，得到3D人像整体法向图。

高度优化模块用于以3D人像整体法向图内的法向为目标法向，将人像浮雕内每个三角面片沿着其中心进行旋转，使得每个三角面片的法向与上述目标法向匹配以求解梯度和散度向量，并通过求解基于梯度和散度向量的双拉普拉斯线性系统以实现重建人像浮雕高度场，并将重建后人像浮雕高度场人脸部分替换为形状优化后3D人脸，得到3D人像模型。

本实施例中，高度优化模块工作步骤如下：

通过实现人像浮雕能量最小化的方式对人像浮雕进行高度场重建，使得人像浮雕曲面的坐标梯度接近三角面片沿着其中心进行旋转后人像浮雕的梯度，计算公式为：

其中，f(v)是人像浮雕顶点的坐标，为人像浮雕顶点的坐标梯度，g_f(v) 为三角面片沿着其中心进行旋转后人像浮雕人脸顶点的梯度。

本实施例中将上述高度场重建问题转化为双拉普拉斯线性系统，公式为：

L₂·f＝b (4)

其中，L₂为人像浮雕的双拉普拉斯矩阵，b为人像浮雕的拉普拉斯矩阵和散度向量的乘积，f为待求解的人像高度场z坐标。

计算梯度和散度向量时，以3D人像整体法向图内的法向为目标法向，将人像浮雕内每个三角面片沿着其中心进行旋转，使得每个三角面片的法向与上述目标法向匹配以求解梯度和散度向量，最终通过求解公式(4)得到形状优化后 3D人脸。

本发明的一种重建3D人脸模型的系统可执行实施例1公开的一种由人像浮雕重建3D人像模型的方法，由较薄的单幅人像浮雕为输入，提取人像浮雕中的法向和人脸轮廓，通过法向迁移方法以及基于模板的形状优化方法重建出与人像浮雕具有相似外观的3D人像模型。

以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (10)

1.一种由人像浮雕重建3D人像模型的方法，其特征在于以单幅人像浮雕为输入，提取人像浮雕中的法向和人脸轮廓，通过法向迁移方法以及基于模板的形状优化方法重建出与人像浮雕具有相似外观的3D人像模型，所述方法包括：

S100、选取一个3D人脸模板，在给定观察方向上对3D人脸模板和人像浮雕进行人像特征点匹配以及人脸轮廓匹配，得到初始3D人脸；

S200、计算人像浮雕的基础法向和细节法向，并分别将人像浮雕的基础法向和细节法向迁移到初始3D人脸上，得到法向迁移后3D人脸法向图；

S300、以法向迁移后3D人脸法向图内的法向为目标法向，将初始3D人脸内每个三角面片沿着其中心进行旋转，使得每个三角面片的法向与目标法向匹配以求解梯度和散度向量，并通过求解基于梯度和向量散度的双拉普拉斯线性系统以实现初始3D人脸的形状优化，得到形状优化后3D人脸；

S400、根据人像浮雕的轮廓法向估算一个膨胀法向层，将人像浮雕的基础法向和细节法向迁移至膨胀法向层后，叠加形状优化后3D人脸的法向、并通过优化确保叠加边界处的法向连续性，得到3D人像整体法向图；

S500、以3D人像整体法向图内的法向为目标法向，将人像浮雕内每个三角面片沿着其中心进行旋转，使得每个三角面片的法向与上述目标法向匹配以求解梯度和散度向量，并通过求解基于梯度和散度向量的双拉普拉斯线性系统以实现重建人像浮雕高度场，并将重建后人像浮雕高度场人脸部分替换为形状优化后3D人脸，得到3D人像模型。

2.根据权利要求1所述的一种由人像浮雕重建3D人像模型的方法，其特征在于步骤S100中，在给定观察方向上对3D人脸模板和人像浮雕进行人像特征点匹配以及人脸轮廓匹配，包括如下步骤：

S110、分别在3D人脸模板和人像浮雕上标定若干个一一对应的人脸特征点，根据上述一一对应的人脸特征点的坐标差计算人脸位姿，根据人脸位姿对3D人脸模板进行坐标变换，得到匹配后3D人脸；

S120、对于上述匹配后3D人脸，以其人脸特征点的目标坐标和原始坐标的坐标差为约束，将所述匹配后3D人脸的特征点与人像浮雕的特征点对齐，得到变形后3D人脸；

S130、根据法线方向检测所述变形后3D人脸的人脸轮廓线，从人脸轮廓线上标定轮廓线段，并从标定轮廓线段上选取一定数量的标定顶点作为约束，将所述变形后3D人脸的人脸轮廓线与人像浮雕的人脸轮廓线对齐，得到初始3D人脸；

人脸位姿包括缩放参数、旋转参数以及平移量参数。

3.根据权利要求2所述的一种由人像浮雕重建3D人像模型的方法，其特征在于步骤S120包括如下分步骤：

S121、通过如下公式计算匹配后3D人脸中每个镜像特征点的z坐标，所述计算公式为：

其中，z_i表示匹配后3D人脸中第i个镜像特征点，z(v_i)表示匹配后3D人脸中第i个镜像特征点的z坐标，o_x表示匹配后3D人脸中鼻梁特征点o_i的x坐标，o_y表示匹配后3D人脸中鼻梁特征点o_i的y坐标，o_z表示匹配后3D人脸中鼻梁特征点o_i的z坐标，n_x表示匹配后3D人脸镜像平面的法向的x分量，n_y表示匹配后3D人脸镜像平面的法向的y分量，n_z表示匹配后3D人脸镜像平面的法向的z分量，c_x表示人像浮雕上与鼻梁特征点o_i对应的镜像特征点c_i的x坐标，c_y表示人像浮雕上与鼻梁特征点o_i对应的镜像特征点c_i的y坐标，c_z表示人像浮雕上与鼻梁特征点o_i对应的镜像特征点c_i的z坐标；

S122、对于匹配后3D人脸中除了镜像特征点之外的其它可见特征点，每个可见特征点的目标z坐标与原始z坐标相同，对于匹配后3D人脸中不可见特征点，其目标坐标通过对应的可见特征点坐标镜像得到，匹配后3D人脸中每个特征点均对应有一个目标坐标；

S123、以匹配后3D人脸中人像特征点的目标坐标和原始坐标之间的坐标差为约束，通过求解如下公式对匹配后3D人脸进行特征点对齐，所述公式为：

L₂·Δd＝0

其中，L₂表示双拉普拉斯算子，Δd表示匹配后3D人脸中特征点的目标坐标和原始坐标之间的坐标差；

S124、将Δd添加到匹配后3D人脸中特征点的原始坐标，更新匹配后3D人脸的形状，得到变形后3D人脸。

4.根据权利要求2所述的一种由人像浮雕重建3D人像模型的方法，其特征在于步骤S200中，通过拉普拉斯平滑方法计算人像浮雕的基础法向n_b；

通过向量分解得到人像浮雕的细节法向n_d，向量分解时，计算输入法向n₀与基础法向n_b之间的旋转角θ，围绕轴n₀×n_b将z轴旋转θ，或者围绕轴n₀×n_b将z轴旋转2*θ以增强法向细节。

5.根据权利要求2所述的一种由人像浮雕重建3D人像模型的方法，其特征在于所述基础法向和细节法向均为待迁移法向，通过如下方法将人像浮雕的待迁移法向迁移至初始3D人脸：

通过深度插值计算初始3D人脸与人像浮雕之间网格顶点对应关系；

计算迁移法向与法向n_z之间的旋转角θ_b，其中n_z＝[0,0,1]；

围绕轴n_z×n_f将n_f增加θ_f，其中法向n_f为变形后3D人脸中可见人脸法向，θ_f＝cosα*θ_b，α为法向n_z与法向n_f之间的夹角。

6.根据权利要求1所述的一种由人像浮雕重建3D人像模型的方法，其特征在于步骤S300中，通过求解基于梯度和向量散度的双拉普拉斯线性系统以实现初始3D人脸的形状优化，包括：

通过实现初始3D人脸能量最小化的方式对初始3D人脸进行形状优化，使得初始3D人脸曲面的坐标梯度接近三角面片沿着其中心进行旋转后初始3D人脸的梯度，所述计算公式为：

arg min∑||▽f(v)-g_f(v)||²

其中，f(v)是初始3D人脸顶点的坐标，▽f(v)为初始3D人脸顶点的坐标梯度，g_f(v)为三角面片沿着其中心进行旋转后初始3D初始人脸顶点的梯度；

将上述计算公式转换为双拉普拉斯线性系统，所述公式为：

L₂·f＝b

其中，L₂为初始3D人脸的双拉普拉斯矩阵，b为初始3D人脸的拉普拉斯矩阵和散度向量的乘积，f为待求解的3D人脸的坐标。

7.根据权利要求1所述的一种由人像浮雕重建3D人像模型的方法，其特征在于步骤S400根据人像浮雕的轮廓法向估算一个膨胀法向层，包括如下步骤：

设定人像浮雕的轮廓法向为法向N_i，N_i＝[n_x,n_y.n_z]，将上述法向N_i修正为N'_i＝[n'_x,n′’_y.n'_z]，法向N'_i与z向量z＝[0,0,1]垂直；

以法向N_i'为已知条件，通过如下公式计算对应于人像浮雕对应的膨胀层3D人像法向，公式为：

L·n′＝0

其中，L为人像浮雕的拉普拉斯算子，n'为待求解的膨胀层3D人像法向的法向分量n'_x和n'_y；

通过归一化计算膨胀层3D人像法向的法向分量n'_z。

8.根据权利要求7所述的一种由人像浮雕重建3D人像模型的方法，其特征在于步骤S400中通过优化确保叠加边界处的法向连续性，包括如下步骤：

以叠加形状优化后3D人脸的法向之前以及之后的膨胀法向层法向差值为约束条件，计算如下公式：

L·Δn＝0

其中，L为人像浮雕的拉普拉斯算子，Δn表示叠加边界处的顶点法向差值；

叠加形状优化后3D人脸的法向之前，膨胀法向层的法向为法向n，将Δn添加至法向n以更新法向，得到3D人像整体法向图。

9.根据权利要求1所述的一种由人像浮雕重建3D人像模型的方法，其特征在于步骤S500中，通过求解基于梯度和散度向量的双拉普拉斯线性系统以实现重建人像浮雕高度场，包括：

通过实现人像浮雕能量最小化的方式对人像浮雕进行高度场重建，使得人像浮雕曲面的坐标梯度接近三角面片沿着其中心进行旋转后人像浮雕的梯度，所述计算公式为：

arg min∑||▽f(v)-g_f(v)||²

其中，f(v)是人像浮雕顶点的坐标，▽f(v)为人像浮雕顶点的坐标梯度，g_f(v)为三角面片沿着其中心进行旋转后人像浮雕人脸顶点的梯度；

将上述计算公式转换为双拉普拉斯线性系统，所述公式为：

L₂·f＝b

其中，L₂为人像浮雕的双拉普拉斯矩阵，b为人像浮雕的拉普拉斯矩阵和散度向量的乘积，f为待求解的人像高度场z坐标。

10.一种重建3D人脸模型的系统，其特征在于通过如权利要求1-9任一项所述的一种由人像浮雕重建3D人像模型的方法构建3D人像模型，所述系统包括：

初始构建模块，所述初始构建模块用于在给定观察方向上对3D人脸模板和人像浮雕进行人像特征点匹配以及轮廓匹配，得到初始3D人脸；

法向迁移模块，所述法向迁移模块用于计算人像浮雕的基础法向和细节法向，并分别将人像浮雕的基础法向和细节法向迁移到初始3D人脸上，得到法向迁移后3D人脸法向图；

形状优化模块，所述形状优化模块用于以法向迁移后3D人脸法向图内的法向为目标法向，将初始3D人脸内每个三角面片沿着其中心进行旋转，使得每个三角面片的法向与目标法向匹配以求解梯度和散度向量，并通过求解基于梯度和向量散度的双拉普拉斯线性系统以实现初始3D人脸的形状优化，得到形状优化后3D人脸；

法向重建模块，所述法向重建模块用于根据人像浮雕的轮廓法向估算一个膨胀法向层，将人像浮雕的基础法向和细节法向迁移至膨胀法向层后，叠加形状优化后3D人脸的法向、并通过优化确保叠加边界处的法向连续性，得到3D人像整体法向图；

高度优化模块，所述高度优化模块用于以3D人像整体法向图内的法向为目标法向，将人像浮雕内每个三角面片沿着其中心进行旋转，使得每个三角面片的法向与上述目标法向匹配以求解梯度和散度向量，并通过求解基于梯度和散度向量的双拉普拉斯线性系统以实现重建人像浮雕高度场，并将重建后人像浮雕高度场人脸部分替换为形状优化后3D人脸，得到3D人像模型。

Images