CN105761239A - 一种黄金比例引导的三维人脸模型重建方法 - Google Patents

Abstract

本发明公开一种黄金比例引导的三维人脸模型重建方法。输入数据为个性化真实感三维人脸模型。首先，对三维人脸模型进行标志点检测，利用标志点将标准的黄金比例面罩模型与个性化三维人脸模型配准对齐；然后利用配准后的黄金比例面罩模型自动确定人脸重建兴趣区域，并用黄金面罩上的特征点和特征线设置变形边界条件；最后根据变形边界条件驱动一种能保持细节特征的拉普拉斯网格变形方法进行变形计算，预测重建后人脸三维形态结果。本发明能为个性化三维人脸设计和预测黄金比例引导的人脸重建效果，而且实现过程简单、自动化程度高。本发明对三维人脸模型娱乐、美容化妆设计以及整形术前预测有重要意义。

Description

一种黄金比例引导的三维人脸模型重建方法

技术领域

本发明涉及三维人脸重建领域，具体地，涉及一种黄金比例引导的三维人脸模型重建方法。可以应用到三维人脸模型娱乐、美容化妆设计以及整形术前预测等领域。

背景技术

近年来，随着社会的发展和外来文化特别是韩国文化的冲击，人们的审美观不断转变，对美的追求不断增长，开始越来越注重外在美，其中最主要的就是面容的美丽。面部人脸整形重建是一项具有高精度、高风险的临床治疗技术。如果不能在术前对患者面部进行客观定量的形态学评价和演示术后的重建效果，缺乏医生与患者之间的思想沟通，很难做到治疗方案与患者要求一致，极易导致手术结果的不理想甚至失败。

对于面部整形重建手术的模拟，最常用的方式是采用基于图像变形技术的仿真系统，这类系统输入患者肖像照片，对图像进行局部的拉伸和扭曲变形。但是，二维的图像模拟，不能转动察看任意视角的形态，在视觉效果上不够真实,同时对于手术指导的意义不大。

为获得三维面部形态的真实数据，应用最广泛的是采用断层CT成像技术的扫描图像进行三维重建。在此基础上，常采用弹簧质点模型和有限元方法等进行仿真模拟。弹簧质点模型计算量相对较小，变形结果精度较差。有限元方法可以更准确的描述软组织的材质属性，但是计算量相对较大，难以进行实时交互。另外，直接从CT三维重建的面部模型，由于没有纹理，缺乏真实感。另外，少数学者研究了基于自由变形技术(Free-formDeformation)的变形系统，对面部表面网格进行变形。FFD变形计算量小，但是需要构建额外的包围控制网格，利用控制网格对所包含的空间域进行变形，操作不方便。

从人脸重建模拟的实用性考虑，很明显三维仿真模拟是发展的趋势，比基于二维照片的模拟能提供更真实、更有用的模拟效果。而基于CT扫描数据的三维重建在临床应用上有限制，扫描费用高，并且CT扫描有一定的放射副作用，对于面部重建手术，不少患者存在抵触心理。获得真实感三维面部模型最有效的方法是使用三维彩色激光扫描仪，相比CT重建模型的效果更加逼真，并且扫描获取方便。

而另一方面，二维人脸重建系统的操作一般比较方便，但是能展示的效果很受限制。而三维人脸重建系统虽然能全方位的展示人脸重建的效果，但是现有的三维人脸重建系统的交互操作较复杂，无论是使用特征点线拖动变形、还是使用包围控制网格变形，都需要较好的三维场景交互技巧。更重要的，如何进行手工编辑变形操作，才能达到很好的整设计的效果，这需要大量的模拟操作经验，并且熟练掌握人脸的美貌美学知识，如各种美学形态和比例等等。所以在实际应用中，临床医生很少能熟练操作使用三维模拟交互系统。

发明内容

本发明通所要解决的问题是，针对上述现有技术的不足，提供一种黄金比例引导的三维人脸模型重建方法。

为解决上述技术问题，本发明所采用的技术方案为：一种黄金比例引导的三维人脸模型重建方法，包括以下步骤：

1)基于理想的黄金比例面罩数据，制作标准黄金比例面罩模型；

2)对输入的三维人脸模型进行标志点检测；

3)利用检测的三维人脸模型标志点将标准的黄金比例面罩模型与三维人脸模型配准对齐；

4)利用配准对齐后的黄金比例面罩模型确定重建区域，并用黄金比例面罩模型上的特征点和特征线设置变形边界条件；

5)根据变形边界条件，采用拉普拉斯网格变形方法进行变形计算，利用计算得到的变形结果计算重建后的网格顶点坐标，并进行三维人脸模型结果显示。

所述步骤1)中，制作黄金比例面罩理论基础为根据相关研究证明容貌需要同时具备曲线美、比例美、对称美以及和谐美才可以成为美貌的容颜。我国古代画论《写真古决》就提出“三停五眼”之说。“三停”指脸型高度，将从发缘点到颏下点的距离分为三等份，即从发缘点到眉间点、眉间点到鼻下点、鼻下点到颏下点各为一等份，各称一停共“三停”。“五眼”指脸型的宽度，双耳间正面投影的宽度为五个眼裂的宽度。除双眼外，内眦间距为一眼裂宽度，两侧外眦角到耳部各一眼裂宽度，共是五个眼裂宽度，称“五眼”。而现代医学美学家们指出，在一切事物中，符合黄金律的形体总是最美的。黄金律在美容医学实践中具有重要的应用价值。如鼻根黄金分割点，即眉间中点与内眦间中点连线的中点，眉间距/内眦间距、眉瞳高(眼平视前方时瞳孔中心点至其垂线上眉中心间的距离)/容貌眼裂长、和容貌眼裂长/眉水平长度均符合黄金分割率。

具体来说，可以用现有的建模软件制作，该黄金比例面罩由214个结点和78条边线组成，面罩左右两侧关于中切面完全对称。面罩结点充分考虑面部特征点，如中线轮廓结点包括额点、鼻根点、鼻尖点、鼻下点、上唇点、下唇点和颏下点，同时加入其它局部形态结点，以更好的描述轮廓形态。修改后的黄金比例面罩更加突出东方女性的妩媚、清秀和温柔的特质。该标准黄金比例面罩模型只要制作一次。

所述步骤2)对输入的个性化真实感三维人脸模型进行标志点检测，可以用现存的三维人脸特征点自动检查算法获取三维人脸解剖标志点。具体来说，在人脸三维模型上检测出26个特征标志点，包括发际点、眉间点、鼻根点、鼻背点、鼻尖点、鼻下点、上唇中点、口裂点、下唇中点、下巴尖点、左右外眦点、左右内眦点、左右嘴角点、左右额颞点、左右颧点、左右耳屏点、左右鼻翼点、左右下颌角点。

所述步骤3)利用检测的三维人脸标志点将标准的黄金比例面罩模型与个性化三维人脸模型自动配准对齐，这些特征点大部分直接对应于黄金面罩上的标志点，少数几个对应于黄金面罩网格线上的一定比例位置。具体的计算方法可以采用改进的经典ICP迭代最近点算法，通过计算各组对应特征点对之间的加权距离之和为目标函数，使目标函数最小化，确定所需要的平移、旋转和等比缩放这三种空间变换。但是，这些特征点的重要性并不是完全相同的，通过充足的实验对比，确定了每组对应特征点的权重，使得黄金面罩可以更好的自动对齐到三维人脸。

所述步骤4)利用配准后的黄金比例面罩模型自动确定人脸重建兴趣区域，并用黄金面罩上的特征点和特征线设置变形边界条件,其步骤为：根据黄金面罩上对应需要人脸重建区域的边界网格线映射到三维人脸模型上，自动确定三维人脸需要重建的兴趣区域，将区域边界设置为固定边界条件，将区域外的模型部分设置为非活动区域，限定计算局部范围模型可以减少后续变形计算量。同时，将位于兴趣区域中部的投影特征点和特征线返回映射到黄金面罩上对应的位置，作为驱动变形的条件。

所述步骤5)中能保持细节特征的拉普拉斯网格变形方法计算过程为：先确定网格几何信息的拉普拉斯坐标微分属性的表示式，然后利用已设置的变形边界约束条件下的二次最优化模型重建修改后的网格顶点坐标，使变形后的网格具有保持细节的特点。假设为某种局部形状描述算子，用于从网格几何信息p抽取其微分属性l：则变形后的网格几何信息p'可以由如下离散形式的二次最优化模型的能量最小化得到：

其中A_i是微分属性l_i相关的局部区域的面积。

但是，如果微分属性一般只具有平移不变性、但不是旋转和缩放不变的，仅仅修改边界条件而直接利用初始的微分属性l求解得到的变形结果往往不能得到理想的编辑结果，因此在设置边界条件的同时，有必要对初始微分属性l做相应的调整得到修改后的微分属性l'＝T(l),其中T表示某种局部变换。这样上面的二次最优化模型可表示为：

当步骤4)中的变形边界条件确定后，可以调用SuperLU和TAUCS等成熟的数值计算库对式(2)进行快速求解，得到变形后的网格坐标，并进行三维人脸模型结果显示，提供高效的仿真模拟。

与现有技术相比，本发明所具的有益效果为：本发明无需用户交互，所有操作都能够实现自动化；本发明根据黄金比例面罩能自动确定需要重建的兴趣区域和变形边界条件，减少变形计算量；本发明使用高效的能保持细节特征的拉普拉斯网格变形方法，在黄色比例引导下提供更真实的三维人脸重建模拟效果。本发明对三维人脸模型娱乐、美容化妆设计以及整形术前预测有重要指导意义。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：

图1为本发明提供黄金比例引导的人脸重建模拟流程图；

图2为本发明所制作符合东方人审美眼光的黄金比例面罩；

图3为本发明提供黄金面罩与三维人脸模型配准对齐示意图；

图4为本发明提供的黄金比例引导鼻部和下巴区域人脸重建设计效果图；

图5为本发明提供的黄金比例引导下颌角区域人脸重建设计效果图；

表1为本发明提供的典型三维人脸模型进行人脸重建模拟结果统计表。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

图1为本发明方法步骤：1)基于理想的黄金比例面罩数据，制作标准黄金比例面罩模型；2)对输入的个性化真实感三维人脸模型进行标志点检测；3)利用检测的三维人脸标志点将标准的黄金比例面罩模型与个性化三维人脸模型自动配准对齐；4)利用配准后的黄金比例面罩模型自动确定重建兴趣区域，并用黄金面罩上的特征点和特征线设置变形边界条件；5)根据变形边界条件驱动一种能保持细节特征的拉普拉斯网格变形方法进行变形计算。

1.基于理想的黄金比例面罩数据，制作标准黄金比例面罩模型

该黄金比例面罩由214个结点和78条边线组成，面罩左右两侧关于中切面完全对称。面罩结点充分考虑面部特征点，如中线轮廓结点包括额点、鼻根点、鼻尖点、鼻下点、上唇点、下唇点和颏下点，同时加入其它局部形态结点，以更好的描述轮廓形态。。

请参阅图2所示为本发明所制作符合东方人审美眼光的黄金比例面罩示意图。

2对输入的个性化真实感三维人脸模型进行标志点检测

可以用现有的三维人脸特征点自动检查算法获取三维人脸解剖标志点。具体来说，在人脸三维模型上检测出26个特征标志点，包括发际点、眉间点、鼻根点、鼻背点、鼻尖点、鼻下点、上唇中点、口裂点、下唇中点、下巴尖点、左右外眦点、左右内眦点、左右嘴角点、左右额颞点、左右颧点、左右耳屏点、左右鼻翼点、左右下颌角点。

3.利用检测的三维人脸标志点将标准的黄金比例面罩模型与个性化三维人脸模型自动配准对齐

这些特征点大部分直接对应于黄金面罩上的标志点，少数几个对应于黄金面罩网格线上的一定比例位置。通过计算各组对应特征点对之间的加权距离之和为目标函数，使目标函数最小化，确定所需要的平移、旋转和等比缩放这三种空间变换。但是，这些特征点的重要性并不是完全相同的，通过充足的实验对比，确定了每组对应特征点的权重，使得黄金面罩可以更好的自动对齐到三维人脸。

请参阅图3所示为本发明提供黄金面罩与三维人脸模型配准对齐示意图。

4.利用配准后的黄金比例面罩模型自动确定重建兴趣区域，并用黄金面罩上的特征点和特征线设置变形边界条件

根据黄金面罩上对应需要人脸重建区域的边界网格线映射到三维人脸模型上，自动确定三维人脸需要重建的兴趣区域，将区域边界设置为固定边界条件，将区域外的模型部分设置为非活动区域，限定计算局部范围模型可以减少后续变形计算量。同时，将位于兴趣区域中部的投影特征点和特征线返回映射到黄金面罩上对应的位置，作为驱动变形的条件。

5.根据变形边界条件驱动拉普拉斯网格变形方法进行变形计算

先构建网格几何信息的拉普拉斯坐标微分属性的表示，然后利用已设置的变形边界约束条件下的二次最优化模型重建修改后的网格顶点坐标，使变形后的网格具有保持细节的特点。假设为某种局部形状描述算子，用于从网格几何信息p抽取其微分属性l：则变形后的网格几何信息p'可以由如下离散形式的二次最优化模型的能量最小化得到：

其中A_i是微分属性l_i相关的局部区域的面积。

但是，如果微分属性一般只具有平移不变性、但不是旋转和缩放不变的，仅仅修改边界条件而直接利用初始的微分属性l求解得到的变形结果往往不能得到理想的编辑结果，因此在设置边界条件的同时，有必要对初始微分属性l做相应的调整得到修改后的微分属性l'＝T(l),其中T表示某种局部变换。这样上面的二次最优化模型可表示为：

当步骤4)中的变形边界条件确定后，可以调用SuperLU和TAUCS等成熟的数值计算库对式(2)进行快速求解，得到变形后的网格坐标，并进行三维人脸模型结果显示，提供高效的仿真模拟。

请参阅图4所示为本发明提供的黄金面罩自动引导鼻部区域和下巴区域人脸重建设计示意图。图4显示了一例基于黄金比例的个性化人脸重建的变形结果，自动对鼻部区域和下巴部分进行三维重建设计，使用伪彩映射技术重点显示变化的区域。

本发明的实施例中，图5为本发明提供的黄金面罩自动引导下颌角区域人脸重建设计示意图。图5显示了另一例基于黄金比例的个性化人脸重建的变形结果，重点对下颌角肥大区域进行自动重建设计。

表1为本发明提供的典型三维人脸模型进行人脸重建模拟输出结果统计表。表1展示了部分实验结果，实验统计的硬件环境为P43.0GHZ、6G内存普通台式机,Win7操作系统。可以看到根据需要重建的兴趣部分的大小不同，人脸重建变形预计算的时间约为0.1s～0.5s(预计算过程只要计算一次),然后用户可以实时的直接看到后续交互反馈的变形结果，变形时间基本上小于0.02s。

表1

Claims (4)

1.一种黄金比例引导的三维人脸模型重建方法，其特征在于，包括以下步骤：

1)基于理想的黄金比例面罩数据，制作标准黄金比例面罩模型；

2)对输入的三维人脸模型进行标志点检测；

3)利用检测的三维人脸模型标志点将标准的黄金比例面罩模型与三维人脸模型配准对齐；

4)利用配准对齐后的黄金比例面罩模型确定重建区域，并用黄金比例面罩模型上的特征点和特征线设置变形驱动条件；

5)根据变形驱动条件，采用拉普拉斯网格变形方法进行变形计算，利用计算得到的变形结果计算重建后的网格顶点坐标，并进行三维人脸模型结果显示。

2.根据权利要求1所述的黄金比例引导的三维人脸模型重建方法，其特征在于，所述步骤1）中，黄金比例面罩包括214个结点和78条边线，且所述黄金比例面罩左右两侧关于中切面对称。

3.根据权利要求2所述的黄金比例引导的三维人脸模型重建方法，其特征在于，所述步骤4）中，变形驱动条件确定过程为：将黄金比例面罩上对应需要三维重建区域的边界网格线映射到三维人脸模型上，自动确定三维人脸需要重建的区域，将三维重建区域边界设置为固定边界条件，将三维重建区域外的模型部分设置为非活动区域，同时将位于三维重建区域中部的投影特征点和特征线返回映射到黄金比例面罩上对应的位置，作为变形驱动条件。

4.根据权利要求3所述的黄金比例引导的三维人脸模型重建方法，其特征在于，所述步骤5）中，采用拉普拉斯网格变形方法进行变形计算的过程为：确定网格几何信息的拉普拉斯坐标微分属性的表示，然后利用已设置的变形驱动条件下的二次最优化模型重建修改后的网格顶点坐标，使变形后的网格具有保持细节的特点。