CN111127642A - 一种人脸三维重建方法 - Google Patents

Abstract

本发明涉及一种人脸三维重建方法。本发明采用RGB激光扫面的方法进行彩色三维重建。首先，以直接标定的方法，建立数码相机采样图片的像素坐标系与世界坐标系的映射关系；利用相机拍摄的三色激光照明下的标准色板图像，标定数码相机对三原色的感光曲线，即建立相机三原色记录值与标准值之间的关系。然后，以人脸为目标，提出从获取扫描数据到进行三维重建的完整方法。最后将重建完毕的数字化人脸三维模型用于整形手术的制定方案、提前预览和辅助手术过程。有效的提高用户对美容美化手术的参与度、满意度，提升医生进行美容美化手术的精准度。

Description

一种人脸三维重建方法

技术领域

本发明涉及人脸三维重建技术领域，尤其涉及一种人脸三维重建方法。

背景技术

随着社会的不断进步、时代的不断发展、科技的不断创新，人们的生活质量有了显著提高，尤其是对面容颜值的要求也越来越高。美容整形也就成为了近年来蓬勃发展的产业。同时人们审美水平的变化，也就要求现代医疗对美容整形的标准越来越严谨。当人们想要进行美容整形手术的时候，都会有着自己的想法，仅凭语言沟通难以表达清楚，无法真实的提前看到手术后的整容效果，而且美容整形手术大都由医生进行人工手术，无法精确细致的执行每一步过程等等，这些都影响着美容整形手术的成功率和用户的满意度。

而且目前的人脸三维重建方法可以根据图像或者数据的来源大致分为两类：一类基于图像的重建方法，另一类是基于三维测量数据的重建方法。其中基于图像的三维人脸建模，通常是通过人脸图像或者视频序列来提取人脸的特征数据，利用合成算法获取三维人脸模型，这种方法所需的图像输入设备简单且容易获取，但在恢复的过程中，物体表面一些特征点恢复的精确度有着很大的决定因素影响整个物体重建的精确度。基于图像的三维人脸建模又大致分为基于单幅图像建模、基于正侧图像建模、基于多福图像建模、基于单目视频建模、基于双目视频建模等，而基于三维测量数据的重建方法主要是各种结构光方法。

基于单幅图像的建模就是由一张二维人脸图像恢复原有的三维人脸模型。主要通过三维激光扫描仪获得很多不同的三维人脸模型，将它们进行线性组合从而建立起人脸的参数模型，其中包括形状模型和纹理模型，将需要建模的二位人脸图像与构建好的参数模型进行优化匹配，从而建立三维人脸模型，计算过程会过于复杂，耗时长。基于正侧图像的建模是通过两张正、侧两个互相垂直的方向拍摄的人脸照片来建立人脸模型，通过标注特征点的位置，在正侧面图像中找出特征点的对应关系通过插值变形来构造三维人脸模型，其重建速度较快，误差较大。基于多幅图像的建模主要利用多幅图像，通过散乱数据的插值技术去生成一个符合特定几何结构的脸部网格原型，在输入图像中提取多个纹理映射，将纹理和面部表情融合生成三维人脸模型，最后可以生成平滑逼真的三维人脸模型，其需要大量的手工工作。基于单目视频的建模是从单目视频图像序列出发，要求输入的视频通过统计地估计和合并，采用SFM算法获取三维模型，通过对比通用标准模型利用能量函数校正两者之间的局部误差最终得到三维重建模型，其重建模型表面误差较大。基于双目视频的建模是通过双摄像头得到同时曝光的图像，通过距离计算三维深度信息，从而重建出人脸三维模型，其对硬件要求和环境要求较高。基于各种结构光的建模是通过结构光获取全部的三维面部信息从而建立三维人脸模型，其处理时间较长。因此，本发明将提供一种基于人脸三维重建的整形方法将数字化的系统技术用到医疗美容领域，进一步解决手术精准度、满意度和安全性等问题。

发明内容

本发明的目的在于有效的提高用户对美容美化手术的参与度、满意度，提升医生进行美容美化手术的精准度，提出一种人脸三维重建方法。

本发明将采用RGB激光扫面的方法进行彩色三维重建。首先，以直接标定的方法，建立数码相机采样图片的像素坐标系与世界坐标系的映射关系；利用相机拍摄的三色激光照明下的标准色板图像，标定数码相机对三原色的感光曲线，即建立相机三原色记录值与标准值之间的关系。然后，以人脸为目标，提出从获取扫描数据到进行三维重建的完整方法。最后将重建完毕的数字化人脸三维模型用于整形手术的制定方案、提前预览和辅助手术过程。

本发明具体包括以下步骤：

步骤一、扫描目标对象的面部，建立人脸三维模型：

首先进行相机标定，直接使系统内的每一个标定点都能与世界坐标相对应。对应关系如下：

X＝(x-a_i)/(a_i+1-a_i)×(c_i+1-c_i)

Y＝v×t

Z＝(z-b_j)/(b_j+1-b_j)×(d_j+1-d_j)

其中：(x，z)为任意一点像素坐标，(a_i，b_j)(a_i，b_j+1)(a_i+1，b_j)(a_i+1，b_j+1)为距离(x，z)最近的四个标定点的像素坐标；v为扫描速度，t为扫描时间；(c，d)为(a，b)所对应的世界坐标；(X，Y，Z)为(x，z)在时间t所对应的世界坐标。

然后使用相机进行面部扫描，使激光光线覆盖目标对象的整个面部。接着将系统标定用于数据重建，利用上述公式得到每一点的离散三维坐标，从而构建出三维点云图或三维曲线图。

最后对颜色进行标定，使得点云数据中每一点都对应一组RGB颜色数据从而得到人脸彩色三维。采用激光去扫描标准色板中的六个灰度色块，然后经过如下三次多项式拟合，实现相机测量值近似标准值，满足本发明对颜色的需求。

R＝A₁r³+B_lr²+C_lr+D₁；

G＝A₂g³+B₂g²+C₂g+D₂；

B＝A₃b³+B₃b^z+C₃b+D₃；

式中：r、g、b分别为红、绿、蓝色的数码相机测量值；R、G、B分别为红、绿、蓝色的标准值，均为上述标准色板中的灰度色块。A_i、B_i、C_i、D_i(i＝1,2,3)为三次多项式拟合后所得的系数。

步骤二、将步骤一得到的三维人脸模型输入到上位机中，采用局部邻域曲率变化最大规则和迭代约束优化相结合的方法，对面部五官标志点进行精确定位，取得人脸五官的具体参数。

首先上位机计算三维人脸网格模型中各个特征点，得出面部五官整形前的目标参数。其计算方法如下所示：以P{p_i，i＝l,2,…,N}表示三维人脸数据集合，对该数据集中的每一个顶点p_i，其最大和最小曲率分别表示为k₁和k₂，由最大最小曲率计算出的三维曲面上的脊线和谷线描述人脸五官区域的凹凸变化，分别以l₁和l₂表示，其计算原则为：l₁＝{p_i,if(k₁>k'₁)|p_i∈P}；l₂＝{p_i,if(k₂<k'₂)|p_i∈P}；其中k'₁、k'₂分别为局部区域的门限曲率,其值可以由遗传算法计算得出；假设映射到三维空间的面部区域特征点集由

表示，在该集合中按照上述公式计算满足脊线和谷线的点,保留其相应的脊线和谷线。令特征点集P_F内的脊线和谷线分别标记为P_F1，P_F2，并将两集合合并为P_F0,表示人脸五官的局部突变点集。

然后采用spin image算法建立不同姿态人脸特征点对间的约束关系,用最小二乘法进行匹配优化,对匹配结果进行统计分析,得出某一偏差值θ,使绝大多数点均在该偏差值以内，以此偏差值作为阈值滤除偏差大的点,建立新的集合P'_F0,认为被滤出的点是非五官标志点,直到相邻两次阈值之差小于给定的误差值,将此时集合P'_F0中的点确定为人脸五官标志点，得出人脸五官的参数。

最后将人的眼睛、鼻子、嘴巴、耳朵、脸型、额头、眉头等各具体特征区域的大小和深度以美化前用户的面部检测数据报告的形式展现出来。

步骤三、对提出期望美化的具体部位，上位机经分析得出建议修改上述特征区域的目标参数。依据提出的美化期望，上位机经过比对美化前的和期望的数字化人脸模型进而分析得出待修改的相对应的关键点和相对应的具体区域待调整的大小、深度等参数。

步骤四、调整相应的目标参数，修改后可在上位机中得到人脸术后效果三维预览模型。依据上位机提供的面部数据检测报告、建议修改的具体区域目标参数结合用户自身的建议在上位机中通过修改美化前数字人脸模型的特征区域的对应参数。初步得出人脸术后效果三维模型。

步骤五、初步判断是否满足预期，若不满足则可继续调整相关目标参数，若满足则通过3D打印模块将其输出为面部具体实物，最终判定是否满足预期效果。

步骤六：若满足预期，则将人脸术后预览模型形成过程中调整过的目标参数输入上位机中，辅助医生完成面部具体区域的整形。首先将人脸术后效果三维模型重建过程中调整的相关目标参数等三维信息提取到上位机中，通过基元图像和对应微透镜阵列恢复出来，在不同位置相交会聚，在对应的空间点上重建出立体影像。然后进行术前路径规划，医生根据精确引导信息决定手术器械的入口和路径，并且实时跟踪检测手术器械的位置，确定其与面部修整区域的空间位置，接着结合用户术前的医学图像、整形方案选择不同的注册方法，完成术前医学图像与实际患者的统一，最后直观的为医生提供可视化引导，进一步地帮助医生完成手术，更好的辅助医生进行面部精细修整。

附图说明

图1是本发明的流程图。

具体实施方式

下面根据本发明实施例中的附图对本发明实施例中的方法进行完整、清楚、细致的描述，使本发明的目的和效果将变得更加明显。

如图1所示，提出了一种人脸三维重建方法实现的具体流程，其详情如下：

在进行人脸扫描前，要首先进行系统的标定。该方法为：将激光器竖直放置，经柱面镜扩为线光；相机朝向目标；标定板竖直放置，位置必须仔细调整，保证严格与线光平面重合。

标定板上为一个方格图像阵列，交叉点称为标定点，每一个标定点都有确定的世界坐标，记为(c_i，d_j)，被相机记录下来后，每一个标定点将有一个像素坐标，记为(a_i，b_j)。相机拍摄到的图片中每一标定点都有一对世界坐标与像素坐标互相对应，而标定点之间的像素点可以通过比例关系近似计算出它的世界坐标，像素坐标系与世界坐标系的对应关系为：

X＝(x-a_i)/(a_i+1-a_i)×(c_i+1-c_i)

Y＝v×t

Z＝(z-b_j)/(b_j+1-b_j)×(d_j+1-d_j)

其中：(x，z)为任意一点像素坐标，(a_i，b_j)(a_i，b_j+1)(a_i+1，b_j)(a_i+1，b_j+1)为距离(x，z)最近的四个标定点的像素坐标；v为扫描速度，t为扫描时间；(c，d)为(a，b)所对应的世界坐标；(X，Y，Z)为(x，z)在时间t所对应的世界坐标。

对目标对象进行匀速全方位覆盖式的人脸扫描。

依次读取扫描图像上的特征点，寻找距离此点距离最近的四个标定点，计算出此点对应的世界坐标，对下一帧的图像执行同样的处理方法，然后将上述所得数据叠加，重建出三维点云图或三维曲面图。

对所得到的术前人脸三维模型进行颜色标定，生成人脸彩色三维模型。首先采用三个激光器的三束激光去扫描24色标准色板中的六个灰度，可得到六组值，然后对相机的记录值和色板的标准值进行三次多项式的曲线拟合以标定颜色。其三次拟合公式如下所示：

R＝A₁r³+B₁r²+C₁r+D₁；

G＝A₂g³+B₂g²+C₂g+D₂；

B＝A₃b³+B₃b²+C₃b+D₃；

式中：r、g、b分别为红、绿、蓝色的数码相机测量值；R、G、B分别为红、绿、蓝色的标准值，即上述的六个灰度色块。

将该模型输入上位机中，采用局部邻域曲率变化最大规则和迭代约束优化相结合的方法，对面部五官标志点进行精确定位，然后计算出五官的角度、大小、深度，生成整形前用户的面部检测数据报告，以辅助制定美化方案。

以用户提出的美化期望为主，结合医生的相关建议，经系统分析生成一份通过修改面部具体区域目标参数的美化建议方案，可通过调整相应关键点及目标参数对面部具体区域的大小、深度、角度进行调整。

用户和医生一起依据面部数据检测报告、美化建议方案在整形系统中调整相应的目标参数，生成人脸术后效果三维模型。

判断该模型是否满足预期，若不满足则可继续调整相关目标参数，若满足则可通过3D打印模块将其输出为术后面部物理模型，由用户二次判定是否满足预期效果。

将生成人脸术后预览模型过程中调整过的目标参数输入上位机中，在医生进行手术时实时的提示面部具体区域待调整的大小、深度、角度，辅助医生更加精细完美的完成面部整形手术。

Claims (4)

1.一种人脸三维重建方法，其特征在于：具体包括如下步骤：

步骤一、扫描目标对象的面部，建立人脸三维模型；

步骤二、将步骤一得到的三维人脸模型输入到上位机中，采用局部邻域曲率变化最大规则和迭代约束优化相结合的方法，对面部五官标志点进行精确定位，取得人脸五官的具体参数；

步骤三、对提出期望美化的具体部位，上位机经分析得出建议修改上述特征区域的目标参数；依据提出的美化期望，上位机经过比对美化前的和期望的数字化人脸模型进而分析得出待修改的相对应的关键点和相对应的具体区域待调整的参数；

步骤四、调整相应的目标参数，修改后可在上位机中得到人脸术后效果三维预览模型；依据上位机提供的面部数据检测报告、建议修改的具体区域目标参数结合用户自身的建议在上位机中通过修改美化前数字人脸模型的特征区域的对应参数；初步得出人脸术后效果三维模型；

步骤五、初步判断是否满足预期，若不满足则可继续调整相关目标参数，若满足则通过3D打印模块将其输出为面部具体实物，最终判定是否满足预期效果；

步骤六：若满足预期，则将人脸术后预览模型形成过程中调整过的目标参数输入上位机中，辅助医生完成面部具体区域的整形。

2.如权利要求1所述的人脸三维重建方法，其特征在于：步骤一具体步骤如下：首先进行相机标定，使每一个标定点都能与世界坐标相对应；对应关系如下：

X＝(x-a_i)/(a_i+1-a_i)×(c_i+1-c_i)

Y＝v×t

Z＝(z-b_j)/(b_j+1-b_j)×(d_j+1-d_j)

其中：(x，z)为任意一点像素坐标，(a_i，b_j)(a_i，b_j+1)(a_i+1，b_j)(a_i+1，b_j+1)为距离(x，z)最近的四个标定点的像素坐标；v为扫描速度，t为扫描时间；(c，d)为(a，b)所对应的世界坐标；(X，Y，Z)为(x，z)在时间t所对应的世界坐标；

然后使用相机进行面部扫描，使激光光线覆盖目标对象的整个面部；接着将系统标定用于数据重建，利用上述公式得到每一点的离散三维坐标，从而构建出三维点云图或三维曲线图；

最后对颜色进行标定，使得点云数据中每一点都对应一组RGB颜色数据从而得到人脸彩色三维；采用激光去扫描标准色板中的灰度色块，然后经过如下三次多项式拟合，实现相机测量值近似标准值，满足本发明对颜色的需求；

R＝A₁r³+B₁r²+C₁r+D₁；

G＝A₂g³+B₂g²+C₂g+D₂；

B＝A₃b³+B₃b²+C₃b+D₃；

式中：r、g、b分别为红、绿、蓝色的数码相机测量值；R、G、B分别为红、绿、蓝色的标准值，均为上述标准色板中的灰度色块。A_i、B_i、C_i、D_i(i＝1,2,3)为三次多项式拟合后所得的系数。

3.如权利要求1所述的人脸三维重建方法，其特征在于：步骤二具体步骤如下：首先上位机计算三维人脸网格模型中各个特征点，得出面部五官整形前的目标参数；其计算方法如下所示：以P{p_i，i＝l,2,…,N}表示三维人脸数据集合，对该数据集中的每一个顶点p_i，其最大和最小曲率分别表示为k₁和k₂，由最大最小曲率计算出的三维曲面上的脊线和谷线描述人脸五官区域的凹凸变化，分别以l₁和l₂表示，其计算原则为：l₁＝{p_i,if(k₁>k'₁)|p_i∈P}；l₂＝{p_i,if(k₂<k'₂)|p_i∈P}；其中k'₁、k'₂分别为局部区域的门限曲率,其值可以由遗传算法计算得出；假设映射到三维空间的面部区域特征点集由

表示，在该集合中按照上述公式计算满足脊线和谷线的点,保留其相应的脊线和谷线；令特征点集P_F内的脊线和谷线分别标记为P_F1，P_F2，并将两集合合并为P_F0,表示人脸五官的局部突变点集；

然后采用spin image算法建立不同姿态人脸特征点对间的约束关系,用最小二乘法进行匹配优化,对匹配结果进行统计分析,得出某一偏差值θ,使绝大多数点均在该偏差值以内，以此偏差值作为阈值滤除偏差大的点,建立新的集合P'_F0,认为被滤出的点是非五官标志点,直到相邻两次阈值之差小于给定的误差值,将此时集合P'_F0中的点确定为人脸五官标志点，得出人脸五官的参数；

最后将人的眼睛、鼻子、嘴巴、耳朵、脸型、额头、眉头等各具体特征区域的大小和深度以美化前用户的面部检测数据报告的形式展现出来。

4.如权利要求1所述的人脸三维重建方法，其特征在于：步骤三具体步骤如下：首先将人脸术后效果三维模型重建过程中调整的相关目标参数三维信息提取到上位机中，通过基元图像和对应微透镜阵列恢复出来，在不同位置相交会聚，在对应的空间点上重建出立体影像；然后进行术前路径规划，医生根据精确引导信息决定手术器械的入口和路径，并且实时跟踪检测手术器械的位置，确定其与面部修整区域的空间位置，接着结合用户术前的医学图像、整形方案选择不同的注册方法，完成术前医学图像与实际患者的统一，最后直观的为医生提供可视化引导，进一步地帮助医生完成手术，更好的辅助医生进行面部精细修整。

Images