CN114596409A - 一种带纹理的人脸三维网格模型获取方法 - Google Patents

Abstract

本发明涉及人脸三维重建技术领域，且公开了一种带纹理的人脸三维网格模型获取方法，带纹理的人脸三维网格模型获取系统包括采集模块、人脸三维网格模型生成模块以及纹理映射模块，采集模块通过利用多个深度相机模组同步采集深度图和纹理图数据，加快采集速度，减少后续三维点云拼接和纹理映射的误差。通过对采集的正脸纹理图进行人脸五官感兴趣区域识别，得到人脸五官识别区域掩膜，掩膜在人脸三维网格模型纹理贴图中为模型五官选择正脸纹理图进行贴图，避免人脸模型五官出现纹理接缝割裂不连续，同时正脸纹理图对于人脸三维网格模型的五官有较好贴图效果，提高纹理映射效果。

Description

一种带纹理的人脸三维网格模型获取方法

技术领域

本发明涉及人脸三维重建技术领域，具体为一种带纹理的人脸三维网格模型获取方法。

背景技术

人脸三维重建技术是一种获得真实人脸数字化三维模型的技术，在医疗美容、公共安全、虚拟形象交互等领域有着重要的应用前景。相比传统二维的人脸图片，三维人脸数据同时提供了纹理色彩和三维结构信息，可以直观逼真地展示人脸外观，更好地实现展示交互功能。利用增加的三维结构信息还能增加人脸识别的准确性，相比基于二维图像的人脸识别可以在不同角度下完成识别，保障了人脸识别在公共安全领域的运用。现有的人脸三维扫描装置主要包含两类，一类是通过手持方式对人脸实现多角度扫描，另一类是通过机械控制扫描设备环绕人脸进行运动完成全脸扫描，这些扫描装置的主要问题是数据采集时间过长，人脸晃动以及表情变化造成不同时刻采集的数据存在偏差，最终影响人脸三维模型重建的精度以及降低纹理重建的效果。

色彩纹理是最直观的感受对象，没有丰富逼真的纹理细节，就难以让消费者产生深刻印象的体验感，要得到逼真的物体视觉除了准确物体几何信息，离不开高保真的纹理信息支持，因此纹理映射技术在三维重建的实际应用中发挥着重要的作用。

传统主流的纹理映射方法分为两步：

第一步为网格的每个网格面片选择一幅纹理图像，将面片顶点映射到该幅图像中，获得顶点对应纹理图像的图像坐标；

第二步对纹理接缝进行优化，消除纹理接缝；

由于设备测量精度，点云拼接精度，纹理相机与深度相机标定等问题使重建模型存在一定的偏差，不同纹理图像投影到重建网格模型中不能完全对齐。当相邻两个几何面片采用不同的纹理图像贴图时，就会在其公共边上生成纹理接缝，即使纹理接缝优化后依旧可能存在纹理错位。在现有解决方法中，基于马尔可夫随机场选择纹理图的方法得到不断改进，其方法的优化模型有纹理图像选择能量项和接缝能量项，通过最小化能量减少接缝出现在纹理丰富区域来规避纹理错位带来的较差观感，但是马尔可夫随机场模型求解较为复杂，其结果鲁棒性不足，不能有效规避纹理错位问题，为此提出一种带纹理的人脸三维网格模型获取方法。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种带纹理的人脸三维网格模型获取方法，以解决上述背景技术中提出的问题。

(二)技术方案

为实现上述目的，本发明提供如下技术方案：一种带纹理的人脸三维网格模型获取方法，包括采集模块、人脸三维网格模型生成模块以及纹理映射模块，其中：

采集模块用于获取人脸的深度图和纹理图；

人脸三维网格模型生成模块是用于计算拼接深度图和生成人脸三维网格模型，同时获得网格模型与纹理图的映射关系；

纹理映射模块是用于选取纹理图映射至人脸三维网格模型中，优化纹理接缝，最终获得带纹理的人脸三维网格模型。

优选的，人脸三维网格模型获取方法包括以下获取步骤：

S1、采集人脸的深度图和纹理图数据；

S2、计算生成人脸三维网格模型；

S3、确定人脸三维网格模型与纹理图的映射关系；

S4、对正脸纹理图进行人脸五官区域识别，获得五官区域掩膜；

S5、使用正脸五官区域掩膜引导人脸三维网格模型贴图选择，完成整个人脸模型的纹理映射,优化接缝输出结果。

优选的，采集模块包括获取装置，包括支架，所述支架顶部一侧安装有二号深度相机，所述支架顶部远离二号深度相机的一侧设置有三号深度相机，所述支架位于二号深度相机和三号深度相机之间的顶部安装有一号深度相机，所述支架位于一号深度相机的下方安装有四号深度相机，所述二号深度相机、一号深度相机、三号深度相机以及四号深度相机采用主动式投影或者被动式匹配的重建方式。

优选的，根据步骤S1中所提出的，人脸数据采集时，被测者两眼间正对二号深度相机，多个深度相机同步采集多个方向的人脸深度数据和纹理图(T₁、 T₂、T₃、T₄)，将数据采集时间缩短，减少人脸变化和抖动影响，提高获得的人脸三维点云与纹理图映射的准确性。

优选的，根据步骤S2中所提出的，通过步骤S1的各个深度相机在其自身相机坐标系(O_c1、O_c2、O_c3、O_c4)下获得人脸各个方向局部三维点云(PC₁、PC₂、 PC₃、PC₄)，需要拼接成完整人脸三维点云PC，再生成人脸三维网格模型。

优选的，根据步骤S3中所提出的，深度相机模块中的纹理相机通过相机标定得到其内参数矩阵[K]和纹理相机坐标系与深度相机坐标系的旋转平移矩阵[R₃|T₃]。上步骤得到的人脸三维网格模型可以通过旋转平移矩阵[R₁|T₁] 和[R₂|T₂]转换至深度相机坐标系下，然后再通过旋转平移矩阵[R₃|T₃]转换至纹理相机坐标系。纹理相机坐标系下人脸三维网格模型的顶点通过内参数矩阵[K]投影至纹理图中，获得对应纹理图的图像坐标，确定所有纹理图与人脸三维网格模型的映射关系。

优选的，根据步骤S4中所提出的，包括以下步骤：

①、首先获取训练后用于识别人脸五官感兴趣区域的卷积神经网络模型，包括预采人脸正面图像数据；

②、人工对所述临人脸正面图像中的五官区域进行区分；

③、训练微调卷积神经网络模型，得到训练后的卷积神经网络模型；

④、将步骤S1中采集的正脸纹理图像输入卷积神经网络模型，识别人脸获得五官区域掩膜。

优选的，根据步骤S5中所提出的，人脸三维网格模型由n个网格面片F_j (j∈n)组成，使用步骤S4获得的掩膜引导人脸三维网格模型贴图选择，完成整个人脸模型的纹理映射，并优化纹理接缝。

(三)有益效果

与现有技术相比，本发明提供了一种带纹理的人脸三维网格模型获取方法，具备以下有益效果：

1、人脸三维采集系统通过利用多个深度相机模组同步采集深度图和纹理图数据，减少后续三维点云拼接和纹理映射的误差。

2、通过对采集的正脸纹理图进行人脸五官感兴趣区域识别，得到人脸五官识别区域掩膜，掩膜在人脸三维网格模型纹理贴图中为模型五官选择正脸纹理图进行贴图，避免人脸模型五官出现纹理接缝错位，同时正脸纹理图对于人脸三维网格模型的五官有较好贴图效果，提高纹理映射效果。

3、在网格面片纹理图选择上，使用面片法向和面片映射至纹理图的面积等权重，辅以神经网络的人脸五官识别区域的权重，计算量相对马尔科夫随机场等方法较少，鲁棒性更高。

附图说明

图1为本发明的装置图；

图2为本发明装置的俯视结构示意图；

图3为本发明带纹理的人脸三维网格模型获取系统框图；

图4为本发明获取带纹理的人脸三维网格模型流程图。

图中：1、二号深度相机；2、一号深度相机；3、三号深度相机；4、四号深度相机；5、支架。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一个技术方案，一种带纹理的人脸三维网格模型获取方法，一种带纹理的人脸三维网格模型的获取方法，如图3和图4所示，带纹理的人脸三维网格模型获取系统包括采集模块、人脸三维网格模型生成模块以及纹理映射模块，其中：

采集模块用于获取人脸的深度图和纹理图；

人脸三维网格生成模型模块是用于计算拼接深度图和生成人脸三维网格模型，同时获得网格模型与纹理图的映射关系；

纹理映射模块是用于选取纹理图映射至人脸三维网格模型中，优化纹理接缝，最终获得带纹理的人脸三维网格模型。

人脸三维网格模型获取方法包括以下获取步骤：

S1、采集人脸的深度图和纹理图数据；

S2、计算生成人脸三维网格模型；

S3、确定人脸三维网格模型与纹理图的映射关系；

S4、对正脸纹理图进行人脸五官区域识别，获得五官区域掩膜；

S5、使用正脸五官区域掩膜引导人脸三维网格模型贴图选择，完成整个人脸模型的纹理映射,优化接缝输出结果。

如图1和图2所示，采集模块包括获取装置，包括支架5，支架5顶部一侧安装有二号深度相机1，支架5顶部远离二号深度相机1的一侧设置有三号深度相机3，支架5位于二号深度相机1和三号深度相机3之间的顶部安装有一号深度相机2，支架5位于一号深度相机2的下方安装有四号深度相机4，二号深度相机1、一号深度相机2、三号深度相机3以及四号深度相机4采用主动式投影或者被动式匹配的重建方式。

根据步骤S1中所提出的，人脸数据采集时，被测者两眼间正对二号深度相机1，多个深度相机同步采集多个方向的人脸深度数据和纹理图(T₁、T₂、T₃、 T₄)，将数据采集时间缩短，减少人脸变化和抖动影响，提高获得的人脸三维点云与纹理图映射的准确性。

根据步骤S2中所提出的，通过步骤S1的各个深度相机在其自身相机坐标系(O_c1、O_c2、O_c3、O_c4)下获得人脸各个方向局部三维点云(PC₁、PC₂、PC₃、PC₄)，需要拼接成完整人脸三维点云PC，再生成人脸三维网格模型。

根据步骤S3中所提出的，深度相机模块中的纹理相机通过相机标定得到其内参数矩阵[K]和纹理相机坐标系与深度相机坐标系的旋转平移矩阵 [R₃|T₃]。上步骤得到的人脸三维网格模型可以通过旋转平移矩阵[R₁|T₁]和 [R₂|T₂]转换至深度相机坐标系下，然后再通过旋转平移矩阵[R₃|T3]转换至纹理相机坐标系。纹理相机坐标系下人脸三维网格模型的顶点通过内参数矩阵[K]投影至纹理图中，获得对应纹理图的图像坐标，确定所有纹理图与人脸三维网格模型的映射关系。

根据步骤S4中所提出的，包括以下步骤：

①、首先获取训练后用于识别人脸五官感兴趣区域的卷积神经网络模型，包括预采人脸正面图像数据；

②、人工对所述临人脸正面图像中的五官区域进行区分；

③、训练微调卷积神经网络模型，得到训练后的卷积神经网络模型；

④、将步骤S1中采集的正脸纹理图像输入卷积神经网络模型，识别人脸获得五官区域掩膜。

根据步骤S5中所提出的，人脸三维网格模型由n个网格面片F_j(j∈n) 组成，使用步骤S4获得的掩膜引导人脸三维网格模型贴图选择，完成整个人脸模型的纹理映射，并优化纹理接缝。

本装置的工作原理：由多个深度相机组成二号深度相机1、一号深度相机 2、三号深度相机3以及四号深度相机4；深度相机采用主动式投影或者被动式匹配的重建方式，此外还设置有一个rgb彩色相机用于纹理图采集，测量装置按照对扫描人脸数据完整度的需求增添减少深度相机模组，其中需一个纹理采集相机位于测量装置中间正向固定存在，如二号深度相机1，用于采集正脸纹理图供后续的纹理映射方法使用。采集装置的二号深度相机1、一号深度相机2、三号深度相机3以及四号深度相机4分别采集人脸正前、左侧、右侧、下方的深度信息和纹理图，用于重建带纹理的人脸三维网格模型。

图3为带纹理的人脸三维网格模型获取系统，系统装置包括：包括采集模块，用于获取人脸的深度图和纹理图；人脸三维网格模型生成模块，用于计算拼接深度图生成人脸三维网格模型和获得网格模型与纹理图的映射关系；纹理映射模块，用于选取纹理图映射至人脸三维网格模型中，优化纹理接缝，最终获得带纹理的人脸三维网格模型。

如图4所示：

S1、采集人脸的深度图和纹理图数据：人脸数据采集时，被测者两眼间正对测量装置正向固定的二号深度相机1，多个深度相机同步采集多个方向的人脸深度数据和纹理图(T₁、T₂、T₃、T₄)，缩短了数据采集时间，减少人脸变化和抖动影响，同时提高获得的人脸三维点云与纹理图映射的准确性；

S2、计算生成人脸三维网格模型：步骤S1是基于各个深度相机的自身相机坐标系(O_c1、O_c2、O_c3、O_c4)获得人脸各个方向局部三维点云(PC₁、PC₂、PC₃、 PC₄)，需要拼接成完整人脸三维点云PC，再生成人脸三维网格模型，如下：

1)为了简单高效拼接点云，确定一个世界坐标系O_w和各个相机坐标系与世界坐标系旋转平移矩阵([R₁|T₁]₁、[R₁|T₁]₂、[R₁|T₁]₃、[R₁|T₁]₄)，各个局部三维点云通过与对应旋转平移矩阵叉乘转换到同一个世界坐标系O_w中；

2)上1)小节相当于对各个局部点三维云完成粗拼接，此时还需要对各个局部三维点云进行最近点迭代(ICP)算法进一步优化局部三维点云的拼接准确性。通过迭代优化旋转平移矩阵[R₂|T₂]，使得各个局部点云对应点误差E 最小化，迭代模型如下式子：

上式子中PT_i为对齐目标点云，PS_i为对齐点云。当误差E最小时，旋转平移矩阵[R₂|T₂]使对齐点云PS_i最优拼接在对齐目标点云PT_i上。正脸点云与其他部位点云均拥有较高重叠性，因此将正脸点云作为对齐目标点云，将其他局部点云拼接在正脸点云上；

3)通过上两小节得到旋转平移矩阵[R₁|T₁]和[R₂|T₂]将所有局部点云拼接成完整人脸点云PC，由于深度相机的深度测量误差和点云拼接误差不可能完全消除，拼接完成人脸点云剖面可能存在一定厚度，影响后续点云重采样和生成网格的平滑度，通过移动最小二乘法(Moving Lest Squares)对人脸点云进行曲面拟合，使人脸点云剖面呈薄曲面平滑分布，之后人脸点云进一步滤波降噪和降采样，生成并输出人脸三维网格模型；

S3、确定人脸三维网格模型与纹理图的映射关系：一个深度相机模块中的纹理相机通过相机标定得到其内参数矩阵[K]和纹理相机坐标系与深度相机坐标系的旋转平移矩阵[R₃|T₃]。上步骤得到的人脸三维网格模型通过旋转平移矩阵[R₁|T₁]和[R₂|T₂]转换至深度相机坐标系下，然后再通过旋转平移矩阵[R₃|T₃]转换至纹理相机坐标系。纹理相机坐标系下人脸三维网格模型顶点的通过内参数矩阵[K]投影至纹理图中，获得对应纹理图的图像坐标，确定所有纹理图与人脸三维网格模型的映射关系。

S4、对正脸纹理图进行人脸五官区域识别，获得五官区域掩膜：卷积神经网络是机器学习技术的最新发展也是近几年学术研究的最大热门，它通过大量的数据训练具有很多隐含层的模型，实现复杂的学习任务。卷积神经网络在图像识别上，相比其他传统方法能做到更加快速准确识别不同图像内的物体，因此选择卷积神经网络识别人脸五官区域制作掩膜使比较合适的选择。首先获取训练后用于识别人脸五官感兴趣区域的卷积神经网络模型，包括预采人脸正面图像数据；人工对所述临人脸正面图像中的五官区域进行区分；训练微调卷积神经网络模型，得到训练后的卷积神经网络模型，将S1采集的正脸纹理图像输入卷积神经网络模型，识别人脸获得五官区域掩膜。

S5、使用正脸五官区域掩膜引导人脸三维网格模型贴图选择，完成整个人脸模型的纹理映射,优化接缝输出结果：人脸三维网格模型由n个网格面片 F_j(j∈n)组成，而这一步骤主要是如何为人脸三维网格模型的每个网格面片选择一幅纹理图进行映射。首先利用八叉树判断纹理图T_i是否可见网格面片 F_j，不可见时纹理图T_i对于网格面片F_j的权重q_ij为0。然后根据先验经验，当网格面片法线与纹理图视角方向夹角较大时，纹理图可以近似平铺映射于网格面片上，网格面片纹理贴图效果有较好观感。当夹角较小时，纹理图拉伸变形映射于网格面片上，网格面片纹理贴图会有较大拉伸变形观感，因此将网格面片法向量与纹理图视角方向向量夹角作为纹理图选择权重。其次当网格面片投影至纹理图的面积较大时，几何网格纹理贴图有高的纹理信息，将网格面片投影面积也作为纹理图选择权重，此时可以用下式表达某一张纹理图T_i对于某个网格面片F_j的权重；

q_i，j＝arccos(A_ij)+αB_ij

上式中α为权重加权系数，A_ij为网格面片F_j法向量与纹理图T_i视角方向向量叉乘，B_ij为网格面片Fj投影在纹理图T_i面积大小，当q_ij越大，则认为纹理图T_i对于网格面片F_j贴图效果越好；

实际由于设备测量精度，点云拼接精度，纹理相机与深度相机标定等问题使人脸三维网格模型存在一定的偏差，网格模型纹理图选择交界处存在纹理错位，特别人脸三维网格模型的五官区域如眼睛眉毛，这些区域重建误差较其他部位大，因此纹理图选择交界的纹理错位明显。正脸纹理图像对人脸三维网格模型的五官有较好纹理贴图效果，使用上步骤获得的正脸五官区域掩膜附加选择权重值。当网格面片投影在正脸五官区域掩膜中，此时网格面片属于五官区域，赋予正脸纹理图选择权重最大值，避免了纹理细节丰富的五官出现接缝，上述为网格面片选取纹理图的操作计算量相对马尔科夫随机场较少，结果相对可控稳定。

根据上面方法为每个网格面片选择权重最大的纹理图，将网格面片的顶点映射到纹理图中得到纹理图坐标，完成人脸三维网格模型的纹理映射，然后对网格纹理贴图交界处做接缝优化处理。首先对纹理接缝两侧网格的贴图做色差最小化的全局匀光处理，然后对纹理接缝两侧网格的贴图做泊松融合处理，进一步优化局部接缝。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种带纹理的人脸三维网格模型获取方法，其特征在于：包括采集模块、人脸三维网格模型生成模块以及纹理映射模块，其中：

采集模块是用于获取人脸的深度图和纹理图；

人脸三维网格模型生成模块是用于计算拼接深度图和生成人脸三维网格模型，同时获得网格模型与纹理图的映射关系；

纹理映射模块是用于选取纹理图映射至人脸三维网格模型中，优化纹理纹理接缝，最终获得带纹理的人脸三维网格模型。

2.根据权利要求1所述的一种带纹理的人脸三维网格模型获取方法，其特征在于：人脸三维网格模型获取方法包括以下获取步骤：

S1、采集人脸的深度图和纹理图数据；

S2、计算生成人脸三维网格模型；

S3、确定人脸三维网格模型与纹理图的映射关系；

S4、对正脸纹理图进行人脸五官区域识别，获得五官区域掩膜；

S5、使用正脸五官区域掩膜引导人脸三维网格模型贴图选择，完成整个人脸模型的纹理映射，优化接缝输出结果。

3.根据权利要求1所述的一种带纹理的人脸三维网格模型获取方法，其特征在于：采集模块包括获取装置，包括支架(5)，所述支架(5)顶部一侧安装有二号深度相机(1)，所述支架(5)顶部远离二号深度相机(1)的一侧设置有三号深度相机(3)，所述支架(5)位于二号深度相机(1)和三号深度相机(3)之间的顶部安装有一号深度相机(2)，所述支架(5)位于一号深度相机(2)的下方安装有四号深度相机(4)，所述二号深度相机(1)、一号深度相机(2)、三号深度相机(3)以及四号深度相机(4)采用主动式投影或者被动式匹配的重建方式。

4.根据权利要求2所述的一种带纹理的人脸三维网格模型获取方法，其特征在于：根据步骤S1中所提出的，人脸数据采集时，被测者两眼间正对二号深度相机(1)，多个深度相机同步采集多个方向的人脸深度数据和纹理图(T₁、T₂、T₃、T₄)，将数据采集时间缩短，减少人脸变化和抖动影响，提高获得的人脸三维点云与纹理图映射的准确性。

5.根据权利要求2所述的一种带纹理的人脸三维网格模型获取方法，其特征在于：根据步骤S2中所提出的，通过步骤S1的各个深度相机在其自身相机坐标系(O_c1、O_c2、O_c3、O_c4)下获得人脸各个方向局部三维点云(PC₁、PC₂、PC₃、PC₄)，需要拼接成完整人脸三维点云PC，再生成人脸三维网格模型。

6.根据权利要求2所述的一种带纹理的人脸三维网格模型获取方法，其特征在于：根据步骤S3中所提出的，深度相机模块中的纹理相机通过相机标定得到其内参数矩阵[K]和纹理相机坐标系与深度相机坐标系的旋转平移矩阵[R₃|T₃]。上步骤得到的人脸三维网格模型可以通过旋转平移矩阵[R₁|T₁]和[R₂|T₂]转换至深度相机坐标系下，然后再通过旋转平移矩阵[R₃|T₃]转换至纹理相机坐标系。纹理相机坐标系下人脸三维网格模型的顶点通过内参数矩阵[K]投影至纹理图中，获得对应纹理图的图像坐标，确定所有纹理图与人脸三维网格模型的映射关系。

7.根据权利要求2所述的一种带纹理的人脸三维网格模型获取方法，其特征在于：根据步骤S4中所提出的，包括以下步骤：

①、首先获取训练后用于识别人脸五官感兴趣区域的卷积神经网络模型，包括预采人脸正面图像数据；

②、人工对所述临人脸正面图像中的五官区域进行区分；

③、训练微调卷积神经网络模型，得到训练后的卷积神经网络模型；

④、将步骤S1中采集的正脸纹理图像输入卷积神经网络模型，识别人脸获得五官区域掩膜。

8.根据权利要求2所述的一种带纹理的人脸三维网格模型获取方法，其特征在于：根据步骤S5中所提出的，人脸三维网格模型由n个网格面片F_j(j∈n)组成，使用步骤S4获得的掩膜引导人脸三维网格模型贴图选择，完成整个人脸模型的纹理映射，并优化纹理接缝。

Images