CN113989444A

CN113989444A - 一种基于侧脸照片进行人脸三维重建的方法

Info

Publication number: CN113989444A
Application number: CN202111493727.4A
Authority: CN
Inventors: 齐越; 蔡锦康; 赵大鹏
Original assignee: Beihang University
Current assignee: Beihang University
Priority date: 2021-12-08
Filing date: 2021-12-08
Publication date: 2022-01-28

Abstract

本专利提出了一种基于侧脸照片进行人脸三维重建的方法。主要步骤包括：S1：使用人脸形状恢复网络，基于二维侧脸图生成三维人脸形状；S2：使用正脸生成网络，基于二维侧脸图生成二维正脸图；S3：使用纹理生成网络，基于二维正脸图生成二维人脸纹理；S4：通过二维坐标UV投影法把S3中得到的二维人脸纹理贴到S1中得到的三维人脸形状上，得到三维人脸模型。本方法可实现根据二维侧脸图得到较为逼真的三维人脸模型，具有一定创新型和实用性。

Description

一种基于侧脸照片进行人脸三维重建的方法

技术领域

本发明属于计算机视觉领域，主要涉及人脸三维建模方法，特别涉及一种基于侧脸照片进行人脸三维重建的方法。

背景技术

随着计算机信息技术的发展，尤其是人工智能技术的发展，越来越多的传统问题被人工智能技术解决。根据二维人脸图像生成三维人脸模型一直是一个研究课题。由于人脸部特征的重要性和丰富性，如何准确地基于二维人脸图像生成可信度较高的三维人脸模型是一个具有重要研究价值的问题，其可用于游戏制作、人脸三维识别等等领域。在人脸建模领域，根据只包含有侧脸的二维人脸图，渲染得到较为真实的三维人脸模型，是一个比较困难的问题。

发明内容

本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

本公开的一些实施例提供了一种人脸三维重建的方法，该方法包括：S1：使用人脸形状恢复网络，基于二维侧脸图生成三维人脸形状；S2：使用正脸生成网络，基于二维侧脸图生成二维正脸图；S3：使用纹理生成网络，基于二维正脸图生成二维人脸纹理；S4：通过二维坐标UV投影法把S3中得到的二维人脸纹理贴到S1中得到的三维人脸形状上，得到三维人脸模型。

附图说明

结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，元件和元素不一定按照比例绘制。

图1是本公开的一些实施例的基于侧脸照片进行人脸三维重建的方法的一个应用场景的示意图；

图2是根据本公开的基于侧脸照片进行人脸三维重建的方法的一些实施例的流程图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。

下面将参考附图并结合实施例来详细说明本公开。

图1是本公开的一些实施例的基于侧脸照片进行人脸三维重建的方法的一个应用场景的示意图。

在图1的应用场景中，首先，使用人脸形状恢复网络，基于二维侧脸图生成三维人脸形状。然后，使用正脸生成网络，基于二维侧脸图生成二维正脸图。之后，使用纹理生成网络，基于二维正脸图生成二维人脸纹理。最后，通过二维坐标UV投影法把S3中得到的二维人脸纹理贴到S1中得到的三维人脸形状上，得到三维人脸模型。

继续参考图2，示出了根据本公开的基于侧脸照片进行人脸三维重建的方法的一些实施例的流程。该基于侧脸照片进行人脸三维重建的方法，包括以下步骤：

步骤S1，使用人脸形状恢复网络，基于二维侧脸图生成三维人脸形状。

在一些实施例中，基于侧脸照片进行人脸三维重建的方法的执行主体可以将二维侧脸图输入至人脸形状恢复网络，得到人脸形状恢复网络输出的三维人脸形状。上述人脸形状恢复网络为卷积神经网络。

该卷积神经网络共分为三个分支网络流。第一个分支网络流的输入为三维人脸基本参数O^c和皮肤注意力图。该皮肤注意力图为二值图像，人脸区域的灰度值为1，非人脸区域的灰度值为0。三维人脸形状基本参数O^c＝[f，R，t_2d，α_id，α_exp]^T。其中，O^c表示三维人脸形状基本参数。f表示缩放比例系数。R表示旋转矩阵。t_2d表示平移矩阵。α_id表示人脸身份参数。α_exp表示人脸表情参数。[]^T表示转置矩阵。

第二个分支网络的输入为三维人脸基本参数O^c和人脸锚点图。上述人脸锚点图表征含有人脸锚点的图像。上述人脸锚点用于表征人脸的面部图像信息。

第三个分支网络的输入为三维人脸形状基本参数O^c和投影归一坐标编码PNCC(Projected Normalized Coordinate Code，投影归一坐标编码)。

上述三维人脸形状基本参数O^c＝[f，R，t_2d，α_id，α_exp]^T可以通过以下步骤生成：

基于BFM(Basel Face Model，巴塞尔人脸模型)，三维脸型可表示为：

其中，S表示最终的三维人脸模型。

表示平均脸形。α_id表示特征参数。A_id表示基于扫描训练所得的主轴。α_exp表示表达参数。A_exp表示基于中立扫描训练所得的主轴。

使用透视投影法，可将一个三维人脸模型投影到二维平面上，数学表达式为：

V_2d＝f×P_r×R×S+t_2d。

其中，V_2d表示投影方程。f表示缩放比例系数。P_r表示投影矩阵。R表示旋转矩阵。S表示最终的三维人脸模型。t_2d表示转换矩阵。

基于以上表达式，可将三维人脸基本参数表示为：

O^c＝[f，R，t_2d，α_id，α_exp]^T。

其中，O^c表示三维人脸形状基本参数。f表示缩放比例系数。R表示旋转矩阵。t_2d表示平移矩阵。α_id表示人脸身份参数。α_exp表示人脸表情参数。[]^T表示转置矩阵。

在一些实施例的一些可选的实现方式中，上述人脸形状恢复网络在训练过程中涉及的损失函数可以包括：

距离值损失函数。上述距离值损失函数用于衡量真实三维人脸形状基本参数和三个分支网络汇总输出的参数更新值之间的差异值，距离值损失函数利用以下公式表示：

E_ite＝||ΔO-(O^g-O⁰)||²。

其中，E_ite表示距离值损失函数。ΔO表示参数更新值。O^g表示用于深度学习的训练数据集中的真值。O⁰表示初始值。随机选取O⁰的取值。||||²表示范数的平方。

顶点距离损失函数：

E_ver＝||V_2d(O⁰+ΔO)-(O^g)||²。

其中，E_ver表示顶点距离损失函数。V_2d表示投影函数。上述投影函数将三维人脸模型转换到二维人脸图。O⁰表示初始值。可随机选取O⁰的取值。ΔO表示参数更新值。O^g表示用于深度学习的训练数据集中的真值。||||²表示范数的平方。

加权参数迭代距离损失函数：

E_wei＝(ΔO-(O^g-O⁰))^T×diag(w)×(ΔO-(O^g-O⁰))。

其中，E_wei表示加权参数迭代距离损失函数。ΔO表示参数更新值。O^g表示用于深度学习的训练数据集中的真值。O⁰表示初始值。可随机选取O⁰的取值。()^T表示转置。diag()表示对角矩阵。w表示参数权重向量。其中：

其中，w表示参数权重向量。w₁表示第1项参数的权重向量。w₂表示第2项参数的权重向量。i表示序号。w_i表示第i项参数的权重向量。p表示参数的数量。w_p表示第p项参数的权重向量。V_2d为投影函数。O^de为迭代参数。O^de，i表示第i个迭代参数。上述第i个迭代参数来自于被预测参数(O⁰+ΔO)。而其它参数均为用于深度学习的训练数据集中的真值O^g。O⁰表示初始值。可随机选取O⁰的取值。ΔO表示参数更新值。O^g表示用于深度学习的训练数据集中的真值。||V_2d(O^de，i)-V_2d(O^g)||表示由于对第i个模型参数的错误预测而造成的对齐误差。上述对齐误差体现上述第i个模型参数的重要程度。R表示常数且为w在相关维度上的最大值。

表示来自深度学习的训练数据集的第1项对应的真值。

表示来自深度学习的训练数据集的第i-1项对应的真值。

表示来自深度学习的训练数据集的第i+1项对应的真值。k表示参数数量。

表示来自深度学习的训练数据集的第k项对应的真值。

为了综合体现以上三个损失函数的影响，总体损失函数可以使用以下加权和表示：

E_shape＝0.85E_ite+1.2E_ver+1.7E_wei。

其中，E_shape表示总体损失函数。E_ite表示距离值损失函数。E_ver表示顶点距离损失函数。E_wei表示加权参数迭代距离损失函数。

步骤S2，使用正脸生成网络，基于二维侧脸图生成二维正脸图。

在一些实施例中，上述执行主体可以将二维侧脸图输入至正脸生成网络，得到正脸生成网络输出的二维正脸图。其中，上述正脸生成网络为对抗生成网络。

步骤S3，使用纹理生成网络，基于二维正脸图生成二维人脸纹理。

在一些实施例中，上述执行主体可以将二维正脸图输入至纹理生成网络，得到纹理生成网络输出的二维人脸纹理。其中，上述纹理生成网络为残差网络。

在一些实施例的一些可选的实现方式中，上述纹理生成网络在训练过程中使用的损失函数可以包括：

特征损失函数：

其中，ξ_lmk表示特征损失函数。N表示用于计算损失的总层数。n表示序号。

表示图像特征点数据集中的数据。

表示使用特征点检测网络检测到的人脸图像特征点。||||₂表示2范数。

表示2范数的平方。

像素级精度损失函数：

其中，ξ_pix表示像素级精度损失函数。x表示像素的序列值。M表示通过连接特征点得到的重投影人脸区域。P_x表示注意力系数。P_x可以根据下式得到：

其中，M_α表示人脸区域。I_fron为输入的正面人脸图像。

表示输入的正面人脸图像的第x个像素值。I_y表示输出的渲染人脸图像。

表示输出的渲染人脸图像的第x个像素值。

正则化损失函数：

其中，ξ_reg表示正则化损失函数。w_α表示系数。w_β表示系数。w_α＝1.0。w_β＝1.75e-3。e表示自然对数的底数。

表示人脸三维模型协方差矩阵的特征值。

表示人脸三维模型协方差矩阵的特征值。||||²表示范数的平方。

面部特征级损失函数：

其中，ξ_ff表示面部特征级损失函数。<，>表示内积。G()表示根据人脸识别算法FaceNet得到的特征抽取函数。上述FaceNet是通过卷积神经网络学习人脸图像到128维欧几里得空间的映射。上述映射可以是将人脸图像映射为128维的特征向量的映射。I_fron表示输入的正面人脸图像。I_y表示输出的渲染人脸图像。||||表示范数。

为了综合考虑以上四个损失函数，综合损失函数可以使用以下加权和函数表示：

ξ_3D＝λ₃ξ_lmk+λ₄ξ_pix+λ₅ξ_reg+λ₆ξ_ff。

其中，ξ_3D表示综合损失函数。λ₃表示系数。λ₄表示系数。λ₅表示系数。λ₆表示系数。λ₃＝1.6e-3。λ₄＝1.4。λ₅＝3.7e-4。λ₆＝0.2。e表示自然对数的底数。ξ_lmk表示特征损失函数。ξ_pix表示像素级精度损失函数。ξ_reg表示正则化损失函数。ξ_ff表示面部特征级损失函数。

步骤S4，通过二维坐标UV投影法把S3中得到的二维人脸纹理贴到S1中得到的三维人脸形状上，得到三维人脸模型。

在一些实施例中，上述执行主体可以通过二维坐标UV投影法把S3中得到的二维人脸纹理贴到S1中得到的三维人脸形状上，得到三维人脸模型。

Claims

1.一种基于侧脸照片进行人脸三维重建的方法，包括：

S1：使用人脸形状恢复网络，基于二维侧脸图生成三维人脸形状；

S2：使用正脸生成网络，基于二维侧脸图生成二维正脸图；

S3：使用纹理生成网络，基于二维正脸图生成二维人脸纹理；

S4：通过二维坐标UV投影法把S3中得到的二维人脸纹理贴到S1中得到的三维人脸形状上，得到三维人脸模型。

2.根据权利要求1所述的方法，其中，所述人脸形状恢复网络为卷积神经网络，该卷积神经网络共分为三个分支网络流，其中：

第一个分支网络流的输入为三维人脸基本参数O^c和皮肤注意力图，该皮肤注意力图为二值图像，人脸区域的灰度值为1，非人脸区域的灰度值为0，三维人脸形状基本参数O^c＝[f，R，t_2d，α_id，α_exp]^T，其中，O^c表示三维人脸形状基本参数，f表示缩放比例系数，R表示旋转矩阵，t_2d表示平移矩阵，α_id表示人脸身份参数，α_exp表示人脸表情参数，[ ]^T表示转置矩阵；

第二个分支网络的输入为三维人脸基本参数O^c和人脸锚点图；

第三个分支网络的输入为三维人脸形状基本参数O^c和投影归一坐标编码PNCC。

3.根据权利要求2所述的方法，其中，所述人脸形状恢复网络在训练过程中涉及的损失函数包括：

距离值损失函数，其中，距离值损失函数用于衡量真实三维人脸形状基本参数和三个分支网络汇总输出的参数更新值之间的差异值，距离值损失函数利用以下公式表示：

E_ite＝||ΔO-(O^g-O⁰)||²，

其中，E_ite表示距离值损失函数，ΔO表示参数更新值，O^g表示用于深度学习的训练数据集中的真值，O⁰表示初始值，随机选取O⁰的取值，|| ||²表示范数的平方；

顶点距离损失函数：

E_ver＝||V_2d(O⁰+ΔO)-(O^g)||²，

其中，E_ver表示顶点距离损失函数，V_2d表示投影函数，所述投影函数将三维人脸模型转换到二维人脸图，O⁰表示初始值，随机选取O⁰的取值，ΔO表示参数更新值，O^g表示用于深度学习的训练数据集中的真值，|| ||²表示范数的平方；

加权参数迭代距离损失函数：

E_wei＝(ΔO-(O^g-O⁰))^T×diag(w)×(ΔO-(O^g-O⁰))，

其中，E_wei表示加权参数迭代距离损失函数，ΔO表示参数更新值，O^g表示用于深度学习的训练数据集中的真值，O⁰表示初始值，随机选取O⁰的取值，()^T表示转置，diag()表示对角矩阵，w表示参数权重向量，其中：

其中，w表示参数权重向量，w₁表示第1项参数的权重向量，w₂表示第2项参数的权重向量，i表示序号，w_i表示第i项参数的权重向量，p表示参数的数量，w_p表示第p项参数的权重向量，V_2d为投影函数，O^de为迭代参数，O^de，i表示第i个迭代参数，所述第i个迭代参数来自于被预测参数(O⁰+ΔO)，而其它参数均为用于深度学习的训练数据集中的真值O^g，O⁰表示初始值，随机选取O⁰的取值，ΔO表示参数更新值，O^g表示用于深度学习的训练数据集中的真值，||V_2d(O^de，i)-V_2d(O^g)||表示由于对第i个模型参数的错误预测而造成的对齐误差，所述对齐误差体现所述第i个模型参数的重要程度，R表示常数且为w在相关维度上的最大值，

表示来自深度学习的训练数据集的第1项对应的真值，

表示来自深度学习的训练数据集的第i-1项对应的真值

表示来自深度学习的训练数据集的第i+1项对应的真值，k表示参数数量，

表示来自深度学习的训练数据集的第k项对应的真值；

总体损失函数使用以下加权和表示：

E_shape＝0.85E_ite+1.2E_ver+1.7E_wei，

其中，E_shape表示总体损失函数，E_ite表示距离值损失函数，E_ver表示顶点距离损失函数，E_wei表示加权参数迭代距离损失函数。

4.根据权利要求3所述的方法，其中，所述正脸生成网络为对抗生成网络，所述纹理生成网络为残差网络，所述纹理生成网络在训练过程中使用的损失函数包括：

特征损失函数：

其中，ξ_lmk表示特征损失函数，N表示用于计算损失的总层数，n表示序号，

表示图像特征点数据集中的数据，

表示使用特征点检测网络检测到的人脸图像特征点，|| ||₂表示2范数，

表示2范数的平方；

像素级精度损失函数：

其中，ξ_pix表示像素级精度损失函数，x表示像素的序列值，M表示通过连接特征点得到的重投影人脸区域，P_x表示注意力系数，P_x根据下式得到：

其中，M_a表示人脸区域，I_fron为输入的正面人脸图像，

表示输入的正面人脸图像的第x个像素值，I_y表示输出的渲染人脸图像，

表示输出的渲染人脸图像的第x个像素值；

正则化损失函数：

其中，ξ_reg表示正则化损失函数，w_α表示系数，w_β表示系数，w_a＝1.0，w_β＝1.75e-3，e表示自然对数的底数，

表示人脸三维模型协方差矩阵的特征值，

表示人脸三维模型协方差矩阵的特征值，|| ||²表示范数的平方；

面部特征级损失函数：

其中，ξ_ff表示面部特征级损失函数，<，>表示内积，G( )表示根据人脸识别算法FaceNet得到的特征抽取函数，I_fron表示输入的正面人脸图像，I_y表示输出的渲染人脸图像，|| ||表示范数；

综合损失函数使用以下加权和函数表示：

ξ_3D＝λ₃ξ_lmk+λ₄ξ_pix+λ₅ξ_reg+λ₆ξ_ff，

其中，ξ_3D表示综合损失函数，λ₃表示系数，λ₄表示系数，λ₅表示系数，λ₆表示系数，λ₃＝1.6e-3，λ₄＝1.4，λ₅＝3.7e-4，λ₆＝0.5，e表示自然对数的底数，ξ_lmk表示特征损失函数，ξ_pix表示像素级精度损失函数，ξ_reg表示正则化损失函数，ξ_ff表示面部特征级损失函数。