CN111489435A - 基于单图像的自适应三维人脸重建方法 - Google Patents

Abstract

本发明属于计算机视觉和图形学领域，为提出一种鲁棒的通过单张图像实现自适应三维人脸模型的重建方法，从而准确地获取各个姿态下的人脸模型，本发明，基于单图像的自适应三维人脸重建方法，包括以下步骤：1)首先输入一张人脸图片；2)使用人脸关键点检测方法分别估计图片中人脸2D和3D关键点位置；3)作一个粗姿态估计；4)由步骤3)得到粗的姿态估计，将模型中的n个点投影在图像上，利用检测到的3D点替换被遮挡的2D轮廓点，再更新n个点估计一个优化后的姿态；5)由步骤4)根据所获得的姿态估计自适应地调整2D和3D关键点的权重；由步骤5)结合步骤4)得到的姿态参数拟合人脸模型。本发明主要应用于人脸模型重建场合。

Description

基于单图像的自适应三维人脸重建方法

技术领域

本发明属于计算机视觉和图形学领域，具体涉及人脸关键点检测和三维模型重建方法。

背景技术

在计算机视觉和计算机图形学中，三维人脸重建一直是一个具有挑战性的问题，虽然现有的基于多视角图像的方法已经取得了很好的效果，但对于单张输入图像来说，缺少人脸各个视角信息以致重建真实的三维人脸模型很有难度，目前大部分基于单图像重建的方法是基于良好的正面图像。然而在现实生活中，理想状态下的完全正面无遮挡的图像是很少的，常有头发或头部旋转等造成的遮挡，而人脸处于局部遮挡和极端姿态的情况下，想要重建接近真实的人脸模型仍然很棘手。近年来提出了不少深度学习的方法,Luan等人(Luan Tran and Xiaoming Liu,“Nonlinear 3D face morphable model,”inProceedings of the IEEE Conference on Computer Vision and PatternRecognition,2018)提出非线性3DMM(3D Morphable Model)通过DNNs(深度神经网络)来学习Shape(形状)和Texture(纹理)，不需要3D扫描，就能更好的表达人脸信息，Hongwei Yi等人(Hongwei Yi,Chen Li,Qiong Cao,Xiaoyong Shen,Sheng Li,GuopingWang,and Yu-Wing Tai,“MMFace:A multi-metric regression network for unconstrained facereconstruction,”in Proceedings of the IEEE Conference on Computer Vision andPattern Recognition,2019)提出了多度量回归网络用于无约束三维人脸重建，虽然能有效解决部分遮挡问题，但是深度学习方法本身依赖于良好的数据集作为训练，并且现实中的人脸图像和高精度模型对应的数据集也比较缺乏，对于测试的输入图像与数据集相差较大时往往不适用。为了有效解决遮挡问题，传统方法中Zhu等人(Xiangyu Zhu,Zhen Lei,Junjie Yan,Dong Yi,and Stan Z Li,“High-fidelity pose and expressionnormalization for face recognition in the wild,”in Proceedings of the IEEEConference on Computer Vision and Pattern Recognition,2015)和Luo等人(JiangLuo,Juyong Zhang,Bailin Deng,Hao Li,and Ligang Liu,“3D face reconstructionwith geometry details from a single image,”IEEE Transactions on ImageProcessing,2018)提出标记点游走方法来更新轮廓点，但是他们需要人工手动标记关键点，这是耗时又费力的。

本发明采用一种基于3DMM的2D和3D联合优化方法，充分利用2D和3D关键点信息，可以从单个图像自适应地重建3D人脸模型，该方法不仅对姿态估计有有效提升，对于局部遮挡和极端姿态下的人脸也是鲁棒的，并且无需人工参与，此发明在人脸识别、人脸动画等领域有着广泛的应用前景。

发明内容

为克服现有技术的不足，本发明旨在提出一种鲁棒的通过单张图像实现自适应三维人脸模型的重建方法，从而准确地获取各个姿态下的人脸模型，为了达到上述目的，本发明采取的技术方案是基于单图像的自适应三维人脸重建方法，包括以下步骤：

1)首先输入一张人脸图片；

2)对于输入的图片，使用人脸关键点检测方法分别估计图片中人脸2D和3D关键点位置；

3)根据检测到的2D关键点的左右轮廓点分别估计一个欧拉角，取水平方向旋转角yaw值最大的作为一个粗姿态估计；

4)由步骤3)得到粗的姿态估计，将模型中的n个点投影在图像上，利用检测到的3D点替换被遮挡的2D轮廓点，再更新n个点估计一个优化后的姿态；

5)由步骤4)得到优化后的姿态估计，根据所获得的姿态估计自适应地调整2D和3D关键点的权重；

6)由步骤5)估计人脸的形状和表情参数，结合步骤4)得到的姿态参数拟合人脸模型。

具体步骤如下：

3-1)3DMM是一种3D人脸统计模型，属基于主成分分析的线性模型，其顶点表示为:

V(α,β)＝M_sha(α)+M_exp(β) (1)

其中M_sha表示形状向量，M_exp表示表情向量，α是形状参数，β是表情参数，M_sha和M_exp定义为：

其中

是平均形状，

是平均表情，Γ_sha和Γ_exp分别是由扫描的中性形状和表情训练得到的主成分系数；

3-2)根据步骤3)得到一个粗姿态估计后，由步骤4)得到优化后的姿态估计P_Π,R,t，其中t是位移向量，s是缩放系数，Π定义为：

其中R为由罗德里格斯公式表示的3×3旋转矩阵:

其中I是一个3×3的单位阵，

是关于y的斜对称矩阵，模型的欧拉角向量

利用罗德里格斯公式得到欧拉角到旋转矩阵的变换；

3-3)2D拟合约束E_2d定义为：

V_k是3D人脸模型的第k个顶点，l_i是与顶点对应的第i个关键点，L_2d,i是第i个检测到的2D关键点，通过最小化2D关键点L_2d,i和模型投影的2D点位置之间的欧氏距离来求解3DMM参数；

3-4)为了结合3D深度信息来解决不可见区域的歧义性，提出3D-to-3D拟合约束：

其中姿态参数和优化求解方式与E_2d相似，L_g3d,i是归一化为2维坐标的第i个3D关键点；

3-5)为了有效地结合2D和3D关键点信息，利用权重自适应调整方法:

其中设置ε值为0.5，即以人脸旋转角度45°为界，当旋转角度大于45°时，取W_λ＝1，2D和3D权重调整如下：

其中设置调整权重w值为0.5。当W_λ＝0时，人脸旋转角度小于45°，2D和3D权重调整如下：

3-6)期望每个形状和表情参数都服从正态分布，均值和方差为零。形状和表情先验项定义如下:

E_p(α,β)＝λ_αE_prior(α)+λ_βE_prior(β) (13)

其中E_prior(α)是形状先验，E_prior(β)是表情先验，λ_α和λ_β是他们对应的权重系数；

形状先验定义为：

表情先验定义为：

其中α_i与β_i分别表示第i个形状和表情参数，N_α和N_β分别表示形状和表情参数总数，δ_α和δ_β是主成分形状和表情对应的特征值，实验证明添加形状和表情先验可以有效地提高重建准确率；

3-7)最后总的2D和3D的联合优化求解过程如下，将其视为一个非线性最小二乘问题：

E_fit(α,β,P_Π,R,t)＝λ_2dE_2d(α,β,P_Π,R,t)+λ_3dE_3d(α,β,P_Π,R,t)+E_p(α,β) (16)

其中λ_2d是2D拟合约束的权重系数，λ_3d是3D拟合约束的权重系数，通过求解的姿态，形状和表情参数从而得到拟合的人脸模型。

本发明的方法的特点及效果：

本发明方法根据单张图片进行遮挡和极端姿态下的三维人脸重建，该方法利用了3D关键点的深度信息和2D关键点有效信息自适应地重建人脸模型，具体具有以下特点：

1、操作简单，易于实现；

2、联合2D和3D优化，将三维人脸重建问题转化到一个统一的2D和3D优化框架；

3、由粗到精的姿态估计，减少由错误姿态估计产生的误差；

4、2D和3D权重自适应调整，减少由于遮挡造成的模型重建错误；

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明方法的流程图；

图2为2D和3D关键点估计图；

图3为本发明最终拟合出的三维模型结果。

具体实施方式

本本发明采取的技术方案是基于单张图片进行遮挡和极端姿态下的自适应三维人脸重建，包括以下步骤：

1)首先输入一张人脸图片；

2)对于输入的图片，使用人脸关键点检测方法分别估计图片中人脸2D和3D关键点位置；

3)根据检测到的2D关键点的左右轮廓点分别估计一个欧拉角，取水平方向旋转角yaw值最大的作为一个粗姿态估计；

4)由步骤3)得到粗的姿态估计，将模型中的n个点投影在图像上，利用检测到的3D点替换被遮挡的2D轮廓点，再更新n个点估计一个优化后的姿态；较佳的n＝68。

5)由步骤4)得到优化后的姿态估计，根据所获得的姿态估计自适应地调整2D和3D关键点的权重；

7)由步骤5)估计人脸的形状和表情参数，结合步骤4)得到的姿态参数拟合人脸模型。

具体步骤如下：

3-1)3DMM是一种3D人脸统计模型，属基于主成分分析的线性模型，其顶点表示为:

V(α,β)＝M_sha(α)+M_exp(β) (1)

其中M_sha表示形状向量，M_exp表示表情向量，α是形状参数，β是表情参数，M_sha和M_exp定义为：

其中

是平均形状，

是平均表情，Γ_sha和Γ_exp分别是由扫描的中性形状和表情训练得到的主成分系数；

3-2)根据步骤3)得到一个粗姿态估计后，由步骤4)得到优化后的姿态估计P_Π,R,t，其中t是位移向量，s是缩放系数，Π定义为：

其中R为由罗德里格斯公式表示的3×3旋转矩阵:

其中I是一个3×3的单位阵，

是关于y的斜对称矩阵，模型的欧拉角向量

利用罗德里格斯公式得到欧拉角到旋转矩阵的变换；

3-3)2D拟合约束E_2d定义为：

V_k是3D人脸模型的第k个顶点，l_i是与顶点对应的第i个关键点，L_2d,i是第i个检测到的2D关键点，通过最小化2D关键点L_2d,i和模型投影的2D点位置之间的欧氏距离来求解3DMM参数；

3-4)为了结合3D深度信息来解决不可见区域的歧义性，提出3D-to-3D拟合约束：

其中姿态参数和优化求解方式与E_2d相似，L_g3d,i是归一化为2维坐标的第i个3D关键点；

3-5)为了有效地结合2D和3D关键点信息，利用权重自适应调整方法:

其中设置ε值为0.5，即以人脸旋转角度45°为界，当旋转角度大于45°时，取W_λ＝1，2D和3D权重调整如下：

其中设置调整权重w值为0.5。当W_λ＝0时，人脸旋转角度小于45°，2D和3D权重调整如下：

3-6)期望每个形状和表情参数都服从正态分布，均值和方差为零。形状和表情先验项定义如下:

E_p(α,β)＝λ_αE_prior(α)+λ_βE_prior(β) (13)

其中E_prior(α)是形状先验，E_prior(β)是表情先验，λ_α和λ_β是他们对应的权重系数；

形状先验定义为：

表情先验定义为：

其中α_i与β_i分别表示第i个形状和表情参数，N_α和N_β分别表示形状和表情参数总数，δ_α和δ_β是主成分形状和表情对应的特征值，实验证明添加形状和表情先验可以有效地提高重建准确率；

3-7)最后总的2D和3D的联合优化求解过程如下，将其视为一个非线性最小二乘问题：

E_fit(α,β,P_Π,R,t)＝λ_2dE_2d(α,β,P_Π,R,t)+λ_3dE_3d(α,β,P_Π,R,t)+E_p(α,β) (16)

其中λ_2d是2D拟合约束的权重系数，λ_3d是3D拟合约束的权重系数，通过求解的姿态，形状和表情参数从而得到拟合的人脸模型。

表一是对MICC数据集随机分为左右非正脸视角的两个数据集来测试本方法的提升效果，定量结果如下：

	2D	3D	2D+3D	2D+3D+W	2D+3D+P+W
						左视角	3.184	2.053	2.002	1.904	1.812
右视角	3.146	2.026	2.241	1.911	1.835

表一

利用3DRMSE(3D Root Mean Square Error)方法来进行定量评估，单位为毫米(mm),其中W表示提出的权重自适应方法，P表示由粗到精的姿态估计方法。

表二是对MICC数据集中选取正脸和侧脸两个视角图片拟合出的三维模型与真实数据的之间的误差结果：

	3DDFA	PRN	Ours
				Frontal	2.244	2.086	1.819
Non-frontal	2.379	1.934	1.770

表二

其中3DDFA(3D Dense Face Alignment)是通过卷积神经网络(CNN)对图像进行三维人脸模型拟合,PRN(Position map Regression Network)是一种端到端的方法联合预测人脸对齐和重建三维人脸模型，实验中基于3D点平均误差的单位为毫米(mm)。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于单图像的自适应三维人脸重建方法，其特征是，包括以下步骤：

1)首先输入一张人脸图片；

2)对于输入的图片，使用人脸关键点检测方法分别估计图片中人脸2D和3D关键点位置；

3)根据检测到的2D关键点的左右轮廓点分别估计一个欧拉角，取水平方向旋转角yaw值最大的作为一个粗姿态估计；

4)由步骤3)得到粗的姿态估计，将模型中的n个点投影在图像上，利用检测到的3D点替换被遮挡的2D轮廓点，再更新n个点估计一个优化后的姿态；

5)由步骤4)得到优化后的姿态估计，根据所获得的姿态估计自适应地调整2D和3D关键点的权重；

6)由步骤5)估计人脸的形状和表情参数，结合步骤4)得到的姿态参数拟合人脸模型。

2.如权利要求1所述的基于单图像的自适应三维人脸重建方法，其特征是，具体步骤如下：

3-1)3DMM是一种3D人脸统计模型，属基于主成分分析的线性模型，其顶点表示为:

V(α,β)＝M_sha(α)+M_exp(β) (1)

其中M_sha表示形状向量，M_exp表示表情向量，α是形状参数，β是表情参数，M_sha和M_exp定义为：

其中

是平均形状，

是平均表情，Γ_sha和Γ_exp分别是由扫描的中性形状和表情训练得到的主成分系数；

3-2)根据步骤3)得到一个粗姿态估计后，由步骤4)得到优化后的姿态估计P_Π,R,t，其中t是位移向量，s是缩放系数，Π定义为：

其中R为由罗德里格斯公式表示的3×3旋转矩阵:

其中I是一个3×3的单位阵，

是关于y的斜对称矩阵，模型的欧拉角向量

利用罗德里格斯公式得到欧拉角到旋转矩阵的变换；

3-3)2D拟合约束E_2d定义为：

V_k是3D人脸模型的第k个顶点，l_i是与顶点对应的第i个关键点，L_2d,i是第i个检测到的2D关键点，通过最小化2D关键点L_2d,i和模型投影的2D点位置之间的欧氏距离来求解3DMM参数；

3-4)为了结合3D深度信息来解决不可见区域的歧义性，提出3D-to-3D拟合约束：

其中姿态参数和优化求解方式与E_2d相似，L_g3d,i是归一化为2维坐标的第i个3D关键点；

3-5)为了有效地结合2D和3D关键点信息，利用权重自适应调整方法:

其中设置ε值为0.5，即以人脸旋转角度45°为界，当旋转角度大于45°时，取W_λ＝1，2D和3D权重调整如下：

其中设置调整权重w值为0.5。当W_λ＝0时，人脸旋转角度小于45°，2D和3D权重调整如下：

3-6)期望每个形状和表情参数都服从正态分布，均值和方差为零。形状和表情先验项定义如下:

E_p(α,β)＝λ_αE_prior(α)+λ_βE_prior(β) (13)

其中E_prior(α)是形状先验，E_prior(β)是表情先验，λ_α和λ_β是他们对应的权重系数；

形状先验定义为：

表情先验定义为：

其中α_i与β_i分别表示第i个形状和表情参数，N_α和N_β分别表示形状和表情参数总数，δ_α和δ_β是主成分形状和表情对应的特征值，实验证明添加形状和表情先验可以有效地提高重建准确率；

3-7)最后总的2D和3D的联合优化求解过程如下，将其视为一个非线性最小二乘问题：

E_fit(α,β,P_Π,R,t)＝λ_2dE_2d(α,β,P_Π,R,t)+λ_3dE_3d(α,β,P_Π,R,t)+E_p(α,β) (16)

其中λ_2d是2D拟合约束的权重系数，λ_3d是3D拟合约束的权重系数，通过求解的姿态，形状和表情参数从而得到拟合的人脸模型。

Images