CN112116699B - 一种基于3d人脸跟踪的实时真人虚拟试发方法 - Google Patents

Abstract

本发明涉及一种基于3D人脸跟踪的实时真人虚拟试发方法。本发明首先进行面向虚拟试发的实时3D人脸跟踪；然后进行基于方位一致性的三维头发模型配戴；最后在保持相邻像素色差的三维头发模型重上色。本发明通过轻量化的模型以及3D人脸特征点，避免了由于2D人脸特征点与三维人脸模型顶点的关联带来的计算耗时和产生不稳定跟踪结果的问题，从而实现快速准确的跟踪结果。而三维头发模型的配准可以使试戴的头发与真实人脸更为贴合准确，增加了虚拟试发的真实性。另外增加了改变三维头发模型纹理颜色的方法，增强了用户试发的体验感及试发系统的功能性。

Description

一种基于3D人脸跟踪的实时真人虚拟试发方法

技术领域

本发明属于计算机图形学和计算机视觉领域，具体涉及一种基于3D人脸跟踪的实时真人虚拟试发方法。

背景技术

头发是个人形象的一个明显特征，在当今的个性化时代，人们对个人形象越来越关注，发现一个适合自己的发型或者佩戴一个合适的假发已经成为人们日常生活工作中的一个自然选择。与实体店的假发试戴相比，虚拟试发更便捷、成本更低且应用范围更广，可广泛应用于虚拟社交、在线商城试戴以及个人发型设计等领域。

目前主流的虚拟试发系统是基于二维图片的：用户输入一张人脸相片，并选择一个特定发型，系统自动把对应发型的头发佩戴在相片中的人脸头部，显然，在该类系统中，用户难以从不同的角度和距离来实时观察试发效果。此外，因为该类系统只是在图像空间中把指定头发放置在用户的人脸头部，而没有考虑用户人脸头部的实际三维方位和尺寸，因此容易产生失真的戴发效果。

现有的基于三维的虚拟试发方案主要分为两种：一种是重建一个与用户外观接近的三维人脸模型，并把指定的三维头发模型佩戴到三维人脸模型的头部，由于用户只能通过旋转和移动三维模型来观看试发效果，绘制的三维人脸模型也与真实人脸外观有所差距，所以这种方案缺少用户试发体验时的沉浸感。另一种是通过捕捉视频中用户的2D人脸特征点进行跟踪，再利用跟踪结果求出人脸姿态并作用在三维头发模型上，最终和真实人脸虚实结果绘制结果，这种方法的缺陷在于在人脸旋转幅度较大时结果不够准确，三维头发模型位置上的错误会影响真实感，且计算耗时，对实时性也有一定限制。

发明内容

本发明针对现有虚拟试发技术缺乏真实感，沉浸感，计算耗时等缺陷，提出一种基于3D人脸跟踪的实时真人虚拟试发方法。

本发明的技术方案如下：

第一步：对三维人脸模型的重建与跟踪

1)使用一个三维人脸参数化模型来表示人脸的三维几何与姿态，该模型包含如下参数：{α_id，α_exp，r_x，r_y，r_z，t_3d，f}。其中：α_id为人脸的个体参数，α_exp为人脸的个体参数，r_x，r_y，r_z分别为人脸围绕x/y/z轴的旋转角度，t_3d为人脸的三维平移向量，f是模拟透视投影效果的缩放系数。

2)构建一个轻量级的深度神经网络MobileNet，用所述的深度神经网络训练得到一个回归器：其输入是一张人脸图片，输出是一组三维人脸参数Q＝{α_id，α_exp，r_x，r_y，r_z，t_3d，f}。

3)通过摄像头采集用户的视频流，对视频流中的每一帧k进行以下操作：

3-1)获取当前帧的用户人脸图像，通过上述基于深度神经网络的回归器，得到对应的三维人脸参数Q＝{α_id，α_exp，r_x，r_y，r_z，t_3d，f}。

3-2)根据所述用户的三维人脸参数，重建出用户的三维人脸模型M，重建公式如下：

其中：M对应着一个三维人脸模型，

为平均人脸形状，B_id是一组个体基向量，它定义了中性表情下不同个体的人脸形状空间，B_exp是一组表情基向量，它定义了人脸的表情空间，α_id和α_exp分别为用户的个体和表情系数向量。

4)对用户的重建三维人脸模型进行特征点采样，得到特征点3D位置信息及其2D投影位置信息，分别令为

及

通过优化下面的能量方程，得到第k帧人脸图像最终对应的三维人脸参数Q_k＝{α_id，α_exp，r_x，r_y，r_z，t_3d，f}：

其中：

u_k表示第k帧经过优化的参数Q_k所对应的三维人脸模型上3D人脸特征点的2D投影位置，u_k-1表示第k-1帧所对应的三维人脸模型上3D人脸特征点的2D投影位置，u_k-2表示为第k-2帧所对应的三维人脸模型上3D人脸特征点的2D投影位置，w为能量权值，取值为0.5。

第二步：对三维头发模型与三维人脸模型的配准

1)给定一个平均人脸模型，并记录平均人脸模型上左右耳朵和前额两处共四个顶点位置；

2)获得当前帧跟踪得到的三维人脸模型上相应的四个顶点位置；

3)根据两组顶点位置计算一个由平均人脸模型顶点变换到当前帧三维人脸模型顶点的最优相似变换矩阵，相似变换矩阵计算方式如下：

其中：p为平均人脸模型上左右耳朵和前额两处四个顶点位置的集合，q为跟踪得到的三维人脸模型上上述四个顶点位置的集合，T_s为待求的相似变换矩阵。

4)将求得的相似变换矩阵作用到三维头发模型上，得到三维头发模型与人脸模型的配准；

第三步：对三维头发模型的重上色

1)在制作三维头发模型时，通过纹理贴图，实现三维头发模型渲染时的颜色、细节和明暗层次感。

2)通过如下步骤，实现头发换色，并保持三维头发原有的细节和明暗层次感：

2-1)将原始三维头发模型纹理的RGB颜色空间值转换为HSB颜色空间值，记录纹理所有像素的色相值并计算平均色相值；

2-2)设定一个最终三维头发模型纹理颜色的目标色相值；

2-3)将原始纹理色相值减去平均色相值并加上目标色相值，完成色相更改操作；

2-4)设定一个最终三维头发模型纹理与原始三维头发模型纹理在饱和度、明度上的偏差值；

2-5)将所述偏差值加到原始头发模型纹理饱和度、明度值，完成饱和度、明度更改操作。

上述操作具体形式如下：

其中：(i,j)表示头发纹理中某一像素的位置，则H_new(i,j)和H(i,j)分别某一像素更改后和原始的H值，

为原始纹理中所有像素的平均色相，S_new(i,j)和S(i,j)分别为某一像素更改后和原始的S值，B_new(i,j)和B(i,j)分别为某一像素更改后和原始的B值，H_reclr为用户通过色相指定的新上色颜色，用户通过ΔSB来控制新上色颜色的纯度。

本发明的有益效果：通过轻量化的模型以及3D人脸特征点，避免了由于2D人脸特征点与三维人脸模型顶点的关联带来的计算耗时和产生不稳定跟踪结果的问题，从而实现快速准确的跟踪结果。而三维头发模型的配准可以使试戴的头发与真实人脸更为贴合准确，增加了虚拟试发的真实性。另外增加了改变三维头发模型纹理颜色的方法，增强了用户试发的体验感及试发系统的功能性。

具体实施方式

本发明提供了一种基于3D人脸跟踪的实时真人虚拟试发方法。用户通过一个普通的网络摄像头进行视频帧采集，算法自动把三维头发模型配戴到视频帧中的用户人脸头部位置，并进行增强现实绘制，使得用户可以实时地观看到虚实结合的试发效果。

本发明所采用的技术方案步骤如下：

第一部分：面向虚拟试发的实时3D人脸跟踪

1)使用轻量级的MobileNet(一种深度神经网络模型结构)来作为3D人脸特征点回归算法的骨干神经网络，此种网络模型可以均衡精度和计算效率。相较于2D人脸特征点，本发明采用3D人脸特征点是因其能更好地表达三维人脸模型在三维空间中的位置与姿态，且当人脸旋转幅度较大时结果，所检测到的轮廓处的2D人脸特征点会对应着不同的人脸轮廓特征，这就需要跟踪算法及时更新这些2D人脸特征点与三维人脸模型顶点的关联，从而带来额外的计算量或产生不稳定的跟踪结果；3D人脸特征点对应着三维人脸模型上的固定顶点，可以避免了上述问题。该深度网络将人脸图像拟合到一个3DMM(3D Morphable Model，三维形变模型)人脸模型M，3DMM人脸模型对不同个体和不同表情都有一定的表达能力，能够模拟出用户真实的人脸形状：

其中，M对应着一个三维人脸模型，

为平均人脸形状，B_id是一组个体基向量，它定义了中性表情下不同个体的人脸形状空间，B_exp是一组表情基向量，它定义了人脸的表情空间，α_id和α_exp分别为用户的个体和表情系数向量。

对网络输入一张人脸图像，可以输出一组包含视频帧中当前用户的参数集合Q：

Q＝{α_id,α_exp,r_x,r_y,r_z,t_3d,f}

其中：r_x,r_y,r_z分别为围绕x/y/z轴的旋转角度，由此构成旋转矩阵R，t_3d为平移向量，f是透视缩放系数。

在3DMM人脸模型上，如果对所有的模型顶点都进行拟合，计算量太过庞大，不符合实时性的要求，因此本实施例在眼睛、鼻子、嘴巴和脸部轮廓处提取出68个特征点；然后再随机的采样了132个模型顶点，它们和68个特征点一起组成了200个3D人脸特征点，这样采集的特征点基本能覆盖到人脸所有区域，减少了计算量的同时满足了在拟合精度上的要求。利用前述得到的参数集合Q，通过以下公式计算得到人脸3D关键点在3DMM人脸模型投影图像空间中的屏幕坐标，记为V_2D：

V_2D＝f*P_r*R*M+t_2d

其中，P_r为正交投影矩阵

t_2d为平移向量t_3d的x/y分量。

2)在3D人脸跟踪时加入相邻帧3D人脸特征点运动的连贯性约束，以保证用户在进行虚拟试发时的视觉流畅性。对于每一时刻的人脸视频帧k，跟踪得到的三维人脸模型几何信息及其姿态信息即对应着求解一组对应的参数Q_k，通过求解如下的优化问题来计算Q_k：

其中：

u_k表示第k帧经过优化的参数Q_k所对应的3DMM人脸模型上3D人脸特征点投影后的图像坐标位置，

表示第k帧未经优化的参数得到的投影结果，u_k-1表示第k帧前一帧的投影结果，u_k-2表示为第k帧前两帧的投影结果，w为能量权值，取值为0.5。

从视频流的第3帧开始，使用LM算法(Levenberg–Marquard，莱文伯格-马夸特)来求解上述公式中对应的非线性优化问题。上述公式中第一个能量项表示希望跟踪到的3D人脸在屏幕空间中能够与检测到的3D人脸特征点对齐，而第二个能量项表示在屏幕空间中相邻三帧之间的3D人脸特征点运动速度一致。之所以要在屏幕空间中保持3D人脸运动的连贯性，是因为希望最终绘制出的虚拟试发结果是视觉流畅性的。

第二部分：基于方位一致性的三维头发模型配戴

1)在3DMM的平均人脸模型的左右耳朵和前额两处选择了四对对应顶点，。令这四个顶点的位置为p。

2)对于当前的人脸视频帧k，在跟踪得到的三维人脸模型上，也可以获得上述四个顶点的位置，令为q。可以求得一个最优的相似变换矩阵T_s，包括旋转、平移和均匀缩放，把p变换到q，公式如下：

上述公式对应着一个最小二乘问题，可通过SVD分解(Singular ValueDecomposition，奇异值分解)进行求解。然后，把相似变换T_s作用到三维头发模型，即可实现把三维头发模型佩戴到当前帧的用户三维人脸模型上。

第三部分：保持相邻像素色差的三维头发模型重上色

1)对于三维头发模型原始的上色原理，通过添加一个原始的头发纹理实现，美工师在制作三维头发模型的时候，就对其原始头发纹理设定了某种程度的颜色和明暗层次感。

2)如果简单地把三维头发模型直接绘制成指定的颜色，就丢失了三维头发模型原来的明暗层次感，因此把头发纹理中所有像素的颜色用HSB颜色空间来表示。其中，H为色相，它对应着通常意义上的颜色，比如红、绿或橙色；而S和B分别对应着饱和度和亮度，它们决定了颜色的纯度。通过如下公式对三维头发模型进行重上色：

其中，(i,j)表示头发纹理中某一像素的位置，则H_new(i,j)和H(i,j)分别某一像素更改后和原始的H值，

为原始纹理中所有像素的平均色相，S_new(i,j)和S(i,j)分别为某一像素更改后和原始的S值，B_new(i,j)和B(i,j)分别为某一像素更改后和原始的B值，H_reclr为用户通过色相指定的新上色颜色，用户通过ΔSB来控制新上色颜色的纯度。

通过以上公式，用指定的颜色修改了原始头发纹理中各像素的颜色，在控制新上色颜色纯度的同时又保留了相邻像素之间饱和度和亮度的差别，从而保持了原始三维头发模型的明暗层次感。

Claims (2)

1.一种基于3D人脸跟踪的实时真人虚拟试发方法，其特征在于该方法包括以下步骤：

第一步：对三维人脸模型的重建与跟踪

1)使用一个三维人脸参数化模型来表示人脸的三维几何与姿态，该模型包含如下参数：{α_id,α_exp,r_x,r_y,r_z,t_3d,f}；其中：α_id为人脸的个体参数，α_exp为人脸的个体参数，r_x,r_y,r_z分别为人脸围绕x/y/z轴的旋转角度，t_3d为人脸的三维平移向量，f是模拟透视投影效果的缩放系数；

2)构建一个轻量级的深度神经网络MobileNet，用所述的深度神经网络训练得到一个回归器：其输入是一张人脸图片，输出是一组三维人脸参数Q＝{α_id,α_exp,r_x,r_y,r_z,t_3d,f}；

3)通过摄像头采集用户的视频流，对视频流中的每一帧k进行以下操作：

3-1)获取当前帧的用户人脸图像，通过上述基于深度神经网络的回归器，得到对应的三维人脸参数Q＝{α_id,α_exp,r_x,r_y,r_z,t_3d,f}；

3-2)根据所述用户的三维人脸参数，重建出用户的三维人脸模型M，重建公式如下：

其中：M对应着一个三维人脸模型，

为平均人脸形状，B_id是一组个体基向量，它定义了中性表情下不同个体的人脸形状空间，B_exp是一组表情基向量，它定义了人脸的表情空间，α_id和α_exp分别为用户的个体和表情系数向量；

4)对用户的重建三维人脸模型进行特征点采样，得到特征点3D位置信息及其2D投影位置信息,分别令为

及

通过优化下面的能量方程，得到第k帧人脸图像最终对应的三维人脸参数Q_k＝{α_id,α_exp,r_x,r_y,r_z,t_3d,f}：

其中：

u_k表示第k帧经过优化的参数Q_k所对应的三维人脸模型上3D人脸特征点的2D投影位置，u_k-1表示第k-1帧所对应的三维人脸模型上3D人脸特征点的2D投影位置，u_k-2表示为第k-2帧所对应的三维人脸模型上3D人脸特征点的2D投影位置，w为能量权值，取值为0.5；

第二步：对三维头发模型与三维人脸模型的配准

1)给定一个平均人脸模型，并记录平均人脸模型上左右耳朵和前额两处共四个顶点位置；

2)获得当前帧跟踪得到的三维人脸模型上相应的四个顶点位置；

3)根据两组顶点位置计算一个由平均人脸模型顶点变换到当前帧三维人脸模型顶点的最优相似变换矩阵，相似变换矩阵计算方式如下：

其中：p为平均人脸模型上左右耳朵和前额两处四个顶点位置的集合，q为跟踪得到的三维人脸模型上上述四个顶点位置的集合，T_s为待求的相似变换矩阵；

4)将求得的相似变换矩阵作用到三维头发模型上，得到三维头发模型与人脸模型的配准；

第三步：对三维头发模型的重上色

1)在制作三维头发模型时，通过纹理贴图，实现三维头发模型渲染时的颜色、细节和明暗层次感；

2)通过如下步骤，实现头发换色，并保持三维头发原有的细节和明暗层次感：

2-1)将原始三维头发模型纹理的RGB颜色空间值转换为HSB颜色空间值，记录纹理所有像素的色相值并计算平均色相值；

2-2)设定一个最终三维头发模型纹理颜色的目标色相值；

2-3)将原始纹理色相值减去平均色相值并加上目标色相值，完成色相更改操作；

2-4)设定一个最终三维头发模型纹理与原始三维头发模型纹理在饱和度、明度上的偏差值；

2-5)将所述偏差值加到原始头发模型纹理饱和度、明度值，完成饱和度、明度更改操作；

上述操作具体形式如下：

其中：(i,j)表示头发纹理中某一像素的位置，则H_new(i,j)和H(i,j)分别某一像素更改后和原始的H值，

为原始纹理中所有像素的平均色相，S_new(i,j)和S(i,j)分别为某一像素更改后和原始的S值，B_new(i,j)和B(i,j)分别为某一像素更改后和原始的B值，H_reclr为用户通过色相指定的新上色颜色，用户通过ΔSB来控制新上色颜色的纯度。

2.根据权利要求1所述的一种基于3D人脸跟踪的实时真人虚拟试发方法，其特征在于：

第一步中所述的能量优化过程中存在两个能量项，其中第一个能量项表示希望跟踪到的3D人脸在屏幕空间中能够与检测到的3D人脸特征点对齐；第二个能量项表示在屏幕空间中相邻三帧之间的3D人脸特征点运动速度一致。