CN110660076A - 一种人脸交换方法 - Google Patents

Abstract

本发明公开了一种人脸交换方法，包括以下步骤：输入源图像和目标图像，使用检测器获取脸部特征点；通过获取到的脸部特征点，调整3D人脸形状；采用通过样本训练后的FCN检测模型对调整后的3D人脸形状进行人脸分割，将源图像和目标图像中人脸从背景和遮挡中分割出来；将源图像人脸有效的覆盖在目标图像人脸上，并进行融合；将人脸交换后的图片进行输出。本发明使用一个经过丰富、多样的样本上训练获得的标准分割网络，FCN实现精准快速的将人脸从背景和遮挡中分割出来，在对图像没有任何约束的情况下，高效的处理人脸对齐，人脸分割、3D形状估计和表情估计等，使人脸交换更真实，使人脸变化以及识别率的降低。

Description

一种人脸交换方法

技术领域

本发明涉及人脸检测技术领域，具体涉及一种人脸交换方法。

背景技术

人脸交换早在十几年前以全自动技术的方式得以实现，其最初的目的是为了响应隐私保护问题：用来处理公共网络环境下随处可见的照片，人脸交换可以使其中出现的人物特性变得模糊，作为一个替代品。从那以后，然而很多有关换脸的应用更多的来自消遣或是娱乐。

现有的换脸系统大多存在几个关键方面的共同点，

(1)很多方法会限制用来转换的目标照片，给定一个源图像，从一个大的人脸集中选择一个对于人脸交换来说相对更加容易的目标图像，比如目标图像与源图像有着相似的外貌，包括脸部色调，姿势，表情等。虽然该方法也能应用在同样的场景下，但测试更注重极端的条件，源图像和目标图像随机抽选，而且大多数情况下，它们完全不同。

(2)一些方法通过拟合3D Morphable Face Models(3DMM)估计3D人脸形状，另一些则估计密集的2D活动外貌模型，这大概是为了正确地映射不同面部形状的纹理。

(3)深度学习经常被用来处理人脸转换，就好像图像之间的样式转换，这种方法许需要对每一个源图像训练各自的网络，这对于多数应用来说是不切实际的。

但是，当人脸交换发生在随意选择，毫无限制的两张照片之间，将无法保证视角、表情、3D人脸形状、性别或者其它能让交换变得更简单的属性之间的相似性。有鉴于此，人脸交换需要使用更加健壮并高效的方法处理人脸对齐，人脸分割、3D形状估计和表情估计等。

发明内容

为了解决上述技术问题，本发明所采用的技术方案是提供了一种人脸交换方法，包括以下步骤：

S1、输入源图像和目标图像，使用检测器获取脸部特征点；

S2、通过获取到的脸部特征点，调整3D人脸形状；

S3、采用通过样本训练后的FCN检测模型对调整后的3D人脸形状进行人脸分割，将源图像和目标图像中人脸从背景和遮挡中分割出来；

S4、将源图像分割得到的人脸有效的覆盖在目标图像分割得到的人脸上，并进行融合；

S5、将人脸交换后的图片进行输出。

在上述方法中，所述调整3D人脸形状包括步骤：

S21、分别获取源图像和目标图像中的人脸的3D形状；

S22、确定和估计获取的3D人脸形状，并分别拟合对应的姿势和表情。

在上述方法中，通过正面化方法或深度卷积神经网络去回归3DMM方法获取所述源图像和目标图像中的人脸的3D形状。

在上述方法中，所述FCN模型为FCN-8s-VGG结构。

在上述方法中，所述确定和估计获取的3D人脸形状具体如下：

获取的源图像和目标图像中的3D人脸形状具体如下模型表示：

其中，式(1)、式(2)分别为源图像的3D人脸形状模型和目标图像的3D人脸形状模型；

式中，向量是平均人脸形状，由三维空间的点进行表示；矩阵W_S1、W_S2、W_E1和W_E2分别为从源图像和目标图像中人脸扫描中获取的人脸形状和表情成分；α₁和α₂分别为针对源图像和目标图像单独估计的特定主体的99维人脸形状参数向量；γ₁、γ₂分别为源图像和目标图像中的29维表情参数向量。

在上述方法中，所述分别拟合对应的姿势和表情具体如下：

忽略表情的情况下对姿势求解，通过下面公式近似可得出源图像和目标图像被检测2D脸部特征点的3D位置：

式中，f(·)函数选择在3D模型上的特征顶点，将所有BFM人脸的顶点进行记录，使得相同的顶点索引对应于所有人脸中相同的人脸特征；因此，预处理时指定一次f；

估计向量γ₁、γ₂中的表情参数，具体如下式：

式中，R∈R³为3D人脸旋转向量，t∈R³为3D人脸平移向量；δ_R(·)为可见性检查，它可以在给定头部旋转向量R的情况下移除遮挡点；P_S(R,t)、P_T(R,t)是投影矩阵(估计姿势)，(R,t)是给定的外在参数，σ_1,j、σ_2,j分别为γ₁、γ₂中第j个表情成分的标准差。

在上述方法中，所述步骤S4具体包括：

S41、根据源图像的投影矩阵P_S(R,t)，将源图像相关联的3D人脸形状V_S投影到源图像上；

S42、使用双线性插值对源图像进行采样，将三维顶点投影到分割后的人脸上，并在其投影坐标处对源图像进行强度采样；

S43、将采样到的强度从所有顶点v_i∈V_S转移到v_i∈V_T；

S44、根据投影矩阵P_T(R,t)，将目标图像相关联的3D人脸形状V_T投影到目标图像上，并通过目标人脸分割掩盖渲染的强度；

S45、通过泊松图像方法将源图像人脸与目标图像人脸上下文进行混合。

本发明使用一个经过丰富、多样的样本上训练获得的标准分割网络，FCN实现精准快速的将人脸从背景和遮挡中分割出来，在对图像没有任何约束的情况下，高效的处理人脸对齐，人脸分割、3D形状估计和表情估计等，使人脸交换更真实，使人脸变化以及识别率的降低。

附图说明

图1为本发明提供的流程图；

图2为本发明中步骤S4的流程图。

具体实施方式

本发明使用一个经过丰富、多样的样本训练获得的标准分割网络，实现精准快速的将人脸从背景和遮挡中分割出来，在对图像没有任何约束的情况下，人脸交换更真实，使人脸变化以及识别率的降低；下面结合具体实施方式和说明书附图对本发明做出详细的说明。

如图1所示，本发明提供了一种人脸交换方法，包括以下步骤：

S1、输入源图像I_S和目标图像I_T，使用检测器获取脸部特征点。

首先定位每个图像的脸部特征点，本实施例使用一个现成的检测器来达到这个目的，Dlib实现了该检测器的核心算法，算法本身非常复杂，提取面部特征的效果显著，使用Dlib相应接口即可获取源图像I_S和目标图像I_T脸部特征点。通过这些特征点，计算3D姿势(视角)并修改3D形状以更好地呈现表情。其中，脸部特征可以包括下巴，左、右眉毛，左、右眼睛，鼻子，嘴巴，痣、疤痕、皱纹等等，本实施例具体的特征点一共包含68个二维坐标点，其中包括:0-17：下巴，18-22：右眉毛，23-27：左眉毛，28-36：鼻子，37-42：右眼，43-48：左眼49-67：嘴巴。

S2、通过获取到的脸部特征点，调整3D人脸形状。其中，

调整3D人脸形状包括步骤：

S21、分别获取源图像和目标图像中的人脸的3D形状；具体为

本实施例中，可使用下列两种不同的方法来获取源图像I_S和目标图像I_T的3D人脸形状。

(1)第一种方法为由T.Hassner,S.Harel,E.Paz,and R.Enbar.等人于2015年3月在IEEE举办的“Compute Vision Pattern Recognition”会议上提出的“Effective facefrontalization in unconstrained images”(在无限制图像中的高效人脸正面化)中提及的正面化方法，通过尝试近似每个查询图像的3D面部形状表示获取的3D人脸形状。

(2)第二种方法采用了由A.Tran,T.Hassner,I.Masi,and G.Medioni.等人于2015年3月在IEEE举办的“Compute Vision Pattern Recognition”会议上提出的“Regressingrobust and discriminative 3D morphable models with a very deep neuralnetwork”(深度神经网络下的鲁棒回归和可判别的3D可变形模型)中提及的深度卷积神经网络去回归3DMM方法，该方法可以很好地处理无约束的照片，比如本实施例中人脸交换涉及的图像；就目前而言，这是定量显示的唯一方法，可以产生不变的，有区别的和准确的三维形状估计，此外，它回归了中性姿态和表情下的三维可变形人脸模型(3DMM)。本实施例通过将3D面部图形与输入照片对齐来扩展它，并修改3D人脸形状以更好地呈现表情。

S22、确定和估计获取的3D人脸形状，并分别拟合对应的姿势和表情。

(1)无论是通过上述两种方法的哪种获取人脸形状，本实施例使用流行的BFM(Basel Face Model)人脸模型来表示图像中的人脸，3DDFA(3DDense Face Alignment)可变形模型以表示图像中的表情更具体地说，3D人脸形状V∈R³，它可以通过结合下列模型公式进行建模，即

源图像I_S和目标图像I_T中的3D人脸形状具体如下模型表示：

其中，式(1)、式(2)分别为源图像的3D人脸形状模型和目标图像的3D人脸形状模型；

式中，向量

是平均人脸形状，由三维空间的点进行表示；矩阵W_S1、W_S2、W_E1和W_E2分别为从源图像I_S和目标图像I_T中人脸扫描中获取的人脸形状和表情成分；α₁和α₂分别为针对源图像I_S和目标图像I_T单独估计的特定主体的99维人脸形状参数向量；γ₁、γ₂分别为源图像I_S和目标图像I_T中的29维表情参数向量。

为了将3D人脸形状和表情拟合到输入图像，本实施例对这些参数以及相机矩阵进行估计。为了估计源图像I_S和目标图像I_T中主体的3D人脸形状，本实施例使用上述方法二深度网络对α进行回归，对人脸形状和纹理进行共同估计可得到198维参数，丢弃其中的纹理部分，通过

回归图中人脸形状，获得α和反投影，以得到在三维空间下人脸形状估计。

(2)拟合姿势和表情。

本实施例使用检测得到的脸部特征点p＝{p_i}∈R²，具体来说，首先在忽略表情的情况下对姿势求解。通过下面公式近似得出源图像和目标图像被检测2D脸部特征点的3D位置：

式中，f(·)函数选择在3D模型上的特征顶点，将所有BFM人脸的顶点进行记录，使得相同的顶点索引对应于所有人脸中相同的人脸特征。因此，f只需要在预处理时人为地指定一次，通过f可以得到介于检测到的脸部特征点间2D到3D的对应关系，即以及它们在3D模型上对应的点，本实施例使用这些对应关系估计3D姿势，并使用EPnP的求解器计算3D人脸旋转向量R∈R³，以及平移向量t∈R³。

随着姿势估计后，开始估计向量γ₁、γ₂中的表情参数，将其作为有边界线性问题对表情估计列方程式：

式中，δ_R(·)是可见性检查，它可以在给定头部旋转向量R的情况下移除遮挡点，P_S(R,t)、P_T(R,t)是投影矩阵，(R,t)是给定的外在参数；σ_1,j、σ_2,j分别为γ₁、γ₂中第j个表情成分的标准差，且这个问题可以使用任意约束线性最小二乘求解器解决。

S3、通过样本训练后FCN模型对调整后的3D人脸形状进行人脸分割，将源图像I_S和目标图像I_T中人脸从背景和遮挡中分割出来。

一个标准的FCN拥有显著的分割效果，前提是它被大量丰富且多变的样本训练，本实施例通过使用“Fully convo-lutional networks for semantic segmentation”(用于语义分割的全卷积网络)中的FCN-8s-VGG结构，以不同步长从不同层融合不同位置的信息。

FCN模型需要训练才能达到较好的效果，其中就包括训练数据的丰富程度，训练的数据越完备，FCN模型人脸分割的处理效果越好。FCN模型使用前的训练需要获取足够多样的图像，并伴有正确的分割标记，是一件非常困难的事情。

本实施例在无约束人脸视频中，利用运动线索生成大量带标记的人脸图像分割，为此，处理来自最新的IARPA Janus CS2数据集的视频，这些视频描绘了不同姿势、不同种族、不同年龄的人们在不同的情境下呈现的面孔，在2042个CS2视频中，使用了1270个不包括在LFW中的视频，给定一个视频，首先生成一个粗略的初始分割，具体地说，保持一个分层级区域，该区域拥有着使用密集光流计算出的稳定区域边界，虽然这些区域可能被过多或过少的分割，它们的计算采用时间相干性，因此这些分割在帧之间是一致的；再使用Dlib对应接口来检测每个帧中的人脸和人脸标记，然后使用脸部特征点提取面部轮廓，并将其扩展到包括前额；随后丢弃上述生成的所有没有与人脸轮廓重叠的分割区域。所有交叉的分割区域通过一个简单的接口被进一步处理，该接口允许浏览整个视频，选择局部分割，通过点击鼠标即可将它们从脸部分割中添加或者移除。一个指定帧需要大概4.8s的处理时间，总的来说，本实施例用此方法在一天的时间，从每个视频中选择一到五帧，产生了9868张分割后的人脸图像。

另外，为了使得FCN模型能对图像中的遮挡物进行正确分割，通过添加合成的遮挡物进一步丰富上述人脸图像，为此，本实施例明确地为样本人脸使用3D信息估计，具体地说，使用之前描述的方法为人脸分割估计三维人脸形状；然后，使用各种对象(如太阳镜)的计算机图形(CG)三维模型去修改人脸；将这些CG模型投射到图像上，并将它们的图像位置记录为合成物遮挡，每个CG对象添加至上述9868张分割后的人脸图像中的9552张人脸图像，在本实施例中使用的检测器未能准确定位剩下的316张人脸的面部特征，因此没有对它们进行这种增强。最后，通过在本实施例中的样本图像上的多种位置叠加手部图像，可以提供一个额外的合成物遮挡来源。手部图像取自于egohands数据集。总而言之，合成的手部增强和太阳镜增强均能产生对应的分割标签，此步骤中的遮挡增强使得FCN模型能对图像中的遮挡物进行正确分割。

S4、将源图像I_S分割得到的人脸有效的覆盖在目标图像I_T分割得到的人脸上，并进行融合；具体包括以下步骤：

S41、根据源图像的投影矩阵P_S(R,t)，将源图像相关联的3D人脸形状V_S投影到源图像上；

S42、使用双线性插值对源图像进行采样，将三维顶点投影到分割后的人脸上，并在其投影坐标处对源图像进行强度采样；

S43、将采样到的强度从所有顶点v_i∈V_S转移到v_i∈V_T；

S44、根据投影矩阵P_T(R,t)，将目标图像相关联的3D人脸形状V_T投影到目标图像上，并通过目标人脸分割掩盖渲染的强度；

S45、通过泊松图像方法将源图像分割得到人脸与目标图像分割得到人脸上下文进行混合。

S5、将人脸交换后的图片进行输出。

本发明不局限于上述最佳实施方式，任何人应该得知在本发明的启示下作出的结构变化，凡是与本发明具有相同或相近的技术方案，均落入本发明的保护范围之内。

Claims (7)

1.一种人脸交换方法，其特征在于，包括以下步骤：

S1、输入源图像和目标图像，使用检测器获取脸部特征点；

S2、通过获取到的脸部特征点，调整3D人脸形状；

S3、采用通过样本训练后的FCN检测模型对调整后的3D人脸形状进行人脸分割，将源图像和目标图像中人脸从背景和遮挡中分割出来；

S4、将源图像分割得到的人脸有效的覆盖在目标图像分割得到的人脸上，并进行融合；

S5、将人脸交换后的图片进行输出。

2.如权利要求1所述的人脸交换方法，其特征在于，所述调整3D人脸形状包括步骤：

S21、分别获取源图像和目标图像中的人脸的3D形状；

S22、确定和估计获取的3D人脸形状，并分别拟合对应的姿势和表情。

3.如权利要求2所述的人脸交换方法，其特征在于，通过正面化方法或深度卷积神经网络去回归3DMM方法获取所述源图像和目标图像中的人脸的3D形状。

4.如权利要求1所述的人脸交换方法，其特征在于，所述FCN模型为FCN-8s-VGG结构。

5.如权利要求1所述的人脸交换方法，其特征在于，所述确定和估计获取的3D人脸形状具体如下：

获取的源图像和目标图像中的3D人脸形状具体如下模型表示：

其中，式(1)、式(2)分别为源图像的3D人脸形状模型和目标图像的3D人脸形状模型；

式中，向量

是平均人脸形状，由三维空间的点进行表示；矩阵W_S1、W_S2、W_E1和W_E2分别为从源图像和目标图像中人脸扫描中获取的人脸形状和表情成分；α₁和α₂分别为针对源图像和目标图像单独估计的特定主体的99维人脸形状参数向量；γ₁、γ₂分别为源图像和目标图像中的29维表情参数向量。

6.如权利要求5所述的人脸交换方法，其特征在于，所述分别拟合对应的姿势和表情具体如下：

忽略表情的情况下对姿势求解，通过下面公式近似可得出源图像和目标图像被检测2D脸部特征点的3D位置：

式中，f(·)函数选择在3D模型上的特征顶点，将所有BFM人脸的顶点进行记录，使得相同的顶点索引对应于所有人脸中相同的人脸特征；因此，预处理时指定一次f；

估计向量γ₁、γ₂中的表情参数，具体如下式：

式中，R∈R³为3D人脸旋转向量，t∈R³为3D人脸平移向量；δ_R(·)为可见性检查，它可以在给定头部旋转向量R的情况下移除遮挡点；P_S(R，t)、P_T(R，t)是投影矩阵，(R，t)是给定的外在参数，σ_1，j、σ_2，j分别为γ₁、γ₂中第j个表情成分的标准差。

7.如权利要求6所述的人脸交换方法，其特征在于，所述步骤S4具体包括：

S41、根据源图像的投影矩阵P_S(R，t)，将源图像相关联的3D人脸形状V_S投影到源图像上；

S42、使用双线性插值对源图像进行采样，将三维顶点投影到分割后的人脸上，并在其投影坐标处对源图像进行强度采样；

S43、将采样到的强度从所有顶点v_i∈V_S转移到v_i∈V_T；

S44、根据投影矩阵P_T(R，t)，将目标图像相关联的3D人脸形状V_T投影到目标图像上，并通过目标人脸分割掩盖渲染的强度；

S45、通过泊松图像方法将源图像分割得到人脸与目标图像分割得到人脸上下文进行混合。

Images