CN110458752B - 一种基于局部遮挡条件下的图像换脸方法 - Google Patents

Abstract

本发明提供了一种基于局部遮挡条件下的图像换脸方法，输入人脸图像和目标人脸图像由二维特征点进行描述，在输入图像和目标图像上做相关人脸区域的划分，建立起人脸区域对应的像素特征函数，并在人脸区域迁移的过程中无缝融合消除拼接边界。利用图像分层叠加的思路，通过拉普拉斯金字塔重建来合成最终输出图像。本发明最终合成的图像无明显修改拼接痕迹。通过与目前图像换脸常用的泊松融合方法对比，很好的还原遮挡物体边缘的图像效果，特别是当遮挡物体在人脸区域有投射阴影的时候，遮挡物边缘区域细节与泊松融合方法对比差异明显，整体图像换脸后的图像效果协调自然，无明显瑕疵。

Description

一种基于局部遮挡条件下的图像换脸方法

技术领域

本发明涉及图像处理和计算机图形学技术领域，主要涉及一种基于局部遮挡条件下的目标图像换脸方法。

背景技术

图像换脸技术是指将输入图像中的用户人脸自动移植到目标图像中，替换掉目标图像中的指定人脸，从而使图像人脸自动融合到目标图像中。图像换脸的过程要求保持输入图像的人脸容貌特征及表情特征不变，但要与目标人脸姿态相匹配，并且最终合成的人脸图像要有自然的整体效果，即要求换脸后的输入人脸的肤色、妆容以及光照环境能够与目标图像相匹配。这一技术可以使输入图像的用户具有代入感，增加图像交互式体验。目前该技术存在的主要问题是目标人脸图像可能存在一些局部遮挡，例如眼镜、头发、衣物或配饰等，由于在人脸图像中的局部遮挡具有复杂性和不可预料性，基于局部遮挡条件下的图像换脸技术需要还原遮挡物体与人脸过渡区域的图像效果，提高目标人脸图像之间的移植鲁棒性，使得到的合成照片真实感更强。

发明内容

为了克服现有技术的不足，本发明提供一种基于局部遮挡条件下的图像换脸方法。在给定人脸替换的目标图像的条件下，将输入人脸图像的主要面部区域进行人脸的替换。由于输入人脸图像和目标人脸图像是由二维特征点进行描述的，在进行人脸替换时需要考虑图像的空间姿态对齐问题，依据人脸低分辨率三维模型进行图像姿态的调整。在输入图像和目标图像上做相关人脸区域的划分，建立起人脸区域对应的像素特征函数，并在人脸区域迁移的过程中无缝融合消除拼接边界。在进行人脸图像的换脸过程中，由于目标图像中可能存在遮挡条件，换脸过程需要保持遮挡物不变，并替换遮挡物后的人脸区域，因此在进行人脸替换时需要充分考虑遮挡物叠加的平滑性。本发明利用图像分层叠加的思路，通过拉普拉斯金字塔重建来合成最终输出图像，并对遮挡物所产生的混合边缘和投射阴影进行优化，得到的换脸后的输出图像很好的还原了目标图像的效果，整体效果协调自然。

本发明解决其技术问题所采用的技术方案的步骤如下：

步骤1：对输入图像及目标图像进行预处理；

对输入图像I_S及目标图像I_T中的遮挡物进行标注，然后利用标注点对遮挡物做遮挡物提取，即将遮挡物按其轮廓分割，分别对输入图像I_S及目标图像I_T进行遮挡物及人脸区域分割，无遮挡物时,则不进行遮挡物分割只进行人脸区域分割,当人脸图像存在人脸本身之外的图像遮挡物时，以遮挡物外形为分割轮廓,将遮挡物进行抠图分割，由此分割出遮挡物区域及人脸区域；人脸区域的分割以人脸外形的平滑轮廓为分割标准，按面部轮廓进行人脸区域抠图提取,保证将面部主要器官如眼睛、眉毛、鼻嘴区域包括在人脸区域内；人脸区域划分为无遮挡区域B₀与遮挡区域B_oc；

步骤2：采用基于图像的人脸三维低分辨率模型进行人脸姿态的配准，利用双线性模型优化算法建立输入图像人脸三维的低分辨率模型F_S与目标图像人脸三维的低分辨率模型F_T，其中人脸低分辨率模型的建立步骤如下：

标注输入图像I_S及目标图像I_T中的人脸特征点及FaceWarehouse数据库中的三维人脸模型中的人脸特征点，由此给定FaceWarehouse数据库中的三维人脸模型的张量核Cr，图像中人脸的三维几何模型F表示为：

F＝R×(Cr×ω_id×ω_exp)+T (1)

其中：ω_id与ω_exp分别为当前人脸的身份特征向量与表情特征向量，R与T分别表示当前人脸在空间中的旋转矩阵与平移向量，投影后的人脸表面每个像素的位置与该点的深度以及相机焦距有关，投影计算表示为：

其中f表示相机焦距，F_x，F_y，F_z分别表示三维几何模型F中顶点的x坐标，y 坐标与z坐标，P_x与P_y表示三维几何模型F中顶点投影后的二维坐标，对三维几何模型F投影后表示为：

F2D＝Q(f)·(R·(Cr×ω_id×ω_exp)+T (3)

其中Q(f)表示公式(2)中的投影集合形式，F_2D表示对三维几何模型F进行投影后的人脸模型函数，{q_i}为输入图像中人脸特征点的2D坐标集合，则由{q_i}与F_2D建立模型特征目标函数：

其中i为坐标集{q_i}中第i个人脸特征点，R，T，f，ω_id，ω_exp为未知参数，L表示特征点的个数，从二维特征点重建三维人脸模型即求该目标函数最小化的最优解：

其中R^*，T^*，f^*，

分别表示R，T，f，ω_id，ω_exp参数的待求最佳值，将待求解的变量分为四组，即{R,T}，{f}，{ω_id}以及{ω_exp}，对四组变量进行初始化，固定其中任意三组变量，仅对一组变量进行优化求解，更新所求得的一组变量值后，再依次对其余三组变量进行循环迭代，将已求出的此组变量进行固定，对其余待求变量进行求解，在对ω_id与ω_exp变量进行求解时，加入关于ω_id与ω_exp的规则化项，进一步对ω_id与ω_exp约束，以避免出现畸形人脸；ω_id与ω_exp的规则化项为：

其中E_{reg_id}、E_{reg_exp}分别表示ω_id与ω_exp的规则化项，

分别表示ω_id与ω_exp的数学期望，cov^-1(U_id)、cov^-1(U_exp)分别表示ω_id与ω_exp的方差；

加入规则化项后的人脸身份特征ω_id与表情特征ω_exp计算避免出现人脸畸变，为参数最优解；

则图像中人脸的三维几何模型F的优化函数表示为：

其中w₁与w₂分别对应规则化项E_{reg_id}与E_{reg_exp}的权重；

图像中人脸的三维几何模型F的优化函数的具体计算步骤如下：

初始化时，人脸姿态R为单位矩阵，T为零向量，相机焦距f取鼻尖与后脑勺距离的10倍，并初始化

与

先对人脸姿态R与T进行求解，此时优化问题变为：

其中f_c,ω_id,c与ω_exp,c分别为固定{R,T}变量后的当前计算结果，在计算出人脸姿态 R与T之后，再依次对ω_id与ω_exp优化计算，首先计算ω_id，固定R，T，f，ω_exp后，优化问题为：

其中B_exp,c＝Cr×_expω_exp,c，表示张量核与当前人脸表情特征向量的模乘，此时三阶张量Cr收缩为二维矩阵B_exp,c；同理可得关于ω_exp的优化结果为：

最后对焦距f进行优化，优化问题为：

其中S_c＝Cr×_idω_id,c×_expω_exp,c，上式为关于f的线性优化，f具有最小二乘解，重复计算公式(9)、(10)、(11)、(12)，当公式(8)的图像中人脸的三维几何模型F的优化函数下降至低于阈值或超过最大迭代次数时，停止迭代，得到人脸姿态R与T，相机焦距f与人脸身份特征ω_id和表情特征ω_exp的最优解，即人脸低分辨率模型的各个参数；

步骤3：姿态变换及局部变形处理；

将输入图像I_S及目标图像I_T分别输入步骤2得到人脸低分辨率模型F_S与F_T，分别得到人脸姿态(R_S,T_S)与(R_T,T_T)，相机参数f_S与f_T，将输入图像I_S的人脸姿态函数记为H_S＝(R_S,T_S,f_S)，目标图像I_T的人脸姿态函数记为H_T＝(R_T,T_T,f_T)；其中，Rs、Ts分别表示步骤2求得的输入图像的人脸低分辨率模型在空间中的旋转矩阵与平移向量， R_T、T_T分别表示步骤2求得的目标图像的人脸低分辨率模型在空间中的旋转矩阵与平移向量，f_S与f_T分别为输入图像与目标图像的相机参数；

利用人脸姿态函数H_S将F_S投影至图像空间，使输入图像的人脸低分辨率模型F_S与输入图像I_S中的人脸重合；对于输入图像I_S人脸区域的每个像素，利用人脸低分辨率模型F_S的人脸姿态函数，生成纹理模型T_S，将T_S按照目标人脸姿态与相机参数H_T进行坐标投影，将投影的T_S与目标图像I_T中的人脸区域进行重合，得到姿态变换后的人脸图像I′_S，完成人脸姿态变换；

为进一步建立输入人脸与目标人脸的像素对应关系，需要对人脸区域变形，在遮挡区域标注稀疏控制点，通过对目标图像I_T的控制点坐标变换，变换后将I′_T与I′_S的二维特征点重合，则各图像中人脸五官与轮廓基本对齐；遮挡物轮廓标注点表示遮挡物体控制点，输入图像与目标图像中人脸特征点重合的点为不动控制点，在变形过程中遮挡物体控制点与不动控制点不发生位移，经控制点变形后，人脸特征区域已基本对齐。

所述控制点的坐标变换的步骤如下：

对目标图像中的像素点p定义全局变形函数f(p)，即将像素点p坐标生成坐标集合函数，当图像中的控制点{p_i}移动时，在目标人脸特征点影响下像素点p发生位移，其新坐标p′由变形函数f(p)决定，即p′＝f(p)，则对p′的求解转化为对f(p)解析表达式的求解，f(p)应满足的约束条件：

其中q_i表示控制点p_i位移后的新坐标，最小化||f(p_i)-q_i||²表示f(p)满足控制点p_i产生的变形；当存在多个控制点时，该约束变为加权最小二乘，w_i即对应的权重，f(p) 大小与像素点p到p_i的距离成反比；f(p)最优变形为f(p)＝Mp+T，其中M表示二维反射变换矩阵，T表示二维平移向量，f(p)为关于p的线性函数，将f(p)＝Mp+T代入式(13)，得到关于M与T的最小二乘约束：

在求解得到M与T后，即得到像素p变形后的新坐标p′＝Mp+T，假设已得到变形后的图像，其像素坐标p′为整数坐标，而控制点由{q_i}反向移动至{p_i}，经反向计算后，得到p′对应变形前的坐标p；

步骤4：局部遮挡条件下的拉普拉斯金字塔重建；

对于局部遮挡条件下的图像换脸，当I′_T的人脸区域存在遮挡时，图像换脸过程需要保持遮挡物的不变，并用拉普拉斯金字塔重建方法替换遮挡物下面的人脸；遮挡物的人脸替换将目标图像分为三层，顶层图像为遮挡物体，其区域范围B_oc由图像预处理步骤获得，中层为预处理后的输入图像中的人脸区域，底层图像为预处理后的目标图像中的人脸外围区域，将三层图像叠加，再将叠加后图像通过拉普拉斯金字塔重建得到I_out，最终合成图像I_Bad；

所述拉普拉斯金字塔重建合成的具体步骤如下：

首先保证图像中人脸的光照与颜色分布保持不变，叠加图像的拉普拉斯金字塔顶层即为目标图像的旋转矩阵分量R_T，带通分量为

对应金字塔的前n-1 层；将各频带分量叠加，得到I_out：

对I′_S与I′_T分别按照公式(15)进行拉普拉斯金字塔分解，得到各层拉普拉斯图像；拉普拉斯金字塔的前n-1层，分别对应图像中不同频带上的人脸特征；当人脸区域存在遮挡物体时，I_out的细节特征分为两部分，一部分是无遮挡的人脸区域，该区域的人脸特征来源于I′_S中的人脸特征；另外一部分是遮挡区域，图像人脸特征来源于I′_T中遮挡物体的自身人脸特征；对得到的拉普拉斯金字塔各层进行高斯滤波，同时根据标记的图像分割结果B_oc，利用公式(15)的频带叠加对遮挡区域的频带特征分量进行提取，最后将R_T与各层

平滑拼接，得到合成输出图像I_Bad。

步骤4中所述平滑拼接的具体步骤为：

对遮挡物边缘区域进行定义，利用拉普拉斯金字塔重建方法对存在遮挡物的图像的拉普拉斯分量进行分层单独计算，通过各层拉普拉斯图像与遮挡边缘区域的分量相加得到，经拉普拉斯分量分层处理后，得到合成输出图像；

所述遮挡物边缘区域的拉普拉斯分量分层处理计算详细步骤如下：

首先对遮挡物边缘区域进行标注，标注范围为遮挡物形状的轮廓区域，给定边缘区域

的定义后，目标图像拉普拉斯金字塔的第i层

在

区域内由以下三部分组成：

其中

为遮挡物内部在该区域贡献的分量，

为目标人脸本身的拉普拉斯分量；

为遮挡物体与人脸作用后的分量，包括投射阴影、遮挡物边缘以及成像噪声，

表示为：

其中G_special(2ⁱ)表示经高斯滤波后的高斯金字塔图像，G_special(2ⁱ)中每个像素是局部加权平均后的结果，高斯滤波处理后的图像像素值只与遮挡物体外围区域有关，不受遮挡物自身像素值影响，将G_special(2ⁱ)从

中去除后，即可得到

换脸过程的目标是替换人脸的拉普拉斯分量，将

替换为

其中，

为目标图像人脸区域的拉普拉斯金字塔图像的带通分量，

为目标图像去处高斯滤波后图像特征的带通分量，

为输入图像人脸区域的带通分量，为：

其中

为合成图像I_out在

区域的拉普拉斯图像，计算出

在对遮挡物边缘区域的拉普拉斯图像用公式(18)计算后，通过各层拉普拉斯图像

与R_T相加，最终得到合成图像I_Bad。

本发明的有益效果在于对输入图像与存在遮挡物的目标人脸图像进行测试，通过手工操作对图像遮挡物进行预处理标记，划分出遮挡物区域及人脸区域，利用人脸低分辨率模型实现图像中的人脸姿态调整，匹配输入图像与目标图像之间的像素分布及细节对比度，使输入图像的颜色分布与细节对比度与目标图像相匹配。利用图像分割分离出目标图像中的遮挡物与图像之间的人脸区域，经拉普拉斯金字塔融合技术使得到换脸后的遮挡物边缘与人脸自然融合，最终合成的图像无明显修改拼接痕迹。通过与目前图像换脸常用的泊松融合方法对比(具体对比效果参见图10)，本发明很好的还原遮挡物体边缘的图像效果，特别是当遮挡物体在人脸区域有投射阴影的时候，遮挡物边缘区域细节与泊松融合方法对比差异明显，整体图像换脸后的图像效果协调自然，无明显瑕疵。

附图说明

图1是图像中人脸特征点的定义标准图。

图2是原始三维人脸模型特征点的定义标准图。

图3是输入人脸图像姿态变换图。

图4是目标人脸图像变形过程图，其中，图(4)(a)为目标图像人脸控制点标注图，图(4) (b)为目标图像，图(4)(c)为输入图像中分割出来的人脸区域图，图(4)(d)为将输入图像分割出的人脸区域按目标图像姿态替换后的图。

图5是遮挡条件下的脸部合成流程示意过程图，其中图5(a)为输入图像I_S，图5(b)为目标图像I_T，图5(c)为图像分割后的遮挡物区域B_oc，图5(d)I′_S中的人脸区域，图5(e)为人脸外围区域I′_T，图5(f)为三层图像叠加得到的图像。

图6是遮挡区域的拉普拉斯金字塔合成流程图。

图7是合成图像与目标图像对比图。

图8是遮挡物边缘区域及边界的定义图；其中1表示遮挡物边缘区域

2为

表示遮挡物边缘区域

边界与遮挡物区域B_oc的重叠部分，3为

表示

边界与人脸区域的重叠部分，4为遮挡物区域B_oc。

图9是遮挡物边缘区域的拉普拉斯分层计算过程图。

图10是输入及目标图像局部遮挡条件下的图像换脸测试结果，其中图(a)为输入人脸图像，图(b)为目标人脸图像，图(b)右上角为遮挡物区域的二值图像，图(c)为泊松融合方法得到的换脸结果，图(d)为本发明得到的换脸结果。图(e)与图(f)中分别对图(c)与图(d)的遮挡物区域的放大图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

选择测试图像分辨率大小统一为800×600，相应硬件测试环境为内存16G，CPU4.0Hz，开发平台Matlab。

步骤1：对输入图像及目标图像进行预处理；

对输入图像I_S及目标图像I_T中的遮挡物进行标注，然后利用标注点对遮挡物做遮挡物提取，即将遮挡物按其轮廓分割，分别对输入图像I_S及目标图像I_T进行遮挡物及人脸区域分割，无遮挡物时,则不进行遮挡物分割只进行人脸区域分割,当人脸图像存在人脸本身之外的图像遮挡物时，以遮挡物外形为分割轮廓,将遮挡物进行抠图分割，由此分割出遮挡物区域及人脸区域；人脸区域的分割以人脸外形的平滑轮廓为分割标准，按面部轮廓进行人脸区域抠图提取,保证将面部主要器官如眼睛、眉毛、鼻嘴区域包括在人脸区域内；

人脸区域划分为无遮挡区域B₀与遮挡区域B_oc,无遮挡区域B₀如图5中(c)所示,遮挡区域B_oc如图五中(d)图所示；

步骤2：由于输入图像I_S及目标图像I_T之间在人脸姿态上存在不同，因此要实现图像的融合换脸首先要解决的技术问题是如何实现输入图像与目标图像之间的人脸姿态配准。

采用基于图像的人脸三维低分辨率模型进行人脸姿态的配准，利用双线性模型优化算法建立输入图像人脸三维的低分辨率模型F_S与目标图像人脸三维的低分辨率模型F_T，其中人脸低分辨率模型的建立步骤如下：

标注输入图像I_S及目标图像I_T中的人脸特征点及FaceWarehouse数据库中的三维人脸模型中的人脸特征点，由此给定FaceWarehouse数据库中的三维人脸模型的张量核Cr，图像中人脸的三维几何模型F表示为：

F＝R×(Cr×ω_id×ω_exp)+T (1)

其中：ω_id与ω_exp分别为当前人脸的身份特征向量与表情特征向量，R与T分别表示当前人脸在空间中的旋转矩阵与平移向量，投影后的人脸表面每个像素的位置与该点的深度以及相机焦距有关，投影计算表示为：

其中f表示相机焦距，F_x，F_y，F_z分别表示三维几何模型F中顶点的x坐标，y 坐标与z坐标，P_x与P_y表示三维几何模型F中顶点投影后的二维坐标，对三维几何模型F投影后表示为：

F_2D＝Q(f)·(R·(Cr×ω_id×ω_exp)+T (3)

其中Q(f)表示公式(2)中的投影集合形式，F_2D表示对三维几何模型F进行投影后的人脸模型函数，{q_i}为输入图像中人脸特征点的2D坐标集合，则由{q_i}与F_2D建立模型特征目标函数：

其中i为坐标集{q_i}中第i个人脸特征点，R，T，f，ω_id，ω_exp为未知参数，L表示特征点的个数，从二维特征点重建三维人脸模型即求该目标函数最小化的最优解：

其中R^*，T^*，f^*，

分别表示R，T，f，ω_id，ω_exp参数的待求最佳值，将待求解的变量分为四组，即{R,T}，{f}，{ω_id}以及{ω_exp}，对四组变量进行初始化，固定其中任意三组变量，仅对一组变量进行优化求解，更新所求得的一组变量值后，再依次对其余三组变量进行循环迭代，将已求出的此组变量进行固定，对其余待求变量进行求解，在对ω_id与ω_exp变量进行求解时，加入关于ω_id与ω_exp的规则化项，进一步对ω_id与ω_exp约束，以避免出现畸形人脸；ω_id与ω_exp的规则化项为：

其中E_{reg_id}、E_{reg_exp}分别表示ω_id与ω_exp的规则化项，

分别表示ω_id与ω_exp的数学期望，cov^-1(U_id)、cov^-1(U_exp)分别表示ω_id与ω_exp的方差；

加入规则化项后的人脸身份特征ω_id与表情特征ω_exp计算避免出现人脸畸变，为参数最优解；

则图像中人脸的三维几何模型F的优化函数表示为：

其中w₁与w₂分别对应规则化项E_{reg_id}与E_{reg_exp}的权重，经测试选取w₁＝0.001与 w₂＝0.005；

图像中人脸的三维几何模型F的优化函数的具体计算步骤如下：

初始化时，人脸姿态R为单位矩阵，T为零向量，相机焦距f取鼻尖与后脑勺距离的10倍，并初始化

与

先对人脸姿态R与T进行求解，此时优化问题变为：

其中f_c,ω_id,c与ω_exp,c分别为固定{R,T}变量后的当前计算结果，在计算出人脸姿态 R与T之后，再依次对ω_id与ω_exp优化计算，首先计算ω_id，固定R，T，f，ω_exp后，优化问题为：

其中B_exp,c＝Cr×_expω_exp,c，表示张量核与当前人脸表情特征向量的模乘，此时三阶张量Cr收缩为二维矩阵B_exp,c；同理可得关于ω_exp的优化结果为：

最后对焦距f进行优化，优化问题为：

其中S_c＝Cr×_idω_id,c×_expω_exp,c，上式为关于f的线性优化，f具有最小二乘解，重复计算公式(9)、(10)、(11)、(12)，当公式(8)的图像中人脸的三维几何模型F的优化函数下降至低于阈值或超过最大迭代次数时，停止迭代，得到人脸姿态R与T，相机焦距f与人脸身份特征ω_id和表情特征ω_exp的最优解，即人脸低分辨率模型的各个参数；

步骤3：姿态变换及局部变形处理；

将输入图像I_S及目标图像I_T分别输入步骤2得到人脸低分辨率模型F_S与F_T，分别得到人脸姿态(R_S,T_S)与(R_T,T_T)，相机参数f_S与f_T，将输入图像I_S的人脸姿态函数记为H_S＝(R_S,T_S,f_S)，目标图像I_T的人脸姿态函数记为H_T＝(R_T,T_T,f_T)；其中，Rs、Ts分别表示步骤2求得的输入图像的人脸低分辨率模型在空间中的旋转矩阵与平移向量， R_T、T_T分别表示步骤2求得的目标图像的人脸低分辨率模型在空间中的旋转矩阵与平移向量，f_S与f_T分别为输入图像与目标图像的相机参数；

利用人脸姿态函数H_S将F_S投影至图像空间，使输入图像的人脸低分辨率模型F_S与输入图像I_S中的人脸重合；对于输入图像I_S人脸区域的每个像素，利用人脸低分辨率模型F_S的人脸姿态函数，生成纹理模型T_S，将T_S按照目标人脸姿态与相机参数H_T进行坐标投影，将投影的T_S与目标图像I_T中的人脸区域进行重合，得到姿态变换后的人脸图像I′_S，完成人脸姿态变换，人脸姿态变换结果如图(3)；

为进一步建立输入人脸与目标人脸的像素对应关系，需要对人脸区域变形，由于目标图像I_T的局部变形通过二维特征点控制实现，在遮挡区域标注稀疏控制点，通过对目标图像I_T的控制点坐标变换，变换后将I′_T与I′_S的二维特征点重合，则各图像中人脸五官与轮廓基本对齐；图像中输入图像和目标图像的人脸区域特征点的分布如图(4) 所示，遮挡物轮廓标注点表示遮挡物体控制点，输入图像与目标图像中人脸特征点重合的点为不动控制点，在变形过程中遮挡物体控制点与不动控制点不发生位移，黑色控制点为目标人脸特征点，白色控制点则表示人脸特征点的新位置，经控制点变形后，新的目标人脸图像如图(4)(b)，I′_T与I′_S的重叠效果如图(4)(d)所示，看出人脸特征区域已基本对齐。

所述控制点的坐标变换的步骤如下：

对目标图像中的像素点p定义全局变形函数f(p)，即将像素点p坐标生成坐标集合函数，当图像中的控制点{p_i}移动时，在目标人脸特征点影响下像素点p发生位移，其新坐标p′由变形函数f(p)决定，即p′＝f(p)，则对p′的求解转化为对f(p)解析表达式的求解，f(p)应满足的约束条件：

其中q_i表示控制点p_i位移后的新坐标，最小化||f(p_i)-q_i||²表示f(p)满足控制点p_i产生的变形；当存在多个控制点时，该约束变为加权最小二乘，w_i即对应的权重，f(p) 大小与像素点p到p_i的距离成反比；为保证变形的平滑性，f(p)最优变形为 f(p)＝Mp+T，其中M表示二维反射变换矩阵，T表示二维平移向量，f(p)为关于p 的线性函数，将f(p)＝Mp+T代入式(13)，得到关于M与T的最小二乘约束：

在求解得到M与T后，即得到像素p变形后的新坐标p′＝Mp+T，假设已得到变形后的图像，其像素坐标p′为整数坐标，而控制点由{q_i}反向移动至{p_i}，经反向计算后，得到p′对应变形前的坐标p；

步骤4：局部遮挡条件下的拉普拉斯金字塔重建；

对于局部遮挡条件下的图像换脸，其输入图像I_S与目标图像I_T，以及预处理后的图像I′_S与I′_T分别如图(5)所示；当I′_T的人脸区域存在遮挡时，图像换脸过程需要保持遮挡物的不变，并用拉普拉斯金字塔重建方法替换遮挡物下面的人脸；遮挡物的人脸替换将目标图像分为三层，顶层图像为遮挡物体，其区域范围B_oc由图像预处理步骤获得，中层为预处理后的输入图像中的人脸区域，底层图像为预处理后的目标图像中的人脸外围区域，将三层图像叠加，再将叠加后图像通过拉普拉斯金字塔重建得到I_out，最终合成图像I_Bad。

所述拉普拉斯金字塔重建合成的流程如图(6)所示，具体步骤如下：

首先保证合成图像I_out中人脸的光照与颜色分布保持不变，I_out的拉普拉斯金字塔顶层(低通分量)即为目标图像的旋转矩阵分量R_T，为保持图像I_out人脸特征细节与输入人脸I′_S一致，I_out的带通分量为

对应I_out金字塔的前n-1层；将各频带分量叠加，得到I_out：

对I′_S与I′_T分别按照公式(15)进行拉普拉斯金字塔分解，得到各层拉普拉斯图像；拉普拉斯金字塔的前n-1层，分别对应图像中不同频带上的人脸特征；当人脸区域存在遮挡物体时，I_out的细节特征分为两部分，一部分是无遮挡的人脸区域，该区域的人脸特征来源于I′_S中的人脸特征；另外一部分是遮挡区域，图像人脸特征来源于I′_T中遮挡物体的自身人脸特征。对得到的拉普拉斯金字塔各层进行高斯滤波，同时根据标记的图像分割结果B_oc，参照公式(15)的频带叠加对遮挡区域的频带特征分量进行提取，最后将R_T与各层

平滑拼接，得到合成输出图像I_Bad，本次设计经测试选择拉普拉斯金字塔层数为8层，在保证图像清晰度的同时也能很好的进行图像各区域的叠加操作。

步骤4中所述平滑拼接的具体步骤为：

由于在进行遮挡物的分层分割时会造成一定程度的遮挡物边缘细节缺失，因此需要对遮挡物边缘区域做进一步处理。此步对遮挡物边缘区域进行定义，利用拉普拉斯金字塔重建方法对存在遮挡物的图像的拉普拉斯分量进行分层单独计算，最后合成图像I_out，通过各层拉普拉斯图像与遮挡边缘区域的分量相加得到。经拉普拉斯分量分层处理后最大程度的还原遮挡物边缘的细节变化，恢复了边缘区域上的阴影细节，并修补缺失的遮挡物边缘。

所述遮挡物边缘区域的拉普拉斯分量分层处理计算详细步骤如下：

首先对遮挡物边缘区域进行标注，定义标准参见图(8)，标注范围为遮挡物形状的轮廓区域，给定边缘区域

的定义后，目标图像拉普拉斯金字塔的第i层

在

区域内由以下三部分组成：

其中

为遮挡物内部在该区域贡献的分量，随金字塔层数的升高，拉普拉斯图像中频带逐渐降低；

为目标人脸本身的拉普拉斯分量；

为遮挡物体与人脸作用后的分量，包括投射阴影、遮挡物边缘以及成像噪声，

表示为：

其中G_special(2ⁱ)表示经高斯滤波后的高斯金字塔图像，G_special(2ⁱ)中每个像素是局部加权平均后的结果，高斯滤波处理后的图像像素值只与遮挡物体外围区域有关，不受遮挡物自身像素值影响，将其从

中去除后，即可得到

换脸过程的目标是替换人脸的拉普拉斯分量，将

替换为

其中，

为目标图像人脸区域的拉普拉斯金字塔图像的带通分量，

为目标图像去处高斯滤波后图像特征的带通分量，

为输入图像人脸区域的带通分量，为：

其中

为合成图像I_out在

区域的拉普拉斯图像，计算出

在对遮挡物边缘区域的拉普拉斯图像用公式(18)计算后，通过各层拉普拉斯图像

与R_T相加，最终得到合成图像I_Bad。

图1为三维人脸模型中的特征点定义标准，以人脸外轮廓及眼、口、鼻、眉处共 73处定为人脸特征点。当人脸姿态偏转为侧面时，原始定义的轮廓点被遮挡，则将侧面人脸的最大可见轮廓点定义为特征点，如图中最右侧图像所示。

图2为原始三维人脸模型特征点的定义标准图，最右侧图像为当人脸模型为非正面时选取的可见轮廓特征点。

图3为输入人脸图像姿态变换模型图，其中左边三个图像为输入人脸图像的纹理模型T_S，右侧图像为姿态变换后的人脸图像I′_S。

图4为目标人脸图像变形过程，图(4)(a)为目标图像人脸控制点标注图，图(4)(b)为目标图像，图(4)(c)为输入图像中分割出来的人脸区域图，图(4)(d)为将输入图像分割出的人脸区域按目标图像姿态替换后的图，其中控制点的分布如图(4)(a)所示，遮挡物轮廓标注点表示遮挡物体控制点，在变形过程中该控制点不发生位移，黑色控制点为目标人脸特征点，白色控制点则表示人脸特征点的新位置。变形后的目标人脸图像如图(4)(b)，分层重叠效果如图(4)(d)所示，可以看出人脸特征区域已基本对齐。

图5为遮挡条件下的脸部分层合成过程，其中(a)输入图像I_S，(b)为目标图像I_T，(c)为图像分割后的遮挡物区域B_oc，中层为(d)I′_S中的人脸区域，底层图像为(e)I′_T中的人脸外围区域，将该三层图像叠加，得到的图像如(f)所示。

图6为遮挡区域的拉普拉斯金字塔合成流程示意图，其中I′_T的拉普拉斯图像如图中第一行

所示，计算出

与

后，对

进行增益调整，调整后的结果为

如图中第三行所示，根据手工标记的图像分割结果B_oc，对

中遮挡区域的图像细节进行抽取，抽取后的结果记为

输出图像的拉普拉斯金字塔前n-1 层图像

由

与

拼接得到，如图中第四行，将R_T与各层

相加，得到合成图像I_Bad。

图7为合成图像与目标图像对比图，其中第一行为合成后的图像及其拉普拉斯分量，第二行为目标图像及其拉普拉斯分量。

图8为遮挡物边缘区域及边界的定义图，其中左侧图中白色区域1表示遮挡物边缘区域

右侧图中

与

分别表示

区域上的两种不同边界。其中

表示遮挡物边缘区域

边界与遮挡物区域B_oc的重叠部分，即图中区域2，

表示

边界与人脸区域的重叠部分，即图中区域3，遮挡物区域B_oc为图中区域4。

图9为遮挡物边缘区域的拉普拉斯分层计算过程图，图中第一列为彩色图像，后三列为对应的各层拉普拉斯图像，其中第一行为合成后的图像I_Bad及其拉普拉斯分量

第二行为目标图像I_T及其拉普拉斯图像

第三行为对遮挡物边缘区域单独分层计算后的输出图像I_out及各层拉普拉斯分量图

图10为局部遮挡条件下的输入及目标图像换脸测试结果。图中(a)为输入人脸图像，(b)为目标人脸图像，其中(b)右上角为遮挡物区域的二值图像，(c)为泊松融合方法得到的换脸结果，(d)为本发明得到的换脸结果。图中(e)与(f)中分别对(c)与(d)的遮挡物区域进行放大，其中(e)与(f)中的红色框图为局部放大图。

图10是用本发明进行的测试，其中图10的(e)与(f)图分别为目前换脸主流用的泊松融合方法和本发明生成的图像结果图，可以看出，(e)中局部放大框图放大后，在眼镜遮挡物与人脸交接边缘出现了遮挡物粘连，边缘不够清晰，(f)中本发明生成的结果放大则没有此瑕疵。

Claims (2)

1.一种基于局部遮挡条件下的图像换脸方法，其特征在于包括下述步骤：

步骤1：对输入图像及目标图像进行预处理；

对输入图像I_S及目标图像I_T中的遮挡物进行标注，然后利用标注点对遮挡物做遮挡物提取，即将遮挡物按其轮廓分割，分别对输入图像I_S及目标图像I_T进行遮挡物及人脸区域分割，无遮挡物时,则不进行遮挡物分割只进行人脸区域分割,当人脸图像存在人脸本身之外的图像遮挡物时，以遮挡物外形为分割轮廓,将遮挡物进行抠图分割，由此分割出遮挡物区域及人脸区域；人脸区域的分割以人脸外形的平滑轮廓为分割标准，按面部轮廓进行人脸区域抠图提取,保证将面部主要器官如眼睛、眉毛、鼻嘴区域包括在人脸区域内；人脸区域划分为无遮挡区域B₀与遮挡区域B_oc；

步骤2：采用基于图像的人脸三维低分辨率模型进行人脸姿态的配准，利用双线性模型优化算法建立输入图像人脸三维的低分辨率模型F_S与目标图像人脸三维的低分辨率模型F_T，其中人脸低分辨率模型的建立步骤如下：

标注输入图像I_S及目标图像I_T中的人脸特征点及FaceWarehouse数据库中的三维人脸模型中的人脸特征点，由此给定FaceWarehouse数据库中的三维人脸模型的张量核Cr，图像中人脸的三维几何模型F表示为：

F＝R×(Cr×ω_id×ω_exp)+T (1)

其中：ω_id与ω_exp分别为当前人脸的身份特征向量与表情特征向量，R与T分别表示当前人脸在空间中的旋转矩阵与平移向量，投影后的人脸表面每个像素的位置与该点的深度以及相机焦距有关，投影计算表示为：

其中f表示相机焦距，F_x，F_y，F_z分别表示三维几何模型F中顶点的x坐标，y坐标与z坐标，P_x与P_y表示三维几何模型F中顶点投影后的二维坐标，对三维几何模型F投影后表示为：

F_2D＝Q(f)·(R·(Cr×ω_id×ω_exp)+T (3)

其中Q(f)表示公式(2)中的投影集合形式，F_2D表示对三维几何模型F进行投影后的人脸模型函数，{q_i}为输入图像中人脸特征点的2D坐标集合，则由{q_i}与F_2D建立模型特征目标函数：

其中i为坐标集{q_i}中第i个人脸特征点，R，T，f，ω_id，ω_exp为未知参数，L表示特征点的个数，从二维特征点重建三维人脸模型即求该目标函数最小化的最优解：

其中R^*，T^*，f^*，

分别表示R，T，f，ω_id，ω_exp参数的待求最佳值，将待求解的变量分为四组，即{R,T}，{f}，{ω_id}以及{ω_exp}，对四组变量进行初始化，固定其中任意三组变量，仅对一组变量进行优化求解，更新所求得的一组变量值后，再依次对其余三组变量进行循环迭代，将已求出的此组变量进行固定，对其余待求变量进行求解，在对ω_id与ω_exp变量进行求解时，加入关于ω_id与ω_exp的规则化项，进一步对ω_id与ω_exp约束，以避免出现畸形人脸；ω_id与ω_exp的规则化项为：

其中E_{reg_id}、E_{reg_exp}分别表示ω_id与ω_exp的规则化项，

分别表示ω_id与ω_exp的数学期望，cov^-1(U_id)、cov^-1(U_exp)分别表示ω_id与ω_exp的方差；

加入规则化项后的人脸身份特征ω_id与表情特征ω_exp计算避免出现人脸畸变，为参数最优解；

则图像中人脸的三维几何模型F的优化函数表示为：

其中w₁与w₂分别对应规则化项E_{reg_id}与E_{reg_exp}的权重；

图像中人脸的三维几何模型F的优化函数的具体计算步骤如下：

初始化时，人脸姿态R为单位矩阵，T为零向量，相机焦距f取鼻尖与后脑勺距离的10倍，并初始化

与

先对人脸姿态R与T进行求解，此时优化问题变为：

其中f_c,ω_id,c与ω_exp,c分别为固定{R,T}变量后的当前计算结果，在计算出人脸姿态R与T之后，再依次对ω_id与ω_exp优化计算，首先计算ω_id，固定R，T，f，ω_exp后，优化问题为：

其中B_exp,c＝Cr×_expω_exp,c，表示张量核与当前人脸表情特征向量的模乘，此时张量核Cr收缩为二维矩阵B_exp,c；同理可得关于ω_exp的优化结果为：

最后对焦距f进行优化，优化问题为：

其中S_c＝Cr×_idω_id,c×_expω_exp,c，上式为关于f的线性优化，f具有最小二乘解，重复计算公式(9)、(10)、(11)、(12)，当公式(8)的图像中人脸的三维几何模型F的优化函数下降至低于阈值或超过最大迭代次数时，停止迭代，得到人脸姿态R与T，相机焦距f与人脸身份特征ω_id和表情特征ω_exp的最优解，即人脸低分辨率模型的各个参数；

步骤3：姿态变换及局部变形处理；

将输入图像I_S及目标图像I_T分别输入步骤2得到人脸低分辨率模型F_S与F_T，分别得到人脸姿态(R_S,T_S)与(R_T,T_T)，相机参数f_S与f_T，将输入图像I_S的人脸姿态函数记为H_S＝(R_S,T_S,f_S)，目标图像I_T的人脸姿态函数记为H_T＝(R_T,T_T,f_T)；其中，Rs、Ts分别表示步骤2求得的输入图像的人脸低分辨率模型在空间中的旋转矩阵与平移向量，R_T、T_T分别表示步骤2求得的目标图像的人脸低分辨率模型在空间中的旋转矩阵与平移向量，f_S与f_T分别为输入图像与目标图像的相机参数；

利用人脸姿态函数H_S将F_S投影至图像空间，使输入图像的人脸低分辨率模型F_S与输入图像I_S中的人脸重合；对于输入图像I_S人脸区域的每个像素，利用人脸低分辨率模型F_S的人脸姿态函数，生成纹理模型T_S，将T_S按照目标人脸姿态与相机参数H_T进行坐标投影，将投影的T_S与目标图像I_T中的人脸区域进行重合，得到姿态变换后的人脸图像I′_S，完成人脸姿态变换；

为进一步建立输入人脸与目标人脸的像素对应关系，需要对人脸区域变形，在遮挡区域标注稀疏控制点，通过对目标图像I_T的控制点坐标变换，变换后将I′_T与I′_S的二维特征点重合，则各图像中人脸五官与轮廓基本对齐；遮挡物轮廓标注点表示遮挡物体控制点，输入图像与目标图像中人脸特征点重合的点为不动控制点，在变形过程中遮挡物体控制点与不动控制点不发生位移，经控制点变形后，人脸特征区域已基本对齐；

所述控制点的坐标变换的步骤如下：

对目标图像中的像素点p定义全局变形函数f(p)，即将像素点p坐标生成坐标集合函数，当图像中的控制点{p_i}移动时，在目标人脸特征点影响下像素点p发生位移，其新坐标p′由变形函数f(p)决定，即p′＝f(p)，则对p′的求解转化为对f(p)解析表达式的求解，f(p)应满足的约束条件：

其中q_i表示控制点p_i位移后的新坐标，最小化||f(p_i)-q_i||²表示f(p)满足控制点p_i产生的变形；当存在多个控制点时，该约束变为加权最小二乘，w_i即对应的权重，f(p)大小与像素点p到p_i的距离成反比；f(p)最优变形为f(p)＝Mp+T，其中M表示二维反射变换矩阵，T表示二维平移向量，f(p)为关于p的线性函数，将f(p)＝Mp+T代入式(13)，得到关于M与T的最小二乘约束：

在求解得到M与T后，即得到像素p变形后的新坐标p′＝Mp+T，假设已得到变形后的图像，其像素坐标p′为整数坐标，而控制点由{q_i}反向移动至{p_i}，经反向计算后，得到p′对应变形前的坐标p；

步骤4：局部遮挡条件下的拉普拉斯金字塔重建；

对于局部遮挡条件下的图像换脸，当I′_T的人脸区域存在遮挡时，图像换脸过程需要保持遮挡物的不变，并用拉普拉斯金字塔重建方法替换遮挡物下面的人脸；遮挡物的人脸替换将目标图像分为三层，顶层图像为遮挡物体，其区域范围B_oc由图像预处理步骤获得，中层为预处理后的输入图像中的人脸区域，底层图像为预处理后的目标图像中的人脸外围区域，将三层图像叠加，再将叠加后图像通过拉普拉斯金字塔重建得到I_out，最终合成图像I_Bad；

所述拉普拉斯金字塔重建合成的具体步骤如下：

首先保证图像中人脸的光照与颜色分布保持不变，叠加图像的拉普拉斯金字塔顶层即为目标图像的旋转矩阵分量R_T，带通分量为

对应金字塔的前n-1层；将各频带分量叠加，得到I_out：

对I′_S与I′_T分别按照公式(15)进行拉普拉斯金字塔分解，得到各层拉普拉斯图像；拉普拉斯金字塔的前n-1层，分别对应图像中不同频带上的人脸特征；当人脸区域存在遮挡物体时，I_out的细节特征分为两部分，一部分是无遮挡的人脸区域，该区域的人脸特征来源于I′_S中的人脸特征；另外一部分是遮挡区域，图像人脸特征来源于I′_T中遮挡物体的自身人脸特征；对得到的拉普拉斯金字塔各层进行高斯滤波，同时根据标记的图像分割结果B_oc，利用公式(15)的频带叠加对遮挡区域的频带特征分量进行提取，最后将R_T与各层

平滑拼接，得到合成输出图像I_Bad。

2.根据权利要求1所述的一种基于局部遮挡条件下的图像换脸方法，，其特征在于：步骤4中所述平滑拼接的具体步骤为：

对遮挡物边缘区域进行定义，利用拉普拉斯金字塔重建方法对存在遮挡物的图像的拉普拉斯分量进行分层单独计算，通过各层拉普拉斯图像与遮挡边缘区域的分量相加得到，经拉普拉斯分量分层处理后，得到合成输出图像；

所述遮挡物边缘区域的拉普拉斯分量分层处理计算详细步骤如下：

首先对遮挡物边缘区域进行标注，标注范围为遮挡物形状的轮廓区域，给定边缘区域

的定义后，目标图像拉普拉斯金字塔的第i层

在

区域内由以下三部分组成：

其中

为遮挡物内部在该区域贡献的分量，

为目标人脸本身的拉普拉斯分量；

为遮挡物体与人脸作用后的分量，包括投射阴影、遮挡物边缘以及成像噪声，

表示为：

其中G_special(2ⁱ)表示经高斯滤波后的高斯金字塔图像，G_special(2ⁱ)中每个像素是局部加权平均后的结果，高斯滤波处理后的图像像素值只与遮挡物体外围区域有关，不受遮挡物自身像素值影响，将G_special(2ⁱ)从

中去除后，即可得到

换脸过程的目标是替换人脸的拉普拉斯分量，将

替换为

其中，

为目标图像人脸区域的拉普拉斯金字塔图像的带通分量，

为目标图像去处高斯滤波后图像特征的带通分量，

为输入图像人脸区域的带通分量，为：

其中

为合成图像I_out在

区域的拉普拉斯图像，计算出

在对遮挡物边缘区域的拉普拉斯图像用公式(18)计算后，通过各层拉普拉斯图像

与R_T相加，最终得到合成图像I_Bad。

Images