CN113298736B - 一种基于面部样式的人脸图像修复方法 - Google Patents

Abstract

本发明为一种基于面部样式的人脸图像修复的方法，该方法包括以下内容：构建基于面部样式的生成对抗网络，包括基于面部样式的生成网络和PatchGAN判别器网络；基于面部样式的生成网络包括编码器‑解码器构成的主干修复子网络、能够根据人脸解析图提取各面部区域的局部面部区域样式和全局面部样式的面部样式提取子网络；所有局部面部区域样式和全局面部样式构成样式矩阵，生成各面部区域的仿射参数；编码器与解码器中的相应网络层之间存在跳跃连接，每个跳跃连接上嵌入一个面部区域修复模块。该方法能够有效的克服现有技术修复后的人脸图像中存在视觉伪影、面部结构细节模糊和面部语义不一致的问题，获得更加精确的修复效果。

Description

一种基于面部样式的人脸图像修复方法

技术领域

本发明的技术方案涉及图像修复领域，具体地说是一种基于面部样式的人脸图像修复方法。

背景技术

图像修复(图像补全或者图像填充)是一种根据已知图像内容去推测并修复出破损或缺失区域内容的技术，使修复后的图像内容信息合理和主观视觉真实。近些年来，随着深度学习的快速发展，图像修复也取得了较大的进步，被广泛的用于目标移除、破损文物图像修复、影视后期处理、老照片修复等领域。

现存的图像修复方法可以分为两大类，分别是基于传统方式的图像修复和基于深度学习方式的图像修复。前者主要是依据图像像素间的相关性和内容相似性等低层次的特征来进行推测修复，后者主要是利用神经网络强大的学习能力来学习图像中的抽象特征，对抽象特征进行一系列修复操作，从而生成更加符合语义的图像。

基于深度学习的图像修复主要是通过基于编码器-解码器的生成模型来进行修复，编码器能够捕获图像缺失区域周围的上下文信息并进行编码，提取图像的潜在特征表示，并对潜在特征表示进行一系列的修复操作，然后通过解码器将潜在特征表示恢复到图像原始数据，进而生成缺失区域的内容，同时通过增加各种约束损失或借助GAN的生成对抗思想来不断优化修复结果。2016年Deepak Pathak在《IEEE Conference on ComputerVision and Pattern Recognition》上发表的论文“Context Encoders:Feature Learningby Inpainting”中，第一次使用深度学习中的卷积神经网络和生成对抗网络的思想进行图像修复，使得修复结果相对于传统修复方法有了本质上的提高。之后，针对于卷积网络中的普通卷积(Vanilla Convolutions)会将图像中的所有输入像素都当成有效像素进行计算，同时卷积图像中的有效像素和缺失像素会导致修复后的图像出现视觉伪影，如色差、模糊以及边界扭曲等，特别是对于不规则破损人脸图像的修复来说，这一现象更为严重，且现有的深度学习方法大多数采用特征归一化进行训练，但是在空间维度上进行归一化忽略了破损区域对归一化的影响，网络中经常会出现方差和均值的漂移问题，修复效果有待提升。

发明内容

针对现有技术的不足，本发明所要解决的技术问题是：提供一种利用生成对抗网络的基于面部样式的人脸图像修复的方法，该方法设计了局部面部区域样式与全局面部样式自适应融合机制和区域归一化的面部区域修复模块，该自适应融合机制能够通过网络自动的学习各局部面部区域样式和全局面部样式的融合权重，得到融合后的面部区域样式，进而生成各面部区域的仿射参数，面部区域修复模块根据面部区域对面部特征进行有针对性的修复操作，简单的说是面部区域修复模块利用融合机制得到的各面部区域仿射参数仅对存在破损的面部区域特征进行区域归一化操作，得到修复后的面部区域特征，而未破损的面部区域特征不需要区域归一化操作，最后将修复后的面部区域特征和未破损的面部区域特征叠加，得到修复后面部特征。此外，为了得到更好的修复效果，在多个尺度上对面部特征进行修复，具体的做法是将面部区域修复模块嵌入到编码器与解码器之间的跳跃连接上，而每个跳跃连接的面部特征是不同尺度的，这样可以保证在多个尺度上对面部特征进行修复操作。本发明能够有效的克服现有技术修复后的人脸图像中存在视觉伪影、面部结构细节模糊和面部语义不一致的问题，获得更加精确的修复效果。

本发明解决该技术问题所采用的技术方案是：一种基于面部样式的人脸图像修复的方法，是采用局部面部区域样式与全局面部样式自适应融合机制和区域归一化的面部区域修复模块的人脸图像修复方法，该方法包括以下内容：

对人脸公开数据集进行预处理，得到256×256的人脸数据集，利用公开的算法构建人脸数据集对应的人脸解析数据集，对图像修复公开的掩码进行预处理，得到256×256的掩码数据集，需要注意的是，在训练过程中，人脸数据集与掩码数据集随机的进行组合，得到破损的人脸数据集，其目的是模拟人脸图像破损的随机性，破损的人脸数据集中存储大量的破损人脸图像；

人脸解析数据集为人脸数据集中的人脸图像经过语义分割后获得将面部区域划分为8个面部区域的人脸解析图，八个面部区域分为皮肤、鼻子、眼睛、眉毛、耳朵、嘴巴、头发、脖子；

构建基于面部样式的生成对抗网络，该生成对抗网络由两部分组成：基于面部样式的生成网络和PatchGAN判别器网络；

基于面部样式的生成网络包括两个子网络，分别为主干修复子网络和面部样式提取子网络；面部样式提取子网络采用瓶颈网络结构，它由4个下采样层、3个上采样层构成，能够根据人脸解析图提取各面部区域的局部面部区域样式和全局面部样式；主干修复子网络为类似U-Net的编码器-解码器网络，它由5个下采样层的编码器、4个上采样层解码器构成，编码器与解码器之间存在4个跳跃连接，每个跳跃连接上嵌入一个面部区域修复模块，用于对编码器中的相应下采样层输出的跳跃连接特征进行针对性的修复；

所述面部区域修复模块利用各面部区域仿射参数仅对存在破损的面部区域特征进行区域归一化操作，得到修复后的面部区域特征，而未破损的面部区域特征不需要区域归一化操作，最后将修复后的面部区域特征和未破损的面部区域特征叠加，得到修复后面部特征。

PatchGAN判别器网络为本技术领域公知的网络结构，它由一系列下采样层组成，输入为人脸图像，输出为概率矩阵，概率矩阵中每个值对应输入的人脸图像的一小块像素的真假概率值。

上述的下采样层为卷积核大小为3×3，步长为1的卷积层、实例归一化层、LeakyReLU激活函数构成；上采样层为转置卷积核为4×4，步长为2的转置卷积层、实例归一化层、LeakyReLU激活函数构成。

基于面部样式的生成网络的具体步骤如下：

第一步，通过面部样式提取子网络提取破损人脸图像各局部面部区域样式和全局面部样式，构成样式矩阵：

第(1.1)步，将破损人脸图像通过面部样式提取子网络提取破损人脸图像的深度样式特征，具体操作表示如下公式(1)所示：

F_s＝StyleExtractNet(I_in) (1),

公式(1)中，I_in为破损人脸图像，F_s为破损人脸图像的深度样式特征，StyleExtractNet(·)为面部样式提取子网络，

第(1.2)步，通过对破损人脸图像的深度样式特征逐个面部区域的平均池化提取所有局部面部区域样式，并通过整个面部区域的平均池化提取全局面部样式，局部面部区域样式和全局面部样式的具体操作表示如下公式(2)(3)所示：

公式(2)中，

为第i个面部区域的局部面部区域样式(同下)，

其中s^local为所有局部面部区域样式，i∈(1,2,…,N)，N为真实人脸图像的人脸解析图中面部区域的数量(同下)，S_i为破损人脸图像对应的真实人脸图像的人脸解析图中第i个面部区域的二值掩码(同下)，属于该面部区域的像素值为1，不属于该面部区域的像素值为0，S_i∈S，其中S为破损人脸图像对应的真实人脸图像的人脸解析图，i∈(1,2,…,N)，

为逐项乘积操作(同下)，AvgPool(·)为区域特征平局池化模块，它是在空间维度上的平均池化操作，

公式(3)中，s^global为全局面部样式(同下)，sum(·)为空间维度求和操作(同下)，

第(1.3)步，通过得到的所有局部面部区域样式和全局面部样式，构建样式矩阵，

公式(4)中，[·]为矩阵，其中S_matrix∈R^256×(N+1),样式矩阵的前N列表示N个局部面部区域样式，最后一列为全局面部样式，

由此完成了通过面部样式提取子网络构建样式矩阵；

第二步，通过样式矩阵构建面部区域样式对，计算所有面部区域仿射参数的偏移因子和缩放因子：

通过上述第一步获取的样式矩阵，将所有的局部面部区域样式与全局面部样式两两组合形成N个面部区域样式对，对每个面部区域样式对通过局部面部区域样式与全局面部样式自适应融合机制获取该面部区域对应仿射参数的偏移因子和缩放因子，

第(2.1)步，所有局部面部区域样式与全局面部样式两两组合，获取所有面部区域样式对：

将上述第一步中得到的样式矩阵，所有局部面部区域样式与全局面部样式两两组合，最终可得到所有样式对，具体操作表示如下公式(5)所示：

公式(5)中，sd_i为第i个面部区域样式对，sd_i∈sd，其中sd为所有面部区域的样式对，i∈(1,2,…N)，(·)为成对组合操作，

第(2.2)步，通过样式对获取当前样式对所对应区域仿射参数的偏移因子和缩放因子：

获取所有面部区域样式对后，通过自适应融合机制将面部区域样式对中的局部面部区域样式与全局面部样式进行自适应融合得到该面部区域仿射参数的偏移因子和缩放因子，融合机制为：局部面部区域样式和全局面部样式分别经过一个全连接层处理、利用激化函数对局部面部区域中的对应可学习参数进行处理后作为局部面部区域样式经全连接层处理后的局部权重，全局面部样式经全连接层处理后的全局权重与局部权重之和为1。仿射参数的偏移因子和缩放因子具体计算过程如下公式(6)(7)所示，

公式(6)(7)中，

和

为第i个面部区域的对应的两个可学习的参数，初始值为0，在训练过程中不断优化，γ_i为第i个面部区域仿射参数的缩放因子(同下)，γ_i∈γ，其中γ为所有面部区域仿射参数的缩放因子(同下)，i∈(1,2,…N)，β_i为第i个面部区域仿射参数的偏移因子(同下)，β_i∈β，其中β为所有面部区域仿射参数的偏移因子(同下)，i∈(1,2,…N)，Sigmoid(·)为Sigmoid激活函数(同下)，Linear(·)为当前面部区域对应的全连接层，

由此，完成了所有面部区域样式对的构建和获取所有面部区域仿射参数的偏移因子和缩放因子；

第三步，通过主干修复子网络的编码器获取破损人脸图像编码后的抽象特征和跳跃连接特征，通过面部区域修复模块对跳跃连接特征进行修复，得到修复后的跳跃连接特征：

将上述第一步的破损人脸图像经过N_d次的下采样操作，同时保留每次下采样后的结果,记为当前下采样后跳跃连接特征，当N_d次下采样操作完成之后得到所有跳跃连接特征，对每个跳跃连接特征，经过面部区域修复模块得到修复后跳跃连接特征，同时将最后一层的跳跃连接特征下采样一次，得到编码后的抽象特征，具体操作如下：

第(3.1)步，通过逐层的下采样操作获取破损人脸图像编码后的抽象特征和所有跳跃连接特征：

将上述第一步的破损人脸图像经过N_d次的下采样操作，得到所有跳跃连接特征，将最后一层的跳跃连接特征下采样一次得到编码后抽象特征，具体操作表示如下公式(8)(9)(10)所示：

公式(8)(9)(10)中，

为第j次下采样后的跳跃连接特征，

其中F^s为所有跳跃连接特征，j∈(1,2,…,N_d)，F^m为编码后抽象特征，DowmSampleModule(·)为下采样模块，即为下采样层，能够对模块输入的特征进行下采样操作，

由此完成破损人脸图像的编码操作和所有跳跃连接特征的获取操作，即得到破损人脸图像编码后抽象特征和所有跳跃连接特征；

第(3.2)步，对所有跳跃连接特征进行区域特征修复，得到修复后的跳跃连接特征：

将上述第(3.1)步得到的所有跳跃连接特征，通过各自对应的面部区域修复模块，得到各自修复后的跳跃连接特征，具体操作表示如下公式(11)所示：

公式(11)中，

为第j个跳跃连接经面部区域修复模块修复后的跳跃连接特征，RegionInpaintModule(·)为面部区域修复模块，该模块能够仅对存在缺失的面部区域进行特征归一化修复操作，它的具体操作可以总结如下：

首先，将跳跃连接特征经过1×1的卷积、区域归一化模块和Sigmoid激活函数，得到边界残差特征，具体操作表示如下公式(12)所示：

公式(12)中，

为第j个跳跃连接特征对应的边界残差特征，Conv1(·)为卷积核大小为1×1，步长为1的卷积层，RegionNormBlock(F^r,γ,β)为区域归一化模块，能仅对存在缺失的面部区域特征执行仿射变换操作，其中F^r为区域归一化模块的输入特征，它的具体操作表示如下公式(13)(14)(15)所示：

公式(13)(14)(15)中，F^r为区域归一化模块的输入特征，

为实例归一化层的输出特征，也为仿射变换操作的输入特征，M_i为破损人脸图像对应的真实人脸图像的人脸解析图中第i个面部区域中存在破损的掩码，如果该面部区域的中存在破损，则破损位置的像素值为1，剩余的其它像素值为0，

为第i个面部区域特征经仿射变换后的面部区域特征或未经任何操作的面部区域特征，

为区域归一化模块的输出特征，即为输入特征经区域归一化模块修复后的特征，IN(·)为实例归一化层，公式(14)能够仅对存在破损的面部区域特征进行区域归一化操作，这可以对存在破损的面部区域特征进行修复，将不存在破损的面部区域特征进行保留，

同时，将跳跃连接特征经过区域归一化模块，3×3的卷积，LeakyReLU激活函数和区域归一化模块，得到区域修复特征，具体操作表示如下公式(16)(17)所示：

公式(16)(17)中，LeakyReLU(·)为LeakyReLU激活函数，

为临时特征变量，

为区域修复特征，Conv3(·)为卷积核大小为3×3，步长为1的卷积层(同下)，

最后，将跳跃连接特征的边界残差特征和区域修复特征进行逐项乘积操作，得到修复后的跳跃连接特征，具体操作表示如下公式(18)所示：

公式(18)中，

为修复后的跳跃连接特征，

由此完成破损人脸图像的编码操作和所有修复后的跳跃连接特征的获取操作，即得到破损人脸图像编码后抽象特征和所有修复后的跳跃连接特征；

第四步，通过主干修复子网络的解码器获取最终修复后的破损人脸图像：

对上述(3.1)步得到的破损人脸图像编码后抽象特征和上述(3.2)步骤得到所有修复后的跳跃连接特征，先将抽象特征经过上采样模块得到首次上采样后的抽象特征，接着执行N_d次上采样操作，每次上采样的输入为前一次上采样后的抽象特征与当前上采样所对应的修复后的跳跃连接特征在通道维度拼接后的特征，每次上采样后的输出为此次上采样后的抽象特征，重复执行N_d次后，会得到与破损人脸图像空间维度一致的特征，最后经过一个卷积层对该特征进行通道降维，得到与破损人脸图像通道维度一致的修复后图像，具体操作如下：

第(4.1)步，获得首次上采样后的抽象特征：

将(3.1)步得到的破损人脸图像编码后抽象特征经过上采样模块得到首次上采样后的抽象特征，具体操作表示如下公式(19)所示：

公式(19)中，

为首次上采样后的抽象特征，UpSampleModule(·)为上采样模块，即为上采样层，

第(4.2)步，接着执行N_d次上采样操作，得到与破损人脸图像空间维度一致的特征，具体操作表示如下公式(20)所示：

公式(20)中，

为第k次上采样后的抽象特征，Cat(A,B)为将特征A与特征B在通道上拼接操作，

第(4.3)步，对第N_d次上采样后的抽象特征执行一次卷积操作，得到修复后的人脸图像，具体操作表示如下公式(21)所示：

公式(21)中，

为第N_d次上采样后的抽象特征，I_out为修复后的人脸图像，Tanh(·)为Tanh激活函数，

至此，由上述第一步到第四步的操作构建了基于生成对抗网络的采用局部面部区域样式与全局面部样式自适应融合机制和区域归一化的面部区域修复模块的人脸图像修复方法。

第五步，基于生成对抗网络的采用局部面部区域样式与全局面部样式自适应融合机制和区域归一化的面部区域修复模块的人脸图像修复方法的训练：

对于上述四步构建的基于生成对抗网络的采用局部面部区域样式与全局面部样式自适应融合机制和区域归一化的面部区域修复模块的人脸图像修复方法的训练操作如下：

本发明提出的基于面部样式的生成对抗网络，其由两部分组成：基于面部样式的生成网络和PatchGAN判别器网络。该生成对抗网络的训练采用基于面部样式的生成网络和PatchGAN判别器网络交替训练的策略，首先计算基于面部样式的生成网络的总损失，通过梯度下降算法优化生成网络，之后计算PatchGAN判别器网络的总损失，同样通过梯度下降算法优化判别器网络，通过两者交替的优化，最终使基于面部样式的生成网络的损失函数与PatchGAN判别器网络的损失函数共同收敛，保证基于面部样式的生成网络能够得到修复后的人脸图像。

基于面部样式的生成网络的总损失函数如下公式(22)所示：

L_gen＝λ₁·L_rec+λ₂·L_pre+λ₃·L_style+λ₄·L_adv (22)，

公式(22)中，λ_i，i∈(1，2，...，4)为各损失之间的权重系数，L_gen为生成网络的总损失函数，L_rec为重构损失函数，L_pre为感知损失函数，L_style为样式损失函数，L_adv为生成对抗损失，生成对抗损失的定义如下公式(23)所示：

公式(23)中，L_adv为生成对抗损失，

其中C(·)为PatchGAN判别器网络，I_ture为真实人脸图像，I_out为修复后的人脸图像，

和

为求均值操作，

PatchGAN判别器网络的总损失函数如下公式(24)所示：

L_dis＝L_adv (24)，

公式(24)中，L_dis为PatchGAN判别器网络的总损失函数，

经过上述操作由此完成了上述第一步到第四步构建的基于生成对抗网络的采用局部面部区域样式与全局面部样式自适应融合机制和区域归一化的面部区域修复模块的人脸图像修复方法的训练；

第六步，基于生成对抗网络的采用局部面部区域样式与全局面部样式自适应融合机制和区域归一化的面部区域修复模块的人脸图像修复方法的度量：

经过上述训练之后，当训练稳定后，得到训练好的基于面部样式的生成网络，将破损的测试人脸图像输入到基于面部样式的生成网络，得到修复后的测试人脸图像，将其与真实的测试人脸图像计算峰值信噪比，结构相似性，Fréchet Inception距离，

峰值信噪比的计算公式如下公式(25)所示：

公式(25)中，I_eture为真实的测试人脸图像，I_eout为修复后的测试人脸图像，MSE(I_eture，I_eout)为真实的测试人脸图像与修复后的测试人脸图像的均方误差，

为真实的测试人脸图像颜色的最大数值，若为8位采样点，则表示为255，PSNR为真实的测试人脸图像和修复后的测试人脸图像的峰值信噪比，

结构相似性的计算公式如下公式(26)(27)(28)(29)所示：

SSMI(I_eture，I_eout)＝l(I_eture，I_eout)·c(I_eture，I_eout)·s(I_eture，I_eout) (29)，

公式(26)(27)(28)(29)中，

和

分别为真实的测试人脸图像和修复后的测试人脸图像的均值，

和

分别为真实的测试人脸图像和修复后的测试人脸图像的方差，

为真实的测试人脸图像和修复后的测试人脸图像的协方差，C₁，C₂，C₃为常数，能够避免分母为零的情况，通常C₁＝(K₁·L)²,C₂＝(K₂·L)²,

一般地K₁＝0.01,K₂＝0.03,L＝255，l(I_eture,I_eout)，c(I_eture,I_eout)，s(I_eture,I_eout)分别为真实的测试人脸图像和修复后的测试人脸图像的亮度比较函数，对比度比较函数，结构比较函数，SSMI为真实的测试人脸图像和修复后的测试人脸图像的结构相似性，

Fréchet Inception距离的计算公式如下公式(30)所示，

公式(27)中，

分别为真实的测试人脸图像在Inception Net-V3输出的2048维特征集合的均值和协方差矩阵，

分别为修复后的测试人脸图像在Inception Net-V3输出的2048维特征集合的均值和协方差矩阵，Tr(·)为矩阵的迹，

为矩阵的平方根，FID(I_eture,I_eout)为真实的测试人脸图像和修复后的测试人脸图像的Fréchet Inception距离，

至此，完成基于生成对抗网络的采用局部面部区域样式与全局面部样式自适应融合机制和区域归一化的面部区域修复模块的人脸图像修复方法。

上述一种人脸图像修复的方法，所述重构损失函数、感知损失函数、样式损失函数、PatchGAN判别器均为本技术领域公知的。

本发明的有益效果是：与现有技术相比，本发明所具有的突出的实质性特点和显著进步如下：

(1)本发明提出一种人脸图像修复的方法，具体是基于生成对抗网络的局部面部区域样式与全局面部样式自适应融合机制和基于区域归一化的面部区域修复模块的人脸图像修复方法，其中的局部面部区域样式与全局面部样式自适应融合机制能够将面部样式提取子网络提取的破损人脸图像的深度样式特征，根据人脸解析图中各面部区域的二值掩码提取各面部区域的局部面部区域样式和全局面部样式，接着通过自适应样式融合机制得到各个面部区域的仿射参数。面部区域修复模块能够对存在破损特征的跳跃连接特征进行区域特征修复，即通过区域归一化机制和该区域的仿射参数仅对存在破损区域的特征进行归一化修复操作。经过生成对抗网络的训练，生成器能够准确的学习到各面部区域的局部面部区域样式，这就能够很好的解决面部区域修复模糊的问题。同时，全局面部样式能够弥补面部区域之间边界衔接明显的问题，能够保证面部区域之间更加平滑，使修复后的图像更加真实。面部区域修复模块仅针对存在破损的面部区域进行修复，能够保证未破损面部区域特征与真实图像的一致性，同时还能够仅对存在破损区域特征进行精准的修复，进而保证修复图像在内容和语义上真实一致。

(2)CN109377448B公开了一种基于生成对抗网络的人脸图像修复方法，该方法采用了标准的生成对抗网络结构，利用生成对抗网络强大的图像生成能力，生成缺失部分的内容。该方法存在的问题是普通的生成对抗网络很难填补出人脸图像缺失部分的内容，同时对于人脸这种复杂的图像，修复后的结果会比较模糊，难以实现很好的修复结果。本发明与CN109377448B相比，将待修复图像自身的区域样式信息作为辅助信息，仅对存在缺失的区域进行归一化修复操作，能够生成更加清楚的修复结果。

(3)CN111612718A公开了一种引入注意力机制的人脸图像修复方法，将注意力机制引入到人脸图像修复任务中，通过网络的训练，使网络的上下文关注层学习从已知背景块中借用或复制特征信息以生成缺失的块。该方法采用了注意力机制自然会增大网络的计算量，降低网络的推理速度，同时当面对缺失部分较大的人脸图像时，上下文关注层很难知道从哪些已知背景块中借鉴特征信息。本发明与CN111612718A相比，未采用注意力机制，降低了网络的运算量，得益于区域归一化操作，对于人脸图像存在较大缺失的情况，也能实现很好的修复效果。

(4)CN109961407B公开了一种基于人脸相似性的人脸图像修复方法，构建包含多个相似人脸图像的人脸数据集，将人脸数据集划分为修复样本集、测试样本集和训练样本集，从修复样本集中提取出待修复人脸对应的加权相似人脸集，然后将相似人脸集(参考信息)和待修复人脸图像一同输入到训练完成的人脸修复网络模型中，得到修复的人脸图像。该方法利用构建相似人脸集作为参考信息，从相似人脸数据集中借鉴信息辅助待修复人脸图像的修复。若相似人脸数据集不存在与待修复人脸图像相似的样本，则会导致修复结果较差。本发明与CN109961407B相比，不需要构建相似人脸集，减少了人工成本，修复结果更加真实，算法的鲁棒性更强。

(5)CN112801914A公开了一种基于纹理结构感知的两段式图像修复，将修复过程分为两个阶段：图像结构生成阶段用于生成图像缺失区域的结构信息；图像内容生成阶段将获得的结构信息作为先验，结合受损图像的纹理和颜色信息来完成图像修复。该方法采用两阶段的修复方法，会造成修复时间和训练时间过长的问题，同时也会造成图像内容生成阶段过分依赖于图像结构生成阶段的结果，如果前者无法生成较好的结构，那么后者无法生成更好的图像内容。本发明与CN112801914A相比，采用一阶段的修复网络，能够很好的避免费时、修复结果依赖于前一阶段修复结果的问题。

(6)本发明使用局部面部区域样式与全局面部样式自适应融合机制，通过可学习的权重，将局部面部区域样式和全局面部样式全部考虑，通过这种考虑方式，能够保证整体图像视觉和语义的一致性。面部区域修复模块能够有效的保留未破损区域的特征，突出修复破损区域的特征，这种方式更具有针对性，更有利于对破损的人脸图像进行针对的修复，同时保证修复后图像与真实图像一致。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是本发明所提出方法的一组真实人脸图像、掩码、破损人脸图像、人脸解析图的示例图。

图2是本发明所提出方法的基于面部样式的生成网络框架图。

图3是本发明所提出方法的面部区域修复模块图。

图4是本发明所提出方法的区域归一化模块的以图1为例的示例图。

图5是本发明实施例修复结果示例图。

图6是与不同算法的视觉结果比较。

具体实施方式

图1所示实施例表明，本发明方法的一组真实人脸图像、掩码、破损人脸图像、真实人脸图像的人脸解析图的示例图。

本发明一种基于面部样式的人脸图像修复的方法，该方法包括以下内容：

获得真实人脸图像的人脸解析数据集，所述人脸解析数据集中的人脸解析图包含不少于八个面部区域，利用真实人脸图像和掩码制作破损的人脸数据集；

构建基于面部样式的对抗网络，该对抗网络包括基于面部样式的生成网络和PatchGAN判别器网络；

所述基于面部样式的生成网络包括主干修复子网络和面部样式提取子网络；面部样式提取子网络采用瓶颈网络结构，能够根据人脸解析图提取各面部区域的局部面部区域样式和全局面部样式；所有局部面部区域样式和全局面部样式构成样式矩阵，通过网络自动的学习各局部面部区域样式和全局面部样式之间的融合权重，得到融合后的面部区域样式，进而生成各面部区域的仿射参数；

主干修复子网络为编码器-解码器网络，编码器与解码器中的相应网络层之间存在跳跃连接，每个跳跃连接上嵌入一个面部区域修复模块，用于对编码器中的相应下采样层输出的跳跃连接特征进行针对性的修复；

所述面部区域修复模块利用各面部区域仿射参数仅对存在破损的面部区域特征进行区域归一化操作，得到修复后的面部区域特征，而未破损的面部区域特征不需要区域归一化操作，最后将修复后的面部区域特征和未破损的面部区域特征叠加，得到修复后面部特征。

图2所示实施例表明，本发明方法的训练阶段操作过程简单说是：首先，将破损图像经过由多个下采样层与上采样层组成的面部样式提取子网络获得深度样式特征，将深度样式特征通过对各局部面部区域和全局面部进行平均池化操作，分别获得各局部面部区域样式和全局面部样式，将其拼接在一起得到样式矩阵，通过样式矩阵获得各面部区域的仿射参数；其次，将破损人脸图像经过由多个下采样层组成的编码器获得破损图像的抽象特征，同时记录除最后一个下采样层的输出外的每一个下采样层输出的跳跃连接特征，所述编码器用于对破损人脸图像修复的编码；最后，将各局部区域仿射参数与各下采样层输出的跳跃连接特征经过一个面部区域修复模块获得修复后的跳跃连接特征，将编码器输出的抽象特征先经过一个上采样层后，得到首次上采样的特征，接着重复执行上采样操作，直到上采样输出的特征与破损图像空间维度上一致，其中每次上采样的输入为上一层上采样层输出的抽象特征和当前上采样层对应的修复后的跳跃连接特征拼接后的特征，每次上采样的输出为当前上采样层输出的抽象特征，在最后一次上采样操作完成之后，再经卷积层得到修复后的图像。图2中编码器和解码器内箭头可分别理解为下采样操作和上采样操作，图内的长方体表示特征。

图3所示实施例表明，本发明中面部区域修复模块包括两个分支，具体流程如下：

分支一：输入面部区域修复模块的跳跃连接特征→使用区域归一化模块仅对存在缺失的面部区域特征执行仿射变换操作→使用3×3的卷积层进行卷积操作→使用LeakyReLU激活函数增加非线性→使用区域归一化模块仅对存在缺失的面部区域特征执行仿射变换操作→得到区域修复特征；

分支二：输入面部区域修复模块的跳跃连接特征→使用1×1的卷积层进行卷积操作→使用区域归一化模块仅对存在缺失的面部区域特征执行仿射变换操作→使用Sigmoid激活函数强调边界特征→得到边界残差特征；

最后，将分支一得到的区域修复特征与分支二得到边界残差特征进行相乘得到修复后的跳跃连接特征。

图4所示实施例表明，本发明中的区域归一化模块的以图1为例的流程如下：

对区域归一化模块的输入特征使用实例归一化层进行归一化操作，对每个局部面部区域分别进行区域归一化模块的操作，即依次对所有面部区域判断是否存在缺失(如果面部区域破损掩码中有白色区域，则说明该面部区域有缺失)，如果存在缺失，则利用相应面部区域的仿射参数(包括缩放因子和偏移因子)对该面部区域的特征进行仿射变换操作，如果不存在缺失，则不需要任何操作，最终得到所有面部区域变换后的特征或未变换后的特征，将所有面部区域变换后的特征和未变换后的特征相加得到区域归一化模块输出的特征。

图5所示实施例表明，本发明实施例的修复结果示意图，示意图中每一列为一张破损人脸图像修复前后的图像以及真实的人脸图像。

图6所示实施例表明，本发明实施例与不同算法的视觉结果比较，第一列为真实人脸图像(GT)，第二列为破损的人脸图像，即本发明的输入人脸图像(Input)，第三列为现有技术Context Encoder(CE)修复后结果，第四列为现有技术Contextual Attention(CA)修复后结果，第五列为现有技术Gated Convolutions(DF2)修复后结果，第六列为本发明方法(Ours)修复后结果。

本发明中采用包含多个局部面部区域样式与全局面部样式的融合后的仿射参数作为面部区域修复模块的辅助修复的线索信息，相对与简单利用损坏区域的线条和颜色作为辅助修复线索信息，并将其作用于编码器和解码器之间的跳跃连接特征上来说，修复效果更加精确。对存在缺失的面部区域，进行归一化操作，不存在缺失的面部区域不需要任何操作，更加精细的划分，也能很好的解决方差和均值的飘逸问题。在考虑多个面部区域归一化的时候提出了全局面部样式，局部面部区域样式和全局面部样式自适应融合，避免多面部区域融合时出现面部与面部之间由于色差明显而使修复效果不理想的问题。

实施例1

本实施例的基于生成对抗网络的采用局部面部区域样式与全局面部样式自适应融合机制和区域归一化的面部区域修复模块的人脸图像修复方法，基于面部样式的生成网络的具体步骤如下：

第一步，通过面部样式提取子网络提取破损人脸图像各局部面部区域样式和全局面部样式，构成样式矩阵：

第(1.1)步，将破损人脸图像通过面部样式提取子网络提取破损人脸图像的深度样式特征，具体操作表示如下公式(1)所示：

F_s＝StyleExtractNet(I_in) (1),

公式(1)中，I_in为破损人脸图像，F_s为破损人脸图像的深度样式特征，StyleExtractNet(·)为面部样式提取子网络，

第(1.2)步，通过对破损人脸图像的深度样式特征逐个面部区域的平均池化提取所有局部面部区域样式，并通过整个面部区域的平均池化提取全局面部样式，局部面部区域样式和全局面部样式的具体操作表示如下公式(2)(3)所示：

公式(2)中，

为第i个面部区域的局部面部区域样式(同下)，

其中s^local为所有局部面部区域样式，i∈(1,2,…,N)，N为真实人脸图像的人脸解析图中面部区域的数量(同下)，S_i为破损人脸图像对应的真实人脸图像的人脸解析图中第i个面部区域的二值掩码(同下)，属于该面部区域的像素值为1，不属于该面部区域的像素值为0，S_i∈S，其中S为破损人脸图像对应的真实人脸图像的人脸解析图，i∈(1,2,…,N)，

为逐项乘积操作(同下)，AvgPool(·)为区域特征平局池化模块，它是在空间维度上的平均池化操作，

公式(3)中，s^global为全局面部样式(同下)，sum(·)为空间维度求和操作(同下)，第(1.3)步，通过得到的所有局部面部区域样式和全局面部样式，构建样式矩阵，

公式(4)中，[·]为矩阵，其中S_matrix∈R^256×(N+1),样式矩阵的前N列表示N个局部面部区域样式，最后一列为全局面部样式，

由此完成了通过面部样式提取子网络构建样式矩阵；

第二步，通过样式矩阵构建面部区域样式对，计算所有面部区域仿射参数的偏移因子和缩放因子：

通过上述第一步获取的样式矩阵，将所有的局部面部区域样式与全局面部样式两两组合形成N个面部区域样式对，对每个面部区域样式对通过局部面部区域样式与全局面部样式自适应融合机制获取该面部区域对应仿射参数的偏移因子和缩放因子，

第(2.1)步，所有局部面部区域样式与全局面部样式两两组合，获取所有面部区域样式对：

将上述第一步中得到的样式矩阵，所有局部面部区域样式与全局面部样式两两组合，最终可得到所有样式对，具体操作表示如下公式(5)所示：

公式(5)中，sd_i为第i个面部区域样式对，sd_i∈sd，其中sd为所有面部区域的样式对，i∈(1,2,…N)，(·)为成对组合操作，

第(2.2)步，通过样式对获取当前样式对所对应区域仿射参数的偏移因子和缩放因子：

获取所有面部区域样式对后，通过自适应融合机制将面部区域样式对中的局部面部区域样式与全局面部样式进行自适应融合得到该面部区域仿射参数的偏移因子和缩放因子，仿射参数的偏移因子和缩放因子具体计算过程如下公式(6)(7)所示，

公式(6)(7)中，

和

为第i个面部区域的对应的两个可学习的参数，初始值为0，在训练过程中不断优化，γ_i为第i个面部区域仿射参数的缩放因子(同下)，γ_i∈γ，其中γ为所有面部区域仿射参数的缩放因子(同下)，i∈(1,2,…N)，β_i为第i个面部区域仿射参数的偏移因子(同下)，β_i∈β，其中β为所有面部区域仿射参数的偏移因子(同下)，i∈(1,2,…N)，Sigmoid(·)为Sigmoid激活函数(同下)，Linear(·)为当前面部区域对应的全连接层，

由此，完成了所有面部区域样式对的构建和获取所有面部区域仿射参数的偏移因子和缩放因子；

第三步，通过主干修复子网络的编码器获取破损人脸图像编码后的抽象特征和跳跃连接特征，通过面部区域修复模块对跳跃连接特征进行修复，得到修复后的跳跃连接特征：

将上述第一步的破损人脸图像经过N_d次的下采样操作，同时保留每次下采样后的结果,记为当前下采样后跳跃连接特征，当N_d次下采样操作完成之后得到所有跳跃连接特征，对每个跳跃连接特征，经过面部区域修复模块得到修复后跳跃连接特征，同时将最后一层的跳跃连接特征下采样一次，得到编码后的抽象特征，具体操作如下：

第(3.1)步，通过逐层的下采样操作获取破损人脸图像编码后的抽象特征和所有跳跃连接特征：

将上述第一步的破损人脸图像经过N_d次的下采样操作，得到所有跳跃连接特征，将最后一层的跳跃连接特征下采样一次得到编码后抽象特征，具体操作表示如下公式(8)(9)(10)所示：

公式(8)(9)(10)中，

为第j次下采样后的跳跃连接特征，

其中F^s为所有跳跃连接特征，j∈(1,2,…,N_d)，F^m为编码后抽象特征，DowmSampleModule(·)为下采样模块,即为下采样层，能够对模块输入的特征进行下采样操作，

由此完成破损人脸图像的编码操作和所有跳跃连接特征的获取操作，即得到破损人脸图像编码后抽象特征和所有跳跃连接特征；

第(3.2)步，对所有跳跃连接特征进行区域特征修复，得到修复后的跳跃连接特征：

将上述第(3.1)步得到的所有跳跃连接特征，通过各自对应的面部区域修复模块，得到各自修复后的跳跃连接特征，具体操作表示如下公式(11)所示：

公式(11)中，

为第j个跳跃连接经面部区域修复模块修复后的跳跃连接特征，RegionInpaintModule(·)为面部区域修复模块，该模块能够仅对存在缺失的面部区域进行特征归一化修复操作，它的具体操作可以总结如下：

首先，将跳跃连接特征经过1×1的卷积、区域归一化模块和Sigmoid激活函数，得到边界残差特征，具体操作表示如下公式(12)所示：

公式(12)中，

为第j个跳跃连接特征对应的边界残差特征，Conv1(·)为卷积核大小为1×1，步长为1的卷积层，RegionNormBlock(F^r,γ,β)为区域归一化模块，能仅对存在缺失的面部区域特征执行仿射变换操作，其中F^r为区域归一化模块的输入特征，它的具体操作表示如下公式(13)(14)(15)所示：

公式(13)(14)(15)中，F^r为区域归一化模块的输入特征，

为实例归一化层的输出特征，也为仿射变换操作的输入特征，M_i为破损人脸图像对应的真实人脸图像的人脸解析图中第i个面部区域中存在破损的掩码，如果该面部区域的中存在破损，则破损位置的像素值为1，剩余的其它像素值为0，

为第i个面部区域特征经仿射变换后的面部区域特征或未经任何操作的面部区域特征，

为区域归一化模块的输出特征，即为输入特征经区域归一化模块修复后的特征，IN(·)为实例归一化层，公式(14)能够仅对存在破损的面部区域特征进行区域归一化操作，这可以对存在破损的面部区域特征进行修复，将不存在破损的面部区域特征进行保留，

然后，将跳跃连接特征经过区域归一化模块，3×3的卷积，LeakyReLU激活函数和区域归一化模块，得到区域修复特征，具体操作表示如下公式(16)(17)所示：

公式(16)(17)中，LeakyReLU(·)为LeakyReLU激活函数，

为临时特征变量，

为区域修复特征(同下)，Conv3(·)为卷积核大小为3×3，步长为1的卷积层，

最后，将跳跃连接特征的边界残差特征和区域修复特征进行逐项乘积操作，得到修复后的跳跃连接特征，具体操作表示如下公式(18)所示：

公式(18)中，

为修复后的跳跃连接特征，

由此完成破损人脸图像的编码操作和所有修复后的跳跃连接特征的获取操作，即得到破损人脸图像编码后抽象特征和所有修复后的跳跃连接特征；

第四步，通过主干修复子网络的解码器获取最终修复后的破损人脸图像：

对上述(3.1)步得到的破损人脸图像编码后抽象特征和上述(3.2)步骤得到所有修复后的跳跃连接特征，先将抽象特征经过上采样模块得到首次上采样后的抽象特征，接着执行N_d次上采样操作，每次上采样的输入为前一次上采样后的抽象特征与当前上采样所对应的修复后的跳跃连接特征在通道维度拼接后的特征，每次上采样后的输出为此次上采样后的抽象特征，重复执行N_d次后，会得到与破损人脸图像空间维度一致的特征，最后经过一个卷积层对该特征进行通道降维，得到与破损人脸图像通道维度一致的修复后图像，具体操作如下：

第(4.1)步，获得首次上采样后的抽象特征：

将(3.1)步得到的破损人脸图像编码后抽象特征经过上采样模块得到首次上采样后的抽象特征，具体操作表示如下公式(19)所示：

公式(19)中，

为首次上采样后的抽象特征，UpSampleModule(·)为上采样模块，即为上采样层，

第(4.2)步，接着执行N_d次上采样操作，得到与破损人脸图像空间维度一致的特征，具体操作表示如下公式(20)所示：

公式(20)中，

为第k次上采样后的抽象特征，Cat(A,B)为将特征A与特征B在通道上拼接操作，

第(4.3)步，对第N_d次上采样后的抽象特征执行一次卷积操作，得到修复后的人脸图像，具体操作表示如下公式(21)所示：

公式(21)中，

为第N_d次上采样后的抽象特征，I_out为修复后的人脸图像，Tanh(·)为Tanh激活函数，

至此，由上述第一步到第四步的操作构建了基于生成对抗网络的采用局部面部区域样式与全局面部样式自适应融合机制和区域归一化的面部区域修复模块的人脸图像修复方法；

第五步，基于生成对抗网络的采用局部面部区域样式与全局面部样式自适应融合机制和区域归一化的面部区域修复模块的人脸图像修复方法的训练：

对于上述四步构建的基于生成对抗网络的采用局部面部区域样式与全局面部样式自适应融合机制和区域归一化的面部区域修复模块的人脸图像修复方法的训练操作如下：

本发明提出的基于面部样式的生成对抗网络，其由两部分组成：基于面部样式的生成网络和PatchGAN判别器网络。该生成对抗网络的训练采用基于面部样式的生成网络和PatchGAN判别器网络交替训练的策略，首先计算基于面部样式的生成网络的总损失，通过梯度下降算法优化生成网络，之后计算PatchGAN判别器网络的总损失，同样通过梯度下降算法优化判别器网络，通过两者交替的优化，最终使基于面部样式的生成网络的损失函数与PatchGAN判别器网络的损失函数共同收敛，保证基于面部样式的生成网络能够得到修复后的人脸图像。

基于面部样式的生成网络的总损失函数如下公式(22)所示：

L_gen＝λ₁·L_rec+λ₂·L_pre+λ₃·L_style+λ₄·L_adv (22),

公式(22)中，λ_i,i∈(1,2,…,4)为各损失之间的权重系数，L_gen为生成网络的总损失函数，L_rec为重构损失函数，L_pre为感知损失函数，L_style为样式损失函数，L_adv为生成对抗损失，生成对抗损失的定义如下公式(23)所示：

公式(23)中,L_adv为生成对抗损失，

其中C(·)为PatchGAN判别器网络，I_ture为真实人脸图像，I_out为修复后的人脸图像，

和

为求均值操作，

PatchGAN判别器网络的总损失函数如下公式(24)所示：

L_dis＝L_adv (24),

公式(24)中,L_dis为PatchGAN判别器网络的总损失函数，

经过上述操作由此完成了上述第一步到第四步构建的基于生成对抗网络的采用局部面部区域样式与全局面部样式自适应融合机制和区域归一化的面部区域修复模块的人脸图像修复方法的训练；

第六步，基于生成对抗网络的采用局部面部区域样式与全局面部样式自适应融合机制和区域归一化的面部区域修复模块的人脸图像修复方法的训练的度量：

经过上述第四步训练之后，当训练稳定后，得到训练好的基于面部样式的生成网络，将破损的测试人脸图像输入到基于面部样式的生成网络，得到修复后的测试人脸图像，将其与真实的测试人脸图像计算峰值信噪比，结构相似性，Fréchet Inception距离，

峰值信噪比的计算公式如下公式(25)所示：

公式(25)中，PSNR为峰值信噪比，I_eture为真实的测试人脸图像，I_eout为修复后的测试人脸图像，MSE(I_eture,I_eout)为真实的测试人脸图像与修复后的测试人脸图像的均方误差，

为真实的测试人脸图像颜色的最大数值，若为8位采样点，则表示为255，

结构相似性的计算公式如下公式(26)(27)(28)(29)所示：

SSMI(I_eture,I_eout)＝I(I_eture,I_eout)·c(I_eture,I_eout)·s(I_eture,I_eout) (29),

公式(26)(27)(28)(29)中，

和

分别为真实的测试人脸图像和修复后的测试人脸图像的均值，

和

分别为真实的测试人脸图像和修复后的测试人脸图像的方差，

为真实的测试人脸图像和修复后的测试人脸图像的协方差，C₁，C₂，C₃为常数，能够避免分母为零的情况，通常C₁＝(K₁·L)²,C₂＝(K₂·L)²,

一般地K₁＝0.01,K₂＝0.03,L＝255，l(I_eture,I_eout)，c(I_eture,I_eout)，s(I_eture,I_eout)分别为真实的测试人脸图像和修复后的测试人脸图像的亮度比较函数，对比度比较函数，结构比较函数，SSMI为真实的测试人脸图像和修复后的测试人脸图像的结构相似性，

Fréchet Inception距离的计算公式如下公式(30)所示，

公式(27)中，

分别为真实的测试人脸图像在Inception Net-V3输出的2048维特征集合的均值和协方差矩阵，

分别为修复后的测试人脸图像在Inception Net-V3输出的2048维特征集合的均值和协方差矩阵，Tr(·)为矩阵的迹，

为矩阵的平方根，FID(I_eture,I_eout)为真实的测试人脸图像和修复后的测试人脸图像的Fréchet Inception距离，

至此，完成基于生成对抗网络的采用局部面部区域样式与全局面部样式自适应融合机制和区域归一化的面部区域修复模块的人脸图像修复方法。

表1列出了本实施例的实验结果Ours与现有技术Context Encoder(CE)的实验结果、现有技术Contextual Attention(CA)的实验结果以及现有技术Gated Convolutions(DF2)的实验结果，在CelebA-HQ数据集上的比较，

表1不同人脸修复算法的结果比较(％)

方法	PSNR↑	SSMI↑	FID↓
				CE	18.69	0.681	-
CA	19.34	0.734	21.15
				DF2	24.48	0.890	23.88
Ours	26.96	0.895	9.27

从表1中可以看出，本实施例提出的人脸图像修复方法效果优于所有现有技术中的对比方法。

图5显示了基于生成对抗网络的采用局部面部区域样式与全局面部样式自适应融合机制和区域归一化的面部区域修复模块的人脸图像修复方法对四张破损人脸图像的修复效果。

上述一种人脸图像修复的方法，所述重构损失函数、感知损失函数、样式损失函数、PatchGAN判别器均为本技术领域公知的。

本发明未述及之处适用于现有技术。

Claims (8)

1.一种基于面部样式的人脸图像修复的方法，其特征在于，该方法包括以下内容：

获得真实人脸图像的人脸解析数据集，所述人脸解析数据集中的人脸解析图包含不少于八个面部区域，利用真实人脸图像和掩码制作破损的人脸数据集；

构建基于面部样式的生成对抗网络，该生成对抗网络包括基于面部样式的生成网络和PatchGAN判别器网络；

所述基于面部样式的生成网络包括主干修复子网络和面部样式提取子网络；面部样式提取子网络采用瓶颈网络结构，能够根据人脸解析图提取各面部区域的局部面部区域样式和全局面部样式；所有局部面部区域样式和全局面部样式构成样式矩阵，学习各局部面部区域样式和全局面部样式之间的融合权重，得到融合后的面部区域样式，进而生成各面部区域的仿射参数；

主干修复子网络为编码器-解码器网络，编码器与解码器中的相应网络层之间存在跳跃连接，每个跳跃连接上嵌入一个面部区域修复模块，用于对编码器中的相应下采样层输出的跳跃连接特征进行针对性的修复；

所述面部区域修复模块利用各面部区域仿射参数仅对存在破损的面部区域特征进行区域归一化操作，得到修复后的面部区域特征，而未破损的面部区域特征不需要区域归一化操作，最后将修复后的面部区域特征和未破损的面部区域特征叠加，得到修复后面部特征。

2.根据权利要求1所述的人脸图像修复的方法，其特征在于，将破损人脸图像经过由多个下采样层组成的编码器获得破损图像的抽象特征，同时记录除最后一个下采样层的输出外的每一个下采样层输出的跳跃连接特征；最后，将各面部区域仿射参数与各下采样层输出的跳跃连接特征经过一个面部区域修复模块获得修复后的跳跃连接特征，将编码器输出的抽象特征先经过一个上采样层后，得到首次上采样的特征，接着重复执行上采样操作，直到上采样输出的特征与破损图像空间维度上一致，其中每次上采样的输入为上一层上采样层输出的抽象特征和当前上采样层对应的修复后的跳跃连接特征拼接后的特征，每次上采样的输出为当前上采样层输出的抽象特征，在最后一次上采样操作完成之后，再经卷积层得到修复后的图像。

3.根据权利要求1所述的人脸图像修复的方法，其特征在于，所述编码器由五个下采样层依次连接构成，所述解码器由四个上采样层依次连接构成；面部样式提取子网络由4个下采样层、3个上采样层构成；

上述的下采样层为卷积核大小为3×3,步长为1的卷积层、实例归一化层、LeakyReLU激活函数构成；上采样层为转置卷积核为4×4,步长为2的转置卷积层、实例归一化层、LeakyReLU激活函数构成。

4.根据权利要求1所述的人脸图像修复的方法，其特征在于，所述面部区域修复模块具有两条分支，具体的流程是：

分支一：输入面部区域修复模块的跳跃连接特征→使用区域归一化模块仅对存在缺失的面部区域特征执行仿射变换操作→使用3×3的卷积层进行卷积操作→使用LeakyReLU激活函数增加非线性→使用区域归一化模块仅对存在缺失的面部区域特征执行仿射变换操作→得到区域修复特征；

分支二：输入面部区域修复模块的跳跃连接特征→使用1×1的卷积层进行卷积操作→使用区域归一化模块仅对存在缺失的面部区域特征执行仿射变换操作→使用Sigmoid激活函数强调边界特征→得到边界残差特征；

最后，将分支一得到的区域修复特征与分支二得到边界残差特征进行相乘得到修复后的跳跃连接特征。

5.根据权利要求1所述的人脸图像修复的方法，其特征在于，所述区域归一化模块是对所输入的特征使用实例归一化层进行归一化操作，判断当前面部区域是否存在缺失，若存在缺失则利用相应面部区域的仿射参数对该面部区域的特征进行仿射变换操作，若不存在缺失，则不需要任何操作，最终得到所有面部区域变换后的特征或未变换后的特征，将所有面部区域变换后的特征和未变换后的特征相加得到区域归一化模块输出的特征。

6.根据权利要求1所述的人脸图像修复的方法，其特征在于，学习各局部面部区域样式和全局面部样式的融合机制为：局部面部区域样式和全局面部样式分别经过一个全连接层处理、利用激化函数对局部面部区域中的对应可学习参数进行处理后作为局部面部区域样式经全连接层处理后的局部权重，全局面部样式经全连接层处理后的全局权重与局部权重之和为1。

7.一种基于面部样式的人脸图像修复的方法，其特征在于，该方法的具体步骤是；

第一步，通过面部样式提取子网络提取破损人脸图像各局部面部区域样式和全局面部样式，构成样式矩阵：

第(1.1)步，将破损人脸图像通过面部样式提取子网络提取破损人脸图像的深度样式特征，具体操作用公式(1)表示：

F_s＝StyleExtractNet(I_in) (1)，

公式(1)中，I_in为破损人脸图像，F_s为破损人脸图像的深度样式特征，StyleExtractNet(·)为面部样式提取子网络；

第(1.2)步，通过对破损人脸图像的深度样式特征逐个面部区域的平均池化提取所有局部面部区域样式，并通过整个面部区域的平均池化提取全局面部样式，局部面部区域样式和全局面部样式的具体操作分别为公式(2)和公式(3)所示：

公式(2)中，

为第i个面部区域的局部面部区域样式，

其中s^local为所有局部面部区域样式，i∈(1，2，...，N)，N为真实人脸图像的人脸解析图中面部区域的数量，S_i为破损人脸图像对应的真实人脸图像的人脸解析图中第i个面部区域的二值掩码，属于该面部区域的像素值为1，不属于该面部区域的像素值为0，S_i∈S，其中S为破损人脸图像对应的真实人脸图像的人脸解析图，

为逐项乘积操作，AvgPool(·)为区域特征平局池化模块，它是在空间维度上的平均池化操作，

公式(3)中，s^global为全局面部样式，sum(·)为空间维度求和操作，

第(1.3)步，通过得到的所有局部面部区域样式和全局面部样式，构建样式矩阵，

公式(4)中，[·]为矩阵，其中S_matrix∈R^256×(N+1)，样式矩阵的前N列表示N个局部面部区域样式，最后一列为全局面部样式，

由此完成了通过面部样式提取子网络构建样式矩阵；

第二步，通过样式矩阵构建面部区域样式对，计算所有面部区域仿射参数的偏移因子和缩放因子：

通过上述第一步获取的样式矩阵，将所有的局部面部区域样式与全局面部样式两两组合形成N个面部区域样式对，对每个面部区域样式对通过局部面部区域样式与全局面部样式自适应融合获取该面部区域对应仿射参数的偏移因子和缩放因子，

第(2.1)步，所有局部面部区域样式与全局面部样式两两组合，获取所有面部区域样式对：

将上述第一步中得到的样式矩阵，所有局部面部区域样式与全局面部样式两两组合，最终得到所有样式对，具体操作用公式(5)表示：

公式(5)中，sd_i为第i个面部区域样式对，sd_i∈sd，其中sd为所有面部区域的样式对，(，)为成对组合操作，

第(2.2)步，通过样式对获取当前样式对所对应区域仿射参数的偏移因子和缩放因子：

获取所有面部区域样式对后，通过自适应融合机制将面部区域样式对中的局部面部区域样式与全局面部样式进行自适应融合得到该面部区域仿射参数的偏移因子和缩放因子，仿射参数的偏移因子和缩放因子具体计算过程用公式(6)和公式(7)表示，

公式(6)(7)中，

和

为第i个面部区域的对应的两个可学习的参数，初始值为0，在训练过程中不断优化，γ_i为第i个面部区域仿射参数的缩放因子，β_i为第i个面部区域仿射参数的偏移因子，Sigmoid(·)为Sigmoid激活函数，Linear(·)为当前面部区域对应的全连接层；

由此，完成了所有面部区域样式对的构建和获取所有面部区域仿射参数的偏移因子和缩放因子；

第三步，通过主干修复子网络的编码器获取破损人脸图像编码后的抽象特征和跳跃连接特征，通过面部区域修复模块对跳跃连接特征进行修复，得到修复后的跳跃连接特征：

将上述第一步的破损人脸图像经过N_d次的下采样操作，同时保留每次下采样后的结果，记为当前下采样后跳跃连接特征，当N_d次下采样操作完成之后得到所有跳跃连接特征，对每个跳跃连接特征，经过面部区域修复模块得到修复后跳跃连接特征，同时将最后一层的跳跃连接特征下采样一次，得到编码后的抽象特征，具体操作如下：

第(3.1)步，通过逐层的下采样操作获取破损人脸图像编码后的抽象特征和所有跳跃连接特征：

将上述第一步的破损人脸图像经过N_d次的下采样操作，得到所有跳跃连接特征，将最后一层的跳跃连接特征下采样一次得到编码后抽象特征，具体操作表示如下公式(8)、(9)、(10)所示：

式中，

为第j次下采样后的跳跃连接特征，

其中F^s为所有跳跃连接特征，j∈(1，2，...，N_d)，Fm为编码后抽象特征，DowmSampleModule(·)为下采样模块，即为下采样层，

由此完成破损人脸图像的编码操作和所有跳跃连接特征的获取操作，即得到破损人脸图像编码后抽象特征和所有跳跃连接特征；

第(3.2)步，对所有跳跃连接特征进行区域特征修复，得到修复后的跳跃连接特征：

将上述第(3.1)步得到的所有跳跃连接特征，通过各自对应的面部区域修复模块，得到各自修复后的跳跃连接特征，具体操作用公式(11)表示：

公式(11)中，

为第j个跳跃连接经面部区域修复模块修复后的跳跃连接特征，RegionInpaintModule(·)为面部区域修复模块，该模块能够仅对存在缺失的面部区域进行特征归一化修复操作，它的具体操作是：

首先，将跳跃连接特征经过1×1的卷积、区域归一化模块和Sigmoid激活函数，得到边界残差特征，具体操作用公式(12)表示：

公式(12)中，

为第j个跳跃连接特征对应的边界残差特征，Conv1(·)为卷积核大小为1×1，步长为1的卷积层，RegionNormBlock(F^r，γ，β)为区域归一化模块，能仅对存在缺失的面部区域特征执行仿射变换操作，其中F^r为区域归一化模块的输入特征，它的具体操作用公式(13)-(15)表示：

公式(13)(14)(15)中，

为实例归一化层的输出特征，也为仿射变换操作的输入特征，M_i为破损人脸图像对应的真实人脸图像的人脸解析图中第i个面部区域中存在破损的掩码，如果该面部区域的中存在破损，则破损位置的像素值为1，剩余的其它像素值为0，

为第i个面部区域特征经仿射变换后的面部区域特征或未经任何操作的面部区域特征，

为区域归一化模块的输出特征，即为输入特征经区域归一化模块修复后的特征，IN(·)为实例归一化层，公式(14)能够仅对存在破损的面部区域特征进行区域归一化操作，

同时，将跳跃连接特征经过区域归一化模块、3×3的卷积、LeakyReLU激活函数和区域归一化模块，得到区域修复特征，具体操作用公式(16)、(17)表示：

公式(16)(17)中，LeakyReLU(·)为LeakyReLU激活函数，

为临时特征变量，

为区域修复特征，Conv3(·)为卷积核大小为3×3，步长为1的卷积层，

最后，将跳跃连接特征的边界残差特征和区域修复特征进行逐项乘积操作，得到修复后的跳跃连接特征，具体操作用公式(18)表示：

公式(18)中，

为修复后的跳跃连接特征，

由此完成破损人脸图像的编码操作和所有修复后的跳跃连接特征的获取操作，即得到破损人脸图像编码后抽象特征和所有修复后的跳跃连接特征；

第四步，通过主干修复子网络的解码器获取最终修复后的破损人脸图像：

对上述(3.1)步得到的破损人脸图像编码后抽象特征和上述(3.2)步骤得到所有修复后的跳跃连接特征，先将抽象特征经过上采样模块得到首次上采样后的抽象特征，接着执行Nd次上采样操作，每次上采样的输入为前一次上采样后的抽象特征与当前上采样所对应的修复后的跳跃连接特征在通道维度拼接后的特征，每次上采样后的输出为此次上采样后的抽象特征，重复执行Nd次后，会得到与破损人脸图像空间维度一致的特征，最后经过一个卷积层对该特征进行通道降维，得到与破损人脸图像通道维度一致的修复后图像，

至此，由上述第一步到第四步的操作构建了基于生成对抗网络的采用局部面部区域样式与全局面部样式自适应融合机制和区域归一化的面部区域修复模块的人脸图像修复方法；

第五步，基于生成对抗网络的采用局部面部区域样式与全局样式自适应融合机制和区域归一化的面部区域修复模块的人脸图像修复方法的训练：

对抗网络的训练采用基于面部样式的生成网络和PatchGAN判别器网络交替训练的策略，首先计算基于面部样式的生成网络的总损失，通过梯度下降算法优化生成网络，之后计算PatchGAN判别器网络的总损失，同样通过梯度下降算法优化判别器网络，通过两者交替的优化，最终使基于面部样式的生成网络的损失函数与PatchGAN判别器网络的损失函数共同收敛，保证基于面部样式的生成网络能够得到修复后的人脸图像。

8.根据权利要求7所述的修复方法，其特征在于，第四步的具体操作是：

第(4.1)步，获得首次上采样后的抽象特征：

将(3.1)步得到的破损人脸图像编码后抽象特征经过上采样层得到首次上采样后的抽象特征，具体操作用公式(19)表示：

公式(19)中，

为首次上采样后的抽象特征，UpSampleModule(·)为上采样模块，即为上采样层，

第(4.2)步，接着执行Nd次上采样操作，得到与破损人脸图像空间维度一致的特征，具体操作用公式(20)表示：

公式(20)中，

为第k次上采样后的抽象特征，Cat(A，B)为将特征A与特征B在通道上拼接操作，

第(4.3)步，对第N_d次上采样后的抽象特征执行一次卷积操作，得到修复后的人脸图像，具体操作用公式(21)所示：

公式(21)中，

为第N_d次上采样后的抽象特征，I_out为修复后的人脸图像，Tanh(·)为Tanh激活函数。

Images