CN114764754B - 一种基于几何感知先验引导的遮挡人脸修复方法 - Google Patents

一种基于几何感知先验引导的遮挡人脸修复方法 Download PDF

Info

Publication number
CN114764754B
CN114764754B CN202210307257.6A CN202210307257A CN114764754B CN 114764754 B CN114764754 B CN 114764754B CN 202210307257 A CN202210307257 A CN 202210307257A CN 114764754 B CN114764754 B CN 114764754B
Authority
CN
China
Prior art keywords
face
image
feature
loss
occlusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210307257.6A
Other languages
English (en)
Other versions
CN114764754A (zh
Inventor
李雅倩
张秀敏
肖存军
李海滨
张文明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanshan University
Original Assignee
Yanshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanshan University filed Critical Yanshan University
Priority to CN202210307257.6A priority Critical patent/CN114764754B/zh
Publication of CN114764754A publication Critical patent/CN114764754A/zh
Application granted granted Critical
Publication of CN114764754B publication Critical patent/CN114764754B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于几何感知先验引导的遮挡人脸修复方法，包括如下步骤：步骤S1、建立人脸语义解析模块；步骤S2、将遮挡人脸图像输入到人脸语义解析模块中以获取人脸语义解析图；步骤S3、将人脸语义解析图、遮挡人脸图像和随机遮挡Mask拼接成5通道的图片，作为步骤S4中修复网络生成器的输入；步骤S4、构造修复网络生成器，得到最终修复图像；步骤S5、修复图像输入到全局判别器和局部判别器；步骤S6、用设计好的方法在公开数据集上进行实验并测试Peak Signal‑to‑Noise Ratio、Structural Similarity Index和Fréchet Inception Distance三个指标。

Description

一种基于几何感知先验引导的遮挡人脸修复方法
技术领域
本发明涉及图像处理技术，尤其是一种基于几何感知先验引导的遮挡人脸修复方法。
背景技术
图像修复技术是利用破损图像中未缺失区域信息，按照一定的修复规则，对图像中被污染或缺失的区域进行像素修补、填充，本质上是对像素之间复杂关系的建模，而这正是深度神经网络的优势所在。目前最具有代表性的生成模型为生成对抗网络GAN(Generative Adversarial Networks)。
现如今随着科技的发展及社会需求，人脸识别技术得到进一步的发展。但人脸图像获取时，不仅会受环境影响，而且存在人脸被遮挡的情况，这些因素都会影响人脸识别的准确率。随着此次席卷全球的肺炎疫情的发展，人们的公共卫生意识大幅提高，外出时佩戴口罩的现象大幅增加，遮挡情况成为所有人脸识别系统无法回避的问题。遮挡的存在一方面造成判别性信息大量丢失，另一方面会导致类内距离增大，类间距离减小，导致人脸识别算法的准确率大幅下降。因此有必要针对遮挡展开研究，尽可能保证遮挡情况下的识别不受影响。
有遮挡的人脸修复任务，不能将修复的重点仅仅集中于视觉上的语义一致性，更应该关注修复人脸的身份认证问题。以人脸识别为目的进行遮挡人脸修复，基本思路是引入与身份识别相关的损失函数。现有的方法提出一个包含LSTM解码器和双通道LSTM解码器的网络进行遮挡检测和修复，引入分类损失使身份信息损失最小化。虽然取得了一定成果，但尚有以下问题未解决：损失函数的计算依据是整个人脸的特征图，但遮挡只占人脸上的一部分区域，因此缺乏针对性；损失函数的计算一般采用L1或L2范数，会使修复后的人脸趋向于数据集的平均人脸，不利于后续识别；修复是一个估计的过程，不可信，修复不可避免，但是目前对修复的可信度缺乏评价方法，导致基于修复的应用缺乏理论支撑。
因此，基于上述问题亟需提出一种更加高效的、以人脸识别为目的的遮挡人脸修复方法。
发明内容
本发明需要解决的技术问题是提供一种基于几何感知先验引导的遮挡人脸修复方法，既能满足视觉上的语义一致性，又能满足修复人脸身份认证的遮挡人脸修复方法。
为解决上述技术问题，本发明所采用的技术方案是：一种基于几何感知先验引导的遮挡人脸修复方法，包括如下步骤：
步骤S1、建立人脸语义解析模块，人脸语义解析模块由BiseNet网络构成，BiseNet网络包括空间分支、上下文分支和特征融合模块；
步骤S2、将遮挡人脸图像输入到人脸语义解析模块中以获取人脸语义解析图；
步骤S3、将人脸语义解析图、遮挡人脸图像和随机遮挡Mask拼接成5通道的图片，作为步骤S4中生成器的输入，为遮挡人脸修复提供人脸几何先验知识；
步骤S4、构造生成器，生成器包括编码器和解码器，编码器根据遮挡人脸图像、随机遮挡Mask与人脸语义解析图生成目标人脸图像的人脸特征向量，根据人脸特征向量提取目标人脸图像中受遮挡区域对应的遮挡特征向量，解码器根据遮挡特征向量，生成遮挡部分图像，得到最终修复图像；
步骤S5、修复图像输入到全局判别器和局部判别器，其中局部判别器包括左眼局部判别器、右眼局部判别器和嘴局部判别器，引入具有左眼、右眼、嘴局部判别器的面部组件损失，并且基于判别器学习到的特征进行进一步的风格监督；
步骤S6、用设计好的方法在公开数据集上进行实验并测试Peak Signal-to-NoiseRatio、Structural Similarity Index和Fréchet Inception Distance三个指标。
本发明技术方案的进一步改进在于：所述步骤S4的具体步骤为：
步骤S41、在编码器中，首先经过一个7*7的卷积，扩大感受野，再经过两个步长为2的4*4卷积进行特征提取，提取的特征记为x1；
步骤S42、使用上下文聚合变换模块增强上下文特征推理和遮挡区域的纹理合成，将输入特征x1分别输入到四个不同空洞率的空洞卷积，使用大的空洞率关注图片的全局特征，小的空洞率关注图片的局部特征，最后通过一个3*3卷积将四个输出特征进行特征融合得到特征x2；
步骤S43、使用门控残差连接单元将输入特征x1与输出特征x2聚合，得到最终的编码器特征x3,其中门控残差连接单元包含一个标准卷积和sigmoid激活函数，该门控残差连接单元减小了遮挡区域内外颜色差异；
步骤S44、连续使用两次倍率为2的关注特征重要性的上采样对特征x3进行解码，得到在空间维度上与输入图像高度和宽度一样大的修复人脸图像。
本发明技术方案的进一步改进在于：所述步骤S43中门控残差连接单元首先通过3*3的标准卷积和sigmoid激活函数，计算空间变异门控值g，然后上下文聚合变换模块通过加权的方式将输入特征x1和学习到的残差特征x2聚集起来得到最终的编码特征x3，特征x3定义如下：
x3＝x1×g+x2×(1-g)。
本发明技术方案的进一步改进在于：所述步骤S5中全局判别器和局部判别器均使用3层步长为2的4*4标准卷积层，且每一层都将特征图的空间大小减少两倍，输出预测图，，预测图的每个像素表示输入图像中N×N遮挡区域的预测为真或假，并计算对抗损失Ladv、重建损失Lrec、感知损失Lper、特征风格损失Lsty、人脸组件损失Lcomp和人脸身份距离保持损失Lid以判定修复的人脸图像是否服从真实人脸图像分布；
全局判别器和局部判别器的总损失函数的公式如下：
L＝λadvLadv+λrecLrec+λperLper+λstyLsty+λcompLcomp+λidLid，
其中，所述Ladv为对抗损失函数；Lrec是重建损失函数；Lper是感知损失函数；Lsty是特征风格损失函数；Lcomp是人脸组件损失函数；Lid是人脸身份距离保持损失函数，λadv、λrec、λper、λsty、λcomp和λid分别为预设的人脸修复网络模型中对抗损失、重建损失、感知损失函数、特征风格损失、人脸组件损失、人脸身份距离保持损失的权重参数。
本发明技术方案的进一步改进在于：所述对抗损失函数Ladv的公式如下：
其中，D表示判别器，z是修复的图像，x是真实图像，σ为降采样和高斯滤波的组合函数，m是对应的二进制掩模。
本发明技术方案的进一步改进在于：所述重建损失函数Lrec的公式如下：
Lrec＝||x-G(x⊙(1-m),m)||1，
其中，x是真实图像，G是生成器，m为对应的二进制掩模，⊙表示像素乘法。
本发明技术方案的进一步改进在于：所述感知损失函数Lper的公式如下：
其中，φi为预训练网络VGG19的第i层特征图，Ni为φi中元素的数量，z是修复图像。
本发明技术方案的进一步改进在于：所述特征风格损失函数Lsty的公式如下：
Lsty＝Ei[||φi(x)Tφi(x)-φi(z)Tφi(z)||1]，
其中，φi为预训练网络VGG19的第i层特征图，x是真实图像，z是修复图像。
本发明技术方案的进一步改进在于：所述人脸组件损失Lcomp的公式如下：
其中ROI是人脸关键组件区域，DROI是关键组件区域判别器，Gram表示矩阵计算，ψ是判别器学习到的多分辨率特征，x是真实图像，z是修复图像，λlocal和λfs分别表示局部判别损失和特征风格损失的权重参数。
本发明技术方案的进一步改进在于：所述人脸身份距离保持损失函数Lid的公式如下：
Lid＝λid||η(z)-η(x)||1
其中，η为人脸特征提取器(本发明中选用ArcFace模型)，λid为人脸身份距离保持损失的权重参数，x是真实图像，z是修复图像。
由于采用了上述技术方案，本发明取得的技术进步是：
1、本发明通过把人脸语义解析图、遮挡人脸图像和随机遮挡Mask拼接为5通道的图像作为生成器的输入，为生成器提供了遮挡区域的面部属性，例如，被遮挡人脸的眼睛形状或嘴的大小，一定程度上提高了修复精度；在遮挡区域面积大时，人脸语义解析图能够提供有效的几何结构信息，显著提高了大面积遮挡区域的修复效果；
2、本发明重新设计了具有上下文推理能力的上下文聚合变换模块，并采用门控残差连接单元，解决了被修复区域与其他区域色彩差异问题，特别地，对于不规则的大面积遮挡人脸，能够保证修复区域与周围图像上下文的结构一致性；
3、本发明使用带有人脸组件损失的判别器，增强了对修复后人脸组件的可靠性和真实性的二次判定，并且应用人脸身份距离保持损失，使修复的结果与真实图像保持较小的距离，显著提高了修复人脸的真实性。
附图说明
图1为本发明的总体结构图；
图2为本发明修复网络生成器结构图；
图3为本发明修复网络判别器结构图；
图4为本发明上下文聚合变换模块结构图；
图5为本发明人脸几何先验生成器结构图。
具体实施方式
一种基于几何感知先验引导的遮挡人脸修复方法，本发明整体结构如图1所示，包括如下步骤：
步骤S1、建立人脸语义解析模块，如图5所示，人脸语义解析网络使用BiseNet网络，此网络包含三个部分：空间分支、上下文分支和特征融合模块。BiseNet网络的空间分支选用ResNet18代替原始的轻量级网络，在参数量增加的可接受范围内，能够提取更精准的人脸语义解析信息。
遮挡的人脸图像分别输入到空间分支和上下文分支，然后特征融合模块进行特征融合，融合后的特征经过8倍上采样得到输出的人脸语义解析图。在空间分支中，输入图像经过3个卷积模块，每个卷积模块中包含一个步长为1卷积核为3*3的标准卷积，数据归一化和ReLU激活函数。在上下文分支中利用ResNet18对输入图像进行4次共32倍的连续下采样，用于提取特征，16倍下采样后的特征和32倍下采样后的特征分别经过全局池化、1*1标准卷积、数据归一化和sigmoid激活函数后与原特征相乘后再相加，并与空间分支输出特征经过特征融合模块特征融合，得到人脸语义解析图。其中特征融合模块先将空间分支和上下文分支的特征进行通道拼接，经过一个标准卷积、数据归一化和ReLU激活函数得到中间层特征，中间层特征经过空间注意力模块再与原始中间层特征相加得到融合后的特征。其中空间注意力模块包括全局池化层、1*1标准卷积层、ReLU激活函数、1*1标准卷积层和sigmoid激活函数；
步骤S2、将遮挡人脸图像输入到人脸语义解析模块中以获取人脸语义解析图；
步骤S3、将人脸语义解析图、遮挡人脸图像和随机遮挡Mask拼接成5通道的图片，作为步骤S4中生成器的输入，为遮挡人脸修复提供人脸几何先验知识，减少了光照条件、化妆等因素对修复效果的影响。
步骤S4、构造生成器，生成器结构如图2所示，生成器包括编码器和解码器，编码器根据遮挡人脸图像、随机遮挡Mask与人脸语义解析图生成目标人脸图像的人脸特征向量，根据人脸特征向量提取目标人脸图像中受遮挡区域对应的遮挡特征向量，解码器根据遮挡特征向量，生成遮挡部分图像，得到最终修复图像；
具体步骤为：
步骤S41、在编码器中，首先经过一个7*7的卷积，扩大感受野，以便后面网络获取更多的信息。再经过两个步长为2的4*4卷积进行特征提取，提取的特征记为x1；
步骤S42、使用上下文聚合变换模块增强上下文特征推理和遮挡区域的纹理合成，本发明使用8个堆叠的上下文聚合变换模块，其中上下文聚合变换模块结构图如图4所示。将输入特征x1分别输入到四个不同空洞率的空洞卷积，具体的，每个上下文聚合变换模块将特征x1分别输入空洞率为1、2、4、8的3*3空洞卷积，对输入特征x1执行不同的转换。使用大的空洞率关注图片的全局特征，小的空洞率关注图片的局部特征，最后通过一个3*3卷积将四个输出特征进行特征融合得到特征x2；
步骤S43、使用门控残差连接单元将输入特征x1与输出特征x2聚合，得到最终的编码器特征x3；本发明在上下文聚合变换模块中引入一个门控残差连接单元，门控残差连接单元包含一个标准卷积和sigmoid激活函数，该门控残差连接单元减小了遮挡区域内外颜色差异。门控残差连接单元首先通过3*3的标准卷积和sigmoid激活函数，计算空间变异门控值g，然后上下文聚合变换模块通过加权的方式将输入特征x1和学习到的残差特征x2聚集起来得到最终的编码特征x3，特征x3定义如下：
x3＝x1×g+x2×(1-g)。
步骤S44、上下文聚合变换模块输出的特征x3通过两次倍率为2的关注特征重要性的上采样(FIFAU)，最后经过一个步长为1的3*3标准卷积，得到最终修复图像。其中FIFAU上采样方式包含两个模块：核生成模块和特征增强模块。核生成模块旨在为每个位置预测一个自适应内核，在输入特征馈入到核生成模块后，PixelShuffle对其进σ行2倍率重排,得到尺寸F1[C/(4σ2),2σH,2σW],为了获得更大的感受野，避免远距离引起的信息不相关的问题，学习到更多的空间信息，FIFAU中使用空洞率为2的3*3卷积，并将通道压缩为Ck,得到的F2尺寸为[Ck,2σH-2,2σW-2]。针对PixelShuffle带来的特征堆叠，本发明使用平均池化，核尺寸为2*2，对F2进行二次特征提取，考虑感受野中所有像素的平均值，且在压缩图像的同时，保持特征不变，将特征尺寸为F2[Ck,2σH-2,2σW-2]编码为F3[Ck,σH,σW],考虑特征增强模块中我们选用的邻域尺寸为N(Fx,kup)，每个像素点需要kup×kup大小的上采样内核，本发明再用一个3×3卷积扩大内核邻域接收范围，使Cm＝k2 up，输出F4[Cm,σH,σW],然后选用softmax函数进行归一化。特征增强模块，对于F上的像素点x＝(i,j),都对应F5上σ个尺寸为kup×kup的内核Wx’,选取以x为中心的正方形邻域N(Fx,kup)作为特征感受野，将内核与局部邻域进行加权和运算，生成逐像素的上采样输出Fout。特征增强定义如下：
步骤S5、修复图像输入到全局判别器和局部判别器，其中局部判别器包括左眼局部判别器、右眼局部判别器和嘴局部判别器，判别器结构如图3所示，本发明引入具有左眼、右眼、嘴局部判别器的面部组件损失，并且基于判别器学习到的特征进行进一步的风格监督。全局判别器和局部判别器均使用3层步长为2的4*4标准卷积层，且每一层都将特征图的空间大小减少两倍，输出预测图，预测图的每个像素表示输入图像中N×N遮挡区域的预测为真或假。计算对抗损失Ladv、重建损失Lrec、感知损失Lper、特征风格损失Lsty、人脸组件损失Lcomp和人脸身份距离保持损失Lid以判定修复的人脸图像是否服从真实人脸图像分布。
本发明应用了三个局部判别器，分别是左眼局部判别器、右眼局部判别器和嘴局部判别器。局部判别器首先用关键组件对齐裁剪关键组件区域，对于每个区域，训练单独的小的局部判别器来区分修复的遮挡区域是否真实，使每个关键组件区域接近自然的面部成分分布。为了保证每个像素修复的精度和视觉上的真实性，选择以下损失函数用来优化修复效果：
全局判别器和局部判别器的总损失函数的公式如下：
L＝λadvLadv+λrecLrec+λperLper+λstyLsty+λcompLcomp+λidLid，
其中，所述Ladv为对抗损失函数；Lrec是重建损失函数；Lper是感知损失函数；Lsty是特征风格损失函数；Lcomp是人脸组件损失函数；Lid是人脸身份距离保持损失函数，λadv、λrec、λper、λsty、λcomp和λid分别为预设的人脸修复网络模型中对抗损失、重建损失、感知损失函数、特征风格损失、人脸组件损失、人脸身份距离保持损失的权重参数。
各个损失函数定义如下：
对抗损失函数Ladv的公式如下：
其中，D表示判别器，z是修复的图像，x是真实图像，σ为降采样和高斯滤波的组合函数，m是对应的二进制掩模(未遮挡区域像素为0，遮挡区域像素为1)。
重建损失函数Lrec的公式如下：
Lrec＝||x-G(x⊙(1-m),m)||1，
其中，x是真实图像，G是生成器，m为对应的二进制掩模(未遮挡区域像素为0，遮挡区域像素为1)，⊙表示像素乘法。
感知损失函数Lper的公式如下：
其中，φi为预训练网络VGG19的第i层特征图，Ni为φi中元素的数量，z是修复图像。
特征风格损失函数Lsty的公式如下：
Lsty＝Ei[||φi(x)Tφi(x)-φi(z)Tφi(z)||1]，
其中，φi为预训练网络VGG19的第i层特征图，x是真实图像，z是修复图像。
人脸组件损失Lcomp的公式如下：
其中ROI是人脸关键组件区域，DROI是关键组件区域判别器，Gram表示矩阵计算，ψ是判别器学习到的多分辨率特征，x是真实图像，z是修复图像，λlocal和λfs分别表示局部判别损失和特征风格损失的权重参数。
所述人脸身份距离保持损失函数Lid的公式如下：
Lid＝λid||η(z)-η(x)||1
其中，η为人脸特征提取器(本发明中选用ArcFace模型)，λid为人脸身份距离保持损失的权重参数，x是真实图像，z是修复图像。
步骤S6、了验证本发明的有效性，在公共数据集CelebA-HQ上进行实验，数据集图像分辨率为1024*1024，为了方便训练，减少图像背景对遮挡人脸修复效果的影响及现有设备的局限性，本发明将数据集中图像进行人脸识别、脸部裁剪并重新缩放图像分辨率为160*160大小，CelebA-HQ数据集共30000张人脸图像，取28000张人脸图像训练网络，2000张人脸图像进行测试，在测试集上测试Peak Signal-to-Noise Ratio(PSNR)、StructuralSimilarity Index(SSIM)和Fréchet Inception Distance(FID)三个指标。
本发明提出的方法既能满足视觉上的语义一致性，又能满足修复人脸身份认证的需求，有效提高了遮挡人脸修复的精度。
本文应用了具体实例对本发明原理及实施过程进行了阐述，以上实例的说明只是为了帮助更好地理解本发明的方法以及核心思想，并不是对本发明方法的限制；应当指出，对于本技术领域的一般技术人员，依据本发明原理，做出的没有创造性的改进，均应视为本发明的保护范围。

Claims (9)

1.一种基于几何感知先验引导的遮挡人脸修复方法，其特征在于：包括如下步骤：
步骤S1、建立人脸语义解析模块，人脸语义解析模块由BiseNet网络构成，BiseNet网络包括空间分支、上下文分支和特征融合模块；
步骤S2、将遮挡人脸图像输入到人脸语义解析模块中以获取人脸语义解析图；
步骤S3、将人脸语义解析图、遮挡人脸图像和随机遮挡Mask拼接成5通道的图片，作为步骤S4中修复网络生成器的输入，为遮挡人脸修复提供人脸几何先验知识；
步骤S4、构造修复网络生成器，修复网络生成器包括编码器和解码器，编码器根据遮挡人脸图像、随机遮挡Mask与人脸语义解析图生成目标人脸图像的人脸特征向量，根据人脸特征向量提取目标人脸图像中受遮挡区域对应的遮挡特征向量，解码器根据遮挡特征向量，生成遮挡部分图像，得到最终修复图像；
步骤S4的具体步骤为：
步骤S41、在编码器中，首先经过一个7*7的卷积，扩大感受野，再经过两个步长为2的4*4卷积进行特征提取，提取的特征记为x1；
步骤S42、使用上下文聚合变换模块增强上下文特征推理和遮挡区域的纹理合成，将输入特征x1分别输入到四个不同空洞率的空洞卷积，使用大的空洞率关注图片的全局特征，小的空洞率关注图片的局部特征，最后通过一个3*3卷积将四个输出特征进行特征融合得到特征x2；
步骤S43、使用门控残差连接单元将输入特征x1与输出特征x2聚合，得到最终的编码器特征x3,其中门控残差连接单元包含一个标准卷积和sigmoid激活函数，该门控残差连接单元减小了遮挡区域内外颜色差异；
步骤S44、连续使用两次倍率为2的关注特征重要性的上采样对特征x3进行解码，得到在空间维度上与输入图像高度和宽度一样大的修复人脸图像；
步骤S5、修复图像输入到全局判别器和局部判别器，其中局部判别器包括左眼局部判别器、右眼局部判别器和嘴局部判别器，引入具有左眼、右眼、嘴局部判别器的面部组件损失，并且基于判别器学习到的特征进行进一步的风格监督；
步骤S6、用设计好的方法在公开数据集上进行实验并测试Peak Signal-to-NoiseRatio、Structural Similarity Index和Fréchet Inception Distance三个指标。
2.根据权利要求1所述的一种基于几何感知先验引导的遮挡人脸修复方法，其特征在于：所述步骤S43中门控残差连接单元首先通过3*3的标准卷积和sigmoid激活函数，计算空间变异门控值g，然后上下文聚合变换模块通过加权的方式将输入特征x1和学习到的残差特征x2聚集起来得到最终的编码特征x3，特征x3定义如下：
x3＝x1×g+x2×(1-g)。
3.根据权利要求1所述的一种基于几何感知先验引导的遮挡人脸修复方法，其特征在于：所述步骤S5中全局判别器和局部判别器均使用3层步长为2的4*4标准卷积层，且每一层都将特征图的空间大小减少两倍，输出预测图，预测图的每个像素表示输入图像中N×N遮挡区域的预测为真或假，并计算对抗损失Ladv、重建损失Lrec、感知损失Lper、特征风格损失Lsty、人脸组件损失Lcomp和人脸身份距离保持损失Lid以判定修复的人脸图像是否服从真实人脸图像分布；
全局判别器和局部判别器的总损失函数的公式如下：
L＝λadvLadv+λrecLrec+λperLper+λstyLsty+λcompLcomp+λidLid，
其中，所述Ladv为对抗损失函数；Lrec是重建损失函数；Lper是感知损失函数；Lsty是特征风格损失函数；Lcomp是人脸组件损失函数；Lid是人脸身份距离保持损失函数，λadv、λrec、λper、λsty、λcomp和λid分别为预设的人脸修复网络模型中对抗损失、重建损失、感知损失函数、特征风格损失、人脸组件损失、人脸身份距离保持损失的权重参数。
4.根据权利要求3所述的一种基于几何感知先验引导的遮挡人脸修复方法，其特征在于：所述对抗损失函数Ladv的公式如下：
其中，D表示判别器，z是修复的图像，x是真实图像，σ为降采样和高斯滤波的组合函数，m是对应的二进制掩模。
5.根据权利要求3所述的一种基于几何感知先验引导的遮挡人脸修复方法，其特征在于：所述重建损失函数Lrec的公式如下：
Lrec＝||x-G(x⊙(1-m),m)||1，
其中，x是真实图像，G是修复网络生成器，m为对应的二进制掩模，⊙表示像素乘法。
6.根据权利要求3所述的一种基于几何感知先验引导的遮挡人脸修复方法，其特征在于：所述感知损失函数Lper的公式如下：
其中，φi为预训练网络VGG19的第i层特征图，Ni为φi中元素的数量，z是修复图像。
7.根据权利要求3所述的一种基于几何感知先验引导的遮挡人脸修复方法，其特征在于：所述特征风格损失函数Lsty的公式如下：
Lsty＝Ei[||φi(x)Tφi(x)-φi(z)Tφi(z)||1]，
其中，φi为预训练网络VGG19的第i层特征图，x是真实图像，z是修复图像。
8.根据权利要求3所述的一种基于几何感知先验引导的遮挡人脸修复方法，其特征在于：所述人脸组件损失Lcomp的公式如下：
其中ROI是人脸关键组件区域，DROI是关键组件区域判别器，Gram表示矩阵计算，ψ是判别器学习到的多分辨率特征，x是真实图像，z是修复图像，λlocal和λfs分别表示局部判别损失和特征风格损失的权重参数。
9.根据权利要求3所述的一种基于几何感知先验引导的遮挡人脸修复方法，其特征在于：所述人脸身份距离保持损失函数Lid的公式如下：
Lid＝λid||η(z)-η(x)||1，
其中，η为人脸特征提取器，λid为人脸身份距离保持损失的权重参数，x是真实图像，z是修复图像。
CN202210307257.6A 2022-03-25 2022-03-25 一种基于几何感知先验引导的遮挡人脸修复方法 Active CN114764754B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210307257.6A CN114764754B (zh) 2022-03-25 2022-03-25 一种基于几何感知先验引导的遮挡人脸修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210307257.6A CN114764754B (zh) 2022-03-25 2022-03-25 一种基于几何感知先验引导的遮挡人脸修复方法

Publications (2)

Publication Number Publication Date
CN114764754A CN114764754A (zh) 2022-07-19
CN114764754B true CN114764754B (zh) 2024-04-09

Family

ID=82365044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210307257.6A Active CN114764754B (zh) 2022-03-25 2022-03-25 一种基于几何感知先验引导的遮挡人脸修复方法

Country Status (1)

Country Link
CN (1) CN114764754B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116403269B (zh) * 2023-05-17 2024-03-26 智慧眼科技股份有限公司 一种遮挡人脸解析方法、系统、设备及计算机存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886167A (zh) * 2019-02-01 2019-06-14 中国科学院信息工程研究所 一种遮挡人脸识别方法及装置
CN111127308A (zh) * 2019-12-08 2020-05-08 复旦大学 用于局部遮挡下单样本人脸识别的镜像特征重排修复方法
CN112541866A (zh) * 2020-11-24 2021-03-23 同济大学 一种基于进化式生成对抗网络的人脸图像修复模型
CN112949553A (zh) * 2021-03-22 2021-06-11 陈懋宁 基于自注意力级联生成对抗网络的人脸图像修复方法
CN113066171A (zh) * 2021-04-20 2021-07-02 南京大学 一种基于三维人脸形变模型的人脸图像生成方法
CN113808031A (zh) * 2021-07-05 2021-12-17 重庆师范大学 一种基于LSK-FNet模型的图像修复方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886167A (zh) * 2019-02-01 2019-06-14 中国科学院信息工程研究所 一种遮挡人脸识别方法及装置
CN111127308A (zh) * 2019-12-08 2020-05-08 复旦大学 用于局部遮挡下单样本人脸识别的镜像特征重排修复方法
CN112541866A (zh) * 2020-11-24 2021-03-23 同济大学 一种基于进化式生成对抗网络的人脸图像修复模型
CN112949553A (zh) * 2021-03-22 2021-06-11 陈懋宁 基于自注意力级联生成对抗网络的人脸图像修复方法
CN113066171A (zh) * 2021-04-20 2021-07-02 南京大学 一种基于三维人脸形变模型的人脸图像生成方法
CN113808031A (zh) * 2021-07-05 2021-12-17 重庆师范大学 一种基于LSK-FNet模型的图像修复方法

Also Published As

Publication number Publication date
CN114764754A (zh) 2022-07-19

Similar Documents

Publication Publication Date Title
CN108520503B (zh) 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法
CN111047548B (zh) 姿态变换数据处理方法、装置、计算机设备和存储介质
Yan et al. Fine-grained attention and feature-sharing generative adversarial networks for single image super-resolution
CN110175986B (zh) 一种基于卷积神经网络的立体图像视觉显著性检测方法
CN107977932A (zh) 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法
CN107154023A (zh) 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
CN112837234B (zh) 一种基于多列门控卷积网络的人脸图像修复方法
Lu et al. Gray2colornet: Transfer more colors from reference image
CN113283444B (zh) 一种基于生成对抗网络的异源图像迁移方法
CN109949222A (zh) 基于语义图的图像超分辨率重建方法
CN110766623A (zh) 一种基于深度学习的立体图像修复方法
CN111612718A (zh) 一种引入注意力机制的人脸图像修复方法
CN111861945A (zh) 一种文本引导的图像修复方法和系统
CN115018727A (zh) 一种多尺度图像修复方法、存储介质及终端
CN114463759A (zh) 一种基于无锚框算法的轻量化文字检测方法及装置
CN113792641A (zh) 一种结合多谱注意力机制的高分辨率轻量级的人体姿态估计方法
CN115484410A (zh) 基于深度学习的事件相机视频重建方法
CN114764754B (zh) 一种基于几何感知先验引导的遮挡人脸修复方法
CN113112416A (zh) 一种语义引导的人脸图像修复方法
CN114093013B (zh) 一种深度伪造人脸逆向溯源方法及系统
Liu et al. Facial image inpainting using multi-level generative network
Gao A method for face image inpainting based on generative adversarial networks
Liu et al. Multi-Scale Underwater Image Enhancement in RGB and HSV Color Spaces
CN117037290A (zh) 一种基于全局上下文结构差异的人脸伪造检测方法
CN116631064A (zh) 基于关键点与网格顶点互补增强的3d人体姿态估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant