CN114913588B - 一种应用于复杂场景下的人脸图像修复及识别方法 - Google Patents

一种应用于复杂场景下的人脸图像修复及识别方法 Download PDF

Info

Publication number
CN114913588B
CN114913588B CN202210698000.8A CN202210698000A CN114913588B CN 114913588 B CN114913588 B CN 114913588B CN 202210698000 A CN202210698000 A CN 202210698000A CN 114913588 B CN114913588 B CN 114913588B
Authority
CN
China
Prior art keywords
face
image
face image
edge
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210698000.8A
Other languages
English (en)
Other versions
CN114913588A (zh
Inventor
吴立军
孙海鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202210698000.8A priority Critical patent/CN114913588B/zh
Publication of CN114913588A publication Critical patent/CN114913588A/zh
Application granted granted Critical
Publication of CN114913588B publication Critical patent/CN114913588B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Geometry (AREA)
  • Collating Specific Patterns (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种应用于复杂场景下的人脸图像修复及识别方法，包括以下步骤：S1：获取人脸图像边缘；S2：从输入的局部污染人脸图像中提取出不完整的人脸边缘图；S3：通过一个生成对抗网络对人脸图像的边缘进行预测，得到一个补全的人脸边缘图；S4：通过生成对抗网络结合局部污染人脸图像和补全的人脸边缘预测图生成完整的人脸图像；S5：通过改进后的VGG16网络获取修复后人脸图像中的特征信息；S6：使用加权欧氏距离计算的方法，将上述特征信息与数据库中图像的特征信息进行比对，进而识别出身份信息。本方法可以有效的实现对在线输入的局部污染人脸图像的修复与识别，识别准确率高，并且每张图像的处理时间短。

Description

一种应用于复杂场景下的人脸图像修复及识别方法
技术领域
本发明涉及一种基于生成对抗网络的局部污染人脸图像修复与识别方法，尤其是涉及一种应用于复杂场景下的人脸图像修复及识别方法。
背景技术
目前人脸图像修复技术不仅有潜力帮助提高目标检测、分类、识别等计算机视觉任务的精度，同时在现实生活中具有很高的应用价值。传统的图像修复算法在含有狭长的破损区域的纹理图像上获得了不错的效果，但是针对精度和语义要求更高的人脸图像没有良好的修复效果。近年来，伴随着深度学习和生成对抗网络技术的进步，有很多基于深度学习的人脸图像修复方法被提出，这些方法能够对图像的一定范围污染有良好的修复效果，但是仍然存在着一定的不足，例如修复网络无法兼顾图像的全局一致性和局部一致性、修复结果人为痕迹明显、修复后的识别准确率较低等。
因此，希望有一种技术方案来解决或至少减轻现有技术的上述不足。
发明内容
本发明提供了一种应用于复杂场景下的人脸图像修复及识别方法，解决了基于生成对抗网络的人脸图像修复的问题，其技术方案如下所述：
一种应用于复杂场景下的人脸图像修复及识别方法，包括以下步骤：
S1：获取人脸前景图，使用基于卷积神经网络的DeepCut来实现自动提取图像中的人脸对象；
S2：通过sobel算法，从人脸对象的基础上进行人脸边缘轮廓的提取，获取不完整的人脸边缘图；
S3：将不完整的人脸边缘图通过一个生成对抗网络，对人脸边缘图像进行补全；
S4：通过生成对抗网络结合局部污染人脸图像和补全的人脸边缘预测图生成完整的人脸图像；
S5：通过改进后的VGG16网络获取修复后人脸图像中的特征信息，所述改进后的VGG16网络是将VGG16的顶层替换成全连接层，使用三元组损失函数；
S6：使用加权欧氏距离计算的方法，将上述特征信息与数据库中图像的特征信息进行比对，进而识别出身份信息。
进一步的，步骤S3中，生成对抗网络的训练过程如下：首先使用DeepCut获取人脸的不完整边缘图，然后通过边缘补全模块得到不完整的边缘图；然后经过边缘预测模块得到预测的边缘图；最后经过人脸修复模块进行完整的人脸修复。
进一步的，步骤S3中，生成对抗网络包括生成器和判别器，所述判别器将输入的人脸图像映射到一个矩阵中，所述生成器以U-Net模型为基础。
进一步的，步骤S5中，设定三张图片分别命名为固定图片a，正样本图片p和负样本图片n，图片a和图片p为一对正样本对，图片a和图片n为一对负样本对，应用的三元组损失函数如下；
Figure BDA0003703477950000021
其中三元组anchor、negative、positive，分别用α，β，γ表示，分别对应一个样本，α是从训练数据集中随机进行选取的一个样本，而γ是选取一个和α同一类中的样本，β是选取一个和α不在同一类中的样本，α为γ和β之间的间隔，xi表示样本的特征向量，所述三元组损失函数目标就是让γ和α之间的距离尽可能小，而使得γ与β之间尽可能大。
进一步的，步骤S6中，使用加权欧氏距离计算的方法包括以下步骤：
S61：首先通过掩码数据得到所修复位置的区域，得到的零值部分表示图像的原始部分，其它表示被掩码所污染的区域；
设修复后的人脸图像的特征向量如下：
a＝[a1,a2,...,a58,a59,a60,...,a1023,a1024]
对应的掩码数据的特征向量如下：
b＝[0,0,...,b58,b59,b60,...,0,0]
特征向量中只有三个非零元素，待对比的人脸图像特征向量如下：
c＝[c1,c2,...,c58,c59,c60,...,c1023,c1024]；
S62：然后将该区域和待测人脸图像特征向量的对应部分乘以小于1的权重系数；
提取出向量b′中非0的部分，将特征向量a和c对应的部分乘以权重系数，那么能够定义特征向量a′和c′如下所示：
a′＝[a1,a2,...,λa58,λa59,λa60,...,a1023,a1024]
c′＝[c1,c2,...,λc58,λc59,λc60,...,c1023,c1024]；
接下来计算修复后人脸和待测人脸特征向量的欧氏距离，即计算出特征向量a′和c′的欧氏距离。
判别器分为全局判别器和局部判别器，其中全局判别器关注图像的整体层面，局部判别器聚焦于掩码遮挡的位置。
每个判别器的损失函数如下所述，设带掩码遮挡的污染图像为Iin，原始无污染的完整图像为Igt，掩码图像图像为Mi，边缘补全网络生成的边缘补全图为Epred，人脸修复网络生成的结果图像为Ipred＝G2(Epred,Iin)，Mi表示掩码图像；其中重构损失如下式所示，对污染区域和脸部特征区域加大了惩罚的力度：
Figure BDA0003703477950000031
接下来为了更好地对人脸特征加以约束，增加一个基于VGG16的特征损失如下式所示，其中ψ表示使用预训练的VGG16模型的输出：
Lp＝||ψ(Ipred)-ψ(Igt)||1+||ψ(Iin)-ψ(Igt)||1
判别器实现的功能是来衡量生成修复人脸图像与真实人脸图像之间的差异，判别器的损失函数的设计引入了梯度惩罚机制，其中每个判别器的损失函数如下式所示：
Figure BDA0003703477950000041
其中Di(i＝1,...,5)表示图3-8中的5个不同判别器，Ci表示获取图像中不同区域的裁剪操作，
Figure BDA0003703477950000042
表示插值，Ei表示将输入内容映射成为矩阵，例如
Figure BDA0003703477950000043
表示将图像Ipred映射成为矩阵，
Figure BDA0003703477950000044
表示梯度，Pg表示生成数据的分布，Pi表示输入数据的分布，γ设置为10，
Figure BDA0003703477950000045
表示生成器G2生成图像的分布，所以生成器G2的对抗损失如下：
Figure BDA0003703477950000046
人脸的结构拥有一定的对称性，即左右部分之间的差异性较小，同时数据集中的人脸图像基本都为正脸图像，所以基于这种思想，在生成器损失函数中增加了一种镜像损失，用于提高修复图像中的平衡性，H表示遮挡区域的高，W表示遮挡区域的宽，具体的表达式如下：
Figure BDA0003703477950000047
i和j就是函数中的变量，没有实际意义，结合特征损失、重构损失与对抗损失，对于生成器G2的最终损失函数如下所示：
LG2＝λrLr+λpLp+λsLs+λadvLadv
其中λr、λp、λs、λadv为权重系数，它们的值分别为10、1、1、1。
一种应用于复杂场景下的人脸图像修复及识别装置，其特征在于：包括人脸图像前景获取模块、边缘提取模块、对抗模型获取模块、边缘预测模块、人脸图像修复模块、特征提取模块以及计算模块；进一步的；
人脸图像前景获取模块用于从输入图像中提取前景内容；
边缘提取模块用于提取出不完整的人脸边缘图像；
对抗模型获取模块用于获取经过训练的对抗模型；
边缘预测模块用于对不完整的人脸边缘图像进行补全；
人脸图像修复模块用于不完整的人脸图像进行修复；
特征提取模块用于对所述修复后的人脸图像进行特征提取；
计算模块用于将所述图像特征输入至所述经过训练的对抗模型中从而获取处理信息。
所述应用于复杂场景下的人脸图像修复及识别方法，可以实现对对在线输入的局部污染人脸图像的修复与识别，识别准确率在90％以上，并且每张图像的处理时间在500ms以内。
附图说明
图1是所述应用于复杂场景下的人脸图像修复及识别方法的流程示意图；
图2是获取不完整的人脸边缘图的流程示意图；
图3是生成对抗网络的训练过程的流程示意图；
图4是通过生成对抗网络对人脸边缘图像进行补全的流程示意图；
图5是生成完整的人脸图像的流程示意图；
图6是获取人脸面部特征的流程示意图；
图7是使用加权欧氏距离计算的方法进行比对识别身份信息的流程示意图；
图8是所述对抗模型的框架示意图；
图9是判别器的框架示意图；
图10是能够实现应用于复杂场景下的人脸图像修复及识别方法的电子设备的结构示意图。
具体实施方式
以下通过实施例的具体实施方式再对本发明作进一步的详细说明。但不应当将此理解为本发明上述主题的范围仅限于以下的实例。在不脱离本发明的精神和原则之内做的任何修改，以及根据本领域普通技术知识和惯用手段做出的等同替换或者改进，均应包括在本发明的保护范围内。
如图1所示，所述应用于复杂场景下的人脸图像修复及识别方法，包括以下步骤：
S1：获取人脸前景图：使用基于卷积神经网络的DeepCut来实现自动提取图像中的人脸对象。
S2：获取不完整的人脸边缘图：
这里的不完整指的是人脸图像受到遮挡，提取出的人脸轮廓无法闭合。在DeepCut处理后得到的人脸对象基础上，使用sobel算法进行边缘轮廓的提取，示意图如图2所示。
S3：通过一个生成对抗网络对人脸边缘图像进行补全：整个网络以WGAN-GP为基础，生成对抗网络由生成器和判别器两部分组成，其中判别器的结构和PatchGAN相一致，将输入的人脸图像映射到一个矩阵中，其中矩阵中的数字代表输入图像的一部分的真实性，这样使得整个网络更注重图像的局部特征。生成器采用U-Net模型为基础，如图4所示，它是一个基于VGG-Net的全连接网络，包括编码器和解码器。网络训练后的结果为一个预训练模型，这个模型可以直接进行调用，对不完整的人脸边缘图像进行补全。在本方法的实验过程中，采用的人脸数据集是的开放数据集，整个数据集一共包括1万多个名人的202599张人脸照片。具体过程为：首先使用DeepCut获取人脸的不完整边缘图，然后通过边缘补全模块得到预测边缘，最后通过人脸修复模块进行完整的人脸修复。Adam优化器结合自适应学习率的梯度下降算法和动量梯度下降算法的优点，既能适应稀疏梯度，又能缓解梯度震荡的问题。本方法使用Adam对网络进行优化，批量大小的值为64，即每批数据量为64张图片。学习率是位于损失函数梯度前，更新网络权重的超参数,表示了每次参数更新的幅度大小,在边缘补全模块和人脸修复模块中学习率设置为0.0002。训练过程如图3所示，训练完成后将得到人脸图像补全的预训练模型。
S4：通过生成对抗网络结合局部污染人脸图像和人脸边缘预测图生成完整的人脸图像，示意图如图5所示；
S5：通过改进后的VGG16网络获取修复后人脸图像中的特征信息：本方法移除VGG16的顶层，然后添加一个全连接层，它的作用为将图像转换成特征向量。通过训练映射函数，将人脸图像映射为矩阵更加方便计算，获得256维的人脸面部特征。
网络结构如图6所示，另外在原始的VGG16网络中采用的是SOFTMAX作为损失函数，SOFTMAX函数能将一个含任意实数的K维向量z“压缩”到另一个K维实向量中，使得每一个元素的范围都在(0,1)之间，这种方法来决策边界具有类间边界模糊的问题，简单的SOFTMAX损失函数不能直接满足真实场景中人脸识别的需要，本方法使用三元组损失函数将其替代，进而更好的学习人脸特征表达，三元组损失为最后整个网络的损失函数，三张图片分别命名为固定图片(Anchor)a，正样本图片(Positive)p和负样本图片(Negative)n。图片a和图片p为一对正样本对，图片a和图片n为一对负样本对。三元组损失函数如下；
Figure BDA0003703477950000071
其中三元组anchor、negative、positive，分别用α，β，γ表示。三者都对应一个样本，只是选择的策略有所不同。其中α是从训练数据集中随机进行选取的一个样本，而γ的含义是选取一个和α同一类中的样本，第三个β含义是选取一个和α不在同一类中的样本，α为γ和β之间的间隔，xi表示样本的特征向量，三元损失学习的目标就是让γ和α之间的距离尽可能小，而使得γ与β之间尽可能大。
S6：使用加权欧氏距离计算的方法，将上述特征信息与数据库中图像的特征信息进行比对识别出身份信息。根据掩码数据获取上一步模型修复区域的位置信息，在修复后的图像对应区域进行标记，然后对修复后的特征向量进行调整，降低修复区域的权重值，最后计算特征向量的欧式距离；根据所述欧氏距离差异调整所述对抗模型中的学习率。具体来说：
首先通过掩码数据得到所修复位置的区域，因为掩码是二值图像，非零部分代表污染，零部分无污染，经过卷积、池化等计算后，零值部分仍将保持零值，其他值将处理为一个正数。因此，最终得到的零值部分表示图像的原始部分，其它表示被掩码所污染的区域。然后将该区域和待测人脸图像特征向量的对应部分乘以小于1的权重系数，接下来计算修复后人脸和待测人脸特征向量的欧氏距离。示意图如图7所示，算法过程如下：
设修复后的人脸图像的特征向量如下：
a＝[a1,a2,...,a58,a59,a60,...,a1023,a1024]
对应的掩码数据的特征向量如下：
b＝[0,0,...,b58,b59,b60,...,0,0]
特征向量中只有三个非零元素，待对比的人脸图像特征向量如下：
c＝[c1,c2,...,c58,c59,c60,...,c1023,c1024]
接下提取出向量b′中非0的部分，将特征向量a和c对应的部分乘以权重系数，那么可定义特征向量a′和c′如下所示：
a′＝[a1,a2,...,λa58,λa59,λa60,...,a1023,a1024]
c′＝[c1,c2,...,λc58,λc59,λc60,...,c1023,c1024]
最后计算出特征向量a′和c′的欧氏距离，并计算其差值是否小于阈值w，如果超过阈值，则两张图中不是同一个人，反之则认为是同一个人。
本发明可以实现对实时在线输入的局部污染人脸图像进行处理，识别准确率达到近90％，并且每个请求的处理时间在500ms以内。
在本实施例中，基于生成对抗网络的人脸图像修复与识别方法包括：训练生成对抗网络得到一个预训练模型。如图8所示，在本实施例中，预训练模型包括：
边缘补全模块、边缘预测模块和人脸修复模块。
局部污染人脸图像经过边缘补全模块，得到不完整的边缘图；然后经过边缘预测模块得到预测的边缘图；最后经过人脸修复模块完成生成的人脸图像。
所述预训练模型需要获取真实人脸数据集，使用真实人脸数据集对所述对抗模型进行预训练，在获取训练集后，使用训练集对已经经过预训练的生成对抗模型继续进行训练。
下面以举例的方式对本申请的应用于复杂场景下的人脸图像修复及识别方法进行进一步阐述，可以理解的是，该举例并不构成对本申请的任何限制。
在本实施例中，硬件平台选用Dell Precision T7920塔式工作站，使用Python语言进行编程。
在本实施例中，应用于复杂场景下的人脸图像修复及识别方法进一步包括如下前置步骤：图像预处理，当接收到局部污染的人脸图像后，对其进行预处理为了更好地提取特征。
获取人脸图像的边缘信息；
通过基于卷积网络的DeepCut方法获取输入域图像中不完整的人脸边缘图；
将不完整的人脸特征图作为对抗模型的函数GAN()的输入。
将补全的人脸边缘图和原始图像共同作为人脸修复模型中函数GAN_GP()的输入。
在传统VGG16模型的基础上，引入了三元组损失替代原来的损失函数，另外引入了加权欧氏距离对比的方法进行优化，使用改进后的VGG16网络获取人脸中的特征信息；
结合掩码图像对修复后的图像与数据库中待比较的图像进行加权欧式距离的计算。
判别器返回对该动作的判别值(动作优良程度)，
模型根据返回的值对对抗模型中的学习率进行调整。
具体而言，生成对抗模型由生成器与判别器组成，将上述局部污染的人脸图像作为输入，以真实的完整图像作为样本，输入生成子图像。具体地，生成器从先验分布(即真实图像)中获取样本，并生成表示完整无污染的图像G。判别器从数据集和生成器中提取两个样本，并学习如何区分它们。使用改进的WGAN-GP对生成器和判别器进行训练，使生成器学习匹配经验分布，并最终输出有效预测图像。
由于传统的生成对抗模型不易收敛，训练不稳定，本发明采用多判别器的训练方式。首先，判别器网络分为全局判别器和局部判别器。其中全局判别器关注着图像的整体层面，局部判别器聚焦于掩码遮挡的位置。对于人脸生成任务，面部五官特征的修复质量在很大程度上影响整个人脸图像的真实性，然而如果只引导网络将重点放在受污染的小区域上，那么仅仅依靠全局判别器和污染区域的局部判别器是不够的。所以为了增强人脸细节特征，本节引入一种基于人脸五官特征的多判别器，如图9所示。判别器的结构参考PatchGAN，将输入的人脸图像映射到一个矩阵中，其中每个元素代表输入图像的一部分的真实性，这样网络更注重图像的局部特征。训练的过程中首先通过ESR算法在提取面部特征同时对眼睛、嘴巴、鼻子的位置进行标记，然后生成四个固定大小的窗口来裁剪。之后将修复后的完整人脸图像和原始无污染图像的面部特征区域分别输入到相应的判别器中进行判断。通过多判别器的使用，生成器可以学习面部的多个特定特征，进一步提高对污染区域的修复效果。此外，由于判别器仅在训练过程中工作，所以多判别器的添加并不会影响实际修复时的效率。具体而言每个判别器的损失函数如下所述，
设带掩码遮挡的污染图像为Iin，原始无污染的完整图像为Igt，掩码图像图像为Mi，边缘补全网络生成的边缘补全图为Epred，人脸修复网络生成的结果图像为Ipred＝G2(Epred,Iin)，Mi表示掩码图像；其中重构损失如下式所示，对污染区域和脸部特征区域加大了惩罚的力度：
Figure BDA0003703477950000111
接下来为了更好地对人脸特征加以约束，增加一个基于VGG16的特征损失如下式所示，其中ψ表示使用预训练的VGG16模型的输出：
Lp＝||ψ(Ipred)-ψ(Igt)||1+||ψ(Iin)-ψ(Igt)||1
判别器实现的功能是来衡量生成修复人脸图像与真实人脸图像之间的差异，判别器的损失函数的设计引入了梯度惩罚机制，其中每个判别器的损失函数如下式所示：
Figure BDA0003703477950000112
其中Di(i＝1,...,5)表示图3-8中的5个不同判别器，Ci表示获取图像中不同区域的裁剪操作，
Figure BDA0003703477950000113
表示插值，Ei表示将输入内容映射成为矩阵，例如
Figure BDA0003703477950000114
表示将图像Ipred映射成为矩阵，
Figure BDA0003703477950000115
表示梯度，Pg表示生成数据的分布，Pi表示输入数据的分布，γ设置为10，
Figure BDA0003703477950000116
表示生成器G2生成图像的分布，所以生成器G2的对抗损失如下：
Figure BDA0003703477950000117
人脸的结构拥有一定的对称性，即左右部分之间的差异性较小，同时数据集中的人脸图像基本都为正脸图像，所以基于这种思想，在生成器损失函数中增加了一种镜像损失，用于提高修复图像中的平衡性，H表示遮挡区域的高，W表示遮挡区域的宽，具体的表达式如下：
Figure BDA0003703477950000121
i和j就是函数中的变量，没有实际意义，结合特征损失、重构损失与对抗损失，对于生成器G2的最终损失函数如下所示：
Figure BDA0003703477950000122
其中λr、λp、λs、λadv为权重系数，它们的值分别为10、1、1、1。
在本实施例中，本申请首先进人脸图像中边缘的预测，结合边缘预测结果与生成对抗网络对局部污染图像进行修复，然后使用改进后的VGG16网络进行特征提取，引入加权欧氏距离更准确的对不同图像之间的身份信息进行对比。
本申请还提供了一种应用于复杂场景下的人脸图像修复及识别装置，包括人脸图像前景获取模块、边缘提取模块、对抗模型获取模块、边缘预测模块、人脸图像修复模块、特征提取模块以及计算模块；在本实施例中，
人脸图像前景获取模块用于从输入图像中提取前景内容；
边缘提取模块用于提取出不完整的人脸边缘图像；
对抗模型获取模块用于获取经过训练的对抗模型；
边缘预测模块用于对不完整的人脸边缘图像进行补全；
人脸图像修复模块用于不完整的人脸图像进行修复；
特征提取模块用于对所述修复后的人脸图像进行特征提取；
计算模块用于将所述图像特征输入至所述经过训练的对抗模型中从而获取处理信息。
需要说明的是，前述对方法实施例的解释说明也适用于本实施例的系统，此处不再赘述。
本申请还提供了一种电子设备，包括存储器、处理器以及存储在存储器中并能够在处理器上运行的计算机程序，处理器执行计算机程序时实现如上的应用于复杂场景下的人脸图像修复及识别方法。
本申请还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时能够实现如上的应用于复杂场景下的人脸图像修复及识别方法。
图10是能够实现根据本申请一个实施例提供的应用于复杂场景下的人脸图像修复及识别方法的电子设备的示例性结构图。
如图10所示，电子设备包括输入设备501、输入接口502、中央处理器503、存储器504、输出设备505以及输出接口506。其中，输入接口502、中央处理器503、存储器504以及输出接口506通过总线507相互连接，输入设备501和输出设备505分别通过输入接口502和输出接口506与总线507连接，进而与电子设备的其他组件连接。具体地，输入设备501接收来自外部的输入信息，并通过输入接口502将输入信息传送到中央处理器503；中央处理器503基于存储器504中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器504中，然后通过输出接口506将输出信息传送到输出设备505；输出设备505将输出信息输出到电子设备的外部供用户使用。
也就是说，图10所示的电子设备也可以被实现为包括：存储有计算机可执行指令的存储器；以及一个或多个处理器，该一个或多个处理器在执行计算机可执行指令时可以实现结合图1描述的应用于复杂场景下的人脸图像修复及识别方法。
在一个实施例中，图10所示的电子设备可以被实现为包括：存储器504，被配置为存储可执行程序代码；一个或多个处理器503，被配置为运行存储器504中存储的可执行程序代码，以执行上述实施例中的人机多轮对话方法。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动，媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数据多功能光盘(DVD)或其他光学存储、磁盒式磁带、磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本申请具有如下优点：
1、在局部污染人脸图像修复问题中，首次引入了边缘预测模块来提高修复效果。
2、在局部污染人脸图像识别问题中，使用先修复后识别的方法提高准确率，并通过引入欧氏距离来降低污染区域对识别工作的影响。
3、模型采用端到端训练，方便部署、调试。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
此外，显然“包括”一词不排除其他单元或步骤。装置权利要求中陈述的多个单元、模块或装置也可以由一个单元或总装置通过软件或硬件来实现。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，模块、程序段、或代码的一部分包括一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地标识的方框实际上可以基本并行地执行，他们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或总流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
在本实施例中所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现装置/终端设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
在本实施例中，装置/终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。本申请虽然以较佳实施例公开如上，但其实并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此，本申请的保护范围应当以本申请权利要求所界定的范围为准。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本发明的优选实施例，对本发明而言仅是说明性的，而非限制性的；本领域普通技术人员理解，在本发明权利要求所限定的精神和范围内可对其进行许多改变，修改，甚至等效变更，但都将落入本发明的保护范围。

Claims (5)

1.一种应用于复杂场景下的人脸图像修复及识别方法，包括以下步骤：
S1：获取人脸前景图，使用基于卷积神经网络的DeepCut来实现自动提取图像中的人脸对象；
S2：通过sobel算法，从人脸对象的基础上进行人脸边缘轮廓的提取，获取不完整的人脸边缘图；
S3：将不完整的人脸边缘图通过一个生成对抗网络，对人脸边缘图像进行补全，生成对抗网络包括生成器和判别器，所述判别器将输入的人脸图像映射到一个矩阵中，所述生成器以U-Net模型为基础，判别器分为全局判别器和局部判别器，其中全局判别器关注图像的整体层面，局部判别器聚焦于掩码遮挡的位置；
设带掩码遮挡的污染图像为，原始无污染的完整图像为，掩码图像图像为，边缘补全网络生成的边缘补全图为，人脸修复网络生成的结果图像为；其中重构损失如下式所示，对污染区域和脸部特征区域加大了惩罚的力度：
，
接下来为了更好地对人脸特征加以约束，增加一个基于VGG16的特征损失如下式所示，其中表示使用预训练的VGG16模型的输出：
，
判别器实现的功能是来衡量生成修复人脸图像与真实人脸图像之间的差异，判别器的损失函数的设计引入了梯度惩罚机制，其中每个判别器的损失函数如下式所示：
，
其中表示5个不同判别器，表示获取图像中不同区域的裁剪操作，表示插值，表示将输入内容映射成为矩阵，表示将图像映射成为矩阵，表示梯度，表示生成数据的分布，表示输入数据的分布，设置为10，表示生成器G2生成图像的分布，所以生成器G2的对抗损失如下：
，
人脸的结构拥有一定的对称性，即左右部分之间的差异性较小，同时数据集中的人脸图像基本都为正脸图像，所以基于这种思想，在生成器损失函数中增加了一种镜像损失，用于提高修复图像中的平衡性，H表示遮挡区域的高，W表示遮挡区域的宽，具体的表达式如下：
，
i和j就是函数中的变量，没有实际意义，结合特征损失、重构损失与对抗损失，对于生成器G2的最终损失函数如下所示：
，
其中、、、为权重系数，它们的值分别为10、1、1、1；
S4：通过生成对抗网络结合局部污染人脸图像和补全的人脸边缘预测图生成完整的人脸图像；
S5：通过改进后的VGG16网络获取修复后人脸图像中的特征信息，所述改进后的VGG16网络是将VGG16的顶层替换成全连接层，并使用三元组损失函数；
S6：使用加权欧氏距离计算的方法，将上述特征信息与数据库中图像的特征信息进行比对，进而识别出身份信息，使用加权欧氏距离计算的方法包括以下步骤：
S61：首先通过掩码数据得到所修复位置的区域，得到的零值部分表示图像的原始部分，其它表示被掩码所污染的区域；
设修复后的人脸图像的特征向量如下：
，
对应的掩码数据的特征向量如下：
，
特征向量中只有三个非零元素，待对比的人脸图像特征向量如下：
；
S62：然后将该区域和待测人脸图像特征向量的对应部分乘以小于1的权重系数；
提取出向量中非0的部分，将特征向量和对应的部分乘以权重系数，那么能够定义特征向量和如下所示：
，
；
λ的含义为小于1的权重系数；
接下来计算修复后人脸和待测人脸特征向量的欧氏距离，即计算出特征向量和的欧氏距离。
2.根据权利要求1所述的应用于复杂场景下的人脸图像修复及识别方法，其特征在于：步骤S3中，所使用的生成对抗网络训练过程如下：首先使用DeepCut获取人脸的不完整边缘图，然后通过边缘补全模块得到不完整的边缘图；然后经过边缘预测模块得到预测的边缘图；最后经过人脸修复模块进行完整的人脸修复。
3.根据权利要求1所述的应用于复杂场景下的人脸图像修复及识别方法，其特征在于：步骤S3中，生成对抗网络使用Adam函数进行优化。
4.根据权利要求1所述的应用于复杂场景下的人脸图像修复及识别方法，其特征在于：步骤S5中，设定三张图片分别命名为固定图片a，正样本图片p和负样本图片 n ，图片a和图片p为一对正样本对，图片a和图片n为一对负样本对，应用的三元组损失函数如下；
。
5.根据权利要求1所述的应用于复杂场景下的人脸图像修复及识别方法对应的人脸图像修复及识别装置，其特征在于：包括人脸图像前景获取模块、边缘提取模块、对抗模型获取模块、边缘预测模块、人脸图像修复模块、特征提取模块以及计算模块；进一步的；
人脸图像前景获取模块用于从输入图像中提取前景内容；
边缘提取模块用于提取出不完整的人脸边缘图像；
对抗模型获取模块用于获取经过训练的对抗模型；
边缘预测模块用于对不完整的人脸边缘图像进行补全；
人脸图像修复模块用于不完整的人脸图像进行修复；
特征提取模块用于对所述修复后的人脸图像进行特征提取；
计算模块用于将所述图像特征输入至所述经过训练的对抗模型中从而获取处理信息。
CN202210698000.8A 2022-06-20 2022-06-20 一种应用于复杂场景下的人脸图像修复及识别方法 Active CN114913588B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210698000.8A CN114913588B (zh) 2022-06-20 2022-06-20 一种应用于复杂场景下的人脸图像修复及识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210698000.8A CN114913588B (zh) 2022-06-20 2022-06-20 一种应用于复杂场景下的人脸图像修复及识别方法

Publications (2)

Publication Number Publication Date
CN114913588A CN114913588A (zh) 2022-08-16
CN114913588B true CN114913588B (zh) 2023-04-25

Family

ID=82772178

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210698000.8A Active CN114913588B (zh) 2022-06-20 2022-06-20 一种应用于复杂场景下的人脸图像修复及识别方法

Country Status (1)

Country Link
CN (1) CN114913588B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116895091A (zh) * 2023-07-24 2023-10-17 山东睿芯半导体科技有限公司 一种残缺图像的人脸识别方法、装置、芯片及终端

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492627A (zh) * 2019-01-22 2019-03-19 华南理工大学 一种基于全卷积网络的深度模型的场景文本擦除方法
CN111612718A (zh) * 2020-05-21 2020-09-01 中山大学 一种引入注意力机制的人脸图像修复方法
CN111784602A (zh) * 2020-06-28 2020-10-16 江西理工大学 一种生成对抗网络用于图像修复的方法
CN111968053A (zh) * 2020-08-13 2020-11-20 南京邮电大学 基于门控卷积生成对抗网络的图像修复方法
CN112465718A (zh) * 2020-11-27 2021-03-09 东北大学秦皇岛分校 一种基于生成对抗网络的两阶段图像修复方法
CN113506224A (zh) * 2021-05-24 2021-10-15 中国石油大学(华东) 基于多尺度生成对抗网络的图像修复方法
CN113723174A (zh) * 2021-07-09 2021-11-30 北京工业大学 基于生成对抗网络的人脸图像超分辨修复重建方法及系统
WO2021253723A1 (zh) * 2020-06-16 2021-12-23 北京达佳互联信息技术有限公司 一种人体图像处理方法、装置、电子设备及存储介质
CN113936318A (zh) * 2021-10-20 2022-01-14 成都信息工程大学 一种基于gan人脸先验信息预测和融合的人脸图像修复方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492627A (zh) * 2019-01-22 2019-03-19 华南理工大学 一种基于全卷积网络的深度模型的场景文本擦除方法
CN111612718A (zh) * 2020-05-21 2020-09-01 中山大学 一种引入注意力机制的人脸图像修复方法
WO2021253723A1 (zh) * 2020-06-16 2021-12-23 北京达佳互联信息技术有限公司 一种人体图像处理方法、装置、电子设备及存储介质
CN111784602A (zh) * 2020-06-28 2020-10-16 江西理工大学 一种生成对抗网络用于图像修复的方法
CN111968053A (zh) * 2020-08-13 2020-11-20 南京邮电大学 基于门控卷积生成对抗网络的图像修复方法
CN112465718A (zh) * 2020-11-27 2021-03-09 东北大学秦皇岛分校 一种基于生成对抗网络的两阶段图像修复方法
CN113506224A (zh) * 2021-05-24 2021-10-15 中国石油大学(华东) 基于多尺度生成对抗网络的图像修复方法
CN113723174A (zh) * 2021-07-09 2021-11-30 北京工业大学 基于生成对抗网络的人脸图像超分辨修复重建方法及系统
CN113936318A (zh) * 2021-10-20 2022-01-14 成都信息工程大学 一种基于gan人脸先验信息预测和融合的人脸图像修复方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Xintao Wang 等.Towards Real-World Blind Face Restoration with Generative Facial Prior. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).2021,9168-9178. *
付奥 . 基于深度生成对抗模型的人脸修复算法研究.中国优秀硕士学位论文全文数据库 信息科技辑.2020,(第02期),I138-1376. *
孙海鹏.局部污染人脸图像的修复与识别的研究与实现.中国优秀硕士学位论文全文数据库 信息科技辑.2023,(第01期),I138-2113. *
宋巍 等.基于深度学习的单目深度估计技术综述.中国图象图形学报.2022,第27卷(第02期),292-328. *
强振平 等.深度学习图像修复方法综述.中国图象图形学报.2019,第24卷(第03期),447-463. *

Also Published As

Publication number Publication date
CN114913588A (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
CN110009013B (zh) 编码器训练及表征信息提取方法和装置
CN111461212B (zh) 一种用于点云目标检测模型的压缩方法
JP6330385B2 (ja) 画像処理装置、画像処理方法およびプログラム
WO2016138838A1 (zh) 基于投影极速学习机的唇语识别方法和装置
CN107784288B (zh) 一种基于深度神经网络的迭代定位式人脸检测方法
GB2489272A (en) Segmentation of images into superpixels
US9443137B2 (en) Apparatus and method for detecting body parts
CN110023989B (zh) 一种素描图像的生成方法及装置
CN111950389B (zh) 一种基于轻量级网络的深度二值特征人脸表情识别方法
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
JP4567660B2 (ja) 電子画像内で物体のセグメントを求める方法
CN115631112B (zh) 一种基于深度学习的建筑轮廓矫正方法及装置
CN114913588B (zh) 一种应用于复杂场景下的人脸图像修复及识别方法
CN116152087A (zh) 无限制对抗样本生成方法、装置、电子设备及存储介质
CN114862861A (zh) 基于少样本学习的肺叶分割方法和装置
CN116912924B (zh) 一种目标图像识别方法和装置
Jameel et al. Gait recognition based on deep learning
WO2024011859A1 (zh) 一种基于神经网络的人脸检测方法和装置
CN112419249B (zh) 一种特殊服饰图片转化方法、终端设备及存储介质
Wyzykowski et al. A Universal Latent Fingerprint Enhancer Using Transformers
CN110751197A (zh) 图片分类方法、图片模型训练方法及设备
CN111353353A (zh) 跨姿态的人脸识别方法及装置
KR20200106111A (ko) 가우시안 특징점맵과 회귀 기법을 이용한 얼굴 특징점 검출 장치 및 방법
CN114821206B (zh) 基于对抗互补特征的多模态图像融合分类方法与系统
Golubović et al. Impact of data augmentation on age estimation algorithms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant