CN114299590A - 人脸补全模型的训练方法、人脸补全方法及系统 - Google Patents
人脸补全模型的训练方法、人脸补全方法及系统 Download PDFInfo
- Publication number
- CN114299590A CN114299590A CN202111658102.9A CN202111658102A CN114299590A CN 114299590 A CN114299590 A CN 114299590A CN 202111658102 A CN202111658102 A CN 202111658102A CN 114299590 A CN114299590 A CN 114299590A
- Authority
- CN
- China
- Prior art keywords
- face
- image
- generator
- verifier
- face image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000012795 verification Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 14
- 230000005284 excitation Effects 0.000 claims description 14
- 238000010606 normalization Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 2
- 238000004590 computer program Methods 0.000 abstract description 20
- 238000010586 diagram Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 21
- 230000008569 process Effects 0.000 description 10
- 210000000887 face Anatomy 0.000 description 9
- 230000015654 memory Effects 0.000 description 9
- 230000000295 complement effect Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 230000009469 supplementation Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000036544 posture Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 208000032443 Masked facies Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种人脸补全模型的训练方法，包括：获取人脸的训练样本图像；构建人脸补全模型，其中，人脸补全模型包括生成器、判别器和人脸验证器；利用生成器处理遮罩人脸图像，生成补全人脸图像；利用人脸验证器处理原始人脸图像、补全人脸图像和人脸验证图像，获取人脸验证器的三元组损失结果；利用人脸验证器的损失函数，根据三元组损失结果，迭代优化人脸验证器，获得训练完成的人脸验证器；利用训练样本图像和训练完成的人脸验证器，迭代训练生成器和判别器，获得训练完成的生成器和训练完成的判别器，完成人脸补全模型的训练。本发明同时还公开了人脸补全方法、人脸补全系统、用于人脸补全的电子设备和计算机程序产品。
Description
技术领域
本发明涉及计算机图像领域，尤其涉及一种人脸补全模型的训练方法、人脸补全方法及系统、电子设备和计算机程序产品。
背景技术
人脸补全是图像修复的一个分支，通过生成人脸图像缺损或遮罩的区域，达到修复图像、补全人脸的目的。人脸补全需要根据图像整体保持全局语义结构，并为缺失的区域生成逼真的纹理细节。人脸补全可以修复破损照片，去除场景中的遮挡，在侦查领域，也可以用于补全人脸关键部位信息，从而完成人脸识别和匹配。而现有技术中的图像补全方法，存在不适用于人脸图像的补全、人脸图像的补全效果差、身份一致性缺失等问题。
发明内容
为了解决上述问题，本发明提供了一种人脸补全模型的训练方法、人脸补全方法、人脸补全系统、电子设备及计算机程序产品。
根据本发明的第一方面，提供了一种人脸补全模型的训练方法，包括：
获取人脸的训练样本图像，其中，人脸的训练样本图像包括原始人脸图像、遮罩人脸图像和人脸验证图像；
构建人脸补全模型，其中，人脸补全模型包括生成器、判别器和人脸验证器；
利用生成器处理遮罩人脸图像，生成补全人脸图像；
利用人脸验证器处理原始人脸图像、补全人脸图像和人脸验证图像，获取人脸验证器的三元组损失结果；
利用人脸验证器的损失函数，根据三元组损失结果，迭代优化人脸验证器，获得训练完成的人脸验证器；
利用训练样本图像和训练完成的人脸验证器，迭代训练生成器和判别器，获得训练完成的生成器和训练完成的判别器，完成人脸补全模型的训练。
根据本发明的实施例，上述遮罩人脸图像通过利用原始人脸图像和遮罩区域生成；
其中，生成器包括编码器、解码器和残差网络；
其中，编码器包括多个卷积层、多个归一化层、多个非线性激励层；
其中，解码器包括多个卷积层、多个归一化层、多个非线性激励层和多个空间注意力层；
其中，残差网络包括多个卷积层和多个非线性激励层。
根据本发明的实施例，上述三元组损失结果由公式(1)表示：
其中，
表示三元组损失结果，Igt表示原始人脸图像，Iout表示补全人脸图像，Ins表示人脸验证图像，m表示大于0的常数；
其中，人脸验证器损失函数由公式(2)表示：
根据本发明的实施例，上述获得训练完成的生成器包括：
利用生成器生成补全人脸图像；
将补全人脸图像输入到训练完成的人脸验证器，获取输出结果；
将补全人脸图像输入到判别器中，获取判别结果；
将输出结果和判别结果进行运算，获得运算结果；
利用运算结果，根据生成器的损失函数，优化生成器；
迭代进行生成操作、输出操作、判别操作、运算操作和优化操作，获得训练完成的生成器。
根据本发明的实施例，上述获得训练完成的判别器包括：
将生成器生成的补全人脸图像和真实人脸图像输入到判别器中，获得判别结果；
根据判别结果，利用判别器损失函数，优化判别器；
迭代进行判别操作和优化操作，获得训练完成的判别器。
根据本发明的实施例，上述判别器损失函数由公式(3)表示：
其中，DT是表示判别器，pdata表示真实数据分布，pg是生成的分布。
根据本发明的第二方面，提供了一种人脸补全方法，包括：
获取待补全的人脸图像；
构建人脸补全模型，其中，人脸补全模型由上述人脸补全模型的训练方法训练得到；
利用人脸补全模型处理待补全的人脸图像，获得补全的人脸图像并输出补全的人脸图像。
根据本发明的第三方面，提供了一种人脸补全系统，包括：
图像获取模块，用于获取待补全的人脸图像；
模型构建模块，用于构建人脸补全模型，其中，人脸补全模型由上述人脸补全模型的训练方法训练得到；
图像输出模块，用于利用人脸补全模型处理待补全的人脸图像，获得补全的人脸图像并输出补全的人脸图像。
根据本发明的第四方面，提供了一种电子设备，包括：
存储装置，用于存储一个或多个程序，
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得一个或多个处理器执行上述人脸补全模型的训练方法和人类补全方法。
本公开的第五方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述人脸补全模型的训练方法和人类补全方法。
根据本发明的第六方面，提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述人脸补全模型的训练方法和人类补全方法。
本发明提供的人脸模型的训练方法，通过构建具有身份验证功能的人脸补全模型，充分挖掘训练样本的数据特征，从而获得具有良好补全效果和鲁棒性的生成器；同时本发明提供的人脸补全方法和系统，充分利用上述模型的训练方法，能够有效解决提取特征与人脸表情、姿势、造型等的强关联性，相比较传统的成对图像损失计算方法，有效增强了人脸补全生成模型的泛化性。
附图说明
图1示意性示出了根据本发明实施例的人脸补全模型的训练方法的流程图；
图2是根据本发明实施例的生成器的结构图；
图3示意性示出了本发明的实施例的获得训练完成的生成器流程图；
图4示意性示出了本发明的实施例的获得训练完成的判别器流程图；
图5是根据本发明实施例的人类补全模型的训练结构图；
图6是根据本发明实施例的具有身份保留功能的人脸补全模型的训练架构图；
图7示意性示出了本发明实施例的人脸补全方法的流程图；
图8是根据本发明实施例的人脸补全流程的结构示意图；
图9示意性示出了本发明实施例的人脸补全系统的结构图；
图10示意性示出了根据本发明实施例的适于实现人脸补全模型的训练方法和人脸补全方法的电子设备的方框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。
人脸补全技术在这些年发展迅速，早期的人脸补全使用Patch-Match等方法实现纹理生成，即通过搜索找出最适合的补丁合成缺失内容，从已知区域复制现有的图案和结构，而并不适合人脸补全这一类补全物体缺失区域的问题；近期，随着神经网络和生成式对抗网络的大规模应用，基于卷积神经网络的方法已成为人脸补全的主流方法。为了产生视觉上逼真的图像，现有方法通常采用的方案是利用上下文关系来填充缺失像素，提取不同类型的结构信息，以作为辅助图像修复的先验知识，例如：分割图，边缘，人脸关键点和人脸解析等。最近的工作采用注意力机制对补全图像进行监督，以改善修复过程中纹理变形，语义不一致等问题。但是由于考虑的都是补全图像本身的真实自然程度，却没有考虑到补全人脸的身份一致性，即补全后的人脸是否与补全前的原人脸特征一致，导致补全人脸和原人脸的身份信息之间存在一定的差异，影响了在侦查领域人脸识别和匹配的应用。
针对以上问题，本发明提供一种基于人脸验证的人脸补全模型的训练方法和人脸补全方法，使用预训练人脸验证器作为特征提取器，计算原人脸和补全人脸特征之间的距离，作为损失反馈回人脸补全网络，提高补全人脸的身份一致性。
图1示意性示出了根据本发明实施例的人脸补全模型的训练方法的流程图。
如图1所示，包括操作S110～操作S160。
在操作S110，获取人脸的训练样本图像，其中，人脸的训练样本图像包括原始人脸图像、遮罩人脸图像和人脸验证图像；
在操作S120，构建人脸补全模型，其中，人脸补全模型包括生成器、判别器和人脸验证器；
在操作S130，利用生成器处理遮罩人脸图像，生成补全人脸图像；
在操作S140，利用人脸验证器处理原始人脸图像、补全人脸图像和人脸验证图像，获取人脸验证器的三元组损失结果；
在操作S150，利用人脸验证器的损失函数，根据三元组损失结果，迭代优化人脸验证器，获得训练完成的人脸验证器；
在操作S160，利用训练样本图像和训练完成的人脸验证器，迭代训练生成器和判别器，获得训练完成的生成器和训练完成的判别器，完成人脸补全模型的训练。
本发明提供的人脸补全模型的训练方法，通过人脸验证器，能够解决补全人脸图像和真实人脸图像身份不一致性的问题，利用训练完成的人类验证网络去训练人脸补全生成器，即生成器，从而获得具有良好人脸补全生成效果的生成器，同时训练完成的生成器具有较高的鲁棒性，能够应用于不同场景的人脸图像补全；同时，本发明以人脸验证技术作为约束，提供一种基于人脸验证的人脸补全方法，通过生成注意力机制加强对关键区域生成的学习，使用预训练人脸验证器作为特征提取器，计算原人脸，补全人脸，和其他人脸特征之间的三元组损失，反馈回人脸补全网络，提高补全人脸的身份一致性。
根据本发明的实施例，上述遮罩人脸图像通过利用原始人脸图像和遮罩区域生成；
其中，生成器包括编码器、解码器和残差网络；
其中，编码器包括多个卷积层、多个归一化层、多个非线性激励层；
其中，解码器包括多个卷积层、多个归一化层、多个非线性激励层和多个空间注意力层；
其中，残差网络包括多个卷积层和多个非线性激励层。
图2是根据本发明实施例的生成器的结构图，下面结合图2对本发明实施例提供的生成器作进一步说明。
如图2所示，本发明实施例提供的生成器的目标是学习真实人脸图像的分布，上述生成器采用U-Net架构作为骨干网络；在生成器的解码器的每一层之后添加注意力生成模块以实现不同尺度的空间注意机制。空间注意力机制帮助网络更多地关注关键区域，例如人脸补全任务中的面部组件：嘴，鼻子，眉毛以及双眼，实现人脸整体特征的恢复。
根据本发明的实施例，上述三元组损失结果由公式(1)表示：
其中，
表示三元组损失结果，Igt表示原始人脸图像，Iout表示补全人脸图像，Ins表示人脸验证图像，m表示大于0的常数；
其中，人脸验证器损失函数由公式(2)表示：
本发明提供的人脸验证器DV用于判断补全人脸图像是否仍然与原始人脸图像共享相同的身份特征。人脸验证器计算原人脸，补全人脸，以及其他人脸特征之间的三元组损失，反馈回生成器，是对人脸身份信息的约束，使生成器补全的图像贴近原人脸，远离其他人脸，而非受到姿势、造型等的影响，生成平均脸。同时采用判别器和人脸验证器对生成器进行训练，其目的是获得自然真实、身份信息一致的人脸补全结果。
DV由面部特征提取器构建而成。特征提取器使用MTCNN(Multi-taskConvolutional Neural Network，多任务卷积神经网络)和Inception ResNet来检测人脸并计算embeddings(图形嵌入)。我们使用人脸数据集VGGFace对DV进行预训练，并根据输出的embedding判断补全前后人脸的一致性。将补全结果表示为Iout，将相应的原始图片表示为Igt，将负样本(即其他身份的原始图片)表示为Ins。我们将Iout、Igt和Ins的三元组输入到DV中，并根据公式(2)计算个体判别损失
根据本发明的实施例，上述生成器包括编码器、解码器和残差网络；
其中，编码器包括多个卷积层、多个归一化层、多个非线性激励层和多个生成注意力层；
其中，解码器包括多个卷积层、多个归一化层、多个非线性激励层；
其中，残差网络包括多个卷积层和多个非线性激励层。
生成器的编码器和解码器分别采用3个卷积层，每个卷积层后增加一个归一化层和一个非线性激励层。残差网络使用8个卷积层，每个卷积层后同样增加一个非线性激励层，构成一个U-net框架。编码器的每个卷积层后额外添加生成注意力层，用来学习不同尺度下的关键区域的生成。
根据本发明的实施例提供了一种获得训练完成的人脸验证器的方法，包括获取生成器生成的补全人脸图像；将真实人脸图像和补全人脸图像输入到人脸验证器中；利用人脸验证器分别提取真实人脸图像和补全人脸图像的特征；利用真实人脸图像的特征和补全人脸图像的特征，计算真实人脸图像和补全人脸图像的差异值；根据差异值，利用随机梯度下降算法，优化人脸验证器；迭代进行获取操作、输入操作、提取操作、计算操作和优化操作，获得训练完成的人脸验证器。
上述训练过程中采用的人脸验证器使用大量真实人脸进行预训练，将真实人脸图像投射成128维特征向量，根据向量间距离验证两幅人脸图片是否属于同一身份。上述人脸验证器使用深度神经网络提取特征，并采用三元组损失来衡量训练过程中样本之间的距离误差，通过随机梯度下降法，不断缩短自身所有样本的差距，同时尽可能拉大与其他人的差距，最终达到最优。通过嵌入学习对原始的特征提取网络输出层再进一步学习，从而改善特征的表达，得到身份损失。
图3示意性示出了本发明的实施例的获得训练完成的生成器流程图。
如图3所示，包括操作S310～操作S360。
在操作S310，利用生成器生成补全人脸图像；
在操作S320，将补全人脸图像输入到训练完成的人脸验证器，获取输出结果；
在操作S330，将补全人脸图像输入到判别器中，获取判别结果；
在操作S340，将输出结果和所述判别结果进行运算，获得运算结果；
在操作S350，利用运算结果，根据生成器的损失函数，优化生成器；
在操作S360，迭代进行生成操作、输出操作、判别操作、运算操作和优化操作，获得训练完成的生成器。
利用已经训练完成的人脸验证器，对生成器进行反复的训练和优化，根据损失函数，获得训练完成的人脸补全生成器，即上述生成器。利用大量训练样本图像反复训练生成器，旨在增强生成器的鲁棒性，提高生成器的泛化能力。
图4示意性示出了本发明的实施例的获得训练完成的判别器流程图。
如图4所示，包括操作S410～操作S430。
在操作S410，将生成器生成的补全人脸图像和真实人脸图像输入到判别器中，获得判别结果；
在操作S420，根据判别结果，利用判别器损失函数，优化判别器；
在操作S430，迭代进行判别操作和优化操作，获得训练完成的判别器。
根据本发明的实施例，上述判别器损失函数由公式(3)表示：
其中，DT是表示判别器，pdata表示真实数据分布，pg是生成的分布。
判别器的目标是区分生成器补全后的人脸图像和真实人脸图像，因此判别器的损失反馈回生成器，是为了使生成器补全的图像更贴近自然人脸，而对其补全前后的人脸身份一致性没有影响；上述判别器作为一个分类网络，输入人脸图片通过五个卷积层，输出一个0到1之间的数值，用于表示输入图片为真实人脸的概率，使用得到的概率值计算损失函数，通过一定的权重反馈回生成器进行训练。上述判别器和本发明提供的上述生成器互相利用对方的输出结果进行动态优化，当上述人类补全模型的损失函数达到动态平衡或趋向收敛时，上述判别器和上述生成器则可认为参数达到最优化状态。
上述判别器DT用于计算人脸补全的对抗性损失。DT使用PatchGAN判别器的基本结构。PatchGAN使用全卷积网络判别器，将输入映射为N×N的矩阵，矩阵的每个值代表输入的每个patch为真样本的概率，计算均值作为判别器的最终输出。这种训练方式使模型更能关注细节，提升了生成图像的质量。同时，利用WGAN-GP的参数更新方法来拟合生成数据pg和真实数据pdata之间的分布。
图5是根据本发明实施例的人类补全模型的训练结构图，下面结合图2对本发明提供的上述训练方法作进一步详细说明。
如图5所示，采用生成对抗网络(即人脸补全模型)进行训练，即生成器对遮罩人脸进行补全，然后与原人脸一起，分别放入判别器和预训练的人脸验证器进行判别，得到的损失反馈回生成器和判别器。上述训练过程可以分为以下的操作：首先，使用真实无遮罩的人脸图片和遮罩区域生成大量遮罩人脸；其次，构建基于生成对抗网络的人脸补全生成模型，生成与人脸真实分布接近的补全人脸；其中，模型的输入为上述操作的遮罩人脸和真实人脸，输出具有真实性的补全人脸。该模型由生成器、判别器和人脸验证器三个部分组成：生成器的输入为上述操作的遮罩人脸，输出与真实人脸分布接近的补全人脸，其目标是让判别器无法区分输入图像是真实人脸还是补全人脸。判别器的输入为生成器生成的补全人脸，和已知的真实人脸。对输入图像进行判断，判断输入的是真实人脸还是补全人脸，其目标是准确区分输入图像是真实人脸还是补全人脸。人脸验证器的输入为原人脸和其对应的补全人脸，输出这两张人脸图像之间的距离，其目标是区分生成器补全前后的人脸图像是否拥有相同的身份信息，即是否是同一个人。
如图5所示，上述生成对抗网络模型(人脸补全模型)训练过程如下：首先，固定生成器和判别器，使用真实人脸图片对人脸验证器进行训练，使得人脸验证器能够利用投射特征计算出人脸身份信息是否一致；其次，固定生成器，对判别器进行训练，使得判别器能够更加准确地判别输入数据是真实人脸还是补全人脸；再次，固定判别器，使用判别器损失和人脸验证损失对生成器进行训练，使得补全人脸的数据分布接近真实人脸，且补全前后人脸的身份信息保持一致；最后，交替反复进行上述操作，直到补全人脸的数据分布和真实人脸分布基本吻合，判别模型处于纳什均衡，无法判断输入人脸图片是补全人脸还是真实人脸；即，使用真实人脸对深度神经网络进行预训练，得到人脸验证器，再通过真实人脸、遮罩人脸和预训练的人脸验证器训练生成器和判别器，直到模型收敛，获得人脸补全生成模型。
图6是根据本发明实施例的具有身份保留功能的人脸补全模型的训练架构图。下面结合图6对本发明实施例提供的人脸补全模型的训练过程作进一步说明。
如图6所示，本发明实施例提供的人脸补全模型的训练过程通过使用双判别器结构(判别器和人脸验证器)，生成器可以进一步学习人脸图像的分布，并根据背景区域中包含的信息更好地恢复人脸。从另一个角度来看，用大量人脸数据预训练的人脸验证网络包含了人脸分布的先验知识。因此，人脸验证器可以作为判别器的补充，以更有针对性的方式训练人脸补全的生成器。
图7示意性示出了本发明实施例的人脸补全方法的流程图。
如图7所示，包括操作S710～操作S730。
在操作S710，获取待补全的人脸图像；
在操作S720，构建人脸补全模型，其中，人脸补全模型由上述人脸补全模型的训练方法训练得到；
在操作S730，利用人脸补全模型处理待补全的人脸图像，获得补全的人脸图像并输出补全的人脸图像。
上述人脸补全模型由本发明实施例提供的训练方法训练得到，其中，上述人脸补全模型包括具有空间注意力层的生成器，其中，上述生成器为了实现空间注意力图，使用沙漏块提取多尺度特征关系，分别指导高维特征如人脸结构和低维特征如人脸细节的生成。具体操作如下，使用三个downscale卷积层和三个upscale卷积层组成沙漏块，并使用额外的卷积层生成空间注意图。将每个注意力生成模块的输入表示为x∈RC×H×W，其中空间注意力图α∈R1×H×W由公式(4)表示：
α＝σ(FC(FS(x))) (4)，
其中，其中FC和FS分别表示沙漏块和额外卷积层，σ是sigmoid函数。
上述注意力生成模块的输出由公式(5)表示：
其中，
代表逐元素加法。
图8是根据本发明实施例的人脸补全流程的结构示意图，下面结合图8对人脸补全方法作进一步详细说明。
如图8所示，对于输入的遮罩人脸，首先使用编码器对其进行下采样，经过残差网络，然后输入解码器，得到最终的补全结果。其中，编码器、残差网络以及解码器都已经预先训练好。
图9示意性示出了本发明实施例的人脸补全系统的结构图。
如图9所示，人脸补全系统900包括图像获取模块910、模型构建模块920以及图像输出模块930。
图像获取模块910，用于获取待补全的人脸图像；
模型构建模块920，用于构建人脸补全模型，其中，人脸补全模型由上述人脸补全模型的训练方法训练得到；
图像输出模块930，用于利用人脸补全模型处理待补全的人脸图像，获得补全的人脸图像并输出补全的人脸图像。
本发明提供的人脸补全系统，与现有技术中的人脸补全系统相比，有效解决提取特征与人脸表情、姿势、造型等的强关联性，相比较传统的成对图像损失计算方法，有效增强了系统的泛化性。
图10示意性示出了根据本发明实施例的适于实现人脸补全模型的训练方法和人脸补全方法的电子设备的方框图。
如图10所示，根据本发明实施例的电子设备1000包括处理器1001，其可以根据存储在只读存储器(ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理。处理器1001例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))等等。处理器1001还可以包括用于缓存用途的板载存储器。处理器1001可以包括用于执行根据本发明实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 1003中，存储有电子设备1000操作所需的各种程序和数据。处理器1001、ROM 1002以及RAM 1003通过总线1004彼此相连。处理器1001通过执行ROM 1002和/或RAM1003中的程序来执行根据本发明实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 1002和RAM 1003以外的一个或多个存储器中。处理器1001也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本发明实施例的方法流程的各种操作。
根据本发明的实施例，电子设备1000还可以包括输入/输出(I/O)接口1005，输入/输出(I/O)接口1005也连接至总线1004。电子设备1000还可以包括连接至I/O接口1005的以下部件中的一项或多项：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 1002和/或RAM 1003和/或ROM 1002和RAM 1003以外的一个或多个存储器。
本发明的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时，该程序代码用于使计算机系统实现本发明实施例所提供的物品推荐方法。
在该计算机程序被处理器1001执行时执行本发明实施例的系统/装置中限定的上述功能。根据本发明的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分1009被下载和安装，和/或从可拆卸介质1011被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被处理器1001执行时，执行本发明实施例的系统中限定的上述功能。根据本发明的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
根据本发明的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种人脸补全模型的训练方法，包括：
获取人脸的训练样本图像，其中，所述人脸的训练样本图像包括原始人脸图像、遮罩人脸图像和人脸验证图像；
构建人脸补全模型，其中，所述人脸补全模型包括生成器、判别器和人脸验证器；
利用所述生成器处理所述遮罩人脸图像，生成补全人脸图像；
利用所述人脸验证器处理所述原始人脸图像、所述补全人脸图像和所述人脸验证图像，获取人脸验证器的三元组损失结果；
利用人脸验证器的损失函数，根据所述三元组损失结果，迭代优化所述人脸验证器，获得训练完成的人脸验证器；
利用所述训练样本图像和所述训练完成的人脸验证器，迭代训练所述生成器和所述判别器，获得训练完成的生成器和训练完成的判别器，完成人脸补全模型的训练。
2.根据权利要求1所述的方法，其中，所述遮罩人脸图像通过利用所述原始人脸图像和遮罩区域生成；
其中，所述生成器包括编码器、解码器和残差网络；
其中，所述编码器包括多个卷积层、多个归一化层、多个非线性激励层；
其中，所述解码器包括多个卷积层、多个归一化层、多个非线性激励层和多个空间注意力层；
其中，所述残差网络包括多个卷积层和多个非线性激励层。
3.根据权利要求1所述的方法，其中，所述三元组损失结果由公式(1)表示：
其中，
表示所述三元组损失结果，Igt表示所述原始人脸图像，Iout表示所述补全人脸图像，Ins表示所述人脸验证图像，m表示大于0的常数；
其中，所述人脸验证器损失函数由公式(2)表示：
4.根据权利要求1所述的方法，其中，获得训练完成的生成器包括：
利用所述生成器生成补全人脸图像；
将所述补全人脸图像输入到所述训练完成的人脸验证器，获取输出结果；
将所述补全人脸图像输入到所述判别器中，获取判别结果；
将所述输出结果和所述判别结果进行运算，获得运算结果；
利用所述运算结果，根据所述生成器的损失函数，优化所述生成器；
迭代进行生成操作、输出操作、判别操作、运算操作和优化操作，获得所述训练完成的生成器。
5.根据权利要求1所述的方法，其中，获得所述训练完成的判别器包括：
将所述生成器生成的补全人脸图像和所述真实人脸图像输入到所述判别器中，获得判别结果；
根据所述判别结果，利用所述判别器损失函数，优化所述判别器；
迭代进行判别操作和优化操作，获得训练完成的判别器。
6.根据权利要求5所述的方法，其中，所述判别器损失函数由公式(3)表示：
其中，DT是表示所述判别器，pdata表示真实数据分布，pg是生成的分布。
7.一种人脸补全方法，包括：
获取待补全的人脸图像；
构建人脸补全模型，其中，所述人脸补全模型由权利要求1-6所述的方法训练得到；
利用所述人脸补全模型处理所述待补全的人脸图像，获得补全的人脸图像并输出所述补全的人脸图像。
8.一种人脸补全系统，包括：
图像获取模块，用于获取待补全的人脸图像；
模型构建模块，用于构建人脸补全模型，其中，所述人脸补全模型由权利要求1-6所述的方法训练得到；
图像输出模块，用于利用所述人脸补全模型处理所述待补全的人脸图像，获得补全的人脸图像并输出所述补全的人脸图像。
9.一种电子设备，包括：
存储装置，用于存储一个或多个程序，
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行根据权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求1～7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111658102.9A CN114299590A (zh) | 2021-12-31 | 2021-12-31 | 人脸补全模型的训练方法、人脸补全方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111658102.9A CN114299590A (zh) | 2021-12-31 | 2021-12-31 | 人脸补全模型的训练方法、人脸补全方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114299590A true CN114299590A (zh) | 2022-04-08 |
Family
ID=80972843
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111658102.9A Pending CN114299590A (zh) | 2021-12-31 | 2021-12-31 | 人脸补全模型的训练方法、人脸补全方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114299590A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114742170A (zh) * | 2022-04-22 | 2022-07-12 | 马上消费金融股份有限公司 | 对抗样本生成方法、模型训练方法、图像识别方法及装置 |
| CN114821714A (zh) * | 2022-04-10 | 2022-07-29 | 复旦大学 | 基于协同特征补全的有遮挡场景下的人脸表情识别方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110288537A (zh) * | 2019-05-20 | 2019-09-27 | 湖南大学 | 基于自注意力的深度生成式对抗网络的人脸图像补全方法 |
| WO2021042544A1 (zh) * | 2019-09-03 | 2021-03-11 | 平安科技（深圳）有限公司 | 基于去网纹模型的人脸验证方法、装置、计算机设备及存储介质 |
| CN112825188A (zh) * | 2019-11-20 | 2021-05-21 | 天津科技大学 | 一种基于深度卷积生成对抗网络的遮挡人脸补全算法 |
| CN113112411A (zh) * | 2020-01-13 | 2021-07-13 | 南京信息工程大学 | 基于多尺度特征融合的人脸图像语义修复方法 |
-
2021
- 2021-12-31 CN CN202111658102.9A patent/CN114299590A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110288537A (zh) * | 2019-05-20 | 2019-09-27 | 湖南大学 | 基于自注意力的深度生成式对抗网络的人脸图像补全方法 |
| WO2021042544A1 (zh) * | 2019-09-03 | 2021-03-11 | 平安科技（深圳）有限公司 | 基于去网纹模型的人脸验证方法、装置、计算机设备及存储介质 |
| CN112825188A (zh) * | 2019-11-20 | 2021-05-21 | 天津科技大学 | 一种基于深度卷积生成对抗网络的遮挡人脸补全算法 |
| CN113112411A (zh) * | 2020-01-13 | 2021-07-13 | 南京信息工程大学 | 基于多尺度特征融合的人脸图像语义修复方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王旭东;卫红权;高超;黄瑞阳;: "身份保持约束下的人脸图像补全", 网络与信息安全学报, no. 08, 15 August 2018 (2018-08-15) * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114821714A (zh) * | 2022-04-10 | 2022-07-29 | 复旦大学 | 基于协同特征补全的有遮挡场景下的人脸表情识别方法 |
| CN114742170A (zh) * | 2022-04-22 | 2022-07-12 | 马上消费金融股份有限公司 | 对抗样本生成方法、模型训练方法、图像识别方法及装置 |
| CN114742170B (zh) * | 2022-04-22 | 2023-07-25 | 马上消费金融股份有限公司 | 对抗样本生成方法、模型训练方法、图像识别方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Attribute-aware face aging with wavelet-based generative adversarial networks | |
| US20210232924A1 (en) | Method for training smpl parameter prediction model, computer device, and storage medium | |
| CN111488865B (zh) | 图像优化方法、装置、计算机存储介质以及电子设备 | |
| WO2021164534A1 (zh) | 图像处理方法、装置、设备及存储介质 | |
| KR102290040B1 (ko) | 신체 이미징 | |
| CN111241989B (zh) | 图像识别方法及装置、电子设备 | |
| CN111243050B (zh) | 肖像简笔画生成方法、系统及绘画机器人 | |
| CN110175251A (zh) | 基于语义对抗网络的零样本草图检索方法 | |
| CN110659582A (zh) | 图像转换模型训练方法、异质人脸识别方法、装置及设备 | |
| JP6624794B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| CN103430218A (zh) | 用3d脸部建模和地标对齐扩增造型的方法 | |
| CN114299590A (zh) | 人脸补全模型的训练方法、人脸补全方法及系统 | |
| CN115050064A (zh) | 人脸活体检测方法、装置、设备及介质 | |
| TWI803243B (zh) | 圖像擴增方法、電腦設備及儲存介質 | |
| CN113887408B (zh) | 活化人脸视频的检测方法、装置、设备及存储介质 | |
| CN112699857A (zh) | 基于人脸姿态的活体验证方法、装置及电子设备 | |
| CN116486465A (zh) | 用于人脸结构分析的图像识别方法及其系统 | |
| CN110675311A (zh) | 一种素描序约束下的素描生成的方法、装置及存储介质 | |
| CN109523590B (zh) | 一种基于样例的3d图像深度信息视觉舒适度评估方法 | |
| CN111723688B (zh) | 人体动作识别结果的评价方法、装置和电子设备 | |
| CN116469177A (zh) | 混合精度的活体目标检测方法和活体检测模型的训练方法 | |
| US20220058484A1 (en) | Method for training a neural network to deliver the viewpoints of objects using unlabeled pairs of images, and the corresponding system | |
| Yao et al. | A Generative Image Inpainting Model Based on Edge and Feature Self‐Arrangement Constraints | |
| CN116152399A (zh) | 三维人脸形状生成方法、装置、设备及存储介质 | |
| CN113343951A (zh) | 人脸识别对抗样本生成方法及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |