CN113435365A - 人脸图像迁移方法及装置 - Google Patents

人脸图像迁移方法及装置 Download PDF

Info

Publication number
CN113435365A
CN113435365A CN202110744247.4A CN202110744247A CN113435365A CN 113435365 A CN113435365 A CN 113435365A CN 202110744247 A CN202110744247 A CN 202110744247A CN 113435365 A CN113435365 A CN 113435365A
Authority
CN
China
Prior art keywords
target domain
face image
sample
discriminator
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110744247.4A
Other languages
English (en)
Other versions
CN113435365B (zh
Inventor
司世景
王健宗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202110744247.4A priority Critical patent/CN113435365B/zh
Publication of CN113435365A publication Critical patent/CN113435365A/zh
Application granted granted Critical
Publication of CN113435365B publication Critical patent/CN113435365B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及图像处理技术领域，提供了一种人脸图像迁移方法及装置，方法包括：获取人脸图像样本集、目标域图像生成器以及第一判别器；对清晰人脸图像样本进行增广，得到目标域正例样本；通过目标域图像生成器，预测遮挡人脸图像样本在目标域的第一清晰人脸图像，并将第一清晰人脸图像作为目标域负例样本；以目标域正例样本和目标域负例样本为第一判别器的输入，结合预设的第一对比损失函数，对第一判别器进行对比学习训练的同时，迭代地对目标域图像生成器和对比学习训练后的第一判别器进行对抗训练，得到训练完成的目标域图像生成器。本申请提高生成对抗网络的整体稳定性，提高图像生成器性能。

Description

人脸图像迁移方法及装置
技术领域
本申请涉及人脸识别领域，特别地，涉及一种人脸图像迁移方法及装置。
背景技术
在人脸识别领域中，人脸因口罩等物体遮挡的图像、马赛克人脸头像及头像破损残缺不全的图像属于大面积人脸遮挡图像，人脸位置、定位五官等关键点被遮挡，影响识别效果。相关人脸遮挡识别技术，需要耗费大量成本提升信息抓取能力或者对人脸数据集的规模要求较大，且繁琐的人工标注等预处理工作极大增加了训练成本。
发明内容
本申请的目的在于提供一种人脸图像迁移方法、装置，通过对第一判别器进行对比学习训练，并对目标域图像生成器和对比学习训练后的第一判别器进行对抗训练，提高了第一生成器的性能，从而提高了人脸图像迁移的稳定性。
本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
根据本申请实施例的一个方面，提供了一种人脸图像迁移方法，所述方法包括：
获取人脸图像样本集、目标域图像生成器以及第一判别器，所述人脸图像样本集包括源域中的遮挡人脸图像样本和目标域中的清晰人脸图像样本；
对所述清晰人脸图像样本进行增广，得到目标域正例样本；
通过所述目标域图像生成器，预测所述遮挡人脸图像样本在所述目标域的第一清晰人脸图像，并将所述第一清晰人脸图像作为目标域负例样本；
以所述目标域正例样本和所述目标域负例样本为第一判别器的输入，结合预设的第一对比损失函数，对所述第一判别器进行对比学习训练的同时，迭代地对所述目标域图像生成器和对比学习训练后的第一判别器进行对抗训练，得到训练完成的目标域图像生成器；
获取所述源域中待迁移遮挡人脸图像；
通过所述训练完成的目标域图像生成器，预测所述待迁移遮挡人脸图像在所述目标域中的迁移清晰人脸图像。
根据本申请实施例，所述第一对比损失函数包括第一正例损失函数和第一负例损失函数；
其中，所述第一正例损失函数用于使所述正例样本中同源的样本在嵌入空间的特征表示相互吸引；
所述第一负例损失函数用于使所述负例样本中的样本在所述嵌入空间的特征表示相互吸引，所述正例样本与所述负例样本在所述嵌入空间的特征表示相互远离。
根据本申请实施例，所述第一正例损失函数的表示公式如下：
Figure BDA0003142307450000021
其中，N代表所述目标域中清晰人脸图像样本的样本数量，
Figure BDA0003142307450000022
代表所述清晰人脸图像样本先经过第一增广处理再抽取得到的特征表示向量，
Figure BDA0003142307450000023
代表所述清晰人脸图像样本先经过第二增广处理再抽取得到的特征表示向量，
Figure BDA0003142307450000024
表示
Figure BDA0003142307450000025
中除
Figure BDA0003142307450000026
之外的其他元素的集合，S代表向量内积函数，LNCE代表自监督对比损失函数；
所述第一负例损失函数的表示公式如下：
Figure BDA0003142307450000027
其中，N代表所述负例样本的样本数量，vf代表所述负例样本抽取得到的特征表示向量，vf,-i代表vf中除vf,i之外的其他元素的集合，Lsupcon代表监督对比损失函数。
根据本申请实施例的一个方面，提供了一种人脸图像迁移装置，所述装置包括：
初始化单元，用于获取人脸图像样本集、目标域图像生成器以及第一判别器，所述人脸图像样本集包括源域中的遮挡人脸图像样本和目标域中的清晰人脸图像样本；
正例样本获取单元，用于对所述清晰人脸图像样本进行增广，得到目标域正例样本；
负例样本获取单元，用于通过所述目标域图像生成器，预测所述遮挡人脸图像样本在所述目标域的第一清晰人脸图像，并将所述第一清晰人脸图像作为目标域负例样本；
优化训练单元，用于以所述目标域正例样本和所述目标域负例样本为所述第一判别器的输入，结合预设的第一对比损失函数，对所述第一判别器进行对比学习训练的同时，迭代地对所述目标域图像生成器和对比学习训练后的第一判别器进行对抗训练，得到训练完成的目标域图像生成器；
待迁移数据获取单元，用于获取所述源域中待迁移遮挡人脸图像；
迁移单元，通过所述训练完成的目标域图像生成器，预测所述待迁移遮挡人脸图像在所述目标域中的迁移清晰人脸图像。
根据本申请实施例，所述初始化单元还用于获取源域图像生成器和第二判别器；
所述正例样本获取单元还用于对所述遮挡人脸图像样本进行增广，得到源域正例样本；
所述负例样本获取单元还用于通过所述源域图像生成器，预测所述清晰人脸图像样本在所述源域的第一遮挡人脸图像，并将所述第一遮挡人脸图像作为源域负例样本；
所述优化训练单元还用于以所述源域正例样本和所述源域负例样本为第二判别器的输入，结合预设的第二对比损失函数，对所述第二判别器进行对比学习训练的同时，迭代地对所述目标域图像生成器和所述对比训练后的第二判别器进行对抗训练，得到训练完成的源域图像生成器；
待迁移数据获取单元还用于获取所述目标域中待迁移清晰人脸图像；
所述迁移单元还用于通过所述训练完成的源域图像生成器，预测所述待迁移清晰人脸图像在所述源域中的迁移遮挡人脸图像。
根据本申请实施例，所述装置还包括：
局部特征提取单元，用于提取所述遮挡人脸图像样本的人脸局部的第一内容特征、所述第一清晰人脸图像的人脸局部的第二内容特征；
面部匹配损失函数构建单元，用于基于所述第一内容特征与所述第二内容特征之间的差异构建第一面部匹配损失函数；
所述优化训练单元还用于以所述目标域正例样本和所述目标域负例样本为所述第一判别器的输入，结合所述第一对比损失函数和所述第一面部匹配损失函数，对所述第一判别器进行对比学习训练的同时，迭代地对所述目标域图像生成器和对比学习训练后的第一判别器进行对抗训练，得到训练完成的目标域图像生成器。
根据本申请实施例，所述局部特征提取单元还用于提取所述清晰人脸图像样本的人脸局部的第三内容特征和所述第一遮挡人脸图像的人脸局部的第四内容特征；
所述面部匹配损失函数还用于构建单元基于所述第三内容特征与所述第四内容特征之间的差异，构建第二面部匹配损失函数；
所述优化训练单元还用于以所述源域正例样本和所述源域负例样本为所述第二判别器的输入，结合所述第二对比损失函数和所述第二面部匹配损失函数，对所述第二判别器进行对比学习训练的同时，迭代地对所述源域图像生成器和对比学习训练后的第二判别器进行对抗训练，得到训练完成的源域图像生成器。
根据本申请实施例，所述装置还包括：
真伪判别单元，用于通过所述第一判别器的全连层，对所述目标域正例样本的特征表示和所述目标域负例样本的特征表示进行真伪判别，获取第一判别结果；
对抗损失函数构建单元，用于基于所述第一判别结果，构建第一生成对抗损失函数；
所述优化训练单元还用于以所述目标域正例样本和所述目标域负例样本为所述第一判别器的输入，结合所述第一生成对抗损失函数，迭代地对所述目标域图像生成器和所述第一判别器的全连层进行对抗训练，得到训练完成的目标域图像生成器。
根据本申请实施例，所述真伪判别单元还用于通过所述第二判别器的全连层，对所述源域正例样本的特征表示和所述负例样本的特征表示进行真伪判别，获取第二判别结果；
所述对抗损失函数构建单元还用于基于所述第二判别结果，构建第二生成对抗损失函数；
所述优化训练单元还用于以所述源域正例样本和所述源域负例样本为所述第二判别器的输入，结合所述第二生成对抗损失函数，迭代地对所述源域图像生成器和所述第二判别器的全连层进行对抗训练，得到训练完成的目标域图像生成器。
根据本申请实施例，所述装置还包括：
图像恢复单元，用于通过所述源域图像生成器，恢复所述第一清晰人脸图像在所述源域的第二遮挡人脸图像；
所述图像恢复单元还用于通过所述目标域图像生成器，恢复所述第一遮挡人脸图像在所述目标域的第二清晰人脸图像；
循环一致性损失函数构建单元，用于基于所述第二遮挡人脸图像与所述遮挡人脸图像样本的差异，以及所述第二清晰人脸图像与所述清晰人脸图像样本的差异，构建循环一致性损失函数；
所述优化训练单元还用于以所述目标域正例样本和所述目标域负例样本为第一判别器的输入，以所述源域正例样本和所述源域负例样本为第二判别器的输入，结合所述第一对比损失函数、所述第二对比损失函数、所述循环一致性损失函数，对所述第一判别器以及所述第二判别器进行对比学习训练的同时，迭代地对所述目标域图像生成器、所述源域图像生成器、对比训练后的第一判别器和对比训练后的第二判别器进行对抗训练，得到训练完成的源域图像生成器和训练完成的目标域图像生成器。
根据本申请实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中所述的人脸图像迁移方法。
根据本申请实施例的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中所述的人脸图像迁移方法。
根据本申请实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的人脸图像迁移方法。
在本申请一些实施例的技术方案中，第一判别器进行对比学习训练，并对目标域图像生成器和对比学习训练后的第一判别器进行对抗训练，提高了第一生成器的性能，从而提高了人脸图像迁移的稳定性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
通过参照附图详细描述其示例性实施例，本申请的上述和其它特征及优点将变得更加明显。
图1示出了可以应用本申请实施例的技术方案的示例性系统架构示意图。
图2示出了根据本申请一个实施例的人脸图像迁移方法流程图。
图3示出了根据本申请一个实施例的生成对抗网络的训练过程的流程图。
图4示出了根据本申请一个实施例的第一判别器对比学习训练过程的流程图。
图5示出了根据本申请一个实施例的人脸迁移图像方法的流程图。
图6示出了根据本申请一个实施例的人脸图像迁移方法的流程图。
图7示出了根据本申请一个实施例的人脸图像迁移方法的流程图。
图8示出了根据本申请一个实施例的人脸图像迁移方法的流程图。
图9示出了根据本申请一个实施例的人脸图像迁移方法的流程图。
图10示出了根据本申请一个实施例的人脸图像迁移方法的流程图。
图11示出了根据本申请一个实施例的循环生成对抗网络模型的主要结构示意图。
图12示出了根据本申请一个实施例的图像生成器的网络架构图。
图13示出了根据本申请一个实施例的判别器的网络架构示意图。
图14示出了根据本申请的一个实施例的一种人脸图像迁移装置。
图15示出了根据本申请的一个实施例的电子设备。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
还需要注意的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的对象在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在图示或描述的那些以外的顺序实施。
首先，本申请对人脸图像迁移方法的应用场景进行简单说明。
在本申请中，人脸图像迁移方法可以应用在人脸图像识别，视频特效，安全验证等领域。
图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图。
如图1所示，系统架构可以包括终端设备(如图1中所示智能手机101、平板电脑102和便携式计算机103中的一种或多种)、网络104和服务器105。网络104用以在终端设备和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线通信链路、无线通信链路等等。
在本申请的一个实施例中，可以是由服务器105获取人脸图像样本集、目标域图像生成器以及第一判别器，并迭代地对所述目标域图像生成器和对比学习训练后的第一判别器进行对抗训练，得到训练完成的目标域图像生成器。
在本实施例中，服务器105可以获取来自终端设备的待迁移遮挡人脸图片，利用目标域图像生成器将待迁移遮挡人脸图片生成迁移清晰人脸图像，并将生成的迁移清晰人脸图像反馈至终端设备。
需要说明的是，本申请实施例所提供的人脸图像迁移方法可以由服务器105执行，相应地，人脸图像迁移装置一般设置于服务器105中。但是，在本申请的其它实施例中，终端设备也可以与服务器具有相似的功能，从而执行本申请实施例所提供的人脸图像迁移方案。
还需要说明的是，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此，本申请在此不做限制。
需要解释的是，如上所述的云计算(cloud computing)是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展。通过建立云计算资源池(简称云平台，一般称为IaaS(Infrastructure as a Service，基础设施即服务)平台，在资源池中部署多种类型的虚拟资源，供外部客户选择使用。云计算资源池中主要包括：计算设备(为虚拟化机器，包含操作系统)、存储设备、网络设备。
下面将结合图2对本申请实施例的人脸图像迁移方法的技术方案的实现细节进行详细阐述：
图2示出了根据本申请一个实施例的人脸图像迁移方法的流程图。该人脸图像迁移方法可以由具有计算处理功能的实体设备或者虚拟设备来执行。如图2所示，该人脸图像迁移方法至少包括步骤210至步骤260。
步骤210：获取人脸图像样本集、目标域图像生成器以及第一判别器，人脸图像样本集包括源域中的遮挡人脸图像样本和目标域中的清晰人脸图像样本。
本申请实施例设计了一种生成对抗网络，该生成对抗网络包括目标域图像生成器和第一判别器。目标域图像生成器用于将源域的原始图片迁移至目标域，得到预测的图像。第一判别器判别输入第一判别器的图像的真伪，即判断输入第一判别器的图像是真实的还是目标域图像生成器生成的。
生成对抗网络基于对抗博弈思想(two-player game)设计的，即目标域图像生成器尽可能生成与目标域数据集图片分布相似的图片以欺骗第一判别器，而第一判别器则尽可能判别出输入图像是真实的图像还是标域图像生成器生成的图像。
本申请实施例中，源域和目标域的图像样本集是用于对抗训练目标域图像生成器和第一判别器的数据集合。源域中遮挡人脸图像样本包括人脸被口罩的图像、马赛克图像或者头像破损残缺图像等图像。目标域清晰人脸图像样本包括人脸未被遮挡的图像。可以理解，源域用于表征图像迁移前所在的图像域。目标域用于表征图像迁移后所在的图像域。
在一个实施例中，源域和目标域图像样本集中的图像样本可以是通过图像采集装置采集的常规图像，比如通过相机拍摄的人脸图像等，还可以是视频中的视频帧，或者是目前机器学习领域公开的人脸图像训练集，如MultiPIE数据库中的图像。
步骤220：对清晰人脸图像样本进行增广，得到目标域正例样本。
本申请实施利用对比学习方法对第一判别器的特征提取器进行训练，此步骤构建对比学习训练需要的正例样本。通过对清晰人脸图像样本中的每个样本分别进行两种策略的增广处理构建多个对比样例对，对比样例对中的两个样本均是目标域正例样本。经过增广处理(包括但不限于裁剪、灰度变化、旋转等变换手段)的对比样例对，其中的两个样本是同源的，所以两个样本相似但又不同。
本申请实施例中，由于正例样本是由真实图片增广处理得到的，因此正例样本的标签为真，方便后续可以实现第一判别器的监督对比学习训练。
步骤230：通过目标域图像生成器，预测遮挡人脸图像样本在所述目标域的第一清晰人脸图像，并将第一清晰人脸图像作为目标域负例样本。
本申请实施例利用目标域图像生成器将源域的遮挡人脸图像样本迁移到目标域，得到的第一清晰人脸图像，并将第一清晰人脸图像作为目标域负例样本。至此，可以构建完成对比学习训练需要的正负例样本。
本申请实施例中，负例样本是由生成器生成的标签为伪，方便后续可以实现第一判别器监督对比学习训练。
步骤240：以目标域正例样本和目标域负例样本为第一判别器的输入，结合预设的第一对比损失函数，对第一判别器进行对比学习训练的同时，迭代地对目标域图像生成器和对比学习训练后的第一判别器进行对抗训练，得到训练完成的目标域图像生成器。
本申请实施例中，将目标域正例样本和目标域负例样本输入第一判别器第一判别器可以采用对比学习网络模型，如SimCLR、MOCO等模型。通过本申请设计的第一对比损失函数，迭代地对第一判别器进行对比学习约束训练，第一判别器中各节点权重参数更新，使得第一判别器可以更好的提取输入图像的关键特征表示，为后续判别输入图像的真伪做准备。
需要说明的是，本申请实施例可以采用批梯度下降法(mini-batch gradientdecent)对第一判别器进行对比学习约束训练，此时目标域正例样本和目标域负例样本只是单个轮次输入第一判别器的样本，即一个mini-batch。将多个轮次的正负例样本分批次输入第一判别器，迭代地对第一判别器进行训练，由一个轮次的样本共同决定本轮梯度下降方向，可以减少随机性，同时一个轮次的样本量相对较小，可以减少计算量。
在对第一判别器进行对比学习训练的同时，还可以结合第一对比损失函数和其他损失函数，如生成对抗损失或循环一致性损失函数，迭代地对目标域图像生成器和第一判别器进行对抗训练，对生成对抗网络模型中所有节点的权重参数进行更新，得到训练完成的目标域图像生成器。
步骤250：获取源域中待迁移遮挡人脸图像。
在完成生成对抗网络训练后，可以利用该网络迁移待迁移遮挡人脸图像。
步骤260：通过训练完成的目标域图像生成器，预测待迁移遮挡人脸图像在目标域中的迁移清晰人脸图像。
本申请实施例中通过对对抗生成网络中判别器进行对比学习训练，提高生成对抗网络的整体稳定性，提高图像生成器将源域待迁移图像迁移到目标域的性能。
图3示出了根据本申请一个实施例的生成对抗网络的训练过程的流程图。如图3，生成对抗网络的训练过程包括以下步骤。
步骤310：将源域中遮挡人脸图像输入目标域图像生成器。
步骤320：目标域图像生成器将输入图像映射到目标域中，得到预测的未遮挡人脸图像。
步骤330：第一判别器对预测的未遮挡人脸图像进行真伪判别。
步骤340：如果判别结果为真，则完成生成对抗网络的训练。
步骤350：如果判别结果为伪，则更新目标域图像生成器和第一判别器中的参数。
在一实施例中，对目标域图像生成器和第一判别器进行对抗训练，当第一判别器判别输入其中的图像均为真时，则说明目标域图像生成器生成的图像与目标域中的图像几乎相同，性能满足要求。
在一实施例中，第一对比损失函数包括第一正例损失函数和第一负例损失函数；其中，第一正例损失函数根据自监督对比损失函数生成，可以使正例样本中同源的样本在嵌入空间的特征表示相互吸引。嵌入空间可以是超球面特征空间。
在一实施例中，将正例样本的标签均设为真，将负例样本的标签设为伪，第一负例损失函数可以根据监督对比损失函数生成，可以使负例样本中的样本在嵌入空间的特征表示相互吸引，正例样本与负例样本在嵌入空间的特征表示相互远离。
第一正例损失函数的表示公式如下：
Figure BDA0003142307450000111
其中，N代表目标域中清晰人脸图像样本的样本数量，清晰人脸图像样本经过第一增广处理后的样本数量是N，清晰人脸图像样本经过第二增广处理后的样本数量也是N，
Figure BDA0003142307450000121
代表清晰人脸图像样本先经过第一增广处理再抽取得到的特征表示向量，
Figure BDA0003142307450000122
代表清晰人脸图像样本先经过第二增广处理再抽取得到的特征表示向量，
Figure BDA0003142307450000123
表示
Figure BDA0003142307450000124
中除
Figure BDA0003142307450000125
之外的其他元素的集合，S代表向量内积函数，LNCE代表自监督对比损失函数；
LNCE的表示公式如下：
Figure BDA0003142307450000126
在自监督对比学习中，同源的两张图像(同一张清晰人脸图像增广得到的两张图像)互为正样例对，不同源的图像互为负样例对，正、负例样本无标签，因此，第一判别器进行无监督对比学习。第一判别器首先对正、负样例对进行关键特征提取，得到特征表示向量；然后将特征表示向量进行L2范数约束，使形成的特征表示向量分布在超球面上；最后利用第一正例损失函数
Figure BDA0003142307450000127
使在超球面特征空间中的正样例对靠近且负样例对远离。
第一负例损失函数的表示公式如下：
Figure BDA0003142307450000128
其中，N代表负例样本的样本数量，vf代表负例样本抽取得到的特征表示向量，vf,-i代表vf中除vf,i之外的其他元素的集合，Lsupcon代表监督对比损失函数。
Lsupcon的表示公式如下：
Figure BDA0003142307450000129
其中，V代表vf、
Figure BDA00031423074500001210
和
Figure BDA00031423074500001211
的集合,vf,k,-i代表vf,-i中的第k个元素。
在监督对比学习中，正例样本的标签均为真，负例样本的标签均为伪，因此，第一判别器可以进行有监督地对比学习。第一判别器首先对正、负样例对进行关键特征提取，得到特征表示向量；然后将特征表示向量进行L2范数约束，使形成的特征表示向量分布在超球面上；最后利用第一负例损失函数
Figure BDA0003142307450000131
使在超球面特征空间中的负样例对靠近且与正样例对远离。
需要说明的是，一实施例可以采用批梯度下降法(mini-batch gradient decent)对第一判别器进行对比学习约束训练，此时，2N代表单个轮次输入第一判别器的正例样本数量，N代表单个轮次输入第一判别器的负例样本数量。
图4示出了根据本申请一个实施例的第一判别器对比学习训练过程的流程图。第一判别器包括特征提取层和全连层。如图4，第一判别器对比学习训练过程如下。
1)将正例样本和负例样本输入特征提取层。
2)特征提取层提取正例样本和负例样本在嵌入空间的特征表示。
3)根据正例样本和负例样本在嵌入空间的特征表示计算对比损失函数。
本申请实施例根据
Figure BDA0003142307450000132
和
Figure BDA0003142307450000133
得到第一正例对比损失函数
Figure BDA0003142307450000134
根据vf、
Figure BDA0003142307450000135
和
Figure BDA0003142307450000136
得到第一正例对比损失函数
Figure BDA0003142307450000137
4)根据对比损失调整第一判别器的特征提取层参数，对比损失在特征提取层的最后一层停止梯度传播。
5)第一判别器的全连层对正例样本和负例样本在嵌入空间的特征表示进行真伪判别。
图5示出了根据本申请一个实施例的人脸迁移图像方法的流程图，如图3所示，人脸图像迁移方法包括以下步骤。
步骤510：获取源域图像生成器和第二判别器。
步骤520：对遮挡人脸图像样本进行增广，得到源域正例样本。
步骤530：通过源域图像生成器，预测清晰人脸图像样本在源域的第一遮挡人脸图像，并将第一遮挡人脸图像作为源域负例样本。
步骤540：以源域正例样本和源域负例样本为第二判别器的输入，结合预设的第二对比损失函数，对所述第二判别器进行对比学习训练的同时，迭代地对目标域图像生成器和对比训练后的第二判别器进行对抗训练，得到训练完成的源域图像生成器。
步骤550：获取目标域中待迁移清晰人脸图像。
步骤560：通过训练完成的源域图像生成器，预测待迁移清晰人脸图像在所述源域中的迁移遮挡人脸图像。
在一实施例中，源域图像生成器和第二判别器与目标域图像生成器和第一判别器为镜像对称设计，根据的相同的原理，可以对源域图像生成器和第二判别器进行训练，得到训练完成的源域图像生成器。至此可以完成图像的双向迁移，即可以将图像从其所在图像域迁移到另一图像域。
图6示出了根据本申请一个实施例的人脸图像迁移方法的流程图，如图6，人脸图像迁移方法还包括以下步骤。
步骤610：分别提取遮挡人脸图像样本的人脸局部的第一内容特征、第一清晰人脸图像的人脸局部的第二内容特征。
在一实施例中，遮挡人脸图像中未被遮挡的局部的信息是已知的关键的信息。例如被口罩遮挡的人脸图像中人脸上半部信息是清晰的，包含眉眼形态、定位等重要信息。
在实际应用中可以采用VGG-16来提取人脸面部信息的内容特征，VGG-16是在已有的大规模人脸数据集上预训练好的模型。
步骤620：基于第一内容特征与第二内容特征之间的差异构建第一面部匹配损失函数。
由于遮挡人脸图像中未被遮挡的局部的信息是已知的，那么第一内容特征与第二内容特征之间的差异直接反映了生成对抗网络的整体性能。因此，本申请实施例根据第一内容特征与第二内容特征之间的差异构建损失函数，来约束训练生成对抗网络。
在一种具体实施方式中，第一面部匹配损失函数Lf1的公式表示如下：
Lf1＝‖HF(F(X)-HF(X)‖2
其中，F代表目标域图像生成器的映射函数，X代表源域的遮挡人脸图像样本，HF代表提取图像人脸上半部内容特征函数，‖.‖2代表2范式。
步骤630：以目标域正例样本和目标域负例样本为第一判别器的输入，结合第一对比损失函数和第一面部匹配损失函数，对第一判别器进行对比学习训练的同时，迭代地对目标域图像生成器和对比学习训练后的第一判别器进行对抗训练，得到训练完成的目标域图像生成器。
在一实施例中，单独地对人脸图像中局部的面部特征信息进行处理，可以增加局部的面部特征的损失函数，侧重考量真实图像和预测图像人脸局部的特征信息的差异，以达到减少人脸图像面部信息丢失的目的，使迁移后的人脸图像的人脸局部的特征信息尽可能与原图像的局部的特征信息相匹配，达到更好的人脸迁移效果。
图7示出了根据本申请一个实施例的示出的人脸图像迁移方法的流程图。如图7，人脸图像迁移方法还包括以下步骤。
步骤710：分别提取清晰人脸图像样本的人脸局部的第三内容特征和第一遮挡人脸图像的人脸局部的第四内容特征。
步骤720：基于第三内容特征与第四内容特征之间的差异，构建第二面部匹配损失函数。
步骤730：以源域正例样本和源域负例样本为第二判别器的输入，结合第二对比损失函数和第二面部匹配损失函数，对第二判别器进行对比学习训练的同时，迭代地对源域图像生成器和对比学习训练后的第二判别器进行对抗训练，得到训练完成的源域图像生成器。
与目标域图像生成器和第一判别器的设计同理，本申请实施例引入第二面部匹配损失函数Lf2，以考量真实图像和预测图像人脸局部的特征信息的差异，Lf2的公式表示为：
Lf2＝‖HF(G(Y)-HF(Y)‖2
其中，G代表源域图像生成器的映射函数，Y代表目标域的清晰人脸图像样本，HF代表提取图像人脸上半部内容特征函数，‖.‖2代表2范式。
图8示出了根据本申请一个实施例的示出的人脸图像迁移方法的流程图。如图8，人脸图像迁移方法还包括以下步骤。
步骤810：通过第一判别器的全连层，对目标域正例样本的特征表示和目标域负例样本的特征表示进行真伪判别，获取第一判别结果。
在一实施例中，第一判别器包括目标域特征提取层和目标域全连层。目标域特征提取器用于抽取输入图像的关键特征表示，抽取的关键特征表示用于后续对图像数据进行识别或分类。目标域全连层作为特征提取器的后置网络，用于对特征提取器提取的图像的关键特征表示进行判别，全连层基于特征表示判别输入的图像是真实的图像还是由目标域生成器生成的图像，获取第一判别结果。
步骤820：基于第一判别结果，构建第一生成对抗损失函数。
第一生成对抗损失函数LGAN(F,DY)的表达公式为:
Figure BDA0003142307450000161
其中，F代表目标域图像生成器的映射函数，X代表源域的遮挡人脸图像样本，Y代表目标域的清晰人脸图像样本，DY代表第一判别器的全连层的判别函数，Pdata(.)代表数据的分布，～代表服从关系，E代表数学期望函数。
步骤830：以目标域正例样本和目标域负例样本为第一判别器的输入，结合第一生成对抗损失函数，迭代地对目标域图像生成器和第一判别器的全连层进行对抗训练，得到训练完成的目标域图像生成器。
在一实施例中，第一生成对抗损失函数仅用于约束训练目标域图像生成器和第一判别器的全连层，第一判别器的特征提取层由对比学习损失函数约束训练。第一生成对抗损失函数，基于对抗博弈思想(two-player game)设计，使目标域图像生成器尽可能生成与目标域数据集图片分布相似的图片以欺骗第一判别器，而第一判别器则尽可能判别出输入图像是真实的图像还是标域图像生成器生成的图像。通过二者博弈对抗，提升网络整体性能。
图9示出了根据本申请一个实施例的示出的人脸图像迁移方法的流程图。如图9，人脸图像迁移方法还包括以下步骤。
步骤910：通过第二判别器的全连层，对源域正例样本的特征表示和源域负例样本的特征表示进行真伪判别，获取第二判别结果。
步骤920：基于第二判别结果，构建第二生成对抗损失函数。
与第一生成对抗损失函数的构建同理，第二生成对抗损失函数LGAN(G,DX)的表达公式为:
Figure BDA0003142307450000162
其中，G代表源域图像生成器的映射函数，X代表源域的遮挡人脸图像样本，Y代表目标域的清晰人脸图像样本，DX代表第二判别器的全连层的判别函数，Pdata(.)代表数据的分布，～代表服从关系，E代表数学期望函数。
步骤930：以源域正例样本和源域负例样本为第二判别器的输入，结合第二生成对抗损失函数，迭代地对源域图像生成器和第二判别器的全连层进行对抗训练，得到训练完成的目标域图像生成器。
该实施例同样基于对抗博弈思想对源域图像生成器和第二判别器的全连层进行生成对抗训练，提升网络整体性能。
图10示出了根据本申请一个实施例的示出的人脸图像迁移方法的流程图。如图10，人脸图像迁移方法还包括以下步骤。
步骤1010：通过源域图像生成器，恢复第一清晰人脸图像在源域的第二遮挡人脸图像。
步骤1020：通过目标域图像生成器，恢复第一遮挡人脸图像在目标域的第二清晰人脸图像。
步骤1030：基于第二遮挡人脸图像与遮挡人脸图像样本的差异，以及第二清晰人脸图像与清晰人脸图像样本的差异，构建循环一致性损失函数。
循环一致性损失函数的公式表示为：
Figure BDA0003142307450000171
其中，F代表目标域图像生成器的映射函数，G代表源域图像生成器的映射函数，X代表源域的遮挡人脸图像样本，Y代表目标域的清晰人脸图像样本，DX代表第二判别器的全连层的判别函数，Pdata(.)代表数据的分布，～代表服从关系，E代表数学期望函数。
步骤1040：以目标域正例样本和目标域负例样本为第一判别器的输入，以源域正例样本和源域负例样本为第二判别器的输入，结合第一对比损失函数、第二对比损失函数、循环一致性损失函数，对第一判别器以及第二判别器进行对比学习训练的同时，迭代地对目标域图像生成器、源域图像生成器、对比训练后的第一判别器和对比训练后的第二判别器进行对抗训练，得到训练完成的源域图像生成器和训练完成的目标域图像生成器。
在一实施例中，LCCL的第一部分为前向一致性循环损失函数，第二部分为后向一致性损失函数共同构成。图11示出了根据本申请一个实施例的循环生成对抗网络模型的主要结构示意图，如图11所示,前向一致性循环损失函数通过同时学习目标域图像生成器和源域图像生成器的两种映射，将源域图像转换到目标域后再恢复到源域，并计算第二遮挡人脸图像与遮挡人脸图像样本的损失，从而约束训练整个网络，以避免源域中所有图像映射为目标域中同一张图像的可能性，使得源域中的某个真实遮挡人脸图像与其对应的恢复遮挡人脸图像尽可能相同。同理，后向一致性循环损失函数第二清晰人脸图像与清晰人脸图像样本的损失，从而约束训练整个网络，以避免目标域中所有图像映射为源域中同一张图像的可能性。
图12示出了根据本申请一个实施例的图像生成器的网络架构图。如图12所示，图像生成器网络主要由编码器1210、转换器1220及解码器1230组成。
编码器1210可以由步幅为2的三层卷积层构成，每层卷积层以Convolution-BN-ReLu组合形式组成；编码器1210通过卷积层对输入图像执行一系列下采样操作以提取输入图像的特征向量。
转化器1220可以由9层残差块构成；转化器1220将编码器1210提取的输入图像的特征向量转换成输入图像在另一域的特征向量。
解码器1230可以由两层反卷积层及一层卷积层构成；解码器1230通过反卷积层执行上采样操作，将逐级从输入图像在另一域的特征向量还原输入图像的低级特征，直至生成输入图像在另一域对应的图像。
图13示出了根据本申请一个实施例的判别器的网络架构示意图。如图13所示，判别器网络可以采用PatchGAN结构。整个网络由五层卷积层构成，每层卷积层采用Convolution-BN-ReLu组合形式。其中前四层卷积层为特征提取层1310，提取输入图像在嵌入空间的特征表示向量，最后一层为全连层1320，通过最后一层卷积层对输入图像在嵌入空间的特征表示向量进行真伪判别，作为判别器的最终判断结果。
在一实施例中，PatchGAN可以采用70x70的网络，相较于全图像的鉴别器网络结构，PatchGAN网络结构所需参数更少，且可以适用于任意大小图片。
以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的人脸图像迁移方法。对于本申请装置实施例中未披露的细节，请参照本申请上述的脸图像迁移方法的实施例。
图14示出了根据本申请的一个实施例的一种人脸图像迁移装置，装置包括以下部分。
初始化单元1410，用于获取人脸图像样本集、目标域图像生成器以及第一判别器，人脸图像样本集包括源域中的遮挡人脸图像样本和目标域中的清晰人脸图像样本；
正例样本获取单元1420，用于对清晰人脸图像样本进行增广，得到目标域正例样本；
负例样本获取单元1430，用于通过目标域图像生成器，预测遮挡人脸图像样本在目标域的第一清晰人脸图像，并将第一清晰人脸图像作为目标域负例样本；
优化训练单元1440，用于以目标域正例样本和目标域负例样本为第一判别器的输入，结合预设的第一对比损失函数，对第一判别器进行对比学习训练的同时，迭代地对目标域图像生成器和对比学习训练后的第一判别器进行对抗训练，得到训练完成的目标域图像生成器；
待迁移数据获取单元1450，用于获取源域中待迁移遮挡人脸图像；
迁移单元1460，通过训练完成的目标域图像生成器，预测待迁移遮挡人脸图像在目标域中的迁移清晰人脸图像。
根据本申请实施例，初始化单元还用于获取源域图像生成器和第二判别器；
正例样本获取单元还用于对遮挡人脸图像样本进行增广，得到源域正例样本；
负例样本获取单元还用于通过源域图像生成器，预测清晰人脸图像样本在源域的第一遮挡人脸图像，并将第一遮挡人脸图像作为源域负例样本；
优化训练单元还用于以源域正例样本和源域负例样本为第二判别器的输入，结合预设的第二对比损失函数，对第二判别器进行对比学习训练的同时，迭代地对目标域图像生成器和对比训练后的第二判别器进行对抗训练，得到训练完成的源域图像生成器；
待迁移数据获取单元还用于获取目标域中待迁移清晰人脸图像；
迁移单元还用于通过训练完成的源域图像生成器，预测待迁移清晰人脸图像在源域中的迁移遮挡人脸图像。
根据本申请实施例，人脸图像迁移装置还包括：
局部特征提取单元，用于提取遮挡人脸图像样本的人脸局部的第一内容特征、第一清晰人脸图像的人脸局部的第二内容特征；
面部匹配损失函数构建单元，用于基于第一内容特征与第二内容特征之间的差异构建第一面部匹配损失函数；
优化训练单元还用于以目标域正例样本和目标域负例样本为第一判别器的输入，结合第一对比损失函数和第一面部匹配损失函数，对第一判别器进行对比学习训练的同时，迭代地对目标域图像生成器和对比学习训练后的第一判别器进行对抗训练，得到训练完成的目标域图像生成器。
根据本申请实施例，局部特征提取单元还用于提取清晰人脸图像样本的人脸局部的第三内容特征和第一遮挡人脸图像的人脸局部的第四内容特征；
面部匹配损失函数还用于构建单元基于第三内容特征与第四内容特征之间的差异，构建第二面部匹配损失函数；
优化训练单元还用于以源域正例样本和源域负例样本为第二判别器的输入，结合第二对比损失函数和第二面部匹配损失函数，对第二判别器进行对比学习训练的同时，迭代地对源域图像生成器和对比学习训练后的第二判别器进行对抗训练，得到训练完成的源域图像生成器。
根据本申请实施例，人脸图像迁移装置还包括：
真伪判别单元，用于通过第一判别器的全连层，对目标域正例样本的特征表示和目标域负例样本的特征表示进行真伪判别，获取第一判别结果；
对抗损失函数构建单元，用于基于第一判别结果，构建第一生成对抗损失函数；
优化训练单元还用于以目标域正例样本和目标域负例样本为第一判别器的输入，结合第一生成对抗损失函数，迭代地对目标域图像生成器和第一判别器的全连层进行对抗训练，得到训练完成的目标域图像生成器。
根据本申请实施例，真伪判别单元还用于通过第二判别器的全连层，对源域正例样本的特征表示和负例样本的特征表示进行真伪判别，获取第二判别结果；
对抗损失函数构建单元还用于基于第二判别结果，构建第二生成对抗损失函数；
优化训练单元还用于以源域正例样本和源域负例样本为第二判别器的输入，结合第二生成对抗损失函数，迭代地对源域图像生成器和第二判别器的全连层进行对抗训练，得到训练完成的目标域图像生成器。
根据本申请实施例，人脸图像迁移装置还包括：
图像恢复单元，用于通过源域图像生成器，恢复第一清晰人脸图像在源域的第二遮挡人脸图像；
图像恢复单元还用于通过目标域图像生成器，恢复第一遮挡人脸图像在目标域的第二清晰人脸图像；
循环一致性损失函数构建单元，用于基于第二遮挡人脸图像与遮挡人脸图像样本的差异，以及第二清晰人脸图像与清晰人脸图像样本的差异，构建循环一致性损失函数；
优化训练单元还用于以目标域正例样本和目标域负例样本为第一判别器的输入，以源域正例样本和源域负例样本为第二判别器的输入，结合第一对比损失函数、第二对比损失函数、循环一致性损失函数，对第一判别器以及第二判别器进行对比学习训练的同时，迭代地对目标域图像生成器、源域图像生成器、对比训练后的第一判别器和对比训练后的第二判别器进行对抗训练，得到训练完成的源域图像生成器和训练完成的目标域图像生成器。
应当注意，尽管在上文详细描述中提及了人脸图像迁移方法以及人脸图像迁移装置的若干单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
作为另一方面，本申请还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本申请的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本申请各种示例性实施方式的步骤。
根据本申请的实施方式的用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
作为另一方面，本申请还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图15来描述根据本申请的这种实施方式的电子设备1500。图15显示的电子设备1500仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图15所示，电子设备1500以通用计算设备的形式表现。电子设备1500的组件可以包括但不限于：上述至少一个处理单元1510、上述至少一个存储单元1520、连接不同系统组件(包括存储单元1520和处理单元1510)的总线1530。
其中，存储单元存储有程序代码，程序代码可以被处理单元1510执行，使得处理单元1510执行本说明书上述“实施例方法”部分中描述的根据本申请各种示例性实施方式的步骤。
存储单元1520可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)1521和/或高速缓存存储单元1522，还可以进一步包括只读存储单元(ROM)1523。
存储单元1520还可以包括具有一组(至少一个)程序模块1525的程序/实用工具1524，这样的程序模块1525包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线1530可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备1500也可以与一个或多个外部设备1600(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1500交互的设备通信，和/或与使得该电子设备1500能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1550进行。并且，电子设备1500还可以通过网络适配器1560与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器1560通过总线1530与电子设备1500的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1500使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本申请实施方式的方法。
此外，上述附图仅是根据本申请示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种人脸图像迁移方法，其特征在于，所述方法包括：
获取人脸图像样本集、目标域图像生成器以及第一判别器，所述人脸图像样本集包括源域中的遮挡人脸图像样本和目标域中的清晰人脸图像样本；
对所述清晰人脸图像样本进行增广，得到目标域正例样本；
通过所述目标域图像生成器，预测所述遮挡人脸图像样本在所述目标域的第一清晰人脸图像，并将所述第一清晰人脸图像作为目标域负例样本；
以所述目标域正例样本和所述目标域负例样本为第一判别器的输入，结合预设的第一对比损失函数，对所述第一判别器进行对比学习训练的同时，迭代地对所述目标域图像生成器和对比学习训练后的第一判别器进行对抗训练，得到训练完成的目标域图像生成器；
获取所述源域中待迁移遮挡人脸图像；
通过所述训练完成的目标域图像生成器，预测所述待迁移遮挡人脸图像在所述目标域中的迁移清晰人脸图像。
2.根据权利要求1所述的方法，其特征在于，所述第一对比损失函数包括第一正例损失函数和第一负例损失函数；
其中，所述第一正例损失函数用于使所述正例样本中同源的样本在嵌入空间的特征表示相互吸引；
所述第一负例损失函数用于使所述负例样本中的样本在所述嵌入空间的特征表示相互吸引，所述正例样本与所述负例样本在所述嵌入空间的特征表示相互远离。
3.根据权利要求1所述的方法，其特征在于，所述第一正例损失函数的表示公式如下：
Figure FDA0003142307440000011
其中，N代表所述目标域中清晰人脸图像样本的样本数量，
Figure FDA0003142307440000012
代表所述清晰人脸图像样本先经过第一增广处理再抽取得到的特征表示向量，
Figure FDA0003142307440000021
代表所述清晰人脸图像样本先经过第二增广处理再抽取得到的特征表示向量，
Figure FDA0003142307440000022
表示
Figure FDA0003142307440000023
中除
Figure FDA0003142307440000024
之外的其他元素的集合，S代表向量内积函数，LNCE代表自监督对比损失函数；
所述第一负例损失函数的表示公式如下：
Figure FDA0003142307440000025
其中，N代表所述负例样本的样本数量，vf代表由所述目标域图像生成器生成(的所述负例样本抽取得到的特征表示向量，vf，-i代表vf中除vf，i之外的其他元素的集合，Lsupcon代表监督对比损失函数。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取源域图像生成器和第二判别器；
对所述遮挡人脸图像样本进行增广，得到源域正例样本；
通过所述源域图像生成器，预测所述清晰人脸图像样本在所述源域的第一遮挡人脸图像，并将所述第一遮挡人脸图像作为源域负例样本；
以所述源域正例样本和所述源域负例样本为第二判别器的输入，结合预设的第二对比损失函数，对所述第二判别器进行对比学习训练的同时，迭代地对所述目标域图像生成器和所述对比训练后的第二判别器进行对抗训练，得到训练完成的源域图像生成器；
获取所述目标域中待迁移清晰人脸图像；
通过所述训练完成的源域图像生成器，预测所述待迁移清晰人脸图像在所述源域中的迁移遮挡人脸图像。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
分别提取所述遮挡人脸图像样本的人脸局部的第一内容特征、所述第一清晰人脸图像的人脸局部的第二内容特征；
基于所述第一内容特征与所述第二内容特征之间的差异构建第一面部匹配损失函数；
以所述目标域正例样本和所述目标域负例样本为所述第一判别器的输入，结合所述第一对比损失函数和所述第一面部匹配损失函数，对所述第一判别器进行对比学习训练的同时，迭代地对所述目标域图像生成器和对比学习训练后的第一判别器进行对抗训练，得到训练完成的目标域图像生成器。
6.根据权利要求2所述的方法，其特征在于，所述方法还包括：
分别提取所述清晰人脸图像样本的人脸局部的第三内容特征和所述第一遮挡人脸图像的人脸局部的第四内容特征；
基于所述第三内容特征与所述第四内容特征之间的差异，构建第二面部匹配损失函数；
以所述源域正例样本和所述源域负例样本为所述第二判别器的输入，结合所述第二对比损失函数和所述第二面部匹配损失函数，对所述第二判别器进行对比学习训练的同时，迭代地对所述源域图像生成器和对比学习训练后的第二判别器进行对抗训练，得到训练完成的源域图像生成器。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
通过所述第一判别器的全连层，对所述目标域正例样本的特征表示和所述目标域负例样本的特征表示进行真伪判别，获取第一判别结果；
基于所述第一判别结果，构建第一生成对抗损失函数；
以所述目标域正例样本和所述目标域负例样本为所述第一判别器的输入，结合所述第一生成对抗损失函数，迭代地对所述目标域图像生成器和所述第一判别器的全连层进行对抗训练，得到训练完成的目标域图像生成器。
8.根据权利要求4所述的方法，其特征在于，所述方法还包括：
通过所述第二判别器的全连层，对所述源域正例样本的特征表示和所述负例样本的特征表示进行真伪判别，获取第二判别结果；
基于所述第二判别结果，构建第二生成对抗损失函数；
以所述源域正例样本和所述源域负例样本为所述第二判别器的输入，结合所述第二生成对抗损失函数，迭代地对所述源域图像生成器和所述第二判别器的全连层进行对抗训练，得到训练完成的目标域图像生成器。
9.根据权利要求4所述的方法，其特征在于，所述方法还包括：
通过所述源域图像生成器，恢复所述第一清晰人脸图像在所述源域的第二遮挡人脸图像；
通过所述目标域图像生成器，恢复所述第一遮挡人脸图像在所述目标域的第二清晰人脸图像；
基于所述第二遮挡人脸图像与所述遮挡人脸图像样本的差异，以及所述第二清晰人脸图像与所述清晰人脸图像样本的差异，构建循环一致性损失函数；
以所述目标域正例样本和所述目标域负例样本为第一判别器的输入，以所述源域正例样本和所述源域负例样本为第二判别器的输入，结合所述第一对比损失函数、所述第二对比损失函数、所述循环一致性损失函数，对所述第一判别器以及所述第二判别器进行对比学习训练的同时，迭代地对所述目标域图像生成器、所述源域图像生成器、对比训练后的第一判别器和对比训练后的第二判别器进行对抗训练，得到训练完成的源域图像生成器和训练完成的目标域图像生成器。
10.一种人脸图像迁移装置，其特征在于，所述装置包括：
初始化单元，用于获取人脸图像样本集、目标域图像生成器以及第一判别器，所述人脸图像样本集包括源域中的遮挡人脸图像样本和目标域中的清晰人脸图像样本；
正例样本获取单元，用于对所述清晰人脸图像样本进行增广，得到目标域正例样本；
负例样本获取单元，用于通过所述目标域图像生成器，预测所述遮挡人脸图像样本在所述目标域的第一清晰人脸图像，并将所述第一清晰人脸图像作为目标域负例样本；
优化训练单元，用于以所述目标域正例样本和所述目标域负例样本为所述第一判别器的输入，结合预设的第一对比损失函数，对所述第一判别器进行对比学习训练的同时，迭代地对所述目标域图像生成器和对比学习训练后的第一判别器进行对抗训练，得到训练完成的目标域图像生成器；
待迁移数据获取单元，用于获取所述源域中待迁移遮挡人脸图像；
迁移单元，通过所述训练完成的目标域图像生成器，预测所述待迁移遮挡人脸图像在所述目标域中的迁移清晰人脸图像。
CN202110744247.4A 2021-06-30 2021-06-30 人脸图像迁移方法及装置 Active CN113435365B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110744247.4A CN113435365B (zh) 2021-06-30 2021-06-30 人脸图像迁移方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110744247.4A CN113435365B (zh) 2021-06-30 2021-06-30 人脸图像迁移方法及装置

Publications (2)

Publication Number Publication Date
CN113435365A true CN113435365A (zh) 2021-09-24
CN113435365B CN113435365B (zh) 2022-08-16

Family

ID=77758596

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110744247.4A Active CN113435365B (zh) 2021-06-30 2021-06-30 人脸图像迁移方法及装置

Country Status (1)

Country Link
CN (1) CN113435365B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114022740A (zh) * 2021-11-18 2022-02-08 贵州大学 人脸对抗样本生成模型的构建方法、装置及设备
CN114255502A (zh) * 2021-12-23 2022-03-29 中国电信股份有限公司 人脸图像生成方法及装置、人脸识别方法、设备、介质
CN114494789A (zh) * 2022-04-02 2022-05-13 中国科学技术大学 图像风格迁移模型的训练方法、系统、设备及存储介质
CN116152901A (zh) * 2023-04-24 2023-05-23 广州趣丸网络科技有限公司 图像生成模型的训练方法及风格化图像生成方法
WO2023134067A1 (zh) * 2022-01-14 2023-07-20 平安科技（深圳）有限公司 语音分类模型的训练方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229348A (zh) * 2017-12-21 2018-06-29 中国科学院自动化研究所 遮挡人脸图像的识别装置
CN108520503A (zh) * 2018-04-13 2018-09-11 湘潭大学 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法
CN108710896A (zh) * 2018-04-24 2018-10-26 浙江工业大学 基于产生式对抗学习网络的领域学习方法
CN111597946A (zh) * 2020-05-11 2020-08-28 腾讯科技（深圳）有限公司 图像生成器的处理方法、图像生成方法及装置
AU2020103905A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning
CN112800937A (zh) * 2021-01-26 2021-05-14 华南理工大学 一种智能人脸识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229348A (zh) * 2017-12-21 2018-06-29 中国科学院自动化研究所 遮挡人脸图像的识别装置
CN108520503A (zh) * 2018-04-13 2018-09-11 湘潭大学 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法
CN108710896A (zh) * 2018-04-24 2018-10-26 浙江工业大学 基于产生式对抗学习网络的领域学习方法
CN111597946A (zh) * 2020-05-11 2020-08-28 腾讯科技（深圳）有限公司 图像生成器的处理方法、图像生成方法及装置
AU2020103905A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning
CN112800937A (zh) * 2021-01-26 2021-05-14 华南理工大学 一种智能人脸识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YIJUN LI等: "Generative Face Completion", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
李凯旋等: "基于双层生成对抗网络的素描人脸合成方法", 《计算机应用与软件》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114022740A (zh) * 2021-11-18 2022-02-08 贵州大学 人脸对抗样本生成模型的构建方法、装置及设备
CN114255502A (zh) * 2021-12-23 2022-03-29 中国电信股份有限公司 人脸图像生成方法及装置、人脸识别方法、设备、介质
CN114255502B (zh) * 2021-12-23 2024-03-29 中国电信股份有限公司 人脸图像生成方法及装置、人脸识别方法、设备、介质
WO2023134067A1 (zh) * 2022-01-14 2023-07-20 平安科技（深圳）有限公司 语音分类模型的训练方法、装置、设备及存储介质
CN114494789A (zh) * 2022-04-02 2022-05-13 中国科学技术大学 图像风格迁移模型的训练方法、系统、设备及存储介质
CN114494789B (zh) * 2022-04-02 2022-07-15 中国科学技术大学 图像风格迁移模型的训练方法、系统、设备及存储介质
CN116152901A (zh) * 2023-04-24 2023-05-23 广州趣丸网络科技有限公司 图像生成模型的训练方法及风格化图像生成方法
CN116152901B (zh) * 2023-04-24 2023-08-01 广州趣丸网络科技有限公司 图像生成模型的训练方法及风格化图像生成方法

Also Published As

Publication number Publication date
CN113435365B (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
CN113435365B (zh) 人脸图像迁移方法及装置
CN110197099B (zh) 跨年龄人脸识别及其模型训练的方法和装置
WO2022105117A1 (zh) 一种图像质量评价的方法、装置、计算机设备及存储介质
US20180075347A1 (en) Efficient training of neural networks
CN111898696A (zh) 伪标签及标签预测模型的生成方法、装置、介质及设备
CN113139628B (zh) 样本图像的识别方法、装置、设备及可读存储介质
US20220222925A1 (en) Artificial intelligence-based image processing method and apparatus, device, and storage medium
CN111553267B (zh) 图像处理方法、图像处理模型训练方法及设备
WO2022105118A1 (zh) 基于图像的健康状态识别方法、装置、设备及存储介质
CN109034206A (zh) 图像分类识别方法、装置、电子设备及计算机可读介质
CN113327279B (zh) 一种点云数据处理方法、装置、计算机设备及存储介质
CN114241459B (zh) 一种驾驶员身份验证方法、装置、计算机设备及存储介质
US20230036338A1 (en) Method and apparatus for generating image restoration model, medium and program product
WO2023231753A1 (zh) 一种神经网络的训练方法、数据的处理方法以及设备
CN113971733A (zh) 一种基于超图结构的模型训练方法、分类方法及装置
CN118212028A (zh) 虚拟试衣方法、装置、电子设备及可读存储介质
CN116778527A (zh) 人体模型构建方法、装置、设备及存储介质
CN117094362B (zh) 一种任务处理方法及相关装置
CN111582284A (zh) 用于图像识别的隐私保护方法、装置和电子设备
CN115115910A (zh) 图像处理模型的训练方法、使用方法、装置、设备及介质
CN113239799B (zh) 训练方法、识别方法、装置、电子设备和可读存储介质
CN114299304A (zh) 一种图像处理方法及相关设备
CN118172134A (zh) 虚拟试衣方法、装置、电子设备及可读存储介质
CN113379594A (zh) 脸型变换模型训练、脸型变换方法及相关装置
CN111291640B (zh) 用于识别步态的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant