CN109635774A - 一种基于生成对抗网络的人脸合成方法 - Google Patents

一种基于生成对抗网络的人脸合成方法 Download PDF

Info

Publication number
CN109635774A
CN109635774A CN201811572350.XA CN201811572350A CN109635774A CN 109635774 A CN109635774 A CN 109635774A CN 201811572350 A CN201811572350 A CN 201811572350A CN 109635774 A CN109635774 A CN 109635774A
Authority
CN
China
Prior art keywords
image
generator
constraint
ttgan
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811572350.XA
Other languages
English (en)
Other versions
CN109635774B (zh
Inventor
杨猛
叶林彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Sun Yat Sen University
Original Assignee
National Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Sun Yat Sen University filed Critical National Sun Yat Sen University
Priority to CN201811572350.XA priority Critical patent/CN109635774B/zh
Publication of CN109635774A publication Critical patent/CN109635774A/zh
Application granted granted Critical
Publication of CN109635774B publication Critical patent/CN109635774B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明在人脸的合成任务上，基于对抗生成网络CycleGAN架构构建多层次稀疏表达的三次转换虚拟生成神经网络TTGAN。TTGAN提出和加入多层次稀疏表达模型和三次转换一致性约束，针对人脸图像对的目标人脸合成上，TTGAN是多个对抗生成网络的协同作用下结果。多层次稀疏表达模型对输入图片中被生成网络不同特征提取层提取的特征，包含对目标图像相关的身份信息进行约束；三次转换一致性约束利用了模型一次循环所产生的三个含有网络状态信息的不同样本，从而引导整体模型两个生成对抗网络相互协作。TTGAN提出的多层次稀疏表达和三次转换一致性约束，进一步增加CycleGAN的图像生成能力，使合成的人脸图像在保持人脸身份信息和表现出更真实性方面都取得更好的结果。

Description

一种基于生成对抗网络的人脸合成方法
技术领域
本发明涉及人脸合成与生成网络领域，更具体地，涉及一种基于生成对抗网络的人脸合成方法。
背景技术
人脸图像合成是机器视觉的最重要的研究领域之一，并且应用到人脸识别，图像修复，虚拟现实等相关技术。在人脸合成的技术发展上，生成人脸的多样性和人脸身份的保持是两项不同的技术难点，一部分原因是姿态表情等属性变量和人脸图像这种高维表示之间映射的学习是学术界尚未解决的难题之一，另一部分的原因是光照，姿态，遮挡等对人脸图像像素的改变巨大，相比人类非常鲁棒的表现现有的算法在这方面还有很大的距离。目前为止，生成保持人脸身份并且带多种属性变化的人脸还有待更好地解决。
目前人脸生成技术在神经网络方向的研究上取得了一定的成果，尤其是生成式对抗网络(GAN)在该任务上取得目前最好的效果。如P.Isola等在2016年提出的图像到图像的生成式对抗网络(Pix2Pix GAN)，J.Y.Zhu等在2017年提出的利用循环一致性的对抗网络(CycleGAN)，都是生成式对抗网络在人脸合成技术上的取得的最新成果。Pix2Pix GAN在生成器端引入了U-net结构，使生成器的作用方式从噪声到图像改变为图像到图像，可以学习图像对对应的领域之间的隐含关系，但是Pix2Pix GAN仅利用单个生成网络的生成能力，未考虑结合多个生成对抗网络进一步促进生成图像的质量，导致pix2pix GAN生成的人脸图像与CycleGAN的人脸合成图像相比较为模糊。CycleGAN用一致性约束结合了两个生成式对抗网络，两个网络完成互为相反的任务并且对另一个网络的任务产生影响，通过一致性约束使两个网络的优化对另一个网络的优化产生促进的作用。但是在图像对的数据集上应用CycleGAN，CycleGAN并没有充分利用图像对所隐含的监督信息，而是直接学习图像集之间所表示的领域信息，导致CycleGAN很难精准地保证合成的人脸图像保持给定的输入真实人脸的身份特征。另一方面，由于CycleGAN内部包含着自我重建的过程，忽视对重建结果进行有效约束导致CycleGAN容易在难度较大的任务上两个生成器间失去平衡而生成质量很差的结果。
因此，现有的生成式对抗网络在合成人脸的任务上还存在很多不足之处。如并未很好保持人脸的身份信息，单个网络生成能力较弱生成图像质量较为模糊，多个网络之间容易失衡导致合成图像出错等缺点。
发明内容
针对现有的生成式对抗网络，单个网络生成能力较弱生成图像质量较为模糊，多个网络之间容易失衡导致合成图像出错的问题，本发明提出一种基于生成对抗网络的人脸合成方法，本发明采用的技术方案是：
一种基于生成对抗深度网络的人脸合成方法，包括构建和训练优化TTGAN模型，所述的TTGAN模型是两个GAN网络通过相互交互构成的，通过多层次稀疏表达模型和三次转换一致性约束构建模型损失项；然后利用训练优化好的TTGAN模型进行人脸合成的步骤，其中训练TTGAN模型的步骤如下：
TTGAN模型是由两个结构上相同但人脸合成任务相反的生成对抗网络，通过一个循环交互组合而成，每个生成对抗网络GAN同时又分为生成器G和鉴别器D匹配组合而成。生成器的任务是合成人脸，鉴别器的任务是区分真实人脸和合成人脸。TTGAN的生成器构建时采用编码器-解码器框架的U-net结构，图像输入TTGAN时，首先通过生成器的编码器，通过编码器的特征提取层提取各个层次的图像的相关特征，然后将不同特征层次获取的特征分别联合对应解码层次的输出，为下一层次的编码层提供输入，最终通过最后的编码层合成人脸图像。合成的人脸图像会进入到TTGAN模型的鉴别器上并在鉴别器的最后输出层获取鉴别分数，鉴别器采用了VGG结构。
S10.图像输入进TTGAN模型并经过三次领域之间的图像转换。
S101.获取一个批次的两个相关领域的对象对，即领域x和目标领域y的图像对，且图像对的人物身份一致；
S102.模型的正向循环生成图像过程：输入图像x，经过对抗生成网络GANX的生成器GX，合成生成图像y′；输入生成图像y′，经过对抗生成网络GANY的生成器GY，合成生成图像x′；
S103.第三次图像转换：GX生成器收到GY生成器的生成图像x′这个反馈，对该图像进行进一步的转换到y图像的领域，即GX(GY(GX(x)))～y，合成生成图像y″，是对生成器GX的第三次转换约束；
S104.对抗生成网络GANX的鉴别器DY对未标注的真实图像y和生成图像y′的属性进行判断，判断其为真实图像或生成图像；
S105.模型的反向循环生成图像过程：输入图像y，经过GAN Y生成器GY，合成生成图像输入生成图像经过GAN X生成器GX，合成生成图像
S106.反向第三次图像转换：GY生成器收到GX生成器的生成图像这个反馈，对该图像进行进一步的转换到x图像的领域，即GY(GX(GY(y)))～x，合成生成图像 是生成器GY的第三次转换约束；
S107.对抗生成网络GANY的鉴别器DX对未标注的真实图像x和生成图像的属性进行判断，判断其为真实图像或生成图像；
S20.构建生成器GX、生成器GY的损失项：
S201.构建多层次稀疏表达模型中生成图像和目标图像的相似性损失，损失约束作用于生成器GX和生成器GY的最后输出层的输出图像上。
LMSR1(GX,X,Y)+LMSR1(GY,Y,X)；
LMSR1(GX,X,Y)对生成器GX的约束，LMSR1(GY,X,Y)对生成器GY的约束；
S202.构建多层次稀疏表达模型中生成图像和输入图像的各层特征损失，损失约束作用于生成器GX和生成器GY的编码各个特征提取层的特征上。
LMSR2(GX,X,Y)+LMSR2(GY,X,Y)
S203.构建三次转换过程的一致性约束损失LTTC(GX,GY)，损失约束作用于生成器GX和生成器GY的最后输出层的输出图像上。
S204.构建生成对抗网络生成器GX和生成器GY的对抗损失：
LGAN(GX,DY,X,Y)+LGAN(GY,DX,Y,X)，
其中对抗损失LGAN(.)是所有生成式对抗网络的特有损失；对抗损失LGAN(GX,DY,X,Y)与生成器GX、鉴别器DY、领域图像X和领域图像Y相关；
S205.生成器的总损失为各个损失的加权和：
VTTGAN(GX,GY,DX,DY)＝LGAN(GX,DY,X,Y)+LGAN(GY,DX,Y,X)
+λLMSR(GX,X,Y)+λLMSR(GY,Y,X)+γLTTC(GX,GY)
其中的λ，γ为相应项的权重。
S30.构建鉴别器和DY和鉴别器DX的损失项：
S301.构建生成对抗网络鉴别器DY和DX的对抗损失，损失约束作用于鉴别器DY和DX的最后输出层的输出鉴别结果上。
LGAN(GX,DY,X,Y)+LGAN(GY,DX,Y,X)；
S40.迭代并对抗地训练生成器和鉴别器优化TTGAN模型：
S401.通过上述计算的生成器GX和GY的损失项、鉴别器DY和DX的损失项，构建TTGAN的生成器和鉴别器迭代地对抗训练方式，优化调整TTGAN模型的网络参数，
S402.通过神经网络的后向传播损失优化生成器和鉴别器的网络参数，直到达到相应的迭代次数或生成器GX、生成器GY的损失项、鉴别器DY和鉴别器DX的损失项达到相应的迭代次数或设定的初始阈值，反之则重复步骤S10到S40；
S50.利用训练优化好的TTGAN模型进行人脸合成。
优选的，对于图像对{x,y}，多层次稀疏表达模型分为两部分：将稀疏表达约束作用于生成器的最终生成图像上和生成器的编码器各个层上，总公式表达为:
LMSR(GX,X,Y)+LMSR(GY,X,Y)＝LMSR1(GX,X,Y)+LMSR1(GY,X,Y)+
LMSR2(GX,X,Y)+LMSR2(GY,X,Y)
稀疏表达约束作用于生成器的编码器各个层上，是利用了在编码器各个层次上生成图像和输入图像在生成器编码器阶段提取特征时具有人脸和身份特征的相关性，多层次稀疏表达模型使输入图片中包含对目标图像的有益的身份信息能被生成网络不同层次间有效的提取，而多余的噪声被有效的剔除。具体的，多层次稀疏表达约束作用于生成器的最终生成图像上，将生成图像和真实目标图像做相似性约束，以L1范式来作为稀疏性表达约束到两者差异结果。具体LMSR1(GX,X,Y)和LMSR1(GY,X,Y)可以表达为表述为：
表示样本x,y取自pdata(x,y)表示的数据分布的期望，其中表示生成器GX的第lth编码器层提取的特征，表示生成器GY的第lth编码器层提取的特征，L是生成器的编码器层的总层数；
多层次稀疏表达约束作用于生成器的编码器各个层上，将编码阶段各个特征提取层上的生成图像和输入图像两类人脸特征做相关性约束，表述为：
表示将采样在pdata(x,y)数据分布上的样本x，求取生成图像GX(x)和输入图像x在编码器各个层上的L1范式距离的期望的所有层次特征距离的总和；表示将采样在pdata(x,y)数据分布上的样本y，求取生成图像GX(x)和输入图像y在编码器各个层上的L1范式距离的期望的所有层次特征距离的总和，其中L是生成器特征提取层的总层数，表示生成器GX的第lth编码器层提取的特征，表示生成器GY的第lth编码器层提取的特征。
优选的，所述的三次转换具有一致性约束，一致性约束表示为公式：
三次转换一致性约束利用模型循环生成的三个样本与目标图像组成的三对图像，增加生成器GX和生成器GY的容错性，样本保留的模型的交互信息有助于加强两个GAN之间的松散的联系和平衡正反方向领域转换的任务难度，有效减少了CycleGAN出现生成器间失衡崩溃的状况，进一步提升模型的稳定性和生成能力。其中Lcyc(GX,GY)是CycleGAN循环一致性约束，是对生成器GX的第三次转换约束，以及是生成器GY的第三次转换约束，用正向第三次转换的图像GX(GY(GX(x)))与目标图像x来进行相似性约束；用反向第三次转换的图像GY(GX(GY(y)))与目标图像y来进行相似性约束。
优选的，所述的S40中TTGAN模型优化的具体步骤如下：
S401.固定生成器GX和GY，优化相应的对抗网络的分辨器DY和DX，该过程TTGAN的目标函数可以表示为:
应用LSGAN优化GAN有：
S402.在当前最优鉴别器的和下，优化相应的生成器GX和GY：
其中的λ，γ为相应项的权重。
优选的，所述的生成器GX和GY的三次转换一致性约束和多层次稀疏表达模型是基于L1范式来进行稀疏性的约束。
与现有技术相比，本发明技术方案的有益效果是：
本发明提供的基于深度神经网络的虚拟图像合成方法，尝试应用基于对抗生成网络CycleGAN架构的新型网络TTGAN，提出和加入多层次稀疏表达模型和三次转换一致性约束，针对人脸图像对的目标人脸合成上，TTGAN是多个对抗生成网络的协同作用下结果。多层次稀疏表达模型使输入图片中包含对目标图像的有益的身份信息能被生成网络不同层次间有效的提取，而多余的噪声被有效的剔除。三次转换一致性约束利用了模型一次循环所产生的三个含有网络信息量的不同样本，有效使约束生成器提升生成器容错性和整体模型的稳定性。为了验证模型效果，在现阶段最新的深度网络生成模型上，TTGAN比基于单生成式对抗网络架构的Pix2Pix GAN以及多生成式对抗网络架构的CycleGAN生成人脸图像清晰度更高，质量更好。TTGAN提出的多层次稀疏表达和三次转换一致性约束，进一步增加CycleGAN的图像生成能力，使合成的人脸图像在保持人脸身份信息和表现出更真实性方面都取得更好的结果。
附图说明
图1为本发明提供的基于生成对抗网络的人脸合成方法的模型示意图；
图2为基于生成对抗网络的人脸合成方法的步骤流程图；
图3为基于生成对抗网络的人脸合成方法中多层次稀疏表达模型的模型示意图；
图4为基于生成对抗网络的人脸合成方法中领域x与领域y的在模型一次循环合成中得到的3种不同样本的示意图；
图5为实施例2中基于CAS-LEAP人脸数据库人脸去遮挡图像合成实验的对比图；
图6为实施例2中基于AR人脸数据库人脸表情图像合成实验的对比图；
图7为实施例2中基于AR数据库人脸去遮挡图像合成Inception-Score的得分比较。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，仅用于示例性说明，不能理解为对本专利的限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
图1～4所示，一种基于生成对抗深度网络的人脸合成方法，包括构建和训练优化TTGAN模型，所述的TTGAN模型是两个GAN网络通过相互交互构成的，通过多层次稀疏表达模型和三次转换一致性约束构建模型损失项；然后利用训练优化好的TTGAN模型进行人脸合成的步骤，其中训练TTGAN模型的步骤如下：
TTGAN模型是由两个结构上相同但人脸合成任务相反的生成对抗网络，通过一个循环交互组合而成，每个生成对抗网络GAN同时又分为生成器G和鉴别器D匹配组合而成。生成器的任务是合成人脸，鉴别器的任务是区分真实人脸和合成人脸。TTGAN的生成器构建时采用编码器-解码器框架的U-net结构，图像输入TTGAN时，首先通过生成器的编码器，通过编码器的特征提取层提取各个层次的图像的相关特征，然后将不同特征层次获取的特征分别联合对应解码层次的输出，为下一层次的编码层提供输入，最终通过最后的编码层合成人脸图像。合成的人脸图像会进入到TTGAN模型的鉴别器上并在鉴别器的最后输出层获取鉴别分数，鉴别器采用了VGG结构。
S10.图像输入进TTGAN模型并经过三次领域之间的图像转换。
S101.获取一个批次的两个相关领域的对象对，即领域x和目标领域y的图像对，且图像对的人物身份一致；
S102.模型的正向循环生成图像过程：输入图像x，经过对抗生成网络GANX的生成器GX，合成生成图像y′；输入生成图像y′，经过对抗生成网络GANY的生成器GY，合成生成图像x′；
S103.第三次图像转换：GX生成器收到GY生成器的生成图像x′这个反馈，对该图像进行进一步的转换到y图像的领域，即GX(GY(GX(x)))～y，合成生成图像y″，是对生成器GX的第三次转换约束；
S104.对抗生成网络GANX的鉴别器DY对未标注的真实图像y和生成图像y′的属性进行判断，判断其为真实图像或生成图像；
S105.模型的反向循环生成图像过程：输入图像y，经过GANY生成器GY，合成生成图像输入生成图像经过GANX生成器GX，合成生成图像
S106.反向第三次图像转换：GY生成器收到GX生成器的生成图像这个反馈，对该图像进行进一步的转换到x图像的领域，即GY(GX(GY(y)))～x，合成生成图像 是生成器GY的第三次转换约束；
S107.对抗生成网络GANY的鉴别器DX对未标注的真实图像x和生成图像的属性进行判断，判断其为真实图像或生成图像；
S20.构建生成器GX、生成器GY的损失项：
S201.构建多层次稀疏表达模型中生成图像和目标图像的相似性损失，损失约束作用于生成器GX和生成器GY的最后输出层的输出图像上。
LMSR1(GX,X,Y)+LMSR1(GY,Y,X)；
LMSR1(GX,X,Y)对生成器GX的约束，LMSR1(GY,X,Y)对生成器GY的约束；
S202.构建多层次稀疏表达模型中生成图像和输入图像的各层特征损失，损失约束作用于生成器GX和生成器GY的编码各个特征提取层的特征上。
LMSR2(GX,X,Y)+LMSR2(GY,X,Y)
S203.构建三次转换过程的一致性约束损失LTTC(GX,GY)，损失约束作用于生成器GX和生成器GY的最后输出层的输出图像上。
S204.构建生成对抗网络生成器GX和生成器GY的对抗损失：
LGAN(GX,DY,X,Y)+LGAN(GY,DX,Y,X)，
其中对抗损失LGAN(.)是所有生成式对抗网络的特有损失；对抗损失LGAN(GX,DY,X,Y)与生成器GX、鉴别器DY、领域图像X和领域图像Y相关；
S205.生成器的总损失为各个损失的加权和：
VTTGAN(GX,GY,DX,DY)＝LGAN(GX,DY,X,Y)+LGAN(GY,DX,Y,X)
+λLMSR(GX,X,Y)+λLMSR(GY,Y,X)+γLTTC(GX,GY)
其中的λ，γ为相应项的权重。
S30.构建鉴别器和DY和鉴别器DX的损失项：
S301.构建生成对抗网络鉴别器DY和DX的对抗损失，损失约束作用于鉴别器DY和DX的最后输出层的输出鉴别结果上。
LGAN(GX,DY,X,Y)+LGAN(GY,DX,Y,X)；
S40.迭代并对抗地训练生成器和鉴别器优化TTGAN模型：
S401.通过上述计算的生成器GX和GY的损失项、鉴别器DY和DX的损失项，构建TTGAN的生成器和鉴别器迭代地对抗训练方式，优化调整TTGAN模型的网络参数，
S402.通过神经网络的后向传播损失优化生成器和鉴别器的网络参数，直到达到相应的迭代次数或生成器GX、生成器GY的损失项、鉴别器DY和鉴别器DX的损失项达到相应的迭代次数或设定的初始阈值，反之则重复步骤S10到S40；
S50.利用训练优化好的TTGAN模型进行人脸合成。
优选的，对于图像对{x,y}，多层次稀疏表达模型分为两部分：将稀疏表达约束作用于生成器的最终生成图像上和生成器的编码器各个层上，总公式表达为:
LMSR(GX,X,Y)+LMSR(GY,X,Y)＝LMSR1(GX,X,Y)+LMSR1(GY,X,Y)+
LMSR2(GX,X,Y)+LMSR2(GY,X,Y)
稀疏表达约束作用于生成器的编码器各个层上，是利用了在编码器各个层次上生成图像和输入图像在生成器编码器阶段提取特征时具有人脸和身份特征的相关性，多层次稀疏表达模型使输入图片中包含对目标图像的有益的身份信息能被生成网络不同层次间有效的提取，而多余的噪声被有效的剔除。具体的，多层次稀疏表达约束作用于生成器的最终生成图像上，将生成图像和真实目标图像做相似性约束，以L1范式来保持两者差异结果的稀疏性。具体LMSR1(GX,X,Y)和LMSR1(GY,X,Y)可以表达为表述为：
表示样本x,y取自pdata(x,y)表示的数据分布的期望，其中表示生成器GX的第lth编码器层提取的特征，表示生成器GY的第lth编码器层提取的特征，L是生成器的编码器层的总层数；
多层次稀疏表达约束作用于生成器的编码器各个层上，将编码阶段各个特征提取层上的生成图像和输入图像两类人脸特征做相关性约束，表述为：
表示将采样在pdata(x,y)数据分布上的样本x，求取生成图像GX(x)和输入图像x在编码器各个层上的L1范式距离的期望的所有层次特征距离的总和；表示将采样在pdata(x,y)数据分布上的样本y，求取生成图像GX(x)和输入图像y在编码器各个层上的L1范式距离的期望的所有层次特征距离的总和，其中L是生成器特征提取层的总层数，表示生成器GX的第lth编码器层提取的特征，表示生成器GY的第lth编码器层提取的特征。
优选的，所述的三次转换具有一致性约束，一致性约束表示为公式：
三次转换一致性约束利用模型循环生成的三个样本与目标图像组成的三对图像，增加生成器GX和生成器GY的容错性，样本保留的模型的交互信息有助于加强两个GAN之间的松散的联系和平衡正反方向领域转换的任务难度，有效减少了CycleGAN出现生成器间失衡崩溃的状况，进一步提升模型的稳定性和生成能力。其中Lcyc(GX,GY)是CycleGAN循环一致性约束，是对生成器GX的第三次转换约束，以及是生成器GY的第三次转换约束，用正向第三次转换的图像GX(GY(GX(x)))与目标图像x来进行相似性约束；用反向第三次转换的图像GY(GX(GY(y)))与目标图像y来进行相似性约束。
优选的，S40TTGAN模型优化的具体步骤如下：
S401.固定生成器GX和GY，优化相应的对抗网络的分辨器DY和DX，该过程TTGAN的目标函数可以表示为:
应用LSGAN优化GAN有：
S402.在当前最优鉴别器的和下，优化相应的生成器GX和GY：
其中的λ，γ为相应项的权重。
优选的，所述的生成器GX和GY的三次转换一致性约束和多层次稀疏表达模型是基于L1范式来进行稀疏性的约束。
实施例2
本实施例将本发明与现有技术Pix2Pix GAN和CycleGAN进行比较：
为了客观公平地比较，本实验将TTGAN和CycleGAN的共同基本结构保持一致，而仅改变新提出和添加的结构，Pix2Pix GAN结构和超参数将保持模型的默认设置。同时，训练数据集和测试集，以及训练的次数将各个模型都保持一致。
1)基于AR人脸数据库，人脸表情图像合成。
a.随机选取84人无表情地正常人和大笑表情的人脸组成图像对作为训练集，另外的16人相应图像对作为测试集。
b.利用训练集对TTGAN，CycleGAN和Pix2Pix GAN进行训练。
c.利用测试集分别对TTGAN，CycleGAN和Pix2Pix GAN进行测试。
实验各个模型生成图像比较分别如图6所示，可以看出TTGAN生成的图像与真实目标图像更加逼近，生成效果更好，TTGAN比CycleGAN更有能力平衡两个生成器，使生成器能力更稳定，生成质量更好，
2)基于CAS-LEAP人脸数据库，人脸去遮挡图像合成。
a.随机选取300个人带有墨镜和相应的无墨镜的正常人脸组成图像对作为训练集，另外的35人相应图像对作为测试集。
b.利用训练集对TTGAN，CycleGAN和Pix2Pix GAN进行训练。
c.利用测试集分别对TTGAN，CycleGAN和Pix2Pix GAN进行测试。
实验的不同模型生成图像对比如图5所示，TTGAN生成的图像更接近
目标真实人脸，Pix2Pix GAN生成图像偏向模糊，CycleGAN生成图像没有
很好保持人脸身份。
3)基于AR人脸数据库的，人脸去遮挡图像合成。
人脸去口罩遮挡实验设置为：
a.随机选取84个人带有口罩和相应的无口罩的正常人脸组成图像对作为训练集，另外的16人相应图像对作为测试集。
b.利用训练集对TTGAN，CycleGAN和Pix2Pix GAN进行训练。
c.利用测试集分别对TTGAN，CycleGAN和Pix2Pix GAN进行测试。
人脸去墨镜遮挡实验设置为：
a.为了消除训练集中眼镜对模型的影响，选取71个人没戴眼镜的正常人脸和相应带墨镜的人脸组成图像对作为训练集，另外的29人相应图像对作为测试集。
b.利用训练集对TTGAN，CycleGAN和Pix2Pix GAN进行训练。
c.利用测试集分别对TTGAN，CycleGAN和Pix2Pix GAN进行测试。
通过Inception Score的得分比较，如图7所示，TTGAN获得了最高的分数，表明TTGAN合成人脸图像的质量比CycleGAN和Pix2Pix GAN更好。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (5)

1.一种基于生成对抗深度网络的人脸合成方法，其特征在于，包括构建和训练优化TTGAN模型，所述的TTGAN模型是两个GAN网络通过相互交互构成的，通过多层次稀疏表达模型和三次转换一致性约束构建模型损失项；然后利用训练优化好的TTGAN模型进行人脸合成的步骤，其中训练TTGAN模型的步骤如下：
S10.图像输入进TTGAN模型并经过三次领域之间的图像转换；
S101.获取一个批次的两个相关领域的对象对，即领域x和目标领域y的图像对，且图像对的人物身份一致；
S102.模型的正向循环生成图像过程：输入图像x，经过对抗生成网络GANX的生成器GX，合成生成图像y′；输入生成图像y′，经过对抗生成网络GANY的生成器GY，合成生成图像x′；
S103.第三次图像转换：GX生成器收到GY生成器的生成图像x′这个反馈，对该图像进行进一步的转换到y图像的领域，即GX(GY(GX(x)))～y，合成生成图像y″，是对生成器GX的第三次转换约束；
S104.对抗生成网络GANX的鉴别器DY对未标注的真实图像y和生成图像y′的属性进行判断，判断其为真实图像或生成图像；
S105.模型的反向循环生成图像过程：输入图像y，经过GANY生成器GY，合成生成图像输入生成图像经过GANX生成器GX，合成生成图像
S106.反向第三次图像转换：GY生成器收到GX生成器的生成图像这个反馈，对该图像进行进一步的转换到x图像的领域，即GY(GX(GY(y)))～x，合成生成图像 是生成器GY的第三次转换约束；
S107.对抗生成网络GANY的鉴别器DX对未标注的真实图像x和生成图像的属性进行判断，判断其为真实图像或生成图像；
S20.构建生成器GX、生成器GY的损失项：
S201.构建多层次稀疏表达模型中生成图像和目标图像的相似性损失，损失约束作用于生成器GX和生成器GY的最后输出层的输出图像上；
LMSR1(GX,X,Y)+LMSR1(GY,Y,X)；
LMSR1(GX,X,Y)对生成器GX的约束，LMSR1(GY,X,Y)对生成器GY的约束；
S202.构建多层次稀疏表达模型中生成图像和输入图像的各层特征损失，损失约束作用于生成器GX和生成器GY的编码各个特征提取层的特征上；
LMSR2(GX,X,Y)+LMSR2(GY,X,Y)
S203.构建三次转换过程的一致性约束损失LTTC(GX,GY)，损失约束作用于生成器GX和生成器GY的最后输出层的输出图像上；
S204.构建生成对抗网络生成器GX和生成器GY的对抗损失：
LGAN(GX,DY,X,Y)+LGAN(GY,DX,Y,X)，
其中对抗损失LGAN(.)是所有生成式对抗网络的特有损失；对抗损失LGAN(GX,DY,X,Y)与生成器GX、鉴别器DY、领域图像X和领域图像Y相关；
S205.生成器的总损失为各个损失的加权和：
VTTGAN(GX,GY,DX,DY)＝LGAN(GX,DY,X,Y)+LGAN(GY,DX,Y,X)
+λLMSR(GX,X,Y)+λLMSR(GY,Y,X)+γLTTC(GX,GY)
其中的λ，γ为相应项的权重；
S30.构建鉴别器和DY和鉴别器DX的损失项：
S301.构建生成对抗网络鉴别器DY和DX的对抗损失，损失约束作用于鉴别器DY和DX的最后输出层的输出鉴别结果上；
LGAN(GX,DY,X,Y)+LGAN(GY,DX,Y,X)；
S40.迭代并对抗地训练生成器和鉴别器优化TTGAN模型：
S401.通过上述计算的生成器GX和GY的损失项、鉴别器DY和DX的损失项，构建TTGAN的生成器和鉴别器迭代地对抗训练方式，优化调整TTGAN模型的网络参数，
S402.通过神经网络的后向传播损失优化生成器和鉴别器的网络参数，直到达到相应的迭代次数或生成器GX、生成器GY的损失项、鉴别器DY和鉴别器DX的损失项达到相应的迭代次数或设定的初始阈值，反之则重复步骤S10到S40；
S50.利用训练优化好的TTGAN模型进行人脸合成。
2.根据权利要求1所述的基于生成对抗网络的人脸合成方法，其特点在于，对于图像对{x,y}，多层次稀疏表达模型分为两部分：将稀疏表达约束作用于生成器的最终生成图像上和生成器的编码器各个层上，总公式表达为:
LMSR(GX,X,Y)+LMSR(GY,X,Y)＝LMSR1(GX,X,Y)+LMSR1(GY,X,Y)+
LMSR2(GX,X,Y)+LMSR2(GY,X,Y)
多层次稀疏表达约束作用于生成器的最终生成图像上，将生成图像和真实目标图像做相似性约束，以L1范式来作稀疏性表达约束到两者差异的结果上；具体LMSR1(GX,X,Y)和LMSR1(GY,X,Y)可以表达为表述为：
表示样本x,y取自pdata(x,y)表示的数据分布的期望，其中表示生成器GX的第lth编码器层提取的特征，表示生成器GY的第lth编码器层提取的特征，L是生成器的编码器层的总层数；
多层次稀疏表达约束作用于生成器的编码器各个层上，将编码阶段各个特征提取层上的生成图像和输入图像两类人脸特征做相关性约束，表述为：
表示将采样在pdata(x,y)数据分布上的样本x，求取生成图像GX(x)和输入图像x在编码器各个层上的L1范式距离的期望的所有层次特征距离的总和；表示将采样在pdata(x,y)数据分布上的样本y，求取生成图像GX(x)和输入图像y在编码器各个层上的L1范式距离的期望的所有层次特征距离的总和，其中L是生成器特征提取层的总层数，表示生成器GX的第lth编码器层提取的特征，表示生成器GY的第lth编码器层提取的特征。
3.根据权利要求1所述的基于生成对抗网络的人脸合成方法，其特征在于，所述的三次转换具有一致性约束，一致性约束表示为公式：
三次转换一致性约束对输入图像进行三次领域间转换，将这个过程所产生的含有网络交互信息的三个不同样本和相对应的真实样本，进一步对生成器GX和生成器GY的合成图像做转换约束；其中Lcyc(GX,GY)是CycleGAN循环一致性约束，是对生成器GX的第三次转换约束，以及是生成器GY的第三次转换约束，用正向第三次转换的图像GX(GY(GX(x)))与目标图像x来进行相似性约束；
用反向第三次转换的图像GY(GX(GY(y)))与目标图像y来进行相似性约束。
4.根据权利要求2所述的基于生成对抗网络的人脸合成方法，其特征在于，所述的S40中TTGAN模型优化的具体步骤如下：
S401.固定生成器GX和GY，优化相应的对抗网络的分辨器DY和DX，该过程TTGAN的目标函数可以表示为:
应用LSGAN优化GAN有：
S402.在当前最优鉴别器的和下，优化相应的生成器GX和GY：
其中的λ，γ为相应项的权重。
5.根据权利要求3所述的基于生成对抗网络的人脸合成方法，其特征在于，所述的生成器GX和GY的三次转换一致性约束和多层次稀疏表达模型是基于L1范式来进行稀疏性的约束。
CN201811572350.XA 2018-12-21 2018-12-21 一种基于生成对抗网络的人脸合成方法 Active CN109635774B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811572350.XA CN109635774B (zh) 2018-12-21 2018-12-21 一种基于生成对抗网络的人脸合成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811572350.XA CN109635774B (zh) 2018-12-21 2018-12-21 一种基于生成对抗网络的人脸合成方法

Publications (2)

Publication Number Publication Date
CN109635774A true CN109635774A (zh) 2019-04-16
CN109635774B CN109635774B (zh) 2022-09-13

Family

ID=66076228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811572350.XA Active CN109635774B (zh) 2018-12-21 2018-12-21 一种基于生成对抗网络的人脸合成方法

Country Status (1)

Country Link
CN (1) CN109635774B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210399A (zh) * 2019-05-31 2019-09-06 广东世纪晟科技有限公司 一种基于不确定性量化概率卷积神经网络的人脸识别方法
CN110428473A (zh) * 2019-06-18 2019-11-08 南昌大学 一种基于辅助变量的对抗生成网络的彩色图像灰度化方法
CN110428476A (zh) * 2019-07-05 2019-11-08 广东省人民医院(广东省医学科学院) 一种基于多循环生成式对抗网络的图像转换方法及装置
CN110674836A (zh) * 2019-08-06 2020-01-10 厦门大学 一种基于生成网络的稀疏对抗样本生成方法
CN110706303A (zh) * 2019-10-15 2020-01-17 西南交通大学 基于GANs的人脸图像生成方法
CN110826593A (zh) * 2019-09-29 2020-02-21 腾讯科技（深圳）有限公司 融合图像处理模型的训练方法、图像处理方法、装置及存储介质
CN110929786A (zh) * 2019-11-22 2020-03-27 湃方科技(北京)有限责任公司 一种数据增广方法及电子设备
CN111797682A (zh) * 2020-05-21 2020-10-20 天津大学 一种跨模态特征学习和人脸合成的方法
CN111985281A (zh) * 2019-05-24 2020-11-24 内蒙古工业大学 图像生成模型的生成方法、装置及图像生成方法、装置
CN112257695A (zh) * 2020-12-22 2021-01-22 北京航空航天大学 一种利用稀疏约束生成对抗网络生成振动信号的方法
CN112613435A (zh) * 2020-12-28 2021-04-06 杭州魔点科技有限公司 人脸图像生成方法、装置、设备及介质
CN112861805A (zh) * 2021-03-17 2021-05-28 中山大学 一种基于内容特征和风格特征的人脸图像生成方法
CN113361490A (zh) * 2021-07-14 2021-09-07 网易（杭州）网络有限公司 图像生成、网络训练方法、装置、计算机设备和存储介质
CN113744175A (zh) * 2021-09-16 2021-12-03 中国人民解放军火箭军工程大学 一种基于双向约束生成对抗网络的图像生成方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002099295A (ja) * 2000-09-22 2002-04-05 Atr Onsei Gengo Tsushin Kenkyusho:Kk 翻訳装置、画像合成装置、翻訳方法、画像合成方法および媒体
US20150363634A1 (en) * 2014-06-17 2015-12-17 Beijing Kuangshi Technology Co.,Ltd. Face Hallucination Using Convolutional Neural Networks
CN107103281A (zh) * 2017-03-10 2017-08-29 中山大学 基于聚集损失深度度量学习的人脸识别方法
CN107437077A (zh) * 2017-08-04 2017-12-05 深圳市唯特视科技有限公司 一种基于生成对抗网络的旋转面部表示学习的方法
CN108205659A (zh) * 2017-11-30 2018-06-26 深圳市深网视界科技有限公司 人脸遮挡物去除及其模型构建的方法、设备及介质
CN108319932A (zh) * 2018-03-12 2018-07-24 中山大学 一种基于生成式对抗网络的多图像人脸对齐的方法及装置
US20180225823A1 (en) * 2017-02-09 2018-08-09 Siemens Healthcare Gmbh Adversarial and Dual Inverse Deep Learning Networks for Medical Image Analysis
CN108615073A (zh) * 2018-04-28 2018-10-02 北京京东金融科技控股有限公司 图像处理方法及装置、计算机可读存储介质、电子设备
US20180307947A1 (en) * 2017-04-25 2018-10-25 Nec Laboratories America, Inc. Cyclic generative adversarial network for unsupervised cross-domain image generation
US20180314716A1 (en) * 2017-04-27 2018-11-01 Sk Telecom Co., Ltd. Method for learning cross-domain relations based on generative adversarial networks
US20180336471A1 (en) * 2017-05-19 2018-11-22 Mehdi Rezagholizadeh Semi-supervised regression with generative adversarial networks

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002099295A (ja) * 2000-09-22 2002-04-05 Atr Onsei Gengo Tsushin Kenkyusho:Kk 翻訳装置、画像合成装置、翻訳方法、画像合成方法および媒体
US20150363634A1 (en) * 2014-06-17 2015-12-17 Beijing Kuangshi Technology Co.,Ltd. Face Hallucination Using Convolutional Neural Networks
US20180225823A1 (en) * 2017-02-09 2018-08-09 Siemens Healthcare Gmbh Adversarial and Dual Inverse Deep Learning Networks for Medical Image Analysis
CN107103281A (zh) * 2017-03-10 2017-08-29 中山大学 基于聚集损失深度度量学习的人脸识别方法
US20180307947A1 (en) * 2017-04-25 2018-10-25 Nec Laboratories America, Inc. Cyclic generative adversarial network for unsupervised cross-domain image generation
US20180314716A1 (en) * 2017-04-27 2018-11-01 Sk Telecom Co., Ltd. Method for learning cross-domain relations based on generative adversarial networks
US20180336471A1 (en) * 2017-05-19 2018-11-22 Mehdi Rezagholizadeh Semi-supervised regression with generative adversarial networks
CN107437077A (zh) * 2017-08-04 2017-12-05 深圳市唯特视科技有限公司 一种基于生成对抗网络的旋转面部表示学习的方法
CN108205659A (zh) * 2017-11-30 2018-06-26 深圳市深网视界科技有限公司 人脸遮挡物去除及其模型构建的方法、设备及介质
CN108319932A (zh) * 2018-03-12 2018-07-24 中山大学 一种基于生成式对抗网络的多图像人脸对齐的方法及装置
CN108615073A (zh) * 2018-04-28 2018-10-02 北京京东金融科技控股有限公司 图像处理方法及装置、计算机可读存储介质、电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GUOJUN LIN 等: "Robust, discriminative and comprehensive dictionary learning for face recognition", 《PATTERN RECOGNITION》 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111985281A (zh) * 2019-05-24 2020-11-24 内蒙古工业大学 图像生成模型的生成方法、装置及图像生成方法、装置
CN111985281B (zh) * 2019-05-24 2022-12-09 内蒙古工业大学 图像生成模型的生成方法、装置及图像生成方法、装置
CN110210399A (zh) * 2019-05-31 2019-09-06 广东世纪晟科技有限公司 一种基于不确定性量化概率卷积神经网络的人脸识别方法
CN110428473A (zh) * 2019-06-18 2019-11-08 南昌大学 一种基于辅助变量的对抗生成网络的彩色图像灰度化方法
CN110428473B (zh) * 2019-06-18 2022-06-14 南昌大学 一种基于辅助变量的对抗生成网络的彩色图像灰度化方法
CN110428476A (zh) * 2019-07-05 2019-11-08 广东省人民医院(广东省医学科学院) 一种基于多循环生成式对抗网络的图像转换方法及装置
CN110674836A (zh) * 2019-08-06 2020-01-10 厦门大学 一种基于生成网络的稀疏对抗样本生成方法
CN110674836B (zh) * 2019-08-06 2024-03-22 厦门大学 一种基于生成网络的稀疏对抗样本生成方法
CN110826593A (zh) * 2019-09-29 2020-02-21 腾讯科技（深圳）有限公司 融合图像处理模型的训练方法、图像处理方法、装置及存储介质
US11526712B2 (en) 2019-09-29 2022-12-13 Tencent Technology (Shenzhen) Company Limited Training method and apparatus for image fusion processing model, device, and storage medium
CN110706303B (zh) * 2019-10-15 2021-05-11 西南交通大学 基于GANs的人脸图像生成方法
CN110706303A (zh) * 2019-10-15 2020-01-17 西南交通大学 基于GANs的人脸图像生成方法
CN110929786B (zh) * 2019-11-22 2023-08-01 湃方科技(北京)有限责任公司 一种数据增广方法及电子设备
CN110929786A (zh) * 2019-11-22 2020-03-27 湃方科技(北京)有限责任公司 一种数据增广方法及电子设备
CN111797682A (zh) * 2020-05-21 2020-10-20 天津大学 一种跨模态特征学习和人脸合成的方法
CN112257695A (zh) * 2020-12-22 2021-01-22 北京航空航天大学 一种利用稀疏约束生成对抗网络生成振动信号的方法
CN112613435A (zh) * 2020-12-28 2021-04-06 杭州魔点科技有限公司 人脸图像生成方法、装置、设备及介质
CN112861805A (zh) * 2021-03-17 2021-05-28 中山大学 一种基于内容特征和风格特征的人脸图像生成方法
CN112861805B (zh) * 2021-03-17 2023-07-18 中山大学 一种基于内容特征和风格特征的人脸图像生成方法
CN113361490A (zh) * 2021-07-14 2021-09-07 网易（杭州）网络有限公司 图像生成、网络训练方法、装置、计算机设备和存储介质
CN113744175A (zh) * 2021-09-16 2021-12-03 中国人民解放军火箭军工程大学 一种基于双向约束生成对抗网络的图像生成方法及系统
CN113744175B (zh) * 2021-09-16 2024-01-19 中国人民解放军火箭军工程大学 一种基于双向约束生成对抗网络的图像生成方法及系统

Also Published As

Publication number Publication date
CN109635774B (zh) 2022-09-13

Similar Documents

Publication Publication Date Title
CN109635774A (zh) 一种基于生成对抗网络的人脸合成方法
US20200294309A1 (en) 3D Reconstruction Method Based on Deep Learning
Wang et al. Rsg: A simple but effective module for learning imbalanced datasets
CN108537743B (zh) 一种基于生成对抗网络的面部图像增强方法
CN109523463A (zh) 一种基于条件生成对抗网络的人脸老化方法
CN109871777A (zh) 一种基于注意力机制的行为识别系统
CN107220600A (zh) 一种基于深度学习的图片生成方法及生成对抗网络
CN109543745A (zh) 基于条件对抗自编码网络的特征学习方法及图像识别方法
CN108062551A (zh) 一种基于邻接矩阵的图特征提取系统、图分类系统和方法
CN111861945B (zh) 一种文本引导的图像修复方法和系统
CN110458216A (zh) 基于条件生成对抗网络的图像风格迁移方法
CN113343705B (zh) 一种基于文本语义的细节保持图像生成方法及系统
CN109346063A (zh) 一种语音数据增强方法
CN109685724A (zh) 一种基于深度学习的对称感知人脸图像补全方法
CN109978050A (zh) 基于svm-rf的决策规则提取及约简方法
CN110070116A (zh) 基于深度树状训练策略的分段式选择集成图像分类方法
CN110852935A (zh) 一种人脸图像随年龄变化的图像处理方法
Zhou et al. Evolutionary shallowing deep neural networks at block levels
Wang et al. Frame-level refinement networks for skeleton-based gait recognition
Mishra et al. Text to image synthesis using residual gan
Ali et al. Synthetic generators for cloning social network data
CN104680118B (zh) 一种人脸属性检测模型生成方法及系统
Hu et al. Leveraging sub-class discimination for compositional zero-shot learning
Jiang et al. Multi-feature deep learning for face gender recognition
Nguyen-Ngoc et al. DM-VTON: Distilled Mobile Real-time Virtual Try-On

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant