CN117197294A - 一种结合生成对抗网络和扩散模型的人脸生成方法 - Google Patents
一种结合生成对抗网络和扩散模型的人脸生成方法 Download PDFInfo
- Publication number
- CN117197294A CN117197294A CN202311286068.6A CN202311286068A CN117197294A CN 117197294 A CN117197294 A CN 117197294A CN 202311286068 A CN202311286068 A CN 202311286068A CN 117197294 A CN117197294 A CN 117197294A
- Authority
- CN
- China
- Prior art keywords
- face
- latent
- identity
- attribute
- identities
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000009792 diffusion process Methods 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000008485 antagonism Effects 0.000 title claims abstract description 7
- 239000013598 vector Substances 0.000 claims abstract description 56
- 230000008859 change Effects 0.000 claims abstract description 13
- 230000001537 neural effect Effects 0.000 claims abstract description 11
- 230000004927 fusion Effects 0.000 claims abstract description 7
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 claims abstract 7
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 claims abstract 7
- 230000014509 gene expression Effects 0.000 claims description 28
- 238000012706 support-vector machine Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 230000001815 facial effect Effects 0.000 claims description 9
- 238000005286 illumination Methods 0.000 claims description 8
- 230000003042 antagnostic effect Effects 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 7
- 230000007935 neutral effect Effects 0.000 claims description 7
- 238000006386 neutralization reaction Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 238000009826 distribution Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 241000894007 species Species 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 2
- 238000001303 quality assessment method Methods 0.000 claims 1
- 230000008901 benefit Effects 0.000 description 7
- 239000002131 composite material Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种结合生成对抗网络和扩散模型的人脸生成方法，包括以下步骤：S1：数据集生成：使用神经对抗网络GANs生成数据集，进行潜向量的人脸属性分类标记；S2：潜向量插值：将潜向量转化为具有人口属性的身份，通过插值生成新的身份；S3：通过融合和渐变操作生成身份；S4：将所有生成的身份的潜向量根据二元目标属性分离为多组不同的种群；S5：通过分离出的种群生成每个身份的类内变化；S6：引入扩散模型进行微调，输出具有类内变化的带文本提示的人脸图像；S7：优化模型；通过本申请通过操纵潜在空间和使用扩散模型实现增强的类内变异，从而提高面部识别模型的性能，并为面部识别系统的评估和改进提供了有效的工具。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种结合生成对抗网络和扩散模型的人脸生成方法。
背景技术
近年来，合成数据集在面部识别技术中得到了广泛应用，尤其是通过各种方法针对合成面部生成进行了改进，增加和多样化了面部识别数据集。与真实世界数据集相比，合成数据集具有几个优势。首先，它们解决了真实数据集中的隐私问题，因为真实数据集通常是从各种在线来源收集个人面部图像，但这些个人并没有事先知情或同意。其次，合成数据集可以提供大量的数据，这对于在收集和使用个人数据时需要获得个体知情同意的情况下非常重要。最后，如果合成过程是可控的，就可以轻松获得具有所需人口统计特征和标签的数据集，而真实世界数据集则无法平衡地代表不同的人口组群。然而，现有的合成数据集在类内变异性方面存在一定的局限性，这影响了使用这些数据集进行训练和评估面部识别模型的性能。
已有的与本专利技术最相近似的传统技术方案：
在现有的生成模型中，生成对抗网络（GANs）被广泛用于合成面部图像，特别是最近的StyleGAN3版本。然而，GANs生成的图像对于生成特征的控制有限，并且在训练过程中可能对某些人口组群存在偏差。为了解决这个问题，一些方法被提出来修改合成面部图像的属性，例如姿势、光照和人口统计特征。这些方法可以通过将目标属性注入到GANs的生成组件中，或者适当操纵GANs的潜在结构来实现。然而，与真实世界数据集相比，由GANs生成的图像在同一身份之间的变异性不足，这对于使用合成数据进行训练并使用真实数据进行评估的面部识别模型的性能产生了影响。
最近，扩散模型在多个任务中取得了比GAN模型更好的效果，包括图像合成。扩散模型通过逐渐向数据添加随机噪声并学习将其反转，从噪声生成所需的输出。与GAN模型相比，扩散模型可以根据文本或图像塑造其输出，并生成更多样的图像。然而，不同于GANs，扩散模型不会学习面部图像的显式潜在表示，使得它们的人口统计特征和类内变异性较难控制。
因此，本专利提出将GAN与扩散模型进行结合，充分利用GAN在生成高保真图像上的优势，以及扩散模型在生成同一身份之间高变异性的优势，来生成同时具有高变异性和逼真度的人脸照片，助力下游训练。
发明内容
为解决上述背景技术中提出的问题，本发明提供一种结合生成对抗网络和扩散模型的人脸生成方法，以解决现有技术中图像变异性和逼真度低的问题。
为实现上述目的，本发明提供如下技术方案：
一种结合生成对抗网络和扩散模型的人脸生成方法，包括以下步骤：
S1：数据集生成：使用神经对抗网络GANs生成一个包含多个人脸图像的初始随机数据集，将初始随机数据集中的人脸图像投射至潜空间中，得到潜向量，并使用属性模型对初始随机数据集中的潜向量进行人脸属性的分类标记；
S2：潜向量插值：根据人脸属性的分类标记，将初始随机数据集中的潜向量转化为具有人口属性的身份，通过在两个具有不同人口属性的身份的潜向量之间进行线性插值，生成介于两个具有不同人口属性的身份之间的新的身份；
S3：融合和渐变操作：融合操作用于将两个不同的身份进行混合，以生成同时具有两个不同身份的特征的身份，渐变操作用于在两个不同的身份之间生成具有渐变效果的身份；
S4：人脸属性表示：在潜空间中训练线性支持向量机SVM，将所有生成的身份的潜向量根据二元目标属性分离为多组不同的种群，每组种群包括两个种群，一组中的两个种群分别表示潜向量的一个人脸属性的两个极端分布；
S5：潜空间转换：通过分离出的种群，在潜空间中应用属性转换来修改身份的姿态属性，再修改身份的人口属性，生成每个身份的类内变化；
S6：基于文本提示的图像合成：引入扩散模型对每个身份的人脸图像进行微调，将一个唯一标记与一个身份绑定，输出具有类内变化的带文本提示的人脸图像；
S7：优化操作：使用反向传播和优化算法对神经对抗网络GANs和扩散模型进行优化，通过最小化损失函数，提高扩散模型输出人脸图像的质量和准确性。
优选地，S1还包括图像质量评估操作，具体为：在使用神经对抗网络GANs生成初始随机数据集后，使用MagFace 质量模型，剔除初始随机数据集中具有模长最短的10%的图像。
优选地，S1中神经对抗网络GANs使用Flickr-Faces-HQ数据集进行预训练。
优选地，S1中的人脸属性包括人口属性和姿态属性，人口属性包括年龄、性别和种族，姿态属性包括光照、表情和姿势。
优选地，S4中种群的获取方法为：通过训练得到的超平面边界的法向量表示在潜空间中编辑人脸属性的方向，训练多个一对一的线性支持向量机SVM分离每个潜向量的每个姿态属性得到多组种群，包括表情与中性表情的一组种群，在每个不同的种族的潜向量上训练多个一对多的SVM，得到多个不同种族的潜向量的种群，所有超平面边界的训练用合成数据进行。
优选地，S5的具体操作如下：
S5.1：姿势中性化：通过将S4中种群分离后的的潜向量投影到与偏航和俯仰相关的超平面边界上，使潜向量表示的人脸图像姿势中性化；
S5.2：表情中性化：通过将S4中种群分离后的的潜向量投影到与偏航和俯仰相关的超平面边界上，并将结果潜向量沿着中性表情的方向移动，使潜向量表示的人脸图像表情中性化；
S5.3：人口属性转换：对根据姿势和表情进行中性化的潜向量应用属性边界的转换；
S5.4：基于神经对抗网络GANs的类内变化：根据姿势、表情和光照的边界修改人口属性的潜向量，以生成每个身份的类内变化。
优选地，S6中使用神经对抗网络GANs生成的人脸图像微调预训练好的扩散模型结构，将一个唯一标记与一个身份绑定，并将绑定了标记的身份植入到扩散模型的输出域中，使用包含标记后跟身份的类名的文本提示。
优选地，S7中的最小化损失函数包括神经网络生成器损失、身份特征匹配损失和像素级重建损失。
优选地，S7还包括人工评估操作，人工评估操作具体为使用包括图像质量分数FID、结构相似性SSIM和身份一致性度量的定量指标来对生成结果进行评估。
优选地，S1中的属性模型包括3DDFA_V2模型、DMUE模型和FairFace模型。
与现有技术相比，本发明的有益效果是：
本申请提出了一种结合GAN和扩散模型的新框架，该框架结合了生成对抗网络GAN和扩散模型的优势，使用生成对抗网络生成合成身份，并通过在潜在空间中操纵属性为每个身份创建不同的图像，然后使用扩散模型框架，对生成的图像进行进一步处理，以增强类内变异性。通过这种方式，我们能够生成易于控制和逼真的合成数据集，具有更好的类内变异性和人口统计特征，本申请解决了传统技术中缺乏类内变异性和人口统计特征的问题，该技术的优势在于能够生成逼真的人脸图像，并且通过操纵潜在空间和使用扩散模型实现增强的类内变异，从而提高面部识别模型的性能，这种技术可以被应用于训练和测试多个面部分析应用，为面部识别系统的评估和改进提供了有效的工具。
附图说明
图1为对抗神经网络GANs的工作流程示意图；
图2为扩散模型的工作流程示意图；
图3为扩散模型的推理流程示意图。
具体实施方式
为便于本领域技术人员理解本发明的技术内容，以下结合附图和具体的实例对本发明作进一步地详细说明。应当理解，此处所描述的具体实例仅用以解释本发明，并不用于限定本发明。
实施例1：
如图1、图2、图3所示，一种结合生成对抗网络和扩散模型的人脸生成方法，包括以下步骤：
S1：数据集生成：使用神经对抗网络GANs生成一个包含多个人脸图像的初始随机数据集，首先，使用神经对抗网络（使用FFHQ数据集进行预训练）生成一个包含大量合成图像的初始随机数据集，然后，从初始数据集中删除质量较差的图像和年轻主体。为了评估图像质量，我们使用MagFace 质量模型，这是一种学习特征嵌入的先进系统，其模长大小表示了图像质量。我们剔除了具有模长最短的10%的图；
将初始随机数据集中的人脸图像投射至潜空间中，得到潜向量，并使用属性模型对初始随机数据集中的潜向量进行人脸属性的分类标记；
S2：潜向量插值：根据人脸属性的分类标记，将初始随机数据集中的潜向量转化为具有人口属性的身份，通过在两个具有不同人口属性的身份的潜向量之间进行线性插值，生成介于两个具有不同人口属性的身份之间的新的身份；
S3：融合和渐变操作：融合操作用于将两个不同的身份进行混合，以生成同时具有两个不同身份的特征的身份，渐变操作用于在两个不同的身份之间生成具有渐变效果的身份；
S4：人脸属性表示：在潜空间中训练线性支持向量机SVM，将所有生成的身份的潜向量根据二元目标属性分离为多组不同的种群，每组种群包括两个种群，一组中的两个种群分别表示潜向量的一个人脸属性的两个极端分布；
在该步骤中，为了结耦神经对抗网络（GAN)s生成的人脸属性，我们在潜空间中训练线性支持向量机（SVM），以将潜向量根据二元目标属性分离为两个不同的种群。通过训练得到的超平面边界的法向量表示在潜空间中编辑人脸属性的方向。我们使用3DDFA_V2、DMUE和FairFace等模型对合成数据集进行姿势、表情、光照、性别、年龄和种族等属性的标记。对于每个感兴趣的属性，我们用相同数量的潜向量表示两个种群，这些潜向量在目标属性的得分分布的两个极端处选择。对于分类属性，如表情和种族，我们使用DMUE和FairFace提供的数值分别表示所有可能的分类属性。因此，我们训练多个一对一的SVM来分离每个表情与中性表情，在每个不同的种族上训练多个一对多的SVM。所有边界的训练仅使用合成数据进行。边界确定后，我们就得到了多个可分离的潜空间。
S5：潜空间转换：通过分离出的种群，在潜空间中应用属性转换来修改身份的姿态属性，再修改身份的人口属性，生成每个身份的类内变化；
在该步骤中，我们可以通过在潜空间中应用转换来修改代表面部图像的潜向量，使其呈中性状态。通过结合转换和中性化的操作来修改人脸图像的人口属性（种族、年龄和性别），可以生成任意数量的表示目标人口群体的身份。具体操作顺序如下：
S5.1：姿势中性化：通过将随机生成的身份的潜向量投影到与偏航和俯仰相关的超平面边界上，将它们的姿势中性化。
S5.2：表情中性化：通过将随机生成的身份的潜向量投影到与当前表情相关的超平面边界上，并将结果潜向量沿着中性表情的方向移动（与当前表情相反的方向），将它们的表情中性化。
S5.3：特定人口属性转换：对中性化的潜向量（根据姿势和表情进行中性化）应用属性边界的转换。通过预先选择与目标属性接近的具有人口属性的随机身份，我们考虑了70个不同的人口群组，包括七种种族、五个成年人年龄间隔和两个性别。总共，我们在这一步生成了700个不同的身份（每个70个人口群组中的10个身份）。
S5.4基于GAN(对抗神经网络）的类内变化：可以根据姿势、表情和光照的边界进一步修改特定人口属性身份的潜向量，以生成每个合成身份的（有限的）类内变化。
值得注意的是，通过将不同的人口属性转换应用于同一原始身份，可以模拟亲属关系、多种族联盟和人口老龄化。
S6：基于文本提示的图像合成：引入扩散模型对每个身份的人脸图像进行微调，将一个唯一标记与一个身份绑定，输出具有类内变化的带文本提示的人脸图像；
在该步骤中，为了解决现有文本到图像合成模型在保持主体身份上的一致性方面的问题，我们引入了扩散模型。扩散模型是一种新颖的框架，它可以通过对文本到图像模型进行微调，将新词与特定主体绑定，并在不同上下文中合成主体的新版本，同时保持其独特的特征。
训练过程如下：
我们使用上述介绍的基于对抗神经网络模块生成的图像来微调表现优异的已经训练好的扩散模型结构。我们将一个唯一标记（我们使用“xyz”）与特定的合成身份绑定，并将其植入到扩散模型的输出域中。为了引用该身份，我们使用包含标记“xyz”后跟身份的类名的文本提示，例如“xyz person”。类名（即“person”）使模型能够利用其对该类的先验知识，并且附加的类特定的先验保护损失有助于保护身份信息。
S7：优化操作：使用反向传播和优化算法对神经对抗网络GANs和扩散模型进行优化，通过最小化损失函数，提高扩散模型输出人脸图像的质量和准确性。
在该步骤中，为了优化生成的图像质量和身份一致性，我们可以使用反向传播和优化算法对模型进行训练。通过最小化损失函数，如对抗神经网络生成器损失、身份特征匹配损失和像素级重建损失，我们可以提高合成图像的质量和准确性。此外，还可以使用人工评估和定量指标，如图像质量分数（例如FID和SSIM）和身份一致性度量（例如人脸验证准确率）来评估生成结果。
在本实施例中，本申请提出了一种结合GAN和扩散模型的新框架，该框架结合了生成对抗网络GAN和扩散模型的优势，使用生成对抗网络生成合成身份，并通过在潜在空间中操纵姿势、表情和光照属性为每个身份创建不同的图像，然后使用扩散模型框架，对生成的图像进行进一步处理，以增强类内变异性。通过这种方式，我们能够生成易于控制和逼真的合成数据集，具有更好的类内变异性和人口统计特征，本申请解决了传统技术中缺乏类内变异性和人口统计特征的问题，该技术的优势在于能够生成逼真的人脸图像，并且通过操纵潜在空间和使用扩散模型实现增强的类内变异，从而提高面部识别模型的性能，这种技术可以被应用于训练和测试多个面部分析应用，为面部识别系统的评估和改进提供了有效的工具。
Claims (10)
1.一种结合生成对抗网络和扩散模型的人脸生成方法，其特征在于，包括以下步骤：
S1：数据集生成：使用神经对抗网络GANs生成一个包含多个人脸图像的初始随机数据集，将初始随机数据集中的人脸图像投射至潜空间中，得到潜向量，并使用属性模型对初始随机数据集中的潜向量进行人脸属性的分类标记；
S2：潜向量插值：根据人脸属性的分类标记，将初始随机数据集中的潜向量转化为具有人口属性的身份，通过在两个具有不同人口属性的身份的潜向量之间进行线性插值，生成介于两个具有不同人口属性的身份之间的新的身份；
S3：融合和渐变操作：融合操作用于将两个不同的身份进行混合，以生成同时具有两个不同身份的特征的身份，渐变操作用于在两个不同的身份之间生成具有渐变效果的身份；
S4：人脸属性表示：在潜空间中训练线性支持向量机SVM，将所有生成的身份的潜向量根据二元目标属性分离为多组不同的种群，每组种群包括两个种群，一组中的两个种群分别表示潜向量的一个人脸属性的两个极端分布；
S5：潜空间转换：通过分离出的种群，在潜空间中应用属性转换来修改身份的姿态属性，再修改身份的人口属性，生成每个身份的类内变化；
S6：基于文本提示的图像合成：引入扩散模型对每个身份的人脸图像进行微调，将一个唯一标记与一个身份绑定，输出具有类内变化的带文本提示的人脸图像；
S7：优化操作：使用反向传播和优化算法对神经对抗网络GANs和扩散模型进行优化，通过最小化损失函数，提高扩散模型输出人脸图像的质量和准确性。
2.根据权利要求1所述的一种结合生成对抗网络和扩散模型的人脸生成方法，其特征在于，S1还包括图像质量评估操作，具体为：在使用神经对抗网络GANs生成初始随机数据集后，使用MagFace 质量模型，剔除初始随机数据集中具有模长最短的10%的图像。
3.根据权利要求1所述的一种结合生成对抗网络和扩散模型的人脸生成方法，其特征在于，S1中神经对抗网络GANs使用Flickr-Faces-HQ数据集进行预训练。
4.根据权利要求1所述的一种结合生成对抗网络和扩散模型的人脸生成方法，其特征在于，S1中的人脸属性包括人口属性和姿态属性，人口属性包括年龄、性别和种族，姿态属性包括光照、表情和姿势。
5.根据权利要求4所述的一种结合生成对抗网络和扩散模型的人脸生成方法，其特征在于，S4中种群的获取方法为：通过训练得到的超平面边界的法向量表示在潜空间中编辑人脸属性的方向，训练多个一对一的线性支持向量机SVM分离每个潜向量的每个姿态属性得到多组种群，包括表情与中性表情的一组种群，在每个不同的种族的潜向量上训练多个一对多的SVM，得到多个不同种族的潜向量的种群，所有超平面边界的训练用合成数据进行。
6.根据权利要求5所述的一种结合生成对抗网络和扩散模型的人脸生成方法，其特征在于，S5的具体操作如下：
S5.1：姿势中性化：通过将S4中种群分离后的的潜向量投影到与偏航和俯仰相关的超平面边界上，使潜向量表示的人脸图像姿势中性化；
S5.2：表情中性化：通过将S4中种群分离后的的潜向量投影到与偏航和俯仰相关的超平面边界上，并将结果潜向量沿着中性表情的方向移动，使潜向量表示的人脸图像表情中性化；
S5.3：人口属性转换：对根据姿势和表情进行中性化的潜向量应用属性边界的转换；
S5.4：基于神经对抗网络GANs的类内变化：根据姿势、表情和光照的边界修改人口属性的潜向量，以生成每个身份的类内变化。
7.根据权利要求1所述的一种结合生成对抗网络和扩散模型的人脸生成方法，其特征在于，S6中使用神经对抗网络GANs生成的人脸图像微调预训练好的扩散模型结构，将一个唯一标记与一个身份绑定，并将绑定了标记的身份植入到扩散模型的输出域中，使用包含标记后跟身份的类名的文本提示。
8.根据权利要求1所述的一种结合生成对抗网络和扩散模型的人脸生成方法，其特征在于，S7中的最小化损失函数包括神经网络生成器损失、身份特征匹配损失和像素级重建损失。
9.根据权利要求1所述的一种结合生成对抗网络和扩散模型的人脸生成方法，其特征在于，S7还包括人工评估操作，人工评估操作具体为使用包括图像质量分数FID、结构相似性SSIM和身份一致性度量的定量指标来对生成结果进行评估。
10.根据权利要求1所述的一种结合生成对抗网络和扩散模型的人脸生成方法，其特征在于，S1中的属性模型包括3DDFA_V2模型、DMUE模型和FairFace模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311286068.6A CN117197294B (zh) | 2023-10-07 | 2023-10-07 | 一种结合生成对抗网络和扩散模型的人脸生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311286068.6A CN117197294B (zh) | 2023-10-07 | 2023-10-07 | 一种结合生成对抗网络和扩散模型的人脸生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117197294A true CN117197294A (zh) | 2023-12-08 |
| CN117197294B CN117197294B (zh) | 2024-05-14 |
Family
ID=89003412
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311286068.6A Active CN117197294B (zh) | 2023-10-07 | 2023-10-07 | 一种结合生成对抗网络和扩散模型的人脸生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117197294B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107437077A (zh) * | 2017-08-04 | 2017-12-05 | 深圳市唯特视科技有限公司 | 一种基于生成对抗网络的旋转面部表示学习的方法 |
| CN109934767A (zh) * | 2019-03-06 | 2019-06-25 | 中南大学 | 一种基于身份和表情特征转换的人脸表情转换方法 |
| CN113902671A (zh) * | 2021-08-31 | 2022-01-07 | 北京影谱科技股份有限公司 | 一种基于随机纹理的图像隐写方法和系统 |
| CN114239717A (zh) * | 2021-12-15 | 2022-03-25 | 北京欧珀通信有限公司 | 模型训练方法、图像处理方法及装置、电子设备、介质 |
| CN115984911A (zh) * | 2021-10-13 | 2023-04-18 | 哈尔滨工业大学（深圳） | 属性生成对抗网络以及基于该网络的人脸图像连续变换方法 |
| CN116188912A (zh) * | 2023-03-13 | 2023-05-30 | 上海数珩信息科技股份有限公司 | 主题图像的图像合成模型的训练方法、装置、介质及设备 |
| CN116402719A (zh) * | 2023-04-11 | 2023-07-07 | 南京邮电大学 | 一种基于潜在扩散模型的人盲脸图像恢复系统及其方法 |
| CN116563399A (zh) * | 2023-06-15 | 2023-08-08 | 湖南大学 | 一种基于扩散模型和生成对抗网络的图像生成方法 |
| US20230316591A1 (en) * | 2022-03-31 | 2023-10-05 | Adobe Inc. | Identity Preserved Controllable Facial Image Manipulation |
-
2023
- 2023-10-07 CN CN202311286068.6A patent/CN117197294B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107437077A (zh) * | 2017-08-04 | 2017-12-05 | 深圳市唯特视科技有限公司 | 一种基于生成对抗网络的旋转面部表示学习的方法 |
| CN109934767A (zh) * | 2019-03-06 | 2019-06-25 | 中南大学 | 一种基于身份和表情特征转换的人脸表情转换方法 |
| CN113902671A (zh) * | 2021-08-31 | 2022-01-07 | 北京影谱科技股份有限公司 | 一种基于随机纹理的图像隐写方法和系统 |
| CN115984911A (zh) * | 2021-10-13 | 2023-04-18 | 哈尔滨工业大学（深圳） | 属性生成对抗网络以及基于该网络的人脸图像连续变换方法 |
| CN114239717A (zh) * | 2021-12-15 | 2022-03-25 | 北京欧珀通信有限公司 | 模型训练方法、图像处理方法及装置、电子设备、介质 |
| US20230316591A1 (en) * | 2022-03-31 | 2023-10-05 | Adobe Inc. | Identity Preserved Controllable Facial Image Manipulation |
| CN116188912A (zh) * | 2023-03-13 | 2023-05-30 | 上海数珩信息科技股份有限公司 | 主题图像的图像合成模型的训练方法、装置、介质及设备 |
| CN116402719A (zh) * | 2023-04-11 | 2023-07-07 | 南京邮电大学 | 一种基于潜在扩散模型的人盲脸图像恢复系统及其方法 |
| CN116563399A (zh) * | 2023-06-15 | 2023-08-08 | 湖南大学 | 一种基于扩散模型和生成对抗网络的图像生成方法 |
Non-Patent Citations (4)
| Title |
|---|
| ALDINATA RIZKY REVANDA: "Utilization of Generative Adversarial Networks in Face Image Synthesis for Augmentation of Face Recognition Training Data", 2020 INTERNATIONAL CONFERENCE ON COMPUTER ENGINEERING, NETWORK, AND INTELLIGENT MULTIMEDIA (CENIM), vol. 2020, 17 November 2020 (2020-11-17), pages 396 - 401 * |
| 卢冰武: "L2M-GAN: Learning to Manipulate Latent Space Semantics for Facial Attribute Editing", 2021 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), vol. 2021, 28 November 2021 (2021-11-28), pages 2050 - 2959 * |
| 王先先;李菲菲;陈虬;: "一种基于改进条件生成式对抗网络的人脸表情生成方法", 小型微型计算机系统, no. 09, 4 September 2020 (2020-09-04), pages 1987 - 1992 * |
| 魏子涵;王慧;王晶;高岚;张伟功;: "基于特征增强的人脸属性转换", 微电子学与计算机, no. 10, 5 October 2020 (2020-10-05), pages 38 - 41 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117197294B (zh) | 2024-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yin et al. | Dreaming to distill: Data-free knowledge transfer via deepinversion | |
| Yang et al. | Learning face age progression: A pyramid architecture of gans | |
| CN110472642A (zh) | 基于多级注意力的细粒度图像描述方法及系统 | |
| CN109308318A (zh) | 跨领域文本情感分类模型的训练方法、装置、设备及介质 | |
| Taylor et al. | Learning invariance through imitation | |
| CN113807265B (zh) | 一种多样化的人脸图像合成方法及系统 | |
| CN111816255B (zh) | 融合多视角和最优多标签链式学习的rna结合蛋白识别 | |
| CN114581992A (zh) | 一种基于预训练StyleGAN的人脸表情合成方法及系统 | |
| Wan et al. | Fine-grained multi-attribute adversarial learning for face generation of age, gender and ethnicity | |
| Han et al. | Robust conditional GAN from uncertainty-aware pairwise comparisons | |
| DE102022131824A1 (de) | Visuelle Spracherkennung für Digitalvideos unter Einsatz generativ-adversativen Lernens | |
| Baraheem et al. | Image synthesis: a review of methods, datasets, evaluation metrics, and future outlook | |
| Liu et al. | Learning shape and texture progression for young child face aging | |
| CN112132075B (zh) | 图文内容处理方法及介质 | |
| CN117197294B (zh) | 一种结合生成对抗网络和扩散模型的人脸生成方法 | |
| Papaioannou et al. | Mimicme: A large scale diverse 4d database for facial expression analysis | |
| Nejadgholi et al. | A brain-inspired method of facial expression generation using chaotic feature extracting bidirectional associative memory | |
| CN114283083B (zh) | 一种基于解耦表示的场景生成模型的美学增强方法 | |
| CN116311472A (zh) | 基于多层次图卷积网络的微表情识别方法及装置 | |
| CN115690276A (zh) | 虚拟形象的视频生成方法、装置、计算机设备和存储介质 | |
| Li et al. | FreePIH: Training-Free Painterly Image Harmonization with Diffusion Model | |
| Zeng et al. | Controllable face aging | |
| CN111242213B (zh) | 无标签的自动人脸属性编辑方法 | |
| Mohammadian et al. | Diverse videos synthesis using manifold‐based parametric motion model for facial understanding | |
| Habib et al. | GAC-Text-to-Image Synthesis with Generative Models using Attention Mechanisms with Contrastive Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |