CN109377535A - 面部属性自动编辑系统、方法、存储介质和终端 - Google Patents

面部属性自动编辑系统、方法、存储介质和终端 Download PDF

Info

Publication number
CN109377535A
CN109377535A CN201811242925.1A CN201811242925A CN109377535A CN 109377535 A CN109377535 A CN 109377535A CN 201811242925 A CN201811242925 A CN 201811242925A CN 109377535 A CN109377535 A CN 109377535A
Authority
CN
China
Prior art keywords
dec
attribute
decoder
picture
formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811242925.1A
Other languages
English (en)
Inventor
匡平
王豪爽
付蓉
李小芳
宋欣豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201811242925.1A priority Critical patent/CN109377535A/zh
Publication of CN109377535A publication Critical patent/CN109377535A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks

Abstract

本发明公开了面部属性自动编辑系统、方法、存储介质和终端，系统包括训练模块和自动编辑模块；所述的训练模块包括编码器Genc、第一解码器Gdec、第二解码器Gdec、分类器C、判别器D、属性分类约束单元、重建误差单元、对抗误差单元和总误差单元；所述的自动编辑模块采用训练模块中训练完成的编码器Genc、第二解码器Gdec和分类器C。本发明不仅达到了面部属性编辑的目的，而且可以从另外一张图中自动提取该图中的期望属性，并将该图片的期望属性应用到调整初始图片，使得生成图像同时拥有两张图片的特征的目的。

Description

面部属性自动编辑系统、方法、存储介质和终端
技术领域
本发明涉及图像处理领域，尤其涉及面部属性自动编辑系统、方法、存储介质和终端。
背景技术
面部属性编辑目的是操纵面部图像的单个或多个属性，即是在生成具有期望属性的新面部图像的同时，保留了其他面部属性细节信息。最近，结合使用生成对抗网络(GAN)和编码器-解码器体系结构来处理该任务。基于编码器-解码器架构，面部属性编辑是由解码潜在表示来实现的，而这些潜在表示是以期望属性作为条件生成的。
一些现有的方法试图为属性编辑建立一个与属性无关的潜在表示。然而，这种对潜在表示的属性无关约束是过度的，因为它限制了潜在表示的能力并可能导致信息丢失，导致生成过渡平滑和扭曲的图像。
并且现有技术只能手动输入代表期望属性的向量，从而达到面部属性编辑的目的，即不能从另外一张图中自动提取该图中的期望属性，并将该图片的期望属性应用到调整初始图片，使得生成图像同时拥有两张图片的特征的目的。
发明内容
本发明的目的在于克服现有技术的不足，提供面部属性自动编辑系统、方法、存储介质和终端，解决现有技术不能从另外一张图中自动提取该图中的期望属性、并将该图片的期望属性应用到调整初始图片、使得生成图像同时拥有两张图片的特征的目的的问题。
本发明的目的是通过以下技术方案来实现的：面部属性自动编辑系统，包括训练模块和自动编辑模块；
所述的训练模块包括编码器Genc、第一解码器Gdec、第二解码器Gdec、分类器C、判别器D、属性分类约束单元、重建误差单元、对抗误差单元和总误差单元；
带有原始属性a的图片xa分别输出至重建误差单元和编码器Genc，编码器Genc的输出端输出潜在表示z分别至两个解码器，即z＝Genc(xa)；第一解码器Gdec的另外一个输入端输入原始属性a，第一解码器Gdec的输出端输出重建图片至重建误差单元，即第二解码器Gdec的另外一个输入端输入期望属性b，第二解码器Gdec的输出端输出期望图片分别至分类器C和判别器D，即分类器C的输出端输出提取得到的图片属性至属性分类约束单元，即属性分类约束单元的另外一个输入端输入期望属性b；判别器D的另外一个输入端输入带有原始属性a的图片xa，判别器D的输出端与对抗误差单元连接；总误差单元的输入端分别与属性分类约束单元、重建误差单元、对抗误差单元连接，总误差单元的输出端分别与编码器Genc、第一解码器Gdec、第二解码器Gdec、分类器C、判别器D连接；
其中，所述的属性分类约束单元包括期望属性生成子单元和原始属性生成子单元，所述的期望属性生成子单元用于将潜在表示z和期望属性b生成一张逼真的照片，公式如下：
式中，公式中的Gdec为第二解码器Gdec，pdata表示真实图像的分布，pattr表示属性的分布，xa～pdata表示从真实图像中取样，b～pattr表示从属性中取样，表示第i个属性的预测，n为属性数量，lg(xa,b)是所有属性的二元交叉熵损失的总和，E表示分布抽样后对lg(xa,b)取期望值；
所述的原始属性生成子单元用于将潜在表示z和原始属性a生成尽可能与带有原始属性a的图片xa一样的照片，公式如下：
式中，C表示分类器，xa～pdata表示从真实图像中取样，Ci(xa)表示第i个属性的预测，n为属性数量，lr(xa,a)是所有属性的二元交叉熵损失的总和，E表示分布抽样后对lr(xa,a)取期望值；
所述的重建误差单元旨在保留属性之外的细节，公式如下：
式中，公式中的Gdec为第一解码器Gdec，并采用l1损失函数；
所述的对抗误差单元用于让生成的期望图片更加真实，公式如下：
式中，式中的Gdec为第二解码器Gdec，||D||L小于等于1表示D属于1-lipschitz连续，L表示第几范式，一般来说L取值为2，表示第二范式，D(xa)表示表示对原图片进行判别，表示对生成的期望属性的图片进行判别；
所述的总误差单元用于结合属性分类约束单元、重建误差单元和对抗误差单元获得统一的属性GAN，用来自动编辑待具有期望属性b的图片；所述的总误差单元包括编码器解码器目标计算子单元、以及分类器判别器目标计算子单元，其中编码器解码器目标计算子单元的公式如下：
式中，式中的Gdec为第二解码器Gdec和第一解码器Gdec，λ1、λ2为超参数，值为给定值；
分类器判别器目标计算子单元的公式如下：
式中，λ3为超参数，值为给定值；
所述的自动编辑模块采用训练模块中训练完成的编码器Genc、第二解码器Gdec和分类器C，所述的编码器Genc的输入端输入待自动编辑的图片Xa，所述的待自动编辑的图片Xa包括原始属性a，分类器C的输入端输入待提取特征的图片Xb，所述的待提取特征的图片Xb包含期望属性b；
编码器Genc的输出端输出潜在表示z至第二解码器Gdec，即z＝Genc(Xa)，分类器C的输出端输出提取得到的期望属性b至第二解码器Gdec，即b＝C(Xb)，第二解码器Gdec的输出端输出自动编辑完成的具有期望属性b的图片Xout，即Xout＝Gdec(z,b)＝Gdec(Genc(Xa),C(Xb))。
进一步地，所述的编码器Genc包括五个顺次连接的卷积组，每个卷积组均包括顺次连接的卷积层Conv、纵向归一化层BN和激活函数层Leaky ReLU；
两个解码器Gdec均包括五个顺次连接的反卷积组，其中前四个反卷积组均包括顺次连接的反卷积层DeConv、批量归一化层BN和激活函数层Leaky ReLU，最后一个反卷积组包括一个反卷积层DeConv和一个激活函数层Tanh；
所述的分类器C和判别器D共享五层顺次连接的卷积组，每个卷积组均包括包括顺次连接的卷积层Conv、横向归一化层LN/IN和激活函数层Leaky ReLU；所述的分类器C还包括顺次连接的分类得分层FC(1024)、横向归一化层LN/IN、激活函数层Leaky ReLU、分类得分层FC(n)和激活函数层Sigmoid；所述的判别器D还包括顺次连接的分类得分层FC(1024)、横向归一化层LN/IN、激活函数层Leaky ReLU、分类得分层FC(1)，其中n为属性数量。
进一步地，在编码器Genc的卷积组中，其中每个卷积层Conv的大小分别为64*4*2、128*4*2、256*4*2、512*4*2和1024*4*2；
在解码器中，前四个反卷积组中的每个反卷积层DeConv的大小分别为1024*4*2、512*4*2、256*4*2和128*4*2，最后一个反卷积组的反卷积层DeConv的大小为3*4*2；
在分类器C和判别器D共享的卷积组中，每个卷积层Conv的大小分别为64*4*2、128*4*2、256*4*2、512*4*2和1024*4*2。
进一步地，所述的原始属性a的二元属性为[a1,a2,a3...,an]，期望属性b的二元属性为[b1,b2,b3...,bn]，当取值为0时证明该单个属性不存在，当取值为1时证明该单个属性存在。
本发明还提供面部属性自动编辑方法，包括训练步骤和自动编辑步骤；
所述的训练步骤包括数据获取子步骤、损失计算子步骤和总误差计算子步骤；
所述的数据获取子步骤以下步骤：
将带有原始属性a的图片xa分别输出至重建误差单元和编码器Genc，编码器Genc的输出端输出潜在表示z分别至两个解码器，即z＝Genc(xa)；
第一解码器Gdec的另外一个输入端输入原始属性a，第一解码器Gdec的输出端输出重建图片至重建误差单元，即
第二解码器Gdec的另外一个输入端输入期望属性b，第二解码器Gdec的输出端输出期望图片分别至分类器C和判别器D，即
分类器C的输出端输出提取得到的图片属性至属性分类约束单元，即属性分类约束单元的另外一个输入端输入期望属性b；
判别器D的另外一个输入端输入带有原始属性a的图片xa，判别器D的输出端与对抗误差单元连接；
所述的损失计算子步骤包括属性分类约束损失计算、重建误差计算和对抗误差计算；
其中，所述的属性分类约束损失计算包括期望属性生成和原始属性生成，所述的期望属性生成用于将潜在表示z和期望属性b生成一张逼真的照片，公式如下：
式中，公式中的Gdec为第二解码器Gdec，pdata表示真实图像的分布，pattr表示属性的分布，xa～pdata表示从真实图像中取样，b～pattr表示从属性中取样，表示第i个属性的预测，n为属性数量，lg(xa,b)是所有属性的二元交叉熵损失的总和，E表示分布抽样后对lg(xa,b)取期望值；
所述的原始属性生成用于将潜在表示z和原始属性a生成尽可能与带有原始属性a的图片xa一样的照片，公式如下：
式中，C表示分类器，xa～pdata表示从真实图像中取样，Ci(xa)表示第i个属性的预测，n为属性数量，lr(xa,a)是所有属性的二元交叉熵损失的总和，E表示分布抽样后对lr(xa,a)取期望值；
所述的重建误差计算旨在保留属性之外的细节，公式如下：
式中，公式中的Gdec为第一解码器Gdec，并采用l1损失函数；
所述的对抗误差计算用于让生成的期望图片更加真实，公式如下：
式中，式中的Gdec为第二解码器Gdec，||D||L小于等于1表示D属于1-lipschitz连续，L表示第几范式，一般来说L取值为2，表示第二范式，D(xa)表示表示对原图片进行判别，表示对生成的期望属性的图片进行判别；
所述的总误差计算子步骤用于结合属性分类约束单元、重建误差单元和对抗误差单元获得统一的属性GAN，用来自动编辑待具有期望属性b的图片；所述的总误差计算子步骤包括编码器解码器目标计算、以及分类器判别器目标计算，其中编码器解码器目标计算的公式如下：
式中，式中的Gdec为第二解码器Gdec和第一解码器Gdec，λ1、λ2为超参数，值为给定值；
分类器判别器目标计算的公式如下：
式中，λ3为超参数，值为给定值；
所述的自动编辑步骤采用训练步骤中训练完成的编码器Genc、第二解码器Gdec和分类器C；
所述的编码器Genc的输入端输入待自动编辑的图片Xa，所述的待自动编辑的图片Xa包括原始属性a，分类器C的输入端输入待提取特征的图片Xb，所述的待提取特征的图片Xb包含期望属性b；编码器Genc的输出端输出潜在表示z至第二解码器Gdec，即z＝Genc(Xa)，分类器C的输出端输出提取得到的期望属性b至第二解码器Gdec，即b＝C(Xb)，第二解码器Gdec的输出端输出自动编辑完成的具有期望属性b的图片Xout，即Xout＝Gdec(z,b)＝Gdec(Genc(Xa),C(Xb))。
进一步地，所述的编码器Genc包括五个顺次连接的卷积组，每个卷积组均包括顺次连接的卷积层Conv、纵向归一化层BN和激活函数层Leaky ReLU；
两个解码器Gdec均包括五个顺次连接的反卷积组，其中前四个反卷积组均包括顺次连接的反卷积层DeConv、批量归一化层BN和激活函数层Leaky ReLU，最后一个反卷积组包括一个反卷积层DeConv和一个激活函数层Tanh；
所述的分类器C和判别器D共享五层顺次连接的卷积组，每个卷积组均包括包括顺次连接的卷积层Conv、横向归一化层LN/IN和激活函数层Leaky ReLU；所述的分类器C还包括顺次连接的分类得分层FC(1024)、横向归一化层LN/IN、激活函数层Leaky ReLU、分类得分层FC(n)和激活函数层Sigmoid；所述的判别器D还包括顺次连接的分类得分层FC(1024)、横向归一化层LN/IN、激活函数层Leaky ReLU、分类得分层FC(1)，其中n为属性数量。
进一步地，在编码器Genc的卷积组中，其中每个卷积层Conv的大小分别为64*4*2、128*4*2、256*4*2、512*4*2和1024*4*2；
在解码器中，前四个反卷积组中的每个反卷积层DeConv的大小分别为1024*4*2、512*4*2、256*4*2和128*4*2，最后一个反卷积组的反卷积层DeConv的大小为3*4*2；
在分类器C和判别器D共享的卷积组中，每个卷积层Conv的大小分别为64*4*2、128*4*2、256*4*2、512*4*2和1024*4*2。
进一步地，所述的原始属性a的二元属性为[a1,a2,a3...,an]，期望属性b的二元属性为[b1,b2,b3...,bn]，当取值为0时证明该单个属性不存在，当取值为1时证明该单个属性存在。
本发明还提供一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行所述的面部属性自动编辑方法的步骤。
本发明还提供一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行所述的面部属性自动编辑方法的步骤。
本发明的有益效果是：本发明不仅达到了面部属性编辑的目的，而且可以从另外一张图中自动提取该图中的期望属性，并将该图片的期望属性应用到调整初始图片，使得生成图像同时拥有两张图片的特征的目的。
附图说明
图1为本发明系统框图；
图2为训练模块示意图；
图3为自动编辑模块示意图。
具体实施方式
下面结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本实施例提供面部属性自动编辑系统，该系统可以应用于面部图像编辑软件中，适用于将其中一张人脸图片的期望属性进行提取，并将该期望属性应用于另外一个图片中，使得生成图像同时拥有两张图片的特征的目的，从而实现面部属性自动编辑。
如图1所示，具体地，如图1所示，所述的系统包括训练模块和自动编辑模块。首先通过训练模块对各模块进行训练后，通过自动编辑模块实现图片自动编辑。
如图2所示，所述的训练模块包括编码器Genc、第一解码器Gdec、第二解码器Gdec、分类器C、判别器D、属性分类约束单元、重建误差单元、对抗误差单元和总误差单元。
其中，两个解码器Gdec共享大部分网络结构，参数设置不同，图2中上面的解码器Gdec即第二解码器Gdec加入我们想要的属性b，生成期望的面部属性图片；下面的解码器Gdec即第一解码器Gdec加入原来的属性a，重建输入的图片，即生成和原图片类似的重建图片。
带有原始属性a的图片xa分别输出至重建误差单元和编码器Genc，编码器Genc的输出端输出潜在表示z分别至两个解码器，即z＝Genc(xa)；第一解码器Gdec的另外一个输入端输入原始属性a，第一解码器Gdec的输出端输出重建图片至重建误差单元，即第二解码器Gdec的另外一个输入端输入期望属性b，第二解码器Gdec的输出端输出期望图片分别至分类器C和判别器D，即分类器C的输出端输出提取得到的图片属性至属性分类约束单元，即属性分类约束单元的另外一个输入端输入期望属性b；判别器D的另外一个输入端输入带有原始属性a的图片xa，判别器D的输出端与对抗误差单元连接；总误差单元的输入端分别与属性分类约束单元、重建误差单元、对抗误差单元连接，总误差单元的输出端分别与编码器Genc、第一解码器Gdec、第二解码器Gdec、分类器C、判别器D连接。
总误差单元的输出结果用于控制编码器、解码器、判别器和分类器的内部权重。由于每个部分对误差的影响不一样，那么权重大小不一样，总误差单元控制根据每个部分的权重得到合理的误差。
详细地，在本实施例中，如图2所示，原始属性a为棕色头发，期望属性b为金色头发。
其中，所述的属性分类约束单元用于保证正确地生成我们想要的属性，即“改变你想要的”，具体地，该属性分类约束单元包括期望属性生成子单元和原始属性生成子单元。
其中，所述的期望属性生成子单元用于将潜在表示z和期望属性b生成一张逼真的照片。由于要求生成的图像应正确拥有新属性b，因此，我们使用分类器C来约束所生成的图像来得到到期望的属性，即公式如下：
式中，公式中的Gdec为第二解码器Gdec，pdata表示真实图像的分布，pattr表示属性的分布，clsg和lg(xa,b)中的g表示生成器(编码器和第二解码器均看作生成器)，xa～pdata表示从真实图像中取样，b～pattr表示从属性中取样，lg(xa,b)是所有属性的二元交叉熵损失的总和，表示第i个属性的预测，n为属性数量，E表示分布抽样后对lg(xa,b)取期望值；
所述的原始属性生成子单元用于将潜在表示z和原始属性a生成尽可能与带有原始属性a的图片xa一样的照片。分类器C在输入图像上以其原始属性a进行训练，公式如下：
式中，C表示分类器，xa～pdata表示从真实图像中取样，Ci(xa)表示第i个属性的预测，n为属性数量，lr(xa,a)是所有属性的二元交叉熵损失的总和，E表示分布抽样后对lr(xa,a)取期望值；
所述的重建误差单元旨在保留属性之外的细节，即“仅改变你想要的东西”，为此，解码器D应该学习解码潜在表示z来重建输入图像，而潜在表示z是以原始属性a作为条件的。这里使用l1损失而不是l2损失，是为了抑制模糊。公式如下：
式中，公式中的Gdec为第一解码器Gdec，并采用l1损失函数；
所述的对抗误差单元用于让生成的期望图片更加真实，这和GAN的博弈论是一致的，这里本实施例使用WGAN-GP的损失函数(即是对梯度进行了惩罚)公式如下：
式中，式中的Gdec为第二解码器Gdec，||D||L小于等于1表示D属于1-lipschitz连续，L表示第几范式，一般来说L取值为2，表示第二范式，D(xa)表示对原图片进行判别，表示对生成的期望属性的图片进行判别；
所述的总误差单元用于结合属性分类约束单元、重建误差单元和对抗误差单元获得统一的属性GAN，用来自动编辑待具有期望属性b的图片，而这些图片能保存良好的属性之外的细节信息。
所述的总误差单元包括编码器解码器目标计算子单元、以及分类器判别器目标计算子单元，其中编码器解码器目标计算子单元的公式如下：
式中，式中的Gdec为第二解码器Gdec和第一解码器Gdec，λ1、λ2为超参数，值为给定值；
分类器判别器目标计算子单元的公式如下：
式中，λ3为超参数，值为给定值。
上述为训练模块的部分。
如图3所示，所述的自动编辑模块采用训练模块中训练完成的编码器Genc、第二解码器Gdec和分类器C，所述的编码器Genc的输入端输入待自动编辑的图片Xa，所述的待自动编辑的图片Xa包括原始属性a，分类器C的输入端输入待提取特征的图片Xb，所述的待提取特征的图片Xb包含期望属性b；
编码器Genc的输出端输出潜在表示z至第二解码器Gdec，即z＝Genc(Xa)，分类器C的输出端输出提取得到的期望属性b至第二解码器Gdec，即b＝C(Xb)，第二解码器Gdec的输出端输出自动编辑完成的具有期望属性b的图片Xout，即Xout＝Gdec(z,b)＝Gdec(Genc(Xa),C(Xb))。
详细地，如图3所示，通过分类器C从图片Xb中提取得到的期望属性b包括金发、皮肤白皙和戴眼镜，均通过第二解码器Gdec编辑到待自动编辑的图片Xa中。
另外，优选地，在本实施例中：
所述的编码器Genc包括五个顺次连接的卷积组，每个卷积组均包括顺次连接的卷积层Conv、纵向归一化层BN和激活函数层Leaky ReLU；
优选地，在编码器Genc的卷积组中，其中每个卷积层Conv的大小分别为64*4*2、128*4*2、256*4*2、512*4*2和1024*4*2。
两个解码器Gdec均包括五个顺次连接的反卷积组，其中前四个反卷积组均包括顺次连接的反卷积层DeConv、批量归一化层BN和激活函数层Leaky ReLU，最后一个反卷积组包括一个反卷积层DeConv和一个激活函数层Tanh。
优选地，在解码器中，前四个反卷积组中的每个反卷积层DeConv的大小分别为1024*4*2、512*4*2、256*4*2和128*4*2，最后一个反卷积组的反卷积层DeConv的大小为3*4*2。
所述的分类器C和判别器D共享五层顺次连接的卷积组，每个卷积组均包括包括顺次连接的卷积层Conv、横向归一化层LN/IN和激活函数层Leaky ReLU；所述的分类器C还包括顺次连接的分类得分层FC(1024)、横向归一化层LN/IN、激活函数层Leaky ReLU、分类得分层FC(n)和激活函数层Sigmoid；所述的判别器D还包括顺次连接的分类得分层FC(1024)、横向归一化层LN/IN、激活函数层Leaky ReLU、分类得分层FC(1)，其中n为属性数量。
另外，优选地，在本实施例中，所述的n为13，即选取了13个具有视觉冲击的面部属性特征。
优选地，在分类器C和判别器D共享的卷积组中，每个卷积层Conv的大小分别为64*4*2、128*4*2、256*4*2、512*4*2和1024*4*2。
更优地，在本实施例中，所述的原始属性a的二元属性为[a1,a2,a3...,an]，期望属性b的二元属性为[b1,b2,b3...,bn]，当取值为0时证明该单个属性不存在，当取值为1时证明该单个属性存在。
实施例2
本实施例提供一种面部属性自动编辑方法，该实施例具有与实施例1中相同的发明构思，该方法可以应用于面部图像编辑软件中，适用于将其中一张人脸图片的期望属性进行提取，并将该期望属性应用于另外一个图片中，使得生成图像同时拥有两张图片的特征的目的，从而实现面部属性自动编辑。
具体地，所述的方法包括训练步骤和自动编辑步骤；
所述的训练步骤包括数据获取子步骤、损失计算子步骤和总误差计算子步骤；
所述的数据获取子步骤以下步骤：
将带有原始属性a的图片xa分别输出至重建误差单元和编码器Genc，编码器Genc的输出端输出潜在表示z分别至两个解码器，即z＝Genc(xa)；
第一解码器Gdec的另外一个输入端输入原始属性a，第一解码器Gdec的输出端输出重建图片至重建误差单元，即
第二解码器Gdec的另外一个输入端输入期望属性b，第二解码器Gdec的输出端输出期望图片分别至分类器C和判别器D，即
分类器C的输出端输出提取得到的图片属性至属性分类约束单元，即属性分类约束单元的另外一个输入端输入期望属性b；
判别器D的另外一个输入端输入带有原始属性a的图片xa，判别器D的输出端与对抗误差单元连接；
所述的损失计算子步骤包括属性分类约束损失计算、重建误差计算和对抗误差计算；
其中，所述的属性分类约束损失计算包括期望属性生成和原始属性生成，所述的期望属性生成用于将潜在表示z和期望属性b生成一张逼真的照片，公式如下：
式中，公式中的Gdec为第二解码器Gdec，pdata表示真实图像的分布，pattr表示属性的分布clsg和lg(xa,b)中的g表示生成器(编码器和第二解码器均看作生成器)，xa～pdata表示从真实图像中取样，b～pattr表示从属性中取样，lg(xa,b)是所有属性的二元交叉熵损失的总和，表示第i个属性的预测，n为属性数量，E表示分布抽样后对lg(xa,b)取期望值；
所述的原始属性生成用于将潜在表示z和原始属性a生成尽可能与带有原始属性a的图片xa一样的照片，公式如下：
式中，C表示分类器，xa～pdata表示从真实图像中取样，Ci(xa)表示第i个属性的预测，n为属性数量，lr(xa,a)是所有属性的二元交叉熵损失的总和，E表示分布抽样后对lr(xa,a)取期望值；
所述的重建误差计算旨在保留属性之外的细节，公式如下：
式中，公式中的Gdec为第一解码器Gdec，并采用l1损失函数；
所述的对抗误差计算用于让生成的期望图片更加真实，公式如下：
式中，式中的Gdec为第二解码器Gdec，||D||L小于等于1表示D属于1-lipschitz连续，L表示第几范式，一般来说L取值为2，表示第二范式，D(xa)表示对原图片进行判别，表示对生成的期望属性的图片进行判别；
所述的总误差计算子步骤用于结合属性分类约束单元、重建误差单元和对抗误差单元获得统一的属性GAN，用来自动编辑待具有期望属性b的图片；所述的总误差计算子步骤包括编码器解码器目标计算、以及分类器判别器目标计算，其中编码器解码器目标计算的公式如下：
式中，式中的Gdec为第二解码器Gdec和第一解码器Gdec，λ1、λ2为超参数，值为给定值；
分类器判别器目标计算的公式如下：
式中，λ3为超参数，值为给定值；
所述的自动编辑步骤采用训练步骤中训练完成的编码器Genc、第二解码器Gdec和分类器C；
所述的编码器Genc的输入端输入待自动编辑的图片Xa，所述的待自动编辑的图片Xa包括原始属性a，分类器C的输入端输入待提取特征的图片Xb，所述的待提取特征的图片Xb包含期望属性b；编码器Genc的输出端输出潜在表示z至第二解码器Gdec，即z＝Genc(Xa)，分类器C的输出端输出提取得到的期望属性b至第二解码器Gdec，即b＝C(Xb)，第二解码器Gdec的输出端输出自动编辑完成的具有期望属性b的图片Xout，即Xout＝Gdec(z,b)＝Gdec(Genc(Xa),C(Xb))。
对应地，在本实施例中，所述的编码器Genc包括五个顺次连接的卷积组，每个卷积组均包括顺次连接的卷积层Conv、纵向归一化层BN和激活函数层Leaky ReLU；
两个解码器Gdec均包括五个顺次连接的反卷积组，其中前四个反卷积组均包括顺次连接的反卷积层DeConv、批量归一化层BN和激活函数层Leaky ReLU，最后一个反卷积组包括一个反卷积层DeConv和一个激活函数层Tanh；
所述的分类器C和判别器D共享五层顺次连接的卷积组，每个卷积组均包括包括顺次连接的卷积层Conv、横向归一化层LN/IN和激活函数层Leaky ReLU；所述的分类器C还包括顺次连接的分类得分层FC(1024)、横向归一化层LN/IN、激活函数层Leaky ReLU、分类得分层FC(n)和激活函数层Sigmoid；所述的判别器D还包括顺次连接的分类得分层FC(1024)、横向归一化层LN/IN、激活函数层Leaky ReLU、分类得分层FC(1)，其中n为属性数量。
对应地，在本实施例中，在编码器Genc的卷积组中，其中每个卷积层Conv的大小分别为64*4*2、128*4*2、256*4*2、512*4*2和1024*4*2；
在解码器中，前四个反卷积组中的每个反卷积层DeConv的大小分别为1024*4*2、512*4*2、256*4*2和128*4*2，最后一个反卷积组的反卷积层DeConv的大小为3*4*2；
在分类器C和判别器D共享的卷积组中，每个卷积层Conv的大小分别为64*4*2、128*4*2、256*4*2、512*4*2和1024*4*2。
对应地，在本实施例中，所述的原始属性a的二元属性为[a1,a2,a3...,an]，期望属性b的二元属性为[b1,b2,b3...,bn]，当取值为0时证明该单个属性不存在，当取值为1时证明该单个属性存在。
本发明实施例提供的面部属性自动编辑方法中相关部分的说明请参见本发明实施例1提供的面部属性自动编辑系统中对应部分的详细说明，在此不再赘述。另外，本发明实施例提供的上述技术方案中与现有技术中对应的技术方案实现原理一致的部分并未详细说明，以免过多赘述。
实施例3
基于实施例2的实现，本实施例还提供一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行实施例2中所述的面部属性自动编辑方法的步骤。
基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(RandomAccessMemory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
实施例4
基于实施例2的实现，本实施例还提供一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行实施例2中所述的面部属性自动编辑方法的步骤。
在本发明提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
在本发明所提供的所有实施例中，应该理解到，所揭露终端、系统和方法，可以通过其它的方式实现。以上所描述的终端实施例仅仅是示意性的，例如，所述单元/模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其他不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.面部属性自动编辑系统，其特征在于：包括训练模块和自动编辑模块；
所述的训练模块包括编码器Genc、第一解码器Gdec、第二解码器Gdec、分类器C、判别器D、属性分类约束单元、重建误差单元、对抗误差单元和总误差单元；
带有原始属性a的图片xa分别输出至重建误差单元和编码器Genc，编码器Genc的输出端输出潜在表示z分别至两个解码器，即z＝Genc(xa)；第一解码器Gdec的另外一个输入端输入原始属性a，第一解码器Gdec的输出端输出重建图片至重建误差单元，即第二解码器Gdec的另外一个输入端输入期望属性b，第二解码器Gdec的输出端输出期望图片分别至分类器C和判别器D，即分类器C的输出端输出提取得到的图片属性至属性分类约束单元，即属性分类约束单元的另外一个输入端输入期望属性b；判别器D的另外一个输入端输入带有原始属性a的图片xa，判别器D的输出端与对抗误差单元连接；总误差单元的输入端分别与属性分类约束单元、重建误差单元、对抗误差单元连接，总误差单元的输出端分别与编码器Genc、第一解码器Gdec、第二解码器Gdec、分类器C、判别器D连接；
其中，所述的属性分类约束单元包括期望属性生成子单元和原始属性生成子单元，所述的期望属性生成子单元用于将潜在表示z和期望属性b生成一张逼真的照片，公式如下：
式中，公式中的Gdec为第二解码器Gdec，pdata表示真实图像的分布，pattr表示属性的分布，xa～pdata表示从真实图像中取样，b～pattr表示从属性中取样，表示第i个属性的预测，n为属性数量，lg(xa,b)是所有属性的二元交叉熵损失的总和，E表示分布抽样后对lg(xa,b)取期望值；
所述的原始属性生成子单元用于将潜在表示z和原始属性a生成尽可能与带有原始属性a的图片xa一样的照片，公式如下：
式中，C表示分类器，xa～pdata表示从真实图像中取样，Ci(xa)表示第i个属性的预测，n为属性数量，lr(xa,a)是所有属性的二元交叉熵损失的总和，E表示分布抽样后对lr(xa,a)取期望值；
所述的重建误差单元旨在保留属性之外的细节，公式如下：
式中，公式中的Gdec为第一解码器Gdec，并采用l1损失函数；
所述的对抗误差单元用于让生成的期望图片更加真实，公式如下：
式中，式中的Gdec为第二解码器Gdec，||D||L小于等于1表示D属于1-lipschitz连续，L表示第几范式；D(xa)表示表示对原图片进行判别，表示对生成的期望属性的图片进行判别；
所述的总误差单元用于结合属性分类约束单元、重建误差单元和对抗误差单元获得统一的属性GAN，用来自动编辑待具有期望属性b的图片；所述的总误差单元包括编码器解码器目标计算子单元、以及分类器判别器目标计算子单元，其中编码器解码器目标计算子单元的公式如下：
式中，式中的Gdec为第二解码器Gdec和第一解码器Gdec，λ1、λ2为超参数，值为给定值；
分类器判别器目标计算子单元的公式如下：
式中，λ3为超参数，值为给定值；
所述的自动编辑模块采用训练模块中训练完成的编码器Genc、第二解码器Gdec和分类器C，所述的编码器Genc的输入端输入待自动编辑的图片Xa，所述的待自动编辑的图片Xa包括原始属性a，分类器C的输入端输入待提取特征的图片Xb，所述的待提取特征的图片Xb包含期望属性b；
编码器Genc的输出端输出潜在表示z至第二解码器Gdec，即z＝Genc(Xa)，分类器C的输出端输出提取得到的期望属性b至第二解码器Gdec，即b＝C(Xb)，第二解码器Gdec的输出端输出自动编辑完成的具有期望属性b的图片Xout，即Xout＝Gdec(z,b)＝Gdec(Genc(Xa),C(Xb))。
2.根据权利要求1所述的面部属性自动编辑系统，其特征在于：所述的编码器Genc包括五个顺次连接的卷积组，每个卷积组均包括顺次连接的卷积层Conv、纵向归一化层BN和激活函数层Leaky ReLU；
两个解码器Gdec均包括五个顺次连接的反卷积组，其中前四个反卷积组均包括顺次连接的反卷积层DeConv、批量归一化层BN和激活函数层Leaky ReLU，最后一个反卷积组包括一个反卷积层DeConv和一个激活函数层Tanh；
所述的分类器C和判别器D共享五层顺次连接的卷积组，每个卷积组均包括包括顺次连接的卷积层Conv、横向归一化层LN/IN和激活函数层Leaky ReLU；所述的分类器C还包括顺次连接的分类得分层FC(1024)、横向归一化层LN/IN、激活函数层Leaky ReLU、分类得分层FC(n)和激活函数层Sigmoid；所述的判别器D还包括顺次连接的分类得分层FC(1024)、横向归一化层LN/IN、激活函数层Leaky ReLU、分类得分层FC(1)，其中n为属性数量。
3.根据权利要求2所述的面部属性自动编辑系统，其特征在于：在编码器Genc的卷积组中，其中每个卷积层Conv的大小分别为64*4*2、128*4*2、256*4*2、512*4*2和1024*4*2；
在解码器中，前四个反卷积组中的每个反卷积层DeConv的大小分别为1024*4*2、512*4*2、256*4*2和128*4*2，最后一个反卷积组的反卷积层DeConv的大小为3*4*2；
在分类器C和判别器D共享的卷积组中，每个卷积层Conv的大小分别为64*4*2、128*4*2、256*4*2、512*4*2和1024*4*2。
4.根据权利要求1所述的面部属性自动编辑系统，其特征在于：所述的原始属性a的二元属性为[a1,a2,a3...,an]，期望属性b的二元属性为[b1,b2,b3...,bn]，当取值为0时证明该单个属性不存在，当取值为1时证明该单个属性存在。
5.面部属性自动编辑方法，其特征在于：包括训练步骤和自动编辑步骤；
所述的训练步骤包括数据获取子步骤、损失计算子步骤和总误差计算子步骤；
所述的数据获取子步骤以下步骤：
将带有原始属性a的图片xa分别输出至重建误差单元和编码器Genc，编码器Genc的输出端输出潜在表示z分别至两个解码器，即z＝Genc(xa)；
第一解码器Gdec的另外一个输入端输入原始属性a，第一解码器Gdec的输出端输出重建图片至重建误差单元，即
第二解码器Gdec的另外一个输入端输入期望属性b，第二解码器Gdec的输出端输出期望图片分别至分类器C和判别器D，即
分类器C的输出端输出提取得到的图片属性至属性分类约束单元，即属性分类约束单元的另外一个输入端输入期望属性b；
判别器D的另外一个输入端输入带有原始属性a的图片xa，判别器D的输出端与对抗误差单元连接；
所述的损失计算子步骤包括属性分类约束损失计算、重建误差计算和对抗误差计算；
其中，所述的属性分类约束损失计算包括期望属性生成和原始属性生成，所述的期望属性生成用于将潜在表示z和期望属性b生成一张逼真的照片，公式如下：
式中，公式中的Gdec为第二解码器Gdec，pdata表示真实图像的分布，pattr表示属性的分布，xa～pdata表示从真实图像中取样，b～pattr表示从属性中取样，表示第i个属性的预测，n为属性数量，lg(xa,b)是所有属性的二元交叉熵损失的总和，E表示分布抽样后对lg(xa,b)取期望值；
所述的原始属性生成用于将潜在表示z和原始属性a生成尽可能与带有原始属性a的图片xa一样的照片，公式如下：
式中，C表示分类器，xa～pdata表示从真实图像中取样，Ci(xa)表示第i个属性的预测，n为属性数量，lr(xa,a)是所有属性的二元交叉熵损失的总和，E表示分布抽样后对lr(xa,a)取期望值；
所述的重建误差计算旨在保留属性之外的细节，公式如下：
式中，公式中的Gdec为第一解码器Gdec，并采用l1损失函数；
所述的对抗误差计算用于让生成的期望图片更加真实，公式如下：
式中，式中的Gdec为第二解码器Gdec，||D||L小于等于1表示D属于1-lipschitz连续，L表示第几范式，D(xa)表示表示对原图片进行判别，表示对生成的期望属性的图片进行判别；
所述的总误差计算子步骤用于结合属性分类约束单元、重建误差单元和对抗误差单元获得统一的属性GAN，用来自动编辑待具有期望属性b的图片；所述的总误差计算子步骤包括编码器解码器目标计算、以及分类器判别器目标计算，其中编码器解码器目标计算的公式如下：
式中，式中的Gdec为第二解码器Gdec和第一解码器Gdec，λ1、λ2为超参数，值为给定值；
分类器判别器目标计算的公式如下：
式中，λ3为超参数，值为给定值；
所述的自动编辑步骤采用训练步骤中训练完成的编码器Genc、第二解码器Gdec和分类器C；
所述的编码器Genc的输入端输入待自动编辑的图片Xa，所述的待自动编辑的图片Xa包括原始属性a，分类器C的输入端输入待提取特征的图片Xb，所述的待提取特征的图片Xb包含期望属性b；编码器Genc的输出端输出潜在表示z至第二解码器Gdec，即z＝Genc(Xa)，分类器C的输出端输出提取得到的期望属性b至第二解码器Gdec，即b＝C(Xb)，第二解码器Gdec的输出端输出自动编辑完成的具有期望属性b的图片Xout，即Xout＝Gdec(z,b)＝Gdec(Genc(Xa),C(Xb))。
6.根据权利要求5所述的面部属性自动编辑方法，其特征在于：所述的编码器Genc包括五个顺次连接的卷积组，每个卷积组均包括顺次连接的卷积层Conv、纵向归一化层BN和激活函数层Leaky ReLU；
两个解码器Gdec均包括五个顺次连接的反卷积组，其中前四个反卷积组均包括顺次连接的反卷积层DeConv、批量归一化层BN和激活函数层Leaky ReLU，最后一个反卷积组包括一个反卷积层DeConv和一个激活函数层Tanh；
所述的分类器C和判别器D共享五层顺次连接的卷积组，每个卷积组均包括包括顺次连接的卷积层Conv、横向归一化层LN/IN和激活函数层Leaky ReLU；所述的分类器C还包括顺次连接的分类得分层FC(1024)、横向归一化层LN/IN、激活函数层Leaky ReLU、分类得分层FC(n)和激活函数层Sigmoid；所述的判别器D还包括顺次连接的分类得分层FC(1024)、横向归一化层LN/IN、激活函数层Leaky ReLU、分类得分层FC(1)，其中n为属性数量。
7.根据权利要求6所述的面部属性自动编辑方法，其特征在于：在编码器Genc的卷积组中，其中每个卷积层Conv的大小分别为64*4*2、128*4*2、256*4*2、512*4*2和1024*4*2；
在解码器中，前四个反卷积组中的每个反卷积层DeConv的大小分别为1024*4*2、512*4*2、256*4*2和128*4*2，最后一个反卷积组的反卷积层DeConv的大小为3*4*2；
在分类器C和判别器D共享的卷积组中，每个卷积层Conv的大小分别为64*4*2、128*4*2、256*4*2、512*4*2和1024*4*2。
8.根据权利要求5所述的面部属性自动编辑方法，其特征在于：所述的原始属性a的二元属性为[a1,a2,a3...,an]，期望属性b的二元属性为[b1,b2,b3...,bn]，当取值为0时证明该单个属性不存在，当取值为1时证明该单个属性存在。
9.一种存储介质，其上存储有计算机指令，其特征在于：所述计算机指令运行时执行权利要求5至8中任一项所述的面部属性自动编辑方法的步骤。
10.一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，其特征在于，所述处理器运行所述计算机指令时执行权利要求5至8中任一项所述的面部属性自动编辑方法的步骤。
CN201811242925.1A 2018-10-24 2018-10-24 面部属性自动编辑系统、方法、存储介质和终端 Pending CN109377535A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811242925.1A CN109377535A (zh) 2018-10-24 2018-10-24 面部属性自动编辑系统、方法、存储介质和终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811242925.1A CN109377535A (zh) 2018-10-24 2018-10-24 面部属性自动编辑系统、方法、存储介质和终端

Publications (1)

Publication Number Publication Date
CN109377535A true CN109377535A (zh) 2019-02-22

Family

ID=65401756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811242925.1A Pending CN109377535A (zh) 2018-10-24 2018-10-24 面部属性自动编辑系统、方法、存储介质和终端

Country Status (1)

Country Link
CN (1) CN109377535A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109920016A (zh) * 2019-03-18 2019-06-21 北京市商汤科技开发有限公司 图像生成方法及装置、电子设备和存储介质
CN109977922A (zh) * 2019-04-11 2019-07-05 电子科技大学 一种基于生成对抗网络的行人掩模生成方法
CN110458237A (zh) * 2019-08-14 2019-11-15 北京市商汤科技开发有限公司 语义识别方法和装置、电子设备及存储介质
CN111077523A (zh) * 2019-12-13 2020-04-28 南京航空航天大学 一种基于生成对抗网络的逆合成孔径雷达成像方法
CN111260754A (zh) * 2020-04-27 2020-06-09 腾讯科技（深圳）有限公司 人脸图像编辑方法、装置和存储介质
CN111311483A (zh) * 2020-01-22 2020-06-19 北京市商汤科技开发有限公司 图像编辑及训练方法、装置、电子设备和存储介质
CN111563427A (zh) * 2020-04-23 2020-08-21 中国科学院半导体研究所 人脸图像属性编辑方法、装置及设备
CN111914617A (zh) * 2020-06-10 2020-11-10 华南理工大学 一种基于平衡栈式生成式对抗网络的人脸属性编辑方法
CN112819689A (zh) * 2021-02-02 2021-05-18 百果园技术(新加坡)有限公司 人脸属性编辑模型的训练方法、人脸属性编辑方法及设备
CN114495222A (zh) * 2022-01-20 2022-05-13 杭州登虹科技有限公司 图像处理模型的构建方法与系统、图像处理方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1522048A (zh) * 2003-02-12 2004-08-18 ŷķ����ʽ���� 图像编辑装置
WO2014088871A1 (en) * 2012-12-04 2014-06-12 Google Inc. Facial expression editing in images based on collections of images
CN107977932A (zh) * 2017-12-28 2018-05-01 北京工业大学 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法
CN108133201A (zh) * 2018-01-17 2018-06-08 百度在线网络技术（北京）有限公司 人脸属性识别方法和装置
CN108446609A (zh) * 2018-03-02 2018-08-24 南京邮电大学 一种基于生成对抗网络的多角度面部表情识别方法
CN108564029A (zh) * 2018-04-12 2018-09-21 厦门大学 基于级联多任务学习深度神经网络的人脸属性识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1522048A (zh) * 2003-02-12 2004-08-18 ŷķ����ʽ���� 图像编辑装置
WO2014088871A1 (en) * 2012-12-04 2014-06-12 Google Inc. Facial expression editing in images based on collections of images
CN107977932A (zh) * 2017-12-28 2018-05-01 北京工业大学 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法
CN108133201A (zh) * 2018-01-17 2018-06-08 百度在线网络技术（北京）有限公司 人脸属性识别方法和装置
CN108446609A (zh) * 2018-03-02 2018-08-24 南京邮电大学 一种基于生成对抗网络的多角度面部表情识别方法
CN108564029A (zh) * 2018-04-12 2018-09-21 厦门大学 基于级联多任务学习深度神经网络的人脸属性识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
OWLLITE: "人脸属性识别之PyTorch简单实现", 《HTTPS://ZHUANLAN.ZHIHU.COM/P/32866194》 *
ZHENLIANG HE等: "Arbitrary Facial Attribute Editing:Only Change What You Want", 《HTTPS://ARXIV.ORG/ABS/1711.10678V2.PDF》 *
ZHENLIANG HE等: "AttGAN: Facial Attribute Editing by Only Changing What You Want", 《HTTPS://ARXIV.ORG/ABS/1711.10678.PDF》 *
高淑蕾等: "基于多级子网络和排序性Dropout机制的人脸属性识别", 《数据采集与处理》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109920016A (zh) * 2019-03-18 2019-06-21 北京市商汤科技开发有限公司 图像生成方法及装置、电子设备和存储介质
CN109977922A (zh) * 2019-04-11 2019-07-05 电子科技大学 一种基于生成对抗网络的行人掩模生成方法
CN110458237A (zh) * 2019-08-14 2019-11-15 北京市商汤科技开发有限公司 语义识别方法和装置、电子设备及存储介质
CN110458237B (zh) * 2019-08-14 2022-03-04 北京市商汤科技开发有限公司 语义识别方法和装置、电子设备及存储介质
CN111077523B (zh) * 2019-12-13 2021-12-21 南京航空航天大学 一种基于生成对抗网络的逆合成孔径雷达成像方法
CN111077523A (zh) * 2019-12-13 2020-04-28 南京航空航天大学 一种基于生成对抗网络的逆合成孔径雷达成像方法
CN111311483A (zh) * 2020-01-22 2020-06-19 北京市商汤科技开发有限公司 图像编辑及训练方法、装置、电子设备和存储介质
CN111563427A (zh) * 2020-04-23 2020-08-21 中国科学院半导体研究所 人脸图像属性编辑方法、装置及设备
CN111260754A (zh) * 2020-04-27 2020-06-09 腾讯科技（深圳）有限公司 人脸图像编辑方法、装置和存储介质
CN111914617A (zh) * 2020-06-10 2020-11-10 华南理工大学 一种基于平衡栈式生成式对抗网络的人脸属性编辑方法
CN111914617B (zh) * 2020-06-10 2024-05-07 华南理工大学 一种基于平衡栈式生成式对抗网络的人脸属性编辑方法
CN112819689A (zh) * 2021-02-02 2021-05-18 百果园技术(新加坡)有限公司 人脸属性编辑模型的训练方法、人脸属性编辑方法及设备
WO2022166840A1 (zh) * 2021-02-02 2022-08-11 百果园技术(新加坡)有限公司 人脸属性编辑模型的训练方法、人脸属性编辑方法及设备
CN114495222A (zh) * 2022-01-20 2022-05-13 杭州登虹科技有限公司 图像处理模型的构建方法与系统、图像处理方法及系统

Similar Documents

Publication Publication Date Title
CN109377535A (zh) 面部属性自动编辑系统、方法、存储介质和终端
CN109166130B (zh) 一种图像处理方法及图像处理装置
CN111368662A (zh) 一种人脸图像属性编辑方法、装置、存储介质及设备
CN108898476A (zh) 一种贷款客户信用评分方法和装置
Saikia et al. Global Feature Tracking and Similarity Estimation in Time‐Dependent Scalar Fields
CN109298998A (zh) 工作量评估及模型训练方法、电子设备及存储介质
Do et al. Knowledge graph embedding with multiple relation projections
CN110674174B (zh) 一种数据实时处理方法及数据实时处理系统
CN113749657B (zh) 一种基于多任务胶囊的脑电情绪识别方法
CN109389494A (zh) 借贷欺诈检测模型训练方法、借贷欺诈检测方法及装置
Tang et al. Diffuscene: Scene graph denoising diffusion probabilistic model for generative indoor scene synthesis
Chien et al. Variational and hierarchical recurrent autoencoder
Ling et al. Large scale learning of agent rationality in two-player zero-sum games
CN110472050A (zh) 一种团伙聚类方法和装置
CN109559230A (zh) 基于重叠社区发现算法的银行交易群体发现方法和系统
CN109800401A (zh) 信息报表自动生成方法及装置
CN112258625B (zh) 基于注意力机制的单幅图像到三维点云模型重建方法及系统
CN114913303A (zh) 虚拟形象生成方法及相关装置、电子设备、存储介质
CN110717978B (zh) 基于单张图像的三维头部重建方法
Ye et al. InfoVAEGAN: Learning joint interpretable representations by information maximization and maximum likelihood
CN116228400A (zh) 基于属性重构与注意力机制的信用卡用户行为预测方法
CN110517200A (zh) 人脸草绘图的获取方法、装置、设备及存储介质
CN114139607A (zh) 基于CRWGAN-div的设备故障样本增强方法
JPS6219940A (ja) 高速推論処理方式
Li et al. Prune the Convolutional Neural Networks with Sparse Shrink

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190222