CN107437077A - 一种基于生成对抗网络的旋转面部表示学习的方法 - Google Patents
一种基于生成对抗网络的旋转面部表示学习的方法 Download PDFInfo
- Publication number
- CN107437077A CN107437077A CN201710661974.8A CN201710661974A CN107437077A CN 107437077 A CN107437077 A CN 107437077A CN 201710661974 A CN201710661974 A CN 201710661974A CN 107437077 A CN107437077 A CN 107437077A
- Authority
- CN
- China
- Prior art keywords
- image
- posture
- face
- identity
- gan
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明一种基于生成对抗网络的旋转面部表示学习的方法,其主要内容包括：基于生成对抗网络的非耦合表示学习框架(DR‑GAN)、通过转换模型改进任何姿态下的面部图像、通过表示插值改进目标姿态的面部合成，其过程为，提供给解码器一个姿态编码，在判别器中增加姿态估计约束，DR‑GAN学习到的特征表示显式地分离了人脸的姿态变化特征，采用某个人的一张或者多张人脸图像作为输入，生成一个统一的身份特征表示，并生成针对该人的任意数量的不同姿态下的合成图像。本发明提出了一个基于生成对抗网络的非耦合表示学习框架，用于旋转面部和人脸识别，为建模领域的新设计，以及测谎领域的创新解决方案做了进一步贡献。
Description
技术领域
本发明涉及旋转面部领域，尤其是涉及了一种基于生成对抗网络的旋转面部表示学习的方法。
背景技术
旋转面部广泛应用于抓捕、测谎、人群搜索、建模等领域。具体地，在抓捕领域，抓捕逃犯时，利用公共监控图像的侧面图像，通过旋转生成逃犯正面图像，可以提高抓捕效率。而在测谎领域，由于测谎过程的特殊性，摄像头没有直接指示对象，此时通过对面部图像的旋转，可以获得人物的正面表情和姿态。在人群搜索领域，把图像从侧面旋转为正面图像，进一步明确搜索目标。另外，在建模领域，利用侧面图像，旋转后可以生成建模。由于日常生活中，很多情况下都无法获得人脸正面图，并且受光照，尺寸，姿态等因素影响，要准确进行面部旋转尚且存在一定的挑战。
本发明提出了一种基于生成对抗网络的旋转面部表示学习的方法，基于生成对抗网络的非耦合表示学习框架(DR-GAN)，学习面部姿态。通过提供给解码器一个姿态编码，并在判别器中增加姿态估计约束，DR-GAN学习到的特征表示显式地分离了人脸的姿态变化特征，DR-GAN采用某个人的一张或者多张人脸图像作为输入，生成一个统一的身份特征表示，并可以生成针对该人的任意数量的不同姿态下的合成图像。本发明提出了一个基于生成对抗网络的非耦合表示学习框架，生成器由编码器和解码器组成，使DR-GAN学习到同时具备生成性和判别性的特征表示，用于旋转面部和人脸识别，为建模领域的新设计，以及测谎领域的创新解决方案做了进一步贡献。
发明内容
针对旋转面部，提出了一个基于生成对抗网络的非耦合表示学习框架，生成器由编码器和解码器组成，使基于生成对抗网络的非耦合表示学习框架学习到同时具备生成性和判别性的特征表示，并用于旋转面部和人脸识别，为安防领域的新设计，以及医疗领域的创新解决方案做了进一步贡献。
为解决上述问题，本发明提供一种基于生成对抗网络的旋转面部表示学习的方法，其主要内容包括：
(一)基于生成对抗网络的非耦合表示学习框架；
(二)通过转换模型改进任何姿态下的面部图像；
(三)通过表示插值改进目标姿态的面部合成。
其中，所述的基于生成对抗网络的非耦合表示学习框架，生成器由编码器和解码器组成，可以使基于生成对抗网络的非耦合表示学习框架(DR-GAN)学习同时具备生成性和判别性的特征表示，并用于人脸生成和人脸识别，给解码器提供一个姿态编码，并在判别器中增加姿态估计约束，DR-GAN学习到的特征表示显式地分离了人脸的姿态变化特征，DR-GAN采用某个人的一张或者多张人脸图像作为输入，生成一个统一的身份特征表示，并生成针对该人的任意数量的不同姿态下的合成图像，单图像DR-GAN可以为每个训练目标拍摄一幅图像，多图像DR-GAN在单图像网络结构上做出对应修改后，利用每个目标的多个图像进行训练和测试。
其中，所述的生成对抗网络，由一个生成器G和一个判别器D组成，通过生成器G和判别器D产生样本数据分布，判别器D尝试区分真实图像x和合成图像G(z)，发生器G尝试从随机噪声向量z合成逼真的图像，令判别器D把G(z)判定为真实图像，D和G用以下损失函数进行博弈：
当合成样本的分布pg与真实样本的分布pd相同时，这种博弈对策具有全局最优解，pg收敛于pd，培训开始时，G产生的样本太差，被高可信度的D抑制，之后的实践中，采用最大化的log(D(G(z)))代替最小化的log(1-D(G(z)))，导致G和D有相同的动态固定点，为其在学习早期提供更强的梯度，
利用训练后的G和D优化上式目标。
其中，所述的单图像DR-GAN，单图像DR-GAN通过使用编码器和解码器组成生成器，学习面部图像的身份表示，从解码器输入表示，再从编码器输出，由于脸的外观不仅取决于身份，还取决于姿态，照明，表情等众多干扰性变化，因此，由编码器学习的身份表示将不可避免地包括这些干扰性的侧面变化，采用编码器学习这些干扰性变化，给定一个带标签y＝{yd,yp}的面部图像x，其中yd是身份标签，yp是姿态标签，根据相同的身份yd，由姿态代码c指定的不同的姿态合成脸部图像在原始图像x和姿态编码c上训练一个DR-GAN，其中判别器D是一个多任务卷积神经网络，由三部分组成：用于姿态分类，Np是离散姿态的总数，Dr作为Dd附加的第Nd+1th个元素，给定一个面部图像x，判别器D的目的是将其归类为真实图像类，并估计其身份和姿态，给定一个来自生成器的面部合成图像通过以下目标函数，D把判断为合成图像：C
其中和分别是Dd和DP中的第i个元素，所有随机变量都从以下分布中抽样(x,y～pd(x,y),z～pz(z),c～pc(c))，训练D的最终目标是所有目标的加权平均数：
令λg＝λd＝λp＝1。
其中，所述的生成器，生成器G由一个编码器和一个解码器组成，编码器输入的Genc是任何姿态的面部图像，解码器输出的Gdec是目标姿态的面部合成，Genc从人脸图像x中学会身份表示，Genc根据身份yd和规定的目标姿势c合成人脸图像是除了身份或姿态之外的噪声模型，姿态编码是姿态yt的独热向量，生成器G的目标是令判别器D误判，把和输入的x的身份标为同一类别，通过以下函数表示目标姿势：
训练生成器G的最终目标是每个目标的加权平均值：
令μg＝μd＝μp＝1，G和D在交替训练过程中相互改善。
其中，所述的单图像网络结构，由于使用稀疏梯度层，GAN的博弈稳定性受到影响，分别用阶梯卷积和指数线性单位代替，在等式(7)添加一个完全连接的层和softmax损失函数来优化判别器D，训练D来辨别图像的真实性，并进行身份分类和姿态分类，G包括Gdec和Genc，由Genc输出身份表示f(x)连接一个姿态代码c和一个随机噪声z，一系列的分数阶卷积将弱级联向量(Nf+NP+Nz)转换为合成图像尺寸为x，由于DR-GAN没有直接监督图像合成，所以不需要成对的图像，故可以利用现实生活中的非结构化数据集进行模型训练，为了初始化训练，给定一个训练图像，每个姿势视图随机抽取姿态代码，使其具有相等的概率，随机抽样有助于为同一个训练图像分配多个姿态代码，并从范围[-1，1]中随机抽取每个维度的噪声向量。
其中，所述的多图像DR-GAN，其特征在于，输入同一身份yd不同姿势的n个图像Genc提取特征表示f(xi)，并估计每个图像学习表示质量的信任系数wi，这n个图像的融合表示是所有表示的加权平均值：
这个融合表示把c和z连接，并馈送到Gdec生成新图像，其预期是所有输入图像有一个相同的身份并且目标姿态yt由姿态代码指定，因此，G的每个子目标有(n+1)项：
类似的扩展程序适用于和在网络结构上，多图像DR-GAN模型只对单幅图像做出少量对应修改，在Genc的终点处，我们在平均池化之前添加一个卷积滤波器来估计系数w，使用一个S形激活函数，把w约束在[0,1]的范围内，在训练期间，为了方便图像采样和网络训练，保持每个目标输入的图像数量n相同，为了模拟输入图像的数量变化，对系数w采用中途丢弃的办法，在训练期间，网络采用从1到n的任意数量输入。
进一步地，所述的通过转换模型改进任何姿态下的面部图像，提出了一种在Genc和Dd之间切换的迭代方法，除了Genc附加的卷积滤波器用于系数估计以外，Genc和Dd共享相同的网络结构，在训练中，最新的Genc迭代替换Dd，之后去除附加的卷积滤波器，由于Genc的表现总是能超越Dd，所以在转换模型后，会出现更好的Dd。
进一步地，所述的通过表示插值改进目标姿态的面部合成，为了得到一个更好的Gden，使用表示插值来规范学习过程，假设一个凸面的身份空间，从两个不同身份的两个面部图像x1,x2，提取两个表示f(x1)和f(x2)之间的插值仍然是一个可用的面孔，但身份未知，在训练过程中，对不同身份的图像进行随机配对生成插值表示：
fα(x1,x2)＝αf(x1)+(1-α)f(x2) (14)
采用函数的平均数与多图像DR-GAN中的G和D的目标类似，D旨在通过以下条件对生成的图像进行判断：
而G旨在产生一个可以让D将其分类为真实类和目标姿势的图像，并忽略身份部分，增加和两个表示:
实验结果表明，所提出的技术有助于提高DR-GAN的性能。
其中，所述的插值，其特征在于，采用不同目标的两个图像x1,x2，从Genc中提取特征f(x1)和f(x2)，在f(x1)和f(x2)之间插值生成的表示馈送到Genc后合成面部图像，插入一个噪声向量z，在z＝-1和z＝1中合成正面图像，并在两个z之间插值，之后给定一个固定的身份表示和姿势编码，合成的图像的身份仍然是正面图像。
附图说明
图1是本发明一种基于生成对抗网络的旋转面部表示学习的方法的系统流程图。
图2是本发明一种基于生成对抗网络的旋转面部表示学习的方法的框架图。
图3是本发明一种基于生成对抗网络的旋转面部表示学习的方法的发生器图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
图1是本发明一种基于生成对抗网络的旋转面部表示学习的方法的系统流程图。主要包括基于生成对抗网络的非耦合表示学习框架、通过转换模型改进任何姿态下的面部图像、通过表示插值改进目标姿态的面部合成。
图2是本发明一种基于生成对抗网络的旋转面部表示学习的方法的框架图。其中，所述的基于生成对抗网络的非耦合表示学习框架，生成器由编码器和解码器组成，可以使基于生成对抗网络的非耦合表示学习框架(DR-GAN)学习同时具备生成性和判别性的特征表示，并用于人脸生成和人脸识别，给解码器提供一个姿态编码，并在判别器中增加姿态估计约束，DR-GAN学习到的特征表示显式地分离了人脸的姿态变化特征，DR-GAN采用某个人的一张或者多张人脸图像作为输入，生成一个统一的身份特征表示，并生成针对该人的任意数量的不同姿态下的合成图像，单图像DR-GAN可以为每个训练目标拍摄一幅图像，多图像DR-GAN在单图像网络结构上做出对应修改后，利用每个目标的多个图像进行训练和测试。
其中，所述的生成对抗网络，由一个生成器G和一个判别器D组成，通过生成器G和判别器D产生样本数据分布，判别器D尝试区分真实图像x和合成图像G(z)，发生器G尝试从随机噪声向量z合成逼真的图像，令判别器D把G(z)判定为真实图像，D和G用以下损失函数进行博弈：
当合成样本的分布pg与真实样本的分布pd相同时，这种博弈对策具有全局最优解，pg收敛于pd，培训开始时，G产生的样本太差，被高可信度的D抑制，之后的实践中，采用最大化的log(D(G(z)))代替最小化的log(1-D(G(z)))，导致G和D有相同的动态固定点，为其在学习早期提供更强的梯度，
利用训练后的G和D优化上式目标。
其中，所述的单图像DR-GAN，单图像DR-GAN通过使用编码器和解码器组成生成器，学习面部图像的身份表示，从解码器输入表示，再从编码器输出，由于脸的外观不仅取决于身份，还取决于姿态，照明，表情等众多干扰性变化，因此，由编码器学习的身份表示将不可避免地包括这些干扰性的侧面变化，采用编码器学习这些干扰性变化，给定一个带标签y＝{yd,yp}的面部图像x，其中yd是身份标签，yp是姿态标签，根据相同的身份yd，由姿态代码c指定的不同的姿态合成脸部图像在原始图像x和姿态编码c上训练一个DR-GAN，其中判别器D是一个多任务卷积神经网络，由三部分组成：用于姿态分类，Np是离散姿态的总数，Dr作为Dd附加的第Nd+1th个元素，给定一个面部图像x，判别器D的目的是将其归类为真实图像类，并估计其身份和姿态，给定一个来自生成器的面部合成图像通过以下目标函数，D把判断为合成图像：
其中和分别是Dd和DP中的第i个元素，所有随机变量都从以下分布中抽样(x,y～pd(x,y),z～pz(z),c～pc(c))，训练D的最终目标是所有目标的加权平均数：
令λg＝λd＝λp＝1。
其中，所述的生成器，生成器G由一个编码器和一个解码器组成，编码器输入的Genc是任何姿态的面部图像，解码器输出的Gdec是目标姿态的面部合成，Genc从人脸图像x中学会身份表示，Genc根据身份yd和规定的目标姿势c合成人脸图像是除了身份或姿态之外的噪声模型，姿态编码是姿态yt的独热向量，生成器G的目标是令判别器D误判，把和输入的x的身份标为同一类别，通过以下函数表示目标姿势：
训练生成器G的最终目标是每个目标的加权平均值：
令μg＝μd＝μp＝1，G和D在交替训练过程中相互改善。
其中，所述的单图像网络结构，由于使用稀疏梯度层，GAN的博弈稳定性受到影响，分别用阶梯卷积和指数线性单位代替，在等式(7)添加一个完全连接的层和softmax损失函数来优化判别器D，训练D来辨别图像的真实性，并进行身份分类和姿态分类，G包括Gdec和Genc，由Genc输出身份表示f(x)连接一个姿态代码c和一个随机噪声z，一系列的分数阶卷积将弱级联向量(Nf+NP+Nz)转换为合成图像尺寸为x，由于DR-GAN没有直接监督图像合成，所以不需要成对的图像，故可以利用现实生活中的非结构化数据集进行模型训练，为了初始化训练，给定一个训练图像，每个姿势视图随机抽取姿态代码，使其具有相等的概率，随机抽样有助于为同一个训练图像分配多个姿态代码，并从范围[-1，1]中随机抽取每个维度的噪声向量。
图3是本发明一种基于生成对抗网络的旋转面部表示学习的方法的发生器图。其中，所述的多图像DR-GAN，其特征在于，输入同一身份yd不同姿势的n个图像Genc提取特征表示f(xi)，并估计每个图像学习表示质量的信任系数wi，这n个图像的融合表示是所有表示的加权平均值：
这个融合表示把c和z连接，并馈送到Gdec生成新图像，其预期是所有输入图像有一个相同的身份并且目标姿态yt由姿态代码指定，因此，G的每个子目标有(n+1)项：
类似的扩展程序适用于和在网络结构上，多图像DR-GAN模型只对单幅图像做出少量对应修改，在Genc的终点处，我们在平均池化之前添加一个卷积滤波器来估计系数w，使用一个S形激活函数，把w约束在[0,1]的范围内，在训练期间，为了方便图像采样和网络训练，保持每个目标输入的图像数量n相同，为了模拟输入图像的数量变化，对系数w采用中途丢弃的办法，在训练期间，网络采用从1到n的任意数量输入。
进一步地，所述的通过转换模型改进任何姿态下的面部图像，提出了一种在Genc和Dd之间切换的迭代方法，除了Genc附加的卷积滤波器用于系数估计以外，Genc和Dd共享相同的网络结构，在训练中，最新的Genc迭代替换Dd，之后去除附加的卷积滤波器，由于Genc的表现总是能超越Dd，所以在转换模型后，会出现更好的Dd。
进一步地，所述的通过表示插值改进目标姿态的面部合成，为了得到一个更好的Gden，使用表示插值来规范学习过程，假设一个凸面的身份空间，从两个不同身份的两个面部图像x1,x2，提取两个表示f(x1)和f(x2)之间的插值仍然是一个可用的面孔，但身份未知，在训练过程中，对不同身份的图像进行随机配对生成插值表示：
fα(x1,x2)＝αf(x1)+(1-α)f(x2) (14)
采用函数的平均数与多图像DR-GAN中的G和D的目标类似，D旨在通过以下条件对生成的图像进行判断：
而G旨在产生一个可以让D将其分类为真实类和目标姿势的图像，并忽略身份部分，增加和两个表示:
实验结果表明，所提出的技术有助于提高DR-GAN的性能。
其中，所述的插值，其特征在于，采用不同目标的两个图像x1,x2，从Genc中提取特征f(x1)和f(x2)，在f(x1)和f(x2)之间插值生成的表示馈送到Genc后合成面部图像，插入一个噪声向量z，在z＝-1和z＝1中合成正面图像，并在两个z之间插值，之后给定一个固定的身份表示和姿势编码，合成的图像的身份仍然是正面图像。
对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
Claims (10)
1.一种基于生成对抗网络的旋转面部表示学习的方法，其特征在于，主要包括基于生成对抗网络的非耦合表示学习框架(一)；通过转换模型改进任何姿态下的面部图像(二)；通过表示插值改进目标姿态的面部合成(三)。
2.基于权利要求书1所述的基于生成对抗网络的非耦合表示学习框架(一)，其特征在于，生成器由编码器和解码器组成，可以使基于生成对抗网络的非耦合表示学习框架(DR-GAN)学习同时具备生成性和判别性的特征表示，并用于人脸生成和人脸识别，给解码器提供一个姿态编码，并在判别器中增加姿态估计约束，DR-GAN学习到的特征表示显式地分离了人脸的姿态变化特征，DR-GAN采用某个人的一张或者多张人脸图像作为输入，生成一个统一的身份特征表示，并生成针对该人的任意数量的不同姿态下的合成图像，单图像DR-GAN可以为每个训练目标拍摄一幅图像，多图像DR-GAN在单图像网络结构上做出对应修改后，利用每个目标的多个图像进行训练和测试。
3.基于权利要求书2所述的生成对抗网络，其特征在于，生成式对抗网络由一个生成器G和一个判别器D组成，通过生成器G和判别器D产生样本数据分布，判别器D尝试区分真实图像x和合成图像G(z)，发生器G尝试从随机噪声向量z合成逼真的图像，令判别器D把G(z)判定为真实图像，D和G用以下损失函数进行博弈：
当合成样本的分布pg与真实样本的分布pd相同时，这种博弈对策具有全局最优解，pg收敛于pd，培训开始时，G产生的样本太差，被高可信度的D抑制，之后的实践中，采用最大化的log(D(G(z)))代替最小化的log(1-D(G(z)))，导致G和D有相同的动态固定点，为其在学习早期提供更强的梯度，
利用训练后的G和D优化上式目标。
4.基于权利要求书2所述的单图像DR-GAN，单图像DR-GAN通过使用编码器和解码器组成生成器，学习面部图像的身份表示，从解码器输入表示，再从编码器输出，由于脸的外观不仅取决于身份，还取决于姿态，照明，表情等众多干扰性变化，因此，由编码器学习的身份表示将不可避免地包括这些干扰性的侧面变化，采用编码器学习这些干扰性变化，给定一个带标签y＝{yd,yp}的面部图像x，其中yd是身份标签，yp是姿态标签，根据相同的身份yd，由姿态代码c指定的不同的姿态合成脸部图像在原始图像x和姿态编码c上训练一个DR-GAN，其中判别器D是一个多任务卷积神经网络，由三部分组成：D＝[Dr,Dd,Dp]， 用于姿态分类，Np是离散姿态的总数，Dr作为Dd附加的第Nd+1th个元素，给定一个面部图像x，判别器D的目的是将其归类为真实图像类，并估计其身份和姿态，给定一个来自生成器的面部合成图像通过以下目标函数，D把判断为合成图像：
其中和分别是Dd和DP中的第i个元素，所有随机变量都从以下分布中抽样(x,y～pd(x,y),z～pz(z),c～pc(c))，训练D的最终目标是所有目标的加权平均数：
令λg＝λd＝λp＝1。
5.基于权利要求书2所述的生成器，其特征在于，生成器G由一个编码器和一个解码器组成，编码器输入的Genc是任何姿态的面部图像，解码器输出的Gdec是目标姿态的面部合成，Genc从人脸图像x中学会身份表示，Genc根据身份yd和规定的目标姿势c合成人脸图像 是除了身份或姿态之外的噪声模型，姿态编码是姿态yt的独热向量，生成器G的目标是令判别器D误判，把和输入的x的身份标为同一类别，通过以下函数表示目标姿势：
训练生成器G的最终目标是每个目标的加权平均值：
令μg＝μd＝μp＝1，G和D在交替训练过程中相互改善。
6.基于权利要求书4所述的单图像网络结构，其特征在于，由于使用稀疏梯度层，GAN的博弈稳定性受到影响，分别用阶梯卷积和指数线性单位代替，在等式(7)添加一个完全连接的层和softmax损失函数来优化判别器D，训练D来辨别图像的真实性，并进行身份分类和姿态分类，G包括Gdec和Genc，由Genc输出身份表示f(x)连接一个姿态代码c和一个随机噪声z，一系列的分数阶卷积将弱级联向量(Nf+NP+Nz)转换为合成图像 尺寸为x，由于DR-GAN没有直接监督图像合成，所以不需要成对的图像，故可以利用现实生活中的非结构化数据集进行模型训练，为了初始化训练，给定一个训练图像，每个姿势视图随机抽取姿态代码，使其具有相等的概率，随机抽样有助于为同一个训练图像分配多个姿态代码，并从范围[-1，1]中随机抽取每个维度的噪声向量。
7.基于权利要求书2所述的多图像DR-GAN，其特征在于，输入同一身份yd不同姿势的n个图像Genc提取特征表示f(xi)，并估计每个图像学习表示质量的信任系数wi，这n个图像的融合表示是所有表示的加权平均值：
<mrow>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<msub>
<mi>x</mi>
<mi>n</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</msubsup>
<msub>
<mi>w</mi>
<mi>i</mi>
</msub>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</msubsup>
<msub>
<mi>w</mi>
<mi>i</mi>
</msub>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>12</mn>
<mo>)</mo>
</mrow>
</mrow>
这个融合表示把c和z连接，并馈送到Gdec生成新图像，其预期是所有输入图像有一个相同的身份并且目标姿态yt由姿态代码指定，因此，G的每个子目标有(n+1)项：
类似的扩展程序适用于和在网络结构上，多图像DR-GAN模型只对单幅图像做出少量对应修改，在Genc的终点处，我们在平均池化之前添加一个卷积滤波器来估计系数w，使用一个S形激活函数，把w约束在[0,1]的范围内，在训练期间，为了方便图像采样和网络训练，保持每个目标输入的图像数量n相同，为了模拟输入图像的数量变化，对系数w采用中途丢弃的办法，在训练期间，网络采用从1到n的任意数量输入。
8.基于权利要求书1所述的通过转换模型改进任何姿态下的面部图像(二)，其特征在于，提出了一种在Genc和Dd之间切换的迭代方法，除了Genc附加的卷积滤波器用于系数估计以外，Genc和Dd共享相同的网络结构，在训练中，最新的Genc迭代替换Dd，之后去除附加的卷积滤波器，由于Genc的表现总是能超越Dd，所以在转换模型后，会出现更好的Dd。
9.基于权利要求书1所述的通过表示插值改进目标姿态的面部合成(三)，其特征在于，为了得到一个更好的Gden，使用表示插值来规范学习过程，假设一个凸面的身份空间，从两个不同身份的两个面部图像x1，x2，提取两个表示f(x1)和f(x2)之间的插值仍然是一个可用的面孔，但身份未知，在训练过程中，对不同身份的图像进行随机配对生成插值表示：
fα(x1,x2)＝αf(x1)+(1-α)f(x2) (14)
采用函数的平均数与多图像DR-GAN中的G和D的目标类似，D旨在通过以下条件对生成的图像进行判断：
而G旨在产生一个可以让D将其分类为真实类和目标姿势的图像，并忽略身份部分，增加和两个术语:
实验结果表明，所提出的技术有助于提高DR-GAN的性能。
10.基于权利要求书9所述的插值，其特征在于，采用不同目标的两个图像x1,x2，从Genc中提取特征f(x1)和f(x2)，在f(x1)和f(x2)之间插值生成的表示馈送到Genc后合成面部图像，插入一个噪声向量z，在z＝-1和z＝1中合成正面图像，并在两个z之间插值，之后给定一个固定的身份表示和姿势编码，合成的图像的身份仍然是正面图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710661974.8A CN107437077A (zh) | 2017-08-04 | 2017-08-04 | 一种基于生成对抗网络的旋转面部表示学习的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710661974.8A CN107437077A (zh) | 2017-08-04 | 2017-08-04 | 一种基于生成对抗网络的旋转面部表示学习的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107437077A true CN107437077A (zh) | 2017-12-05 |
Family
ID=60461357
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710661974.8A Withdrawn CN107437077A (zh) | 2017-08-04 | 2017-08-04 | 一种基于生成对抗网络的旋转面部表示学习的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107437077A (zh) |
Cited By (57)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107991876A (zh) * | 2017-12-14 | 2018-05-04 | 南京航空航天大学 | 基于生成式对抗网络的航空发动机状态监测数据生成方法 |
| CN108171770A (zh) * | 2018-01-18 | 2018-06-15 | 中科视拓（北京）科技有限公司 | 一种基于生成式对抗网络的人脸表情编辑方法 |
| CN108229349A (zh) * | 2017-12-21 | 2018-06-29 | 中国科学院自动化研究所 | 网纹人脸图像识别装置 |
| CN108288072A (zh) * | 2018-01-26 | 2018-07-17 | 深圳市唯特视科技有限公司 | 一种基于生成对抗网络的面部表情合成方法 |
| CN108319932A (zh) * | 2018-03-12 | 2018-07-24 | 中山大学 | 一种基于生成式对抗网络的多图像人脸对齐的方法及装置 |
| CN108334847A (zh) * | 2018-02-06 | 2018-07-27 | 哈尔滨工业大学 | 一种真实场景下的基于深度学习的人脸识别方法 |
| CN108334816A (zh) * | 2018-01-15 | 2018-07-27 | 桂林电子科技大学 | 基于轮廓对称约束生成式对抗网络的多姿态人脸识别方法 |
| CN108446609A (zh) * | 2018-03-02 | 2018-08-24 | 南京邮电大学 | 一种基于生成对抗网络的多角度面部表情识别方法 |
| CN108510061A (zh) * | 2018-03-19 | 2018-09-07 | 华南理工大学 | 基于条件生成对抗网络的多监控视频人脸合成正脸的方法 |
| CN108510435A (zh) * | 2018-03-28 | 2018-09-07 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN108537743A (zh) * | 2018-03-13 | 2018-09-14 | 杭州电子科技大学 | 一种基于生成对抗网络的面部图像增强方法 |
| CN108596343A (zh) * | 2018-03-29 | 2018-09-28 | 杭州电子科技大学 | 一种基于反馈调节提高生成对抗网络稳定性的方法 |
| CN108647560A (zh) * | 2018-03-22 | 2018-10-12 | 中山大学 | 一种基于cnn的保持表情信息的人脸转移方法 |
| CN108734690A (zh) * | 2018-03-02 | 2018-11-02 | 苏州汉特士视觉科技有限公司 | 一种视觉缺陷检测设备及其检测方法 |
| CN108764005A (zh) * | 2018-01-31 | 2018-11-06 | 华侨大学 | 一种高光谱遥感图像地物空间波谱特征提取方法及系统 |
| CN108764116A (zh) * | 2018-05-24 | 2018-11-06 | 济南浪潮高新科技投资发展有限公司 | 一种基于深度代价敏感的人脸识别系统及方法 |
| CN108985385A (zh) * | 2018-08-03 | 2018-12-11 | 厦门大学 | 基于生成对抗学习的快速弱监督目标检测方法 |
| CN109003297A (zh) * | 2018-07-18 | 2018-12-14 | 亮风台（上海）信息科技有限公司 | 一种单目深度估计方法、装置、终端和存储介质 |
| CN109102029A (zh) * | 2018-08-23 | 2018-12-28 | 重庆科技学院 | 信息最大化生成对抗网络模型合成人脸样本质量评估方法 |
| CN109165735A (zh) * | 2018-07-12 | 2019-01-08 | 杭州电子科技大学 | 基于生成对抗网络与自适应比例生成新样本的方法 |
| CN109190470A (zh) * | 2018-07-27 | 2019-01-11 | 北京市商汤科技开发有限公司 | 行人重识别方法及装置 |
| CN109284738A (zh) * | 2018-10-25 | 2019-01-29 | 上海交通大学 | 不规则人脸矫正方法和系统 |
| CN109361934A (zh) * | 2018-11-30 | 2019-02-19 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN109447906A (zh) * | 2018-11-08 | 2019-03-08 | 北京印刷学院 | 一种基于生成对抗网络的图片合成方法 |
| CN109508689A (zh) * | 2018-11-28 | 2019-03-22 | 中山大学 | 一种对抗强化的表情识别方法 |
| CN109635774A (zh) * | 2018-12-21 | 2019-04-16 | 中山大学 | 一种基于生成对抗网络的人脸合成方法 |
| CN110009013A (zh) * | 2019-03-21 | 2019-07-12 | 腾讯科技（深圳）有限公司 | 编码器训练及表征信息提取方法和装置 |
| CN110146792A (zh) * | 2019-05-17 | 2019-08-20 | 西安工程大学 | 基于生成对抗网络的变压器局部放电图谱生成方法 |
| CN110163082A (zh) * | 2019-04-02 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 一种图像识别网络模型训练方法、图像识别方法及装置 |
| CN110263872A (zh) * | 2019-06-26 | 2019-09-20 | 上海鹰瞳医疗科技有限公司 | 训练数据处理方法及装置 |
| CN110415306A (zh) * | 2018-04-27 | 2019-11-05 | 苹果公司 | 使用生成对抗网络的面部合成 |
| CN110414378A (zh) * | 2019-07-10 | 2019-11-05 | 南京信息工程大学 | 一种基于异质人脸图像融合特征的人脸识别方法 |
| CN110544488A (zh) * | 2018-08-09 | 2019-12-06 | 腾讯科技（深圳）有限公司 | 一种多人语音的分离方法和装置 |
| CN110569864A (zh) * | 2018-09-04 | 2019-12-13 | 阿里巴巴集团控股有限公司 | 基于gan网络的车损图像生成方法和装置 |
| WO2020000582A1 (zh) * | 2018-06-29 | 2020-01-02 | 北京奇虎科技有限公司 | 建立跨域联合分布匹配模型的方法、装置及其应用 |
| CN110658557A (zh) * | 2019-09-03 | 2020-01-07 | 中国地质大学（北京） | 基于生成对抗网络的地震数据面波压制方法 |
| WO2020029356A1 (zh) * | 2018-08-08 | 2020-02-13 | 杰创智能科技股份有限公司 | 一种基于生成对抗网络的脸部变化预测方法 |
| CN111046707A (zh) * | 2018-10-15 | 2020-04-21 | 天津大学青岛海洋技术研究院 | 一种基于面部特征的任意姿态正脸还原网络 |
| US10685428B2 (en) | 2018-11-09 | 2020-06-16 | Hong Kong Applied Science And Technology Research Institute Co., Ltd. | Systems and methods for super-resolution synthesis based on weighted results from a random forest classifier |
| CN111401101A (zh) * | 2018-12-29 | 2020-07-10 | 上海智臻智能网络科技股份有限公司 | 基于人像的视频生成系统 |
| CN111428667A (zh) * | 2020-03-31 | 2020-07-17 | 天津中科智能识别产业技术研究院有限公司 | 一种基于解耦表达学习生成对抗网络的人脸图像转正方法 |
| CN111445548A (zh) * | 2020-03-21 | 2020-07-24 | 南昌大学 | 一种基于非配对图像的多视角人脸图像生成方法 |
| CN111819568A (zh) * | 2018-06-01 | 2020-10-23 | 华为技术有限公司 | 人脸旋转图像的生成方法及装置 |
| CN111861949A (zh) * | 2020-04-21 | 2020-10-30 | 北京联合大学 | 一种基于生成对抗网络的多曝光图像融合方法及系统 |
| CN111860041A (zh) * | 2019-04-26 | 2020-10-30 | 北京陌陌信息技术有限公司 | 人脸转换模型训练方法、装置、设备及介质 |
| CN112200139A (zh) * | 2020-10-30 | 2021-01-08 | 杭州泰一指尚科技有限公司 | 一种基于变阶分数多层卷积神经网络的用户图像识别方法 |
| CN109829959B (zh) * | 2018-12-25 | 2021-01-08 | 中国科学院自动化研究所 | 基于人脸解析的表情编辑方法及装置 |
| CN112418139A (zh) * | 2020-12-04 | 2021-02-26 | 上海依图网络科技有限公司 | 生成人像图像的方法、装置、可读介质和电子设备 |
| CN112613435A (zh) * | 2020-12-28 | 2021-04-06 | 杭州魔点科技有限公司 | 人脸图像生成方法、装置、设备及介质 |
| CN113033511A (zh) * | 2021-05-21 | 2021-06-25 | 中国科学院自动化研究所 | 一种基于操控解耦身份表示的人脸匿名方法 |
| CN113052203A (zh) * | 2021-02-09 | 2021-06-29 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种面向多种类数据的异常检测方法及装置 |
| CN113112536A (zh) * | 2021-03-19 | 2021-07-13 | 北京达佳互联信息技术有限公司 | 图像处理模型训练方法、图像处理方法及装置 |
| WO2021223663A1 (zh) * | 2020-05-06 | 2021-11-11 | 支付宝(杭州)信息技术有限公司 | 基于差分隐私的数据生成系统的训练 |
| JP2022502783A (ja) * | 2019-02-26 | 2022-01-11 | ▲騰▼▲訊▼科技（深▲セン▼）有限公司 | 画像融合方法、モデル訓練方法、画像融合装置、モデル訓練装置、端末機器、サーバ機器、及びコンピュータプログラム |
| US11475608B2 (en) | 2019-09-26 | 2022-10-18 | Apple Inc. | Face image generation with pose and expression control |
| CN116152885A (zh) * | 2022-12-02 | 2023-05-23 | 南昌大学 | 一种基于特征解耦的跨模态异质人脸识别和原型修复方法 |
| CN117197294A (zh) * | 2023-10-07 | 2023-12-08 | 成都武侯社区科技有限公司 | 一种结合生成对抗网络和扩散模型的人脸生成方法 |
-
2017
- 2017-08-04 CN CN201710661974.8A patent/CN107437077A/zh not_active Withdrawn
Non-Patent Citations (1)
| Title |
|---|
| LUAN TRAN等: "Representation Learning by Rotating Your Faces", 《网页在线公开:HTTPS://ARXIV.ORG/ABS/1705.11136V1》 * |
Cited By (90)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107991876A (zh) * | 2017-12-14 | 2018-05-04 | 南京航空航天大学 | 基于生成式对抗网络的航空发动机状态监测数据生成方法 |
| CN108229349A (zh) * | 2017-12-21 | 2018-06-29 | 中国科学院自动化研究所 | 网纹人脸图像识别装置 |
| CN108229349B (zh) * | 2017-12-21 | 2020-09-01 | 中国科学院自动化研究所 | 网纹人脸图像识别装置 |
| CN108334816A (zh) * | 2018-01-15 | 2018-07-27 | 桂林电子科技大学 | 基于轮廓对称约束生成式对抗网络的多姿态人脸识别方法 |
| CN108171770A (zh) * | 2018-01-18 | 2018-06-15 | 中科视拓（北京）科技有限公司 | 一种基于生成式对抗网络的人脸表情编辑方法 |
| CN108288072A (zh) * | 2018-01-26 | 2018-07-17 | 深圳市唯特视科技有限公司 | 一种基于生成对抗网络的面部表情合成方法 |
| CN108764005A (zh) * | 2018-01-31 | 2018-11-06 | 华侨大学 | 一种高光谱遥感图像地物空间波谱特征提取方法及系统 |
| CN108764005B (zh) * | 2018-01-31 | 2019-06-18 | 华侨大学 | 一种高光谱遥感图像地物空间波谱特征提取方法及系统 |
| CN108334847B (zh) * | 2018-02-06 | 2019-10-22 | 哈尔滨工业大学 | 一种真实场景下的基于深度学习的人脸识别方法 |
| CN108334847A (zh) * | 2018-02-06 | 2018-07-27 | 哈尔滨工业大学 | 一种真实场景下的基于深度学习的人脸识别方法 |
| CN108734690B (zh) * | 2018-03-02 | 2021-12-14 | 苏州汉特士视觉科技有限公司 | 一种视觉缺陷检测设备及其检测方法 |
| CN108734690A (zh) * | 2018-03-02 | 2018-11-02 | 苏州汉特士视觉科技有限公司 | 一种视觉缺陷检测设备及其检测方法 |
| CN108446609A (zh) * | 2018-03-02 | 2018-08-24 | 南京邮电大学 | 一种基于生成对抗网络的多角度面部表情识别方法 |
| CN108319932A (zh) * | 2018-03-12 | 2018-07-24 | 中山大学 | 一种基于生成式对抗网络的多图像人脸对齐的方法及装置 |
| CN108319932B (zh) * | 2018-03-12 | 2021-12-07 | 中山大学 | 一种基于生成式对抗网络的多图像人脸对齐的方法及装置 |
| CN108537743B (zh) * | 2018-03-13 | 2022-05-20 | 杭州电子科技大学 | 一种基于生成对抗网络的面部图像增强方法 |
| CN108537743A (zh) * | 2018-03-13 | 2018-09-14 | 杭州电子科技大学 | 一种基于生成对抗网络的面部图像增强方法 |
| CN108510061A (zh) * | 2018-03-19 | 2018-09-07 | 华南理工大学 | 基于条件生成对抗网络的多监控视频人脸合成正脸的方法 |
| CN108647560B (zh) * | 2018-03-22 | 2022-06-14 | 中山大学 | 一种基于cnn的保持表情信息的人脸转移方法 |
| CN108647560A (zh) * | 2018-03-22 | 2018-10-12 | 中山大学 | 一种基于cnn的保持表情信息的人脸转移方法 |
| CN108510435A (zh) * | 2018-03-28 | 2018-09-07 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN108596343A (zh) * | 2018-03-29 | 2018-09-28 | 杭州电子科技大学 | 一种基于反馈调节提高生成对抗网络稳定性的方法 |
| CN110415306A (zh) * | 2018-04-27 | 2019-11-05 | 苹果公司 | 使用生成对抗网络的面部合成 |
| CN108764116A (zh) * | 2018-05-24 | 2018-11-06 | 济南浪潮高新科技投资发展有限公司 | 一种基于深度代价敏感的人脸识别系统及方法 |
| US11232286B2 (en) | 2018-06-01 | 2022-01-25 | Huawei Technologies Co., Ltd. | Method and apparatus for generating face rotation image |
| CN111819568A (zh) * | 2018-06-01 | 2020-10-23 | 华为技术有限公司 | 人脸旋转图像的生成方法及装置 |
| WO2020000582A1 (zh) * | 2018-06-29 | 2020-01-02 | 北京奇虎科技有限公司 | 建立跨域联合分布匹配模型的方法、装置及其应用 |
| CN109165735A (zh) * | 2018-07-12 | 2019-01-08 | 杭州电子科技大学 | 基于生成对抗网络与自适应比例生成新样本的方法 |
| CN109003297B (zh) * | 2018-07-18 | 2020-11-24 | 亮风台（上海）信息科技有限公司 | 一种单目深度估计方法、装置、终端和存储介质 |
| CN109003297A (zh) * | 2018-07-18 | 2018-12-14 | 亮风台（上海）信息科技有限公司 | 一种单目深度估计方法、装置、终端和存储介质 |
| CN109190470B (zh) * | 2018-07-27 | 2022-09-27 | 北京市商汤科技开发有限公司 | 行人重识别方法及装置 |
| CN109190470A (zh) * | 2018-07-27 | 2019-01-11 | 北京市商汤科技开发有限公司 | 行人重识别方法及装置 |
| CN108985385A (zh) * | 2018-08-03 | 2018-12-11 | 厦门大学 | 基于生成对抗学习的快速弱监督目标检测方法 |
| WO2020029356A1 (zh) * | 2018-08-08 | 2020-02-13 | 杰创智能科技股份有限公司 | 一种基于生成对抗网络的脸部变化预测方法 |
| CN110544488B (zh) * | 2018-08-09 | 2022-01-28 | 腾讯科技（深圳）有限公司 | 一种多人语音的分离方法和装置 |
| CN110544488A (zh) * | 2018-08-09 | 2019-12-06 | 腾讯科技（深圳）有限公司 | 一种多人语音的分离方法和装置 |
| CN109102029B (zh) * | 2018-08-23 | 2023-04-07 | 重庆科技学院 | 信息最大化生成对抗网络模型合成人脸样本质量评估方法 |
| CN109102029A (zh) * | 2018-08-23 | 2018-12-28 | 重庆科技学院 | 信息最大化生成对抗网络模型合成人脸样本质量评估方法 |
| CN110569864A (zh) * | 2018-09-04 | 2019-12-13 | 阿里巴巴集团控股有限公司 | 基于gan网络的车损图像生成方法和装置 |
| CN111046707A (zh) * | 2018-10-15 | 2020-04-21 | 天津大学青岛海洋技术研究院 | 一种基于面部特征的任意姿态正脸还原网络 |
| CN109284738B (zh) * | 2018-10-25 | 2020-08-04 | 上海交通大学 | 不规则人脸矫正方法和系统 |
| CN109284738A (zh) * | 2018-10-25 | 2019-01-29 | 上海交通大学 | 不规则人脸矫正方法和系统 |
| CN109447906A (zh) * | 2018-11-08 | 2019-03-08 | 北京印刷学院 | 一种基于生成对抗网络的图片合成方法 |
| CN109447906B (zh) * | 2018-11-08 | 2023-07-11 | 北京印刷学院 | 一种基于生成对抗网络的图片合成方法 |
| US10685428B2 (en) | 2018-11-09 | 2020-06-16 | Hong Kong Applied Science And Technology Research Institute Co., Ltd. | Systems and methods for super-resolution synthesis based on weighted results from a random forest classifier |
| CN109508689B (zh) * | 2018-11-28 | 2023-01-03 | 中山大学 | 一种对抗强化的表情识别方法 |
| CN109508689A (zh) * | 2018-11-28 | 2019-03-22 | 中山大学 | 一种对抗强化的表情识别方法 |
| CN109361934B (zh) * | 2018-11-30 | 2021-10-08 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN109361934A (zh) * | 2018-11-30 | 2019-02-19 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备及存储介质 |
| US11798145B2 (en) | 2018-11-30 | 2023-10-24 | Tencent Technology (Shenzhen) Company Limited | Image processing method and apparatus, device, and storage medium |
| CN109635774B (zh) * | 2018-12-21 | 2022-09-13 | 中山大学 | 一种基于生成对抗网络的人脸合成方法 |
| CN109635774A (zh) * | 2018-12-21 | 2019-04-16 | 中山大学 | 一种基于生成对抗网络的人脸合成方法 |
| CN109829959B (zh) * | 2018-12-25 | 2021-01-08 | 中国科学院自动化研究所 | 基于人脸解析的表情编辑方法及装置 |
| CN111401101A (zh) * | 2018-12-29 | 2020-07-10 | 上海智臻智能网络科技股份有限公司 | 基于人像的视频生成系统 |
| JP7090971B2 (ja) | 2019-02-26 | 2022-06-27 | ▲騰▼▲訊▼科技（深▲セン▼）有限公司 | 画像融合方法、モデル訓練方法、画像融合装置、モデル訓練装置、端末機器、サーバ機器、及びコンピュータプログラム |
| JP2022502783A (ja) * | 2019-02-26 | 2022-01-11 | ▲騰▼▲訊▼科技（深▲セン▼）有限公司 | 画像融合方法、モデル訓練方法、画像融合装置、モデル訓練装置、端末機器、サーバ機器、及びコンピュータプログラム |
| CN110009013A (zh) * | 2019-03-21 | 2019-07-12 | 腾讯科技（深圳）有限公司 | 编码器训练及表征信息提取方法和装置 |
| CN110009013B (zh) * | 2019-03-21 | 2021-04-27 | 腾讯科技（深圳）有限公司 | 编码器训练及表征信息提取方法和装置 |
| WO2020199926A1 (zh) * | 2019-04-02 | 2020-10-08 | 腾讯科技（深圳）有限公司 | 一种图像识别网络模型训练方法、图像识别方法及装置 |
| CN110163082A (zh) * | 2019-04-02 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 一种图像识别网络模型训练方法、图像识别方法及装置 |
| CN110163082B (zh) * | 2019-04-02 | 2024-09-03 | 腾讯科技（深圳）有限公司 | 一种图像识别网络模型训练方法、图像识别方法及装置 |
| US11908239B2 (en) | 2019-04-02 | 2024-02-20 | Tencent Technology (Shenzhen) Company Limited | Image recognition network model training method, image recognition method and apparatus |
| CN111860041B (zh) * | 2019-04-26 | 2024-06-11 | 北京陌陌信息技术有限公司 | 人脸转换模型训练方法、装置、设备及介质 |
| CN111860041A (zh) * | 2019-04-26 | 2020-10-30 | 北京陌陌信息技术有限公司 | 人脸转换模型训练方法、装置、设备及介质 |
| CN110146792A (zh) * | 2019-05-17 | 2019-08-20 | 西安工程大学 | 基于生成对抗网络的变压器局部放电图谱生成方法 |
| CN110263872A (zh) * | 2019-06-26 | 2019-09-20 | 上海鹰瞳医疗科技有限公司 | 训练数据处理方法及装置 |
| CN110263872B (zh) * | 2019-06-26 | 2022-05-17 | 上海鹰瞳医疗科技有限公司 | 训练数据处理方法及装置 |
| CN110414378A (zh) * | 2019-07-10 | 2019-11-05 | 南京信息工程大学 | 一种基于异质人脸图像融合特征的人脸识别方法 |
| CN110658557A (zh) * | 2019-09-03 | 2020-01-07 | 中国地质大学（北京） | 基于生成对抗网络的地震数据面波压制方法 |
| US11475608B2 (en) | 2019-09-26 | 2022-10-18 | Apple Inc. | Face image generation with pose and expression control |
| CN111445548B (zh) * | 2020-03-21 | 2022-08-09 | 南昌大学 | 一种基于非配对图像的多视角人脸图像生成方法 |
| CN111445548A (zh) * | 2020-03-21 | 2020-07-24 | 南昌大学 | 一种基于非配对图像的多视角人脸图像生成方法 |
| CN111428667A (zh) * | 2020-03-31 | 2020-07-17 | 天津中科智能识别产业技术研究院有限公司 | 一种基于解耦表达学习生成对抗网络的人脸图像转正方法 |
| CN111861949B (zh) * | 2020-04-21 | 2023-07-04 | 北京联合大学 | 一种基于生成对抗网络的多曝光图像融合方法及系统 |
| CN111861949A (zh) * | 2020-04-21 | 2020-10-30 | 北京联合大学 | 一种基于生成对抗网络的多曝光图像融合方法及系统 |
| WO2021223663A1 (zh) * | 2020-05-06 | 2021-11-11 | 支付宝(杭州)信息技术有限公司 | 基于差分隐私的数据生成系统的训练 |
| CN112200139A (zh) * | 2020-10-30 | 2021-01-08 | 杭州泰一指尚科技有限公司 | 一种基于变阶分数多层卷积神经网络的用户图像识别方法 |
| CN112200139B (zh) * | 2020-10-30 | 2022-05-03 | 杭州泰一指尚科技有限公司 | 一种基于变阶分数多层卷积神经网络的用户图像识别方法 |
| CN112418139A (zh) * | 2020-12-04 | 2021-02-26 | 上海依图网络科技有限公司 | 生成人像图像的方法、装置、可读介质和电子设备 |
| CN112418139B (zh) * | 2020-12-04 | 2024-07-16 | 上海依图网络科技有限公司 | 生成人像图像的方法、装置、可读介质和电子设备 |
| CN112613435A (zh) * | 2020-12-28 | 2021-04-06 | 杭州魔点科技有限公司 | 人脸图像生成方法、装置、设备及介质 |
| US11423260B1 (en) | 2021-02-09 | 2022-08-23 | Harbin Institute Of Technology (Shenzhen) (Shenzhen Institute Of Science And Technology Innovation, Harbin Institute Of Technology) | Anomaly detection method and apparatus for multi-type data |
| CN113052203A (zh) * | 2021-02-09 | 2021-06-29 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种面向多种类数据的异常检测方法及装置 |
| CN113052203B (zh) * | 2021-02-09 | 2022-01-18 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种面向多种类数据的异常检测方法及装置 |
| CN113112536A (zh) * | 2021-03-19 | 2021-07-13 | 北京达佳互联信息技术有限公司 | 图像处理模型训练方法、图像处理方法及装置 |
| CN113033511A (zh) * | 2021-05-21 | 2021-06-25 | 中国科学院自动化研究所 | 一种基于操控解耦身份表示的人脸匿名方法 |
| CN116152885A (zh) * | 2022-12-02 | 2023-05-23 | 南昌大学 | 一种基于特征解耦的跨模态异质人脸识别和原型修复方法 |
| CN116152885B (zh) * | 2022-12-02 | 2023-08-01 | 南昌大学 | 一种基于特征解耦的跨模态异质人脸识别和原型修复方法 |
| CN117197294A (zh) * | 2023-10-07 | 2023-12-08 | 成都武侯社区科技有限公司 | 一种结合生成对抗网络和扩散模型的人脸生成方法 |
| CN117197294B (zh) * | 2023-10-07 | 2024-05-14 | 成都武侯社区科技有限公司 | 一种结合生成对抗网络和扩散模型的人脸生成方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107437077A (zh) | 一种基于生成对抗网络的旋转面部表示学习的方法 | |
| CN110837850B (zh) | 一种基于对抗学习损失函数的无监督域适应方法 | |
| CN108875807B (zh) | 一种基于多注意力多尺度的图像描述方法 | |
| Nhan Duong et al. | Temporal non-volume preserving approach to facial age-progression and age-invariant face recognition | |
| CN109086658B (zh) | 一种基于生成对抗网络的传感器数据生成方法与系统 | |
| Tian et al. | Exploring the spatial hierarchy of mixture models for human pose estimation | |
| CN108510532A (zh) | 基于深度卷积gan的光学和sar图像配准方法 | |
| CN109166144A (zh) | 一种基于生成对抗网络的图像深度估计方法 | |
| CN109344759A (zh) | 一种基于角度损失神经网络的亲属识别方法 | |
| CN112949647B (zh) | 三维场景描述方法、装置、电子设备和存储介质 | |
| CN110135386B (zh) | 一种基于深度学习的人体动作识别方法和系统 | |
| Han et al. | CookGAN: Meal image synthesis from ingredients | |
| CN111046673A (zh) | 一种用于防御文本恶意样本的对抗生成网络及其训练方法 | |
| CN110728629A (zh) | 一种用于对抗攻击的图像集增强方法 | |
| Song et al. | AgeGAN++: Face aging and rejuvenation with dual conditional GANs | |
| Qiao et al. | Hidden markov model based dynamic texture classification | |
| CN113642621A (zh) | 基于生成对抗网络的零样本图像分类方法 | |
| CN109598671A (zh) | 图像生成方法、装置、设备及介质 | |
| CN113239884A (zh) | 电梯轿厢内人体行为识别方法 | |
| Mallet et al. | Using deep learning to detecting deepfakes | |
| Liu et al. | Face aging simulation with deep convolutional generative adversarial networks | |
| CN112580722B (zh) | 一种基于条件对抗自动编码机的广义零样本图像识别方法 | |
| CN116306780B (zh) | 一种动态图链接生成方法 | |
| CN116258504B (zh) | 银行客户关系管理系统及其方法 | |
| CN115457374B (zh) | 基于推理模式评估深伪图像检测模型泛化性方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20171205 |