CN109523463B - 一种基于条件生成对抗网络的人脸老化方法 - Google Patents
一种基于条件生成对抗网络的人脸老化方法 Download PDFInfo
- Publication number
- CN109523463B CN109523463B CN201811385127.4A CN201811385127A CN109523463B CN 109523463 B CN109523463 B CN 109523463B CN 201811385127 A CN201811385127 A CN 201811385127A CN 109523463 B CN109523463 B CN 109523463B
- Authority
- CN
- China
- Prior art keywords
- network
- image
- age
- face
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000032683 aging Effects 0.000 title claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 52
- 238000011176 pooling Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 12
- 230000003042 antagnostic effect Effects 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 7
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 5
- 208000016615 Central areolar choroidal dystrophy Diseases 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241001647769 Mirza Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G06T3/04—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Abstract
本发明提供了一种基于条件生成对抗网络的人脸自动老化机制，通过对于海量已标注年龄的不同年龄段的图像训练得到一个由四个部分组成的条件生成对抗网络，包括图像生成器G，图像判别器D，年龄估计网络AEN和身份识别网络FRN。其中，G被训练用于生成老化图像，通过输入年轻图像和预设的年龄条件，自动有效地生成年老图像。D用于鉴别生成的年老图像是否为真实图片，能够确保生成的年老图片具备欺骗性。AEN是用于减小生成图像的年龄与预设值的差异，而FRN则是保证生成过程中人像身份的一致性。发明通过对网络结构的设计，使整个网络达到端对端的训练，并且在人脸老化方面有很好的表现，能够生成身份一致，欺骗性强和分辨率高等优点的优质人脸老化图像。
Description
技术领域
本发明涉及人工智能与深度学习领域，更具体地，涉及一种基于条件生成对抗网络的人脸老化方法。
背景技术
人脸老化，也称为人脸年龄进化，或老化合成，吸引了越来越多的研究兴趣。在美学方面，将其定义为对一个人的人脸用自然的老化或修复效果进行渲染。在人脸图像处理和模式分析中，人脸老化是一个与众不同的任务，其目的是由一个输入的年轻人脸图像，来生成相应身份年老的人脸图像。近年来，人脸老化的研究已经有了一定突破，并产生了许多相关的重要应用，例如：跨年龄的人脸分析、身份认证、寻找丢失儿童、娱乐、整容术，生物统计学或司法鉴定等。近年来，随着生成对抗网络的迅速发展，生成对抗网络出现多种变形形式，广泛应用于图像级应用中。2014年Ian Goodfellow发表Generative AdversarialNetwork(GAN)，打开了无监督学习和生成对抗网络的大门，生成对抗网络以一种无监督的方式学习训练样本的分布并以此生成高度真实的合成数据。Mirza et al.提出ConditionGAN在原始GAN的基础上引入额外的标签信息，也就是从原来的随机噪声变量中分出一部分来引导网络生成想要的图像，采取的方式是给判别网络和生成网络都输入训练图像对应的标签，这样生成对抗网络又具备监督形式，CGAN除了用于指定条件生成数据外，还用在图像转换，风格迁移中。但是该模型针对人脸老化的任务仍存在许多问题，比如人像转换的过程中无法保持身份的一致性，或者生成图像的与预设的年龄信息不相符，以及最终生成图像质量不高等各方面的问题。
发明内容
本发明为克服上述现有技术所述的人像转换的过程中无法保持身份的一致性，生成图像的与预设的年龄信息不相符，以及最终生成图像质量不高等方面的的问题。提供一种基于条件生成对抗网络的人脸老化方法。
本发明旨在至少在一定程度上解决上述技术问题。
为解决上述技术问题，本发明的技术方案如下：一种基于条件生成对抗网络的人脸老化方法，包括以下步骤：
S1：搜集人脸数据，并对人脸数据进行预处理；
S2：输入预处理后的人脸数据分别训练年龄估计网络AEN和身份识别网络FRN；
S3：编码年龄信息，构造图像生成器G和图像判别器D，并将图像生成器G的生成图像分别输入到构造的图像判别器D、训练好的年龄估计网络AEN以及身份识别网络FRN中，计算图像判别器、年龄估计网络、身份识别网络的损失函数并将损失函数进行融合作为生成器G最终的损失函数，从而构造生成对抗网络Age-GAN，训练生成对抗网络Age-GAN；
S4：将待测数据输入到生成对抗网络Age-GAN中用于人脸老化。
本发明通过对于海量已标注年龄的不同年龄段的图像训练得到一个由图像生成器G，图像判别器D，年龄估计网络AEN和身份识别网络FRN组成的条件生成对抗网络，通过这个网络结构的设计，完成了多种损失函数的相结合，使得模型在人脸老化方面有很好的表现实现人脸的老化。
优选地，步骤S1搜集人脸数据，并对人脸数据进行预处理的具体步骤为：
S11：对将公共的包含年龄标签和身份标签的人脸数据库进行搜集，人脸数据库包括FG-NET，CACD和MORPH公共数据库；
S12：将搜集到的人脸图像进行预处理，包括人脸检测，人脸裁剪和人脸对齐，再对处理后的数据进行数据增强，包括随机裁剪，最后得到固定尺寸的标准人脸图像，并将得到的人脸图像按年龄分成若干组；
优选地，所述将得到的人脸图像按年龄分成若干组，包括16组分别是0-5、6-10、11-15、16-20、21-25、26-30、31-35、36-40、41-45、46-50、51-55、56-60、61-65、66-70、71-75、76-100。
优选地，步骤S2中输入预处理后的人脸数据分别训练年龄估计网络AEN和身份识别网络FRN；具体步骤为：
S21：将经过预处理的标准人脸图像输入到年龄估计网络AEN中，采用随机梯度下降进行图像训练，并对年龄估计网络AEN中所有层的参数进行更新；
S22：将经过预处理的标准人脸图像输入到身份识别网络FRN，利用随机梯度下降进行网络训练，对FRN中的参数进行更新。
优选地，所述的一种基于条件生成对抗网络的人脸老化方法，其特征在于：所述年龄估计网络采用3×3的卷积核，在每个卷积层后增加最大池化层，每层卷积神经网络会接一个激活函数，即输入先经过一个BN(Batch Normalization)操作，再经过一个ReLU函数，最后通过一个最大池化层的处理，作为整个激活函数的输出，也作为下一个卷积层的输入；卷积层的输出最后会经过3个全连接层FC1,FC2,FC3，对全连接层的参数进行了调整，分别将FC1调整为512,FC2调整为128和FC3调整为16个卷积核，并将最后一层全连接层的输出输入到softmax层，通过softmax层将深度特征分为16类。
优选地，所述身份识别网络采用3×3的卷积核，在每个卷积层后增加最大池化层，每层卷积神经网络会接一个激活函数，即输入先经过一个BN(Batch Normalization)操作，再经过一个ReLU函数，最后通过一个最大池化层的处理，作为整个激活函数的输出，也作为下一个卷积层的输入；卷积层的输出最后会经过3个全连接层FC1,FC2,FC3，对全连接层的参数进行了调整，分别将FC1调整为4096，FC2调整为4096和FC3调整为2048个卷积核，并将最后一层全连接层的输出输入到softmax层，通过softmax层将深度特征分为16类。
优选地，步骤S3的具体过程如下：
S31：利用S13中训练好的年龄估计网络AEN对标准人脸图像的年龄信息进行编码，并获得代表若干年龄组的特征向量yi，i表示年龄组的个数；
S32：构造图像生成器G和图像判别器D；
S33：去除FRN和AEN的Softmax层和最后一个全连接层，并将两个模型的参数进行固定，即在Age-GAN的训练过程中两个模型的参数不发生变化；
S34：将原始图像和年龄相关向量作为输入输入到图像生成器G，将图像生成器G的生成图像分别输入到图像判别器D、年龄估计网络AEN以及身份识别网络FRN中，其中年龄估计网络的输入还包括年龄信息，身份识别网络的输入还包括原始图像；
S35：分别计算图像判别器、年龄估计网络、身份识别网络的损失函数；
S36：通过将误差反向传播的方式来更新模型参数，即将图像判别器D、年龄估计网络AEN以及身份识别网络FRN中输出的损失函数进行融合并将其作为生成器G最终的损失函数。
优选地，步骤S35中图像判别器的损失函数为生成图像的图像损失函数，即与生成图像中同一个人的同一年龄组的另一图像与生成图像之间的深度特征的损失；年龄估计网络的损失函数是生成图像和原始图像输入到AEN中获得的两个深度特征的余弦距离，身份识别网络的损失函数是生成图像和原始图像输入到FRN得到的两个深度特征之间的欧式距离。
优选地，所述图像生成器主要包括编码器和解码器；编码器主要由3个卷积核大小为3×3，步长为2的卷积层组成，编码器的输出y1会被输入到4个连续的残差块，并通过这4个残差块将年龄相关信息Vage编码到图像对应的深度特征中，即输出为y2＝f(y1,Vage)，f(y1,Vage)表示将年龄相关信息Vage编码到图像对应的深度特征中；解码器主要由3个反卷积层组成，生成图像Wout＝f2(y2)，其中f2()表示解码处理。
优选地，所述图像判别器包括6个卷积层作为特征提取网络，采用自上而下的金字塔结构，即由上到下卷积核呈逐渐减少，对特征提取网络中各层具有不同语义信息不同尺度的视觉特征进行融合，即分别对1，3，5和6层的输出分别记为{v1,v3,v5,v6}，将输出进行一个上采样到同一尺度后进行融合，得到输出为vout＝map(v1)+map(v2)+map(v5)+map(v6)，map()表示对图像进行上采样到一定尺寸。
与现有技术相比，本发明技术方案的有益效果是：本发明通过对于海量已标注年龄的不同年龄段的图像训练得到一个由图像生成器G，图像判别器D，年龄估计网络AEN和身份识别网络FRN组成的条件生成对抗网络，将多种损失函数的相结合，使得模型在人脸老化方面有很好的表现，能够生成身份一致，欺骗性强和分辨率高等优点的优质人脸老化图像。
附图说明
图1为本发明流程图。
图2为本发明人脸老化模型示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示的一种基于条件生成对抗网络的人脸老化方法流程图，包括以下步骤：
S1：搜集人脸数据，并对人脸数据进行预处理；
S11：对网络上的公共人脸数据库进行搜集，条件为人脸数据库必须包含年龄标签和身份标签，主要数据库包括FG-NET，CACD和MORPH等公共数据库；
S12：对得到的图像进行预处理，包括人脸检测，人脸裁剪和人脸对齐等，再对数据进行数据增强，包括随机裁剪，最后得到224×224的标准人脸图像。
S13：根据数据的现有量以及对于模型的需要，将模型的卷积层参数进行一次调整，根据经验，该方法将人的年龄大致分为16组，分别为{0-5,6-10,11-15,16-20,21-25,26-30,31-35,36-40,41-45,46-50,51-55,56-60,61-65,66-70,71-75,76-100}，最后一组主要由于数据分布的问题，将76岁以上设置为同一组。
S2：输入预处理后的人脸数据分别训练年龄估计网络AEN和身份识别网络FRN；
S21：将现有的已训练好的现有的人脸模型进行微调得到初步的年龄估计网路模型；
S22：采用3×3的卷积核，增加网络的非线性表达能力，使得分割平面更具有可分性，同时减少参数的个数。与此同时，在每个卷积层后增加最大池化层，经过最大池化层的深度特征维数会变为原来的1/2。
S23：每层卷积神经网络会接一个激活函数，在这里它是一个复合操作，表示输入先经过一个BN(Batch Normalization)操作，再经过一个ReLU函数，最后通过一个最大池化层的处理，作为整个激活函数的输出，也作为下一个卷积层的输入。
S24：卷积层的输出最后会经过3个全连接层，对全连接层的参数进行了调整，分别将FC1,FC2,FC3调整为512,128和16个卷积核，并将最后一层全连接层的输出输入到softmax层，通过softmax层将深度特征分为16类。
S25：输入经过预处理的标准人脸图像，利用随机梯度下降进行图像训练，并对年龄估计网络中所有层的参数进行微调，得到更好的年龄估计结果。
S26：FRN是身份识别网络，主要用于提取人脸图像中的人脸深度特征，因此该方法采用当前效果最好的人脸识别网络模型，对网络模型进行微调，保证网络提取身份特征的能力并且要求对于年龄具有一定的鲁棒性；
S27：身份识别网络采用3×3的卷积核，在每个卷积层后增加最大池化层，每层卷积神经网络会接一个激活函数，即输入先经过一个BN(Batch Normalization)操作，再经过一个ReLU函数，最后通过一个最大池化层的处理，作为整个激活函数的输出，也作为下一个卷积层的输入；卷积层的输出最后会经过3个全连接层FC1,FC2,FC3，对全连接层的参数进行了调整，分别将FC1调整为4096，FC2调整为4096和FC3调整为2048个卷积核，并将最后一层全连接层的输出输入到softmax层，通过softmax层将深度特征分为16类。
S3：编码年龄信息，构造图像生成器G和图像判别器D，并将图像生成器G的生成图像分别输入到构造的图像判别器D、训练好的年龄估计网络AEN以及身份识别网络FRN中，计算图像判别器、年龄估计网络、身份识别网络的损失函数并将损失函数进行融合作为生成器G最终的损失函数，从而构造生成对抗网络Age-GAN，训练生成对抗网络Age-GAN；
S31：利用卷积神经网络的特性对年龄信息进行编码，根据对这16个年龄组的分类，获得能够代表16个年龄组的特征向量yi。
S32：构造图像生成器G，G主要由两部分组成，包括编码器和解码器，其中编码器负责将原始图像编码到隐空间，并由卷积神经网络对特征进行年龄信息与图像信息的融合，再经过解码器恢复到生成图像。编码器主要由3个卷积核大小为3×3，步长为2的卷积层组成，主要是为了确保图像中的每一个像素都能被充分利用。编码器的输出y1会被输入到4个连续的残差块，并通过这4个残差块将年龄相关信息Vage编码到图像对应的深度特征中，输出为y2＝f(y1,Vage)。解码器主要由3个反卷积层组成，用反卷积层去取代传统的上采样层可以保留更多的语义信息，使得生成图像更加准确，生成图像Wout＝f2(y2)，其中生成图像Wout是224×224×3的图像。
S33：构建判别器D。D主要是用于判断生成图像是否满足原始图像的概率分布。为了排除多余信息的干扰，该方法选取了与生成图像同一身份同一年龄信息的人脸图像WIn2作为输入；在D的结构中采用6个卷积层作为特征提取网络，其中运用了自上而下的金字塔结构，从特征提取网络中过去各层具有不同语义信息不同尺度的视觉特征，对其进行融合。分别将第1，3，5和6层的输出分别记为{v1,v3,v5,v6}，由于各层的输出是不同尺度的，因此这些输出会经过一个上采样到同一尺度后进行融合，vout＝map(v1)+map(v2)+map(v5)+map(v6)。
S34：两个图像经过D得到深度特征之间距离损失函数会作为判别器的损失函数。
S35：去除FRN模型和AEN模型的Softmax层和最后一个卷积层，并将两个模型的参数进行固定，即在GAN的训练过程中两个模型的参数不发生变化；将图像生成器、图像判别器、年龄估计网络以及身份识别网络进行融合，其中生成图像网络将生成图片分别输入到图像判别器、年龄估计网络以及身份识别网络；同时年龄估计网络中还需要输入年龄编码信息，身份识别网络中还需要输入原始图像信息，其具体模型示意图如图2所示；
S36：训练过程是希望最小化G和D的损失函数，其训练策略可以被写为：
其中θG，θD分别为生成器G和鉴别器D的权重。Pdata，Py，Pz分别表示数据集，目标图片集和生成图片集的分布概率，G(x,y)和D(x,y)分别表示生成器的输出和鉴别器的输出。
S37：判别器D的损失函数可以表示为：
其中
表示卷积神经网络的映射，Vage表示生成图像，WIN2表示与输入图像WIN来自同一身份的，年龄信息为Vage的人脸图像；其中W,H,C分别表示图像的宽、高和对应的通道数。
S38：生成器G的损失函数课表示为：
LGAN,G＝λDLGAN,D+λILide+λALage
其中Lide和Lage可以被表示为：
其中cdis(x,y)表示x和y的余弦距离。
和
表示FRN模型和AEN模型的输出，λD、λL、λA分别表示图像判别器、身份识别网络以及年龄估计网络的损失函数在生成器G中的权重。
S39：将图像判别器、年龄估计网络以及身份识别网络中输出的损失函数会进行融合，作为生成器G最终的损失函数，通过最小化损失函数，误差反向传播的方式来更新模型参数。交替地训练G和D实现最优化，并最终达到G完全学习了年龄变化以及D变成一个具有辨别力的判断模型的目标。
S4：将待测数据输入到生成对抗网络Age-GAN中用于人脸老化。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (8)
1.一种基于条件生成对抗网络的人脸老化方法，其特征在于，包括以下步骤：
S1：搜集人脸数据，并对人脸数据进行预处理；
S2：输入预处理后的人脸数据分别训练年龄估计网络AEN和身份识别网络FRN；
S3：编码年龄信息，构造图像生成器G和图像判别器D，并将图像生成器G的生成图像分别输入到构造的图像判别器D、训练好的年龄估计网络AEN以及身份识别网络FRN中，计算图像判别器、年龄估计网络、身份识别网络的损失函数并将损失函数进行融合作为生成器G最终的损失函数，从而构造生成对抗网络Age-GAN，训练生成对抗网络Age-GAN；
S4：将待测数据输入到生成对抗网络Age-GAN中用于人脸老化；
步骤S3的具体过程如下：
S31：利用步骤S2中训练好的年龄估计网络AEN对标准人脸图像的年龄信息进行编码，并获得代表若干年龄组的特征向量yi，i表示年龄组的个数；
S32：构造图像生成器G和图像判别器D；
S33：去除身份识别网络FRN和年龄估计网络AEN的Softmax层和最后一个全连接层，并将两个模型的参数进行固定，即在生成对抗网络Age-GAN的训练过程中两个模型的参数不发生变化；
S34：将原始图像和年龄相关向量作为输入到图像生成器G，将图像生成器G的生成图像分别输入到图像判别器D、年龄估计网络AEN以及身份识别网络FRN中，其中年龄估计网络的输入还包括年龄信息，身份识别网络的输入还包括原始图像；
S35：分别计算图像判别器、年龄估计网络、身份识别网络的损失函数；
S36：通过将误差反向传播的方式来更新模型参数，即将图像判别器D、年龄估计网络AEN以及身份识别网络FRN中输出的损失函数进行融合并将其作为生成器G最终的损失函数。
2.根据权利要求1所述的一种基于条件生成对抗网络的人脸老化方法，其特征在于：步骤S1搜集人脸数据，并对人脸数据进行预处理的具体步骤为：
S11：对将公共的包含年龄标签和身份标签的人脸数据库进行搜集，人脸数据库包括FG-NET，CACD和MORPH公共数据库；
S12：将搜集到的人脸图像进行预处理，包括人脸检测，人脸裁剪和人脸对齐，再对处理后的数据进行数据增强，包括随机裁剪，最后得到固定尺寸的标准人脸图像，并将得到的人脸图像按年龄分成若干组。
3.根据权利要求1所述的一种基于条件生成对抗网络的人脸老化方法，其特征在于：步骤S2中输入预处理后的人脸数据分别训练年龄估计网络AEN和身份识别网络FRN；具体步骤为：
S21：将经过预处理的标准人脸图像输入到年龄估计网络AEN中，采用随机梯度下降进行图像训练，并对年龄估计网络AEN中所有层的参数进行更新；
S22：将经过预处理的标准人脸图像输入到身份识别网络FRN，利用随机梯度下降进行网络训练，对身份识别网络FRN中的参数进行更新。
4.根据权利要求3所述的一种基于条件生成对抗网络的人脸老化方法，其特征在于：所述年龄估计网络采用3×3的卷积核，在每个卷积层后增加最大池化层，每层卷积神经网络会接一个激活函数，即输入先经过一个批归一化操作，再经过一个ReLU函数，最后通过一个最大池化层的处理，作为整个激活函数的输出，也作为下一个卷积层的输入；卷积层的输出最后会经过3个全连接层FC1、FC2、FC3，对全连接层的参数进行了调整，分别将FC1参数调整为512，FC2参数调整为128和FC3参数调整为16个卷积核，并将最后一层全连接层的输出输入到softmax层，通过softmax层将深度特征分为16类。
5.根据权利要求3所述的一种基于条件生成对抗网络的人脸老化方法，其特征在于：所述身份识别网络采用3×3的卷积核，在每个卷积层后增加最大池化层，每层卷积神经网络会接一个激活函数，即输入先经过一个批归一化操作，再经过一个ReLU函数，最后通过一个最大池化层的处理，作为整个激活函数的输出，也作为下一个卷积层的输入；卷积层的输出最后会经过3个全连接层FC1,FC2,FC3，对全连接层的参数进行了调整，分别将FC1调整为4096，FC2调整为4096和FC3调整为2048个卷积核，并将最后一层全连接层的输出输入到softmax层，通过softmax层将深度特征分为16类。
6.根据权利要求1所述的一种基于条件生成对抗网络的人脸老化方法，其特征在于：步骤S35中图像判别器的损失函数为生成图像的图像损失函数，即与生成图像中同一个人的同一年龄组的另一图像与生成图像之间的深度特征的损失；年龄估计网络的损失函数是生成图像和原始图像输入到年龄估计网络AEN中获得的两个深度特征的余弦距离，身份识别网络的损失函数是生成图像和原始图像输入到身份识别网络FRN得到的两个深度特征之间的欧式距离。
7.根据权利要求1所述的一种基于条件生成对抗网络的人脸老化方法，其特征在于：所述图像生成器主要包括编码器和解码器；编码器主要由3个卷积核大小为3×3，步长为2的卷积层组成，编码器的输出y1会被输入到4个连续的残差块，并通过这4个残差块将年龄相关信息Vage编码到图像对应的深度特征中，即输出为y2＝f(y1,Vage)，f(y1,Vage)表示将年龄相关信息Vage编码到图像对应的深度特征中；解码器主要由3个反卷积层组成，生成图像Wout＝f2(y2)，其中f2()表示解码处理。
8.根据权利要求1所述的一种基于条件生成对抗网络的人脸老化方法，其特征在于：所述图像判别器包括6个卷积层作为特征提取网络，采用自上而下的金字塔结构，即由上到下卷积核呈逐渐减少，对特征提取网络中各层具有不同语义信息不同尺度的视觉特征进行融合，即分别对1，3，5和6层的输出分别记为{v1,v3,v5,v6}，将输出进行一个上采样到同一尺度后进行融合，得到输出为vout＝map(v1)+map(v2)+map(v5)+map(v6)，map()表示对图像进行上采样到一定尺寸。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811385127.4A CN109523463B (zh) | 2018-11-20 | 2018-11-20 | 一种基于条件生成对抗网络的人脸老化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811385127.4A CN109523463B (zh) | 2018-11-20 | 2018-11-20 | 一种基于条件生成对抗网络的人脸老化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109523463A CN109523463A (zh) | 2019-03-26 |
| CN109523463B true CN109523463B (zh) | 2023-04-07 |
Family
ID=65776603
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811385127.4A Active CN109523463B (zh) | 2018-11-20 | 2018-11-20 | 一种基于条件生成对抗网络的人脸老化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109523463B (zh) |
Families Citing this family (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110059465B (zh) * | 2019-04-24 | 2023-07-25 | 腾讯科技（深圳）有限公司 | 身份验证方法、装置及设备 |
| CN110232652A (zh) * | 2019-05-27 | 2019-09-13 | 珠海格力电器股份有限公司 | 图像处理引擎处理方法、用于终端的图像处理方法、终端 |
| CN110322394A (zh) * | 2019-06-18 | 2019-10-11 | 中国科学院自动化研究所 | 基于属性引导的人脸年龄老化图像对抗生成方法及装置 |
| CN110264398B (zh) * | 2019-07-16 | 2021-05-28 | 北京市商汤科技开发有限公司 | 图像处理方法及装置 |
| CN110675316B (zh) * | 2019-08-29 | 2021-07-09 | 中山大学 | 基于条件生成对抗网络的多域图像转换方法、系统及介质 |
| CN110658557B (zh) * | 2019-09-03 | 2021-11-02 | 中国地质大学（北京） | 基于生成对抗网络的地震数据面波压制方法 |
| CN110570349A (zh) * | 2019-09-11 | 2019-12-13 | 中国计量大学 | 一种基于生成对抗网络由父母照片生成子女照片的方法 |
| CN110598638A (zh) * | 2019-09-12 | 2019-12-20 | Oppo广东移动通信有限公司 | 模型训练方法、人脸性别预测方法、设备及存储介质 |
| CN110852935A (zh) * | 2019-09-26 | 2020-02-28 | 西安交通大学 | 一种人脸图像随年龄变化的图像处理方法 |
| CN112883756B (zh) * | 2019-11-29 | 2023-09-15 | 哈尔滨工业大学（深圳） | 年龄变换人脸图像的生成方法及生成对抗网络模型 |
| CN111242213B (zh) * | 2020-01-13 | 2023-07-25 | 上海大学 | 无标签的自动人脸属性编辑方法 |
| CN111428734B (zh) * | 2020-03-17 | 2022-08-09 | 山东大学 | 一种基于残差对抗推理学习的图像特征提取方法、装置和计算机可读存储介质 |
| CN112084831B (zh) * | 2020-04-27 | 2022-11-22 | 上海大学 | 基于年龄编辑的年龄估计方法 |
| CN111611877B (zh) * | 2020-04-30 | 2023-05-02 | 杭州电子科技大学 | 基于多时空信息融合的抗年龄干扰的人脸识别方法 |
| CN111553838A (zh) * | 2020-05-08 | 2020-08-18 | 深圳前海微众银行股份有限公司 | 模型参数的更新方法、装置、设备及存储介质 |
| CN111985642B (zh) * | 2020-08-17 | 2023-11-14 | 厦门真景科技有限公司 | 一种美颜神经网络训练方法、装置、设备和存储介质 |
| CN111985405B (zh) * | 2020-08-21 | 2022-07-26 | 南京理工大学 | 一种人脸年龄合成方法及系统 |
| CN112052893A (zh) * | 2020-09-01 | 2020-12-08 | 西安电子科技大学 | 基于生成对抗网络的半监督图像分类方法 |
| CN112184851B (zh) * | 2020-10-26 | 2023-09-26 | 北京百度网讯科技有限公司 | 图像编辑方法、网络训练方法、相关装置及电子设备 |
| CN112528897B (zh) * | 2020-12-17 | 2023-06-13 | Oppo（重庆）智能科技有限公司 | 人像的年龄估测方法、装置、计算机设备及存储介质 |
| CN112613435A (zh) * | 2020-12-28 | 2021-04-06 | 杭州魔点科技有限公司 | 人脸图像生成方法、装置、设备及介质 |
| CN112766143B (zh) * | 2021-01-15 | 2023-08-25 | 湖南大学 | 一种基于多情绪的人脸老化处理方法和系统 |
| CN112766157B (zh) * | 2021-01-20 | 2022-08-30 | 乐山师范学院 | 一种基于解纠缠表示学习的跨年龄人脸图像识别方法 |
| CN113221645B (zh) * | 2021-04-07 | 2023-12-12 | 深圳数联天下智能科技有限公司 | 目标模型训练方法、人脸图像生成方法以及相关装置 |
| CN113255813B (zh) * | 2021-06-02 | 2022-12-02 | 北京理工大学 | 一种基于特征融合的多风格图像生成方法 |
| CN113298895B (zh) * | 2021-06-18 | 2023-05-12 | 上海交通大学 | 一种面向收敛性保障的无监督双向生成自动编码方法及系统 |
| CN113505722B (zh) * | 2021-07-23 | 2024-01-02 | 中山大学 | 一种基于多尺度特征融合的活体检测方法、系统及装置 |
| CN113762117B (zh) * | 2021-08-27 | 2024-04-12 | 深圳数联天下智能科技有限公司 | 一种图像处理模型的训练方法、图像处理模型及计算机设备 |
| CN113888399B (zh) * | 2021-10-25 | 2024-04-16 | 河北工业大学 | 一种基于风格融合与域选结构的人脸年龄合成方法 |
| CN114742695B (zh) * | 2022-03-18 | 2024-04-12 | 西北大学 | 一种基于性别约束的渐进式人脸老化系统 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104680119B (zh) * | 2013-11-29 | 2017-11-28 | 华为技术有限公司 | 图像身份识别方法和相关装置及身份识别系统 |
| CN107169454B (zh) * | 2017-05-16 | 2021-01-01 | 中国科学院深圳先进技术研究院 | 一种人脸图像年龄估算方法、装置及其终端设备 |
| CN107563493A (zh) * | 2017-07-17 | 2018-01-09 | 华南理工大学 | 一种多生成器卷积合成图像的对抗网络算法 |
| CN107563509B (zh) * | 2017-07-17 | 2020-11-24 | 华南理工大学 | 一种基于特征返回的条件dcgan模型的动态调整方法 |
| CN107545245A (zh) * | 2017-08-14 | 2018-01-05 | 中国科学院半导体研究所 | 一种年龄估计方法及设备 |
| CN107977629A (zh) * | 2017-12-04 | 2018-05-01 | 电子科技大学 | 一种基于特征分离对抗网络的人脸图像衰老合成方法 |
| CN108256482B (zh) * | 2018-01-18 | 2021-06-25 | 中科视拓（北京）科技有限公司 | 一种基于卷积神经网络进行分布学习的人脸年龄估计方法 |
| CN108520503B (zh) * | 2018-04-13 | 2020-12-22 | 湘潭大学 | 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法 |
-
2018
- 2018-11-20 CN CN201811385127.4A patent/CN109523463B/zh active Active
Non-Patent Citations (1)
| Title |
|---|
| Xinhua Liu等.Face Aging Simulation with Deep Convolutional Generative Adversarial Networks.2018 10th International Conference on Measuring Technology and Mechatronics Automation.2018,第220-224页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109523463A (zh) | 2019-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109523463B (zh) | 一种基于条件生成对抗网络的人脸老化方法 | |
| CN110414377B (zh) | 一种基于尺度注意力网络的遥感图像场景分类方法 | |
| CN110689086B (zh) | 基于生成式对抗网络的半监督高分遥感图像场景分类方法 | |
| CN107506712B (zh) | 一种基于3d深度卷积网络的人类行为识别的方法 | |
| CN110458844B (zh) | 一种低光照场景的语义分割方法 | |
| CN105787458B (zh) | 基于人工设计特征和深度学习特征自适应融合的红外行为识别方法 | |
| CN111507311B (zh) | 一种基于多模态特征融合深度网络的视频人物识别方法 | |
| CN113326731B (zh) | 一种基于动量网络指导的跨域行人重识别方法 | |
| CN110097755A (zh) | 基于深度神经网络的高速公路交通流量状态识别方法 | |
| CN109711426A (zh) | 一种基于gan和迁移学习的病理图片分类装置及方法 | |
| CN110852273A (zh) | 一种基于强化学习注意力机制的行为识别方法 | |
| CN111861945B (zh) | 一种文本引导的图像修复方法和系统 | |
| CN112115967B (zh) | 一种基于数据保护的图像增量学习方法 | |
| CN111797814A (zh) | 基于通道融合和分类器对抗的无监督跨域动作识别方法 | |
| CN110188668B (zh) | 一种面向小样本视频动作分类的方法 | |
| CN112906500B (zh) | 基于深度特权网络的人脸表情识别方法及系统 | |
| CN117237559B (zh) | 面向数字孪生城市的三维模型数据智能分析方法及系统 | |
| CN115311605B (zh) | 基于近邻一致性和对比学习的半监督视频分类方法及系统 | |
| CN111126155B (zh) | 一种基于语义约束生成对抗网络的行人再识别方法 | |
| CN114692732A (zh) | 一种在线标签更新的方法、系统、装置及存储介质 | |
| CN111694977A (zh) | 一种基于数据增强的车辆图像检索方法 | |
| CN113807176A (zh) | 一种基于多知识融合的小样本视频行为识别方法 | |
| CN115690534A (zh) | 一种基于迁移学习的图像分类模型的训练方法 | |
| CN116306902A (zh) | 时序数据环境分析及决策方法、装置、设备及存储介质 | |
| CN112380374B (zh) | 一种基于语义扩充的零样本图像分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |