CN117953564A - 一种基于StarGAN的面部年龄迁移合成方法 - Google Patents
一种基于StarGAN的面部年龄迁移合成方法 Download PDFInfo
- Publication number
- CN117953564A CN117953564A CN202410009916.7A CN202410009916A CN117953564A CN 117953564 A CN117953564 A CN 117953564A CN 202410009916 A CN202410009916 A CN 202410009916A CN 117953564 A CN117953564 A CN 117953564A
- Authority
- CN
- China
- Prior art keywords
- age
- image
- loss
- stargan
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001815 facial effect Effects 0.000 title claims abstract description 30
- 238000013508 migration Methods 0.000 title claims abstract description 21
- 230000005012 migration Effects 0.000 title claims abstract description 21
- 238000001308 synthesis method Methods 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 15
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 11
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 11
- 238000006243 chemical reaction Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 20
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 2
- 230000008447 perception Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 4
- 238000010276 construction Methods 0.000 abstract 1
- 238000013480 data collection Methods 0.000 abstract 1
- 238000011176 pooling Methods 0.000 description 6
- 238000010606 normalization Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000037303 wrinkles Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提出一种基于StarGAN的面部年龄合成方法，涉及计算机视觉和图像处理领域。该方法包括：不同年龄段人脸图像数据的收集；基于StarGAN的面部年龄合成网络构建；模型的训练与优化；利用训练后的模型实现目标年龄的面部迁移。本方法通过生成对抗网络与多领域图像转换相结合的StarGAN模型，能够在单个模型中实现多个年龄段的面部图像转换，且在训练阶段使用无需配对的数据集，实现无监督训练。克服了传统方法需要针对各个年龄段单独训练模型的复杂性，以及依赖于大量配对数据的问题，降低了数据收集和训练的成本，使得面部年龄迁移更加灵活和高效。
Description
技术领域
本发明属于计算机视觉和图像处理领域，具体涉及一种基于StarGAN的面部年龄迁移合成方法。
背景技术
当前实现面部年龄合成技术的方法主要涵盖传统方法和基于深度学习的方法。传统方法依赖于手工设计的特征和规则，如插值、形状变换和纹理合成等，但其受限于难以捕捉复杂的面部结构和纹理变化。相较之下，基于深度学习的方法，尤其是生成对抗网络(GAN)的应用，通过在大规模数据集上进行端到端的学习，能够更有效地捕捉图像之间的复杂关系，从而生成更逼真的图像。
面部年龄迁移涉及多个年龄段的图像转换，在进行年龄迁移时，保持面部图像的身份特征是一个重要的挑战，生成的图像需要在年龄变化的同时保持与原始图像的相似性。在传统方法中，一方面，需要训练独立的模型来处理每个年龄段的转换，增加了模型设计和训练的复杂性。另一方面，收集和标注配对数据是一项昂贵、耗时的任务，需要为每个领域(年龄段)创建精确的一一对应的配对数据。相比于传统的生成对抗网络模型而言，StarGAN允许在单个网络中同时训练具有不同域的多个数据集，这与多年龄段面部年龄合成的任务相适应，为面部年龄迁移提供了新的思路和方法。基于StarGAN的面部年龄迁移合成方法，允许在单个模型中实现多个年龄段的面部图像转换，可以实现无监督训练，无需精确匹配每个源域和目标域(年龄)的样本，提高训练数据的灵活性，使得面部年龄迁移更加直观和可操作。
发明内容
为了克服现有技术的缺陷，本发明提供一种基于StarGAN的面部年龄合成方法。
为实现上述技术目的，本发明采用如下技术方案：
一种基于StarGAN的面部年龄合成方法，用于实现从一个年龄阶段到另一个年龄阶段的人脸图像转换，所述方法包括以下步骤：
步骤一：收集并准备包含不同年龄段人脸图像的数据集；
步骤二：构建基于StarGAN网络的人脸面部年龄合成模型；
步骤三：计算对抗性损失、身份一致性损失、重建损失和年龄分类损失作为损失函数，优化网络模型；
步骤四：将需要迁移的人脸图输入到所构建的面部年龄合成模型中，根据选择的目标年龄段，将其转换为相应年龄阶段的人脸图像。
优选的，所述步骤一，具体途径为：基于现有公开的人脸数据集CelebA、IMDB-WIKI和MORPH，依据年龄信息将人脸数据分为8类，分别为：0-10岁年龄阶段、10-20岁年龄阶段、20-30岁年龄阶段、30-40岁年龄阶段、40-50岁年龄阶段、50-60岁年龄阶段、60-70岁年龄阶段、70岁以上年龄阶段。并对图像进行尺寸大小归一化预处理。
优选的，所述步骤二中的人脸面部年龄合成模型包括一个生成器G和一个多标签鉴别器D，生成器G用于将输入的人脸图像从一个年龄阶段转换到指定的另一个年龄阶段，多标签鉴别器D用于识别图像所属的年龄域并对输入图像的真假属性进行判断。
优选的，所述生成器G采用4层卷积的U-Net结构，并使用残差连接来促进信息传递和图像转换。
所述生成器G包含编码器和解码器部分；
所述编码器和解码器均包含2个卷积层，每个卷积层采用3×3的卷积核；在每个卷积层后增加了最大池化层来降低特征图的维度；每层卷积神经网络后经过BN(BatchNormalization)操作，再经过一个Leaky ReLU函数进行激活；最后通过一个最大池化层的处理；编码器和解码器之间增加了残差连接，以帮助保留并传递更多信息。
优选的，所述鉴别器D采用卷积神经网络结构；
所述鉴别器D包括3个卷积层，卷积核大小为3x3；3个全连接层，输出节点数为8(8分类)。在每个卷积层后，使用Leaky ReLU激活函数，再进行最大池化Maxpool，减少特征图的大小；并全连接层中使用Dropout，以减少过拟合风险。
优选的，所述步骤三，引入对抗性损失、身份一致性损失、重建损失和年龄分类损失作为损失函数，优化网络模型；
1)对抗性损失：为了提高训练过程的稳定性和生成图像的质量，采用了LSGAN损失，对抗性损失的目标是最小化生成图像与真实图像之间的均方误差。生成器G和鉴别器D的对抗性损失函数LG和LD可以表述为:
其中Xg是全局图像；Xl是局部特征图像；Ct是目标年龄段标签，表示在给定输入X和条件Ct下的期望，G(X,Ct)表示由G在给定输入X和条件Ct的情况下生成的图像，D(X)表示鉴别器对于真实图像的输出，D(G(X,Ct))表示鉴别器对于生成图像的输出。
2)身份一致性损失：面部迁移在发色、皱纹等方面有变化，但身份信息不应改变。为了保留生成的人脸的身份信息，在年龄迁移目标中引入感知损失，选择从合适的层h(·)中提取的特征用于保持身份信息。身份一致性损失可以表述为：
其中h(·)表示神经网络中特定特征层提取的特征，‖·‖2表示欧氏距离的平方，pdata(x)表示输入图像X的数据分布，·表示对所有来自输入图像数据分布pdata(x)的损失进行求和。
3)重建损失：采用L1范数作为重构损失用于确保生成图像在给定条件下重建时保持一致，重建损失可以表述为：
其中C0是源域年龄段标签，‖·‖1表示L1范数，表示给定输入图像x和两个条件Ct和C0的情况下的期望，G(G(Ｘ,Ct),C0)表示生成器G基于第一次生成的图像G(X,Ct)和条件C0的二次生成图像。
4)年龄分类损失：采用图像全局鉴别Dglobal和局部鉴别Dlocal，全局鉴别是对整个图像进行年龄分类，局部鉴别是对图像中的局部区域(如眼睛、嘴巴、鼻子等)特征进行年龄分类，将目标分解为两项:一个真实图像的年龄分类损失用于优化D，一个伪图像的年龄分类损失用于优化G，其中前者定义为:
伪图像年龄分类的损失函数定义为：
表示对输入图像X和目标年龄标签Ｃt的期望；/>表示对输入图像X和源域年龄段标签Ｃ0的期望；-log(·)表示负对数似然估计；Dglobal(C0|Xg)，Dlocal(Ｃ0|Ｘl)分别表示全局鉴别器Dglobal和局部鉴别器Dlocal计算输入原图在原始年龄标签c0上的概率分布；Dglobal(Ct|G(Xg,Ct))，Dlocal(Ct|G(Xl,Ct))分别表示全局鉴别器Dglobal和局部鉴别器Dlocal计算生成图像在源域年龄标签Ct上的概率分布。
5)基于上述损失，最后优化G和D的目标函数分别为：
其中λ1和λ2是平衡身份一致性损失和重建损失的两个超参数，λ3和λ4是平衡伪图像的全局分类损失和局部分类损失的两个超参数，λg和λl是平衡真实图像全局分类损失和局部分类损失的两个超参数。
优选的，所述步骤四，通过指定任意目标年龄段参数，模型经过训练能够将输入图像从当前年龄阶段转换为指定的目标年龄阶段。
与现有的技术相比，本发明的有益效果是：
本发明提供的一种基于StarGAN的面部年龄合成方法，相比于传统的生成模型而言，能够仅通过训练单个网络实现多个年龄段的面部年龄间的相互转换，且无需精确匹配每个源域和目标域(年龄)的样本，提高了模型的灵活性和通用性。
本发明提供的一种基于StarGAN的面部年龄迁移合成方法，在原有的对抗性损失、身份一致性损失、年龄分类损失的基础上，进一步引入重建损失，用于优化网络模型，保证生成图片的身份信息和质量。这种多损失函数的设计有助于同时考虑逼真性、一致性、重建准确性和年龄准确性等方面的优化目标，提高了模型的鲁棒性。
本发明提供的一种基于StarGAN的面部年龄迁移合成方法，引入了图像全局鉴别Dglobal和局部鉴别Dlocal两个鉴别器，使模型能够学到更丰富、更细致的特征表达。全局鉴别有助于捕获整体的年龄信息，而局部鉴别可以关注局部特征，从而更好地理解面部的细微差异，提高了对年龄特征的敏感性。
附图说明
图1为本发明提出的一种基于StarGAN的面部年龄迁移合成方法的流程示意图；
图2为本发明提出的一种基于StarGAN的面部年龄迁移合成方法的网络框架示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但不作为对本发明的限定。
一种基于StarGAN的面部年龄迁移合成方法，参考图1所示，该方法具体包括以下步骤：
S1：收集并准备包含不同年龄段人脸图像的数据集。
基于现有公开的人脸数据集CelebA、IMDB-WIKI和MORPH，依据年龄信息将训练数据分为8类，分别为：0-10岁年龄阶段、10-20岁年龄阶段、20-30岁年龄阶段、30-40岁年龄阶段、40-50岁年龄阶段、50-60岁年龄阶段、60-70岁年龄阶段、70岁以上年龄阶段。再进行预处理，先将图像大小调整为256×256，再对图像的像素值归一化，映射到[0,1]或[-1,1]的范围内；使用随机裁剪，翻转进行图像增强。
S2：基于StarGAN网络的人脸面部年龄合成模型的构建和训练。
(2a)StarGAN模型包括一个生成器G和一个多标签鉴别器D，生成器G用于将输入的人脸图像从一个年龄阶段转换到指定的另一个年龄阶段，多标签鉴别器D用于识别图像所属的年龄域。
(2b)生成器G包含编码器和解码器部分，每个部分包括2个卷积层。每个卷积层采用3×3的卷积核；在每个卷积层后增加了最大池化层来降低特征图的维度；每层卷积神经网络后经过BN(Batch Normalization)操作，再经过一个Leaky ReLU函数进行激活；最后通过一个最大池化层的处理；编码器和解码器之间增加了残差连接，以帮助保留并传递更多信息。
(2c)鉴别器D采用卷积神经网络，详细参数如下：三个卷积层，卷积核大小为3×3。三个全连接层，输出节点数为8(8分类)。在每个卷积层后，使用Leaky ReLU激活函数；再进行最大池化Maxpool，减少特征图的大小；并在全连接层中使用Dropout，以减少过拟合风险。
S3：计算对抗性损失、身份一致性损失、重建损失和年龄分类损失作为损失函数，来优化网络模型。
参考图2网络框架示意图，进一步解释损失函数。
(3a)对抗性损失：为了提高训练过程的稳定性和生成图像的质量，采用了LSGAN损失，对抗性损失的目标是最小化生成图像与真实图像之间的均方误差。对抗性损失函数可以表述为:
其中Xg是全局图像；Xl是局部特征图像；Ct是目标年龄段标签，表示在给定输入X和条件Ct下的期望，G(X,Ct)表示由G在给定输入X和条件Ct的情况下生成的图像，D(X)表示鉴别器对于真实图像的输出，D(G(X,Ct))表示鉴别器对于生成图像的输出。生成器G的目标是最小化对抗性损失LG，使其生成的数据更加逼真，难以被鉴别器区分为真实数据。鉴别器D的目标是最大化对抗性损失LD，使其能够准确地区分生成器生成的数据和真实数据。
(3b)身份一致性损失：面部迁移在发色、皱纹等方面有变化，但身份信息不应改变。为了保留生成的人脸的身份信息，在年龄迁移目标中引入感知损失，选择从合适的层h(·)中提取的特征对于保持身份信息。身份一致性损失可以表述为：
其中h(·)表示神经网络中特定特征层提取的特征，‖·‖2表示欧氏距离的平方，pdata(x)表示输入图像X的数据分布，·表示对所有来自输入图像数据分布pdata(x)的样本X进行求和。计算该损失鼓励生成的图像在特征层面上与对应的真实图像具有相似的身份特征。
(3c)重建损失：采用L1范数作为重构损失用于确保生成图像在给定条件下重建时保持一致，重建损失可以表述为：
其中C0是源域年龄标签，‖·‖1表示L1范数，表示给定输入图像x和两个条件Ct和C0的情况下的期望，G(G(X,Ct),C0)表示生成器G是基于第一次生成的图像G(X,Ct)和条件C0的第二次生成图像。计算该损失确保生成器G通过两个条件Ct和C0变换后再还原的图像与原始输入图像X之间的差异最小化，促使生成器G学习到对输入图像X进行准确还原的能力。
(3d)年龄分类损失：采用图像全局鉴别Dglobal和局部鉴别Dlocal，全局鉴别是对整个图像进行年龄分类，局部鉴别是对图像中的局部区域(如眼睛、嘴巴、鼻子等)特征进行年龄分类，将目标分解为两项:一个真实图像的年龄分类损失用于优化D，一个伪图像的年龄分类损失用于优化G，其中前者定义为:
伪图像年龄分类的损失函数定义为：
表示对输入图像X和目标年龄标签Ct的期望；/>表示对输入图像X和源域年龄段标签C0的期望；-log(·)表示负对数似然估计；Dglobal(C0|Xg)，Dlocal(C0|Xl)分别表示全局鉴别器Dglobal和局部鉴别器Dlocal计算输入原图在原始年龄标签C0上的概率分布；Dglobal(Ct|G(Xg,Ct))，Dlocal(Ct|G(Xl,Ct))分别表示全局鉴别器Dglobal和局部鉴别器Dlocal计算生成图像在源域年龄标签Ct上的概率分布。
(3e)基于上述损失，最后优化G和D的目标函数分别为：
其中λ1和λ2是平衡身份一致性损失和重建损失的两个超参数，λ3和λ4是平衡伪图像的全局分类损失和局部分类损失的两个超参数，λg和λl是平衡真实图像全局分类损失和局部分类损失的两个超参数。
S4：利用训练后的模型实现目标年龄的面部迁移。
利用训练好的模型，输入需要年龄迁移的人脸图，根据选择的目标年龄段参数，实现将输入图像从当前年龄阶段转换为指定的目标年龄阶段的面部年龄迁移。
Claims (6)
1.一种基于StarGAN的面部年龄合成方法，其特征在于，包括以下步骤：
步骤一：收集并准备包含不同年龄段人脸图像的数据集；
步骤二：构建基于StarGAN网络的人脸面部年龄合成模型；
步骤三：计算对抗性损失、身份一致性损失、重建损失和年龄分类损失作为损失函数，优化网络模型；
步骤四：将需要迁移的人脸图输入到所构建的面部年龄合成模型中，根据选择的目标年龄段，将其转换为相应年龄阶段的人脸图像。
2.根据权利要求1所述的一种基于StarGAN的面部年龄合成方法，其特征在于：所述步骤一，具体途径为：基于现有公开的人脸数据集CelebA、IMDB-WIKI和MORPH，依据年龄信息将人脸数据分为8类，分别为：0-10岁年龄阶段、10-20岁年龄阶段、20-30岁年龄阶段、30-40岁年龄阶段、40-50岁年龄阶段、50-60岁年龄阶段、60-70岁年龄阶段、70岁以上年龄阶段，并对图像进行预处理。
3.根据权利要求1所述的一种基于StarGAN的面部年龄合成方法，其特征在于，所述步骤二中的人脸面部年龄合成模型包括一个生成器G和一个多标签鉴别器D，生成器G用于将输入的人脸图像从一个年龄阶段转换到指定的另一个年龄阶段，多标签鉴别器D用于识别图像所属的年龄域并对输入图像的真假属性进行判断。
4.根据权利要求3所述一种基于StarGAN的面部年龄合成方法，其特征在于：所述生成器G采用U-Net结构，并使用残差连接来促进信息传递和图像转换；所述鉴别器D采用卷积神经网络结构。
5.根据权利要求1所述一种基于StarGAN的面部年龄合成方法，其特征在于：所述步骤三，引入对抗性损失、身份一致性损失、重建损失和年龄分类损失作为损失函数，优化网络模型；
1)对抗性损失：为了提高训练过程的稳定性和生成图像的质量，采用了LSGAN损失，对抗性损失函数可以表述为:
其中Xg是全局图像；Xl是局部特征图像；Ct是目标年龄段标签，表示在给定输入X和条件Ct下的期望，G(X，Ct)表示由G在给定输入X和条件Ct的情况下生成的图像，D(X)表示鉴别器对于真实图像的输出，D(G(X，Ct))表示鉴别器对于生成图像的输出；
2)身份一致性损失：为了保留生成的人脸的身份信息，在年龄迁移目标中引入以下感知损失，其损失为：
其中h(·)表示神经网络中特定特征层提取的特征，||·||2表示欧氏距离的平方，pdata(x)表示输入图像X的数据分布，表示对所有来自输入图像数据分布pdata(x)的损失进行求和；
3)重建损失：采用L1范数作为重构损失用于确保生成图像在给定条件下重建时保持一致，其损失为：
其中C0是源域年龄段标签，||·||1表示L1范数，表示给定输入图像x和两个条件Ct和C0的情况下的期望，G(G(X，Ct)，C0)表示生成器G基于第一次生成的图像G(X，Ct)和条件C0的二次生成图像；
4)年龄分类损失：采用图像全局鉴别Dglobal和局部鉴别Dlocal，将目标分解为两项：一个真实图像的年龄分类损失用于优化D，一个伪图像的年龄分类损失用于优化G，其中前者定义为：
伪图像年龄分类的损失函数定义为：
表示对输入图像X和目标年龄标签Ct的期望；/>表示对输入图像X和源域年龄段标签C0的期望；-log(·)表示负对数似然估计；Dglobal(C0|Xg)，Dlocal(C0|Xl)分别表示全局鉴别器Dglobal和局部鉴别器Dlocal计算输入原图在原始年龄标签C0上的概率分布；Dglobal(Ct|G(Xg，Ct))，Dlocal(Ct|G(Xl，Ct))分别表示全局鉴别器Dglobal和局部鉴别器Dlocal计算生成图像在源域年龄标签Ct上的概率分布；
基于上述损失，最后优化G和D的目标函数分别为：
6.根据权利要求1所述一种基于StarGAN的面部年龄合成方法，其特征在于：所述步骤四，通过指定任意目标年龄段参数，经过训练的生成器G能够将输入图像从当前年龄阶段转换为指定的目标年龄阶段。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410009916.7A CN117953564A (zh) | 2024-01-03 | 2024-01-03 | 一种基于StarGAN的面部年龄迁移合成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410009916.7A CN117953564A (zh) | 2024-01-03 | 2024-01-03 | 一种基于StarGAN的面部年龄迁移合成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117953564A true CN117953564A (zh) | 2024-04-30 |
Family
ID=90804107
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410009916.7A Pending CN117953564A (zh) | 2024-01-03 | 2024-01-03 | 一种基于StarGAN的面部年龄迁移合成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117953564A (zh) |
-
2024
- 2024-01-03 CN CN202410009916.7A patent/CN117953564A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111339903B (zh) | 一种多人人体姿态估计方法 | |
| CN111489358B (zh) | 一种基于深度学习的三维点云语义分割方法 | |
| CN112966684B (zh) | 一种注意力机制下的协同学习文字识别方法 | |
| CN112465111A (zh) | 一种基于知识蒸馏和对抗训练的三维体素图像分割方法 | |
| CN111242288B (zh) | 一种用于病变图像分割的多尺度并行深度神经网络模型构建方法 | |
| CN112488210A (zh) | 一种基于图卷积神经网络的三维点云自动分类方法 | |
| CN112561876B (zh) | 基于图像的池塘和水库的水质检测方法及系统 | |
| CN112102472A (zh) | 稀疏三维点云稠密化方法 | |
| CN110675421B (zh) | 基于少量标注框的深度图像协同分割方法 | |
| CN113297988A (zh) | 一种基于域迁移和深度补全的物体姿态估计方法 | |
| CN113344933A (zh) | 一种基于多层次特征融合网络的腺体细胞分割方法 | |
| CN110598537A (zh) | 一种基于深度卷积网络的视频显著性检测方法 | |
| CN104036242A (zh) | 基于Centering Trick卷积限制玻尔兹曼机的物体识别方法 | |
| CN116805360B (zh) | 一种基于双流门控渐进优化网络的显著目标检测方法 | |
| CN114663880A (zh) | 基于多层级跨模态自注意力机制的三维目标检测方法 | |
| CN113076806A (zh) | 一种结构增强的半监督在线地图生成方法 | |
| CN113011436A (zh) | 一种基于卷积神经网络的中医舌色苔色协同分类方法 | |
| CN117292117A (zh) | 一种基于注意力机制的小目标检测方法 | |
| CN117253277A (zh) | 真实和合成数据联合进行复杂环境人脸关键点检测的方法 | |
| Ling et al. | A facial expression recognition system for smart learning based on YOLO and vision transformer | |
| CN116433904A (zh) | 一种基于形状感知和像素卷积的跨模态rgb-d语义分割方法 | |
| CN116109656A (zh) | 一种基于无监督学习的交互式图像分割方法 | |
| Li et al. | A new algorithm of vehicle license plate location based on convolutional neural network | |
| CN117953564A (zh) | 一种基于StarGAN的面部年龄迁移合成方法 | |
| Shangguan et al. | Multi-scale Attention Fusion Graph Network for Remote Sensing Building Change Detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |