CN113222811B - 一种基于图像掩膜的人脸属性迁移方法 - Google Patents

一种基于图像掩膜的人脸属性迁移方法 Download PDF

Info

Publication number
CN113222811B
CN113222811B CN202110578071.XA CN202110578071A CN113222811B CN 113222811 B CN113222811 B CN 113222811B CN 202110578071 A CN202110578071 A CN 202110578071A CN 113222811 B CN113222811 B CN 113222811B
Authority
CN
China
Prior art keywords
image
loss
representing
texture
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110578071.XA
Other languages
English (en)
Other versions
CN113222811A (zh
Inventor
宋丹丹
吴殿钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Publication of CN113222811A publication Critical patent/CN113222811A/zh
Application granted granted Critical
Publication of CN113222811B publication Critical patent/CN113222811B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23211—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with adaptive number of clusters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于图像掩膜的人脸属性迁移方法，属于计算机视觉处理技术领域。本方法，将人脸掩膜融入到人脸属性迁移任务中，使得生成器能够专注于人脸属性的生成，针对性更强；将梯度信息融入到人脸属性迁移任务中，能够保持人脸轮廓不发生改变，同时有助于模型学到更精细的纹理信息；采用多目标学习的方式进行训练，使得模型能够从多个角度进行特征学习，生成的图像更加逼真。本方法适用于任务人脸图像，均有良好的使用效果，具有普适性，同时适用于多种属性迁移任务，具有较强的鲁棒性。

Description

一种基于图像掩膜的人脸属性迁移方法
技术领域
本发明涉及一种基于图像掩膜的人脸属性迁移方法，尤其涉及一种基于生成对抗网络、采用边缘一致性约束、运用多目标学习的思想进行的无监督学习的人脸属性迁移方法，属于计算机视觉处理技术领域。
技术背景
近年来，人脸属性迁移成为互联网领域追逐的热点，拥有庞大的用户群体，蕴含巨大的商业价值。人们每天使用手机拍摄出自己或者他人的照片，出于变美或娱乐目的，会对图像进行个性化的自定义操作，生成自己满意的图像。而支撑该功能的技术，是基于深度学习的人脸属性编辑技术。
作为深度学习的重要组成部分，生成对抗网络自提出之日起，就深受研究人员的青睐，目前已广泛应用于计算机视觉和自然语言处理任务等领域中。相较于传统方法，生成对抗网络在图像生成任务上有着得天独厚的优势，其表现更为优越。
在人脸属性迁移任务中，人们希望操作的部位往往只是整体图像的一部分。而对于一个输入的人体图像来说，如何准确的定位待操作区域至关重要。相较于注意力机制的学习性而言，图像掩膜技术更为高效和准确。图像掩膜技术是一种借鉴于数字图像处理中的掩膜技术，通过选定特定的图像，对待处理的图像进行遮挡，实现对待处理图像的有效控制。目前，人脸解析技术经历了从传统方法到深度学习方法的转变后，该项技术已经相对成熟，利用人脸解析可以很好的获取到人脸信息。
而将该项技术应用在人脸属性迁移任务中，尚未见到有相关技术公开。
发明内容
本发明的目的是为了克服现有技术存在的不足，提出一种基于图像掩膜的人脸属性迁移方法，以生成具有目标属性的逼真的图像。
本发明的创新点在于：引入图像掩膜方法，设计一种监督学习的人脸属性迁移的网络模型。同时，在图像生成中引入了梯度信息作为指导，通过多目标学习设计损失函数，实现人脸属性迁移。
本发明的目的是通过以下技术方案实现的：
一种基于图像掩膜的人脸属性迁移方法，包括以下步骤：
步骤1：对原始图像进行人脸解析，得到背景图像和人脸图像，将人脸图像作为模型的输入图像。
其中，在进行人脸解析处理时，使用图像掩膜方式，将掩膜图像和原始图像通过与运算，得到背景图像和需要被提取到的人脸图像。
步骤2：利用生成器对输入图像进行特征学习，得到输出图像。
其中，生成器包括图像生成分支和梯度学习分支，两个分支网络之间进行信息传递，共同作用，实现图像生成。梯度分支的作用在于确定输入图像的边缘信息，学习生成目标图像的纹理特征，为生成图像提供额外的结构先验。
步骤3：将输出图像与背景图像进行图像融合，产生生成图像。
具体地，采用边缘一致性约束处理，即，采用泊松图像融合方式进行图像融合，能够同时兼顾原始图像的梯度场和目标图像的梯度场。
步骤4：对生成图像和目标图像进行特征判别。
具体地，同时进行以下5种操作：
对生成图像和目标图像进行纹理处理后，送入特征判别器D1进行纹理特征判别，判别结果用于设计纹理损失函数。
对生成图像和目标图像进行外观处理后，送入特征判别器D2进行外观特征判别，判别结果用于设计外观损失函数。
对生成图像进行结构处理后，与原始图像一起送入预先训练好的VGG网络进行结构特征判别，判别结果用于设计结构损失函数。
对生成图像与原始图像进行梯度处理后，送入预先训练好的VGG网络进行梯度特征判别，判别结果用于设计梯度损失函数。
将生成图像与原始图像送入预先训练好的VGG网络进行内容特征判别，判别结果用于设计内容损失函数。
其中，纹理处理的目的是为了减少图像中颜色、亮度等因素的影响，具体方法为：从图像中提取单通道的纹理表示。
结构处理的目的是为了提升图像的对比度信息，避免因图像整体对比度降低，图像变暗所造成模糊的现象，具体方法为：在现有超像素分割算法基础上，使用高斯核处理整张图像，并叠加图像原本的亮度信息，包括以下步骤：
首先，将图像由RGB转换到Lab颜色空间。相较于RGB空间，Lab更加符合人们对颜色的感知情况。Lab空间中L表示亮度，a和b分别表示两个色彩通道。当图像中亮度L的发生变化时，图像的色相能够保持不变。
然后，将图像均匀划分为不同小块，生成聚类中心。不同于kmeans聚类算法，此处的聚类中心为均匀分布。对于所有聚类中心，计算其3×3窗口中像素的梯度，将聚类中心改为梯度最小的像素，从而排除边缘和噪声点成为聚类中心的可能。
之后，为每个像素分配聚类中心标签，并重新分配聚类中心。具体可通过迭代完成，迭代方式为：计算平均向量值。重新分配后得到新的聚类中心，以新的聚类中心为起点搜索像素，直至收敛。
最后，使用高斯核处理整张图像，叠加上图像原本的亮度信息。
外观处理的目的是为了去除图像中的细节特征和纹理特征。具体地，以图像本身作为引导图，对图像进行平滑化处理。
步骤5：根据步骤4的判别结果，设计网络损失函数。
网络损失函数Loss包含6种：内容损失、外观损失、结构损失、纹理损失、梯度损失、基于全变分的损失。
Loss表示为：
Loss＝λ1*Lcontent+λ2*Lsurface+λ3*Ltexture+λ4*Lstructure+λ5*Lgradient+λ6*Ltv (1)
其中，Lcontent表示内容损失，Lsurface表示外观损失，Ltexture表示纹理损失，Lstructure表示结构损失，Lgradient表示梯度损失，Ltv表示基于全变分的损失。λ1、λ2、λ3、λ4、λ5、λ6为超参数，分别表示对应损失的权重。
其中，内容损失函数表示如下：
Lcontent＝‖VGG(If)-VGG(I)‖ (2)
其中，If表示生成图像，I表示原始图像，VGG()表示VGG19网络，‖·‖表示进行L1正则化范式约束。
外观损失函数表示如下：
Lsurface＝logD2(Fsu(It,It))+log(1-D2(Fsu(If,If))) (3)
其中，D2表示外观判别器，Fsu表示外观处理，It表示目标属性图像，If表示生成图像。
结构损失函数表示如下：
Lstructure＝‖VGG(If)-VGG(Fst(If))‖ (4)
其中，VGG()表示VGG19网络，If表示生成图像，Fst表示结构处理。‖·‖表示进行L1正则化范式约束。
纹理损失函数表示如下：
Ltexture＝logD1(Fte(It))+log(1-D1(Fte(If))) (5)
其中，D1表示纹理判别器，It表示目标属性图像，If表示生成图像，Fte表示纹理处理。
梯度损失函数表示如下：
Lgradient＝‖VGG(M(If))-VGG(M(I))‖ (6)
其中，VGG()表示VGG19网络，M表示对图像进行梯度处理，If表示生成图像，I表示原始图像。‖·‖表示进行L1正则化范式约束。
基于全变分的损失函数表示如下：
Figure BDA0003085184160000041
其中，If表示生成图像，H、W、C分别表示生成图像高度、宽度、通道数，‖·‖表示进行L1正则化范式约束。
Figure BDA0003085184160000042
表示在生成图像的x方向上使用高斯低通滤波，
Figure BDA0003085184160000043
表示在生成图像的y方向上使用高斯低通滤波。
步骤6：利用步骤5设计的6种损失函数，对生成器和2个判别器进行反向传播优化。
具体地，可以使用Adam算法采用迭代方式实现。
步骤7：利用步骤6优化的生成器，对原始图像进行人脸属性迁移，从而生成具有目标属性的人脸图像。
有益效果
本发明方法，与现有技术相比，具有以下有益效果：
1.本发明将人脸掩膜融入到人脸属性迁移任务中，使得生成器能够专注于人脸属性的生成，针对性更强。
2.本发明将梯度信息融入到人脸属性迁移任务中，能够保持人脸轮廓不发生改变，同时有助于模型学到更精细的纹理信息。
3.本发明采用多目标学习的方式进行训练，使得模型能够从多个角度进行特征学习，生成的图像更加逼真。
4.本发明适用于任务人脸图像，均有良好的使用效果，具有普适性。
5.本发明适用于多种属性迁移任务，具有较强的鲁棒性。
附图说明
图1为本方法的流程图；
图2为特征提取用到的VGG19模型结构图；
图3为本方法网络中生成器的网络结构图；
图4为本方法网络中判别器的网络结构图。
具体实施方法
下面结合附图和具体实施例对本发明进行详细说明。
实施例
一种基于图像掩膜的人脸属性迁移方法，如图1所示，包括如下步骤：
本方法的训练数据集使用FFHQ数据集和CelebA-HQ数据集，数据集中人脸图像的分辨率为1024*1024。
训练集选取具有目标属性的数据和原始图像数据图像。将原始图像送入人脸解析器进行人脸解析，通过产生的图像掩膜，得到背景图像和人脸图像，其中人脸图像作为模型的输入图像。
步骤1：对原始图像进行人脸解析，得到背景图像和人脸图像，将人脸图像作为模型的输入图像。
其中，在进行人脸解析处理时，使用图像掩膜方式，将掩膜图像和原始图像通过与运算，得到背景图像和需要被提取到的人脸图像。
步骤2：利用生成器对输入图像进行特征学习，得到输出图像。
其中，生成器如图3所示，包括图像生成分支和梯度学习分支，两个分支网络之间进行信息传递，共同作用，实现图像生成。梯度分支如图4所示，其作用在于确定输入图像的边缘信息，学习生成目标图像的纹理特征，为生成图像提供额外的结构先验。
步骤3：将输出图像与背景图像进行图像融合，产生生成图像。
具体地，采用边缘一致性约束处理，即，采用泊松图像融合方式进行图像融合，能够同时兼顾原始图像的梯度场和目标图像的梯度场。
步骤4：对生成图像和目标图像进行特征判别。
具体地，同时进行以下5种操作：
对生成图像和目标图像进行纹理处理后，送入特征判别器D1进行纹理特征判别，判别结果用于设计纹理损失函数。
对生成图像和目标图像进行外观处理后，送入特征判别器D2进行外观特征判别，判别结果用于设计外观损失函数。
对生成图像进行结构处理后，与原始图像一起送入预先训练好的VGG网络进行结构特征判别，判别结果用于设计结构损失函数。VGG网络如图2所示。
对生成图像与原始图像进行梯度处理后，送入预先训练好的VGG网络进行梯度特征判别，判别结果用于设计梯度损失函数。
将生成图像与原始图像送入预先训练好的VGG网络进行内容特征判别，判别结果用于设计内容损失函数。
其中，纹理处理的目的是为了减少图像中颜色、亮度等因素的影响，具体方法为：从图像中提取单通道的纹理表示。
结构处理的目的是为了提升图像的对比度信息，避免因图像整体对比度降低，图像变暗所造成模糊的现象，具体方法为：在现有超像素分割算法基础上，使用高斯核处理整张图像，并叠加图像原本的亮度信息，包括以下步骤：
首先，将图像由RGB转换到Lab颜色空间。相较于RGB空间，Lab更加符合人们对颜色的感知情况。Lab空间中L表示亮度，a和b分别表示两个色彩通道。当图像中亮度L的发生变化时，图像的色相能够保持不变。
然后，将图像均匀划分为不同小块，生成聚类中心。不同于kmeans聚类算法，此处的聚类中心为均匀分布。对于所有聚类中心，计算其3×3窗口中像素的梯度，将聚类中心改为梯度最小的像素，从而排除边缘和噪声点成为聚类中心的可能。
之后，为每个像素分配聚类中心标签，并重新分配聚类中心。具体可通过迭代完成，迭代方式为：计算平均向量值。重新分配后得到新的聚类中心，以新的聚类中心为起点搜索像素，直至收敛。
最后，使用高斯核处理整张图像，叠加上图像原本的亮度信息。
外观处理的目的是为了去除图像中的细节特征和纹理特征。具体地，以图像本身作为引导图，对图像进行平滑化处理。
步骤5：根据步骤4的判别结果，设计网络损失函数。
网络损失函数Loss包含6种：内容损失、外观损失、结构损失、纹理损失、梯度损失、基于全变分的损失。
Loss表示为：
Loss＝λ1*Lcontent+λ2*Lsurface+λ3*Ltexture+λ4*Lstructure+λ5*Lgradient+λ6*Ltv (1)
其中，Lcontent表示内容损失，Lsurface表示外观损失，Ltexture表示纹理损失，Lstructure表示结构损失，Lgradient表示梯度损失，Ltv表示基于全变分的损失。λ1、λ2、λ3、λ4、λ5、λ6为超参数，分别表示对应损失的权重。
其中，内容损失函数表示如下：
Lcontent＝‖VGG(If)-VGG(I)‖ (2)
其中，If表示生成图像，I表示原始图像，VGG()表示VGG19网络，‖·‖表示进行L1正则化范式约束。
外观损失函数表示如下：
Lsurface＝logD2(Fsu(It，It))+log(1-D2(Fsu(If,If))) (3)
其中，D2表示外观判别器，Fsu表示外观处理，It表示目标属性图像，If表示生成图像。
结构损失函数表示如下：
Lstructure＝‖VGG(If)-VGG(Fst(If))‖ (4)
其中，VGG()表示VGG19网络，If表示生成图像，Fst表示结构处理。‖·‖表示进行L1正则化范式约束。
纹理损失函数表示如下：
Ltexture＝logD1(Fte(It))+log(1-D1(Fte(If))) (5)
其中，D1表示纹理判别器，It表示目标属性图像，If表示生成图像，Fte表示纹理处理。
梯度损失函数表示如下：
Lgradient＝‖VGG(M(If))-VGG(M(I))‖ (6)
其中，VGG()表示VGG19网络，M表示对图像进行梯度处理，If表示生成图像，I表示原始图像。‖·‖表示进行L1正则化范式约束。
基于全变分的损失函数表示如下：
Figure BDA0003085184160000081
其中，If表示生成图像，H、W、C分别表示生成图像高度、宽度、通道数，‖·‖表示进行L1正则化范式约束。
Figure BDA0003085184160000082
表示在生成图像的x方向上使用高斯低通滤波，
Figure BDA0003085184160000083
表示在生成图像的y方向上使用高斯低通滤波。
步骤6：利用步骤5设计的6种损失函数，对生成器和2个判别器进行反向传播优化。
具体地，可以使用Adam算法采用迭代方式实现。
步骤7：利用步骤6优化的生成器，对原始图像进行人脸属性迁移，从而生成具有目标属性的人脸图像。
实验结果
表1本方法与其他方法评价指标对比
Model Attribute cls.accuracy(％) FID
MaskGAN 72.3 46.47
StarGAN 92.5 40.61
Pix2PixHD-m 78.5 54.58
ELEGANT 72.8 55.43
SPADE 73.8 56.21
Our 82.4 47.36
从表1所示，本方法提出的网络模型，取得了较高的分类精度，属性分类准确率为85.4％。85.4％的准确率在对比的模型中，位居第二，仅低于StarGAN网络，相比于其他模型高出6个百分点以上。本实验中采用的分类器是在ResNet18网络上训练得来，作用是判断图像中的人脸是否微笑。属性分类准确率反映出输入图像是否经过生成器作用，学习到了目标属性，从而作用在自身，发生针对性的属性改变。属性分类准确率越高，意味着模型训练越成功，能够使得生成图像经过分类器的分类，被判定为具有目标属性的图像。本方法的属性分类准确率为85.4％，表明了本方法模型能够很好的实现人脸属性迁移任务。
对比FID来看，本方法设计的模型FID值为42.36，同样位居第二，并且非常接近最出色的模型，同时远小于其他模型的FID。FID值反映的是两个域之间的分布差异，本实验中的FID值说明了本方法设计的模型能够使得输入图像学到目标图像的特征，作用于输入图像，得到的生成图像与目标图像之间的特征分布差异小，表明了模型训练的有效性。

Claims (8)

1.一种基于图像掩膜的人脸属性迁移方法，其特征在于，包括以下步骤：
步骤1：对原始图像进行人脸解析，得到背景图像和人脸图像，将人脸图像作为模型的输入图像；
步骤2：利用生成器对输入图像进行特征学习，得到输出图像；
其中，生成器包括图像生成分支和梯度学习分支，两个分支网络之间进行信息传递，共同作用，实现图像生成；
步骤3：将输出图像与背景图像进行图像融合，产生生成图像；
步骤4：对生成图像和目标图像进行特征判别；
具体地，同时进行以下5种操作：
对生成图像和目标图像进行纹理处理后，送入特征判别器D1进行纹理特征判别，判别结果用于设计纹理损失函数；
对生成图像和目标图像进行外观处理后，送入特征判别器D2进行外观特征判别，判别结果用于设计外观损失函数；
对生成图像进行结构处理后，与原始图像一起送入预先训练好的VGG网络进行结构特征判别，判别结果用于设计结构损失函数；
对生成图像与原始图像进行梯度处理后，送入预先训练好的VGG网络进行梯度特征判别，判别结果用于设计梯度损失函数；
将生成图像与原始图像送入预先训练好的VGG网络进行内容特征判别，判别结果用于设计内容损失函数；
其中，纹理处理的目的是为了减少图像中颜色、亮度因素的影响；
结构处理的目的是为了提升图像的对比度信息，避免因图像整体对比度降低，图像变暗所造成模糊的现象，具体方法为：在现有超像素分割算法基础上，使用高斯核处理整张图像，并叠加图像原本的亮度信息；
外观处理的目的是为了去除图像中的细节特征和纹理特征；
步骤5：根据步骤4的判别结果，设计网络损失函数；
网络损失函数Loss包含6种：内容损失、外观损失、结构损失、纹理损失、梯度损失、基于全变分的损失；
Loss表示为：
Loss＝λ1*Lcontent+λ2*Lsurface+λ3*Ltexture+λ4*Lstructure+λ5*Lgradient+λ6*Ltv (1)
其中，Lcontent表示内容损失，Lsurface表示外观损失，Ltexture表示纹理损失，Lstructure表示结构损失，Lgradient表示梯度损失，Ltv表示基于全变分的损失；λ1、λ2、λ3、λ4、λ5、λ6为超参数，分别表示对应损失的权重；
其中，内容损失函数表示如下：
Lcontent＝‖VGG(If)-VGG(I)‖ (2)
其中，If表示生成图像，I表示原始图像，VGG()表示VGG19网络，‖·‖表示进行L1正则化范式约束；
外观损失函数表示如下：
Lsurface＝logD2(Fsu(It,It))+log(1-D2(Fsu(If,If))) (3)
其中，D2表示外观判别器，Fsu表示外观处理，It表示目标属性图像，If表示生成图像；
结构损失函数表示如下：
Lstructure＝‖VGG(If)-VGG(Fst(If))‖ (4)
其中，VGG()表示VGG19网络，If表示生成图像，Fst表示结构处理；‖·‖表示进行L1正则化范式约束；
纹理损失函数表示如下：
Ltexture＝logD1(Fte(It))+log(1-D1(Fte(If))) (5)
其中，D1表示纹理判别器，It表示目标属性图像，If表示生成图像，Fte表示纹理处理；
梯度损失函数表示如下：
Lgradient＝‖VGG(M(If))-VGG(M(I))‖ (6)
其中，VGG()表示VGG19网络，M表示对图像进行梯度处理，If表示生成图像，I表示原始图像；‖·‖表示进行L1正则化范式约束；
基于全变分的损失函数表示如下：
Figure FDA0003085184150000021
其中，If表示生成图像，H、W、C分别表示生成图像高度、宽度、通道数，‖·‖表示进行L1正则化范式约束；
Figure FDA0003085184150000031
表示在生成图像的x方向上使用高斯低通滤波，
Figure FDA0003085184150000032
表示在生成图像的y方向上使用高斯低通滤波；
步骤6：利用步骤5设计的6种损失函数，对生成器和2个判别器进行反向传播优化；
步骤7：利用步骤6优化的生成器，对原始图像进行人脸属性迁移，从而生成具有目标属性的人脸图像。
2.如权利要求1所述的一种基于图像掩膜的人脸属性迁移方法，其特征在于，步骤1在进行人脸解析处理时，使用图像掩膜方式，将掩膜图像和原始图像通过与运算，得到背景图像和需要被提取到的人脸图像。
3.如权利要求1所述的一种基于图像掩膜的人脸属性迁移方法，其特征在于，步骤3中，采用边缘一致性约束处理，即，采用泊松图像融合方式进行图像融合，能够同时兼顾原始图像的梯度场和目标图像的梯度场。
4.如权利要求1所述的一种基于图像掩膜的人脸属性迁移方法，其特征在于，步骤4中，纹理处理的方法为：从图像中提取单通道的纹理表示。
5.如权利要求1所述的一种基于图像掩膜的人脸属性迁移方法，其特征在于，步骤4中，结构处理的实现方法包括以下步骤：
首先，将图像由RGB转换到Lab颜色空间；Lab空间中L表示亮度，a和b分别表示两个色彩通道；当图像中亮度L的发生变化时，图像的色相能够保持不变；
然后，将图像均匀划分为不同小块，生成聚类中心，此处的聚类中心为均匀分布；对于所有聚类中心，计算其3×3窗口中像素的梯度，将聚类中心改为梯度最小的像素；
之后，为每个像素分配聚类中心标签，并重新分配聚类中心；重新分配后得到新的聚类中心，以新的聚类中心为起点搜索像素，直至收敛；
最后，使用高斯核处理整张图像，叠加上图像原本的亮度信息。
6.如权利要求5所述的一种基于图像掩膜的人脸属性迁移方法，其特征在于，重新分配聚类中心通过迭代完成，迭代方式为：计算平均向量值。
7.如权利要求1所述的一种基于图像掩膜的人脸属性迁移方法，其特征在于，步骤4中，外观处理的方法为：以图像本身作为引导图，对图像进行平滑化处理。
8.如权利要求1所述的一种基于图像掩膜的人脸属性迁移方法，其特征在于，步骤6中对生成器和2个判别器进行反向传播优化时，使用Adam算法采用迭代方式实现。
CN202110578071.XA 2021-05-24 2021-05-26 一种基于图像掩膜的人脸属性迁移方法 Active CN113222811B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2021105627264 2021-05-24
CN202110562726 2021-05-24

Publications (2)

Publication Number Publication Date
CN113222811A CN113222811A (zh) 2021-08-06
CN113222811B true CN113222811B (zh) 2022-08-09

Family

ID=77098630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110578071.XA Active CN113222811B (zh) 2021-05-24 2021-05-26 一种基于图像掩膜的人脸属性迁移方法

Country Status (1)

Country Link
CN (1) CN113222811B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114663318B (zh) * 2022-05-25 2022-08-30 江西财经大学 基于生成对抗网络的眼底图像生成方法与系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012053813A (ja) * 2010-09-03 2012-03-15 Dainippon Printing Co Ltd 人物属性推定装置、人物属性推定方法、及びプログラム
WO2020029356A1 (zh) * 2018-08-08 2020-02-13 杰创智能科技股份有限公司 一种基于生成对抗网络的脸部变化预测方法
CN111242953A (zh) * 2020-01-17 2020-06-05 陕西师范大学 一种基于条件生成对抗网络的mr图像分割方法及装置
CN111932444A (zh) * 2020-07-16 2020-11-13 中国石油大学(华东) 基于生成对抗网络的人脸属性编辑方法及信息处理终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012053813A (ja) * 2010-09-03 2012-03-15 Dainippon Printing Co Ltd 人物属性推定装置、人物属性推定方法、及びプログラム
WO2020029356A1 (zh) * 2018-08-08 2020-02-13 杰创智能科技股份有限公司 一种基于生成对抗网络的脸部变化预测方法
CN111242953A (zh) * 2020-01-17 2020-06-05 陕西师范大学 一种基于条件生成对抗网络的mr图像分割方法及装置
CN111932444A (zh) * 2020-07-16 2020-11-13 中国石油大学(华东) 基于生成对抗网络的人脸属性编辑方法及信息处理终端

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
3DMM与GAN结合的实时人脸表情迁移方法;高翔等;《计算机应用与软件》;20200412(第04期);第119-126页 *
生成对抗网络进行感知遮挡人脸还原的算法研究;魏赟等;《小型微型计算机系统》;20200215(第02期);第416-420页 *

Also Published As

Publication number Publication date
CN113222811A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
CN108830912B (zh) 一种深度特征对抗式学习的交互式灰度图像着色方法
CN109285162A (zh) 一种基于局部区域条件随机场模型的图像语义分割方法
CN107506822B (zh) 一种基于空间融合池化的深度神经网络方法
CN111274921B (zh) 一种利用姿态掩模进行人体行为识别的方法
CN102881011B (zh) 基于区域分割的肖像光照迁移方法
CN110222722A (zh) 交互式图像风格化处理方法、系统、计算设备及存储介质
CN104732506A (zh) 一种基于人脸语义分析的人物照片颜色风格转换方法
Li et al. Globally and locally semantic colorization via exemplar-based broad-GAN
CN110276753B (zh) 基于特征空间统计信息映射的目标自适应隐藏方法
CN115641583B (zh) 一种基于自监督和主动学习的点云检测方法、系统及介质
Prost et al. Learning local regularization for variational image restoration
CN109272568B (zh) 一种采用基元发现的人脸风格图像处理方法
CN113222811B (zh) 一种基于图像掩膜的人脸属性迁移方法
CN113888501A (zh) 一种基于注意力定位网络的无参考型图像质量评价方法
CN113610703A (zh) 一种基于关键部位注意力机制的日漫人物生成方法
Vu et al. Graph cut segmentation of neuronal structures from transmission electron micrographs
Kuzovkin et al. Descriptor-based image colorization and regularization
CN112767277B (zh) 一种基于参考图像的深度特征排序去模糊方法
Xiang et al. Optical flow estimation using spatial-channel combinational attention-based pyramid networks
Liu et al. Palette-based recoloring of natural images under different illumination
CN116109656A (zh) 一种基于无监督学习的交互式图像分割方法
CN110533593B (zh) 一种快速创建精确trimap的方法
CN109508680A (zh) 一种基于膜计算的病理学显微图像分类方法
Baek et al. Linear Spectral Clustering with Contrast-limited Adaptive Histogram Equalization for Superpixel Segmentation
CN110163927B (zh) 一种基于神经网络的单个图像重新着色方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant