CN113793254B - 人脸图像属性编辑方法、系统、计算机设备及存储介质 - Google Patents
人脸图像属性编辑方法、系统、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN113793254B CN113793254B CN202111042723.4A CN202111042723A CN113793254B CN 113793254 B CN113793254 B CN 113793254B CN 202111042723 A CN202111042723 A CN 202111042723A CN 113793254 B CN113793254 B CN 113793254B
- Authority
- CN
- China
- Prior art keywords
- hidden
- attribute
- edited
- unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 239000013598 vector Substances 0.000 claims abstract description 74
- 238000004590 computer program Methods 0.000 claims description 20
- 230000001815 facial effect Effects 0.000 claims description 17
- 239000000463 material Substances 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 13
- 241000282414 Homo sapiens Species 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 abstract description 5
- 230000000875 corresponding effect Effects 0.000 description 12
- 239000011521 glass Substances 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000013508 migration Methods 0.000 description 3
- 230000005012 migration Effects 0.000 description 3
- 206010033546 Pallor Diseases 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
本发明公开了人脸图像属性编辑方法、系统、计算机设备及存储介质，该方法通过由编码器获取待编辑图像，将待编辑人脸图像解耦表征为隐表示，该隐表示中包含若干个表示人脸属性的隐单元；提取待编辑隐单元后，根据预设条件调整该待编辑隐单元为目标单元，更新该隐表示；将更新后的隐表示与根据目标单元与待编辑隐单元计算得到的残差属性向量一同输入解码器，生成目标图像。本发明通过解决了当前人脸图像属性编辑算法在基于语义层面的属性编辑，因受制于属性类标所提供的有限信息导致转换属性结果缺乏多样性，也无法实现实例层面的特定属性风格转换，以及图像准确性与保真度低下的问题。
Description
技术领域
本发明涉及人脸图像属性处理技术领域，尤其涉及人脸图像属性编辑方法、系统、设备及存储介质。
背景技术
人脸属性是指人类面部的语义特征，体现了可被人类理解的面部视觉特征，比如年龄、肤色、发色、胡须等特征。人脸属性编辑算法就是指一类在给定的人脸图像属性中研究调整或转变人脸属性的算法，实现诸如修改头发颜色从黑色变为金色、修改人物年龄从年老变为年轻、去掉胡须等等操作。现有技术中人脸图像属性编辑方法大致分为两类：基于属性类标指导的算法和基于样例指导的算法。前者专注于通过在不同的属性类标向量的指导下实现目标人脸的属性修改，使人脸图像具备可被观察到的、从训练集中学习到的一般风格的属性特征，其进行的是语义层面的属性编辑。后者致力于在给定人脸样例图像的条件下，将样例中出现的某类特征或风格精确地提取并迁移到目标图像中，比如将样例人像中的某款眼镜、特定发型等类似地移植到目标人像脸部中。通过指定样例中的特征指导完成属性迁移，这属于实例层面的属性编辑。
然而，现有技术仍存在很多的限制。对于语义层面的属性编辑，因受制于属性类标所提供的有限信息，其转换的属性均为该属性的一般风格，结果缺乏多样性，也无法实现实例层面的特定属性风格的转换。另一方面，基于样本指导的属性编辑算法，其对特定属性风格迁移的准确性和生成图像的保真程度仍有待提升。
发明内容
本发明的发明目的在于，提供人脸图像属性编辑方法、系统、设备及存储介质，能够不受限于属性类标提供的有限信息，提供多样化的属性转换结果，实现实例层面的特定属性风格的转换，同时提高特定人脸属性风格迁移的准确性和生成图像的保真程度。
为达到上述目的，本发明采用如下技术方案：
本发明第一方面提供了人脸图像属性编辑方法，所述方法包括：
接收待编辑图像；
将待编辑图像通过编码器进行映射处理，生成隐表示，所述隐表示包括若干个表示图像属性的隐单元；
从所述隐表示中提取待编辑隐单元，根据预设条件调整所述待编辑隐单元为目标单元，再根据目标单元更新隐表示；
根据目标单元与待编辑隐单元计算残差属性向量，所述残差属性向量用于指示图像属性变化；
将所述残差属性向量与更新后隐表示输入解码器，生成目标图像。
进一步地，每个所述隐单元包含一组特征层通道，能被展开为预设维数的向量，每个向量的维数相同。
进一步地，从所述隐表示中提取待编辑隐单元，根据预设条件调整所述待编辑隐单元为目标隐单元，包括：
从所述隐表示中提取待编辑隐单元，提供素材图像并输入至编码器进行映射处理，生成素材隐表示；
交换待编辑隐单元与所述素材隐表示中表示相应人脸属性的隐单元，生成所述目标单元。
进一步地，还包括：
给定一组向量并对其做单位正交化处理，所得结果作为一组超平面的单位法向量，训练编码器，使得所述待编辑隐单元与所述目标单元位于对应该属性的超平面两侧。进一步地，还包括：
对所述待编辑隐单元与所述目标单元采用hinge loss进行优化，分别作分配属性类标，若当前编辑的人脸具有某种属性，则为其对应的待编辑隐单元分配属性类标为+1，如果编辑的目标是让该人脸图像不具有该属性，则为所述目标隐单元分配属性类标为-1。
进一步地，还包括：
获取目标单元与交换完毕后的素材隐表示中表示相应人脸图像属性的隐单元，将两者进行交换，以获得重置后的第一隐表示与第二隐表示；
输入所述第一隐表示与第二隐表示至解码器，生成第一参考图像与第二参考图像，用于对素材图像与待编辑图像进行重构。
进一步地，从所述隐表示中提取待编辑隐单元，根据预设条件调整所述待编辑隐单元为目标单元，包括：
从所述隐表示中提取待编辑隐单元，提供语义信息，根据所述语义调整所述待编辑隐单元为目标单元。
进一步地，从所述隐表示中提取待编辑隐单元，提供语义信息，根据所述语义调整所述待编辑隐单元为目标单元，包括：
给定一组向量并对其做单位正交化处理，所得结果作为一组超平面的单位法向量，训练编码器，使得所述待编辑隐单元与所述目标单元位于对应该属性的超平面两侧。
进一步地，根据目标隐单元更新隐表示，输入残差属性向量与更新后的隐表示进入解码器，生成目标图像，还包括：
基于带有梯度惩罚的WGAN模型，解码器判断生成的图像的来源并做出误差判断，每完成一次判断，将误差判断返回至编码器，并迭代预设次数。
进一步地，所述根据目标隐单元与待编辑隐隐单元计算残差属性向量，所述残差属性向量用于指示人脸图像属性变化，包括：
根据目标隐单元与待编辑隐单元计算残差属性向量，所述残差属性向量由目标隐单元与待编辑隐单元之差计算得到，所述残差属性向量用于指示图像属性变化。
第二方面，提供人脸图像属性编辑系统，其特征在于，包括：
接收模块，用于接收待编辑人脸图像；
解耦模块，用于将待编辑图像通过编码器进行映射处理，以生成隐表示，所述隐表示包括至少一个表示人脸属性的隐单元；
编辑模块，用于从所述隐表示中提取待编辑隐单元，根据预设条件调整所述待编辑隐单元为目标单元，再根据目标单元更新隐表示；
残差属性向量生成模块，用于根据目标单元与待编辑隐单元计算残差属性向量，所述残差属性向量用于指示人脸属性变化；
图像生成模块，用于将所述残差属性向量与更新后的隐表示输入解码器，以生成目标人脸图像。
第三方面，提供计算机设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述技术方案任一项所述的人脸图像属性编辑方法。
第四方面，提供计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现如上述技术方案任一项所述的人脸图像属性编辑方法。
上述技术方案，先通过根据待编辑隐单元和目标隐单元计算生成残差属性向量，再将残差属性向量和更新后的隐表示输入解码器从而得到目标图像，由于指示图像属性的隐单元的数量为若干个，并且引入残差属性向量指示待编辑图像中的图像属性变化，一方面解决了语义层面的人脸属性编辑算法的局限，另一方面也达到了实现实例层面的特定属性风格的转换目的。而且，上述技术方案还保证了人脸图像的准确性和高保真度。
附图说明
图1是本发明提供的人脸图像属性编辑方法的一个优选实施例的流程示意图；
图2是本发明提供的人脸图像属性编辑方法的一个优选实施例的模型训练过程示意图；
图3是本发明提供的人脸图像属性编辑方法的一个优选实施例的实例层面属性编辑过程示意图；
图4是本发明提供的人脸图像属性编辑方法的一个优选实施例的语义层面属性编辑过程示意图；
图5是本发明提供的人脸图像属性编辑方法的一个优选实施例的实例层面与现有算法人脸图像属性编辑结果对比图；
图6是本发明提供的人脸图像属性编辑方法的一个优选实施例的语义层面与现有算法人脸图像属性编辑结果对比图；
图7是本发明提供的人脸图像属性编辑方法的一个优选实施例的与现有算法重构质量评估指标比较图；
图8是本发明提供的人脸图像属性编辑系统的一个优选实施例的结构示意图。
并且，图8中的附图标记说明为：
81、接收模块；82、解耦模块；83、编辑模块；84、残差属性向量生成模块；85、图像生成模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1所示为本发明提供的人脸图像属性编辑方法的一个优选实施例的流程示意图。
如图1所示，所述方法包括：
S11、接收待编辑图像；
S12、将待编辑图像通过编码器进行映射处理，生成隐表示，所述隐表示包括若干个表示人脸属性的隐单元；
S13、从所述隐表示中提取待编辑隐单元，根据预设条件调整所述待编辑隐单元为目标单元，再根据目标单元更新隐表示；
S14、根据目标单元与待编辑隐单元计算残差属性向量，所述残差属性向量用于指示人脸属性变化；
S15、将所述残差属性向量与更新后隐表示输入解码器，生成目标图像。
本人脸图像属性编辑方法模型包括生成器G和判别器D两个部分，所述生成器包含一个编码器Genc和一个解码器Gdec；判别器D包括一个二值分类器Dadv和一个辅助的属性分类器Dcls。生成器G负责人脸图像生成，判别器中的二值分类器Dadv用来保证生成图像的视觉真实性，属性分类器Dcls用来约束生成图像具有特定的人脸属性。
在本实施例中，编码器Genc由四个下采样层组成，每层包含一个Conv-Norm-LeakyReLU模块，其中Conv表示卷积操作、Norm表示批归一化处理、LeakReLU为激活函数；解码器由四层上采样层组成，每层包含一个Deconv-Norm-LeakyReLU模块，其中Deconv表示转置卷积，其他与编码器中定义一致。判别器中，二值分类器Dadv由4个下采样层组成，每层包含一个Conv-Norm-LeakyReLU模块，后接两个MLP-LeakReLU模块，MLP表示全连接层；属性分类器Dcls与Dadv共享所有的Conv-Norm-LeakyReLU层，后接另外两个MLP-LeakReLU模块。
生成器接收待编辑图像作为输入，所述待编辑图像可以是任意数量的任意图像。
生成器中的编码器Genc将所述待编辑图像解耦表征，映射到隐表示，所述隐表示为：
[a1,...,ai,...,an]和za∈ZA分别表示隐表示中属性相关部分和属性无关部分。每个隐单元ai，包含了一组特征层通道，可被展开为一个di维的向量，用来编码对应图像第i个属性――yi A的属性嵌入。同时设定每个隐单元ai维数都为相同的d维。
同理，对于隐表示ZB，其bi和zb也有类似表述。
所述预设条件为人脸图像属性的编辑需求，例如，将人脸图像A上的眼镜迁移至人脸图像B上或令人脸图像A的刘海逐渐稀疏，上述编辑需求分别为实例层面与语义层面的人脸编辑需求。
以将人脸图像A上的眼镜迁移至人脸图像B上为例，提取图像A隐表示ZA中代表眼镜属性的隐单元ai，与图像B隐表示ZB中代表眼镜属性的隐单元bi进行交换。得到新的隐表示ZAB＝[a1,...,bi,...,an,za]和ZBA＝[b1,...,ai,...,bn,zb]。ZAB和ZBA可以作为新的生成图像C和D的隐表示，只需将ZAB和ZBA输入到解码器中即可分别得到C和D，而C和D应该分别具有B和A的属性和属性风格，也即随着隐表示的交换，生成图像的对应的属性也被交换了。而此时，生成图像C和D具有的类标应分别为和
根据隐单元ai和隐单元bi计算残差属性向量,具体地，所述残差属性向量为隐单元ai和隐单元bi之间的差异向量，指示生成器，人脸中哪些属性应该变化，哪些属性应保持不变。
具体地说，用指导从A到C的生成，用它来指明A中的第i个属性应该变化而其他属性应保持不变。同理，针对D的生成，也有残差向量作为指导。
最终，输入更新后的隐表示ZAB，ZBA及其对应的残差属性向量至训练完毕的解码器通过得到图像C和D。
在一个实施例中，如图2所示，为本发明提供的人脸图像属性编辑方法的一个优选实施例的模型训练过程示意图。
在本实施例中，定义一个超平面Hi及其法向量ni，这里将ni归一化为单位向量。通过训练和优化使ai满足ni Tai＞0和使bi满足ni Tbi＜0，则ai和bi将分别落在超平面Hi的两侧。
输入一对图像A和B至编码器，所述编码器对图像A和B进行解耦表征，映射为隐表示。提取图像A隐表示ZA中代表刘海属性的隐单元ai，与图像B隐表示ZB中代表刘海属性的隐单元bi进行交换。
所述ai与bi位于超平面Hi的两侧。
得到新的隐表示ZAB＝[a1，...，bi，...，an，za]和ZBA＝[b1，...，ai，...，bn，zb]。ZAB和ZBA可以作为新的生成图像C和D的隐表示。
根据隐单元ai和bi生成残差属性向量。
输入ZAB和ZBA及其对应的残差属性向量到解码器中得到图像C和D。
在本实施例中，基于带有梯度惩罚的WGAN模型，解码器判断生成的图像的来源并做出误差判断，每完成一次判断，将误差判断返回至编码器，并迭代预设次数。进行对抗损失(Adversarial Loss)训练，对判别器和生成器的对抗损失如下式：
这里，和/>分别由在图像(A，C)和(B，D)之间的随机插值得到，即/>
在本实施例中，通过重构误差约束输入图像(A，B)及其它们的重构图像(A′，B′)，进行Reconstruction Loss(即重构损失)训练，有和
为了重构图像A，残差属性向量设为全零向量，表示A′应与其原图像A具有相同的属性。同样地，残差属性向量/>也为全零向量。重构误差函数如下：
在本实施例中，对所述待编辑隐单元与所述目标单元采用hinge损失进行优化，分别分配属性类标，若待编辑人脸图像具有第i个属性，则为所述待编辑隐单元分配类标为+1，而所述目标单元分配类标为-1，进行即线性可分损失训练，表达式为：
在本实施例中，获取目标单元与交换完毕后的素材隐表示中表示相同图像属性的隐单元，将两者进行交换，获得重置后的第一隐表示与第二隐表示。输入所述第一隐表示与第二隐表示至解码器，生成第一参考图像与第二参考图像，用于对素材图像与待编辑图像进行重构，进行Cycle-Consistency Loss(即循环一致损失)训练。
对经过编码器-属性单元交换-解码器过程生成的一对图像(C，D)，再输入到生成器，重新经属性单元交换将该属性再次交换回来，生成图像(A″，B″，)，用来分别重构原图像(A，B)，表达式为
在本实施例中，将上述各损失项结合在一起，得到优化模型生成器G和判别器D总体的目标函数如下：
模型使用Adam优化算法，其中β1＝0.5，β2＝0.999。每批次训练图像为16，学习率固定为0.0002，总共进行20轮迭代训练。超参数设置为：λ1＝100，λ2＝10，λ3＝1和λgp＝10，以便将各项损失值约束到相同的阶数。模型中隐单元的数量与实际需编辑的属性数量相同，各隐单元的超平面法向量随机给定后做单位正交化处理。
在一个实施例中，如图3所示，是本发明提供的人脸图像属性编辑方法的一个优选实施例的实例层面属性编辑过程示意图。
以将人脸图像A上的眼镜迁移至人脸图像B上为例，提取图像A隐表示ZA中代表眼镜属性的隐单元ai，与图像B隐表示ZB中代表眼镜属性的隐单元bi进行交换。得到新的隐表示ZAB＝[a1，...，bi，...，an，za]和ZBA＝[b1，...，ai，...，bn，zb]。ZAB和ZBA可以作为新的生成图像C和D的隐表示，只需将ZAB和ZBA输入到解码器中即可分别得到C和D，而C和D应该分别具有B和A的属性和属性风格，也即随着隐表示的交换，生成图像的对应的属性也被交换了。而此时，生成图像C和D具有的类标应分别为和
根据隐单元量ai和隐单元bi计算残差属性向量，具体地，所述残差属性向量为隐单元ai和隐单元bi之间的差异向量，指示生成器，图像中哪些属性应该变化，哪些属性应保持不变。
具体地说，用指导从A到C的生成，用它来指明A中的第i个属性应该变化而其他属性应保持不变。同理，针对D的生成，也有残差向量作为指导。
最终，输入更新后的隐表示ZAB，ZBA及其对应的残差属性向量至训练完毕的解码器通过得到图像C和D。
在一个实施例中，如图4所示，是本发明提供的人脸图像属性编辑方法的一个优选实施例的语义层面属性编辑过程示意图。
以将人脸图像E上的刘海逐渐变稀疏为例，提取图像E隐表示ZE中代表眼镜属性的隐单元ei，根据语义需要修改的属性对ei进行编辑，转移隐单元ei至超平面另一侧，得到新的隐表示ZF＝[e1,...,ei1,...,en,ze]、ZG＝[e1,...,ei2,...,en,ze]、ZH＝[e1,...,ei3,...,en,ze]、ZI＝[e1,...,ei4,...,en,ze]。ZF、ZG、ZH和ZI作为新的生成图像F、G、H和I的隐表示，只需将ZF、ZG、ZH和ZI输入到解码器中即可分别得到F、G、H和I，而F、G、H和I应该具有E的属性和属性风格。
根据隐单元ei、ei1、ei2、ei3和ei4,计算改变后的残差属性向量,具体地，所述残差属性向量为隐单元ei、ei1、ei2、ei3和ei4,之间的差异向量，用以指引生成器在图像生成过程中哪些属性应该变化，哪些属性应保持不变。
最终，输入更新后的隐表示ZF、ZG、ZH和ZI及其对应的残差属性向量至训练完毕的解码器得到图像F、G、H和I。
在一个实时例中，如图5所示，是本发明提供的人脸图像属性编辑方法的一个优选实施例的实例层面与现有算法人脸图像属性编辑结果对比图。
展示的为本算法和现有技术之一的ELEGANT模型在不同样例图像下实现的多种属性编辑结果。第一行为目标图像，最左列图像为样例图像，旁边列出了希望改变的属性，分别为：眼镜/笑容、眼镜/刘海、胡须/笑容、刘海/笑容、金发/年纪、苍白皮肤/张嘴。中间为在样例图像指导下的目标图像编辑结果。可以看到，与ELEGANT相比，本算法可以更加精确地将样例中多种属性风格转移到目标图像中。
在一个实施例中，如图6所示，是本发明提供的人脸图像属性编辑方法的一个优选实施例的语义层面与现有算法人脸图像属性编辑结果对比图。
展示的本算法和现有技术StarGAN、AttGAN以及STGAN模型实现的语义层面属性编辑结果，每个图像的第一列为目标图像，第二列为重构图像，其他各列为不同属性的编辑结果，包括刘海、眼镜、胡须、笑容、金发、张嘴、苍白皮肤和年龄。可以看到，上述现有技术模型均存在一些问题，比如StarGAN对人物身份保持较差；AttGAN对人物头发相关属性修改时出现瑕疵，并且人物年龄修改失败；STGAN对人物年龄的修改也失败了。相比之下，本算法可以保持人物身份一致，对各个属性的编辑结果更为自然准确。
在一个实施例中，如图7所示，是是本发明提供的人脸图像属性编辑方法的一个优选实施例的与现有算法重构质量评估指标比较图。
模型的图像重构能力对模型图像生成质量具有关键影响，选用PSNR(即峰值信噪比)、SSIM(即结构相似性指数度量)和LPIPS(即可学习的感知图像块相似度)等指标定量评估各个模型的重构图像质量。评估结果如图7所示，同时表格中也列出了各个模型的生成器的参数量。由此可见，本算法的三个评估指标结果均优于现有技术，并且生成器参数量最少，表明本算法训练复杂度更低。
由此可见，本发明在给定样例图像并指定需迁移的属性的条件下，可以准确地完成样例中特定属性风格迁移到目标图像中；在不给定样例图像下，可以实现目标图像的属性编辑，实现语义层面的人脸图像属性修改；属性编辑后的图像能够保持人物身份、背景等属性无关部分与原图像一致，图像自然真实、保真度高。
在一个实施例中，如图8所示，为本发明提供的人脸图像属性编辑系统的一个优选实施例的结构示意图。所述系统能够实现上述任一实施例所述的人脸图像属性编辑方法的全部流程。
如图8所示，该系统包括：
接收模块81，用于接收待编辑图像；
解耦模块82，用于将待编辑图像通过编码器进行映射处理，以生成隐表示，所述隐表示包括至少一个表示人脸属性的隐单元；
编辑模块83，用于从所述隐表示中提取待编辑隐单元，根据预设条件调整所述待编辑隐单元为目标单元，再根据目标单元更新隐表示；
残差属性向量生成模块84，用于根据目标单元与待编辑隐单元计算生成残差属性向量，所述残差属性向量用于指示人脸属性变化；
图像生成模块85，用于将所述残差属性向量与更新后的隐表示输入解码器，以生成目标图像。
本发明系统上述实施例各模块的功能及实现方式与上述人脸图像属性编辑方法的实施例相同，具体解析可以参照上述人脸图像属性编辑方法的实施例，为了避免重复，在此不再赘述。
本发明还提供了计算机设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一项实施例所述的人脸图像属性编辑方法。
本发明还提供了计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现如上述任一项实施例所述的人脸图像属性编辑方法。
该计算机设备可以为终端等设备，例如可以为手机、平板电脑、笔记本电脑、台式电脑等。
该计算机设备还可以为服务器等设备，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器，但并不局限于此。
所称处理器可以是CPU(即Central Processing Unit，中央处理单元)，还可以是其他通用处理器、DSP(即Digital Signal Processor，数字信号处理器)、ASIC(即Application Specific Integrated Circuit)，专用集成电路(Application SpecificIntegrated Circuit，ASIC)、FPGA(即Field-Programmable Gate Array，现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述人脸图像属性编辑装置的控制中心，利用各种接口和线路连接整个人脸图像属性编辑装置的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述人脸图像属性编辑装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，SMC(Smart Media Card,智能存储卡)，SD卡(即Secure DigitalCard)卡，闪存卡、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述人脸图像属性编辑装置集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、ROM(即Read-Only Memory，只读存储器)、RAM(即Random Access Memory，随机存取存储器)、电载波信号、电信信号以及软件分发介质等。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (13)
1.人脸图像属性编辑方法，所述方法应用于服务器上，其特征在于，所述方法包括：
接收待编辑人脸图像；
将待编辑人脸图像通过编码器进行映射处理，生成隐表示，所述隐表示包括若干个表示图像属性的隐单元；
从所述隐表示中提取待编辑隐单元，根据预设条件调整所述待编辑隐单元为目标单元，再根据目标单元更新隐表示，所述预设条件为人脸图像属性的编辑需求，其中，编辑需求为实例层面或语义层面的人脸编辑需求；
根据目标单元与待编辑隐单元计算残差属性向量，所述残差属性向量用于指示人脸属性变化；
将所述残差属性向量与更新后隐表示输入解码器，生成目标人脸图像。
2.如权利要求1所述的人脸图像属性编辑方法，其特征在于，每个所述隐单元包含一组特征层通道，能被展开为预设维数的向量，每个向量的维数相同。
3.如权利要求1所述的人脸图像属性编辑方法，其特征在于，从所述隐表示中提取待编辑隐单元，根据预设条件调整所述待编辑隐单元为目标隐单元，包括：
从所述隐表示中提取待编辑隐单元，提供素材图像并输入至编码器进行映射处理，生成素材隐表示；
交换待编辑隐单元与所述素材隐表示中表示相应人脸属性的隐单元，生成所述目标单元。
4.如权利要求3所述的人脸图像属性编辑方法，其特征在于，还包括：
定义一超平面及其法向量，并对所述法向量做单位正交化处理，通过训练解码器使得所提取得到的待编辑隐单元与所述目标隐单元位于超平面两侧。
5.如权利要求3所述的人脸图像属性编辑方法，其特征在于，还包括：
对所述待编辑隐单元与所述目标单元采用hinge loss进行优化，分别作分配属性类标，若面部具有某种属性，则对应所述待编辑的隐单元分配属性类标为+1；若不具有该属性，则分配属性类标为－1。
6.如权利要求3所述的人脸图像属性编辑方法，其特征在于，还包括：
获取目标隐单元与交换完毕后的素材隐表示中表示相应人脸属性的隐单元，将两者进行交换，以获得重置后的第一隐表示与第二隐表示；
输入所述第一隐表示与第二隐表示至解码器，生成第一参考图像与第二参考图像，用于对素材图像与待编辑图像进行重构。
7.如权利要求1所述的人脸图像属性编辑方法，其特征在于，从所述隐表示中提取待编辑隐单元，根据预设条件调整所述待编辑隐单元为目标单元，包括：
从所述隐表示中提取待编辑隐单元，提供语义，根据所述语义调整所述待编辑隐单元为目标单元。
8.如权利要求7所述的人脸图像属性编辑方法，其特征在于，从所述隐表示中提取待编辑隐单元，提供语义信息，根据所述语义调整所述待编辑隐单元为目标单元，包括：
根据该人脸属性对应的已定义好的超平面及其单位化的法向量，转移待编辑隐单元至超平面另一侧，以调整所述待编辑隐单元为目标单元。
9.如权利要求1－8任一项所述的人脸图像属性编辑方法，其特征在于，根据目标单元更新隐表示，输入残差属性向量与更新后的隐表示进入解码器，生成目标人脸图像，还包括：
基于带有梯度惩罚的WGAN模型，解码器判断生成的图像的来源并做出误差判断，每完成一次判断，将误差判断返回至编码器，并迭代预设次数。
10.如权利要求1－8任一项所述的人脸图像属性编辑方法，其特征在于，所述根据目标单元与待编辑隐单元计算残差属性向量，所述残差属性向量用于指示人脸属性变化，包括：
根据目标隐单元与待编辑隐单元计算残差属性向量，所述残差属性向量由目标属性与原属性的差得到，所述残差属性向量用于指示人脸属性变化。
11.人脸图像属性编辑系统，其特征在于，包括：
接收模块，用于接收待编辑图像；
解耦模块，用于将待编辑图像通过编码器进行映射处理，以生成隐表示，所述隐表示包括至少一个表示人脸属性的隐单元；
编辑模块，用于从所述隐表示中提取待编辑隐单元，根据预设条件调整所述待编辑隐单元为目标单元，再根据目标单元更新隐表示，所述预设条件为人脸图像属性的编辑需求，其中，编辑需求为实例层面或语义层面的人脸编辑需求；
残差属性向量生成模块，用于根据目标单元与待编辑隐单元计算残差属性向量，所述残差属性向量用于指示人脸属性变化；
图像生成模块，用于将所述残差属性向量与更新后的隐表示输入解码器，以生成目标人脸图像。
12.计算机设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1－10任一项所述的人脸图像属性编辑方法。
13.计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现如权利要求1－10任一项所述的人脸图像属性编辑方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111042723.4A CN113793254B (zh) | 2021-09-07 | 2021-09-07 | 人脸图像属性编辑方法、系统、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111042723.4A CN113793254B (zh) | 2021-09-07 | 2021-09-07 | 人脸图像属性编辑方法、系统、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113793254A CN113793254A (zh) | 2021-12-14 |
| CN113793254B true CN113793254B (zh) | 2024-05-10 |
Family
ID=78879676
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111042723.4A Active CN113793254B (zh) | 2021-09-07 | 2021-09-07 | 人脸图像属性编辑方法、系统、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113793254B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117195286B (zh) * | 2023-09-04 | 2024-05-07 | 河南中信科大数据科技有限公司 | 一种基于大数据的用户隐私保护方法和系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111260754A (zh) * | 2020-04-27 | 2020-06-09 | 腾讯科技（深圳）有限公司 | 人脸图像编辑方法、装置和存储介质 |
| CN111368662A (zh) * | 2020-02-25 | 2020-07-03 | 华南理工大学 | 一种人脸图像属性编辑方法、装置、存储介质及设备 |
| CN111951153A (zh) * | 2020-08-12 | 2020-11-17 | 杭州电子科技大学 | 基于生成对抗网络隐空间解构的人脸属性精细化编辑方法 |
| CN112862672A (zh) * | 2021-02-10 | 2021-05-28 | 厦门美图之家科技有限公司 | 刘海生成方法、装置、计算机设备和存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140153832A1 (en) * | 2012-12-04 | 2014-06-05 | Vivek Kwatra | Facial expression editing in images based on collections of images |
-
2021
- 2021-09-07 CN CN202111042723.4A patent/CN113793254B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111368662A (zh) * | 2020-02-25 | 2020-07-03 | 华南理工大学 | 一种人脸图像属性编辑方法、装置、存储介质及设备 |
| CN111260754A (zh) * | 2020-04-27 | 2020-06-09 | 腾讯科技（深圳）有限公司 | 人脸图像编辑方法、装置和存储介质 |
| CN111951153A (zh) * | 2020-08-12 | 2020-11-17 | 杭州电子科技大学 | 基于生成对抗网络隐空间解构的人脸属性精细化编辑方法 |
| CN112862672A (zh) * | 2021-02-10 | 2021-05-28 | 厦门美图之家科技有限公司 | 刘海生成方法、装置、计算机设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113793254A (zh) | 2021-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10529115B2 (en) | Generating cartoon images from photos | |
| Lu et al. | Image generation from sketch constraint using contextual gan | |
| CN111260754B (zh) | 人脸图像编辑方法、装置和存储介质 | |
| CN109902672A (zh) | 图像标注方法及装置、存储介质、计算机设备 | |
| WO2023072067A1 (zh) | 人脸属性编辑模型的训练以及人脸属性编辑方法 | |
| CN112989085B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN103942571B (zh) | 一种基于遗传规划算法的图形图像分类方法 | |
| JP2023523029A (ja) | 画像認識モデル生成方法、装置、コンピュータ機器及び記憶媒体 | |
| Xu et al. | Temporally consistent semantic video editing | |
| WO2024109374A1 (zh) | 换脸模型的训练方法、装置、设备、存储介质和程序产品 | |
| CN113570684A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| Song et al. | AgeGAN++: Face aging and rejuvenation with dual conditional GANs | |
| CN113793254B (zh) | 人脸图像属性编辑方法、系统、计算机设备及存储介质 | |
| CN105096249B (zh) | 图像处理方法和装置 | |
| CN114648787A (zh) | 人脸图像的处理方法及相关设备 | |
| Chen et al. | Coogan: A memory-efficient framework for high-resolution facial attribute editing | |
| Lin et al. | Image style transfer algorithm based on semantic segmentation | |
| CN117078790A (zh) | 图像生成方法、装置、计算机设备和存储介质 | |
| Sun et al. | Create your world: Lifelong text-to-image diffusion | |
| CN112862672B (zh) | 刘海生成方法、装置、计算机设备和存储介质 | |
| Hinz et al. | Image generation and translation with disentangled representations | |
| CN117496927A (zh) | 基于扩散模型的音乐音色风格转换方法及系统 | |
| Romero et al. | Smile: Semantically-guided multi-attribute image and layout editing | |
| CN116363242A (zh) | 图像生成方法、装置、计算机设备及存储介质 | |
| Durall et al. | Local facial attribute transfer through inpainting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |