CN111145311B - 高分辨率人脸图像的多属性编辑方法、系统、装置 - Google Patents

高分辨率人脸图像的多属性编辑方法、系统、装置 Download PDF

Info

Publication number
CN111145311B
CN111145311B CN201911391946.4A CN201911391946A CN111145311B CN 111145311 B CN111145311 B CN 111145311B CN 201911391946 A CN201911391946 A CN 201911391946A CN 111145311 B CN111145311 B CN 111145311B
Authority
CN
China
Prior art keywords
image
attribute
editing
label
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911391946.4A
Other languages
English (en)
Other versions
CN111145311A (zh
Inventor
孙哲南
李琦
邓琪瑶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN201911391946.4A priority Critical patent/CN111145311B/zh
Publication of CN111145311A publication Critical patent/CN111145311A/zh
Application granted granted Critical
Publication of CN111145311B publication Critical patent/CN111145311B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于模式识别、计算机视觉及数字图像处理领域，具体涉及了一种高分辨率人脸图像的多属性编辑方法、系统、装置，旨在解决现有技术无法实现高分辨率、可控的多属性人脸图像编辑的问题。本发明包括：通过多属性编辑网络的编码器获取输入图像的特征表达；将原始标签集合中待编辑的标签调整为预设的目标标签；将调整后的标签集合后扩展为图像特征空间分辨率大小后与图像特征表达组合；基于组合后的特征表达，通过多属性编辑网络的解码器获取输入图像对应的属性编辑后的图像。本发明利用小波变换获取图像的高频和低频信息，结合加权约束属性类别的策略以及基于属性映射的重建学习，可编辑高分辨率人脸图像，同时可实现可控的多属性人脸图像编辑。

Description

高分辨率人脸图像的多属性编辑方法、系统、装置
技术领域
本发明属于模式识别、计算机视觉及数字图像处理领域，具体涉及了一种高分辨率人脸图像的多属性编辑方法、系统、装置。
背景技术
理想的人脸属性编辑是指根据给定的属性标签改变人脸图像中一个或多个属性，同时保持其余属性和背景不变。常见的属性编辑有改变发色、去除胡子和年龄老化等。
人脸属性编辑由于其在休闲娱乐、信息安全以及人脸识别等领域的广泛应用，逐渐成为计算机视觉方向的研究焦点。人脸识别技术已经被大规模地部署于机场安检、门禁考勤、公安刑侦等领域，但对于大幅度人脸年龄变化和大面积人脸遮挡情况仍然具有一定的局限性。人脸属性编辑能够有效提高人脸识别任务的性能和应用范围，该技术可以去除人脸面具或眼镜等遮挡物用于还原真实人脸，可以合成不同年龄段的人脸图片，在跨年龄人脸验证以及寻找被拐儿童等任务中起到辅助作用。另外，人脸属性编辑技术还可应用于社交娱乐领域。随着智能移动设备的普及，人们越来越喜欢在社交媒体上分享个人照片，并进行人脸美化。人脸属性编辑可以满足这种对照片进行皮肤美白、人脸上妆以及发型设计等互动操作的需求。
最近几年，随着生成对抗网络在图像生成领域的成功应用，人脸属性编辑任务取得了重大进步。然而，目前人脸属性编辑技术仍然面临两个局限性。一是现有方法只能应用于编辑低分辨率或者低质量的人脸图像，比如分辨率128*128或256*256。随着智能设备拍照像素的不断更新，低分辨率图像无法满足实际应用的需求。二是现有技术对不需要编辑的属性(即非目标属性)产生不可控的改变，这个问题在多属性人脸属性编辑中尤其突出。如何实现高分辨率、可控的多属性人脸图像编辑仍然是一个亟待解决的难题。
发明内容
为了解决现有技术中的上述问题，即现有技术无法实现高分辨率、可控的多属性人脸图像编辑的问题，本发明提供了一种高分辨率人脸图像的多属性编辑方法，该人脸图像的多属性编辑方法包括：
步骤S10，获取高分辨率人脸图像作为待编辑图像，并获取待编辑图像对应的原始标签集合；所述标签为属性二值标签；
步骤S20，通过训练好的多属性编辑网络的编码器获取所述待编辑图像的特征表达；将所述待编辑图像对应的原始标签集合中待编辑的标签调整为预设的目标标签；
步骤S30，将调整后的标签集合扩展为设定分辨率大小后与所述特征表达组合，并通过训练好的多属性编辑网络的解码器获取所述待编辑图像对应的属性编辑后的图像；
其中，所述多属性编辑网络包括生成器、判别器、分类器、小波变换模块，并基于获取的训练样本通过对抗生成方法进行训练；所述生成器包括编码器和解码器。
在一些优选的实施例中，所述多属性编辑网络，其训练方法为：
步骤B10，通过所述编码器提取获取的第t批样本各图像的特征表达；
步骤B20，将所述第t批样本各图像对应的原始标签集合扩展为设定分辨率大小后分别与对应的特征表达组合，通过所述解码器获取各重建图像；将所述第t批样本各图像对应的理想标签集合扩展为设定分辨率大小后与对应的特征表达组合，并通过所述解码器获取各生成图像；
步骤B30，基于小波变换方法，分别获取各样本及其对应的各重建图像的小波系数，并计算小波损失；采用基于加权约束属性类别方法的分类器获取所述各生成图像的分类结果，并计算加权属性类别损失；计算所述各样本分类损失以及通过所述判别器判别所述各样本和各生成图像的真假，并计算判别器损失；
步骤B40，令k＝k+1，并判断k是否达到设定值，若为否则跳转步骤B50；若为是则跳转步骤B60；其中，k初始值为0，为生成器参数更新的次数；
步骤B50，判断所述小波损失与加权属性类别损失的加权是否收敛，若不收敛则更新所述生成器、分类器的参数；
步骤B60，判断所述各样本分类损失与判别器损失的加权是否收敛，若不收敛则更新所述判别器、分类器的参数；
步骤B70，令t＝t+1后跳转步骤B10，迭代进行参数更新直至达到设定的训练次数，获得训练好的多属性编辑网络。
在一些优选的实施例中，所述理想标签集合为通过将所述原始标签集合中需要改变的标签属性对应的0/1属性值进行反转后获取的。
在一些优选的实施例中，步骤B30中“基于小波变换方法，分别获取各样本及其对应的各重建图像的小波系数”，其方法为：
将所述各样本及其对应的各重建图像分别进行一次小波分解，获得各图像对应的四个小波系数；所述四个小波系数为低频系数、水平高频系数、垂直高频系数、对角高频系数。
在一些优选的实施例中，所述小波损失为：
Figure GDA0003225702080000041
其中，lwavelet代表小波损失值，Cp代表样本的第p个小波系数，
Figure GDA0003225702080000042
代表重建图像的第p个小波系数，
Figure GDA0003225702080000043
表示F-范数。
在一些优选的实施例中，所述加权属性类别损失为：
Figure GDA0003225702080000044
其中，lWBCE代表加权属性类别损失值，Ie表示生成图片，ai是第i个目标属性的标签值，
Figure GDA0003225702080000045
是第j个非目标属性的标签值，
Figure GDA0003225702080000046
表示目标属性的分类函数，
Figure GDA0003225702080000047
表示非目标属性的分类函数，ω1、ω2分别是目标属性、非目标属性的权重。
在一些优选的实施例中，所述设定分辨率大小为图像特征表达空间分辨率大小。
本发明的另一方面，提出了一种高分辨率人脸图像的多属性编辑系统，该人脸图像的多属性编辑系统包括输入模块、特征提取模块、标签调整模块、特征组合模块、属性编辑模块、输出模块；
所述输入模块，配置为获取高分辨率人脸图像作为待编辑图像，并获取其对应的原始标签集合，输入所述待编辑图像、原始标签集合；
所述特征提取模块，配置为通过多属性编辑网络的编码器获取所述待编辑图像的特征表达；
所述标签调整模块，配置为将所述待编辑图像对应的原始标签集合中待编辑的标签调整为预设的目标标签；
所述特征组合模块，配置为将调整后的标签集合扩展为设定分辨率大小后与所述特征表达组合，获得组合后的特征表达；
所述属性编辑模块，配置为基于所述组合后的特征表达，通过多属性编辑网络的解码器获取所述待编辑图像对应的属性编辑后的图像；
所述输出模块，配置为输出获取的属性编辑后的图像。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的高分辨率人脸图像的多属性编辑方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的高分辨率人脸图像的多属性编辑方法。
本发明的有益效果：
(1)本发明高分辨率人脸图像的多属性编辑方法，采用小波变换获取图像在频域的结构和纹理信息，这种基于小波分解的方法分解的低频小波系数能够有效保留全局结构和内容，分解的高频小波系数能够有效获取高分辨率图像的细节和纹理，从全局和局部层面指导生成高质量的高分辨率图像。
(2)本发明高分辨率人脸图像的多属性编辑方法，采用加权约束属性类别方法，能有效应对人脸图像的多属性编辑；考虑到明确的属性编辑任务只与改变的属性有关，而不是所有的属性，加权约束属性类别方法将重心聚焦于需要编辑的目标属性，减小对其他非目标属性的约束，极大地保留了原始图片的信息，实现准确且可控的多属性编辑。
(3)本发明高分辨率人脸图像的多属性编辑方法，将小波变换、加权约束属性类别方法和重建学习引入生成对抗网络，使其能较好地处理高分辨率图像，并且能准确地聚焦于目标人脸属性，极大地提高了生成图像的质量和编辑的准确性，实现了高分辨率图像编辑和可控的多属性编辑。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明高分辨率人脸图像的多属性编辑方法的流程示意图；
图2是本发明高分辨率人脸图像的多属性编辑方法的一种实施例的对图像进行小波分解的示意图；
图3是本发明高分辨率人脸图像的多属性编辑方法的一种实施例的属性标签反转属性“胡子”的示例图；
图4是本发明高分辨率人脸图像的多属性编辑方法的一种实施例的编辑不同属性的示例图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明提供一种高分辨率人脸图像的多属性编辑方法，本方法将小波变换引入图像生成，利用小波分解获取高频和低频的小波系数，其能够恢复高分辨率图像的全局结构和局部纹理信息。此外，利用属性映射进行重建学习，从而有效保留背景信息，同时又不会增加模型的计算负担。而对于多属性编辑，加权约束属性类别方法能合理地权衡多属性编辑中目标和非目标属性的重要性，极大地减少对非目标属性的影响，从而实现准确且可控地多属性编辑。这样，本发明不仅可以生成高质量的高分辨率图像，而且可以准确地实现人脸图像的多属性编辑。。
本发明的一种高分辨率人脸图像的多属性编辑方法，该人脸图像的多属性编辑方法包括：
步骤S10，获取高分辨率人脸图像作为待编辑图像，并获取待编辑图像对应的原始标签集合；所述标签为属性二值标签；
步骤S20，通过训练好的多属性编辑网络的编码器获取所述待编辑图像的特征表达；将所述待编辑图像对应的原始标签集合中待编辑的标签调整为预设的目标标签；
步骤S30，将调整后的标签集合扩展为设定分辨率大小后与所述特征表达组合，并通过训练好的多属性编辑网络的解码器获取所述待编辑图像对应的属性编辑后的图像；
其中，所述多属性编辑网络包括生成器、判别器、分类器、小波变换模块，并基于获取的训练样本通过对抗生成方法进行训练；所述生成器包括编码器和解码器。
为了更清晰地对本发明高分辨率人脸图像的多属性编辑方法进行说明，下面结合图1对本发明方法实施例中各步骤展开详述。
本发明一种实施例的高分辨率人脸图像的多属性编辑方法，包括步骤S10-步骤S30，各步骤详细描述如下：
步骤S10，获取高分辨率人脸图像作为待编辑图像，并获取待编辑图像对应的原始标签集合；所述标签为属性二值标签。
高分辨率人脸图像在属性编辑中容易出现失真的情况，并且对于不需要编辑的属性(即非目标属性)易产生不可控的影响。
本发明一个实施例中，选取的待编辑图像的分辨率为：512×512。
图像对应有多个二值属性标签，例如：属性刘海，其二值属性标签为(0无刘海，1有刘海)；属性胡子，其二值属性标签为(0无胡子，1有胡子)。
步骤S20，通过训练好的多属性编辑网络的编码器获取所述待编辑图像的特征表达；将所述待编辑图像对应的原始标签集合中待编辑的标签调整为预设的目标标签。
例如，图像的原始标签集合为：0无刘海、0无胡子、1粗眉、0非金色头发、1年轻。需要对图像的头发颜色属性以及有无刘海进行调整，将其属性调整为1有刘海、1金色头发，调整后的标签集合变为：1有刘海、0无胡子、1粗眉、1金色头发、1年轻。
在实际应用中，可以不反转属性值，而是在连续范围[0,1]内选取一个值作为调整后的目标标签的属性值，从而实现变化强度控制，得到不同强度属性变化的人脸属性编辑图像。
步骤S30，将调整后的标签集合扩展为设定分辨率大小后与所述特征表达组合，并通过训练好的多属性编辑网络的解码器获取所述待编辑图像对应的属性编辑后的图像。
其中，设定分辨率大小为图像特征表达空间分辨率大小。
多属性编辑网络包括生成器、判别器、分类器、小波变换模块，并基于获取的训练样本通过对抗生成方法进行训练；所述生成器包括编码器和解码器。
多属性编辑网络训练方法为：
步骤B10，通过所述编码器提取获取的第t批样本各图像的特征表达。
将样本图像分批次输入网络进行训练，在网络训练中，一个批次训练的图像数量越多，则训练结果越好，但是受限于GPU的内存，一批次训练图像的数量不能无限增大，并且一批次训练图像的数量越大，其训练时间也越长。本发明一个实施例中，一个批次图像数量为48张。在其他的实施例或者应用条件下，可以选择其他合适的一个批次图像数量，本发明对此不作限定。
步骤B20，将所述第t批样本各图像对应的原始标签集合扩展为设定分辨率大小后分别与对应的特征表达组合，通过所述解码器获取各重建图像；将所述第t批样本各图像对应的理想标签集合扩展为设定分辨率大小后与对应的特征表达组合，并通过所述解码器获取各生成图像。
其中，设定分辨率大小为图像特征表达空间分辨率大小。
解码器通过属性映射的方法进行图像重建，利用属性映射重建图片能够有效保留输入图片的人脸身份和图片背景信息。将输入图像所具有的属性标签信息嵌入输入图像的潜在特征表达，重建输入图像，从而保证属性标签与图像相应属性的对应关系，防止输入的属性标签对图像引入额外信息，这使得算法能较好地保留输入图像的信息，并且不会增加模型计算复杂度。
将输入图像所具有的属性标签信息嵌入输入图像的潜在特征表达，通过属性映射获取的为重建图像，将输入图像的调整后的理想属性标签信息嵌入输入图像的潜在特征表达，通过属性映射获取的为生成图像。
理想标签集合为通过将所述原始标签集合中需要改变的标签属性对应的0/1属性值进行反转后获取的。例如，将头发颜色属性：0非金色头发，调整为：1金色头发。
步骤B30，基于小波变换方法，分别获取各样本及其对应的各重建图像的小波系数，并计算小波损失；采用基于加权约束属性类别方法的分类器获取所述各生成图像的分类结果，并计算加权属性类别损失；计算所述各样本分类损失以及通过所述判别器判别所述各样本和各生成图像的真假，并计算判别器损失。
将各样本及其对应的各重建图像分别进行一次小波分解，获得各图像对应的四个小波系数；所述四个小波系数为低频系数、水平高频系数、垂直高频系数、对角高频系数。
不同类型小波系数的损失需要分别计算，然后相加得到最终的小波损失；小波系数的损失越小，重建图片与输入图片的差别越小，重建图片越清晰，保留的纹理细节越多；小波损失，其计算方法如式(1)所示：
Figure GDA0003225702080000101
其中，lwavelet代表小波损失值，Cp代表样本的第p个小波系数，
Figure GDA0003225702080000102
代表重建图像的第p个小波系数，
Figure GDA0003225702080000103
表示F-范数。
小波变换能有效获得图像的高频和低频信息，其小波分解得到的不同频率小波系数能有效获取图像的全局结构和局部纹理，这使得算法能有效保留高分辨率图像的细节和纹理，生成高质量的人脸图像。
如图2所示，为本发明高分辨率人脸图像的多属性编辑方法的一种实施例的对图像进行小波分解的示意图，对图像依次进行低通滤波、逐列以2为因数下采样、低通滤波、逐列以2为因数下采样操作，获得低频系数；对图像依次进行低通滤波、逐列以2为因数下采样、高通滤波、逐列以2为因数下采样操作，获得水平方向高频系数；对图像依次进行高通滤波、逐列以2为因数下采样、低通滤波、逐列以2为因数下采样操作，获得垂直方向高频系数；对图像依次进行高通滤波、逐列以2为因数下采样、高通滤波、逐列以2为因数下采样操作，获得对角方向高频系数。
基于加权约束属性类别方法，分别计算每个属性的类别损失，对需要改变的目标属性的类别损失分配较高的权重，对没有进行编辑的非目标属性的类别损失分配较低的权重。
加权属性类别损失，其计算方法如式(2)所示：
Figure GDA0003225702080000111
其中，lWBCE代表加权属性类别损失值，Ie表示生成图片，ai是第i个目标属性的标签值，
Figure GDA0003225702080000112
是第j个非目标属性的标签值，
Figure GDA0003225702080000113
表示目标属性的分类函数，
Figure GDA0003225702080000114
表示非目标属性的分类函数，ω1、ω2分别是目标属性、非目标属性的权重。
目标属性是指与原始人脸属性标签相比较，理想人脸属性标签中反转了标签值的属性，非目标属性是指理想人脸属性标签中未改变标签值的属性。
如图3所示，为本发明高分辨率人脸图像的多属性编辑方法的一种实施例的属性标签反转属性“胡子”的示例图，图3左侧为原始二值属性标签：0无刘海、0无胡子、1粗眉、0非金色头发、1年轻。属性标签反转属性“胡子”，调整后获得二值属性标签：0无刘海、1有胡子、1粗眉、0非金色头发、1年轻。
利用加权约束属性类别方法可以有选择地对属性类别进行约束，这种权重策略能较好地关注需要改变的目标属性，同时减少对不需要改变的非目标属性的影响，因此本发明能较好地应对多属性编辑中非目标属性变化，得到理想的属性编辑图像。
理想的属性编辑图像为图像中目标属性区域进行相应的编辑，图像其他区域保持不变。
当对输入图片不进行任何属性编辑时，上述权重系数ω1＝ω2。本发明一个实施例中，当对输入图片进行属性编辑时，权重系数取值为：ω1＝1，ω2＝0.3。
步骤B40，令k＝k+1，并判断k是否达到设定值，若为否则跳转步骤B50；若为是则跳转步骤B60；其中，k初始值为0，为生成器参数更新的次数。
步骤B50，判断所述小波损失与加权属性类别损失的加权是否收敛，若不收敛则更新所述生成器、分类器的参数。
步骤B60，判断所述各样本分类损失与判别器损失的加权是否收敛，若不收敛则更新所述判别器、分类器的参数。
本发明一个实施例中，一个轮次中对生成器进行5次优化后，对判别器进行1次优化。
步骤B70，令t＝t+1后跳转步骤B10，迭代进行参数更新直至达到设定的训练次数，获得训练好的多属性编辑网络。
本发明一个实施例中，设定的训练次数为120000。在其他实施例中，可以根据训练过程的实际情况设定合适的训练次数，本发明对此不作限定。
如图4所示，为本发明高分辨率人脸图像的多属性编辑方法的一种实施例的编辑不同属性的示例图，图4上两行展示了对输入人脸图像进行发色、妆容编辑的结果，左侧为编辑前图像、右侧为编辑后图像，可用于人脸美化、造型设计等娱乐应用；图4下两行展示了对输入人脸图像进行年龄老化编辑的结果，左侧为编辑前图像、右侧为编辑后图像，可用于跨年龄人脸验证等任务。从图4中可看出，本发明方法对现实场景中人脸表情变化、姿势变化及光照变化等情况表现良好。
本发明第二实施例的高分辨率人脸图像的多属性编辑系统，该人脸图像的多属性编辑系统包括输入模块、特征提取模块、标签调整模块、特征组合模块、属性编辑模块、输出模块；
所述输入模块，配置为获取高分辨率人脸图像作为待编辑图像，并获取其对应的原始标签集合，输入所述待编辑图像、原始标签集合；
所述特征提取模块，配置为通过多属性编辑网络的编码器获取所述待编辑图像的特征表达；
所述标签调整模块，配置为将所述待编辑图像对应的原始标签集合中待编辑的标签调整为预设的目标标签；
所述特征组合模块，配置为将调整后的标签集合扩展为设定分辨率大小后与所述特征表达组合，获得组合后的特征表达；
所述属性编辑模块，配置为基于所述组合后的特征表达，通过多属性编辑网络的解码器获取所述待编辑图像对应的属性编辑后的图像；
所述输出模块，配置为输出获取的属性编辑后的图像。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的高分辨率人脸图像的多属性编辑系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的高分辨率人脸图像的多属性编辑方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的高分辨率人脸图像的多属性编辑方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (9)

1.一种高分辨率人脸图像的多属性编辑方法，其特征在于，该人脸图像的多属性编辑方法包括：
步骤S10，获取高分辨率人脸图像作为待编辑图像，并获取待编辑图像对应的原始标签集合；所述标签为属性二值标签；
步骤S20，通过训练好的多属性编辑网络的编码器获取所述待编辑图像的特征表达；将所述待编辑图像对应的原始标签集合中待编辑的标签调整为预设的目标标签；
步骤S30，将调整后的标签集合扩展为设定分辨率大小后与所述特征表达组合，并通过训练好的多属性编辑网络的解码器获取所述待编辑图像对应的属性编辑后的图像；
其中，所述多属性编辑网络包括生成器、判别器、分类器和小波变换模块，并基于获取的训练样本通过对抗生成方法进行训练；所述生成器包括编码器和解码器；所述多属性编辑网络，其训练方法为：
步骤B10，通过所述编码器提取获取的第t批样本各图像的特征表达；
步骤B20，将所述第t批样本各图像对应的原始标签集合扩展为设定分辨率大小后分别与对应的特征表达组合，通过所述解码器获取各重建图像；将所述第t批样本各图像对应的理想标签集合扩展为设定分辨率大小后与对应的特征表达组合，并通过所述解码器获取各生成图像；
步骤B30，基于小波变换方法，分别获取各样本及其对应的各重建图像的小波系数，并计算小波损失；采用基于加权约束属性类别方法的分类器获取所述各生成图像的分类结果，并计算加权属性类别损失；计算所述各样本分类损失以及通过所述判别器判别所述各样本和各生成图像的真假，并计算判别器损失；
步骤B40，令k＝k+1，并判断k是否达到设定值，若为否则跳转步骤B50；若为是则跳转步骤B60；其中，k初始值为0，为生成器参数更新的次数；
步骤B50，判断所述小波损失与加权属性类别损失的加权是否收敛，若不收敛则更新所述生成器和所述分类器的参数；
步骤B60，判断所述各样本分类损失与判别器损失的加权是否收敛，若不收敛则更新所述判别器和 分类器的参数；
步骤B70，令t＝t+1后跳转步骤B10，迭代进行参数更新直至达到设定的训练次数，获得训练好的多属性编辑网络。
2.根据权利要求1所述的高分辨率人脸图像的多属性编辑方法，其特征在于，所述理想标签集合为通过将所述原始标签集合中需要改变的标签属性对应的0/1属性值进行反转后获取的。
3.根据权利要求1所述的高分辨率人脸图像的多属性编辑方法，其特征在于，步骤B30中“基于小波变换方法，分别获取各样本及其对应的各重建图像的小波系数”，其方法为：
将所述各样本及其对应的各重建图像分别进行一次小波分解，获得各图像对应的四个小波系数；所述四个小波系数为低频系数、水平高频系数、垂直高频系数和对角高频系数。
4.根据权利要求3所述的高分辨率人脸图像的多属性编辑方法，其特征在于，所述小波损失，其计算方法为：
Figure FDA0003225702070000021
其中，lwavelet代表小波损失值，Cp代表样本的第p个小波系数，
Figure FDA0003225702070000022
代表重建图像的第p个小波系数，
Figure FDA0003225702070000023
表示F-范数。
5.根据权利要求1所述的高分辨率人脸图像的多属性编辑方法，其特征在于，所述加权属性类别损失，其计算方法为：
Figure FDA0003225702070000031
其中，lWBCE代表加权属性类别损失值，Ie表示生成图片，ai是第i个目标属性的标签值，
Figure FDA0003225702070000032
是第j个非目标属性的标签值，
Figure FDA0003225702070000033
表示目标属性的分类函数，
Figure FDA0003225702070000034
表示非目标属性的分类函数，ω1、ω2分别是目标属性、非目标属性的权重。
6.根据权利要求1-5任一项所述的高分辨率人脸图像的多属性编辑方法，其特征在于，所述设定分辨率大小为图像特征表达空间分辨率大小。
7.一种高分辨率人脸图像的多属性编辑系统，其特征在于，该人脸图像的多属性编辑系统包括输入模块、特征提取模块、标签调整模块、特征组合模块、属性编辑模块和输出模块；
所述输入模块，配置为获取高分辨率人脸图像作为待编辑图像，并获取其对应的原始标签集合，输入所述待编辑图像、原始标签集合；
所述特征提取模块，配置为通过多属性编辑网络的编码器获取所述待编辑图像的特征表达；
所述标签调整模块，配置为将所述待编辑图像对应的原始标签集合中待编辑的标签调整为预设的目标标签；
所述特征组合模块，配置为将调整后的标签集合扩展为设定分辨率大小后与所述特征表达组合，获得组合后的特征表达；
所述属性编辑模块，配置为基于所述组合后的特征表达，通过多属性编辑网络的解码器获取所述待编辑图像对应的属性编辑后的图像；
所述输出模块，配置为输出获取的属性编辑后的图像；
其中，所述多属性编辑网络包括生成器、判别器、分类器和小波变换模块，并基于获取的训练样本通过对抗生成方法进行训练；所述生成器包括编码器和解码器；所述多属性编辑网络，其训练方法为：
步骤B10，通过所述编码器提取获取的第t批样本各图像的特征表达；
步骤B20，将所述第t批样本各图像对应的原始标签集合扩展为设定分辨率大小后分别与对应的特征表达组合，通过所述解码器获取各重建图像；将所述第t批样本各图像对应的理想标签集合扩展为设定分辨率大小后与对应的特征表达组合，并通过所述解码器获取各生成图像；
步骤B30，基于小波变换方法，分别获取各样本及其对应的各重建图像的小波系数，并计算小波损失；采用基于加权约束属性类别方法的分类器获取所述各生成图像的分类结果，并计算加权属性类别损失；计算所述各样本分类损失以及通过所述判别器判别所述各样本和各生成图像的真假，并计算判别器损失；
步骤B40，令k＝k+1，并判断k是否达到设定值，若为否则跳转步骤B50；若为是则跳转步骤B60；其中，k初始值为0，为生成器参数更新的次数；
步骤B50，判断所述小波损失与加权属性类别损失的加权是否收敛，若不收敛则更新所述生成器和所述分类器的参数；
步骤B60，判断所述各样本分类损失与判别器损失的加权是否收敛，若不收敛则更新所述判别器和 分类器的参数；
步骤B70，令t＝t+1后跳转步骤B10，迭代进行参数更新直至达到设定的训练次数，获得训练好的多属性编辑网络。
8.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-6任一项所述的高分辨率人脸图像的多属性编辑方法。
9.一种处理装置，包括
处理器，适于执行各条程序；以及
存储装置，适于存储多条程序；
其特征在于，所述程序适于由处理器加载并执行以实现：
权利要求1-6任一项所述的高分辨率人脸图像的多属性编辑方法。
CN201911391946.4A 2019-12-30 2019-12-30 高分辨率人脸图像的多属性编辑方法、系统、装置 Active CN111145311B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911391946.4A CN111145311B (zh) 2019-12-30 2019-12-30 高分辨率人脸图像的多属性编辑方法、系统、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911391946.4A CN111145311B (zh) 2019-12-30 2019-12-30 高分辨率人脸图像的多属性编辑方法、系统、装置

Publications (2)

Publication Number Publication Date
CN111145311A CN111145311A (zh) 2020-05-12
CN111145311B true CN111145311B (zh) 2021-11-26

Family

ID=70521638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911391946.4A Active CN111145311B (zh) 2019-12-30 2019-12-30 高分辨率人脸图像的多属性编辑方法、系统、装置

Country Status (1)

Country Link
CN (1) CN111145311B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275057B (zh) * 2020-02-13 2023-06-20 腾讯科技（深圳）有限公司 图像处理方法、装置及设备
CN112241709B (zh) * 2020-10-21 2024-06-21 北京字跳网络技术有限公司 图像处理方法、胡子变换网络的训练方法、装置
CN112669228B (zh) * 2020-12-22 2024-05-31 厦门美图之家科技有限公司 图像处理方法、系统、移动终端及存储介质
CN113408673B (zh) * 2021-08-19 2021-11-02 联想新视界(南昌)人工智能工研院有限公司 生成对抗网络子空间解耦和生成编辑方法、系统及计算机
CN115861042B (zh) * 2023-02-08 2023-07-21 荣耀终端有限公司 一种图像处理方法、电子设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109147010A (zh) * 2018-08-22 2019-01-04 广东工业大学 带属性人脸图像生成方法、装置、系统及可读存储介质
CN109829959A (zh) * 2018-12-25 2019-05-31 中国科学院自动化研究所 基于人脸解析的表情编辑方法及装置
CN110322394A (zh) * 2019-06-18 2019-10-11 中国科学院自动化研究所 基于属性引导的人脸年龄老化图像对抗生成方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5409189B2 (ja) * 2008-08-29 2014-02-05 キヤノン株式会社 撮像装置及びその制御方法
US10762337B2 (en) * 2018-04-27 2020-09-01 Apple Inc. Face synthesis using generative adversarial networks

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109147010A (zh) * 2018-08-22 2019-01-04 广东工业大学 带属性人脸图像生成方法、装置、系统及可读存储介质
CN109829959A (zh) * 2018-12-25 2019-05-31 中国科学院自动化研究所 基于人脸解析的表情编辑方法及装置
CN110322394A (zh) * 2019-06-18 2019-10-11 中国科学院自动化研究所 基于属性引导的人脸年龄老化图像对抗生成方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AttGAN: Facial Attribute Editing by Only Changing What You Want;Zhenliang He;《IEEE Transactions on Image Processing ( Volume: 28, Issue: 11, Nov. 2019)》;20190520;第5464-5478页 *
基于DCNN的人脸多属性识别;广长彪;《图形图像》;20170315;第51-54+76页 *

Also Published As

Publication number Publication date
CN111145311A (zh) 2020-05-12

Similar Documents

Publication Publication Date Title
CN111145311B (zh) 高分辨率人脸图像的多属性编辑方法、系统、装置
Shen et al. End-to-end deep image reconstruction from human brain activity
Ren et al. Low-light image enhancement via a deep hybrid network
Chen et al. Deep photo enhancer: Unpaired learning for image enhancement from photographs with gans
Zhang et al. Deep adversarial data augmentation for extremely low data regimes
CN109886881B (zh) 人脸妆容去除方法
JP2023545565A (ja) 画像検出方法、モデルトレーニング方法、画像検出装置、トレーニング装置、機器及びプログラム
CN111696028A (zh) 真实场景图像卡通化的处理方法、装置、计算机设备和存储介质
CN111275057B (zh) 图像处理方法、装置及设备
Liu et al. Spoof trace disentanglement for generic face anti-spoofing
CN109961397B (zh) 图像重建方法及设备
CN111275784A (zh) 生成图像的方法和装置
CN115187706B (zh) 一种人脸风格迁移的轻量化方法、系统、存储介质和电子设备
DE102021109050A1 (de) Durch ein neuronales generative adversarial netzwerk unterstützte videokompression und -übertragung
Li et al. Generalisable cardiac structure segmentation via attentional and stacked image adaptation
CN113947520A (zh) 一种基于生成对抗网络实现人脸妆容转换的方法
CN110570375A (zh) 一种图像处理方法、装置、电子设置以及存储介质
DE102021105291A1 (de) Gewichtsdemodulation für ein erzeugendes neuronales netz
CN118015110A (zh) 人脸图像生成方法及装置、计算机可读存储介质、终端
CN115908662B (zh) 说话人视频的生成模型训练和使用方法、装置及设备
Mishra et al. Leveraging Data Analytics and a Deep Learning Framework for Advancements in Image Super-Resolution Techniques: From Classic Interpolation to Cutting-Edge Approaches
CN112132253A (zh) 3d动作识别方法、装置、计算机可读存储介质及设备
WO2022088089A1 (zh) 图像处理方法、图像处理装置、电子设备及可读存储介质
Lu et al. Kernel estimation for motion blur removal using deep convolutional neural network
Cao et al. Adversarial and adaptive tone mapping operator: multi-scheme generation and multi-metric evaluation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant