CN114331894A - 一种基于潜在特征重构和掩模感知的人脸图像修复方法 - Google Patents

一种基于潜在特征重构和掩模感知的人脸图像修复方法 Download PDF

Info

Publication number
CN114331894A
CN114331894A CN202111655736.9A CN202111655736A CN114331894A CN 114331894 A CN114331894 A CN 114331894A CN 202111655736 A CN202111655736 A CN 202111655736A CN 114331894 A CN114331894 A CN 114331894A
Authority
CN
China
Prior art keywords
layer
feature
mask
network
reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111655736.9A
Other languages
English (en)
Inventor
刘恒
张茼茼
陈�峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University of Technology AHUT
Original Assignee
Anhui University of Technology AHUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University of Technology AHUT filed Critical Anhui University of Technology AHUT
Priority to CN202111655736.9A priority Critical patent/CN114331894A/zh
Publication of CN114331894A publication Critical patent/CN114331894A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于潜在特征重构和掩模感知的人脸图像修复方法,属于图像处理技术领域。本发明主要包括以下步骤:1、获取人脸图像数据集,并将数据集中的图像进行预处理;2、构建一个基于潜在特征重构的结构重构器和掩模感知的纹理生成器用于模型训练;3、基于构建的深度网络和预处理的数据集对网络模型进行训练;4、依据学习的模型参数,将一幅缺损的人脸图像作为网络的输入,得到完整的人脸图像。本发明通过结合拥有优良性能的结构重构器和纹理生成器,生成了修复效果不错的人脸图像,在智能照片处理等领域中有着广泛的应用前景。

Description

一种基于潜在特征重构和掩模感知的人脸图像修复方法
技术领域
本发明属于图像处理技术领域,更具体地说,涉及一种基于潜在特征重构和掩模感知的人脸图像修复方法。
背景技术
图像修复指的是为损坏的输入图像的缺失区域生成可替换的结构和纹理,并获得视觉上逼真的结果。它具有广泛的应用前景。例如,用户可以通过使用修复技术来移除不需要的对象或编辑图像的内容。图像修复任务的一个主要挑战是生成正确的结构和逼真的纹理。一些早期基于patch的作品试图用现有区域的图像patch来填补缺失的区域。通过最近邻搜索和复制相关块,这些方法可以合成出逼真的纹理,用于背景修复任务。然而,由于这些方法不能捕获高层语义,因此很难为具有非重复模式(如人脸)的图像生成逼真的结构。
随着深度神经网络技术的出现,最近的一些工作将修复任务建模为一个条件生成问题,该问题学习输入受损图像与真实图像之间的映射函数。这些方法能够学习有意义的语义,因此可以为缺失的区域生成连贯的结构。然而,由于这些方法不能有效地分离结构和纹理信息,它们往往会受到边界过度平滑或纹理伪影的影响。
为了解决这个问题,有学者提出了一些两级网络。这些方法在第一阶段修复丢失的结构,并在第二阶段使用重建的信息生成最终结果。有些方法使用真实图像作为结构恢复的标签。但是,真实图像包含高频纹理。这些不相关的细节可能会误导结构重建。SPG-Net预测缺失区域的语义分割标签作为结构信息。然而,语义标签相似的区域可能具有不同的纹理(例如,同一建筑的窗户和墙壁),这给最终的恢复带来了困难。使用边缘图像作为结构指导,EdgeConnect在一些高度结构化的场景中也取得了很好的效果。然而,边缘图像的分布与目标图像的分布有很大的不同。换句话说,边缘提取器会丢弃太多有用的信息,例如图像颜色,因此很难生成生动的纹理。
经检索,现有技术中关于图像修复的方案也有很多公开,如专利申请号202110701430.6,申请日为2021年6月24日,该申请案公开了一种基于面部样式的人脸图像修复方法,其构建基于面部样式的生成对抗网络,包括基于面部样式的生成网络和PatchGAN判别器网络;基于面部样式的生成网络包括编码器-解码器构成的主干修复子网络、能够根据人脸解析图提取各面部区域的局部面部区域样式和全局面部样式的面部样式提取子网络;所有局部面部区域样式和全局面部样式构成样式矩阵,生成各面部区域的仿射参数;编码器与解码器中的相应网络层之间存在跳跃连接,每个跳跃连接上嵌入一个面部区域修复模块。该申请案能够在一定程度上克服现有技术修复后的人脸图像中存在视觉伪影、面部结构细节模糊和面部语义不一致的问题,达到更加精确的修复效果。但该申请案对于图像修复的过程相对较耗时,在实际应用场合中实用性有待加强。
基于以上分析,现有技术需要一种能够实现避免边界过度平滑或纹理伪影的人脸图像修复的方法。
发明内容
1.发明要解决的技术问题
为了克服上述现有技术存在的,现实中修复图像容易出现边界过度平滑或纹理伪影的问题;本发明提出了一种基于潜在特征重构和掩模感知的人脸图像修复方法;本发明提出了一种两阶段图像修复模型,能够达到更好的修复效果,且本发明一次训练就可完成任意的图像生成,无需耗时的迭代优化,满足了现实中复杂度低的要求。
2.技术方案
为达到上述目的,本发明提供的技术方案为:
本发明的一种基于潜在特征重构和掩模感知的人脸图像修复方法,其步骤为:
步骤1、获取人脸图像数据集,并将数据集中的图像进行预处理;
步骤2、构建一个基于潜在特征重构的结构重构器和掩模感知的纹理生成器用于模型训练;
步骤3、依据步骤1预处理的数据集和步骤2构建的网络,调整网络参数,进行网络训练;
步骤4、将一幅缺损的人脸图像作为网络的输入,利用步骤3学习得到的参数得到一幅完整的人脸图像作为输出。
更进一步地,步骤1获得人脸数据集的方法为:进入到官方下载界面,选取数据集进行下载。步骤1的图像进行预处理的方法为:采用计算机生成任意大小和形状的掩码,将所述掩码与训练集中的任一图像进行像素级的乘法,得到破损的图像。
更进一步地,步骤2中构建的结构重构器,首先经过3×3卷积层、归一化层和PReLU层,再使用50个相同的bottleneck模块,从第6层、第20层和第23层分别提取了三个大小不同的特征图,分别记作c1,c2,c3。c2通过1×1卷积得到的特征图经过上采样后与c3相加得到p2,p2通过1×1卷积得到的特征图经过上采样后与c1相加得到p1。c3通过16个渐变样式模块生成样式向量0、样式特征向量1和样式特征向量2,p2通过32个渐变样式模块生成了样式特征向量3、样式特征向量4、样式特征向量5和样式特征向量6,p1通过64个渐变样式模块生成了样式特征向量7、…、样式特征向量17等11个样式向量。最后,将生成的18个样式特征向量送到StyleGAN中,得到修复完成的粗糙图片。
步骤2中构建的纹理生成器,分为三个模块,分别是编码器,将带有掩码的粗糙恢复图像编码成特征图;恢复解码器,用于细化特征图;以及两个相同结构的细化解码器,用于继续将特征图细化,并将特征图解码回像素。具体来说,在编码器中,先将掩模图片经过卷积层和Relu激活层再经过卷积生成卷积核,用该卷积核对修复的粗糙图像进行卷积,得到特征图传入恢复解码器中。在恢复解码器中,首先经过转置卷积,然后将其与上一层得到的特征图级联,级联之后经过卷积层和激活层,得到细化的特征图,再传入串联的两个相同结构的细化解码器中,最后得到恢复好的图像。在细化解码器中,特征图通过转置卷积层,然后进行归一化处理,最后得到更细化的特征图。
深度网络将根据学习从缺损图像到修复完整图像对应位置的映射关系,如公式所示:
x=F(y,φ)
其中,y,x分别表示缺损图像,修复后得到的完整图像,φ为修复网络学习到的模型参数,用于后续进行图像修复。
更进一步地,步骤2中网络训练的损失函数在结构重构器和纹理生成器中采用不同的方法,在结构重构器中,损失函数主要分为六种,分别是像素重建损失,感知损失、身份损失、潜在相似度损失、掩模内像素重建损失和掩模外像素重建损失,如下所示:
LGs=L2+0.8*Ls-prec+0.1*LID+Llatent+6*Ls-hole+Ls-vaild
其中,给定结构重构器输出结果Ir和真实图像Igt,像素重建损失表示如下:
L2=||Igt-Ir||2
感知损失表示如下,其中F表示的是特征提取器:
Ls-perc=||F(Igt)-F(Ir)||2
身份损失,其中R是用于人脸识别的预先训练的ArcFace网络。
LID=1-<R(Igt),R(Ir)>
潜在余弦相似度损失表示如下,对重建图像和真实图像的18个潜在特征向量进行余弦相似度损失。将图像得到18个潜在特征向量按如下规则分成三组,计算数学期望值作为模型的余弦相似损失:
Figure BDA0003445835200000031
Figure BDA0003445835200000032
Figure BDA0003445835200000033
LLatent=0.5*Lcoarse+Lmiddle+0.5*Lfine
我们将掩模和掩模外像素的L1损耗分别定义为Ls-hole和Ls-valid,其中M表示给定的掩模:
Ls-hole=||(1-M)Θ(Ir-Igt)||1
Ls-valid=||MΘ(Ir-Igt)||1
在纹理生成器中,损失函数主要分为五种,分别是感知损失、风格损失、总变异损失、掩模内像素重建损失和掩模外像素重建损失:
LGt=Lt-vaild+6Lt-hole+0.05Lt-prec+120Lstyle+0.1Ltv
其中,给定掩码M,结果Iout和真实图片Igt,我们分别定义了掩码和掩码外像素的L1损失作为Lt-hole和Lt-valid
Figure BDA0003445835200000041
Figure BDA0003445835200000042
其中NIgt表示真实图片Igt中的像素数量。
感知损失,公式如下:
Figure BDA0003445835200000043
Icom是来自输出图像Iout的掩模像素和来自真实图片的非掩模的像素组成。
Figure BDA0003445835200000044
为给定输入图像I*在vgg层第p层得到的特征图。
Figure BDA0003445835200000045
是特征向量
Figure BDA0003445835200000046
的像素数量。
风格损失。公式如下:
Figure BDA0003445835200000047
这里,(Cp,Hp,Wp)表示
Figure BDA0003445835200000048
的形状。Kp等于1/(CpHpWp)。
总变异损失。公式如下:
Figure BDA0003445835200000049
其中R表示掩模区域。
更进一步地,步骤2在结构重构器中,特征金字塔结构是使用了50个相同的bottleneck模块,该模块包含shortcut层和res层。shortcut层依次包含1×1卷积层、归一化层、res层包含归一化层、3×3卷积层、PReLU激活函数层、3×3卷积层、归一化层、池化层、1×1卷积层、ReLU激活函数层、1×1卷积层、sigmoid激活函数层。渐变样式模块依次包含3×3卷积层、LeakyReLU激活函数层。
在纹理生成器中,一共7层网络,每层网络的处理操作相同,但部分卷积层卷积核的大小不同,如下表所示。在编码器中,先将掩模图片经过卷积层(记作Conv1)和Relu激活层再经过3×3卷积层和1×1卷积层卷生成卷积核,用该卷积核对修复的粗糙图像进行卷积(记作FConv),再经过归一化层、ReLU激活函数层,3×3卷积层,1×1卷积层,ReLU激活函数层,得到特征图传入恢复解码器中。在恢复解码器中,首先经过转置卷积层(记作Dconv),归一化层、LeakyReLU激活函数层,然后将其与上一层得到的特征图级联,级联之后经过5×5卷积层、3×3卷积层、LeakyReLU激活函数层,得到特征图。在细化解码器中,特征图通过转置卷积层,归一化层,得到的特征图记作f1;上一层得到的特征图通过4×4卷积层、3×3卷积层、ReLU激活函数层、3×3卷积层,得到的特征图记作f2;将f1和f2两个特征图按像素相乘,得到的特征图和f2按像素相加,最后再经过一个LeakyReLU激活函数层。
Conv1 FConv DConv
Layer1 7*7 7*7 6*6
Layer2 7*7 7*7 5*5
Layer3 5*5 5*5 4*4
Layer4 5*5 5*5 4*4
Layer5 3*3 3*3 4*4
Layer6 3*3 3*3 3*3
Layer7 1*1 1*1 2*2
更进一步地,在结构重构器中,p1的特征图数量为512,p2的特征图数量为512,c3的特征图数量是512,样式向量的特征图数量是18;
在纹理生成器中,第一层网络输出的特征图数量为3,第二层网络输出的特征图数量为64,第三层网络输出的特征图数量为128,第四层网络输出的特征图数量为256,第五层网络、第六层网络和第七层网络输出的特征图数量均为512。
更进一步地,步骤3利用pytorch深度学习平台对网络进行训练,采用Adam优化算法优化网络模型,使用学习率衰减策略,并通过最小化整体损失函数来进行优化,用公式表示如下:
Figure BDA0003445835200000051
其中,N为步骤1所得训练集中样本数量,
Figure BDA0003445835200000052
表示第i个缺损图像样本,
Figure BDA0003445835200000053
表示第i个完整图像样本,Ф表示学习到的神经网络参数,L为计算得到的整体损失值;
在训练过程中,通过指定迭代次数来进行网络参数更新。
3.有益效果
采用本发明提供的技术方案,与已有的公知技术相比,具有如下显著效果:
(1)本发明的一种基于潜在特征重构和掩模感知的人脸图像修复方法,考虑到实际场景的需要,无需耗时的迭代优化,一次训练就可完成任意的图像生成,此方法满足了现实中复杂度低的要求。
(2)本发明的一种基于潜在特征重构和掩模感知的人脸图像修复方法,提出了一种两阶段图像修复模型,该模型的两个部分不仅引入一种余弦相似度损失来监督风格特征向量,而且提出了一种改进的基于掩码感知模块,有效地提高了修复性能。
(3)本发明的一种基于潜在特征重构和掩模感知的人脸图像修复方法,通过结合拥有优良性能的结构重构器和纹理生成器,不仅增强了人脸图像的细节部分,而且大大降低了伪影现象,在主观视觉质量和客观定量测量方面均优于目前先进的方法,在智能照片处理等领域有着广泛的应用前景。
附图说明
图1是本发明的基于潜在特征重构和掩模感知的人脸图像修复的方法流程图;
图2是本发明构建的整体网络模型结构图。
具体实施方式
为进一步了解本发明的内容,结合附图和实施例对本发明作详细描述。
实施例1
结合图1和图2,本实施例的一种基于潜在特征重构和掩模感知的人脸图像修复方法,具体包括以下步骤:
步骤1、首先需要部署相应的pytorch环境,以方便后续模型建立以及训练,测试;利用常用的数据集,如CelebA-HQ人脸数据集。
步骤2、构建一个基于潜在特征重构的深度神经网络和掩模感知的深度神经网络用于模型训练;
2-1、构建的结构重构器,首先使用ResNet主干上的标准特征金字塔,从第6层、第20层和第23层分别提取三个大小不同的特征图,分别记作c1,c2,c3。c2通过1×1卷积得到的特征图经过上采样后与c3相加得到p2,p2通过1×1卷积得到的特征图经过上采样后与c1相加得到p1。c3通过16个渐变样式模块生成了样式向量1和样式向量2,p2通过32个渐变样式模块生成了样式向量3、样式向量4、样式向量5和样式向量6,p1通过64个渐变样式模块生成了样式向量7、…、样式向量18等12个样式向量。最后,将生成的18个样式向量送到StyleGAN中,得到修复完成的粗糙图片。
步骤2中构建的纹理生成器,分为三个模块,分别是编码器,将带有掩码的粗糙恢复图像编码成特征图;恢复解码器,用于细化特征图;以及两个相同结构的细化解码器,用于继续将特征图细化,并将特征图解码回像素。具体来说,在解码器中,先将掩模图片经过卷积层和Relu激活层再经过卷积生成卷积核,用该卷积核对修复的粗糙图像进行卷积,得到特征图传入解码器中。在恢复解码器中,首先经过转置卷积,然后将其与上一层得到的特征图级联,级联之后经过卷积层和激活层,得到细化的特征图。在细化解码器中,特征图通过转置卷积层,然后进行归一化处理,最后得到恢复好的图像。
2-2、在结构重构器中,特征金字塔结构是使用了50个相同的bottleneck模块,该模块包含shortcut层和res层。shortcut层依次包含1×1卷积层、归一化层、res层包含归一化层、3×3卷积层、PReLU激活函数层、3×3卷积层、归一化层、池化层、1×1卷积层、ReLU激活函数层、1×1卷积层、sigmoid激活函数层。渐变样式模块依次包含3×3卷积层、LeakyReLU激活函数层。
在纹理生成器中,一共7层网络,每层网络的处理操作相同,但部分卷积层卷积核的大小不同,如下表所示。在解码器中,先将掩模图片经过卷积层(记作Conv1)和Relu激活层再经过3×3卷积层和1×1卷积层卷生成卷积核,用该卷积核对修复的粗糙图像进行卷积(记作FConv),再经过归一化层、ReLU激活函数层,3×3卷积层,1×1卷积层,ReLU激活函数层,得到特征图传入解码器中。在恢复解码器中,首先经过转置卷积层(记作Dconv),归一化层、LeakyReLU激活函数层,然后将其与上一层得到的特征图级联,级联之后经过5×5卷积层、3×3卷积层、LeakyReLU激活函数层,得到的特征图。在细化解码器中,特征图通过转置卷积层,归一化层,记作f1;上一层得到的特征图通过4×4卷积层、3×3卷积层、ReLU激活函数层、3×3卷积层,记作f2;将f1和f2两个特征图按像素相乘,得到的特征图和f2按像素相加,最后再经过一个LeakyReLU激活函数层。
Conv1 FConv DConv
Layer1 7*7 7*7 6*6
Layer2 7*7 7*7 5*5
Layer3 5*5 5*5 4*4
Layer4 5*5 5*5 4*4
Layer5 3*3 3*3 4*4
Layer6 3*3 3*3 3*3
Layer 1*1 1*1 2*2
2-2、在结构重构器中,p1的特征图数量为512,p2的特征图数量为512,c3的特征图数量是512,样式向量的特征图数量是18;
在纹理生成器中,第一层网络输出的特征图数量为3,第二层网络输出的特征图数量为64,第三层网络输出的特征图数量为128,第四层网络输出的特征图数量为256,第五层网络、第六层网络和第七层网络输出的特征图数量均为512。
ReLU激活层的激活函数表示如下:
f(x)=max(0,x)
其中,x为ReLU激活函数的输入,f(x)为ReLU激活函数的输出;
Sigmoid激活层的激活函数表示如下:
Figure BDA0003445835200000081
其中,x为Sigmoid激活函数的输入,f(x)为Sigmoid激活函数的输出。
LeakyReLU激活层的激活函数表示如下:
f(x)=max(ax,x)
其中,x为LeakyReLU激活函数的输入,f(x)为LeakyReLU激活函数的输出,a是固定的参数。
PReLU激活层的激活函数表示如下:
f(x)=max(ax,x)
其中,x为PReLU激活函数的输入,f(x)为PReLU激活函数的输出,a是需要学习的参数。
步骤3、依据步骤1制作的训练集和步骤2构建的网络,调整网络参数,进行网络训练,具体如下:
3-1、采用Adam优化算法优化网络模型,使用学习率衰减策略,并通过最小化整体损失函数来进行优化,用公式表示如下:
Figure BDA0003445835200000082
其中,N为步骤1所得训练集中样本数量,
Figure BDA0003445835200000083
表示第i个缺陷图像样本,
Figure BDA0003445835200000084
表示第i个完整图像样本,Ф表示学习到的神经网络参数,L为计算得到的整体损失值。
3-2、在训练过程中,通过指定迭代次数来进行网络参数更新。
步骤4、训练结束后,将一幅缺损的人脸图像作为网络的输入,利用步骤3学习得到的参数去重建出一幅完整的人脸图像作为输出。
本实施例的一种基于潜在特征重构和掩模感知的人脸图像修复方法,通过结合拥有优良性能的结构重构器和纹理生成器,不仅增强了人脸图像的细节部分,而且大大降低了伪影现象,在主观视觉质量和客观定量测量方面均优于目前先进的方法,在智能照片处理等领域有着广泛的应用前景。
以上示意性的对本发明及其实施方式进行了描述,该描述没有限制性,附图中所示的也只是本发明的实施方式之一,实际的结构并不局限于此。所以,如果本领域的普通技术人员受其启示,在不脱离本发明创造宗旨的情况下,不经创造性的设计出与该技术方案相似的结构方式及实施例,均应属于本发明的保护范围。

Claims (10)

1.一种基于潜在特征重构和掩模感知的人脸图像修复方法,其特征在于,其步骤为:
步骤1、获取人脸图像数据集,并将数据集中的图像进行预处理;
步骤2、构建一个基于潜在特征重构的结构重构器和掩模感知的纹理生成器用于网络模型训练;
步骤3、依据步骤1预处理的数据集和步骤2构建的模型,调整模型参数,进行模型训练;
步骤4、将一幅缺损的人脸图像作为网络的输入,利用步骤3学习得到的参数得到一幅完整的人脸图像作为输出。
2.根据权利要求1所述的一种基于潜在特征重构和掩模感知的人脸图像修复方法,其特征在于:步骤1中图像进行预处理的过程为:采用计算机生成任意大小和形状的掩码,将所述掩码与训练集中的任一图像按像素相乘,得到破损的图像。
3.根据权利要求1或2所述的一种基于潜在特征重构和掩模感知的人脸图像修复方法,其特征在于:步骤2中构建的结构重构器,首先经过3×3卷积层、归一化层和PReLU层,再使用50个相同的bottleneck模块,从第6层、第20层和第23层分别提取三个大小不同的特征图,分别记作c1,c2,c3;c2通过1×1卷积得到的特征图经过上采样后与c3相加得到p2,p2通过1×1卷积得到的特征图经过上采样后与c1相加得到p1;c3通过16个渐变样式模块生成样式特征向量0、样式特征向量1和样式特征向量2,p2通过32个渐变样式模块生成样式特征向量3、样式特征向量4、样式特征向量5和样式特征向量6,p1通过64个渐变样式模块生成样式特征向量7至样式特征向量17;最后,将生成的18个样式特征向量送到StyleGAN中,得到修复完成的粗糙图片。
4.根据权利要求3所述的一种基于潜在特征重构和掩模感知的人脸图像修复方法,其特征在于:步骤2中构建的纹理生成器分为三个模块,分别是:
纹理编码器,将带有掩码的粗糙恢复图像编码成特征图;
恢复解码器,用于细化特征图;
以及两个相同结构的细化解码器,用于继续将特征图细化,并将特征图解码回像素。
5.根据权利要求4所述的一种基于潜在特征重构和掩模感知的人脸图像修复方法,其特征在于:步骤2中网络训练的损失函数,在结构重构器中分为六种,分别是像素重建损失L2、感知损失Ls-prec、身份损失LID、潜在相似度损失Llalent、掩模内像素重建损失Ls-hole和掩模外像素重建损失Ls-valid,如下所示:
LGs=L2+0.8*Ls-prec+0.1*LID+Llatent+6*Ls-hole+Ls-vaild
在纹理生成器中损失函数分为五种,分别是感知损失Lt-prec、风格损失Lstyle、总变异损失Ltv、掩模内像素重建损失Lt-hole和掩模外像素重建损失Lt-valid
LGt=Lt-vaild+6Lt-hole+0.05Lt-prec+120Lstyle+0.1Ltv
6.根据权利要求5所述的一种基于潜在特征重构和掩模感知的人脸图像修复方法,其特征在于:在结构重构器中,bottleneck模块包含shortcut层和res层;shortcut层依次包含1×1卷积层、归一化层,res层依次包含归一化层、3×3卷积层、PReLU激活函数层、3×3卷积层、归一化层、池化层、1×1卷积层、ReLU激活函数层、1×1卷积层、sigmoid激活函数层;渐变样式模块依次包含3×3卷积层、LeakyReLU激活函数层。
7.根据权利要求6所述的一种基于潜在特征重构和掩模感知的人脸图像修复方法,其特征在于:在纹理生成器中,一共7层网络,每层网络的处理操作相同,但部分卷积层卷积核的大小不同;在编码器中,先将掩模图片经过卷积层Conv1和Relu激活层,再经过3×3卷积层和1×1卷积层生成卷积核,用该卷积核对修复的粗糙图像进行卷积,再经过归一化层、ReLU激活函数层、3×3卷积层、1×1卷积层、ReLU激活函数层,得到特征图传入恢复解码器中;在恢复解码器中,首先经过转置卷积层Dconv、归一化层、LeakyReLU激活函数层,然后将其与上一层得到的特征图级联,级联之后经过5×5卷积层、3×3卷积层、LeakyReLU激活函数层,得到特征图;在细化解码器中,特征图通过转置卷积层、归一化层,得到的特征图记作f1;上一层得到的特征图通过4×4卷积层、3×3卷积层、ReLU激活函数层、3×3卷积层,得到的特征图记作f2;将f1和f2两个特征图按像素相乘,得到的特征图和f2按像素相加,最后再经过一个LeakyReLU激活函数层。
8.根据权利要求7所述的一种基于潜在特征重构和掩模感知的人脸图像修复方法,其特征在于:在结构重构器中,p1的特征图数量为512,p2的特征图数量为512,c3的特征图数量是512,样式向量的特征图数量是18。
9.根据权利要求8所述的一种基于潜在特征重构和掩模感知的人脸图像修复方法,其特征在于:在纹理生成器中,第一层网络输出的特征图数量为3,第二层网络输出的特征图数量为64,第三层网络输出的特征图数量为128,第四层网络输出的特征图数量为256,第五层网络、第六层网络和第七层网络输出的特征图数量均为512。
10.根据权利要求9所述的一种基于潜在特征重构和掩模感知的人脸图像修复方法,其特征在于:采用Adam优化算法优化网络模型,使用学习率衰减策略,并通过最小化整体损失函数来进行优化,用公式表示如下:
Figure FDA0003445835190000021
其中,N为步骤1所得训练集中样本数量,
Figure FDA0003445835190000022
表示第i个缺陷图像样本,
Figure FDA0003445835190000023
表示第i个完整图像样本,Ф表示学习到的神经网络参数,L为计算得到的整体损失值;
在训练过程中,通过指定迭代次数来进行网络参数更新。
CN202111655736.9A 2021-12-30 2021-12-30 一种基于潜在特征重构和掩模感知的人脸图像修复方法 Pending CN114331894A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111655736.9A CN114331894A (zh) 2021-12-30 2021-12-30 一种基于潜在特征重构和掩模感知的人脸图像修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111655736.9A CN114331894A (zh) 2021-12-30 2021-12-30 一种基于潜在特征重构和掩模感知的人脸图像修复方法

Publications (1)

Publication Number Publication Date
CN114331894A true CN114331894A (zh) 2022-04-12

Family

ID=81019173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111655736.9A Pending CN114331894A (zh) 2021-12-30 2021-12-30 一种基于潜在特征重构和掩模感知的人脸图像修复方法

Country Status (1)

Country Link
CN (1) CN114331894A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001859A (zh) * 2020-08-10 2020-11-27 深思考人工智能科技(上海)有限公司 一种人脸图像的修复方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001859A (zh) * 2020-08-10 2020-11-27 深思考人工智能科技(上海)有限公司 一种人脸图像的修复方法及系统
CN112001859B (zh) * 2020-08-10 2024-04-16 深思考人工智能科技(上海)有限公司 一种人脸图像的修复方法及系统

Similar Documents

Publication Publication Date Title
Lin et al. Hyperspectral image denoising via matrix factorization and deep prior regularization
CN112308860A (zh) 基于自监督学习的对地观测图像语义分割方法
CN111986075B (zh) 一种目标边缘清晰化的风格迁移方法
CN110363068B (zh) 一种基于多尺度循环生成式对抗网络的高分辨行人图像生成方法
CN113177882A (zh) 一种基于扩散模型的单帧图像超分辨处理方法
CN112686816A (zh) 一种基于内容注意力机制和掩码先验的图像补全方法
CN112884758B (zh) 一种基于风格迁移方法的缺陷绝缘子样本生成方法及系统
CN111861945A (zh) 一种文本引导的图像修复方法和系统
CN116309648A (zh) 一种基于多注意力融合的医学图像分割模型构建方法
CN115063318A (zh) 自适应频率分解的低光照图像增强方法与相关设备
Zheng et al. T-net: Deep stacked scale-iteration network for image dehazing
Zuo et al. Depth map enhancement by revisiting multi-scale intensity guidance within coarse-to-fine stages
CN116012255A (zh) 一种基于循环一致性生成对抗网络的低光图像增强方法
CN113112416A (zh) 一种语义引导的人脸图像修复方法
CN112686817B (zh) 一种基于不确定性估计的图像补全方法
CN113962905A (zh) 基于多阶段特征互补网络的单幅图像去雨方法
Gao A method for face image inpainting based on generative adversarial networks
Liu et al. Facial image inpainting using multi-level generative network
CN114331894A (zh) 一种基于潜在特征重构和掩模感知的人脸图像修复方法
CN113379606A (zh) 一种基于预训练生成模型的人脸超分辨方法
CN117635771A (zh) 一种基于半监督对比学习的场景文本编辑方法和装置
Yu et al. MagConv: Mask-guided convolution for image inpainting
CN117151990A (zh) 一种基于自注意力编码解码的图像去雾方法
CN113554655B (zh) 基于多特征增强的光学遥感图像分割方法及装置
CN116152263A (zh) 一种基于cm-mlp网络的医学图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination