CN111275638A - 基于多通道注意力选择生成对抗网络的人脸修复方法 - Google Patents

基于多通道注意力选择生成对抗网络的人脸修复方法 Download PDF

Info

Publication number
CN111275638A
CN111275638A CN202010044569.3A CN202010044569A CN111275638A CN 111275638 A CN111275638 A CN 111275638A CN 202010044569 A CN202010044569 A CN 202010044569A CN 111275638 A CN111275638 A CN 111275638A
Authority
CN
China
Prior art keywords
image
channel attention
face
network
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010044569.3A
Other languages
English (en)
Other versions
CN111275638B (zh
Inventor
朱宁波
曾乐
程秋锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202010044569.3A priority Critical patent/CN111275638B/zh
Publication of CN111275638A publication Critical patent/CN111275638A/zh
Application granted granted Critical
Publication of CN111275638B publication Critical patent/CN111275638B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于多通道注意力选择生成对抗网络的人脸修复方法，其包括以下步骤：S1、采集人脸数据并进行预处理；S2、建立人脸修复模型及损失函数；S3、第一阶段，学习图像生成子网Gi并初步修复图像；S4、第二阶段，产生中间输出图IG并学习多通道注意力图IA；S5、构建多通道注意力选择模型并输出最终合成图；S6、进行人脸修复。所述人脸修复模型包括生成器网络Gi、参数共享鉴别器D和多通道注意力选择网络Ga，所述损失函数包括不确定性像素损失函数和对抗性损失函数。本发明提供的人脸修复方法有效地学习不确定性图，以指导像素损失，从而实现更强大的优化，提供一种更优的人脸修复方法。

Description

基于多通道注意力选择生成对抗网络的人脸修复方法
【技术领域】
本发明涉及深度学习和图像处理领域，尤其涉及一种基于多通道注意力选择生成对抗网络的人脸修复方法。
【背景技术】
在图像修复领域，尤其对于眼内绘画，尽管DNN(深度神经网络)可以产生语义上合理且看起来逼真的结果，但大多数深度学习技术都无法在照片中保留人物的身份。例如，DNN可以学会睁开一对闭合的眼睛，但所述DNN本身并不能保证新的眼睛将与原始人的特定眼部结构相对应。
GAN(Generative adversarial networks，生成对抗网络)是一种特定类型的深层网络，其中包括以鉴别器网络为代表的可学习的对抗损失功能。GAN已成功地用于从头开始生成面部，或在面部上绘制缺失区域，适合一般的面部操作。
一种GAN变体，即条件GAN(cGAN)，可以用额外的信息约束生成器。通过加入统一身份的参照信息，则该GAN不必从头开始幻化纹理或结构，但仍将保留原始图像的语义，来产生高质量的个性化修复结果。然而在某些情况下，GAN仍然会失败，比如当一个人的眼睛被一缕头发遮住了一部分，或者有时不能正确地着色，就会产生一些奇怪的人工痕迹。
生成对抗网络三通道生成空间可能不足以适合学习良好的映射，扩大生成空间并学习自动选择机制以合成更细粒度的生成结果成为一种可行的尝试。而将多通道注意力选择GAN框架(SelectionGAN)用于图像修复任务成为可能。
因此，本发明提供一种基于多通道注意力选择生成对抗网络的人脸修复系统。
【发明内容】
为了解决人脸修复技术在个别条件下会出现图像遮挡、不正确的着色修复及奇怪人工修复痕迹等问题，本发明提供了一种基于多通道注意力选择生成对抗网络的人脸修复方法。
一种基于多通道注意力选择生成对抗网络的人脸修复方法，其包括以下步骤：
S1、采集人脸数据并进行预处理：获取同一个人的人脸图像对，包含睁眼和闭眼的图像，对收集到的图像进行预处理；
S2、建立人脸修复模型及损失函数：设计并构建人脸修复模型及损失函数，所述人脸修复模型基于条件对抗生成网络，所述人脸修复模型包括生成器网络Gi、参数共享鉴别器D和多通道注意力选择网络Ga，所述损失函数包括不确定性像素损失函数和对抗性损失函数；
S3、第一阶段，学习图像生成子网Gi并初步修复图像：学习图像生成子网Gi，所述图像生成子网Gi接收由标记的输入图像Ia和参考图像Rg组成的图像对，并初步修复所述图像对，生成修复图像I'g＝Gi(Ia，Rg)；
S4、第二阶段，产生中间输出图IG并学习通道注意力图IA：将来自所述图像生成子网Gi的粗略修复图像I'g、真值图片Ig以及来自所述生成器网络Gi最后一层的深层特征图Fi作为新特征Fc＝concat(I'g，Fi，Ig)，其中concat(·)是按通道进行级联操作的函数；将所述新特征Fc输入至所述多通道注意力选择模块Ga中，产生多个中间输出图IG，同时学习一组与中间生成图相同数量的多通道注意力图IA，以指导多个优化损失；
S5、构建多通道注意力选择模型并输出最终合成图：通过所述多通道注意力图IA用于从所述中间输出图IG中执行通道选择，并得到最终合成图I”g；
S6、进行人脸修复：将测试图像输入到训练好的所述人脸修复模型，获得高质量的人脸修复图像。
优选的，步骤S2中所述人脸修复模型采用级联策略，通过所述生成器网络Gi输出粗略的修复图像，从而产生模糊的眼睛细节以及目标图像的高像素级不相似性，再通过所述多通道注意力选择网络Ga利用粗略的修复图像产生细粒度的最终输出。
优选的，步骤S4中，所述新特征Fc输入至所述多通道注意力选择模块Ga中具体包括：通过与输入特征的逐元素乘法选择每个合并的特征，将所述特征以相同的分辨率重新调节池化的特征，将特征Fc馈送到卷积层后生成新的多尺度特征Fc'以供在所述多通道注意力选择模块Ga中使用，合并中应用一组M个空间比例{Si}(i＝1～M)用于产生具有不同空间分辨率的合并要素，其池化过程表现为：
Figure BDA0002368924050000031
其中，concat(·)是按通道进行级联操作的函数，Fc为新特征，pl_ups(·)表示为以标度s进行池化，
Figure BDA0002368924050000032
表示为逐元素乘法。
优选的，步骤S4中，所述中间输出图IG通过使用N个卷积滤波器
Figure BDA0002368924050000033
之后进行tanh(·)非线性激活操作得到，所述多通道注意力图IA通过N个卷积滤波器
Figure BDA0002368924050000034
之后进行标准化的基于通道的softmax函数操作后得到，所述中间输出图IG和所述多通道注意力图IA的计算分别为：
Figure BDA0002368924050000038
Figure BDA0002368924050000039
优选的，步骤S5中，所述最终合成图I”g的计算式为：
Figure BDA0002368924050000035
其中，I”g代表从多个不同结果中选择的最终合成的生成图，IA为多通道注意力图，IG为中间输出图，符号
Figure BDA0002368924050000036
表示逐元素加法，
Figure BDA0002368924050000037
表示为逐元素乘法。
优选的，所述参数共享鉴别器D在第一阶段中将所述图像生成子网Gi的粗略修复图像I'g和所述真值图片Ig作为输入，鉴别两者是否彼此关联；所述参数共享鉴别器D在第二阶段中将所述最终合成图I”g和所述真值图片Ig作为输入，鼓励所述参数共享鉴别器D区分图像结构的多样性并捕捉局部感知信息。
优选的，所述不确定性像素损失函数为：
Figure BDA0002368924050000041
Figure BDA0002368924050000042
其中Li p表示像素级损耗图，Ui表示第i个不确定性图，σ(·)是用于像素级归一化的Sigmoid函数。
优选的，第一阶段的所述对抗性损失函数为对[Ia，I'g]与真实图像对[Ia，Ig]进行区分，在第二阶段中，将D的对抗性损失公式化为：将合成图像对[Ia，I”g]与真实图像对[Ia，Ig]进行区分，其公式分别如下：
Figure BDA0002368924050000043
Figure BDA0002368924050000044
所述对抗性损失函数公式如下：LcGAN＝LcGAN(Ia，I'g)+λLcGAN(Ia，I”g)，
总的优化损失为：
Figure BDA0002368924050000045
其中Li p使用L1重建分别计算生成的图像I'g，I”g与相应的真值图像之间的像素损失，LtV是所述最终合成图I”g的总变化正则化(total variation(TV)regularization)：
Figure BDA0002368924050000046
其中λi和λtv是权衡参数，以控制不同目标的相对重要性。
与现有技术相比，本发明将基于多通道注意力选择生成对抗网络应用于人脸修复，通过生成器网络Gi、参数共享鉴别器D和多通道注意力选择网络Ga扩大生成空间并自动学习自动选择机制合成更细粒度的生成结果，通过所述多通道注意力选择网络Ga专心选择感兴趣的中间生成图，并能够显著提高最终输出的质量。多通道注意力模块还可以有效地学习不确定性图，以指导像素损失，从而实现更强大的优化，提供一种更优的人脸修复方法。
【附图说明】
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：
图1为本发明提供的基于多通道注意力选择生成对抗网络的人脸修复方法流程图；
图2为本发明提供的人脸修复模型的示意图；
图3为本发明提供的多通道注意力选择模块的网络结构图。
【具体实施方式】
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请结合参阅图1-图3，本发明提供一种基于多通道注意力选择生成对抗网络的人脸修复方法，所述人脸修复方法步骤如下：
S1、采集人脸数据并进行预处理：获取同一个人的人脸图像对，包含睁眼和闭眼的图像，对收集到的图像进行预处理。收集大量图像作为数据集，利用如openCV对图像进行人脸识别，提取脸部的信息，尤其是眼睛。将收集到的图像裁剪成设定尺寸大小的人脸训练图像，以便于眼睛和嘴巴能够居中。
S2、建立人脸修复模型及损失函数：设计并构建人脸修复模型及损失函数，所述人脸修复模型基于条件对抗生成网络，所述人脸修复模型包括生成器网络Gi、参数共享鉴别器D和多通道注意力选择网络Ga，所述损失函数包括不确定性像素损失函数和对抗性损失函数。
所述人脸修复模型采用级联策略，通过所述生成器网络Gi输出粗略的修复图像，从而产生模糊的眼睛细节以及目标图像的高像素级不相似性，第一阶段从粗到细的生成策略，以基于粗略的预测来提高综合性能。在第二阶段中再通过所述多通道注意力选择网络Ga利用粗略的修复图像产生细粒度的最终输出。
S3、第一阶段，学习图像生成子网Gi并初步修复图像：学习图像生成子网Gi，所述图像生成子网Gi接收由标记的输入图像Ia和参考图像Rg组成的图像对，并初步修复所述图像对，生成修复图像I'g＝Gi(Ia，Rg)。所述参考图像Rg可以提供更强的监督能力。这种生成在输入图像Ia、参考图像Rg及真值图像Ig之间添加了更强大的监控，从而促进了网络的优化。
其中在第一阶段中，所述参数共享鉴别器D用于将所述图像生成子网Gi的粗略修复图像I'g和所述真值图片Ig作为输入，鉴别两者是否彼此关联。
S4、第二阶段，产生中间输出并学习多通道注意力图：将来自所述图像生成子网Gi的粗略修复图像I'g、真值图片Ig以及来自所述生成器网络Gi最后一层的深层特征图Fi作为新特征Fc＝concat(I'g，Fi，Ig)，其中concat(·)是按通道进行级联操作的函数；将所述新特征Fc输入至所述多通道注意力选择模块Ga中，产生多个中间输出图IG，同时学习一组与中间生成图相同数量的多通道注意力图IA，以指导多个优化损失。
单尺度特征可能无法捕获细粒度生成的所有必要细节信息，因此本发明提出一种多尺度的空间池化方案，该方案使用一组不同的内核大小并大步向前，对相同的输入特征执行全局平均池化。这样可获得具有不同感受野的多尺度特征，以感知不同的细节信息。所述新特征Fc输入至所述多通道注意力选择模块Ga中具体包括：通过与输入特征的逐元素乘法选择每个合并的特征，将所述特征以相同的分辨率重新调节池化的特征，将特征Fc馈送到卷积层后生成新的多尺度特征F’c以供在所述多通道注意力选择模块Ga中使用，合并中应用一组M个空间比例{Si}(i＝1～M)用于产生具有不同空间分辨率的合并要素，其池化过程表现为：
Figure BDA0002368924050000061
其中，concat(·)是按通道进行级联操作的函数，Fc为新特征，pl_ups(·)表示为以标度s进行池化，
Figure BDA0002368924050000071
表示为逐元素乘法。
所述多通道注意力选择模块Ga可以自动从生成中进行空间和时间选择，以合成细粒度的最终输出。给定多尺度特征量Fc'∈R(上h×w×c)，其中h和w是特征的宽度和高度，c是通道数。所述中间输出图IG通过使用N个卷积滤波器
Figure BDA0002368924050000072
之后进行tanh(·)非线性激活操作得到，所述多通道注意力图IA通过N个卷积滤波器
Figure BDA0002368924050000073
之后进行标准化的基于通道的softmax函数操作后得到，所述中间输出图IG和所述多通道注意力图IA的计算分别为：
Figure BDA0002368924050000074
在第二阶段中，所述参数共享鉴别器D将所述最终合成图I'g'和所述真值图片Ig作为输入，鼓励所述参数共享鉴别器D区分图像结构的多样性并捕捉局部感知信息。
S5、构建多通道注意力选择模型并输出最终合成图：通过所述多通道注意力图IA用于从所述中间输出图IG中执行通道选择，并得到最终合成图I”g。
所述最终合成图I”g的计算式为：
Figure BDA0002368924050000075
其中，I”g代表从多个不同结果中选择的最终合成的生成图，IA为多通道注意力图，IG为中间输出图，符号
Figure BDA0002368924050000076
表示逐元素加法，
Figure BDA0002368924050000077
表示为逐元素乘法。
S6、进行人脸修复：将测试图像输入到训练好的所述人脸修复模型，获得高质量的人脸修复图像。
需要说明的是，从预训练模型初步获得的修复图对于所有像素都不准确，这会导致训练过程中的指导错误。为了解决这个问题，本发明提出了生成的多通道注意力图IA来学习不确定性图以控制优化损失。假设我们有K个不同的损耗图需要指导，首先将多个生成的多通道注意力图IA连接起来，并传递到具有K个过滤器
Figure BDA0002368924050000081
的卷积层，以生成一组K个不确定性图。所述不确定性像素损失函数为：
Figure BDA0002368924050000082
其中Li p表示像素级损耗图，Ui表示第i个不确定性图，σ(·)是用于像素级归一化的Sigmoid函数。
第一阶段的所述对抗性损失函数为对[Ia，I′g]与真实图像对[Ia，Ig]进行区分，在第二阶段中，将D的对抗性损失公式化为：将合成图像对[Ia，I″g]与真实图像对[Ia，Ig]进行区分，其公式分别如下：
Figure BDA0002368924050000083
Figure BDA0002368924050000084
两种损失的目的都是保留局部结构信息并产生视觉上令人愉悦的合成图像。因此，所提出的SelectionGAN的对抗损失为(5)和(6)的等式之和。所述对抗性损失函数公式如下：
LcGAN＝LcGAN(Ia，I'g)+λLcGAN(Ia，I”g) (7)
总的优化损失是上述损失的加权和，生成器网络Gi、参数共享鉴别器D和多通道注意力选择网络Ga以端到端的方式训练，优化以下最小-最大函数总的优化损失为：
Figure BDA0002368924050000085
其中Li p使用L1重建分别计算生成的图像I'g，I”g与相应的真值图像之间的像素损失，LtV是所述最终合成图I”g的总变化正则化(total variation(TV)regularization)：
Figure BDA0002368924050000086
其中λi和λtv是权衡参数，以控制不同目标的相对重要性。
本发明提供的与现有技术相比，本发明将基于多通道注意力选择生成对抗网络应用于人脸修复，通过生成器网络Gi、参数共享鉴别器D和多通道注意力选择网络Ga扩大生成空间并自动学习自动选择机制合成更细粒度的生成结果，通过所述多通道注意力选择网络Ga专心选择感兴趣的中间生成图，并能够显著提高最终输出的质量。所述多通道注意力选择网络Ga还可以有效地学习不确定性图，以指导像素损失，从而实现更强大的优化，提供一种更优的人脸修复方法。
以上所述的仅是本发明的实施方式，在此应当指出，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出改进，但这些均属于本发明的保护范围。

Claims (8)

1.一种基于多通道注意力选择生成对抗网络的人脸修复方法，其特征在于，包括以下步骤：
S1、采集人脸数据并进行预处理：获取同一个人的人脸图像对，包含睁眼和闭眼的图像，对收集到的图像进行预处理；
S2、建立人脸修复模型及损失函数：设计并构建人脸修复模型及损失函数，所述人脸修复模型基于条件对抗生成网络，所述人脸修复模型包括生成器网络Gi、参数共享鉴别器D和多通道注意力选择网络Ga，所述损失函数包括不确定性像素损失函数和对抗性损失函数；
S3、第一阶段，学习图像生成子网Gi并初步修复图像：学习图像生成子网Gi，所述图像生成子网Gi接收由标记的输入图像Ia和参考图像Rg组成的图像对，并初步修复所述图像对，生成修复图像I'g＝Gi(Ia，Rg)；
S4、第二阶段，产生中间输出图IG并学习多通道注意力图IA：将来自所述图像生成子网Gi的粗略修复图像I'g、真值图片Ig以及来自所述生成器网络Gi最后一层的深层特征图Fi作为新特征Fc＝concat(I'g，Fi，Ig)，其中concat(·)是按通道进行级联操作的函数；将所述新特征Fc输入至所述多通道注意力选择模块Ga中，产生多个中间输出图IG，同时学习一组与中间生成图相同数量的多通道注意力图IA，以指导多个优化损失；
S5、构建多通道注意力选择模型并输出最终合成图：通过所述多通道注意力图IA用于从所述中间输出图IG中执行通道选择，并得到最终合成图I”g；
S6、进行人脸修复：将测试图像输入到训练好的所述人脸修复模型，获得高质量的人脸修复图像。
2.根据权利要求1所述的基于多通道注意力选择生成对抗网络的人脸修复方法，其特征在于，步骤S2中所述人脸修复模型采用级联策略，通过所述生成器网络Gi输出粗略的修复图像，从而产生模糊的眼睛细节以及目标图像的高像素级不相似性，再通过所述多通道注意力选择网络Ga利用粗略的修复图像产生细粒度的最终输出。
3.根据权利要求1所述的基于多通道注意力选择生成对抗网络的人脸修复方法，其特征在于，步骤S4中，所述新特征Fc输入至所述多通道注意力选择模块Ga中具体包括：通过与输入特征的逐元素乘法选择每个合并的特征，将所述特征以相同的分辨率重新调节池化的特征，将特征Fc馈送到卷积层后生成新的多尺度特征Fc'以供在所述多通道注意力选择模块Ga中使用，合并中应用一组M个空间比例{Si}(i＝1～M)用于产生具有不同空间分辨率的合并要素，其池化过程表现为：
Figure FDA0002368924040000021
其中，concat(·)是按通道进行级联操作的函数，Fc为新特征，pl_ups(·)表示为以标度s进行池化，
Figure FDA0002368924040000022
表示为逐元素乘法。
4.根据权利要求1所述的基于多通道注意力选择生成对抗网络的人脸修复方法，其特征在于，步骤S4中，所述中间输出图IG通过使用N个卷积滤波器
Figure FDA0002368924040000023
之后进行tanh(·)非线性激活操作得到，所述多通道注意力图IA通过N个卷积滤波器
Figure FDA0002368924040000024
之后进行标准化的基于通道的softmax函数操作后得到，所述中间输出图IG和所述多通道注意力图IA的计算分别为：
Figure FDA0002368924040000025
Figure FDA0002368924040000026
5.根据权利要求1所述的基于多通道注意力选择生成对抗网络的人脸修复方法，其特征在于，步骤S5中，所述最终合成图I”g的计算式为：
Figure FDA0002368924040000027
其中，I”g代表从多个不同结果中选择的最终合成的生成图，IA为多通道注意力图，IG为中间输出图，符号
Figure FDA0002368924040000028
表示逐元素加法，
Figure FDA0002368924040000029
表示为逐元素乘法。
6.根据权利要求1所述的基于多通道注意力选择生成对抗网络的人脸修复方法，其特征在于，所述参数共享鉴别器D在第一阶段中将所述图像生成子网Gi的粗略修复图像I'g和所述真值图片Ig作为输入，鉴别两者是否彼此关联；所述参数共享鉴别器D在第二阶段中将所述最终合成图I”g和所述真值图片Ig作为输入，鼓励所述参数共享鉴别器D区分图像结构的多样性并捕捉局部感知信息。
7.根据权利要求1所述的基于多通道注意力选择生成对抗网络的人脸修复方法，其特征在于，所述不确定性像素损失函数为：
Figure FDA0002368924040000031
其中
Figure FDA0002368924040000032
表示像素级损耗图，Ui表示第i个不确定性图，σ(·)是用于像素级归一化的Sigmoid函数。
8.根据权利要求7所述的基于多通道注意力选择生成对抗网络的人脸修复方法，其特征在于，第一阶段的所述对抗性损失函数为对[Ia，I′g]与真实图像对[Ia，Ig]进行区分，在第二阶段中，将D的对抗性损失公式化为：将合成图像对[Ia，I″g]与真实图像对[Ia，Ig]进行区分，其公式分别如下：
Figure FDA0002368924040000033
Figure FDA0002368924040000034
所述对抗性损失函数公式如下：LcGAN＝LcGAN(Ia，I'g)+λLcGAN(Ia，I”g)，总的优化损失为：
Figure FDA0002368924040000035
其中
Figure FDA0002368924040000036
使用L1重建分别计算生成的图像I'g，I”g与相应的真值图像之间的像素损失，LtV是所述最终合成图I”g的总变化正则化(total variation(TV)regularization)：
Figure FDA0002368924040000037
其中λi和λtv是权衡参数，以控制不同目标的相对重要性。
CN202010044569.3A 2020-01-16 2020-01-16 基于多通道注意力选择生成对抗网络的人脸修复方法 Active CN111275638B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010044569.3A CN111275638B (zh) 2020-01-16 2020-01-16 基于多通道注意力选择生成对抗网络的人脸修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010044569.3A CN111275638B (zh) 2020-01-16 2020-01-16 基于多通道注意力选择生成对抗网络的人脸修复方法

Publications (2)

Publication Number Publication Date
CN111275638A true CN111275638A (zh) 2020-06-12
CN111275638B CN111275638B (zh) 2022-10-28

Family

ID=71003183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010044569.3A Active CN111275638B (zh) 2020-01-16 2020-01-16 基于多通道注意力选择生成对抗网络的人脸修复方法

Country Status (1)

Country Link
CN (1) CN111275638B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686817A (zh) * 2020-12-25 2021-04-20 天津中科智能识别产业技术研究院有限公司 一种基于不确定性估计的图像补全方法
CN113177533A (zh) * 2021-05-28 2021-07-27 济南博观智能科技有限公司 一种人脸识别方法、装置及电子设备
CN113689356A (zh) * 2021-09-14 2021-11-23 三星电子（中国）研发中心 一种图像修复的方法和装置
CN113962893A (zh) * 2021-10-27 2022-01-21 山西大学 基于多尺度局部自注意力生成对抗网络的人脸图像修复方法
CN115471901A (zh) * 2022-11-03 2022-12-13 山东大学 基于生成对抗网络的多姿态人脸正面化方法及系统
CN115937994A (zh) * 2023-01-06 2023-04-07 南昌大学 一种基于深度学习检测模型的数据检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180284752A1 (en) * 2016-05-09 2018-10-04 StrongForce IoT Portfolio 2016, LLC Methods and systems for industrial internet of things data collection in downstream oil and gas environment
CN109447918A (zh) * 2018-11-02 2019-03-08 北京交通大学 基于注意力机制的单幅图像去雨方法
US20190236759A1 (en) * 2018-01-29 2019-08-01 National Tsing Hua University Method of image completion
CN110222628A (zh) * 2019-06-03 2019-09-10 电子科技大学 一种基于生成式对抗网络的人脸修复方法
CN110288537A (zh) * 2019-05-20 2019-09-27 湖南大学 基于自注意力的深度生成式对抗网络的人脸图像补全方法
US20190333198A1 (en) * 2018-04-25 2019-10-31 Adobe Inc. Training and utilizing an image exposure transformation neural network to generate a long-exposure image from a single short-exposure image

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180284752A1 (en) * 2016-05-09 2018-10-04 StrongForce IoT Portfolio 2016, LLC Methods and systems for industrial internet of things data collection in downstream oil and gas environment
US20190236759A1 (en) * 2018-01-29 2019-08-01 National Tsing Hua University Method of image completion
US20190333198A1 (en) * 2018-04-25 2019-10-31 Adobe Inc. Training and utilizing an image exposure transformation neural network to generate a long-exposure image from a single short-exposure image
CN109447918A (zh) * 2018-11-02 2019-03-08 北京交通大学 基于注意力机制的单幅图像去雨方法
CN110288537A (zh) * 2019-05-20 2019-09-27 湖南大学 基于自注意力的深度生成式对抗网络的人脸图像补全方法
CN110222628A (zh) * 2019-06-03 2019-09-10 电子科技大学 一种基于生成式对抗网络的人脸修复方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686817A (zh) * 2020-12-25 2021-04-20 天津中科智能识别产业技术研究院有限公司 一种基于不确定性估计的图像补全方法
CN112686817B (zh) * 2020-12-25 2023-04-07 天津中科智能识别产业技术研究院有限公司 一种基于不确定性估计的图像补全方法
CN113177533A (zh) * 2021-05-28 2021-07-27 济南博观智能科技有限公司 一种人脸识别方法、装置及电子设备
CN113177533B (zh) * 2021-05-28 2022-09-06 济南博观智能科技有限公司 一种人脸识别方法、装置及电子设备
CN113689356A (zh) * 2021-09-14 2021-11-23 三星电子（中国）研发中心 一种图像修复的方法和装置
CN113689356B (zh) * 2021-09-14 2023-11-24 三星电子（中国）研发中心 一种图像修复的方法和装置
CN113962893A (zh) * 2021-10-27 2022-01-21 山西大学 基于多尺度局部自注意力生成对抗网络的人脸图像修复方法
CN113962893B (zh) * 2021-10-27 2024-07-09 山西大学 基于多尺度局部自注意力生成对抗网络的人脸图像修复方法
CN115471901A (zh) * 2022-11-03 2022-12-13 山东大学 基于生成对抗网络的多姿态人脸正面化方法及系统
CN115937994A (zh) * 2023-01-06 2023-04-07 南昌大学 一种基于深度学习检测模型的数据检测方法

Also Published As

Publication number Publication date
CN111275638B (zh) 2022-10-28

Similar Documents

Publication Publication Date Title
CN111275638B (zh) 基于多通道注意力选择生成对抗网络的人脸修复方法
Liu et al. IPMGAN: Integrating physical model and generative adversarial network for underwater image enhancement
Rahmon et al. Motion U-Net: Multi-cue encoder-decoder network for motion segmentation
CN113673590B (zh) 基于多尺度沙漏密集连接网络的去雨方法、系统和介质
CN109166102A (zh) 一种基于判别区域候选对抗网络的图像转图像翻译方法
CN112818764A (zh) 一种基于特征重建模型的低分辨率图像人脸表情识别方法
CN115526891B (zh) 一种缺陷数据集的生成模型的训练方法及相关装置
CN112446835A (zh) 图像恢复方法、图像恢复网络训练方法、装置和存储介质
CN116757986A (zh) 一种红外与可见光图像融合方法及装置
CN110782503B (zh) 一种基于两分支深度相关网络的人脸图像合成方法和装置
CN115984323A (zh) 基于空频域均衡的双级融合rgbt跟踪算法
CN117576483B (zh) 基于多尺度卷积自编码器的多源数据融合地物分类方法
CN114492634A (zh) 一种细粒度装备图片分类识别方法及系统
CN113962905A (zh) 基于多阶段特征互补网络的单幅图像去雨方法
Liu et al. Dual UNet low-light image enhancement network based on attention mechanism
CN117689592A (zh) 一种基于级联自适应网络的水下图像增强方法
CN116664677B (zh) 一种基于超分辨率重建的视线估计方法
CN113538254A (zh) 图像恢复方法、装置、电子设备及计算机可读存储介质
Yao et al. Spatial-frequency Dual-Domain Feature Fusion Network for Low-Light Remote Sensing Image Enhancement
Weligampola et al. A retinex based gan pipeline to utilize paired and unpaired datasets for enhancing low light images
CN116309077A (zh) 基于空域可变模糊核估计的图像盲超分辨率重建方法
CN116258627A (zh) 一种极端退化人脸图像超分辨率恢复系统和方法
CN115346091A (zh) 一种Mura缺陷图像数据集的生成方法和生成装置
CN115527275A (zh) 基于P2CS_3DNet的行为识别方法
CN115116117A (zh) 一种基于多模态融合网络的学习投入度数据的获取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant