CN113344783A - 一种热力图感知的金字塔人脸超分辨率网络 - Google Patents
一种热力图感知的金字塔人脸超分辨率网络 Download PDFInfo
- Publication number
- CN113344783A CN113344783A CN202110637474.7A CN202110637474A CN113344783A CN 113344783 A CN113344783 A CN 113344783A CN 202110637474 A CN202110637474 A CN 202110637474A CN 113344783 A CN113344783 A CN 113344783A
- Authority
- CN
- China
- Prior art keywords
- convolution
- face
- thermodynamic diagram
- resolution
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010586 diagram Methods 0.000 title claims abstract description 75
- 230000008447 perception Effects 0.000 title claims description 18
- 238000000034 method Methods 0.000 claims description 41
- 230000006870 function Effects 0.000 claims description 21
- 230000003044 adaptive effect Effects 0.000 claims description 18
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 230000008571 general function Effects 0.000 claims 1
- 230000000007 visual effect Effects 0.000 abstract description 5
- 238000011156 evaluation Methods 0.000 abstract description 3
- 230000008859 change Effects 0.000 abstract description 2
- 238000013461 design Methods 0.000 abstract description 2
- 238000002474 experimental method Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000002679 ablation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种热力图感知的金字塔人脸超分辨率网络，属于人脸图像超分辨率技术领域。本发明设计了一种新颖的热力图感知卷积，该卷积可以针对人脸图像中不同区域生成空间变化的卷积核，从而有效地提高了重建性能。此外，为了恢复具有更好视觉质量和更饱满人脸细节的SR结果，采用了对抗损失和感知损失来微调模型。本发明充分利用了人脸结构的先验知识，在视觉效果和客观评价方面都达到了最先进的性能。
Description
技术领域
本发明涉及一种热力图感知的金字塔人脸超分辨率网络，属于人脸超分辨率技术领域。
背景技术
人脸超分辨率(FSR)，也称为人脸幻觉，是一种从相应的低分辨率(LR)图像中恢复高分辨率(HR)脸部图像的技术。由于照相机的限制或较差的摄影环境，所捕获的人脸图像始终是低质量和LR的。因此，FSR通常被作为一种后处理算法引入，以打破上述限制，并且已被证明在许多应用中是有效的，例如视频监控和与人脸相关的计算机视觉任务，例如人脸属性编辑，人脸识别，人脸属性分析等。
近年来，人脸图像超分辨率问题吸引了很多学者的注意，许多深度学习人脸超分辨率方法被提出。通常，深度学习人脸超分辨率方法可分为两大类：一般人脸超分辨率方法和先验信息指导的人脸超分辨率方法。
一般人脸超分辨率方法致力于为人脸超分辨率任务设计有效的网络结构。早期，学者们主要设计基于卷积神经网络，和生成对抗网络的人脸超分辨率方法来恢复出高质量的人脸图像。然而，不同于丰富多样的自然图像，人脸图像的核心是人脸，是一种具有较强结构信息的图像，单单设计各式各样的网络结构而忽视如此强的结构先验很难恢复出清晰的人脸图像。因此，学者们转向对先验信息的探索，先验信息指导的人脸超分辨率方法应运而生。
先验信息指导的人脸超分辨率方法现已成为主流人脸超分辨率技术。早期阶段，学者从LR估计出人脸先验，然后再利用估计的先验去促进后续的超分辨率过程。然而由于LR的质量较差，准确的先验估计极其困难，从而影响了后续的重建。接着学者们先对LR图像进行一步粗略的重建以提升质量，再从一次超分后的结果提取先验信息，最后利用先验信息促进下一次重建。尽管取得了较大的突破，但是现有方法仍然存在缺陷。人脸图像的不同区域之间存在较大的差异，不同的区域需要不同的恢复方法。而现有方法均将带有空间共享卷积核的卷积应用在不同的区域，这将导致重要人脸细节的缺失。
发明内容
本发明的目的在于提出一种热力图感知的金字塔人脸超分辨率网络，以解决现有技术中存在的问题。
一种热力图感知的金字塔人脸超分辨率网络模型的构建方法，所述构建方法包括：
建立热力图感知卷积HaConv，所述卷积HaConv利用热力图信息来为不同的人脸区域生成空间变化的卷积核，基于所述卷积HaConv，
构建双分支金字塔面超分辨率网络，所述双分支人脸超分辨率网络包括：通用功能提取模块CFEM，超分辨率分支SRB和热力图估计分支HEB，
首先，将低分辨率人脸图像ILR送入通用功能提取模块CFEM提取特征，生成用于人脸重建和热力图估计的特征Fc，
Fc＝fCFEM(ILR)，
其中，fCFEM表示CFEM函数，所述函数fCFEM由一个卷积层和几个残差块ResBlock组成，然后将提取的特征Fc同时馈入超分辨率分支SRB和热力图估计分支HEB，
所述超分辨率分支SRB和热力图估计分支HEB分别将特征Fc传递给一个残差块ResBlock，以获得适合人脸超分辨率和热力图估计任务的特征F1和H1，之后，将特征F1和H1馈送到双分支人脸超分辨率网络中的两个分支中，所述两个分支均是金字塔体系结构，该金字塔体系结构一共包括三个步骤，每个步骤都共享相同的操作，令l＝1，2，3表示步骤，令特征Fl和Hl分别为超分辨率分支SRB和热力图估计分支HEB的特征，包括以下过程
为了利用热力图生成空间变化的卷积核以恢复不同的人脸区域，将特征Fl和Hl馈入热力图感知块HaB，
Al＝fHaB(Fl，Hl)，
其中fHaB表示HaB函数，Al则是带有空间变化卷积核的卷积生成的特征，接着，特征Al和Hl被传递到后面的层，生成下一步的特征，
其中
和
分别表示SRB和HEB中由残差块ResBlock和上采样UpsambleBlock组成的RU函数，Fl+1和Hl+1则是l+1步的特征，与此同时，Fl+1还被用于生成第l歩的中间结果，
Il＝fConv(Fl+1)，l＝1，2，3，
其中fConv表示卷积操作，Il是第l步的中间结果，
建立一种自适应权重学习策略，表示为：
其中↑s表示用Bicubic上采样×s倍，α是自适应权重学习策略的可学习权重，
经过三步，对热力图特征H4进行了卷积运算，得到了最终的热力图HRec，
利用像素损失和热力图损失定义如下：
其中IGT和HGT是高质量人脸图像和热力图的参考标准。
进一步的，所述HaB是进行过改进的，即将HaConv嵌入到HaB中，具体的，
给定SRB中名为Fl的特征和HEB中名为Hl的特征，HaB首先使用两个不同的标准卷积层将它们映射到同一空间，
其中
和
是两个卷积层的输出，将Fl和Hl映射到同一空间后，下一步使用带有空间变化卷积核的卷积，
标准卷积：首先，使用卷积核W和输入特征
来进行标准卷积的过程为：
其中
表示
和以(x，y)为中心的块，*代表卷积操作，而Vl(x，y)则表示卷积生成的Vl中以(x，y)为中心的向量，
热力图感知卷积：利用热力图信息生成空间变化卷积核的HaConv，首先，我们从
中提取与卷积核W相同大小的块，即
然后利用该块生成空间变化的卷积核，先计算
块中其他像素与中心像素之间相似性矩阵，
其中M为相似度矩阵，Ω(x，y)代表卷积窗口，接着根据相似度矩阵，生成自适应的卷积核，
其中Kl[x，y]即为以(x，y)为中心的块对应的自适应的卷积核，接着，计算Kl[x，y]和W的点积来生成最终的空间变化卷积核，
其中
表示点积，
为最终的空间变化的卷积核，最终，应用空间变化的卷积核于，
其中
为卷积后的输出，对于
中的每一个块，卷积核随着
的变化而变化，从而实现了热力图感知卷积，在经过热力图感知卷积之后，得到的特征经过一个标准卷积和来自于Fl的跳跃连接，
其中Al是生成的特征，在这种模式下，HaPSR在不同区域使用空间变化的卷积核执行卷积并改善人脸重建。
进一步的，对于损失函数，除了像素损失和热力图损失以外，还有对抗和感知损失，
对抗损失：建立一个额外的鉴别器并引入对抗损失，
其中D表示判别器；
感知损失：使用预训练网络VGG19提取ISR和IGT的特征，然后计算提取的特征之间的距离，表示为：
其中Φ表示预训练好的VGG，
总的损失函数是：
其中β和γ是对抗损失和感知损失的权值。
有益效果：本发明提出的一种热力图感知的金字塔人脸超分辨率网络：本发明提出了一种热力图感知卷积，该卷积具有空间变化的卷积核以恢复不同的区域，从而充分利用了人脸结构的先验知识。本发明提出了热力图感知的双分支金字塔人脸超分辨率网络(HaPSR)，该网络包括：用于提取有用特征的公共特征提取模块，以及用于人脸重建和热力图估计的超分辨率分支和热力图估计分支。本发明验证和分析了我们提出的HaPSR在人脸超分辨率方面的有效性。所提出的方法在视觉效果和客观评价方面都达到了最先进的性能。
附图说明
图1为HaPSR的总体结构；
图2为HaB结构；
图3为空间变化的卷积核的生成示意图；
图4为我们的方法与其他几个SOTA方法的主观结果对比，图4(a)为LR；图4(b)为Bicubic的结果；图4(c)为SRCNN的结果；图4(d)为VDSR的结果；图4(e)为URDGN的结果；图4(f)为MNCE的结果；图4(g)为DIC的结果；图4(h)为HaPSR的结果；图4(i)为HaPSRGAN的结果；图4(j)为HR；
图5为使用本发明的方法与不使用自适应权重学习策略和不使用HaB的主观结果对比，其中，图5(a)为LR；图5(b)为PSR+α模型的结果；图5(c)为PSR+α+HaB的结果。
具体实施方式
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
人脸幻觉旨在将LR人脸图像ILR转换为相应的HR人脸图像IHR，从而生成SR结果ISR。在本发明中，我们设计了一种新颖的热力图感知卷积，该卷积可以针对人脸图像中不同区域生成空间变化的卷积核，从而有效地提高了重建性能。此外，为了恢复具有更好视觉质量和更饱满人脸细节的SR结果，我们采用对抗损失和感知损失来微调我们的模型。接下来，我们介绍我们提出的HaPSR方法的细节。
(1)HaPSR：
给定一个低分辨率人脸图像ILR，人脸幻觉方法旨在恢复出相应的高质量人脸图像。现有的方法将有着空间共享卷积核的卷积应用在不同的人脸区域上。然而，不同的人脸区域之间存在巨大差异。因此，在不同的人脸区域上应用带有空间共享卷积核的卷积是不合理且无效的，并且将导致缺少重要人脸细节。我们认为卷积核应该在不同像素上适应性地变化。在本发明中，我们开发了一个新颖的热力图感知卷积(HaConv)，该卷积利用热力图信息来为不同的人脸区域生成空间变化的卷积核。基于HaConv，我们构建了一个双分支人脸超分辨率网络，该网络有三部分组成：通用功能提取模块(CFEM)，超分辨率分支(SRB)和热力图估计分支(HEB)。我们在图1中展示了拟议的HaPSR的网络架构。
首先，ILR被送入CFEM去提取特征，生成用于人脸重建和热力图估计的特征Fc，
Fc＝fCFEM(ILR)，
其中fCFEM表示CFEM函数，该函数由一个卷积层和几个残差块ResBlock(Deepresidual learning for image recognition)组成。然后将提取的特征同时馈入两个分支。
我们的SRB和HEB分别将Fc传递给一个残差块ResBlock，以获得适合超分辨率和热力图估计任务的特征F1和H1。之后，将特征F1和H1和馈送到这两个分支中。这两个分支均是金字塔体系结构，该金字塔体系结构一个包括三个步骤，每个步骤都共享相同的操作，令l＝1，2，3表示步骤。令Fl和Hl分别为SRB和HEB的特征，以下过程可以表示如下。
为了利用热力图生成空间变化的卷积核以恢复不同的人脸区域，将Fl和Hl馈入热力图感知块(HaB，由HaConv和标准卷积组成)，
Al＝fHaB(Fl，Hl)，
其中fHaB表示HaB函数，Al则是带有空间变化卷积核的卷积生成的特征。接着Al和Hl被传递到后面的层，生成下一步的特征，
其中
和
分别表示SRB和HEB中由残差块ResBlock和上采样UpsambleBlock组成的RU函数，Fl+1和片l+1则是l+1步的特征。(上采样Upsample Block是由亚像素卷积pixel-shuffle(Real-time single image and video super-resolution using anefficient sub-pixel convolutional neural network)和一个卷积层组成的。)与此同时，Fl+1还会被用来生成第1步的中间结果，
Il＝fConv(Fl+1)，l＝1，2，3，
其中fConv表示卷积操作，Il则是第l步的中间结果。为了获得最终重建的人脸图像，自然而然会直接计算所有中间结果的上采样版本的加和。但是，它不够灵活。为了使融合更加有效和灵活，我们设计了一种自适应权重学习策略，可以将其表示为：
其中↑s表示用Bicubic上采样×s倍，α是我们的自适应权重学习策略的可学习权重。显然，学习权重α比固定权重更灵活，可以预期会促进不同结果的有效融合。经过三步，对热力图特征H4进行了卷积运算，得到了最终的热力图HRec。
为了重建清晰的人脸图像，我们利用像素损失和热图损失定义如下：
其中IGT和HGT是高质量人脸图像和热力图的参考标准。
(2)HaB
现有的人脸幻觉方法将人脸图像看成一个整体，并以相同的模式对整张人脸进行恢复。但是，不同的人脸区域有相当大的差异，需要区别对待。因此，在先前的工作中将空间共享的卷积核应用于整个人脸图像是不合理且无效的。不同的是，我们设计的HaConv具有空间变化卷积核。我们将HaConv嵌入到HaB中，HaB的结构如图2所示。
具体来说，给定SRB中名为Fl的特征和HEB中名为Hl的特征，HaB首先使用两个不同的标准卷积层将它们映射到同一空间，
其中
和
是两个卷积层的输出。由于热力图提供了人脸结构信息，因此很自然地使用热力图来为不同像素生成空间变化的卷积核。将Fl和Hl映射到同一空间后，下一步是使用带有空间变化卷积核的卷积。
标准卷积：首先，我们展示了使用卷积核W和输入特征
来进行标准卷积的过程：
其中
表示
中以(x，y)为中心的块，*代表卷积操作，而Vl(x，y)则表示卷积生成的Vl中以(x，y)为中心的向量。
热力图感知卷积：显然，标准卷积应用相同的卷积核于所有不同的像素。然而，我们认为不同的人脸区域具有不同的特征，并且需要不同的处理方法，因此我们提出了利用热力图信息生成空间变化卷积核的HaConv，该过程如图3所示。首先，我们从
和提取与卷积核W相同大小的块，即
然后利用该块生成空间变化的卷积核。首先我们计算
块中其他像素与中心像素之间相似性矩阵，
其中M为相似度矩阵，Ω(x，y)代表卷积窗口。接着根据相似度矩阵，我们生成自适应的卷积核，
其中Kl[x，y]即为以(x，y)为中心的块对应的自适应的卷积核。接着，我们计算Kl[x，y]和W的点积来生成最终的空间变化卷积核
其中
表示点积，
为最终的空间变化的卷积核。最终，我们应用空间变化的卷积核于
其中
为卷积后的输出。我们可以看到
不止与W有关，也会受到
的影响。而且对于
中的每一个块，卷积核随着
的变化而变化，从而实现了热力图感知卷积。在经过热力图感知卷积之后，得到的特征经过一个标准的卷积和来自于Fl的跳跃连接，
其中Al是生成的特征。在这种模式下，我们的HaPSR可以在不同区域使用空间变化的卷积核执行卷积并改善人脸重建。
(3)损失函数
对抗损失：考虑到GAN(Generative adversarial nets)可以改善图像质量并增强人脸细节，我们建立了一个额外的鉴别器并引入了对抗损失：
其中D表示判别器。
感知损失：我们还引入了感知损失，以提高感知质量。我们使用预训练网络VGG19(Very deep convolutional networks for large-scale image recognition)提取ISR和IGT的特征，然后测量这些特征之间的距离，可表示为：
其中Φ表示预训练好的VGG。
总的损失函数是：
其中β和γ是对抗损失和感知损失的权值。
本发明对提出的热力图感知的金字塔人脸超分辨率进行了验证实验：
(1)实验设置
数据集和指标：我们的模型是在CelebA上训练的，该模型具有数千个具有较大姿势多样性的人脸图像。根据前人的经验，我们选择前18000张人脸图像作为训练集，并使用额外的260张人脸图像作为测试集。首先，我们将人脸图像裁剪至128×128来作为HR人脸图像，然后通过Bicubic将其下采样到16×16作为LR图像。对于人脸热力图，我们检测到68个人脸关键点，并以每个关键点为中心生成相应的热力图。引入峰值信噪比(PSNR)和结构相似度(SSIM)指标作为评估指标。它们是在转换后的YCbCr空间的Y通道中计算的。
实验细节：我们的特征提取模块由若干个ResBlocks和卷积层组成。ResBlocks的数量为6，通道的数量为64。我们通过像素损失和热力图损失来训练面向PSNR的模型HaPSR。在训练基于GAN的模型HaPSRGAN时，我们使用预先训练的面向PSNR的模型作为初始化，权重β和γ分别设置为5e-4和0.1。我们选择Adam作为我们模型的优化器，并且在整个训练阶段的学习率均设为1e-4。
比较方法：在我们的实验中，我们将提出的HaPSR与几种SOTA方法进行了比较，包括SRCNN(Image super-resolution using deep convolutional networks)，VDSR(Accurate image super-resolution using very deep convolutional networks)，URDGN(Ultra-resolving face images by discriminative generative networks)，MNCE(Deep cnn denoiser and multi-layer neighbor component embedding for facehallucination)，FSRNet(Fsrnet：End-to-end learning face super-resolution withfacial prior)和DIC(Deep face super-resolution with iterative collaborationbetween attentive recovery and landmark estimation)。其中，SRCNN和VDSR是自然图像超分辨率方法。URDGN和MNCE是早期的不使用任何人脸先验信息的人脸超分辨率方法，FSRNet和DIC是最近几年提出的利用人脸先验信息指导人脸超分辨率重建的方法。
(2)对比实验
主观结果：图4显示了从CelebA选择的几张人脸图像的超分辨率结果。我们可以看到，SRCNN和VDSR属于一般的图像超分辨率方法，不适用于人脸图像，因此无法恢复良好的人脸图像，且生成的人脸图像过于模糊难以区分。URDGN旨在增强视觉效果，但是结果中包含许多捏造。MNCE是一种基于深度学习的幻觉方法，具有强大的表示能力，但忽略了人脸特殊的先验信息，因此竞争力较弱。FSRNet和DIC考虑了人脸先验信息，但使用空间共享的卷积核来恢复整个人脸图像。而我们提出的HaPSR开发的HaB可以利用先验信息来实现热力图感知卷积，通过有区别地恢复不同人脸区域，我们的方法可以生成更清晰的人脸图像，尤其是在人脸五官部位，这要归功于我们的HaB。
表1
本发明的方法与其他几种SOTA方法的客观比较，最好的结果被标记为加粗。
客观结果：表1使用上述指标列出了不同超分辨率方法的客观性能。HaPSR实现了最佳的定量性能。HaPSR的PSNR比相比于第二名DIC高0.21 dB，SSIM相比于第二名FSRNet高出0.036。总体来看，我们的HaPSR可以生成较清晰的人脸图像，同时实现最佳的定量性能。
(3)消融分析
为了验证提出的HaPSR中每个成分的作用，我们进一步进行了一系列消融研究。
自适应权重学习的有效性：首先，我们验证自适应权重学习的有效性。我们从HaPSR中移除HaB，并将所有三个权重α1，α2，α3设置为1/3，并将其命名为PSR模型。然后，我们将这三个权重设置为可学习参数，并将其命名为PSR+α模型。之后，我们在表2中列出了这两个模型的PSNR和SSIM。从表2中可以看到，当设置可学习权重后，PSNR可以提高0.05dB，并且仅增加三个附加参数，从而验证了所提出的自适应权重学习策略的有效性。
HaB的有效性：其次，我们证明HaB的有效性。基于PSR+α模型，我们将HaB添加到SRB中，即我们的HaPSR(PSR+α+HaB)，然后比较它们的性能。从表2可以看到，我们提出的HaPSR实现了最佳性能。与PSR+α相比，我们的HaPSR利用热力图信息来生成针对不同像素的空间变化的卷积核，从而使PSNR和SSIM分别提高了0.10dB和0.0044。这证明我们的HaB可以实现空间变化的卷积核，并且对于人脸重建是有效的。此外，我们在图5中还展示了不同模型超分辨的主观结果，从中我们可以看到PSR+α+HaB的结果优于PSR+α的结果，这应归因于我们提出的HaB。
表2
本发明的方法与不使用自适应学习策略和不使用HaB的模型的客观比较，最好的结果被标记为加粗。
结论：
在本发明中，我们构建了热力图感知的金字塔人脸超分辨率网络。具体来看，我们设计了一种热力图感知卷积，可以根据人脸热力图的指导为不同的人脸区域生成空间变化的卷积核。结合热力图感知卷积，我们设计了热力图感知的金字塔人脸超分辨率网络，包括一个公共特征提取模块，超分辨率分支和热力图估计分支。我们利用公共特征提取模块为两个分支提取有用信息，并将热力图感知卷积嵌入到超分辨率分支中，以实现热力图感知人脸幻觉。定量和定性结果均证明了我们方法的有效性。
以上实施示例只是用于帮助理解本发明的方法及其核心思想，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (3)
1.一种热力图感知的金字塔人脸超分辨率网络模型的构建方法，其特征在于，所述构建方法包括：
建立热力图感知卷积HaConv，所述卷积HaConv利用热力图信息来为不同的人脸区域生成空间变化的卷积核，基于所述卷积HaConv，
构建双分支金字塔面超分辨率网络，所述双分支人脸超分辨率网络包括：通用功能提取模块CFEM，超分辨率分支SRB和热力图估计分支HEB，
首先，将低分辨率人脸图像ILR送入通用功能提取模块CFEM提取特征，生成用于人脸重建和热力图估计的特征Fc，
Fc＝fCFEM(ILR)，
其中，fCFEM表示CFEM函数，所述函数fCFEM由一个卷积层和几个残差块ResBlock组成，然后将提取的特征Fc同时馈入超分辨率分支SRB和热力图估计分支HEB，
所述超分辨率分支SRB和热力图估计分支HEB分别将特征Fc传递给一个残差块ResBlock，以获得适合人脸超分辨率和热力图估计任务的特征F1和H1，之后，将特征F1和H1馈送到双分支人脸超分辨率网络中的两个分支中，所述两个分支均是金字塔体系结构，该金字塔体系结构一共包括三个步骤，每个步骤都共享相同的操作，令l＝1，2，3表示步骤，令特征Fl和Hl分别为超分辨率分支SRB和热力图估计分支HEB的特征，包括以下过程
为了利用热力图生成空间变化的卷积核以恢复不同的人脸区域，将特征Fl和Hl馈入热力图感知块HaB，
Al＝fHaB(Fl，Hl)，
其中fHaB表示HaB函数，Al则是带有空间变化卷积核的卷积生成的特征，接着，特征Al和Hl被传递到后面的层，生成下一步的特征，
其中
和
分别表示SRB和HEB中由残差块ResBlock和上采样Upsamble Block组成的RU函数，Fl+1和Hl+1则是l+1步的特征，与此同时，Fl+1还被用于生成第l步的中间结果，
Il＝fConv(Fl+1)，l＝1，2，3，
其中fConv表示卷积操作，Il是第l步的中间结果，
建立一种自适应权重学习策略，表示为：
其中
表示用Bicubic上采样×s倍，α是自适应权重学习策略的可学习权重，
经过三步，对热力图特征H4进行了卷积运算，得到了最终的热力图HRec，
利用像素损失和热力图损失定义如下：
其中IGT和HGT是高质量人脸图像和热力图的参考标准。
2.根据权利要求1所述的一种热力图感知的金字塔人脸超分辨率网络模型的构建方法，其特征在于，所述HaB是进行过改进的，即将HaConv嵌入到HaB中，具体的，
给定SRB中名为Fl的特征和HEB中名为Hl的特征，HaB首先使用两个不同的标准卷积层将它们映射到同一空间，
其中
和
是两个卷积层的输出，将Fl和Hl映射到同一空间后，下一步使用带有空间变化卷积核的卷积，
标准卷积：首先，使用卷积核W和输入特征
来进行标准卷积的过程为：
其中
表示
中以(x，y)为中心的块，*代表卷积操作，而Vl(x，y)则表示卷积生成的Vl中以(x，y)为中心的向量，
热力图感知卷积：利用热力图信息生成空间变化卷积核的HaConv，首先，我们从
中提取与卷积核W相同大小的块，即
然后利用该块生成空间变化的卷积核，
先计算
块中其他像素与中心像素之间相似性矩阵，
其中M为相似度矩阵，Ω(x，y)代表卷积窗口，接着根据相似度矩阵，生成自适应的卷积核，
其中Kl[x，y]即为以(x，y)为中心的块对应的自适应的卷积核，接着，计算Kl[x，y]和W的点积来生成最终的空间变化卷积核，
其中
表示点积，
为最终的空间变化的卷积核，最终，应用空间变化的卷积核于，
其中
为卷积后的输出，对于
中的每一个块，卷积核随着
的变化而变化，从而实现了热力图感知卷积，在经过热力图感知卷积之后，得到的特征经过一个标准卷积和来自于Fl的跳跃连接，
其中Al是生成的特征，在这种模式下，HaPSR在不同区域使用空间变化的卷积核执行卷积并改善人脸重建。
3.根据权利要求1所述的一种热力图感知的金字塔人脸超分辨率网络模型的构建方法，其特征在于，对于损失函数，除了像素损失和热力图损失以外，还有对抗和感知损失，
对抗损失：建立一个额外的鉴别器并引入对抗损失，
其中D表示判别器；
感知损失：使用预训练网络VGG19提取ISR和IGT的特征，然后计算提取的特征之间的距离，表示为：
其中Φ表示预训练好的VGG，
总的损失函数是：
其中β和γ是对抗损失和感知损失的权值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110637474.7A CN113344783B (zh) | 2021-06-08 | 2021-06-08 | 一种热力图感知的金字塔人脸超分辨率网络 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110637474.7A CN113344783B (zh) | 2021-06-08 | 2021-06-08 | 一种热力图感知的金字塔人脸超分辨率网络 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113344783A true CN113344783A (zh) | 2021-09-03 |
| CN113344783B CN113344783B (zh) | 2022-10-21 |
Family
ID=77475359
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110637474.7A Active CN113344783B (zh) | 2021-06-08 | 2021-06-08 | 一种热力图感知的金字塔人脸超分辨率网络 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113344783B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130011078A1 (en) * | 2011-02-03 | 2013-01-10 | Massachusetts Institute Of Technology | Hyper-Resolution Imaging |
| CN108875540A (zh) * | 2018-03-12 | 2018-11-23 | 北京旷视科技有限公司 | 图像处理方法、装置和系统及存储介质 |
| US20190095795A1 (en) * | 2017-03-15 | 2019-03-28 | Samsung Electronics Co., Ltd. | System and method for designing efficient super resolution deep convolutional neural networks by cascade network training, cascade network trimming, and dilated convolutions |
| WO2020055543A1 (en) * | 2018-08-16 | 2020-03-19 | Essenlix Corporation | Image-based assay using intelligent monitoring structures |
| CN111291809A (zh) * | 2020-02-03 | 2020-06-16 | 华为技术有限公司 | 一种处理装置、方法及存储介质 |
| CN111488779A (zh) * | 2019-07-19 | 2020-08-04 | 同观科技（深圳）有限公司 | 视频图像超分辨率重建方法、装置、服务器及存储介质 |
| CN112085655A (zh) * | 2020-08-21 | 2020-12-15 | 东南大学 | 一种基于密集残差注意面部先验网络的人脸超分辨率方法 |
-
2021
- 2021-06-08 CN CN202110637474.7A patent/CN113344783B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130011078A1 (en) * | 2011-02-03 | 2013-01-10 | Massachusetts Institute Of Technology | Hyper-Resolution Imaging |
| US20190095795A1 (en) * | 2017-03-15 | 2019-03-28 | Samsung Electronics Co., Ltd. | System and method for designing efficient super resolution deep convolutional neural networks by cascade network training, cascade network trimming, and dilated convolutions |
| CN108875540A (zh) * | 2018-03-12 | 2018-11-23 | 北京旷视科技有限公司 | 图像处理方法、装置和系统及存储介质 |
| WO2020055543A1 (en) * | 2018-08-16 | 2020-03-19 | Essenlix Corporation | Image-based assay using intelligent monitoring structures |
| CN111488779A (zh) * | 2019-07-19 | 2020-08-04 | 同观科技（深圳）有限公司 | 视频图像超分辨率重建方法、装置、服务器及存储介质 |
| CN111291809A (zh) * | 2020-02-03 | 2020-06-16 | 华为技术有限公司 | 一种处理装置、方法及存储介质 |
| CN112085655A (zh) * | 2020-08-21 | 2020-12-15 | 东南大学 | 一种基于密集残差注意面部先验网络的人脸超分辨率方法 |
Non-Patent Citations (3)
| Title |
|---|
| CHAOFENG CHEN等: ""Learning Spatial Attention for Face Super-Resolution"", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
| KAIMING HE等: ""Deep residual learning for image recognition"", 《PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION 2016》 * |
| 王欢等: "联合多任务学习的人脸超分辨率重建", 《中国图象图形学报》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113344783B (zh) | 2022-10-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111861961B (zh) | 单幅图像超分辨率的多尺度残差融合模型及其复原方法 | |
| CN106683067B (zh) | 一种基于残差子图像的深度学习超分辨率重建方法 | |
| Chen et al. | Fsrnet: End-to-end learning face super-resolution with facial priors | |
| Engin et al. | Cycle-dehaze: Enhanced cyclegan for single image dehazing | |
| CN111127308B (zh) | 用于局部遮挡下单样本人脸识别的镜像特征重排修复方法 | |
| CN111080511A (zh) | 一种端到端的高分辨率多特征提取的人脸交换方法 | |
| CN113344806A (zh) | 一种基于全局特征融合注意力网络的图像去雾方法与系统 | |
| CN107123089A (zh) | 基于深度卷积网络的遥感图像超分辨重建方法及系统 | |
| CN110378208B (zh) | 一种基于深度残差网络的行为识别方法 | |
| CN108629753A (zh) | 一种基于循环神经网络的人脸图像恢复方法及装置 | |
| CN111275638B (zh) | 基于多通道注意力选择生成对抗网络的人脸修复方法 | |
| CN111768340B (zh) | 一种基于密集多路径网络的超分辨图像重构方法和系统 | |
| CN112446835B (zh) | 图像恢复方法、图像恢复网络训练方法、装置和存储介质 | |
| CN102243711A (zh) | 一种基于邻域嵌套的图像超分辨率重建方法 | |
| CN112686817B (zh) | 一种基于不确定性估计的图像补全方法 | |
| CN114581560A (zh) | 基于注意力机制的多尺度神经网络红外图像彩色化方法 | |
| Zheng et al. | T-net: Deep stacked scale-iteration network for image dehazing | |
| CN117151990B (zh) | 一种基于自注意力编码解码的图像去雾方法 | |
| Bao et al. | S 2 net: Shadow mask-based semantic-aware network for single-image shadow removal | |
| CN109272450A (zh) | 一种基于卷积神经网络的图像超分方法 | |
| CN110782503B (zh) | 一种基于两分支深度相关网络的人脸图像合成方法和装置 | |
| Wang et al. | Heatmap-aware pyramid face hallucination | |
| Guan et al. | Frequency Generation for Real-World Image Super-Resolution | |
| CN113344783B (zh) | 一种热力图感知的金字塔人脸超分辨率网络 | |
| Li et al. | Adversarial feature hybrid framework for steganography with shifted window local loss |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |