CN111915487B - 基于分层多尺度残差融合网络的人脸超分辨率方法及装置 - Google Patents

基于分层多尺度残差融合网络的人脸超分辨率方法及装置 Download PDF

Info

Publication number
CN111915487B
CN111915487B CN202010771552.8A CN202010771552A CN111915487B CN 111915487 B CN111915487 B CN 111915487B CN 202010771552 A CN202010771552 A CN 202010771552A CN 111915487 B CN111915487 B CN 111915487B
Authority
CN
China
Prior art keywords
module
feature
resolution
diagram
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010771552.8A
Other languages
English (en)
Other versions
CN111915487A (zh
Inventor
卢涛
王宇
张彦铎
吴云韬
陈灯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Institute of Technology
Original Assignee
Wuhan Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Institute of Technology filed Critical Wuhan Institute of Technology
Priority to CN202010771552.8A priority Critical patent/CN111915487B/zh
Publication of CN111915487A publication Critical patent/CN111915487A/zh
Application granted granted Critical
Publication of CN111915487B publication Critical patent/CN111915487B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于分层多尺度残差融合网络的人脸超分辨率方法及装置，属于人脸图像超分辨率领域，该方法包括：将高分辨率人脸图像下采样至目标低分辨率人脸图像，将目标低分辨率图像进行分块操作，分出相互重叠的图像块后，使用瓶颈注意力模块提取精细的脸部特征图；将提取的精细脸部特征图发送到多尺度残差模块，多尺度残差模块内使用不同卷积层提取特征信息，使用交叉的方式实现特征信息共享，多尺度残差模块外使用跳跃连接的方式实现多尺度特征信息融合，以更有效的提高SR性能；通过特征融合来更新目标低分辨率人脸图像的特征图以产生高分辨率结果。本发明所提出的网络优于其他最新的人脸图像超分辨率算法，能生成更高质量的人脸图像。

Description

基于分层多尺度残差融合网络的人脸超分辨率方法及装置
技术领域
本发明属于人脸图像超分辨率技术领域，更具体地，涉及一种基于分层多尺度残差融合网络的人脸超分辨率方法及装置。
背景技术
人脸超分辨率(Super-Resolution，SR)是一种从输入的低分辨率(LowResolution，LR)人脸图像中推断出潜在的高分辨率(High Resolution，HR)图像的技术，可以显著增强LR人脸图像的细节信息。因此，它被广泛应用于人脸识别、刑事侦察、娱乐等领域。
虽然人脸SR也被归类为自然图像SR，但是大多数基于深度学习SR方法的自然图像都不适合这种情况。由于人脸结构有许多不同于自然图像的先验知识，自然图像SR方法不能充分利用人脸图像唯一的先验信息，这使得人脸SR任务不同于一般的自然图像SR问题。近年来，人脸先验在现有的人脸SR算法中得到了广泛的应用。例如：Song提出了一种基于分量生成和增强学习的幻觉人脸图像算法(Learning to hallucinate face images viaComponent Generation and Enhancement，LCGE)，证明了人脸分量在HR图像重建中的作用；Yang等人为了获取与原始高分辨率图像更接近的逼真效果，在生成网络中加入增强判别器(Enhanced discriminative generative adversarial network for face super-resolution，EDGAN)，并运用到人脸图像超分辨率领域；Yu等人提出了一种变换式自动编码器网络来超分辨率非常低分辨率的未对准和嘈杂的人脸图像(Hallucinating very low-resolution unaligned and noisy face images by transformative discriminativeautoencoders，TDAE)；Lu等人提出了一种基于区域的并行深度残差网络(ParallelRegion-Based Deep Residual Networks for Face Hallucination，PRDRN)，它利用基于区域的人脸幻觉来进一步学习准确的先验信息。
上述基于学习的方法取得了较好的客观和主观效果。然而，现有的人脸SR方法大多是为了提高网络性能而盲目增加网络深度，而忽略了对人脸LR图像特征的充分利用。随着网络深度的增加，这些面部特征在传播过程中可能会逐渐消失。因此，如何充分利用人脸图像的多尺度次结构信息也是非常重要的。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提出了一种基于分层多尺度残差融合网络的人脸超分辨率方法及装置，由此解决目前人脸超分辨率重建算法在网络的重建性能及人脸图像的质量上均存在一定的局限性的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种基于分层多尺度残差融合网络的人脸超分辨率方法，包括：
S1：将高分辨率人脸图像下采样至目标低分辨率人脸图像，将所述目标低分辨率人脸图像进行分块操作，分出相互重叠的图像块；
S2：将所述相互重叠的图像块输入瓶颈注意力模块，使用所述瓶颈注意力模块提取精细的脸部特征图；
S3：由多尺度残差模块对提取的精细脸部特征图进行处理，以由所述多尺度残差模块使用不同卷积层提取特征信息，使用信息共享的方式实现特征信息共享，在所述多尺度残差模块外使用跳跃连接的方式实现多尺度特征信息融合；
S4：将经过多尺度残差模块得到的人脸特征信息通过特征融合来更新所述目标低分辨率人脸图像的纹理特征图以产生高分辨率结果。
优选地，所述瓶颈注意力模块包括以并联方式连接的通道注意力模块和空间注意力模块，在所述通道注意力模块和所述空间注意力模块之后为融合模块。
步骤S2包括：
S2.1：将所述相互重叠的图像块输入卷积层，以生产粗糙的面部特征图像，将所述粗糙的面部特征图像同时发送到通道注意力模块和空间注意力模块，通过所述通道注意力模块得到通道注意力图，通过所述空间注意力模块得到空间注意力图；
S2.2：将所述通道注意力图和所述空间注意力图扩展到相同尺寸后，将扩展后的通道注意力图与空间注意力图并行融合，通过融合模块将提取的局部特征图与输入的全局特征图进行融合，生成精细的面部特征，所述局部特征图表示通道注意力图和空间注意力图融合后的特征图，全局特征图表示输入的相互重叠的图像块。
优选地，所述多尺度残差模块包括三层子网络，不同的子网络使用不同的卷积内核。
优选地，步骤S3包括：
S3.1：通过第一层子网络中的各不同卷积核分别提取精细的人脸特征图中的人脸多尺度特征信息，然后通过三个卷积层之间的交叉连接的方式达到信息共享，以信息共享的方式输入到第二层子网络中的各不同卷积核；
S3.2：由第二层子网络中的各卷积核将第一层子网络中各卷积核提取的特征信息再次融合；
S3.3：通过最后一层子网络的卷积层将第二层子网络中的各卷积核融合后的特征信息融合在一起，使得多尺度残差模块的输入和输出具有相同数量的特征映射。
优选地，在步骤S4之前，所述方法还包括：
将各多尺度残差模块的输入和输出通过快捷连接和逐元素添加的方式级联在一起。
优选地，由FLR＝ω*[M0,M1,...,Mi,...]+b将各多尺度残差模块的输入和输出通过快捷连接和逐元素添加的方式级联在一起，其中，ω和b分别表示权重和偏差，M0表示瓶颈注意力模块的输出，Mi(i≠0)表示第i个多尺度残差模块的输出，[M0,M1,...,Mi,...]表示级联操作。
按照本发明的另一方面，提供了一种基于分层多尺度残差融合网络的人脸超分辨率装置，包括：
分块模块，用于将高分辨率人脸图像下采样至目标低分辨率人脸图像，将所述目标低分辨率人脸图像进行分块操作，分出相互重叠的图像块；
瓶颈注意力模块，用于从所述相互重叠的图像块中提取精细的脸部特征图；
多尺度残差模块，用于使用不同卷积层提取所述精细的脸部特征图中的特征信息，使用信息共享的方式实现特征信息共享，在所述多尺度残差模块外使用跳跃连接的方式实现多尺度特征信息融合；
融合模块，用于将经过多尺度残差模块得到的人脸特征信息通过特征融合来更新所述目标低分辨率人脸图像的纹理特征图以产生高分辨率结果。
按照本发明的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述方法的步骤。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
本发明提出了一种有效的多尺度残差模块，用于自适应检测不同尺度下的人脸图像特征。在多尺度残差模块的基础上，结合瓶颈注意力模块，提出了一种人脸SR网络。它是一种简单有效的人脸SR模型，可以充分利用局部多尺度特征和层次特征来获得准确的人脸SR图像。
附图说明
图1是本发明实施例提供的一种多尺度残差融合网络的人脸超分辨率方法的流程示意图；
图2是本发明实施例提供的一种多尺度残差融合网络的网络框架图；
图3是本发明实施例提供的一种瓶颈注意力模块结构图；
图4是本发明实施例提供的一种多尺度残差模块结构图；
图5是本发明实施例提供的一种在FEI数据集上的结果图，其中，(a)为插值(Bicubic)图像；(b)为原始高分辨率图像；(c)为本发明实验结果图；
图6是本发明实施例提供的一种装置结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例一
本发明提出了一种基于分层多尺度残差融合网络的人脸超分辨率的方法，该人脸图像超分辨率方法使用瓶颈注意模块获取精细的人脸特征。然后使用多尺度残差模块提取层次结构信息，通过提取的层次结构信息的有效融合，以获得更好的视觉效果。
图1是本发明实施例提供的一种多尺度残差融合网络的人脸超分辨率方法的流程示意图，如图2所示，本发明提出的一种基于分层多尺度残差融合网络的人脸超分辨率方法的整体网络结构，通过卷积层(Convolution Layer)、瓶颈注意力模块(BottleneckAttention Module)、多尺度残差模块(Multi-scale Residual Module)、分层特征融合层(Hierarchical Feature Fusion Layer)及像素重组(PixelShuffle)实现多尺度残差融合网络的人脸超分辨率识别，该结构具有利用多视角的侧脸图像的纹理信息进行重建正面人脸图像的能力。该方法主要通过以下四个步骤来实现：
S1：将高分辨率人脸图像下采样至目标低分辨率人脸图像，将目标低分辨率人脸图像进行分块操作，分出相互重叠的图像块；
在本发明实施例中，步骤S1可以通过以下方式实现：
将所选取的多张高分辨率人脸图像通过下采样得到低分辨率人脸图像数据集，并将低分辨率人脸图像数据集中的人脸图像进行分块处理，分成若干个指定的像素大小，通过水平翻转以及旋转进行数据增强，将增强后的数据集通过网络进行特征提取。
S2：将相互重叠的图像块输入瓶颈注意力模块，使用瓶颈注意力模块提取精细的脸部特征图；
在本发明实施例中，步骤S2中的瓶颈注意力模块，主要是从面部中提取精细的人脸特征，包括以下步骤：首先将相互重叠的图像块发送到卷积层(如1×1卷积层)以生成粗糙的面部特征；其次将提取的粗糙的面部特征输入到瓶颈注意力模块，通过并行的通道注意分支和空间注意分支，将提取的局部特征图与输入的全局特征图进行融合，生成精细的面部特征。
具体地，如图3所示，瓶颈注意力模块是通过以并联的方式将通道注意力模块和空间注意力模块来级联在一起，然后通过瓶颈注意融合模块对两者进行融合得到一个精细的人脸特征注意图。首先通过第一层1×1卷积层(如图2所示)提取粗糙的面部图像特征，然后将其提取的粗糙面部图像特征同时输入到瓶颈注意力模块的两个分支(通道注意力分支和空间注意力分支)，通过此两分支生成不同注意力图
Figure BDA0002616823520000061
和
Figure BDA0002616823520000062
由于两个注意力图的形状不同，在融合之前先将其扩展到
Figure BDA0002616823520000063
(H代表图像的高，W代表图像的宽，C代表图像的通道数量)，然后将两个分支的特征注意力图并行融合，使所提取的局部特征图和全局特征图互补，得到精细的人脸特征图，从而恢复更多的人脸细节信息，提高人脸重建的性能，其中，局部特征图表示两个分支的特征注意力图融合后的特征图，全局特征图表示输入到瓶颈注意力模块的原始输入图。
S3：将提取的精细脸部特征图发送到多尺度残差模块，多尺度残差模块内使用不同卷积层提取特征信息，使用信息共享的方式实现特征信息共享，多尺度残差模块外使用跳跃连接的方式实现多尺度特征信息融合，以更有效的提高SR性能；
在本发明实施例中，步骤S3可以通过以下方式实现：
将上述提取的脸部特征发送到多尺度残差模块，多尺度残差模块内使用不同卷积层提取特征信息，使用信息共享的方式实现特征信息共享，多尺度残差模块外使用跳跃连接的方式实现多尺度特征信息融合，以更有效的提高SR性能。
具体地，将瓶颈注意力模块提取的人脸精细特征输入到多尺度残差模块，多尺度残差模块内设计了三层子网，不同层的子网使用不同的卷积内核。该模块设计方法可以使不同卷积核提取的人脸特征信息共享，从而可以提取不同尺度的人脸图像特征。具体地，如图4所示，首先通过第一层的三个不同卷积核，提取人脸多尺度特征信息，然后通过三个卷积层之间的交叉连接的方式达到信息共享，再将特征信息输入到第二层的三个不同卷积核，然后再次提取人脸多尺度特征信息，最后通过最后一层的1×1的卷积层将特征信息融合在一起，从而将这些特征映射的数量减少到m个，其中，m表示特征映射数量，通过最后的1×1的卷积层将前面3个卷积层提取的特征信息融合在一起，因此，多尺度残差模块的输入和输出具有相同数量的特征映射。然后通过图2中的分层特征融合层对多尺度残差模块进行局部残差学习，将多尺度残差模块的输入和输出通过快捷连接和逐元素添加的方式级联在一起。局部残差学习的使用大大降低了计算复杂度。同时，重建网络性能也得到了提高。
S4：通过特征融合来更新目标低分辨率人脸图像的纹理特征图以产生高分辨率结果。
在本发明实施例中，分层特征融合层将多尺度残差模块所提取的人脸特征信息输送到图2中多尺度残差融合网络的末端进行重构，此分层特征融合层的输出表示为：FLR＝ω*[M0,M1,M2,M3,M4]+b，其中，ω和b分别表示权重和偏差，M0表示瓶颈注意模块的输出，Mi(i≠0)表示第i个多尺度残差模块的输出，[M0,M1,M2,M3,M4]表示级联操作。
测试实施例：
实验采用FEI人脸数据库，FEI数据库含有200人，每个人挑选出两张不同的人脸图像，每幅图大小为360×260像素，下采样四倍得到对应的低分辨率图像大小为90×65像素，提取低分辨率人脸图像块为16×16像素。
本发明与其他的图像超分辨重建算法对比，提供实验数据来表达本方法的有效性，对比实验结果的参数比较如下表1所示，表1为40张人脸图像对比实验结果(平均PSNR、SSIM和VIF)，实验结果如图5所示，(a)为Bicubic图像；(b)为原始高分辨率图像；(c)为本发明实验结果图。
表1
Algorithm Bicubic LCGE EDGAN RCAN PRDRN SRFBN 本发明
PSNR 36.29 38.55 38.67 40.25 39.36 40.13 40.51
SSIM 0.9416 0.9519 0.9475 0.9619 0.9576 0.9625 0.9644
VIF 0.6498 0.6832 0.6664 0.7328 0.7157 0.7371 0.7445
从以上表格实验数据可以看出，本发明方法均与对比方法相比获得了高的分数，即优于对比算法。
在本发明的另一实施例中，如图6所示提供了一种基于分层多尺度残差融合网络的人脸超分辨率装置的结构示意图，包括：
分块模块601，用于将高分辨率人脸图像下采样至目标低分辨率人脸图像，将目标低分辨率人脸图像进行分块操作，分出相互重叠的图像块；
瓶颈注意力模块602，用于从相互重叠的图像块中提取精细的脸部特征图；
多尺度残差模块603，用于使用不同卷积层提取精细的脸部特征图中的特征信息，使用信息共享的方式实现特征信息共享，在多尺度残差模块外使用跳跃连接的方式实现多尺度特征信息融合；
融合模块604，用于将经过多尺度残差模块得到的人脸特征信息通过特征融合来更新目标低分辨率人脸图像的纹理特征图以产生高分辨率结果。
其中，各模块的具体实施方式可以参考方法实施例的描述，本发明实施例将不再复述。
上述根据本发明的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD-ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的基于分层多尺度残差融合网络的人脸超分辨率方法。此外，当通用计算机访问用于实现在此示出的处理的代码时，代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。
需要指出，根据实施的需要，可将本申请中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于分层多尺度残差融合网络的人脸超分辨率方法，其特征在于，包括：
S1：将高分辨率人脸图像下采样至目标低分辨率人脸图像，将所述目标低分辨率人脸图像进行分块操作，分出相互重叠的图像块；
S2：将所述相互重叠的图像块输入瓶颈注意力模块，使用所述瓶颈注意力模块提取精细的脸部特征图；
S3：由多尺度残差模块对提取的精细脸部特征图进行处理，以由所述多尺度残差模块使用不同卷积层提取特征信息，使用信息共享的方式实现特征信息共享，在所述多尺度残差模块外使用跳跃连接的方式实现多尺度特征信息融合；
S4：将经过多尺度残差模块得到的人脸特征信息通过特征融合来更新所述目标低分辨率人脸图像的纹理特征图以产生高分辨率结果；
所述瓶颈注意力模块包括以并联方式连接的通道注意力模块和空间注意力模块，在所述通道注意力模块和所述空间注意力模块之后为融合模块；
步骤S2包括：
S2.1：将所述相互重叠的图像块输入卷积层，以生产粗糙的面部特征图像，将所述粗糙的面部特征图像同时发送到通道注意力模块和空间注意力模块，通过所述通道注意力模块得到通道注意力图，通过所述空间注意力模块得到空间注意力图；
S2.2：将所述通道注意力图和所述空间注意力图扩展到相同尺寸后，将扩展后的通道注意力图与空间注意力图并行融合，通过融合模块将提取的局部特征图与输入的全局特征图进行融合，生成精细的面部特征，所述局部特征图表示通道注意力图和空间注意力图融合后的特征图，全局特征图表示输入的相互重叠的图像块。
2.根据权利要求1所述的方法，其特征在于，所述多尺度残差模块包括三层子网络，不同的子网络使用不同的卷积内核。
3.根据权利要求2所述的方法，其特征在于，步骤S3包括：
S3.1：通过第一层子网络中的各不同卷积核分别提取精细的人脸特征图中的人脸多尺度特征信息，然后通过三个卷积层之间的交叉连接的方式达到信息共享，以信息共享的方式输入到第二层子网络中的各不同卷积核；
S3.2：由第二层子网络中的各卷积核将第一层子网络中各卷积核提取的特征信息再次融合；
S3.3：通过最后一层子网络的卷积层将第二层子网络中的各卷积核融合后的特征信息融合在一起，使得多尺度残差模块的输入和输出具有相同数量的特征映射。
4.根据权利要求3所述的方法，其特征在于，在步骤S4之前，所述方法还包括：
将各多尺度残差模块的输入和输出通过快捷连接和逐元素添加的方式级联在一起。
5.根据权利要求4所述的方法，其特征在于，由FLR＝ω*[M0,M1,...,Mi,...]+b将各多尺度残差模块的输入和输出通过快捷连接和逐元素添加的方式级联在一起，其中，ω和b分别表示权重和偏差，M0表示瓶颈注意力模块的输出，Mi,i≠0表示第i个多尺度残差模块的输出，[M0,M1,...,Mi,...]表示级联操作。
6.一种基于分层多尺度残差融合网络的人脸超分辨率装置，其特征在于，包括：
分块模块，用于将高分辨率人脸图像下采样至目标低分辨率人脸图像，将所述目标低分辨率人脸图像进行分块操作，分出相互重叠的图像块；
瓶颈注意力模块，用于从所述相互重叠的图像块中提取精细的脸部特征图；
多尺度残差模块，用于使用不同卷积层提取所述精细的脸部特征图中的特征信息，使用信息共享的方式实现特征信息共享，在所述多尺度残差模块外使用跳跃连接的方式实现多尺度特征信息融合；
融合模块，用于将经过多尺度残差模块得到的人脸特征信息通过特征融合来更新所述目标低分辨率人脸图像的纹理特征图以产生高分辨率结果；
所述瓶颈注意力模块包括以并联方式连接的通道注意力模块和空间注意力模块，在所述通道注意力模块和所述空间注意力模块之后为融合模块；
将所述相互重叠的图像块输入卷积层，以生产粗糙的面部特征图像，将所述粗糙的面部特征图像同时发送到通道注意力模块和空间注意力模块，通过所述通道注意力模块得到通道注意力图，通过所述空间注意力模块得到空间注意力图；
将所述通道注意力图和所述空间注意力图扩展到相同尺寸后，将扩展后的通道注意力图与空间注意力图并行融合，通过融合模块将提取的局部特征图与输入的全局特征图进行融合，生成精细的面部特征，所述局部特征图表示通道注意力图和空间注意力图融合后的特征图，全局特征图表示输入的相互重叠的图像块。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5任一项所述方法的步骤。
CN202010771552.8A 2020-08-04 2020-08-04 基于分层多尺度残差融合网络的人脸超分辨率方法及装置 Active CN111915487B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010771552.8A CN111915487B (zh) 2020-08-04 2020-08-04 基于分层多尺度残差融合网络的人脸超分辨率方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010771552.8A CN111915487B (zh) 2020-08-04 2020-08-04 基于分层多尺度残差融合网络的人脸超分辨率方法及装置

Publications (2)

Publication Number Publication Date
CN111915487A CN111915487A (zh) 2020-11-10
CN111915487B true CN111915487B (zh) 2022-05-10

Family

ID=73286550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010771552.8A Active CN111915487B (zh) 2020-08-04 2020-08-04 基于分层多尺度残差融合网络的人脸超分辨率方法及装置

Country Status (1)

Country Link
CN (1) CN111915487B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112734642B (zh) * 2021-01-12 2023-03-10 武汉工程大学 多尺度纹理转移残差网络的遥感卫星超分辨率方法及装置
CN113095185A (zh) * 2021-03-31 2021-07-09 新疆爱华盈通信息技术有限公司 人脸表情识别方法、装置、设备及存储介质
CN113192089B (zh) * 2021-04-12 2022-07-19 温州医科大学附属眼视光医院 一种用于图像分割的双向交叉连接的卷积神经网络
CN113222835B (zh) * 2021-04-22 2023-04-14 海南大学 基于残差网络的遥感全色和多光谱图像分布式融合方法
CN113269702A (zh) * 2021-05-21 2021-08-17 中国矿业大学 基于跨尺度特征融合的低曝光静脉图像增强方法
CN113379667B (zh) * 2021-07-16 2023-03-24 浙江大华技术股份有限公司 脸部图像生成方法、装置、设备及介质
CN113450366B (zh) * 2021-07-16 2022-08-30 桂林电子科技大学 基于AdaptGAN的低照度语义分割方法
CN114418003B (zh) * 2022-01-20 2022-09-16 北京科技大学 基于注意力机制及多尺寸信息提取的双图像识别分类方法
CN115358932B (zh) * 2022-10-24 2023-03-24 山东大学 一种多尺度特征融合的人脸超分辨率重构方法及系统
CN115690589B (zh) * 2022-12-30 2023-04-04 松立控股集团股份有限公司 一种基于交叉尺度协同约束的车辆重识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903228A (zh) * 2019-02-28 2019-06-18 合肥工业大学 一种基于卷积神经网络的图像超分辨率重建方法
CN110580680A (zh) * 2019-09-09 2019-12-17 武汉工程大学 基于组合学习的人脸超分辨率方法及装置
CN110930309A (zh) * 2019-11-20 2020-03-27 武汉工程大学 基于多视图纹理学习的人脸超分辨率方法及装置
CN110992270A (zh) * 2019-12-19 2020-04-10 西南石油大学 基于注意力的多尺度残差注意网络图像超分辨率重建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035260A (zh) * 2018-07-27 2018-12-18 京东方科技集团股份有限公司 一种天空区域分割方法、装置和卷积神经网络

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903228A (zh) * 2019-02-28 2019-06-18 合肥工业大学 一种基于卷积神经网络的图像超分辨率重建方法
CN110580680A (zh) * 2019-09-09 2019-12-17 武汉工程大学 基于组合学习的人脸超分辨率方法及装置
CN110930309A (zh) * 2019-11-20 2020-03-27 武汉工程大学 基于多视图纹理学习的人脸超分辨率方法及装置
CN110992270A (zh) * 2019-12-19 2020-04-10 西南石油大学 基于注意力的多尺度残差注意网络图像超分辨率重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
多尺度残差深度神经网络的卫星图像超分辨率算法;汪家明等;《武汉工程大学学报》;20180815(第04期);全文 *

Also Published As

Publication number Publication date
CN111915487A (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
CN111915487B (zh) 基于分层多尺度残差融合网络的人脸超分辨率方法及装置
CN110033410B (zh) 图像重建模型训练方法、图像超分辨率重建方法及装置
CN108520503B (zh) 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法
CN112750082B (zh) 基于融合注意力机制的人脸超分辨率方法及系统
CN110930309B (zh) 基于多视图纹理学习的人脸超分辨率方法及装置
CN112070670B (zh) 全局-局部分离注意力机制的人脸超分辨率方法及系统
CN107392852B (zh) 深度图像的超分辨率重建方法、装置、设备及存储介质
CN109360156A (zh) 基于生成对抗网络的图像分块的单张图像去雨方法
CN111179177A (zh) 图像重建模型训练方法、图像重建方法、设备及介质
CN110580680B (zh) 基于组合学习的人脸超分辨率方法及装置
CN112200724B (zh) 一种基于反馈机制的单图像超分辨率重建系统及方法
CN112734642B (zh) 多尺度纹理转移残差网络的遥感卫星超分辨率方法及装置
CN110136075B (zh) 一种基于边缘锐化循环生成对抗网络的遥感影像去雾方法
Rivadeneira et al. Thermal image super-resolution challenge-pbvs 2021
CN113673675A (zh) 模型训练方法、装置、计算机设备和存储介质
CN115409755A (zh) 贴图处理方法和装置、存储介质及电子设备
CN111754399A (zh) 基于梯度的保持几何结构的图像超分辨率方法
CN112950478B (zh) 基于双重身份属性约束的人脸超分辨率方法及系统
Liu et al. Facial image inpainting using multi-level generative network
CN113096032B (zh) 一种基于图像区域划分的非均匀一致模糊去除方法
CN116977651B (zh) 一种基于双分支和多尺度特征提取的图像去噪方法
CN117575915A (zh) 一种图像超分辨率重建方法、终端设备及存储介质
Zuo et al. Research on image super-resolution algorithm based on mixed deep convolutional networks
CN111862321B (zh) 视差图的获取方法、装置、系统及存储介质
CN115409950B (zh) 一种面绘制三角网格的优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant