CN112070670B - 全局-局部分离注意力机制的人脸超分辨率方法及系统 - Google Patents

全局-局部分离注意力机制的人脸超分辨率方法及系统 Download PDF

Info

Publication number
CN112070670B
CN112070670B CN202010915896.1A CN202010915896A CN112070670B CN 112070670 B CN112070670 B CN 112070670B CN 202010915896 A CN202010915896 A CN 202010915896A CN 112070670 B CN112070670 B CN 112070670B
Authority
CN
China
Prior art keywords
attention
local
global
resolution
separation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010915896.1A
Other languages
English (en)
Other versions
CN112070670A (zh
Inventor
卢涛
王元植
张彦铎
吴云韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Institute of Technology
Original Assignee
Wuhan Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Institute of Technology filed Critical Wuhan Institute of Technology
Priority to CN202010915896.1A priority Critical patent/CN112070670B/zh
Publication of CN112070670A publication Critical patent/CN112070670A/zh
Application granted granted Critical
Publication of CN112070670B publication Critical patent/CN112070670B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于全局‑局部分离注意力机制的人脸超分辨率方法及系统，将高分辨率人脸图像下采样至目标低分辨率人脸图像；将目标低分辨率图像进行分块操作，分出相互重叠的图像块后，提取粗糙的脸部特征图；构建分离注意力网络作为精细特征提取器，将粗糙的脸部特征输入分离注意力网络获得精细的脸部特征图，分离注意力网络包含若干个全局‑局部分离注意力组，每个全局‑局部分离注意力组产生两路局部注意力并用一个全局注意力模块融合不同的局部注意力，使局部注意力跨特征组交互，实现网络的全局注意力；将得到的人脸精细特征图进行上采样；将上采样后的人脸特征图重建成目标的高分辨率人脸图像。本发明能生成更高质量的人脸高分辨率图像。

Description

全局-局部分离注意力机制的人脸超分辨率方法及系统
技术领域
本发明属于计算机视觉人脸超分辨率领域，更具体地，涉及一种基于全局-局部分离注意力机制的人脸超分辨率方法及系统。
背景技术
人脸超分辨率(face hallucination)，是超分辨率(Super-Resolution，SR)的一个特殊领域，是一种从输入的低分辨率(Low Resolution，LR)人脸图像中推理出高分辨率(High Resolution，HR)图像的技术，可以显著增强低分辨率人脸图像的细节信息。在现实世界的监视场景中，成像传感器和人脸之间的距离往往过大，从而会导致低分辨率人脸图像。利用人脸超分辨率恢复高分辨率人脸图像，有助于目标人物识别。该方法在人脸检测、人脸识别和分析等许多应用中发挥着重要作用。
一般来说，人脸超分辨率和一般的图像复原方法一样，根据先验信息的来源可分为三类：插值法、重建法和基于学习的方法。基于插值的方法在不生成像素的情况下缩放图像的像素大小，并在周围像素的基础上通过数学公式计算缺失像素的值。基于重建的人脸超分辨率依赖于多幅LR输入图像融合亚像素配准信息。然而，当放大倍数过大时，基于插值和重建方法的效率和性能会大幅度降低。近十年来，基于学习的方法在人脸超分辨率中得到了广泛的应用，因为基于学习的方法能够充分利用训练样本中的先验信息，将LR图像映射到HR图像中，获得了令人满意的视觉效果。
最近，基于深度卷积神经网络(Convolutional Neural Networks，CNN)的方法比传统的SR方法有了显著的改进。其中，一种用于图像超分辨率的深度卷积网络(Learning aDeep Convolutional Network for Image Super-Resolution)，通过引入三层CNN来实现图像超分辨率。此后，在深度学习的发展过程中，SR的重建性能不断提高，并且人脸SR的性能也得到了提高。将注意力机制引入到人脸SR中，以聚焦人脸结构信息。在这些基于CNN的人脸SR的方法中，注意力机制可分为两类：基于全局注意力的方法和基于局部注意力的方法。基于全局注意力的方法直接集中注意力到全局的输入特征。一种纹理注意力模块(FaceSuper-Resolution by Learning Multi-view Texture Compensation)来获取人脸图像与多视角人脸图像的全局对应关系。一种基于多尺度注意力的人脸SR方法(Parsing mapguided multi-scale attention network for face hallucination)，用于提取多尺度全局信息，利用特征的通道和空间相关性。全局注意力使得网络关注全局结构信息，而忽略局部细节信息。基于局部注意力的方法将输入按一定的维数分成若干个局部块，然后集中注意力在这些局部块上，以利用局部结构信息。一种两阶段人脸SR的方法(Learning tohallucinate face images via Component Generation and Enhancement，LCGE)，分别对人脸图像中的五个器官结构进行SR，然后将这些重建的器官结构恢复到人脸图像中，使CNN的注意力集中在局部的面部信息上。一种基于区域的注意力机制(Parallel Region-BasedDeep Residual Networks for Face Hallucination，PRDRN)，使深度残差网络更好地重建人脸图像。
虽然上述使用注意力机制的人脸SR方法取得了令人满意的效果，但大多数方法只考虑全局注意力机制或者局部注意力机制，这限制了CNN的感受野大小，而且缺少人脸结构信息在通道维度的跨通道交互作用。因此，如何充分利用全局和局部的注意力机制提升人脸SR的重建性能是非常重要的。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提出了一种基于全局-局部分离注意力机制的人脸超分辨率方法及系统，解决目前人脸超分辨率重建算法不能同时利用全局和局部注意力机制，导致人脸图像重建性能存在一定的局限性的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种基于全局-局部分离注意力机制的人脸超分辨率方法，包括：
S1：将高分辨率人脸图像下采样至目标低分辨率人脸图像；
S2：将所述目标低分辨率图像进行分块操作，分出相互重叠的图像块后，使用粗糙特征提取器提取粗糙的脸部特征图；
S3：构建局部分离注意力块，产生网络的局部注意力，增强人脸关键结构在通道层面的交互；
S4：构建分离注意力网络作为精细特征提取器，将所述粗糙的脸部特征图输入所述分离注意力网络获得精细的脸部特征图，其中，所述分离注意力网络包含若干个全局-局部分离注意力组，每个组包含若干个所述局部分离注意力块和一个分离注意力跳跃连接，局部分离注意力块和分离注意力跳跃连接分别产生两路局部注意力并用一个全局注意力模块融合不同的局部注意力，使局部注意力跨特征组交互，实现网络的全局注意力；
S5：将得到的所述精细的脸部特征图进行上采样；
S6：将上采样后的人脸特征图重建成目标的高分辨率人脸图像。
在一些可选的实施方案中，在步骤S2中，使用一个卷积层构建粗糙特征提取器，并使用所述粗糙特征提取器提取粗糙的脸部特征图，其中，所述粗糙的脸部特征图表示为：FCF＝HCF(ILR)，FCF表示所述粗糙的脸部特征图，HCF表示粗糙特征提取器操作，ILR表示输入的低分辨率人脸图像。
在一些可选的实施方案中，步骤S3包括：
将通道数为C的输入特征在通道维度分割为r个部分，则每个部分的通道数为
Figure BDA0002665003890000031
然后通过一个逐元素相加器将这r个部分进行融合：
Figure BDA0002665003890000032
Figure BDA0002665003890000033
Figure BDA0002665003890000034
表示分离注意力中第一个逐元素加法器，
Figure BDA0002665003890000041
表示在第一次分割中第r个被分割的部分，
Figure BDA0002665003890000042
表示经过
Figure BDA0002665003890000043
后的输出；
Figure BDA0002665003890000044
随后通过一个自适应平均池化层，两个卷积层和一个softmax函数，然后又在通道维度被分割成r份，当前r个部分分别与第一次被分割的r个部分进行逐元素相乘，最后使用一个逐元素相加器融合相乘后的特征作为分离注意力的输出，分离注意力被表示为：
Figure BDA0002665003890000045
Figure BDA0002665003890000046
Figure BDA0002665003890000047
表示第二个逐元素相加器，HSA表示一个分离注意力，Finput表示分离注意力的输入，
Figure BDA0002665003890000048
表示在第二次分割中第r个被分割的部分。
在一些可选的实施方案中，所述精细的脸部特征图为：FDF＝HSIS(FCF)，FDF表示所述精细的脸部特征图，HSIS表示分离注意力网络。
在一些可选的实施方案中，对于第g个全局-局部分离注意力组，表示为：
Figure BDA0002665003890000049
Figure BDA00026650038900000410
表示第g个全局-局部分离注意力组，
Figure BDA00026650038900000411
表示第g个全局-局部分离注意力组中的第m个分离注意力块，
Figure BDA00026650038900000412
表示第g个全局-局部分离注意力组中的第m-1个分离注意力块，
Figure BDA00026650038900000413
表示第g个全局-局部分离注意力组中的第1个分离注意力块，Fg表示第g个全局-局部分离注意力组的输出，Fg-1表示第g个全局-局部分离注意力组的输入，HConv表示卷积层，HGAM表示一个逐元素相加器的全局注意力模块，HSA表示一个分离注意力操作；
对于分离注意力网络得到的所述精细的脸部特征图为：
Figure BDA00026650038900000414
Figure BDA00026650038900000415
Figure BDA00026650038900000416
表示第G个全局-局部分离注意力组。
在一些可选的实施方案中，上采样后的特征表示为：FUP＝HUP(FDF)，FUP表示上采样后的特征，HUP表示上采样操作，采用亚像素卷积实现。
在一些可选的实施方案中，所述目标的高分辨率人脸图像表示为：ISR＝HRecon(FUP)，HRecon表示重建操作，采用卷积实现，ISR表示所述目标的高分辨率人脸图像。
在一些可选的实施方案中，整个网络的损失函数L(θ)表示为：
Figure BDA0002665003890000051
N表示数据集的规模，Hfull表示整个网络，
Figure BDA0002665003890000052
和
Figure BDA0002665003890000053
表示数据集中第i张低分辨率人脸图像和第i张高分辨率人脸图像。
按照本发明的另一方面，提供了一种基于全局-局部分离注意力机制的人脸超分辨率系统，包括：
下采样模块，用于将高分辨率人脸图像下采样至目标低分辨率人脸图像；
粗糙特征提取器模块，用于在将所述目标低分辨率图像进行分块操作，分出相互重叠的图像块后，提取粗糙的脸部特征图；
精细特征提取器模块，用于构建分离注意力网络作为精细特征提取器，将所述粗糙的脸部特征图输入所述分离注意力网络获得精细的脸部特征图，其中，所述分离注意力网络包含若干个全局-局部分离注意力组，每个组包含若干个局部分离注意力块和一个分离注意力跳跃连接，局部分离注意力块和分离注意力跳跃连接分别产生两路局部注意力并用一个全局注意力模块融合不同的局部注意力，使局部注意力跨特征组交互，实现网络的全局注意力；
上采样模块，用于将得到的所述精细的脸部特征图进行上采样；
人脸图像重建模块，用于将上采样后的人脸特征图重建成目标的高分辨率人脸图像。
按照本发明的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的基于全局-局部分离注意力机制的人脸超分辨率方法。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
本发明提供了一种基于全局-局部分离注意力机制的人脸超分辨率方法及系统，结合全局和局部的分离注意力，使得网络能让局部注意力跨特征组进行交互，实现全局的注意力，从而增强网络的特征表达能力。本发明提出的分离注意力网络能将网络的局部注意力集中到人脸关键结构信息在通道维度的交互，从而提高人脸图像的重建性能。
附图说明
图1是本发明实施例提供的一种基于全局-局部分离注意力机制的人脸超分辨率方法的流程示意图；
图2是本发明实施例提供的一种基于全局-局部分离注意力机制的人脸超分辨率网络结构图；
图3是本发明实施例提供的一种基于全局-局部分离注意力机制的人脸超分辨率系统示意图；
图4是本发明实施例提供的一种测试结果比较图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明实施例的基于全局-局部分离注意力机制的人脸超分辨率方法，如图1所示，包括以下步骤：
S1：构建下采样模块，将高分辨率人脸图像下采样至目标低分辨率人脸图像；
在本发明实施例中，可以使用双三次插值法(Bicubic interpolation)将高分辨率人脸图像下采样至目标低分辨率人脸图像。
本发明实施例中优选使用FEI人脸数据集作为训练集、验证集和测试集，其中包含350幅图像作为训练数据集，10幅图像作为验证数据集，40幅图像作为测试数据集。数据集中图像大小为360×260像素，本发明使用双三次退化模型对数据集进行下采样，其中下采样因子为4，因此下采样后的低分辨率图像的大小为90×65像素。
S2：构建粗糙特征提取器，将目标低分辨率图像进行分块操作，分出相互重叠的图像块后，使用粗糙特征提取器提取粗糙的脸部特征图；
在本发明实施例中，可以使用一个3*3卷积层构建粗糙特征提取器，并提取粗糙的脸部特征图，其中，粗糙的脸部特征图表示为：
FCF＝HCF(ILR),
其中，FCF表示粗糙的脸部特征图，HCF表示粗糙特征提取器操作，ILR表示输入的低分辨率人脸图像。
S3：构建局部分离注意力块(Local Split-Attention Mechanism Block，LSAB)，产生网络的局部注意力，增强人脸关键结构在通道层面的交互；
在本发明实施例中，局部分离注意力块中的分离注意力工作流程分为以下几个步骤：
将通道数为C的输入特征在通道维度分割为r个部分，每个部分的通道数为
Figure BDA0002665003890000071
然后通过一个逐元素相加器将这r个部分进行融合：
Figure BDA0002665003890000072
其中，
Figure BDA0002665003890000073
表示分离注意力中第一个逐元素加法器，
Figure BDA0002665003890000074
表示在第一次分割中第r个被分割的部分，
Figure BDA0002665003890000075
表示经过
Figure BDA0002665003890000076
后的输出。
Figure BDA0002665003890000077
随后通过一个自适应平均池化层，两个1*1卷积层和一个softmax函数，然后又在通道维度被分割成r份，当前r个部分分别与第一次被分割的r个部分进行逐元素相乘，最后使用一个逐元素相加器融合相乘后的特征作为分离注意力的输出，分离注意力可以被表示如下：
Figure BDA0002665003890000081
其中，
Figure BDA0002665003890000082
表示第二个逐元素相加器，HSA表示一个分离注意力，Finput表示分离注意力的输入。
S4：构建分离注意力网络作为精细特征提取器，获得精细的脸部特征图；
在本发明实施例中，精细的脸部特征图表示为：
FDF＝HSIS(FCF),
其中，FDF表示精细的脸部特征图，HSIS表示分离注意力网络。如图2所示，所述的分离注意力网络包含10个全局-局部分离注意力组(Global-local Split-Attention Group，GSAG)，每个组包含5个局部分离注意力块和一个分离注意力跳跃连接，局部分离注意力块和分离注意力跳跃连接分别产生两路局部注意力并用一个全局注意力模块融合不同的局部注意力，使局部注意力跨特征组进行交互，实现网络的全局注意力。对于第g个全局-局部分离注意力组，表示如下：
Figure BDA0002665003890000083
其中，
Figure BDA0002665003890000084
和
Figure BDA0002665003890000085
分别表示第g个全局-局部分离注意力组和第g个全局-局部分离注意力组中的第m个分离注意力块。Fg和Fg-1表示第g个全局-局部分离注意力组的输出和输入，HConv表示一个3*3卷积层。HGAM表示一个逐元素相加器的全局注意力模块，HSA表示一个分离注意力操作。对于分离注意力网络，表示如下：
Figure BDA0002665003890000086
Figure BDA0002665003890000087
表示第G个全局-局部分离注意力组，
Figure BDA0002665003890000088
表示第G-1个全局-局部分离注意力组，
Figure BDA0002665003890000089
表示第1个全局-局部分离注意力组。
S5：构建上采样模块，将得到的人脸精细特征图进行上采样；
在本发明实施例中，采样后的特征表示为：
FUP＝HUP(FDF)
其中，FUP和HUP分别表示上采样后的特征和上采样模块。上采样模块采用亚像素卷积实现。
S6：构建人脸图像重建模块，将上采样后的人脸特征图重建成目标的高分辨率人脸图像。
在本发明实施例中，人脸图像重建模块表示如下：
ISR＝HRecon(FUP)
其中，HRecon和ISR分别表示为由一个3*3卷积构成的重建模块和目标高分辨率人脸图像。
S7：整个网络的损失函数L(θ)表示为：
Figure BDA0002665003890000091
其中，N表示数据集的规模，Hfull表示整个网络，
Figure BDA0002665003890000092
和
Figure BDA0002665003890000093
表示数据集中第i张低分辨率人脸图像和第i张高分辨率人脸图像。
本发明还提供一种基于全局-局部分离注意力机制的人脸超分辨率系统，如图3所示，包括：
下采样模块101，用于将高分辨率人脸图像下采样至目标低分辨率人脸图像；
粗糙特征提取器模块102，用于在将目标低分辨率图像进行分块操作，分出相互重叠的图像块后，提取粗糙的脸部特征图；
精细特征提取器模块103，用于构建分离注意力网络作为精细特征提取器，将所述粗糙的脸部特征图输入所述分离注意力网络获得精细的脸部特征图，其中，所述分离注意力网络包含若干个全局-局部分离注意力组，每个组包含若干个局部分离注意力块和一个分离注意力跳跃连接，局部分离注意力块和分离注意力跳跃连接分别产生两路局部注意力并用一个全局注意力模块融合不同的局部注意力，使局部注意力跨特征组交互，实现网络的全局注意力；
上采样模块104，用于将得到的人脸精细特征图进行上采样；
人脸图像重建模块105，用于将上采样后的人脸特征图重建成目标的高分辨率人脸图像。
其中，各模块的具体实施方式可以参考上述方法实施例的描述，本发明实施例将不再复述。
本发明还提供一种计算机存储介质，其内存储有可被计算机处理器执行的计算机程序，该计算机程序执行上述的基于全局-局部分离注意力机制的人脸超分辨率方法。
本发明最后提供一个测试实施例，本发明使用FEI人脸数据集对该算法进行了验证。使用350幅图像作为训练数据集，10幅图像作为验证数据集，40幅图像作为测试数据集。HR图像大小为360×260像素，下采样因子为4，因此LR图像(使用双三次退化模型)的大小为90×65像素。需要注意的是，所有的训练、验证和测试都是基于YCbCr颜色空间中的亮度通道，并且使用了4倍的放大因子进行训练和测试。使用峰值信噪比(Peak signal-to-noiseratio，PSNR)、结构相似性(Structural SIMilarity，SSIM)和视觉信息保真度(VisualInformation Fidelity，VIF)三个评价指标对SR重建结果进行评价，以检验亮度信道下SR重建的性能。对350幅训练集图像进行数据增强，这些图像随机旋转90°、180°、270°，并水平翻转。在训练的每次迭代中，提取10个48×48大小的LR块作为输入。本发明的模型由Adam优化器训练，β1＝0.9，β2＝0.999，和∈＝10-8。初始学习率设置为10-4，然后每20个周期降低一半。使用Pytorch平台并使用GTX1080显卡训练本发明的模型。表1通过上述三个评价指标展示了在重建倍数为4的条件下的对比结果，图4为4倍人脸图像的重建结果对比图，其中，(a)表示Bicubic结果，(b)表示LCGE结果，(c)表示EDGAN结果，(d)表示RCAN结果，(e)表示PRDRN结果，(f)表示SRFBN结果，(g)表示MTC结果，(h)表示本发明结果，(i)表示原始的高分辨率人脸基准图。
选择作为对比的人脸SR方法包括：Bicubic,LCGE,EDGAN,PRDRN,SRFBN,MTC和RCAN。Bicubic是一种经典的图像插值算法；LCGE是一种经典的两步人脸SR方法；EDGAN是一种使用生成对抗网络(GAN)的最先进的深度学习人脸SR算法；PRDRN是一种基于并行区域的人脸SR方法；SRFBN是一种使用反馈网络的最新和最先进的深度学习人脸SR算法网络；MTC是一种新的基于多视角纹理补偿的人脸SR；RCAN是一种经典的基于深度残差通道注意力网络的SR方法。图4中(i)为原始的高分辨率人脸基准图，(h)是本发明生成的高分辨率人脸图像，可以从中发现，本发明在视觉结果中取得了很高的视觉效果。
表1本发明与七种优秀算法比较结果表
方法 Bicubic LCGE EDGAN PRDRN RCAN SRFBN MTC 本发明
PSNR/dB 36.29 38.55 38.67 39.36 40.25 40.13 37.92 40.41
SSIM 0.9416 0.9519 0.9475 0.9576 0.9619 0.9625 0.9491 0.9639
VIF 0.6498 0.6832 0.6664 0.7157 0.7328 0.7371 0.6793 0.7414
从以上表格实验结果可以看出，本发明与其他七种方法相比，取得了很明显的优势。
说明书中未阐述的部分均为现有技术或公知常识。本实施例仅用于说明该发明，而不用于限制本发明的范围，本领域技术人员对于本发明所做的等价置换等修改均认为是落入该发明权利要求书所保护范围内。
需要指出，根据实施的需要，可将本申请中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于全局-局部分离注意力机制的人脸超分辨率方法，其特征在于，包括：
S1：将高分辨率人脸图像下采样至目标低分辨率人脸图像；
S2：将所述目标低分辨率图像进行分块操作，分出相互重叠的图像块后，使用粗糙特征提取器提取粗糙的脸部特征图；
S3：构建局部分离注意力块，产生网络的局部注意力，增强人脸关键结构在通道层面的交互；
S4：构建分离注意力网络作为精细特征提取器，将所述粗糙的脸部特征图输入所述分离注意力网络获得精细的脸部特征图，其中，所述分离注意力网络包含若干个全局-局部分离注意力组，每个组包含若干个所述局部分离注意力块和一个分离注意力跳跃连接，局部分离注意力块和分离注意力跳跃连接分别产生两路局部注意力并用一个全局注意力模块融合不同的局部注意力，使局部注意力跨特征组交互，实现网络的全局注意力；
S5：将得到的所述精细的脸部特征图进行上采样；
S6：将上采样后的人脸特征图重建成目标的高分辨率人脸图像。
2.根据权利要求1所述的方法，其特征在于，在步骤S2中，使用一个卷积层构建粗糙特征提取器，并使用所述粗糙特征提取器提取粗糙的脸部特征图，其中，所述粗糙的脸部特征图表示为：FCF＝HCF(ILR)，FCF表示所述粗糙的脸部特征图，HCF表示粗糙特征提取器操作，ILR表示输入的低分辨率人脸图像。
3.根据权利要求2所述的方法，其特征在于，步骤S3包括：
将通道数为C的输入特征在通道维度分割为r个部分，则每个部分的通道数为
Figure FDA0003554320640000011
然后通过一个逐元素相加器将这r个部分进行融合：
Figure FDA0003554320640000012
Figure FDA0003554320640000013
Figure FDA0003554320640000014
表示分离注意力中第一个逐元素加法器，
Figure FDA0003554320640000021
表示在第一次分割中第r个被分割的部分，
Figure FDA0003554320640000022
表示经过
Figure FDA0003554320640000023
后的输出；
Figure FDA0003554320640000024
随后通过一个自适应平均池化层，两个卷积层和一个softmax函数，然后又在通道维度被分割成r份，当前r个部分分别与第一次被分割的r个部分进行逐元素相乘，最后使用一个逐元素相加器融合相乘后的特征作为分离注意力的输出，分离注意力被表示为：
Figure FDA0003554320640000025
Figure FDA0003554320640000026
Figure FDA0003554320640000027
表示第二个逐元素相加器，HSA表示一个分离注意力，Finput表示分离注意力的输入，
Figure FDA0003554320640000028
表示在第二次分割中第r个被分割的部分。
4.根据权利要求3所述的方法，其特征在于，所述精细的脸部特征图为：FDF＝HSIS(FCF)，FDF表示所述精细的脸部特征图，HSIS表示分离注意力网络。
5.根据权利要求4所述的方法，其特征在于，
对于第g个全局-局部分离注意力组，表示为：
Figure FDA0003554320640000029
Figure FDA00035543206400000210
Figure FDA00035543206400000211
表示第g个全局-局部分离注意力组，
Figure FDA00035543206400000212
表示第g个全局-局部分离注意力组中的第m个分离注意力块，
Figure FDA00035543206400000213
表示第g个全局-局部分离注意力组中的第m-1个分离注意力块，
Figure FDA00035543206400000214
表示第g个全局-局部分离注意力组中的第1个分离注意力块，Fg表示第g个全局-局部分离注意力组的输出，Fg-1表示第g个全局-局部分离注意力组的输入，HConv表示卷积层，HGAM表示一个逐元素相加器的全局注意力模块，HSA表示一个分离注意力操作；
对于分离注意力网络得到的所述精细的脸部特征图为：
Figure FDA00035543206400000215
Figure FDA00035543206400000216
Figure FDA00035543206400000217
表示第G个全局-局部分离注意力组。
6.根据权利要求5所述的方法，其特征在于，上采样后的特征表示为：FUP＝HUP(FDF)，FUP表示上采样后的特征，HUP表示上采样操作，采用亚像素卷积实现。
7.根据权利要求6所述的方法，其特征在于，所述目标的高分辨率人脸图像表示为：ISR＝HRecon(FUP)，HRecon表示重建操作，采用卷积实现，ISR表示所述目标的高分辨率人脸图像。
8.根据权利要求1至7任意一项所述的方法，其特征在于，整个网络的损失函数L(θ)表示为：
Figure FDA0003554320640000031
N表示数据集的规模，Hfull表示整个网络，
Figure FDA0003554320640000032
和
Figure FDA0003554320640000033
表示数据集中第i张低分辨率人脸图像和第i张高分辨率人脸图像。
9.一种基于全局-局部分离注意力机制的人脸超分辨率系统，其特征在于，包括：
下采样模块，用于将高分辨率人脸图像下采样至目标低分辨率人脸图像；
粗糙特征提取器模块，用于在将所述目标低分辨率图像进行分块操作，分出相互重叠的图像块后，提取粗糙的脸部特征图；
精细特征提取器模块，用于构建分离注意力网络作为精细特征提取器，将所述粗糙的脸部特征图输入所述分离注意力网络获得精细的脸部特征图，其中，所述分离注意力网络包含若干个全局-局部分离注意力组，每个组包含若干个局部分离注意力块和一个分离注意力跳跃连接，局部分离注意力块和分离注意力跳跃连接分别产生两路局部注意力并用一个全局注意力模块融合不同的局部注意力，使局部注意力跨特征组交互，实现网络的全局注意力；
上采样模块，用于将得到的所述精细的脸部特征图进行上采样；
人脸图像重建模块，用于将上采样后的人脸特征图重建成目标的高分辨率人脸图像。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8任一项所述的基于全局-局部分离注意力机制的人脸超分辨率方法。
CN202010915896.1A 2020-09-03 2020-09-03 全局-局部分离注意力机制的人脸超分辨率方法及系统 Active CN112070670B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010915896.1A CN112070670B (zh) 2020-09-03 2020-09-03 全局-局部分离注意力机制的人脸超分辨率方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010915896.1A CN112070670B (zh) 2020-09-03 2020-09-03 全局-局部分离注意力机制的人脸超分辨率方法及系统

Publications (2)

Publication Number Publication Date
CN112070670A CN112070670A (zh) 2020-12-11
CN112070670B true CN112070670B (zh) 2022-05-10

Family

ID=73665856

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010915896.1A Active CN112070670B (zh) 2020-09-03 2020-09-03 全局-局部分离注意力机制的人脸超分辨率方法及系统

Country Status (1)

Country Link
CN (1) CN112070670B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112734642B (zh) * 2021-01-12 2023-03-10 武汉工程大学 多尺度纹理转移残差网络的遥感卫星超分辨率方法及装置
CN112750082B (zh) * 2021-01-21 2023-05-16 武汉工程大学 基于融合注意力机制的人脸超分辨率方法及系统
CN112966626A (zh) * 2021-03-16 2021-06-15 三星（中国）半导体有限公司 人脸识别方法和装置
CN112712468B (zh) * 2021-03-26 2021-07-09 北京万里红科技股份有限公司 虹膜图像超分辨率重建方法及计算设备
CN113298091A (zh) * 2021-05-25 2021-08-24 商汤集团有限公司 图像处理方法及装置、电子设备和存储介质
CN114708466B (zh) * 2022-06-08 2022-09-09 南京智莲森信息技术有限公司 零部件异常细粒度分类方法、系统、存储介质及计算设备
CN116071809B (zh) * 2023-03-22 2023-07-14 鹏城实验室 一种基于多类表征时空交互的人脸时空表征生成方法
CN116485652B (zh) * 2023-04-26 2024-03-01 北京卫星信息工程研究所 遥感影像车辆目标检测的超分辨率重建方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008132741A2 (en) * 2007-04-30 2008-11-06 Trumedia Technologies Inc. Apparatus and method for tracking human objects and determining attention metrics
US8363939B1 (en) * 2006-10-06 2013-01-29 Hrl Laboratories, Llc Visual attention and segmentation system
CN109816593A (zh) * 2019-01-18 2019-05-28 大连海事大学 一种基于注意力机制的生成对抗网络的超分辨率图像重建方法
CN110070073A (zh) * 2019-05-07 2019-07-30 国家广播电视总局广播电视科学研究院 基于注意力机制的全局特征和局部特征的行人再识别方法
CN111161146A (zh) * 2019-12-25 2020-05-15 大连理工大学 一种由粗糙到精细的单张图像超分辨率重建方法
CN111179167A (zh) * 2019-12-12 2020-05-19 天津大学 一种基于多阶段注意力增强网络的图像超分辨方法
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法
CN111476717A (zh) * 2020-04-07 2020-07-31 西安电子科技大学 基于自注意力生成对抗网络的人脸图像超分辨重建方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8363939B1 (en) * 2006-10-06 2013-01-29 Hrl Laboratories, Llc Visual attention and segmentation system
WO2008132741A2 (en) * 2007-04-30 2008-11-06 Trumedia Technologies Inc. Apparatus and method for tracking human objects and determining attention metrics
CN109816593A (zh) * 2019-01-18 2019-05-28 大连海事大学 一种基于注意力机制的生成对抗网络的超分辨率图像重建方法
CN110070073A (zh) * 2019-05-07 2019-07-30 国家广播电视总局广播电视科学研究院 基于注意力机制的全局特征和局部特征的行人再识别方法
CN111179167A (zh) * 2019-12-12 2020-05-19 天津大学 一种基于多阶段注意力增强网络的图像超分辨方法
CN111161146A (zh) * 2019-12-25 2020-05-15 大连理工大学 一种由粗糙到精细的单张图像超分辨率重建方法
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法
CN111476717A (zh) * 2020-04-07 2020-07-31 西安电子科技大学 基于自注意力生成对抗网络的人脸图像超分辨重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Image superresolution using deep convolutional networks;DONG C,et al;《IEEE Transactions on Pattern Analysis and Machine Intelligence》;20151231;全文 *
基于边缘增强生成对抗网络的人脸超分辨率重建;卢涛等;《华中科技大学学报(自然科学版)》;20191113;全文 *

Also Published As

Publication number Publication date
CN112070670A (zh) 2020-12-11

Similar Documents

Publication Publication Date Title
CN112070670B (zh) 全局-局部分离注意力机制的人脸超分辨率方法及系统
CN112750082B (zh) 基于融合注意力机制的人脸超分辨率方法及系统
CN110033410B (zh) 图像重建模型训练方法、图像超分辨率重建方法及装置
CN110458758B (zh) 一种图像超分辨率重建方法、系统及计算机存储介质
CN108475415B (zh) 用于图像处理的方法和系统
CN111768342A (zh) 基于注意力机制和多级反馈监督的人脸超分辨方法
CN111915487B (zh) 基于分层多尺度残差融合网络的人脸超分辨率方法及装置
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
Zhang et al. One-two-one networks for compression artifacts reduction in remote sensing
Fan et al. Scale-wise convolution for image restoration
CN113284051B (zh) 一种基于频率分解多注意力机制的人脸超分辨方法
CN111091503A (zh) 基于深度学习的图像去失焦模糊方法
CN111696038A (zh) 图像超分辨率方法、装置、设备及计算机可读存储介质
CN111951164B (zh) 一种图像超分辨率重建网络结构及图像重建效果分析方法
CN113298718A (zh) 一种单幅图像超分辨率重建方法及系统
CN116757930A (zh) 基于残差分离注意力机制的遥感图像超分辨率方法、系统及介质
CN113538246A (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
CN115578262A (zh) 基于afan模型的偏振图像超分辨率重建方法
CN115293966A (zh) 一种人脸图像重建方法、装置以及存储介质
Chen et al. Attention-based Broad Self-guided Network for Low-light Image Enhancement
CN117575915A (zh) 一种图像超分辨率重建方法、终端设备及存储介质
EP4339878A1 (en) Cascaded local implicit transformer for arbitrary-scale super-resolution
CN116188272B (zh) 适用于多模糊核的两阶段深度网络图像超分辨率重建方法
CN116630152A (zh) 图像分辨率重建方法、装置、存储介质及电子设备
Schirrmacher et al. Sr 2: Super-resolution with structure-aware reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant