CN112750082B - 基于融合注意力机制的人脸超分辨率方法及系统 - Google Patents
基于融合注意力机制的人脸超分辨率方法及系统 Download PDFInfo
- Publication number
- CN112750082B CN112750082B CN202110081811.9A CN202110081811A CN112750082B CN 112750082 B CN112750082 B CN 112750082B CN 202110081811 A CN202110081811 A CN 202110081811A CN 112750082 B CN112750082 B CN 112750082B
- Authority
- CN
- China
- Prior art keywords
- attention
- fused
- resolution
- convolution
- fused attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000007246 mechanism Effects 0.000 title claims abstract description 21
- 230000004927 fusion Effects 0.000 title claims description 17
- 238000005070 sampling Methods 0.000 claims abstract description 18
- 230000001815 facial effect Effects 0.000 claims abstract description 17
- 230000000903 blocking effect Effects 0.000 claims abstract description 7
- 230000002708 enhancing effect Effects 0.000 claims abstract description 7
- 230000004913 activation Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 5
- 230000009977 dual effect Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 10
- 238000012360 testing method Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000004547 Hallucinations Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000000506 liquid--solid chromatography Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于融合注意力机制的人脸超分辨率方法及系统，属于人脸图像超分辨率领域，该方法包括：将高分辨率人脸图像下采样至目标低分辨率人脸图像后，进行分块操作，分出相互重叠的图像块后，使用浅层特征提取器提取浅层特征；融合像素、通道和空间三重注意力模块的特征，增强重建的人脸面部结构细节；构建融合注意力网络作为深层特征提取器，将浅层的面部特征输入融合注意力网络获得深层特征，融合注意力网络包含若干融合注意力组，各融合注意力组包括若干融合注意力块；将深层特征图进行上采样，将上采样后的人脸特征图重建成目标的高分辨率人脸图像。本发明优于其他最新的人脸图像超分辨率算法，能生成更高质量的人脸高分辨率图像。
Description
技术领域
本发明属于计算机视觉人脸超分辨率领域，更具体地，涉及一种基于融合注意力机制的人脸超分辨率方法及系统。
背景技术
人脸超分辨率(face hallucination)，是超分辨率(Super-Resolution，SR)的一个特殊领域，是一种从输入的低分辨率(Low Resolution，LR)人脸图像中推理出高分辨率(High Resolution，HR)图像的技术，可以显著增强低分辨率人脸图像的细节信息。在现实世界的监视场景中，成像传感器和人脸之间的距离往往过大，从而会导致低分辨率人脸图像。利用人脸超分辨率恢复高分辨率人脸图像，有助于目标人物识别。该方法在人脸检测、人脸识别和分析等许多应用中发挥着重要作用。
一般来说，人脸超分辨率和一般的图像复原方法一样，根据先验信息的来源可分为三类：插值法、重建法和基于学习的方法。基于插值的方法在不生成像素的情况下缩放图像的像素大小，并在周围像素的基础上通过数学公式计算缺失像素的值。基于重建的人脸超分辨率依赖于多幅LR输入图像融合亚像素配准信息。然而，当放大倍数过大时，基于插值和重建的方法的效率和性能会大幅度降低。近十年来，基于学习的方法在人脸超分辨率中得到了广泛的应用，因为基于学习的方法能够充分利用训练样本中的先验信息，将LR图像映射到HR图像中，获得了令人满意的视觉效果。
最近，基于卷积神经网络(Convolutional Neural Networks，CNN)的方法比传统的SR方法有了显著的改进。其中，Dong等人提出了一种用于图像超分辨率的深度卷积网络(Learning a Deep Convolutional Network for Image Super-Resolution)，通过引入三层CNN来实现图像超分辨率。此后，在深度学习的发展过程中，SR的重建性能不断提高，并且人脸SR的性能也得到了提高。将注意力机制引入到人脸SR中，以聚焦人脸结构信息。Wang等人提出了一种纹理注意力模块(Face Super-Resolution by Learning Multi-viewTexture Compensation)来获取人脸图像与多视角人脸图像的对应关系。Song等人提出了一种两阶段人脸SR的方法(Learning to hallucinate face images via ComponentGeneration and Enhancement，LCGE)，分别对人脸图像中的五个器官结构进行SR，然后将这些重建的器官结构恢复到人脸图像中，使CNN的注意力集中在局部的面部信息上。Zhang提出了一种通道注意力机制(Image super-resolution using very deep residualchannel attention networks，RCAN)，通过考虑通道之间的相互依赖性来自适应地重新调整通道方式的特征。
虽然上述使用注意力机制的人脸SR方法取得了令人满意的效果，但大多数方法只考虑单个注意力机制，这限制了CNN的多特征提取能力，而且缺少人脸结构信息的融合与交互。因此，如何充分利用多种注意力特征提升人脸SR的重建性能是非常重要的。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提出了一种基于融合注意力机制的人脸超分辨率方法及系统，解决目前人脸超分辨率重建算法不能同时利用多种注意力特征，导致人脸图像重建性能存在一定局限性的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种基于融合注意力机制的人脸超分辨率方法，包括：
S1：构建下采样模块，将高分辨率人脸图像下采样至目标低分辨率人脸图像；
S2：构建浅层特征提取器，将目标低分辨率人脸图像进行分块操作，分出相互重叠的图像块后，使用浅层特征提取器提取浅层特征图；
S3：构建融合注意力块，融合像素、通道和空间三重注意力模块的特征，产生网络的融合注意力特征，增强重建的人脸面部结构细节；
S4：构建融合注意力网络作为深层特征提取器，将浅层的面部特征输入融合注意力网络获得深层的脸部特征图，其中，融合注意力网络包含若干个融合注意力组，每个融合注意力组包括若干个融合注意力块；
S5：构建上采样模块，将得到的人脸深层特征图进行上采样；
S6：构建人脸图像重建模块，将上采样后的人脸特征图重建成目标的高分辨率人脸图像。
在一些可选的实施方案中，步骤S2包括：
使用一个卷积层构建浅层特征提取器，并提取浅层特征图，其中，所述浅层特征图表示为：F0＝f(ILR)，F0表示浅层特征图，f表示卷积操作，ILR表示输入的低分辨率人脸图像。
在一些可选的实施方案中，步骤S3包括：
构建由像素注意力、通道注意力和空间注意力三个并行的注意力组成的融合注意力块；
对于输入的向量XH×W×C，H表示特征图的高，W表示特征图的宽，C表示特征图所在的通道数，将XH×W×C输入到三个并行的注意力中，融合不同并行的注意力提取出来的不同的特征，最后通过一个卷积进行降维，使得输入输出在维度上保持一致。
在一些可选的实施方案中，在像素注意力中，首先使用一个卷积降维减少计算量，随后由三个并行分支组成，其中最上层和最下层的分支由一个卷积和一个激活函数组成，用于获得双重像素注意力特征；中间层分支由两个卷积和另一个激活函数组成，用于获得残留特征，最后将三个分支的输出特征进行元素级相乘，再由一个卷积得到最后的像素注意力特征
其中，T1、T2和T3分别表示三层分支特征，f表示卷积操作；
在通道注意力中，首先通过一个全局平均池将通道的全局空间信息转换为通道描述符，获取1×1×C的特征图，然后通过下采样压缩成
的特征图，再上采样恢复为1×1×C特征图，最后再通过一个激活函数获取1×1×C的表示每个通道的权值的描述符，最后各通道权重值分别和原特征图对应通道的二维矩阵相乘，r为通道缩放的系数；
在空间注意力中，先由一个卷积层开始以减小通道尺寸，接着通过一个卷积层和最大池化层来扩大感受野；后面紧跟一个卷积组，卷积组由若干个卷积层组成；最后通过上采样层以恢复空间尺寸，并使用卷积来恢复通道尺寸，由一个激活函数获得最后的空间注意力特征。
在一些可选的实施方案中，步骤S4包括：
所述融合注意力网络包含若干个融合注意力组FAG和长跳过连接LSC，其中，每个融合注意力组还包含具有短跳过连接SSC的若干个融合注意力块，第m组的融合注意力组表示为：Fm＝Hm(Fm-1)＝Hm(Hm-1(…H1(F0)…))，Hm表示第m个融合注意力组，Fm和Fm-1为第m个融合注意力组的输入和输出；
在每个融合注意力组里面堆叠融合注意力块，将第m个融合注意力组中的第n个融合注意力块表示为：Fm,n＝Gm,n(Fm,n-1)＝Hm,n(Hm,n-1(…Hm,1(Fm-1)…)，Fm,n-1和Fm,n是第m个融合注意力组中的第n融合注意力块的输入和输出。
在一些可选的实施方案中，步骤S5包括：
所述上采样后的特征表示为：FUP＝HUP(FBF)，FUP和HUP分别表示上采样后的特征和上采样模块。
在一些可选的实施方案中，步骤S6包括：
所述的人脸图像重建模块表示为：ISR＝HRecon(FUP)，HRecon和ISR分别表示为由一个卷积构成的重建模块和目标高分辨率人脸图像。
在一些可选的实施方案中，整个网络的损失函数L(θ)表示为：
N表示数据集的规模，
和
表示数据集中第i张超分辨率后的人脸图像和第i张高分辨率人脸图像。
按照本发明的另一方面，提供了一种基于融合注意力机制的人脸超分辨率系统，包括：
下采样模块，用于将高分辨率人脸图像下采样至目标低分辨率人脸图像；
浅层特征提取器模块，用于将目标低分辨率人脸图像进行分块操作，分出相互重叠的图像块后，使用浅层特征提取器提取浅层特征图；
深层特征提取器模块，用于构建融合注意力块，融合像素、通道和空间三重注意力模块的特征，产生网络的融合注意力特征，增强重建的人脸面部结构细节；构建融合注意力网络作为深层特征提取器，将浅层的面部特征输入融合注意力网络获得深层的脸部特征图，其中，融合注意力网络包含若干个融合注意力组，每个融合注意力组包括若干个融合注意力块；
上采样模块，用于将得到的人脸深层特征图进行上采样；
人脸图像重建模块，用于将上采样后的人脸特征图重建成目标的高分辨率人脸图像。
按照本发明的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述方法的步骤。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
本发明提供了一种基于融合注意力机制的人脸超分辨率方法及系统，融合像素、通道和空间注意力特征，使得网络能让不同注意力跨特征交互和融合，从而增强网络的特征表达能力。本发明提出的融合注意力网络能将网络的多种注意力特征集中到面部结构信息的交互，从而提高人脸图像的重建性能。
附图说明
图1是本发明实施例提供的一种基于融合注意力机制的人脸超分辨率方法的流程示意图；
图2是本发明实施例提供的一种基于融合注意力机制的人脸超分辨率网络结构示意图；
图3是本发明实施例提供的一种基于融合注意力机制的人脸超分辨率系统的结构示意图；
图4是本发明实施例提供的一种测试结果比较图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示是本发明实施例提供的一种基于融合注意力机制的人脸超分辨率方法的流程示意图，包括以下步骤：
S1：构建下采样模块，将高分辨率人脸图像下采样至目标低分辨率人脸图像；
其中，在步骤S1中可以使用双三次插值法(Bicubic interpolation)将高分辨率人脸图像下采样至目标低分辨率人脸图像。
在本发明实施例中，使用FFHQ人脸数据集作为本发明的训练集、验证集和测试集，其中包含850幅图像作为训练数据集，100幅图像作为验证数据集，50幅图像作为测试数据集。数据集中图像大小为256×256像素，在本发明实施例中，可以使用双三次退化模型对数据集进行下采样，其中下采样因子为4，因此下采样后的低分辨率图像的大小为64×64像素。
S2：构建浅层特征提取器，将目标低分辨率人脸图像进行分块操作，分出相互重叠的图像块后，使用浅层特征提取器提取浅层特征图；
如图2所示，在本发明实施例中，可以使用一个3*3卷积层构建浅层特征提取器，并提取浅层特征图。所述的浅层特征图表示为：
F0＝f3×3(ILR)
其中，F0表示浅层特征图，f3×3表示3*3卷积，ILR表示输入的低分辨率人脸图像。
S3：构建融合注意力块，融合像素、通道和空间三重注意力模块的特征，产生网络的融合注意力特征，增强重建的人脸面部结构细节；
在本发明实施例中，所述的融合注意力块，由像素注意力、通道注意力和空间注意力三个并行的注意力组成。对于输入的向量XH×W×C，H表示特征图的高，W表示特征图的宽，C表示特征图所在的通道数，将其输入到三个并行的注意力中，融合不同并行的注意力提取出来的不同的特征，最后通过一个1*1的卷积进行降维，使得输入输出在维度上保持一致，可用公式表示为：
Ffusion＝f1×1(concat(PA,CA,SA))
其中，f1×1表示1*1卷积层，concat表示融合操作，(PA,CA,SA)分别表示像素注意力、通道注意力和空间注意力特征。
其中，在像素注意力中，首先可以使用一个1*1卷积降维减少计算量，随后由三个并行分支组成，其中最上层和最下层的分支由一个3*3卷积和一个Sigmoid激活函数组成，用于获得双重像素注意力特征；中间层分支由两个3*3卷积和一个ReLU激活函数组成，用于获得残留特征，最后将三个分支的输出特征进行元素级相乘，再由一个3*3卷积得到最后的像素注意力特征，可以表示为：
其中，T1、T2和T3分别表示三层分支特征，f3×3表示3*3卷积层。
其中，在通道注意力中，首先可以通过一个全局平均池将通道的全局空间信息转换为通道描述符，也就是获取1×1×C的特征图，然后通过下采样压缩成
的特征图，其中，r为通道缩放的系数，再上采样恢复为1×1×C特征图，最后再通过一个sigmoid激活函数获取1×1×C的表示每个通道的权值的描述符，最后各通道权重值分别和原特征图对应通道的二维矩阵相乘。
其中，在空间注意力中，先由一个1×1卷积层开始以减小通道尺寸，接着通过一个步长为2的卷积层和最大池化层来扩大感受野；后面紧跟一个卷积组，卷积组由3个步长为3，卷积核为7×7的卷积层组成；最后通过上采样层以恢复空间尺寸，并使用1×1卷积来恢复通道尺寸，由一个Sigmoid激活函数获得最后的空间注意力特征。
在本发明实施例中，卷积层大小及卷积层数量还可以为其它数值，本发明实施例不做唯一性限定。
S4：构建融合注意力网络作为深层特征提取器，将浅层的面部特征输入融合注意力网络获得深层的脸部特征图，其中，融合注意力网络包含若干个融合注意力组，每个融合注意力组包括若干个融合注意力块；
在本发明实施例中，所述的深层脸部特征图表示为：
FBF＝HFAN(F0)
其中，FBF表示深层脸部特征图，HFAN表示融合注意力网络。
其中，所述的融合注意力网络包含10个融合注意力组(Fusion Attention Group，FAG)和长跳过连接(Long Skip-Connection，LSC)。每个融合注意力组还包含具有短跳过连接(Short Skip-Connection，SSC)的10个融合注意力块。第m组的融合注意力组可用公式表示为：
Fm＝Hm(Fm-1)＝Hm(Hm-1(…H1(F0)…))
其中。Hm表示第m个融合注意力组，Fm和Fm-1为第m个融合注意力组的输入和输出；此外引入了长跳过连接LSC来稳定网络的训练，同时可以学习到残余的信息。在每个融合注意力组里面堆叠融合注意力块，可以将第m个融合注意力组中的第n个融合注意力块表示为：
Fm,n＝Hm,n(Fm,n-1)＝Hm,n(Hm,n-1(…Hm,1(Fm-1)…)
其中，Fm,n-1和Fm,n是第m个融合注意力组中的第n个融合注意力块的输入和输出，Hm,n是第m个融合注意力组中的第n个融合注意力块。
S5：构建上采样模块，将得到的人脸深层特征图进行上采样；
在本发明实施例中，所述的上采样后的特征表示为：
FUP＝HUP(FBF)
其中，FUP和HUP分别表示上采样后的特征和上采样模块。上采样模块可以采用亚像素卷积实现。
S6：构建人脸图像重建模块，将上采样后的人脸特征图重建成目标的高分辨率人脸图像。
在本发明实施例中，所述的人脸图像重建模块表示如下：
ISR＝HRecon(FUP)
其中，HRecon和ISR分别表示为由一个3*3卷积构成的重建模块和目标高分辨率人脸图像。
其中，整个网络的损失函数L(θ)表示为：
其中，N表示数据集的规模，
和
表示数据集中第i张超分辨率后的人脸图像和第i张高分辨率人脸图像。
本发明还提供一种用于实现上述基于融合注意力机制的人脸超分辨率方法的基于融合注意力机制的人脸超分辨率系统，如图3所示，包括：
下采样模块101，用于将高分辨率人脸图像下采样至目标低分辨率人脸图像；
浅层特征提取器模块102，用于将目标低分辨率人脸图像进行分块操作，分出相互重叠的图像块后，使用浅层特征提取器提取浅层特征图；
深层特征提取器模块103，用于构建融合注意力块，融合像素、通道和空间三重注意力模块的特征，产生网络的融合注意力特征，增强重建的人脸面部结构细节；构建融合注意力网络作为深层特征提取器，将浅层的面部特征输入融合注意力网络获得深层的脸部特征图，其中，融合注意力网络包含若干个融合注意力组，每个融合注意力组包括若干个融合注意力块；
上采样模块104，用于将得到的人脸深层特征图进行上采样；
人脸图像重建模块105，用于将上采样后的人脸特征图重建成目标的高分辨率人脸图像。
本发明还提供一种计算机存储介质，其内存储有可被计算机处理器执行的计算机程序，该计算机程序执行上述的基于融合注意力机制的人脸超分辨率方法。
本发明最后提供一个测试实施例，使用FFHQ人脸数据集对该算法进行了验证。使用850幅图像作为训练数据集，100幅图像作为验证数据集，50幅图像作为测试数据集。HR图像大小为256×256像素，下采样因子为4，因此LR图像(使用双三次退化模型)的大小为64×64像素。需要注意的是，所有的训练、验证和测试都是基于YCbCr颜色空间中的亮度通道，并且使用了4倍的放大因子进行训练和测试。使用峰值信噪比(Peak signal-to-noiseratio，PSNR)、结构相似性(Structural SIMilarity，SSIM)、特征相似度(FeatureSimilarity，FSIM)和视觉信息保真度(Visual Information Fidelity，VIF)四个评价指标对SR重建结果进行评价，以检验亮度信道下SR重建的性能。模型由Adam优化器训练，β1＝0.9，β2＝0.999，和∈＝10-8。初始学习率设置为10-4，然后每50个周期降低一半。表1通过上述三个评价指标展示了在重建倍数为4的条件下的对比结果，图4为4倍人脸图像的重建结果对比图。
选择作为对比的人脸SR方法包括：Bicubic,LCGE,EDGAN,SRFBN,MTC和RCAN。Bicubic是一种经典的图像插值算法；LCGE是一种经典的两步人脸SR方法；EDGAN是一种使用生成对抗网络(Generative Adversarial Networks，GAN)的最先进的深度学习人脸SR算法；SRFBN是一种使用反馈网络的最新和最先进的深度学习人脸SR算法网络；MTC是一种新的基于多视角纹理补偿的人脸SR；RCAN是一种经典的基于深度残差通道注意力网络的SR方法。图4中(a)为Bicubic图像；(b)为本发明实验结果图；(c)为原始高分辨率图像，可以从中发现，本发明在视觉结果中取得了很高的视觉效果。
表1本发明与六种优秀算法比较结果表
| 方法 | Bicubic | LCGE | EDGAN | RCAN | SRFBN | MTC | 本发明 |
| PSNR/dB | 29.81 | 31.12 | 30.87 | 32.67 | 32.42 | 32.01 | 32.85 |
| SSIM | 0.8451 | 0.8668 | 0.8574 | 0.8977 | 0.8944 | 0.8885 | 0.9011 |
| FSIM | 0.8889 | 0.9099 | 0.9231 | 0.9337 | 0.9305 | 0.9281 | 0.9359 |
| VIF | 0.5246 | 0.5563 | 0.5386 | 0.6161 | 0.6077 | 0.5933 | 0.6219 |
从以上表格实验结果可以看出，本发明与其他六种方法相比，取得了很明显的优势。
需要指出，根据实施的需要，可将本申请中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于融合注意力机制的人脸超分辨率方法，其特征在于，包括：
S1：构建下采样模块，将高分辨率人脸图像下采样至目标低分辨率人脸图像；
S2：构建浅层特征提取器，将目标低分辨率人脸图像进行分块操作，分出相互重叠的图像块后，使用浅层特征提取器提取浅层特征图；
S3：构建融合注意力块，融合像素、通道和空间三重注意力模块的特征，产生网络的融合注意力特征，增强重建的人脸面部结构细节；
S4：构建融合注意力网络作为深层特征提取器，将浅层的面部特征输入融合注意力网络获得深层的脸部特征图，其中，融合注意力网络包含若干个融合注意力组，每个融合注意力组包括若干个融合注意力块；
S5：构建上采样模块，将得到的人脸深层特征图进行上采样；
S6：构建人脸图像重建模块，将上采样后的人脸特征图重建成目标的高分辨率人脸图像；
步骤S3包括：
构建由像素注意力、通道注意力和空间注意力三个并行的注意力组成的融合注意力块，其中，在像素注意力中，首先使用一个卷积降维减少计算量，随后由三个并行分支组成，其中最上层和最下层的分支由一个卷积和一个激活函数组成，用于获得双重像素注意力特征；中间层分支由两个卷积和另一个激活函数组成，用于获得残留特征，最后将三个分支的输出特征进行元素级相乘，再由一个卷积得到最后的像素注意力特征
其中，T1、T2和T3分别表示三层分支特征，f表示卷积操作；
对于输入的向量XH×W×C，H表示特征图的高，W表示特征图的宽，C表示特征图所在的通道数，将XH×W×C输入到三个并行的注意力中，融合不同并行的注意力提取出来的不同的特征，最后通过一个卷积进行降维，使得输入输出在维度上保持一致；
步骤S4包括：
所述融合注意力网络包含若干个融合注意力组FAG和长跳过连接LSC，其中，每个融合注意力组还包含具有短跳过连接SSC的若干个融合注意力块，第m组的融合注意力组表示为：Fm＝Hm(Fm-1)＝Hm(Hm-1(…H1(F0)…))，Hm表示第m个融合注意力组，Fm和Fm-1为第m个融合注意力组的输入和输出；
在每个融合注意力组里面堆叠融合注意力块，将第m个融合注意力组中的第n个融合注意力块表示为：Fm,n＝Hm,n(Fm,n-1)＝Hm,n(Hm,n-1(…Hm,1(Fm-1)…)，Fm,n-1和Fm,n是第m个融合注意力组中的第n融合注意力块的输入和输出。
2.根据权利要求1所述的方法，其特征在于，步骤S2包括：
使用一个卷积层构建浅层特征提取器，并提取浅层特征图，其中，所述浅层特征图表示为：F0＝f(ILR)，F0表示浅层特征图，f表示卷积操作，ILR表示输入的低分辨率人脸图像。
3.根据权利要求2所述的方法，其特征在于，在通道注意力中，首先通过一个全局平均池将通道的全局空间信息转换为通道描述符，获取1×1×C的特征图，然后通过下采样压缩成
的特征图，再上采样恢复为1×1×C特征图，最后再通过一个激活函数获取1×1×C的表示每个通道的权值的描述符，最后各通道权重值分别和原特征图对应通道的二维矩阵相乘，r为通道缩放的系数；
在空间注意力中，先由一个卷积层开始以减小通道尺寸，接着通过一个卷积层和最大池化层来扩大感受野；后面紧跟一个卷积组，卷积组由若干个卷积层组成；最后通过上采样层以恢复空间尺寸，并使用卷积来恢复通道尺寸，由一个激活函数获得最后的空间注意力特征。
4.根据权利要求3所述的方法，其特征在于，步骤S5包括：
所述上采样后的特征表示为：FUP＝HUP(FBF)，FuP和HUP分别表示上采样后的特征和上采样模块。
5.根据权利要求4所述的方法，其特征在于，步骤S6包括：
所述的人脸图像重建模块表示为：ISR＝HRecon(FUP)，HRecon和ISR分别表示为由一个卷积构成的重建模块和目标高分辨率人脸图像。
6.根据权利要求5所述的方法，其特征在于，整个网络的损失函数L(θ)表示为：
N表示数据集的规模，
和
表示数据集中第i张超分辨率后的人脸图像和第i张高分辨率人脸图像。
7.一种基于融合注意力机制的人脸超分辨率系统，其特征在于，包括：
下采样模块，用于将高分辨率人脸图像下采样至目标低分辨率人脸图像；
浅层特征提取器模块，用于将目标低分辨率人脸图像进行分块操作，分出相互重叠的图像块后，使用浅层特征提取器提取浅层特征图；
深层特征提取器模块，用于构建融合注意力块，融合像素、通道和空间三重注意力模块的特征，产生网络的融合注意力特征，增强重建的人脸面部结构细节；构建融合注意力网络作为深层特征提取器，将浅层的面部特征输入融合注意力网络获得深层的脸部特征图，其中，融合注意力网络包含若干个融合注意力组，每个融合注意力组包括若干个融合注意力块；
上采样模块，用于将得到的人脸深层特征图进行上采样；人脸图像重建模块，用于将上采样后的人脸特征图重建成目标的高分辨率人脸图像；
所述深层特征提取器模块，具体用于执行以下操作：
构建由像素注意力、通道注意力和空间注意力三个并行的注意力组成的融合注意力块，其中，在像素注意力中，首先使用一个卷积降维减少计算量，随后由三个并行分支组成，其中最上层和最下层的分支由一个卷积和一个激活函数组成，用于获得双重像素注意力特征；中间层分支由两个卷积和另一个激活函数组成，用于获得残留特征，最后将三个分支的输出特征进行元素级相乘，再由一个卷积得到最后的像素注意力特征
其中，T1、T2和T3分别表示三层分支特征，f表示卷积操作；对于输入的向量XH×W×C，H表示特征图的高，W表示特征图的宽，C表示特征图所在的通道数，将XH×W×C输入到三个并行的注意力中，融合不同并行的注意力提取出来的不同的特征，最后通过一个卷积进行降维，使得输入输出在维度上保持一致；所述融合注意力网络包含若干个融合注意力组FAG和长跳过连接LSC，其中，每个融合注意力组还包含具有短跳过连接SSC的若干个融合注意力块，第m组的融合注意力组表示为：Fm＝Hm(Fm-1)＝Hm(Hm-1(…H1(F0)…))，Hm表示第m个融合注意力组，Fm和Fm-1为第m个融合注意力组的输入和输出；在每个融合注意力组里面堆叠融合注意力块，将第m个融合注意力组中的第n个融合注意力块表示为：Fm,n＝Hm,n(Fm,n-1)＝Hm,n(Hm,n-1(…Hm,1(Fm-1)…)，Fm,n-1和Fm,n是第m个融合注意力组中的第n融合注意力块的输入和输出。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110081811.9A CN112750082B (zh) | 2021-01-21 | 2021-01-21 | 基于融合注意力机制的人脸超分辨率方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110081811.9A CN112750082B (zh) | 2021-01-21 | 2021-01-21 | 基于融合注意力机制的人脸超分辨率方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112750082A CN112750082A (zh) | 2021-05-04 |
| CN112750082B true CN112750082B (zh) | 2023-05-16 |
Family
ID=75652773
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110081811.9A Active CN112750082B (zh) | 2021-01-21 | 2021-01-21 | 基于融合注意力机制的人脸超分辨率方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112750082B (zh) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113269685A (zh) * | 2021-05-12 | 2021-08-17 | 南通大学 | 一种融合多注意力机制的图像去雾方法 |
| CN113255530B (zh) * | 2021-05-31 | 2024-03-29 | 合肥工业大学 | 基于注意力的多通道数据融合网络架构及数据处理方法 |
| CN113256496B (zh) * | 2021-06-11 | 2021-09-21 | 四川省人工智能研究院(宜宾) | 一种轻量级渐进式特征融合的图像超分辨率系统及方法 |
| CN113658040B (zh) * | 2021-07-14 | 2024-07-16 | 北京海百川科技有限公司 | 一种基于先验信息和注意力融合机制的人脸超分辨方法 |
| CN113379667B (zh) * | 2021-07-16 | 2023-03-24 | 浙江大华技术股份有限公司 | 脸部图像生成方法、装置、设备及介质 |
| CN113642415B (zh) * | 2021-07-19 | 2024-06-04 | 南京南瑞信息通信科技有限公司 | 人脸特征表达方法及人脸识别方法 |
| CN113361493B (zh) * | 2021-07-21 | 2022-05-20 | 天津大学 | 一种对不同图像分辨率鲁棒的人脸表情识别方法 |
| CN113658047A (zh) * | 2021-08-18 | 2021-11-16 | 北京石油化工学院 | 一种结晶图像超分辨率重建方法 |
| CN113806561A (zh) * | 2021-10-11 | 2021-12-17 | 中国人民解放军国防科技大学 | 一种基于实体属性的知识图谱事实补全方法 |
| CN114372918B (zh) * | 2022-01-12 | 2024-09-13 | 重庆大学 | 基于像素级注意力机制的超分辨率图像重构方法及系统 |
| CN114418853B (zh) * | 2022-01-21 | 2022-09-20 | 杭州碧游信息技术有限公司 | 基于相似图像检索的图像超分辨率优化方法、介质及设备 |
| CN114529450B (zh) * | 2022-01-25 | 2023-04-25 | 华南理工大学 | 基于改进深度迭代协作网络的人脸图像超分辨方法 |
| CN114897694B (zh) * | 2022-05-10 | 2024-09-24 | 南京航空航天大学 | 基于混合注意力和双层监督的图像超分辨率重建方法 |
| CN114972024B (zh) * | 2022-05-13 | 2024-10-22 | 山西大学 | 一种基于图表示学习的图像超分辨率重建装置及方法 |
| CN115358932B (zh) * | 2022-10-24 | 2023-03-24 | 山东大学 | 一种多尺度特征融合的人脸超分辨率重构方法及系统 |
| CN116311479B (zh) * | 2023-05-16 | 2023-07-21 | 四川轻化工大学 | 一种用于汽车解锁的人脸识别方法、系统和存储介质 |
| CN117061790B (zh) * | 2023-10-12 | 2024-01-30 | 深圳云天畅想信息科技有限公司 | 流媒体视频帧渲染方法、装置及存储介质 |
| CN118116069A (zh) * | 2023-12-28 | 2024-05-31 | 浙江大学 | 一种基于三重时空注意力的人员行为预测方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111275643A (zh) * | 2020-01-20 | 2020-06-12 | 西南科技大学 | 基于通道和空间注意力的真实噪声盲去噪网络模型及方法 |
| CN111833246A (zh) * | 2020-06-02 | 2020-10-27 | 天津大学 | 基于注意力级联网络的单帧图像超分辨方法 |
| CN111915592A (zh) * | 2020-08-04 | 2020-11-10 | 西安电子科技大学 | 基于深度学习的遥感图像云检测方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9965705B2 (en) * | 2015-11-03 | 2018-05-08 | Baidu Usa Llc | Systems and methods for attention-based configurable convolutional neural networks (ABC-CNN) for visual question answering |
| KR20190113119A (ko) * | 2018-03-27 | 2019-10-08 | 삼성전자주식회사 | 합성곱 신경망을 위한 주의집중 값 계산 방법 |
| CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
| CN112070670B (zh) * | 2020-09-03 | 2022-05-10 | 武汉工程大学 | 全局-局部分离注意力机制的人脸超分辨率方法及系统 |
-
2021
- 2021-01-21 CN CN202110081811.9A patent/CN112750082B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111275643A (zh) * | 2020-01-20 | 2020-06-12 | 西南科技大学 | 基于通道和空间注意力的真实噪声盲去噪网络模型及方法 |
| CN111833246A (zh) * | 2020-06-02 | 2020-10-27 | 天津大学 | 基于注意力级联网络的单帧图像超分辨方法 |
| CN111915592A (zh) * | 2020-08-04 | 2020-11-10 | 西安电子科技大学 | 基于深度学习的遥感图像云检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| Yanting Hu,Jie Li,Yuanfei Huang,and Xinbo Gao.Channel-Wise and Spatial Feature Modulation Network for Single Image Super-Resolution.https://arxiv.org/abs/1809.11130.2018,全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112750082A (zh) | 2021-05-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112750082B (zh) | 基于融合注意力机制的人脸超分辨率方法及系统 | |
| CN108475415B (zh) | 用于图像处理的方法和系统 | |
| CN112070670B (zh) | 全局-局部分离注意力机制的人脸超分辨率方法及系统 | |
| CN111028150B (zh) | 一种快速时空残差注意力视频超分辨率重建方法 | |
| CN109389667B (zh) | 一种基于深度学习的高效全局光照明绘制方法 | |
| US20230153946A1 (en) | System and Method for Image Super-Resolution | |
| CN111768340B (zh) | 一种基于密集多路径网络的超分辨图像重构方法和系统 | |
| CN113421187B (zh) | 一种超分辨率重建方法、系统、存储介质、设备 | |
| CN116188272B (zh) | 适用于多模糊核的两阶段深度网络图像超分辨率重建方法 | |
| CN106600533B (zh) | 单图像超分辨率重建方法 | |
| CN116486074A (zh) | 一种基于局部和全局上下文信息编码的医学图像分割方法 | |
| CN116757930A (zh) | 基于残差分离注意力机制的遥感图像超分辨率方法、系统及介质 | |
| CN116468605A (zh) | 基于时空分层掩膜注意力融合的视频超分辨率重建方法 | |
| CN115345866A (zh) | 一种遥感影像中建筑物提取方法、电子设备及存储介质 | |
| Yang et al. | MRDN: A lightweight Multi-stage residual distillation network for image Super-Resolution | |
| CN116797456A (zh) | 图像超分辨率重建方法、系统、设备和存储介质 | |
| CN116091315A (zh) | 一种基于渐进训练和人脸语义分割的人脸超分辨率重建方法 | |
| Hua et al. | Dynamic scene deblurring with continuous cross-layer attention transmission | |
| Jeevan et al. | WaveMixSR: Resource-efficient neural network for image super-resolution | |
| Zheng et al. | Depth image super-resolution using multi-dictionary sparse representation | |
| CN117689547A (zh) | 一种基于多阶段增强框架的渐进式人脸超分辨率计算方法 | |
| CN116485654A (zh) | 卷积神经网络与Transformer相结合的轻量级单图像超分辨率重建方法 | |
| CN116266336A (zh) | 视频超分辨率重建方法、装置、计算设备及存储介质 | |
| Liu et al. | Second-order attention network for magnification-arbitrary single image super-resolution | |
| CN111292237B (zh) | 基于二维多集偏最小二乘的人脸图像超分辨率重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |