CN115358932B - 一种多尺度特征融合的人脸超分辨率重构方法及系统 - Google Patents

一种多尺度特征融合的人脸超分辨率重构方法及系统 Download PDF

Info

Publication number
CN115358932B
CN115358932B CN202211298585.0A CN202211298585A CN115358932B CN 115358932 B CN115358932 B CN 115358932B CN 202211298585 A CN202211298585 A CN 202211298585A CN 115358932 B CN115358932 B CN 115358932B
Authority
CN
China
Prior art keywords
resolution
feature
super
image
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211298585.0A
Other languages
English (en)
Other versions
CN115358932A (zh
Inventor
刘成云
张玉娇
陈振学
曹佳倩
孙露娜
钟昆儒
秦皓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202211298585.0A priority Critical patent/CN115358932B/zh
Publication of CN115358932A publication Critical patent/CN115358932A/zh
Application granted granted Critical
Publication of CN115358932B publication Critical patent/CN115358932B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G06T3/4076—Super resolution, i.e. output image resolution higher than sensor resolution by iteratively correcting the provisional high resolution image using the original low-resolution image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Abstract

本公开提供了一种多尺度特征融合的人脸超分辨率重构方法及系统，涉及计算机视觉技术领域，包括采集待检测的监控视频，从所述监控视频中提取行人的低分辨率人脸图像；对所述低分辨率人脸图像进行预处理；对处理后的低分辨率图像输入至多尺度特征融合人脸超分辨率重构网络中提取不同尺度的特征图，将所述特征图通过由最大池化层组成的跳跃连接提取高频信息后再进行特征通道的级联融合；将级联融合后的图像进行超分辨率重建，将其与通过双三次插值上采样的输入图片逐像素相加输出最后的超分辨率图像；本公开将网络任务的重点集中在人脸的五官上，使重建的五官更加清晰明朗。

Description

一种多尺度特征融合的人脸超分辨率重构方法及系统
技术领域
本公开涉及计算机视觉技术领域，具体涉及一种多尺度特征融合的人脸超分辨率重构方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
超分辨率，是将输入的低分辨率的图像，也即小尺寸、像素数量相对较少因而视觉效果较差的图像，重新构建成像素数量相对较多，有着良好的视觉效果的清晰的图片。人脸超分辨率重构是图像超分辨率重构的子任务，它与普通的图像超分辨率任务有所相似却又侧重不同，顾名思义，人脸超分辨率的重点在于人脸的五官以及人脸轮廓的重建，因而全局与局部细节有着不同程度的重建。人脸超分辨率重构应用广泛，由于公共监控平台设备性能受限，采集到的人脸往往是退化严重的低分辨率的人脸图像，因此需要对其进行预处理操作，也就是进行人脸超分辨率重构，经过重构的人脸图片分辨率大幅提高，五官清晰可辨，这对后续的人脸解析，人脸对齐以及人脸识别等任务上都起到了极大的作用。早期的人脸超分辨率重建的传统方法主要有两种：基于图像插值的方法，例如双三次插值、最邻近插值法等，但是此种方法重建出的图像会有细节丢失的问题；基于图像重建的方法，例如迭代反投影和最大后验法，算法模型小且计算速度快，但是重建性能有所限制。随着深度学习时代的到来，在卷积神经网络在超分辨率重构上的应用取得突破性进展后，图像超分辩率重构领域掀起了神经网络的热潮。
发明人发现，目前人脸超分辨率重构多倾向于引入人脸先验信息来提高重构的精度，但是却会导致网络复杂度增加，并且在分辨率很低的人脸图像上提取人脸信息也比较困难；并且，相关的卷积模型在取得高精度的同时，前期训练模型需要耗费大量时间，并且后期单张图片重构速率也需要提高；此外，大部分的人脸超分辨率模型重构出的图像都存在图像过于平滑，五官不够清晰等问题。
发明内容
本公开为了解决上述问题，提出了一种多尺度特征融合的人脸超分辨率重构方法及系统，利用改进后的U-NET网络结构提取人脸图像的多尺度特征，充分利用了人脸的高频信息以及减少了冗余的特征提取；并且提出一个新的残差注意力融合模型，将网络任务的重点集中在人脸的五官上，使重建的五官更加清晰明朗。
根据一些实施例，本公开采用如下技术方案：
一种多尺度特征融合的人脸超分辨率重构方法，包括：
采集待检测的监控视频，从所述监控视频中提取行人的低分辨率人脸图像；
对所述低分辨率人脸图像进行预处理；
对处理后的低分辨率图像输入至多尺度特征融合人脸超分辨率重构网络中提取不同尺度的特征图，将所述特征图通过由最大池化层组成的跳跃连接提取高频信息后再进行特征通道的级联融合；
将级联融合后的图像进行超分辨率重建，将其与通过双三次插值上采样的输入图片逐像素相加输出最后的超分辨率图像。
根据一些实施例，本公开采用如下技术方案：
一种多尺度特征融合的人脸超分辨率重构系统，包括：
图像采集模块，用于采集待检测的监控视频，从所述监控视频中提取行人的低分辨率人脸图像；
图像处理模块，用于对所述低分辨率人脸图像进行预处理；
图像特征提取模块，用于对处理后的低分辨率图像输入至多尺度特征融合人脸超分辨率重构网络中提取不同尺度的特征图，将所述特征图通过由最大池化层组成的跳跃连接提取高频信息后再进行特征通道的级联融合；
图像重建模块，用于将级联融合后的图像进行超分辨率重建，将其与通过双三次插值上采样的输入图片逐像素相加输出最后的超分辨率图像。
根据一些实施例，本公开采用如下技术方案：
一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种多尺度特征融合的人脸超分辨率重构方法。
根据一些实施例，本公开采用如下技术方案：
一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种多尺度特征融合的人脸超分辨率重构方法。
与现有技术相比，本公开的有益效果为：
本公开利用改进的U-NET网络结构提取人脸图片的多尺度特征，利用UNET的结构来取代传统的反馈，提取不同尺度的高维信息返回到预处理图片再进行超分辨率重构任务，将图片的浅层特征与高层特征信息融合在一起，避免了图片的信息浪费；
本公开提出的残差注意力融合模块，通过对通道注意力、像素注意力、空间注意力三者的融合，给予五官更高的权重，使网络将重点放在面部五官的细节优化上；
本公开提出的多尺度特征融合人脸超分辨率重构方法可以有效为人脸识别等提供帮助，能够解决依赖人脸先验信息而导致网络复杂度高，重构速率低，重构图片过于平滑等问题。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1是本公开实施例中多尺度特征融合人脸超分辨率重构方法流程图；
图2是本公开实施例中多尺度特征融合人脸超分辨率重构方法示意图；
图3是本公开实施例中SRn模块示意图；
图4是本公开实施例中残差注意力融合模块示意图。
具体实施方式
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
术语解释：
SRn模块：添加了预处理与残差注意力融合模块的卷积循环反馈模块，卷积循环反馈模块详见SRFBN（Li Z, Yang J, Liu Z, et al. "Feedback Network for ImageSuper-Resolution," in 2019 IEEE/CVF Conference on Computer Vision and PatternRecognition (CVPR), 2019, pp. 3862-3871.），是一种参数少，运行速度快的神经网络。
特征图：具有宽度、高度、通道数三维信息的特征图，(W×H×C)。
实施例1
本公开的一种实施例中提供了一种多尺度特征融合的人脸超分辨率重构方法，应用于人脸识别、人脸解析等实际领域，如图1所示，包括：
步骤1：采集待检测的监控视频，从所述监控视频中提取行人的低分辨率人脸图像；
步骤2：对所述低分辨率人脸图像进行预处理；
步骤3：对处理后的低分辨率图像输入至多尺度特征融合人脸超分辨率重构网络中提取不同尺度的特征图，将所述特征图通过由最大池化层组成的跳跃连接提取高频信息后再进行特征通道的级联融合；
步骤4：将级联融合后的图像进行超分辨率重建，将其与通过双三次插值上采样的输入图片逐像素相加输出最后的超分辨率图像。
作为一种实施例，获取待检测的视频，从视频中提取行人的低分辨率人脸图像；
利用多尺度特征融合人脸超分辨重构方法对监控视频中的低分辨率人脸图像进行超分辨率重构，为下一阶段人脸识别、人脸解析等操作做准备；
其中，人脸超分辨率重构时所述多尺度特征融合网络被配置为：将监控视频中的低分辨率人脸图像首先进行预处理获得16×16像素大小的输入图片，输入图片通过SRn模块得到不同尺寸大小的特征图，再通过最大池化和级联操作得到多尺度特征融合特征图，再经由带有残差注意力融合模块的循环超分辨率反馈模块得到精细超分辨率重构图像，上述过程描述了改进的U-NET网络的框架，最后将其和通过上采样至输出图像大小的输入图像逐像素相加得到最后的超分辨率重构图像。
其中，多尺度特征融合人脸超分辨重构网络的训练过程为：
对训练集中的图片首先进行裁剪操作，随后再随机旋转90°，180°，270°和水平翻转以进行数据增强，最后输入网络中。
该网络由四个SRn模块以近似U-NET网络结构堆叠起来，跳跃连接采用MP模块。
输入的16×16低分辨率图像经过前三个SRn模块后得到不同尺寸的超分辨率图像，再分别对其进行高频信息提取，依次进行两两融合，进入最后一个SRn模块进行最后的超分辨率重建，并将其与通过双三次插值上采样的输入图片逐像素相加得到最后的超分辨率图像。
在最后一个SRn模块中包含残差注意力融合模块，用来提取特征图三维信息，特征通道信息以及空间特征信息，以优化超分辨率结果。
通过监督超分辨率图像与高分辨率图像之间的像素损失值，优化网络中各个卷积层的参数。
下面以监控视频场景为例来详细说明，多尺度特征融合人脸超分辨重构网络的训练过程为：
具体地，S1：收集监控视频，从视频中提取行人低分辨率人脸图像，图像大小为任意尺度，对图像进行命名，进而形成低分辨率图像的训练集和测试集。同时获取行人高分辨率图像，按相应的低分辨率图像进行命名，进而形成高分辨率图像的训练集和测试集。
步骤S1的具体过程为：
S1.1：视频由一系列快速变化的帧形成，同一行人可能出现在数十帧，采用过线采集的办法，当行人经过视频中划定的线时采集其低分辨率图像；
S1.2：利用双三次插值方法将低分辨率图像统一大小为16×16，同样利用双三次插值方法将高分辨率图像统一大小为128×128。
S1.3：同一行人的高低分辨率图像以相同名字命名，分别存入高低分辨率图像训练集中，低分辨率图像训练集输入网络中进行重构，高分辨率图像训练集用来计算其与超分辨率图像的像素损失值以对各层卷积层参数进行优化。
S2：将预处理之后的高低分辨率图像训练集输入到如图2所示的多尺度特征融合人脸超分辨率重构网络中进行训练，训练过程中用不同规模的SRn模块学习得到不同尺度的特征图，将这些特征图通过由最大池化层组成的跳跃连接提取高频信息后再进行特征通道的级联融合，再输入进一个SRn模块进行最后的更加精细化的重构，并加入了残差注意力融合模块对特征图进行各个维度特征信息提取，提高精度与网络性能，最后和通过上采样至128×128尺寸的输入图像逐像素相加得到最终的超分辨率人脸图像，具体为：
步骤S2的具体过程为：
S2.1：在整个网络框架中，输入的16×16低分辨率图像经过前三个SRn模块后得到不同尺寸的超分辨率图像，经过SR1会得到32×32的图像，经过SR2会得到64×64的图像，经过SR3会得到128×128的图像，再分别对其进行高频信息提取，依次进行两两融合，进入最后一个SRn模块进行最后的超分辨率重建，并将其与通过双三次插值上采样的输入图片逐像素相加得到最后的超分辨率图像。
S2.2：SRn模块中使用了SRFBN中的卷积循环反馈模块，将groups设置为6。特征图每次进入SRn模块时的特征通道数依次是48、96、192、192。
S2.3：在SRn模块中，如图3所示，首先利用3×3卷积和Pixelshuffle串联结构进行一个浅层特征提取操作，该操作只能提取一些简单的特征，例如人脸轮廓等。接着进入SRFBN中的卷积循环反馈模块，这一步是为了进行更精细的特征提取与图像超分恢复，只在SR4模块中使用残差注意力融合模块，将网络的超分重点放在五官的重建上，并使用了残差结构，连接了卷积循环反馈模块的结构与经过注意力机制后的结果，最后通过1×1卷积压缩特征通道输出。
S2.4：在残差注意力融合模块中，将通道注意力模块、空间注意力模块、像素注意力模块以图4示方法融合起来。特征图进入残差注意力融合模块后首先利用2个3×3的卷积核进行特征提取，加强了特征复用，并增加RELU层增强非线性表达能力，随后分为两路，一路分别进入像素注意力模块与空间注意力模块提取三维信息与空间特征信息，级联两个特征通道后进入通道注意力模块提取特征通道信息，再与没经过任何操作的另一路进行特征通道上的级联，输出结果。
S2.5：跳跃连接中使用的最大池化层卷积核设置为2，步长为2。
S2.6：多尺度特征融合人脸超分辨重构网络通过L1损失公式计算超分辨率图像以及高分辨率图像之间的像素损失来优化网络，损失计算公式为：
其中，LPixel表示网络总损失，IHR和ISR分别表示高分辨率图像和超分辨率图像。
本实施例利用多尺度特征融合人脸超分辨重构网络解决监控视频中的人脸超分辨率重构问题。从监控视频中提取图像，对图像统一缩放并命名，随机水平翻转，扩大训练集；此模型将输入的人脸进行预处理后再进行不同的尺度的超分重建，同时利用改进的U-NET结构采集不同尺度人脸图像的高维信息，返回到预处理图像再进行超分重建，可以高效的将高频信息与低频信息利用起来，并采用一个残差注意力融合模块，将超分的重点放在人的五官上。本公开提出的多尺度特征融合人脸超分辨重构网络所构建的超分辨率人脸脸部清晰度大大提高，五官也更加明朗清晰，细节信息更丰富，对后续人脸的其他操作，例如人脸识别，人脸解析等有着极大的助益，在与其他重建效果相近的模型的比较中，该网络计算更加迅速。
实施例2
本公开的一种实施例中提供了一种多尺度特征融合的人脸超分辨率重构系统，包括：
图像采集模块，用于采集待检测的监控视频，从所述监控视频中提取行人的低分辨率人脸图像；
图像处理模块，用于对所述低分辨率人脸图像进行预处理；
图像特征提取模块，用于对处理后的低分辨率图像输入至多尺度特征融合人脸超分辨率重构网络中提取不同尺度的特征图，将所述特征图通过由最大池化层组成的跳跃连接提取高频信息后再进行特征通道的级联融合；
图像重建模块，用于将级联融合后的图像进行超分辨率重建，将其与通过双三次插值上采样的输入图片逐像素相加输出最后的超分辨率图像。
实施例3
本公开的一种实施例中提供了一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种多尺度特征融合的人脸超分辨率重构方法。
实施例4
本公开的一种实施例中提供了一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种多尺度特征融合的人脸超分辨率重构方法。
以上实施例2、3、4的系统以及设备中涉及的各步骤与方法实施例1相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本公开中的任一方法。
本公开是参照根据本公开实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (9)

1.一种多尺度特征融合的人脸超分辨率重构方法，其特征在于，包括：
采集待检测的监控视频，从所述监控视频中提取行人的低分辨率人脸图像；
对所述低分辨率人脸图像进行预处理；
对处理后的低分辨率图像输入至多尺度特征融合人脸超分辨率重构网络中提取不同尺度的特征图，将所述特征图通过由最大池化层组成的跳跃连接提取高频信息后再进行特征通道的级联融合；级联融合的过程为：输入的低分辨率图像经过前三个SRn模块后得到不同尺寸的超分辨率图像特征图，再分别对其进行高频信息提取，依次进行两两融合，进入最后一个SRn模块进行最后的超分辨率重建，并加入了残差注意力融合模块对特征图进行各个维度特征信息提取，最后将其与通过双三次插值上采样的输入图片逐像素相加得到最后的超分辨率图像；
其中，在所述残差注意力融合模块中，将通道注意力模块、空间注意力模块、像素注意力模块融合起来；特征图进入所述残差注意力融合模块后首先利用2个3×3的卷积核进行特征提取，加强特征复用，并增加RELU层增强非线性表达能力，随后分为两路，一路分别进入像素注意力模块与空间注意力模块提取三维信息与空间特征信息，级联两个特征通道后进入通道注意力模块提取特征通道信息，再与没经过任何操作的另一路进行特征通道上的级联，输出结果；
将级联融合后的图像进行超分辨率重建，将其与通过双三次插值上采样的输入图片逐像素相加输出最后的超分辨率图像。
2.如权利要求1所述的一种多尺度特征融合的人脸超分辨率重构方法，其特征在于，所述预处理的过程包括首先将图像进行裁剪操作，随后再随机旋转90°，180°，270°和水平翻转以进行数据增强。
3.如权利要求1所述的一种多尺度特征融合的人脸超分辨率重构方法，其特征在于，在预处理时，同一行人的高低分辨率图像以相同名字命名，分别存入高低分辨率图像训练集中，低分辨率图像训练集输入多尺度特征融合人脸超分辨率重构网络中进行重构。
4.如权利要求1所述的一种多尺度特征融合的人脸超分辨率重构方法，其特征在于，所述多尺度特征融合人脸超分辨率重构网络由四个SRn模块以近似U-NET网络结构堆叠起来，跳跃连接采用MP模块。
5.如权利要求1所述的一种多尺度特征融合的人脸超分辨率重构方法，其特征在于，在最后一个SRn模块中提取特征图三维信息，特征通道信息以及空间特征信息，优化超分辨率结果。
6.如权利要求4所述的一种多尺度特征融合的人脸超分辨率重构方法，其特征在于，在所述SRn模块中，首先利用3×3卷积和Pixelshuffle串联结构将图像进行一个浅层特征提取操作，接着进入SRFBN中的卷积循环反馈模块，进行特征提取与图像超分恢复，使用了残差结构，连接卷积循环反馈模块的结构与经过注意力机制后的结果，最后通过1×1卷积压缩特征通道输出。
7.一种多尺度特征融合的人脸超分辨率重构系统，其特征在于，包括：
图像采集模块，用于采集待检测的监控视频，从所述监控视频中提取行人的低分辨率人脸图像；
图像处理模块，用于对所述低分辨率人脸图像进行预处理；
图像特征提取模块，用于对处理后的低分辨率图像输入至多尺度特征融合人脸超分辨率重构网络中提取不同尺度的特征图，将所述特征图通过由最大池化层组成的跳跃连接提取高频信息后再进行特征通道的级联融合；级联融合的过程为：输入的低分辨率图像经过前三个SRn模块后得到不同尺寸的超分辨率图像特征图，再分别对其进行高频信息提取，依次进行两两融合，进入最后一个SRn模块进行最后的超分辨率重建，并加入了残差注意力融合模块对特征图进行各个维度特征信息提取，最后将其与通过双三次插值上采样的输入图片逐像素相加得到最后的超分辨率图像；
其中，在所述残差注意力融合模块中，将通道注意力模块、空间注意力模块、像素注意力模块融合起来；特征图进入所述残差注意力融合模块后首先利用2个3×3的卷积核进行特征提取，加强特征复用，并增加RELU层增强非线性表达能力，随后分为两路，一路分别进入像素注意力模块与空间注意力模块提取三维信息与空间特征信息，级联两个特征通道后进入通道注意力模块提取特征通道信息，再与没经过任何操作的另一路进行特征通道上的级联，输出结果；
图像重建模块，用于将级联融合后的图像进行超分辨率重建，将其与通过双三次插值上采样的输入图片逐像素相加输出最后的超分辨率图像。
8.一种计算机可读存储介质，其特征在于，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行权利要求1-6中任一项所述的一种多尺度特征融合的人脸超分辨率重构方法。
9.一种终端设备，其特征在于，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行如权利要求1-6中任一项所述的一种多尺度特征融合的人脸超分辨率重构方法。
CN202211298585.0A 2022-10-24 2022-10-24 一种多尺度特征融合的人脸超分辨率重构方法及系统 Active CN115358932B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211298585.0A CN115358932B (zh) 2022-10-24 2022-10-24 一种多尺度特征融合的人脸超分辨率重构方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211298585.0A CN115358932B (zh) 2022-10-24 2022-10-24 一种多尺度特征融合的人脸超分辨率重构方法及系统

Publications (2)

Publication Number Publication Date
CN115358932A CN115358932A (zh) 2022-11-18
CN115358932B true CN115358932B (zh) 2023-03-24

Family

ID=84008277

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211298585.0A Active CN115358932B (zh) 2022-10-24 2022-10-24 一种多尺度特征融合的人脸超分辨率重构方法及系统

Country Status (1)

Country Link
CN (1) CN115358932B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546032B (zh) * 2022-12-01 2023-04-21 泉州市蓝领物联科技有限公司 一种基于特征融合与注意力机制的单帧图像超分辨率方法
CN116485652B (zh) * 2023-04-26 2024-03-01 北京卫星信息工程研究所 遥感影像车辆目标检测的超分辨率重建方法
CN116468812A (zh) * 2023-05-16 2023-07-21 山东省计算中心（国家超级计算济南中心） 一种基于多分支和多尺度的图像压缩感知重构方法及系统
CN116452424B (zh) * 2023-05-19 2023-10-10 山东大学 一种基于双重广义蒸馏的人脸超分辨率重构方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379597A (zh) * 2021-05-19 2021-09-10 宜宾电子科技大学研究院 人脸超分辨率重构方法
CN113658040A (zh) * 2021-07-14 2021-11-16 西安理工大学 一种基于先验信息和注意力融合机制的人脸超分辨方法
WO2022166245A1 (zh) * 2021-02-08 2022-08-11 南京邮电大学 一种视频帧的超分辨率重构方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915487B (zh) * 2020-08-04 2022-05-10 武汉工程大学 基于分层多尺度残差融合网络的人脸超分辨率方法及装置
CN112750082B (zh) * 2021-01-21 2023-05-16 武汉工程大学 基于融合注意力机制的人脸超分辨率方法及系统
CN113409191B (zh) * 2021-06-02 2023-04-07 广东工业大学 一种基于注意力反馈机制的轻量级图像超分方法及系统
CN113592718A (zh) * 2021-08-12 2021-11-02 中国矿业大学 基于多尺度残差网络的矿井图像超分辨率重建方法及系统
CN114429422A (zh) * 2021-12-22 2022-05-03 山东师范大学 基于残差通道注意力网络的图像超分辨率重建方法及系统
CN114581300A (zh) * 2022-02-17 2022-06-03 华南理工大学 一种图像超分辨率重建方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022166245A1 (zh) * 2021-02-08 2022-08-11 南京邮电大学 一种视频帧的超分辨率重构方法
CN113379597A (zh) * 2021-05-19 2021-09-10 宜宾电子科技大学研究院 人脸超分辨率重构方法
CN113658040A (zh) * 2021-07-14 2021-11-16 西安理工大学 一种基于先验信息和注意力融合机制的人脸超分辨方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Image Super-Resolution Using Deep Convolutional Networks;Chao Dong等;《IEEE Transactions on Pattern Analysis & Machine Intelligence》;20151231;全文 *
面向图像超分辨率重建的深度学习模型压缩算法研究;孙涛;《万方平台》;20220816;全文 *

Also Published As

Publication number Publication date
CN115358932A (zh) 2022-11-18

Similar Documents

Publication Publication Date Title
Anwar et al. Densely residual laplacian super-resolution
CN115358932B (zh) 一种多尺度特征融合的人脸超分辨率重构方法及系统
US20210166350A1 (en) Fusion network-based method for image super-resolution and non-uniform motion deblurring
Lan et al. MADNet: a fast and lightweight network for single-image super resolution
CN110033410B (zh) 图像重建模型训练方法、图像超分辨率重建方法及装置
Wang et al. Contextual transformation network for lightweight remote-sensing image super-resolution
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN111105352A (zh) 超分辨率图像重构方法、系统、计算机设备及存储介质
Cai et al. FCSR-GAN: Joint face completion and super-resolution via multi-task learning
Sun et al. Lightweight image super-resolution via weighted multi-scale residual network
CN111861961A (zh) 单幅图像超分辨率的多尺度残差融合模型及其复原方法
CN110532959B (zh) 基于双通道三维卷积神经网络的实时暴力行为检测系统
Yu et al. E-DBPN: Enhanced deep back-projection networks for remote sensing scene image superresolution
Chen et al. Remote sensing image super-resolution via residual aggregation and split attentional fusion network
Dong et al. Real-world remote sensing image super-resolution via a practical degradation model and a kernel-aware network
Esmaeilzehi et al. UPDResNN: A deep light-weight image upsampling and deblurring residual neural network
Huang et al. Deep gaussian scale mixture prior for image reconstruction
Liu et al. Siamtrans: zero-shot multi-frame image restoration with pre-trained siamese transformers
Shen et al. RSHAN: Image super-resolution network based on residual separation hybrid attention module
Shuai et al. Accurate image super-resolution using cascaded multi-column convolutional neural networks
Wang et al. Image super-resolution via lightweight attention-directed feature aggregation network
CN116188272B (zh) 适用于多模糊核的两阶段深度网络图像超分辨率重建方法
CN116029905A (zh) 一种基于渐进差值互补的人脸超分辨率重构方法及系统
Oh et al. Fpanet: Frequency-based video demoireing using frame-level post alignment
Wan et al. Progressive convolutional transformer for image restoration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant