CN117274064A - 一种图像超分辨率方法 - Google Patents

一种图像超分辨率方法 Download PDF

Info

Publication number
CN117274064A
CN117274064A CN202311519153.2A CN202311519153A CN117274064A CN 117274064 A CN117274064 A CN 117274064A CN 202311519153 A CN202311519153 A CN 202311519153A CN 117274064 A CN117274064 A CN 117274064A
Authority
CN
China
Prior art keywords
module
low
frequency
image
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311519153.2A
Other languages
English (en)
Other versions
CN117274064B (zh
Inventor
吕文君
罗里恒
康宇
李鲲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202311519153.2A priority Critical patent/CN117274064B/zh
Publication of CN117274064A publication Critical patent/CN117274064A/zh
Application granted granted Critical
Publication of CN117274064B publication Critical patent/CN117274064B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像超分辨率技术领域，公开了一种图像超分辨率方法，将低分辨率图像输入超分辨率网络模型，生成高分辨率图像；包括以下步骤：获取数据并进行预处理；构建并训练超分辨率网络模型；超分辨率网络模型包括平稳小波变换模块、分块注意力模块、低频子网络、高频子网络和高低频融合模块；将测试数据集中的低分辨率图像输入到训练好的超分辨率网络模型中，得到低分辨率图像的高分辨率图像；本发明引入了低频子网络和高频子网络两个分支。低频子网络专注于图像的结构和纹理恢复，有助于保持图像整体的视觉一致性。而高频子网络则更专注于重建高频细节，从而提高了图像的细节还原能力。

Description

一种图像超分辨率方法
技术领域
本发明涉及图像超分辨率技术领域，具体涉及一种图像超分辨率方法。
背景技术
图像超分辨率技术的重要性不言而喻，它能够从单一低分辨率图像中诞生出高分辨率的图像。这项技术的价值不仅体现在能够提升视觉品质，更在于高分辨率图像所能呈现的精湛细节和逼真图像内容，能够提升用户的视觉感受。这种技术的应用范围涵盖了广泛领域，其在图像分析和处理方面尤为显要，在众多图像分析任务中，高分辨率图像所囊括的特征信息能够显著增强算法的准确性和效果。此外，图像复原与修复领域也深受其益，因低分辨率图像常常受限于噪声、模糊或压缩等因素，导致图像细节的遗失或损毁。图像超分辨率技术在一定程度上能够恢复这些遗失细节，改进图像的复原和修复效果，使得图像展现更加真实完整的一面。无论是摄影、医学影像，还是监控等领域，图像超分辨率技术都能够施展积极作用。
而就其技术背景而言，图像超分辨率领域主要分为传统方法和基于深度学习的方法两大支脉。早期的传统方法主要依靠信号处理和插值技术，如双线性插值、插值滤波器以及基于边缘的手法。然而，由于这些方法在图像重建过程中过多地依赖启发式规则和图像统计信息，对复杂图像内容理解不足，往往难以呈现高品质的超分辨率效果。此外，传统方法容易导致图像过度平滑或过于锐化的问题。
近年来，基于深度学习的方法在图像超分辨率领域取得了显著突破。深度学习模型能够从大规模数据中学习到更为有效的特征表达和映射关系，从而实现更为精准地超分辨率重建。其中，卷积神经网络（CNN）是最常用的深度学习模型之一。通过多层卷积和池化操作，CNN能够提取图像的关键特征，并通过反卷积层进行上采样和重建。一些经典的CNN网络结构，如SRCNN、VDSR和EDSR等，已在单图像超分辨率任务中得到广泛应用。近年来，基于注意力机制的方法，如SAN、SRGAN和RNAN，也纷纷涌现。这些方法引入了注意力机制，使网络能够更为精准地聚焦于图像的重要区域，从而提升超分辨率重建的质量。
发明内容
为解决上述技术问题，本发明提供一种图像超分辨率方法。
为解决上述技术问题，本发明采用如下技术方案：
一种图像超分辨率方法，将低分辨率图像输入超分辨率网络模型，生成高分辨率图像；包括以下步骤：
步骤一，获取数据并进行预处理：
获取高分辨率图像，通过降采样的方式获得高分辨率图像对应的低分辨率图像，将高分辨率图像和对应的低分辨率图像组成一对图像，将成对的图像分为训练数据集和测试数据集；低分辨率图像记为，与低分辨率图像成对的高分辨率图像记为/>，超分辨率网络模型输出的高分辨率图像记为/>；
步骤二，构建并训练超分辨率网络模型：
超分辨率网络模型包括平稳小波变换模块、分块注意力模块、低频子网络、高频子网络和高低频融合模块；
平稳小波变换模块用于将图像分解为图像中的低频信息，以及图像中水平方向的高频信息、垂直方向的高频信息、对角方向的高频信息；将平稳小波变换模块分解低分辨率图像得到的图像中的低频信息，作为低频子网络的输入，记为低频子图像/>；将平稳小波变换模块分解低分辨率图像/>得到的图像中水平方向的高频信息、垂直方向的高频信息和对角方向的高频信息，组成高频子图像/>，输入到高频子网络；
低频子网络和高频子网络分别对低频子图像和高频子图像进行训练；其中高频子网络锐化高频子图像，低频子网络用于学习低频子图像的内容和纹理；超分辨率网络模型训练过程中；分块注意力模块采用分块注意力机制同时提取低频子图像和高频子图像的详细特征，并执行特征权重计算以增强高频子图像的边界，以用于将低频子网络的信息传输到高频子网络；
高低频融合模块用于将高频特征嵌入到低频特征中，来弥合高频特征和低频特征之间的差距；
将高频子网络的输出和低频子网络的输出进行逆平稳小波变换，合成高分辨率图像；
对于训练数据集中给定的低分辨率图像和高分辨率图像/>组成的一对图像，分别进行平稳小波变换，并组合得到/>，/>、/>、、/>分别为低分辨率图像/>中的低频信息、水平方向的高频信息、垂直方向的高频信息和对角方向的高频信息；/>、/>、/>、/>分别为高分辨率图像/>中的低频信息、水平方向的高频信息、垂直方向的高频信息和对角方向的高频信息；训练数据集中的一对图像的损失函数/>定义为：/>；其中，/>为用于权衡高低频网络的权重，/>表示低频子网络，/>表示高频子网络，/>表示范数；基于损失函数/>对超分辨率网络模型进行训练；
步骤三，将测试数据集中的低分辨率图像输入到训练好的超分辨率网络模型中，得到低分辨率图像的高分辨率图像。
进一步地，所述低频子网络依次包括N0模块、B个N1模块、N0模块和N2模块；N0模块为卷积层；N1模块依次包括两组卷积层和Relu激活函数；N2模块依次包括上采样操作和卷积层；
低频子图像经过N0模块的卷积层，提取得到低频子网络的初始特征/>：
；
其中，表示卷积运算；/>表示低频子网络的权重；然后通过残差块进一步提取深层特征，第/>个N1模块的输出特征/>为：
；
即，除了第一个N1模块外，每一个N1模块的输出特征由上一个N1模块的输出特征通过两次卷积运算和Relu激活函数之后加上初始特征得到；第一个N1模块的输出由初始特征/>通过卷积运算和Relu激活函数之后加上初始特征/>得到；其中，/>表示第b+1个N1模块中卷积层的卷积参数；/>表示Relu激活函数；/>表示卷积运算；
最后一个N1模块的输出特征经过N0模块的卷积层，提取得到所述的低频特征，将低频特征经过N2模块的上采样操作和卷积层后，得到低频子网络的输出/>：
；
其中，表示低频子网络。
进一步地，所述高频子网络依次包括N0模块、分块注意力模块、B个残差致密模块、N0模块和N2模块；
高频子图像经过N0模块的卷积层，提取得到高频子网络的初始特征/>；
；
其中，是卷积运算；/>表示高频子网络第一个N0模块中卷积层的参数和偏差；然后利用分块注意力模块/>来增强高频子网络初始特征/>中上下文信息的聚合，得到第一个残差致密模块的输入特征/>：
；
在高频子网络提取所述高频特征时，利用所有残差致密模块的输出特征，通过全局残差学习将浅层特征和深层特征相结合，具体地：
第个残差致密模块的输入特征，为第/>个残差致密模块/>的输出特征/>，即：/>；然后将每一个RDB模块的输出特征进行融合并经过N0模块的卷积层，得到融合特征/>：
；
其中，依次为第一个残差致密模块的输出特征至第B个残差致密模块的输出特征，/>表示高频子网络第二个N0模块中卷积层的参数和偏差；
再将与/>相加，得到所述高频特征；
将高频特征经过N2模块的上采样操作和卷积层后，得到高频子网络的输出：
；
其中，表示高频子网络。
进一步地，低频子网络中N1模块的数量与高频子网络中残差致密模块的数量相同，将第个N1模块的输出特征/>经过分块注意力模块增强后的特征/>，输入到第/>个残差致密模块；
残差致密模块依次包括B个N3模块和一个N0模块；N3模块依次包括卷积层和Relu激活函数；
计算第个残差致密模块的输出特征/>时，将第/>个残差致密模块的输出特征/>输入N3模块进行依次卷积运算，再进行Relu激活函数，得到特征/>；再使用剩余N3模块的重复进行卷积运算和Relu激活函数，依次得到特征；
将所有N3模块输出的特征融合并经过N0模块进行一次卷积，得到特征：
；
其中，为残差致密模块中N0模块的卷积层的卷积参数；
最后将特征与第/>个残差致密模块的输出特征/>，以及经过分块注意力模块增强后的特征/>相加，得到第/>个残差致密模块的输出特征/>：
。
进一步地，高低频融合模块依次包括N5模块、N0模块、N4模块；N0模块为卷积层，N4模块为sigmoid激活函数；N5模块依次包括平均池化操作和卷积层；
所述高低频融合模块用于将高频特征嵌入到低频特征中，具体包括：将高频特征输入N5模块，进行平均池化，然后进行一次缩减比r的缩减卷积；再将N5模块的输出，输入至N0模块，进行将特征维数恢复为c的递增卷积；再将N0模块的输出，输入至N4模块，通过sigmoid激活函数将N0模块的输出映射到0至1之间；最后通过残差设计将N4模块的输出与低频特征相乘再相加，得到增强后的低频特征。
进一步地，分块注意力模块采用分块注意力机制同时提取低频子图像和高频子图像的详细特征，并执行特征权重计算以增强高频子图像的边界，以用于将低频子网络的信息传输到高频子网络，具体过程包括：
分块注意力模块依次包括，N5模块、N0模块和N4模块；N0模块为卷积层，N4模块为sigmoid激活函数；N5模块依次包括平均池化操作和卷积层；
将特征输入N5模块，进行平均池化，然后进行一次缩减比r的缩减卷积；再将N5模块的输出，输入至N0模块，进行将特征维数恢复为c的递增卷积；再将N0模块的输出，输入至N4模块，通过sigmoid激活函数将N0模块的输出映射到0至1之间；最后通过残差设计将N4模块的输出与输入至N5模块的特征相乘再相加，得到经过分块注意力模块增强后的特征。
与现有技术相比，本发明的有益技术效果是：
1、平稳小波变换与逆变换的引入：本发明采用平稳小波变换及其逆变换，有效降低了网络上采样和下采样导致的信息损失。通过将图像分解为低频子图像和高频子图像并分别进行处理，避免了信息在处理过程中的不必要丢失，从而为图像重建提供更可靠的基础。
2、低频子网络与高频子网络：本发明引入了低频子网络和高频子网络两个分支。低频子网络专注于图像的结构和纹理恢复，有助于保持图像整体的视觉一致性。而高频子网络则更专注于重建高频细节，从而提高了图像的细节还原能力。
3、融合低频结构的高频细节重建：本发明在重构高频细节的同时，巧妙地引入了低频结构信息。这不仅有助于准确还原低频结构，同时也为高频细节的恢复提供了更好的参考，从而有效提升了整体的图像重建质量。
附图说明
图1为本发明中的超分辨率网络模型的示意图；
图2为本发明平稳小波变换模块的示意图；
图3为本发明分块注意力模块的示意图；
图4为本发明高低频融合模块的示意图；
图5为本发明残差致密模块的示意图；
图6为本发明低频子网络的示意图；
图7为本发明高频子网络的示意图。
具体实施方式
下面结合附图对本发明的一种优选实施方式作详细的说明。
本实施例中的图像超分辨率方法，包括以下内容。
1.获取数据并进行预处理，得到训练数据集和测试数据集：
获取高分辨率图像，通过降采样的方式获得高分辨率图像对应的低分辨率图像，则一个低分辨率图像和对应的一个高分辨率图像构成一对图像。超分辨率网络模型的输入为低分辨率图像，输出为高分辨率图像。低分辨率图像记为，与低分辨率图像成对的高分辨率图像记为/>，超分辨率网络模型输出的高分辨率图像记为/>。
2.划分低频子图像和高频子图像，具体如下。
2.1 定义平稳小波变换模块：
平稳小波变换（Stationary Wavelet Transform，SWT）是一种广泛应用于信号分析和处理的方法。它建立在小波变换的基础上，通过将信号（即输入到平稳小波变换模块中的图像）分解成不同尺度和频率的成分，能够揭示信号的局部特征和时频特性。
与传统的小波变换（Discrete Wavelet Transform，DWT）不同，平稳小波变换采用了一种独特的处理方式，包括重叠的滤波操作和下采样操作，这使得通过平稳小波变换获得的小波系数序列具备了平稳性质。这一特性的意义在于，在不同尺度上对信号进行分解时，所获得的子带系数序列的长度是相同的，为后续的信号分析和处理提供了便利，使得不同尺度下的特征比较更加方便和一致。图2显示了二维的SWT模块分解结构。
经典小波变换在第n个尺度上的分解计算如下表示：
；
；
这里N表示最高小波变换分解等级；f和g分别表示低通滤波器和高通滤波器；表示第n个尺度的最近似低频系数；/>是第n个尺度的高频细节系数；而/>是原始信号。
SWT模块在第n个尺度上的分解计算如下表示：
；
；
其中，是满足以下条件的低通滤波器：/>，/>＝/>；并且是满足以下条件的高通滤波器：/>，/>=/>；/>表示上采样，/>是卷积运算；在SWT模块中，/>是原始信号，即输入到SWT模块中的图像。/>是最近似的低频系数，/>是高频细节系数，并且/>、/>都具有与/>相同的长度，原始信号/>可被2的n次方整除。/>是平稳小波变换第n层的输入信号，首先利用滤波器和/>分别对输入图像进行行（row）滤波，得到中间输出/>和/>，再利用滤波器/>和/>分别对中间输出/>和/>进行列（columns）滤波，得到的输出/>、/>、、/>分别表示最近似的低频系数、图像中水平方向的高频信息、图像中垂直方向的高频信息、图像中对角方向的高频信息。/>记为/>、/>记为/>、记为/>、/>记为/>。
3.定义分块注意力模块、高低频融合模块、残差致密模块，具体如下。
3.1定义分块注意力模块(patch attention module，PAM)：
图3是PAM模块结构图，分块注意力模块依次包括，N5模块、N0模块和N4模块；N0模块为卷积层（Conv）；N4模块为sigmoid激活函数；N5模块依次包括平均池化操作（AveragePooling）和卷积层；
本发明提出通过PAM机制来增强提取特征中上下文信息的聚合，将低频或高频特征输入N5模块，进行平均池化，然后进行一次缩减比r的缩减卷积；再将N5模块的输出，输入至N0模块，进行将特征维数恢复为c的递增卷积；再将N0模块的输出，输入至N4模块，进行sigmoid激活函数将输出映射到0到1之间；最后通过残差设计将N4模块的输出与原低频或高频特征相乘再相加，得到增强后的特征。
3.2定义HLFM模块(High-low Frequency Fusion module，高低频融合模块)：
图4是HLFM模块的结构图，高低频融合模块依次包括N5模块、N0模块、N4模块；N0模块为卷积层（Conv）；N4模块为sigmoid激活函数；N5模块依次包括平均池化操作（AveragePooling）和卷积层。图4中，low Frequency Features表示低频特征，High FrequencyFeatures表示高频特征；Enhanced Features表示增强后的低频特征。
为了充分利用低频特征，本发明提出了一种HLFM模块来丰富它们的语义。这种操作在不牺牲高频特征和低频特征的空间细节的情况下，弥合了高频特征和低频特征之间的差距。HLFM模块将来自高频特征的局部注意力嵌入到低频特征中：与PAM模块的结构类似，HLFM模块包括N5模块、N0模块、N4模块，HLFM模块首先将高频特征做一次平均池化，然后进行一次缩减比r的1×1维缩减卷积，再做一次将特征维数恢复为c的1×1维递增卷积，再进行一次sigmoid激活函数将N0模块的输出映射到0到1之间。为了避免高频特征的过度干扰，本发明添加了残差设计来强调低频特征的重要性。将递增卷积结果与低频特征相乘再相加作为HLFM模块的输出，弥合低频特征与高频特征的差距。
3.3定义残差致密模块(Residual Dense Module，RDB模块)：
图5是RDB模块结构图，残差致密模块依次包括B个N3模块和一个N0模块；N3模块依次包括卷积层（Conv）和Relu激活函数，N0模块为卷积层（Conv）。本实施例中，残差致密模块包括三个N3模块和一个N0模块。
为了更好的提取和融合高频特征，转移先前的特征状态以提取该层上的特征，从而实现连续记忆机制，本发明提出了RDB模块。RDB模块依次包括三个N3模块和一个N0模块，N0模块为卷积层，N3模块包括卷积层和Relu激活函数；RDB模块首先将来自高频特征的输入经过PAM模块来提取上下文信息的聚合，得到/>；计算第/>个残差致密模块的输出特征/>时，将第b/>1个残差致密模块的输出特征/>输入N3模块进行依次/>卷积运算，再进行Relu激活函数，得到特征/>；再使用剩余的N3模块重复进行卷积运算和Relu激活函数，依次得到特征/>；
将所有N3模块输出的特征融合并经过N0模块进行一次卷积，得到特征：
；
其中，为残差致密模块中N0模块的卷积层的卷积参数；
最后将特征与第/>个残差致密模块的输出特征/>，以及经过分块注意力模块后的特征/>相加，得到第/>个残差致密模块的输出特征/>：
。
4.定义低频子网络和高频子网络分别训练低频子图像和高频子图像，具体包括以下内容。
4.1定义低频子网络：
图6是低频子网络结构图，在本实施例中，将SWT分解的最近似低频系数，即/>，作为低频子网络的输入。/>作为表示低频子网络的输入时，记为低频子图像/>。低频子网络依次包括N0模块、B个N1模块、N0模块和N2模块；N0模块为卷积层（Conv）；N1模块依次包括卷积层、Relu激活函数、卷积层和Relu激活函数；N2模块依次包括上采样操作（Upsampling）和卷积层。为了适应参数缩减，所有N1模块共享相同的参数，并以递归方式进行传输和重用。
低频子网络的卷积层用于提取浅层特征，低频子网络的初始特征通过N0模块的卷积层从/>中提取。计算如下
；
其中，表示卷积运算；/>表示低频子网络的权重；然后通过残差块进一步提取深层特征，第/>个N1模块的输出特征/>为：
；
即，除了第一个N1模块外，每一个N1模块的输出特征由上一个N1模块的输出特征通过两次卷积运算和Relu激活函数之后加上初始特征得到；第一个N1模块的输出由初始特征/>通过卷积运算和Relu激活函数之后加上初始特征/>得到；其中，/>表示第b+1个N1模块中卷积层的卷积参数；/>表示Relu激活函数；/>表示卷积运算；
最后一个N1模块的输出特征经过N0模块的卷积层，提取得到所述的低频特征，将低频特征经过N2模块的上采样操作和卷积层后，得到低频子网络的输出/>：
。
其中，表示低频子网络。
4.2定义高频子网络：
图7是高频子网络结构图，依次包括N0模块、分块注意力模块、B个残差致密模块、N0模块和N2模块。N2模块依次包括上采样操作（Upsampling）和卷积层，N0模块为卷积层（Conv）。
本发明中，将SWT分解的水平、平方向的高频信息、垂直方向的高频信息、对角方向的高频信息合并的高频子图像，用作高频子网络的输入。高频子图像/>经过N0模块的卷积层，提取得到高频子网络的初始特征/>；
；
其中，表示高频子网络的输入；/>是卷积运算；/>表示高频子网络第一个N0模块中卷积层的参数和偏差；通过卷积来提取第一层特征/>；然后利用PAM模块来增强提取特征/>中上下文信息的聚合。由于高频子网络中高频细节稀疏，在提取高频特征时添加了高频子网络提取模块RDB的特征信息，利用所有层的特征信息，通过全局残差学习将浅层特征和深度层特征相结合，丰富了模块中的信息。将/>经过PAM模块后得到第一个残差致密模块的输入特征/>：
；
在高频子网络提取所述高频特征时，利用所有残差致密模块的输出特征，通过全局残差学习将浅层特征和深层特征相结合，具体地：
第个残差致密模块的输入特征，为第/>个残差致密模块/>的输出特征/>，即：/>；然后将每一个RDB模块的输出特征进行融合并经过N0模块的卷积层进行一次/>卷积，得到融合特征/>：
。
其中，依次为第一个残差致密模块的输出特征至第B个残差致密模块的输出特征，/>表示高频子网络第二个N0模块中卷积层的参数和偏差；
再将与/>相加，得到所述高频特征；
将高频特征经过N2模块的上采样操作和卷积层后，得到高频子网络的输出：
；
其中表示高频子网络。/>表示高频子网络的输出。
4.3 定义超分辨率网络模型结构：
图1是超分辨率网络模型结构图，首先利用SWT模块将低分辨率图像分为低频子图像和高频子图像，设计低频子网络和高频子网络分别对低频子图像和高频子图像进行训练。其中高频子网络锐化高频子图像，低频子网络专注于学习低频子图像的内容和纹理。包含更多信息的低频子网络被用来将信息传输到包含较少信息的高频子网络，以训练超分辨率网络模型，避免了在图像重建之前忽略高频和低频信息传输关键性的模型中的常见问题。训练过程中，PAM模块利用补丁局部注意力，对提取的特征图进行操作，并可以聚合来自本地补丁的上下文信息，以减少混淆，增强特征的表示能力。本研究还将低频子网络信息输入高频子网络，使低频子网络和高频子网络能够产生良好的图像恢复结果。PAM机制可以同时提取低频和高频的详细特征，并执行特征权重计算以增强高频图像边界。本研究还提出了HLFM将高频特征嵌入到低频特征中来弥合高频特征和低频特征之间的差距。最后通过逆平稳小波变换(ISWT)合成高分辨率图像。
5.定义损失函数并进行网络训练：
对于训练数据集中给定的低分辨率图像和高分辨率图像/>组成的一对图像，分别进行平稳小波变换，并组合得到/>，/>、/>、、/>分别为低分辨率图像/>中的低频信息、水平方向的高频信息、垂直方向的高频信息和对角方向的高频信息；/>、/>、/>、/>分别为高分辨率图像/>中的低频信息、水平方向的高频信息、垂直方向的高频信息和对角方向的高频信息；训练数据集中的一对图像的损失函数/>定义为：/>；其中，/>为用于权衡高低频网络的权重，/>表示低频子网络，/>表示高频子网络；/>表示范数；基于损失函数/>对超分辨率网络模型进行训练；
6.模型应用：
把测试数据集中的低分辨率图像输入到训练好的超分辨率网络模型中，输出该低分辨率图像的高分辨率图像。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立技术方案，说明书的这种叙述方式仅仅是为了清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (6)

1.一种图像超分辨率方法，将低分辨率图像输入超分辨率网络模型，生成高分辨率图像；其特征在于，包括以下步骤：
步骤一，获取数据并进行预处理：
获取高分辨率图像，通过降采样的方式获得高分辨率图像对应的低分辨率图像，将高分辨率图像和对应的低分辨率图像组成一对图像，将成对的图像分为训练数据集和测试数据集；低分辨率图像记为，与低分辨率图像成对的高分辨率图像记为/>，超分辨率网络模型输出的高分辨率图像记为/>；
步骤二，构建并训练超分辨率网络模型：
超分辨率网络模型包括平稳小波变换模块、分块注意力模块、低频子网络、高频子网络和高低频融合模块；
平稳小波变换模块用于将图像分解为图像中的低频信息，以及图像中水平方向的高频信息、垂直方向的高频信息、对角方向的高频信息；将平稳小波变换模块分解低分辨率图像得到的图像中的低频信息，作为低频子网络的输入，记为低频子图像/>；将平稳小波变换模块分解低分辨率图像/>得到的图像中水平方向的高频信息、垂直方向的高频信息和对角方向的高频信息，组成高频子图像/>，输入到高频子网络；
低频子网络和高频子网络分别对低频子图像和高频子图像进行训练；其中高频子网络锐化高频子图像，低频子网络用于学习低频子图像的内容和纹理；超分辨率网络模型训练过程中；分块注意力模块采用分块注意力机制同时提取低频子图像和高频子图像的详细特征，并执行特征权重计算以增强高频子图像的边界，以用于将低频子网络的信息传输到高频子网络；
高低频融合模块用于将高频特征嵌入到低频特征中，来弥合高频特征和低频特征之间的差距；
将高频子网络的输出和低频子网络的输出进行逆平稳小波变换，合成高分辨率图像；
对于训练数据集中给定的低分辨率图像和高分辨率图像/>组成的一对图像/>，分别进行平稳小波变换，并组合得到/>，/>、/>、/>、/>分别为低分辨率图像/>中的低频信息、水平方向的高频信息、垂直方向的高频信息和对角方向的高频信息；/>、/>、/>、/>分别为高分辨率图像/>中的低频信息、水平方向的高频信息、垂直方向的高频信息和对角方向的高频信息；训练数据集中的一对图像的损失函数/>定义为：/>；其中，/>为用于权衡高低频网络的权重，/>表示低频子网络，/>表示高频子网络，/>表示范数；基于损失函数/>对超分辨率网络模型进行训练；
步骤三，将测试数据集中的低分辨率图像输入到训练好的超分辨率网络模型中，得到低分辨率图像的高分辨率图像。
2.根据权利要求1所述的图像超分辨率方法，其特征在于：所述低频子网络依次包括N0模块、B个N1模块、N0模块和N2模块；N0模块为卷积层；N1模块依次包括两组卷积层和Relu激活函数；N2模块依次包括上采样操作和卷积层；
低频子图像经过N0模块的卷积层，提取得到低频子网络的初始特征/>：
；
其中，表示卷积运算；/>表示低频子网络的权重；然后通过残差块进一步提取深层特征，第/>个N1模块的输出特征/>为：
；
即，除了第一个N1模块外，每一个N1模块的输出特征由上一个N1模块的输出特征通过两次卷积运算和Relu激活函数之后加上初始特征得到；第一个N1模块的输出由初始特征/>通过卷积运算和Relu激活函数之后加上初始特征/>得到；其中，/>表示第b+1个N1模块中卷积层的卷积参数；/>表示Relu激活函数；/>表示卷积运算；
最后一个N1模块的输出特征经过N0模块的卷积层，提取得到所述的低频特征，将低频特征经过N2模块的上采样操作和卷积层后，得到低频子网络的输出/>：
；
其中，表示低频子网络。
3.根据权利要求2所述的图像超分辨率方法，其特征在于：所述高频子网络依次包括N0模块、分块注意力模块、B个残差致密模块、N0模块和N2模块；
高频子图像经过N0模块的卷积层，提取得到高频子网络的初始特征/>；
；
其中，是卷积运算；/>表示高频子网络第一个N0模块中卷积层的参数和偏差；然后利用分块注意力模块/>来增强高频子网络初始特征/>中上下文信息的聚合，得到第一个残差致密模块的输入特征/>：
；
在高频子网络提取所述高频特征时，利用所有残差致密模块的输出特征，通过全局残差学习将浅层特征和深层特征相结合，具体地：
第个残差致密模块的输入特征，为第/>个残差致密模块/>的输出特征/>，即：/>；然后将每一个RDB模块的输出特征进行融合并经过N0模块的卷积层，得到融合特征/>：
；
其中，依次为第一个残差致密模块的输出特征至第B个残差致密模块的输出特征，/>表示高频子网络第二个N0模块中卷积层的参数和偏差；
再将与/>相加，得到所述高频特征；
将高频特征经过N2模块的上采样操作和卷积层后，得到高频子网络的输出：
；
其中，表示高频子网络。
4.根据权利要求3所述图像超分辨率方法，其特征在于，低频子网络中N1模块的数量与高频子网络中残差致密模块的数量相同，将第个N1模块的输出特征/>经过分块注意力模块增强后的特征/>，输入到第/>个残差致密模块；
残差致密模块依次包括B个N3模块和一个N0模块；N3模块依次包括卷积层和Relu激活函数；
计算第个残差致密模块的输出特征/>时，将第/>个残差致密模块的输出特征输入N3模块进行依次卷积运算，再进行Relu激活函数，得到特征/>；再使用剩余N3模块的重复进行卷积运算和Relu激活函数，依次得到特征；
将所有N3模块输出的特征融合并经过N0模块进行一次卷积，得到特征：
；
其中，为残差致密模块中N0模块的卷积层的卷积参数；
最后将特征与第/>个残差致密模块的输出特征/>，以及经过分块注意力模块增强后的特征/>相加，得到第/>个残差致密模块的输出特征/>：
。
5.根据权利要求1所述的图像超分辨率方法，其特征在于：高低频融合模块依次包括N5模块、N0模块、N4模块；N0模块为卷积层，N4模块为sigmoid激活函数；N5模块依次包括平均池化操作和卷积层；
所述高低频融合模块用于将高频特征嵌入到低频特征中，具体包括：将高频特征输入N5模块，进行平均池化，然后进行一次缩减比r的缩减卷积；再将N5模块的输出，输入至N0模块，进行将特征维数恢复为c的递增卷积；再将N0模块的输出，输入至N4模块，通过sigmoid激活函数将N0模块的输出映射到0至1之间；最后通过残差设计将N4模块的输出与所述低频特征相乘再相加，得到增强后的低频特征。
6.根据权利要求1所述的图像超分辨率方法，其特征在于：分块注意力模块采用分块注意力机制同时提取低频子图像和高频子图像的详细特征，并执行特征权重计算以增强高频子图像的边界，以用于将低频子网络的信息传输到高频子网络，具体过程包括：
分块注意力模块依次包括，N5模块、N0模块和N4模块；N0模块为卷积层，N4模块为sigmoid激活函数；N5模块依次包括平均池化操作和卷积层；
将特征输入N5模块，进行平均池化，然后进行一次缩减比r的缩减卷积；再将N5模块的输出，输入至N0模块，进行将特征维数恢复为c的递增卷积；再将N0模块的输出，输入至N4模块，通过sigmoid激活函数将N0模块的输出映射到0至1之间；最后通过残差设计将N4模块的输出与输入至N5模块的特征相乘再相加，得到经过分块注意力模块增强后的特征。
CN202311519153.2A 2023-11-15 2023-11-15 一种图像超分辨率方法 Active CN117274064B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311519153.2A CN117274064B (zh) 2023-11-15 2023-11-15 一种图像超分辨率方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311519153.2A CN117274064B (zh) 2023-11-15 2023-11-15 一种图像超分辨率方法

Publications (2)

Publication Number Publication Date
CN117274064A true CN117274064A (zh) 2023-12-22
CN117274064B CN117274064B (zh) 2024-04-02

Family

ID=89214571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311519153.2A Active CN117274064B (zh) 2023-11-15 2023-11-15 一种图像超分辨率方法

Country Status (1)

Country Link
CN (1) CN117274064B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472743A (zh) * 2018-10-25 2019-03-15 中国科学院电子学研究所 遥感图像的超分辨率重建方法
CN110211084A (zh) * 2019-06-14 2019-09-06 大连海事大学 一种基于权重小波变换的图像多分辨率重建方法
KR20190110320A (ko) * 2018-03-20 2019-09-30 영남대학교 산학협력단 영상 복원 방법과 이를 수행하기 위한 장치 및 시스템
CN111612695A (zh) * 2020-05-19 2020-09-01 华侨大学 一种低分辨率人脸图像超分辨重建方法
CN111968036A (zh) * 2020-08-18 2020-11-20 西京学院 一种分层图像超分辨率方法、系统、计算机设备及应用
WO2021115403A1 (zh) * 2019-12-13 2021-06-17 深圳市中兴微电子技术有限公司 一种图像的处理方法及装置
CN113362223A (zh) * 2021-05-25 2021-09-07 重庆邮电大学 基于注意力机制和双通道网络的图像超分辨率重建方法
KR20220109688A (ko) * 2021-01-29 2022-08-05 서강대학교산학협력단 위상합동을 이용한 초해상화 모델 학습방법 및 그를 위한 초해상화 모델

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190110320A (ko) * 2018-03-20 2019-09-30 영남대학교 산학협력단 영상 복원 방법과 이를 수행하기 위한 장치 및 시스템
CN109472743A (zh) * 2018-10-25 2019-03-15 中国科学院电子学研究所 遥感图像的超分辨率重建方法
CN110211084A (zh) * 2019-06-14 2019-09-06 大连海事大学 一种基于权重小波变换的图像多分辨率重建方法
WO2021115403A1 (zh) * 2019-12-13 2021-06-17 深圳市中兴微电子技术有限公司 一种图像的处理方法及装置
CN111612695A (zh) * 2020-05-19 2020-09-01 华侨大学 一种低分辨率人脸图像超分辨重建方法
CN111968036A (zh) * 2020-08-18 2020-11-20 西京学院 一种分层图像超分辨率方法、系统、计算机设备及应用
KR20220109688A (ko) * 2021-01-29 2022-08-05 서강대학교산학협력단 위상합동을 이용한 초해상화 모델 학습방법 및 그를 위한 초해상화 모델
CN113362223A (zh) * 2021-05-25 2021-09-07 重庆邮电大学 基于注意力机制和双通道网络的图像超分辨率重建方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
WEI-YEN HSU ET AL: "Detail-Enhanced Wavelet Residual Network for Single Image Super-Resolution", IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT, vol. 71, pages 1 - 13 *
WEI-YEN HSU ET AL: "Pedestrian detection using a translation-invariant wavelet residual dense super-resolution", OPTICS EXPRESS, vol. 30, no. 23, pages 41279 - 41295 *
XIUMEI WANG ET AL: "Dual residual attention module network for single image super resolution", NEUROCOMPUTING, vol. 364, pages 269 - 279, XP085804401, DOI: 10.1016/j.neucom.2019.06.078 *
孙超;寇昆湖;吕俊伟;叶松松;刘豪;周玲;赵利;: "基于小波深层网络的图像超分辨率方法研究", 计算机应用研究, no. 1, pages 380 - 384 *

Also Published As

Publication number Publication date
CN117274064B (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
Luo et al. Lattice network for lightweight image restoration
CN109035146B (zh) 一种基于深度学习的低质量图像超分方法
CN111340744B (zh) 基于注意力双流深度网络的低质量图像降采样方法及其系统
CN110232653A (zh) 快速轻型超分辨率重建密集残差网络
CN109949222B (zh) 基于语义图的图像超分辨率重建方法
CN112070668B (zh) 一种基于深度学习和边缘增强的图像超分辨方法
CN110675321A (zh) 一种基于渐进式的深度残差网络的超分辨率图像重建方法
CN114463183A (zh) 基于频域和空域的图像超分辨率方法
CN111768340B (zh) 一种基于密集多路径网络的超分辨图像重构方法和系统
CN112785539B (zh) 基于图像自适应分解及参数自适应的多聚焦图像融合方法
CN117114984A (zh) 基于生成对抗网络的遥感图像超分辨率重建方法
CN117274059A (zh) 基于图像编码-解码的低分辨率图像重构方法及其系统
Zou et al. Joint wavelet sub-bands guided network for single image super-resolution
Kang et al. Multilayer degradation representation-guided blind super-resolution for remote sensing images
Yang et al. An effective and comprehensive image super resolution algorithm combined with a novel convolutional neural network and wavelet transform
CN116797541A (zh) 一种基于Transformer的肺部CT图像超分辨率重建方法
CN117726540A (zh) 一种增强门控Transformer的图像去噪方法
CN109272450B (zh) 一种基于卷积神经网络的图像超分方法
Thakur et al. Gradient and multi scale feature inspired deep blind gaussian denoiser
CN114529482A (zh) 基于小波多通道深度网络的图像压缩感知重建方法
CN109447934A (zh) 基于两步稀疏编码和小波变换全色与多光谱图像融合方法
CN117974468A (zh) 一种全局与局部特征交互并行的多模态医学图像融合方法
CN117274064B (zh) 一种图像超分辨率方法
CN116563111A (zh) 基于深度递归残差通道注意力的图像放大方法
CN111986114B (zh) 一种基于自监督约束的双尺度图像盲去噪方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant