CN114463183A - 基于频域和空域的图像超分辨率方法 - Google Patents

基于频域和空域的图像超分辨率方法 Download PDF

Info

Publication number
CN114463183A
CN114463183A CN202210134149.3A CN202210134149A CN114463183A CN 114463183 A CN114463183 A CN 114463183A CN 202210134149 A CN202210134149 A CN 202210134149A CN 114463183 A CN114463183 A CN 114463183A
Authority
CN
China
Prior art keywords
image
frequency domain
resolution
layer
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210134149.3A
Other languages
English (en)
Inventor
张师超
谢方鑫
章成源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202210134149.3A priority Critical patent/CN114463183A/zh
Publication of CN114463183A publication Critical patent/CN114463183A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于频域和空域的图像超分辨率方法，包括获取原始数据集并处理得到训练数据集；基于增强超分辨率生成对抗网络，并结合小波变换和注意力机制，从频域和空域两个角度构建图像超分辨率原始模型；采用训练数据集进行训练得到图像超分辨率模型；采用图像超分辨率模型对实际的图像进行超分辨率处理。本发明依据空域图像和频域图像不同的特征，采用生成对抗网络、注意力机制和小波变换等技术，训练得到图像超分辨率模型，分别对空域和频域图像进行深度特征提取和特征重建工作；因此本发明方法能够使得超分辨率后的图像拥有更多的高频信息、结构信息和纹理信息，而且兼具准确率和视觉效果，可靠性高、实际应用效果好且稳定精确。

Description

基于频域和空域的图像超分辨率方法
技术领域
本发明属于数字图像处理领域，具体涉及一种基于频域和空域的图像超分辨率方法。
背景技术
随着经济技术的发展和人们生活水平的提高，电子图像已经广泛应用于人们生产和生活当中，给人们的生产和生活带来了无尽的便利。在电子图像大范围使用的今天，如何获取更高分辨率的电子图像，就成为了人们研究的重点。
目前，传统的获取更高分辨率的电子图像的方式，就是硬件升级，即通过硬件升级的方式，采用更加高级的传感器技术和光学制造技术，来获取更加高分辨率的电子图像。但是，受到传感器技术和光学制造技术的限制，通过硬件升级来获得更高质量和更高分辨率的图像的方法，不仅代价高昂，而且存在技术瓶颈。
图像超分辨率技术能够在一定的条件下，克服图像原有分辨率的限制，提高图像的分辨率，而且实现成本较低，实现效果较好。因此，图像超分辨率技术成为了现今的研究重点。
近年来，随着深度学习的快速发展，基于深度学习的超分辨率方法由于其优良的性能，已经逐步取代传统的基于插值和基于重建的超分辨率方法；现今已经存在大量优秀的图像超分辨率模型和方法。
但是，现今的基于深度学习的图像超分辨方法，在具体应用时，其在视觉效果和准确率等方面依旧存在不足；而且，现今的基于深度学习的图像超分辨方法均仅在测试任务上取得了一定的效果，但是在实际应用时效果均相对较差。
发明内容
本发明的目的在于提供一种可靠性高、实际应用效果好且稳定精确的基于频域和空域的图像超分辨率方法。
本发明提供的这种基于频域和空域的图像超分辨率方法，包括如下步骤：
S1.获取原始数据集；
S2.对步骤S1获取的原始数据集进行处理，从而构建训练数据集；
S3.基于增强超分辨率生成对抗网络，并结合小波变换和注意力机制，从频域和空域两个角度，构建图像超分辨率原始模型；
S4.采用步骤S2得到的训练数据集，对步骤S3构建的图像超分辨率原始模型进行训练，从而得到图像超分辨率模型；
S5.采用步骤S5得到的图像超分辨率模型，对实际的图像进行超分辨率处理，完成实际图像的超分辨率。
步骤S2所述的对步骤S1获取的原始数据集进行处理，从而构建训练数据集，具体包括如下步骤：
A.设定训练数据集中的高分辨率图像的分辨率和低分辨率图像的分辨率；
B.将步骤S1获取的原始数据集中的图像进行切分，获取若干子图作为高分辨率图像；
C.将步骤B得到的高分辨率图像进行下采样处理，从而得到对应的低分辨率图像；
D.将步骤B得到的高分辨率图像和步骤C得到的低分辨率图像进行一一匹配，从而得到训练数据集。
步骤S3所述的基于增强超分辨率生成对抗网络，并结合小波变换和注意力机制，从频域和空域两个角度，构建图像超分辨率原始模型，具体包括如下步骤：
a.构建空域超分网络，用于将输入的低分辨率图像进行特征提取、上采样和重建，从而得到重建空域图像特征；
b.构建频域超分网络，用于将输入的低分辨率图像进行频域分解、特征提取、上采样和重建，从而得到重建频域图像特征；
c.构建注意力融合网络，用于将步骤a得到的重建空域图像特征和步骤b得到的重建频域图像特征进行融合，并重建得到高分辨率图像。
步骤a所述的构建空域超分网络，具体包括如下步骤：
空域超分网络包括依次串接的空域浅层特征提取模块、空域深层特征提取模块、空域上采样模块和空域特征重建模块；
空域浅层特征提取模块包括一层卷积层，卷积核大小为3*3；空域浅层特征提取模块用于对输入的低分辨率图像进行浅层特征提取，并将提取到的浅层图像特征上传至空域深层特征提取模块；
空域深层特征提取模块包括23个密集残差块和一层卷积层，卷积层的卷积核大小为3*3；输入的浅层图像特征依次通过密集残差块和卷积层后得到深层图像特征，并保留中间特征；空域深层特征提取模块用于进行图像的深层特征提取，并将提取到的深层图像特征上传至空域上采样模块；
空域上采样模块包括依次串接的上采样层、一层卷积层和relu激活函数层，上采样层采用最近邻采样模式，卷积层的卷积核大小为3*3；输入的深层图像特征通过上采样层得到目标分辨率的空域图像特征，然后经过卷积层进行卷积操作，最后经过relu函数进行激活，完成上采样处理，并将最终得到的空域图像特征上传至空域特征重建模块；
空域特征重建模块包括依次串接的第一卷积层、一层relu激活函数层和第二卷积层，第一卷积层的卷积核大小为3*3，第二卷积层的卷积核大小为3*3；输入的空域图像特征通过第一卷积层进行卷积操作后，再通过relu函数进行激活，然后再通过第二卷积层进行卷积操作后，得到最终的重建空域图像特征。
步骤b所述的构建频域超分网络，具体包括如下步骤：
频域超分网络包括依次串接的频域分解模块、频域浅层特征提取模块、频域深层特征提取模块、频域上采样模块和频域特征重建模块；
频域分解模块采用稳定小波变换算法，将输入的低分辨率图像转换为4张频域图像：LL图像(水平低频图像)、LH图像(水平高频图像)、HL图像(垂直高频图像)和HH图像(对角高频图像)；并将得到的4张频域图像上传至频域浅层特征提取模块；
频域浅层特征提取模块包括一层卷积层，卷积核的大小为3*3；频域浅层特征提取模块用于对输入的频域图像进行浅层特征提取，并将提取到的频域浅层图像特征上传至频域深层特征提取模块；
频域深层特征提取模块包括依次串接的第一卷积层、第一密集残差块层、第二卷积层、第二密集残差块层、第三卷积层、第三密集残差块层、第四卷积层、第四密集残差块层和第五卷积层；每一个卷积层的卷积核大小均为3*3；输入的频域浅层图像特征与空域超分网络的中间特征连接后，一同输入第一卷积层中，第一卷积层的输出再通过第一密集残差块层；第一密集残差块层的输出与空域超分网络的中间特征连接后，一同输入第二卷积层中，第二卷积层的输出再通过第二密集残差块层；第二密集残差块层的输出与空域超分网络的中间特征连接后，一同输入第三卷积层中，第三卷积层的输出再通过第三密集残差块层；第三密集残差块层的输出与空域超分网络的中间特征连接后，一同输入第四卷积层中，第四卷积层的输出再通过第四密集残差块层；第四密集残差块层的输出再通过第五卷积层进行处理，从而得到频域深层特征，并上传频域上采样模块；
频域上采样模块包括依次串联的上采样层、一层卷积层和relu激活函数层，上采样层采用最近邻采样模式，卷积层的卷积核大小为3*3；输入的频域深层图像特征通过上采样层得到目标分辨率的频域图像特征，然后经过卷积层进行卷积操作，最后经过relu函数进行激活，完成上采样处理，并将最终得到的频域图像特征上传至频域特征重建模块；
频域特征重建模块包括依次串接的第一卷积层、一层relu激活函数层和第二卷积层，第一卷积层的卷积核大小为3*3，第二卷积层的卷积核大小为3*3；输入的频域图像特征通过第一卷积层进行卷积操作后，再通过relu函数进行激活，然后再通过第二卷积层进行卷积操作后，得到最终的重建频域图像特征。
步骤c所述的构建注意力融合网络，具体包括如下步骤：
(1)采用如下算式计算得到初步融合特征Fshallow：
Fshallow＝HRRDB(Attention(Fs,Ffreq)×Ffreq+Fs)
式中Fs为重建空域图像特征矩阵；Ffreq为重建频域图像特征矩阵；HRRDB()为密集残差模块所对应的处理过程；Attention(Fs,Ffreq)为相似度计算矩阵，且Attention(Fs,Ffreq)＝softmax(Fs×(Ffreq)T)，softmax()为softmax函数运算；
(2)采用如下算式计算得到深度融合特征Fdeep：
Fdeep＝HRRDB(Attention(Fshallow,Ffreq)×Ffreq+Fshallow)
式中Fshallow为步骤(1)计算得到的初步融合特征；
(3)将步骤(2)得到的深度融合特征Fdeep输入到两层卷积层中，从而得到输出的高分辨率图像；两层卷积层的卷积核均为3*3。
步骤S4所述的训练，具体为训练时采用如下算式作为损失函数LG：
LG＝Lpercep+λLGAN+ηL1
式中Lpercep为感知损失；LGAN为对抗损失；L1为内容损失；λ和η均为权重参数。
本发明提供的这种基于频域和空域的图像超分辨率方法，依据空域图像和频域图像不同的特征，采用生成对抗网络、注意力机制和小波变换等技术，训练得到图像超分辨率模型，分别对空域和频域图像进行深度特征提取和特征重建工作；因此本发明方法能够使得超分辨率后的图像拥有更多的高频信息、结构信息和纹理信息，而且兼具准确率和视觉效果，可靠性高、实际应用效果好且稳定精确。
附图说明
图1为本发明方法的方法流程示意图。
图2为本发明方法的图像超分辨率原始模型的结构示意图。
具体实施方式
如图1所示为本发明方法的方法流程示意图：本发明提供的这种基于频域和空域的图像超分辨率方法，包括如下步骤：
S1.获取原始数据集；
S2.对步骤S1获取的原始数据集进行处理，从而构建训练数据集；具体包括如下步骤：
A.设定训练数据集中的高分辨率图像的分辨率和低分辨率图像的分辨率；
B.将步骤S1获取的原始数据集中的图像进行切分，获取若干子图作为高分辨率图像；
C.将步骤B得到的高分辨率图像进行下采样处理，从而得到对应的低分辨率图像；
D.将步骤B得到的高分辨率图像和步骤C得到的低分辨率图像进行一一匹配，从而得到训练数据集；
S3.基于增强超分辨率生成对抗网络，并结合小波变换和注意力机制，从频域和空域两个角度，构建图像超分辨率原始模型；
所构建的图像超分辨率原始模型基于ESRGAN(Enhanced Super-ResolutionGenerative Adversarial Networks，增强超分辨率生成对抗网络)网络，引入小波变换和注意力机制，从频域和空域两个角度来进行超分辨率训练，通过注意力融合模块进行特征提取与选择，从而提高图像超分辨率的准确度和质量；所构建的图像超分辨率原始模型如图2所示；
具体实施时，包括如下步骤：
a.构建空域超分网络，用于将输入的低分辨率图像进行特征提取、上采样和重建，从而得到重建空域图像特征；具体包括如下步骤：
空域超分网络包括依次串接的空域浅层特征提取模块、空域深层特征提取模块、空域上采样模块和空域特征重建模块；
空域浅层特征提取模块包括一层卷积层，卷积核大小为3*3；空域浅层特征提取模块用于对输入的低分辨率图像进行浅层特征提取，并将提取到的浅层图像特征上传至空域深层特征提取模块；
空域深层特征提取模块包括23个密集残差块和一层卷积层，卷积层的卷积核大小为3*3；输入的浅层图像特征依次通过密集残差块和卷积层后得到深层图像特征，并保留中间特征；空域深层特征提取模块用于进行图像的深层特征提取，并将提取到的深层图像特征上传至空域上采样模块；
空域上采样模块包括依次串接的上采样层、一层卷积层和relu激活函数层，上采样层采用最近邻采样模式，卷积层的卷积核大小为3*3；输入的深层图像特征通过上采样层得到目标分辨率的空域图像特征，然后经过卷积层进行卷积操作，最后经过relu函数进行激活，完成上采样处理，并将最终得到的空域图像特征上传至空域特征重建模块；
空域特征重建模块包括依次串接的第一卷积层、一层relu激活函数层和第二卷积层，第一卷积层的卷积核大小为3*3，第二卷积层的卷积核大小为3*3；输入的空域图像特征通过第一卷积层进行卷积操作后，再通过relu函数进行激活，然后再通过第二卷积层进行卷积操作后，得到最终的重建空域图像特征；
b.构建频域超分网络，用于将输入的低分辨率图像进行频域分解、特征提取、上采样和重建，从而得到重建频域图像特征；具体包括如下步骤：
频域超分网络包括依次串接的频域分解模块、频域浅层特征提取模块、频域深层特征提取模块、频域上采样模块和频域特征重建模块；
频域分解模块采用稳定小波变换算法(SWT变换)，将输入的低分辨率图像转换为4张频域图像：LL图像(水平低频图像)、LH图像(水平高频图像)、HL图像(垂直高频图像)和HH图像(对角高频图像)；并将得到的4张频域图像上传至频域浅层特征提取模块；
频域浅层特征提取模块包括一层卷积层，卷积核的大小为3*3；频域浅层特征提取模块用于对输入的频域图像进行浅层特征提取，并将提取到的频域浅层图像特征上传至频域深层特征提取模块；
频域深层特征提取模块采用ESRGAN模型中的密集残差块作为基础模块，具体包括依次串接的第一卷积层、第一密集残差块层、第二卷积层、第二密集残差块层、第三卷积层、第三密集残差块层、第四卷积层、第四密集残差块层和第五卷积层；每一个卷积层的卷积核大小均为3*3；输入的频域浅层图像特征与空域超分网络的中间特征连接后，一同输入第一卷积层中，第一卷积层的输出再通过第一密集残差块层；第一密集残差块层的输出与空域超分网络的中间特征连接后，一同输入第二卷积层中，第二卷积层的输出再通过第二密集残差块层；第二密集残差块层的输出与空域超分网络的中间特征连接后，一同输入第三卷积层中，第三卷积层的输出再通过第三密集残差块层；第三密集残差块层的输出与空域超分网络的中间特征连接后，一同输入第四卷积层中，第四卷积层的输出再通过第四密集残差块层；第四密集残差块层的输出再通过第五卷积层进行处理，从而得到频域深层特征，并上传频域上采样模块；
频域上采样模块包括依次串联的上采样层、一层卷积层和relu激活函数层，上采样层采用最近邻采样模式，卷积层的卷积核大小为3*3；输入的频域深层图像特征通过上采样层得到目标分辨率的频域图像特征，然后经过卷积层进行卷积操作，最后经过relu函数进行激活，完成上采样处理，并将最终得到的频域图像特征上传至频域特征重建模块；
频域特征重建模块包括依次串接的第一卷积层、一层relu激活函数层和第二卷积层，第一卷积层的卷积核大小为3*3，第二卷积层的卷积核大小为3*3；输入的频域图像特征通过第一卷积层进行卷积操作后，再通过relu函数进行激活，然后再通过第二卷积层进行卷积操作后，得到最终的重建频域图像特征；
c.构建注意力融合网络，用于将步骤a得到的重建空域图像特征和步骤b得到的重建频域图像特征进行融合，并重建得到高分辨率图像；具体包括如下步骤：
(1)采用如下算式计算得到初步融合特征Fshallow：
Fshallow＝HRRDB(Attention(Fs,Ffreq)×Ffreq+Fs)
式中Fs为重建空域图像特征矩阵；Ffreq为重建频域图像特征矩阵；HRRDB()为密集残差模块所对应的处理过程；Attention(Fs,Ffreq)为相似度计算矩阵，且Attention(Fs,Ffreq)＝softmax(Fs×(Ffreq)T)，softmax()为softmax函数运算；
(2)采用如下算式计算得到深度融合特征Fdeep：
Fdeep＝HRRDB(Attention(Fshallow,Ffreq)×Ffreq+Fshallow)
式中Fshallow为步骤(1)计算得到的初步融合特征；
(3)将步骤(2)得到的深度融合特征Fdeep输入到两层卷积层中，从而得到输出的高分辨率图像；两层卷积层的卷积核均为3*3；
S4.采用步骤S2得到的训练数据集，对步骤S3构建的图像超分辨率原始模型进行训练，从而得到图像超分辨率模型；
训练时，采用如下算式作为损失函数LG：
LG＝Lpercep+λLGAN+ηL1
式中Lpercep为感知损失；LGAN为对抗损失；L1为内容损失；λ和η均为权重参数；
S5.采用步骤S5得到的图像超分辨率模型，对实际的图像进行超分辨率处理，完成实际图像的超分辨率。

Claims (7)

1.一种基于频域和空域的图像超分辨率方法，包括如下步骤：
S1.获取原始数据集；
S2.对步骤S1获取的原始数据集进行处理，从而构建训练数据集；
S3.基于增强超分辨率生成对抗网络，并结合小波变换和注意力机制，从频域和空域两个角度，构建图像超分辨率原始模型；
S4.采用步骤S2得到的训练数据集，对步骤S3构建的图像超分辨率原始模型进行训练，从而得到图像超分辨率模型；
S5.采用步骤S5得到的图像超分辨率模型，对实际的图像进行超分辨率处理，完成实际图像的超分辨率。
2.根据权利要求1所述的基于频域和空域的图像超分辨率方法，其特征在于步骤S2所述的对步骤S1获取的原始数据集进行处理，从而构建训练数据集，具体包括如下步骤：
A.设定训练数据集中的高分辨率图像的分辨率和低分辨率图像的分辨率；
B.将步骤S1获取的原始数据集中的图像进行切分，获取若干子图作为高分辨率图像；
C.将步骤B得到的高分辨率图像进行下采样处理，从而得到对应的低分辨率图像；
D.将步骤B得到的高分辨率图像和步骤C得到的低分辨率图像进行一一匹配，从而得到训练数据集。
3.根据权利要求2所述的基于频域和空域的图像超分辨率方法，其特征在于步骤S3所述的基于增强超分辨率生成对抗网络，并结合小波变换和注意力机制，从频域和空域两个角度，构建图像超分辨率原始模型，具体包括如下步骤：
a.构建空域超分网络，用于将输入的低分辨率图像进行特征提取、上采样和重建，从而得到重建空域图像特征；
b.构建频域超分网络，用于将输入的低分辨率图像进行频域分解、特征提取、上采样和重建，从而得到重建频域图像特征；
c.构建注意力融合网络，用于将步骤a得到的重建空域图像特征和步骤b得到的重建频域图像特征进行融合，并重建得到高分辨率图像。
4.根据权利要求3所述的基于频域和空域的图像超分辨率方法，其特征在于步骤a所述的构建空域超分网络，具体包括如下步骤：
空域超分网络包括依次串接的空域浅层特征提取模块、空域深层特征提取模块、空域上采样模块和空域特征重建模块；
空域浅层特征提取模块包括一层卷积层，卷积核大小为3*3；空域浅层特征提取模块用于对输入的低分辨率图像进行浅层特征提取，并将提取到的浅层图像特征上传至空域深层特征提取模块；
空域深层特征提取模块包括23个密集残差块和一层卷积层，卷积层的卷积核大小为3*3；输入的浅层图像特征依次通过密集残差块和卷积层后得到深层图像特征，并保留中间特征；空域深层特征提取模块用于进行图像的深层特征提取，并将提取到的深层图像特征上传至空域上采样模块；
空域上采样模块包括依次串接的上采样层、一层卷积层和relu激活函数层，上采样层采用最近邻采样模式，卷积层的卷积核大小为3*3；输入的深层图像特征通过上采样层得到目标分辨率的空域图像特征，然后经过卷积层进行卷积操作，最后经过relu函数进行激活，完成上采样处理，并将最终得到的空域图像特征上传至空域特征重建模块；
空域特征重建模块包括依次串接的第一卷积层、一层relu激活函数层和第二卷积层，第一卷积层的卷积核大小为3*3，第二卷积层的卷积核大小为3*3；输入的空域图像特征通过第一卷积层进行卷积操作后，再通过relu函数进行激活，然后再通过第二卷积层进行卷积操作后，得到最终的重建空域图像特征。
5.根据权利要求4所述的基于频域和空域的图像超分辨率方法，其特征在于步骤b所述的构建频域超分网络，具体包括如下步骤：
频域超分网络包括依次串接的频域分解模块、频域浅层特征提取模块、频域深层特征提取模块、频域上采样模块和频域特征重建模块；
频域分解模块采用稳定小波变换算法，将输入的低分辨率图像转换为4张频域图像：水平低频图像、水平高频图像、垂直高频图像和对角高频图像；并将得到的4张频域图像上传至频域浅层特征提取模块；
频域浅层特征提取模块包括一层卷积层，卷积核的大小为3*3；频域浅层特征提取模块用于对输入的频域图像进行浅层特征提取，并将提取到的频域浅层图像特征上传至频域深层特征提取模块；
频域深层特征提取模块包括依次串接的第一卷积层、第一密集残差块层、第二卷积层、第二密集残差块层、第三卷积层、第三密集残差块层、第四卷积层、第四密集残差块层和第五卷积层；每一个卷积层的卷积核大小均为3*3；输入的频域浅层图像特征与空域超分网络的中间特征连接后，一同输入第一卷积层中，第一卷积层的输出再通过第一密集残差块层；第一密集残差块层的输出与空域超分网络的中间特征连接后，一同输入第二卷积层中，第二卷积层的输出再通过第二密集残差块层；第二密集残差块层的输出与空域超分网络的中间特征连接后，一同输入第三卷积层中，第三卷积层的输出再通过第三密集残差块层；第三密集残差块层的输出与空域超分网络的中间特征连接后，一同输入第四卷积层中，第四卷积层的输出再通过第四密集残差块层；第四密集残差块层的输出再通过第五卷积层进行处理，从而得到频域深层特征，并上传频域上采样模块；
频域上采样模块包括依次串联的上采样层、一层卷积层和relu激活函数层，上采样层采用最近邻采样模式，卷积层的卷积核大小为3*3；输入的频域深层图像特征通过上采样层得到目标分辨率的频域图像特征，然后经过卷积层进行卷积操作，最后经过relu函数进行激活，完成上采样处理，并将最终得到的频域图像特征上传至频域特征重建模块；
频域特征重建模块包括依次串接的第一卷积层、一层relu激活函数层和第二卷积层，第一卷积层的卷积核大小为3*3，第二卷积层的卷积核大小为3*3；输入的频域图像特征通过第一卷积层进行卷积操作后，再通过relu函数进行激活，然后再通过第二卷积层进行卷积操作后，得到最终的重建频域图像特征。
6.根据权利要求5所述的基于频域和空域的图像超分辨率方法，其特征在于步骤c所述的构建注意力融合网络，具体包括如下步骤：
(1)采用如下算式计算得到初步融合特征Fshallow：
Fshallow＝HRRDB(Attention(Fs,Ffreq)×Ffreq+Fs)
式中Fs为重建空域图像特征矩阵；Ffreq为重建频域图像特征矩阵；HRRDB()为密集残差模块所对应的处理过程；Attention(Fs,Ffreq)为相似度计算矩阵，且Attention(Fs,Ffreq)＝softmax(Fs×(Ffreq)T)，softmax()为softmax函数运算；
(2)采用如下算式计算得到深度融合特征Fdeep：
Fdeep＝HRRDB(Attention(Fshallow,Ffreq)×Ffreq+Fshallow)
式中Fshallow为步骤(1)计算得到的初步融合特征；
(3)将步骤(2)得到的深度融合特征Fdeep输入到两层卷积层中，从而得到输出的高分辨率图像；两层卷积层的卷积核均为3*3。
7.根据权利要求1～6之一所述的基于频域和空域的图像超分辨率方法，其特征在于步骤S4所述的训练，具体为训练时采用如下算式作为损失函数LG：
LG＝Lpercep+λLGAN+ηL1
式中Lpercep为感知损失；LGAN为对抗损失；L1为内容损失；λ和η均为权重参数。
CN202210134149.3A 2022-02-14 2022-02-14 基于频域和空域的图像超分辨率方法 Pending CN114463183A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210134149.3A CN114463183A (zh) 2022-02-14 2022-02-14 基于频域和空域的图像超分辨率方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210134149.3A CN114463183A (zh) 2022-02-14 2022-02-14 基于频域和空域的图像超分辨率方法

Publications (1)

Publication Number Publication Date
CN114463183A true CN114463183A (zh) 2022-05-10

Family

ID=81413023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210134149.3A Pending CN114463183A (zh) 2022-02-14 2022-02-14 基于频域和空域的图像超分辨率方法

Country Status (1)

Country Link
CN (1) CN114463183A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100421A (zh) * 2022-06-22 2022-09-23 西北工业大学 一种基于图像频域分解重构的对抗样本生成方法
CN115601237A (zh) * 2022-10-12 2023-01-13 太原科技大学（Cn） 视图间差异强化的光场图像超分辨率重构网络
CN115908144A (zh) * 2023-03-08 2023-04-04 中国科学院自动化研究所 基于随机小波注意力的图像处理方法、装置、设备及介质
WO2023217270A1 (zh) * 2022-05-13 2023-11-16 北京字跳网络技术有限公司 图像超分方法、超分网络参数调整方法、相关装置及介质
CN118014016A (zh) * 2024-04-08 2024-05-10 天津师范大学 对抗卷积神经网络模型、oct图像重建算法及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111696168A (zh) * 2020-06-13 2020-09-22 中北大学 基于残差自注意力图像增强的高倍速采mri重建方法
WO2021017571A1 (zh) * 2019-07-31 2021-02-04 华为技术有限公司 一种空频合并系数的指示方法及装置
CN113139904A (zh) * 2021-04-29 2021-07-20 厦门大学 一种图像盲超分辨率方法及系统
KR102309343B1 (ko) * 2020-04-01 2021-10-06 세종대학교산학협력단 딥러닝 기반의 초고해상도 지표투과 레이더 이미지 생성을 통한 주파수-파수 분석 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021017571A1 (zh) * 2019-07-31 2021-02-04 华为技术有限公司 一种空频合并系数的指示方法及装置
KR102309343B1 (ko) * 2020-04-01 2021-10-06 세종대학교산학협력단 딥러닝 기반의 초고해상도 지표투과 레이더 이미지 생성을 통한 주파수-파수 분석 방법 및 장치
CN111696168A (zh) * 2020-06-13 2020-09-22 中北大学 基于残差自注意力图像增强的高倍速采mri重建方法
CN113139904A (zh) * 2021-04-29 2021-07-20 厦门大学 一种图像盲超分辨率方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郭昕;王向朝;南楠;李中梁;: "一种频域光学相干层析成像深度分辨率增强技术", 光学学报, no. 03, 10 March 2015 (2015-03-10) *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023217270A1 (zh) * 2022-05-13 2023-11-16 北京字跳网络技术有限公司 图像超分方法、超分网络参数调整方法、相关装置及介质
CN115100421A (zh) * 2022-06-22 2022-09-23 西北工业大学 一种基于图像频域分解重构的对抗样本生成方法
CN115100421B (zh) * 2022-06-22 2024-03-12 西北工业大学 一种基于图像频域分解重构的对抗样本生成方法
CN115601237A (zh) * 2022-10-12 2023-01-13 太原科技大学（Cn） 视图间差异强化的光场图像超分辨率重构网络
CN115908144A (zh) * 2023-03-08 2023-04-04 中国科学院自动化研究所 基于随机小波注意力的图像处理方法、装置、设备及介质
CN118014016A (zh) * 2024-04-08 2024-05-10 天津师范大学 对抗卷积神经网络模型、oct图像重建算法及存储介质
CN118014016B (zh) * 2024-04-08 2024-07-09 天津师范大学 基于对抗卷积神经网络的oct图像重建方法及存储介质

Similar Documents

Publication Publication Date Title
CN114463183A (zh) 基于频域和空域的图像超分辨率方法
CN106910161B (zh) 一种基于深度卷积神经网络的单幅图像超分辨率重建方法
CN112734646B (zh) 一种基于特征通道划分的图像超分辨率重建方法
CN110675321B (zh) 一种基于渐进式的深度残差网络的超分辨率图像重建方法
CN111353940B (zh) 一种基于深度学习迭代上下采样的图像超分辨率重建方法
CN111932461B (zh) 一种基于卷积神经网络的自学习图像超分辨率重建方法及系统
CN110119780A (zh) 基于生成对抗网络的高光谱图像超分辨重建方法
CN111127325B (zh) 基于循环神经网络的卫星视频超分辨率重建方法及系统
CN111861884B (zh) 一种基于深度学习的卫星云图超分辨率重建方法
CN109949222B (zh) 基于语义图的图像超分辨率重建方法
CN113379601A (zh) 基于降质变分自编码器的真实世界图像超分辨方法及系统
CN112819705B (zh) 一种基于网状结构与长距离相关性的真实图像去噪方法
CN111489305B (zh) 基于强化学习的图像增强方法
Zou et al. Joint wavelet sub-bands guided network for single image super-resolution
CN116681592A (zh) 基于多尺度自适应非局部注意力网络的图像超分辨率方法
CN110288529B (zh) 一种基于递归局部合成网络的单幅图像超分辨率重建方法
CN109272450B (zh) 一种基于卷积神经网络的图像超分方法
CN117132472B (zh) 基于前向-反向可分离自注意力的图像超分辨率重建方法
CN114022356A (zh) 基于小波域的河道流量水位遥感图像超分辨率方法与系统
CN112184552B (zh) 一种基于高频特征学习的子像素卷积图像超分辨方法
CN113269702A (zh) 基于跨尺度特征融合的低曝光静脉图像增强方法
CN113096015A (zh) 基于渐进式感知和超轻量级网络的图像超分辨率重建方法
CN112862946B (zh) 基于级联条件生成对抗网络的灰度岩心图像三维重建方法
CN107622476A (zh) 基于概率生成模型的图像超分辨处理方法
CN112348745B (zh) 一种基于残差卷积网络的视频超分辨率重构方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination