CN116128722A - 基于频域-纹理特征融合的图像超分辨率重建方法及系统 - Google Patents

基于频域-纹理特征融合的图像超分辨率重建方法及系统 Download PDF

Info

Publication number
CN116128722A
CN116128722A CN202211710695.3A CN202211710695A CN116128722A CN 116128722 A CN116128722 A CN 116128722A CN 202211710695 A CN202211710695 A CN 202211710695A CN 116128722 A CN116128722 A CN 116128722A
Authority
CN
China
Prior art keywords
image
frequency domain
resolution image
resolution
texture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211710695.3A
Other languages
English (en)
Inventor
蔡强
常浩东
李海生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Technology and Business University
Original Assignee
Beijing Technology and Business University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Technology and Business University filed Critical Beijing Technology and Business University
Priority to CN202211710695.3A priority Critical patent/CN116128722A/zh
Publication of CN116128722A publication Critical patent/CN116128722A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于频域‑纹理特征融合的图像超分辨率重建方法及系统，其方法包括：S1：将高分辨率图像划分为子图像块后输入纹理特征提取网络，得到纹理特征FPC；S2：将低分辨率图像输入频域信息提取网络，得到频域特征FPL；S3：将FPC和FPL输入多尺度分层特征重建模块，利用金字塔结构并行构建频域和纹理的分层特征
Figure DDA0004027422990000011
和
Figure DDA0004027422990000012
S4：将
Figure DDA0004027422990000013
和
Figure DDA0004027422990000014
输入特征融合反馈模块，进行特征融合，生成包含多级感受野的边缘引导图像；S5：通过边缘引导图像，重建高分辨率图像，并使用损失函数优化网络参数，最终获得边缘图像引导的高分辨率图像。本发明提供的方法能够自适应不同图片尺度，并提高重建高分辨率图片边缘与纹理信息的丰富性和整体性，从而获得更好的超分效果。

Description

基于频域-纹理特征融合的图像超分辨率重建方法及系统
技术领域
本发明涉及计算机视觉和图像超分辨率重建领域，具体涉及一种基于频域-纹理特征融合的图像超分辨率重建方法及系统。
背景技术
计算机视觉正在成为一种获取和分析真实场景图像的新兴技术，它帮助智能系统从图像和多维数据中感知世界。随着互联网的发展，人们在从各种媒介中获取的信息里至少有80％以图像的形式呈现，图像视觉成为人类或机器感知世界的主要途径之一。通常来说，由于采集设备硬件与网络宽带的限制，造成采集得到的图像或者视频分辨率下降，导致视觉效果模糊不清。图像超分辨率技术(Image Super-Resolution)是一个经典的图像处理任务，旨在将低分辨率图像(Low-Resolution，LR)在空间尺度放大一定的倍数,重建出带有丰富的纹理细节的高分辨率图像(High-Resolution，HR)。然而，从低分辨率图像恢复到高分辨率图像的解空间是非常多样的，多张高分辨率图像可能对应同样一张低分辨率图像，也称作不适定问题(Ill-Posed Problem)。从丰富的解空间中挑选出一个最优的解是十分困难的，因此超分辨率任务具有极大的挑战性。
随着支持4K和8K分辨率的智能设备的出现，单图像超分辨率(SISR)越发成为一个重要的计算机视觉问题，最近，单图像超分辨技术和其相关的超采样技术在实时放大4K分辨率内容方面有了许多应用。此外，随着即将推出的4K显示器、笔记本电脑和电视中的神经处理单元(NPU)的出现，也让人们意识到让图像内容基于人工智能升级到4K分辨率是可能的。但是同时，目前绝大多数的超分网络没有充分发掘图像的纹理和频域信息之间的对应关系，导致超分效果并不能达到一个令人满意的结果。因此，如何有效利用高分辨率图像和低分辨率图像之间的纹理和频域信息对应关系重建超分辨率图像成为一个亟待解决的问题。
发明内容
为了解决上述技术问题，本发明提供一种基于频域-纹理特征融合的图像超分辨率重建方法及系统。
本发明技术解决方案为：一种基于频域-纹理特征融合的图像超分辨率重建方法，包括：
步骤S1：将高分辨率图像划分为大小相同的一系列子图像块，将所述子图像块输入纹理特征提取网络，得到高分辨率图像深度纹理特征FPC；
步骤S2：将低分辨率图像输入频域信息提取网络，得到低分辨率图像高频域深层特征FPL；
步骤S3：将FPC和FPL输入多尺度分层特征重建模块，利用金字塔结构并行构建频域和纹理的分层特征
Figure BDA0004027422970000021
和
Figure BDA0004027422970000022
步骤S4：将
Figure BDA0004027422970000023
和
Figure BDA0004027422970000024
输入特征融合反馈模块，基于分级特征反馈融合策略,在不同层间传递结构信息,利用卷积自适应地分配不同层特征融合时的权重系数，并生成包含多级感受野的边缘引导图像；
步骤S5：通过所述边缘引导图像，重建所述高分辨率图像，同时，使用均方误差损失函数优化网络参数，最终获得边缘图像引导的高分辨率图像。
本发明与现有技术相比，具有以下优点：
本发明公开了一种基于频域-纹理特征融合的图像超分辨率重建方法，利用高分辨率图像的纹理和低分辨率图像频域信息，提取不同分辨率的图像特征；构建特征金字塔，以此融合图像的频域和纹理特征，最终获得重建高分辨率图像，使得重建高分辨率图像时能更加充分的利用频域和纹理信息，提高了图像超分重建的完整性和准确性。
附图说明
图1为本发明实施例中一种基于频域-纹理特征融合的图像超分辨率重建方法的流程图；
图2为本发明实施例中图像频域-纹理特征融合网络结构示意图；
图3为本发明实施例中频域信息提取模块的结构示意图；
图4为本发明实施例中多尺度分层特征重建模块和特征融合反馈模块的结构示意图；
图5为本发明实施例中一种基于频域-纹理特征融合的图像超分辨率重建系统的结构框图。
具体实施方式
本发明提供了一种基于频域-纹理特征融合的图像超分辨率重建方法，使得重建高分辨率图像时能更加充分的利用频域和纹理信息，提高了图像超分重建的完整性和准确性。
为了使本发明的目的、技术方案及优点更加清楚，以下通过具体实施，并结合附图，对本发明进一步详细说明。
实施例一
如图1所示，本发明实施例提供的一种基于频域-纹理特征融合的图像超分辨率重建方法，包括下述步骤：
步骤S1：将高分辨率图像划分为大小相同的一系列子图像块，将子图像块输入纹理特征提取网络，得到高分辨率图像深度纹理特征FPC；
步骤S2：将低分辨率图像输入频域信息提取网络，得到低分辨率图像高频域深层特征FPL；
步骤S3：将FPC和FPL输入多尺度分层特征重建模块，利用金字塔结构并行构建频域和纹理的分层特征
Figure BDA0004027422970000031
和
Figure BDA0004027422970000032
步骤S4：将
Figure BDA0004027422970000033
和
Figure BDA0004027422970000034
输入特征融合反馈模块，基于分级特征反馈融合策略,在不同层间传递结构信息,利用卷积自适应地分配不同层特征融合时的权重系数，并生成包含多级感受野的边缘引导图像；
步骤S5：通过边缘引导图像,重建高分辨率图像，同时，使用均方误差损失函数优化网络参数，最终获得边缘图像引导的高分辨率图像。
在一个实施例中，上述步骤S1：将高分辨率图像划分为大小相同的一系列子图像块，将子图像块输入纹理特征提取网络，得到高分辨率图像深度纹理特征FPC，具体包括：
将高分辨率图像按切割成相同大小的子图像块，将子图像块输入纹理特征提取网络，其中，纹理特征提取网络由一个卷积层和M个残差块组成,每个残差块包含一个线性激活函数和两个卷积层，最后输出高分辨率图像的深度纹理特征FPC。
本发明实施例针对高分辨率图像尺度较大问题，对图片进行尺度的线性划分，以适应不同图片分辨率，如图2所示，本发明实施例对输入的高分辨率图像进行32x32的划分，得到一系列子图像块。将子图像块输入纹理特征提取网络，该网络由一个卷积层和M个残差块组成,每个残差块包含一个线性激活函数和两个卷积层，经过卷积和多层残差操作之后获得HR图像深度纹理特征FPC。
在一个实施例中，上述步骤S2：将低分辨率图像输入频域信息提取网络，得到低分辨率图像高频域深层特征FPL，具体包括：
频域信息提取网络包括1个卷积层和M个频域信息提取模块；首先对低分辨率图像利用卷积层进行1x1的卷积操作，然后利用频域信息提取模块进行频域信息提取操作，获得傅里叶变换后的低分辨率图像高频域深层特征FPL，变换公式如下所示；
Figure BDA0004027422970000041
其中，x[n]代表一个复数，m＝[0…N-1]，FPL[k]代表频率为
Figure BDA0004027422970000042
的频谱，j为虚数单位。
如图2所示，本发明实施例首先利用卷积层对低分辨率图像进行1x1的卷积操作，然后经M个频域信息提取模块进行频域信息提取操作，图3展示了频域信息提取模块结构，本发明实施例基于标准残差块结构进行改进，在左路增加了傅里叶变换操作，从而得到傅里叶变换后的低分辨率图像高频域深层特征FPL。最后对FPL进行上采样，使其与输入低分辨率图像的大小保持一致，用于后续的损失函数的计算。
在一个实施例中，上述步骤S3：将FPC和FPL输入多尺度分层特征重建模块，利用金字塔结构并行构建频域和纹理的分层特征
Figure BDA0004027422970000043
和
Figure BDA0004027422970000044
具体包括：
利用多尺度分层特征重建模块分别提取FPC和FPL在不同尺度下的分层特征，即，利用第j-1层的分层特征
Figure BDA0004027422970000045
和
Figure BDA0004027422970000046
通过卷积提取其边缘结构信息，并利用最大池化层分别构建频域和纹理第j层的分层特征
Figure BDA0004027422970000047
和
Figure BDA0004027422970000048
Figure BDA0004027422970000049
Figure BDA00040274229700000410
其中，“*”表示卷积操作，“σ”表示激活函数，H↓表示二倍下采样操作，
Figure BDA00040274229700000411
和
Figure BDA00040274229700000412
表示卷积的权重，
Figure BDA00040274229700000413
和
Figure BDA00040274229700000414
表示卷积的偏置。
多尺度分层特征重建模块用于提取FPC和FPL在不同尺度下的结构特征信息，如图4所示，通过构建并行金字塔结构获取频域-纹理图像的多尺度分层特征,以并行的方式构建频域-纹理的分层特征
Figure BDA00040274229700000415
和
Figure BDA00040274229700000416
为了避免因层数过高引起高分辨率图像边缘结构的退化现象,本发明实施例的多尺度分层特征重建模块选用三层金字塔结构(1≤j≤3)，多尺度分层特征重建模块将并行金字塔每一层构建的分层特征传递到金字塔的下一层,以提供不同感受野下频域-纹理的层次特征信息。
在一个实施例中，上述步骤S4：将
Figure BDA00040274229700000417
和
Figure BDA00040274229700000418
输入特征融合反馈模块，基于分级特征反馈融合策略,在不同层间传递结构信息,利用卷积自适应地分配不同层特征融合时的权重系数，并生成包含多级感受野的边缘引导图像，具体包括：
将
Figure BDA0004027422970000051
和
Figure BDA0004027422970000052
输入融合反馈模块，利用大小为1x1卷积核对其进行卷积操作后进行特征融合，得到多尺度融合特征向量，并利用上采样进行尺度变化，使得多尺度融合特征向量与输入的高分辨率图像的尺度一致，并生成边缘引导图像。
如图4所示，基于步骤S3得到的三层特征金字塔结构，构建3层融合反馈模块，将特征金字塔的三种不同尺度不同维度融合特征在不同层进行融合，得到多尺度融合特征向量Ri，通过利用卷积核大小为1x1的卷积进行维度的变换，和双线性内插的上采样进行尺度变化，使得三种特征能够融合，获得融合特征R，融合方式如下公式所示：
Figure BDA0004027422970000053
其中，
Figure BDA0004027422970000054
和
Figure BDA0004027422970000055
分别表示1×1卷积的权重和偏置，[,]表示级联。
至此，便可生成包含多级感受野的边缘引导图像，该图像不仅适用于不同大小的原始图片数据，同样包含图片的局部细节信息和全局语义信息，使得图像内部不同成分的文本信息和边界信息都能很好的保留并强化。最后对R1进行上采样操作，使得边缘引导图像的特征尺度大小和输入高分辨率图像大小保持一致，用于后续的损失函数的技术。
在一个实施例中，上述步骤S5：通过边缘引导图像,重建高分辨率图像，同时，使用均方误差损失函数优化网络参数，最终获得边缘图像引导的高分辨率图像，具体包括：
利用边缘引导图像进一步增强重建高分辨率图像的边缘细节信息,使用均方误差损失函数优化网络参数，直至损失函数收敛，得到具有清晰纹理边缘的高分辨率图像结果。
本步骤中利用边缘引导图像进一步增强重建高分辨率图像的边缘细节信息，使用均方误差损失函数计算预测值和真实值之间的误差，直至损失函数收敛，应用Adam梯度下降算法，优化图像重建网络中的参数，直到损失函数收敛或循环达到最大迭代次数，得到最终训练模型的参数，获得重建的具有清晰纹理边缘的高分辨率图像结果。
本发明公开了一种基于频域-纹理特征融合的图像超分辨率重建方法，利用高分辨率图像的纹理和低分辨率图像频域信息，提取不同分辨率的图像特征；构建特征金字塔，以此融合图像的频域和纹理特征，最终获得重建高分辨率图像，使得重建高分辨率图像时能更加充分的利用频域和纹理信息，提高了图像超分重建的完整性和准确性。
实施例二
如图5所示，本发明实施例提供了一种基于频域-纹理特征融合的图像超分辨率重建系统，包括下述模块：
获取高分辨率图像纹理特征模块，用于将高分辨率图像划分为大小相同的一系列子图像块，将子图像块输入纹理特征提取网络，得到高分辨率图像深度纹理特征FPC；
获取低分辨率图像频域特征模块，用于将低分辨率图像输入频域信息提取网络，得到低分辨率图像高频域深层特征FPL；
多尺度分层特征重建模块，用于将FPC和FPL输入多尺度分层特征重建模块，利用金字塔结构并行构建频域和纹理的分层特征
Figure BDA0004027422970000061
和
Figure BDA0004027422970000062
特征融合反馈模块，用于将
Figure BDA0004027422970000063
和
Figure BDA0004027422970000064
输入特征融合反馈模块，基于分级特征反馈融合策略,在不同层间传递结构信息,利用卷积自适应地分配不同层特征融合时的权重系数，并生成包含多级感受野的边缘引导图像；
高分辨率图像重建模块，用于通过边缘引导图像,重建高分辨率图像，同时，使用均方误差损失函数优化网络参数，最终获得边缘图像引导的高分辨率图像。
提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (7)

1.一种基于频域-纹理特征融合的图像超分辨率重建方法，其特征在于，包括：
步骤S1：将高分辨率图像划分为大小相同的一系列子图像块，将所述子图像块输入纹理特征提取网络，得到高分辨率图像深度纹理特征FPC；
步骤S2：将低分辨率图像输入频域信息提取网络，得到低分辨率图像高频域深层特征FPL；
步骤S3：将FPC和FPL输入多尺度分层特征重建模块，利用金字塔结构并行构建频域和纹理的分层特征
Figure FDA0004027422960000011
和
Figure FDA0004027422960000012
步骤S4：将
Figure FDA0004027422960000013
和
Figure FDA0004027422960000014
输入特征融合反馈模块，基于分级特征反馈融合策略,在不同层间传递结构信息，利用卷积自适应地分配不同层特征融合时的权重系数，并生成包含多级感受野的边缘引导图像；
步骤S5：通过所述边缘引导图像,重建所述高分辨率图像，同时，使用均方误差损失函数优化网络参数，最终获得边缘图像引导的高分辨率图像。
2.根据权利要求1所述基于频域-纹理特征融合的图像超分辨率重建方法，其特征在于，所述步骤S1：将高分辨率图像划分为大小相同的一系列子图像块，将所述子图像块输入纹理特征提取网络，得到高分辨率图像深度纹理特征FPC，具体包括：
将所述高分辨率图像按切割成相同大小的子图像块，将所述子图像块输入所述纹理特征提取网络，其中，所述纹理特征提取网络由一个卷积层和M个残差块组成，每个所述残差块包含一个线性激活函数和两个卷积层，最后输出高分辨率图像的深度纹理特征FPC。
3.根据权利要求2所述基于频域-纹理特征融合的图像超分辨率重建方法，其特征在于，所述步骤S2：将低分辨率图像输入频域信息提取网络，得到低分辨率图像高频域深层特征FPL，具体包括：
所述频域信息提取网络包括1个卷积层和M个频域信息提取模块；首先对所述低分辨率图像利用所述卷积层进行1x1的卷积操作，然后利用所述频域信息提取模块进行频域信息提取操作，获得傅里叶变换后的低分辨率图像高频域深层特征FPL，变换公式如下所示；
Figure FDA0004027422960000015
其中，x[n]代表一个复数，n＝[0…N-1]，FPL[k]代表频率为
Figure FDA0004027422960000021
的频谱，j为虚数单位。
4.根据权利要求3所述基于频域-纹理特征融合的图像超分辨率重建方法，其特征在于，所述步骤S3：将FPC和FPL输入多尺度分层特征重建模块，利用金字塔结构并行构建频域和纹理的分层特征
Figure FDA0004027422960000022
和
Figure FDA0004027422960000023
具体包括：
利用所述多尺度分层特征重建模块分别提取FPC和FPL在不同尺度下的分层特征，即，利用第j-1层的分层特征
Figure FDA0004027422960000024
和
Figure FDA0004027422960000025
通过卷积提取其边缘结构信息，并利用最大池化层分别构建频域和纹理第j层的分层特征
Figure FDA0004027422960000026
和
Figure FDA0004027422960000027
Figure FDA0004027422960000028
Figure FDA0004027422960000029
其中，“*”表示卷积操作，“σ”表示激活函数，H↓表示二倍下采样操作，
Figure FDA00040274229600000210
和
Figure FDA00040274229600000211
表示卷积的权重，
Figure FDA00040274229600000212
和
Figure FDA00040274229600000213
表示卷积的偏置。
5.根据权利要求4所述基于频域-纹理特征融合的图像超分辨率重建方法，其特征在于，所述步骤S4：将
Figure FDA00040274229600000214
和
Figure FDA00040274229600000215
输入特征融合反馈模块，基于分级特征反馈融合策略,在不同层间传递结构信息,利用卷积自适应地分配不同层特征融合时的权重系数，并生成包含多级感受野的边缘引导图像，具体包括：
将
Figure FDA00040274229600000216
和
Figure FDA00040274229600000217
输入融合反馈模块，利用大小为1x1卷积核对其进行卷积操作后进行特征融合，得到多尺度融合特征向量，并利用上采样进行尺度变化，使得所述多尺度融合特征向量与输入的所述高分辨率图像的尺度一致，并生成边缘引导图像。
6.根据权利要求1所述基于频域-纹理特征融合的图像超分辨率重建方法，其特征在于，所述步骤S5：通过所述边缘引导图像,重建所述高分辨率图像，同时，使用均方误差损失函数优化网络参数，最终获得边缘图像引导的高分辨率图像，具体包括：
利用所述边缘引导图像进一步增强重建所述高分辨率图像的边缘细节信息,使用均方误差损失函数优化网络参数，直至所述损失函数收敛，得到具有清晰纹理边缘的高分辨率图像结果。
7.一种基于频域-纹理特征融合的图像超分辨率重建系统，其特征在于，包括下述模块：
获取高分辨率图像纹理特征模块，用于将高分辨率图像划分为大小相同的一系列子图像块，将所述子图像块输入纹理特征提取网络，得到高分辨率图像深度纹理特征FPC；
获取低分辨率图像频域特征模块，用于将低分辨率图像输入频域信息提取网络，得到低分辨率图像高频域深层特征FPL；
多尺度分层特征重建模块，用于将FPC和FPL输入多尺度分层特征重建模块，利用金字塔结构并行构建频域和纹理的分层特征
Figure FDA0004027422960000031
和
Figure FDA0004027422960000032
特征融合反馈模块，用于将
Figure FDA0004027422960000033
和
Figure FDA0004027422960000034
输入特征融合反馈模块，基于分级特征反馈融合策略,在不同层间传递结构信息,利用卷积自适应地分配不同层特征融合时的权重系数，并生成包含多级感受野的边缘引导图像；
高分辨率图像重建模块，用于通过所述边缘引导图像,重建所述高分辨率图像，同时，使用均方误差损失函数优化网络参数，最终获得边缘图像引导的高分辨率图像。
CN202211710695.3A 2022-12-29 2022-12-29 基于频域-纹理特征融合的图像超分辨率重建方法及系统 Pending CN116128722A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211710695.3A CN116128722A (zh) 2022-12-29 2022-12-29 基于频域-纹理特征融合的图像超分辨率重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211710695.3A CN116128722A (zh) 2022-12-29 2022-12-29 基于频域-纹理特征融合的图像超分辨率重建方法及系统

Publications (1)

Publication Number Publication Date
CN116128722A true CN116128722A (zh) 2023-05-16

Family

ID=86309474

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211710695.3A Pending CN116128722A (zh) 2022-12-29 2022-12-29 基于频域-纹理特征融合的图像超分辨率重建方法及系统

Country Status (1)

Country Link
CN (1) CN116128722A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118014016A (zh) * 2024-04-08 2024-05-10 天津师范大学 对抗卷积神经网络模型、oct图像重建算法及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118014016A (zh) * 2024-04-08 2024-05-10 天津师范大学 对抗卷积神经网络模型、oct图像重建算法及存储介质

Similar Documents

Publication Publication Date Title
Cho et al. Weakly-and self-supervised learning for content-aware deep image retargeting
CN111105352A (zh) 超分辨率图像重构方法、系统、计算机设备及存储介质
CN105488776B (zh) 超分辨率图像重建方法和装置
CN110060204B (zh) 一种基于可逆网络的单一图像超分辨率方法
Couturier et al. Image denoising using a deep encoder-decoder network with skip connections
CN103279933A (zh) 一种基于双层模型的单幅图像超分辨率重建方法
Min et al. Blind deblurring via a novel recursive deep CNN improved by wavelet transform
CN114463511A (zh) 一种基于Transformer解码器的3D人体模型重建方法
CN116188272B (zh) 适用于多模糊核的两阶段深度网络图像超分辨率重建方法
CN117575915B (zh) 一种图像超分辨率重建方法、终端设备及存储介质
Liu et al. Research on super-resolution reconstruction of remote sensing images: A comprehensive review
CN111667401B (zh) 多层次渐变图像风格迁移方法及系统
CN115829834A (zh) 基于半耦合深度卷积字典学习的图像超分辨率重建方法
Zhu et al. Generative high-capacity image hiding based on residual CNN in wavelet domain
Yu et al. A review of single image super-resolution reconstruction based on deep learning
CN116128722A (zh) 基于频域-纹理特征融合的图像超分辨率重建方法及系统
CN113096015B (zh) 基于渐进式感知和超轻量级网络的图像超分辨率重建方法
Sharma et al. An efficient image super resolution model with dense skip connections between complex filter structures in Generative Adversarial Networks
CN114359039A (zh) 基于知识蒸馏的图像超分方法
Jeevan et al. WaveMixSR: Resource-efficient neural network for image super-resolution
CN113962882A (zh) 一种基于可控金字塔小波网络的jpeg图像压缩伪影消除方法
CN117593187A (zh) 基于元学习和Transformer的遥感图像任意尺度超分辨率重建方法
Chen et al. Attention mechanism feedback network for image super-resolution
Yang et al. Single image super-resolution via a ternary attention network
Peng Super-resolution reconstruction using multiconnection deep residual network combined an improved loss function for single-frame image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination