CN116563110A - 基于Bicubic下采样图像空间对齐的盲图像超分辨率重建方法 - Google Patents

基于Bicubic下采样图像空间对齐的盲图像超分辨率重建方法 Download PDF

Info

Publication number
CN116563110A
CN116563110A CN202310539101.5A CN202310539101A CN116563110A CN 116563110 A CN116563110 A CN 116563110A CN 202310539101 A CN202310539101 A CN 202310539101A CN 116563110 A CN116563110 A CN 116563110A
Authority
CN
China
Prior art keywords
image
network
bicubic
blind
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310539101.5A
Other languages
English (en)
Inventor
曾坤
李佐勇
滕升华
张书豪
赵婷婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Minjiang University
Original Assignee
Minjiang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Minjiang University filed Critical Minjiang University
Priority to CN202310539101.5A priority Critical patent/CN116563110A/zh
Publication of CN116563110A publication Critical patent/CN116563110A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种基于Bicubic下采样图像空间对齐的盲图像超分辨率重建方法，所提供的超分辨率重建网络由三个子网络组成，即核估计子网络、Bicubic下采样图像空间对齐子网络和图像重建子网络。传统的盲图像超分辨率重建网络一般包含两个子网络：核估计子网络和图像重建子网络。这类方法通过核估计子网络获得模糊核的估计，然后直接把模糊核信息输入到图像重建子网络中，使得模糊核的估计误差直接传递到图像重建过程中，影响了重建图像的质量。而本发明则是把估计核信息输入到Bicubic下采样图像空间对齐子网络中，让低分辨率图像先映射到Bicubic下采样图像空间中，获得Bicubic下采样LR图像，因此图像重建子网络可以采用任意传非盲超分辨率重建网络。

Description

基于Bicubic下采样图像空间对齐的盲图像超分辨率重建 方法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于Bicubic下采样图像空间对齐的盲图像超分辨率重建方法。
背景技术
单图像超分辨率(SISR)是计算机视觉中的一个基本问题，是指从低分辨率(LR)观测图像来构造出高分辨率(HR)图像的分辨率增强技术。近年来，随着深度学习的快速发展，卷积神经网络(CNN)表现出强大的学习能力，通过CNN来解决SR问题已经成为当下最流行的方法。盲SR(blind super-resolution)涉及到求解模糊核和利用模糊核重建SR图像。过去的许多研究方法通常将其分解为两个连续的步骤，每一个步骤都是一个独立的研究任务。因此，可能会因为模糊核信息估计不准确导致SR模型性能不佳。为了解决这类问题，研究者提出了单阶段盲SR。通过将核估计融入到SR重建网络中，以获得更强的重建性能。Gu等人提出了一种迭代核校正(IKC)方法，用于针对模糊核未知的模糊核估计。该方法通过纠正不准确的模糊核来解决内核不匹配可能会带来的规则伪影问题(过度锐化或过度平滑)。所估计的核被用于其空间特征变换(SFT)层，该层结合退化信息和LR输入。Luo等人在单一模型中使用交替优化算法来估计模糊核并恢复SR图像。该模型使用展开的端到端可训练模型来预测模糊核和SR图像。在该模型中，一系列还原器和估计器模块交替堆叠，每个模块根据前一模块的输出还原SR图像或估计模糊核。Zheng等人在USRNet的基础上提出了UDKE，通过HQ分解将基于显式核估计的单阶段盲SR目标函数分解为两个子问题，并按照交替方向乘子法(ADMM)迭代优化的方式设计核估计子网络和盲SR重建子网络，取得了比IKC和DAN更好的重建效果。因此，解决模糊核信息估计不准确的问题在盲图像超分领域是一个热点话题也是一个重要的研究方向。
发明内容
本发明的目的在于提供一种基于Bicubic下采样图像空间对齐的盲图像超分辨率重建方法，有利于重建出更加清晰的高分辨率图像。
所提供的超分辨率重建网络由三个子网络组成，即核估计子网络、Bicubic下采样图像空间对齐子网络和图像重建子网络。传统的盲图像超分辨率重建网络一般包含两个子网络：核估计子网络和图像重建子网络。这类方法通过核估计子网络获得模糊核的估计，并直接把模糊核信息输入到图像重建子网络中，使得模糊核的估计误差直接传递到图像重建过程中，影响了重建图像的质量。而本发明则是把估计核信息输入到Bicubic下采样图像空间对齐子网络中，让低分辨率图像先映射到Bicubic下采样图像空间中，获得Bicubic下采样LR图像，因此图像重建子网络可以采用任意传非盲超分辨率重建网络。大量实验结果表明，本发明的盲图像超分辨率网络在重建图像质量上获得了较大的提升。
本发明具体采用以下技术方案：
一种基于Bicubic下采样图像空间对齐的盲图像超分辨率重建方法，其特征在于：盲图像超分辨率重建网络由三个子网络组成，即：核估计子网络KNet、Bicubic下采样图像空间对齐子网络BNet和图像重建子网络SRNet；通过将估计核信息输入到Bicubic下采样图像空间对齐子网络中，使盲低分辨率图像先映射到Bicubic下采样图像空间中，以获得低分辨率的Bicubic下采样LR图像，所述图像重建子网络SRNet采用非盲超分辨率重建网络；
将低分辨率图像ILR输入到所述盲图像超分辨率重建网络，输出重建的高分辨率图像ISR。
也就是说，相比于传统方案，本发明在核估计子网络与SR重建子网络之间加入一个映射网络BNet，将估计的模糊核信息引入用来指导退化过程未知的LR图像映射成Bicubic下采样LR图像，最后将Bicubic下采样LR图像输入到训练好的非盲SR网络中输出重建的高分辨率图像
进一步地，所述盲图像超分辨率重建网络首先通过核估计子网络KNet精准地估测出模糊核的信息，然后Bicubic下采样图像空间对齐子网络BNet在模糊核的指导下将LR图像域映射到Bicubic下采样图像空间，最后图像重建子网络SRNet使用BNet生成的Bicubic下采样LR图像重建出高分辨率(HR)图像。
进一步地，使用ResNet作为核估计子网络KNet；所述Bicubic下采样图像空间对齐子网络BNet使用密集残差网络RRDB与空间特征转换SFT将不同降质过程产生的低分辨率图像映射为Bicubic下采样LR图像。
具体而言，核估计网络ResNet主要负责估计模糊核K，它接受LR图像作为输入，并输出估计模糊核K。BNet负责将LR图像域映射到Bicubic下采样图像域，并将退化信息引入映射的过程，去指导网络重建Bicubic下采样LR图像。SRNet是一个非盲超分辨率网络，它使用BNet生成的Bicubic下采样LR图像来重建HR图像
进一步地，所述核估计子网络KNet采用ResNet作为核估计网络，通过多个深度残差模块进行图像的特征抽取，多次运用跳跃将输入连接到网络输出：首先通过一个3×3的卷积层提取浅层特征，然后送入多个残差块中提取深层特征，同时利用跳跃连接加速模型的训练和提高模型的准确性，最后通过两个卷积层、平均池化以及Softmax将主体的输出特征图转换为模糊核矩阵。
进一步地，所述Bicubic下采样图像空间对齐子网络BNet由两个卷积层和两个RRDB-SFT组成；其中，第一层3×3的卷积用于提取LR图像的浅层特征，然后通过RRDB-SFT进一步利用浅层特征；SFT层除了接收上一层的浅层特征外，还将估计的模糊核K作为输入。
Bicubic下采样图像空间对齐网络BNet包括两层SFF、两层RRDB和两层卷积。其中，第一层卷积用于提取LR图像的浅层特征。SFT层除了接收上一层的输出外，还将模糊核作为输入，以调制输入的LR图像特征。RRDB层则对输入的特征进行进一步的提取，以获得更深层次的特征。最后的卷积层将提取的特征映射为Bicubic下采样LR图像。
进一步地，所述图像重建子网络SRNet可以采用任意非盲超分辨率网络。
进一步地，所述盲图像超分辨率重建网络通过将不同降质过程产生的LR图像转换到Bicubic下采样图像空间，然后利用训练好的图像重建子网络SRNet进行重建使得网络对模糊核估计所产生的误差具有一定的包容度，以重建出更加清晰的高分辨率图像。
进一步地，所述超分辨率重建网络的训练过程分为三个阶段：
第一阶段对三个子网络进行预训练。其中，对核估计子网络KNet使用真实核进行监督来对输入的LR图像预测模糊核；所述Bicubic下采样图像空间对齐子网络BNet是一个有监督的网络，使用真实的LR图像、真实的模糊核K和对应的Bicubic下采样LR图像进行训练；图像重建子网络SRNet也是一个有监督的网络，使用HR图像和对应的Bicubic下采样LR图像进行训练；
第二阶段使用核估计子网络KNet生成的估计核对Bicubic下采样图像空间对齐子网络BNet进行微调，并将LR映射为Bicubic下采样LR图像；
第三阶段使用估计的Bicubic下采样LR图像微调SRNet网络，并获得最终的SR结果。
进一步地，当提供一组训练数据集，则损失函数表示为：
其中，N表示训练样本的数量，||·||1表示L1范数；表示估计模糊核，Ki代表真实的模糊核；/>表示生成的Bicubic下采样LR图像，Bi代表真实的Bicubic下采样LR图像,/>为网络重建的SR图像，/>为真实的HR图像；训练结束后，得到训练好的网络参数，直接用于图像超分辨率重建。
由于不仅要估计模糊核和超分辨率(SR)重建图像，还需要将LR图像映射到Bicubic下采样LR图像。因此损失函数包括三个部分，即：核估计损失，Bicubic下采样图像空间对齐损失，SR图像重建损失。
以及，一种基于Bicubic下采样图像空间对齐的盲图像超分辨率重建系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如上所述的方法。
与现有技术相比，本发明及其优选方案在核估计自网络与SR重建子网络之间加入一个Bicubic下采样图像空间对齐子网络BNet，将估计的模糊核信息引入用来指导退化过程未知的LR图像映射成Bicubic下采样LR图像来解决估计的模糊核信息不准确带来的影响，从而提高盲SR的性能。本发明可以实现复杂的超分辨率重建的功能，从而得到高质量的高分辨率图像。
附图说明
下面结合附图和具体实施方式对本发明进一步详细的说明：
图1是本发明实施例中基于Bicubic下采样图像空间对齐的盲图像超分辨率重建网络的结构示意图。
图2是本发明实施例中核估计网络的结构示意图。
图3是本发明实施例中Bicubic下采样图像空间对齐网络的结构示意图。
图4是本发明实施例中SR重建网络的结构示意图。
图5是本发明实施例中本方法与其他两种方法的核估计结果对比图。
图6是本发明实施例中本方法与其他三种方法的重建结果对比图。
具体实施方式
为让本专利的特征和优点能更明显易懂，下文特举实施例，并配合附图，作详细说明如下：
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本实施例提供了一种基于Bicubic下采样图像空间对齐的盲图像超分辨率重建方法，将盲超分任务分解成三个子任务：核估计、Bicubic下采样图像空间对齐和SR重建，每个子任务都有其特定的目标和限制条件，可以针对每个子任务设计特定的网络结构和损失函数。将低分辨率图像ILR输入到基于Bicubic下采样图像空间对齐的盲图像超分辨率重建网络，网络输出重建的高分辨率图像ISR。
如图1所示，本实施例中，基于Bicubic下采样图像空间对齐的盲图像超分辨率重建网络(BMSR)包含核估计网络(KNet)、Bicubic下采样图像空间对齐子网络(BNet)和SR重建网络(SRNet)；首先通过核估计网络(KNet)精准地估测出模糊核的信息，然后Bicubic下采样图像空间对齐子网络(BNet)在模糊核的指导下将LR图像域映射到Bicubic下采样图像空间，最后SR重建网络(SRNet)使用BNet生成的Bicubic下采样LR图像来重建出HR图像。
如图2所示，本实施例中，基于Bicubic下采样图像空间对齐的盲图像超分辨率重建网络(BMSR)的核估计网络部分。采用ResNet(Residual Network)作为核估计网络，通过多个深度残差模块进行图像的特征抽取，多次运用跳跃将输入连接到网络输出：首先通过一个3×3的卷积层提取浅层特征，然后送入多个残差块中提取深层特征，同时利用跳跃连接加速模型的训练和提高模型的准确性，最后通过两个卷积层、平均池化以及Softmax将主体的输出特征图转换为模糊核矩阵。
如图3所示，本实施例中，基于Bicubic下采样图像空间对齐的盲图像超分辨率重建网络(BMSR)的Bicubic下采样图像空间对齐网络BNet由两个卷积层和两个RRDB-SFT组成。其中，第一层3×3的卷积用于提取LR图像的浅层特征，然后RRDB-SFT进一步利用浅层特征。SFT层除了接收上一层的浅层特征外，还将估计的模糊核K作为输入，这意味着BNet的输入不仅包括LR图像，还包括与LR图像相关的附加信息。通过将这些附加信息输入到网络中，BNet可以更好地学习如何将LR图像转换为具有更高质量的Bicubic下采样LR图像。
如图4所示，本实施例中，作为一种可选方案，基于Bicubic下采样图像空间对齐的盲图像超分辨率重建网络(BMSR)的SR重建部分使用RCAN(Residual Channel AttentionNetwork)作为非盲SR网络。使用多个残差块进行特征提取，每个残差块包含一个称为残差通道注意模块(Residual Channel Attention Module)的子模块。残差通道注意模块执行两个关键步骤以增强特征表示：首先，其执行通道方向的特征重校准，学习每个通道的重要性并为其分配权重。这可以帮助网络更好地捕捉输入图像中的不同特征，以便更好地进行超分辨率重建。其次，残差通道注意模块执行空间方向的特征重校准，学习每个空间位置的重要性并相应地更新特征映射。这可以帮助网络更好地处理输入图像中的空间变化，并使其更好地适应不同的超分辨率重建任务。
基于Bicubic下采样图像空间对齐的盲图像超分辨率重建网络通过将不同降质过程产生的LR图像转换到双三次下采样的LR图像域，然后利用训练好的非盲SR网络进行重建使得网络对模糊核估计所产生的误差具有一定的包容度，能更好地重建出更加清晰的高分辨率图像。
进一步地，本实施例提供的基于Bicubic下采样图像空间对齐的盲图像超分辨率重建方法不仅要估计模糊核和超分辨率(SR)重建图像，还需要将LR图像映射到Bicubic下采样LR图像。因此损失函数包括三个部分，核估计损失，Bicubic下采样图像空间对齐损失，SR图像重建损失。
其中，N表示训练样本的数量，||·||1表示L1范数。表示生成的Bicubic下采样，Bi代表真实的Bicubic下采样,/>为网络重建的HR图像，/>为真实的HR图像。训练结束后，得到训练好的网络参数，直接用于图像超分辨率重建。
本实施例还提供了一种基于Bicubic下采样图像空间对齐的盲图像超分辨率重建网络系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现上述的方法步骤。
在一个应用实例中，利用DIV2K(800幅图像)和Flickr2K(2650幅图像)来训练的BMSR。为了进行测试，使用了三个基准数据集：Set5、Set14和DIV2KRK。采用峰值信噪比(PSNR)和结构相似度(SSIM)来衡量SR图像的质量。对于每个训练小批处理，从LR图像中随机裁剪8个大小为64×64的patch作为输入。使用余弦退火优化器训练本方法的BMSR，训练次数为8×105次。
为了显示本发明方法的有效性，将本方法与双三次方法和现有的3种有代表性的基于深度学习的单幅图像超分辨率重建方法做横向比较。这3种方法分别是IKC、DANv1、DANv2。
本发明方法与上述3种方法的定量效果对比如表1所示，评价指标为峰值信噪比(PSNR)、结构相似度(SSIM)，示值为测试数据集的重建结果均值，其中PSNR的单位是dB。
表1
实验数据表明，本发明方法BMSR在Set5和DIV2KRK数据集上取得了比DANv2更好的重建效果，在Set14数据集上获得了与其相近的结果
在重建视觉效果方面，2种对比方法和本发明方法的超分辨率重建效果对比如图5所示。由图5可以看出，本发明基于Bicubic下采样图像空间对齐的盲图像超分辨率重建方法能更好地重建出更准确的细节信息。
在模糊核估计方面，2种对比方法和本发明方法的核估计效果对比如图6所示。由图6可以看出，本发明基于Bicubic下采样图像空间对齐的盲图像超分辨率重建方法能准确地估计模糊核信息。
可见，本发明的BMSR通过在核估计与SR重建网络之间加入一个Bicubic下采样图像空间对齐模块，在估计的退化信息的指导下将LR图像映射成Bicubic下采样，缓解核估计网络带来的误差，可以更好地解决单幅图像超分辨率重建问题。BMSR把难的超分辨率重建任务分解为三个子任务，可以更有效地解决盲SR任务，得到高质量的高分辨率图像。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本专利不局限于上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形式的基于Bicubic下采样图像空间对齐的盲图像超分辨率重建方法，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。

Claims (10)

1.一种基于Bicubic下采样图像空间对齐的盲图像超分辨率重建方法，其特征在于：盲图像超分辨率重建网络由三个子网络组成，即：核估计子网络KNet、Bicubic下采样图像空间对齐子网络BNet和图像重建子网络SRNet；通过将估计核信息输入到Bicubic下采样图像空间对齐子网络中，使盲低分辨率图像先映射到Bicubic下采样图像空间中，以获得Bicubic下采样LR图像，所述图像重建子网络SRNet采用非盲超分辨率重建网络；
将低分辨率图像ILR输入到所述盲图像超分辨率重建网络，输出重建的高分辨率图像ISR。
2.根据权利要求1所述的基于Bicubic下采样图像空间对齐的盲图像超分辨率重建方法，其特征在于：所述盲图像超分辨率重建网络首先通过核估计子网络KNet精准地估测出模糊核的信息，然后Bicubic下采样图像空间对齐子网络BNet在模糊核的指导下将LR图像域映射到Bicubic下采样图像空间，最后图像重建子网络SRNet使用BNet生成的Bicubic下采样LR图像重建出高分辨率图像。
3.根据权利要求1所述的基于Bicubic下采样图像空间对齐的盲图像超分辨率重建方法，其特征在于：使用ResNet作为核估计子网络KNet；所述Bicubic下采样图像空间对齐子网络BNet使用密集残差网络RRDB与空间特征转换SFT将不同降质过程产生的低分辨率图像映射为Bicubic下采样LR图像。
4.根据权利要求1所述的基于Bicubic下采样图像空间对齐的盲图像超分辨率重建方法，其特征在于：所述核估计子网络KNet采用ResNet作为核估计网络，通过多个深度残差模块进行图像的特征抽取，多次运用跳跃将输入连接到网络输出：首先通过一个3×3的卷积层提取浅层特征，然后送入多个残差块中提取深层特征，同时利用跳跃连接加速模型的训练和提高模型的准确性，最后通过两个卷积层、平均池化以及Softmax将主体的输出特征图转换为模糊核矩阵。
5.根据权利要求1所述的基于Bicubic下采样图像空间对齐的盲图像超分辨率重建方法，其特征在于：所述Bicubic下采样图像空间对齐子网络BNet由两个卷积层和两个RRDB-SFT组成；其中，第一层3×3的卷积用于提取LR图像的浅层特征，然后通过RRDB-SFT进一步利用浅层特征；SFT层除了接收上一层的浅层特征外，还将估计的模糊核K作为输入。
6.根据权利要求1所述的基于Bicubic下采样图像空间对齐的盲图像超分辨率重建方法，其特征在于：所述图像重建子网络SRNet允许采用任意非盲超分辨率网络。
7.根据权利要求1所述的基于Bicubic下采样图像空间对齐的盲图像超分辨率重建方法，其特征在于：所述盲图像超分辨率重建网络通过将不同降质过程产生的盲LR图像转换到Bicubic下采样图像空间域，然后利用训练好的图像重建子网络SRNet进行重建使得网络对模糊核估计所产生的误差具有一定的包容度，以重建出更加清晰的高分辨率图像。
8.根据权利要求1所述的基于Bicubic下采样图像空间对齐的盲图像超分辨率重建方法，其特征在于：
所述超分辨率重建网络的训练过程分为三个阶段：
第一阶段对三个子网络进行预训练；其中，对核估计子网络KNet使用真实核进行监督来对输入的LR图像预测模糊核；所述Bicubic下采样图像空间对齐子网络BNet是一个有监督的网络，使用真实的LR图像、真实的模糊核和对应的Bicubic下采样LR图像进行训练；图像重建子网络SRNet也是一个有监督的网络，使用HR图像和对应的Bicubic下采样LR图像进行训练；
第二阶段使用核估计子网络KNet生成的估计核对Bicubic下采样图像空间对齐子网络BNet进行微调，并将LR映射为Bicubic下采样图像；
第三阶段使用估计的B图像微调SRNet网络，并获得最终的SR结果。
9.根据权利要求8所述的基于Bicubic下采样图像空间对齐的盲图像超分辨率重建方法，其特征在于：
当提供一组训练数据集，则损失函数表示为：
其中，N表示训练样本的数量，||·||1表示L1范数；表示估计模糊核，Ki代表真实的模糊核；/>表示生成的Bicubic下采样LR图像，Bi代表真实的Bicubic下采样LR图像,/>为网络重建的SR图像，/>为真实的HR图像；训练结束后，得到训练好的网络参数，直接用于图像超分辨率重建。
10.一种基于Bicubic下采样图像空间对齐的盲图像超分辨率重建系统，其特征在于，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如权利要求1-9任一项所述的方法。
CN202310539101.5A 2023-05-15 2023-05-15 基于Bicubic下采样图像空间对齐的盲图像超分辨率重建方法 Pending CN116563110A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310539101.5A CN116563110A (zh) 2023-05-15 2023-05-15 基于Bicubic下采样图像空间对齐的盲图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310539101.5A CN116563110A (zh) 2023-05-15 2023-05-15 基于Bicubic下采样图像空间对齐的盲图像超分辨率重建方法

Publications (1)

Publication Number Publication Date
CN116563110A true CN116563110A (zh) 2023-08-08

Family

ID=87499687

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310539101.5A Pending CN116563110A (zh) 2023-05-15 2023-05-15 基于Bicubic下采样图像空间对齐的盲图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN116563110A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274067A (zh) * 2023-11-22 2023-12-22 浙江优众新材料科技有限公司 一种基于强化学习的光场图像盲超分辨处理方法与系统
CN118470224A (zh) * 2024-07-11 2024-08-09 广东工业大学 一种基于空间超分辨率的三维图像重建系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274067A (zh) * 2023-11-22 2023-12-22 浙江优众新材料科技有限公司 一种基于强化学习的光场图像盲超分辨处理方法与系统
CN118470224A (zh) * 2024-07-11 2024-08-09 广东工业大学 一种基于空间超分辨率的三维图像重建系统及方法

Similar Documents

Publication Publication Date Title
CN112200750B (zh) 一种超声图像去噪模型建立方法及超声图像去噪方法
CN110443768B (zh) 基于多重一致性约束的单帧图像超分辨率重建方法
CN111932461B (zh) 一种基于卷积神经网络的自学习图像超分辨率重建方法及系统
CN116563110A (zh) 基于Bicubic下采样图像空间对齐的盲图像超分辨率重建方法
CN111062880A (zh) 一种基于条件生成对抗网络的水下图像实时增强方法
CN104751420B (zh) 一种基于稀疏表示和多目标优化的盲复原方法
CN107133919A (zh) 基于深度学习的时间维视频超分辨率方法
CN110675321A (zh) 一种基于渐进式的深度残差网络的超分辨率图像重建方法
CN111080531B (zh) 一种水下鱼类图像的超分辨率重建方法、系统及装置
CN112801889B (zh) 图像去噪方法、系统、设备及存储介质
CN113379601A (zh) 基于降质变分自编码器的真实世界图像超分辨方法及系统
Min et al. Blind deblurring via a novel recursive deep CNN improved by wavelet transform
CN105488759B (zh) 一种基于局部回归模型的图像超分辨率重建方法
CN107154064A (zh) 基于深度稀疏编码的自然图像压缩感知重建方法
CN115631107A (zh) 边缘引导的单幅图像噪声去除
CN113139904A (zh) 一种图像盲超分辨率方法及系统
CN115526777A (zh) 一种盲超分网络建立方法、盲超分方法及存储介质
CN113066033A (zh) 一种彩色图像的多阶段去噪系统及方法
CN117422619A (zh) 图像重建模型的训练方法、图像重建方法、装置及设备
CN117726540A (zh) 一种增强门控Transformer的图像去噪方法
CN117114984A (zh) 基于生成对抗网络的遥感图像超分辨率重建方法
CN116862765A (zh) 一种医学影像超分辨率重建方法及系统
CN117078780A (zh) 基于深度学习的微体化石ct图像预处理方法及装置
CN115731447A (zh) 基于注意力机制蒸馏的解压缩图像目标检测方法及系统
CN115760589A (zh) 一种用于运动模糊图像的图像优化方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination