CN113902617A - 基于参考图像的超分辨率方法、装置、设备及介质 - Google Patents

基于参考图像的超分辨率方法、装置、设备及介质 Download PDF

Info

Publication number
CN113902617A
CN113902617A CN202111138491.2A CN202111138491A CN113902617A CN 113902617 A CN113902617 A CN 113902617A CN 202111138491 A CN202111138491 A CN 202111138491A CN 113902617 A CN113902617 A CN 113902617A
Authority
CN
China
Prior art keywords
image
super
scale
resolution
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111138491.2A
Other languages
English (en)
Other versions
CN113902617B (zh
Inventor
蔡杜荣
张鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Sun Yat Sen University Shenzhen Campus
Original Assignee
Sun Yat Sen University
Sun Yat Sen University Shenzhen Campus
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University, Sun Yat Sen University Shenzhen Campus filed Critical Sun Yat Sen University
Priority to CN202111138491.2A priority Critical patent/CN113902617B/zh
Publication of CN113902617A publication Critical patent/CN113902617A/zh
Application granted granted Critical
Publication of CN113902617B publication Critical patent/CN113902617B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于参考图像的超分辨率方法、装置、设备及介质，方法包括：对获取的原始数据集进行预处理，得到各尺度训练所需的训练集、验证集和测试集；对所述训练集进行超分辨率网络前向传播，得到SR图像；对所述SR图像进行特征融合，得到若干种尺度下的多个SR图像；对所述多个SR图像进行尺度调整，得到任意尺度下的SR图像；对原始的损失函数进行调整；根据所述验证集、所述测试集以及所述调整后的损失函数，确定目标模型，所述目标模型能够对目标图像进行超分辨率。本发明实施例实现了任意非整数尺度需求的图像超分辨率，并巧妙地避开了冗余，繁琐的多次训练过程，实用性高，可广泛应用于图像处理技术领域。

Description

基于参考图像的超分辨率方法、装置、设备及介质
技术领域
本发明涉及图像处理技术领域，尤其是基于参考图像的超分辨率方法、装置、设备及介质。
背景技术
图像超分辨率(SR)是指通过低分辨率图像中恢复出自然以及真实高分辨率图像的图像处理方式。近年来，随着深度学习的兴起，为解决这一问题提供了强有力的工具。基于卷积神经网络的众多方法的提出，使得SR性能得到了显著的提升。SR的研究通常有两种范式:一种是单图像超分辨率(SISR)，另一种是基于参考的图像超分辨率(Ref SR)。由于高分辨率(HR)纹理在退化过程中被过度破坏，无法恢复，传统的SISR常常会导致模糊效果。虽然近年来已经提出了基于生成对抗网络(GAN)的图像超分辨率方法来解决上述问题，但生成对抗网络所产生的幻觉和伪影进一步给SR任务带来了巨大的挑战。
近期，基于图像超分辨率的纹理迁移算法TTSR取得了速度以及精度上的突破。TTSR是以参考图像为范式，结合Transformer的注意力机制开发的一种图像超分辨率算法。该算法摆脱了原Ref SR系列算法对参考图像的强依赖，即使在参考图像与低分辨率图像相似微弱，亦能恢复出不错的结果，使得TTSR成为当前主流的图像超分辨率算法。
TTSR算法虽然取得了不错的成效，但是由于网络结构的原因，导致其超分的尺度固定，并且为正整数。然而在实际的应用中，图像超分的尺度应具有连续性，即非整数的任意尺度超分亦是不可或缺的，这样才能任意放大图像以更好地查看细节。显然，特定整数规模的尺度固定的SR网络不能用于实际场景中任意尺度的SR，需要研究和设计相应的算法来解决该问题。
发明内容
有鉴于此，本发明实施例提供一种实用性高的基于参考图像的超分辨率方法、装置、设备及介质，以实现对单幅图像任意非整数尺度需求的超分辨率。
本发明的一方面提供了一种基于参考图像的超分辨率方法，包括：
对获取的原始数据集进行预处理，得到各尺度训练所需的训练集、验证集和测试集；
对所述训练集进行超分辨率网络前向传播，得到SR图像；
对所述SR图像进行特征融合，得到若干种尺度下的多个SR图像；
对所述多个SR图像进行尺度调整，得到任意尺度下的SR图像；
对原始的损失函数进行调整；
根据所述验证集、所述测试集以及所述调整后的损失函数，确定目标模型，所述目标模型能够对目标图像进行超分辨率。
可选地，所述对获取的原始数据集进行预处理，得到各尺度训练所需的训练集、验证集和测试集，包括：
获取高分辨率图像；
将所述高分辨率图像裁剪成多个小尺寸图像块集合，得到HR图像集合和REF图像集合；
对所述图像块集合进行任意非整数尺度的下采样处理，得到LR图像集合；
对所述HR图像集合、所述REF图像集合和所述LR图像集合进行比例切分，得到训练集、验证集以及测试集；
其中，所述训练集、验证集以及测试集的切分比例为8:1:1。
可选地，所述对所述训练集进行超分辨率网络前向传播，得到SR图像这一步骤中，
所述训练集为所述HR图像集合、所述REF图像集合和所述LR图像集合的图像集合；
所述超分辨率网络为TTSR的图像超分辨率网络；
所述SR图像为TTSR进行4倍后的图像超分辨率结果。
可选地，所述对所述SR图像进行特征融合，得到若干种尺度下的多个SR图像，包括：
通过特征融合网络将TTSR进行4倍后的图像超分辨率结果进行特征融合，得到尺度为1、2、4的三种SR图像。
可选地，所述对所述多个SR图像进行尺度调整，得到任意尺度下的SR图像，包括：
根据所述SR图像的当前尺度与任意尺度之间的差距，计算得到尺度调整模块的输入图像；
根据所述输入图像的尺寸，确定权重预测网络的输入，得到尺度权重矩阵；
将调整后的输入图像与所述尺度权重矩阵相乘，得到任意尺度的SR图像。
可选地，所述对原始的损失函数进行调整这一步骤中，
所述原始的损失函数为：
Figure BDA0003282930740000021
调整后得到的损失函数为：
Figure BDA0003282930740000022
其中，Ltotal代表模型的损失和；
Figure BDA0003282930740000023
代表4倍超分尺度的内容损失；
Figure BDA0003282930740000024
代表2倍超分尺度的内容损失；
Figure BDA0003282930740000025
代表1倍超分尺度的内容损失；
Figure BDA0003282930740000026
代表任意超分尺度的内容损失；Lopl代表原模型的感知损失；Ladv代表原模型的对抗损失。
本发明实施例的另一方面提供了一种基于参考图像的超分辨率装置，包括：
第一模块，用于对获取的原始数据集进行预处理，得到各尺度训练所需的训练集、验证集和测试集；
第二模块，用于对所述训练集进行超分辨率网络前向传播，得到SR图像；
第三模块，用于对所述SR图像进行特征融合，得到若干种尺度下的多个SR图像；
第四模块，用于对所述多个SR图像进行尺度调整，得到任意尺度下的SR图像；
第五模块，用于对原始的损失函数进行调整；
第六模块，用于根据所述验证集、所述测试集以及所述调整后的损失函数，确定目标模型，所述目标模型能够对目标图像进行超分辨率。
本发明实施例的另一方面提供了一种电子设备，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如前面所述的方法。
本发明实施例的另一方面提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
本发明实施例的另一方面提供了一种计算机程序产品，所述计算机程序产品包括计算机指令，所述计算机指令存储在计算机可读存储介质中，计算机设备的处理器可以从计算机可读存储介质读取所述计算机指令，处理器执行所述计算机指令，使得所述计算机设备执行如前面所述的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
本发明的实施例对获取的原始数据集进行预处理，得到各尺度训练所需的训练集、验证集和测试集；对所述训练集进行超分辨率网络前向传播，得到SR图像；对所述SR图像进行特征融合，得到若干种尺度下的多个SR图像；对所述多个SR图像进行尺度调整，得到任意尺度下的SR图像；对原始的损失函数进行调整；根据所述验证集、所述测试集以及所述调整后的损失函数，确定目标模型，所述目标模型能够对目标图像进行超分辨率。本发明实施例实现了任意非整数尺度需求的图像超分辨率，并巧妙地避开了冗余，繁琐的多次训练过程，实用性高。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的超分辨率方法的整体流程图；
图2为本发明实施例的尺度调整模块的处理流程图；
图3为本发明实施例的任意尺度调整模块的处理流程图；
图4为本发明实施例的权重预测模块的处理流程图；
图5为本发明实施例的遥感影像SR结果比较图；
图6为本发明实施例的遥感影像为模型1.1至4.0倍的SR结果示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
针对现有技术存在的问题，本发明实施例提供了一种基于参考图像的超分辨率方法，包括：
对获取的原始数据集进行预处理，得到各尺度训练所需的训练集、验证集和测试集；
对所述训练集进行超分辨率网络前向传播，得到SR图像；
对所述SR图像进行特征融合，得到若干种尺度下的多个SR图像；
对所述多个SR图像进行尺度调整，得到任意尺度下的SR图像；
对原始的损失函数进行调整；
根据所述验证集、所述测试集以及所述调整后的损失函数，确定目标模型，所述目标模型能够对目标图像进行超分辨率。
可选地，所述对获取的原始数据集进行预处理，得到各尺度训练所需的训练集、验证集和测试集，包括：
获取高分辨率图像；
将所述高分辨率图像裁剪成多个小尺寸图像块集合，得到HR图像集合和REF图像集合；
对所述图像块集合进行任意非整数尺度的下采样处理，得到LR图像集合；
对所述HR图像集合、所述REF图像集合和所述LR图像集合进行比例切分，得到训练集、验证集以及测试集；
其中，所述训练集、验证集以及测试集的切分比例为8:1:1。
可选地，所述对所述训练集进行超分辨率网络前向传播，得到SR图像这一步骤中，
所述训练集为所述HR图像集合、所述REF图像集合和所述LR图像集合的图像集合；
所述超分辨率网络为TTSR的图像超分辨率网络；
所述SR图像为TTSR进行4倍后的图像超分辨率结果。
可选地，所述对所述SR图像进行特征融合，得到若干种尺度下的多个SR图像，包括：
通过特征融合网络将TTSR进行4倍后的图像超分辨率结果进行特征融合，得到尺度为1、2、4的三种SR图像。
可选地，所述对所述多个SR图像进行尺度调整，得到任意尺度下的SR图像，包括：
根据所述SR图像的当前尺度与任意尺度之间的差距，计算得到尺度调整模块的输入图像；
根据所述输入图像的尺寸，确定权重预测网络的输入，得到尺度权重矩阵；
将调整后的输入图像与所述尺度权重矩阵相乘，得到任意尺度的SR图像。
可选地，所述对原始的损失函数进行调整这一步骤中，
所述原始的损失函数为：
Figure BDA0003282930740000051
调整后得到的损失函数为：
Figure BDA0003282930740000052
其中，Ltotal代表模型的损失和；
Figure BDA0003282930740000053
代表4倍超分尺度的内容损失；
Figure BDA0003282930740000054
代表2倍超分尺度的内容损失；
Figure BDA0003282930740000055
代表1倍超分尺度的内容损失；
Figure BDA0003282930740000056
代表任意超分尺度的内容损失；Ltpl代表原模型的感知损失；Ladv代表原模型的对抗损失。
本发明实施例的另一方面提供了一种基于参考图像的超分辨率装置，包括：
第一模块，用于对获取的原始数据集进行预处理，得到各尺度训练所需的训练集、验证集和测试集；
第二模块，用于对所述训练集进行超分辨率网络前向传播，得到SR图像；
第三模块，用于对所述SR图像进行特征融合，得到若干种尺度下的多个SR图像；
第四模块，用于对所述多个SR图像进行尺度调整，得到任意尺度下的SR图像；
第五模块，用于对原始的损失函数进行调整；
第六模块，用于根据所述验证集、所述测试集以及所述调整后的损失函数，确定目标模型，所述目标模型能够对目标图像进行超分辨率。
本发明实施例的另一方面提供了一种电子设备，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如前面所述的方法。
本发明实施例的另一方面提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
本发明实施例的另一方面提供了一种计算机程序产品，所述计算机程序产品包括计算机指令，所述计算机指令存储在计算机可读存储介质中，计算机设备的处理器可以从计算机可读存储介质读取所述计算机指令，处理器执行所述计算机指令，使得所述计算机设备执行如前面所述的方法。
下面结合说明书附图，对本发明的具体实现过程进行详细描述：
参考图1，本发明实施例提供了一种基于参考图像的任意尺度的超分辨率方法与流程，实现了任意非整数尺度需求的图像超分辨率，并巧妙地避开了冗余，繁琐的多次训练过程。
方法包括以下步骤：
S1、对数据集的图像进行预处理，并产生各尺度训练所需的HR、LR和REF图像；
本实施例的步骤S1包括S11、S12和S13：
S11、获取高分辨率图像，并进行裁剪为小尺寸图像块集合，得到HR和REF图像集合；
所述HR图像集合为裁剪后的小尺寸图像块；
所述REF图像集合为与HR重叠率为20％的小尺寸图像块。
S12、对所述的图像块集合进行任意非整数尺度的下采样，得到LR图像集合；
所述LR图像集合为HR图像集合进行4倍下采样得到的图像集合。
S13、将上述的HR、REF、LR图像集合进行比例切分为训练集、验证集、测试集三部分；
所述对数据集切分比例为训练集、验证集、测试集之比为8:1:1。
S2、将数据集进行超分辨率网络前向传播，得到SR图像；
本实施例的步骤S2包括S21、S22和S23：
S21、所述数据集为HR、REF、LR图像训练数据集；
S22、所述超分辨率网络为TTSR的图像超分辨率网络；
S23、所述SR图像为TTSR 4倍的图像超分辨率结果。
S3、所述的SR图像进行特征融合，得到尺度为1、2、4的SR图像；
本实施例的步骤S3包括S31和S32：
S31、所述SR图像为TTSR固定尺度的图像超分辨率结果；
S32、所述特征融合为图像通过特征融合网络，得到的融合结果。
S4、对所述的SR图像经过尺度调整模块，得到任意尺度的SR图像；
本实施例的步骤S4包括S41、S42、S43和S44：
S41、所述尺度调整模块如图2所示：其包含图像尺寸调整、权重预测和矩阵相乘3部分；
S41、根据多尺度的SR图像与任意尺度的差距，计算得到尺度调整模块的输入图像，如图3所示。通过分别计算任意尺度与1、2、4尺度的距离，决定其中一个SR图像作为采样图像。构建采样图像与输出图像的映射为
Figure BDA0003282930740000071
得到尺寸调整后的图像。
S43、根据所述的输入图像尺寸，获得权重预测网络的输入，从而得到尺度权重矩阵。如图4所示。权重预测网络的输入矩阵为
Figure BDA0003282930740000072
其中
Figure BDA0003282930740000073
输入矩阵代表着任意尺度图像与采样图像映射的坐标转化差，同时引入尺度因子，使得各个任意尺度间的输入矩阵互不相同。
S44、将调整后的输入图像与尺度预测的权重矩阵相乘，得到最终任意尺度的SR图像。
S5、对原有的损失函数进行改造，使得其适用于修改后的模型的收敛。
本实施例的步骤S5包括S51和S52：
S51、所述原有损失函数为
Figure BDA0003282930740000074
S52、所述修改后损失函数为
Figure BDA0003282930740000075
下面详细说明本发明方法的完整实施流程：
基于参考图像的任意尺度的超分辨率方法处理过程分为数据集准备、固定尺度SR、特征融合、任意尺度调整、模型测试五个步骤。
在数据集准备阶段，执行以下操作：1)读取高分辨率图像；2)对高分辨率图像裁剪为小尺寸图像块集合，得到HR和REF图像集合；3)对HR图像块集合进行任意非整数尺度的下采样，得到LR图像集合；4)对HR、REF、LR图像集合按8:1:1的比例，切分为训练集、验证集、测试集三部分。
在固定尺度SR阶段，执行以下操作：对HR、REF、LR图像训练数据集通过TTSR的图像超分辨率网络得到4倍的图像超分辨率结果。
在特征融合阶段，执行以下操作：对TTSR固定尺度的图像超分辨率结果通过特征融合网络，得到的融合结果。
在任意尺度调整阶段：1)根据多尺度的SR图像与任意尺度的差距，计算得到尺度调整模块的输入图像；2)根据所述的输入图像尺寸，获得权重预测网络的输入，从而得到尺度权重矩阵；3)将调整后的输入图像与尺度预测的权重矩阵相乘，得到最终任意尺度的SR图像。
在模型测试阶段，执行以下操作：1)用已经训练好的遥感任意检测模型，对测试集图像进行测试。
图5是本发明的方法的遥感影像SR结果比较图。其中，图中(a)LR图像；图中(b)Bicubic图像；图中(c)是本发明方法的SR的结果。
图6是本发明的方法的遥感影像为模型1.1至4.0倍的SR结果示意图。
综上所述，本发明的实施例首先对数据集的图像进行预处理，并生成各尺度训练所需的HR、LR和REF图像,并将数据集划分为训练集、验证集和测试集。然后将所述训练集进行超分辨率网络前向传播，得到TTSR图像的SR结果。接着将所述的SR图像进行特征融合，得到尺度为1、2、4的多尺度SR图像。最后对所述的SR图像经过尺度调整模块，得到任意尺度的SR图像。其中包含对原有的损失函数进行改造，使得其适用于修改后的模型的收敛。本发明采用步长为0.1，范围为1.1至4倍的任意非整数尺度训练，实现了任意非整数尺度需求的图像超分辨率，并巧妙地避开了冗余，繁琐的多次训练过程，实用性高。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.基于参考图像的超分辨率方法，其特征在于，包括：
对获取的原始数据集进行预处理，得到各尺度训练所需的训练集、验证集和测试集；
对所述训练集进行超分辨率网络前向传播，得到SR图像；
对所述SR图像进行特征融合，得到若干种尺度下的多个SR图像；
对所述多个SR图像进行尺度调整，得到任意尺度下的SR图像；
对原始的损失函数进行调整；
根据所述验证集、所述测试集以及所述调整后的损失函数，确定目标模型，所述目标模型能够对目标图像进行超分辨率。
2.根据权利要求1所述的基于参考图像的超分辨率方法，其特征在于，所述对获取的原始数据集进行预处理，得到各尺度训练所需的训练集、验证集和测试集，包括：
获取高分辨率图像；
将所述高分辨率图像裁剪成多个小尺寸图像块集合，得到HR图像集合和REF图像集合；
对所述图像块集合进行任意非整数尺度的下采样处理，得到LR图像集合；
对所述HR图像集合、所述REF图像集合和所述LR图像集合进行比例切分，得到训练集、验证集以及测试集；
其中，所述训练集、验证集以及测试集的切分比例为8:1:1。
3.根据权利要求2所述的基于参考图像的超分辨率方法，其特征在于，所述对所述训练集进行超分辨率网络前向传播，得到SR图像这一步骤中，
所述训练集为所述HR图像集合、所述REF图像集合和所述LR图像集合的图像集合；
所述超分辨率网络为TTSR的图像超分辨率网络；
所述SR图像为TTSR进行4倍后的图像超分辨率结果。
4.根据权利要求3所述的基于参考图像的超分辨率方法，其特征在于，所述对所述SR图像进行特征融合，得到若干种尺度下的多个SR图像，包括：
通过特征融合网络将TTSR进行4倍后的图像超分辨率结果进行特征融合，得到尺度为1、2、4的三种SR图像。
5.根据权利要求4所述的基于参考图像的超分辨率方法，其特征在于，所述对所述多个SR图像进行尺度调整，得到任意尺度下的SR图像，包括：
根据所述SR图像的当前尺度与任意尺度之间的差距，计算得到尺度调整模块的输入图像；
根据所述输入图像的尺寸，确定权重预测网络的输入，得到尺度权重矩阵；
将调整后的输入图像与所述尺度权重矩阵相乘，得到任意尺度的SR图像。
6.根据权利要求1所述的基于参考图像的超分辨率方法，其特征在于，所述对原始的损失函数进行调整这一步骤中，
所述原始的损失函数为：
Figure FDA0003282930730000021
调整后得到的损失函数为：
Figure FDA0003282930730000022
其中，Ltotal代表模型的损失和；
Figure FDA0003282930730000023
代表4倍超分尺度的内容损失；
Figure FDA0003282930730000024
代表2倍超分尺度的内容损失；
Figure FDA0003282930730000025
代表1倍超分尺度的内容损失；
Figure FDA0003282930730000026
代表任意超分尺度的内容损失；tpl代表原模型的感知损失；Ladv代表原模型的对抗损失。
7.基于参考图像的超分辨率装置，其特征在于，包括：
第一模块，用于对获取的原始数据集进行预处理，得到各尺度训练所需的训练集、验证集和测试集；
第二模块，用于对所述训练集进行超分辨率网络前向传播，得到SR图像；
第三模块，用于对所述SR图像进行特征融合，得到若干种尺度下的多个SR图像；
第四模块，用于对所述多个SR图像进行尺度调整，得到任意尺度下的SR图像；
第五模块，用于对原始的损失函数进行调整；
第六模块，用于根据所述验证集、所述测试集以及所述调整后的损失函数，确定目标模型，所述目标模型能够对目标图像进行超分辨率。
8.一种电子设备，其特征在于，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如权利要求1-6中任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求1-6中任一项所述的方法。
10.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机指令，所述计算机指令存储在计算机可读存储介质中，计算机设备的处理器可以从计算机可读存储介质读取所述计算机指令，处理器执行所述计算机指令，使得所述计算机设备执行如权利要求1-6中任一项所述的方法。
CN202111138491.2A 2021-09-27 2021-09-27 基于参考图像的超分辨率方法、装置、设备及介质 Active CN113902617B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111138491.2A CN113902617B (zh) 2021-09-27 2021-09-27 基于参考图像的超分辨率方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111138491.2A CN113902617B (zh) 2021-09-27 2021-09-27 基于参考图像的超分辨率方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN113902617A true CN113902617A (zh) 2022-01-07
CN113902617B CN113902617B (zh) 2024-06-14

Family

ID=79029772

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111138491.2A Active CN113902617B (zh) 2021-09-27 2021-09-27 基于参考图像的超分辨率方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN113902617B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114092337A (zh) * 2022-01-19 2022-02-25 苏州浪潮智能科技有限公司 一种图像任意尺度的超分辨率放大的方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
CN110717857A (zh) * 2019-09-29 2020-01-21 中国科学院长春光学精密机械与物理研究所 超分辨率图像重构方法和装置
CN110992270A (zh) * 2019-12-19 2020-04-10 西南石油大学 基于注意力的多尺度残差注意网络图像超分辨率重建方法
CN111242846A (zh) * 2020-01-07 2020-06-05 福州大学 基于非局部增强网络的细粒度尺度图像超分辨率方法
CN111563843A (zh) * 2020-04-30 2020-08-21 苏州大学 一种图像超分辨重构方法、系统及相关装置
CN111652804A (zh) * 2020-05-28 2020-09-11 西安电子科技大学 基于膨胀卷积金字塔与瓶颈网络的超分辨率重建方法
CN113344793A (zh) * 2021-08-04 2021-09-03 深圳市安软科技股份有限公司 图像超分辨率重建方法、装置、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
CN110717857A (zh) * 2019-09-29 2020-01-21 中国科学院长春光学精密机械与物理研究所 超分辨率图像重构方法和装置
CN110992270A (zh) * 2019-12-19 2020-04-10 西南石油大学 基于注意力的多尺度残差注意网络图像超分辨率重建方法
CN111242846A (zh) * 2020-01-07 2020-06-05 福州大学 基于非局部增强网络的细粒度尺度图像超分辨率方法
CN111563843A (zh) * 2020-04-30 2020-08-21 苏州大学 一种图像超分辨重构方法、系统及相关装置
CN111652804A (zh) * 2020-05-28 2020-09-11 西安电子科技大学 基于膨胀卷积金字塔与瓶颈网络的超分辨率重建方法
CN113344793A (zh) * 2021-08-04 2021-09-03 深圳市安软科技股份有限公司 图像超分辨率重建方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王欢;吴成东;迟剑宁;于晓升;胡倩;: "联合多任务学习的人脸超分辨率重建", 中国图象图形学报, no. 02, 16 February 2020 (2020-02-16) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114092337A (zh) * 2022-01-19 2022-02-25 苏州浪潮智能科技有限公司 一种图像任意尺度的超分辨率放大的方法和装置

Also Published As

Publication number Publication date
CN113902617B (zh) 2024-06-14

Similar Documents

Publication Publication Date Title
Lan et al. MADNet: A fast and lightweight network for single-image super resolution
Kim et al. Deformable kernel networks for joint image filtering
Fan et al. Balanced two-stage residual networks for image super-resolution
Zhang et al. Accurate and fast image denoising via attention guided scaling
Sood et al. An application of generative adversarial networks for super resolution medical imaging
CN108961180B (zh) 红外图像增强方法及系统
JP2013518336A (ja) 入力画像から増加される画素解像度の出力画像を生成する方法及びシステム
WO2016019484A1 (en) An apparatus and a method for providing super-resolution of a low-resolution image
CN109242771B (zh) 一种超分辨率图像重建方法及装置、计算机可读存储介质和计算机设备
CN111476719A (zh) 图像处理方法、装置、计算机设备及存储介质
CN105590304B (zh) 超分辨率图像重建方法和装置
Fu et al. Residual scale attention network for arbitrary scale image super-resolution
Couturier et al. Image denoising using a deep encoder-decoder network with skip connections
Vu et al. Perception-enhanced image super-resolution via relativistic generative adversarial networks
Gong et al. Combining sparse representation and local rank constraint for single image super resolution
CN114612289A (zh) 风格化图像生成方法、装置及图像处理设备
Dong et al. Real-world remote sensing image super-resolution via a practical degradation model and a kernel-aware network
Liu et al. Multi-scale residual hierarchical dense networks for single image super-resolution
Li Image super-resolution using attention based densenet with residual deconvolution
CN113807354B (zh) 图像语义分割方法、装置、设备和存储介质
CN113902617B (zh) 基于参考图像的超分辨率方法、装置、设备及介质
Wen et al. Progressive representation recalibration for lightweight super-resolution
Singh et al. Single image super-resolution using adaptive domain transformation
Zheng et al. Joint residual pyramid for joint image super-resolution
CN116342393A (zh) 一种基于图像噪声预测机制的图像超分辨率方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant