CN116402691A - 基于图像特征快速拼接的图像超分辨率方法和系统 - Google Patents

基于图像特征快速拼接的图像超分辨率方法和系统 Download PDF

Info

Publication number
CN116402691A
CN116402691A CN202310653961.1A CN202310653961A CN116402691A CN 116402691 A CN116402691 A CN 116402691A CN 202310653961 A CN202310653961 A CN 202310653961A CN 116402691 A CN116402691 A CN 116402691A
Authority
CN
China
Prior art keywords
image
feature
differential
resolution
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310653961.1A
Other languages
English (en)
Other versions
CN116402691B (zh
Inventor
朱文忠
刘峪
张智柯
李�杰
尹鑫淼
何鑫
包德帅
何海东
潘磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University of Science and Engineering
Original Assignee
Sichuan University of Science and Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University of Science and Engineering filed Critical Sichuan University of Science and Engineering
Priority to CN202310653961.1A priority Critical patent/CN116402691B/zh
Publication of CN116402691A publication Critical patent/CN116402691A/zh
Application granted granted Critical
Publication of CN116402691B publication Critical patent/CN116402691B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于图像特征快速拼接的图像超分辨率方法和系统，属于图像超分辨率技术领域。图像超分辨率方法包括获取原始图像，获取训练完成的差分式图像重建网络；将原始图像输入差分式图像重建网络，差分式特征提取模块提取原始图像的特征信息后，生成得到映射特征图；将映射特征图输入分辨率提升模块，然后生成得到分辨率大于原始图像的强化图像。本发明通过作差抵消掉大量在分辨率变化时具有弱变性或不变性的特征信息，还利用差分校准模块学习高低分辨率特征图之间的差异化特征，并把学习到的结果去校准特征提取模块尾部的特征图，模型具有计算量小和重建图像质量高的优点。

Description

基于图像特征快速拼接的图像超分辨率方法和系统
技术领域
本发明属于图像超分辨率技术领域，具体地说，涉及一种基于图像特征快速拼接的图像超分辨率方法和系统。
背景技术
图像中所包含的信息量与其分辨率大小成正比，分辨率越高，呈现的细节特征越多。在天文、医疗和地理信息系统等诸多领域，获取的图像分辨率大小直接影响了输出结果的可靠性。近年来，人工神经网络由于其强大的非线性拟合能力，在提升图像分辨率任务上取得了较大的进步。但是，现有的用于图像超分辨率的神经网络中，对不同的特征都是同等对待、一并处理，需要比较复杂的计算才能实现较好的输出，其计算效率和重建图像的质量都具有较大的改进空间。
发明内容
针对现有技术中上述的不足，本发明提供一种基于图像特征快速拼接的图像超分辨率方法和系统，以提升图像超分辨率重建效果。
为了达到上述目的，本发明采用的解决方案是：一种基于图像特征快速拼接的图像超分辨率方法，包括以下步骤：
S100、获取原始图像，获取训练完成的差分式图像重建网络，所述差分式图像重建网络中设有差分式特征提取模块和分辨率提升模块；
S200、将所述原始图像输入所述差分式图像重建网络，所述差分式特征提取模块提取所述原始图像的特征信息后，生成得到映射特征图；
S300、将所述映射特征图输入所述分辨率提升模块，利用所述分辨率提升模块对所述映射特征图进行超分辨率重建，然后生成得到分辨率大于所述原始图像的强化图像，完成图像超分辨率重建；
所述差分式特征提取模块的内部运算过程表示为如下数学模型：
Figure SMS_1
；
其中，
Figure SMS_21
表示输入差分式特征提取模块的特征图，/>
Figure SMS_23
表示差分式特征提取模块末端输出的特征图，/>
Figure SMS_25
、/>
Figure SMS_13
和/>
Figure SMS_15
均表示卷积核大小为3*3的普通卷积层，/>
Figure SMS_17
和
Figure SMS_19
均表示卷积核大小为5*5的普通卷积层，/>
Figure SMS_27
表示卷积核大小为3*3、且步长为2的跨步卷积层，/>
Figure SMS_29
表示卷积核大小为1*1的普通卷积层，/>
Figure SMS_31
、/>
Figure SMS_33
、/>
Figure SMS_30
、/>
Figure SMS_34
、/>
Figure SMS_36
、
Figure SMS_37
、/>
Figure SMS_10
和/>
Figure SMS_12
均代表ReLU函数，/>
Figure SMS_16
表示亚像素卷积层，/>
Figure SMS_20
表示拼接操作，/>
Figure SMS_2
表示差分校准模块，/>
Figure SMS_3
表示/>
Figure SMS_6
激活后输出的特征图，/>
Figure SMS_8
表示/>
Figure SMS_14
激活后输出的特征图，/>
Figure SMS_18
表示/>
Figure SMS_32
激活后输出的特征图，/>
Figure SMS_35
表示/>
Figure SMS_22
激活后输出的特征图，/>
Figure SMS_24
表示
Figure SMS_26
激活后输出的特征图，/>
Figure SMS_28
表示差分校准模块生成输出的差分校准图，/>
Figure SMS_4
表示元素对应乘积运算，/>
Figure SMS_7
表示/>
Figure SMS_9
激活后输出的特征图，/>
Figure SMS_11
表示/>
Figure SMS_5
激活后输出的特征图。
进一步地，所述差分式图像重建网络中设有多个差分式特征提取模块，多个差分式特征提取模块首尾依次连接。
进一步地，所述差分式图像重建网络中设有特征融合模块，所述特征融合模块将各个所述差分式特征提取模块输出的映射特征图融合后再输入所述分辨率提升模块。
进一步地，所述差分校准模块内部运算过程表示为如下数学模型：
Figure SMS_38
；
其中，
Figure SMS_52
和/>
Figure SMS_55
表示输入所述差分校准模块的特征图，/>
Figure SMS_58
表示沿着通道方向对特征图做全局最大池化操作，/>
Figure SMS_40
表示沿着通道方向对特征图做全局平均池化操作，/>
Figure SMS_47
表示沿着通道方向对特征图做全局中值池化操作，/>
Figure SMS_50
表示对特征图做池化窗口尺寸为2*2、且步长为2的平均池化操作，/>
Figure SMS_54
表示对特征图做池化窗口尺寸为2*2、且步长为2的最大池化操作；/>
Figure SMS_41
表示拼接操作，/>
Figure SMS_44
表示元素对应乘积运算；/>
Figure SMS_46
和/>
Figure SMS_49
均表示卷积核大小为1*1的普通卷积层，/>
Figure SMS_42
和/>
Figure SMS_61
均表示sigmoid函数，/>
Figure SMS_63
表示对/>
Figure SMS_64
先沿着通道方向做全局最大池化、再经过/>
Figure SMS_51
池化操作后输出的特征图，/>
Figure SMS_53
表示对/>
Figure SMS_56
先沿着通道方向做全局平均池化、再经过/>
Figure SMS_59
池化操作后输出的特征图，/>
Figure SMS_39
表示对/>
Figure SMS_43
先沿着通道方向做全局中值池化、再经过/>
Figure SMS_45
池化操作后输出的特征图，/>
Figure SMS_48
表示/>
Figure SMS_57
激活后输出的特征图，/>
Figure SMS_60
表示拼接操作后得到的特征图，/>
Figure SMS_62
表示差分校准模块生成输出的差分校准图。
本发明还提供了基于图像特征快速拼接的图像超分辨率系统，包括处理器和存储器，所述存储器储存有计算机程序，所述处理器通过加载所述计算机程序，用于执行如上所述的图像超分辨率方法。
本发明的有益效果是：
（1）目前的共识是，对于基于卷积神经网络的图像超分辨率算法而言，决定重建图像质量的一个重要因素是要能够很好地学习和提取到原始输入图像中的高频信息；在本发明中，对多尺度特征提取结构整合后的特征图（
Figure SMS_65
特征图）进行上采样，然后再利用跨步卷积进行下采样，经过尺寸变换后得到的/>
Figure SMS_66
特征图分别与前面的/>
Figure SMS_67
特征图和/>
Figure SMS_68
特征图作差，这样能够抵消掉大量在分辨率变化时具有弱变性或不变性的特征信息（这些信息几乎都是低频信息），作差后得到的差分特征信息中高频信息比例高，在后续的拼接、
Figure SMS_69
卷积和/>
Figure SMS_70
激活过程中，实现了基于图像特征快速拼接的效果，以相对简单的运算实现了高质量的特征提取；
（2）现有技术中，通常都是前端为特征提取模块，低分辨率到高分辨率的学习和映射操作仅在网络的尾部通过一个超分辨率重建模块来完成，而单一的重建模块难以同时充分地学习不同尺度和不同层级的高低分辨率特征关系；本发明将上采样和下采样后得到的特征图输入差分校准模块，利用差分校准模块从中学习高低分辨率特征图之间的差异化特征，并把学习到的结果去校准特征提取模块尾部的特征图，这样实现了分散地在不同尺度下分别对高低分辨率特征之间的映射关系进行预学习和预校准，网络通过简单的特征提取操作，就能实现很好的超分辨率重建效果，模型具有计算量小和图像重建质量高的优点。
附图说明
图1为本发明的差分式图像重建网络结构示意图；
图2为实施例的差分式特征提取模块结构示意图；
图3为实施例的差分校准模块结构示意图；
图4为实施例的特征融合模块结构示意图；
图5为实施例的分辨率提升模块结构示意图；
图6为对比例的差分式特征提取模块结构示意图；
附图中：1-初次卷积层，2-差分式特征提取模块，3-特征融合模块，4-分辨率提升模块，5-原始图像，6-强化图像，7-差分校准模块。
具体实施方式
以下结合附图对本发明作进一步描述：
实施例：本发明提供一种基于图像特征快速拼接的图像超分辨率方法，包括以下步骤：
S100、获取原始图像5，获取训练完成的差分式图像重建网络；如图1所示，差分式图像重建网络中依次设有初次卷积层1（卷积核尺寸为3*3，步长为1）、五个差分式特征提取模块2、一个特征融合模块3和一个分辨率提升模块4，五个差分式特征提取模块2首尾顺次连接；
S200、将原始图像5输入差分式图像重建网络，图像信息顺次经过初次卷积层1和各个差分式特征提取模块2后，提取各个差分式特征提取模块2输出的映射特征图并输入特征融合模块3，利用特征融合模块3将各个映射特征图融合；
S300、将各个映射特征图融合后的结果输入分辨率提升模块4，利用分辨率提升模块4进行超分辨率重建，然后生成得到分辨率大于原始图像5的强化图像6，完成图像超分辨率重建。
下面对差分式图像重建网络内部的运行过程进行较为详细的示例性说明。
假设输入差分式图像重建网络的某个原始图像5的宽度、高度和通道尺寸分别为T、P和3，本实施例中，初次卷积层1输出特征图尺寸为T*P*64（宽度*高度*通道，下同）。如图2所示，在每个差分式特征提取模块2内部，特征图
Figure SMS_73
、/>
Figure SMS_76
、/>
Figure SMS_79
、/>
Figure SMS_72
、/>
Figure SMS_75
、/>
Figure SMS_77
以及/>
Figure SMS_81
激活后生成的特征图、/>
Figure SMS_71
特征图尺寸均为T*P*64。/>
Figure SMS_74
特征图的尺寸为T*P*64*4，亚像素卷积层/>
Figure SMS_78
操作后的特征图尺寸为2T*2P*64，特征图/>
Figure SMS_80
的尺寸也就为2T*2P*64。
如图3所示，在差分校准模块7内部，对
Figure SMS_100
特征图沿着通道方向的全局最大池化操作、全局平均池化操作和全局中值池化操作后，分别生成三个尺寸为2T*2P*1的矩阵，再次池化操作（/>
Figure SMS_104
或/>
Figure SMS_106
，/>
Figure SMS_84
、/>
Figure SMS_90
的池化窗口沿着空间方向滑动）后，得到的/>
Figure SMS_93
、
Figure SMS_96
、/>
Figure SMS_85
和/>
Figure SMS_102
特征图尺寸均为T*P*1。类似地，对/>
Figure SMS_105
特征图沿着通道方向的全局最大池化操作、全局平均池化操作和全局中值池化操作后，分别生成三个尺寸为T*P*1的矩阵，后续生成的/>
Figure SMS_107
特征图尺寸为T*P*4，差分校准图/>
Figure SMS_94
的尺寸为T*P*1。需要注意的是，在本发明中，对/>
Figure SMS_97
特征图通道方向做全局最大池化后得到的特征图做池化窗口尺寸为2*2的平均池化操作（而不是依然做最大池化操作）、对/>
Figure SMS_99
特征图通道方向做全局平均池化后得到的特征图做池化窗口尺寸为2*2的最大池化操作（而不是依然做平均池化操作），这样变换类型的池化操作对特征感应更加敏感，对于变化丰富的高频图像信息部分，网络能够更加细腻地学习和拟合其分辨率改变过程中的映射关系，从而提升重建图像细节的效果。而且，发明人发现，将/>
Figure SMS_103
特征图池化操作后的信息（/>
Figure SMS_92
、/>
Figure SMS_95
）与/>
Figure SMS_98
池化操作后得到的信息通过一些运算结合，差分校准模块7对分辨率变换过程具有更好的预校准效果，因此，发明人结合以往工作经验，设计了上述差分校准模块7的内部结构。测试结果表明，增设/>
Figure SMS_101
(/>
Figure SMS_82
)×/>
Figure SMS_86
这一分支后，重建后的图像线条边缘更加锐利，图像中的细小的线条视觉效果更明显，同时更少发生边界模糊和消融的情况，这对于高质量重建类似毛发这样的图像是极为有利的。与单纯使用/>
Figure SMS_88
(/>
Figure SMS_91
)拼接相比，/>
Figure SMS_83
(/>
Figure SMS_87
)与/>
Figure SMS_89
作差后再拼接，纯色区域的图像更少出现噪点，重建结果更加稳定。
如图4所示，本实施例的特征融合模块3包括顺次设置的拼接操作层、融合卷积层（卷积核尺寸为1*1，步长为1）和ReLU激活函数。各个差分式特征提取模块2输出的映射特征图通过拼接操作层拼接起来，拼接后得到的特征图经过融合卷积层卷积和ReLU函数激活后，生成尺寸为T*P*64的特征图，实现对各个映射特征图的融合。
如图5所示，分辨率提升模块4包括依次设置的第一3*3卷积层（卷积核尺寸为3*3，步长为1）、第一激活函数（ReLU函数）、主干亚像素卷积层、第二3*3卷积层（卷积核尺寸为3*3，步长为1）和第二激活函数（ReLU函数）。其中，第一3*3卷积层输出特征图尺寸为T*P*64*S2（S表示差分式图像重建网络对原始图像5分辨率放大的倍数）,主干亚像素卷积层输出特征图尺寸为（S*T）*（S*P）*64，最后第二激活函数输出尺寸为（S*T）*（S*P）*3的强化图像6，完成对原始图像5的超分辨率重建。
对于差分式图像重建网络的训练，本实施例采用公共的数据集DIV2K作为训练集，训练过程中以L1损失函数来优化模型中的参数，epoch设置为1000。实施例训练完成的差分式图像重建网络在BSD100和Urban100两个数据集上测试结果如表1所示（表中PSNR表示峰值信噪比，SSIM表示结构相似性）。为了更直观地表现差分式图像重建网络的性能，表1中还列举了两个性能先进的模型测试结果作为对比。
表1 实施例和EDSR、RDN重建效果比较
Figure SMS_108
比较上面的测试结果可以看出，实施例重建图像的质量略优于EDSR模型和RDN模型，但是，EDSR的参数量为43M，RDN的参数量为21.9M，而实施例的模型参数量仅仅为6.3M，实施例中差分式图像重建网络在计算量远低于现有模型的基础上，实现了优越的重建效果，可以更加方便地部署在智慧物联网系统中，满足实际的需求。
对比例：
为了说明差分校准模块7的作用，对比例中将实施例中差分式图像重建网络内的差分校准模块7去掉，保留网络的其他部分不变，修改后的差分式特征提取模块结构如图6所示。经过与实施例相同的训练过程后，测试结果如表2所示（表中PSNR表示峰值信噪比，SSIM表示结构相似性）。
表2 对比例在BSD100和Urban100上测试结果
Figure SMS_109
从上面的数据可以看出，本发明提供的差分校准模块7对于提高图像重建质量具有明显的促进效果。
以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (5)

1.基于图像特征快速拼接的图像超分辨率方法，其特征是：包括以下步骤：
S100、获取原始图像，获取训练完成的差分式图像重建网络，所述差分式图像重建网络中设有差分式特征提取模块和分辨率提升模块；
S200、将所述原始图像输入所述差分式图像重建网络，所述差分式特征提取模块提取所述原始图像的特征信息后，生成得到映射特征图；
S300、将所述映射特征图输入所述分辨率提升模块，利用所述分辨率提升模块对所述映射特征图进行超分辨率重建，然后生成得到分辨率大于所述原始图像的强化图像，完成图像超分辨率重建；
所述差分式特征提取模块的内部运算过程表示为如下数学模型：
Figure QLYQS_1
；
其中，
Figure QLYQS_14
表示输入差分式特征提取模块的特征图，/>
Figure QLYQS_17
表示差分式特征提取模块末端输出的特征图，/>
Figure QLYQS_19
、/>
Figure QLYQS_3
和/>
Figure QLYQS_6
均表示卷积核大小为3*3的普通卷积层，/>
Figure QLYQS_9
和/>
Figure QLYQS_11
均表示卷积核大小为5*5的普通卷积层，/>
Figure QLYQS_4
表示卷积核大小为3*3、且步长为2的跨步卷积层，/>
Figure QLYQS_8
表示卷积核大小为1*1的普通卷积层，/>
Figure QLYQS_10
、/>
Figure QLYQS_12
、/>
Figure QLYQS_15
、/>
Figure QLYQS_18
、/>
Figure QLYQS_22
、/>
Figure QLYQS_23
、
Figure QLYQS_21
和/>
Figure QLYQS_26
均代表ReLU函数，/>
Figure QLYQS_31
表示亚像素卷积层，/>
Figure QLYQS_34
表示拼接操作，/>
Figure QLYQS_5
表示差分校准模块，/>
Figure QLYQS_7
表示/>
Figure QLYQS_13
激活后输出的特征图，/>
Figure QLYQS_16
表示/>
Figure QLYQS_24
激活后输出的特征图，/>
Figure QLYQS_27
表示/>
Figure QLYQS_29
激活后输出的特征图，/>
Figure QLYQS_32
表示/>
Figure QLYQS_33
激活后输出的特征图，/>
Figure QLYQS_35
表示/>
Figure QLYQS_36
激活后输出的特征图，/>
Figure QLYQS_37
表示差分校准模块生成输出的差分校准图，/>
Figure QLYQS_2
表示元素对应乘积运算，/>
Figure QLYQS_20
表示/>
Figure QLYQS_25
激活后输出的特征图，/>
Figure QLYQS_28
表示/>
Figure QLYQS_30
激活后输出的特征图。
2.根据权利要求1所述的基于图像特征快速拼接的图像超分辨率方法，其特征是：所述差分式图像重建网络中设有多个差分式特征提取模块，多个差分式特征提取模块首尾依次连接。
3.根据权利要求1所述的基于图像特征快速拼接的图像超分辨率方法，其特征是：所述差分式图像重建网络中设有特征融合模块，所述特征融合模块将各个所述差分式特征提取模块输出的映射特征图融合后再输入所述分辨率提升模块。
4.根据权利要求1所述的基于图像特征快速拼接的图像超分辨率方法，其特征是：所述差分校准模块内部运算过程表示为如下数学模型：
Figure QLYQS_38
；
其中，
Figure QLYQS_42
和/>
Figure QLYQS_45
表示输入所述差分校准模块的特征图，/>
Figure QLYQS_48
表示沿着通道方向对特征图做全局最大池化操作，/>
Figure QLYQS_40
表示沿着通道方向对特征图做全局平均池化操作，/>
Figure QLYQS_46
表示沿着通道方向对特征图做全局中值池化操作，/>
Figure QLYQS_49
表示对特征图做池化窗口尺寸为2*2、且步长为2的平均池化操作，/>
Figure QLYQS_54
表示对特征图做池化窗口尺寸为2*2、且步长为2的最大池化操作；/>
Figure QLYQS_41
表示拼接操作，/>
Figure QLYQS_43
表示元素对应乘积运算；/>
Figure QLYQS_47
和/>
Figure QLYQS_50
均表示卷积核大小为1*1的普通卷积层，/>
Figure QLYQS_52
和/>
Figure QLYQS_58
均表示sigmoid函数，/>
Figure QLYQS_62
表示对/>
Figure QLYQS_64
先沿着通道方向做全局最大池化、再经过/>
Figure QLYQS_56
池化操作后输出的特征图，/>
Figure QLYQS_60
表示对/>
Figure QLYQS_61
先沿着通道方向做全局平均池化、再经过/>
Figure QLYQS_63
池化操作后输出的特征图，/>
Figure QLYQS_39
表示对/>
Figure QLYQS_44
先沿着通道方向做全局中值池化、再经过/>
Figure QLYQS_51
池化操作后输出的特征图，/>
Figure QLYQS_55
表示/>
Figure QLYQS_53
激活后输出的特征图，/>
Figure QLYQS_57
表示拼接操作后得到的特征图，/>
Figure QLYQS_59
表示差分校准模块生成输出的差分校准图。
5.基于图像特征快速拼接的图像超分辨率系统，其特征是：包括处理器和存储器，所述存储器储存有计算机程序，所述处理器通过加载所述计算机程序，用于执行如权利要求1至4任一项所述的图像超分辨率方法。
CN202310653961.1A 2023-06-05 2023-06-05 基于图像特征快速拼接的图像超分辨率方法和系统 Active CN116402691B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310653961.1A CN116402691B (zh) 2023-06-05 2023-06-05 基于图像特征快速拼接的图像超分辨率方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310653961.1A CN116402691B (zh) 2023-06-05 2023-06-05 基于图像特征快速拼接的图像超分辨率方法和系统

Publications (2)

Publication Number Publication Date
CN116402691A true CN116402691A (zh) 2023-07-07
CN116402691B CN116402691B (zh) 2023-08-04

Family

ID=87016363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310653961.1A Active CN116402691B (zh) 2023-06-05 2023-06-05 基于图像特征快速拼接的图像超分辨率方法和系统

Country Status (1)

Country Link
CN (1) CN116402691B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117455774A (zh) * 2023-11-17 2024-01-26 武汉大学 一种基于差分输出的图像重建方法及系统
CN117853738A (zh) * 2024-03-06 2024-04-09 贵州健易测科技有限公司 一种用于对茶叶分级的图像处理方法及设备

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1035729A2 (en) * 1999-03-08 2000-09-13 Sharp Kabushiki Kaisha Image capturing method and image capturing device
EP1077449A1 (en) * 1999-08-19 2001-02-21 Sony Corporation Information readout apparatus and information readout method
CN103150713A (zh) * 2013-01-29 2013-06-12 南京理工大学 利用图像块分类稀疏表示与自适应聚合的图像超分辨方法
CN106204440A (zh) * 2016-06-29 2016-12-07 北京互信互通信息技术有限公司 一种多帧超分辨图像重建方法及系统
CN106204447A (zh) * 2016-06-30 2016-12-07 北京大学 基于总变差分和卷积神经网络的超分辨率重建方法
CN106295714A (zh) * 2016-08-22 2017-01-04 中国科学院电子学研究所 一种基于深度学习的多源遥感图像融合方法
CN106407903A (zh) * 2016-08-31 2017-02-15 四川瞳知科技有限公司 基于多尺度卷积神经网络的实时人体异常行为识别方法
CN107194872A (zh) * 2017-05-02 2017-09-22 武汉大学 基于内容感知深度学习网络的遥感图像超分辨率重建方法
CN107633520A (zh) * 2017-09-28 2018-01-26 福建帝视信息科技有限公司 一种基于深度残差网络的超分辨率图像质量评估方法
CN108304873A (zh) * 2018-01-30 2018-07-20 深圳市国脉畅行科技股份有限公司 基于高分辨率光学卫星遥感影像的目标检测方法及其系统
CN109409256A (zh) * 2018-10-10 2019-03-01 东南大学 一种基于3d卷积神经网络的森林烟火检测方法
CN109655841A (zh) * 2018-12-13 2019-04-19 北京遥测技术研究所 太赫兹多模实时成像系统
CN109934771A (zh) * 2019-03-08 2019-06-25 北京航空航天大学 基于循环神经网络的无监督遥感图像超分辨率重建方法
CN111292238A (zh) * 2020-01-21 2020-06-16 扬州大学 一种基于正交偏最小二乘的人脸图像超分辨率重建方法
CN112712472A (zh) * 2019-10-25 2021-04-27 北京三星通信技术研究有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN112882042A (zh) * 2021-01-14 2021-06-01 天津市水产研究所 一种基于声学数据的海洋牧场海床遥测与识别方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1035729A2 (en) * 1999-03-08 2000-09-13 Sharp Kabushiki Kaisha Image capturing method and image capturing device
EP1077449A1 (en) * 1999-08-19 2001-02-21 Sony Corporation Information readout apparatus and information readout method
CN103150713A (zh) * 2013-01-29 2013-06-12 南京理工大学 利用图像块分类稀疏表示与自适应聚合的图像超分辨方法
CN106204440A (zh) * 2016-06-29 2016-12-07 北京互信互通信息技术有限公司 一种多帧超分辨图像重建方法及系统
CN106204447A (zh) * 2016-06-30 2016-12-07 北京大学 基于总变差分和卷积神经网络的超分辨率重建方法
CN106295714A (zh) * 2016-08-22 2017-01-04 中国科学院电子学研究所 一种基于深度学习的多源遥感图像融合方法
CN106407903A (zh) * 2016-08-31 2017-02-15 四川瞳知科技有限公司 基于多尺度卷积神经网络的实时人体异常行为识别方法
CN107194872A (zh) * 2017-05-02 2017-09-22 武汉大学 基于内容感知深度学习网络的遥感图像超分辨率重建方法
CN107633520A (zh) * 2017-09-28 2018-01-26 福建帝视信息科技有限公司 一种基于深度残差网络的超分辨率图像质量评估方法
CN108304873A (zh) * 2018-01-30 2018-07-20 深圳市国脉畅行科技股份有限公司 基于高分辨率光学卫星遥感影像的目标检测方法及其系统
CN109409256A (zh) * 2018-10-10 2019-03-01 东南大学 一种基于3d卷积神经网络的森林烟火检测方法
CN109655841A (zh) * 2018-12-13 2019-04-19 北京遥测技术研究所 太赫兹多模实时成像系统
CN109934771A (zh) * 2019-03-08 2019-06-25 北京航空航天大学 基于循环神经网络的无监督遥感图像超分辨率重建方法
CN112712472A (zh) * 2019-10-25 2021-04-27 北京三星通信技术研究有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN111292238A (zh) * 2020-01-21 2020-06-16 扬州大学 一种基于正交偏最小二乘的人脸图像超分辨率重建方法
CN112882042A (zh) * 2021-01-14 2021-06-01 天津市水产研究所 一种基于声学数据的海洋牧场海床遥测与识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐国明 等: "基于双重注意力残差网络的偏振图像超分辨率重建", 《光子学报》, vol. 51, no. 4, pages 0410001 - 1 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117455774A (zh) * 2023-11-17 2024-01-26 武汉大学 一种基于差分输出的图像重建方法及系统
CN117455774B (zh) * 2023-11-17 2024-05-14 武汉大学 一种基于差分输出的图像重建方法及系统
CN117853738A (zh) * 2024-03-06 2024-04-09 贵州健易测科技有限公司 一种用于对茶叶分级的图像处理方法及设备
CN117853738B (zh) * 2024-03-06 2024-05-10 贵州健易测科技有限公司 一种用于对茶叶分级的图像处理方法及设备

Also Published As

Publication number Publication date
CN116402691B (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
CN116402691B (zh) 基于图像特征快速拼接的图像超分辨率方法和系统
CN112215755B (zh) 一种基于反投影注意力网络的图像超分辨率重建方法
Li et al. Deep learning methods in real-time image super-resolution: a survey
Pan et al. Dual convolutional neural networks for low-level vision
CN112163994B (zh) 一种基于卷积神经网络的多尺度医学图像融合方法
CN107590775B (zh) 一种利用回归树场的图像超分辨率放大方法
CN111915546A (zh) 红外和可见光图像融合方法、系统、计算机设备及应用
CN114663552B (zh) 一种基于2d图像的虚拟试衣方法
Tang et al. MdedFusion: A multi-level detail enhancement decomposition method for infrared and visible image fusion
Zhang et al. Deformable and residual convolutional network for image super-resolution
CN115375711A (zh) 基于多尺度融合的全局上下文关注网络的图像分割方法
Yao et al. Depth super-resolution by texture-depth transformer
CN115797176A (zh) 一种图像超分辨率重建方法
Yang et al. An image super-resolution network based on multi-scale convolution fusion
CN115311184A (zh) 基于半监督深度神经网络的遥感图像融合方法及系统
Wang et al. Joint depth map super-resolution method via deep hybrid-cross guidance filter
Deng et al. Isotropic reconstruction of 3D EM images with unsupervised degradation learning
Sahito et al. Transpose convolution based model for super-resolution image reconstruction
CN111899166A (zh) 一种基于深度学习的医学高光谱显微图像超分辨重构方法
Que et al. Single image super-resolution via deep progressive multi-scale fusion networks
CN117315735A (zh) 基于先验信息与注意力机制的人脸超分辨率重建方法
Li et al. Hyperspectral pansharpening with adaptive feature modulation-based detail injection network
Li et al. Blind image inpainting using pyramid GAN on thyroid ultrasound images
Huang et al. Single image super-resolution reconstruction of enhanced loss function with multi-gpu training
Zhang et al. MBMR-Net: multi-branches multi-resolution cross-projection network for single image super-resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant