CN111414988A - 基于多尺度特征自适应融合网络的遥感影像超分辨率方法 - Google Patents

基于多尺度特征自适应融合网络的遥感影像超分辨率方法 Download PDF

Info

Publication number
CN111414988A
CN111414988A CN202010089566.1A CN202010089566A CN111414988A CN 111414988 A CN111414988 A CN 111414988A CN 202010089566 A CN202010089566 A CN 202010089566A CN 111414988 A CN111414988 A CN 111414988A
Authority
CN
China
Prior art keywords
feature
remote sensing
scale
sensing image
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010089566.1A
Other languages
English (en)
Other versions
CN111414988B (zh
Inventor
吴颖丹
王鑫颖
吕辉
田德生
杨飞
胡在铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Technology
Original Assignee
Hubei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Technology filed Critical Hubei University of Technology
Priority to CN202010089566.1A priority Critical patent/CN111414988B/zh
Publication of CN111414988A publication Critical patent/CN111414988A/zh
Application granted granted Critical
Publication of CN111414988B publication Critical patent/CN111414988B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于多尺度特征自适应融合网络的遥感影像超分辨率方法，包括：1)利用滤波器对原始输入的低分辨率遥感影像进行卷积运算，提取原始特征图；2)通过n个级联的多尺度特征提取模块AMFE对原始特征图的自适应多尺度特征进行提取，得到自适应多尺度特征图；3)将原始特征图和自适应多尺度特征图进行叠加，利用滤波器对叠加后的图进行卷积运算，实现特征降维与融合；4)采用亚像素卷积方法，获取最终的超分辨率重建后的遥感影像。本发明提供了一种能够实现遥感影像多尺度特征信息的自适应融合、能够实现遥感影像高分辨率细节信息的高效重建以及改善影像超分辨率重建效果的基于多尺度特征自适应融合网络的遥感影像超分辨率方法。

Description

基于多尺度特征自适应融合网络的遥感影像超分辨率方法
技术领域
本发明属于测绘科学与技术领域，涉及一种遥感影像超分辨率方法，尤其涉及一种基于多尺度特征自适应融合网络的遥感影像超分辨率方法。
背景技术
影像超分辨率(Image super-resolution，SR)技术，主要是从低分辨率(low-resolution，LR)影像重建视觉上令人愉悦的高分辨率(high-resolution，HR)影像，在计算机视觉领域是一个经典但具有挑战性的问题。高分辨率遥感影像，相比于低分辨率遥感影像，可以提供更为丰富、准确的信息，用途也更为广泛。遥感影像的超分辨率重建，是一种低成本获取高分辨率遥感影像的有效手段，具有重要现实意义。
单幅影像超分辨率重建(Single Image Super-Resolution，SISR)技术，主要分为三类：基于插值，基于重构和基于学习的方法。近年来，随着深度学习理论的快速发展，基于学习的SISR方法逐渐成为主流。1998年，纽约大学的LeCun等人最早将卷积神经网络(Convolutional Neural Network，CNN)用于手写数字识别。CNN具有自动提取特征、权值共享以及网络结构与影像结合良好等优势，为深度学习领域的重要网络之一。
2016年，Dong等人首次将CNN应用于影像超分辨率重建，提出了的SRCNN算法，取得很好的效果。随后，提出计算效率更高的FSRCNN网络，可以直接将原始的低分辨率影像输入网络。针对早期网络属于浅层网络，存在感受野小、特征提取与利用不充分的缺点，Kim提出了具有20层的深度网络VDSR，并通过仅学习低分辨率影像和高分辨率影像之间的残差以加快收敛速度。此外，相关学者提出诸多不同网络结构来提高中间特征信息的利用效果，如DRCN，SRResNet，SRDenseNet和MemNet。密集卷积网络(DenseNet)被提出来避免特征信息的丢失，而不是顺序地将前一层的特征传递到下一层等。
但是，复杂的网络结构并不能保证特征信息的充分利用，相反，冗余的特征信息不仅会造成计算效率的急剧下降，而且会造成真正有用的特征信息被无用信息所“淹没”，进而恶化影像的重建效果。有鉴于此，本发明发明将结合遥感影像超分辨率的特点，重点突出遥感影像中间特征信息的多尺度提取和自适应融合，进而提高遥感影像超分辨率重建的效果。
发明内容
为了解决背景技术中存在的上述技术问题，本发明提供了一种能够实现遥感影像多尺度特征信息的自适应融合、能够实现遥感影像高分辨率细节信息的高效重建以及改善影像超分辨率重建效果的基于多尺度特征自适应融合网络的遥感影像超分辨率方法。
为了实现上述目的，本发明采用如下技术方案：
一种基于多尺度特征自适应融合网络的遥感影像超分辨率方法，其特征在于：所述基于多尺度特征自适应融合网络的遥感影像超分辨率方法包括以下步骤：
1)利用滤波器对原始输入的低分辨率遥感影像进行卷积运算，提取原始特征图；
2)通过n个级联的多尺度特征提取模块AMFE对原始特征图的自适应多尺度特征进行提取，得到自适应多尺度特征图；所述多尺度特征提取模块AMFE包括多尺度特征提取单元MFE以及特征门控单元FG；所述多尺度特征提取单元MFE用于对原始特征图进行特征信息的多尺度提取；所述特征门控单元FG对特征信息进行过滤与融合；
3)将步骤1)提取得到的原始特征图和步骤2)获取得到的自适应多尺度特征图进行叠加，利用滤波器对叠加后的图进行卷积运算，实现特征降维与融合；
4)采用亚像素卷积方法，获取最终的超分辨率重建后的遥感影像。
作为优选，本发明所采用的步骤1)的具体实现方式是：
A0＝w0*ILR+b0 (1)
其中：
ILR是原始输入的低分辨率遥感影像；
A0是从原始输入的低分辨率遥感影像ILR中提取的原始特征图；
w0是对应于卷积层conv中的128个卷积核大小为3×3的滤波器；
b0是表示滤波器对应的偏差向量；
*表示卷积运算。
作为优选，本发明所采用的步骤2)的具体实现方式是：
Ai＝fMFE(Ai-1)+g(Ai-1) (1≤i≤n) (2)
式中：
fMFE(·)表示利用多尺度特征提取单元MFE对第i-1个AMFE模块输出的特征图进行多尺度特征提取处理；
g(·)表示利用特征门控单元FG对第i-1个AMFE模块输出的特征图进行自适应提取处理；
Ai表示第i个AMFE模块输出的特征图；
Ai-1表示第i-1个AMFE模块输出的特征图；
n表示多尺度特征提取模块AMFE的总数。
作为优选，本发明所采用的步骤2)中利用多尺度特征提取单元MFE进行多尺度特征提取的具体实现方式是：
a.1)第一层卷积处理：第一层卷积操作定义为：
Figure BDA0002383256350000031
式中：
Ai-1是第i-1个AMFE模块输出的特征图；
Figure BDA0002383256350000032
表示第i个AMFE模块的MFE单元第一层卷积操作中所使用的滤波器；
Figure BDA0002383256350000033
是滤波器对应的偏置向量；
φ(·)表示Relu激活函数；
Figure BDA0002383256350000034
表示第一层卷积处理后输出的特征图；
a.2)第二层卷积处理：通过3种不同大小卷积核的滤波器对
Figure BDA00023832563500000317
进行卷积运算，第二层卷积处理操作表示为：
Figure BDA0002383256350000035
式中：
j表示不同大小卷积核的滤波器种类序号；
Figure BDA0002383256350000036
表示第i个AMFE模块的MFE单元第二层卷积操作中所使用的滤波器；
Figure BDA0002383256350000037
表示第一层卷积处理后输出的特征图；
Figure BDA0002383256350000038
为滤波器对应的偏置向量；
φ(·)表示Relu激活函数；
a.3)特征图组合与降维：将第一层卷积处理输出的特征图
Figure BDA0002383256350000039
和第二层卷积处理输出的特征图
Figure BDA00023832563500000310
Mi 12,Mi 13进行组合，获得3个新的特征图组
Figure BDA00023832563500000311
Figure BDA00023832563500000312
对新生成的3个特征图组分别利用一定数量卷积核大小为1×1的滤波器进行卷积运算实现特征降维，同时学习特征图组内特征图之间的信道相关性，该操作表示为：
Figure BDA00023832563500000313
式中：
Figure BDA00023832563500000314
分别表示所使用3种卷积核大小为1×1的滤波器；
Figure BDA00023832563500000315
分别表示滤波器对应的偏置向量；
Figure BDA00023832563500000316
分别表示处理后所生成的新的特征图；
将处理后所生成的新的特征图再次组合成特征图组
Figure BDA0002383256350000041
再次使用一定数量卷积核大小为1×1的滤波器进行卷积运算进一步提取特征信息，该操作表示为：
Figure BDA0002383256350000042
式中：
Figure BDA0002383256350000043
表示再次使用的卷积核大小为1×1的滤波器；
Figure BDA0002383256350000044
表示滤波器对应的偏置向量；
Figure BDA0002383256350000045
表示再次使用卷积核大小为1×1的滤波器对特征图组
Figure BDA0002383256350000046
进行卷积处理后输出的特征图；
a.4)对步骤a.3)得到的
Figure BDA0002383256350000047
进行特征过滤处理，得到新的特征图
Figure BDA0002383256350000048
即为第i-1个AMFE模块输出的特征图Ai-1经过第i个AMFE模块的MFE单元处理后生成的特征图。
作为优选，本发明所采用的步骤a.4)的具体实现方式是：
a.4.1)avg.pool操作代表计算每个特征图的灰度平均值，通过该操作处理
Figure BDA0002383256350000049
生成1×1×256张量；
a.4.2)利用32个1×1滤波器对上步生成的1×1×256张量进行卷积运算，生成1×1×32张量；
a.4.3)利用256个1×1滤波器对上步生成的1×1×32张量进行卷积运算，生成1×1×256张量；
a.4.4)上步生成的1×1×256张量的值，即256个实数，就是
Figure BDA00023832563500000410
所表示的256个特征图对应的权值，逐一相乘，生成256个新的特征图，尺寸为W×H×256；
a.4.5)利用128个1×1滤波器对上步生成的新的特征图进行卷积运算，生成128个新的特征图
Figure BDA00023832563500000411
作为优选，本发明所采用的步骤2)中利用特征门控单元进行自适应提取的具体实现方式是：
b.1)对第i-1个AMFE模块输出的特征图Ai-1，采用avg.pool操作进行处理得到1×1×128张量；
b.2)依次采用16、16和2个1×1滤波器进行卷积运算，并利用Gumbel-softmax方法计算向量V′；
b.3)将第二个元素V[1]定义为门控得分的期望值score(Ai-1)，该期望值score(Ai-1)代表需要保留多少比例的特征信息；当确定门得分的值后，保留的特征信息A′i-1如下：
A′i-1＝score(Ai-1)×Ai-1 (7)
作为优选，本发明所采用的步骤3)的具体实现方式是：
Afusion＝wf*[A0,A1,…,An]+bf (8)
式中：
wf表示特征融合层所包含的64个卷积核大小为1×1的滤波器；
bf表示滤波器对应的偏差向量；
[A0,A1,…,An]表示由原始特征图A0和各AMFE模块提取特征图的叠加组合
Afusion表示经过特征融合处理后输出的特征图。
作为优选，本发明所采用的步骤4)的具体实现方式是：
直接采用亚像素卷积方法，对特征图Afusion进行处理，获取最终重建的高分辨率遥感影像。
与现有技术相比，本发明具有以下显著优点和效果：
本发明属于测绘科学与技术领域，提供了一种基于多尺度特征自适应融合网络的遥感影像超分辨率方法，主要包括原始特征提取，自适应多尺度特征提取，特征融合和影像重建四个步骤。本发明综合利用多尺度卷积核滤波器、特征自适应过滤以及特征门控技术，实现遥感影像特征的自适应多尺度特征提取，可以在充分利用影像多尺度特征的同时，有效的减少冗余信息，进而达到有效改善遥感影像超分辨率重建质量的效果。其中，自适应多尺度特征提取是本发明方法的核心步骤，该方法通过多种不同尺寸卷积核的滤波器提取遥感影像在空间和通道两个方向上的局部特征，融合自适应门控机制自动实现无用特征信息的过滤和有用特征信息的保留，并利用所构建的层状结构，实现遥感影像多尺度特征信息的自适应融合，实现遥感影像高分辨率细节信息的高效重建，进而改善影像超分辨率重建效果。
附图说明
图1是本发明所提供的基于多尺度特征自适应融合网络的遥感影像超分辨率方法的总体流程示意图；
图2是自适应多尺度特征提取模块的结构示意图；
图3是特征过滤处理的结构示意图；
图4是特征门控单元的结构示意图。
具体实施方式
本发明提供了一种基于多尺度特征自适应融合网络的遥感影像超分辨率方法，该方法主要包括四个步骤：
1)原始特征提取(Original feature extraction)：输入是原始的低分辨率遥感影像，利用一定数量的滤波器对其进行卷积运算，提取原始特征图。
2)自适应多尺度特征提取(Adaptive multi-scale feature extraction)：自适应多尺度特征提取由一定数量的级联的多尺度特征提取模块(Adaptive MultiscaleFeature Extraction，AMFE)完成。每个AMFE模块由多尺度特征提取单元(MultiscaleFeature Extraction，MFE)和特征门控单元(Feature Gating，FG)构成。利用MFE进行特征信息的多尺度提取，利用FG对特征信息进行过滤与融合，每个AMFE自适应提取输出一个数量的特征图。自适应多尺度特征提取是本发明方法的核心步骤。该方法通过多种不同尺寸卷积核的滤波器提取遥感影像在空间和通道两个方向上的局部特征，融合自适应门控机制自动实现无用特征信息的过滤和有用特征信息的保留，并利用所构建的层状结构，实现遥感影像多尺度特征信息的自适应融合，实现遥感影像高分辨率细节信息的高效重建，进而改善影像超分辨率重建效果。
3)特征融合(Feature fusion)：叠加原始特征图以及各AMFE模块所生成的特征图，利用一定数量的滤波器对其进行卷积运算，实现特征降维与融合。
4)影像重建(Image reconstruction)：采用亚像素卷积方法，对特征融合步骤后输出的特征图进行处理，获取最终的超分辨率重建后的遥感影像。
下面结合附图对本发明所提供的技术方案做进一步详细描述：
参见图1，本发明提供了一种基于多尺度特征自适应融合网络的遥感影像超分辨率方法，该方法包括以下详细步骤：
步骤1)原始特征提取(Original feature extraction)
原始特征提取，主要包括：输入原始低分辨率遥感影像，将卷积层conv应用于输入的原始的低分辨率遥感影像，以生成原始特征图：
A0＝w0*ILR+b0 (1)
其中：
ILR是原始输入的低分辨率遥感影像；
A0是从原始低分辨率遥感影像中提取的原始特征图；
w0对应于卷积层conv中的128个卷积核大小为3×3的滤波器；
b0表示滤波器对应的偏差向量；
*表示卷积运算。
步骤2)自适应多尺度特征提取(Adaptive Multiscale Feature Extraction)
该步骤利用一定数量的自适应多尺度特征提取模块(AMFE)完成。第i个AMFE模块的输出可以表示为：
Ai＝fMFE(Ai-1)+g(Ai-1) (1≤i≤n) (2)
式中：
fMFE(·)表示利用多尺度特征提取单元(MFE)对第i-1个AMFE模块输出的特征图进行操作处理；
g(·)表示利用特征门控单元(FG)对第i-1个AMFE模块输出的特征图进行操作处理；
Ai表示第i个AMFE模块输出的特征图；
Ai-1表示第i-1个AMFE模块输出的特征图；
n表示AMEF模块的总数。
MFE进行多尺度特征提取的结构示意图如图2所示。其具体实现步骤如下：
1)第一层卷积处理：第一层卷积操作可以定义为：
Figure BDA0002383256350000071
式中：
Ai-1是第i-1个AMFE模块输出的特征图；
Figure BDA0002383256350000072
表示第i个AMFE模块的MFE单元第一层卷积操作中所使用的滤波器；
Figure BDA0002383256350000073
是滤波器对应的偏置向量；
φ(·)表示Relu激活函数；
Figure BDA0002383256350000074
表示第一层卷积处理后输出的特征图。本实施例中为128个卷积核大小为3×3的滤波器，为此
Figure BDA0002383256350000075
将包含128个特征图。
2)第二层卷积处理：通过3种不同大小卷积核的滤波器对
Figure BDA0002383256350000076
进行卷积运算，本实施例中3种滤波器的卷积核大小分别为1×1，3×3和5×5。第二层卷积处理操作可以表示为：
Figure BDA0002383256350000077
式中：
j表示滤波器种类序号；
Figure BDA0002383256350000078
表示第i个AMFE模块的MFE单元第二层卷积操作中所使用的滤波器；
Figure BDA0002383256350000079
表示第一层卷积处理后输出的特征图；
Figure BDA00023832563500000710
为滤波器对应的偏置向量。本实施例中，每种滤波器的数量均为64个，为此每种滤波器进行卷积运算后将各自输出64张特征图。
3)特征图组合与降维：将第一层卷积处理输出的特征图
Figure BDA00023832563500000711
和第二层卷积处理输出的特征图
Figure BDA00023832563500000712
Mi 12,Mi 13进行组合，获得3个新的特征图组
Figure BDA00023832563500000713
Figure BDA00023832563500000714
对新生成的3个特征图组分别利用一定数量卷积核大小为1×1的滤波器进行卷积运算来实现特征降维，同时学习特征图组内特征图之间的信道相关性，该操作可表示为：
Figure BDA0002383256350000081
式中：
Figure BDA0002383256350000082
分别表示所使用3个卷积核大小为1×1的滤波器；
Figure BDA0002383256350000083
分别表示滤波器对应的偏置向量；
Figure BDA0002383256350000084
分别表示处理后所生成的新的特征图。将它们再次组合成特征图组
Figure BDA0002383256350000085
再次使用一定数量卷积核大小为1×1的滤波器进行卷积运算进一步提取特征信息，该操作可表示为：
Figure BDA0002383256350000086
式中：
Figure BDA0002383256350000087
表示再次使用的卷积核大小为1×1的滤波器；
Figure BDA0002383256350000088
表示滤波器对应的偏置向量；
Figure BDA0002383256350000089
表示再次使用卷积核大小为1×1的滤波器对特征图组
Figure BDA00023832563500000810
进行卷积处理后输出的特征图。本实施例中1×1滤波器的数量为256，为此，将生成256个特征图。
4)特征过滤(Feature Filtering)处理：特征过滤处理的结构示意图如图3所示。本发明借鉴了“squeeze-and-excitation”方法的思想，其具体实现步骤如下：
a)avg.pool操作代表计算每个特征图的灰度平均值，通过该操作处理
Figure BDA00023832563500000811
生成1×1×256张量；
b)利用32个1×1滤波器对上步生成的1×1×256张量进行卷积运算，生成1×1×32张量；
c)利用256个1×1滤波器对上步生成的1×1×32张量进行卷积运算，生成1×1×256张量；
d)上步生成的1×1×256张量的值，即256个实数，就是
Figure BDA00023832563500000814
所表示的256个特征图对应的权值，逐一相乘，生成256个新的特征图，尺寸为W×H×256；
e)利用128个1×1滤波器对上步生成的新的特征图进行卷积运算，生成128个新的特征图
Figure BDA00023832563500000812
Figure BDA00023832563500000813
即为第i-1个AMFE模块输出的特征图Ai-1经过第i个AMFE模块的MFE单元处理后生成的特征图。
特征门控单元FG进行特征自适应提取的结构示意图如图4所示。其具体实现步骤如下：对第i-1个AMFE模块输出的特征图Ai-1，首先采用avg.pool操作进行处理得到1×1×128张量，然后依次采用16、16和2个1×1滤波器进行卷积运算，并利用Gumbel-softmax方法计算向量V′。将第二个元素V[1]定义为门控得分的期望值score(Ai-1)，该值代表需要保留多少比例的特征信息。当确定门得分的值后，保留的特征信息A′i-1如下：
A′i-1＝score(Ai-1)×Ai-1 (7)
步骤3)特征融合：
在一系列AMFE模块完成特征提取后，在进行遥感影像的超分辨率重建之前，进行特征融合处理。具体可表示为：
Afusion＝wf*[A0,A1,…,An]+bf (8)
式中：
wf表示特征融合层所包含的64个卷积核大小为1×1的滤波器；
bf表示滤波器对应的偏差向量；
[A0,A1,…,An]表示由原始特征图A0和各AMFE模块提取特征图的叠加组合。
步骤4)影像重建：
直接采用亚像素卷积方法，对特征图Afusion进行处理，获取最终重建的高分辨率遥感影像。

Claims (8)

1.一种基于多尺度特征自适应融合网络的遥感影像超分辨率方法，其特征在于：所述基于多尺度特征自适应融合网络的遥感影像超分辨率方法包括以下步骤：
1)利用滤波器对原始输入的低分辨率遥感影像进行卷积运算，提取原始特征图；
2)通过n个级联的多尺度特征提取模块AMFE对原始特征图的自适应多尺度特征进行提取，得到自适应多尺度特征图；所述多尺度特征提取模块AMFE包括多尺度特征提取单元MFE以及特征门控单元FG；所述多尺度特征提取单元MFE用于对原始特征图进行特征信息的多尺度提取；所述特征门控单元FG对特征信息进行过滤与融合；
3)将步骤1)提取得到的原始特征图和步骤2)获取得到的自适应多尺度特征图进行叠加，利用滤波器对叠加后的图进行卷积运算，实现特征降维与融合；
4)采用亚像素卷积方法，获取最终的超分辨率重建后的遥感影像。
2.根据权利要求1所述的基于多尺度特征自适应融合网络的遥感影像超分辨率方法，其特征在于：所述步骤1)的具体实现方式是：
A0＝w0*ILR+b0 (1)
其中：
ILR是原始输入的低分辨率遥感影像；
A0是从原始输入的低分辨率遥感影像中提取的原始特征图；
w0是对应于卷积层conv中的128个卷积核大小为3×3的滤波器；
b0是表示滤波器对应的偏差向量；
*表示卷积运算。
3.根据权利要求2所述的基于多尺度特征自适应融合网络的遥感影像超分辨率方法，其特征在于：所述步骤2)的具体实现方式是：
Ai＝fMFE(Ai-1)+g(Ai-1) (1≤i≤n) (2)
式中：
fMFE(·)表示利用多尺度特征提取单元MFE对第i-1个AMFE模块输出的特征图进行多尺度特征提取处理；
g(·)表示利用特征门控单元FG对第i-1个AMFE模块输出的特征图进行自适应提取处理；
Ai表示第i个AMFE模块输出的特征图；
Ai-1表示第i-1个AMFE模块输出的特征图；
n表示多尺度特征提取模块AMFE的总数。
4.根据权利要求3所述的基于多尺度特征自适应融合网络的遥感影像超分辨率方法，其特征在于：所述步骤2)中利用多尺度特征提取单元MFE进行多尺度特征提取的具体实现方式是：
a.1)第一层卷积处理：第一层卷积操作定义为：
Figure FDA0002383256340000021
式中：
Ai-1是第i-1个AMFE模块输出的特征图；
Figure FDA0002383256340000022
表示第i个AMFE模块的MFE单元第一层卷积操作中所使用的滤波器；
Figure FDA0002383256340000023
是滤波器对应的偏置向量；
φ(·)表示Relu激活函数；
Figure FDA0002383256340000024
表示第一层卷积处理后输出的特征图；
a.2)第二层卷积处理：通过3种不同大小卷积核的滤波器对
Figure FDA0002383256340000025
进行卷积运算，第二层卷积处理操作表示为：
Figure FDA0002383256340000026
式中：
j表示不同大小卷积核的滤波器种类序号；
Figure FDA0002383256340000027
表示第i个AMFE模块的MFE单元第二层卷积操作中所使用的滤波器；
Figure FDA0002383256340000028
表示第一层卷积处理后输出的特征图；
Figure FDA0002383256340000029
为滤波器对应的偏置向量；
φ(·)表示Relu激活函数；
a.3)特征图组合与降维：将第一层卷积处理输出的特征图
Figure FDA00023832563400000210
和第二层卷积处理输出的特征图
Figure FDA00023832563400000211
Mi 12,Mi 13进行组合，获得3个新的特征图组
Figure FDA00023832563400000212
Figure FDA00023832563400000213
对新生成的3个特征图组分别利用一定数量卷积核大小为1×1的滤波器进行卷积运算实现特征降维，同时学习特征图组内特征图之间的信道相关性，该操作表示为：
Figure FDA00023832563400000214
式中：
Figure FDA00023832563400000215
分别表示所使用3个卷积核大小为1×1的滤波器；
Figure FDA00023832563400000216
分别表示滤波器对应的偏置向量；
Figure FDA0002383256340000031
分别表示处理后所生成的新的特征图；
将处理后所生成的新的特征图再次组合成特征图组
Figure FDA0002383256340000032
再次使用一定数量卷积核大小为1×1的滤波器进行卷积运算进一步提取特征信息，该操作表示为：
Figure FDA0002383256340000033
式中：
Figure FDA0002383256340000034
表示再次使用的卷积核大小为1×1的滤波器；
Figure FDA0002383256340000035
表示滤波器对应的偏置向量；
Figure FDA0002383256340000036
表示再次使用卷积核大小为1×1的滤波器对特征图组
Figure FDA0002383256340000037
进行卷积处理后输出的特征图；
a.4)对步骤a.3)得到的Mi 3进行特征过滤处理，得到新的特征图
Figure FDA0002383256340000038
即为第i-1个AMFE模块输出的特征图Ai-1经过第i个AMFE模块的MFE单元处理后生成的特征图。
5.根据权利要求4所述的基于多尺度特征自适应融合网络的遥感影像超分辨率方法，其特征在于：所述步骤a.4)的具体实现方式是：
a.4.1)avg.pool操作代表计算每个特征图的灰度平均值，通过该操作处理Mi3，生成1×1×256张量；
a.4.2)利用32个1×1滤波器对上步生成的1×1×256张量进行卷积运算，生成1×1×32张量；
a.4.3)利用256个1×1滤波器对上步生成的1×1×32张量进行卷积运算，生成1×1×256张量；
a.4.4)上步生成的1×1×256张量的值，即256个实数，就是Mi3所表示的256个特征图对应的权值，逐一相乘，生成256个新的特征图，尺寸为W×H×256；
a.4.5)利用128个1×1滤波器对上步生成的新的特征图进行卷积运算，生成128个新的特征图
Figure FDA0002383256340000039
6.根据权利要求3或4或5所述的基于多尺度特征自适应融合网络的遥感影像超分辨率方法，其特征在于：所述步骤2)中利用特征门控单元进行自适应提取的具体实现方式是：
b.1)对第i-1个AMFE模块输出的特征图Ai-1，采用avg.pool操作进行处理得到1×1×128张量；
b.2)依次采用16、16和2个1×1滤波器进行卷积运算，并利用Gumbel-softmax方法计算向量V′；
b.3)将第二个元素V[1]定义为门控得分的期望值score(Ai-1)，该期望值score(Ai-1)代表需要保留多少比例的特征信息；当确定门得分的值后，保留的特征信息A′i-1如下：
A′i-1＝score(Ai-1)×Ai-1 (7) 。
7.根据权利要求6所述的基于多尺度特征自适应融合网络的遥感影像超分辨率方法，其特征在于：所述步骤3)的具体实现方式是：
Afusion＝wf*[A0,A1,…,An]+bf (8)
式中：
wf表示特征融合层所包含的64个卷积核大小为1×1的滤波器；
bf表示滤波器对应的偏差向量；
[A0,A1,…,An]表示由原始特征图A0和各AMFE模块提取特征图的叠加组合
Afusion表示经过特征融合处理后输出的特征图。
8.根据权利要求7所述的基于多尺度特征自适应融合网络的遥感影像超分辨率方法，其特征在于：所述步骤4)的具体实现方式是：
直接采用亚像素卷积方法，对特征图Afusion进行处理，获取最终重建的高分辨率遥感影像。
CN202010089566.1A 2020-02-13 2020-02-13 基于多尺度特征自适应融合网络的遥感影像超分辨率方法 Active CN111414988B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010089566.1A CN111414988B (zh) 2020-02-13 2020-02-13 基于多尺度特征自适应融合网络的遥感影像超分辨率方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010089566.1A CN111414988B (zh) 2020-02-13 2020-02-13 基于多尺度特征自适应融合网络的遥感影像超分辨率方法

Publications (2)

Publication Number Publication Date
CN111414988A true CN111414988A (zh) 2020-07-14
CN111414988B CN111414988B (zh) 2023-04-18

Family

ID=71492763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010089566.1A Active CN111414988B (zh) 2020-02-13 2020-02-13 基于多尺度特征自适应融合网络的遥感影像超分辨率方法

Country Status (1)

Country Link
CN (1) CN111414988B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476353A (zh) * 2020-04-07 2020-07-31 中国科学院重庆绿色智能技术研究院 一种引入显著性的gan图像超分辨率方法
CN113609909A (zh) * 2021-07-05 2021-11-05 深圳数联天下智能科技有限公司 苹果肌下垂识别模型训练方法、识别方法及相关装置
CN113643261A (zh) * 2021-08-13 2021-11-12 江南大学 一种基于频率注意网络的胸肺部疾病诊断方法
CN113609909B (zh) * 2021-07-05 2024-05-31 深圳数联天下智能科技有限公司 苹果肌下垂识别模型训练方法、识别方法及相关装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130278261A1 (en) * 2012-04-20 2013-10-24 University Of Virginia Licensing & Ventures Group Systems and methods for regularized reconstructions in mri using side information
CN106886794A (zh) * 2017-02-14 2017-06-23 湖北工业大学 顾及高阶结构特征的异源遥感影像同名点匹配方法
CN107240066A (zh) * 2017-04-28 2017-10-10 天津大学 基于浅层和深层卷积神经网络的图像超分辨率重建算法
CN108550115A (zh) * 2018-04-25 2018-09-18 中国矿业大学 一种图像超分辨率重建方法
CN109389556A (zh) * 2018-09-21 2019-02-26 五邑大学 一种多尺度空洞卷积神经网络超分辨率重构方法及装置
CN109903255A (zh) * 2019-03-04 2019-06-18 北京工业大学 一种基于3d卷积神经网络的高光谱图像超分辨率复原方法
CN110189260A (zh) * 2019-04-15 2019-08-30 浙江大学 一种基于多尺度并行门控神经网络的图像降噪方法
US20200034948A1 (en) * 2018-07-27 2020-01-30 Washington University Ml-based methods for pseudo-ct and hr mr image estimation
CN110738697A (zh) * 2019-10-10 2020-01-31 福州大学 基于深度学习的单目深度估计方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130278261A1 (en) * 2012-04-20 2013-10-24 University Of Virginia Licensing & Ventures Group Systems and methods for regularized reconstructions in mri using side information
CN106886794A (zh) * 2017-02-14 2017-06-23 湖北工业大学 顾及高阶结构特征的异源遥感影像同名点匹配方法
CN107240066A (zh) * 2017-04-28 2017-10-10 天津大学 基于浅层和深层卷积神经网络的图像超分辨率重建算法
CN108550115A (zh) * 2018-04-25 2018-09-18 中国矿业大学 一种图像超分辨率重建方法
US20200034948A1 (en) * 2018-07-27 2020-01-30 Washington University Ml-based methods for pseudo-ct and hr mr image estimation
CN109389556A (zh) * 2018-09-21 2019-02-26 五邑大学 一种多尺度空洞卷积神经网络超分辨率重构方法及装置
CN109903255A (zh) * 2019-03-04 2019-06-18 北京工业大学 一种基于3d卷积神经网络的高光谱图像超分辨率复原方法
CN110189260A (zh) * 2019-04-15 2019-08-30 浙江大学 一种基于多尺度并行门控神经网络的图像降噪方法
CN110738697A (zh) * 2019-10-10 2020-01-31 福州大学 基于深度学习的单目深度估计方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HONG ZHU 等: "Spatio-temporal super-resolution reconstruction of remote-sensing images based on adaptive multi-scale detail enhancement" *
TAO LU 等: "Satellite image super-resolution via multi-scale residual deep neural network" *
徐亮 等: "基于多尺度特征损失函数的图像超分辨率重建" *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476353A (zh) * 2020-04-07 2020-07-31 中国科学院重庆绿色智能技术研究院 一种引入显著性的gan图像超分辨率方法
CN111476353B (zh) * 2020-04-07 2022-07-15 中国科学院重庆绿色智能技术研究院 一种引入显著性的gan图像超分辨率方法
CN113609909A (zh) * 2021-07-05 2021-11-05 深圳数联天下智能科技有限公司 苹果肌下垂识别模型训练方法、识别方法及相关装置
CN113609909B (zh) * 2021-07-05 2024-05-31 深圳数联天下智能科技有限公司 苹果肌下垂识别模型训练方法、识别方法及相关装置
CN113643261A (zh) * 2021-08-13 2021-11-12 江南大学 一种基于频率注意网络的胸肺部疾病诊断方法

Also Published As

Publication number Publication date
CN111414988B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN111105352B (zh) 超分辨率图像重构方法、系统、计算机设备及存储介质
CN110033410B (zh) 图像重建模型训练方法、图像超分辨率重建方法及装置
CN109146784B (zh) 一种基于多尺度生成对抗网络的图像超分辨率重建方法
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN111275618A (zh) 一种基于双支感知的深度图超分辨率重建网络构建方法
CN111861961A (zh) 单幅图像超分辨率的多尺度残差融合模型及其复原方法
CN112686119B (zh) 基于自注意力生成对抗网络的车牌运动模糊图像处理方法
CN111932461A (zh) 一种基于卷积神经网络的自学习图像超分辨率重建方法及系统
CN110930342A (zh) 一种基于彩色图引导的深度图超分辨率重建网络构建方法
CN109035146A (zh) 一种基于深度学习的低质量图像超分方法
CN112634163A (zh) 基于改进型循环生成对抗网络去图像运动模糊方法
CN112288632A (zh) 基于精简esrgan的单图像超分辨率方法及系统
CN111414988B (zh) 基于多尺度特征自适应融合网络的遥感影像超分辨率方法
Li et al. DLGSANet: lightweight dynamic local and global self-attention networks for image super-resolution
CN115100039B (zh) 一种基于深度学习的轻量级图像超分辨率重建方法
CN115526779A (zh) 一种基于动态注意力机制的红外图像超分辨率重建方法
CN115797176A (zh) 一种图像超分辨率重建方法
CN111461978A (zh) 一种基于注意力机制的逐分辨率提升图像超分辨率复原方法
Liu et al. Facial image inpainting using multi-level generative network
CN117315336A (zh) 花粉颗粒识别方法、装置、电子设备及存储介质
CN113658046B (zh) 基于特征分离的超分辨率图像生成方法、装置、设备和介质
Huang et al. Single image super-resolution reconstruction of enhanced loss function with multi-gpu training
CN112308772B (zh) 基于深度学习局部与非局部信息的超分辨率重建方法
CN114529450A (zh) 基于改进深度迭代协作网络的人脸图像超分辨方法
Yang Super resolution using dual path connections

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant