CN111414988A - 基于多尺度特征自适应融合网络的遥感影像超分辨率方法 - Google Patents
基于多尺度特征自适应融合网络的遥感影像超分辨率方法 Download PDFInfo
- Publication number
- CN111414988A CN111414988A CN202010089566.1A CN202010089566A CN111414988A CN 111414988 A CN111414988 A CN 111414988A CN 202010089566 A CN202010089566 A CN 202010089566A CN 111414988 A CN111414988 A CN 111414988A
- Authority
- CN
- China
- Prior art keywords
- feature
- remote sensing
- scale
- sensing image
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000004927 fusion Effects 0.000 title claims abstract description 37
- 238000000605 extraction Methods 0.000 claims abstract description 51
- 238000010586 diagram Methods 0.000 claims abstract description 38
- 230000009467 reduction Effects 0.000 claims abstract description 9
- 239000013598 vector Substances 0.000 claims description 21
- 230000003044 adaptive effect Effects 0.000 claims description 15
- 238000001914 filtration Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 5
- 230000000717 retained effect Effects 0.000 claims description 4
- 238000007499 fusion processing Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 10
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于多尺度特征自适应融合网络的遥感影像超分辨率方法,包括:1)利用滤波器对原始输入的低分辨率遥感影像进行卷积运算,提取原始特征图;2)通过n个级联的多尺度特征提取模块AMFE对原始特征图的自适应多尺度特征进行提取,得到自适应多尺度特征图;3)将原始特征图和自适应多尺度特征图进行叠加,利用滤波器对叠加后的图进行卷积运算,实现特征降维与融合;4)采用亚像素卷积方法,获取最终的超分辨率重建后的遥感影像。本发明提供了一种能够实现遥感影像多尺度特征信息的自适应融合、能够实现遥感影像高分辨率细节信息的高效重建以及改善影像超分辨率重建效果的基于多尺度特征自适应融合网络的遥感影像超分辨率方法。
Description
技术领域
本发明属于测绘科学与技术领域,涉及一种遥感影像超分辨率方法,尤其涉及一种基于多尺度特征自适应融合网络的遥感影像超分辨率方法。
背景技术
影像超分辨率(Image super-resolution,SR)技术,主要是从低分辨率(low-resolution,LR)影像重建视觉上令人愉悦的高分辨率(high-resolution,HR)影像,在计算机视觉领域是一个经典但具有挑战性的问题。高分辨率遥感影像,相比于低分辨率遥感影像,可以提供更为丰富、准确的信息,用途也更为广泛。遥感影像的超分辨率重建,是一种低成本获取高分辨率遥感影像的有效手段,具有重要现实意义。
单幅影像超分辨率重建(Single Image Super-Resolution,SISR)技术,主要分为三类:基于插值,基于重构和基于学习的方法。近年来,随着深度学习理论的快速发展,基于学习的SISR方法逐渐成为主流。1998年,纽约大学的LeCun等人最早将卷积神经网络(Convolutional Neural Network,CNN)用于手写数字识别。CNN具有自动提取特征、权值共享以及网络结构与影像结合良好等优势,为深度学习领域的重要网络之一。
2016年,Dong等人首次将CNN应用于影像超分辨率重建,提出了的SRCNN算法,取得很好的效果。随后,提出计算效率更高的FSRCNN网络,可以直接将原始的低分辨率影像输入网络。针对早期网络属于浅层网络,存在感受野小、特征提取与利用不充分的缺点,Kim提出了具有20层的深度网络VDSR,并通过仅学习低分辨率影像和高分辨率影像之间的残差以加快收敛速度。此外,相关学者提出诸多不同网络结构来提高中间特征信息的利用效果,如DRCN,SRResNet,SRDenseNet和MemNet。密集卷积网络(DenseNet)被提出来避免特征信息的丢失,而不是顺序地将前一层的特征传递到下一层等。
但是,复杂的网络结构并不能保证特征信息的充分利用,相反,冗余的特征信息不仅会造成计算效率的急剧下降,而且会造成真正有用的特征信息被无用信息所“淹没”,进而恶化影像的重建效果。有鉴于此,本发明发明将结合遥感影像超分辨率的特点,重点突出遥感影像中间特征信息的多尺度提取和自适应融合,进而提高遥感影像超分辨率重建的效果。
发明内容
为了解决背景技术中存在的上述技术问题,本发明提供了一种能够实现遥感影像多尺度特征信息的自适应融合、能够实现遥感影像高分辨率细节信息的高效重建以及改善影像超分辨率重建效果的基于多尺度特征自适应融合网络的遥感影像超分辨率方法。
为了实现上述目的,本发明采用如下技术方案:
一种基于多尺度特征自适应融合网络的遥感影像超分辨率方法,其特征在于:所述基于多尺度特征自适应融合网络的遥感影像超分辨率方法包括以下步骤:
1)利用滤波器对原始输入的低分辨率遥感影像进行卷积运算,提取原始特征图;
2)通过n个级联的多尺度特征提取模块AMFE对原始特征图的自适应多尺度特征进行提取,得到自适应多尺度特征图;所述多尺度特征提取模块AMFE包括多尺度特征提取单元MFE以及特征门控单元FG;所述多尺度特征提取单元MFE用于对原始特征图进行特征信息的多尺度提取;所述特征门控单元FG对特征信息进行过滤与融合;
3)将步骤1)提取得到的原始特征图和步骤2)获取得到的自适应多尺度特征图进行叠加,利用滤波器对叠加后的图进行卷积运算,实现特征降维与融合;
4)采用亚像素卷积方法,获取最终的超分辨率重建后的遥感影像。
作为优选,本发明所采用的步骤1)的具体实现方式是:
A0=w0*ILR+b0 (1)
其中:
ILR是原始输入的低分辨率遥感影像;
A0是从原始输入的低分辨率遥感影像ILR中提取的原始特征图;
w0是对应于卷积层conv中的128个卷积核大小为3×3的滤波器;
b0是表示滤波器对应的偏差向量;
*表示卷积运算。
作为优选,本发明所采用的步骤2)的具体实现方式是:
Ai=fMFE(Ai-1)+g(Ai-1) (1≤i≤n) (2)
式中:
fMFE(·)表示利用多尺度特征提取单元MFE对第i-1个AMFE模块输出的特征图进行多尺度特征提取处理;
g(·)表示利用特征门控单元FG对第i-1个AMFE模块输出的特征图进行自适应提取处理;
Ai表示第i个AMFE模块输出的特征图;
Ai-1表示第i-1个AMFE模块输出的特征图;
n表示多尺度特征提取模块AMFE的总数。
作为优选,本发明所采用的步骤2)中利用多尺度特征提取单元MFE进行多尺度特征提取的具体实现方式是:
a.1)第一层卷积处理:第一层卷积操作定义为:
式中:
Ai-1是第i-1个AMFE模块输出的特征图;
φ(·)表示Relu激活函数;
式中:
j表示不同大小卷积核的滤波器种类序号;
φ(·)表示Relu激活函数;
a.3)特征图组合与降维:将第一层卷积处理输出的特征图和第二层卷积处理输出的特征图Mi 12,Mi 13进行组合,获得3个新的特征图组 对新生成的3个特征图组分别利用一定数量卷积核大小为1×1的滤波器进行卷积运算实现特征降维,同时学习特征图组内特征图之间的信道相关性,该操作表示为:
式中:
式中:
作为优选,本发明所采用的步骤a.4)的具体实现方式是:
a.4.2)利用32个1×1滤波器对上步生成的1×1×256张量进行卷积运算,生成1×1×32张量;
a.4.3)利用256个1×1滤波器对上步生成的1×1×32张量进行卷积运算,生成1×1×256张量;
作为优选,本发明所采用的步骤2)中利用特征门控单元进行自适应提取的具体实现方式是:
b.1)对第i-1个AMFE模块输出的特征图Ai-1,采用avg.pool操作进行处理得到1×1×128张量;
b.2)依次采用16、16和2个1×1滤波器进行卷积运算,并利用Gumbel-softmax方法计算向量V′;
b.3)将第二个元素V[1]定义为门控得分的期望值score(Ai-1),该期望值score(Ai-1)代表需要保留多少比例的特征信息;当确定门得分的值后,保留的特征信息A′i-1如下:
A′i-1=score(Ai-1)×Ai-1 (7)
作为优选,本发明所采用的步骤3)的具体实现方式是:
Afusion=wf*[A0,A1,…,An]+bf (8)
式中:
wf表示特征融合层所包含的64个卷积核大小为1×1的滤波器;
bf表示滤波器对应的偏差向量;
[A0,A1,…,An]表示由原始特征图A0和各AMFE模块提取特征图的叠加组合
Afusion表示经过特征融合处理后输出的特征图。
作为优选,本发明所采用的步骤4)的具体实现方式是:
直接采用亚像素卷积方法,对特征图Afusion进行处理,获取最终重建的高分辨率遥感影像。
与现有技术相比,本发明具有以下显著优点和效果:
本发明属于测绘科学与技术领域,提供了一种基于多尺度特征自适应融合网络的遥感影像超分辨率方法,主要包括原始特征提取,自适应多尺度特征提取,特征融合和影像重建四个步骤。本发明综合利用多尺度卷积核滤波器、特征自适应过滤以及特征门控技术,实现遥感影像特征的自适应多尺度特征提取,可以在充分利用影像多尺度特征的同时,有效的减少冗余信息,进而达到有效改善遥感影像超分辨率重建质量的效果。其中,自适应多尺度特征提取是本发明方法的核心步骤,该方法通过多种不同尺寸卷积核的滤波器提取遥感影像在空间和通道两个方向上的局部特征,融合自适应门控机制自动实现无用特征信息的过滤和有用特征信息的保留,并利用所构建的层状结构,实现遥感影像多尺度特征信息的自适应融合,实现遥感影像高分辨率细节信息的高效重建,进而改善影像超分辨率重建效果。
附图说明
图1是本发明所提供的基于多尺度特征自适应融合网络的遥感影像超分辨率方法的总体流程示意图;
图2是自适应多尺度特征提取模块的结构示意图;
图3是特征过滤处理的结构示意图;
图4是特征门控单元的结构示意图。
具体实施方式
本发明提供了一种基于多尺度特征自适应融合网络的遥感影像超分辨率方法,该方法主要包括四个步骤:
1)原始特征提取(Original feature extraction):输入是原始的低分辨率遥感影像,利用一定数量的滤波器对其进行卷积运算,提取原始特征图。
2)自适应多尺度特征提取(Adaptive multi-scale feature extraction):自适应多尺度特征提取由一定数量的级联的多尺度特征提取模块(Adaptive MultiscaleFeature Extraction,AMFE)完成。每个AMFE模块由多尺度特征提取单元(MultiscaleFeature Extraction,MFE)和特征门控单元(Feature Gating,FG)构成。利用MFE进行特征信息的多尺度提取,利用FG对特征信息进行过滤与融合,每个AMFE自适应提取输出一个数量的特征图。自适应多尺度特征提取是本发明方法的核心步骤。该方法通过多种不同尺寸卷积核的滤波器提取遥感影像在空间和通道两个方向上的局部特征,融合自适应门控机制自动实现无用特征信息的过滤和有用特征信息的保留,并利用所构建的层状结构,实现遥感影像多尺度特征信息的自适应融合,实现遥感影像高分辨率细节信息的高效重建,进而改善影像超分辨率重建效果。
3)特征融合(Feature fusion):叠加原始特征图以及各AMFE模块所生成的特征图,利用一定数量的滤波器对其进行卷积运算,实现特征降维与融合。
4)影像重建(Image reconstruction):采用亚像素卷积方法,对特征融合步骤后输出的特征图进行处理,获取最终的超分辨率重建后的遥感影像。
下面结合附图对本发明所提供的技术方案做进一步详细描述:
参见图1,本发明提供了一种基于多尺度特征自适应融合网络的遥感影像超分辨率方法,该方法包括以下详细步骤:
步骤1)原始特征提取(Original feature extraction)
原始特征提取,主要包括:输入原始低分辨率遥感影像,将卷积层conv应用于输入的原始的低分辨率遥感影像,以生成原始特征图:
A0=w0*ILR+b0 (1)
其中:
ILR是原始输入的低分辨率遥感影像;
A0是从原始低分辨率遥感影像中提取的原始特征图;
w0对应于卷积层conv中的128个卷积核大小为3×3的滤波器;
b0表示滤波器对应的偏差向量;
*表示卷积运算。
步骤2)自适应多尺度特征提取(Adaptive Multiscale Feature Extraction)
该步骤利用一定数量的自适应多尺度特征提取模块(AMFE)完成。第i个AMFE模块的输出可以表示为:
Ai=fMFE(Ai-1)+g(Ai-1) (1≤i≤n) (2)
式中:
fMFE(·)表示利用多尺度特征提取单元(MFE)对第i-1个AMFE模块输出的特征图进行操作处理;
g(·)表示利用特征门控单元(FG)对第i-1个AMFE模块输出的特征图进行操作处理;
Ai表示第i个AMFE模块输出的特征图;
Ai-1表示第i-1个AMFE模块输出的特征图;
n表示AMEF模块的总数。
MFE进行多尺度特征提取的结构示意图如图2所示。其具体实现步骤如下:
1)第一层卷积处理:第一层卷积操作可以定义为:
式中:
Ai-1是第i-1个AMFE模块输出的特征图;
φ(·)表示Relu激活函数;
式中:
j表示滤波器种类序号;
3)特征图组合与降维:将第一层卷积处理输出的特征图和第二层卷积处理输出的特征图Mi 12,Mi 13进行组合,获得3个新的特征图组 对新生成的3个特征图组分别利用一定数量卷积核大小为1×1的滤波器进行卷积运算来实现特征降维,同时学习特征图组内特征图之间的信道相关性,该操作可表示为:
式中:
式中:
4)特征过滤(Feature Filtering)处理:特征过滤处理的结构示意图如图3所示。本发明借鉴了“squeeze-and-excitation”方法的思想,其具体实现步骤如下:
b)利用32个1×1滤波器对上步生成的1×1×256张量进行卷积运算,生成1×1×32张量;
c)利用256个1×1滤波器对上步生成的1×1×32张量进行卷积运算,生成1×1×256张量;
特征门控单元FG进行特征自适应提取的结构示意图如图4所示。其具体实现步骤如下:对第i-1个AMFE模块输出的特征图Ai-1,首先采用avg.pool操作进行处理得到1×1×128张量,然后依次采用16、16和2个1×1滤波器进行卷积运算,并利用Gumbel-softmax方法计算向量V′。将第二个元素V[1]定义为门控得分的期望值score(Ai-1),该值代表需要保留多少比例的特征信息。当确定门得分的值后,保留的特征信息A′i-1如下:
A′i-1=score(Ai-1)×Ai-1 (7)
步骤3)特征融合:
在一系列AMFE模块完成特征提取后,在进行遥感影像的超分辨率重建之前,进行特征融合处理。具体可表示为:
Afusion=wf*[A0,A1,…,An]+bf (8)
式中:
wf表示特征融合层所包含的64个卷积核大小为1×1的滤波器;
bf表示滤波器对应的偏差向量;
[A0,A1,…,An]表示由原始特征图A0和各AMFE模块提取特征图的叠加组合。
步骤4)影像重建:
直接采用亚像素卷积方法,对特征图Afusion进行处理,获取最终重建的高分辨率遥感影像。
Claims (8)
1.一种基于多尺度特征自适应融合网络的遥感影像超分辨率方法,其特征在于:所述基于多尺度特征自适应融合网络的遥感影像超分辨率方法包括以下步骤:
1)利用滤波器对原始输入的低分辨率遥感影像进行卷积运算,提取原始特征图;
2)通过n个级联的多尺度特征提取模块AMFE对原始特征图的自适应多尺度特征进行提取,得到自适应多尺度特征图;所述多尺度特征提取模块AMFE包括多尺度特征提取单元MFE以及特征门控单元FG;所述多尺度特征提取单元MFE用于对原始特征图进行特征信息的多尺度提取;所述特征门控单元FG对特征信息进行过滤与融合;
3)将步骤1)提取得到的原始特征图和步骤2)获取得到的自适应多尺度特征图进行叠加,利用滤波器对叠加后的图进行卷积运算,实现特征降维与融合;
4)采用亚像素卷积方法,获取最终的超分辨率重建后的遥感影像。
2.根据权利要求1所述的基于多尺度特征自适应融合网络的遥感影像超分辨率方法,其特征在于:所述步骤1)的具体实现方式是:
A0=w0*ILR+b0 (1)
其中:
ILR是原始输入的低分辨率遥感影像;
A0是从原始输入的低分辨率遥感影像中提取的原始特征图;
w0是对应于卷积层conv中的128个卷积核大小为3×3的滤波器;
b0是表示滤波器对应的偏差向量;
*表示卷积运算。
3.根据权利要求2所述的基于多尺度特征自适应融合网络的遥感影像超分辨率方法,其特征在于:所述步骤2)的具体实现方式是:
Ai=fMFE(Ai-1)+g(Ai-1) (1≤i≤n) (2)
式中:
fMFE(·)表示利用多尺度特征提取单元MFE对第i-1个AMFE模块输出的特征图进行多尺度特征提取处理;
g(·)表示利用特征门控单元FG对第i-1个AMFE模块输出的特征图进行自适应提取处理;
Ai表示第i个AMFE模块输出的特征图;
Ai-1表示第i-1个AMFE模块输出的特征图;
n表示多尺度特征提取模块AMFE的总数。
4.根据权利要求3所述的基于多尺度特征自适应融合网络的遥感影像超分辨率方法,其特征在于:所述步骤2)中利用多尺度特征提取单元MFE进行多尺度特征提取的具体实现方式是:
a.1)第一层卷积处理:第一层卷积操作定义为:
式中:
Ai-1是第i-1个AMFE模块输出的特征图;
φ(·)表示Relu激活函数;
式中:
j表示不同大小卷积核的滤波器种类序号;
φ(·)表示Relu激活函数;
a.3)特征图组合与降维:将第一层卷积处理输出的特征图和第二层卷积处理输出的特征图Mi 12,Mi 13进行组合,获得3个新的特征图组 对新生成的3个特征图组分别利用一定数量卷积核大小为1×1的滤波器进行卷积运算实现特征降维,同时学习特征图组内特征图之间的信道相关性,该操作表示为:
式中:
式中:
5.根据权利要求4所述的基于多尺度特征自适应融合网络的遥感影像超分辨率方法,其特征在于:所述步骤a.4)的具体实现方式是:
a.4.1)avg.pool操作代表计算每个特征图的灰度平均值,通过该操作处理Mi3,生成1×1×256张量;
a.4.2)利用32个1×1滤波器对上步生成的1×1×256张量进行卷积运算,生成1×1×32张量;
a.4.3)利用256个1×1滤波器对上步生成的1×1×32张量进行卷积运算,生成1×1×256张量;
a.4.4)上步生成的1×1×256张量的值,即256个实数,就是Mi3所表示的256个特征图对应的权值,逐一相乘,生成256个新的特征图,尺寸为W×H×256;
6.根据权利要求3或4或5所述的基于多尺度特征自适应融合网络的遥感影像超分辨率方法,其特征在于:所述步骤2)中利用特征门控单元进行自适应提取的具体实现方式是:
b.1)对第i-1个AMFE模块输出的特征图Ai-1,采用avg.pool操作进行处理得到1×1×128张量;
b.2)依次采用16、16和2个1×1滤波器进行卷积运算,并利用Gumbel-softmax方法计算向量V′;
b.3)将第二个元素V[1]定义为门控得分的期望值score(Ai-1),该期望值score(Ai-1)代表需要保留多少比例的特征信息;当确定门得分的值后,保留的特征信息A′i-1如下:
A′i-1=score(Ai-1)×Ai-1 (7) 。
7.根据权利要求6所述的基于多尺度特征自适应融合网络的遥感影像超分辨率方法,其特征在于:所述步骤3)的具体实现方式是:
Afusion=wf*[A0,A1,…,An]+bf (8)
式中:
wf表示特征融合层所包含的64个卷积核大小为1×1的滤波器;
bf表示滤波器对应的偏差向量;
[A0,A1,…,An]表示由原始特征图A0和各AMFE模块提取特征图的叠加组合
Afusion表示经过特征融合处理后输出的特征图。
8.根据权利要求7所述的基于多尺度特征自适应融合网络的遥感影像超分辨率方法,其特征在于:所述步骤4)的具体实现方式是:
直接采用亚像素卷积方法,对特征图Afusion进行处理,获取最终重建的高分辨率遥感影像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010089566.1A CN111414988B (zh) | 2020-02-13 | 2020-02-13 | 基于多尺度特征自适应融合网络的遥感影像超分辨率方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010089566.1A CN111414988B (zh) | 2020-02-13 | 2020-02-13 | 基于多尺度特征自适应融合网络的遥感影像超分辨率方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111414988A true CN111414988A (zh) | 2020-07-14 |
CN111414988B CN111414988B (zh) | 2023-04-18 |
Family
ID=71492763
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010089566.1A Active CN111414988B (zh) | 2020-02-13 | 2020-02-13 | 基于多尺度特征自适应融合网络的遥感影像超分辨率方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111414988B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111476353A (zh) * | 2020-04-07 | 2020-07-31 | 中国科学院重庆绿色智能技术研究院 | 一种引入显著性的gan图像超分辨率方法 |
CN113609909A (zh) * | 2021-07-05 | 2021-11-05 | 深圳数联天下智能科技有限公司 | 苹果肌下垂识别模型训练方法、识别方法及相关装置 |
CN113643261A (zh) * | 2021-08-13 | 2021-11-12 | 江南大学 | 一种基于频率注意网络的胸肺部疾病诊断方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130278261A1 (en) * | 2012-04-20 | 2013-10-24 | University Of Virginia Licensing & Ventures Group | Systems and methods for regularized reconstructions in mri using side information |
CN106886794A (zh) * | 2017-02-14 | 2017-06-23 | 湖北工业大学 | 顾及高阶结构特征的异源遥感影像同名点匹配方法 |
CN107240066A (zh) * | 2017-04-28 | 2017-10-10 | 天津大学 | 基于浅层和深层卷积神经网络的图像超分辨率重建算法 |
CN108550115A (zh) * | 2018-04-25 | 2018-09-18 | 中国矿业大学 | 一种图像超分辨率重建方法 |
CN109389556A (zh) * | 2018-09-21 | 2019-02-26 | 五邑大学 | 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 |
CN109903255A (zh) * | 2019-03-04 | 2019-06-18 | 北京工业大学 | 一种基于3d卷积神经网络的高光谱图像超分辨率复原方法 |
CN110189260A (zh) * | 2019-04-15 | 2019-08-30 | 浙江大学 | 一种基于多尺度并行门控神经网络的图像降噪方法 |
US20200034948A1 (en) * | 2018-07-27 | 2020-01-30 | Washington University | Ml-based methods for pseudo-ct and hr mr image estimation |
CN110738697A (zh) * | 2019-10-10 | 2020-01-31 | 福州大学 | 基于深度学习的单目深度估计方法 |
-
2020
- 2020-02-13 CN CN202010089566.1A patent/CN111414988B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130278261A1 (en) * | 2012-04-20 | 2013-10-24 | University Of Virginia Licensing & Ventures Group | Systems and methods for regularized reconstructions in mri using side information |
CN106886794A (zh) * | 2017-02-14 | 2017-06-23 | 湖北工业大学 | 顾及高阶结构特征的异源遥感影像同名点匹配方法 |
CN107240066A (zh) * | 2017-04-28 | 2017-10-10 | 天津大学 | 基于浅层和深层卷积神经网络的图像超分辨率重建算法 |
CN108550115A (zh) * | 2018-04-25 | 2018-09-18 | 中国矿业大学 | 一种图像超分辨率重建方法 |
US20200034948A1 (en) * | 2018-07-27 | 2020-01-30 | Washington University | Ml-based methods for pseudo-ct and hr mr image estimation |
CN109389556A (zh) * | 2018-09-21 | 2019-02-26 | 五邑大学 | 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 |
CN109903255A (zh) * | 2019-03-04 | 2019-06-18 | 北京工业大学 | 一种基于3d卷积神经网络的高光谱图像超分辨率复原方法 |
CN110189260A (zh) * | 2019-04-15 | 2019-08-30 | 浙江大学 | 一种基于多尺度并行门控神经网络的图像降噪方法 |
CN110738697A (zh) * | 2019-10-10 | 2020-01-31 | 福州大学 | 基于深度学习的单目深度估计方法 |
Non-Patent Citations (3)
Title |
---|
HONG ZHU 等: "Spatio-temporal super-resolution reconstruction of remote-sensing images based on adaptive multi-scale detail enhancement" * |
TAO LU 等: "Satellite image super-resolution via multi-scale residual deep neural network" * |
徐亮 等: "基于多尺度特征损失函数的图像超分辨率重建" * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111476353A (zh) * | 2020-04-07 | 2020-07-31 | 中国科学院重庆绿色智能技术研究院 | 一种引入显著性的gan图像超分辨率方法 |
CN111476353B (zh) * | 2020-04-07 | 2022-07-15 | 中国科学院重庆绿色智能技术研究院 | 一种引入显著性的gan图像超分辨率方法 |
CN113609909A (zh) * | 2021-07-05 | 2021-11-05 | 深圳数联天下智能科技有限公司 | 苹果肌下垂识别模型训练方法、识别方法及相关装置 |
CN113609909B (zh) * | 2021-07-05 | 2024-05-31 | 深圳数联天下智能科技有限公司 | 苹果肌下垂识别模型训练方法、识别方法及相关装置 |
CN113643261A (zh) * | 2021-08-13 | 2021-11-12 | 江南大学 | 一种基于频率注意网络的胸肺部疾病诊断方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111414988B (zh) | 2023-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111105352B (zh) | 超分辨率图像重构方法、系统、计算机设备及存储介质 | |
CN110136062B (zh) | 一种联合语义分割的超分辨率重建方法 | |
CN111275618A (zh) | 一种基于双支感知的深度图超分辨率重建网络构建方法 | |
CN111414988B (zh) | 基于多尺度特征自适应融合网络的遥感影像超分辨率方法 | |
CN111861961A (zh) | 单幅图像超分辨率的多尺度残差融合模型及其复原方法 | |
CN110211035A (zh) | 融合互信息的深度神经网络的图像超分辨率方法 | |
CN111932461A (zh) | 一种基于卷积神经网络的自学习图像超分辨率重建方法及系统 | |
Li et al. | Dlgsanet: lightweight dynamic local and global self-attention networks for image super-resolution | |
CN112686119B (zh) | 基于自注意力生成对抗网络的车牌运动模糊图像处理方法 | |
CN110930342A (zh) | 一种基于彩色图引导的深度图超分辨率重建网络构建方法 | |
CN109035146A (zh) | 一种基于深度学习的低质量图像超分方法 | |
CN110930306A (zh) | 一种基于非局部感知的深度图超分辨率重建网络构建方法 | |
CN111461978A (zh) | 一种基于注意力机制的逐分辨率提升图像超分辨率复原方法 | |
CN113592715A (zh) | 一种面向小样本图像集的超分辨率图像重构方法 | |
CN115100039B (zh) | 一种基于深度学习的轻量级图像超分辨率重建方法 | |
CN115526779A (zh) | 一种基于动态注意力机制的红外图像超分辨率重建方法 | |
CN115797176A (zh) | 一种图像超分辨率重建方法 | |
CN118365543A (zh) | 一种基于改进EnlightenGAN的裂缝图像阴影去除方法 | |
Liu et al. | LG-DBNet: Local and Global Dual-Branch Network for SAR Image Denoising | |
CN117036171A (zh) | 单幅图像的蓝图可分离残差平衡蒸馏超分辨率重建模型及方法 | |
CN117315336A (zh) | 花粉颗粒识别方法、装置、电子设备及存储介质 | |
Huang et al. | Single image super-resolution reconstruction of enhanced loss function with multi-gpu training | |
CN113658046B (zh) | 基于特征分离的超分辨率图像生成方法、装置、设备和介质 | |
CN112308772B (zh) | 基于深度学习局部与非局部信息的超分辨率重建方法 | |
Yang | Super resolution using dual path connections |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |