CN111353424B - 深度递归残差网络的遥感图像空谱融合方法和电子设备 - Google Patents
深度递归残差网络的遥感图像空谱融合方法和电子设备 Download PDFInfo
- Publication number
- CN111353424B CN111353424B CN202010125011.8A CN202010125011A CN111353424B CN 111353424 B CN111353424 B CN 111353424B CN 202010125011 A CN202010125011 A CN 202010125011A CN 111353424 B CN111353424 B CN 111353424B
- Authority
- CN
- China
- Prior art keywords
- residual
- image
- network
- remote sensing
- recursion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001228 spectrum Methods 0.000 title claims abstract description 42
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 86
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims abstract description 11
- 230000004927 fusion Effects 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 24
- 238000012952 Resampling Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 10
- 230000015654 memory Effects 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000005520 cutting process Methods 0.000 claims description 7
- 238000012546 transfer Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 2
- 238000013461 design Methods 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 13
- 238000013528 artificial neural network Methods 0.000 description 9
- 238000011156 evaluation Methods 0.000 description 7
- 230000000306 recurrent effect Effects 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 6
- 238000007796 conventional method Methods 0.000 description 5
- 238000004088 simulation Methods 0.000 description 5
- 230000008034 disappearance Effects 0.000 description 4
- 238000004880 explosion Methods 0.000 description 4
- 238000011158 quantitative evaluation Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种深度递归残差网络的遥感图像空谱融合方法和电子设备，其中的方法包括：(a)对多张原始遥感图像进行处理生成数据集；(b)构建深度递归残差网络模型；(c)利用所述步骤(a)中得到的所述数据集对所述步骤(b)中得到的所述深度递归残差网络模型进行训练，得到完成训练的深度递归残差网络模型；(d)利用所述完成训练的深度递归残差网络模型对待融合遥感图像进行融合得到融合图像。本发明能够利用残差网络和递归网络的优势，通过端到端的网络设计，学习到深层次网络丰富的图像特征，在提高空间分辨率的同时尽可能地保留原始低分辨率多光谱图像的光谱信息，而且很好地改善了传统方法存在的光谱失真现象。
Description
技术领域
本发明涉及遥感图像融合领域，具体涉及一种深度递归残差网络的遥感图像空谱融合方法和电子设备。
背景技术
在遥感领域，随着成像系统和卫星技术的发展，发射的卫星数量越来越多，获得的卫星图像数据也越来越多。为了更全面地分析卫星采集到的图像，就需要运用到遥感图像融合技术。目前常见的光学卫星通常会提供两种类型的遥感图像：光谱信息丰富但空间分辨率低的多光谱图像(Multispectral Image,MS)和空间细节丰富但只有灰度信息的全色图像(Panchromatic Image,PAN)。
目前，传统的图像融合方法已获得丰富的研究成果，主要包括成分替换法和多分辨率分析法，但由于传统的方法将融合过程简单地模拟成线性模型，所以最终的融合结果往往会存在光谱失真现象。随着计算机视觉技术的发展，最近出现了基于深度学习的图像融合研究，但目前这方面的研究并不多。深度学习通过引入激活函数形成高度非线性转换，可以在一定程度上改善传统方法的效果。在现有的基于深度学习的图像融合研究中，有些是某个步骤用了深度学习，然后再结合传统融合方法，没有完全摆脱传统融合方法的局限，不能实现端到端的图像融合过程；有些端到端的网络还存在网络层次较浅不能提取到更深层次的图像特征、直接学习输入到输出的关系导致网络学习困难、模型较大导致测试困难等问题。
发明内容
本发明旨在提供一种深度递归残差网络的遥感图像空谱融合方法、电子设备，以解决改善传统图像融合方法存在光谱失真，现有深度学习融合方法的网络比较简单难以学习到深层次的特征的技术问题，本发明提供的上述方法适用于全色图像和多光谱图像空谱融合中，具有较好的融合效果。
本发明实现上述目的的技术方案为：一种深度递归残差网络的遥感图像空谱融合方法，包括以下步骤：
(a)生成数据集：获取多张原始遥感图像并对多张原始遥感图像进行处理，得到多个具有对应关系的低分辨率图像块和原始多光谱图像块，其中每一所述遥感图像包括多光谱图像和全色图像；
(b)构建深度递归残差网络模型，包括：
(b1)在残差网络学习模型中的恒等分支使用全局残差学习；在残差网络模型中的残差分支中构造包括多个局部残差单元的递归块以得到递归残差学习分支；
(b2)所述恒等分支使用的全局残差和所述递归残差学习分支中包含的局部残差同时用于学习低空间分辨率多光谱图像与高空间分辨率多光谱图像之间的残差；将所述恒等分支和所述递归残差学习分支的学习结果相融合后得到融合图像；由此得到深度递归残差网络模型；
(c)利用所述步骤(a)中得到的数据集对所述步骤(b)中得到的所述深度递归残差网络模型进行训练，得到完成训练的深度递归残差网络模型；
(d)利用所述完成训练的深度递归残差网络模型对待融合遥感图像进行融合得到融合图像。
可选地，上述的深度递归残差网络的遥感图像空谱融合方法中，在所述步骤(b1)中，在所述递归残差学习分支中，通过在所述残差分支构建递归块增加残差分支的网络层数，其中残差分支中的多个网络层之间具有相同的权重参数。
可选地，上述的深度递归残差网络的遥感图像空谱融合方法中，在所述步骤(b)中得到的深度递归残差网络模型的步骤中：
一层网络的残差网络学习模型的数据前向传递过程如公式(I)所示:
xl+1＝F(xl,wl)+xl (I)
其中，xl为恒等分支，F(xl,wl)为一层网络的残差分支输出，xl+1为一层网络的网络输出。
可选地，上述的深度递归残差网络的遥感图像空谱融合方法中，在所述步骤(b)中得到的深度递归残差网络模型的步骤中：
L层网络的残差网络学习模型的数据前向传递过程如公式(II)所示：
其中，xi为第i层网络的恒等分支，wi为第i层网络的权重参数，
为残差分支输出，xL为网络输出；
梯度反向传递的过程如公式(III)所示，
其中，
表示损失函数到达中间层L的梯度；1表示恒等分支可以无损地传播梯度；/>
表示残差梯度，其需要经过带权重的网络层，且残差梯度不会恰好为-1。
可选地，上述的深度递归残差网络的遥感图像空谱融合方法中，在所述步骤(b)中得到的深度递归残差网络模型的步骤中：
所示公式(II)中的残差分支
中，使用多个局部残差单元堆叠在一起，且多个局部残差单元之间共享权重。
可选地，上述的深度递归残差网络的遥感图像空谱融合方法中，在所述步骤(b2)中得到的深度递归残差网络模型的步骤中：
将所述恒等分支和所述递归残差学习分支的学习结果相融合的过程如公式(IV)表示：
其中，k表示波段数，
表示上采样到与PAN具有相同空间分辨率的MS图像，/>
表示融合图像，Dk表示MS图像第k个波段空间细节信息的补充。
可选地，上述的深度递归残差网络的遥感图像空谱融合方法中，在所述步骤c中：
对所述深度递归残差网络模型进行训练的过程使用随机梯度下降和反向传播，约束损失函数最优化网络结果，得到完成训练的深度递归残差网络模型；其中：
损失函数通过公式(V)表示：
其中，Loss表示损失结果，Hn表示深度递归残差网络模型最后一层网络的输出结果，Gt表示原始遥感图像的真实值。
可选地，上述的深度递归残差网络的遥感图像空谱融合方法中，所述步骤(a)中对多张原始遥感图像进行处理的步骤包括：
对多张原始遥感图像依次进行图像预处理、重采样处理、重叠剪裁处理和格式转换处理；其中：
所述图像预处理步骤包括正射校正和影像配准处理；
所述重采样处理包括：全色图像下采样，多光谱图像先下采样再上采样；
所述重叠剪裁处理包括：将经过图像预处理后的原始多光谱遥感图像裁剪为32像素×32像素大小的图像块作为原始多光谱图像块，相邻图像块的重叠率为50％±10％；将经过图像预处理和重采样处理后的遥感图像裁剪为32像素×32像素大小的图像块作为低分辨率图像块，相邻图像块的重叠率为50％±10％；
所述格式转换处理包括将所述低分辨率图像块和原始多光谱图像块转换成HDF5Data类型的.h5文件，所述.h5文件包括data部分和label部分，data部分包括低分辨率图像块，label部分包括原始多光谱图像块。
基于同一发明构思，本发明还提供一种计算机可读存储介质，其特征在于，所述存储介质中存储有程序指令，计算机读取所述程序指令后执行以上任一项方案所述的深度递归残差网络的遥感图像空谱融合方法。
基于同一发明构思，本发明还提供一种电子设备，包括至少一个处理器和至少一个存储器：至少一个所述存储器中存储有程序指令，至少一个所述处理器读取所述程序指令后执行以上任一项方案所述的深度递归残差网络的遥感图像空谱融合方法。
本发明提供的以上技术方案，与现有技术相比，至少具有如下有益效果：本发明中的方案通过设计深层次递归残差网络学习模型，利用残差网络学习低空间分辨率多光谱图像与高空间分辨率多光谱图像之间的残差，加快网络的收敛速度，同时残差网络可以很好地解决深层次网络容易出现的梯度消失和梯度爆炸问题；利用递归神经网络在不增加权重参数、减轻过拟合的情况下通过提高网络层数来提高精度，通过端到端的网络设计，得到更好的图像融合效果。应用本发明提供的上述方案对遥感图像进行模拟实验和真实实验，并将上述方案泛化到其他的卫星数据上，实验结果与传统方法和现有深度学习方法进行对比，通过主观视觉分析和客观定量评价表明，上述方案很好地改善了传统方法存在的光谱失真现象，并且较现有深度学习方法学习到更深层次丰富的图像特征，更好地保留了图像空谱信息，同时泛化实验也说明本发明中的方案具有较好的泛化能力。
附图说明
图1为本发明一个实施例所述深度递归残差网络的遥感图像空谱融合的流程图；
图2为本发明中一个实施例所述的数据集制作的过程图；
图3为本发明中一个实施例所述数据集制作过程中重采样的过程图；
图4为本发明中一个实施例所述残差网络的结构示意图；
图5为本发明中一个实施例所述局部残差结构的示意图；
图6为本发明中一个实施例所述递归神经网络结构的示意图；
图7为本发明中一个实施例所述递归残差网络结构的整体示意图；
图8为本发明实施例方法与传统PNN、DRPNN的性能及模型大小比较结果的示意图；
图9本发明一个实施例所述电子设备的硬件连接结构示意图。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述。在本发明的描述中，需要说明的是，本发明以下实施例中的各个方案只要不彼此冲突，则可以根据实际需要进行组合。
实施例1
本实施例提供一种深度递归残差网络的遥感图像空谱融合方法，如图1所示，包括以下步骤：
(a)生成数据集：获取多张原始遥感图像并对多张原始遥感图像进行处理，得到多个具有对应关系的低分辨率图像块和原始多光谱图像块，其中每一所述遥感图像包括多光谱图像和全色图像；
(b)构建深度递归残差网络模型，包括：
(b1)在残差网络学习模型中的恒等分支使用全局残差学习；在残差网络模型中的残差分支中构造包括多个局部残差单元的递归块以得到递归残差学习分支。
(b2)所述恒等分支使用的全局残差和所述递归残差学习分支中包含的局部残差同时用于学习低空间分辨率多光谱图像与高空间分辨率多光谱图像之间的残差；将所述恒等分支和所述递归残差学习分支的学习结果相融合后得到融合图像；由此得到深度递归残差网络模型。
(c)利用所述步骤(a)中得到的数据集对所述步骤(b)中得到的所述深度递归残差网络模型进行训练，得到完成训练的深度递归残差网络模型。
(d)利用所述完成训练的深度递归残差网络模型对待融合遥感图像进行融合得到融合图像。
以上步骤(a)，参考图2，其包括：
a1:对多张原始遥感图像依次进行图像预处理,所述图像预处理步骤包括正射校正和影像配准处理；
a2:重采样处理，包括：全色图像下采样，多光谱图像先下采样再上采样；
a3:重叠剪裁处理,包括将经过图像预处理后的原始多光谱遥感图像裁剪为32像素×32像素大小的图像块作为原始多光谱图像块，相邻图像块的重叠率为50％±10％；将经过图像预处理和重采样处理后的遥感图像裁剪为32像素×32像素大小的图像块作为低分辨率图像块，相邻图像块的重叠率为50％±10％；本步骤中需要注意的是，原始多光谱图像块和低分辨率图像块具有严格的对应关系，所述对应关系是指裁剪时基于相同的起点位置、终点位置和相同的重叠率进行；
a4:格式转换处理,包括将所述低分辨率图像块和原始多光谱图像块转换成HDF5Data类型的.h5文件，所述.h5文件包括data部分和label部分，data部分包括低分辨率图像块，label部分包括原始多光谱图像块。
图3为上述步骤a2中重采样的过程图，由于没有理想的高分辨率融合多光谱图像，根据“高分辨率融合多光谱图像经过同样的光学退化过程得到与其同样大小的合成低分辨率多光谱图像，则两图像之间满足各波段图像的一致性”的准则，本发明对多光谱图像进行先下采样再上采样以及对全色图像进行下采样之后作为网络的输入，原始的多光谱图像作为理想的高分辨融合多光谱图像。
图4为残差网络的结构示意图，如图3所示，残差网络由残差分支F(xl，wl)和恒等分支xl组成，恒等分支可以无损地反向传播梯度，很好地解决了梯度消失和梯度爆炸的问题。同时深层次网络也可能会出现难以收敛、性能下降的问题。残差网络不同于一般网络直接学习输入到输出之间的关系，而是学习输入和输出之间分布稀疏的残差，因此网络训练过程中寻找最优参数时也会变得更快更容易，加快网络收敛的速度，很好地解决性能下降的问题。具体地：
一层残差网络其数据前向传递过程为公式(I):
F(xl,wl)+xl (I)
其中，xl为网络输入即恒等分支，F(xl,wl)为残差分支输出，xl+1为网络输出。
多层残差网络其数据前向传递过程可以表示为公式(II)，
其中，xi为第i层网络输入即恒等分支，wi为第i层权重参数，
为残差分支输出，xL为网络输出。
梯度反向传递的过程为可以表示为公式(III)，
其中，
表示损失函数到达中间层L的梯度；1表示恒等分支可以无损地传播梯度；/>
表示残差梯度，其需要经过带权重的层，而且残差梯度不会恰好为-1，从而保证深层次网络不会出现梯度消失的问题。从式(III)可以看出，残差网络将一般链式求导中的连乘变成了连加状态，从而保证深层次网络不会出现梯度爆炸的问题。
步骤(c)中图像融合的方式可以用数学公式概括为公式(IV)，
其中，k表示波段数，
表示上采样到与PAN具有相同空间分辨率的MS图像，/>
表示融合图像，Dk表示MS图像第k个波段空间细节信息的补充。
由于输入的低空间分辨率
和要得到的高空间分辨率/>
在很大程度共享低频信息，Dk部分的空间分布是稀疏的，因此寻找网络中权重项与偏置项{W,b}的最优分配会变得更快更容易，加快网络的收敛速度，提高网络性能。
图5为局部残差结构的示意图，如图所示，多个局部残差单元堆叠在一起，这种多路径模式更加有利于网络学习。网络输入第一个局部残差网络单元，经过两次卷积，得到的结果与网络输入相加作为下一个局部残差单元的输入，整个递归块中局部残差单元的学习过程可以表示为公式(VI)、(VII)和(VIII)：
H2i＝(W2i*Ei-1+b2i),i＝1,2,...,10； (VI)
其中，i＝1时，E0＝H1。
H2i+1＝(W2i+1*H2i+b2i+1),i＝1,2,...,10； (VII)
Ei＝H2i+1+H1,i＝1,2,...,10； (VIII)
式中H1表示网络输入，i表示局部残差块的循环次数，Ei表示经过第i次循环后的结果H2i+1与H1之和，经过实验确定本实施例局部残差网络结构循环10次得到E10。
图6为递归神经网络结构的示意图，在递归块中，多个局部残差单元之间共享权重，利用递归神经网络在不增加权重参数、减轻过拟合的情况下通过提高网络层数来提高精度。如图所示，在这一整个递归过程中，每个局部残差块中对应的卷积层之间共享权值，这样大大减少了参数的个数。
图7为递归残差网络结构的整体示意图，利用数据集对网络参数进行预训练及微调，整个过程使用随机梯度下降和反向传播，约束损失函数最优化网络结果，得到训练的网络模型。
通过图5的局部残差网络结构和图6的递归神经网络结构之后，将E10经过一次卷积操作得到bands+1个通道的输出H22，H22与网络输入数据相加再经过卷积得到最终bands个通道的输出H23，然后用H23与地面真实值比较，损失函数表示为公式(V)：
其中，H23表示网络最后一层输出结果，Gt表示地面真实值。
另外，关于深度递归残差网络模型中网络层数的确定方式，发明人实验了11,13,15,17,19,21,23,25层网络。选取四种图像融合的评价指标Q8(Q-index)、全局相对光谱损失(Erreur Relative Globale Adimensionnelle de Synthèse,ERGAS)、光谱角映射(Spectral Angle Mapper,SAM)和通用图像质量指数(Universal Image Quality Index,Q)对融合结果进行评价，发现网络层数在23层以下时，随着网络层数的增加，所得到的融合结果也在变好，当从第23层增加到第25层时，出现了下降的趋势。所以本实施例中的网络层数最终确定为23层。
以下结合四个应用场景对本实施例中以上技术方案进行说明，以下具体示例中所应用的处理平台为：网络模型的训练在Linux系统下的caffe框架下完成，使用GPU加速。处理器为Intel(R)Xeon(R)CPU E5620@2.40GHz，显卡为NVIDIA GeForce GTX 1080Ti。网络模型的测试是基于matconvnet框架，在MATLAB R2016a上实现，处理器为Intel Core i5-4590CPU@3.30GHz，4GB内存。
应用实例一：
数据库构成：所用遥感图像为4波段高分一号多光谱图像和全色图像(多光谱图像分辨率为8m，全色图像分辨率为2m)，待融合图像为模拟的32m分辨率多光谱图像和8m分辨率全色图像，参考图像为原始的8m分辨率多光谱图像。
利用本实施例以上方案对待融合图像进行融合后通过主观视觉可以看出，本方案得到的融合结果较传统图像融合方法BDSD、Brovery、GS、IHS、PCA、PRACS、MTF_GLP、AWLP、Indusion和HPF很好地改善了光谱失真的现象，较现有深度学习方法PNN和DRPNN更好地保留了图像空间细节信息。参考表1，通过客观定量评价，在Q、Q4、ERGAS、SAM和SCC这些指标上，本方案的结果优于以上传统方法和现有深度学习方法。
表1模拟实验(4波段GF-1数据)的客观评价指标
| Q | Q4 | SAM | ERGAS | SCC | Time(s，C | |
| Brovery方法 | 0.6098 | 0.6189 | 3.0542 | 5.0532 | 0.4364 | 0.0089 |
| PRACS方法 | 0.8339 | 0.7270 | 3.1751 | 3.0784 | 0.6833 | 0.1115 |
| BDSD方法 | 0.6887 | 0.6245 | 4.7532 | 5.3378 | 0.4189 | 0.0754 |
| GS方法 | 0.5582 | 0.6756 | 5.9082 | 5.9536 | 0.3882 | 0.0166 |
| IHS方法 | 0.5992 | 0.6635 | 3.6688 | 5.1066 | 0.4437 | 0.0081 |
| PCA方法 | 0.4428 | 0.6302 | 8.7647 | 7.1554 | 0.3691 | 0.0633 |
| AWLP方法 | 0.6940 | 0.6232 | 3.3639 | 4.7713 | 0.4126 | 0.0826 |
| HPF方法 | 0.6896 | 0.6614 | 3.6470 | 4.8157 | 0.4010 | 0.0238 |
| Indusion方法 | 0.6550 | 0.6260 | 4.0716 | 5.4726 | 0.4399 | 0.0460 |
| PNN方法 | 0.9427 | 0.8128 | 2.3233 | 1.7967 | 0.9179 | 1.0391 |
| DRPNN方法 | 0.9643 | 0.8500 | 1.9150 | 1.4065 | 0.9495 | 15.0245 |
| 本实施例方法 | 0.9687 | 0.8598 | 1.7793 | 1.3746 | 0.9543 | 8.0379 |
应用实例二：
数据构成：所用图像为8波段WordView-2多光谱图像和全色图像(多光谱图像分辨率为1.6m，全色图像分辨率为0.4m)，待融合图像为模拟的6.4m分辨率多光谱图像和1.6m分辨率全色图像，参考图像为原始的1.6m分辨率多光谱图像。
利用本实施例以上方案对待融合图像进行融合后通过主观视觉可以看出，本方案得到的融合结果较传统图像融合方法BDSD、Brovery、GS、IHS、PCA、PRACS、MTF_GLP、AWLP、Indusion和HPF很好地改善了光谱失真的现象，较现有深度学习方法PNN和DRPNN更好地保留了图像空间细节信息。参考表2，通过客观定量评价，在Q、Q4、ERGAS、SAM和SCC这些指标上，本实施例方法的结果优于以上传统方法和现有深度学习方法。
表2模拟实验(8波段WV-2数据)的客观评价指标
| Q | Q8 | SAM | ERGAS | SCC | Time(s，C | |
| Brovery方法 | 0.8153 | 0.6159 | 7.2942 | 5.1912 | 0.8496 | 0.0077 |
| PRACS方法 | 0.8276 | 0.6261 | 7.1332 | 5.0219 | 0.7942 | 0.2593 |
| BDSD方法 | 0.8077 | 0.6293 | 10.3718 | 6.0708 | 0.8022 | 0.0997 |
| GS方法 | 0.8146 | 0.6201 | 7.3551 | 5.1609 | 0.8489 | 0.0275 |
| IHS方法 | 0.8113 | 0.6139 | 7.6165 | 5.2704 | 0.8315 | 0.0057 |
| PCA方法 | 0.6896 | 0.5874 | 9.2769 | 6.4999 | 0.7630 | 0.0641 |
| AWLP方法 | 0.8754 | 0.6786 | 6.9507 | 4.4697 | 0.8506 | 0.1529 |
| HPF方法 | 0.8726 | 0.6553 | 6.9346 | 4.3994 | 0.8528 | 0.0431 |
| Indusion方法 | 0.8573 | 0.6645 | 7.3557 | 4.7793 | 0.8405 | 0.0890 |
| PNN方法 | 0.9436 | 0.7703 | 4.6886 | 2.7857 | 0.9503 | 1.2558 |
| DRPNN方法 | 0.9484 | 0.7826 | 4.4543 | 2.6368 | 0.9572 | 15.1767 |
| 本实施例方法 | 0.9511 | 0.7875 | 4.2992 | 2.5599 | 0.9609 | 8.3287 |
应用实例三：
数据构成：所用图像为4波段高分一号多光谱图像和全色图像(多光谱图像分辨率为8m，全色图像分辨率为2m)，待融合图像为真实的8m分辨率多光谱图像和2m分辨率全色图像。
利用本实施例以上方案对待融合图像进行融合后通过主观视觉可以看出，本方案得到的融合结果较传统图像融合方法Brovery、GS、IHS、PCA、MTF_GLP、AWLP、Indusion和HPF很好地改善了光谱失真的现象，较传统图像融合方法BDSD和PRACS以及现有深度学习方法PNN和DRPNN更好地保留了图像空间细节信息。如表3所示的结果显示，通过客观定量评价，在QNR、Dλ和Ds这些指标上，本方案的结果优于以上传统方法和现有深度学习方法。
表3真实实验(4波段GF-1数据)的客观评价指标
应用实例四：
数据构成：所用图像为8波段WordView-2多光谱图像和全色图像(多光谱图像分辨率为1.6m，全色图像分辨率为0.4m)，待融合图像为真实的1.6m分辨率多光谱图像0.4m分辨率全色图像。
利用本实施例以上方案对待融合图像进行融合后通过主观视觉可以看出，本方案得到的融合结果较传统图像融合方法Brovery、GS、IHS、PCA、MTF_GLP、BDSD、Indusion和HPF很好地改善了光谱失真的现象，较传统图像融合方法AWLP和PRACS以及现有深度学习方法PNN和DRPNN更好地保留了图像空间细节信息。如表4所示，通过客观定量评价，在QNR、Dλ和Ds这些指标上，本发明方法的结果优于以上传统方法和现有深度学习方法。
表4真实实验(8波段WV-2数据)的客观评价指标
针对本方案中的基于深度学习的遥感图像融合方法，从表1至表4的时间性能评价结果可以看出，以评价指标Q为例，比较PNN、DRPNN和本方案提出方法在该评价指标上的表现与模型大小的关系(如图8所示)，可以看出本方法虽然较PNN方法的模型大，但是精度却有了很大的提升，较DRPNN方法不仅减小了模型大小，而且提高了模型精度，在精度-模型大小(时耗)问题上得到了很好的平衡。针对以上现象，分析其原因，本方案23层的网络相较于PNN的3层网络在层数增加的同时，带入了更多的网络参数，增大了网络模型，从而也就减慢了网络的运行速度。相较于DRPNN的11层网络虽然也增加了网络层数，但是采用3×3的卷积核，以及利用递归神经网络参数共享的特点减少了我们深层次网络的模型大小，同时残差网络使得我们的深层次网络得到了很好的训练。
实施例2
本实施例提供一种计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序被计算机执行后实现实施例1中任一技术方案所述的深度递归残差网络的遥感图像空谱融合方法。
实施例3
本实施例提供一种电子设备，如图9所示，包括至少一个处理器901和至少一个存储器902，至少一个所述存储器902中存储有指令信息，至少一个所述处理器901读取所述程序指令后可执行实施例1中任一方案所述的深度递归残差网络的遥感图像空谱融合方法。
上述装置还可以包括：输入装置903和输出装置904。处理器901、存储器902、输入装置903和输出装置904可以通过总线或者其他方式连接。上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例1所提供的方法。
本发明以上实施例提供的方案，解决了目前的大多数传统图像融合方法存在光谱失真、现有基于深度学习的图像融合方法直接学习输入到输出困难、不能够端到端、网络较浅等问题。本发明以上方案基于残差网络和递归神经网络提出了一种深层次端到端的遥感图像空谱融合网络---深度递归残差网络DRRPN。利用残差网络学习图像中稀疏的高频信息部分，加快了网络的收敛速度，同时在加深网络层次的同时，也避免了出现梯度消失和梯度爆炸问题。利用递归神经网络中参数共享的特点，解决了深层次的网络因为更多的参数以及更大的内存消耗而运行困难的问题，在不增加网络参数、减轻过拟合的情况下增加了网络层数。
本发明实施例分别在地物类型丰富的4波段GF-1数据和8波段WV-2数据上进行了大量的模拟实验和真实实验，并将其泛化到4波段GeoEye数据和8波段WV-3数据上，实验结果表明：1)相对于传统遥感图像融合方法，本方案充分利用了神经网络非线性的特征，更好地模拟了输入图像与输出图像之间的关系，有效改善了传统方法中光谱失真的现象；2)相对于现有的深度学习方法，本方案利用深层次网络学习到更加深层丰富的特征，更好地保留了空谱信息；3)泛化实验也说明了本方案的网络具有一定的泛化能力。
以上所述仅为本发明技术方案的较佳实施例，并非用于限定本发明的保护范围。显然，本领域技术人员可以对本发明进行各种改动和变形而不脱离本发明的范围。倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，所做的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种深度递归残差网络的遥感图像空谱融合方法，其特征在于，包括以下步骤：
(a)生成数据集：获取多张原始遥感图像并对多张原始遥感图像进行处理，得到多个具有对应关系的低分辨率图像块和原始多光谱图像块，其中每一所述遥感图像包括多光谱图像和全色图像；
(b)构建深度递归残差网络模型，包括：
(b1)在残差网络学习模型中的恒等分支使用全局残差学习；在残差网络模型中的残差分支中构造包括多个局部残差单元的递归块以得到递归残差学习分支；
(b2)所述恒等分支使用的全局残差和所述递归残差学习分支中包含的局部残差同时用于学习低空间分辨率多光谱图像与高空间分辨率多光谱图像之间的残差；将所述恒等分支和所述递归残差学习分支的学习结果相融合后得到融合图像；由此得到深度递归残差网络模型；
(c)利用所述步骤(a)中得到的数据集对所述步骤(b)中得到的所述深度递归残差网络模型进行训练，得到完成训练的深度递归残差网络模型；
(d)利用所述完成训练的深度递归残差网络模型对待融合遥感图像进行融合得到融合图像；
所述步骤(a)中对多张原始遥感图像进行处理的步骤包括：
对多张原始遥感图像依次进行图像预处理、重采样处理、重叠剪裁处理和格式转换处理；其中：
所述图像预处理步骤包括正射校正和影像配准处理；
所述重采样处理包括：全色图像下采样，多光谱图像先下采样再上采样；
所述重叠剪裁处理包括：将经过图像预处理后的原始多光谱遥感图像裁剪为32像素×32像素大小的图像块作为原始多光谱图像块，相邻图像块的重叠率为50％±10％；将经过图像预处理和重采样处理后的遥感图像裁剪为32像素×32像素大小的图像块作为低分辨率图像块，相邻图像块的重叠率为50％±10％；
所述格式转换处理包括将所述低分辨率图像块和原始多光谱图像块转换成HDF5Data类型的.h5文件，所述.h5文件包括data部分和label部分，data部分包括低分辨率图像块，label部分包括原始多光谱图像块。
2.根据权利要求1所述的深度递归残差网络的遥感图像空谱融合方法，其特征在于：
在所述步骤(b1)中，在所述递归残差学习分支中，通过在所述残差分支构建递归块增加残差分支的网络层数，其中残差分支中的多个网络层之间具有相同的权重参数。
3.根据权利要求2所述的深度递归残差网络的遥感图像空谱融合方法，其特征在于，在所述步骤(b)中得到深度递归残差网络模型的步骤中：
一层网络的残差网络学习模型的数据前向传递过程如公式(I)所示:
xl+1＝F(xl,wl)+xl(I)
其中，xl为恒等分支，F(xl,wl)为一层网络的残差分支输出，xl+1为一层网络的网络输出。
4.根据权利要求3所述的深度递归残差网络的遥感图像空谱融合方法，其特征在于，在所述步骤(b)中得到深度递归残差网络模型的步骤中：
L层网络的残差网络学习模型的数据前向传递过程如公式(II)所示：
其中，xi为第i层网络的恒等分支，wi为第i层网络的权重参数，
为残差分支输出，xL为网络输出；
梯度反向传递的过程如公式(III)所示：
其中，
表示损失函数到达中间层L的梯度；1表示恒等分支可以无损地传播梯度；
表示残差梯度，其需要经过带权重的网络层，且残差梯度不会恰好为-1。
5.根据权利要求4所述的深度递归残差网络的遥感图像空谱融合方法，其特征在于，在所述步骤(b)中得到深度递归残差网络模型的步骤中：
所示公式(II)中的残差分支
中，使用多个局部残差单元堆叠在一起，且多个局部残差单元之间共享权重。
6.根据权利要求5所述的深度递归残差网络的遥感图像空谱融合方法，其特征在于，在所述步骤(b2)中得到深度递归残差网络模型的步骤中：
将所述恒等分支和所述递归残差学习分支的学习结果相融合的过程如公式(IV)表示：
其中，k表示波段数，
表示上采样到与PAN具有相同空间分辨率的MS图像，/>
表示融合图像，Dk表示MS图像第k个波段空间细节信息的补充。
7.根据权利要求1-6所述的深度递归残差网络的遥感图像空谱融合方法，其特征在于，在所述步骤c中：
对所述深度递归残差网络模型进行训练的过程使用随机梯度下降和反向传播，约束损失函数最优化网络结果，得到完成训练的深度递归残差网络模型；其中：
损失函数通过公式(V)表示：
其中，Loss表示损失结果，Hn表示深度递归残差网络模型最后一层网络的输出结果，Gt表示原始遥感图像的真实值。
8.一种计算机可读存储介质，其特征在于，所述存储介质中存储有程序指令，计算机读取所述程序指令后执行权利要求1-7任一项所述的深度递归残差网络的遥感图像空谱融合方法。
9.一种电子设备，其特征在于，包括至少一个处理器和至少一个存储器：
至少一个所述存储器中存储有程序指令，至少一个所述处理器读取所述程序指令后执行权利要求1-7任一项所述的深度递归残差网络的遥感图像空谱融合方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010125011.8A CN111353424B (zh) | 2020-02-27 | 2020-02-27 | 深度递归残差网络的遥感图像空谱融合方法和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010125011.8A CN111353424B (zh) | 2020-02-27 | 2020-02-27 | 深度递归残差网络的遥感图像空谱融合方法和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111353424A CN111353424A (zh) | 2020-06-30 |
| CN111353424B true CN111353424B (zh) | 2023-06-09 |
Family
ID=71195874
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010125011.8A Active CN111353424B (zh) | 2020-02-27 | 2020-02-27 | 深度递归残差网络的遥感图像空谱融合方法和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111353424B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112464733A (zh) * | 2020-11-04 | 2021-03-09 | 北京理工大学重庆创新中心 | 基于双向特征融合的高分辨率光学遥感图像地物分类方法 |
| CN112508082A (zh) * | 2020-12-02 | 2021-03-16 | 武汉大学 | 一种非监督学习的遥感影像空谱融合方法及系统 |
| CN112529827A (zh) * | 2020-12-14 | 2021-03-19 | 珠海大横琴科技发展有限公司 | 遥感图像融合模型的训练方法及装置 |
| CN112734818B (zh) * | 2021-01-26 | 2023-09-26 | 中国科学院空天信息创新研究院 | 基于残差网络和sift的多源高分辨率遥感图像自动配准方法 |
| CN112990164B (zh) * | 2021-05-19 | 2021-07-27 | 湖南大学 | 一种多光谱与全色图像联合配准与模糊核估计方法与系统 |
| CN113902646A (zh) * | 2021-11-19 | 2022-01-07 | 电子科技大学 | 基于深浅层特征加权融合网络的遥感影像泛锐化方法 |
| CN117079105B (zh) * | 2023-08-04 | 2024-04-26 | 中国科学院空天信息创新研究院 | 遥感图像空谱融合方法、装置、电子设备及存储介质 |
| CN117726915B (zh) * | 2024-02-07 | 2024-05-28 | 南方海洋科学与工程广东省实验室(广州) | 遥感数据空谱融合方法及装置、存储介质与终端 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108765296A (zh) * | 2018-06-12 | 2018-11-06 | 桂林电子科技大学 | 一种基于递归残差注意力网络的图像超分辨率重建方法 |
| CN109146831A (zh) * | 2018-08-01 | 2019-01-04 | 武汉大学 | 基于双支深度学习网络的遥感图像融合方法及系统 |
| CN109767412A (zh) * | 2018-12-28 | 2019-05-17 | 珠海大横琴科技发展有限公司 | 一种基于深度残差神经网络的遥感影像融合方法及系统 |
| CN109886870A (zh) * | 2018-12-29 | 2019-06-14 | 西北大学 | 基于双通道神经网络的遥感图像融合方法 |
| CN110415199A (zh) * | 2019-07-26 | 2019-11-05 | 河海大学 | 基于残差学习的多光谱遥感图像融合方法及装置 |
| CN110599401A (zh) * | 2019-08-19 | 2019-12-20 | 中国科学院电子学研究所 | 遥感图像超分辨率重建方法、处理装置及可读存储介质 |
-
2020
- 2020-02-27 CN CN202010125011.8A patent/CN111353424B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108765296A (zh) * | 2018-06-12 | 2018-11-06 | 桂林电子科技大学 | 一种基于递归残差注意力网络的图像超分辨率重建方法 |
| CN109146831A (zh) * | 2018-08-01 | 2019-01-04 | 武汉大学 | 基于双支深度学习网络的遥感图像融合方法及系统 |
| CN109767412A (zh) * | 2018-12-28 | 2019-05-17 | 珠海大横琴科技发展有限公司 | 一种基于深度残差神经网络的遥感影像融合方法及系统 |
| CN109886870A (zh) * | 2018-12-29 | 2019-06-14 | 西北大学 | 基于双通道神经网络的遥感图像融合方法 |
| CN110415199A (zh) * | 2019-07-26 | 2019-11-05 | 河海大学 | 基于残差学习的多光谱遥感图像融合方法及装置 |
| CN110599401A (zh) * | 2019-08-19 | 2019-12-20 | 中国科学院电子学研究所 | 遥感图像超分辨率重建方法、处理装置及可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| Ying Tai等.《Image Super Resolution via Deep Recursive Residual Network》.《2017 IEEE Conference on Computer Vision and Pattern Recognition》.2017, * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111353424A (zh) | 2020-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111353424B (zh) | 深度递归残差网络的遥感图像空谱融合方法和电子设备 | |
| Wang et al. | Mixed transformer u-net for medical image segmentation | |
| CN109903221B (zh) | 图像超分方法及装置 | |
| CN105046276B (zh) | 基于低秩表示的高光谱图像波段选择方法 | |
| CN111127374B (zh) | 一种基于多尺度密集网络的Pan-sharpening方法 | |
| CN111523521A (zh) | 一种双支路融合多尺度注意神经网络的遥感图像分类方法 | |
| CN112184554B (zh) | 一种基于残差混合膨胀卷积的遥感图像融合方法 | |
| CN113222823B (zh) | 基于混合注意力网络融合的高光谱图像超分辨率方法 | |
| CN110415199B (zh) | 基于残差学习的多光谱遥感图像融合方法及装置 | |
| CN107506828A (zh) | 计算装置和方法 | |
| CN104657962B (zh) | 基于级联线性回归的图像超分辨重建方法 | |
| CN111325750B (zh) | 一种基于多尺度融合u型链神经网络的医学图像分割方法 | |
| CN110139046B (zh) | 一种基于张量的视频帧合成方法 | |
| CN113610905B (zh) | 基于子图像匹配的深度学习遥感图像配准方法及应用 | |
| CN110189282A (zh) | 基于密集和跳跃连接深度卷积网络的多光谱和全色图像融合方法 | |
| CN112215199B (zh) | 基于多感受野与密集特征聚合网络的sar图像舰船检测方法 | |
| CN115760814A (zh) | 一种基于双耦合深度神经网络的遥感图像融合方法及系统 | |
| CN113744136A (zh) | 基于通道约束多特征融合的图像超分辨率重建方法和系统 | |
| CN113066037A (zh) | 基于图注意力机制的多光谱与全色图像融合方法及系统 | |
| CN111179272A (zh) | 一种面向道路场景的快速语义分割方法 | |
| Wang et al. | Densely connected swin-unet for multiscale information aggregation in medical image segmentation | |
| CN113902646A (zh) | 基于深浅层特征加权融合网络的遥感影像泛锐化方法 | |
| CN104992425B (zh) | 一种基于gpu加速的dem超分辨率方法 | |
| CN116051532A (zh) | 基于深度学习的工业零件缺陷检测方法、系统及电子设备 | |
| CN115861062A (zh) | 多尺度学习小波注意力机制网络及图像超分辨率重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |