CN113689370A - 基于深度卷积神经网络的遥感图像融合方法 - Google Patents

基于深度卷积神经网络的遥感图像融合方法 Download PDF

Info

Publication number
CN113689370A
CN113689370A CN202110851274.1A CN202110851274A CN113689370A CN 113689370 A CN113689370 A CN 113689370A CN 202110851274 A CN202110851274 A CN 202110851274A CN 113689370 A CN113689370 A CN 113689370A
Authority
CN
China
Prior art keywords
image
remote sensing
multispectral
neural network
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110851274.1A
Other languages
English (en)
Inventor
黄为伟
郑钰辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202110851274.1A priority Critical patent/CN113689370A/zh
Publication of CN113689370A publication Critical patent/CN113689370A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10036Multispectral image; Hyperspectral image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10041Panchromatic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度卷积神经网络的遥感图像融合方法,属于遥感图像处理领域。首先,本发明将低空间分辨率的多光谱遥感影像预先插值到与高空间分辨率的全色影像相同大小,其次,利用深度卷积神经网络提取全色图像与多光谱图像的高频空间结构特征,最后,将提取到的高频残差信息与原始多光谱图像相加,得到融合后的具有高空间分辨率的多光谱遥感影像。本发明能够实现低分辨率多光谱影像与高分辨率全色影像的融合,得到结构清晰、空间分辨率高,光谱信息丰富的遥感影像。

Description

基于深度卷积神经网络的遥感图像融合方法
技术领域
本发明涉及一种基于深度卷积神经网络的遥感图像融合方法,属于遥感图像处理领域。
背景技术
近些年,随着科技发展以及遥感技术的发展,遥感图像在各种领域中都有着广泛的应用,例如城市规划、环境监测、地形勘测等。全色图像具有高空间分辨率,但是缺少色彩信息,而多光谱图像具有丰富的光谱信息,但空间分辨率较低。为了获得高空间分辨率的多光谱图像,在很多情况下,我们通常将低空间分辨率的多光谱图像与具有丰富空间细节的全色图像进行融合,从而得到空间域和光谱域的高分辨率图像,我们称之为遥感图像全色锐化。遥感图像全色锐化在分类、目标检测、图像分割等方面有着广泛的使用。
迄今为止,已经提出了大量的遥感图像融合方法,主要分为以下四类方法:1)基于成分替代的方法;2)基于多分辨率分析的方法;3)基于模型的方法;4)基于深度学习的方法。基于成分替代的方法主要思想是通过投影变换,用高分辨率全景图像代替低分辨率质谱图像的空间成分。基于多分辨率分析的方法是通过小波变换、拉普拉斯金字塔等方法提取空间结构,然后将其注入上采样的多光谱图像。基于模型的方法将融合过程视为一个不适定的逆优化问题,并基于融合后的图像构造能量函数。构造通常基于观测模型和稀疏表示。传统的图像融合的方法通常会造成空间信息丢失以及光谱失真的现象。
近些年随着计算机软硬件技术的提升,深度学习在各个领域都得到了广泛应用,尤其在计算机视觉领域,深度学习能够解决相对复杂的问题。相对于传统的遥感图像融合方法,基于深度学习的方法能够通过卷积神经网络端对端的学习图像的高频结构特征,并且能更好的保持图像的光谱信息。
发明内容
为了克服现有技术存在的不足,本发明提出了一种基于深度卷积神经网络的遥感图像融合方法,该遥感图像融合方法更加快速高效,空间信息更丰富,光谱保真度更高。
本发明为解决其技术问题采用的技术方案如下:
一基于深度卷积神经网络的遥感图像融合方法,包括以下步骤:
步骤1:将原始的低空间分辨率的多光谱遥感图像以及高空间分辨率的全色遥感图像分别采用高斯核函数下采样四倍,再将多光谱图像上采样四倍,得到低质量的图像,将低质量图像作为输入;
步骤2:使用20层深度卷积神经网络,将低质量的多光谱图像与全色图像输入深度卷积神经网络进行训练,得到高频残差图像;
步骤3:将得到的高频残差图像与原始的多光谱图像相加,得到高空间分辨率的多光谱遥感图像。
步骤1的具体过程如下:
步骤1.1:使用高斯核函数对原始的低空间分辨率的多光谱遥感图像以及高空间分辨率的全色遥感图像进行低通滤波,得到降质后的多光谱遥感图像和全色图像,以此模拟低分辨率多光谱图像和全色图像输入;
步骤1.2:使用双立方插值将多光谱遥感图像放大四倍,使得低质多光谱图像与全色图像具有相同的分辨率,并将它们堆叠后作为神经网络的输入。
步骤2中所述使用20层深度卷积神经网络,其构建的神经网络模型具体为:
特征提取层:Li=max(0,Wi*I+Bi),i=1,2,3...20
残差重建层:L21=W21*L20+B21
输出层:Loutput=W22*[I+L21]+B22
式中,I为输入图像,Li,i=1,2…20是相应的第1~20层的特征提取层的输出,Wi,i=1,2…20是对应层的卷积核,Bi,i=1,2…20为对应层的偏置,*表示卷积操作,L21为残差重建层,W21为残差重建层的卷积核,L20为特征提取层的输出,B21为残差重建层的偏置,Loutput为最终的输出层,W22为输出层的卷积核,B22为输出层的偏置。
使用小批量梯度下降算法优化求解,具体的损失函数为:
Figure BDA0003182618640000031
其中,loss代表损失函数,本发明中使用均方误差函数作为损失函数,N代表样本数量,gmix代表图像融合操作,
Figure BDA0003182618640000032
分别代表输入的全色图像和多光谱图像,F(i)为真实标注的高分辨率多光谱图像。
所述图像重建层的网络模型为:
L21=W21*L20+B21
其中:L20为第20层特征提取层的输出。
本发明的有益效果如下:
本发明使用20层卷积层,能够提取图像更加精细的空间细节特征,并添加了残差网络层,将得到的高频残差图像和多光谱图像相加,能够避免学习到冗余特征,得到全色图像精准的边缘特征以及多光谱图像的光谱信息。此方法能够实现低分辨率多光谱影像与高分辨率全色影像的融合,得到结构清晰、空间分辨率高,光谱信息丰富的遥感影像。
附图说明
图1是本发明基于深度卷积神经网络的遥感图像融合方法的流程示意图。
图2是本发明提出的基于深度卷积神经网络的遥感图像融合模型。
图3是不同算法对WorldView-2卫星融合图像对比,图3(a)是IHS方法的融合结果图;图3(b)是PCA方法的融合结果图;图3(c)是Wavelet方法的融合结果图;图3(d)是MTF-GLP-HPM方法的融合结果图;图3(e)是PNN方法的融合结果图;图3(f)是本发明所提出方法的融合结果图。
具体实施方式
下面结合附图对本发明进行详细阐述。
如图1所示,本发明公开了一种基于深度卷积神经网络的遥感图像融合方法,首先,本发明将低空间分辨率的多光谱遥感影像预先插值到与高空间分辨率的全色影像相同大小,其次,利用深度卷积神经网络提取全色图像与多光谱图像的高频空间结构特征,最后,将提取到的高频残差信息与原始多光谱图像相加,得到融合后的具有高空间分辨率的多光谱遥感影像。此方法能够实现低分辨率多光谱影像与高分辨率全色影像的融合,得到结构清晰、空间分辨率高,光谱信息丰富的遥感影像。包括以下步骤:
步骤1:将原始的低空间分辨率的多光谱遥感图像以及高空间分辨率的全色遥感图像分别采用高斯核函数下采样四倍,再将多光谱图像上采样四倍,得到低质量的图像,将低质量图像作为输入。
步骤2:使用20层深度卷积神经网络,将低质量的多光谱图像与全色图像输入深度卷积神经网络进行训练,得到高频残差图像。
步骤3:将得到的高频残差图像与原始的多光谱图像相加,得到高空间分辨率的多光谱遥感图像。
步骤1中包括构建网络所需的数据集,具体步骤如下:
步骤1.1:使用高斯核函数对原始的多光谱遥感图像以及全色图像进行低通滤波,得到降质后的多光谱遥感图像和全色图像,以此模拟低分辨率多光谱图像和全色图像输入。
步骤1.2:使用双立方插值将多光谱遥感图像放大四倍,使得低质多光谱图像与全色图像具有相同的分辨率,并将它们堆叠后作为神经网络的输入。
其中,步骤2中深度卷积神经网络的具体模型为:
特征提取层(20层):Li=max(0,Wi*I+Bi)
残差重建层:L21=W21*L20+B21
输出层:Loutput=W22*[I+L21]+B22
式中,I为输入图像,Li,i=1,2…20是相应的第1~20层的特征提取层的输出,Wi,i=1,2…20是对应层的卷积核,Bi,i=1,2…20为对应层的偏置,*表示卷积操作,L21为残差重建层,W21为残差重建层的卷积核,L20为特征提取层的输出,B21为残差重建层的偏置,Loutput为最终的输出层,W22为输出层的卷积核,B22为输出层的偏置。
神经网络使用小批量梯度下降算法优化求解,具体的损失函数为:
Figure BDA0003182618640000051
其中,loss代表损失函数,本发明中使用均方误差函数作为损失函数,N代表样本数量,gmix代表图像融合操作,
Figure BDA0003182618640000052
分别代表输入的全色图像和多光谱图像,F(i)为真实标注的高分辨率多光谱图像。
在步骤3中使用残差网络,将得到的高频残差图像和多光谱图像相加,残差图像重建层的网络模型为:
L21=W21*L20+B21
本实施例中,图2是本发明提出的基于深度卷积神经网络的遥感图像融合模型,其输入为低分辨率多光谱图像与全色图像融合后的图像,输出为高分辨率多光谱图像。
为了评估本发明的性能,选择了wordview-2卫星的数据集作为实验对象,分别从整幅图像中剪裁相对应的图像块用来测试,全色遥感图像尺寸为1280*1280,分辨率为0.46m,多光谱遥感图像为八波段,尺寸为320*320,分辨率为1.84m。并将实验结果与其他四个经典的遥感图像融合方法进行了对比。其中,基于强度色度饱和度(Intensity-Hue-Saturation,IHS)变换的融合方法算法与基于主分量分析(Principal ComponentAnalysis,PCA)的融合方法是传统的基于成分替代的算法,基于小波变换(Wavelet)的融合算法与基于调制传递函数匹配滤波器与高通调制注入模型的广义拉普拉斯金字塔(GLPwith MTF-matched filter and High-Pass Modulation injection model,MTF-GLP-HPM)算法是基于多尺度分析的算法,基于卷积神经网络(PNN)的融合方法是基于深度学习的算法,其与本发明一样是基于卷积神经网络的遥感图像融合算法,实验都采用相同的一组多光谱和全色图像进行融合。
图3(a)(b)(c)(d)(e)(f)为六种算法的实验结果。可以清楚的看到IHS算法与PCA算法能保持较好的空间分辨率,但存在明显的光谱失真问题。Wavelet算法与MTF-GLP-HPM算法相较于基于成分替代的算法能保持多一点的光谱特性,但丢失了部分空间信息。PNN算法保证了较好的光谱特性,但边缘细节还需要加强。对比其他方法,本发明提出的方法在空间结构和光谱保真度都与参考图像最接近。相比之下,本算法能产生具有高空间分辨率且光谱信息丰富的遥感图像。

Claims (5)

1.一种基于深度卷积神经网络的遥感图像融合方法,其特征在于,包括以下步骤:
步骤1:将原始的低空间分辨率的多光谱遥感图像以及高空间分辨率的全色遥感图像分别采用高斯核函数下采样四倍,再将多光谱图像上采样四倍,得到低质量的图像,将低质量图像作为输入;
步骤2:使用20层深度卷积神经网络,将低质量的多光谱图像与全色图像输入深度卷积神经网络进行训练,得到高频残差图像;
步骤3:将得到的高频残差图像与原始的多光谱图像相加,得到高空间分辨率的多光谱遥感图像。
2.根据权利要求1所述基于深度卷积神经网络的遥感图像融合方法,其特征在于步骤1的具体过程如下:
步骤1.1:使用高斯核函数对原始的低空间分辨率的多光谱遥感图像以及高空间分辨率的全色遥感图像进行低通滤波,得到降质后的多光谱遥感图像和全色图像,以此模拟低分辨率多光谱图像和全色图像输入;
步骤1.2:使用双立方插值将多光谱遥感图像放大四倍,使得低质多光谱图像与全色图像具有相同的分辨率,并将它们堆叠后作为神经网络的输入。
3.根据权利要求1所述基于深度卷积神经网络的遥感图像融合方法,其特征在于,步骤2中所述使用20层深度卷积神经网络,其构建的神经网络模型具体为:
特征提取层:Li=max(0,Wi*I+Bi),i=1,2,3…20
残差重建层:L21=W21*L20+B21
输出层:Loutput=W22*[I+L21]+B22
式中,I为输入图像,Li,i=1,2…20是相应的第1~20层的特征提取层的输出,Wi,i=1,2…20是对应层的卷积核,Bi,i=1,2…20为对应层的偏置,*表示卷积操作,L21为残差重建层,W21为残差重建层的卷积核,L20为特征提取层的输出,B21为残差重建层的偏置,Loutput为最终的输出层,W22为输出层的卷积核,B22为输出层的偏置。
4.根据权利要求3所述基于深度卷积神经网络的遥感图像融合方法,其特征在于,所述网络使用小批量梯度下降算法优化求解,具体的损失函数为:
Figure FDA0003182618630000021
其中,loss代表损失函数,本发明中使用均方误差函数作为损失函数,N代表样本数量,gmix代表图像融合操作,
Figure FDA0003182618630000022
分别代表输入的全色图像和多光谱图像,F(i)为真实标注的高分辨率多光谱图像。
5.根据权利要求4所述基于深度卷积神经网络的遥感图像融合方法,其特征在于步骤3中所述图像重建层的网络模型为:
L21=W21*L20+B21
其中:L20为第20层特征提取层的输出。
CN202110851274.1A 2021-07-27 2021-07-27 基于深度卷积神经网络的遥感图像融合方法 Pending CN113689370A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110851274.1A CN113689370A (zh) 2021-07-27 2021-07-27 基于深度卷积神经网络的遥感图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110851274.1A CN113689370A (zh) 2021-07-27 2021-07-27 基于深度卷积神经网络的遥感图像融合方法

Publications (1)

Publication Number Publication Date
CN113689370A true CN113689370A (zh) 2021-11-23

Family

ID=78577997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110851274.1A Pending CN113689370A (zh) 2021-07-27 2021-07-27 基于深度卷积神经网络的遥感图像融合方法

Country Status (1)

Country Link
CN (1) CN113689370A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114240814A (zh) * 2021-12-19 2022-03-25 西北工业大学 基于金字塔调制注入的多光谱与全色遥感影像融合方法
CN114565843A (zh) * 2022-02-22 2022-05-31 中国电子科技集团公司第五十四研究所 一种时间序列遥感图像融合方法
CN115471437A (zh) * 2022-11-14 2022-12-13 中国测绘科学研究院 一种基于卷积神经网络的影像融合方法以及遥感影像融合方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080131024A1 (en) * 2006-12-01 2008-06-05 Harris Corporation Structured Smoothing for Superresolution of Multispectral Imagery Based on Registered Panchromatic Image
CN109767412A (zh) * 2018-12-28 2019-05-17 珠海大横琴科技发展有限公司 一种基于深度残差神经网络的遥感影像融合方法及系统
CN110415199A (zh) * 2019-07-26 2019-11-05 河海大学 基于残差学习的多光谱遥感图像融合方法及装置
CN112184554A (zh) * 2020-10-13 2021-01-05 重庆邮电大学 一种基于残差混合膨胀卷积的遥感图像融合方法
CN113129247A (zh) * 2021-04-21 2021-07-16 重庆邮电大学 基于自适应多尺度残差卷积的遥感图像融合方法及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080131024A1 (en) * 2006-12-01 2008-06-05 Harris Corporation Structured Smoothing for Superresolution of Multispectral Imagery Based on Registered Panchromatic Image
CN109767412A (zh) * 2018-12-28 2019-05-17 珠海大横琴科技发展有限公司 一种基于深度残差神经网络的遥感影像融合方法及系统
CN110415199A (zh) * 2019-07-26 2019-11-05 河海大学 基于残差学习的多光谱遥感图像融合方法及装置
CN112184554A (zh) * 2020-10-13 2021-01-05 重庆邮电大学 一种基于残差混合膨胀卷积的遥感图像融合方法
CN113129247A (zh) * 2021-04-21 2021-07-16 重庆邮电大学 基于自适应多尺度残差卷积的遥感图像融合方法及介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114240814A (zh) * 2021-12-19 2022-03-25 西北工业大学 基于金字塔调制注入的多光谱与全色遥感影像融合方法
CN114240814B (zh) * 2021-12-19 2024-02-23 西北工业大学 基于金字塔调制注入的多光谱与全色遥感影像融合方法
CN114565843A (zh) * 2022-02-22 2022-05-31 中国电子科技集团公司第五十四研究所 一种时间序列遥感图像融合方法
CN115471437A (zh) * 2022-11-14 2022-12-13 中国测绘科学研究院 一种基于卷积神经网络的影像融合方法以及遥感影像融合方法

Similar Documents

Publication Publication Date Title
CN110415199B (zh) 基于残差学习的多光谱遥感图像融合方法及装置
CN111127374B (zh) 一种基于多尺度密集网络的Pan-sharpening方法
CN112734646B (zh) 一种基于特征通道划分的图像超分辨率重建方法
CN109102469B (zh) 一种基于卷积神经网络的遥感图像全色锐化方法
Rao et al. A residual convolutional neural network for pan-shaprening
CN104112263B (zh) 基于深度神经网络的全色图像与多光谱图像融合的方法
CN113689370A (zh) 基于深度卷积神经网络的遥感图像融合方法
Huang et al. Deep hyperspectral image fusion network with iterative spatio-spectral regularization
CN106920214B (zh) 空间目标图像超分辨率重建方法
CN110544212B (zh) 基于层级特征融合的卷积神经网络高光谱图像锐化方法
CN111696043A (zh) 一种三维fsrcnn的高光谱图像超分辨率重建算法
Yang et al. License plate image super-resolution based on convolutional neural network
Wang et al. Enhanced image prior for unsupervised remoting sensing super-resolution
CN115100075B (zh) 基于光谱约束和残差注意力网络的高光谱全色锐化方法
Wei et al. A-ESRGAN: Training real-world blind super-resolution with attention U-Net Discriminators
CN114266957A (zh) 一种基于多降质方式数据增广的高光谱图像超分辨率复原方法
Abbass et al. Image super resolution based on residual dense CNN and guided filters
CN118134764A (zh) 一种基于统一网络的高光谱图像融合方法
Lin et al. DTCNet: Transformer-CNN Distillation for Super-Resolution of Remote Sensing Image
Cheng et al. Remote sensing image super-resolution using multi-scale convolutional sparse coding network
CN111899166A (zh) 一种基于深度学习的医学高光谱显微图像超分辨重构方法
Schirrmacher et al. SR 2: Super-resolution with structure-aware reconstruction
CN115994855A (zh) 可获得超分辨率融合图像的全色锐化方法
Liu et al. A convolutional neural network for image super-resolution using internal dataset
CN114677271A (zh) 基于深度图像先验的高光谱图像超分辨率重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20211123

RJ01 Rejection of invention patent application after publication