CN110415199B - 基于残差学习的多光谱遥感图像融合方法及装置 - Google Patents

基于残差学习的多光谱遥感图像融合方法及装置 Download PDF

Info

Publication number
CN110415199B
CN110415199B CN201910681109.9A CN201910681109A CN110415199B CN 110415199 B CN110415199 B CN 110415199B CN 201910681109 A CN201910681109 A CN 201910681109A CN 110415199 B CN110415199 B CN 110415199B
Authority
CN
China
Prior art keywords
remote sensing
pan
image
layer
sensing image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910681109.9A
Other languages
English (en)
Other versions
CN110415199A (zh
Inventor
李鑫
许峰
吕鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN201910681109.9A priority Critical patent/CN110415199B/zh
Publication of CN110415199A publication Critical patent/CN110415199A/zh
Application granted granted Critical
Publication of CN110415199B publication Critical patent/CN110415199B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/94
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10036Multispectral image; Hyperspectral image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10041Panchromatic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Abstract

本发明公开了一种基于残差学习的多光谱遥感图像融合方法及装置,方法包括:(1)获取若干原始多光谱遥感图像IMS和对应的原始全色波段遥感图像IPAN;(2)计算得到IMS的插值图像IMSI、IPAN的梯度图像GPAN以及差分图像DPAN;(3)构建卷积神经网络融合模型,包括从依次连接的特征提取层、非线性映射层、残差图像重建层和输出层,并将I=[IMSI,IPAN,GPAN,DPAN]作为输入进行训练,训练时采用的损失函数为引入残差学习的均方误差函数;(4)将待融合的多光谱遥感图像I'MSRI和对应的原始全色波段遥感图像I'PAN处理得到对应的数据[I'MSI,I'PAN,G'PAN,D'PAN],并输入训练好的卷积神经网络融合模型,输出即为融合后的图像。本发明融合速度快,融合图像的光谱和空间质量也更高。

Description

基于残差学习的多光谱遥感图像融合方法及装置
技术领域
本发明涉及图像融合技术,尤其涉及一种基于残差学习的多光谱遥感图像融合方法及装置。
背景技术
随着遥感技术的进一步发展,遥感图像在农业生产、环境监测、和地质勘察等领域都有着广泛的应用。然而在实际生产应用中,受限于遥感设备的结构限制,同时具有高空间分辨率和光谱分辨率的遥感图像难以直接获取。针对此问题,当前卫星承载的遥感图像获取设备往往具有两种不同的传感器,可以分别获取两种遥感图像:即高空间分辨率的全色遥感图像和多光谱遥感图像。利用多光谱遥感图像融合技术,将全色遥感图像与多光谱遥感图像进行有效融合,能够最终获取兼具高空间分辨率和多光谱信息的遥感图像,此方法也称为遥感图像全色锐化。
目前,遥感图像全色锐化主要分为以下几类:1)成分替代法(CS,ComponentSubstitution),此类方法主要思想在于将全色波段图像中的高清晰度空间结构信息提取出来并替换经过上采样获取的多光谱分量中相对应的信息成分,从而得到在空间域与光谱域更为清晰的遥感图像数据。该类方法运算速度快,但是光谱失真严重。2)多分辨率分析法(MRA,Multi-resolution Analysis),此类方法首先提取全色波段图像中详细的空间结构信息,然后将其注入重采样的多光谱分量。主要利用小波变换、高通滤波等方法,尽管光谱失真现象得以改善,但是该类方法在光谱保真度上仍存在一定局限性。3)混合方法,主要通过结合不同方法的思想,以CS和MRA结合为例的导向滤波主成分分析方法,虽然能结合不同方法的优点,但是方法局限性较为明显,性能无法提高。4)贝叶斯方法,此类方法基于贝叶斯理论,引入正则先验并利用最大后验概率来求解问题。以变分方法为例,对光谱失真现象有很好的改进,但是耗时大大增加且对数据特征具有较强依赖性。5)基于神经网络的方法,此类方法主要利用计算机视觉和深度学习的相关算法解决图像融合问题。在数据充足的情况下,该类方法的表现往往最好,在数据不足的情况下也能达到较好的效果。能够在保证较高光谱保真度的前提下实现多光谱图像融合。
发明内容
发明目的:本发明针对现有技术存在的问题,提供一种基于残差学习的多光谱遥感图像融合方法集装置,融合速度快,融合图像的光谱和空间质量也更高。
技术方案:本发明所述的基于残差学习的多光谱遥感图像融合方法包括:
(1)获取若干原始多光谱遥感图像IMS和对应的原始全色波段遥感图像IPAN
(2)将原始多光谱遥感图像IMS进行插值处理,得到插值遥感图像IMSI,并计算得到原始全色波段遥感图像IPAN的梯度图像GPAN,以及将原始全色波段遥感图像IPAN处理到预设的低分辨率图像ILPAN后进行差分,得到差分图像DPAN
(3)构建卷积神经网络融合模型,包括从依次连接的特征提取层、非线性映射层、残差图像重建层和输出层,并将I=[IMSI,IPAN,GPAN,DPAN]作为样本数据输入,对卷积神经网络融合模型进行训练,训练时采用的损失函数为引入残差学习的均方误差函数,当损失函数达到收敛且稳定在全局最小值时,卷积神经网络融合模型训练完成;
(4)将待融合的多光谱遥感图像I'MSRI和对应的原始全色波段遥感图像I'PAN按照步骤(2)处理得到对应的数据[I'MSI,I'PAN,G'PAN,D'PAN],并输入训练好的卷积神经网络融合模型,输出即为融合后的图像。
进一步的,步骤(3)中构建的卷积神经网络融合模型具体为:
特征提取层:Layer1=max(0,W1*I+B1)
非线性映射层:Layer2=max(0,W2*Layer1+B2)
残差图像重建层:Layer3=W3*Layer2+B3
输出层:Iout=W4*[I+Layer3]+B4
式中,W1、W2、W3、W4是对应层的卷积核,B1、B2、B3、B4为对应层的偏置向量。所述卷积核函数为线性整流函数ReLU。
进一步的,步骤(3)中损失函数具体为:
Figure BDA0002144798910000021
式中,L(Θ)表示损失函数,Θ={W1,W2,W3,W4,B1,B2,B3,B4},
Figure BDA0002144798910000022
F()表示卷积神经网络融合模型的输出,下标(i)表示对应数据经过分块操作后得到的第i个图像块,nt为分块得到的图像块数量,λ为平衡参数,
Figure BDA0002144798910000023
分别表示融合后图像的光谱信息、空间信息,nb为波段数量,βj为拟合矩阵。
本发明所述的基于残差学习的多光谱遥感图像融合装置,包括处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现上述的基于残差学习的多光谱遥感图像融合方法。
有益效果:本发明与现有技术相比,其显著优点是:
1、本发明提出的基于残差学习的多光谱遥感图像融合方法是对已有传统方法的深入探索,减少了大量繁琐的处理步骤,实现了端到端的处理模式,对低分辨率多光谱遥感图像和全色波段图像的空间细节和光谱信息同时进行学习,直接融合形成高分辨率多光谱遥感图像,大幅提升该模型的性能。
2、本发明利用多分辨率分析法和成分替代法中的思想,结合残差连接形成残差图像以实现对融合结果误差的准确估计,对模型实现快速和准确的参数调优。不仅能减少模型训练时间,降低迭代次数,而且提升融合图像的光谱和空间质量。
附图说明
图1是本发明提供的基于残差学习的多光谱遥感图像融合方法的一个实施例的结构图;
图2是本发明提供的基于残差学习的多光谱遥感图像融合方法的一个实施例的流程示意图;
图3是高分1号实验数据及结果示意图;
图4是高分2号实验数据及结果示意图。
具体实施方式
本实施例提供了一种基于残差学习的多光谱遥感图像融合方法,如图1和图2所示,包括:
(1)获取若干原始多光谱遥感图像IMS和对应的原始全色波段遥感图像IPAN
(2)将原始多光谱遥感图像IMS进行插值处理,得到插值遥感图像IMSI,并计算得到原始全色波段遥感图像IPAN的梯度图像GPAN,以及将原始全色波段遥感图像IPAN处理到预设的低分辨率图像ILPAN后进行差分,得到差分图像DPAN
其中,插值遥感图像IMSI的插值方法不限,现有的各种插值方法均可实现本发明中的功能,低分辨率图像ILPAN具体为分辨率低于预设阈值的图像,且低分辨率图像ILPAN的分辨率低于原始全色波段遥感图像IPAN的分辨率,差分图像DPAN为低分辨率图像ILPAN与原始全色波段遥感图像IPAN之间差分得到的图像。
(3)构建卷积神经网络融合模型,包括从依次连接的特征提取层、非线性映射层、残差图像重建层和输出层,并将I=[IMSI,IPAN,GPAN,DPAN]作为样本数据输入,对卷积神经网络融合模型进行训练,训练时采用的损失函数为引入残差学习的均方误差函数,当损失函数达到收敛且稳定在全局最小值时,卷积神经网络融合模型训练完成。
其中,构建的卷积神经网络融合模型具体为:
特征提取层:Layer1=max(0,W1*I+B1)
非线性映射层:Layer2=max(0,W2*Layer1+B2)
残差图像重建层:Layer3=W3*Layer2+B3
输出层:Iout=W4*[I+Layer3]+B4
式中,W1、W2、W3、W4是对应层的卷积核,B1、B2、B3、B4为对应层的偏置向量。所述卷积核函数为线性整流函数ReLU,即Y=max(0,X),其中X和Y分别表示神经元的输入与输出。
其中,损失函数具体为:
Figure BDA0002144798910000041
式中,L(Θ)表示损失函数,Θ={W1,W2,W3,W4,B1,B2,B3,B4},
Figure BDA0002144798910000042
F()表示卷积神经网络融合模型的输出,下标(i)表示对应数据经过分块操作后得到的第i个图像块,nt为分块得到的图像块数量,λ为平衡参数,
Figure BDA0002144798910000043
分别表示融合后图像的光谱信息、空间信息,nb为波段数量,βj为拟合矩阵,该拟合矩阵通过下式得到:
Figure BDA0002144798910000044
式中,β0、βj为拟合矩阵,IMS,j为IMS的第j个波段,ε表示噪声。
(4)将待融合的多光谱遥感图像I'MSRI和对应的原始全色波段遥感图像I'PAN按照步骤(2)处理得到对应的数据[I'MSI,I'PAN,G'PAN,D'PAN],并输入训练好的卷积神经网络融合模型,输出即为融合后的图像。
本实施例还提供了一种基于残差学习的多光谱遥感图像融合装置,包括处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述的基于残差学习的多光谱遥感图像融合方法。
下面对本发明进行实验,实验采用两类数据,高分1号陆地资源卫星8m精度多光谱遥感图像和2m精度全色波段遥感图像,高分2号陆地资源卫星3.2m精度多光谱遥感图像和0.8m精度全色波段遥感图像,相较于IKONOS、Google Eyes等具有一定区别;由于原始遥感图像尺寸过大,在进行模型训练和处理时划分为小块数据进行计算。采用待融合的一组高分1号和一组高分2号卫星遥感数据进行融合实验,分别从整幅图像中剪裁相对应的图像块用来测试。对于高分1号数据,全色遥感图像尺寸为1280*1280,分辨率为2m,多光谱遥感图像为四波段,尺寸为320*320,分辨率为8m;对于高分2号数据,全色遥感图像尺寸为1280*1280,分辨率为1m,多光谱遥感图像为四波段,尺寸为320*320,分辨率为4m,最终融合数据和结果如图3和图4所示。
以上所揭露的仅为本发明一种较佳实施例而已,不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (5)

1.一种基于残差学习的多光谱遥感图像融合方法,其特征在于该方法包括:
(1)获取若干原始多光谱遥感图像IMS和对应的原始全色波段遥感图像IPAN
(2)将原始多光谱遥感图像IMS进行插值处理,得到插值遥感图像IMSI,并计算得到原始全色波段遥感图像IPAN的梯度图像GPAN,以及将原始全色波段遥感图像IPAN处理到预设的低分辨率图像ILPAN后进行差分,得到差分图像DPAN
(3)构建卷积神经网络融合模型,包括从依次连接的特征提取层、非线性映射层、残差图像重建层和输出层,并将I=[IMSI,IPAN,GPAN,DPAN]作为样本数据输入,对卷积神经网络融合模型进行训练,训练时采用的损失函数为引入残差学习的均方误差函数,当损失函数达到收敛且稳定在全局最小值时,卷积神经网络融合模型训练完成;
(4)将待融合的多光谱遥感图像I'MSRI和对应的原始全色波段遥感图像I'PAN按照步骤(2)处理得到对应的数据[I'MSI,I'PAN,G'PAN,D'PAN],并输入训练好的卷积神经网络融合模型,输出即为融合后的图像。
2.根据权利要求1所述的基于残差学习的多光谱遥感图像融合方法,其特征在于:步骤(3)中构建的卷积神经网络融合模型具体为:
特征提取层:Layer1=max(0,W1*I+B1)
非线性映射层:Layer2=max(0,W2*Layer1+B2)
残差图像重建层:Layer3=W3*Layer2+B3
输出层:Iout=W4*[I+Layer3]+B4
式中,W1、W2、W3、W4是对应层的卷积核,B1、B2、B3、B4为对应层的偏置向量,*表示卷积操作。
3.根据权利要求2所述的基于残差学习的多光谱遥感图像融合方法,其特征在于:所述卷积核函数为线性整流函数ReLU。
4.根据权利要求2所述的基于残差学习的多光谱遥感图像融合方法,其特征在于:步骤(3)中损失函数具体为:
Figure FDA0003145709560000011
式中,L(Θ)表示损失函数,Θ={W1,W2,W3,W4,B1,B2,B3,B4},
Figure FDA0003145709560000021
F()表示卷积神经网络融合模型的输出,下标(i)表示对应数据经过分块操作后得到的第i个图像块,nt为分块得到的图像块数量,λ为平衡参数,
Figure FDA0003145709560000022
分别表示融合后图像的光谱信息、空间信息,nb为波段数量,β0、βj为拟合矩阵,该拟合矩阵通过下式得到:
Figure FDA0003145709560000023
式中,IMS,j为IMS的第j个波段,ε表示噪声。
5.一种基于残差学习的多光谱遥感图像融合装置,包括处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1-4中任意一项所述的基于残差学习的多光谱遥感图像融合方法。
CN201910681109.9A 2019-07-26 2019-07-26 基于残差学习的多光谱遥感图像融合方法及装置 Active CN110415199B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910681109.9A CN110415199B (zh) 2019-07-26 2019-07-26 基于残差学习的多光谱遥感图像融合方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910681109.9A CN110415199B (zh) 2019-07-26 2019-07-26 基于残差学习的多光谱遥感图像融合方法及装置

Publications (2)

Publication Number Publication Date
CN110415199A CN110415199A (zh) 2019-11-05
CN110415199B true CN110415199B (zh) 2021-10-19

Family

ID=68363236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910681109.9A Active CN110415199B (zh) 2019-07-26 2019-07-26 基于残差学习的多光谱遥感图像融合方法及装置

Country Status (1)

Country Link
CN (1) CN110415199B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583166A (zh) * 2019-12-24 2020-08-25 珠海大横琴科技发展有限公司 一种影像融合网络模型构建及训练方法、装置
CN111524063A (zh) * 2019-12-24 2020-08-11 珠海大横琴科技发展有限公司 一种遥感图像融合方法及装置
CN111340080B (zh) * 2020-02-19 2024-03-29 济南大学 一种基于互补卷积特征的高分辨率遥感影像融合方法及系统
CN111353424B (zh) * 2020-02-27 2023-06-09 中国科学院遥感与数字地球研究所 深度递归残差网络的遥感图像空谱融合方法和电子设备
CN111652829B (zh) * 2020-06-09 2022-12-06 展讯通信(上海)有限公司 图像融合方法、装置、电子设备及存储介质
CN112184554B (zh) * 2020-10-13 2022-08-23 重庆邮电大学 一种基于残差混合膨胀卷积的遥感图像融合方法
CN113689370A (zh) * 2021-07-27 2021-11-23 南京信息工程大学 基于深度卷积神经网络的遥感图像融合方法
CN114092834B (zh) * 2022-01-24 2022-04-15 南京理工大学 基于空谱联合残差修正网络的无监督高光谱图像盲融合方法及系统
CN114581347B (zh) * 2022-01-24 2024-03-12 中国科学院空天信息创新研究院 无参考影像的光学遥感空谱融合方法、装置、设备及介质
CN117274763B (zh) * 2023-11-21 2024-04-05 珠江水利委员会珠江水利科学研究院 基于平衡点分析的遥感影像空-谱融合方法、系统、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104112263A (zh) * 2014-06-28 2014-10-22 南京理工大学 基于深度神经网络的全色图像与多光谱图像融合的方法
CN108960345A (zh) * 2018-08-08 2018-12-07 广东工业大学 一种遥感图像的融合方法、系统及相关组件

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10262205B2 (en) * 2015-07-28 2019-04-16 Chiman KWAN Method and system for collaborative multi-satellite remote sensing
CN108932708A (zh) * 2018-06-13 2018-12-04 中国科学院光电研究院 基于超分辨增强的星载多光谱遥感图像融合方法
CN109003239B (zh) * 2018-07-04 2022-03-29 华南理工大学 一种基于迁移学习神经网络的多光谱图像锐化方法
CN109102469B (zh) * 2018-07-04 2021-12-21 华南理工大学 一种基于卷积神经网络的遥感图像全色锐化方法
CN109118462A (zh) * 2018-07-16 2019-01-01 中国科学院东北地理与农业生态研究所 一种遥感影像融合方法
CN109767412A (zh) * 2018-12-28 2019-05-17 珠海大横琴科技发展有限公司 一种基于深度残差神经网络的遥感影像融合方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104112263A (zh) * 2014-06-28 2014-10-22 南京理工大学 基于深度神经网络的全色图像与多光谱图像融合的方法
CN108960345A (zh) * 2018-08-08 2018-12-07 广东工业大学 一种遥感图像的融合方法、系统及相关组件

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
耦合边缘检测与优化的多尺度遥感图像融合法;谷志鹏等;《计算机工程与应用》;20171231(第11期);全文 *

Also Published As

Publication number Publication date
CN110415199A (zh) 2019-11-05

Similar Documents

Publication Publication Date Title
CN110415199B (zh) 基于残差学习的多光谱遥感图像融合方法及装置
CN112634137B (zh) 基于ae提取多尺度空谱特征的高光谱和全色图像融合方法
CN110119780B (zh) 基于生成对抗网络的高光谱图像超分辨重建方法
CN110533620B (zh) 基于aae提取空间特征的高光谱和全色图像融合方法
Rao et al. A residual convolutional neural network for pan-shaprening
CN111127374B (zh) 一种基于多尺度密集网络的Pan-sharpening方法
WO2022222352A1 (zh) 基于残差网络的遥感全色和多光谱图像分布式融合方法
CN109102469B (zh) 一种基于卷积神经网络的遥感图像全色锐化方法
CN114119444B (zh) 一种基于深度神经网络的多源遥感图像融合方法
CN109727207B (zh) 基于光谱预测残差卷积神经网络的高光谱图像锐化方法
CN110544212B (zh) 基于层级特征融合的卷积神经网络高光谱图像锐化方法
CN112488978A (zh) 基于模糊核估计的多光谱图像融合成像方法及系统
Chen et al. Convolutional neural network based dem super resolution
CN113763299B (zh) 一种全色与多光谱图像融合方法、装置及其应用
Yang et al. License plate image super-resolution based on convolutional neural network
CN111696043A (zh) 一种三维fsrcnn的高光谱图像超分辨率重建算法
CN115760814A (zh) 一种基于双耦合深度神经网络的遥感图像融合方法及系统
CN116309070A (zh) 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备
Guo et al. Unsupervised blur kernel learning for pansharpening
CN113902646A (zh) 基于深浅层特征加权融合网络的遥感影像泛锐化方法
CN113689370A (zh) 基于深度卷积神经网络的遥感图像融合方法
CN115861083B (zh) 一种多尺度和全局特征的高光谱与多光谱遥感融合方法
CN114511470B (zh) 一种基于注意力机制的双分支全色锐化方法
CN116309227A (zh) 基于残差网络与空间注意力机制的遥感图像融合方法
CN114638761A (zh) 一种高光谱图像全色锐化方法、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant