CN113222835A - 基于残差网络的遥感全色和多光谱图像分布式融合方法 - Google Patents

基于残差网络的遥感全色和多光谱图像分布式融合方法 Download PDF

Info

Publication number
CN113222835A
CN113222835A CN202110436758.XA CN202110436758A CN113222835A CN 113222835 A CN113222835 A CN 113222835A CN 202110436758 A CN202110436758 A CN 202110436758A CN 113222835 A CN113222835 A CN 113222835A
Authority
CN
China
Prior art keywords
image
fusion
layer
scale
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110436758.XA
Other languages
English (en)
Other versions
CN113222835B (zh
Inventor
黄梦醒
吴园园
冯思玲
吴迪
冯文龙
张雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hainan University
Original Assignee
Hainan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hainan University filed Critical Hainan University
Priority to CN202110436758.XA priority Critical patent/CN113222835B/zh
Publication of CN113222835A publication Critical patent/CN113222835A/zh
Priority to PCT/CN2021/118578 priority patent/WO2022222352A1/zh
Application granted granted Critical
Publication of CN113222835B publication Critical patent/CN113222835B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提供基于残差网络的遥感全色和多光谱图像分布式融合方法，主要解决现有技术中光谱失真、空间分辨率低、融合质量不高的问题，本申请包括下列步骤：通过卫星采集目标区域的原始图像，并对所述原始图像进行预处理；根据Wald准则使用预处理后全色图像和多光谱图像构建仿真训练集和测试集，构建由3个支路构成的基于残差网络的分布式融合模型，将训练集的全色和多光谱图像作为网络的输入，对网络进行充分训练；将待融合的全色和多光谱图像输入到训练好的融合网络中，得到融合图像。本发明使用不同支路不同尺度的特征进行融合，保留更多的光谱信息和空间信息，在提高空间分辨率和保留光谱信息方面更具优越性能，提高了融合质量。

Description

基于残差网络的遥感全色和多光谱图像分布式融合方法
技术领域
本发明涉及遥感图像处理技术领域，尤其涉及基于残差网络的遥感全色和多光谱图像分布式融合方法。
背景技术
遥感影像被广泛应用于各行各业，例如农业产量预测、农业林业病虫害检测、灾害预测、地质探测、国防、植被覆盖和土地利用、环境变化检测等等。但是由于卫星传感器技术的限制，不能同时获得高空间分辨率高光谱分辨率的图像，只能获得高空间分辨率低光谱分辨率的全色图像(PAN)和低空间分辨率高光谱分辨率的多光谱图像(MS)。但是各个领域需要使用既具有高空间分辨率又具有高光谱分辨率的图像，甚至要求具有高时间分辨率的图像。利用高空间分辨率低光谱分辨率的图像和高光谱分辨率低空间分辨率的冗余和互补信息，获得高空间分辨率高光谱分辨率的图像(HSHM)。生成这种图像的图像处理技术目前主要有图像增强、超分辨率重建、图像融合等等。其中使用最多的、主要的研究技术就是图像融合技术，它是指将多个传感器的多个图像通过一定方法生成一个质量更高、信息更丰富的图像，提高人们的视觉感受、更容易通过图像做出更精确的决策。
多光谱图像和全色图像融合技术(也称作全色锐化)是遥感图像处理领域研究的热门、重点之一。融合方法可以大体可分为传统方法、深度学习方法。传统方法中普遍被分为成分替换方法、多分辨率分析法、混合方法、基于模型法。虽然Brovey变换、施密特正交变换(GS)、主成分分析方法(PCA)等成分替代方法以及这些方法的变体被广泛应用于各个软件中，但是它们存在光谱失真、空间过度锐化的问题。小波变化、拉普拉斯金字塔分解、轮廓波变换、曲波变换、非下采样剪切波变换等多分辨率分析方法及其变体虽然减少了光谱失真，但是空间分辨率比较低，还可能出现振铃现象。随着深度学习技术的发展，各个深度学习网络开始应用于全色锐化方向，其中使用最多的就是卷积神经网络，虽然像PNN、DRPNN、PanNet、PanGAN等网络的提出用于全色锐化取得了一定的效果，但是还是会存在光谱失真、空间分辨率低、融合质量不高的问题。
发明内容
本发明的目的在于提供基于残差网络的遥感全色和多光谱图像分布式融合方法，以解决上述背景技术中提出的问题。
本发明是通过以下技术方案实现的：基于残差网络的遥感全色和多光谱图像分布式融合方法，包括下列步骤：
通过卫星采集目标区域的原始图像，并对所述原始图像进行预处理，所述原始图像包括全色图像和多光谱图像；
根据Wald准则对预处理后的原始图像进行降分辨率处理，获得降分辨率的全色图像和多光谱图像，同时基于降分辨率的全色图像以及多光谱图像构建仿真训练集以及测试集；
构建由3个支路构成的分布式残差融合模型，将训练集中降分辨率的全色图像和多光谱图像作为分布式残差融合模型的输入，全分辨率多光谱图像作为输出，对所述分布式残差融合模型进行充分训练；
将降分辨率的仿真测试集和全分辨率的全色图像和多光谱图像输入到训练好的分布式残差融合模型，得到全色锐化图像。
优选的，对所述原始图像进行预处理还包括：对原始图像进行辐射定标、几何精校正和空间配准。
优选的，根据Wald准则对预处理后的原始图像进行降分辨率处理，包括：
确定下采样因子，根据Wald准则对所述原始全色图像和多光谱图像使用双三次插值方法进行下采样；
根据Wald准则对下采样后的多光谱图像使用双三次插值方法进行上采样，使输入分布式残差融合模型的图像尺寸大小保持一样。
优选的，基于降分辨率上采样后的多光谱图像、降分辨率全色图像以及原始多光谱图像构建仿真训练集和测试集。
优选的，所述分布式残差融合模型的第1个支路是由用于提取全色图像特征的多层全色图像残差模块构成；
第2个支路是由用于提取多光谱图像特征的多层多光谱图像残差模块构成；
第3个支路是由多层卷积融合模块构成。
优选的，所述方法还包括：将训练集中降分辨率的全色图像输入多层全色图像残差模块中进行多尺度全色图像特征的逐层提取；
将训练集中降分辨率的多光谱图像输入多层多光谱图像残差模块中进行多尺度多光谱图像特征的逐层提取；
将逐层提取的多尺度全色图像特征、多尺度多光谱图像特征以及融合支路前一步的融合结果进行通道拼接后输入多层卷积融合模块中进行逐层融合，多层卷积融合模块最后一层的融合结果就是所述分布式残差融合模型的融合结果，即全色锐化图像。
优选的，将训练集的全色图像输入用于提取全色图像特征的第1个支路的第一层全色图像残差模块中，获得第一尺度全色图像特征，所述第一层全色图像残差模块通过下式表示：
Figure BDA0003033384480000031
其中
Figure BDA0003033384480000032
将所述第一尺度全色图像特征输入第二层全色图像残差模块中，获得第二尺度全色图像特征，所述第二层全色图像残差模块通过下式表示：
Figure BDA0003033384480000033
其中
Figure BDA0003033384480000034
将所述第二尺度全色图像特征输入第三层全色图像残差模块中，获得第三尺度全色图像特征，所述全色图像第三层残差模块通过下式表示：
Figure BDA0003033384480000041
其中
Figure BDA0003033384480000042
将所述第三尺度全色图像特征输入第四层全色图像残差模块中，获得第四尺度全色图像特征，所述第四层全色图像残差模块通过下式表示：
Figure BDA0003033384480000043
其中
Figure BDA0003033384480000044
式中，PAN0表示原始全色图像，PAN1、PAN2、PAN3、PAN4表示全色图像不同尺度特征；
Figure BDA0003033384480000045
分别表示分布式残差融合模型第1个支路的第一、二、三、四层全色图像残差模块中的卷积核；h(PAN0)、h(PAN1)、h(PAN2)、h(PAN3)分别表示分布式残差融合模型第1个支路第一、二、三、四层全色图像残差模块中的跳跃连接部分；
Figure BDA0003033384480000046
Figure BDA0003033384480000047
分别表示分布式残差融合模型第1个支路第一、二、三、四层全色图像残差模块中的残差部分；*表示卷积操作。
优选的，将训练集的多光谱图像输入用于提取多光谱图像特征的第2个支路的第一层多光谱图像残差模块中，获得第一尺度多光谱图像特征，所述第一层多光谱图像残差模块通过下式表示：MS1＝h(MS0)+F(MS0,WMS0)，其中h(MS0)＝WMS0′*MS0；
将第一尺度多光谱图像特征输入第二层多光谱图像残差模块中，获得第二尺度多光谱图像特征，所述第二层多光谱图像残差模块通过下式表示：
Figure BDA0003033384480000048
其中
Figure BDA0003033384480000049
将第二尺度多光谱图像特征输入第三层多光谱图像残差模块中，获得第三尺度多光谱图像特征，所述第三层多光谱图像残差模块通过下式表示：
Figure BDA00030333844800000410
其中
Figure BDA00030333844800000411
将第三尺度多光谱图像特征输入第四层多光谱图像残差模块中，获得第四尺度多光谱图像特征，所述第四层多光谱图像残差模块通过下式表示：
Figure BDA0003033384480000051
其中
Figure BDA0003033384480000052
式中，MS0表示原始多光谱图像，MS1、MS2、MS3、MS4表示多光谱图像不同尺度特征；
Figure BDA0003033384480000053
分别表示分布式残差融合模型第2个支路的第一、二、三、四层多光谱图像残差模块中的卷积核；h(MS0)、h(MS1)、h(MS2)、h(MS3)分别表示分布式残差融合模型第2个支路的第一、二、三、四层多光谱图像残差模块中的跳跃连接部分；F(MS0,WMS0)、
Figure BDA0003033384480000054
Figure BDA0003033384480000055
分别表示分布式残差融合模型第2个支路的第一、二、三、四层多光谱图像残差模块中的残差部分。
优选的，将训练集的全色图像和多光谱图像进行通道拼接后输入用于融合的第3个支路的第一层卷积融合模块，获得第一尺度融合结果，所述第一层卷积融合模块通过下式表示：
Figure BDA0003033384480000056
将第一尺度全色图像特征、第一尺度多光谱图像特征与第一尺度融合结果进行通道拼接后输入第二层卷积融合模块，获得第二尺度融合结果，所述第二层卷积融合模块通过下式表示：
Figure BDA0003033384480000057
将第二尺度全色图像特征、第二尺度多光谱图像特征与第二尺度融合结果进行通道拼接后输入第三层卷积融合模块，获得第三尺度融合结果，所述第三层卷积融合模块通过下式表示：
Figure BDA0003033384480000058
将第三尺度全色图像特征、第三尺度多光谱图像特征与第三尺度融合结果进行通道拼接后输入第四层卷积融合模块，获得第四尺度融合结果，所述第四层卷积融合模块通过下式表示：
Figure BDA0003033384480000059
将第四尺度全色图像特征、第四尺度多光谱图像特征与第四尺度融合结果进行通道拼接后输入到最后一层卷积融合模块，所述最后一层卷积融合模块通过下式表示：
Figure BDA0003033384480000061
从而获得最终的融合图像。
式中，MSP1、MSP2、MSP3、FMSP分别是分布式残差模型的融合支路不同层级的融合结果；WMSP0、WMSP1、WMSP2、WMSP3、WMSP4分别表示分布式残差模型的融合支路第一、二、三、四、五层的卷积核；FMP是融合规则；
Figure BDA0003033384480000062
表示拼接操作。
优选的，将标签多光谱图像与融合的多光谱图像进行对比，使得损失函数最小，分布式残差融合模型达到最优。
与现有技术相比，本发明达到的有益效果如下：
本发明提供的基于残差网络的遥感全色和多光谱图像分布式融合方法，充分利用2个特征提取支路的全色图像和多光谱图像不同尺度的特征以及融合支路前一步的融合结果，使后面的融合利用更多的光谱信息、空间信息，而且使用残差模块提取遥感图像特征，使用不同尺度的特征进行融合，保留更多的光谱信息和空间信息，在提高空间分辨率和保留光谱信息方面更具优越性能，提高了融合质量。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的优选实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的基于残差网络的遥感全色和多光谱图像分布式融合方法的流程图；
图2为本发明提供的分布式残差融合模型的结构图。
具体实施方式
为了更好理解本发明技术内容，下面提供具体实施例，并结合附图对本发明做进一步的说明。
参见图1，本发明公开了一种基于残差网络的遥感全色和多光谱图像分布式融合方法，包括下列步骤：
步骤101：通过Landsat-8、Landsat-7、Quickbird、GF-2卫星采集目标区域的原始图像，并对所述原始图像进行预处理，所述原始图像包括全色图像和多光谱图像；
其预处理的过程还进一步包括：
根据采集到的上述四个卫星数据级别，对原始图像进行辐射定标、几何精校正操作。
同时由于本实施方式涉及到像素级融合，还需要对全色图像和多光谱图像进行空间配准。
步骤102：根据Wald准则对预处理后的原始图像进行降分辨率处理，获得降分辨率的全色图像和多光谱图像，同时基于降分辨率的全色图像以及多光谱图像构建仿真训练集以及测试集；
在本申请提供的一个可选实施例中，根据Wald准则对预处理后的原始图像进行降分辨率处理包括下列步骤：确定下采样因子，根据Wald准则对所述原始全色图像和多光谱图像使用双三次插值方法进行下采样；
其下采样后的全色图像尺寸保持不变，然后对下采样后的多光谱图像使用双三次插值方法上采样，使上采样后的多光谱图像尺寸和下采样后的全色图像尺寸一样。
在完成对所有预处理后的原始图像进行降分辨率处理后，使用Landsat-8卫星的降分辨率上采样后的多光谱图像、降分辨率的全色图像以及原始多光谱图像作为训练集，为了更好地验证分布式残差融合模型的性能，使用Landsat-8、Landsat-7、Quickbird以及GF-2四个卫星的降分辨率上采样后的多光谱图像、降分辨率的全色图像以及原始多光谱图像作为仿真测试集和全分辨率测试集。
参见图2，步骤103：构建由3个支路构成的分布式残差融合模型，将训练集中降分辨率的全色图像和多光谱图像作为分布式残差融合模型的输入，全分辨率多光谱图像作为输出，对所述分布式残差融合模型进行充分训练；
所述分布式残差融合模型的第1个支路是由用于提取全色图像特征的多层全色图像残差模块构成；
第2个支路是由用于提取多光谱图像特征的多层多光谱图像残差模块构成，第3个支路是由用于所述的前2个支路的多尺度特征和第3个支路前一步融合结果进行融合的多层卷积融合模块组成。
将训练集的降分辨率的全色图像和多光谱图像作为分布式残差融合模型的输入，对应的全分辨率的多光谱图像作为输出。
在本申请提供的一个可选实施例中，所述分布式残差融合模型的训练包括下列步骤：
第1个支路首先将训练集的全色图像输入第一层全色图像残差模块中，获得第一尺度全色图像特征，第一层全色图像残差模块包括残差部分和跳跃连接部分，其中残差部分的卷积部分使用2层3×3×32卷积核，其中卷积核的大小是3×3，卷积核的个数是32，下述的卷积核的形式和该卷积核形式的意义一样，跳跃连接部分使用1层1×1×32卷积核，所述第一层全色图像残差模块通过下式表示：
Figure BDA0003033384480000081
其中
Figure BDA0003033384480000082
将所述第一尺度全色图像特征输入第二层全色图像残差模块中，获得第二尺度全色图像特征，第二层全色图像残差模块中的残差部分的卷积部分使用2层3×3×64卷积核，跳跃连接部分使用1层1×1×64卷积核，所述第二层全色图像残差模块通过下式表示：
Figure BDA0003033384480000083
其中
Figure BDA0003033384480000084
将所述第二尺度全色图像特征输入第三层全色图像残差模块中，获得第三尺度全色图像特征，全色图像第三层残差模块中的残差部分的卷积部分使用2层3×3×128卷积核，跳跃连接部分使用1层1×1×128卷积核，所述全色图像第三层残差模块通过下式表示：
Figure BDA0003033384480000091
其中
Figure BDA0003033384480000092
将所述第三尺度全色图像特征输入第四层全色图像残差模块中，获得第四尺度全色图像特征，第四层全色图像残差模块中的残差部分的卷积部分使用2层3×3×256卷积核，跳跃连接部分使用1层1×1×256卷积核，所述第四层全色图像卷积模型通过下式表示：
Figure BDA0003033384480000093
其中
Figure BDA0003033384480000094
式中，PAN0表示原始全色图像，PAN1、PAN2、PAN3、PAN4表示全色图像不同尺度特征；
Figure BDA0003033384480000095
分别表示分布式残差融合模型第1个支路的第一、二、三、四层全色图像残差模块中的卷积核；h(PAN0)、h(PAN1)、h(PAN2)、h(PAN3)分别表示分布式残差融合模型第1个支路第一、二、三、四层全色图像残差模块中的跳跃连接部分；
Figure BDA0003033384480000096
Figure BDA0003033384480000097
分别表示分布式残差融合模型第1个支路第一、二、三、四层全色图像残差模块中的残差部分；*表示卷积操作。
将训练集的多光谱图像输入第2个支路的第一层光谱图像残差模块，获得第一尺度多光谱图像特征，第一层多光谱图像残差模块中的残差部分的卷积部分使用2层3×3×32卷积核，跳跃连接部分使用1层1×1×32卷积核，所述第一层多光谱图像卷积模型通过下式表示：MS1＝h(MS0)+F(MS0,WMS0)，其中h(MS0)＝WMS0′*MS0；
将第一尺度多光谱图像特征输入第二层多光谱图像残差模块中，获得第二尺度多光谱图像特征，所述第二层多光谱图像残差模块中的残差部分的卷积部分使用2层3×3×64卷积核，跳跃连接部分使用1层1×1×64卷积核，所述第二层多光谱图像残差模块通过下式表示：
Figure BDA0003033384480000101
其中
Figure BDA0003033384480000102
将第二尺度多光谱图像特征输入第三层多光谱图像残差模块中，获得第三尺度多光谱图像特征，第三层多光谱图像残差模块中的残差部分的卷积部分使用2层3×3×128卷积核，跳跃连接部分使用1层1×1×128卷积核，所述第三层多光谱图像残差模块通过下式表示：
Figure BDA0003033384480000103
其中
Figure BDA0003033384480000104
将第三尺度多光谱图像特征输入第四层多光谱图像残差模块中，获得第四尺度多光谱图像特征，所述第四层多光谱图像残差模块中的残差部分的卷积部分使用2层3×3×256卷积核，跳跃连接部分使用1层1×1×256卷积核，所述第四层多光谱图像残差模块通过下式表示：
Figure BDA0003033384480000105
其中
Figure BDA0003033384480000106
式中，MS0表示原始多光谱图像，MS1、MS2、MS3、MS4表示多光谱图像不同尺度特征；
Figure BDA0003033384480000107
分别表示分布式残差融合模型第2个支路的第一、二、三、四层多光谱图像残差模块中的卷积核；h(MS0)、h(MS1)、h(MS2)、h(MS3)分别表示分布式残差融合模型第2个支路的第一、二、三、四层多光谱图像残差模块中的跳跃连接部分；F(MS0,WMS0)、
Figure BDA0003033384480000108
Figure BDA0003033384480000109
分别表示分布式残差融合模型第2个支路的第一、二、三、四层多光谱图像残差模块中的残差部分。
将训练集的全色图像和多光谱图像进行通道拼接后输入第3个支路的第一层卷积融合模块，获得第一尺度融合结果，第一层卷积融合模型使用3层1×1×32卷积核，所述第一层卷积融合模型通过下式表示：
Figure BDA00030333844800001010
将第一尺度全色图像特征、第一尺度多光谱图像特征与第一尺度融合结果进行通道拼接后输入第二层卷积融合模块，获得第二尺度融合结果，所述第二层卷积融合模块使用3层1×1×64卷积核，所述第二层卷积融合模块通过下式表示：
Figure BDA0003033384480000111
第二尺度全色图像特征、第二尺度多光谱图像特征与第二尺度融合结果进行通道拼接后输入第三层卷积融合模块，获得第三尺度融合结果，所述第三层卷积融合模块使用3层1×1×128卷积核，所述第三层卷积融合模块通过下式表示：
Figure BDA0003033384480000112
将第三尺度全色图像特征、第三尺度多光谱图像特征与第三尺度融合结果进行通道拼接后输入第四层卷积融合模块，获得第四尺度融合结果，所述第四层卷积融合模块使用3层1×1×256卷积核，所述第四层卷积融合模块通过下式表示：
Figure BDA0003033384480000113
将第四尺度全色图像特征、第四尺度多光谱图像特征与第四尺度融合结果进行通道拼接后输入到最后一层卷积融合模块，最后一层卷积融合模块使用1层1×1×3卷积核图像融合，其具体表示为
Figure BDA0003033384480000114
从而获得最终的融合图像。
式中，MSP1、MSP2、MSP3、FMSP分别是分布式残差模型的融合支路不同层级的融合结果；WMSP0、WMSP1、WMSP2、WMSP3、WMSP4分别表示分布式残差模型的融合支路第一、二、三、四、五层的卷积核；FMP是融合规则；
Figure BDA0003033384480000115
表示拼接操作。
进一步的，将标签多光谱图像与融合的多光谱图像进行对比，使用损失函数
Figure BDA0003033384480000116
进行计算，训练过程中使用Adam Optimizer对损失函数进行优化，当损失函数最小时，所获得的融合图像即为最优融合图像，其分布式残差融合模型也训练完毕，并获得了最优训练效果。
式中，i表示第i个样本，m是样本个数，HM(i)是第i个样本的理想融合结果(标签)，F(MS(i),PAN(i),W)表示第i个样本的融合结果。
步骤104：将降分辨率的仿真测试集、全分辨率的全色图像和多光谱图像输入到训练好的分布式残差融合模型，分别得到全分辨率的全色锐化图像以及高分辨率的全色锐化图像。并对融合结果进行主观评价，以及使用客观指标对融合结果进行客观评价。
本发明的效果可通过以下对比实验说明，具体如下：采用Landsat-7卫星传感器在2000年11月8号获取的海南省海口市靠近南海的遥感图像。其中多光谱图像空间分辨率是30米，像素大小是600×600；对应的全色图像分辨率是15米，像素大小是1200×1200。按照Wald准则对空间分辨率15米全色图像和空间分辨率30米多光谱图像以2倍因子进行下采样操作获得30米全色和60米多光谱仿真图像。分别使用6种方法分别为：Brovey、GS、SFIM、IFCNN、PNN、DRPNN与本发明基于残差网络的分布式融合方法进行对比。其中降分辨率数据的融合结果指标分析如表1。
表1
CC RMSE SSIM UIQI SAM ERGAS
Brovey 0.8819 0.0793 0.8926 0.8815 9.2119 9.9810
GS 0.7942 0.1824 0.8010 0.7939 19.0672 23.6314
SFIM 0.8948 0.0406 0.8924 0.8944 5.2782 5.1774
IFCNN 0.8427 0.1527 0.8320 0.8417 17.8146 19.9831
PNN 0.8942 0.0419 0.9071 0.8932 5.7434 5.1783
DRPNN 0.9437 0.0384 0.9224 0.9421 5.1820 4.7071
Proposed 0.9662 0.0362 0.9279 0.9658 4.7233 4.3570
从表1的6个客观评价指标数据可以看出，本发明提出的基于残差网络的分布式融合方法效果是比较好的。本发明提出的基于残差网络的分布式融合方法能更大程度提高分辨率的同时保留光谱信息，减小光谱失真和空间失真。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.基于残差网络的遥感全色和多光谱图像分布式融合方法，其特征在于，包括下列步骤：
通过卫星采集目标区域的原始图像，并对所述原始图像进行预处理，所述原始图像包括全色图像和多光谱图像；
根据Wald准则对预处理后的原始图像进行降分辨率处理，获得降分辨率的全色图像和多光谱图像，同时基于降分辨率的全色图像以及多光谱图像构建仿真训练集以及测试集；
构建由3个支路构成的分布式残差融合模型，将训练集中降分辨率的全色图像和多光谱图像作为分布式残差融合模型的输入，全分辨率多光谱图像作为输出，对所述分布式残差融合模型进行充分训练；
将降分辨率的仿真测试集和全分辨率的全色图像和多光谱图像输入到训练好的分布式残差融合模型，得到全色锐化图像。
2.根据权利要求1所述的基于残差网络的遥感全色和多光谱图像分布式融合方法，其特征在于，对所述原始图像进行预处理包括：对原始图像进行辐射定标、几何精校正和空间配准。
3.根据权利要求2所述的基于残差网络的遥感全色和多光谱图像分布式融合方法，其特征在于，根据Wald准则对预处理后的原始图像进行降分辨率处理，包括：
确定下采样因子，根据Wald准则对所述原始全色图像和多光谱图像使用双三次插值方法进行下采样；
根据Wald准则对下采样后的多光谱图像使用双三次插值方法进行上采样，使输入分布式残差融合模型的图像尺寸大小保持一样。
4.根据权利要求3所述的基于残差网络的遥感全色和多光谱图像分布式融合方法，其特征在于，基于降分辨率上采样后的多光谱图像、降分辨率全色图像以及原始多光谱图像构建仿真训练集和测试集。
5.根据权利要求4所述的基于残差网络的遥感全色和多光谱图像分布式融合方法，其特征在于，所述分布式残差融合模型的第1个支路是由用于提取全色图像特征的多层全色图像残差模块构成；
第2个支路是由用于提取多光谱图像特征的多层多光谱图像残差模块构成；
第3个支路是由多层卷积融合模块构成。
6.根据权利要求5所述的基于残差网络的遥感全色和多光谱图像分布式融合方法，其特征在于，所述方法还包括：
将训练集中降分辨率的全色图像输入多层全色图像残差模块中进行多尺度全色图像特征的逐层提取；
将训练集中降分辨率的多光谱图像输入多层多光谱图像残差模块中进行多尺度多光谱图像特征的逐层提取；
将逐层提取的多尺度全色图像特征、多尺度多光谱图像特征以及融合支路前一步的融合结果进行通道拼接后输入多层卷积融合模块中进行逐层融合，多层卷积融合模块最后一层的融合结果为所述分布式残差融合模型的融合结果，即全色锐化图像。
7.根据权利要求6所述的基于残差网络的遥感全色和多光谱图像分布式融合方法，其特征在于，将训练集中降分辨率的全色图像输入用于提取全色图像特征的第1个支路的第一层全色图像残差模块中，获得第一尺度全色图像特征，所述第一层全色图像残差模块通过下式表示：
Figure FDA0003033384470000021
其中
Figure FDA0003033384470000022
将所述第一尺度全色图像特征输入第二层全色图像残差模块中，获得第二尺度全色图像特征，所述第二层全色图像残差模块通过下式表示：
Figure FDA0003033384470000023
其中
Figure FDA0003033384470000024
将所述第二尺度全色图像特征输入第三层全色图像残差模块中，获得第三尺度全色图像特征，所述第三层全色图像残差模块通过下式表示：
Figure FDA0003033384470000031
其中
Figure FDA0003033384470000032
将所述第三尺度全色图像特征输入第四层全色图像残差模块中，获得第四尺度全色图像特征，所述第四层全色图像残差模块通过下式表示：
Figure FDA0003033384470000033
其中
Figure FDA0003033384470000034
式中，PAN0表示原始全色图像，PAN1、PAN2、PAN3、PAN4表示全色图像不同尺度特征；
Figure FDA0003033384470000035
分别表示分布式残差融合模型第1个支路的第一、二、三、四层全色图像残差模块中的卷积核；h(PAN0)、h(PAN1)、h(PAN2)、h(PAN3)分别表示分布式残差融合模型第1个支路第一、二、三、四层全色图像残差模块中的跳跃连接部分；
Figure FDA0003033384470000036
Figure FDA0003033384470000037
分别表示分布式残差融合模型第1个支路第一、二、三、四层全色图像残差模块中的残差部分；*表示卷积操作。
8.根据权利要求7所述的基于残差网络的遥感全色和多光谱图像分布式融合方法，其特征在于，将训练集中降分辨率的多光谱图像输入用于提取多光谱图像特征的第2个支路的第一层多光谱图像残差模块中，获得第一尺度多光谱图像特征，所述第一层多光谱图像残差模块通过下式表示：MS1＝h(MS0)+F(MS0,WMS0)，其中h(MS0)＝WMS0′*MS0；
将第一尺度多光谱图像特征输入第二层多光谱图像残差模块中，获得第二尺度多光谱图像特征，所述第二层多光谱图像残差模块通过下式表示：
Figure FDA0003033384470000038
其中
Figure FDA0003033384470000039
将第二尺度多光谱图像特征输入第三层多光谱图像残差模块中，获得第三尺度多光谱图像特征，所述第三层多光谱图像残差模块通过下式表示：
Figure FDA00030333844700000310
其中
Figure FDA00030333844700000311
将第三尺度多光谱图像特征输入第四层多光谱图像残差模块中，获得第四尺度多光谱图像特征，所述第四层多光谱图像残差模块通过下式表示：
Figure FDA0003033384470000041
其中
Figure FDA0003033384470000042
式中，MS0表示原始多光谱图像，MS1、MS2、MS3、MS4表示多光谱图像不同尺度特征；
Figure FDA0003033384470000043
分别表示分布式残差融合模型第2个支路的第一、二、三、四层多光谱图像残差模块中的卷积核；h(MS0)、h(MS1)、h(MS2)、h(MS3)分别表示分布式残差融合模型第2个支路的第一、二、三、四层多光谱图像残差模块中的跳跃连接部分；F(MS0,WMS0)、
Figure FDA0003033384470000044
Figure FDA0003033384470000045
分别表示分布式残差融合模型第2个支路的第一、二、三、四层多光谱图像残差模块中的残差部分。
9.根据权利要求8所述的基于残差网络的遥感全色和多光谱图像分布式融合方法，其特征在于，将训练集中降分辨率的全色图像和多光谱图像进行通道拼接后输入用于融合的第3个支路的第一层卷积融合模块，获得第一尺度融合结果，所述第一层卷积融合模块通过下式表示：MSP1＝FMP(MS0⊕PAN0,WMSP0)；
将第一尺度全色图像特征、第一尺度多光谱图像特征与第一尺度融合结果进行通道拼接后输入第二层卷积融合模块，获得第二尺度融合结果，所述第二层卷积融合模块通过下式表示：MSP2＝FMP(MS1⊕PAN1⊕MSP1,WMSP1)；
将第二尺度全色图像特征、第二尺度多光谱图像特征与第二尺度融合结果进行通道拼接后输入第三层卷积融合模块，获得第三尺度融合结果，所述第三层卷积融合模块通过下式表示：MSP3＝FMP(MS2⊕PAN2⊕MSP2,WMSP2)
将第三尺度全色图像特征、第三尺度多光谱图像特征与第三尺度融合结果进行通道拼接后输入第四层卷积融合模块，获得第四尺度融合结果，所述第四层卷积融合模块通过下式表示：MSP4＝FMP(MS3⊕PAN3⊕MSP3,WMSP3)；
将第四尺度全色图像特征、第四尺度多光谱图像特征与第四尺度融合结果进行通道拼接后输入到最后一层卷积融合模块，获得最终的全色锐化图像，所述最后一层卷积融合模块通过下式表示：FMSP＝FMP(MS4⊕PAN4⊕MSP4,WMSP4)。
式中，MSP1、MSP2、MSP3、FMSP分别是分布式残差模型的融合支路不同层级的融合结果；WMSP0、WMSP1、WMSP2、WMSP3、WMSP4分别表示分布式残差模型的融合支路第一、二、三、四、五层的卷积核；FMP是融合规则；⊕表示拼接操作。
10.根据权利要求9所述的基于残差网络的遥感全色和多光谱图像分布式融合方法，其特征在于，将标签多光谱图像与融合的多光谱图像进行对比，使得损失函数最小，分布式残差融合模型达到最优。
CN202110436758.XA 2021-04-22 2021-04-22 基于残差网络的遥感全色和多光谱图像分布式融合方法 Active CN113222835B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110436758.XA CN113222835B (zh) 2021-04-22 2021-04-22 基于残差网络的遥感全色和多光谱图像分布式融合方法
PCT/CN2021/118578 WO2022222352A1 (zh) 2021-04-22 2021-09-15 基于残差网络的遥感全色和多光谱图像分布式融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110436758.XA CN113222835B (zh) 2021-04-22 2021-04-22 基于残差网络的遥感全色和多光谱图像分布式融合方法

Publications (2)

Publication Number Publication Date
CN113222835A true CN113222835A (zh) 2021-08-06
CN113222835B CN113222835B (zh) 2023-04-14

Family

ID=77088600

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110436758.XA Active CN113222835B (zh) 2021-04-22 2021-04-22 基于残差网络的遥感全色和多光谱图像分布式融合方法

Country Status (2)

Country Link
CN (1) CN113222835B (zh)
WO (1) WO2022222352A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113688806A (zh) * 2021-10-26 2021-11-23 南京智谱科技有限公司 一种红外与可见光图像融合的多光谱目标检测方法及系统
CN113793289A (zh) * 2021-09-10 2021-12-14 海南大学 基于cnn和nsct的多光谱图像和全色图像模糊融合方法
CN114529489A (zh) * 2022-03-01 2022-05-24 中国科学院深圳先进技术研究院 多源遥感图像融合方法、装置、设备及存储介质
CN114581347A (zh) * 2022-01-24 2022-06-03 中国科学院空天信息创新研究院 无参考影像的光学遥感空谱融合方法、装置、设备及介质
WO2022222352A1 (zh) * 2021-04-22 2022-10-27 海南大学 基于残差网络的遥感全色和多光谱图像分布式融合方法
CN115565037A (zh) * 2022-09-14 2023-01-03 中国科学院空天信息创新研究院 图像融合方法及装置
CN115564692A (zh) * 2022-09-07 2023-01-03 宁波大学 顾及幅宽差异下的全色-多光谱-高光谱一体化融合方法
CN115661680A (zh) * 2022-11-15 2023-01-31 北京轨道未来空间科技有限公司 卫星遥感图像处理方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115471437B (zh) * 2022-11-14 2023-03-10 中国测绘科学研究院 一种基于卷积神经网络的影像融合方法以及遥感影像融合方法
CN115880152B (zh) * 2022-12-13 2023-11-24 哈尔滨工业大学 一种基于多传感器光谱重构网络的高光谱遥感图像生成方法
CN116433485B (zh) * 2023-03-16 2023-10-31 辽宁省地质勘查院有限责任公司 一种高分遥感一张图的制作方法
CN116229287B (zh) * 2023-05-10 2023-07-21 中国科学院合肥物质科学研究院 基于复杂林地环境的遥感亚像元疫木检测方法
CN116245779B (zh) * 2023-05-11 2023-08-22 四川工程职业技术学院 一种图像融合方法、装置、存储介质及电子设备
CN116935214B (zh) * 2023-06-27 2024-04-12 福建鼎旸信息科技股份有限公司 一种卫星多源遥感数据的时空谱融合方法
CN117726915A (zh) * 2024-02-07 2024-03-19 南方海洋科学与工程广东省实验室(广州) 遥感数据空谱融合方法及装置、存储介质与终端

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102902966A (zh) * 2012-10-12 2013-01-30 大连理工大学 一种基于深度信赖网络的超分辨率人脸识别方法
CN107124612A (zh) * 2017-04-26 2017-09-01 东北大学 基于分布式压缩感知的高光谱图像压缩方法
CN109146813A (zh) * 2018-08-16 2019-01-04 广州视源电子科技股份有限公司 一种多任务图像重建方法、装置、设备和介质
CN109272010A (zh) * 2018-07-27 2019-01-25 吉林大学 基于卷积神经网络的多尺度遥感图像融合方法
CN110351303A (zh) * 2019-07-29 2019-10-18 海南大学 一种DDoS特征提取方法及装置
CN111037143A (zh) * 2019-11-28 2020-04-21 新兴际华集团有限公司 基于焊接热循环调控焊缝组织性能的方法
CN111524063A (zh) * 2019-12-24 2020-08-11 珠海大横琴科技发展有限公司 一种遥感图像融合方法及装置
CN111915487A (zh) * 2020-08-04 2020-11-10 武汉工程大学 基于分层多尺度残差融合网络的人脸超分辨率方法及装置
CN112184554A (zh) * 2020-10-13 2021-01-05 重庆邮电大学 一种基于残差混合膨胀卷积的遥感图像融合方法
CN112637599A (zh) * 2020-12-02 2021-04-09 哈尔滨工业大学（深圳） 一种基于分布式压缩视频感知系统的新型重构方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7936949B2 (en) * 2006-12-01 2011-05-03 Harris Corporation Panchromatic modulation of multispectral imagery
CN110930343A (zh) * 2019-11-22 2020-03-27 南京信息工程大学 基于sr-mdcnn的遥感图像融合方法
CN112529827A (zh) * 2020-12-14 2021-03-19 珠海大横琴科技发展有限公司 遥感图像融合模型的训练方法及装置
CN113222835B (zh) * 2021-04-22 2023-04-14 海南大学 基于残差网络的遥感全色和多光谱图像分布式融合方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102902966A (zh) * 2012-10-12 2013-01-30 大连理工大学 一种基于深度信赖网络的超分辨率人脸识别方法
CN107124612A (zh) * 2017-04-26 2017-09-01 东北大学 基于分布式压缩感知的高光谱图像压缩方法
CN109272010A (zh) * 2018-07-27 2019-01-25 吉林大学 基于卷积神经网络的多尺度遥感图像融合方法
CN109146813A (zh) * 2018-08-16 2019-01-04 广州视源电子科技股份有限公司 一种多任务图像重建方法、装置、设备和介质
CN110351303A (zh) * 2019-07-29 2019-10-18 海南大学 一种DDoS特征提取方法及装置
CN111037143A (zh) * 2019-11-28 2020-04-21 新兴际华集团有限公司 基于焊接热循环调控焊缝组织性能的方法
CN111524063A (zh) * 2019-12-24 2020-08-11 珠海大横琴科技发展有限公司 一种遥感图像融合方法及装置
CN111915487A (zh) * 2020-08-04 2020-11-10 武汉工程大学 基于分层多尺度残差融合网络的人脸超分辨率方法及装置
CN112184554A (zh) * 2020-10-13 2021-01-05 重庆邮电大学 一种基于残差混合膨胀卷积的遥感图像融合方法
CN112637599A (zh) * 2020-12-02 2021-04-09 哈尔滨工业大学（深圳） 一种基于分布式压缩视频感知系统的新型重构方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
QUANFU ZHANG 等: "Distributed residual coding for multi-view video with joint motion vector projection and 3-D warping", 《2011 IEEE INTERNATIONAL SYMPOSIUM OF CIRCUITS AND SYSTEMS (ISCAS)》 *
刘俊芃: "遥感影像云架构存储及分类算法并行化处理技术研究与实现", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
周晓谊 等: "基于遍历矩阵和混合密钥的验证和图像空域加密技术", 《信息网络安全》 *
安文 等: "基于双向运动估计的残差分布式视频重构模型研究", 《无线电通信技术》 *
沈俊灵: "基于Spark的高光谱图像分布式并行分类", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
黄碧波: "多视角分布式视频编码中边信息生成技术研究", 《中国优秀硕士学位论文全文数据库 信息科技》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022222352A1 (zh) * 2021-04-22 2022-10-27 海南大学 基于残差网络的遥感全色和多光谱图像分布式融合方法
CN113793289A (zh) * 2021-09-10 2021-12-14 海南大学 基于cnn和nsct的多光谱图像和全色图像模糊融合方法
CN113793289B (zh) * 2021-09-10 2023-06-20 海南大学 基于cnn和nsct的多光谱图像和全色图像模糊融合方法
CN113688806A (zh) * 2021-10-26 2021-11-23 南京智谱科技有限公司 一种红外与可见光图像融合的多光谱目标检测方法及系统
CN114581347A (zh) * 2022-01-24 2022-06-03 中国科学院空天信息创新研究院 无参考影像的光学遥感空谱融合方法、装置、设备及介质
CN114581347B (zh) * 2022-01-24 2024-03-12 中国科学院空天信息创新研究院 无参考影像的光学遥感空谱融合方法、装置、设备及介质
CN114529489A (zh) * 2022-03-01 2022-05-24 中国科学院深圳先进技术研究院 多源遥感图像融合方法、装置、设备及存储介质
CN115564692A (zh) * 2022-09-07 2023-01-03 宁波大学 顾及幅宽差异下的全色-多光谱-高光谱一体化融合方法
CN115564692B (zh) * 2022-09-07 2023-12-05 宁波大学 顾及幅宽差异下的全色-多光谱-高光谱一体化融合方法
CN115565037A (zh) * 2022-09-14 2023-01-03 中国科学院空天信息创新研究院 图像融合方法及装置
CN115565037B (zh) * 2022-09-14 2023-08-22 中国科学院空天信息创新研究院 图像融合方法及装置
CN115661680A (zh) * 2022-11-15 2023-01-31 北京轨道未来空间科技有限公司 卫星遥感图像处理方法

Also Published As

Publication number Publication date
CN113222835B (zh) 2023-04-14
WO2022222352A1 (zh) 2022-10-27

Similar Documents

Publication Publication Date Title
CN113222835B (zh) 基于残差网络的遥感全色和多光谱图像分布式融合方法
WO2021184891A1 (zh) 遥感影像地物分类方法及系统
CN111191736B (zh) 基于深度特征交叉融合的高光谱图像分类方法
Mahapatra et al. Image super resolution using generative adversarial networks and local saliency maps for retinal image analysis
CN110428387B (zh) 基于深度学习与矩阵分解的高光谱与全色图像融合方法
CN110415199B (zh) 基于残差学习的多光谱遥感图像融合方法及装置
CN111127374B (zh) 一种基于多尺度密集网络的Pan-sharpening方法
CN112734646B (zh) 一种基于特征通道划分的图像超分辨率重建方法
CN111210435A (zh) 一种基于局部和全局特征增强模块的图像语义分割方法
CN112184554B (zh) 一种基于残差混合膨胀卷积的遥感图像融合方法
CN110070518B (zh) 一种基于双路径支持下的高光谱图像超分辨率制图方法
CN113129247B (zh) 基于自适应多尺度残差卷积的遥感图像融合方法及介质
CN111524135A (zh) 基于图像增强的输电线路细小金具缺陷检测方法及系统
CN110544212B (zh) 基于层级特征融合的卷积神经网络高光谱图像锐化方法
CN109636769A (zh) 基于双路密集残差网络的高光谱和多光谱图像融合方法
CN111951164B (zh) 一种图像超分辨率重建网络结构及图像重建效果分析方法
CN110503052A (zh) 一种基于改进u-net网络的图像语义分割方法
US20200034664A1 (en) Network Architecture for Generating a Labeled Overhead Image
CN116309070A (zh) 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备
CN114494812A (zh) 一种基于改进CenterNet的图像小目标检测方法
CN115565045A (zh) 基于多尺度空谱变换的高光谱与多光谱图像融合方法
CN111383203B (zh) 基于分区域拟合的全色与多光谱遥感图像融合方法
CN115511767A (zh) 一种自监督学习的多模态图像融合方法及其应用
CN113793289A (zh) 基于cnn和nsct的多光谱图像和全色图像模糊融合方法
Yang et al. Image super-resolution reconstruction based on improved Dirac residual network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant