CN115760670B - 基于网络隐式先验的无监督高光谱融合方法及装置 - Google Patents

基于网络隐式先验的无监督高光谱融合方法及装置 Download PDF

Info

Publication number
CN115760670B
CN115760670B CN202310023010.6A CN202310023010A CN115760670B CN 115760670 B CN115760670 B CN 115760670B CN 202310023010 A CN202310023010 A CN 202310023010A CN 115760670 B CN115760670 B CN 115760670B
Authority
CN
China
Prior art keywords
image
module
representing
downsampling
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310023010.6A
Other languages
English (en)
Other versions
CN115760670A (zh
Inventor
俞再亮
郏维强
李鹏飞
郑建炜
王一张
赵颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Zhejiang Lab
Original Assignee
Zhejiang University of Technology ZJUT
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT, Zhejiang Lab filed Critical Zhejiang University of Technology ZJUT
Priority to CN202310023010.6A priority Critical patent/CN115760670B/zh
Publication of CN115760670A publication Critical patent/CN115760670A/zh
Application granted granted Critical
Publication of CN115760670B publication Critical patent/CN115760670B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了基于网络隐式先验的无监督高光谱融合方法及装置，获取低分辨率高光谱和高分辨率多光谱图像；采用噪声对图像进行扰动；将噪声扰动后的图像输入至编码器‑解码器体系结构，进行多级特征学习，生成高分辨率高光谱图像的模糊估计；对模糊估计分别进行空间和光谱下采样；基于低分辨率高光谱图像与空间下采样的结果，高分辨率多光谱图像与光谱下采样的结果，计算退化模型的损失函数，反向传播退化模型的优化参数给编码器‑解码器体系结构；重复执行上述过程，直至生成高分辨率高光谱图像的模糊估计达到循环终止条件。本发明利用两个并行的特殊卷积块分别模拟空间和光谱下采样，形成一个闭环，实现了无训练样本条件下的无监督学习。

Description

基于网络隐式先验的无监督高光谱融合方法及装置
技术领域
本发明涉及图像处理技术领域，尤其是涉及基于网络隐式先验的无监督高光谱融合方法及装置。
背景技术
随着光谱成像技术的不断发展，高光谱遥感技术已经受到了广泛的关注。作为观测地表的主要方法，该技术被广泛应用于农业等方面。高光谱图像由传感器捕获的不同波段图像组成，与传统图像相比，其传递更为丰富、可靠的信息。然而高光谱成像通常受到数据采集设备的限制，在空间分辨率和光谱分辨率之间无法权衡。常见的方法为将实际采集的高分辨率多光谱图像与低分辨率高光谱图像进行融合，生成理想的高分辨率高光谱图像。
近年来，受到视觉系统的内在启发，基于深度学习的方法发展迅速，已有大量学者将深度学习的方法运用到高光谱图像中。基于卷积的神经网络结构能够自动捕获图像中的先验知识，适合解决图像融合问题。然而常规的基于深度学习的图像融合方法需要大量的训练三元组，即低分辨率高光谱图像、高分辨率多光谱图像以及相对应的高分辨率高光谱图像，这在现实场景中是极难获取的。因此，如何构建无监督条件下的深度学习框架成为了一个亟待解决的问题。
发明内容
为解决现有技术的不足，通过编码器-解码器结构构建生成网络，并使用卷积模拟高光谱图像退化过程，形成一个闭环，实现了无训练样本图像条件下的无监督学习的目的，本发明采用如下的技术方案：
一种基于网络隐式先验的无监督高光谱融合方法，包括如下步骤：
步骤S1：获取待融合的低分辨率高光谱图像和高分辨率多光谱图像；
步骤S2：采用噪声对所述图像进行扰动；
步骤S3：将噪声扰动后的图像输入至编码器-解码器体系结构，进行多级特征学习，生成高分辨率高光谱图像的模糊估计；
步骤S4：利用两个并行的特殊卷积块实现基于生成神经网络的退化模型，对步骤S3中生成的模糊估计分别进行空间和光谱下采样；
步骤S5：基于低分辨率高光谱图像与空间下采样的结果，高分辨率多光谱图像与光谱下采样的结果，计算退化模型的损失函数，反向传播退化模型的优化参数给编码器-解码器体系结构；
步骤S6、重复步骤S2至步骤S5，直至步骤S3生成高分辨率高光谱图像的模糊估计达到循环终止条件，即得到良好的融合结果。
进一步地，所述步骤S2中，采用高斯核生成初始采样的噪声，使用随机产生的小噪声进行扰动，包括如下步骤：
步骤S2.1：获取的低分辨率高光谱图像X的大小为宽w×高h×长L，高分辨率多光谱图像Y的大小为宽W×高H×长l；
步骤S2.2：采用高斯核生成大小为W×H×L的初始采样噪声z 0；
步骤S2.3：随机生成大小为W×H×L且符合均匀分布的小噪声n，对初始采样噪声z 0进行扰动，最终获得的输入：
z= z 0 +βn
其中，β表示扰动系数。
固定的噪声输入会导致生成神经网络出现局部最小状态，产生对高分辨率高光谱图像不合理的估计。在固定的初始输入中，在每个训练步骤中使用随机产生的小噪声进行扰动，以避免陷入局部最优解。
进一步地，所述步骤S3中，编码器和解码器都由一组卷积模块组成，用于学习不同尺度的特征，编码器每个卷积模块的输出，都通过跳跃连接传输到解码器中对应尺度的卷积模块，以重用提取的详细特征。
进一步地，所述编码器和解码器中的每个卷积模块包括一组卷积层，每个卷积层后执行激活和池化操作，以减小编码器输出的特征图的大小。
进一步地，所述步骤S4中，空间下采样如下：
Figure DEST_PATH_IMAGE001
其中，
Figure 254620DEST_PATH_IMAGE002
表示空间下采样后的结果，
Figure 765236DEST_PATH_IMAGE003
表示步长为H/h的卷积操作，
Figure 13814DEST_PATH_IMAGE004
表示编 码器-解码器体系结构，H表示高分辨率多光谱图像的高，h表示低分辨率高光谱图像的高。
进一步地，所述步骤S4中，光谱下采样如下：
Figure 268078DEST_PATH_IMAGE005
其中，
Figure 551292DEST_PATH_IMAGE006
表示光谱下采样后的结果，
Figure 108175DEST_PATH_IMAGE007
表示输出通道数为l的逐点卷积操作，l表 示高分辨率多光谱图像的长。
进一步地，所述步骤S5中，退化模型的损失函数具体如下：
Figure 968684DEST_PATH_IMAGE008
其中，
Figure 902005DEST_PATH_IMAGE009
表示F范数的平方，X表示低分辨率高光谱图像，Y表示高分辨率多光谱 图像，
Figure 167288DEST_PATH_IMAGE002
表示空间下采样后的结果，
Figure 629494DEST_PATH_IMAGE006
表示光谱下采样后的结果，λ表示比例序数。
一种基于网络隐式先验的无监督高光谱融合装置，包括图像获取模块、噪声扰动模块、编码器-解码器模块和退化模块；
所述图像获取模块，用于获取待融合的低分辨率高光谱图像和高分辨率多光谱图像；
所述噪声扰动模块，采用噪声对所述图像进行扰动；
所述编码器-解码器模块，将噪声扰动后的图像输入至编码器-解码器体系结构，进行多级特征学习，生成高分辨率高光谱图像的模糊估计；
所述退化模块，利用两个并行的特殊卷积块实现基于生成神经网络的退化模型，对编码器-解码器模块中生成的模糊估计分别进行空间和光谱下采样；
基于低分辨率高光谱图像与空间下采样的结果，高分辨率多光谱图像与光谱下采样的结果，计算退化模型的损失函数，反向传播退化模型的优化参数给编码器-解码器模块；
重复执行噪声扰动模块、编码器-解码器模块和退化模块的操作，直至编码器-解码器模块生成高分辨率高光谱图像的模糊估计达到循环终止条件，即得到良好的融合结果。
进一步地，所述噪声扰动模块，采用高斯核生成初始采样的噪声，使用随机产生的小噪声进行扰动，包括图像尺寸获取模块、初始采样噪声生成模块和小噪声扰动模块；
所述图像尺寸获取模块，获取的低分辨率高光谱图像X的大小为宽w×高h×长L，高分辨率多光谱图像Y的大小为宽W×高H×长l；
所述初始采样噪声生成模块，采用高斯核生成大小为W×H×L的初始采样噪声z 0；
所述小噪声扰动模块，随机生成大小为W×H×L且符合均匀分布的小噪声n，对初始采样噪声z 0进行扰动，最终获得的输入：
z= z 0 +βn
其中，β表示扰动系数。
固定的噪声输入会导致生成神经网络出现局部最小状态，产生对高分辨率高光谱图像不合理的估计。在固定的初始输入中，在每个训练步骤中使用随机产生的小噪声进行扰动，以避免陷入局部最优解。
进一步地，所述退化模块，包括空间下采样模块、光谱下采样模块和损失计算模块；
所述空间下采样模块执行如下：
Figure 118244DEST_PATH_IMAGE001
其中，
Figure 448731DEST_PATH_IMAGE002
表示空间下采样后的结果，
Figure 706537DEST_PATH_IMAGE003
表示步长为H/h的卷积操作，
Figure 729857DEST_PATH_IMAGE004
表示编 码器-解码器体系结构，H表示高分辨率多光谱图像的高，h表示低分辨率高光谱图像的高；
所述光谱下采样模块执行如下：
Figure 705903DEST_PATH_IMAGE010
其中，
Figure 449868DEST_PATH_IMAGE006
表示光谱下采样后的结果，
Figure 686814DEST_PATH_IMAGE007
表示输出通道数为l的逐点卷积操作，l表 示高分辨率多光谱图像的长；
所述损失计算模块，其损失函数具体如下：
Figure 490822DEST_PATH_IMAGE008
其中，
Figure 78799DEST_PATH_IMAGE009
表示F范数的平方，X表示低分辨率高光谱图像，Y表示高分辨率多光谱 图像，
Figure 626455DEST_PATH_IMAGE002
表示空间下采样后的结果，
Figure 858853DEST_PATH_IMAGE006
表示光谱下采样后的结果，λ表示比例序数。
本发明的优势和有益效果在于：
本发明的基于网络隐式先验的无监督高光谱融合方法及装置，利用解码器-编码器体系结构作为生成网络的主体，通过两并行的特殊卷积块分别模拟空间和光谱下采样，形成一个闭环，以无监督的方式不断优化网络参数，并且以随机噪声作为网络的输入，避免陷入局部最优解，提高模型的泛化性能，产生良好的融合结果。
附图说明
图1是本发明实施例中方法的流程图。
图2是本发明实施例中方法的架构图。
图3是本发明实施例中装置的结构示意图。
图4是本发明实施例中设备的结构示意图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
如图1、图2所示，一种基于网络隐式先验的无监督高光谱融合方法，该方法充分利用了深度神经网络的隐式先验，实现了高光谱融合的无监督学习，具体包括以下步骤：
步骤S1：获取待融合的低分辨率高光谱图像和高分辨率多光谱图像。
为了确保融合图像的多样性，采用基于分布函数的随机采样噪声作为生成神经网络的输入，本实施例中提供的获取生成神经网络输入的方法，具体步骤参见步骤S2。
步骤S2：采用噪声对所述图像进行扰动；
在一实施例中，采用高斯核生成初始采样的噪声，使用随机产生的小噪声对其进行扰动，提供的获取生成神经网络输入过程，包括如下步骤：
步骤S2.1：获取的低分辨率高光谱图像X的大小为宽w×高h×长L，高分辨率多光谱图像Y的大小为宽W×高H×长l；
步骤S2.2：采用高斯核生成大小为W×H×L的初始采样噪声z 0；
步骤S2.3：随机生成大小为W×H×L且符合均匀分布的小噪声n，对初始采样噪声z 0进行扰动，最终获得的输入：
z= z 0 +βn
其中，表示扰动系数。
固定的噪声输入会导致生成神经网络出现局部最小状态，产生对高分辨率高光谱图像不合理的估计。在固定的初始输入中，在每个训练步骤中使用随机产生的小噪声进行扰动，以避免陷入局部最优解。
步骤S3：将扰动后的噪声输入至一个编码器-解码器体系结构，进行多级特征学习，生成一个高分辨率高光谱图像的模糊估计。
在一实施例中，编码器和解码器都由一组（例如5个）卷积模块组成，用于学习不同尺度的特征，编码器每个卷积模块的输出，都通过跳跃连接传输到解码器中对应尺度的卷积模块，以重用提取的详细特征。
编码器和解码器中的每个卷积模块包括一组（例如3个）卷积层，每个卷积层后执行一次RELU激活函数和核大小为2×2的池化操作，以减小编码器输出的特征图的大小。
步骤S4：利用两个并行的特殊卷积块实现基于生成神经网络的退化模型，对步骤S3中生成的模糊估计分别进行空间和光谱下采样，包括：
步骤S4.1：对步骤S3中生成的模糊估计进行空间下采样，如下：
Figure 223975DEST_PATH_IMAGE001
其中，
Figure 643455DEST_PATH_IMAGE002
表示空间下采样后的结果，
Figure 385015DEST_PATH_IMAGE003
表示步长为H/h的卷积操作，
Figure 206340DEST_PATH_IMAGE004
表示编 码器-解码器体系结构，H表示高分辨率多光谱图像的高，h表示低分辨率高光谱图像的高。
步骤S4.2：对步骤S3中生成的模糊估计进行光谱下采样，如下：
Figure 883309DEST_PATH_IMAGE010
其中，
Figure 914719DEST_PATH_IMAGE006
表示光谱下采样后的结果，
Figure 69757DEST_PATH_IMAGE007
表示输出通道数为l的逐点卷积操作，l表 示高分辨率多光谱图像的长。
步骤S5：基于低分辨率高光谱图像与空间下采样的结果，高分辨率多光谱图像与光谱下采样的结果，计算退化模型的损失函数，反向传播退化模型的优化参数给编码器-解码器体系结构；
本实施例中的退化模型的损失函数具体如下：
Figure 138732DEST_PATH_IMAGE008
其中，
Figure 721023DEST_PATH_IMAGE009
表示F范数的平方，X表示低分辨率高光谱图像，Y表示高分辨率多光谱 图像，
Figure 239729DEST_PATH_IMAGE002
表示空间下采样后的结果，
Figure 198458DEST_PATH_IMAGE006
表示光谱下采样后的结果，λ表示比例序数。
步骤S6、重复步骤S2至步骤S5，直至步骤S3生成一个高分辨率高光谱图像的模糊估计达到循环终止条件，即得到良好的融合结果。
本实施例利用随机噪声来搜索高分辨率高光谱图像的最优网络空间，以产生良好的融合结果；并且利用两个并行的特殊卷积块模拟下采样过程，形成一个闭环，以实现无监督学习。
如图3所示，一种基于网络隐式先验的无监督高光谱融合装置，包括图像获取模块、噪声扰动模块、编码器-解码器模块和退化模块；
所述图像获取模块，用于获取待融合的低分辨率高光谱图像和高分辨率多光谱图像；
所述噪声扰动模块，采用噪声对所述图像进行扰动；
所述编码器-解码器模块，将噪声扰动后的图像输入至编码器-解码器体系结构，进行多级特征学习，生成高分辨率高光谱图像的模糊估计；
所述退化模块，利用两个并行的特殊卷积块实现基于生成神经网络的退化模型，对编码器-解码器模块中生成的模糊估计分别进行空间和光谱下采样；
基于低分辨率高光谱图像与空间下采样的结果，高分辨率多光谱图像与光谱下采样的结果，计算退化模型的损失函数，反向传播退化模型的优化参数给编码器-解码器模块；
重复执行噪声扰动模块、编码器-解码器模块和退化模块的操作，直至编码器-解码器模块生成高分辨率高光谱图像的模糊估计达到循环终止条件，即得到良好的融合结果。
进一步地，所述噪声扰动模块，采用高斯核生成初始采样的噪声，使用随机产生的小噪声进行扰动，包括图像尺寸获取模块、初始采样噪声生成模块和小噪声扰动模块；
所述图像尺寸获取模块，获取的低分辨率高光谱图像X的大小为宽w×高h×长L，高分辨率多光谱图像Y的大小为宽W×高H×长l；
所述初始采样噪声生成模块，采用高斯核生成大小为W×H×L的初始采样噪声z 0；
所述小噪声扰动模块，随机生成大小为W×H×L且符合均匀分布的小噪声n，对初始采样噪声z 0进行扰动，最终获得的输入：
z= z 0 +βn
其中，β表示扰动系数。
固定的噪声输入会导致生成神经网络出现局部最小状态，产生对高分辨率高光谱图像不合理的估计。在固定的初始输入中，在每个训练步骤中使用随机产生的小噪声进行扰动，以避免陷入局部最优解。
进一步地，所述退化模块，包括空间下采样模块、光谱下采样模块和损失计算模块；
所述空间下采样模块执行如下：
Figure 728796DEST_PATH_IMAGE001
其中，
Figure 872202DEST_PATH_IMAGE002
表示空间下采样后的结果，
Figure 753570DEST_PATH_IMAGE003
表示步长为H/h的卷积操作，
Figure 375044DEST_PATH_IMAGE004
表示编 码器-解码器体系结构，H表示高分辨率多光谱图像的高，h表示低分辨率高光谱图像的高；
所述光谱下采样模块执行如下：
Figure 25468DEST_PATH_IMAGE010
其中，
Figure 808617DEST_PATH_IMAGE006
表示光谱下采样后的结果，
Figure 177281DEST_PATH_IMAGE007
表示输出通道数为l的逐点卷积操作，l表 示高分辨率多光谱图像的长；
所述损失计算模块，其损失函数具体如下：
Figure 477812DEST_PATH_IMAGE008
其中，
Figure 372956DEST_PATH_IMAGE009
表示F范数的平方，X表示低分辨率高光谱图像，Y表示高分辨率多光谱 图像，
Figure 202372DEST_PATH_IMAGE002
表示空间下采样后的结果，
Figure 448545DEST_PATH_IMAGE006
表示光谱下采样后的结果，λ表示比例序数。
与前述基于网络隐式先验的无监督高光谱融合方法的实施例相对应，本发明还提供了基于网络隐式先验的无监督高光谱融合设备的实施例。
参见图4，本发明实施例提供的基于网络隐式先验的无监督高光谱融合设备，包括存储器和一个或多个处理器，存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现上述实施例中的基于网络隐式先验的无监督高光谱融合方法。
本发明基于网络隐式先验的无监督高光谱融合设备的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图4所示，为本发明基于网络隐式先验的无监督高光谱融合设备所在任意具备数据处理能力的设备的一种硬件结构图，除了图4所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的基于网络隐式先验的无监督高光谱融合方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims (9)

1.一种基于网络隐式先验的无监督高光谱融合方法，其特征在于包括如下步骤：
步骤S1：获取待融合的低分辨率高光谱图像和高分辨率多光谱图像；
步骤S2：采用噪声对所述图像进行扰动；
步骤S3：将噪声扰动后的图像输入至编码器-解码器体系结构，进行多级特征学习，生成高分辨率高光谱图像的模糊估计；
步骤S4：对步骤S3中生成的模糊估计分别进行空间和光谱下采样；
步骤S5：基于低分辨率高光谱图像与空间下采样的结果，高分辨率多光谱图像与光谱下采样的结果，计算退化模型的损失函数，反向传播退化模型的优化参数给编码器-解码器体系结构；退化模型的损失函数具体如下：
Figure FDA0004143158310000011
其中，
Figure FDA0004143158310000012
表示F范数的平方，X表示低分辨率高光谱图像，Y表示高分辨率多光谱图像，/>
Figure FDA0004143158310000013
表示空间下采样后的结果，/>
Figure FDA0004143158310000014
表示光谱下采样后的结果，λ表示比例序数；
步骤S6、重复步骤S2至步骤S5，直至步骤S3生成高分辨率高光谱图像的模糊估计达到循环终止条件。
2.根据权利要求1所述的基于网络隐式先验的无监督高光谱融合方法，其特征在于：所述步骤S2中，采用高斯核生成初始采样的噪声，使用随机产生的小噪声进行扰动，包括如下步骤：
步骤S2.1：获取的低分辨率高光谱图像X的大小为宽w×高h×长L，高分辨率多光谱图像Y的大小为宽W×高H×长l；
步骤S2.2：采用高斯核生成大小为W×H×L的初始采样噪声z0；
步骤S2.3：随机生成大小为W×H×L且符合均匀分布的小噪声n，对初始采样噪声z0进行扰动，最终获得的输入：
z＝z0+βn
其中，β表示扰动系数。
3.根据权利要求1所述的基于网络隐式先验的无监督高光谱融合方法，其特征在于：所述步骤S3中，编码器和解码器都由一组卷积模块组成，用于学习不同尺度的特征，编码器每个卷积模块的输出，都通过跳跃连接传输到解码器中对应尺度的卷积模块。
4.根据权利要求3所述的基于网络隐式先验的无监督高光谱融合方法，其特征在于：所述编码器和解码器中的每个卷积模块包括一组卷积层，每个卷积层后执行激活和池化操作。
5.根据权利要求2所述的基于网络隐式先验的无监督高光谱融合方法，其特征在于：所述步骤S4中，空间下采样如下：
Figure FDA0004143158310000021
其中，
Figure FDA0004143158310000022
表示空间下采样后的结果，fDB(·)表示步长为H/h的卷积操作，Gθ表示编码器-解码器体系结构，H表示高分辨率多光谱图像的高，h表示低分辨率高光谱图像的高。
6.根据权利要求2所述的基于网络隐式先验的无监督高光谱融合方法，其特征在于：所述步骤S4中，光谱下采样如下：
Figure FDA0004143158310000023
其中，
Figure FDA0004143158310000024
表示光谱下采样后的结果，fC(·)表示输出通道数为l的逐点卷积操作，l表示高分辨率多光谱图像的长，Gθ表示编码器-解码器体系结构。
7.一种基于网络隐式先验的无监督高光谱融合装置，包括图像获取模块、噪声扰动模块、编码器-解码器模块和退化模块，其特征在于：
所述图像获取模块，用于获取待融合的低分辨率高光谱图像和高分辨率多光谱图像；
所述噪声扰动模块，采用噪声对所述图像进行扰动；
所述编码器-解码器模块，将噪声扰动后的图像输入至编码器-解码器体系结构，进行多级特征学习，生成高分辨率高光谱图像的模糊估计；
所述退化模块，对编码器-解码器模块中生成的模糊估计分别进行空间和光谱下采样；
基于低分辨率高光谱图像与空间下采样的结果，高分辨率多光谱图像与光谱下采样的结果，计算退化模型的损失函数，反向传播退化模型的优化参数给编码器-解码器模块；退化模型的损失函数具体如下：
Figure FDA0004143158310000025
其中，
Figure FDA0004143158310000026
表示F范数的平方，X表示低分辨率高光谱图像，Y表示高分辨率多光谱图像，/>
Figure FDA0004143158310000027
表示空间下采样后的结果，/>
Figure FDA0004143158310000028
表示光谱下采样后的结果，λ表示比例序数；
重复执行噪声扰动模块、编码器-解码器模块和退化模块的操作，直至编码器-解码器模块生成高分辨率高光谱图像的模糊估计达到循环终止条件。
8.根据权利要求7所述的一种基于网络隐式先验的无监督高光谱融合装置，其特征在于：
所述噪声扰动模块，采用高斯核生成初始采样的噪声，使用随机产生的小噪声进行扰动，包括图像尺寸获取模块、初始采样噪声生成模块和小噪声扰动模块；
所述图像尺寸获取模块，获取的低分辨率高光谱图像X的大小为宽w×高h×长L，高分辨率多光谱图像Y的大小为宽W×高H×长l；
所述初始采样噪声生成模块，采用高斯核生成大小为W×H×L的初始采样噪声z0；
所述小噪声扰动模块，随机生成大小为W×H×L且符合均匀分布的小噪声n，对初始采样噪声z0进行扰动，最终获得的输入：
z＝z0+βn
其中，β表示扰动系数。
9.根据权利要求8所述的一种基于网络隐式先验的无监督高光谱融合装置，其特征在于：所述退化模块，包括空间下采样模块、光谱下采样模块和损失计算模块；
所述空间下采样模块执行如下：
Figure FDA0004143158310000031
其中，
Figure FDA0004143158310000032
表示空间下采样后的结果，fDB(·)表示步长为H/h的卷积操作，Gθ表示编码器-解码器体系结构，H表示高分辨率多光谱图像的高，h表示低分辨率高光谱图像的高；
所述光谱下采样模块执行如下：
Figure FDA0004143158310000033
/>
其中，
Figure FDA0004143158310000034
表示光谱下采样后的结果，fC(·)表示输出通道数为l的逐点卷积操作，l表示高分辨率多光谱图像的长；
所述损失计算模块，其损失函数具体如下：
Figure FDA0004143158310000035
其中，
Figure FDA0004143158310000036
表示F范数的平方，X表示低分辨率高光谱图像，Y表示高分辨率多光谱图像，/>
Figure FDA0004143158310000037
表示空间下采样后的结果，/>
Figure FDA0004143158310000038
表示光谱下采样后的结果，λ表示比例序数。/>
CN202310023010.6A 2023-01-06 2023-01-06 基于网络隐式先验的无监督高光谱融合方法及装置 Active CN115760670B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310023010.6A CN115760670B (zh) 2023-01-06 2023-01-06 基于网络隐式先验的无监督高光谱融合方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310023010.6A CN115760670B (zh) 2023-01-06 2023-01-06 基于网络隐式先验的无监督高光谱融合方法及装置

Publications (2)

Publication Number Publication Date
CN115760670A CN115760670A (zh) 2023-03-07
CN115760670B true CN115760670B (zh) 2023-05-23

Family

ID=85348480

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310023010.6A Active CN115760670B (zh) 2023-01-06 2023-01-06 基于网络隐式先验的无监督高光谱融合方法及装置

Country Status (1)

Country Link
CN (1) CN115760670B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117611492B (zh) * 2023-12-06 2024-06-04 电子科技大学 多光谱卫星遥感图像的隐式表示及锐化方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634137A (zh) * 2020-12-28 2021-04-09 西安电子科技大学 基于ae提取多尺度空谱特征的高光谱和全色图像融合方法
CN115147321A (zh) * 2022-07-14 2022-10-04 武汉大学 一种基于可解译神经网络的多光谱图像融合方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108027887A (zh) * 2015-05-15 2018-05-11 空气融合有限公司 用于实时自动化多传感器数据融合和分析的决策支持的便携式设备和方法
CN111768342B (zh) * 2020-09-03 2020-12-01 之江实验室 基于注意力机制和多级反馈监督的人脸超分辨方法
CN112801881B (zh) * 2021-04-13 2021-06-22 湖南大学 一种高分辨率高光谱计算成像方法、系统及介质
CN113435474A (zh) * 2021-05-25 2021-09-24 中国地质大学（武汉） 一种基于双生成对抗网络的遥感图像融合方法
CN114155145B (zh) * 2021-11-12 2024-05-17 哈尔滨工业大学 一种基于深度展开网络的空谱同时超分辨率重建方法
CN114092834B (zh) * 2022-01-24 2022-04-15 南京理工大学 基于空谱联合残差修正网络的无监督高光谱图像盲融合方法及系统
CN114723631A (zh) * 2022-04-01 2022-07-08 西安交通大学 基于深度上下文先验与多尺度重建子网络的图像去噪方法、系统及装置
CN114862733A (zh) * 2022-05-16 2022-08-05 南京理工大学 结合光谱解混先验和可学习退化约束的高光谱图像融合方法
CN115512192A (zh) * 2022-08-16 2022-12-23 南京审计大学 基于跨尺度的octave卷积网络的多光谱和高光谱图像融合方法
CN115456923A (zh) * 2022-09-14 2022-12-09 湖南大学 基于高光谱和多光谱图像融合生成高光谱图像的方法及系统
CN115311187B (zh) * 2022-10-12 2023-01-24 湖南大学 基于内部和外部先验的高光谱融合成像方法、系统及介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634137A (zh) * 2020-12-28 2021-04-09 西安电子科技大学 基于ae提取多尺度空谱特征的高光谱和全色图像融合方法
CN115147321A (zh) * 2022-07-14 2022-10-04 武汉大学 一种基于可解译神经网络的多光谱图像融合方法

Also Published As

Publication number Publication date
CN115760670A (zh) 2023-03-07

Similar Documents

Publication Publication Date Title
Lan et al. MADNet: A fast and lightweight network for single-image super resolution
CN112308200B (zh) 神经网络的搜索方法及装置
CN111369440B (zh) 模型训练、图像超分辨处理方法、装置、终端及存储介质
CN110782395B (zh) 图像处理方法及装置、电子设备和计算机可读存储介质
Wen et al. Image recovery via transform learning and low-rank modeling: The power of complementary regularizers
CN109949224B (zh) 一种基于深度学习的联级超分辨率重建的方法及装置
CN109636721B (zh) 基于对抗学习和注意力机制的视频超分辨率方法
CN112184554A (zh) 一种基于残差混合膨胀卷积的遥感图像融合方法
CN116152591B (zh) 模型训练方法、红外小目标检测方法、装置及电子设备
CN116029947B (zh) 一种用于恶劣环境的复杂光学图像增强方法、装置和介质
Guan et al. Srdgan: learning the noise prior for super resolution with dual generative adversarial networks
JP2021179833A (ja) 情報処理装置、情報処理方法及びプログラム
CN115760670B (zh) 基于网络隐式先验的无监督高光谱融合方法及装置
Beijing et al. A Quaternion Two‐Stream R‐CNN Network for Pixel‐Level Color Image Splicing Localization
Zhou et al. MSAR‐DefogNet: Lightweight cloud removal network for high resolution remote sensing images based on multi scale convolution
CN117788295A (zh) 一种遥感图像的超分辨率重建方法、系统及介质
Zhang et al. Embarrassingly simple binarization for deep single imagery super-resolution networks
CN113379606A (zh) 一种基于预训练生成模型的人脸超分辨方法
CN116385265B (zh) 一种图像超分辨率网络的训练方法及装置
CN115439849B (zh) 基于动态多策略gan网络的仪表数字识别方法及系统
Zhang et al. Iterative multi‐scale residual network for deblurring
CN113628289B (zh) 基于图卷积自编码器的高光谱影像非线性解混方法及系统
Jia et al. Learning rich information for quad bayer remosaicing and denoising
CN113205005B (zh) 一种面向低光照低分辨率的人脸图像幻构方法
Saenz et al. Dimensionality-reduction of climate data using deep autoencoders

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant