CN116205830A - 一种基于有监督、无监督学习相结合的遥感图像融合方法 - Google Patents
一种基于有监督、无监督学习相结合的遥感图像融合方法 Download PDFInfo
- Publication number
- CN116205830A CN116205830A CN202310116959.0A CN202310116959A CN116205830A CN 116205830 A CN116205830 A CN 116205830A CN 202310116959 A CN202310116959 A CN 202310116959A CN 116205830 A CN116205830 A CN 116205830A
- Authority
- CN
- China
- Prior art keywords
- image
- fusion
- remote sensing
- convolution
- supervised
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 19
- 230000004927 fusion Effects 0.000 claims abstract description 75
- 230000006870 function Effects 0.000 claims abstract description 30
- 238000001228 spectrum Methods 0.000 claims abstract description 26
- 238000013507 mapping Methods 0.000 claims abstract description 7
- 239000013598 vector Substances 0.000 claims description 27
- 238000000034 method Methods 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 9
- 230000003595 spectral effect Effects 0.000 claims description 9
- 238000004088 simulation Methods 0.000 claims description 8
- 238000002347 injection Methods 0.000 claims description 7
- 239000007924 injection Substances 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 abstract description 8
- 238000013135 deep learning Methods 0.000 description 7
- 230000003044 adaptive effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于有监督、无监督学习相结合的遥感图像融合方法，来解决遥感图像融合领域中不同卫星下神经网络的弱泛化性导致融合图像不清晰的问题。我们利用Unet网络和Transformer网络相结合构建的有监督学习模型来学习全色、多光谱图像之间的先验映射关系。然后在切换卫星场景下，通过加载有监督学习中的模型参数得到初步融合图像，再利用损失函数驱动来对光谱、空间进行调整，克服了在某一颗卫星上训练的神经网络在其他遥感卫星下的弱泛化性。通过有监督、无监督相结合，既能够利用有监督学习全色、多光谱图像的一般先验映射关系，也能够利用无监督学习来自适应调整空间、光谱。因此，自适应调整后的多光谱图像空间细节清晰。
Description
技术领域
本发明属于遥感图像融合领域，涉及一种有监督、无监督相结合的遥感图像融合方法，适用于解决不同卫星下神经网络的弱泛化性导致融合图像不清晰的应用场景。
背景技术
遥感图像融合技术，是通过融合高空间分辨率、低光谱分辨率的全色图像和高光谱分辨率、低空间分辨率的多光谱图像，来得到高空间分辨率的多光谱图像。通过结合全色、多光谱图像的互补信息，获得更高质量的遥感图像，并应用于农业、军事、地理探测等领域。
现有的遥感图像融合技术可分为：成分替代法(CS)、多分辨率分析法(MRA)、基于模型(model based)的方法和基于深度学习(DL)的方法。成分替代法通过用全色图像替代多光谱图像中的空间分量来得到融合图像。然而，成分替代法往往造成光谱失真。多分辨率分析法只将全色图像的高频域信息注入多光谱图像，他能更好地保存光谱域信息，但是往往造成空间信息的损失。基于模型的方法通过构建空间、光谱约束建立优化模型，但是一般存在较高的计算成本。
目前，得益于神经网络强大的特征提取能力，基于深度学习的遥感图像融合方法是遥感领域的一个研究热点。但由于深度学习方法本身存在的弱泛化性问题，由于不同卫星之间的拍摄光照、角度、辨别精度等问题，一个卫星上训练的神经网络，应用到另一颗卫星时往往会发生严重的空间失真，造成了图像质量不高的融合图像。这样限制了深度学习在遥感图像融合领域的应用，因此如何设计一套深度学习框架，提高深度学习网络的泛化性，使得在一颗卫星上训练的模型能够更好地应用在其他卫星上，以得到空间细节丰富且光谱失真小的多光谱图像是遥感图像融合领域的一个重要问题。
发明内容
为了解决上述现有技术存在的问题，本发明提供一种基于有监督、无监督学习相结合的遥感图像融合方法。
本发明提供一种基于有监督、无监督学习相结合的遥感图像融合方法，包括以下步骤：
步骤1，构建细节差异提取模块，用于提取多光谱、全色图像间的细节差异；
步骤2，构建Unetformer模块，通过有监督学习来调整注入细节，并将细节注入多光谱图像；
步骤3，构建有监督目标函数训练图像融合模型，学习遥感图像光谱和空间先验知识，所述图像融合模型包括细节差异提取模块、Unetformer模块；
步骤4，构建自适应调整网络，用空间、光谱损失函数无监督驱动图像进行空间、光谱的调整；
步骤5，利用一颗卫星的仿真数据训练上述图像融合模型，并用训练好的融合模型在其他卫星上通过自适应调整网络进行图像调整。
进一步的，步骤1的具体实现方式如下；
步骤1.1，将单通道全色图像沿通道方向复制为多通道图像，通道数与多光谱图像相同；
步骤1.2，将多光谱图像上采样，以匹配全色图像的尺寸；
步骤1.3，将复制得到的全色图像和上采样的多光谱图像相减，提取到多光谱、全色图像间的细节差异。
进一步的，步骤2中所述Unetformer模块包括编码器、Transformer块和解码器，其输入为步骤1中的细节差异，具体实现方式如下；
步骤2.1，编码器采用4层卷积层，卷积核数量逐层增大，以提取多维度特征，前3层卷积层后面跟着一个平均池化操作，使得图像尺寸减小，卷积核的感受野就能覆盖到特征图的更多部分，来增加感受野的大小，最终编码器输出Z∈RC,H,W，C表示通道数；
步骤2.2，Transformer块中的块嵌入模块将特征图像Z切分成n个图像块，并且将其展平成图像块序列：
X＝[x1,x2,…,xn]
其中，X∈Rn,E，
E＝h×w×C，E是特征通道数量，H、W是图像的图像大小，h、w是图像块大小；
步骤2.3，使用三个矩阵WQ、WK、WV与图像块序列X相乘，映射得到查询向量Q、键向量K、值向量V，Q/K/V∈Rn,E，将Q、K、V中的特征通道数量E拆分到多个注意力头中：
Q＝[Q1，Q2，...，Qh]
K＝[K1，K2，，Kh]
V＝[V1，V2，…，Vn]
Qi/Ki/Vi∈Rn,d，其中E＝h×d，h是注意力头的数量，d是每个注意力头的特征通道数量，WQ、WK、WV这三个矩阵是可学习的参数，初始化是随机产生的；
步骤2.4，对每个注意力头，计算Qi和Ki在d个特征通道上的特征相似度：
其中，Si∈Rn,n，Si表示第i个注意力头上图像块序列内的两两图像块之间的自相似度；步骤2.5，将步骤2.4得到的图像块序列间的相关性通过softmax函数进行归一化：
gi＝softmax(Si)
步骤2.6，针对计算出来的自相似度gi，对值向量Vi的所有图像块序列进行加权求和计算，得到第i个注意力头的输出向量计算如下：
Oi＝giVi
步骤2.7，通过自注意力，同时得到各个注意力头的输出向量，最后将所有注意力头的输出向量拼接起来，得到最后的输出向量：
O＝[O1,O2,...，Oh)
其中，O∈Rh,n,d；
步骤2.8，将输出向量通过维度变换折叠成特征图像，得到输出特征图像；
步骤2.9，解码器采用4层卷积层，在前3层卷积层中，特征图像首先通过反卷积增大图像尺寸，再与编码器对应层的输出级联，然后通过卷积层，最后第4层一个卷积核数量为4的卷积操作将图像从特征域映射回图像域；
步骤2.10，通过一个跳跃连接，将解码器输出与上采样的多光谱图像相加，将空间细节注入到多光谱图像中，得到最终的融合图像。
进一步的，步骤2.1中卷积核数量由32、64、128变化到256，每层卷积层由两个二维卷积+LeakyReLu激活函数组成。
进一步的，步骤2.9中前3层卷积核数量由128、64、变化到32，前3层卷积层由两个二维卷积+LeakyReLu激活函数组成，第4层卷积层是一个二维卷积。
进一步的，步骤3中的构造的损失函数如下；
其中，Fn和Gn分别代表融合图像和参考图像，b是批次大小。
进一步的，步骤4的具体实现方式如下；
步骤4.1，融合图像通过两层卷积层，卷积核数量逐层增大，以提取图像特征；
步骤4.2，步骤4.1中的图像特征经过两层通道注意力后得到多通道的特征图像，以关注更重要的图像特征；
步骤4.3，采用2个卷积层将多通道的特征图像重新映射为四通道图像，并加上原始输入的融合图像，得到重建的融合图像。
步骤4.4，构建空间、光谱联合损失函数驱动无监督模型。损失函数如下：
其中，HF、HP分别代表灰度融合图像、全色图像的高频信息，FB代表模糊后的融合图像，MS代表上采样的多光谱图像。
进一步的，步骤4.1中卷积层的通道为32、64，卷积核大小为3×3。
进一步的，步骤4.2中，通道注意力是通过将模块输入进行平均池化、最大池化，然后分别进行两次卷积再相加，再通过Sigmoid激活函数进行归一化得到注意力权重，模块输入与注意力权重相乘得到输出。
进一步的，步骤4.4中，通过将融合图像的各个通道相加求均值得到灰度融合图像，再通过高通滤波器得到灰度融合图像、全色图像的高频信息，高通滤波器是通过原始图像减去对原始图像进行平均滤波得到的低频内容实现，平均滤波通过一个全局池化层实现，模糊的融合图像通过对原始融合图像进行上采样再下采样得到。
进一步的，步骤5中利用一颗卫星的仿真数据训练上述图像融合模型，并用训练好的融合模型在其他卫星上通过自适应调整网络进行图像调整，还包括通过主观视觉和客观评价指标将测试结果与现有的算法进行比较，客观评价指标包括峰值信噪比。
与现有技术相比，本发明的优点和有益效果：
本发明首先通过有监督学习来学习遥感图像融合的先验知识。在有监督学习中，将全色图像沿通道方向复制，复制的全色图像和上采样的多光谱图像相减得到注入细节，再将注入细节送入Unetformer模块中调整注入细节，然后再通过跳跃连接将注入细节与多光谱图像相加得到融合图像。在切换到其他卫星上时，本发明首先通过加载有监督学习中的模型参数得到初步融合图像，再通过设定空间、光谱损失函数来无监督地调整融合图像的空间、光谱，在光谱失真尽可能小的情况下减小融合图像的空间失真。有监督模型中，Unetformer将Unet和Transformer相结合，既保留了U形结构能够结合高维度和低维度信息的优势，同时Unet和Transformer结合使得编码器输出的大感受野特征图像经过Transformer块能够更好地关注全局信息，长距离建模能力增强，对注入空间细节的调整更加准确。与传统的有监督学习相比，有监督、无监督相结合的方法能够使得融合模型在其他卫星上具有比较强的泛化能力，对空间、光谱进行动态调整，提高空间细节和光谱保真度，因此经过自适应调整得到的多光谱图像更加清晰，且光谱保存良好。
附图说明
图1是实施例的基于有监督、无监督相结合的遥感图像融合网络的整体框架图。
图2是实施例的Unetformer模块、自适应调整网络的网络架构图。
图3是实施例的仿真数据的测试结果图，其中(a)是低分辨率多光谱图像，(b)为PNN的结果，(c)为DiCNN的结果，(d)为FuionNet的结果，(e)为本发明提出的方法的结果，(f)为参考图像。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明做进一步的详细描述，应当理解的是，此处所描述的实施例仅用于解释本发明，并不用于限定本发明。
本发明主要针对解决遥感图像融合领域中不同卫星下神经网络的弱泛化性导致融合图像不清晰的应用需求。我们利用Unet网络和Transformer网络相结合构建的模型来学习全色、多光谱图像之间的先验映射关系，然后在切换卫星时，通过加载有监督学习中的模型参数得到初步融合图像，融合图像通过由通道注意力构成的自适应调整网络来调整融合图像的空间、光谱，设定空间、光谱损失函数来无监督地驱动自适应调整网络。从而实现在跨卫星数据集上得到的多光谱融合图像空间细节丰富且光谱失真尽可能小。
附图1是实施例的基于有监督、无监督相结合的遥感图像融合网络的整体框架图，附图2是实施例的Unetformer模块、自适应调整网络的网络架构图。本实施例提供一种基于有监督、无监督相结合的遥感图像融合方法来解决遥感图像融合领域中不同卫星下神经网络的弱泛化性导致融合图像不清晰的问题，具体包括以下步骤：
步骤1：构建细节差异提取模块，用于提取多光谱、全色图像间的细节差异。具体实现包括以下子步骤：
步骤1.1，将单通道全色图像沿通道方向复制为多通道图像，通道数与多光谱图像相同。
步骤1.2，将多光谱图像上采样，以匹配全色图像的尺寸。
步骤1.3，将复制得到的全色图像和上采样的多光谱图像相减，提取到多光谱、全色图像间的细节差异。
步骤2：构建Unetformer模块通过非线性参数学习来调整注入细节，并将细节注入多光谱图像，以得到融合图像。具体实现包括以下子步骤：
步骤2.1：编码器采用4层卷积层，每层卷积层由两个二维卷积+LeakyReLu激活函数组成。卷积核数量逐层增大，卷积核数量由32、64、128变化到256，以提取多维度特征，前3层卷积层后面跟着一个平均池化操作，使得图像尺寸减小，卷积核的感受野就能覆盖到特征图的更多部分，增加感受野的大小，最终编码器输出Z∈RC,H,W，在本实施例中，C＝256，H＝256,W＝256，。
步骤2.2：Transformer块中的块嵌入模块将特征图像Z切分成n个图像块，并且将其展平成图像块序列：
x＝[x1，x2，…，xn]
其中，X∈Rn,E，
E＝h×w×C，E是特征通道数量，H、W是图像的图像大小，h、w是图像块大小。在本实施例中，h＝4，w＝4，，n＝4096，E＝4096。
步骤2.3，使用三个矩阵WQ、WK、WV与图像块序列X相乘，映射得到查询向量Q、键向量K、值向量V，Q/K/V∈Rn,E，将Q、K、V中的特征通道数量E拆分到多个注意力头中：
Q＝[Q1，Q2，...，Qhl
K＝[K1，K2，，Kh]
V＝[V1，V2，…，Vn]
Qi/Ki/Vi∈Rn,d，其中E＝h×d，h是注意力头的数量，d是每个注意力头的特征通道数量。在本实施例中，h＝16，d＝256。
步骤2.4，对每个注意力头，计算Qi和Ki在特征通道d上的特征相似度：
其中，Si∈Rn,n，Si表示第i个注意力头上图像块序列内的两两图像块之间的自相似度。步骤2.5，将步骤2.4得到的图像块序列间的相关性通过softmax函数进行归一化：
gi＝softmax(Si)
步骤2.6，针对计算出来的自相似度gi，对值向量Vi的所有图像块序列进行加权求和计算，得到第i个注意力头的输出向量计算如下：
Oi＝giVi
步骤2.7，通过自注意力，同时得到各个注意力头的输出向量，最后将所有注意力头的输出向量拼接起来，得到最后的输出向量：
O＝[O1,O2,...，Oh]
其中，O∈Rh,n,d。
步骤2.8，将输出向量通过维度变换折叠成特征图像，得到输出特征图像
步骤2.9，解码器采用4层卷积层，在前3层卷积层中，特征图像首先通过反卷积增大图像尺寸，再与编码器对应层的输出级联，然后通过卷积层；第4层一个卷积核数量为4的卷积操作将图像从特征域映射回图像域。前3层卷积核数量由128、64、变化到32，前3层卷积层由两个二维卷积+LeakyReLu激活函数组成，第4层卷积层是一个二维卷积。
步骤2.10，通过一个跳跃连接，将解码器输出与上采样的多光谱图像相加，将空间细节注入到多光谱图像中，得到最终的融合图像。
步骤3：构建图像融合的模型目标函数驱动模型训练。具体实现包括以下子步骤：
步骤3.1：构造损失函数。构造基于L2的损失函数：
其中，Fn和Gn分别代表融合图像和参考图像，b是批次大小。在本实施例中，b＝8。
步骤3.2：从训练集中随机选择b个数据输入网络，完成一次迭代，并调整网络参数。
步骤4：构建自适应调整网络，用空间、光谱损失函数无监督驱动图像进行空间、光谱的调整。具体实现包括以下子步骤：
步骤4.1，融合图像通过两层卷积层，卷积核数量逐层增大，卷积层的通道为32、64，卷积核大小为3×3，以提取图像特征；
步骤4.2，步骤4.1输出的特征图像经过两层通道注意力，以关注更重要的图像特征，通道注意力是通过将模块输入进行平均池化、最大池化，然后分别进行两次卷积再相加，再通过Sigmoid激活函数进行归一化得到注意力权重，模块输入与注意力权重相乘得到输出；
步骤4.3，采用2个卷积层将多通道的特征图像(步骤4.2的输出)重新映射为四通道图像，并加上原始输入的融合图像，得到重建的融合图像。
步骤4.4，构建空间、光谱联合损失函数驱动自适应调整网络，即步骤4.1-4.3，损失函数如下：
其中，HF、HP分别代表灰度融合图像、全色图像的高频信息，FB代表模糊后的融合图像，MS代表上采样的多光谱图像。通过将融合图像的各个通道相加求均值得到灰度融合图像，再通过高通滤波器得到灰度融合图像、全色图像的高频信息HF、HP，高通滤波器是通过原始图像减去对原始图像进行平均滤波得到的低频内容实现，平均滤波通过一个全局池化层实现；模糊的融合图像通过对原始融合图像进行上采样再下采样得到。
步骤5：利用一颗卫星的仿真数据训练上述图像融合模型，并用训练好的融合模型在其他卫星上通过自适应调整网络进行图像调整。具体实现包括以下子步骤：
步骤5.1：利用一颗卫星上的仿真数据通过有监督学习方式训练网络。在本实施例中，高分二号卫星中的图像对90％被用于训练，10％张图像用于验证。参考图像为分辨率256×256的原始多光谱图像，网络输入为参考图像下采样4倍后的多光谱图像和分辨率256×256为全色图像。在网络训练中，初始学习率为0.0003，批大小为8，网络通过Adam优化器进行优化，训练轮数为105轮。
步骤5.2：加载在高分二号卫星上训练好的融合模型，固定融合模型的参数，在快鸟卫星上通过对每张图像训练自适应调整网络进行微调，将得到的测试结果与各对比方法进行视觉和客观评价指标上的比较。仿真测试图像大小为512×512的图像，自适应调整网络的训练学习率为9e-5,训练轮数为2000轮，优化器采用Adam优化器。为了验证所提方法的有效性，我们将所提方法和基于有监督学习方法进行比较。有监督学习方法包括PNN、DiCNN、FusionNet。视觉比较结果如附图3所示。客观评价指标为峰值信噪比(PSNR)，在仿真测试集上平均结果如表1所示。
表1仿真数据不同方法的平均PSNR(dB)对比(理想值：+∞)
可以看到，我们提出的方法首先进行有监督学习提取全色、多光谱图像间的先验映射关系，再通过无监督学习调整融合图像的空间、光谱，可以有效缓解因神经网络在不同卫星上弱泛化性导致的图像不清晰问题。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。
Claims (10)
1.一种基于有监督、无监督学习相结合的遥感图像融合方法，其特征在于，包括如下步骤：
步骤1，构建细节差异提取模块，用于提取多光谱、全色图像间的细节差异；
步骤2，构建Unetformer模块，通过有监督学习来调整注入细节，并将细节注入多光谱图像；
步骤3，构建有监督目标函数训练图像融合模型，学习遥感图像光谱和空间先验知识得到融合图像，所述图像融合模型包括细节差异提取模块、Unetformer模块；
步骤4，构建自适应调整网络以得到重建的融合图像，利用空间、光谱损失函数无监督驱动图像进行空间、光谱的调整；
步骤5，利用一颗卫星的仿真数据训练上述图像融合模型，并用训练好的图像融合模型在其他卫星上通过自适应调整网络进行图像调整。
2.如权利要求1所述的一种基于有监督、无监督学习相结合的遥感图像融合方法，其特征在于：步骤1的具体实现方式如下；
步骤1.1，将单通道全色图像沿通道方向复制为多通道图像，通道数与多光谱图像相同；
步骤1.2，将多光谱图像上采样，以匹配全色图像的尺寸；
步骤1.3，将复制得到的全色图像和上采样的多光谱图像相减，提取到多光谱、全色图像间的细节差异。
3.如权利要求1所述的一种基于有监督、无监督学习相结合的遥感图像融合方法，其特征在于：步骤2中所述Unetformer模块包括编码器、Transformer块和解码器，其输入为步骤1中的细节差异，具体实现方式如下；
步骤2.1，编码器采用4层卷积层，卷积核数量逐层增大，以提取多维度特征，前3层卷积层后面跟着一个平均池化操作，使得图像尺寸减小，卷积核的感受野就能覆盖到特征图的更多部分，来增加感受野的大小，最终编码器输出Z∈RC,H,W，C表示通道数；
步骤2.2，Transformer块中的块嵌入模块将特征图像Z切分成n个图像块，并且将其展平成图像块序列：
X＝[x1,x2,…,xn]
其中，X∈Rn,E，
E＝h×w×C，E是特征通道数量，H、W是图像的图像大小，h、w是图像块大小；
步骤2.3，使用三个矩阵WQ、WK、WV与图像块序列X相乘，映射得到查询向量Q、键向量K、值向量V，Q/K/V∈Rn，E，将Q、K、V中的特征通道数量E拆分到多个注意力头中：
Q＝[Q1，Q2，…，Qh]
K＝[K1，K2，…，Kh]
V＝[V1，V2，…，Vn]
Qi/Ki/Vi∈Rn，d，其中E＝h×d，h是注意力头的数量，d是每个注意力头的特征通道数量，WQ、WK、WV这三个矩阵是可学习的参数，初始化是随机产生；
步骤2.4，对每个注意力头，计算Qi和Ki在d个特征通道上的特征相似度：
其中，Si∈Rn，n，Si表示第i个注意力头上图像块序列内的两两图像块之间的自相似度；
步骤2.5，将步骤2.4得到的图像块序列间的相关性通过softmax函数进行归一化：
gi＝softmax(Si)
步骤2.6，针对计算出来的自相似度gi，对值向量Vi的所有图像块序列进行加权求和计算，得到第i个注意力头的输出向量计算如下：
Oi＝giVi
步骤2.7，通过自注意力，同时得到各个注意力头的输出向量，最后将所有注意力头的输出向量拼接起来，得到最后的输出向量：
O＝[O1，O2，…，Oh]
其中，O∈Rh，n，d；
步骤2.8，将输出向量通过维度变换折叠成特征图像，得到输出特征图像；
步骤2.9，解码器采用4层卷积层，在前3层卷积层中，特征图像首先通过反卷积增大图像尺寸，再与编码器对应层的输出级联，然后通过卷积层，最后第4层一个卷积核数量为4的卷积操作将图像从特征域映射回图像域；
步骤2.10，通过一个跳跃连接，将解码器输出与上采样的多光谱图像相加，将空间细节注入到多光谱图像中，得到最终的融合图像。
4.如权利要求3所述的一种基于有监督、无监督学习相结合的遥感图像融合方法，其特征在于：步骤2.1中4层卷积层的卷积核数量由32、64、128变化到256，每层卷积层由两个二维卷积+LeakyReLu激活函数组成。
5.如权利要求3所述的一种基于有监督、无监督学习相结合的遥感图像融合方法，其特征在于：步骤2.9中前3层卷积核数量由128、64、变化到32，前3层卷积层由两个二维卷积+LeakyReLu激活函数组成，第4层卷积层是一个二维卷积。
6.如权利要求1所述的一种基于有监督、无监督学习相结合的遥感图像融合方法，其特征在于：步骤3中的构造的损失函数如下；
其中，Fn和Gn分别代表融合图像和参考图像，b是批次大小。
7.如权利要求1所述的一种基于有监督、无监督学习相结合的遥感图像融合方法，其特征在于：步骤4的具体实现方式如下；
步骤4.1，融合图像通过两层卷积层，卷积核数量逐层增大，以提取图像特征；
步骤4.2，步骤4.1中的图像特征经过两层通道注意力后得到多通道的特征图像，以关注更重要的图像特征；
步骤4.3，采用2个卷积层将多通道的特征图像重新映射为四通道图像，并加上原始输入的融合图像，得到重建的融合图像；
步骤4.4，构建空间、光谱联合损失函数，损失函数如下：
其中，HF、HP分别代表灰度融合图像、全色图像的高频信息，FB代表模糊后的融合图像，MS代表上采样的多光谱图像。
8.如权利要求7所述的一种基于有监督、无监督学习相结合的遥感图像融合方法，其特征在于：步骤4.1中卷积层的通道为32、64，卷积核大小为3×3；步骤4.2中，通道注意力是通过将模块输入进行平均池化、最大池化，然后分别进行两次卷积再相加，再通过Sigmoid激活函数进行归一化得到注意力权重，模块输入与注意力权重相乘得到输出。
9.如权利要求7所述的一种基于有监督、无监督学习相结合的遥感图像融合方法，其特征在于：步骤4.4中，通过将融合图像的各个通道相加求均值得到灰度融合图像，再通过高通滤波器得到灰度融合图像、全色图像的高频信息，高通滤波器是通过原始图像减去对原始图像进行平均滤波得到的低频内容实现，平均滤波通过一个全局池化层实现，模糊的融合图像通过对原始融合图像进行上采样再下采样得到。
10.如权利要求1所述的一种基于有监督、无监督学习相结合的遥感图像融合方法，其特征在于：步骤5中固定训练好的融合模型的参数，在其他卫星上通过自适应调整网络进行图像调整的测试结果，然后通过主观视觉和客观评价指标将测试结果与现有的遥感融合方法进行比较，客观评价指标包括峰值信噪比。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310116959.0A CN116205830A (zh) | 2023-02-09 | 2023-02-09 | 一种基于有监督、无监督学习相结合的遥感图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310116959.0A CN116205830A (zh) | 2023-02-09 | 2023-02-09 | 一种基于有监督、无监督学习相结合的遥感图像融合方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116205830A true CN116205830A (zh) | 2023-06-02 |
Family
ID=86516790
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310116959.0A Pending CN116205830A (zh) | 2023-02-09 | 2023-02-09 | 一种基于有监督、无监督学习相结合的遥感图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116205830A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117079105A (zh) * | 2023-08-04 | 2023-11-17 | 中国科学院空天信息创新研究院 | 遥感图像空谱融合方法、装置、电子设备及存储介质 |
| CN117726916A (zh) * | 2024-02-18 | 2024-03-19 | 电子科技大学 | 一种图像分辨率融合增强的隐式融合方法 |
| CN117853739A (zh) * | 2024-02-04 | 2024-04-09 | 耕宇牧星(北京)空间科技有限公司 | 基于特征变换的遥感图像特征提取模型预训练方法及装置 |
-
2023
- 2023-02-09 CN CN202310116959.0A patent/CN116205830A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117079105A (zh) * | 2023-08-04 | 2023-11-17 | 中国科学院空天信息创新研究院 | 遥感图像空谱融合方法、装置、电子设备及存储介质 |
| CN117079105B (zh) * | 2023-08-04 | 2024-04-26 | 中国科学院空天信息创新研究院 | 遥感图像空谱融合方法、装置、电子设备及存储介质 |
| CN117853739A (zh) * | 2024-02-04 | 2024-04-09 | 耕宇牧星(北京)空间科技有限公司 | 基于特征变换的遥感图像特征提取模型预训练方法及装置 |
| CN117726916A (zh) * | 2024-02-18 | 2024-03-19 | 电子科技大学 | 一种图像分辨率融合增强的隐式融合方法 |
| CN117726916B (zh) * | 2024-02-18 | 2024-04-19 | 电子科技大学 | 一种图像分辨率融合增强的隐式融合方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111275647B (zh) | 一种基于循环生成对抗网络的水下图像复原方法 | |
| CN111080567B (zh) | 基于多尺度动态卷积神经网络的遥感图像融合方法及系统 | |
| CN110119780B (zh) | 基于生成对抗网络的高光谱图像超分辨重建方法 | |
| Jiang et al. | Decomposition makes better rain removal: An improved attention-guided deraining network | |
| CN116205830A (zh) | 一种基于有监督、无监督学习相结合的遥感图像融合方法 | |
| CN111275637B (zh) | 一种基于注意力模型的非均匀运动模糊图像自适应复原方法 | |
| CN108830796B (zh) | 基于谱空结合和梯度域损失的高光谱图像超分辨重构方法 | |
| CN109272010B (zh) | 基于卷积神经网络的多尺度遥感图像融合方法 | |
| Hu et al. | Underwater image restoration based on convolutional neural network | |
| CN111783494B (zh) | 结合二值分割的卷积自编码器的受损二维码恢复方法 | |
| CN111951164B (zh) | 一种图像超分辨率重建网络结构及图像重建效果分析方法 | |
| CN111738948B (zh) | 一种基于双U-net的水下图像增强方法 | |
| CN117011194B (zh) | 一种基于多尺度双通道注意力网络的低光图像增强方法 | |
| CN112270646B (zh) | 基于残差密集跳跃网络的超分辨增强方法 | |
| CN113920043A (zh) | 基于残差通道注意力机制的双流遥感图像融合方法 | |
| CN114219722A (zh) | 一种利用时频域层级处理的低光照图像增强方法 | |
| CN116645569A (zh) | 一种基于生成对抗网络的红外图像彩色化方法和系统 | |
| CN117197008A (zh) | 一种基于融合校正的遥感图像融合方法和系统 | |
| CN114067018B (zh) | 一种基于扩张残差生成对抗网络的红外图像彩色化方法 | |
| CN111899209A (zh) | 基于卷积匹配追踪字典学习的可见光红外图像融合方法 | |
| WO2021227915A1 (zh) | 图像恢复模型的训练方法及装置、电子设备，及计算机可读存储介质 | |
| CN115861749A (zh) | 一种基于窗口交叉注意力的遥感图像融合方法 | |
| CN112598604A (zh) | 一种盲脸复原方法及系统 | |
| CN116597142A (zh) | 基于全卷积神经网络与变换器的卫星图像语义分割方法及系统 | |
| CN116452431A (zh) | 基于多分支渐进式深度网络的弱光图像增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |