CN115512192A - 基于跨尺度的octave卷积网络的多光谱和高光谱图像融合方法 - Google Patents

基于跨尺度的octave卷积网络的多光谱和高光谱图像融合方法 Download PDF

Info

Publication number
CN115512192A
CN115512192A CN202210982427.0A CN202210982427A CN115512192A CN 115512192 A CN115512192 A CN 115512192A CN 202210982427 A CN202210982427 A CN 202210982427A CN 115512192 A CN115512192 A CN 115512192A
Authority
CN
China
Prior art keywords
image
hyperspectral
training
multispectral
spatial resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210982427.0A
Other languages
English (en)
Inventor
詹天明
毕作琳
吴华朋
吴泽彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NANJING AUDIT UNIVERSITY
Original Assignee
NANJING AUDIT UNIVERSITY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NANJING AUDIT UNIVERSITY filed Critical NANJING AUDIT UNIVERSITY
Priority to CN202210982427.0A priority Critical patent/CN115512192A/zh
Publication of CN115512192A publication Critical patent/CN115512192A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Abstract

本发明公开了一种基于跨尺度的octave卷积网络的多光谱和高光谱图像融合方法，包括以下步骤：将用于训练的高空间分辨率的高光谱图像分别进行空间下采样和光谱下采样用于模拟使用传感器捕获到的同一区域、相同时间的多光谱图像(HR‑MSI)和高光谱图像(LR‑HSI)；将得到的模拟的多光谱图像和高光谱图像选取一定比例作为训练集。对于训练集，生成训练集中每个训练对对应的张量，并将每对训练对张量输入到卷积网络中，最后得到用于多光谱和高光谱图像融合的最优模型参数；将训练好的模型用于将传感器捕获到的低空间分辨率的高光谱图像和高空间分辨率的多光谱图像融合，得到同时具有高空间分辨率和高光谱分辨率的高光谱图像。

Description

基于跨尺度的octave卷积网络的多光谱和高光谱图像融合 方法
技术领域
本发明涉及图像处理技术领域，具体涉及基于跨尺度的octave卷积网络的多光谱和高光谱图像融合方法。
背景技术
人们可以通过遥感技术观测到地球表面用肉眼勘探不到的事物。遥感图像分为PAN图像、多光谱图像(MSI)和高光谱图像(HSI)等。近年来，随着卫星传感技术的发展，高光谱图像因其具有丰富的空间信息和光谱信息在不同领域受到了广泛应用，越来越多人开始关注高光谱图像。然而由于受到物理和技术的限制，单个传感器上提供的信息不完整或不精确，从单个传感器获取到的遥感影像的分辨率只能在高空间和高光谱之间进行折中，例如获取的高光谱图像通常具有较高的光谱分辨率，但其空间分辨率粗糙；而多光谱图像有较高的空间分辨率，但光谱分辨率低。因此如何同时获得具有高空间分辨率和高光谱分辨率的高光谱图像成为目前的热点问题。对传感器捕获到的数据融合是提高高光谱图像的空间分辨率的一个重要的方法，其目标是整合互补和非冗余信息，以提供更好理解整个场景的图像。遥感图像在目标识别、分类和土地勘探等领域具有很强的应用性。
随着对高光谱数据的需求的增加，近些年来提出了许多遥感图像融合方法，这些方法大体上可以分为三种不同的策略，分别是基于分量替换的方法、多分辨率分析的方法和基于模型的方法。
在基于分量替换的方法中，在MS图像上执行光谱转换，使其中的一个分量或全部被直方图匹配的PAN图像替换。常用的基于分量替换的方法有HIS方法、PCA方法等。基于分量替换的方法的优点是很好的保留了几何结构，从而得到具有空间细节精细的输出图像，但同时也因为在进行分量替换时会带有额外的光谱信息，存在光谱或颜色失真的弊端。基于多分辨率分析的方法则认为可以从PAN图像中推测出MS图像缺失的空间细节，并将其注入到MS图像中。为了提高细节注入的有效性，提出了小波等来执行数据融合任务。基于模型的方法则是通过假定LR-HS和HR-MS图像之间的关系构建模型来重建HR-HS图像，将图像重建问题转化为最小化目标函数的问题。虽然基于模型的方法在空间分辨率增强和光谱保留上进行了权衡，但它仍是不适定的，并且具有很高的计算复杂性。
面对传统的遥感图像融合方法存在的一些弊端，近些年来，随着深度学习技术的快速发展，在应对高光谱图像超分辨问题上，人们提出了许多基于深度学习的遥感图像融合方法，卷积神经网络因其卓越的性能受到越来越多人的青睐，提出了一系列的方法用于将观测到的高空间分辨率的多光谱图像(HR-MSI)与低空间分辨率的高图像(LR-HSI)融合，以获得高空间分辨率和高光谱分辨率的图像。
发明内容
本发明的目的是克服现有传感器很难直接捕获同时具有高空间分辨率和高光谱分辨率的高光谱图像的相关问题，以高效精确的方式来解决这一问题。本发明的基于跨尺度的octave 卷积网络的多光谱图像和高光谱图像融合方法，利用了深度学习的理论从不同的方向处理高维张量，充分提取并整合来自两幅图像的空间特征和光谱特征，提取有用信息的同时最大程度避免信息的混乱和冗余，从而得到好的融合结果。为了达到上述目的，本发明采用的技术方案是：
基于跨尺度的octave卷积网络的多光谱和高光谱图像融合方法，包括如下步骤：
步骤(A)：对高光谱数据集分别进行模糊和空间下采样得到低空间分辨率的高光谱图像 (LR-HSI)和进行光谱下采样得到高空间分辨率的多光谱图像(HR-MSI)作为一对训练样本对；
步骤(B)：选取一定比例的训练样本对作为训练集，并将这些成对的样本对生成对应的张量；并将这些成对的张量对作为提出的卷积网络模型的输入，来训练提出的跨尺度的octave 卷积神经网络，得到适用于该高光谱数据集的模型参数；
步骤(C)：将训练好的模型对测试集进行测试，得到相应的测试结果。
优选的，在步骤(A)中对高光谱数据集分别进行模糊和空间下采样得到低空间分辨率的高光谱图像(LR-HSI)和进行光谱下采样得到高空间分辨率的多光谱图像(HR-MSI)作为一对训练样本对，包括如下具体步骤：
步骤(A1)：选取高光谱图像(HR-HSI)数据集作为标签；
步骤(A2)：将高光谱图像(HR-HSI)选取一定比例作为训练集；
步骤(A3)：将训练集进行空间下采样和光谱下采样，得到成对的训练对。
优选的，在步骤(A2)中为了减少实验的负担，将训练集部分的高光谱图像(HR-HSI) 划分为一系列尺寸为W*H的训练块。
优选的，步骤(A3)包括如下具体步骤：
步骤(A31)：对训练块依次通过高斯模糊和下采样，得到与训练块对应的空间下采样后的低空间分辨率的高光谱图像(LR-HSI)；
步骤(A32)：对训练块使用光谱响应函数进行光谱下采样，得到与训练块对应的光谱下采样后的高空间分辨率的多光谱图像(HR-MSI)；
步骤(A33)：将低空间分辨率的高光谱图像(LR-HSI)和高空间分辨率的多光谱图像 (HR-MSI)作为一对训练样本对。
优选的，在步骤(B)中选取一定比例的训练样本对作为训练集，并将这些成对的样本对生成对应的张量；并将这些成对的张量对作为卷积网络模型的输入，来训练提出的跨尺度的octave卷积神经网络，得到适用于该高光谱数据集的模型参数，包括如下具体步骤：
步骤(B1)：将高光谱数据集作为训练集的标签，并将高光谱数据集分别进行空间下采样和光谱下采样用于生成成对的训练集；
步骤(B2)：将训练集中的每对训练样本对形成对应的张量；
步骤(B3)：将训练样本对对应的张量及其标签作为输入，来训练提出的跨尺度的octave 卷积神经网络，得到适用于该高光谱数据集的模型参数。
优选的，在步骤(B2)中将成对的训练对中的低空间分辨率的高图像(LR-HSI)提取出来形成w*h*L的张量，高空间分辨率的多光谱图像(HR-MSI)提取出来形成W*H*3的张量，其中W,H,l和w,h,L分别是多光谱图像和高光谱图像的宽、长和通道数,其中W/w＝H/h＝8。
优选的，步骤(B3)包括如下具体步骤：
步骤(B31)：使用离散小波分解提取高空间分辨率的多光谱图像(HR-MSI)的低频信息，并将其与上采四倍后的低空间分辨率的高光谱图像(LR-HSI)沿着通道维度拼贴，使用3*3*64 的卷积核，将输入的(W/2)*(H/2)*(L+l)的张量通过四倍尺度下的空间光谱特征提取网络同时提取两幅图像的空间和光谱信息，并将其依次通过3*3*128和3*3*L的卷积核形成1个 (W/2)*(H/2)*L的特征张量；
步骤(B32)：将(W/2)*(H/2)*L的特征张量与上采样四倍的低空间分辨率的高光谱图像 (LR-HSI)相加得到一个新的(W/2)*(H/2)*L特征张量，并将其上采样两杯之后得到的特征张量作为八倍尺度下空间-光谱特征提取网络的输入；
步骤(B33)：使用3*3*64的卷积核之后将特征张量分别进行下采样两倍和四倍，得到三个不同尺度的特征张量作为一系列跨尺度octave卷积网络的输入用于提取空谱联合特征，最后将在每一个跨尺度octave卷积网络的输出得到的特征张量与上采样八倍的低空间分辨率的高光谱图像(LR-HSI)分别相加，共得到6个尺寸为W*H*L的特征张量；
步骤(B34)：将步骤(B33)中得到的前五个特征张量分别命名为
Figure RE-GDA0003961763840000031
将最后一个特征张量命名为OSR，并将其作为输入的多光谱图像和高光谱图像之后得到的重构图像；
步骤(B35)：将步骤(B34)中每个像素的6个特征张量及其对应的标签信息输入到损失函数中获得损失值，并根据损失值对卷积神经网络进行反向传播，对权重参数进行更新；
卷积网络的损失函数为：
l1(Z，OSR)＝||Z-OSR||1
Figure RE-GDA0003961763840000041
Figure RE-GDA0003961763840000042
Figure RE-GDA0003961763840000043
其中Z和OSR分别表示目标图像和重构图像；Z(i,j),OSR(i,j)则分别表示Z和OSR在(i,j)像素的值；网络共有n个输出，将第n个输出作为重构图像；
Figure RE-GDA0003961763840000044
网络第k个输出，k＝1,2…n-1；为了避免分母为0，使c＝1e-10；
Figure RE-GDA0003961763840000045
β和
Figure RE-GDA0003961763840000046
是权衡因子，网络分别设置为1、1和0.1；
步骤(B36)：当iteration＝20000时结束训练，将最近一次损失值下降时对应的模型参数作为最优权重参数保存。
优选的，在步骤(C)中用训练好的模型对传感器捕获的同一时间、同一区域的低空间分辨率的高光谱图像(LR-HSI)和高空间分辨率的多光谱图像(HR-MSI)对进行测试，得到一个同时具有高空间分辨率和高光谱分辨率的高光谱图像，具体为：将测试的多光谱和高光谱图像的张量对输入训练好的模型中得到结果作为融合结果。
本发明的有益效果是：基于跨尺度的octave卷积网络的多光谱和高光谱图像融合方法，通过使用跨尺度的octave卷积网络充分提取了来自于两幅图像的空间-光谱特征，并且使用了空间-光谱注意力机制使网络着重关注与那些对于图像恢复有用的空间-光谱信息，减少关注无用的空间-光谱信息，最大程度的重构空间和光谱信息的同时减少信息的丢失和混乱，从而得到令人满意的实验结果。
附图说明
图1是本发明的基于跨尺度的octave卷积网络的多光谱和高光谱图像融合方法的总体流程图；
图2是本发明的图像融合方法的四倍尺度下空间-光谱信息重构网络的流程图；
图3是本发明的图像融合方法的八倍尺度下空间-光谱信息重构网络的流程图；
图4是低空间分辨率的高光谱图像；
图5是高空间分辨率的多光谱图像；
图6是本发明的多光谱和高光谱图像融合结果图；
图7是地面真实的高光谱图像；
图8是WDCM数据集进行空间信息退化后的高光谱图像；
图9是WDCM数据集进行光谱信息退化后的多光谱图像；
图10是本发明在WDCM数据集上的多光谱和高光谱图像融合结果图；
图11是WDCM数据集的地面真实图像；
图12是IP数据集进行空间信息退化后的高光谱图像；
图13是IP数据集进行光谱信息退化后的多光谱图像；
图14是本发明在IP数据集上的多光谱和高光谱图像融合结果图。
具体实施方式
以下结合附图和具体实施例对本发明作出的进一步详细说明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。
如图1所示，本发明的基于跨尺度的octave卷积网络的多光谱和高光谱图像融合方法，包括以下步骤：
步骤(A)：对高光谱数据集分别进行模糊和空间下采样得到低空间分辨率的高光谱图像 (LR-HSI)(如图4所示)和进行光谱下采样得到高空间分辨率的多光谱图像(HR-MSI)(如图 5所示)作为一对训练样本对；
步骤(B)：选取一定比例的训练样本对作为训练集，将这些成对的样本对生成对应的张量；并将这些成对的张量对作为卷积网络模型的输入，来训练提出的跨尺度的octave卷积神经网络，得到适用于该高光谱数据集的模型参数；
步骤(C)：将训练好的模型对测试集进行测试，得到相应的测试结果。
具体的，在步骤(A)中对高光谱数据集分别进行模糊和空间下采样得到低空间分辨率的高光谱图像(LR-HSI)和进行光谱下采样得到高空间分辨率的多光谱图像(HR-MSI)作为一对训练样本对，包括如下具体步骤：
步骤(A1)：选取高光谱图像(HR-HSI)数据集作为标签；
步骤(A2)：将高光谱图像(HR-HSI)选取一定比例作为训练集；
步骤(A3)：将训练集进行空间下采样和光谱下采样，得到成对的训练对；
进一步的，在步骤(A2)中为了减少实验的负担，将训练集部分的高光谱图像(HR-HSI) 划分为尺寸为W*H的训练块。
具体的，步骤(A3)包括如下具体步骤：
步骤(A31)：对训练块依次通过高斯模糊和下采样，得到与训练块对应的空间下采样后的低空间分辨率的高光谱图像(LR-HSI)；
步骤(A32)：对训练块使用光谱响应函数进行光谱下采样，得到与训练块对应的光谱下采样后的高空间分辨率的多光谱图像(HR-MSI)；
步骤(A33)：将低空间分辨率的高光谱图像(LR-HSI)和高空间分辨率的多光谱图像 (HR-MSI)作为一对训练样本对。
具体的，在步骤(B)中选取一定比例的训练样本对作为训练集，并将这些成对的样本对生成对应的张量；并将这些成对的张量对作为卷积网络模型的输入，来训练提出的跨尺度的 octave卷积神经网络，得到适用于该高光谱数据集的模型参数，包括如下具体步骤：
步骤(B1)：选取一定数量的训练样本对作为训练集；
步骤(B2)：将训练集中的每对训练样本对形成对应的张量；
步骤(B3)：将训练样本对对应的张量及其标签作为输入，来训练提出的跨尺度的octave 卷积神经网络，得到适用于该高光谱数据集的模型参数。
具体的，在步骤(B2)中将成对的训练对中的低空间分辨率的高图像(LR-HSI)提取出来形成w*h*L的张量，高空间分辨率的多光谱图像(HR-MSI)提取出来形成W*H*l的张量，其中W,H,l和w,h,L分别是多光谱图像和高光谱图像的宽、长和通道数,其中W/w＝H/h＝8。
具体的，步骤(B3)将训练样本对对应的张量及其标签作为输入，来训练提出的跨尺度的octave卷积神经网络，得到适用于该高光谱数据集的模型参数包括如下具体步骤：
步骤(B31)：如图2和图3所示，使用离散小波分解提取高空间分辨率的多光谱图像(HR-MSI)的低频信息，并将其与上采沿着通道维度拼贴，使用3*3*64的卷积核，将输入的(W/2)*(H/2)*(L+l)的张量通过四倍尺度下的空间光谱特征提取网络同时提取两幅图像的空间和光谱信息，并将其依次通过3*3*128和3*3*L的卷积核形成1个(W/2)*(H/2)*L的特征张量。
步骤(B32)：将(W/2)*(H/2)*L的特征张量与上采样四倍的低空间分辨率的高图像(LR-HSI) 相加得到一个新的(W/2)*(H/2)*L特征张量，并将其上采样梁背后作为八倍尺度下空间-光谱特征提取网络的输入；
步骤(B33)：使用3*3*64的卷积核之后将特征张量分别进行下采样两倍和四倍，得到三个不同尺度的特征张量作为一系列跨尺度octave卷积网络的输入用于提取空谱联合特征，最后将在每一个跨尺度octave卷积网络的输出得到的特征张量与上采样八倍的低空间分辨率的高图像(LR-HSI)分别相加，共得到6个尺寸为W*H*L的特征张量；
步骤(B34)：将步骤(B33)中得到的前五个特征张量分别命名为
Figure RE-GDA0003961763840000071
将最后一个特征张量命名为OSR，并将其作为输入的多光谱图像和高光谱图像之后得到的重构图像；
步骤(B35)：将步骤(B34)中每个像素的6个特征张量及其对应的标签信息输入到损失函数中获得损失值，并根据损失值对卷积神经网络进行反向传播，对权重参数进行更新；
卷积网络的损失函数为：
l1(Z，OSR)＝||Z-OSR||1
Figure RE-GDA0003961763840000072
Figure RE-GDA0003961763840000073
Figure RE-GDA0003961763840000074
其中Z和OSR分别表示目标图像和重构图像；Z(i,j),OSR(i,j)则分别表示Z和OSR在(i,j)像素的值；网络共有n个输出，将第n个输出作为重构图像；
Figure RE-GDA0003961763840000075
网络第k个输出，k＝1,2…n-1；为了避免分母为0，使c＝1e-10；
Figure RE-GDA0003961763840000076
β和
Figure RE-GDA0003961763840000077
是权衡因子，网络分别设置为1、1和0.1。
具体的，在步骤(C)中用训练好的模型对传感器捕获的同一时间、同一区域的LR-HSI 和HR-MSI图像对进行训练，得到一个同时具有高空间分辨率和高光谱分辨率的高光谱图像，具体为：将测试的多光谱和高光谱图像的张量对输入训练好的模型中得到结果作为融合结果，如图6所示。
将图4～6分别图7进行对比，本发明的有益效果是：基于跨尺度的octave卷积网络的多光谱和高光谱图像融合方法，通过使用跨尺度的octave卷积网络充分提取了来自于两幅图像的空间-光谱特征，并且使用了空间-光谱注意力机制使网络着重关注与那些对于图像恢复有用的空间-光谱信息，减少关注无用的空间-光谱信息，最大程度的重构空间和光谱信息的同时减少信息的丢失和混乱，从而得到令人满意的实验结果。
实施例一
为了证明本发明提出的多光谱和高光谱图像融合的效果，选取Washington DCMall数据集进行实验。WDCM数据集是由Hydice传感器获取的一幅航空高光谱影像，一共有210个波段，覆盖波长从0.4到2.5um，除去水蒸气等模糊光谱带之后，本发明使用剩下的191个波段，其中每个波段的图像尺寸为1380×307像素，选取中间128×128像素作为测试集，其余部分用于训练，测试输入的高光谱图像、多光谱图像如图8～9所示，融合后的图像和地面真实图像如图10～11所示。
将图8～9分别与图10～11进行对比，可以清晰的看出，本发明充分提取并整合了多光谱图像和高光谱图像中的丰富的空间信息和光谱信息，从而得到高空间分辨率的高光谱图像。
实施例二
Indian Pines数据集是由机载可视红外成像光谱仪(AVIRIS)于1992年对美国印第安纳州一块印度松树进行成像，为了证明本发明提出的融合方法的有效性，将IP数据集进行空间和光谱退化，退化后的低空间分辨率的高光谱图像和高空间分辨率的多光谱图像如图12～13 所示，并将退化后的图像输入到本发明的网络中，得到的融合后的高光谱图像如图14所示，从图12～14中可以看出本发明提出的融合方法有效地提取了低空间分辨率的高光谱图像中蕴含的丰富的光谱信息和高空间分辨率的多光谱图像中精细的纹理信息的同时尽量避免了空间和光谱信息的丢失。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或者等效流程变换，或者直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.基于跨尺度的octave卷积网络的多光谱和高光谱图像融合方法，其特征在于，包括以下步骤：
步骤(A)：将高光谱数据集分别进行空间下采样和光谱下采样，得到具有高空间分辨率的多光谱图像和低空间分辨率的高光谱图像对来模拟使用传感器捕获的同一时期、同一区域的多光谱和高光谱图像对；
步骤(B)：将图像对按照一定比例划分成训练集和测试集，并生成训练集中每个训练样本对对应的张量对，使用提出融合方法提取张量对的空间-光谱特征，训练卷积网络模型，得到适用于该高光谱数据集的模型参数；
步骤(C)：将训练好的模型对测试集的样本对进行融合，得到最终的融合结果图。
2.根据权利要求1所述的基于跨尺度的octave卷积网络的多光谱和高光谱图像融合方法，其特征在于：在步骤(A)中对高光谱数据集分别进行模糊和空间下采样得到低空间分辨率的高光谱图像(LR-HSI)和进行光谱下采样得到高空间分辨率的多光谱图像作为一对训练样本对，包括如下具体步骤：
步骤(A1)：选取高光谱图像数据集作为标签；
步骤(A2)：将高光谱图像选取一定比例作为训练集；
步骤(A3)：将训练集进行空间下采样和光谱下采样，得到成对的训练对。
3.根据权利要求2所述的基于跨尺度的octave卷积网络的多光谱和高光谱图像融合方法，其特征在于：在步骤(A2)中为了减少实验的负担，将训练集部分的高光谱图像划分为一系列尺寸为W*H的训练块，其中W和H分别表示训练块的宽和长。
4.根据权利要求2所述的基于跨尺度的octave卷积网络的多光谱和高光谱图像融合方法，其特征在于：步骤(A3)包括如下具体步骤：
步骤(A31)：对训练块依次通过高斯模糊和下采样，得到与训练块对应的空间下采样后的低空间分辨率的高光谱图像；
步骤(A32)：对训练块使用光谱响应函数进行光谱下采样，得到与训练块对应的光谱下采样后的高空间分辨率的多光谱图像；
步骤(A33)：将低空间分辨率的高光谱图像和高空间分辨率的多光谱图像作为一对训练样本对。
5.根据权利要求1所述的基于跨尺度的octave卷积网络的多光谱和高光谱图像融合方法，其特征在于：在步骤(B)中将图像对按照一定比例划分成训练集和测试集，并生成训练集中每个训练样本对对应的张量对，使用提出融合方法提取张量对的空间-光谱特征，训练卷积网络模型，得到适用于该高光谱数据集的模型参数，包括如下具体步骤：
步骤(B1)：将高光谱数据集作为训练集的标签，并将高光谱数据集分别进行空间下采样和光谱下采样用于生成成对的训练集；
步骤(B2)：将每个训练样本提取出来形成对应的张量；
步骤(B3)：将训练样本对应的张量及其对应的标签作为输入，对每对张量通过卷积神经网络提取空间-光谱特征，获取对应神经网络模型参数。
6.根据权利要求5基于跨尺度的octave卷积网络的多光谱和高光谱图像融合方法，其特征在于，在步骤(B2)中将每对训练样本形成w*h*L和W*H*3的张量，其中W,H,3和w,h,L分别是多光谱图像块和高光谱图像块的宽、长和通道数,其中W/w＝H/h＝8。
7.根据权利要求6所述的基于跨尺度的octave卷积网络的多光谱和高光谱图像融合方法，其特征在于，步骤(B3)包括如下具体步骤：
步骤(B31)：使用离散小波分解提取高空间分辨率的多光谱图像的低频信息，并将其与上采四倍后的低空间分辨率的高光谱图像沿着通道维度拼贴，使用3*3*64的卷积核，将输入的尺寸为(W/2)*(H/2)*(L+l)的张量通过四倍尺度下的空间-光谱特征提取网络同时提取两幅图像的空间和光谱信息，并将其依次通过3*3*128和3*3*L的卷积核形成1个(W/2)*(H/2)*L的特征张量；
步骤(B32)：将(W/2)*(H/2)*L的特征张量与上采样四倍的低空间分辨率的高光谱图像相加得到一个新的(W/2)*(H/2)*L特征张量，将其上采样两倍之后作为八倍尺度下空间-光谱特征提取网络的输入；
步骤(B33)：使用3*3*64的卷积核之后将得到的特征张量分别进行下采样两倍和四倍，得到三个不同尺度的特征张量作为一系列跨尺度octave卷积网络模块的输入用于提取空谱联合特征，最后将在每一个跨尺度octave卷积网络模块的输出得到的特征张量与上采样八倍的LR-HSI分别相加，共得到6个尺寸为W*H*L的特征张量；
步骤(B34)：将步骤(B32)中得到的前五个特征张量分别命名为
Figure RE-FDA0003961763830000021
将最后一个特征张量命名为OSR，并将其作为输入的多光谱图像和高光谱图像之后得到的重构图像；
步骤(B35)：将步骤(B34)中得到的6个特征张量及其对应的标签信息输入到损失函数中获得损失值，并根据损失值对卷积神经网络进行反向传播，对权重参数进行更新；
卷积网络的损失函数为：
l1(Z，OSR)＝||Z-OSR||1
Figure RE-FDA0003961763830000031
Figure RE-FDA0003961763830000032
Figure RE-FDA0003961763830000033
其中Z和OSR分别表示目标图像和重构图像；Z(i,j),OSR(i,j)则分别表示Z和OSR在(i,j)像素的值；网络共有n个输出，将第n个输出作为重构图像；
Figure RE-FDA0003961763830000034
网络第k个输出，k＝1,2…n-1；为了避免分母为0，使c＝1e-10；
Figure RE-FDA0003961763830000036
β和
Figure RE-FDA0003961763830000035
是权衡因子，网络分别设置为1、1和0.1；
步骤(B36)：当iteration＝20000时结束训练，将最近一次损失值下降时对应的模型参数作为最优权重参数保存。
8.根据权利要求1所述的基于跨尺度的octave卷积网络的多光谱和高光谱图像融合方法，其特征在于，在步骤(C)中用训练好的模型对传感器捕获的同一时间、同一区域的低空间分辨率的高光谱图像和高空间分辨率的多光谱图像对进行测试，得到一个同时具有高空间分辨率和高光谱分辨率的高光谱图像，具体为：将测试的多光谱和高光谱图像的张量对输入训练好的模型中得到结果作为融合结果。
CN202210982427.0A 2022-08-16 2022-08-16 基于跨尺度的octave卷积网络的多光谱和高光谱图像融合方法 Pending CN115512192A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210982427.0A CN115512192A (zh) 2022-08-16 2022-08-16 基于跨尺度的octave卷积网络的多光谱和高光谱图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210982427.0A CN115512192A (zh) 2022-08-16 2022-08-16 基于跨尺度的octave卷积网络的多光谱和高光谱图像融合方法

Publications (1)

Publication Number Publication Date
CN115512192A true CN115512192A (zh) 2022-12-23

Family

ID=84501908

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210982427.0A Pending CN115512192A (zh) 2022-08-16 2022-08-16 基于跨尺度的octave卷积网络的多光谱和高光谱图像融合方法

Country Status (1)

Country Link
CN (1) CN115512192A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115760670A (zh) * 2023-01-06 2023-03-07 之江实验室 基于网络隐式先验的无监督高光谱融合方法及装置
CN115861083A (zh) * 2023-03-03 2023-03-28 吉林大学 一种多尺度和全局特征的高光谱与多光谱遥感融合方法
CN117726916A (zh) * 2024-02-18 2024-03-19 电子科技大学 一种图像分辨率融合增强的隐式融合方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115760670A (zh) * 2023-01-06 2023-03-07 之江实验室 基于网络隐式先验的无监督高光谱融合方法及装置
CN115861083A (zh) * 2023-03-03 2023-03-28 吉林大学 一种多尺度和全局特征的高光谱与多光谱遥感融合方法
CN117726916A (zh) * 2024-02-18 2024-03-19 电子科技大学 一种图像分辨率融合增强的隐式融合方法
CN117726916B (zh) * 2024-02-18 2024-04-19 电子科技大学 一种图像分辨率融合增强的隐式融合方法

Similar Documents

Publication Publication Date Title
Deng et al. Machine learning in pansharpening: A benchmark, from shallow to deep networks
Li et al. Hyperspectral image super-resolution using deep convolutional neural network
CN110533620B (zh) 基于aae提取空间特征的高光谱和全色图像融合方法
CN115512192A (zh) 基于跨尺度的octave卷积网络的多光谱和高光谱图像融合方法
Xie et al. HPGAN: Hyperspectral pansharpening using 3-D generative adversarial networks
CN111080567A (zh) 基于多尺度动态卷积神经网络的遥感图像融合方法及系统
CN109727207B (zh) 基于光谱预测残差卷积神经网络的高光谱图像锐化方法
CN114119444B (zh) 一种基于深度神经网络的多源遥感图像融合方法
CN112184554A (zh) 一种基于残差混合膨胀卷积的遥感图像融合方法
Qu et al. A dual-branch detail extraction network for hyperspectral pansharpening
CN111127374A (zh) 一种基于多尺度密集网络的Pan-sharpening方法
CN109360147B (zh) 基于彩色图像融合的多光谱图像超分辨率重建方法
CN113327218A (zh) 一种基于级联网络的高光谱与全色图像融合方法
Lohit et al. Unrolled projected gradient descent for multi-spectral image fusion
CN114821261A (zh) 一种图像融合的算法
CN110378981A (zh) 基于神经网络的傅里叶叠层显微镜光瞳恢复方法
Li et al. HyperNet: A deep network for hyperspectral, multispectral, and panchromatic image fusion
Xiao et al. A review of remote sensing image spatiotemporal fusion: Challenges, applications and recent trends
CN113744134B (zh) 基于光谱解混卷积神经网络的高光谱图像超分辨方法
Theran et al. A pixel level scaled fusion model to provide high spatial-spectral resolution for satellite images using LSTM networks
Fortuna et al. Multivariate image fusion: A pipeline for hyperspectral data enhancement
CN116433548A (zh) 一种基于多级信息提取的高光谱与全色图像融合方法
CN114511470B (zh) 一种基于注意力机制的双分支全色锐化方法
CN113887656B (zh) 一种联合深度学习与稀疏表示的高光谱图像分类方法
CN113008371B (zh) 一种深度学习解色散模糊的高光谱成像方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination