CN113962913B - 一种融合光谱空间信息的深度互学习框架的构建方法 - Google Patents

一种融合光谱空间信息的深度互学习框架的构建方法 Download PDF

Info

Publication number
CN113962913B
CN113962913B CN202111128666.1A CN202111128666A CN113962913B CN 113962913 B CN113962913 B CN 113962913B CN 202111128666 A CN202111128666 A CN 202111128666A CN 113962913 B CN113962913 B CN 113962913B
Authority
CN
China
Prior art keywords
network
image
spectral
hyperspectral
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111128666.1A
Other languages
English (en)
Other versions
CN113962913A (zh
Inventor
王珺
付毅豪
彭进业
刘璐
俞凯
张涵毓
王琳
赵万青
章勇勤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NORTHWEST UNIVERSITY
Original Assignee
NORTHWEST UNIVERSITY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NORTHWEST UNIVERSITY filed Critical NORTHWEST UNIVERSITY
Priority to CN202111128666.1A priority Critical patent/CN113962913B/zh
Publication of CN113962913A publication Critical patent/CN113962913A/zh
Application granted granted Critical
Publication of CN113962913B publication Critical patent/CN113962913B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种融合光谱空间信息的深度互学习框架的构建方法，本发明由两个独立的深度网络组成，用于从高光谱图像中学习光谱特征和从全色图像中学习空间特征。同时，设计了一种混合损失函数，包括了光谱和空间信息损失，来加强两个深度网络之间的相互学习，从而提高各个网络的表征能力。采用了一种深度互学习策略，通过平衡光谱和空间信息损失来联合训练两种深度网络，使得网络的性能获得提高。

Description

一种融合光谱空间信息的深度互学习框架的构建方法
技术领域
本发明属于信息技术领域，设计图像处理技术，具体是一种融合光谱空间信息的深度互学习框架的构建方法。
背景技术
高光谱图像通常以数十至数百个连续且细分的光谱波段对目标区域同时成像，具有较高的光谱分辨率，但空间分辨率较低。全色图像通常为可见光范围内的单波段数据，具有较高的空间分辨率，但光谱分辨率较低。由于硬件的限制，高光谱图像往往不能得到较高的空间分辨率。而全色锐化过程被认为是将低分辨率的高光谱图像和高分辨率的全色图像融合生成高分辨率高光谱的过程。
目前，深度学习已经广泛应用于图像处理领域，但在全色锐化领域内出于探索的初级阶段。特别的，由于高光谱数据的高光谱分辨率和全色图像的高空间分辨率特点，近年来，越来越多的研究人员更倾向于探索特定的网络结构来提取高光谱或者全色图像的某一特性。但众所周知，基于深度学习的网络学习某一单独的特征优于学习多个特征。但现有的网络大多设计为提取“光谱+空间”特征的结构，网络在融合两个特征的过程中不免会同时对光谱特征和空间特征造成一定影响。为了减少融合过程中存在的影响，在网络中使用针对某一特性的损失函数也是较为常见的方法，如MSE损失、SAM损失等。
深度互学习策略最开始被应用于图像分类，其策略使用多个独立网络在不同的初始条件下进行训练并相互学习，最终使得所有网络都有所提高。而在全色锐化领域中，网络需要侧重空间维度和光谱维度两个特征。因此，将深度互学习策略引入进全色锐化领域中，通过两个网络分别学习不同特征，利用网络间相互学习来达到共同提高，是一个十分可行但目前没有尝试过的办法。
发明内容
为了充分利用高光谱图像的高光谱分辨率特征，以及全色图像的高空间分辨率特征，来降低图像处理的工作量和提高图像融合的准确度，本发明的目的在于，提供一种融合光谱空间信息的深度互学习框架的构建方法；解决现有技术中遥感图像融合不全面、融合质量和融合效果差的问题。
为了实现上述任务，本发明采用如下技术方案予以实现：
一种融合光谱空间信息的深度互学习框架的构建方法，包括以下步骤：
步骤一：获取同一场景相同角度的全色图像和高光谱图像作为数据集中的一个样本；获取多个场景的多对全色图像和高光谱图像，得到数据集；融合每个样本的全色图像和高光谱图像形成网络初始输入高光谱；
步骤二：网络初始输入高光谱分别输入光谱网络和空间网络，获得光谱网络和空间网络的结果和/>
步骤三：采用混合损失函数，基于深度互学习策略对步骤二中的光谱网络和空间网络进行训练，直至收敛，得到融合结果；
具体采用随机梯度下降算法训练光谱网络和空间网络，光谱网络和空间网络各自的损失函数为：
其中，和/>分别是光谱网络和空间网络各自的损失函数，/>是主损失函数，用来约束整体图像质量，/>和/>分别是约束空间信息的空间损失函数和约束光谱信息的光谱损失函数，λ1和λ2分别是空间损失和光谱损失的权重，y是参考高光谱图像，/>和/>分别是光谱和空间网络的输出高光谱图像。
可选的，对所述的高光谱图像进行上采样处理，达到与全色图像相同的尺寸；对所述的全色图像，首先进行限制对比度自适应直方图均衡化，获得边缘更加清楚的图像；然后通过引导滤波与上采样处理获得的高光谱图像进行融合，获得网络初始输入高光谱。
可选的，所述的上采样处理以及采用限制对比度自适应直方图均衡化处理的方法，包括以下步骤：
步骤2.1，在数据集中，采用双三次插值方法对原始高光谱图像进行间隔为4的上采样，获得与全色图像尺寸相同的低分辨率高光谱图像；
步骤2.2，在数据集中，采用限制对比度自适应直方图均衡化对全色图像进行半径为15，阈值为0.01的均衡化，来增强全色图像的空间细节；
步骤2.3，对于步骤2.1中获得的低分辨率高光谱和步骤2.2中获得的已增强的全色图像，通过引导滤波的方法，将两种数据融合，获得网络初始输入高光谱，即：
Hini＝G(Pg，Hup)；
其中，G为引导滤波，Pg为增强后的全色图像，Hup为获得的低分辨率高光谱，Hini为网络初始输入高光谱。
可选的，步骤二所述的光谱网络和空间网络包括：
步骤3.1，对于光谱网络的结果的获得，首先通过通用的光谱结构获得：
s＝f(P(F))；
其中，F是输入的特征图，P(·)是池化操作，f(·)是激活函数，s是得到的注意力向量；
然后，获得的s与F相乘，以获得注意力特征图
其中，si是注意力向量的第i个值，Fi是输入特征图的第i个特征图；
步骤3.2，对于空间网络的结果的获得，则通过残差的方法进行获得：
y＝y′+rescnn；
其中，y是参考高光谱图像，y′是网络输入的初始高光谱图像，rescnn是空谱网络学习的残差图。
可选的，步骤三所述的混合损失函数，包括：
步骤4.1，对于的选择，使用/>损失对图像的整体质量进行约束：
其中，y是参考高光谱图像，为网络输出图像；
步骤4.2，对于的选择，使用MSE损失对图像的空间信息进行约束：
其中，y是参考高光谱图像，是网络结果图像，MSE损失越小，y与/>之间的空间信息和质量越接近；yi表示参考高光谱图像的第i个通道图，/>表示网络输出高光谱图像的第i个通道图；
步骤4.3，对于的选择，使用SAM损失对图像的光谱信息进行约束：
其中，是参考图像某个像素点在光谱维度上的光谱曲线，/>是网络结果的某一点的光谱曲线，SAM损失越小，y与/>之间的光谱信息越接近；
步骤4.4，根据步骤4.1、4.2和4.3构建出的损失函数，在随机梯度下降算法训练网络过程中，不断进行优化损失，直至收敛。
一种存储介质，所述的存储介质中写入本发明所述的融合光谱空间信息的深度互学习框架的构建方法。
一种运行系统，其特征在于，所述的系统运行本发明所述的融合光谱空间信息的深度互学习框架的构建方法。
与现有技术相比，本发明具有以下优点：
本发明的技术方案第一次将深度互学习策略引入全色锐化领域，提出了一个SSML框架，并通过实验验证了SSML框架的有效性和泛化能力；基于深度互学习策略，设计了一种混合损失函数，使两个独立的网络在相互学习的同时，增强学习不同的特征，来生成更高质量的高分辨率高光谱图像；在建模求解过程中充分考虑到全色图像和高光谱图像的各自图像特征与图像之间的关系，使得融合更为全面、有效、准确。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是本发明的一种融合光谱-空间信息挖掘的深度互学习框架(SSML)的框架图；
图2是本发明的光谱网络和空间网络结构图。其中，图2(a)为光谱网络的结构，图2(b)为空间网络的结构，其具体细节结构展示在图3中；
图3是本发明中选取的不同融合方法的光谱(空间)提取结构。其中，图3(a)为残差通道注意块的设计结构，图3(b)为光谱注意力模块的设计结构，图3(c)为传统的残差块设计结构，图3(d)为多尺度的残差块设计结构，其细节部分在具体实施方式的步骤2中进行解释说明；
图4是对照组“RCAM&MSR”在“Balloon”图像中融合的结果；其中，图4(a)为CNMF方法融合图像，图4(b)为贝叶斯方法融合图像，图4(c)为GFPCA方法融合图像，图4(d)为PanNet方法融合图像，图4(e)为DDLPS方法融合图像，图4(f)为独立RCAM方法融合图像，图4(g)为独立MSR-Net方法融合图像，图4(h)为SSML中RCAM方法融合图像，图4(i)为SSML中MSR-Net方法融合图像，图4(j)参考图像。
图5是对照组“RCAM&ResNet”在“Flowers”图像中融合的结果；其中，图5(a)为CNMF方法融合图像，图5(b)为贝叶斯方法融合图像，图5(c)为GFPCA方法融合图像，图5(d)为PanNet方法融合图像，图5(e)为DDLPS方法融合图像，图5(f)为独立RCAM方法融合图像，图5(g)为独立ResNet方法融合图像，图5(h)为SSML中RCAM方法融合图像，图5(i)为SSML中ResNet方法融合图像，图5(j)参考图像。
图4和图5中，上一行图为输出的融合图，下一行图为融合结果和参考图像的差值图。
具体实施方式
以下结合具体实施例及说明书附图对本发明的技术方案做详细说明。
本发明的融合光谱空间信息的深度互学习框架的构建方法，设计了两个互相学习的网络，分别称为光谱网络和空间网络，其中光谱网络更加注重光谱特征的学习，空间网络更加注重空间细节信息的学习；相应的，还设计了一个包含光谱和空间信息损失的混合损失函数用于互学习策略中，来增强两个网络之间的相互学习；两个网络最终获得所需的高分辨率高光谱图像，来解决现有技术中遥感图像融合不全面、融合质量和融合效果差的问题。
本实施例给出的一种融合光谱空间信息的深度互学习框架(SSML)，一方面充分利用高光谱图像在光谱维度中的高光谱分辨率，使用光谱提取网络将其特征提取；另一方面，充分利用全色图像在空间中的高空间分辨率，使用空间提取网络将其特征提取；在网络学习时，使用精心设计的混合损失函数，利用光谱损失函数和空间损失函数，将两个网络的特征学习进行交互，达到学习自身特征的同时利用对方网络特征，使得最终图像获得更高的质量。
参见图1：上述一种融合光谱-空间信息挖掘的深度互学习框架(SSML)，具体包括如下步骤：
步骤1，获取一对同一场景相同角度的全色图像和高光谱图像作为数据集中的一个样本；获取多个场景的多对全色图像和高光谱图像，以得到数据集；数据集中以30％的数据作为训练集，70％的数据作为验证集；
对于所有样本，对样本中的高光谱图像进行缩放因子p＝4的上采样处理，以达到与全色图像相同的尺寸；
对于所有样本，对于样本中的全色图像，首先进行限制对比度自适应直方图均衡化对全色图像，以获得边缘更加清楚的图像；然后通过引导滤波与上采样获得的高光谱图像进行融合，以获得网络初始输入高光谱。
上采样选插值法，可以在保留一定空间特征的情况下获得比原图更大尺寸的图像。具体地，在本实施例中，对训练集和测试集中的上采样采用的是双三次插值。双三次插值对比其他插值方法，可以获得更为平滑的图像边缘。不仅如此，使用上采样也是将模型输入的数据对齐。
限制对比度自适应直方图均衡化，可以将全色图像在保留自身空间特征的情况加增强空间细节，以获得更加锐利的图像边缘。具体地，在本实施例中，对训练集和测试集中的全色图像进行半径r＝15，阈值的自适应直方图均衡化，获得增强图像的全色图像Pg。限制对比度自适应直方图均衡化对比其他直方图均衡化，可以获得更为锐化、空间细节更为丰富的图像边缘。
引导滤波，可以将全色图像引导注入高光谱图像的每个波段中，实现高光谱图像和全色图像的初步融合。具体地，在本实施例中，对训练集和测试集中的高光谱图像和全色图像进行半径r＝15，正则化参数λ＝0.0001的引导滤波，从而获得网络输入的初始图像Hini。
步骤2，将初始高光谱输入到SSML框架中的两个深度网络，以获得两个深度网络的结果和/>其中，结果/>和/>的获得，具体地：
步骤2.1，对于光谱网络融合结果首先初始图像Hini通过卷积获得特征图F，然后通过通用的光谱结构获得：
s＝f(P(F))
其中，F是输入的特征图，P(·)是池化操作，f(·)是激活函数，s是得到的注意力向量；
然后，将获得的s与F相乘，以获得注意力特征图
其中，si是注意力向量的第i个值，Fi是输入特征图的第i个特征图；
最终，通过卷积将第i个通过卷积，获得光谱网络结果/>
步骤2.2，对于空间网络融合结果则通过残差的方法进行获得：
y＝y′+rescnn
其中，y是参考高光谱图像，y′是网络输入的初始高光谱图像，rescnn是空谱网络学习的残差图。
最终，网络学习到的rescnn与初始Hini相加，获得空间网络结果
步骤3，采用混合的损失函数，基于深度互学习策略对步骤2中的两个网络进行训练，直至收敛，以得到融合结果；其中，采用混合的损失函数进行训练，具体地：
步骤3.1，两个独立网络的损失函数设计为：
其中，和/>分别是SSML框架内的光谱网络和空间网络各自的损失函数，/>是SSML框架内的主损失函数，用来约束整体图像质量，/>和/>分别是在空间损失和光谱损失函数，λ1和λ2分别是空间损失和光谱损失的权重，y是参考高光谱图像，/>和/>分别是光谱和空间网络的输出高光谱图像。
对于的选择，使用/>损失对图像的整体质量进行约束：
其中，y是参考图像，为网络输出图像；
步骤3.2，对于的选择，使用MSE损失对图像的空间信息进行约束：
其中，y是参考高光谱图像，是网络结果图像。MSE损失越小，y与/>之间的空间信息和质量越接近；yi表示参考高光谱图像的第i个通道图，/>表示网络输出高光谱图像的第i个通道图；
步骤3.3，对于的选择，使用SAM损失对图像的光谱信息进行约束：
其中，是参考图像某个像素点在光谱维度上的光谱曲线，/>是网络结果的某一点的光谱曲线。SAM损失越小，y与/>之间的光谱信息越接近；
步骤3.4，根据步骤3.1、3.2和3.3构建出地损失函数，在随机梯度下降算法训练网络过程中，不断进行优化损失，直至收敛。
具体包括：训练数据集中分别选取p个样本组成一个小批量样本，这里选择p＝32，然后在每次迭代中，进行：
首先，对光谱网络进行随机梯度下降：
其中，为3.4步骤构建出的损失函数/>这里m代表的是p个样本，y和/>分别代表的是参考高光谱图像和网络输出高光谱图像。之后运用梯度下降法更新光谱网络：
这里，是损失函数对参数θi的偏导数。α为模型设定的学习率。
上述步骤后，可以简化为：
式中，表示求得其损失函数的梯度。在每次模型更新时，通过随机采取一个样本来更新参数；
然后，对空间网络进行随机梯度下降：
其中，为3.4步骤构建出的损失函数/>之后与光谱网络类似，采用梯度下降法更新空间网络。
实施例：
本实施例采用两个高光谱遥感图像来验证所提出的融合框架的有效性；两个高光谱图像遥感图像均来自CAVE数据集中；CAVE数据集中的高光谱图像包含了各种真实世界的材料和实验室环境中照明受控的物体，每个图像包含31个波段，波长范围为400-700nm，每10nm为一个波段，分辨率为512×512像素。
为了更好地评估本实施例的一种融合光谱—空间信息挖掘的深度互学习框架(SSML)的实用性，本实施例给出两种实验类型，分别为对照组“RCAM&MSR”和对照组“RCAM&ResNet”。
本实施例给出的一种融合光谱—空间信息挖掘的深度互学习框架(SSML)，主要与以下五种广泛使用的图像融合方法进行比较；基于模型的方法CNMF与朴素贝叶斯模型、基于混合方法的方法GFPCA、基于深度学习的方法PanNet和DDLPS。
实验中，算法部署在Pytorch框架中进行训练网络，大约进行5000次迭代，批量大小设置为21；对于随机梯度下降算法，设置权重衰减为10-3，动量为0.9；本发明设置SSML中各个网络深度为均设置为6。
SSML框架泛化性实验效果分析：
本实施例采用PSNR和SAM这两个客观评价指标对SSML框架进行泛化性的评价；其中PSNR即峰值信噪比，是一种评价图像的客观标准，最优值为无穷；SAM表示全局光谱扭曲测量，反映两个图像之间的光谱角差异，最优值为0。
表1和表2分别为SSML中各对照组分别通过独立训练、通过SSML训练得到的客观指标；图3中，图3(a)为RCAM设计结构，图3(b)为SeAM设计结构，图3(c)为ResNet设计结构，图3(d)为MSR设计结构；从表1和表2可以看到，本实施例中各个对照组经过SSML框架下训练后，客观指标均得到了提高；其中，本实施例在对照组“RCAM&MSR”中，尽管RCAM和MSR在独立训练中的指标均达到较高水准，但RCAM和MSR通过SSML训练后，各自的结果指标均得到了较小的提升；在对照组“SeAM&ResNet”中，SeAM和ResNet的独立训练中指标相较于其他网络较差，但经过SSML训练后，都有较大幅度的提高，这也证明了SSML无论对结果较优的网络进行相互学习，还是对特征表征较差的网络进行学习，均可以对其结果指标进行提升。
表1：SSML中各个对照组在PSNR指标中的表现
表2：SSML中各个对照组在SAM指标中的表现
对比组“RCAM&MSR”在“Balloon”图像实验效果分析：
本实施例采用PSNR、SAM、CC、RMSE和ERGAS这五个客观评价指标对该实施例进行评价；其中PSNR即峰值信噪比，是一种评价图像的客观标准，最优值为无穷；SAM表示全局光谱扭曲测量，反映两个图像之间的光谱角差异，最优值为0；CC表示相关系数，从统计学相关的角度来评估两个图像的各波段图像之间的光谱和空间信息相似程度，最优值为1；SSIM通过从亮度、对比度和结构这三个方面的比较，实现对参考图像与融合结果中每个波段图像结构相似的度量，最优值为1；RMSE通过计算图像间的距离来评估两个图像的相似程度，最优值为0；ERGAS表示融合图像质量的全局指标，最优值为0；。
图4为“RCAM&MSR”在“Balloon”图像实验结果；图4(a)～(e)分别为五种对比方法的融合图像，图4(f)、(g)分别为单独训练的两个网络的融合图像，图4(h)、(i)分别为SSML训练的两个网络的融合图像，图4(j)为参考图像；通过对融合图像和参考图像进行对比，可以看出所有方法都能提高原始高光谱图像的空间分辨率，但很明显的看出CNMF在气球表面上存在明显的光谱扭曲，朴素贝叶斯在可视化图像中存在严重的模糊，PanNet合成的图像边缘过于锐化，朴素贝叶斯、GFPCA和DDLPS图像在图像边缘区域存在显著的光谱扭曲。对于(f)～(i)，可以看出无论在可视化图像中还是在颜色图像中，均差异不大。
表3为对比组“RCAM&MSR”在“Balloon”图像实验中不同融合方法结果的客观指标；从表可以看出，本实施例的大多数客观指标均优于其他方法，其中，以S2作为对比，独立训练的S2可以与其他融合方法的指标相抗衡，但通过SSML训练的S2，图像无论是从图像质量的全局评价指标还是从光谱维度的指标，均得到了小幅度的提升；以S1与其他方法作为对比，其图像指标在经过SSML后，也能得到了小幅度的提升。
综合视觉评价与客观指标评价，本实施例给出的对比组“RCAM&MSR”在融合光谱—空间信息挖掘的深度互学习框架(SSML)中，能很好提高两个独立网络的结果，能更好的得到具有高空间和高光谱分辨率的融合图像。
表3:对比组“RCAM&MSR”在“Balloon”中融合结果的客观指标
对比组“RCAM&ResNet”在“Flowers”图像实验效果分析：
图5为“RCAM&ResNet”在“Flowers”图像实验结果；图5(a)～(e)分别为五种对比方法的融合图像，图5(f)、(g)分别为单独训练的两个网络的融合图像，图5(h)、(i)分别为SSML训练的两个网络的融合图像，图5(j)为参考图像；在可视化图像中，朴素贝叶斯存在明显的图像模糊，PanNet的花瓣边缘过于锐化，GFPCA和DDLPS在花瓣区域有些许模糊；在颜色图中，CNMF、朴素贝叶斯、GFPCA和DDLPS在花瓣的交界处有明显的光谱扭曲，PanNet在花瓣边缘有光谱扭曲，而(f)～(i)有较好的光谱保存。
表4为对比组“RCAM&ResNet”在“Flowers”图像实验中不同融合方法结果的客观指标；从表可以看出，本实施例的客观指标均优于其他方法，其中，以S1作为对比，独立训练的S1可以与其他融合方法的指标相抗衡，但通过SSML训练的S1，图像在空间和光谱指标上有着更进一步的提升，以S2与S1作为对比，尽管S2的指标不如S1，但经过SSML后，双方的指标均得到了提升，这既证明了SSML S2和SSML S1的指标更出色，也证明了SSML框架对双网络学习的有效性。
表4:对比组“RCAM&ResNet”在“Flowers”中融合结果的客观指标
以上详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (6)

1.一种融合光谱空间信息的深度互学习框架的构建方法，其特征在于，包括以下步骤：
步骤一：获取同一场景相同角度的全色图像和高光谱图像作为数据集中的一个样本；获取多个场景的多对全色图像和高光谱图像，得到数据集；融合每个样本的全色图像和高光谱图像形成网络初始输入高光谱；
步骤二：网络初始输入高光谱分别输入光谱网络和空间网络，获得光谱网络和空间网络的结果和/>
步骤三：采用混合损失函数，基于深度互学习策略对步骤二中的光谱网络和空间网络进行训练，直至收敛，得到融合结果；
具体采用随机梯度下降算法训练光谱网络和空间网络，光谱网络和空间网络各自的损失函数为：
其中，和/>分别是光谱网络和空间网络各自的损失函数，/>是主损失函数，用来约束整体图像质量，/>和/>分别是约束空间信息的空间损失函数和约束光谱信息的光谱损失函数，λ1和λ2分别是空间损失和光谱损失的权重，y是参考高光谱图像,/>和/>分别是光谱和空间网络的输出高光谱图像；
步骤三所述的混合损失函数，包括：
步骤4.1，对于的选择，使用/>损失对图像的整体质量进行约束：
其中，y是参考高光谱图像，为网络输出图像；
步骤4.2，对于的选择，使用MSE损失对图像的空间信息进行约束：
其中，y是参考高光谱图像，是网络结果图像，MSE损失越小，y与/>之间的空间信息和质量越接近；yi表示参考高光谱图像的第i个通道图，/>表示网络输出高光谱图像的第i个通道图；
步骤4.3，对于的选择，使用SAM损失对图像的光谱信息进行约束：
其中，是参考图像某个像素点在光谱维度上的光谱曲线，/>是网络结果的某一点的光谱曲线，SAM损失越小，y与/>之间的光谱信息越接近；
步骤4.4，根据步骤4.1、4.2和4.3构建出的损失函数，在随机梯度下降算法训练网络过程中，不断进行优化损失，直至收敛。
2.如权利要求1所述的融合光谱空间信息的深度互学习框架的构建方法，其特征在于，对所述的高光谱图像进行上采样处理，达到与全色图像相同的尺寸；
对所述的全色图像，首先进行限制对比度自适应直方图均衡化，获得边缘更加清楚的图像；然后通过引导滤波与上采样处理获得的高光谱图像进行融合，获得网络初始输入高光谱。
3.如权利要求2所述的融合光谱空间信息的深度互学习框架的构建方法，其特征在于，所述的上采样处理以及采用限制对比度自适应直方图均衡化处理的方法，包括以下步骤：
步骤2.1，在数据集中，采用双三次插值方法对原始高光谱图像进行间隔为4的上采样，获得与全色图像尺寸相同的低分辨率高光谱图像；
步骤2.2，在数据集中，采用限制对比度自适应直方图均衡化对全色图像进行半径为15，阈值为0.01的均衡化，来增强全色图像的空间细节；
步骤2.3，对于步骤2.1中获得的低分辨率高光谱和步骤2.2中获得的已增强的全色图像，通过引导滤波的方法，将两种数据融合，获得网络初始输入高光谱，即：
Hini＝G(Pg,Hup)；
其中，G为引导滤波，Pg为增强后的全色图像，Hup为获得的低分辨率高光谱，Hini为网络初始输入高光谱。
4.如权利要求1、2或3所述的融合光谱空间信息的深度互学习框架的构建方法，其特征在于，步骤二所述的光谱网络和空间网络包括：
步骤3.1，对于光谱网络的结果的获得，首先通过通用的光谱结构获得：
s＝f(P(F))；
其中，F是输入的特征图，P(·)是池化操作，f(·)是激活函数，s是得到的注意力向量；
然后，获得的s与F相乘，以获得注意力特征图
其中，si是注意力向量的第i个值，Fi是输入特征图的第i个特征图；
步骤3.2，对于空间网络的结果的获得，则通过残差的方法进行获得：
y＝y′+escnn；
其中，y是参考高光谱图像，y′是网络输入的初始高光谱图像，rescnn是空谱网络学习的残差图。
5.一种存储介质，其特征在于，所述的存储介质中写入权利要求1-4任一所述的融合光谱空间信息的深度互学习框架的构建方法。
6.一种运行系统，其特征在于，所述的系统运行权利要求1-4任一所述的融合光谱空间信息的深度互学习框架的构建方法。
CN202111128666.1A 2021-09-26 2021-09-26 一种融合光谱空间信息的深度互学习框架的构建方法 Active CN113962913B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111128666.1A CN113962913B (zh) 2021-09-26 2021-09-26 一种融合光谱空间信息的深度互学习框架的构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111128666.1A CN113962913B (zh) 2021-09-26 2021-09-26 一种融合光谱空间信息的深度互学习框架的构建方法

Publications (2)

Publication Number Publication Date
CN113962913A CN113962913A (zh) 2022-01-21
CN113962913B true CN113962913B (zh) 2023-09-15

Family

ID=79462257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111128666.1A Active CN113962913B (zh) 2021-09-26 2021-09-26 一种融合光谱空间信息的深度互学习框架的构建方法

Country Status (1)

Country Link
CN (1) CN113962913B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738052A (zh) * 2020-04-13 2020-10-02 上海海洋大学 基于深度学习的多特征融合高光谱遥感地物分类方法
CN112819737A (zh) * 2021-01-13 2021-05-18 西北大学 基于3d卷积的多尺度注意力深度卷积网络的遥感图像融合方法
CN113222823A (zh) * 2021-06-02 2021-08-06 国网湖南省电力有限公司 基于混合注意力网络融合的高光谱图像超分辨率方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11195057B2 (en) * 2014-03-18 2021-12-07 Z Advanced Computing, Inc. System and method for extremely efficient image and pattern recognition and artificial intelligence platform
CN103198463B (zh) * 2013-04-07 2014-08-27 北京航空航天大学 基于整体结构和空间细节信息融合的光谱图像全色锐化方法
US11367185B2 (en) * 2019-07-12 2022-06-21 Mayo Foundation For Medical Education And Research Deep learning-based medical image quality evaluation and virtual clinical trial

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738052A (zh) * 2020-04-13 2020-10-02 上海海洋大学 基于深度学习的多特征融合高光谱遥感地物分类方法
CN112819737A (zh) * 2021-01-13 2021-05-18 西北大学 基于3d卷积的多尺度注意力深度卷积网络的遥感图像融合方法
CN113222823A (zh) * 2021-06-02 2021-08-06 国网湖南省电力有限公司 基于混合注意力网络融合的高光谱图像超分辨率方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
deep mutual learning;ying zhang 等;arXiv;第1-10页 *
基于小样本学习的高光谱遥感图像分类算法;张婧 等;聊城大学学报(自然科学版);第4-14页 *
结合深度学习的非下采样剪切波遥感图像融合;陈清江 等;应用光学;第69-80页 *

Also Published As

Publication number Publication date
CN113962913A (zh) 2022-01-21

Similar Documents

Publication Publication Date Title
CN110533620B (zh) 基于aae提取空间特征的高光谱和全色图像融合方法
CN110363215B (zh) 基于生成式对抗网络的sar图像转化为光学图像的方法
CN108830796B (zh) 基于谱空结合和梯度域损失的高光谱图像超分辨重构方法
Xie et al. Hyperspectral image super-resolution using deep feature matrix factorization
CN110728192B (zh) 一种基于新型特征金字塔深度网络的高分遥感图像分类方法
CN109886870B (zh) 基于双通道神经网络的遥感图像融合方法
CN111127374B (zh) 一种基于多尺度密集网络的Pan-sharpening方法
CN110415199B (zh) 基于残差学习的多光谱遥感图像融合方法及装置
CN112734646B (zh) 一种基于特征通道划分的图像超分辨率重建方法
CN112819737B (zh) 基于3d卷积的多尺度注意力深度卷积网络的遥感图像融合方法
CN109214989B (zh) 基于多方向特征预测先验的单幅图像超分辨率重建方法
Hu et al. Pan-sharpening via multiscale dynamic convolutional neural network
CN102982517B (zh) 基于光谱与空间局部相关的遥感影像融合方法
CN111639587B (zh) 基于多尺度谱空卷积神经网络的高光谱图像分类方法
Xin et al. Image recognition of crop diseases and insect pests based on deep learning
CN109712150A (zh) 基于稀疏表示的光学微波图像融合重建方法和装置
CN115100075B (zh) 基于光谱约束和残差注意力网络的高光谱全色锐化方法
CN117114984A (zh) 基于生成对抗网络的遥感图像超分辨率重建方法
CN116630209A (zh) 基于交叉混合注意力的sar与可见光图像融合方法
CN116523897A (zh) 一种基于互导学习的半监督浒苔检测方法及系统
CN112184552B (zh) 一种基于高频特征学习的子像素卷积图像超分辨方法
CN116137043B (zh) 一种基于卷积和Transformer的红外图像彩色化方法
CN113962913B (zh) 一种融合光谱空间信息的深度互学习框架的构建方法
CN112529828A (zh) 参考数据非敏感的遥感影像时空融合模型构建方法
CN116309069A (zh) 一种基于多源融合的星载光谱遥感图像超分辨率重构方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant