CN113327218A - 一种基于级联网络的高光谱与全色图像融合方法 - Google Patents

一种基于级联网络的高光谱与全色图像融合方法 Download PDF

Info

Publication number
CN113327218A
CN113327218A CN202110646163.7A CN202110646163A CN113327218A CN 113327218 A CN113327218 A CN 113327218A CN 202110646163 A CN202110646163 A CN 202110646163A CN 113327218 A CN113327218 A CN 113327218A
Authority
CN
China
Prior art keywords
image
hyperspectral
network
matrix
multispectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110646163.7A
Other languages
English (en)
Other versions
CN113327218B (zh
Inventor
陆小辰
杨德政
贾逢德
阳云龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Donghua University
Original Assignee
Donghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Donghua University filed Critical Donghua University
Priority to CN202110646163.7A priority Critical patent/CN113327218B/zh
Publication of CN113327218A publication Critical patent/CN113327218A/zh
Application granted granted Critical
Publication of CN113327218B publication Critical patent/CN113327218B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种基于级联网络的高光谱与全色图像融合方法，属于图像处理技术领域，包括以下步骤：将细节注入方法与光谱解混模型集成到一个级联的卷积神经网络中，构建一个端到端的网络模型，对高光谱图像像素的丰度进行估计，进而重构高空间分辨率的高光谱图像。本发明通过引入全色图像，与高光谱图像进行融合，可提升高光谱图像的空间分辨率，同时，减小融合图像的光谱失真现象。通过建立基于级联卷积网络的高光谱图像融合模型，将细节注入方法与光谱解混模型整合为一个端到端的网络结构，能够有效地提取到输入的多源图像的空间和光谱信息，以生成高分辨率图像各端元的丰度值。

Description

一种基于级联网络的高光谱与全色图像融合方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于级联网络的高光谱与全色图像融合方法。
背景技术
高光谱成像是遥感领域中最重要的探测手段之一，它在获得地表分布信息的同时，也能获得各种地物的光谱信息，从而实现图像与光谱信息的结合。高光谱图像最为突出的特点是其精细的光谱分辨率及丰富的光谱信息，能有效地探测到有别于传统多光谱或人眼所能发现的诊断性的特征，因而显著提升了人类对于世界的认知能力。但是，高光谱图像光谱分辨率的提高是以牺牲空间分辨率为代价的，换言之，高光谱图像普遍存在着空间分辨率上的不足，为此，图像融合技术常被用来增强高光谱图像的空间分辨率。
传统的高光谱与全色图像融合方法包括成分替换、非负矩阵分解方法、贝叶斯估计方法、多分辨率分析等等。随着深度学习理论的发展和应用，卷积神经网络（Convolutional Neural Network，CNN）在图像处理领域展现出了巨大的潜力和优势。CNN能自主地学习图像的各种特征并进行拟合，从而形成对图像的精确表示。目前，卷积神经网络已初步被应用到遥感图像融合领域中。但是，现有的基于CNN的图像融合方法，缺少对高光谱图像光谱信息的准确提取，没有考虑光谱混合问题，不能很好地解决图像存在着的光谱失真现象。
发明内容
本发明的目的在于提出一种基于级联网络的高光谱与全色图像融合方法，克服传统图像融合方法中需要人为设计特征提取模型的缺点，将卷积神经网络与细节注入方法、光谱解混模型相结合，增强融合效果，从而有效地提高高光谱图像的空间分辨率。
本发明的技术方案是这样实现的：
本发明提供一种基于级联网络的高光谱与全色图像融合方法，包括以下步骤：
S1. 输入低分辨率高光谱图像和高分辨率全色图像，利用顶点成分分析法提取高光谱图像端元矩阵；
S2. 对高光谱图像沿波段方向分组进行主成分分析处理，生成光谱应转换矩阵和仿真的多光谱图像；
S3. 构建级联卷积神经网络，初始化网络参数；
S4. 对图像进行采样处理；
S5. 高光谱、多光谱和全色图像重排列，构造训练样本及其标签集合；
S6. 训练网络模型，微调高光谱、多光谱端元矩阵和光谱响应转换矩阵；
S7. 对原始高光谱、多光谱图像进行上采样处理，与原始全色图像构成测试样本；
S8. 利用网络模型预测高光谱图像丰度矩阵，生成高分辨率高光谱图像。
作为本发明的进一步改进，具体包括以下步骤：
S1. 对高光谱图像采用顶点成分分析方法提取包含D个端元的端元矩阵；
S2. 根据高光谱图像的波段相关矩阵，将其按照光谱维度分解为
Figure 100002_DEST_PATH_IMAGE002
组，分别对每组进行主成分分析处理，将每组的第一主成分系数组合生成光谱响应转换矩阵；将每组的第一个主成分提取出来形成一幅仿真多光谱图像；
S3. 构建基于级联卷积神经网络的回归模型，该模型包含一个细节注入子网络与一个光谱解混子网络；
S4. 对图像进行采样处理，将原始高光谱图像、全色图像以及仿真生成的多光谱图像分别按比例s进行高斯低通滤波和下采样，其中s为全色图像与原始高光谱图像的尺寸之比；
S5. 将采样后的高光谱与多光谱图像进行按照全色图像的尺寸进行双线性插值；将处理好的多光谱和全色图像按波段维度排列，从第一个像素开始，以边界镜像的填充方式，依次取每个像素多光谱与全色图像各波段上的
Figure 100002_DEST_PATH_IMAGE004
邻域数据块，构成单个训练样本，一共得到含
Figure 100002_DEST_PATH_IMAGE006
个训练样本的训练样本集，记作训练样本一，同样，对于处理好的高光谱图像以相同的方式，从第一个像素开始生成训练样本，记作训练样本二；同时将原始高光谱图像和合成的多光谱图像对应的中心像素的各波段值作为训练样本的标签值；
S6. 训练网络，首先将训练样本一作为输入送入细节注入子网络，再将该网络输出的细节信息注入到对应的低分辨率多光谱图像中，生成高分辨率多光谱图像每个像素的
Figure 965817DEST_PATH_IMAGE004
数据块，然后将训练样本二以及细节注入子网络生成的数据块依次送入光谱解混子网络，再将该网络的输出作为像素各端元对应的丰度矩阵，然后将高光谱和多光谱图像端元矩阵与丰度的乘积作为预测值与标签值做均方误差，同时加上多光谱图像端元矩阵和光谱响应转换矩阵与高光谱图像端元矩阵乘积的均方差作为损失函数，并对丰度矩阵进行L2正则化约束，迭代训练模型，调整模型参数，在每次迭代过程中，利用乘法规则微调端元矩阵和光谱响应转换矩阵，直至收敛；
S7. 将原始高光谱图像与多光谱图像进行s倍插值，得到与原始全色图像相同行列尺寸的图像，然后将该多光谱和全色图像按波段维排列；从第一个像素开始，依次取每个像素多光谱与全色图像各波段上的
Figure 351799DEST_PATH_IMAGE004
邻域，同时也提取每个像素高光谱图像各波段上的
Figure 600377DEST_PATH_IMAGE004
邻域，构成单个测试样本，利用神经网络预测每个像素的丰度值；
S8. 将高光谱图像的端元矩阵与预测得到的丰度矩阵相乘生成高分辨率的高光谱图像。
作为本发明的进一步改进，步骤S1的具体方法为：将高光谱图像表示成
Figure 100002_DEST_PATH_IMAGE008
，全色图像表示成
Figure 100002_DEST_PATH_IMAGE010
，其中，表示高光谱图像的波段个数，
Figure 100002_DEST_PATH_IMAGE012
和
Figure 100002_DEST_PATH_IMAGE014
分别表示高光谱与多光谱图像的像素个数；对高光谱图像采用顶点成分分析方法提取端元矩阵
Figure 100002_DEST_PATH_IMAGE016
，其中
Figure 100002_DEST_PATH_IMAGE018
为预先设置的端元个数。
作为本发明的进一步改进，步骤S2的具体方法为：计算高光谱图像的波段相关矩阵，根据波段相关矩阵，将高光谱图像沿光谱维度分为λ组，对每组分别进行主成分分析，将每组的第一主成分系数
Figure 100002_DEST_PATH_IMAGE020
组合生成光谱响应转换矩阵，计算公式如公式（1）所示：
Figure 100002_DEST_PATH_IMAGE022
其中，
Figure 100002_DEST_PATH_IMAGE024
表示第
Figure 100002_DEST_PATH_IMAGE026
组的波段数目，满足
Figure 100002_DEST_PATH_IMAGE028
；同时，提取每组第一个主成分构成一幅仿真多光谱图像，则该多光谱图像实际可以由高光谱图像和光谱响应转换矩阵S相乘得到，计算公式如公式（2）所示：
Figure 100002_DEST_PATH_IMAGE030
其中，
Figure 100002_DEST_PATH_IMAGE032
，且
Figure 100002_DEST_PATH_IMAGE034
，
Figure 100002_DEST_PATH_IMAGE036
是原始高光谱图像光谱波段上的第
Figure 25280DEST_PATH_IMAGE026
组。
作为本发明的进一步改进，步骤S3中所述细节注入子网络的模型结构包含四个卷积层，每个卷积层后分别连接一个批规范化层和激活函数层，每个卷积层分辨包含32、32、32、l个3×3大小的卷积核，激活函数采用线性修正单元函数，卷积核与权重等参数采用方差为0.01的高斯随机函数初始化方式；所述光谱解混子网络的结构与细节注入子网络相比，最后一个卷积层拥有
Figure 308494DEST_PATH_IMAGE018
个3×3大小的卷积核，同时其激活函数层换为使用softmax函数的回归输出层，其中
Figure 849066DEST_PATH_IMAGE018
为预先设置的端元个数，其他相同。
作为本发明的进一步改进，步骤S4的具体方法为：对图像进行采样处理，将原始高光谱图像
Figure 100002_DEST_PATH_IMAGE038
和全色图像
Figure 100002_DEST_PATH_IMAGE040
分别按比例s进行高斯低通滤波和下采样，得到
Figure 100002_DEST_PATH_IMAGE042
与
Figure 100002_DEST_PATH_IMAGE044
，其中s为全色图像
Figure 100002_DEST_PATH_IMAGE046
与高光谱图像
Figure 100002_DEST_PATH_IMAGE048
的空间尺寸之比
Figure 100002_DEST_PATH_IMAGE050
,并对
Figure 100002_DEST_PATH_IMAGE052
按比例s进行高斯低通滤波和下采样，得到
Figure 100002_DEST_PATH_IMAGE054
,此外，对多光谱图像
Figure 538935DEST_PATH_IMAGE052
计算端元矩阵
Figure 100002_DEST_PATH_IMAGE056
，其中
Figure 472256DEST_PATH_IMAGE018
为预先设置的端元个数。
作为本发明的进一步改进，步骤S5的具体方法为：对步骤S4中的高光谱图像
Figure 100002_DEST_PATH_IMAGE058
与多光谱图像
Figure 100002_DEST_PATH_IMAGE060
按照全色图像
Figure 100002_DEST_PATH_IMAGE062
的空间尺寸进行双线性插值得到
Figure 100002_DEST_PATH_IMAGE064
与
Figure 100002_DEST_PATH_IMAGE066
；然后构造训练样本集，将处理好的多光谱图像与全色图像按波段维度排列为
Figure 100002_DEST_PATH_IMAGE068
，从第一个像素开始，以边界镜像的填充方式，依次取每个像素各波段上的
Figure 100002_DEST_PATH_IMAGE070
领域数据块，构成单个训练样本，一共得到含
Figure 154517DEST_PATH_IMAGE006
个训练样本的训练样本集，记为训练样本一
Figure 100002_DEST_PATH_IMAGE072
；同样，对于处理的好的高光谱图像
Figure 100002_DEST_PATH_IMAGE074
以相同的方式，从第一个像素开始生成训练样本，记作训练样本二
Figure 100002_DEST_PATH_IMAGE076
；同时将原始高光谱图像和合成的多光谱图像
Figure 570717DEST_PATH_IMAGE052
对应的中心像素的各波段值作为训练样本的标签值。
作为本发明的进一步改进，步骤S6的具体方法为：首先将训练样本
Figure 793888DEST_PATH_IMAGE072
作为输入送入细节注入子网络，再将该网络输出的细节信息
Figure 100002_DEST_PATH_IMAGE078
注入到对应的低分辨率多光谱图像
Figure 452271DEST_PATH_IMAGE052
中，输出记为
Figure 100002_DEST_PATH_IMAGE080
，计算公式如公式（3）所示：
Figure 100002_DEST_PATH_IMAGE082
其次，将训练样本
Figure 382181DEST_PATH_IMAGE076
与对应的
Figure 28670DEST_PATH_IMAGE080
沿光谱维度方向进行拼接，并送入光谱解混子网络，再将该子网络的输出作为像素各端元对应的丰度矩阵
Figure 100002_DEST_PATH_IMAGE084
，最后，将高光谱和多光谱图像端元矩阵与丰度矩阵的乘积作为预测值与标签值的做均方误差，同时加上多光谱图像端元矩阵和光谱响应转换矩阵与高光谱图像端元矩阵乘积的均方差作为损失函数，同时对丰度矩阵进行L2正则化约束，计算公式如公式（4）所示：
Figure 100002_DEST_PATH_IMAGE086
计算损失函数对丰度的导数，得到公式（5）：
Figure 100002_DEST_PATH_IMAGE088
其中，
Figure 100002_DEST_PATH_IMAGE090
是二范式距离，
Figure 100002_DEST_PATH_IMAGE092
，用梯度下降法进行反向传播，训练CNN模型，调整模型参数，设置迭代更新次数为200，每次更新丰度矩阵后，利用乘法规则微调端元矩阵，直至收敛，计算公式如公式（6）-公式（8）所示：
Figure 100002_DEST_PATH_IMAGE094
Figure 100002_DEST_PATH_IMAGE096
Figure 100002_DEST_PATH_IMAGE098
。
作为本发明的进一步改进，步骤S7中的具体方法为：神经网络训练完毕后，将原始高光谱图像和多光谱图像
Figure 100002_DEST_PATH_IMAGE100
行s倍插值，得到与原始全色图像相同行列尺寸的高光谱图像
Figure 100002_DEST_PATH_IMAGE102
和多光谱图像
Figure 100002_DEST_PATH_IMAGE104
，然后将该多光谱图像
Figure 100002_DEST_PATH_IMAGE106
和全色图像按波段维排列为
Figure 100002_DEST_PATH_IMAGE108
；从第一个像素开始，依次取每个像素
Figure 100002_DEST_PATH_IMAGE110
各波段上的7×7邻域，同时，从第一个像素开始，依次取每个像素
Figure 100002_DEST_PATH_IMAGE112
各波段上的7×7邻域，构成单个测试样本。
作为本发明的进一步改进，步骤S8的具体方法为：将测试样本输入到训练好的网络模型中，利用网络模型预测每个像素的各端元对应的丰度值，得到丰度矩阵
Figure 100002_DEST_PATH_IMAGE114
，将端元矩阵
Figure 100002_DEST_PATH_IMAGE116
与丰度相乘后得到融合后的高光谱图像，
Figure 100002_DEST_PATH_IMAGE118
。
本发明具有如下有益效果：本发明通过引入全色图像，与高光谱图像进行融合，可提升高光谱图像的空间分辨率，同时，减小融合图像的光谱失真现象。通过建立基于级联卷积网络的高光谱图像融合模型，将细节注入方法与光谱解混模型整合为一个端到端的网络结构，能够有效地提取到输入的多源图像的空间和光谱信息，以生成高分辨率图像各端元的丰度值。该模型可以利用分辨率较低的图像进行训练，可以有效减轻其他现有工作对辅助高分辨率数据资源的需求，相较于传统方法具有更高的鲁棒性和光谱保真度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所示方法的流程图；
图2为本发明所示方法的示意图；
图3a)为帕维亚大学的高光谱图像；
图3b)为华盛顿市中心广场的高光谱图像；
图3c)为美国休斯顿大学园区的高光谱图像；
图3d)为由WorldView-II卫星获取的休斯顿大学全色图像；
图3e)为旧金山湾高光谱图像；
图3f)为由EO-1 ALI成像仪采集的旧金山湾全色图像；
图4a为帕维亚大学PW-MAP融合图像；
图4b为帕维亚大学TBCNN融合图像；
图4c为帕维亚大学DiCNN融合图像；
图4d为帕维亚大学HyPNN,融合图像；
图4e为帕维亚大学HSpeNet融合图像；
图4f为帕维亚大学D-DARN融合图像；
图4g帕维亚大学本发明所示方法融合图像。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1-2，以德国反射式成像光谱仪ROSIS获取的意大利帕维亚大学高光谱图像为例，该图像的空间分辨率为1.3米，包含可见光到近红外范围的103个光谱波段，取大小为320×320个像素的局部图像作为参考图像。将该图像采用7×7的高斯低通滤波器进行滤波，然后4倍下采样，得到仿真的低分辨率高光谱图像，并将位于520-900 nm范围内的波段求平均，得到对应的高分辨率全色图像。实施例计算步骤如下：
步骤S1：将高光谱图像表示成
Figure 627885DEST_PATH_IMAGE008
，全色图像表示成
Figure 371850DEST_PATH_IMAGE010
，其中，表示高光谱图像的波段个数，
Figure 703736DEST_PATH_IMAGE012
和
Figure 507744DEST_PATH_IMAGE014
分别表示高光谱与多光谱图像的像素个数；对高光谱图像采用顶点成分分析方法提取端元矩阵
Figure 705508DEST_PATH_IMAGE016
，其中
Figure 253164DEST_PATH_IMAGE018
为预先设置的端元个数。
步骤S2：计算高光谱图像的波段相关矩阵，根据波段相关矩阵，将高光谱图像沿光谱维度分为
Figure 100002_DEST_PATH_IMAGE120
组，对每组分别进行主成分分析，将每组的第一主成分系数
Figure 672512DEST_PATH_IMAGE020
组合生成光谱响应转换矩阵，计算公式如公式（1）所示：
Figure DEST_PATH_IMAGE022A
其中，
Figure 621924DEST_PATH_IMAGE024
表示第
Figure 41404DEST_PATH_IMAGE026
组的波段数目，满足
Figure 392751DEST_PATH_IMAGE028
；同时，提取每组第一个主成分构成一幅仿真多光谱图像，则该多光谱图像实际可以由高光谱图像和光谱响应转换矩阵S相乘得到，计算公式如公式（2）所示：
Figure DEST_PATH_IMAGE030A
其中，
Figure 197765DEST_PATH_IMAGE032
，且
Figure 343576DEST_PATH_IMAGE034
，
Figure 250352DEST_PATH_IMAGE036
是原始高光谱图像光谱波段上的第
Figure 139810DEST_PATH_IMAGE026
组。
步骤S3：构建基于级联卷积神经网络的回归模型，该模型包含一个细节注入子网络与一个光谱解混子网络。对于细节注入子网络，其模型结构包含四个卷积层，每个卷积层后分别连接一个批规范化层和激活函数层。每个卷积层分辨包含32、32、32、l=3个3×3大小的卷积核，激活函数采用线性修正单元（Rectified Linear Unit，ReLU）函数。卷积核与权重等参数采用方差为0.01的高斯随机函数初始化方式；对于光谱解混子网络，其结构与细节注入子网络基本一致，仅最后一个卷积层拥有
Figure 877959DEST_PATH_IMAGE018
=60个3×3大小的卷积核，同时其激活函数层换为使用softmax函数的回归输出层，其中为预先设置的端元个数。
步骤S4：对图像进行采样处理，将原始高光谱图像
Figure 210983DEST_PATH_IMAGE038
和全色图像
Figure 605055DEST_PATH_IMAGE040
分别按比例s进行高斯低通滤波和下采样，得到
Figure 298204DEST_PATH_IMAGE042
与
Figure 828543DEST_PATH_IMAGE044
，其中s为全色图像
Figure 831003DEST_PATH_IMAGE046
与高光谱图像
Figure 446792DEST_PATH_IMAGE048
的空间尺寸之比
Figure 943632DEST_PATH_IMAGE050
,并对
Figure 594057DEST_PATH_IMAGE052
按比例s进行高斯低通滤波和下采样，得到
Figure 265953DEST_PATH_IMAGE054
,此外，对多光谱图像
Figure 634617DEST_PATH_IMAGE052
计算端元矩阵
Figure 669569DEST_PATH_IMAGE056
，其中
Figure 440079DEST_PATH_IMAGE018
为预先设置的端元个数。
步骤S5：对步骤S4中的高光谱图像
Figure 518763DEST_PATH_IMAGE058
与多光谱图像
Figure 374723DEST_PATH_IMAGE060
按照全色图像
Figure 213366DEST_PATH_IMAGE062
的空间尺寸进行双线性插值得到
Figure 464481DEST_PATH_IMAGE064
与
Figure 730378DEST_PATH_IMAGE066
；然后构造训练样本集，将处理好的多光谱图像与全色图像按波段维度排列为
Figure 604793DEST_PATH_IMAGE068
，从第一个像素开始，以边界镜像的填充方式，依次取每个像素各波段上的
Figure 496394DEST_PATH_IMAGE070
领域数据块，构成单个训练样本，一共得到含
Figure 975917DEST_PATH_IMAGE006
个训练样本的训练样本集，记为训练样本一
Figure 412715DEST_PATH_IMAGE072
；同样，对于处理的好的高光谱图像
Figure 977688DEST_PATH_IMAGE074
以相同的方式，从第一个像素开始生成训练样本，记作训练样本二
Figure 905936DEST_PATH_IMAGE076
；同时将原始高光谱图像和合成的多光谱图像
Figure 974387DEST_PATH_IMAGE052
对应的中心像素的各波段值作为训练样本的标签值。
步骤S6：首先将训练样本
Figure 582085DEST_PATH_IMAGE072
作为输入送入细节注入子网络，再将该网络输出的细节信息
Figure 634355DEST_PATH_IMAGE078
注入到对应的低分辨率多光谱图像
Figure 149650DEST_PATH_IMAGE052
中，输出记为
Figure 853033DEST_PATH_IMAGE080
，计算公式如公式（3）所示：
Figure DEST_PATH_IMAGE082A
其次，将训练样本
Figure 303737DEST_PATH_IMAGE076
与对应的
Figure 640040DEST_PATH_IMAGE080
沿光谱维度方向进行拼接，并送入光谱解混子网络，再将该子网络的输出作为像素各端元对应的丰度矩阵
Figure 913021DEST_PATH_IMAGE084
，最后，将高光谱和多光谱图像端元矩阵与丰度矩阵的乘积作为预测值与标签值的做均方误差，同时加上多光谱图像端元矩阵和光谱响应转换矩阵与高光谱图像端元矩阵乘积的均方差作为损失函数，同时对丰度矩阵进行L2正则化约束，计算公式如公式（4）所示：
Figure DEST_PATH_IMAGE121
计算损失函数对丰度的导数，得到公式（5）：
Figure DEST_PATH_IMAGE088A
其中，
Figure 80697DEST_PATH_IMAGE090
是二范式距离，
Figure 826936DEST_PATH_IMAGE092
，用梯度下降法进行反向传播，训练CNN模型，调整模型参数，设置迭代更新次数为200，每次更新丰度矩阵后，利用乘法规则微调端元矩阵，直至收敛，计算公式如公式（6）-公式（8）所示：
Figure 100002_DEST_PATH_IMAGE122
Figure DEST_PATH_IMAGE096A
Figure DEST_PATH_IMAGE124
。
步骤S7：神经网络训练完毕后，将原始高光谱图像和多光谱图像
Figure 414650DEST_PATH_IMAGE100
行s倍插值，得到与原始全色图像相同行列尺寸的高光谱图像
Figure 989857DEST_PATH_IMAGE102
和多光谱图像
Figure 152985DEST_PATH_IMAGE104
，然后将该多光谱图像
Figure 70125DEST_PATH_IMAGE106
和全色图像按波段维排列为
Figure 584283DEST_PATH_IMAGE108
；从第一个像素开始，依次取每个像素
Figure 448334DEST_PATH_IMAGE110
各波段上的7×7邻域，同时，从第一个像素开始，依次取每个像素
Figure 216701DEST_PATH_IMAGE112
各波段上的7×7邻域，构成单个测试样本。
步骤S8：将测试样本输入到训练好的网络模型中，利用网络模型预测每个像素的各端元对应的丰度值，得到丰度矩阵
Figure 508005DEST_PATH_IMAGE114
，将端元矩阵
Figure 243880DEST_PATH_IMAGE116
与丰度相乘后得到融合后的高光谱图像，
Figure 911622DEST_PATH_IMAGE118
。
图3为本发明所采用的实施例，其中，图3a)为帕维亚大学的高光谱图像。图3b)为华盛顿市中心广场的高光谱图像，它由HYDICE传感器获取，包含191个波段，地面分辨率为2.8米，本例中，取240×400大小的局部图像作为参考图像，将该图像采用7×7的高斯低通滤波器进行滤波，然后4倍下采样，得到仿真的低分辨率高光谱图像，并将位于450-510、510-580、630-690和770-895 nm范围内的波段分别求平均，得到具有4个波段的高分辨率多光谱图像。图3c)为美国休斯顿大学园区的高光谱图像，它由机载成像光谱仪CASI获取，包含144个波段，地面分辨率为2.5米，图像大小为320×320；图3d)为由WorldView-II卫星获取的休斯顿大学全色图像，它波段范围为450-800nm，地面分辨率为0.5米，图像大小为320×320，本例中，对该两幅图像进行配准，然后将图3c)与图3d)进行5倍的退化处理，进行实验；图3e)为旧金山湾高光谱图像，它由EO-1 Hyperion成像仪采集，其波长范围为400-250nm，去除噪声后由161个光谱波段组成，地面分辨率为30米，图像大小为270×120。图3f)为由EO-1 ALI成像仪采集的旧金山湾全色图像，光谱范围为480-690nm。它的像素分辨率为10米。同样，对图3e)与图3f)分别退化3倍以模拟LR HS和HR PAN图像进行实验。实验结果采用光谱角（SAM）、相对无量纲全局综合误差（ERGAS）、及图像质量指数（UIQI）、结构相似度（SSIM）进行评价。
本发明设计的方法与PW-MAP（主成分分析与小波变换结合的最大后验估计融合方法）、TBCNN（基于双分支卷积神经网络融合方法）、DiCNN（基于细节注入的卷积神经网络融合方法）、HyPNN（基于光谱预测的卷积神经网络融合方法）、HSpeNet（基于光谱保真度的卷积神经网络融合方法）、D-DARN（基于双注意力残差网络的深层先验高光谱融合方法）六种高光谱图像融合方法进行了对比，表1为帕维亚大学与华盛顿市中心广场两组数据的融合结果，表2休斯顿大学与旧金山湾两组数据的融合结果，为其中平均梯度、综合误差和质量指数为各波段的平均值。
表1 帕维亚大学与华盛顿市中心广场的高光谱与全色图像融合结果
Figure DEST_PATH_IMAGE126
表2 休斯顿大学与旧金山湾高光谱与全色图像融合结果
Figure DEST_PATH_IMAGE128
六种方法的参数均按照相关论文的提示进行选择，本发明提出的方法中，学习率设置为0.0001，动量设置为0.9，最小批量样本数设置为64，迭代次数设置为200。从结果中可以看出，本发明设计的方法具有较好的光谱保真特性。光谱角和综合误差表明，该方法能显著减小融合图像的误差，图像质量指数表明，其具有最高的图像质量，更接近于参考图像。而结构相似度也表明，该方法能显著提升融合图像的空间分辨率，增强图像的空间相似度。另外，对于由不同传感器平台获取的休斯顿大学高光谱与全色图像，因成像条件的差异而导致的传统方法光谱失真严重问题，也可以由本发明设计的方法得到有效地克服。
图4a-图4g为帕维亚大学高光谱数据实验的融合图像，从图中可以看出，对比其它融合方法，本发明提出的方法能较好地克服融合图像色彩失真现象，得到的结果显然更接近于参考图像。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于级联网络的高光谱与全色图像融合方法，其特征在于，包括以下步骤：
S1. 输入低分辨率高光谱图像和高分辨率全色图像，利用顶点成分分析法提取高光谱图像端元矩阵；
S2. 对高光谱图像沿波段方向分组进行主成分分析处理，生成光谱应转换矩阵和仿真的多光谱图像；
S3. 构建级联卷积神经网络，初始化网络参数；
S4. 对图像进行采样处理；
S5. 高光谱、多光谱和全色图像重排列，构造训练样本及其标签集合；
S6. 训练网络模型，微调高光谱、多光谱端元矩阵和光谱响应转换矩阵；
S7. 对原始高光谱、多光谱图像进行上采样处理，与原始全色图像构成测试样本；
S8. 利用网络模型预测高光谱图像丰度矩阵，生成高分辨率高光谱图像。
2.根据权利要求1所述基于级联网络的高光谱与全色图像融合方法，其特征在于，具体包括以下步骤：
S1. 对高光谱图像采用顶点成分分析方法提取包含D个端元的端元矩阵；
S2. 根据高光谱图像的波段相关矩阵，将其按照光谱维度分解为
Figure DEST_PATH_IMAGE002
组，分别对每组进行主成分分析处理，将每组的第一主成分系数组合生成光谱响应转换矩阵；将每组的第一个主成分提取出来形成一幅仿真多光谱图像；
S3. 构建基于级联卷积神经网络的回归模型，该模型包含一个细节注入子网络与一个光谱解混子网络；
S4. 对图像进行采样处理，将原始高光谱图像、全色图像以及仿真生成的多光谱图像分别按比例s进行高斯低通滤波和下采样，其中s为全色图像与原始高光谱图像的尺寸之比；
S5. 将采样后的高光谱与多光谱图像进行按照全色图像的尺寸进行双线性插值；将处理好的多光谱和全色图像按波段维度排列，从第一个像素开始，以边界镜像的填充方式，依次取每个像素多光谱与全色图像各波段上的
Figure DEST_PATH_IMAGE004
邻域数据块，构成单个训练样本，一共得到含
Figure DEST_PATH_IMAGE006
个训练样本的训练样本集，记作训练样本一，同样，对于处理好的高光谱图像以相同的方式，从第一个像素开始生成训练样本，记作训练样本二；同时将原始高光谱图像和合成的多光谱图像对应的中心像素的各波段值作为训练样本的标签值；
S6. 训练网络，首先将训练样本一作为输入送入细节注入子网络，再将该网络输出的细节信息注入到对应的低分辨率多光谱图像中，生成高分辨率多光谱图像每个像素的
Figure 29370DEST_PATH_IMAGE004
数据块，然后将训练样本二以及细节注入子网络生成的数据块依次送入光谱解混子网络，再将该网络的输出作为像素各端元对应的丰度矩阵，然后将高光谱和多光谱图像端元矩阵与丰度的乘积作为预测值与标签值做均方误差，同时加上多光谱图像端元矩阵和光谱响应转换矩阵与高光谱图像端元矩阵乘积的均方差作为损失函数，并对丰度矩阵进行L2正则化约束，迭代训练模型，调整模型参数，在每次迭代过程中，利用乘法规则微调端元矩阵和光谱响应转换矩阵，直至收敛；
S7. 将原始高光谱图像与多光谱图像进行s倍插值，得到与原始全色图像相同行列尺寸的图像，然后将该多光谱和全色图像按波段维排列；从第一个像素开始，依次取每个像素多光谱与全色图像各波段上的
Figure 415352DEST_PATH_IMAGE004
邻域，同时也提取每个像素高光谱图像各波段上的
Figure 460668DEST_PATH_IMAGE004
邻域，构成单个测试样本，利用神经网络预测每个像素的丰度值；
S8. 将高光谱图像的端元矩阵与预测得到的丰度矩阵相乘生成高分辨率的高光谱图像。
3.根据权利要求2所述基于级联网络的高光谱与全色图像融合方法，其特征在于，步骤S1的具体方法为：将高光谱图像表示成
Figure DEST_PATH_IMAGE008
，全色图像表示成
Figure DEST_PATH_IMAGE010
，其中，表示高光谱图像的波段个数，
Figure DEST_PATH_IMAGE012
和
Figure DEST_PATH_IMAGE014
分别表示高光谱与多光谱图像的像素个数；对高光谱图像采用顶点成分分析方法提取端元矩阵
Figure DEST_PATH_IMAGE016
，其中
Figure DEST_PATH_IMAGE018
为预先设置的端元个数。
4.根据权利要求2所述基于级联网络的高光谱与全色图像融合方法，其特征在于，步骤S2的具体方法为：计算高光谱图像的波段相关矩阵，根据波段相关矩阵，将高光谱图像沿光谱维度分为λ组，对每组分别进行主成分分析，将每组的第一主成分系数
Figure DEST_PATH_IMAGE020
组合生成光谱响应转换矩阵，计算公式如公式（1）所示：
Figure DEST_PATH_IMAGE022
其中，
Figure DEST_PATH_IMAGE024
表示第
Figure DEST_PATH_IMAGE026
组的波段数目，满足
Figure DEST_PATH_IMAGE028
；同时，提取每组第一个主成分构成一幅仿真多光谱图像，则该多光谱图像实际可以由高光谱图像和光谱响应转换矩阵S相乘得到，计算公式如公式（2）所示：
Figure DEST_PATH_IMAGE030
其中，
Figure DEST_PATH_IMAGE032
，且
Figure DEST_PATH_IMAGE034
，
Figure DEST_PATH_IMAGE036
是原始高光谱图像光谱波段上的第
Figure 617062DEST_PATH_IMAGE026
组。
5.根据权利要求2所述基于级联网络的高光谱与全色图像融合方法，其特征在于，步骤S3中所述细节注入子网络的模型结构包含四个卷积层，每个卷积层后分别连接一个批规范化层和激活函数层，每个卷积层分辨包含32、32、32、
Figure DEST_PATH_IMAGE038
个3×3大小的卷积核，激活函数采用线性修正单元函数，卷积核与权重等参数采用方差为0.01的高斯随机函数初始化方式；所述光谱解混子网络的结构与细节注入子网络相比，最后一个卷积层拥有
Figure DEST_PATH_IMAGE040
个3×3大小的卷积核，同时其激活函数层换为使用softmax函数的回归输出层，其中
Figure 713325DEST_PATH_IMAGE040
为预先设置的端元个数，其他相同。
6.根据权利要求2所述基于级联网络的高光谱与全色图像融合方法，其特征在于，步骤S4的具体方法为：对图像进行采样处理，将原始高光谱图像
Figure DEST_PATH_IMAGE042
和全色图像
Figure DEST_PATH_IMAGE044
分别按比例s进行高斯低通滤波和下采样，得到
Figure DEST_PATH_IMAGE046
与
Figure DEST_PATH_IMAGE048
，其中s为全色图像
Figure DEST_PATH_IMAGE050
与高光谱图像
Figure DEST_PATH_IMAGE052
的空间尺寸之比
Figure DEST_PATH_IMAGE054
,并对
Figure DEST_PATH_IMAGE056
按比例s进行高斯低通滤波和下采样，得到
Figure DEST_PATH_IMAGE058
,此外，对多光谱图像
Figure 348837DEST_PATH_IMAGE056
计算端元矩阵
Figure DEST_PATH_IMAGE060
，其中
Figure 428919DEST_PATH_IMAGE018
为预先设置的端元个数。
7.根据权利要求2所述基于级联网络的高光谱与全色图像融合方法，其特征在于，步骤S5的具体方法为：对步骤S4中的高光谱图像
Figure DEST_PATH_IMAGE062
与多光谱图像
Figure DEST_PATH_IMAGE064
按照全色图像
Figure DEST_PATH_IMAGE066
的空间尺寸进行双线性插值得到
Figure DEST_PATH_IMAGE068
与
Figure DEST_PATH_IMAGE070
；然后构造训练样本集，将处理好的多光谱图像与全色图像按波段维度排列为
Figure DEST_PATH_IMAGE072
，从第一个像素开始，以边界镜像的填充方式，依次取每个像素各波段上的
Figure DEST_PATH_IMAGE074
领域数据块，构成单个训练样本，一共得到含
Figure 831082DEST_PATH_IMAGE006
个训练样本的训练样本集，记为训练样本一
Figure DEST_PATH_IMAGE076
；同样，对于处理的好的高光谱图像
Figure DEST_PATH_IMAGE078
以相同的方式，从第一个像素开始生成训练样本，记作训练样本二
Figure DEST_PATH_IMAGE080
；同时将原始高光谱图像和合成的多光谱图像
Figure 109748DEST_PATH_IMAGE056
对应的中心像素的各波段值作为训练样本的标签值。
8.根据权利要求2所述基于级联网络的高光谱与全色图像融合方法，其特征在于，步骤S6的具体方法为：首先将训练样本
Figure 368691DEST_PATH_IMAGE076
作为输入送入细节注入子网络，再将该网络输出的细节信息
Figure DEST_PATH_IMAGE082
注入到对应的低分辨率多光谱图像
Figure 936069DEST_PATH_IMAGE056
中，输出记为
Figure DEST_PATH_IMAGE084
，计算公式如公式（3）所示：
Figure DEST_PATH_IMAGE086
其次，将训练样本
Figure 73746DEST_PATH_IMAGE080
与对应的
Figure 800394DEST_PATH_IMAGE084
沿光谱维度方向进行拼接，并送入光谱解混子网络，再将该子网络的输出作为像素各端元对应的丰度矩阵
Figure DEST_PATH_IMAGE088
，最后，将高光谱和多光谱图像端元矩阵与丰度矩阵的乘积作为预测值与标签值的做均方误差，同时加上多光谱图像端元矩阵和光谱响应转换矩阵与高光谱图像端元矩阵乘积的均方差作为损失函数，同时对丰度矩阵进行L2正则化约束，计算公式如公式（4）所示：
Figure DEST_PATH_IMAGE090
计算损失函数对丰度的导数，得到公式（5）：
Figure DEST_PATH_IMAGE092
其中，
Figure DEST_PATH_IMAGE094
是二范式距离，
Figure DEST_PATH_IMAGE096
，用梯度下降法进行反向传播，训练CNN模型，调整模型参数，设置迭代更新次数为200，每次更新丰度矩阵后，利用乘法规则微调端元矩阵，直至收敛，计算公式如公式（6）-公式（8）所示：
Figure DEST_PATH_IMAGE098
Figure DEST_PATH_IMAGE100
Figure DEST_PATH_IMAGE102
。
9.根据权利要求2所述基于级联网络的高光谱与全色图像融合方法，其特征在于，步骤S7中的具体方法为：神经网络训练完毕后，将原始高光谱图像和多光谱图像
Figure DEST_PATH_IMAGE104
行s倍插值，得到与原始全色图像相同行列尺寸的高光谱图像
Figure DEST_PATH_IMAGE106
和多光谱图像
Figure DEST_PATH_IMAGE108
，然后将该多光谱图像
Figure DEST_PATH_IMAGE110
和全色图像按波段维排列为
Figure DEST_PATH_IMAGE112
；从第一个像素开始，依次取每个像素
Figure DEST_PATH_IMAGE114
各波段上的7×7邻域，同时，从第一个像素开始，依次取每个像素
Figure DEST_PATH_IMAGE116
各波段上的7×7邻域，构成单个测试样本。
10.根据权利要求2所述基于级联网络的高光谱与全色图像融合方法，其特征在于，步骤S8的具体方法为：将测试样本输入到训练好的网络模型中，利用网络模型预测每个像素的各端元对应的丰度值，得到丰度矩阵
Figure DEST_PATH_IMAGE118
，将端元矩阵
Figure DEST_PATH_IMAGE120
与丰度相乘后得到融合后的高光谱图像，
Figure DEST_PATH_IMAGE122
。
CN202110646163.7A 2021-06-10 2021-06-10 一种基于级联网络的高光谱与全色图像融合方法 Active CN113327218B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110646163.7A CN113327218B (zh) 2021-06-10 2021-06-10 一种基于级联网络的高光谱与全色图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110646163.7A CN113327218B (zh) 2021-06-10 2021-06-10 一种基于级联网络的高光谱与全色图像融合方法

Publications (2)

Publication Number Publication Date
CN113327218A true CN113327218A (zh) 2021-08-31
CN113327218B CN113327218B (zh) 2023-08-25

Family

ID=77421300

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110646163.7A Active CN113327218B (zh) 2021-06-10 2021-06-10 一种基于级联网络的高光谱与全色图像融合方法

Country Status (1)

Country Link
CN (1) CN113327218B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744134A (zh) * 2021-09-15 2021-12-03 东华大学 基于光谱解混卷积神经网络的高光谱图像超分辨方法
CN114239756A (zh) * 2022-02-25 2022-03-25 科大天工智能装备技术（天津）有限公司 一种虫害检测方法及系统
CN114359103A (zh) * 2022-01-04 2022-04-15 中国电建集团中南勘测设计研究院有限公司 高光谱图像去雾方法、装置、计算机产品及存储介质
CN115861083A (zh) * 2023-03-03 2023-03-28 吉林大学 一种多尺度和全局特征的高光谱与多光谱遥感融合方法
CN116245779A (zh) * 2023-05-11 2023-06-09 四川工程职业技术学院 一种图像融合方法、装置、存储介质及电子设备
WO2024027095A1 (zh) * 2022-08-03 2024-02-08 湖南大学 基于双rgb图像融合的高光谱成像方法、系统及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109102529A (zh) * 2018-08-15 2018-12-28 西北工业大学 基于深度卷积神经网络的端对端高光谱图像变化检测方法
CN110544212A (zh) * 2019-07-31 2019-12-06 华南理工大学 基于层级特征融合的卷积神经网络高光谱图像锐化方法
CN111291675A (zh) * 2020-02-04 2020-06-16 北京科技大学 一种基于深度学习的高光谱古绘画检测识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109102529A (zh) * 2018-08-15 2018-12-28 西北工业大学 基于深度卷积神经网络的端对端高光谱图像变化检测方法
CN110544212A (zh) * 2019-07-31 2019-12-06 华南理工大学 基于层级特征融合的卷积神经网络高光谱图像锐化方法
CN111291675A (zh) * 2020-02-04 2020-06-16 北京科技大学 一种基于深度学习的高光谱古绘画检测识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIAOCHEN LU 等: "Coupled Convolutional Neural Network-Based Detail Injection Method for Hyperspectral and Multispectral Image Fusion", 《MDPI》, pages 1 - 13 *
陆小辰: "基于高光谱数据的多源遥感图像协同分类研究", 《中国博士论文库 工程科技Ⅱ辑》, pages 1 - 120 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744134A (zh) * 2021-09-15 2021-12-03 东华大学 基于光谱解混卷积神经网络的高光谱图像超分辨方法
CN113744134B (zh) * 2021-09-15 2023-07-25 东华大学 基于光谱解混卷积神经网络的高光谱图像超分辨方法
CN114359103A (zh) * 2022-01-04 2022-04-15 中国电建集团中南勘测设计研究院有限公司 高光谱图像去雾方法、装置、计算机产品及存储介质
CN114359103B (zh) * 2022-01-04 2024-04-12 中国电建集团中南勘测设计研究院有限公司 高光谱图像去雾方法、装置、计算机产品及存储介质
CN114239756A (zh) * 2022-02-25 2022-03-25 科大天工智能装备技术（天津）有限公司 一种虫害检测方法及系统
WO2024027095A1 (zh) * 2022-08-03 2024-02-08 湖南大学 基于双rgb图像融合的高光谱成像方法、系统及介质
CN115861083A (zh) * 2023-03-03 2023-03-28 吉林大学 一种多尺度和全局特征的高光谱与多光谱遥感融合方法
CN116245779A (zh) * 2023-05-11 2023-06-09 四川工程职业技术学院 一种图像融合方法、装置、存储介质及电子设备
CN116245779B (zh) * 2023-05-11 2023-08-22 四川工程职业技术学院 一种图像融合方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN113327218B (zh) 2023-08-25

Similar Documents

Publication Publication Date Title
CN113327218A (zh) 一种基于级联网络的高光谱与全色图像融合方法
CN110533620B (zh) 基于aae提取空间特征的高光谱和全色图像融合方法
CN111260576B (zh) 一种基于去噪三维卷积自编码网络的高光谱解混算法
CN110363215B (zh) 基于生成式对抗网络的sar图像转化为光学图像的方法
Dong et al. Laplacian pyramid dense network for hyperspectral pansharpening
CN112184554B (zh) 一种基于残差混合膨胀卷积的遥感图像融合方法
CN110415199B (zh) 基于残差学习的多光谱遥感图像融合方法及装置
CN114119444B (zh) 一种基于深度神经网络的多源遥感图像融合方法
CN106920214B (zh) 空间目标图像超分辨率重建方法
CN109636769A (zh) 基于双路密集残差网络的高光谱和多光谱图像融合方法
CN111127374A (zh) 一种基于多尺度密集网络的Pan-sharpening方法
CN112819737A (zh) 基于3d卷积的多尺度注意力深度卷积网络的遥感图像融合方法
CN115272078A (zh) 基于多尺度空-谱特征学习的高光谱图像超分辨率重建方法
CN110579279B (zh) 单传感器的九谱段多光谱成像系统的设计方法
CN116309070A (zh) 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备
CN113744134B (zh) 基于光谱解混卷积神经网络的高光谱图像超分辨方法
CN115861083B (zh) 一种多尺度和全局特征的高光谱与多光谱遥感融合方法
CN115512192A (zh) 基于跨尺度的octave卷积网络的多光谱和高光谱图像融合方法
CN114841856A (zh) 基于深度残差通道空间注意力的密集连接网络的图像超像素重建方法
CN113763299A (zh) 一种全色与多光谱图像融合方法、装置及其应用
CN112561799A (zh) 一种红外图像超分辨率重建方法
CN116403103A (zh) 基于四维生成对抗网络的遥感图像分析及蓝藻水华预测方法
CN115526779A (zh) 一种基于动态注意力机制的红外图像超分辨率重建方法
CN115565045A (zh) 基于多尺度空谱变换的高光谱与多光谱图像融合方法
Yang et al. Hierarchical spatio-spectral fusion for hyperspectral image super resolution via sparse representation and pre-trained deep model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant