CN113744134A - 基于光谱解混卷积神经网络的高光谱图像超分辨方法 - Google Patents
基于光谱解混卷积神经网络的高光谱图像超分辨方法 Download PDFInfo
- Publication number
- CN113744134A CN113744134A CN202111078301.2A CN202111078301A CN113744134A CN 113744134 A CN113744134 A CN 113744134A CN 202111078301 A CN202111078301 A CN 202111078301A CN 113744134 A CN113744134 A CN 113744134A
- Authority
- CN
- China
- Prior art keywords
- resolution
- image
- hyperspectral image
- matrix
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000001228 spectrum Methods 0.000 title claims abstract description 23
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 8
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 20
- 230000003595 spectral effect Effects 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims description 69
- 238000012549 training Methods 0.000 claims description 43
- 238000012360 testing method Methods 0.000 claims description 22
- 230000009466 transformation Effects 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 5
- 230000015556 catabolic process Effects 0.000 claims description 4
- 238000006731 degradation reaction Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000011049 filling Methods 0.000 claims description 3
- 238000012804 iterative process Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 17
- 230000006872 improvement Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000002156 mixing Methods 0.000 description 4
- 241000522669 Parkia Species 0.000 description 3
- 235000017333 Parkia speciosa Nutrition 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明提出了一种基于光谱解混卷积神经网络的高光谱图像超分辨方法，属于图像处理技术领域。将线性光谱混合模型集成到卷积神经网络中，构建一个端到端的网络模型，对高光谱图像像素高分辨率与低分辨率的丰度矩阵进行估计，结合端元矩阵进而重构高空间分辨率的高光谱图像。本发明模型可以利用分辨率较低的图像进行训练，可以有效减轻其他现有工作对辅助高分辨率数据资源的需求，相较于传统方法具有更高的鲁棒性和光谱保真度。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及基于光谱解混卷积神经网络的高光谱图像超分辨方法。
背景技术
高光谱成像是遥感领域中最重要的探测手段之一，它在获得地表分布信息的同时，也能获得各种地物的光谱信息，从而实现图像与光谱信息的结合。高光谱图像最为突出的特点是其精细的光谱分辨率及丰富的光谱信息，能有效地探测到有别于传统多光谱或人眼所能发现的诊断性的特征，因而显著提升了人类对于世界的认知能力。但是，高光谱图像光谱分辨率的提高是以牺牲空间分辨率为代价的，换言之，高光谱图像普遍存在着空间分辨率上的不足，为此，图像超分辨率技术常被用来增强高光谱图像的空间分辨率。
高光谱图像分辨率增强的方法总体上可以分为两类，一种是基于单幅图像的超分辨率算法，另一种是基于多源图像融合的超分辨率算法。基于图像融合的高光谱图像超分辨率算法需要同一场景下的高分辨率全色图像或多光谱图像来实现，这给该类算法带来了一定的限制；而基于单幅高光谱图像的超分辨率算法无需额外的辅助图像，在实际应用中更具有普适性。传统的单幅图像超分辨方法是基于滤波来实现的，但由于该类算法没有对图像固有特性进行衡量，会导致生成图像的边缘模糊或光谱失真。随着深度学习理论的发展和应用，卷积神经网络（Convolutional Neural Network，CNN）在图像处理领域展现出了巨大的潜力和优势。CNN能自主地学习图像的各种特征并进行拟合，从而形成对图像的精确表示。目前，卷积神经网络已初步被应用到遥感图像超分辨率领域中。但是，现有的基于CNN的图像融合方法，缺少对高光谱图像光谱信息的准确提取，没有考虑光谱混合问题，不能很好地解决图像存在着的光谱失真现象。
复旦大学的专利“基于约束最小二乘的高光谱图像非线性丰度估计方法”(专利申请号：201310284833，申请公开号：CN103413292A)提出了一种基于约束最小二乘的高光谱图像非线性丰度估计方法。该方法从高光谱观测像素的混合模型出发，通过在目标函数中引入丰度的非负性及和为一约束以及非线性参数的有界约束，将高光谱图像非线性解混问题转化为求解丰度矢量和非线性参数的约束非线性最小二乘问题从而利用交替迭代优化算法求解丰度值。但是，该方法仍然存在不足之处，非线性解混模型较为复杂且公式较多，需要大量计算才能得到解混结果，效率低耗时长。
发明内容
本发明的目的在于提出基于光谱解混卷积神经网络的高光谱图像超分辨方法，可以利用分辨率较低的图像进行训练，可以有效减轻其他现有工作对辅助高分辨率数据资源的需求，相较于传统方法具有更高的鲁棒性和光谱保真度。
本发明的技术方案是这样实现的：
本发明提供一种基于光谱解混卷积神经网络的高光谱图像超分辨方法，其特征在于，将线性光谱混合模型集成到卷积神经网络中，构建一个端到端的网络模型，对高光谱图像像素高分辨率与低分辨率的丰度矩阵进行估计，结合端元矩阵进而重构高空间分辨率的高光谱图像。
作为本发明的进一步改进，具体包括以下步骤：
1）对原始高光谱图像进行预处理，裁剪生成一幅子像素空间图像；
2）对步骤1）中生成的图像进行退化处理，然后，对退化后的图像进行双三次插值上采样，得到与步骤1）中子像素空间图像同样尺寸大小的低分辨率高光谱图像；
3）对步骤2）中获取的低分辨率高光谱图像进行顶点成分处理（Vertex ComponentAnalysis，VCA），获取对应的端元矩阵；同时，结合步骤1）子像素空间图像，通过矩阵变换生成空间尺度变换矩阵；
4）构建基于分支卷积神经网络的回归模型；
5）构造训练样本集；
6）训练网络；
7）构造测试样本集，从原始高光谱图像中裁剪出新的子像素空间图像，该图像尺寸与步骤1）中的子像素空间图像一致；再以步骤2），步骤3）与步骤5）中相同的方式，生成测试样本集；
8）评估算法性能，将步骤7）中测试样本集送入步骤6）中训练好的模型中，将生成的结果通过相关评价指标来衡量算法的有效性。
作为本发明的进一步改进，步骤4）中所述回归模型包含一个特征提取阶段与一个丰度矩阵生成阶段，这两个阶段以串行的方式进行构建。
作为本发明的进一步改进，所述特征提取阶段的模型结构包含六个卷积层，每个卷积层后分别连接一个批规范化层和激活函数层，其中每个卷积层分别包含64个3
3大小的卷积核，激活函数采用线性修正单元（Rectified Linear Unit，ReLU）函数，卷积核与权重等参数采用方差为0.01的高斯随机函数初始化方式。
作为本发明的进一步改进，所述丰度矩阵生成阶段的模型结构以并行的方式分别生成低分辨高光谱图像的丰度矩阵与高分辨率高光谱图像的丰度矩阵。
作为本发明的进一步改进，所述低分辨高光谱图像端元矩阵预测分支的结构包含四个卷积层，前三个卷积层包含64个3
3大小的卷积核，并且每个卷积层后分别连接一个批规范化层和ReLU激活函数层，最后一个卷积层包含D个3
3大小的卷积核，同时后接softmax函数的回归输出层来预测生成低分辨率高光谱图像的丰度矩阵，其中D为预先设置的端元个数。
作为本发明的进一步改进，所述高分辨高光谱图像丰度矩阵预测分支以与所述低分辨高光谱图像丰度矩阵预测分支同样的结构预测高分辨率高光谱图像的丰度矩阵。
作为本发明的进一步改进，步骤5）中所述构造训练样本集的具体方法为：将步骤2）中获取的低分辨率高光谱图像作为训练图像，从第一个像素开始，以边界镜像的填充方式，依次取每个像素各波段上的
邻域数据块，构成训练样本；同时，对步骤1）中该低分辨率高光谱图像对应的原始高光谱子像素空间图像进行相同的处理操作，以获得对应的训练标签样本，一共得到含N个样本的训练样本集。
作为本发明的进一步改进，步骤3）中生成的端元矩阵与空间尺度变换矩阵包含于对应的训练图像集中。
作为本发明的进一步改进，步骤6)中所述训练网络的具体方法为：首先将训练样本以小批次的方式依次送入步骤4）中构建的模型，训练样本依次通过模型两个阶段，预测生成了低分辨率高光谱图像与高分辨率高光谱图像的丰度矩阵；接着，两个丰度矩阵分别与端元矩阵相乘，生成合成的低分辨率高光谱图像与高分辨率高光谱图像；其次，将生成的高分辨率高光谱图像与对应的标签做均方差，生成的低分辨率高光谱图像与对应输入的低分辨率图像做均方差，同时将预测的高分辨率的丰度矩阵乘以空间尺度变换矩阵与低分辨率的分度矩阵做均方差；最后，将三个均方差线性结合作为损失函数，并对丰度矩阵进行L2正则化约束，反向传播迭代训练模型，调整模型参数，在每次迭代过程中，利用乘法规则微调端元矩阵，直至收敛。
本发明具有如下有益效果：本发明方法基于线性光谱混合模型，结合卷积神经网络有效地提升了高光谱图像的空间分辨率；首先，通过线性混合模型，能够有效地捕获高光谱图像固有的属性特征；其次，结合高空间分辨率与低空间分辨率的高光谱图像之间的关系，通过空间尺度变换矩阵，能够在超分辨率的同时保留高光谱图像的光谱特性；最后，通过提出的损失函数，能够有效地训练网络模型。该模型可以利用分辨率较低的图像进行训练，可以有效减轻其他现有工作对辅助高分辨率数据资源的需求，相较于传统方法具有更高的鲁棒性和光谱保真度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所示方法的示意图；
图2为本发明所示方法的流程图；
图3为帕维亚大学高光谱图像的训练图像（左）与测试图像（右）；
图4为休斯顿大学高光谱图像的训练图像（左）与测试图像（右）；
图5为圣地亚哥航空站高光谱图像的训练图像（左）与测试图像（右）；
图6为帕维亚大学测试图像超分辨率结果对比图；
图7为帕维亚大学测试图像超分辨率结果对比图；
图8为圣地亚哥航空站测试图像超分辨率结果对比图。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1、2，以德国反射式成像光谱仪ROSIS获取的意大利帕维亚大学高光谱图像为例，该图像的空间尺寸为610×340，空间分辨率为1.3米，包含可见光到近红外范围的103个光谱波段，取大小为240×240个像素的局部图像作为参考图像。将该图像采用7×7的高斯低通滤波器进行滤波，然后2倍下采样，具体实施例计算步骤如下：
1）将高光谱图像表示成
，其中，表示高光谱图像的波段个数，表示高光谱图像的像素个数；对高光谱图像进行裁剪，获得子像素空间图像
，表示该子像素空间高光谱图像的像素个数；
2）对图像进行退化处理，即进行高斯滤波，以及比例系数为的临近下采样操作；接着，对退化后的图像进行双三次插值上采样，得到与图像同样尺寸大小的低分辨率高光谱图像
；
3）对图像进行顶点成分处理（Vertex Component Analysis，VCA），获取对应的端元矩阵
，表示端元个数；同时，通过线性光谱混合模型，图像与图像，可表示为如下：
其中，
，
是图像与图像对应的丰度矩阵，
，
是相应的噪声；通过矩阵变换生成空间尺度变换矩阵
，具体计算如下：
其中
为图像的端元矩阵，在同一场景下，有；
4）构建基于分支卷积神经网络的回归模型；该模型包含一个特征提取阶段与一个丰度矩阵生成阶段，这两个阶段以串行的方式进行构建。对于特征提取阶段，其模型结构包含六个卷积层，每个卷积层后分别连接一个批规范化层和激活函数层，卷积层计算如下：
其中，表示第层的第个特征图，和分别表示连接权重和偏置项；每个卷积层分别包含64个3
3大小的卷积核，激活函数采用线性修正单元（Rectified Linear Unit，ReLU）函数，卷积核与权重等参数采用方差为0.01的高斯随机函数初始化方式；对于丰度矩阵生成阶段，其结构模型以并行的方式分别生成低分辨高光谱图像的丰度矩阵与高分辨率高光谱图像的丰度矩阵；对于低分辨高光谱图像端元矩阵预测分支，其结构包含四个卷积层，前三个卷积层包含64个3
3大小的卷积核，并且每个卷积层后分别连接一个批规范化层和ReLU激活函数层，最后一个卷积层包含个3
3大小的卷积核，同时后接softmax函数的回归输出层来预测生成低分辨率高光谱图像的丰度矩阵
，其中为预先设置的端元个数；相似地，高分辨高光谱图像端元矩阵预测分支以同样的结构预测高分辨率高光谱图像的丰度矩阵
；
5）构造训练样本集，将图像作为训练图像，从第一个像素开始，以边界镜像的填充方式，依次取每个像素各波段上的邻域数据块，同时将对应中心像素的图像中各波段值作为训练样本的标签值，组合构成单个训练样本，一共得到含个训练样本的训练样本集，记作训练样本：
6）训练网络；首先将训练样本以小批次的方式依次送入4）中构建的模型，训练样本依次通过模型两个阶段，预测生成了低分辨率高光谱图像的丰度矩阵与高分辨率高光谱图像的丰度矩阵；接着，两个丰度矩阵分别与端元矩阵相乘，生成合成的低分辨率高光谱图像
与高分辨率高光谱图像
，计算如下：
其次，将生成的高分辨率高光谱图像与对应的标签做均方差，生成的低分辨率高光谱图像与对应输入的低分辨率图像做均方差，同时将预测的高分辨率的丰度矩阵乘以空间尺度变换矩阵与低分辨率的分度矩阵做均方差；最后，将三个均方差线性结合作为损失函数，并对丰度矩阵进行L2正则化约束，计算如下：
其中，||×||2是二范式距离运算，h是惩罚因子用于控制丰度矩阵的相似性与系数程度。计算损失函数对丰度的导数可得，
用梯度下降法进行反向传播，训练网模型，调整模型参数，设置迭代更新次数为200，每次更新丰度矩阵后，利用乘法规则微调端元矩阵，直至收敛，计算如下：
7）构造测试样本集；从原始高光谱图像中裁剪出新的子像素空间图像，该图像尺寸与步骤1）中的子像素空间图像一致；再以步骤2），步骤3）与步骤5）中相同的方式，生成测试样本集：
8）评估算法性能；测试样本集送入步骤6）中训练好的模型中，将生成的结果通过相关评价指标来衡量算法的有效性。
图3为帕维亚大学的高光谱图像，其中左边为训练图像，右边为测试图像。图4为休斯顿大学的高光谱图像，其中左边为训练图像，右边为测试图像，它由CASI传感器获取，图像大小为1905×349，包含144个波段，地面分辨率为2.5米，本例中，取240×240大小的局部图像作为参考图像，将该图像采用7×7的高斯低通滤波器进行滤波，然后2倍下采样，得到仿真的低分辨率高光谱图像。图5为圣地亚哥航空站的高光谱图像，其中左边为训练图像，右边为测试图像，它由AVIRIS传感器获取，图像大小为400×400，包含189个波段，地面分辨率为3.5米，本例中，取200×200大小的局部图像作为参考图像，将该图像采用7×7的高斯低通滤波器进行滤波，然后4倍下采样，得到仿真的低分辨率高光谱图像。实验结果采用光谱角（SAM）、相对无量纲全局综合误差（ERGAS）、图像质量指数（UIQI）、峰值信噪比（PSNR）及结构相似度（SSIM）进行评价。
本发明设计的方法与3DFN（三维全卷积网络超分辨率方法）、DFMF（深度特征矩阵分解超分辨率方法）、IFN（谱间融合网络超分辨率方法）、RIFN（谱间融合残差网络超分辨率方法）、Bicubic（双三次插值方法）五种高光谱图像超分辨率方法进行了对比，表1为评估结果。
表1 高光图像超分辨率评估结果表
五种方法的参数均按照相关论文的提示进行选择，本发明提出的方法中，学习率设置为0.01，动量设置为0.9，最小批量样本数设置为64，迭代次数设置为200，端元个数设置为40，训练样本及测试样本的空间尺寸均为5×5，惩罚因子h在前两个数据集上设置为0.6，其余的设置为0.4。从结果中可以看出，本发明设计的方法具有较好的光谱保真特性。光谱角和综合误差表明，该方法能显著减小超分辨率图像的误差，图像质量指数表明，其具有最高的图像质量，更接近于参考图像。而峰值信噪比也表明，该方法能显著提升生成图像的空间分辨率，增强图像的边缘及细节信息，结构相似度则进一步表明了该方法在实现图像超分辨率的过程中，同时维持能有很好的维持高光谱图像的固有特性。图6为帕维亚大学测试图像超分辨率结果对比图，从左至右依次为Bicubic、3DFN、DFMF、IFN、RIFN和UCNN，图7为休斯顿大学测试图像超分辨率结果对比图，从左至右依次为Bicubic、3DFN、DFMF、IFN、RIFN和UCNN，图8为圣地亚哥航空站测试图像超分辨率结果对比图，从左至右依次为Bicubic、3DFN、DFMF、IFN、RIFN和UCNN；从图中可以看出，对比其它方法，本发明提出的方法能较好地克服超分辨率图像色彩失真现象，得到的结果显然更接近于参考图像。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于光谱解混卷积神经网络的高光谱图像超分辨方法，其特征在于，将线性光谱混合模型集成到卷积神经网络中，构建一个端到端的网络模型，对高光谱图像像素高分辨率与低分辨率的丰度矩阵进行估计，结合端元矩阵进而重构高空间分辨率的高光谱图像。
2.根据权利要求1所述基于光谱解混卷积神经网络的高光谱图像超分辨方法，其特征在于，具体包括以下步骤：
1）对原始高光谱图像进行预处理，裁剪生成一幅子像素空间图像；
2）对步骤1）中生成的图像进行退化处理，然后，对退化后的图像进行双三次插值上采样，得到与步骤1）中子像素空间图像同样尺寸大小的低分辨率高光谱图像；
3）对步骤2）中获取的低分辨率高光谱图像进行顶点成分处理，获取对应的端元矩阵；同时，结合步骤1）子像素空间图像，通过矩阵变换生成空间尺度变换矩阵；
4）构建基于分支卷积神经网络的回归模型；
5）构造训练样本集；
6）训练网络；
7）构造测试样本集，从原始高光谱图像中裁剪出新的子像素空间图像，该图像尺寸与步骤1）中的子像素空间图像一致；再以步骤2），步骤3）与步骤5）中相同的方式，生成测试样本集；
8）评估算法性能，将步骤7）中测试样本集送入步骤6）中训练好的模型中，将生成的结果通过相关评价指标来衡量算法的有效性。
3.根据权利要求2所述基于光谱解混卷积神经网络的高光谱图像超分辨方法，其特征在于，步骤2）中退化处理的具体方法为：先后进行高斯滤波、临近下采样操作。
4.根据权利要求2所述基于光谱解混卷积神经网络的高光谱图像超分辨方法，其特征在于，步骤4）中所述回归模型包含一个特征提取阶段与一个丰度矩阵生成阶段，这两个阶段以串行的方式进行构建。
5.根据权利要求4所述基于光谱解混卷积神经网络的高光谱图像超分辨方法，其特征在于，所述特征提取阶段的模型结构包含六个卷积层，每个卷积层后分别连接一个批规范化层和激活函数层，其中每个卷积层分别包含64个3
3大小的卷积核，激活函数采用线性修正单元函数，卷积核与权重等参数采用方差为0.01的高斯随机函数初始化方式。
6.根据权利要求4所述基于光谱解混卷积神经网络的高光谱图像超分辨方法，其特征在于，所述丰度矩阵生成阶段的模型结构以并行的方式分别生成低分辨高光谱图像的丰度矩阵与高分辨率高光谱图像的丰度矩阵。
7.根据权利要求6所述基于光谱解混卷积神经网络的高光谱图像超分辨方法，其特征在于，所述低分辨高光谱图像丰度矩阵预测分支的结构包含四个卷积层，前三个卷积层包含64个3
3大小的卷积核，并且每个卷积层后分别连接一个批规范化层和ReLU激活函数层，最后一个卷积层包含D个3
3大小的卷积核，同时后接softmax函数的回归输出层来预测生成低分辨率高光谱图像的丰度矩阵，其中D为预先设置的端元个数；所述高分辨高光谱图像丰度矩阵预测分支以与所述低分辨高光谱图像丰度矩阵预测分支同样的结构预测高分辨率高光谱图像的丰度矩阵。
8.根据权利要求2所述基于光谱解混卷积神经网络的高光谱图像超分辨方法，其特征在于，步骤5）中所述构造训练样本集的具体方法为：将步骤2）中获取的低分辨率高光谱图像作为训练图像，从第一个像素开始，以边界镜像的填充方式，依次取每个像素各波段上的
邻域数据块，构成训练样本；同时，对步骤1）中该低分辨率高光谱图像对应的原始高光谱子像素空间图像进行相同的处理操作，以获得对应的训练标签样本，一共得到含N个样本的训练样本集。
9.根据权利要求8所述基于光谱解混卷积神经网络的高光谱图像超分辨方法，其特征在于，步骤3）中生成的端元矩阵与空间尺度变换矩阵包含于对应的训练图像集中。
10.根据权利要求2所述基于光谱解混卷积神经网络的高光谱图像超分辨方法，其特征在于，步骤6)中所述训练网络的具体方法为：首先将训练样本以小批次的方式依次送入步骤4）中构建的模型，训练样本依次通过模型两个阶段，预测生成了低分辨率高光谱图像与高分辨率高光谱图像的丰度矩阵；接着，两个丰度矩阵分别与端元矩阵相乘，生成合成的低分辨率高光谱图像与高分辨率高光谱图像；其次，将生成的高分辨率高光谱图像与对应的标签做均方差，生成的低分辨率高光谱图像与对应输入的低分辨率图像做均方差，同时将预测的高分辨率的丰度矩阵乘以空间尺度变换矩阵与低分辨率的分度矩阵做均方差；最后，将三个均方差线性结合作为损失函数，并对丰度矩阵进行L2正则化约束，反向传播迭代训练模型，调整模型参数，在每次迭代过程中，利用乘法规则微调端元矩阵，直至收敛。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111078301.2A CN113744134B (zh) | 2021-09-15 | 2021-09-15 | 基于光谱解混卷积神经网络的高光谱图像超分辨方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111078301.2A CN113744134B (zh) | 2021-09-15 | 2021-09-15 | 基于光谱解混卷积神经网络的高光谱图像超分辨方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113744134A true CN113744134A (zh) | 2021-12-03 |
| CN113744134B CN113744134B (zh) | 2023-07-25 |
Family
ID=78738906
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111078301.2A Active CN113744134B (zh) | 2021-09-15 | 2021-09-15 | 基于光谱解混卷积神经网络的高光谱图像超分辨方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113744134B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114611667A (zh) * | 2022-03-09 | 2022-06-10 | 贵州大学 | 一种基于小规模参数矩阵计算特征图边界的重构方法 |
| CN116091832A (zh) * | 2023-02-16 | 2023-05-09 | 哈尔滨工业大学 | 基于自编码器网络的肿瘤细胞切片高光谱图像分类方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6665438B1 (en) * | 1999-05-05 | 2003-12-16 | American Gnc Corporation | Method for hyperspectral imagery exploitation and pixel spectral unmixing |
| WO2017215284A1 (zh) * | 2016-06-14 | 2017-12-21 | 山东大学 | 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法 |
| CN110070518A (zh) * | 2019-03-15 | 2019-07-30 | 南京航空航天大学 | 一种基于双路径支持下的高光谱图像超分辨率制图方法 |
| CN112529865A (zh) * | 2020-12-08 | 2021-03-19 | 西安科技大学 | 混合像元双线性深层解混方法、系统、应用及存储介质 |
| CN113327218A (zh) * | 2021-06-10 | 2021-08-31 | 东华大学 | 一种基于级联网络的高光谱与全色图像融合方法 |
-
2021
- 2021-09-15 CN CN202111078301.2A patent/CN113744134B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6665438B1 (en) * | 1999-05-05 | 2003-12-16 | American Gnc Corporation | Method for hyperspectral imagery exploitation and pixel spectral unmixing |
| WO2017215284A1 (zh) * | 2016-06-14 | 2017-12-21 | 山东大学 | 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法 |
| CN110070518A (zh) * | 2019-03-15 | 2019-07-30 | 南京航空航天大学 | 一种基于双路径支持下的高光谱图像超分辨率制图方法 |
| CN112529865A (zh) * | 2020-12-08 | 2021-03-19 | 西安科技大学 | 混合像元双线性深层解混方法、系统、应用及存储介质 |
| CN113327218A (zh) * | 2021-06-10 | 2021-08-31 | 东华大学 | 一种基于级联网络的高光谱与全色图像融合方法 |
Non-Patent Citations (2)
| Title |
|---|
| YING QU等: "Unsupervised Sparse Dirichlet-Net for Hyperspectral Image Super-Resolution", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
| 刘帅等: "高光谱图像混合像元多维卷积网络协同分解法", 《测绘学报》, vol. 49, no. 12 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114611667A (zh) * | 2022-03-09 | 2022-06-10 | 贵州大学 | 一种基于小规模参数矩阵计算特征图边界的重构方法 |
| CN116091832A (zh) * | 2023-02-16 | 2023-05-09 | 哈尔滨工业大学 | 基于自编码器网络的肿瘤细胞切片高光谱图像分类方法 |
| CN116091832B (zh) * | 2023-02-16 | 2023-10-20 | 哈尔滨工业大学 | 基于自编码器网络的肿瘤细胞切片高光谱图像分类方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113744134B (zh) | 2023-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110533620B (zh) | 基于aae提取空间特征的高光谱和全色图像融合方法 | |
| CN109064396B (zh) | 一种基于深度成分学习网络的单幅图像超分辨率重建方法 | |
| CN110363215B (zh) | 基于生成式对抗网络的sar图像转化为光学图像的方法 | |
| Xie et al. | Hyperspectral image super-resolution using deep feature matrix factorization | |
| CN111260576B (zh) | 一种基于去噪三维卷积自编码网络的高光谱解混算法 | |
| Song et al. | Spatiotemporal satellite image fusion through one-pair image learning | |
| CN113327218A (zh) | 一种基于级联网络的高光谱与全色图像融合方法 | |
| CN112819737B (zh) | 基于3d卷积的多尺度注意力深度卷积网络的遥感图像融合方法 | |
| CN109636769A (zh) | 基于双路密集残差网络的高光谱和多光谱图像融合方法 | |
| CN109146787B (zh) | 一种基于插值的双相机光谱成像系统的实时重建方法 | |
| CN113744134A (zh) | 基于光谱解混卷积神经网络的高光谱图像超分辨方法 | |
| CN108090872B (zh) | 基于梯度提取的单帧多光谱影像超分辨率重建方法及系统 | |
| CN114119444A (zh) | 一种基于深度神经网络的多源遥感图像融合方法 | |
| Li et al. | Underwater image high definition display using the multilayer perceptron and color feature-based SRCNN | |
| CN103886559B (zh) | 一种光谱图像处理方法 | |
| CN111008936B (zh) | 一种多光谱图像全色锐化方法 | |
| CN116309070A (zh) | 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备 | |
| CN115861083B (zh) | 一种多尺度和全局特征的高光谱与多光谱遥感融合方法 | |
| CN111696043A (zh) | 一种三维fsrcnn的高光谱图像超分辨率重建算法 | |
| CN115512192A (zh) | 基于跨尺度的octave卷积网络的多光谱和高光谱图像融合方法 | |
| CN114266957A (zh) | 一种基于多降质方式数据增广的高光谱图像超分辨率复原方法 | |
| Deng et al. | Multiple frame splicing and degradation learning for hyperspectral imagery super-resolution | |
| CN116883799A (zh) | 成分替换模型引导的高光谱图像深度空间光谱融合方法 | |
| CN116563113A (zh) | 基于转置卷积长短时记忆网络的高光谱图像超分辨方法 | |
| CN116433548A (zh) | 一种基于多级信息提取的高光谱与全色图像融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |