CN113327218B - 一种基于级联网络的高光谱与全色图像融合方法 - Google Patents
一种基于级联网络的高光谱与全色图像融合方法 Download PDFInfo
- Publication number
- CN113327218B CN113327218B CN202110646163.7A CN202110646163A CN113327218B CN 113327218 B CN113327218 B CN 113327218B CN 202110646163 A CN202110646163 A CN 202110646163A CN 113327218 B CN113327218 B CN 113327218B
- Authority
- CN
- China
- Prior art keywords
- image
- hyperspectral
- network
- matrix
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 58
- 238000001228 spectrum Methods 0.000 claims abstract description 39
- 238000002347 injection Methods 0.000 claims abstract description 23
- 239000007924 injection Substances 0.000 claims abstract description 23
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 72
- 238000012549 training Methods 0.000 claims description 60
- 230000003595 spectral effect Effects 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 26
- 238000004364 calculation method Methods 0.000 claims description 16
- 230000004044 response Effects 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000000513 principal component analysis Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 2
- 238000004088 simulation Methods 0.000 claims description 2
- FLDSMVTWEZKONL-AWEZNQCLSA-N 5,5-dimethyl-N-[(3S)-5-methyl-4-oxo-2,3-dihydro-1,5-benzoxazepin-3-yl]-1,4,7,8-tetrahydrooxepino[4,5-c]pyrazole-3-carboxamide Chemical compound CC1(CC2=C(NN=C2C(=O)N[C@@H]2C(N(C3=C(OC2)C=CC=C3)C)=O)CCO1)C FLDSMVTWEZKONL-AWEZNQCLSA-N 0.000 claims 1
- 230000004927 fusion Effects 0.000 abstract description 21
- 230000006872 improvement Effects 0.000 description 11
- 241000522669 Parkia Species 0.000 description 3
- 235000017333 Parkia speciosa Nutrition 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- ZZUFCTLCJUWOSV-UHFFFAOYSA-N furosemide Chemical compound C1=C(Cl)C(S(=O)(=O)N)=CC(C(O)=O)=C1NCC1=CC=CO1 ZZUFCTLCJUWOSV-UHFFFAOYSA-N 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012907 on board imaging Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Abstract
本发明提出了一种基于级联网络的高光谱与全色图像融合方法，属于图像处理技术领域，包括以下步骤：将细节注入方法与光谱解混模型集成到一个级联的卷积神经网络中，构建一个端到端的网络模型，对高光谱图像像素的丰度进行估计，进而重构高空间分辨率的高光谱图像。本发明通过引入全色图像，与高光谱图像进行融合，可提升高光谱图像的空间分辨率，同时，减小融合图像的光谱失真现象。通过建立基于级联卷积网络的高光谱图像融合模型，将细节注入方法与光谱解混模型整合为一个端到端的网络结构，能够有效地提取到输入的多源图像的空间和光谱信息，以生成高分辨率图像各端元的丰度值。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于级联网络的高光谱与全色图像融合方法。
背景技术
高光谱成像是遥感领域中最重要的探测手段之一，它在获得地表分布信息的同时，也能获得各种地物的光谱信息，从而实现图像与光谱信息的结合。高光谱图像最为突出的特点是其精细的光谱分辨率及丰富的光谱信息，能有效地探测到有别于传统多光谱或人眼所能发现的诊断性的特征，因而显著提升了人类对于世界的认知能力。但是，高光谱图像光谱分辨率的提高是以牺牲空间分辨率为代价的，换言之，高光谱图像普遍存在着空间分辨率上的不足，为此，图像融合技术常被用来增强高光谱图像的空间分辨率。
传统的高光谱与全色图像融合方法包括成分替换、非负矩阵分解方法、贝叶斯估计方法、多分辨率分析等等。随着深度学习理论的发展和应用，卷积神经网络（Convolutional Neural Network，CNN）在图像处理领域展现出了巨大的潜力和优势。CNN能自主地学习图像的各种特征并进行拟合，从而形成对图像的精确表示。目前，卷积神经网络已初步被应用到遥感图像融合领域中。但是，现有的基于CNN的图像融合方法，缺少对高光谱图像光谱信息的准确提取，没有考虑光谱混合问题，不能很好地解决图像存在着的光谱失真现象。
发明内容
本发明的目的在于提出一种基于级联网络的高光谱与全色图像融合方法，克服传统图像融合方法中需要人为设计特征提取模型的缺点，将卷积神经网络与细节注入方法、光谱解混模型相结合，增强融合效果，从而有效地提高高光谱图像的空间分辨率。
本发明的技术方案是这样实现的：
本发明提供一种基于级联网络的高光谱与全色图像融合方法，包括以下步骤：
S1. 输入低分辨率高光谱图像和高分辨率全色图像，利用顶点成分分析法提取高光谱图像端元矩阵；
S2. 对高光谱图像沿波段方向分组进行主成分分析处理，生成光谱应转换矩阵和仿真的多光谱图像；
S3. 构建级联卷积神经网络，初始化网络参数；
S4. 对图像进行采样处理；
S5. 高光谱、多光谱和全色图像重排列，构造训练样本及其标签集合；
S6. 训练网络模型，微调高光谱、多光谱端元矩阵和光谱响应转换矩阵；
S7. 对原始高光谱、多光谱图像进行上采样处理，与原始全色图像构成测试样本；
S8. 利用网络模型预测高光谱图像丰度矩阵，生成高分辨率高光谱图像。
作为本发明的进一步改进，具体包括以下步骤：
S1. 对高光谱图像采用顶点成分分析方法提取包含D个端元的端元矩阵；
S2. 根据高光谱图像的波段相关矩阵，将其按照光谱维度分解为组，分别对每组进行主成分分析处理，将每组的第一主成分系数组合生成光谱响应转换矩阵；将每组的第一个主成分提取出来形成一幅仿真多光谱图像；
S3. 构建基于级联卷积神经网络的回归模型，该模型包含一个细节注入子网络与一个光谱解混子网络；
S4. 对图像进行采样处理，将原始高光谱图像、全色图像以及仿真生成的多光谱图像分别按比例s进行高斯低通滤波和下采样，其中s为全色图像与原始高光谱图像的尺寸之比；
S5. 将采样后的高光谱与多光谱图像进行按照全色图像的尺寸进行双线性插值；将处理好的多光谱和全色图像按波段维度排列，从第一个像素开始，以边界镜像的填充方式，依次取每个像素多光谱与全色图像各波段上的邻域数据块，构成单个训练样本，一共得到含/>个训练样本的训练样本集，记作训练样本一，同样，对于处理好的高光谱图像以相同的方式，从第一个像素开始生成训练样本，记作训练样本二；同时将原始高光谱图像和合成的多光谱图像对应的中心像素的各波段值作为训练样本的标签值；
S6. 训练网络，首先将训练样本一作为输入送入细节注入子网络，再将该网络输出的细节信息注入到对应的低分辨率多光谱图像中，生成高分辨率多光谱图像每个像素的数据块，然后将训练样本二以及细节注入子网络生成的数据块依次送入光谱解混子网络，再将该网络的输出作为像素各端元对应的丰度矩阵，然后将高光谱和多光谱图像端元矩阵与丰度的乘积作为预测值与标签值做均方误差，同时加上多光谱图像端元矩阵和光谱响应转换矩阵与高光谱图像端元矩阵乘积的均方差作为损失函数，并对丰度矩阵进行L2正则化约束，迭代训练模型，调整模型参数，在每次迭代过程中，利用乘法规则微调端元矩阵和光谱响应转换矩阵，直至收敛；
S7. 将原始高光谱图像与多光谱图像进行s倍插值，得到与原始全色图像相同行列尺寸的图像，然后将该多光谱和全色图像按波段维排列；从第一个像素开始，依次取每个像素多光谱与全色图像各波段上的邻域，同时也提取每个像素高光谱图像各波段上的/>邻域，构成单个测试样本，利用神经网络预测每个像素的丰度值；
S8. 将高光谱图像的端元矩阵与预测得到的丰度矩阵相乘生成高分辨率的高光谱图像。
作为本发明的进一步改进，步骤S1的具体方法为：将高光谱图像表示成，全色图像表示成/>，其中，表示高光谱图像的波段个数，/>和/>分别表示高光谱与多光谱图像的像素个数；对高光谱图像采用顶点成分分析方法提取端元矩阵/>，其中为预先设置的端元个数。
作为本发明的进一步改进，步骤S2的具体方法为：计算高光谱图像的波段相关矩阵，根据波段相关矩阵，将高光谱图像沿光谱维度分为λ组，对每组分别进行主成分分析，将每组的第一主成分系数组合生成光谱响应转换矩阵，计算公式如公式（1）所示：
其中，表示第/>组的波段数目，满足/>；同时，提取每组第一个主成分构成一幅仿真多光谱图像，则该多光谱图像实际可以由高光谱图像和光谱响应转换矩阵S相乘得到，计算公式如公式（2）所示：
其中，，且/>，/>是原始高光谱图像光谱波段上的第/>组。
作为本发明的进一步改进，步骤S3中所述细节注入子网络的模型结构包含四个卷积层，每个卷积层后分别连接一个批规范化层和激活函数层，每个卷积层分辨包含32、32、32、l个3×3大小的卷积核，激活函数采用线性修正单元函数，卷积核与权重等参数采用方差为0.01的高斯随机函数初始化方式；所述光谱解混子网络的结构与细节注入子网络相比，最后一个卷积层拥有个3×3大小的卷积核，同时其激活函数层换为使用softmax函数的回归输出层，其中/>为预先设置的端元个数，其他相同。
作为本发明的进一步改进，步骤S4的具体方法为：对图像进行采样处理，将原始高光谱图像和全色图像/>分别按比例s进行高斯低通滤波和下采样，得到与/>，其中s为全色图像/>与高光谱图像/>的空间尺寸之比/>,并对/>按比例s进行高斯低通滤波和下采样，得到/>,此外，对多光谱图像/>计算端元矩阵/>，其中/>为预先设置的端元个数。
作为本发明的进一步改进，步骤S5的具体方法为：对步骤S4中的高光谱图像与多光谱图像/>按照全色图像/>的空间尺寸进行双线性插值得到/>与；然后构造训练样本集，将处理好的多光谱图像与全色图像按波段维度排列为，从第一个像素开始，以边界镜像的填充方式，依次取每个像素各波段上的/>领域数据块，构成单个训练样本，一共得到含/>个训练样本的训练样本集，记为训练样本一/>；同样，对于处理的好的高光谱图像/>以相同的方式，从第一个像素开始生成训练样本，记作训练样本二/>；同时将原始高光谱图像和合成的多光谱图像/>对应的中心像素的各波段值作为训练样本的标签值。
作为本发明的进一步改进，步骤S6的具体方法为：首先将训练样本作为输入送入细节注入子网络，再将该网络输出的细节信息/>注入到对应的低分辨率多光谱图像/>中，输出记为/>，计算公式如公式（3）所示：
其次，将训练样本与对应的/>沿光谱维度方向进行拼接，并送入光谱解混子网络，再将该子网络的输出作为像素各端元对应的丰度矩阵/>，最后，将高光谱和多光谱图像端元矩阵与丰度矩阵的乘积作为预测值与标签值的做均方误差，同时加上多光谱图像端元矩阵和光谱响应转换矩阵与高光谱图像端元矩阵乘积的均方差作为损失函数，同时对丰度矩阵进行L2正则化约束，计算公式如公式（4）所示：
计算损失函数对丰度的导数，得到公式（5）：
其中，是二范式距离，/>，用梯度下降法进行反向传播，训练CNN模型，调整模型参数，设置迭代更新次数为200，每次更新丰度矩阵后，利用乘法规则微调端元矩阵，直至收敛，计算公式如公式（6）-公式（8）所示：
。
作为本发明的进一步改进，步骤S7中的具体方法为：神经网络训练完毕后，将原始高光谱图像和多光谱图像行s倍插值，得到与原始全色图像相同行列尺寸的高光谱图像和多光谱图像/>，然后将该多光谱图像/>和全色图像按波段维排列为/>；从第一个像素开始，依次取每个像素/>各波段上的7×7邻域，同时，从第一个像素开始，依次取每个像素/>各波段上的7×7邻域，构成单个测试样本。
作为本发明的进一步改进，步骤S8的具体方法为：将测试样本输入到训练好的网络模型中，利用网络模型预测每个像素的各端元对应的丰度值，得到丰度矩阵，将端元矩阵/>与丰度相乘后得到融合后的高光谱图像，/>。
本发明具有如下有益效果：本发明通过引入全色图像，与高光谱图像进行融合，可提升高光谱图像的空间分辨率，同时，减小融合图像的光谱失真现象。通过建立基于级联卷积网络的高光谱图像融合模型，将细节注入方法与光谱解混模型整合为一个端到端的网络结构，能够有效地提取到输入的多源图像的空间和光谱信息，以生成高分辨率图像各端元的丰度值。该模型可以利用分辨率较低的图像进行训练，可以有效减轻其他现有工作对辅助高分辨率数据资源的需求，相较于传统方法具有更高的鲁棒性和光谱保真度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所示方法的流程图；
图2为本发明所示方法的示意图；
图3a)为帕维亚大学的高光谱图像；
图3b)为华盛顿市中心广场的高光谱图像；
图3c)为美国休斯顿大学园区的高光谱图像；
图3d)为由WorldView-II卫星获取的休斯顿大学全色图像；
图3e)为旧金山湾高光谱图像；
图3f)为由EO-1 ALI成像仪采集的旧金山湾全色图像；
图4a为帕维亚大学PW-MAP融合图像；
图4b为帕维亚大学TBCNN融合图像；
图4c为帕维亚大学DiCNN融合图像；
图4d为帕维亚大学HyPNN,融合图像；
图4e为帕维亚大学HSpeNet融合图像；
图4f为帕维亚大学D-DARN融合图像；
图4g帕维亚大学本发明所示方法融合图像。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1-2，以德国反射式成像光谱仪ROSIS获取的意大利帕维亚大学高光谱图像为例，该图像的空间分辨率为1.3米，包含可见光到近红外范围的103个光谱波段，取大小为320×320个像素的局部图像作为参考图像。将该图像采用7×7的高斯低通滤波器进行滤波，然后4倍下采样，得到仿真的低分辨率高光谱图像，并将位于520-900 nm范围内的波段求平均，得到对应的高分辨率全色图像。实施例计算步骤如下：
步骤S1：将高光谱图像表示成，全色图像表示成/>，其中，表示高光谱图像的波段个数，/>和/>分别表示高光谱与多光谱图像的像素个数；对高光谱图像采用顶点成分分析方法提取端元矩阵/>，其中/>为预先设置的端元个数。
步骤S2：计算高光谱图像的波段相关矩阵，根据波段相关矩阵，将高光谱图像沿光谱维度分为组，对每组分别进行主成分分析，将每组的第一主成分系数组合生成光谱响应转换矩阵，计算公式如公式（1）所示：
其中，表示第/>组的波段数目，满足/>；同时，提取每组第一个主成分构成一幅仿真多光谱图像，则该多光谱图像实际可以由高光谱图像和光谱响应转换矩阵S相乘得到，计算公式如公式（2）所示：
其中，，且/>，/>是原始高光谱图像光谱波段上的第/>组。
步骤S3：构建基于级联卷积神经网络的回归模型，该模型包含一个细节注入子网络与一个光谱解混子网络。对于细节注入子网络，其模型结构包含四个卷积层，每个卷积层后分别连接一个批规范化层和激活函数层。每个卷积层分辨包含32、32、32、l=3个3×3大小的卷积核，激活函数采用线性修正单元（Rectified Linear Unit，ReLU）函数。卷积核与权重等参数采用方差为0.01的高斯随机函数初始化方式；对于光谱解混子网络，其结构与细节注入子网络基本一致，仅最后一个卷积层拥有=60个3×3大小的卷积核，同时其激活函数层换为使用softmax函数的回归输出层，其中为预先设置的端元个数。
步骤S4：对图像进行采样处理，将原始高光谱图像和全色图像/>分别按比例s进行高斯低通滤波和下采样，得到/>与/>，其中s为全色图像/>与高光谱图像/>的空间尺寸之比/>,并对/>按比例s进行高斯低通滤波和下采样，得到/>,此外，对多光谱图像/>计算端元矩阵/>，其中/>为预先设置的端元个数。
步骤S5：对步骤S4中的高光谱图像与多光谱图像/>按照全色图像/>的空间尺寸进行双线性插值得到/>与/>；然后构造训练样本集，将处理好的多光谱图像与全色图像按波段维度排列为/>，从第一个像素开始，以边界镜像的填充方式，依次取每个像素各波段上的/>领域数据块，构成单个训练样本，一共得到含/>个训练样本的训练样本集，记为训练样本一/>；同样，对于处理的好的高光谱图像/>以相同的方式，从第一个像素开始生成训练样本，记作训练样本二/>；同时将原始高光谱图像和合成的多光谱图像/>对应的中心像素的各波段值作为训练样本的标签值。
步骤S6：首先将训练样本作为输入送入细节注入子网络，再将该网络输出的细节信息/>注入到对应的低分辨率多光谱图像/>中，输出记为/>，计算公式如公式（3）所示：
其次，将训练样本与对应的/>沿光谱维度方向进行拼接，并送入光谱解混子网络，再将该子网络的输出作为像素各端元对应的丰度矩阵/>，最后，将高光谱和多光谱图像端元矩阵与丰度矩阵的乘积作为预测值与标签值的做均方误差，同时加上多光谱图像端元矩阵和光谱响应转换矩阵与高光谱图像端元矩阵乘积的均方差作为损失函数，同时对丰度矩阵进行L2正则化约束，计算公式如公式（4）所示：
计算损失函数对丰度的导数，得到公式（5）：
其中，是二范式距离，/>，用梯度下降法进行反向传播，训练CNN模型，调整模型参数，设置迭代更新次数为200，每次更新丰度矩阵后，利用乘法规则微调端元矩阵，直至收敛，计算公式如公式（6）-公式（8）所示：
。
步骤S7：神经网络训练完毕后，将原始高光谱图像和多光谱图像行s倍插值，得到与原始全色图像相同行列尺寸的高光谱图像/>和多光谱图像/>，然后将该多光谱图像/>和全色图像按波段维排列为/>；从第一个像素开始，依次取每个像素/>各波段上的7×7邻域，同时，从第一个像素开始，依次取每个像素/>各波段上的7×7邻域，构成单个测试样本。
步骤S8：将测试样本输入到训练好的网络模型中，利用网络模型预测每个像素的各端元对应的丰度值，得到丰度矩阵，将端元矩阵/>与丰度相乘后得到融合后的高光谱图像，/>。
图3为本发明所采用的实施例，其中，图3a)为帕维亚大学的高光谱图像。图3b)为华盛顿市中心广场的高光谱图像，它由HYDICE传感器获取，包含191个波段，地面分辨率为2.8米，本例中，取240×400大小的局部图像作为参考图像，将该图像采用7×7的高斯低通滤波器进行滤波，然后4倍下采样，得到仿真的低分辨率高光谱图像，并将位于450-510、510-580、630-690和770-895 nm范围内的波段分别求平均，得到具有4个波段的高分辨率多光谱图像。图3c)为美国休斯顿大学园区的高光谱图像，它由机载成像光谱仪CASI获取，包含144个波段，地面分辨率为2.5米，图像大小为320×320；图3d)为由WorldView-II卫星获取的休斯顿大学全色图像，它波段范围为450-800nm，地面分辨率为0.5米，图像大小为320×320，本例中，对该两幅图像进行配准，然后将图3c)与图3d)进行5倍的退化处理，进行实验；图3e)为旧金山湾高光谱图像，它由EO-1 Hyperion成像仪采集，其波长范围为400-250nm，去除噪声后由161个光谱波段组成，地面分辨率为30米，图像大小为270×120。图3f)为由EO-1 ALI成像仪采集的旧金山湾全色图像，光谱范围为480-690nm。它的像素分辨率为10米。同样，对图3e)与图3f)分别退化3倍以模拟LR HS和HR PAN图像进行实验。实验结果采用光谱角（SAM）、相对无量纲全局综合误差（ERGAS）、及图像质量指数（UIQI）、结构相似度（SSIM）进行评价。
本发明设计的方法与PW-MAP（主成分分析与小波变换结合的最大后验估计融合方法）、TBCNN（基于双分支卷积神经网络融合方法）、DiCNN（基于细节注入的卷积神经网络融合方法）、HyPNN（基于光谱预测的卷积神经网络融合方法）、HSpeNet（基于光谱保真度的卷积神经网络融合方法）、D-DARN（基于双注意力残差网络的深层先验高光谱融合方法）六种高光谱图像融合方法进行了对比，表1为帕维亚大学与华盛顿市中心广场两组数据的融合结果，表2休斯顿大学与旧金山湾两组数据的融合结果，为其中平均梯度、综合误差和质量指数为各波段的平均值。
表1 帕维亚大学与华盛顿市中心广场的高光谱与全色图像融合结果
表2 休斯顿大学与旧金山湾高光谱与全色图像融合结果
六种方法的参数均按照相关论文的提示进行选择，本发明提出的方法中，学习率设置为0.0001，动量设置为0.9，最小批量样本数设置为64，迭代次数设置为200。从结果中可以看出，本发明设计的方法具有较好的光谱保真特性。光谱角和综合误差表明，该方法能显著减小融合图像的误差，图像质量指数表明，其具有最高的图像质量，更接近于参考图像。而结构相似度也表明，该方法能显著提升融合图像的空间分辨率，增强图像的空间相似度。另外，对于由不同传感器平台获取的休斯顿大学高光谱与全色图像，因成像条件的差异而导致的传统方法光谱失真严重问题，也可以由本发明设计的方法得到有效地克服。
图4a-图4g为帕维亚大学高光谱数据实验的融合图像，从图中可以看出，对比其它融合方法，本发明提出的方法能较好地克服融合图像色彩失真现象，得到的结果显然更接近于参考图像。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于级联网络的高光谱与全色图像融合方法，其特征在于，具体包括以下步骤：
S1.对高光谱图像采用顶点成分分析方法提取包含D个端元的端元矩阵；
S2.根据高光谱图像的波段相关矩阵，将其按照光谱维度分解为λ组，分别对每组进行主成分分析处理，将每组的第一主成分系数组合生成光谱响应转换矩阵；将每组的第一个主成分提取出来形成一幅仿真多光谱图像；
S3.构建基于级联卷积神经网络的回归模型，该模型包含一个细节注入子网络与一个光谱解混子网络；
S4.对图像进行采样处理，将原始高光谱图像、全色图像以及仿真生成的多光谱图像分别按比例s进行高斯低通滤波和下采样，其中s为全色图像与原始高光谱图像的尺寸之比；
S5.将采样后的高光谱与多光谱图像进行按照全色图像的尺寸进行双线性插值；将处理好的多光谱和全色图像按波段维度排列，从第一个像素开始，以边界镜像的填充方式，依次取每个像素多光谱与全色图像各波段上的p×p邻域数据块，构成单个训练样本，一共得到含n个训练样本的训练样本集，记作训练样本一，同样，对于处理好的高光谱图像以相同的方式，从第一个像素开始生成训练样本，记作训练样本二；同时将原始高光谱图像和合成的多光谱图像对应的中心像素的各波段值作为训练样本的标签值；
S6.训练网络，首先将训练样本一作为输入送入细节注入子网络，再将该网络输出的细节信息注入到对应的低分辨率多光谱图像中，生成高分辨率多光谱图像每个像素的p×p数据块，然后将训练样本二以及细节注入子网络生成的数据块依次送入光谱解混子网络，再将该网络的输出作为像素各端元对应的丰度矩阵，然后将高光谱和多光谱图像端元矩阵与丰度的乘积作为预测值与标签值做均方误差，同时加上多光谱图像端元矩阵和光谱响应转换矩阵与高光谱图像端元矩阵乘积的均方差作为损失函数，并对丰度矩阵进行L2正则化约束，迭代训练模型，调整模型参数，在每次迭代过程中，利用乘法规则微调端元矩阵和光谱响应转换矩阵，直至收敛；
S7.将原始高光谱图像与多光谱图像进行s倍插值，得到与原始全色图像相同行列尺寸的图像，然后将该多光谱和全色图像按波段维排列；从第一个像素开始，依次取每个像素多光谱与全色图像各波段上的p×p邻域，同时也提取每个像素高光谱图像各波段上的p×p邻域，构成单个测试样本，利用神经网络预测每个像素的丰度值；
S8.将高光谱图像的端元矩阵与预测得到的丰度矩阵相乘生成高分辨率的高光谱图像。
2.根据权利要求1所述基于级联网络的高光谱与全色图像融合方法，其特征在于，步骤S1的具体方法为：将高光谱图像表示成全色图像表示成/>其中，Λ表示高光谱图像的波段个数，Nx和Nz分别表示高光谱与多光谱图像的像素个数；对高光谱图像采用顶点成分分析方法提取端元矩阵EX∈RΛ×D，其中D为预先设置的端元个数。
3.根据权利要求1所述基于级联网络的高光谱与全色图像融合方法，其特征在于，步骤S2的具体方法为：计算高光谱图像X的波段相关矩阵，根据波段相关矩阵，将高光谱图像沿光谱维度分为λ组，对每组分别进行主成分分析，将每组的第一主成分系数k＝1,2,...,λ组合生成光谱响应转换矩阵S，计算公式如公式(1)所示：
其中，jk表示第k组的波段数目，满足∑kjk＝Λ；同时，提取每组第一个主成分构成一幅仿真多光谱图像，则该多光谱图像由高光谱图像和光谱响应转换矩阵S相乘得到，计算公式如公式(2)所示：
Y＝S·X＝[y11，y12，...，y1λ]，y1k＝T1k·Xk，k＝1，2，...，λ (2)
其中，且Nx＝Ny，Xk是原始高光谱图像光谱波段上的第k组。
4.根据权利要求1所述基于级联网络的高光谱与全色图像融合方法，其特征在于，步骤S3中所述细节注入子网络的模型结构包含四个卷积层，每个卷积层后分别连接一个批规范化层和激活函数层，每个卷积层分辨包含32、32、32、λ个3×3大小的卷积核，激活函数采用线性修正单元函数，卷积核与权重参数采用方差为0.01的高斯随机函数初始化方式；所述光谱解混子网络的结构与细节注入子网络相比，最后一个卷积层拥有D个3×3大小的卷积核，同时其激活函数层换为使用softmax函数的回归输出层，其中D为预先设置的端元个数。
5.根据权利要求1所述基于级联网络的高光谱与全色图像融合方法，其特征在于，步骤S4的具体方法为：对图像进行采样处理，将原始高光谱图像和全色图像分别按比例s进行高斯低通滤波和下采样，得到/>与其中s为全色图像Z与高光谱图像X的空间尺寸之比/>并对Y按比例s进行高斯低通滤波和下采样，得到/>此外，对多光谱图像Y计算端元矩阵Ey＝S·Ex∈Rλ×D，其中D为预先设置的端元个数。
6.根据权利要求1所述基于级联网络的高光谱与全色图像融合方法，其特征在于，步骤S5的具体方法为：对步骤S4中的高光谱图像Xdown与多光谱图像Ydown按照全色图像Z'的空间尺寸进行双线性插值得到与/>然后构造训练样本集，将处理好的多光谱图像与全色图像按波段维度排列为W＝[Y',Z']∈R(Λ+1)×n，从第一个像素开始，以边界镜像的填充方式，依次取每个像素W各波段上的7×7领域数据块，构成单个训练样本，一共得到含n个训练样本的训练样本集，记为训练样本一W1；同样，对于处理的好的高光谱图像X'以相同的方式，从第一个像素开始生成训练样本，记作训练样本二W2；同时将原始高光谱图像X和合成的多光谱图像Y对应的中心像素的各波段值作为训练样本的标签值。
7.根据权利要求1所述基于级联网络的高光谱与全色图像融合方法，其特征在于，步骤S6的具体方法为：首先将训练样本W1作为输入送入细节注入子网络，再将该网络输出的细节信息O注入到对应的低分辨率多光谱图像Y中，输出记为计算公式如公式(3)所示：
其次，将训练样本W2与对应的沿光谱维度方向进行拼接，并送入光谱解混子网络，再将该子网络的输出作为像素各端元对应的丰度矩阵/>最后，将高光谱和多光谱图像端元矩阵与丰度矩阵的乘积作为预测值与标签值的做均方误差，同时加上多光谱图像端元矩阵和光谱响应转换矩阵与高光谱图像端元矩阵乘积的均方差作为损失函数，同时对丰度矩阵进行L2正则化约束，计算公式如公式(4)所示：
计算损失函数对丰度的导数，得到公式(5)：
其中，是二范式距离，η＝0.25，用梯度下降法进行反向传播，训练CNN模型，调整模型参数，设置迭代更新次数为200，每次更新丰度矩阵后，利用乘法规则微调端元矩阵，直至收敛，计算公式如公式(6)-公式(8)所示：
8.根据权利要求1所述基于级联网络的高光谱与全色图像融合方法，其特征在于，步骤S7中的具体方法为：神经网络训练完毕后，将原始高光谱图像X和多光谱图像Y行s倍插值，得到与原始全色图像Z相同行列尺寸的高光谱图像和多光谱图像然后将该多光谱图像Yhigh和全色图像Z按波段维排列为Whigh＝[Yhigh，Z]∈R(Λ+1)×n；从第一个像素开始，依次取每个像素Whigh各波段上的7×7邻域，同时，从第一个像素开始，依次取每个像素Xlow各波段上的7×7邻域，构成单个测试样本。
9.根据权利要求1所述基于级联网络的高光谱与全色图像融合方法，其特征在于，步骤S8的具体方法为：将测试样本输入到训练好的网络模型中，利用网络模型预测每个像素的各端元对应的丰度值，得到丰度矩阵A∈RD×N，将端元矩阵EX与丰度相乘后得到融合后的高光谱图像，
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110646163.7A CN113327218B (zh) | 2021-06-10 | 2021-06-10 | 一种基于级联网络的高光谱与全色图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110646163.7A CN113327218B (zh) | 2021-06-10 | 2021-06-10 | 一种基于级联网络的高光谱与全色图像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113327218A CN113327218A (zh) | 2021-08-31 |
| CN113327218B true CN113327218B (zh) | 2023-08-25 |
Family
ID=77421300
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110646163.7A Active CN113327218B (zh) | 2021-06-10 | 2021-06-10 | 一种基于级联网络的高光谱与全色图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113327218B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113744134B (zh) * | 2021-09-15 | 2023-07-25 | 东华大学 | 基于光谱解混卷积神经网络的高光谱图像超分辨方法 |
| CN114359103B (zh) * | 2022-01-04 | 2024-04-12 | 中国电建集团中南勘测设计研究院有限公司 | 高光谱图像去雾方法、装置、计算机产品及存储介质 |
| CN114239756B (zh) * | 2022-02-25 | 2022-05-17 | 科大天工智能装备技术（天津）有限公司 | 一种虫害检测方法及系统 |
| CN114998109B (zh) * | 2022-08-03 | 2022-10-25 | 湖南大学 | 基于双rgb图像融合的高光谱成像方法、系统及介质 |
| CN115861083B (zh) * | 2023-03-03 | 2023-05-16 | 吉林大学 | 一种多尺度和全局特征的高光谱与多光谱遥感融合方法 |
| CN116245779B (zh) * | 2023-05-11 | 2023-08-22 | 四川工程职业技术学院 | 一种图像融合方法、装置、存储介质及电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109102529A (zh) * | 2018-08-15 | 2018-12-28 | 西北工业大学 | 基于深度卷积神经网络的端对端高光谱图像变化检测方法 |
| CN110544212A (zh) * | 2019-07-31 | 2019-12-06 | 华南理工大学 | 基于层级特征融合的卷积神经网络高光谱图像锐化方法 |
| CN111291675A (zh) * | 2020-02-04 | 2020-06-16 | 北京科技大学 | 一种基于深度学习的高光谱古绘画检测识别方法 |
-
2021
- 2021-06-10 CN CN202110646163.7A patent/CN113327218B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109102529A (zh) * | 2018-08-15 | 2018-12-28 | 西北工业大学 | 基于深度卷积神经网络的端对端高光谱图像变化检测方法 |
| CN110544212A (zh) * | 2019-07-31 | 2019-12-06 | 华南理工大学 | 基于层级特征融合的卷积神经网络高光谱图像锐化方法 |
| CN111291675A (zh) * | 2020-02-04 | 2020-06-16 | 北京科技大学 | 一种基于深度学习的高光谱古绘画检测识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| Xiaochen Lu 等.Coupled Convolutional Neural Network-Based Detail Injection Method for Hyperspectral and Multispectral Image Fusion.《MDPI》.2020,正文第1-13页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113327218A (zh) | 2021-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113327218B (zh) | 一种基于级联网络的高光谱与全色图像融合方法 | |
| Li et al. | Hyperspectral image super-resolution using deep convolutional neural network | |
| CN111260576B (zh) | 一种基于去噪三维卷积自编码网络的高光谱解混算法 | |
| Song et al. | Spatiotemporal satellite image fusion through one-pair image learning | |
| CN109727207B (zh) | 基于光谱预测残差卷积神经网络的高光谱图像锐化方法 | |
| CN112184554B (zh) | 一种基于残差混合膨胀卷积的遥感图像融合方法 | |
| CN114119444B (zh) | 一种基于深度神经网络的多源遥感图像融合方法 | |
| CN110415199B (zh) | 基于残差学习的多光谱遥感图像融合方法及装置 | |
| CN112819737B (zh) | 基于3d卷积的多尺度注意力深度卷积网络的遥感图像融合方法 | |
| Wan et al. | Nonnegative and nonlocal sparse tensor factorization-based hyperspectral image super-resolution | |
| CN111127374A (zh) | 一种基于多尺度密集网络的Pan-sharpening方法 | |
| CN112069919A (zh) | 基于非凸低秩矩阵逼近和全变分正则化的高光谱图像去噪方法 | |
| CN112488978A (zh) | 基于模糊核估计的多光谱图像融合成像方法及系统 | |
| Lohit et al. | Unrolled projected gradient descent for multi-spectral image fusion | |
| CN113902622B (zh) | 基于深度先验联合注意力的光谱超分辨率方法 | |
| CN115512192A (zh) | 基于跨尺度的octave卷积网络的多光谱和高光谱图像融合方法 | |
| CN111696043A (zh) | 一种三维fsrcnn的高光谱图像超分辨率重建算法 | |
| CN115272078A (zh) | 基于多尺度空-谱特征学习的高光谱图像超分辨率重建方法 | |
| CN113744134B (zh) | 基于光谱解混卷积神经网络的高光谱图像超分辨方法 | |
| Li et al. | HyperNet: A deep network for hyperspectral, multispectral, and panchromatic image fusion | |
| CN114266957A (zh) | 一种基于多降质方式数据增广的高光谱图像超分辨率复原方法 | |
| Wang et al. | A self-supervised denoising network for satellite-airborne-ground hyperspectral imagery | |
| CN115565045A (zh) | 基于多尺度空谱变换的高光谱与多光谱图像融合方法 | |
| Huang et al. | An unsupervised Laplacian pyramid network for radiometrically accurate data fusion of hyperspectral and multispectral imagery | |
| Qian et al. | Selfs2: Self-supervised transfer learning for sentinel-2 multispectral image super-resolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |