CN116883799A - 成分替换模型引导的高光谱图像深度空间光谱融合方法 - Google Patents
成分替换模型引导的高光谱图像深度空间光谱融合方法 Download PDFInfo
- Publication number
- CN116883799A CN116883799A CN202310846494.4A CN202310846494A CN116883799A CN 116883799 A CN116883799 A CN 116883799A CN 202310846494 A CN202310846494 A CN 202310846494A CN 116883799 A CN116883799 A CN 116883799A
- Authority
- CN
- China
- Prior art keywords
- image
- hyperspectral image
- hyperspectral
- fusion
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001228 spectrum Methods 0.000 title claims abstract description 59
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 18
- 230000004927 fusion Effects 0.000 claims abstract description 53
- 238000012549 training Methods 0.000 claims abstract description 48
- 238000000034 method Methods 0.000 claims abstract description 39
- 230000003595 spectral effect Effects 0.000 claims abstract description 32
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 10
- 238000007499 fusion processing Methods 0.000 claims abstract description 5
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 27
- 238000002347 injection Methods 0.000 claims description 25
- 239000007924 injection Substances 0.000 claims description 25
- 238000011176 pooling Methods 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 10
- 241000282326 Felis catus Species 0.000 claims description 9
- 230000003044 adaptive effect Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 5
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000012886 linear function Methods 0.000 claims description 3
- 238000005316 response function Methods 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims description 2
- 238000011478 gradient descent method Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 101100136092 Drosophila melanogaster peng gene Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- ZZUFCTLCJUWOSV-UHFFFAOYSA-N furosemide Chemical compound C1=C(Cl)C(S(=O)(=O)N)=CC(C(O)=O)=C1NCC1=CC=CO1 ZZUFCTLCJUWOSV-UHFFFAOYSA-N 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Abstract
成分替换模型引导的高光谱图像深度空间光谱融合方法，包括以下步骤；(1)获得公开的高分辨率高光谱数据X，对高分辨率高光谱数据X进行预处理以及数据集制作；(2)为了使模型学习高光谱图像与全色图像的融合结果与参考图像之间的非线性关系，构建成分替换算法驱动的光谱空间信息融合卷积网络，并进行训练；(3)为了验证训练后的模型的性能表现和泛化能力，将同场景下获得的待融合的低空间分辨率的高光谱图像和全色图像输入到训练好的网络模型中得到具有高光谱、高空间分辨率的融合图像。本发明能够减少融合过程中高光谱图像的光谱信息损失，得到同时具备高空间分辨率、高光谱分辨率的融合图像。
Description
技术领域
本发明属于遥感图像处理技术领域，具体涉及成分替换模型引导的高光谱图像深度空间光谱融合方法。
背景技术
现有的光学遥感成像系统为了平衡数据的空间分辨率、光谱分辨率和信噪比，往往导致成像平台无法提供同时兼顾高的空间高光谱分辨率的图像。因此，通过整合空间、光谱信息于一个图像，可以极大地提升图像质量。将全色图像与高光谱图像进行光谱空间信息融合时如何降低光谱信息的丢失以及实现模型学习过程的可解释化是待解决的问题。现有的高光谱与全色图像的空间光谱融合方法大致分为基于模型的方法深度学习方法。
基于模型的方法大体分为两类：成分替换方法、多分辨率分析方法。基于成分替换的融合方法主要是根据一定的规则，利用全色图像对上采样的高光谱图像的空间成分进行替换或者将全色图像的空间信息以制定的规则附加在上采样的高光谱图像上。基于多分辨率分析方法的思路是分别对高光谱图像和与之对应的直方图匹配后的全色图像，使用小波变换或其他多分辨率分析工具进行分解，获得高频系数和低频系数；然后，通过特定的融合规则对高频系数和低频系数分别进行融合；最后对融合后的系数执行多分辨率分析逆变换获得融合图像。该类方法对空间对应关系敏感。当全色图像的空间信息与低分辨率高光谱图像的空间信息不匹配时，就会出现局部差异。
近些年，深度学习在遥感图像融合处理领域也得到广泛应用。基于深度学习的遥感图像融合方法比如：J.Peng等人在“PSMD-Net:A Novel Pan-Sharpening Method Basedon a Multiscale Dense Network”中提出一种基于多尺度密集融合网络，充分利用原PAN和MS图像的局部和全局空间特征和光谱信息；M.Zhou等人在“PAN-Guided Band-AwareMulti-Spectral Feature Enhancement for Pan-Sharpening”中设计全色图像引导的波段感知多光谱特征增强模块和多聚焦特征融合模块实现高效泛锐化。以上的基于深度学习的融合方法主要依赖于网络结构的设计。然而深度学习方法的“黑盒”特性使得这些方法很难利用高光谱图像的先验知识，并且他们没有使用合适的数学工具对深度学习模型的学习过程进行建模，导致其泛化能力差。
深度学习方法具有强大的特征提取能力，但是训练测试时其内部的运行机理是不透明的，缺乏落实到数学上的理论证明来解释其从输入到输出的生成逻辑及模型的优化方式。这样不但丢弃了对高光谱图像先验信息的使用，还限制了神经网络模型的泛化能力。
发明内容
为了克服以上现有技术存在的问题，本发明的目的在于提供一种成分替换模型引导的高光谱图像深度空间光谱融合方法，以减少融合过程中高光谱图像的光谱信息损失，得到同时具备高空间分辨率、高光谱分辨率的融合图像；所提出的算法将成分替换算法的数学原理嵌入神经网络并指导模型的搭建，明确网络在融合空间光谱信息过程中的内在生成机制，实现深度学习融合模型的可解释化。
为了实现上述目的，本发明采用的技术方案是：
成分替换模型引导的高光谱图像深度空间光谱融合方法，包括以下步骤；
(1)获得公开的高分辨率高光谱数据X，对高分辨率高光谱数据X进行预处理以及数据集制作；得到全色图像训练集P和低空间分辨率的高光谱图像训练数据集H，对得到的H进行上采样得到与P同尺寸的高光谱图像
(2)为了使模型学习高光谱图像与全色图像的融合结果与参考图像之间的非线性关系，构建成分替换算法驱动的光谱空间信息融合卷积网络，并进行训练；
(3)为了验证训练后的模型的性能表现和泛化能力，将同场景下获得的待融合的低空间分辨率的高光谱图像和全色图像输入到训练好的网络模型中得到具有高光谱、高空间分辨率的融合图像。
所述步骤(1)具体为：
(1.1)获得开放下载的高分辨率高光谱数据X，利用Wald协议在真实参考图像下采样生成用于模型训练的初始低空间分辨率的高光谱图像Ht和初始全色图像Pt；
(1.2)令高分辨率高光谱图像X作为参考图像，在空间维度上对初始全色图像Pt裁剪得到160*160*1的全色图像训练数据集P，对初始低空间分辨率的高光谱图像Ht进行裁剪，得到40*40*102的高光谱图像训练数据集H；
(1.3)利用双三次插值算法对训练图像H进行上采样，得到与P同尺寸的高光谱图像
所述步骤(1.1)中：高光谱图像数据其中，N为高分辨率高光谱图像X的波段数，m＝w×h为高光谱图像X单个波段像素点总数，w和h表示每个波段的长和宽。
所述步骤(1.2)中：H＝XBS；其中表示传感器的点扩散函数，/>表示四倍下采样；/>N表示高分辨率高光谱图像X的波段数，m＝w×h表示高光谱图像X的各波段图像的像素点个数，w、h分别表示高光谱图像X每个波段的长和宽；d表示低分辨率高光谱训练图像H与高分辨率高光谱图像X之间的空间尺度比例，m/d2＝w/d×h/d表示低分辨率高光谱训练图像H的单波段像素点个数，w/d，h/d分别为低分辨率高光谱图像H每个波段的长和宽；
所述全色图像训练数据集P为：
P＝RX；
其中，表示传感器的光谱响应函数，/>
所述步骤(2)具体步骤为：
(2.1)构建空间分量提取模块，基于通道注意力机制，获得测量光谱波段与全色图像之间的光谱重叠权重向量W；之后按波段求的值并在波段维度上求和，得到高光谱图像/>的空间分量I；
(2.2)构建直方图匹配模块，共有两层卷积，每层卷积核大小为3×3；全色图像利用该模块与空间分量I进行直方图匹配以提高全色图像与替换分量之间的相关性，减少融合过程引入的光谱失真；
(2.3)构建自适应注入增益提取模块；令全色图像与插值高光谱图像在通道维度上进行级联，再经过两次卷积计算；利用通道注意力模块求出级联图像光谱波段的比例系数ρ；对高光谱图像求解高光谱图像的波段比例信息，使其和ρ相乘得到注入增益G；
(2.4)匹配后的全色图像与空间分量I相减再与注入增益G相乘得到G调节的注入空间信息Hres，高光谱图像与Hres相加经过两次卷积计算得到融合图像/>
(2.5)根据网络的输入和参考图像构建目标函数：
其中，fFusion(·)表示本发明提出的成分替换模型驱动的深度空谱融合网络，λ表示样本数，R表示参考图像，θ表示模型参数。
(2.6)训练模型并优化目标函数。将低分辨率高光谱图像和全色图像输入到光谱空间信息深度卷积网络中，利用绝对误差损失函数进行训练，并采用梯度下降法更新网络参数，当损失函数值收敛时或者训练轮次大于预先定义的数值时停止训练，得到训练好的光谱空间信息深度卷积网络，其中轮次的设置是依据估计的训练时间而定的，是固定值。训练网络模型时将学习率被设置为1×10-5。
所述步骤(2.1)中：
通道注意力模块CA1由平均池化层、最大池化层以及两层卷积层组成；其中两层卷积的卷积核的大小均为1×1，且每层输出后输入激活函数ReLU；最后经过激活函数Sigmoid得到输出；
将插值高光谱图像输入到通道注意力模块CA1中得到测量高光谱图像与全色图像光谱波段之间的光谱信息重叠的增益系数：
进而用插值高光谱图像波段的线性组合来表示强度分量I：/>
所述步骤(2.2)具体为：直方图匹配模块由两个卷积层构成，卷积核的大小均为3×3。全色图像输入直方图匹配模块后与插值高光谱图像的强度分量I作差获得融合所需空间信息P-I：
经过直方图匹配模块处理后的P与I的关联度极高，计算二者差值得到低分辨率高光谱图像所缺失的空间信息。
所述步骤(2.3)具体为：
2.3.1)获得插值高光谱图像的各个波段之间的光谱信息比例Ratio：
2.3.2)获取控制注入增益的约束参数ρ：参照图3构建通道注意力模块CA2，由平均池化层、最大池化层以及两层卷积层组成；其中两层卷积的卷积核的大小均为1×1，且每层都以线性函数ReLU为激活函数；最后经过激活函数SoftMax输出。
将插值高光谱图像与全色图像在通道维度上级联：
其中，表示插值高光谱图像的第k个波段的图像，Cat(·)表示在通道维度上进行拼接，N表示/>的波段总数；
之后先将Hcat输入两层卷积层，每层卷积层的卷积核大小均为3×3；得到的结果输入到通道注意力模块CA2中得到约束参数ρ；
ρ＝CA2(Conv(Conv(Hcat)))
2.3.3)计算自适应注入增益G：
G＝ρ·Ratio
所述步骤(2.4)中，与Hres求和再送入卷积核大小为3×3的两个卷积层，得到融合图像
其中Conv(·)表示卷积核大小为3×3的卷积层。
本发明的有益效果：
1.本发明将成分替换方法与神经网络相结合；能够解决深度神经网络的不可解释性以及基于成分替换方法的参数需要根据经验或额外计算手动设置的问题，提高了网络模型的泛化性能。
2.本发明利用学习到的高光谱图像各个波段之间的比例矩阵来获得注入增益，有效地保留原始高光谱图像的光谱信息。
3.本发明构建直方图匹配模块并对全色图像和高光谱图像的空间分量进行直方图匹配，提升了全色图像与高光谱图像之间的空间信息的相关性，进而获得融合所需的最佳空间信息。该操作获得的空间信息注入到原始高光谱图像中可以减少光谱信息的丢失。
4.本发明利用通道注意力机制获得由高光谱图像波段和全色波段共同诱导的调制系数矩阵，能够充分考虑到高光谱波段和全色波段所携带空间信息的比例进而调节注入的空间信息量。
附图说明
图1是本发明的实现流程图。
图2是本发明用于提取高光谱图像强度信息的通道注意力模块。
图3是本发明求解控制空间细节信息注入量的限制参数的通道注意力模块。
图4是本发明中待融合的Pavia数据集的低分辨率高光谱图像与同场景的全色图像；(a)为低空间分辨率的Pavia高光谱图像，大小为40×40，包含102个波段；(b)为(a)同一场景的全色图像，大小为160×160。
图5是用本发明与现有的七种融合方法对Pavia数据集的低分辨率高光谱图像与全色图像融合结果的伪彩色图。其中(a)-(h)按顺序分别为PCA方法融合结果图、GSA方法融合结果图、CNMF方法融合结果图、HyperPNN方法融合结果、UAL方法融合结果图、MIDP方法融合结果图、SFIIN方法融合结果图、本发明融合结果图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
参照图1，本发明是一种成分替换模型引导的高光谱图像深度空间光谱融合方法，包括两个阶段：第一个阶段的图像预处理、第二阶段的训练及测试成分替换模型引导的高光谱图像深度空间光谱融合网络，具体实现如下：
步骤1：图像预处理。
1.1)生成训练图像：
1.1.1)获取高光谱图像数据其中，N为高分辨率高光谱图像X的波段数，m＝w×h为高光谱图像X单个波段像素点总数，w和h表示每个波段的长和宽。
1.1.2)通过空间下采样生成低空间分辨率高光谱训练图像H：
H＝XBS；
其中表示传感器的点扩散函数，/>表示四倍下采样；N表示高分辨率高光谱图像X的波段数，m＝w×h表示高光谱图像X的各波段图像的像素点个数，w、h分别表示高光谱图像X每个波段的长和宽；d表示低分辨率高光谱训练图像H与高分辨率高光谱图像X之间的空间尺度比例，m/d2＝w/d×h/d表示低分辨率高光谱训练图像H的单波段像素点个数，w/d，h/d分别为低分辨率高光谱图像H每个波段的长和宽。
1.1.3)通过光谱采样生成全色图像P：
P＝RX；
其中表示传感器的光谱响应函数，/>
1.1.4)利用双三次插值算法对低分辨率高光谱训练图像H进行上采样，得到与P同尺寸的插值高光谱图像
步骤2：构建成分替换模型引导的高光谱图像深度空间光谱融合网络，并进行训练。
2.1)提取插值高光谱图像的强度分量：
参照图2构建的通道注意力模块CA1由平均池化层、最大池化层以及两层卷积层组成；其中两层卷积的卷积核的大小均为1×1，且每层输出后输入激活函数ReLU；最后经过激活函数Sigmoid得到输出。平均池化操作能够对特征的全局统计信息进行编码，而编码最显著特征部分的最大池化操作可以作为补充。通过这种方式，最大池化和平均池化学习不同的特征信息，以获得更精细的通道关注。
将插值高光谱图像输入到通道注意力模块CA1中得到测量高光谱图像与全色图像光谱波段之间的光谱信息重叠的增益系数：
进而用插值高光谱图像波段的线性组合来表示强度分量I：/>
2.2)构建直方图匹配模块：
高光谱图像的空间分量和全色图像之间的关联程度会影响融合结果的光谱失真程度，因此采用直方图匹配操作来减小失真。
直方图匹配模块由两个卷积层构成，卷积核的大小均为3×3；全色图像输入直方图匹配模块后与插值高光谱图像的强度分量I作差获得融合所需空间信息P-I：
经过直方图匹配模块处理后的P与I的关联度极高，作差得到包含在P中的低分辨率高光谱图像所缺失的空间信息。
2.3)构建注入增益提取模块：
2.3.1)获得插值高光谱图像的各个波段之间的光谱信息比例Ratio：
2.3.2)融合结果的光谱失真程度受到注入增益定义方案的影响，为了实现自适应学习注入增益以减少光谱失真，需要获取控制注入增益的约束参数ρ：参照图3构建通道注意力模块CA2，由平均池化层、最大池化层以及两层卷积层组成；其中两层卷积的卷积核的大小均为1×1，且每层都以线性函数ReLU为激活函数；最后经过激活函数SoftMax输出。
经典的成分替换算法使用简单的全局方法定义注入增益，而本方法提出的自适应方案获得的注入增益可以提供更好的重建性能。
将插值高光谱图像与全色图像在通道维度上级联：
其中，表示插值高光谱图像的第k个波段的图像，Cat(·)表示在通道维度上进行拼接，N表示/>的波段总数。
之后先将Hcat输入两层卷积层，每层卷积层的卷积核大小均为3×3；得到的结果输入到通道注意力模块CA2中得到约束参数ρ：
ρ＝CA2(Conv(Conv(Hcat)))
2.3.3)计算自适应注入增益G：
G＝ρ·Ratio
2.4)为了使融合所需空间细节信息量经过注入增益的调节，利用已得的自适应注入增益G和空间信息P-I计算注入空间信息Hres：Hres＝G·(P-I)
获得由自适应注入增益调节的注入空间信息Hres，这样可以减小融合时产生的光谱失真程度。
2.5)与Hres求和再送入两个卷积核大小为3×3的卷积层，得到融合图像/>
其中Conv(·)表示卷积核大小为3×3的卷积层。
2.6)根据网络的输入和参考图像构建目标函数：
其中，fFusion(·)表示本发明提出的成分替换模型驱动的深度空谱融合网络，λ表示样本数，R表示参考图像，θ表示模型参数。
2.7)训练模型并优化目标函数：
将低分辨率高光谱图像和全色图像输入到光谱空间信息深度卷积网络中，利用绝对误差损失函数进行训练，并采用梯度下降法更新网络参数，当损失函数值收敛时或者训练轮次大于预先定义的数值时停止训练，得到训练好的光谱空间信息深度卷积网络，其中轮次的设置是依据估计的训练时间而定的，是固定值，训练网络模型时将学习率被设置为1×10-5。
2.8)测试模型：
首先利用双三次插值将低空间分辨率高光谱图像H上采样到与全色图像同一尺寸得到之后将同一场景下的全色图像P和/>输入到已经训练好的模型中，最终得到期望的具备高空间、高光谱分辨率的融合图像/>
其中，表示经过插值操作后得到与全色图像同尺寸的图像；fFusion(·)表示本发明提出成分替换模型驱动的深度空谱融合网络。下面结合仿真实验对本发明的技术效果作详细的说明：
一、实验条件：
1.数据集
Pavia数据集是在德国的机载反射光学光谱成像仪(ROSIS)获得的高光谱数据,波段范围为430～860nm，该数据集的波段数为115，在实际应用中去除十三个低质量的波段；真实参考图的尺寸为960×640×102；平铺地将真实参考图划分成尺寸为160×320×102的12份；从中选出139个训练，选用剩余3个测试。再次分割这12份图像；以八步长的窗口平滑切割成重叠的21个尺寸为160×160的图像；最终从获得的图像中选出139个样本用于训练，63个样本用于测试。
该数据集在经过上述处理后，还需要利用Wald协议在已分割数据上制作全色图像以及低分辨率高光谱图像。
2.仿真实验条件
本发明的实验基础环境及配置如表1所示。
表1实验基础环境及配置
二、评估标准与实验内容：
1.评估标准
除了对主观结果进行定性观察外，还应进行定量评价，以衡量图像融合模型的性能。在本文中，本实验使用PSNR(峰值信噪比)、CC(相关系数)、SAM(光谱角映射)、RMSE(均方根误差)、ERGAS(全局相对光谱损失)来量化融合图像质量。PSNR值越大表示融合的图像质量越好；CC值越大表明融合图像的质量越好；SAM值越小表示融合图像的光谱信息保真度越高；RMSE值越小说明融合图像的光谱信息保持越好；ERGAS值越小说明融合图像的空间和光谱信息保持越好；
2.实验内容
用本发明和现有的七种融合方法对低分辨率高光谱图像与同场景全色图像进行融合，结果如图5所示。
可以发现，基于模型的方法，如PCA、GSA、CNMF存在严重的边缘模糊问题(如图5(a)，(b)所示)。HyperPNN、UAL、MIDP、SFIIN这些基于深度学习的模型比传统的基于模型的方法表现更优。虽然融合结果中的空间畸变问题得到大大降低，但是颜色畸变问题仍然存在，如图5(d)和(g)存在光谱失真问题。本发明的融合结果中的地物形状更清晰、边缘更锐利，在空间细节和光谱保真度上都最接近参考图像。
本发明和现有的七种融合方法对Pavia低分辨率高光谱图像与同场景全色图像进行融合，所得结果的性能指标如表2所示：
表2.本发明和现有的七种方法对Pavia高光谱图像融合结果性能指标
从表2可以可看出，本发明算法的CC值最大，说明本发明融合后的高光谱图像空间细节最丰富；本发明的光谱角映射SAM最小，说明本发明对光谱信息的损失最少，融合后高光谱图像的光谱信息最佳；本发明的均方根误差RMSE和全局相对误差ERGAS最小，说明无论是从空间还是光谱的全局尺度进行评估，本发明得到的融合结果具有最好的空谱信息。
综上，本发明是由成分替换模型驱动的高光谱图像深度空谱融合方法，将成分替换算法的数学模型编码到深度神经网络中，获得了深度可解释的融合模型，在降低高光谱图像光谱信息损失的基础上增强了高光谱图像的空间细节，得到的高空间分辨率、高光谱分辨率的融合图像能够更好地应用于其他视觉领域中。此外，模型中所有的参数都可以端到端自动学习。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。
Claims (10)
1.成分替换模型引导的高光谱图像深度空间光谱融合方法，其特征在于，包括以下步骤；
(1)获得公开的高分辨率高光谱数据X，对高分辨率高光谱数据X进行预处理以及数据集制作，得到全色图像训练集P和低空间分辨率的高光谱图像训练数据集H，对得到的H进行上采样得到与P同尺寸的高光谱图像
(2)构建成分替换算法驱动的光谱空间信息融合卷积网络，并进行训练；
(3)为了验证训练后的模型的性能表现和泛化能力，将同场景下获得的待融合的低空间分辨率的高光谱图像和全色图像输入到训练好的网络模型中得到具有高光谱、高空间分辨率的融合图像。
2.根据权利要求1所述的成分替换模型引导的高光谱图像深度空间光谱融合方法，其特征在于，所述步骤(1)具体为：
(1.1)获得开放下载的高分辨率高光谱数据X，利用Wald协议在真实参考图像下采样生成用于模型训练的初始低空间分辨率的高光谱图像Ht和初始全色图像Pt；
(1.2)令高分辨率高光谱图像X作为参考图像，在空间维度上对初始全色图像Pt裁剪得到全色图像训练数据集P，对初始低空间分辨率的高光谱图像Ht进行裁剪，得到高光谱图像训练数据集H；
(1.3)利用双三次插值算法对训练图像H进行上采样，得到与P同尺寸的高光谱图像
3.根据权利要求2所述的成分替换模型引导的高光谱图像深度空间光谱融合方法，其特征在于，所述步骤(1.1)中：高光谱图像数据其中，N为高分辨率高光谱图像X的波段数，m＝w×h为高光谱图像X单个波段像素点总数，w和h表示每个波段的长和宽。
4.根据权利要求2所述的成分替换模型引导的高光谱图像深度空间光谱融合方法，其特征在于，所述步骤(1.2)中，H＝XBS；其中表示传感器的点扩散函数，/>表示四倍下采样；/>N表示高分辨率高光谱图像X的波段数，m＝w×h表示高光谱图像X的各波段图像的像素点个数，w、h分别表示高光谱图像X每个波段的长和宽；d表示低分辨率高光谱训练图像H与高分辨率高光谱图像X之间的空间尺度比例，m/d2＝w/d×h/d表示低分辨率高光谱训练图像H的单波段像素点个数，w/d，h/d分别为低分辨率高光谱图像H每个波段的长和宽。
5.根据权利要求2所述的成分替换模型引导的高光谱图像深度空间光谱融合方法，其特征在于，所述全色图像训练数据集P为：
P＝RX；
其中，表示传感器的光谱响应函数，/>
6.根据权利要求1所述的成分替换模型引导的高光谱图像深度空间光谱融合方法，其特征在于，所述步骤(2)具体步骤为：
(2.1)构建空间分量提取模块，基于通道注意力机制，获得测量光谱波段与全色图像之间的光谱重叠权重向量W；之后按波段求的值并在波段维度上求和，得到高光谱图像的空间分量I；
(2.2)构建直方图匹配模块，共有两层卷积，每层卷积核大小为3×3；全色图像利用该模块与空间分量I进行直方图匹配以提高全色图像与替换分量之间的相关性，减少融合过程引入的光谱失真；
(2.3)构建自适应注入增益提取模块；令全色图像与插值高光谱图像在通道维度上进行级联，再经过两次卷积计算；利用通道注意力模块求出级联图像光谱波段的比例系数ρ；对高光谱图像求解高光谱图像的波段比例信息，使其和ρ相乘得到注入增益G；
(2.4)匹配后的全色图像与空间分量I相减再与注入增益G相乘得到G调节的注入空间信息Hres，高光谱图像与Hres相加经过两次卷积计算得到融合图像/>
(2.5)根据网络的输入和参考图像构建目标函数：
其中，fFusion(·)表示本发明提出的成分替换模型驱动的深度空谱融合网络，λ表示样本数，R表示参考图像，θ表示模型参数。
(2.6)训练模型并优化目标函数。将低分辨率高光谱图像和全色图像输入到光谱空间信息深度卷积网络中，利用绝对误差损失函数进行训练，并采用梯度下降法更新网络参数，当损失函数值收敛时或者训练轮次大于预先定义的数值时停止训练，得到训练好的光谱空间信息深度卷积网络，其中轮次的设置是依据估计的训练时间而定的，是固定值；训练网络模型时将学习率被设置为1×10-5。
7.根据权利要求6所述的成分替换模型引导的高光谱图像深度空间光谱融合方法，其特征在于，所述步骤(2.1)中：
通道注意力模块CA1由平均池化层、最大池化层以及两层卷积层组成；且每层输出后输入激活函数ReLU；最后经过激活函数Sigmoid得到输出；
将插值高光谱图像输入到通道注意力模块CA1中得到测量高光谱图像与全色图像光谱波段之间的光谱信息重叠的增益系数：
进而用插值高光谱图像波段的线性组合来表示强度分量I：/>
8.根据权利要求6所述的成分替换模型引导的高光谱图像深度空间光谱融合方法，其特征在于，所述步骤(2.2)具体为：直方图匹配模块由两个卷积层构成；全色图像输入直方图匹配模块后与插值高光谱图像的强度分量I作差获得融合所需空间信息P-I：
经过直方图匹配模块处理后的P与I的关联度极高，计算二者差值得到低分辨率高光谱图像所缺失的空间信息。
9.根据权利要求6所述的成分替换模型引导的高光谱图像深度空间光谱融合方法，其特征在于，所述步骤(2.3)具体为：
2.3.1)获得插值高光谱图像的各个波段之间的光谱信息比例Ratio：
2.3.2)获取控制注入增益的约束参数ρ：构建通道注意力模块CA2，由平均池化层、最大池化层以及两层卷积层组成；两层卷积层中每层都以线性函数ReLU为激活函数；最后经过激活函数SoftMax输出；
将插值高光谱图像与全色图像在通道维度上级联：
其中，表示插值高光谱图像的第k个波段的图像，Cat(·)表示在通道维度上进行拼接，N表示/>的波段总数；
之后先将Hcat输入两层卷积层，得到的结果输入到通道注意力模块CA2中得到约束参数ρ：
ρ＝CA2(Conv(Conv(Hcat)))
2.3.3)计算自适应注入增益G：
G＝ρ·Ratio。
10.根据权利要求6所述的成分替换模型引导的高光谱图像深度空间光谱融合方法，其特征在于，所述步骤(2.4)中，与Hres求和再送入两个卷积层，得到融合图像/>
其中，Conv(·)表示卷积层。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310846494.4A CN116883799A (zh) | 2023-07-11 | 2023-07-11 | 成分替换模型引导的高光谱图像深度空间光谱融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310846494.4A CN116883799A (zh) | 2023-07-11 | 2023-07-11 | 成分替换模型引导的高光谱图像深度空间光谱融合方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116883799A true CN116883799A (zh) | 2023-10-13 |
Family
ID=88261580
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310846494.4A Pending CN116883799A (zh) | 2023-07-11 | 2023-07-11 | 成分替换模型引导的高光谱图像深度空间光谱融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116883799A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117726916A (zh) * | 2024-02-18 | 2024-03-19 | 电子科技大学 | 一种图像分辨率融合增强的隐式融合方法 |
-
2023
- 2023-07-11 CN CN202310846494.4A patent/CN116883799A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117726916A (zh) * | 2024-02-18 | 2024-03-19 | 电子科技大学 | 一种图像分辨率融合增强的隐式融合方法 |
| CN117726916B (zh) * | 2024-02-18 | 2024-04-19 | 电子科技大学 | 一种图像分辨率融合增强的隐式融合方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110533620B (zh) | 基于aae提取空间特征的高光谱和全色图像融合方法 | |
| CN108830796B (zh) | 基于谱空结合和梯度域损失的高光谱图像超分辨重构方法 | |
| CN110415199B (zh) | 基于残差学习的多光谱遥感图像融合方法及装置 | |
| CN107123089B (zh) | 基于深度卷积网络的遥感图像超分辨重建方法及系统 | |
| CN109102469B (zh) | 一种基于卷积神经网络的遥感图像全色锐化方法 | |
| CN112734646B (zh) | 一种基于特征通道划分的图像超分辨率重建方法 | |
| CN108090872B (zh) | 基于梯度提取的单帧多光谱影像超分辨率重建方法及系统 | |
| CN109859110A (zh) | 基于光谱维控制卷积神经网络的高光谱图像全色锐化方法 | |
| CN111738954B (zh) | 一种基于双层空洞U-Net模型的单帧湍流退化图像去畸变方法 | |
| CN113673590A (zh) | 基于多尺度沙漏密集连接网络的去雨方法、系统和介质 | |
| CN110544212A (zh) | 基于层级特征融合的卷积神经网络高光谱图像锐化方法 | |
| CN116883799A (zh) | 成分替换模型引导的高光谱图像深度空间光谱融合方法 | |
| CN107958450A (zh) | 基于自适应高斯滤波的全色多光谱影像融合方法及系统 | |
| CN115984110A (zh) | 一种基于Swin-Transformer的二阶光谱注意力高光谱图像超分辨率方法 | |
| CN114266957A (zh) | 一种基于多降质方式数据增广的高光谱图像超分辨率复原方法 | |
| CN115760814A (zh) | 一种基于双耦合深度神经网络的遥感图像融合方法及系统 | |
| CN115512192A (zh) | 基于跨尺度的octave卷积网络的多光谱和高光谱图像融合方法 | |
| CN113744134B (zh) | 基于光谱解混卷积神经网络的高光谱图像超分辨方法 | |
| CN114972803A (zh) | 一种基于联合优化的快照式光谱成像方法和系统 | |
| CN113902646A (zh) | 基于深浅层特征加权融合网络的遥感影像泛锐化方法 | |
| CN115861083B (zh) | 一种多尺度和全局特征的高光谱与多光谱遥感融合方法 | |
| CN117058009A (zh) | 一种基于条件扩散模型的全色锐化方法 | |
| CN117151983A (zh) | 一种基于小波启发和高频增强的图像全色锐化方法 | |
| CN111986079A (zh) | 基于生成对抗网络路面裂缝图像超分辨率重建方法及装置 | |
| CN115147311A (zh) | 基于HSV与AM-RetinexNet图像增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |