CN115147321A - 一种基于可解译神经网络的多光谱图像融合方法 - Google Patents
一种基于可解译神经网络的多光谱图像融合方法 Download PDFInfo
- Publication number
- CN115147321A CN115147321A CN202210834204.XA CN202210834204A CN115147321A CN 115147321 A CN115147321 A CN 115147321A CN 202210834204 A CN202210834204 A CN 202210834204A CN 115147321 A CN115147321 A CN 115147321A
- Authority
- CN
- China
- Prior art keywords
- image
- multispectral
- fusion
- panchromatic
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 15
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 10
- 230000004927 fusion Effects 0.000 claims abstract description 48
- 238000013135 deep learning Methods 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 15
- 238000013507 mapping Methods 0.000 claims abstract description 14
- 238000005457 optimization Methods 0.000 claims abstract description 10
- 238000011478 gradient descent method Methods 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 37
- 230000003595 spectral effect Effects 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000001228 spectrum Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 2
- 239000002131 composite material Substances 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 238000009415 formwork Methods 0.000 claims description 2
- 230000004044 response Effects 0.000 claims description 2
- 238000004088 simulation Methods 0.000 description 5
- 238000000354 decomposition reaction Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000004451 qualitative analysis Methods 0.000 description 2
- 238000011158 quantitative evaluation Methods 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于可解译神经网络的多光谱图像融合方法，首先通过多光谱传感器获得多光谱图像，通过多光谱传感器获得同一区域的全色图像，然后构建数据保真项；通过使用深度网络建立融合图像与全色图像的残差关系，作为先验约束项；通过数据保真项和深度学习先验项，构建融合模型；基于融合模型，通过近端梯度下降法，迭代求解最优化模型；将迭代求解步骤映射为深度网络架构，通过训练数据集进行训练生成所需的多光谱全色图像深度网络模型；基于生成的多光谱全色图像深度网络模型，对于给定输入的多光谱和全色图像进行融合，生成最终的融合图像。本发明通过数据驱动生成最优参数设置，从而提升融合性能。
Description
技术领域
本发明属于遥感图像融合领域，涉及一种基于可解译神经网络的多光谱图像融合方法。适用于通过图像融合来提升多光谱图像空间分辨率的应用场景。
背景技术
受限于传感器光学系统设计的局限性，遥感图像空间分辨率和光谱分辨率之间存在相互约束的关系。多光谱图像拥有较高的光谱分辨率和较低的空间分辨率，而全色图像空间分辨率较高，但光谱信息单一。将同一位置的两种图像进行融合操作，可以获得高光谱分辨率、高空间分辨率的图像。继而可以应用于灾害监测、军事侦查、土地测量、农业分析等领域，完成更精密的需求，同时提升检测精度。
目前代表性的多光谱图像融合方法主要包括：成分替换方法(Componentsubstitution，CS)，多分辨率分析方法(Multi-resolution analysis，MRA)、变分模型优化方法(Variational model optimization，VO)以及深度学习方法(Deep learning，DL)。CS方法首先通过矩阵分解将多光谱图像分离出空间和光谱信息，进一步将全色与多光谱的空间信息叠加后进行相应逆变换得到融合图像。虽然CS方法可以有效增强空间细节，但是往往存在较强光谱失真。MRA方法则是通过对多光谱图像和全色图像进行多尺度分解，在不同尺度下融合相应的分解系数以得到融合图像。相对于CS方法，MRA方法可以获得更佳的光谱信息，但是其空间细节清晰度相对较差。VO方法首先建立融合图像与源图像之间的函数关系，然后结合不同先验约束构建融合模型，从而将图像融合问题转化为数学优化问题，并通过迭代优化以获得最优的融合结果。相对于CS方法和MRA方法，VO方法可以获得更好的高分辨率空间与光谱信息。但该方法往往通过线性特征(例如梯度)构建先验模型，难以描述自然场景复杂非线性关系，导致成像模型准确性依然有限；且模型参数需要手动调整，往往耗时且难寻最优。得益于深度学习方法强大的非线性特征表征能力，DL方法通过深度学习进行多光谱图像融合逐渐成为了近年来的研究热点。同样是求解最优问题，DL方法引入了自适应学习机制与非线性函数，通过神经网络迭代完成参数优化过程，避免了手动调整参数的盲目性，也降低了复杂性。但是，传统DL方法往往将融合过程当作黑盒，忽略了真实物理成像意义，融合性能依然有待突破。
发明内容
本发明针对现有遥感图像融合方法的不足，提出了一种基于可解译神经网络的多光谱图像融合方法。该方法包括以下步骤：
步骤1：通过多光谱传感器获得多光谱图像，通过多光谱传感器获得同一区域的全色图像；
步骤2：通过步骤1所述的多光谱图像，构建数据保真项；
步骤3：通过使用深度网络建立融合图像与全色图像的残差关系，作为先验约束项；
步骤4：通过步骤2所述的数据保真项和步骤3所述的深度学习先验项，构建融合模型；
步骤5：基于步骤4所述的融合模型，通过近端梯度下降法，迭代求解最优化模型；
步骤6：将步骤5中的迭代求解步骤映射为深度网络架构，通过训练数据集进行训练生成所需的多光谱全色图像深度网络模型；
步骤7：基于步骤6生成的多光谱全色图像深度网络模型，对于给定输入的多光谱和全色图像进行融合，生成最终的融合图像。
作为优选，步骤1所述多光谱图像记为
全色图像记为
其中m和n表示多光谱图像的空间分辨率尺寸，其空间分辨率为全色图像的1/c，有b个波段；将高分辨率的多光谱图像
和全色图像
分别经过MTF滤波和空间下采样，生成低分辨率的多光谱图像M和全色图像P用于后续深度网络模型训练。
作为优选，步骤2所述数据保真项由多光谱图像保真项构成；融合后的图像记为
表示图像有b个波段且分辨率尺寸为m×n；
多光谱图像M可以视为融合图像F经过模糊和下采样的结果，即：
M＝ΨF+N
其中Ψ表示模糊和空间下采样运算符，N表示均值为0的高斯噪声。构建的数据保真项为
其中
表示Frobenius范数。
作为优选，步骤3所述的约束项为融合图像F与全色图像P的残差关系。但由于自然场景特征规律往往较为复杂，难以用仅仅适宜于表征稀疏特性的L1范数去准确描述。为了解决上述问题，将其残差关系通过数据驱动由深度学习函数φ进行描述，该深度学习函数由深度网络训练生成，此时，所构建的先验约束项为
其中Rp为光谱映射矩阵，用于描述多光谱不同光谱波段与全色图像P的对应关系。
代表将全色图像P沿着光谱方向复制b份所得。
作为优选，通过步骤2所述数据保真项和步骤3所述深度学习约束项，构建步骤4所述融合模型如下：
其中λ为平衡数据保真项和先验约束项的参数。
作为优选，步骤5的具体实现包含以下子步骤：
步骤5.1：引入中间变量
将近端梯度下降法迭代转化为两个迭代公式：
Zt+1＝Ft-μΨT(ΨFt-M) (1)
其中，t表示迭代次数，μ表示梯度步长参数，
ΨT表示Ψ的转置。
步骤5.2：根据公式(1)求解第t+1次迭代值Zt+1。
步骤5.3：首先近似可以得到
α为一待求解参数。因此，公式(2)也可以简化为
其中
令
最终公式(2)可以等效为：
步骤5.4：求解出W子问题。该子问题可以直接采用结合Transformer和CNN架构的网络模块SwinResUnet[1]进行求解。该网络要包含3组不同维度下的编码器(E1，E2，E3)和解码器(D1，D2，D3)，中间嵌入特征提取单元，同时，对应的编码器(Ei)和解码器(Di)之间建立残差短连接结构，增强不同尺度下的特征传递效果。
[1]Zhang K，Li Y，Liang J，Cao J，Zhang Y，Tang H，Timofte R and GoolL.2022.Practical Blind Denoising via Swin-Conv-UNet and Data Synthesis[EB/OL].
步骤5.5：根据得到的W，近似求解F：
其中
步骤5.6：反复迭代，直到两次迭代差值足够小，满足终止条件；或迭代次数达到最大值，输出F即为融合图像。
步骤5.7：将上述步骤映射为深度网络架构，将每一次模型迭代过程嵌入在对应的深度网络模块中，图1给出了单次迭代优化的网络结构。其中，迭代公式(1)的求解为闭环解析形式，无需神经网络参数学习；迭代公式(2)的求解转化为中间变量W的求解问题，并使用结合Transformer和CNN架构的网络模块作为求解器，基于深度学习的强映射关系学习能力得到准确的求解结果，最后设计卷积层单元表示步骤5.5中的光谱响应参数矩阵
等，反解出该次迭代下的优化后的融合结果。
步骤5.8：结合高分辨率的多光谱图像
采用L1作为损失函数对网络进行约束并驱动参数优化，即
L1范数能够在保证融合结果与高分辨率的多光谱图像光谱一致性的情况下，同时较好地实现两者图像之间的结构稀疏性。本发明中采用L1端到端地训练可解译融合网络，一方面学习数据之间的准确映射关系，提升融合模型质量；另一方面模型优化中的物理机制同样驱动网络参数优化，降低参数规模且提升模型泛化性。
与现有技术相比，本发明的优点和有益效果：
本发明提出了一种新的基于深度学习网络的遥感图像融合方法，(1)采用了一种非线性深度学习先验构建遥感图像融合模型，有效提升了融合模型的准确性；(2)进一步将模型求解过程映射为可解译深度网络架构，通过数据驱动生成最优参数设置，从而提升融合性能。
附图说明
图1：是使用神经网络完成迭代的流程图。
图2：是SwinResUnet网络结构图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明做进一步的详细描述，应当理解的是，此处所描述的实施例仅用于解释本发明，并不用于限定本发明。
本发明提供一种基于可解译神经网络的多光谱图像融合方法，具体实施步骤包括：
步骤1：获取Gaofen-2遥感卫星在同一地点的多光谱、全色图像。
步骤1该遥感卫星能够提供空间分辨率分别为0.8m的全色图像和3.2m的多光谱图像，其中光谱波段包含红色(600-670nm)、绿色(510-590nm)、蓝色(440-510nm)和近红外(760-910nm)四个波段。多光谱图像记为
全色图像记为
将高分辨率的多光谱图像
和全色图像
分别经过MTF滤波和空间下采样，生成低分辨率的多光谱图像
和全色图像
用于后续深度网络模型训练。
步骤2：通过步骤1所述的多光谱图像，构建数据保真项。
步骤2所述数据保真项由多光谱图像保真项构成；融合后的图像记为
表示图像有4个波段且分辨率尺寸为m×n＝300×300；
多光谱图像M可以视为融合图像F经过模糊和下采样的结果，即：
M＝ΨF+N
其中Ψ表示模糊和空间下采样运算符，N表示均值为0的高斯噪声。构建的数据保真项为
其中
表示Frobenius范数。
步骤3：通过使用可解译神经网络建立融合图像与全色图像的残差关系，作为先验约束项。
步骤3所述的约束项为融合图像F与全色图像P的残差关系。采用数据驱动的深度学习函数φ描述该残差关系，构建先验约束项为
其中Rp为光谱映射矩阵，用于描述多光谱不同光谱波段与全色图像P的对应关系。
代表将全色图像P沿着光谱方向复制4份所得。
步骤4：通过步骤2所述的数据保真项和步骤3所述的深度学习先验项，构建融合模型。
步骤4所述融合模型如下：
其中λ为平衡数据保真项和先验约束项的参数。
步骤5：基于步骤4所述的融合模型，通过近端梯度下降法，迭代求解最优化模型。
步骤5的具体实现包含以下子步骤：
步骤5.1：引入中间变量
将近端梯度下降法迭代转化为两个迭代公式：
Zt+1＝Ft-μΨT(ΨFt-M) (1)
其中，t表示迭代次数，μ表示梯度步长参数，
ΨT表示Ψ的转置。
步骤5.2：带入数据求解第t+1次Z值。
步骤5.3：通过简化可以得到：
因此公式(2)也可以简化为
其中
令
最终公式(2)可以等效为：
步骤5.4：求解出W子问题。使用深度学习神经网络进行求解。采用结合Transformer和CNN架构的网络模块SwinResUnet进行实现。
步骤5.6：根据得到的W，近似求解F：
其中，
步骤5.7：反复迭代，直到两次迭代差值足够小，满足终止条件；或迭代次数达到最大值。输出F即为融合图像。
步骤5.8：所述神经网络训练样本来自Gaofen-2遥感卫星，选用16000组数据进行深度学习训练，生成所需的多光谱融合深度模型。
步骤6，基于所生成的多光谱融合深度模型，对于给定输入的多光谱和全色图像进行融合，生成最终的融合图像，取其他区域中(不同于训练数据区域)28张图像作为测试数据。在定量评估方面，通过28张测试图像进行统计分析，多种评价指标的平均值如表1所示。
表1基于Gaofen-2仿真数据集28张测试图像的定量评估
本发明从仿真实验方面验证其优越性能。
仿真实验主要基于Wald仿真协议：将高分辨率的多光谱图像和全色图像分别经过MTF滤波和空间下采样，生成低分辨率的多光谱图像和全色图像用于多光谱图像融合实验，将该高分辨率的多光谱图像作为真值图像用于对融合结果分别进行定性和定量分析。MTF滤波器与理想低通滤波器相似，在Nyquist频率处具有截止幅值。对比真值图像与融合图像的差异，可以首先从主观视觉方面对不同方法的特点进行定性分析。进一步地，可以采用全参考图像质量评价指标对算法的有效性进行定量评估，具体评价指标包括：全局相对无量纲误差ERGAS(Relative Dimensionless Global Error in Synthesis)，光谱角映射SAM(Spectral Angle Mapping)，全局综合评分Q2n，结构相似度SSIM(Structural SimilarityIndex)，均方根误差RMSE(Root Mean Square Error)，相对平均光谱误差RASE(RelativeAverage Spectral Error)，通用图像质量指数UIQI(Universal Image Quality Index)和峰值信噪比PSNR(Peak Signal-to-Noise Ratio)。ERGAS和Q2n是多光谱图像融合综合性能评价指标。SAM通过计算融合图像与真值图像对应的两个矢量间绝对角度来测量融合图像的光谱失真情况。SSIM用于衡量图像之间的结构信息相似程度。RASE用于评估融合图像的全局光谱质量。PSNR和RMSE主要从像素差异角度衡量融合结果与真实结果之间的偏差。UIQI用于评价融合图像与参考图像的结构失真程度。
仿真实验主要采用了Gaofen-2遥感卫星提供的数据集进行了多光谱图像融合实验验证。应当理解的是，本说明未详细阐述的部分均属于现有技术。
应当理解的是，上述针对实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。
Claims (8)
1.一种基于可解译神经网络的多光谱图像融合方法，其特征在于，包括如下步骤：
步骤1，通过多光谱传感器获得多光谱图像，通过多光谱传感器获得同一区域的全色图像；
步骤2，通过步骤1所述的多光谱图像，构建数据保真项；
步骤3，通过使用深度网络建立融合图像与全色图像的残差关系，作为先验约束项；
步骤4，通过步骤2所述的数据保真项和步骤3所述的深度学习先验项，构建融合模型；
步骤5，基于步骤4所述的融合模型，通过近端梯度下降法，迭代求解最优化模型；
步骤6，将步骤5中的迭代求解步骤映射为深度网络架构，通过训练数据集进行训练生成所需的多光谱全色图像深度网络模型；
步骤7，基于步骤6生成的多光谱全色图像深度网络模型，对于给定输入的多光谱和全色图像进行融合，生成最终的融合图像。
2.如权利要求1所述的一种基于可解译神经网络的多光谱图像融合方法，其特征在于：步骤1所述多光谱图像记为
全色图像记为
其中m和n表示多光谱图像的空间分辨率尺寸，其空间分辨率为全色图像的1/c，有b个波段；将高分辨率的多光谱图像
和全色图像
分别经过MTF滤波和空间下采样，生成低分辨率的多光谱图像M和全色图像P用于后续深度网络模型训练。
3.如权利要求1所述的一种基于可解译神经网络的多光谱图像融合方法，其特征在于：步骤2所述数据保真项由多光谱图像保真项构成；融合后的图像记为
表示图像有b个波段且分辨率尺寸为m×n；
多光谱图像M可以视为融合图像F经过模糊和下采样的结果，即：
M＝ΨF+N
其中Ψ表示模糊和空间下采样运算符，N表示均值为0的高斯噪声，构建的数据保真项为
其中
表示Frobenius范数。
4.如权利要求1所述的一种基于可解译神经网络的多光谱图像融合方法，其特征在于：步骤3所述的约束项为融合图像F与全色图像P的残差关系，但由于自然场景特征规律往往较为复杂，难以用仅仅适宜于表征稀疏特性的L1范数去准确描述，为了解决上述问题，将其残差关系通过数据驱动由深度学习函数φ进行描述，该深度学习函数由深度网络训练生成，此时，所构建的先验约束项为：
其中，融合后的图像记为
表示图像有b个波段且分辨率尺寸为m×n；Rp为光谱映射矩阵，用于描述多光谱不同光谱波段与全色图像P的对应关系，
代表将全色图像P沿着光谱方向复制b份所得。
5.如权利要求1所述的一种基于可解译神经网络的多光谱图像融合方法，其特征在于：通过步骤2所述数据保真项和步骤3所述深度学习约束项，构建步骤4所述融合模型如下：
其中，融合后的图像记为
表示图像有b个波段且分辨率尺寸为m×n；多光谱图像M可以视为融合图像F经过模糊和下采样的结果，Ψ表示模糊和空间下采样运算符，Rp为光谱映射矩阵，用于描述多光谱不同光谱波段与全色图像P的对应关系，
代表将全色图像P沿着光谱方向复制b份所得；λ为平衡数据保真项和先验约束项的参数。
6.如权利要求5所述的一种基于可解译神经网络的多光谱图像融合方法，其特征在于：步骤5的具体实现包含以下子步骤：
步骤5.1，引入中间变量
将近端梯度下降法迭代转化为两个迭代公式：
Zt+1＝Ft-μΨT(ΨFt-M) (1)
其中，t表示迭代次数，μ表示梯度步长参数，
ΨT表示Ψ的转置；
步骤5.2，根据公式(1)求解第t+1次迭代值Zt+1；
步骤5.3，首先近似可以得到
α为一待求解参数；因此，公式(2)也可以简化为
其中
令
最终公式(2)可以等效为：
步骤5.4：求解出W子问题，该子问题可以直接采用结合Transformer和CNN架构的网络模块SwinResUnet进行求解；
步骤5.5，根据得到的W，近似求解F：
其中
步骤5.6，反复迭代，直到两次迭代差值足够小，满足终止条件；或迭代次数达到最大值，输出F即为融合图像；
步骤5.7，将上述步骤映射为深度网络架构，将每一次模型迭代过程嵌入在对应的深度网络模块中，其中，迭代公式(1)的求解为闭环解析形式，无需神经网络参数学习；迭代公式(2)的求解转化为中间变量W的求解问题，并使用结合Transformer和CNN架构的网络模块作为求解器，基于深度学习的强映射关系学习能力得到准确的求解结果，最后设计卷积层单元表示步骤5.5中的光谱响应参数矩阵
反解出该次迭代下的优化后的融合结果；
步骤5.8，结合高分辨率的多光谱图像
采用L1作为损失函数对网络进行约束并驱动参数优化，即
L1范数能够在保证融合结果与高分辨率的多光谱图像光谱一致性的情况下，同时较好地实现两者图像之间的结构稀疏性。
7.如权利要求6所述的一种基于可解译神经网络的多光谱图像融合方法，其特征在于：所述SwinResUnet包含3组不同维度下的编码器(E1，E2，E3)和解码器(D1，D2，D3)，中间嵌入特征提取单元，同时，对应的编码器(Ei)和解码器(Di)之间建立残差短连接结构，增强不同尺度下的特征传递效果。
8.如权利要求1所述的一种基于可解译神经网络的多光谱图像融合方法，其特征在于：还包括步骤8，采用全局相对无量纲误差ERGAS(Relative Dimensionless Global Errorin Synthesis)，光谱角映射SAM(Spectral Angle Mapping)，全局综合评分Q2n，结构相似度SSIM(Structural Similarity Index)，均方根误差RMSE(Root Mean Square Error)，相对平均光谱误差RASE(Relative Average Spectral Error)，通用图像质量指数UIQI(Universal Image Quality Index)和峰值信噪比PSNR(Peak Signal-to-Noise Ratio)评价融合图像的融合效果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210834204.XA CN115147321A (zh) | 2022-07-14 | 2022-07-14 | 一种基于可解译神经网络的多光谱图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210834204.XA CN115147321A (zh) | 2022-07-14 | 2022-07-14 | 一种基于可解译神经网络的多光谱图像融合方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115147321A true CN115147321A (zh) | 2022-10-04 |
Family
ID=83412931
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210834204.XA Pending CN115147321A (zh) | 2022-07-14 | 2022-07-14 | 一种基于可解译神经网络的多光谱图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115147321A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115760670A (zh) * | 2023-01-06 | 2023-03-07 | 之江实验室 | 基于网络隐式先验的无监督高光谱融合方法及装置 |
| CN117726916A (zh) * | 2024-02-18 | 2024-03-19 | 电子科技大学 | 一种图像分辨率融合增强的隐式融合方法 |
-
2022
- 2022-07-14 CN CN202210834204.XA patent/CN115147321A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115760670A (zh) * | 2023-01-06 | 2023-03-07 | 之江实验室 | 基于网络隐式先验的无监督高光谱融合方法及装置 |
| CN115760670B (zh) * | 2023-01-06 | 2023-05-23 | 之江实验室 | 基于网络隐式先验的无监督高光谱融合方法及装置 |
| CN117726916A (zh) * | 2024-02-18 | 2024-03-19 | 电子科技大学 | 一种图像分辨率融合增强的隐式融合方法 |
| CN117726916B (zh) * | 2024-02-18 | 2024-04-19 | 电子科技大学 | 一种图像分辨率融合增强的隐式融合方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109741256B (zh) | 基于稀疏表示和深度学习的图像超分辨率重建方法 | |
| Deng et al. | Machine learning in pansharpening: A benchmark, from shallow to deep networks | |
| CN109883548B (zh) | 基于优化启发的神经网络的光谱成像系统的编码优化方法 | |
| CN110415199B (zh) | 基于残差学习的多光谱遥感图像融合方法及装置 | |
| CN115147321A (zh) | 一种基于可解译神经网络的多光谱图像融合方法 | |
| CN109697697B (zh) | 基于优化启发的神经网络的光谱成像系统的重构方法 | |
| CN114119444B (zh) | 一种基于深度神经网络的多源遥感图像融合方法 | |
| CN109636769A (zh) | 基于双路密集残差网络的高光谱和多光谱图像融合方法 | |
| CN104867124B (zh) | 基于对偶稀疏非负矩阵分解的多光谱与全色图像融合方法 | |
| CN109886898B (zh) | 基于优化启发的神经网络的光谱成像系统的成像方法 | |
| Lohit et al. | Unrolled projected gradient descent for multi-spectral image fusion | |
| WO2021135074A1 (zh) | 一种快照型解色散模糊的高光谱成像方法 | |
| CN113327218B (zh) | 一种基于级联网络的高光谱与全色图像融合方法 | |
| Yang et al. | Remote sensing image fusion based on adaptively weighted joint detail injection | |
| CN115861083B (zh) | 一种多尺度和全局特征的高光谱与多光谱遥感融合方法 | |
| CN117274760A (zh) | 一种基于多尺度混合变换器的红外与可见光图像融合方法 | |
| CN111696043A (zh) | 一种三维fsrcnn的高光谱图像超分辨率重建算法 | |
| CN112163998A (zh) | 一种匹配自然降质条件的单图像超分辨率分析方法 | |
| CN114529769B (zh) | 一种面向大场景遥感图像分类的可分离多模联合表示方法 | |
| CN114972803B (zh) | 一种基于联合优化的快照式光谱成像方法和系统 | |
| CN113421216A (zh) | 一种高光谱融合计算成像方法及系统 | |
| CN109859153B (zh) | 一种基于自适应光谱-空间梯度稀疏正则化的多光谱图像融合方法 | |
| CN115984155A (zh) | 一种基于光谱解混的高光谱、多光谱和全色图像融合方法 | |
| CN114972022A (zh) | 一种基于非对齐rgb图像的融合高光谱超分辨率方法和系统 | |
| CN113689370A (zh) | 基于深度卷积神经网络的遥感图像融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |