CN115471437B - 一种基于卷积神经网络的影像融合方法以及遥感影像融合方法 - Google Patents
一种基于卷积神经网络的影像融合方法以及遥感影像融合方法 Download PDFInfo
- Publication number
- CN115471437B CN115471437B CN202211416882.0A CN202211416882A CN115471437B CN 115471437 B CN115471437 B CN 115471437B CN 202211416882 A CN202211416882 A CN 202211416882A CN 115471437 B CN115471437 B CN 115471437B
- Authority
- CN
- China
- Prior art keywords
- image
- spatial
- feature extraction
- hyperspectral
- multispectral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 23
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 11
- 238000000605 extraction Methods 0.000 claims abstract description 65
- 230000004927 fusion Effects 0.000 claims abstract description 51
- 230000003595 spectral effect Effects 0.000 claims abstract description 50
- 238000012549 training Methods 0.000 claims description 32
- 238000000034 method Methods 0.000 claims description 29
- 238000001228 spectrum Methods 0.000 claims description 20
- 230000007246 mechanism Effects 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 12
- 238000012795 verification Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- 230000000694 effects Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000000513 principal component analysis Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 2
- 238000005520 cutting process Methods 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 238000013524 data verification Methods 0.000 claims 1
- 230000017105 transposition Effects 0.000 description 10
- 238000005070 sampling Methods 0.000 description 9
- 238000000354 decomposition reaction Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 238000011179 visual inspection Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 238000013398 bayesian method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于卷积神经网络的影像融合方法，包括：T1，使用第一重编解码器网络用于全色影像和多光谱影像空间特征的联合提取；T2，第二重编码器网络用于对高光谱影像提取光谱特征，以及将所述高光谱影像的特征和T1中得到的特征进行融合，并重建影像。本发明还提出一种遥感影像融合方法，其使用了如前所述的基于卷积神经网络的影像融合方法。本发明同时使用了全色、多光谱、高光谱影像信息，将三者的优势进行了结合，解决了单独两种影像进行融合中信息差异过大的问题。
Description
技术领域
本发明涉及信息处理技术领域，更具体地，涉及一种基于卷积神经网络的光谱和高光谱影像融合方法以及遥感影像融合方法。
背景技术
影像融合技术是提升遥感影像信息丰度的方法之一。长久以来，成像传感器自身的技术参数决定了遥感影像必须在空间分辨率、光谱分辨率和信噪比之间做出平衡。因此，随着成像技术的发展，遥感影像分化成包括：仅具有一个波段及高分辨率的全色影像；具有高空间分辨率、低光谱分辨率的高分影像；具有中低空间分辨率、高光谱分辨率的高光谱影像；在空间分辨率与光谱分辨率间取得平衡的多光谱影像。由于仅依赖成像传感器本身获取同时具有高光谱分辨率与高空间分辨率的影像的想法并不现实，且此种影像显然地对遥感影像的诸多应用都有着重大的意义，已有诸多研究与工作用于生成此类影像。混合像元分解法通过采集像元内存在的地物光谱，通过特定分离方法，估算像元内存在的各地物类别的占比。但该方法首先无法确定像元内地物的空间分布；其次，成像过程对影像光谱造成的影响使得采集地物光谱与影像光谱间存在差异。
影像融合技术是使用多传感器影像以特定算法进行处理，以使融合影像同时获得融合前各影像优势的一种方法，按融合算法所处阶段可分为像素级、特征级和决策级。高光谱影像融合方法包括组分分解和多分辨率分析等类。组分分解指将高光谱影像进行频域或其他类别的转换并分解，按照特定的规则将具有高空间分辨率的影像替换至变换后的高光谱影像，最终利用反变换得到融合影像。依照变换的不同，可大致分为颜色空间（颜色变换）、频域空间（主成分分析）、频域字典（贝叶斯方法）和稀疏矩阵（矩阵分解）等。多分辨率分析多基于小波分析与金字塔分析进行，多分辨率分析结果多缺乏平移不变性，且分解时产生的大量无效系数使得结论难以延伸。
不同于上述方法多使用全色与高光谱影像进行融合，使用卷积神经网络的融合方法可分为使用同源微偏高光谱影像的Super-resolution、使用全色与高光谱的Pan-sharping，以及使用多光谱与高光谱的HSI-MSI fusion三种。其中HSI-MSI fusion兼顾了空间与光谱信息，是一种更加可行的方案。该方法一度只将多光谱影像与高光谱影像拼接填入网络，而最近的研究中多倾向于分离提取多光谱影像的空间信息及高光谱影像的光谱信息，形成了双分支网络-SSFSN。
还有空谱特征分离式网络（SSFSN），其使用卷积网络继承了双分支网络的思想，在网络结构上借鉴了SegNet的编解码器结构，搭建双分支编解码器网络。图为该方案使用的网络结构，双分支体现在编解码器的编码器部分，用于分别提取高光谱影像的光谱特征及多光谱影像的空间特征；在解码器端使用通道注意力机制重建高分辨率高光谱影像。该研究同时借鉴了ResNet网络提出的残差结构，以防止深层网络出现的参数传递困难的问题。但在损失函数上，并未做出说明。
发明内容
针对背景技术中的问题，本发明提出了一种基于卷积神经网络的影像融合方法，包括：T1，使用第一重编解码器网络用于全色影像和多光谱影像空间特征的联合提取；T2，第二重编码器网络用于对高光谱影像提取光谱特征，以及将所述高光谱影像的特征和T1中得到的特征进行融合，并重建影像。
本发明还提出一种遥感影像融合方法，包括：S1，获取相同时间成像的全色、多光谱和高光谱影像并进行预处理，获得待融合的原始影像；S2，使用融合全色影像与多光谱影像，以制作多光谱融合影像；S3：构建训练数据集、有标签数据的训练数据集、有标签数据的验证数据集；S4，构建多光谱和高光谱融合网络，所述网络实现如前基于卷积神经网络的影像融合方法；S5，在融合网络中输入训练数据集进行训练；S6，对训练后的融合网络输入验证集，并与对应的标签数据进行对比，从空间信息及光谱信息两方面进行融合效果考量；S7，将融合网络应用至推理数据，得到对应的高空间分辨率高光谱分辨率遥感影像。
本发明的有益效果如下。
1、同时使用了全色、多光谱、高光谱影像信息，将三者的优势进行了结合，解决了单独两种影像进行融合中信息差异过大的问题。
2、多光谱高光谱融合中，使用双重编-解码器结构嵌套双分支网络。其中第一重编-解码器结构用于两种影像空间特征的联合提取，第二重编码器用于空间特征与光谱特征的融合并重建影像。该模式优化了空间信息提取精度，缓解融合影像边缘模糊问题。
3、多光谱高光谱融合中，使用残差注意结构代替传统的卷积结构或残差结构。注意结构的加入一方面减少网络的参数量，加快学习速度；另一方面注意力机制的引入使得网络更加注重泛化特征，提升鲁棒性。
4、加入自适应的空间/光谱注意力机制的空间特征提取模块，根据输入影像不同，选择使用空间注意力机制或光谱注意力机制。
5、加入自注意力机制的光谱提取特征模块。利用高光谱影像谱段间信息重合的特点，使用自注意力机制完成训练中的波段选择，以加速训练并提升其鲁棒性。
附图说明
为了更容易理解本发明，将通过参照附图中示出的具体实施方式更详细地描述本发明。这些附图只描绘了本发明的典型实施方式，不应认为对本发明保护范围的限制。
图1为本发明的方法的流程图。
图2为本发明的方法的一个实施例的流程图。
图3为本发明的残差注意力模块的结构图。
图4为空间特征提取模块的结构图。
图5为光谱特征提取模块的结构图。
图6为特征重建模块的结构图。
具体实施方式
下面参照附图描述本发明的实施方式，以便于本领域的技术人员可以更好的理解本发明并能予以实施，但所列举的实施例不作为本发明的限定，在不冲突的情况下，下述的实施例及实施例中的技术特征可以相互组合，其中相同的部件用相同的附图标记表示。
如图1所示，本发明的方法包括步骤S1-S6。
S1：获取相同时间成像的全色、多光谱和高光谱影像并进行预处理，获得待融合的原始影像。
在一个实施方式中，步骤S1包括S11-S13。S11：获取相同时间成像的全色、多光谱、高光谱影像产品。该步骤中获取的影像需完全成像自相同时间，最少要具体至小时，以规避太阳高度角、建筑阴影、植被生长状况、道路使用状况以及灯光等状况的影响。其中保证小时相同最为重要，若无法获得同一天内的影像，基于融合影像中主要地类的不同，也可选择相邻日期乃至月份内同一小时拍摄的影像。S12：对影像进行辐射定标、大气校正及几何配准等操作。优选地，对影像进行几何配准时，使用重采样方法选择三次卷积内插以获得最佳效果。S13：对配准后的影像进行目视检验，筛除损坏波段。若数据中存在不可使用波段，以及信噪比较高的波段，需一并进行剔除。
S2：使用融合全色影像与多光谱影像，以制作多光谱融合影像。
在一个实施方式中，使用主成分分析算法进行融合。
在另外一个实施方式中，步骤S2包括S21-S22。S21：规范化影像范围，通常高光谱影像翼幅宽度较小，按照其范围进行裁剪。S22：构建主成分分析融合算法。主成分分析融合算法步骤包括：对多光谱影像进行Kathuen-Loeve变换，也即对图像求取协方差矩阵，按特征值对特征矩阵进行排序，提取多光谱影像前k个主成分，k也即变换后保留足够有效信息的主成分的数量，以每一主成分的方差作为选择标准；对全色影像进行灰度拉伸，使用拉伸后的全色影像替换第一主成分；对替换后的多光谱影像和全色影像的主成分进行反变换，得到高空间分辨率的多光谱融合影像。
S3：构建样本数据集。
构建三个数据集：训练数据集、有标签数据的训练数据集、有标签数据的验证数据集。在本发明中，依据尺度不变特性原理，构建数据集的技术路线是：在融合多光谱及原高光谱上选择一部分用于训练及验证，由于缺少真实的高分辨率高光谱影像，采用的方式是等比下采样融合多光谱及原高光谱作为训练集中的“图像”数据，将未下采样的原始高光谱影像作为数据集中所谓“标签”数据。推理数据集即是原始影像中没有用于训练和验证的剩余部分，依上文该部分无需下采样（推理过程即是将训练得到的对应关系转换到使用两原始分辨率影像生成高分辨率高光谱影像的过程）。
通过步骤A1-A2构建有标签数据的训练数据集。
A1：下采样原始高光谱与S2获得的主成分融合后的多光谱影像，经实验，优选采样倍数选择为两倍，采样方式为三次卷积内插。
A2：将下采样后的高光谱与融合多光谱影像作为训练数据，将原始高光谱影像作为标签数据，使用采样点缓冲区的方式得到有标签数据的训练数据集。采样点缓冲区的方式为：先随机构建N个样本点，建立M个像素范围的方形缓冲区，再在此范围内提取。
通过步骤B1-B2构建有标签数据的验证数据集。
B1：下采样原始高光谱与S2获得的主成分融合后的多光谱影像，经实验，优选采样倍数选择为两倍，采样方式为三次卷积内插。
B2：将下采样后的高光谱与融合多光谱影像作为训练数据，将原始高光谱影像作为标签数据，使用采样点缓冲区的方式得到有标签数据的训练数据集。采样点缓冲区的方式为：先随机构建N/8个样本点，建立M个像素范围的方形缓冲区，再在此范围内提取。
本发明中还构建了推理数据集，其包括：原始高光谱影像，以及S2中获得的原始分辨率下的融合多光谱影像。
通过步骤C1构建推理数据。
C1：从原始高光谱影像及融合多光谱影像剔除训练及推理的部分，将剩余部分按照训练及验证集像素尺寸的两倍进行切分，获得推理数据集。
在构建上述数据集时，可自主选择M的大小。本发明使用预先裁剪M个像元范围，再等分为K份的策略。优选地，训练集、验证集的比例为8.5:1.5。
S4，构建多光谱和高光谱融合网络。
本发明中构建了光谱和高光谱融合网络。多光谱和高光谱融合网络以双重编-解码器网络嵌套双分支的形式为主要框架，其中第一重编-解码器网络用于多光谱和高光谱影像空间特征的联合提取，第二重编码器网络用于第一重得到的空间特征与光谱特征的融合并重建影像。双分支指的是对不同来源的输入分别进行特征提取的操作。本发明主要使用光谱特征提取分支及空间特征提取分支。
融合网络的结构见下面的描述。
S5，在融合网络中输入训练数据集，以原始分辨率高光谱影像作为标签对网络训练过程进行引导，使用SGDR+Adam进行参数传播及优化，直至网络收敛或参数下降到达设定值，训练过程停止。
具体地，包括：S51，使用SGDR+Adam进行参数传播及优化，直至网络收敛或参数下降到达设定值，训练过程停止。S52，对于损失函数，将划分为两个部分：对于光谱域特征，使用基础的平方损失函数；对于空间域，选择使用矢量交叉熵损失函数。优选地，由于矢量交叉熵损失函数较难训练，使用混合精度策略加速训练。
S6，对训练后的融合网络输入验证集，并与对应的标签数据进行对比，从空间信息及光谱信息两方面进行融合效果考量。
具体地，包括：S61，使用训练得到的权重，对数据进行推理。转换融合网络至推理模式，关闭前向传递，且仅使用推理数据集进行。S62，在空间信息上衡量模型效果，使用测试集的样本数据进行比较，包含目视检验、总体精度、Matthews相关系数和均方误差。S63，在光谱信息上衡量融合网络效果，使用测试集的样本数据进行比较，包含均方根误差、相对全局无量纲误差、空间相关系数和光谱角制图。
S7，将融合网络应用至推理数据，得到对应的高空间分辨率高光谱分辨率遥感影像。
本发明可以在空间信息上衡量模型效果，使用测试集的样本数据进行比较，包含目视检验、总体精度、Matthews相关系数和均方误差。
总体精度计算如下：
其中，
代表融合影像像元值，
代表原始影像像元值。
Matthews相关系数计算如下：
S83：在光谱信息上衡量模型效果，使用测试集的样本数据进行比较，包含均方根误差、相对全局无量纲误差、空间相关系数和光谱角制图。
本发明在计算Matthews相关系数（MCC）时采用了误差范围，若推理值与原始值相差较小，则认为是真实值。式中，TP为真实值，TN为虚假值，FP为误报虚假，FN为虚假阴性。
均方误差计算公式如下：
其中
指的是原始影像值，
指的是融合影像上对应位置值。
相对全局无量纲误差计算公式如下：
其中
指得是融合影像空间分辨率，
指得是原始高光谱影像空间分辨率。
空间相关系数计算公式如下：
其中
分别表示融合影像和真实影像，
为协方差，
为标准差，
与
分别为波段号与总波段数。
光谱角制图计算公式如下：
其中
为原始影像光谱数组，
为融合后影像数组。
如图2-6所示，本发明中构建了光谱和高光谱融合网络。多光谱和高光谱融合网络以双重编-解码器网络嵌套双分支的形式为主要框架，其中第一重编-解码器网络用于多光谱和高光谱影像空间特征的联合提取，第二重编码器网络用于第一重得到的空间特征与光谱特征的融合并重建影像。双分支指的是对不同来源的输入分别进行特征提取的操作。本发明主要使用光谱特征提取分支及空间特征提取分支。在模块层面上，可具体为空间信息与光谱信息的特征提取模块和特征重建模块。
本发明的融合网络包括第一重编-解码器网络和第二重编码器网络。
第一重编-解码器网络包括：第一空间特征提取分支、第二空间特征提取分支、第一一维化转置模块、第二一维化转置模块和第一特征重建模块。
第一空间特征提取分支包括依次连接的多个空间特征提取模块。第一空间特征提取分支对主成分融合后的影像进行处理。第一空间特征提取分支后面连接有第一一维化转置模块。
第二空间特征提取分支包括依次连接的多个空间特征提取模块。第二空间特征提取分支对原始的高光谱影像进行处理。第二空间特征提取分支后面连接有第二一维化转置模块。
在本发明中连接多个特征提取模块，每个特征模块指主要发挥特定某类功能的基础组成部分，通过叠加模块以加深网络，使网络在该项功能上效果更佳。
第一空间特征提取分支中的空间特征提取模块包括：两个二维卷积层（卷积核大小例如为3×3）、批归一化层、Leaky-ReLU激活层、残差注意力模块。优选地，残差注意力模块对于多光谱的分支采用的是空间注意力机制。搭建残差注意力模块的一个实施方式如图3所示，残差注意力模块包括两个二维卷积层（二维卷积核大小例如为3×3）、批归一化层、Leaky-ReLU激活层、空间注意力模块和一维卷积层。
第二空间特征提取分支中的空间特征提取模块包括：两个二维卷积层（卷积核大小例如为3×3）、批归一化层、Leaky-ReLU激活层、残差注意力模块。优选地，残差注意力模块对于高光谱的分支采用的是光谱注意力机制。搭建残差注意力模块的一个实施方式如图3所示，残差注意力模块包括两个二维卷积层（二维卷积核大小例如为3×3）、批归一化层、Leaky-ReLU激活层、光谱注意力模块和一维卷积层。
光谱注意力模块和空间注意力模块见图3。如图3中(a)，光谱注意力首先在通道维度平均池化和最大池化，将处理后特征送入到一个共享的多层感知机(MLP)网络中，对其输出再次分别进行平均池化和最大池化，然后在拼接后的特征图上，使用二维卷积和Sigmoid进行处理后输出。如图3中(b)，空间注意力首先在通道维度平均池化和最大池化，然后将他们产生的特征图进行拼接起来（concat）。然后在拼接后的特征图上，使用二维卷积和Sigmoid进行处理后输出。
第一特征重建模块连接在第一一维化转置模块和第二一维化转置模块之后。然后使用特征重建模块对连接后的特征重建为与原始高光谱影像具有一致波段数的影像（与原始高光谱图像保持一致）。
第一特征重建模块包括：层次特征融合结构(Hierarchy Feature FusionStructure, HFFS)，二维卷积层（四个，卷积核尺寸例如为3×3），一维卷积层。特征重建模块包括的层次特征融合结构可理解为一种对提取特征进行结合融合的操作，即对两分支网络提取到的特征，通过一维卷积与线性变换操作后再次进行融合。层次特征融合结构（HFFS）表示如下：
其中，
表示分支网络提取到的特征，
为针对特征的一维卷积操作，
为偏置，
为通过一维卷积层降维后的分支特征，
表征拼接操作，
为融合特征。特征重建模块里，通过HFFS结构的特征需填入上述层中，得到最终融合特征。
第二重编解码器网络包括：第三空间特征提取分支、光谱特征提取分支、第二特征重建模块、第三一维化转置模块、第四一维化转置模块、第五一维化转置模块。
第三空间特征提取分支对第一重编码器网络输出的结果进行空间特征提取，输出空间特征。第三空间特征提取分支包括多个连接的空间特征提取模块。然后输入到第三一维化转置模块，进行下一步处理。第三空间特征提取分支中，采用光谱自注意力机制。
光谱特征提取分支包括多个连接的光谱特征提取模块，输出光谱特征。光谱特征提取模块包括：一维卷积层（三次）、自注意力机制模块。自注意力机制不仅能够考量数据全局，更能注重数据的内部相关性。高光谱数据的各光谱间具有极强的内在联系，自注意力机制在处理光谱时具有天然优势。本发明使用的自注意力机制的特征连接模块使用“相加（Concate）”操作。
第四一维化转置模块连接在光谱特征提取分之前，第五一维化转置模块连接在光谱特征提取分之后。
第二特征重建模块与第一特征重建模块原理相同。第三一维化转置模块和第五一维化转置模块是输出连接到第二特征重建模块，输出光谱特征。第二特征模块将得到的光谱特征与空间特征使用特征连接模块进行连接，使用特征重建模块得到最终融合结果。
本发明提供了一种使用全色、多光谱、高光谱影像的影像融合方法，能够较好地获取具有高空间分辨率及高光谱分辨率的高光谱遥感影像。
以上所述的实施例，只是本发明较优选的具体实施方式，本说明书使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”，其均可指代根据本公开的相同或不同实施例中的一个或多个。本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。
Claims (8)
1.一种基于卷积神经网络的影像融合方法，其特征在于，包括：
T1，使用第一重编解码器网络用于全色影像和多光谱影像空间特征的联合提取，包括：T11，使用第一空间特征提取分支对多光谱和高光谱影像的主成分融合后的影像进行处理，所述第一空间特征提取分支包括依次连接的多个空间特征提取模块；T12，使用第二空间特征提取分支对原始的高光谱影像进行处理，所述第二空间特征提取分支包括依次连接的多个空间特征提取模块；T13，使用第一特征重建模块对T11和T12得到的特征进行融合；T14，使用第三空间特征提取分支对融合后的特征进行提取；
T2，使用第二重编码器网络用于对高光谱影像提取光谱特征，以及将所述高光谱影像的特征和T1中得到的特征进行融合，并重建影像，包括：T21，使用第三空间特征提取分支对第一重编码器网络输出的结果进行空间特征提取，输出空间特征；T22，使用光谱特征提取分支对高光谱影像进行光谱特征提取，输出光谱特征；T23，使用第二特征重建模块对T21和T22得到的特征进行融合。
2.根据权利要求1所述的基于卷积神经网络的影像融合方法，其特征在于，
第一空间特征提取分支中的空间特征提取模块包括：卷积层、批归一化层、激活层、残差注意力模块，残差注意力模块对于多光谱的分支采用空间注意力机制；
第二空间特征提取分支中的空间特征提取模块包括：卷积层、批归一化层、激活层、残差注意力模块，残差注意力模块对于高光谱的分支采用光谱注意力机制；
第一特征重建模块包括：层次特征融合结构、二维卷积层和一维卷积层。
3.根据权利要求1所述的基于卷积神经网络的影像融合方法，其特征在于，
第三空间特征提取分支中采用光谱自注 意力机制，光谱特征提取分支中采用光谱自注 意力机制；
光谱特征提取分支包括多个连接的光谱特征提取模块，输出光谱特征，光谱特征提取模块包括：卷积层、自注意力机制模块。
4.一种遥感影像融合方法，其特征在于，包括：
S1，获取相同时间成像的全色、多光谱和高光谱影像并进行预处理，获得待融合的原始影像；
S2，使用融合全色影像与多光谱影像，以制作多光谱融合影像；
S3：构建训练数据集、有标签数据的训练数据集、有标签数据的验证数据集；
S4，构建多光谱和高光谱融合网络，所述网络实现如权利要求1-3中任一项所述的方法；
S5，在融合网络中输入训练数据集进行训练；
S6，对训练后的融合网络输入验证集，并与对应的标签数据进行对比，从空间信息及光谱信息两方面进行融合效果考量；
S7，将融合网络应用至推理数据，得到对应的高空间分辨率高光谱分辨率遥感影像。
5.根据权利要求4所述的遥感影像融合方法，其特征在于，步骤S1包括：
S11，获取相同时间成像的全色、多光谱、高光谱影像；S12，对影像进行辐射定标、大气校正及几何配准；S13，筛除配准后的影像的损坏波段。
6.根据权利要求5所述的遥感影像融合方法，其特征在于，步骤S2包括：
S21，规范化影像范围，按照范围进行裁剪；S22，构建主成分分析融合算法：对多光谱影像求取协方差矩阵，按特征值对特征矩阵进行排序，提取多光谱影像前k个主成分，以每一主成分的方差作为选择标准；对全色影像进行灰度拉伸，使用拉伸后的全色影像替换第一主成分；对替换后的多光谱影像和全色影像的主成分进行反变换，得到高空间分辨率的多光谱融合影像。
7.根据权利要求6所述的遥感影像融合方法，其特征在于，步骤S3包括：
等比下采样融合多光谱及原高光谱图像作为训练数据集，将未下采样的原始高光谱影像作为有标签数据的验证数据集，将原高光谱图像中没有用于训练和验证的剩余部分作为推理数据集。
8.根据权利要求7所述的遥感影像融合方法，其特征在于，步骤S5包括：
S51，使用SGDR+Adam进行参数传播及优化，直至网络收敛或参数下降到达设定值，训练过程停止；
S52，对于损失函数，将划分为两个部分：对于光谱域特征，使用基础的平方损失函数；对于空间域，选择使用矢量交叉熵损失函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211416882.0A CN115471437B (zh) | 2022-11-14 | 2022-11-14 | 一种基于卷积神经网络的影像融合方法以及遥感影像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211416882.0A CN115471437B (zh) | 2022-11-14 | 2022-11-14 | 一种基于卷积神经网络的影像融合方法以及遥感影像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115471437A CN115471437A (zh) | 2022-12-13 |
| CN115471437B true CN115471437B (zh) | 2023-03-10 |
Family
ID=84338243
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211416882.0A Active CN115471437B (zh) | 2022-11-14 | 2022-11-14 | 一种基于卷积神经网络的影像融合方法以及遥感影像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115471437B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116703744B (zh) * | 2023-04-18 | 2024-05-28 | 二十一世纪空间技术应用股份有限公司 | 一种基于卷积神经网络的遥感影像匀光匀色方法和装置 |
| CN116369949B (zh) * | 2023-06-06 | 2023-09-15 | 南昌航空大学 | 一种脑电信号分级情绪识别方法、系统、电子设备及介质 |
| CN116403115B (zh) * | 2023-06-07 | 2023-08-22 | 江西啄木蜂科技有限公司 | 一种大幅面遥感影像目标检测方法 |
| CN117237256A (zh) * | 2023-09-27 | 2023-12-15 | 中国自然资源航空物探遥感中心 | 一种浅海珊瑚礁监测数据采集方法、装置及设备 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109767412A (zh) * | 2018-12-28 | 2019-05-17 | 珠海大横琴科技发展有限公司 | 一种基于深度残差神经网络的遥感影像融合方法及系统 |
| CN109766858A (zh) * | 2019-01-16 | 2019-05-17 | 中国人民解放军国防科技大学 | 结合双边滤波的三维卷积神经网络高光谱影像分类方法 |
| CN111091113A (zh) * | 2019-12-30 | 2020-05-01 | 贵阳欧比特宇航科技有限公司 | 一种高光谱影像数据融合方法 |
| CN112634137B (zh) * | 2020-12-28 | 2024-03-05 | 西安电子科技大学 | 基于ae提取多尺度空谱特征的高光谱和全色图像融合方法 |
| CN113222835B (zh) * | 2021-04-22 | 2023-04-14 | 海南大学 | 基于残差网络的遥感全色和多光谱图像分布式融合方法 |
| CN113689370A (zh) * | 2021-07-27 | 2021-11-23 | 南京信息工程大学 | 基于深度卷积神经网络的遥感图像融合方法 |
| CN113763299B (zh) * | 2021-08-26 | 2022-10-14 | 中国人民解放军军事科学院国防工程研究院工程防护研究所 | 一种全色与多光谱图像融合方法、装置及其应用 |
| CN114862731B (zh) * | 2022-03-29 | 2024-04-16 | 武汉大学 | 低秩先验与空谱信息引导的多-高光谱影像融合方法 |
| CN115311184A (zh) * | 2022-08-09 | 2022-11-08 | 山东师范大学 | 基于半监督深度神经网络的遥感图像融合方法及系统 |
-
2022
- 2022-11-14 CN CN202211416882.0A patent/CN115471437B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN115471437A (zh) | 2022-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115471437B (zh) | 一种基于卷积神经网络的影像融合方法以及遥感影像融合方法 | |
| CN110728658A (zh) | 一种基于深度学习的高分辨率遥感影像弱目标检测方法 | |
| CN113673590B (zh) | 基于多尺度沙漏密集连接网络的去雨方法、系统和介质 | |
| CN114119444A (zh) | 一种基于深度神经网络的多源遥感图像融合方法 | |
| CN113312993B (zh) | 一种基于PSPNet的遥感数据土地覆盖分类方法 | |
| CN115511767B (zh) | 一种自监督学习的多模态图像融合方法及其应用 | |
| Hu et al. | MDAS: A new multimodal benchmark dataset for remote sensing | |
| CN111008664A (zh) | 一种基于空谱联合特征的高光谱海冰检测方法 | |
| CN113065467A (zh) | 一种基于深度学习的卫星图像低相干区域识别方法及装置 | |
| Yu et al. | CapViT: Cross-context capsule vision transformers for land cover classification with airborne multispectral LiDAR data | |
| Wald | Data fusion: a conceptual approach for an efficient exploitation of remote sensing images | |
| CN107680081B (zh) | 基于卷积神经网络的高光谱图像解混方法 | |
| CN113610905A (zh) | 基于子图像匹配的深度学习遥感图像配准方法及应用 | |
| CN115240066A (zh) | 基于深度学习的遥感影像矿区复绿监测方法及系统 | |
| Chen et al. | Spatiotemporal fusion for spectral remote sensing: A statistical analysis and review | |
| CN112529828B (zh) | 参考数据非敏感的遥感影像时空融合模型构建方法 | |
| CN117593199A (zh) | 一种基于高斯先验分布自注意力的双流遥感图像融合方法 | |
| CN116758388A (zh) | 基于多尺度模型和残差的遥感图像时空融合方法及装置 | |
| CN114998630B (zh) | 一种从粗到精的地对空图像配准方法 | |
| CN113723447B (zh) | 一种多模态影像的端到端的模板匹配方法 | |
| CN106778490B (zh) | 基于多流形的多时相高光谱图像分类方法 | |
| CN115147727A (zh) | 一种遥感影像不透水面提取方法及系统 | |
| CN113724307A (zh) | 基于特征自校准网络的图像配准方法、装置及相关组件 | |
| CN117726915B (zh) | 遥感数据空谱融合方法及装置、存储介质与终端 | |
| Wang et al. | Quantitative Evaluation of Plant and Modern Urban Landscape Spatial Scale Based on Multiscale Convolutional Neural Network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |