CN117934978B - 一种基于对抗学习的高光谱和激光雷达多层融合分类方法 - Google Patents

一种基于对抗学习的高光谱和激光雷达多层融合分类方法 Download PDF

Info

Publication number
CN117934978B
CN117934978B CN202410330740.5A CN202410330740A CN117934978B CN 117934978 B CN117934978 B CN 117934978B CN 202410330740 A CN202410330740 A CN 202410330740A CN 117934978 B CN117934978 B CN 117934978B
Authority
CN
China
Prior art keywords
size
module
image
convolution
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410330740.5A
Other languages
English (en)
Other versions
CN117934978A (zh
Inventor
徐凯
汪帮俊
陈咏夷
汪安铃
潘如杭
孙鹤鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN202410330740.5A priority Critical patent/CN117934978B/zh
Publication of CN117934978A publication Critical patent/CN117934978A/zh
Application granted granted Critical
Publication of CN117934978B publication Critical patent/CN117934978B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Remote Sensing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于对抗学习的高光谱和激光雷达多层融合分类方法，与现有技术相比解决了监督学习模型的分类性能严重依赖训练样本的数量及质量和多模态数据融合不充分的问题。本发明包括以下步骤：高光谱和激光雷达数据的特征提取；多注意力的对抗性学习；多层次特征融合分类。本发明基于高光谱数据可以表征物体的光谱和空间特征，但是，很难区分相似光谱特征但高程信息不同的物体和激光雷达数据具有三维信息和高度信息的特点，提出用三支路提取数据特征，利用对抗性网络学习无标签数据的特征，并采用多注意力层次融合多模态特征进入分类网络，有效地解决了多模态数据融合分类问题，提高了分类的准确性和效率。

Description

一种基于对抗学习的高光谱和激光雷达多层融合分类方法
技术领域
本发明涉及遥感影像融合分类处理领域，具体来说是一种基于对抗学习的高光谱和激光雷达多层融合分类方法。
背景技术
遥感图像分类是利用遥感数据进行地物分类和识别的技术。遥感图像是通过卫星、飞机等远距离获取地面信息的图像。遥感图像分类的目标是将这些图像中的地物按照类别进行自动分类，例如建筑物、水体、植被等。
遥感图像分类广泛应用于环境监测、土地利用规划、资源管理、灾害评估、农业监测等领域。通过对遥感图像进行分类，可以提供大范围的地理信息，为决策者提供准确的空间数据，帮助他们更好地管理和利用地球资源。
在遥感图像分类中，常用的方法有基于光谱信息的分类、基于纹理特征的分类和基于形状特征的分类等。基于光谱信息的分类是根据地物在不同波段上的反射率或辐射亮度来进行分类，通过分析图像的光谱特征，可以将不同地物区分开来。基于纹理特征的分类是利用地物在图像上的纹理信息来进行分类，通过分析图像的纹理特征，可以将具有相似纹理的地物归为一类。基于形状特征的分类是根据地物在图像上的形状信息来进行分类，通过分析图像的形状特征，可以将具有相似形状的地物归为一类。
随着遥感技术的不断发展，多源数据的融合成为了遥感图像分类的一个重要方向。通过融合不同传感器获取的数据，可以获得更丰富的信息，提高分类的准确性和可靠性。例如，结合高光谱数据和激光雷达数据可以同时获取土地覆盖物的光谱和高程信息，从而提高分类的精度。同时，融合不同分辨率的数据，可以在保持细节信息的同时，提高分类的效率和速度。
总之，遥感图像分类是一项重要的技术，可以为各个领域提供准确的地理信息。随着遥感技术的不断进步，遥感图像分类的精度和效率将不断提高，为地球资源的管理和利用提供更好的支持。
现有高光谱数据和激光雷达的DSM数据的融合分类方法主要存在以下问题：模型的分类性能严重依赖训练样本的数量及质量，但遥感图像的标签获取困难，限制了模型的发展和多模态数据融合不充分的问题，通过简单的逐元素相加、矩阵相乘和concat操作并不能很好地让多模态数据充分发挥作用。针对以上问题，本发明提出一种基于对抗学习的高光谱和激光雷达多层融合分类方法。
发明内容
本发明的目的是为了解决监督学习模型的分类性能严重依赖训练样本的数量及质量和多模态数据融合不充分的问题，提供一种基于对抗学习的高光谱和激光雷达多层融合分类方法来解决上述问题。
为了实现上述目的，本发明的技术方案如下：
一种基于对抗学习的高光谱和激光雷达多层融合分类方法，其特征在于，包括以下步骤：
11）基于对抗学习的高光谱和激光雷达多层融合分类数据准备和特征提取：对获取的高光谱和激光雷达数据集进行划分裁剪；构建基于编码器和解码器结构的对抗性学习三分支网络对多模态数据进行特征提取；
12）建立多模态多注意对抗性学习模块：构建一个多模态多注意力对抗性学习的框架，使用光谱通道注意力模块和注意力模块提取多模态的差异特征，通过对抗性学习不断优化学习过程；
13）建立多层次特征融合分类模块：构建一个多层次特征融合分类的模块，在多模态多注意对抗性学习的基础上进行二次微调；
14）基于对抗学习的高光谱和激光雷达多层融合分类网络的训练和结果获取：利用划分好的训练集及其对应标签对所建立的网络模型进行训练并调整参数，直到训练达到预设的迭代次数epoch,最后保留相应的参数与训练好的网络，对其他目标影像分类获取结果；
15）利用步骤14）得到的训练好的基于对抗学习的高光谱和激光雷达多层融合分类网络，将预处理过的测试数据集输入加载好的模型进行预测，通过计算每个类别的精度、平均精度（AA）、总体精度（OA）和Kappa系数来评价网络模型的分类性能。
所述基于对抗学习的高光谱和激光雷达多层融合分类数据准备和特征提取包括以下步骤：
21）在数据集上，将每个类别的标记样本中18%被选为训练样本，其余的作为测试 样本，根据类别标记样本位置的（x，y）坐标，其中x为横坐标，y为纵坐标，在配对的高光谱图 像、激光雷达图像和标签图像上以该坐标为中点，切分出3232大小图像块；
22）构建并行的三支路的编码器和解码器结构Transformer-CNN-CNN网络，其中Transformer光谱特征提取分支和CNN空间特征提取分支处理高光谱图像，分别提取高光谱图像中的光谱特征和空间特征，CNN高程特征提取分支处理激光雷达图像，提取激光雷达图像中的高程特征；
221）构建光谱特征提取模块，整个模块包括三个阶段和一个光谱通道注意力机制，每个阶段由一个贴片嵌入层和一个Transformer光谱特征提取模块Li-layerTransformer编码器组成，其中Li-layer表示第i层，按照金字塔结构，三个阶段的输出分辨率从1/4逐渐缩小到1/16，贴片嵌入层由一个线性投影层和层归一化组成，Li-layerTransformer编码器由一个前馈网络、一个空间减少的多头注意力机制和两个层归一化组成；
222）构建高光谱图像的空间特征提取模块，整个模块由4个卷积层、4个批归一化 层、4个ELU激活函数和一个注意力模块组成，其中卷积的大小为33，,步长为2，填充大小 为在特征图的上方和左方各填充一个像素；
223）构建激光雷达图像的高程信息提取模块，整个模块由4个卷积层、4个批归一 化层、4个ELU激活函数和一个注意力模块组成，其中卷积的大小为33，,步长为2，填充大 小为在特征图的上方和左方各填充一个像素；
224）构建用于特征提取的上采样结构，其结构由4个上采样层，4个卷积层、3个批 归一化层和3个ELU激活函数组成，其中上采样采用双线性插值法，上采样层的尺度因子为 (2,2)，卷积的大小为33，步长为1，填充大小为在特征图的上方和左方各填充一个像素；
23）其中基于对抗学习的高光谱和激光雷达多层融合分类方法特征提取的具体步骤如下：
231）将预处理后的高光谱图像输入到Transformer光谱特征提取分支，训练一个有光谱通道注意力机制的光谱特征提取模型，具体步骤如下：
2311）预处理后的高光谱图像首先经过三阶段的Transformer光谱特征提取模块，具体步骤如下：
23111）在第一阶段，给定一个大小为的输入图像块，我们首先将其划分 成大小为的16个图像块patch，图像块patch大小为输入高光谱图像块的，在行方向 和列方向，间隔取4的选取patch进行拼接，这时通道维度变成原来的16倍，图像的大小变成，然后，我们将沿着通道维展平的patches馈送到线性投影中，得到大小为的嵌入图像块patch，将通道维度减小到原来的8倍，经过层归一化后输出，其中， H为输入图像块的高度，W为输入图像块的宽度，D为输入图像块的维度数；
23112）之后，嵌入图像块patch与位置嵌入通过逐像素相加一起，输入L1层的 Transformer编码器中，特征标记tokens首先经过层归一化，使得输入数据的均值为0，方差 为1，为了学习特征tokens之间的关系，预先为Transformer编码器定义了三个可学习的权 重，包括查询权重，用于将输入特征映射到查询空间、键权重，用于将输入特征映射到 键空间和值权重， 用于将输入特征映射到值空间，通过将特征tokens与三个可学习的 权重相乘，它们被线性打包成三个不同的矩阵，即查询Q，键K和值V，然后，键K和值V输入到 空间约简运算SSR模块，将大小为重塑为，为通道维度增加的维 度倍数，再通过线性投影将通道维度降维到维，最后经过层归一化输出空间约简后的键和值，大大减少了计算内存开销；为空间约简运算，具体公式为:
，
其中，表示第i阶段注意层的减少比，是将输入重塑 为序列的操作，是一个将输入序列降维为Ci维的线性投影，为归一化层；
23113）获得查询Q和约简后的键和值，将它们输入到多头注意力模块，使用Q 和计算注意力分数，使用softmax函数将分数转换为权重概率，最后与进行矩阵相乘 操作获得注意力增强后的特征图，与Transformer相同，为注意力机制操作，计 算公式为:
，
其中，为注意力头的通道维度数；
23114）通过上述操作，将每个头获得的注意力增强后的特征图在通道维进行拼接，再通过线性投影将拼接后的特征图通道数降到与单头的特征图通道数相同，阶段i的空间约简注意力模块SRA详细可表述为:
，
，
其中，Q为多头注意力模块的查询矩阵，K为多头注意力模块的键矩阵，V为多头注 意力模块的值矩阵为第j个注意力头的查询权重，为第j个注意力头的键权重， 为第j个注意力的值权重，为线性投影，降低合并多头注意力特征图后的通道维度， 为第i阶段Transformer编码器的注意力头的数量；
23115）将SRA模块的输出特征图与最初加入位置编码后的特征图通过残差 连接进行逐像素相加，得到特征图，特征图再经过层归一化后输入到前馈网络模块， 其模块包含两个具有GELU非线性的层，得到特征图；
23116）最后，将特征图和特征图通过残差连接，进行逐像素的相加，从而实 现特征融合，将形状为重塑为输出，完成第一阶段；
23117）在第二阶段，将第一阶段输出的特征图作为第二阶段的输入图像块，我们 首先将其划分成大小为的16个patch，patch大小为输入高光谱图像块的，在行方向 和列方向，间隔取2的选取patch进行拼接，这时通道维度变成原来的4倍，图像的大小变成，然后，我们将沿着通道维展平的patches馈送到线性投影中，得到大小为的嵌入图像块patch，将通道维度减小到原来的2倍，经过层归一化后输出，其中H 为输入图像块的高度，W为输入图像块的宽度，D为输入图像块的维度数；
23118）之后，嵌入图像块patch与位置嵌入通过逐像素相加一起，输入L2层的Transformer编码器中，经过和第一阶段相同的处理之后输出特征图，完成第二阶段；
23119）在第三阶段，将第二阶段输出的特征图作为第二阶段的输出图像块，我们 首先将其划分成大小为的16个patch，patch大小为输入高光谱图像块的，在行方向 和列方向，间隔取2的选取patch进行拼接，这时通道维度变成原来的4倍，图像的大小变成，然后，我们将沿着通道维展平的patches馈送到线性投影中，得到大小为的嵌入图像块patch，将通道维度减小到原来的2倍，经过层归一化后输出，之后， 嵌入图像块patch与位置嵌入通过逐像素相加一起，输入L3层的Transformer编码器中，经 过和第二阶段相同的处理之后输出特征图，完成第三阶段；
2312）将经过三阶段Transformer光谱特征提取模块的特征图，输入到光谱通道注意力模块，具体步骤如下：
23121）将输入特征图形状分别重塑为和，将其中一个转置 操作后与另一个进行矩阵乘法，再经过一个Softmax激活函数得到大小的权重图；
23122）将获得的权重图与输入特征图进行矩阵相乘，获得通道维特征加强的特征 图，最后，重塑特征图的形状为，与输入的特征图进行逐像素相加后输出；
2313）Transformer光谱特征提取分支的上采样的解码器模块，具体步骤如下：
23131）光谱通道注意力模块输出的特征图作为解码器模块的输入，需要经过四次上采样的过程；
23132）对于输入图像执行一个尺度因子为(2, 2)的上采样操作，将图像扩大至输 入图像的2倍，插值的方法采用双线性插值法、一个卷积核大小为，步长为1，填充大小 为在特征图的上方和左方各填充一个像素的卷积、一个批归一化、一个ELU激活函数，得到 第一个上采样输出；
23133）对于第一个上采样输出图像执行一个尺度因子为(2, 2)的上采样操作，将 图像扩大至输入图像的4倍，插值的方法采用双线性插值法、一个卷积核大小为，步长 为1，填充大小为在特征图的上方和左方各填充一个像素的卷积、一个批归一化、一个ELU激 活函数，得到第二个上采样输出；
23134）对于第二个上采样输出图像执行一个尺度因子为(2, 2)的上采样操作，将 图像扩大至输入图像的8倍，插值的方法采用双线性插值法、一个卷积核大小为，步长 为1，填充大小为在特征图的上方和左方各填充一个像素的卷积、一个批归一化、一个ELU激 活函数，得到第三个上采样输出；
23135）对于第三个上采样输出图像执行一个尺度因子为(2, 2)的上采样操作，将 图像扩大至输入图像的16倍，插值的方法采用双线性插值法、一个卷积核大小为，步长 为1，填充大小为在特征图的上方和左方各填充一个像素的卷积，得到第四个上采样输出， 输出的图像大小与初始输入图像大小相同，实现端到端的训练；
232）将预处理后的高光谱图像输入到CNN空间特征提取分支，训练一个有注意力模块的特征提取模型，具体步骤如下：
2321）预处理后的高光谱图像首先经过下采样空间特征提取，具体步骤如下：
23211）对于输入图像执行一个卷积核大小为，步长为2，填充大小为在特征图 的上方和左方各填充一个像素的卷积、一个批归一化、一个ELU激活函数，得到第一个下采 样输出图像，图像大小为输入图像的；
23212）对于第一个下采样的输出图像执行一个卷积核大小为，步长为2，填充 大小为在特征图的上方和左方各填充一个像素的卷积、一个批归一化、一个ELU激活函数， 得到第二个下采样输出图像，图像大小为输入图像的；
23213）对于第二个下采样的输出图像执行一个卷积核大小为，步长为2，填充 大小为在特征图的上方和左方各填充一个像素的卷积、一个批归一化、一个ELU激活函数， 得到第三个下采样输出图像，图像大小为输入图像的；
23214）对于第三个下采样的输出图像执行一个卷积核大小为，步长为2，填充 大小为在特征图的上方和左方各填充一个像素的卷积、一个批归一化、一个ELU激活函数， 得到第四个下采样输出图像，图像大小为输入图像的；
2322）将经过4次下采样提取的空间特征，输入到注意力模块，具体步骤如下：
23221）首先，将输入特征图F输入到通道注意力模块，分别对输入特征图F进行最 大池化和全局平均池化操作，得到不同的描述符，包括地物的边缘和光滑特征；不同的描述 符将通过一个具有一个隐藏层的权重参数共享多层感知机，获得具有H×1×1数据大小 的通道注意图；然后，对最大池化和平均池化特征进行逐元素求和；公式化如下：
，
其中，为输入的特征图，为通道注意力模块，为ELU激活函数操作，为具有一个隐藏层的权重参数共享多层感知机，为平均池化操作，为最 大池化操作，为特征图之间逐像素相加；
23222）然后，将得到的通道注意力特征图与输入特征图进行对应像 素相乘，得到通道注意图；公式化如下：
，
其中，为输入的特征图，为通道注意图，为通道注意力模块，为特 征之间的元素乘法；
23223）之后，将通道注意图输入到空间注意力模块，分别对通道注意力特征图进行最大池化和全局平均池化操作，得到不同的描述符；将这些描述符进行逐元素相加 融合在一起，再将将提取的特征沿通道轴进行卷积并由ELU函数激活，得到最终的空间注意 力特征图；公式化如下：
，
其中，为空间注意力模块，为通道注意图，为ELU激活函数操作 为卷积操作，为平均池化操作，为最大池化操作，为特征图之间逐像素相 加；
23224）最后，将空间注意力特征图和通道注意图进行对应像素相乘， 得到空间注意图，也就是注意力模块最后的输出特征图；公式化如下：
，
其中，其中，为通道注意图，为空间注意图，为空间注意力模块， 为特征之间的元素乘法；
2323）CNN空间特征提取分支的上采样的解码器模块，具体步骤如下：
23231）注意力模块输出的特征图作为解码器模块的输入，需要经过四次上采 样的过程；
23232）对于输入图像执行一个尺度因子为(2,2)的上采样操作，将图像扩大至输 入图像的2倍，插值的方法采用双线性插值法、一个卷积核大小为，步长为1，填充大小 为在特征图的上方和左方各填充一个像素的卷积、一个批归一化、一个ELU激活函数，得到 第一个上采样输出；
23233）对于第一个上采样输出图像执行一个尺度因子为(2,2)的上采样操作，将 图像扩大至输入图像的4倍，插值的方法采用双线性插值法、一个卷积核大小为，步长 为1，填充大小为在特征图的上方和左方各填充一个像素的卷积、一个批归一化、一个ELU激 活函数，得到第二个上采样输出；
23234）对于第二个上采样输出图像执行一个尺度因子为(2,2)的上采样操作，将 图像扩大至输入图像的8倍，插值的方法采用双线性插值法、一个卷积核大小为，步长 为1，填充大小为在特征图的上方和左方各填充一个像素的卷积、一个批归一化、一个ELU激 活函数，得到第三个上采样输出；
23235）对于第三个上采样输出图像执行一个尺度因子为(2, 2)的上采样操作，将 图像扩大至输入图像的16倍，插值的方法采用双线性插值法、一个卷积核大小为，步长 为1，填充大小为在特征图的上方和左方各填充一个像素的卷积，得到第四个上采样输出， 输出的图像大小与初始输入图像大小相同，实现端到端的训练；
233）将预处理后的激光雷达图像输入到CNN高程特征提取分支，训练一个有注意力模块的特征提取模型，具体步骤同CNN空间特征提取分支一样；
24）构建Transformer光谱特征提取分支、CNN空间特征提取分支和CNN高程特征提 取分支三个分支的对抗性学习模块，Transformer光谱特征提取分支、CNN空间特征提取分 支和CNN高程特征提取分支三个分支的对抗性学习模块相同，整个模块由6个卷积层、5个批 归一化层、6个LeakyReLU激活函数和一个全连接层组成，其中第一个卷积、第三个卷积、第 五个卷积和第六个卷积的大小为33，步长为2，填充大小为在特征图的上方和左方各填充 一个像素,第二个卷积和第四个卷积的大小为33，步长为1，填充大小为1，平均池化的大 小为22；
25）其中基于对抗学习的高光谱和激光雷达多层融合分类方法对抗性学习的具体步骤如下：
251）Transformer光谱特征提取分支、CNN空间特征提取分支和CNN高程特征提取分支三个分支的对抗性学习过程相同，首先，将初始输入图像作为真实图像和第四个上采样输出的图像作为生成图像提供给判别器作为输入；
252）对输入图片执行一个卷积核大小为3×3，步长为2，填充大小为在特征图的上方和左方各填充一个像素的卷积，一个LeakyReLu激活函数，完成第一个卷积模块；
对第一个卷积模块的输出执行一个卷积核大小为33，步长为1，填充大小为1的 卷积，一个批归一化，一个LeakyReLU激活函数，完成第二个卷积模块；
对第二个卷积模块的输出执行一个卷积核大小为3×3，步长为2，填充大小为在特征图的上方和左方各填充一个像素的卷积，一个批归一化，一个LeakyReLu激活函数，完成第三个卷积模块；
对第三个卷积模块的输出执行一个卷积核大小为33，步长为1，填充大小为1的 卷积，一个批归一化，一个LeakyReLU激活函数，完成第四个卷积模块；
对第四个卷积模块的输出执行一个卷积核大小为3×3，步长为2，填充大小为在特征图的上方和左方各填充一个像素的卷积，一个批归一化，一个LeakyReLu激活函数，完成第五个卷积模块；
对第五个卷积模块的输出执行一个卷积核大小为3×3，步长为2，填充大小为在特征图的上方和左方各填充一个像素的卷积，一个批归一化，一个LeakyReLu激活函数，完成第六个卷积模块；
对第六个卷积模块的输出执行一个大小为的平均池化，然后接入一个全连接 层后输出；
253）使用L1损失函数作为对抗性学习的损失函数，用于计算参考高光谱图像和生成的目标高光谱图像之间的差异；
L1损失函数表达式如下：
，
，
，
其中为真实的高光谱图像，为生成的高光谱图像，为真实的激光雷 达图像，为生成的激光雷达图像，为Transformer光谱特征提取分支的L1损失函 数，为CNN空间特征提取分支的L1损失函数，为CNN高程特征提取分支的L1损失 函数，为L1范数；
对抗性学习的整体损失函数：整体的损失函数由三个损失的加权和组成：
，
，
其中，是对抗性学习的整体损失，为可学习的权重参数；
254）通过计算损失函数的梯度，将误差从输出层反向传播回网络的每一层，这样，判别器的参数会被更新，以使其更好地区分真实和生成图像；
255）通过损失值反向传播确定梯度向量，更新基于对抗学习的高光谱和激光雷达多层融合分类模型对抗性学习阶段的模型参数；
256）判断是否达到设定的训练轮数，若是则完成基于对抗学习的高光谱和激光雷达多层融合分类模型对抗性学习阶段的训练，否则继续训练。
所述多层次特征融合分类模块包括以下步骤：
31）构建一个多层次特征融合分类的模块，该模块由三个分类支路组成，每条分类 支路的结构相同，由1个卷积层、1个归一化层、1个全连接层组成，其中，卷积的大小为3 3，,步长为1，填充大小为1；
32）构建一个分类模块，该模块由三个全连接层组成；
33）多层次特征融合分类的具体步骤如下：
331）将Transformer光谱特征提取分支第一阶段的输出、CNN空间特征提取分支第 二个ELU激活函数的输出和CNN高程特征提取分支第二个ELU激活函数的输出进行通道维的 拼接得到特征图，将Transformer光谱特征提取分支第二阶段的输出、CNN空间特征提取 分支第三个ELU激活函数的输出和CNN高程特征提取分支第三个ELU激活函数的输出进行通 道维的拼接得到特征图，将Transformer光谱特征提取分支第三阶段的输出、CNN空间特 征提取分支第四个ELU激活函数的输出和CNN高程特征提取分支第四个ELU激活函数的输出 进行通道维的拼接得到特征图，将Transformer光谱特征提取分支光谱光谱通道注意力 后的输出、CNN空间特征提取分支注意力模块的输出和CNN高程特征提取分支注意力模块的 输出进行通道维的拼接得到特征图；
332）将拼接得到的特征图输入分层融合模块，分别执行一个大小为33，步长为 1，填充大小为1的卷积，一个归一化层，一个全连接层；
333）将执行完全连接层后的四个向量进行通道维的拼接,对拼接后的向量执行三个全连接层操作，最后输出；
334）本发明采用交叉熵作为损失函数对网络分类精度进行优化，交叉熵损失函数表达式如下：
，
其中，N为训练样本个数，为基础真值的第i个样本，为预测值的第i个样本；
335）通过计算损失函数的梯度，将误差从输出层反向传播回网络的每一层，这样，编码器模块和多层次融合分类模块的参数会被更新，以使其更好地分类；
336）通过损失值反向传播确定梯度向量，更新基于对抗学习的高光谱和激光雷达多层融合分类模型多层次特征融合分类阶段的模型参数；
337）判断是否达到设定的训练轮数，若是则完成基于对抗学习的高光谱和激光雷达多层融合分类模型多层次特征融合分类阶段的训练，否则继续训练。
所述基于对抗学习的高光谱和激光雷达多层融合分类网络的训练和结果获取包括以下步骤：
41）整个模型的训练分为两个阶段，基于对抗学习的高光谱和激光雷达多层融合分类模型对抗性学习阶段和多层次特征融合分类阶段；
42）基于对抗学习的高光谱和激光雷达多层融合分类模型对抗性学习阶段，网络模型不包含多层次融合分类的模块；
421）将预处理后无标签的高光谱图像和激光雷达图像，输入到网络模型中，分别经过Transformer光谱特征提取支路、CNN空间特征提取支路和CNN高程特征提取支路，让各个支路的编码器模块分别学习高光谱图像的光谱特征、空间特征和激光雷达的高程特征；
422）让各个支路的解码器部分重构输入的高光谱图像，通过判别器模块去监督学习；
423）计算损失函数，对权重参数进行反向传播；
424）判断是否达到设定的轮数，是则得到训练好的基于对抗学习的高光谱和激光雷达多层融合分类模型，否则重新加载数据继续训练；
43）基于对抗学习的高光谱和激光雷达多层融合分类模型多层次特征融合分类阶段，网络模型不包含Transformer光谱特征提取支路、CNN空间特征提取支路和CNN高程特征提取支路的解码器模块以及判别器模块；
431）将预处理后有标签的高光谱图像和激光雷达图像，输入到网络模型中，分别经过Transformer光谱特征提取支路、CNN空间特征提取支路和CNN高程特征提取支路，让各个支路的编码器模块分别学习高光谱图像的光谱特征、空间特征和激光雷达的高程特征；
432）通过多层融合模块将各个支路相应阶段的特征图进行通道维的拼接实现多层次特征融合，将得到的融合特征图输入到分类模块进行预测分类；
433）计算损失函数，对权重参数进行反向传播；
434）判断是否达到设定的轮数，是则得到训练好的基于对抗学习的高光谱和激光雷达多层融合分类模型，否则重新加载数据继续训练；
44）使用L1损失函数和使用交叉熵损失函数的分类损失函数作为网络模型 的总体损失函数，用于对抗性学习阶段约束编码器模块学习正确的分类特征和多层次特征 融合分类阶段对模型的参数进行二次微调，提高分类精度，总体损失函数公式化如下：
，
其中是加权系数；
45）通过损失值反向传播确定梯度向量，更新基于对抗学习的高光谱和激光雷达多层融合分类模型参数；
46）判断是否达到设定的训练轮数，若是则完成基于对抗学习的高光谱和激光雷达多层融合分类模型的训练，否则继续训练；
47）利用得到的训练好的基于对抗学习的高光谱和激光雷达多层融合分类模型，将预处理过的测试数据集输入加载好的模型进行预测，通过计算每个类别的精度、平均精度（AA）、总体精度（OA）和Kappa系数来评价网络模型的分类性能。
有益效果
本发明一种基于对抗学习的高光谱和激光雷达多层融合分类方法，与现有技术相比通过基于对抗学习的高光谱和激光雷达多层融合分类方法中，先让得到的高光谱图像和激光雷达图像经过带有通道注意力机制和空间注意力机制的编码器模块，能够获得良好的多模态遥感数据的差异特征，通过解码器模块，对输入的遥感图像进行重构，让判别器模块进行监督，使编码器模块学习到更优的特征，通过多层次跨模态融合，使提取出高光谱图像的光谱特征、空间特征和激光雷达图像的高程特征进行不同层次的融合，提高了特征的表达能力和鲁棒性，使模型适用于更加复杂和多变的应用场景，融合好的多尺度特征图通过分类模块，使分类的精确度和准确度更高。
此外，在通过深度学习方法的遥感图像多模态融合分类中，由于深度学习模型的分类性能严重依赖训练样本的数量及质量，本发明借鉴GAN网络，通过对抗性学习，将无标签数据合理利用，提高了模型的分类性能。针对多模态数据融合不充分的问题，本发明通过多层次特征融合，使多模态数据可以充分的进行特征融合，让每个模态的数据都得到充分利用，大大提高了图像分类的精度。
附图说明
图1为基于对抗学习的高光谱和激光雷达多层融合分类方法顺序图
图2为基于对抗学习的高光谱和激光雷达多层融合分类方法模型结构的示意图
图3为Transformer光谱特征提取分支Transformer光谱特征提取模块的示意图
图4为Transformer光谱特征提取分支光谱通道注意力机制的示意图
图5为CNN空间特征提取分支和CNN高程特征提取分支注意力模块的示意图
图6为基于对抗学习的高光谱和激光雷达多层融合分类方法判别器模块的示意图
图7为基于对抗学习的高光谱和激光雷达多层融合分类方法多层融合模块的示意图
具体实施方式
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：
如图1所示，本发明所述的一种基于对抗学习的高光谱和激光雷达多层融合分类方法，包括以下步骤：
第一步，基于对抗学习的高光谱和激光雷达多层融合分类数据准备和特征提取：对获取的高光谱和激光雷达数据集进行划分裁剪；构建基于编码器和解码器结构的对抗性学习三分支网络对多模态数据进行特征提取，其具体步骤如下：
（1）在数据集上，将每个类别的标记样本中18%被选为训练样本，其余的作为测试 样本，根据类别标记样本位置的（x，y）坐标，其中x为横坐标，y为纵坐标，在配对的高光谱图 像、激光雷达图像和标签图像上以该坐标为中点，切分出3232大小图像块；
（2）构建并行的三支路的编码器和解码器结构Transformer-CNN-CNN网络，其中Transformer光谱特征提取分支和CNN空间特征提取分支处理高光谱图像，分别提取高光谱图像中的光谱特征和空间特征，CNN高程特征提取分支处理激光雷达图像，提取激光雷达图像中的高程特征；
（2-1）构建光谱特征提取模块，整个模块包括三个阶段和一个光谱通道注意力机制，每个阶段由一个贴片嵌入层和一个Transformer光谱特征提取模块Li-layerTransformer编码器组成，其中Li-layer表示第i层，按照金字塔结构，三个阶段的输出分辨率从1/4逐渐缩小到1/16，贴片嵌入层由一个线性投影层和层归一化组成，Li-layerTransformer编码器由一个前馈网络、一个空间减少的多头注意力机制和两个层归一化组成；
（2-2）构建高光谱图像的空间特征提取模块，整个模块由4个卷积层、4个批归一化 层、4个ELU激活函数和一个注意力模块组成，其中卷积的大小为33，,步长为2，填充大小 为在特征图的上方和左方各填充一个像素；
（2-3）构建激光雷达图像的高程信息提取模块，整个模块由4个卷积层、4个批归一 化层、4个ELU激活函数和一个注意力模块组成，其中卷积的大小为33，,步长为2，填充大 小为在特征图的上方和左方各填充一个像素；
（2-4）构建用于特征提取的上采样结构，其结构由4个上采样层，4个卷积层、3个批 归一化层和3个ELU激活函数组成，其中上采样采用双线性插值法，上采样层的尺度因子为 (2,2)，卷积的大小为33，步长为1，填充大小为在特征图的上方和左方各填充一个像素；
（3）其中基于对抗学习的高光谱和激光雷达多层融合分类方法特征提取的具体步骤如下：
（3-1）将预处理后的高光谱图像输入到Transformer光谱特征提取分支，训练一个有光谱通道注意力机制的光谱特征提取模型，具体步骤如下：
（3-1-1）预处理后的高光谱图像首先经过三阶段的Transformer光谱特征提取模块，具体步骤如下：
（3-1-2）在第一阶段，给定一个大小为的输入图像块，我们首先将其划分 成大小为的16个图像块patch，图像块patch大小为输入高光谱图像块的，在行方向 和列方向，间隔取4的选取patch进行拼接，这时通道维度变成原来的16倍，图像的大小变成，然后，我们将沿着通道维展平的patches馈送到线性投影中，得到大小为的嵌入图像块patch，将通道维度减小到原来的8倍，经过层归一化后输出，其中， H为输入图像块的高度，W为输入图像块的宽度，D为输入图像块的维度数；
（3-1-3）之后，嵌入图像块patch与位置嵌入通过逐像素相加一起，输入L1层的 Transformer编码器中，特征标记tokens首先经过层归一化，使得输入数据的均值为0，方差 为1，为了学习特征tokens之间的关系，预先为Transformer编码器定义了三个可学习的权 重，包括查询权重，用于将输入特征映射到查询空间、键权重，用于将输入特征映射到 键空间和值权重， 用于将输入特征映射到值空间，通过将特征tokens与三个可学习的 权重相乘，它们被线性打包成三个不同的矩阵，即查询Q，键K和值V，然后，键K和值V输入到 空间约简运算SSR模块，将大小为重塑为，为通道维度增加的维 度倍数，再通过线性投影将通道维度降维到维，最后经过层归一化输出空间约简后的键和值，大大减少了计算内存开销；为空间约简运算；
（3-1-4）获得查询Q和约简后的键和值，将它们输入到多头注意力模块，使用 Q和计算注意力分数，使用softmax函数将分数转换为权重概率，最后与进行矩阵相乘 操作获得注意力增强后的特征图；
通过上述操作，将每个头获得的注意力增强后的特征图在通道维进行拼接，再通过线性投影将拼接后的特征图通道数降到与单头的特征图通道数相同；
将SRA模块的输出特征图与最初加入位置编码后的特征图通过残差连接进 行逐像素相加，得到特征图，特征图再经过层归一化后输入到前馈网络模块，其模块 包含两个具有GELU非线性的层，得到特征图；
（3-1-5）最后，将特征图和特征图通过残差连接，进行逐像素的相加，从而 实现特征融合，将形状为重塑为输出，完成第一阶段；
（3-1-6）在第二阶段，将第一阶段输出的特征图作为第二阶段的输入图像块，我们 首先将其划分成大小为的16个patch，patch大小为输入高光谱图像块的，在行方向 和列方向，间隔取2的选取patch进行拼接，这时通道维度变成原来的4倍，图像的大小变成，然后，我们将沿着通道维展平的patches馈送到线性投影中，得到大小为的嵌入图像块patch，将通道维度减小到原来的2倍，经过层归一化后输出，其中H 为输入图像块的高度，W为输入图像块的宽度，D为输入图像块的维度数；
之后，嵌入图像块patch与位置嵌入通过逐像素相加一起，输入L2层的Transformer编码器中，经过和第一阶段相同的处理之后输出特征图，完成第二阶段；
（3-1-7）在第三阶段，将第二阶段输出的特征图作为第二阶段的输出图像块，我们 首先将其划分成大小为的16个patch，patch大小为输入高光谱图像块的，在行方向 和列方向，间隔取2的选取patch进行拼接，这时通道维度变成原来的4倍，图像的大小变成，然后，我们将沿着通道维展平的patches馈送到线性投影中，得到大小为的嵌入图像块patch，将通道维度减小到原来的2倍，经过层归一化后输出，之后， 嵌入图像块patch与位置嵌入通过逐像素相加一起，输入L3层的Transformer编码器中，经 过和第二阶段相同的处理之后输出特征图，完成第三阶段；
（3-1-8）将经过三阶段Transformer光谱特征提取模块的特征图，输入到光谱通道注意力模块，具体步骤如下：
将输入特征图形状分别重塑为和，将其中一个转置操作后 与另一个进行矩阵乘法，再经过一个Softmax激活函数得到大小的权重图；
将获得的权重图与输入特征图进行矩阵相乘，获得通道维特征加强的特征图，最 后，重塑特征图的形状为，与输入的特征图进行逐像素相加后输出；
（3-1-9）Transformer光谱特征提取分支的上采样的解码器模块，具体步骤如下：
光谱通道注意力模块输出的特征图作为解码器模块的输入，需要经过四次上采样的过程；
对于输入图像执行一个尺度因子为(2, 2)的上采样操作，将图像扩大至输入图像 的2倍，插值的方法采用双线性插值法、一个卷积核大小为，步长为1，填充大小为在特 征图的上方和左方各填充一个像素的卷积、一个批归一化、一个ELU激活函数，得到第一个 上采样输出；
对于第一个上采样输出图像执行一个尺度因子为(2, 2)的上采样操作，将图像扩 大至输入图像的4倍，插值的方法采用双线性插值法、一个卷积核大小为，步长为1，填 充大小为在特征图的上方和左方各填充一个像素的卷积、一个批归一化、一个ELU激活函 数，得到第二个上采样输出；
对于第二个上采样输出图像执行一个尺度因子为(2, 2)的上采样操作，将图像扩 大至输入图像的8倍，插值的方法采用双线性插值法、一个卷积核大小为，步长为1，填 充大小为在特征图的上方和左方各填充一个像素的卷积、一个批归一化、一个ELU激活函 数，得到第三个上采样输出；
对于第三个上采样输出图像执行一个尺度因子为(2, 2)的上采样操作，将图像扩 大至输入图像的16倍，插值的方法采用双线性插值法、一个卷积核大小为，步长为1，填 充大小为在特征图的上方和左方各填充一个像素的卷积，得到第四个上采样输出，输出的 图像大小与初始输入图像大小相同，实现端到端的训练；
（3-2）将预处理后的高光谱图像输入到CNN空间特征提取分支，训练一个有注意力模块的特征提取模型，具体步骤如下：
（3-2-1）预处理后的高光谱图像首先经过下采样空间特征提取，具体步骤如下：
对于输入图像执行一个卷积核大小为，步长为2，填充大小为在特征图的上方 和左方各填充一个像素的卷积、一个批归一化、一个ELU激活函数，得到第一个下采样输出 图像，图像大小为输入图像的；
对于第一个下采样的输出图像执行一个卷积核大小为，步长为2，填充大小为 在特征图的上方和左方各填充一个像素的卷积、一个批归一化、一个ELU激活函数，得到第 二个下采样输出图像，图像大小为输入图像的；
对于第二个下采样的输出图像执行一个卷积核大小为，步长为2，填充大小为 在特征图的上方和左方各填充一个像素的卷积、一个批归一化、一个ELU激活函数，得到第 三个下采样输出图像，图像大小为输入图像的；
对于第三个下采样的输出图像执行一个卷积核大小为，步长为2，填充大小为 在特征图的上方和左方各填充一个像素的卷积、一个批归一化、一个ELU激活函数，得到第 四个下采样输出图像，图像大小为输入图像的；
（3-2-2）将经过4次下采样提取的空间特征，输入到注意力模块，具体步骤如下：
首先，将输入特征图F输入到通道注意力模块，分别对输入特征图F进行最大池化 和全局平均池化操作，得到不同的描述符，包括地物的边缘和光滑特征；不同的描述符将通 过一个具有一个隐藏层的权重参数共享多层感知机，获得具有H×1×1数据大小的通道 注意图；然后，对最大池化和平均池化特征进行逐元素求和；
然后，将得到的通道注意力特征图与输入特征图进行对应像素相乘， 得到通道注意图；
之后，将通道注意图输入到空间注意力模块，分别对通道注意力特征图进行 最大池化和全局平均池化操作，得到不同的描述符；将这些描述符进行逐元素相加融合在 一起，再将将提取的特征沿通道轴进行卷积并由ELU函数激活，得到最终的空间注意力特征 图；
最后，将空间注意力特征图和通道注意图进行对应像素相乘，得到空 间注意图，也就是注意力模块最后的输出特征图；
（3-2-3）CNN空间特征提取分支的上采样的解码器模块，具体步骤如下：
注意力模块输出的特征图作为解码器模块的输入，需要经过四次上采样的过 程；
对于输入图像执行一个尺度因子为(2,2)的上采样操作，将图像扩大至输入图像 的2倍，插值的方法采用双线性插值法、一个卷积核大小为，步长为1，填充大小为在特 征图的上方和左方各填充一个像素的卷积、一个批归一化、一个ELU激活函数，得到第一个 上采样输出；
对于第一个上采样输出图像执行一个尺度因子为(2,2)的上采样操作，将图像扩 大至输入图像的4倍，插值的方法采用双线性插值法、一个卷积核大小为，步长为1，填 充大小为在特征图的上方和左方各填充一个像素的卷积、一个批归一化、一个ELU激活函 数，得到第二个上采样输出；
对于第二个上采样输出图像执行一个尺度因子为(2,2)的上采样操作，将图像扩 大至输入图像的8倍，插值的方法采用双线性插值法、一个卷积核大小为，步长为1，填 充大小为在特征图的上方和左方各填充一个像素的卷积、一个批归一化、一个ELU激活函 数，得到第三个上采样输出；
对于第三个上采样输出图像执行一个尺度因子为(2, 2)的上采样操作，将图像扩 大至输入图像的16倍，插值的方法采用双线性插值法、一个卷积核大小为，步长为1，填 充大小为在特征图的上方和左方各填充一个像素的卷积，得到第四个上采样输出，输出的 图像大小与初始输入图像大小相同，实现端到端的训练；
（3-3）将预处理后的激光雷达图像输入到CNN高程特征提取分支，训练一个有注意力模块的特征提取模型，具体步骤同CNN空间特征提取分支一样；
（4）构建Transformer光谱特征提取分支、CNN空间特征提取分支和CNN高程特征提 取分支三个分支的对抗性学习模块，Transformer光谱特征提取分支、CNN空间特征提取分 支和CNN高程特征提取分支三个分支的对抗性学习模块相同，整个模块由6个卷积层、5个批 归一化层、6个LeakyReLU激活函数和一个全连接层组成，其中第一个卷积、第三个卷积、第 五个卷积和第六个卷积的大小为33，步长为2，填充大小为在特征图的上方和左方各填充 一个像素,第二个卷积和第四个卷积的大小为33，步长为1，填充大小为1，平均池化的大 小为22；
（5）其中基于对抗学习的高光谱和激光雷达多层融合分类方法对抗性学习的具体步骤如下：
（5-1）Transformer光谱特征提取分支、CNN空间特征提取分支和CNN高程特征提取分支三个分支的对抗性学习过程相同，首先，将初始输入图像作为真实图像和第四个上采样输出的图像作为生成图像提供给判别器作为输入；
（5-2）对输入图片执行一个卷积核大小为3×3，步长为2，填充大小为在特征图的上方和左方各填充一个像素的卷积，一个LeakyReLu激活函数，完成第一个卷积模块；
对第一个卷积模块的输出执行一个卷积核大小为33，步长为1，填充大小为1的 卷积，一个批归一化，一个LeakyReLU激活函数，完成第二个卷积模块；
对第二个卷积模块的输出执行一个卷积核大小为3×3，步长为2，填充大小为在特征图的上方和左方各填充一个像素的卷积，一个批归一化，一个LeakyReLu激活函数，完成第三个卷积模块；
对第三个卷积模块的输出执行一个卷积核大小为33，步长为1，填充大小为1的 卷积，一个批归一化，一个LeakyReLU激活函数，完成第四个卷积模块；
对第四个卷积模块的输出执行一个卷积核大小为3×3，步长为2，填充大小为在特征图的上方和左方各填充一个像素的卷积，一个批归一化，一个LeakyReLu激活函数，完成第五个卷积模块；
对第五个卷积模块的输出执行一个卷积核大小为3×3，步长为2，填充大小为在特征图的上方和左方各填充一个像素的卷积，一个批归一化，一个LeakyReLu激活函数，完成第六个卷积模块；
对第六个卷积模块的输出执行一个大小为的平均池化，然后接入一个全连接 层后输出。
第二步，构建一个多层次特征融合分类模块的框架，使用多层次融合多模态的差异特征和相同特征，融合后进行分类，其具体步骤如下：
（1）构建一个多层次特征融合分类的模块，该模块由三个分类支路组成，每条分类 支路的结构相同，由1个卷积层、1个归一化层、1个全连接层组成，其中，卷积的大小为3 3，,步长为1，填充大小为1；
（2）构建一个分类模块，该模块由三个全连接层组成；
（3）多层次特征融合分类的具体步骤如下：
（3-1）将Transformer光谱特征提取分支第一阶段的输出、CNN空间特征提取分支 第二个ELU激活函数的输出和CNN高程特征提取分支第二个ELU激活函数的输出进行通道维 的拼接得到特征图，将Transformer光谱特征提取分支第二阶段的输出、CNN空间特征提 取分支第三个ELU激活函数的输出和CNN高程特征提取分支第三个ELU激活函数的输出进行 通道维的拼接得到特征图，将Transformer光谱特征提取分支第三阶段的输出、CNN空间 特征提取分支第四个ELU激活函数的输出和CNN高程特征提取分支第四个ELU激活函数的输 出进行通道维的拼接得到特征图，将Transformer光谱特征提取分支光谱光谱通道注意 力后的输出、CNN空间特征提取分支注意力模块的输出和CNN高程特征提取分支注意力模块 的输出进行通道维的拼接得到特征图；
（3-2）将拼接得到的特征图输入分层融合模块，分别执行一个大小为33，步长为 1，填充大小为1的卷积，一个归一化层，一个全连接层；
（3-3）将执行完全连接层后的四个向量进行通道维的拼接,对拼接后的向量执行三个全连接层操作，最后输出。
第三步，基于对抗学习的高光谱和激光雷达多层融合分类网络的训练，其具体步骤如下：
（1）整个模型的训练分为两个阶段，模型的训练流程如图1所示，基于对抗学习的高光谱和激光雷达多层融合分类模型对抗性学习阶段和多层次特征融合分类阶段，模型的整体架构如图2所示；
（2）基于对抗学习的高光谱和激光雷达多层融合分类模型对抗性学习阶段，网络模型不包含多层次融合分类的模块；
（2-1）将预处理后无标签的高光谱图像和激光雷达图像，输入到网络模型中，分别经过Transformer光谱特征提取支路、CNN空间特征提取支路和CNN高程特征提取支路，让各个支路的编码器模块分别学习高光谱图像的光谱特征、空间特征和激光雷达的高程特征，其中Transformer光谱特征提取模块如图3所示，Transformer光谱特征提取支路上光谱通道注意力模块如图4所示，CNN空间特征提取支路和CNN高程特征提取支路上注意力模块如图5所示；
（2-2）让各个支路的解码器部分重构输入的高光谱图像，通过判别器模块去监督学习，编码器如图6所示；
（2-3）计算损失函数，对权重参数进行反向传播；
（2-4）判断是否达到设定的轮数，是则得到训练好的基于对抗学习的高光谱和激光雷达多层融合分类模型，否则重新加载数据继续训练；
（3）基于对抗学习的高光谱和激光雷达多层融合分类模型多层次特征融合分类阶段，网络模型不包含Transformer光谱特征提取支路、CNN空间特征提取支路和CNN高程特征提取支路的解码器模块以及判别器模块；
（3-1）将预处理后有标签的高光谱图像和激光雷达图像，输入到网络模型中，分别经过Transformer光谱特征提取支路、CNN空间特征提取支路和CNN高程特征提取支路，让各个支路的编码器模块分别学习高光谱图像的光谱特征、空间特征和激光雷达的高程特征；
（3-2）通过分层融合模块将各个支路相应阶段的特征图进行通道维的拼接实现多层次特征融合，将得到的融合特征图输入到分类模块进行预测分类，分层融合模块如图7所示；
（4）使用L1损失函数和使用交叉熵损失函数的分类损失函数作为网络模型 的总体损失函数，用于对抗性学习阶段约束编码器模块学习正确的分类特征和多层次特征 融合分类阶段对模型的参数进行二次微调，提高分类精度，
（5）通过损失值反向传播确定梯度向量，更新高光谱和基于对抗学习的高光谱和激光雷达多层融合分类模型参数；
（6）判断是否达到设定的训练轮数，若是则完成基于对抗学习的高光谱和激光雷达多层融合分类模型的训练，否则继续训练；
（7）利用得到的训练好的基于对抗学习的高光谱和激光雷达多层融合分类模型，将预处理过的测试数据集输入加载好的模型进行预测，通过计算每个类别的精度、平均精度（AA）、总体精度（OA）和Kappa系数来评价网络模型的分类性。
第四步，获取待分类成对的高光谱和激光雷达遥感影像数据。
第五步，将待分类成对的高光谱和激光雷达遥感影像数据输入融合分类模型进行融合分类处理，得到分类结果。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同。

Claims (3)

1.一种基于对抗学习的高光谱和激光雷达多层融合分类方法，其特征在于，包括以下步骤：
11)基于对抗学习的高光谱和激光雷达多层融合分类数据准备和特征提取：对获取的高光谱和激光雷达数据集进行划分裁剪；构建基于编码器和解码器结构的对抗性学习三分支网络对多模态数据进行特征提取；
12)建立多模态多注意对抗性学习模块：构建一个多模态多注意力对抗性学习的框架，使用光谱通道注意力模块和注意力模块提取多模态的差异特征，通过对抗性学习不断优化学习过程；
121)在数据集上，将每个类别的标记样本中18％被选为训练样本，其余的作为测试样本，根据类别标记样本位置的(x，y)坐标，其中x为横坐标，y为纵坐标，在配对的高光谱图像、激光雷达图像和标签图像上以该坐标为中点，切分出32×32大小图像块；
122)构建并行的三支路的编码器和解码器结构Transformer-CNN-CNN网络，其中Transformer光谱特征提取分支和CNN空间特征提取分支处理高光谱图像，分别提取高光谱图像中的光谱特征和空间特征，CNN高程特征提取分支处理激光雷达图像，提取激光雷达图像中的高程特征；
1221)构建光谱特征提取模块，整个模块包括三个阶段和一个光谱通道注意力机制，每个阶段由一个贴片嵌入层和一个Transformer光谱特征提取模块Li-layer Transformer编码器组成，其中Li-layer表示第i层，按照金字塔结构，三个阶段的输出分辨率从1/4逐渐缩小到1/16，贴片嵌入层由一个线性投影层和层归一化组成，Li-layer Transformer编码器由一个前馈网络、一个空间减少的多头注意力机制和两个层归一化组成；
1222)构建高光谱图像的空间特征提取模块，整个模块由4个卷积层、4个批归一化层、4个ELU激活函数和一个注意力模块组成，其中卷积的大小为3×3，步长为2，填充大小为在特征图的上方和左方各填充一个像素；
1223)构建激光雷达图像的高程信息提取模块，整个模块由4个卷积层、4个批归一化层、4个ELU激活函数和一个注意力模块组成，其中卷积的大小为3×3，步长为2，填充大小为在特征图的上方和左方各填充一个像素；
1224)构建用于特征提取的上采样结构，其结构由4个上采样层，4个卷积层、3个批归一化层和3个ELU激活函数组成，其中上采样采用双线性插值法，上采样层的尺度因子为(2,2)，卷积的大小为3×3，步长为1，填充大小为在特征图的上方和左方各填充一个像素；
123)其中基于对抗学习的高光谱和激光雷达多层融合分类方法特征提取的具体步骤如下：
1231)将预处理后的高光谱图像输入到Transformer光谱特征提取分支，训练一个有光谱通道注意力机制的光谱特征提取模型，具体步骤如下：
12311)预处理后的高光谱图像首先经过三阶段的Transformer光谱特征提取模块，具体步骤如下：
123111)在第一阶段，给定一个大小为H×W×D的输入图像块，首先将其划分成大小为的16个图像块patch，图像块patch大小为输入高光谱图像块的/>在行方向和列方向，间隔取4的选取patch进行拼接，这时通道维度变成原来的16倍，图像的大小变成然后，将沿着通道维展平的patches馈送到线性投影中，得到大小为/>的嵌入图像块patch，将通道维度减小到原来的8倍，经过层归一化后输出，其中，H为输入图像块的高度，W为输入图像块的宽度，D为输入图像块的维度数；
123112)之后，嵌入图像块patch与位置嵌入通过逐像素相加一起，输入L1层的Transformer编码器中，特征标记tokens首先经过层归一化，使得输入数据的均值为0，方差为1，为了学习特征tokens之间的关系，预先为Transformer编码器定义了三个可学习的权重，包括查询权重Wq，用于将输入特征映射到查询空间、键权重Wk，用于将输入特征映射到键空间和值权重Wv，用于将输入特征映射到值空间，通过将特征tokens与三个可学习的权重相乘，它们被线性打包成三个不同的矩阵，即查询Q，键K和值V，然后，键K和值V输入到空间约简运算SSR模块，将大小为(HiWi)×Ci重塑为为通道维度增加的维度倍数，再通过线性投影将通道维度降维到Ci维，最后经过层归一化输出空间约简后的键K*和值V*，大大减少了计算内存开销；SR(·)为空间约简运算，具体公式为:
SR(x)＝Norm(Reshape(x,Ri)WS)，
其中，Ri表示第i阶段注意层的减少比，Reshape(x,Ri)是将输入重塑为序列的操作，/>是一个将输入序列降维为Ci维的线性投影，Norm(·)为归一化层；
123113)获得查询Q和约简后的键K*和值V*，将它们输入到多头注意力模块，使用Q和K*计算注意力分数，使用softmax函数将分数转换为权重概率，最后与V*进行矩阵相乘操作获得注意力增强后的特征图，与Transformer相同，Attention(·)为注意力机制操作，计算公式为:
其中，dhead为注意力头的通道维度数；
123114)通过上述操作，将每个头获得的注意力增强后的特征图在通道维进行拼接，再通过线性投影将拼接后的特征图通道数降到与单头的特征图通道数相同，阶段i的空间约简注意力模块SRA详细可表述为:
其中，Q为多头注意力模块的查询矩阵，K为多头注意力模块的键矩阵，V为多头注意力模块的值矩阵，为第j个注意力头的查询权重，/>为第j个注意力头的键权重，/>为第j个注意力的值权重，WO为线性投影，降低合并多头注意力特征图后的通道维度，Ni为第i阶段Transformer编码器的注意力头的数量；
123115)将SRA模块的输出特征图Zl-1与最初加入位置编码后的特征图Zl通过残差连接进行逐像素相加，得到特征图特征图/>再经过层归一化后输入到前馈网络模块，其模块包含两个具有GELU非线性的层，得到特征图Zl+1；
123116)最后，将特征图和特征图Zl+1通过残差连接，进行逐像素的相加，从而实现特征融合，将形状为/>重塑为/>输出，完成第一阶段；
123117)在第二阶段，将第一阶段输出的特征图作为第二阶段的输入图像块，首先将其划分成大小为的16个patch，patch大小为输入高光谱图像块的/>在行方向和列方向，间隔取2的选取patch进行拼接，这时通道维度变成原来的4倍，图像的大小变成然后，将沿着通道维展平的patches馈送到线性投影中，得到大小为/>的嵌入图像块patch，将通道维度减小到原来的2倍，经过层归一化后输出，其中H为输入图像块的高度，W为输入图像块的宽度，D为输入图像块的维度数；
123118)之后，嵌入图像块patch与位置嵌入通过逐像素相加一起，输入L2层的Transformer编码器中，经过和第一阶段相同的处理之后输出特征图，完成第二阶段；
123119)在第三阶段，将第二阶段输出的特征图作为第二阶段的输出图像块，首先将其划分成大小为的16个patch，patch大小为输入高光谱图像块的/>在行方向和列方向，间隔取2的选取patch进行拼接，这时通道维度变成原来的4倍，图像的大小变成然后，将沿着通道维展平的patches馈送到线性投影中，得到大小为/>的嵌入图像块patch，将通道维度减小到原来的2倍，经过层归一化后输出，之后，嵌入图像块patch与位置嵌入通过逐像素相加一起，输入L3层的Transformer编码器中，经过和第二阶段相同的处理之后输出特征图，完成第三阶段；
12312)将经过三阶段Transformer光谱特征提取模块的特征图，输入到光谱通道注意力模块，具体步骤如下：
123121)将输入特征图形状分别重塑为(H×W)×C和(H×W)×C，将其中一个转置操作后与另一个进行矩阵乘法，再经过一个Softmax激活函数得到C×C大小的权重图；
123122)将获得的权重图与输入特征图进行矩阵相乘，获得通道维特征加强的特征图，最后，重塑特征图的形状为H×W×C，与输入的特征图进行逐像素相加后输出；
12313)Transformer光谱特征提取分支的上采样的解码器模块，具体步骤如下：
123131)光谱通道注意力模块输出的特征图作为解码器模块的输入，需要经过四次上采样的过程；
123132)对于输入图像执行一个尺度因子为(2,2)的上采样操作，将图像扩大至输入图像的2倍，插值的方法采用双线性插值法、一个卷积核大小为3×3，步长为1，填充大小为在特征图的上方和左方各填充一个像素的卷积、一个批归一化、一个ELU激活函数，得到第一个上采样输出；
123133)对于第一个上采样输出图像执行一个尺度因子为(2,2)的上采样操作，将图像扩大至输入图像的4倍，插值的方法采用双线性插值法、一个卷积核大小为3×3，步长为1，填充大小为在特征图的上方和左方各填充一个像素的卷积、一个批归一化、一个ELU激活函数，得到第二个上采样输出；
123134)对于第二个上采样输出图像执行一个尺度因子为(2,2)的上采样操作，将图像扩大至输入图像的8倍，插值的方法采用双线性插值法、一个卷积核大小为3×3，步长为1，填充大小为在特征图的上方和左方各填充一个像素的卷积、一个批归一化、一个ELU激活函数，得到第三个上采样输出；
123135)对于第三个上采样输出图像执行一个尺度因子为(2,2)的上采样操作，将图像扩大至输入图像的16倍，插值的方法采用双线性插值法、一个卷积核大小为3×3，步长为1，填充大小为在特征图的上方和左方各填充一个像素的卷积，得到第四个上采样输出，输出的图像大小与初始输入图像大小相同，实现端到端的训练；
1232)将预处理后的高光谱图像输入到CNN空间特征提取分支，训练一个有注意力模块的特征提取模型，具体步骤如下：
12321)预处理后的高光谱图像首先经过下采样空间特征提取，具体步骤如下：
123211)对于输入图像执行一个卷积核大小为3×3，步长为2，填充大小为在特征图的上方和左方各填充一个像素的卷积、一个批归一化、一个ELU激活函数，得到第一个下采样输出图像，图像大小为输入图像的
123212)对于第一个下采样的输出图像执行一个卷积核大小为3×3，步长为2，填充大小为在特征图的上方和左方各填充一个像素的卷积、一个批归一化、一个ELU激活函数，得到第二个下采样输出图像，图像大小为输入图像的
123213)对于第二个下采样的输出图像执行一个卷积核大小为3×3，步长为2，填充大小为在特征图的上方和左方各填充一个像素的卷积、一个批归一化、一个ELU激活函数，得到第三个下采样输出图像，图像大小为输入图像的
123214)对于第三个下采样的输出图像执行一个卷积核大小为3×3，步长为2，填充大小为在特征图的上方和左方各填充一个像素的卷积、一个批归一化、一个ELU激活函数，得到第四个下采样输出图像，图像大小为输入图像的
12322)将经过4次下采样提取的空间特征，输入到注意力模块，具体步骤如下：
123221)首先，将输入特征图F输入到通道注意力模块，分别对输入特征图F进行最大池化和全局平均池化操作，得到不同的描述符，包括地物的边缘和光滑特征；不同的描述符将通过一个具有一个隐藏层的权重参数共享多层感知机fMLP，获得具有H×1×1数据大小的通道注意图；然后，对最大池化和平均池化特征进行逐元素求和；公式化如下：
其中，F为输入的特征图，fchannel(·)为通道注意力模块，为ELU激活函数操作，fMLP[·]为具有一个隐藏层的权重参数共享多层感知机，fAvg(·)为平均池化操作，fMax(·)为最大池化操作，/>为特征图之间逐像素相加；
123222)然后，将得到的通道注意力特征图fchannel(F)与输入特征图F进行对应像素相乘，得到通道注意图F’；公式化如下：
其中，F为输入的特征图，F’为通道注意图，fchannel(·)为通道注意力模块，为特征之间的元素乘法；
123223)之后，将通道注意图F’输入到空间注意力模块，分别对通道注意力特征图F’进行最大池化和全局平均池化操作，得到不同的描述符；将这些描述符进行逐元素相加融合在一起，再将将提取的特征沿通道轴进行卷积并由ELU函数激活，得到最终的空间注意力特征图fspatial(F’)；公式化如下：
其中，fspatial(·)为空间注意力模块，F’为通道注意图，为ELU激活函数操作，fconv[·]为卷积操作，fAvg(·)为平均池化操作，fMax(·)为最大池化操作，/>为特征图之间逐像素相加；
123224)最后，将空间注意力特征图fspatial(F’)和通道注意图F’进行对应像素相乘，得到空间注意图F”，也就是注意力模块最后的输出特征图；公式化如下：
其中，其中，F’为通道注意图，F”为空间注意图，fspatial(·)为空间注意力模块，为特征之间的元素乘法；
12323)CNN空间特征提取分支的上采样的解码器模块，具体步骤如下：
123231)注意力模块输出的特征图F”作为解码器模块的输入，需要经过四次上采样的过程；
123232)对于输入图像执行一个尺度因子为(2,2)的上采样操作，将图像扩大至输入图像的2倍，插值的方法采用双线性插值法、一个卷积核大小为3×3，步长为1，填充大小为在特征图的上方和左方各填充一个像素的卷积、一个批归一化、一个ELU激活函数，得到第一个上采样输出；
123233)对于第一个上采样输出图像执行一个尺度因子为(2,2)的上采样操作，将图像扩大至输入图像的4倍，插值的方法采用双线性插值法、一个卷积核大小为3×3，步长为1，填充大小为在特征图的上方和左方各填充一个像素的卷积、一个批归一化、一个ELU激活函数，得到第二个上采样输出；
123234)对于第二个上采样输出图像执行一个尺度因子为(2,2)的上采样操作，将图像扩大至输入图像的8倍，插值的方法采用双线性插值法、一个卷积核大小为3×3，步长为1，填充大小为在特征图的上方和左方各填充一个像素的卷积、一个批归一化、一个ELU激活函数，得到第三个上采样输出；
123235)对于第三个上采样输出图像执行一个尺度因子为(2,2)的上采样操作，将图像扩大至输入图像的16倍，插值的方法采用双线性插值法、一个卷积核大小为3×3，步长为1，填充大小为在特征图的上方和左方各填充一个像素的卷积，得到第四个上采样输出，输出的图像大小与初始输入图像大小相同，实现端到端的训练；
1233)将预处理后的激光雷达图像输入到CNN高程特征提取分支，训练一个有注意力模块的特征提取模型，具体步骤同CNN空间特征提取分支一样；
124)构建Transformer光谱特征提取分支、CNN空间特征提取分支和CNN高程特征提取分支三个分支的对抗性学习模块，Transformer光谱特征提取分支、CNN空间特征提取分支和CNN高程特征提取分支三个分支的对抗性学习模块相同，整个模块由6个卷积层、5个批归一化层、6个LeakyReLU激活函数和一个全连接层组成，其中第一个卷积、第三个卷积、第五个卷积和第六个卷积的大小为3×3，步长为2，填充大小为在特征图的上方和左方各填充一个像素,第二个卷积和第四个卷积的大小为3×3，步长为1，填充大小为1，平均池化的大小为2×2；
125)其中基于对抗学习的高光谱和激光雷达多层融合分类方法对抗性学习的具体步骤如下：
1251)Transformer光谱特征提取分支、CNN空间特征提取分支和CNN高程特征提取分支三个分支的对抗性学习过程相同，首先，将初始输入图像作为真实图像和第四个上采样输出的图像作为生成图像提供给判别器作为输入；
1252)对输入图片执行一个卷积核大小为3×3，步长为2，填充大小为在特征图的上方和左方各填充一个像素的卷积，一个LeakyReLu激活函数，完成第一个卷积模块；
对第一个卷积模块的输出执行一个卷积核大小为3×3，步长为1，填充大小为1的卷积，一个批归一化，一个LeakyReLU激活函数，完成第二个卷积模块；
对第二个卷积模块的输出执行一个卷积核大小为3×3，步长为2，填充大小为在特征图的上方和左方各填充一个像素的卷积，一个批归一化，一个LeakyReLu激活函数，完成第三个卷积模块；
对第三个卷积模块的输出执行一个卷积核大小为3×3，步长为1，填充大小为1的卷积，一个批归一化，一个LeakyReLU激活函数，完成第四个卷积模块；
对第四个卷积模块的输出执行一个卷积核大小为3×3，步长为2，填充大小为在特征图的上方和左方各填充一个像素的卷积，一个批归一化，一个LeakyReLu激活函数，完成第五个卷积模块；
对第五个卷积模块的输出执行一个卷积核大小为3×3，步长为2，填充大小为在特征图的上方和左方各填充一个像素的卷积，一个批归一化，一个LeakyReLu激活函数，完成第六个卷积模块；
对第六个卷积模块的输出执行一个大小为2×2的平均池化，然后接入一个全连接层后输出；
1253)使用L1损失函数作为对抗性学习的损失函数，用于计算参考高光谱图像和生成的目标高光谱图像之间的差异；
L1损失函数表达式如下：
其中IHSI为真实的高光谱图像，PHSI为生成的高光谱图像，ILiDAR为真实的激光雷达图像，PLiDAR为生成的激光雷达图像，为Transformer光谱特征提取分支的L1损失函数，/>为CNN空间特征提取分支的L1损失函数，/>为CNN高程特征提取分支的L1损失函数，|| ||1为L1范数；
对抗性学习的整体损失函数：整体的损失函数由三个损失的加权和组成：
α+β+λ＝1，
其中，LL1是对抗性学习的整体损失，α、β、λ为可学习的权重参数；
1254)通过计算损失函数的梯度，将误差从输出层反向传播回网络的每一层，这样，判别器的参数会被更新，以使其更好地区分真实和生成图像；
1255)通过损失值反向传播确定梯度向量，更新基于对抗学习的高光谱和激光雷达多层融合分类模型对抗性学习阶段的模型参数；
1256)判断是否达到设定的训练轮数，若是则完成基于对抗学习的高光谱和激光雷达多层融合分类模型对抗性学习阶段的训练，否则继续训练；
13)建立多层次特征融合分类模块：构建一个多层次特征融合分类的模块，在多模态多注意对抗性学习的基础上进行二次微调；
14)基于对抗学习的高光谱和激光雷达多层融合分类网络的训练和结果获取：利用划分好的训练集及其对应标签对所建立的网络模型进行训练并调整参数，直到训练达到预设的迭代次数epoch,最后保留相应的参数与训练好的网络，对其他目标影像分类获取结果。
2.根据权利要求1所述的一种基于对抗学习的高光谱和激光雷达多层融合分类方法，其特征在于，所述多层次特征融合分类模块包括以下步骤：
21)构建一个多层次特征融合分类的模块，该模块由三个分类支路组成，每条分类支路的结构相同，由1个卷积层、1个归一化层、1个全连接层组成，其中，卷积的大小为3×3，步长为1，填充大小为1；
22)构建一个分类模块，该模块由三个全连接层组成；
23)多层次特征融合分类的具体步骤如下：
231)将Transformer光谱特征提取分支第一阶段的输出、CNN空间特征提取分支第二个ELU激活函数的输出和CNN高程特征提取分支第二个ELU激活函数的输出进行通道维的拼接得到特征图X1，将Transformer光谱特征提取分支第二阶段的输出、CNN空间特征提取分支第三个ELU激活函数的输出和CNN高程特征提取分支第三个ELU激活函数的输出进行通道维的拼接得到特征图X2，将Transformer光谱特征提取分支第三阶段的输出、CNN空间特征提取分支第四个ELU激活函数的输出和CNN高程特征提取分支第四个ELU激活函数的输出进行通道维的拼接得到特征图X3，将Transformer光谱特征提取分支经过光谱通道注意力后的输出、CNN空间特征提取分支注意力模块的输出和CNN高程特征提取分支注意力模块的输出进行通道维的拼接得到特征图X4；
232)将拼接得到的特征图输入分层融合模块，分别执行一个大小为3×3，步长为1，填充大小为1的卷积，一个归一化层，一个全连接层；
233)将执行完全连接层后的四个向量进行通道维的拼接,对拼接后的向量执行三个全连接层操作，最后输出；
234)采用交叉熵作为损失函数对网络分类精度进行优化，交叉熵损失函数表达式如下：
其中，N为训练样本个数，xi为基础真值的第i个样本，yi为预测值的第i个样本；
235)通过计算损失函数的梯度，将误差从输出层反向传播回网络的每一层，这样，编码器模块和多层次融合分类模块的参数会被更新，以使其更好地分类；
236)通过损失值反向传播确定梯度向量，更新基于对抗学习的高光谱和激光雷达多层融合分类模型多层次特征融合分类阶段的模型参数；
237)判断是否达到设定的训练轮数，若是则完成基于对抗学习的高光谱和激光雷达多层融合分类模型多层次特征融合分类阶段的训练，否则继续训练。
3.根据权利要求1所述的一种基于对抗学习的高光谱和激光雷达多层融合分类方法，其特征在于，所述基于对抗学习的高光谱和激光雷达多层融合分类网络的训练和结果获取包括以下步骤：
31)整个模型的训练分为两个阶段，基于对抗学习的高光谱和激光雷达多层融合分类模型对抗性学习阶段和多层次特征融合分类阶段；
32)基于对抗学习的高光谱和激光雷达多层融合分类模型对抗性学习阶段，网络模型不包含多层次融合分类的模块；
321)将预处理后无标签的高光谱图像和激光雷达图像，输入到网络模型中，分别经过Transformer光谱特征提取支路、CNN空间特征提取支路和CNN高程特征提取支路，让各个支路的编码器模块分别学习高光谱图像的光谱特征、空间特征和激光雷达的高程特征；
322)让各个支路的解码器部分重构输入的高光谱图像，通过判别器模块去监督学习；
323)计算损失函数，对权重参数进行反向传播；
324)判断是否达到设定的轮数，是则得到训练好的基于对抗学习的高光谱和激光雷达多层融合分类模型，否则重新加载数据继续训练；
33)基于对抗学习的高光谱和激光雷达多层融合分类模型多层次特征融合分类阶段，网络模型不包含Transformer光谱特征提取支路、CNN空间特征提取支路和CNN高程特征提取支路的解码器模块以及判别器模块；
331)将预处理后有标签的高光谱图像和激光雷达图像，输入到网络模型中，分别经过Transformer光谱特征提取支路、CNN空间特征提取支路和CNN高程特征提取支路，让各个支路的编码器模块分别学习高光谱图像的光谱特征、空间特征和激光雷达的高程特征；
332)通过多层融合模块将各个支路相应阶段的特征图进行通道维的拼接实现多层次特征融合，将得到的融合特征图输入到分类模块进行预测分类；
333)计算损失函数，对权重参数进行反向传播；
334)判断是否达到设定的轮数，是则得到训练好的基于对抗学习的高光谱和激光雷达多层融合分类模型，否则重新加载数据继续训练；
34)使用L1损失函数lossL1和使用交叉熵损失函数的分类损失函数作为网络模型的总体损失函数，用于对抗性学习阶段约束编码器模块学习正确的分类特征和多层次特征融合分类阶段对模型的参数进行二次微调，提高分类精度，总体损失函数公式化如下：
L＝λLL1+Lcls，
其中λ是加权系数；
35)通过损失值反向传播确定梯度向量，更新基于对抗学习的高光谱和激光雷达多层融合分类模型参数；
36)判断是否达到设定的训练轮数，若是则完成基于对抗学习的高光谱和激光雷达多层融合分类模型的训练，否则继续训练；
37)利用得到的训练好的基于对抗学习的高光谱和激光雷达多层融合分类模型，将预处理过的测试数据集输入加载好的模型进行预测，通过计算每个类别的精度、平均精度、总体精度和Kappa系数来评价网络模型的分类性能。
CN202410330740.5A 2024-03-22 2024-03-22 一种基于对抗学习的高光谱和激光雷达多层融合分类方法 Active CN117934978B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410330740.5A CN117934978B (zh) 2024-03-22 2024-03-22 一种基于对抗学习的高光谱和激光雷达多层融合分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410330740.5A CN117934978B (zh) 2024-03-22 2024-03-22 一种基于对抗学习的高光谱和激光雷达多层融合分类方法

Publications (2)

Publication Number Publication Date
CN117934978A CN117934978A (zh) 2024-04-26
CN117934978B true CN117934978B (zh) 2024-06-11

Family

ID=90752297

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410330740.5A Active CN117934978B (zh) 2024-03-22 2024-03-22 一种基于对抗学习的高光谱和激光雷达多层融合分类方法

Country Status (1)

Country Link
CN (1) CN117934978B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112905822A (zh) * 2021-02-02 2021-06-04 华侨大学 一种基于注意力机制的深度监督跨模态对抗学习方法
CN115063832A (zh) * 2022-05-07 2022-09-16 南京邮电大学 一种基于全局与局部特征的对抗学习跨模态行人重识别方法
CN115311186A (zh) * 2022-10-09 2022-11-08 济南和普威视光电技术有限公司 一种红外与可见光图像跨尺度注意力对抗融合方法及终端
CN115601282A (zh) * 2022-11-10 2023-01-13 江苏海洋大学（Cn） 基于多判别器生成对抗网络的红外与可见光图像融合方法
WO2023075863A1 (en) * 2021-10-27 2023-05-04 Innopeak Technology, Inc. Adversarial contrastive learning and active adversarial contrastive mix (adversemix) for semi-supervised semantic segmentation
CN116452935A (zh) * 2023-04-21 2023-07-18 华南理工大学 一种基于注意力机制与对抗神经网络的多模态融合方法
CN116468645A (zh) * 2023-06-20 2023-07-21 吉林大学 一种对抗性高光谱多光谱遥感融合方法
CN117036879A (zh) * 2023-07-24 2023-11-10 湖南大学 高光谱与激光雷达多模图像空谱融合地物识别方法与装置
CN117131376A (zh) * 2023-08-31 2023-11-28 西安电子科技大学 一种基于视变换结合生成对抗网络进行持续学习的高光谱跨域鲁棒异常检测方法、系统、设备及介质
CN117333410A (zh) * 2023-10-12 2024-01-02 江苏海洋大学 基于Swin Transformer与GAN的红外与可见光图像融合方法
CN117350923A (zh) * 2023-10-16 2024-01-05 江苏海洋大学 基于GAN和Transformer的全色与多光谱遥感图像融合方法
CN117475216A (zh) * 2023-11-01 2024-01-30 哈尔滨工程大学 一种基于aglt网络的高光谱与激光雷达数据融合分类方法
WO2024040828A1 (zh) * 2022-08-26 2024-02-29 苏州大学 遥感高光谱图像与激光雷达图像融合分类方法及装置
CN117710744A (zh) * 2023-12-21 2024-03-15 西安电子科技大学 基于波段选择特征融合多注意力网络的高光谱图像分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287978B (zh) * 2020-10-07 2022-04-15 武汉大学 一种基于自注意力上下文网络的高光谱遥感图像分类方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112905822A (zh) * 2021-02-02 2021-06-04 华侨大学 一种基于注意力机制的深度监督跨模态对抗学习方法
WO2023075863A1 (en) * 2021-10-27 2023-05-04 Innopeak Technology, Inc. Adversarial contrastive learning and active adversarial contrastive mix (adversemix) for semi-supervised semantic segmentation
CN115063832A (zh) * 2022-05-07 2022-09-16 南京邮电大学 一种基于全局与局部特征的对抗学习跨模态行人重识别方法
WO2024040828A1 (zh) * 2022-08-26 2024-02-29 苏州大学 遥感高光谱图像与激光雷达图像融合分类方法及装置
CN115311186A (zh) * 2022-10-09 2022-11-08 济南和普威视光电技术有限公司 一种红外与可见光图像跨尺度注意力对抗融合方法及终端
CN115601282A (zh) * 2022-11-10 2023-01-13 江苏海洋大学（Cn） 基于多判别器生成对抗网络的红外与可见光图像融合方法
CN116452935A (zh) * 2023-04-21 2023-07-18 华南理工大学 一种基于注意力机制与对抗神经网络的多模态融合方法
CN116468645A (zh) * 2023-06-20 2023-07-21 吉林大学 一种对抗性高光谱多光谱遥感融合方法
CN117036879A (zh) * 2023-07-24 2023-11-10 湖南大学 高光谱与激光雷达多模图像空谱融合地物识别方法与装置
CN117131376A (zh) * 2023-08-31 2023-11-28 西安电子科技大学 一种基于视变换结合生成对抗网络进行持续学习的高光谱跨域鲁棒异常检测方法、系统、设备及介质
CN117333410A (zh) * 2023-10-12 2024-01-02 江苏海洋大学 基于Swin Transformer与GAN的红外与可见光图像融合方法
CN117350923A (zh) * 2023-10-16 2024-01-05 江苏海洋大学 基于GAN和Transformer的全色与多光谱遥感图像融合方法
CN117475216A (zh) * 2023-11-01 2024-01-30 哈尔滨工程大学 一种基于aglt网络的高光谱与激光雷达数据融合分类方法
CN117710744A (zh) * 2023-12-21 2024-03-15 西安电子科技大学 基于波段选择特征融合多注意力网络的高光谱图像分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TransGA-Net: Integration Transformer With Gradient-Aware Feature Aggregation for Accurate Cloud Detection in Remote Sensing Imagery;Kai Xu 等;《IEEE Geoscience and Remote Sensing Letters 》;20240118;1-5 *
高光谱遥感影像与高程数据融合方法综述;杜星乾;侯艳杰;唐轶;;云南民族大学学报(自然科学版);20201231(第01期);51-62 *

Also Published As

Publication number Publication date
CN117934978A (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
CN111191736B (zh) 基于深度特征交叉融合的高光谱图像分类方法
CN115601549B (zh) 基于可变形卷积和自注意力模型的河湖遥感图像分割方法
CN112668494A (zh) 基于多尺度特征提取的小样本变化检测方法
CN111310666B (zh) 一种基于纹理特征的高分辨率影像地物识别与分割方法
CN115690479A (zh) 一种基于卷积Transformer的遥感图像分类方法及系统
CN111401455B (zh) 一种基于Capsules-Unet模型的遥感图像深度学习分类方法和系统
CN110334656B (zh) 基于信源概率加权的多源遥感图像水体提取方法及装置
CN115359372A (zh) 一种基于光流网络的无人机视频运动目标检测方法
CN113705580A (zh) 基于深度迁移学习的高光谱图像分类方法
CN117237740B (zh) 一种基于CNN和Transformer的SAR图像分类方法
CN115393690A (zh) 一种轻量化神经网络的空对地观测多目标识别方法
CN117671509B (zh) 遥感目标检测方法、装置、电子设备及存储介质
CN117496158A (zh) 半监督场景融合改进mbi的对比学习与语义分割方法
CN118314353B (zh) 一种基于双分支多尺度特征融合的遥感图像分割方法
CN114550014B (zh) 道路分割方法及计算机装置
CN116863347A (zh) 一种高效率和精度的遥感图像语义分割方法及应用
CN116311186A (zh) 一种基于改进Transformer模型的植物叶片病变识别方法
CN116486233A (zh) 一种多光谱双流网络的目标检测方法
CN117893827A (zh) 一种基于模态注意力的循环生成学习的高光谱和激光雷达分类方法
Liu et al. High-resolution remote sensing image information extraction and target recognition based on multiple information fusion
Gui et al. A scale transfer convolution network for small ship detection in SAR images
CN113569810A (zh) 一种基于深度学习的遥感影像建筑物变化检测系统及方法
CN117934978B (zh) 一种基于对抗学习的高光谱和激光雷达多层融合分类方法
CN117409020A (zh) 一种基于地基的全天空图像云量计算方法和系统
Jing et al. Time series land cover classification based on semi-supervised convolutional long short-term memory neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant