CN111814607B - 一种适用于小样本高光谱影像分类的深度学习模型 - Google Patents
一种适用于小样本高光谱影像分类的深度学习模型 Download PDFInfo
- Publication number
- CN111814607B CN111814607B CN202010585647.0A CN202010585647A CN111814607B CN 111814607 B CN111814607 B CN 111814607B CN 202010585647 A CN202010585647 A CN 202010585647A CN 111814607 B CN111814607 B CN 111814607B
- Authority
- CN
- China
- Prior art keywords
- representing
- global
- hyperspectral image
- hyperspectral
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013136 deep learning model Methods 0.000 title claims abstract description 18
- 230000015654 memory Effects 0.000 claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 35
- 230000007246 mechanism Effects 0.000 claims abstract description 34
- 238000001228 spectrum Methods 0.000 claims abstract description 31
- 238000005070 sampling Methods 0.000 claims abstract description 25
- 230000003595 spectral effect Effects 0.000 claims abstract description 16
- 230000001419 dependent effect Effects 0.000 claims abstract description 5
- 238000013508 migration Methods 0.000 claims abstract description 5
- 230000005012 migration Effects 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 39
- 230000006870 function Effects 0.000 claims description 29
- 238000011176 pooling Methods 0.000 claims description 20
- 230000004913 activation Effects 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 10
- 230000007787 long-term memory Effects 0.000 claims description 7
- 238000012935 Averaging Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000006403 short-term memory Effects 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 4
- 238000000034 method Methods 0.000 abstract description 26
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Astronomy & Astrophysics (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种适用于小样本高光谱影像分类的深度学习模型，模型的整体框架是以编码‑解码器为基础的，包括：输入待分类的高光谱影像和数据集；对原始数据集进行两次随机采样，生成一组随机的训练样本序列；利用全局卷积长短期记忆模块提取长短范围内的光谱依赖特征以及局部范围内像元的空间关系；利用全局光谱和空间注意力机制分别提取详细的光谱依赖特征和空间细节；利用特征迁移模块恢复语义特征的空间细节；本发明提供了一种新颖的全局学习分类方法，它不仅能充分的挖掘长短范围内光谱特征之间的依赖，还能够提取到长短范围内像元空间特征之间的依赖，实现当训练样本受限时依然能提取到最具判别的特征并保证了分类的精度。
Description
技术领域
本发明涉及深度学习与遥感图像处理领域的结合，主要解决遥感影像地物分类的问题，具体涉及一种适用于小样本高光谱影像分类的深度学习模型。
背景技术
随着遥感技术的快速发展，大量的高空间分辨率和高光谱分辨率的遥感影像数据越来越容易获取。因此如何从这些具有丰富光谱和空间信息的遥感影像中提取出有价值的信息一直是学术界研究的热点之一。其中高光谱影像分类是非常重要的应用之一。高光谱影像数据具有维度高、数据量巨大等特点，正是因为如此，高光谱影像被广泛的应用于目标检测、农业监测、地表覆盖物探测、环境保护以及遥感制图等等。但是正是因为这些特点，导致了高光谱影像波段之间相关性大，信息冗余严重，因此提出了很多方法来解决信息冗余的问题。
在传统的分类方法中，主成分分析法是降低信息冗余比较好的方法，但是它损失了高光谱影像中部分信息。之后提出了支持向量机、最大似然法、多项式逻辑回归和随机森林等方法对遥感影像进行分类，但是这些方法只考虑了影像的光谱信息，而忽略了像元之间的空间相关性。之后又提出K-邻近稀疏表示方法、扩展形态学、条件随机场以及马尔科夫随机场等来充分考虑空间和光谱的信息。这些方法虽然具有比较好的分类效果，但是这些方法需要人工的选择特征，并且无法实现端到端的训练。
随着深度学习在遥感影像上的广泛应用，卷积神经网络成为处理高光谱影像的主流方法。神经网络无需人为的对高光谱影像做任何的预处理和后处理，它完全实现了端到端的模型训练。随着模型的网络层数增加，不同层次的特征可以被提取用于高光谱影像的分类。每一层的权重参数都是通过后向传播进行不断地更新，根据不同的损失函数类型，将模型训练和验证的损失降到最低。
发明内容
有鉴于此，本发明提供了一种适用于小样本高光谱影像分类的深度学习模型，包括以下步骤：
S1、输入待分类的高光谱影像，并输入与待分类的高光谱影像对应的样本数据集；
S2、对S1中的样本数据集采用全局双随机采样的策略，生成一组随机的训练样本序列；
S3、将待分类的高光谱影像输入到编码-解码器中，并对高光谱影像的空间大小进行填充，使填充后的高光谱影像的空间尺寸大小满足编码器n次下采样的尺寸要求；并改变填充后的高光谱影像通道数使其满足组正则化的组数要求，n大于等于3；
S4、将满足下采样的尺寸要求的高光谱影像输入到全局卷积长短期记忆模块中，来挖掘长短范围内高光谱影像的光谱依赖特征并生成相应的特征图，特征图中包括高光谱影像的空间特征和光谱特征；
S5、将步骤S4生成的特征图分别输入到空间注意力机制和光谱注意力机制中，来重新加权提取到的空间特征和光谱特征；最后将光谱注意力机制和空间注意力机制生成的特征图进行堆叠，从而共同保留增强后的光谱特征和空间特征；
S6、将步骤S5堆叠后的特征图通过特征迁移模块与解码器生成的特征图进行融合，生成恢复了空间细节的语义特征图；
S7、将步骤S5堆叠后的特征图通过使用卷积核大小为3×3，步长为2的过滤器使其变为空间尺寸缩小一倍的特征图；
S8、循环S4-S7：将经S7生成的特征图执行步骤S4-S6，执行n次，生成n+1个语义特征图，通过解码器将n+1个语义特征图进行融合，经过softmax分类器最终生成高光谱影像分类图；
S9、将S8生成的高光谱影像分类图与步骤S2生成的训练样本序列进行比较并计算损失函数值，根据损失函数值通过后向传播计算不断地更新编码-解码器中的参数；
S10、重复步骤S3-S9，直到损失函数值降到k且达到收敛为止，得到高光谱影像分类图；对生成的高光谱影像分类图进行裁剪，并输出最终的高光谱影像分类图，k为预设值。
进一步地，所述步骤S2中，全局双随机采样策略的具体步骤为：
S21、对样本数据集进行第一次采样，将样本数据集划分为训练数据和测试数据，训练数据中每个类别的数量是根据比例进行划分，各类别的训练样本数量为该类别总标记样本量的m％，m为预设占比；
S22、对训练数据进行第二次采样，生成一组随机序列的训练样本，每个批次训练样本中各类别的样本数设置了阈值，使各类别样本数在5～10范围内。
进一步地，所述步骤S3中，图像填充和组正则化的具体步骤为：
S31、将待分类的高光谱影像宽度和高度增大为2n的倍数，其中n为下采样次数，并用数值“0”来填充扩张的区域，生成满足下采样的尺寸要求的高光谱影像；
S32、根据组正则化的组数将满足下采样的尺寸要求的高光谱影像的光谱通道数转化为4r的倍数，其中r为整数，取值范围为1≤r≤4。
进一步地，所述步骤S4具体步骤为：
S41、全局卷积长短期记忆的第一层将输入的满足下采样的尺寸要求的高光谱影像分为4r个部分，其中r为整数，取值范围为1≤r≤4，并分别输入到每一个全局卷积长短期记忆的单元中，全局卷积长短期记忆的第二层，将每一个时间步输入的高光谱影像压缩为原来的一半；
S42、全局卷积长短期记忆单元将每一个时间步输入的高光谱影像进行卷积运算，将输出的隐藏状态和记忆细胞输入到下一层记忆单元以及下一时间步的记忆单元中，各时间步记忆单元的公式为：
其中it表示t时间步输入门的卷积运算，ft表示t时间步遗忘门的卷积运算，ot表示t时间步输出门的卷积运算，Ht表示t时间步的隐藏状态，Ht-1表示t-1时间步的隐藏状态，Ct表示t时间步的记忆细胞，Ct-1表示t-1时间步的记忆细胞，σ表示非线性激活函数sigma，WFi代表输入数据与输入门之间的权重矩阵，Whi代表上一时刻隐藏状态与输入门之间的权重矩阵，Wci代表上一时刻记忆细胞Cell状态与输入门之间的权重矩阵，bi代表输入门的偏差向量，WFf代表输入数据与遗忘门之间的权重矩阵，Whf代表上一时刻隐藏状态与遗忘门之间的权重矩阵，Wcf代表上一个Cell状态与遗忘门之间的权重矩阵，bf代表遗忘门的偏差向量，WFc代表输入数据与当前时刻Cell状态之间的权重矩阵，Whc代表上一时刻隐藏状态与当前时刻Cell状态之间的权重矩阵，bc代表记忆单元的偏差向量，WFo代表输入数据与输出门之间的权重矩阵，Who代表上一时刻隐藏状态与输出门之间的权重矩阵，Wco代表上一时刻Cell状态与输出门之间的权重矩阵，bo代表输出门的偏差向量，b表示偏差，表示矩阵中对应元素相乘，/>表示矩阵相乘，Ft表示输入的高光谱影像。
进一步地，所述步骤S5具体步骤为：
S51、利用全局联合注意力机制中的光谱注意力机制，将生成的特征图进行层次的划分，对特征图的光谱特征重新分配权重，光谱加权的公式为：
其中，Mc(F)表示经过光谱注意力机制后生成的特征图，σ表示非线性激活函数sigma，AvgPool为平均池化层，MaxPool为最大池化层，表示经过全局平均池化后生成的特征图，/>表示经过全局最大池化后生成的特征图，MLP表示具有三层感知机的卷积运算，W1和W0分别表示三层感知机中的权重参数，F表示输入的特征图；
S52、利用全局联合注意力机制中的空间注意力机制，对特征图的空间特征重新分配权重，并提取注意力区域，空间加权的公式为：
其中Ms(F)表示经过空间注意力机制后生成的特征图，σ表示非线性激活函数sigma，AvgPool为平均池化层，MaxPool为最大池化层，表示经过全局平均池化后生成的特征图，/>表示经过全局最大池化后生成的特征图，fN×N表示卷积运算，F表示输入的特征图。
进一步地，所述步骤S9中损失函数值计算公式如下：
其中，Loss表示损失函数，y表示真实的样本类别标签，表示模型预测的样本类别标签。
进一步地，所述步骤S10中，损失函数值k的范围为0.01<k<0.015。
本发明提供的技术方案带来的有益效果是：
(1)改变了传统以块为基础的分类方法，实现了全局空间上下文信息共享的计算方式；
(2)通过全局双随机采样策略获取到足够的训练样本数据，保证了全局学习模型能够在训练样本不足时依然收敛；
(3)通过共享全局的空间信息提取长短波段范围内的光谱依赖特征，这能够很好的解决光谱信息冗余问题，并且突出了光谱之间潜在的关联，即使在训练样本不足时，也能够提取到深层的特征来提高分类的性能；
(4)通过全局联合注意力机制来突出提取的光谱依赖特征，并对生成的空间特征进行重新加权，从而保证影像经过下采样和特征迁移后重要的空间信息依然被很好的保留；这样能有效的恢复语义特征的空间细节，从而获得更好的分类精度。
附图说明
图1为本发明一种适用于小样本高光谱影像分类的深度学习模型的流程图；
图2为本发明一种适用于小样本高光谱影像分类的深度学习模型中Indian Pines数据集每个类别训练数据和测试数据的数量；
图3为本发明一种适用于小样本高光谱影像分类的深度学习模型中卷积长短期记忆的总体结构；
图4为本发明一种适用于小样本高光谱影像分类的深度学习模型中卷积长短期记忆单元的结构；
图5为本发明一种适用于小样本高光谱影像分类的深度学习模型中Indian Pines数据集用不同分类方法获得的分类图对比结果。
具体实施方式
为了对本发明的技术方案、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
具体实施方式公开了一种适用于小样本高光谱影像分类的深度学习模型，如图1所示，具体操作步骤如下：
S1、输入待分类的高光谱影像，并输入与待分类的高光谱影像对应的样本数据集；本实施例一共使用了三组高光谱影像，但在此实例中仅对Indian Pines高光谱影像和数据集进行分析和讨论。影像的地表覆盖主要是农业种植区，其空间分辨率为20m，波长范围为0.4-2.5μm，一共有220个波段，去除水吸收波段后保留了200个有用波段。每个待分类的高光谱影像包含了16种地物类型，每个待分类的高光谱影像有10249个像元被标记。
S2、对S1中的样本数据集采用全局双随机采样的策略，生成一组随机的训练样本序列；即使用全局双随机采样策略对Indian Pines数据集进行划分，第一次全局随机采样是从所有的标记样本中选出5％的样本作为训练数据，如果某个类别的训练样本数不足5个，则在标记样本中随机的选取5个该类别样本作为该类别的训练数据，剩下95％的样本作为测试数据，划分结果如图2所示，第二次全局随机采样是将这5％的训练数据再随机的分配到各批次的训练样本中，每个训练样本各类别的数量设定在5-10之间，一共划分为20个批次并将其作为一组随机的训练样本序列。
S3、将待分类的高光谱影像输入到编码-解码器中，并对高光谱影像的空间大小进行填充，使填充后的高光谱影像的空间尺寸大小满足编码器n次下采样的尺寸要求，n最小取值为3；并改变填充后的高光谱影像通道数使其满足组正则化的组数要求；
S31、将待分类的高光谱影像宽度和高度增大为2n的倍数，其中n为下采样次数，并用数值“0”来填充扩张的区域，生成满足下采样的尺寸要求的高光谱影像；
S32、根据组正则化的组数将满足下采样的尺寸要求的高光谱影像的光谱通道数转化为4r的倍数；本实施例中取r＝2，即8的倍数。
由于该模型是以编码-解码器为基础的，因此在进行编码时会逐渐的减少输入图像的空间尺寸，该模型一共进行了三次下采样并且每次下采样都是将图像的空间尺寸减少一半，因此将待分类的高光谱影像的空间尺寸增大为8的倍数。并且每次卷积都会进行组正则化，而组数为4，并且考虑到全局卷积长短期记忆的时间步为8，因此会将每个特征影像的通道数都设置为8的倍数，使模型能正常训练，每次组正则化后都会添加Relu非线性激活函数，从而生成更多的非线性特征。
S4、将满足下采样的尺寸要求的高光谱影像以及每次下采样后的特征图输入到全局卷积长短期记忆模块中，来挖掘长短范围内高光谱影像的光谱依赖特征并生成相应的特征图，特征图中包括高光谱影像的空间特征和光谱特征；全局卷积长短期记忆模块一共设置为两层，每一层都是由8个时间步组成，将输入的特征图按通道平均分成8份并依次输入到第一层的各时间步中，再将输出的特征输入到第二层使各时间步中的通道数减少一半，最后将生成的特征进行堆叠使其通道数缩小为输入图像的一半。全局卷积长短期记忆模块如图3所示。每一个时间步都是由记忆单元组成的，它能对输入特征和前一个时间步的隐藏状态和记忆细胞进行卷积运算卷积核大小为5×5，并将输出的隐藏状态和记忆细胞输入到下一个记忆单元中。记忆单元的结构如图4所示；具体步骤如下：
S41、全局卷积长短期记忆的第一层将输入的满足下采样的尺寸要求的高光谱影像分为4r个部分，本实施例中r＝2，即8个部分，并分别输入到每一个全局卷积长短期记忆的单元中，全局卷积长短期记忆的第二层，将每一个时间步输入的高光谱影像压缩为原来的一半；
S42、全局卷积长短期记忆单元将每一个时间步输入的高光谱影像进行卷积运算，将输出的隐藏状态和记忆细胞输入到下一层记忆单元以及下一时间步的记忆单元中，各时间步记忆单元的公式为：
其中it表示t时间步输入门的卷积运算，ft表示t时间步遗忘门的卷积运算，ot表示t时间步输出门的卷积运算，Ht表示t时间步的隐藏状态，Ht-1表示t-1时间步的隐藏状态，Ct表示t时间步的记忆细胞，Ct-1表示t-1时间步的记忆细胞，σ表示非线性激活函数sigma，WFi代表输入数据与输入门之间的权重矩阵，Whi代表上一时刻隐藏状态与输入门之间的权重矩阵，Wci代表上一时刻记忆细胞Cell状态与输入门之间的权重矩阵，bi代表输入门的偏差向量。WFf代表输入数据与遗忘门之间的权重矩阵，Whf代表上一时刻隐藏状态与遗忘门之间的权重矩阵，Wcf代表上一个Cell状态与遗忘门之间的权重矩阵，bf代表遗忘门的偏差向量。WFc代表输入数据与当前时刻Cell状态之间的权重矩阵，Whc代表上一时刻隐藏状态与当前时刻Cell状态之间的权重矩阵，bc代表记忆单元的偏差向量。WFo代表输入数据与输出门之间的权重矩阵，Who代表上一时刻隐藏状态与输出门之间的权重矩阵，Wco代表上一时刻Cell状态与输出门之间的权重矩阵，bo代表输出门的偏差向量，b表示偏差，表示矩阵中对应元素相乘，/>表示矩阵相乘，Ft表示输入的高光谱影像。
S5、将步骤S4生成的特征图分别输入到空间注意力机制和光谱注意力机制中，来重新加权提取到的空间特征和光谱特征；特征图经过这两个注意力机制后，光谱通道数并没有发生改变。其中光谱注意力机制中存在一个三层感知机，降低率被设置为16，最后将光谱注意力机制和空间注意力机制生成的特征图进行堆叠，从而共同保留增强后的光谱特征和空间特征；
S51、利用全局联合注意力机制中的光谱注意力机制，将生成的特征图进行层次的划分，对特征图的光谱特征重新分配权重，光谱加权的公式为：
其中，Mc(F)表示经过光谱注意力机制后生成的特征图，AvgPool为平均池化层，MaxPool为最大池化层，σ表示非线性激活函数sigma，表示经过全局平均池化后生成的特征图，/>表示经过全局最大池化后生成的特征图，MLP表示具有三层感知机的卷积运算，W1和W0分别表示三层感知机中的权重参数，F表示输入的特征图；
S52、利用全局联合注意力机制中的空间注意力机制，对特征图的空间特征重新分配权重，并提取注意力区域，空间加权的公式为：
其中Ms(F)表示经过空间注意力机制后生成的特征图，σ表示非线性激活函数sigma，AvgPool为平均池化层，MaxPool为最大池化层，表示经过全局平均池化后生成的特征图，/>表示经过全局最大池化后生成的特征图，fN×N表示卷积运算，F表示输入的特征图。
S6、将步骤S5堆叠后的特征图通过特征迁移模块与解码器生成的特征图进行融合，生成恢复了空间细节的语义特征图；使得每次下采样后获得的像元空间信息与初始状态相似。其中下采样是使用最邻近的采样策略，尺度因子设置为2。
S7、将步骤S5堆叠后的特征图通过使用卷积核大小为3×3，步长为2的过滤器使其变为空间尺寸缩小一倍的特征图；
S8、循环S4-S7：将经S7生成的特征图执行步骤S4-S6，执行n次，生成n+1个语义特征图，n为下采样次数，本实施例中n＝3，通过解码器将n+1个语义特征图进行融合，经过softmax分类器最终生成高光谱影像分类图；
S9、将S8生成的高光谱影像分类图与步骤S2生成的训练样本序列进行比较并计算损失函数值，根据损失函数值通过后向传播计算不断地更新编码-解码器中的参数；损失函数值计算公式如下：
其中，Loss表示损失函数，y表示真实的样本类别标签，表示模型预测的样本类别标签。
S10、重复步骤S3-S9，直到损失函数值降到k且达到收敛为止，本实施例中，模型动量设置为0.9，权重衰减率设置为0.001。同时采用了学习率衰减的方法并将初始的学习率设置为0.001，衰减率设置为0.9。为了保证本发明提出模型的收敛，设置迭代次数为300。损失函数值k的范围为0.01<k<.0015，得到高光谱影像分类图；对生成的高光谱影像分类图进行裁剪，并输出最终的高光谱影像分类图。
S11：对分类结果进行分析和评价。图5展示了不同方法在Indian Pines数据集上的分类图，(h)为本实施例提出方法的分类图，从可视化的角度进行分析，本实施例提出的方法对地物的整体结构和地物边界都具有很好的判别能力，分类结果更符合实际的地物分布，与以块为基础的分类方法相比，无块的分类方法获得的分类图更平滑，噪声更少。表1展示了不同分类方法精度评价结果的对比，总体上能看出本实施例提出的方法具有最好的分类精度，并且各类别的精度也比其他方法要更好，从而说明了本实施例方法的有效性。
表1各分类方法精度评价结果的对比
Claims (6)
1.一种适用于小样本高光谱影像分类的深度学习模型，其特征在于，包括以下步骤：
S1、输入待分类的高光谱影像，并输入与待分类的高光谱影像对应的样本数据集；
S2、对S1中的样本数据集采用全局双随机采样的策略，生成一组随机的训练样本序列；
全局双随机采样策略的具体步骤为：
S21、对样本数据集进行第一次采样，将样本数据集划分为训练数据和测试数据，训练数据中每个类别的数量是根据比例进行划分，各类别的训练样本数量为该类别总标记样本量的m％，m为预设占比；
S22、对训练数据进行第二次采样，生成一组随机序列的训练样本，每个批次训练样本中各类别的样本数设置了阈值，使各类别样本数在5～10范围内；
S3、将待分类的高光谱影像输入到编码-解码器中，并对高光谱影像的空间大小进行填充，使填充后的高光谱影像的空间尺寸大小满足编码器n次下采样的尺寸要求；并改变填充后的高光谱影像通道数使其满足组正则化的组数要求，n大于等于3；
S4、将满足下采样的尺寸要求的高光谱影像输入到全局卷积长短期记忆模块中，来挖掘长短范围内高光谱影像的光谱依赖特征并生成相应的特征图，特征图中包括高光谱影像的空间特征和光谱特征；
S5、将步骤S4生成的特征图分别输入到空间注意力机制和光谱注意力机制中，来重新加权提取到的空间特征和光谱特征；最后将光谱注意力机制和空间注意力机制生成的特征图进行堆叠，从而共同保留增强后的光谱特征和空间特征；
S6、将步骤S5堆叠后的特征图通过特征迁移模块与解码器生成的特征图进行融合，生成恢复了空间细节的语义特征图；
S7、将步骤S5堆叠后的特征图通过使用卷积核大小为3×3，步长为2的过滤器使其变为空间尺寸缩小一倍的特征图；
S8、循环S4-S7：将经S7生成的特征图执行步骤S4-S6，执行n次，生成n+1个语义特征图，通过解码器将n+1个语义特征图进行融合，经过softmax分类器最终生成高光谱影像分类图；
S9、将S8生成的高光谱影像分类图与步骤S2生成的训练样本序列进行比较并计算损失函数值，根据损失函数值通过后向传播计算不断地更新编码-解码器中的参数；
S10、重复步骤S3-S9，直到损失函数值降到k且达到收敛为止，得到高光谱影像分类图；对生成的高光谱影像分类图进行裁剪，并输出最终的高光谱影像分类图，k为预设值。
2.根据权利要求1所述的一种适用于小样本高光谱影像分类的深度学习模型，其特征在于，所述步骤S3中，图像填充和组正则化的具体步骤为：
S31、将待分类的高光谱影像宽度和高度增大为2n的倍数，其中n为下采样次数，并用数值“0”来填充扩张的区域，生成满足下采样的尺寸要求的高光谱影像；
S32、根据组正则化的组数将满足下采样的尺寸要求的高光谱影像的光谱通道数转化为4r的倍数，其中r为整数，取值范围为1≤r≤4。
3.根据权利要求1所述的一种适用于小样本高光谱影像分类的深度学习模型，其特征在于，所述步骤S4具体步骤为：
S41、全局卷积长短期记忆的第一层将输入的填充后的高光谱影像分为4r个部分，其中r为整数，取值范围为1≤r≤4，并分别输入到每一个全局卷积长短期记忆的单元中，全局卷积长短期记忆的第二层，将每一个时间步输入的高光谱影像压缩为原来的一半；
S42、全局卷积长短期记忆单元将每一个时间步输入的高光谱影像进行卷积运算，将输出的隐藏状态和记忆细胞输入到下一层记忆单元以及下一时间步的记忆单元中，各时间步记忆单元的公式为：
其中it表示t时间步输入门的卷积运算，ft表示t时间步遗忘门的卷积运算，ot表示t时间步输出门的卷积运算，Ht表示t时间步的隐藏状态，Ht-1表示t-1时间步的隐藏状态，Ct表示t时间步的记忆细胞，Ct-1表示t-1时间步的记忆细胞，σ表示非线性激活函数sigma，WFi代表输入数据与输入门之间的权重矩阵，Whi代表上一时刻隐藏状态与输入门之间的权重矩阵，Wci代表上一时刻记忆细胞Cell状态与输入门之间的权重矩阵，bi代表输入门的偏差向量，WFf代表输入数据与遗忘门之间的权重矩阵，Whf代表上一时刻隐藏状态与遗忘门之间的权重矩阵，Wcf代表上一个Cell状态与遗忘门之间的权重矩阵，bf代表遗忘门的偏差向量，WFc代表输入数据与当前时刻Cell状态之间的权重矩阵，Whc代表上一时刻隐藏状态与当前时刻Cell状态之间的权重矩阵，bc代表记忆单元的偏差向量，WFo代表输入数据与输出门之间的权重矩阵，Who代表上一时刻隐藏状态与输出门之间的权重矩阵，Wco代表上一时刻Cell状态与输出门之间的权重矩阵，bo代表输出门的偏差向量，b表示偏差，表示矩阵中对应元素相乘，/>表示矩阵相乘，Ft表示输入的高光谱影像。
4.根据权利要求1所述的一种适用于小样本高光谱影像分类的深度学习模型，其特征在于，所述步骤S5具体步骤为：
S51、利用全局联合注意力机制中的光谱注意力机制，将生成的特征图进行层次的划分，对特征图的光谱特征重新分配权重，光谱加权的公式为：
其中，Mc(F)表示经过光谱注意力机制后生成的特征图，σ表示非线性激活函数sigma，AvgPool为平均池化层，MaxPool为最大池化层，表示经过全局平均池化后生成的特征图，/>表示经过全局最大池化后生成的特征图，MLP表示具有三层感知机的卷积运算，W1和W0分别表示三层感知机中的权重参数，F表示输入的特征图；
S52、利用全局联合注意力机制中的空间注意力机制，对特征图的空间特征重新分配权重，并提取注意力区域，空间加权的公式为：
其中Ms(F)表示经过空间注意力机制后生成的特征图，σ表示非线性激活函数sigma，AvgPool为平均池化层，MaxPool为最大池化层，表示经过全局平均池化后生成的特征图，/>表示经过全局最大池化后生成的特征图，fN×N表示卷积运算，F表示输入的特征图。
5.根据权利要求1所述的一种适用于小样本高光谱影像分类的深度学习模型，其特征在于，所述步骤S9中损失函数值计算公式如下：
其中，Loss表示损失函数，y表示真实的样本类别标签，表示模型预测的样本类别标签。
6.根据权利要求1所述的一种适用于小样本高光谱影像分类的深度学习模型，其特征在于，所述步骤S10中，损失函数值k的范围为0.01<k<0.015。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010585647.0A CN111814607B (zh) | 2020-06-24 | 2020-06-24 | 一种适用于小样本高光谱影像分类的深度学习模型 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010585647.0A CN111814607B (zh) | 2020-06-24 | 2020-06-24 | 一种适用于小样本高光谱影像分类的深度学习模型 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111814607A CN111814607A (zh) | 2020-10-23 |
| CN111814607B true CN111814607B (zh) | 2023-12-29 |
Family
ID=72845635
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010585647.0A Active CN111814607B (zh) | 2020-06-24 | 2020-06-24 | 一种适用于小样本高光谱影像分类的深度学习模型 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111814607B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112528803B (zh) * | 2020-12-03 | 2023-12-19 | 中国地质大学（武汉） | 道路特征提取方法、装置、设备及存储介质 |
| CN112668421B (zh) * | 2020-12-18 | 2022-04-29 | 武汉大学 | 一种基于注意力机制的无人机高光谱农作物快速分类方法 |
| CN112766099B (zh) * | 2021-01-07 | 2022-06-07 | 武汉大学 | 一种从局部到全局上下文信息提取的高光谱影像分类方法 |
| CN113506620A (zh) * | 2021-01-20 | 2021-10-15 | 夏凤兰 | 一种基于区块链的医疗管理系统及方法 |
| CN112926452B (zh) * | 2021-02-25 | 2022-06-14 | 东北林业大学 | 一种基于GCN和GRU增强U-Net特征的高光谱分类方法及系统 |
| CN114298177A (zh) * | 2021-12-16 | 2022-04-08 | 广州瑞多思医疗科技有限公司 | 一种适用于深度学习训练数据的扩充增强方法、系统及可读存储介质 |
| CN114912533B (zh) * | 2022-05-23 | 2023-02-07 | 国网安徽省电力有限公司铜陵供电公司 | 一种应用于变压器的状态监测系统及监测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109376804A (zh) * | 2018-12-19 | 2019-02-22 | 中国地质大学（武汉） | 基于注意力机制和卷积神经网络高光谱遥感图像分类方法 |
| CN110287944A (zh) * | 2019-07-04 | 2019-09-27 | 吉林大学 | 基于深度学习的多光谱遥感影像的农作物虫害监测方法 |
| CN110516596A (zh) * | 2019-08-27 | 2019-11-29 | 西安电子科技大学 | 基于Octave卷积的空谱注意力高光谱图像分类方法 |
| CN110598594A (zh) * | 2019-08-29 | 2019-12-20 | 武汉大学 | 基于空谱自适应双向长短时记忆模型的高光谱分类方法 |
| CN110852225A (zh) * | 2019-10-31 | 2020-02-28 | 中国地质大学（武汉） | 基于深度卷积神经网络的遥感影像红树林提取方法及系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11068737B2 (en) * | 2018-03-30 | 2021-07-20 | Regents Of The University Of Minnesota | Predicting land covers from satellite images using temporal and spatial contexts |
| US11257213B2 (en) * | 2018-10-25 | 2022-02-22 | Koninklijke Philips N.V. | Tumor boundary reconstruction using hyperspectral imaging |
-
2020
- 2020-06-24 CN CN202010585647.0A patent/CN111814607B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109376804A (zh) * | 2018-12-19 | 2019-02-22 | 中国地质大学（武汉） | 基于注意力机制和卷积神经网络高光谱遥感图像分类方法 |
| CN110287944A (zh) * | 2019-07-04 | 2019-09-27 | 吉林大学 | 基于深度学习的多光谱遥感影像的农作物虫害监测方法 |
| CN110516596A (zh) * | 2019-08-27 | 2019-11-29 | 西安电子科技大学 | 基于Octave卷积的空谱注意力高光谱图像分类方法 |
| CN110598594A (zh) * | 2019-08-29 | 2019-12-20 | 武汉大学 | 基于空谱自适应双向长短时记忆模型的高光谱分类方法 |
| CN110852225A (zh) * | 2019-10-31 | 2020-02-28 | 中国地质大学（武汉） | 基于深度卷积神经网络的遥感影像红树林提取方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| Small sample classification of hyperspectral remote sensing images based on sequential joint deeping learning model;Wang Z等;IEEE Access;全文 * |
| Unsupervised Spatial–Spectral Feature Learning by 3D Convolutional Autoencoder for Hyperspectral Classification;S. Mei等;IEEE Transactions on Geoscience and Remote Sensing;第57卷(第9期);全文 * |
| 深度学习方法在作物遥感分类中的应用和挑战;赵红伟等;中国农业资源与区划(第02期);全文 * |
| 面向高分辨率遥感影像场景语义理解的概率主题模型研究;朱祺琪;中国博士论文全文库;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111814607A (zh) | 2020-10-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111814607B (zh) | 一种适用于小样本高光谱影像分类的深度学习模型 | |
| CN111191736B (zh) | 基于深度特征交叉融合的高光谱图像分类方法 | |
| CN111612066B (zh) | 基于深度融合的卷积神经网络的遥感图像分类方法 | |
| KR102197297B1 (ko) | 순환형 3차원 완전 합성곱망을 활용한 초분광영상의 변화탐지 방법 | |
| CN112232280A (zh) | 基于自编码器与3d深度残差网络的高光谱图像分类方法 | |
| CN111191514A (zh) | 一种基于深度学习的高光谱图像波段选择方法 | |
| CN111507521A (zh) | 台区电力负荷预测方法及预测装置 | |
| Foresti et al. | Learning wind fields with multiple kernels | |
| Qing et al. | Spatial‐spectral classification of hyperspectral images: a deep learning framework with Markov Random fields based modelling | |
| CN113095409A (zh) | 基于注意力机制和权值共享的高光谱图像分类方法 | |
| CN111814685A (zh) | 基于双支路卷积自编码器的高光谱图像分类方法 | |
| CN113240683B (zh) | 基于注意力机制的轻量化语义分割模型构建方法 | |
| CN112949416B (zh) | 一种监督的高光谱多尺度图卷积分类方法 | |
| CN113435253A (zh) | 一种多源影像联合城区地表覆盖分类方法 | |
| Feng et al. | Dual-graph convolutional network based on band attention and sparse constraint for hyperspectral band selection | |
| CN101826160B (zh) | 基于免疫进化策略的高光谱图像分类方法 | |
| Huang et al. | Compressing multidimensional weather and climate data into neural networks | |
| Abdalla et al. | Deep learning weather forecasting techniques: literature survey | |
| Wang et al. | A band selection approach based on Lévy sine cosine algorithm and alternative distribution for hyperspectral image | |
| CN115439679A (zh) | 一种联合多注意及Transformer的高光谱图像分类方法 | |
| Feng et al. | Hyperspectral band selection based on ternary weight convolutional neural network | |
| Singh et al. | Mono-and dual-regulated contractive-expansive-contractive deep convolutional networks for classification of multispectral remote sensing images | |
| CN117233869B (zh) | 一种基于GRU-BiTCN的站点短期风速预测方法 | |
| Elbeltagi et al. | Advanced stacked integration method for forecasting long-term drought severity: CNN with machine learning models | |
| CN115348182A (zh) | 一种基于深度堆栈自编码器的长期频谱预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |