CN113762128A - 一种基于无监督学习的高光谱影像分类方法 - Google Patents
一种基于无监督学习的高光谱影像分类方法 Download PDFInfo
- Publication number
- CN113762128A CN113762128A CN202111016331.0A CN202111016331A CN113762128A CN 113762128 A CN113762128 A CN 113762128A CN 202111016331 A CN202111016331 A CN 202111016331A CN 113762128 A CN113762128 A CN 113762128A
- Authority
- CN
- China
- Prior art keywords
- feature
- hyperspectral image
- classification
- space
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 238000001228 spectrum Methods 0.000 claims abstract description 74
- 238000012549 training Methods 0.000 claims abstract description 64
- 230000003595 spectral effect Effects 0.000 claims abstract description 35
- 238000013145 classification model Methods 0.000 claims abstract description 30
- 238000011176 pooling Methods 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 19
- 238000013136 deep learning model Methods 0.000 claims description 9
- 230000003321 amplification Effects 0.000 claims description 8
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000000513 principal component analysis Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 241001466077 Salina Species 0.000 description 21
- 239000000523 sample Substances 0.000 description 19
- 238000010586 diagram Methods 0.000 description 13
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 241000507627 Salana Species 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000012468 concentrated sample Substances 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000007306 turnover Effects 0.000 description 2
- 101001114407 Haloarcula marismortui (strain ATCC 43049 / DSM 3752 / JCM 8966 / VKM B-1809) 30S ribosomal protein S6e Proteins 0.000 description 1
- 101000718286 Halobacterium salinarum (strain ATCC 700922 / JCM 11081 / NRC-1) 30S ribosomal protein S13 Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于无监督学习的高光谱影像分类方法，该方法包括获取待分类高光谱影像以及该高光谱影像的光谱特征，利用训练好的分类模型对待分类高光谱影像的光谱特征进行分类，利用预收集的无标记高光谱影像的多视角空谱联合特征构建的源数据集对设计的分类模型进行无监督元训练，元训练后利用少量的有标记的高光谱影像对分类模型进行微调。在本发明中，能够解决现有技术中少标记样本条件下的分类精度不高且对标记样本依赖性较大的问题。
Description
技术领域
本发明属于遥感图像处理与应用技术领域，具体涉及一种基于无监督学习的高光谱影像分类方法。
背景技术
高光谱影像分类是高光谱影像处理、分析和应用中的重要环节之一。其中，在高光谱影像分类的研究中主要应用的是深度学习模型。在训练样本充足的条件下利用深度学习模型能够有效提高了分类结果的精度和鲁棒性。然而，深度学习模型需要大量的标记样本进行网络训练和参数优化，因此其在小样本条件下的分类表现并不理想。众所周知，获取高质量的高光谱影像标记样本费时费力。因此，如何利用极少量的标记样本实现对目标高光谱影像的快速准确分类，即高光谱影像少样例，已经吸引了研究人员的广泛关注。
现有技术中，有以下几种基于小样本的分类方法：(1)《一种扩展属性学轮廓和图卷积模型相结合的半监督分类方法》(Bing Liu,Kuiliang Gao,Anzhu Yu,Wenyue Guo,Ruirui Wang,Xibing Zuo,"Semisupervised graph convolutional network forhyperspectral image classification,"J.Appl.Rem.Sens.14(2)026516(1June 2020))，该方法首先提取目标高光谱影像的扩展属性学轮廓特征，再利用K邻近算法构建图模型，然后利用包含空谱联合信息的图模型进行训练和分类，与传统分类器和常规深度学习模型相比，该方法在一定程度上提高了高光谱影像在小样本条件下的分类精度。(2)申请公开号为CN109272028A的中国专利申请文档公开了一种基于主动深度学习的高光谱图像分类方法，该方法使用潜在样本的代表性和不确定性来选择训练集的附件样本，将代表性和不确定性两个标准集成到一个新的对象函数中实现，并提出了加权增量字典学习方法，在一定程度上提高了高光谱影像分类精度。(3)《一种面向高光谱影像分类的深度少样例学习方法》，该方法首先利用多幅预收集的高光谱影像构建大规模标记源数据集，然后基于原型网络架构设计了一种新颖的深度三维残差网络进行度量学习，最后结合支持向量机等传统分类器进行训练和分类，与常规的深度学习模型相比，该方法能够在一定程度上提高了高光谱影像少样例分类的精度和鲁棒性。(4)《基于关系网络的端到端的高光谱影像分类框架》，该方法也需要实现利用多幅预收集的高光谱影像构建大规模标记源数据集，然后利用设计的深度残差关系网络进行元训练、微调和分类测试。(5)《一种新颖的高光谱影像交叉域分类方法》，将域适应的思想和高光谱影像少样例分类问题相结合，该方法在利用深度模型进行元学习的同时引入条件对抗域适应策略，以期模型通过元训练能够提取到域不变的深度特征。上述方法中，前两种方法分别基于半监督学习和主动学习的思想进行设计，后三种方法均基于监督元学习的思想，首先利用预收集的标记高光谱影像对深度模型进行元训练，然后利用目标高光谱影像中的标记样本进行微调和分类测试。
上述方法虽然在一定程度上提高了高光谱影像在训练样本受限条件下的分类精度，但是其依然借助了标记样本进行元训练，且在标记样本较少条件下的分类精度仍然不高，对标记样本依赖性仍然较大。
发明内容
本发明提供了一种基于无监督学习的高光谱影像分类方法，用以解决现有技术中少标记样本条件下的分类精度不高且对标记样本依赖性较大的问题。
为解决上述技术问题，本发明提供了一种基于无监督学习的高光谱影像分类方法，其包括：
1)获取待分类的高光谱影像，并对获取的高光谱影像随机选择光谱维度上的多个波段，得到相应的光谱特征；
2)将获得的光谱特征输入训练好的分类模型进行分类获得分类结果，所述分类模型为深度学习模型，所述分类模型的训练包括有元训练和参数微调，元训练采用无监督学习方式，用于元训练的数据集是由多张无标记的高光谱影像预处理后得到的空谱联合特征组成的无标记源数据集，用于参数微调的数据集是由多张有标记的高光谱影像得到的有标记数据集，无标记的高光谱影像的张数远大于有标记的高光谱影像的张数，在元训练过程中进行第一预设次数的训练，每次训练利用无标记源数据集划分支撑集和查询集，计算支撑集各空谱联合特征与查询集中各空谱联合特征的相似性从而对不同类的空谱联合特征进行分类，在参数微调过程中进行第二预设次数的参数微调，每次参数微调利用有标记源数据集划分支撑集和查询集，计算支撑集各空谱联合特征与查询集中各空谱联合特征的相似性从而对不同类的空谱联合特征进行分类以实现对完成元训练的模型的参数的微调。
上述技术方案的有益效果为：分类模型利用高光谱影像的多视角的空谱联合特征进行训练，其中，由于空谱联合特征能够反映地物不同的属性信息，多视角的空谱联合特征能够对目标对象进行全方位综合性的描述，因此利用多视角的空谱联合特征进行训练能够提高分类模型的精度。利用预收集的无标记高光谱影像的多视角空谱联合特征构建的源数据集对设计的分类模型进行无监督元学习，避免利用标记样本进行元训练，显著减少元学习方法在元训练阶段所需标记样本数量和降低对标记样本的依赖性，元学习后利用目标高光谱影像中极少量的标记样本对模型进行微调，使模型能够快速适应新的分类场景，提高高光谱影像在极少量标记样本条件下的分类精度。
进一步地，为了获得更加准确地分类模型，本发明提供了一种基于无监督学习的高光谱影像分类方法，还包括所述深度学习模型采用深度残差关系网络模型，所述深度残差关系网络模型包括顺次连接的特征学习单元和关系学习单元，特征学习单元用于将输入的空谱联合特征映射至深度特征空间以得到高级特征，关系学习单元用于将深度特征空间同类的高级特征相互聚集，不同类的高级特征相互分类，特征学习单元包括至少8个卷积块，其中8个卷积块顺序堆叠，自第一个卷积块开始，每隔3个卷积块设置一个最大池化层，在最后一个最大池化层后设置2个卷积块，每个最大池化层的输入包括前置相邻的卷积块的输出和前置第三个卷积块的输出。
进一步地，为了获得更加准确地分类模型，本发明提供了一种基于无监督学习的高光谱影像分类方法，还包括特征学习单元包括11个卷积块和3个最大池化层，11个卷积块顺序堆叠，3个最大池化层分别设置在第3个、第6个和第9个卷积块之后，在第3个卷积块后的第一最大池化层的输入包括第3个卷积块的输出和第1个卷积块的输出，设置在第6个卷积块后的第二最大池化层的输入包括第6个卷积块的输出和第4个卷积块的输出，设置在第9个卷积块后的第三最大池化层的输入包括第9个卷积块的输出和第7个卷积块的输出。
进一步地，为了更加准确地进行分类，本发明提供了一种基于无监督学习的高光谱影像分类方法，还包括在步骤2)中对高光谱影像预处理包括获取各张无标记高光谱影像的多个样本，从每个样本中从光谱维度上选取多个波段形成多视角光谱特征，对所述多视角光谱特征采用数据扩增方式进行空间信息变换获得多视角的空谱联合特征。
进一步地，为了更加准确地进行分类，本发明提供了一种基于无监督学习的高光谱影像分类方法，还包括所述数据扩增方式包括随机旋转、翻转、裁剪中的至少一种。
进一步地，为了提高模型的分类结果的准确性，本发明提供了一种基于无监督学习的高光谱影像分类方法，还包括在元训练过程中，每次训练时，从查询集中随机选择一个空谱联合特征，分别计算该空谱联合特征的高级特征与支撑集中的各空谱联合特征的高级特征的相似性，基于计算结果将查询集中的该空谱联合特征与支撑集中相似性最高的空谱联合特征划分为一类，进而实现查询集中所有空谱联合特征的分类。
进一步地，为了提高模型的分类结果的准确性，本发明提供了一种基于无监督学习的高光谱影像分类方法，还包括在参数微调过程中，每次参数微调时，从查询集中随机选择一个空谱联合特征，分别计算该空谱联合特征的高级特征与支撑集中的各空谱联合特征的高级特征的相似性，基于计算结果将查询集中的该空谱联合特征与支撑集中相似性最高的空谱联合特征划分为一类，进而实现查询集中所有空谱联合特征的分类，然后确定查询集中所有空谱联合特征的标记与支撑集中对应的相似性最高的空谱联合特征的标记是否一致，若存在不一致，则调整参数。
进一步地，为了提高模型的分类结果的准确性，本发明提供了一种基于无监督学习的高光谱影像分类方法，还包括在参数微调过程中利用的有标记数据集是利用主成分分析算法对有标记的高光谱影像进行降维处理并利用降维处理后的数据形成的微调数据集。
进一步地，为了提高模型的分类结果的准确性，本发明提供了一种基于无监督学习的高光谱影像分类方法，还包括卷积块由顺序堆叠的卷积层、批量归一化层和ReLU激活层形成。
进一步地，为了提高模型的分类结果的准确性，本发明提供了一种基于无监督学习的高光谱影像分类方法，还包括所述关系学习单元包括顺序堆叠卷积块和两个全连接层。
附图说明
图1(a)为本发明的深度残差关系网络模型的卷积块的示意图；
图1(b)为本发明的深度残差关系网络模型的特征学习单元的示意图；
图1(c)为本发明的深度残差关系网络模型的关系学习单元的示意图；
图2为本发明的生成空谱多视角特征的示意图；
图3为本发明的无监督学习及少样例分类的流程图；
图4(a)为高光谱影像的正确标注图；
图4(b)为RBF-SVM在Salinas数据集上的分类图；
图4(c)为3D-CNN在Salinas数据集上的分类图；
图4(d)为EMP+GCN在Salinas数据集上的分类图；
图4(e)为DFSL+SVM在Salinas数据集上的分类图；
图4(f)为RN-FSC在Salinas数据集上的分类图；
图4(g)为本发明的方法在Salinas数据集上的分类图。
具体实施方式
为了使本发明的目的、技术方案及技术效果更加清楚明白，以下结合附图及具体实施例对本发明进行进一步详细说明。
基于无监督学习的高光谱影像分类方法实施例：
本实施例提供一种基于无监督学习的高光谱影像分类方法。基于无监督学习的高光谱影像分类方法可以简称为高光谱影像分类方法。根据本实施例的高光谱影像分类方法能够解决现有技术中少标记样本条件下的分类精度不高且对标记样本依赖性较大的问题。
下面先对分类模型进行详细介绍，分类模型为深度学习模型。深度学习模型可以采用深度残差关系网络模型。图1(a)为本发明的深度残差关系网络模型的卷积块的示意图。图1(b)为本发明的深度残差关系网络模型的特征学习单元的示意图。图1(c)为本发明的深度残差关系网络模型的关系学习单元的示意图。深度残差关系网络模型包括顺次连接的特征学习单元和关系学习单元两部分。本实施例的深度残差关系网络模型具有更深的网络结构和特征学习能力，能够有效提高元学习效果和分类精度。深度残差关系网络模型的输入为空谱联合特征，输出为分类结果。
1、特征学习单元。特征学习单元是将输入的图像特征映射至深度特征空间。
特征学习单元包括卷积块(convolution block)和最大池化层(max pooling)。具体地，特征学习单元包括至少8个卷积块，其中8个卷积块顺序堆叠，自第一个卷积块开始，每隔3个卷积块设置一个最大池化层，在最后一个最大池化层后设置2个卷积块。每个最大池化层的输入包括前置相邻(即前一级)的卷积块的输出和前置第三个卷积块的输出。如图1(a)所示，卷积块由顺序堆叠的卷积层(convolution layer)、批量归一化层(batchnomalization layer)和ReLU激活层(ReLU activation layer)形成。
在本实施例中，若卷积块的数量为11个，则如图1(b)所示特征学习单元包括11个卷积块和3个最大池化层。11个卷积块顺序堆叠，3个最大池化层分别设置在第3个、第6个和第9个卷积块之后。在第1个、第4个和第7个卷积块和不同的最大池化层之间构建跳跃连接，以形成残差结构，从而得到特征学习单元。构建跳跃连接是指设置在第3个卷积块后的第一最大池化层的输入包括第3个卷积块的输出和第1个卷积块的输出(即第1个卷积块与第一最大池化层之间进行跳跃连接)。设置在第6个卷积块后的第二最大池化层的输入包括第6个卷积块的输出和第4个卷积块的输出，设置在第9个卷积块后的第三最大池化层的输入包括第9个卷积块的输出和第7个卷积块的输出。
在特征学习单元，深度残差关系网络模型首先将输入的空谱联合特征映射至深度特征空间以获得有利于分类的高级特征。
2、关系学习单元。关系学习单元是将深度特征空间同类的高级特征相互聚集，不同类的高级特征相互分类。
如图1(c)所示，关系学习单元包括卷积块和两个全连接层。卷积块和两个全连接层顺序堆叠。在关系学习单元，利用特征学习单元生成的高级特征，关系学习单元计算不同高级特征的相似度(例如计算2个不同的高级特征)以确定不同的高级特征是否是同类，若是，则对同类的高级特征相互聚集，若不是，则对不同类的高级特征相互分类，进而实现高级特征对应的图像特征(如空谱联合特征)进行分类。
在构建好上述介绍的分类模型后，便可利用数据集训练分类模型获得训练好的分类模型。图2为本发明的生成空谱多视角特征的示意图。图3为本发明的无监督学习及少样例分类的流程图。
用于训练的数据集包括无标记源数据集和有标记数据集。无标记源数据集从预先收集的无标记高光谱影像中获取。有标记数据集从预先收集的有标记高光谱影像中获取。具体地，对多张无标记的高光谱影像预处理后得到的空谱联合特征组成无标记源数据集。对多张有标记的高光谱影像进行降维后获得有标记数据集。无标记的高光谱影像的张数远大于有标记的高光谱影像的张数。换言之，无标记的高光谱影像是大量的，有标记的高光谱影像是极少的。
预处理包括从各张无标记高光谱影像中随机选取多个样本，每个样本由选取的像素中心点以及像素中心点周围设定邻域内的全部数据构成，对每个样本进行特征提取获得多视角的空谱联合特征。另外，对每个样本重复设定次数的特征提取，以扩大数据集。如图2所示，特征提取的步骤包括对每个样本随机选取(random selection)多个波段得到多视角光谱特征，对获取的多视角光谱特征采用数据扩增方式(data augmentation)进行空间信息变换得到多视角空谱联合特征。基于各个样本获取的多视角空谱联合特征组成了无标记源数据集。其中，数据扩增方式包括但不限于随机旋转、翻转、裁剪中的至少一种。
在本实施例中，例如预先收集的无标记高光谱影像为Houston 2013(HS13)、Botswana(BO)、Kennedy Space Center(KSC)和Chikusei(CH)。从该4张无标记高光谱影像中随机选取40000个样本，每个样本由像素周围一定邻域(28×28)内的全部数据构成，以形成第一无标记源数据集I(40000×Ci×28×28)，其中Ci代表第i个高光谱影像的原始波段数量，对于第一无标记源数据集I(40000×Ci×28×28)中的每个样本xn重复20次的特征提取获得第二无标记源数据集I″(40000×20×3×28×28)。第二无标记源数据集I″(40000×20×3×28×28)即为用于训练的数据集。第二无标记源数据集I″对应图3中的无标记源数据集(unlabeled source data set)。对每个样本xn执行一次特征提取包括从样本xn中随机选取3个波段，以生成光谱维度上的多视角特征x′n(即光谱特征)，对于得到的多视角特征x′n采取随机旋转、翻转、裁剪的数据扩增方式进行空间信息变换，以生成空间维度上的多视角特征x″n。多视角特征x″n对应图3中的空间光谱多视图特征(spatial-spectral multiviewfeatures)。空间光谱多视图特征简称为空谱联合特征。
在本实施例中，例如预先收集的有标记高光谱影像为目标高光谱影像Salinas。首先利用主成分分析(Principal component analysis，PCA)算法对有标记高光谱影像为进行降维处理，在降维处理后保留前三个波段，每类随机选择5个样本，形成微调数据集。微调数据集即为有标记数据集。
在本实施例中，整个训练过程包括元训练和参数微调。
元训练采用无监督学习方式。具体地，在元训练过程中，利用无标记源数据集构建任务，将任务输入分类模型进行预设次数的元训练。例如，预设次数为40000次，每次训练时利用无标记源数据集I″中的样本(即多视角特征x″n)随机构建20-way 5-shot 15-query的任务，将生成的任务输入深度残差关系网络进行训练。其中，将每次训练的任务包括支撑集(support set)和查询集(query set)(参见图3)。其中20-way表示一次训练的支撑集(support set)和查询集(query set)均包括20个类，5-shot表示支撑集(support set)的每类有5个样本，15-query表示查询集(query set)的每类有15个样本。每次训练计算查询集中样本与支撑集中样本的相似性进行相似性比较以将同类的样本进行聚集、不同类的样本相互分类。其中，相似性比较的方式是指比较支撑集中样本的特征和查询集中样本的特征之间的相似性，并根据相似度最高的支撑样本的类别确定查询样本的类别。40000次训练结束模型(model)后完成了元训练(meta-training)。在这种情况下，40000次训练使得模型(model)中的各参数权重进行了多次修正。由此，能够保证模型进行充分的元训练。由此，完成元训练进入参数微调过程。
在元训练过程中，对不同类的样本相互分类具体包括每次训练时，从查询集中随机选择一个空谱联合特征，分别计算该空谱联合特征的高级特征与支撑集中的各空谱联合特征的高级特征的相似性，基于计算结果将查询集中的该空谱联合特征与支撑集中相似性最高的空谱联合特征划分为一类，进而实现查询集中所有空谱联合特征的分类。在这种情况下，实现了各空谱联合特征对应的样本的分类。
在参数微调过程中，利用微调数据集构建任务，将任务输入分类模型进行预设次数的参数微调。例如预设次数为1000次。微调数据集为图3中的target HSI(即目标高光谱影像Salinas)中的少量有标记样本(a few labeled samples)。
具体地，利用PCA算法对目标高光谱影像Salinas进行降维，并保留前三个波段。每类随机选择5个样本，形成微调数据集F(16×5×3×28×28)。每次分类训练时，利用微调数据集中的样本随机构建16-way 2-shot 3-query的任务，将生成的任务输入深度残差关系网络进行参数微调(fine-tuning)以实现分类训练。每次参数微调中任务包括支撑集(support set)和查询集(query set)(参见图3)。其中，16-way表示一次参数微调的支撑集(support set)和查询集(query set)均包括16个类，2-shot表示支撑集(support set)的每类有2个样本，3-query表示查询集(query set)的每类有3个样本。每次参数微调均计算有标记的查询集中样本与有标记的支撑集中样本的相似性以将同类的样本进行聚集、不同类的样本相互分类，进而实现微调优化。对完成元训练的模型(model)进行1000次参数微调后完成分类训练，得到训练好的分类模型。在这种情况下，1000次参数微调使得完成元训练后的模型(model)中的各参数权重进行了多次微调优化。由此，获得能够快速适应新的分类场景的模型。
在参数微调过程中，微调优化具体包括每次参数微调时，从查询集中随机选择一个空谱联合特征，分别计算该空谱联合特征的高级特征与支撑集中的各空谱联合特征的高级特征的相似性，基于计算结果将查询集中的该空谱联合特征与支撑集中相似性最高的空谱联合特征划分为一类，进而实现查询集中所有空谱联合特征的分类，然后确定查询集中所有空谱联合特征的标记与支撑集中对应的相似性最高的空谱联合特征的标记是否一致，若存在不一致，则调整参数。
在本实施例中，获得训练好的分类模型后，可以利用Salinas影像中剩余的标记样本(remaining labeled samples)对微调之后的模型进行分类性能评估。具体地，将Salinas影像中剩余的标记样本中的部分数据作为查询集(query set)，获取Salinas影像中少量的标记样本(a few labeled samples)的部分数据作为支撑集(support set)，将查询集(query set)和支撑集(support set)输入训练好的分类模型进行分类(classify)，基于分类结果进行性能评估。
在本实施例的基于无监督学习的高光谱影像分类方法中利用训练好的分类模型对获得的待分类的高光谱影像进行分类。分类方法具体过程如下：
步骤一：获取待分类的高光谱影像，并对获取的高光谱影像随机选择光谱维度上的多个波段，得到相应的光谱特征。
在步骤一中，从高光谱影像中获取任一区域，该区域由区域中心点的像素以及区域中心点的像素周围设定邻域内的全部数据构成。对该区域随机选取多个波段得到光谱维度上的多视角特征(即光谱特征)。每个波段为一个视角的光谱特征，故多个波段为多视角的光谱特征。
步骤二：将获得的光谱特征输入训练好的分类模型进行分类获得分类结果。
在步骤二中，训练好的分类模型将输入的光谱特征映射至深度特征空间获得对应的高级特征，然后利用相似性比较的方式确定高级特征的类别，从而获得该高级特征对应的光谱特征的类别。也即，训练好的分类模型对输入的光谱特征(作为查询样本)与预先存储好的少量具有人工标记的样本(作为支撑样本)进行相似性比较，从而确定输入的光谱特征的分类结果。分类结果例如可以是分类图。由此，能够获得待分类高光谱影像的分类结果。
基于本实施例的基于无监督学习的高光谱影像分类方法，分类模型利用高光谱影像的多视角的空谱联合特征进行训练，其中，由于空谱联合特征能够反映地物不同的属性信息，多视角的空谱联合特征能够对目标对象进行全方位综合性的描述，因此利用多视角的空谱联合特征进行训练能够提高分类模型的精度。利用预收集的高光谱影像无标记样本的多视角空谱联合特征构建的源数据集对设计的分类模型进行无监督元学习，以显著减少元学习方法在元训练阶段所需标记样本数量和降低对标记样本的依赖性，元学习后利用目标高光谱影像中极少量的标记样本对模型进行微调，使模型能够快速适应新的分类场景，提高高光谱影像在少样本条件下的分类精度。对高光谱影像中存在高维非线性、空谱信息融合的特点，设计的深度残差关系网络能够充分利用高光谱影像中的空谱联合特征，且具有能够学习更为通用的特征知识并培养模型学会学习的能力。本实施例的分类方法在实际应用中具有重要价值。
下面利用Salinas影像集除微调数据集外剩余的标记样本对本实施例的基于无监督学习的高光谱影像分类方法的上述效果进行验证，具体过程如下：
验证过程的仿真条件为：英特尔酷睿Intel(R)Xeon(R)Gold 6152中央处理器，Nvidia A100 PCIE图形处理器，128GB内存。在Salinas影像中，利用PCA算法对目标高光谱影像Salinas进行降维，并保留前三个波段，获取除微调数据集外的样本。采用总体分类精度OA(Overall Accuracy)、平均分类精度AA(Average Accuracy)，以及Kappa系数(Kappacoefficient)作为评价指标。对于径向基函数支持向量机(RBF-SVM)、三维卷积神经网络(3D-CNN)和扩展属性学轮廓+图卷积模型(EMP+GCN)，仅利用高光谱影像Salinas中每类5个标记样本进行训练；对于深度少样例分类算法(DFSL+SVM)、深度关系网络(RN-FSC)和本发明，首先利用无标记的数据集进行元训练，再利用高光谱影像Salinas中每类5个标记样本进行微调。对于不同方法，分别进行10次实验，最终的分类结果以平均值的形式呈现。其中，图4(a)为高光谱影像的地面真实标记图；图4(b)为RBF-SVM在Salinas数据集上的分类图；图4(c)为3D-CNN在Salinas数据集上的分类图；图4(d)为EMP+GCN在Salinas数据集上的分类图；图4(e)为DFSL+SVM在Salinas数据集上的分类图；图4(f)为RN-FSC在Salinas数据集上的分类图；图4(g)为本发明在Salinas数据集上的分类图。表2为各种方法的最终分类结果对比表。图4(b)至图4(g)的各分类图的总体分类精度OA值对应表2中的数值。实验结果表明，本发明能够大幅提高高光谱影像在少样例(即少标记样本)条件下的分类精度。与监督元学习方法DFSL+SVM和RN-FSC相比，本发明在元训练阶段不需要任何标记信息，显著减少了模型对标记样本的依赖。具体结果如表1、图4(b)至图4(g)所示。
表1各种方法的最终分类结果对比表
| 类别 | RBF-SVM | 3D-CNN | EMP+GCN | DFSL+SVM | RN-FSC | 本发明 |
| 1 | 94.78 | 58.81 | 99.33 | 100.00 | 99.85 | 92.12 |
| 2 | 95.63 | 78.98 | 98.92 | 99.87 | 99.43 | 99.06 |
| 3 | 80.46 | 93.74 | 86.12 | 89.54 | 87.38 | 97.17 |
| 4 | 96.69 | 75.92 | 97.06 | 98.85 | 98.15 | 85.85 |
| 5 | 93.75 | 87.77 | 94.86 | 96.13 | 98.04 | 93.12 |
| 6 | 99.94 | 95.04 | 100.00 | 99.61 | 99.76 | 97.27 |
| 7 | 92.78 | 90.72 | 96.15 | 98.21 | 99.86 | 96.20 |
| 8 | 65.70 | 84.09 | 79.68 | 74.81 | 77.78 | 91.36 |
| 9 | 98.07 | 93.76 | 99.46 | 97.44 | 97.54 | 98.05 |
| 10 | 79.84 | 86.57 | 76.64 | 93.94 | 91.87 | 91.75 |
| 11 | 58.54 | 93.28 | 37.05 | 61.21 | 53.88 | 91.15 |
| 12 | 90.95 | 89.12 | 89.15 | 98.10 | 93.21 | 92.96 |
| 13 | 85.02 | 68.52 | 49.92 | 99.91 | 92.79 | 96.33 |
| 14 | 85.84 | 93.68 | 89.34 | 97.89 | 91.76 | 85.81 |
| 15 | 47.82 | 61.55 | 69.34 | 57.41 | 55.25 | 78.11 |
| 16 | 76.67 | 70.32 | 74.78 | 96.76 | 95.06 | 92.09 |
| 总体分类精度 | 78.34 | 80.12 | 83.05 | 85.31 | 84.54 | 90.89 |
| 平均分类精度 | 83.91 | 82.62 | 83.61 | 91.23 | 89.47 | 92.40 |
| Kappa系数 | 76.01 | 78.02 | 85.94 | 83.71 | 82.88 | 89.89 |
Claims (10)
1.一种基于无监督学习的高光谱影像分类方法，其特征在于，包括：
1)获取待分类的高光谱影像，并对获取的高光谱影像随机选择光谱维度上的多个波段，得到相应的光谱特征；
2)将获得的光谱特征输入训练好的分类模型进行分类获得分类结果，所述分类模型为深度学习模型，所述分类模型的训练包括有元训练和参数微调，元训练采用无监督学习方式，用于元训练的数据集是由多张无标记的高光谱影像预处理后得到的空谱联合特征组成的无标记源数据集，用于参数微调的数据集是由多张有标记的高光谱影像得到的有标记数据集，无标记的高光谱影像的张数远大于有标记的高光谱影像的张数，在元训练过程中进行第一预设次数的训练，每次训练利用无标记源数据集划分支撑集和查询集，计算支撑集各空谱联合特征与查询集中各空谱联合特征的相似性从而对不同类的空谱联合特征进行分类，在参数微调过程中进行第二预设次数的参数微调，每次参数微调利用有标记源数据集划分支撑集和查询集，计算支撑集各空谱联合特征与查询集中各空谱联合特征的相似性从而对不同类的空谱联合特征进行分类以实现对完成元训练的模型的参数的微调。
2.根据权利要求1所述的基于无监督学习的高光谱影像分类方法，其特征在于，所述深度学习模型采用深度残差关系网络模型，所述深度残差关系网络模型包括顺次连接的特征学习单元和关系学习单元，特征学习单元用于将输入的空谱联合特征映射至深度特征空间以得到高级特征，关系学习单元用于将深度特征空间同类的高级特征相互聚集，不同类的高级特征相互分类，特征学习单元包括至少8个卷积块，其中8个卷积块顺序堆叠，自第一个卷积块开始，每隔3个卷积块设置一个最大池化层，在最后一个最大池化层后设置2个卷积块，每个最大池化层的输入包括前置相邻的卷积块的输出和前置第三个卷积块的输出。
3.根据权利要求2所述的基于无监督学习的高光谱影像分类方法，其特征在于，特征学习单元包括11个卷积块和3个最大池化层，11个卷积块顺序堆叠，3个最大池化层分别设置在第3个、第6个和第9个卷积块之后，在第3个卷积块后的第一最大池化层的输入包括第3个卷积块的输出和第1个卷积块的输出，设置在第6个卷积块后的第二最大池化层的输入包括第6个卷积块的输出和第4个卷积块的输出，设置在第9个卷积块后的第三最大池化层的输入包括第9个卷积块的输出和第7个卷积块的输出。
4.根据权利要求1所述的基于无监督学习的高光谱影像分类方法，其特征在于，在步骤2)中对高光谱影像预处理包括获取各张无标记高光谱影像的多个样本，从每个样本中从光谱维度上选取多个波段形成多视角光谱特征，对所述多视角光谱特征采用数据扩增方式进行空间信息变换获得多视角的空谱联合特征。
5.根据权利要求4所述的基于无监督学习的高光谱影像分类方法，其特征在于，所述数据扩增方式包括随机旋转、翻转、裁剪中的至少一种。
6.根据权利要求2所述的基于无监督学习的高光谱影像分类方法，其特征在于，在元训练过程中，每次训练时，从查询集中随机选择一个空谱联合特征，分别计算该空谱联合特征的高级特征与支撑集中的各空谱联合特征的高级特征的相似性，基于计算结果将查询集中的该空谱联合特征与支撑集中相似性最高的空谱联合特征划分为一类，进而实现查询集中所有空谱联合特征的分类。
7.根据权利要求2所述的基于无监督学习的高光谱影像分类方法，其特征在于，在参数微调过程中，每次参数微调时，从查询集中随机选择一个空谱联合特征，分别计算该空谱联合特征的高级特征与支撑集中的各空谱联合特征的高级特征的相似性，基于计算结果将查询集中的该空谱联合特征与支撑集中相似性最高的空谱联合特征划分为一类，进而实现查询集中所有空谱联合特征的分类，然后确定查询集中所有空谱联合特征的标记与支撑集中对应的相似性最高的空谱联合特征的标记是否一致，若存在不一致，则调整参数。
8.根据权利要求1或7所述的基于无监督学习的高光谱影像分类方法，其特征在于，在参数微调过程中利用的有标记数据集是利用主成分分析算法对有标记的高光谱影像进行降维处理并利用降维处理后的数据形成的微调数据集。
9.根据权利要求2所述的基于无监督学习的高光谱影像分类方法，其特征在于，卷积块由顺序堆叠的卷积层、批量归一化层和ReLU激活层形成。
10.根据权利要求2所述的基于无监督学习的高光谱影像分类方法，其特征在于，所述关系学习单元包括顺序堆叠卷积块和两个全连接层。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111016331.0A CN113762128A (zh) | 2021-08-31 | 2021-08-31 | 一种基于无监督学习的高光谱影像分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111016331.0A CN113762128A (zh) | 2021-08-31 | 2021-08-31 | 一种基于无监督学习的高光谱影像分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113762128A true CN113762128A (zh) | 2021-12-07 |
Family
ID=78792261
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111016331.0A Pending CN113762128A (zh) | 2021-08-31 | 2021-08-31 | 一种基于无监督学习的高光谱影像分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113762128A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114299398A (zh) * | 2022-03-10 | 2022-04-08 | 湖北大学 | 一种基于自监督对比学习的小样本遥感图像分类方法 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080177994A1 (en) * | 2003-01-12 | 2008-07-24 | Yaron Mayer | System and method for improving the efficiency, comfort, and/or reliability in Operating Systems, such as for example Windows |
| CN102208037A (zh) * | 2011-06-10 | 2011-10-05 | 西安电子科技大学 | 基于高斯过程分类器协同训练算法的高光谱图像分类方法 |
| CN102542288A (zh) * | 2011-11-28 | 2012-07-04 | 北京航空航天大学 | 一种高光谱数据多特征空间构建与融合分类方法 |
| CN109934153A (zh) * | 2019-03-07 | 2019-06-25 | 张新长 | 基于门控深度残差优化网络的建筑物提取方法 |
| EP3573068A1 (en) * | 2018-05-24 | 2019-11-27 | Siemens Healthcare GmbH | System and method for an automated clinical decision support system |
| CN111241303A (zh) * | 2020-01-16 | 2020-06-05 | 东方红卫星移动通信有限公司 | 一种大规模非结构化文本数据的远程监督关系抽取方法 |
| CN111507409A (zh) * | 2020-04-17 | 2020-08-07 | 中国人民解放军战略支援部队信息工程大学 | 一种基于深度多视角学习的高光谱影像分类方法及装置 |
| CN112232280A (zh) * | 2020-11-04 | 2021-01-15 | 安徽大学 | 基于自编码器与3d深度残差网络的高光谱图像分类方法 |
| CN112949738A (zh) * | 2021-03-17 | 2021-06-11 | 西安电子科技大学 | 基于eecnn算法的多类不平衡高光谱图像分类方法 |
| CN112949416A (zh) * | 2021-02-04 | 2021-06-11 | 东华理工大学 | 一种监督的高光谱多尺度图卷积分类方法 |
| CN113011499A (zh) * | 2021-03-22 | 2021-06-22 | 安徽大学 | 一种基于双注意力机制的高光谱遥感图像分类方法 |
| CN113129248A (zh) * | 2021-04-29 | 2021-07-16 | 中山大学 | 一种海岛遥感影像集获得方法、装置、设备及介质 |
| CN113239755A (zh) * | 2021-04-28 | 2021-08-10 | 湖南大学 | 一种基于空谱融合深度学习的医学高光谱图像分类方法 |
-
2021
- 2021-08-31 CN CN202111016331.0A patent/CN113762128A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080177994A1 (en) * | 2003-01-12 | 2008-07-24 | Yaron Mayer | System and method for improving the efficiency, comfort, and/or reliability in Operating Systems, such as for example Windows |
| CN102208037A (zh) * | 2011-06-10 | 2011-10-05 | 西安电子科技大学 | 基于高斯过程分类器协同训练算法的高光谱图像分类方法 |
| CN102542288A (zh) * | 2011-11-28 | 2012-07-04 | 北京航空航天大学 | 一种高光谱数据多特征空间构建与融合分类方法 |
| EP3573068A1 (en) * | 2018-05-24 | 2019-11-27 | Siemens Healthcare GmbH | System and method for an automated clinical decision support system |
| CN109934153A (zh) * | 2019-03-07 | 2019-06-25 | 张新长 | 基于门控深度残差优化网络的建筑物提取方法 |
| CN111241303A (zh) * | 2020-01-16 | 2020-06-05 | 东方红卫星移动通信有限公司 | 一种大规模非结构化文本数据的远程监督关系抽取方法 |
| CN111507409A (zh) * | 2020-04-17 | 2020-08-07 | 中国人民解放军战略支援部队信息工程大学 | 一种基于深度多视角学习的高光谱影像分类方法及装置 |
| CN112232280A (zh) * | 2020-11-04 | 2021-01-15 | 安徽大学 | 基于自编码器与3d深度残差网络的高光谱图像分类方法 |
| CN112949416A (zh) * | 2021-02-04 | 2021-06-11 | 东华理工大学 | 一种监督的高光谱多尺度图卷积分类方法 |
| CN112949738A (zh) * | 2021-03-17 | 2021-06-11 | 西安电子科技大学 | 基于eecnn算法的多类不平衡高光谱图像分类方法 |
| CN113011499A (zh) * | 2021-03-22 | 2021-06-22 | 安徽大学 | 一种基于双注意力机制的高光谱遥感图像分类方法 |
| CN113239755A (zh) * | 2021-04-28 | 2021-08-10 | 湖南大学 | 一种基于空谱融合深度学习的医学高光谱图像分类方法 |
| CN113129248A (zh) * | 2021-04-29 | 2021-07-16 | 中山大学 | 一种海岛遥感影像集获得方法、装置、设备及介质 |
Non-Patent Citations (1)
| Title |
|---|
| KUILIANG GAO ET AL.: "Deep Induction Network for Small Samples Classification of Hyperspectral Images", 《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》, vol. 13, 31 December 2020 (2020-12-31), pages 3463 - 3477 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114299398A (zh) * | 2022-03-10 | 2022-04-08 | 湖北大学 | 一种基于自监督对比学习的小样本遥感图像分类方法 |
| CN114299398B (zh) * | 2022-03-10 | 2022-05-17 | 湖北大学 | 一种基于自监督对比学习的小样本遥感图像分类方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111695467B (zh) | 基于超像素样本扩充的空谱全卷积高光谱图像分类方法 | |
| CN108460342B (zh) | 基于卷积神经网络和循环神经网络的高光谱图像分类方法 | |
| Li et al. | Robust capsule network based on maximum correntropy criterion for hyperspectral image classification | |
| CN108009559B (zh) | 一种基于空谱联合信息的高光谱数据分类方法 | |
| CN106228185B (zh) | 一种基于神经网络的通用图像分类识别系统及方法 | |
| CN108052966B (zh) | 基于卷积神经网络的遥感图像场景自动提取和分类方法 | |
| CN107358260B (zh) | 一种基于表面波cnn的多光谱图像分类方法 | |
| US20190164047A1 (en) | Object recognition using a convolutional neural network trained by principal component analysis and repeated spectral clustering | |
| CN106503739A (zh) | 联合光谱和纹理特征的高光谱遥感影像svm分类方法及系统 | |
| CN109766858A (zh) | 结合双边滤波的三维卷积神经网络高光谱影像分类方法 | |
| CN109344891A (zh) | 一种基于深度神经网络的高光谱遥感数据分类方法 | |
| CN114581773B (zh) | 基于图卷积网络的多模态遥感数据分类方法 | |
| CN113705641B (zh) | 基于富上下文网络的高光谱图像分类方法 | |
| CN108830330A (zh) | 基于自适应特征融合残差网的多光谱图像分类方法 | |
| CN104751166A (zh) | 基于光谱角和欧氏距离的遥感影像分类方法 | |
| CN112949738B (zh) | 基于eecnn算法的多类不平衡高光谱图像分类方法 | |
| CN106780503A (zh) | 基于后验概率信息熵的遥感图像最优分割尺度确定方法 | |
| CN112949725B (zh) | 一种基于多尺度特征提取的小麦种子分类方法 | |
| CN112434662B (zh) | 一种基于多尺度卷积神经网络的茶叶病斑自动识别算法 | |
| CN110689065A (zh) | 一种基于扁平混合卷积神经网络的高光谱图像分类方法 | |
| CN104392454B (zh) | 高光谱遥感图像空谱结合分类框架下的基于地物类别隶属度评分的合并方法 | |
| CN115909052A (zh) | 一种基于混合卷积神经网络的高光谱遥感图像分类方法 | |
| CN112329818B (zh) | 基于图卷积网络嵌入表征的高光谱图像非监督分类方法 | |
| CN116883679B (zh) | 基于深度学习的地物目标提取方法和装置 | |
| CN111639697B (zh) | 基于非重复采样与原型网络的高光谱图像分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |