CN115170961A - 一种基于深度跨域少样本学习的高光谱图像分类方法及系统 - Google Patents
一种基于深度跨域少样本学习的高光谱图像分类方法及系统 Download PDFInfo
- Publication number
- CN115170961A CN115170961A CN202210788833.3A CN202210788833A CN115170961A CN 115170961 A CN115170961 A CN 115170961A CN 202210788833 A CN202210788833 A CN 202210788833A CN 115170961 A CN115170961 A CN 115170961A
- Authority
- CN
- China
- Prior art keywords
- domain
- data set
- target domain
- domain data
- source domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000013507 mapping Methods 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 19
- 238000001228 spectrum Methods 0.000 claims abstract description 13
- 238000009826 distribution Methods 0.000 claims description 39
- 230000009467 reduction Effects 0.000 claims description 25
- 238000013527 convolutional neural network Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 19
- 230000003595 spectral effect Effects 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 9
- 230000006978 adaptation Effects 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 6
- 238000011946 reduction process Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 6
- 238000012706 support-vector machine Methods 0.000 description 11
- 235000008331 Pinus X rigitaeda Nutrition 0.000 description 4
- 235000011613 Pinus brutia Nutrition 0.000 description 4
- 241000018646 Pinus brutia Species 0.000 description 4
- 241001466077 Salina Species 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
- G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Remote Sensing (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
一种基于深度跨域少样本学习的高光谱图像分类方法及系统，涉及遥感图像处理技术领域，用以解决现有高光谱图像分类方法中存在的分类效果不佳的技术问题。本发明的技术要点包括：使用两个映射层来确保源域和目标域之间具有相同的输入维度；采用嵌入式特征提取器将源域和目标域的图像立方体同时嵌入到空间‑光谱嵌入空间中，使同一类样本被映射得尽可能近，不同类样本尽可能远；通过计算每一类的未标记样本和标记样本在空间‑光谱嵌入空间中的距离进行源域和目标域少样本学习；利用条件域鉴别器减小域间的域转移，使提取的空间‑光谱嵌入特征具有域不变性。本发明在少样本条件下能够使高光谱数据分类达到较高的准确率。
Description
技术领域
本发明涉及遥感图像处理技术领域，具体涉及一种基于深度跨域少样本学习的高光谱图像分类方法及系统。
背景技术
高光谱图像通常包含丰富的光谱和空间信息，为土地覆盖分类提供了重要的机会。遥感传感器空间、光谱和时间等分辨率的不断提高带来了丰富的信息，使得人们对地物特性的认知不断深入，许多隐藏在时、空、谱特征下的地物属性得以不断呈现，目前，高光谱图像分类技术已广泛应用到军事侦察、农业灌溉、海洋检测、地质考察、生态保护等众多领域。利用高光谱图像分类技术，可获取地物农作物的种植情况，从而合理的利用土地资源；可对海洋污染进行监控，从而为环境治理提供帮助；在地形复杂不利于人类活动的地区，可对地质结构进行远程检测。伴随着科学技术的迅猛发展，遥感地球观测技术正逐渐融入人类日常生活中。
在过去的二十年中，研究者们将许多机器学习方法应用到高光谱图像分类中，例如决策树、支持向量机、随机森林及人工神经网络等方法。但是，无论是分类算法还是特征提取算法，都处于浅层级别，达到的分类精度并不高，对空间信息利用不足导致高光谱遥感图像分类遇到了瓶颈，而且在实际情况中，有标签样本数目少、获取困难，在分类过程中很容易引起维数灾难。
发明内容
鉴于以上问题，本发明提出一种基于深度跨域少样本学习的高光谱图像分类方法及系统，用以解决现有高光谱图像分类方法中存在的分类效果不佳的技术问题。
根据本发明的一方面，提供一种基于深度跨域少样本学习的高光谱图像分类方法，该方法包括以下步骤：
步骤一、获取多个高光谱图像数据，并划分为源域数据集和目标域数据集；所述多个高光谱图像数据包含多个光谱波段且覆盖多个地物类别；所述目标域数据集包含少量带标签样本；
步骤二、对源域数据集和目标域数据集中的高光谱图像数据进行预处理；
步骤三、将经过预处理后的源域数据集和目标域数据集分别输入两个映射层进行降维处理，以使源域数据和目标域数据具有相同维度；
步骤四、将经过降维处理的源域数据集和目标域数据集分别输入嵌入式特征提取器中提取光谱特征和空间特征，分别获得源域数据集和目标域数据集对应的空间-光谱嵌入特征；所述嵌入式特征提取器为基于三维卷积神经网络的深度残差网络；
步骤五、根据源域数据集和目标域数据集对应的空间-光谱嵌入特征，分别进行源域数据集和目标域数据集的少样本学习，训练获得源域残差网络和目标域残差网络；
步骤六、将进行少样本学习后的源域数据集和目标域数据集中带标签样本输入条件域鉴别器，以减小域间的域偏移，实现域分布对齐；所述条件域鉴别器为基于源域和目标域概率分布，采用条件对抗域适应策略对源域和目标域数据分布进行对齐；
步骤七、将域分布对齐后的目标域数据集中无标签样本输入到目标域残差网络中进行分类，获得最终的分类结果。
进一步地，步骤二中所述预处理包括波段筛选和归一化处理。
进一步地，步骤三中所述映射层为二维卷积神经网络，所述降维处理为：输入I∈R9×9×ch为高光谱图像立方体，其中9×9表示空间维度，ch表示高光谱图像数据的波段数，映射层输出为：
I′＝I×T
其中，降维处理后的图像数据I′∈R9×9×100；T表示变换矩阵且T∈Rch×100，表示变换过程中有ch×100个可学习的参数。
进一步地，步骤五所述少样本学习的具体过程包括：
从源域数据集或目标域数据集所对应的多个地物类别中抽取C个地物类别组成分类任务集合；
从抽取的C个地物类别中选取K个样本作为支持集，选取N个样本作为查询集；其中，K不等于N；
利用基于距离度量结果的非参数softmax损失函数更新网络权重参数，以训练残差网络；查询集中样本xj在查询集中的类概率分布为：
其中，d(.)表示欧氏距离函数；
表示映射层和带有参数n的嵌入式特征提取器网络；ck表示支持集中第k个类别的空间-光谱嵌入特征；yj是xj的标签；Qs表示源域查询集；
则源域数据集对应的分类损失表示为：
其中，
表示源域支持集ss对应的期望值；
表示源域查询集Qs对应的期望值；
表示查询集中所选样本是第k个样本的概率；
目标域数据集对应的分类损失表示为：
其中，
表示目标域支持集st对应的期望值；
表示目标域查询集Qt对应的期望值。
根据本发明的另一方面，提供一种基于深度跨域少样本学习的高光谱图像分类系统，该系统包括：
数据获取模块，其配置成获取多个高光谱图像数据，并划分为源域数据集和目标域数据集；所述多个高光谱图像数据包含多个光谱波段且覆盖多个地物类别；所述目标域数据集包含少量带标签样本；
预处理模块，其配置成对源域数据集和目标域数据集中的高光谱图像数据进行预处理；
降维模块，其配置成将经过预处理后的源域数据集和目标域数据集分别输入两个映射层进行降维处理，以使源域数据和目标域数据具有相同维度；
特征提取模块，其配置成将经过降维处理的源域数据集和目标域数据集分别输入嵌入式特征提取器中提取光谱特征和空间特征，分别获得源域数据集和目标域数据集对应的空间-光谱嵌入特征；所述嵌入式特征提取器为基于三维卷积神经网络的深度残差网络；
学习模块，其配置成根据源域数据集和目标域数据集对应的空间-光谱嵌入特征，分别进行源域数据集和目标域数据集的少样本学习，训练获得源域残差网络和目标域残差网络；
域分布对齐模块，其配置成将进行少样本学习后的源域数据集和目标域数据集中带标签样本输入条件域鉴别器，以减小域间的域偏移，实现域分布对齐；所述条件域鉴别器为基于源域和目标域概率分布，采用条件对抗域适应策略对源域和目标域数据分布进行对齐；
分类模块，其配置成将域分布对齐后的目标域数据集中无标签样本输入到目标域残差网络进行分类，获得最终的分类结果。
进一步地，所述预处理模块中所述预处理包括波段筛选和归一化处理。
进一步地，所述降维模块中所述映射层为二维卷积神经网络，所述降维处理为：输入I∈R9×9×ch为高光谱图像立方体，其中9×9表示空间维度，ch表示高光谱图像数据的波段数，映射层输出为：
I′＝I×T
其中，降维处理后的图像数据I′∈R9×9×100；T表示变换矩阵且T∈Rch×100，表示变换过程中有ch×100个可学习的参数。
进一步地，所述学习模块中所述少样本学习的具体过程包括：
从源域数据集或目标域数据集所对应的多个地物类别中抽取C个地物类别组成分类任务集合；
从抽取的C个地物类别中选取K个样本作为支持集，选取N个样本作为查询集；其中，K不等于N；
利用基于距离度量结果的非参数softmax损失函数更新网络权重参数，以训练残差网络；查询集中样本xj在查询集中的类概率分布为：
其中，d(.)表示欧氏距离函数；
表示映射层和带有参数n的嵌入式特征提取器网络；ck表示支持集中第k个类别的空间-光谱嵌入特征；yj是xj的标签；Qs表示源域查询集；
则源域数据集对应的分类损失表示为：
其中，
表示源域支持集ss对应的期望值；
表示源域查询集Qs对应的期望值；
表示查询集中所选样本是第k个样本的概率；
目标域数据集对应的分类损失表示为：
其中，
表示目标域支持集st对应的期望值；
表示目标域查询集Qt对应的期望值。
本发明的有益技术效果是：
本发明提出了一种新的深度跨域少样本学习(DCFSL)方法来解决高光谱图像分类的跨域少样本学习(FSL)问题，试图同时学习带有少量标记样本的目标域分类器，并减少域偏移。具体来说，就是利用一种条件对抗性域适应策略来克服域偏移，使提取的嵌入特征具有域不变性，实现域分布对齐；此外，在源域中执行FSL来发现可迁移知识，在目标域中执行FSL来学习目标域的判别嵌入模型；模型以元学习的思想进行训练。在4个不同的目标域数据集上进行的实验结果表明，DCFSL方法不仅比其他标记样本较少的深度学习方法具有更好的性能，而且优于现有的高光谱图像FSL方法。
附图说明
本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。
图1是本发明一种基于深度跨域少样本学习的高光谱图像分类方法的流程示意图；
图2是本发明实施例中高光谱数据集Chikusei的假彩色图像和真实地物图；
图3是本发明实施例中高光谱数据集Pavia Centre的假彩色图像和真实地物图；
图4是本发明实施例中高光谱数据集Pavia University的假彩色图像和真实地物图；
图5是本发明实施例中高光谱数据集Indians Pines的假彩色图像和真实地物图；
图6是本发明实施例中高光谱数据集Salinas的假彩色图像和真实地物图。
具体实施方式
在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标。在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
本发明实施例提供一种基于深度跨域少样本学习的高光谱图像分类方法，如图1所示，该方法包括以下步骤：
步骤一、获取高光谱数据集，并划分源域数据集和目标域数据集；
根据本发明实施例，选取Chikusei数据集作为源域数据集；Indians Pines，PaviaCentre，Pavia University，Salinas四个数据集分别作为目标域数据集；其中，源域每类选取200个带标签样本进行训练，目标域每类选取5个带标签样本进行训练，而目标域剩余样本进行测试。
如图2所示，源域数据集-Chikusei数据集由高光谱可见/近红外相机(hyperspec-vnirc)于2014年7月29日在日本筑西市采集。它包含19个类，像素大小为2517×2335，空间分辨率为2.5米，由128个光谱波段组成，波长范围从363nm到1018nm。
如图3所示，目标域数据集-Pavia Centre数据集是由ROSIS传感器在意大利北部帕维亚的一次飞行活动中获取的。像素大小为1906×715，它的空间分辨率是1.3米每像素，有102个波段，范围从430到860nm。包含九种不同的地物类别，代表一个典型的城市场地。如图4所示，目标域数据集-Pavia University数据集由反光光学光谱图像系统(ROSIS)采集，它的像素大小为610×340，其空间分辨率为1.3米每像素。它有103个光谱波段，范围从430到860nm，包含九种不同的地物类别。如图5所示，目标域数据集-Indians Pines数据集是1992年由AVIRIS传感器从印第安纳州西北部采集的。它由200个波段组成，范围从400到2500nm。像素大小为145×145，空间分辨率是20米每像素，包括16种不同的地物类别。如图6所示，目标域数据集-Salinas数据集是由美国加州萨利纳斯V巷上空的机载可见/红外成像光谱仪(AVIRIS)传感器采集的，像素大小为512×217，空间分辨率是3.7米每像素，有204个光谱波段，范围从400到2500nm。包含16种不同的地物类别。
步骤二、对源域和目标域高光谱图像进行预处理操作；
根据本发明实施例，预处理操作主要包括波段筛选和归一化处理；其中，波段筛选为选择对地物分类有代表性的波段；归一化处理为归纳样本的统计分布性，使概率分布统一在0-1之间。
步骤三、对输入的高光谱图像进行降维处理，将预处理后的图像分别输入两个映射层来确保源域和目标域之间具有相同的维度；
根据本发明实施例，采用的映射层的具体原理为：
使用源域的Ms和目标域的Mt两个映射层，使源域(如Chikusei数据集)和目标域(如Pavia University数据集)的维度在特征提取前相等，映射层通过二维CNN实现。设I∈R9 ×9×ch为输入的高光谱图像立方体，其中9×9为空间维度，ch为高光谱数据的波段数，如Chikusei数据集的ch为128，Pavia University数据集的ch为103，映射层的输出为：
I′＝I×T
其中I′∈R9×9×100为变换后的数据集，T是变换矩阵，T∈Rch×100，表示在变换过程中有ch×100个可学习的参数。对于Ms，参数为128×100个，而Mt有103×100个参数。这样，通过将预处理后的源域和目标域高光谱数据分别输入到两个映射层之后，得到的输出数据具有相同的维数。
步骤四、将经过映射层降维后的高光谱数据输入到嵌入式特征提取器中，对高光谱图像的光谱特征和空间特征进行提取；
根据本发明实施例，所采用的嵌入式特征提取器的实现过程为：利用基于三维CNN的深度残差网络提取嵌入特征，映射层的输出是嵌入式特征提取器的输入。嵌入式特征提取器网络由两个残差块、两个最大池化层和一个卷积层组成，通过提取特征，使同一类的样本被映射得尽可能近，不同类的样本被映射得尽可能远。
步骤五、通过嵌入式特征提取器后，获得源域数据的空间-光谱嵌入特征，并通过计算每一类的未标记样本和标记样本在空间-光谱嵌入空间中的距离来进行源域少样本学习，同样方法获取目标域数据的嵌入特征，进行目标域的少样本学习，源域和目标域的少样本学习是交替进行的，训练获得源域残差网络和目标域残差网络；
根据本发明实施例，少样本学习具体过程为：
设源域数据集DS有Cs种地物类别，目标域数据集DT有Ct种地物类别，为了保证训练样本的多样性，Cs应该大于Ct。根据数据是否有标签，目标域数据集可以进一步分为两部分：少量带标签的数据集Df和无标签数据的测试数据集Dt，其中Df∪Dt＝DT。
以源域少样本学习为例。首先，从Cs中随机抽取C类组成一个集合，即分类任务。然后从选定的类中选取K个样本作为支持集
从同一类中选取N个样本作为查询集
其中支持集中的样本与查询集中的样本不同。支持集和查询集中的样本首先通过映射层进行降维，然后通过嵌入式特征提取网络进行嵌入特征提取。在训练阶段，利用基于距离度量结果的非参数softmax损失函数更新网络参数。查询样本xj在查询集Qs中的类概率分布为：
其中d(，)表示一个欧氏距离函数，ck是支持集中第k个类别的嵌入特征，C是每个集合中唯一类别的数量，
表示映射层和带有参数n的嵌入式特征提取器网络，xj是查询集的样本，yj是xj的标签。
根据查询样本x及其真实类标签k的负对数概率，可以将一个源集合中所有查询样本的分类损失表示为：
其中Ss和Qs分别为源域数据集的支持集和查询集；
表示源域支持集ss对应的期望值；
表示源域查询集Qs对应的期望值；
表示查询集中所选样本是第k个样本的概率；
同样，每个目标集合的分类损失可以表示为：
其中St和Qt分别为来自目标域的少样本数据集的支持集和查询集；
表示目标域支持集st对应的期望值；
表示目标域查询集Qt对应的期望值。
通过源域少样本学习过程，将距离相近的特征归为一类，将距离远的特征不归为一类。
步骤六、将进行少样本学习后的高光谱数据输入条件域鉴别器，来减小域间的域偏移，使提取的空间-光谱嵌入特征具有域不变性，实现域分布对齐；
根据本发明实施例，条件域鉴别器具体原理为：
条件域鉴别器D是基于源域概率分布Ps(x)和目标域概率分布Pt(x)的，采用条件对抗域适应策略对源域和目标域的全局数据分布进行对齐，减少域偏移。分类器的预测g包含判别信息，判别信息取决于特征表示f的对抗性适应。通过调节，f和g的域方差可以同时建模。在域鉴别器D上定义域对抗损失函数L，特征表示f＝F(x)，分类器预测g＝G(x)。
其中D(，)为鉴别器预测x为源域样本的概率，1-D(，)为鉴别器预测x为目标域样本的概率。鉴别器D使上述函数最小化，而特征提取器F和分类器G则使其最大化。
设h＝(f，g)是f和g的联合变量。选取多重线性映射
(定义为多维随机向量的外积)作为D对g的条件。与连接策略相比，多重线性映射
可以完全捕捉复杂数据分布背后的多模态结构。然而，多重线性映射的一个缺点是维度爆炸。设df和dg分别是f和g的维数。多重线性映射的输出维数为df×dg。对于深嵌空间来说，尺寸通常过高。为了解决这个维度爆炸问题，DCFSL用随机化的多线性映射代替了多线性映射。多线性映射
可以用点积
来估计，其中⊙表示元素级的乘积，
和
表示两个随机矩阵，只采样一次，并在训练阶段固定，其中d＜＜df×dg。Rf或Rg中的每个元素都遵循单方差对称分布(如均匀分布和高斯分布)。最后，采用以下条件反射策略：
其中1024是深度网络中的最大单位数，如果多线性映射
的维数大于1024，本实施例中使用随机多线性映射T⊙。
步骤七、将对齐后的目标域无标签样本输入到目标域残差网络的soffmax层进行分类，得到最终的分类结果。
进一步通过实验验证本发明的有效性。
用整体分类精度(OA)、平均分类精度(AA)和Kappa系数来表示分类效果，将本发明方法与基于支持向量机方法(SVM)、基于三维卷积神经网络方法(3-D-CNN)在分类效果上进行比较，表1展示了在Pavia University高光谱数据集上的整体分类精度(OA)、平均分类精度(AA)和Kappa系数对比结果。由表1可以看出，本发明方法相比于基于支持向量机方法(SVM)和基于三维卷积神经网络方法(3-D-CNN)，整体分类精度OA分别提高了19.04％和17.42％，平均分类精度AA分别提高了15.96％和10.42％，Kappa系数分别提高了22.58％和20.80％。
表1
表2展示了在Pavia Centre高光谱数据集上的整体分类精度(OA)、平均分类精度(AA)和Kappa系数对比结果。由表2可以看出，本发明方法相比于基于支持向量机方法(SVM)和基于三维卷积神经网络方法(3-D-CNN)，整体分类精度OA分别提高了5.28％和3.42％，平均分类精度AA分别提高了9.21％和6.06％，Kappa系数分别提高了7.36％和4.79％。
表2
表3展示了在Indians Pines高光谱数据集上的整体分类精度(OA)、平均分类精度(AA)和Kappa系数对比结果。由表3可以看出，本发明方法相比于基于支持向量机方法(SVM)和基于三维卷积神经网络方法(3-D-CNN)，整体分类精度OA分别提高了27.81％和18.9％，平均分类精度AA分别提高了23.28％和18.59％，Kappa系数分别提高了30.42％和21.38％。
表3
表4展示了在Salinas高光谱数据集上的整体分类精度(OA)、平均分类精度(AA)和Kappa系数对比结果。由表4可以看出，本发明方法相比于基于支持向量机方法(SVM)和基于三维卷积神经网络方法(3-D-CNN)，整体分类精度OA分别提高了27.81％和18.9％，平均分类精度AA分别提高了23.28％和18.59％，Kappa系数分别提高了30.42％和21.38％。
表4
本发明公开了一种基于深度跨域少样本学习的高光谱图像分类方法，主要解决现有技术在高光谱数据用于训练的标记样本有限，并且源域和目标域地物类别数目与种类不尽相同的问题。该方法在源域中执行FSL来发现可迁移知识，在目标域中执行FSL来学习目标域的判别嵌入模型。该模型以元学习的思想进行训练。在4个不同的目标域数据集上进行的实验结果表明，DCFSL方法比其他标记样本较少的深度学习方法具有更好的性能。
本发明另一实施例提供一种基于深度跨域少样本学习的高光谱图像分类系统，该系统包括：
数据获取模块，其配置成获取多个高光谱图像数据，并划分为源域数据集和目标域数据集；所述多个高光谱图像数据包含多个光谱波段且覆盖多个地物类别；所述目标域数据集包含少量带标签样本；
预处理模块，其配置成对源域数据集和目标域数据集中的高光谱图像数据进行预处理；
降维模块，其配置成将经过预处理后的源域数据集和目标域数据集分别输入两个映射层进行降维处理，以使源域数据和目标域数据具有相同维度；
特征提取模块，其配置成将经过降维处理的源域数据集和目标域数据集分别输入嵌入式特征提取器中提取光谱特征和空间特征，分别获得源域数据集和目标域数据集对应的空间-光谱嵌入特征；所述嵌入式特征提取器为基于三维卷积神经网络的深度残差网络；
学习模块，其配置成根据源域数据集和目标域数据集对应的空间-光谱嵌入特征，分别进行源域数据集和目标域数据集的少样本学习，训练获得源域残差网络和目标域残差网络；
域分布对齐模块，其配置成将进行少样本学习后的源域数据集和目标域数据集中带标签样本输入条件域鉴别器，以减小域间的域偏移，实现域分布对齐；所述条件域鉴别器为基于源域和目标域概率分布，采用条件对抗域适应策略对源域和目标域数据分布进行对齐；
分类模块，其配置成将域分布对齐后的目标域数据集中无标签样本输入到目标域残差网络进行分类，获得最终的分类结果。
本实施例中，优选地，所述预处理模块中所述预处理包括波段筛选和归一化处理。
本实施例中，优选地，所述降维模块中所述映射层为二维卷积神经网络，所述降维处理为：输入I∈R9×9×ch为高光谱图像立方体，其中9×9表示空间维度，ch表示高光谱图像数据的波段数，映射层输出为：
I′＝I×T
其中，降维处理后的图像数据I′∈R9×9×100；T表示变换矩阵且T∈Rch×100，表示变换过程中有ch×100个可学习的参数。
本实施例中，优选地，所述学习模块中所述少样本学习的具体过程包括：
从源域数据集或目标域数据集所对应的多个地物类别中抽取C个地物类别组成分类任务集合；
从抽取的C个地物类别中选取K个样本作为支持集，选取N个样本作为查询集；其中，K不等于N；
利用基于距离度量结果的非参数softmax损失函数更新网络权重参数，以训练残差网络；查询集中样本xj在查询集中的类概率分布为：
其中，d(.)表示欧氏距离函数；
表示映射层和带有参数n的嵌入式特征提取器网络；ck表示支持集中第k个类别的空间-光谱嵌入特征；yj是xj的标签；Qs表示源域查询集；
则源域数据集对应的分类损失表示为：
其中，
表示源域支持集ss对应的期望值；
表示源域查询集Qs对应的期望值；
表示查询集中所选样本是第k个样本的概率；
目标域数据集对应的分类损失表示为：
其中，
表示目标域支持集st对应的期望值；
表示目标域查询集Qt对应的期望值。
本实施例所述一种基于深度跨域少样本学习的高光谱图像分类系统的功能可以由前述一种基于深度跨域少样本学习的高光谱图像分类方法说明，因此本实施例未详述部分，可参见以上方法实施例，在此不再赘述。
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。
Claims (8)
1.一种基于深度跨域少样本学习的高光谱图像分类方法，其特征在于，包括以下步骤：
步骤一、获取多个高光谱图像数据，并划分为源域数据集和目标域数据集；所述多个高光谱图像数据包含多个光谱波段且覆盖多个地物类别；所述目标域数据集包含少量带标签样本；
步骤二、对源域数据集和目标域数据集中的高光谱图像数据进行预处理；
步骤三、将经过预处理后的源域数据集和目标域数据集分别输入两个映射层进行降维处理，以使源域数据和目标域数据具有相同维度；
步骤四、将经过降维处理的源域数据集和目标域数据集分别输入嵌入式特征提取器中提取光谱特征和空间特征，分别获得源域数据集和目标域数据集对应的空间-光谱嵌入特征；所述嵌入式特征提取器为基于三维卷积神经网络的深度残差网络；
步骤五、根据源域数据集和目标域数据集对应的空间-光谱嵌入特征，分别进行源域数据集和目标域数据集的少样本学习，训练获得源域残差网络和目标域残差网络；
步骤六、将进行少样本学习后的源域数据集和目标域数据集中带标签样本输入条件域鉴别器，以减小域间的域偏移，实现域分布对齐；所述条件域鉴别器为基于源域和目标域概率分布，采用条件对抗域适应策略对源域和目标域数据分布进行对齐；
步骤七、将域分布对齐后的目标域数据集中无标签样本输入到目标域残差网络中进行分类，获得最终的分类结果。
2.根据权利要求1所述的一种基于深度跨域少样本学习的高光谱图像分类方法，其特征在于，步骤二中所述预处理包括波段筛选和归一化处理。
3.根据权利要求1或2所述的一种基于深度跨域少样本学习的高光谱图像分类方法，其特征在于，步骤三中所述映射层为二维卷积神经网络，所述降维处理为：输入I∈R9×9×ch为高光谱图像立方体，其中9×9表示空间维度，ch表示高光谱图像数据的波段数，映射层输出为：
I′＝I×T
其中，降维处理后的图像数据I′∈R9×9×100；T表示变换矩阵且T∈Rch×100，表示变换过程中有ch×100个可学习的参数。
4.根据权利要求3所述的一种基于深度跨域少样本学习的高光谱图像分类方法，其特征在于，步骤五所述少样本学习的具体过程包括：
从源域数据集或目标域数据集所对应的多个地物类别中抽取C个地物类别组成分类任务集合；
从抽取的C个地物类别中选取K个样本作为支持集，选取N个样本作为查询集；其中，K不等于N；
利用基于距离度量结果的非参数softmax损失函数更新网络权重参数，以训练残差网络；查询集中样本xj在查询集中的类概率分布为：
其中，d(.)表示欧氏距离函数；
表示映射层和带有参数n的嵌入式特征提取器网络；ck表示支持集中第k个类别的空间-光谱嵌入特征；yj是xj的标签；Qs表示源域查询集；
则源域数据集对应的分类损失表示为：
其中，
表示源域支持集ss对应的期望值；
表示源域查询集Qs对应的期望值；
表示查询集中所选样本是第k个样本的概率；
目标域数据集对应的分类损失表示为：
其中，
表示目标域支持集st对应的期望值；
表示目标域查询集Qt对应的期望值。
5.一种基于深度跨域少样本学习的高光谱图像分类系统，其特征在于，包括：
数据获取模块，其配置成获取多个高光谱图像数据，并划分为源域数据集和目标域数据集；所述多个高光谱图像数据包含多个光谱波段且覆盖多个地物类别；所述目标域数据集包含少量带标签样本；
预处理模块，其配置成对源域数据集和目标域数据集中的高光谱图像数据进行预处理；
降维模块，其配置成将经过预处理后的源域数据集和目标域数据集分别输入两个映射层进行降维处理，以使源域数据和目标域数据具有相同维度；
特征提取模块，其配置成将经过降维处理的源域数据集和目标域数据集分别输入嵌入式特征提取器中提取光谱特征和空间特征，分别获得源域数据集和目标域数据集对应的空间-光谱嵌入特征；所述嵌入式特征提取器为基于三维卷积神经网络的深度残差网络；
学习模块，其配置成根据源域数据集和目标域数据集对应的空间-光谱嵌入特征，分别进行源域数据集和目标域数据集的少样本学习，训练获得源域残差网络和目标域残差网络；
域分布对齐模块，其配置成将进行少样本学习后的源域数据集和目标域数据集中带标签样本输入条件域鉴别器，以减小域间的域偏移，实现域分布对齐；所述条件域鉴别器为基于源域和目标域概率分布，采用条件对抗域适应策略对源域和目标域数据分布进行对齐；
分类模块，其配置成将域分布对齐后的目标域数据集中无标签样本输入到目标域残差网络进行分类，获得最终的分类结果。
6.根据权利要求5所述的一种基于深度跨域少样本学习的高光谱图像分类系统，其特征在于，所述预处理模块中所述预处理包括波段筛选和归一化处理。
7.根据权利要求5或6所述的一种基于深度跨域少样本学习的高光谱图像分类系统，其特征在于，所述降维模块中所述映射层为二维卷积神经网络，所述降维处理为：输入I∈R9 ×9×ch为高光谱图像立方体，其中9×9表示空间维度，ch表示高光谱图像数据的波段数，映射层输出为：
I′＝I×T
其中，降维处理后的图像数据I′∈R9×9×100；T表示变换矩阵且T∈Rch×100，表示变换过程中有ch×100个可学习的参数。
8.根据权利要求7所述的一种基于深度跨域少样本学习的高光谱图像分类系统，其特征在于，所述学习模块中所述少样本学习的具体过程包括：
从源域数据集或目标域数据集所对应的多个地物类别中抽取C个地物类别组成分类任务集合；
从抽取的C个地物类别中选取K个样本作为支持集，选取N个样本作为查询集；其中，K不等于N；
利用基于距离度量结果的非参数softmax损失函数更新网络权重参数，以训练残差网络；查询集中样本xj在查询集中的类概率分布为：
其中，d(.)表示欧氏距离函数；
表示映射层和带有参数n的嵌入式特征提取器网络；ck表示支持集中第k个类别的空间-光谱嵌入特征；yj是xj的标签；Qs表示源域查询集；
则源域数据集对应的分类损失表示为：
其中，
表示源域支持集ss对应的期望值；
表示源域查询集Qs对应的期望值；
表示查询集中所选样本是第k个样本的概率；
目标域数据集对应的分类损失表示为：
其中，
表示目标域支持集st对应的期望值；
表示目标域查询集Qt对应的期望值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210788833.3A CN115170961A (zh) | 2022-07-06 | 2022-07-06 | 一种基于深度跨域少样本学习的高光谱图像分类方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210788833.3A CN115170961A (zh) | 2022-07-06 | 2022-07-06 | 一种基于深度跨域少样本学习的高光谱图像分类方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115170961A true CN115170961A (zh) | 2022-10-11 |
Family
ID=83491685
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210788833.3A Pending CN115170961A (zh) | 2022-07-06 | 2022-07-06 | 一种基于深度跨域少样本学习的高光谱图像分类方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115170961A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116188830A (zh) * | 2022-11-01 | 2023-05-30 | 青岛柯锐思德电子科技有限公司 | 基于多层级特征对齐的高光谱图像跨域分类方法 |
| CN116310810A (zh) * | 2022-12-06 | 2023-06-23 | 青岛柯锐思德电子科技有限公司 | 基于空间注意力引导可变卷积的跨域高光谱图像分类方法 |
| CN117132804A (zh) * | 2023-07-04 | 2023-11-28 | 中国矿业大学 | 一种基于因果跨域小样本学习的高光谱图像分类方法 |
-
2022
- 2022-07-06 CN CN202210788833.3A patent/CN115170961A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116188830A (zh) * | 2022-11-01 | 2023-05-30 | 青岛柯锐思德电子科技有限公司 | 基于多层级特征对齐的高光谱图像跨域分类方法 |
| CN116188830B (zh) * | 2022-11-01 | 2023-09-29 | 青岛柯锐思德电子科技有限公司 | 基于多层级特征对齐的高光谱图像跨域分类方法 |
| CN116310810A (zh) * | 2022-12-06 | 2023-06-23 | 青岛柯锐思德电子科技有限公司 | 基于空间注意力引导可变卷积的跨域高光谱图像分类方法 |
| CN116310810B (zh) * | 2022-12-06 | 2023-09-15 | 青岛柯锐思德电子科技有限公司 | 基于空间注意力引导可变卷积的跨域高光谱图像分类方法 |
| CN117132804A (zh) * | 2023-07-04 | 2023-11-28 | 中国矿业大学 | 一种基于因果跨域小样本学习的高光谱图像分类方法 |
| CN117132804B (zh) * | 2023-07-04 | 2024-04-05 | 中国矿业大学 | 一种基于因果跨域小样本学习的高光谱图像分类方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108446716B (zh) | 基于FCN与稀疏-低秩子空间表示融合的PolSAR图像分类方法 | |
| Hosseiny et al. | WetNet: A spatial–temporal ensemble deep learning model for wetland classification using Sentinel-1 and Sentinel-2 | |
| Lin et al. | Cross-view image geolocalization | |
| CN114220124A (zh) | 一种近红外-可见光跨模态双流行人重识别方法及系统 | |
| CN115170961A (zh) | 一种基于深度跨域少样本学习的高光谱图像分类方法及系统 | |
| CN107145836B (zh) | 基于栈式边界辨别自编码器的高光谱图像分类方法 | |
| CN111680176A (zh) | 基于注意力与双向特征融合的遥感图像检索方法及系统 | |
| Kavitha et al. | Retracted article: content based satellite image retrieval system using fuzzy clustering | |
| CN111680579B (zh) | 一种自适应权重多视角度量学习的遥感图像分类方法 | |
| He et al. | Multi-spectral remote sensing land-cover classification based on deep learning methods | |
| CN109034213B (zh) | 基于相关熵原则的高光谱图像分类方法和系统 | |
| CN107203779A (zh) | 基于空谱信息保持的高光谱降维方法 | |
| Kollapudi et al. | A New Method for Scene Classification from the Remote Sensing Images. | |
| Ouchra et al. | Machine learning for satellite image classification: A comprehensive review | |
| Al-Ghrairi et al. | Classification of satellite images based on color features using remote sensing | |
| Kumari et al. | Deep learning techniques for remote sensing image scene classification: A comprehensive review, current challenges, and future directions | |
| CN117611908A (zh) | 天空地一体化大场景高光谱遥感图像的农作物精准分类 | |
| Srivastava et al. | Feature-Based Image Retrieval (FBIR) system for satellite image quality assessment using big data analytical technique | |
| Zhang et al. | High-resolution remote sensing image scene classification by merging multilevel features of convolutional neural networks | |
| Huang et al. | Research on crop planting area classification from remote sensing image based on deep learning | |
| CN114037922B (zh) | 一种基于层级上下文网络的航拍图像分割方法 | |
| Jenicka | Land Cover Classification of Remotely Sensed Images | |
| Jijón-Palma et al. | Improving stacked-autoencoders with 1D convolutional-nets for hyperspectral image land-cover classification | |
| CN106033545B (zh) | 行列式点过程的波段选择方法 | |
| Zhang et al. | Land cover classification in high-resolution remote sensing: using Swin Transformer deep learning with texture features |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |