CN115393719A - 结合空谱域自适应与集成学习的高光谱图像分类方法 - Google Patents
结合空谱域自适应与集成学习的高光谱图像分类方法 Download PDFInfo
- Publication number
- CN115393719A CN115393719A CN202211047569.4A CN202211047569A CN115393719A CN 115393719 A CN115393719 A CN 115393719A CN 202211047569 A CN202211047569 A CN 202211047569A CN 115393719 A CN115393719 A CN 115393719A
- Authority
- CN
- China
- Prior art keywords
- domain
- data
- target domain
- target
- samples
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000003595 spectral effect Effects 0.000 title claims abstract description 12
- 238000013507 mapping Methods 0.000 claims abstract description 26
- 238000001228 spectrum Methods 0.000 claims abstract description 21
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 59
- 230000006870 function Effects 0.000 claims description 23
- 230000006978 adaptation Effects 0.000 claims description 21
- 230000004913 activation Effects 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 7
- 238000003066 decision tree Methods 0.000 claims description 6
- 238000013508 migration Methods 0.000 claims description 6
- 230000005012 migration Effects 0.000 claims description 6
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 claims description 5
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000011160 research Methods 0.000 abstract description 3
- 238000012821 model calculation Methods 0.000 abstract 1
- 239000010410 layer Substances 0.000 description 15
- 238000010586 diagram Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 4
- 238000000354 decomposition reaction Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 239000010426 asphalt Substances 0.000 description 3
- 238000007635 classification algorithm Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 244000068988 Glycine max Species 0.000 description 2
- 235000010469 Glycine max Nutrition 0.000 description 2
- 240000008042 Zea mays Species 0.000 description 2
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 2
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 2
- 238000002679 ablation Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 235000005822 corn Nutrition 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000002356 single layer Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 241000209140 Triticum Species 0.000 description 1
- 235000021307 Triticum Nutrition 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000012733 comparative method Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 210000002231 macronucleus Anatomy 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000002420 orchard Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
- G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
- G06V10/7747—Organisation of the process, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
- G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Remote Sensing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种结合空谱域自适应与集成学习的高光谱图像分类方法，属于图像分类技术领域。该方法依次执行输入源域中有标记数据、目标域中无标记数据和少量有标记数据，通过空谱注意力模型对源域和目标域进行特征提取，其中空谱注意力模型引入了大核注意力(LKA)，可以利用图像的局部结构信息、捕获长距离依赖并且具有空间维度和光谱维度的适应性；然后将特征提取后的数据输入鉴别器并对源域数据聚类以形成聚类中心，再将目标域数据向各类聚类中心迭代映射；最后通过XGBoost进行分类来缓解模型计算速度慢和单分类器可信度低的问题，有效地提升了高光谱图像地物分类的准确度，为跨场景高光谱图像分类的后续研究以及相关应用提供新的参考思路。
Description
技术领域
本发明结合空谱域自适应与集成学习的高光谱图像分类方法属于图像分类技术领域。
背景技术
高光谱图像是由成像光谱仪获取的，成像光谱仪为每个像元提供数十至数百个窄波段光谱信息，产生一条完整而连续的光谱曲线。高光谱图像丰富的光谱信息和空间信息具有“图谱合一”的特点，更加有助于区分不同的土地覆盖类型，在农林监测、城市遥感等领域具有重要应用。因此，高光谱图像分类一直是图像处理领域研究的热点。
在过去的几十年中，多种基于神经网络的分类算法得到了大量地研究，例如2D卷积、3D卷积和图卷积。虽然取得了巨大的突破，但其存在着很大弊端——模型训练需要大量有标记样本。然而，由于高光谱图像的复杂性，手工标注难度大，导致标记样本有限。因此，如何在训练样本有限的条件下使得模型具有较好的泛化性能便成为了亟待解决的问题。域自适应技术是解决标记缺乏的重要方法，其思想是使一个领域(源领域)的知识适配另一领域(目标领域)，可在高光谱图像分类任务中用来减小跨场景图像之间的光谱偏移。根据目标域是否有少量标记数据，域自适应又可以分为无监督域自适应和有监督域自适应。无监督域自适应的主要策略是通过最小化源和目标特征之间的分布差异来引导特征学习。为此，对抗学习是无监督域自适应中常常用到的方法。由概率论知识可知，单一分类器的置信度不及多分类器集成。另外，高光谱图像特征较多，神经网络参数量较大，导致模型速度较慢。这些同样是本发明需要解决的问题。
发明内容
针对上述问题，本发明将无监督域自适应与有监督域自适应相结合，提出了三层域自适应方案。除此之外，本发明在对抗域自适应的生成器中设计了大核注意力，并对大核进行了分解，保证网络在增大感受野的同时拥有较小参数量。本发明还引入了以快速和高效著称的XGBoost集成分类器，来解决计算速度慢和单分类器可信度低的问题。
本发明的目的是这样实现的：
步骤a、输入待分类的高光谱数据集；
步骤b、对输入的高光谱数据集进行划分：源域数据集命名为S(Source)，目标域数据集命名为T(Target)；
步骤c、在源域数据集中选取训练集，在目标域数据集中选取不相交的有标签训练集和无标签训练集；
步骤d、将源域训练集和目标域无标签训练集分别输入到源域特征提取器(SourceExtractor，SE)和目标域特征提取器(Target Extractor，TE)中，进行特征提取，其中源域特征提取器和目标域特征提取器均采用空谱注意力模型结构；
步骤e、将特征提取后的数据送入鉴别器中，利用鉴别器区分源域与目标域数据，通过鉴别器与目标域特征提取器(生成器)互相对抗，不断博弈来提高目标域特征提取器的特征迁移能力；
步骤f、将有少量标签的目标域样本输入到目标域特征提取器中，使目标域特征提取器学习目标域数据的真实分布；
步骤g、将源域和目标域数据映射到同一个公共域空间，利用源域数据的聚类中心对目标域数据进行聚类；
步骤h、利用XGBoost集成分类器对提取后的特征进行分类，获得最终的分类结果；
根据权利要求1所述的结合空谱域自适应与集成学习的高光谱图像分类方法，其特征在于，步骤c具体为：
步骤c1、在源域数据集中，每个类随机选取180个尺寸为5×5×ch的源域样本，ch为光谱波段，保留标签作为源域训练集，命名为带标签的源域数据SLS(Source labeledsamples)；
步骤c2、在目标域数据集中，每个类随机选取20个尺寸为5×5×ch的目标域样本，保留标签作为目标域有标签训练集，命名为带标签的目标域数据TLS(Target labeledsamples)；
步骤c3、在目标域数据集中，每个类随机选取200个尺寸为5×5×ch的目标域样本，去除标签后作为目标域无标签训练集，命名为不带标签的目标域数据TUS(Targetunlabeled samples)。
根据权利要求1所述的结合空谱域自适应与集成学习的高光谱图像分类方法，其特征在于，步骤d具体为：
步骤d1、将源域训练集与目标域无标签训练集送入深度超参数模型后进行平均池化；
步骤d2、将d1处理后的数据输入大核注意力模型(LKA)，然后利用全连接展平数据；
根据权利要求1所述的结合空谱域自适应与集成学习的高光谱图像分类方法，其特征在于，步骤e具体为：
步骤e1、构建全连接层-ReLU激活函数-全连接层-ReLU激活函数-全连接层-Softmax激活函数结构的鉴别器，第一层输入数据尺寸为1×128、第二层和第三层输入数据尺寸为1×64，第四层及输出数据尺寸为1×2。
步骤e2、空谱注意力模型特征迁移能力地提高通过优化损失函数实现，公式如下：
其中，
为目标域无标签训练样本TUS，α为目标域特征提取器的参数，β是鉴别器的参数，SLS是源域训练样本，SE(·)为源域特征提取器，TE(·)为目标域特征提取器。Dβ(·)是对抗学习中的鉴别器，用以区分输入特征是来自源域还是目标域。
根据权利要求1所述的结合空谱域自适应与集成学习的高光谱图像分类方法，其特征在于，在步骤f中，用目标域有标签训练集对步骤e训练完毕的空谱注意力模型进行调整，使得空谱注意力模型能够进一步学习目标域样本的条件概率分布。该层以均方误差作为损失函数，其优化公式为：
其中，
为目标域有少量标签的样本TLS，x是训练数据集，y是标签集。
根据权利要求1所述的结合空谱域自适应与集成学习的高光谱图像分类方法，其特征在于，步骤g具体为：
步骤g1、使源域有标签数据经过空谱注意力模型映射到一个公共域空间，取平均值得到源域的聚类中心；
步骤g2、将目标域无标签数据同样映射到同一个公共域空间，并在公共域空间利用源域的聚类中心对目标数据进行聚类，为了能够尽可能缩小公共域空间中源域和目标域的分布差异，引入映射聚类损失，用来衡量公共域空间内同类样本的聚集程度。通过迭代映射，优化聚类损失，使源域和目标域的聚类中心距离不断减小，全部类别的映射聚类损失优化公式为：
其中，Ck表示第k类样本的聚类中心，其值为第k类样本的均值。减小映射聚类损失有助于目标域样本在公共域空间内的分类。
根据权利要求1所述的结合空谱域自适应与集成学习的高光谱图像分类方法，其特征在于，步骤h具体为：
步骤h1、定义目标函数为：
其中，n为样本数，yi为第i个样本的标签，
是第i个样本的预测值，
用来计算样本损失，K表示树的个数，fk表示第k棵树，其公式是将样本映射到叶子节点，Ω用来衡量模型的复杂度。
步骤h2、初始化每个样本的预测值；
步骤h3、计算损失函数对于每个样本预测值的导数；
步骤h4、根据导数信息建立一棵新的决策树；
步骤h5、利用新的决策树预测样本值，拟合上一棵树与真实值的残差；
步骤h6、重复步骤h3-h5，直至残差小于阈值。
有益效果：
本发明引入了大核注意力(LKA)，大核注意力具有卷积和注意力的双重优势，可以利用图像的局部结构信息、捕获长距离依赖并且具有空间维度和光谱维度的适应性；采用以快速和高效著称的XGBoost集成分类器，来缓解计算速度慢和单分类器可信度低的问题，有效地提升了高光谱图像地物分类的准确度，为跨场景高光谱图像分类的后续研究以及相关应用提供新的参考思路。
附图说明
图1是本发明结合空谱域自适应与集成学习的高光谱图像分类方法的流程图。
图2是本发明结合空谱域自适应与集成学习的高光谱图像分类模型图。
图3是本发明方法中的空谱注意力模型图。
图4是本发明方法中的大核分解结构示意图。
图5是本发明方法中的Pavia数据集伪彩色和真值图。
图6是本发明方法中的Indiana数据集伪彩色和真值图。
图7是本发明方法中的Pavia数据集中的分类结果图。
图8是本发明方法中的Indiana数据集中的分类结果图。
具体实施方式
下面基于附图对本发明具体实施方式作进一步详细描述。
本具体实施方式下的结合空谱域自适应与集成学习的高光谱图像分类方法，流程图如图1所示，网络原理示意图如图2所示，包括以下步骤：
步骤a、输入待分类的高光谱图像；
在本具体实施方式中，使用两个在高光谱领域权威性较高的开源数据集：Pavia数据集和Indiana数据集。
(1)Pavia数据集：Pavia数据集是通过数字机载成像系统(DAIS)传感器捕获的意大利帕维亚市区图像，选择帕维亚大学作为训练的源域，帕维亚中心作为目标域。源域大小为(243,243,72)，目标域大小为(400,400,72)，假彩色图和地面真值图如图5所示。二者共有C1到C6六组相对应的土地覆盖分类，详情如表1所示。
表1 Pavia数据集详情
| 类别编号 | 类别名称 | 源域样本数 | 目标域样本数 |
| C1 | Trees | 266 | 2424 |
| C2 | Asphalt | 266 | 1704 |
| C3 | Parking lot | 265 | 287 |
| C4 | Bitumen | 206 | 685 |
| C5 | Meadow | 273 | 1251 |
| C6 | Soil | 213 | 1475 |
(2)Indiana数据集：Indiana数据集是通过机载可见光/红外成像光谱仪(AVIRIS)捕获的美国印第安纳州西北部印第安纳州试验场图像，选择两个不相交的区域分别作为源域和目标域，源域大小为(400,300,220)，目标域大小同样为(400,300,220)，假彩色图和地面真值图如图6所示。二者共有C1到C7七组相对应的土地覆盖分类，详情如表2所示。
表2 Indiana数据集详情
| 类别编号 | 类别名称 | 源域样本数 | 目标域样本数 |
| C1 | Concrete/Asphalt | 4867 | 2942 |
| C2 | Corn cleanTill | 9822 | 6029 |
| C3 | Corn cleanTill EW | 11414 | 7999 |
| C4 | Orchard | 5106 | 1562 |
| C5 | Soybeans cleanTill | 4731 | 4792 |
| C6 | Soybeans cleanTill EW | 2996 | 1638 |
| C7 | Wheat | 3223 | 10739 |
步骤b、对输入的高光谱数据集进行划分：源域数据集命名为S(Source)，目标域数据集命名为T(Target)；
假设源域和目标域含有一些共同的交叉特征，通过特征变换，将源域和目标域的特征变换到相同空间，使得该空间中源域数据与目标域数据具有相同分布的数据分布，然后进行传统的机器学习，这样就可以解决目标域标记少的问题。
步骤c、在源域数据集中选取训练集，在目标域数据集中选取不相交的有标签训练集和无标签训练集；
有标签源域训练集与无标签目标域训练集用来进行迁移学习，有标签目标域训练集虽然数量有限，但是它是目标域样本的真实分布，可以很大程度上反映主要的域的特征。跨场景高光谱分类的最终目的就是使模型最大程度上学习待分类区域的样本分布，因此即使是少量的目标域样本也可以给模型提供真实的目标域样本分布信息。
步骤c1、在源域数据集中，每个类随机选取180个尺寸为5×5×ch的源域样本，ch为光谱波段，保留标签作为源域训练集，命名为带标签的源域数据SLS(Source labeledsamples)；
步骤c2、在目标域数据集中，每个类随机选取20个尺寸为5×5×ch的目标域样本，保留标签作为目标域有标签训练集，命名为带标签的目标域数据TLS(Target labeledsamples)；
步骤c3、在目标域数据集中，每个类随机选取200个尺寸为5×5×ch的目标域样本，去除标签后作为目标域无标签训练集，命名为不带标签的目标域数据TUS(Targetunlabeled samples)。
步骤d、将源域训练集和目标域无标签训练集分别输入到源域特征提取器(SourceExtractor，SE)和目标域特征提取器(Target Extractor，TE)中，进行特征提取，其中源域特征提取器和目标域特征提取器均采用空谱注意力模型结构；
步骤d1、将源域训练集与目标域无标签训练集送入深度超参数模型后进行平均池化，所述深度超参数模型是由4个深度超参数卷积-批量归一化-ReLU激活函数-Dropout结构串联而成。深度超参数卷积卷积核尺寸为1×1，padding为0平均池化的Filter尺寸为5×5；
深度超参数卷积由传统卷积
和深度卷积
组成。在传统卷积中，卷积层对输入数据进行滑动处理，输出特征的每个元素由卷积核的水平切片和图像块P的点积得到。M和N是P的空间维数，Cin是输入特征图的个数，Dmul是深度卷积的数量，Cout为输出特征图的个数。在深层卷积层中，在训练阶段，深度卷积核与每个输入通道进行卷积。训练阶段结束后，将用于过参数化的多层复合线性运算折叠成紧凑的单层表示。然后，只使用单层进行推理，使计算量与常规层完全等价。
步骤d2、将d1处理后的数据输入大核注意力模型(LKA)，然后利用全连接展平数据,所述大核注意力模型(LKA)的结构为：深度卷积-深度空洞卷积-点卷积，点卷积后输出的注意力图与LKA的输入逐点相乘。深度卷积卷积核尺寸为5×5，padding为2；深度空洞卷积卷积核尺寸为7×7，padding为9，dilation为3；点卷积卷积核尺寸为1×1，padding为0。
加入LKA后，可从深度超参数化卷积和大核两条途径改进小卷积核导致的网络感受野较小的问题。为避免大卷积核增加网络模型的参数，使其不利于小样本训练，LKA将大核分解为如图4所示三个部分：空间局部卷积(深度卷积)、空间长距离卷积(深度空洞卷积)和光谱卷积(1×1卷积)。具体分解尺寸是一个K×K的卷积分解为一个扩张率为d，尺寸为
的深度空洞卷积(Deepwise Dilation Convolution,DW-D-Conv)、一个(2d-1)×(2d-1)的深度卷积(Deepwise Convolution,DW-Conv)和一个1×1卷积(PointwiseConvolution,PW-Conv)。
经过大核分解后模型不仅可以捕获长距离依赖，增大感受野，还能保证计算成本和参数数量都很小。LKA还从空间和光谱维度引入了一种新型注意力方法，它可以根据输入的空间和光谱特征选择有区别的特征，并自动忽略噪声响应。在捕获长距离依赖后，LKA通过估计像素点的重要性生成注意力图，其计算公式为：
Attention＝Conv1×1(DW-D-Conv(DW-Conv(F)))
其中，F∈RC×H×W是输入的特征图，Attention∈RC×H×W表示注意力图。
表示逐像素点相乘。
步骤e、将特征提取后的数据送入鉴别器中，利用鉴别器区分源域与目标域数据，通过鉴别器与目标域特征提取器(生成器)互相对抗，不断博弈来提高目标域特征提取器的特征迁移能力；
步骤e1、构建全连接层-ReLU激活函数-全连接层-ReLU激活函数-全连接层-Softmax激活函数结构的鉴别器，第一层输入数据尺寸为1×128、第二层和第三层输入数据尺寸为1×64，第四层及输出数据尺寸为1×2。
通过使用ReLU激活函数增加网络非线性，提高网络模型的收敛速度，ReLU与Softmax激活函数的公式如下：
步骤e2、空谱注意力模型特征迁移能力地提高通过优化损失函数实现，公式如下：
其中，
为目标域无标签训练样本TUS，α为目标域特征提取器的参数，β是鉴别器的参数，SLS是源域训练样本，SE(·)为源域特征提取器，TE(·)为目标域特征提取器。Dβ(·)是对抗学习中的鉴别器，用以区分输入特征是来自源域还是目标域。
对抗学习：首先，初始化生成器即空谱注意力模型和鉴别器D两个模型的参数；其次，从源域训练集中随机抽取个样本，将目标域无标签训练样本送入空谱注意力模型生成180个样本，固定空谱注意力模型，训练鉴别器D，使鉴别器尽可能区分数据是来自源域还是目标域；然后，循环更新1次别器D之后，更新1次空谱注意力模型。更新迭代200个epoch后，此时理想的辨别概率为0.5，完成训练。
步骤f、将有少量标签的目标域样本输入到目标域特征提取器中，使目标域特征提取器学习目标域数据的真实分布，用目标域有标签训练集对步骤e训练完毕的空谱注意力模型进行调整，使得空谱注意力模型能够进一步学习目标域样本的条件概率分布。该层以均方误差作为损失函数，其优化公式为：
其中，
为目标域有少量标签的样本TLS，
是训练数据集，
是标签集。
在该步骤中，假设两个样本x1，x2相似，则它们的相应输出y1，y2也应如此。这意味着如果两个输入相同类，并且属于同一簇，则它们相应的输出需要相近，反之亦成立；假设输入数据点形成簇，每个簇对应于一个输出类，那么如果点在同一个簇中，则它们可以认为属于同一类。第二个假设也可以被视为低密度分离假设，即：给定的决策边界位于低密度地区。两个假设之间的关系很容易看出，一个高密度区域，可能会将一个簇分为两个不同的类别，从而产生属于同一聚类的不同类，这违反了第二个假设。在这种情况下，可以通过有标记数据进行监督域自适应来限制模型在一些小扰动的未标记数据上具有一致的预测，以将其判定边界推到低密度区域。
步骤g、将源域和目标域数据映射到同一个公共域空间，利用源域数据的聚类中心对目标域数据进行聚类；
步骤g1、使源域有标签数据经过空谱注意力模型映射到一个公共域空间，取平均值得到源域的聚类中心；
聚类算法为K-Means。K-Means思想为：在最小化误差函数的基础上将数据划分为预定的类数K，采用距离作为相似性的评价指标，即认为两个对象的距离越近，其相似度就越大。
算法过程如下：
(1)从N个样本数据中随机选取K(不同的数据集K值不同)个对象作为初始的聚类中心；
(2)分别计算每个样本到各个聚类中心的距离，将对象分配到距离最近的聚类中，两点间的距离公式为：
其中x为某样本点，μ为聚类中心；
(3)所有对象分配完成后，重新计算K个聚类的中心；
(4)与前一次计算得到的K个聚类中心比较，如果聚类中心发生变化，转第(2)步；
(5)当质心不发生变化时停止并输出聚类结果。
步骤g2、将目标域无标签数据同样映射到同一个公共域空间，并在公共域空间利用源域的聚类中心对目标数据进行聚类，为了能够尽可能缩小公共域空间中源域和目标域的分布差异，引入映射聚类损失，用来衡量公共域空间内同类样本的聚集程度。通过迭代映射，优化聚类损失，使源域和目标域的聚类中心距离不断减小，全部类别的映射聚类损失优化公式为：
其中，Ck表示第k类样本的聚类中心，其值为第k类样本的均值。减小映射聚类损失有助于目标域样本在公共域空间内的分类。
步骤h、利用XGBoost集成分类器对提取后的特征进行分类，获得最终的分类结果；
步骤h1、定义目标函数为：
其中，n为样本数，yi为第i个样本的标签，
是第i个样本的预测值，
用来计算样本损失，K表示树的个数，fk表示第k棵树，其公式是将样本映射到叶子节点，Ω用来衡量模型的复杂度。当f1 ft-1训练完毕后就不再调整。第t棵树表示为：
其中，x表示训练样本，在训练第t棵树时，其目标函数为：
其中，xi表示第i个训练样本，
可以表示前t-1棵树的复杂度，是个常数，并不会影响模型的优化结果。所以对上式进行泰勒展开后去掉常数项可以得到：
其中，
是由前t-1棵树组成的模型。
为便于讨论Ω(ft)的定义，本发明做出如下定义，[w1,w2,...,wT]表示叶子结点的输出向量，设q(x):Rd→{1,2,3,...,T}表示样本到叶子节点的映射，则ft(x)＝wq(x),w∈RT。Ω(ft)可以定义为：
其中，T表示叶子结点数，wj表示叶子结点j的输出，λ、γ是系数。于是，目标函数可以整理为：
即为最终需要优化的函数；
步骤h2、初始化每个样本的预测值；
步骤h3、计算损失函数对于每个样本预测值的导数；
步骤h4、根据导数信息建立一棵新的决策树；
步骤h5、利用新的决策树预测样本值，拟合上一棵树与真实值的残差；
步骤h6、重复步骤h3-h5，直至残差小于阈值。
本发明所采用的实验评价指标为总体精度(OA)、平均精度(AA)和Kappa系数(K)。表3和表4分别展示了本发明所提出的方法和其它对比方法在两种数据集上的详细分类结果。可以看出，相比于径向基函数支持向量机(RBF-SVM)、扩展形态轮廓支持向量机(EMP-SVM)、深度卷积神经网络(DCNN)、基于欧几里得距离的无监督域自适应分类算法(ED-DMM-UDA)、结合曼哈顿度量和深度参数化卷积的无监督域自适应加权KNN跨场景分类方法(MDDUWK)，本发明所提模型在两个数据集上的分类性能均达到了最高，其中OA分别达到了91.62％和65.98％。为了验证模型各组成部分的有效性，进行了两组消融实验，包括在模型中仅使用LKA的实验(SSDA)和在模型中仅使用XGBoost的实验(SDAI)。两组消融实验结果表明本发明所使用的LKA和XGBoost均可提升模型分类准确率。
为了主观评价分类效果，图7和图8分别显示了Pavia数据集和Indiana数据集的真值图以及各方法的分类结果图。各分类方法的顺序与表3和表4中分类方法的顺序相同。可以看出，本发明所提分类算法更贴近真实地物分布，错误分类的面积大大减少，进一步证明了所提方法在高光谱数据分类中的有效性。
表3 Pavia数据集不同分类方法的分类精度比较(％)
表4 Indiana数据集不同分类方法的分类精度比较(％)
Claims (7)
1.结合空谱域自适应与集成学习的高光谱图像分类方法，其特征在于，包括以下步骤：
步骤a、输入待分类的高光谱数据集；
步骤b、对输入的高光谱数据集进行划分：源域数据集命名为S(Source)，目标域数据集命名为T(Target)；
步骤c、在源域数据集中选取训练集，在目标域数据集中选取不相交的有标签训练集和无标签训练集；
步骤d、将源域训练集和目标域无标签训练集分别输入到源域特征提取器(SourceExtractor，SE)和目标域特征提取器(Target Extractor，TE)中，进行特征提取，其中源域特征提取器和目标域特征提取器均采用空谱注意力模型结构；
步骤e、将特征提取后的数据送入鉴别器中，利用鉴别器区分源域与目标域数据，通过鉴别器与目标域特征提取器(生成器)互相对抗，不断博弈来提高目标域特征提取器的特征迁移能力；
步骤f、将有少量标签的目标域样本输入到目标域特征提取器中，使目标域特征提取器学习目标域数据的真实分布；
步骤g、将源域和目标域数据映射到同一个公共域空间，利用源域数据的聚类中心对目标域数据进行聚类；
步骤h、利用XGBoost集成分类器对提取后的特征进行分类，获得最终的分类结果。
2.根据权利要求1所述的结合空谱域自适应与集成学习的高光谱图像分类方法，其特征在于，步骤c具体包括以下步骤：
步骤c1、在源域数据集中，每个类随机选取180个尺寸为5×5×ch的源域样本，ch为光谱波段，保留标签作为源域训练集，命名为带标签的源域数据SLS(Source labeledsamples)；
步骤c2、在目标域数据集中，每个类随机选取20个尺寸为5×5×ch的目标域样本，保留标签作为目标域有标签训练集，命名为带标签的目标域数据TLS(Target labeledsamples)；
步骤c3、在目标域数据集中，每个类随机选取200个尺寸为5×5×ch的目标域样本，去除标签后作为目标域无标签训练集，命名为不带标签的目标域数据TUS(Target unlabeledsamples)。
3.根据权利要求1所述的结合空谱域自适应与集成学习的高光谱图像分类方法，其特征在于，步骤d具体包括以下步骤：
步骤d1、将源域训练集与目标域无标签训练集送入深度超参数模型后进行平均池化；
步骤d2、将d1处理后的数据输入大核注意力模型(LKA)，然后利用全连接展平数据。
4.根据权利要求1所述的结合空谱域自适应与集成学习的高光谱图像分类方法，其特征在于，步骤e具体包括以下步骤：
步骤e1、构建全连接层-ReLU激活函数-全连接层-ReLU激活函数-全连接层-Softmax激活函数结构的鉴别器，第一层输入数据尺寸为1×128、第二层和第三层输入数据尺寸为1×64，第四层及输出数据尺寸为1×2。
步骤e2、空谱注意力模型特征迁移能力地提高通过优化损失函数实现，公式如下：
其中，
为目标域无标签训练样本TUS，α为目标域特征提取器的参数，β是鉴别器的参数，SLS是源域训练样本，SE(·)为源域特征提取器，TE(·)为目标域特征提取器。Dβ(·)是对抗学习中的鉴别器，用以区分输入特征是来自源域还是目标域。
5.根据权利要求1所述的结合空谱域自适应与集成学习的高光谱图像分类方法，其特征在于，在步骤f中，用目标域有标签训练集对步骤e训练完毕的空谱注意力模型进行调整，使得空谱注意力模型能够进一步学习目标域样本的条件概率分布。该层以均方误差作为损失函数，其优化公式为：
其中，
为目标域有少量标签的样本TLS，χ是训练数据集，y是标签集。
6.根据权利要求1所述的结合空谱域自适应与集成学习的高光谱图像分类方法，其特征在于，步骤g具体包括以下步骤：
步骤g1、使源域有标签数据经过空谱注意力模型映射到一个公共域空间，取平均值得到源域的聚类中心；
步骤g2、将目标域无标签数据同样映射到同一个公共域空间，并在公共域空间利用源域的聚类中心对目标数据进行聚类，为了能够尽可能缩小公共域空间中源域和目标域的分布差异，引入映射聚类损失，用来衡量公共域空间内同类样本的聚集程度。通过迭代映射，优化聚类损失，使源域和目标域的聚类中心距离不断减小，全部类别的映射聚类损失优化公式为：
其中，Ck表示第k类样本的聚类中心，其值为第k类样本的均值。减小映射聚类损失有助于目标域样本在公共域空间内的分类。
7.根据权利要求1所述的结合空谱域自适应与集成学习的高光谱图像分类方法，其特征在于，步骤h具体包括以下步骤：
步骤h1、定义目标函数为：
其中，n为样本数，yi为第i个样本的标签，
是第i个样本的预测值，
用来计算样本损失，K表示树的个数，fk表示第k棵树，其公式是将样本映射到叶子节点，Ω用来衡量模型的复杂度。
步骤h2、初始化每个样本的预测值；
步骤h3、计算损失函数对于每个样本预测值的导数；
步骤h4、根据导数信息建立一棵新的决策树；
步骤h5、利用新的决策树预测样本值，拟合上一棵树与真实值的残差；
步骤h6、重复步骤h3-h5，直至残差小于阈值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211047569.4A CN115393719A (zh) | 2022-08-29 | 2022-08-29 | 结合空谱域自适应与集成学习的高光谱图像分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211047569.4A CN115393719A (zh) | 2022-08-29 | 2022-08-29 | 结合空谱域自适应与集成学习的高光谱图像分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115393719A true CN115393719A (zh) | 2022-11-25 |
Family
ID=84124106
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211047569.4A Pending CN115393719A (zh) | 2022-08-29 | 2022-08-29 | 结合空谱域自适应与集成学习的高光谱图像分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115393719A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116010816A (zh) * | 2022-12-28 | 2023-04-25 | 南京大学 | 基于大感受野的lrf大核注意力卷积网络活动识别方法 |
| CN116704363A (zh) * | 2023-05-22 | 2023-09-05 | 中国地质大学（武汉） | 一种深度学习模型、土地覆盖分类方法及装置 |
| CN117095158A (zh) * | 2023-08-23 | 2023-11-21 | 广东工业大学 | 一种基于多尺度分解卷积的太赫兹图像危险品检测方法 |
| CN117934473A (zh) * | 2024-03-22 | 2024-04-26 | 成都信息工程大学 | 一种基于深度学习的公路隧道表观裂缝检测方法 |
| CN118247584A (zh) * | 2024-05-28 | 2024-06-25 | 安徽大学 | 一种高光谱图像域泛化方法和装置、系统、存储介质 |
-
2022
- 2022-08-29 CN CN202211047569.4A patent/CN115393719A/zh active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116010816A (zh) * | 2022-12-28 | 2023-04-25 | 南京大学 | 基于大感受野的lrf大核注意力卷积网络活动识别方法 |
| CN116010816B (zh) * | 2022-12-28 | 2023-09-08 | 南京大学 | 基于大感受野的lrf大核注意力卷积网络活动识别方法 |
| US11989935B1 (en) | 2022-12-28 | 2024-05-21 | Nanjing University | Activity recognition method of LRF large-kernel attention convolution network based on large receptive field |
| CN116704363A (zh) * | 2023-05-22 | 2023-09-05 | 中国地质大学（武汉） | 一种深度学习模型、土地覆盖分类方法及装置 |
| CN116704363B (zh) * | 2023-05-22 | 2024-01-26 | 中国地质大学（武汉） | 一种基于深度学习模型的土地覆盖分类方法及装置 |
| CN117095158A (zh) * | 2023-08-23 | 2023-11-21 | 广东工业大学 | 一种基于多尺度分解卷积的太赫兹图像危险品检测方法 |
| CN117095158B (zh) * | 2023-08-23 | 2024-04-26 | 广东工业大学 | 一种基于多尺度分解卷积的太赫兹图像危险品检测方法 |
| CN117934473A (zh) * | 2024-03-22 | 2024-04-26 | 成都信息工程大学 | 一种基于深度学习的公路隧道表观裂缝检测方法 |
| CN117934473B (zh) * | 2024-03-22 | 2024-05-28 | 成都信息工程大学 | 一种基于深度学习的公路隧道表观裂缝检测方法 |
| CN118247584A (zh) * | 2024-05-28 | 2024-06-25 | 安徽大学 | 一种高光谱图像域泛化方法和装置、系统、存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Adaptive spectral–spatial multiscale contextual feature extraction for hyperspectral image classification | |
| Li et al. | Hyperspectral image reconstruction by deep convolutional neural network for classification | |
| CN115393719A (zh) | 结合空谱域自适应与集成学习的高光谱图像分类方法 | |
| CN112101271B (zh) | 一种高光谱遥感影像分类方法及装置 | |
| Ngo et al. | Semi-supervising Interval Type-2 Fuzzy C-Means clustering with spatial information for multi-spectral satellite image classification and change detection | |
| Venugopal | Automatic semantic segmentation with DeepLab dilated learning network for change detection in remote sensing images | |
| CN106446933B (zh) | 基于上下文信息的多目标检测方法 | |
| CN107239759B (zh) | 一种基于深度特征的高空间分辨率遥感图像迁移学习方法 | |
| Qin et al. | Cross-domain collaborative learning via cluster canonical correlation analysis and random walker for hyperspectral image classification | |
| Liang et al. | Comparison detector for cervical cell/clumps detection in the limited data scenario | |
| CN113221848B (zh) | 基于多分类器域对抗网络的高光谱开放集领域自适应方法 | |
| CN114155443A (zh) | 一种基于多感受野图注意力网络的高光谱图像分类方法 | |
| Tanwar et al. | Deep learning-based hybrid model for severity prediction of leaf smut sugarcane infection | |
| Ayerdi et al. | Hyperspectral image analysis by spectral–spatial processing and anticipative hybrid extreme rotation forest classification | |
| Zhang et al. | Polygon structure-guided hyperspectral image classification with single sample for strong geometric characteristics scenes | |
| CN113139515A (zh) | 基于条件随机场和深度特征学习的高光谱图像分类方法 | |
| Bhujade et al. | Role of digital, hyper spectral, and SAR images in detection of plant disease with deep learning network | |
| Yang et al. | Fully automated classification method for crops based on spatiotemporal deep-learning fusion technology | |
| CN116597312A (zh) | 基于小样本图像语义分割的农作物叶片病虫害识别的方法 | |
| Wang et al. | Spectral-spatial global graph reasoning for hyperspectral image classification | |
| Sujithra et al. | CRUN‐Based Leaf Disease Segmentation and Morphological‐Based Stage Identification | |
| CN113627240B (zh) | 一种基于改进ssd学习模型的无人机树木种类识别方法 | |
| Fırat et al. | Hybrid 3D convolution and 2D depthwise separable convolution neural network for hyperspectral image classification | |
| Shi et al. | A feature complementary attention network based on adaptive knowledge filtering for hyperspectral image classification | |
| CN117611908A (zh) | 天空地一体化大场景高光谱遥感图像的农作物精准分类 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |