CN114187477A - 一种基于监督自对比学习的小样本高光谱图像分类方法 - Google Patents

Abstract

本发明公开了一种基于监督自对比学习的小样本高光谱图像分类方法，包括以下步骤：获取待分类高光谱图像；将待分类高光谱图像输入到有监督编码模型C1中，得待分类高光谱图像的特征向量：将待分类高光谱图像的特征向量输入到分类器C2中，得到分类高光谱图像的分类结果，该方法能够利用较少的样本实现高光谱图像的分类。

Description

一种基于监督自对比学习的小样本高光谱图像分类方法

技术领域

本发明属于遥感图像处理领域，涉及一种基于监督自对比学习的小样本高光谱图像分类方法。

背景技术

高光谱图像通常是由具有高光谱成像装置的无人机等飞行器拍摄的特殊图像，比普通图像包含有更多波段数和更高的分辨率，且在某一波段内可以连续成像，包含有地物大量的空间信息和光谱信息，在对地观测领域应用广泛，在经济、农业、环境监测方面具有重要作用。

高光谱图像分类是指依据获得的样本特征对图像中的每个像元进行判别，划分其所属的类别。图像处理领域的高光谱图像分类方法主要是依靠不同地物独特光谱信息特征对图像分类，随着机器学习技术的进步，已经有比如支持向量机、基于稀疏表示的方法和基于卷积神经网络的方法等等。但是在高光谱图像的实际分类中，由于高光谱图像的高维特征会导致出现修斯现象，即直接对图像分类在有限样本的情况下，分类效果会随着维数增加而降低，比如卷积神经网络方法虽然性能优异，但往往需要非常大量的有标签训练数据才能够训练出一个优秀的分类器，而训练样本较少时，非常容易出现过拟合的问题，性能相对较差。

由于在高光谱图像训练样本获取中，其分类标签的标注过程成本非常高，如何改变训练方法，优化网络结构，从而使用更少的训练样本，更低的数据标记成本，提高分类器的分类精度，即高光谱图像分类的小样本方法是一个极具有挑战性和实际意义的问题。

发明内容

本发明的目的在于克服上述现有技术的缺点，提供了一种基于监督自对比学习的小样本高光谱图像分类方法，该方法能够利用较少的样本实现高光谱图像的分类。

为达到上述目的，本发明所述的基于监督自对比学习的小样本高光谱图像分类方法包括以下步骤：

获取待分类高光谱图像；

将待分类高光谱图像输入到有监督编码模型C1中，得待分类高光谱图像的特征向量：

将待分类高光谱图像的特征向量输入到分类器C2中，得待分类高光谱图像的分类结果。

所述将待分类的光谱图像输入到有监督编码模型C1中之前还包括：

构建有监督编码模型C1及分类器C2。

构建有监督编码模型C1的具体过程为：

获取高光谱图像样本数据集，对高光谱图像样本进行降维处理，以中心像素对应的标签为目标类别提取方形邻域空间，并过滤掉无意义的标签；

将高光谱图像样本数据集划分为训练集及测试集；

对训练集进行数据增强，其中，训练集中各训练样本均扩充出一个对应样本；

建立去除全连接层的ResNet50卷积神经网络，再将训练集中的样本分批输入到ResNet50卷积神经网络中对ResNet50卷积神经网络进行训练，训练后的ResNet50卷积神经网络作为有监督编码模型C1。

所述ResNet50卷积神经网络包括依次相连接的输入层、卷积模块0、卷积模块1、卷积模块2、卷积模块3、卷积模块4、全局池化层及输出层。

所述分类器C2基于全连接网络训练而成。

对高光谱图像样本使用主成分分析法进行降维处理，将高光谱图像样本降维至30维。

训练集中样本的数目与测试集中样本的数目的比例为2:8。

对训练集进行数据增强的具体过程为：

按照维度随机将训练集内样本中的高纬度数据中的N个维度进行置零操作，并对训练集内的样本附加程度随机的高斯模糊。

对ResNet50卷积神经网络进行训练过程中的有监督对比损失函数为：

其中，l为指示函数，当k＝i时，l为0，否则，则l为1，τ为进行优化的温度参数。

本发明具有以下有益效果：

本发明所述的基于监督自对比学习的小样本高光谱图像分类方法在具体操作时，采用有监督编码模型以及分类器进行高光谱图像的分类，在实际操作中各类别最少只使用个位数样本即可达到较好的分类效果，极大降低数据标注的成本，以使用利用较少的样本实现高光谱图像的分类。

进一步，本发明采用有监督对比损失函数作为ResNet50卷积神经网络的损失函数，训练过程耗时较短。

进一步，使用ResNet50卷积神经网络，以充分利用高光谱图像的光谱信息及空间特征信息，同时有效避免深度网络训练中的梯度消失问题，具有较强的信息提取能力。

附图说明

图1为发明的流程图；

图2为10个样本的Pavia University数据集分类图；

图3为10个样本的Pavia University数据集标注图；

图4为10个样本的Salinas数据集分类图；

图5为10个样本的Salinas数据集标注图；

图6为10个样本的Houston数据集分类图右侧Houston数据集标注图；

图7为10个样本的Houston数据集标注图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，不是全部的实施例，而并非要限制本发明公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要的混淆本发明公开的概念。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

在附图中示出了根据本发明公开实施例的结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。

参考图1，本发明所述的基于监督自对比学习的小样本高光谱图像分类方法包括以下步骤：

1)获取高光谱图像样本数据集，对高光谱图像样本进行降维处理，再以中心像素对应的标签为目标类别提取方形邻域空间，并过滤掉无意义的标签，其中，邻域空间结构的数目与高光谱图像样本数据集的标签数量相一致；

2)将高光谱图像样本数据集划分为训练集及测试集；

3)对训练集进行数据增强，其中，训练集中各训练样本均扩充出一个对应样本；

4)建立不含线性全连接层的ResNet50卷积神经网络，再将训练集分批输入到ResNet50卷积神经网络中，得到样本的特征；

5)计算每批次得到的特征之间的差异程度，根据特征和对应样本已知标签的关系构建有监督对比损失函数，将该批次提取的特征投射到有监督对比损失函数空间中，通过更改训练次数及学习率参数,最小化对比损失函数，以更新卷积神经网络参数，从而训练得到有监督编码模型C1。

6)构建全连接网络的线性分类器，将N个训练样本通过有监督编码模型C1提取到的特征以及对应的标签分批次送入全连接网络中对全连接网络进行训练，将训练后的全连接网络作分类器C2。

7)将有监督编码模型C1与分类器C2结合起来，得混合网络，再将测试集输入到混合网络中，通过监督编码模型C1提取测试集中各样本的特征，再利用分类器C2进行分类，得测试集的分类结果，并计算分类精度。

8)将待分类的高光谱图像输入到混合网络中，得分类结果，完成基于监督自对比学习的小样本高光谱图像分类。

步骤1)中使用主成分分析法对高光谱图像样本进行降维处理，将高光谱图像样本降维至30维。

步骤1)中提取方形邻域空间的具体操作为：

以高光谱图像样本中每个像素为中心，选取领域为窗口大小为9*9的方格，选取对应标签为中心像素对应的标签，当图像边缘部分不足选取9*9大小的方格时，则用数据0进行填补，同时将原有标签中为0的无地物意义区域去除。

步骤2)的具体操作为：

将步骤1)得到的数据集打乱顺序，然后按照8:2的比例随机进行选取，其中，80％的样本构建测试集，在剩余20％的样本中，按照标签中高光谱图像样本中包含的地物类别数目，每类按顺序选取5个或10个方形邻域空间数据及其对应的标签作为训练样本，以构建训练集。

步骤3)中对训练集进行数据增强的具体过程为：

按照维度随机将训练集内样本中的高纬度数据中的N个维度进行置零操作，并对训练集内的样本附加程度随机的高斯模糊。

ResNet50卷积神经网络包括依次相连接的输入层、卷积模块0、卷积模块1、卷积模块2、卷积模块3、卷积模块4、全局池化层及输出层；

卷积模块0包括1个64个卷积核大小为3的卷积层，经过批量归一化后使用Relu函数激活。

卷积模块1包括重复3次的三个卷积层，第一个为64个卷积核大小为1的卷积层，第二个为64个卷积核大小为3的卷积层，第三个为256个卷积核大小为1的卷积层，各卷积层之间采用批量归一化。

卷积模块2包括重复4次的三个卷积层，第一个为128个卷积核大小为1的卷积层，第二个是为128个卷积核大小为3的卷积层，第三个为512个卷积核大小为1的卷积层，各卷积层之间采用批量归一化。

卷积模块3包括重复6次的三个卷积层，第一个为256个卷积核大小为1的卷积层，第二个为256个卷积核大小为3的卷积层，第三个为1024个卷积核大小为1的卷积层，各卷积层之间采用批量归一化。

卷积模块4包括重复3次的三个卷积层，第一个为512个卷积核大小为1的卷积层，第二个为512个卷积核大小为3的卷积层，第三个为2048个卷积核大小为1的卷积层，各卷积层之间采用批量归一化。

各卷积模块之间用Relu函数激活；

全局池化层采用平均池化，池化后展平为向量特征输出。

对于一个批次的样本，每一个训练样本即为30维的9*9大小的邻域空间窗口，通过ResNet50卷积神经网络得到2048个特征图，对于各特征图，通过平均池化层得到对应的池化结果，将全局的池化结果进行展平操作获得一个2048维的向量，即特征图通过ResNet50卷积神经网络提取得到特征向量。

步骤5)中，通过将各组得到的2048维的特征向量输入到多层感知机中映射到对比损失函数空间中，所述多层感知机采用三层结构，即输入层、隐藏层及输出层，使用Relu函数激活，隐藏层大小为2048维，输出层的输出向量的大小为128维，将该批次提取特征和对应样本已知标签的关系构建一个有监督对比损失函数为：

其中，l为指示函数，当且仅当k＝i时，l为0，否则，则l为1，τ为进行优化的温度参数，该Loss的意义在于拉近样本X_i与其正对X_j之间的距离，同时拉远Xi与其他负对之间的距离。

训练直到Loss最小，得监督编码模型C1，其中，多层感知机部分在训练结束后不保留，仅保留前述ResNet50部分。

步骤6)中的全连接网络为包含一层全连接层结构的简单分类网络，输入维度为提取到的特征维度2048，输出维度为标签中的地物类别数目。

步骤6)中训练的具体过程为：将一批次的N个训练样本送入监督编码模型C1中，提取得到N个2048维的特征向量，同过将特征向量通过全连接网络并经过softmax函数得到的分类结果与样本标签中的真实类别进行比较，使用交叉熵损失函数计算Loss，设定训练次数和学习率从而最小化Loss，得分类器C2。

将测试集中的样本送入训练好的网络C1中，得2048维的特征向量，再将2048维的特征向量输入到分类器C2中，以计算分类精度，并通过OA、AA及Kappa指标计算分类效果。

其中，OA、AA及Kappa指标的定义为：

其中

实施例一

高光谱图像通常是由具有高光谱成像装置的无人机等飞行器拍摄的特殊图像，比普通图像包含有更多波段数和更高的分辨率，且在某一波段内可以连续成像，包含有地物大量的空间信息和光谱信息，在对地观测领域应用广泛，在经济、农业、环境监测方面具有重要作用。

高光谱图像分类是指根据获得的样本特征对图像中的每个像元进行判别，划分其所属的类别。图像处理领域的高光谱图像分类方法主要是依靠不同地物独特光谱信息特征对图像分类，随着机器学习技术的进步，已经有比如支持向量机、基于稀疏表示的方法和基于卷积神经网络的方法等等。但是在高光谱图像的实际分类中，由于高光谱图像的高维特征会导致出现修斯现象，即直接对图像分类在有限样本的情况下，分类效果会随着维数增加而降低，比如卷积神经网络方法虽然性能优异，但往往需要非常大量的有标签训练数据才能够训练出一个优秀的分类器，而训练样本较少时，非常容易出现过拟合的问题，性能相对较差。

由于在高光谱图像训练样本获取中，其分类标签的标注过程成本非常高，如何通过改变训练方法，优化网络结构，从而使用更少的训练样本，更低的数据标记成本，提高分类器的分类精度，即高光谱图像分类的小样本方法是一个极具有挑战性和实际意义的问题。

本实施例中的Pavia University数据是德国的机载反射光学光谱成像仪(Reflective Optics Spectrographic Imaging System，ROSIS-03)在2003年对意大利的帕维亚城所成的像的一部分高光谱数据，该光谱成像仪对0.43-0.86μm波长范围内的115个波段连续成像，所成图像的空间分辨率为1.3m，大小为610×340，共包含9类地物，包括树、沥青道路(Asphalt)、砖块(Bricks)及牧场(Meadows)等。

Salinas数据也是由AVIRIS成像光谱仪所拍摄的，它是对美国加利福尼亚州的Salinas山谷所成的像，该图像的尺寸为512×217，因此共包含111104个像素，可应用于分类的像素有54129个，像素总共分为16类，包括休耕地(Fallow)、芹菜(Celery)等。

Houston数据是由ITRES CASI-1500传感器获取的，由2013IEEE GRSS数据融合大赛提供，数据大小为349*1905，包含光谱范围从364nm到1046nm的144个波段，地物覆盖被标注为15个类别。

在高光谱公共数据集Pavia University(简称为PaviaU)、Salinas和Houston上进行测试，得到分类的准确率，5、10、15个样本时分类准确率如表1所示；10个样本时对比方法准确率如表2所示。

表1

表2

Claims (9)

1.一种基于监督自对比学习的小样本高光谱图像分类方法，其特征在于，包括以下步骤：

获取待分类高光谱图像；

将待分类高光谱图像输入到有监督编码模型C1中，得待分类高光谱图像的特征向量：

将待分类高光谱图像的特征向量输入到分类器C2中，得待分类高光谱图像的分类结果。

2.根据权利要求1所述的基于监督自对比学习的小样本高光谱图像分类方法，其特征在于，所述将待分类的光谱图像输入到有监督编码模型C1中之前还包括：

构建有监督编码模型C1及分类器C2。

3.根据权利要求2所述的基于监督自对比学习的小样本高光谱图像分类方法，其特征在于，构建有监督编码模型C1的具体过程为：

获取高光谱图像样本数据集，对高光谱图像样本进行降维处理，以中心像素对应的标签为目标类别提取方形邻域空间，并过滤掉无意义的标签；

将高光谱图像样本数据集划分为训练集及测试集；

对训练集进行数据增强，其中，训练集中各训练样本均扩充出一个对应样本；

建立不含线性全连接层的ResNet50卷积神经网络，再将训练集中的样本分批输入到ResNet50卷积神经网络中对ResNet50卷积神经网络进行训练，将训练后的ResNet50卷积神经网络作为有监督编码模型C1。

4.根据权利要求3所述的基于监督自对比学习的小样本高光谱图像分类方法，其特征在于，所述ResNet50卷积神经网络包括依次相连接的输入层、卷积模块0、卷积模块1、卷积模块2、卷积模块3、卷积模块4、全局池化层及输出层。

5.根据权利要求2所述的基于监督自对比学习的小样本高光谱图像分类方法，其特征在于，所述分类器C2基于全连接网络训练而成。

6.根据权利要求3所述的基于监督自对比学习的小样本高光谱图像分类方法，其特征在于，对高光谱图像样本使用主成分分析法进行降维处理，将高光谱图像样本降维至30维。

7.根据权利要求3所述的基于监督自对比学习的小样本高光谱图像分类方法，其特征在于，训练集中样本的数目与测试集中样本的数目的比例为2:8。

8.根据权利要求3所述的基于监督自对比学习的小样本高光谱图像分类方法，其特征在于，对训练集进行数据增强的具体过程为：

按照维度随机将训练集内样本中的高纬度数据中的N个维度进行置零操作，并对训练集内的样本附加程度随机的高斯模糊。

9.根据权利要求3所述的基于监督自对比学习的小样本高光谱图像分类方法，其特征在于，对ResNet50卷积神经网络进行训练过程中的有监督对比损失函数为：

其中，l为指示函数，当k＝i时，l为0，否则，则l为1，τ为进行优化的温度参数。

Images