CN110009015A - 基于轻量化网络和半监督聚类的高光谱小样本分类方法 - Google Patents

Abstract

本发明涉及一种基于轻量化网络和半监督聚类的高光谱小样本分类方法，通过使用Point‑wise卷积核，Depth‑wise卷积核和双loss构建轻量化网络模型，Point‑wise卷积核和Depth‑wise卷积核能够极大减少参数数量，降低网络训练过程中对训练样本的需求；双loss策略可以将深度特征空间更加可分，更利于在深度特征空间进行分类和聚类。此外，半监督近似秩序聚类算法能够选出更多有自信的伪标签，为网络训练效果的提升提供了更有利的条件。本发明实现了小样本条件下，高光谱图像深度特征和标签数据的自主提取，高精度的分类。

Description

基于轻量化网络和半监督聚类的高光谱小样本分类方法

技术领域

本发明涉及一种小样本高光谱分类方法，该方法是一种基于轻量化网络和半监督聚类的协同学习，属图像处理领域。

背景技术

高光谱遥感图像光谱分辨率高、成像波段多、信息量大，在遥感应用领域得到广泛应用。高光谱图像分类技术是高光谱图像处理技术中十分重要的内容，主要包含特征提取及分类两部分，其中从原高光谱图像中提取用特征，该步骤对高光谱图像的分类精度影响巨大：分类特征的可分性强，能够大幅提高分类精度；相反，可分性较差的分类特征则会明显降低分类效果。

近几年，深度学习在特征提取方面成绩显著，为提高高光谱图像分类精度，各种深度模型被引入到高光谱图像的分类中来，并在谱特征的基础上，引入空间特征，利用深度学习模型，自主提取高光谱图像的空谱特征，有效的提高了高光谱图像分类精度。

然而，现有的这些利用深度模型提取高光谱图像空谱特征的方法需要大量训练样本进行训练网络，而实际对采集到的高光谱图像进行标记十分困难，实地勘测需要大量的人力物力，并且需要耗费大量的时间。因此，研究如何利用丰富的无标签样本和有限的有标签样本的高光谱图像高精度分类的深度模型一直是一项具有挑战性的任务。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于轻量化网络和半监督聚类的高光谱小样本分类方法。

技术方案

一种基于轻量化网络和半监督聚类协同学习的高光谱图像小样本分类方法，其特征在于步骤如下：

步骤1：数据预处理：对待处理的高光谱图像数据进行最大最小归一化，归一化公式如下：

其中，x_ijs表示高光谱图像中的一个像元，i、j分别表示该像元位于高光谱图像中的坐标位置，s表示高光谱图像的谱段，为归一化后的一个像元，x_··smax、x_··smin分别表示三维高光谱图像在s谱段的最大值和最小值；

步骤2：数据分割：统计待处理的高光谱图像，将数据分为三部分，有标签训练样本X^L，无标签样本X^u，测试样本X^T；

步骤3：构建轻量化网络模型：第一层为3D卷积层，卷积核尺寸为3*3*8，宽度为20，然后进行Batch Normalization和ReLu操作；第二层为Max pooling层，卷积核尺寸为3*3*2，宽度为20；第三层为Point-wise卷积，宽度为80；然后为Depth-wise卷积，卷积核尺寸为3*3*3，宽度为80；最后为Point-wise卷积，宽度为20；第四层为Point-wise卷积，宽度为160；然后为Depth-wise卷积，卷积核尺寸为3*3*3，宽度为160；最后为Point-wise卷积，宽度为40；第五层与第四层设置相同；第六层为三维全局池化层；第七层为全连接层；

步骤4：预训练网络模型：将有标签训练样本X^L批量的输入到构建好的轻量化深度网络中，以标注的类别为指导信号，利用梯度下降算法对网络参数进行训练，直至网络收敛；训练过程中，每次随机不重复的从训练集里抽取一些样本为一批训练数据，将该数据输入到网络，抽取特征并计算预测结果，预测结果与实际结果之间的损失函数为双loss，表示为L_dual，由softmax loss L_cls和center loss L_dis组成，公式如下：

L_dual＝L_cls+λL_dis (2)

计算网络权值的偏导数，并利用梯度下降算法，更新网络参数；训练过程遍历整个训练集一次为一轮训练；

步骤5：样本特征提取和分类：将预训练好的轻量化网络模型作为训练样本集的特征提取器，可以得到训练样本集的深度特征表示表示为X^L,F，X^u,F，并且可以得到无标签样本表示为X^u的初选标签表示为p^(m)；

步骤6：选择最自信样本及其对应的伪标签：在训练样本集的深度特征的基础上，进行半监督近似秩序聚类，得到多个聚类簇，每个簇内的标签由簇内有标签样本的标签多数投票得出，将无标签样本及其初选标签表示为{X^u,F,p^(m)}和无标签样本的聚类结果表示为{X^u,c^(m)}进行比对，选出最自信样本及其对应的伪标签；

步骤7：微调网络：利用有标签训练样本及其标签表示为{X^L,y^(m)}和伪标签样本及其标签表示为{X^C,s^(m)}进行微调轻量化网络；

步骤8：迭代步骤5～7，直到达到最大迭代次数t；

步骤9：基于最终训练好的轻量化网络模型，对高光谱图像中所有像素进行类别预测，然后将预测的类别放到对应的位置，得到预测结果图。

步骤4中的λ取0.03。

步骤4中的整个训练过程进行60轮，前50轮学习率设为0.01，最后10轮，学习率衰减到0.001。整个训练过程中，动量项设为0.9。

步骤8中的t＝3。

有益效果

本发明提出的一种基于轻量化网络和半监督聚类的高光谱小样本分类方法，通过使用Point-wise卷积核，Depth-wise卷积核和双loss构建轻量化网络模型，Point-wise卷积核和Depth-wise卷积核能够极大减少参数数量，降低网络训练过程中对训练样本的需求；双loss策略可以将深度特征空间更加可分，更利于在深度特征空间进行分类和聚类。此外，半监督近似秩序聚类算法能够选出更多有自信的伪标签，为网络训练效果的提升提供了更有利的条件。本发明实现了小样本条件下，高光谱图像深度特征和标签数据的自主提取，高精度的分类。本发明与现有的基于深度学习的高光谱图像分类方法相比，样本需求量更小，精度更高。

附图说明

图1基于轻量化网络和半监督聚类的协同学习的小样本高光谱图像分类方法流程图

图2轻量化网络整体结构示意图

具体实施方式

现结合实施例、附图对本发明作进一步描述：

本发明提出了一种基于轻量化网络和半监督聚类的协同学习的小样本高光谱图像分类方法，步骤如下：

步骤1：数据预处理。待处理的高光谱图像数据进行最大最小归一化。

步骤2：数据分割。统计高光谱图像中标签样本的个数，将数据分为三部分，分别为：有标签训练样本，测试样本，无标签样本。有标签训练样本和无标签样本的集合称为训练样本集。

步骤3：构建网络模型。构建基于双loss的轻量化网络模型。

步骤4：预训练网络模型。将有标签训练样本批量的输入到构建好的轻量化网络模型中，以标注的类别为指导信号，利用梯度下降算法对网络参数进行训练，直至网络收敛。

步骤5：样本特征提取和分类。将预训练好的轻量化网络模型作为训练样本集的特征提取器，可以得到训练样本集的深度特征表示，并且得到无标签样本的初选标签。

步骤6：选择最自信样本及其对应的伪标签。在训练样本集的深度特征的基础上，进行半监督聚类，得到每个样本的类别结果。将无标签样本的初选标签和聚类结果进行比对，选出最自信样本及其对应的伪标签。

步骤7：微调网络。利用有标签训练样本和伪标签样本对轻量化网络进行微调。

步骤8：迭代步骤5～7，直到达到最大迭代次数。

步骤9：基于最终训练好的轻量化网络模型，对高光谱图像中所有像素进行类别预测，然后将预测的类别放到对应的位置，得到预测结果图。

具体实施步骤：

步骤1：数据预处理。对待处理的高光谱图像数据进行最大最小归一化，归一化公式如下：

其中x_ijs表示高光谱图像中的一个像元，i、j分别表示该像元位于高光谱图像中的坐标位置，s表示高光谱图像的谱段，现有的高光谱图像一般包含100-240个谱段，为归一化后的一个像元，x_··smax、x_··smin分别表示三维高光谱图像在s谱段的最大值和最小值。

步骤2：数据分割。统计高光谱图像中标签样本的个数，将数据分为三部分：有标签训练样本X^L，无标签样本X^u，测试样本X^T，例如：每类抽取5个标注的数据作为有标签训练样本表示为X^L，每类抽取200个数据作为测试样本表示为X^T，剩余的样本作为无标签样本表示为X^u。其中抽取样本的具体做法如下：对于一个尺寸为M*N*D的三维高光谱图像数据，M，N分别表示高光谱图像的高和宽，D表示高光谱图像的波段数。抽取样本时，以待处理像素为中心，抽取S*S*D的数据块作为中心像素的样本数据，S表示邻域大小，一般取27。

步骤3：构建轻量化网络模型。轻量化网络整体结构如下。第一层为3D卷积层，卷积核尺寸为3*3*8，宽度为20，然后进行Batch Normalization和ReLu操作。第二层为Maxpooling层，卷积核尺寸为3*3*2，宽度为20。第三层为Point-wise卷积，宽度为80；然后为Depth-wise卷积，卷积核尺寸为3*3*3，宽度为80；最后为Point-wise卷积，宽度为20。第四层为Point-wise卷积，宽度为160；然后为Depth-wise卷积，卷积核尺寸为3*3*3，宽度为160；最后为Point-wise卷积，宽度为40。第五层与第四层设置相同。第六层为三维全局池化层。第七层为全连接层。

步骤4：预训练网络模型。将有标签训练样本X^L批量的输入到构建好的轻量化深度网络中，以标注的类别为指导信号，利用梯度下降算法对网络参数进行训练，直至网络收敛。训练过程中，每次随机不重复的从X^L里抽取10-20样本为一批训练数据，将该数据输入到网络，抽取特征并计算预测结果，预测结果与实际结果之间的损失函数为双loss，表示为L_dual，由softmax loss L_cls和center loss L_dis组成，公式如下：

L_dual＝L_cls+λL_dis (2)

其中λ取0.03。计算网络权值的偏导数，并利用梯度下降算法，更新网络参数。训练过程遍历整个训练集一次为一轮训练。整个训练过程进行60轮，前50轮学习率设为0.01，最后10轮，学习率衰减到0.001。整个训练过程中，动量项设为0.9。

步骤5：样本特征提取和分类。将预训练好的轻量化网络模型作为训练样本集的特征提取器，可以得到训练样本集的深度特征表示，分别表示为X^L,F，X^u,F，并且可以得到无标签样本表示为X^u的初选标签表示为p^(m)。

步骤6：选择最自信样本及其对应的伪标签。在训练样本集的深度特征的基础上，进行半监督近似秩序聚类，得到多个聚类簇，每个簇内的标签由簇内有标签样本的标签多数投票得出。将无标签样本及其初选标签表示为{X^u,F,p^(m)}和无标签样本的聚类结果表示为{X^u,c^(m)}进行比对，选出最自信样本及其对应的伪标签。

步骤7：微调网络。利用有标签训练样本及其标签表示为{X^L,y^(m)}和伪标签样本及其标签表示为{X^C,s^(m)}进行微调轻量化网络。

步骤8：迭代步骤5，6，7直到达到最大迭代次数t，t＝3。

步骤9：基于最终训练好的轻量化网络模型，对高光谱图像中所有像素进行类别预测，然后将预测的类别放到对应的位置，得到预测结果图。

Claims (4)

1.一种基于轻量化网络和半监督聚类的高光谱小样本分类方法，其特征在于步骤如下：

步骤1：数据预处理：对待处理的高光谱图像数据进行最大最小归一化，归一化公式如下：

其中，x_ijs表示高光谱图像中的一个像元，i、j分别表示该像元位于高光谱图像中的坐标位置，s表示高光谱图像的谱段，为归一化后的一个像元，x_··smax、x_··smin分别表示三维高光谱图像在s谱段的最大值和最小值；

步骤2：数据分割：统计待处理的高光谱图像，将数据分为三部分，有标签训练样本X^L，无标签样本X^u，测试样本X^T；

步骤3：构建轻量化网络模型：第一层为3D卷积层，卷积核尺寸为3*3*8，宽度为20，然后进行Batch Normalization和ReLu操作；第二层为Max pooling层，卷积核尺寸为3*3*2，宽度为20；第三层为Point-wise卷积，宽度为80；然后为Depth-wise卷积，卷积核尺寸为3*3*3，宽度为80；最后为Point-wise卷积，宽度为20；第四层为Point-wise卷积，宽度为160；然后为Depth-wise卷积，卷积核尺寸为3*3*3，宽度为160；最后为Point-wise卷积，宽度为40；第五层与第四层设置相同；第六层为三维全局池化层；第七层为全连接层；

步骤4：预训练网络模型：将有标签训练样本X^L批量的输入到构建好的轻量化深度网络中，以标注的类别为指导信号，利用梯度下降算法对网络参数进行训练，直至网络收敛；训练过程中，每次随机不重复的从训练集里抽取一些样本为一批训练数据，将该数据输入到网络，抽取特征并计算预测结果，预测结果与实际结果之间的损失函数为双loss，表示为L_dual，由softmax loss L_cls和center loss L_dis组成，公式如下：

L_dual＝L_cls+λL_dis (2)

计算网络权值的偏导数，并利用梯度下降算法，更新网络参数；训练过程遍历整个训练集一次为一轮训练；

步骤5：样本特征提取和分类：将预训练好的轻量化网络模型作为训练样本集的特征提取器，可以得到训练样本集的深度特征表示表示为X^L,F，X^u,F，并且可以得到无标签样本表示为X^u的初选标签表示为

步骤6：选择最自信样本及其对应的伪标签：在训练样本集的深度特征的基础上，进行半监督近似秩序聚类，得到多个聚类簇，每个簇内的标签由簇内有标签样本的标签多数投票得出，将无标签样本及其初选标签表示为和无标签样本的聚类结果表示为进行比对，选出最自信样本及其对应的伪标签；

步骤7：微调网络：利用有标签训练样本及其标签表示为和伪标签样本及其标签表示为进行微调轻量化网络；

步骤8：迭代步骤5～7，直到达到最大迭代次数t；

步骤9：基于最终训练好的轻量化网络模型，对高光谱图像中所有像素进行类别预测，然后将预测的类别放到对应的位置，得到预测结果图。

2.根据权利要求1所述的基于轻量化网络和半监督聚类的高光谱小样本分类方法，其特征在于步骤4中的λ取0.03。

3.根据权利要求1所述的基于轻量化网络和半监督聚类的高光谱小样本分类方法，其特征在于步骤4中的整个训练过程进行60轮，前50轮学习率设为0.01，最后10轮，学习率衰减到0.001。整个训练过程中，动量项设为0.9。

4.根据权利要求1所述的基于轻量化网络和半监督聚类的高光谱小样本分类方法，其特征在于步骤8中的t＝3。