CN113392931A - 基于自监督学习及多任务学习的高光谱开放集分类方法 - Google Patents

Abstract

本发明公开了一种基于自监督学习和多任务学习的高光谱开放集分类方法，主要解决现有高光谱开放集分类方法无法充分利用高光谱开放集的无标签样本，导致分类精度低的问题，其实现方案为：输入高光谱图像并对其进行预处理；对预处理后的图像进行邻域取块，生成训练数据集与测试数据集；构建基于自监督学习和多任务学习的神经网络模型；利用训练数据集，采用自监督学习方法和多任务学习方法对所构建的神经网络模型进行训练；将测试数据集输入到训练好的神经网络模型中得到分类结果。本发明能充分利用无标签样本信息，缓解有标签样本少的问题，提高了分类精度，可应用于环境监测、资源勘探、城市规划及农业计划。

Description

基于自监督学习及多任务学习的高光谱开放集分类方法

技术领域

本发明属于图像处理技术领域，更进一步涉及一种高光谱开放集分类方法，可应用于环境监测、资源勘探、城市规划及农业计划。

背景技术

高光谱以其丰富的波段信息记录了地物目标的连续光谱特征，能够进行更多种类的地物目标识别和更高精度的目标分类。近期，随着深度学习在各个领域的广泛应用，高光谱图像分类领域也出现了多种深度学习分类方法，如自编码器、卷积神经网络、深度信念网络。而且，具有未知类识别能力的深度学习分类方法的提出也缓解了传统高光谱图像分类方法无法进行未知高光谱图像类别识别的问题，但是，这种对未知类识别方法在样本量较少时的效果始终达不到人们的预期。

在深度学习背景下，开放集分类方法逐渐被提出，A.Bendale等人在发表的论文“Towards open set deep networks”(IEEE conference on Computer Vision andPattern Recognition,2016,pp.1563–1572.)中提出了一种名为OpenMax的方法，它使网络能够估计一个样本是未知类别的概率，从而通过极值理论确定其是否为未知类。该方法是第一个基于深度学习的开放集分类方法，但是其不能有效地利用样本的潜在特征，并且需要大量的训练样本。R.Yoshihashi等人在发表的论文“Classification-reconstructionlearning for open-set recognition”(IEEE Conference on Computer Vision andPattern Recognition,2019,pp.4016–4025.)中提出一种名为CROSR的开放集识别增强方法，其通过添加一个辅助任务来改进OpenMax方法以有效地利用样本的潜在特征，但是该方法仍然需要利用大量训练样本来估计每个类别的质心，从而限制了其在高光谱图像分类中的性能。

针对样本量较少时的高光谱开放集分类任务，Liu S等人在发表的论文“Few-shothyperspectral image classification with unknown classes using multitask deeplearning”(IEEE Transactions on Geoscience and Remote Sensing,2020.)中提出了一种名为MDL4OW的基于深度学习的小样本高光谱开放集分类方法，该方法可以在存在未知类的高光谱开放集中同时进行分类和重建，并通过极值理论区分未知类别和已知的类别。但该方法没有充分利用高光谱开放集中的无标签数据的丰富信息来充分训练网络，因此无法充分提升网络的拟合能力和鲁棒性。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于自监督学习及多任务学习的高光谱开放集分类方法，以充分利用高光谱开放集的无标签样本，提升网络的分类能力和未知类识别能力。

本发明的技术方案是，构建包含特征提取子网络、数据重建子网络和分类子网络的神经网络模型；通过自监督学习方法，利用开放集的无标签样本充分训练该神经网络模型的特征提取子网络和数据重建子网络；利用多任务学习方法训练整个神经网络模型，完成高光谱开放集分类任务。实现步骤包括如下：

(1)获取一幅三维高光谱图像X∈R^m×n×b和对应的标签图Y∈R^m×n，其中，R表示实数域符号，m表示X和Y的行像素点个数，n表示X和Y的列像素点个数，b代表高光谱图像的波段个数；

(2)对获取的三维高光谱开放集X进行归一化的预处理；

(3)对预处理后的图像进行0像素边缘填充操作，并逐像素遍历图像生成邻域块，将生成的所有邻域块作为数据集合；

(4)生成训练数据集与测试数据集：

(4a)将数据集合中所有已知类别的邻域块作为自监督预训练数据集；

(4b)从数据集合中的所有已知类别中，每类抽取20个有标签邻域块，作为有监督训练数据集，并将每个邻域块的中心像素点的标签作为该邻域块的标签；

(4c)将数据集合中的所有邻域块作为测试数据集；

(5)构建由特征提取子网络、数据重建子网络和分类子网络构成的神经网络模型，该特征提取子网络的输出分别与数据重建子网络及分类子网络的输入相连；

(6)依次利用自监督学习方法和多任务学习方法对神经网络模型进行训练，得到训练好的神经网络模型；

(7)利用训练好的网络对测试样本进行预测：

(7a)通过网络中的特征提取子网络和分类子网络得到测试样本的类别标签，通过网络中的特征提取子网络和重建子网络得到重建损失；

(7b)将重建损失输入到威布尔分布模型计算得出该测试数据属于未知类的概率P；

(7c)通过实验设定阈值T，将属于未知类的概率P与阈值T进行比较：

若P>T，则将数据预测为未知类别，

若P<T，则将数据预测为(7a)中得到的类别标签。

本发明与现有技术相比具有以下优点：

1、本发明在自监督训练阶段，使用带有辅助任务的自监督训练方法预训练网络，由于该过程不需要训练数据的标签，因此能够在标签数据少的情况下，充分利用高光谱开放集的大量无标签数据的丰富信息来充分训练网络，提升网络的拟合能力和鲁棒性；

2、本发明在有监督训练阶段，利用包含数据重建任务和分类任务的多任务学习方法训练网络，使网络在开放数据集中实现分类功能，并进一步提升了网络对未知类的识别能力。

附图说明

图1是本发明的实现流程图；

图2是本发明中构建的神经网络结构示意图。

具体实施方式

下面结合附图对本发明的实例作进一步的详细描述。

参照图1，对本实例的实现步骤包括如下：

步骤1，获取高光谱图像并进行归一化处理。

1.1)从网上下载获取一幅三维高光谱图像X∈R^m×n×b和对应的标签图Y∈R^m×n，其中，R表示实数域符号，m表示X和Y的行像素点个数，n表示X和Y的列像素点个数，b代表高光谱图像的波段个数；

1.2)对获取的三维高光谱图像X中属于各个已知类别的像素通过下式进行归一化处理：

其中，x_i,j,d表示在图像X中第d个光谱波段上的二维图像X_d∈R^m×n上的第i行、第j列像素点的值，i∈[1,m]，j∈[1,n]，d∈[1,b]，

表示x_i,j,d归一化处理后的值，x_min和x_max分别表示三维高光谱图像X中的最小值和最大值。

步骤2，对预处理后的高光谱图像进行0像素边缘填充操作，得到数据集合。

首先，将维度为(m,n,b)的归一化处理后的高光谱图像进行宽度为p的边缘扩展，得到扩展后的高光谱图像维度为：

(p+m+p,p+n+p,b)；

然后，逐像素遍历扩展后的图像生成邻域块，将生成的所有邻域块作为数据集合，该数据集合包括已知类别和未知类别。

步骤3，生成训练数据集与测试数据集。

3.1)将数据集合中所有已知类别的邻域块作为自监督预训练数据集；

3.2)从数据集合中的所有已知类别中，每类抽取20个有标签邻域块，作为有监督训练数据集，并将每个邻域块的中心像素点的标签作为该邻域块的标签；

3.3)将数据集合中的所有邻域块作为测试数据集。

步骤4，构建神经网络模型。

构建由特征提取子网络、数据重建子网络和分类子网络构成的神经网络模型，该特征提取子网络的输出分别与数据重建子网络及分类子网络的输入相连。

所述特征提取子网络，其结构依次为：第1二维卷积层→第1规范层→第1激活函数层→第2二维卷积层→第2激活函数层→第3二维卷积层→融合层→全局平均池化层，其中，所述融合层是将第1二维卷积层和第3二维卷积层经由加法操作相融合，该第1二维卷积层、第2二维卷积层、第3二维卷积层，这3个二维卷积层的卷积核长度均为3，卷积步长均为1，每个规范层的动量因子均为0.9；该全局平均池化层的池化长度为2；每个激活函数层的激活函数均为ReLU激活函数；

所述数据重建子网络，其结构依次为：第1二维反卷积层→第2规范层→第3激活函数层→第2二维反卷积层→第4激活函数层→第3二维反卷积层→第3规范层→第5激活函数层→第4二维反卷积层→第6激活函数层→第5二维反卷积层；该第1二维反卷积层的卷积核长度为1，卷积步长为1；该第2二维反卷积层、第3二维反卷积层、第4二维反卷积层、第5二维反卷积层，这4个反卷积层的卷积核长度均为3，卷积步长均为1；该第3激活函数层到第6激活函数层的激活函数均为ReLU激活函数；

所述分类子网络，其结构为：全连接层→第7激活函数层；其中全连接层的输出神经元的个数设置为类别数，第7激活函数为Softmax激活函数。

步骤5，对神经网络模型进行训练。

依次利用自监督学习方法和多任务学习方法对神经网络模型进行训练，得到训练好的神经网络模型，具体实现如下：

5.1)利用自监督学习方法进行第一阶段的训练：

5.1.1)将自监督训练集输入到神经网络模型中，经过特征提取子网络得到训练样本的特征向量，将特征向量输入到数据重建子网络得到重建数据：

其中，x_i是第i个输入训练样本，

表示特征提取子网络函数，

表示第i个训练样本经过特征提取子网络后得到的输出特征向量，f_r(·)是数据重建子网络函数，

是第i个训练样本的重建数据；

5.1.2)设置网络学习率为0.01，停止迭代次数为1000，重建损失函数为：

其中，||·||₁表示进行l₁范数计算，x_i是第i个输入训练样本，

是第i个训练样本的重建数据；

5.1.3)采用梯度下降法，通过最小化重建损失函数l_r，优化特征提取子网络和数据重建子网络的网络参数，直到达到停止迭代次数为止，得到通过第一阶段训练后的网络；

5.2)利用多任务学习方法进行第二阶段的训练：

5.2.1)将有监督训练集输入到第一阶段训练后的网络中，经过其中的特征提取子网络得到训练样本的特征向量，将该特征向量分别通过其中的数据重建子网络和分类子网络得到训练样本的重建数据和类别概率向量；

5.2.2)设置学习率为0.001，设置停止迭代次数为200，设置加权总损失函数为：

其中，λ_c和λ_r是控制多任务网络的交叉熵损失l_c和重建损失l_r的权重参数，l_c为交叉熵损失函数，表示为：

式中，m是样本总数，y_i是第i个样本使用one-hot编码方式的真实样本标签，

是第i个样本经过模型预测后得到的属于所有类的概率向量；

5.2.3)采用梯度下降法，通过迭代最小化多任务损失函数l_a，直到达到停止迭代次数为止，完成第二阶段的网络训练，得到训练好的神经网络模型。

步骤6，利用训练好的神经网络模型对测试样本进行预测。

6.1)通过训练好的神经网络模型中的特征提取子网络和分类子网络得到测试样本的类别标签；

6.2)通过训练好的神经网络模型中的特征提取子网络和重建子网络得到重建损失v：

其中，||·||₁表示进行l₁范数计算，x_i是第i个输入测试样本，

是第i个测试样本的重建数据；

6.3)将得到的重建损失v输入到威布尔分布模型中，计算该测试数据属于未知类的概率P：

其中，G_ξ,μ(·)为广义帕累托分布的累积分布函数，v表示重建损失，ξ和μ分别为分布函数的形状参数和尺度参数，其通过数据拟合得出。

步骤7，根据未知类的概率P得到测试数据的预测结果。

通过实验设定阈值T，将属于未知类的概率P与阈值T进行比较：

若P>T，则将数据预测为未知类别，

若P<T，则将数据预测为步骤6.1)中得到的类别标签。

本实例的效果可以通过以下仿真实验进一步说明：

1.仿真实验条件

本发明的仿真实验中所使用的高光谱开放集，是包含16类标准地物及1个未知类别的Salinas数据集，该高光谱开放集的大小为512*217，具有204个光谱波段，每类地物的类别与数量如表1所示。

表1Salinas样本类别与数量

类标	地物类别	数量
			1	Weeds-1	2009
2	Weeds-2	3726
			3	Fallow	1976
4	Fallow-P	1394
			5	Fallow-S	2678
6	Stubble	3959
			7	Celery	3579
8	Grapes	11271
			9	Soil	6203
10	Corn	3278
			11	Lettuce-4wk	1068
12	Lettuce-5wk	1927
			13	Lettuce-6wk	916
14	Lettuce-7wk	1070
			15	Vinyard-U	7268
16	Vinyard-T	1807
			17	Unknown	5613
	Total	59742

实验使用的训练样本数量为每类选取20个，使用的深度学习框架及版本为Keras2.1.6，使用的仿真软件及版本为Python 3.6，使用的计算机配置为英特尔I5-8500 CPU，NVIDIA GTX 2080TI GPU和128G RAM。

2.仿真内容与结果分析

为了对分类结果进行量化，本仿真实验采用了整体精度OA、平均精度AA和Kappa系数3个评价指标。其中：

整体精度OA，是测试集上正确分类的像素点的个数除以总的像素个数，其值在0～100％之间，此值越大说明分类效果越好。

平均精度AA，是测试集上所有类别精度的平均值，其中每个类别的精度通过该类正确分类的像素点个数除以该类所有像素的总数得到，其值在0～100％之间，此值越大说明分类效果越好。

Kappa系数，可更客观地反映算法的分类性能,Kappa的值在-1～1的范围，此值越大说明分类效果越好。

用本发明和现有两种方法CROSR和MDL4OW在上述仿真条件下对高光谱开放集Salinas进行分类，利用上述三个评价指标对分类结果进行评价，统计每类地物的分类精度和各评价指标的值并列于表2中。

表2现有技术与本发明在Salinas开放集上的分类精度对比结果

从表1可见，本发明的未知类识别率、整体精度OA、平均精度AA和Kappa系数均高于其他两种方法，说明本发明的未知类识别能力和整体分类能力均优于其他两个现有分类方法。这是因为本发明通过自监督学习方法对网络进行预训练，充分利用了无标签数据的丰富信息。

综合上述，本发明提出的方法能够在标签数据少的情况下，充分利用高光谱开放集的大量无标签数据的丰富信息来充分训练网络，提升了网络的拟合能力和鲁棒性，从而提升了网络对开放集中未知类的识别能力和整体分类精度。

Claims (6)

1.一种基于自监督学习和多任务学习的高光谱开放集分类方法，其特征在于，包括：

(1)获取一幅三维高光谱图像X∈R^m×n×b和对应的标签图Y∈R^m×n，其中，R表示实数域符号，m表示X和Y的行像素点个数，n表示X和Y的列像素点个数，b代表高光谱图像的波段个数；

(2)对获取的三维高光谱开放集X进行归一化的预处理；

(3)对预处理后的图像进行0像素边缘填充操作，并逐像素遍历图像生成邻域块，将生成的所有邻域块作为数据集合；

(4)生成训练数据集与测试数据集：

(4a)将数据集合中所有已知类别的邻域块作为自监督预训练数据集；

(4b)从数据集合中的所有已知类别中，每类抽取20个有标签邻域块，作为有监督训练数据集，并将每个邻域块的中心像素点的标签作为该邻域块的标签；

(4c)将数据集合中的所有邻域块作为测试数据集；

(5)构建由特征提取子网络、数据重建子网络和分类子网络构成的神经网络模型，该特征提取子网络的输出分别与数据重建子网络及分类子网络的输入相连；

(6)依次利用自监督学习方法和多任务学习方法对神经网络模型进行训练，得到训练好的神经网络模型；

(7)利用训练好的网络对测试样本进行预测：

(7a)通过网络中的特征提取子网络和分类子网络得到测试样本的类别标签，通过网络中的特征提取子网络和重建子网络得到重建损失；

(7b)将重建损失输入到威布尔分布模型计算得出该测试数据属于未知类的概率P；

(7c)通过实验设定阈值T，将属于未知类的概率P与阈值T进行比较：

若P>T，则将数据预测为未知类别，

若P<T，则将数据预测为(7a)中得到的类别标签。

2.根据权利要求1所述的方法，其特征在于，(2)中对X中每个像素点的值进行最大最小值归一化，公式如下：

其中，x_i,j,d表示在图像X中第d个光谱波段上的二维图像X_d∈R^m×n上的第i行、第j列像素点的值，i∈[1,m]，j∈[1,n]，d∈[1,b]，

表示x_i,j,d归一化处理后的值，x_min和x_max分别表示三维高光谱图像X中的最小值和最大值。

3.根据权利要求1所述的方法，其特征在于，(3)中对0像素边缘进行填充，是将维度为(m,n,b)的归一化后的高光谱图像进行宽度为p的边缘扩展，得到扩展后的高光谱图像维度为：

(p+m+p,p+n+p,b)。

4.根据权利要求1所述的方法，其特征在于，(5)中的特征提取子网络、数据重建子网络和分类子网络的结构和参数分别如下：

所述特征提取子网络，其结构依次为：第1二维卷积层→第1规范层→第1激活函数层→第2二维卷积层→第2激活函数层→第3二维卷积层→融合层→全局平均池化层，其中，所述融合层是将第1二维卷积层和第3二维卷积层经由加法操作相融合；其中第1、第2、第3二维卷积层的卷积核长度均设置为3，卷积步长均设置为1每个规范层的动量因子均设置为0.9；全局平均池化层的池化长度设置为2；每个激活函数层的激活函数均设置为ReLU激活函数；

所述数据重建子网络，其结构依次为：第1二维反卷积层→第2规范层→第3激活函数层→第2二维反卷积层→第4激活函数层→第3二维反卷积层→第3规范层→第5激活函数层→第4二维反卷积层→第6激活函数层→第5二维反卷积层；其参数设置为：第1二维反卷积层的卷积核长度设置为1，卷积步长设置为1；将第2、第3、第4、第5二维反卷积层的卷积核长度均设置为3，卷积步长均设置为1；将第3激活函数层到第6激活函数层的激活函数均设置为ReLU激活函数；

所述分类子网络，其结构为：全连接层→第7激活函数层；其中全连接层的输出神经元的个数设置为类别数，第7激活函数设置为Softmax激活函数。

5.根据权利要求1所述的方法，其特征在于，(6)中依次利用自监督学习方法和多任务学习方法对神经网络模型进行训练，实现如下：

(6a)利用自监督学习方法进行第一阶段的训练：

(6a1)将自监督训练集输入到网络中，经过特征提取网络得到训练样本的特征向量，将特征向量输入到数据重建网络得到重建数据：

其中，x_i是第i个输入训练样本，

表示特征提取子网络函数，

表示第i个训练样本经过特征提取子网络后得到的输出特征向量，f_r(·)是重建子网络函数，

是第i个训练样本的重建数据；

(6a2)设置网络学习率为0.01，停止迭代次数为1000，重建损失函数为：

其中，||·||₁表示进行l₁范数计算，x_i是第i个输入训练样本，

是第i个训练样本的重建数据；

(6a3)采用梯度下降法，通过最小化重建损失函数l_r，优化特征提取子网络和数据重建子网络的网络参数，直到达到停止迭代次数为止，得到通过第一阶段训练后的网络；

(6b)利用多任务学习方法进行第二阶段的训练：

(6b1)将有监督训练集输入到第一阶段训练后的网络中，经过其中的特征提取子网络得到训练样本的特征向量，将该特征向量分别通过其中的数据重建子网络和分类子网络得到训练样本的重建数据和类别概率向量；

(6b2)学习率设置为0.001，设置停止迭代次数为200，设置加权总损失函数如下为：

其中，λ_c和λ_r是控制多任务网络的交叉熵损失l_c和重建损失l_r的权重参数，l_c为交叉熵损失函数，表示为：

式中，m是样本总数，y_i是第i个样本使用one-hot编码方式的真实样本标签，

是第i个样本经过模型预测后得到的属于所有类的概率向量；

(6b3)采用梯度下降法，通过迭代最小化多任务损失函数l_a，直到达到停止迭代次数为止，得到通过第二阶段训练后的网络，即最终训练好的神经网络模型。

6.根据权利要求1所述的方法，其特征在于，(7b)中利用威布尔分布模型计算测试数据属于未知类的概率P，公式如下：

其中，G_ξ,μ(·)为广义帕累托分布的累积分布函数，v为重建损失，ξ和μ分别为分布函数的形状参数和尺度参数，其通过数据拟合得出。

Images