CN114723994B - 一种基于双分类器对抗增强网络的高光谱图像分类方法 - Google Patents

Abstract

本发明公开了一种基于双分类器对抗增强网络的高光谱图像分类方法，首先将原始HSI的源域和目标域数据进行向量化并输入BCAAN进行训练，使用源域数据预训练整个网络；然后固定特征生成器，使用目标域数据训练两分类器，使其差异最大；然后固定两分类器，使用目标域数据优化特征生成器，使两分类器差异最小；使用预训练的网络获取目标域数据的伪标签，每个样本对应两个伪标签；把两伪标签相同且输出概率皆大于区分阈值的目标域数据选为可靠样本。使用随机置零的方式对可靠样本进行数据增强，后将可靠的目标域和增强后的数据添加到源域数据中。最后，训练一个epoch后重新采样，基于分类器差异在对抗的过程中对齐源域和目标域，直到模型收敛。

Description

一种基于双分类器对抗增强网络的高光谱图像分类方法

技术领域

本发明涉及模式识别技术领域，主要涉及一种基于双分类器对抗增强网络的高光谱图像分类方法。

背景技术

随着遥感技术的不断发展，越来越多的高光谱图像被研究者更加容易的获取。然而面对海量的高光谱图像，有效地标定样本往往需要相关专家耗费大量精力。高光谱图像分类作为遥感领域关键问题之一，受到广大研究人员的关注且被成功应用于城市规划、矿产鉴定和农业生产等多个领域。大量机器学习算法被成功应用于高光谱图像分类，例如支持向量机、稀疏表示及随机森林等。相较于深度学习算法，以上传统机器学习算法的分类精度较低。深度学习算法因其强大的特征表达能力，被大量应用于高光谱图像分类。

然而基于深度学习的高光谱分类方法的强分类能力往往需要大量标记样本作为支撑。现有技术中提出了很多方法，用于解决上述问题，大致分为主动学习方法、数据增强方法和领域适应方法。主动学习方法可通过从未标记样本中主动选择信息量最大的样本进行人工标注来增加训练样本量，以此扩充深度网络的训练集。以上方法仅能解决同场景的高光谱图像分类问题。在真实的高光谱图像分类应用中，不使用场景内标记样本学习出泛化能力强的分类模型是一个挑战。跨场景分类是仅利用相似场景内的标记样本完成对不同场景样本的分类。跨场景分类问题多是基于领域适应方法，领域适应作为迁移学习的一种特殊形式，能够将某个领域(源域)上学习到的知识应用于不同但相关的领域(目标域)，从而使模型在目标域分类任务上取得较高精度。

将领域适应技术和深度学习相结合而提出的深度领域适应网络，仅利用源域少量标记样本完成跨场景高光谱图像分类。

发明内容

发明目的：针对上述背景技术中存在的问题，本发明提供了一种基于双分类器对抗增强网络的高光谱图像分类方法，能够仅利用源域标记样本完成对目标域无标签样本的分类。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种基于双分类器对抗增强网络的高光谱图像分类方法，包括以下步骤：

步骤S1、将原始高光谱图像HSI的源域数据和目标域数据进行向量化处理后输入至双分类器对抗增强网络BCAAN进行训练，使用源域数据预训练整个网络；

步骤S2、固定特征生成器G_f，使用目标域数据训练两分类器C₁和C₂，使两分类器的差异最大；然后固定两分类器C₁和C₂，使用目标域数据优化特征生成器G_f，使两分类器差异最小；

步骤S3、使用预训练的网络获取目标域数据的伪标签，其中每个样本对应两个伪标签；把两个伪标签相同且输出概率大于区分阈值的目标域数据选为可靠样本；

步骤S4、使用光谱波段随机置零的方式对可靠样本进行数据增强后，将可靠的目标域和增强后的样本集添加到源域数据中；

步骤S5、训练一个epoch后，重新采样，基于分类器差异在对抗的过程中对齐源域和目标域，直至模型收敛；最后使用收敛的模型对目标域样本进行分类，得到分类结果。

进一步地，步骤S2中具体训练及优化方法包括：

设定x_s为一个来自源域高光谱图像{X_s,Y_s}的标记样本，对应标签为y_s，x_t为一个来自目标域高光谱图像X_t的未标记样本；

和

分别为经向量化后的源域和目标域数据；通过最大化两分类器在目标域上的输出差异，然后最小化这种差异；考虑任务特征决策边界，以对抗的方式对齐两域分布；特征提取器G_f包括一维卷积层和非线性层，用于提取原始HSI深度特征；分类器C₁和C₂包括全连接层、非线性层以及Softmax层，用于样本类别的预测和检测输出差异；

使用交叉熵作为分类损失；交叉熵函数定义如下：

其中，p为预测概率输出矩阵，r为标签信息，R(·)选择Softmax激活函数，c代表类别，V_i表示预测值矩阵中第i维的值；

将两个分类器概率输出差值的绝对值作为差异损失：

其中，d(·,·)表示差异损失，p_1c和p_2c依次表示两分类器在第c类的概率输出值；

两分类器的分类分歧的目标函数对应为：

其中，n_t为目标域样本总数。

进一步地，步骤S3中可靠样本选择具体步骤包括：

步骤S3.1、使用协同训练从不同视角对目标域数据进行分类，得到更加准确的目标域的伪标签；在训练过程中对两分类器的模型参数进行约束，加入正则项如下：

其中，

和

分别由两分类器的全连接层参数进行向量化得到；

步骤S3.2、从得到的伪标签中挑选出可靠部分；

当两分类器在目标域上的分类结果同时符合下面标准时，将挑选出来的伪标签对应的样本挑选为可靠样本：

(1)当两分类器对同一目标域样本分类结果相同时,即P₁＝P₂；

(2)p_1c(y|x_t)≥α且p_2c(y|x_t)≥α；其中α为预设的区分阈值。

进一步地，所述步骤S4中采用光谱波段随机置零的方法，将所有可靠样本部分波段进行随机置零，生成样本扩充集；具体地，选择b个波段进行随机置零，则b满足以下条件：

其中N_b为目标域数据波段数；为防止过拟合，每训练一个epoch均需重新选择扩充集。

进一步地，所述步骤S5中训练一个epoch具体步骤包括：

算法总损失函数如下：

L＝L_cls1(X_s)+L_cls2(X_s)-λL_D(X_t)+βL_r

其中λ和β为损失重要性超参数；

步骤L1、训练两分类器C₁和C₂，使分类器能够正确对源域数据进行分类，通过最小化分类误差学习模型参数，更新方式如下：

步骤L2、保持G_f的模型参数不变，训练两分类器C₁和C₂作为一个判别器；最小化源域的分类损失，最大化目标域上的分类分歧损失；目标如下：

步骤L3、固定两分类器的模型参数不变，通过最小化目标域上的分类分歧损失，训练特征生成器G_f，目标如下：

其中步骤L3与步骤L2通过对抗的方式适配两域分布；

步骤L4、通过两分类器在目标域上得到相应伪标签，挑选出可靠伪标签，对应可靠样本；使用光谱波段随机置零法对所有可靠样本部分波段进行随机置零，获得样本扩充集，将样本扩充集加入训练集。

有益效果：

本发明专利可仅利用相似但不相同场景下的标记高光谱图像，完成对目标任务的精准分类。本发明提供的基于双分类器对抗增强网络的高光谱图像分类方法，所提数据增强方法可在网络训练过程中源源不断地增加可靠的训练样本，为模型的充分训练提供大量支撑。专利可有效减少不同场景下的高光谱图像的分布差异，完成对两域数据的有效对齐，进而实现高光谱图像分类。

附图说明

图1是本发明提供的基于双分类器对抗增强网络的高光谱图像分类方法原理框图。

具体实施方式

下面结合附图对本发明作更进一步的说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供的基于双分类器对抗增强网络的高光谱图像分类方法，具体原理如图1所示。首先，将原始高光谱图像HSI的源域数据和目标域数据进行向量化并输入BCAAN进行训练，使用源域数据预训练整个网络，保证分类精度的同时保持两分类器差异。

然后，固定特征生成器G_f，使用目标域数据训练两分类器C₁和C₂，使其差异最大。然后，固定两分类器，使用目标域数据优化特征生成器G_f，使两分类器差异最小。

具体地，设定x_s为一个来自源域高光谱图像{X_s,Y_s}的标记样本，对应标签为y_s，x_t为一个来自目标域高光谱图像X_t的未标记样本；

和

分别为经向量化后的源域和目标域数据；通过最大化两分类器在目标域上的输出差异，然后最小化这种差异；考虑任务特征决策边界，以对抗的方式对齐两域分布；特征提取器G_f包括一维卷积层和非线性层，用于提取原始HSI深度特征；分类器C₁和C₂包括全连接层、非线性层以及Softmax层，用于样本类别的预测和检测输出差异；

为保证两分类器在源域数据上分类正确，最小化其在源域数据上的经验风险，使用交叉熵作为分类损失。使用交叉熵作为分类损失；交叉熵函数定义如下：

其中，p为预测概率输出矩阵，r为标签信息，R(·)选择Softmax激活函数，c代表类别，V_i表示预测值矩阵中第i维的值；

为了检测远离源域支持的目标域样本，利用两分类器在目标域的输出差异代表分类的不一致性，本实施例将将两个分类器概率输出差值的绝对值作为差异损失：

其中，d(·,·)表示差异损失，p_1c和p_2c依次表示两分类器在第c类的概率输出值；

两分类器的分类分歧的目标函数对应为：

其中，n_t为目标域样本总数。

接着，使用预训练的网络获取目标域数据的伪标签，每个样本对应两个伪标签。把两伪标签相同且输出概率皆大于区分阈值的目标域数据选为可靠样本。

具体地，为解决两分类器在训练过程中模型退化为自学习和源域标记样本不足的问题，使用协同训练从不同视角对目标域数据进行分类，得到更加准确的目标域的伪标签；在训练过程中对两分类器的模型参数进行约束，加入正则项如下：

其中，

和

分别由两分类器的全连接层参数进行向量化得到。

虽然通过以上方式得到的伪标签和其对应的特征能够为模型训练提供帮助，但是其中的虚假标签的加入会对模型训练产生副作用。因而从得到伪标签中挑选出可靠的部分尤为重要。当两分类器在目标域上的分类结果同时符合下面标准时，将挑选出来的伪标签对应的样本挑选为可靠样本：

(1)当两分类器对同一目标域样本分类结果相同时,即P₁＝P₂；

(2)p_1c(y|x_t)≥α且p_2c(y|x_t)≥α；其中α为预设的区分阈值。

接着使用随机置零的方式对可靠样本进行数据增强后，将可靠的目标域和增强后的数据添加到源域数据中。

虽然以协同训练的方法挑选出了可靠且稳定的目标域带伪标签样本，但因其数量有限不足以充分训练模型。本实施例提出光谱波段随机置零的方法，将所有可靠样本部分波段进行随机置零。产生远大于可靠样本数的样本扩充集，能够解决标记样本量不足以支撑高精度分类模型训练的难题。

具体地，选择b个波段进行随机置零，则b满足以下条件：

其中N_b为目标域数据波段数；为防止过拟合，每训练一个epoch均需重新选择扩充集。

综上所述，本发明提供的模型训练流程具体如下：

首先，算法总损失函数如下：

L＝L_cls1(X_s)+L_cls2(X_s)-λL_D(X_t)+βL_r

其中λ和β为损失重要性超参数；

步骤L1、训练两分类器C₁和C₂，使分类器能够正确对源域数据进行分类，通过最小化分类误差学习模型参数，更新方式如下：

步骤L2、保持G_f的模型参数不变，训练两分类器C₁和C₂作为一个判别器；最小化源域的分类损失，最大化目标域上的分类分歧损失；目标如下：

步骤L3、固定两分类器的模型参数不变，通过最小化目标域上的分类分歧损失，训练特征生成器G_f，目标如下：

其中步骤L3与步骤L2通过对抗的方式适配两域分布；

步骤L4、通过两分类器在目标域上得到相应伪标签，挑选出可靠伪标签，对应可靠样本；使用光谱波段随机置零法对所有可靠样本部分波段进行随机置零，获得样本扩充集，将扩充集加入训练集。

训练完一个epoch后，进行重新采样，基于分类器差异在对抗的过程中对齐源域和目标域，直到模型收敛。并使用收敛的模型对目标域样本进行分类，得到分类结果。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种基于双分类器对抗增强网络的高光谱图像分类方法，其特征在于，包括以下步骤：

步骤S1、将原始高光谱图像HSI的源域数据和目标域数据进行向量化处理后输入至双分类器对抗增强网络BCAAN进行训练，使用源域数据预训练整个网络；

步骤S2、固定特征生成器G_f，使用目标域数据训练两分类器C₁和C₂，使两分类器的差异最大；然后固定两分类器C₁和C₂，使用目标域数据优化特征生成器G_f，使两分类器差异最小；

步骤S3、使用预训练的网络获取目标域数据的伪标签，其中每个样本对应两个伪标签；把两个伪标签相同且输出概率大于区分阈值的目标域数据选为可靠样本；

步骤S4、使用光谱波段随机置零的方式对可靠样本进行数据增强后，将可靠样本和增强后的样本添加到源域数据中；

步骤S5、训练一个epoch后，重新采样，基于分类器差异在对抗的过程中对齐源域和目标域，直至模型收敛；最后使用收敛的模型对目标域样本进行分类，得到分类结果。

2.根据权利要求1所述的一种基于双分类器对抗增强网络的高光谱图像分类方法，其特征在于，步骤S2中具体训练及优化方法包括：

设定x_s为一个来自源域高光谱图像{X_s,Y_s}的标记样本，对应标签为y_s，x_t为一个来自目标域高光谱图像X_t的未标记样本；

和

分别为经向量化后的源域和目标域数据；通过最大化两分类器在目标域上的输出差异，然后最小化这种差异；考虑任务特征决策边界，以对抗的方式对齐两域分布；特征提取器G_f包括一维卷积层和非线性层，用于提取原始HSI深度特征；分类器C₁和C₂包括全连接层、非线性层以及Softmax层，用于样本类别的预测和检测输出差异；

使用交叉熵作为分类损失；交叉熵函数定义如下：

其中，p为预测概率输出矩阵，r为标签信息，R(·)选择Softmax激活函数，c代表类别，V_i表示预测值矩阵中第i维的值；

将两个分类器概率输出差值的绝对值作为差异损失：

其中，d(·,·)表示差异损失，p_1c和p_2c依次表示两分类器在第c类的概率输出值；

两分类器的分类分歧的目标函数对应为：

其中，n_t为目标域样本总数。

3.根据权利要求2所述的一种基于双分类器对抗增强网络的高光谱图像分类方法，其特征在于，步骤S3中可靠样本选择具体步骤包括：

步骤S3.1、使用协同训练从不同视角对目标域数据进行分类，得到更加准确的目标域的伪标签；在训练过程中对两分类器的模型参数进行约束，加入正则项如下：

其中，

和

分别由两分类器的全连接层参数进行向量化得到；

步骤S3.2、从得到的伪标签中挑选出可靠部分；

当两分类器在目标域上的分类结果同时符合下面标准时，将挑选出来的伪标签对应的样本挑选为可靠样本：

(1)当两分类器对同一目标域样本分类结果相同时，即P₁＝P₂；

(2)p_1c(y|x_t)≥α且p_2c(y|x_t)≥α；其中α为预设的区分阈值。

4.根据权利要求3所述的一种基于双分类器对抗增强网络的高光谱图像分类方法，其特征在于，所述步骤S4中采用光谱波段随机置零的方法，将所有可靠样本部分波段进行随机置零，生成样本扩充集；具体地，选择b个波段进行随机置零，则b满足以下条件：

其中N_b为目标域数据波段数；为防止过拟合，每训练一个epoch均需重新选择扩充集。

5.根据权利要求4所述的一种基于双分类器对抗增强网络的高光谱图像分类方法，其特征在于，所述步骤S5中训练一个epoch具体步骤包括：

算法总损失函数如下：

L＝L_cls1(X_s)+L_cls2(X_s)-λL_D(X_t)+βL_r

其中λ和β为损失重要性超参数；

步骤L1、训练两分类器C₁和C₂，使分类器能够正确对源域数据进行分类，通过最小化分类误差学习模型参数，更新方式如下：

步骤L2、保持G_f的模型参数不变，训练两分类器C₁和C₂作为一个判别器；最小化源域的分类损失，最大化目标域上的分类分歧损失；目标如下：

步骤L3、固定两分类器的模型参数不变，通过最小化目标域上的分类分歧损失，训练特征生成器G_f，目标如下：

其中步骤L3与步骤L2通过对抗的方式适配两域分布；

步骤L4、通过两分类器在目标域上得到相应伪标签，挑选出可靠伪标签，对应可靠样本；使用光谱波段随机置零法对所有可靠样本部分波段进行随机置零，获得样本扩充集，将样本扩充集加入训练集。

Images