CN116863327A - 一种基于双域分类器协同对抗的跨域小样本分类方法 - Google Patents

Abstract

本发明公开了一种基于双域分类器协同对抗的跨域小样本分类方法，包括以下步骤：获取目标域数据集和源域数据集，基于所述目标域数据集和所述源域数据集进行预处理，获取查询集、支持集和测试集；确定网络超参数和网络参数，构建双域分类器协同对抗网络模型；通过查询集和支持集对双域分类器协同对抗网络模型进行训练，获取训练后的双域分类器协同对抗网络模型；将测试集对训练后的双域分类器协同对抗网络模型进行测试，获取分类结果。本发明高光谱图像为例构建网络模型；设计两个域分类器，分别采取梯度上升和梯度下降的策略，提取域无关信息和部分域相关信息，最大限度地提取出源域数据集的先验知识，更好地实现小样本情境下目标域数据的分类。

Description

一种基于双域分类器协同对抗的跨域小样本分类方法

技术领域

本发明属于小样本分类技术领域，尤其涉及一种基于双域分类器协同对抗的跨域小样本分类方法。

背景技术

遥感图像具有宏观、客观、综合、实时、动态、快速等特点，为地球资源调查与开发，国土整治，环境监测，以及全球性研究，提供了一种新的探测手段，广泛用于测绘、动态监测、地球资源调查、地质灾害调查与救治等领域。遥感图像一般包括高光谱图像、合成孔径雷达图像(SAR)、点云图像、全色遥感图像等。然而，遥感图像下游任务应用的前提，是对遥感图像的解译，即遥感图像所包含信息的获取，通过信息的获取以进行后续的应用决策，例如对高光谱图像、SAR的分类。高光谱成像是遥感中的一项重要技术，通过上百个连续波段对目标地物进行成像，具有波段多的特点，含有丰富的光谱信息，得益于此，高光谱图像广泛应用于各个领域。SAR图像是利用合成孔径雷达获取的图像，具有全天候、全天时工作的优势，并且对地面、云雾等具有一定的穿透性。早期的对高光谱分类的研究多集中于手工制作的特征提取方法，如支持向量机(SVM)、K-邻近算法(KNN)、逻辑回归算法等；另一部分研究集中于光谱降维方法，例如主成分分析(PCA)、独立成分分析(ICA)、线性判别器(LDA)。这些传统方法取得了良好的分类精度，但通常依赖于一些先验知识，仅利用了部分浅层信息，并且忽视了特征提取与分类过程的不匹配性。深度学习作为一种强大的特征提取手段，已被广泛应用于高光谱分类，并且取得了令人满意的分类精度。然而，与频谱的高维性伴随的是标记数据有限性，训练一个有效的深度学习模型，需要大量的标注样本，故在小样本情况下，实现高光谱像元的高精度分类仍然是一项待突破的挑战。传统的SAR检测方法多是基于纹理特征和机器学习的算法偏多，近年来逐渐引入了深度学习的方法，但是在小样本条件下的检测，还研究较少。针对现有的小样本情境下分类方法的不足，本发明设计一种双域分类器协同对抗的跨域小样本分类方法，并提出一个通用框架，该框架通过交替训练丰富的源域和小样本的目标域数据，利用两个领域分类器协同对抗，提高小样本情境下分类的精度。并以高光谱数据为例，在四个基本公开数据集的实验结果表明，与现有的框架相比均提升，具有一定的实用价值。

发明内容

为解决上述技术问题，本发明提出了一种基于双域分类器协同对抗的跨域小样本分类方法，提出一个通用框架，该框架通过交替训练丰富的源域和小样本的目标域数据，利用两个领域分类器协同对抗，提高小样本情境下分类的精度。

为实现上述目的，本发明提供了一种基于双域分类器协同对抗的跨域小样本分类方法，包括以下步骤：

获取高光谱图像的目标域数据集和源域数据集，基于所述目标域数据集和所述源域数据集进行预处理，获取查询集、支持集和测试集；

确定网络超参数和网络参数，构建双域分类器协同对抗网络模型；

通过所述查询集和所述支持集对所述双域分类器协同对抗网络模型进行训练，获取训练后的双域分类器协同对抗网络模型；

将所述测试集对所述训练后的双域分类器协同对抗网络模型进行测试，获取分类结果。

可选的，获取所述目标域数据集和所述源域数据集的方法包括：

将两个高光谱数据集根据标注情况分为初始目标域数据集和源域数据集，对所述初始目标域数据集添加高斯噪声获取所述目标域数据集。

可选的，基于所述目标域数据集和所述源域数据集进行预处理，获取所述查询集、所述支持集和所述测试集的方法包括：

基于所述目标域数据集和所述源域数据集进行3d立方体切割处理获取所述查询集、所述支持集和所述测试集。

可选的，构建所述双域分类器协同对抗网络模型的方法包括：

所述双域分类器协同对抗网络模型包括Mapping层、特征提取器、第一分类器和第二分类器。

可选的，基于所述Mapping层、所述特征提取器和所述第一分类器和所述第二分类器构建所述双域分类器协同对抗网络模型的过程包括：

将所述查询集和所述支持集输入所述Mapping层，通过特征提取器提取所述查询集的空-谱特征和所述支持集的空-谱特征，通过对所述查询集的空-谱特征和所述支持集的空-谱特征进行分类，获取源域分类损失和目标域分类损失，通过对所述第一分类器和所述第二分类器对空-谱特征的来源数据域进行判别，获取域判别损失。

可选的，通过特征提取器提取所述查询集的空-谱特征和所述支持集的空-谱特征的方法为：

其中，y_j和分别为查询样本x_j对应的真实标签和特征提取器F的特征映射函数，N_K是支持集中第K个类的嵌入特征，N是每个episode中数据的类别数目。

可选的，通过对所述查询集的空-谱特征和所述支持集的空-谱特征进行分类，获取所述源域分类损失和所述目标域分类损失的方法为：

其中，E为数学期望，为条件概率函数，S_Sou和Q_Sou分别为源域数据的支持集和查询集，S_Tar和Q_Tar分别为目标域数据的支持集和查询集。

可选的，通过对所述第一分类器和所述第二分类器对所述空-谱特征的来源数据域进行判别，获取所述域判别损失的方法为：

其中，L_d1为第一分类器的判别损失，为第二分类器的判别损失，D₁和D₂分别为第一分类器和第二分类器，E为数学期望，F为Maping层与特征提取器的映射函数，G为类别分类器，i为源域序号，j为目标域序号，x为episode的训练样本，S为源域数据，T为目标域数据，/>为源域数据的第i个样本，P_S(x)为源域数据的概率分布，f_i ^S为源域的第i个样本的特征向量，/>为源域的第i个样本对应预测值的特征向量，/>为目标域的第j个样本，P_T(x)为目标域数据的概率分布，/>为目标域的第j个样本的特征向量，/>为目标域的第j个样本对应预测值的特征向量。

可选的，将所述测试集对所述训练后的双域分类器协同对抗网络模型进行测试，获取分类结果的方法包括：

将所述测试集对所述训练后的双域分类器协同对抗网络模型进行测试，通过软投票测略结合支持向量机、随机森林和NN分类器，获取分类结果。

本发明技术效果：本发明公开了一种基于双域分类器协同对抗的跨域小样本分类方法，在现有技术中一般特征学习目的的域无关信息提取方法的基础上，通过增加源域与目标域间域相关信息的学习，并基于双分类器协同对抗的策略，同时学习域无关信息和部分域相关信息，以优化特征提取器，提升目标域分类的准确性；设计了两个域分类器，分别采取梯度上升和梯度下降的策略，以提取域无关信息和部分域相关信息，尽可能最大限度地提取出源域数据集的先验知识，以更好地实现小样本情境下目标域数据的分类。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明实施例一种基于双域分类器协同对抗的跨域小样本分类方法的流程示意图；

图2为本发明实施例分类模型框架流程图；

图3为本发明实施例3D残差网络结构图；

图4为本发明实施例待分类数据分类流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

如图1所示，本实施例中提供一种基于双域分类器协同对抗的跨域小样本分类方法，包括以下步骤：

获取高光谱图像的目标域数据集和源域数据集，基于目标域数据集和源域数据集进行预处理，获取查询集、支持集和测试集；

确定网络超参数和网络参数，构建双域分类器协同对抗网络模型；

通过查询集和支持集对双域分类器协同对抗网络模型进行训练，获取训练后的双域分类器协同对抗网络模型；

将测试集对训练后的双域分类器协同对抗网络模型进行测试，获取分类结果。

1.本发明提出的框架进行高光谱的流程

(1)预处理

预处理阶段主要是为了将高光谱图像进行切块处理，以符合模型的输入，本框架需要利用两个高光谱数据集，其中标注丰富的高光谱数据集类别作为源域，待分类的具有较少标注的高光谱数据集作为目标域数据集。由于目标域样本量较少，无法满足训练的需要，故通过对目标域数据添加高斯噪声的方法，对目标域样本数据进行扩充。具体来说，就是对标注数据添加一定干扰的高斯噪声，从而可以将添加高斯噪声的标注数据作为区别于原始目标域数据的新标注数据。因为本模型需要同时提取高光谱数据的空-谱联合特征，故需要将源域和目标域数据切割成Patch的形式，Patch是以单个像元为中心的，具有一定像元宽度的3d立方体，其对应标签为中心像素的类别，其中3d立方体的大小为k×k×ch，k为切割的空间大小，可根据具体任务设置，在本高光谱分类任务中设置为9，ch为高光谱数据的波段数目。为了满足下一步的训练需要，还需要从源域和目标域数据中划分查询集和支持集，查询集为在该次训练中未知地物类别属性的像素，支持集为已知地物类别的像素，两种数据集个数设置为1：19。特别地，目标域设置每类n个样本用于形成支持集和查询集外，其余所有数据被划分为测试集，用于验证网络模型的精度。

(2)模型构建

首先需要建立双域分类器协同对抗的跨域高光谱小样本分类框架，并确定该框架的基本结构参数和超参数。模型的具体结构如图2所示。主要包括一个Mapping层，其目的是使源域和目标域输入的Patch立方体在通道维度上保持一致；然后连接一个特征提取器F，以提取高光谱数据的空-谱特征；之后，分别设置分类器G^s和G^T，分别用于实现源域和目标域数据的分类并且分别计算源域分类损失和目标域分类损失/>最后，设置域分类器D₁和D₂，用于对数据的来源进行判别，即判断其来自于源域还是目标域。该工作的意义是最大限度地提取出源域数据集的先验知识，以更好地实现小样本情境下目标域数据的分类。需要说明的是，两个域分类器在更新网络参数时采取的是不同的策略：1)域分类器D₁在计算损失L_d1，更新网络参数时采取梯度下降策略，使该域分类器能够分辨出特征向量来自于源域还是目标域，目的是提取部分域相关信息；2)域分类器D₂包含梯度反转层，在计算损失L_d2反向传播更新网络参数时，采取梯度上升策略，使该分类器更难分辨出特征向量来自于源域还是目标域，目的是为了提取域无关信息。网络的超参数设置如下：学习率设置为0.001、情景训练episode次数设置为10000、优化器选择Adam。

(3)模型的训练

本发明模型的训练方法，采取交替进行源域小样本学习和目标域小样本学习的策略，以减少域偏差带来影响。在源域小样本学习中，首先从源域数据集D_Sou中的C_Sou个类别中随机采样N_sup个类别，并从每个类别中选取K_sup个样本，以形成源域的支持集其中，/>代表支持集中的第i个样本，chs代表源域数据的波段数目，y_i是x_i的对应标签。同时，从剩余的(C_Sou-N_sup)个类别中随机采样N_qur个类别，并从每个类别中选取K_qur个样本，以形成源域的查询集/>其中，(x_j,y_j)代表查询集中的第j个样本以及其对应的标签。随后，将支持集和查询集重组为episode训练任务，以执行源域小样本学习。即查询集中的查询样本与支持集中的每一个支持样本进行相似性比较，将相似程度最高的支持样本的类别划分给查询样本。相似的，在目标域小样本学习中，本方法从目标域数据集D_Tar随机采样以形成目标域的支持集和目标域的查询集/>以进行目标域小样本学习。该学习过程与源域小样本学习过程相同。需要说明的是，两个域的小样本学习是交替进行的，彼此之间并不互相干扰。具体过程如下：首先进行源域小样本学习，源域数据经特征提取器F提取出特征向量f^S，利用分类器G^S对源域数据进行分类，同时将特征向量f^s输入域分类器D₁和域分类器D₂，并且计算相应的损失以更新网络参数，完成一次源域小样本学习，也即是一次episode训练任务。随后进行目标域小样本学习，目标域数据经特征提取器F提取出特征向量f^T，利用分类器G^T对目标域数据进行分类，同时将特征向量f^T输入域分类器D₁和域分类器D₂，并且计算相应的损失以更新网络参数，完成一次目标域小样本学习，完成第二次episode训练任务。重复这两个过程，直至设置的最大episode数目。具体的训练流程如图2所示。

(4)地物目标分类测试

模型测试阶段，会将训练阶段效果最优的参数对应的网络应用于目标域高光谱数据分类，分类采用软投票策略，即综合随机森林，支持向量机和NN分类器做出最终的分类，并计算总体分类精度、平均精度、kappa系数，以评价分类结果的优劣。

2.方法具体如下：

(1)双域分类器协同的跨域高光谱小样本分类框架

所提出的双域分类器协同的跨域高光谱小样本分类框架如图2所示。具体而言，该框架主要由两种类型的小样本学习组成。一个是源域的小样本学习，另一种是针对目标域中的少量数据集的小样本学习。具体的训练方法如下，采用交替执行源域和目标域的小样本学习策略。这种策略旨在学习源域中可映射到特征空间的域无关信息，以实现更好的目标域迁移，以增强域适应的泛化能力和鲁棒性。对于每一种小样本学习，输入的3d数据首先会经过一个Mapping层，Mapping层包含一个2d的1×1卷积和一个BatchNorm层(正则化)，将输入的数据，压缩成9×9×100，以保证不同数据域的数据空间大小和通道维度相同。随后会经过一个特征提取器F，F的具体结构将在后文介绍，通过特征提取器，将该特征映射到一个空-谱联合空间中，得到嵌入特征f。在这个特征空间中，从理论上讲，不同类别之间距离远，而相同类别之间距离近，从而可以利用距离度量的方法实现地物分类，这里选用的度量方法为欧式距离。具体的计算公式为：

d(x,y)＝(x-y)^T(x-y) (1)

其中，x和y分别为两个样本的空间坐标。

根据距离函数，进一步得到每一个样本在特征空间中的分布，以查询集Q_Tar中的样本x_j为例，其在特征空间中的分布为：

其中，y_j和分别为查询样本x_j对应的真实标签和特征提取器F的特征映射函数，N_K是支持集中第K个类的嵌入特征，N是每个episode中数据的类别数目。支持集样本分布的计算方法与查询集样本相同。

从而可以根据查询集样本和支持集样本的分布，利用向量相似性的判别方法对查询集样本进行类别划分，即将最相似的支持集样本类别标签赋予给查询集样本。进而根据查询集样本x的分布及其真实类别标签k，可以分别计算源域数据和目标域数据中所有查询集样本的分类损失和/>本专利采用交叉熵损失，分别用公式(3)和(4)表示：

其中，E为数学期望，为条件概率函数，S_Sou和Q_Sou分别为源域数据的支持集和查询集，S_Tar和Q_Tar分别为目标域数据的支持集和查询集。

同时，为了降低域偏移带来的影响，设置了两个域分类器，对数据的来源域进行判别，根据判别的结果和真实的来源数据域，就可以计算两个域分类器的损失函数。本发明采用正则化的二元交叉熵误差来定义，具体的公式为：

其中，L_d1为第一分类器的判别损失，为第二分类器的判别损失，D₁和D₂分别为第一分类器和第二分类器，E为数学期望，F为Maping层与特征提取器的映射函数，G为类别分类器，i为源域序号，j为目标域序号，x为episode的训练样本，S为源域数据，T为目标域数据，/>为源域数据的第i个样本，P_S(x)为源域数据的概率分布，f_i ^S为源域的第i个样本的特征向量，/>为源域的第i个样本对应预测值的特征向量，/>为目标域的第j个样本，P_T(x)为目标域数据的概率分布，/>为目标域的第j个样本的特征向量，/>为目标域的第j个样本对应预测值的特征向量；例如f_i ^S为源域数据第i个特征向量，/>为其对应的预测值。

每次执行小样本学习的域分类时，经特征提取器提取的特征f将通过一个(160，1024)的全连接层同时输入到两个不同的域分类器中：1)域分类器D₁：由3层(1024，1024)和1层(1024，1)的全连接层构成；2)域分类器D₂：由5层(1024，1024)和1层(1024，1)的全连接层构成，同时包含一个梯度反转层。为了防止模型过拟合，在每一个(1024，1024)全连接层后添加了失活层(dropout)，系数设置为0.5。具体参数如表1和表2所示。

表1

表2

完成源域和目标域的分类损失和域分类损失计算后，就分别可以计算源域和目标域总的小样本学习损失，其公式表达为：

其中，λ为比例系数，设置为0.5。

(2)特征提取器F

小样本条件下，难以提取图像的全部特征，为了尽可能多的提取局部细节和整体信息，采取了3D残差网络，其结构如图3所示，包括两个残差块和两个最大池化层，通过残差连接，即跳接，将浅层信息和深层特征同时提取，以更加充分地提取特征信息。特征提取过程：经Mapping层后，输入的特征形状为9×9×100，随后将依次通过残差块1、最大池化层1、残差块2、最大池化层2和一个卷积核为32，大小为3的3D卷积，最后拉平成1×160，具体的各层参数如表3所示。

表3

(3)投票机制

综合NN分类器、随机森林分类器、支持向量机分类器，形成一个投票分类器，投票分类器有硬分类和软分类两种，硬分类是综合三个分类器的结果，最后少数服从多数，得出最后的分类结果；软分类是计算出每个分类器正确分类的概率，通过等权加权得出最终的分类，本发明选择了软分类的方法，实现最后的结果分类。具体的流程如图4所示。图2中Input为输入，Conv为卷积，Sum为特征相加，Flatten为将特征向量拉至一维。图4中标记样本：即目标域中用于形成支持集和查询集的样本，带有标签。无标记样本：即测试集样本，不带有标签。标记特征：标记样本经特征提取器F提取的特征。无标记特征：无标记样本经特征提取器F提取的特征。投票分类器：综合随机森林，NN分类器，支持向量机分类器的软投票分类器。

本发明的验证，选取chikusei数据集作为源域高光谱数据，为了实验的公平性，我们从每个类别选取200个样本以执行小样本学习，并且目标域每个类别选择5个样本形成支持集和训练投票分类器。同时选取了Indian Pines(IP)、Pavia University(UP)、PaviaCenter(PC)、Salinas(SA)四个公开高光谱数据集作为目标域，并将本发明所提新方法与DCFSL进行了对比，结果如表4和表5所示。

表4

表5

本发明适用于具有较少标注数据的遥感地物分类任务，将待分类的遥感影像设置为目标域数据，同时选取一个具有丰富标注的遥感影像作为源域数据，第二点易于做到，通过本模型，学习源域数据的一般先验知识，实现较少标注数据的目标域分类任务。

以上，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (9)

1.一种基于双域分类器协同对抗的跨域小样本分类方法，其特征在于，包括以下步骤：

获取高光谱图像的目标域数据集和源域数据集，基于所述目标域数据集和所述源域数据集进行预处理，获取查询集、支持集和测试集；

确定网络超参数和网络参数，构建双域分类器协同对抗网络模型；

通过所述查询集和所述支持集对所述双域分类器协同对抗网络模型进行训练，获取训练后的双域分类器协同对抗网络模型；

将所述测试集对所述训练后的双域分类器协同对抗网络模型进行测试，获取分类结果。

2.如权利要求1所述的基于双域分类器协同对抗的跨域小样本分类方法，其特征在于，获取所述目标域数据集和所述源域数据集的方法包括：

将两个高光谱数据集根据标注情况分为初始目标域数据集和源域数据集，对所述初始目标域数据集添加高斯噪声获取所述目标域数据集。

3.如权利要求1所述的基于双域分类器协同对抗的跨域小样本分类方法，其特征在于，基于所述目标域数据集和所述源域数据集进行预处理，获取所述查询集、所述支持集和所述测试集的方法包括：

基于所述目标域数据集和所述源域数据集进行3d立方体切割处理，获取所述查询集、所述支持集和所述测试集。

4.如权利要求1所述的基于双域分类器协同对抗的跨域小样本分类方法，其特征在于，构建所述双域分类器协同对抗网络模型的方法包括：

所述双域分类器协同对抗网络模型包括Mapping层、特征提取器、第一分类器和第二分类器。

5.如权利要求4所述的基于双域分类器协同对抗的跨域小样本分类方法，其特征在于，基于所述Mapping层、所述特征提取器和所述第一分类器和所述第二分类器构建所述双域分类器协同对抗网络模型的过程包括：

将所述查询集和所述支持集输入所述Mapping层，通过所述特征提取器提取所述查询集的空-谱特征和所述支持集的空-谱特征，通过对所述查询集的空-谱特征和所述支持集的空-谱特征进行分类，获取源域分类损失和目标域分类损失，通过所述第一分类器和所述第二分类器对空-谱特征的来源数据域进行判别，获取域判别损失。

6.如权利要求5所述的基于双域分类器协同对抗的跨域小样本分类方法，其特征在于，通过特征提取器提取所述查询集的空-谱特征和所述支持集的空-谱特征的方法为：

其中，y_j和分别为查询样本x_j对应的真实标签和特征提取器F的特征映射函数，N_K是支持集中第K个类的嵌入特征，N是每个episode中数据的类别数目。

7.如权利要求5所述的基于双域分类器协同对抗的跨域小样本分类方法，其特征在于，通过对所述查询集的空-谱特征和所述支持集的空-谱特征进行分类，获取所述源域分类损失和所述目标域分类损失的方法为：

其中，E为数学期望，为条件概率函数，S_Sou和Q_Sou分别为源域数据的支持集和查询集，S_Tar和Q_Tar分别为目标域数据的支持集和查询集。

8.如权利要求5所述的基于双域分类器协同对抗的跨域小样本分类方法，其特征在于，通过所述第一分类器和所述第二分类器对所述空-谱特征的来源数据域进行判别，获取所述域判别损失的方法为：

其中，L_d1为第一分类器的判别损失，为第二分类器的判别损失，D₁和D₂分别为第一分类器和第二分类器，E为数学期望，F为Maping层与特征提取器的映射函数，G为类别分类器，i为源域序号，j为目标域序号，x为episode的训练样本，S为源域数据，T为目标域数据，/>为源域数据的第i个样本，P_S(x)为源域数据的概率分布，f_i ^S为源域的第i个样本的特征向量，/>为源域的第i个样本对应预测值的特征向量，/>为目标域的第j个样本，P_T(x)为目标域数据的概率分布，f_j ^T为目标域的第j个样本的特征向量，/>为目标域的第j个样本对应预测值的特征向量。

9.如权利要求1所述的基于双域分类器协同对抗的跨域小样本分类方法，其特征在于，将所述测试集对所述训练后的双域分类器协同对抗网络模型进行测试，获取分类结果的方法包括：

将所述测试集对所述训练后的双域分类器协同对抗网络模型进行测试，通过软投票测略结合支持向量机、随机森林和NN分类器，获取分类结果。