CN116030304A - 基于加权判别与多分类器的跨域遥感影像对抗迁移方法 - Google Patents

Abstract

本发明涉及一种基于加权判别与多分类器的跨域遥感影像对抗迁移方法，主要包括以下步骤：1、预处理数据，将遥感数据按窗口大小提取为三维样本矩阵；2、构建深度对抗迁移网络；3、训练加权判别器；4、训练深度特征提取器，并与步骤3形成对抗训练；5、迭代训练：步骤3‑4反复迭代，更新深度特征提取器、加权判别器以及多分类结构的参数；6、利用多分类结构中的主分类器对遥感影像数据分类并评估结果；网络测试阶段，由深度特征提取器与主分类器对目标域样本处理并分类，得到遥感影像数据的制图结果。本发明可以应用于跨域遥感影像分类制图研究中，所提出方法在跨域遥感影像分类制图问题中优于一些现有的非深度以及深度迁移方法。

Description

基于加权判别与多分类器的跨域遥感影像对抗迁移方法

技术领域

本发明涉及卫星遥感领域以及湿地制图领域，具体讲的是一种基于加权判别与多分类器的跨域遥感影像对抗迁移方法。

背景技术

湿地是地球上最重要的生态系统之一，为动植物提供栖息地，为人类提供食物和工业原料，在调节气候、净化污染物、平衡生态和维持生物多样性等方面发挥着重要作用。近几百年来，由于气候变化和人类活动的双重影响，湿地面积大幅减少，湿地生态系统功能受到严重破坏。湿地监测和测绘对于湿地恢复和管理以及实现可持续的发展战略至关重要。目前，世界各国发射了大量遥感卫星，大量的遥感影像历史数据以及在轨数据，为湿地监测和测绘提供了大数据支撑。但在实际应用中，湿地实地调查和抽样需要大量的人力、金钱和时间，因此我们获得的湿地数据往往只有少量的标记点或无标记点而没有整个场景的标签数据。此外，湿地环境复杂，动态程度高，湿地分类比陆地景观分类更具挑战性。现有的湿地制图方法往往需要大量的标签数据且仅关注同一场景下的地物分类。在以往的研究中，可能存在许多有标签的历史湿地遥感图像。本发明考虑到不同湿地场景之间的相似性，提出利用标记的历史图像信息对未标记的新湿地图像进行分类。此想法存在一个关键问题：不同场景对应的遥感影像之间存在较大差异，例如影像分辨率差异、光谱辐射差异、时空差异、地域差异等，导致不同影像之间的知识无法迁移、传递和共用。

发明内容

本发明要解决的技术问题是考虑到现有的跨域遥感影像分类问题依赖于大量标记数据而遥感数据的标记需要耗费大量的人力物力，提供一种能利用历史影像数据进行跨域高光谱遥感影像分类研究的深度对抗迁移学习方法。

本发明采用以下技术方案：

基于加权判别与多分类器的跨域遥感影像对抗迁移方法，包括以下步骤：

步骤1、数据预处理，将源域与目标域中的每个样本转换为三维立方块，得到源域样本数据和目标域样本数据；

步骤2、构建深度对抗迁移网络，所述深度对抗迁移网络包括特征提取器、加权判别器和多分类器；所述特征提取器用于利用输入数据提取输出特征，并将输出特征输入加权判别器，所述加权判别器有两个，多分类器结构包括主分类器F和两个辅分类器F₁和F₂，所述主分类器用于接收源域与目标域的样本输出特征，辅分类器仅用于接收目标域样本输出特征；

步骤3、将步骤1中的源域样本数据输入深度对抗迁移学习网络,对深度对抗迁移学习网络进行预训练，得到预训练后的深度对抗迁移学习网络；

步骤4、固定预训练后的深度对抗迁移学习网络的特征提取器的参数，对加权判别器进行训练；

将步骤1中的源域样本数据和目标域样本数据输入预训练后的深度对抗迁移学习网络中，特征提取器分别提取源域和目标域样本的光谱与空间联合特征并同时输入加权判别器D₀与D中，其中由加权判别器D输出关于源域样本特征的权重w，加权判别器D₀用于输出样本来自源域的概率；

特征提取器将提取的源域与目标域特征输入主分类器F中计算源域样本的分类损失，将目标域特征输入两个辅分类器F₁与F₂中计算多分类结构对于目标域样本预测差异损失；

通过最小化加权判别器D₀与D的判别损失、源域样本的分类损失与多分类结构对于目标域样本预测差异损失，对加权判别器D₀与D进行训练；

训练完毕后，保存训练后的加权判别器D₀与D的参数得到二次训练后的深度对抗迁移学习网络，转到下一步；

步骤5、固定二次训练后的深度对抗迁移学习网络中加权判别器D₀与D的参数，对特征提取器进行训练，与步骤4形成对抗训练；将步骤1中的源域样本数据和目标域样本数据输入二次训练后的深度对抗迁移学习网络中，特征提取器分别提取源域和目标域样本的光谱与空间联合特征并同时输入加权判别器D₀与D中，计算得到判别器D₀与D的判别损失；

将特征提取器提取的源域与目标域特征输入主分类器F中计算源域样本的分类损失；将目标域特征输入两个辅分类器F₁与F₂中计算得到多分类结构对于目标域样本预测差异损失；

通过最大化判别器D₀与D的判别损失，最小化源域分类损失与多分类结构对于目标域样本预测差异损失对特征提取器进行训练，训练完毕后，保存训练后的特征提取器和加权判别器D₀与D的参数，得到本次迭代后的深度对抗迁移学习网络，迭代次数加1；

步骤6、计算本次迭代后的深度对抗迁移学习网络中的主分类器对于样本的输出值的总体准确率即OA值，若迭代次数达到预设最大次数或主分类器的OA值大于预设阈值，则转到下一步，否则转到步骤3，并将步骤3中的深度对抗迁移学习网络更新为本次迭代后的深度对抗迁移学习网络；

步骤7、选择最后一次迭代后的深度对抗迁移学习网络中的特征提取器和主分类器组成最终测试网络。

进一步的，所述步骤1的预处理方法为：将源域与目标域样本数据按窗口大小设置为三维矩阵。

进一步的，所述步骤3的具体训练方法为：将步骤1中的源域样本数据输入深度对抗迁移学习网络中，特征提取器提取源域样本的光谱与空间联合特征并输入多分类器结构，得到主分类器对应的源域预测标签，计算源域样本的分类损失，通过最小化源域样本分类损失训练深度对抗迁移学习网络。

进一步的，所述计算源域样本分类损失的方法包括以下步骤：

设源域样本共有C类，第y_s类源域样本中包括的样本为(x₁,y_s)、(x₂,y_s)……(x_v,y_s)；则计算第s类样本的分类损失值T的公式为：

其中p(y_s|z_i)为源域样本x_i属于第y_s类的概率,计算得到每一类源域样本的分类损失值，并求得所有类别源域样本的分类损失值的平均值即得到源域样本分类损失L_s，所述p(y|z_i)利用主分类器输出并由softmax函数计算。

进一步的，softmax函数的计算公式为：

其中，z_i为第i个样本的特征，C为类别数，softmax(z_i)表示样本或特征z属于第i类的概率，e为自然常数；分类时，将样本或特征z分到概率最大值对应的类别。

进一步的，所述步骤4和5中，加权判别器D₀与D的判别损失包括加权后源域与目标域样本的判别损失和原始源域样本与目标域样本之间的判别损失，具体计算方法为：

将特征提取器提取的源域与目标域样本的光谱空间联合特征投入判别器D₀与D，其中D仅用于学习源域样本权重w，D₀用于输出样本来自源域的概率；设特征提取器输出的源域与目标域特征为z_s和z_t,且p_s(z)与p_t(z)表示源域与目标域的特征分布，定义初始权重：

其中，则将

归一化后得到源域样本对应权重

则加权后源域与目标域样本的判别损失：

原始源域样本与目标域样本之间的判别损失：

其中G(x)为样本x输入特征提取器后输出的特征，D₀(G(x))为G(x)输入加权判别器D₀后输出的概率，

的含义为所有属于目标域的样本按公式计算后求和后求均值。

进一步的，所述步骤4和5中计算多分类结构对于目标域样本预测差异损失的方法包括以下步骤：

设特征提取器输出的源域与目标域特征为z_s和z_t,其中辅分类器仅用于输入目标域特征，将z_t输入主分类器F与两个辅分类器F₁、F₂则得到多个分类器对应的预测概率向量分别为p(y|z_t)、p₁(y|z_t)和p₂(y|z_t)，则针对样本x_t的分类器输出差异：

L_con＝d(p(y|z_t),p₁(y|z_t))+d(p(y|z_t),p₂(y|z_t))+d(p₁(y|z_t),p₂(y|z_t))

其中d(·)指绝对值度量；计算得到所有样本的输出分类器输出差异并求加和平均值得到多分类器结构对于目标域样本预测差异损失。

进一步的，所述特征提取器采用2D群卷积与3D卷积结合能提取高光谱数据的光谱空间联合特征。

本发明采用以上技术方案后，与现有技术相比，具有以下优点：

本发明采用如下策略：考虑到相似的场景或相同的传感器对应的高光谱数据具有相似的特性，采用迁移学习技术，构建基于目标约束的深度对抗迁移学习网络，借助已标记的历史场景影像数据(源域)，实现对未标记场景影像(目标域)的自动分类。在这种情况下，如果成功地进行了知识迁移，则可利用历史已标记湿地影像对现有未标记目标湿地影像制图。

这里需要指出的是，该迁移学习方法与现有的湿地制图方法是不同的。现有的湿地制图方法大多专注于同一场景分类且依赖于大量的标记数据。但是，在本发明设计的基于加权判别与多分类器的深度对抗迁移学习网络中，源域和目标域是针对不同场景或不同传感器等情况，因此源域和目标域有不同的样本分布；此时仅通过源域数据学习得到的模型并不适用于目标域，因此不能对目标湿地数据直接制图。本发明提出的基于加权判别与多分类器的深度对抗迁移学习模型，结合高光谱遥感影像的数据特点，设计2D群卷积与3D卷积结合框架，能提取高光谱数据的空间和光谱联合特征；同时，采用加权判别器学习源域权重以对其加权后源域与目标域分布，其中判别器与特征提取器形成对抗训练，逐步更新；最后，我们设计了基于目标约束的多分类器结构，利用辅分类器学习目标域特定信息从而约束主分类器使得主分类器更好地对目标域样本分类。该网络结合迁移学习与深度对抗思想，实现跨域的湿地制图同时也适用于跨域遥感影像分类问题。

本发明所建立的基于加权判别与多分类器的跨域遥感影像深度对抗迁移学习模型，适用于跨域的高光谱遥感影像制图与分类。该发明的核心是2D群卷积与3D卷积结合思想、加权判别器的嵌入对抗学习和基于目标约束的多分类结构设计；其中2D群卷积与3D卷积结合思想是依据高光谱数据特点而设计。高光谱数据为一个三维立体矩阵，其同时包含空间维度的信息和光谱维度信息，通过2D群卷积与3D卷积可以提取光谱和空间的联合特征，提高特征提取器提取特征的表示能力，进而提高模型的鲁棒性能。其次，加权判别器的嵌入学习源域样本权重，从而使加权后的源域样本分布与目标域样本分布对齐，增强模型的迁移性能。最后，基于目标约束的多分类结构由一个主分类器与两个辅分类器构成，其中辅分类器仅输入目标域特征从而学习目标域特定信息达到约束主分类器的目的，进一步提高模型的分类性能。实验结果表明应用本发明的方法取得了积极的结果，其各项评价指标要明显优于其它的一些现有的非深度和深度迁移学习算法。

下面结合附图和实例对本发明进行详细说明。

附图说明

图1为本发明的流程示意图；

图2是本发明提出方法以及与现有算法在上海杭州数据上的分类结果显示对比图；从a-l分别为：上海数据真实地表值以及NA算法、SA算法、CORAL算法、DAN算法、DAAN算法、MRAN算法、DSAN算法、IWAN算法、MCD算法、DWL算法和本发明的算法分类结果图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例(以上海杭州数据为例的实验)，并参照附图，对本发明进一步详细说明。上海杭州数据包括上海和杭州场景，杭州和上海的数据是由EO-1Hyperion高光谱传感器采集的。它们包含198个波段(去除坏波段后)。杭州和上海数据的图像大小分别为590×230和1600×230。我们使用杭州数据作为源域，上海数据作为目标域，使用场景中的全部类别:水、土地(建筑)和植被作为分类类别。伪彩色合成图像与地真(GT)映射如图2所示。表一列出了上海杭州数据土地覆盖类别的名称和样本数量。

如图1所示，本发明所提出的基于加权判别与多分类器的跨域遥感影像深度对抗迁移学习方法，具体包括以下步骤：

步骤1，输入源域和目标域的高光谱遥感图像数据，将源域与目标域样本提取为三维矩阵，其大小为patch_size×patch_size×d；

本发明中，以杭州数据作为源域数据，上海数据作为目标域数据。这两个数据由同一传感器采集且地物类别相同，但是采集场景不同，导数影像之间存在较大的光谱差异，无法直接进行分类。该数据维数d＝198，类别数C＝3，实验中我们设置patch_size为7，所以每个样本大小为7×7×198。

步骤2，构建深度对抗迁移网络，网络由三部分组成：特征提取器、加权判别器与基于目标约束的多分类器；所述特征提取器利用输入数据提取输出特征，并将输出特征输入加权鉴别器，其中多分类器结构中主分类器接收源域与目标域的样本输出特征而辅分类器仅接收目标域样本输出特征；

步骤3，将源域的样本投入深度对抗迁移学习网络进行预训练；

本发明中，实验训练为分批次进行，批次大小为batch_size＝128,将源域样本矩阵分批次投入网络对网络进行预训练，即每次投入数据大小为128×7×7×198；此时预训练结束后会得到主分类器F对源域数据分类后的分类损失为：

该步骤目的是使得源域样本分类损失尽可能的小，即：

以上海杭州数据为例，源域样本C＝3且每类样本个数可见表1：

表1上海和杭州数据样本数量及类别

此时

的计算方式是例如第一类即c＝1时x_s有18043个，就是对这属于第一类的18043个样本输出特征并计算log(p(y|z_s))并相加，以此类推，分别求得c＝1、2、3时对应样本log(p(y|z_s))再求和，最后求该和的均值即用该和除以源域3类样本总数目135700得到杭州数据的分类损失

步骤4，固定步骤3中的特征提取器模块，训练加权判别器模块与基于目标约束的多分类模块。具体地，用特征提取器分别提取源域和目标域数据的光谱与空间联合特征，再将提取的特征投入加权判别器，其次将源域与目标域特征投入主分类器，仅将目标域特征投入辅分类器。

所述步骤4主要包含以下步骤：

步骤4.1，固定步骤3中预训练后的特征提取器。

步骤4.2，将源域和目标域的样本数据同时投入特征提取器，提取源域和目标域的光谱空间联合特征，此时投入批量数据大小为256×7×7×198。

步骤4.3，将提取的特征投入步骤2中预训练后的主分类器F、判别器D₀与D，目标域提取特征输入辅分类器F1、F2，训练网络框架中的加权判别器模块与基于目标约束的多分类模块，此时得两个判别器D₀与D对源域与目标域数据的判别损失为：

于此同时，得到主分类器以及辅分类器对于目标域特征的分类差异损为：

该步骤优化目标为：

p_c、p_1c和p_2c分别表示主分类器和两个辅分类器预测目标域样本特征z_t属于第c类的概率，

意思是所有属于目标域特征的样本特征按公式计算后求和后求均值。优化目标中

项是约束模型对于源域样本的预测损失，目的是要求模型尽可能准确地预测源域样本；

项是用于约束主分类器，此步骤中最小化

和

是为了训练加权判别器使判别器能判别样本来自源域还是目标域。λ和β为超参数，在训练网络之前人为设置。

以上海杭州数据为例，

和

的计算方式为：目标域样本总和368000，即对目标域368000个样本特征计算

的值求和，最后将该和除以总样本个数368000即得到

项；对于源域样本总和135700，将特征提取器提取的源域特征和目标域特征输入判别器D与D₀，无论是源域特征还是目标域特征，投入D中会根据输出该样本属于源域和目标域的概率(类似于二分类器)，再计算对应概率的对数值得到D(G(x))，进一步可得到

且源域样本权重根据

计算，其中

类似地，我们可计算

步骤5，固定步骤4中训练得到的判别器D与D₀，训练特征提取器使判别损失最大化；

所述步骤5，首先固定步骤4中训练得到的判别器D与D₀，该步骤目的是训练特征提取器，将原始的源域与目标域数据重新投入特征提取器中提取特征，再将特征投入判别器D与D₀中，判别器D输出源域样本权重，但此步骤目的是误导判别器对样本的判断，即使加权后的源域特征与目标域特征尽可能相似，即最大化判别器的判别损失，即：

该步骤与步骤4形成对抗学习的过程。

步骤6，根据步骤3、4、5中的各项损失，将步骤3-5迭代重复对抗训练；

所述步骤6中，主要是重复步骤3-5中的操作，计算各项损失，使算法迭代交替对抗进行，直到满足预定的迭代次数或者连续两次训练对应的网络损失小于给定阈值时，算法停止运行。

步骤7，网络迭代收敛后，用对抗网络中的特征提取器提取目标域样本特征并利用主分类器对目标域特征进行预测，得到预测标签；利用总体准确率和kappa系数对网络性能进行评估。

所述步骤7中，当达到设定的迭代次数或连续两次训练对应的网络损失小于给定阈值时，网络停止训练；此时利用训练好的特征提取器提取目标域样本的空间和光谱联合特征，再将特征投入主分类器F得到目标域样本的预测标签；最后，利用总体准确率(Overall accuracy,OA)对网络性能进行评估。OA为分类正确的样本个数占所有样本个数的比例，其计算公式为：

OA只考虑了对角线方向上被正确分类的像元数，而kappa系数同时考虑了对角线以外的各种漏分和错分像元。其计算公式为：

其中，p₀是每一类正确分类的样本数量之和除以总样本数，也就是总体分类精度；p_e假设每一类的真实样本个数分别为a₁,a₂,…,a_C，而预测出来的每一类的样本个数分别为b₁,b₂,…,b_C，总样本个数为n_t，则有：

由图2中的各算法制图结果对比来看，其中对比数据的真实地表值，NA、SA、CORAL并不能很好地区分图中圈出的地域的类别，与上海数据真实地表值相比，这三类算法的分类结果误差较大，当采用深度迁移学习网络DAN、DAAN、MRAN、DSAN、IWAN、MCD、DWL分类时，其能改善该地域错分的问题，但也没有达到很好的效果，而本发明提出的SSWADA算法的分类结果与上海数据真实地表值相比最接近，说明本发明的方法能很好地对该地域类别样本分类。

下表2为各算法分类性能评估结果，由表2可看出，本发明提出的SSWADA算法的OA值和kappa系数均高于现有算法。

表2：上海杭州数据算法实验对比表

算法	OA	kappa
			NA	0.7207	0.599
SA	0.7791	0.670
			CORAL	0.8028	0.706
DAN	0.8764	0.811
			DAAN	0.8426	0.763
MRAN	0.8763	0.812
			DSAN	0.8999	0.848
IWAN	0.8356	0.753
			MCD	0.8632	0.794
DWL	0.8374	0.757
			SSWADA	0.9449	0.915

以上所述为本发明最佳实施方式的举例，其中未详细述及的部分均为本领域普通技术人员的公知常识。本发明的保护范围以权利要求的内容为准，任何基于本发明的技术启示而进行的等效变换，也在本发明的保护范围之内。

Claims (8)

1.基于加权判别与多分类器的跨域遥感影像对抗迁移方法，其特征在于，包括以下步骤：

步骤1、数据预处理，将源域与目标域中的每个样本转换为三维立方块，得到源域样本数据和目标域样本数据；

步骤2、构建深度对抗迁移网络，所述深度对抗迁移网络包括特征提取器、加权判别器和多分类器；所述特征提取器用于利用输入数据提取输出特征，并将输出特征输入加权判别器，所述加权判别器有两个，多分类器结构包括主分类器F和两个辅分类器F₁、F₂，所述主分类器用于接收源域与目标域的样本输出特征，辅分类器仅用于接收目标域样本输出特征；

步骤3、将步骤1中的源域样本数据输入深度对抗迁移学习网络,对深度对抗迁移学习网络进行预训练，得到预训练后的深度对抗迁移学习网络；

步骤4、固定预训练后的深度对抗迁移学习网络的特征提取器的参数，对加权判别器进行训练；

将步骤1中的源域样本数据和目标域样本数据输入预训练后的深度对抗迁移学习网络中，特征提取器分别提取源域和目标域样本的光谱与空间联合特征并同时输入加权判别器D₀与D中，其中由加权判别器D输出关于源域样本特征的权重w，加权判别器D₀用于输出样本来自源域的概率；

特征提取器将提取的源域与目标域特征输入主分类器F中计算源域样本的分类损失，将目标域特征输入两个辅分类器F₁与F₂中计算多分类结构对于目标域样本预测差异损失；

通过最小化加权判别器D₀与D的判别损失、源域样本的分类损失与多分类结构对于目标域样本预测差异损失，对加权判别器D₀与D进行训练；

训练完毕后，保存训练后的加权判别器D₀与D的参数得到二次训练后的深度对抗迁移学习网络，转到下一步；

步骤5、固定二次训练后的深度对抗迁移学习网络中加权判别器D₀与D的参数，对特征提取器进行训练，与步骤4形成对抗训练；将步骤1中的源域样本数据和目标域样本数据输入二次训练后的深度对抗迁移学习网络中，特征提取器分别提取源域和目标域样本的光谱与空间联合特征并同时输入加权判别器D₀与D中，计算得到判别器D₀与D的判别损失；

将特征提取器提取的源域与目标域特征输入主分类器F中计算源域样本的分类损失；将目标域特征输入两个辅分类器F₁与F₂中计算得到多分类结构对于目标域样本预测差异损失；

通过最大化判别器D₀与D的判别损失，最小化源域分类损失与多分类结构对于目标域样本预测差异损失对特征提取器进行训练，训练完毕后，保存训练后的特征提取器和加权判别器D₀与D的参数，得到本次迭代后的深度对抗迁移学习网络，迭代次数加1；

步骤6、计算本次迭代后的深度对抗迁移学习网络中的主分类器对于样本的输出值的总体准确率即OA值，若迭代次数达到预设最大次数或主分类器的OA值大于预设阈值，则转到下一步，否则转到步骤3，并将步骤3中的深度对抗迁移学习网络更新为本次迭代后的深度对抗迁移学习网络；

步骤7、选择最后一次迭代后的深度对抗迁移学习网络中的特征提取器和主分类器组成最终测试网络。

2.根据权利要求1所述的基于加权判别与多分类器的跨域遥感影像对抗迁移方法，其特征在于，所述步骤1的预处理方法为：将源域与目标域样本数据按窗口大小设置为三维矩阵。

3.根据权利要求1所述的基于加权判别与多分类器的跨域遥感影像对抗迁移方法，其特征在于，所述步骤3的具体训练方法为：将步骤1中的源域样本数据输入深度对抗迁移学习网络中，特征提取器提取源域样本的光谱与空间联合特征并输入多分类器结构，得到主分类器对应的源域预测标签，计算源域样本的分类损失，通过最小化源域样本分类损失训练深度对抗迁移学习网络。

4.根据权利要求3所述的基于加权判别与多分类器的跨域遥感影像对抗迁移方法，其特征在于，所述计算源域样本分类损失的方法包括以下步骤：

设源域样本共有C类，第y_s类源域样本中包括的样本为

(x₁,y_s)、(x₂,y_s)……(x_v,y_s)；则计算第s类样本的分类损失值T的公式为：

其中p(y_s|z_i)为源域样本x_i属于第y_s类的概率,计算得到每一类源域样本的分类损失值，并求得所有类别源域样本的分类损失值的平均值即得到源域样本分类损失L_s，所述p(y|z_i)利用主分类器输出并由softmax函数计算。

5.根据权利要求4所述的基于加权判别与多分类器的跨域遥感影像对抗迁移方法，其特征在于，softmax函数的计算公式为：

其中，z_i为第i个样本的特征，C为类别数，softmax(z_i)表示样本或特征z属于第i类的概率，e为自然常数；分类时，将样本或特征z分到概率最大值对应的类别。

6.根据权利要求1所述的基于加权判别与多分类器的跨域遥感影像对抗迁移方法，其特征在于，所述步骤4和5中，加权判别器D₀与D的判别损失包括加权后源域与目标域样本的判别损失和原始源域样本与目标域样本之间的判别损失，具体计算方法为：

将特征提取器提取的源域与目标域样本的光谱空间联合特征投入判别器D₀与D，其中D仅用于学习源域样本权重w，D₀用于输出样本来自源域的概率；设特征提取器输出的源域与目标域特征为z_s和z_t,且p_s(z)与p_t(z)表示源域与目标域的特征分布，定义初始权重：

其中，则将

归一化后得到源域样本对应权重

则加权后源域与目标域样本的判别损失：

原始源域样本与目标域样本之间的判别损失：

其中G(x)为样本x输入特征提取器后输出的特征，D₀(G(x))为G(x)输入加权判别器D₀后输出的概率，

的含义为所有属于目标域的样本按公式计算后求和后求均值。

7.根据权利要求1所述的基于加权判别与多分类器的跨域遥感影像对抗迁移方法，其特征在于，所述步骤4和5中计算多分类结构对于目标域样本预测差异损失的方法包括以下步骤：

设特征提取器输出的源域与目标域特征为z_s和z_t,其中辅分类器仅用于输入目标域特征，将z_t输入主分类器F与两个辅分类器F₁、F₂则得到多个分类器对应的预测概率向量分别为p(y|z_t)、p₁(y|z_t)和p₂(y|z_t)，则针对样本x_t的分类器输出差异：

L_con＝d(p(y|z_t),p₁(y|z))+d(p(y|z_t),p₂(y|z_t))+d(p₁(y|z_t),p₂(y|z_t))

其中d(·)指绝对值度量；计算得到所有样本的输出分类器输出差异并求加和平均值得到多分类器结构对于目标域样本预测差异损失。

8.根据权利要求1-7中任一项所述的基于加权判别与多分类器的跨域遥感影像对抗迁移方法，其特征在于，所述特征提取器采用2D群卷积与3D卷积结合能提取高光谱数据的光谱空间联合特征。

Images