CN114332649A - 基于双通道注意力机制的跨场景遥感图像深度对抗迁移学习方法 - Google Patents

Abstract

本发明涉及基于双通道注意力机制的跨场景遥感图像深度对抗迁移学习方法，主要包括以下步骤：1、将源域和目标域中的每个样本转化为一个三维数据立体块；2、构建深度对抗迁移学习网络，该网络主要包含一个生成器和两个分类器；将源域样本数据投入网络进行初步训练，得到网络参数；3、训练分类器；4、训练生成器，与步骤3形成对抗训练；5、迭代训练：将步骤2‑4进行反复迭代，更新生成器和分类器；6、预测目标域样本标签并评估：网络迭代收敛后，用对抗网络中分类器对目标域样本进行分类，得到预测标签。本发明可以应用于跨场景遥感图像迁移学习，所提出的方法在跨场景高光谱遥感图像分类问题中优于一些现有的非深度和深度迁移学习方法。

Description

基于双通道注意力机制的跨场景遥感图像深度对抗迁移学习 方法

技术领域

本发明涉及卫星遥感领域领域，具体讲的是一种基于双通道注意力机制的跨场景遥感图像深度对抗迁移学习方法。

背景技术

目前，世界各国发射了大量遥感卫星，大量的遥感影像历史数据以及在轨数据，为生态环境监测、土壤质量评估、地质矿物填图等实际应用提供了大数据支撑。但是实际应用中仍存在一个关键问题：不同场景对应的遥感影像之间存在较大差异，例如影像分辨率差异、光谱辐射差异、时空差异、地域差异等，导致不同影像之间的知识无法迁移、传递和共用。针对这一问题，本专利采用如下策略：考虑到相似的场景或相同的传感器对应的高光谱数据具有相似的特性，采用迁移学习技术，构建深度对抗迁移学习网络，借助已标记的历史场景影像数据（源域），实现对未标记场景影像（目标域）的自动分类。在这种情况下，如果成功地进行了知识迁移，将避免目标域复杂的数据标记工作，大大提高学习的性能。

这里需要指出的是，迁移学习与传统的分类方法是明显不同的。传统的分类方法，假设训练数据和测试数据具有相同的分布，用训练数据学习模型，然后对测试数据进行分类。但是，在迁移学习中，源域和目标域样本分布是不同的，不符合数据同分布假设；源域学习得到的模型不再适用于目标域，因此不能直接进行分类。本专利提出的基于双通道注意力机制的深度对抗迁移学习模型，结合高光谱遥感影像的数据特点，设计双通道注意力架构，有效提取高光谱数据的空间和光谱联合特征；同时，采用生成对抗网络，逐步更新特征生成器和分类判别器，从而使得源域和目标域特征差异逐渐减小，实现源域和目标域模型共用与迁移。

发明内容

本发明要解决的技术问题是提供一种适用于跨场景高光谱遥感图像分类的深度迁移学习方法。本发明采用以下技术方案：

基于双通道注意力机制的跨场景遥感图像深度对抗迁移学习方法，包括以下步骤：

步骤1、数据预处理，将源域与目标域中的每个样本转换为三维立方块，得到源域样本数据和目标域样本数据；

步骤2、构建包含一个生成器和两个分类器的深度对抗迁移学习网络，所述生成器利用输入数据生成输出数据，并将输出数据分别输入两个分类器，每个分类器均用于对输入的数据进行分类并输出分类结果；

步骤3、将步骤1中的源域样本数据输入深度对抗迁移学习网络,对深度对抗迁移学习网络进行预训练，得到预训练后的深度对抗迁移学习网络；

步骤4、固定预训练后的深度对抗迁移学习网络的生成器的参数，对两个分类器进行训练；将步骤1中的源域样本数据和目标域样本数据输入预训练后的的深度对抗迁移学习网络中，生成器分别提取源域和目标域样本的光谱与空间联合特征并同时输入两个分类器，得到两个分类器对应的源域预测标签和目标域预测标签，计算每个分类器的源域样本分类损失和两个分类器之间的输出差异，训练两个分类器直到两个分类器之间的输出差异达到最大值且每个分类器的源域样本分类损失均达到最小值后结束训练；训练完毕后，保存训练后的分类器参数得到二次训练后的深度对抗迁移学习网络，转到下一步；

步骤5、固定二次训练后的深度对抗迁移学习网络中两个分类器的参数，对生成器进行训练，与步骤4形成对抗训练；将步骤1中的源域样本数据输入二次训练后的深度对抗迁移学习网络中，生成器分别提取源域和目标域样本的光谱与空间联合特征并同时输入两个分类器，得到两个分类器对应的源域预测标签和目标域预测标签，计算两个分类器之间的输出差异，训练生成器，直到两个分类器之间的输出差异达到最小值判断一次训练完成，重复训练直到训练次数达到预设训练次数后判断训练完毕；训练完毕后，保存训练后的生成器参数和上一步训练后的分类器参数，得到本次迭代后的深度对抗迁移学习网络，迭代次数加1，计算本次迭代后的深度对抗迁移学习网络的每个分类器的输出值的总体准确率即OA值，若迭代次数达到预设最大次数或任意一个分类器的OA值大于预设阈值，则转到下一步，否则转到步骤3，并将步骤3中的对抗迁移学习网络更新为本次迭代后的深度对抗迁移学习网络；

步骤6、选择最后一次迭代后的深度对抗迁移学习网络中的生成器和两个生成器中总体准确率更高的一个分类器组成最终深度对抗迁移学习网络。

进一步的，所述步骤3的具体训练方法为：将步骤1中的源域样本数据输入深度对抗迁移学习网络中，生成器提取源域样本的光谱与空间联合特征并同时输入两个分类器，得到两个分类器对应的源域预测标签，计算每个分类器的源域样本分类损失，训练两个分类器直到每个分类器的源域样本分类损失均达到最小值后结束训练。

进一步的，所述计算源域样本分类损失的方法包括以下步骤：

将提取的源域的光谱与空间联合特征投入分类器，计算得到分类器的源域样本分 类损失的方法为：假设源域样本共有

类，第s类源域样本中包括的样本为

；计算第s类样本的分类损失值T的公式为：

T=

，其中

为源域样本

属于第

类的概率,计算得到 每一类源域样本的分类损失值，并求得所有类别源域样本的分类损失值的平均值即得到源 域样本分类损失，所述

利用

函数计算。

进一步的，所述步骤4和5中计算两个分类器之间的输出差异的方法为：

将提取的目标域样本的光谱与空间联合特征投入两个分类器，假设目标域样本为

,则得到两个分类器对应的预测概率向量分别为

，计算得到针对样本

的分类器输出差异W=

；计算得到所有样本的输出分类器输出差异并求平均值得到两个分类器之间的输出差异。

进一步的，

函数的计算公式为：

其中，

为第

个样本的特征，

为类别数，

表示样本或特征

属于第

类的概率，

为自然常数，分类时，将样本或特征

分到概率最大值对应的类别。

进一步的，所述生成器采用双通道挤压激励注意力机制，其中双通道指光谱与空间通道，挤压激励注意力机制分别用于对光谱信息与空间信息进行注意力加权。

本发明采用以上技术方案后，与现有技术相比，具有以下优点：

本发明所建立的基于双通道注意力机制的跨场景迁移学习模型，适用于高光谱遥感图像跨场景特征迁移与分类。该发明的核心是双通道挤压激励注意力机制和基于最大分类器差异的对抗学习思想；其中双通道注意力机制是依据高光谱数据特点而设计。高光谱数据为一个三维立体矩阵，其同时包含空间维度的信息和光谱维度信息，通过双通道注意力机制可以同时提取光谱和空间联合特征，大大提高模型的分类性能。其次，基于最大分类器差异的对抗学习思想能使两个分类器的性能与生成器的性能达到平衡，从而取得优越特征迁移性能。实验结果表明应用本发明的方法取得了积极的结果，其各项评价指标要明显优于其它的一些现有的非深度和深度迁移学习算法。

下面结合附图和实例对本发明进行详细说明。

附图说明

图1为本发明的流程示意图；

图2为分类器结构示意图；

图3是本发明提出方法以及与现有算法在Houston数据上的分类结果显示对比图；从a-h分别为：Houston18数据真实地表值以及SA算法、JDA算法、DAN算法、DSAN算法、MRAN算法、MCD算法和本发明的算法分类结果图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例（以Houston数据为例的实验），并参照附图，对本发明进一步详细说明。Houston数据集包括Houston2013和Houston2018场景，它们是由休士顿大学校园及其附近的不同传感器在不同年份获得的。Houston2013数据集由349×1905像素组成，包括144个光谱带；波长范围为380-1050nm；图像的空间分辨率为2.5米。Houston2018数据集的波长范围相同，但包含48个光谱带，图像的空间分辨率为1米。它们的场景中有七个一致的类别。我们提取了 48 个光谱带（波长范围0.38-1.05μm) 来自Houston2013 场景对应到Houston2018 场景，选择 209× 955 的重叠区域。表一列出了Houston数据土地覆盖类别的名称和样本数量。

如图1所示，本发明所提出的双通道注意力机制的跨场景迁移学习方法，具体包括以下步骤：

步骤1，输入源域和目标域的高光谱遥感图像数据，将源域与目标域样本提取为三 维矩阵，其大小为

；

本发明中，以Houston 2013数据作为源域数据，Houston 2018数据作为目标域数 据。这两个数据都对应Houston大学场景，但是采集时间不同，导数影像之间存在较大的光 谱差异，无法直接进行分类。该数据维数

，类别数

=7实验中我们设置

为7，所以每个样本大小为

。在投入网络模型训练之前首先会进行一个数据扩 充的过程，具体操作是将样本数据打乱加倍组合，该组实验中数据扩充倍数为3。

步骤2，构建包含一个生成器和两个分类器的深度对抗迁移学习网络，所述生成器利用输入数据生成输出数据，并将输出数据分别输入两个分类器，每个分类器均用于对输入的数据进行分类并输出分类结果，如图2所示为分类器的结构；

步骤3，将源域的样本投入深度对抗迁移学习网络进行预训练；

本发明中，实验训练为分批次进行，批次大小为batch_size = 128, 将源域样本 矩阵分批次投入网络对网络进行预训练，即每次投入数据大小为

；此时 预训练结束后会得到分类器F1、F2对源域数据分类后的分类损失为：

其中,

为源域样本，

意思是所有属于源域的样本按公式计 算求和后求均值，

为源域样本

属于第

类的概率，

。

为示性函数，当

这一条件满足时函数值为1，否则为0，即求和限定在

的情况下。

该步骤目的是使得源域样本分类损失尽可能的小，即：

以Houston数据为例，源域样本类别数

=7且每类样本个数可见表1：

表1 Houston13和Houston18样本数量及类别

此时

的计算方式是例如第一类即

时

有345个，就是对这属于 第一类的345个样本计算

并相加，以此类推，分别求得c =1、2、3、4、5、6、7时 对应样本

再求和，最后求该和的均值即用该和除以源域7类样本总数目2530 得到Houston2013数据的分类损失

。

步骤4，固定步骤3中的生成器模块，训练分类器模块。具体地，用生成器分别提取源域和目标域数据的光谱与空间联合特征，再将提取的特征投入两个分类器，训练分类器模块。

所述步骤4主要包含以下步骤：

步骤4.1，固定步骤3中预训练后的DCSE生成器模块。

步骤4.2，将源域和目标域的样本数据同时投入DCSE生成器模块，提取源域和目标域的光谱空间联合特征，此时投入批量数据大小为

。

步骤4.3，将提取的特征投入步骤2中预训练后的两个FBRDs分类器，训练网络框架中的判别器模块，此时得到两个分类器F1、F2对目标域数据分类的差异为：

该步骤优化目标为：

]

其中，

且

，

和

分别表示两个分类器对第 c类 的预测概率，

意思是所有属于目标域的样本按公式计算后求和后求均值。优化目标 中

项是约束模型对于源域样本的预测损失，目的是要求模型尽可能准确地预测 源域样本；

项是用于约束两个分类器，此步骤中最大化

是为了使两个 分类器对目标域样本预测的输出差异尽可能大，这样两个分类器在都适用于源域样本分类 的情况下，可以检测出与源域信息不一致的目标域样本，达到调整源域和目标域样本分布 的目的。

以Houston数据为例，

的计算方式为：目标域样本总和53200，即对目标 域53200个样本计算

的值再求和，最后将该和除以总样本个数 53200即得到两个分类器F1、F2对目标域数据分类的差异

。

步骤5，固定步骤4中训练得到的分类器，训练DCSE生成器使固定的分类器差异最小化；

所述步骤5，首先固定步骤4中训练得到的分类器F1、F2，该步骤目的是训练生成器DCSE，将原始的源域与目标域数据重新投入生成器中生成特征，再将特征投入两个分类器中，但此步骤目的是使两分类器对目标域数据的分类结果尽可能的相似，即训练生成器DCSE使得分类器F1、F2对目标域数据的分类差异尽可能小，即：

该步骤与步骤4形成对抗学习的过程，且该步骤内部进行迭代使得生成器DCSE得到充分训练。

步骤6，根据步骤3、4、5中的各项损失，将步骤3-5迭代重复对抗训练；

步骤6中，主要是重复步骤3-5中的操作，计算各项损失，使算法迭代交替对抗进行，直到满足预定的迭代次数或者连续两次训练对应的网络损失小于给定阈值时，算法停止运行。

步骤7，网络迭代收敛后，用对抗网络中分类器对目标域样本进行预测，得到预测标签；利用总体准确率和kappa系数对网络性能进行评估。

所述步骤7中，当达到设定的迭代次数或连续两次训练对应的网络损失小于给定阈值时，网络停止训练；此时利用训练好的生成器DSCE输出目标域空间和光谱联合特征，再将特征投入两个分类器F1、F2得到目标域样本的预测标签；最后，利用总体准确率（Overallaccuracy, OA）对网络性能进行评估。OA为分类正确的样本个数占所有样本个数的比例，其计算公式为：

OA只考虑了对角线方向上被正确分类的像元数，而kappa 系数同时考虑了对角线以外的各种漏分和错分像元。其计算公式为：

其中，

是每一类正确分类的样本数量之和除以总样本数，也就是总体分类精度；

假设每一类的真实样本个数分别为

，而预测出来的每一类的样本个数分别 为

，总样本个数为

，则有：

。

由图3中的各算法分类结果对比来看，其中对比数据的真实地表值，SA、JDA并不能很好地区分图中圈出的地域的类别，与Houston18数据真实地表值相比，这三类算法的分类结果误差较大，当采用深度迁移学习网络DAN、DSAN、MRAN、MCD分类时，其能改善该地域错分的问题，但也没有达到很好的效果，而本发明提出的DCAA算法的分类结果与Houston18数据真实地表值相比最接近，说明本发明的方法能很好地对该地域类别样本分类。

下表2为各算法分类性能评估结果，由表2可看出，本发明提出的DCAA算法的OA值和kappa 系数均高于现有算法。

表2：Houston数据算法实验对比表

以上所述为本发明最佳实施方式的举例，其中未详细述及的部分均为本领域普通技术人员的公知常识。本发明的保护范围以权利要求的内容为准，任何基于本发明的技术启示而进行的等效变换，也在本发明的保护范围之内。

Claims (6)

1.基于双通道注意力机制的跨场景遥感图像深度对抗迁移学习方法，其特征在于，包括以下步骤：

步骤1、数据预处理，将源域与目标域中的每个样本转换为三维立方块，得到源域样本数据和目标域样本数据；

步骤2、构建包含一个生成器和两个分类器的深度对抗迁移学习网络，所述生成器利用输入数据生成输出数据，并将输出数据分别输入两个分类器，每个分类器均用于对输入的数据进行分类并输出分类结果；

步骤3、将步骤1中的源域样本数据输入深度对抗迁移学习网络,对深度对抗迁移学习网络进行预训练，得到预训练后的深度对抗迁移学习网络；

步骤4、固定预训练后的深度对抗迁移学习网络的生成器的参数，对两个分类器进行训练；将步骤1中的源域样本数据和目标域样本数据输入预训练后的的深度对抗迁移学习网络中，生成器分别提取源域和目标域样本的光谱与空间联合特征并同时输入两个分类器，得到两个分类器对应的源域预测标签和目标域预测标签，计算每个分类器的源域样本分类损失和两个分类器之间的输出差异，训练两个分类器直到两个分类器之间的输出差异达到最大值且每个分类器的源域样本分类损失均达到最小值后结束训练；训练完毕后，保存训练后的分类器参数得到二次训练后的深度对抗迁移学习网络，转到下一步；

步骤5、固定二次训练后的深度对抗迁移学习网络中两个分类器的参数，对生成器进行训练，与步骤4形成对抗训练；将步骤1中的源域样本数据输入二次训练后的深度对抗迁移学习网络中，生成器分别提取源域和目标域样本的光谱与空间联合特征并同时输入两个分类器，得到两个分类器对应的源域预测标签和目标域预测标签，计算两个分类器之间的输出差异，训练生成器，直到两个分类器之间的输出差异达到最小值判断一次训练完成，重复训练直到训练次数达到预设训练次数后判断训练完毕；训练完毕后，保存训练后的生成器参数和上一步训练后的分类器参数，得到本次迭代后的深度对抗迁移学习网络，迭代次数加1，计算本次迭代后的深度对抗迁移学习网络的每个分类器的输出值的总体准确率即OA值，若迭代次数达到预设最大次数或任意一个分类器的OA值大于预设阈值，则转到下一步，否则转到步骤3，并将步骤3中的对抗迁移学习网络更新为本次迭代后的深度对抗迁移学习网络；

步骤6、选择最后一次迭代后的深度对抗迁移学习网络中的生成器和两个生成器中总体准确率更高的一个分类器组成最终深度对抗迁移学习网络。

2.根据权利要求1所述的基于双通道注意力机制的跨场景遥感图像深度对抗迁移学习方法，其特征在于，所述步骤3的具体训练方法为：将步骤1中的源域样本数据输入深度对抗迁移学习网络中，生成器提取源域样本的光谱与空间联合特征并同时输入两个分类器，得到两个分类器对应的源域预测标签，计算每个分类器的源域样本分类损失，训练两个分类器直到每个分类器的源域样本分类损失均达到最小值后结束训练。

3.根据权利要求1所述的基于双通道注意力机制的跨场景遥感图像深度对抗迁移学习方法，其特征在于，所述计算源域样本分类损失的方法包括以下步骤：

将提取的源域的光谱与空间联合特征投入分类器，计算得到分类器的源域样本分类损失的方法为：假设源域样本共有

类，第s类源域样本中包括的样本为

；计算第s类样本的分类损失值T的公式为：

T=

，其中

为源域样本

属于第

类的概率,计算得到每一类源域样本的分类损失值，并求得所有类别源域样本的分类损失值的平均值即得到源域样本分类损失，所述

利用

函数计算。

4.根据权利要求1所述的基于双通道注意力机制的跨场景遥感图像深度对抗迁移学习方法，其特征在于，所述步骤4和5中计算两个分类器之间的输出差异的方法为：

将提取的目标域样本的光谱与空间联合特征投入两个分类器，假设目标域样本为

,则得到两个分类器对应的预测概率向量分别为

，计算得到针对样本

的分类器输出差异W=

；计算得到所有样本的输出分类器输出差异并求平均值得到两个分类器之间的输出差异。

5.根据权利要求3所述的基于双通道注意力机制的跨场景遥感图像深度对抗迁移学习方法，其特征在于，

函数的计算公式为：

其中，

为第

个样本的特征，

为类别数，

表示样本或特征

属于第

类的概率，

为自然常数，分类时，将样本或特征

分到概率最大值对应的类别。

6.根据权利要求1-5中任一项所述的基于双通道注意力机制的跨场景遥感图像深度对抗迁移学习方法，其特征在于，所述生成器采用双通道挤压激励注意力机制，其中双通道指光谱与空间通道，挤压激励注意力机制分别用于对光谱信息与空间信息进行注意力加权。

Images