CN112131967A - 基于多分类器对抗迁移学习的遥感场景分类方法 - Google Patents

Abstract

本发明公开了一种基于多分类器对抗迁移学习的遥感场景分类方法，通过构建源域和目标域，输入特征提取器中得到各个图像的特征图，将特征图输入标签分类器得到每个图像的第一预测标签概率分布、第二预测标签概率分布，做平均化处理得到平均化预测标签概率分布，将平均化预测标签概率分布和各个图像的特征图组合成联合概率分布，将联合概率分布输入到域判别器，得到每个图像的域标签概率分布，计算域判别器的损失函数、两个标签分类器的联合损失函数、两个标签分类器的不一致性损失函数，根确定总损失函数，使用随机梯度下降法优化总损失函数，以得到目标域最终的分类结果，实现对目标域中遥感图像的场景分类。

Description

基于多分类器对抗迁移学习的遥感场景分类方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于多分类器对抗迁移学习的遥感场景分类方法。

背景技术

遥感图像场景分类是遥感领域的一个研究热点，它可以应用于多个军事和民用领域。随着遥感技术的不断进步，遥感图像的空间分辨率不断提升，使得遥感图像所包含的地物目标细节更加明显、地物光谱特征更加复杂，这导致了早期利用光谱特征进行场景分类的方法，如极大似然法、最小距离法、K-均值聚类法等分类准确率降低。

近年来，随着深度学习理论在图像处理、模式识别、和机器学习领域的不断发展，研究学者开始将深度学习理论应用于遥感图像分类问题中。其中，卷积神经网络作为深度学习中常见的一种前馈型神经网络，善于挖掘数据的局部和全局特征，且这些特征不容易过拟合，具有一定的平移不变性和旋转不变性。因此，可以用于图像的分类问题。

公开号CN108399366A一种遥感图像场景的分类系统，包括采集步骤、灰度处理器、拟合步骤、边缘检测步骤、遥感图像像素分类步骤及神经网络训练器；通过对原始遥感图像进行采集作为样本并传输给灰度处理器，接着采用分量法进行灰度化处理，然后采用低次样条函数对灰度直方图进行拟合，最后采用基于零交叉的方法找到由图像得到的二阶导数的零交叉点来定位边缘。所述的方法采用基于像元的方法对遥感图像分类，能够很好地对遥感图像场景进行分类，但是，该分类方法采用的大多是传统手工特征提取的算法，分类步骤繁琐，且在分类的决策边界处难以判定所属类别。

Li等人在2019年IEEE 4th International Conference on Signal and ImageProcessing上发表论文“Classification of Remote Sensing Scenes Based on NeuralArchitecture Search Network”，该文献针对网络模型的自动设计问题，提出了一种基于神经网络的遥感场景分类方法。进一步利用迁移学习技术，使所设计的网络能够很好地迁移到遥感场景分类数据集中。由于该方法采用神经网络架构搜索的方法，使得训练的工作变得非常麻烦，且实现该分类方法对硬件资源的要求极高，同时训练出的的神经网络架构具有偶然性，泛化能力受数据影响。

综上，现有的遥感图像场景分类方法具有如下特征：

(1)特征提取过程复杂：传统的分类方法需要借助不同的图像特征提取算法，提取图像的各种类型的特征，用于后续的图像分类，特征提取过程复杂，且提取的特征可能存在信息涵盖不全面、存在冗余等现象，导致分类正确率不高；

(2)特征表现力不强：现有的遥感图像场景分类方法通常仅用一种或两种类型的特征作为分类器的输入，当场景图像过于复杂、类别较多时，特征表现力不强，弱化了分类的性能。

(3)分类器参数选择困难：常用的图像分类器，如SVM、KNN(K-Nearest Neighbor)等参数的设置对分类的性能影响很大，为了得到较好的分类结果，需要大量的人工参与进行最优参数的选择，导致算法通用性不强。

可见，现有的遥感图像场景分类方法，往往存在诸多局限性。

发明内容

针对以上问题，本发明提出一种基于多分类器对抗迁移学习的遥感场景分类方法。

为实现本发明的目的，提供一种基于多分类器对抗迁移学习的遥感场景分类方法，包括如下步骤：

S10，构建分别包括多个遥感场景图像数据的源域和目标域；所述源域和目标域的图像类别相同；

S30，将源域的图像和目标域分别输入预先构建的特征提取器中得到各个图像的特征图；

S40，构造一个基于softmax激活函数的全连接层作为标签分类器，将各个图像的特征图输入标签分类器得到每个图像的第一预测标签概率分布，再次将各个图像的特征图输入标签分类器得到每个图像的第二预测标签概率分布；所述第一预测标签概率分布与第二预测标签概率分布不完全一致；

S50，对第一预测标签概率分布与第二预测标签概率分布做平均化处理，得到平均化预测标签概率分布，构造域判别器，以对提取的特征所属的域进行判别；

S60，将平均化预测标签概率分布和各个图像的特征图组合成联合概率分布，将联合概率分布输入到域判别器，得到每个图像的域标签概率分布，根据每个图像的域标签概率分布计算域判别器的损失函数，根据第一预测标签概率分布和第二预测标签概率分布分别计算两个标签分类器的联合损失函数、两个标签分类器的不一致性损失函数；

S70，根据域判别器的损失函数、两个标签分类器的联合损失函数、两个标签分类器的不一致性损失函数确定总损失函数，使用随机梯度下降法优化总损失函数，以得到目标域最终的分类结果。

在一个实施例中，步骤S30之前，还包括：

S20，构建特征提取器，以对源域和目标域进行深度特征提取，获得相应图像的特征图。

具体地，构建特征提取器包括：

选用在数据集ImageNet上预训练好的深度卷积神经网络模型，去掉模型最后的全连接层后，得到特征提取器G_f(·)。

在一个实施例中，对第一预测标签概率分布与第二预测标签概率分布做平均化处理包括：

式中，

表示第一预测标签概率分布，

表示第二预测标签概率分布，

表示平均化预测标签概率分布。

在一个实施例中，构造域判别器包括：

采用基于sigmoid激活函数的全连接层作为域判别器G_d，其中全连接层的输出节点数量为2。

具体地，所述sigmoid激活函数为：

其中，S_i为输入样本属于域i的概率，o_i表示全连接层第i个节点的输出值。

在一个实施例中，根据域判别器的损失函数、两个标签分类器的联合损失函数、两个标签分类器的不一致性损失函数确定总损失函数包括：

L(θ_f,θ_y,θ_d)＝L_Y(θ_f,θ_y)+αL_t(θ_f,θ_y)-λL_D(θ_f,θ_d)，

其中，θ_f是特征提取器的参数，θ_y是标签分类器的参数，θ_d是域判别器的参数。α和λ是权重系数，L(θ_f,θ_y,θ_d)为总损失函数，L_Y(θ_f,θ_y)为标签分类器的联合损失函数，L_t(θ_f,θ_y)为标签分类器的不一致性损失函数，L_D(θ_f,θ_d)为域判别器的损失函数。

上述基于多分类器对抗迁移学习的遥感场景分类方法，通过构建分别包括多个遥感场景图像数据的源域和目标域，将源域的图像和目标域分别输入预先构建的特征提取器中得到各个图像的特征图，构造一个基于softmax激活函数的全连接层作为标签分类器，将各个图像的特征图输入标签分类器得到每个图像的第一预测标签概率分布，再次将各个图像的特征图输入标签分类器得到每个图像的第二预测标签概率分布，对第一预测标签概率分布与第二预测标签概率分布做平均化处理，得到平均化预测标签概率分布，构造域判别器，以对提取的特征所属的域进行判别，将平均化预测标签概率分布和各个图像的特征图组合成联合概率分布，将联合概率分布输入到域判别器，得到每个图像的域标签概率分布，根据每个图像的域标签概率分布计算域判别器的损失函数，根据第一预测标签概率分布和第二预测标签概率分布分别计算两个标签分类器的联合损失函数、两个标签分类器的不一致性损失函数，根据域判别器的损失函数、两个标签分类器的联合损失函数、两个标签分类器的不一致性损失函数确定总损失函数，使用随机梯度下降法优化总损失函数，以得到目标域最终的分类结果，实现对目标域中遥感图像的场景分类，以使遥感图像场景分类方案适于各类场景，提供其应用全面性。

附图说明

图1是一个实施例的基于多分类器对抗迁移学习的遥感场景分类方法流程图；

图2是一个实施例的多分类器对抗迁移学习网络示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

参考图1所示，图1为一个实施例的基于多分类器对抗迁移学习的遥感场景分类方法流程图，包括如下步骤：

S10，构建分别包括多个遥感场景图像数据的源域和目标域；所述源域和目标域的图像类别相同。

上述步骤构建不同拍摄条件下遥感场景图像数据集，分别称之为源域和目标域，两个域中的图像类别相同，同时制作源域样本的标签集合，样本的标签也就是该样本的类别，其目的就是要根据源域样本及其标签，再结合目标域样本来预测目标域样本的标签。

S30，将源域的图像和目标域分别输入预先构建的特征提取器中得到各个图像的特征图。

上述步骤具体可以将源域和目标域图像输入到特征提取器中得到每张图像的特征向量，进而得到各个图像的特征图。

在一个实施例中，步骤S30之前，还包括：

S20，构建特征提取器，以对源域和目标域进行深度特征提取，获得相应图像的特征图。

具体地，构建特征提取器包括：

选用在数据集ImageNet上预训练好的深度卷积神经网络模型，去掉模型最后的全连接层后，得到特征提取器G_f(·)。

S40，构造一个基于softmax激活函数的全连接层作为标签分类器，将各个图像的特征图输入标签分类器得到每个图像的第一预测标签概率分布，再次将各个图像的特征图输入标签分类器得到每个图像的第二预测标签概率分布；所述第一预测标签概率分布与第二预测标签概率分布不完全一致。

上述步骤可以构造一个基于softmax激活函数的全连接层作为标签分类器，并采用“丢弃法”按一定概率随机丢弃部分节点。将各个图像的特征图输入到标签分类器中得到每张图像的预测标签概率分布(第一预测标签概率分布)；再次将各个图像的特征图输入到标签分类器中得到每张图像的另一种预测标签概率分布(第二预测标签概率分布)。

S50，对第一预测标签概率分布与第二预测标签概率分布做平均化处理，得到平均化预测标签概率分布，构造域判别器，以对提取的特征所属的域进行判别。

S60，将平均化预测标签概率分布和各个图像的特征图组合成联合概率分布，将联合概率分布输入到域判别器，得到每个图像的域标签概率分布，根据每个图像的域标签概率分布计算域判别器的损失函数，根据第一预测标签概率分布和第二预测标签概率分布分别计算两个标签分类器的联合损失函数、两个标签分类器的不一致性损失函数。

S70，根据域判别器的损失函数、两个标签分类器的联合损失函数、两个标签分类器的不一致性损失函数确定总损失函数，使用随机梯度下降法优化总损失函数，以得到目标域最终的分类结果。

上述基于多分类器对抗迁移学习的遥感场景分类方法，通过构建分别包括多个遥感场景图像数据的源域和目标域，将源域的图像和目标域分别输入预先构建的特征提取器中得到各个图像的特征图，构造一个基于softmax激活函数的全连接层作为标签分类器，将各个图像的特征图输入标签分类器得到每个图像的第一预测标签概率分布，再次将各个图像的特征图输入标签分类器得到每个图像的第二预测标签概率分布，对第一预测标签概率分布与第二预测标签概率分布做平均化处理，得到平均化预测标签概率分布，构造域判别器，以对提取的特征所属的域进行判别，将平均化预测标签概率分布和各个图像的特征图组合成联合概率分布，将联合概率分布输入到域判别器，得到每个图像的域标签概率分布，根据每个图像的域标签概率分布计算域判别器的损失函数，根据第一预测标签概率分布和第二预测标签概率分布分别计算两个标签分类器的联合损失函数、两个标签分类器的不一致性损失函数，根据域判别器的损失函数、两个标签分类器的联合损失函数、两个标签分类器的不一致性损失函数确定总损失函数，使用随机梯度下降法优化总损失函数，以得到目标域最终的分类结果，实现对目标域中遥感图像的场景分类，以使遥感图像场景分类方案适于各类场景，提供其应用全面性。

在一个实施例中，对第一预测标签概率分布与第二预测标签概率分布做平均化处理包括：

式中，

表示目标域的第一预测标签概率分布，

表示目标域的第二预测标签概率分布，

表示平均化预测标签概率分布。

在一个实施例中，构造域判别器包括：

采用基于sigmoid激活函数的全连接层作为域判别器G_d，其中全连接层的输出节点数量为2，实际上这就是一个二分类器。

具体地，所述sigmoid激活函数为：

其中，S_i为输入样本属于域i(i＝1,2)的概率，o_i表示全连接层第i个节点的输出值。

在一个实施例中，根据域判别器的损失函数、两个标签分类器的联合损失函数、两个标签分类器的不一致性损失函数确定总损失函数包括：

L(θ_f,θ_y,θ_d)＝L_Y(θ_f,θ_y)+αL_t(θ_f,θ_y)-λL_D(θ_f,θ_d)，

其中，θ_f是特征提取器的参数，θ_y是标签分类器的参数，θ_d是域判别器的参数。α和λ是权重系数，L(θ_f,θ_y,θ_d)为总损失函数，L_Y(θ_f,θ_y)为标签分类器的联合损失函数，L_t(θ_f,θ_y)为标签分类器的不一致性损失函数，L_D(θ_f,θ_d)为域判别器的损失函数。

在一个实施例中，构建源域和目标域的方法包括：

构建遥感场景图像数据集源域样本

其中n_s表示n_s个遥感场景图像，

表示第i张遥感图像，

表示第i张遥感图像的类别标签；

假定在类别相同、拍摄条件不同的情况下，构建遥感场景图像数据集目标域样本

其中n_t表示n_t个遥感场景图像，

表示第i张遥感图像。

在一个实施例中，构造一个基于softmax激活函数的全连接层作为标签分类器，并采用“丢弃法”按一定概率随机丢弃部分节点方法可以包括：

softmax激活函数为：

其中，S_i为输入样本的为第i类的概率，N表示样本的类别数，o_i表示全连接层第i个节点的输出值。

“丢弃法”采用的是倒置丢弃法，操作为：

某一层第i个节点的输出为：

其中，ω_ij表示第i个节点的第j个权重，x_j表示上一层第j个节点的值，b_i是偏差参数。设丢弃概率为p，那么有p的概率o_i会被清零，有1-p的概率o_i会除以1-p做拉伸。丢弃概率是丢弃法的超参数。具体来说，设随机变量ξ_i为0和1的概率分别为p和1-p，使用丢弃法时重新计算该层第i个节点的输出为：

最后，将此标签分类器记为C。

相应预测标签概率分布(如第一预测标签概率分布与第二预测标签概率分布)的计算过程可以包括：

从特征提取器G_f(·)提取到的源域和目标域的特征(特征图)分别为：

其中，

表示源域，

表示目标域，f_i ^s表示源域的特征，f_i ^t表示目标域的特征。

将源域和目标域的特征输入到标签分类器C中后，分别得到源域和目标域的预测标签概率分布：

其中，

表示源域的第一预测标签概率分布，

表示目标域的第一预测标签概率分布，C₁表示此步骤中经过丢弃法后的标签分类器。标签分类器的输出是每个样本属于各个标签(类别)的概率大小组成的一个概率分布。此外，因为丢弃法是随机丢弃部分节点，具有随机性，每次输入标签分类器后得到的输出结果都会因为这种随机性而有所不同。所以此步骤中的标签分类器和下一步骤中的其实是不一样的，故采用不同的下标来加以区分。

在一个示例中，再次将提取到的源域和目标域的特征输入到标签分类器C中后，分别得到源域和目标域的预测标签概率分布(第二预测标签概率分布)：

其中，

表示源域的第二预测标签概率分布，

表示目标域的第二预测标签概率分布，C₂表示此步骤中经过丢弃法后的标签分类器。具体地，

和

均为第一预测标签概率分布，只不过前一个是源域的第一预测标签概率分布，后一个为目标域的。

在一个实施例中，每个图像的域标签概率分布的确定过程包括：

(9.1)克罗内克积定义如下：

设A是一个m×n的矩阵，B是一个p×q的矩阵，克罗内克积

就是一个mp×nq的分块矩阵：

其中，a_mn表示矩阵A第m行第n列的元素；

(9.2)将平均化预测标签概率分布和目标域中图像的特征图对应的分布通过克罗内克积组合成联合概率分布

(9.3)由于源域的标签是已知的，所以将源域标签分布和源域中图像的特征图对应的分布通过克罗内克积组合成联合概率分布

(9.4)为了对抗训练过程变得可执行，在域判别器之前引入梯度逆转层(GRL)，GRL可以看作为这样一个函数：

g(f(v)；λ)＝f(v)

且它的梯度为

有了GRL就可以通过标准反向传播来更新网络参数了；

(9.5)将步骤(9.2)得到的联合概率分布经过步骤(9.4)的GRL输入到域判别器G_d中去得到目标域每张图像的域标签预测概率分布：

(9.6)将步骤(9.3)得到的联合概率分布经过步骤(9.4)的GRL输入到域判别器G_d中去得到源域每张图像的域标签预测概率分布：

在一个实施例中，域判别器的损失函数、两个标签分类器的联合损失函数、两个标签分类器的不一致性损失函数的计算过程包括：

定义源域图像的真实域标签

目标域图像的真实域标签

域判别器G_d的损失函数采用交叉熵损失函数，定义为：

两个标签分类器C₁和C₂的联合损失函数，定义为：

减少两个标签分类器对目标域类别预测的不一致性使得提取的特征更具有判别性，采用L1距离来衡量两个分类器预测的不一致性大小，不一致性损失函数定义为：

其中，L_Y为标签分类器的联合损失函数，L_t为标签分类器的不一致性损失函数，L_D为域判别器的损失函数，n_s表示源域的图像总数目，n_t表示目标域的图像总数目，符号||||₁表示L1距离计算。

具体地，根据域判别器的损失函数、两个标签分类器的联合损失函数、两个标签分类器的不一致性损失函数确定总损失函数包括：

L(θ_f,θ_y,θ_d)＝L_Y(θ_f,θ_y)+αL_t(θ_f,θ_y)-λL_D(θ_f,θ_d)，

其中，θ_f是特征提取器的参数，θ_y是标签分类器的参数，θ_d是域判别器的参数。α和λ是权重系数，L(θ_f,θ_y,θ_d)为总损失函数，L_Y(θ_f,θ_y)为标签分类器的联合损失函数，L_t(θ_f,θ_y)为标签分类器的不一致性损失函数，L_D(θ_f,θ_d)为域判别器的损失函数。

进一步地，使用随机梯度下降法优化总损失函数，以得到目标域最终的分类结果这一过程可以包括：

总体优化目标是找到总损失函数的一个鞍点

使得：

为找到所需的鞍点，采用随机梯度下降法更新网络参数，不断逼近鞍点：

其中，μ为学习率，也是一个超参数。

网络参数经过N次迭代更新之后，标签分类器输出的目标域标签预测概率分布为

这是一个离散概率分布函数，将其分布列记为P{X＝k}＝p_k(k＝1,2,L,K)，其中，K为类别数，p_k为目标域样本为第k类的概率。目标域样本类别判定法则为

得到的

即为最终的目标域标签预测结果，也即最终的分类结果。

上述基于多分类器对抗迁移学习的遥感场景分类方法，具有如下有益效果：

(1)采用端到端的训练方式，不需要对图像进行复杂的前期预处理，不需要分阶段训练，最终学习得到的深度特征对于目标域来说更具有判别性。

(2)考虑到目标样本与任务特异性决策边界之间关系对特征提取的影响，利用丢弃法来构建两个分类器，最小化两个分类器预测结果的不一致性，使得提取的特征远离任务的决策边界，更具有判别性。

(3)充分利用含标签数据的标签信息，将其和提取的特征分布通过克罗内克积构成联合分布用于域判别器的训练，更有利于域不变特征的提取，增加分类的准确度。

在一个实施例中，多分类器对抗迁移学习网络可以参考图2所示，上述基于多分类器对抗迁移学习的遥感场景分类方法还可以包括：

(1)构建遥感场景图像数据集，并搭建多分类器对抗迁移学习网络。

(1.1)构建遥感场景图像数据集源域样本

其中n_s表示n_s个遥感场景图像，

表示第i张遥感图像，

表示第i张遥感图像的类别标签。本发明选用遥感场景图像公共数据集AID中6个类别的图像作为源域进行实验。

(1.2)假定在类别相同、拍摄条件不同的情况下，构建遥感场景图像数据集目标域样本

其中n_t表示n_t个遥感场景图像，

表示第i张遥感图像。本实施例选用遥感场景图像公共数据集UCMerced中6个类别的图像作为目标域进行实验，所选用的6个类别与源域的相同。

(1.3)搭建一个多分类器对抗迁移学习网络，如附图2所示。该网络由特征提取器、标签分类器和域判别器三大块组成。

(1.3.1)直接选用在大型数据集ImageNet上预训练好的卷积神经网络模型ResNet-50，去掉模型最后的全连接层后，这样即可作为特征提取器G_f(·)。特征提取器G_f(·)的输入也即是整个网络的输入，特征提取器G_f(·)的输出是输入的每个图像的特征向量。

(1.3.2)构造一个基于softmax激活函数的全连接层作为标签分类器，并采用“丢弃法”按一定概率随机丢弃部分节点。标签分类器的输入为特征提取器输出的特征向量，标签分类器的输出为预测得到的图像的类别标签。

(a)softmax激活函数为

其中，S_i为输入样本的为第i类的概率，N表示样本的类别数，o_i表示全连接层第i个节点的输出值。

(b)“丢弃法”采用的是倒置丢弃法，操作为：

某一层第i个节点的输出为：

其中，ω_ij表示第i个节点的第j个权重，x_j表示上一层第j个节点的值，b_i是偏差参数。设丢弃概率为p，那么有p的概率o_i会被清零，有1-p的概率o_i会除以1-p做拉伸。丢弃概率是丢弃法的超参数。具体来说，设随机变量ξ_i为0和1的概率分别为p和1-p，使用丢弃法时重新计算该层第i个节点的输出为：

最后，我们将此标签分类器记为C。

(1.3.3)构造一个基于sigmoid激活函数的全连接层作为域判别器G_d，全连接层的输出节点数量为2，实际上这就是一个二分类器。域判别器的输入为特征提取器得到的特征向量和标签分类器得到的预测标签分布组成的联合分布，域判别器的输出为预测得到的图像的域标签。

sigmoid激活函数为：

其中，S_i为输入样本属于域i(i＝1,2)的概率，o_i表示全连接层第i个节点的输出值。

(2)将构建的源域和目标域所有图像输入到搭建的网络中去进行训练和预测。

(2.1)将源域和目标域所有遥感图像在输入层中归一化为225×225大小，然后将其输入到特征提取器G_f(·)中去。经过特征提取器提取到图像的深度特征，输出为每个图像的特征，其中源域和目标域每个图像的特征分别为：

其中，

表示源域，

表示目标域，f_i ^s表示源域的特征，f_i ^t表示目标域的特征。

(2.2)将特征f_i ^s和f_i ^t输入到标签分类器C中后，分别得到源域和目标域的标签预测概率分布：

其中，

表示源域的第一预测标签概率分布，

表示目标域的第一预测标签概率分布，C₁表示此步骤中经过丢弃法后的标签分类器。因为丢弃法是随机丢弃部分节点，所以此步骤中的标签分类器和下一步骤中的其实是不一样的，故采用不同的下标来加以区分。

(2.3)再将特征f_i ^s和f_i ^t输入到标签分类器C中后，分别得到源域和目标域的标签预测概率分布：

其中，

表示源域的第二预测标签概率分布，

表示目标域的第二预测标签概率分布，C₂表示此步骤中经过丢弃法后的标签分类器。

(2.4)将目标域的标签预测概率分布

和

做平均化处理，用

表示经过平均化处理后的目标域标签预测概率分布，计算为：

(2.5)将平均化后目标域标签预测概率分布

和目标域特征向量f_i ^t通过克罗内克积组合成目标域联合概率分布

由于源域的标签是已知的，所以将源域真实标签分布

和源域特征向量f_i ^s通过克罗内克积组合成源域联合概率分布

其中，克罗内克积定义如下：

设A是一个m×n的矩阵，B是一个p×q的矩阵，克罗内克积

就是一个mp×nq的分块矩阵：

其中，a_mn表示矩阵A第m行第n列的元素。

(2.6)为了对抗训练过程变得可执行，在域判别器G_d之前引入梯度逆转层(GRL)，GRL可以看作为这样一个函数：

g(f(v)；λ)＝f(v)

且它的梯度为

有了GRL就可以通过标准反向传播来更新网络参数了。

(2.7)将目标域联合概率分布

经过GRL输入到域判别器G_d中去得到目标域每张图像的域标签预测概率分布：

(2.8)将源域联合概率分布

经过GRL输入到域判别器G_d中去得到源域每张图像的域标签预测概率分布：

(2.9)定义源域图像的真实域标签

目标域图像的真实域标签

计算域判别器G_d的损失函数采用交叉熵损失函数L_D：

(2.10)计算两个标签分类器C₁和C₂的联合损失函数L_Y：

(2.11)减少两个标签分类器对目标域类别预测的不一致性使得提取的特征更具有判别性，采用L1距离来衡量两个分类器预测的不一致性大小，计算不一致性损失函数L_t：

其中，符号||||₁表示L1距离计算。

(2.12)由(2.9)(2.10)(2.11)计算的各个损失函数可以得到总体损失函数为：

L(θ_f,θ_y,θ_d)＝L_Y(θ_f,θ_y)+αL_t(θ_f,θ_y)-λL_D(θ_f,θ_d)

其中，θ_f是特征提取器的参数，θ_y是标签分类器的参数，θ_d是域判别器的参数。α和λ是权重系数，L(θ_f,θ_y,θ_d)为总损失函数，L_Y(θ_f,θ_y)为标签分类器的联合损失函数，L_t(θ_f,θ_y)为标签分类器的不一致性损失函数，L_D(θ_f,θ_d)为域判别器的损失函数。

(2.13)总体优化目标是找到(2.12)中总体损失函数的一个鞍点

使得：

(2.14)为找到(2.13)中所需的鞍点，采用随机梯度下降法更新网络参数，不断逼近鞍点：

其中，μ为学习率，也是一个超参数。

(2.15)网络参数经过N次迭代更新之后，标签分类器输出的目标域标签预测概率分布为

这是一个离散概率分布函数，将其分布列记为P{X＝k}＝p_k(k＝1,2,L,K)，其中，K为类别数，p_k为目标域样本为第k类的概率。目标域样本类别判定法则为

得到的

即为最终的目标域标签预测结果，也即最终的分类结果。将目标域中所有图像的标签预测值

和它们的真实标签值

相比，即可得到整个目标域的分类准确率。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

需要说明的是，本申请实施例所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

本申请实施例的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (7)

1.一种基于多分类器对抗迁移学习的遥感场景分类方法，其特征在于，包括如下步骤：

S10，构建分别包括多个遥感场景图像数据的源域和目标域；所述源域和目标域的图像类别相同；

S30，将源域的图像和目标域分别输入预先构建的特征提取器中得到各个图像的特征图；

S40，构造一个基于softmax激活函数的全连接层作为标签分类器，将各个图像的特征图输入标签分类器得到每个图像的第一预测标签概率分布，再次将各个图像的特征图输入标签分类器得到每个图像的第二预测标签概率分布；所述第一预测标签概率分布与第二预测标签概率分布不完全一致；

S50，对第一预测标签概率分布与第二预测标签概率分布做平均化处理，得到平均化预测标签概率分布，构造域判别器，以对提取的特征所属的域进行判别；

S60，将平均化预测标签概率分布和各个图像的特征图组合成联合概率分布，将联合概率分布输入到域判别器，得到每个图像的域标签概率分布，根据每个图像的域标签概率分布计算域判别器的损失函数，根据第一预测标签概率分布和第二预测标签概率分布分别计算两个标签分类器的联合损失函数、两个标签分类器的不一致性损失函数；

S70，根据域判别器的损失函数、两个标签分类器的联合损失函数、两个标签分类器的不一致性损失函数确定总损失函数，使用随机梯度下降法优化总损失函数，以得到目标域最终的分类结果。

2.根据权利要求1所述的基于多分类器对抗迁移学习的遥感场景分类方法，其特征在于，步骤S30之前，还包括：

S20，构建特征提取器，以对源域和目标域进行深度特征提取，获得相应图像的特征图。

3.根据权利要求2所述的基于多分类器对抗迁移学习的遥感场景分类方法，其特征在于，构建特征提取器包括：

选用在数据集ImageNet上预训练好的深度卷积神经网络模型，去掉模型最后的全连接层后，得到特征提取器G_f(·)。

4.根据权利要求1所述的基于多分类器对抗迁移学习的遥感场景分类方法，其特征在于，对第一预测标签概率分布与第二预测标签概率分布做平均化处理包括：

式中，

表示第一预测标签概率分布，

表示第二预测标签概率分布，

表示平均化预测标签概率分布。

5.根据权利要求1所述的基于多分类器对抗迁移学习的遥感场景分类方法，其特征在于，构造域判别器包括：

采用基于sigmoid激活函数的全连接层作为域判别器G_d，其中全连接层的输出节点数量为2。

6.根据权利要求5所述的基于多分类器对抗迁移学习的遥感场景分类方法，其特征在于，所述sigmoid激活函数为：

其中，S_i为输入样本属于域i的概率，o_i表示全连接层第i个节点的输出值。

7.根据权利要求1所述的基于多分类器对抗迁移学习的遥感场景分类方法，其特征在于，根据域判别器的损失函数、两个标签分类器的联合损失函数、两个标签分类器的不一致性损失函数确定总损失函数包括：

L(θ_f,θ_y,θ_d)＝L_Y(θ_f,θ_y)+αL_t(θ_f,θ_y)-λL_D(θ_f,θ_d)，

其中，θ_f是特征提取器的参数，θ_y是标签分类器的参数，θ_d是域判别器的参数。α和λ是权重系数，L(θ_f,θ_y,θ_d)为总损失函数，L_Y(θ_f,θ_y)为标签分类器的联合损失函数，L_t(θ_f,θ_y)为标签分类器的不一致性损失函数，L_D(θ_f,θ_d)为域判别器的损失函数。

Images