CN113392724B - 基于多任务学习的遥感场景分类方法 - Google Patents

Abstract

本发明提供一种基于多任务学习的遥感场景分类方法，解决现有遥感场景分类方法存在少量训练样本不能实现有效的遥感影像场景特征表达以及分类结果不准确的问题。该方法包括：1)设计共享分支对所有任务中的图像提取特征，并记为共享特征；2)对每个任务设计一个特定任务分支，该分支根据所执行的任务将共享的特征调整为特定任务特征；3)将每个特定任务分支的输出连接到一个分类器上，完成当前任务的分类；4)训练多任务模型；5)获取分类结果。本发明方法可有效用于有标记训练数据不足的遥感图像场景分类任务。同时，使用特定分支提取任务特定特征，避免了不同任务间相互干扰，保证每个任务获得最优分类结果。

Description

基于多任务学习的遥感场景分类方法

技术领域

本发明属于计算机视觉、图像处理领域，具体涉及一种基于多任务学习的遥感场景分类方法，可应用于航空图像、遥感图像识别等领域。

背景技术

随着卫星和遥感技术的发展，获取大量高空间分辨率遥感影像变得越来越容易。这些图像包含了丰富的空间信息，对地质调查、城市规划、灾害监测等领域有很大的帮助。为了充分利用这些图像，对每一幅图像分配一个特定的语义标签，即遥感场景分类是必要的第一步。

目前，深度卷积神经网络(Convolutional Neural Network，CNN)由于其优异的性能，成为遥感场景分类的主导方法。利用CNN完成场景分类的策略大致可以分为两类：(1)从零开始训练CNN；(2)使用预训练的CNN。

基于从零开始训练CNN的方法使用大量的标记数据来训练一个新的CNN完成遥感图像分类。Maggiori等人在文献“E.Maggiori,Y.Tarabalka,G.Charpiat,and P.Alliez:Convolutional neural networks for large-scale remote-sensing imageclassification,IEEE Transactions on Geoscience and Remote Sensing,vol.55,no.2,pp.645–657,Feb.2017”中提出了一种使用卷积神经网络对遥感影像进行密集、像素化分类的端到端框架。在这个框架中，直接训练CNN从输入图像中生成分类图。该方法的不足之处是需要大量标记的训练数据。一个大规模的多层CNN包含数百万个参数，因此需要数百万个训练数据来完整地训练网络。然而，为每个新任务手工注释大量的训练数据费时费力，是不可取的。

基于预训练的CNN使用在其他数据集上训练的网络完成遥感场景分类任务。该类方法在遥感场景分类任务上具有较好的表现，是当前遥感场景分类的主流方法。该策略得益于神经网络的初始层倾向于捕获一般的结构，如边缘或颜色，这些结构对于所有的视觉任务都是共享的，因此可以从其他图像转移到目标遥感任务中。目前广泛使用的预训练CNN包括AlexNet、VGGNet、ResNet等。Zheng等人在文献“X.Zheng,Y.Yuan,and X.Lu:A deepscene representation for aerial scene classification,”IEEE Transactions onGeoscience and Remote Sensing,vol.57,no.7,pp.4799–4809,Jul.2019”中提出使用最后一个卷积层的神经元输出作为特征，并在该特征上执行多尺度策略作为图像的全局表达，使用支持向量机(Support Vector Machines，SVM)作为分类器完成遥感图像分类任务。另外有一些工作者如Marmanis等人在“D.Marmanis,M.Datcu,T.Esch,and U.Stilla:Deeplearning earth-observation classification using imagenetpretrained networks,IEEE Geoscience and Remote Sensing Letters,vol.13,no.1,pp.105–109,Jan.2016”中提出在目标遥感数据集微调CNN，利用微调后的CNN直接进行分类。该类方法的不足之处是使用预先训练好的CNN作为特征提取器，不能捕捉到当前任务的遥感图像的视觉特征，在可用于微调的遥感数据集不足的情况下，经过微调后的CNN也会偏向于用于预训练的数据集分布，影响了最终的遥感场景分类性能，使得分类结果不准确。

综上所述，现有的遥感图像场景分类方法在少量训练样本情况下不能实现有效的遥感影像场景特征表达以及分类结果不准确的问题，存在一定的局限性。

发明内容

本发明的目的是解决现有遥感场景分类方法在少量训练样本下不能实现有效的遥感影像场景特征表达以及分类结果不准确的问题，提供一种基于多任务学习的遥感场景分类方法。

为实现上述目的，本发明采用如下技术方案：

一种基于多任务学习的遥感场景分类方法，包括以下步骤：

步骤一、建立多任务模型；

1.1)使用K个卷积块堆叠成的深度卷积神经网络构建共享分支，使用共享分支为多个任务提取共享特征；

1.11)使用多个卷积层φ、激活层σ堆叠成卷积块σ(φ)；

1.12)使用多个卷积块堆叠成深度卷积神经网络

作为共享分支；

1.13)将第t个任务的图像x_t输入至共享分支f，记录共享分支f上每个卷积块σ(φ)的输出特征，该输出特征即为共享特征：

式中，f(x_t)是第t个任务中图像x_t的特征；

表示第k个模块的共享特征，1≤k≤K；

1.14)重复步骤1.13)，获取所有任务的共享特征；

1.2)为每个任务建立特定任务分支，该特定任务分支根据所执行的任务将共享特征调整为特定任务特征：

1.21)使用一组卷积层和激活层构成的注意力模块，级联多个注意力模块组成特定任务分支；

1.22)每个注意力模块生成注意力掩膜，注意力掩膜生成方式如下：

式中，

表示任务t的第k个注意力掩膜；

表示任务t的第k个注意力模块；e^k为提取器，用于将前一个注意力模块得到的特定任务特征

传递到当前注意力模块，提取器由卷积层和激活层构成；

1.23)将每个注意力掩膜作用在相应的共享特征上，以获得特定任务特征：

其中，⊙表示对应元素相乘，

为特定任务特征；

1.3)多任务分类：

1.31)对每个任务t，根据任务待分类的类别数目，选取分类器h_t用于预测数据集中所有图像的场景类别，分类器h_t的输出类别数目和每个任务中包含的场景类别数目相同；

1.32)将最后一个注意力模块的输出

传递给分类器h_t得到预测类别，此时，多任务模型建立完成：

式中，

表示分类器h_t对输入图像x_t的预测类别；

步骤二、训练多任务模型；

2.1)将训练图像输入至多任务模型中，得到该训练图像的预测值；

2.2)使用交叉熵损失作为每个任务的损失函数，线性加和所有任务的损失得到总的目标损失函数，将预测值和训练图像的真实值输入至目标损失函数中，并优化目标损失函数；

式中，(X_t,Y_t)为第t个任务对应的数据集；y_t和

分别为图像x_t的场景标签和预测类别；e＝{e²,…,e^K}表示第2到第K个模块的特征提取器；

表示K个注意力模块；T为任务总数；L(X₁:_T,Y₁:_T)表示总共T个任务上的损失；

步骤三、获取分类结果；

采集待分类的图像，将其输入至步骤二训练好的多任务模型中，获取分类结果。

进一步地，步骤1.31)中，选取softmax分类器用于预测整个图像的场景类别。

进一步地，步骤2.2)中，使用随机梯度下降法最小化损失函数以优化目标损失函数。

与现有技术相比，本发明方法具有如下有益效果：

1.本发明提供的基于多任务学习的遥感场景分类方法可以利用来自其他相关任务的信息减少对当前任务的大量标记数据需求的问题，可有效用于有标记训练数据不足的遥感图像场景分类任务。与此同时，使用特定分支提取任务特定特征，避免了不同任务间相互干扰，保证每个任务获得最优分类结果。

2.本发明方法改善了现有从零开始训练CNN的方法需要大量的手工标记的训练样本问题，解决在训练数据有限的情况下，如何避免过拟合问题；同时改善了现有基于预训练的CNN不能捕捉到当前任务的特定遥感图像的视觉特征，影响了最终的遥感场景分类性能的问题。

附图说明

图1为本发明基于多任务学习的遥感场景分类方法的流程图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。本领域技术人员应当理解的是，这些实施方式仅仅用来解释本发明的技术原理，目的并不是用来限制本发明的保护范围。

本发明公开了一种基于多任务学习的遥感场景分类方法，从多个任务中学习互补信息促进场景分类，其实现步骤包括：1)使用一个现有的神经网络作为共享分支，对所有任务中的图像提取特征表达，并记为共享特征；2)为每个任务设计一个特定任务分支，该分支根据所执行的任务将共享的特征调整为特定任务特征。特定任务分支由多个注意力模块组成，注意力模块生成注意力掩码，从共享特征中选择特定任务特征。使用多个注意力模块来实现不同的关注特征；3)将每个特定任务分支的输出连接到一个分类器上，完成当前任务的分类，多任务模型建立完成；4)训练多任务模型；5)获取分类结果。

本发明与现有方法相比，基于多任务学习的方法可以利用来自其他相关任务的信息减少对当前任务的大量标记数据需求的问题，可有效用于有标记训练数据不足的遥感图像场景分类任务。与此同时，使用特定分支提取任务特定特征，避免了不同任务间相互干扰，保证每个任务获得最优分类结果。

如图1所示，本发明提供的基于多任务学习的遥感场景分类方法，包括以下步骤：

步骤一、建立多任务模型；

1.1)使用K个卷积块堆叠成的深度卷积神经网络构建共享分支，使用共享分支为多个任务输入图像提取共享特征；

1.11)使用多个卷积层φ、激活层σ堆叠成卷积块σ(φ)；

1.12)使用多个卷积块堆叠成深度卷积神经网络

作为共享分支；

1.13)输入第t个任务的图像x_t到共享分支f，记录共享分支f上每个卷积块σ(φ)的输出特征，将这些输出特征称为共享特征，记作

式中，

表示来自第k个模块的共享特征，1≤k≤K，f(x_t)是第t个任务中图像x_t的特征；

1.14)重复步骤1.13)，获取所有任务的共享特征；

1.2)为每个任务建立特定任务分支，该特定任务分支根据所执行的任务将共享特征调整为特定任务特征：

1.21)使用一组卷积层和激活层构成的注意力模块；级联多个注意力模块组成特定任务分支，

1.22)每个注意力模块生成注意力掩膜，注意力掩膜生成方式如下：

式中，

表示任务t的第k个注意力掩膜，

表示任务t的第k个的注意力模块，由一堆卷积层组成；e^k是一个提取器，用于将前一个注意力模块得到的特定任务特征

传递到当前注意力模块，提取器e^k由一个卷积层和一个下采样层组成，对所有任务共享；

是来自于共享分支第k个模块提取的共享特征；

1.23)将每个注意力掩膜作用在相应的共享特征上，以获得特定任务特征：

其中，⊙表示对应元素相乘，

为特定任务特征；

1.3)多任务分类：

1.31)对每个任务t，根据任务待分类的类别数目，设计softmax分类器h_t用于预测数据集中所有图像的场景类别，分类器的输出类别数目和每个任务中包含的场景类别数目相同；

1.32)将最后一个注意力模块的输出

传递给特定任务分类器h_t得到预测类别，此时，多任务模型建立完成；

式中，

表示分类器h_t对输入图像x_t的预测类别；

步骤二、训练多任务模型；

2.1)将训练图像输入至多任务模型中，得到该训练图像的预测值；

2.2)使用交叉熵损失作为每个任务的损失函数，线性加和所有任务的交叉熵损失得到总的目标损失函数，将预测值和训练图像的真实值输入至目标损失函数中，使用随机梯度下降法最小化损失函数以优化目标损失函数：

式中，(X_t,Y_t)为第t个任务对应的数据集；y_t和

分别为图像x_t的场景标签和预测概率值；e＝{e²,…,e^K}表示第2到第K个模块的特征提取器；

表示K个注意力模块；T任务总数；L(X₁:_T,Y₁:_T)表示总共T个任务上的损失；

步骤三、获取分类结果；

采集待分类的图像，将其输入至训练好的多任务模型中，获取分类结果。

下面对本发明基于多任务学习的遥感场景分类方法进行详细的描述，并对其效果进行进一步说明。

本发明基于多任务学习的遥感场景分类方法具体包括以下步骤：

步骤一、建立多任务模型；

1.1)多任务共享特征提取；使用K个卷积块堆叠成的深度卷积神经网络构建共享分支，使用共享分支为所有任务提取共享特征；

1.2)为每个任务建立特定任务分支，该特定任务分支根据所执行的任务将共享特征调整为特定任务特征：

1.21)获取第一个特征的注意力掩膜；

选定任务t，将图像x_t的第一个模块的共享特征

转为注意力掩膜，使用一组卷积层和激活层构成的注意力模块

输入共享特征

到注意力模块

中，得到注意力掩膜

重复上述过程，获取所有任务的图片第一个特征注意力掩膜；

1.22)第一模块特定任务特征提取；

输入共享分支的第一个模块的特征

以及注意力掩膜

通过下式得到第一个模块中的特定任务特征：

式中，⊙表示对应元素相乘；

表示任务t中图像x_t的第一层的特定任务特征；

重复上述过程，获取所有任务的图片第一层的特定任务特征；

1.23)其他层特征注意力掩膜获取；

选定任务t，基于第k模块的共享特征

生成当前特征注意力掩膜

使用一组卷积层和激活层构成的注意力模块

使用一组卷积层和激活层构成的特征提取器e^k；

输入图像x_t第k-1个特定任务特征

到特征提取器e^k，得到和共享特征F_tk相同维度的特征

输入特征

以及第k模块的共享特征

到注意力模块

中，得到注意力掩膜

式中，[；]表示特征拼接；

重复上述步骤，获取所有任务的图片每一层特征注意力掩膜；

1.24)其他模块特定任务特征提取；

输入共享分支的第k模块的特征

以及注意力掩膜

通过下式得到第k个模块中的特定于当前任务的特征：

式中，

表示任务t中图像x_t的第k层特定任务特征；

重复上述步骤，获取所有任务的图片每一层特定任务特征；

1.3)多任务分类：

1.31)选定第t个任务，根据任务待分类的类别数目，设计softmax分类器h_t用于预测整个图像的场景类别，分类器的输出类别数目和每个任务中包含的场景类别数目相同；

1.32)将最后一个注意模块的输出

传递给特定任务分类器，得到预测类别；

式中，

表示分类器h_t对输入图像x_t的预测类别；

1.33)重复步骤1.31)至步骤1.32)，为所有任务设计分类器，并将特征输入到分类器中预测图像场景类别；

步骤二、多任务损失优化、训练多任务模型

2.1)将训练图像输入至多任务模型中，得到该训练图像的预测值；

2.2)使用交叉熵损失作为每个任务的损失函数，线性加和所有任务的损失得到总的目标损失函数，将预测值和训练图像的真实值输入至目标损失函数中，使用随机梯度下降法最小化损失函数以优化目标损失函数：

式中，(X_t,Y_t)为第t个任务对应的数据集。y_t和

分别为图片x_t的场景标签和预测概率值；e＝{e²,…,e^K}表示第2到第K个模块的特征提取器。

表示K个注意力模块；T任务总数；L(X₁:_T,Y₁:_T)表示总共T个任务上的损失；

步骤三、获取分类结果；

采集待分类的图像，将其输入至训练好的多任务模型中，获取分类结果。

本发明的效果可以通过以下实验做进一步的说明。

1.仿真条件

本发明是在中央处理器为Intel(R)Xeon(R)E5-2697 2.60GHZ、内存4G、GPU K40、Ubuntu 14操作系统上，运用Python及其他相关工具包进行的仿真。

实验中使用的训练和测试的数据库为Merced，AID和NWPU。

2.仿真内容

按如下步骤用本发明方法进行实验：

首先用训练数据训练网络，在测试集上进行测试，生成测试集图像的预测标签。其次，将网络预测的标签和相应的真实标签做比较，统计出每个任务中测试集图像被正确分类的比例，并记为分类精度。利用该指标同其他方法的对比，结果如表1所示：

表1不同方法的分类精度对比

分类方法	Merced	AID	NWPU	Average
					WRN	90.84％	82.05％	74.20％	82.36％
Cross-Stitch	91.88％	83.20％	75.78％	83.62％
					DEN	90.62％	84.38％	77.60％	84.20％
本发明方法	94.14％	86.61％	83.05％	87.93％

上表中，选取了目前主流的三种方法WRN、Cross-Stitch和DEN进行对比。其中WRN在文献“S.Zagoruyko and N.Komodakis:Wide residual networks,in Proceedings ofthe British Machine Vision Conference,Sep.2016,pp.87.1–87.12”中提出的。Cross-Stitch在文献“I.Misra,A.Shrivastava,A.Gupta,and M.Hebert:Cross-stitch networksfor multi-task learning,in Proceedings of IEEE Conference on Computer Visionand Pattern Recognition,2016,pp.3994–4003”中提出。DEN在文献“C.Ahn,E.Kim,andS.Oh:Deep elastic networks with modelselection for multi-task learning,inProceedings of IEEE International Conference on Computer Vision,2019,pp.6528–6537”中提出。从表1中的结果可以发现，本发明能够很好的完成遥感图像场景分类任务。

Claims (3)

1.一种基于多任务学习的遥感场景分类方法，其特征在于，包括以下步骤：

步骤一、建立多任务模型；

1.1)使用K个卷积块堆叠成的深度卷积神经网络构建共享分支，使用共享分支为多个任务提取共享特征；

1.11)使用多个卷积层φ、激活层σ堆叠成卷积块σ(φ)；

1.12)使用多个卷积块堆叠成深度卷积神经网络

作为共享分支；

1.13)将第t个任务的图像x_t输入至共享分支f，记录共享分支f上每个卷积块σ(φ)的输出特征，该输出特征即为共享特征：

式中，f(x_t)是第t个任务中图像x_t的特征；

表示第k个模块的共享特征，1≤k≤K；

1.14)重复步骤1.13)，获取所有任务的共享特征；

1.2)为每个任务建立特定任务分支，该特定任务分支根据所执行的任务将共享特征调整为特定任务特征：

1.21)使用一组卷积层和激活层构成的注意力模块，级联多个注意力模块组成特定任务分支；

1.22)每个注意力模块生成注意力掩膜，注意力掩膜生成方式如下：

式中，

表示任务t的第k个注意力掩膜；

表示任务t的第k个注意力模块；e^k为提取器，用于将前一个注意力模块得到的特定任务特征

传递到当前注意力模块，提取器由卷积层和激活层构成；

1.23)将每个注意力掩膜作用在相应的共享特征上，以获得特定任务特征：

其中，⊙表示对应元素相乘，

为特定任务特征；

1.3)多任务分类：

1.31)对每个任务t，根据任务待分类的类别数目，选取分类器h_t用于预测数据集中所有图像的场景类别，分类器h_t的输出类别数目和每个任务中包含的场景类别数目相同；

1.32)将最后一个注意力模块的输出

传递给分类器h_t得到预测类别，此时，多任务模型建立完成：

式中，

表示分类器h_t对输入图像x_t的预测类别；

步骤二、训练多任务模型；

2.1)将训练图像输入至多任务模型中，得到该训练图像的预测值；

2.2)使用交叉熵损失作为每个任务的损失函数，线性加和所有任务的损失得到总的目标损失函数，将预测值和训练图像的真实值输入至目标损失函数中，并优化目标损失函数；

式中，(X_t,Y_t)为第t个任务对应的数据集；y_t和

分别为图像x_t的场景标签和预测类别；e＝{e²,…,e^K}表示第2到第K个模块的特征提取器；

表示K个注意力模块；T为任务总数；L(X_1:T,Y_1:T)表示总共T个任务上的损失；

步骤三、获取分类结果；

采集待分类的图像，将其输入至步骤二训练好的多任务模型中，获取分类结果。

2.根据权利要求1所述的基于多任务学习的遥感场景分类方法，其特征在于：步骤1.31)中，选取softmax分类器用于预测整个图像的场景类别。

3.根据权利要求2所述的基于多任务学习的遥感场景分类方法，其特征在于：步骤2.2)中，使用随机梯度下降法最小化损失函数以优化目标损失函数。

Images