CN110321866A - 基于深度特征稀疏化算法的遥感图像场景分类方法 - Google Patents

Abstract

本发明公开了一种基于深度特征稀疏化算法的遥感图像场景分类方法，用于解决现有遥感图像场景分类方法分类准确率低的技术问题。技术方案是首先对输入的遥感场景图片进行数据增广，使用卷积网络架构CNN从图片中提取深度特征，记为多层特征图F，使用通道加权方法对该特征图F进行通道稀疏操作，得到F'，使用侧抑制方法继续对该特征图F'进行元素稀疏操作，得到F"，对经过通道、元素稀疏化操作后的特征图F"进行全局池化操作，生成特征向量I，用全连接层对该特征向量I进行分类，得出分类结果。由于采用了深度特征稀疏化算法，相似的混淆特征得到抑制，相异的有效特征得到突出，提高了遥感图像场景分类的准确率。

Description

基于深度特征稀疏化算法的遥感图像场景分类方法

技术领域

本发明涉及一种遥感图像场景分类方法，特别涉及一种基于深度特征稀疏化算法的遥感图像场景分类方法。

背景技术

受益于遥感设备的快速发展，研究人员对遥感图像的进行了大量的探索研究，包括场景分类、灾害检测、高光谱图像分类等。其中，遥感图像的场景分类是一项基础性但具有挑战性的工作。由于遥感图像中特征、物体等信息繁杂，研究人员提出了多种不同的方法来提高遥感场景分类的性能。根据特征提取的方式，这些方法大致分为以下两类：

A、传统方法。这种类型的方法都是基于手工提取的特性来实现遥感场景分类，手动设计的特征包括全局特性和局部特性。全局特征(如RGB直方图和纹理描述算子)可以直接传递到分类器中并得到分类结果，而对于局部特征(如SIFT特征描述子)，则需要经过汇集、形成完整的全局图像特征后，才能传递到分类器中用于分类。然而，手动设计的特征只包含低级空间信息，缺乏高级语义信息。

B、深度学习方法。随着大量的标记数据集的提出，深度学习方法，特别是卷积神经网络(CNN)，在遥感图像场景分类领域取得了非常好的效果。CNN的主要优点是其在标签数据的引导下，能够自动学习有利于场景分类的特征。与手工特征相比，基于深度学习的特征不仅包含低级空间信息，还包含高级语义信息。由于强大的自动提取特征的能力，深度学习方法目前占据主流并取得了较高的分类准确率。

尽管场景分类的性能已经较为优越，但仍有一些问题需要解决。其中，通过对遥感场景图像的观察，发现有些场景虽然属于不同的类别，但却有着十分相似、易造成混淆的特征。这种相似特征限制了分类性能的进一步提升。

发明内容

为了克服现有遥感图像场景分类方法分类准确率低的不足，本发明提供一种基于深度特征稀疏化算法的遥感图像场景分类方法。该方法首先对输入的遥感场景图片进行数据增广，使用卷积网络架构CNN从图片中提取深度特征，记为多层特征图F，使用通道加权方法对该特征图F进行通道稀疏操作，得到F'，使用侧抑制方法继续对该特征图F'进行元素稀疏操作，得到F"，对经过通道、元素稀疏化操作后的特征图F"进行全局池化操作，生成特征向量I，用全连接层对该特征向量I进行分类，得出分类结果。由于采用了深度特征稀疏化算法，相似的混淆特征得到抑制，相异的有效特征得到突出，提高了遥感图像场景分类的准确率。

本发明解决其技术问题所采用的技术方案：一种基于深度特征稀疏化算法的遥感图像场景分类方法，其特点是包括以下步骤：

步骤一、输入图片，调成图片尺寸为256×256，使用TenCrop数据增广方法从原图片中裁取出224×224的图片区域作为训练图片。

步骤二、去除经典的CNN架构的最后两层网络即全局池化层和全连接层，将其作为CNN特征提取器，从图片中提取出多层特征图F，其尺寸为H×W×C。

步骤三、生成通道加权向量w'。c表示第c个通道，Fc(i,j)表示特征图中第c个通道上第(i,j)的特征值，w(c)表示第c个通道的权值；为了解决不同通道之间的依赖问题，使用两层全连接层对w进行操作得到更精准权值向量的w'，即w'＝σ(f₂(σ(f₁(w)))。

步骤四、使用通道加权向量w'对特征图F进行加权操作得到通道加权后的特征图F'，即F'c(i,j)＝w(c)*Fc(i,j)。

步骤五、使用Local Response Normalization算法对加权后的特征图F'进行逐元素稀疏化，得到通道、元素均稀疏化的特征图F"，k、α、β和n均是超参数，分别设置为0.0001、0.75、1和2。

步骤六、使用Global Average Pooling层对特征图F"进行池化操作，使得特征图F"变成全局特征向量I。

步骤七、用全连接层对特征向量I进行分类，得到最终分类结果。

本发明的有益效果是：该方法首先对输入的遥感场景图片进行数据增广，使用卷积网络架构CNN从图片中提取深度特征，记为多层特征图F，使用通道加权方法对该特征图F进行通道稀疏操作，得到F'，使用侧抑制方法继续对该特征图F'进行元素稀疏操作，得到F"，对经过通道、元素稀疏化操作后的特征图F"进行全局池化操作，生成特征向量I，用全连接层对该特征向量I进行分类，得出分类结果。由于采用了深度特征稀疏化算法，相似的混淆特征得到抑制，相异的有效特征得到突出，提高了遥感图像场景分类的准确率。

下面结合附图和具体实施方式对本发明作详细说明。

附图说明

图1是本发明基于深度特征稀疏化算法的遥感图像场景分类方法的流程图。

具体实施方式

参照图1。本发明基于深度特征稀疏化算法的遥感图像场景分类方法具体步骤如下：

步骤一、输入图片，调成图片尺寸为256×256，使用TenCrop数据增广方法从原图片中裁取出224×224的图片区域作为训练图片。

步骤二、去除经典的CNN架构的最后两层网络即全局池化层和全连接层，将其作为CNN特征提取器，从图片中提取出多层特征图F，其尺寸为H×W×C。

步骤三、生成通道加权向量w'。c表示第c个通道，Fc(i,j)表示特征图中第c个通道上第(i,j)的特征值，w(c)表示第c个通道的权值；为了解决不同通道之间的依赖问题，使用两层全连接层对w进行操作得到更精准权值向量的w'，即w'＝σ(f₂(σ(f₁(w)))。

步骤四、使用通道加权向量w'对特征图F进行加权操作得到通道加权后的特征图F'，即F'c(i,j)＝w(c)*Fc(i,j)。

步骤五、使用Local Response Normalization算法对加权后的特征图F'进行逐元素稀疏化，得到通道、元素均稀疏化的特征图F"，k、α、β和n均是超参数，设置为0.0001、0.75、1和2。

步骤六、使用Global Average Pooling层对特征图F"进行池化操作，使得特征图F"变成全局特征向量I。

步骤七、用全连接层对特征向量I进行分类，得到最终分类结果。

本发明的效果通过以下在真实数据集上的实验结果进行说明。

1.实验条件。

本发明是在中央处理器为i5-3470 3.2GHz CPU、内存64G、显卡NVIDIA GTX1080Ti，Ubuntu16.04操作系统上，基于Pytorch1.0.1、Python3.6的语言环境下实现的。为了验证本发明的泛化性能，需要证明本发明能够在不同神经网络架构、不同的遥感数据集上均有性能提升。实验中用来提取深度特征的网络架构有InceptionResNetV2、BnInpcetion、ResNet34、ResNet101共四种经典的卷积神网络模型。实验中使用的数据集为UC Merced Land-Use Data Set(UCM)，Optimal-31Data Set(OPT)，Aerial Image DataSet(AID)。

UCM数据集选取自Yang等人在文献“Y.Yang,S.Newsam.Bag-of-Visual-Words andSpatial Extensions for Land-Use Classification.Proceedings of the 18thSIGSPATIAL International Conference on Advances in Geographic InformationSystems,1–13,2018”，该数据集共有21类遥感场景，分别有1680张训练图片和420张测试图片，图片分辨率为256x 256；OPT数据集选取自Wang等人在文献“Q.Wang,S.Liu,J.Chanussot,X.Li,.Scene Classification with Recurrent Attention of VHR RemoteSensing Images.IEEE Transactions on Geoscience and Remote Sensing,270–279,2010”，该数据集共有31类遥感场景，分别有1488张训练图片和372张测试图片，图片分辨率为256x 256；AID数据集选取自Xia等人在文献“G.Xia,et al..AID:A Benchmark Data Setfor Performance Evaluation of Aerial Scene Classification.IEEE Transactionson Geoscience and Remote Sensing,55,3965–3981,2017”，该数据集共有30类遥感场景，分别有5000张训练图片和5000张测试图片，图片分辨率为600x 600。

使用随机梯度下降法Stochastic Gradient Descent(SGD)作为优化器来优化网络参数，优化器SGD的参数为：学习率0.0001，冲量为0.9，共学习50个epoch，选取最好的实验结果用于比较。

2.实验结果。

首先需要验证本发明在各种CNN模型上是否具有泛化性，实验中用作对比实验的深度卷积网络CNN的模型有BnInpcetion、InceptionResNetV2、ResNet34、ResNet101共四种经典的卷积网络架构。

表1不同卷积网络模型的实验结果对比

从表1可见，在四种基本的CNN模型上，嵌入本发明后，场景分类准确率分别提升0.94％、0.7％、0.06％、0.78％，四种CNN模型结果均有提升，其中ResNet34提升不大，但是其他三种提升均超过0.7％，提升结果较为显著，说明了本发明在不同CNN模型上具有较好的泛化性能。其中ResNet101性能最为优越，因此在接下来验证本发明在数据集上的泛化性的实验中选择ResNet101作为基本CNN模型，实验结果如表2所示。

表2不同遥感场景数据集的实验结果对比

CNN模型	UCM	OPT	AID
				ResNet101准确率	98.81％	94.62％	95.10％
本发明准确率	99.52％	95.16％	95.88％

从表2可见，在ResNet101模型上，使用本发明后，遥感数据集UCM、OPT、AID场景分类准确率分别提升0.71％、0.54％、0.78％，三个数据及集上的分类准确率均有稳定的提升，说明了本发明在不同遥感数据集上具有较好的泛化性能。

根据表1和表2的对比实验，说明本算法能够广泛的、有效的提升多种卷积网络模型在不同遥感场景分类数据集上的分类准确率，具有良好的泛化性和鲁棒性；本发明通过对特征进行通道以及元素分别进行稀疏化操作，抑制相似的混淆特征，突出相异的有效特征，能够有效提升遥感场景分类性能。

Claims (1)

1.一种基于深度特征稀疏化算法的遥感图像场景分类方法，其特征在于包括以下步骤：

步骤一、输入图片，调成图片尺寸为256×256，使用TenCrop数据增广方法从原图片中裁取出224×224的图片区域作为训练图片；

步骤二、去除经典的CNN架构的最后两层网络即全局池化层和全连接层，将其作为CNN特征提取器，从图片中提取出多层特征图F，其尺寸为H×W×C；

步骤三、生成通道加权向量w'；c表示第c个通道，Fc(i,j)表示特征图中第c个通道上第(i,j)的特征值，w(c)表示第c个通道的权值；为了解决不同通道之间的依赖问题，使用两层全连接层对w进行操作得到更精准权值向量的w'，即w'＝σ(f₂(σ(f₁(w)))；

步骤四、使用通道加权向量w'对特征图F进行加权操作得到通道加权后的特征图F'，即F'c(i,j)＝w(c)*Fc(i,j)；

步骤五、使用Local Response Normalization算法对加权后的特征图F'进行逐元素稀疏化，得到通道、元素均稀疏化的特征图F"，k、α、β和n均是超参数，分别设置为0.0001、0.75、1和2；

步骤六、使用Global Average Pooling层对特征图F"进行池化操作，使得特征图F"变成全局特征向量I；

步骤七、用全连接层对特征向量I进行分类，得到最终分类结果。