CN110852167A - 一种基于最优激活模型的遥感图像分类方法 - Google Patents

Abstract

本发明公开了一种基于最优激活模型的遥感图像分类方法，它能够解决目前遥感图像分类算法分类时间长，分类精度低的问题。包括如下步骤：(1)图像预处理；(2)训练深层卷积神经网络；(3)最优化网络模型筛选。本发明的有益效果在于：本发明从解决数据容量限制与驱动深层卷积神经网络需求之间的矛盾入手，通过构建最优激活模型，采用部分激活而非全部激活的方式，有效地在数据量有限的前提下驱动了非常深的卷积神经网络，大幅地提高了超高分辨率遥感图像分类的准确率。

Description

一种基于最优激活模型的遥感图像分类方法

技术领域

本发明属于一种图像分类方法，具体涉及一种基于最优激活模型的遥感图像分类方法。

背景技术

超高分辨率遥感图像精准分类对了解土地资源利用状态、城市规划设计等问题具有重大意义。然而由于现有开源的超高分辨率遥感图像数据量限制，以及部分遥感图像类别的类间差异小，类内差异大等问题，现有的解决方案仍有很大提升空间。

目前，针对此类问题，业内的通用化解决方案包括基于手工特征的分类方法，基于预训练深度学习模型的分类方法以及基于端到端的深度学习网络自迭代方法三大类。

其中，基于手工特征的分类方法采用人为设计的特征描述工具进行特征提取，如HOG、LBP、SIFT等，然后放入分类器中进行数据分类。由于人为设计的主观性限制，此类特征难以适应高分辨率遥感图像的多样化，多变化需求，分类准确率较低。

基于预训练深度学习模型的分类方法采用经过ImageNet预训练的模型进行特征提取，由于采用了深度学习模型，该类方法能够捕捉到图像之间更加细微的差异性信息，分类准确率得到极大提高。然而，由于全程未经过自迭代和自训练过程，仅仅采用预训练模型难以捕捉到遥感图像自身的高区分性语义，分类准确率仍然受限。

因此，基于端对端的深度学习自迭代方案可以很好地弥补上述两种方案语义信息层次不高的问题，但囿于数据量限制，该方法尚没有在遥感图像分类领域进行有效运用。

发明内容

本发明的目的是提供一种基于最优激活模型的遥感图像分类方法，它能够解决目前遥感图像分类算法分类时间长，分类精度低的问题。

本发明的技术方案如下：一种基于最优激活层的高精度遥感图像分类方法，包括如下步骤：

(1)图像预处理；

(2)训练深层卷积神经网络；

(3)最优化网络模型筛选。

所述的步骤(1)包括将每一张输入图片进行尺寸重调，以适应网络的默认尺寸需求。

所述的步骤(1)中对于VGG16,InceptionV3，ResNets网络的默认尺寸分别为24×224，299×299和224×224。

所述的步骤(1)中将上述经过尺寸重调的图片进行RGB减均值，使其图片均值为0。

所述的步骤(2)包括打开预训练模型并且使用其模型参数作为初始化设定。

所述的步骤(2)包括将网络的softmax层进行重调来适应不同遥感地形数据集的种类需求。

所述的步骤(2)中ResNet50，ResNet101，InceptionV3 and VGG16网络的默认softmax参数为1000，需要将其分别设置为21，19和12来与UCM、WHU-RS19、和Google等基准数据集种类保持一致。

所述的步骤(3)包括通过逐层筛选的方法来找到一个最优激活临界点，对在该临界点之后的网络进行参数自迭代，以适应遥感图像的特异性需求，对在该临界点之前的网络参数进行冻结，最优激活层(Best Activation Model,BAM)的探索过程可以进行如下表示，

其中，M_k被看作是第K个模型，K表示可训练的层数为K，剩余的网络部分仅仅导入相应的ImageNet预训练参数而不需要进行重新激活训练，经过逐层的重新训练和测试，BAM被筛选出来，该过程可进行表示

BAM＝Max{A{(M₁,M₂,...M_k,...M_N)}}。

本发明的有益效果在于：本发明从解决数据容量限制与驱动深层卷积神经网络需求之间的矛盾入手，通过构建最优激活模型，采用部分激活而非全部激活的方式，有效地在数据量有限的前提下驱动了非常深的卷积神经网络，大幅地提高了超高分辨率遥感图像分类的准确率。

附图说明

图1是本发明所提供的一种基于最优激活模型的遥感图像分类方法的实施例的流程图；

图2为UCM数据集的节选示意图；

图3为WHU-RS19数据集的节选示意图；

图4为SIRI-WHU数据集的节选示意图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细说明。

本发明提供一种基于最优激活层的高精度遥感图像分类方法，包括如下步骤：

(1)图像预处理

首先将每一张输入图片

进行尺寸重调，X_i代表数据集合中的第i张图片，K代表图像的像素值(例如224×224尺寸图片的K值为224)以适应网络的默认尺寸需求(例如，对于VGG16,InceptionV3,ResNets网络的默认尺寸分别为224×224,299×299和224×224)。然后，为提高网络的自迭代过程，将上述经过尺寸重调的图片进行RGB减均值，使其图片均值为0。

(2)训练深层卷积神经网络

区别于传统的端到端学习策略，本发明并不直接重新训练整个卷积神经网络。首先，打开预训练模型并且使用其模型参数作为初始化设定。然后，将网络的softmax层进行重调来适应不同遥感地形数据集的种类需求。例如，ResNet50,ResNet101,InceptionV3and VGG16网络的默认softmax参数为1000，需要将其分别设置为21，19和12来与UCM、WHU-RS19、和Google等基准数据集种类保持一致。最后，开始进行端到端网络训练。

ResNet50和ResNet101又称残差50和残差101网络，是微软研究院于2015年提出的深度学习网络，一经推出即获得了当年ImageNet竞赛的分类、检测和位置估计挑战赛的冠军。相比较先前的方法，残差结构更容易优化并且有效地避免了网络成深度增加带来的过拟合问题。通过构建残差块和短路模块，有效地避免了深层次网络带来的边界效应问题，网络的表现得到了显著性改善。

InceptionV3是由2014年谷歌提出的GoogLeNet改进而来，其获得了ILSVRC2014年挑战赛的冠军，不同于传统网络，该网络并非简单继承传统网络的相关结构而是开创性地提出了小卷积块的概念。通过小卷积块的方法，其有效地避免了网络过拟合问题。

VGG16是由牛津大学视觉组和谷歌下属子公司共同提出的深度卷积神经网络结构，获得了当年ILSVRC2014的亚军，该网络通过反复堆叠3×3卷积核以及2×2最大池化层，仔细探索了网络深度和网络表现之间的平衡点，并且成功驱动了19层左右的网络，并因此获得了良好的分类性能。

(3)最优化网络模型筛选

为了解决有限的数据容量和有效驱动深层网络之间的矛盾。本发明并不更新所有的网络模型参数，而是通过逐层筛选的方法来找到一个最优激活临界点。对在该临界点之后的网络进行参数自迭代，以适应遥感图像的特异性需求。对在该临界点之前的网络参数进行冻结。最优激活层BAM(Best Activation Model,BAM)的探索过程可以进行如下表示。

M_k是第K个模型，K是可训练的层数为K，剩余的网络部分仅仅导入相应的ImageNet预训练参数而不需要进行重新激活训练。经过逐层的重新训练和测试，BAM被筛选出来，该过程可进行表示。

BAM＝Max{A{(M₁,M₂,...M_k,...M_N)}}

其中，L_trainable代表可训练的网络层，当k＝i时，M_k代表该激活模型是由倒数第1层，倒数第2层....倒数第i层的卷积层构成。

(4)图像分类

确定了最优激活模型后，将上述预处理后的训练集图像放入最优激活模型进行3000轮迭代，当损失值在300轮内小于0.1时，即认为网络收敛，将该收敛模型定为最终的检测模型。最后将待分类测试集图像放入检测模型，以softmax的最终分类结果为网络的实际分类效果。

下面结合附图和具体实施例对本发明作进一步说明

本发明采用了以下数据集作为测试评估

1.UCM数据集

UCM(UC Merced Land-Use)数据集高精度遥感图像分类领域最优流行的测试数据集，该数据集由加州大学计算机视觉实验室由2010年建立。该数据集囊括了21种常见的土地利用类别，每一个子类由100张相同尺寸的图像构成，其分辨率为256x256，都有RGB三个通道构成。图2节选自该数据集。

2.WHU-RS19数据集

WHU-RS19数据集包含了19种常见的遥感地形图像，每类图像包含了50张图像，图像分辨率为600x600，该数据集的挑战性在于其图像尺度的多样性和图像类内差异性大和类间差异性小的问题。图3节选自该数据集。

3.SIRI-WHU数据集

SIRI-WHU数据集包含了12种常见的遥感地形图像，每类图像包含了200张图像，图像分辨率为200x200，该数据集的挑战性在于其图像种类的多样性。图4节选自该数据集。

如图1所示，本发明提出的基于集成深度费舍尔向量的遥感图像分类方法用于快速、准确地产生高精度分类结果，主要分为以下三个步骤：

(1)图像预处理

在深度学习端对端算法过程中，图像预处理是至关重要的，采用RGB三通道减均值的做法，可以使得图像的均值为0，加速其下一步深度学习过程的图像收敛。

(2)训练深层卷积神经网络

区别于传统的端到端学习策略，本发明并不直接重新训练整个卷积神经网络。首先，打开预训练模型并且使用其模型参数作为初始化设定。然后，将网络的softmax层进行重调来适应不同遥感地形数据集的种类需求。例如，ResNet50,ResNet101,InceptionV3and VGG16网络的默认softmax参数为1000，需要将其分别设置为21，19和12来与UCM、WHU-RS19、和Google等基准数据集种类保持一致。最后，开始进行端到端网络训练。

(3)最优化网络模型筛选

为了解决有限的数据容量和有效驱动深层网络之间的矛盾。本发明并不更新所有的网络模型参数，而是通过逐层筛选的方法来找到一个最优激活临界点。对在该临界点之后的网络进行参数自迭代，以适应遥感图像的特异性需求。对在该临界点之前的网络参数进行冻结。

(4)图像分类

将待分类的图像经过图像预处理和经过上述步骤生成的最优激活模型进行分类即可生成图像的理论标签，将其与实际标签进行对比即可计算得出分类准确率。

如下表1表2表3所示，基于集成深度费舍尔向量的遥感图像分类方法取得了优异的图像分类结果。

表1：UCM遥感图像地形分类性能对比

方法	分类精度(％)
		多层编码向量	90.5±1.1
微调GoogleNet	97.10
		深度滤波器	92.7±0.8
集成化多层特征	98.57±0.34
		本专利方法(BAM)	99.0

表2：WHU-RS19遥感图像地形分类性能对比

方法	分类精度(％)
		微调CaffeNet	94.45±1.20
全连接层特征	94.71
		多尺度池化	97.6
本专利方法(BAM)	98.8

表3：SIRI-WHU遥感图像地形分类性能对比

方法	分类精度(％)
		微调CaffeNet	87.68±1.06
费舍尔核编码	90.16±0.82
		基于中心的机构化度量学习	92.04±1.11
本专利方法(BAM)	96.1

从定量的角度对本文提出的算法进行精度评价，如表1表2表3，可以看出该算法与上述算法相比取得了极佳的分类效果，在UCM、WHU-RS19、SIRI-WHU上分别取得了99.0％，98.8％和96.1％的准确率结果。综上，从分类精度上来看，本文提出的算法能够精准地实现遥感图像分类。

除上述实施方式外，本发明还有其它的实施方式，凡采用同等替换或等效变换形成的技术方案，均落在本发明的保护范围内。

Claims (9)

1.一种基于最优激活层的高精度遥感图像分类方法，其特征在于：包括如下步骤：

(1)图像预处理；

(2)训练深层卷积神经网络；

(3)最优化网络模型筛选；

(4)图像分类。

2.如权利要求1所述的一种基于最优激活层的高精度遥感图像分类方法，其特征在于：所述的步骤(1)包括将每一张输入图片{X₁，X₂，...X_t，...，Xn}∈i^K×K进行尺寸重调，以适应网络的默认尺寸需求。

3.如权利要求2所述的一种基于最优激活层的高精度遥感图像分类方法，其特征在于：所述的步骤(1)中对于VGG16,InceptionV3，ResNets网络的默认尺寸分别为24×224，299×299和224×224。

4.如权利要求3所述的一种基于最优激活层的高精度遥感图像分类方法，其特征在于：所述的步骤(1)中将上述经过尺寸重调的图片进行RGB减均值，使其图片均值为0。

5.如权利要求1所述的一种基于最优激活层的高精度遥感图像分类方法，其特征在于：所述的步骤(2)包括打开预训练模型并且使用其模型参数作为初始化设定。

6.如权利要求5所述的一种基于最优激活层的高精度遥感图像分类方法，其特征在于：所述的步骤(2)包括将网络的softmax层进行重调来适应不同遥感地形数据集的种类需求。

7.如权利要求6所述的一种基于最优激活层的高精度遥感图像分类方法，其特征在于：所述的步骤(2)中ResNet50，ResNet101，InceptionV3 and VGG16网络的默认softmax参数为1000，需要将其分别设置为21，19和12来与UCM、WHU-RS19、和Google等基准数据集种类保持一致。

8.如权利要求1所述的一种基于最优激活层的高精度遥感图像分类方法，其特征在于：所述的步骤(3)包括通过逐层筛选的方法来找到一个最优激活临界点，对在该临界点之后的网络进行参数自迭代，以适应遥感图像的特异性需求，对在该临界点之前的网络参数进行冻结，最优激活层的探索过程可以进行如下表示，

其中，M_k为第k个模型，k表示可训练的层数为k，剩余的网络部分导入相应的ImageNet预训练参数，经过逐层的重新训练和测试，BAM被筛选出来，该过程可进行表示

BAM＝Max{A{(M₁,M₂,...M_k,...M_N)}}。

9.如权利要求1所述的一种基于最优激活层的高精度遥感图像分类方法，其特征在于：所述的步骤(4)包括确定了最优激活模型后，将上述预处理后的训练集图像放入最优激活模型进行3000轮迭代，当损失值在300轮内小于0.1时，即认为网络收敛。

Images