CN110555446A - 基于多尺度深度特征融合和迁移学习的遥感影像场景分类方法 - Google Patents

Abstract

本发明针对遥感影像场景的分类问题，提出了一种基于多尺度深度特征融合和迁移学习的遥感影像场景分类方法。本发明首先使用高斯金字塔算法获得多尺度的遥感影像，输入到全卷积神经网络中，提取到多尺度深度局部特征；然后将图像裁剪到CNN所需固定大小，输入网络中获得全连接层的全局特征，使用紧凑双线性池化操作编码多尺度深度局部特征和CNN获得的全局特征，通过融合两种深度特征共同表示遥感影像，增强特征之间的相互关系，使获得的特征更具有区分性；最后利用迁移学习技术，结合上述两种方法，对遥感影像场景进行分类。本发明卷积神经网络使用VGG16‑Net作为基础网络。

Description

基于多尺度深度特征融合和迁移学习的遥感影像场景分类 方法

技术领域

本发明针对遥感影像场景的分类问题，提出了一种基于多尺度深度特征融合和迁移学习的遥感影像场景分类方法。本发明首先使用高斯金字塔算法获得多尺度的遥感影像，输入到全卷积神经网络中，提取到多尺度深度局部特征；然后将图像裁剪到CNN所需固定大小，输入网络中获得全连接层的全局特征，使用紧凑双线性池化操作编码多尺度深度局部特征和CNN获得的全局特征，通过融合两种深度特征共同表示遥感影像，增强特征之间的相互关系，使获得的特征更具有区分性；最后利用迁移学习技术，结合上述两种方法，对遥感影像场景进行分类。本发明卷积神经网络使用VGG16-Net作为基础网络。

背景技术

遥感影像一般是指从飞机和卫星上获取的图像，包括地球表面不同地区各种复杂的与人类相关的场景和物体，同时具有较高的分辨率，现有的卫星遥感技术可以得到数米级空间分辨率的影像。遥感影像场景分类是通过对给定遥感影像包含的地物类别进行特征判别，以划分出不同的地物场景，是对遥感影像进行分析的重要手段，在地质勘探、城市规划、交通旅游、灾害监测等领域得到了广泛的应用。随着遥感成像技术的提高，高分辨率的遥感影像可以提供了大量形状、纹理和空间信息，能够清晰地呈现地物细节，有助于提高地物目标的定位与识别精度。但是由于空间分辨率的提高，遥感影像中出现复杂背景干扰、地物结构多变的问题，以及在成像过程中不可避免的受到光照和天气等自然条件的影响，使得地物类型难以区分，给场景分类工作带来了极大的挑战。

传统的遥感影像场景分类方法主要是采用手工特征提取和分类器相结合的方法。遥感影像的手工设计特征主要包括颜色、纹理、形状、空间等特征，特征用特征向量来表示图像，然后结合分类器实现场景分类，常用的分类器有支持向量机、K近邻算法、Softmax回归模型。但随着遥感影像技术的提升，可以得到更加精细的地物信息，传统的手工特征已经难以形成对场景复杂、目标多样的遥感影像的有效描述。近年来，深度学习技术迅猛发展，它通过从海量的数据中提取出深层次更具区分度的特征，从而获得更加优越的性能，为遥感影像场景分类提供了新的研究思路。用于提取遥感影像特征的深度学习方法主要有自动编码(Auto-Encoder,AE)、深度置信网络(Deep Belief Network,DBN)和深度卷积神经网络(Convolutional Neural Network,CNN)，其中卷积神经网络由于其在自然图像中的优异表现，因此广泛用于遥感影像的特征提取。然而，在遥感影像中，传统的CNN模型存在一定的缺陷，例如传统的CNN模型忽略了人眼在观测时产生不同尺度视角变化的情况，对场景分类精度产生一定的影响，通常的做法是对遥感影像运用高斯金字塔算法得到多尺度的遥感影像，来提高网络的分类精度。此外，传统的CNN模型没有结合全局特征和局部特征，以及忽略了特征之间的相互作用关系，一个灵活的方法是对多种特征进行融合从而加强特征关系，来获取更具代表性的遥感影像特征。更为值得一提的是，CNN模型的训练需要大量有标注的图像，而有标注信息的遥感影像数据比较缺乏，迁移学习为解决小样本学习问题提供了一个新的途径，但是目前大多数迁移学习策略是从自然图像数据集进行知识迁移学习，忽略了遥感影像独有的特征，为此，本发明将考虑采用大规模遥感影像数据集进行预训练。

根据上述分析，本发明提出了一种基于多尺度深度特征融合和迁移学习的遥感影像场景分类方法。首先使用高斯金字塔算法获得多尺度的遥感影像，作为全卷积神经网络的输入，得到多尺度深度局部特征；然后使用紧凑双线性池化操作同时编码CNN获得的多尺度局部特征和全局特征，获得具有相互作用关系的融合特征；最后利用迁移学习策略从有标注的大规模遥感影像数据集中进行知识迁移，在VGG16-Net上进行预训练，运用上述两种方法，对遥感影像场景进行分类。

发明内容

本发明针对遥感影像场景分类问题，提出了一种基于多尺度深度特征融合和迁移学习的遥感影像场景分类方法。本发明使用VGG16-Net作为基础网络。首先，模仿人眼视觉系统特性，获得不同尺度下遥感影像特征，本发明采用高斯金字塔算法来获取多尺度的遥感影像，去掉VGG16-Net最后三个全连接层作为全卷积神经网络，将多尺度的遥感影像作为全卷积神经网络的输入，获得多尺度的局部特征；其次，为了解决CNN模型用于分类特征单一的问题，本发明将数据集图像裁剪到VGG16-Net所需固定大小224×224，输入到网络中获得全局特征，然后用紧凑双线性池化操作融合之前得到的多尺度深度局部特征和CNN获得的全局特征，获得更具区分性的特征；最后，对于有标注遥感影像数据集缺少的问题，本发明利用迁移学习策略，从有标注的大规模遥感影像数据集中进行知识迁移，在VGG16-Net上进行预训练，将模型参数迁移到所设计网络进行微调，实现对遥感影像场景的分类。本发明的总体框架如附图1所示，可分为以下三个步骤：多尺度深度局部特征的获取；多尺度深度特征融合；利用迁移学习进行遥感影像场景分类。

(1)多尺度深度局部特征的获取

遥感影像中场景类型是以地物对象为中心的，地物在场景分类中起着重要的作用，人眼视觉系统特性中，距离物体远近会产生不同的视角，形成不同的观测尺度。传统基于CNN的遥感影像场景分类方法虽然取得了很高的分类精度，但是利用单一尺度的图像作为训练输入，并没有考虑人眼观测不同视角的情况，这就使得CNN很难获得对尺度变换具有鲁棒性的特征。针对这一问题，本发明提出了多尺度深度局部特征的获取的方法，如图2所示，首先利用高斯金字塔算法，使用高斯核函数对遥感影像进行卷积，对卷积后的图像进行下采样操作，获得多尺度图像，然后输入到去掉最后三个全连接层的VGG16-Net中，用最后一个卷积层的特征图作为多尺度局部深度特征，获得的特征图大小为14×14×512。

(2)多尺度深度特征融合

现有的基于CNN的方法在遥感影像分类任务中取得了很好的性能，但是只使用最后一个全连接层作为全局特征表示图像，忽略了局部特征以及特征之间的相互作用关系。本发明引入紧凑双线性池化操作，如图3所示，首先将数据集图像裁减到224×224大小，裁剪后图像输入VGG16-Net，提取第二个全连接层的值作为全局特征，获得特征维数为4096，利用紧凑双线性池化操作同时编码(1)获得的多尺度深度局部特征和提取到的全局特征，融合这两种深度特征，共同作为遥感影像的特征表示，利用L2范数归一化统一特征值到一定范围内，使得特征之间的相互作用得到增强，同时可以降低特征的维度，得到更具代表性和鲁棒性的特征。

(3)利用迁移学习进行遥感影像场景分类

由于目前有标注的大规模遥感影像数据有限，大部分数据集的数据量都较少，直接用于训练网络不易于模型的收敛，会产生过拟合的问题。迁移学习为解决小样本学习问题提供了一个新的途径，利用其他领域中具有很大相似性的大量有标注的样本来预训练网络，从而提高网络的收敛速度。目前大多数迁移学习策略是从自然图像数据集进行知识迁移学习，然而自然图像和遥感影像存在一定的差异，不能很好的作为预训练模型。因此，本发明使用有标注的大规模遥感影像数据集在VGG16-Net上进行预训练，然后将参数迁移到改进的网络中，在新的数据集上使用相对较小的学习率进行微调，从而可以使网络更快的得到收敛，将获得的融合多特征进行分类任务，提高网络的特征表示能力，改善网络的分类性能。具体迁移流程如附图4所示。

在性能评价方面，采用总准确率(即所有场景正确分类的样本数和总样本数的比值)和单个类别准确率(即每个类别中被正确分类的样本数占单个类别样本总数的比值)作为性能评价指标。

本发明与现有技术相比，具有以下明显的优势和有益效果：

首先，本发明使用高斯金字塔的方法来提取多尺度的遥感影像作为深度网络的输入，获得多尺度深度局部特征，模拟人眼视觉系统特性，使得提取到的特征具有尺度变换的鲁棒性；其次，通过特征编码操作增强了特征之间的相互关系，融合全局特征、局部特征共同作为图像的特征表示，增强特征的可区分性，紧凑双线性池化操作可以得到维度较低的特征，减少计算效率和存储空间；最后，利用迁移学习的策略，解决了遥感影像数据量小，网络易过拟合的问题。

附图说明

图1遥感影像场景分类方法总体框架；

图2多尺度局部特征提取流程图；

图3多尺度深度特征融合流程图；

图4基于VGG16-Net网络进行迁移学习的流程图。

具体实施方式

根据上述描述，以下是一个具体的实施流程，但本专利所保护的范围并不限于该实施流程。

步骤1：多尺度深度局部特征的获取

步骤1.1：多尺度遥感影像的生成

本发明采用高斯金字塔算法，通过高斯核卷积和下采样形成多尺度遥感影像，高斯金字塔算法将高分辨率的图像置于最下层，将低分辨率图像置于最上层，形成金字塔型的多尺度图像，其中上一层图像的大小是下一层图像的四分之一，将获得的多尺度图像输入到去掉三个全连接层的VGG16-Net中，获得多尺度影像的局部特征，使得网络能够学习到同一图像不同尺度的特征，有利于正确分类遥感影像的场景。

设遥感影像数据集为I＝{I₁,I₂,…,I_K}，K是数据集图像数量。是图像 I_k的多尺度表示，k表示数据集中第k张图像，l表示所在尺度层数，L表示图像形成的尺度数量。I_k ⁰表示原始图像I_k，对于I_k ^l-1利用高斯核函数对其进行卷积，然后对卷积后的图像进行下采样，得到I_k ^l，重复对前一层图像进行卷积和下采样操作，反复迭代多次，得到最后金字塔型的多尺度遥感影像。卷积和下采样操作的定义式为：

其中，0<l≤L，(i,j)表示I_k ^l像素的空间位置，0<i≤R_l，0<j<C_l，R_l和C_l是第l层图像的行和列，﹡表示卷积操作，G(m,n)表示高斯核函数，大小为(2c+1) ×(2c+1)，c是一个正整数，(m,n)表示m行n列高斯核的位置。G(m,n)可用公式表示为：

其中σ表示高斯滤波的方差。

选取的高斯核函数需要满足如下条件：

(1)可分离性：G(m,n)＝G(m)*G(n),-c≤m≤c,-c≤n≤c (3)

(2)归一化：

(3)对称性：G(m)＝G(-m) (5)

(4)奇偶项等贡献：G(c)+G(-c)+G(0)＝G(c-1)+G[-(c-1)] (6)

其中，G(m)表示G(m,n)中第m行所有元素组成的一维行向量，G(n)表示 G(m,n)中第n列所有元素组成的一维列向量。

步骤1.2：多尺度局部深度特征的获取

为了输入不同尺度大小的图像，本发明去掉VGG16-Net最后三个全连接层，构造一个全卷积神经网络，将获得的多尺度遥感影像输入网络中，最后一个卷积层为所需要的多尺度深度局部特征，获得的特征大小为14×14× 512。

步骤2：多尺度深度特征融合

本发明中采用VGG16-Net作为基础模型，通过特征编码操作增强了特征之间的相互关系，融合全局特征、局部特征，共同表示图像的特征，具体步骤如下：

步骤2.1：紧凑双线性池化操作(CBP)编码多尺度局部特征和全局特征

1)将数据集图像裁剪到224×224大小，输入到VGG16-Net中，提取第二个全连接层作为图像的全局特征，获得特征维数为4096；

2)双线性池化操作(BP)操作是一种特征编码的方法，以平移不变式的形式收集二阶信息，可以提升多个视觉任务的表现,但是编码后的特征维数较高。紧凑双线性池化操作(CBP)对BP进行改进，利用投影函数将高维的特征映射到低维来表示，减少了计算复杂度和存储空间，本发明利用随机麦克劳林算法(RM)实现这种映射。

本发明将步骤1中VGG16-Net最后一个卷积层和步骤2.1的1)中获得的全局特征进行CBP操作，通过这个操作来对图像局部特征和全局特征进行编码，获得低维且具有区分度的特征，具体步骤如下：

(1)设步骤1获得的多尺度深度局部特征为X，表示为：

X＝(x₁,…,x_S,x_s∈R^p) (7)

设第二个全连接层获得的全局特征为Y，表示为：

Y＝(y₁,…,y_q) (8)

其中，S为VGG16-Net最后一个卷积层特征图14×14大小的特征集合， R表示实数集合，x_s表示特征集合S每个空间位置s处的特征向量，s∈[1,196]，每个x_s的维数为p，为最后一个卷积层通道数，在本发明中使用VGG16-Net， p的值为512，全局特征Y的维数为q，为第二个全连接层的维数，在本发明中q的值为4096。

(2)RM算法得到CBP编码特征过程为：

①随机产生映射所需固定参数值W_x1,W_x2∈R^d×p，W_y1,W_y2∈R^d×q，以相同概率选取+1或-1作为W_x1，W_x2，W_y1,W_y2每一项的值。其中，p为局部特征X维数，q为全局特征Y维数，d为RM得到的编码后特征维数，试验表明d的值设置在2000～8000可以获得较好的性能；

②设特征图每个空间位置s处特征值x_s的RM映射为φ_RM(x_s)，计算公式为

设全局特征Y的RM映射φ_RM(Y)，计算公式为：

其中°表示点乘运算；

③设CBP编码后多尺度深度局部特征为C(X),全局特征为C(Y)，

其计算公式为：

C(Y)＝φ_RM(Y) (12)

④设CBP操作获得融合特征为C_CBP，表示为：

C_CBP＝＜C(X),C(Y)＞ (13)

其中，<·>表示内积运算，C_CBP是一个长度为d的一维向量。

步骤2.2：融合特征归一化

将得到的全局特征和局部特征融合在一起共同作为图像的特征，但是由于全局特征和局部特征差异较大，采用L²范数归一化的方法将特征值统一在一定的范围内，平衡两种特征的关系，加强特征的鲁棒性。设紧凑双线性池化操作获得的特征为C_CBP＝(a₁,a₂,…,a_d)，a₁,...a_d表示每一个编码后的特征，共有d个特征，L²范数归一化的计算方法为：

特征C_CBP的L²范数e为：

L²归一化后特征为N_CBP：

N_CBP为最后用于分类任务的融合后的特征向量。

步骤3：利用迁移学习进行遥感影像场景分类

步骤3.1：遥感影像场景分类网络结构的设计

VGGNet使用较小的卷积核和较深的网络层数，网络参数相对较少，在迁移学习任务中取得了很好的性能。本发明采用VGG16-Net作为基础网络进行训练，包括13个卷积层和3个全连接层，共有五个最大池化层，输入图像大小为224×224的RGB图像，卷积核大小为3×3和1×1，卷积层步长为1， 3×3卷积层有一个像素的填充，以第一个卷积层为例，224×224×64表示特征图的尺寸为224×224，64表示一共有64个特征图，最后是三个全连接层，前两个的维数为4096，第三个全连接层维数为1000。本发明在VGG16-Net 网络结构的基础上作出改进，分别设计两个提取特征的网络。首先去掉 VGG16-Net的三个全连接层，构成全卷积神经网络，可以输入不同尺度的图像，提取多尺度的局部特征；然后，使用原始的VGG16-Net网络，将遥感影像裁剪到224×224大小输入网络中，提取图像的全局特征；最后将局部特征和全局特征利用紧凑双线性池化操作融合两种特征，归一化后输入softmax分类器中进行分类。

步骤3.2：迁移学习策略的设计

(1)利用VGG16-Net预训练大规模遥感影像

由于训练的遥感影像数据量较小，首先将有标注的大规模遥感影像进行归一化，调整尺寸为224×224，输入到VGG16-Net网络中，从高斯分布中随机采样获得网络初始化参数，输入网络样本的批处理大小设置为32，通过反向传播算法最小化损失函数，采用随机梯度下降法进行优化，使得整个训练集的损失函数值与小批量的损失值近似，不断迭代更新达到设置的迭代次数，得到预训练模型。

设输入分类器的特征为x⁽ⁱ⁾，输入到softmax分类器获得一个预测值 h_w,b(x⁽ⁱ⁾)，预测值和真实值y⁽ⁱ⁾的差异采用损失函数J(·)度量，网络的复杂度用 L²范数度量，具体优化目标函数如下：

J(w,b)＝y⁽ⁱ⁾×logh_w,b(x⁽ⁱ⁾)+(1-y⁽ⁱ⁾)×log(1-h_w,b(x⁽ⁱ⁾)) (17)

其中，w、b表示网络的所有权重和偏置参数，即学习的目标，H表示网络的层数，λ是惩罚系数，z表示训练样本个数。

权重更新步骤为：

w＝w-εg (19)

其中，g表示目标函数的梯度，ε表示学习率，在预训练过程中设定为0.01，惩罚系数λ设置为0.005，迭代次数设置在30000～50000之间。

(2)采用迁移学习策略微调遥感影像分类网络参数

(2.1)设多尺度遥感影像数据集为将除I_k ⁰以外的多尺度遥感影像输入到去掉全连接层的VGG16-Net中，利用迁移学习策略进行参数迁移，将步骤(1)中获得的网络模型参数去掉最后的softmax层和三个全连接层的参数作为该网络的初始化参数值；

(2.2)将I_k ⁰裁剪到224×224大小，输入到VGG16-Net中，利用迁移学习策略，将步骤(1)中获得的网络模型参数去掉最后的softmax层参数迁移到该网络中，作为初始化参数值；

(2.3)在最后的分类网络最后添加新的softmax层，softmax层的节点数为遥感数据集所需分类类别个数Q，从高斯分布中随机采样作为该层的初始化参数值；

(2.4)输入网络样本的批处理大小设置为32，将样本输入网络中逐层微调网络参数：对于H层的网络，首先设置前H-1层的学习率为0，设置最后一层学习率为0.001微调参数，然后设置H-2层的学习率为0，设置最后两层学习率为0.001微调参数，逐层微调网络参数，每次微调达到设置的迭代次数为止，迭代次数设置在10000～20000之间；所使用的目标函数为式(16)，权重更新步骤使用式(18)，微调过程使用较小的学习率，依据实验设定为0.001，惩罚系数λ设置为0.005；

用优化过的网络作为下一步的预训练模型重复训练网络，直到达到设定的迭代次数，获得最后的遥感影像分类网络模型。

步骤3.3：遥感影像场景的分类

利用训练好的网络对遥感影像进行场景分类任务，输入需要进行分类的遥感影像，获得融合多尺度局部特征和全局特征的特征向量，利用softmax进行场景类型判别，获得该图像在每一类下的概率，概率值最大的即为对应的图像类别。

在分类性能评价方面，采用总准确率(Accuracy)和单个类别准确率 (Accuracy_c)作为性能评价指标。

总准确率指所有场景正确分类的样本数和总样本数的比值，设总样本数为F，正确分类样本数为F₀，总准确率表示为：

单个类别准确率指每个类别中被正确分类的样本数占单个类别样本总数的比值，设单个类别样本总数为F_C，每个类别被正确分类的样本数为F₁，单个类别准确率表示为：

Claims (3)

1.一种基于多尺度深度特征融合和迁移学习的遥感影像场景分类方法，其特征在于：

首先，模仿人眼视觉系统特性，获得不同尺度下遥感影像特征，采用高斯金字塔算法来获取多尺度的遥感影像，去掉VGG16-Net最后三个全连接层作为全卷积神经网络，将多尺度的遥感影像作为全卷积神经网络的输入，获得多尺度的局部特征；其次，将数据集图像裁剪到VGG16-Net所需固定大小224×224，输入到网络中获得全局特征，然后用紧凑双线性池化操作融合之前得到的多尺度深度局部特征和CNN获得的全局特征，获得更具区分性的特征；最后，在VGG16-Net上进行预训练，将模型参数迁移到所设计网络进行微调，实现对遥感影像场景的分类。

2.根据权利要求1所述的一种基于多尺度深度特征融合和迁移学习的遥感影像场景分类方法，分为以下三个步骤：多尺度深度局部特征的获取；多尺度深度特征融合；利用迁移学习进行遥感影像场景分类；

(1)多尺度深度局部特征的获取

遥感影像中场景类型是以地物对象为中心的，地物在场景分类中起着重要的作用，人眼视觉系统特性中，距离物体远近会产生不同的视角，形成不同的观测尺度；

首先利用高斯金字塔算法，使用高斯核函数对遥感影像进行卷积，对卷积后的图像进行下采样操作，获得多尺度图像，然后输入到去掉最后三个全连接层的VGG16-Net中，用最后一个卷积层的特征图作为多尺度局部深度特征，获得的特征图大小为14×14×512；

(2)多尺度深度特征融合

将数据集图像裁减到224×224大小，裁剪后图像输入VGG16-Net，提取第二个全连接层的值作为全局特征，获得特征维数为4096，利用紧凑双线性池化操作同时编码(1)获得的多尺度深度局部特征和提取到的全局特征，融合这两种深度特征，共同作为遥感影像的特征表示，利用L2范数归一化统一特征值；

(3)利用迁移学习进行遥感影像场景分类

使用有标注的大规模遥感影像数据集在VGG16-Net上进行预训练，然后将参数迁移到改进的网络中，在新的数据集上进行调整。

3.根据权利要求1所述的一种基于多尺度深度特征融合和迁移学习的遥感影像场景分类方法

步骤1：多尺度深度局部特征的获取

步骤1.1：多尺度遥感影像的生成

采用高斯金字塔算法，通过高斯核卷积和下采样形成多尺度遥感影像，高斯金字塔算法将高分辨率的图像置于最下层，将低分辨率图像置于最上层，形成金字塔型的多尺度图像，其中上一层图像的大小是下一层图像的四分之一，将获得的多尺度图像输入到去掉三个全连接层的VGG16-Net中，获得多尺度影像的局部特征，使得网络能够学习到同一图像不同尺度的特征，有利于正确分类遥感影像的场景；

设遥感影像数据集为I＝{I₁,I₂,…,I_K}，K是数据集图像数量；是图像I_k的多尺度表示，k表示数据集中第k张图像，l表示所在尺度层数，L表示图像形成的尺度数量；I_k ⁰表示原始图像I_k，对于I_k ^l-1利用高斯核函数对其进行卷积，然后对卷积后的图像进行下采样，得到I_k ^l，重复对前一层图像进行卷积和下采样操作，反复迭代多次，得到最后金字塔型的多尺度遥感影像；卷积和下采样操作的定义式为：

其中，0<l≤L，(i,j)表示I_k ^l像素的空间位置，0<i≤R_l，0<j<C_l，R_l和C_l是第l层图像的行和列，﹡表示卷积操作，G(m,n)表示高斯核函数，大小为(2c+1)×(2c+1)，c是一个正整数，(m,n)表示m行n列高斯核的位置；G(m,n)用公式表示为：

其中σ表示高斯滤波的方差；

选取的高斯核函数需要满足如下条件：

(1)可分离性：G(m,n)＝G(m)*G(n),-c≤m≤c,-c≤n≤c (3)

(2)归一化：

(3)对称性：G(m)＝G(-m) (5)

(4)奇偶项等贡献：G(c)+G(-c)+G(0)＝G(c-1)+G[-(c-1)] (6)

其中，G(m)表示G(m,n)中第m行所有元素组成的一维行向量，G(n)表示G(m,n)中第n列所有元素组成的一维列向量；

步骤1.2：多尺度局部深度特征的获取

为了输入不同尺度大小的图像，去掉VGG16-Net最后三个全连接层，构造一个全卷积神经网络，将获得的多尺度遥感影像输入网络中，最后一个卷积层为所需要的多尺度深度局部特征，获得的特征大小为14×14×512；

步骤2：多尺度深度特征融合

采用VGG16-Net作为基础模型，通过特征编码操作增强了特征之间的相互关系，融合全局特征、局部特征，共同表示图像的特征，具体步骤如下：

步骤2.1：紧凑双线性池化操作(CBP)编码多尺度局部特征和全局特征

1)将数据集图像裁剪到224×224大小，输入到VGG16-Net中，提取第二个全连接层作为图像的全局特征，获得特征维数为4096；

2)利用随机麦克劳林算法(RM)实现这种映射；

将步骤1中VGG16-Net最后一个卷积层和步骤2.1的1)中获得的全局特征进行CBP操作，通过这个操作来对图像局部特征和全局特征进行编码，获得低维且具有区分度的特征，具体步骤如下：

(1)设步骤1获得的多尺度深度局部特征为X，表示为：

X＝(x₁,…,x_S,x_s∈R^p) (7)

设第二个全连接层获得的全局特征为Y，表示为：

Y＝(y₁,…,y_q) (8)

其中，S为VGG16-Net最后一个卷积层特征图14×14大小的特征集合，R表示实数集合，x_s表示特征集合S每个空间位置s处的特征向量，s∈[1,196]，每个x_s的维数为p，为最后一个卷积层通道数，使用VGG16-Net，p的值为512，全局特征Y的维数为q，为第二个全连接层的维数，q的值为4096；

(2)RM算法得到CBP编码特征过程为：

①随机产生映射所需固定参数值W_x1,W_x2∈R^d×p，W_y1,W_y2∈R^d×q，以相同概率选取+1或-1作为W_x1，W_x2，W_y1,W_y2每一项的值；其中，p为局部特征X维数，q为全局特征Y维数，d为RM得到的编码后特征维数，试验表明d的值设置在2000～8000；

②设特征图每个空间位置s处特征值x_s的RM映射为φ_RM(x_s)，计算公式为

设全局特征Y的RM映射φ_RM(Y)，计算公式为：

其中表示点乘运算；

③设CBP编码后多尺度深度局部特征为C(X),全局特征为C(Y)，

其计算公式为：

C(Y)＝φ_RM(Y) (12)

④设CBP操作获得融合特征为C_CBP，表示为：

C_CBP＝＜C(X),C(Y)＞ (13)

其中，<·>表示内积运算，C_CBP是一个长度为d的一维向量；

步骤2.2：融合特征归一化

将得到的全局特征和局部特征融合在一起共同作为图像的特征，但是由于全局特征和局部特征差异较大，采用L²范数归一化的方法将特征值统一；设紧凑双线性池化操作获得的特征为C_CBP＝(a₁,a₂,…,a_d)，a₁,...a_d表示每一个编码后的特征，共有d个特征，L²范数归一化的计算方法为：

特征C_CBP的L²范数e为：

L²归一化后特征为N_CBP：

N_CBP为最后用于分类任务的融合后的特征向量；

步骤3：利用迁移学习进行遥感影像场景分类

步骤3.1：遥感影像场景分类网络结构的设计

采用VGG16-Net作为基础网络进行训练，包括13个卷积层和3个全连接层，共有五个最大池化层，输入图像大小为224×224的RGB图像，卷积核大小为3×3和1×1，卷积层步长为1，3×3卷积层有一个像素的填充，以第一个卷积层为例，224×224×64表示特征图的尺寸为224×224，64表示一共有64个特征图，最后是三个全连接层，前两个的维数为4096，第三个全连接层维数为1000；在VGG16-Net网络结构的基础上作出改进，分别设计两个提取特征的网络；首先去掉VGG16-Net的三个全连接层，构成全卷积神经网络，输入不同尺度的图像，提取多尺度的局部特征；然后，使用原始的VGG16-Net网络，将遥感影像裁剪到224×224大小输入网络中，提取图像的全局特征；最后将局部特征和全局特征利用紧凑双线性池化操作融合两种特征，归一化后输入softmax分类器中进行分类；

步骤3.2：迁移学习策略的设计

(1)利用VGG16-Net预训练大规模遥感影像

首先将有标注的大规模遥感影像进行归一化，调整尺寸为224×224，输入到VGG16-Net网络中，从高斯分布中随机采样获得网络初始化参数，输入网络样本的批处理大小设置为32，通过反向传播算法最小化损失函数，采用随机梯度下降法进行优化，使得整个训练集的损失函数值与小批量的损失值近似，不断迭代更新达到设置的迭代次数，得到预训练模型；

设输入分类器的特征为x⁽ⁱ⁾，输入到softmax分类器获得一个预测值h_w,b(x⁽ⁱ⁾)，预测值和真实值y⁽ⁱ⁾的差异采用损失函数J(·)度量，网络的复杂度用L²范数度量，具体优化目标函数如下：

J(w,b)＝y⁽ⁱ⁾×logh_w,b(x⁽ⁱ⁾)+(1-y⁽ⁱ⁾)×log(1-h_w,b(x⁽ⁱ⁾)) (17)

其中，w、b表示网络的所有权重和偏置参数，即学习的目标，H表示网络的层数，λ是惩罚系数，z表示训练样本个数；

权重更新步骤为：

w＝w-εg (19)

其中，g表示目标函数的梯度，ε表示学习率，在预训练过程中设定为0.01，惩罚系数λ设置为0.005，迭代次数设置在30000～50000之间；

(2)采用迁移学习策略微调遥感影像分类网络参数

(2.1)设多尺度遥感影像数据集为将除I_k ⁰以外的多尺度遥感影像输入到去掉全连接层的VGG16-Net中，利用迁移学习策略进行参数迁移，将步骤(1)中获得的网络模型参数去掉最后的softmax层和三个全连接层的参数作为该网络的初始化参数值；

(2.2)将I_k ⁰裁剪到224×224大小，输入到VGG16-Net中，利用迁移学习策略，将步骤(1)中获得的网络模型参数去掉最后的softmax层参数迁移到该网络中，作为初始化参数值；

(2.3)在最后的分类网络最后添加新的softmax层，softmax层的节点数为遥感数据集所需分类类别个数Q，从高斯分布中随机采样作为该层的初始化参数值；

(2.4)输入网络样本的批处理大小设置为32，将样本输入网络中逐层微调网络参数：对于H层的网络，首先设置前H-1层的学习率为0，设置最后一层学习率为0.001微调参数，然后设置H-2层的学习率为0，设置最后两层学习率为0.001微调参数，逐层微调网络参数，每次微调达到设置的迭代次数为止，迭代次数设置在10000～20000之间；所使用的目标函数为式(16)，权重更新步骤使用式(18)，微调过程使用学习率设定为0.001，惩罚系数λ设置为0.005；

用优化过的网络作为下一步的预训练模型重复训练网络，直到达到设定的迭代次数，获得最后的遥感影像分类网络模型；

步骤3.3：遥感影像场景的分类

利用训练好的网络对遥感影像进行场景分类任务，输入需要进行分类的遥感影像，获得融合多尺度局部特征和全局特征的特征向量，利用softmax进行场景类型判别，获得该图像在每一类下的概率，概率值最大的即为对应的图像类别。