CN110728192B - 一种基于新型特征金字塔深度网络的高分遥感图像分类方法 - Google Patents

Abstract

本发明公开了一种基于新型特征金字塔深度网络的高分遥感图像分类方法。首先，以ResNet34网络模型为基础，设计一个新型深度卷积神经网络；其次，将高分遥感图像输入网络中进行训练，将ResNet34各主要卷积层输出作为后续的输入特征；利用特征金字塔网络对输入特征进行融合形成新的特征；接着，新深层特征和新浅层特征分别融合后作为上下两条支路的输入，支路上分别设计有两个残差块和一个全局平均池化层。上下支路的特征经融合后送入全连接层，经SoftMax层后对遥感图像进行分类。本发明以深度学习理论为基础对高分遥感图像进行特征提取并融合，使每种特征得以增强。新特征再次融合后送入上下两条支路以学习图像级特征，经实验证明提出的方法能实现良好的分类效果。

Description

一种基于新型特征金字塔深度网络的高分遥感图像分类方法

技术领域

本发明属于图像处理领域，尤其涉及一种基于深度学习的高分遥感图像分类方法。

背景技术

遥感，泛指远程非接触式的探测技术。由于不同物体对同一波段电磁波的波谱效应具有明显差异，遥感技术设备根据此原理分析物体波谱图，从而实现对远距离物体的识别。通用的遥感技术可以分为多光谱、高光谱、合成孔径雷达，生成的遥感图像具有不同的空间分辨率、光谱分辨率和时间分辨率。空间分辨率，是指遥感图像上能够详细区分的最小单元的尺寸或大小。随着遥感技术的不断发展，遥感图像的空间分辨率呈级数提高：2012年发射的法国SPOT-6卫星可提供全色1.5m分辨率的高清晰地面图像；2014 年发射的美国WorldView-3卫星可以提供全色0.3m分辨率的高清晰地面图像。近年来，我国遥感技术取得长足发展，地面像元分辨率最高可达亚米级：2018年我国发射的GF-11 卫星能够实现10cm或更小的地面图像分辨率。

高空间分辨率遥感图像具有丰富的地物纹理信息，常应用于国土普查、地物分类和变化检测等领域，为重大计划的实施提供信息保障。

目前，由于高分遥感图像数据量巨大，如何更准确无误地将遥感图像根据职能划分为不同种类是学术界尤为关注的课题。实际上，样本特征提取的有效性、独特性对高分遥感图像分类精度有极其重要的影响。

公开号CN104732244A一种基于小波变换、多策略PSO和SVM集成的遥感图像分类方法，通过对进行灰度变换、去噪处理后的遥感图像进行小波变换，归一化后得到纹理特征向量；采用基于多策略改进的粒子群优化算法,优化SVM分类器参数；采用已知遥感图像样本的类别和该图像对应的纹理特征向量所形成的训练样本集对SVM分类器进行训练,获得最优SVM分类器；采用最优SVM分类器对待分类的遥感图像纹理特征向量进行分类。但是，人工设计特征(小波变换、纹理特征)提取时间长，特殊情况下较为复杂，不利于分类精度的提高。

公开号CN105894030A一种基于分层多特征融合的高分辨率遥感图像场景分类方法，通过提取训练样本的组合全局特征，并进行聚类分析；设置阈值，将样本图像划分为第一训练子集和第二训练子集，分别训练全局特征分类器和局部精简特征分类器；在测试时根据聚类分析结果从两个分类器中选出最适合于测试样本的分类器来对测试样本进行分类。该方法虽然融合了遥感图像的全局特征和局部特征，丰富了特征信息，但仅使用两类网络最深层的输出作为最后分类器的输入特征，忽略了其他层的特征，分类效果有提高空间。

综上，现有的高分遥感图像分类方法，存在的诸多不足，主要表现在：

(1)现有的遥感图像分类方法仅关注最后一层卷积层的特征(高层特征)，高层特征更注重语义信息，可以帮助检测目标。但忽略浅层卷积层的特征的做法使得所提取的图像特征不具有鲁棒性，导致图像分类精度不高。；

(2)现有的遥感图像分类方法若对图像进行上采样操作通常采用双线性插值法，该方法虽然在样本总量较少的传统方法中表现出众，但是双线性插值法存在计算量大、线性插值后图像高频分量严重受损、实例物体边缘模糊不清等缺点，在对精确度要求极高、样本数据量丰富的现代深度学习领域中并不适合。经研究发现，利用转置卷积进行上采样操作所用计算量少、特征准确率高、使用操作便捷等优点。

发明内容

发明目的：针对以上问题，本发明提供一种基于新型特征金字塔深度网络的高分遥感图像分类方法，以解决上述问题。该方法避免了过多人工特征的提取，充分利用主要输出特征来丰富特征图的信息，增强特征鲁棒性，提高图像分类的精确度。

技术方案：为实现发明目的，本发明所采用的技术方案是：一种基于新型特征金字塔深度网络的高分遥感图像分类方法，该方法包含训练阶段和测试阶段：

所述训练阶段包括以下步骤：

(1)构建多分类遥感图像数据集，并制作相应的样本标签，将每类遥感图像按比例划分为训练集Train和测试集Test；

(2)构建卷积神经网络ResNet，使用高分遥感图像数据训练集对卷积神经网络进行训练；

(3)将卷积神经网络模型卷积层各阶段的输出特征值设为C₂、C₃、C₄、C₅，使用卷积核尺寸为1x1的卷积层分别对其进行特征降维，降维后的各输出特征值与该层的前一层的输出特征值进行特征融合；

(4)针对融合后的特征，使用卷积核尺寸为3x3的卷积层消除混叠效应，新生成的特征图设为P₂、P₃、P₄、P₅；

(5)对P₅、P₃利用转置卷积进行上采样至P₄、P₂大小，对P₄、P₂使用卷积核为1x1 的卷积操作，分别将P₅与P₄、P₃与P₂融合生成增强特征D₄、D₂；

(6)针对增强后特征，设计两路并行特征处理支路，用于学习D₂、D₄中有利于场景分类的深度特征，两路深度特征再经串联形式进行融合；

(7)针对步骤(6)的融合特征，将其送入全连接层后利用SoftMax进行分类；

所述测试阶段包括以下步骤：

(8)将测试集输入到步骤(2)中训练好的卷积神经网络中，得到各阶段最后一层卷积层的输出特征C₂、C₃、C₄、C₅；

(9)利用步骤(3)中所述的卷积操作方法，对步骤(8)得到的卷积层输出特征进行特征降维后融合；融合后按照步骤(4)中所述的卷积操作方法，分别对其进行消除混叠操作，得到特征图P₂、P₃、P₄、P₅；

(10)对P₅、P₃利用转置卷积进行上采样至P₄、P₂大小，对P₄、P₂使用卷积核为1x1 的卷积操作，分别将P₅与P₄、P₃与P₂融合生成增强特征D₄、D₂；

(11)采用步骤(6)中所述的特征处理支路，学习D₂、D₄中的深度特征，再通过串联融合，得到融合特征X；

(12)将融合特征X送入步骤(7)中已训练完成的全连接层后得到输出特征Y，利用SoftMax对输出特征Y进行分类识别，进而实现对测试集的类别预测。

进一步的，步骤(1)种的划分训练集和测试集的方法如下：

(1.1)划分多分类遥感图像数据集Image＝[Image₁,…,Image_i,…,Image_N]，并制作相应的样本标签Label＝[Label₁,…,Label_i,…,Label_N]，其中N表示共有N类遥感图像，Image_i表示第i类遥感图像集合，Label_i表示第i类遥感图像的标签集合，标签集合的取值为i-1，i的取值为i＝1,2,…,N；

(1.2)将每类遥感图像数据集分为训练集Train和测试集Test，针对数据集中的每类遥感图像，设其样本总数为n，从其中随机抽取m张图像用于构建训练集，剩余n-m张遥感图像用于构建测试集，则有：Train＝[Train₁,…,Train_i,…,Train_m]，Test＝ [Test₁,…,Test_i,…,Test_n-m]，其中，Train_i表示第i类遥感图像的训练集，它包含m张图像，Test_i表示第i类高分遥感图像的测试集，它包含n-m张图像。

进一步的，步骤(2)中的，卷积神经网络的搭建方法如下：

(2.1)搭建一个以ResNet34模型为基础的网络：ResNet34模型共有5个阶段，各阶段名为Conv1、Conv2_x、Conv3_x、Conv4_x、Conv5_x，选用FPN结构，在该结构中共设置4层卷积层，每层卷积层分别对接于Conv5_x、Conv4_x、Conv3_x、Conv2_x阶段的最后1层卷积层输出端。FPN中的各卷积层记为ConvLayer1、ConvLayer2、ConvLayer3、 ConvLayer4，紧接在FPN结构后设计了2个并行的高层语义嵌入模块，每个模块中包含1层转置卷积层和1层卷积层，转置卷积层记为DeconvLayer1、DeconvLayer2，卷积层记为NewconvLayer1、NewconvLayer2，在每个高层语义嵌入模块后，设计一路特征处理支路，共上下两支路，每个支路中含有2个残差块和1个全局平均池化层，残差块分为主路和旁路，主路包含3层卷积层，旁路包含1层卷积层，上支路中残差块和全局平均池化层分别用ResidualBlock1、ResidualBlock2和Average Pool1表示，下支路中残差块和全局平均池化层分别用ResidualBlock3、ResidualBlock4和Average Pool2表示，最后一层为基于SoftMax的全连接层，记为Fc，其中，卷积层的目的在于提取并处理特征图，池化层用于对卷积层得到的特征图进行压缩，全连接层能够将特征图转化成一个一维向量。

进一步的，将遥感图像训练集输入搭建好的卷积神经网络中，前馈计算深度卷积神经网络每个神经元的输出值，设置各层特征图计算函数以及最小化损失函数：

(3.1)假设第l层为卷积层，则第l层的第j个特征图

的计算公式为：

其中，*表示卷积操作，

表示第l-1层第i个特征图，

表示从

到

的卷积核，

表示第l层第j个特征图的偏置，g(·)表示激活函数，M^l-1表示第l-1层特征图的个数；

(3.2)假设第l层为池化层，则第l层的第j个特征图

的计算公式为：

其中，g(·)表示激活函数，

表示第l层第j个特征图的池化参数，down(·)表示池化函数，

表示第l-1层第i个特征图，

表示第l层第j个特征图的偏置；

(3.3)假设第l层为全连接层，则第l层的第j个特征图

的计算公式为：

其中，z^l-1表示第l-1层所有特征图的加权和，

表示第l层第j个特征图的偏置，g(·) 表示激活函数；

(3.4)假设第l层为转置卷积层，则第l层的第j个特征图

的计算公式为：

其中，

表示第l-1层第i个特征图的转置形式，

表示从

到

的卷积核的转置形式，*表示卷积操作；

(3.5)反向传播计算深度卷积神经网络的损失函数：

(3.5.1)设遥感图像训练集共有N×m张图像，那么其中任意一张图像I_i,i∈ {1,2,…,N×m}，N表示共有N类遥感图像，m表示每一类在训练集中占m张；

(3.5.2)对于图像I_k，若深度卷积神经网络将其正确预测为第i类的概率为p_i，则多分类任务中的交叉熵损失函数的通式为：

其中，p＝[p₀,…,p_i,…,p_N-1]是一个概率分布，每个元素p_i表示图像属于第i类的概率；y＝[y₀,…,y_i,…,y_N-1]是图像标签的one-hot表示，当样本属于第i类时y_i＝1，否则y_i＝0；

所以总体交叉熵损失函数的公式为：

(3.6)采用梯度下降算法，最小化损失函数，并更新卷积神经网络中的各个参数；

(3.6.1)训练深度卷积神经网络寻找最佳参数以最小化损失函数Loss，卷积神经网络的参数是步骤(3.1)中描述的

若用W表示所有参数，即：

则采用遥感图像训练集训练卷积神经网络后，可以找到一组参数W^*，使得：

其中，arg表示W^*满足minLoss；

(3.6.2)采用梯度下降算法更新卷积神经网络的参数，同时最小化损失函数Loss：

其中，α表示学习率，决定每一步的收敛速度，W⁽ⁱ⁾表示第i组待更新的参数，W^(i-1)表示已更新的第i-1组参数，

表示损失函数Loss对参数W⁽ⁱ⁾的偏导数；

(3.7)在原始FPN结构中使用双线性插值对特征图进行上采样实现尺度变化：假设原始图像p₁尺寸为height₁×width₁，经双线性插值后图像p₂尺寸放大为height₂× width₂，图像各方向分别放大

倍和

倍，获取双线性插值后图像p₂中任意一点 q＝(a₁,b₁)处的像素值f(q)。

进一步的，步骤(3)的方法具体如下：

(4.1)根据步骤(3.1)的方法，可以得到ResNet34网络的Conv2_x、Conv3_x、Conv4_x、Conv5_x的最后一层卷积层输出特征C₂、C₃、C₄、C₅；

(4.2)将(4.1)计算得到的各卷积层输出结果C₂、C₃、C₄、C₅，根据步骤(3.1) 的方法，用卷积核为1x1的卷积层进行卷积操作，实现特征降维从而得到C′₂、C′₃、C′₄、 C′₅；

(4.3)将(4.2)中得到的C′₅设为P′₅，按照步骤(3.5.2)的方法，P′₅经双线性插值后尺寸扩展至C′₄大小，之后与C′₄逐元素相加得到P′₄，同理，P′₄经双线性插值后与C′₃相加得到P′₃，P′₃经双线性插值后与C′₂相加得到P′₂。

进一步的，步骤(4)的方法如下：将(4.3)计算得到的各卷积层输出结果P′₅、P′₄、P′₃、P′₂，根据步骤(3.1)的方法，用卷积核尺寸为3x3的卷积层进行卷积操作得到P₅、 P₄、P₃、P₂。

进一步的，步骤(5)的具体方法如下：

(5.1)将计算得到的P₄，根据步骤(3.1)的方法，用卷积核尺寸为1x1的卷积层进行卷积操作，对其语义信息进行重排生成S₄，将计算得到的P₅，根据步骤(3.4)的方法，用卷积核尺寸为3x3、步长为2的转置卷积层进行转置卷积操作将P₅尺寸扩展至P₄大小生成S₅，将S₅与S₄进行逐元素相加操作以增强原始特征，生成的新特征图为D₄；

(5.2)将计算得到的P₂，根据步骤(3.1)的方法，用卷积核尺寸为1x1的卷积层进行卷积操作，对其语义信息进行重排生成S₂，将计算得到的P₃，根据步骤(3.4)的方法，用卷积核尺寸为3x3、步长为2的转置卷积层进行转置卷积操作将P₃尺寸扩展至P₂大小生成S₃，将S₂与S₃进行逐元素相加操作以增强原始特征，生成的新特征图为D₂。

进一步的，步骤(6)的两路特征处理支路设计的具体方法如下：

(6.1)将(5.1)中计算得到的D₄和(5.2)中计算得到的D₂分别作为各自支路首个残差块输入，根据步骤(3.1)的方法，D₄与D₂在旁路用卷积核尺寸为1x1的卷积层进行卷积实现特征降维得到f₁、f₂，D₄与D₂在主路顺序使用卷积核尺寸为1x1、3x3、1x1 的卷积层进行卷积得到e₁、e₂，将f₁与e₁、f₂与e₂逐元素相加融合得到新特征图d₁和d₂；

(6.2)将(6.1)中计算得到的d₁、d₂分别作为各自支路第二个残差块输入，根据步骤(3.1)的方法，d₁和d₂在旁路用卷积核尺寸为1x1的卷积层进行卷积操作实现特征降维得到f₃、f₄，d₁和d₂在主路顺序使用卷积核尺寸为1x1、3x3、1x1的卷积层进行卷积操作得到e₃、e₄，将f₃与e₃、f₄与e₄逐元素相加融合得到新特征图d₃和d₄；

(6.3)将(6.2)中计算得到的d₃、d₄分别作为各自支路全局平均池化层的输入，按照步骤(3.2)的方法，可以得到d₃、d₄经全局平均池化后的结果Feature_x、Feature_y；

(6.4)将上述Feature_x和Feature_y通过串联形式进行融合，融合方法为：

X为融合后的最终深度特征向量。

进一步的，针对步骤(6)中融合特征X，利用带有SoftMax层的全连接层进行类别分类：

(7.1)将融合特征X作为全连接层Fc的输入，按照步骤(3.3)的方法，可以得到全连接层的输出特征Y：

Y＝[y₁,y₂,…,y_n]

其中，n表示数据集中共计的n种类别的图像；

(7.2)针对全连接层输出特征Y，通过采用SoftMax方法，计算每一个训练集中遥感图像样本属于第i类的SoftMax值为：

其中，y_i与y_j表示输入特征中的第i个和第j个样本，e表示常数，S_i表示图片属于第i类的概率值；

(7.3)根据(7.2)得到的S_i,i＝1,2,…,n，可以得到第i个遥感图像的最终概率值：

S＝max(S₁,S₂,…,S_n)

其中，max(·)表示取n个S_i中的概率最大值，此时概率最大值S_i所对应的标签类别即作为第i个遥感图像样本的预测类别值Predict_label_i；

(7.4)根据预测结果，利用梯度上升算法不断优化参数，使所有训练样本的预测类别值Predict_label与标签值Label相等。

有益效果：与现有技术相比，本发明的技术方案具有以下有益技术效果：

(1)本发明的方法可以通过深度卷积神经网络自动学习并提取遥感图像的深度特征，避免人工特征的提取，降低了复杂度，减少了人为干预；

(2)本发明的方法使用FPN把更抽象、语义更强的深层特征图进行上取样，然后把该特征横向连接至前一层特征，特征因此得到加强，避免了经典方法只注重最后一层特征所带来的分类精度的局限性；

(3)本发明的方法创新性地对深层特征和浅层特征分离处理，利用深层语义嵌入模块进一步加强深层的语义信息和浅层的细节信息，提高了浅层信息的利用率。两路特征图各自经特征处理支路后以串联方式融合，得到的特征具有一定的鲁棒性。

附图说明

图1为本发明实施例的框架图；

图2为搭建的神经网络的结构图。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步的说明。

如图1所示，进一步的详细描述如下：

1.构建多分类遥感图像数据集，并制作相应的样本标签，将每类遥感图像按比例划分为训练集Train和测试集Test；

(1.1)划分多分类遥感图像数据集Image＝[Image₁,…,Image_i,…,Image_N]，并制作相应的样本标签Label＝[Label₁,…,Label_i,…,Label_N]，其中，N表示共有N类遥感图像，Image_i表示第i类遥感图像集合，Label_i表示第i类遥感图像的标签集合，标签集合的取值为i-1，i的取值为i＝1,2,…,N；

(1.2)将每类遥感图像数据集分为训练集Train和测试集Test，针对数据集中的每类高分遥感场景图像，设其样本总数为n，从其中随机抽取m张遥感图像构建训练集，剩余n-m张遥感图像构建测试集，则有Train＝[Train₁,…,Train_i,…,Train_m]， Test＝[Test₁,…,Test_i,…,Test_n-m]，其中，Train_i表示第i类遥感图像的训练集，它包含m张图像，Test_i表示第i类高分遥感图像的测试集，它包含n-m张图像。

2.神经网络的搭建和训练

(2.1)搭建一个以ResNet34模型为基础的网络：ResNet34模型共有5个阶段，各阶段名为Conv1、Conv2_x、Conv3_x、Conv4_x、Conv5_x。选用FPN结构，在该结构中共设置4层卷积层，每层卷积层分别对接于Conv5_x、Conv4_x、Conv3_x、Conv2_x阶段的最后1层卷积层输出端。FPN中的各卷积层记为ConvLayer1、ConvLayer2、ConvLayer3、 ConvLayer4。紧接在FPN结构后设计了2个并行的高层语义嵌入模块，每个模块中包含1层转置卷积层和1层卷积层，转置卷积层记为DeconvLayer1、DeconvLayer2，卷积层记为NewconvLayer1、NewconvLayer2。在每个高层语义嵌入模块后，设计一路特征处理支路，共上下两支路，每个支路中含有2个残差块和1个全局平均池化层，残差块分为主路和旁路。主路包含3层卷积层，旁路包含1层卷积层，上支路中残差块和全局平均池化层分别用ResidualBlock1、ResidualBlock2和Average Pool1表示，下支路中残差块和全局平均池化层分别用ResidualBlock3、ResidualBlock4和Average Pool2表示，最后一层为基于SoftMax的全连接层，记为Fc，其中，卷积层的目的在于提取并处理特征图，池化层用于对卷积层得到的特征图进行压缩，全连接层能够将特征图转化成一个一维向量。

搭建好的卷积神经具体参数如下：

(a)在输入层Conv1_x中，将每一个遥感图像尺寸重定义为224x224，并归一化；

(b)在卷积层Conv2_x中，定义1个池化层，池化方式为MaxPoooling；定义3个BasicBlock，每个BasicBlock中定义2层，每层64个尺寸为3x3的卷积核，步长为1；

(c)在卷积层Conv3_x中，定义4个BasicBlock，每个BasicBlock中定义2层，每层128个尺寸为3x3的卷积核，步长为1；

(d)在卷积层Conv4_x中，定义6个BasicBlock，每个BasicBlock中定义2层，每层256个尺寸为3x3的卷积核，步长为1；

(e)在卷积层Conv5_x中，定义3个BasicBlock，每个BasicBlock中定义2层，每层512个尺寸为3x3的卷积核，步长为1；

(f)在卷积层ConvLayer1、ConvLayer2、ConvLayer3、ConvLayer4中，分别定义256个尺寸为1x1的卷积核，步长为1；

(g)在转置卷积层DeconvLayer1、DeconvLayer2中，分别定义256个尺寸为3x3的卷积核，步长为2，padding为1，output_padding为1；

(h)在卷积层NewconvLayer1、NewconvLayer2中，分别定义256个尺寸为1x1的卷积核，步长为1；

(i)在上下两路特征处理支路中，定义4个ResidualBlock，每个ResidualBlock中主路定义3层卷积层，每层卷积核尺寸分别定义为1x1、3x3、1x1，通道数为64、64、256，步长均为1；同时ResidualBlock中旁路定义1层卷积层，定义256个尺寸为1x1的卷积核，步长为1；

(j)在上下两路特征处理支路中，定义2个Average Pool，池化方式均为AdaptiveAveragePool，输出尺寸为1x1；

(k)最后一层Fc为全连接层。

3.将遥感图像训练集输入搭建好的卷积神经网络中，前馈计算深度卷积神经网络每个神经元的输出值；

(3.1)假设第l层为卷积层，则第l层的第j个特征图

的计算公式为：

其中，*表示卷积操作，

表示第l-1层第i个特征图，

表示从

到

的卷积核，

表示第l层第j个特征图的偏置，g(·)表示激活函数，M^l-1表示第l-1层特征图的个数；

(3.2)假设第l层为池化层，则第l层的第j个特征图

的计算公式为：

其中，g(·)表示激活函数，

表示第l层第j个特征图的池化参数，down(·)表示池化函数，

表示第l-1层第i个特征图，

表示第l层第j个特征图的偏置；

(3.3)假设第l层为全连接层，则第l层的第j个特征图

的计算公式为：

其中，z^1-1表示第l-1层所有特征图的加权和，

表示第l层第j个特征图的偏置，g(·) 表示激活函数；

(3.4)假设第l层为转置卷积层，则第l层的第j个特征图

的计算公式为：

其中，

表示第l-1层第i个特征图的转置形式，

表示从

到

的卷积核的转置形式，*表示卷积操作；

(3.5)反向传播计算深度卷积神经网络的损失函数：

(3.5.1)设遥感图像训练集共有N×m张图像，那么其中任意一张图像I_i,i∈ {1,2,…,N×m}，N表示共有N类遥感图像，m表示每一类在训练集中占m张；

(3.5.2)对于图像I_k，若深度卷积神经网络将其正确预测为第i类的概率为p_i，则多分类任务中的交叉熵损失函数的通式为：

其中，p＝[p₀,…,p_i,…,p_N-1]是一个概率分布，每个元素p_i表示图像属于第i类的概率；y＝[y₀,…,y_i,…,y_N-1]是图像标签的one-hot表示，当样本属于第i类时y_i＝1，否则y_i＝0。

所以总体交叉熵损失函数的公式为：

(3.6)采用梯度下降算法，最小化损失函数，并更新卷积神经网络中的各个参数；

(3.6.1)训练深度卷积神经网络寻找最佳参数以最小化损失函数Loss，卷积神经网络的参数是步骤(3.1)中描述的

若用W表示所有参数，即：

则采用遥感图像训练集训练卷积神经网络后，可以找到一组参数W^*，使得：

其中，arg表示W^*满足minLoss；

(3.6.2)采用梯度下降算法更新卷积神经网络的参数，同时最小化损失函数Loss：

其中，α表示学习率，决定每一步的收敛速度，W⁽ⁱ⁾表示第i组待更新的参数，W^(i-1)表示已更新的第i-1组参数，

表示损失函数Loss对参数W⁽ⁱ⁾的偏导数。

(3.7)在原始FPN结构中使用双线性插值对特征图进行上采样实现尺度变化；

双线性插值是具有两个变量的插值函数的线形插值，其核心在于在两个方向分别进行一次线性插值。假设原始图像p₁尺寸为height₁×width₁，经双线性插值后图像p₂尺寸放大为height₂×width₂，图像各方向分别放大

倍和

倍，获取双线性插值后图像p₃中任意一点q＝(a₁,b₁)处的像素值f(q)。

4.提取ResNet34网络的卷积层输出特征，进行特征降维后融合：

(4.1)根据步骤(3.1)的方法，可以得到ResNet34网络Conv2_x、Conv3_x、Conv4_x、Conv5_x的最后一层卷积层输出特征C₂、C₃、C₄、C₅。Conv5_x的输出是512张特征图，每张尺寸7x7；Conv4_x的输出是256张特征图，每张尺寸14x14；Conv3_x的输出是128 张特征图，每张尺寸28x28；Conv2_x的输出是64张特征图，每张尺寸56x56。Conv5_x、 Conv4_x学习得到的是比较完整的可分辨的特征，此类特征是遥感图像中与周围显著不同的物体特征；Conv3_x、Conv2_x学习得到的是较为粗略的特征，此类特征是遥感图像中不具备显著性的物体特征。例如，一张遥感图像类别为高速路，Conv5_x、Conv4_x学到的特征为路面和汽车，而Conv3_x、Conv2_x学到的特征为路旁的树木和绿地；

(4.2)将(4.1)计算得到的各卷积层输出结果C₂、C₃、C₄、C₅，根据步骤(3.1) 的方法，用卷积核为1x1的卷积层进行卷积操作，减少输出通道数目，实现特征降维从而得到C′₂、C′₃、C′₄、C′₅；

(4.3)将(4.2)中得到的C′₅设为P′₅，按照步骤(3.7)的方法，P′₅经双线性插值后尺寸扩展至C′₄大小，之后与C′₄逐元素相加得到P′₄，同理，P′₄经双线性插值后与C′₃相加得到P′₃，P′₃经双线性插值后与C′₂相加得到P′₂。

5.针对融合特征，采用卷积操作来消除由于上采样导致的混叠效应：

(5.1)将(4.3)计算得到的各卷积层输出结果P′₅、P′₄、P′₃、P′₂，根据步骤(3.1)的方法，用卷积核尺寸为3x3的卷积层进行卷积操作，此处的目的在于消除由于上采样导致的混叠效应(aliasing effect)，得到P₅、P₄、P₃、P₂。

6.针对融合后的特征，将其分别送入深层语义嵌入模块，进一步融合并增强特征：

(6.1)将(5.1)计算得到的P₄，根据步骤(3.1)的方法，用卷积核尺寸为1x1的卷积层进行卷积操作，对其语义信息进行重排生成S₄，将(5.1)计算得到的P₅，根据步骤(3.4)的方法，用卷积核尺寸为3x3、步长为2的转置卷积层进行转置卷积操作将P₅尺寸扩展至P₄大小生成S₅，将S₅与S₄进行逐元素相加操作以增强原始特征，生成的新特征图为D₄；

(6.2)将(5.1)计算得到的P₂，根据步骤(3.1)的方法，用卷积核尺寸为1x1的卷积层进行卷积操作，对其语义信息进行重排生成S₂。将(5.1)计算得到的P₃，根据步骤(3.4)的方法，用卷积核尺寸为3x3、步长为2的转置卷积层进行转置卷积操作将P₃尺寸扩展至P₂大小生成S₃，将S₂与S₃进行逐元素相加操作以增强原始特征，生成的新特征图为D₂；

7.针对融合特征图D₄、D₂，设计两路特征处理支路，生成场景整体深度特征：

(7.1)将(6.1)中计算得到的D₄和(6.2)中计算得到的D₂分别作为各自支路首个残差块输入。根据步骤(3.1)的方法，D₄与D₂在旁路用卷积核尺寸为1x1的卷积层进行卷积实现特征降维得到f₁、f₂，D₄与D₂在主路顺序使用卷积核尺寸为1x1、3x3、1x1 的卷积层进行卷积得到e₁、e₂，将f₁与e₁、f₂与e₂逐元素相加融合得到新特征图d₁和d₂；

(7.2)将(7.1)中计算得到的d₁、d₂分别作为各自支路第二个残差块输入，根据步骤(3.1)的方法，d₁和d₂在旁路用卷积核尺寸为1x1的卷积层进行卷积操作实现特征降维得到f₃、f₄，d₁和d₂在主路顺序使用卷积核尺寸为1x1、3x3、1x1的卷积层进行卷积操作得到e₃、e₄，将f₃与e₃、f₄与e₄逐元素相加融合得到新特征图d₃和d₄；

(7.3)将(7.2)中计算得到的d₃、d₄分别作为各自支路全局平均池化层的输入，按照步骤(3.2)的方法，可以得到d₃、d₄经全局平均池化后的结果Feature_x、Feature_y；

(7.4)将上述Feature_x和Feature_y通过串联形式进行融合，融合方法为：

X为融合后的最终深度特征向量。

8.针对融合特征X，利用带有SoftMax的全连接层进行类别分类：

(8.1)将融合特征X作为全连接层Fc的输入，按照步骤(3.3)的方法，可以得到全连接层的输出特征Y：

Y＝[y₁,y₂,…,y_n]

其中，n表示数据集中共计的n种类别的图像；

(8.2)针对全连接层输出特征Y，通过采用SoftMax方法，计算每一个训练集中遥感图像样本属于第i类的SoftMax值为：

其中，y_i与y_j表示输入特征中的第i个和第j个样本，e表示常数，S_i表示图片属于第i类的概率值。

(8.3)根据(8.2)得到的S_i,i＝1,2,…,n，可以得到第i个遥感图像的最终概率值：

S＝max(S₁,S₂,…,S_n)

其中，max(·)表示取n个S_i中的概率最大值，此时概率最大值S_i所对应的标签类别即作为第i个遥感图像样本的预测类别值Predict_label_i。

(8.4)根据预测结果，利用梯度上升算法不断优化参数，使所有训练样本的预测类别值Predict_label与标签值Label相等。

9.将测试集输送到步骤2的卷积神经网络中，自动学习得到各层的卷积层特征：

(9.1)根据步骤(3.1)中介绍方法，得到每个测试样本的ResNet34网络各阶段最后一层卷积层特征图C₂、C₃、C₄、C₅；

10.利用步骤4中所述的卷积操作方法，对步骤(9.1)得到的C₂、C₃、C₄、C₅进行特征降维，降维后按照步骤3中所述的特征融合方法进行融合。

11.利用步骤5所述的卷积操作方法，对步骤(10)得到的C′₂、C′₃、C′₄、C′₅进行消除混叠效应操作，得到特征图P₂、P₃、P₄、P₅；

12.利用步骤6所述的深层语义嵌入操作方法，针对步骤11中得到的P₂、P₃、P₄、P₅，利用P₅的强语义对P₄进行深层语义嵌入，利用P₃的强语义对P₂进行深层语义嵌入，得到增强特征图D₄、D₂；

13.利用步骤(7.1)、(7.2)所述的特征处理操作方法，针对步骤12中得到的D₄、D₂进行特征处理；再根据步骤(3.2)中介绍方法，得到各特征处理支路的全局平均池化层特征图；针对池化层特征，将两者进行串联融合后得到深度特征图X。

14.利用步骤(3.4)所述的计算方法，针对步骤13中得到的深度特征图X，得到其经过已训练完成的全连接层后的输出特征Y；利用步骤8所述的SoftMax计算方法，对全连接层输出特征Y进行分类识别，从而得到每个测试样本的分类结果。

本发明选用一个不同的遥感图像场景分类算法与提出的方法进行比较，选用的比较算法是：

李等人在“一种遥感图像场景分类方法[P].中国专利:CN104680173A,2015-06-03.”提出的基于稀疏编码的空间金字塔匹配模型特征的SVM分类器实现高分遥感图像分类方法，简称方法1。

表1是两种方法在高分遥感场景图像公共数据集UCMerced_LandUse上的性能比较。结果表明，本发明提出的方法对遥感图像场景分类效果更好。

表1两种方法分类准确率比较

Claims (9)

1.一种基于新型特征金字塔深度网络的高分遥感图像分类方法，其特征在于，该方法包含训练阶段和测试阶段：

所述训练阶段包括以下步骤：

(1)构建多分类遥感图像数据集，并制作相应的样本标签，将每类遥感图像按比例划分为训练集Train和测试集Test；

(2)构建卷积神经网络ResNet，使用高分遥感图像数据训练集对卷积神经网络进行训练；

(3)将卷积神经网络模型卷积层各阶段的输出特征值设为C₂、C₃、C₄、C₅，使用卷积核尺寸为1x1的卷积层分别对其进行特征降维，降维后的各输出特征值与该层的前一层的输出特征值进行特征融合；

(4)针对融合后的特征，使用卷积核尺寸为3x3的卷积层消除混叠效应，新生成的特征图设为P₂、P₃、P₄、P₅；

(5)对P₅、P₃利用转置卷积进行上采样至P₄、P₂大小，对P₄、P₂使用卷积核为1x1的卷积操作，分别将P₅与P₄、P₃与P₂融合生成增强特征D₄、D₂；

(6)针对增强后特征，设计两路并行特征处理支路，用于学习D₂、D₄中有利于场景分类的深度特征，两路深度特征再经串联形式进行融合；

(7)针对步骤(6)的融合特征，将其送入全连接层后利用SoftMax进行分类；

所述测试阶段包括以下步骤：

(8)将测试集输入到步骤(2)中训练好的卷积神经网络中，得到各阶段最后一层卷积层的输出特征C₂、C₃、C₄、C₅；

(9)利用步骤(3)中的卷积操作方法，对步骤(8)得到的卷积层输出特征进行特征降维后融合；融合后按照步骤(4)中所述的卷积操作方法，分别对其进行消除混叠操作，得到特征图P₂、P₃、P₄、P₅；

(10)对P₅、P₃利用转置卷积进行上采样至P₄、P₂大小，对P₄、P₂使用卷积核为1x1的卷积操作，分别将P₅与P₄、P₃与P₂融合生成增强特征D₄、D₂；

(11)采用步骤(6)中所述的特征处理支路，学习D₂、D₄中的深度特征，再通过串联融合，得到融合特征X；

(12)将融合特征X送入步骤(7)中已训练完成的全连接层后得到输出特征Y，利用SoftMax对输出特征Y进行分类识别，进而实现对测试集的类别预测。

2.根据权利要求1所述的一种基于新型特征金字塔深度网络的高分遥感图像分类方法，其特征在于，步骤(1)种的划分训练集和测试集的方法如下：

(1.1)划分多分类遥感图像数据集Image＝[Image₁，...，Image_i，...，Image_N]，并制作相应的样本标签Label＝[Label₁，...，Label_i，...，Label_N]，其中N表示共有N类遥感图像，Image_i表示第i类遥感图像集合，Label_i表示第i类遥感图像的标签集合，标签集合的取值为i-1，i的取值为i＝1，2，...，N；

(1.2)将每类遥感图像数据集分为训练集Train和测试集Test，针对数据集中的每类遥感图像，设其样本总数为n，从其中随机抽取m张图像用于构建训练集，剩余n-m张遥感图像用于构建测试集，则有：Train＝[Train₁，...，Train_i，...，Train_m]，Test＝[Test₁，...，Test_i，...，Test_n-m]，其中，Train_i表示第i类遥感图像的训练集，它包含m张图像，Test_i表示第i类高分遥感图像的测试集，它包含n-m张图像。

3.根据权利要求1或2所述的一种基于新型特征金字塔深度网络的高分遥感图像分类方法，步骤(2)中的，其特征在于，卷积神经网络的搭建方法如下：

(2.1)搭建一个以ResNet34模型为基础的网络：ResNet34模型共有5个阶段，各阶段名为Conv1、Conv2_x、Conv3_x、Conv4_x、Conv5_x，选用FPN结构，在该结构中共设置4层卷积层，每层卷积层分别对接于Conv5_x、Conv4_x、Conv3_x、Conv2_x阶段的最后1层卷积层输出端；FPN中的各卷积层记为ConvLayer1、ConvLayer2、ConvLayer3、ConvLayer4，紧接在FPN结构后设计了2个并行的高层语义嵌入模块，每个模块中包含1层转置卷积层和1层卷积层，转置卷积层记为DeconvLayer1、DeconvLayer2，卷积层记为NewconvLayer1、NewconvLayer2，在每个高层语义嵌入模块后，设计一路特征处理支路，共上下两支路，每个支路中含有2个残差块和1个全局平均池化层，残差块分为主路和旁路，主路包含3层卷积层，旁路包含1层卷积层，上支路中残差块和全局平均池化层分别用ResidualBlock1、ResidualBlock2和Average Pool1表示，下支路中残差块和全局平均池化层分别用ResidualBlock3、ResidualBlock4和Average Pool2表示，最后一层为基于SoftMax的全连接层，记为Fc，其中，卷积层的目的在于提取并处理特征图，池化层用于对卷积层得到的特征图进行压缩，全连接层能够将特征图转化成一个一维向量。

4.根据权利要求3所述的一种基于新型特征金字塔深度网络的高分遥感图像分类方法，其特征在于，将遥感图像训练集输入搭建好的卷积神经网络中，前馈计算深度卷积神经网络每个神经元的输出值，设置各层特征图计算函数以及最小化损失函数：

(3.1)假设第l层为卷积层，则第l层的第j个特征图

的计算公式为：

其中，*表示卷积操作，

表示第l-1层第i个特征图，

表示从

到

的卷积核，

表示第l层第j个特征图的偏置，g(·)表示激活函数，M^l-1表示第l-1层特征图的个数；

(3.2)假设第l层为池化层，则第l层的第j个特征图

的计算公式为：

其中，g(·)表示激活函数，

表示第l层第j个特征图的池化参数，down(·)表示池化函数，

表示第l-1层第i个特征图，

表示第l层第j个特征图的偏置；

(3.3)假设第l层为全连接层，则第l层的第j个特征图

的计算公式为：

其中，z^l-1表示第l-1层所有特征图的加权和，

表示第l层第j个特征图的偏置，g(·)表示激活函数；

(3.4)假设第l层为转置卷积层，则第l层的第j个特征图

的计算公式为：

其中，

表示第l-1层第i个特征图的转置形式，

表示从

到

的卷积核的转置形式，*表示卷积操作；

(3.5)反向传播计算深度卷积神经网络的损失函数：

(3.5.1)设遥感图像训练集共有N×m张图像，那么其中任意一张图像I_i，i∈{1，2，...，N×m}，N表示共有N类遥感图像，m表示每一类在训练集中占m张；

(3.5.2)对于图像I_k，若深度卷积神经网络将其正确预测为第i类的概率为p_i，则多分类任务中的交叉熵损失函数的通式为：

其中，p＝[p₀，...，p_i，...，p_N-1]是一个概率分布，每个元素p_i表示图像属于第i类的概率；y＝[y₀，...，y_i，...，y_N-1]是图像标签的one-hot表示，当样本属于第i类时y_i＝1，否则y_i＝0；

所以总体交叉熵损失函数的公式为：

(3.6)采用梯度下降算法，最小化损失函数，并更新卷积神经网络中的各个参数；

(3.6.1)训练深度卷积神经网络寻找最佳参数以最小化损失函数Loss，卷积神经网络的参数是步骤(3.1)中描述的

若用W表示所有参数，即：

则采用遥感图像训练集训练卷积神经网络后，可以找到一组参数W^*，使得：

其中，arg表示W^*满足minLoss；

(3.6.2)采用梯度下降算法更新卷积神经网络的参数，同时最小化损失函数Loss：

其中，α表示学习率，决定每一步的收敛速度，W⁽ⁱ⁾表示第i组待更新的参数，W^(i-1)表示已更新的第i-1组参数，

表示损失函数Loss对参数W⁽ⁱ⁾的偏导数；

(3.7)在原始FPN结构中使用双线性插值对特征图进行上采样实现尺度变化：假设原始图像p₁尺寸为height₁×width₁，经双线性插值后图像p₂尺寸放大为height₂×width₂，图像各方向分别放大

倍和

倍，获取双线性插值后图像p₂中任意一点q＝(a₁，b₁)处的像素值f(q)。

5.根据权利要求4所述的一种基于新型特征金字塔深度网络的高分遥感图像分类方法，其特征在于，步骤(3)的方法具体如下：

(4.1)根据步骤(3.1)的方法，可以得到ResNet34网络的Conv2_x、Conv3_x、Conv4_x、Conv5_x的最后一层卷积层输出特征C₂、C₃、C₄、C₅；

(4.2)将(4.1)计算得到的各卷积层输出结果C₂、C₃、C₄、C₅，根据步骤(3.1)的方法，用卷积核为1x1的卷积层进行卷积操作，实现特征降维从而得到C′₂、C′₃、C′₄、C′₅；

(4.3)将(4.2)中得到的C′₅设为P′₅，按照步骤(3.5.2)的方法，P′₅经双线性插值后尺寸扩展至C′₄大小，之后与C′₄逐元素相加得到P′₄，同理，P′₄经双线性插值后与C′₃相加得到P′₃，P′₃经双线性插值后与C′₂相加得到P′₂。

6.根据权利要求5所述的一种基于新型特征金字塔深度网络的高分遥感图像分类方法，其特征在于，步骤(4)的方法如下：将(4.3)计算得到的各卷积层输出结果P′₅、P′₄、P′₃、P′₂，根据步骤(3.1)的方法，用卷积核尺寸为3x3的卷积层进行卷积操作得到P₅、P₄、P₃、P₂。

7.根据权利要求6所述的一种基于新型特征金字塔深度网络的高分遥感图像分类方法，其特征在于，步骤(5)的具体方法如下：

(5.1)将计算得到的P₄，根据步骤(3.1)的方法，用卷积核尺寸为1x1的卷积层进行卷积操作，对其语义信息进行重排生成S₄，将计算得到的P₅，根据步骤(3.4)的方法，用卷积核尺寸为3x3、步长为2的转置卷积层进行转置卷积操作将P₅尺寸扩展至P₄大小生成S₅，将S₅与S₄进行逐元素相加操作以增强原始特征，生成的新特征图为D₄；

(5.2)将计算得到的P₂，根据步骤(3.1)的方法，用卷积核尺寸为1x1的卷积层进行卷积操作，对其语义信息进行重排生成S₂，将计算得到的P₃，根据步骤(3.4)的方法，用卷积核尺寸为3x3、步长为2的转置卷积层进行转置卷积操作将P₃尺寸扩展至P₂大小生成S₃，将S₂与S₃进行逐元素相加操作以增强原始特征，生成的新特征图为D₂。

8.根据权利要求7所述的一种基于新型特征金字塔深度网络的高分遥感图像分类方法，其特征在于，步骤(6)的两路特征处理支路设计的具体方法如下：

(6.1)将(5.1)中计算得到的D₄和(5.2)中计算得到的D₂分别作为各自支路首个残差块输入，根据步骤(3.1)的方法，D₄与D₂在旁路用卷积核尺寸为1x1的卷积层进行卷积实现特征降维得到f₁、f₂，D₄与D₂在主路顺序使用卷积核尺寸为1x1、3x3、1x1的卷积层进行卷积得到e₁、e₂，将f₁与e₁、f₂与e₂逐元素相加融合得到新特征图d₁和d₂；

(6.2)将(6.1)中计算得到的d₁、d₂分别作为各自支路第二个残差块输入，根据步骤(3.1)的方法，d₁和d₂在旁路用卷积核尺寸为1x1的卷积层进行卷积操作实现特征降维得到f₃、f₄，d₁和d₂在主路顺序使用卷积核尺寸为1x1、3x3、1x1的卷积层进行卷积操作得到e₃、e₄，将f₃与e₃、f₄与e₄逐元素相加融合得到新特征图d₃和d₄；

(6.3)将(6.2)中计算得到的d₃、d₄分别作为各自支路全局平均池化层的输入，按照步骤(3.2)的方法，可以得到d₃、d₄经全局平均池化后的结果Feature_x、Feature_y；

(6.4)将上述Feature_x和Feature_y通过串联形式进行融合，融合方法为：

X为融合后的最终深度特征向量。

9.根据权利要求8所述的一种基于新型特征金字塔深度网络的高分遥感图像分类方法，其特征在于，针对步骤(7)中融合特征，利用带有SoftMax层的全连接层进行类别分类：

(7.1)将融合特征X作为全连接层Fc的输入，按照步骤(3.3)的方法，可以得到全连接层的输出特征Y：

Y＝[y₁，y₂，...，y_n]

其中，n表示数据集中共计的n种类别的图像；

(7.2)针对全连接层输出特征Y，通过采用SoftMax方法，计算每一个训练集中遥感图像样本属于第i类的SoftMax值为：

其中，y_i与y_j表示输入特征中的第i个和第j个样本，e表示常数，S_i表示图片属于第i类的概率值；

(7.3)根据(7.2)得到的S_i，i＝1，2，...，n，可以得到第i个遥感图像的最终概率值：

S＝max(S₁，S₂，...，S_n)

其中，max(·)表示取n个S_i中的概率最大值，此时概率最大值S_i所对应的标签类别即作为第i个遥感图像样本的预测类别值Predict_label_i；

(7.4)根据预测结果，利用梯度上升算法不断优化参数，使所有训练样本的预测类别值Predict_label与标签值Label相等。

Images