CN108764316A - 基于深度卷积神经网络和多核学习的遥感图像场景分类方法 - Google Patents

Abstract

本发明公开了一种基于深度卷积神经网络和多核学习的遥感图像场景分类方法，首先，采用深度卷积神经网络对遥感场景图像进行训练，将学习得到的两个全连接层的输出作为遥感场景图像的特征。其次，利用多核学习训练出适合于两个全连接层特征的核函数，从而将提取得到的两个全连接层特征映射到高维空间，实现它们在高维空间的自适应融合。最后，设计多核学习‑支持向量机分类器，对遥感场景图像进行有效的分类。本发明利用卷积神经网络对遥感图像进行特征提取，学习得到的深度特征涵盖信息完整且具有较强的鉴别性，与此同时，将这些特征融入多核学习框架，能达到良好的分类性能。

Description

基于深度卷积神经网络和多核学习的遥感图像场景分类方法

技术领域

本发明属于图像处理领域，尤其涉及一种基于深度卷积神经网络和多核学习的遥感图像场景分类方法。

背景技术

遥感图像场景分类是遥感领域的一个研究热点，它可以应用于多个军事和民用领域。随着遥感技术的不断进步，遥感图像的空间分辨率不断提升，使得遥感图像所包含的地物目标细节更加明显、地物光谱特征更加复杂，这导致了早期利用光谱特征进行场景分类的方法，如极大似然法、最小距离法、K-均值聚类法等分类准确率降低。

近年来，随着深度学习理论在图像处理、模式识别、和机器学习领域的不断发展，研究学者开始将深度学习理论应用于遥感图像分类问题中。其中，卷积神经网络作为深度学习中常见的一种前馈型神经网络，善于挖掘数据的局部和全局特征，且这些特征不容易过拟合，具有一定的平移不变性和旋转不变性。因此，可以用于图像的分类问题。

公开号CN103559500A一种基于光谱与纹理特征的多光谱遥感图像地物分类方法，通过四叉树分块技术对图像进行多级分块处理，以图像块的方式提取地物的光谱和纹理特征，并通过区域增长方法对图像块分类边缘区域进行处理。该方法虽然提高了光谱特征和纹理特征在地物分类中的抗噪性能，避免了纹理特征提取窗口大小的问题，使得分类结果区域一致性强、噪声少，但是，要对图像进行复杂的预处理，并且需要人为提取图像光谱和纹理特征和优化支持向量机(Support Vector Machine，SVM)分类器参数。

公开号CN104732244A基于小波变换、多策略PSO和SVM集成的遥感图像分类方法，在对每张遥感图像进行灰度处理、去噪预处理的基础上，采用小波变换提取遥感图像纹理特征，并运用多策略改进粒子群优化算法优化SVM分类器的参数，最后实现遥感图像分类。这种方法虽然可以鉴别出遥感图像所属类别，但是仅运用纹理特征进行分类在遥感图像地物光谱特征复杂的情况下效果不佳。

Liu等人在2017年IEEE Transactions on Pattern Analysis and MachineIntelligence上发表论文“High Spatial Resolution Remote Sensing ImageClassification Based on Deep Learning”，该文献提出了一种基于深度学习的遥感图像场景分类方法，通过提取图像纹理和光谱特征，结合深度信念网络(Deep BeliefNetworks,DBN)进行图像分类。由于该方法直接使用网络的输出层进行图像分类，未能有效融合异构特征，导致分类性能受限。

综上，现有的遥感图像场景分类方法，存在的诸多局限性主要表现在：

(1)特征提取过程复杂：传统的分类方法需要借助不同的图像特征提取算法，提取图像的各种类型的特征，用于后续的图像分类，特征提取过程复杂，且提取的特征可能存在信息涵盖不全面、存在冗余等现象，导致分类正确率不高；

(2)特征表现力不强：现有的遥感图像场景分类方法通常仅用一种或两种类型的特征作为分类器的输入，当场景图像过于复杂、类别较多时，特征表现力不强，弱化了分类的性能。

(3)分类器参数选择困难：常用的图像分类器，如SVM、KNN(K-Nearest Neighbor)等参数的设置对分类的性能影响很大，为了得到较好的分类结果，需要大量的人工参与进行最优参数的选择，导致算法通用性不强。

发明内容

发明目的：针对现有技术中存在的问题，本发明提供一种基于深度卷积神经网络和多核学习的遥感图像场景分类方法。该方法可以避免传统复杂的特征提取过程、分类器参数选择过程等，增强特征表现性，增加分类的准确性。

技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于深度卷积神经网络和多核学习的遥感图像场景分类方法，包含训练阶段和测试阶段，具体步骤如下：

所述训练阶段包括以下步骤：

(1)构建每类遥感场景图像数据集，并制作相应的样本标签集合，将每类遥感场景图像数据集分为训练集Train和测试集Test；

(2)构建七层的卷积神经网络，使用训练集对卷积神经网络进行训练；

(3)将训练集输入到步骤(2)中的卷积神经网络中得到特征向量；

(4)将步骤(3)中特征向量映射到统一多核空间，实现不同特征在核空间的自适应融合；

(5)构造基于多尺度单演特征的多核学习分类器；

所述测试阶段包括以下步骤：

(6)将测试集输入到步骤(2)中的卷积神经网络中得到特征向量；

(7)将步骤(6)中特征向量映射到统一多核空间，实现不同特征在核空间的自适应融合；

(8)使用步骤(5)分类器对测试集进行分类识别。

其中，步骤(1)中的，构建样本集合和集合分类方法如下：

(1.1)构建遥感场景图像数据集Image＝[Image₁,…,Image_i,…,Image_N]，并制作相应的样本标签Label＝[Label₁,…,Label_i,…,Label_N]，其中N表示N类遥感场景图像，Image_i表示第i类遥感场景图像的集合，Label_i表示第i类遥感场景图像的标签集合；

(1.2)将每类数据集分为训练集部分Train和测试集部分Test，针对数据集中每类遥感影像，设其样本总数为n，从中随机抽取m张图像构建训练集，其余n-m张图像构建测试集。则有：Train＝[Train₁,…,Train_i,…,Train_N]，Test＝[Test₁,…,Test_i,…,Test_N]。其中，Train_i表示第i类遥感影像的训练集合，它包含了m张图像。Test_i表示第i类遥感影像的测试集合，它包含n-m张图像。

其中，步骤(2)中的，卷积神经网络结构如下：

(2.1)在输入层中，将每一个遥感场景图像归一化为227×227大小；

(2.2)在第一层的卷积层中，定义96个尺寸为11×11的卷积核，设定步长为4；在layer1的池化层，池化方法设为MAX pooling；

(2.3)在第二层layer2的卷积层中，定义256个尺寸为5×5的卷积核，步长定为1；在layer2的池化层，池化方法设为MAX pooling；

(2.4)在第三层的卷积层中，定义384个尺寸为3×3的卷积核，步长定为1；

(2.5)在第四层的卷积层中，定义384个尺寸为3×3的卷积核，步长定为1；

(2.6)在第五层的卷积层中，定义256个尺寸为3×3的卷积核，步长定为1；在layer5的池化层，池化方法设为MAX pooling；

(2.7)第六层为全连接层；

(2.8)第七层为全连接层。

其中，步骤(3)和(6)中的，特征向量计算方法如下：

(3.1)设第五层layer5学习得到c个a×a大小的特征图f_i，第i个特征图f_i中，每个像素的值分别表示为其中i＝1…c；

(3.2)设第i个卷积核g_i中，每个像素的值分别表示为第i个特征图f_i和第i个卷积核g_i的卷积结果可以表示为：

其次，对所有P_i求和：

FC＝P₁+P₂+…+P_c

重复上面两个步骤z次，可以得到z个FC值，将这些值进行列向量化，即将z个FC值按列排列，可得到fc6层的特征向量features_fc₆；

(3.3)针对每个FC值，采用如下形式求解一个FCC值：

FCC＝δ(FC+b₀)

其中，b₀表示偏置项，δ表示线性整流激活函数，重复上一步骤z次，可以得到z个FCC值，将这些值进行列向量化，即可得到fc7层的特征向量features_fc₇。

其中，步骤(4)和(7)中的，将特征向量映射到统一多核空间，实现不同特征在核空间的自适应融合方法如下：

(4.1)选择RBF径向基核函数作为基本核函数：

其中，x_i表示每类遥感场景图集测试集或训练集中第i个样本在相同尺度下fc6层的特征向量features_fc₆，x_j表示每类遥感场景图集测试集或训练集中第j个样本在相同尺度下fc7层的特征向量features_fc₇，并且i与j不相等，μ表示带宽参数，用于控制核函数的光滑性；

(4.2)构建M个尺度的核函数，通过这些核函数将两个全连接层特征在核空间中自适应融合：

其中，k(x_i,x_j)为组合后的核函数，β_m为对应的核函数权重，

其中，步骤(5)中，构造基于多尺度单演特征的多核学习分类器方法如下：

其中，f(x_j)为第j个样本的预测标签值pred_label，α_i表示优化参数，y_i表示训练样本的标签，b为多核分类面的最优偏置，Num表示训练样本的个数。

其中，步骤(8)中，使用多核学习分类器对每类遥感图像测试集中的图像进行分类识别，得到每个图像的预测标签值f(x_j)，其中，f(x_j)输出结果为1-N之间的正整数。

有益效果：与现有技术相比，本发明采用上述技术方案具有以下有益效果：

(1)本发明的方法直接将原始遥感场景图像输入到深度卷积神经网络中，进行特征的自动学习，避免了对图像的复杂前期预处理和不同种类特征提取过程，最终学习得到的深度特征涵盖信息完整且具有较强的鉴别性。

(2)本方法针对卷积神经网络两个全连接层提取到的特征，运用多核学习方法将它们在核空间中自适应融合，融合后的特征可进一步加强特征的表现力和鲁棒性。

(3)本方法采用MKL-SVM分类器对遥感图像进行分类，可通过多核学习得到分类器的最优参数，无需人工测试调整参数，优化了分类过程。

附图说明

图1为本发明实施例的框架图。

图2为搭建的深度卷积神经网络结构图。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步的说明。

如图1所示，本发明的技术方案进一步的详细描述如下：

(1)采用深度卷积神经网络对遥感场景图像进行训练，将学习得到的两个全连接层的输出作为遥感场景图像的特征，这些特征包含了遥感场景图像的底层特征，这类特征是通过深度卷积神经网络前端卷积层得到的、中层特征，这类特征是通过深度卷积神经网络中间卷积层得到的、以及高层特征，这类特征是通过深度卷积神经网络后端卷积层得到的。

(1.1)构建遥感场景图像数据集Image＝[Image₁,…,Image_i,…,Image_N]，并制作相应的样本标签Label＝[Label₁,…,Label_i,…,Label_N]，每个标签集合Label_i取值为i，使得每个样本的标签值为i；并且，N表示有N类遥感场景图像，Image_i表示第i类遥感场景图像的集合，Label_i表示第i类遥感场景图像的标签。本发明选用遥感场景图像公共数据集UCMerced_LandUse进行实验，该数据集包含21类遥感场景图像。

(1.2)将每类数据集分为训练集部分Train和测试集部分Test，针对数据集中每类遥感影像，设其样本总数为n，从中随机抽取m张图像构建训练集，其余n-m张图像构建测试集，例如，可取n＝100,m＝80。则有：Train＝[Train₁,…,Train_i,…,Train_N]，Test＝[Test₁,…,Test_i,…,Test_N]。其中，Train_i表示第i类遥感影像的训练集合，它包含了m张图像。Test_i表示第i类遥感影像的测试集合，它包含n-m张图像。训练集Train和测试集Test共用一个标签集Label。

(1.3)搭建一个七层的Caffenet卷积神经网络，如附图2所示，其中，前五层分别用layer1，layer2，layer3，layer4，layer5表示。layer1，layer2，和layer5又分别包括卷积层和池化层；layer3和layer4分别只有一个卷积层；第六层和第七层，称为全连接层，分别用fc6和fc7表示。

Caffenet每层具体参数如下：

(a)在输入层中，将每一个遥感场景图像归一化为227×227大小；

(b)在第一层layer1的卷积层中，定义96个尺寸为11×11的卷积核，设定步长为4；在layer1的池化层，池化方法设为MAX pooling；

(c)在第二层layer2的卷积层中，定义256个尺寸为5×5的卷积核，步长定为1；在layer2的池化层，池化方法设为MAX pooling；

(d)在第三层layer3的卷积层中，定义384个尺寸为3×3的卷积核，步长定为1；

(e)在第四层layer4的卷积层中，定义384个尺寸为3×3的卷积核，步长定为1；

(f)在第五层layer5的卷积层中，定义256个尺寸为3×3的卷积核，步长定为1；在layer5的池化层，池化方法设为MAX pooling；

(g)第六层fc6为全连接层；

(h)第七层fc7为全连接层。

此外，需要注意的是，在layer1、layer2、layer5层中所提到的池化，其本质是采样，通过池化层可以对输入的特征图选择某种方式进行压缩。池化的意义一方面在于减少网络参数，减少计算量；另一方面在于使训练出的特征具有旋转不变性，增强网络鲁棒性和抗干扰能力。全连接层在整个卷积神经网络中起到“分类器”的作用。可将卷积层、池化层和激活函数层学到的“分布式特征”表示映射到样本标记空间。实际使用中可由卷积操作实现。

(1.4)将每类遥感场景图像训练集Train中的图像输入到上述构建的卷积神经网络中，对网络进行训练。训练一个卷积神经网络，实际意义上是在训练该网络每一个卷积层的卷积核，使这些卷积核能检测到图像中的各层特征，从而达到训练整个网络的目的。

在开始训练之前，随机初始化卷积核，例如将一幅场景图像输入到卷积神经网络中，随机初始化的卷积神经网络训练结果表明这张图像有8％的可能性属于A类，但实际上卷积神经网络已知这张图像属于B类，则卷积神经网络会借助一个反向传播的处理过程，修正卷积核，以便下一次碰到相似图像时会更可能地将其预测为B类。对训练数据重复这一过程，卷积核就会逐渐调整到能够提取图像中益于分类的重要特征。

(1.5)将整个数据集，包括训练集和测试集中全部样本图像输入到训练好的卷积神经网络中，通过卷积和池化操作，自动学习出所有样本图像的前五层特征。

基于卷积神经网络的第一层layer1的滤波器，即卷积核，提取样本图像的底层特征，例如，边、角、曲线等。layer1卷积层输出得到特征图的尺寸为55×55×96；池化层得到特征图的尺寸为27×27×96。

第二层layer2的输入实际上是第一层layer1的输出，这一层的滤波器可以用来检测底层特征的组合情况，例如，半圆、四边形等。这些信息对应的是图像的颜色、边缘、轮廓等特征。Layer2卷积层输出得到特征图的尺寸为27×27×256；池化层得到特征图的尺寸为13×13×256。

第三层layer3的输出，学习得到的是图像的纹理特征，特征图的尺寸为13×13×384。

第四层layer4学习得到的是比较有区别性的特征，这些特征体现类与类之间的差异，特征图的尺寸为13×13×384。

第五层layer5学习得到的是完整的具有辨别性的关键特征，这些关键特征是遥感场景图像中存在重大差异的一类物体。Layer5卷积层输出得到特征图的尺寸为13×13×256；池化层得到特征图的尺寸为6×6×256。例如一张遥感图像类别为飞机场，则layer4学习到的为机翼，layer5学习到的关键特征为飞机。

(1.6)基于提取得到的前五层特征，通过卷积神经网络学习最后两个全连接层fc6和fc7层特征。

(1.6.1)fc6层特征是在第五层layer5提取得到的能反映场景图像类别信息的关键特征的基础上，经过一系列如下的卷积操作得到的。具体过程如下：

设第五层layer5学习得到c个a×a，大小的特征图f_i(i＝1,…,c)。第i个特征图fi中，每个像素的值分别表示为c为256，a为6。

首先，针对所有的特征图，分别利用c个不同的卷积核g_i，每个卷积核大小均为a×a，对它们进行卷积。设第i个卷积核g_i中，每个像素的值分别表示为第i个特征图f_i和第i个卷积核g_i的卷积结果可以表示为：

其次，对所有P_i(i＝1,…,c)求和：

FC＝P₁+P₂+…+P_c

接着，重复上面两个步骤z次，可以得到z个FC值，将这些值进行列向量化，即将z个FC值按列排列，可得到fc6层的特征features_fc₆，z可以4096。其中，列向量是一个n×1的二维矩阵，features_fc₆为一个z×1的列向量，将第i个FC值作为features_fc₆的第i行数据，这一过程即为列向量化。

(1.6.2)将fc6层特征通过线性整流激活函数(Rectified Linear Unit,ReLU)进行映射，得到fc7层特征。

首先，针对每个FC值，采用如下形式求解一个FCC值：

FCC＝δ(FC+b₀)

其中，b₀表示偏置项，δ表示线性整流激活函数。

其次，重复上一步骤z次，可以得到z个FCC值，将这些值进行列向量化，即可得到fc7层的特征features_fc₇。其中，列向量是一个n×1的二维矩阵，为一个z×1的列向量，将第i个FCC值作为features_fc₇的第i行数据，这一过程即为列向量化。通过上述步骤，计算每类遥感场景图集中训练集和测试集所有图像对应的特征向量features_fc₆和特征features_fc₇。

(2)利用多核学习训练出适合于两个全连接层特征的核函数，从而将提取得到的两个全连接层特征映射到高维空间，实现它们在高维空间的自适应融合。

由于传统核函数参数选择与组合是没有依据可循的，导致样本的不平坦分布无法有效地解决，限制了决策函数的表示能力。为此，本发明拟采用多核学习中的对目标分类效果普遍良好的多尺度RBF(Radial Basis Function)径向基核函数，对深度特征进行融合。与合成核方法相比，多核更具灵活性，且能够提供更完备的尺度选择，从而更好地适应遥感图像的不同性质。

多核学习训练过程如下：

(2.1)在多核学习框架下，将样本图像在特征空间中的表示问题转化为基本核与权重的选择问题。选择RBF径向基核函数作为基本核函数：

其中，x_i表示每类遥感场景图集测试集或训练集中第i个样本在相同尺度下fc6层的特征向量features_fc₆，x_j表示每类遥感场景图集测试集或训练集中第j个样本在相同尺度下fc7层的特征向量features_fc₇，并且i与j不相等，μ表示带宽参数，用于控制核函数的光滑性。

(2.2)利用多核学习训练的过程实际上是优化多个基本核函数的线性组合，使其适合遥感场景图像特征。构建M个尺度的核函数，例如M可以取值为10，通过这些核函数将两个全连接层特征在核空间中自适应融合：

其中，k(x_i,x_j)为组合后的核函数，β_m为对应的核函数权重，

训练核函数的过程即通过半无限线性规划(Semi-Infinite Linear Program，SILP)训练算法得到最优权值β_m的过程，将训练集Train中遥感场景图像提取到的特征输入多核学习框架中，可自动学习出权重β_m。

(3)设计多核学习-支持向量机分类器，对遥感场景图像进行有效的分类。

首先，设计多核学习-支持向量机(Multi-Kernel Learning-Support VectorMachine,MKL-SVM)分类器：

其中，f(x_j)为第j个样本的预测标签值pred_label，本发明所用的数据集，输出f(x)为0-20中的任意整数；α_i表示优化参数，y_i表示训练样本的标签，b为多核分类面的最优偏置，Num表示训练样本的个数。其中，在训练集合训练时，Num为N×m；测试集合输入时，Num为N×(n-m)。

优化多核学习-支持向量机即为最小化：

其中，表示分类器分界面到支持向量的宽度，||w_k||越大则宽度越小，C表示惩罚因子，ζ_i表示拉格朗日系数，是用来解决不可分问题而引入的松弛。

然后，利用训练好的MKL-SVM分类器，对测试图像进行分类。将测试集Test中的图像输入到训练好的MKL-SVM分类器中，经过MKL-SVM分类器的每一幅测试图像都会得到一个预测标签值pred_label，即为分类结果。将测试集中所有图像的预测值pred_label和它们的原始标签值Label相比，即可得到整个测试集的识别准确率。

本发明选用两个不同的遥感图像场景分类算法与提出的方法进行比较，选用的两个比较算法分别是：

周等人在“遥感图像飞机目标分类的卷积神经网络方法[J].中国图象图形学报,2017,22(05):702-708.”提出的用深度学习卷积神经网络实现的遥感图像目标分类方法，简称方法1。

HUANG等人在“Ship object detection in remote sensing images usingconvolutional neural networks[J].Journal of Beijing University of Aeronauticsand Astronsutics,2017,43(9):1841-1848.”中提出的将卷积神经网络和支持向量机相结合的遥感图像目标检测方法，简称方法2。

表1是三种方法在遥感场景图像公共数据集UCMerced_LandUse上的性能比较。结果表明，本发明提出的方法对遥感图像场景分类效果最好。

表1三种方法分类准确率比较

Claims (7)

1.一种基于深度卷积神经网络和多核学习的遥感图像场景分类方法，包含训练阶段和测试阶段，其特征在于：

所述训练阶段包括以下步骤：

(1)构建每类遥感场景图像数据集，并制作相应的样本标签集合，将每类遥感场景图像数据集分为训练集Train和测试集Test；

(2)构建七层的卷积神经网络，使用训练集对卷积神经网络进行训练；

(3)将训练集输入到步骤(2)中的卷积神经网络中得到每张图像的特征向量；

(4)将步骤(3)中特征向量映射到统一多核空间，实现不同特征在核空间的自适应融合；

(5)构造基于多尺度单演特征的多核学习分类器；

所述测试阶段包括以下步骤：

(6)将测试集输入到步骤(2)中的卷积神经网络中得到每张图像的特征向量；

(7)将步骤(6)中特征向量映射到统一多核空间，实现不同特征在核空间的自适应融合；

(8)使用步骤(5)分类器对测试集进行分类识别。

2.根据权利要求1的一种基于深度卷积神经网络和多核学习的遥感图像场景分类方法，步骤(1)中的，构建样本集合和集合分类方法如下：

(1.1)构建遥感场景图像数据集Image＝[Image₁,…,Image_i,…,Image_N]，并制作相应的样本标签Label＝[Label₁,…,Label_i,…,Label_N]，其中N表示N类遥感场景图像，Image_i表示第i类遥感场景图像的集合，Label_i表示第i类遥感场景图像的标签集合，并且第i类标签集合取值为i；

(1.2)将每类数据集分为训练集部分Train和测试集部分Test，针对数据集中每类遥感影像，设其样本总数为n，从中随机抽取m张图像构建训练集，其余n-m张图像构建测试集；则有：Train＝[Train₁,…,Train_i,…,Train_N]，Test＝[Test₁,…,Test_i,…,Test_N]；其中，Train_i表示第i类遥感影像的训练集合，它包含了m张图像，Test_i表示第i类遥感影像的测试集合，它包含n-m张图像。

3.根据权利要求1的一种基于深度卷积神经网络和多核学习的遥感图像场景分类方法，步骤(2)中的，卷积神经网络结构如下：

(2.1)在输入层中，将每一个遥感场景图像归一化为227×227大小；

(2.2)在第一层的卷积层中，定义96个尺寸为11×11的卷积核，设定步长为4；在layer1的池化层，池化方法设为MAX pooling；

(2.3)在第二层layer2的卷积层中，定义256个尺寸为5×5的卷积核，步长定为1；在layer2的池化层，池化方法设为MAX pooling；

(2.4)在第三层的卷积层中，定义384个尺寸为3×3的卷积核，步长定为1；

(2.5)在第四层的卷积层中，定义384个尺寸为3×3的卷积核，步长定为1；

(2.6)在第五层的卷积层中，定义256个尺寸为3×3的卷积核，步长定为1；在layer5的池化层，池化方法设为MAX pooling；

(2.7)第六层为全连接层；

(2.8)第七层为全连接层。

4.根据权利要求3的一种基于深度卷积神经网络和多核学习的遥感图像场景分类方法，步骤(3)和(6)中的，特征向量计算方法如下：

(3.1)设第五层layer5学习得到c个a×a大小的特征图f_i，第i个特征图f_i中，每个像素的值分别表示为其中i＝1,…,c；

(3.2)设第i个卷积核g_i中，每个像素的值分别表示为第i个特征图f_i和第i个卷积核g_i的卷积结果可以表示为：

其次，对所有P_i求和：

FC＝P₁+P₂+…+P_c

重复上面两个步骤z次，可以得到z个FC值，将这些值进行列向量化，即将z个FC值按列排列，可得到fc6层的特征向量features_fc₆；

(3.3)针对每个FC值，采用如下形式求解一个FCC值：

FCC＝δ(FC+b₀)

其中，b₀表示偏置项，δ表示线性整流激活函数，重复上一步骤z次，可以得到z个FCC值，将这些值进行列向量化，即可得到fc7层的特征向量features_fc₇。

5.根据权利要求3的一种基于深度卷积神经网络和多核学习的遥感图像场景分类方法，步骤(4)和(7)中的，将特征向量映射到统一多核空间，实现不同特征在核空间的自适应融合方法如下：

(4.1)选择RBF径向基核函数作为基本核函数：

其中，x_i表示每类遥感场景图集测试集或训练集中第i个样本在相同尺度下fc6层的特征向量features_fc₆，x_j表示每类遥感场景图集测试集或训练集中第j个样本在相同尺度下fc7层的特征向量features_fc₇，并且i与j不相等，μ表示带宽参数，用于控制核函数的光滑性；

(4.2)构建M个尺度的核函数，通过这些核函数将两个全连接层特征在核空间中自适应融合：

其中，k(x_i,x_j)为组合后的核函数，β_m为对应的核函数权重，

6.根据权利要求5的一种基于深度卷积神经网络和多核学习的遥感图像场景分类方法，步骤(5)中，构造基于多尺度单演特征的多核学习分类器方法如下：

其中，f(x_j)为第j个样本的预测标签值pred_label，α_i表示优化参数，y_i表示训练样本的标签，b为多核分类面的最优偏置，Num表示训练样本的个数。

7.根据权利要求6的一种基于深度卷积神经网络和多核学习的遥感图像场景分类方法，步骤(8)中，使用多核学习分类器对每类遥感图像测试集中的图像进行分类识别，得到每个图像的预测标签值f(x_j)，其中，f(x_j)输出结果为1-N之间的正整数。