CN108764316B - 基于深度卷积神经网络和多核学习的遥感图像场景分类方法 - Google Patents
基于深度卷积神经网络和多核学习的遥感图像场景分类方法 Download PDFInfo
- Publication number
- CN108764316B CN108764316B CN201810478613.4A CN201810478613A CN108764316B CN 108764316 B CN108764316 B CN 108764316B CN 201810478613 A CN201810478613 A CN 201810478613A CN 108764316 B CN108764316 B CN 108764316B
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- layer
- image
- test
- label
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 37
- 230000006870 function Effects 0.000 claims abstract description 34
- 230000004927 fusion Effects 0.000 claims abstract description 8
- 238000012360 testing method Methods 0.000 claims description 59
- 238000012549 training Methods 0.000 claims description 51
- 238000011176 pooling Methods 0.000 claims description 30
- 239000013598 vector Substances 0.000 claims description 28
- 230000004913 activation Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000012706 support-vector machine Methods 0.000 abstract description 10
- 230000008569 process Effects 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 230000003595 spectral effect Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 206010021703 Indifference Diseases 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度卷积神经网络和多核学习的遥感图像场景分类方法，首先，采用深度卷积神经网络对遥感场景图像进行训练，将学习得到的两个全连接层的输出作为遥感场景图像的特征。其次，利用多核学习训练出适合于两个全连接层特征的核函数，从而将提取得到的两个全连接层特征映射到高维空间，实现它们在高维空间的自适应融合。最后，设计多核学习‑支持向量机分类器，对遥感场景图像进行有效的分类。本发明利用卷积神经网络对遥感图像进行特征提取，学习得到的深度特征涵盖信息完整且具有较强的鉴别性，与此同时，将这些特征融入多核学习框架，能达到良好的分类性能。
Description
技术领域
本发明属于图像处理领域，尤其涉及一种基于深度卷积神经网络和多核学习的遥感图像场景分类方法。
背景技术
遥感图像场景分类是遥感领域的一个研究热点，它可以应用于多个军事和民用领域。随着遥感技术的不断进步，遥感图像的空间分辨率不断提升，使得遥感图像所包含的地物目标细节更加明显、地物光谱特征更加复杂，这导致了早期利用光谱特征进行场景分类的方法，如极大似然法、最小距离法、K-均值聚类法等分类准确率降低。
近年来，随着深度学习理论在图像处理、模式识别、和机器学习领域的不断发展，研究学者开始将深度学习理论应用于遥感图像分类问题中。其中，卷积神经网络作为深度学习中常见的一种前馈型神经网络，善于挖掘数据的局部和全局特征，且这些特征不容易过拟合，具有一定的平移不变性和旋转不变性。因此，可以用于图像的分类问题。
公开号CN103559500A一种基于光谱与纹理特征的多光谱遥感图像地物分类方法，通过四叉树分块技术对图像进行多级分块处理，以图像块的方式提取地物的光谱和纹理特征，并通过区域增长方法对图像块分类边缘区域进行处理。该方法虽然提高了光谱特征和纹理特征在地物分类中的抗噪性能，避免了纹理特征提取窗口大小的问题，使得分类结果区域一致性强、噪声少，但是，要对图像进行复杂的预处理，并且需要人为提取图像光谱和纹理特征和优化支持向量机(Support Vector Machine，SVM)分类器参数。
公开号CN104732244A基于小波变换、多策略PSO和SVM集成的遥感图像分类方法，在对每张遥感图像进行灰度处理、去噪预处理的基础上，采用小波变换提取遥感图像纹理特征，并运用多策略改进粒子群优化算法优化SVM分类器的参数，最后实现遥感图像分类。这种方法虽然可以鉴别出遥感图像所属类别，但是仅运用纹理特征进行分类在遥感图像地物光谱特征复杂的情况下效果不佳。
Liu等人在2017年IEEE Transactions on Pattern Analysis and MachineIntelligence上发表论文“High Spatial Resolution Remote Sensing ImageClassification Based on Deep Learning”，该文献提出了一种基于深度学习的遥感图像场景分类方法，通过提取图像纹理和光谱特征，结合深度信念网络(Deep BeliefNetworks,DBN)进行图像分类。由于该方法直接使用网络的输出层进行图像分类，未能有效融合异构特征，导致分类性能受限。
综上，现有的遥感图像场景分类方法，存在的诸多局限性主要表现在：
(1)特征提取过程复杂：传统的分类方法需要借助不同的图像特征提取算法，提取图像的各种类型的特征，用于后续的图像分类，特征提取过程复杂，且提取的特征可能存在信息涵盖不全面、存在冗余等现象，导致分类正确率不高；
(2)特征表现力不强：现有的遥感图像场景分类方法通常仅用一种或两种类型的特征作为分类器的输入，当场景图像过于复杂、类别较多时，特征表现力不强，弱化了分类的性能。
(3)分类器参数选择困难：常用的图像分类器，如SVM、KNN(K-Nearest Neighbor)等参数的设置对分类的性能影响很大，为了得到较好的分类结果，需要大量的人工参与进行最优参数的选择，导致算法通用性不强。
发明内容
发明目的：针对现有技术中存在的问题，本发明提供一种基于深度卷积神经网络和多核学习的遥感图像场景分类方法。该方法可以避免传统复杂的特征提取过程、分类器参数选择过程等，增强特征表现性，增加分类的准确性。
技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于深度卷积神经网络和多核学习的遥感图像场景分类方法，包含训练阶段和测试阶段，具体步骤如下：
所述训练阶段包括以下步骤：
(1)构建每类遥感场景图像数据集，并制作相应的样本标签集合，将每类遥感场景图像数据集分为训练集Train和测试集Test；
(2)构建七层的卷积神经网络，使用训练集对卷积神经网络进行训练；
(3)将训练集输入到步骤(2)中的卷积神经网络中得到特征向量；
(4)将步骤(3)中特征向量映射到统一多核空间，实现不同特征在核空间的自适应融合；
(5)构造基于多尺度单演特征的多核学习分类器；
所述测试阶段包括以下步骤：
(6)将测试集输入到步骤(2)中的卷积神经网络中得到特征向量；
(7)将步骤(6)中特征向量映射到统一多核空间，实现不同特征在核空间的自适应融合；
(8)使用步骤(5)分类器对测试集进行分类识别。
其中，步骤(1)中的，构建样本集合和集合分类方法如下：
(1.1)构建遥感场景图像数据集Image＝[Image1,…,Imagei,…,ImageN]，并制作相应的样本标签Label＝[Label1,…,Labeli,…,LabelN]，其中N表示N类遥感场景图像，Imagei表示第i类遥感场景图像的集合，Labeli表示第i类遥感场景图像的标签集合；
(1.2)将每类数据集分为训练集部分Train和测试集部分Test，针对数据集中每类遥感影像，设其样本总数为n，从中随机抽取m张图像构建训练集，其余n-m张图像构建测试集。则有：Train＝[Train1,…,Traini,…,TrainN]，Test＝[Test1,…,Testi,…,TestN]。其中，Traini表示第i类遥感影像的训练集合，它包含了m张图像。Testi表示第i类遥感影像的测试集合，它包含n-m张图像。
其中，步骤(2)中的，卷积神经网络结构如下：
(2.1)在输入层中，将每一个遥感场景图像归一化为227×227大小；
(2.2)在第一层的卷积层中，定义96个尺寸为11×11的卷积核，设定步长为4；在layer1的池化层，池化方法设为MAX pooling；
(2.3)在第二层layer2的卷积层中，定义256个尺寸为5×5的卷积核，步长定为1；在layer2的池化层，池化方法设为MAX pooling；
(2.4)在第三层的卷积层中，定义384个尺寸为3×3的卷积核，步长定为1；
(2.5)在第四层的卷积层中，定义384个尺寸为3×3的卷积核，步长定为1；
(2.6)在第五层的卷积层中，定义256个尺寸为3×3的卷积核，步长定为1；在layer5的池化层，池化方法设为MAX pooling；
(2.7)第六层为全连接层；
(2.8)第七层为全连接层。
其中，步骤(3)和(6)中的，特征向量计算方法如下：
(3.1)设第五层layer5学习得到c个a×a大小的特征图fi，第i个特征图fi中，每个像素的值分别表示为
其中i＝1…c；
(3.2)设第i个卷积核gi中，每个像素的值分别表示为
第i个特征图fi和第i个卷积核gi的卷积结果可以表示为：
其次，对所有Pi求和：
FC＝P1+P2+…+Pc
重复上面两个步骤z次，可以得到z个FC值，将这些值进行列向量化，即将z个FC值按列排列，可得到fc6层的特征向量features_fc6；
(3.3)针对每个FC值，采用如下形式求解一个FCC值：
FCC＝δ(FC+b0)
其中，b0表示偏置项，δ表示线性整流激活函数，重复上一步骤z次，可以得到z个FCC值，将这些值进行列向量化，即可得到fc7层的特征向量features_fc7。
其中，步骤(4)和(7)中的，将特征向量映射到统一多核空间，实现不同特征在核空间的自适应融合方法如下：
(4.1)选择RBF径向基核函数作为基本核函数：
其中，xi表示每类遥感场景图集测试集或训练集中第i个样本在相同尺度下fc6层的特征向量features_fc6，xj表示每类遥感场景图集测试集或训练集中第j个样本在相同尺度下fc7层的特征向量features_fc7，并且i与j不相等，μ表示带宽参数，用于控制核函数的光滑性；
(4.2)构建M个尺度的核函数，通过这些核函数将两个全连接层特征在核空间中自适应融合：
其中，k(xi,xj)为组合后的核函数，βm为对应的核函数权重，
其中，步骤(5)中，构造基于多尺度单演特征的多核学习分类器方法如下：
其中，f(xj)为第j个样本的预测标签值pred_label，αi表示优化参数，yi表示训练样本的标签，b为多核分类面的最优偏置，Num表示训练样本的个数。
其中，步骤(8)中，使用多核学习分类器对每类遥感图像测试集中的图像进行分类识别，得到每个图像的预测标签值f(xj)，其中，f(xj)输出结果为1-N之间的正整数。
有益效果：与现有技术相比，本发明采用上述技术方案具有以下有益效果：
(1)本发明的方法直接将原始遥感场景图像输入到深度卷积神经网络中，进行特征的自动学习，避免了对图像的复杂前期预处理和不同种类特征提取过程，最终学习得到的深度特征涵盖信息完整且具有较强的鉴别性。
(2)本方法针对卷积神经网络两个全连接层提取到的特征，运用多核学习方法将它们在核空间中自适应融合，融合后的特征可进一步加强特征的表现力和鲁棒性。
(3)本方法采用MKL-SVM分类器对遥感图像进行分类，可通过多核学习得到分类器的最优参数，无需人工测试调整参数，优化了分类过程。
附图说明
图1为本发明实施例的框架图。
图2为搭建的深度卷积神经网络结构图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步的说明。
如图1所示，本发明的技术方案进一步的详细描述如下：
(1)采用深度卷积神经网络对遥感场景图像进行训练，将学习得到的两个全连接层的输出作为遥感场景图像的特征，这些特征包含了遥感场景图像的底层特征，这类特征是通过深度卷积神经网络前端卷积层得到的、中层特征，这类特征是通过深度卷积神经网络中间卷积层得到的、以及高层特征，这类特征是通过深度卷积神经网络后端卷积层得到的。
(1.1)构建遥感场景图像数据集Image＝[Image1,…,Imagei,…,ImageN]，并制作相应的样本标签Label＝[Label1,…,Labeli,…,LabelN]，每个标签集合Labeli取值为i，使得每个样本的标签值为i；并且，N表示有N类遥感场景图像，Imagei表示第i类遥感场景图像的集合，Labeli表示第i类遥感场景图像的标签。本发明选用遥感场景图像公共数据集UCMerced_LandUse进行实验，该数据集包含21类遥感场景图像。
(1.2)将每类数据集分为训练集部分Train和测试集部分Test，针对数据集中每类遥感影像，设其样本总数为n，从中随机抽取m张图像构建训练集，其余n-m张图像构建测试集，例如，可取n＝100,m＝80。则有：Train＝[Train1,…,Traini,…,TrainN]，Test＝[Test1,…,Testi,…,TestN]。其中，Traini表示第i类遥感影像的训练集合，它包含了m张图像。Testi表示第i类遥感影像的测试集合，它包含n-m张图像。训练集Train和测试集Test共用一个标签集Label。
(1.3)搭建一个七层的Caffenet卷积神经网络，如附图2所示，其中，前五层分别用layer1，layer2，layer3，layer4，layer5表示。layer1，layer2，和layer5又分别包括卷积层和池化层；layer3和layer4分别只有一个卷积层；第六层和第七层，称为全连接层，分别用fc6和fc7表示。
Caffenet每层具体参数如下：
(a)在输入层中，将每一个遥感场景图像归一化为227×227大小；
(b)在第一层layer1的卷积层中，定义96个尺寸为11×11的卷积核，设定步长为4；在layer1的池化层，池化方法设为MAX pooling；
(c)在第二层layer2的卷积层中，定义256个尺寸为5×5的卷积核，步长定为1；在layer2的池化层，池化方法设为MAX pooling；
(d)在第三层layer3的卷积层中，定义384个尺寸为3×3的卷积核，步长定为1；
(e)在第四层layer4的卷积层中，定义384个尺寸为3×3的卷积核，步长定为1；
(f)在第五层layer5的卷积层中，定义256个尺寸为3×3的卷积核，步长定为1；在layer5的池化层，池化方法设为MAX pooling；
(g)第六层fc6为全连接层；
(h)第七层fc7为全连接层。
此外，需要注意的是，在layer1、layer2、layer5层中所提到的池化，其本质是采样，通过池化层可以对输入的特征图选择某种方式进行压缩。池化的意义一方面在于减少网络参数，减少计算量；另一方面在于使训练出的特征具有旋转不变性，增强网络鲁棒性和抗干扰能力。全连接层在整个卷积神经网络中起到“分类器”的作用。可将卷积层、池化层和激活函数层学到的“分布式特征”表示映射到样本标记空间。实际使用中可由卷积操作实现。
(1.4)将每类遥感场景图像训练集Train中的图像输入到上述构建的卷积神经网络中，对网络进行训练。训练一个卷积神经网络，实际意义上是在训练该网络每一个卷积层的卷积核，使这些卷积核能检测到图像中的各层特征，从而达到训练整个网络的目的。
在开始训练之前，随机初始化卷积核，例如将一幅场景图像输入到卷积神经网络中，随机初始化的卷积神经网络训练结果表明这张图像有8％的可能性属于A类，但实际上卷积神经网络已知这张图像属于B类，则卷积神经网络会借助一个反向传播的处理过程，修正卷积核，以便下一次碰到相似图像时会更可能地将其预测为B类。对训练数据重复这一过程，卷积核就会逐渐调整到能够提取图像中益于分类的重要特征。
(1.5)将整个数据集，包括训练集和测试集中全部样本图像输入到训练好的卷积神经网络中，通过卷积和池化操作，自动学习出所有样本图像的前五层特征。
基于卷积神经网络的第一层layer1的滤波器，即卷积核，提取样本图像的底层特征，例如，边、角、曲线等。layer1卷积层输出得到特征图的尺寸为55×55×96；池化层得到特征图的尺寸为27×27×96。
第二层layer2的输入实际上是第一层layer1的输出，这一层的滤波器可以用来检测底层特征的组合情况，例如，半圆、四边形等。这些信息对应的是图像的颜色、边缘、轮廓等特征。Layer2卷积层输出得到特征图的尺寸为27×27×256；池化层得到特征图的尺寸为13×13×256。
第三层layer3的输出，学习得到的是图像的纹理特征，特征图的尺寸为13×13×384。
第四层layer4学习得到的是比较有区别性的特征，这些特征体现类与类之间的差异，特征图的尺寸为13×13×384。
第五层layer5学习得到的是完整的具有辨别性的关键特征，这些关键特征是遥感场景图像中存在重大差异的一类物体。Layer5卷积层输出得到特征图的尺寸为13×13×256；池化层得到特征图的尺寸为6×6×256。例如一张遥感图像类别为飞机场，则layer4学习到的为机翼，layer5学习到的关键特征为飞机。
(1.6)基于提取得到的前五层特征，通过卷积神经网络学习最后两个全连接层fc6和fc7层特征。
(1.6.1)fc6层特征是在第五层layer5提取得到的能反映场景图像类别信息的关键特征的基础上，经过一系列如下的卷积操作得到的。具体过程如下：
设第五层layer5学习得到c个a×a，大小的特征图fi(i＝1,…,c)。第i个特征图fi中，每个像素的值分别表示为
c为256，a为6。
首先，针对所有的特征图，分别利用c个不同的卷积核gi，每个卷积核大小均为a×a，对它们进行卷积。设第i个卷积核gi中，每个像素的值分别表示为
第i个特征图fi和第i个卷积核gi的卷积结果可以表示为：
其次，对所有Pi(i＝1,…,c)求和：
FC＝P1+P2+…+Pc
接着，重复上面两个步骤z次，可以得到z个FC值，将这些值进行列向量化，即将z个FC值按列排列，可得到fc6层的特征features_fc6，z可以4096。其中，列向量是一个n×1的二维矩阵，features_fc6为一个z×1的列向量，将第i个FC值作为features_fc6的第i行数据，这一过程即为列向量化。
(1.6.2)将fc6层特征通过线性整流激活函数(Rectified Linear Unit,ReLU)进行映射，得到fc7层特征。
首先，针对每个FC值，采用如下形式求解一个FCC值：
FCC＝δ(FC+b0)
其中，b0表示偏置项，δ表示线性整流激活函数。
其次，重复上一步骤z次，可以得到z个FCC值，将这些值进行列向量化，即可得到fc7层的特征features_fc7。其中，列向量是一个n×1的二维矩阵，为一个z×1的列向量，将第i个FCC值作为features_fc7的第i行数据，这一过程即为列向量化。通过上述步骤，计算每类遥感场景图集中训练集和测试集所有图像对应的特征向量features_fc6和特征features_fc7。
(2)利用多核学习训练出适合于两个全连接层特征的核函数，从而将提取得到的两个全连接层特征映射到高维空间，实现它们在高维空间的自适应融合。
由于传统核函数参数选择与组合是没有依据可循的，导致样本的不平坦分布无法有效地解决，限制了决策函数的表示能力。为此，本发明拟采用多核学习中的对目标分类效果普遍良好的多尺度RBF(Radial Basis Function)径向基核函数，对深度特征进行融合。与合成核方法相比，多核更具灵活性，且能够提供更完备的尺度选择，从而更好地适应遥感图像的不同性质。
多核学习训练过程如下：
(2.1)在多核学习框架下，将样本图像在特征空间中的表示问题转化为基本核与权重的选择问题。选择RBF径向基核函数作为基本核函数：
其中，xi表示每类遥感场景图集测试集或训练集中第i个样本在相同尺度下fc6层的特征向量features_fc6，xj表示每类遥感场景图集测试集或训练集中第j个样本在相同尺度下fc7层的特征向量features_fc7，并且i与j不相等，μ表示带宽参数，用于控制核函数的光滑性。
(2.2)利用多核学习训练的过程实际上是优化多个基本核函数的线性组合，使其适合遥感场景图像特征。构建M个尺度的核函数，例如M可以取值为10，通过这些核函数将两个全连接层特征在核空间中自适应融合：
其中，k(xi,xj)为组合后的核函数，βm为对应的核函数权重，
训练核函数的过程即通过半无限线性规划(Semi-Infinite Linear Program，SILP)训练算法得到最优权值βm的过程，将训练集Train中遥感场景图像提取到的特征输入多核学习框架中，可自动学习出权重βm。
(3)设计多核学习-支持向量机分类器，对遥感场景图像进行有效的分类。
首先，设计多核学习-支持向量机(Multi-Kernel Learning-Support VectorMachine,MKL-SVM)分类器：
其中，f(xj)为第j个样本的预测标签值pred_label，本发明所用的数据集，输出f(x)为0-20中的任意整数；αi表示优化参数，yi表示训练样本的标签，b为多核分类面的最优偏置，Num表示训练样本的个数。其中，在训练集合训练时，Num为N×m；测试集合输入时，Num为N×(n-m)。
优化多核学习-支持向量机即为最小化：
其中，
表示分类器分界面到支持向量的宽度，||wk||越大则宽度越小，C表示惩罚因子，ζi表示拉格朗日系数，是用来解决不可分问题而引入的松弛。
然后，利用训练好的MKL-SVM分类器，对测试图像进行分类。将测试集Test中的图像输入到训练好的MKL-SVM分类器中，经过MKL-SVM分类器的每一幅测试图像都会得到一个预测标签值pred_label，即为分类结果。将测试集中所有图像的预测值pred_label和它们的原始标签值Label相比，即可得到整个测试集的识别准确率。
本发明选用两个不同的遥感图像场景分类算法与提出的方法进行比较，选用的两个比较算法分别是：
周等人在“遥感图像飞机目标分类的卷积神经网络方法[J].中国图象图形学报,2017,22(05):702-708.”提出的用深度学习卷积神经网络实现的遥感图像目标分类方法，简称方法1。
HUANG等人在“Ship object detection in remote sensing images usingconvolutional neural networks[J].Journal of Beijing University of Aeronauticsand Astronsutics,2017,43(9):1841-1848.”中提出的将卷积神经网络和支持向量机相结合的遥感图像目标检测方法，简称方法2。
表1是三种方法在遥感场景图像公共数据集UCMerced_LandUse上的性能比较。结果表明，本发明提出的方法对遥感图像场景分类效果最好。
表1三种方法分类准确率比较
Claims (2)
1.一种基于深度卷积神经网络和多核学习的遥感图像场景分类方法，包含训练阶段和测试阶段，其特征在于：
所述训练阶段包括以下步骤：
(1)构建每类遥感场景图像数据集，并制作相应的样本标签集合，将每类遥感场景图像数据集分为训练集Train和测试集Test；
(2)构建七层的卷积神经网络，使用训练集对卷积神经网络进行训练；
(3)将训练集输入到步骤(2)中的卷积神经网络中得到每张图像的特征向量；
(4)将步骤(3)中特征向量映射到统一多核空间，实现不同特征在核空间的自适应融合；
(5)构造基于多尺度单演特征的多核学习分类器；
所述测试阶段包括以下步骤：
(6)将测试集输入到步骤(2)中的卷积神经网络中得到每张图像的特征向量；
(7)将步骤(6)中特征向量映射到统一多核空间，实现不同特征在核空间的自适应融合；
(8)使用步骤(5)分类器对测试集进行分类识别；
其中步骤(1)中的，构建样本集合和集合分类方法如下：
(1.1)构建遥感场景图像数据集Image＝[Image1,…,Imagei,…,ImageN]，并制作相应的样本标签Label＝[Label1,…,Labeli,…,LabelN]，其中N表示N类遥感场景图像，Imagei表示第i类遥感场景图像的集合，Labeli表示第i类遥感场景图像的标签集合，并且第i类标签集合取值为i；
(1.2)将每类数据集分为训练集部分Train和测试集部分Test，针对数据集中每类遥感影像，设其样本总数为n，从中随机抽取m张图像构建训练集，其余n-m张图像构建测试集；则有：Train＝[Train1,…,Traini,…,TrainN]，Test＝[Test1,…,Testi,…,TestN]；其中，Traini表示第i类遥感影像的训练集合，它包含了m张图像，Testi表示第i类遥感影像的测试集合，它包含n-m张图像；
步骤(2)中的，卷积神经网络结构如下：
(2.1)在输入层中，将每一个遥感场景图像归一化为227×227大小；
(2.2)在第一层的卷积层中，定义96个尺寸为11×11的卷积核，设定步长为4；在layer1的池化层，池化方法设为MAX pooling；
(2.3)在第二层layer2的卷积层中，定义256个尺寸为5×5的卷积核，步长定为1；在layer2的池化层，池化方法设为MAX pooling；
(2.4)在第三层的卷积层中，定义384个尺寸为3×3的卷积核，步长定为1；
(2.5)在第四层的卷积层中，定义384个尺寸为3×3的卷积核，步长定为1；
(2.6)在第五层的卷积层中，定义256个尺寸为3×3的卷积核，步长定为1；在layer5的池化层，池化方法设为MAX pooling；
(2.7)第六层为全连接层；
(2.8)第七层为全连接层；
步骤(3)和(6)中的，特征向量计算方法如下：
(3.1)设第五层layer5学习得到c个a×a大小的特征图fi，第i个特征图fi中，每个像素的值分别表示为
其中i＝1,…,c；
(3.2)设第i个卷积核gi中，每个像素的值分别表示为
第i个特征图fi和第i个卷积核gi的卷积结果可以表示为：
其次，对所有Pi求和：
FC＝P1+P2+…+Pc
重复上面两个步骤z次，可以得到z个FC值，将这些值进行列向量化，即将z个FC值按列排列，可得到fc6层的特征向量features_fc6；
(3.3)针对每个FC值，采用如下形式求解一个FCC值：
FCC＝δ(FC+b0)
其中，b0表示偏置项，δ表示线性整流激活函数，重复上一步骤z次，可以得到z个FCC值，将这些值进行列向量化，即可得到fc7层的特征向量features_fc7；
其中，步骤(4)和(7)中的，将特征向量映射到统一多核空间，实现不同特征在核空间的自适应融合方法如下：
(4.1)选择RBF径向基核函数作为基本核函数：
其中，xi表示每类遥感场景图集测试集或训练集中第i个样本在相同尺度下fc6层的特征向量features_fc6，xj表示每类遥感场景图集测试集或训练集中第j个样本在相同尺度下fc7层的特征向量features_fc7，并且i与j不相等，μ表示带宽参数，用于控制核函数的光滑性；
(4.2)构建M个尺度的核函数，通过这些核函数将两个全连接层特征在核空间中自适应融合：
其中，k(xi,xj)为组合后的核函数，βm为对应的核函数权重，
βm≥0；
步骤(5)中，构造基于多尺度单演特征的多核学习分类器方法如下：
其中，f(xj)为第j个样本的预测标签值pred_label，αi表示优化参数，yi表示训练样本的标签，b为多核分类面的最优偏置，Num表示训练样本的个数。
2.根据权利要求1的一种基于深度卷积神经网络和多核学习的遥感图像场景分类方法，步骤(8)中，使用多核学习分类器对每类遥感图像测试集中的图像进行分类识别，得到每个图像的预测标签值f(xj)，其中，f(xj)输出结果为1-N之间的正整数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810478613.4A CN108764316B (zh) | 2018-05-18 | 2018-05-18 | 基于深度卷积神经网络和多核学习的遥感图像场景分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810478613.4A CN108764316B (zh) | 2018-05-18 | 2018-05-18 | 基于深度卷积神经网络和多核学习的遥感图像场景分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108764316A CN108764316A (zh) | 2018-11-06 |
| CN108764316B true CN108764316B (zh) | 2022-08-26 |
Family
ID=64007334
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810478613.4A Active CN108764316B (zh) | 2018-05-18 | 2018-05-18 | 基于深度卷积神经网络和多核学习的遥感图像场景分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108764316B (zh) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109635738A (zh) * | 2018-12-13 | 2019-04-16 | 中国船舶工业综合技术经济研究院 | 一种图像特征提取方法及系统 |
| CN109685135B (zh) * | 2018-12-21 | 2022-03-25 | 电子科技大学 | 一种基于改进型度量学习的少样本图像分类方法 |
| CN109784283B (zh) * | 2019-01-21 | 2021-02-09 | 陕西师范大学 | 基于场景识别任务下的遥感图像目标提取方法 |
| CN109635141B (zh) * | 2019-01-29 | 2021-04-27 | 京东方科技集团股份有限公司 | 用于检索图像的方法、电子设备和计算机可读存储介质 |
| CN109871798B (zh) * | 2019-02-01 | 2021-06-29 | 浙江大学 | 一种基于卷积神经网络的遥感影像建筑物提取方法 |
| CN110047506B (zh) * | 2019-04-19 | 2021-08-20 | 杭州电子科技大学 | 一种基于卷积神经网络和多核学习svm的关键音频检测方法 |
| CN110222755B (zh) * | 2019-05-30 | 2023-01-24 | 国网山东省电力公司枣庄供电公司 | 基于特征融合的深度学习场景识别方法 |
| CN110321866B (zh) * | 2019-07-09 | 2023-03-24 | 西北工业大学 | 基于深度特征稀疏化算法的遥感图像场景分类方法 |
| CN110728192B (zh) * | 2019-09-16 | 2022-08-19 | 河海大学 | 一种基于新型特征金字塔深度网络的高分遥感图像分类方法 |
| CN111291651B (zh) * | 2020-01-21 | 2023-05-05 | 中国科学院西安光学精密机械研究所 | 用于遥感场景分类的多任务神经网络框架及分类方法 |
| CN111368776B (zh) * | 2020-03-13 | 2024-03-22 | 长安大学 | 一种基于深度集成学习的高分辨率遥感图像分类方法 |
| CN111460932B (zh) * | 2020-03-17 | 2022-06-21 | 哈尔滨工程大学 | 基于自适应卷积的水声信号分类识别方法 |
| CN111680579B (zh) * | 2020-05-22 | 2023-08-01 | 常州工业职业技术学院 | 一种自适应权重多视角度量学习的遥感图像分类方法 |
| CN111783688B (zh) * | 2020-07-02 | 2022-03-22 | 吉林大学 | 一种基于卷积神经网络的遥感图像场景分类方法 |
| CN112232151B (zh) * | 2020-09-30 | 2022-08-19 | 河海大学 | 一种嵌入注意力机制的迭代聚合神经网络高分遥感场景分类方法 |
| CN113111975A (zh) * | 2021-05-12 | 2021-07-13 | 合肥工业大学 | 基于多核尺度卷积神经网络的sar图像目标分类方法 |
| CN113203070B (zh) * | 2021-05-17 | 2022-12-20 | 佛山市爱居光电有限公司 | 一种带有应急功能的led红外感应灯 |
| CN113344046A (zh) * | 2021-05-24 | 2021-09-03 | 电子科技大学 | 一种提高sar图像船只分类精度的方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106295714A (zh) * | 2016-08-22 | 2017-01-04 | 中国科学院电子学研究所 | 一种基于深度学习的多源遥感图像融合方法 |
| CN107038692A (zh) * | 2017-04-16 | 2017-08-11 | 南方医科大学 | 基于小波分解和卷积神经网络的x线胸片骨抑制处理方法 |
| CN107103331A (zh) * | 2017-04-01 | 2017-08-29 | 中北大学 | 一种基于深度学习的图像融合方法 |
| CN107316013A (zh) * | 2017-06-14 | 2017-11-03 | 西安电子科技大学 | 基于nsct变换和dcnn的高光谱图像分类方法 |
| CN107330405A (zh) * | 2017-06-30 | 2017-11-07 | 上海海事大学 | 基于卷积神经网络的遥感图像飞机目标识别方法 |
| CN107480620A (zh) * | 2017-08-04 | 2017-12-15 | 河海大学 | 基于异构特征融合的遥感图像自动目标识别方法 |
-
2018
- 2018-05-18 CN CN201810478613.4A patent/CN108764316B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106295714A (zh) * | 2016-08-22 | 2017-01-04 | 中国科学院电子学研究所 | 一种基于深度学习的多源遥感图像融合方法 |
| CN107103331A (zh) * | 2017-04-01 | 2017-08-29 | 中北大学 | 一种基于深度学习的图像融合方法 |
| CN107038692A (zh) * | 2017-04-16 | 2017-08-11 | 南方医科大学 | 基于小波分解和卷积神经网络的x线胸片骨抑制处理方法 |
| CN107316013A (zh) * | 2017-06-14 | 2017-11-03 | 西安电子科技大学 | 基于nsct变换和dcnn的高光谱图像分类方法 |
| CN107330405A (zh) * | 2017-06-30 | 2017-11-07 | 上海海事大学 | 基于卷积神经网络的遥感图像飞机目标识别方法 |
| CN107480620A (zh) * | 2017-08-04 | 2017-12-15 | 河海大学 | 基于异构特征融合的遥感图像自动目标识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108764316A (zh) | 2018-11-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108764316B (zh) | 基于深度卷积神经网络和多核学习的遥感图像场景分类方法 | |
| CN108830296B (zh) | 一种改进的基于深度学习的高分遥感影像分类方法 | |
| CN111368896B (zh) | 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法 | |
| Ding et al. | Global–local transformer network for HSI and LiDAR data joint classification | |
| CN108182441B (zh) | 平行多通道卷积神经网络、构建方法及图像特征提取方法 | |
| CN107145830B (zh) | 基于空间信息增强和深度信念网络的高光谱图像分类方法 | |
| CN107194336B (zh) | 基于半监督深度距离度量网络的极化sar图像分类方法 | |
| CN109375186B (zh) | 基于深度残差多尺度一维卷积神经网络的雷达目标识别方法 | |
| Han et al. | Combining 3D‐CNN and Squeeze‐and‐Excitation Networks for Remote Sensing Sea Ice Image Classification | |
| CN107239759B (zh) | 一种基于深度特征的高空间分辨率遥感图像迁移学习方法 | |
| CN112488205B (zh) | 基于优化kpca算法的神经网络图像分类识别方法 | |
| CN107145836B (zh) | 基于栈式边界辨别自编码器的高光谱图像分类方法 | |
| CN110728192A (zh) | 一种基于新型特征金字塔深度网络的高分遥感图像分类方法 | |
| CN112949416B (zh) | 一种监督的高光谱多尺度图卷积分类方法 | |
| CN109543723B (zh) | 一种鲁棒的图像聚类方法 | |
| CN110033007A (zh) | 基于深度姿态预估和多特征融合的行人衣着属性识别方法 | |
| CN109190511B (zh) | 基于局部与结构约束低秩表示的高光谱分类方法 | |
| Chen et al. | Hyperspectral remote sensing image classification with CNN based on quantum genetic-optimized sparse representation | |
| CN107480620A (zh) | 基于异构特征融合的遥感图像自动目标识别方法 | |
| CN110414616B (zh) | 一种利用空间关系的遥感图像字典学习分类方法 | |
| Dong et al. | Joint contextual representation model-informed interpretable network with dictionary aligning for hyperspectral and LiDAR classification | |
| He et al. | Multi-spectral remote sensing land-cover classification based on deep learning methods | |
| CN115564996A (zh) | 一种基于注意力联合网络的高光谱遥感图像分类方法 | |
| Huang et al. | A multi-kernel mode using a local binary pattern and random patch convolution for hyperspectral image classification | |
| Qu et al. | Visual cross-image fusion using deep neural networks for image edge detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |