CN107292343B - 一种基于六层卷积神经网络和光谱-空间信息联合的高光谱遥感图像分类方法 - Google Patents

Abstract

本发明公开了一种基于六层卷积神经网络和光谱‑空间信息联合的高光谱遥感图像分类方法,选择一定数目波段的高光谱遥感图像数据，对所选择的各波段二维图像数据进行空间均值滤波，再将每个像元对应的多波段数据进行格式转换，将一维矢量转换为一个方阵，即每个像元对应一个方阵数据。然后设计了基于深度学习模板的六层分类器，包括输入层，第一卷积层，最大池化层，第二卷积层，全连接层，输出层；提取若干个像元对应的方阵数据作为训练集，输入该分类器并对分类器加以训练；提取若干个像元对应的方阵数据作为测试集，输入至训练完毕的分类器中，观察训练器输出的分类结果，并与真实的分类信息相比对，验证分类器的性能。本发明的分类准确率比现有的5‑CNN方法更高。

Description

一种基于六层卷积神经网络和光谱-空间信息联合的高光谱 遥感图像分类方法

技术领域

本发明属于遥感图像处理领域，涉及高光谱图像中不同地物类别的分类方法，具体涉及一种基于六层卷积神经网络和光谱-空间信息联合的高光谱遥感图像分类方法。

背景技术

目前的高光谱遥感数据可以同时获取到几十甚至几百个光谱波段的信息，丰富的光谱信息极大的提高了识别和区分各类地物的能力。而且，随着高光谱传感器空间分辨率的提高，研究者可以通过高光谱遥感图像来分析小空间结构的地物。由于高光谱遥感图像的地表信息丰富，且覆盖范围广泛，具有多时相等特征，其应用技术也不断提高，目前已经被应用到以下许多方面：生态科学方面、地质科学方面、水文科学方面、军事应用方面、精细农业方面。

高光谱遥感图像在具有较高的空间分辨率的同时还有着很高的光谱分辨率，通常为纳米级。与传统的多光谱图像相比，高光谱图像具有波段数目多、数据量大的特点，有着更强的区分地物的能力。分类作为高光谱数据的基础研究，是人们从高光谱遥感图像上提取有用信息的重要途径，通常主要是通过对高光谱遥感图像数据在光谱维上进行分析，利用计算机快速地将图像中的每个像元划分为不同的地物类别。分类后的图像能够清晰的反映出各类地物具体的分布情况，从而达到对地物自动识别的目的，为应用部门提供服务。

单纯的利用光谱信息来进行分类，结果会出现许多噪点。这是因为高光谱遥感图像的空间分辨率不断提高，每个像元所代表的地物面积不断减小，从而导致光谱信息受到其他偶然因素的影响变大。而且随着空间分辨率的提高，高光谱遥感图像的像元之间的空间相关性变大，空间位置相邻的像元很有可能是属于同一类地物。所以，空间信息越来越成为高光谱遥感图像分类研究的重点。将空间信息引入到高光谱遥感图像分类中可以利用对分类有用的空间信息来弥补单纯利用光谱信息进行分类时存在的不足，从而可以提高分类的精度。

卷积神经网络(CNN，Convolutional Neural Networks)是在多层神经网络的基础上发展起来的针对图像分类和识别而设计的一种深度学习方法。在图像识别问题中，卷积神经网络有如下特点：一是使用了针对图像识别的特殊结构，考虑了图像的空间结构，可以快速训练。因为速度快，使得采用多层神经网络变得容易，而多层结构在识别准确率上又有很大优势。二是采用共享权重的方式，减少了神经元间大量的参数，训练速度得到很大提高。考虑到卷积神经网络的优点与高光谱遥感图像的特征，这里将深度学习直接应用到光谱领域，对高光谱数据进行分类。

国内外针对高光谱遥感图像的分类已有一些研究。现有研究提出了一种采用五层卷积神经网络分类器对高光谱遥感图像进行分类的方法，通过对三个经典数据集：Indian，Salinas，Pavia University进行分类实验，表明了该分类器相比较于传统的算法，有更好的分类性能【参考文献：Hu W,Huang Y,Wei L,et al.Deep Convolutional NeuralNetworks for Hyperspectral Image Classification[J].Journal of Sensors,2015,2015(2):1-12】。现有研究还提出了一种通过基础阈值分类器对高光谱图像进行分类的方法，该方法首先对每个像元向量进行基础阈值初始分类，接着进行基于加权最小二乘法的保边缘平滑滤波，最后采用极小残余法对测试样本进行最终分类【参考文献：Mehmet Altan

glkay Ulusoy.Hyperspectral Image Classification via Kernel BasicThresholding Classifier[J].IEEE Transactions on Geoscience&Remote Sensing,2016,54(7):1-13】。针对多瞬时多源卫星图像，现有研究提出了提出将卷积神经施用于农作物类型分类上，并比较了两种不同的卷积神经框架：1-D卷积神经(输入为像元向量)和2-D卷积神经(输入为像元的7x7邻域向量)，2-D卷积神经网络在夏季农作物类型分类上展示了较好的效果【参考文献：Kussul N,Lavreniuk M,Skakun S,et al.Deep LearningClassification of Land Cover and Crop Types Using Remote Sensing Data[J].IEEEGeoscience&Remote Sensing Letters,PP(99):1-5】。针对高光谱遥感图像中对样本进行标记困难、代价高而导致的标记样本不足的问题，现有研究提出了采用堆栈降噪自编码器的半监督分类模型，并与保边去噪滤波算法进行结合为高光谱遥感图像进行分类【参考文献：王巧玉.基于深度学习的高光谱遥感图像分类[D].华侨大学,2016】。现有研究提出的方法中，有的使用了深度学习方法，但是只考虑了光谱信息没有结合图像的空间信息，有的结合了光谱-空间信息，但是没有使用卷积神经网络结构作为分类器，没有将空间滤波算法与卷积神经网络联合起来，分类效果有限。

因此，有必要设计一种分类效果更好的高光谱遥感图像分类方法。

发明内容

本发明所要解决的技术问题是，针对现有技术的不足，提供一种基于六层卷积神经网络和光谱-空间信息联合的高光谱遥感图像分类方法，该方案有效的利用了光谱-空间信息，提高了分类精度。

本发明的技术解决方案如下：

一种基于六层卷积神经网络和光谱-空间信息联合的高光谱遥感图像分类方法，高光谱遥感图像是M×N×U的三维数据，其中U为波段数，每个波段的数据为一幅M×N的二维图像，M和N分别是该二维图像包含的像元行数和列数；分类方法包括以下步骤：

步骤1：提取高光谱遥感图像中能量值较大的P个波段对应的二维图像，对各幅图像进行灰度值规范处理；

步骤2：对灰度值规范处理后的P幅图像分别进行二维均值滤波，滤波模板参数由高光谱遥感图像的原始数据参数确定；

步骤3：对各像元对应的一维数组进行格式转换，将其转换为方阵；其中像元对应的一维数组是指由该像元对应的P个波段的数据构成的长度为P的一维数组；

步骤4：设计一个六层卷积神经网络分类器，将各个像元对应的方阵数据作为六层卷积神经网络分类器的输入，对各个像元进行特征提取及分类。

进一步地，所述步骤1中，首先，将U个波段对应的二维图像按照能量值排序，二维图像的能量值即为该图像上所有像元对应的灰度值的平方之和；再提取能量值较大的P个波段，P的选取准则为：

其中fix(·)表示向小数方向取整；

然后，对提取出的P幅二维图像，分别将其灰度值规范到[-1,1]的范围内，单幅图像的灰度值规范处理方法如下：

其中，A_mn表示该幅图像上第m行n列的像元的灰度值，

表示该像元所在列的所有像元的灰度值的平方和；B_mn表示该幅图像上第m行n列的像元规范处理后的灰度值。

进一步地，所述步骤2中的二维均值滤波方法中，采用滤波模板

分别对每个波段数据进行滤波，B_r为r×r的全1矩阵，即针对二维图像中的每一个像元，以该像元为中心，计算其附近r×r个像元的灰度值的平均值，作为二维均值滤波后该像元的灰度值；其中r的取值方法如下：

其中，x＝1,2,…,X，X为高光谱图像的地物类别数，x为地物类别序号；S(x)表示第x类地物在二维图像中占据的总像元数目，

进一步地，所述步骤3中的格式转换，是将长度为P的一维数组按列填充，即将一维数组中第1到Q个数据，放置在方阵的第一列；将第Q+1到2Q个数据，放置在方阵的第二列，依此类推，将一维数组的所有数据填充入Q×Q的方阵，从而将一维数组转换为Q×Q的方阵，

进一步地，所述步骤4中的六层卷积神经网络分类器包括6个学习层，分别为输入层，第一卷积层，最大池化层，第二卷积层，全连接层和输出层；各层的参数设置准则是：

第一卷积层有6个特征图，卷积核大小为k₁＝ceil(Q/3)，ceil(·)表示向大数方向取整；特征图大小为n₁×n₁，其中，n₁＝Q-k₁+1；

最大池化层有6个特征图，特征图大小为n₂×n₂；特征图中的每个单元与第一卷积层中相对应特征图的k₂×k₂邻域相连接，其中，k₂取值范围在2～5之间，n₂＝n₁/k₂；

第二卷积层的卷积核大小为k₃＝fix(n₂/2)，特征图数量为12，特征图大小为n₃×n₃，其中，n₃＝n₂-k₃+1；

全连接层设置为n₄＝100个单元；

将需要进行特征提取及分类的像元对应的方阵数据输入，经六层卷积神经网络分类器，输出该像元对应的长度为X的一维数组，该一维数组中第x个元素表示该像元处的高光谱数据属于第x类地物的概率，记为p_x，

X为高光谱图像的地物类别数；将最大的p_x对应类别的地物作为该像元的分类结果，完成该像元的分类处理。

进一步地，将需要进行特征提取及分类的若干像元对应的方阵数据采用批处理的方式输入，经六层卷积神经网络分类器，输出各像元对应的长度为X的一维数组，完成该批像元的分类处理。

进一步地，首先将高光谱遥感图像训练样本对应的方阵数据输入至六层卷积神经网络分类器，利用训练样本已知的地物类别，通过反向传播算法进行六层卷积神经网络分类器的参数调整；训练完毕后，把需要进行特征提取及分类的像元对应的方阵数据输入至训练好的分类器，进行特征提取及分类。

有益效果：

本发明提出一种基于六层卷积神经网络和光谱-空间联合的高光谱遥感图像分类方法，具有以下优点：

(1)针对目前大多数分类算法仅仅只利用了高光谱数据的光谱信息而忽略了其空间信息的问题，本发明在高光谱遥感图像分类之前对高光谱遥感数据进行二维均值滤波，通过对邻域像元进行加权组合对图像达到去噪的目的，其进行二维均值滤波每个像元的灰度值已经融合了其邻域像元的信息，从而实现将光谱信息和空间信息结合起来；引入高光谱遥感图像的空间信息，充分地利用高光谱遥感图像的数据信息，解决了高光谱数据存在的噪声问题；利用了高光谱遥感图像的光谱-空间联合信息，分类性能得到提升，提高了高光谱遥感图像的分类精度，并极大的提高了训练速度；

(2)在将训练样本输入到训练网络之前，进行了格式转换，大幅降低了训练参数，提高了训练和分类速度；

(3)针对高光谱遥感图像中对样本标记困难、代价高而导致的标记样本不足的问题，提出了采用六层卷积神经网络分类器(输入层-第一卷积层-最大池化层-第二卷积层-全连接层-输出层)的半监督分类模型，并给出了六层卷积神经网络分类器的各层参数配置方法；结构中包含两个卷积层，能进一步提取更深层的抽象特征，解决样本标记不足的问题，大幅提高了分类精度；

本方法充分利用了高光谱遥感图像的光谱-空间信息，有效减少了数据噪点，提高了高光谱遥感图像分类的训练速度和分类精度。采用Indian Pines和Salinas数据集对本发明的效果进行验证，实验结果显示，本发明提出的方法与现有的五层卷积神经网络分类器相比，分类性能显著提高，分类精度分别提高了33.86％和11.0％；在Indian Pines数据集上，本发明提出的算法实现了16种地物的分类，而五层卷积神经网络分类器只能实现8种地物的分类。

附图说明

图1示出了基于六层卷积神经网络和光谱-空间信息联合的高光谱遥感图像分类方法流程图；

图2示出了提出的六层卷积神经网络的详细结构图；

图3示出了在Indian Pines数据集上，本发明的算法与5-CNN算法的分类结果对比；

图4示出了在Salinas数据集上，本发明的算法与5-CNN算法的分类结果对比。

具体实施方式

以下将结合附图和具体实施例对本发明做进一步详细说明。

以下实施例使用两个经典的高光谱遥感图像数据集：Indian Pines和Salinas。两个数据集均由机载可见光/红外成像光谱仪捕获得到。下面分别针对两个数据集进行实验，并给出相应的两个实施例。

实施例1：

本实例针对Indian Pines数据集进行实验，该数据集包括200个波段，即U＝200，图像大小为145×145像元，即M＝N＝145。该高光谱遥感图像是对16类地物分布的区域进行探测成像的结果，即X＝16。

计算各波段对应的二维图像的能量值，按照能量值进行排序，提取能量值较大的前P个波段数据。

因为高光谱遥感图像的样本数目分布不均匀，每类标注的样本数目最多有2455个，最少的只有20个。基于16种地物类别，随机选取高光谱遥感图像像元的10％为训练样本，剩余的90％为测试样本，并将选取出的训练样本数目不足10的类别补充至10个，表1给出了实验中真实的地物类别及相应的训练样本数目和测试样本数目，对样本最多的类别集随机去除一些训练样本和测试样本，得到测试集共1000个样本，训练集共9100个样本。训练集和测试集的像元的灰度值都被规范化到[-1,1]范围。

表1 Indian Pines数据集的真实地物类别及相应的训练及测试样本数量

对各波段对应的二维图像进行空间域上的二维均值滤波。采用Indian Pines数据集时，根据滤波模板选取准则，选取r＝5，采用二维均值滤波模板

对每个波段的二维图像进行均值滤波。

然后设计了六层CNN网络，包括输入层，第一卷积层，最大池化层，第二卷积层，全连接层，输出层。每个像元向量为196×1(P＝196)，格式变换后为14×14(Q＝14)的方阵作为网络输入。分类器各层参数依次设置如下：第一卷积层的卷积核大小为k₁＝5，特征图数量为6，特征图大小为10×10(n₁＝10)，有156个可训练参数；最大池化层的采样规模为k₂＝2，特征图数量为6，特征图大小为5×5(n₂＝5)有12个可训练参数；第二卷积层的卷积核大小为k₃＝2，特征图数量为12,特征图大小为4×4(n₃＝4)，有196个可训练参数；全连接层的单元数量为n₄＝100，有19300个可训练参数；输出层为16维(X＝16)，有1616个参数。本发明提出的卷积神经网络结构共有21280个训练参数，而传统的5-CNN共有81348个参数。本发明的卷积神经网络结构训练所需参数大量减少。训练时，输入训练样本对应的方阵数据，利用训练样本已知的地物类别(标签)，通过反向传播算法进行六层CNN网络的参数调整；训练完毕后，将测试样本输入至该固定参数的六层CNN网络中，输出测试样本的分类结果，并将分类结果与测试样本真实的地物类别相比较，得出分类的准确率，验证该分类器的性能。验证结果表明,采用本发明的方法对Indian Pines数据集进行分类实验，最高可达到94.21％的准确率，分类结果随训练次数的变化曲线如图3所示。分类准确率相对于现有的五层卷积神经网络分类器提高了33.86％。

实施例2：

本实例针对Salinas数据集，包括204个波段，即U＝204，图像大小512×217像元，即M＝512，N＝217。该高光谱遥感图像是对16类地物分布的区域进行探测成像的结果，即X＝16。

计算各波段对应的二维图像的能量值，按照能量值进行排序，提取能量值较大的前P个波段数据，

因高光谱遥感图像的样本数目庞大，有54129个样本，随机选取一半进行实验，在这一半样本中再随机选取10％为训练样本，剩余的90％为测试样本，并将选取出的训练样本数目不足10的类别补充至10，表2给出了真实的地物类别及相应的训练样本数目和测试样本数目。对样本最多的类别集随机去除一些训练样本和测试样本，得到测试集共2700个样本，训练集共20000个样本。训练集和测试集的像元的灰度值都被规范化到[-1,1]范围。

表2 Salinas数据集的真实地物类别及相应的训练及测试样本数量

对各波段对应的二维图像进行空间域上的二维均值滤波。采用Salinas数据集时，选取r＝3，采用二维均值滤波模板

对每个波段的二维图像进行均值滤波。再将滤波后的各像元对应的196×1的数据转换为14×14的方阵数据，作为卷积神经网络的输入进行特征提取和分类。该数据集的分类实验中，Q＝14，和Indian Pines数据集进行分类实验时的Q相同，因此卷积神经分类器的参数设置同实施例1。Salinas数据集在本发明提出的方法下进行分类，最高可达到99.31％的准确率，分类结果随训练次数的变化如图4所示。分类准确率相对于现有的五层卷积神经网络分类器提高了11.0％。

Claims (3)

1.一种基于六层卷积神经网络和光谱-空间信息联合的高光谱遥感图像分类方法，高光谱遥感图像是M×N×U的三维数据，其中U为波段数，每个波段的数据为一幅M×N的二维图像，M和N分别是该二维图像包含的像元行数和列数；其特征在于，分类方法包括以下步骤：

步骤1：提取高光谱遥感图像中能量值较大的P个波段对应的二维图像，对各幅图像进行灰度值规范处理；具体为：

首先，将U个波段对应的二维图像按照能量值排序，二维图像的能量值即为该图像上所有像元对应的灰度值的平方之和；再提取能量值较大的P个波段，P的选取准则为：

其中fix(·)表示向小数方向取整；

然后，对提取出的P幅二维图像，分别将其灰度值规范到[-1,1]的范围内，单幅图像的灰度值规范处理方法如下：

其中，A_mn表示该幅图像上第m行n列的像元的灰度值，

表示该像元所在列的所有像元的灰度值的平方和；B_mn表示该幅图像上第m行n列的像元规范处理后的灰度值；

步骤2：对灰度值规范处理后的P幅图像分别进行二维均值滤波，滤波模板参数由高光谱遥感图像的原始数据参数确定；即针对二维图像中的每一个像元，以该像元为中心，计算其附近r×r个像元的灰度值的平均值，作为二维均值滤波后该像元的灰度值；其中r的取值方法如下：

其中，x＝1,2,…,X，X为高光谱图像的地物类别数，x为地物类别序号；S(x)表示第x类地物在二维图像中占据的总像元数目，

步骤3：对各像元对应的一维数组进行格式转换，将其转换为方阵；其中像元对应的一维数组是指由该像元对应的P个波段的数据构成的长度为P的一维数组；其中的格式转换，是将长度为P的一维数组按列填充，即将一维数组中第1到Q个数据，放置在方阵的第一列；将第Q+1到2Q个数据，放置在方阵的第二列，依此类推，将一维数组的所有数据填充入Q×Q的方阵，从而将一维数组转换为Q×Q的方阵，

步骤4：设计一个六层卷积神经网络分类器，将各个像元对应的方阵数据作为六层卷积神经网络分类器的输入，对各个像元进行特征提取及分类；所述六层卷积神经网络分类器包括6个学习层，分别为输入层，第一卷积层，最大池化层，第二卷积层，全连接层和输出层；各层的参数设置准则是：

第一卷积层有6个特征图，卷积核大小为k₁＝ceil(Q/3)，ceil(·)表示向大数方向取整；特征图大小为n₁×n₁，其中，n₁＝Q-k₁+1；

最大池化层有6个特征图，特征图大小为n₂×n₂；特征图中的每个单元与第一卷积层中相对应特征图的k₂×k₂邻域相连接，其中，k₂取值范围在2～5之间，n₂＝n₁/k₂；

第二卷积层的卷积核大小为k₃＝fix(n₂/2)，特征图数量为12，特征图大小为n₃×n₃，其中，n₃＝n₂-k₃+1；

全连接层设置为n₄＝100个单元；

将需要进行特征提取及分类的像元对应的方阵数据输入，经六层卷积神经网络分类器，输出该像元对应的长度为X的一维数组，该一维数组中第x个元素表示该像元处的高光谱数据属于第x类地物的概率，记为p_x，

X为高光谱图像的地物类别数；将最大的p_x对应类别的地物作为该像元的分类结果，完成该像元的分类处理。

2.根据权利要求1所述的基于六层卷积神经网络和光谱-空间信息联合的高光谱遥感图像分类方法，其特征在于，将需要进行特征提取及分类的若干像元对应的方阵数据采用批处理的方式输入，经六层卷积神经网络分类器，输出各像元对应的长度为X的一维数组，完成该批像元的分类处理。

3.根据权利要求1～2中任一项所述的基于六层卷积神经网络和光谱-空间信息联合的高光谱遥感图像分类方法，其特征在于，所述步骤4中，首先将高光谱遥感图像训练样本对应的方阵数据输入至六层卷积神经网络分类器，利用训练样本已知的地物类别，通过反向传播算法进行六层卷积神经网络分类器的参数调整；训练完毕后，把需要进行特征提取及分类的像元对应的方阵数据输入至训练好的分类器，进行特征提取及分类。

Images