CN107657285A - 基于三维卷积神经网络的高光谱图像分类方法 - Google Patents

Abstract

基于三维卷积神经网络的高光谱图像分类方法，本发明涉及高光谱图像分类方法。本发明的目的是为了解决现有二维卷积神经网络粗糙的将三维信号重新编排为二维信号，不但无法充分利用高光谱图像中的空间信息，还会破坏原有三维高光谱图像中的空间信息和光谱信息的问题。过程为：一、将高光谱图像数据集导入MATLAB平台，得到处理好的数据集；二、将新的高光谱图像作为训练集；三、根据三维矩阵形式的训练集搭建三维卷积神经网络；四、使用三维矩阵形式的训练集训练三维卷积神经网络，得到训练好的三维卷积神经网络；五、使用三维矩阵形式的测试集输入训练好的三维卷积神经网络，得到测试集分类结果。本发明用于图像分类领域。

Description

基于三维卷积神经网络的高光谱图像分类方法

技术领域

本发明涉及高光谱图像分类方法。

背景技术

高光谱图像分类技术的发展方向十分丰富，而卷积神经网络在近几年发现也十分适合于用于高光谱图像的分类，然而传统用于高光谱分类的卷积神经网络多采用将二维卷积神经网络用于有着鲜明三维特性的高光谱图像分类的方式。这种方式会很粗糙的将三维信号重新编排为二维信号，不但无法充分利用高光谱图像中的空间信息，还会破坏原有三维高光谱图像中的空间信息和光谱信息。

发明内容

本发明的目的是为了解决现有二维卷积神经网络粗糙的将三维信号重新编排为二维信号，不但无法充分利用高光谱图像中的空间信息，还会破坏原有三维高光谱图像中的空间信息和光谱信息的问题，而提出基于三维卷积神经网络的高光谱图像分类方法。

基于三维卷积神经网络的高光谱图像分类方法具体过程为：

步骤一、将高光谱图像数据集导入MATLAB平台，对导入MATLAB平台的高光谱图像数据集中的三维数据信息进行逐层归一化处理，得到处理好的数据集；

从处理好的数据集中选取所有类标签的等量数据并记录空间坐标；

将处理好的数据集作为测试集；

所述高光谱图像数据集中的三维数据信息包括光谱信息和空间信息；

所述高光谱图像数据集为三维矩阵形式；

步骤二、将选取的所有类标签的等量数据的空间坐标作为中心进行n×n范围的抽取，将抽取出来的同类标签的数据拼成新的高光谱图像，将新的高光谱图像作为训练集；

所述训练集为三维矩阵形式；

n取值为3或5；

步骤三、根据三维矩阵形式的训练集搭建三维卷积神经网络；

步骤四、使用三维矩阵形式的训练集训练三维卷积神经网络，得到训练好的三维卷积神经网络；

步骤五、使用三维矩阵形式的测试集输入训练好的三维卷积神经网络，得到测试集分类结果。

本发明的有益效果为：

本发明提出搭建三维卷积神经网络直接将三维的高光谱图像作为输入模型输入到神经网络中，不会破坏高光谱图像原有的图像立方体信息能够充分保留高光谱图像中的空间信息和光谱信息，可以充分利用高光谱图像的空间信息和光谱信息，更好的达到高光谱图像的分类效果。

本发明主要利用3D-CNN对Pavia U和KSC高光谱数据进行分类，完成了对小样本数据的分析实验，最后通过在训练小样本时三维卷积神经网络的分类精度与DBN、KNMF和RBFSVM方法相比较，分析3D-CNN的方法在小训练样本时的表现情况，得出结论：本发明完成了基于3D-CNN高光谱图像分类的研究。通过完成Pavia U与KSC数据的预处理，由搭建的三维卷积神经网进行小样本数据的比较分析实验，并且通过与其他方法的对比，证实了利用3D-CNN网络进行高光谱数据分类方法的可行性与优越性。

根据实施例一中的表3可以看出在Pavia.U数据集上的精度都是随着训练样本的增加而增加，上升的趋势基本相同。在这当中RBF SVM的效果是最好的，3D-CNN的训练结果随着训练样本的上升的较快，当样本数为200的时候与RBF SVM持平。

从表4可以看到在KSC数据集上，3D-CNN、DBN、KNMF和RBF SVM方法的精度都随着训练样本的增加而增加，上升趋势相同。在KSC上3D-CNN的精度是最好的，当每一类取200为训练样本的时候，3D-CNN、DBN、RBF精度几乎一样，为0.92左右。

根据上面两个数据集的实验，可以得到以下的结论，3D-CNN、DBN、KNMF、RBF和SVM的训练结果随着训练样本的增大，其上升的趋势基本相同，在这两个数据集中

KNMF的数据精度都是最小的。在样本数为200的时候，精度都达到最大。

附图说明

图1为本发明基于三维卷积神经网络的高光谱图像分类流程图；

图2为本发明训练样本提取的示意图；

图3a为本发明Pavia U伪彩色图像示意图；

图3b为本发明Pavia U伪彩色图像真实地物标记示意图；

图4a为本发明KSC伪彩色图像示意图；

图4b为本发明KSC伪彩色图像真实地物标记示意图。

具体实施方式

具体实施方式一：结合图1说明本实施方式，本实施方式的基于三维卷积神经网络的高光谱图像分类方法具体过程为：

步骤一、将高光谱图像数据集导入MATLAB平台，对导入MATLAB平台的高光谱图像数据集中的三维数据信息进行逐层归一化处理，得到处理好的数据集；

从处理好的数据集中选取所有类(土、水和天空)标签的等量数据(土选取200个、水选取200个和天空选取200个)并记录空间坐标；

将处理好的数据集作为测试集；

所述高光谱图像数据集中的三维数据信息包括光谱信息和空间信息；

所述高光谱图像数据集为三维矩阵形式；

步骤二、将选取的所有类标签的等量数据的空间坐标作为中心进行n×n范围的抽取，将抽取出来的同类(都是土、都是水或都是天空)标签的数据拼成新的高光谱图像，将新的高光谱图像作为训练集；

所述训练集为三维矩阵形式；

n取值为3或5；

如图2在加载了图片并归一化后的高光谱数据，通过标签矩阵找到各类的坐标点，并根据随机选取的K个坐标点提取三维训练数据，接着将提取出的不同类别的数据组合在一起。

在Keras平台输入数据的时候还需要对数据进行处理，使得数据能够输入搭建的网络。使用scipy函数导入，如果使用MATLAB归一化，需要将导入的mat文件中的字符串去掉，因为所保存的mat文件会有字符串记录所保存的时间和版本信息等内容，这个字符串会导致数据无法正常读取。

导入数据时，和二维卷积神经网络不同的是输入数据的维度和输入尺寸。在导入数据之后使用astype实现变量类型转换，将数据转换为所需要使用的类型。转换之后使用reshap函数重新调整矩阵的行数、列和维数，此时应该加入通道信息，只有加入输入的通道数才可以把数据导入。

步骤三、根据三维矩阵形式的训练集搭建三维卷积神经网络；

步骤四、使用三维矩阵形式的训练集训练三维卷积神经网络，得到训练好的三维卷积神经网络；

步骤五、使用三维矩阵形式的测试集输入训练好的三维卷积神经网络，得到测试集分类结果。评估分类准确度。

具体实施方式二：本实施方式与具体实施方式一不同的是：所述步骤一中将高光谱图像数据集导入MATLAB平台，对导入MATLAB平台的高光谱图像数据集中的三维数据信息进行逐层归一化处理，得到处理好的数据集；具体过程为：

将高光谱图像数据集导入实验用的MATLAB平台，对导入MATLAB平台的高光谱图像数据集的三维数据信息进行逐层归一化处理，公式为：

式中，1≤i≤W，1≤j≤L，1≤k≤H，为归一化函数，为i、j、k位置的高光谱图像数据集的三维数据，i、j表示高光谱图像数据集中的三维数据信息的空间位置，k表示高光谱图像数据集中的三维数据信息的光谱波段，W、L表示空间位置的最大值，取值为正整数，H为表示光谱波段的最大值，取值为正整数；

本实验的归一化方式选择逐层内部线性归一化，可以将三维数据信息归一化为0-1，方便后面的分类。

如图1为基于三维卷积神经网络的高光谱分类步骤，通过输入数据的预处理，提取有效数据，并使数据成为适合输入的类型并通过归一化提高准确精度。接着进行模型搭建并设置参数。当搭建成功之后输入数据进行编译，使用训练集训练网络。最后使用测试集评估分类准确精度，得出结果。

其它步骤及参数与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式一或二不同的是：所述步骤三中在Keras平台中根据三维矩阵形式的训练集搭建三维卷积神经网络；具体过程为：

1)三维卷积层对作为三维卷积神经网络输入的三维矩阵形式的训练集进行滑动窗卷积，并把三维卷积层作为三维卷积神经网络的第一层；

当使用三维卷积层作为三维卷积神经网络的第一层时，须提供input_shape(将三维矩阵形式的训练集作为输入时的)参数；

2)进行滑动窗卷积后的训练集数据的通道位置由数据格式(data_format)参数指定，数据格式(data_format)参数代表进行滑动窗卷积后的训练集数据的通道维的位置，如果没有设置数据格式(data_format)参数，自动默认为滑动窗卷积后的训练集数据的通道位置为三维卷积神经网络所有通道中的最后一个通道(channels_last)；

3)设置三维卷积层卷积核大小为(1,1,1)，激活函数选择relu(修正线性单元激活函数)，由于池化层会较大影响分类结果，只使用一层池化层对relu激活函数池化，在三维卷积神经网络(3D-CNN)的全连接层之前设置flatten(平滑参数)，使用dense(密集参数)设置全连接层的层数为两层。

本发明实现的三维卷积神经网络高光谱数据分类的模型，共4层网络，其中包含一个卷积层一个池化层和两个全连接层，在卷积层都接一个relu函数，网络最终输出分类正确率和漏失率。使用的数据为训练集测试集和验证集三组数据，通过训练集训练构建网络模型，之后通过测试集进行评估。

其它步骤及参数与具体实施方式一或二相同。

具体实施方式四：本实施方式与具体实施方式一至三之一不同的是：所述步骤四中使用三维矩阵形式的训练集训练三维卷积神经网络，得到训练好的三维卷积神经网络；具体过程为：

设置Keras的运行模式为训练模式，选取步骤二中的每一类训练集及其类标签作为三维卷积神经网络的输入，Keras软件迭代训练三维卷积神经网络，获得训练好的三维卷积神经网络。

其它步骤及参数与具体实施方式一至三之一相同。

具体实施方式五：本实施方式与具体实施方式一至四之一不同的是：所述步骤五中使用三维矩阵形式的测试集输入训练好的三维卷积神经网络，得到测试集分类结果；具体过程为：

设置Keras的运行模式为测试模式，选取步骤一中的测试集作为三维卷积神经网络的输入，获得测试集的分类结果。

其它步骤及参数与具体实施方式一至四之一相同。

采用以下实施例验证本发明的有益效果：

实施例一：

本实施例基于三维卷积神经网络的高光谱图像分类方法具体是按照以下步骤制备的：

利用基于3D-CNN的高光谱数据分类方法，使用小样本进行训练。通过在训练小样本时三维卷积神经网络的分类精度与DBN和KNMF和RBF SVM方法相比较，分析3D-CNN的方法在小训练样本时的表现情况。

本发明采用两个常用的高光谱数据集，其中一张是美国佛罗里达州肯尼迪航天中心(KSC)的混合植被图，另一张是意大利帕维亚大学(Pavia U)。

Pavia University:这一数据集是在2001年通过反射式光学系统成像光谱仪(ROSIS-3)传感器拍摄的Pavia大学，这幅影像的像素为610*340。ROSIS传感器在0.43-0.86微米范围包含有115个波段，空间分辨率能够达到每个像素1.3米。去掉12个包含噪声的谱段后剩余103个波段用于分析。地物类别和每类样本个数如表1所示，共有9类。伪彩色图像与真实地物标记图如图3a、3b所示。

表1 Pavia U数据及分类与样本个数

KSC：这一数据集是在1996年由美国国家航空和航天局(NASA)利用机载可见光/红外光谱仪(AVIRIS)获取，这幅影像的像素为512*614。AVIRIS数据对每个像素点在0.4到2.5微米的波长范围内采集224个光谱数据，空间分辨率为每个像素18米，去掉包含噪声的谱段后剩余176个波段用于分析。地物类别和每类样本个数如表2所示，共有13类。

表2 KSC数据及分类与样本个数

伪彩色图像与真实地物标记图如图4a、4b所示。

首先比较3D-CNN和DBN与KNMF和RBF SVM方法时的表现情况，在Pavia U数据集与KSC数据集上进行，每个类别的训练样本个数选为50,100,150,200个进行试验。PaviaU实验结果如表3所示，KSC实验结果如表4所示。

由表3可以看出在Pavia.U数据集上的精度都是随着训练样本的增加而增加，上升的趋势基本相同。在这当中RBF SVM的效果是最好的，3D-CNN的训练结果随着训练样本的上升的较快，当样本数为200的时候与RBF SVM持平。

表3 Pavia U数据分类精度

从表4可以看到在KSC数据集上，3D-CNN、DBN、KNMF和RBF SVM方法的精度都随着训练样本的增加而增加，上升趋势相同。在KSC上3D-CNN的精度是最好的，当每一类取200为训练样本的时候，3D-CNN、DBN、RBF精度几乎一样，为0.92左右。

表4 KSC数据分类精度

根据上面两个数据集的实验，可以初步得到以下的结论，3D-CNN、DBN、KNMF和RBFSVM的训练结果随着训练样本的增大，其上升的趋势基本相同，在这两个数据集中KNMF的数据精度都是最小的。在样本数为200的时候，精度都达到最大。

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (5)

1.基于三维卷积神经网络的高光谱图像分类方法，其特征在于：所述方法具体过程为：

步骤一、将高光谱图像数据集导入MATLAB平台，对导入MATLAB平台的高光谱图像数据集中的三维数据信息进行逐层归一化处理，得到处理好的数据集；

从处理好的数据集中选取所有类标签的等量数据并记录空间坐标；

将处理好的数据集作为测试集；

所述高光谱图像数据集中的三维数据信息包括光谱信息和空间信息；

所述高光谱图像数据集为三维矩阵形式；

步骤二、将选取的所有类标签的等量数据的空间坐标作为中心进行n×n范围的抽取，将抽取出来的同类标签的数据拼成新的高光谱图像，将新的高光谱图像作为训练集；

所述训练集为三维矩阵形式；

n取值为3或5；

步骤三、根据三维矩阵形式的训练集搭建三维卷积神经网络；

步骤四、使用三维矩阵形式的训练集训练三维卷积神经网络，得到训练好的三维卷积神经网络；

步骤五、使用三维矩阵形式的测试集输入训练好的三维卷积神经网络，得到测试集分类结果。

2.根据权利要求1所述基于三维卷积神经网络的高光谱图像分类方法，其特征在于：所述步骤一中将高光谱图像数据集导入MATLAB平台，对导入MATLAB平台的高光谱图像数据集中的三维数据信息进行逐层归一化处理，得到处理好的数据集；具体过程为：

将高光谱图像数据集导入实验用的MATLAB平台，对导入MATLAB平台的高光谱图像数据集的三维数据信息进行逐层归一化处理，公式为：

<mrow> <mi>n</mi> <mi>o</mi> <mi>r</mi> <mi>m</mi> <mrow> <mo>(</mo> <msubsup> <mi>x</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mi>k</mi> </msubsup> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <msubsup> <mi>x</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mi>k</mi> </msubsup> <mo>-</mo> <mi>m</mi> <mi>i</mi> <mi>n</mi> <mrow> <mo>(</mo> <msubsup> <mi>x</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mi>k</mi> </msubsup> <mo>)</mo> </mrow> </mrow> <mrow> <mi>max</mi> <mrow> <mo>(</mo> <msubsup> <mi>x</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mi>k</mi> </msubsup> <mo>)</mo> </mrow> <mo>-</mo> <mi>m</mi> <mi>i</mi> <mi>n</mi> <mrow> <mo>(</mo> <msubsup> <mi>x</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mi>k</mi> </msubsup> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>

式中，1≤i≤W，1≤j≤L，1≤k≤H，为归一化函数，为i、j、k位置的高光谱图像数据集的三维数据，i、j表示高光谱图像数据集中的三维数据信息的空间位置，k表示高光谱图像数据集中的三维数据信息的光谱波段，W、L表示空间位置的最大值，取值为正整数，H为表示光谱波段的最大值，取值为正整数。

3.根据权利要求2所述基于三维卷积神经网络的高光谱图像分类方法，其特征在于：所述步骤三中在Keras平台中根据三维矩阵形式的训练集搭建三维卷积神经网络；具体过程为：

1)三维卷积层对作为三维卷积神经网络输入的三维矩阵形式的训练集进行滑动窗卷积，并把三维卷积层作为三维卷积神经网络的第一层；

当使用三维卷积层作为三维卷积神经网络的第一层时，须提供input_shape参数；

input_shape参数为将三维矩阵形式的训练集作为输入时的参数；

2)进行滑动窗卷积后的训练集数据的通道位置由数据格式参数指定，数据格式参数代表进行滑动窗卷积后的训练集数据的通道维的位置，如果没有设置数据格式参数，自动默认为滑动窗卷积后的训练集数据的通道位置为三维卷积神经网络所有通道中的最后一个通道；

3)设置三维卷积层卷积核大小为(1,1,1)，激活函数选择relu，只使用一层池化层对relu激活函数池化，在三维卷积神经网络的全连接层之前设置flatten，使用dense设置全连接层的层数为两层。

4.根据权利要求3所述基于三维卷积神经网络的高光谱图像分类方法，其特征在于：所述步骤四中使用三维矩阵形式的训练集训练三维卷积神经网络，得到训练好的三维卷积神经网络；具体过程为：

设置Keras的运行模式为训练模式，选取步骤二中的每一类训练集及其类标签作为三维卷积神经网络的输入，Keras软件迭代训练三维卷积神经网络，获得训练好的三维卷积神经网络。

5.根据权利要求4所述基于三维卷积神经网络的高光谱图像分类方法，其特征在于：所述步骤五中使用三维矩阵形式的测试集输入训练好的三维卷积神经网络，得到测试集分类结果；具体过程为：

设置Keras的运行模式为测试模式，选取步骤一中的测试集作为三维卷积神经网络的输入，获得测试集的分类结果。