CN111985575A

CN111985575A - 一种基于卷积神经网络的高光谱图像分类方法

Info

Publication number: CN111985575A
Application number: CN202010907242.4A
Authority: CN
Inventors: 王志勇; 王正伟; 刘志刚; 付强; 闫超; 李胜军; 白虎冰; 张伊慧; 胡友章
Original assignee: Sichuan Jiuzhou Electric Group Co Ltd
Current assignee: Sichuan Jiuzhou Electric Group Co Ltd
Priority date: 2020-09-02
Filing date: 2020-09-02
Publication date: 2020-11-24
Anticipated expiration: 2040-09-02
Also published as: CN111985575B

Abstract

本发明公开了一种基于卷积神经网络的高光谱图像分类方法，该方法中的卷积神经网络包括顺次相连的输入层、空间信息提取层、光谱信息提取层、全连接层模块以及分类器；输入层用于将高光谱图像像素转换为输入图像块；空间信息提取层主要用于提取高光谱图像的空间信息；光谱信息提取层主要用于提取高光谱图像的光谱信息；全连接层模块用于将高维度的特征向量转换为低维度的特征向量；分类器用于将全连接层模块得到的特征向量进行归一化，进而对高光谱图像所属类别进行预测分类。应用本发明能够同时提取高光谱图像的空间信息和光谱信息，且能够很好的平衡分类速度和分类精度。

Description

一种基于卷积神经网络的高光谱图像分类方法

技术领域

本发明涉及图像分类技术领域，特别是涉及一种基于卷积神经网络的高光谱图像分类方法。

背景技术

高光谱图像技术以数十至数百个连续且细分的光谱波段对目标区域同时成像，在获得地表图像信息的同时，也获得其光谱信息，第一次真正做到了光谱与图像的结合。高光谱遥感近年来在地球观测领域得到了大量应用，高效的高光谱分类技术将大幅度提升地物分类精度，从而提升对地观测效率。

卷积神经网络(CNN)是高光谱图像分类领域的主流技术之一，人们希望有一种CNN模型能够同时满足分类速度和分类精度的要求，但这面临挑战。Lee等人提出一种Contextual CNN(Lee H,Kwon H.Going Deeper With Contextual CNN forHyperspectral Image Classification[J].IEEE Transactions on Image Processing,2017,26(10):4843-4855.)用于对高光谱图像进行分类。Lee等人提出的深度学习模型较小，便于快速完成高光谱图像分类任务，但是鉴于模型的局限性，其无法提取足够的空间信息，因此该模型的精度受到限制，例如在公开数据集University of Pivia和Indian Pines中，每种类型训练样本为200的条件下，测试集的平均精度分别为95.79％和93.61％。为了提取足够的高光谱图像空间信息，Zhang等人提出一种DRCNN模型(Zhang,Mengmeng,Li,Wei,Du,Qian.Diverse Region-Based CNN for Hyperspectral Image Classification[J].IEEE Transactions on Image Processing,2008:1-1.)，其具有很多个并行的卷积模块并显著提高了测试精度，但是DRCNN模型需要消耗大量的计算资源，训练和测试过程需要消耗太多的时间，其在数据集University of Pivia的测试时间是前述Lee模型的5.52倍。Paoletti等人提出一种卷积神经模型(Paoletti M E,Haut J M,Plaza J,et al.A newdeep convolutional neural network for fast hyperspectral image classification[J].Isprs Journal of Photogrammetry&Remote Sensing,2018,145PA(NOV.):120-147.)用于快速完成高光谱图像分类，其分类精度介于Lee模型和Zhang模型，实际上，Paoletti的模型虽然降低了模型深度且没有支路，但其输入以及卷积层滤波器尺寸显著大于前两者方法，例如在数据集University of Pivia中，Paoletti模型的最优输入尺寸是21×21×通道数，而Lee模型和Zhang模型的最佳输入分别为5×5×通道数和9×9×通道数，这导致Paoletti模型的测试时间反而显著增加。

上述方法要么侧重于分类速度，要么侧重于分类精度，或者为了平衡分类精度和速度，降低了模型深度和和复杂性，但是分类速度依然不令人满意。因此，急需一种更能平衡分类速度和分类精度的高光谱图像分类方法，使得基于深度学习特别是卷积神经网络的高光谱图像分类方法更加实用。

发明内容

本发明的目的在于提供一种基于卷积神经网络的高光谱图像分类方法，能够同时提取高光谱图像的空间信息和光谱信息，且能够很好的平衡分类速度和分类精度。

为解决上述技术问题，本发明采用的第一个技术方案是：提供一种基于卷积神经网络的高光谱图像分类方法，包括：

S1：获取待分类的高光谱图像；

S2：基于卷积神经网络对所述高光谱图像所属类别进行预测分类；

其中，所述卷积神经网络包括顺次相连的输入层、空间信息提取层、光谱信息提取层、全连接层模块以及分类器；

所述输入层用于对所述高光谱图像进行图像预处理、边界镜像处理以及数据裁剪处理，得到预设大小的输入图像块；

所述空间信息提取层用于将所述输入图像块转换为维度为1×1×3M的特征向量，并提取出转换过程中得到的空间信息，其中，M为预设值；

所述光谱信息提取层用于将维度为1×1×3M的特征向量转换为维度为1×1×M的特征向量，并提取出转换过程中得到的光谱信息；

所述全连接层模块用于将维度为1×1×M的特征向量映射为维度为1×C特征向量，其中，C为高光谱图像地物类别数；

所述分类器用于通过softmax函数对维度为1×C的特征向量进行归一化，进而对高光谱图像所属类别进行预测分类。

优选的，所述图像预处理包括平场校正处理、归一化处理和通道平均移除处理中的一种或者几种的组合；

所述平场校正处理：依据算式为I_r＝F(I_s-I_d)/(I_w-I_d)将原始反射光谱图像转换为相对反射光谱图像，I_s为原始反射光谱图像，I_d为暗场光谱图像，I_w为漫反射标准白板的光谱图像，I_r为相对反射光谱图像，F为缩放系数；

所述归一化处理：将光谱图像的灰度值缩放到预设数值范围；

所述通道平均移除处理：将光谱图像每一个像素点灰度值减去该像素点对应所有通道像素点灰度值的均值。

优选的，所述边界镜像处理包括：将维度为H×W×N的原高光谱图像中靠近图像边界Dr行和Dc列内的高光谱图像像素沿最近边界对称，得到维度为(H+2Dr)×(W+2Dc)×N的新高光谱图像，其中，H表示图像高度，W表示图像宽度，N表示通道数。

优选的，所述数据裁剪处理包括：将所述新高光谱图像裁剪为h×w×N的三维数据作为输入图像块，其中，h表示预设高度，w表示预设宽度。

优选的，所述空间信息提取层包括带卷积残差模块和多尺度滤波器模块，所述带卷积残差模块包括第一初始卷积层、第二初始卷积层、第三初始卷积层和第四初始卷积层，所述第一初始卷积层、第二初始卷积层和第三初始卷积层串联，所述第四初始卷积层与第二初始卷积层和第三初始卷积层并联，其中，所述第一初始卷积层得到的特征向量输入第四初始卷积层，且第四初始卷积层得到的特征向量与第三初始卷积层得到的特征向量相加；

所述多尺度滤波器模块包含三个相同的并行滤波支路以及与三个并行滤波支路连接的拼接层，所述并行滤波支路包含串联的多尺度卷积层和最大值池化层，其中，所述拼接层将三个并行滤波支路得到的特征向量在通道上拼接。

优选的，三个并行滤波支路的多尺度卷积层的卷积核大小不同，用于提取不同尺度的空间信息；

所述最大值池化层用于将所述多尺度卷积层得到的特征向量转换为维度为1×1×M特征向量；

所述拼接层用于将三个维度为1×1×M的特征向量拼接为维度为1×1×3M的特征向量。

优选的，所述光谱信息提取层包括第一深层卷积层和一个或多个残差块，所述第一深层卷积层和残差块依次串联，所述残差块包含两个串联的第二深层卷积层和第三深层卷积层，第二深层卷积层的输入与第三深层卷积层的输出短路连接，其中，第三深层卷积层得到的特征向量与输入第二深层卷积层的特征向量相加，得到维度为1×1×M的特征向量。

优选的，每一卷积层均包括二维卷积运算、激活运算和归一化运算。

优选的，所述全连接层模块包含三个串联的全连接层。

区别于现有技术的情况，本发明的有益效果是：

(1)在保持深度学习模型相对较小的情况下，能够充分提取高光谱图像的空间信息和光谱信息，从而具有较高的分类精度。

(2)在保证高光谱图像分类精度的情况下，深度学习模型大小没有明显复杂化或变大，从而具有较高的分类速度。

(3)充分兼顾了高光谱图像分类速度和分类精度的平衡性。

附图说明

图1是本发明实施例的基于卷积神经网络的高光谱图像分类方法的流程图；

图2是本发明实施例的卷积神经网络的结构示意图；

图3是本发明实施例的卷积神经网络中的空间信息提取层的结构示意图；

图4是本发明实施例的卷积神经网络中的光谱信息提取层的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参阅图1和图2，本发明实施例的基于卷积神经网络的高光谱图像分类方法包括以下步骤：

S1：获取待分类的高光谱图像；

S2：基于卷积神经网络对高光谱图像所属类别进行预测分类；

其中，卷积神经网络包括顺次相连的输入层10、空间信息提取层20、光谱信息提取层30、全连接层模块40以及分类器50。

输入层10用于对高光谱图像进行图像预处理、边界镜像处理以及数据裁剪处理，得到预设大小的输入图像块。在本实施例中，图像预处理包括平场校正处理、归一化处理和通道平均移除处理中的一种或者几种的组合。

平场校正处理：依据算式为I_r＝F(I_s-I_d)/(I_w-I_d)将原始反射光谱图像转换为相对反射光谱图像，I_s为原始反射光谱图像，I_d为暗场光谱图像，I_w为漫反射标准白板的光谱图像，I_r为相对反射光谱图像，F为缩放系数；

归一化处理：将光谱图像的灰度值缩放到预设数值范围；

通道平均移除处理：将光谱图像每一个像素点灰度值减去该像素点对应所有通道像素点灰度值的均值。

边界镜像处理包括：将维度为H×W×N的原高光谱图像中靠近图像边界Dr行和Dc列内的高光谱图像像素沿最近边界对称，得到维度为(H+2Dr)×(W+2Dc)×N的新高光谱图像，其中，H表示图像高度，W表示图像宽度，N表示通道数。

数据裁剪处理包括：将新高光谱图像裁剪为h×w×N的三维数据作为输入图像块，其中，h表示预设高度，w表示预设宽度。

空间信息提取层20用于将输入图像块转换为维度为1×1×3M的特征向量，并提取出转换过程中得到的空间信息，其中，M为预设值。参见图3，在本实施例中，空间信息提取层20包括带卷积残差模块21和多尺度滤波器模块22，带卷积残差模块21包括第一初始卷积层211、第二初始卷积层212、第三初始卷积层213和第四初始卷积层214，第一初始卷积层211、第二初始卷积层212和第三初始卷积层213串联，第四初始卷积层214与第二初始卷积层212和第三初始卷积层213并联，其中，第一初始卷积层211得到的特征向量输入第四初始卷积层214，且第四初始卷积层214得到的特征向量与第三初始卷积层213得到的特征向量相加；

多尺度滤波器模块22包含三个相同的并行滤波支路以及与三个并行滤波支路连接的拼接层223，并行滤波支路包含串联的多尺度卷积层221和最大值池化层222，其中，拼接层223将三个并行滤波支路得到的特征向量在通道上拼接。

具体的，三个并行滤波支路的多尺度卷积层221的卷积核大小不同，用于提取不同尺度的空间信息；

最大值池化层222用于将多尺度卷积层221得到的特征向量转换为维度为1×1×M特征向量；

拼接层223用于将三个维度为1×1×M的特征向量拼接为维度为1×1×3M的特征向量。

光谱信息提取层30用于将维度为1×1×3M的特征向量转换为维度为1×1×M的特征向量，并提取出转换过程中得到的光谱信息。参见图4，在本实施例中，光谱信息提取层30包括第一深层卷积层31和一个或多个残差块32，第一深层卷积层31和残差块32依次串联，残差块32包含两个串联的第二深层卷积层321和第三深层卷积层322，第二深层卷积层321的输入与第三深层卷积层322的输出短路连接，其中，第三深层卷积层322得到的特征向量与输入第二深层卷积层321的特征向量相加，得到维度为1×1×M的特征向量。

在空间信息提取层20和光谱信息提取层30中，每一卷积层均包括二维卷积运算、激活运算和归一化运算，即第一初始卷积层211、第二初始卷积层212、第三初始卷积层213、第四初始卷积层214、多尺度卷积层221、第一深层卷积层31、第二深层卷积层321和第三深层卷积层322包括二维卷积运算、激活运算和归一化运算。

全连接层模块40用于将维度为1×1×M的特征向量映射为维度为1×C特征向量，其中，C为高光谱图像地物类别数。在本实施例中，全连接层模块40包含三个串联的全连接层。

分类器50用于通过softmax函数对维度为1×C的特征向量进行归一化，进而对高光谱图像所属类别进行预测分类。

下面将通过一个具体实例对本实施例的方法进行详细说明，在该具体实例中，采用的高光谱数据集是University of Pivia，其空间大小为610×340像素，每个空间像素都包含103个波段的光谱信息，因此数据集University of Pivia维度为610×340×103。数据集University of Pivia的地物类别数和每种类别样本数表1所示，具有9种地物类别(即C＝9)。。

表1数据集University of Pivia地物类别和每种类别样本数

序号	类别	样本数
			1	Asphalt	6631
2	Meadows	18649
			3	Gravel	2099
4	Trees	3064
			5	Painted metal sheets	1345
6	Bare Soil	5029
			7	Bitumen	1330
8	Self-Blocking Bricks	3682
			9	Shadows	947
统计		42776

需要说明的是，如果没有特别强调，所有卷积层的卷积计算和最大值池化层的最大值池化计算的步幅stride都设置为1；所有卷积层的激活函数采用非负线性修正单元ReLU，归一化函数为Batch Normalization；在训练阶段，每种样本选择200个作为训练数据，剩下作为测试数据，学习率设置为0.001，batch size＝180。

卷积神经网络的处理流程为：

第一步，在输入层10得到9×9×103的输入图像块，具体步骤为：

1)归一化处理：将图像灰度值归一化到为[–0.5,0.5]；

2)通道平均移除处理：依据算式(1)

式中，I_x,y,i表示高光谱图像在空间位置(x,y)，通道(波段)i的灰度值，N表示通道数，

表示减去通道平均后的灰度值；

3)边界镜像处理：边境镜像尺寸为10个像素，高光谱图像尺寸由610×340×103变为630×360×103。镜像顺序为：首先执行左右边界镜像，再执行上下边界镜像。

4)数据裁剪处理：参见表1，以每一个样本为中心，裁剪出42776个维度为9×9×103三维数据作为输入图像块。

第二步，将维度为9×9×103的输入图像块输入空间信息提取层20，得到维度为1×1×384的特征向量，第一初始卷积层211、第二初始卷积层212、第四初始卷积层214的卷积核大小为3×3，第三初始卷积层213的卷积核大小为1×1。

具体的，维度为9×9×103的输入图像块先输入带残差卷积模块21，通过卷积核大小为3×3和1×1的卷积组合计算，得到维度为5×5×128的特征向量。

进一步地，维度为5×5×128的特征向量继续输入多尺度滤波器模块22，通过卷积核大小为1×1的卷积计算和5×5的最大值池化计算、卷积核大小为3×3的卷积计算和3×3的最大值池化计算、以及卷积核大小为5×5的卷积计算和1×1的最大值池化计算，多尺度滤波器模块22的三个并行滤波支路都能得到维度为1×1×128的特征向量，然后拼接层223将这三个维度为1×1×128特征向量在通道上进行拼接，得到维度为1×1×384的特征向量。

第三步，将维度为1×1×384的特征向量输入光谱信息提取层30，得到维度为1×1×128的特征向量。其中两个残差块32的第二深层卷积层321和第三深层卷积层322的卷积核大小都为1×1。需要说明的是，每一个卷积层后得到的特征向量维度都为1×1×128。

第四步，将维度为1×1×128的特征向量输入全连接层模块40，得到维度为1×9的特征向量，全连接层模块40包含三个串联的全连接层的全连接层节点数分别为128、128和9。

第五步，在分类器50中得到对高光谱图像像素所属类别进行预测分类，分类器函数采用softmax，依据算式(2)：

式中，y_i表示样本类别i的输出值，C是样本类别数，即C＝9。

表2展示了本发明实施例的方法与现有技术的CDCNN(Lee et al.)、DRCNN(Zhanget al)和3DCNN(Paoletti et al)方法得到的测试精度和测试时间对比结果。需要说明的是，每种方法输入图像块大小是该方法推荐的输入大小，对应到表2中，分别为5×5×103、11×11×103、21×21×103和9×9×103。

表2基于数据集University of Pivia的测试结果对比

分类方法	CDCNN	3DCNN	DRCNN	本发明
					测试精度	95.79％	98.06％	99.56％	98.56％
测试时间	5.7101s	104.6733s	31.5197s	18.7153s

从表2可以看出，本发明实施例的高光谱图像分类方法的测试精度为98.56％，排名第二，只比最优测试精度低1％，却比最低测试精度高3％左右。本发明实施例的高光谱图像分类方法的测试时间为18.7153秒，排名第二，仅仅是最优测试时间的3.28倍，而3DCNN和DRCNN的测试时间分别是最优测试时间的18.33倍和5.52倍。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims

1.一种基于卷积神经网络的高光谱图像分类方法，其特征在于，包括：

S1：获取待分类的高光谱图像；

2.根据权利要求1所述的高光谱图像分类方法，其特征在于，所述图像预处理包括平场校正处理、归一化处理和通道平均移除处理中的一种或者几种的组合；

3.根据权利要求2所述的高光谱图像分类方法，其特征在于，所述边界镜像处理包括：将维度为H×W×N的原高光谱图像中靠近图像边界Dr行和Dc列内的高光谱图像像素沿最近边界对称，得到维度为(H+2Dr)×(W+2Dc)×N的新高光谱图像，其中，H表示图像高度，W表示图像宽度，N表示通道数。

4.根据权利要求3所述的高光谱图像分类方法，其特征在于，所述数据裁剪处理包括：将所述新高光谱图像裁剪为h×w×N的三维数据作为输入图像块，其中，h表示预设高度，w表示预设宽度。

5.根据权利要求1所述的高光谱图像分类方法，其特征在于，所述空间信息提取层包括带卷积残差模块和多尺度滤波器模块，所述带卷积残差模块包括第一初始卷积层、第二初始卷积层、第三初始卷积层和第四初始卷积层，所述第一初始卷积层、第二初始卷积层和第三初始卷积层串联，所述第四初始卷积层与第二初始卷积层和第三初始卷积层并联，其中，所述第一初始卷积层得到的特征向量输入第四初始卷积层，且第四初始卷积层得到的特征向量与第三初始卷积层得到的特征向量相加；

6.根据权利要求5所述的高光谱图像分类方法，其特征在于，三个并行滤波支路的多尺度卷积层的卷积核大小不同，用于提取不同尺度的空间信息；

7.根据权利要求1所述的高光谱图像分类方法，其特征在于，所述光谱信息提取层包括第一深层卷积层和一个或多个残差块，所述第一深层卷积层和残差块依次串联，所述残差块包含两个串联的第二深层卷积层和第三深层卷积层，第二深层卷积层的输入与第三深层卷积层的输出短路连接，其中，第三深层卷积层得到的特征向量与输入第二深层卷积层的特征向量相加，得到维度为1×1×M的特征向量。

8.根据权利要求5、6、7所述的高光谱图像分类方法，其特征在于，每一卷积层均包括二维卷积运算、激活运算和归一化运算。

9.根据权利要求5、6、7所述的高光谱图像分类方法，其特征在于，所述全连接层模块包含三个串联的全连接层。