CN113837314A - 一种基于混合卷积神经网络的高光谱图像分类方法 - Google Patents

Abstract

本发明公开了一种基于混合卷积神经网络的高光谱图像分类方法，使用优化PCA对高光谱图像进行预处理；构建混合卷积神经网络模型，混合卷积神经网络模型包括输入层、隐含层和输出层三部分；隐含层由特征提取层、全连接层以及分类器组成，其中特征提取层由依次连接的3D卷积层、2D卷积层和1D卷积层构成，用于同时提取高光谱图像的光谱和空间维度特征，减少模型训练参数并减少计算量；训练混合卷积神经网络模型；将预处理后的高光谱图像输入训练后的混合卷积神经网络模型，输出高光谱图像分类结果。应用本发明能在提高高光谱图像分类精度的前提下，同时提取光谱和空间维度特征，减少模型训练参数且降低计算量，拥有很好的泛化能力。

Description

一种基于混合卷积神经网络的高光谱图像分类方法

技术领域

本发明涉及高光谱图像处理技术领域，具体涉及一种基于混合卷积神经网络的高光谱图像分类方法。

背景技术

近年来，随着我国“高分五号”卫星的成功发射，研究者们对高光谱遥感技术的关注达到了新的高度。高光谱图像是通过高光谱成像仪获取的图像，光谱信息和空间维度信息十分丰富，因此被广泛应用于精准农业、海洋水文监测、大气环境监测等领域，但是，高光谱图像波段多、空间分辨率低及数据维数灾难等现实问题，使得高光谱图像分类仍面临着很大的挑战，所以，研究如何使分类算法更加高效，提高分类精度是十分有必要的。

目前，对于高光谱图像分类任务，一种是采用传统的方法，例如利用光谱特征和数据统计特征的K近邻算法和SVM等，但这些方法主要是提取分类器所需要的特征，且特征是面向领域知识的，会造成分类精度不佳；另一种是基于卷积神经网络的方法，如HU Wei等人提出的一维卷积神经网络(1D-CNN)，第一次采用多层卷积神经网络，通过提取光谱特征进行高光谱图像分类，Liu等人使用2D-CNN模型，进一步提高了1D-CNN模型的分类精度，LiYang等人通过3D-CNN构建端到端的分类模型，在顾及二维空间维度特征和不同光谱通道间特征的同时，获得了比2D-CNN更高的分类精度，但又造成模型复杂、计算量大等问题。

因此，如何得到一种基于卷积神经网络的高光谱图像分类方法，以弥补现有方法不能充分利用光谱和空间维度特征、分类精度不佳、网络结构复杂、计算量大等问题，具有重要的研究意义和应用价值。

发明内容

针对现有技术中存在的问题，本发明提供了一种基于混合卷积神经网络的高光谱图像分类方法，能在提高高光谱图像分类精度的前提下，同时提取光谱和空间维度特征，减少模型训练参数且降低计算量，拥有很好的泛化能力。

为了解决上述技术问题，本发明通过以下技术方案予以实现：

一种基于混合卷积神经网络的高光谱图像分类方法，包括：

对高光谱图像进行预处理；

构建混合卷积神经网络模型，所述混合卷积神经网络模型包括输入层、隐含层和输出层；所述隐含层包括特征提取层、全连接层和分类器，其中，所述特征提取层由依次连接的3D卷积层、2D卷积层和1D卷积层构成，所述特征提取层用于同时提取高光谱图像的光谱和空间维度特征；

训练所述混合卷积神经网络分类模型；

将预处理后的高光谱图像输入训练后的混合卷积神经网络模型，输出高光谱图像分类结果。

进一步地，使用优化PCA对高光谱图像进行预处理，具体包括：

由协方差矩阵的特征分解公式E＝ADA^T和Y＝AX，将维度W×H×S的原高光谱图像X进行主成分转换成维度为W×H×B的新高光谱图像Y；其中，W为图像宽度，H为图像高度，S为原图像通道数，B为变换后的通道数，A为变换矩阵，D为协方差矩阵特征值的对角矩阵，T为变换矩阵的转置。

进一步地，所述输入层用于将所述新高光谱图像Y裁剪为大小为w×w×B的三维图像块输入到混合卷积神经网络模型中，w为窗口大小。

进一步地，所述全连接层包括三个串联的Dense全连接层，所述分类器通过Softmax函数对输出维度为1×C的特征向量进行归一化，进而对每个地物元素所属类别进行分类预测，C为高光谱图像的地物类别数。

进一步地，三个3D卷积层、一个2D卷积层、一个1D卷积层、三个串联的Dense全连接层和分类器均为依次串行连接。

进一步地，采用3D卷积模型同时提取预处理后高光谱图像的光谱和空间维度特征，采用2D卷积模型进一步提取空间维度特征，采用1D卷积模型处理其输出的信息。

进一步地，3D卷积、2D卷积和1D卷积模型均包括卷积运算和激活运算。

进一步地，所述Dense全连接层应用Dropout。

进一步地，所述训练所述混合卷积神经网络分类模型，具体包括：

采用Adam学习算法对所述混合卷积神经网络模型进行优化，训练次数为100次，实验测试比例为0.7，学习率初始化为0.001，得到训练后的混合卷积神经网络模型。

与现有技术相比，本发明至少具有以下有益效果：

(1)在保持卷积神经网络模型的同时，充分融合光谱和空间维度特征，且提升了高光谱图像的分类精度。

(2)结合3D-CNN、2D-CNN和1D-CNN高光谱分类模型特点，对现有CNN模型网络结构进行优化，减少训练参数进而减少计算量。

(3)简化模型的复杂度，在减少计算量的同时，进一步提高高光谱图像的分类精度。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式中的技术方案，下面将对具体实施方式描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施的高光谱图像分类方法流程图。

图2为本发明实施例中混合卷积神经网络的结构示意图。

图3为本发明实施例中3D卷积神经网络示意图。

图4为本发明实施例中2D卷积神经网络示意图。

图5为本发明实施例中1D卷积神经网络示意图。

图6为Indian Pines高光谱图像数据集五种分类算法分类结果图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种基于混合卷积神经网络的高光谱图像分类分类方法，该分类方法包括如下步骤：

步骤S1、使用优化PCA对高光谱图像进行预处理；

在步骤S1中，上述优化PCA对高光谱图像数据进行预处理，能够使用更少的新特征数据，最大限度地表征原有信息。优化PCA预处理，由协方差矩阵的特征分解公式E＝ADA^T和Y＝AX，将维度W×H×S的原高光谱图像X进行主成分转换成维度为W×H×B的新高光谱图像Y，W为图像宽度，H为图像高度，S为原图像通道数，B为变换后的通道数，A为变换矩阵，D为协方差矩阵特征值的对角矩阵，T为变换矩阵的转置。

步骤S2、构建混合卷积神经网络模型，混合卷积神经网络模型包括输入层、隐含层和输出层三部分：输入层将所述的新高光谱图像Y裁剪为大小为w×w×B的三维图像块输入到模型中，w为窗口大小；隐含层由特征提取层、全连接层以及分类器组成；输出层为经过分类预测判别的高光谱图像分类结果；

步骤S2中构建的网络模型如图2所示，上述的隐含层：上述特征提取层由依次连接的3D卷积层、2D卷积层和1D卷积层构成，用于同时提取高光谱图像的光谱和空间维度特征，减少模型训练参数并减少计算量。上述全连接层包含三个串联的Dense全连接层，上述分类器是通过Softmax函数对输出维度为1×C的特征向量进行归一化，进而对每个地物元素所属类别进行分类预测，C为高光谱图像的地物类别数。

Dense全连接层应用Dropout，可有效缓解过拟合的发生，在一定程度上达到正则化的效果。

步骤S3、训练步骤S2中的混合卷积神经网络分类模型；

在步骤S3中，在进行混合卷积神经网络的训练时，采用Adam学习算法对上述混合卷积神经网络进行优化，训练次数为100次，实验测试比例为0.7，学习率初始化为0.001，得到训练后的混合卷积神经网络模型。在训练过程中，随着训练次数的增加，根据分类精度和损失函数曲线的变化情况，可以得知模型的训练情况是较为理想和有效的。

步骤S4、将预处理后的高光谱图像输入训练后的混合卷积神经网络模型，输出高光谱图像分类预测结果；

在步骤S4中，输入的是经过优化PCA预处理后的高光谱图像，其尺寸大小为25×25×B的三维数据块，B为预处理后的图像波段数，高光谱图像分别经过三个3D卷积层，输出第一特征图；第一特征图经过一个2D卷积层，输出第二特征图；第二特征图经过一个1D卷积层，输出第三特征图，将第三特征图依次通过后端的两个全连接层和分类层，输出分类预测后的高光谱图像。在3D卷积层、2D卷积层和1D卷积层之间，首先通过经设置的一定大小和数量的卷积核，随后经过激励函数传入下一个卷积层。

3D卷积通常由三个维度的卷积核组成，不仅能够顾及二维平面的空间维度特征，还能提取不同光谱通道之间的特征。图3说明了3D卷积层的工作过程，W₀、W₁分别为变换前后的宽高，S₀、S₁分别为变换前后的光谱数，D为3D卷积核第三维尺寸，n为卷积核数，此外，空间位置(x,y,z)的激活值

公式如下：

其中，F为激活函数，d_l-1为第l-1层特征图的个数，b_i,j为第i层第j个特征图的偏置参数，ω_i,j为权值参数，内核深度为高为2η+1，宽度为2γ+1，高为2δ+1。通常卷积核大小为3×3，卷积步长为1。

由于3D-CNN模型结构复杂，因此在3D卷积层后，设计2D卷积层进一步学习每张光谱图像中更多抽象空间信息，图4说明了2D卷积层的工作过程，H₀、H₁分别为变换前后的宽高，空间位置(x,y)的激活值

公式如下：

其中内核宽度为2γ+1，高为2δ+1，d_l-1为第l-1层特征图的个数，第i层第j个特征图的偏置参数为b_i,j，权值参数为ω_i,j。

进而将其输入1D卷积层以学习更加抽象的光谱信息，图5说明了1D卷积层的工作过程，L₀、L₁分别为变换前后的维度，m为1D卷积核数，空间位置为x的激活值

公式如下：

其中内核长度为2δ+1，d_l-1为第l-1层特征图的个数，第i层第j个特征图的偏置参数为b_i,j，权值参数为ω_i,j。

为对本实施例分类方法进行详细说明，进行如下实验验证：所用数据集为AVIRIS成像光谱仪拍摄得到Indian Pines高光谱数据集，有220个原始数据光谱波段，去除水吸收波段等坏波段后，剩余有效波段为200个，单个波段的分辨率为145×145像素，因此原数据集维度为145×145×200，含有16个地物类别(C＝16)，具体地物类别和每种类别样本数如表1所示：

表1 Indian Pines数据集地物类别和每种类别样本数

为更好地进行模型的训练，实验参数设置如下：实验测试比例为0.7，学习率初始化为0.001，随后自适应调整，所有卷积层的激活函数采用非负线性修正单元ReLU。此时，混合卷积神经网络处理流程如下：

第一步，将经过降维预处理的Indian Pines数据集，取前30个主成分，输入到混合卷积神经网络模型中，输入是尺寸大小为25×25×30的三维数据块；

第二步，将尺寸大小为25×25×30的三维数据块输入到串联的三个3D卷积层中，得到尺寸大小为19×19×18的特征向量。

具体的，将尺寸大小为25×25×30的三维数据块先输入到卷积核为3×3的第一3D卷积层，得到尺寸大小为23×23×24的特征向量，接着将其输入到卷积核为3×3的第二3D卷积层，得到尺寸大小为21×21×20的特征向量，最后将尺寸大小为21×21×20的特征向量输入到卷积核为3×3的第三3D卷积层，得到尺寸大小为19×19×18的特征向量。

第三步，将第二步得到的尺寸大小为19×19×18的特征向量输入到2D卷积层中，得到尺寸大小为17×17的特征向量。

第四步，将第三步得到的尺寸大小为17×17的特征向量输入到1D卷积层中，得到维度为1×15的特征向量。

第五步，将一维特征向量输入串联的三个全连接层模块，得到维度为1×16的特征向量，三个全连接层模块的节点数分别为256、128和16，。

第六步，将维度为1×16的特征向量输入到分类器中，得到高光谱图像每个像元类别的分类预测结果，分类器函数采用的是Softmax函数。

本发明的分类模型的具体层类型、输出维数与可训练参数如表2所示：

表2混合卷积神经网络模型参数

另外，将本文发明的分类方法与SVM、1D-CNN、2D-CNN和3D-CNN进行实验对比分析，在Indian Pines高光谱数据集上的分类结果如图6所示，其中具体16个地物类别的分类精度如表3所示。

表3各算法下Indian Pines数据集分类结果

类别	SVM	1D-CNN	2D-CNN	3D-CNN	本发明
						总体精度(OA)(％)	80.71	77.55	90.48	96.35	99.32
平均精度(AA)(％)	79.01	71.49	78.59	94.21	98.62
						Kappa系数(k)(％)	77.83	74.33	89.12	95.83	99.22
训练时间(s)	1.48	180.34	911.26	1589.87	501.23
						测试时间(s)	1.02	2.32	7.51	28.16	5.65

由表3分类结果可知，在Indian Pines数据集上，本发明的分类方法的分类精度均为最佳的，与SVM、1D-CNN和2D-CNN模型相比分类精度有显著提升，与现有3D-CNN模型相比，总体精度提高了2.97％，平均精度提高了4.41％，kappa系数提高了3.39％，同时计算量大大降低，训练时间分别减少了1088.64s和703.57s，充分说明本发明的分类方法是有效可行的。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (9)

1.一种基于混合卷积神经网络的高光谱图像分类方法，其特征在于，包括：

对高光谱图像进行预处理；

构建混合卷积神经网络模型，所述混合卷积神经网络模型包括输入层、隐含层和输出层；所述隐含层包括特征提取层、全连接层和分类器，其中，所述特征提取层由依次连接的3D卷积层、2D卷积层和1D卷积层构成，所述特征提取层用于同时提取高光谱图像的光谱和空间维度特征；

训练所述混合卷积神经网络分类模型；

将预处理后的高光谱图像输入训练后的混合卷积神经网络模型，输出高光谱图像分类结果。

2.根据权利要求1所述的一种基于混合卷积神经网络的高光谱图像分类方法，其特征在于，使用优化PCA对高光谱图像进行预处理，具体包括：

由协方差矩阵的特征分解公式E＝ADA^T和Y＝AX，将维度W×H×S的原高光谱图像X进行主成分转换成维度为W×H×B的新高光谱图像Y；其中，W为图像宽度，H为图像高度，S为原图像通道数，B为变换后的通道数，A为变换矩阵，D为协方差矩阵特征值的对角矩阵，T为变换矩阵的转置。

3.根据权利要求2所述的一种基于混合卷积神经网络的高光谱图像分类方法，其特征在于，所述输入层用于将所述新高光谱图像Y裁剪为大小为w×w×B的三维图像块输入到混合卷积神经网络模型中，w为窗口大小。

4.根据权利要求1所述的一种基于混合卷积神经网络的高光谱图像分类方法，其特征在于，所述全连接层包括三个串联的Dense全连接层，所述分类器通过Softmax函数对输出维度为1×C的特征向量进行归一化，进而对每个地物元素所属类别进行分类预测，C为高光谱图像的地物类别数。

5.根据权利要求4所述的一种基于混合卷积神经网络的高光谱图像分类方法，其特征在于，三个3D卷积层、一个2D卷积层、一个1D卷积层、三个串联的Dense全连接层和分类器均为依次串行连接。

6.根据权利要求4所述的一种基于混合卷积神经网络的高光谱图像分类方法，其特征在于，采用3D卷积模型同时提取预处理后高光谱图像的光谱和空间维度特征，采用2D卷积模型进一步提取空间维度特征，采用1D卷积模型处理其输出的信息。

7.根据权利要求6所述的一种基于混合卷积神经网络的高光谱图像分类方法，其特征在于，3D卷积、2D卷积和1D卷积模型均包括卷积运算和激活运算。

8.根据权利要求4所述的一种基于混合卷积神经网络的高光谱图像分类方法，其特征在于，所述Dense全连接层应用Dropout。

9.根据权利要求1所述的一种基于混合卷积神经网络的高光谱图像分类方法，其特征在于，所述训练所述混合卷积神经网络分类模型，具体包括：

采用Adam学习算法对所述混合卷积神经网络模型进行优化，训练次数为100次，实验测试比例为0.7，学习率初始化为0.001，得到训练后的混合卷积神经网络模型。

Images