CN106446936A - 基于卷积神经网络的空谱联合数据转波形图的高光谱数据分类方法 - Google Patents

Abstract

基于卷积神经网络的空谱联合数据转波形图的高光谱数据分类方法，本发明涉及空谱联合数据转波形图的高光谱数据分类方法。本发明的目的是为了解决现有数据分类正确率低、分类时间长、计算量大的问题。基于卷积神经网络的空谱联合数据转波形图的高光谱数据分类方法具体是按照以下步骤进行的：步骤一、对高光谱原始数据进行逐层归一化，得到归一化后的高光谱数据；对归一化后的高光谱数据进行处理，得到高光谱空谱联合数据信息；步骤二、将高光谱空谱联合数据信息转换成二维波形图像数据。本发明用于高光谱数据分类领域。

Description

基于卷积神经网络的空谱联合数据转波形图的高光谱数据分 类方法

技术领域

本发明涉及空谱联合数据转波形图的高光谱数据分类方法。

背景技术

高光谱数据分类是高光谱遥感的一项应用，是利用所有物体都具有光谱特性，且在同一光谱区物体反应的情况不同，同一物体对不同光谱的反应也有明显差别这一特点来对高光谱遥感数据进行分类。光谱分辨率在10l数量级范围内的光谱图像称为高光谱图像(Hyperspectral Image)。高光谱数据的空谱联合分类方法，则是利用了高光谱数据的空间信息对高光谱数据进行分类的一种方法。在实际生活中，地物空间分布有着非常高的规律性，经常伴有一定的空间结构。在进行数据分类的时候，也应该考虑到相邻像元之间的空间布局和形状纹理。另一方面，由于遥感影像分辨率不断大幅度地提升，每一个像素点所对应的地物区域也越来越小，会在影像中更清晰地将非目标物体显示出来。极易造成错误的分类。如果利用好空间相关性，就会挽回很多错误分类造成的正确率损失。目前的方法在实际应用和操作中，仍然显示了很多不足的方面，如训练成本高、高分辨率信息浪费、现有的高谱维的图像分析和识别精确度与实际应用的需求不匹配、数学模型不符合实际地物分布规律欠缺逻辑。因此，寻找更合适的分类方法仍有研究潜力。

发明内容

本发明的目的是为了解决现有数据分类正确率低、分类时间长、计算量大的问题，而提出了基于卷积神经网络的空谱联合数据转波形图的高光谱数据分类方法。

基于卷积神经网络的空谱联合数据转波形图的高光谱数据分类方法具体是按照以下步骤进行的：

步骤一、对高光谱原始数据进行逐层归一化，得到归一化后的高光谱数据；

对归一化后的高光谱数据进行处理，得到高光谱空谱联合数据信息；

步骤二、将高光谱空谱联合数据信息转换成二维波形图像数据。

本发明的有益效果为：

(1)充分地利用了高光谱数据携带的丰富的空间信息，提高分类的鲁棒性。

(2)将一维数据转换成二维数据，可以容纳更大的数据量和光谱维度。

(3)通过此方法，提高了高光谱图像的分类正确率。

(4)利用GPU缩短了分类过程所用的时间。

(5)利用深度卷积网络自主学习数据的抽象特征，避免使用欠缺逻辑的数据模型。

本发明基于卷积神经网络的空谱联合数据转波形图的高光谱数据分类方法，在高光谱图像分类任务中引入卷积神经网络的理论和模型，利用高光谱数据的空间信息，将光谱维向量数据转换成为波形图形式的二维数据，并试图用图像化的语言去理解高光谱数据所携带的丰富信息量，对高光谱数据进行分类。该方法分类正确率高，对于充分利用高光谱的空间信息和自主学习其抽象特征并进行分类有着重要的意义。

基于卷积神经网络的空谱联合数据转波形图的高光谱数据分类方法利用了高光谱数据的空间信息，将空谱信息转换成为波形图片信息可以将传统的向量形式的数据转换成为具有波动特征的二维图像，其丰富的数据波动特性可以很好的反应高光谱数据谱段间的数据变化，同时，将向量数据转换成为二维图像数据，可以避免为减少数据量所进行的降维操作。另一方面，利用卷积网络对转换后的纹理信息进行处理，可以通过多层卷积网络自主地学习数据所携带的抽象特征。此方法有助于在实现高光谱数据的正确分类的同时，提高分类的正确率、高光谱所携带的丰富信息的利用率。

本发明为利用遥感影像中的空间信息，借助一种提取空谱联合信息的方法，并将其应用在基于卷积网络的波形图分类方法。首先使用Matlab对数据进行预处理，提取高光谱数据的空间信息，并将一维的空谱联合数据转换成为二维的波形图片数据，通过Caffe平台和Linux操作系统实现卷积神经网络模型对变换后的高光谱数据进行分类，并利用了GPU对实验进行加速，以减少庞大计算量带来的运算时间消耗，缩短分类所用时间。

如表1和表2列出了纯谱信息分类方法和基于空谱联合信息分类方法的细分结果。基于卷积神经网络的波形图法在加入了空谱联合信息后，正确率有了显著的提升，KSC数据集的某些种类细分正确率最多提高了22个百分点，Pavia U数据集的某些种类细分正确率最多提高17个百分点；

本发明所提出的分类方法在分类能力上取得了绝对的优势，无论是在KSC数据集还是在Pavia U数据集上的表现，总体正确率都优于其他分类方法，正确率最多提升了1个百分点以上。

附图说明

图1为以Pavia U数据集为例，1号Asphalt(沥青)波形图的可视化结果图；

图2为以Pavia U数据集为例，2号Meadows(草甸)波形图的可视化结果图；

图3为以Pavia U数据集为例，3号Gravel(砾石)波形图的可视化结果图；

图4为以Pavia U数据集为例，5号Painted metal sheets(金属板)波形图的可视化结果图；

图5为以Pavia U数据集为例，9号Shadows(阴影)波形图的可视化结果图；

图6为高光谱图像预处理镜像方法示意图；

图7为基于空谱联合的波形图分类方法数据预处理流程图；

图8为基于谱信息的波形图分类方法层内归一化必要性分析示意图。

具体实施方式

具体实施方式一：本实施方式的基于卷积神经网络的空谱联合数据转波形图的高光谱数据分类方法具体是按照以下步骤进行的：

步骤一、对高光谱原始数据进行逐层归一化，得到归一化后的高光谱数据；

对归一化后的高光谱数据进行处理，得到高光谱空谱联合数据信息；

步骤二、将高光谱空谱联合数据信息转换成二维波形图像数据。

具体实施方式二：本实施方式与具体实施方式一不同的是：所述步骤一中对高光谱原始数据进行逐层归一化，得到归一化后的高光谱数据；对归一化后的高光谱数据进行处理，，得到高光谱空谱联合数据信息；具体过程为：

如图7所示，当归一化后的高光谱数据中的待处理像元不位于高光谱遥感影像边缘时，采用领域拼接方法，将高光谱数据中的待处理像元与该像元四周一5*5大小的正方形邻域空间的谱信息拼接构成高光谱空谱联合数据信息；

当归一化后的高光谱数据中的待处理像元位于高光谱遥感影像边缘时，无法获取该待处理像元四周一5*5大小的正方形邻域空间的谱信息。

为保证提取出的信息在维度上统一，我们采用对位于边缘的像素点进行镜像处理的方式，单一点的镜像原理如图6所示，利用此方法对整张图片进行镜像扩充。

其它步骤及参数与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式一或二不同的是：所述步骤一中对高光谱原始数据进行逐层归一化，得到归一化后的高光谱数据；具体过程为：

式中，为归一化后的高光谱数据；为第k层(i,j)位置的高光谱原始数据；W为高光谱原始数据的宽度；L为高光谱原始数据的长度；H为高光谱原始数据的深度；W、L、H取值为正整数；；1≤i≤W,1≤j≤L,1≤k≤H。

本发明采用逐层内部归一化，如果不采用归一化，会导致部分谱段信息被忽略，该情况具体如图8所示：

如图8所示，以一个有四个谱段的矩阵为例，第一谱段的数据值整体偏大，而其他三个谱段的数据值整体偏小，抽取其中箭头所示的两个像元谱信息，若不对层间数据进行归一化处理，Matlab在将矩阵imwrite成波形图时，6和16等数值相比于65500来说很小，在固定了图像大小时，数据量比较低的波段信息趋近于零点位置，波形图的波动变弱，当层数增加时波动会更加不明显。此外，如图8，若不进行初始化，将会使两个像元的波形趋近相同。而经过层内归一化后的三维谱信息，经过变换后，波形表现差异大，波动明显，能够更加清晰地反映数据在各谱段上的数据变化情况，易于分类的进行。

其它步骤及参数与具体实施方式一或二相同。

具体实施方式四：本实施方式与具体实施方式一至三之一不同的是：所述当归一化后的高光谱数据中的待处理像元不位于高光谱遥感影像边缘时，采用领域拼接方法，将高光谱数据中的待处理像元与该像元四周一5*5大小的正方形邻域空间的谱信息拼接构成高光谱空谱联合数据信息；具体过程为：

取高光谱数据中的待处理像元与该像元四周一5*5大小的正方形邻域的所有像素点的向量信息，共有5×5个1×H大小的一维向量，将5×5个1×H大小的一维向量按平面二维空间坐标的顺序展开并进行拼接，拼接成为一个1×(5×5×H)大小的一维空谱联合向量；

与传统普遍采用的利用像素的四邻域、八邻域来提取空间信息的方法不同，我们将一个像素附近邻域内的所有像素都利用起来。

其它步骤及参数与具体实施方式一至三之一相同。

具体实施方式五：本实施方式与具体实施方式一至四之一不同的是：所述一个1×(5×5×H)大小的一维空谱联合向量；具体公式为：

式中，为(i,j)位置的空谱联合向量；n为邻域正方形的宽度，取值为5；1≤i≤W,1≤j≤L。

其它步骤及参数与具体实施方式一至四之一相同。

具体实施方式六：本实施方式与具体实施方式一至五之一不同的是：所述步骤二中将高光谱空谱联合数据信息转换成二维波形图像数据；具体过程为：

利用Matlab工具，将1×(5×5×H)大小的一维空谱联合向量保存成横坐标从1到5×5×H，纵坐标为一维空谱联合向量1×(5×5×H)中每一个元素的值的二维波形图像，遍历归一化后的高光谱数据中的所有W×L个像元，得到W×L个二维波形图像的样本集，样本集中每一张二维波形图像即为某像元的全部像素点的空谱联合信息，并记录了二维波形图像的波动特性。

其它步骤及参数与具体实施方式一至五之一相同。

采用以下实施例验证本发明的有益效果：

实施例一：

本实施例基于卷积神经网络的空谱联合数据转波形图的高光谱数据分类方法具体是按照以下步骤制备的：

首先为利用遥感影像中的空间信息，借助一种提取空谱联合信息的方法，并将其应用在基于CNN的空谱信息转波形图分类方法中，和其他主流方法如RBF-SVM和SAE-LR等方法应用到数据集上进行对比实验，进行结果分析。

1、实验方案及数据预处理结果

本发明拟用到的高光谱数据库分别为：KSC、Pavia U。

经过一系列数据预处理得到的波形图像具有明显的问题特征和波动特征，以Pavia U数据集为例，其波形图的可视化结果如图1、图2、图3、图4、图5所示；

2、利用纯谱信息和空谱信息分类结果对比

如表1和表2列出了在KSC和Pavia U数据集上各分类方法的细分结果。

表1Pavia U数据集上使用基于卷积的谱信息转波形图的空谱联合分类方法结果对比

表2KSC数据集上使用基于卷积的谱信息转波形图的空谱联合分类方法结果对比

如表1和表2列出了纯谱信息分类方法和基于空谱联合信息分类方法的细分结果。基于卷积神经网络的波形图法在加入了空谱联合信息后，正确率有了显著的提升，KSC数据集的某些种类细分正确率最多提高了22个百分点，Pavia U数据集的某些种类细分正确率最多提高17个百分点，此结果表明空谱信息对分类结果有着正向的影响，印证了高光谱遥感数据像元之间具有相关性。另一方面，在加入谱信息后，本方法在Pavia U数据集取得的分类结果正确率高于KSC数据集，究其原因在于两个数据集的待分数据种类不同。

3、与传统分类方法的对比

采用了RBF-SVM和SAE-LR两种分类方法与本文所提出的分类方法在空谱联合信息作为输入的条件下进行对比验证，在表3中统计了100次重复实验的总体分类正确率(OA)、平均分类正确率(AA)。此前SAE-LR分类方法已经取得过全面超过使用支持向量机方法的结果。

表3空谱联合分类方法正确率统计

对比实验结果如上表所示，通过引入空间信息进行分类，四种方法在分类结果上都取得了阶跃式的进展，基于空谱联合的分类正确率永远高于纯谱信息的正确率。这说明了利用空谱联合进行分类是不可忽视的方法。另外，本发明所提出的分类方法在分类能力上取得了绝对的优势，无论是在KSC数据集还是在Pavia U数据集上的表现，总体正确率都优于其他分类方法，正确率最多提升了1个百分点以上。至此，借助高光谱数据的空间信息，本文所提出基于卷积神经网络的高光谱数据分类方法取了成功。

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (6)

1.基于卷积神经网络的空谱联合数据转波形图的高光谱数据分类方法，其特征在于：基于卷积神经网络的空谱联合数据转波形图的高光谱数据分类方法具体是按照以下步骤进行的：

步骤一、对高光谱原始数据进行逐层归一化，得到归一化后的高光谱数据；

对归一化后的高光谱数据进行处理，得到高光谱空谱联合数据信息；

步骤二、将高光谱空谱联合数据信息转换成二维波形图像数据。

2.根据权利要求1所述基于卷积神经网络的空谱联合数据转波形图的高光谱数据分类方法，其特征在于：所述步骤一中对高光谱原始数据进行逐层归一化，得到归一化后的高光谱数据；

对归一化后的高光谱数据进行处理，得到高光谱空谱联合数据信息；具体过程为：

当归一化后的高光谱数据中的待处理像元不位于高光谱遥感影像边缘时，采用领域拼接方法，将高光谱数据中的待处理像元与该像元四周一5*5大小的正方形邻域空间的谱信息拼接构成高光谱空谱联合数据信息；

当归一化后的高光谱数据中的待处理像元位于高光谱遥感影像边缘时，无法获取该待处理像元四周一5*5大小的正方形邻域空间的谱信息。

3.根据权利要求2所述基于卷积神经网络的空谱联合数据转波形图的高光谱数据分类方法，其特征在于：所述步骤一中对高光谱原始数据进行逐层归一化，得到归一化后的高光谱数据；具体过程为：

$norm\left(x_{i,j}^k\right)=\frac{x_{i,j}^k-min\left(x_{i,j}^k\right)}{max\left(x_{i,j}^k\right)-\min \left(x_{i,j}^k\right)}---\left(1\right)$

式中，为归一化后的高光谱数据；为第k层(i,j)位置的高光谱原始数据；W为高光谱原始数据的宽度；L为高光谱原始数据的长度；H为高光谱原始数据的深度；W、L、H取值为正整数；1≤i≤W,1≤j≤L,1≤k≤H。

4.根据权利要求3所述基于卷积神经网络的空谱联合数据转波形图的高光谱数据分类方法，其特征在于：所述当归一化后的高光谱数据中的待处理像元不位于高光谱遥感影像边缘时，采用领域拼接方法，将高光谱数据中的待处理像元与该像元四周一5*5大小的正方形邻域空间的谱信息拼接构成高光谱空谱联合数据信息；具体过程为：

取高光谱数据中的待处理像元与该像元四周一5*5大小的正方形邻域的所有像素点的向量信息，共有5×5个1×H大小的一维向量，将5×5个1×H大小的一维向量按平面二维空间坐标的顺序展开并进行拼接，拼接成一个1×(5×5×H)大小的一维空谱联合向量。

5.根据权利要求4所述基于卷积神经网络的空谱联合数据转波形图的高光谱数据分类方法，其特征在于：所述1×(5×5×H)大小的一维空谱联合向量；具体公式为：

式中，为(i,j)位置的空谱联合向量；n为邻域正方形的宽度，取值为5；1≤i≤W,1≤j≤L。

6.根据权利要求5所述基于卷积神经网络的空谱联合数据转波形图的高光谱数据分类方法，其特征在于：所述步骤二中将高光谱空谱联合数据信息转换成二维波形图像数据；具体过程为：

利用Matlab工具，将1×(5×5×H)大小的一维空谱联合向量保存成横坐标从1到5×5×H，纵坐标为一维空谱联合向量1×(5×5×H)中每一个元素的值的二维波形图像，遍历归一化后的高光谱数据中的所有W×L个像元，得到W×L个二维波形图像的样本集，样本集中每一张二维波形图像即为某像元的全部像素点的空谱联合信息，并记录了二维波形图像的波动特性。