CN105631480B - 基于多层卷积网络与数据重组折叠的高光谱数据分类方法 - Google Patents

Abstract

一种基于多层卷积网络与数据重组折叠的高光谱数据分类方法，其步骤如下：一、对三维高光谱数据展开分类前进行预处理，获得包含有效光谱信息的数据矩阵与标签向量；二、对数据矩阵进行特征扩维，并对特征维进行按列折叠重组，获得重组的三维高光谱数据输入矩阵；三、设定多层卷积网络结构参数与初始值；四、利用前向传播与BP算法逐层计算特征与误差，并对网络权值与偏置进行更新，不断迭代获得网络稳定参数，最终获得能够用于分类的网络模型与参数。相比于其他方法，该方法原理清楚，结构清晰，识别时间短，同时探测辨识率高，是针对高光谱数据的一个有效分类方法，适用于高光谱图像快速目标探测与分类识别应用。

Description

基于多层卷积网络与数据重组折叠的高光谱数据分类方法

技术领域

本发明涉及一种高光谱像元数据的分类方法，具体涉及一种基于多层卷积网络的高光谱数据分类方法。

背景技术

高光谱成像是近些年发展起来的基于大量连续窄波段的地物光谱信息获取目标成像的方法。高光谱成像的谱间分辨率很高，一般波段间隔在10nm以内，以纳米级的超高光谱分辨率对目标地物进行成像，同时获取数百个波段，形成连续光谱图像。高光谱成像技术是在多光谱成像的基础上，从紫外到红外的光谱范围内，利用成像光谱仪在光谱覆盖范围内数百条光谱波段对目标物体连续成像，获得物体空间特征信息的同时也获得被测物体丰富的光谱信息，使得许多原本在多光谱遥感图像中无法获取的光谱信息得以探测。高光谱成像技术具有波段多、光谱分辨率高、光谱范围广与图谱合一等特点，能够利用丰富的光谱信息挖掘地物特征信息，这使得高光谱成像技术成为21世纪遥感探测领域重要的研究方向之一。目前，许多国家开展大量的科研项目对高光谱遥感进行研究，逐步从地面遥感发展到航空和航天遥感应用平台相结合的阶段，并在诸如地图绘制、资源勘探、农作物监测、精细农业、灾害调查、目标侦查、海洋环境监测和战场环境监测等领域发挥重要的作用。

高光谱图像可以看作一个数据立方体，其二维空间特征可以用来表述待测地物的地表空间分布，一维光谱特征可以用来表述每个像素所代表地物的光谱属性信息，从而实现高光谱遥感图像二维空间特征信息与一维光谱特征信息的有机结合。光谱空间中，高光谱图像的每个像素对应一条近似连续的光谱曲线，反映了待测地物光谱反射率随光谱波长的变化情况。使用光谱空间对高光谱图像进行分析时，主要是利用不同类别地物的光谱特征属性不同，同类别地物的光谱特征属性相似的特点，通过实际获得的光谱曲线与光谱数据库的样本光谱曲线间的对比来区分不同地物。

神经网络算法是应用于图像分类与模式识别的常用方法之一，通过分层构造众多浅层神经元节点，层与层间通过可调的连接权值连接，可逐层提取图像特征。深度学习是近年来提出的一种改进神经网络算法，通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。通过改进神经网络的训练过程，能够避免反向传播所带来的梯度扩散现象，从而构造出更深层的网络结构以便进行特征提取与分类，具有大规模并行处理、分布式信息存储、以及良好的自组织自学习能力等特点。

目前，应用在高光谱图像数据上的分类技术有很多，然而由于对象不同于传统的二维图像，在光谱维有着丰富的光谱信息，因而处理复杂程度大大增加，利用不同分类方法得到的识别结果有很大差异。

发明内容

为了解决三维高光谱图像数据特征提取与分类的问题，本发明提供了一种基于多层卷积网络与数据重组折叠的高光谱数据分类方法，通过对图像的光谱维信息进行重组折叠获得表征该像元的光谱特征图，并利用多层卷积神经网络构建分类器，从而实现高光谱图像数据的分类。

本发明的目的是通过以下技术方案实现的：

一种基于多层卷积网络与数据重组折叠的高光谱数据分类方法，采用数据重组折叠的方法重新构造出三维图像矩阵，并获得每个像元的特征光谱图作为训练输入，通过卷积的方法提取每层图像特征，逐层构造深度卷积网络，并采用标签对整个网络进行调整，获得了一个分类性能优秀的高精度多分类器。具体实施步骤如下：

一、对三维高光谱数据展开分类前进行预处理，获得包含有效光谱信息的数据矩阵与标签向量。

二、对数据矩阵进行特征扩维，并对特征维进行按列折叠重组，获得重组的三维高光谱数据输入矩阵。

三、设定多层卷积网络结构参数与初始值。

四、利用前向传播与BP算法逐层计算特征与误差，并对网络权值与偏置进行更新，不断迭代获得网络稳定参数，最终获得能够用于分类的网络模型与参数。

本发明与现有技术相比具有如下优点：

高光谱图像包含丰富的光谱信息，可以用于目标探测或分类。传统的二维图像处理方法难以对高光谱三维图像进行处理与分类。通过卷积网络构造出深层的神经网络结构，可以有效地提取像元光谱的深层信息。通过数据处理、特征扩充与重组折叠，每个像元的光谱向量转化成光谱特征图作为该像元的输入特征，并利用图像的位移不变性与旋转不变性，构造卷积核逐层提取像元光谱的深层特征。相比于其他方法，该方法原理清楚，结构清晰，识别时间短，同时探测辨识率高，是针对高光谱数据的一个有效分类方法，适用于高光谱图像快速目标探测与分类识别应用。

附图说明

图1为本发明的流程图；

图2为KSC数据集部分像元波段的光谱采样曲线；

图3为KSC数据集部分像元经过数据重组后获得的光谱特征图；

图4为KSC数据集部分像元光谱特征图逐层特征提取得到的子特征图。

具体实施方式

下面结合附图对本发明的技术方案作进一步的说明，但并不局限于此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。

具体实施方式一：本实施方式提供了一种基于多层卷积网络与数据重组折叠的高光谱数据分类方法，在对高光谱数据进行展开与预处理后，对像元光谱维进行特征扩维与光谱维折叠重新形成三维数据矩阵，获得二维光谱特征图作为分类器的输入，并逐层构建卷积神经网络，同时利用像元输入光谱特征图与输出标签信息作为训练样本对光谱维信息进行深层特征提取与网络的权值更新，通过多次迭代最终使层间的连接权值与偏置收敛至稳定，最后利用此网络即可对同一数据来源的无标签样本进行快速精确的分类。

本发明的流程图如图1所示，共分为四个步骤，具体步骤如下：

步骤一：对三维高光谱数据展开分类前的预处理，从而获得包含有效光谱信息的数据矩阵与标签向量。

由于高光谱数据中包含大量无标签的像元，无法利用这些像元进行网络的权值更新迭代。因此应首先在数据中剔除这些无用信息，再进行数据的归一化处理，以方便之后的操作。

1)加载三维高光谱数据矩阵与标签矩阵其中a₀、b₀表示图像矩阵的行数、列数，n₀表示高光谱图像包含的光谱波段数。

2)将三维光谱数据矩阵与标签矩阵分别展开为二维数据矩阵与标签向量其中像元总数m₀＝a₀×b₀。

3)在包含m₀个像元的数据矩阵与标签中筛选出m₁个有确定类别标签的像元作为训练样本，类别取值从1到sp，类别总数为sp，重新整理获得数据矩阵与标签向量对于标签数组中第i个标签L_i对应的像元，其光谱信息存储在数据矩阵的第i行向量中。

4)对数据矩阵进行归一化处理，得到均值为0的数据矩阵

步骤二：对数据矩阵进行特征扩维，并对特征维进行按列折叠，获得重组的三维高光谱数据输入矩阵。

卷积神经网络通过多个不同的卷积核来提取每一层二维图像的特征信息，因而，对于获得的每一个像元的光谱信息，需要折叠成一个表示此像元特征的特征图像，来对其进行特征提取与运算。为保证折叠的可行性，需要对数据矩阵首先进行特征维扩维处理。

1)设定光谱特征图矩阵的行数为a₁，列数为b₁。

2)数据矩阵进行扩维处理后得到矩阵

3)对矩阵的每行元素进行折叠，对二维矩阵重组得到表征光谱信息的三维矩阵重组折叠方法指定如下：若行a₁小于等于列b₁，则进行按列折叠；若列b₁小于行a₁，则按列折叠后，再对矩阵追加一次转置操作。此时，对于标签数组中第i个元素L_i对应的像元，其光谱特征信息存储在大小为a₁×b₁的特征图像矩阵中。

4)对标签向量扩展成矩阵其中对于向量中第i个元素，L_i表示对应像元的类别，矩阵的第i行向量Y_i ^1×sp中第L_i个元素为1，其余为0。

通过本步骤，获得了网络的输入矩阵与输出矩阵为后续网络的参数训练做好了准备。

步骤三：多层卷积网络结构参数与初始值的设定。

1)设定网络的深度为p、迭代步数为k、初始迭代步数k_i＝1。

2)设定卷积层与降采样层的特征子图参数S＝{s₁,s₂,…,s_p}。

3)对卷积核权重W⁽ⁱ⁾进行随机值初始化，并初始化每层偏置b⁽ⁱ⁾＝0，每层网络权重梯度ΔW⁽ⁱ⁾＝0，偏置梯度Δb⁽ⁱ⁾＝0；设置学习率为α，误差限为er。

通过本步骤，建立了卷积神经网络的整体模型，网络的初始权值与迭代参数得到了初始化，并为后续迭代做好了准备。

步骤四：利用前向传播与BP算法逐层计算特征与误差，并对网络权值与偏置进行更新。

卷积神经网络利用图像的位移不变性与旋转不变性，通过卷积核对输入层进行采样映射得到输出特征，逐层构建卷积网络进行特征的提取，并采用BP算法对网络参数更新，最终获得能够用于分类的网络模型与参数。

1)将训练样本作为m₁个输入送入网络，其中第j个像元数据矩阵作为激励通过卷积运算与激活函数逐层获得网络隐含层的激励：

其中，第i层网络节点j的激励为第i层网络所有节点激励经过线性加权得到对应于第i+1层节点j的总加权输入经过非线性函数f(·)映射从而获得该节点的激励

2)将第p层的激励响应与训练输入对应的输出求差，从而获得隐层和输出层的响应误差e⁽ⁱ⁾。通过误差反向传播计算各层节点残差从而得到各层权重与偏置的梯度，分别即 则有：

其中，f′(·)为f(·)的导数。

3)利用梯度下降公式逐级进行权重与偏置的调节：

W′⁽ⁱ⁾＝W⁽ⁱ⁾-αΔW⁽ⁱ⁾

b′⁽ⁱ⁾＝b⁽ⁱ⁾-αΔb⁽ⁱ⁾

其中，为赋值号，表示同一变量的数值更新。

4)对所有样本进行处理后，获得网络总体均方误差e：

其中，e⁽ⁱ⁾(l)为向量e⁽ⁱ⁾的第l个元素。

检验误差e是否小于设定值er或迭代步数k_i是否到达设定值k。若误差满足误差要求或迭代次数超过设定值，则停止迭代；否则k_i＝k_i+1，返回再次执行步骤四。

本步骤通过实验数据对网络进行逐层特征提取，并利用BP算法进行误差梯度的反向传播与权值更新，对每层的卷积核与偏置不断更新迭代，直至最终趋于稳定，即满足停止迭代要求。

具体实施方式二：本实施方式中将基于多层卷积网络与数据折叠的高光谱数据分类算法应用于KSC高光谱遥感数据集中。KSC高光谱数据集是一个512×614×176大小的典型三维高光谱立方体数据，是由美国国家航空和宇宙航行局于1996年由AVIRIS传感器在海拔为20km左右的航空飞行中获得，该高光谱遥感影像大小为614×512像素，空间分辨尺度为18m，采集的光谱范围为400-2500nm，图像覆盖了美国Florida Kennedy附近的地物信息，在剔除大气吸收和噪声影响的波段后获得了可用的176个波段。其中部分像元波段的光谱采样曲线与对应标签见图2。

执行步骤一：数据加载与预处理。

1)加载KSC数据矩阵与标签向量其中图像矩阵行数a₀＝512，列数b₀＝614，光谱维包含n₀＝176个波段。对于中每一个确定位置，有标签与之对应。每个像元的标签号取值范围从0到13，其中标签号0表示未参与分类像元标签，标签号1至13表示确切的地物类别。

2)将按列展开，得到二维矩阵与标签向量

3)在数据矩阵与标签中剔除标签为0的像元，并随机选出2600个像元作为训练样本，剩余2606个像元作为测试样本。训练样本数据与标签保存在F₁ ^2600×176与中，测试样本数据与标签保存在与中。

4)对数据矩阵进行归一化处理，得到均值为0的数据矩阵

执行步骤二：数据扩维与重组折叠。

1)设定光谱特征图矩阵的行数与列数均为28。

2)将数据矩阵进行扩维处理，采用数据光谱维直接复制的方法生成扩充的特征来进行扩维，得到矩阵F₁′^{2600×(28×28)}、

3)对数据矩阵F₁′^{2600×(28×28)}、的每一行元素进行列折叠，重组获得网络的三维输入矩阵不同标签样本的二维输入特征光谱图见图3。

4)将标签向量扩展成矩阵Y₁ ^2600×13、

执行步骤三：多层卷积网络的初始化

1)设定网络的深度p＝4、迭代步数k＝300、初始迭代步数k_i＝1。

2)设定卷积层与降采样层的特征子图参数集合S＝{5,2,5,2}。

3)对卷积核权重W⁽ⁱ⁾进行随机值初始化，并初始化偏置b⁽ⁱ⁾＝0，权重梯度ΔW⁽ⁱ⁾＝0，偏置梯度Δb⁽ⁱ⁾＝0。取学习率α＝1，误差限er＝5％。

执行步骤四：对于每一次迭代，计算与调整权值

卷积神经网络利用图像的位移不变性与旋转不变性，通过卷积核对输入层进行采样映射得到输出特征，逐层构建卷积网络进行特征提取，最终达到分类的目的。

1)将训练样本作为输入送入卷积神经网络。第i个像元数据矩阵作为x⁽¹⁾，通过卷积运算与激活函数逐层获得各网络隐含层的激励。采用S型函数作为网络的激活函数。

2)将激励响应与训练输入对应的输出求差，获得隐层和输出层的响应误差。通过误差反向传播求解各层权重与偏置的梯度

3)利用梯度下降公式逐级进行权重与偏置的调节。

4)检验误差e是否到达设定值er或迭代步数k_i是否到达设定值k；若满足要求，停止迭代，获得网络参数；若不满足要求，则k_i＝k_i+1，返回再次执行步骤四。

通过以上步骤，我们可以得到由数据样本集训练出来的多层卷积神经网络，并以之作为分类器对测试数据进行分类。通过网络的逐层非线性映射我们可以获得不同标签像元在卷积核映射下的每层特征，如图4所示。

在此也对相同的训练样本与测试样本进行了基于支持向量机方法的分类。支持向量机是一个基于VC维理论和结构风险最小原理的高效有监督学习分类模型。由于支持向量机模型仅支持对两类数据的分类任务，在实验中采用多个支持向量机子分类器，并辅以公认优秀的一对一多分类策略投票决策出多分类任务中各像元数据的类别。从表1所示的实验分类结果中可以看出，对于绝大多数类别的像元，多层卷积神经网络均有优于一对一策略支持向量机的分类效果。对于KSC数据中的10种类别，多层卷积神经网络分类的正确率都达到88％以上，同时相对于支持向量机方法，卷积网络的平均分类精度提高了1.28％。

表1一对一策略支持向量机与多层卷积神经网络方法分类精度比较

Claims (6)

1.一种基于多层卷积网络与数据重组折叠的高光谱数据分类方法，其特征在于所述方法步骤如下：

一、对三维高光谱数据展开分类前进行预处理，获得包含有效光谱信息的数据矩阵与标签向量具体步骤如下：

1)加载三维高光谱数据矩阵与标签矩阵其中a₀、b₀表示图像矩阵的行数、列数，n₀表示高光谱图像包含的光谱波段数；

2)将三维高光谱数据矩阵与标签矩阵分别展开为二维数据矩阵与标签向量其中像元总数m₀＝a₀×b₀；

3)在包含m₀个像元的数据矩阵与标签向量中筛选出m₁个有确定类别标签的像元作为训练样本，类别取值从1到sp，类别总数为sp，重新整理获得数据矩阵与标签向量对于标签向量中第i个标签L_i对应的像元，其光谱信息存储在数据矩阵的第i行向量中；

4)对数据矩阵进行归一化处理，得到均值为0的数据矩阵

二、对数据矩阵进行特征扩维，并对特征维进行按列折叠重组，获得重组的三维高光谱数据输入矩阵

三、设定多层卷积网络结构参数与初始值；

四、利用前向传播与BP算法逐层计算特征与误差，并对网络权值与偏置进行更新，不断迭代获得网络稳定参数，最终获得能够用于分类的网络模型与参数。

2.根据权利要求1所述的基于多层卷积网络与数据重组折叠的高光谱数据分类方法，其特征在于所述步骤二的具体步骤如下：

1)设定光谱特征图矩阵的行数为a₁，列数为b₁；

2)数据矩阵进行扩维处理后得到矩阵

3)对矩阵的每行元素进行折叠，对二维矩阵重组得到重组的三维高光谱数据输入矩阵

4)对标签向量扩展成矩阵将其作为卷积网络的输出矩阵，其中对于标签向量中第i个元素，L_i表示对应像元的类别，矩阵的第i行向量中类别为L_i的元素取值为1，其余为0。

3.根据权利要求2所述的基于多层卷积网络与数据重组折叠的高光谱数据分类方法，其特征在于所述重组折叠方法指定如下：若行数a₁小于等于列数b₁，则进行按列折叠；若列数b₁小于行数a₁，则按列折叠后，再对矩阵追加一次转置操作。

4.根据权利要求1所述的基于多层卷积网络与数据重组折叠的高光谱数据分类方法，其特征在于所述步骤三的具体步骤如下：

1)设定网络的深度为p、迭代步数为k、初始迭代步数k_i＝1；

2)设定卷积层与降采样层的特征子图参数S＝{s₁,s₂,…,s_p}；

3)对卷积核权重W⁽ⁱ⁾进行随机值初始化，并初始化每层偏置b⁽ⁱ⁾＝0，每层网络权重梯度ΔW⁽ⁱ⁾＝0，偏置梯度Δb⁽ⁱ⁾＝0；设置学习率为α，误差限为er。

5.根据权利要求1所述的基于多层卷积网络与数据重组折叠的高光谱数据分类方法，其特征在于所述步骤四的具体步骤如下：

1)将作为m₁个输入送入网络，其中第j个像元数据矩阵作为激励通过卷积运算与激活函数逐层获得网络隐含层的激励；

2)将第p层的激励响应与训练输入对应的输出求差，从而获得隐层和输出层的响应误差e⁽ⁱ⁾，通过误差反向传播求解各层权重与偏置的梯度；

3)利用梯度下降公式逐级进行权重与偏置的调节；

4)对所有样本进行处理后，获得网络总体均方误差e，检验误差e是否小于设定值er或迭代步数k_i是否到达设定值k，若误差满足误差要求或迭代步数超过设定值，则停止迭代；否则k_i＝k_i+1，返回再次执行步骤1)。

6.根据权利要求5所述的基于多层卷积网络与数据重组折叠的高光谱数据分类方法，其特征在于所述网络总体均方误差e的计算公式为：

其中，e⁽ⁱ⁾(l)为向量e⁽ⁱ⁾的第l个元素。