CN110717374A

CN110717374A - 一种基于改进的多层感知机的高光谱遥感影像分类方法

Info

Publication number: CN110717374A
Application number: CN201910771371.2A
Authority: CN
Inventors: 张骏鹏
Original assignee: Hohai University HHU
Current assignee: Hohai University HHU
Priority date: 2019-08-20
Filing date: 2019-08-20
Publication date: 2020-01-21

Abstract

本发明公开了一种基于改进的多层感知机的高光谱遥感影像分类方法，包括步骤一：图像选择与预处理，步骤二：提取训练数据，步骤三：特征选择与特征提取，步骤四：分类处理等。发明所述分类方法中感知机训练精度增加，测试精度也增加了，能很好的对数据集地物进行分类，随着训练样本数量的减少，实验训练精度与测试精度也随之减少，未发现过拟合现象，说明本发明设计有良好的稳定性及适应性。训练样本逐渐减少到10％时，训练精度依旧较高，说明本方案在对小样本训练过程中依然有很好的分类精度，有很好的适应性，本方案很好的解决了小训练样本数量对实验精度的不利影响。

Description

一种基于改进的多层感知机的高光谱遥感影像分类方法

技术领域

本发明涉及一种高光谱遥感影像分类方法，具体为一种基于改进的多层感知机的高光谱遥感影像分类方法。

背景技术

高光谱遥感影像分类技术就是依靠各个光谱曲线的不同来分辨地物目标，而且获取地物光谱并不需要接触地物，只需要用传感器探测接受信息。现有的基于多层感知机采用反向传播算法的高光谱影像分类方法有不少缺点：

传统的多层感知机存在以下缺点：

(1)神经网络隐含节点的数量选择很困难，随着网络层数的不断增加，隐含节点数目需求会减少，但是节点增加到一定程度又会带来其他问题；在理论上讲，只要隐含节点足够多，我们只需要一层隐含层就可以处理任意的函数，隐含节点数和隐含层数两者关系基本上可以看成随着隐含层的增加，隐含节点数指数下降。层数越多，隐含节点越少，需要学习的东西越简单。但是在实际应用中，并不能做到。会发生过拟合、梯度弥散等问题。

(2)阈值、学习率、动量常数。需要大量的实验调优及数据支撑；

(3)学习速率低，相比于其他方法耗时久；

(4)学习不充分，会得到一个局部最优值。虽然系统全局的最优值可能也隐藏在众多局部最优值之中。

传统的反向传播算法存在以下缺点：

(1)在一些复杂问题中，神经网络的学习速率固定而且相对较小，神经网络的收敛速度会非常慢，因此多层感知机的训练就非常耗时，效率较低。

(2)反向传播算法在训练过程中，可能会收敛到一个局部最优值，这时候得到的权值并不是全局最优值，这是梯度下降法的缺点之一。

(3)神经网络隐含节点的数量选择很困难，随着网络层数的不断增加，隐含节点数目需求会减少，但是节点增加到一定程度又会带来其他问题。层数与节点数量选取并没有一定的理论指引，都是经过反复实验调优，以便确定一个相对最优值。

(4)多层感知机在训练好后，如果网络中样本数量变化，多层感知机就需要重新进行训练，对于已经训练好的权值等参数并没有存储。这个时候就需要人工将训练效果较好的一些参数存储起来。

(5)会发生过拟合现象，在训练集上精准度会高，在测试集上精准度却会低，一般情况下，在训练集和测试集上精准度会呈正比关系，当达到临界点时，就出现了过拟合现象，感知机学习了大量样本的特征，过度拟合了训练样本。

发明内容

本发明的目的是设计一个经过改进的基于多层感知机并采用反向传播算法的高光谱遥感影像分类系统，本发明经过大量实验调优，选取精度相对较高的参数，最终在数据集上实现高精度的结果。

本发明采用如下技术方案：

一种改进的高光谱遥感影像分类方法，具体包括：

步骤一：图像选择与预处理，选择图像数据集，进行预处理；

步骤二：提取训练数据，选取用来训练的数据组，搭建多层感知机模型；

步骤三：特征选择与特征提取；经过训练提取出数据样本的特征；

步骤四：分类处理，输入需要分类的数据组，根据训练得到的特征进行分类；

步骤五：输出分类结果。

一种改进的高光谱遥感影像分类方法，其基本思想是在对高光谱遥感影像分类相关技术进行讨论的基础上，根据背景中提及的各种分类方法的特点，使用经过改善的人工神经网络的多层感知机，运用经过改善的反向传播算法，针对高光谱遥感影像的数据集进行分类实验。

具体地，步骤三中包括两个阶段如下：

1、向前传播阶段：

(1)从样本集中取一个样本(X_p，Y_p)，将X_p输入网络；神经元的网络输入：

net＝x₁w_1i+x₂w_2i+…+x_nw_ni

(2)计算相应的实际输出O：

2、向后传播阶段——误差传播阶段：

(1)计算实际输出O与相应的理想输出Y的差；

(2)网络关于第p个样本的误差测度：

(3)反向传播网络样本集的误差测度：

(5)按最小化误差的标准规则来改变权值，直到实际误差小于可允许最小误差值。

在此基础上对于多层感知机的改进，包括：

(1)对多层感知机的反向传播算法的改进；

(2)权值初始化时，取激活函数的线性区域范围在(-1，1)，该范围内权值在零值附近且足够的小；

(3)随学习时间的推移降低学习的速率；一开始学习速率大一点，而随着时间的推移需要学习速率得到下降，利用

v＝v₀/〔1+d×t)

v是学习速率，v₀是初始学习速率，d是用来控制学习速率的一个常量，需要自己定义，t是反向传播的次数。

对于反向传播算法的改进：

随训练时间改变学习步长，反向传播算法收敛速度很大程度上受到学习速率或学习步长的影响。我们一般情况下运用反向传播算法梯度下降值都是固定的，这会导致多层感知机在训练过程中收敛速度慢，还会导致局部最优解的出现。所以改变学习步长是一个很好解决这两个问题的方法。在多层感知机训练过程中，开始时，我们会要求加速收敛，此时学习步长应该加大，训练到后期的时候我们希望收敛速度降低，以缓慢的速率逼近最优值，避免速率过大产生振荡。

假设原有学习步长step，一次迭代后，误差值增大：

step＝step×β β＜1

一次迭代后，误差值降低：step＝step×α α＞1

为了更好的理解本发明所涉及的技术和方法，在此对本发明涉及的理论进行介绍。

1、多层感知机

(1)算法思想

感知机实质上就是一层人工神经网络，它并不能很好的解决线性可分模式的特征分类问题。而1960年由维德罗和霍夫提出的最小均方算法，虽然最小均方算法计算简单且有效，鲁棒性很好；但是他的收敛速度太慢，严重局限了它的计算能力。而多层感知机却可以很好的完成以上算法的一些实际局限。

多层感知机基本特性有以下几点：

a)在神经网络的每一个神经元节点中，都会有一个激活函数，这个激活函数理论上可以使用任意形式的函数，但是由于反向传播算法在训练多层感知机中大量的使用。因此，激活函数必须是可微的，非线性的；

b)多层感知机不同于罗森布拉特感知机的一层神经网络结构，它具有多个隐藏层，位于输入层于输出层之间。

c)上一层的输出作为下一层的输入，每一层都是全部连接的。通过赋予的权重和偏置来确定输出结果。

多层感知机是一个多层前馈结构的人工神经网络。有效的处理了单层感知机不能解决的线性可分模式的问题，对于非线性问题也可以很好的解决。多层感知机模型一般包含三层，一层是输入层，一层是隐藏层，一层是输出层。当然，隐藏层的数量并不局限于单独的一层。从输入层的函数信号开始，后续每一层的输出结果都作为下一层的输入函数信号，输出函数值是由各个神经节点的权值和偏置来进行计算的。函数信号通过神经网络中的神经元节点向前传播。神经元节点之间是全连接的。在神经网络中除了函数输入信号能够被识别外，还有误差函数信号可以被识别并传输，误差函数产生于输出神经元节点，可以通过神经网络反向传播。多层感知机系统是当今人工智能领域范围内使用最普遍的模型之一。在人工神经网络模型中有很大的应用。主要应用领域覆盖了当今社会研究的几大热点，语音识别，图片识别，图像处理等。

(2)激活函数

激活函数有以下几个特点：

a)激活函数必须非线性，单层神经网络一直运用的是线性激活函数，如果多层感知机依旧延续使用线性激活函数，就与单层神经网络没有区别了。

b)激活函数可微，激活函数理论上可以使用任意形式的函数，但是由于反向传播算法在训练感知机中大量的使用。误差的反向传播要求激活函数可微。

c)函数单调。

现在大量使用的激活函数有：Sigmoid；softplus；Tanh；ReLU等。

Sigmoid的数学表达式

输入x_i，权值w_i，偏置为b。

Sigmoid函数之前被大量使用，不过近年来，使用数量在下降。主要是因为它的一些缺点：当输入非常大或者非常小的时候，这些神经元的梯度是接近于0 的，从图中可以清楚看出梯度的趋势。

Tanh与Sigmoid类似，但是与sigmoid最大的差别在于它0均值。

ReLU从图可以看出，输入信号时小于0时，输出都是0，大于0的情况下，输出等于输入。

ReLU是单侧抑制的，它有更加宽阔的兴奋边界。

目前，ReLU及其变种EIU、PReLU、RReLU已经成为最主流的激活函数。实践中大部分情况下，将隐含层的激活函数从Sigmoid替换为ReLU都可以带来训练速度和模型准确率的提升。

(3)优点

a)并行性，大量的基本神经元构成了神经网络的模型，处理信息时并行活动，大大提高人工神经网络中处理信息，学习分类的效率。

b)集体相关性，人工神经网络由大量的基本神经元构成，上文中提到过各个神经元之间是全连接的，前一层的输出作为后一层的输入，而某一层的神经元节点往往又有很多，多个节点的输出输入到下层的一个神经元节点中，通过这种大量相互联系，相互影响的输入输出关系，构建了复杂的人工神经网络。神经网络中，必须按照这种全局性的规则来演化。表现出了一个神经网络集体相关的性质。每一层的学习计算与上一层都紧密相连，而且会对下一层产生很大的影响。

c)优秀的存储方式及良好的鲁棒性，上文中提到过人工神经网络的输出受权值及偏置影响，人工神经网络通过对权值的定义存储来实现对信息的存储功能。而又因为神经元之间又很强的集体相关性，从单独的神经元权值中读取不到全部信息，必须联系上一层权值，这种分布式的记忆方式，使多层感知机具有很好的抗噪能力和容错性，能够在信息缺失不多的情况下补全缺失信息。

d)学习能力及适应能力强。人工神经网络模型通过模拟人学习的过程训练机器，从而自己获取相应的权值及偏置。

2、反向传播算法

(1)算法思想

反向传播算法(BP算法)，是一种监督学习算法，反向传播网络是一种按误差反向传播的多层前馈网络。

误差反向传播算法基于误差信号的反向传输，进行权值初始化后，多层感知机对输入信号生成一个期望输出信号，在函数信号正向传播过程后，得到实际输出值，对比实际输出值于期望输出值，得到误差值，实际计算误差值与可允许最小误差值相比，若小于可允许最小误差值，则记录权值并保存网络；若大于可允许最小误差值，则进入误差函数的反向传播过程中，根据误差值逐层修改各个神经元节点的权值，到达输入层后，正向传播开始进行。如此交替循环，直到实际输出满足期望输出的要求，此时记录权值，保存网络。

(2)反向传播算法优点

a)反向传播算法很好的解决了单层神经网络不能解决的异或问题，促进了前向神经网络的应用发展。而后的发展已经充分证明反向传播算法可以应用在解决非线性复杂的问题上。

b)误差的反向传播，以最小化误差值量化，这将一个复杂的神经网络学习问题转化为对误差的对比上，简单清晰；

c)误差反向传播，神经网络自动修改权值参数，达到了网络的自我学习能力。

d)算法数学物理概念清晰，有很强的推广能力。

本发明的技术效果在于：

本发明所述分类方法中感知机训练精度增加，测试精度也增加了，能很好的对数据集地物进行分类，随着训练样本数量的减少，实验训练精度与测试精度也随之减少，未发现过拟合现象，说明本发明设计有良好的稳定性及适应性。训练样本逐渐减少到10％时，训练精度依旧较高，说明本方案在对小样本训练过程中依然有很好的分类精度，有很好的适应性，本方案很好的解决了小训练样本数量对实验精度的不利影响。

附图说明

图1为KSC数据集的结果图；

图2为Pavia University数据集的结果图；

图3为Salinas数据集的结果图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

一种改进的高光谱遥感影像分类方法，具体包括：

步骤五：输出分类结果。

本发明主要对于步骤三进行改进。步骤三包括两个阶段：

1、向前传播阶段：

(1)从样本集中取一个样本(X_p，Y_p)，将将向量组X_p输入网络；神经元的网络输入：

net＝x₁w_1i+x₂w_2i+…+x_nw_ni

式中x为数据，w为权值。

(2)计算相应的实际输出O：

2、向后传播阶段——误差传播阶段：

(1)计算实际输出O与相应的理想输出Y的差；

(2)网络关于第p个样本的误差测度：

(3)反向传播网络样本集的误差测度：

(1)按最小化误差的标准规则来改变权值，直到实际误差小于可允许最小误差值。

在此步骤的基础上，对于多层感知机的改进：

(1)对多层感知机的反向传播算法进行改进；

(2)权值初始化时，需要权值在零值附近且足够的小，一般范围在(-1，1)，权值太大就容易进入饱和区，此时我们可以在激活函数的线性区域内得到最大的梯度值。

(3)学习时间的推移降低学习的速率。一开始我们希望学习速率大一点，这样可以加速收敛，而随着时间的推移我们又希望学习速率下降，这样，我们可以缓慢逼近一个最优解。可以利用

v＝v₀/〔1+d×t)

在此步骤的基础上，对于反向传播算法的改进：

假设原有学习步长step，一次迭代后，误差值增大：

step＝step×β β＜1

一次迭代后，误差值降低：step＝step×α α＞1

数据集介绍：

(1)Kennedy Space Center(KSC)数据集

KSC高光谱影像由AVIRIS传感器于1996年3月23日拍摄所得，成像区域为佛罗里达州的肯尼迪太空中心。该数据集光谱范围为400nm到2500nm之间，空间分辨率为18m，像素大小为512×614，有224个高光谱波段。

但是要去除部分吸水波段和信噪比较低的波段，仅保留176波段用于相关研究。该数据集共有13种地物类别、5211个标记样本点。

(2)Pavia University数据集

该PaviaUniversity数据集由德国研制的反射式成像光谱仪ROSIS传感器拍摄的意大利北部的帕维亚大学的场景，该数据集共含有9类地物、42776个标记样本，共有103个高光谱波段，像素大小为610×340，空间分辨率为1.3m。

(3)Salinas Scene数据集

Salinas高光谱影像由美国宇航局AVIRIS传感器收集的，成像区域在加利福尼亚州萨利纳斯山谷。该影像空间分辨率3.7米，数据像素尺寸512×217，包含 224个波段，有20个吸水波段被移除，分别为[108-112]，[154-167]，224，仅保留 204波段用于相关研究，地物类别包含16类。

Kappa系数(K)用来评价算法精度

其中，m代表总的类别；x_ii代表混淆矩阵j行j列的像元数，x_i+代表混淆矩阵在第i行的总像元数，x_+i代表混淆矩阵在第i列的总像元数，N代表总像元数量。

混淆矩阵是由m行m列组成的矩阵，用来表示分类结果的精度。混淆矩阵是通过将每个像元的位置和地面参考验证信息与计算机分类结果中的相应位置和类别来比较计算的。混淆矩阵的每一列代表了地表实测值，每一列中的数值等于地表真实像元在分类图像中对应于相应类别的数量，混淆矩阵的每一行代表了计算机的分类信息，每一行中的数值等于计算机分类像元在地表真实像元相应类别中的数量。

实施例1

实验通过改变训练样本所占总样本点的百分比，验证不同训练样本数量对实验精度的影响。对比实验中训练样本数量所占比分别为10％、30％、50％、70％、 90％、99％。如图1及表1可知随着样本数的增加，感知机训练精度也随之增加，测试精度也增加，基本呈一种线性关系。在训练样本数量高达99％时，实验测试精度达89.86％，已经很好的对数据集地物进行分类，达到了一个很好的分类效果。随着训练样本数量的减少，实验训练精度与测试精度也随之减少，未发现过拟合现象，说明本方案有良好的稳定性及适应性。训练样本逐渐减少到10％，实验训练精度依旧可以高达83.02％，系统在对小样本训练过程中依然有很好的分类精度，有很好的适应性，设计很好的解决了小训练样本数量对实验精度的不利影响。

表1 KSC数据集

评价指标

90％

70％

50％

30％

10％

1％

训练精度

81.33％

83.52％

84.58％

84.94％

85.78％

88.11％

测试精度

83.02％

85.45％

87.25％

88.44％

89.51％

89.86％

Kappa

0.7812

0.8182

0.8424

0.8493

0.8603

0.8625

表格中所有精度都是重复实验20次所得平均值。

实施例2

实验通过改变训练样本所占总样本点的百分比，验证不同训练样本数量对实验精度的影响。对比实验中训练样本数量所占比分别为10％、30％、50％、70％、 90％、99％。

由图2、表2可知随着样本数的增加，感知机训练精度也随之增加，测试精度也增加，基本呈一种线性关系。在训练样本数量高达99％时，实验测试精度达88.06％，已经很好的对数据集地物进行分类，达到了一个很好的分类效果。随着训练样本数量的减少，实验训练精度与测试精度也随之减少，未发现过拟合现象，说明本方案有良好的稳定性及适应性。训练样本逐渐减少到10％，实验训练精度依旧可以高达83.41％，系统在对小样本训练过程中依然有很好的分类精度，有很好的适应性，设计很好的解决了小训练样本数量对实验精度的不利影响。

表2 Pavia University数据集

评价指标

90％

70％

50％

30％

10％

1％

训练精度

82.33％

85.35％

85.84％

86.36％

86.78％

87.11％

测试精度

83.41％

86.27％

87.05％

87.64％

87.94％

88.06％

Kappa

0.7983

0.8295

0.8432

0.8501

0.8614

0.8689

表格中所有精度都是重复实验20次所得平均值。

实施例3

由图3、表3可知随着样本数的增加，感知机训练精度也随之增加，测试精度也增加，基本呈一种线性关系。在训练样本数量高达99％时，实验测试精度达 86.46％，已经很好的对数据集地物进行分类，达到了一个很好的分类效果。随着训练样本数量的减少，实验训练精度与测试精度也随之减少，未发现过拟合现象，说明本发明设计有良好的稳定性及适应性。训练样本逐渐减少到10％，实验训练精度依旧可以高达80.90％，系统在对小样本训练过程中依然有很好的分类精度，有很好的适应性，设计很好的解决了小训练样本数量对实验精度的不利影响。

表3 Salinas数据集

评价指标

90％

70％

50％

30％

10％

1％

训练精度

80.33％

81.63％

82.48％

82.91％

83.08％

85.41％

测试精度

80.90％

82.45％

83.05％

83.84％

84.01％

86.46％

Kappa

0.7732

0.7983

0.8032

0.8067

0.8135

0.8341

表格中所有精度都是重复实验20次所得平均值。

Claims

1.一种基于改进的多层感知机的高光谱遥感影像分类方法，其特征在于，具体包括：

步骤五：输出分类结果。

2.根据权利要求1所述的基于改进的多层感知机的高光谱遥感影像分类方法，其特征在于，步骤三中对于多层感知机的改进，包括：

(1)对多层感知机的反向传播算法的改进；

v＝v₀/(1+d)×t)

3.根据权利要求2所述的基于改进的多层感知机的高光谱遥感影像分类方法，其特征在于，对于反向传播算法的改进采用改变学习步长的方法。

4.根据权利要求3所述的基于改进的多层感知机的高光谱遥感影像分类方法，其特征在于，对于反向传播算法的改进具体做法是：在多层感知机训练过程中，开始时，学习步长应该加大，训练到后期的时候，以缓慢的速率逼近最优值，避免速率过大产生振荡。