CN108268890A - 一种高光谱图像分类方法 - Google Patents
一种高光谱图像分类方法 Download PDFInfo
- Publication number
- CN108268890A CN108268890A CN201711462907.XA CN201711462907A CN108268890A CN 108268890 A CN108268890 A CN 108268890A CN 201711462907 A CN201711462907 A CN 201711462907A CN 108268890 A CN108268890 A CN 108268890A
- Authority
- CN
- China
- Prior art keywords
- classification
- memory network
- hyperspectral image
- long
- spectral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 230000015654 memory Effects 0.000 claims abstract description 90
- 238000001228 spectrum Methods 0.000 claims abstract description 66
- 230000003595 spectral effect Effects 0.000 claims abstract description 61
- 239000013598 vector Substances 0.000 claims abstract description 55
- 238000000513 principal component analysis Methods 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims description 25
- 238000000605 extraction Methods 0.000 abstract description 8
- 230000004927 fusion Effects 0.000 abstract 1
- 238000012876 topography Methods 0.000 abstract 1
- 238000013527 convolutional neural network Methods 0.000 description 19
- 238000012360 testing method Methods 0.000 description 16
- 238000004458 analytical method Methods 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 230000007787 long-term memory Effects 0.000 description 8
- 230000006403 short-term memory Effects 0.000 description 6
- 230000001413 cellular effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 235000008331 Pinus X rigitaeda Nutrition 0.000 description 3
- 235000011613 Pinus brutia Nutrition 0.000 description 3
- 241000018646 Pinus brutia Species 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于空谱长短时记忆网络的高光谱图像分类方法，包括以下步骤：首先，针对每一个像素点，将该像素点不同通道的光谱值依次输入到光谱长短时记忆网络中，来提取像素点的光谱特征并得到基于光谱域的分类结果；与此同时，利用主成分分析将高光谱图像的第一个主成分提取出来，然后，将主成分中以上述像素点为中心的局部图像块按行拆成一组行向量依次输入到空间长短时记忆网络中，来学习像素点的空间特征并得到基于空间域的分类结果；最后，对像素点基于空间特征和光谱特征的两种分类结果使用决策融合得到联合的空谱分类结果。
Description
技术领域
本发明属于图像信息处理技术领域，涉及一种高光谱图像分类方法。
背景技术
随着高光谱传感器的发展，现在想获得高光谱和高空间分辨率的图像越来越方便了。超光谱数据正在成为一个检测地球表面的重要工具。超光谱图像分类已经成为许多应用包括商业和军事领域的重要任务之一。
现在已经有很多方法被提出来解决高光谱图像分类问题。传统方法例如k近邻和逻辑回归通常使用高维的光谱信息作为特征，由此可能带来“维度灾难”问题。所以降维方法被广泛使用来解决这个问题。这些方法包括主成分分析和线性判别分析。后来SVM提出来用于高光谱图像分类。SVM对数据的高维度和小样本问题敏感度很低。在大部分任务中，基于SVM的分类方法能得到优于其他方法的结果。但是，SVM仍然是一个浅层的结构。通常浅层结构可以用来解决很多简单的问题。但是遇到复杂的问题，SVM有限的表征能力使得效率很低。
在过去的几年中，随着计算机计算能力的提升和数据量的规模提升，深度学习技术在很多机器学习任务中已经取得了很大的成功。在这些技术中，卷积神经网络由于它的局部连接和权重共享特点被认为是最好的特征提取方法。而且，循环神经网络和它的变体已经被广泛使用在序列数据建模问题例如语音识别和机器翻译。
最近，深度学习已经应用到遥感领域中尤其是针对高光谱图像分类。比如，栈式自编码器以非监督的形式被用来提取高级特征。受这个工作的启发，通过增加一个正则项到能量函数中来改进自编码器。后来，深度信念网络提出被用来提取特征然后通过逻辑回归得到分类结果。前面说的这些方法中，网络的输入都是高维向量。因此，要想学习到高光谱图像的空间特征，只能把局部的图像块拉直成一个向量然后输入到网络中去。但是，这个方法可能会损坏图像的二维结构，导致空间信息的丢失。为了解决这个问题，二维的卷积神经网络被提出来提取空间特征。但是，在使用二维的卷积神经网络时只使用高光谱图像的第一个主成分作为输入，可能丢失了光谱信息。
发明内容
本发明所要解决的技术问题在于克服现有技术不足，提供一种高光谱图像分类方法，充分提取高光谱图像空间域和光谱域的特征并且结合起来，能够更好地对高光谱图像进行分类，具有较好的分类性能和分类准确率。
为了达到上述目的，本发明提出的技术方案为：一种高光谱图像分类方法，其特征在于，包括以下步骤：
步骤一、将高光谱图像中坐标位于 的像素点的不同光谱通道的值取出得到一个K维的向量，K根据高光谱图像的光谱通道个数确定；
步骤二、将步骤一中的K维向量输入到光谱长短时记忆网络中得到该像素点的光谱特征，然后将光谱特征输入到分类器中得到基于光谱特征的分类结果，并对光谱长短时记忆网络进行训练；
步骤三、对高光谱图像进行主成分分析得到第一个主成分，然后在第一个主成分中提取同样以为中心的局部图像块，将该局部图像块按行拆成一组行向量；
步骤四、将步骤三得到的一组行向量输入到空间长短时记忆网络中得到该像素点的空间特征，采用步骤二所述方法将该空间特征输入到分类器中得到基于空间特征的分类结果，并对空间长短时记忆网络进行训练；
步骤五、将上述步骤中得到的基于光谱特征的分类结果和基于空间特征的分类结果利用加权求和方式进行融合，得到最终该位置像素点的空谱分类结果。
对上述技术方案得劲新一步设计为：所述分类器采用Softmax分类器。
步骤五中对两种分类结果加权求和过程中，两者的权重系数之和等于一。两种分类结果的权重系数相同。
本发明的有益效果为：
本发明使用长短时记忆网络分别提取空间域和光谱域的特征，并使用加权求和方式融合两个域的分类结果，这样能够充分利用高光谱图像的空间和光谱的信息，提高分类精确度。
附图说明
图1为本发明高光谱图像分类方法的基本流程图。
图2为本发明光谱长短时记忆网络的流程图。
图3为本发明空间长短时记忆网络的流程图。
图4为长短时记忆网络的结构图和流程图。
具体实施方式
下面结合附图对本发明的技术方案进行详细说明：
本发明的思路是利用光谱长短时记忆网络提取像素点的光谱特征，同时利用空间长短时记忆网络提取像素点的空间特征，最后通过加权求和的方式融合基于两种特征的分类结果，得到联合的空谱分类结果。从而能够更好地利用高光谱图像的空间和光谱的信息，具有较好的分类性能，提高了分类准确率。
本发明方法的基本流程如图1所示，具体包括以下步骤：
步骤1、将高光谱图像中的位于的像素点不同光谱通道的值取出得到一个K维的向量，K根据高光谱图像的光谱通道个数确定。
对于高光谱图像上位于的像素点向量，K值在这里取决于使用的高光谱图像的谱带个数。为了提取像素点向量包含的光谱信息，我们将像素点向量拆分成一个长度为K的序列：。
步骤2、将步骤1中的K维向量输入到光谱长短时记忆网络中得到位于的像素点的光谱特征，然后将光谱特征输入到分类器中得到基于光谱特征的分类结果，并对光谱长短时记忆网络进行训练。
高光谱图像的上百个谱带提供了同一位置物体的不同光谱特性。由于光照，传感器旋转，不同的大气散射条件等问题，不同光谱之间的差异性很大。因此，本发明需要提取鲁棒的分类特征。深层结构可以潜在地提取到更抽象的特征，而越抽象的特征越能适应输入的局部变化。本发明中，不同光谱通道的值被组成了一个输入序列，如步骤1所述。然后，本发明使用长短时记忆网络来建立谱带间的依赖关系。这里用到的长短时记忆网络我们称为光谱长短时记忆网络，如图2所示。下面对长短时记忆网络进行简要的说明。
首先简单说明长短时记忆网络的工作原理。图4（a）是长短时记忆网络的基本结构图。在这，假设长短时记忆网络输入为序列。如图4（b）中所示，长短时记忆网络第一步是决定我们将要从元胞状态中扔掉哪些信息。该决定由一个叫做“遗忘门（ForgetGate）”的控制。遗忘门观察和，对于元胞状态中的每一个元素，输出一个0-1之间的数。1表示“完全保留该信息”，0表示“完全丢弃该信息”。遗忘门最终由下面的公式得到：
(1)
下一步是决定长短时记忆网络会把哪些新信息存储到元胞状态中（图4（c））。这步分为两部分。首先，有一个叫做“输入们（InputGate）”的决定要更新哪些信息，输入门由公式（2）确定。接下来，通过tanh函数创造了一个新的候选值，该值可能被加入到元胞状态中。在下一步中，我们将会把这两个值组合起来用于更新元胞状态。
(2)
(3)
现在，需要更新旧元胞状态到新的状态了（图4（d））。上面的步骤已经决定了该怎么做。这一步我们只需要实际执行即可。长短时记忆网络把旧状态乘以，忘掉已经决定忘记的内容。然后再加上，这个值由新的候选值乘以候选值的每一个状态网络决定更新的程度构成。
(4)
在这一步，网络按照之前的决定，扔掉了旧的信息，并且添加了新的信息。
最后，网络需要决定最终的输出，（图4（e））。输出将会基于目前的元胞状态，并且会加入一些过滤。首先网络建立一个由sigmoid函数的输出门，来决定我们将输出元胞的哪些部分。然后网络将元胞状态通过tanh函数之后（使得输出值在-1到1之间），与输出门相乘，这样我们只会输出我们想输出的部分。
(5)
(6)
上述长短时记忆网络工作原理中，和分别代表网络中的权重矩阵，他们的下标对应他们在网络中不同的位置。这些参数都是需要通过训练来确定最优值。
由步骤1得到的序列，类似于上述过程中的输入序列。由于长短时记忆网络擅长对序列数据进行建模，所以本发明使用长短时记忆网络来对步骤1得到的像素点在不同谱带构成的序列进行建模。根据图2所示，本发明使用长短时记忆网络的最后一个输出，作为像素点的光谱特征表示，即（ne为长短时记忆网络中隐节点的个数）。随后，本发明使用Softmax分类器对提取到的特征进行分类。下面，对Softmax分类器做一个简要描述。
首先，把光谱长短时记忆网络得到的特征值乘以一个权重矩阵，使特征向量的维度转换成种类个数。然后通过softmax函数可以得到该像素点属于类别的概率：
(7)
本发明将光谱长短时记忆网络的损失函数设置为softmax-crossentropy：
(8)
其中，为样本的真实标签值。
然后，将样本输入到网络中使用随机梯度下降的优化算法最小化损失函数。
步骤3、对高光谱图像进行主成分分析得到第一个主成分，然后在第一个主成分中提取以为中心的局部图像块，随即将图像块按行拆成一组行向量。
为了提取位于的像素点的空间特征，本发明采用该像素点的邻近区域作为网络输入。由于高光谱图像含有上百个光谱通道，所以它通常具有上千维。一个较大的邻近区域会导致输入的维度过大，而且区域内包含了大量的冗余信息。受到其他工作的启发，本发明首先使用主成分分析对高光谱图像进行降维。因为第一主成分已经保留了98%左右的原图信息，所以本发明就使用原图的第一主成分来提取空间特征。对位于的像素点，提取第一主成分上以为中心的局部图像块。然后将按行拆分成一个行向量序列，是局部图像块中第行的行向量。
步骤4、将步骤3得到的一组行向量输入到空间长短时记忆网络中得到该像素点的空间特征，同步骤2的方法将空间特征输入到分类器中得到基于空间特征的分类结果，并对空间长短时记忆网络进行训练。
同样地，为了学习到图像块中行向量之间的关系，本发明使用长短时记忆网络来对他们进行建模，如图3所示。这里，同样采取光谱长短时记忆网络的做法，使用最后一个输出（na为空间长短时记忆网络中隐节点的个数）作为空间特征表示，同样要通过矩阵将这个特征转换成维的向量输入到Softmax分类器中，得到基于空间特征的分类概率。本步骤不再赘述长短时记忆网络和Softmax分类器，原理见步骤2中描述。本发明将空间长短时记忆网络中的损失函数（公式（9））和优化函数设置为和光谱长短时间记忆网络的一样。
(9)
步骤5、将上述得到的两种分类结果，利用加权求和对两种结果进行融合，得到最终该位置像素点的空谱分类结果。
通过步骤2和步骤4分别得到了基于光谱特征和空间特征的分类结果。随着成像光谱技术的发展，现在的传感器可以获得空间分辨率非常高的高光谱图像。因此，图像中一个小区域内的所有像素点都属于同一类物体的概率很高。对于一个大的均匀区域来说，像素点可能有着不同的光谱属性。所以，如果只是使用光谱特征，像素点可能会被分类成不同的子区域。同理，如果只是使用空间特征，这些区域会被分类成同一种物体。因此，为了提高分类的准确率，本发明同时利用空间特征和光谱特征。基于步骤2和步骤4的结果，本发明通过加权求和的方式融合这二者，得到最终的准确率：
(8)
公式中的权重系数必须满足：
(9)
为了方便，本发明使用相同的权重系数，即。
为了便于公众理解本发明技术方案，下面给出两个具体实施例。
实施例一将本发明所提供的技术方案应用在Indian Pines Scene高光谱图像数据分类中。这个图像总共包含了224个谱带。本发明先移除了谱带中的值都是0的四个谱带和20个噪声带，然后使用其中的200个谱带。这个图像的大小为。它的空间分辨率是。图像中总共有10249个像素点带有标签值，共有16类物体。
利用本发明所提出的基于空谱长短时记忆网络的高光谱图像分类方法，分别使用光谱长短时记忆网络和空间长短时记忆网络获得基于光谱域和空间域的分类结果，最后融合这二者，以此来得到一个高光谱图像的分类。
为了验证本发明的有效性，分类结果分别与主成分分析(PCA)、线性判别分析(LDA)方法、非参数加权特征提取（NWFE）方法、正则局部判别嵌入（RLDE）方法、矩阵判别分析（MDA）方法、卷积神经网络（CNN）方法、光谱长短时记忆网络（SeLSTM）、空间长短时记忆网络（SaLSTM）进行对比。将高光谱图像中的位于的像素点不同光谱通道的值取出得到一个K维的向量，将K维向量输入到光谱长短时记忆网络中得到该像素点的光谱特征，然后将特征输入到分类器中得到基于光谱特征的分类结果，并对光谱长短时记忆网络进行训练，对高光谱图像进行主成分分析得到第一个主成分，然后在主成分中提取同样以为中心的局部图像块，随即将图像块按行拆成一组行向量，将得到的一组行向量输入到空间长短时记忆网络中得到该像素点的空间特征，将特征输入到分类器中得到基于空间特征的分类结果，并对空间长短时记忆网络进行训练，将上述得到的两种分类结果，利用加权求和对两种结果进行融合，得到最终该位置像素点的空谱分类结果。
本实施例的分类过程具体如下：
1、提取像素点向量：
从Indian Pines Scene高光谱图像的200个谱带中提取出10249个200维向量。然后将每个200维向量拆成一个含有200个一维向量的序列。
2、提取像素点的光谱特征并分类：
按照常用的Indian Pines Scene高光谱图像分类任务的训练/测试集设置方式，将10249个样本中取出作为训练样本，剩下的作为测试集，训练集用于调整光谱长短时记忆网络的参数，测试集在最后一步中来评估整个网络的分类性能。为了减少随机选择的影响，我们重复做了五次实验，每次实验都使用随机生成的1:9训练/测试集，最终记录的结果为五次实验的平均值。深度网络的主要参数设置就是隐节点的个数和网络的层数。因为高光谱图像小样本的问题，本发明只设置了一层的光谱长短时记忆网络。并且，经过多次测试，我们将光谱长短时记忆网络的隐节点个数ne设置为64。输入序列经过光谱长短时记忆网络之后得到一组同样长度的序列，其中每个元素是一个64维的隐向量。因为序列中最后一个元素包含了先前所有输入的信息，所以本发明选择序列中的最后一个64维隐向量。然后将这个隐向量乘以一个变换矩阵，得到一个16维的向量。最后，通过一个softmax函数，得到一个16维的概率向量。最终该样本所属类别就是这16维向量中概率值最大的那个。我们使用前面设置的训练集对网络进行训练，然后使用光谱长短时记忆网络对高光谱图像的像素点提取光谱特征并得到基于光谱特征的分类结果。
3、提取像素点的局部图像块：
本发明先使用主成分分析对高光谱图像进行降维，然后使用降维后的第一主成分。经过测试，我们选择的图像块作为输入样本的尺寸。这里的图像块的中心像素点采用与第1步中训练样本相同位置的像素点。然后，将图像块按行拆分成一个行向量序列。
4、提取像素点的空间特征并分类：
为了提取图像块的空间特征，本发明使用空间长短时记忆网络对第3步得到的行向量序列进行建模。这里，我们将空间长短时记忆网络的隐节点个数设置na设置为128，同样为了减少模型的参数量，我们也只设置了一层空间长短时记忆网络。通过空间长短时记忆网络得到的一组序列输出，我们选择最后一个输出值作为特征表示输入到Softmax分类器中。我们使用第3步中得到的训练数据对网络进行训练，然后使用训练好的空间长短时记忆网络提取像素点的空间特征并得到基于空间特征的分类结果。
5、融合基于空间和光谱特征的分类结果
通过第2步和第4步，我们得到了训练好的光谱长短时记忆网络和空间长短时记忆网络。本发明为了充分地利用高光谱图像光谱域和空间域的信息，将基于空间特征和光谱特征的分类结果通过进行加权求和，得到联合的空谱分类结果。最后，我们使用测试集来测试空谱长短时记忆网络的分类性能。
为了验证本发明方法的效果，分别将本发明提出的基于空谱长短时记忆网络（SSLSTMs）的高光谱图像分类方法与未进行融合的光谱长短时记忆网络（SeLSTM）和空间长短时记忆网络（SaLSTM）以及主成分分析(PCA)、线性判别分析(LDA)方法、非参数加权特征提取（NWFE）方法、正则局部判别嵌入（RLDE）方法、矩阵判别分析（MDA）方法、卷积神经网络（CNN）方法进行比较。
表1给出了9种分类方法的分类准确率的比较。
表1 分类准确率对比
| PCA | LDA | NWFE | RLDE | MDA | CNN | SeLSTM | SaLSTM | SSLSTMs | |
| 总体准确率 | 72.58 | 76.67 | 78.47 | 80.97 | 92.31 | 90.14 | 72.22 | 91.72 | 95.00 |
| 平均准确率 | 70.19 | 72.88 | 76.08 | 80.94 | 89.54 | 85.66 | 61.72 | 83.51 | 91.69 |
| Kappa系数 | 68.58 | 73.27 | 75.34 | 78.25 | 91.21 | 88.73 | 68.24 | 90.56 | 94.29 |
| 第1类 | 59.57 | 63.04 | 62.17 | 64.78 | 73.17 | 71.22 | 25.85 | 85.85 | 88.78 |
| 第2类 | 68.75 | 72.04 | 76.27 | 78.39 | 93.48 | 90.10 | 66.60 | 89.56 | 93.76 |
| 第3类 | 53.95 | 57.54 | 59.64 | 68.10 | 84.02 | 91.03 | 54.83 | 91.43 | 92.42 |
| 第4类 | 55.19 | 46.58 | 59.83 | 70.80 | 83.57 | 85.73 | 43.94 | 90.61 | 86.38 |
| 第5类 | 83.85 | 91.76 | 88.49 | 92.17 | 96.69 | 83.36 | 83.45 | 88.60 | 89.79 |
| 第6类 | 91.23 | 94.41 | 96.19 | 94.90 | 99.15 | 91.99 | 87.76 | 90.81 | 97.41 |
| 第7类 | 82.86 | 72.14 | 82.14 | 85.71 | 93.60 | 85.60 | 23.20 | 51.20 | 84.80 |
| 第8类 | 93.97 | 98.74 | 99.04 | 99.12 | 99.91 | 97.35 | 95.40 | 99.02 | 99.91 |
| 第9类 | 34.00 | 26.00 | 44.00 | 73.00 | 63.33 | 54.45 | 30.00 | 38.89 | 74.44 |
| 第10类 | 64.18 | 60.91 | 69.18 | 69.73 | 82.15 | 75.38 | 71.29 | 88.64 | 95.95 |
| 第11类 | 74.96 | 76.45 | 77.78 | 79.38 | 92.76 | 94.36 | 75.08 | 94.62 | 96.93 |
| 第12类 | 41.72 | 67.45 | 64.05 | 72.28 | 91.35 | 78.73 | 54.49 | 86.10 | 89.18 |
| 第13类 | 93.46 | 96.00 | 97.56 | 97.56 | 99.13 | 95.98 | 91.85 | 90.11 | 98.48 |
| 第14类 | 89.45 | 93.79 | 93.49 | 92.36 | 98.22 | 96.80 | 90.37 | 98.10 | 98.08 |
| 第15类 | 47.77 | 65.54 | 58.50 | 67.10 | 87.84 | 96.54 | 30.49 | 88.59 | 92.85 |
| 第16类 | 88.17 | 83.66 | 89.03 | 89.68 | 94.29 | 81.90 | 62.86 | 64.05 | 87.86 |
从表1可以看出，本发明方法的总体准确率、平均准确率、和Kappa系数明显高于其他8种分类方法，融合之后的空谱长短时记忆网络，和最好的卷积神经网络相比总体准确率提高了将近5%。此外，通过融合分类结果的空谱长短时记忆网络方法分类准确率明显高于未进行融合的光谱长短时记忆网络和空间长短时记忆网络方法。
综上可知，和主成分分析(PCA)、线性判别分析(LDA)方法、非参数加权特征提取（NWFE）方法、正则局部判别嵌入（RLDE）方法、矩阵判别分析（MDA）方法、卷积神经网络（CNN）方法以及未进行融合的光谱长短时记忆网络（SeLSTM）和空间长短时记忆网络（SaLSTM）相比，本发明方法无论是从分类性能还是从分类精确度上来看，都具有明显的优势。
实施例二将本发明所提供的技术方案应用在PaviaUniversityScene高光谱图像数据分类中。这个图像包含了从到的115个光谱通道。本发明在移除了噪声带后，使用其中的103个谱带。图像的大小为像素并且空间分辨率为。图像总共包含了9类物体并且每一类有超过1000个样本。
利用本发明所提出的基于空谱长短时记忆网络的高光谱图像分类方法，分别使用光谱长短时记忆网络和空间长短时记忆网络获得基于光谱域和空间域的分类结果，最后融合这二者，以此来得到一个高光谱图像的分类。
为了验证本发明的有效性，分类结果分别与主成分分析(PCA)、线性判别分析(LDA)方法、非参数加权特征提取（NWFE）方法、正则局部判别嵌入（RLDE）方法、矩阵判别分析（MDA）方法、卷积神经网络（CNN）方法、光谱长短时记忆网络（SeLSTM）、空间长短时记忆网络（SaLSTM）进行对比。将高光谱图像中的位于的像素点不同光谱通道的值取出得到一个K维的向量，将K维向量输入到光谱长短时记忆网络中得到该像素点的光谱特征，然后将特征输入到分类器中得到基于光谱特征的分类结果，并对光谱长短时记忆网络进行训练，对高光谱图像进行主成分分析得到第一个主成分，然后在主成分中提取同样以为中心的局部图像块，随即将图像块按行拆成一组行向量，将得到的一组行向量输入到空间长短时记忆网络中得到该像素点的空间特征，将特征输入到分类器中得到基于空间特征的分类结果，并对空间长短时记忆网络进行训练，将上述得到的两种分类结果，利用加权求和对两种结果进行融合，得到最终该位置像素点的空谱分类结果。
本实施例的分类过程具体如下：
1、提取像素点向量：
从PaviaUniversityScene高光谱图像的103个谱带中提取出42776个103维向量。然后将每个103维向量拆成一个含有103个一维向量的序列。
2、提取像素点的光谱特征并分类：
按照常用的PaviaUniversityScene高光谱图像分类任务的训练/测试集设置方式，将42776个样本中取出3921训练样本，剩下的作为测试集，训练集用于调整光谱长短时记忆网络的参数，测试集在最后一步中来评估整个网络的分类性能。为了减少随机选择的影响，我们重复做了五次实验，每次实验都使用按照上述设置随机生成的训练/测试集，最终记录的结果为五次实验的平均值。深度网络的主要参数设置就是隐节点的个数和网络的层数。因为高光谱图像小样本的问题，本发明只设置了一层的光谱长短时记忆网络。并且，经过多次测试，我们将光谱长短时记忆网络的隐节点个数ne设置为128。输入序列经过光谱长短时记忆网络之后得到一组同样长度的序列，其中每个元素是一个128维的隐向量。因为序列中最后一个元素包含了先前所有输入的信息，所以本发明选择序列中的最后一个128维隐向量。然后将这个隐向量乘以一个变换矩阵，得到一个9维的向量。最后，通过一个softmax函数，得到一个16维的概率向量。最终该样本所属类别就是这9维向量中概率值最大的那个。我们使用前面设置的训练集对网络进行训练，然后使用光谱长短时记忆网络对高光谱图像的像素点提取光谱特征并得到基于光谱特征的分类结果。
3、提取像素点的局部图像块：
本发明先使用主成分分析对高光谱图像进行降维，然后使用降维后的第一主成分。经过测试，我们选择的图像块作为输入样本的尺寸。这里的图像块的中心像素点采用与第1步中训练样本相同位置的像素点。然后，将图像块按行拆分成一个行向量序列。
4、提取像素点的空间特征并分类：
为了提取图像块的空间特征，本发明使用空间长短时记忆网络对第3步得到的行向量序列进行建模。这里，我们将空间长短时记忆网络的隐节点个数设置na设置为256，同样为了减少模型的参数量，我们也只设置了一层空间长短时记忆网络。通过空间长短时记忆网络得到的一组序列输出，我们选择最后一个输出值作为特征表示输入到Softmax分类器中。我们使用第3步中得到的训练数据对网络进行训练，然后使用训练好的空间长短时记忆网络提取像素点的空间特征并得到基于空间特征的分类结果。
5、融合基于空间和光谱特征的分类结果
通过第2步和第4步，我们得到了训练好的光谱长短时记忆网络和空间长短时记忆网络。本发明为了充分地利用高光谱图像光谱域和空间域的信息，将基于空间特征和光谱特征的分类结果通过进行加权求和，得到联合的空谱分类结果。最后，我们使用测试集来测试空谱长短时记忆网络的分类性能。
为了验证本发明方法的效果，分别将本发明提出的基于空谱长短时记忆网络（SSLSTMs）的高光谱图像分类方法与未进行融合的光谱长短时记忆网络（SeLSTM）和空间长短时记忆网络（SaLSTM）以及主成分分析(PCA)、线性判别分析(LDA)方法、非参数加权特征提取（NWFE）方法、正则局部判别嵌入（RLDE）方法、矩阵判别分析（MDA）方法、卷积神经网络（CNN）方法进行比较。
表2给出了9种分类方法的分类准确率的比较。
表2分类准确率对比
| PCA | LDA | NWFE | RLDE | MDA | CNN | SeLSTM | SaLSTM | SSLSTMs | |
| 总体准确率 | 88.63 | 84.08 | 88.73 | 88.82 | 96.95 | 96.55 | 93.20 | 94.98 | 98.48 |
| 平均准确率 | 90.18 | 87.23 | 90.38 | 90.45 | 96.86 | 97.19 | 93.13 | 94.86 | 98.51 |
| Kappa系数 | 85.18 | 79.59 | 85.31 | 85.43 | 95.93 | 95.30 | 90.43 | 92.84 | 97.56 |
| 第1类 | 87.07 | 82.91 | 86.86 | 87.20 | 96.69 | 96.72 | 91.33 | 92.20 | 96.83 |
| 第2类 | 88.38 | 80.68 | 88.50 | 88.40 | 97.76 | 96.31 | 94.58 | 95.86 | 98.74 |
| 第3类 | 81.96 | 69.21 | 82.20 | 81.69 | 90.69 | 97.15 | 83.93 | 92.42 | 96.57 |
| 第4类 | 95.14 | 95.99 | 95.27 | 95.79 | 98.44 | 96.16 | 97.78 | 91.59 | 98.43 |
| 第5类 | 99.76 | 99.90 | 99.81 | 99.87 | 100.00 | 99.81 | 99.46 | 98.70 | 99.94 |
| 第6类 | 88.06 | 89.53 | 88.16 | 88.67 | 96.26 | 94.87 | 91.73 | 96.91 | 99.43 |
| 第7类 | 85.32 | 81.11 | 86.57 | 86.06 | 97.95 | 97.44 | 90.76 | 98.74 | 99.31 |
| 第8类 | 86.06 | 85.81 | 86.13 | 86.42 | 93.98 | 98.23 | 88.78 | 94.79 | 97.98 |
| 第9类 | 99.92 | 99.92 | 99.89 | 99.94 | 100.00 | 98.04 | 99.83 | 92.54 | 99.39 |
从表2可以看出，本发明方法的总体准确率、平均准确率、和Kappa系数明显高于其他8种分类方法，融合之后的空谱长短时记忆网络，和最好的卷积神经网络相比总体准确率提高了将近2%。此外，通过融合分类结果的空谱长短时记忆网络方法分类准确率明显高于未进行融合的光谱长短时记忆网络和空间长短时记忆网络方法。
综上可知，和主成分分析(PCA)、线性判别分析(LDA)方法、非参数加权特征提取（NWFE）方法、正则局部判别嵌入（RLDE）方法、矩阵判别分析（MDA）方法、卷积神经网络（CNN）方法以及未进行融合的光谱长短时记忆网络（SeLSTM）和空间长短时记忆网络（SaLSTM）相比，本发明方法无论是从分类性能还是从分类精确度上来看，都具有明显的优势。
Claims (4)
1.一种高光谱图像分类方法，其特征在于，包括以下步骤：
步骤一、将高光谱图像中坐标位于的像素点的不同光谱通道的值取出得到一个K维的向量，K根据高光谱图像的光谱通道个数确定；
步骤二、将步骤一中的K维向量输入到光谱长短时记忆网络中得到该像素点的光谱特征，然后将光谱特征输入到分类器中得到基于光谱特征的分类结果，并对光谱长短时记忆网络进行训练；
步骤三、对高光谱图像进行主成分分析得到第一个主成分，然后在第一个主成分中提取同样以为中心的局部图像块，将该局部图像块按行拆成一组行向量；
步骤四、将步骤三得到的一组行向量输入到空间长短时记忆网络中得到该像素点的空间特征，采用步骤二所述方法将该空间特征输入到分类器中得到基于空间特征的分类结果，并对空间长短时记忆网络进行训练；
步骤五、将上述步骤中得到的基于光谱特征的分类结果和基于空间特征的分类结果利用加权求和方式进行融合，得到最终该位置像素点的空谱分类结果。
2.根据权利要求1所述高光谱图像分类方法，其特征在于：所述分类器采用Softmax分类器。
3.根据权利要求1所述高光谱图像分类方法，其特征在于：步骤五中对两种分类结果加权求和过程中，两者的权重系数之和等于一。
4.根据权利要求3所述高光谱图像分类方法，其特征在于：两种分类结果的权重系数相同。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711462907.XA CN108268890A (zh) | 2017-12-28 | 2017-12-28 | 一种高光谱图像分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711462907.XA CN108268890A (zh) | 2017-12-28 | 2017-12-28 | 一种高光谱图像分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108268890A true CN108268890A (zh) | 2018-07-10 |
Family
ID=62772707
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711462907.XA Pending CN108268890A (zh) | 2017-12-28 | 2017-12-28 | 一种高光谱图像分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108268890A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110147773A (zh) * | 2019-05-23 | 2019-08-20 | 广东工业大学 | 一种遥感图像识别方法 |
| CN110390676A (zh) * | 2019-07-26 | 2019-10-29 | 腾讯科技（深圳）有限公司 | 显微镜下医学染色图像的细胞检测方法、智能显微镜系统 |
| CN110598594A (zh) * | 2019-08-29 | 2019-12-20 | 武汉大学 | 基于空谱自适应双向长短时记忆模型的高光谱分类方法 |
| CN111738329A (zh) * | 2020-06-19 | 2020-10-02 | 中南大学 | 一种面向时间序列遥感影像的土地利用分类方法 |
| CN113327231A (zh) * | 2021-05-28 | 2021-08-31 | 北京理工大学重庆创新中心 | 一种基于空谱联合的高光谱异常目标检测方法和系统 |
| CN113966999A (zh) * | 2021-10-28 | 2022-01-25 | 中山大学 | 一种索拉非尼耐药性预测方法、装置及可存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106650825A (zh) * | 2016-12-31 | 2017-05-10 | 中国科学技术大学 | 一种机动车尾气排放数据融合系统 |
| US20170173262A1 (en) * | 2017-03-01 | 2017-06-22 | François Paul VELTZ | Medical systems, devices and methods |
-
2017
- 2017-12-28 CN CN201711462907.XA patent/CN108268890A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106650825A (zh) * | 2016-12-31 | 2017-05-10 | 中国科学技术大学 | 一种机动车尾气排放数据融合系统 |
| US20170173262A1 (en) * | 2017-03-01 | 2017-06-22 | François Paul VELTZ | Medical systems, devices and methods |
Non-Patent Citations (1)
| Title |
|---|
| FENG ZHOU: "Hyperspectral Image Classification Using Spectral-Spatial LSTMs", 《CHINESE CONFERENCE ON COMPUTER VISION 2017》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110147773A (zh) * | 2019-05-23 | 2019-08-20 | 广东工业大学 | 一种遥感图像识别方法 |
| CN110390676A (zh) * | 2019-07-26 | 2019-10-29 | 腾讯科技（深圳）有限公司 | 显微镜下医学染色图像的细胞检测方法、智能显微镜系统 |
| CN110598594A (zh) * | 2019-08-29 | 2019-12-20 | 武汉大学 | 基于空谱自适应双向长短时记忆模型的高光谱分类方法 |
| CN111738329A (zh) * | 2020-06-19 | 2020-10-02 | 中南大学 | 一种面向时间序列遥感影像的土地利用分类方法 |
| CN113327231A (zh) * | 2021-05-28 | 2021-08-31 | 北京理工大学重庆创新中心 | 一种基于空谱联合的高光谱异常目标检测方法和系统 |
| CN113966999A (zh) * | 2021-10-28 | 2022-01-25 | 中山大学 | 一种索拉非尼耐药性预测方法、装置及可存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Makantasis et al. | Tensor-based classification models for hyperspectral data analysis | |
| Li et al. | Robust capsule network based on maximum correntropy criterion for hyperspectral image classification | |
| CN108268890A (zh) | 一种高光谱图像分类方法 | |
| CN109063724B (zh) | 一种增强型生成式对抗网络以及目标样本识别方法 | |
| CN108491849B (zh) | 基于三维稠密连接卷积神经网络的高光谱图像分类方法 | |
| CN105138973B (zh) | 人脸认证的方法和装置 | |
| CN109766858A (zh) | 结合双边滤波的三维卷积神经网络高光谱影像分类方法 | |
| CN104573729B (zh) | 一种基于核主成分分析网络的图像分类方法 | |
| CN109784392B (zh) | 一种基于综合置信的高光谱图像半监督分类方法 | |
| CN105740912B (zh) | 基于核范数正则化的低秩图像特征提取的识别方法及系统 | |
| CN108960304B (zh) | 一种网络交易欺诈行为的深度学习检测方法 | |
| CN109598711B (zh) | 一种基于特征挖掘和神经网络的热图像缺陷提取方法 | |
| CN109559309B (zh) | 基于均匀进化的多目标优化红外热图像缺陷特征提取方法 | |
| CN111090764B (zh) | 基于多任务学习和图卷积神经网络的影像分类方法及装置 | |
| Yang et al. | Data-driven compressive sampling and learning sparse coding for hyperspectral image classification | |
| Carrara et al. | On the robustness to adversarial examples of neural ode image classifiers | |
| Lin et al. | Determination of the varieties of rice kernels based on machine vision and deep learning technology | |
| CN109063555B (zh) | 基于低秩分解和稀疏表示残差对比的多姿态人脸识别方法 | |
| CN106056165A (zh) | 一种基于超像素关联性增强Adaboost分类学习的显著性检测方法 | |
| Wan et al. | Multi-objective sparse subspace clustering for hyperspectral imagery | |
| CN107194373A (zh) | 一种高光谱遥感影像特征提取与分类方法 | |
| CN114795178B (zh) | 一种基于多注意力神经网络的大脑状态解码方法 | |
| CN112509017A (zh) | 一种基于可学习差分算法的遥感影像变化检测方法 | |
| CN116977723A (zh) | 基于空间-光谱混合自注意力机制的高光谱图像分类方法 | |
| Feng et al. | Hyperspectral band selection based on ternary weight convolutional neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180710 |
|
| RJ01 | Rejection of invention patent application after publication |