CN114511735A - 级联空谱特征融合与核极限学习机的高光谱图像分类方法及系统 - Google Patents

Abstract

本发明公开了一种级联空谱特征融合与核极限学习机的高光谱图像分类方法及系统，方法包括：对高光谱图像进行归一化预处理操作，并将数据集分为训练集和测试集；使用空‑谱注意力残差神经网络对输入的高光谱图像进行卷积来分别获取空间和光谱信息；利用训练好的网络对测试集的数据进行空‑谱特征提取，在对该神经网络进行训练的同时计算出核极限学习机隐藏层的输出权重矩阵，之后将提取的特征以及输出权重矩阵输入到核极限学习机中，从而达到对高光谱图像的分类目的。本发明充分利用高光谱图像光谱注意力信息和空间注意力信息，能够对高光谱遥感数据进行深度的特征提取从而快速精确的分类。

Description

级联空谱特征融合与核极限学习机的高光谱图像分类方法及 系统

技术领域

本发明属于遥感图像处理领域，具体涉及一种级联空谱特征融合与核极限学习机的高光谱图像分类方法及系统。

背景技术

近年来，空间信息技术的发展和卫星数量的增加为遥感技术的发展提供了丰富的具有空间和光谱信息的遥感图像数据。高光谱图像作为一种特殊的遥感图像，其光谱覆盖范围广，包括了紫外、可见光、近红外以及中红外区域，且带有丰富的空间信息和光谱信息，被广泛应用于环境监测、城市规划、国防、地质勘测和农作物检测等领域。

高光谱图像处理包括分类、解混、变化检测和目标检测等，其中高光谱图像分类作为高光谱图像处理的主要任务之一，旨在根据像素特征为其分配特定的类别标签，从而获得地物的分布图来反映地物的真实分布情况，为后续对于高光谱图像的其他处理提供基础。

高光谱图像分类是一种描述地物目标或种类的分析技术，其主要任务是对数据中的每个像元赋予一个类别以产生专题制图的一个过程。在许多高光谱技术的应用领域中，根据高光谱图像对地物信息进行分类都是一个重要环节，虽然高光谱图像的数据处理取得了很大的成就，但是数据处理技术远远不能满足现实需要。目前高光谱图像分类遇到的两大主要问题有：(1)有限样本条件下的波段冗余，高光谱数据的高维度与有限训练样本之间的矛盾导致的Hughes现象是其在分类应用中面临的一个关键问题；(2)空间信息的利用不足，高光谱图像不仅仅是像元的无序集合，有序排列的直接体现是空间特征，空间信息的提取与分析不当影响分类效果，是我们面临的一些挑战。

在过去的二十年里，人们提出了大量的方法来解决HSI分类任务。深度学习理论凭借其强大的自动学习能力,在自然语言处理和图像分类等领域取得了优异的成果。与传统机器学习方法相比,深度学习理论不需要人工设计特征,能够实现端到端学习。卷积神经网络CNN(Convolutional Neural Network)模型能够直接处理二维图像数据,在图像处理领域具有独特的优势,通过添加非线性激活函数,能够提取图像的非线性特征。但是，随着网络层数的增加，CNN模型在训练过程中容易出现梯度消失现象。

发明内容

本发明的目的在于提供一种级联空谱特征融合与核极限学习机的高光谱图像分类方法及系统。

实现本发明目的的技术解决方案为：一种级联空谱特征融合与核极限学习机的高光谱图像分类方法，包括以下步骤：

步骤1、对光谱成像仪采集到的高光谱图像进行预处理操作，并将数据集分为训练集和测试集；

步骤2、使用空-谱注意力残差神经网络对输入的高光谱图像分别获取光谱特征信息和空间特征信息，通过训练集对该卷积神经网络进行训练，利用训练好的空-谱注意力残差神经网络对测试集进行光谱和空间的特征信息提取；

步骤3、将步骤1预处理数据的训练集再输入到核极限学习机中计算出隐藏层的输出权重矩阵，步骤2取得的空-谱图像特征信息和输出权重矩阵输入到核极限学习机分类器中，实现高光谱图像分类。

一种级联空谱特征融合与核极限学习机的高光谱图像分类系统，用于实现上述高光谱图像分类方法，所述系统包括：

第一模块，用于对光谱成像仪采集到的高光谱图像进行预处理操作，并将数据集分为训练集和测试集；

第二模块，用于使用空-谱注意力残差神经网络对输入的高光谱图像分别获取光谱特征信息和空间特征信息，通过训练集对该卷积神经网络进行训练，利用训练好的空-谱注意力残差神经网络对测试集进行光谱和空间的特征信息提取；

第三模块，用于将预处理数据的训练集再输入到核极限学习机中计算出隐藏层的输出权重矩阵，空-谱图像特征信息和输出权重矩阵输入到核极限学习机分类器中，实现高光谱图像分类。

一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的级联空谱特征融合与核极限学习机的高光谱图像分类方法。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的级联空谱特征融合与核极限学习机的高光谱图像分类方法。

与现有技术相比，本发明的有益效果在于：

(1)本发明根据高光谱遥感图像数据有丰富的光谱和空间信息，提出了一种级联空谱特征融合与核极限学习机的高光谱图像分类方法，旨在深度挖掘高级上下文语义信息，充分融合空间和光谱特征；

(2)同时使用核极限学习机作为分类器来对图像进行分类，在不降低分类精度的基础上，减少了分类的时间。

附图说明

图1是本发明级联空谱特征融合与核极限学习机的高光谱图像分类方法流程图。

图2是本发明融合空谱特征的网络训练流程示意图。

图3是本发明高光谱图像的空间注意力模型特征提取示意图。

图4是本发明基于核极限学习机分类器的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

如图1所示，本发明的一种级联空谱特征融合与核极限学习机的高光谱图像分类方法，包括以下步骤：

步骤1、对光谱成像仪采集到的高光谱图像进行预处理操作，并将数据集分为训练集和测试集；

(1.1)计算高光谱图像数据集中数据的均值；

(1.2)将所述高光谱图像数据集中每个样本数据的值减去均值；

(1.3)将所述减去均值的高光谱集进行相同分辨率下的重塑。

步骤2、如图2所示，使用空-谱注意力残差神经网络对输入的高光谱图像分别获取光谱特征信息和空间特征信息，通过训练集对该卷积神经网络进行训练，利用训练好的空-谱注意力残差神经网络对测试集进行光谱和空间的特征信息提取；

(2.1)设计使用了光谱注意力特征提取模块来提取图像的光谱信息；

首先使用一系列的二维卷积来扩大接受域，而池化层用来降低分辨率，通过这种方法，可以获得空间域的全局信息；

然后使用全局平均池化方法对空间信息进行了压缩和汇总；接着两个一维卷积用来学习光谱波段之间的非线性关系，参数r用来控制一维卷积核，从而用来控制光谱信息的聚集程度；

最后，使用sigmoid激活函数，得到具有全局谱信息的加权向量，通过对加权向量和输入的三维立方体进行内积运算，得到更有代表性的光谱特征。

利用光谱注意力模块可以对光谱信息进行加权，从而减少冗余波段对分类结果的影响，可以得到更具代表性的光谱特征信息；

(2.2)设计使用了空间注意力特征提取模块来提取图像的空间信息；

一般来说，空间特征提取的输入的图像块尺寸较大，包含的空间信息较多。为了减少计算量，在高光谱图像上上执行主成分分析(PCA)算法。B∈R^S×S×d代表图像块的输入，其中S×S代表空间大小，d代表光谱的波段数。利用1×1×d的三维卷积核将输入转换为S×S×d的3个特征映射。如图3所示，这三种特征图从上到下分别用f(X_k)∈R^s×s×o，g(X_k)∈R^s×s×o以及h(X_k)∈R^s×s×o代表，从而减少通道的数量和简化计算，其中o代表高光谱图像经过三维卷积核1×1×d提取出图像特征的通道数。

的计算公式为：

f(X_k)＝σ(W_f*X_k+b_f)

其中，W_f和b_f分别代表卷积运算中的权重参数和偏置参数。同理，

和

计算如下：

g(X_k)＝σ(W_g*X_k+b_g)

h(X_k)＝σ(W_h*X_k+b_h).

接下来，将上一步得到的三个特征图像重塑为SS×O尺寸：

R＝f(X_k)g(X_k)^T

这一步是计算特征图像中任意两个像素之间的相关性。使用sigmoid激活函数进行归一化操作后，可以得到对所有像素进行加权的掩模(mask)，权重越大的区域越重要。然后，如下所示，将注意系数与特征图h(X_k)相乘，得到注意特征：

Att＝Rh(X_k)

最后，通过卷积扩展通道的数量以获得与输入相同的大小。为了便于算法的收敛，将注意特性Att添加到输入特性X_k中，实现跳跃连接。

与光谱分支一样，空间分支也采用了低、中、高级特征融合，可以重用从低层次提取的空间注意力特征，实现多特征优势互补，获得更稳健、准确的结果。

(2.3)设计残差块对光谱和空间特征信息分别进行深度的特征提取，残差网络通过以短连接的方式,将残差单元的输入连接到单元的输出上,能够较好地解决网络模型的梯度消失问题，减少过拟合现象，得到优化后的空-谱注意力残差神经网络。

步骤3、将步骤1预处理数据的训练集再输入到核极限学习机中计算出隐藏层的输出权重矩阵β，步骤2取得的空-谱图像特征信息和输出权重矩阵β输入到核极限学习机分类器中，具体流程如图4所示；

(3.1)将步骤1预处理后的高光谱图像的测试集再输入到核极限学习机分类模型中，对于一个单隐层前馈神经网络，假设存在N个不同的样本

其中x_i＝[x_i1,x_i2,…,x_iD]∈R^D，y_i＝[y_i1,y_i2,…,y_iL]∈R^L，则具有P个隐层神经元的核极限学习机模型结构如下：

其中g(·)是激活函数，这里使用RBF核函数

代替激活函数g(·)，

其中，μ_i＝(μ_i,…,μ_in)^T是第i个核的中心，σ_i是扩展的宽度；ω_j＝[ω_j1,ω_j2,…,ω_jD]^T∈R^D是连接输入层结点与第j个隐藏层神经元结点的权值向量；β_j＝[β_j1,β_j2,…,β_jL]^T∈R^L是连接第j个隐藏层神经元结点与输出层结点的权值向量；b_j是第j个隐藏层神经元结点的偏置；ω_j·x_i表示的是ω_j和x_i的内积。

核极限学习机模型为了逼近这N个不同样本，并且保证零平均误差

于是ω_j，β_j和b_j需要达到以下条件：

可以简化成：

Hβ＝Y

其中

其中，H表示核极限学习机的隐藏层输出矩阵，h(x_i)＝[g(ω₁·x_i+b₁),…,g(ω₁·x_i+b_P)]是输入样本x_i对应的隐藏层结点的输出，这一处理把样本数据从D维输入空间映射P维特征空间。

普通的单隐层前馈神经网络(SLFN)的训练过程就是希望可以找到一组具体的

使其达到

上式实质上就是最小化代价函数

常用的解决这一问题的方法是基于梯度下降的优化算法，这一方法需要在迭代过程中不断地调整权值和隐藏层偏置量等参数，从而导致计算时间过长。而极限学习机最大的特点就是随机设置输入权重向量ω_j和偏置量b_j，从而隐藏层输出矩阵H也就是唯一确定的，最终上述可以转化为：

则得到β的最优解：

其中

是隐藏层输出矩阵H的Moore-Penrose广义逆矩阵。

正则项核极限学习机(Regularized Kernel ELM,RKELM)，在代价函数中加入最小输出权重矩阵的范数，则代价函数表示如下：

对上述代价函数最小化处理，等价于下式：

ε＝[ε₁,ε₂,…,ε_N]^T表示N个训练样本的误差向量，运用拉格朗日乘子法求解最优解，其

拉格朗日形式为：

其中，λ是拉格朗日乘子，最优解条件如下：

最终得到输出层权重β的最优解为

可以明显地发现，当C趋向于无穷时，正则项核极限学习机则退化成普通核极限学习机，其中C为常数项，I为单位矩阵。

(3.2)将训练集输入到步骤2的神经网络中，获取的空-谱图像特征进行融合，表示如下：

spe(x)＝f(x)+x

spa(x)＝h(x)+x

y(x)＝concat(spe(x),spa(x))

其中spe和spa表示光谱注意力残差分支和空间注意力残差分支,x表示残差单元的输入，f(x)表示没有短连接的光谱注意力模块神经网络的输出，h(x)表示没有短连接的空间注意力模块神经网络的输出，y(x)表示空-谱注意力残差神经网络的特征融合信息。

(3.3)将步骤(3.1)得到输出层权重矩阵β的最优解和步骤(3.2)得到的空-谱图像特征信息输入到核极限学习机分类模型中，核极限学习机模型的输出函数

当利用核极限学习机处理二分类情况时，其决策函数是：

当处理多分类问题时，则对于样本x的预测标签是：

本发明的属于有监督的学习模型算法，其应用需要一定量的数据集支持，包括真实的高光谱图像和已打好标签的地物分布图，用于学习深度学习模型，再加入核极限学习机分类器中分类；在此基础上可以得到比一般深度学习输出更好的分类结果。

进一步的，本发明还提供一种级联空谱特征融合与核极限学习机的高光谱图像分类系统，用于实现上述高光谱图像分类方法，所述系统包括：

第一模块，用于对光谱成像仪采集到的高光谱图像进行预处理操作，并将数据集分为训练集和测试集；

第二模块，用于使用空-谱注意力残差神经网络对输入的高光谱图像分别获取光谱特征信息和空间特征信息，通过训练集对该卷积神经网络进行训练，利用训练好的空-谱注意力残差神经网络对测试集进行光谱和空间的特征信息提取；

第三模块，用于将预处理数据的训练集再输入到核极限学习机中计算出隐藏层的输出权重矩阵，空-谱图像特征信息和输出权重矩阵输入到核极限学习机分类器中，实现高光谱图像分类。

上述第一～第三模块的具体实现过程，与前述的高光谱图像分类方法的步骤1～步骤3过程相同，此处不再赘述。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种级联空谱特征融合与核极限学习机的高光谱图像分类方法，其特征在于，包括以下步骤：

步骤1、对光谱成像仪采集到的高光谱图像进行预处理操作，并将数据集分为训练集和测试集；

步骤2、使用空-谱注意力残差神经网络对输入的高光谱图像分别获取光谱特征信息和空间特征信息，通过训练集对该卷积神经网络进行训练，利用训练好的空-谱注意力残差神经网络对测试集进行光谱和空间的特征信息提取；

步骤3、将步骤1预处理数据的训练集再输入到核极限学习机中计算出隐藏层的输出权重矩阵，步骤2取得的空-谱图像特征信息和输出权重矩阵输入到核极限学习机分类器中，实现高光谱图像分类。

2.根据权利要求1所述的级联空谱特征融合与核极限学习机的高光谱图像分类方法，其特征在于，所述步骤1中的预处理具体步骤如下：

(1.1)计算高光谱图像数据集中数据的均值；

(1.2)将所述高光谱图像数据集中每个样本数据的值减去均值；

(1.3)将减去均值的高光谱集进行相同分辨率下的重塑。

3.根据权利要求1所述的级联空谱特征融合与核极限学习机的高光谱图像分类方法，其特征在于，所述步骤2具体步骤如下：

(2.1)设计使用光谱注意力特征提取模块来提取图像的光谱信息；

首先，使用一系列的二维卷积来扩大接受域，而池化层用来降低分辨率，从而获得空间域的全局信息；

然后，使用全局平均池化方法对空间信息进行压缩和汇总；

接着，两个一维卷积用来学习光谱波段之间的非线性关系，参数r用来控制一维卷积核，从而用来控制光谱信息的聚集程度；

最后，使用sigmoid激活函数，得到具有全局谱信息的加权向量，通过对加权向量和输入的三维立方体进行内积运算，得到更有代表性的光谱特征；

(2.2)设计使用空间注意力特征提取模块来提取图像的空间信息；

在高光谱图像上上执行主成分分析算法；B∈R^s×s×d代表图像块的输入，其中S×S代表空间大小，d代表光谱的波段数；利用1×1×d的三维卷积核将输入转换为S×S×d的3个特征映射；这三种特征图从上到下分别用f(X_k)∈R^s×s×o，g(X_k)∈R^s×s×o以及h(X_k)∈R^s×s×o代表，从而减少通道的数量和简化计算；其中

的计算公式为：

f(X_k)＝σ(W_f*X_k+b_f)

其中，W_f和b_f分别代表卷积运算中的权重参数和偏置参数；同理，

和

计算如下：

g(X_k)＝σ(W_g*X_k+b_g)

h(X_k)＝σ(W_h*X_k+b_h).

将上一步得到的三个特征图像重塑为SS×O尺寸：

R＝f(X_k)g(X_k)^T

这一步是计算特征图像中任意两个像素之间的相关性；使用sigmoid激活函数进行归一化操作后，可得到对所有像素进行加权的掩模；然后，如下所示，将注意系数与特征图h(X_k)相乘，得到注意特征：

Att＝Rh(X_k)

最后，通过卷积扩展通道的数量以获得与输入相同的大小；将注意特性Att添加到输入特性X_k中，实现跳跃连接；

(2.3)设计残差块对光谱和空间特征信息分别进行深度的特征提取，残差网络通过以短连接的方式，将残差单元的输入连接到单元的输出上，得到优化后的空-谱注意力残差神经网络。

4.根据权利要求1所述的级联空谱特征融合与核极限学习机的高光谱图像分类方法，其特征在于，所述步骤3的具体步骤如下：

(3.1)将步骤1预处理后的高光谱图像的测试集再输入到核极限学习机分类模型中，对于一个单隐层前馈神经网络，假设存在N个不同的样本

其中x_i＝[x_i1,x_i2,…,x_iD]∈R^D，y_i＝[y_i1,y_i2,…,y_iL]∈R^L，则具有P个隐层神经元的核极限学习机模型结构如下：

其中g(·)是激活函数，使用RBF核函数

代替激活函数g(·)，

其中，μ_i＝(μ_i,…,μ_in)^T是第i个核的中心，σ_i是扩展的宽度；ω_j＝[ω_j1,ω_j2,…,ω_jD]^T∈R^D是连接输入层结点与第j个隐藏层神经元结点的权值向量；β_j＝[β_j1,β_j2,…,β_jL]^T∈R^L是连接第j个隐藏层神经元结点与输出层结点的权值向量；b_j是第j个隐藏层神经元结点的偏置；ω_j·x_i表示的是ω_j和x_i的内积；

核极限学习机模型为了逼近这N个不同样本，并且保证零平均误差

于是ω_j，β_j和b_j需要达到以下条件：

可简化成：

Hβ＝Y

其中

其中，H表示核极限学习机的隐藏层输出矩阵，h(x_i)＝[g(ω₁·x_i+b₁),…,g(ω₁·x_i+b_P)]是输入样本x_i对应的隐藏层结点的输出，这一处理将样本数据从D维输入空间映射P维特征空间；

单隐层前馈神经网络的训练过程就是希望可以找到一组具体的

使其达到

上式实质上就是最小化代价函数

上述可转化为：

则得到β的最优解：

其中H⁺是隐藏层输出矩阵H的Moore-Penrose广义逆矩阵；

正则项核极限学习机，在代价函数中加入最小输出权重矩阵的范数，则代价函数表示如下：

对上述代价函数最小化处理，等价于下式：

ε＝[ε₁,ε₂,…,ε_N]^T表示N个训练样本的误差向量，运用拉格朗日乘子法求解最优解，其拉格朗日形式为：

其中，λ是拉格朗日乘子，最优解条件如下：

最终得到输出层权重β的最优解为

当C趋向于无穷时，正则项核极限学习机则退化成普通核极限学习机，其中C为常数项，I为单位矩阵；

(3.2)将训练集输入到步骤2的神经网络中，获取的空-谱图像特征进行融合，表示如下：

spe(x)＝f(x)+x

spa(x)＝h(x)+x

y(x)＝concat(spe(x),spa(x))

其中spe和spa表示光谱注意力残差分支和空间注意力残差分支，x表示残差单元的输入，f(x)表示没有短连接的光谱注意力模块神经网络的输出，h(x)表示没有短连接的空间注意力模块神经网络的输出，y(x)表示空-谱注意力残差神经网络的特征融合信息；

(3.3)将步骤(3.1)得到输出层权重矩阵β的最优解和步骤(3.2)得到的空-谱图像特征信息输入到核极限学习机分类模型中，核极限学习机模型的输出函数

当利用核极限学习机处理二分类情况时，其决策函数是：

当处理多分类问题时，则对于样本x的预测标签是：

利用以上方法最终获得图像的分类结果。

5.一种级联空谱特征融合与核极限学习机的高光谱图像分类系统，其特征在于，系统用于实现权利要求1～4任一项级联空谱特征融合与核极限学习机的高光谱图像分类方法，所述系统包括：

第一模块，用于对光谱成像仪采集到的高光谱图像进行预处理操作，并将数据集分为训练集和测试集；

第二模块，用于使用空-谱注意力残差神经网络对输入的高光谱图像分别获取光谱特征信息和空间特征信息，通过训练集对该卷积神经网络进行训练，利用训练好的空-谱注意力残差神经网络对测试集进行光谱和空间的特征信息提取；

第三模块，用于将预处理数据的训练集再输入到核极限学习机中计算出隐藏层的输出权重矩阵，空-谱图像特征信息和输出权重矩阵输入到核极限学习机分类器中，实现高光谱图像分类。

6.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-4中任一所述的级联空谱特征融合与核极限学习机的高光谱图像分类方法。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一所述的级联空谱特征融合与核极限学习机的高光谱图像分类方法。

Images