CN115471677B - 一种基于双通道稀疏化网络的高光谱图像分类方法 - Google Patents

Abstract

本发明提出了一种基于双通道稀疏化网络的高光谱图像分类方法，包括以下步骤：S1，对高光谱图像数据进行降维处理；S2，采用通道注意力机制提取重要光谱与空间特征；S3，将所述重要光谱与空间特征输入光谱分支模块提取高光谱图像的光谱特征；S4，将所述重要光谱与空间特征和降维处理的高光谱图像数据输入空间分支模块提取高光谱图像空间特征；S5，将所述高光谱图像的光谱特征、所述高光谱图像空间特征与所述重要光谱与空间特征输入分类模块进行特征融合叠加得到输出结果。本发明能够通过设计的LCTCS网络在训练过程中去除大量冗余不必要的，对于高光谱图像(HIS)中丰富的光谱信息和空间信息的传递贡献较小的参数，从而达到节约计算资源的效果。

Description

一种基于双通道稀疏化网络的高光谱图像分类方法

技术领域

本发明涉及图像处理技术领域，特别是涉及一种基于双通道稀疏化网络的高光谱图像分类方法。

背景技术

高光谱图像是通过遥感系统在数百个连续和窄波段上捕获每个像素波段的光谱图像数据集合，具有波段数多、蕴含信息丰富、光谱分辨率高等特点。高光谱图像包含的信息可以反映样本的大小、形状、体积等外部特征，这些特点决定了高光谱图像在一些需要进行内外部特征检测的任务中独特优势。高光谱图像的连续波段数据提供了详细信息，可以进行地物目标类别进行鉴别，在农业遥感、地质勘探、环境监测与海洋遥感等领域广泛应用。

近几年来，随着计算机硬件的发展与计算效率的提升，卷积神经网络等深度学习的方法广泛应用于视觉与自然语言处理等任务中，并取得了较为理想的效果。然而，其中的大多方法都是以牺牲昂贵的计算资源为代价，这将占用较多的存储空间；尤其是网络在训练过程中含有大量冗余不必要的参数，这些冗余的参数对于高光谱图像(HIS)中丰富的光谱信息和空间信息的传递贡献较小。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种基于双通道稀疏化网络的高光谱图像分类方法。

为了实现本发明的上述目的，本发明提供了一种基于双通道稀疏化网络的高光谱图像分类方法，包括以下步骤：

S1，对高光谱图像数据进行降维处理；

S2，采用通道注意力机制提取重要光谱与空间特征；

S3，将所述重要光谱与空间特征输入光谱分支模块提取高光谱图像的光谱特征；

S4，将所述重要光谱与空间特征和降维处理的高光谱图像数据输入空间分支模块提取高光谱图像空间特征；

S5，将所述高光谱图像的光谱特征、所述高光谱图像空间特征与所述重要光谱与空间特征进行特征融合叠加，然后输入分类模块得到输出结果。由此，能重用之前的特征，把特征叠加后的结果再进行动态三维卷积，采用的卷积核会随着高光谱数据的波段数不同而不断变化，以此来适应不同的数据立方块，最终通过全局池化和线性层得出最后得到二维特征图。

进一步地，所述S1包括：

在平面维度选取高光谱图像数据的正方形立方块数据p×p作为输入至三维卷积网络，并以正方形立方块的中心为像素值进行三维卷积计算，三维卷积计算公式如下：

其中，表示在空间位置(x,y,z)第i层的第j个立方块；

表示在空间位置(p,q,r)第k个立方块的权重大小；

m表示立方块的总个数；

表示在空间位置(x+p,y+q,z+r)第i-1层的第k个立方块；

b_ij表示在第i层的第j个立方块的偏置大小；

P_i,Q_i,R_i分别表示三维卷积核的高度、宽度和通道数；

g(.)表示激活函数。

进一步地，所述卷积核的大小为1x1x7，步幅为(1，1，2)。卷积核大小为1x1x7能细化光谱特征，步幅设为(1，1，2)是为了卷积核获得一个良好的接受视野，防止卷积核漏掉边缘特征的提取。

进一步地，所述S2包括：通过光谱空间特征权值的重要性判断公式得到重要光谱与空间特征，光谱空间特征权值的重要性判断公式如下：

att((q,k),v)_i表示第i个重要的光谱特征与空间特征的光谱空间权值；

N表示光谱空间消息总数；

q_i表示第i个重要的光谱特征与空间特征的查询向量，用于查询第一层卷积处理后的三维块中第i个重要的光谱特征与空间特征与向量K之间的相似性；

·^T表示转置；

k_j表示第j个波段的平面维度；

v_j表示第j个波段的空间维度；

进一步地，所述光谱分支模块采用三维分组卷积，并以分组卷积层BN层和线性激活层Relu为第一独立单元，若干第一独立单元相连接；

所述第一独立单元包括：

三维卷积层，用于进一步细化空间特征；

所述三维卷积层后接归一化层，归一化层用于稳定特征的输出数值，

所述归一化层后接激活层，激活层用于增强网络的表征能力。

采用三维分组卷积相较于普通的三维卷积，其运算量和参数量能降低到原来Pa的1/S，S表示每个通道的滤波器被分为的组数。

进一步地，所述卷积的卷积核的参数量计算公式为：

其中GrPa表示卷积核的参数量；

C_n表示输入的通道数；

C_n+1表示输出的通道数；

M_n表示第n层的三维卷积核大小；

M_n+1表示第n+1层维卷积核大小；

d_n表示第n层空间维度三维卷积核的大小；

d_n+1表示第n+1层空间维度三维卷积核的大小；其中三维卷积核是里立体的。

S表示每个通道的滤波器被分为的组数；

bias＝False表示不考虑偏置情况；

bias＝Ture表示考虑偏置情况。

进一步地，所述光谱分支模块包括若干第二独立单元，所述第二独立单元包括：

三维卷积层，卷积核大小为(1×1×7)，用于进一步细化空间特征；

所述三维卷积层后接归一化层，归一化层用于稳定特征的输出数值，

所述归一化层后接droupt3d层，droupt3d层用于随机丢弃某些通道，进一步使得网络更加稀疏化；

将所述重要光谱与空间特征输入两个第二独立单元，然后将两个第二独立单元输出的数据与降维处理的高光谱图像数据进行单位相加操作，再把单位相加操作得到的结果在采用残差式操作把得到的结果送入到第二独立单元，输出结果即为高光谱图像空间特征；

残差式操作为：相加操作得到的结果分别经过三维卷积层和第三独立单元，并将三维卷积层的输出结果与第三独立单元的输出结果进行单位相加操作；

所述第三独立单元依次包括：三维卷积层、归一化层、droupt3d层、三维卷积层、归一化层。

进一步地，所述分类模块依次包括：动态三维卷积层、平均池化层、线性层。

其中动态三维卷积层的卷积核是一个动态变化的，随者不同数据集波段数而变化。采用平均池化层能直接降维HIS特征方块，进一步减少网络参数，同时还有正则化作用防止过拟合。

综上所述，由于采用了上述技术方案，本发明能够通过设计的LCTCS网络在训练过程中去除大量冗余不必要的，对于高光谱图像(HIS)中丰富的光谱信息和空间信息的传递贡献较小的参数，从而达到节约计算资源的效果。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明通道注意力机制原理图。

图2是本发明的参数减少模块，图2(a)是普通3D卷积网络构成的参数减少模块，图2(b)是分组3D卷积网络构成的参数减少模块。

图3是本发明改进的残差连接示意图。.

图4是本发明LCTCS网络结构示意图。

图5是本发明Botswana数据集下三种评价指标的消融分析示意图，图5(a)为评价指标AA、图5(b)为评价指标OA、图5(c)为评价指标Kappa。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

本发明提出一种基于双通道稀疏化网络的高光谱图像分类方法，包括以下步骤：

步骤1：首先进行HIS数据降维处理

HIS数据集X的真实标签(Ground truth)包含a个像素点{t₁,t₂,…,t_a}∈R^1×1×b，b表示是波段数，真实的标签向量是{g₁,g₂,…,g_n}∈R^1×1×c，c表示的地物种类。由于HIS中蕴含丰富的光谱信息和上百个波段，所以本文没有对HIS数据进行主成分分析法PCA处理，在特征初始提取时直接在平面维度选取正方形立方块数据p×p作为输入至特征预处理三维卷积，并以正方立方块的中心为像素值进行卷积计算。三维卷积计算公式如下：

其中，表示的是在空间位置(p,q,r)第k个特征立方块的权重大小，/>表示的是在空间位置(x,y,z)第i层的第j个立方块，b_ij表示在第i层的第j个立方块的偏置大小，P_i,Q_i,R_i分别表示三维卷积核高度、宽度和通道数。g(.)表示激活函数。

本文特征预处理部分采用的卷积核大小为1x1x7且步幅设为(1，1，2)，这样决定了每个卷积核移动窗口的高度和宽度并且会在训练过程中重复提取一些局部特征，也会使得光谱维度降低同时对光谱特征与空间特征进行细化处理。具体为：卷积核大小为1x1x7能细化光谱特征，步幅设为(1，1，2)是为了卷积核获得一个良好的接受视野，防止卷积核漏掉边缘特征的提取。

步骤2：通道注意力机制提取重要光谱与空间特征

HIS以邻域内立方块输入到卷积网络中，HIS中含有丰富的光谱信息，同时也存在着波段的冗余。为了提高本文网络框架处理HIS信息的效率与准确性，引入点积形似的通道注意力机制，对于重要的空间与光谱信息进行打分判断，从而提高分类的准确性。

通道注意力机制的具体流程图如图1所示：在平面维度选取正方形立方块数据p×p，以及像素点集t＝{t₁,t₂,…,t_a}∈R^1×1×b，并以正方立方块的中心为像素值进行卷积计算。对于输入的第一层三维卷积n个波段信息以K、V两个向量用键值对形式表示，降维处理后的波段H＝[(k₁,v₁),(k₂,v₂),…,(k_N,v_N)]，将H进行编码得到向量(K,V)＝[(k₁,v₁),(k₂,v₂),…,(k_N,v_N)]，其中K表示平面维度信息，V表示空间维度信息，k₁表示第一个波段的平面维度，v₁表示第一个波段的空间维度；即有效像素点被编码为两个以键值对形式存在的向量存储在存储里面。

第一个阶段引入函数来判断整体查询向量q对于重要的光谱特征与空间特征s_i以点积形式来判断输入的光谱特征与空间特征的重要性，第二阶段以α_i＝softmax(s_i)函数进行归一化处理，突出重要的光谱与空间元素的权重，第三阶段对最后对权重系数进行加权求和，最终得到光谱空间特征权值的重要性判断公式：

表示查询向量，用于查询第一层卷积处理后的三维块中第i个重要的光谱特征与空间特征与K向量之间的相似性。K、V就是光谱信息被重新编码后的两个新向量。

步骤3：构造光谱分支模块提取HIS光谱特征

冗余的参数对于HIS中丰富的光谱信息和空间信息的传递贡献较小，为了解决三维卷积网络在训练过程中通道数冗余，造成的参数冗余问题，本文设计光谱分支模块采用简单高效的三维分组卷积，分组卷积最早来自于2012年的AlexNet，在于当时硬件资源有限，作者将多个特征图分给多个GPU处理，最后把运算后的结果进行融合。3DCNN分组卷积网络与AlexNet网络类似，如输入c1通道滤波器的HIS数据特征图，被分为S组，相应的对于每个通道的滤波器也被分为S组，每个通道与相应的卷积核进行分组卷积，每组卷积独立进行，互不干扰。对于c2个滤波器进过卷积后应生成c2个特征图，最后一步生成特征图进行融合叠加，就生成了与标准卷积一样的特征立方块。如图2所示参数减少模块，以某一个卷积核为例具体分析其参数与计算量的变化过程，假设我们所用的普通3D卷积输入到第n层的HIS地物特征立方块为H_n×W_n×C_n(height、width、channel)而到n+1层的地物HIS特征图大小为H_n+1×W_n+1×C_n+1，其中滤波器大小Kernel分别为M_n×M_n×d_n、M_n+1×M_n+1×d_n+1，光谱分支结构在一个三维卷积核窗口移动一个步幅，像素点的计算量(Flops)如下：

其中bias＝true表示考虑偏置的情况，bias＝false。

而三维卷积核在这个空间位置的参数量计算公式为：

若把相对应的三维卷积通道数分为S组，即C_n＝C_n/S，那么对应地物特征图提取的滤波器也相应划分为互不干扰的S组，此时，卷积核的参数量计算公式为：

根据公式(4)和(5)，即运算量和参数量降低到原来Pa的1/S，V代表的是HIS中分类样本有效的像素点。本文采用3D分组卷积层加BatchNorm加Relu作为一个独立单元，这是因为，采用Relu激活函数在神经元训练时能增加网络的稀疏性，使得计算更加简单。从图2中清楚的看出，原本应该参加卷积计算的每组滤波器被分为S组后每组滤波器只是其中的1/S个滤波器参加了卷积计算，从而使分组卷积的稀疏性比普通卷积要好。在某些情况下，普通三维卷积网络的参数和一些通道数多余冗杂，在学习重要的光谱和空间特征信息的情况下，采用分组卷积能除去更多的冗余的参数。

步骤4：构造空间分支模块与分类模块分别提取HIS空间特征得到输出结果

为了进一步削减训练中的开销，减少参数冗余，同时采用类似于残差块的连接如图3所示，其中表示单位相加操作，T_i表示输入的高光谱三维数据块，本文对残差块结构作了如下修改用Droupt3d代替Relu，在裁剪层引入Droupt3d后，随机将某些通道设置为零，相当于是随机丢弃掉一些通道使得整个空间模块网络结构更加稀疏化，起到类似于正则化的效果。同时本文去掉了传统残差结构Addition后的线性激活relu。这样做的目的在于使得空间局部特征保留下而不被舍弃，从而使得特征重用起到了很好的作用，在一定程度上也能避免梯度消失的问题。同时卷积部分采用1x1x7卷积核细化空间维度的特征块达到降维的目的。其残差公式表示为：

其中，h(t_l)表示的是3D卷积1×1×7直接映射部分，表示的是残差部分。W_l表示的是残差部分三维卷积层的权重。

在分类模块我们把来自于光谱模分支的特征立方块与空间分支特征立方块进行Concatenate操作进行空间与光谱信息的多特征融合，然后输入到分类模块的动态分组三维卷积层。动态三维卷积层会根据不同的特征立方块进行动态调整卷积核的大小以传递不同的光谱信息和空间信息；再送到全局平均池化层，对于动态卷积层处理的所有特征立方块进行降维处理，最后输入到线性层，输出分类结果。再这部分本文也采用当前流行交叉熵损失函数，其定义为：

其中{g₁,g₂,…,g_n}∈R^1×1×c表示真实的标签向量，c表示的地物种类，{p₁,p₂,…,p_n}∈R^1×1×c代表预测值(Prediction).

本发明提出方法是基于LCTCS网络的，网络结构如表6所示，其结构连接图如图4所示。

表6所设计的网络结构

将HIS输入LCTCS网络的具体过程阐述如下：

把HIS中大小为(200x9x9,1)立方块数据输入到特征预处理三维卷积层(1x1x7,24)，经过卷积运算得到的输出大小为(9x9x97,24)；经过三维卷积降维得到特征立方块大小为97x9x9，再把得到的立方块送到通道意力机制处理来突出重要的光谱特征与空间特征的权重系数；然后，我们把得到的输出结果分别输入上部的光谱分支模块和下部的空间分支模块，在光谱分支模块以分组卷积层BN层和线性激活层Relu为一个独立单元，以(9x9x97,24)三维块送入第一个分为3组卷积的单元，得到(9x9x97,12)的输出结果，再以同样的大小输入第二个单元，这样做的目的在于进一步细化光谱和空间特征立方块。同时为了进一步使得网络稀疏化和节约更少的计算资源，第三个独立单元采用分为6组卷积来提炼三维块大小为(9x9x97,12)的特征，再以同样大小输出；

在空间残差部分，有来自经过注意力机制处理的立方特征块和直接经过三维卷积降维的特征立方块两部分组成，在来自与经过注意力机制处理的特征立方块大小以(9x9x97,24)送入到空间部分第一层三维卷积，卷积核大小为(1×1×7)这样做的目的在于进一步细化空间特征，后面接上归一化层，在于稳定特征的输出数值，在接上droupt3d层随机丢弃某些通道，进一步使得网络更加稀疏化。再重复三维卷积、归一化与droupt3d操作，最后和来自三维卷积降维的特征立方块进行单位相加操作(addition)，再把相加的操作得到的结果在采用残差式的操作把得到的结果送入到三维卷积。归一化、droupt3d层操作。至此空间分支结束。

经过上下两个分支处理得到的HIS特征立方块的大小分别为(9x9x97,12)、(9x9x97,12)再和经过同样大小通道注意力机制处理后的特征立方块大小为(9x9x97,24)三者进行特征融合叠加(相当于Concatenate操作)，此番做法在于重用之前的特征把特征叠加后的结果再进行动态三维卷积而此层采用的卷积核会随着高光谱数据的波段数不同而不断变化，以此来适应不同的数据立方块，最终通过全局池化和线性层得出最后得到1x16的二维特征图。

本方法与当前使用的State-of-art方法DDCD、DBDA、SSRN、FDSSC、HybridsN,HamidaEtAlNet、DBMA、经典支持向量机SVM进行了对比，来验证本方法的有效性。把IndianPines(IP):、PaviaU(PU)、Botswana(BS)、Salina(SA)数据集划分为训练集与测试集，选取IP数据集，PU数据集5％的样本进行训练，BS数据集9％用于训练，SA数据集8％的样本进行训练。最终得到分类结果间表1～表4所示。本方法与同类方法相比在四个数据下均有参数量小、存储空间少、计算消耗少等特点。

表1使用10％训练样本IP数据集分类结果(％)

表2使用5％训练样本PU数据集分类结(％)

表3使用9％的训练样本BS数据集分类结果(％)

/>

表4使用8％的训练样本SA数据集分类结果(％)

/>

为了进一步说明本文所提方法有效性，对于光谱模块、空间模块与注意力机制模块做了一系列消融实验，如下表5所示。同时我们在每一种情况下运行5次结果，得到的盒图如图3所示。由表5可知在没有空间模块时(ASe)，总体分类精度、平均分类精度、kpa系数分别得到得结果为95.94％、96.14％、95.6％与光谱模块、空间模块与注意力机制模块都有时(ASS)得结果相比分别减少3.34％、3.26％、3.60％，同时单独某一个分类模块的分类结果普遍偏低，可知在一些局部特征提取时遗漏严重，进而导致了分类结果不理想。未添加光谱模块(ASa)取得分类结果，但是分类效果也不是很理想，进一步可知单分支局部的信息传递存在特征利用效率不高的问题。SS情况下取得AA、OA、kpa分别为98.53％、98.25％、98.40％相比与ASS结果分别减少1.74％、1.92％、1.90％，因为通道注意力机制模块会使得相对重要的光谱空间特征保留。虽然进一步提升了分类的结果，但是也存在着分类结果分布不均的情况。从盒图3可以看出在ASe、ASa、SS、ASS四种分类情况，ASS情况下取得了最佳的分类结果，这大部分功劳得益于空间分支的特征重用与光谱分支提取了全局光谱信息，同时在结合注意力机制模块进一步提升了分类结果。

表5不同模块组合5％Botswana数据集消融分析

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (4)

1.一种基于双通道稀疏化网络的高光谱图像分类方法，其特征在于，包括以下步骤：

S1，对高光谱图像数据进行降维处理；

S2，采用通道注意力机制提取重要光谱与空间特征；

所述重要光谱与空间特征是通过光谱空间特征权值的重要性判断公式得到的，光谱空间特征权值的重要性判断公式如下：

att((q,k),v)_i表示第i个重要光谱与空间特征的光谱空间权值；

N表示光谱空间消息总数；

q_i表示第i个重要光谱与空间特征的查询向量，用于查询第一层卷积处理后的三维块中第i个重要光谱与空间特征与向量k之间的相似性；

·^T表示转置；

k_j表示第j个波段的平面维度；

v_j表示第j个波段的空间维度；

S3，将所述重要光谱与空间特征输入光谱分支模块提取高光谱图像的光谱特征；

所述光谱分支模块采用三维分组卷积，并以分组卷积层、BN层和线性激活层Relu为第一独立单元，若干第一独立单元相连接；

所述第一独立单元依次包括：三维卷积层，归一化层，激活层；

所述卷积的卷积核的参数量计算公式为：

其中GrPa表示卷积核的参数量；

C_n表示输入的通道数；

C_n+1表示输出的通道数；

M_n表示第n层的三维卷积核大小；

M_n+1表示第n+1层三维卷积核大小；

d_n表示第n层空间维度三维卷积核的大小；

d_n+1表示第n+1层空间维度三维卷积核的大小；

S表示每个通道的滤波器被分为的组数；

bias＝False表示不考虑偏置情况；

bias＝Ture表示考虑偏置情况；

所述空间分支模块包括若干第二独立单元，所述第二独立单元依次包括：三维卷积层，归一化层，droupt3d层，

将所述重要光谱与空间特征输入两个第二独立单元，然后将两个第二独立单元输出的数据与降维处理的高光谱图像数据进行单位相加操作，把单位相加操作得到的结果采用残差式操作，再把得到的结果送入到第二独立单元，输出结果即为高光谱图像空间特征；

残差式操作为：相加操作得到的结果分别经过三维卷积层和第三独立单元，并将三维卷积层的输出结果与第三独立单元的输出结果进行单位相加操作；

所述第三独立单元依次包括：三维卷积层、归一化层、droupt3d层、三维卷积层、归一化层；

S4，将所述重要光谱与空间特征和降维处理的高光谱图像数据输入空间分支模块提取高光谱图像空间特征；

S5，将所述高光谱图像的光谱特征、所述高光谱图像空间特征与所述重要光谱与空间特征进行特征融合叠加，然后输入分类模块得到输出结果。

2.根据权利要求1所述的一种基于双通道稀疏化网络的高光谱图像分类方法，其特征在于，所述S1包括：

在平面维度选取高光谱图像数据的正方形立方块数据p×p作为输入至三维卷积网络，并以正方形立方块的中心为像素值进行三维卷积计算，三维卷积计算公式如下：

其中，表示在空间位置(x,y,z)第i层的第j个立方块；

表示在空间位置(p,q,r)第k个立方块的权重大小；

m表示立方块的总个数；

表示在空间位置(x+p,y+q,z+r)第i-1层的第k个立方块；

b_ij表示在第i层的第j个立方块的偏置大小；

P_i,Q_i,R_i分别表示三维卷积核的高度、宽度和通道数；

g(.)表示激活函数。

3.根据权利要求2所述的一种基于双通道稀疏化网络的高光谱图像分类方法，其特征在于，所述卷积核的大小为1x1x7，步幅为(1，1，2)。

4.根据权利要求1所述的一种基于双通道稀疏化网络的高光谱图像分类方法，其特征在于，所述分类模块依次包括：动态三维卷积层、平均池化层、线性层。