CN116051896B - 一种轻量化混合张量神经网络的高光谱图像分类方法 - Google Patents

Abstract

本发明公开了一种轻量化混合张量神经网络的高光谱图像分类方法，其分类过程包括：数据预处理，获取保留空谱特征信息的低维高光谱图像数据；基于全连接张量网络分解构建低复杂度的混合张量神经网络，将低维高光谱图像数据输入到由张量化三维和二维卷积层组成的混合结构张量模块中，学习具有强判别性的空谱特征和空间特征，并使用张量化全连接层和非线性激活函数进行分类；通过最小化损失函数训练混合张量神经网络，并使用训练好的网络模型对高光谱图像实现分类和指标评估。本发明中，标准卷积层的卷积核张量和全连接层的权重矩阵被分解为一组具有全连接结构的小尺寸因子张量，使得网络模型能以更少的参数量实现了较高的分类精度。

Description

一种轻量化混合张量神经网络的高光谱图像分类方法

技术领域

本发明涉及遥感图像处理技术领域，具体涉及一种轻量化混合张量神经网络的高光谱图像分类方法。

背景技术

高光谱图像具有获取从可见光到近红外波长的数十到数百个连续光谱响应波段的优势，能同时刻画地物目标空间信息和光谱信息，其数据立方体形式可表示为一个三阶张量。高的光谱分辨率能识别具有细微光谱差异的不同地物以实现地物分类，高光谱图像分类现已被广泛应用于矿物探测、植被覆盖、精细农业以及环境监测等领域。

近年来，包括卷积神经网络、循环神经网络、图神经网络、胶囊网络等模型的深度学习方法已在人脸识别、视频异常检测和姿态估计等领域取得了重大突破，也被成功引入到高光谱图像分类领域。其中，卷积神经网络由于其“卷积层-池化层-全连接层”的深层网络结构，能学习到具有更强判别力的空谱联合特征，取得了明显优于传统方法的分类效果。然而，卷积神经网络模型存在参数量大、存储需求高、易过拟合等问题，特别是在计算能力与存储资源受限条件下，限制了深度学习模型在实际中的部署和应用。为此，基于全连接张量网络分解，提出一种新型轻量化混合张量神经网络的高光谱图像分类方法。

发明内容

为了解决在计算能力与存储资源受限条件下(机载、星载、便携式移动设备等)现有的深度学习模型难以部署的问题，本发明提出一种轻量化混合张量神经网络的高光谱图像分类方法，使用基于全连接张量网络分解的张量化卷积层和全连接层构建混合张量神经网络以实现低存储需求的高光谱图像分类。

为了实现上述目的，本发明采用以下技术方案：

一种轻量化混合张量神经网络的高光谱图像分类方法，括以下步骤：

获取原始训练数据和待分类的高光谱图像，所述原始训练数据包括至少两个原始的高光谱图像和每个高光谱图像对应的类别；

对原始训练数据和待分类的高光谱图像进行降维处理，得到低维训练数据和待分类的高光谱图像对应的低维高光谱图像，其中降维处理中保留空谱特征；

构建神经网络模型，并张量化所述神经网络模型，得到混合张量神经网络；

根据低维训练数据训练混合张量神经网络，得到分类模型；

根据所述分类模型对所述低维高光谱图像进行分类，得到分类结果。

本申请所提供的一种轻量化混合张量神经网络的高光谱图像分类方法具有的有益效果包括但不限于：

本发明提出了一种轻量化混合张量神经网络的高光谱图像分类方法，基于全连接张量网络分解构建混合张量神经网络，实现了低复杂度的高光谱图像空谱特征与空间特征有效提取和高精度分类。本发明与现有基于深度学习的高光谱图像分类方法相比，模型参数量更少，特别是在样本有限情况下，能获得更高分类精度。

本发明将张量分解引入用于高光谱图像分类的卷积神经网络中。张量分解通过一系列含有相对少量数据的低阶张量来对含有大量数据的高阶张量进行表示，从而压缩了数据量。这有利于解决卷积神经网络中由于大量参数而引起的模型过拟合问题，且不需要改变原始的卷积神经网络结构，降低了模型压缩的成本。

附图说明

图1为轻量化混合张量神经网络的高光谱图像分类方法流程图。

图2为基于全连接张量网络分解的张量化全连接层示意图。

图3为基于全连接张量网络分解的张量化二维卷积层示意图。

图4为基于全连接张量网络分解的张量化三维卷积层示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

相反，本申请涵盖任何由权利要求定义的在本申请的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本申请有更好的了解，在下文对本申请的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本申请。

实施例：

本申请将结合图1-图4，对本申请实施例提供的一种轻量化混合张量神经网络的高光谱图像分类方法进行详细说明。值得注意的是，以下实施例仅仅用于解释本申请，并不构成对本申请的限定。

本申请中提供的一种轻量化混合张量神经网络的高光谱图像分类方法的结构，包括以下步骤：

S100、获取原始训练数据和待分类的高光谱图像，所述原始训练数据包括至少两个原始的高光谱图像和每个高光谱图像对应的类别。

S200、对原始训练数据和待分类的高光谱图像进行降维处理，得到低维训练数据和待分类的高光谱图像对应的低维高光谱图像，其中降维处理中保留空谱特征。

S300、构建神经网络模型，并张量化所述神经网络模型，得到混合张量神经网络。

S400、根据低维训练数据训练混合张量神经网络，得到分类模型。

S500、根据所述分类模型对所述低维高光谱图像进行分类，得到分类结果。

具体而言，在本申请中步骤S200具体还包括步骤S210、步骤S220和步骤S230：

S210、对原始训练数据中的高光谱图像数据进行归一化处理；

S220、根据主成分分析法对归一化处理后的原始训练数据进行降维处理，得到低维训练数据，所述低维训练数据中的每个高光谱图像均保留预设数量的主成分作为输入数据；

具体而言，在本步骤中即使用主成分分析法对归一化后的高光谱图像在光谱维度进行降维处理。以减少高光谱图数据中波段信息的冗余，并保留预设数量的主成分作为输入数据。并且还需要说明书的是保留主成分是案子主成分大小由大到小逐个选取的方式，具体的选取数量由具体实施环境决定，本申请中不再赘述。

S230、对低维训练数据进行数据划分：统计低维训练数据中各个类别的个数，并在每个类别中抽取预设尺寸的高光谱图像组成训练集，剩余的高光谱图像组成测试集。

举例说明，对于降维后尺寸为M★N★C规格的高光谱图像数据，M和N分别为高光谱图像的高和宽；抽取训练集时，以待处理像素为中心，抽取尺寸为S★S★C的数据作为中心像素的样本数据，S为空间邻域的尺寸。在本实施例中取S为15，C为30。

具体而言，在本申请中步骤S300具体还包括步骤S310、步骤S320、步骤S330和步骤S340。

S310、构建空谱特征学习层，所述空谱特征学习层包括基于至少两个张量化三维卷积层，所述张量化三维卷积层由全连接张量网络分解的三维卷积层得到，所述空谱特征学习层用于提取高光谱图像中的空谱特征。

具体而言，在本申请中空谱特征学习层包括三维卷积层和两个张量化三维卷积层。其中上述三个卷积层中卷积核的长、宽和深度依次为3★3★7、3★3★5和3★3★3。

同时，在本申请中基于全连接张量网络分解的张量化卷积层的张量化卷积核由标准卷积核重构而来，因此其输入通道和输出通道需要被分解。第一层三维卷积层的输入维度为1，所以第一层的三维卷积层仍使用标准的卷积层。第二层张量化三维卷积层的输入维度为16，输出维度为32，在本实施例中，输入维度转化为4★4，输出维度转化为4★8。第三层张量化三维卷积层的输入维度为32，输出维度为64，在本实施例中，输入维度转化为4★8，输出维度转化为8★8。

其中，在本步骤中还包括步骤S311。

S311、在每个张量化三维卷积层之后依次构建一个归一化层和非线性激活函数层。

其中，还需要说明的是归一化层采用了Batch normalization，非线性激活函数层采用了ReLU。

S320、构建合并层，所述合并层用于将高光谱图像中的空谱特征和高光谱图像对应的维度合并。

其中需要说明的是，本步骤目的在于构建一个将所提取的空谱特征的通道和光谱维度进行合并操作层，以便后续使用一层基于全连接张量网络分解的张量化二维卷积层进行空间特征学习。

S330、构建空间特征学习层，所述空谱特征学习层包括基于至少一个张量化二维卷积层，所述张量化二维卷积层由全连接张量网络分解的二维卷积层得到，所述空谱特征学习层用于学习高光谱图像中的空间特征，所述构建空间特征学习层输入信息为所述合并层的输出信息。

其中，在本步骤中有一个张量化二维卷积层的卷积核的长和宽3★3。张量化二维卷积层的输入维度为576，输出维度为256。其中张量化二维卷积层的输入维度转化为8★4★4，输出维度转化为4★8★4。

其中，在本步骤中还包括步骤S331。

S331、在每个张量化三维卷积层之后依次构建一个归一化层和非线性激活函数层；

S340、构建分类层，所述分类层包括自适应平均池化层、至少一个张量化全连接层和非线性函数层，所述张量化全连接层由全连接张量网络分解的全连接层得到，所述空间特征学习层的输出信息先经过自适应平均池化层，然后依次经过每个张量化全连接层，最后通过非线性函数层生成分类结果。

其中，需要说明的是，在本申请中张量化全连接层的数量为两个，同时由于全连接张量网络分解的全连接层得到，即张量化全连接层的权重矩阵也是重构得到的。因此张量化全连接层的输入通道和输出通道需要被分解。第一个张量化全连接层的输入维度为256，输出维度为128，在本实施例中，输入维度转化为8★4★8，输出维度转化为4★8★4。第二个张量化全连接层的输出维度与所选用的数据集相关，在本实施例中，输出维度转化为4★4。

进一步地，为了便于理解。本申请示例性提供如何对卷积层进行全连接张量网络分解。在本申请以二维卷积层为例子。

在本申请中，全连接张量网络分解的二维卷积层，包括：根据全连接张量网络分解重构所述二维卷积层的卷积核为高阶卷积核张量，所述高阶卷积核张量的阶数目等于三维卷积层的输入通道因子个数与三维卷积层的输出通道因子个数之和。

具体而言，在本申请中基于全连接张量网络分解的张量化二维卷积层的卷积核，是由标准二维卷积层的四阶卷积核张量

被重构为更高阶的张量化卷积核，根据全连接张量网络分解，张量化卷积核可被表示为

而得到，根据全连接张量网络分解，张量化卷积核可被表示为：

其中，L为卷积核的窗口尺寸；I和O分别表示输入通道数和输出通道数；

且/>

m为输入通道因子的个数，I_i表示第i个输入通道因子的大小，n为输出通道因子的个数，O_j表示第j个输出通道因子的大小。K′(l₁，l₂，i₁，…，i_m，o₁，…，o_n)表示重构的卷积核张量K′的第(l₁，l₂，i₁，…，i_m，o₁，…，o_n)个元素，括号内为张量中元素的索引坐标。/>

为空间核心，当k∈(1，2，…，m)时，

为均为输入通道核心。当k∈(m+1，m+2，…，m+n)时，/>

均为输入通道核心。当0≤k₁＜k₂≤m+n，/>

为非负整数集时，/>

是全连接张量网络分解中第k₁核心和第k₂核心之间的秩，举例说明，R_m+n+1，m+n为第m+n+1个核心和第m+n个核心之间的秩。r_m，m+n为元素索引，例如/>

表示输入通道核心/>

的第(r_0，m，r_1，m，…，r_m-1，m，i_m，r_m，m+1，…，r_m，m+n)个元素，即其中的r_m，m+n为张量中元素的索引坐标。

基于全连接张量网络分解的张量化卷积层的具体执行如下操作：

第一步：初始化空间核心、输入通道核心和输出通道核心的参数；

第二步：在所有的输入通道核心之间进行张量缩并运算，得到第一张量缩并运算结果，并根据第一张量缩并运算结果重构为中间输入核心。

需要说明书的是，在本申请中，根据第一张量缩并运算结果重构为中间输入核心为将第一张量缩并运算结果中的一些维度进行合并，例如在重构之前，输入核心的维度为

重构之后输入核心为

其中/>

其中，m为输入通道因子的个数，n为输出通道因子的个数，R_a，b表示为第a个核心和第b个核心之间的秩。R_0，a表示为第0个核心和第a个核心之间的秩。

第三步：将输入特征和中间输入核心通过预设的第一公式做张量缩并运算得到中间输入特征。

其中，第一公式如下：

其中，

为中间输入特征，/>

为输入特征，

为中间输入核心。

第四步：空间核心S被重构为S_c，并重构后的空间核心S_c与中间输入特征通过预设的第二公式做二维卷积得到中间输出特征；

其中需要说明的是，在本申请，对空间核心S重构为是指把张量中的一些维度进行合并。例如重构之前，空间核心S的维度为

重构之后空间核心/>

其中/>

其中，L为卷积核的窗口尺寸，m为输入通道因子的个数，n为输出通道因子的个数，R_0，a表示为第a个核心和第0个核心之间的秩，R_0，b表示为第0个核心和第b个核心之间的秩。

其中，第二公式如下：

其中，

为中间输出特征；/>

为重构后的空间核心。

第五步：在输出通道核心之间做张量缩并运算，得到第二张量缩并运算结果，并根据第二张量缩并运算结果重构为中间输入核心。

需要说明的是，在本申请中，根据第二张量缩并运算结果重构为中间输入核心为指把张量中的一些维度进行合并，例如在重构之前，输出核心的维度为

重构之后输出核心为

其中/>

第六步：中间输出特征、中间输出核心和预设的第三公式做张量缩并运算得到输出特征。

其中，

为输出特征，/>

为中间输出核心。其中需要说明的是，第一公式、第二公式和第三公式中的R_o、R₁和R₂分别为中间输入核心、重构后的空间核心和中间输出核心的秩，而/>

在本申请中，张量化三维卷积层的结构和执行方式与张量化二维卷积层类似，不同之处在于上述空间核心增加了一个维度用于光谱特征的提取，且第三公式中的二维卷积运算在张量化三维卷积层中被扩展为三维卷积运算。其在张量化二维卷积层公开的基础上不再赘述。

在本申请中，所述全连接张量网络分解的全连接层，包括：根据全连接张量网络分解重构全连接层的权重矩阵为高阶权重张量，所述高阶权重张量的阶数目等于全连接层输入通道因子个数与全连接层的输出通道因子个数之和。

具体而言，在本申请中，由原始的权重矩阵

被重构为高阶权重张量

根据全连接张量网络分解，张量化的权重可被表示为：

其中，I和O分别表示输入和输出通道数，

且/>

m为输入通道因子的个数，I_i表示第i个输入通道因子的大小，n为输出通道因子的个数，O_j表示第j个输出通道因子的大小；/>

表示重构的高阶权重张量/>

的第(i₁，…，i_m，o₁，…，o_n)个元素，括号内为高阶权重张量中元素的索引坐标；当k∈1，2，…，m时，/>

为输入通道核心；当k∈m+1，m+2，…，m+n时，

为输出通道核心，；

表示全连接张量网络分解中第k₁核心和第k₂核心之间的秩且

为正整数集，正整数集不包括0。

基于全连接张量网络分解的全连接层的执行步骤如下操作：

第一步、将输入特征重构为高阶的张量，重构后的输入特征的阶数都等于为输入通道因子的个数；

第二步、根据重构后的输入特征和第四公式计算，得到第一计算结果，并重构第一计算结果得到输出特征：

其中，

为计算得出的第一计算结果。

其中，重构第一计算结果得到输出特征是指把张量中的一些维度进行合并，例如重构之前，高阶输出特征的维度为

重构之后，输出特征是一个向量，/>

其中，/>

具体而言，在本申请中步骤S400中包括步骤S410、步骤S420和步骤S430。

S410、设置混合张量神经网络中的秩。

具体而言，在申请中确认混合张量神经网络中的秩是通过定理1和定义1所确定的。

定理1：令

为一个d阶张量，且L_s为集合{L₁，L₂，…，L_d}中第二大的值，则一定存在一个值R≤L_s，当/>

时，

有全连接张量网络分解形式。

定义1：假设基于全连接张量网络分解的张量化卷积层和全连接层中存在分解因子

且k＝1，2，…，d，

是对应的未压缩权重张量。根据定理1，一定存在一个R，当

时，/>

有全连接张量网络分解形式。我们定义R_u＝R为张量化卷积层和全连接层的秩。根据定理1和定义1，混合张量神经网络中秩的取值范围可以被确定，然后可通过实验分析的方式，综合考虑模型性能和复杂度，确定秩的具体取值。

以本实施例为例，根据定理1和定义1，混合张量神经网络模型的第一个张量化全连接层的秩的取值范围可以被确定为{2，3，4，5，6，7，8}，第二个张量化全连接层的秩的取值范围可以被确定为{2，3，4}。为了简化参数设置，同时考虑到全连接张量网络分解的低秩性，所有的张量化全连接层中秩的取值范围被确定为{2，3，4}。同理，混合张量神经网络模型中张量化卷积层的秩的取值范围也可被确定为{2，3，4}。至此，即确定了混合张量神经网络模型中所有的秩的取值范围。

S420、对所述低维训练数据进行数据批次提取，得到至少两个批次的训练数据。

S430、根据交替方向乘子法和所有批次的所述训练数据对所述混合张量神经网络进行训练直至收敛。

同时，在本申请对所述混合张量神经网络进行训练中，还包括步骤S421和步骤S422。

S421、构建损失函数，所述损失函数为被评价高光谱图像对应的分类结果与被评价高光谱图像对应的类别之间交叉熵的函数式，所述被评价高光谱图像为低维训练数据中的一个图像，所述分类结果为在一次训练中所述被评价高光谱图像输入至混合张量神经网络后得到的分类结果；

S422、在每次训练后，以最小化所述损失函数为计算目标，得到使得所述损失函数最小时的网络参数，所述网络参数为所述混合张量神经网络中的设置参数，并根据所述网络参数开始下一次的训练。

需要说明书，关于模型训练其他步骤为现有技术，本申请中不再赘述。

本实施例在Indian Pines高光谱数据集上进行了实验。根据上述秩的确定方法，表1给出在张量化全连接层中，采用不同秩时模型的平均分类精度。综合考虑模型的性能和复杂度，本实施例中所有的秩均取值为2。本实施例所采用的评价指标为平均分类精度、总体分类精度和Kappa系数。在Indian Pines数据集上，本实施例和未压缩的原始网络的分类精度对比结果如表2所示。从结果可以看到本发明的方法与未压缩的原始网络相比在模型参数量上有明显的下降，且具有更高分类精度。

表1不同的张量化全连接层的秩的取值下模型的平均分类精度

表2在Indian Pines数据集上的分类精度

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其他各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (7)

1.一种轻量化混合张量神经网络的高光谱图像分类方法，其特征在于，包括以下步骤：

获取原始训练数据和待分类的高光谱图像，所述原始训练数据包括至少两个原始的高光谱图像和每个高光谱图像对应的类别；

对原始训练数据和待分类的高光谱图像进行降维处理，得到低维训练数据和待分类的高光谱图像对应的低维高光谱图像，其中降维处理中保留空谱特征；

构建神经网络模型，并张量化所述神经网络模型，得到混合张量神经网络；

根据低维训练数据训练混合张量神经网络，得到分类模型；

根据所述分类模型对所述低维高光谱图像进行分类，得到分类结果；

其中，构建神经网络模型，并张量化所述神经网络模型，得到混合张量神经网络，包括：

构建空谱特征学习层，所述空谱特征学习层包括基于至少两个张量化三维卷积层，所述张量化三维卷积层由全连接张量网络分解的三维卷积层得到，所述空谱特征学习层用于提取高光谱图像中的空谱特征；

构建合并层，所述合并层用于将高光谱图像中的空谱特征和高光谱图像对应的维度合并；

构建空间特征学习层，所述空间特征学习层包括基于至少一个张量化二维卷积层，所述张量化二维卷积层由全连接张量网络分解的二维卷积层得到，所述空间特征学习层用于学习高光谱图像中的空间特征，所述空间特征学习层输入信息为所述合并层的输出信息；

构建分类层，所述分类层包括自适应平均池化层、至少一个张量化全连接层和非线性函数层，所述张量化全连接层由全连接张量网络分解的全连接层得到，所述空间特征学习层的输出信息先经过自适应平均池化层，然后依次经过每个张量化全连接层，最后通过非线性函数层生成分类结果。

2.根据权利要求1所述的一种轻量化混合张量神经网络的高光谱图像分类方法，其特征在于，对原始训练数据和待分类的高光谱图像进行降维处理，得到低维训练数据和待分类的高光谱图像对应的低维高光谱图像，包括：

对原始训练数据中的高光谱图像数据进行归一化处理；

根据主成分分析法对归一化处理后的原始训练数据进行降维处理，得到低维训练数据，所述低维训练数据中的每个高光谱图像均保留预设数量的主成分作为输入数据；

对低维训练数据进行数据划分：

统计低维训练数据中各个类别的个数，并在每个类别中抽取预设数目个高光谱图像组成训练集，剩余的高光谱图像组成测试集。

3.根据权利要求1所述的一种轻量化混合张量神经网络的高光谱图像分类方法，其特征在于，所述构建空谱特征学习层，包括：

在每个张量化三维卷积层之后依次构建一个归一化层和非线性激活函数层；

所述构建空间特征学习层，包括：

在每个张量化二维卷积层之后依次构建一个归一化层和非线性激活函数层。

4.根据权利要求1所述的一种轻量化混合张量神经网络的高光谱图像分类方法，其特征在于，所述全连接张量网络分解的二维卷积层，包括：

根据全连接张量网络分解重构所述二维卷积层的卷积核为高阶卷积核张量，所述高阶卷积核张量的阶数目等于二维卷积层的输入通道因子个数与二维卷积层的输出通道因子个数之和。

5.根据权利要求1所述的一种轻量化混合张量神经网络的高光谱图像分类方法，其特征在于，所述全连接张量网络分解的全连接层，包括：

根据全连接张量网络分解重构全连接层的权重矩阵为高阶权重张量，所述高阶权重张量的阶数目等于全连接层输入通道因子个数与全连接层的输出通道因子个数之和。

6.根据权利要求1所述的一种轻量化混合张量神经网络的高光谱图像分类方法，其特征在于，根据低维训练数据训练混合张量神经网络，得到分类模型，包括：

设置混合张量神经网络中的秩；

对所述低维训练数据进行数据批次提取，得到至少两个批次的训练数据；

根据交替方向乘子法和所有批次的所述训练数据对所述混合张量神经网络进行训练直至收敛。

7.根据权利要求6所述的一种轻量化混合张量神经网络的高光谱图像分类方法，其特征在于，根据交替方向乘子法和所有批次的所述训练数据对所述混合张量神经网络进行训练直至收敛，包括：

构建损失函数，所述损失函数为被评价高光谱图像对应的分类结果与被评价高光谱图像对应的类别之间交叉熵的函数式，所述被评价高光谱图像为低维训练数据中的一个图像，所述分类结果为在一次训练中所述被评价高光谱图像输入至混合张量神经网络后得到的分类结果；

在每次训练后，以最小化所述损失函数为计算目标，得到使得所述损失函数最小时的网络参数，所述网络参数为所述混合张量神经网络中的设置参数，并根据所述网络参数开始下一次的训练。

Images