CN116168235A - 一种基于双分支注意力网络的高光谱图像分类方法 - Google Patents

Abstract

本发明属于图像分类技术领域，尤其为一种基于双分支注意力网络的高光谱图像分类方法，包括以下步骤：步骤1，准备数据集：采用公开的高光谱图像数据集；步骤2，图像预处理：对步骤1中准备好的数据集进行数据降维并对降维之后的图像进行样本取块，得到一个高光谱样本。该方法包含了一条主路和两条支路，主路用来提取高光谱图像的空间光谱特征；在空间分支中用空间多尺度模块来处理主路提取到的空间光谱特征，提取出空间信息；在通道分支用通道注意力块处理主路提取到的空间光谱特征，提取出光谱信息；最后将两分支得到的特征融合分类；该网络模型具有较好的分类性能。

Description

一种基于双分支注意力网络的高光谱图像分类方法

技术领域

本发明涉及图像分类技术领域，具体为一种基于双分支注意力网络的高光谱图像分类方法。

背景技术

在多源遥感领域，高光谱数据可以提供对植被、土壤、和水等地物类别描述起来更加精细的光谱信息，并且该光谱信息可以反映特征类别之间的细微差异，从而使得高光谱比其他遥感成像应用更加广泛。

高光谱图像针对这些不同的地物信息描述显示出独特优势，具有更强的特征识别能力和更高的分类可靠性；也正因为高光谱图像包含了大量的空间信息以及光谱信息，这些复杂的特征信息增加网络的计算复杂性，也增加了对高光谱图像分类的难度。

中国专利公开号为“CN113486851A”，名称为“基于双分支光谱多尺度注意力网络的高光谱图像分类方法”，该方法构建了两条支路，其中一条支路为光谱分支，利用金字塔多尺度卷积模块与光谱注意力的结构提取光谱信息；另一条支路为空间分支，利用密集连接块与空间注意力机制的结构提取空间信息，最后将两个分支得到的特征进行融合分类；该方法使用的卷积核全部为三维卷积核，计算复杂度较高且效率低下

因此我们提出了一种基于双分支注意力网络的高光谱图像分类方法来解决上述问题。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种基于双分支注意力网络的高光谱图像分类方法，解决了上述背景技术中所提出的问题。

(二)技术方案

本发明为了实现上述目的具体采用以下技术方案：

一种基于双分支注意力网络的高光谱图像分类方法，包括以下步骤：

步骤1，准备数据集：采用公开的高光谱图像数据集；

步骤2，图像预处理：对步骤1中准备好的数据集进行数据降维并对降维之后的图像进行样本取块，得到一个高光谱样本；

步骤3，构建网络模型：整个网络由一条主路及两条支路组成，在主路中包含一个密集卷积块；两条支路分别为空间分支和通道分支，空间分支包含一个二维卷积块、一个多尺度卷积块和一个多层处理块；通道分支包含一个二维卷积块、一个通道注意力块和一个多层处理块；最后将两个支路连接；

步骤4，选择损失函数和评价指标：通过计算分类的结果图像与标签的损失函数，直到训练的次数达到设定的阈值或损失函数的值达到设定范围内即可认为模型参数训练完成；同时选择评价指标来衡量算法的精度，评估系统的性能；

步骤5，保存模型：选择训练过程中效果最好的一组模型参数进行固化，之后需要进行高光谱图像分类操作时，直接将高光谱图像输入到网络当中即可得到最终的分类图像。

进一步地，所述步骤1中采用的公开数据集为：印度松树数据集(IN)、帕维亚大学数据集(UP)和萨利纳斯数据集(SV)。

进一步地，所述步骤2中数据降维的方法使用主成分分析法(PCA，PrincipalComponent Analysis)，其降维过程如下：

对维度为W×H×C₁的原始高光谱图像I₁进行协方差矩阵特征分解，转换成维度为W×H×C₂的新高光谱图像I₂，其中，W为图像宽度，H为图像高度，C₁为原图像通道数，C₂为变换后的波段数。

进一步地，所述步骤2中样本的取块操作过程为：

将所述新高光谱图像I₂裁剪为大小为w×w×C₁的三维图像块，输入到网络模型中，w为窗口大小。

进一步地，所述步骤3中主路中的密集卷积块由四个卷积块密集连接构成，主路中所有卷积块的构造相似，每个卷积块依次由批归一化层、激活函数层和卷积层组成，密集卷积块中每个卷积块的卷积层使用三维卷积层，在主路与支路中连接的二维卷积块依次由批归一化层、激活函数层和卷积层组成，该卷积块的卷积层使用的是二维卷积层；空间分支中的多尺度卷积块包含四条线路，线路一由一个二维卷积块和一个空间注意块构成，线路二和线路三依次由两个二维卷积块和一个空间注意块构成，线路四依次由一个最大池化层、一个二维卷积块和一个空间注意块构成，四条线路得到的张量按维数1拼接在一起，所有线路中的二维卷积块依次由一个卷积层和一个激活函数层组成；所有线路中的空间注意块由一个平均池化层、一个最大池化层和一个二维卷积块构成，在空间注意力块中输入分别经过一个平均池化层和一个最大池化层，输出按维数1拼接后再输入到二维卷积块中，该二维卷积块依次由一个二维卷积层和一个激活函数层组成，在空间注意力块中将得到输出与开始的输入进行矩阵相乘操作；通道分支中的通道注意力块依次由一个平均池化层和两个二维卷积块构成；每个二维卷积块依次由一个二维卷积层和一个激活函数层组成，在通道注意力块中同样的将得到输出与开始的输入进行矩阵相乘操作；两分支中的多层处理块依次由一个批归一化层、一个激活函数层、一个Dropout层和一个全局平均池化层组成。

进一步地，所述步骤4中损失函数选择交叉熵损失函数；评价指标选择总体准确度、平均准确度和一致性。

(三)有益效果

与现有技术相比，本发明提供了一种基于双分支注意力网络的高光谱图像分类方法，具备以下有益效果：

本发明，该方法包含了一条主路和两条支路，主路用来提取高光谱图像的空间光谱特征；在空间分支中用空间多尺度模块来处理主路提取到的空间光谱特征，提取出空间信息；在通道分支用通道注意力块处理主路提取到的空间光谱特征，提取出光谱信息；最后将两分支得到的特征融合分类；该网络模型具有较好的分类性能。

本发明，将主路中提取到的高光谱图像的空间光谱特征输入到两条支路前，先使用二维卷积块进行维度转换，后续的所有操作也都基于二维卷积块，相比于单独使用三维卷积块，降低了分类成本。

本发明，在空间分支为了解决单一尺度的局限性，提出一种空间多尺度卷积模块，在空间多尺度卷积块中通过不同大小卷积核获取图像不同邻域的特征，并对每一尺度使用空间注意力注意力块，最后将提取的特征信息融合，以利于提高高光谱图像的分类性能。

附图说明

图1为本发明流程图；

图2为本发明网络结构图；

图3为本发明密集连接块的具体组成示意图；

图4为本发明二维卷积块的具体组成示意图；

图5为本发明多尺度卷积块的具体组成示意图；

图6为本发明空间注意力块的具体组成示意图；

图7为本发明通道注意力块的具体组成示意图；

图8为本发明多层处理块的具体组成示意图；

图9为本发明在三个数据集上的相关指标对比图；

图10a为本发明在中印度松树数据集的真实结果图；

图10b为本发明在中印度松树数据集的分类结果图；

图11a为本发明在中帕维亚大学数据集的真实结果图；

图11b为本发明在中帕维亚大学数据集的分类结果图；

图12a为本发明在中萨利纳斯数据集的真实结果图；

图12b为本发明在中萨利纳斯数据集的分类结果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

如图1-12b所示，本发明一个实施例提出的一种基于双分支注意力网络的高光谱图像分类方法的流程图，该方法的具体包括如下步骤：

步骤1，准备数据集：准备印度松树数据集(IN)、帕维亚大学数据集(UP)和萨利纳斯数据集(SV)；

步骤2，数据预处理：根据主成分分析法，对原始高光谱图像I₁进行降维，将降维后的新高光谱图像I₂进行样本取块，得到一个三维图像块；

由于高光谱图像数据量大、波段众多，因此有必要对该数据进行降维操作；主成分分析法(PCA)是一种统计方法，通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的变量叫主成分；

样本块的具体实现方法为在空间维度上，将所述新高光谱图像I₂裁剪为大小为w×w×B的三维图像块，输入到网络模型中，w为窗口大小；所述样本块以中间像素为标签；

步骤3，构建网络模型：整个网络由一条主路及两条支路组成，在主路中包含一个密集卷积块，该路将图像输入密集卷积块来提取空间光谱特征；两条支路分别为空间分支和通道分支，空间分支包含一个二维卷积块、一个多尺度卷积块和一个多层处理块，该分支将主路提取到的空间光谱特征输入到二维卷积块中进行维度转换然后输入到多尺度卷积块中提取不同尺度的空间特征，多尺度卷积块中包含的各个空间注意力块会对无关的空间特征信息进行抑制，最后将该空间特征信息输入到多层处理块中对空间特征信息进行处理，减弱训练过程中出现过拟合等现象，使得网络对空间特征信息更好的学习；通道分支包含一个二维卷积块、一个通道注意力块和一个多层处理块，该分支将主路提取到的空间光谱特征同样的输入到二维卷积块中进行维度转换再输入到通道注意力块中，只关注有用的光谱特征信息，之后将光谱特征信息输入到多层处理块中进行处理，同样的减弱训练过程中出现过拟合等现象，使得网络对光谱特征信息更好的学习；最后将两个支路得到的特征融合，使网络对于两种特征的提取能力更强，计算效率更快，得到最终的分类结果；主路中的密集卷积块由四个卷积块密集连接构成，主路中所有卷积块的构造相同，每个卷积块依次由批归一化层、激活函数层和卷积层组成，密集卷积块中每个卷积块的卷积层使用三维卷积层，在主路与支路中连接的二维卷积块依次由批归一化层、激活函数层和卷积层组成，该卷积块的卷积层使用的是二维卷积层；空间分支中的多尺度卷积块包含四条线路，线路一由一个二维卷积块和一个空间注意块构成，线路二和线路三依次由两个二维卷积块和一个空间注意块构成，线路四依次由一个最大池化层、一个二维卷积块和一个空间注意块构成，四条线路得到的张量按维数1拼接在一起，所有线路中的二维卷积块依次由一个卷积层和一个激活函数层组成；所有线路中的空间注意块分别由一个平均池化层、一个最大池化层和一个二维卷积块构成，在空间注意力块中输入分别经过一个平均池化层和一个最大池化层，输出按维数1拼接后再输入到二维卷积块中，该二维卷积块依次由一个二维卷积层和一个激活函数层组成，在空间注意力块中将得到输出与开始的输入进行矩阵相乘操作来抑制无关的空间信息；通道分支中的通道注意力块依次由一个平均池化层和两个二维卷积块构成，每个二维卷积块依次由一个二维卷积层和一个激活函数层组成，在通道注意力块中同样的将得到输出与开始的输入进行矩阵相乘操作来抑制无关的通道信息；两分支中的多层处理块依次由一个批归一化层、一个激活函数层、一个Dropout层和一个全局平均池化层组成；

其中，批归一化层通过一定的规范化手段，把每层神经网络任意神经元输入值的分布强行拉回到均值为0方差为1的标准正态分布，使得激活输入值落在非线性函数对输入比较敏感的区域，让网络的输出不太大，从而得到比较大的梯度，避免梯度消失问题的产生，进一步的梯度变大也意味着学习收敛速度块；Dropout层可以在前向传播的时候设置一定概率让某些神经元停止工作，然后开始训练，更新那些仍在工作的神经元以及权重参数并将其保留，参数全部更新之后，又重新根据我们设置的概率，使一部分神经元停止工作，然后开始训练，如果新的用于训练的神经元已经在第一次当中训练过，就继续更新它的参数，如果是第一次更新过参数，但在第二次停止工作的神经元就保留它的权重，不做修改，然后将这个过程持续到训练结束，用来防止网络在学习过程中过拟合；

步骤4，选择损失函数和评价指标：通过计算分类的结果图像与标签的损失函数，直到训练的次数达到设定的阈值或损失函数的值达到设定范围内即可认为模型参数训练完成，保存模型参数；同时选择评价指标来衡量算法的精度，评估系统的性能；损失函数的选择影响着模型的好坏，能够真实的体现出预测值与真实值的差异，并且能够正确的反馈模型的质量；评价指标选择总体精度、平均精度和一致性，能够有效的评估分类的质量，衡量分类网络的作用；

步骤5，保存模型：选择训练过程中效果最好的一组模型参数进行固化，之后需要进行高光谱图像分类操作时，直接将高光谱图像输入到网络当中即可得到最终的分类图像；

进一步地，所述步骤1中选择印度松树数据集(IN)、帕维亚大学数据集(UP)和萨利纳斯数据集(SV)；印度松树数据集(IN)是在美国印第安纳州的西北部，通过机载可见红外成像光谱仪获取的高光谱图像，图像的空间大小为145×145，波段数为220个，光谱和空间的分辨率为10nm和20m，除去背景像素，一般用于实验的空间像素有10249个，地物真实类别有16，在220个波段中，有20个不可用，实验只取剩下的200个波段进行研究；帕维亚大学数据集(UP)是1996在弗罗里达州通过AVIRIS传感器获得的，空间大小为512×614，空间分辨率为18m，数据集分为9个类别；115个波段，除去12个噪声波段，还剩下103个可用波段；萨利纳斯数据集(SV)是在美国通过AVIRIS传感器获得的高光谱图像；图像的空间大小为512×217，空间分辨率为1.7m，其中地物有16种类别，有224个波段，但有20个吸水带频带被移除，剩下的204个波段用于高光谱图像分类实验；

进一步地，所述步骤2中，以印度松树数据集为例，先将原始高光谱图像I₁降维为145×145×30，该过程为求解出原始高光谱图像的协方差矩阵，之后计算该协方差矩阵的特征根λ₁≥λ₂…≥λ₂₀₀≥0，设定阈值θ,选择大于θ的前P个主成分，由前P个主成分的特征根得到相应的单位特征向量，将其组合成矩阵，求转置矩阵，然后由该转置矩阵对原始高光谱图像进行变换，得到降维后的高光谱图像；之后对降维后的图像I₂进行取块，得到11×11×30大小的三维图像块；波段均值和协方差矩阵的计算公式如下所示：

其中X_i表示原始高光谱图像第i个像素点，Q表示为像素点的个数，X_j表示原始高光谱图像的第j个波段，B表示为波段个数；

进一步地，所述步骤3中网络模型结构如图2所示，整个网络由一条主路及两条支路组成；主路中密集卷积块的结构如图3所示，前三个卷积块中每个卷积层的卷积核的大小都为7×1×1，步长为1×1×1，填充为3×0×0，第四个卷积块中卷积层的卷积核大小为B×1×1(B为降维后的通道数)，步长为1×1×1，不填充，四个卷积块的激活函数层都使用Mish激活函数；两分支中与主路连接的二维卷积块中卷积核的大小为1×1，步长为1×1，不填充，激活函数层使用Mish激活函数，二维卷积块的结构如图4所示；多尺度卷积块的结构如图5所示，多尺度卷积模块中线路一中卷积层的卷积核大小为1×1，步长为1×1，不填充；线路二中第一个卷积层中卷积核的大小为1×1，步长为1×1，不填充，第二个卷积层中卷积中卷积核的大小为3×3，步长为1×1，填充为1×1；线路三中第一个卷积层中卷积核的大小为1×1，步长为1×1，不填充，第二个卷积层中卷积核的大小为5×5，步长为1×1，填充为2×2；线路四中最大池化层的核大小为3×3，步长为1×1，填充为1×1，卷积层中卷积核的大小为1×1，步长为1×1，不填充，所有激活函数层使用Mish激活函数；空间注意力模块的结构如图6所示，该模块中卷积层的卷积核大小为7×7，步长为1×1，填充为3×3，激活函数层使用Mish激活函数；通道注意力模块的结构如图7所示，该模块中两个卷积层中卷积核的大小为1×1，步长为1×1，不填充，第一个激活函数层使用Mish激活函数，第二个激活函数层使用Sigmoid激活函数；多层处理块的结构如图8所示，激活函数层使用Mish激活函数，Dropout系数设置0.5，全局平均池化层中核大小11×11；全连接层输入大小设置为140，输出大小按对应的数据集类别数设置；上述所提到的Mish激活函数是一个非单调平滑的激活函数，能够到更好的准确性和泛化；Sigmoid激活函数受噪声数据影响较小；分类器选择LogSoftmax分类器能加快运算速度提高数据稳定性；Sigmoid函数、Mish函数和LogSoftmax函数定义如下所示：

f(x)_Mish＝x*tanh(ln(1+e^x))

其中x都表示输入的特征信息，x_i表示预测标签值，x_j表示真实标签值；

进一步地，所述步骤4中网络的输出与标签计算损失函数，损失函数选择交叉熵损失函数，交叉熵损失函数定义如下所示：

其中，C表示代价，x表示样本，y表示实际值，a表示输出值，n表示样本的总数；

总体精度是衡量分类模型对整体分类准确性的指标，平均精度是表明发类模型对某一个类别的分类准确性的指标，一致性系数是用来衡量预测值与真实值的一致性；总体精度、平均精度和一致性系数的计算公式如下所示：

其中，TP是被模型分类正确的正样本，FN是被模型分类错误的正样本，FP是被模型分类错误的负样本，TN是被模型分类正确的负样本；C是类别总数，T_i是每个类别被正确分类的样本数，a_i是每一类真实样本的个数，b_i是预测出来每一类样本的个数，n是总样本的个数；

设定训练次数为200，每次输入到网络图片数量大小为16，每次输入到网络图片数量大小的上限主要是根据计算机图形处理器性能决定，一般每次输入到网络图片数量越大越好，使网络更加稳定；训练过程的学习率设置为0.0005，既能保证网络快速拟合，而不会导致网络过拟合；网络优化器选择Adam优化器；它的优点主要在于实现简单，计算高效，对内存需求少，参数的更新不受梯度的伸缩变换影响，使得参数比较平稳；损失函数函数值阈值设定为0.0005左右，小于0.0005就可以认为整个网络的训练已基本完成；

其中，卷积、激活函数、拼接操作的实现是本领域技术人员公知的算法，具体流程和方法可在相应的教科书或者技术文献中查阅到；

本发明通过构建一种基于双分支注意力网络的高光谱图像分类，可以对高光谱图像进行分类，减少了计算复杂度，在提高分类精度的前提下缩短测试消耗的时间；通过计算与现有方法得到图像的相关指标，进一步验证了该方法的可行性和优越性；

在印度松树数据集(IN)、帕维亚大学数据集(UP)和萨利纳斯数据集(SV)上现有技术和本发明提出方法的相关指标对比如图9所示；其中，在印度松树数据集中使用3％的样本数据当作训练集，在帕维亚大学数据集和萨利纳斯数据集中使用0.5％的样本数据当作训练集；本发明提出的方法在印度松树数据集和萨利纳斯数据集上总体精度、平均精度、一致性系数三个指标的数值都要更高，测试时间大大缩短，在帕维亚大学数据集上虽然在总体精度、平均精度、一致性系数三个指标提升不大，但也大大缩短了测试耗费的时间；这些指标也进一步说明了本发明提出的方法具有更好的分类效果，和更高的分类效率。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于双分支注意力网络的高光谱图像分类方法，其特征在于：包括以下步骤：

步骤1，准备数据集：采用公开的高光谱图像数据集；

步骤2，图像预处理：对步骤1中准备好的数据集进行数据降维并对降维之后的图像进行样本取块，得到一个高光谱样本；

步骤3，构建网络模型：整个网络由一条主路及两条支路组成，在主路中包含一个密集卷积块；两条支路分别为空间分支和通道分支，空间分支包含一个二维卷积块、一个多尺度卷积块和一个多层处理块；通道分支包含一个二维卷积块、一个通道注意力块和一个多层处理块；最后将两个支路连接；

步骤4，选择损失函数和评价指标：通过计算分类的结果图像与标签的损失函数，直到训练的次数达到设定的阈值或损失函数的值达到设定范围内即可认为模型参数训练完成；同时选择评价指标来衡量算法的精度，评估系统的性能；

步骤5，保存模型：选择训练过程中效果最好的一组模型参数进行固化，之后需要进行高光谱图像分类操作时，直接将高光谱图像输入到网络当中即可得到最终的分类图像。

2.根据权利要求1所述的一种基于双分支注意力网络的高光谱图像分类方法，其特征在于：所述步骤1中采用的公开数据集为：印度松树数据集(IN)、帕维亚大学数据集(UP)和萨利纳斯数据集(SV)。

3.根据权利要求1所述的一种基于双分支注意力网络的高光谱图像分类方法，其特征在于：所述步骤2中数据降维的方法使用主成分分析法(PCA，PrincipalComponentAnalysis)，其降维过程如下：

对维度为W×H×C₁的原始高光谱图像I₁进行协方差矩阵特征分解，转换成维度为W×H×C₂的新高光谱图像I₂，其中，W为图像宽度，H为图像高度，C₁为原图像通道数，C₂为变换后的波段数。

4.根据权利要求3所述的一种基于双分支注意力网络的高光谱图像分类方法，其特征在于：所述步骤2中样本的取块操作过程为：

将所述新高光谱图像I₂裁剪为大小为w×w×C₁的三维图像块，输入到网络模型中，w为窗口大小。

5.根据权利要求4所述的一种基于双分支注意力网络的高光谱图像分类方法，其特征在于：所述步骤3中主路中的密集卷积块由四个卷积块密集连接构成，主路中所有卷积块的构造相似，每个卷积块依次由批归一化层、激活函数层和卷积层组成，密集卷积块中每个卷积块的卷积层使用三维卷积层，在主路与支路中连接的二维卷积块依次由批归一化层、激活函数层和卷积层组成，该卷积块的卷积层使用的是二维卷积层；空间分支中的多尺度卷积块包含四条线路，线路一由一个二维卷积块和一个空间注意块构成，线路二和线路三依次由两个二维卷积块和一个空间注意块构成，线路四依次由一个最大池化层、一个二维卷积块和一个空间注意块构成，四条线路得到的张量按维数1拼接在一起，所有线路中的二维卷积块依次由一个卷积层和一个激活函数层组成；所有线路中的空间注意块由一个平均池化层、一个最大池化层和一个二维卷积块构成，在空间注意力块中输入分别经过一个平均池化层和一个最大池化层，输出按维数1拼接后再输入到二维卷积块中，该二维卷积块依次由一个二维卷积层和一个激活函数层组成，在空间注意力块中将得到输出与开始的输入进行矩阵相乘操作；通道分支中的通道注意力块依次由一个平均池化层和两个二维卷积块构成；每个二维卷积块依次由一个二维卷积层和一个激活函数层组成，在通道注意力块中同样的将得到输出与开始的输入进行矩阵相乘操作；两分支中的多层处理块依次由一个批归一化层、一个激活函数层、一个Dropout层和一个全局平均池化层组成。

6.根据权利要求1所述的一种基于双分支注意力网络的高光谱图像分类方法，其特征在于：所述步骤4中损失函数选择交叉熵损失函数；评价指标选择总体准确度、平均准确度和一致性。

Images