CN113095409B - 基于注意力机制和权值共享的高光谱图像分类方法 - Google Patents

Abstract

本发明提出了一种基于注意力机制和权值共享的高光谱图像分类方法，其实现步骤为：(1)获取高光谱图像并对其进行预处理；(2)对归一化后的高光谱图像进行邻域取块；(3)生成训练样本集与测试样本集；(4)构建高光谱图像分类网络模型；(5)对高光谱图像分类网络模型进行迭代训练；(6)获取高光谱图像的分类结果，本发明有效解决深度卷积神经网络参数冗余的问题，并且能够解决在有限样本数据集下分类精度低的问题，分类性能良好。

Description

基于注意力机制和权值共享的高光谱图像分类方法

技术领域

本发明属于图像处理技术领域，涉及一种高光谱图像分类方法，具体涉及一种图像分类技术领域中的基于注意力机制和权值共享的高光谱图像分类方法。可应用于灾害监测、地质勘探、城市规划、目标识别等诸多领域。

背景技术

高光谱图像是高光谱成像仪器在不同波长的光谱波段上对图像空间范围内地物目标同时成像得到的三维图像。高光谱以其丰富的波段信息记录了地物目标的连续光谱特征，具备了能够进行更多种类地物目标识别和更高精度地进行目标分类的可能性。基于这些特点，高光谱图像可以实现对地物所属类别进行精确的判断，对人类认识客观世界提供了有利条件。高光谱图像的分类可以对图像空间范围内的不同地物进行精准识别，可以判断出各像素点的地物类别，再进一步进行其它应用。如何提高分类精度是高光谱图像分类的重点和难点。随着深度学习在各个领域的广泛应用，高光谱图像分类也出现了多种深度学习分类方法，如自编码器AE(Autoencoder)、卷积神经网络CNN(Convolutional NeuralNetworks)、深度信念网络DBN(Deep Belief Network)等。基于深度学习的高光谱图像分类方法可以自适应的提取特征，可以取得很好的分类结果，得到了研究人员的广泛的应用。

例如，西安电子科技大学在其申请的专利文献“基于空间坐标与空谱特征融合的高光谱分类方法”(专利申请号：201710644479.6，申请公布号：CN 107451614 A)，提出了一种基于空间坐标与空谱特征融合的高光谱图像分类方法。该方法先对高光谱图像进行空间邻域划分采样，随后将空间坐标作为空间特征，接着将空间特征与光谱特征分别利用支持向量机SVM进行分类，将分类所得像素点属于每类的概率作为概率特征，最后将空间特征分类得到的概率特征与光谱特征所得概率特征融合，再次利用支持向量机SVM(SupportVector Machine)进行分类，得出最终分类结果。该方法存在的不足之处在于，仅利用了空间坐标作为空间特征，高光谱图像的空间信息利用不足，导致空谱特征融合不充分，且模型无法筛选训练样本中的有用信息和噪声信息，使得分类精度较差。

又如，Meng等人在其发表的论文“Multipath Residual Network for Spectral-Spatial Hyperspectral Image Classification”(Remote Sensing,vol.11,no.16:1896,Aug.2019，doi：10.3390)提出了一种基于多径残差网络(MPRN)的高光谱图像分类方法。该方法首先对原始高光谱图像进行邻域块采样，随后使用多径残差函数并行的方式代替了原始残差网络中多个残差块堆叠的方式，最后利用多径残差网络进行分类，得到最终分类结果。该方法存在的不足之处在于，多径残差网络只使用二维卷积核进行特征的提取，无法充分融合空谱特征，且多径的思想为网络模型引入了额外的冗余参数，降低了分类精度。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于注意力机制和权值共享的高光谱图像分类方法，用于解决现有技术中存在的分类精度较低的技术问题。

为实现上述目的，本发明采取的技术方案包括如下步骤：

(1)获取高光谱图像并对其进行预处理：

(1a)获取一幅包含K个不同地物类别的高光谱图像

和对应的标签图

其中，K≥2，∈表示属于，

表示实数域，m和n分别表示F的长和宽，b表示F的光谱波段数；

(1b)将高光谱图像F转换成大小为a×b的二维矩阵

a＝m×n，并对X进行归一化，再将归一化后的二维矩阵转换为与F尺寸大小相同的三维矩阵，得到归一化后的高光谱图像F′；

(2)对归一化后的高光谱图像F′进行邻域取块：

对归一化后的高光谱图像F′分别以尺寸3、5、7进行0像素边缘填充，再以边缘填充后的高光谱图像中的每个像素点为中心，分别选取7×7×b、11×11×b、15×15×b的邻域块，得到三种尺度的邻域块；

(3)生成训练样本集与测试样本集：

将每种尺度邻域块中每个邻域块的中心像素点的类别组合成类别集合，并将其中半数以下类别对应的中心像素点所在的邻域块组成训练样本集，将其余的领域块组成测试样本集；

(4)构建高光谱图像分类网络模型：

构建包括依次级联的特征提取网络、concatenate层、第一全局平均池化层和第一全连接层的高光谱图像分类网络模型；特征提取网络包括三个并行连接且权值共享的特征提取分支，每个特征提取分支包括多个三维卷积层、多个二维卷积层、多个规范层、多个激活函数层和多个融合层；每个融合层包括由第二全局平均池化层、多个全连接层和多个激活函数层组成的注意力机制网络；

(5)对高光谱图像分类网络模型进行迭代训练：

(5a)初始化迭代次数为t，最大迭代次数为T，T≥200，并令t＝1；

(5b)将从训练样本集随机且有回放选取的N个训练样本作为高光谱图像分类网络模型的输入进行前向传播，得到预测标签向量集合y＝{y₁,y₂,...,y_n,...,y_N}，N≥2，y_n表示第n个训练样本对应的预测标签向量；

(5c)采用交叉熵损失函数L计算每个预测标签向量y_n与其对应的真实标签向量

之间的损失值，并采用梯度下降法，通过损失值对高光谱图像分类网络模型的权值参数ω进行更新；

(5d)判断t≥T是否成立，若是，得到训练好的高光谱图像分类网络模型，否则，令t＝t+1，并执行步骤(5b)；

(6)获取高光谱图像的分类结果：

将测试样本集作为训练好的高光谱图像分类网络模型的输入进行前向传播，得到所有测试样本的预测标签。

本发明与现有技术相比，具有以下优点：

本发明所构建的高光谱图像分类网络模型，其中包含的特征提取网络包含有三个权值共享且结构相同的特征提取分支，在训练过程中避免了现有技术中空谱特征融合不充分，且多分支结构增加模型冗余参数的缺陷，而且特征提取网络还包含有由第二全局平均池化层、多个全连接层和多个激活函数层组成的注意力机制网络，在训练过程中避免了现有技术中模型无法筛选训练样本中的有用信息和噪声信息的缺陷，与现有技术相比，有效提高了高光谱图像的分类精度。

附图说明

图1是本发明的实现流程图。

具体实施方式

下面结合附图和具体实施例，对本发明作进一步的详细描述。

参照图1，本发明包括如下步骤：

步骤1)获取高光谱图像并对其进行预处理：

(1a)获取一幅包含K个不同地物类别的高光谱图像

和对应的标签图

其中，K≥2，∈表示属于，

表示实数域，m和n分别表示F的长和宽，b表示F的光谱波段数，本实例中，输入的高光谱图像为Indian Pines高光谱图像，K＝16，m＝145，n＝145，b＝200；

(1b)将高光谱图像F转换成大小为a×b的二维矩阵

a＝m×n，并对X进行归一化，再将归一化后的二维矩阵转换为与F尺寸大小相同的三维矩阵，得到归一化后的高光谱图像F′，其中对二维矩阵X的每个光谱波段中每个地物目标的归一化公式为：

其中，

表示归一化后的二维矩阵X′中第i个光谱波段中的第j个地物目标，

表示二维矩阵X中第i个光谱波段中所有地物目标的平均像素值，

表示二维矩阵X中第i个光谱波段中所有地物目标像素值的方差值；

由于不同评价指标往往具有不同的量纲和量纲单位，从而影响最后的分类结果，为了消除指标之间的量纲影响，需要进行归一化处理，解决数据指标之间的可比性，本实例中，使用零均值归一化处理；

步骤2)对归一化后的高光谱图像F′进行邻域取块：

对归一化后的高光谱图像F′分别以尺寸3、5、7进行0像素边缘填充，再以边缘填充后的高光谱图像中的每个像素点为中心，分别选取7×7×b、11×11×b、15×15×b的邻域块，得到三种尺度的邻域块；

由于高光谱图像分类是对每个像素逐个分类且需要结合每个中心像素周围领域像素的信息，0像素边缘填充操作能够确保每个像素点都能进行邻域取块操作，邻域块样本同时含有光谱信息和邻域空间信息，有利于提高模型的分类精度；

步骤3)生成训练样本集与测试样本集：

将每种尺度邻域块中每个邻域块的中心像素点的类别组合成类别集合，并将其中半数以下类别对应的中心像素点所在的邻域块组成训练样本集，将其余的领域块组成测试样本集；

由于选取训练样本数量过多会使得算法在分类精度上失去对比性，所以在本实例中，选取训练样本集和测试样本集中的样本数占总样本数的比例分别为10％和90％；

步骤4)构建高光谱图像分类网络模型：

构建包括依次级联的特征提取网络、concatenate层、第一全局平均池化层和第一全连接层的高光谱图像分类网络模型；特征提取网络包括三个并行连接且权值共享的特征提取分支，每个特征提取分支包括多个三维卷积层、多个二维卷积层、多个规范层、多个激活函数层和多个融合层；每个融合层包括由第二全局平均池化层、多个全连接层和多个激活函数层组成的注意力机制网络；

在本实例中，特征提取分支的具体结构为：第一三维卷积层→第一规范层→第一激活函数层→第二三维卷积层→第二规范层→第二激活函数层→第三三维卷积层→第三规范层→第三激活函数层→第四三维卷积层→第四规范层→第四激活函数层→第一二维卷积层→第五规范层→第五激活函数层→第一融合层→第二二维卷积层→第六规范层→第六激活函数层→第二融合层→第三二维卷积层→第七规范层→第七激活函数层→第三融合层→第四二维卷积层→第八规范层→第八激活函数层→第四融合层；

特征提取分支相关的参数设置为：三维卷积层的卷积核个数为16，第一、第二、第三、第四三维卷积层卷积核尺寸依次为(1，1，5)、(1，1，3)、(1，1，3)、(1，1，10)，卷积步长依次为3、1、1、1；第一、第二、第三、第四二维卷积层的卷积核个数依次为160、160、160、16，卷积核尺寸均为(3，3)，卷积步长均为1；规范层的动量因子为0.8；激活函数层的激活函数采用ReLU激活函数；

第一全连接层神经元的个数与地物类别数K相等，激活函数采用softmax函数；

融合层的具体结构为：第二全局平均池化层→第二全连接层→第九激活函数层→第三全连接层→第十激活函数层；

融合层相关的参数设置为：第二全局平均池化层的池化长度为15；两个全连接层的神经元个数均为160；第九、第十激活函数层的激活函数分别采用ReLU激活函数、sigmoid激活函数；

三个权值共享的特征提取分支的具体结构可以在提取多尺度特征的同时，降低模型中的冗余参数，注意力机制网络能够给网络中每个特征的通道赋权值，增加有用通道的权重，减少噪声通道的权重，提高模型最终的分类精度；

步骤5)对高光谱图像分类网络模型进行迭代训练：

(5a)初始化迭代次数为t，最大迭代次数为T，T≥200，并令t＝1，本实例中，T＝200；

(5b)将从训练样本集随机且有回放选取的N个训练样本作为高光谱图像分类网络模型的输入进行前向传播，对训练样本逐层提取特征并用第一全连接层对最后的特征向量进行预测，得到预测标签向量集合y＝{y₁,y₂,...,y_n,...,y_N}，N≥2，y_n表示第n个训练样本对应的预测标签向量，本实例中，N＝16；

(5c)采用交叉熵损失函数L计算每个预测标签向量y_n与其对应的真实标签向量

之间的损失值，并采用梯度下降法，通过损失值对高光谱图像分类网络模型的权值参数ω进行更新，其中交叉熵损失函数L的表达式，以及权值参数ω的更新公式分别为：

其中,Σ表示求和操作，ln表示以自然常数e为底的对数，ω′表示ω的更新结果，η表示L的学习率，

表示求导操作，本实例中，学习率η＝0.0001；

(5d)判断t≥T是否成立，若是，得到训练好的高光谱图像分类网络模型，否则，令t＝t+1，并执行步骤(5b)；

步骤5)获取高光谱图像的分类结果：

将测试样本集作为训练好的高光谱图像分类网络模型的输入进行前向传播，对测试样本逐层提取特征并用第一全连接层对最后的特征向量进行分类，得到所有测试样本的预测标签。

下面结合仿真实验对本发明的效果做进一步的说明：

1.仿真实验条件：

本发明的仿真实验采用的硬件测试平台是：处理器为Inter Core i7-8750H，主频为2.20GHz，内存16GB；软件平台为：Windows 10企业版64位操作系统和Python3.6进行仿真测试。

本发明的仿真实验中所使用的高光谱图像数据集，是由AVIRIS sensor在印第安纳州西北部的Indian Pines测试场地上收集的Indian pines数据集，Indian pines数据集图像的大小为145*145，具有200个光谱波段，包含16类地物，具体包含：Alfalfa，Corn-Notill，Corn-Mintill，Corn，Grass-Pasture，Grass-Trees，Grass-Pasture-Mowed，Hay-Windrowed，Oats，Soybean-Notill，Soybean-Mintill，Soybean-Clean，Wheat，Woods，Building-Grass-Trees-Drives，Stone-Steel-Towers，图像格式为mat。

2.仿真实验内容及结果分析：

为了说明本发明基于注意力机制和权值共享的高光谱图像分类方法具有优秀的分类能力，本发明的仿真实验是采用本发明方法与三种现有高光谱图像分类方法进行仿真。

在仿真实验中，采用的三种现有高光谱图像分类方法是指：

1)经典的支持向量机SVM用于高光谱图像分类的方法，该方法通过支持向量机直接对光谱信息进行分类。

2)Meng等人在其发表的论文“Multipath Residual Network for Spectral-Spatial Hyperspectral Image Classification”(Remote Sensing,vol.11,no.16:1896,Aug.2019，doi：10.3390)提出了一种基于多径残差网络的高光谱图像分类方法MPRN。

3)西安电子科技大学在其申请的专利文献“基于空间坐标与空谱特征融合的高光谱分类方法”(专利申请号：201710644479.6，申请公布号：CN 107451614 A)提出了一种基于空间坐标与空谱特征融合的高光谱图像分类方法SPE-SPA-SVM。。

为了对分类结果进行量化，实验采用了以下3个评价指标。

(1)整体精度OA(overall accuracy)，将测试集上正确分类的像素点的个数除以总的像素个数，称为整体精度OA，其值在0～100％之间，此值越大说明分类效果越好。

(2)平均精度AA(average accuracy)，将测试集上每类正确分类的像素点个数除以该类所有像素的总数，得到该类的正确分类精度，将所有类别的精度的平均值称为平均精度AA，其值在0～100％之间，此值越大说明分类效果越好。

(3)Kappa(Kappa Coefficient)系数：Kappa系数是定义在混淆矩阵X上的一个评价指标，综合考虑混淆矩阵对角线上的元素和偏离对角线的元素，更客观地反映了算法的分类性能,Kappa的值在-1～1的范围，此值越大说明分类效果越好。

本发明与三种现有技术在两个高光谱数据集上的整体分类精度OA、平均分类精度AA和Kappa系数的对比，如表1所示。

表1现有技术与本发明在分类精度上的对比结果

从表1可以看出，本发明的分类结果无论在OA、AA、还是Kappa系数上均明显优于这三种现有技术。

本发明将三个结构相同的特征提取分支以权值共享的方式进行信息交互，实现了尺度特征和空谱特征融合的同时，极大地减少了网络中冗余参数量的使用，降低了网络在训练过程中过拟合的风险，进一步提升了分类能力。同时，本发明提出注意力机制网络，减少了训练过程中冗余参数的传递权重，使有用特征被重点传递，所以发明的分类精度要明显优于其他三个现有分类方法。

综合上述仿真实验中的结果分析，本发明提出的方法能有效地解决传统深度卷积神经网络中因参数量过大而产生的过拟合现象，进一步解决分类精度差的问题。

Claims (4)

1.一种基于注意力机制和权值共享的高光谱图像分类方法，其特征在于，包括如下步骤：

(1)获取高光谱图像并对其进行预处理：

(1a)获取一幅包含K个不同地物类别的高光谱图像

和对应的标签图

其中，K≥2，∈表示属于，

表示实数域，m和n分别表示F的长和宽，b表示F的光谱波段数；

(1b)将高光谱图像F转换成大小为a×b的二维矩阵

a＝m×n，并对X进行归一化，再将归一化后的二维矩阵转换为与F尺寸大小相同的三维矩阵，得到归一化后的高光谱图像F′；

(2)对归一化后的高光谱图像F′进行邻域取块：

对归一化后的高光谱图像F′分别以尺寸3、5、7进行0像素边缘填充，再以边缘填充后的高光谱图像中的每个像素点为中心，分别选取7×7×b、11×11×b、15×15×b的邻域块，得到三种尺度的邻域块；

(3)生成训练样本集与测试样本集：

将每种尺度邻域块中每个邻域块的中心像素点的类别组合成类别集合，并将其中半数以下类别对应的中心像素点所在的邻域块组成训练样本集，将其余的邻域块组成测试样本集；

(4)构建高光谱图像分类网络模型：

构建包括依次级联的特征提取网络、concatenate层、第一全局平均池化层和第一全连接层的高光谱图像分类网络模型；特征提取网络包括三个并行连接且权值共享的特征提取分支，每个特征提取分支包括多个三维卷积层、多个二维卷积层、多个规范层、多个激活函数层和多个融合层；每个融合层包括由第二全局平均池化层、两个全连接层和两个激活函数层组成的注意力机制网络，其具体结构为：第二全局平均池化层→第二全连接层→第九激活函数层→第三全连接层→第十激活函数层；融合层相关的参数设置为：第二全局平均池化层的池化长度为15；两个全连接层的神经元个数均为160；第九、第十激活函数层的激活函数分别采用ReLU激活函数、sigmoid激活函数；

(5)对高光谱图像分类网络模型进行迭代训练：

(5a)初始化迭代次数为t，最大迭代次数为T，T≥200，并令t＝1；

(5b)将从训练样本集随机且有回放选取的N个训练样本作为高光谱图像分类网络模型的输入进行前向传播，得到预测标签向量集合y＝{y₁,y₂,...,y_n,...,y_N}，N≥2，y_n表示第n个训练样本对应的预测标签向量；

(5c)采用交叉熵损失函数L计算每个预测标签向量y_n与其对应的真实标签向量

之间的损失值，并采用梯度下降法，通过损失值对高光谱图像分类网络模型的权值参数ω进行更新；

(5d)判断t≥T是否成立，若是，得到训练好的高光谱图像分类网络模型，否则，令t＝t+1，并执行步骤(5b)；

(6)获取高光谱图像的分类结果：

将测试样本集作为训练好的高光谱图像分类网络模型的输入进行前向传播，得到所有测试样本的预测标签。

2.根据权利要求1所述的基于注意力机制和权值共享的高光谱图像分类方法，其特征在于，步骤(1b)中所述的对X进行归一化，其中对二维矩阵X的每个光谱波段中每个地物目标的归一化公式为：

其中，

表示归一化后的二维矩阵X′中第i个光谱波段中的第j个地物目标，

表示二维矩阵X中第i个光谱波段中所有地物目标的平均像素值，

表示二维矩阵X中第i个光谱波段中所有地物目标像素值的方差值。

3.根据权利要求1所述的基于注意力机制和权值共享的高光谱图像分类方法，其特征在于，步骤(4)中所述的高光谱图像分类网络模型，其中特征提取分支包含的三维卷积层、二维卷积层和融合层的数量均为四个，规范层和激活函数层的数量均为八个，具体结构参数设置为：

特征提取分支的具体结构：第一三维卷积层→第一规范层→第一激活函数层→第二三维卷积层→第二规范层→第二激活函数层→第三三维卷积层→第三规范层→第三激活函数层→第四三维卷积层→第四规范层→第四激活函数层→第一二维卷积层→第五规范层→第五激活函数层→第一融合层→第二二维卷积层→第六规范层→第六激活函数层→第二融合层→第三二维卷积层→第七规范层→第七激活函数层→第三融合层→第四二维卷积层→第八规范层→第八激活函数层→第四融合层；

特征提取分支相关的参数设置为：三维卷积层的卷积核个数为16，第一、第二、第三、第四三维卷积层卷积核尺寸依次为(1，1，5)、(1，1，3)、(1，1，3)、(1，1，10)，卷积步长依次为3、1、1、1；第一、第二、第三、第四二维卷积层的卷积核个数依次为160、160、160、16，卷积核尺寸均为(3，3)，卷积步长均为1；规范层的动量因子为0.8；激活函数层的激活函数采用ReLU激活函数；

第一全连接层神经元的个数与地物类别数K相等，激活函数采用softmax函数。

4.根据权利要求1所述的基于注意力机制和权值共享的高光谱图像分类方法，其特征在于，步骤(5c)中所述的交叉熵损失函数L的表达式，以及权值参数ω的更新公式分别为：

其中,Σ表示求和操作，ln表示以自然常数e为底的对数，ω′表示ω的更新结果，η表示L的学习率，

表示求导操作。

Images