CN112733659B - 一种基于自步学习双流多尺度密集连接网络的高光谱图像分类方法 - Google Patents

Abstract

本发明提供一种基于自步学习双流多尺度密集连接网络的高光谱图像分类方法，包括以下步骤：步骤1：读入高光谱图像进行预处理，包括非监督波段选择降维和图像分块，划分训练集和测试集；步骤2：搭建局部空谱特征提取支路和全局空间特征提取支路，两支路特征自适应融合，最后接全连接和Softmax层；步骤3：将同一像素点对应的局部图像块和全局图像块分别输入两条支路，以最小化交叉熵损失函数为目标训练有效的高光谱图像分类模型，利用自步学习框架选择训练数据；步骤4：训练结束后，把测试集数据输入网络，得到模型输出的预测类别。

Description

一种基于自步学习双流多尺度密集连接网络的高光谱图像分 类方法

技术领域

本发明涉及高光谱图像处理方法与应用技术领域，具体涉及一种基于自步学习双流多尺度密集连接网络的高光谱图像分类方法。

背景技术

高光谱图像具有光谱波段多，且在指定波段内连续成像的特性，能够捕捉到丰富的物体特征。高光谱图像的丰富信息量有助于对地物、生物组织、化学材料等进行类别判断和划分，因此高光谱技术已广泛应用于地质科学、航空航天和医学诊断等诸多领域。

深度学习作为一种有效的特征提取方法，在图像分类分割，密集目标检测等诸多计算机视觉任务中取得了优异的表现。相对于传统的高光谱图像分类方法，利用深度学习网络模型可以提取高光谱图像中更深层、更具有代表性的特征，从而提升高光谱图像的分类精度。

现有的大多数针对高光谱图像的像素点分类算法是基于普通分类算法的简单改进，没有充分考虑到高光谱图像的信息冗余和数据特点，因此这些方法在实际分类任务中会出现一些不足：一、为了有效提取像素点的空间特征，在预处理时将高光谱图像分割成空间尺寸不一的图像块，利用大尺寸和小尺寸图像块分别提取中心像素的全局空间特征和局部空间特征。然而，这个预处理过程耗时长，也会消耗很大的存储资源。二、由于高光谱图像的光谱维度高，受GPU计算资源的限制，切割出的图像块空间分辨率不能太大，否则样本数据量过于庞大难以训练。因此，图像块的光谱维度往往远超空间维度，造成光谱信息冗余，从而无法高效提取空间特征。三、传统的多尺度特征融合结构往往是用多条支路将图像块分别用不同尺寸的卷积核提取特征，然后直接将不同支路的特征拼接起来，但是这些特征提取支路之间缺乏联系，直接拼接的特征无法很好地表征图像块的局部特征和全局特征。四、对于高分辨率的高光谱图像，采用逐点像素分类的方法，提取到的训练数据会很庞大，若采用传统方法按照随机顺序训练会比较耗时，且难以收敛，效果也无法达到最佳。五、传统特征融合采用特征直接拼接的方式，但是针对高光谱图像的光谱特征和空间特征的融合，两部分特征具有不同的数据分布特点，因此需要一种自适应融合的方式。

发明内容

为了解决现有方法存在的不足，本发明提供了一种基于自步学习双流多尺度密集连接网络的高光谱图像分类方法，本发明用两条支路分别提取高光谱图像块中心像素的局部空谱特征(局部空间和光谱特征)和全局空间特征，通过自适应融合两支路特征，最终完成高光谱图像像素点的分类，主要包括以下步骤：

步骤1：读入高光谱图像进行预处理，包括非监督波段选择降维和图像分块，划分训练集和测试集；

步骤2：搭建局部空谱特征提取支路和全局空间特征提取支路，两支路特征通过两支路特征自适应融合模块自适应融合，最后接全连接和Softmax层；

步骤3：将同一像素点对应的局部图像块和全局图像块分别输入两条支路，以最小化交叉熵损失函数为目标训练有效的高光谱图像分类模型，利用自步学习框架选择训练数据；

步骤4：训练结束后，把测试集数据输入网络，得到模型输出的预测类别。

本发明步骤1中，读入维度为W×H×C的高光谱图像X₀，W、H、C分别为图像宽度，高度和波段数。对高光谱图像进行非监督波段选择降维得到C2个重要波段，降维后的高光谱图像X₁维度为W×H×C2；

设D_KL(i,j)为高光谱图像第j个波段相对于第i个波段的K-L散度，O(i,j)为高光谱图像第j个波段和第i个波段图像矩阵间的欧式距离，A(i,j)为综合差异值，公式如下：

A(i,j)＝δD_KL(i,j)+ξO(i,j)

其中，δ和ξ为可调系数(根据实际分类效果调整)，则高光谱图像的全波段综合差异值矩阵A可表示如下：

设需去除波段的集合为S，初始为

每次选择一个波段i，并寻找最小的A(i,j),j≠i，对应波段标号为td，即第td个波段与第i个波段信息相似度最高，应去除波段td，则S＝S∪{td}，综合差异值矩阵A去除第td行和第td列。利用该方法逐次去除冗余波段，当S中元素个数等于C-C2时，迭代终止，X₀去除集合S中所有波段，得到降维后的重要波段图像X₁。

在高光谱图像X₀上以每个像素点为中心进行逐像素点滑动提取图像块，滑动窗口尺寸为7×7，每次滑动一个像素点，得到样本集I，共N个样本；

在降维后的重要波段图X₁上选用尺寸为25×25的滑动窗口提取样本，得到样本集P，共N个样本；

样本集I和P中的样本一一对应，即两个样本集中对应位置样本中心像素一致。

本发明中，划分训练集和测试集：将得到的N个样本随机划分为N₁个训练数据和N₂个测试数据；构建的训练样本集为I1，P1；构建的测试样本集为I2，P2。

本发明在挑选样本构建训练样本集时，针对每个类别分别采用随机挑选的方式，使得选取的训练样本集包含所有类别的样本。

本发明中，所述局部空谱特征提取支路包括图像分块和多层Ghost残差网络，其中多层Ghost残差网络的输入为训练样本集I1中的图像块,输出局部空谱特征f_l；多层Ghost残差网络由多个Ghost残差单元、SE注意力模块(Hu J,Shen L,Sun G.Squeeze-and-excitation networks[C]//Proceedings of the IEEE conference on computer visionand pattern recognition.2018:7132-7141.)、1×1卷积层和平均池化层组成。

本发明中，Ghost残差单元的结构包括第一Adv-Ghost模块，BN+Relu层(BN是批归一化层)，第二Adv-Ghost模块和BN层；第一Adv-Ghost模块增加特征通道数，第二Adv-Ghost模块降低特征通道数,用于匹配输入输出特征维度；Adv-Ghost模块首先采用普通的卷积计算，得到通道数较少的中间特征图，然后将其在通道维度上切片得到相同通道数的二维特征，每个二维特征做一种或多种线性变换生成对应数量的单层特征。此外，利用通道维度上的最大值池化、平均池化生成中间特征图的压缩特征。最后，将各单层特征、压缩特征和中间特征图按通道维度拼接得到Adv-Ghost模块的输出特征。

其中，所述切片操作是指将三维中间特征图垂直分割成多个二维特征，其数目与通道数相同。

所述全局空间特征提取支路包括图像降维分块和多尺度密集连接卷积模块，其中多尺度密集连接卷积模块的输入为训练样本集P1中的图像块，输出全局空间特征；多尺度密集连接卷积模块的结构横向是Dense Net(Huang G,Liu Z,Van Der Maaten L,etal.Densely connected convolutionalnetworks[C]//ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition.2017:4700-4708.)连接结构，纵向是空洞卷积连接；样本集P1中的图像块通过横向Dense Net结构生成通道数更高的特征图，通过纵向空洞卷积生成空间尺寸较低但感受野更大的特征图，利用密集拼接的方式融合多尺度空间特征，平均池化后输出全局空间特征f_g；

两支路特征自适应融合模块将局部空谱特征f_l和全局空间特征f_g分别拉伸得到一维特征f₁和f₂，将f₁和f₂拼接后接两个全连接层加sigmoid激活层得到融合后的特征f，融合方法如下所示：

f＝σ(W₂σ(W₁(concat[f₁,f₂])+β||W₁||₂+γ||W₁||₁))

其中，concat[f₁,f₂]指将特征f₁和f₂拼接为一维特征，W₁是第一个全连接网络的权重参数，||W₁||₂、||W₁||₁分别是W₁的L2和L1范数，β和γ都是可调的正则化系数，σ是sigmoid激活函数，W₂是第二个全连接网络的权重参数；通过加入W₁的L1和L2正则项，让网络能自适应地调整特征融合的权重。

自适应融合模块后接全连接和softmax层，softmax层输出样本分别对应各个类别的概率，依据概率最大准则，选择概率最大的类作为中心像素最终的分类结果。

本发明步骤3中，将训练样本集I1和P1中代表同一中心像素的样本I_j和p_j分别输入到局部空谱特征提取支路和全局空间特征提取支路中，通过网络前向传播计算出交叉熵损失，公式如下：

K代表类别数，M代表训练样本数量，p_c(j)代表第j个样本属于类别c的预测概率，c(j)代表第j个样本的预测标签，c_t(j)代表其真实标签，z_i(j)为softmax层输入，代表第j个样本属于类别i的预测值。

本发明步骤3中，训练时通过最小化交叉熵损失更新网络参数，直至达到最大迭代次数。

本发明步骤3中，利用自步学习按照分类难度从易到难选择样本训练网络：自步学习框架先选择损失值小的对应图像块用于训练更新网络参数，然后通过参数衰减逐步引入更多的困难样本，直至所有样本被选择。

设训练集为

x_i∈D是第i个训练样本的特征，y_i∈D是对应样本的类别标签；交叉熵损失函数表示为L(σ₁(x_i,w),y_i)，代表样本标签y_i和类别得分σ₁(x_i,w)的损失值，类别得分σ₁(x_i,w)是网络输出对应样本标签y_i的预测概率，w是需要学习的网络模型参数；

本发明基于自步学习框架下的目标损失函数E的优化规则如下：

R(w)是正则项；v_i是二分变量，v_i＝0代表该训练样本不送入网络训练，v_i＝1代表该训练样本送入网络训练，公式如下：

其中，λ是自步学习参数；在训练模型时，当相邻两次迭代的交叉熵损失之差小于阈值T，则更新λ为原来的1.1倍，选择更多训练样本进行下一轮迭代，直至迭代次数达到最大设定值，结束训练。

本发明与现有技术相比具有以下优点：

1、训练模型时采用自步学习框架，将样本以简单到困难的顺序进行训练，完成网络从粗模型到精细模型的优化，加速网络的收敛，提升网络的分类效果。

2、全局空间特征提取支路基于非监督波段选择降维后的低维重要波段图，大大降低了光谱特征冗余，将计算和存储资源用于提升图像块的空间尺寸，获得更大的空间感受野，利于提取更准确的空间特征。

3、提出多尺度密集连接卷积模块，通过空洞卷积获得多尺度空间特征，通过密集连接将多尺度特征紧密融合，提升空间特征提取效果。

4、采用多层Ghost残差网络提取样本的局部空间特征和光谱特征，Adv-Ghost模块的两步卷积方法充分考虑了光谱特征间的相关性，去除光谱冗余，又通过特征映射获得足够多的特征。多层Ghost残差特征提取网络减小了高光谱图像训练的计算量，使得网络能更深，且保持轻量化。相对于传统的二维卷积，Adv-Ghost模块以更少的参数生成相同维度的特征图，利于高效提取样本像素点的局部空间特征及光谱特征。

5、采用自适应的特征融合方法，考虑了两条支路特征的表达内容不同和数据分布特点不同，利用全连接层中网络权重参数的L1和L2范数来自适应调整融合参数。

附图说明

图1是本发明基于自步学习双流多尺度密集连接网络的高光谱图像分类方法的步骤流程图。

图2是本发明的卷积神经网络框架示意图。

图3是Adv-Ghost模块和Ghost残差单元的结构示意图。

图4是多尺度密集连接卷积模块示意图。

图5是多层Ghost残差网络的结构示意图。

图6是胆管癌高光谱图像的分类结果图。

具体实施方式

结合以下具体实施例和附图，对发明作进一步的详细说明。实施本发明的过程、条件、实验方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本发明没有特别限制内容。

本发明提供了一种基于自步学习双流多尺度密集连接网络的高光谱图像分类方法，主要包括以下步骤：

步骤1：读入高光谱图像进行预处理，包括非监督波段选择降维和图像分块，划分训练集和测试集。

读入维度为W×H×C的高光谱图像X₀，W、H、C分别为图像宽度，高度和波段数，对高光谱图像进行非监督波段选择降维得到C2个重要波段图，降维后的高光谱图像X₁维度为W×H×C2。

设D_KL(i,j)为高光谱图像第j个波段相对于第i个波段的K-L散度，O(i,j)为高光谱图像第j个波段和第i个波段图像矩阵间的欧式距离，A(i,j)为综合差异值，公式如下：

A(i,j)＝δD_KL(i,j)+ξO(i,j)

其中，δ和ξ为可调系数(根据实际分类效果调整)，则高光谱图像的全波段综合差异值矩阵A可表示如下：

设需去除波段的集合为S，初始为

每次选择一个波段i，并寻找最小的A(i,j),j≠i，对应波段标号为td，即第td个波段与第i个波段信息相似度最高，应去除波段td，则S＝S∪{td}，综合差异值矩阵A去除第td行和第td列。利用该方法逐次去除冗余波段，当S中元素个数等于C-C2时，迭代终止，X₀去除集合S中所有波段，得到降维后的重要波段图像X₁。

在高光谱图像X₀上以每个像素点为中心进行逐像素点滑动提取图像块，滑动窗口尺寸为7×7，每次滑动一个像素点，得到样本集I，共N个样本。

在降维后的重要波段图X₁上选用尺寸为25×25的滑动窗口提取样本，得到样本集P，共N个样本。

样本集I和P中的样本一一对应，即两个样本集中对应位置样本中心像素一致。

划分训练集和测试集：将得到的N个样本随机划分为N₁个训练数据和N₂个测试数据。构建的训练样本集为I1，P1；构建的测试样本集为I2，P2。

本发明在挑选样本构建训练样本集时，针对每个类别分别采用随机挑选的方式，使得选取的训练样本集包含所有类别的样本，同时最大可能地将每个类别所包含的所有可能性样本都划分到训练样本集之中。

步骤2：搭建局部空谱特征提取支路和全局空间特征提取支路，两支路特征通过两支路特征自适应融合模块自适应融合，最后接全连接和Softmax层。

所述局部空谱特征提取支路包括图像分块和多层Ghost残差网络，其中多层Ghost残差网络的输入为训练样本集I1中的图像块,输出局部空谱特征f_l。多层Ghost残差网络由多个Ghost残差单元、SE注意力模块、1×1卷积层和平均池化层组成，结构如图5所示。

其中Ghost残差单元提升了网络深度，轻量化的Adv-Ghost模块使得模型参数更少，有效去除光谱冗余信息，SE模块的注意力机制用来学习不同光谱维间的相关性，1×1卷积层降低特征维度，平均池化层降低特征空间分辨率。

如图3所示，Adv-Ghost模块分两步走，首先采用普通的卷积计算，得到通道数较少的中间特征图，中间特征图代表的是冗余度较少的基础特征。然后将基础特征按通道维度切片并分别通过一种或多种线性变换得到更多的单层特征，此外利用通道方向上的池化操作获得中间特征图的压缩特征。最后将各单层特征、压缩特征和中间特征图拼接到一起，组合成Adv-Ghost模块的输出特征图。

其中，所述切片操作是指将三维中间特征图垂直分割成多个二维特征，其数目与通道数相同。

每个Ghost残差单元的结构包括第一Adv-Ghost模块，BN+Relu层，第二Adv-Ghost模块和BN层，第一Adv-Ghost模块增加特征通道数，第二Adv-Ghost模块降低特征通道数,用于匹配输入输出特征维度。

所述全局空间特征提取支路包括图像降维、分块和多尺度密集连接卷积模块，其中多尺度密集连接卷积模块的输入为训练样本集P1中的图像块，输出全局空间特征。多尺度密集连接卷积模块结构如图4所示，横向是Dense Net连接结构，纵向是空洞卷积连接。

样本集P1中的图像块通过横向Dense Net结构生成通道数更高的特征图，通过纵向空洞卷积生成空间尺寸较低但感受野更大的特征图，利用密集拼接的方式融合多尺度空间特征，平均池化后输出全局空间特征f_g。

此结构通过空洞卷积来提升感受野，三条支路从上到下感受野逐步上升，从左到右特征图通道数逐步上升，运用Dense Net融合浅层和深层的特征，纵向空洞卷积连接又融合了不同感受野的特征。整体的密集连接结构保证最终的特征具有丰富的全局空间信息，相比于多条独立支路的多尺度特征融合，该结构的空间特征提取效果更好。

两支路特征自适应融合模块将局部空谱特征f_l和全局空间特征f_g分别拉伸得到一维特征f₁和f₂，拉伸过程将三维特征每个通道的二维矩阵按空间顺序排成一维，再按原通道顺序拼接。把f₁和f₂拼接后接两个全连接层加sigmoid激活层得到融合后的特征f，融合方法如下所示：

f＝σ(W₂σ(W₁(concat[f₁,f₂])+β||W₁||₂+γ||W₁||₁))

concat[f₁,f₂]指将特征f₁和f₂拼接为一维特征，W₁是第一个全连接网络的权重参数，||W₁||₂和||W₁||₁是W₁的L2和L1范数，β和γ是可调的正则化系数，σ是sigmoid激活函数，W₂是第二个全连接网络的权重参数。通过加入W₁的L1和L2正则项，让网络能自适应地调整特征融合的权重。

自适应融合模块后接全连接和softmax层，softmax层输出样本分别对应各个类别的概率，依据概率最大准则，选择概率最大的类作为中心像素最终的分类结果。

步骤3：将同一像素点对应的局部图像块和全局图像块分别输入两条支路，以最小化交叉熵损失函数为目标训练有效的高光谱图像分类模型，并利用自步学习框架选择训练数据。

将训练样本集I1和P1中代表同一中心像素的样本I_j和p_j分别输入到局部空谱特征提取支路和全局空间特征提取支路中，通过网络前向传播计算出交叉熵损失，公式如下：

其中K代表类别数，M代表训练样本数量，p_c(j)代表第j个样本属于类别c的预测概率，c(j)代表第j个样本的预测标签，c_t(j)代表其真实标签，z_i为softmax层输入。训练时通过最小化交叉熵损失更新网络参数，直至达到最大迭代次数。

由于高光谱图像不同类别的数据分类难度不一样，且数据量大，按照随机顺序训练样本的方法不利于模型的收敛和参数更新。因此在本发明中利用自步学习按照分类难度从易到难选择样本训练网络，有利于加速网络收敛，提升模型泛化能力。

自步学习框架先选择损失值小的对应图像块用于训练更新网络参数，然后通过参数衰减逐步引入更多的困难样本，直至所有样本被选择。

设训练集特征与标签为

x_i∈D是第i个训练样本的特征，y_i∈D是对应样本的类别标签。交叉熵损失函数表示为L(σ₁(x_i,w),y_i)，代表样本标签y_i和类别得分σ₁(x_i,w)的损失值，类别得分σ₁(x_i,w)是网络输出对应样本标签y_i的预测概率，w是需要学习的模型参数。

本文基于自步学习框架下的目标损失函数E的优化规则如下：

R(w)是正则项(可取L1范式加L2范式)，用于提升模型泛化性能。v_i是二分变量，v_i＝0代表该训练样本不送入网络训练，v_i＝1代表该训练样本送入网络训练，公式如下：

λ是自步学习参数，用来控制每次加入网络训练的样本数量。在训练模型时，开始初始化较小的λ值，目标函数优化过程倾向于选择损失很小的样本。随着迭代次数的增加，逐渐增大λ的值，越来越多的困难样本被选择，完成粗模型到精细模型的参数更新。当相邻两次迭代的交叉熵损失之差小于阈值T，则更新λ为原来的1.1倍，选择更多训练样本进行下一轮迭代，直至迭代次数达到最大设定值，结束训练。

步骤4：训练结束后，把测试集数据输入网络，得到模型输出的预测类别。

实施例

如图1所示，本发明基于自步学习双流多尺度密集连接网络的高光谱图像分类方法具体实现步骤如下：

1a、读入维度为W×H×C的高光谱图像X₀，其中W、H和C分别代表高光谱图像的宽度、高度和光谱维度，像素共有K个类别。

对高光谱图像进行非监督波段选择降维得到C2个重要波段图，降维后的高光谱图像X₁维度为W×H×C2。

设D_KL(i,j)为高光谱图像第j个波段相对于第i个波段的K-L散度，O(i,j)为高光谱图像第j个波段和第i个波段图像矩阵间的欧式距离，A(i,j)为综合差异值，公式如下：

A(i,j)＝δD_KL(i,j)+ξO(i,j)

其中，δ和ξ为可调系数(根据实际分类效果调整)，则高光谱图像的全波段综合差异值矩阵A可表示如下：

设需去除波段的集合为S，初始为

每次选择一个波段i，并寻找最小的A(i,j),j≠i，对应波段标号为td，即第td个波段与第i个波段信息相似度最高，应去除波段td，则S＝S∪{td}，综合差异值矩阵A去除第td行和第td列。利用该方法逐次去除冗余波段，当S中元素个数等于C-C2时，迭代终止，X₀去除集合S中所有波段，得到降维后的重要波段图像X₁。

1b、分割图像块：在高光谱图像X₀上以每个像素点为中心进行逐像素点滑动，本例中选择7×7的滑动窗口，每次滑动一个像素点，每个样本图像块的维度为7×7×C，得到样本集为I＝{I₁,I₂,...,I_N}，共有N个样本，每个样本以其中心像素的类别为标签，标签集为Y＝{y₁,y₂,...,y_N}。

在降维后的重要波段图X₁上选用尺寸为25×25的滑动窗口提取样本，每个样本图像块维度为25×25×C2，得到样本集P＝{p₁,p₂,...,p_N}，标签集同样为Y＝{y₁,y₂,...,y_N}。

样本集I和P中的样本一一对应，分别输入到局部空谱特征提取支路和全局空间特征提取支路，样本集I用于提取光谱特征和局部空间特征，样本集P用于提取空间多尺度特征。

1c、划分训练集和测试集：将得到的N个样本随机划分为N₁个训练数据和N₂个测试数据。构建的训练样本集为

训练标签集为

构建的测试样本集为

测试标签集为

本例中取N₁＝0.85N，N₂＝0.15N。

本发明在挑选样本构建训练样本集时，针对每个类别分别采用随机挑选的方式，这样选取的训练样本集可以包含所有类别的样本，同时最大可能地将每个类别所包含的所有可能性样本都划分到训练样本集之中。如果直接对N个样本随机挑选，则造成数量较少的某个类别训练数据过少，影响分类结果。

2a、搭建多层Ghost残差网络：输入为训练样本集I1中的图像块(7×7×C),输出尺寸为3×3×C1的局部空谱特征f_l。多层Ghost残差网络由多个Ghost残差单元，SE注意力模块、1×1卷积层和平均池化层(滑动窗口尺寸3×3，步长为2)组成，结构如图5所示。

其中Ghost残差单元提升了网络深度，轻量化的Adv-Ghost模块使得模型参数更少，有效去除光谱冗余信息，SE模块的注意力机制学习不同光谱维间的相关性，1×1卷积层降低特征维度，平均池化层降低特征空间分辨率。

如图3所示，Adv-Ghost模块分两步走，首先采用普通的卷积计算，得到通道较少的中间特征图，然后将其按通道维度切片并分别通过一种或多种线性变换得到更多的特征图，并利用通道方向上的池化操作获得中间特征图的压缩结果，最后将这些特征图和中间特征图拼接到一起，组合成输出特征图。设输入特征图的维度为宽度×高度×通道数Ch，通过普通二维卷积得到包含主要基础特征的中间特征图，其通道数降至Ch1。将中间特征图切片得到Ch1个二维特征，每个二维特征做一种或多种线性变换生成对应数量的单层特征，得到Ch1×bs(bs是倍数)个单层特征。此外，利用通道维度上的最大值池化、平均池化生成中间特征图的压缩特征。最后，将各单层特征、压缩特征和中间特征图按通道维度拼接得到Adv-Ghost模块的输出结果。

如图3所示，每个Ghost残差单元的结构包括第一Adv-Ghost模块，BN+Relu层，第二Adv-Ghost模块和BN层，第一Adv-Ghost模块增加特征图通道数，第二Adv-Ghost模块降低特征图通道数,用于匹配输入输出特征维度。

2b、搭建多尺度密集连接卷积模块：输入为训练样本集P1中的图像块(25×25×C2)，输出尺寸为3×3×C3的全局特征。多尺度密集连接模块结构如图4所示，横向是DenseNet连接结构，纵向是空洞卷积连接(卷积核尺寸为3×3，空洞为3，即卷积核元素间塞入的空格数为3)。

尺寸为25×25×C2的图像块通过横向Dense Net结构生成通道数更高的特征图，通过纵向空洞卷积分别生成空间尺寸为17×17,9×9的特征图，利用密集拼接的方式输出尺寸为9×9×C3的特征，平均池化后输出尺寸为3×3×C3的全局特征f_g。

此结构通过空洞卷积来提升感受野，三条支路从上到下感受野逐步上升，从左到右特征图维度逐步上升，运用Dense Net融合浅层和深层的特征，纵向空洞卷积连接又融合了不同感受野的特征。整体的密集连接结构保证最终的特征具有丰富的全局空间信息，相比于多条独立支路的多尺度特征融合，该结构的空间特征提取效果更好。

2c、搭建自适应融合模块：自适应融合模块将局部空谱特征f_l和全局空间特征f_g分别拉伸得到一维特征f₁和f₂，拉伸过程将三维特征每个通道的二维矩阵按空间顺序排成一维，再按原通道顺序拼接。把f₁和f₂拼接后接两个全连接层加sigmoid激活层得到融合后的特征f，融合方法如下所示：

f＝σ(W₂σ(W₁(concat[f₁,f₂])+β||W₁||₂+γ||W₁||₁))

concat[f₁,f₂]指将特征f₁和f₂拼接为一维特征，W₁是第一个全连接网络的权重参数，||W₁||₂和||W₁||₁分别是W₁的L2和L1范数，β和γ是可调的正则化系数，σ是sigmoid激活函数，W₂是第二个全连接网络的权重参数。通过加入W₁的L1和L2正则项，让网络能自适应地调整特征融合的权重。

自适应融合模块后接全连接和softmax层，softmax层输出样本分别对应K个类别的概率，依据概率最大准则，选择概率最大的类作为中心像素最终的分类结果。

2d、整体框图如图2所示，上支路为局部空谱特征提取支路，用多层Ghost残差网络提取7×7×C图像块中心像素的局部空间特征和光谱特征；下支路为全局空间特征提取支路，用多尺度密集连接卷积网络提取25×25×C2图像块中心像素的全局空间特征。最后通过自适应融合上下两支路的局部和全局特征，获得更好的中心像素特征表达，提升分类精度。

3a、训练数据：将训练样本集I1和P1中代表同一中心像素的样本I_j和p_j分别输入到局部空谱特征提取支路和全局空间特征提取支路中，通过网络前向传播计算出交叉熵损失，公式如下：

其中K代表类别数，M代表训练样本数量，p_c(j)代表第j个样本属于类别c的预测概率，c(j)代表第j个样本的预测标签，c_t(j)代表其真实标签，z_i(j)为softmax层输入，代表第j个样本属于类别i的预测值。训练时通过最小化交叉熵损失更新网络参数，直至达到最大迭代次数。

利用自步学习框架选择训练数据：由于高光谱图像不同类别的数据分类难度不一样，且数据量大，按照随机顺序训练样本的方法不利于模型的收敛和参数更新。因此在本发明中利用自步学习按照分类难度从易到难选择样本训练网络，有利于加速网络收敛，提升模型泛化能力。自步学习框架先选择训练误差小的对应图像块用于训练更新网络参数，然后通过参数衰减逐步引入更多的困难样本，直至所有样本被选择。

设训练集为

x_i∈D是第i个训练样本的特征，y_i∈D是对应样本的类别标签。交叉熵损失函数表示为L(σ₁(x_i,w),y_i)，代表样本标签y_i和类别得分σ₁(x_i,w)的损失值，类别得分σ₁(x_i,w)是网络输出对应样本标签y_i的预测概率，w是需要学习的模型参数。

本发明基于自步学习框架下的目标损失函数E的优化规则如下：

R(w)是正则项(可取L1范式加L2范式)，用于提升模型泛化性能。v_i是二分变量，v_i＝0代表该训练样本不送入网络训练，v_i＝1代表该训练样本送入网络训练，公式如下：

λ是自步学习参数，用来控制每次加入网络训练的样本数量。在训练模型时，开始初始化较小的λ值，目标函数优化过程倾向于选择损失很小的样本。随着迭代次数的增加，逐渐增大λ的值，越来越多的困难样本被选择，完成粗模型到精细模型的参数更新。

当相邻两次迭代的交叉熵损失之差小于阈值T，则更新λ为原来的1.1倍，选择更多训练样本进行下一轮迭代，直至迭代次数达到最大设定值，结束训练。

4a、利用训练好的模型对高光谱图像分类，针对胆管癌高光谱图像的分类结果如图6所示。图中从左至右分别为胆管癌高光谱图像选取三通道生成的假彩色图像、医生标注图和算法分类结果图，其中黑色区域为正常组织区域，而白色区域为胆管癌区域。本发明通过有效提取高光谱图像中包含的丰富光谱及形态信息，得到较为准确的分类结果。

本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。

Claims (9)

1.一种基于自步学习双流多尺度密集连接网络的高光谱图像分类方法，其特征在于，包括以下步骤：

步骤1：读入高光谱图像进行预处理，包括非监督波段选择降维和图像分块，划分训练集和测试集；其中，读入维度为W×H×C的高光谱图像X₀，W、H、C分别为图像宽度，高度和波段数；对高光谱图像进行非监督波段选择降维得到C2个重要波段，降维后的高光谱图像X₁维度为W×H×C2；

在高光谱图像X₀上以每个像素点为中心进行逐像素点滑动提取图像块，滑动窗口尺寸为7×7，每次滑动一个像素点，得到样本集I，共N个样本；

在降维后的重要波段图X₁上选用尺寸为25×25的滑动窗口提取样本，得到样本集P，共N个样本；

样本集I和P中的样本一一对应，即两个样本集中对应位置样本中心像素一致；

步骤2：搭建局部空谱特征提取支路和全局空间特征提取支路，两支路特征通过两支路特征自适应融合模块自适应融合，最后接全连接和Softmax层；其中，

所述局部空谱特征提取支路包括图像分块和多层Ghost残差网络，其中多层Ghost残差网络的输入为训练样本集I1中的图像块,输出局部空谱特征f_l；多层Ghost残差网络由多个Ghost残差单元、SE注意力模块、1×1卷积层和平均池化层组成；

所述全局空间特征提取支路包括图像降维分块和多尺度密集连接卷积模块，其中多尺度密集连接卷积模块的输入为训练样本集P1中的图像块，输出全局空间特征；多尺度密集连接卷积模块的结构横向是Dense Net连接结构，纵向是空洞卷积连接；样本集P1中的图像块通过横向Dense Net结构生成通道数更高的特征图，通过纵向空洞卷积生成空间尺寸较低但感受野更大的特征图，利用密集拼接的方式融合多尺度空间特征，平均池化后输出全局空间特征f_g；

两支路特征自适应融合模块将局部空谱特征f_l和全局空间特征f_g分别拉伸得到一维特征f₁和f₂，将f₁和f₂拼接后接两个全连接层加sigmoid激活层得到融合后的特征f，融合方法如下所示：

f＝σ(W₂σ(W₁(concat[f₁,f₂])+β||W₁||₂+γ||W₁||₁))

其中，concat[f₁,f₂]指将特征f₁和f₂拼接为一维特征，W₁是第一个全连接网络的权重参数，||W₁||₂和||W₁||₁分别是W₁的L2和L1范数，β和γ是可调的正则化系数，σ是sigmoid激活函数，W₂是第二个全连接网络的权重参数；通过加入W₁的L1和L2正则项，让网络能自适应地调整特征融合的权重；

自适应融合模块后接全连接和softmax层，softmax层输出样本分别对应各个类别的概率，依据概率最大准则，选择概率最大的类作为中心像素最终的分类结果；

步骤3：将同一像素点对应的局部图像块和全局图像块分别输入两条支路，以最小化交叉熵损失函数为目标训练有效的高光谱图像分类模型，利用自步学习框架选择训练数据；

步骤4：训练结束后，把测试集数据输入网络，得到模型输出的预测类别。

2.如权利要求1所述的基于自步学习双流多尺度密集连接网络的高光谱图像分类方法，其特征在于，划分训练集和测试集：将得到的N个样本随机划分为N₁个训练数据和N₂个测试数据；构建的训练样本集为I1，P1；构建的测试样本集为I2，P2；

所述训练集的划分，针对每个类别分别采用随机挑选的方式，使得选取的训练样本集包含所有类别的样本。

3.如权利要求1所述的基于自步学习双流多尺度密集连接网络的高光谱图像分类方法，其特征在于，所述非监督波段选择降维以综合差异值作为各波段图像间相似度的衡量标准，且综合差异值越低，波段间信息相似度越高，以迭代的方式不断去除相似度较高的冗余波段，直至剩余波段数达预设值C2；其中，

设D_KL(i,j)为高光谱图像第j个波段相对于第i个波段的K-L散度，O(i,j)为高光谱图像第j个波段和第i个波段图像矩阵间的欧式距离，A(i,j)为综合差异值，公式如下：

A(i,j)＝δD_KL(i,j)+ξO(i,j)

其中，δ和ξ为根据实际分类效果调整的可调系数，则高光谱图像的全波段综合差异值矩阵A表示如下：

4.如权利要求1所述的基于自步学习双流多尺度密集连接网络的高光谱图像分类方法，其特征在于，Ghost残差单元的结构包括第一Adv-Ghost模块，BN+Relu层，第二Adv-Ghost模块和BN层；第一Adv-Ghost模块增加特征通道数，第二Adv-Ghost模块降低特征通道数,用于匹配输入输出特征维度；Adv-Ghost模块首先采用普通的卷积计算，得到通道数较少的中间特征图，然后将其在通道维度上切片得到相同通道数的二维特征，每个二维特征做一种或多种线性变换生成对应数量的单层特征；然后利用通道维度上的最大值池化、平均池化生成中间特征图的压缩特征；最后，将各单层特征、压缩特征和中间特征图按通道维度拼接得到Adv-Ghost模块的输出结果；

其中，所述切片操作是指将三维中间特征图垂直分割成多个二维特征，其数目与通道数相同。

5.如权利要求1所述的基于自步学习双流多尺度密集连接网络的高光谱图像分类方法，其特征在于，步骤3中，将训练样本集I1和P1中代表同一中心像素的样本I_j和p_j分别输入到局部空谱特征提取支路和全局空间特征提取支路中，通过网络前向传播计算出交叉熵损失，公式如下：

其中，K代表类别数，M代表训练样本数量，p_c(j)代表第j个样本属于类别c的预测概率，c(j)代表第j个样本的预测标签，c_t(j)代表其真实标签，z_i(j)为softmax层输入,代表第j个样本属于类别i的预测值。

6.如权利要求1所述的基于自步学习双流多尺度密集连接网络的高光谱图像分类方法，其特征在于，步骤3中，训练时通过最小化交叉熵损失更新网络参数，直至达到最大迭代次数。

7.如权利要求1所述的基于自步学习双流多尺度密集连接网络的高光谱图像分类方法，其特征在于，步骤3中，利用自步学习按照分类难度从易到难选择样本训练网络：自步学习框架先选择损失值小的对应图像块用于训练更新网络参数，然后通过参数衰减逐步引入更多的困难样本，直至所有样本被选择。

8.如权利要求1所述的基于自步学习双流多尺度密集连接网络的高光谱图像分类方法，其特征在于，设训练集特征及标签为

x_i∈D是第i个训练样本的特征，y_i∈D是对应样本的类别标签；交叉熵损失函数表示为L(σ₁(x_i,w),y_i)，代表样本标签y_i和类别得分σ₁(x_i,w)的损失值，类别得分σ₁(x_i,w)是网络输出对应样本标签y_i的预测概率，w是需要学习的模型参数。

9.如权利要求7所述的基于自步学习双流多尺度密集连接网络的高光谱图像分类方法，其特征在于，基于自步学习框架下的目标损失函数E的优化规则如下：

R(w)是正则项；v_i是二分变量，v_i＝0代表该训练样本不送入网络训练，v_i＝1代表该训练样本送入网络训练，公式如下：

其中，λ是自步学习参数；在训练模型时，当相邻两次迭代的交叉熵损失之差小于阈值T，则更新λ为原来的1.1倍，选择更多训练样本进行下一轮迭代，直至迭代次数达到最大设定值，结束训练。

Images