CN113989679A - 高光谱图像特征处理方法、分类方法、装置、系统及存储介质 - Google Patents

Abstract

本申请公开了一种高光谱图像特征处理方法、分类方法、装置、系统及存储介质，高光谱图像特征处理方法为先接收高光谱图像，然后将高光谱图像的空谱域信息分别输入至N个特征提取模块，对应得到至少N级特征图，然后对至少N级特征图进行融合处理，得到融合特征图，其中，N为大于等于2的正整数，至少N级特征图具有不同尺度的空谱特征。与单一尺度的空谱特征图相比，本申请融合了多个不同尺度的空谱特征的融合特征图的判别能力更突出，有利于提高后续对高光谱图像分类的准确率。

Description

高光谱图像特征处理方法、分类方法、装置、系统及存储介质

技术领域

本申请涉及图像处理技术领域，特别涉及一种高光谱图像特征处理方法、分类方法、装置、系统及存储介质。

背景技术

与传统的RGB图像相比，高光谱图像包含更加丰富的地物空间信息和光谱信息，在许多方面得到了广泛的应用。例如，在农业领域，高光谱图像可以监视农作物长势情况，对农作物做产量估计；在军事领域，高光谱图像可以通过不同的光谱特性做军事目标侦察和伪装识别；在地质勘测领域，可以根据不同矿产的光谱性质不同的特点做矿产资源的精细识别、填图、勘测。

然而高光谱图像的标记样本较为稀缺，通过采用小样本学习算法可以在一定程度高光谱图像的标记样本稀缺问题，但是，目前的小样本学习算法通常使用单一尺度的特征来进行预测，忽视了其他尺度的特征，导致后续的高光谱图像分类的准确率较低。

发明内容

本申请旨在至少解决现有技术中存在的技术问题之一。为此，本申请提出一种高光谱图像特征处理方法、分类方法、装置、系统及存储介质，能够得到融合了多个不同尺度的空谱特征的融合特征图，与单一尺度的空谱特征图相比，更具备判别能力。

本申请第一方面实施例提供了一种高光谱图像特征处理方法，包括：

接收高光谱图像；

将所述高光谱图像的空谱域信息分别输入至N个特征提取模块，对应得到至少N级特征图；其中，N为大于等于2的正整数，所述至少N级特征图具有不同尺度的空谱特征；

对所述至少N级特征图进行融合处理，得到融合特征图。

根据本申请第一方面实施例的高光谱图像特征处理方法，至少具有如下有益效果：本申请实施例的高光谱图像特征处理方法，先接收高光谱图像，然后将高光谱图像的空谱域信息分别输入至N个特征提取模块，对应得到至少N级特征图，然后对至少N级特征图进行融合处理，得到融合特征图，其中，N为大于等于2的正整数，至少N级特征图具有不同尺度的空谱特征。与单一尺度的空谱特征图相比，本申请融合了多个不同尺度的空谱特征的融合特征图的判别能力更突出，有利于提高后续对高光谱图像分类的准确率。

根据本申请第一方面的一些实施例，所述特征提取模块包括至少一个卷积块和至少一个注意力块；

所述将所述高光谱图像的空谱域信息分别输入至N个特征提取模块，对应得到至少N级特征图，包括：

将所述高光谱图像的空谱域信息输入至第S个特征提取模块；其中，S＝1，2.....N；

通过所述卷积块对所述高光谱图像进行卷积处理，通过所述注意力块对所述高光谱图像使用注意力权重进行更新处理，得到第S级特征图。

根据本申请第一方面的一些实施例，所述第S个特征提取模块包括S+1个卷积块和S个注意力块；

所述通过所述卷积块对所述高光谱图像进行卷积处理，通过所述注意力块对所述高光谱图像使用注意力权重进行更新处理，得到第S级特征图，包括：

通过第1个所述卷积块对所述高光谱图像进行第1次卷积处理，得到第1次卷积处理结果；其中，所述第1次卷积处理结果的空谱特征的尺度为所述高光谱图像的空谱域信息尺度的一半；

通过第L个所述注意力块对第L次卷积处理结果进行第L次注意力权重更新处理，得到通过第L次注意力权重更新处理后的特征图；其中，L＝1，2，.....S；

通过第L+1个所述卷积块对第L次注意力权重更新后的特征图进行第L+1次卷积处理，得到第L+1次卷积处理结果；其中，所述第L+1次卷积处理结果的空谱特征的尺度为所述第L次注意力权重更新处理后的特征图的空谱特征尺度的一半；

直至L＝S，将第L+1次卷积处理结果作为所述第S级特征图。

根据本申请第一方面的一些实施例，所述通过第L个所述注意力块对第L次卷积处理结果进行第L次注意力权重更新处理，得到通过第L次注意力权重更新处理后的特征图，包括：

将所述第L次卷积处理结果在通道维度上分成若干组特征数据；

将每组所述特征数据分成第一特征数据和第二特征数据；

根据所述第一特征数据得到通道注意力权重；

根据所述第二特征数据得到空间注意力权重；

根据所述通道注意力权重与所述空间注意力权重，得到所述第L次注意力权重更新处理后的特征图。

根据本申请第一方面的一些实施例，所述根据所述第一特征数据得到通道注意力权重，包括：

对所述第一特征数据进行全局平均池化；

对经过全局平均池化后的所述第一特征数据进行线性处理；

将经过线性处理后的所述第一特征数据输入至第一激活函数，得到所述通道注意力权重。

根据本申请第一方面的一些实施例，所述根据所述第二特征数据得到空间注意力权重，包括：

对所述第二特征数据进行分组归一化；

对经过分组归一化后的所述第二特征数据进行线性处理；

将经过线性处理后的所述第二特征数据输入至第一激活函数，得到所述空间注意力权重。

根据本申请第一方面的一些实施例，所述对所述至少N级特征图进行融合处理，得到融合特征图，包括：

将所述N级特征图按空谱特征的尺度由大到小依次排序；

对第N级特征图进行上采样，以将所述第N级特征图的空谱特征的尺度扩大至与第N-1级特征图的空谱特征的尺度相等；

将进行上采样后的所述第N级特征图与所述第N-1级特征图相加并输入至第二激活函数，得到第1次相加结果；

对第S次相加结果进行上采样，以将所述第S次相加结果的空谱特征的尺度扩大至与第N-1-S级特征图的空谱特征的尺度相等；其中，S＝1，2.....N-2；

将进行上采样后的所述第S次相加结果与所述第N-1-S级特征图相加并输入至第二激活函数，得到第S+1次相加结果；

直至S＝N-2，将第S+1次相加结果作为所述融合特征图。

本申请第二方面实施例提供了一种高光谱图像分类方法，包括：

根据本申请第一方面实施例所述的高光谱图像特征处理方法，得到所述融合特征图；

根据所述融合特征图，对所述高光谱图像进行分类。

本申请的第三方面实施例提供了一种高光谱图像特征处理装置，包括：

接收单元，所述接收单元用于接收高光谱图像；

特征提取单元，所述特征提取单元用于将所述高光谱图像的空谱域信息分别输入至N个特征提取模块，对应得到至少N级特征图；其中，N为大于等于2的正整数，所述至少N级特征图具有不同尺度的空谱特征；

融合单元，所述融合单元用于对所述至少N级特征图进行融合处理，得到融合特征图。

本申请第四方面实施例提供了一种高光谱图像处理系统，包括：

至少一个存储器；

至少一个处理器；

至少一个程序；

所述程序被存储在所述存储器中，所述处理器执行至少一个所述程序以实现：

如本申请第一方面实施例所述的高光谱图像特征处理方法；或者，

如本申请第二方面实施例所述的高光谱图像分类方法。

本申请第五方面实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行：

如本申请第一方面实施例所述的高光谱图像特征处理方法：或者，

如本申请第二方面实施例所述的高光谱图像分类方法。

本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请的附加方面和优点结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例的用于执行高光谱图像特征处理方法的装置架构的示意图；

图2为本申请实施例的高光谱图像特征处理方法的步骤图；

图3为本申请实施例的高光谱图像特征处理方法的特征提取的步骤图；

图4为本申请实施例的高光谱图像特征处理方法的特征提取的步骤图；

图5为本申请实施例的高光谱图像特征处理方法的整体框架图；

图6为本申请实施例的高光谱图像特征处理方法的注意力更新处理的步骤图；

图7为本申请实施例的高光谱图像特征处理方法的注意力更新处理的步骤图；

图8为本申请实施例的高光谱图像特征处理方法的注意力更新处理的步骤图；

图9为本申请实施例的高光谱图像特征处理方法的融合的步骤图；

图10为本申请实施例的高光谱图像分类方法的步骤图；

图11为本申请实施例的高光谱图像处理系统的框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

在本申请的描述中，如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本申请的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本申请中的具体含义。

在相关技术中，目前通过采用小样本学习(Few-shot Learning)算法可以在一定程度高光谱图像的标记样本稀缺问题，作为一种迁移学习，小样本学习算法在训练的过程中只依赖于少量的标记样本，并能快速泛化到仅包含少量具备监督信息的样本的新任务中，可以解决高光谱图像存在的缺乏标记样本问题。但是，目前的小样本学习算法通常使用单一尺度的特征来进行预测，忽视了其他尺度的特征，导致后续的高光谱图像分类的准确率较低。

基于此，本申请实施例提供一种高光谱图像特征处理方法、分类方法、装置、系统及存储介质，能够得到融合了多个不同尺度的空谱特征的融合特征图，与单一尺度的空谱特征图相比，更具备判别能力。由于高光谱图像的拍摄区域复杂以及野外测绘的危险性，获取大量的高光谱图像标记样本需要耗费许多的人力和物资，而标记样本的不足则使得现有的深度学习算法在高光谱图像上的应用受到了很大的限制。

参照图1，图1为本申请实施例提供的用于执行高光谱图像特征处理方法的装置架构的示意图。在图1的示例中，该装置架构包括接收单元、特征提取单元和融合单元。

其中，接收单元与特征提取单元通信连接，融合单元与特征提取单元通信连接。

接收单元用于与外部设备连接，例如可以通过蓝牙、wifi或其他通信方式与外部设备连接，接收单元用于接收来自外部设备的高光谱图像，然后将高光谱图像发送至特征提取单元。

特征提取单元包括N个特征提取模块，通过N个特征提取模块对高光谱图像进行特征提取，得到至少N级特征图，至少N级特征图具有不同的尺度的空谱特征，N为大于等于2的正整数，然后将至少N级特征图发送至融合单元。第S个特征提取模块包括S+1个卷积块和S个注意力块，S＝1，2.....N，例如，N＝3，则特征提取单元包括3个特征提取模块，分别为第1特征提取模块、第2特征提取模块、第3特征提取模块。第1特征提取模块包括2个卷积块和1个注意力块，第2特征提取模块包括3个卷积块和2个注意力块，第3特征提取模块包括4个卷积块和3个注意力块，每1个注意力块设于每2个卷积块之间。将高光谱图像的空谱域信息输入至第1特征提取模块，得到第1级特征图，将高光谱图像的空谱域信息输入至第2特征提取模块，得到第2级特征图，将高光谱图像的空谱域信息输入至第3特征提取模块，得到第3级特征图。在将高光谱图像的空谱域信息输入至3个特征提取模块时，通过卷积块对高光谱图像进行卷积处理，以缩小高光谱图像的空谱特征的尺度，每进行一次卷积处理，高光谱图像的空谱特征的尺度缩小一半，通过注意力块对高光谱图像进行注意力权重更新处理，能够使得到的特征图关注对分类结果影响较大的空间-光谱特征分量，提高空间-光谱特征分量的权重。由于每进行一次卷积处理，高光谱图像的空谱特征的尺度缩小一半，因此第3级特征图的空谱特征的尺度为第2级特征图的空谱特征的尺度的一半，第2级特征图的空谱特征的尺度为第1级特征图的空谱特征的尺度的一半。

融合单元，融合单元包括上采样模块、相加模块、激活模块。通过上采样模块对特征图进行上采样，以将特征图的空谱特征的尺度放大一倍；通过相加模块将空谱特征尺度相同的2个特征图进行相加；通过激活模块对相加后的特征图进行进行非线性处理，能够使特征图的特征向量映射到一个非线性空间中，使得特征图相加的结果更具泛化性，其中，激活模块采用的激活函数为ReLU(Rectified Linear Unit)函数。例如，将第1级特征图、第2级特征图、第3级特征图进行融合的过程如下：

通过上采样模块对第3级特征图进行上采样，以将第3级特征图的空谱特征的尺度扩大至与第2级特征图的空谱特征的尺度相等；

通过相加模块将进行上采样后的第3级特征图与第2级特征图相加，并通过激活模块进行非线性处理，得到第1次相加结果；

通过上采样模块对第1次相加结果进行上采样，以将第1次相加结果的空谱特征的尺度扩大至与第1级特征图的空谱特征的尺度相等；

通过相加模块将进行上采样后的第1次相加结果与第1级特征图相加，并通过激活模块进行非线性处理，得到第2次相加结果；

将第2次相加结果作为融合特征图。

本申请实施例描述的装置架构以及应用场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域技术人员可知，随着装置架构的演变和新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

本领域技术人员可以理解的是，图1中示出的装置架构并不构成对本申请实施例的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

在图1所示的装置架构中，各个单元可以分别调用其储存的高光谱图像特征处理程序，以执行基于高光谱图像特征处理方法。

参照图2，第一方面，本申请实施例提供了一种高光谱图像特征处理方法，能够应用于图1所示的装置架构，高光谱图像特征处理方法包括但不限于步骤S100、步骤S200和步骤S300。

步骤S100，接收高光谱图像；

例如，通过搭载在不同空间平台上的高光谱传感器，即成像光谱仪，在电磁波谱的紫外、可见光、近红外和中红外区域，以数十至数百个连续且细分的光谱波段对目标区域同时成像，从而得到高光谱图像。而接收单元与成像光谱仪通信连接，成像光谱仪得到高光谱图像后，将高光谱图像发送至接收单元，以使接收单元能够接收到高光谱图像。

步骤S200，将高光谱图像的空谱域信息分别输入至N个特征提取模块，对应得到至少N级特征图；其中，N为大于等于2的正整数，至少N级特征图具有不同尺度的空谱特征；

在步骤S200中，可以先对高光谱图像进行局部编码，例如对高光谱图像进行预设维度的局部编码，能够融合高光谱图像的空间信息，然后再将经过局部编码后的高光谱图像的空谱域信息分别输入至N个特征提取模块，以得到至少N级特征图，至少N级特征图具有不同尺度的空谱特征，各级特征图的样本维度相等，各级特征图的通道维度相等。

步骤S300，对至少N级特征图进行融合处理，得到融合特征图。

本申请实施例的高光谱图像特征处理方法，能够应用于高光谱图像的小样本学习中。先接收高光谱图像，然后将高光谱图像的空谱域信息分别输入至N个特征提取模块，对应得到至少N级特征图，然后对至少N级特征图进行融合处理，得到融合特征图，其中，N为大于等于2的正整数，至少N级特征图具有不同尺度的空谱特征。与单一尺度的空谱特征图相比，融合了多个不同尺度的空谱特征的融合特征图的判别能力更突出，有利于提高后续对高光谱图像分类的准确率。

在卷积神经网络(Convolutional Neural Network，CNN)中，底层特征分辨率更高，包含更多细粒度信息，但是其语义性更低，噪声更多。高层特征具有更强的语义信息，但是分辨率很低，对细节的感知能力较差。高效融合多个尺度的特征可以有效的提高模型的性能。多尺度特征融合最初广泛应用在目标检测和图像分割中。本申请实施例进行特征融合的目的，是把从高光谱图像中提取的不同尺度的空谱特征，合并成一个比输入特征更具判别能力的特征。

可以理解的是，特征提取模块包括至少一个卷积块和至少一个注意力块；参照图3，步骤S200可以包括但不限于步骤S210和步骤S220。

步骤S210，将高光谱图像的空谱域信息输入至第S个特征提取模块；其中，S＝1，2.....N；

步骤S220，通过卷积块对高光谱图像进行卷积处理，通过注意力块对高光谱图像使用注意力权重进行更新处理，得到第S级特征图。

通过卷积块对高光谱图像进行卷积处理，以缩小高光谱图像的空谱特征的尺度，每进行一次卷积处理，高光谱图像的空谱域信息的尺度缩小一半，空谱域信息的尺度即是空谱特征的尺度，通过注意力块对高光谱图像使用注意力权重进行更新处理，能够使得到的特征图关注对分类结果影响较大的空间-光谱特征分量，提高空间-光谱特征分量的权重。

可以理解的是，第S个特征提取模块包括S+1个卷积块和S个注意力块；参照图4，步骤S220可以包括但不限于步骤S221、步骤S222、步骤S223和步骤S224。

步骤S221，通过第1个卷积块对高光谱图像进行第1次卷积处理，得到第1次卷积处理结果；其中，第1次卷积处理结果的空谱特征的尺度为高光谱图像的空谱域信息尺度的一半；

步骤S222，通过第L个注意力块对第L次卷积处理结果进行第L次注意力权重更新处理，得到通过第L次注意力权重更新处理后的特征图；其中，L＝1，2，.....S；

步骤S223，通过第L+1个卷积块对第L次注意力权重更新处理后的特征图进行第L+1次卷积处理，得到第L+1次卷积处理结果；其中，第L+1次卷积处理结果的空谱特征的尺度为第L次注意力权重更新处理后的特征图的空谱特征尺度的一半；

步骤S224，直至L＝S，将第L+1次卷积处理结果作为第S级特征图。

例如，当N＝3时，参照图5，图5为当N＝3时，本申请实施例的高光谱图像特征处理方法的整体框架图。由于N＝3，则S＝1，2，3，则有3个特征提取模块，分别为第1特征提取模块、第2特征提取模块、第3特征提取模块。第1特征提取模块包括2个卷积块和1个注意力块，第2特征提取模块包括3个卷积块和2个注意力块，第3特征提取模块包括4个卷积块和3个注意力块，每1个注意力块设于每2个卷积块之间。将高光谱图像的空谱域信息输入至第1特征提取模块，得到第1级特征图，将高光谱图像的空谱域信息输入至第2特征提取模块，得到第2级特征图，将高光谱图像的空谱域信息输入至第3特征提取模块，得到第3级特征图。例如，当S＝3时，L＝1，2，3，将高光谱图像的空谱域输入至第3特征提取模块，得到第3级特征图的过程为：

通过第1个卷积块对高光谱图像进行第1次卷积处理，得到第1次卷积处理结果；第1次卷积处理结果的空谱特征的尺度为高光谱图像的空谱域信息尺度的一半；

通过第1个注意力块对第1次卷积处理结果进行第1次注意力权重更新处理，得到通过第1次注意力权重更新处理后的特征图；

通过第2个卷积块对第1次注意力权重更新处理后的特征图进行第2次卷积处理，得到第2次卷积处理结果；第2次卷积处理结果的空谱特征的尺度为第1次注意力权重更新处理后的空谱特征的尺度的一半；

通过第2个注意力块对第2次卷积处理结果进行第2次注意力权重更新处理，得到通过第2次注意力权重更新处理后的特征图；

通过第3个卷积块对第2次注意力权重更新处理后的特征图进行第3次卷积处理，得到第3次卷积处理结果；第3次卷积处理结果的空谱特征的尺度为第2次注意力权重更新处理后的特征图的空谱特征的尺度的一半；

通过第3个注意力块对第3次卷积处理结果进行第3次注意力权重更新处理，得到通过第3次注意力权重更新处理后的特征图；

通过第4个卷积块对第3次注意力权重更新处理后的特征图进行第4次卷积处理，得到第4次卷积处理结果；第4次卷积处理结果的空谱特征的尺度为第3次注意力权重更新处理后的特征图的空谱特征的尺度的一半；

将第4次卷积处理结果作为第3级特征图。

可以理解的是，卷积块包括卷积层(conv)、归一化层(batchnormlize)、激活函数层和最大池化层(maxpool2d)。卷积层可以是n-d卷积层，表征n维卷积层，n可以取值为1或1以上。例如，n可以取值为1，则1-d卷积层中的计算公式为：

在1-d卷积层中的计算公式中，v为卷积输出的特征图，B和M分别为卷积核沿空谱特征维度的尺寸，r为偏置矩阵，k为卷积核矩阵矩阵，b与m分别为k的索引，z为特征图的索引，i为特征图的索引，j为特征图的索引，f使用ReLU作为激活函数，ReLU的函数形式如下：

f(x)＝max(0,x)

x为ReLU的输入。

可以理解的是，参照图6，步骤S222可以包括但不限于步骤S500、步骤S510、步骤S520、步骤S530和步骤S540。

步骤S500，将第L次卷积处理结果在通道维度上分成若干组特征数据；

步骤S510，将每组特征数据分成第一特征数据和第二特征数据；

步骤S520，根据第一特征数据得到通道注意力权重；

步骤S530，根据第二特征数据得到空间注意力权重；

步骤S540，根据通道注意力权重与空间注意力权重，得到第L次注意力权重更新处理后的特征图。

例如，第L次卷积处理结果为X_(B，C，H)，B为样本维度，C为通道维度，H为空谱特征的尺度，将L次卷积处理结果在通道维度上分成g组特征数据，g为大于等于2的正整数，则每组特征数据的通道数为C/g，则第L次卷积处理结果可以表示为：

X_(B,C,H)＝{X_1(B,C/g,H),X_2(B,C/g,H)......,X_g(B,C/g,H)}

将每组特征数据分成第一特征数据和第二特征数据，根据第一特征数据得到输入特征图的通道注意力权重，根据第二特征数据得到输入特征图的空间注意力权重，然后根据通道注意力权重与空间注意力权重，将所有组的通道注意力权重与空间注意力权重直接拼接，并在通道维度上随机调换通道注意力权重的顺序，得到第L次注意力权重更新处理后的特征图，如此，使得第L次注意力权重更新处理后的特征图能够提高第L次卷积处理结果的空间-光谱特征分量的权重，且由于在通道维度上随机调换了通道注意力权重的顺序，使得第L次注意力权重更新处理后的特征图具有一定的学习能力。

可以理解的是，参照图7，步骤S520可以包括但不限于步骤S521，步骤S522和步骤S523。

步骤S521，对第一特征数据进行全局平均池化；

步骤S522，对经过全局平均池化后的第一特征数据进行线性处理；

步骤S523，将经过线性处理后的第一特征数据输入至第一激活函数，得到通道注意力权重。第一激活函数为sigmoid函数。

可以理解的是，参照图8，步骤S530可以包括但不限于步骤S531、步骤S532和步骤S533。

步骤S531，对第二特征数据进行分组归一化(GroupNorm)；

分组归一化的计算公式具体为：

其中，X表征输入数据，Y表征输出数据，E表征求平均算子，Var表征求标准差算子，γ和β是可学习的映射变换参数，ε用以防止分母为零。

步骤S532，对经过分组归一化后的第二特征数据进行线性处理；

步骤S533，将经过线性处理后的第二特征数据输入至第一激活函数，得到空间注意力权重。

可以理解的是，参照图9，步骤S300可以包括但不限于步骤S310、步骤S320、步骤S330、步骤S340、步骤S350和步骤S360。

步骤S310，将N级特征图按空谱特征的尺度由大到小依次排序；

步骤S320，对第N级特征图进行上采样(Upsample)，以将第N级特征图的空谱特征的尺度扩大至与第N-1级特征图的空谱特征的尺度相等；

步骤S330，将进行上采样后的第N级特征图与第N-1级特征图相加并输入至第二激活函数，得到第1次相加结果；

在步骤S330中，第二激活函数为ReLU(Rectified Linear Unit)函数，通过第二激活函数对特征图进行非线性处理，能够使特征图的特征向量映射到一个非线性空间中，使得第1次相加结果更具泛化性。

步骤S340，对第S次相加结果进行上采样，以将第S次相加结果的空谱特征的尺度扩大至与第N-1-S级特征图的空谱特征的尺度相等；其中，S＝1，2.....N-2；

步骤S350，将进行上采样后的第S次相加结果与第N-1-S级特征图相加并输入至第二激活函数，得到第S+1次相加结果；

步骤S360，直至S＝N-2，将第S+1次相加结果作为融合特征图。

例如，参照图5，N＝3，将高光谱图像的空谱域信息输入至第1特征提取模块，得到第1级特征图，将高光谱图像的空谱域信息输入至第2特征提取模块，得到第2级特征图，将高光谱图像的空谱域信息输入至第3特征提取模块，得到第3级特征图。第1级特征图、第2级特征图、第3级特征图的空谱特征的尺度逐级增大。将第1级特征图、第2级特征图、第3级特征图进行融合得到融合特征图的过程如下：

对第3级特征图进行上采样，以将第3级特征图的空谱特征的尺度扩大至与第2级特征图的空谱特征的尺度相等；

将进行上采样后的第3级特征图与第2级特征图相加并输入至第二激活函数，得到第1次相加结果；

对第1次相加结果进行上采样，以将第1次相加结果的空谱特征的尺度扩大至与第1级特征图的空谱特征的尺度相等；

将进行上采样后的第1次相加结果与第1级特征图相加并输入至第二激活函数，得到第2次相加结果；

将第2次相加结果作为融合特征图。

可以理解的是，本申请实施例的高光谱图像特征处理方法，在得到融合特征图后，将融合特征图在光谱维度和通道维度上转换为一维张量，得到融合特征向量，例如融合特征的尺度为200×32×12，其中，200为样本维度，32为通道维度，12为空谱特征的尺度，在光谱维度和通道维度上转换为一维张量后，融合特征向量的尺度为200×384。融合特征向量可以用于计算高光谱图像的各类原型，通过融合特征向量计算得到的各类原型，在进行分类识别时，准确率更高。

下面参照图1至图9，以一个具体的实施例详细描述应用本申请第一方面实施例的高光谱图像特征处理方法。值得理解的是，下述描述仅是示例性说明，而不是对本申请的具体限制。

图5为当N＝3时，本申请实施例的高光谱图像特征处理方法的整体框架图。由于N＝3，则S＝1，2，3，则有3个特征提取模块，分别为第1特征提取模块、第2特征提取模块、第3特征提取模块。第1特征提取模块包括2个卷积块和1个注意力块，第2特征提取模块包括3个卷积块和2个注意力块，第3特征提取模块包括4个卷积块和3个注意力块，每1个注意力块设于每2个卷积块之间。

本申请实施例的高光谱图像特征处理方法，先将高光谱图像进行局部编码，以融合高光谱图像的空间信息，然后将经过局部编码的高光谱图像的空谱域信息分别输入至第1特征提取模块、第2特征提取模块、第3特征提取模块，对应得到第1级特征图、第2级特征图、第3级特征图，通过卷积块对高光谱图像进行卷积处理，以缩小高光谱图像的空谱域信息尺度，每进行一次卷积处理，高光谱图像的空谱域信息尺度缩小一半，通过注意力块对高光谱图像使用注意力权重进行更新处理，能够使得到的特征图关注对分类结果影响较大的空间-光谱特征分量，提高空间-光谱特征分量的权重。

高光谱图像每经过一次卷积块的卷积处理，空谱特征的尺度缩小一半，设高光谱图像的尺寸为(B，C，H)。B为样本维度，C为通道维度，H为空谱特征的尺度，则第1级特征图的尺寸为(B，C，H/4)，第2级特征图的尺寸为(B，C，H/8)，第3级特征图的尺寸为(B，C，H/16)；例如，将高光谱图像的空谱域信息输入至第3特征提取模块，得到第3级特征图的过程为：

通过第1个卷积块对高光谱图像进行第1次卷积处理，得到第1次卷积处理结果；第1次卷积处理结果的空谱特征的尺度为高光谱图像的空谱域信息尺度的一半，第1次卷积处理结果的尺寸为(B，C，H/2)；

通过第1个注意力块对第1次卷积处理结果进行第1次注意力权重更新处理，得到通过第1次注意力权重更新处理后的特征图；

通过第2个卷积块对第1次注意力权重更新处理后的特征图进行第2次卷积处理，得到第2次卷积处理结果；第2次卷积处理结果的空谱特征的尺度为第1次注意力权重更新处理后的特征图的空谱特征的尺度的一半，第2次卷积处理结果的尺寸为(B，C，H/4)；

通过第2个注意力块对第2次卷积处理结果进行第2次注意力权重更新处理，得到通过第2次注意力权重更新处理后的特征图；

通过第3个卷积块对第2次注意力权重更新处理后的特征图进行第3次卷积处理，得到第3次卷积处理结果；第3次卷积处理结果的空谱特征的尺度为第2次注意力权重更新处理后的特征图的空谱特征的尺度的一半，第3次卷积处理结果的尺寸为(B，C，H/8)；

通过第3个注意力块对第3次卷积处理结果进行第3次注意力权重更新处理，得到通过第3次注意力权重更新处理后的特征图；

通过第4个卷积块对第3次注意力权重更新处理后的特征图进行第4次卷积处理，得到第4次卷积处理结果；第4次卷积处理结果的空谱特征的尺度为第3次注意力权重更新处理后的特征图的空谱特征的尺度的一半，第4次卷积处理结果的尺寸为(B，C，H/16)；

将第4次卷积处理结果作为第3级特征图。

在得到第1级特征图、第2级特征图、第3级特征图后，将第1级特征图、第2级特征图、第3级特征图进行融合，过程如下：

对第3级特征图进行上采样，以将第3级特征图的空谱特征的尺度扩大至与第2级特征图的空谱特征的尺度相等；

将进行上采样后的第3级特征图与第2级特征图相加并输入至第二激活函数，得到第1次相加结果；

对第1次相加结果进行上采样，以将第1次相加结果的空谱特征的尺度扩大至与第1级特征图的空谱特征的尺度相等；

将进行上采样后的第1次相加结果与第1级特征图相加并输入至第二激活函数，得到第2次相加结果；

将第2次相加结果作为融合特征图。

在得到融合特征图后，将融合特征图在光谱维度和通道维度上转换为一维张量，得到融合特征向量，例如融合特征的尺度为200×32×12，其中，200为样本维度，32为通道维度，12为空谱特征维度，在空谱特征维度和通道维度上转换为一维张量后，融合特征向量的尺度为200×384。融合特征向量可以用于计算高光谱图像的各类原型，通过融合特征向量计算得到的各类原型，在进行分类识别时，准确率更高。

第二方面，参照图10，本申请实施例提供了一种高光谱图像分类方法，包括但不限于步骤S910和步骤S920。

步骤S910，根据本申请第一方面实施例的高光谱图像特征处理方法，得到融合特征图；

步骤S920，根据融合特征图，对高光谱图像进行分类。

本申请实施例的高光谱图像分类方法，先通过第一方面实施例的高光谱图像特征处理方法，得到融合特征图，然后根据融合特征图，将融合特征图在空谱特征维度和通道维度上转换为一维张量，得到融合特征向量，例如融合特征的尺度为200×32×12，其中，200为样本维度，32为通道维度，12为空谱特征维度，空谱特征维度即是空谱特征的尺度，在空谱特征维度和通道维度上转换为一维张量后，融合特征向量的尺度为200×384。融合特征向量可以用于计算高光谱图像的各类原型，通过融合特征向量计算得到的各类原型，在进行分类识别时，将高光谱图像与原型像进行对比，得到分类结果。在相关技术中，通常利用单一尺度的空谱特征图进行分类，而本申请实施例的分类方法采用的融合特征图融合了多个不同尺度的空谱特征，融合特征图的判别能力更突出，使得本申请实施例的高光谱图像分类方法的准确率更高。

可以理解的是，参照表1，在PU(Pavia University)数据集上对本申请实施例的分类方法进行测试，并与本领域内的相关方法进行对比。采用3-shot classification与5-shot classification两种测试方式对分类方法的准确率进行测试，3-shotclassification指的是每一个类取3个样本作支持样本，其余样本为查询样本；5-shotclassification指的是每一个类取5个样本作支持样本，其余样本为查询样本；从表1示出的测试结果可知，本申请实施例的分类方法的准确率高于本领域内的相关方法。其中，1D-CNN表征一维卷积神经网络，2D-CNN表征2维卷积神经网络，3D-CNN表征3维卷积神经网络。

表1

第三方面，本申请实施例提供了一种高光谱图像特征处理装置，包括：

接收单元，接收单元用于接收高光谱图像；

特征提取单元，特征提取单元用于将高光谱图像的空谱域信息分别输入至N个特征提取模块，对应得到至少N级特征图；其中，N为大于等于2的正整数，至少N级特征图具有不同尺度的空谱特征；

融合单元，融合单元用于对至少N级特征图进行融合处理，得到融合特征图。

本申请实施例的高光谱图像特征处理装置通过接收单元接收高光谱图像，然后通过特征提取单元将高光谱图像的空谱域特征分别输入至N个特征提取模块，对应得到至少N级特征图，再通过对至少N级特征图进行融合处理，得到融合特征图，由于至少N级特征图具有不同尺度的空谱特征，与单一尺度的空谱特征图相比，融合了多个不同尺度的空谱特征的融合特征图的判别能力更突出，有利于提高后续对高光谱图像分类的准确率。

需要说明的是，上述所提及到的实施例中的高光谱图像特征处理装置，与上述所提及到的实施例中的高光谱图像特征处理方法基于相同的发明构思，因此，上述所提及到的实施例中的高光谱图像特征处理方法的相应内容同样适用于上述所提及到的实施例中的高光谱图像特征处理装置，并且具有相同的实现原理以及技术效果，为避免描述内容冗余，此处不再详细描述。

第四方面，参照图11，本申请实施例提供了一种高光谱图像处理系统，包括：

至少一个存储器200；

至少一个处理器100；

至少一个程序；

程序被存储在存储器200中，处理器100执行至少一个程序以实现：

如本申请第一方面实施例的高光谱图像特征处理方法：或者，

如本申请第二方面实施例的高光谱图像分类方法。

处理器100和存储器200可以通过总线或者其他方式连接。

存储器200作为一种非暂态可读存储介质，可用于存储非暂态软件指令以及非暂态性可指令。此外，存储器200可以包括高速随机存取存储器200，还可以包括非暂态存储器200，例如至少一个磁盘存储器200件、闪存器件、或其他非暂态固态存储器200件。可以理解的是，存储器200可选包括相对于处理器100远程设置的存储器200，这些远程存储器200可以通过网络连接至该处理器100。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

处理器100通过运行存储在存储器200中的非暂态软件指令、指令以及信号，从而各种功能应用以及数据处理，即实现上述第一方面实施例的高光谱图像特征处理方法或者第二方面实施例的高光谱图像分类方法。

实现第一方面实施例的高光谱图像特征处理方法或者第二方面实施例的高光谱图像分类方法所需的非暂态软件指令以及指令存储在存储器200中，当被处理器100执行时，执行本申请第一方面实施例的高光谱图像特征处理方法或者第二方面实施例的高光谱图像分类方法，例如，执行以上描述的图2中的方法步骤S100至S300、图3中的方法步骤S210至S220、图4中的方法步骤S221至S224、图6中的方法步骤S500至S540、图7中的方法步骤S521至S523、图8中的方法步骤S531至S533、图9中的方法步骤S310至S360、图10中的方法步骤S910至S920。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

此外，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个处理器或控制器执行，例如，被上述实施例中高光谱图像处理系统的一个处理器执行，可使得上述处理器执行如本申请第一方面实施例的高光谱图像特征处理方法或者如本申请第二方面实施例的高光谱图像分类方法，例如，执行以上描述的图2中的方法步骤S100至S300、图3中的方法步骤S210至S220、图4中的方法步骤S221至S224、图6中的方法步骤S500至S540、图7中的方法步骤S521至S523、图8中的方法步骤S531至S533、图9中的方法步骤S310至S360、图10中的方法步骤S910至S920。

通过以上的实施方式的描述，本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在可读介质上，可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读信号、数据结构、指令模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读信号、数据结构、指令模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

上面结合附图对本申请实施例作了详细说明，但是本申请不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本申请宗旨的前提下，作出各种变化。

Claims (11)

1.一种高光谱图像特征处理方法，其特征在于，包括：

接收高光谱图像；

将所述高光谱图像的空谱域信息分别输入至N个特征提取模块，对应得到至少N级特征图；其中，N为大于等于2的正整数，所述至少N级特征图具有不同尺度的空谱特征；

对所述至少N级特征图进行融合处理，得到融合特征图。

2.根据权利要求1所述的高光谱图像特征处理方法，其特征在于，所述特征提取模块包括至少一个卷积块和至少一个注意力块；

所述将所述高光谱图像的空谱域信息分别输入至N个特征提取模块，对应得到至少N级特征图，包括：

将所述高光谱图像的空谱域信息输入至第S个特征提取模块；其中，S＝1，2.....N；

通过所述卷积块对所述高光谱图像进行卷积处理，通过所述注意力块对所述高光谱图像使用注意力权重进行更新处理，得到第S级特征图。

3.根据权利要求2所述的高光谱图像特征处理方法，其特征在于，所述第S个特征提取模块包括S+1个卷积块和S个注意力块；

所述通过所述卷积块对所述高光谱图像进行卷积处理，通过所述注意力块对所述高光谱图像使用注意力权重进行更新处理，得到第S级特征图，包括：

通过第1个所述卷积块对所述高光谱图像进行第1次卷积处理，得到第1次卷积处理结果；其中，所述第1次卷积处理结果的空谱特征的尺度为所述高光谱图像的空谱域信息尺度的一半；

通过第L个所述注意力块对第L次卷积处理结果进行第L次注意力权重更新处理，得到通过第L次注意力权重更新处理后的特征图；其中，L＝1，2，.....S；

通过第L+1个所述卷积块对第L次注意力权重更新后的特征图进行第L+1次卷积处理，得到第L+1次卷积处理结果；其中，所述第L+1次卷积处理结果的空谱特征的尺度为所述第L次注意力权重更新处理后的特征图的空谱特征尺度的一半；

直至L＝S，将第L+1次卷积处理结果作为所述第S级特征图。

4.根据权利要求3所述的高光谱图像特征处理方法，其特征在于，所述通过第L个所述注意力块对第L次卷积处理结果进行第L次注意力权重更新处理，得到通过第L次注意力权重更新处理后的特征图，包括：

将所述第L次卷积处理结果在通道维度上分成若干组特征数据；

将每组所述特征数据分成第一特征数据和第二特征数据；

根据所述第一特征数据得到通道注意力权重；

根据所述第二特征数据得到空间注意力权重；

根据所述通道注意力权重与所述空间注意力权重，得到所述第L次注意力权重更新处理后的特征图。

5.根据权利要求4所述的高光谱图像特征处理方法，其特征在于，所述根据所述第一特征数据得到通道注意力权重，包括：

对所述第一特征数据进行全局平均池化；

对经过全局平均池化后的所述第一特征数据进行线性处理；

将经过线性处理后的所述第一特征数据输入至第一激活函数，得到所述通道注意力权重。

6.根据权利要求4所述的高光谱图像特征处理方法，其特征在于，所述根据所述第二特征数据得到空间注意力权重，包括：

对所述第二特征数据进行分组归一化；

对经过分组归一化后的所述第二特征数据进行线性处理；

将经过线性处理后的所述第二特征数据输入至第一激活函数，得到所述空间注意力权重。

7.根据权利要求1所述的高光谱图像特征处理方法，其特征在于，所述对所述至少N级特征图进行融合处理，得到融合特征图，包括：

将所述N级特征图按空谱特征的尺度由大到小依次排序；

对第N级特征图进行上采样，以将所述第N级特征图的空谱特征的尺度扩大至与第N-1级特征图的空谱特征的尺度相等；

将进行上采样后的所述第N级特征图与所述第N-1级特征图相加并输入至第二激活函数，得到第1次相加结果；

对第S次相加结果进行上采样，以将所述第S次相加结果的空谱特征的尺度扩大至与第N-1-S级特征图的空谱特征的尺度相等；其中，S＝1，2.....N-2；

将进行上采样后的所述第S次相加结果与所述第N-1-S级特征图相加并输入至第二激活函数，得到第S+1次相加结果；

直至S＝N-2，将第S+1次相加结果作为所述融合特征图。

8.一种高光谱图像分类方法，其特征在于，包括：

根据权利要求1至7任一项所述的高光谱图像特征处理方法，得到所述融合特征图；

根据所述融合特征图，对所述高光谱图像进行分类。

9.一种高光谱图像特征处理装置，其特征在于，包括：

接收单元，所述接收单元用于接收高光谱图像；

特征提取单元，所述特征提取单元用于将所述高光谱图像的空谱域信息分别输入至N个特征提取模块，对应得到至少N级特征图；其中，N为大于等于2的正整数，所述至少N级特征图具有不同尺度的空谱特征；

融合单元，所述融合单元用于对所述至少N级特征图进行融合处理，得到融合特征图。

10.一种高光谱图像处理系统，其特征在于，包括：

至少一个存储器；

至少一个处理器；

至少一个程序；

所述程序被存储在所述存储器中，所述处理器执行至少一个所述程序以实现：

如权利要求1至7任一项所述的高光谱图像特征处理方法；或者，

如权利要求8所述的高光谱图像分类方法。

11.一种计算机可读存储介质，其特征在于，存储有计算机可执行指令，所述计算机可执行指令用于执行：

如权利要求1至7任一项所述的高光谱图像特征处理方法；或者，

如权利要求8所述的高光谱图像分类方法。

Images