CN113822209B - 高光谱图像识别方法、装置、电子设备及可读存储介质 - Google Patents

Abstract

本申请公开了一种高光谱图像识别方法、装置、电子设备及可读存储介质。其中，方法包括预先训练得到包括预处理卷积模块、多尺度特征融合模块和空间注意力机制模块的图像识别模型，将待识别高光谱遥感影像输入至图像识别模型中，得到其图像识别结果。预处理卷积模块通过普通卷积核空洞卷积对待识别高光谱遥感影像进行处理，得到浅层空谱特征信息；多尺度特征融合模块利用不同大小的卷积核并结合残差网络提取浅层空谱特征信息，得到空谱特征图；空间注意力机制模块在光谱维与空间维学习目标特征，根据注意力权重自适应调整空谱特征图，并将最终得到的空谱特征图输送至全连接层进行降维操作，从而可有效提升高光谱图像的识别效率及识别精准度。

Description

高光谱图像识别方法、装置、电子设备及可读存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种高光谱图像识别方法、装置、电子设备及可读存储介质。

背景技术

随着高光谱成像光谱仪的发展，遥感影像的光谱信息从全色、多光谱快速发展至高光谱，使遥感技术进入到一个崭新阶段。高光谱影像具有高光谱分辨率，获得的影像像元具有上百波段光谱信息。基于各种地物之间的不同光谱特性，高光谱遥感技术广泛应用于地物识别分类、定量反演和异常目标检测等技术领域。高光谱图像识别分类是根据高光谱图像光谱特征将每个像素分配到某个已知类别，是目前高光谱遥感技术中最活跃的研究领域，并引起了遥感领域的广泛关注。传统的高光谱图像识别方法基于光谱信息进行分类，输入的信息为一维信息。例如：支持向量机、随机森林的分类方法、K最近邻等方法。近年来基于表示的模型也被应用到高光谱图像分类中，这类模型假设输入光谱特征需要由来自背景字典的原子的线性组合来表示，例如稀疏表示、协同表示。

近年来，众多学者将深度学习被引入到高光谱图像分类中，取得了良好的分类性能。深度卷积神经网络是能够自动地提取出有效的高维特征，常见的基于卷积神经网络的分类方法包括一维卷积、二维卷积、三维卷积。其中有效的空谱信息融合方法就是利用三维卷积来构建网络模型。例如，一种相关技术所提出的分解式3D-CNN算法，其通过将一步三维卷积运算拆分成三步卷积运算来降低计算成本。另外一种相关技术提出一种三维二维混合卷积网络(HybridSN)，在连续的三维卷积层后使用二维卷积层进一步处理提取出的空谱特征，解决了混合卷积在高光谱分类中的应用。

但是，在这些相关技术中，卷积神经网络存在空间感知细节的能力差，网络深度过度增加将会给网络模型带来梯度消失等问题，导致图像识别精度较低。虽然三维卷积可有效地解决了空谱信息融合的效果，但与此同时，相比于一维、二维卷积，三维卷积显著地增加了网络的计算成本和参数。这一点在训练大规模的高光谱遥感影像分类模型的过程中是十分不利的。

鉴于此，如何提升高光谱图像的识别效率和识别精准度，是所属领域技术人员需要解决的技术问题。

发明内容

本申请提供了一种高光谱图像识别方法、装置、电子设备及可读存储介质，可有效提升高光谱遥感影像的识别精准度和识别效率。

为解决上述技术问题，本发明实施例提供以下技术方案：

本发明实施例一方面提供了一种高光谱图像识别方法，包括：

预先训练图像识别模型；所述图像识别模型包括预处理卷积模块、多尺度特征融合模块和空间注意力机制模块；

将待识别高光谱遥感影像输入至所述图像识别模型中，得到所述待识别高光谱遥感影像的图像识别结果；

其中，所述预处理卷积模块通过普通卷积核空洞卷积对所述待识别高光谱遥感影像进行处理，以学习得到所述待识别高光谱遥感影像的浅层空谱特征信息；所述多尺度特征融合模块利用不同大小的卷积核并结合残差网络提取浅层空谱特征信息，得到空谱特征图；所述空间注意力机制模块分别在光谱维与空间维的两个维度上学习目标特征，依次推断出注意力权重，同时根据所述注意力权重自适应调整所述空谱特征图，以得到最终的目标空谱特征图，并将所述目标空谱特征图输送至全连接层进行降维操作。

可选的，所述预处理卷积模块包括第一普通三维卷积层、第二普通三维卷积层、第一空洞三维卷积层、第二空洞三维卷积层和第三空洞三维卷积层；

所述第一普通三维卷积层、所述第二普通三维卷积层、所述第一空洞三维卷积层、所述第二空洞三维卷积层和所述第三空洞三维卷积层交叉组合为卷积结构；

所述预处理卷积模块结合所述残差网络将所述待处理高光谱遥感影像与所述卷积结构输出的图像卷积结果相加生成所述空谱特征图。

可选的，所述第一普通三维卷积层和所述第二普通三维卷积层的卷积核为3×3×8；

所述第一空洞三维卷积层、所述第二空洞三维卷积层和所述第三空洞三维卷积层的卷积核为3×3×3，所述第一空洞三维卷积层的通道数为16，所述第二空洞三维卷积层的通道数为32，所述第三空洞三维卷积层的通道数为32。

可选的，所述多尺度特征融合模块为多层次多尺度滤波器卷积网络；所述多层次多尺度滤波器卷积网络包括第一分支、第二分支和第三分支；通过对各分支的特征图连接和对各分支逐像素相加得到所述空谱特征图；

所述第一分支、所述第二分支和所述第三分支均包括所述残差网络，且在每一层网络都增加批归一化层，同时采用ReLU激活函数；所述第一分支包括卷积核为3*3的第一卷积层、卷积核为3*3的第二卷积层、卷积核为3*3的第三卷积层和卷积核为1*1的第四卷积层；所述第二分支包括卷积核为5*5的第四卷积层、卷积核为5*5的第五卷积层和卷积核为1*1的第六卷积层；所述第三分支包括卷积核为7*7的第七卷积层。

可选的，所述通过在光谱维与空间维的两个维度上学习目标特征，依次推断出注意力权重，同时根据所述注意力权重自适应调整所述空谱特征图，包括：

对所述空谱特征图依次进行全局平均池化操作、全局最大池化操作、多层感知操作和双池化操作，得到初始通道维信息；

根据所述初始通道维信息和所述空谱特征图得到通道维缩放特征；

按照信道维数，对所述空谱特征图进行双池化操作所得到的两个二维特征图进行拼接，得到拼接特征图；

使用三维卷积核对所述拼接特征图进行卷积操作，得到空间维操作结果；

根据所述通道维缩放特征和所述空间维操作结果得到所述空谱特征图。

本发明实施例另一方面提供了一种高光谱图像识别装置，包括：

模型预训练模块，用于预先训练图像识别模型；所述图像识别模型包括预处理卷积模块、多尺度特征融合模块和空间注意力机制模块；

图像识别模块，用于将待识别高光谱遥感影像输入至所述图像识别模型中，得到所述待识别高光谱遥感影像的图像识别结果；所述预处理卷积模块通过普通卷积核空洞卷积对所述待识别高光谱遥感影像进行处理，以学习得到所述待识别高光谱遥感影像的浅层空谱特征信息；所述多尺度特征融合模块利用不同大小的卷积核并结合残差网络提取浅层空谱特征信息，得到空谱特征图；所述空间注意力机制模块通过在光谱维与空间维的两个维度上学习目标特征，依次推断出注意力权重，同时根据所述注意力权重自适应调整所述空谱特征图，以得到最终的目标空谱特征图，并将所述目标空谱特征图输送至全连接层进行降维操作。

可选的，所述预处理卷积模块包括第一普通三维卷积层、第二普通三维卷积层、第一空洞三维卷积层、第二空洞三维卷积层和第三空洞三维卷积层；

所述第一普通三维卷积层、所述第二普通三维卷积层、所述第一空洞三维卷积层、所述第二空洞三维卷积层和所述第三空洞三维卷积层交叉组合为卷积结构；

所述预处理卷积模块结合所述残差网络将所述待处理高光谱遥感影像与所述卷积结构输出的图像卷积结果相加生成所述空谱特征图。

可选的，所述第一普通三维卷积层和所述第二普通三维卷积层的卷积核为3×3×8；

所述第一空洞三维卷积层、所述第二空洞三维卷积层和所述第三空洞三维卷积层的卷积核为3×3×3，所述第一空洞三维卷积层的通道数为16，所述第二空洞三维卷积层的通道数为32，所述第三空洞三维卷积层的通道数为32。

本发明实施例还提供了一种电子设备，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述高光谱图像识别方法的步骤。

本发明实施例最后还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前任一项所述高光谱图像识别方法的步骤。

本申请提供的技术方案的优点在于，采用多种卷积组合方式提取初始空谱特征，在不增加网络参数量和不消减数据特征的情况下同时提高卷积核的感受野，不会额外增加模型的数据处理量，提高模型处理效率。通过使用不同大小的卷积核从各自的残差块连续学习光谱和空间特征，可以提取表达能力更强的深层空谱特征，这种多层次多尺度提取空谱特征信息的方法能够在有限的样本数下学习更多的特征，有效地解决了空间感知细节的能力差的问题，提升高光谱遥感图像的识别精度和识别效率。此外，高效结合通道空间注意力机制，从通道和空间域两个方面增强特定图像特征的表现力，学习更多具有代表性的特征，进一步提升了高光谱遥感图像的识别精度。进一步地，整个图像识别模型的结构简单，数据处理速度快，有利于提高图像识别分类效率，有利于进一步推进了基于深度学习方法的高光谱图像分类的广泛应用。

此外，本发明实施例还针对高光谱图像识别方法提供了相应的实现装置、电子设备及可读存储介质，进一步使得所述方法更具有实用性，所述装置、电子设备及可读存储介质具有相应的优点。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

为了更清楚的说明本发明实施例或相关技术的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种高光谱图像识别方法的流程示意图；

图2为本发明实施例提供的另一种高光谱图像识别方法的流程示意图；

图3为本发明实施例提供的预处理卷积模块在一个示例性应用场景的结构示意图；

图4为本发明实施例提供的多尺度特征融合模块在一个示例性应用场景的结构示意图；

图5为本发明实施例提供的空间注意力机制模块在一个示例性应用场景的结构示意图；

图6为本发明实施例提供的图像识别模型在一个示例性应用场景的结构示意图；

图7为本发明实施例提供的Indian Pines数据集中的一个示意性例子的示意图；

图8为本发明实施例提供的图7对应的真实地物图；

图9为本发明实施例提供的高光谱图像识别装置的一种具体实施方式结构图；

图10为本发明实施例提供的电子设备的一种具体实施方式结构图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。

在介绍了本发明实施例的技术方案后，下面详细的说明本申请的各种非限制性实施方式。

首先参见图1，图1为本发明实施例提供的一种高光谱图像识别方法的流程示意图，本发明实施例可包括以下内容：

S101：预先训练图像识别模型。

本实施例的图像识别模型可包括预处理卷积模块、多尺度特征融合模块和空间注意力机制模块。预处理卷积模块对输入的训练集数据以高光谱数据块为单元，经多组卷积操作进行特征提取处理，得到初始空谱特征图。多尺度特征融合模块包含不同大小的卷积核与特征连接方式，经多层次多尺度滤波器结构，采用各分支逐像素相加，输出最终空谱特征图。注意力机制模块在光谱维与空间维的两个维度上学习有意义的特征，依次推断出注意力权重，然后自适应调整空谱特征图，得到最终的空谱特征图。模型训练过程可包括：如图2所示，首先，对获取的原始的高光谱图像样本数据进行归一化且进行数据划分，将这些样本数据划分为训练集、验证集和测试集。其中，可从高光谱图像中随机划分出少量标签数据作为训练集与验证集，剩余标签数据作为测试集，训练集和测试集的比例可以设置为2：1：7。而后利用少量标签数据训练基于图像识别模型，最后结合已训练好的图像识别模型进行分类识别。具体的：预处理卷积模块为数据预处理过程，对输入的训练集数据块为训练单元，经多种卷积方式以学习浅层空谱特征图；多尺度特征融合模块利用不同大小的卷积核从高光谱数据块中提取空间和光谱特征信息，结合残差网络增强特征学习能力。空间注意力机制在光谱维与空间维的两个维度上学习有意义的特征，依次推断出注意力权重，然后自适应调整空谱特征图，得到最终的空谱特征图。本实施例的空谱特征信息是指待识别遥感图像的空间特征和光谱特征。当然，本实施例的图像识别模型不可避免的还可包括分类识别模块，分类识别模块由执行降维操作的全连接层和分类函数构成，分类函数例如可为softmax分类函数，分类识别模块将最终空间特征图和光谱特征图相拼接，并利用全连接融合所有特征信息，得到最后光谱空间特征，并传递给softmax函数进行目标分类。其中，softmax函数单元数量为相应类别总数。也就是说，将经上述网络模型的各网络模块提取的空谱特征深度输送至全连接层，全连接层融合所有特征至1维，再传递给softmax函数进行分类。

S102：将待识别高光谱遥感影像输入至图像识别模型中，得到待识别高光谱遥感影像的图像识别结果。

为了提高图像识别精准度，可对获取的待识别高光谱遥感图像先预处理，如去噪、平滑等。然后将待识别高光谱遥感图像输入至上个步骤训练所得的图像识别模型中，图像识别模型的预处理卷积模块通过普通卷积核空洞卷积对待识别高光谱遥感影像进行处理，以学习得到待识别高光谱遥感影像的浅层空谱特征信息；多尺度特征融合模块利用不同大小的卷积核并结合残差网络提取浅层空谱特征信息，得到空谱特征图；空间注意力机制模块分别在光谱维与空间维的两个维度上学习目标特征，依次推断出注意力权重，同时根据注意力权重自适应调整空谱特征图，以得到最终的目标空谱特征图，并将目标空谱特征图输送至全连接层进行降维操作。也就是说，输入的待识别高光谱遥感图像数据首先会传送给预处理卷积模块中，得到初始的特征提取的特征图；随后经过多尺度特征融合模块提取空间特征，得到最终的空间特征图。最后经过空间注意力模块校正特征图，并交由全连接(FC)融合所有特征至1维，再传递给softmax函数进行分类。

在本发明实施例提供的技术方案中，采用多种卷积组合方式提取初始空谱特征，在不增加网络参数量和不消减数据特征的情况下同时提高卷积核的感受野，不会额外增加模型的数据处理量，提高模型处理效率。通过使用不同大小的卷积核从各自的残差块连续学习光谱和空间特征，可以提取表达能力更强的深层空谱特征，这种多层次多尺度提取空谱特征信息的方法能够在有限的样本数下学习更多的特征，有效地解决了空间感知细节的能力差的问题，提升高光谱遥感图像的识别精度和识别效率。此外，高效结合通道空间注意力机制，从通道和空间域两个方面增强特定图像特征的表现力，学习更多具有代表性的特征，进一步提升了高光谱遥感图像的识别精度。进一步地，整个图像识别模型的结构简单，数据处理速度快，有利于提高图像识别分类效率，有利于进一步推进了基于深度学习方法的高光谱图像分类的广泛应用。

需要说明的是，本申请中各步骤之间没有严格的先后执行顺序，只要符合逻辑上的顺序，则这些步骤可以同时执行，也可按照某种预设顺序执行，图1-图2只是一种示意方式，并不代表只能是这样的执行顺序。

在上述实施例中，对于预处理卷积模块的结构及其数据处理方式并不做限定，本实施例中给出一种可选的实施方式，预处理卷积模块可由两层普通3D卷积层与三层空洞3D卷积层交叉组合构成，其结构如图2所示，可包括如下内容：

预处理卷积模块可包括第一普通三维卷积层、第二普通三维卷积层、第一空洞三维卷积层、第二空洞三维卷积层和第三空洞三维卷积层；第一普通三维卷积层、第二普通三维卷积层、第一空洞三维卷积层、第二空洞三维卷积层和第三空洞三维卷积层交叉组合为卷积结构。其中，第一普通三维卷积层和第二普通三维卷积层的卷积核例如可均为3×3×8。第一空洞三维卷积层、第二空洞三维卷积层和第三空洞三维卷积层的卷积核可均为3×3×3，第一空洞三维卷积层的通道数为16，第二空洞三维卷积层的通道数为32，第三空洞三维卷积层的通道数为32。为了提高特征学习能力，预处理卷积模块还可结合残差网络将待处理高光谱遥感影像与卷积结构输出的图像卷积结果相加生成空谱特征图。

在本实施例中，预处理卷积模块为以高光谱图像块为输入数据并对其数据预处理过程，预处理卷积模块由两层普通3D卷积层与三层空洞3D卷积层交叉组合构成，前两层卷积操作的卷积核大小为3×3×8，通道数为16的3D卷积层，其中一个为空洞卷积层。后三层卷积操作的卷积核大小为3×3×3，通道数为32的3D卷积层，其中两个为空洞卷积层。相应的，第一层卷积层为普通3D卷积层如可为第一普通三维卷积层，其卷积核大小为3×3×8，第二层卷积层为空洞3D卷积层如可为第一空洞三维卷积层，其卷积核大小为3×3×8，空洞率为1，通道数都为16。第三层卷积层为普通3D卷积层，其卷积核大小为3×3×3，第四层卷积层和第五层卷积层为空洞3D卷积层，其卷积核大小为3×3×3，空洞率为1，通道数分别为32。预处理卷积模块中每一层网络都增加了BN层，同时采用ReLU激活函数。同时结合残差结构，将原始输入与经卷积操作处理结果相加生成新的空谱特征图。

在上述实施例中，对于多尺度特征融合模块的结构及其数据处理方式并不做限定，本实施例中给出一种可选的实施方式，可包括下述内容：

多尺度特征融合模块为多层次多尺度滤波器卷积网络；多层次多尺度滤波器卷积网络包括第一分支、第二分支和第三分支；通过对各分支的特征图连接和对各分支逐像素相加得到空谱特征图。第一分支、第二分支和第三分支均包括残差网络，且在每一层网络都增加批归一化层，同时采用ReLU激活函数；第一分支包括卷积核为3*3的第一卷积层、卷积核为3*3的第二卷积层、卷积核为3*3的第三卷积层和卷积核为1*1的第四卷积层；第二分支包括卷积核为5*5的第四卷积层、卷积核为5*5的第五卷积层和卷积核为1*1的第六卷积层；第三分支包括卷积核为7*7的第七卷积层。

在本实施例中，多尺度特征融合模块实现网络对高光谱数据中复杂的特征更高效的学习，提取深层次空谱联合特征。其以经预处理卷积模块提取空谱特征图的图像块为输入，构建多层次多尺度滤波器卷积网络，多尺度滤波器卷积网络更好地探索高光谱数据的空谱联合特征，一方面降低参数，另一方面更适合高光谱图像特殊的数据结构。如图4所示，多尺度滤波器卷积网络包含三个分支，第一个分支经过3次为3×3的卷积核的卷积操作且共进行3次多特征融合，第4个卷积层大小设定为1×1执行卷积操作。第二个分支的前2个卷积层大小设定为5×5且仅进行1次连接方式进行多特征融合，其后跟大小为1×1卷积核操作。第三个分支包含1个卷积层，使用大尺寸为7×7的卷积核。所述多尺度滤波器卷积网络在每一层网络都增加BN层，同时采用ReLU激活函数，且各分支增加残差结构；所述引入残差结构是加强网络中信息传递的同时强化网络学习多尺度特征和多抽象层次特征的能力。最后特征经过多个多层次多尺度滤波器结构，采用各分支逐像素相加进行特征融合，输出最终空谱特征图；所述特征融合模块通过特征图连接和逐像素相加两种方式进行多特征融合，实现网络对高光谱数据中复杂的特征更高效的学习。基于图4所示的多尺度特征融合模块结构，多尺度特征融合模块提取空谱特征图的过程如下：

(1)第一个分支包含四个卷积层，前3个卷积核大小设定为3×3，第4个卷积核大小设定为1×1，特征图连接方式为第一次卷积输出与第二次卷积输出连接、第一次卷积输出与第三次卷积输出连接和第二次卷积输出与第二次卷积输出连接，同时结合残差结构，将原始数据输入与经卷积操作处理结果相加。

(2)第二个分支包含三个卷积层，前2个卷积核大小设定为5×5，第3个卷积核大小设定为1×1，特征图连接方式为第一次卷积输出与第二次卷积输出连接，同时结合残差结构，将原始数据输入与经卷积操作处理结果相加。

(3)第二个分支包含一个卷积层，卷积核大小设定为7×7，同时结合残差结构，将原始数据输入与经卷积操作处理结果相加。

(4)多尺度特征融合模块在每一层网络都增加了批归一化BN层，同时采用ReLU激活函数。最后特征经过多尺度滤波器结构，采用各分支逐像素相加，输出最终空谱特征图。

上述实施例对如何执行通过在光谱维与空间维的两个维度上学习目标特征，依次推断出注意力权重，同时根据注意力权重自适应调整空谱特征图的过程并不做限定，为了提高特征图的聚焦能力，便于精准提升识别精度，空间注意力机制对融合特征图进行重新校准，可包括：

对空谱特征图依次进行全局平均池化操作、全局最大池化操作、多层感知操作和双池化操作，得到初始通道维信息；根据初始通道维信息和空谱特征图得到通道维缩放特征；按照信道维数，对空谱特征图进行双池化操作所得到的两个二维特征图进行拼接，得到拼接特征图；使用三维卷积核对拼接特征图进行卷积操作，得到空间维操作结果；根据通道维缩放特征和空间维操作结果得到空谱特征图。

可以理解的是，空间注意力机制模块用于执行通过在光谱维与空间维的两个维度上学习目标特征，依次推断出注意力权重，同时根据注意力权重自适应调整空谱特征图。在本实施例中，如图5所示，空间注意力机制模块在通道维度做出调整，增加通道维度上的相关性，提高整个图像识别模型面对不同分类场景的适应能力。空间注意力机制模块在空间维度做出调整，对提取到的特征进行空间信息强化，实现特征重用并增强信息传递。以多尺度特征融合后的空谱特征图为单位，首先进行通道维的操作，经过全局平均池化和全局最大池化操作与多层感知器构成的神经网络处理，然后添加全局平均池化和全局最大池化操作后，将结果乘以原始输入特征，得到新通道维的缩放特征。然后进行空间维的操作，经过全局平均池化和全局最大池化操作得到两个二维的特征图，将两个特征图按照信道维数拼接在一起，得到一个特征图然后使用大小为7×7×1的单个3D卷积核对其进行卷积生成。最后将空间维操作结果乘以通道维的缩放特征，得到最终的空谱特征。基于图5所示的空间注意力机制模块，其提取空谱特征图的过程如下：

(1)以多尺度特征融合后的空谱特征图为单位，首先进行通道维的操作，经过全局平均池化和全局最大池化操作生成两个特征描述图，将两个特征描述图分别输入由隐藏层与与多层感知器构成的神经网络处理，其中多层感知器采用Sigmoid激活函数。然后添加全局平均池化和全局最大池化操作后，将结果乘以原始输入特征，得到新通道维的缩放特征。

(2)然后进行空间维的操作，经过全局平均池化和全局最大池化操作得到两个二维的特征描述图，将两个特征描述图按照通道维数拼接在一起，然后使用大小为7×7×1的单个3D卷积核对其进行卷积生成。最后将将空间维操作结果乘以通道维的缩放特征，得到最终的空谱特征。

为了验证本申请技术方案的有效性，本申请还提供了一个验证性的实施例，可包括：

在本实施例中，将所有训练样本数据按照20％、10％、70％随机划分为训练数据、验证数据、测试数据。基于图6所示的网络结构作为图像识别模型，采用Adam优化方法优化图像识别模型。网络的训练次数为1000次，每批次训练数量设置为256。学习率设置为0.001。同时采用退化学习率的训练策略，其中每300次使学习率减少10％。按照如上参数，基于训练样本数据对网络结构进行训练，得到训练好的图像识别模型。

为了验证本申请的图像识别模型可有效提升高光谱遥感图像的识别精准度，利用图像识别模型对真实的IndianPines的高光谱影像进行分类识别，如图7及图8所示，该影像大小为145行×145列×224波段，去除相应的水汽波段、低信噪比波段，剩余200个可用波进行分类。按如下步骤采用上述实施例所提供的技术方案进行高光谱遥感图像的识别分类：

首先，对于IndianPines高光谱数据集，为了验证算法的有效性，选择了4个基准算法SVM、KNN、1D-CNN、2D-CNN进行比较。

将实验中每种算法的分类结果与地面真实值进行比较，采用总体识别精度(Overall Accuracy，OA)、平均分类精度(Average Accuracy，AA)、Kappa系数作为性能评价指标。其计算结果见表1所示：

表1各高光谱图像识别方法识别性能对比信息

分类算法	SVM	KNN	1D-CNN	2D-CNN	本申请
						Kappa	0.8524	0.6998	0.9289	0.9598	0.9830
OA	87.09	73.82	93.77	96.47	98.75
						AA	86.34	74.70	93.44	96.66	97.93

从表1可见，本申请技术方案所提的图像识别模型的各性能评价指标显著高于另外4种基准算法。

由上可知，本实施例采用残差网络模块与多尺度特征提取模块对各自数据块连续学习空谱特征。以残差网络为基础，利用不同大小的卷积核中提取空间和光谱的特征信息，使得网络能够学习更多的空谱特征。其次，引入通道空间注意机制，增强特定区域特征的表示能力，在面对大量冗余信息时，学习更多具有代表性的特征。相比现有技术，具有更高的分类精度与能力，有效解决了卷积神经网络的分类方法存在的空间感知细节的能力差与网络模型性能退化问题，分类精度进一步提升。

本发明实施例还针对高光谱图像识别方法提供了相应的装置，进一步使得方法更具有实用性。其中，装置可从功能模块的角度和硬件的角度分别说明。下面对本发明实施例提供的高光谱图像识别装置进行介绍，下文描述的高光谱图像识别装置与上文描述的高光谱图像识别方法可相互对应参照。

基于功能模块的角度，参见图9，图9为本发明实施例提供的高光谱图像识别装置在一种具体实施方式下的结构图，该装置可包括：

模型预训练模块901，用于预先训练图像识别模型；图像识别模型包括预处理卷积模块、多尺度特征融合模块和空间注意力机制模块。

图像识别模块902，用于将待识别高光谱遥感影像输入至图像识别模型中，得到待识别高光谱遥感影像的图像识别结果。预处理卷积模块通过普通卷积核空洞卷积对待识别高光谱遥感影像进行处理，以学习得到待识别高光谱遥感影像的浅层空谱特征信息；多尺度特征融合模块利用不同大小的卷积核并结合残差网络提取浅层空谱特征信息，得到空谱特征图；空间注意力机制模块通过在光谱维与空间维的两个维度上学习目标特征，依次推断出注意力权重，同时根据注意力权重自适应调整空谱特征图，以得到最终的目标空谱特征图，并将目标空谱特征图输送至全连接层进行降维操作。

可选的，在本实施例的一些实施方式中，上述预处理卷积模块可包括第一普通三维卷积层、第二普通三维卷积层、第一空洞三维卷积层、第二空洞三维卷积层和第三空洞三维卷积层；第一普通三维卷积层、第二普通三维卷积层、第一空洞三维卷积层、第二空洞三维卷积层和第三空洞三维卷积层交叉组合为卷积结构；预处理卷积模块结合残差网络将待处理高光谱遥感影像与卷积结构输出的图像卷积结果相加生成空谱特征图。

作为本实施例的一种可选的实施方式，上述第一普通三维卷积层和第二普通三维卷积层的卷积核为3×3×8；第一空洞三维卷积层、第二空洞三维卷积层和第三空洞三维卷积层的卷积核为3×3×3，第一空洞三维卷积层的通道数为16，第二空洞三维卷积层的通道数为32，第三空洞三维卷积层的通道数为32。

可选的，在本实施例的另一些实施方式中，上述多尺度特征融合模块可为多层次多尺度滤波器卷积网络；多层次多尺度滤波器卷积网络包括第一分支、第二分支和第三分支；通过对各分支的特征图连接和对各分支逐像素相加得到空谱特征图；第一分支、第二分支和第三分支均包括残差网络，且在每一层网络都增加批归一化层，同时采用ReLU激活函数；第一分支包括卷积核为3*3的第一卷积层、卷积核为3*3的第二卷积层、卷积核为3*3的第三卷积层和卷积核为1*1的第四卷积层；第二分支包括卷积核为5*5的第四卷积层、卷积核为5*5的第五卷积层和卷积核为1*1的第六卷积层；第三分支包括卷积核为7*7的第七卷积层。

可选的，在本实施例的另外一些实施方式中，上述图像识别模块902可进一步用于：对空谱特征图依次进行全局平均池化操作、全局最大池化操作、多层感知操作和双池化操作，得到初始通道维信息；根据初始通道维信息和空谱特征图得到通道维缩放特征；按照信道维数，对空谱特征图进行双池化操作所得到的两个二维特征图进行拼接，得到拼接特征图；使用三维卷积核对拼接特征图进行卷积操作，得到空间维操作结果；根据通道维缩放特征和空间维操作结果得到空谱特征图。

本发明实施例所述高光谱图像识别装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例可有效提升高光谱遥感影像的识别精准度和识别效率。

上文中提到的高光谱图像识别装置是从功能模块的角度描述，进一步的，本申请还提供一种电子设备，是从硬件角度描述。图10为本申请实施例提供的电子设备在一种实施方式下的结构示意图。如图10所示，该电子设备包括存储器100，用于存储计算机程序；处理器101，用于执行计算机程序时实现如上述任一实施例提到的高光谱图像识别方法的步骤。

其中，处理器101可以包括一个或多个处理核心，比如4核心处理器、8核心处理器，处理器101还可为控制器、微控制器、微处理器或其他数据处理芯片等。处理器101可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable GateArray，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器101也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central Processing Unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器101可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器101还可以包括AI(ArtificialIntelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器100可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器100还可包括高速随机存取存储器以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。存储器100在一些实施例中可以是电子设备的内部存储单元，例如服务器的硬盘。存储器100在另一些实施例中也可以是电子设备的外部存储设备，例如服务器上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器100还可以既包括电子设备的内部存储单元也包括外部存储设备。存储器100不仅可以用于存储安装于电子设备的应用软件及各类数据，例如：执行漏洞处理方法的程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。本实施例中，存储器100至少用于存储以下计算机程序1001，其中，该计算机程序被处理器101加载并执行之后，能够实现前述任一实施例公开的高光谱图像识别方法的相关步骤。另外，存储器100所存储的资源还可以包括操作系统1002和数据1003等，存储方式可以是短暂存储或者永久存储。其中，操作系统1002可以包括Windows、Unix、Linux等。数据1003可以包括但不限于高光谱图像识别结果对应的数据等。

在一些实施例中，上述电子设备还可包括有显示屏102、输入输出接口103、通信接口104或者称为网络接口、电源105以及通信总线106。其中，显示屏102、输入输出接口103比如键盘(Keyboard)属于用户接口，可选的用户接口还可以包括标准的有线接口、无线接口等。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。通信接口104可选的可以包括有线接口和/或无线接口，如WI-FI接口、蓝牙接口等，通常用于在电子设备与其他电子设备之间建立通信连接。通信总线106可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

本领域技术人员可以理解，图10中示出的结构并不构成对该电子设备的限定，可以包括比图示更多或更少的组件，例如还可包括实现各类功能的传感器107。

本发明实施例所述电子设备的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例可有效提升高光谱遥感影像的识别精准度和识别效率。

可以理解的是，如果上述实施例中的高光谱图像识别方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电可擦除可编程ROM、寄存器、硬盘、多媒体卡、卡型存储器(例如SD或DX存储器等)、磁性存储器、可移动磁盘、CD-ROM、磁碟或者光盘等各种可以存储程序代码的介质。

基于此，本发明实施例还提供了一种可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时如上任意一实施例所述高光谱图像识别方法的步骤。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的硬件包括装置及电子设备而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

以上对本申请所提供的一种高光谱图像识别方法、装置、电子设备及可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (8)

1.一种高光谱图像识别方法，其特征在于，包括：

预先训练图像识别模型；所述图像识别模型包括预处理卷积模块、多尺度特征融合模块和空间注意力机制模块；

将待识别高光谱遥感影像输入至所述图像识别模型中，得到所述待识别高光谱遥感影像的图像识别结果；

其中，所述预处理卷积模块通过普通卷积核空洞卷积对所述待识别高光谱遥感影像进行处理，以学习得到所述待识别高光谱遥感影像的浅层空谱特征信息；所述多尺度特征融合模块利用不同大小的卷积核并结合残差网络提取浅层空谱特征信息，得到空谱特征图；所述空间注意力机制模块分别在光谱维与空间维的两个维度上学习目标特征，依次推断出注意力权重，同时根据所述注意力权重自适应调整所述空谱特征图，以得到最终的目标空谱特征图，并将所述目标空谱特征图输送至全连接层进行降维操作；

其中，所述多尺度特征融合模块为多层次多尺度滤波器卷积网络；所述多层次多尺度滤波器卷积网络包括第一分支、第二分支和第三分支；通过对各分支的特征图连接和对各分支逐像素相加得到所述空谱特征图；

所述第一分支、所述第二分支和所述第三分支均包括所述残差网络，且在每一层网络都增加批归一化层，同时采用ReLU激活函数；所述第一分支包括卷积核为3*3的第一卷积层、卷积核为3*3的第二卷积层、卷积核为3*3的第三卷积层和卷积核为1*1的第四卷积层；所述第二分支包括卷积核为5*5的第四卷积层、卷积核为5*5的第五卷积层和卷积核为1*1的第六卷积层；所述第三分支包括卷积核为7*7的第七卷积层；

并且，所述在光谱维与空间维的两个维度上学习目标特征，依次推断出注意力权重，同时根据所述注意力权重自适应调整所述空谱特征图，包括：

对所述空谱特征图依次进行全局平均池化操作、全局最大池化操作、多层感知操作和双池化操作，得到初始通道维信息；

根据所述初始通道维信息和所述空谱特征图得到通道维缩放特征；

按照信道维数，对所述空谱特征图进行双池化操作所得到的两个二维特征图进行拼接，得到拼接特征图；

使用三维卷积核对所述拼接特征图进行卷积操作，得到空间维操作结果；

根据所述通道维缩放特征和所述空间维操作结果得到所述空谱特征图。

2.根据权利要求1所述的高光谱图像识别方法，其特征在于，所述预处理卷积模块包括第一普通三维卷积层、第二普通三维卷积层、第一空洞三维卷积层、第二空洞三维卷积层和第三空洞三维卷积层；

所述第一普通三维卷积层、所述第二普通三维卷积层、所述第一空洞三维卷积层、所述第二空洞三维卷积层和所述第三空洞三维卷积层交叉组合为卷积结构；

所述预处理卷积模块结合所述残差网络将待识别高光谱遥感影像与所述卷积结构输出的图像卷积结果相加生成所述空谱特征图。

3.根据权利要求2所述的高光谱图像识别方法，其特征在于，所述第一普通三维卷积层和所述第二普通三维卷积层的卷积核为3×3×8；

所述第一空洞三维卷积层、所述第二空洞三维卷积层和所述第三空洞三维卷积层的卷积核为3×3×3，所述第一空洞三维卷积层的通道数为16，所述第二空洞三维卷积层的通道数为32，所述第三空洞三维卷积层的通道数为32。

4.一种高光谱图像识别装置，其特征在于，包括：

模型预训练模块，用于预先训练图像识别模型；所述图像识别模型包括预处理卷积模块、多尺度特征融合模块和空间注意力机制模块；

图像识别模块，用于将待识别高光谱遥感影像输入至所述图像识别模型中，得到所述待识别高光谱遥感影像的图像识别结果；所述预处理卷积模块通过普通卷积核空洞卷积对所述待识别高光谱遥感影像进行处理，以学习得到所述待识别高光谱遥感影像的浅层空谱特征信息；所述多尺度特征融合模块利用不同大小的卷积核并结合残差网络提取浅层空谱特征信息，得到空谱特征图；所述空间注意力机制模块通过在光谱维与空间维的两个维度上学习目标特征，依次推断出注意力权重，同时根据所述注意力权重自适应调整所述空谱特征图，以得到最终的目标空谱特征图，并将所述目标空谱特征图输送至全连接层进行降维操作；

其中，所述多尺度特征融合模块为多层次多尺度滤波器卷积网络；所述多层次多尺度滤波器卷积网络包括第一分支、第二分支和第三分支；通过对各分支的特征图连接和对各分支逐像素相加得到所述空谱特征图；

所述第一分支、所述第二分支和所述第三分支均包括所述残差网络，且在每一层网络都增加批归一化层，同时采用ReLU激活函数；所述第一分支包括卷积核为3*3的第一卷积层、卷积核为3*3的第二卷积层、卷积核为3*3的第三卷积层和卷积核为1*1的第四卷积层；所述第二分支包括卷积核为5*5的第四卷积层、卷积核为5*5的第五卷积层和卷积核为1*1的第六卷积层；所述第三分支包括卷积核为7*7的第七卷积层；

并且，所述在光谱维与空间维的两个维度上学习目标特征，依次推断出注意力权重，同时根据所述注意力权重自适应调整所述空谱特征图，包括：

对所述空谱特征图依次进行全局平均池化操作、全局最大池化操作、多层感知操作和双池化操作，得到初始通道维信息；

根据所述初始通道维信息和所述空谱特征图得到通道维缩放特征；

按照信道维数，对所述空谱特征图进行双池化操作所得到的两个二维特征图进行拼接，得到拼接特征图；

使用三维卷积核对所述拼接特征图进行卷积操作，得到空间维操作结果；

根据所述通道维缩放特征和所述空间维操作结果得到所述空谱特征图。

5.根据权利要求4所述的高光谱图像识别装置，其特征在于，所述预处理卷积模块包括第一普通三维卷积层、第二普通三维卷积层、第一空洞三维卷积层、第二空洞三维卷积层和第三空洞三维卷积层；

所述第一普通三维卷积层、所述第二普通三维卷积层、所述第一空洞三维卷积层、所述第二空洞三维卷积层和所述第三空洞三维卷积层交叉组合为卷积结构；

所述预处理卷积模块结合所述残差网络将待识别高光谱遥感影像与所述卷积结构输出的图像卷积结果相加生成所述空谱特征图。

6.根据权利要求5所述的高光谱图像识别装置，其特征在于，所述第一普通三维卷积层和所述第二普通三维卷积层的卷积核为3×3×8；

所述第一空洞三维卷积层、所述第二空洞三维卷积层和所述第三空洞三维卷积层的卷积核为3×3×3，所述第一空洞三维卷积层的通道数为16，所述第二空洞三维卷积层的通道数为32，所述第三空洞三维卷积层的通道数为32。

7.一种电子设备，其特征在于，包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现如权利要求1至3任一项所述高光谱图像识别方法的步骤。

8.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述高光谱图像识别方法的步骤。