CN112116563A - 一种基于谱维与空间协作邻域注意力的高光谱图像目标检测方法与系统 - Google Patents

Abstract

本发明公开了一种基于谱维与空间协作邻域注意力的高光谱图像目标检测方法及系统，此方法包括如下步骤：生成3D立方体集；利用基于目标鉴别特征自适应提取的谱维邻域注意力机制的双向递归神经网络和基于空间结构自适应提取的三维邻域注意力机制的卷积神经网络分别作为光谱分支和空间分支分别提取高光谱图像的光谱特征和空间特征进行级联生成空谱协作特征，得出最佳网络模型；将空谱协作特征通过激活函数即可得到网络对数据集的目标检测结果；本发明通过谱维与空间协作的邻域注意力机制使神经网络能自适应地学习并获取空谱协作特征，更好地挖掘鉴别性的光谱特征和相似空间特征之间的相互依赖关系，具有较强的泛化能力，能获得较高的目标检测精度。

Description

一种基于谱维与空间协作邻域注意力的高光谱图像目标检测 方法与系统

技术领域

本发明涉及高光谱图像处理的技术领域，尤其涉及一种基于谱维与空间协作邻域注意力的高光谱图像目标检测方法与系统。

背景技术

高光谱影像技术在可见光到红外线波长范围内不仅能做到用成像系统获得连续空间内被测物体的空间维度的信息，还能捕捉由电磁能量反射或发射的狭窄、连续的光谱维度的信息，因此由地表观测飞行器或卫星获取的高光谱图像蕴含了大量光谱和空间信息，往往被组合成三维的数据立方体以便处理和分析，立方体大小为(x，y，b)，其中x和y代表空间维度，b代表光谱维度(包括波长范围)。

由于在光谱和空间维度上都蕴含丰富的信息，高光谱图像已应用于许多领域，如城市规划、采矿、国防和农业等。目标检测是分析高光谱图像的一项重要任务，高光谱目标检测可以利用目标和背景的信息差异将目标从背景中剥离出来，因此可以将其看作二目标检测问题，近年来越来越多的学者投身于该课题的研究。具体来说，高光谱图像目标检测对于军事侦察和打击具有重要意义：它可以用来探测重要的军事目标，如飞机，船只，机场，油罐等。在生态学和森林科学领域，高光谱目标检测可用于检测新生叶片。在野外矿产勘查中，高光谱图像目标检测可用于铁氧化物的探测。在其他民用领域它也有大量的应用，如灾后救援和气体探测等。

高光谱图像处理的主要困难有以下三点：第一，高光谱数据在光谱维度的波段多，且存在较高的信息冗余，导致数据维度很高。但是传统的降维方法在处理过程中舍弃了光谱维上的细节信息，因此并不可取。第二，相较纳米级的光谱分辨率，高光谱图像的空间分辨率较低，存在大量混合像素，即一个像素中存在多个类别不同的目标，需要进行解混合处理。此外，由于受成像噪声、大气湍流和光谱混合因素的影响，在实际环境中获取的高光谱数据往往具有较强的非线性和非高斯性，因此给特征提取带来了较大的困难。早期的高光谱目标检测方法有基于光谱数据正态分布假说提出的自适应余弦估计探测器(ACE)和匹配滤波器(MF)，还有基于概率统计模型的约束能量最小化算法(CEM)，这些经典的检测算法具有较强的泛化能力，但是辨识能力较弱，不适用于光谱数据强非线性分布情况下的检测问题。近两年，递归神经网络(RNN)也逐渐被应用于高光谱图像问题中，填补了高光谱图像处理中缺少基于序列的算法的缺口，基于RNN机器学习方法的高光谱目标检测技术在泛化能力和非线性特征识别能力上无法兼得，对于不同的高光谱数据集，需要设计不同的特征提取方法，这大大降低了目标检测效率。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有技术存在的辨识能力较弱，目标检测效率较低的问题，提出了本发明。

因此，本发明目的是提供一种基于谱维与空间协作邻域注意力的高光谱图像目标检测方法可以自主从数据中学习并获取空谱协作特征，通过自适应的谱维和空间注意力机制神经网络能更好地挖掘鉴别性的光谱特征和相似空间特征之间的相互依赖关系，并且具有较强的泛化能力，可以用于不同数据集的训练与检测，并能获得较高的目标检测精度。

为解决上述技术问题，本发明提供如下技术方案：此种基于谱维与空间协作邻域注意力的高光谱图像目标检测方法，包括如下步骤：

S1：高光谱图像数据预处理：选取由n个标记的目标像素组成的高光谱数据集组合为原始高光谱图像数据，并从原始高光谱图像数据中选取中心像素x_i的大小为p×p的邻域像素，以生成3D立方体集

其中b表示波段，将3D立方体集随机地分成训练集X_train、验证集X_val和测试集X_test；

S2：高光谱目标检测神经网络训练：初始化一个包含目标鉴别特征自适应提取的谱维邻域注意力机制和空间结构自适应提取的三维邻域注意力机制的神经网络，其中，基于目标鉴别特征自适应提取的谱维邻域注意力机制的双向递归神经网络Bi-RNN作为光谱分支提取鉴别性的光谱特征，基于空间结构自适应提取的三维邻域注意力机制的卷积神经网络3D-CNN作为空间分支挖掘局部邻域内的结构化特征，将两个分支获得的光谱特征图和空间特征图进行拼接操作整合为空谱协作特征以进行后续的目标检测，将训练集X_train同时投入光谱分支和空间分支进行训练，并对网络训练的参数进行更新，使用验证集X_val对网络的性能进行监控，得出最佳神经网络模型；

S3：目标检测和结果输出：用测试集X_test验证训练后网络的准确性，生成精确度参数用以评估网络，并用网络对数据集进行目标检测，将空谱协作特征输入softmax激活函数即可得到网络对数据集的目标检测结果，生成检测结果图。

作为本发明所述基于谱维与空间协作邻域注意力的高光谱图像目标检测方法一种优选方案，其中：步骤S1中，3D立方体集相应的标记集为

其中d表示图像覆盖类别的数量。

作为本发明所述基于谱维与空间协作邻域注意力的高光谱图像目标检测方法一种优选方案，其中：步骤S2中，目标鉴别特征自适应提取的谱维邻域注意力机制是将一个高光谱像素的光谱特征作为一个序列，利用双向递归神经网络Bi-RNN将谱维特征从前向和后向两个方向通过两个独立的隐藏层分别传递到同一个输出层中，通过隐藏层的前向特征和后向特征被捕捉后将在注意力层中被重新赋予权重；

对于输入双向递归神经网络Bi-RNN的高光谱向量x的谱向量：x＝(x₁,x₂,...,x_n)，双向隐藏高光谱向量的计算方法如下：

前向隐藏层的隐藏状态计算公式为：

后向隐藏层的隐藏状态计算公式为：

其中t的取值范围为光谱波段的数量，即从1到n，系数矩阵

和

来自于随机选择权重矩阵W＝[ω₁,ω₂,...,ω_n]^T，

和

来自于偏置矩阵B＝[b₁,b₂,...b_p]^T，

是前一步的隐藏状态h_t-1的系数矩阵，

是后一步的隐藏状态h_t+1的系数矩阵，f(·)是隐藏层的非线性激活函数，用于接收前向隐藏层和后向隐藏层的编码器输出的输入内存为g_t：

其中，concat[·]是一个串联前向隐藏状态和后向隐藏状态的串联函数，

定义注意力层为：

e_it＝tanh(W_ig_t+b_i)

α_it＝softmax(W’_ie_it+b’_i)

其中W_i和W’_i为变换矩阵，b_i和b’_i是偏置项，softmax(·)将非标准化的输出映射到概率分布，并将输出约束在区间(0,1)之间，注意力层是一个单层神经网络，该层将Bi-RNN在其当前向量空间中的状态进行了重新排列，然后用激活函数tanh将h_t转换为新的隐藏状态e_it，其中，h_t为第t层的隐藏状态，注意力权重α_it是通过softmax层产生的，注意力层基于e_it衡量输入的重要性，

利用下面的注意运算操作对标签向量y进行更新，所以高光谱向量x的预测标签y_t的计算公式为：

y_t＝U[g_t,α]

其中，U(·)是对所有状态用对应的注意力权重加权后的求和函数。

作为本发明所述基于谱维与空间协作邻域注意力的高光谱图像目标检测方法一种优选方案，其中：步骤S2中，空间结构自适应提取的三维邻域注意力机制利用卷积神经网络3D-CNN在邻域提取空间结构特征，对空间特征提取邻域注意力信息，强化局部结构信息的表达，并且使用了稠密块以避免梯度消失和梯度爆炸问题；

对于稠密块来说，假设输入数据n_m是个大小为p_m×p_m×b_m的数据立方体，一个卷积层包含了k_m+1个大小为α_m+1×α_m+1×d_m+1的通道，产生了n_m+1个大小为p_m+1×p_m+1×b_m+1的输出特征图，那么第(m+1)含批标准化的卷积层的第i个输出可以表示为：

其中

是第(m+1)层的第j个输入特征图，

是第m层紧接着批归一化层的输出，E(·)和Var(·)分别表示输入的期望函数和方差函数，

和

分别表示第(m+1)层的权重和偏置，*代表卷积运算，Mish(·)代表卷积神经网络3D-CNN的非线性激活函数；引入稠密块后，由于稠密连接在通道维度上串联了特征图，因此通道数量和卷积层数量之间存在线性关系，由m层稠密块产生的有k_m个通道的输出可以表示为：

k_m＝b+(m-1)×k_m-1

其中b表示输入特征图中的通道数；

给定一个输入特征图

采用两个卷积层分别生成特征图B和C，其中

接着将特征图B和C的大小重塑成

其中n＝p×p，代表邻域像素的数量，c为特征图B和C重塑形成的新的维度，然后特征图B和C之间进行矩阵乘法，并将结果传入softmax层用以计算空间特征图

其中s_ji表示第i个像素对于第j个像素产生的影响，两个像素之间的特征表示越接近，表明它们之间的相关性就越强，B_i为一个卷积层生成的第i个特征图，C_j是另一个卷积层生成的第j个特征图，

将初始输入特征A同时反馈到卷积层，以获得一个新的特征图

将D的大小重塑为

其中n＝p×p，接着将在D和S^T之间进行矩阵相乘操作，并将结果转换成大小为

的矩阵：

其中，β的初始值为0，通过该公式可以看出，所有的位置和原始特征加上一定权重系数可以得到最终的特征

则空间维度上的长距离上下文信息被建模成了E。

作为本发明所述基于谱维与空间协作邻域注意力的高光谱图像目标检测方法一种优选方案，其中：步骤S2中，为了防止网络过拟合，使用Mish激活函数、dropout层、提前停止策略和动态调整学习率的优化措施进行优化。

作为本发明所述基于谱维与空间协作邻域注意力的高光谱图像目标检测方法一种优选方案，其中：Mish激活函数形如：

mish(x)＝x×tanh(softplus(x))＝x_i×tanh(ln(1+e^x))

其中高光谱向量x是激活函数的输入，激活函数将非线性的概念引入到神经网络中。

作为本发明所述基于谱维与空间协作邻域注意力的高光谱图像目标检测方法一种优选方案，其中：dropout层分别位于空间分支和光谱分支中的最后一个批归一化层和全局平均池化层之间，根据给定的比例q，通过在训练阶段放弃占q比例隐藏层或可见层的神经元来防止网络过拟合，q设置为0.5。

作为本发明所述基于谱维与空间协作邻域注意力的高光谱图像目标检测方法一种优选方案，其中：提前停止策略主要为：

损失函数的值在一定迭代次数内不再减少时，那么网络将提前停止训练过程，设置迭代的值为20，即若所有样本训练20次的迭代内损失函数的值没有减少，则停止训练。

作为本发明所述基于谱维与空间协作邻域注意力的高光谱图像目标检测方法一种优选方案，其中：采用余弦退火方法实现动态调整学习率，公式如下：

η_t其中是第i次运行中的学习率，

是学习率的取值范围，T_cur代表被执行过的迭代的数量，代表在调整周期内即将被执行的迭代的数量。

一种基于谱维与空间协作邻域注意力的高光谱图像目标检测方法的系统，包括依次相连的高光谱图像数据预处理模块、高光谱目标检测神经网络训练模块和目标检测和输出模块；

高光谱图像数据预处理模块，所述高光谱图像数据预处理模块用于生成3D立方体集，将3D立方体集分为训练集、验证集和测试集；

高光谱目标检测神经网络训练模块，所述高光谱目标检测神经网络训练模块利用基于目标鉴别特征自适应提取的谱维邻域注意力机制的双向递归神经网络提取鉴别性的光谱特征，基于空间结构自适应提取的三维邻域注意力机制的卷积神经网络挖掘局部邻域内的结构化特征，将光谱特征图和空间特征图整合为空谱协作特征以进行后续的目标检测，将训练集同时投入光谱分支和空间分支进行训练，并对网络训练的参数进行更新，使用验证集对网络的性能进行监控，得出最佳神经网络模型；

目标检测和输出模块，所述目标检测和输出模块用于利用测试集验证训练后网络的准确性，生成精确度参数用以评估网络，并用网络对数据集进行目标检测，将空谱协作特征输入softmax激活函数即可得到网络对数据集的目标检测结果，生成检测结果图。

本发明的有益效果：本发明提出的基于谱维与空间协作邻域注意力的高光谱图像目标检测方法可以自主从数据中学习并获取空谱协作特征，通过自适应的谱维和空间注意力机制神经网络能更好地挖掘鉴别性的光谱特征和相似空间特征之间的相互依赖关系，并且具有较强的泛化能力，可以用于不同数据集的训练与检测，并能获得较高的目标检测精度。随着技术不断进步，相关领域能够获取到的高光谱图像也会越来越多，本发明提出的方法顺应了当今产业的发展方向，并提升了高光谱目标检测广泛应用的可行性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为本发明基于谱维与空间协作邻域注意力的高光谱图像目标检测方法的流程示意图。

图2为本发明基于谱维与空间协作邻域注意力的高光谱图像目标检测方法的框架结构示意图。

图3为本发明中目标鉴别特征自适应提取的谱维邻域注意力机制的示意图。

图4为本发明中空间结构自适应提取的三维邻域注意力机制的示意图。

图5为本发明中光谱特征图和空间特征图的连接示意图。

图6为本发明在15％训练样本条件下对UP数据集的沥青目标检测结果图，(a)表示数据集的真实目标分布图；(b)表示仅处理光谱数据的检测结果图；(c)表示仅处理空间数据的检测结果图；(d)表示本发明网络的检测结果图。

图7为本发明在15％训练样本条件下对UP数据集目标检测的检测精度图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。

再其次，本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。

实施例1

参照图1，为本发明第一个实施例，提供了一种基于谱维与空间协作邻域注意力的高光谱图像目标检测方法及系统，此种基于谱维与空间协作邻域注意力的高光谱图像目标检测方法，包括如下步骤：

S1：高光谱图像数据预处理

如图1和图2所示，选取由n个标记的目标像素组成的高光谱数据集组合为原始高光谱图像数据，本发明使用三个常用的高光谱数据集，分别是Indian Pines(IP)数据集、Salinas Valley(SV)数据集和Pavia University(UP)数据集。并从原始高光谱图像数据中选取中心像素x_i的大小为p＝p的邻域像素，以生成3D立方体集

其中b表示波段，相应的标记集为

其中d表示图像覆盖类别的数量，将3D立方体集随机地分成训练集X_train、验证集X_val和测试集X_test，并将标记集对应的划分为训练结果Y_train、验证结果Y_val和测试结果Y_test。其中邻域像素对应的标记对网络是不可见的，仅使用标记向量的空间信息。

本步骤中，邻域的大小p设置为9，如果目标像素位于图像的边缘，则将缺少的邻域像素的值设置为0。

S2：高光谱目标检测神经网络训练

如图3至图5所示，根据神经网络训练参数文档，初始化一个包含目标鉴别特征自适应提取的谱维邻域注意力机制和空间结构自适应提取的三维邻域注意力机制的神经网络，其中，基于目标鉴别特征自适应提取的谱维邻域注意力机制的双向递归神经网络Bi-RNN作为光谱分支提取鉴别性的光谱特征，基于空间结构自适应提取的三维邻域注意力机制的卷积神经网络3D-CNN作为空间分支挖掘局部邻域内的结构化特征，将两个分支获得的光谱特征图和空间特征图进行拼接操作整合为空谱协作特征以进行后续的目标检测。根据神经网络训练参数文档中的batch size(一次训练所选取的样本数)、学习率和学习次数等参数，将训练集X_train同时投入光谱分支和空间分支进行训练，并对网络训练的参数进行更新，使用验证集X_val对网络的性能进行监控，为了防止网络过拟合，使用了Mish激活函数、dropout层、提前停止策略和动态调整学习率等的优化措施，得出最佳神经网络模型。每次训练前将训练数据分为训练数据和测试数据，利用测试数据评价模型准确率，如准确率较低或无法达到理想，可以回滚至神经网络上一状态或者训练全新的神经网络。

具体的，在基于目标鉴别特征自适应提取的谱维邻域注意力机制的双向递归神经网络中，输入层有n个节点，输出层有n×2个节点。在于空间结构自适应提取的三维邻域注意力机制的卷积神经网络中输入数据有p_m×p_m×b_m个节点，输出层有p_m+1×p_m+1×b_m+1个节点。

本步骤中，如图3所示，基于目标鉴别特征自适应提取的谱维邻域注意力机制的双向递归神经网络是将一个高光谱像素的光谱特征作为一个序列，利用双向递归神经网络将谱维特征从前向和后向两个方向通过两个独立的隐藏层分别传递到同一个输出层中，通过隐藏层的前向特征和后向特征被捕捉后将在注意力层中被重新赋予权重。

训练过程如下，输入双向递归神经网络Bi-RNN的高光谱向量x的谱向量：x＝(x₁,x₂,...,x_n)，双向隐藏高光谱向量的计算方法如下：

前向隐藏层的隐藏状态计算公式为：

后向隐藏层的隐藏状态计算公式为：

其中t的取值范围为光谱波段的数量，即从1到n，系数矩阵

和

来自随机选择权重矩阵W＝[ω₁,ω₂,...,ω_n]^T，

和

来自于偏置矩阵B＝[b₁,b₂,...b_p]^T，

是前一步的隐藏状态h_t-1的系数矩阵，

是后一步的隐藏状态h_t+1的系数矩阵，f(·)是隐藏层的非线性激活函数，用于接收前向隐藏层和后向隐藏层的编码器输出的输入内存为g_t：

其中，concat[·]是一个串联前向隐藏状态和后向隐藏状态的串联函数，

定义注意力层为：

e_it＝tanh(W_ig_t+b_i)

α_it＝softmax(W’_ie_it+b’_i)

其中W_i和W’_i为变换矩阵，b_i和b’_i是偏置项，softmax(·)将非标准化的输出映射到概率分布，并将输出约束在区间(0,1)之间。注意力层是一个单层神经网络，该层将双向递归神经网络Bi-RNN在其当前向量空间中的状态进行了重新排列，然后用激活函数tanh将h_t转换为新的隐藏状态e_it，其中，h_t为第t层的隐藏状态，注意力权重α_it是通过softmax层产生的，注意力层基于e_it衡量输入的重要性。

利用下面的注意运算操作对标签向量y进行更新，所以高光谱向量x的预测标签y_t的计算公式为：

y_t＝U[g_t,α]

其中，U(·)是对所有状态用对应的注意力权重加权后的求和函数，用软注意运算操作对双向递归神经网络Bi-RNN的标签向量y进行更新，y_t是第t层的标签向量预测值，y是训练集中标记向量的训练结果，这个结果是用于与标记集进行对照的，如图6(b)、图6(c)、图(c)所示。

本步骤中，基于空间结构自适应提取的三维邻域注意力机制的卷积神经网络是带批归一化层的三维卷积神经网络3D-CNN，并且使用了稠密块以避免梯度消失和梯度爆炸问题。如图4所示，对于稠密块来说，假设输入数据n_m是个大小为p_m×p_m×b_m的数据立方体，一个卷积层包含了k_m+1个大小为α_m+1×α_m+1×d_m+1的通道，产生了n_m+1个大小为p_m+1×p_m+1×b_m+1的输出特征图，那么第(m+1)含批标准化的卷积层的第i个输出可以表示为：

其中

是第(m+1)层的第j个输入特征图，

是第m层紧接着批标准化层的输出，E(·)和Var(·)分别表示输入的期望函数和方差函数，

和

分别表示第(m+1)层的权重和偏置，*代表卷积运算，Mish(·)代表三维卷积神经网络3D-CNN的非线性激活函数；引入稠密块后，由于稠密连接在通道维度上串联了特征图，因此通道数量和卷积层数量之间存在线性关系，由m层稠密块产生的有k_m个通道的输出可以表示为：

k_m＝b+(m-1)×k_m-1

其中b表示输入特征图中的通道数；

给定一个输入特征图

采用两个卷积层分别生成特征图B和C，其中

接着将特征图B和C的大小重塑成

其中n＝p×p，代表邻域像素的数量，c为特征图B和C重塑形成的新的维度，然后特征图B和C之间进行矩阵乘法，并将结果传入softmax层用以计算空间特征图

其中s_ji表示第i个像素对于第j个像素产生的影响，两个像素之间的特征表示越接近，表明它们之间的相关性就越强，B_i为一个卷积层生成的第i个特征图，C_j是另一个卷积层生成的第j个特征图。

将初始输入特征A同时反馈到卷积层，以获得一个新的特征图

将D的大小重塑为

其中n＝p×p，接着将在D和S^T之间进行矩阵相乘操作，并将结果转换成大小为

的矩阵：

其中，β的初始值为0，这样可以在学习训练过程中逐渐被赋予更多权重。通过该公式可以看出，所有的位置和原始特征加上一定权重系数可以得到最终的特征

因此空间维度上的长距离上下文信息被建模成了E。

本步骤中，Mish激活函数是一个可以自我调整的非单调激活函数，可以加速网络的反向传播和收敛，形如：

mish(x)＝x×tanh(softplus(x))＝x_i×tanh(ln(1+e^x))

其中高光谱向量x是激活函数的输入，激活函数将非线性的概念引入到神经网络中。激活函数将非线性的概念引入到神经网络中，合适的激活函数而非传统的ReLU函数。ReLU是一个消除所有负输入的分段线性函数，因此如果输入是非正向的，那么神经元将“死亡”，不能再被激活，即使负向输入中可能包含有用的信息。而Mish函数是一个无上界、下界的范围为[≈-0,31,∞)的非线性函数，和ReLU函数相比，负输入会被Mish函数保留为负输出，这样更好地交换了输入信息和网络稀疏性。

dropout层分别位于空间分支和光谱分支中的最后一个批归一化层和全局平均池化层之间，根据给定的比例q，通过在训练阶段放弃占q比例隐藏层或可见层的神经元来防止网络过拟合，q设置为0.5。

提前停止策略主要为：

损失函数的值在一定迭代(epoch)次数内不再减少时，那么网络将提前停止训练过程，设置迭代(epoch)的值为20，即若所有样本训练20次的迭代(epoch)内损失函数的值没有减少，则停止训练。

采用余弦退火方法实现动态调整学习率，动态调整学习率作为调整权重时候的参数，可以控制网络的学习进度，动态地调整学习率有助于避免局部最小值的出现，公式如下：

η_t其中是第i次运行中的学习率，

是学习率的取值范围，T_cur代表被执行过的迭代(epoch)的数量，代表在调整周期内即将被执行的迭代(epoch)的数量。

S3：目标检测和结果输出

用测试集X_test验证训练后网络的准确性，生成精确度参数用以评估网络，并用网络对数据集进行目标检测，将空谱协作特征输入softmax激活函数即可得到网络对数据集的目标检测结果，生成检测结果图。因为光谱特征和空间特征位于不相关域中，本发明的连接操作相较于相加操作可以更好地保持两类特征的独立性。

采用光谱特征、空间特征和空-谱特征进行目标检测对比实验，得到的检测结果图见图6，并用ROC曲线和AUC值评估目标检测精确度，如图7所示。

一种基于上述谱维与空间协作邻域注意力的高光谱图像目标检测方法的系统，包括依次相连的高光谱图像数据预处理模块、高光谱目标检测神经网络训练模块和目标检测和输出模块；

高光谱图像数据预处理模块，所述高光谱图像数据预处理模块用于生成3D立方体集，将3D立方体集分为训练集、验证集和测试集；

高光谱目标检测神经网络训练模块，所述高光谱目标检测神经网络训练模块利用基于目标鉴别特征自适应提取的谱维邻域注意力机制的双向递归神经网络提取鉴别性的光谱特征，基于空间结构自适应提取的三维邻域注意力机制的卷积神经网络挖掘局部邻域内的结构化特征，将光谱特征图和空间特征图整合为空谱协作特征以进行后续的目标检测，将训练集同时投入光谱分支和空间分支进行训练，并对网络训练的参数进行更新，使用验证集对网络的性能进行监控，得出最佳网络模型；

目标检测和输出模块，所述目标检测和输出模块用于利用测试集验证训练后网络的准确性，生成精确度参数用以评估网络，并用网络对数据集进行目标检测，将空谱协作特征softmax激活函数即可得到网络对数据集的目标检测结果，生成检测结果图。

针对高光谱图像处理中存在的问题，本发明基于目标鉴别特征自适应提取的谱维邻域注意力机制和空间结构自适应提取的三维邻域注意力机制，提出了空-谱融合的高光谱目标检测方法，既利用了光谱数据，又利用了空间数据，并且为了更好地提取数据特征，对两个维度的数据采取了不同的处理方式：对于图像中的光谱维度，采用了基于目标鉴别特征自适应提取的谱维邻域注意力机制的双向递归神经网络提取鉴别性光谱特征，对于图像中的空间维度，采用了基于空间结构自适应提取的三维邻域注意力机制的卷积神经网络挖掘局部邻域内的结构化特征；通过连接操作将提取到的光谱特征和空间特征进行融合形成空-谱协作特征，最后，将连接在一起的光谱特征和空间特征通过softmax激活函数得到目标检测结果。此外，为了防止网络过拟合，设计了如dropout层、提前停止策略等的优化措施，并将使用的三个数据集预处理后分成训练集、验证集和测试集，在GPU上进行训练，根据训练结果调整超参数，优化目标检测结果。

本发明通过基于谱维与空间协作邻域注意力的高光谱图像目标检测方法自适应地从数据中学习并获取空谱协作特征，更好地挖掘鉴别性的光谱特征和相似空间特征之间的相互依赖关系，并且具有较强的泛化能力，可以用于不同数据集的训练与检测，并能获得较高的目标检测精度。可以用于不同高光谱图像数据集的判别、目标检测与检测，使得农业、军事和工业等多个相关领域中的企业与机构可以实现高光谱图像数据的自动识别，有效开展异常识别、预警和干预，提升高光谱目标检测广泛应用的可行性。

应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种基于谱维与空间协作邻域注意力的高光谱图像目标检测方法，其特征在于：包括如下步骤：

S1：高光谱图像数据预处理：选取由n个标记的目标像素组成的高光谱数据集组合为原始高光谱图像数据，并从原始高光谱图像数据中选取中心像素x_i的大小为p×p的邻域像素，以生成3D立方体集

其中b表示波段，将3D立方体集随机地分成训练集X_train、验证集X_val和测试集X_test；

S2：高光谱目标检测神经网络训练：初始化一个包含目标鉴别特征自适应提取的谱维邻域注意力机制和空间结构自适应提取的三维邻域注意力机制的神经网络，其中，基于目标鉴别特征自适应提取的谱维邻域注意力机制的双向递归神经网络Bi-RNN作为光谱分支提取鉴别性的光谱特征，基于空间结构自适应提取的三维邻域注意力机制的卷积神经网络3D-CNN作为空间分支挖掘局部邻域内的结构化特征，将两个分支获得的光谱特征图和空间特征图进行拼接操作整合为空谱协作特征以进行后续的目标检测，将训练集X_train同时投入光谱分支和空间分支进行训练，并对网络训练的参数进行更新，使用验证集X_val对网络的性能进行监控，得出最佳神经网络模型；

S3：目标检测和结果输出：用测试集X_test验证训练后网络的准确性，生成精确度参数用以评估网络，并用网络对数据集进行目标检测，将空谱协作特征输入softmax激活函数即可得到网络对数据集的目标检测结果，生成检测结果图。

2.如权利要求1所述的基于谱维与空间协作邻域注意力的高光谱图像目标检测方法，其特征在于：步骤S1中，3D立方体集相应的标记集为

其中d表示图像覆盖类别的数量。

3.如权利要求1或2所述的基于谱维与空间协作邻域注意力的高光谱图像目标检测方法，其特征在于：步骤S2中，目标鉴别特征自适应提取的谱维邻域注意力机制是将一个高光谱像素的光谱特征作为一个序列，利用双向递归神经网络Bi-RNN将谱维特征从前向和后向两个方向通过两个独立的隐藏层分别传递到同一个输出层中，通过隐藏层的前向特征和后向特征被捕捉后将在注意力层中被重新赋予权重；

对于输入双向递归神经网络Bi-RNN的高光谱向量x的谱向量：x＝(x₁,x₂,...,x_n)，双向隐藏高光谱向量的计算方法如下：

前向隐藏层的隐藏状态计算公式为：

后向隐藏层的隐藏状态计算公式为：

其中t的取值范围为光谱波段的数量，即从1到n，系数矩阵

和

来自于随机选择权重矩阵W＝[ω₁,ω₂,...,ω_n]^T，

和

来自于偏置矩阵B＝[b₁,b₂,...b_p]^T，

是前一步的隐藏状态h_t-1的系数矩阵，

是后一步的隐藏状态h_t+1的系数矩阵，f(·)是隐藏层的非线性激活函数，用于接收前向隐藏层和后向隐藏层的编码器输出的输入内存为g_t：

其中，concat[·]是一个串联前向隐藏状态和后向隐藏状态的串联函数，

定义注意力层为：

e_it＝tanh(W_ig_t+b_i)

α_it＝softmax(W'_ie_it+b'_i)

其中W_i和W_i'为变换矩阵，b_i和b'_i是偏置项，softmax(·)将非标准化的输出映射到概率分布，并将输出约束在区间(0,1)之间，注意力层是一个单层神经网络，该层将Bi-RNN在其当前向量空间中的状态进行了重新排列，然后用激活函数tanh将h_t转换为新的隐藏状态e_it，其中，h_t为第t层的隐藏状态，注意力权重α_it是通过softmax层产生的，注意力层基于e_it衡量输入的重要性，

利用下面的注意运算操作对标签向量y进行更新，所以高光谱向量x的预测标签y_t的计算公式为：

y_t＝U[g_t,α]

其中，U(·)是对所有状态用对应的注意力权重加权后的求和函数。

4.如权利要求3所述的基于谱维与空间协作邻域注意力的高光谱图像目标检测方法，其特征在于：步骤S2中，空间结构自适应提取的三维邻域注意力机制利用卷积神经网络3D-CNN在邻域提取空间结构特征，对空间特征提取邻域注意力信息，强化局部结构信息的表达，并且使用了稠密块以避免梯度消失和梯度爆炸问题；

对于稠密块来说，假设输入数据n_m是个大小为p_m×p_m×b_m的数据立方体，一个卷积层包含了k_m+1个大小为α_m+1×α_m+1×d_m+1的通道，产生了n_m+1个大小为p_m+1×p_m+1×b_m+1的输出特征图，那么第(m+1)含批标准化的卷积层的第i个输出可以表示为：

其中

是第(m+1)层的第j个输入特征图，

是第m层紧接着批归一化层的输出，E(·)和Var(·)分别表示输入的期望函数和方差函数，

和

分别表示第(m+1)层的权重和偏置，*代表卷积运算，Mish(·)代表卷积神经网络3D-CNN的非线性激活函数；引入稠密块后，由于稠密连接在通道维度上串联了特征图，因此通道数量和卷积层数量之间存在线性关系，由m层稠密块产生的有k_m个通道的输出可以表示为：

k_m＝b+(m-1)×k_m-1

其中b表示输入特征图中的通道数；

给定一个输入特征图

采用两个卷积层分别生成特征图B和C，其中

接着将特征图B和C的大小重塑成

其中n＝p×p，代表邻域像素的数量，c为特征图B和C重塑形成的新的维度，然后特征图B和C之间进行矩阵乘法，并将结果传入softmax层用以计算空间特征图

其中s_ji表示第i个像素对于第j个像素产生的影响，两个像素之间的特征表示越接近，表明它们之间的相关性就越强，B_i为一个卷积层生成的第i个特征图，C_j是另一个卷积层生成的第j个特征图，

将初始输入特征A同时反馈到卷积层，以获得一个新的特征图

将D的大小重塑为

其中n＝p×p，接着将在D和S^T之间进行矩阵相乘操作，并将结果转换成大小为

的矩阵：

其中，β的初始值为0，通过该公式可以看出，所有的位置和原始特征加上一定权重系数可以得到最终的特征

则空间维度上的长距离上下文信息被建模成了E。

5.如权利要求4所述的基于谱维与空间协作邻域注意力的高光谱图像目标检测方法，其特征在于：步骤S2中，为了防止网络过拟合，使用Mish激活函数、dropout层、提前停止策略和动态调整学习率的优化措施进行优化。

6.如权利要求5所述的基于谱维与空间协作邻域注意力的高光谱图像目标检测方法，其特征在于：Mish激活函数形如：

mish(x)＝x×tanh(softplus(x))＝x_i×tanh(ln(1+e^x))

其中高光谱向量x是激活函数的输入，激活函数将非线性的概念引入到神经网络中。

7.如权利要求6所述的基于谱维与空间协作邻域注意力的高光谱图像目标检测方法，其特征在于：dropout层分别位于空间分支和光谱分支中的最后一个批归一化层和全局平均池化层之间，根据给定的比例q，通过在训练阶段放弃占q比例隐藏层或可见层的神经元来防止网络过拟合，q设置为0.5。

8.如权利要求7所述的基于谱维与空间协作邻域注意力的高光谱图像目标检测方法，其特征在于：提前停止策略主要为：

损失函数的值在一定迭代次数内不再减少时，那么网络将提前停止训练过程，设置迭代的值为20，即若所有样本训练20次的迭代内损失函数的值没有减少，则停止训练。

9.如权利要求8所述的基于谱维与空间协作邻域注意力的高光谱图像目标检测方法，其特征在于：采用余弦退火方法实现动态调整学习率，公式如下：

η_t其中是第i次运行中的学习率，

是学习率的取值范围，T_cur代表被执行过的迭代的数量，代表在调整周期内即将被执行的迭代的数量。

10.一种基于权利要求1-9任一项所述的基于谱维与空间协作邻域注意力的高光谱图像目标检测方法的系统，其特征在于：包括依次相连的高光谱图像数据预处理模块、高光谱目标检测神经网络训练模块和目标检测和输出模块；

高光谱图像数据预处理模块，所述高光谱图像数据预处理模块用于生成3D立方体集，将3D立方体集分为训练集、验证集和测试集；

高光谱目标检测神经网络训练模块，所述高光谱目标检测神经网络训练模块利用基于目标鉴别特征自适应提取的谱维邻域注意力机制的双向递归神经网络提取鉴别性的光谱特征，基于空间结构自适应提取的三维邻域注意力机制的卷积神经网络挖掘局部邻域内的结构化特征，将光谱特征图和空间特征图整合为空谱协作特征以进行后续的目标检测，将训练集同时投入光谱分支和空间分支进行训练，并对网络训练的参数进行更新，使用验证集对网络的性能进行监控，得出最佳神经网络模型；

目标检测和输出模块，所述目标检测和输出模块用于利用测试集验证训练后网络的准确性，生成精确度参数用以评估网络，并用网络对数据集进行目标检测，将空谱协作特征输入softmax激活函数即可得到网络对数据集的目标检测结果，生成检测结果图。

Images