CN116246171A - 一种空-谱多尺度高光谱遥感图像目标检测方法及设备 - Google Patents

Abstract

一种空‑谱多尺度高光谱遥感图像目标检测方法及设备，属于高光谱遥感图像目标检测技术领域。为了解决现有的高光谱目标检测存在空间信息应用不够充分的问题以及其导致的高光谱目标检测能力弱的问题。本发明基于待检测目标区域的高光谱数据，将三维空间像素块构成一个样本，称为一个patch；将待测图像中所有的像元的patch与目标先验的patch构建样本对；将样本对输入多尺度空‑谱目标检测网络进行目标检测，首先通过两条结构、参数共享的独立支路分别处理输入的样本对中的两个patch，每条独立支路上对光谱特征和空间特征进行提取，然后在两条独立支路中最后一个下采样单元之后合并，输出特征经过多尺度差异特征混合后给出两个输入的相似度。

Description

一种空-谱多尺度高光谱遥感图像目标检测方法及设备

技术领域

本发明属于高光谱遥感图像目标检测技术领域，具体涉及一种高光谱遥感图像目标检测方法及设备。

背景技术

高光谱图像是一种包含几十甚至数百波段的三维数据立方体，同时包含了地物的空间信息和光谱信息。受益于高光谱图像丰富的光谱信息，高光谱图像在地质勘探、精确农业和城市监测等领域都有重要应用。高光谱目标检测是根据目标的少量先验信息将目标从背景中识别分离出来的技术，它可以实现对特定目标的精细辨别。其任务特点是先验信息有限，目标占比小、尺寸小。

目前，大量基于深度学习的算法被应用于高光谱目标检测中。然而，这些基于深度学习的目标检测方法仍存在着空间信息应用不够充分的问题。一方面，利用引导滤波等后处理手段引入空间信息的方法增加了检测方法的操作复杂度且难以提取非线性相关特征；另一方面，基于二维卷积、三维卷积的空间信息提取方法适用于较大的空间尺寸，而高光谱目标检测中目标尺寸小、数量少，较大空间尺寸信息的引入反而可能引起检测精度的降低，因此广泛应用于高光谱分类、高光谱变化检测中的二维卷积和三维卷积无法适用于小体积目标的高光谱目标检测，其检测结果难以理想。

发明内容

本发明为了解决现有的高光谱目标检测存在空间信息应用不够充分的问题以及其导致的高光谱目标检测能力弱的问题。

一种空-谱多尺度高光谱遥感图像目标检测方法，基于待检测目标区域的高光谱数据，将三维空间像素块构成一个样本，该像素块称为一个patch；将待测图像中所有的像元对应的patch与目标先验对应的patch构建样本对；将样本对输入多尺度空-谱目标检测网络进行目标检测，所述的多尺度空-谱目标检测网络由孪生网络结构的相似度量模块、基于注意力机制的空-谱特征提取模块、多尺度空-谱差异特征混合模块组成，具体结构如下：

基于孪生网络结构的相似度量模块：基于孪生网络结构的相似度量模块是基于孪生网络实现的；孪生网络是一种连体网络结构，它首先通过两条结构、参数共享的独立支路分别处理输入的样本对中的两个patch像素块，然后在两条独立支路中最后一个下采样单元之后合并，输出特征经过上采样单元后以相似分数的形式给出两个输入的相似度；

两条结构、参数共享的独立支路上分别设置基于注意力机制的空-谱特征提取模块；每个空-谱特征提取模块包含两条支路——光谱特征提取支路和空间特征提取支路，首先通过光谱特征提取和空间特征提取分别提取像元的光谱和空间信息，然后将二者融合得到空-谱融合特征；

光谱特征提取支路以patch的中心像元p∈R^1×band为输入，band为波段数；光谱特征提取支路包括四个下采样单元；每个下采样单元由2或3个卷积层和一个最大池化层组成，在每一个卷积层之后添加有批次归一化层和dropout层以防止过拟合，批次归一化层即BN层；经过光谱特征提取之后获得像元的光谱特征；

空间特征提取支路以整个像素块patch∈R^l×l×band为输入，其中，l为像素块的空间尺寸；空间特征提取包括一个二维卷积层和一个视觉注意力单元，视觉注意力单元即ViT单元；

经过光谱特征提取和空间特征提取后，由第四个下采样单元的卷积输出得到光谱特征和最后输出的空间特征进行contact处理，然后送入第四个下采样单元中的最大池化层处理以获得像元的空-谱联合特征；

多尺度空-谱差异特征混合模块包括四个上采样单元，每个上采样单元包含2或3个转置卷积，第一个转置卷积执行上采样，其余的转置卷积实现特征聚合与提取；每个转置卷积后跟随一个BN层和dropout层；

每个上采样单元的输出与空-谱特征提取模块中相应尺度的下采样阶段的输出差值通过长跳连接进行相连，作为下一个上采样单元的输入；经过四个上采样单元，即获得了四个不同尺度的空-谱差异混合特征；最后三个不同尺度的特征按权重相加，所得张量经过一个全连接层和一个激活函数层得到相似分数；基于相似分数实现目标检测。

进一步地，光谱特征提取支路的四个下采样单元中下采样单元的卷积层的卷积核数量以8，16，32，64的逐次递增。

进一步地，多尺度空-谱差异特征混合模块的四个上采样单元中上采样单元的卷积核数量以64，32，16，8的顺序递减。

进一步地，四个上采样单元中的最后三个不同尺度的特征分按1/8，1/4，1的权重相加。

进一步地，ViT单元包含一个多头注意力模块和一个前馈网络。

进一步地，所述多尺度空-谱目标检测网络的训练过程包括以下步骤：

首先、构建训练数据集和测试数据集：利用目标先验信息和背景先验信息构建两类样本对，所述样本对来自同类别先验的样本对和来自不同类别先验的样本对；来自同类的样本对标记伪标签为0，代表相似；来自不同类别的样本对标记伪标签为1，代表不同；

然后、利用构建的训练数据集训练搭建好的多尺度空-谱目标检测网络；在训练阶段，将训练样本集及其伪标签一起送入多尺度空-谱目标检测网络中对网络进行训练；训练完成的网络可以区分两个输入的像元是否相似并进行相似度打分。

进一步地，训练多尺度空-谱目标检测网络的过程中利用二值交叉熵作为损失函数。

一种计算机存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现所述的一种空-谱多尺度高光谱遥感图像目标检测方法。

一种空-谱多尺度高光谱遥感图像目标检测设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现所述的一种空-谱多尺度高光谱遥感图像目标检测方法。

有益效果：

本发明提出的高光谱目标检测方法联合利用了一维卷积神经网络和视觉注意力提取空-谱联合特征。与仅考虑光谱信息以及使用二维/三维卷积神经网络(卷积注意力)提取空间信息的网络相比，该方法既能通过一维卷积神经网络针对性地提取光谱特征，又能通过空间注意力在小尺寸空间范围内自适应地提取空间特征。为了进一步辨别目标与背景，该方法采用了孪生网络，以扩大类内相似度和类间差异度，从而使目标更容易区分出来。此外，本发明采用了多尺度融合特征代替单一尺度特征，以获得更加具有辨别性的空-谱差异特征。整个检测器最终以相似分数的形式给出检测结果，相似分数越高，越可能为目标。经实验分析，本发明所提出的方法在三个数据集上分别能够获得0.9992、0.9937和0.9983的AUC值。

附图说明

图1为多尺度空-谱目标检测方法流程图。

图2为基于注意力机制的多尺度空-谱高光谱目标检测网络结构图。

图3(a)、图3(b)、图3(c)分别为数据集I的伪彩图、真值图及检测结果。

图4(a)、图4(b)、图4(c)分别为数据集II的伪彩图、真值图及检测结果。

图5(a)、图5(b)、图5(c)分别为数据集III的伪彩图、真值图及检测结果。

具体实施方式

本发明提出了一种基于注意力机制的空-谱多尺度高光谱目标检测方法，同时利用一维卷积神经网络和注意力机制分别提取光谱信息和空间信息并融合得到空-谱混合特征。与二维卷积以及三维卷积相比，本发明所使用的Vision Transformer注意力可以在较小的空间尺寸范围内自适应地提取空间信息，从而更完整的表示像元特征，提高方法检测结果。

本发明采用孪生网络作为该方法的框架，与直接提取像元特征的结构不同，孪生网络提取的是像元的差异特征，因此可以扩大类间差异，减小类内差异，从而促进目标与背景的比较，使目标更好的分离出来。

为了更好的提取空-谱差异特征，本发明还设计了一种多尺度特征提取模块。多尺度特征提取模块克服了大多数深度学习方法只利用网络最后一层输出的单尺度特征，而忽略了其他层的重要特征的问题，从而获得更具辨别性的差异特征，进一步促进了目标的鉴别与检测。

下面结合具体实施方式对本发明进行详细说明。

具体实施方式一：结合图1说明本实施方式，图1中的Band selection表示波段选择，Train stage表示训练阶段，Testing stage表示测试阶段，Background prior patches表示背景先验信息的像素块，Target prior patches表示目标先验信息的像素块，testpatches表示测试像素块，Attention-based multiscale spectral-spatial detector(AMSSD)表示基于注意的多尺度光谱空间探测器，也就是本发明的多尺度空-谱目标检测网络，Similarity score表示相似分数。

本实施方式为一种空-谱多尺度高光谱遥感图像目标检测方法，包括以下步骤：

步骤一、构建训练数据集和测试数据集：

基于深度学习的网络需要大量的训练数据，而高光谱目标检测的先验目标信息往往是有限的。基于此，本发明通过像素块配对以扩充训练样本的数量以满足网络训练要求：

在本发明中，一定尺寸的三维空间像素块构成一个样本，该像素块称为一个patch。

为了构建训练样本集，利用目标先验信息和背景先验信息构建两类样本对——来自同类别先验的样本对(目标和目标，背景和背景)和来自不同类别先验的样本对(目标和背景)。来自同类的样本对标记伪标签为0，代表相似；来自不同类别的样本对标记伪标签为1，代表不同。

为了构建测试样本集，将待测图像中所有的像元对应的patch与目标先验对应的patch构建样本对。

在训练阶段，将训练样本集及其伪标签一起送入所设计的网络中对网络进行训练。训练完成的网络可以区分两个输入的像元是相似还是不同。在测试阶段，将测试样本集送入训练好的网络中，网络将给出测试像元和目标先验的相似分数，相似分数高即判为目标，否则判为背景。

步骤二、搭建多尺度空-谱目标检测网络，包括以下步骤：

步骤2.1、搭建基于孪生网络结构的相似度量模块：

本发明所设计的基于孪生网络结构的相似度量模块是基于孪生网络(Siamesenetwork)实现的。孪生网络是一种连体网络结构，它首先通过两条结构、参数共享的独立支路分别处理输入的样本对中的两个patch像素块，然后在两条独立支路中最后一个下采样单元(见步骤2.2)之后合并，输出特征经过上采样(见步骤2.3)模块后以相似分数的形式给出两个输入的相似度。

对于二分类问题，孪生网络常常利用二值交叉熵(binary cross entropy)作为损失函数，其表达式为

l_n＝-ω[y_nlopx_n+(1-y_n)log(1-x_n)]

式中x_n和y_n分别为孪生网络的输出和标签值，

为超参数，对单标签二分类，/>

可以忽略。不同于直接提取输入特征的网络，孪生网络提取的是两个输入的相似特征。因此它能够扩大不同类别的差异性和相同类别的相似性，从而促进目标与背景的比较，使目标能更好地从背景中提取出来。同时孪生网络结构中参数共享的特点可以减少网络运算量，提高算法效率。

步骤2.2、在两条结构、参数共享的独立支路上分别搭建基于注意力机制的空-谱特征提取模块：

现有的基于深度学习的目标检测方法多数只考虑了光谱特征提取，而同时利用空间和光谱信息的方法，仍存在着空间信息利用不充分的问题。如利用二维或三维卷积提取空间信息的方法虽然可以提取空间信息，但它们往往适用于大尺寸的空间像素块，当空间尺寸较小时难以提取到有用空间信息甚至造成干扰。因此，本发明设计了一种新的空-谱联合特征提取方法。如图2所示，每个空-谱特征提取模块包含两条支路——光谱特征提取支路和空间特征提取支路，首先通过光谱特征提取和空间特征提取分别提取像元的光谱和空间信息，然后将二者融合得到空-谱融合特征。

光谱特征提取支路以patch的中心像元p∈R^1×band为输入，band为波段数。光谱特征提取支路包括四个下采样单元。每个下采样单元由2或3个卷积层和一个最大池化层组成，在每一个卷积层之后添加有批次归一化层和dropout层以防止过拟合，批次归一化层即BN(batch normalization)层。下采样单元中的卷积层的卷积核数量以8，16，32，64的规律逐次递增，经过光谱特征提取之后获得像元的光谱特征。

空间特征提取支路以整个像素块patch∈R^l×l×band为输入，其中，l为像素块的空间尺寸。空间特征提取包括一个二维卷积层和一个视觉注意力单元；视觉注意力单元即ViT(vision Transformer)单元。

通过二维卷积层聚合像素块空间信息同时调整patch的维度，以更好的实现后续的空间特征提取。ViT用于自适应地在小尺寸空间内捕获空间特征，它利用了Transformer的编码器，并使用额外的标记来表示全局特征。ViT包含一个多头注意力(multi-headattention)模块和一个前馈网络。经过二维卷积得到的张量经过线性映射层后进行位置编码，编码后的嵌入向量embeddings即被送入Transformer编码器，并最终通过额外标记给出全局空间特征。

多头注意由自注意力(self-attention)构成。在自注意力中，每个嵌入向量首先乘以三个不同的可学习矩阵得到三个不同向量，分别为查询向量q，键向量k，值向量v。所有q、k、v组成张量Q、K、V。自注意力公式为

式中d为查询向量和键向量的长度。为了更好的提取相关信息，防止自注意力过度注意自身，提出了多头注意力。多头注意表达式为

MultiHead(Q,K,V)＝Concat(head₁,head₂,…,head_h)×W^o

head_i＝Attention(Q,K,V)

式中h为多头注意力中头的数量，W^o为可学习的参数矩阵。

经过光谱特征提取和空间特征提取后，全局空间特征和光谱特征(由第四个下采样单元的卷积输出得到)进行contact处理，然后送入第四个下采样单元中的最大池化层处理以获得像元的空-谱联合特征。

步骤2.3：搭建多尺度空-谱差异特征混合模块：

大多数基于深度学习的算法只利用了网络最后一层输出的特征，而忽略了其他层中不同尺度的重要特征。因此，本发明设计了多尺度空-谱差异特征混合模块，以提取更具辨识度的差异特征，从而更好辨别目标与背景。

多尺度空-谱差异特征混合模块包括四个上采样单元，每个上采样单元包含2或3个转置卷积，第一个转置卷积执行上采样，其余的转置卷积实现特征聚合与提取。每个转置卷积后跟随一个BN层和dropout层。上采样单元的卷积核数量以64，32，16，8的顺序递减。

每个上采样单元的输出与空-谱特征提取模块中相应尺度的下采样阶段的输出差值通过长跳连接进行相连，作为下一个上采样单元的输入。长跳连接可以融合深层与浅层的特征，从而更好实现特征的表示。经过四个上采样单元，即获得了四个不同尺度的空-谱差异混合特征。最后三个不同尺度的特征以

1的权重相加，所得张量经过一个全连接层(fully connected layer)和一个激活函数层(sigmoid layer)得到相似分数。

步骤三、利用构建的训练数据集训练搭建好的多尺度空-谱目标检测网络；训练完成的网络可以区分两个输入的像元是否相似并进行相似度打分。

步骤四、利用训练好的多尺度空-谱目标检测网络处理测试数据集，进行目标检测：

在目标检测阶段，待测图像中所有像元都分别与目标先验进行样本配对并输入网络，网络将给出一个待测像元与目标的相似分数，相似分数越高(伪标签越接近0)，待测像元越有可能为目标，反之则判为背景。

在高光谱遥感图像目标检测器中，每个待测像元与多个先验目标像元进行配对，最终的相似分数是该待测像元与每个先验目标像元的相似度的平均值。

本发明通过引入注意力机制自适应地提取空间信息，并通过孪生网络结构对提取的空间-光谱差异信息进行整合，实现更好的目标检测。针对大多数基于深度学习的网络仅利用了提取的单尺度特征的问题，设计了一个多尺度特征融合模块，以更完整地提取多尺度特征，合理利用网络中不同尺度的重要特征，从而提高检测精度。

具体实施方式二：

本实施方式为一种计算机存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现所述的一种空-谱多尺度高光谱遥感图像目标检测方法。

应当理解，指令包括本发明描述的任何方法对应的计算机程序产品、软件或计算机化方法；所述指令可以用于编程计算机系统，或其他电子装置。计算机存储介质可以包括其上存储有指令的可读介质，可以包括但不限于磁存储介质，光存储介质；磁光存储介质包括只读存储器ROM、随机存取存储器RAM、可擦除可编程存储器(例如，EPROM和EEPROM)以及闪存层，或者适合于存储电子指令的其他类型的介质。

具体实施方式三：

本实施方式为一种空-谱多尺度高光谱遥感图像目标检测设备，所述设备包括处理器和存储器，应当理解，包括本发明描述的任何包括处理器和存储器的设备，设备还可以包括其他通过信号或指令进行显示、交互、处理、控制等以及其他功能的单元、模块；

所述存储器中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现所述的一种空-谱多尺度高光谱遥感图像目标检测方法。

实施例

本实施例采用三个高光谱数据对本发明提出的基于注意力机制的多尺度空-谱检测方法的效果进行了说明。使用的三个数据的详细信息列在表1中。实验结果采用接受机特性曲线下面积(AUC)作为评价指标，AUC的值越高表明检测效果越好。

表1所用高光谱图像的详细信息

对于不同的数据，本发明方法的最优参数设置由表2所示。Learning rate为学习率，Batch size为最小批次大小，Epoch为训练周期。Patch size为空间块的尺寸大小。该发明的语言环境为python，实验硬件平台为Intel(R)Core(TM)i5-7200U CPU，内存为8GB。

表2三组实验数据上的最优参数及AUC值

经实验分析，本发明所提出的方法在三个数据集上分别能够获得0.9992、0.9937和0.9983的AUC值。数据集I、数据集II、数据集III的伪彩图、真值图及检测结果如图图3(a)至图3(c)，图4(a)至图4(c)，图5(a)至图5(c)所示。

本发明的上述算例仅为详细地说明本发明的计算模型和计算流程，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (9)

1.一种空-谱多尺度高光谱遥感图像目标检测方法，其特征在于，基于待检测目标区域的高光谱数据，将三维空间像素块构成一个样本，该像素块称为一个patch；将待测图像中所有的像元对应的patch与目标先验对应的patch构建样本对；将样本对输入多尺度空-谱目标检测网络进行目标检测，所述的多尺度空-谱目标检测网络由孪生网络结构的相似度量模块、基于注意力机制的空-谱特征提取模块、多尺度空-谱差异特征混合模块组成，具体结构如下：

基于孪生网络结构的相似度量模块：基于孪生网络结构的相似度量模块是基于孪生网络实现的；孪生网络是一种连体网络结构，它首先通过两条结构、参数共享的独立支路分别处理输入的样本对中的两个patch像素块，然后在两条独立支路中最后一个下采样单元之后合并，输出特征经过上采样单元后以相似分数的形式给出两个输入的相似度；

两条结构、参数共享的独立支路上分别设置基于注意力机制的空-谱特征提取模块；每个空-谱特征提取模块包含两条支路——光谱特征提取支路和空间特征提取支路，首先通过光谱特征提取和空间特征提取分别提取像元的光谱和空间信息，然后将二者融合得到空-谱融合特征；

光谱特征提取支路以patch的中心像元p∈R^1×band为输入，band为波段数；光谱特征提取支路包括四个下采样单元；每个下采样单元由2或3个卷积层和一个最大池化层组成，在每一个卷积层之后添加有批次归一化层和dropout层以防止过拟合，批次归一化层即BN层；经过光谱特征提取之后获得像元的光谱特征；

空间特征提取支路以整个像素块patch∈R^l×l×band为输入，其中，l为像素块的空间尺寸；空间特征提取包括一个二维卷积层和一个视觉注意力单元，视觉注意力单元即ViT单元；

经过光谱特征提取和空间特征提取后，由第四个下采样单元的卷积输出得到光谱特征和最后输出的空间特征进行contact处理，然后送入第四个下采样单元中的最大池化层处理以获得像元的空-谱联合特征；

多尺度空-谱差异特征混合模块包括四个上采样单元，每个上采样单元包含2或3个转置卷积，第一个转置卷积执行上采样，其余的转置卷积实现特征聚合与提取；每个转置卷积后跟随一个BN层和dropout层；

每个上采样单元的输出与空-谱特征提取模块中相应尺度的下采样阶段的输出差值通过长跳连接进行相连，作为下一个上采样单元的输入；经过四个上采样单元，即获得了四个不同尺度的空-谱差异混合特征；最后三个不同尺度的特征按权重相加，所得张量经过一个全连接层和一个激活函数层得到相似分数；基于相似分数实现目标检测。

2.根据权利要求1所述的一种空-谱多尺度高光谱遥感图像目标检测方法，其特征在于，光谱特征提取支路的四个下采样单元中下采样单元的卷积层的卷积核数量以8，16，32，64的逐次递增。

3.根据权利要求2所述的一种空-谱多尺度高光谱遥感图像目标检测方法，其特征在于，多尺度空-谱差异特征混合模块的四个上采样单元中上采样单元的卷积核数量以64，32，16，8的顺序递减。

4.根据权利要求1、2或3所述的一种空-谱多尺度高光谱遥感图像目标检测方法，其特征在于，四个上采样单元中的最后三个不同尺度的特征分按1/8，1/4，1的权重相加。

5.根据权利要求4所述的一种空-谱多尺度高光谱遥感图像目标检测方法，其特征在于，ViT单元包含一个多头注意力模块和一个前馈网络。

6.根据权利要求5所述的一种空-谱多尺度高光谱遥感图像目标检测方法，其特征在于，所述多尺度空-谱目标检测网络的训练过程包括以下步骤：

首先、构建训练数据集和测试数据集：利用目标先验信息和背景先验信息构建两类样本对，所述样本对来自同类别先验的样本对和来自不同类别先验的样本对；来自同类的样本对标记伪标签为0，代表相似；来自不同类别的样本对标记伪标签为1，代表不同；

然后、利用构建的训练数据集训练搭建好的多尺度空-谱目标检测网络；在训练阶段，将训练样本集及其伪标签一起送入多尺度空-谱目标检测网络中对网络进行训练；训练完成的网络可以区分两个输入的像元是否相似并进行相似度打分。

7.根据权利要求6所述的一种空-谱多尺度高光谱遥感图像目标检测方法，其特征在于，训练多尺度空-谱目标检测网络的过程中利用二值交叉熵作为损失函数。

8.一种计算机存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至7任意一项所述的一种空-谱多尺度高光谱遥感图像目标检测方法。

9.一种空-谱多尺度高光谱遥感图像目标检测设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至7任意一项所述的一种空-谱多尺度高光谱遥感图像目标检测方法。

Images