CN113435253B - 一种多源影像联合城区地表覆盖分类方法 - Google Patents

Abstract

本发明属于图像处理技术领域，公开了一种多源影像联合城区地表覆盖分类方法，所述多源影像联合城区地表覆盖分类方法包括：输入同一区域的具有丰富的空间‑光谱信息的高光谱影像以及具有丰富的高程信息的LiDAR影像，对输入的图像数据进行预处理；生成样本集，选取一定数量的样本点作为训练集，其余样本点作为测试集；构建多支路特征提取网络，引入交叉注意力和多级特征融合机制；图像分类器由全连接层构成；训练搭建好的网络模型，得到该模型最优参数；将所有样本点输入训练好的网络进行判别，得到最终的城区地表覆盖分类结果图。本发明利用多支路特征提取，交叉注意力和多级融合技术，有利于提升基于高光谱和LiDAR影像联合分类方法的精度。

Description

一种多源影像联合城区地表覆盖分类方法

技术领域

本发明属于图像处理技术领域，尤其涉及一种多源影像联合城区地表覆盖分类方法。

背景技术

目前，遥感作为一种重要的技术手段，已被广泛应用于城区地表覆盖分类研究。并且随着成像技术的不断发展，出现了可以获取不同信息的遥感传感器。例如能够获取光谱特征的多光谱和高光谱传感器，能够准确获得高程信息的LiDAR传感器，以及能够获取振幅和相位信息的SAR传感器等。这些传感器获取的影像在城区地表覆盖分类应用中具有不同的优势。然而，随着城镇化的不断推进，城市内部地物类型越来越复杂，单一的遥感影像已经无法满足城区地表覆盖分类中高精度的要求。比如高光谱具有丰富的光谱信息，可以很好的表征地物的光谱特性及结构信息，但其对于具有相似光谱特性不同高程信息的地物难以区分，LiDAR数据具有较为准确的高程信息，可以依靠高度来对地物进行分类，但由于缺少物体的语义信息，LiDAR数据对具有相同高程不同光谱信息的地物分辨能力较差。因此，有效联合高光谱影像的光谱信息和LiDAR影像的高程信息，将两者的优势互补，能够极大提升解译精度和可信度，提升分类精度。

目前，高光谱影像和LiDAR影像联合分类已经成为研究热点，多传感器联合分类技术突破了传统单一遥感影像无法满足城区地表覆盖分类中高精度的要求。有许多学者提出了不同的分类方法，展示了出色的性能。这些方法通常被分为经典算法和深度学习算法，其中具有代表性的经典算法主要包括最近邻节点法(KNN)，支持向量机(SVM)和极限学习机(ELM)等。深度学习算法主要包括卷积神经网络(CNN)，图卷积网络(GCN)等。

但是这些方法都存在一定的缺陷，对于经典算法而言，大多无法同时满足空谱信息和高程信息的平衡造成信息丢失；对于现有的深度学习方法而言，几乎都采用简单的特征级融合方式或决策级融合方式进行地物分类。这样的做法极大地限制了网络的特征提取能力，从而丢失了一些关键的细节特征，使得分类的效果不佳。同时，在进行特征级融合时，一般采用双支路分别提取高光谱图像的空谱特征和LiDAR图像的高程信息，未能充分挖掘高光谱图像的空谱特征和LiDAR图像的高程信息，同时仅考虑了深层的语义特征而忽略了浅层细节特征，最终导致分类精度不高。

通过上述分析，现有技术存在的问题及缺陷为：

(1)传统单一遥感影像无法满足城区地表覆盖分类中高精度的要求，高光谱对具有相似光谱特性不同高程信息的地物难以区分；由于缺少物体的语义信息，LiDAR数据对具有相同高程不同光谱信息的地物分辨能力较差。

(2)对于经典算法而言，大多无法同时满足空谱信息和高程信息的平衡造成信息丢失；对于现有深度学习方法，都采用简单的特征级融合方式或决策级融合方式进行地物分类，极大地限制了网络的特征提取能力，从而丢失了一些关键的细节特征，使得分类的效果不佳。

(3)在进行特征级融合时，一般采用双支路分别提取高光谱图像的空谱特征和LiDAR图像的高程信息，未能充分挖掘高光谱图像的空谱特征和LiDAR图像的高程信息，同时仅考虑了深层的语义特征而忽略了浅层细节特征，最终导致分类精度不高。

解决以上问题及缺陷的难度为：对于深度学习的模型而言，一般只利用深层的抽象语义特征，没有合适的模型用于融合多级特征；同时，目前的深度学习模型大多都是分别单独处理高程信息和高光谱的空谱特征，如何进一步有效融合两者的特征值得进一步的研究。

解决以上问题及缺陷的意义为：卷积神经网络中浅层特征包含丰富的细节特征，深层特征含有更多的抽象语义特征，充分挖掘不同层次的细节特征和语义特征，以及有效融合高光谱影像的空谱特征和LiDAR影像的高程信息，有利用提升城区地表覆盖分类精度。

发明内容

针对现有技术存在的问题，本发明提供了一种多源影像联合城区地表覆盖分类方法，尤其涉及一种基于交叉注意力的多源影像联合城区地表覆盖分类方法。

本发明是这样实现的，一种多源影像联合城区地表覆盖分类方法，所述多源影像联合城区地表覆盖分类方法包括以下步骤：

步骤一，输入同一区域的具有丰富的空间信息和光谱信息的高光谱图像以及具有丰富的高程信息的LiDAR图像，并对图像进行预处理；

步骤二，生成样本集：选取具有标签的样本点，并将其划分为训练样本集和测试样本集；

步骤三，构建多支路特征提取网络，并引入交叉注意力和多级特征融合机制，获取每个样本点所对应的局部空间-光谱特征；

步骤四，构建图像分类器，将分别融合了各支路的多层细节和语义的特征再次进行融合后，送入由全连接网络构建的图像分类器进行分类，获得分类结果；

步骤五，对搭建的多支路特征提取网络和分类网络进行有监督的训练，得到适合该网络模型的最佳网络参数；

步骤六，将所有的样本点输入训练好的网络进行融合分类，得到最终的城区地表覆盖分类结果图。

进一步，步骤一中，所述输入同一区域的具有丰富的空间信息和光谱信息的高光谱图像以及具有丰富的高程信息的LiDAR图像，并对图像进行预处理，包括：

输入同一区域具有丰富的细节特征和光谱特征的高光谱影像以及具有高程信息的LiDAR影像X^H，X^L，并对图像进行最大最小归一化，归一化公式为：

其中，

和

分别表示原始高光谱影像和LiDAR影像中的像元值，

和

分别表示高光谱影像的最大值和最小值，

和

分别表示LiDAR影像的最大值和最小值；

和

为高光谱和LiDAR影像归一化后的像元值。

进一步，步骤二中，所述生成样本集，选取训练样本集I_train和测试样本集I_test，包括：

(1)记三维高光谱影像的尺寸为H×W×C，记二维LiDAR影像的尺寸为H×W；其中，H和W分别表示高光谱影像和LiDAR影像的高度和宽度，C为高光谱影像的波段数；对于同一区域的高光谱和LiDAR影像，分别以样本点为中心，选取一个11×11×C像素大小的影像块作为输入，将所有的样本点按照如上操作构成样本集；

(2)计算参考标签中不同类别的样本总数L_i，根据不同类别所占的比例划分训练和测试样本集，使得模型能够学习到不同类别之间的特征差异；

(3)按照各类别所占比例，随机选取各类别样本点20％作为训练样本集I_train，其余的作为测试样本集I_test。

进一步，步骤三中，所述构建多支路特征提取网络，并引入交叉注意力和多级特征融合机制，获取每个样本点所对应的局部空间-光谱特征，包括：

(1)构建的多支路特征提取主要包含三条特征提取支路，并引入交叉注意力和多级特征融合机制；其中，所述三条特征提取支路分别为LiDAR影像高程特征提取支路，高光谱影像空间特征提取支路和高光谱影像光谱特征提取支路；LiDAR影像高程特征提取支路是将LiDAR影像作为输入，该支路是由浅层特征提取、多级特征融合、交叉注意力、深层特征提取组成；

其中，所述浅层特征提取和深层特征提取由卷积层、正则化层、激活层和池化层组成；其中卷积操作的卷积核大小为3×3，输出的通道数为64；激活函数是ReLU，池化层采用的是自适应最大池化操作；经过浅层特征和深层特征提取后得到的特征图像尺寸大小分别为5×5×64和2×2×64；

多级特征融合机制是将各个交叉注意力模块的输出与浅层特征进行融合；由于高光谱影像存在大量的波段冗余信息，故高光谱影像空间特征提取支路是将高光谱影像进行主成分分析方法PCA操作后得到的只保留丰富的空间信息的高维图像作为输入；该支路与LiDAR特征提取支路组成相同；高光谱影像光谱特征提取支路是将样本点的光谱矢量作为输入；该支路是由浅层特征提取、多级特征融合和深层特征提取组成；浅层特征提取和深层特征提取由全连接层和激活层组成；激活函数是ReLU；该支路经过浅层特征和深层特征提取后得到的特征大小为256和128；该支路的多级特征融合机制是将不同全连接层的输出融合；其中，所述三支路特征提取可用如下公式表示：

其中，

分别表示三支路的输入，

表示各层交叉注意力的输出，

各层卷积层提取的光谱特征，f_L，f_Spa和f_Spe分别LiDAR特征提取支路，高光谱空间特征提取支路，和高光谱光谱特征提取支路的深层特征提取网络，[]表示级联操作，F_L，F_Spa，F_Spe分别表示各支路深层特征的输出；

(2)在LiDAR高程特征提取支路和高光谱空间特征提取支路引入交叉注意力机制；LiDAR支路和高光谱空间特征提取支路的多级特征融合机制由两个交叉注意力模块构成；多级特征融合机制是分别将浅层特征和每个交叉注意力的模块的输出进行融合；

其中，交叉注意力模块是由空间注意力和残差构成，空间注意力是由卷积层、正则化层和激活层构成；所述网络结构为卷积层->正则化层->激活层->卷积层->激活层；卷积层中卷积核的大小为3×3，正则化层采用的是BatchNorm，第一层激活函数为ReLU，第二层的激活函数为Sigmoid；高光谱影像光谱特征提取支路的多级特征融合机制由卷积层和激活层组成；其中，所述交叉注意力机制和多级融合机制可表示为如下公式：

其中，f_S表示空间注意力操作，

分别表示第i层的交叉注意力的输出，

表示分别表示LiDAR图像和高光谱图像浅层特征的输出。

进一步，步骤四中，所述构建图像分类器，将分别融合了各支路的多层细节和语义的特征再次进行融合后，送入由全连接网络构建的图像分类器进行分类，获得分类结果，包括：

构建图像分类器，将提取的多支路的语义特征F_L，F_Spa，F_Spe进行融合后，送入由全连接网络构建的图像分类器进行分类，并利用SoftMax激活函数得到每一类别的概率，概率最大的类别被认为是最终的分类结果；其中，所述分类结果用公式表示为：

y＝σ(W·[f_r(F_L),f_r(F_Spa),F_Spe]+b)；

其中，W，b分别表示全连接层的权重和偏置，F_L，F_Spa，F_Spe分别表示各支路深层特征的输出，f_r(·)表示展平操作，σ为SoftMax函数，y表示分类结果。

进一步，步骤五中，所述对搭建的多支路特征提取网络和分类网络进行有监督的训练，得到适合该网络模型的最佳网络参数，包括：

(1)将有标签的训练样本I_train每次随机不重复的抽取16个样本为一批，输入到需要训练的网络模型中，输出对训练样本的标签预测；

(2)利用交叉熵损失函数，进行反向传播，更新模型参数，计算公式如下：

其中，N为批数据量，y为标签，

表示网络预测的结果；

(3)利用随机梯度下降法对网络参数进行训练，直至网络收敛至最优值，并保存最优的网络参数，完成对城区地表覆盖类别的判别。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的多源影像联合城区地表覆盖分类方法，利用多支路特征提取，多级特征融合机制和交叉注意力机制充分挖掘了高光谱图像和LiDAR图像低级细节信息和高级语义信息，有利于提升高光谱和LiDAR图像联合分类方法的精度。

本发明利用构建的三条特征提取支路分别提取LiDAR影像的高程信息，高光谱影像的空间特征，高光谱影像的光谱特征。利用多级特征融合机制，充分挖掘了不同层次的浅层细节特征和深层语义特征，以及利用交叉注意力机制有效融合高光谱影像的空间特征和LiDAR影像的高程信息，有利用提升城区地表覆盖分类精度。

本发明利用交叉注意力机制融合高光谱影像的不同层次的空间细节特征和LiDAR影像的不同层次的高程信息，充分挖掘高光谱影像和LiDAR影像中各自包含的独有特征，提升城市地表覆盖分类的精度，而现有的技术忽略了这一点。同时，本发明利用决策级融合机制，有效联合高光谱影像的空间-光谱特征和LiDAR影像的高程特征。输入图像分类器，得到最终的城区地表覆盖分类结果。

仿真实验表明，本发明通过构建多支路特征提取支路，并引入交叉注意力机制和多级融合机制，提出的基于交叉注意力的多源影像联合城区地表覆盖分类方法能够充分挖掘高光谱和LiDAR影像潜在的细节特征和深层语义特征，有效提升了分类精度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的多源影像联合城区地表覆盖分类方法流程图。

图2是本发明实施例提供的多源影像联合城区地表覆盖分类方法原理图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种多源影像联合城区地表覆盖分类方法，下面结合附图对本发明作详细的描述。

如图1所示，本发明实施例提供的多源影像联合城区地表覆盖分类方法包括以下步骤：

S101，输入同一区域的具有丰富的空间信息和光谱信息的高光谱图像以及具有丰富的高程信息的LiDAR图像，并对图像进行预处理；

S102，生成样本集：选取具有标签的样本点，并将其划分为训练样本集和测试样本集；

S103，构建多支路特征提取网络，并引入交叉注意力和多级特征融合机制，获取每个样本点所对应的局部空间-光谱特征；

S104，构建图像分类器，将分别融合了各支路的多层细节和语义的特征再次进行融合后，送入由全连接网络构建的图像分类器进行分类，获得分类结果；

S105，对搭建的多支路特征提取网络和分类网络进行有监督的训练，得到适合该网络模型的最佳网络参数；

S106，将所有的样本点输入训练好的网络进行融合分类，得到最终的城区地表覆盖分类结果图。

本发明实施例提供的多源影像联合城区地表覆盖分类方法原理图如图2所示。

下面结合实施例对本发明的技术方案作进一步描述。

如图2所示，本发明提供的基于交叉注意力的多源影像联合城区地表覆盖分类方法包括以下步骤：

输入同一区域的具有丰富的空间信息和光谱信息的高光谱图像以及具有丰富的高程信息的LiDAR图像，并对图像进行预处理；

生成样本集：选取具有标签的样本店，将其划分训练样本集和测试样本集。

构建多支路特征提取网络，并引入交叉注意力和多级特征融合机制，获取每个样本点所对应的局部空间-光谱特征；

构建图像分类器，将分别融合了各支路的多层细节和语义的特征再次进行融合后，送入由全连接网络构建的图像分类器进行分类，获得分类结果。

对搭建的多支路特征提取网络和分类网络进行有监督的训练，得到适合该网络模型的最佳网络参数；

将所有的样本点输入训练好的网络进行融合分类，得到最终的城区地表覆盖分类结果图。

本发明提供的基于交叉注意力的多源影像联合城区地表覆盖分类方法的普通技术人员还可以采用其他的步骤实施，图2的本发明提供的基于交叉注意力的多源影像联合城区地表覆盖分类方法仅仅是一个具体实施例而已。

如图2所示，本发明实施例提供的基于交叉注意力的多源影像联合城区地表覆盖分类方法，其实现过程如下：

(1)所述基于交叉注意力的多源图像联合城区地表覆盖分类方法输入同一区域具有丰富的细节特征和光谱特征的高光谱影像以及具有高程信息的LiDAR影像X^H，X^L，并对图像进行最大最小归一化，归一化公式为：

其中，

和

分别表示原始高光谱影像和LiDAR影像中的像元值，

和

分别表示高光谱影像的最大值和最小值，

和

分别表示LiDAR影像的最大值和最小值。

和

为高光谱和LiDAR影像归一化后的像元值。

(2)生成样本集，并选取训练样本集I_train和测试样本集I_test；

(2a)记三维高光谱影像的尺寸为H×W×C，同样地，记二维LiDAR影像的尺寸为H×W，其中，H和W分别表示高光谱影像和LiDAR影像的高度和宽度，C为高光谱影像的波段数；对于同一区域的高光谱和LiDAR影像，分别以训练样本点为中心，选取一个11×11×C像素大小的影像块作为输入，将所有的样本点按照如上操作构成样本集；

(2b)为了使得模型能够学习到不同类别之间的特征差异，因此，计算参考标签中不同类别的样本总数L_i，根据不同类别所占的比例划分训练和测试样本集；

(2c)按照各类别所占比例，随机选取各类别样本点20％作为训练样本集I_train，其余的作为测试样本集I_test；

(3)构建多支路特征提取网络，并引入交叉注意力和多级特征融合机制，充分挖掘输入影像所对应的局部空间-光谱特征；

(3a)构建的多支路特征提取主要包含三条特征提取支路。并引入交叉注意力和多级特征融合机制。三条特征提取支路分别为LiDAR影像高程特征提取支路，高光谱影像空间特征提取支路和高光谱影像光谱特征提取支路。LiDAR影像高程特征提取支路是将LiDAR影像作为输入。该支路是由浅层特征提取、多级特征融合、交叉注意力、深层特征提取组成。浅层特征提取和深层特征提取由卷积层、正则化层、激活层和池化层组成。其中卷积操作的卷积核大小为3×3，输出的通道数为64。激活函数是ReLU，池化层采用的是自适应最大池化操作。经过浅层特征和深层特征提取后得到特征图像尺寸大小分别为5×5×64和2×2×64。多级特征融合机制是将各个交叉注意力模块的输出与浅层特征进行融合。由于高光谱影像存在大量的波段冗余信息，因此，高光谱影像空间特征提取支路是将高光谱影像进行主成分分析方法(PCA)操作后得到的只保留了丰富的空间信息的高维图像作为输入。该支路与LiDAR特征提取支路组成相同。高光谱影像光谱特征提取支路是将样本点的光谱矢量作为输入。该支路是由浅层特征、多级特征融合和深层特征提取组成。浅层特征提取和深层特征提取由全连接层和激活层组成。激活函数是ReLU。该支路经过浅层特征和深层特征提取后得到的特征大小为256和128。该支路的多级特征融合机制是将不同全连接层的输出融合。三支路特征提取可用如下公式表示：

其中，

分别表示三支路的输入，

表示各层交叉注意力的输出，

各层卷积层提取的光谱特征，f_L，f_Spa和f_Spe分别LiDAR特征提取支路，高光谱空间特征提取支路，和高光谱光谱特征提取支路的深层特征提取网络，[]表示级联操作，F_L，F_Spa，F_Spe分别表示各支路深层特征的输出。

(3b)在LiDAR高程特征提取支路和高光谱空间特征提取支路引入了交叉注意力机制。LiDAR支路和高光谱空间特征提取支路的多级特征融合机制由两个交叉注意力模块构成。多级特征融合机制是分别将浅层特征和每个交叉注意力的模块的输出进行融合。其中交叉注意力模块是由空间注意力和残差构成，空间注意力是由卷积层、正则化层和激活层构成。具体网络结构为卷积层->正则化层->激活层->卷积层->激活层。卷积层中卷积核的大小为3×3，正则化层采用的是BatchNorm，第一层激活函数为ReLU，第二层的激活函数为Sigmoid。高光谱影像光谱特征提取支路的多级特征融合机制由卷积层和激活层组成。交叉注意力机制和多级融合机制可表示为如下公式：

其中，f_S表示空间注意力操作，

分别表示第i层的交叉注意力的输出，

表示分别表示LiDAR图像和高光谱图像浅层特征的输出。

(4)构建图像分类器，将分别融合了各支路的多层细节和语义的特征F_L，F_Spa，F_Spe进行融合后，送入由全连接网络构建的图像分类器进行分类，并利用SoftMax激活函数得到每一类别的概率，概率最大的类别被认为是最终的分类结果；分类结果可用公式表示为：

y＝σ(W·[f_r(F_L),f_r(F_Spa),F_Spc]+b)

其中，W，b分别表示全连接层的权重和偏置，F_L，F_Spa，F_Spe分别表示各支路深层特征的输出，f_r(·)表示展平操作，σ为SoftMax函数，y表示分类结果。

(5)对搭建的多支路特征提取网络和分类网络进行有监督的训练，得到适合该网络模型的最佳网络参数；

(5a)将有标签的训练样本I_train每次随机不重复的抽取16个样本为一批，输入到需要训练的网络模型中，输出对训练样本的标签预测；

(5b)利用交叉熵损失函数，进行反向传播，更新模型参数。计算公式如下：

其中，N为批数据量，y为真实标签，

表示网络预测的结果。

(5c)利用随机梯度下降法对网络参数进行训练，将训练过程遍历整个训练样本集I_train称为一轮，整个网络共计200轮，学习率设置为0.001。网络收敛至最优值，并保存最优的网络参数，完成对城区地表覆盖的判别。

下面结合仿真实验对本发明的技术效果作详细的说明。

1.仿真实验条件

本发明的仿真实验的软件平台为：Linux18.04操作系统、Python 3.7和PyTorch1.7。

本发明仿真实验所使用的高光谱影像和LiDAR影像，其中高光谱影像和LiDAR拍摄于2012年6月的休斯顿大学校园及其周边城市。两者的图像尺寸分别为349×1905×144和349×1905。其中高光谱影像空间分辨率为2.5m，覆盖了380nm到1050nm的144个波段。如表1所示，该数据集共包含15种类别，同时展示了训练样本点和测试样本点的划分。

表1 Huston2012数据集各类别及训练样本点与测试样本点的划分

2.实验内容与结果分析：

为了验证本发明具有良好的分类精度，采用总体精度(OA)，平均精度(AA)，Kappa系数(Kappa)两种评价指标。

总体精度(OA)：正确分类的像元总数除以总像元数，该值越接近1越好。

平均精度(AA)：每个类别召回率的和的平均值。

Kappa系数(Kappa)：表示分类与完全随机的分类产生错误减少的比例，该值越接近1越好。

实验：用本发明和现有的对比算法对城区进行分类，所得结果的性能指标如表2所示。

表2本发明和现有的对比算法对城区地表覆盖进行分类的性能指标

从表2中可以看出，与其他算法相比，本发明的OA，AA和Kappa分别达到了91.88％，93.23％和91.2％，相较于对比算法中效果最优的Endnet分别提升了3.35％，3.56％和3.6％，证明本发明可以更好的分类城区地表覆盖。

综上，本发明通过构建多支路特征提取支路，并引入交叉注意力机制和多级融合机制，提出的基于交叉注意力的多源影像联合城区地表覆盖分类方法能够充分挖掘高光谱和LiDAR影像潜在的细节特征和深层语义特征，有效提升了分类精度。

下面结合实验对本发明的技术效果作详细的描述。

为了进一步证明本发明的有效性，本发明分别验证了没有注意力的网络结构(Baseline1)，引入普通的注意力的网络结构(Baseline2)和交叉注意力的网络结构(Proposed)，其实验结果如表3所示。

表3本发明与其相应的消融实验对城区地表覆盖进行分类的性能指标对比

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种多源影像联合城区地表覆盖分类方法，其特征在于，所述多源影像联合城区地表覆盖分类方法包括以下步骤：

步骤一，输入同一区域的具有丰富的空间信息和光谱信息的高光谱图像以及具有丰富的高程信息的LiDAR图像，并对图像进行预处理；

步骤二，生成样本集：选取具有标签的样本点，并将其划分为训练样本集和测试样本集；

步骤三，构建多支路特征提取网络，并引入交叉注意力和多级特征融合机制，获取每个样本点所对应的局部空间-光谱特征；

步骤四，构建图像分类器，将分别融合了各支路的多层细节和语义的特征再次进行融合后，送入由全连接网络构建的图像分类器进行分类，获得分类结果；

步骤五，对搭建的多支路特征提取网络和分类网络进行有监督的训练，得到适合该网络模型的最佳网络参数；

步骤六，将所有的样本点输入训练好的网络进行融合分类，得到最终的城区地表覆盖分类结果图；

步骤三中，所述构建多支路特征提取网络，并引入交叉注意力和多级特征融合机制，获取每个样本点所对应的局部空间-光谱特征，包括：

(1)构建的多支路特征提取主要包含三条特征提取支路，并引入交叉注意力和多级特征融合机制；其中，所述三条特征提取支路分别为LiDAR影像高程特征提取支路，高光谱影像空间特征提取支路和高光谱影像光谱特征提取支路；LiDAR影像高程特征提取支路是将LiDAR影像作为输入，该支路是由浅层特征提取、多级特征融合、交叉注意力、深层特征提取组成；

其中，所述浅层特征提取和深层特征提取由卷积层、正则化层、激活层和池化层组成；其中卷积操作的卷积核大小为3×3，输出的通道数为64；激活函数是ReLU，池化层采用的是自适应最大池化操作；经过浅层特征和深层特征提取后得到的特征图像尺寸大小分别为5×5×64和2×2×64；

多级特征融合机制是将各个交叉注意力模块的输出与浅层特征进行融合；由于高光谱影像存在大量的波段冗余信息，故高光谱影像空间特征提取支路是将高光谱影像进行主成分分析方法PCA操作后得到的只保留丰富的空间信息的高维图像作为输入；该支路与LiDAR特征提取支路组成相同；高光谱影像光谱特征提取支路是将样本点的光谱矢量作为输入；该支路是由浅层特征提取、多级特征融合和深层特征提取组成；浅层特征提取和深层特征提取由全连接层和激活层组成；激活函数是ReLU；该支路经过浅层特征和深层特征提取后得到的特征大小为256和128；该支路的多级特征融合机制是将不同全连接层的输出融合；其中，三支路特征提取可用如下公式表示：

其中，

分别表示三支路的输入，

表示各层交叉注意力的输出，

各层卷积层提取的光谱特征，f_L，f_Spa和f_Spe分别LiDAR特征提取支路，高光谱空间特征提取支路和高光谱光谱特征提取支路的深层特征提取网络，[]表示级联操作，F_L，F_Spa，F_Spe分别表示各支路深层特征的输出；

(2)在LiDAR高程特征提取支路和高光谱空间特征提取支路引入交叉注意力机制；LiDAR支路和高光谱空间特征提取支路的多级特征融合机制由两个交叉注意力模块构成；多级特征融合机制是分别将浅层特征和每个交叉注意力的模块的输出进行融合；

其中，交叉注意力模块是由空间注意力和残差构成，空间注意力是由卷积层、正则化层和激活层构成；所述网络结构为卷积层->正则化层->激活层->卷积层->激活层；卷积层中卷积核的大小为3×3，正则化层采用的是BatchNorm，第一层激活函数为ReLU，第二层的激活函数为Sigmoid；高光谱影像光谱特征提取支路的多级特征融合机制由卷积层和激活层组成；其中，所述交叉注意力机制和多级融合机制可表示为如下公式：

其中，f_S表示空间注意力操作，

分别表示第i层的交叉注意力的输出，

表示分别表示LiDAR图像和高光谱图像浅层特征的输出。

2.如权利要求1所述的多源影像联合城区地表覆盖分类方法，其特征在于，步骤一中，所述输入同一区域的具有丰富的空间-光谱信息的高光谱图像以及具有丰富的高程信息的LiDAR图像，并对图像进行预处理，包括：

输入同一区域具有丰富的细节特征和光谱特征的高光谱影像以及具有高程信息的LiDAR影像X^H，X^L，并对图像进行最大最小归一化，归一化公式为：

其中，

和

分别表示原始高光谱影像和LiDAR影像中的像元值，

和

分别表示高光谱影像的最大值和最小值，

和

分别表示LiDAR影像的最大值和最小值；

和

为高光谱和LiDAR影像归一化后的像元值。

3.如权利要求1所述的多源影像联合城区地表覆盖分类方法，其特征在于，步骤二中，所述生成样本集，选取训练样本集I_train和测试样本集I_test，包括：

(1)记三维高光谱影像的尺寸为H×W×C，记二维LiDAR影像的尺寸为H×W；其中，H和W分别表示高光谱影像和LiDAR影像的高度和宽度，C为高光谱影像的波段数；对于同一区域的高光谱和LiDAR影像，分别以样本点为中心，选取一个11×11×C像素大小的影像块作为输入，将所有的样本点按照如上操作构成样本集；

(2)计算参考标签中不同类别的样本总数L_i，根据不同类别所占的比例划分训练和测试样本集，使得模型能够学习到不同类别之间的特征差异；

(3)按照各类别所占比例，随机选取各类别样本点20％作为训练样本集I_train，其余的作为测试样本集I_test。

4.如权利要求1所述的多源影像联合城区地表覆盖分类方法，其特征在于，步骤四中，所述构建图像分类器，将提取的多支路的语义特征进行融合后，送入由全连接网络构建的图像分类器进行分类，获得分类结果，包括：

构建图像分类器，将分别融合了各支路的多层细节和语义的特征F_L，F_Spa，F_Spe进行融合后，送入由全连接网络构建的图像分类器进行分类，并利用SoftMax激活函数得到每一类别的概率，概率最大的类别被认为是最终的分类结果；其中，所述分类结果用公式表示为：

y＝σ(W·[f_r(F_L),f_r(F_Spa),F_Spe]+b)；

其中，W，b分别表示全连接层的权重和偏置，F_L，F_Spa，F_Spe分别表示各支路深层特征的输出，f_r(·)表示展平操作，σ为SoftMax函数，y表示分类结果。

5.如权利要求1所述的多源影像联合城区地表覆盖分类方法，其特征在于，步骤五中，所述对搭建的多支路特征提取网络和分类网络进行有监督的训练，得到适合该网络模型的最佳网络参数，包括：

(1)将有标签的训练样本I_train每次随机不重复的抽取16个样本为一批，输入到需要训练的网络模型中，输出对训练样本的标签预测；

(2)利用交叉熵损失函数，进行反向传播，更新模型参数，计算公式如下：

其中，N为批数据量，y为标签，

表示网络预测的结果；

(3)利用随机梯度下降法对网络参数进行训练，直至网络收敛至最优值，并保存最优的网络参数，完成对城区地表覆盖类别的判别。

Images