CN114170533A - 基于注意力机制和多模态表征学习的滑坡识别方法及系统 - Google Patents

Abstract

本发明公开了一种基于注意力机制和多模态表征学习的滑坡识别方法及系统，将包含滑坡的正样本和包含非滑坡的负样本划分为训练集、验证集和测试集；对训练集进行数据增强，再将验证集、测试集和数据增强后的训练集的图像大小进行调整，将图像各通道像素值归一化；构建基于注意力机制和多模态表征学习的多路卷积神经网络；使用交叉熵损失函数对基于注意力机制和多模态表征学习的多路卷积神经网络进行训练；使用归一化后的训练集对训练后的注意力机制和多模态表征学习的多路卷积神经网络进行训练，并使用归一化后的验证集进行验证，保存验证集上表现最好的网络模型；使用归一化后的测试集在保存的网络模型上测试得到滑坡识别结果，减小计算资源消耗。

Description

基于注意力机制和多模态表征学习的滑坡识别方法及系统

技术领域

本发明属于图像处理技术领域，具体涉及一种基于注意力机制和多模态表征学习的滑坡识别方法及系统。

背景技术

滑坡识别是通过对滑坡区域的形态及特征进行分析，确定滑坡的区域、规模以及分布情况的图像分析技术。滑坡识别是滑坡灾害评价的基础，是监测资源的合理分配和有效预警的前提，在滑坡灾害的研究中占据着关键位置。

但是在进行滑坡识别时，滑坡大多具有明显的粗糙感，纹理特征突出，滑坡体内常掺杂一些植被，表现为土壤和植被的混合体，使其在光学图像上的表现变得更为复杂。同时，由于带有明显的裸地特征，滑坡与道路、居民地等地物的特征容易混淆，识别具有一定的挑战性。

现有一种基于多源遥感数据的矿山地质灾害动态识别与监测方法，首先利用无人机技术获得该地的高精度光学影像信息并利用机载激光雷达获取高精度地面高程信息(DEM)，利用两种配准后的数据生成该地区的三维立体地质模型，利用该地存档的历史数据，测算其形变量，进行灾害解译，实现地灾的识别。该方法存在的不足之处在于，使用高精度的影像及高程数据生成三维模型会极大的消耗计算机的内存以及计算资源，会导致该技术无法在内存和计算资源受限的嵌入式移动平台中进行应用。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于注意力机制和多模态表征学习的滑坡识别方法及系统，利用高光谱RGB数据与数字高程模型(Digital Elevation Model，DEM)数据作为滑坡识别网络模型的输入，用于识别某地区是否存在滑坡，实现在较少的计算资源的前提下提高对滑坡的识别精度。

本发明采用以下技术方案：

一种基于注意力机制和多模态表征学习的滑坡识别方法，包括以下步骤：

S1、将包含滑坡的正样本和包含非滑坡的负样本划分为训练集、验证集和测试集；

S2、对步骤S1划分的训练集进行数据增强，再将步骤S1划分的验证集、测试集和步骤S2数据增强后的训练集的图像大小进行调整，将图像各通道像素值归一化；

S3、构建基于注意力机制和多模态表征学习的多路卷积神经网络；

S4、使用交叉熵损失函数对步骤S3构建的基于注意力机制和多模态表征学习的多路卷积神经网络进行训练；

S5、使用步骤S2归一化后的训练集对步骤S4训练后的注意力机制和多模态表征学习的多路卷积神经网络进行训练，并使用步骤S2归一化后的验证集进行验证，保存验证集上表现最好的网络模型；

S6、使用步骤S2归一化后的测试集在步骤S5保存的网络模型上测试，得到滑坡识别结果。

具体的，步骤S1中，将包含滑坡的正样本和非滑坡的负样本随机分成10份，按照6:1:3的比例划分为训练集、验证集和测试集。

3.根据权利要求1所述的基于注意力机制和多模态表征学习的滑坡识别方法，其特征在于，步骤S2具体为：

S201、同时读取训练集中某一地区的RGB数据与DEM数据，依照概率对数据进行水平、垂直翻转以及90度旋转的数据增强，并加入高斯或椒盐噪声，完成训练集数据增强；

S202、使用双线性插值方法将验证集、测试集以及步骤S201数据增强后的训练集的图像大小全部调整至224×224，并将各通道像素值归一化至0～1。

具体的，步骤S3具体为：

S301、构建包括RGB支路、DEM支路和多模态融合支路的多路卷积神经网络，分别对高光谱RGB数据，数字高程DEM数据进行特征提取，得到RGB深层特征图、DEM深层特征图以及RGB深层特征图和DEM深层特征图两种模态数据融合深层特征图，进行分类决策；

S302、构建步骤S1多路卷积神经网络的输入模块，RGB支路与DEM支路的输入模块分别由一个卷积层、一个批归一化层以及一个RELU非线性激活层组成；将步骤S2经过数据增强后训练集中的RGB数据与DEM数据输入多路卷积神经网络各支路的输入模块，经过第一个输入卷积层得到64个RGB数据的浅层特征图和64个DEM数据的浅层特征图；

S303、构建包含通道注意力模块和空间注意力模块的注意力特征融合模块，将步骤S302得到的64个RGB数据的浅层特征图与64个DEM数据的浅层步特征图输入各自支路的空间注意力模块中，得到RGB空间注意力特征图与DEM空间注意力特征图；并将RGB空间注意力特征图与DEM空间注意力特征图进行数据融合后输入通道注意力模块中，得到融合数据的通道注意力特征图；

S304、构建包含3个卷积层、3个批归一化层、2个RELU非线性激活层的残差模块；

S305、基于步骤S304的残差模块构建超模块RGB、DEM以及融合数据特征提取支路，将步骤S302得到的64个RGB数据的浅层特征图与64个DEM数据的浅层特征图分别输入到各自超模块特征提取支路中，得到各自的RGB特征图和DEM特征图；将步骤S303得到的融合数据通道注意力特征图输入融合数据的超模块特征提取支路的中，得到融合数据的特征图；

S306、构建深度特征提取模块，对步骤S305中得到的RGB特征图和DEM特征图输入步骤S303中各自支路的空间注意力模块中，得到RGB空间注意力特征图与DEM空间注意力特征图；并将RGB空间注意力特征图、DEM空间注意力特征图以及步骤S305中得到融合数据特征图进行数据融合，输入S303中通道注意力模块中，得到融合数据的通道注意力特征图，将RGB空间注意力特征图、DEM空间注意力特征图以及融合数据的通道注意力特征图输入进各自支路的超模块特征提取层中，得到各自的深层特征图；

S307、重复步骤S306中深度特征提取模块，最终得到1024个7×7的RGB深度特征图、1024个7×7的DEM深度特征图和1024个7×7的融合数据深度特征图；

S308、构建多模态共享决策模块，对步骤S307得到的RGB深度特征图、1024个DEM深度特征图和1024个融合数据深度特征图进行分类决策。

进一步的，步骤S305中，每条支路的第一个超模块包含3个残差模块，第一个残差模块的输入卷积核个数为64；步骤S306中的每条支路上，第一个超模块包含4个残差模块，第一个残差模块的输入卷积核个数为128；第二个超模块包含6个残差模块，第一个残差模块的输入卷积核个数为256；第三个超模块包含3个残差模块，第一个残差模块的输入卷积核个数为512。

进一步的，步骤S308中，多模态共享决策模块包括四组并行的多层感知机网络和一组融合决策网络，每个多层感知机网络包含两层全连接层和一层softmax层，属于RGB支路、DEM支路和多模态融合支路的全连接模块依次为第一多层感知机网络，第二多层感知机网络和第三多层感知机网络，每层的节点个数分别为1024，512，2，第一多层感知机网络，第二多层感知机网络和第三多层感知机网络的第一层拼接后作为第四多层感知机网络的第一层，第四多层感知机网络每层的节点个数分别为3072,512,2；融合决策网络包括一层全连接层和一层softmax层，每层的节点个数分别为8和2；将四组多层感知机网络的第三层进行拼接，输入到融合决策网络的第一层，得到最终的滑坡识别结果。

具体的，步骤S4中，交叉熵损失函数L_log(y,p)为：

L_log(y,p)＝-(ylog(p)+(1-y)log(1-p))

其中，y为标签，p为滑坡识别网络预测概率。

具体的，步骤S4中，对注意力机制和多模态表征学习的多路卷积神经网络进行训练中，采用随机梯度下降优化方法，首先用损失函数J(θ)对θ求偏导，

参数θ按负梯度方向更新，

θ'为更新后的网络参数，θ_j为更新前的网络参数，σ为学习率，

为输入网络的训练数据，h_θ(xⁱ)为训练集的权重，yⁱ为训练集对应的标签，m为每次训练输入的样本数量，从训练集中随机抽出一组样本，每次训练后按梯度下降法则更新。

进一步的，损失函数J(θ)如下：

其中，xⁱ为训练集。

本发明的另一个技术方案，一种基于注意力机制和多模态表征学习的滑坡识别系统，包括：

划分模块，将包含滑坡的正样本和包含非滑坡的负样本划分为训练集、验证集和测试集；

预处理模块，对训练集进行数据增强，再将验证集、测试集和数据增强后的训练集的图像大小进行调整，将图像各通道像素值归一化；

网络模块，构建基于注意力机制和多模态表征学习的多路卷积神经网络；

训练模块，使用交叉熵损失函数对网络模块的基于注意力机制和多模态表征学习的多路卷积神经网络进行训练；

验证模块，使用预处理模块归一化后的训练集对训练模块的注意力机制和多模态表征学习的多路卷积神经网络进行训练，并使用预处理模块归一化后的验证集进行验证，保存验证集上表现最好的网络模型；

识别模块，使用预处理模块归一化后的测试集在验证模块保存的网络模型上测试，得到滑坡识别结果。

与现有技术相比，本发明至少具有以下有益效果：

本发明一种基于注意力机制和多模态表征学习的滑坡识别方法，利用注意力机制对多模态数据进行多尺度的融合，以解决现有方法对只对多模态数据进行单一方式的融合，而可能丢失多模态高层语义特征的问题，提高滑坡识别精度。

进一步的，将包含滑坡的正样本和非滑坡的负样本随机分成10份，按照6:1:3的比例随机三次划分为训练集、验证集和测试集，通过交叉验证的方法降低由于单次划分数据集而导致识别精度过高或过低的偶然性。

进一步的，对训练样本进行数据增强，可以有效扩充训练数据，避免了使用小数据训练网络而引起的过拟合现象；图像数据归一化将所有图像数据归一到同一尺度有利于提升模型的收敛速度与模型精度。

进一步的，构建基于注意力机制和多模态表征学习的滑坡识别网络，有利于逐级提取多模态数据特征并利用注意力机制进行融合，多模态共享决策模块有利于整合提取到的各个模态特征图，更有利于对地区滑坡的识别。

进一步的，采用多级残差模块级联的卷积神经网络，有利于避免网络过深而引起梯度消失或梯度爆炸的情况。

进一步的，多模态共享决策模块包含四组多层感知机结构，分别对S305得到各模态数据的深度特征图进行分类决策，并将三组多层感知机的决策结果输入至第四组多层感知机中，共享决策不仅能够整合各模态与融合数据的决策结果，达到更好、更精确的决策，还能有效减少决策层的参数量。

进一步的，利用交叉熵损失函数函数对能够衡量同一个随机变量中的两个不同概率分布的差异程度，在机器学习中就表示为真实概率分布与预测概率分布之间的差异。交叉熵的值越小，模型预测效果就越好。

进一步的，对注意力机制和多模态表征学习的多路卷积神经网络进行训练中，为最小化随时函数，采用随机梯度下降优化方法微调网络参数，以便寻找最优的网络参数，使得损失函数的值最小。

进一步的，损失函数J(θ)通过计算网络预测结果与标签数据的距离，来评价当前网络的性能。

综上所述，本发明利用注意力机制与多模态共享决策模块，分多次对各模态特征进行多尺度的融合与决策，可以有效避免因单一模态特征难以分辨而影响最终的分类结果，实现对滑坡的有效识别。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明的流程图；

图2为本发明的网络模型框图；

图3为本发明中通道注意力模块框图；

图4为本发明中空间注意力模块框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。

本发明提供了一种基于注意力机制和多模态表征学习的滑坡识别方法，首先划分训练集、验证集及测试集；然后对训练集进行数据增强；再构建基于注意力机制和多模态表征学习的多路卷积神经网络；使用训练集对网络模型进行训练，保存在验证集上表现最好的模型；最后用训练好的模型对测试集进行测试，得到滑坡识别各项指标结果。本发明构建的网络结果可以实现对多模态数据进行逐级特征提取与融合，有效避免了多模态数据过早融合而丢失该模态的深层信息；并且在多级融合的机制中集成了空间注意力模块与通道注意力模块，来强调强调特征中的重要区域(即滑坡)，空间和通道集成不仅能减少计算量，还能充分利用空间和通道的全局一致性，使得特征更具分离性；本发明在决策层也进行了改进，决策层的分类融合了多个模态特征与融合特征的决策结果，降低了传统分类器的参数量的同时也提升了结果参数。

请参阅图1，本发明一种基于注意力机制和多模态表征学习的滑坡识别方法，包括以下步骤：

S1、样本集划分

利用Matlab软件对Bijie数据集进行训练集、验证集与测试集的划分，设定不同的随机种子，随机3次对数据集进行样本划分，得到三组待训练数据。

将包含滑坡的正样本和非滑坡的负样本随机分成10份，按照6:1:3的比例进行划分，分别作为训练集、验证集和测试集。

S2、多模态数据预处理

设定3个随机数，分别控制图像的水平翻转、垂直翻转以及90度旋转，随机高斯或椒盐噪声的概率设置为0.7，将其图像大小归一化至224×224，并将多模态图像的像素值归一化至0～1。

S201、对训练集样本进行数据增强

同时读取步骤S1划分出的训练集中某一地区的RGB数据与DEM数据，对该数据依照概率进行水平、垂直翻转以及90度旋转的数据增强，并加入高斯或椒盐噪声；

S202、将步骤S201经过数据增强后的训练集、验证集以及测试集样本的图像大小使用双线性插值方法全部调整至224×224，并将其各通道像素值归一化至0～1；

归一化公式如下：

其中，R表示归一化处理后的RGB图像或DEM图像，I表示归一化处理前的RGB图像或DEM图像，max(I)，min(I)分别表示取最大值和最小值操作。

S3、构建基于注意力机制和多模态表征学习的多路卷积神经网络；

S301、总框架

构建一个由RGB支路、DEM支路和多模态融合支路组成的多路卷积神经网络框架，分别提取高光谱RGB数据特征、数字高程DEM数据特征以及两种模态数据融合后的特征图，并对得到的特征图进行多模态决策融合。每条支路网络依次由输入模块，四个包含不同数目残差模块的超模块(Superblock)和多模态共享决策模块组成。支路之间通过注意力模块连接。

学习率为0.015；批处理大小为16；损失函数为交叉熵损失函数；网络的优化算法为随机梯度下降算法。

S302、构建步骤S1多路卷积神经网络的输入模块，RGB支路与DEM支路的输入模块分别由一个卷积层、一个批归一化层以及一个RELU非线性激活层组成；将步骤S2经过数据增强后训练集中的RGB数据与DEM数据输入多路卷积神经网络各支路的输入模块，经过第一个输入卷积层得到64个RGB数据的浅层特征图和64个DEM数据的浅层特征图

构建超模块特征提取支路，每个超模块中包含一定数目步骤S303构建的基本残差模块，将步骤S304中得到的RGB特征图与DEM特征图分别输入到各自支路下一个超模块(SuperBlock)中，得到各自的RGB深度特征图、DEM深度特征图；将步骤S305中得到的融合数据通道注意力特征图输入融合数据支路的第一个超模块中，得到融合数据的深度特征图。

每条支路的第一个超模块(SuperBlock1)包含3个残差模块，卷积核个数为64；第一个超模块(SuperBlock2)包含4个残差模块，卷积核个数为128；第二个超模块(SuperBlock3)包含6个残差模块，卷积核个数为256；第三个超模块(SuperBlock4)包含3个残差模块，卷积核个数为512。

S303、构建包含通道注意力模块和空间注意力模块的注意力特征融合模块，将步骤S302得到的64个RGB数据的浅层特征图与64个DEM数据的浅层步特征图输入各自支路的空间注意力模块中，得到RGB空间注意力特征图与DEM空间注意力特征图；并将RGB空间注意力特征图与DEM空间注意力特征图进行数据融合后输入通道注意力模块中，得到融合数据的通道注意力特征图；

请参阅图3和图4，通道注意力模块和空间注意力模块具体为：

通道注意力模块：每个通道注意力模块的输入由并行的最大池化层与平均池化层组成，之后经过共享感知机(由两层全连接层构成)与Sigmoid层相连；

空间注意力模块：每个空间注意力模块的输入由通道方向的地最大池化层与平均池化层组成，之后经过级联空洞卷积(并行的4个不同尺度的空洞卷积)聚合信息，再经过Sigmoid层；

将RGB特征图与DEM特征图输入各自支路的空间注意力模块中，空间注意力模块中的级联空洞卷积模块包含由四组尺度空洞率的空洞卷积，空洞率分别为1,6,12,18,分别得到四组特征图，之后经过双线性插值的方法将其恢复至与源输入特征图的大小，最后将四个尺度的特征图融合到一起，分别得到RGB空间注意力特征图与DEM空间注意力特征图。

将RGB空间注意力特征图与DEM空间注意力特征图进行数据融合，输入通道注意力模块中，得到融合数据的通道注意力特征图。

S304、构建包含3个卷积层、3个批归一化层、2个RELU非线性激活层的残差模块；

残差模块由3个卷积层、3个批归一化层、2个RELU非线性激活层组成，3个卷积层的卷积核大小依次为：1×1、3×3、1×1，每个卷积层后面加一层批归一化层与RELU激活层，最后的输出层不加RELU激活层，输出层与输入进行残差连接后作为该模块的最终输出，残差模块作为S304中的超模块中的基本模块.

S305、基于步骤S304的残差模块构建超模块RGB、DEM以及融合数据特征提取支路，将步骤S302得到的64个RGB数据的浅层特征图与64个DEM数据的浅层特征图分别输入到各自超模块特征提取支路中，得到各自的RGB特征图和DEM特征图；将步骤S303得到的融合数据通道注意力特征图输入融合数据的超模块特征提取支路的中，得到融合数据的特征图；

S306、构建深度特征提取模块，对步骤S305中得到的RGB特征图和DEM特征图输入步骤S303中各自支路的空间注意力模块中，得到RGB空间注意力特征图与DEM空间注意力特征图；并将RGB空间注意力特征图、DEM空间注意力特征图以及步骤S305中得到融合数据特征图进行数据融合，输入S303中通道注意力模块中，得到融合数据的通道注意力特征图，将RGB空间注意力特征图、DEM空间注意力特征图以及融合数据的通道注意力特征图输入进各自支路的超模块特征提取层中，得到各自的深层特征图；

S307、重复步骤S306中深度特征提取模块，最终得到1024个7×7的RGB深度特征图、1024个7×7的DEM深度特征图和1024个7×7的融合数据深度特征图，分别作为S306的三组MLP的输入。

S308、多模态共享决策模块

将步骤S307中得到的得到的RGB深度特征图、1024个DEM深度特征图和1024个融合数据深度特征图输入至多模态共享决策模块中，首先将每组深度特征图拉长为向量，输入各自对应支路的MLP模块中，得到RGB、DEM与融合数据各自模态的决策结果；并将各支路的第一层全连接层的结果进行拼接，进行决策层融合，输入融合决策MLP中，得到融合决策结果；最后将四个决策结果进行融合，输入多模态共享决策模块，得到该地区的滑坡识别结果。

多模态共享决策模块由四组并行的多层感知机网络(Muti-Layer Perception，MLP)和一组融合决策网络(Fusion Decision Networks，FDN)组成，每个MLP包含两层全连接层和一层softmax层，属于RGB支路、DEM支路和多模态融合支路的全连接模块依次为MLP1，MLP2和MLP3，每层的节点个数分别为1024，512，2。MLP1，MLP2和MLP3的第一层拼接后作为MLP4的第一层，因此MLP4每层的节点个数分别为3072,512,2。融合决策网络由一层全连接层和一层softmax层组成，每层的节点个数分别为8和2。将四组MLP的第三层进行拼接，输入到FDN的第一层，得到最终的滑坡识别结果。

S4、使用交叉熵损失函数对注意力机制和多模态表征学习的多路卷积神经网络进行训练；

训练过程中，损失函数采用交叉熵损失函数，优化算法采用随机梯度下降。

交叉熵损失函数定义为：

L_log(y,p)＝-(ylog(p)+(1-y)log(1-p))

其中，y为标签(滑坡类为1，非滑坡类为0)，p为滑坡识别网络预测概率。

定义梯度下降如下：

给定损失函数：

其中，m为每次训练输入的样本数量，xⁱ为训练集，yⁱ为训练集对应的标签，h_θ(xⁱ)为训练集的权重。

根据梯度下降法则，首先用J(θ)对θ求偏导，

由于要最小化损失函数，所以参数θ按其负梯度方向更新，

随机梯度下降是指从训练集中随机抽出一组样本，每次训练后按梯度下降法则更新。

S5、使用训练集对步骤S4训练后的注意力机制和多模态表征学习的多路卷积神经网络进行训练，并在验证集上进行验证，保存在验证集上表现最好的网络模型参数；

S6、使用测试集在保存的网络模型上测试，得到滑坡识别的结果。

本发明再一个实施例中，提供一种基于注意力机制和多模态表征学习的滑坡识别系统，该系统能够用于实现上述基于注意力机制和多模态表征学习的滑坡识别方法，具体的，该基于注意力机制和多模态表征学习的滑坡识别系统包括划分模块、预处理模块、网络模块、训练模块、验证模块以及识别模块。

其中，划分模块，将包含滑坡的正样本和包含非滑坡的负样本划分为训练集、验证集和测试集；

预处理模块，对训练集进行数据增强，再将验证集、测试集和数据增强后的训练集的图像大小进行调整，将图像各通道像素值归一化；

网络模块，构建基于注意力机制和多模态表征学习的多路卷积神经网络；

训练模块，使用交叉熵损失函数对网络模块的基于注意力机制和多模态表征学习的多路卷积神经网络进行训练；

验证模块，使用预处理模块归一化后的训练集对训练模块的注意力机制和多模态表征学习的多路卷积神经网络进行训练，并使用预处理模块归一化后的验证集进行验证，保存验证集上表现最好的网络模型；

识别模块，使用预处理模块归一化后的测试集在验证模块保存的网络模型上测试，得到滑坡识别结果。

本发明再一个实施例中，提供了一种终端设备，该终端设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor、DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于基于注意力机制和多模态表征学习的滑坡识别方法的操作，包括：

将包含滑坡的正样本和包含非滑坡的负样本划分为训练集、验证集和测试集；对训练集进行数据增强，再将验证集、测试集和数据增强后的训练集的图像大小进行调整，将图像各通道像素值归一化；构建基于注意力机制和多模态表征学习的多路卷积神经网络；使用交叉熵损失函数对基于注意力机制和多模态表征学习的多路卷积神经网络进行训练；使用归一化后的训练集对训练后的注意力机制和多模态表征学习的多路卷积神经网络进行训练，并使用归一化后的验证集进行验证，保存验证集上表现最好的网络模型；使用归一化后的测试集在保存的网络模型上测试，得到滑坡识别结果。

本发明再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质(Memory)，所述计算机可读存储介质是终端设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括终端设备中的内置存储介质，当然也可以包括终端设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。

可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关基于注意力机制和多模态表征学习的滑坡识别方法的相应步骤；计算机可读存储介质中的一条或一条以上指令由处理器加载并执行如下步骤：

将包含滑坡的正样本和包含非滑坡的负样本划分为训练集、验证集和测试集；对训练集进行数据增强，再将验证集、测试集和数据增强后的训练集的图像大小进行调整，将图像各通道像素值归一化；构建基于注意力机制和多模态表征学习的多路卷积神经网络；使用交叉熵损失函数对基于注意力机制和多模态表征学习的多路卷积神经网络进行训练；使用归一化后的训练集对训练后的注意力机制和多模态表征学习的多路卷积神经网络进行训练，并使用归一化后的验证集进行验证，保存验证集上表现最好的网络模型；使用归一化后的测试集在保存的网络模型上测试，得到滑坡识别结果。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

仿真实验

1、实验条件：

本发明的仿真实验平台采用Intel E5-2600 v3 CPU处理器、2.4GHz主频、64G内存、NVIDIA RTX3090显卡，运行Ubuntu18.04版本64位系统的PC机，软件平台为Pytorch，编程语言为Python语言。

2、仿真内容与结果分析：

本发明仿真实验中的样本来自于Bijie滑坡数据集的开放式遥感滑坡数据集，构建注意力卷积神经网络模型，如图2所示，划分训练集、验证集、测试集，进行数据准备。

本发明用到的Bijie滑坡数据中的各个图像大小不一致，本实验在数据预处理阶段将其大小归一化至224×224。

本发明对比了不同网络对于多模态数据的分类结果，其中VGG16与Res_att的网络结构为单输入支路，所以RGB数据与DEM数据在输入时就已经进行数据融合。本发明的方法在对多模态数据的特征提取方式上进行了改进，不再是类似上述单次的融合方式，而是将DEM与RGB数据分为两个支路的特征提取网络，在对两组模态数据进行特征提取的同时多层次地进行数据融合，这种网络结构避免了多模态数据过早融合而丢失该模态的深层信息，并且在多级融合的机制中集成了空间注意力模块与通道注意力模块，来强调强调特征中的重要区域(即滑坡)，空间和通道集成不仅能减少计算量，还能充分利用空间和通道的全局一致性，使得特征更具分离性。；本发明在决策层也进行了改进，决策层的分类融合了多个模态特征与融合特征的决策结果，降低了传统分类器的参数量的同时也提升了结果参数。

滑坡识别问题本质上属于图像的二分类问题，即通过分类器对包含滑坡的正类样本和非滑坡的负类样本进行分类，用分类器在测试集上的预测结果计算评价指标。

下面分别利用召回率(Recall)，精确率(Precision)，F1系数与准确率(Accuracy)四个评价指标分别对本发明提出的基于多模态数据与注意力机制的卷积神经网络模型的识别性能进行量化评价。

以下介绍每个指标的具体含义：

TP：将滑坡预测为滑坡数(True Positive)；

FN：将滑坡预测为非滑坡数(False Negative)；

FP：将非滑坡预测为滑坡数(False Positive)；

TN：将非滑坡预测为非滑坡数(True Negative)。

召回率(Recall)是针对原来的样本而言的，它表示的是样本中的正例有多少被预测正确了。那也有两种可能，一种是把原来的正类预测成正类(TP)，另一种就是把原来的正类预测为负类(FN)：

精确率(Precision)是针对预测结果而言的，表示的是预测为正的样本中有多少是真正的正样本。那么预测为正就有两种可能了，一种就是把正类预测为正类(TP)，另一种就是把负类预测为正类(FP)：

F1分数是用来衡量二分类模型精确度的一种指标,同时考虑到分类模型的准确率和召回率.可看作是准确率和召回率的一种加权平均：

分类准确率(Accuracy，Acc)是分类器正确分类的样本数与总样本数之比：

表1本发明仿真实验获得的滑坡识别结果一览表(其中Resnet中部署了3D注意力机制模块)

结合表1中的结果可以看出，我们的方法在较低的参数量的情况下，获得了在四项指标上达到了更好的结果。这也证明本发明提出的多尺度数据融合方法在处理多模态数据时，相较于传统的融合方法有更好的效果。

综上所述，本发明一种基于注意力机制和多模态表征学习的滑坡识别方法及系统，利用新型多模态数据融合网络与注意力机制相结合，在训练过程中，在特征提取层中对多模态数据进行多尺度的数据特征融合，在分类层对多模态数据进行数据决策融合，解决了现有多模态数据融合时由于单一融合方式使得丢失部分模态数据的问题，并且决策层的数据融合方式也极大地减少了参数量。本发明在保证高精度的滑坡识别的前提下，减少了模型的规模，促进了该滑坡识别算法在无人机等嵌入式平台中的应用，是一种有效的多模态滑坡识别方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (10)

1.一种基于注意力机制和多模态表征学习的滑坡识别方法，其特征在于，包括以下步骤：

S1、将包含滑坡的正样本和包含非滑坡的负样本划分为训练集、验证集和测试集；

S2、对步骤S1划分的训练集进行数据增强，再将步骤S1划分的验证集、测试集和步骤S2数据增强后的训练集的图像大小进行调整，将图像各通道像素值归一化；

S3、构建基于注意力机制和多模态表征学习的多路卷积神经网络；

S4、使用交叉熵损失函数对步骤S3构建的基于注意力机制和多模态表征学习的多路卷积神经网络进行训练；

S5、使用步骤S2归一化后的训练集对步骤S4训练后的注意力机制和多模态表征学习的多路卷积神经网络进行训练，并使用步骤S2归一化后的验证集进行验证，保存验证集上表现最好的网络模型；

S6、使用步骤S2归一化后的测试集在步骤S5保存的网络模型上测试，得到滑坡识别结果。

2.根据权利要求1所述的基于注意力机制和多模态表征学习的滑坡识别方法，其特征在于，步骤S1中，将包含滑坡的正样本和非滑坡的负样本随机分成10份，按照6:1:3的比例划分为训练集、验证集和测试集。

3.根据权利要求1所述的基于注意力机制和多模态表征学习的滑坡识别方法，其特征在于，步骤S2具体为：

S201、同时读取训练集中某一地区的RGB数据与DEM数据，依照概率对数据进行水平、垂直翻转以及90度旋转的数据增强，并加入高斯或椒盐噪声，完成训练集数据增强；

S202、使用双线性插值方法将验证集、测试集以及步骤S201数据增强后的训练集的图像大小全部调整至224×224，并将各通道像素值归一化至0～1。

4.根据权利要求1所述的基于注意力机制和多模态表征学习的滑坡识别方法，其特征在于，步骤S3具体为：

S301、构建包括RGB支路、DEM支路和多模态融合支路的多路卷积神经网络，分别对高光谱RGB数据，数字高程DEM数据进行特征提取，得到RGB深层特征图、DEM深层特征图以及RGB深层特征图和DEM深层特征图两种模态数据融合深层特征图，进行分类决策；

S302、构建步骤S1多路卷积神经网络的输入模块，RGB支路与DEM支路的输入模块分别由一个卷积层、一个批归一化层以及一个RELU非线性激活层组成；将步骤S2经过数据增强后训练集中的RGB数据与DEM数据输入多路卷积神经网络各支路的输入模块，经过第一个输入卷积层得到64个RGB数据的浅层特征图和64个DEM数据的浅层特征图；

S303、构建包含通道注意力模块和空间注意力模块的注意力特征融合模块，将步骤S302得到的64个RGB数据的浅层特征图与64个DEM数据的浅层步特征图输入各自支路的空间注意力模块中，得到RGB空间注意力特征图与DEM空间注意力特征图；并将RGB空间注意力特征图与DEM空间注意力特征图进行数据融合后输入通道注意力模块中，得到融合数据的通道注意力特征图；

S304、构建包含3个卷积层、3个批归一化层、2个RELU非线性激活层的残差模块；

S305、基于步骤S304的残差模块构建超模块RGB、DEM以及融合数据特征提取支路，将步骤S302得到的64个RGB数据的浅层特征图与64个DEM数据的浅层特征图分别输入到各自超模块特征提取支路中，得到各自的RGB特征图和DEM特征图；将步骤S303得到的融合数据通道注意力特征图输入融合数据的超模块特征提取支路的中，得到融合数据的特征图；

S306、构建深度特征提取模块，对步骤S305中得到的RGB特征图和DEM特征图输入步骤S303中各自支路的空间注意力模块中，得到RGB空间注意力特征图与DEM空间注意力特征图；并将RGB空间注意力特征图、DEM空间注意力特征图以及步骤S305中得到融合数据特征图进行数据融合，输入S303中通道注意力模块中，得到融合数据的通道注意力特征图，将RGB空间注意力特征图、DEM空间注意力特征图以及融合数据的通道注意力特征图输入进各自支路的超模块特征提取层中，得到各自的深层特征图；

S307、重复步骤S306中深度特征提取模块，最终得到1024个7×7的RGB深度特征图、1024个7×7的DEM深度特征图和1024个7×7的融合数据深度特征图；

S308、构建多模态共享决策模块，对步骤S307得到的RGB深度特征图、1024个DEM深度特征图和1024个融合数据深度特征图进行分类决策。

5.根据权利要求4所述的基于注意力机制和多模态表征学习的滑坡识别方法，其特征在于，步骤S305中，每条支路的第一个超模块包含3个残差模块，第一个残差模块的输入卷积核个数为64；步骤S306中的每条支路上，第一个超模块包含4个残差模块，第一个残差模块的输入卷积核个数为128；第二个超模块包含6个残差模块，第一个残差模块的输入卷积核个数为256；第三个超模块包含3个残差模块，第一个残差模块的输入卷积核个数为512。

6.根据权利要求4所述的基于注意力机制和多模态表征学习的滑坡识别方法，其特征在于，步骤S308中，多模态共享决策模块包括四组并行的多层感知机网络和一组融合决策网络，每个多层感知机网络包含两层全连接层和一层softmax层，属于RGB支路、DEM支路和多模态融合支路的全连接模块依次为第一多层感知机网络，第二多层感知机网络和第三多层感知机网络，每层的节点个数分别为1024，512，2，第一多层感知机网络，第二多层感知机网络和第三多层感知机网络的第一层拼接后作为第四多层感知机网络的第一层，第四多层感知机网络每层的节点个数分别为3072,512,2；融合决策网络包括一层全连接层和一层softmax层，每层的节点个数分别为8和2；将四组多层感知机网络的第三层进行拼接，输入到融合决策网络的第一层，得到最终的滑坡识别结果。

7.根据权利要求1所述的基于注意力机制和多模态表征学习的滑坡识别方法，其特征在于，步骤S4中，交叉熵损失函数L_log(y,p)为：

L_log(y,p)＝-(ylog(p)+(1-y)log(1-p))

其中，y为标签，p为滑坡识别网络预测概率。

8.根据权利要求1所述的基于注意力机制和多模态表征学习的滑坡识别方法，其特征在于，步骤S4中，对注意力机制和多模态表征学习的多路卷积神经网络进行训练中，采用随机梯度下降优化方法，首先用损失函数J(θ)对θ求偏导，

参数θ按负梯度方向更新，

θ'为更新后的网络参数，θ_j为更新前的网络参数，σ为学习率，

为输入网络的训练数据，h_θ(xⁱ)为训练集的权重，yⁱ为训练集对应的标签，m为每次训练输入的样本数量，从训练集中随机抽出一组样本，每次训练后按梯度下降法则更新。

9.根据权利要求8所述的基于注意力机制和多模态表征学习的滑坡识别方法，其特征在于，损失函数J(θ)如下：

其中，xⁱ为训练集。

10.一种基于注意力机制和多模态表征学习的滑坡识别系统，其特征在于，包括：

划分模块，将包含滑坡的正样本和包含非滑坡的负样本划分为训练集、验证集和测试集；

预处理模块，对训练集进行数据增强，再将验证集、测试集和数据增强后的训练集的图像大小进行调整，将图像各通道像素值归一化；

网络模块，构建基于注意力机制和多模态表征学习的多路卷积神经网络；

训练模块，使用交叉熵损失函数对网络模块的基于注意力机制和多模态表征学习的多路卷积神经网络进行训练；

验证模块，使用预处理模块归一化后的训练集对训练模块的注意力机制和多模态表征学习的多路卷积神经网络进行训练，并使用预处理模块归一化后的验证集进行验证，保存验证集上表现最好的网络模型；

识别模块，使用预处理模块归一化后的测试集在验证模块保存的网络模型上测试，得到滑坡识别结果。

Images