CN115761297A

CN115761297A - 一种基于边缘引导的注意神经网络自动识别滑坡的方法

Info

Publication number: CN115761297A
Application number: CN202211035893.4A
Authority: CN
Inventors: 魏海涛; 郭恒亮; 刘帮; 赵姗; 乔宝晋
Original assignee: Zhengzhou University
Current assignee: Zhengzhou University
Priority date: 2022-08-27
Filing date: 2022-08-27
Publication date: 2023-03-07

Abstract

本发明提供了一种基于边缘引导的注意神经网络自动识别滑坡的方法，利用Edge Boxes方法对滑坡遥感影像进行边缘检测得到边缘图，将边缘图与滑坡数据集组成新的滑坡数据集并将其划分为训练集、验证集和测试集；将训练集进行数据增强处理，并将训练集、验证集和测试集的图像进行归一化处理；使用归一化后的训练集对基于边缘引导的注意神经网络进行训练，并使用归一化后的验证集进行验证，保存验证集上表现最好的网络模型；使用归一化后的测试集在保存的网络模型上测试得到滑坡识别结果，本方法获得更多容易被忽略的图像滑坡边缘特征信息，提高滑坡的精确度。

Description

一种基于边缘引导的注意神经网络自动识别滑坡的方法

技术领域

本发明涉及地质灾害识别技术领域，尤其是涉及一种基于边缘引导的注意神经网络自动识别滑坡的方法。

背景技术

世界上时常发生规模大小不一的自然灾害，而滑坡作为其中最常见的一种自然地质灾害，给各国经济带来巨大损失。由于滑坡地质灾害具有多发性、突发性、群发性和危害性极大的特点，严重威胁着人民群众的生命财产安全，阻碍了地区经济建设。因此如何快速准确的获取滑坡的位置、受灾的范围等信息，合理科学的指导救援工作，减少滑坡灾害造成的损失具有重大意义。

人工实地勘察获取滑坡是最直接和最准确的方法，但是需要耗费大量的人力、物力和时间。近年来，随着遥感技术不断发展，获取的遥感影像空间分辨率越来越高，能够从遥感影像上获得更丰富、更详细的地物信息，因而被广泛应用到地质灾害解译中。研究学者将遥感影像进行滑坡识别的方法主要是目视解译、基于像素、面向对象和机器学习。目视解译是专业人员通过直接观察或借助辅助判读仪器在遥感影像上获取特定目标地物信息的过程，存在任务繁重、效率低、成本高、信息不直观等问题。基于像素的滑坡识别方法利用遥感影像上的单个像素的光谱、空间信息，获取滑坡的特征，利用这些特征按一定方法对影像上滑坡进行识别。但是基于像素的方法并未充分利用遥感影像信息，容易产生“椒盐现象”，识别效果较差。面向对象方法将像元邻近区域视为一个对象，利用对象的空间、纹理、和光谱信息对物体进行识别。但面对对象的方法通过人工选择具有代表性的特征，自动化程度低。同时分割尺度的选择需要通过试错法确定，并且只适用于特定区域，限制了滑坡识别的准确性。研究学者将机器学习用于滑坡识别，解决了基于像素和面对对象在滑坡识别中存在的一些问题，但是机器学习中的方法是浅层学习网络，难以表达复杂函数，面对遥感影像数据呈PB级别的增长，机器学习无法学习到有用的特征，使识别精度降低。

近些年，深度学习在自然图像处理领域（如图像分类、目标检测、图像分割等）取得了一系列成就。与传统方法和机器学习方法相比，深度学习方法将数据输入到多层神经网络，其中的层间映射关系减少了数据的大小，通过卷积操作自动学习特征，提取了数据的重要特征，使用分层特征代替人工识别特征，提高了识别分类的准确度。引起部分学者将深度学习方法应用在滑坡灾害检测领域。

卷积神经网络（Convolutional Neural Networks, CNN）作为深度学习的代表性算法，被运用到滑坡识别研究中，并取得较好精度。Yu等人使用CNN和通过判别信息（区域、边界和中心）学习滑坡区域并描绘出边缘轮廓，无需人为干预，实现较高精度的滑坡自动检测。Shi等人基于滑坡发生前后的影像图，使用CNN与变化检测结合的方法对滑坡进行检测，结果表明，这种方法的精度达到85%。这些学者使用深度学习的方法从遥感影像上获取了滑坡的边界框位置，然而在许多与滑坡相关的研究中需要详细的滑坡清单，例如滑坡的面积、准确的滑坡边界，以便科学的开展救援、防治工作。因此有研究学者将图像语义分割运用到滑坡识别中，实现对滑坡的像素级提取。Bragagnolo等人基于Landsat8影像在尼泊尔建立滑坡数据库，使用U-Net深度学习模型进行滑坡识别，比前一相同研究区域的精度有所提升。Ji等人评估了池化策略、卷积块的设计、注意力机制中的缩放比例以及注意力机制的不同位置对模型性能的影响，设计出了一种3D注意力机制，用于增强滑坡信息，抑制背景信息，提高CNNs的学习能力，对滑坡识别精度提升较大。

上述学者的研究虽然都很好的提取了滑坡信息，提升了滑坡识别的精度，在一定程度上满足了用户的需求，但是上述学者的研究仍然存在一些限制，可以概括为以下两个方面：上述学者利用多种方法改进网络模型以提高滑坡识别的精度，但是其网络没有充分学习滑坡的特征，例如滑坡的边界特征，而在传统的滑坡识别方法中滑坡的边缘特征是识别滑坡的重要依据之一，在利用U型网络进行滑坡识别时，虽然采用了跳跃连接来恢复空间信息，但是在上采样时丢失了许多滑坡细节信息，导致滑坡识别效果较差。

因此，提供一种基于边缘引导的注意神经网络自动识别滑坡的方法，已解决上述的问题。

发明内容

针对现有技术存在的问题，本发明提供的一种基于边缘引导的注意神经网络自动识别滑坡的方法，利用边缘图以及设计不同的模块使网络更好的学习滑坡特征，获取高精度准确的滑坡识别图。

本发明采用以下技术方案：

一种基于边缘引导的注意网络自动识别滑坡的方法，其特征在于，包括以下步骤：

步骤S1、将滑坡数据集中的滑坡遥感影像采用Edge Boxes方法提取边缘图，获取网络输入的边缘图；

步骤S2、将步骤S1中提取的边缘图加入到滑坡数据集组成新的滑坡数据集，并将新的滑坡数据集划分为训练集、验证集和测试集，用于网络的训练、验证以及测试；

步骤S3、对步骤S2中划分的训练集进行数据增强得到数据增强后的训练集图像，再将步骤S2划分的验证集、测试集和步骤S3中数据增强后的训练集图像进行归一化处理，防止网络出现过拟合；

步骤S4、构建基于边缘引导的注意神经网络，得到滑坡识别的深度学习模型；

步骤S5、使用交叉熵损失函数、Generalized Dice损失函数以及Sobel边缘损失函数组成的损失函数对步骤S4构建的基于边缘引导的注意神经网络进行训练，得到初步训练完成的滑坡识别模型；

步骤S6、使用步骤S3归一化后的训练集对步骤S5训练后的基于边缘引导的注意神经网络，并使用步骤S3归一化后的验证集进行验证，保存验证集上表现好的网络模型；

步骤S7、使用步骤S3归一化后的测试集在步骤S6保存的网络模型上测试，得到滑坡识别结果。

所述步骤S2中，将包含滑坡的数据集随机分成10份，按照6:1:3的比例划分为训练集、验证集和测试集。

述步骤S3的具体操作为：

步骤S301、同时读取训练集中某一地区的RGB遥感图像与边缘图，依照概率对数据进行水平、垂直翻转、90度旋转、光学畸变的数据增强，并加入高斯或椒盐噪声，完成训练集数据增强；

步骤S302、使用双线性插值方法将验证集、测试集以及步骤S2中新的滑坡数据集的训练集的图像的各通道像素值归一化至0～1。

所述步骤S4具体操作为：

步骤S401、构建包含VGG16网络、金字塔池化模块、边缘引导模块、自适应加权融合模块以及注意引导模块的基于边缘引导的注意神经网络，分别对滑坡遥感影像和遥感边缘图进行处理，获得高精度的像素级滑坡识别图；

步骤S402、构建步骤S401中的VGG16网络以及金字塔池化模块，滑坡遥感影像进行VGG16网络5个不同的卷积模块，每一个卷积模块有一个侧输出，侧输出后跟着1个核大小为

，通道数为128的卷积层，金字塔池化模块采用1、2、4、8的池化层大小获取不同分辨率的特征图，通过连接层连接4个不同分辨率的特征图，后通过1个卷积核大小为

，通道数为128的卷积层作为编码器的输入特征图；

步骤S403、构建步骤S401中的边缘引导模块，边缘引导模块通过两层卷积操作从边缘图像中获取边缘特征图，将提取出的边缘特征加入到网络中辅助网络进行滑坡的识别；为了利用边缘信息，在浅层中添加边缘特征，而且在深层中添加边缘特征；同时采用不同卷积核和步长的卷积操作获取不同感受野的边缘图像特征图；

S404、构建步骤S401中的自适应加权融合模块，自适应加权融合模块借助网络的学习，自适应的更新不同特征的权重，保证所融合特征的贡献最大化；在模块中，对进行融合的两种特征图赋于不同的融合权重进行融合；在网络训练的过程中，网络利用反向传播将输出层的误差信息反向传播给所有神经元，完成对网络中的权重的更新，网络在学习的过程中对融合权重进行修正优化，使其以适当的比例进行融合；

S405、构建步骤S401中的注意引导模块，注意引导模块关键是生成一个重点关注滑坡像素的注意力特征，使网络学习的注意集中在识别滑坡上，同时使用低级特征对高级特征进行细化，得到下一级的细化预测图。

步骤S5中，交叉熵损失函数表示为如下公式：

其中

代表样本的label，p代表预测值所属类别的概率值；

Generalized Dice 损失函数可以表示为：

其中

表示类别l在第n个位置的真实像素类别，而

表示相应的预测概率值，

表示每个类别的权重；

的公式为：

Sobel损失函数计算其误差：

其中对于第

个样本，

为真实值，

为预测值，N为样本数；最后模型总的损失函数为：

。

本发明有益效果：与现有技术相比，本发明至少具有以下有益效果：将遥感影像的边缘图加入到网络中，利用边缘引导模块和自适应加权融合模块使网络更好的学习到滑坡的边缘特征，网络识别的滑坡有着更好的边缘；网络中的注意引导模块能够更好的细化预测图，使网络识别得到的滑坡有更好的精度。

附图说明

图1是本发明的流程图；

图2是本发明的网络模型框图；

图3是本发明中的金字塔池化模块；

图4是本发明中的边缘引导模块；

图5是本发明中的自适应加权融合模块；

图6是本发明中的注意引导模块；

图7是本发明中的遥感边缘图；

图8是本发明中的不同深度学习模型的滑坡识别结果图，1是原图像，2是标签图，3是Deeplab v3plus，4是SegNet，5是Unet，6是本发明方法；图中白色圈框出的是模型识别错误大的区域。

具体实施方式

下面将结合实施例对本发明的实施方案进行详细描述，但是本领域的技术人员将

会理解，下列实施例仅用于说明本发明，而不应视为限制本发明的范围。

下面结合附图对本发明的实施方式进行详细说明。

参考图1，本发明的一种基于边缘引导的注意神经网络自动识别的方法，包括以下步骤：

步骤S1、将滑坡数据集中的滑坡遥感影像采用Edge Boxes方法提取边缘图；

步骤S2、将边缘图加入到滑坡数据集组成新的滑坡数据集，并将其划分为训练集、验证集和测试集；

步骤S3、对步骤S2中划分的训练集进行数据增强，再将步骤S2划分的验证集、测试集和步骤S3中数据增强后的训练集图像进行归一化处理，数据增强包括随机水平、垂直翻转、随机旋转、光学畸变等方法；归一化公式如下：

其中，R表示归一化处理后的RGB图像或DEM图像，I表示归一化处理前的RGB图像，max(I)，min(I)分别表示取最大值和最小值操作。

步骤S4、构建基于边缘引导的注意神经网络；

具体为：

步骤S401、构建包含VGG16网络、金字塔池化模块、边缘引导模块、自适应加权融合模块以及注意引导模块的边缘引导的注意神经网络，分别对滑坡遥感影像和遥感边缘图进行处理，获得高精度的像素级滑坡识别图，如图6中的遥感边缘图；

S402、如图2和图3所示，采用VGG16网络的前五个卷积块作为提取滑坡影像特征的骨干网络，每一个卷积模块有一个侧输出，侧输出后跟着1个核大小为

，通道数为128的卷积层，金字塔池化模块采用1、2、4、8的池化层大小获取不同分辨率的特征图，之后通过连接层连接4个不同分辨率的特征图，最后通过1个核大小为

，通道数为128的卷积层作为编码器的输入特征图；

步骤S403、如图4所示，边缘引导模块通过两层卷积操作从边缘图像中获取边缘特征图。具体卷积层参数如表1中所示。为了更好地利用边缘信息，我们不仅在浅层中添加边缘特征，而且在深层中添加边缘特征,在网络的编码器和解码器中间共有5个边缘引导模块。

表1 边缘卷积模块具体细节

	层数	卷积核大小	步长	通道数
					边缘卷积块1	2	33 33	1 1	128
边缘卷积块2	2	33 33	2 2	128
					边缘卷积块3	2	33 33	2 2	128
边缘卷积块4	2	33 55	2 4	128
					边缘卷积块5	2	55 55	4 4	128

步骤S404、如图5所示，自适应加权融合模块在每个VGG16的侧输出和边缘引导模块后，进行两者特征的融合，共使用5个自适应加权融合模块，自适应融合模块中的1

1的卷积通道为128。

步骤S405、如图6所示，注意引导模块在每一次上采样后，该模块关键是生成一个重点关注滑坡像素的注意力特征，使网络学习的注意集中在识别滑坡上，同时使用低级特征

对高级特征

进行细化，得到下一级的细化预测图。高级特征

经过通道为128的1

1卷积后与低级特征

经过Sigmoid函数得到注意力图与经过处理的高级特征进行元素相乘，之后经过与低级特征相同通道数的11卷积操作得到增强后特征图

，最后与低级特征相加防止梯度消失，得到注意引导模块的输出特征图

。

步骤S5、使用交叉熵损失函数、Generalized Dice损失函数以及Sobel边缘损失函数组成的损失函数对步骤S4构建的基于边缘引导的注意神经网络进行训练；

交叉熵损失函数可以表示为如下公式：

其中y代表样本的label，p代表预测值所属类别的概率值。

Generalized Dice 损失函数可以表示为：

其中

表示类别l在第n个位置的真实像素类别，而

表示相应的预测概率值，

表示每个类别的权重；

的公式为：

Sobel损失函数计算其误差：

其中对于第

个样本，

为真实值，

为预测值，N为样本数。最后模型总的损失函数为：

；

步骤S6、使用步骤S3归一化后的训练集对步骤S5训练后的边缘引导的注意神经网络，并使用步骤S3归一化后的验证集进行验证，保存验证集上表现最好的网络模型；

仿真实验

本发明的效果可以通过以下一个具体实例进一步说明：

1.本发明实验区域位于中国甘肃省天水市，本次实验使用的数据是由Qi等制作的甘肃省天水市滑坡数据集，如图8所示。该数据集主要包括高分辨率滑坡影像及对应滑坡掩膜形状，滑坡影像共有1443张。在训练时将数据集按8：2的比例分为训练集和测试集。

本发明的网络模型是基于Tensorflow2.2深度学习网络框架实现，采用小批量随机梯度下降作为优化器。设置初始学习速率为0.001，采用Tensorflow中的指数衰减函数，其他采用默认参数。总共有250个epoch。最小批量大小为4，动量为0.9，权重衰减为5x10-5。

2.评价指标

为了评价网络模型的性能，利用精确度(precision, P)和召回率(recall, R)和对模型进行评价，精确度反映的是检测为正样本的目标中正确的概率，召回率反映在所有正样本中正确识别的概率。计算公式如下：

式中，TP表示实际为正样本，预测为正样本；FP表示实际为负样本，预测为正样本；FN表示实际为正样本，预测为负样本；TN表示实际为负样本，预测为负样本。

F1分数是精确度和召回率的一种加权平均，它的最大值是1，最小值是0，值越大意味着模型越好：

本发明是对滑坡的形状进行识别分割，因此为对分割结果进行合理评价，引入了平均交并比指标（mean intersection over union，MIoU）。MIoU是每一类预测结果和真实掩膜之间交集与并集比的平均值。计算公式如下：

式中，n为预测的类别数目；

表示原本为类预测为i类；

表示原本为i类预测为j类；

表示原本为j类预测为i类。

3.滑坡识别结果

表2 评估滑坡识别的指标

	P (%)	R (%)	MIoU(%)	F1(%)
					Deeplabv3plus	84.9	84.1	75.7	84.5
SegNet	83.7	76.1	72.8	79.7
					UNet	86.5	88.5	80.5	87.5
EGANet	<u>95.7</u>	<u>95.8</u>	<u>92.1</u>	<u>95.7</u>

在表2中显示了本发明提出的EGANet与其他滑坡识别模型的评价指标结果，从中可以看出本发明提出的EGANet模型在准确度、精度、召回率、F1分数和MIoU具有最好的结果。EGANet的 F1分数和MIoU比Unet高出8.2%、11.6%。

为了对模型的性能有更加直观的了解，附图8显示了对选择的验证影像进行预测的结果图。附图8中第1列是原始图像，2列是滑坡真实图，为采用不同方法提取滑坡的精度评价提供参考。附图8中3-5列是分别是Deeplab v3plus、SegNet、Unet的提取结果，第6列是本发明模型EGANet的结果图。从图中可以看出，作为对比的模型在滑坡识别结果中有许多错误提取和漏提取，识别准确率不理想，并且识别的滑坡边界比较平滑，未检测出完整的边界。而我们提出的EGANet识别滑坡效果较好，提取的滑坡边界也较为完整。

在识别类似于滑坡的山路或裸漏地块时，对比模型会出现识别错误的问题（如附图8中的a3-a5、b3-b5、e3-e5）。主要原因是模型未充分学习滑坡的特征，我们的模型在VGG-16后添加了PPM，进而使网络能充分学习滑坡高级语义信息，同时在下采样时AGM模块借助来自编码器部分的低级特征对滑坡信息进行细化，从而使EGANet模型能很好的区分类似于滑坡的道路和建筑物（如图6中的8中的b6、e6），使滑坡的提取结果有着较高的精度。对于一些较小的滑坡，由于面积小，像素少，一些对比模型未能完整的识别出滑坡（图6中的 a3-a5、b3-b5、c3-c5、g3-g5），可以看出一些小的滑坡并未被识别。在图6的8中的 a6、b6、g6中，模型也有未识别的小滑坡，在c6中的小滑坡识别效果优于对比模型，这是因为加入了PPM，多尺度的提取滑坡特征，使编码器获得更多的信息。对于影像中较大和有与滑坡易混淆的地物，对比模型和EGANet模型对滑坡的位置形状识别有着较小的差距，但是在边界上的差距较大，从图8中b、d、e、f三行中可以看出，EGANet滑坡识别结果的边界与真实边界差距很小，这是因为在EGANet中加入了边缘引导模块、边缘检测的损失函数以及下采样时AGM利用低级特征对于滑坡特征进行细化，使识别的滑坡具有更好的形状边界。