CN116206214A - 一种基于轻量化卷积神经网络和双注意力的自动识别滑坡方法、系统、设备及介质 - Google Patents
一种基于轻量化卷积神经网络和双注意力的自动识别滑坡方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN116206214A CN116206214A CN202310218039.XA CN202310218039A CN116206214A CN 116206214 A CN116206214 A CN 116206214A CN 202310218039 A CN202310218039 A CN 202310218039A CN 116206214 A CN116206214 A CN 116206214A
- Authority
- CN
- China
- Prior art keywords
- module
- landslide
- network
- convolution
- dimension
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 47
- 230000007246 mechanism Effects 0.000 claims abstract description 61
- 238000012549 training Methods 0.000 claims abstract description 57
- 230000000694 effects Effects 0.000 claims abstract description 11
- 238000013135 deep learning Methods 0.000 claims abstract description 9
- 239000012014 frustrated Lewis pair Substances 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000010586 diagram Methods 0.000 claims description 24
- 238000011156 evaluation Methods 0.000 claims description 16
- 230000001174 ascending effect Effects 0.000 claims description 14
- 230000009191 jumping Effects 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 13
- 238000012795 verification Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000009977 dual effect Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 4
- 230000008094 contradictory effect Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 14
- 238000001514 detection method Methods 0.000 description 7
- 230000008447 perception Effects 0.000 description 7
- 238000013461 design Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 2
- 108010003272 Hyaluronate lyase Proteins 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004645 scanning capacitance microscopy Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000013585 weight reducing agent Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
一种基于轻量化卷积神经网络和双注意力的自动识别滑坡方法、系统、设备及介质，方法包括：对遥感影像进行预处理，获取滑坡遥感影像数据集；搭建Ournetworkframework网络模型；对Ournetwork framework网络模型进行迭代训练，最终保存训练效果最好轮次的权重；对训练好的网络模型进行预测，评价网络的好坏；使用深度学习框架随机生成一个张量，将其送入Ournetworkframework网络模型中，计算FLOPs、参数量、以及模型推理时间；其系统、设备及介质，用于实现种基于轻量化卷积神经网络和双注意力的自动识别滑坡方法；本发明的网络模型是将卷积神经网络的优势和自注意力机制的优势结合起来，创建出轻量化网络模型，在降低模型复杂度的同时，滑坡识别的准确率也以提升。
Description
技术领域
本发明涉及自动识别滑坡技术领域，具体涉及一种基于轻量化卷积神经网络和双注意力的自动识别滑坡方法、系统、设备及介质。
背景技术
我国是地质灾害易发国家，其中滑坡是最为常见的地质灾害之一，滑坡灾害对当地人民的生命财产、重要基础设施等构成严重威胁，因此，对滑坡进行识别具有重要意义，目前在滑坡上比较成熟的技术是InSAR技术进行滑坡的早期识别，但由于其传感器成本高、多幅影像不易获取、观测周期长、技术要求高等原因，限制了其在滑坡识别领域的大规模应用。
目前应用在滑坡检测上的图像分类方法大多是基于目前比较成熟的常用网络的改进，比如DawenYu等人提出基于注意力机制的方法对卫星遥感影像进行滑坡检测(Ji S,Yu D,Shen C,et al.Landslidedetection from an open satellite imagery anddigital elevation modeldataset using attention boosted convolutional neuralnetworks[J].Landslides,2020,17(6):1337-1352)，在VGG-Net、ResNet等这些图像分类网络上添加提出的SCAM注意力机制方法提高网络性能；Sameen等人提出使用ResNet进行滑坡检测(Sameen M I,Pradhan B.Landslidedetection using residual networks and thefusion of spectral andtopographic information[J].IEEEAccess,2019,PP(99):114363-114373)，其将光谱与地形信息进行融合，通过增加特征的方法提高检测结果；但以上都是基于网络深度和复杂度都比较高的模型进行改进，以此来提升网络对滑坡识别的性能。
目前，自动识别滑坡方法还存在着以下几点：
1、通过人工目视解译进行滑坡早期识别：该方法需要依据遥感影像色彩、纹理等几何特征，与专家知识、非遥感数据相结合，识别准确度较高，但存在对专家知识依赖性强、人工成本高、效率低等问题。
2、利用InSAR技术进行滑坡的早期识别：由于其传感器成本高、多幅影像不易获取、观测周期长、技术要求高等原因，限制了其在滑坡监测领域的大规模应用。
3、利用深度学习对滑坡进行识别的技术：目前主流技术都还是在网络深度和复杂度都比较高的模型上进行改进，以此来提高对滑坡的识别效果，虽然网络模型性能是提高了，但是这些网络往往计算量巨大，依赖这些基础网络的检测算法很难达到实时运行的要求。
2021年4月发表的EfficientNetV2(TanM,Le Q.Efficientnetv2:Smallermodelsand fastertraining[C]//International conference onmachine learning.PMLR,2021:10096-10106)，是一个轻量化的网络模型，该文提出了改进的渐进学习方法，该方法会根据训练图像的尺寸动态调节正则方法；除此之外，验证了在浅层网络使用深度可分离卷积速度会很慢，因此提出了一个新的网络模块Fused-MBConv应用于浅层网络，以此来提升网络的训练速度，并提升网络的准确率。但因其网络架构是通过神经结构搜索得到的网络架构，并不完全适用于滑坡识别。
发明内容
为了克服上述现有技术的不足，本发明的目的在于提供一种基于轻量化卷积神经网络和双注意力的自动识别滑坡方法、系统、设备及介质，利用Fused-MBConv模块、MBConv模块设计出网络模型的主体框架，以此作为轻量化卷积神经网络的主体部分，在网络模型的主体框架中使用PDC模块来增加网络模型空间感知的全局性，在PDC模块中主要使用了双注意力机制模块，从空间维度和通道维度分别进行自注意力机制，实现全局建模，本发明的Our network framework网络模型是将卷积神经网络的优势和自注意力机制的优势结合起来，创建出一个轻量化的网络模型。
为了实现上述目的，本发明采取的技术方案是：
一种基于轻量化卷积神经网络和双注意力的自动识别滑坡方法，包括以下步骤：
步骤1：对遥感影像进行预处理，获取滑坡遥感影像数据集；
步骤2：搭建Ournetwork framework网络模型；
步骤3：对Ournetwork framework网络模型进行迭代训练，最终保存训练效果最好轮次的权重；
步骤4：对步骤3训练好的网络模型进行预测，分别使用准确率Accuracy、平衡F分数F1、召回率Recall、精确率Precision作为评判网络性能的评价指标，评价网络的好坏；
步骤5：使用深度学习框架随机生成一个张量，将其送入到步骤2得到的Ournetwork framework网络模型中，计算FLOPs、参数量、以及模型推理时间，所述FLOPs代表用来衡量模型的复杂度。
所述步骤1的具体方法为:
步骤1.1：获取滑坡遥感影像数据集的正样本：将遥感影像按照滑坡规模进行裁剪，并向外扩充像素点作为背景，获得正样本；
步骤1.2：获取滑坡遥感影像数据集的负样本：将遥感影像以128或256或512尺寸的大小进行裁剪，删除所有包含正样本的数据，并挑选特殊场景作为负样本；
步骤1.3：将步骤1.1获取的正样本与步骤1.2获取的负样本按一定比例划分为训练集和测试集；
步骤1.4：将步骤1.3中得到的训练集按一定比例分别划分为新的训练集和验证集；
步骤1.5：对步骤1.4得到的新的训练集进行数据增强；
步骤1.6：将步骤1.3的测试集、步骤1.4中的验证集以及步骤1.5数据增强后的训练集的数据均调整为统一大小224*224或者300*300。
所述步骤2的具体方法为:
步骤2.1：利用深度学习框架分别构建Fused-MBConv模块、MBConv模块以及PDC模块；
步骤2.2：对步骤2.1构建的Fused-MBConv模块、MBConv模块以及PDC模块进行融合。
所述步骤2.1的具体方法为：所述Fused-MBConv模块包括一个3*3升维卷积以及一个1*1降维卷积，将Fused-MBConv模块的特征输入与特征输出进行跳跃连接；MBConv模块包括一个1*1升维卷积、一个3*3深度可分离卷积、一个SE注意力机制以及一个1*1降维卷积，将MBConv模块的特征输入与特征输出进行跳跃连接；PDC模块由1*1卷积、PatchEmded模块、双注意力机制、特征转换操作以及1*1卷积组成，并将输入特征图与最终输出特征图进行shortcut链接，使用PatchEmbed模块调整特征图通道的大小，并将特征图展平为适合DualAttention Block的特征向量；
所述步骤2.2的具体方法为：首先构建一个1*1的标准卷积层，将其输出特征图送入步长为1的Fused-MBConv模块中，该次使用不进行升维，Fused-MBConv模块循环两次，将其输出特征送入步长为2的Fused-MBConv模块中，进行是输入特征通道数4倍的升维，循环4次，将其输出特征送入步长为2的Fused-MBConv模块，进行是输入特征通道数4倍的升维，将其输出特征送入步长为2的MBConv模块，进行是输入特征通道数4倍的升维，循环2次，将其输出特征送入步长为1的PDC模块，循环2次，将其输出特征送入步长为2的MBConv模块，进行是输入特征通道数4倍的升维，循环3次，将其输出特征送入步长为1的PDC模块，循环3次，最终送入一个1*1卷积中，进行池化操作以及进行全连接操作，得到一个二分类的结果，完成网络模型构建。
所述步骤3的具体方法为：将步骤1.6中得到的训练集送入到步骤2搭建的Ournetwork framework网络模型中，对Our networkframework网络模型进行迭代训练，设置包括迭代轮次、批量大小以及学习率参数，进行网络训练并记录训练时间，接着将步骤1.6的验证集送入步骤2所搭建的Our network framework网络模型中，验证模型效果，最后保存训练效果最好轮次的权重。
所述步骤4的具体方法为：将步骤1.6的测试集送入步骤3训练好的网络模型中进行预测，评价网络的好坏，分别使用准确率Accuracy、平衡F分数F1、召回率Recall、精确率Precision作为评判网络性能的评价指标，准确率Accuracy为分类正确的样本占样本总数的比例；召回率Recall代表实际的正样本中预测为正样本的概率；精确率Precision代表所有预测为正样本中实际为正样本的概率；Precision和Recall是一对矛盾的度量，Precision高时，Recall偏低；而Recall高时，Precision偏低；在需要兼顾Precision和Recall时，使用平衡F分数F1作为Precision和Recall的加权调和平均，以下为各个评价指标的计算公式：
其中TP表示正样本预测正确的个数，FP负样本预测错误的个数，TN负样本预测正确的个数，FN正样本预测错误的个数；
其中，P指Precision，R指Recall，F1指平衡F分数；
步骤5中所述张量的维度尺寸大小为步骤1中统一调整数据集尺寸大小之后影像的维度和大小。
所述步骤1.2中特殊场景包括：道路、耕地、湖泊、植被、云层遮挡、工厂、山脊、积雪覆盖的场景；所述步骤1.3中的训练集以及测试集按照6：4或8：2的比例划分；所述步骤1.4中所述的新的训练集以及验证集的比例范围为：7：3—9：1；所述步骤1.5中的数据增强包括：随机裁剪、随机旋转、叠加噪声。
本发明还提供了一种基于轻量化卷积神经网络和双注意力的自动识别滑坡系统，包括：
移动翻转瓶颈卷积模块：该模块由1*1升维卷积、3*3深度可分离卷积、SE注意力机制以及1*1降维卷积组成，将MBConv模块的特征输入与特征输出进行跳跃连接，在该模块中使用倒残差结构，同时使用深度可分离卷积减少卷积计算所需要的参数个数，以达到网络模型轻量化的目的；
融合移动翻转瓶颈卷积模块：该模块由3*3升维卷积和1*1降维卷积组成，并将Fused-MBConv模块的特征输入与特征输出进行跳跃连接，在浅层网络中应用，用于提高网络的训练速度；
双注意力机制模块：该模块由空间维度的窗口多头自注意力机制和通道组的自注意力机制组成，从正交的角度处理问题，分别从空间维度和通道维度进行自注意力机制，用于提高自动识别滑坡网络模型的精度；
空间窗口多头自注意力机制模块：双注意力机制模块中空间维度部分，利用空间维度信息完善局部特征；
通道组自注意力机制模块：双注意力机制模块中通道维度部分，利用通道维度信息捕捉全局的联系和特征；
PDC模块：该模块由1*1卷积、PatchEmded模块、双注意力机制、特征转换操作以及1*1卷积组成，并将输入特征图与最终输出特征图进行跳跃链接，对输入特征图进行调整，以适应双注意力机制模块的输入，并对双注意力机制模块的输出特征进行调整，以适应卷积神经网络层的输入。
本发明还提供了一种基于轻量化卷积神经网络和双注意力的自动识别滑坡设备，包括：
存储器：用于存储计算机程序；
处理器，用于执行所述计算机程序时实现所述的一种基于轻量化卷积神经网络和双注意力的自动识别滑坡方法。
本发明还提供了一种计算机可读存储介质，包括：
所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时能够实现一种基于轻量化卷积神经网络和双注意力的自动识别滑坡方法。
相较于现有技术，本发明的有益效果为：
1、现有的使用深度学习进行滑坡识别的技术，更多的是依赖比较经典的网络比较深复杂度比较高的模型，以此来提高对滑坡识别的准确率，而本发明中构建的Our networkframework网络模型，该网络模型由Fused-MBConv模块、MBConv模块和PDC模块组成，利用Fused-MBConv模块、MBConv模块设计出更加适用于滑坡识别的轻量化卷积神经网络，同时结合PDC模块中的双注意力机制以增加网络模型空间感知的全局性，以此来提高滑坡识别网络模型的性能；本发明使用轻量化模型对滑坡进行识别，并同时引入双注意力机制来提高滑坡识别的准确率，因此，在降低模型复杂度的同时，整体滑坡识别的准确率还得以提升。与EfficientNetV2相比，本发明在滑坡自动识别上的F1、准确率、精确率、召回率上均有所提升，同时模型复杂度、参数量、推理时间、训练时间均有所降低。本发明在EfficientNetV2的基础上，提升了网络的训练速度和提升了网络的准确率，使其更加适用于滑坡识别任务中。
2、目前在滑坡上比较成熟的技术是InSAR技术进行滑坡的早期识别，但由于其传感器成本高、多幅影像不易获取、观测周期长、技术要求高等原因，限制了其在滑坡识别领域的大规模应用；而本发明提出的自动识别滑坡的技术相比较InSAR技术来说，图像更容易获取、不需要高成本的传感器要求等，因此，可以先使用本发明进行滑坡识别的一个初筛选，提高滑坡识别的效率。
3、相比较人工目视解译的方法，本发明无需强烈依赖专家知识，因为主要是使用计算机技术，人工成本低，效率也比人工目视解译高。
4、相比较InSAR技术，本发明中光学遥感影像成本低，数据更易获取。
附图说明
图1为本发明的网络架构图。
图2为图1PDC模块中DualAttention Block模块的架构图。
具体实施方式
下面以一种基于轻量化卷积神经网络和双注意力的自动识别滑坡方法作为实施例，并结合附图对本发明的技术方案作进一步详细地解释和说明。
步骤1：对宁夏高分二号卫星遥感影像进行预处理，获取宁夏滑坡遥感影像数据集；本发明主要针对滑坡遥感数据集和滑坡隐患点(即尚未发生滑坡，但有发生滑坡的趋势)数据集。
步骤1.1：获取宁夏滑坡遥感影像数据集的正样本：将宁夏高分二号卫星遥感影像按照滑坡规模进行裁剪，并向外扩充20个像素点作为背景，获得正样本；
步骤1.2：获取宁夏滑坡遥感影像数据集的负样本：将宁夏高分二号卫星遥感影像以512*512的大小进行裁剪，删除所有包含正样本的数据，并挑选如道路、耕地、湖泊、植被、云层遮挡、工厂、山脊、积雪覆盖等容易被误认为正样本的特殊场景作为负样本；
步骤1.3：将步骤1.1获取的正样本与步骤1.2获取的负样本按6：4的比例划分为训练集和测试集；
步骤1.4：将步骤1.3中得到的训练集按8：2的比例划分为新的训练集和验证集；
步骤1.5：对步骤1.4得到的新的训练集进行随机裁剪、随机旋转、叠加噪声等简单的数据增强；
步骤1.6：将步骤1.3的测试集、步骤1.4中的验证集以及步骤1.5数据增强后的训练集的数据均调整为统一大小300*300。
步骤2：搭建Ournetwork framework网络模型。
如图1所示，步骤2.1：利用pytorch深度学习框架分别构建Fused-MBConv模块、MBConv模块以及PDC模块；
如图2所示，具体地，所述Fused-MBConv模块包括一个3*3升维卷积以及一个1*1降维卷积，将Fused-MBConv模块的特征输入与特征输出进行跳跃连接(ShortcutConnection)；MBConv模块包括一个1*1升维卷积、一个3*3深度可分离卷积、一个SE(Squeeze-and-Excitation)注意力机制以及一个1*1降维卷积，将MBConv模块的特征输入与特征输出进行跳跃连接；PDC模块由1*1卷积、PatchEmded模块、双注意力机制、特征转换操作以及1*1卷积组成，并将输入特征图与最终输出特征图进行shortcut链接，使用PatchEmbed模块调整特征图通道的大小，并将特征图展平为适合DualAttention Block的特征向量；
步骤2.2：对步骤2.1构建的Fused-MBConv模块、MBConv模块以及PDC模块进行融合；
具体地，首先构建一个1*1的标准卷积层，将其输出特征图送入步长为1的Fused-MBConv模块(该次使用不进行升维)中，Fused-MBConv模块循环两次，将其输出特征送入步长为2的Fused-MBConv模块(进行是输入特征通道数4倍的升维)中，循环4次，将其输出特征送入步长为2的Fused-MBConv模块(进行是输入特征通道数4倍的升维)，将其输出特征送入步长为2的MBConv模块(进行是输入特征通道数4倍的升维)，循环2次，将其输出特征送入步长为1的PDC模块，循环2次，将其输出特征送入步长为2的MBConv模块(进行是输入特征通道数4倍的升维)，循环3次，将其输出特征送入步长为1的PDC模块，循环3次，最终送入一个1*1卷积中，进行池化操作以及进行全连接操作，得到一个二分类的结果，完成网络模型构建。
步骤3：对Ournetwork framework网络模型进行迭代训练，最终保存训练效果最好轮次的权重；
具体地，将步骤1.6中得到的训练集送入到步骤2搭建的Ournetwork framework网络模型中，对Our network framework网络模型进行迭代训练，将实验的迭代轮次(epoch)设置为60，批量大小(batchsize)设置为8，采用指数衰减的学习率来训练网络，初始学习率设定为0.01，根据以上参数进行网络训练并记录训练时间(Train-time)，接着将步骤1.6的验证集送入步骤2所搭建的Ournetwork framework网络模型中，验证模型效果，最后保存训练效果最好轮次的权重。
步骤4：对步骤3训练好的网络模型进行预测，分别使用准确率Accuracy、平衡F分数F1、召回率Recall、精确率Precision作为评判网络性能的评价指标，评价网络的好坏；
具体地，将步骤1.6的测试集送入步骤3训练好的网络模型中进行预测，评价网络的好坏，分别使用准确率(Accuracy)、平衡F分数F1、召回率(Recall)、精确率(Precision)作为评判网络性能的评价指标，准确率Accuracy为分类正确的样本占样本总数的比例；召回率Recall代表实际的正样本中预测为正样本的概率；精确率Precision代表所有预测为正样本中实际为正样本的概率；Precision和Recall是一对矛盾的度量，Precision高时，Recall偏低；而Recall高时，Precision偏低；在需要兼顾Precision和Recall时，使用平衡F分数F1指数作为Precision和Recall的加权调和平均，以下为各个评价指标的计算公式：
其中TP表示正样本预测正确的个数，FP负样本预测错误的个数，TN负样本预测正确的个数，FN正样本预测错误的个数；
其中，P指Precision，R指Recall，F1指平衡F分数。
步骤5：使用深度学习框架随机生成一个(3,300,300)的张量，将其送入到步骤2得到的Our network framework网络模型中，计算FLOPs(用来衡量模型的复杂度)、参数量Params、以及模型推理时间Infer-time。
如图1所示，基于轻量化卷积神经网络和双注意力机制的滑坡识别的网络模型整体框架，Ournetwork framework模型整体由MBConv模块、Fused-MBConv模块以及PDC模块组成，首先使用Fused-MBConv模块和MBConv模块构建网络模型的主体框架，以此作为轻量化网络的主体部分，之后在每个MBConv模块后连接PDC模块，以提高网络的性能。
在本发明中主要使用MBConv模块进行轻量化，以降低网络模型的参数量、计算量，MBConv模块由一个1*1的升维卷积、一个3*3的深度可分离卷积、一个SE注意力机制以及一个1*1的降维卷积组成，并将MBConv模块的输入特征图与输出特征图进行跳跃连接。
由于MBConv模块在浅层使用，会导致训练速度变慢，因此在浅层网络中使用Fused-MBConv模块，以加快训练速度。该模块由一个3*3的升维卷积和1*1降维卷积组成，并将Fused-MBConv模块的输入特征图与输出特征图进行跳跃连接。
虽然卷积神经网络与Transformer相比，其需要训练的参数较少，但是其在空间感知上具有局部性，而全局空间感知对图像分类、语义分割等计算机视觉任务来说是至关重要的。Transformer虽然可以获得全局特征，但是在参数量上是重量级的。因此，如何将卷积神经网络与Transformer进行结合，构造出一个准确度高、轻量化的网络模型是具有研究意义的。为此，本发明设计了结合卷积神经网络与Transformer的轻量化网络模型Ournetwork framework，通过在轻量化卷积神经网络中加入PDC模块，提高滑坡识别的准确度。
PDC模块主要由一个用于调整特征图通道数的1*1卷积；一个PatchEmbed，将特征图转化为自注意力机制输入所需要的特征向量，即进行展平操作；双注意力机制模块，先使用空间维度的窗口多头自注意力机制，之后紧跟着使用通道组自注意力机制以感知全局信息；然后按照输入PatchEmbed之前特征图的尺寸，将特征向量转化为特征图；一个调整输出特征图通道数的1*1卷积组成；最后将输入PDC模块的特征图与PDC模块最后一个1*1卷积的输出特征图进行跳跃连接作为PDC模块的输出特征图。
以上即为对本发明轻量化网络模型各个模块的介绍。在Ournetwork framework网络模型中，网络结构如下：使用一个步长为2的3*3卷积进行下采样；循环使用Fused-MBConv模块，进行如下循环使用：步长为1的Fused-MBConv模块循环2次，步长为2、扩展因子为4的Fused-MBConv模块循环4次，步长为2、扩展因子为4的Fused-MBConv模块循环1次；使用步长为2、扩展因子为4的MBConv模块循环2次；步长为1的PDC模块循环2次；步长为2的MBConv模块、扩展因子为4的MBConv模块循环3次；步长为1的PDC模块循环3次；使用一个1*1的卷积、池化操作以及进行全连接操作。
本发明中构建的Our network framework网络模型，该网络模型由Fused-MBConv模块、MBConv模块和PDC模块组成，利用Fused-MBConv模块、MBConv模块设计出更加适用于滑坡识别的轻量化卷积神经网络，同时结合PDC模块中的双注意力机制以增加网络模型空间感知的全局性，以此来提高滑坡识别网络模型的性能。
具体来说，首先利用Fused-MBConv模块、MBConv模块设计出网络模型的主体框架，以此作为轻量化卷积神经网络的主体部分，使其在保证准确度的同时，降低网络的复杂度、运行时间以及参数量等。由于使用卷积神经网络作为网络模型框架的主干，其在空间感知上具有局部性，而通过的自注意力机制可以有效获得全局感知。因此，在本发明网络模型的主体框架中使用PDC模块来增加网络模型空间感知的全局性。在PDC模块中主要使用了双注意力机制模块，从空间维度和通道维度分别进行自注意力机制，实现全局建模，Ournetworkframework将卷积神经网络的优势和自注意力机制的优势结合起来，创建出一个轻量化的网络模型。
本发明还提供了一种基于轻量化卷积神经网络和双注意力的自动识别滑坡系统，包括：
移动翻转瓶颈卷积(Mobile invertedbottleneck convolution，MBConv)模块(见附图1)：该模块由1*1升维卷积、3*3深度可分离卷积、SE注意力机制以及1*1降维卷积组成，将MBConv模块的特征输入与特征输出进行跳跃连接，由于高维信息通过ReLU激活函数后丢失的信息更少，因此在该模块中使用倒残差结构，同时使用深度可分离卷积减少卷积计算所需要的参数个数。
融合移动翻转瓶颈卷积(Fused-MBConv)模块(见附图1)：该模块由3*3升维卷积和1*1降维卷积组成，并将Fused-MBConv模块的特征输入与特征输出进行跳跃连接，在浅层网络中应用，可以用于提高网络的训练速度，而且参数量和FLOPs的开销很小。
双注意力机制(Dual Attention)模块(见附图2)：该模块由空间维度的窗口多头自注意力机制和通道组的自注意力机制组成，从正交的角度处理问题，分别从空间维度和通道维度进行自注意力机制，通过此方法来提高自动识别滑坡网络模型的精度。
空间窗口多头自注意力机制(Spatial Window MultiheadSelf-attention)模块(见附图2)：双注意力机制模块中空间维度部分，利用空间维度信息完善局部特征。
通道组自注意力机制(Channel Group Self-attention)模块(见附图2)：双注意力机制模块中通道维度部分，利用通道维度信息捕捉全局的联系和特征。
PDC模块(见附图1)：该模块由1*1卷积、PatchEmded模块、双注意力机制、特征转换操作以及1*1卷积组成，并将输入特征图与最终输出特征图进行跳跃链接，对特征图进行调整，以适应双注意力机制模块的输入，并对双注意力机制模块的输出特征进行调整，以适应卷积神经网络层的输入。
实施例
使用两个轻量化网络模型MobileNetV3、ShuffleNetV2，近年来比较主流的EfficientNetV2网络模型以及近年来经典的卷积神经网络模型ResNet101和DenseNet169，两个近两年流行的transformer模型Vision transformer、Swin transformer，作为本发明的对比试验，使用步骤1.6的训练集和测试集作为训练、预测对比实验的数据集，将网络模型修改为对比实验的网络模型重复上述步骤3、4、5、6，得到对比实验的模型训练结果，对模型的优劣进行评价。
最终实验性能评估结果如表1所示，并在Accuracy、F1、Recall和Precision上对结果最好的评估值进行加粗标记。最终轻量化评估结果如表2所示。从表1可以看出本发明提出的Our networkframework在Accuracy、F1和Precision评估指标上均比其他实验结果好。
从表2可以看出，本发明所提出的Our network framework网络模型与轻量化网络模型相比，虽然在参数量、计算复杂度、推理时间和训练时间上略微偏高，但是评价网络性能的多项评价指标均优于MobileNetV3和ShuffleNetV2，尤其是在F1上，比MobileNetV3高6.98％，比ShuffleNetV2高5.53％。而且与其他经典卷积神经网络模型以及Transformer模型相比，Params、FLOPs、推理时间和运行时间上均低很多，并且在Accuracy、F1以及Precision评估指标上结果更好。其结果证明了本发明所提出Our network framework网络模型在滑坡识别上的有效性。
表1MobileNetV3、ShuffleNetV2、ResNet101、DenseNet169、Vision transformer、Swin transformer、EfficientNetV2以及Our networkframework在宁夏滑坡数据集上的评估指标
表2MobileNetV3、ShuffleNetV2、ResNet101、DenseNet169、Vision transformer、Swin transformer、EfficientNetV2以及Our networkframework网络模型的参数量FLOPs以及在毕节市滑坡数据集上的推理时间和运行时间
本发明中，如实验结果(表2)表明，该方法在性能、模型复杂度、模型参数数量和运行时间等方面均优于其他方法，本发明方法与轻量化的MobileNetV3和ShuffleNetV2相比，虽然在推理时间、参数量以及模型复杂度上偏高，但是性能更加优越，并且与其他经典网络和近几年新提出的Transformer相比，性能更好，推理时间、参数量以及模型复杂度更低，该方法不仅在已发生滑坡的数据集上有效，而且在滑坡隐患点数据集上仍然有效。
与现有的EfficientNetV2网络模型相比，本发明在滑坡自动识别上的F1、准确率、精确率、召回率上均有所提升，同时模型复杂度、参数量、推理时间、训练时间均有所降低，如表1、2所示，本发明在EfficientNetV2的基础上，提升了网络的训练速度和提升了网络的准确率。
本发明还提供了一种基于轻量化卷积神经网络和双注意力的自动识别滑坡设备，包括：
存储器：用于存储计算机程序；
处理器，用于执行所述计算机程序时实现所述的一种基于轻量化卷积神经网络和双注意力的自动识别滑坡方法。
本发明还提供了一种计算机可读存储介质，包括：
所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时能够实现一种基于轻量化卷积神经网络和双注意力的自动识别滑坡方法。
Claims (10)
1.一种基于轻量化卷积神经网络和双注意力的自动识别滑坡方法，其特征在于：包括以下步骤：
步骤1：对遥感影像进行预处理，获取滑坡遥感影像数据集；
步骤2：搭建Ournetworkframework网络模型；
步骤3：对Ournetworkframework网络模型进行迭代训练，最终保存训练效果最好轮次的权重；
步骤4：对步骤3训练好的网络模型进行预测，分别使用准确率Accuracy、平衡F分数F1、召回率Recall、精确率Precision作为评判网络性能的评价指标，评价网络的好坏；
步骤5：使用深度学习框架随机生成一个张量，将其送入到步骤2得到的Ournetworkframework网络模型中，计算FLOPs、参数量、以及模型推理时间，所述FLOPs代表用来衡量模型的复杂度。
2.根据权利要求1所述的一种基于轻量化卷积神经网络和双注意力的自动识别滑坡方法，其特征在于：所述步骤1的具体方法为：
步骤1.1：获取滑坡遥感影像数据集的正样本：将遥感影像按照滑坡规模进行裁剪，并向外扩充像素点作为背景，获得正样本；
步骤1.2：获取滑坡遥感影像数据集的负样本：将遥感影像以128或256或512尺寸的大小进行裁剪，删除所有包含正样本的数据，并挑选特殊场景作为负样本；
步骤1.3：将步骤1.1获取的正样本与步骤1.2获取的负样本按一定比例划分为训练集和测试集；
步骤1.4：将步骤1.3中得到的训练集按一定比例分别划分为新的训练集和验证集；
步骤1.5：对步骤1.4得到的新的训练集进行数据增强；
步骤1.6：将步骤1.3的测试集、步骤1.4中的验证集以及步骤1.5数据增强后的训练集的数据均调整为统一大小224*224或者300*300。
3.根据权利要求1所述的一种基于轻量化卷积神经网络和双注意力的自动识别滑坡方法，其特征在于：所述步骤2的具体方法为：
步骤2.1：利用深度学习框架分别构建Fused-MBConv模块、MBConv模块以及PDC模块；
步骤2.2：对步骤2.1构建的Fused-MBConv模块、MBConv模块以及PDC模块进行融合。
4.根据权利要求3所述的一种基于轻量化卷积神经网络和双注意力的自动识别滑坡方法，其特征在于：所述步骤2.1的具体方法为：所述Fused-MBConv模块包括一个3*3升维卷积以及一个1*1降维卷积，将Fused-MBConv模块的特征输入与特征输出进行跳跃连接；MBConv模块包括一个1*1升维卷积、一个3*3深度可分离卷积、一个SE注意力机制以及一个1*1降维卷积，将MBConv模块的特征输入与特征输出进行跳跃连接；PDC模块由1*1卷积、PatchEmded模块、双注意力机制、特征转换操作以及1*1卷积组成，并将输入特征图与最终输出特征图进行shortcut链接，使用PatchEmbed模块调整特征图通道的大小，并将特征图展平为适合DualAttentionBlock的特征向量；
所述步骤2.2的具体方法为：首先构建一个1*1的标准卷积层，将其输出特征图送入步长为1的Fused-MBConv模块中，该次使用不进行升维，Fused-MBConv模块循环两次，将其输出特征送入步长为2的Fused-MBConv模块中，进行是输入特征通道数4倍的升维，循环4次，将其输出特征送入步长为2的Fused-MBConv模块，进行是输入特征通道数4倍的升维，将其输出特征送入步长为2的MBConv模块，进行是输入特征通道数4倍的升维，循环2次，将其输出特征送入步长为1的PDC模块，循环2次，将其输出特征送入步长为2的MBConv模块，进行是输入特征通道数4倍的升维，循环3次，将其输出特征送入步长为1的PDC模块，循环3次，最终送入一个1*1卷积中，进行池化操作以及进行全连接操作，得到一个二分类的结果，完成网络模型构建。
5.根据权利要求1所述的一种基于轻量化卷积神经网络和双注意力的自动识别滑坡方法，其特征在于：所述步骤3的具体方法为：将步骤1.6中得到的训练集送入到步骤2搭建的Ournetwork framework网络模型中，对Ournetworkframework网络模型进行迭代训练，设置包括迭代轮次、批量大小以及学习率参数，进行网络训练并记录训练时间，接着将步骤1.6的验证集送入步骤2所搭建的Our networkframework网络模型中，验证模型效果，最后保存训练效果最好轮次的权重。
6.根据权利要求1所述的一种基于轻量化卷积神经网络和双注意力的自动识别滑坡方法，其特征在于：所述步骤4的具体方法为：将步骤1.6的测试集送入步骤3训练好的网络模型中进行预测，评价网络的好坏，分别使用准确率Accuracy、平衡F分数F1、召回率Recall、精确率Precision作为评判网络性能的评价指标，准确率Accuracy为分类正确的样本占样本总数的比例；召回率Recall代表实际的正样本中预测为正样本的概率；精确率Precision代表所有预测为正样本中实际为正样本的概率；Precision和Recall是一对矛盾的度量，Precision高时，Recall偏低；而Recall高时，Precision偏低；在需要兼顾Precision和Recall时，使用平衡F分数F1作为Precision和Recall的加权调和平均，以下为各个评价指标的计算公式：
其中TP表示正样本预测正确的个数，FP负样本预测错误的个数，TN负样本预测正确的个数，FN正样本预测错误的个数；
其中，P指Precision，R指Recall，F1指平衡F分数；
步骤5中所述张量的维度尺寸大小为步骤1中统一调整数据集尺寸大小之后影像的维度和大小。
7.根据权利要求2所述的一种基于轻量化卷积神经网络和双注意力的自动识别滑坡方法，其特征在于：所述步骤1.2中特殊场景包括：道路、耕地、湖泊、植被、云层遮挡、工厂、山脊、积雪覆盖的场景；所述步骤1.3中的训练集以及测试集按照6：4或8：2的比例划分；所述步骤1.4中所述的新的训练集以及验证集的比例范围为：7：3—9：1；所述步骤1.5中的数据增强包括：随机裁剪、随机旋转、叠加噪声。
8.一种基于轻量化卷积神经网络和双注意力的自动识别滑坡系统，其特征在于：包括：
移动翻转瓶颈卷积模块：该模块由1*1升维卷积、3*3深度可分离卷积、SE注意力机制以及1*1降维卷积组成，将MBConv模块的特征输入与特征输出进行跳跃连接，在该模块中使用倒残差结构，同时使用深度可分离卷积减少卷积计算所需要的参数个数，以达到网络模型轻量化的目的；
融合移动翻转瓶颈卷积模块：该模块由3*3升维卷积和1*1降维卷积组成，并将Fused-MBConv模块的特征输入与特征输出进行跳跃连接，在浅层网络中应用，用于提高网络的训练速度；
双注意力机制模块：该模块由空间维度的窗口多头自注意力机制和通道组的自注意力机制组成，从正交的角度处理问题，分别从空间维度和通道维度进行自注意力机制，用于提高自动识别滑坡网络模型的精度；
空间窗口多头自注意力机制模块：双注意力机制模块中空间维度部分，利用空间维度信息完善局部特征；
通道组自注意力机制模块：双注意力机制模块中通道维度部分，利用通道维度信息捕捉全局的联系和特征；
PDC模块：该模块由1*1卷积、PatchEmded模块、双注意力机制、特征转换操作以及1*1卷积组成，并将输入特征图与最终输出特征图进行跳跃链接，对输入特征图进行调整，以适应双注意力机制模块的输入，并对双注意力机制模块的输出特征进行调整，以适应卷积神经网络层的输入。
9.一种基于轻量化卷积神经网络和双注意力的自动识别滑坡设备，其特征在于，包括：
存储器：用于存储计算机程序；
处理器，用于执行所述计算机程序时实现所述的一种基于轻量化卷积神经网络和双注意力的自动识别滑坡方法。
10.一种计算机可读存储介质，其特征在于，包括：
所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时能够实现一种基于轻量化卷积神经网络和双注意力的自动识别滑坡方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310218039.XA CN116206214A (zh) | 2023-03-08 | 2023-03-08 | 一种基于轻量化卷积神经网络和双注意力的自动识别滑坡方法、系统、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310218039.XA CN116206214A (zh) | 2023-03-08 | 2023-03-08 | 一种基于轻量化卷积神经网络和双注意力的自动识别滑坡方法、系统、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116206214A true CN116206214A (zh) | 2023-06-02 |
Family
ID=86517131
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310218039.XA Pending CN116206214A (zh) | 2023-03-08 | 2023-03-08 | 一种基于轻量化卷积神经网络和双注意力的自动识别滑坡方法、系统、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116206214A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117274823A (zh) * | 2023-11-21 | 2023-12-22 | 成都理工大学 | 基于DEM特征增强的视觉Transformer滑坡识别方法 |
| CN118011514A (zh) * | 2024-04-10 | 2024-05-10 | 成都理工大学 | 一种应用于盆地基底界面起伏及密度的预测方法及系统 |
-
2023
- 2023-03-08 CN CN202310218039.XA patent/CN116206214A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117274823A (zh) * | 2023-11-21 | 2023-12-22 | 成都理工大学 | 基于DEM特征增强的视觉Transformer滑坡识别方法 |
| CN117274823B (zh) * | 2023-11-21 | 2024-01-26 | 成都理工大学 | 基于DEM特征增强的视觉Transformer滑坡识别方法 |
| CN118011514A (zh) * | 2024-04-10 | 2024-05-10 | 成都理工大学 | 一种应用于盆地基底界面起伏及密度的预测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111709902B (zh) | 基于自注意力机制的红外和可见光图像融合方法 | |
| CN113065558B (zh) | 一种结合注意力机制的轻量级小目标检测方法 | |
| CN110363716B (zh) | 一种基于条件生成对抗网络复合降质图像高质量重建方法 | |
| CN113688723A (zh) | 一种基于改进YOLOv5的红外图像行人目标检测方法 | |
| CN116206214A (zh) | 一种基于轻量化卷积神经网络和双注意力的自动识别滑坡方法、系统、设备及介质 | |
| Chen et al. | Remote sensing image quality evaluation based on deep support value learning networks | |
| CN112597815A (zh) | 一种基于Group-G0模型的合成孔径雷达图像舰船检测方法 | |
| CN114092697B (zh) | 注意力融合全局和局部深度特征的建筑立面语义分割方法 | |
| CN113569720B (zh) | 一种舰船检测方法、系统及装置 | |
| CN114255403A (zh) | 基于深度学习的光学遥感图像数据处理方法及系统 | |
| CN112149526B (zh) | 一种基于长距离信息融合的车道线检测方法及系统 | |
| CN109460815A (zh) | 一种单目视觉深度估计方法 | |
| CN116033279B (zh) | 一种夜晚监控相机的近红外图像彩色化方法、系统及设备 | |
| CN113989261A (zh) | 基于Unet改进的无人机视角下红外图像光伏板边界分割方法 | |
| CN115223017B (zh) | 一种基于深度可分离卷积的多尺度特征融合桥梁检测方法 | |
| CN117934375A (zh) | 一种增强图像特征融合的轻量化锂电池表面缺陷检测方法 | |
| CN115424091A (zh) | 一种基于SMCA-YOLOv5的轻量化军事目标检测方法 | |
| CN116523742A (zh) | 基于双路对抗生成网络的卫星遥感图像超分辨重建技术 | |
| Li et al. | An end-to-end system for unmanned aerial vehicle high-resolution remote sensing image haze removal algorithm using convolution neural network | |
| CN112818818B (zh) | 一种基于affpn的新型超高清遥感图像变化检测方法 | |
| CN117576149A (zh) | 一种基于注意力机制的单目标跟踪方法 | |
| CN117173595A (zh) | 基于改进YOLOv7的无人机航拍图像目标检测方法 | |
| Ma et al. | Generative Adversarial Differential Analysis for Infrared Small Target Detection | |
| Tan et al. | DBSwin: Transformer based dual branch network for single image deraining | |
| CN113361417B (zh) | 一种基于可变时序的人体行为识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |