CN116704357A - 基于YOLOv7的堤坝边坡滑坡智能识别与预警方法 - Google Patents

基于YOLOv7的堤坝边坡滑坡智能识别与预警方法 Download PDF

Info

Publication number
CN116704357A
CN116704357A CN202310995426.4A CN202310995426A CN116704357A CN 116704357 A CN116704357 A CN 116704357A CN 202310995426 A CN202310995426 A CN 202310995426A CN 116704357 A CN116704357 A CN 116704357A
Authority
CN
China
Prior art keywords
landslide
network
dam
yolov7
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310995426.4A
Other languages
English (en)
Other versions
CN116704357B (zh
Inventor
许小华
包学才
王海菁
汪忠喜
李德龙
周信文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Academy Of Water Resources Jiangxi Dam Safety Management Center Jiangxi Water Resources Management Center
Nanchang Institute of Technology
Original Assignee
Jiangxi Academy Of Water Resources Jiangxi Dam Safety Management Center Jiangxi Water Resources Management Center
Nanchang Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Academy Of Water Resources Jiangxi Dam Safety Management Center Jiangxi Water Resources Management Center, Nanchang Institute of Technology filed Critical Jiangxi Academy Of Water Resources Jiangxi Dam Safety Management Center Jiangxi Water Resources Management Center
Priority to CN202310995426.4A priority Critical patent/CN116704357B/zh
Publication of CN116704357A publication Critical patent/CN116704357A/zh
Application granted granted Critical
Publication of CN116704357B publication Critical patent/CN116704357B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/176Urban or other man-made structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/092Reinforcement learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A50/00TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE in human health protection, e.g. against extreme weather

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)

Abstract

本发明公开了基于YOLOv7的堤坝边坡滑坡智能识别与预警方法,包括以下步骤:收集堤坝边坡滑坡危害的图像数据,标注筛选后的图像数据;对图像数据进行预处理和对数据集进行划分,训练集送入到网络模型进行训练;验证集验证训练的结果且更新网络模型的权重文件,得到堤坝边坡滑坡检测模型的最优权重文件;对测试集进行高分辨率处理,之后对网络模型进行测试,评估性能。本发明的有益效果是:提升对堤坝边坡滑坡识别的精度,提高堤坝边坡滑坡识别与预警的自动化水平,可以自动识别和定位堤坝边坡滑坡出现的塌方、滑坡的危险情况,实现对堤坝边坡滑坡的实时监测和预警,提高水库边坡滑坡的安全性和稳定性。

Description

基于YOLOv7的堤坝边坡滑坡智能识别与预警方法
技术领域
本发明涉及一种计算机视觉目标检测领域,特别是涉及一种堤坝边坡滑坡危害识别预警的目标检测算法,具体为基于YOLOv7的堤坝边坡滑坡智能识别与预警方法。
背景技术
堤坝边坡滑坡监测技术是保障水库工程安全和防洪安全的重要基础,其主要目的是对堤坝边坡滑坡的稳定性进行监测和评估,及时发现和预警堤坝边坡滑坡上的危险情况,以提升水库大坝防洪安全的预警和管理水平。
近年来,计算机视觉和深度学习的快速发展为堤坝边坡滑坡识别提供了机遇,利用计算机视觉技术自动检测和识别出堤坝边坡滑坡类别,而传统的堤坝边坡滑坡识别方法通常依赖于人工巡查和巡检,存在效果不稳定、工作量大和适应性差等问题。为了克服这些限制,基于深度学习的堤坝边坡滑坡识别方法逐渐引起了研究者的关注,在深度学习领域,目标检测算法已经取得了显著的进展,其中YOLOv7(You Only Look Once)是一种经典且高效的目标检测算法,然而,由于堤坝边坡滑坡的特殊性和多样复杂性,传统YOLOv7在堤坝边坡滑坡目标检测中存在一定的局限性,如对于堤坝边坡滑坡这种大目标场景下的识别效果较差,容易出现误检和漏检的情况。
因此,本发明旨在基于YOLOv7的堤坝边坡滑坡智能识别与预警方法,提高堤坝边坡滑坡识别的准确性和效率。通过对YOLOv7进行优化和改进,结合堤坝边坡滑坡目标的特点和需求,设计和实现一种针对堤坝边坡滑坡智能识别与预警方法,该方法将充分利用深度学习的优势,并结合堤坝边坡滑坡识别的具体场景和需求,为保障水库工程安全和防洪安全提供一种高效、准确的堤坝边坡滑坡识别解决方案。
发明内容
本发明针对堤坝边坡滑坡识别问题提出了一种基于YOLOv7的堤坝边坡滑坡智能识别与预警方法,基于改进YOLOv7智能识别算法减少了参数量,提升对堤坝边坡滑坡识别的精度,提高堤坝边坡滑坡识别与预警的自动化水平,减少人工操作的工作量,可以自动识别和定位堤坝边坡滑坡出现的塌方、滑坡的危险情况,实现对堤坝边坡滑坡的实时监测和预警,提高水库堤坝边坡滑坡的安全性和稳定性。
为了实现上述目的,本发明采用以下技术方案:基于YOLOv7的堤坝边坡滑坡智能识别与预警方法,包括以下步骤:
基于YOLOv7的堤坝边坡滑坡智能识别与预警方法,包括以下步骤:
步骤S1,收集容易发生堤坝边坡滑坡危害的图像数据,清洗图像数据和筛选无效图像数据,接着对筛选后的图像数据进行标注;
步骤S2,对标注好的图像数据进行预处理操作得到堤坝边坡滑坡数据集,接着将标注好的堤坝边坡滑坡数据集按照训练集、验证集、测试集进行划分;
步骤S3,对YOLOv7网络模型进行改进,分为主干网络的改进、特征融合网络的改进和YOLOv7网络模型后处理的改进;
步骤S4,设置改进后的YOLOv7网络模型训练参数,将步骤2中的训练集送入到改进后的YOLOv7网络模型进行训练,验证集验证改进后的YOLOv7网络模型训练的结果并不断更新训练参数,得到最匹配堤坝边坡滑坡改进后的YOLOv7网络模型的最优权重文件;
步骤S5,利用图像高分辨率的生成对抗网络对步骤2中划分好的测试集进行高分辨率处理,接着对训练好的改进后的YOLOv7网络模型进行测试评估性能。
进一步的,步骤S1具体过程如下:
步骤S11,通过人工拍摄以及水库摄像头拍摄收集易发生堤坝边坡滑坡危害的图像数据,图像数据包括安全堤坝边坡滑坡、泥土滑落的堤坝边坡滑坡、碎石崩塌的堤坝边坡滑坡三类堤坝边坡滑坡图像数据,对堤坝边坡滑坡图像数据进行清洗,将有残缺分辨不出的堤坝边坡滑坡图像数据进行剔除,然后将筛选处理的图像数据进行统一编号处理;
步骤S12,使用目标检测标注工具(Labelimg)对堤坝边坡滑坡图像数据进行标注,生成VOC格式的标注文件,将VOC格式文件利用代码转换成YOLOv7网络模型适用的YOLO格式,其中YOLO格式文件包括图像数据所属目标的类别名称,目标真实框的中心坐标以及宽高。
进一步的,步骤S2对标注后的图像数据进行预处理操作,具体过程如下:
步骤S21,将堤坝边坡滑坡图像数据裁剪为不同大小的图片,以适应不同场景下所拍摄的图片;
步骤S22,使用深度学习框架(pytorch)中的旋转函数(transpose)旋转图像数据,以及亮度和饱和度调整函数(transforms.ColorJitter)调整图像数据,模拟昏暗场景增加堤坝边坡滑坡数据集的泛化性和增加堤坝边坡滑坡数据集;
步骤S23,对图像数据进行归一化和马赛克(Mosic)数据增强处理,增加堤坝边坡滑坡数据的多样性,丰富目标图像的背景,提高YOLOv7网络模型的算法对堤坝边坡滑坡灾害类别的识别能力;
步骤S24,将标注好的堤坝边坡滑坡数据集中的.xml标签文件和.jpg的图像文件按照8:1:1的比例划分训练集、验证集和测试集。
进一步的,步骤S3中主干网络的改进,具体过程如下:
步骤311,将主干网络中的基本卷积块与坐标注意力机制结合形成新的注意力卷积模块(CACBS);提高对图像数据特征的提取能力,减少语义和位置信息的丢失;
步骤312,将主干网络的下采样模块全部替换为只有核大小为2x2的最大池化模块(DP);不改变精度的前提下降低YOLOv7网络模型的参数量;
步骤313,将主干网络的高效聚合网络模块(ELAN)与新的注意力卷积模块进行结合得到创新的多分支堆叠模块(ELAN-W);这样的组合将进一步提升主干网络的性能和特征表达能力;
步骤314,增加主干网络层数,在主干网络的第50层之后加入最大池化模块(DP)和多分支堆叠模块(ELAN-W),因此,这样改进后的主干网络输出三个有效特征图,分别为第37层输出的维度为40x40x512、第50层输出的维度为20x20x1024和第64层输出的维度为10x10x2048的特征图,这种改进有利于提升对大目标的识别率。
进一步的,步骤S3中特征融合网络的改进,具体过程如下:
步骤321,在特征融合网络中,采用核大小为3x3,5x5,7x7,9x9,13x13的最大池化操作,同时与步骤311中的新的注意力卷积模块结合得到创新的空间金字塔池化模块(SPPCSPC-W);这样的池化策略可以提取不同尺度的特征。
步骤322,在特征融合网络中,将主干网络输出的第三个有效特征图经过上采样得到维度为10x10x1024的特征图,接着与主干网络的第50层经过新的注意力卷积模块输出的第二个有效特征图进行拼接,随后经过多分支堆叠模块(ELAN-W)与上采样得到第一个大小为40x40x256的特征图;
步骤323,在特征融合网络中,将主干网络第24层输出的大小为80x80x256特征图和第37层输出的大小为40x40x512特征图先经过新的注意力卷积模块处理,得到两个大小为40x40x128的特征图,然后进行拼接得到第二个大小为40x40x256的特征图,之后与步骤322中的40x40x256的特征图进行拼接得到大小为40x40x512的特征图,这些改进进一步提升了特征融合网络的性能,以提高目标检测任务的精度和准确性。
进一步的,步骤S3中YOLOv7网络模型后处理的改进,具体过程如下:
步骤331,加入基于二分类交叉熵(CE),通过一个动态缩放因子去降低训练过程中易区分样本的权重,从而将重心快速聚焦在难区分样本的聚焦损失函数(Focal Loss)来计算分类损失,使模型训练过程中专注于高质量的锚框;
步骤332,在完整回归损失函数(CIoU)的惩罚项基础之上,采用将纵横比的影响因子拆开,分别计算目标框和预测框的长和宽的高精度回归损失函数(EIoU Loss)来计算定位损失,该定位损失包含三个部分:重叠损失、中心距离损失、宽高损失,其中宽高损失直接使目标框与预测框的宽度和高度之差最小,使得收敛速度更快。
进一步的,步骤S4中改进后的YOLOv7网络模型进行训练,具体过程如下:
步骤S41,将步骤2中的训练集送入到改进后的YOLOv7网络模型进行训练,其中类别变量存放堤坝边坡滑坡危害类别,堤坝边坡滑坡危害类别有三个分类, 即安全堤坝边坡滑坡危害类别、泥土滑落的堤坝边坡滑坡危害类别、碎石崩塌的堤坝边坡滑坡危害类别;
步骤S42,将步骤2中的验证集验证训练结果并通过反向传播不断调整改进后的YOLOv7网络模型训练的参数从而选择最优的权重文件,当整体损失值达到最小时且收敛的情况下,此时改进后的YOLOv7网络模型的权重是最优的。
进一步的,步骤S5中对训练好的改进后的YOLOv7网络模型进行测试,具体过程如下:
步骤S51,利用图像高分辨率生成对抗网络将步骤2中的测试集进行处理,将低分辨率图像转换为高分辨率图像,提高检测效果,其中图像高分辨率生成对抗网络包含生成器和判别器,生成器使用深度卷积神经网络负责将低分辨率的图像转换成高分辨率的图像,判别器利用多个卷积层、反卷积以及残差块组成的深度神经网络去判断输入的图像是真实的高分辨率图像还是生成器生成的图像,两者通过对抗学习进行互相优化,直到达到平衡状态,从而使得图像高分辨率生成对抗网络能够生成更加真实、细节丰富的高分辨率图像;
步骤S52,将步骤S51处理之后的测试集对训练好的改进后的YOLOv7网络模型进行测试,计算预测正样本占所有预测正确的概率即精度、预测正样本占正确预测正样本和正确预测负样本的比例即召回率、精度和召回率的调和平均数F1指标和类别的平均精度mAP,以此来评价模型的性能。
本发明的有益效果:(1)本发明改进YOLOv7网络模型的主干网络,增加了网络层数,进一步增强了网络提取的语义信息的能力,得到了更大感受野的特征图,使得YOLOv7网络模型对于堤坝边坡滑坡目标的识别更加精准;
(2)将坐标注意力机制与基本卷积块结合形成注意力卷积模块,能够有效地捕捉序列元素之间地位置关系,并且将注意力机制与高效聚合网络结合,增强堤坝对边坡滑坡图像的特征提取能力,并且坐标注意力机制在计算复杂度上具有线性增长的趋势,且不受序列长度的限制,提高了YOLOv7网络模型的计算效率、解释性和适用性,避免了深层次网络对位置信息不敏感的缺陷;
(3)改进特征融合网络部分,加入不同核大小的池化操作形成创新的空间金字塔模块(SPPCSPC-W),这样的池化策略可以提取不同尺度的特征,提高YOLOv7网络模型的感受野和特征表达能力,同时将主干网络第24层输出的80x80大小特征图和第37层输出的40x40特征图在融合网络部分进行拼接,获取更多的特征信息,减少深层次网络位置信息的丢失,同时这些改进进一步提升了特征融合网络的性能,以提高目标检测任务的精度和准确性;
(4)在YOLOv7网络模型的后处理阶段采用聚焦损失函数(Focal Loss)计算分类损失值,采用高精度回归损失函数(EIoU Loss)计算定位损失值,其中聚焦损失函数通过调节难易样本的权重,对易分样本进行减弱,使得YOLOv7网络模型更加关注困难样本,这样可以改善类别不平衡问题,提高模型对少数类别的分类性能;有助于防止模型过渡拟合易分类样本,提高模型的泛化能力,并且通过降低易分类样本的权重可以在一定程度上平衡精确度和召回率,提高YOLOv7网络模型的整体性能;
(5)高精度回归损失函数(EIoU Loss)通过优化目标边界框的位置和大小来提高目标定位的准确性,相比传统的回归(IoU),高精度回归(EIoU)在计算目标匹配程度时考虑了边界框之间的外观相似性和空间位置关系,能够更好的处理遮挡、形变、尺度变化等情况,使YOLOv7网络模型具有更强的鲁棒性,并且在优化过程中,通过引入逐像素权重、尺度不变性和对抗损失等技巧,使得模型更容易收敛并避免过拟合,提高模型在目标定位任务中的表现。
附图说明
图1为本发明的基于YOLOv7的堤坝边坡滑坡智能识别与预警方法的流程图;
图2为本发明的基于YOLOv7的堤坝边坡滑坡智能识别与预警方法的网络框架图;
图3为本发明的基于YOLOv7的堤坝边坡滑坡智能识别与预警方法改进的多分支堆叠模块结构图;
图4为本发明的基于YOLOv7的堤坝边坡滑坡智能识别与预警方法改进的空间金字塔池化模块结构图;
图5为本发明的基于YOLOv7的堤坝边坡滑坡智能识别与预警方法对测试集进行高分辨率处理的图像高分辨率的生成对抗网络结构图。
具体实施方式
为使本发明的目的、技术方案和有效改进点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚的描述,显然,所描述的实施例是本发明一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明采用以下技术方案:本发明采用以下技术方案:基于YOLOv7的堤坝边坡滑坡智能识别与预警方法,包括以下步骤:
步骤S1,收集容易发生堤坝边坡滑坡危害的图像数据,清洗图像数据和筛选无效图像数据,接着对筛选后的图像数据进行标注;
步骤S2,对标注好的图像数据进行预处理操作得到堤坝边坡滑坡数据集,增加堤坝边坡滑坡数据集的泛化性,接着将标注好的堤坝边坡滑坡数据集按照训练集:验证集:测试集进行划分;
步骤S3,对YOLOv7网络模型进行改进,分别为主干网络的改进、特征融合网络的改进和YOLOv7网络模型后处理的改进;
步骤S4,设置改进后的YOLOv7网络模型训练参数,将步骤2中的训练集送入到改进后的YOLOv7网络模型进行训练,验证集验证改进后的YOLOv7网络模型训练的结果并不断更新训练参数,得到最匹配堤坝边坡滑坡改进后的YOLOv7网络模型的最优权重文件;
步骤S5,利用图像高分辨率的生成对抗网络,具体结构如图5所示,对步骤2中划分好的测试集进行高分辨率处理,接着对训练好的改进后的YOLOv7网络模型进行测试评估性能。
为了增强对堤坝边坡滑坡类别的识别性能,如图2所示,本发明实施例提供一种基于改进的YOLOv7的堤坝边坡滑坡目标识别算法模型,具体改进有:
1)提出的主干网络的改进:
步骤311,将主干网络中的基本卷积块与坐标注意力机制结合形成新的注意力卷积模块(CACBS);提高对图像数据特征的提取能力,减少语义和位置信息的丢失;
步骤312,将主干网络的下采样模块全部替换为只有核大小为2x2的最大池化模块(DP);不改变精度的前提下降低YOLOv7网络模型的参数量;
步骤313,将主干网络的高效聚合网络模块(ELAN)与新的注意力卷积模块进行结合得到创新的多分支堆叠模块(ELAN-W);这样的组合将进一步提升主干网络的性能和特征表达能力。
步骤314,增加主干网络层数,在主干网络的第50层之后加入最大池化模块(DP)和多分支堆叠模块(ELAN-W),因此,这样改进后的主干网络输出三个有效特征图,分别为第37层输出的维度大小为40x40x512、第50层输出的维度大小为20x20x1024和第64层输出的维度大小为10x10x2048,这种改进有利于提升对大目标的识别率。
2)提出的特征融合网络的改进:
步骤321,在特征融合网络中,采用核大小为3x3,5x5,7x7,9x9,13x13的最大池化操作,同时与步骤311中的新的注意力卷积模块结合得到创新的空间金字塔池化模块(SPPCSPC-W);这样的池化策略可以提取不同尺度的特征,提高YOLOv7网络模型的感受野和特征表达能力。
步骤322,在特征融合网络中,将主干网络输出的第三个有效特征图经过上采样得到维度大小为10x10x1024的特征图,接着与主干网络的第50层经过新的注意力卷积模块输出的第二个有效特征图进行拼接操作,随后经过多分支堆叠模块(ELAN-W)与上采样得到第一个大小为40x40x256的特征图;
步骤323,在特征融合网络中,将主干网络第24层输出的大小为80x80x256特征图和第37层输出的大小为40x40x512特征图先经过新的注意力卷积模块处理,得到两个大小为40x40x128的特征图,接着进行拼接得到第二个大小为40x40x256的特征图,之后与步骤322中的40x40x256的特征图进行拼接得到大小为40x40x512的特征图;不仅能够注意到位置信息,而且提取的语义信息也更加丰富,同时这些改进进一步提升了特征融合网络的性能,以提高目标检测任务的精度和准确性。
3)提出的网络模型后处理的改进:
加入基于二分类交叉熵,通过一个动态缩放因子去降低训练过程中易区分样本的权重,从而将重心快速聚焦到那些难以区分的样本聚焦损失函数(Focal Loss),采用完整回归损失函数(CIoU Loss)惩罚项基础之上将纵横比的影响因子拆开分别计算目标框和预测框的长和宽的高精度回归损失函数(EIoU Loss),高精度回归损失函数包含三个部分:重叠损失、中心距离损失、宽高损失,其中宽高损失直接使目标框与预测框的宽度和高度之差最小,使得收敛速度更快,其中聚焦损失函数Focal_Loss计算分类损失,高精度回归损失函数EIoU Loss计算定位损失,一方面优化了边界框回归任务中的样本不平衡问题,使模型训练过程中专注于高质量的锚框,同时也加速了收敛,提高了回归的精度。
作为一种可实施的方式,为了提取更多的语义和位置信息的特征图以及YOLOv7模型提高对堤坝边坡滑坡这种大目标的识别效率,采用只有2x2大小的最大池化模块DP和创新性的多分支堆叠模块ELAN-W,如下图3所示,多分支堆叠模块包含多条分支,第一个分支和第二个分支都是先进行3x3步长为2的卷积操作,接着第二个分支进行4个3x3步长为1的卷积操作,然后将第一个分支与第二个分支后面第二个和第四个卷积之后的结果进行拼接,接着与注意力卷积块拼接,因此得到主干网络的三个有效特征图维度分别为(40,40,512)、(20,20,1024)、(10,10,2048)。
而结合坐标注意力机制形成的卷积模块,如图3所示,替换三个有效特征图进入特征融合网络部分前的卷积模块,不仅能够有效提取图像特征,而且更加关注到位置坐标信息,其中坐标注意力机制可以对深度学习网络模型中的任意中间特征张量进行转化后输出同样尺寸的张量,为了获取宽度和高度上的注意力并对精确位置进行编码,以主干网络输出的第三个有效特征图维度大小为10x10x2048为例,先将该特征图分为宽度和高度两个方向,根据如下公式(1)和公式(2)进行全局平均池化,分别得到宽度方向的特征图维度大小为(2048,10,1),高度方向的特征图维度大小为(2048,1,10)。
(1);
(2);
其中,代表宽度为w的第c个通道的输出,/>代表高度为h的第c个通道的输出,代表输入卷积核大小为/>的卷积层,/>代表输入卷积核大小为的卷积层,w表示特征图的宽度,h表示特征图的高度。
接着将宽度方向和高度方向的维度上进行拼接,然后通过1x1共享卷积调整通道维数,得到宽度方向和高度方向对空间信息进行编码的中间特征映射,接着经过归一化和线性层,之后再用如下公式(3)和公式(4),即两个1x1卷积变换分别对宽度方向和高度方向映射张量进行处理,接着通过一个激活函数得到宽度和高度方向的注意力权重;
(3);
(4);
其中,宽度方向的注意力权重,/>高度方向的注意力权重,/>为Sigmoid激活函数,/>和/>分别为宽度和高度两个方向的1x1卷积变换,/>和/>分别为宽度和高度方向的映射张量。
最后在原始特征图10x10x2048上通过乘法加权计算如下公式(5)所示,将得到最终在宽度和高度方向上带有注意力权重的特征图维度大小仍然为10x10x2048;
(5);
其中, 代表输入卷积核大小为/>的卷积层且具有宽度和高度方向的注意力权重特征图,/>代表输入卷积核大小为/>的卷积层,/>和/>分别代表在第c个通道上卷积核大小为/>的宽度和高度方向的注意力权重值。
作为一种可实施的方式,将划分好的训练集数据送入到改进之后的YOLOv7网络模型中进行训练,通过验证集验证训练的结果不断反向传播调整训练参数,从而更新模型的权重文件,当损失值达到最小且收敛的情况下,得到最匹配堤坝边坡滑坡检测算法的最优权重文件,接着使用图像高分辨率的生成对抗网络对划分好的测试集进行高分辨率处理,之后对训练好的模型进行测试,计算预测正样本占所有预测正确的概率即精度、预测正样本占正确预测正样本和正确预测负样本的比例即召回率、精度和召回率的调和平均数F1指标和每个类别的平均精度,以此来对模型的性能进行评估;如下公式(6)、公式(7)、公式(8)和公式(9)。
(1)精确率(Precision),即模型给出的所有正样本中,正确预测的结果所占比例:
(6);
(2)召回率(Recall),即模型给出的所有预测结果中,正确预测的结果所占比例:
(7);
(3)F1指标(F1-score),取值范围为0到1,值越接近1表示模型的性能越好,F1指标的计算即将精确率和召回率进行加权平均,使得模型在预测正样本和负样本时都能取得较好的表现;
(8);
(4)mAP(mean Average Precision),即类别的平均精度
(9);
其中,AP为不同召回率下的精度的平均值,为类别的总数。
通过测试所得mAP计算,本发明与原YOLOv7算法作对比,对于安全堤坝边坡滑坡slide的识别mAP值提高了6.6%,对于泥土滑落堤坝边坡滑坡landslide的识别mAP值提高了12.2%,对于碎石崩塌的堤坝边坡滑坡gravel-collapse的识别mAP值提高了4.4%,整体堤坝边坡滑坡的识别mAP值提高了7.7%,F1指标值提高了3%,达到了79%,因此本发明提出的网络模型在堤坝边坡滑坡数据集上的表现对于各类堤坝边坡滑坡识别精度均有一定程度的提升。
以上实施例仅用以说明发明的技术方案,而非对其限制,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行同等替换,而这些修改或替换,并不使相应技术方案的本质脱离本发明。

Claims (8)

1.基于YOLOv7的堤坝边坡滑坡智能识别与预警方法,其特征在于:包括以下步骤:
步骤S1,收集容易发生堤坝边坡滑坡危害的图像数据,清洗图像数据和筛选无效图像数据,接着对筛选后的图像数据进行标注;
步骤S2,对标注好的图像数据进行预处理操作得到堤坝边坡滑坡数据集,接着将标注好的堤坝边坡滑坡数据集按照训练集、验证集、测试集进行划分;
步骤S3,对YOLOv7网络模型进行改进,分为主干网络的改进、特征融合网络的改进和YOLOv7网络模型后处理的改进;
步骤S4,设置改进后的YOLOv7网络模型训练参数,将步骤2中的训练集送入到改进后的YOLOv7网络模型进行训练,验证集验证改进后的YOLOv7网络模型训练的结果并不断更新训练参数,得到最匹配堤坝边坡滑坡改进后的YOLOv7网络模型的最优权重文件;
步骤S5,利用图像高分辨率的生成对抗网络对步骤2中划分好的测试集进行高分辨率处理,接着对训练好的改进后的YOLOv7网络模型进行测试评估性能。
2.根据权利要求1所述的基于YOLOv7的堤坝边坡滑坡智能识别与预警方法,其特征在于:步骤S1具体过程如下:
步骤S11,通过人工拍摄以及水库摄像头拍摄收集易发生堤坝边坡滑坡危害的图像数据,图像数据包括安全堤坝边坡滑坡、泥土滑落的堤坝边坡滑坡、碎石崩塌的堤坝边坡滑坡三类堤坝边坡滑坡图像数据,对堤坝边坡滑坡图像数据进行清洗,将有残缺分辨不出的堤坝边坡滑坡图像数据进行剔除,然后将筛选处理的图像数据进行统一编号处理;
步骤S12,使用目标检测标注工具对堤坝边坡滑坡图像数据进行标注,生成VOC格式的标注文件,将VOC格式文件利用代码转换成YOLOv7网络模型适用的YOLO格式,其中YOLO格式文件包括图像数据所属目标的类别名称,目标真实框的中心坐标以及宽高。
3.根据权利要求1所述的基于YOLOv7的堤坝边坡滑坡智能识别与预警方法,其特征在于:步骤S2对标注后的图像数据进行预处理操作,具体过程如下:
步骤S21,将堤坝边坡滑坡图像数据裁剪为不同大小的图片,以适应不同场景下所拍摄的图片;
步骤S22,使用深度学习框架中的旋转函数旋转图像数据,以及亮度和饱和度调整函数调整图像数据,模拟昏暗场景增加堤坝边坡滑坡数据集的泛化性和增加堤坝边坡滑坡数据集;
步骤S23,对图像数据进行归一化和马赛克数据增强处理,增加堤坝边坡滑坡数据的多样性,丰富目标图像的背景,提高YOLOv7网络模型的对堤坝边坡滑坡灾害类别的识别能力;
步骤S24,将标注好的堤坝边坡滑坡数据集中的.xml标签文件和.jpg的图像文件按照8:1:1的比例划分训练集、验证集和测试集。
4.根据权利要求3所述的基于YOLOv7的堤坝边坡滑坡智能识别与预警方法,其特征在于:步骤S3中主干网络的改进,具体过程如下:
步骤311,将主干网络中的基本卷积块与坐标注意力机制结合形成新的注意力卷积模块;
步骤312,将主干网络的下采样模块全部替换为只有核大小为2x2的最大池化模块,降低YOLOv7网络模型的参数量;
步骤313,将主干网络的高效聚合网络模块与新的注意力卷积模块进行结合得到多分支堆叠模块;
步骤314,增加主干网络层数,在主干网络的第50层之后加入最大池化模块和多分支堆叠模块,输出有利于提升大目标识别率的第三个有效特征图,维度大小为10x10x2048。
5.根据权利要求4所述的基于YOLOv7的堤坝边坡滑坡智能识别与预警方法,其特征在于:步骤S3中特征融合网络的改进,具体过程如下:
步骤321,在特征融合网络中,采用核大小为3x3,5x5,7x7,9x9,13x13的最大池化操作,同时与步骤311中的新的注意力卷积模块结合得到空间金字塔池化模块;
步骤322,在特征融合网络中,将主干网络输出的第三个有效特征图进行上采样得到维度大小为10x10x1024的特征图,接着与主干网络的第50层经过新的注意力卷积模块输出的第二个有效特征图进行拼接操作,随后经过多分支堆叠模块与上采样得到第一个大小为40x40x256的特征图;
步骤323,在特征融合网络中,将主干网络第24层输出的大小为80x80x256特征图和第37层输出的大小为40x40x512特征图先经过新的注意力卷积模块处理,得到两个大小为40x40x128的特征图,接着进行拼接得到第二个大小为40x40x256的特征图,之后与步骤322中的40x40x256的特征图进行拼接得到大小为40x40x512的特征图。
6.根据权利要求5所述的基于YOLOv7的堤坝边坡滑坡智能识别与预警方法,其特征在于:步骤S3中YOLOv7网络模型后处理的改进,具体过程如下:
步骤331,加入基于二分类交叉熵,通过一个动态缩放因子去降低训练过程中易区分样本的权重,将重心聚焦在难区分样本的聚焦损失函数来计算分类损失;
步骤332,在完整回归损失函数的惩罚项基础上,采用将纵横比的影响因子拆开,分别计算目标框和预测框的长和宽的高精度回归损失函数来计算定位损失,该定位损失包含三个部分:重叠损失、中心距离损失、宽高损失,其中宽高损失直接使目标框与预测框的宽度和高度之差最小,使得收敛速度更快。
7.根据权利要求6所述的基于YOLOv7的堤坝边坡滑坡智能识别与预警方法,其特征在于:步骤S4中改进后的YOLOv7网络模型进行训练,具体过程如下:
步骤S41,将步骤2中的训练集送入到改进后的YOLOv7网络模型进行训练,其中类别变量存放堤坝边坡滑坡危害类别;
步骤S42,将步骤2中的验证集验证训练结果并通过反向传播不断调整改进后的YOLOv7网络模型训练的参数从而选择最优的权重文件,当整体损失值达到最小时且收敛的情况下,此时改进后的YOLOv7网络模型的权重是最优的。
8.根据权利要求7所述的基于YOLOv7的堤坝边坡滑坡智能识别与预警方法,其特征在于:步骤S5中对训练好的改进后的YOLOv7网络模型进行测试,具体过程如下:
步骤S51,利用图像高分辨率生成对抗网络将步骤2中的测试集进行处理,将低分辨率图像转换为高分辨率图像;其中图像高分辨率生成对抗网络包含生成器和判别器,生成器使用深度卷积神经网络负责将低分辨率的图像转换成高分辨率的图像,判别器利用多个卷积层、反卷积以及残差块组成的深度神经网络去判断输入的图像是真实的高分辨率图像还是生成器生成的图像;两者通过对抗学习进行互相优化,达到平衡状态;
步骤S52,将步骤S51处理之后的测试集对训练好的改进后的YOLOv7网络模型进行测试,计算预测正样本占所有预测正确的概率即精度、预测正样本占正确预测正样本和正确预测负样本的比例即召回率、精度和召回率的调和平均数F1指标和类别的平均精度,以此来评价模型的性能。
CN202310995426.4A 2023-08-09 2023-08-09 基于YOLOv7的堤坝边坡滑坡智能识别与预警方法 Active CN116704357B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310995426.4A CN116704357B (zh) 2023-08-09 2023-08-09 基于YOLOv7的堤坝边坡滑坡智能识别与预警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310995426.4A CN116704357B (zh) 2023-08-09 2023-08-09 基于YOLOv7的堤坝边坡滑坡智能识别与预警方法

Publications (2)

Publication Number Publication Date
CN116704357A true CN116704357A (zh) 2023-09-05
CN116704357B CN116704357B (zh) 2023-10-27

Family

ID=87831637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310995426.4A Active CN116704357B (zh) 2023-08-09 2023-08-09 基于YOLOv7的堤坝边坡滑坡智能识别与预警方法

Country Status (1)

Country Link
CN (1) CN116704357B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173069A (zh) * 2023-11-01 2023-12-05 湖北工业大学 一种边坡结构面点云数据补全方法
CN117454724A (zh) * 2023-12-25 2024-01-26 南昌工程学院 一种通过cfd确定护城河式防洪堤坝几何参数的方法
CN117636266A (zh) * 2024-01-25 2024-03-01 华东交通大学 一种工人安全行为检测方法、系统、存储介质及电子设备
CN118334526A (zh) * 2024-06-12 2024-07-12 广东华南水电高新技术开发有限公司 一种基于改进Yolov8模型的堤防损坏识别方法
CN118570684A (zh) * 2024-08-02 2024-08-30 中南大学 基于摄影测量和目标检测模型的边坡表观病害检测方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200143155A (ko) * 2019-06-14 2020-12-23 주식회사 한국건설방재연구원 산사태 발생지역의 실시간 모니터링방법
CN115035354A (zh) * 2022-08-12 2022-09-09 江西省水利科学院 基于改进yolox的水库水面漂浮物目标检测方法
CN115273403A (zh) * 2022-06-07 2022-11-01 福建永强岩土股份有限公司 一种滑坡监测预警方法及系统
US11521377B1 (en) * 2021-10-26 2022-12-06 Nanjing University Of Information Sci. & Tech. Landslide recognition method based on laplacian pyramid remote sensing image fusion
CN115457407A (zh) * 2022-09-29 2022-12-09 云南大学 一种基于YoloV4算法的滑坡及形态识别方法
CN115761513A (zh) * 2022-12-09 2023-03-07 西南交通大学 一种半监督深度学习的山区大型滑坡智能遥感识别方法
CN115761297A (zh) * 2022-08-27 2023-03-07 郑州大学 一种基于边缘引导的注意神经网络自动识别滑坡的方法
KR102550707B1 (ko) * 2022-10-12 2023-06-30 부경대학교 산학협력단 딥러닝 기반 경사지 균열 감지 방법과 이를 이용한 산사태 조기 감지 방법 및 그 장치
CN116543308A (zh) * 2023-05-22 2023-08-04 成都理工大学 一种基于多模型融合的滑坡检测预警模型及预警方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200143155A (ko) * 2019-06-14 2020-12-23 주식회사 한국건설방재연구원 산사태 발생지역의 실시간 모니터링방법
US11521377B1 (en) * 2021-10-26 2022-12-06 Nanjing University Of Information Sci. & Tech. Landslide recognition method based on laplacian pyramid remote sensing image fusion
CN115273403A (zh) * 2022-06-07 2022-11-01 福建永强岩土股份有限公司 一种滑坡监测预警方法及系统
CN115035354A (zh) * 2022-08-12 2022-09-09 江西省水利科学院 基于改进yolox的水库水面漂浮物目标检测方法
CN115761297A (zh) * 2022-08-27 2023-03-07 郑州大学 一种基于边缘引导的注意神经网络自动识别滑坡的方法
CN115457407A (zh) * 2022-09-29 2022-12-09 云南大学 一种基于YoloV4算法的滑坡及形态识别方法
KR102550707B1 (ko) * 2022-10-12 2023-06-30 부경대학교 산학협력단 딥러닝 기반 경사지 균열 감지 방법과 이를 이용한 산사태 조기 감지 방법 및 그 장치
CN115761513A (zh) * 2022-12-09 2023-03-07 西南交通大学 一种半监督深度学习的山区大型滑坡智能遥感识别方法
CN116543308A (zh) * 2023-05-22 2023-08-04 成都理工大学 一种基于多模型融合的滑坡检测预警模型及预警方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BO YU等: "HADeenNet: A hierarchical-attention multi-scale deconvolution network for landslide detection", INTERNATIONAL JOURNAL OF APPLIED EARTH OBSERVATION AND GEOINFORMATION, vol. 111 *
蔡文红等: "一种改进的极限学习机滑坡预测模型", 数据通信, no. 04 *
陈善静等: "基于多源遥感时空谱特征融合的滑坡灾害检测方法", 计算机研究与发展, no. 09 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173069A (zh) * 2023-11-01 2023-12-05 湖北工业大学 一种边坡结构面点云数据补全方法
CN117454724A (zh) * 2023-12-25 2024-01-26 南昌工程学院 一种通过cfd确定护城河式防洪堤坝几何参数的方法
CN117454724B (zh) * 2023-12-25 2024-03-19 南昌工程学院 一种通过cfd确定护城河式防洪堤坝几何参数的方法
CN117636266A (zh) * 2024-01-25 2024-03-01 华东交通大学 一种工人安全行为检测方法、系统、存储介质及电子设备
CN117636266B (zh) * 2024-01-25 2024-05-14 华东交通大学 一种工人安全行为检测方法、系统、存储介质及电子设备
CN118334526A (zh) * 2024-06-12 2024-07-12 广东华南水电高新技术开发有限公司 一种基于改进Yolov8模型的堤防损坏识别方法
CN118570684A (zh) * 2024-08-02 2024-08-30 中南大学 基于摄影测量和目标检测模型的边坡表观病害检测方法

Also Published As

Publication number Publication date
CN116704357B (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
CN116704357B (zh) 基于YOLOv7的堤坝边坡滑坡智能识别与预警方法
CN111950453B (zh) 一种基于选择性注意力机制的任意形状文本识别方法
CN115331087A (zh) 融合区域语义与像素特征的遥感影像变化检测方法及系统
CN112150493A (zh) 一种基于语义指导的自然场景下屏幕区域检测方法
CN114359130A (zh) 一种基于无人机影像的道路裂缝检测方法
Fan et al. A novel sonar target detection and classification algorithm
CN116665176A (zh) 一种面向车辆自动驾驶的多任务网络道路目标检测方法
CN113901874A (zh) 一种基于改进R3Det旋转目标检测算法的茶叶嫩芽识别与采摘点定位方法
CN117437201A (zh) 一种基于改进YOLOv7的道路裂缝检测方法
CN116524189A (zh) 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法
Fang et al. Differentiated attention guided network over hierarchical and aggregated features for intelligent uav surveillance
CN117671500A (zh) 一种基于改进的YOLOv7芒果病叶检测识别方法
CN112215100A (zh) 一种不平衡训练样本下针对退化图像的目标检测方法
CN116168240A (zh) 基于注意力增强的任意方向密集舰船目标检测方法
CN117974969A (zh) 基于改进的YOLOv7草莓病叶检测识别方法
CN114926826A (zh) 场景文本检测系统
CN113361496B (zh) 一种基于U-Net的城市建成区统计方法
CN118212572A (zh) 一种基于改进YOLOv7的道路损坏检测方法
CN116912675B (zh) 一种基于特征迁移的水下目标检测方法及系统
CN116206248B (zh) 一种基于机器学习引导深度学习的目标检测方法
CN116229228A (zh) 基于中心环绕机制的小目标检测方法
Fang SSD-based Lightweight Recyclable Garbage Target Detection Algorithm
CN117237920A (zh) 一种基于改进yolop的道路环境感知系统及其算法
Song et al. Road marking detection from UAV perspective based on improved YOLOv3
CN118351109A (zh) 一种改进型钢表面缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant