CN116433580A - 一种基于智能无人机的大坝裂缝检测方法 - Google Patents

一种基于智能无人机的大坝裂缝检测方法 Download PDF

Info

Publication number
CN116433580A
CN116433580A CN202310098296.4A CN202310098296A CN116433580A CN 116433580 A CN116433580 A CN 116433580A CN 202310098296 A CN202310098296 A CN 202310098296A CN 116433580 A CN116433580 A CN 116433580A
Authority
CN
China
Prior art keywords
dam
aerial vehicle
unmanned aerial
crack
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310098296.4A
Other languages
English (en)
Inventor
李健源
卢晓春
张萍
李青泉
陈雷
刘晓
双宁
王思桐
王颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Three Gorges University CTGU
Original Assignee
China Three Gorges University CTGU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Three Gorges University CTGU filed Critical China Three Gorges University CTGU
Priority to CN202310098296.4A priority Critical patent/CN116433580A/zh
Publication of CN116433580A publication Critical patent/CN116433580A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Remote Sensing (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明提供一种基于智能无人机的大坝裂缝检测方法，包括如下步骤：一、数据集构建：利用无人机对大坝表面拍摄工程真实情况下裂缝图片或录制视频，将拍摄到的视频进行分帧得到裂缝图像，获得数据集；二、大坝裂缝检测模型构建；三、大坝裂缝检测模型权重转化；四、计算处理器边缘部署：在一台主机实现计算处理器的镜像烧录，再将步骤三处理后的模型进行迁移部署；五、无人机大坝表面裂缝检测：将计算处理器搭载在智能无人机上，智能无人机航拍过程中，将拍摄到的视频图像直接输入至经过部署后的计算处理器中进行处理，通过GE‑YOLOv5检测出大坝表面裂缝。该检测方法通过对YOLOv5进行了修改，提高裂缝检测的准确率和效率，能够实现实时检测。

Description

一种基于智能无人机的大坝裂缝检测方法
技术领域
本发明涉及工程检测技术领域，特别涉及一种基于智能无人机的大坝裂缝检测方法。
背景技术
大坝是我国水利建设中的重要组成部分，具有防洪、发电、灌溉、供水和航运等功能，一旦大坝发生破裂、溃坝等情况，会给下游及周边地区带来严重的危害，造成国民经济的巨大损失。影响大坝安全的因素有很多，其中最关键的是裂缝，裂缝危害轻则库水下泄，大坝停运检修，重则引发坝体溃坝，威胁下游群众生命财产安全。相比其它目标检测任务，裂缝是一种特殊的图像特征，它以细的、不规则的黑线阴影形式出现，通常隐藏在大坝表面之中，这也是大坝表面裂缝检测的困难所在，在裂缝检测过程中很容易受各种噪声背景影响，导致检测结果不准确。因此还需要对目前的目标检测算法进行改进，对大坝表面裂缝检测进行深入研究，来弥补现有算法存在的不足之处。
经过对现有的技术、文献和专利的检索发现现有的大坝表面裂缝检测方法，大部分都是通过传统的人工探视法、人工判读等或通过没有改进的深度学习目标检测算法来发现裂缝，但基于人工判别的方式效率低，单纯利用人力在时间、技术和资金上无法保证面面俱到，且靠人为的主观因素较大，极有可能发生遗漏，消除不了安全隐患。随着计算机视觉的发展，图像处理与机器视觉技术在众多领域得到应用。传统图像处理技术，如裂缝的边缘检测算法，主要有Sobel边缘检测算子、Canny边缘检测算子、Laplacian算子等，但经过查阅大量文献，这些算法只适用于宽度较大、背景简单和明显的裂缝检测。所以传统的裂缝边缘检测算法鲁棒性较低，并不适合于裂缝隐晦和背景多变的图像，当裂缝图像背景复杂、噪声大时，传统的边缘检测方法检测精度大幅度下降。大多数利用深度学习卷积神经网络对裂缝图像进行学习分类，使用目标检测模型对裂缝进行检测识别。且根据调查，基于深度学习的通用目标检测算法在裂缝检测上更多是应用在路面和桥梁上，但大坝裂缝它是以细的、不规则的黑线阴影形式出现，检测困难，并且裂缝的混凝土和周围环境很相似，导致采用通用的目标检测算法进行大坝表面裂缝的检测准确率低，会产生很多漏检。
YOLOv5为一种高效、快速的单阶段目标检测算法，虽然YOLOv5目标检测模型已经在众多领域得到应用，但若直接应用到大坝表面的表面裂缝检测还面临着以下问题：（1）大坝裂缝是以细的、不规则的黑线阴影形式出现，常规模型难以识别，精度低。（2）大坝裂缝和周围环境很相似，准确率低，易产生漏检测；（3）目前将无人机拍摄大坝表面视频图像，通过后期将所拍摄的视频图像导入到深度学习工作站进行处理，检测处理效率低。(4)一般模型训练后得到的模型权重大，不能很好的嵌入在边缘AI计算处理器Jetson Xavier™ NX中。（5）Jetson Xavier™ NX计算能力较深度学习工作站弱，导致处理速度慢，为能够提高速度，需要再对模型权重进行转化，使处理数据的推理吞吐量和效率达到最优，提高处理速度。
发明内容
本发明所要解决的技术问题是提供一种基于智能无人机的大坝裂缝检测方法，通过对YOLOv5进行了修改，提高裂缝检测的准确率和效率，能够实现实时检测。
为解决上述技术问题，本发明所采用的技术方案是：一种基于智能无人机的大坝裂缝检测方法，包括如下步骤：一、数据集构建：利用无人机对大坝表面拍摄工程真实情况下裂缝图片或录制视频，将拍摄到的视频进行分帧得到裂缝图像，将图像使用标注软件进行人工标注，获得数据集；
二、大坝裂缝检测模型构建：对YOLOv5检测模型进行模型改进形成GE-YOLOv5检测模型，YOLOv5检测模型由四个部分组成，第一部分为输入端，第二部分为主干提取网络，第三部分为颈部网络，第四部分为检测端；
三、大坝裂缝检测模型权重转化：首先大坝表面裂缝数据通过GE-YOLOv5模型检测模型进行学习训练，训练结束后即可得到该数据集的模型权重，然后进行GE-YOLOv5模型权重转化；
四、计算处理器边缘部署：首先在一台主机实现计算处理器的镜像烧录，再将步骤三处理后的模型进行迁移部署，最后采用C++程序接口实现API调用；
五、无人机大坝表面裂缝检测：将计算处理器搭载在智能无人机上，智能无人机客户端与地面上的工作站通过WiFi路由器连接，智能无人机航拍过程中，对大坝表面进行拍摄，将摄像头拍摄到的视频图像直接输入至经过部署后的计算处理器中进行处理，通过GE-YOLOv5检测出大坝表面裂缝。
优选的方案中，所述步骤一中，为防止数据集训练过拟合，对数据图像调整图像亮度，模仿不同光照强度下拍摄所得到的裂缝图像，将所得的图像进行不同角度随机旋转、翻转预处理。
优选的方案中，所述步骤二中，在YOLOv5目标检测模型第4层与第16层、第6层与第12层、第14层与第19层、第10层与第22层特征图融合之前，将第4层、第6层、第10层、第14层分别添加一个轻量级的高效通道注意力机制ECA，首先通过1×1卷积，学习不同通道之间的重要性，并对输入特征图进行空间特征压缩；其次对压缩后的特征图，进行通道特征学习，此时输出的维度还是1×1×C；最后是通道注意力结合，将通道注意力的特征图1×1×C、原始输入特征图H×W×C，进行逐通道乘，最终输出具有通道注意力的特征图。
优选的方案中，所述步骤二中，引入了一个新的GhostNet模块优化主干提取网络，即在主干特征提取网络中将第2、4、6、8层C3瓶颈层使用GhostNet代替，先通过正常1x1卷积将输入特征图中冗余信息数量减少，得到通道信息较少的特征图，然后使用廉价运算生成更多的特征图，最后连接恒等映射得到的特征图，组成新输出，形成GE-YOLOv5检测模型。
优选的方案中，所述步骤三中，训练初始，在输入端设置将所有数据集图像重塑其尺寸为640×640像素大小，GE-YOLOv5使用EIOU损失进行训练：
Figure SMS_1
C为能够同时包含预测框和真实框的最小闭包区域的对角线距离；
训练过程中损失曲线是下降的，当损失曲线基本与X轴平行即可结束训练，训练结束后即可得到该数据集的模型权重。
优选的方案中，所述步骤三中，训练结束后，将上述训练所得的Pytorch框架模型权重转化为TensorRT框架，主要通过C语言对模型进行编译，并生成.engine引擎文件和.dll动态链接库进行部署。
优选的方案中，所述步骤四中，计算处理器选用嵌入式AI计算处理器。
本发明提供的一种基于智能无人机的大坝裂缝检测方法，通过对YOLOv5进行了修改，减少了计算参数，更合适本发明的移动部署，添加了多层并行空洞卷积，提高对大坝表面裂缝的特征匹配能力，再将GE-YOLOv5模型部署于Jetson Xavier™ NX，实现边缘计算，解决传统目标检测中检测硬件设备大，移动性较弱，达不到实时要求的缺点。最后使用P600无人机搭载部署后的Jetson Xavier™ NX进行大坝表面裂缝检测，实时准确得到大坝表面裂缝位置，解决通过人工判别和目前目标检测算法效率低的情况，减少人工检测成本、提高裂缝检测的准确率和效率，降低安全隐患概率发生，实现大坝表面裂缝实时检测和探查。
附图说明
下面结合附图和实施例对本发明作进一步说明：
图1为GhostNet模块结构示意图；
图2为轻量级的高效通道注意力机制ECA结构图；；
图3为GE-YOLOv5模型框架图；
图4为GE-YOLOv5模型权重转化前后对比图；
图5为智能无人机大坝表面裂缝检测流程图；
图6为YOLOv5模型裂缝检测结果；
图7为GE-YOLOv5模型裂缝检测结果；
图8为GE-YOLOv5模型训练损失曲线；
具体实施方式
如图1所示，一种基于智能无人机的大坝裂缝检测方法，包括如下步骤：
一、数据集构建：深度学习算法需要大量的数据集支撑训练，数据的质量对模型训练有决定性的影响，尤其取决于在数据样本的丰富性和数据标注的精度这两方面。
利用无人机对大坝表面拍摄工程真实情况下裂缝图片或录制视频，无人机依次经过大坝裂缝易形成的关键点位，最后将采集的巡检数据返回到起航点，结束此次巡检任务，将拍摄到的视频进行分帧得到裂缝图像。同时，可以在网络上收集公开的裂缝图像。
为防止数据集训练过拟合，对数据图像调整图像亮度，模仿不同光照强度下拍摄所得到的裂缝图像，丰富图像背景。因不能保证无人机拍摄的每张图片角度都一样，所以将所得的图像使用python脚本进行不同角度随机旋转、翻转等预处理。得到的图像数量充足、背景丰富，使模型更具鲁棒性。最后将图像使用Labelimg标注软件进行人工标注，获得高质量数据集。
二、大坝裂缝检测模型构建：对YOLOv5检测模型进行模型改进形成GE-YOLOv5检测模型。
YOLOv5为一种高效、快速的单阶段目标检测算法，因此以YOLOv5模型为基础，其主要由4个部分组成。第一部分为输入端（Input），主要是图像的输入以及Mosaic数据增强。第二部分为主干提取网络（Backbone），由卷积层（conv）、瓶颈层（C3）和快速空间金字塔池化池化(Spatial Pyramid Pooling-Fast，SPPF)构成。第三部分为颈部网络(Neck)，采用实例分割框架下的路径聚合网络结构（Path Aggregation network，PANet）对网络进行特征加强。最后部分为检测端（YOLO Head），将得到的特征图进行解码预测。虽然YOLOv5目标检测模型已经在众多领域得到应用，但若直接应用到大坝表面的表面裂缝检测还面临着以下问题：（1）大坝裂缝是以细的、不规则的黑线阴影形式出现，常规模型难以识别，精度低。（2）大坝裂缝和周围环境很相似，准确率低，易产生漏检；（3）目前将无人机拍摄大坝表面视频图像，通过后期将所拍摄的视频图像导入到深度学习工作站进行处理，检测处理效率低。(4)一般模型训练后得到的模型权重大，不能很好的嵌入在边缘AI计算处理器Jetson Xavier™ NX中。（5）Jetson Xavier™ NX计算能力较深度学习工作站弱，导致处理速度慢，为能够提高速度，需要再对模型权重进行转化，使处理数据的推理吞吐量和效率达到最优，提高处理速度。
在YOLOv5目标检测模型第4层与第16层、第6层与第12层、第14层与第19层、第10层与第22层特征图融合之前，将第4层、第6层、第10层、第14层分别添加一个轻量级的高效通道注意力机制ECA，ECA是一种极其轻量级的通道注意模块，主要提出了一种不降维的局部跨信道交互策略和自适应选择一维卷积核大小的方法。如图2所示，首先通过1×1卷积，学习不同通道之间的重要性，并对输入特征图进行空间特征压缩；其次对压缩后的特征图，进行通道特征学习，此时输出的维度还是1×1×C；最后是通道注意力结合，将通道注意力的特征图1×1×C、原始输入特征图H×W×C，进行逐通道乘，最终输出具有通道注意力的特征图。在不提高模型的计算参数的同时提升检测精度，来提升模型对于大坝表面裂缝特征的提取能力，有效的提高模型对大坝表面裂缝的准确率和精确度。
模型参数较大会导致训练得到的模型识别权重所占内存大，不利于嵌入在边缘AI计算处理器Jetson Xavier™ NX中，且目前的目标检测网络中，卷积图像得到的特征图里存在不少冗余信息，这将导致计算成本增加。为去除减少冗余，降低模型参数，引入了一个新的GhostNet模块优化主干提取网络，即在主干特征提取网络中将第2、4、6、8层C3瓶颈层使用GhostNet代替。GhostNet如图1所示，图中，Φ表示廉价的线性运算，identity表示恒等映射。
Ghost module先通过正常1x1卷积将输入特征图中冗余信息数量减少，得到通道信息较少的特征图，然后使用廉价运算生成更多的特征图，最后连接恒等映射得到的特征图，组成新输出，形成GE-YOLOv5检测模型。
GhostNet通过使用更少的参数来生成更多的特征，并减少特征图中的冗余信息，在保证精度的同时压缩网络，减少模型存储所需要的空间，解决模型训练后得到的模型权重过大问题，减少计算参数，加快模型对图像的处理速度，使之更适合移动端的部署。GE-YOLOv5的具体模型框架如图3所示。
三、大坝裂缝检测模型权重转化：
首先大坝表面裂缝数据通过GE-YOLOv5模型检测模型进行学习训练，训练结束后即可得到该数据集的模型权重，然后进行GE-YOLOv5模型权重转化。
模型训练：大坝表面裂缝数据通过上述GE-YOLOv5模型进行学习训练，训练初始，在输入端设置将所有数据集图像重塑其尺寸为640×640像素大小，GE-YOLOv5使用EIOU损失进行训练，EIOU损失在其它损失函数的基础上考虑了边框的重合度、中心距离和宽高比的尺度信息，使得目标框回归变得更加稳定，使得不会像IOU和GIOU损失函数一样出现训练过程中发散等问题。
GE-YOLOv5使用EIOU损失进行训练：
Figure SMS_2
C为能够同时包含预测框和真实框的最小闭包区域的对角线距离；
训练过程中损失曲线是下降的，如图8所示，当损失曲线基本与X轴平行即可结束训练，训练结束后即可得到该数据集的模型权重。
GE-YOLOv5模型权重转化：将上述训练所得的Pytorch框架模型权重转化为TensorRT框架，使在GPU上快速有效地进行推理。主要通过C语言对模型进行编译，并生成.engine引擎文件和.dll动态链接库进行部署，即对网络中各层进行水平和垂直上的整合来达到优化和加速效果，优化过程没有改变模型参数量和网络底层的计算，只对计算图进行重构，在保证准确率的情况下，达到最优数据层，大幅度提高在Jetson Xavier™ NX上对大坝裂缝图像处理速度。
如图4中（a）是GE-YOLOv5权重转化前pytorch框架结构图，（b）是权重转化为TensorRT框架结构图。从图中可以看出，模型权重转化后，一方面消除未使用的输出的层以避免不必要的计算；另一方面将convolution、bias和ReLU层融合形成单个层，主要是垂直层融合和水平层融合，减少计算步骤和传输时间，以最小化延迟和最大化吞吐量运行优化网络。四、计算处理器边缘部署：首先在一台主机实现计算处理器的镜像烧录，计算处理器选用嵌入式AI计算处理器，具体的选用Jetson Xavier™ NX，将Ubuntu16.04系统等环境安装至Jetson Xavier™ NX中，并支持Cuda、Cudnn等模块，再将步骤三处理后的模型进行迁移部署，最后采用C++程序接口实现API调用。Jetson Xavier™ NX对NVIDIA Jetson™ 系统可以提供良好的性能和能效来提高模型的运行速度，而且功耗更低，将本文提出的GE-YOLOv5模型部署在其中，可节省无人机大坝表面裂缝时间和购置深度学习工作站资金，提高检测效率。
五、无人机大坝表面裂缝检测：智能无人机选用Prometheus600无人机，P600是一款中等大小的无人机，具有较强的载重、长续航和可扩展能力。可以很好的搭载JetsonXavier™ NX计算板和激光雷达、三轴光电吊舱摄像头（10倍光学变焦）、RTK等智能化设备，从而实现大坝表面裂缝检测，激光雷达避障，无人机位置速度指点飞行等能力。此外无人机还包含：（1）采用6s-10000mAh锂聚合物电池，用于为无人机供电；（2）ubox飞行控制器用于遥控无人机；（3）m8nGPS模块定位；（4）2对15寸折叠螺旋桨；（5）S1激光雷达，等硬件设备共同组建成智能无人机。
将Jetson Xavier™ NX搭载在P600无人机上，并连接三轴光电吊舱（10倍光学变焦）摄像头，Jetson Xavier™ NX的供电方式有（1）独立电池供电；（2）连接线供电；（3）与无人机共用电池；这里采用衔接无人机电池的方式给JetsonXavier™ NX进行供电，可以减轻无人机的整天重量，同时提高无人机的稳定性。
将计算处理器搭载在智能无人机上，智能无人机客户端与地面上的工作站通过WiFi路由器连接，在智能无人机航拍的整个过程可以分为：（1）信息提取，三轴光电吊舱摄像头对大坝表面进行拍摄；（2）信息处理，将三轴光电吊舱摄像头拍摄到的视频图像直接输入至经过部署后的Jetson Xavier™ NX AI计算器中进行处理，通过GE-YOLOv5检测出大坝表面裂缝；（3）信息传输，将边检测边处理的图像视频通过局域网共享到地面上的工作站屏幕，可以随时进行观测；（4）信息保存，将检测出来每个区域的大坝表面裂缝信息进行保存，即大坝表面裂缝位置、坐标、裂缝置信度、日期和时间实时保存在文本中，实现智能识别和定位当前监测画面大坝表面裂缝，流程如图5。
通过该检测方法利用YOLOv5模型和GE-YOLOv5模型识别的裂缝检测结果如图6和图7所示，所检测的坝面裂缝图像比较复杂，且包含了隐晦、微细裂缝因此该检测会存在一定的挑战性。从图6可以发现YOLOv5基准模型能够大致检测出坝面裂缝，框中为识别的裂缝，但定位并不完整，对于复杂和细微裂缝的提取准确率低，识别能力弱，导致出现漏识别和定位错误现象。从图7可以看出，将YOLOv5模型进行改进后，得到的坝面裂缝检测结果准确率最高，定位准确，对不同尺度的裂缝均有较强的检测性能。说明改进形成的GE-YOLOv5检测模型能提高准确率，减少漏检现象，并更适合大坝裂缝检测，可作为大坝裂缝检测的使用或代替方法，提高检测效率。
表1为YOLOv5与GE-YOLOv5模型所占内存和推理速度评估表，从表1可以看出，GE-YOLOv5模型准确率较YOLOv5模型提升了2.7个百分点，且所占权重体积大小较少了16.3个百分点、推理速度较基准YOLOv5模型提升12.1个百分点，在确保检测精度的同时，降低了模型权重、提高了推理时间，从而提高移动性，使之能更好部署于Jetson Xavier™ NX。
Figure SMS_3
该检测方法通过对YOLOv5进行了修改，减少了计算参数，更合适本发明的移动部署，添加了多层并行空洞卷积，提高对大坝表面裂缝的特征匹配能力，再将GE-YOLOv5模型部署于Jetson Xavier™ NX，实现边缘计算，解决传统目标检测中检测硬件设备大，移动性较弱，达不到实时要求的缺点。最后使用P600无人机搭载部署后的Jetson Xavier™ NX进行大坝表面裂缝检测，实时准确得到大坝表面裂缝位置，解决通过人工判别和目前目标检测算法效率低的情况，减少人工检测成本、提高裂缝检测的准确率和效率，降低安全隐患概率发生，实现大坝表面的裂缝检测和探查。

Claims (7)

1.一种基于智能无人机的大坝裂缝检测方法，其特征在于，包括如下步骤：
一、数据集构建：利用无人机对大坝表面拍摄工程真实情况下裂缝图片或录制视频，将拍摄到的视频进行分帧得到裂缝图像，将图像使用标注软件进行人工标注，获得数据集；
二、大坝裂缝检测模型构建：对YOLOv5检测模型进行模型改进形成GE-YOLOv5检测模型，YOLOv5检测模型由四个部分组成，第一部分为输入端，第二部分为主干提取网络，第三部分为颈部网络，第四部分为检测端；
三、大坝裂缝检测模型权重转化：首先大坝表面裂缝数据通过GE-YOLOv5模型检测模型进行学习训练，训练结束后即可得到该数据集的模型权重，然后进行GE-YOLOv5模型权重转化；
四、计算处理器边缘部署：首先在一台主机实现计算处理器的镜像烧录，再将步骤三处理后的模型进行迁移部署，最后采用C++程序接口实现API调用；
五、无人机大坝表面裂缝检测：将计算处理器搭载在智能无人机上，智能无人机客户端与地面上的工作站通过WiFi路由器连接，智能无人机航拍过程中，对大坝表面进行拍摄，将摄像头拍摄到的视频图像直接输入至经过部署后的计算处理器中进行处理，通过GE-YOLOv5检测出大坝表面裂缝。
2.根据权利要求1所述的一种基于智能无人机的大坝裂缝检测方法，其特征在于，所述步骤一中，为防止数据集训练过拟合，对数据图像调整图像亮度，模仿不同光照强度下拍摄所得到的裂缝图像，将所得的图像进行不同角度随机旋转、翻转预处理。
3.根据权利要求1所述的一种基于智能无人机大坝裂缝检测方法，其特征在于，
所述步骤二中，在YOLOv5目标检测模型第4层与第16层、第6层与第12层、第14层与第19层、第10层与第22层特征图融合之前，将第4层、第6层、第10层、第14层分别添加一个轻量级的高效通道注意力机制ECA，首先通过1×1卷积，学习不同通道之间的重要性，并对输入特征图进行空间特征压缩；其次对压缩后的特征图，进行通道特征学习，此时输出的维度还是1×1×C；最后是通道注意力结合，将通道注意力的特征图1×1×C、原始输入特征图H×W×C，进行逐通道乘，最终输出具有通道注意力的特征图。
4.根据权利要求3所述的一种基于智能无人机的大坝裂缝检测方法，其特征在于，所述步骤二中，引入了一个新的GhostNet模块优化主干提取网络，即在主干特征提取网络中将第2、4、6、8层C3瓶颈层使用GhostNet代替，先通过正常1x1卷积将输入特征图中冗余信息数量减少，得到通道信息较少的特征图，然后使用廉价运算生成更多的特征图，最后连接恒等映射得到的特征图，组成新输出，形成GE-YOLOv5检测模型。
5.根据权利要求1所述的一种基于智能无人机的大坝裂缝检测方法，其特征在于，所述步骤三中，训练初始，在输入端设置将所有数据集图像重塑其尺寸为640×640像素大小，GE-YOLOv5使用EIOU损失进行训练：
Figure QLYQS_1
C为能够同时包含预测框和真实框的最小闭包区域的对角线距离；
训练过程中损失曲线是下降的，当损失曲线基本与X轴平行即可结束训练，训练结束后即可得到该数据集的模型权重。
6.根据权利要求1所述的一种基于智能无人机的大坝裂缝检测方法，其特征在于，所述步骤三中，训练结束后，将上述训练所得的Pytorch框架模型权重转化为TensorRT框架，主要通过C语言对模型进行编译，并生成.engine引擎文件和.dll动态链接库进行部署。
7.根据权利要求1所述的一种基于智能无人机的大坝裂缝检测方法，其特征在于，所述步骤四中，计算处理器选用嵌入式AI计算处理器。
CN202310098296.4A 2023-02-10 2023-02-10 一种基于智能无人机的大坝裂缝检测方法 Pending CN116433580A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310098296.4A CN116433580A (zh) 2023-02-10 2023-02-10 一种基于智能无人机的大坝裂缝检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310098296.4A CN116433580A (zh) 2023-02-10 2023-02-10 一种基于智能无人机的大坝裂缝检测方法

Publications (1)

Publication Number Publication Date
CN116433580A true CN116433580A (zh) 2023-07-14

Family

ID=87087934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310098296.4A Pending CN116433580A (zh) 2023-02-10 2023-02-10 一种基于智能无人机的大坝裂缝检测方法

Country Status (1)

Country Link
CN (1) CN116433580A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117249801A (zh) * 2023-09-21 2023-12-19 深圳市水务工程检测有限公司 基于大数据的大坝变形监测管理系统及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117249801A (zh) * 2023-09-21 2023-12-19 深圳市水务工程检测有限公司 基于大数据的大坝变形监测管理系统及方法

Similar Documents

Publication Publication Date Title
CN109241982B (zh) 基于深浅层卷积神经网络的目标检测方法
CN102507592B (zh) 表面缺陷仿蝇视觉在线检测装置及检测方法
CN111754394B (zh) 鱼眼图像中的对象检测方法、装置及存储介质
Kim et al. High-speed drone detection based on yolo-v8
US11948344B2 (en) Method, system, medium, equipment and terminal for inland vessel identification and depth estimation for smart maritime
US20190005656A1 (en) Dense Optical Flow Processing in a Computer Vision System
WO2022262054A1 (zh) 图像处理方法、装置、设备及存储介质
CN112215203A (zh) 一种基于深度学习的路面病害检测方法和装置
CN116433580A (zh) 一种基于智能无人机的大坝裂缝检测方法
CN114973032A (zh) 一种基于深度卷积神经网络的光伏板热斑检测方法及装置
CN114283137A (zh) 基于多尺度特征图推理网络的光伏组件热斑缺陷检测方法
CN112991218A (zh) 图像处理的方法、装置、设备以及存储介质
CN116703919A (zh) 一种基于最优传输距离损失模型的表面杂质检测方法
CN117197388A (zh) 一种基于生成对抗神经网络和倾斜摄影的实景三维虚拟现实场景构建方法及系统
Yuan et al. Faster light detection algorithm of traffic signs based on YOLOv5s-A2
CN114972780A (zh) 一种基于改进YOLOv5的轻量化目标检测网络
CN113628170A (zh) 一种基于深度学习的激光线提取方法及系统
Zhao et al. ST-YOLOA: a Swin-transformer-based YOLO model with an attention mechanism for SAR ship detection under complex background
Ouyang et al. Aerial target detection based on the improved YOLOv3 algorithm
Antonakakis et al. Real-time object detection using an ultra-high-resolution camera on embedded systems
CN112101113A (zh) 一种轻量化的无人机图像小目标检测方法
CN116580324A (zh) 一种基于YOLOv5的无人机对地目标检测方法
Zhu et al. Diffusion model based low-light image enhancement for space satellite
CN115359067A (zh) 一种基于连续卷积网络的逐点融合点云语义分割方法
CN113743487A (zh) 一种增强型遥感影像目标检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination