CN115359399A - 一种基于改进yolox的地下排水管道缺陷检测识别方法 - Google Patents

一种基于改进yolox的地下排水管道缺陷检测识别方法 Download PDF

Info

Publication number
CN115359399A
CN115359399A CN202211009189.1A CN202211009189A CN115359399A CN 115359399 A CN115359399 A CN 115359399A CN 202211009189 A CN202211009189 A CN 202211009189A CN 115359399 A CN115359399 A CN 115359399A
Authority
CN
China
Prior art keywords
drainage pipeline
underground drainage
defect
image
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211009189.1A
Other languages
English (en)
Inventor
陆绮荣
丁昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Technology
Original Assignee
Guilin University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Technology filed Critical Guilin University of Technology
Priority to CN202211009189.1A priority Critical patent/CN115359399A/zh
Publication of CN115359399A publication Critical patent/CN115359399A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及基于改进YOLOX的地下排水管道缺陷检测识别方法，为了实现地下排水管道缺陷检测识别自动化，提出了一种基于改进YOLOX的方法来对地下排水管道缺陷进行检测识别。首先将获取的地下排水管道视频进行帧提取，对提取的视频帧进行图像质量筛选以及缺陷分类，并将裂缝和错口两种缺陷类型图像采用GAN网络进行图像生成，挑选图像质量高的生成图像加入到地下排水管道缺陷图像数据集中，将得到的地下排水管道缺陷图像数据集进行数据集增强操作。最后将地下排水管道缺陷数据集输入到改进的YOLOX算法中，对地下排水管道缺陷进行检测识别。实验结果表明，相比较于人工判别以及传统的机器学习方法，此方法能更好的对地下排水管道缺陷进行检测识别。

Description

一种基于改进YOLOX的地下排水管道缺陷检测识别方法
技术领域
本发明涉及一种基于改进YOLOX的地下排水管道缺陷检测识别方法，实现了地下排水管道缺陷检测识别自动化，属于工程应用方面。
背景技术
目前地下排水管道检测应用最广的方法是闭路电视(CCTV)视觉检测技术，专业人员通过CCTV收集的视频和图像对管道缺陷进行判读和评级。但人工判读容易受到人眼主观性影响，并且需要大量人力和成本。建立智能化的管道缺陷检测和分类系统，已成为城市排水设施建设和管理的迫切需求。
在以往的地下排水管道缺陷检查中，主要还是通过人工目视检查，然而这种方法需要耗费大量时间与人力，并且由于人眼主观性的影响，结果往往带有一定的主观性。随着机器学习在各领域的发展，一些研究者采用传统的机器学习方法，比如基于形态、几何和纹理特征来诊断缺陷，但机器学习的方法需要人手工设计特征提取器，工作量偏大，并且在面对大型数据集时计算量庞大。目前，深度学习广泛应用于各种图像领域，基于深度学习的方法利用卷积神经网络来自动提取有效特征，克服了手工特征泛化能力差以及鲁棒性差等问题。
目前图像目标检测的方法主要分为单阶段算法和两阶段算法，两阶段算法首先找出图像中感兴趣区域即目标物体出现的位置，得到预选框，然后进行特征提取最后进行分类，但两阶段算法速度慢，对一些要求速度的检测任务并不能满足要求，而一阶段算法直接在网络中提取特征来预测物体分类和位置，速度得到了极大的提升，由于地下排水管道缺陷检测识别需要一定实时性，因此一阶段算法适合地下排水管道缺陷检测识别任务。一阶段算法以YOLO系列为主，其中主要包括：YOLOV3，YOLOV5，YOLOX等，目前YOLOX检测算法在各方面性能最佳，因此有必要设计一种基于YOLOX的地下排水管道缺陷检测识别方法，节省人力资源及时间成本，并且及时发现地下排水管道缺陷。
YOLOX检测算法将解耦头、数据增强、无锚点以及标签分类等目标检测领域的优秀进展与YOLO进行了巧妙的组合，但YOLOX算法的特征融合层存在特征图直接融合导致特征混叠问题，因此有必要改进YOLOX结构来对地下排水管道缺陷进行检测识别。
发明内容
本发明提出一种基于改进YOLOX的地下排水管道缺陷检测识别方法进行对管道缺陷的分类，智能化地下管道缺陷检测识别。
YOLOX由四部分组成：输入层、主干特征提取层、特征融合层、预测层。其中主干特征提取层是由Focus模块以及叠加一定数量的CSP模块，并且使用Silu激活函数，最后经过SPP模块得到主干网络特征提取结果。特征融合层采用特征金字塔网络FPN结构，FPN结构自顶向下传达强语义特征，并将不同尺度的特征图进行融合。预测层采用三种不同大小比例尺特征图对目标进行检测。由于FPN网络在进行对特征图进行融合时只是简单的进行直接合并，为了防止不同层的特征图直接融合导致特征混叠问题，设计了一种基于权重的特征融合模块，利用权重系数来融合不同层的特征，该特征融合方式用公式可表示为
Figure BDA0003810183660000021
其中W(F2，F1)是一种权重函数，对两个特征进行融合并获得权重系数，其主要步骤是先将输入的两个特征图F2和F1进行融合，将融合后的特征经过置换注意力机制模块，以获取更多所需要关注目标的细节信息，抑制其他无用信息。然后将其分别输入到最大池化层和平均池化层并将通道减少到1，最后将这两个特征进行相加并使用sigmoid函数得到权重函数。
同时由于信息丢失主要发生在顶层特征，而FPN网络中顶层特征仅包含单尺度特征且不与其它特征图进行融合，因此利用基于改进的空洞空间金字塔模块进行解决，利用ASPP的思想同时引入压缩激励模块，对顶层特征进行多尺度特征捕获，然后经过通道注意力机制获取更丰富的细化特征图最后合并。
基于改进YOLOX的地下排水管道缺陷检测识别具体流程如下：
(1)首先将获取的地下排水管道视频图像，进行按照一定间隔的帧数进行视频帧提取。
(2)对提取的视频帧进行一定规则的筛选。筛选规则为：对于多幅相似度极高的图像，我们将采用图像质量评价算法对视频帧进行图像质量的评估，筛选出质量良好的地下排水管道图像作为地下排水管道缺陷图像数据集。
(3)对地下排水管道缺陷图像数据集进行缺陷分类，一共分为沉积、渗漏、树根入侵、裂缝和错口5种缺陷。
(4)针对裂缝和错口两种缺陷类型图像过少的问题，采用GAN网络进行图像生成，将两种原始图像输入到GAN网络的生成器G中学习真实图像的分布特点，判别器D将生成的图像与真实图像进行对比，以生成与原始图像相似度极高的图像。
(5)将通过GAN网络生成的图像进行筛选，丢弃效果极差的图像，对剩下的图像用图像质量评价算法进行进一步筛选，最后将得到的图像加入到地下排水管道缺陷图像数据集中。
(6)将地下排水管道缺陷图像数据集进行数据集扩充操作，采用平移、改变亮度、加噪声、旋转以及镜像这5种数据增强方式对缺陷图片进行增强。
(7)将经过处理的地下排水管道缺陷图像数据集进行按8∶1∶1比例划分为训练集，验证集和测试集。
(8)将地下排水管道缺陷图像数据集输入到改进的YOLOX算法中进行缺陷检测识别。
(9)对训练得到的网络进行测试，统计测试结果，分析算法的精确率，召回率，平均精度以及平均精度均值。
附图说明
图1本发明基于改进YOLOX的地下排水管道缺陷检测识别流程图。
图2本发明设计的一种基于权重的特征融合模块结构图。
图3本发明设计的改进的空洞空间金字塔模块结构图。
图4本发明实施例GAN网络生成的地下管道缺陷图。
图5本发明实施例地下排水管道缺陷图。
图6本发明实施例地下排水管道缺陷检测识别图。
具体实施方式
实施例：
以某市地下排水管道为例：
(1)先从视频中获得排水管道缺陷图像，经过图像质量评价操作，得到初始地下排水管道缺陷图像。
(2)将(1)所得到的裂缝和错口图像输入到GAN网络中，进行图像生成，生成的部分图像如图4所示，再将所有图像经过数据增强操作，得到最终的地下排水管道缺陷数据集，地下管道缺陷部分图像如图5所示。
(3)将地下排水管道缺陷数据集输入到改进的YOLOX算法中，经过主干特征提取层、特征融合层、预测层，输出检测识别结果。检测结果如图6所示。
(4)对检测识别结果进行统计，分析检测识别正确率。

Claims (1)

1.一种基于改进YOLOX的地下排水管道缺陷检测识别方法，其特征在于，具体流程如下：
(1)首先将获取的地下排水管道视频图像，进行按照一定间隔的帧数进行视频帧提取；
(2)对提取的视频帧进行一定规则的筛选，筛选规则为：对于多幅相似度极高的图像，我们将采用图像质量评价算法对视频帧进行图像质量的评估，筛选出质量良好的地下排水管道图像作为地下排水管道缺陷图像数据集；
(3)对地下排水管道缺陷图像数据集进行缺陷分类，一共分为沉积、渗漏、树根入侵、裂缝和错口5种缺陷；
(4)针对裂缝和错口两种缺陷类型图像过少的问题，采用GAN网络进行图像生成，将两种原始图像输入到GAN网络的生成器G中学习真实图像的分布特点，判别器D将生成的图像与真实图像进行对比，以生成与原始图像相似度极高的图像；
(5)将通过GAN网络生成的图像进行筛选，丢弃效果极差的图像，对剩下的图像用图像质量评价算法进行进一步筛选，最后将得到的图像加入到地下排水管道缺陷图像数据集中；
(6)将地下排水管道缺陷图像数据集进行数据集扩充操作，采用平移、改变亮度、加噪声、旋转以及镜像这5种数据增强方式对缺陷图片进行增强；
(7)将经过处理的地下排水管道缺陷图像数据集进行按8：1：1比例划分为训练集,验证集和测试集；
(8)将地下排水管道缺陷图像数据集输入到改进的YOLOX算法中进行缺陷检测识别；
(9)对训练得到的网络进行测试，统计测试结果，分析算法的精确率，召回率，平均精度以及平均精度均值。
CN202211009189.1A 2022-08-22 2022-08-22 一种基于改进yolox的地下排水管道缺陷检测识别方法 Pending CN115359399A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211009189.1A CN115359399A (zh) 2022-08-22 2022-08-22 一种基于改进yolox的地下排水管道缺陷检测识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211009189.1A CN115359399A (zh) 2022-08-22 2022-08-22 一种基于改进yolox的地下排水管道缺陷检测识别方法

Publications (1)

Publication Number Publication Date
CN115359399A true CN115359399A (zh) 2022-11-18

Family

ID=84002809

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211009189.1A Pending CN115359399A (zh) 2022-08-22 2022-08-22 一种基于改进yolox的地下排水管道缺陷检测识别方法

Country Status (1)

Country Link
CN (1) CN115359399A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797914A (zh) * 2023-02-02 2023-03-14 武汉科技大学 冶金起重机小车轨道表面缺陷检测系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797914A (zh) * 2023-02-02 2023-03-14 武汉科技大学 冶金起重机小车轨道表面缺陷检测系统

Similar Documents

Publication Publication Date Title
CN111339882B (zh) 基于实例分割的输电线路隐患检测方法
Cord et al. Automatic road defect detection by textural pattern recognition based on AdaBoost
CN111784633B (zh) 一种面向电力巡检视频的绝缘子缺损自动检测算法
CN113436169B (zh) 一种基于半监督语义分割的工业设备表面裂纹检测方法及系统
CN110555831B (zh) 一种基于深度学习的排水管道缺陷分割方法
CN111080609A (zh) 一种基于深度学习的闸瓦插销丢失检测方法
CN115359399A (zh) 一种基于改进yolox的地下排水管道缺陷检测识别方法
CN114155474A (zh) 基于视频语义分割算法的损伤识别技术
CN114882400A (zh) 一种基于ai智能机器视觉技术的骨料检测分类方法
CN114782410A (zh) 一种基于轻量化模型的绝缘子缺陷检测方法及其系统
CN112001299A (zh) 一种隧道车指器和照明灯故障识别方法
CN113660484B (zh) 基于音视频内容的音视频属性比对方法、系统、终端及介质
CN105913008B (zh) 基于假设检验的人群异常事件检测方法
Zhang et al. Research on pipeline defect detection based on optimized faster r-cnn algorithm
CN116958073A (zh) 基于注意力特征金字塔机制的小样本钢材缺陷检测方法
CN110163081A (zh) 基于ssd的实时区域入侵检测方法、系统及存储介质
CN115082650A (zh) 一种基于卷积神经网络的管道缺陷自动标注工具的实现方法
CN113642473A (zh) 一种基于计算机视觉的矿下煤机状态识别方法
Harshini et al. Sewage Pipeline Fault Detection using Image Processing
CN114187550A (zh) 一种基于改进yolo v3网络的弓网核心零部件识别方法
CN112508946A (zh) 一种基于对抗神经网络的电缆隧道异常检测方法
CN113298857A (zh) 一种基于神经网络融合策略的轴承缺陷检测方法
CN112435245A (zh) 基于物联网的磁痕缺陷自动识别方法
CN107239754B (zh) 基于稀疏取样灰度分布和梯度分布特征的车标识别方法
Nasehi et al. Vehicle Type, Color and Speed Detection Implementation by Integrating VGG Neural Network and YOLO algorithm utilizing Raspberry Pi Hardware

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination