CN113469177A - 基于深度学习的排水管道缺陷检测方法及系统 - Google Patents
基于深度学习的排水管道缺陷检测方法及系统 Download PDFInfo
- Publication number
- CN113469177A CN113469177A CN202110737415.7A CN202110737415A CN113469177A CN 113469177 A CN113469177 A CN 113469177A CN 202110737415 A CN202110737415 A CN 202110737415A CN 113469177 A CN113469177 A CN 113469177A
- Authority
- CN
- China
- Prior art keywords
- image
- module
- size
- model
- drainage pipeline
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 97
- 238000001514 detection method Methods 0.000 title claims abstract description 63
- 238000013135 deep learning Methods 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 20
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 238000012216 screening Methods 0.000 claims abstract description 5
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 12
- 238000002372 labelling Methods 0.000 claims description 8
- 230000007797 corrosion Effects 0.000 claims description 7
- 238000005260 corrosion Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 238000005336 cracking Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 claims description 5
- 230000008021 deposition Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 238000009432 framing Methods 0.000 claims description 4
- 230000007849 functional defect Effects 0.000 claims description 4
- 230000003190 augmentative effect Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000007493 shaping process Methods 0.000 claims description 3
- 230000007847 structural defect Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 2
- 230000003044 adaptive effect Effects 0.000 claims 1
- 206010063385 Intellectualisation Diseases 0.000 abstract description 2
- 230000004913 activation Effects 0.000 description 8
- 238000007689 inspection Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000004873 anchoring Methods 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009413 insulation Methods 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000010802 sludge Substances 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 231100000331 toxic Toxicity 0.000 description 1
- 230000002588 toxic effect Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F17—STORING OR DISTRIBUTING GASES OR LIQUIDS
- F17D—PIPE-LINE SYSTEMS; PIPE-LINES
- F17D5/00—Protection or supervision of installations
- F17D5/02—Preventing, monitoring, or locating loss
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
- Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度学习的排水管道缺陷检测方法及系统，属于机器视觉和目标检测领域。本发明首先收集排水管道内部图像，对图像进行筛选和预处理，并且使用sinGAN扩充数据集；然后确定标记出图像中缺陷区域，制作数据集；再构建基于区域提名的排水管道缺陷识别模型，主要包括多尺度特征图提取模块，区域生成网络模块，ROI Align模块和掩码生成模块；最后将图像传入模型中进行训练，并优化模型输出。本发明能够准确检测出排水管道缺陷类型与所在位置，相比于现有的技术手段，既提高了检测效率和检测精度，也提升了排水管道缺陷检测的智能化。
Description
技术领域
本发明涉及一种基于深度学习的排水管道缺陷检测方法及系统，属于机器视觉和目标检测领域。
背景技术
地下排水管道是城市建设发展中最重要的地下基础设施之一，有着“城市血管”之称。目前我国在城市排水中起重要作用的管道，大多修建于20世纪60年代，这些管道老化、淤塞严重，对现有管道进行排查，确定其健康状况刻不容缓。
排水管道检测通常可分为功能性检测及结构性检测。功能性检测主要检测内部是否有沉积、结垢、障碍物、树根、积水、封堵和浮渣等缺陷，结构性检测主要检测管体是否有破裂、变形、错位、脱节、渗漏、腐蚀、胶圈脱落、支管暗接及异物侵入等损伤。传统的管道检查方法主要是让工作人员进入管道，通过摄影、摄像的方式记录缺陷状况，或者借助简易工具，如反光镜、量泥斗、激光笔等检查排水管道检查口处的积泥深度，以此判定整个管道的积泥情况。人员进入管道的方法由于工作环境恶劣，工作面狭窄，通气性差，甚至有的管道内会有一定浓度的有毒有害气体，人工进入管道的方式存在一定的危险性，并且简单的工具也难以精确地检测管道内部的结构和功能性状况，如管道内部结垢、障碍物、破裂等。传统检测方法无法满足管道内部缺陷定量、精确的检查。新的管道检测技术包括声呐检测、管道潜望镜检测、红外温度记录与分析以及CCTV(Closed Circuit Television)管道内窥检测等，与传统的管道检查技术相比，主要有安全性高、图像清晰、直观并可反复播放供业内人士研究的特点，为管道修复方案的科学决策提供了有力的帮助。
声呐检测是利用声呐设备向水下物体或管壁发射超声波，通过接收回波并借助计算机技术进行分析，形成管道内部的横断面图，从而反映出管道内部状况。但由于声呐探测主要根据超声波反射原理探测，用于解决管道内部水位较高时，检测管道内的淤泥量，软质管道的变形等缺陷问题，难以识别管道内裂缝、腐蚀等比较细小的缺陷。
管道潜望镜是一种通过远程采集图像并回传以进行检测的设备，主要由主控器、安装摄像头的伸缩杆、线缆三部分组成。探测时借助伸缩杆将设备放入管道，通过调节伸缩杆长度使设备到达预定位置，利用设备自带的照明光源以及高清摄像机采集管道内部图像进行检测。管道潜望镜可对纵深80m和管径150mm到2000mm的管道进行检测，连接便捷，操作简单，镜头放入检查井中对管内情况一目了然，相比于其他仪器携带更轻便。但受限于伸缩杆的长度，仅能在管口附近进行探测，无法准确探测管道内部的缺陷状况。
红外温度记录与分析技术是根据管道泄漏处与其周围区域的温度梯度差来判断管道的状态，因为管道周围土壤的绝缘性产生了温度梯度差，所以需要与精密红外探测器配合使用测量并掌握地下情况。该方法可以准确检测出管道的缺陷状态，但其存在的缺点也比较明显，比如对管道状况的评价过于依赖于单个传感器，需要大量的实践经验来理解和解释测试结果。
CCTV管道内窥检测主要通过管道机器人搭载高清摄像头，工作人员远程控制机器人在管道内移动采集图像，并通过传输电缆将图像实时传送到地面进行检测。目前已成为欧美、日本等国家应用最广泛的检测手段，其主要问题是智能化程度较低，大部分是由技术人员对管道图像的缺陷进行人工识别，过度依赖于检测人员的经验，存在很大的主观性，同时需要消耗大量的时间和精力。
发明内容
发明目的：针对以上现在技术存在的问题，为了提升排水管道缺陷检测的智能化，更精确地检测出缺陷所在位置，本发明提出了一种基于深度学习的排水管道缺陷检测方法及系统，该方法通过制作数据集，构建算法模型，训练算法模型，并对模型检测结果进行优化，达到精确检测缺陷的目的。
技术方案：为实现上述发明目的，本发明采用如下技术方案：
一种基于深度学习的排水管道缺陷检测方法，包括以下步骤：
(1)获取排水管道内部图像，对图像进行筛选和预处理，并且使用sinGAN扩充数据集；
(2)确定待检测的典型缺陷种类，并对数据集进行标注；
(3)构建排水管道缺陷识别模型，所述排水管道缺陷识别模型包括多尺度特征图提取模块，区域生成网络模块，ROI Align模块和掩码生成模块；所述多尺度特征图提取模块通过BoTNet-50网络得到尺寸大小不同的特征图并输入FPN网络进行融合，得到多尺度特征图；所述区域生成网络模块GA-RPN网络生成自适应大小的锚框，作为所述ROI Align模块的输入；所述ROI Align模块根据预测边界框的位置坐标在特征图中将相应的区域池化为固定尺寸的特征图，作为所述掩码生成模块的输入，所述掩码生成模块包括分类分支、边界框回归分支和mask预测分支，分别对输入的特征进行多类别分类、边界框回归和掩码生成；
(4)使用数据集训练模型，调整模型参数；
(5)使用训练好的模型检测图像，对模型输出结果进行优化，可视化边缘轮廓。
作为优选，所述步骤(1)包括：
(11)从管道缺陷检测报告中收集排水管道缺陷图像作为样本数据，选取存在缺陷的全局图作为样本数据，所述全局图为镜头在管道内部直视前方拍摄的图像；
(12)获取CCTV排水管道内部检测视频，进行分帧处理，选择清晰并且存在缺陷的全局图像作为样本数据；
(13)使用多尺度图像细节提升算法，对图像进行处理，增强原图中的细节信息；
(14)使用Laplace算子，对图像进行锐化操作，补偿图像的轮廓，增强图像的边缘及灰度跳变的部分，使图像更清晰；
(15)使用sinGAN生成相似图像，扩充数据集。
作为优选，所述步骤(2)中缺陷种类包括功能性缺陷和结构性缺陷两大类，选取破裂、腐蚀、错口脱节、支管暗接、沉积、结垢、障碍物、树根、浮渣九类缺陷作为检测目标；对数据集的标注包括：
(21)使用labelme标注工具在图像上标记出缺陷区域所在位置，以coco数据集的图像分割数据格式为标准，每张图像生成对应的json格式的文本；
(22)将每张图像生成对应的json格式的文本转换成对应的mask图像。
作为优选，所述步骤(3)中排水管道缺陷识别模型的多尺度特征图提取模块包括BoTNet-50网络和FPN网络；所述BoTNet-50网络包括依次连接的第一卷积层、第一残差瓶颈模块、第二残差瓶颈模块、第三残差瓶颈模块以及三个BoT模块，每个BoT模块在两层卷积之间增加多头自注意力；尺寸为m*m大小的图像经过第一卷积层、第一残差瓶颈模块、第二残差瓶颈模块、第三残差瓶颈模块、三个BoT模块后输出的特征图output1，output2，output3，output4，output5的尺寸分别为(m/2)*(m/2)、(m/4)*(m/4)、(m/8)*(m/8)、(m/16)*(m/16)、(m/32)*(m/32)；将output2，output3，output4，output5，作为FPN网络的输入。
作为优选，所述FPN网络先对特征图output5，output4，output3，output2通过卷积操作进行通道调整得到output5＇，output4＇，output3＇，output2＇，再对output5＇采用最近邻插值法进行两倍的上采样，得到与output4＇尺寸相同的output5＂，将output5＂与output4＇对应像素相加，得到融合后的特征图output4＂；采用同样的方法，对output4＂进行两倍上采样后与output3＇进行融合，得到融合后的特征图output3＂；对output3＂进行两倍上采样后与output2＇进行融合，得到融合后的特征图output2＂；将得到的output5＇，output4＂，output3＂，output2＂都进行一次积操作，得到多尺度特征图P5，P4，P3，P2；其中，P5尺寸为(m/32)*(m/32)，P4尺寸为(m/16)*(m/16)，P3尺寸为(m/8)*(m/8)，P2尺寸为(m/4)*(m/4)；将P5进行一次最大值池化得到尺寸为(m/64)*(m/64)的特征图P6；经过FPN网络提取到的多尺度特征图为P6，P5，P4，P3，P2。
作为优选，所述步骤(3)中区域生成网络模块采用GA-RPN网络，该网络包括锚点生成模块和特征自适应模块；锚点生成模块包括位置预测分支和形状预测分支；所述位置预测分支用于判断输入特征图上每个特征点是否为目标点；所述形状预测分支用于确定是目标特征点的锚点的宽和高；所述特征自适应模块根据锚点形状对该区域内的特征进行重采样，根据兴趣域大小调整其区域内特征感受野；GA-RPN网络的联合训练损失函数为：
L’＝λ1Lloc+λ2Lshape+L’cls+Lreg
其中，Lloc是位置预测分支产生的损失，Lshape是形状预测分支产生的损失，L’cls是判断边界框是前景还是背景的分类损失，Lreg是边界框回归损失，参数λ1、λ2用于平衡锚点定位和定形损失。
作为优选，所述步骤(3)中排水管道缺陷识别模型的ROI Align模块，采用ROIAlign操作调整建议区域模块中生成的一系列候选区域(ROI)的大小。RoI Align使用双线性插值和最大池化，在特征图中将相应的区域池化为固定尺寸的采样特征。
作为优选，所述步骤(4)包括：
(41)将原图像和对应的mask图像放在两个不同的文件夹下面；
(42)读入原图像和mask图像，在读入mask图像的同时获得边界框坐标信息；
(43)划分训练集、测试集和验证集；
(44)设置模型参数，包括批处理大小、学习率、迭代次数，使用训练集进行模型训练，得到训练好的模型；
(45)观察模型在验证集上的效果，通过调整超参数，让模型处于最佳状态。
作为优选，所述步骤(5)包括：
(51)将待检测的排水管道图像输入模型进行缺陷检测，获得模型输出结果，包括：边界框信息，置信度得分，标签类别和生成的mask图像；
(52)过滤置信度得分低于设定阈值的目标和mask图像；
(53)将过滤后的mask图像逐像素进行融合；
(54)将融合后的mask图像再进行阈值化处理，并且将像素值映射到[0,255]区间内，转换成unit8类型；
(55)将mask图像转换为灰度图像，提取轮廓坐标点；
(56)对轮廓坐标分区域间隔采样，减少多坐标轮廓的坐标个数，在原图上绘制轮廓坐标。
基于相同的发明构思，本发明提供的一种基于深度学习的排水管道缺陷检测系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现所述的基于深度学习的排水管道缺陷检测方法。
有益效果：本发明与现有技术相比的优点在于：
1、由于缺陷种类繁多，不同于破裂，腐蚀等这些频繁发生的缺陷，有的缺陷数量很少，无法达到制作数据集的数量标准。故采用生成对抗网络(GAN)可以很好地扩充数据集中较少缺陷种类的数量，可以让模型更好地学习各个缺陷种类的特征。而且，从GAN中选择sin-GAN来扩充数据集的原因是，非条件性生成式模型sin-GAN可以由单张图像生成相似图像，操作方便，而且生成的图像质量高。
2、考虑到一些缺陷较小，无法准确定位，导致检测精度不高，故构建基于区域提名的排水管道缺陷识别模型，针对图像中目标位置，预先提出候选区域，可以更好地对目标进行定位。同时，多尺度特征图提取模块既可以得到高层特征，也可以得到低层特征，解决了检测中的多尺度问题，提升了小目标检测的性能。
3、由于管道内光线昏暗或照明设备亮度不够，导致获取的管道内部图像无法清楚显示缺陷所在位置，更无法分辨缺陷种类。故先使用多尺度图像细节提升算法和Laplace算子对图像进行处理，保留更多细节信息的同时，增强对比度，补偿图像的轮廓，使模型能更好地学习到缺陷的特征。同时，使用BoTNet网络提取特征图，BoTNet是对ResNet的改进，在第四层的残差模块上，BoTNet增加了多头自注意力(MHSA)模块，用全局自注意力替换空间卷积。在残差网络中引入自注意力机制，增加了网络架构的全局信息聚合能力，可以产生更具分辨性的特征表示，提升整个模型的性能。
4、考虑到本发明研究的缺陷类型，由于形状，大小存在较大差异性，故采用GuidedAnchoring RPN来生成建议区域。GA-RPN(Guided Anchoring)是一种新的anchor生成方法，它是通过图像特征来指导锚框的生成，既可以减少多余的锚点生成，减少计算量，也可以提高召回率。
附图说明
图1为本发明实施例的方法流程图。
图2为构建的排水管道缺陷识别模型的结构示意图
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
排水管道缺陷种类比较多，一一去识别的话，则要使用很多模型，检测步骤也会很繁琐。所以，本发明选择构建两阶段的实例分割算法模型。一方面，实例分割模型可以检测多个不同种类的目标，对同一个种类的不同目标也能区分开来。另一方面，两阶段的算法模型检测精度比一阶段的更高。构建的算法模型框架同很多现有的模型框架类似，先提取特征图，再生成候选区域，然后根据特征生成掩码mask图像，从而达到目标检测的目的。
具体地，如图1所示，本发明实施例公开的一种基于深度学习的排水管道缺陷检测方法，包括以下步骤：
(1)收集排水管道内部图像，对图像进行筛选和预处理，并且使用sinGAN扩充数据集。
(2)确定待检测的典型缺陷种类，并对数据集进行标注。
(3)构建排水管道缺陷识别模型，主要包括多尺度特征提取模块，区域生成网络模块，ROI Align模块和掩码生成模块。
(4)使用数据集训练模型，调整模型参数。
(5)使用训练好的模型检测图像，对模型输出结果进行优化，可视化边缘轮廓；
步骤(1)中的收集排水管道内部图像，对图像进行筛选，再预处理，具体步骤如下：
(11)从管道缺陷检测报告中收集排水管道缺陷图像，选取存在缺陷的全局图作为样本数据，所述全局图为镜头在管道内部直视前方拍摄的图像。
(12)获取CCTV排水管道内部检测视频，采用FFmpeg图像快速分帧软件对视频进行分帧处理，视频分帧处理的结果为多张分辨率和尺寸相同的图像，选择较为清晰并且缺陷明显的全局图作为样本数据。
(13)使用多尺度图像细节提升算法，对原始图像进行处理。该算法对原始图像做了三个尺度的高斯滤波处理，再通过和原图相减，从而获得不同程度的细节信息。然后通过一定的组合方式把这些细节信息融合到原图中，从而得到加强原图信息的能力。通过该算法处理后的图像，会比原图更加清晰。
(14)使用Laplace算子，对图像进行锐化操作，补偿图像的轮廓，增强图像的边缘及灰度跳变的部分，使图像更清晰。
拉普拉斯算子是通过二阶微分推导出的一种图像邻域增强算法。它的基本思想是当邻域的中心像素灰度低于它所在邻域内的其他像素的平均灰度时，此中心像素的灰度应该进一步降低；当高于时进一步提高中心像素的灰度，从而实现图像锐化处理。锐化操作采用的拉普拉斯算子模板的形式为：
步骤(1)中的使用sinGAN扩充数据集，SinGAN结构具有一系列级联的生成器(G)和判别器(D)组成，每一个G-D都负责一种尺度，通过学习patch内部的数据分布，网络最终能在测试时输出保留原图中目标的结构以及形象，又不同于原图的真实图像。训练和生成都是由粗到细的，在每个尺度上Gn学习生成图像，而判别器Dn则识别所有重叠的图像块和下采样的真实图像的真假。生成器和判别器采用同一个网络结构，该网络分为三个部分：头部，主体，尾部。具体结构如下：
头部：一层卷积，卷积核大小3*3，卷积核数量32，步长为1
一层BatchNorm批归一化
一层LeakyReLU激活函数
主体：三个重复的卷积模块，单个模块结构如下：
一层卷积，卷积核大小3*3，卷积核数量32，步长为1
一层BatchNorm批归一化
一层LeakyReLU激活函数
尾部：一层卷积，卷积核大小3*3，卷积核数量32，步长为1
一层Tanh激活函数
从现有图像中随机选取若干图像作为SinGAN模型的输入图像，通过输入不同的高斯噪音，得到一系列生成图像，从中筛选出可以用作数据集的样本图像。
步骤(2)中确定待检测的典型缺陷种类，并对数据集进行标注，具体步骤如下：
(21)依据《城镇排水管道检测与评估技术规程(CJJ181-2012)》，排水管道缺陷大致划分成两大类，功能性缺陷和结构性缺陷，并且按照严重程度划分成四个等级。结构性检测缺陷具体包括破裂(四个等级)、变形(四个等级)、腐蚀(三个等级)、错口(三个等级)、起伏(四个等级)、脱节(四个等级)、接口材料脱落(两个等级)、支管暗接(三个等级)、异物穿入(三个等级)、渗漏(四个等级)10类。功能性缺陷包括沉积(四个等级)、结垢(四个等级)、障碍物(四个等级)、残墙坝根(四个等级)、树根(四个等级)、浮渣(三个等级)6类。考虑到并不是所有缺陷都会对整个排水管道的安全高效运行造成严重影响，综合考虑发生概率，影响危害大小和特征明显程度，选取破裂、腐蚀、错口脱节(都属于管口未充分接合)、支管暗接、沉积、结垢、障碍物、树根、浮渣这九类缺陷作为检测目标。
(22)使用labelme标注工具，在图像上使用不同的标签分别标注出九类缺陷，以coco数据集的图像分割数据格式为标准，每张图像生成对应的json格式的文本。
(23)编写python脚本，将每张图像生成对应的json格式的文本转换成对应的mask图像。
步骤(3)中构建排水管道缺陷识别模型，主要包括多尺度特征提取模块，区域生成网络模块，ROI Align模块和掩码生成模块，模型如图2所示，具体介绍如下：
多尺度特征图提取模块使用BoTNet-50网络和特征金字塔网络(FPN)在原图上提取多尺度特征图。BoTNet-50主要分为5个部分，第一个部分是一个卷积层，第二，三，四部分是残差瓶颈模块，最后一部分是BoT(Bottleneck Transformer)模块。具体结构如下(省略了BN层和ReLU激活函数)：
第一部分C1：一层卷积，卷积核大小7*7，卷积核数量64，步长为2
第二部分C2：一层Max Pooling，filter大小3*3，步长为2
三个瓶颈模块，单个模块结构如下：
一层卷积，卷积核大小1*1，卷积核数量64，
一层卷积，卷积核大小3*3，卷积核数量64，
一层卷积，卷积核大小1*1，卷积核数量256，
第三部分C3：四个瓶颈模块，单个模块结构如下：
一层卷积，卷积核大小1*1，卷积核数量128，
一层卷积，卷积核大小3*3，卷积核数量128，
一层卷积，卷积核大小1*1，卷积核数量512，
第四部分C4：六个瓶颈模块，单个模块结构如下：
一层卷积，卷积核大小1*1，卷积核数量256，
一层卷积，卷积核大小3*3，卷积核数量256，
一层卷积，卷积核大小1*1，卷积核数量1024，
第五部分C5：三个BoT模块，单个模块结构如下：
一层卷积，卷积核大小1*1，卷积核数量512，
一层MHSA
一层卷积，卷积核大小1*1，卷积核数量2048，
输入图像在输入深层卷积神经网络前，首先会被缩放到固定大小的尺寸。对于通道为3，缩放后尺寸为m*m大小的RGB图像，输入深度神经网络，经过C1后，得到尺寸为(m/2)*(m/2)，通道为64的输出；再将C1的输出作为C2的输入，得到尺寸为(m/4)*(m/4)，通道为256的输出，同时保存C2的输出output2；再将C2的输出作为C3的输入，得到尺寸为(m/8)*(m/8)，通道为512的输出，同时保存C3的输出output3；再将C3的输出作为C4的输入，得到尺寸为(m/16)*(m/16)，通道为1024的输出，同时保存C4的输出output4；再将C4的输出作为C5的输入，得到尺寸为(m/32)*(m/32)，通道为2048的输出，同时保存C5的输出output5。
BoTNet-50保存的四层输出，用作FPN网络的输入。首先，先将这四层输出的特征图output5，output4，output3，output2都做一次卷积操作,卷积核大小为1*1，卷积核个数为256。1*1的卷积操作实际上是对每层输出特征图进行通道调整。output5经过卷积操作后的输出特征图output5＇尺寸为(m/32)*(m/32)，通道为256。Output4经过卷积操作后的输出特征图output4＇尺寸为(m/16)*(m/16)，通道为256。Output3经过卷积操作后的输出特征图output3＇尺寸为(m/8)*(m/8)，通道为256。Output2经过卷积操作后的输出特征图output2＇尺寸为(m/4)*(m/4)，通道为256。
再对output5＇采用最近邻插值法进行两倍的上采样。最近邻插值法是在待求象素的四邻象素中，将距离待求象素最近的邻象素灰度赋给待求象素，是最简单的一种插值方法，公式如下：
srcX＝dstX*(srcWidth/dstWidth)
srcY＝dstY*(srcHeight/dstHeight)
其中src表示旧图，dst表示新图。新图的坐标(dstX，dstY)对应于旧图的坐标(srcX，srcY)。srcWidth/dstWidth和srcHeight/dstHeight分别表示宽和高的放缩比。当srcX，srcY是小数时，四舍五入选取最接近的整数。
output5＇经过两倍上采样得到的特征图为output5＂，通道数不变，尺寸变为(m/16)*(m/16)，与output4＇尺寸相同。将得到的output5＂与output4＇采用element-wise add进行融合，也就是在尺寸与通道数相同的情况下，两个特征图对应像素相加，最后得到融合后的特征图output4＂。采用同样的方法，对output4＂进行两倍上采样后与output3＇进行融合，得到融合后的特征图output3＂；对output3＂进行两倍上采样后与output2＇进行融合，得到融合后的特征图output2＂。
将得到的output5＇，output4＂，output3＂，output2＂都进行一次卷积核为3，步长为1的卷积操作，得到多尺度特征图P5，P4，P3，P2。其中，P5尺寸为(m/32)*(m/32)，P4尺寸为(m/16)*(m/16)，P3尺寸为(m/8)*(m/8)，P2尺寸为(m/4)*(m/4)，通道数都是256。将P5进行一次最大值池化，过滤器大小为1*1，步长为2，得到尺寸为(m/64)*(m/64)的特征图P6。该模块在原图上所提取到的多尺度特征图为P6，P5，P4，P3，P2。
在目标检测里，通常使用边界框(bounding box)来描述目标位置。边界框是一个矩形框，可以由矩形左上角的x和y轴坐标与右下角的x和y轴坐标确定。目标检测算法通常会在输入图像中采样大量的区域，然后判断这些区域中是否包含我们感兴趣的目标，并调整区域边缘从而更准确地预测目标的真实边界框。不同的模型使用的候选区域采样方法可能不同。目前，产生候选区域的方法主要有滑动窗口(sliding window)，选择性搜索(selective search)，候选区域网络(RPN)。由于RPN算法相比于前两者，它的训练和测试速度更快，效率更高，所以采用RPN算法来生成候选区域。
RPN算法主要是以每个像素为中心生成多个大小和宽高比不同的锚框(AnchorBox)，然后判断这些锚框为前景还是背景，再修正判断为前景的锚框大小来生成边界框。现有的Anchor-based方法生成锚框的过程存在两大问题：第一，为了生成建议区域的准确性，需要生成密集的锚框，引入过多负样本同时影响模型的速率。第二，锚框的尺度和长宽比需要预先定义，针对不同类型的检测任务需要调整这些超参数，预先定义好的锚框形状不一定能满足极端大小或者长宽比悬殊的物体。考虑到本发明研究的缺陷类型，由于形状，大小存在较大差异性，故区域生成网络层采用Guided Anchoring RPN来生成候选区域。GA-RPN(Guided Anchoring)是一种新的anchor生成方法，它是通过图像特征来指导锚框的生成。GA-RPN相比RPN减少90％的锚框，并且提高9.1％的召回率。
GA-RPN由两个模块组成，锚点生成模块(Anchor generation)和特征自适应(Feature adaption)模块。锚点生成模块由位置预测和形状预测两个分支构成。锚点生成模块中位置预测分支用于判断输入特征图上每个特征点是否为目标点；形状预测分支用于确定是目标特征点的锚点的宽和高；特征自适应模块则根据定形子分支生成的锚点形状对该区域内的特征进行重采样，根据兴趣域大小调整其区域内特征感受野。接下来分别对这3个过程进行介绍。
位置预测分支：输入特征图F经由一个1×1卷积后，再通过Sigmoid函数激活，生成一个尺度与F相同的概率特征图Fp，其各点值表示F中每个特征点为目标的概率。然后，设定一个概率阈值τ，Fp中特征值大于τ的点，对应在F被判断为目标中心点。最后，通过阈值筛选减少近90％的锚点数量。
形状预测分支：位置预测分支给出了锚点中心位置，还需对所有锚框的宽(w)和高(h)进行预测。考虑到锚框尺度变化较大，直接学习锚框的宽和高可能会导致网络不稳定，无法训练，将w、h做以下变换
w＝δ·s·edw
h＝δ·s·edh
其中，s为特征图相对于输入图像的卷积步长，δ是经验尺度因子，取经验值。该过程由一个2维的1×1卷积实现。这种非线性变换，能够将待学习的参数范围从[1，1 000]调整到[-1，1]，简化网络训练。这种根据锚点位置信息来学习锚点框宽和高的方法，增加了锚点位置与形状的相关性，进而能够获得更高的召回率。
特征自适应调整：GA-RPN利用特征自适应模块对所有锚点框对应的感受野进行调整。
fi′＝NT(fi,wi,hi)
其中，fi是锚点生成模块生成的第i个锚点框对应在输入特征图F上的特征值；wi、hi是预测出该锚点的宽和高；NT由一个3×3的可变形卷积实现；fi′为调整后的特征值。
GA-RPN网络的联合训练损失函数为：
L’＝λ1Lloc+λ2Lshape+L’cls+Lreg
其中，Lloc是位置预测分支产生的损失，Lshape是形状预测分支产生的损失，L’cls是判断边界框是前景还是背景的分类损失，Lreg是边界框回归损失，参数λ1、λ2用于平衡锚点定位和定形损失。
多尺度特征图P6，P5，P4，P3，P2输入到GA-RPN网络中，生成建议区域ROI，作为ROIAlign模块的输入。
ROI Align模块采用ROI Align操作调整区域生成网络模块中生成的一系列候选区域的大小。ROI Align根据预测边界框的位置坐标在特征图中将相应的区域池化为固定尺寸的特征图，以便后续掩码生成和分类，边框的回归操作。
ROI Align先计算每一个ROI是来自于金字塔特征的P2到P5哪一层的特征，计算公式为
w，h分别表示ROI宽度和高度；k是这个RoI应属于的特征层level；k0是w和h等于224时映射的层数，一般取为4，即对应着P4。再将单个ROI分成n*n大小的子区域，在每个子区域内取四个采样点。使用双线性插值的方法，根据当前生成该ROI的特征图上距离采样点最近的四个像素计算得到采样点的像素值。从四个像素值中取最大值作为该子区域的像素值。从而，所有的ROI都可以按照相同的操作池化成n*n大小的特征图。该模块会输出尺寸7×7，通道数为256的采样特征和尺寸14×14，通道数为256的采样特征。
掩码生成模块，主要包括三个分支：分类分支，边界框回归分支和mask预测分支。对上述处理后的ROI进行N类别分类、边界框回归和掩码生成。
将7×7尺寸的采样特征，进行卷积核为7×7和1×1的卷积操作，拉平成长向量，输入到分类分支和边界框回归分支。分类分支是通过一层全连接神经网络和softmax激活函数实现分类。边界框回归分支也是通过全连接神经网络实现边界框位置偏移回归。
mask预测分支将14×14尺寸的采样特征，先进行4层卷积核大小为3×3的卷积操作，每层都后接BN和relu激活函数；再进行一层卷积核大小为2×2，步长为2的转置卷积操作，激活函数为relu；最后进行一层卷积核大小为1×1，激活函数为sigmoid的卷积操作，保证生成的mask图像的像素值在0到1之间。
模型的损失函数为：
L＝Lcls+Lbox+Lmask
其中，Lcls是分类分支产生的损失，Lbox是边界框回归分支产生的损失，Lmask是mask预测分支产生的损失。
步骤(4)中的使用数据集训练模型，调整模型参数，具体步骤如下：
(41)将原图像和对应的mask图像放在两个不同的文件夹下面
(42)算法读入原图像和mask图像，在读入mask图像的同时获得边界框坐标信息，便于之后计算边界框回归损失。
(43)划分训练集、测试集和验证集。
(44)设置一些模型参数，如批处理大小、学习率、迭代次数等，使用训练集进行模型训练，得到训练好的模型。
(45)观察模型在验证集上的效果，适当调整超参数，让模型处于最佳状态。
步骤(5)中的使用训练好的模型检测图像，对模型输出结果进行优化，可视化边缘轮廓，具体步骤如下：
(51)将待检测的排水管道图像输入模型进行缺陷检测，获得模型输出结果，包括：边界框信息，置信度scores得分，标签类别和生成的mask图像等
(52)过滤置信度scores得分低于一定阈值的目标和mask图像。
(53)将剩下的mask图像逐像素进行融合。
(54)将融合后的mask图像再进行阈值化处理，并且将像素值映射到[0,255]区间内，转换成unit8类型。
(55)将mask图像转换为灰度图像，提取轮廓坐标点。
(56)对轮廓坐标分区域间隔采样，减少多坐标轮廓的坐标个数，在原图上绘制轮廓坐标。
基于相同的发明构思，本发明实施例公开的一种基于深度学习的排水管道缺陷检测系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该计算机程序被加载至处理器时实现上述的基于深度学习的排水管道缺陷检测方法。
Claims (10)
1.一种基于深度学习的排水管道缺陷检测方法，其特征在于，包括以下步骤：
(1)获取排水管道内部图像，对图像进行筛选和预处理，并且使用sinGAN扩充数据集；
(2)确定待检测的典型缺陷种类，并对数据集进行标注；
(3)构建排水管道缺陷识别模型，所述排水管道缺陷识别模型包括多尺度特征图提取模块，区域生成网络模块，ROI Align模块和掩码生成模块；所述多尺度特征图提取模块通过BoTNet-50网络得到尺寸大小不同的特征图并输入FPN网络进行融合，得到多尺度特征图；所述区域生成网络模块GA-RPN网络生成自适应大小的锚框，作为所述ROI Align模块的输入；所述ROI Align模块根据预测边界框的位置坐标在特征图中将相应的区域池化为固定尺寸的特征图，作为所述掩码生成模块的输入，所述掩码生成模块包括分类分支、边界框回归分支和mask预测分支，分别对输入的特征进行多类别分类、边界框回归和掩码生成；
(4)使用数据集训练模型，调整模型参数；
(5)使用训练好的模型检测图像，对模型输出结果进行优化，可视化边缘轮廓。
2.根据权利要求1所述的一种基于深度学习的排水管道缺陷检测方法，其特征在于，所述步骤(1)包括：
(11)从管道缺陷检测报告中收集排水管道缺陷图像作为样本数据，选取存在缺陷的全局图作为样本数据，所述全局图为镜头在管道内部直视前方拍摄的图像；
(12)获取CCTV排水管道内部检测视频，进行分帧处理，选择清晰并且存在缺陷的全局图像作为样本数据；
(13)使用多尺度图像细节提升算法，对图像进行处理，增强原图中的细节信息；
(14)使用Laplace算子，对图像进行锐化操作，补偿图像的轮廓，增强图像的边缘及灰度跳变的部分，使图像更清晰；
(15)使用sinGAN生成相似图像，扩充数据集。
3.根据权利要求1所述的一种基于深度学习的排水管道缺陷检测方法，其特征在于，所述步骤(2)中缺陷种类包括功能性缺陷和结构性缺陷两大类，选取破裂、腐蚀、错口脱节、支管暗接、沉积、结垢、障碍物、树根、浮渣九类缺陷作为检测目标；对数据集的标注包括：
(21)使用labelme标注工具在图像上标记出缺陷区域所在位置，以coco数据集的图像分割数据格式为标准，每张图像生成对应的json格式的文本；
(22)将每张图像生成对应的json格式的文本转换成对应的mask图像。
4.根据权利要求1所述的一种基于深度学习的排水管道缺陷检测方法，其特征在于，所述步骤(3)中排水管道缺陷识别模型的多尺度特征图提取模块包括BoTNet-50网络和FPN网络；所述BoTNet-50网络包括依次连接的第一卷积层、第一残差瓶颈模块、第二残差瓶颈模块、第三残差瓶颈模块以及三个BoT模块，每个BoT模块在两层卷积之间增加多头自注意力；尺寸为m*m大小的图像经过第一卷积层、第一残差瓶颈模块、第二残差瓶颈模块、第三残差瓶颈模块、三个BoT模块后输出的特征图output1，output2，output3，output4，output5的尺寸分别为(m/2)*(m/2)、(m/4)*(m/4)、(m/8)*(m/8)、(m/16)*(m/16)、(m/32)*(m/32)；将output2，output3，output4，output5，作为FPN网络的输入。
5.根据权利要求4所述的一种基于深度学习的排水管道缺陷检测方法，其特征在于，所述FPN网络先对特征图output5，output4，output3，output2通过卷积操作进行通道调整得到output5＇，output4＇，output3＇，output2＇，再对output5＇采用最近邻插值法进行两倍的上采样，得到与output4＇尺寸相同的output5＂，将output5＂与output4＇对应像素相加，得到融合后的特征图output4＂；采用同样的方法，对output4＂进行两倍上采样后与output3＇进行融合，得到融合后的特征图output3＂；对output3＂进行两倍上采样后与output2＇进行融合，得到融合后的特征图output2＂；将得到的output5＇，output4＂，output3＂，output2＂都进行一次积操作，得到多尺度特征图P5，P4，P3，P2；其中，P5尺寸为(m/32)*(m/32)，P4尺寸为(m/16)*(m/16)，P3尺寸为(m/8)*(m/8)，P2尺寸为(m/4)*(m/4)；将P5进行一次最大值池化得到尺寸为(m/64)*(m/64)的特征图P6；经过FPN网络提取到的多尺度特征图为P6，P5，P4，P3，P2。
6.根据权利要求1所述的一种基于深度学习的排水管道缺陷检测方法，其特征在于，所述步骤(3)中排水管道缺陷识别模型的区域生成网络模块使用的是GA-RPN网络,该网络包括锚点生成模块和特征自适应模块；锚点生成模块包括位置预测分支和形状预测分支；所述位置预测分支用于判断输入特征图上每个特征点是否为目标点；所述形状预测分支用于确定是目标特征点的锚点的宽和高；所述特征自适应模块根据锚点形状对该区域内的特征进行重采样，根据兴趣域大小调整其区域内特征感受野；GA-RPN网络的联合训练损失函数为：
L’＝λ1Lloc+λ2Lshape+L’cls+Lreg
其中，Lloc是位置预测分支产生的损失，Lshape是形状预测分支产生的损失，L’cls是判断边界框是前景还是背景的分类损失，Lreg是边界框回归损失，参数λ1、λ2用于平衡锚点定位和定形损失。
7.根据权利要求1所述的一种基于深度学习的排水管道缺陷检测方法，其特征在于，所述步骤(3)中排水管道缺陷识别模型的ROIAlign模块，采用ROI Align操作调整建议区域模块中生成的一系列候选区域的大小；RoIAlign使用双线性插值和最大池化，在特征图中将相应的区域池化为固定尺寸的采样特征。
8.根据权利要求1所述的一种基于深度学习的排水管道缺陷检测方法，其特征在于，所述步骤(4)包括：
(41)将原图像和对应的mask图像放在两个不同的文件夹下面；
(42)读入原图像和mask图像，在读入mask图像的同时获得边界框坐标信息；
(43)划分训练集、测试集和验证集；
(44)设置模型参数，包括批处理大小、学习率、迭代次数，使用训练集进行模型训练，得到训练好的模型；
(45)观察模型在验证集上的效果，通过调整超参数，让模型处于最佳状态。
9.根据权利要求1所述的一种基于深度学习的排水管道缺陷检测方法，其特征在于，所述步骤(5)包括：
(51)将待检测的排水管道图像输入模型进行缺陷检测，获得模型输出结果，包括：边界框信息，置信度得分，标签类别和生成的mask图像；
(52)过滤置信度得分低于设定阈值的目标和mask图像；
(53)将过滤后的mask图像逐像素进行融合；
(54)将融合后的mask图像再进行阈值化处理，并且将像素值映射到[0,255]区间内，转换成unit8类型；
(55)将mask图像转换为灰度图像，提取轮廓坐标点；
(56)对轮廓坐标分区域间隔采样，减少多坐标轮廓的坐标个数，在原图上绘制轮廓坐标。
10.一种基于深度学习的排水管道缺陷检测系统，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现根据权利要求1-9任一项所述的基于深度学习的排水管道缺陷检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110737415.7A CN113469177B (zh) | 2021-06-30 | 2021-06-30 | 基于深度学习的排水管道缺陷检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110737415.7A CN113469177B (zh) | 2021-06-30 | 2021-06-30 | 基于深度学习的排水管道缺陷检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113469177A true CN113469177A (zh) | 2021-10-01 |
| CN113469177B CN113469177B (zh) | 2024-04-26 |
Family
ID=77878233
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110737415.7A Active CN113469177B (zh) | 2021-06-30 | 2021-06-30 | 基于深度学习的排水管道缺陷检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113469177B (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113916227A (zh) * | 2021-10-09 | 2022-01-11 | 重庆邮电大学 | 基于无线传感器网络的管道内检测机器人跟踪定位方法 |
| CN113919395A (zh) * | 2021-10-12 | 2022-01-11 | 大连理工大学 | 基于一维卷积神经网络的给水管网渗漏事故诊断方法 |
| CN113989643A (zh) * | 2021-10-26 | 2022-01-28 | 萱闱(北京)生物科技有限公司 | 管道状态检测方法、装置、介质及计算设备 |
| CN114638807A (zh) * | 2022-03-22 | 2022-06-17 | 无锡雪浪数制科技有限公司 | 一种基于深度学习的金属板材表面缺陷检测方法 |
| CN114861739A (zh) * | 2022-07-06 | 2022-08-05 | 广东工业大学 | 一种特征通道可选择的多组件系统退化预测方法及系统 |
| CN114898177A (zh) * | 2022-05-09 | 2022-08-12 | 梅卡曼德（北京）机器人科技有限公司 | 缺陷图像生成方法、模型训练方法、设备、介质及产品 |
| CN115063405A (zh) * | 2022-07-27 | 2022-09-16 | 武汉工程大学 | 钢材表面缺陷检测的方法、系统、电子设备和存储介质 |
| CN115240020A (zh) * | 2022-04-29 | 2022-10-25 | 清远蓄能发电有限公司 | 基于弱光补偿的MaskRCNN渗水检测方法及系统 |
| CN115841449A (zh) * | 2022-09-23 | 2023-03-24 | 昆明市测绘研究院 | 排水管道结构性缺陷纵向定位的单目测距方法及存储介质 |
| CN115965627A (zh) * | 2023-03-16 | 2023-04-14 | 中铁电气化局集团有限公司 | 一种应用于铁路运营的微小部件检测系统及方法 |
| CN116188872A (zh) * | 2023-03-09 | 2023-05-30 | 北京甲板智慧科技有限公司 | 一种林业病虫害自动识别方法及装置 |
| CN116363440A (zh) * | 2023-05-05 | 2023-06-30 | 北京建工环境修复股份有限公司 | 基于深度学习的土壤中有色微塑料的识别检测方法及系统 |
| CN116596885A (zh) * | 2023-05-19 | 2023-08-15 | 长江生态环保集团有限公司 | 一种排水管网状态实时检测方法及系统 |
| CN116630242A (zh) * | 2023-04-28 | 2023-08-22 | 广东励图空间信息技术有限公司 | 一种基于实例分割的管道缺陷评估方法及装置 |
| CN117974634A (zh) * | 2024-03-28 | 2024-05-03 | 南京邮电大学 | 一种基于证据深度学习的无锚框表面缺陷可信检测方法 |
| CN117974634B (zh) * | 2024-03-28 | 2024-06-04 | 南京邮电大学 | 一种基于证据深度学习的无锚框表面缺陷可信检测方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019192397A1 (zh) * | 2018-04-04 | 2019-10-10 | 华中科技大学 | 一种任意形状的场景文本端到端识别方法 |
| CN110889813A (zh) * | 2019-11-15 | 2020-03-17 | 安徽大学 | 基于红外信息的低光图像增强方法 |
| CN112541864A (zh) * | 2020-09-25 | 2021-03-23 | 中国石油大学(华东) | 一种基于多尺度生成式对抗网络模型的图像修复方法 |
| CN112862811A (zh) * | 2021-03-10 | 2021-05-28 | 华中科技大学 | 基于深度学习的材料显微图像缺陷识别方法、设备及装置 |
| CN112883887A (zh) * | 2021-03-01 | 2021-06-01 | 中央财经大学 | 一种基于高空间分辨率光学遥感图像的建筑物实例自动提取方法 |
| CN113034478A (zh) * | 2021-03-31 | 2021-06-25 | 太原科技大学 | 一种基于深度学习网络的焊缝缺陷识别定位方法、系统 |
-
2021
- 2021-06-30 CN CN202110737415.7A patent/CN113469177B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019192397A1 (zh) * | 2018-04-04 | 2019-10-10 | 华中科技大学 | 一种任意形状的场景文本端到端识别方法 |
| CN110889813A (zh) * | 2019-11-15 | 2020-03-17 | 安徽大学 | 基于红外信息的低光图像增强方法 |
| CN112541864A (zh) * | 2020-09-25 | 2021-03-23 | 中国石油大学(华东) | 一种基于多尺度生成式对抗网络模型的图像修复方法 |
| CN112883887A (zh) * | 2021-03-01 | 2021-06-01 | 中央财经大学 | 一种基于高空间分辨率光学遥感图像的建筑物实例自动提取方法 |
| CN112862811A (zh) * | 2021-03-10 | 2021-05-28 | 华中科技大学 | 基于深度学习的材料显微图像缺陷识别方法、设备及装置 |
| CN113034478A (zh) * | 2021-03-31 | 2021-06-25 | 太原科技大学 | 一种基于深度学习网络的焊缝缺陷识别定位方法、系统 |
Non-Patent Citations (1)
| Title |
|---|
| 余鹰 等: "基于深度学习的人群计数研究综述", 计算机研究与发展, 31 March 2021 (2021-03-31) * |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113916227A (zh) * | 2021-10-09 | 2022-01-11 | 重庆邮电大学 | 基于无线传感器网络的管道内检测机器人跟踪定位方法 |
| CN113916227B (zh) * | 2021-10-09 | 2023-10-13 | 重庆邮电大学 | 基于无线传感器网络的管道内检测机器人跟踪定位方法 |
| CN113919395A (zh) * | 2021-10-12 | 2022-01-11 | 大连理工大学 | 基于一维卷积神经网络的给水管网渗漏事故诊断方法 |
| CN113989643B (zh) * | 2021-10-26 | 2023-09-01 | 萱闱(北京)生物科技有限公司 | 管道状态检测方法、装置、介质及计算设备 |
| CN113989643A (zh) * | 2021-10-26 | 2022-01-28 | 萱闱(北京)生物科技有限公司 | 管道状态检测方法、装置、介质及计算设备 |
| CN114638807A (zh) * | 2022-03-22 | 2022-06-17 | 无锡雪浪数制科技有限公司 | 一种基于深度学习的金属板材表面缺陷检测方法 |
| CN114638807B (zh) * | 2022-03-22 | 2023-10-20 | 无锡雪浪数制科技有限公司 | 一种基于深度学习的金属板材表面缺陷检测方法 |
| CN115240020A (zh) * | 2022-04-29 | 2022-10-25 | 清远蓄能发电有限公司 | 基于弱光补偿的MaskRCNN渗水检测方法及系统 |
| WO2023207064A1 (zh) * | 2022-04-29 | 2023-11-02 | 清远蓄能发电有限公司 | 基于弱光补偿的MaskRCNN渗水检测方法及系统 |
| CN114898177A (zh) * | 2022-05-09 | 2022-08-12 | 梅卡曼德（北京）机器人科技有限公司 | 缺陷图像生成方法、模型训练方法、设备、介质及产品 |
| CN114861739A (zh) * | 2022-07-06 | 2022-08-05 | 广东工业大学 | 一种特征通道可选择的多组件系统退化预测方法及系统 |
| CN114861739B (zh) * | 2022-07-06 | 2022-09-23 | 广东工业大学 | 一种特征通道可选择的多组件系统退化预测方法及系统 |
| CN115063405A (zh) * | 2022-07-27 | 2022-09-16 | 武汉工程大学 | 钢材表面缺陷检测的方法、系统、电子设备和存储介质 |
| CN115841449A (zh) * | 2022-09-23 | 2023-03-24 | 昆明市测绘研究院 | 排水管道结构性缺陷纵向定位的单目测距方法及存储介质 |
| CN116188872A (zh) * | 2023-03-09 | 2023-05-30 | 北京甲板智慧科技有限公司 | 一种林业病虫害自动识别方法及装置 |
| CN115965627B (zh) * | 2023-03-16 | 2023-06-09 | 中铁电气化局集团有限公司 | 一种应用于铁路运营的微小部件检测系统及方法 |
| CN115965627A (zh) * | 2023-03-16 | 2023-04-14 | 中铁电气化局集团有限公司 | 一种应用于铁路运营的微小部件检测系统及方法 |
| CN116630242A (zh) * | 2023-04-28 | 2023-08-22 | 广东励图空间信息技术有限公司 | 一种基于实例分割的管道缺陷评估方法及装置 |
| CN116630242B (zh) * | 2023-04-28 | 2024-01-12 | 广东励图空间信息技术有限公司 | 一种基于实例分割的管道缺陷评估方法及装置 |
| CN116363440A (zh) * | 2023-05-05 | 2023-06-30 | 北京建工环境修复股份有限公司 | 基于深度学习的土壤中有色微塑料的识别检测方法及系统 |
| CN116363440B (zh) * | 2023-05-05 | 2023-12-19 | 北京建工环境修复股份有限公司 | 基于深度学习的土壤中有色微塑料的识别检测方法及系统 |
| CN116596885A (zh) * | 2023-05-19 | 2023-08-15 | 长江生态环保集团有限公司 | 一种排水管网状态实时检测方法及系统 |
| CN117974634A (zh) * | 2024-03-28 | 2024-05-03 | 南京邮电大学 | 一种基于证据深度学习的无锚框表面缺陷可信检测方法 |
| CN117974634B (zh) * | 2024-03-28 | 2024-06-04 | 南京邮电大学 | 一种基于证据深度学习的无锚框表面缺陷可信检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113469177B (zh) | 2024-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113469177B (zh) | 基于深度学习的排水管道缺陷检测方法及系统 | |
| Ren et al. | State of the art in defect detection based on machine vision | |
| CN108961235B (zh) | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 | |
| CN109409263B (zh) | 一种基于Siamese卷积网络的遥感影像城市地物变化检测方法 | |
| CN112258496A (zh) | 一种基于全卷积神经网络的地下排水管道病害分割方法 | |
| CN111598098B (zh) | 一种基于全卷积神经网络的水尺水位线检测及有效性识别方法 | |
| CN112330593A (zh) | 基于深度学习网络的建筑物表面裂缝检测方法 | |
| CN113989257A (zh) | 基于人工智能技术的电力综合管廊沉降裂缝识别方法 | |
| CN113313107B (zh) | 一种斜拉桥缆索表面多类型病害智能检测和识别方法 | |
| CN113177924A (zh) | 一种工业流水线产品瑕疵检测方法 | |
| CN115439458A (zh) | 基于深度图注意力的工业图像缺陷目标检测算法 | |
| CN113033315A (zh) | 一种稀土开采高分影像识别与定位方法 | |
| CN114723709A (zh) | 隧道病害检测方法、装置和电子设备 | |
| CN115731545A (zh) | 一种基于融合感知的电缆隧道巡检方法及装置 | |
| CN109409285B (zh) | 基于重叠切片的遥感视频目标检测方法 | |
| CN113469097B (zh) | 一种基于ssd网络的水面漂浮物多相机实时检测方法 | |
| CN112561885B (zh) | 基于YOLOv4-tiny的插板阀开度检测方法 | |
| Zhang et al. | Research on pipeline defect detection based on optimized faster r-cnn algorithm | |
| CN112669269A (zh) | 一种基于图像识别的管道缺陷分类分级方法及系统 | |
| CN110889418A (zh) | 一种气体轮廓识别方法 | |
| CN116434230A (zh) | 一种复杂环境下的船舶水尺读数方法 | |
| CN115082650A (zh) | 一种基于卷积神经网络的管道缺陷自动标注工具的实现方法 | |
| CN114066795A (zh) | Df-sas高低频声呐图像精细配准融合方法 | |
| Harshini et al. | Sewage Pipeline Fault Detection using Image Processing | |
| CN113963265A (zh) | 一种复杂遥感陆地环境小样本小目标快速检测识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |