CN116630242B - 一种基于实例分割的管道缺陷评估方法及装置 - Google Patents
一种基于实例分割的管道缺陷评估方法及装置 Download PDFInfo
- Publication number
- CN116630242B CN116630242B CN202310484878.6A CN202310484878A CN116630242B CN 116630242 B CN116630242 B CN 116630242B CN 202310484878 A CN202310484878 A CN 202310484878A CN 116630242 B CN116630242 B CN 116630242B
- Authority
- CN
- China
- Prior art keywords
- defect
- pipeline
- image
- area
- example segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 409
- 230000011218 segmentation Effects 0.000 title claims abstract description 125
- 238000011156 evaluation Methods 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000002372 labelling Methods 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 230000007797 corrosion Effects 0.000 claims description 22
- 238000005260 corrosion Methods 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 9
- 239000000463 material Substances 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 230000004888 barrier function Effects 0.000 claims description 6
- 230000008021 deposition Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 3
- 230000003190 augmentative effect Effects 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 abstract description 3
- 238000001514 detection method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000005336 cracking Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 208000003464 asthenopia Diseases 0.000 description 3
- 230000002950 deficient Effects 0.000 description 3
- 238000012552 review Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 229910000831 Steel Inorganic materials 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于实例分割的管道缺陷评估方法及装置。首先收集管道内部缺陷图像，对图像进行预处理，进行样本数据标签制作，得到初始样本数据集。再对得到的初始样本数据集进行数据扩充，同时标注信息按对应操作方式改变。然后构建排水管道缺陷实例分割模型，基于数据扩充后的样本数据集进行模型训练。最后，对管道缺陷判读与等级评定方法进行深入分析，结合各类管道缺陷特征和实例分割获取到的几何特征等信息，制定了基于实例分割的管道缺陷量化分级评估方案。本发明不但能够准确检测出管道的缺陷类型及其位置、几何轮廓等信息，而且还可以实现管道缺陷的量化分级评估，降低了人工成本，简化了管道缺陷评估流程，提高了缺陷评估的准确性。
Description
技术领域
本发明涉及机器视觉和目标检测与分割技术领域，尤其涉及一种基于实例分割的管道缺陷评估方法及装置。
背景技术
地下排水管道作为现代化城市重要的基础设施，其是否能顺畅地运行直接关系到城市正常的运转和居民生活安全。随着社会经济的飞速发展，城市的规模不断扩大，城市地下排水管道越来越密集，对其进行状况评估的难度和复杂性大幅增加，使得对地下排水管道的维护变得十分困难。管道受使用年限的增加及外部环境的变化等因素影响，可能会出现各种类型的缺陷，导致破损、坍塌、阻塞等安全隐患，对城市给排水设施的运行和市民的生命财产安全造成了影响。定期对排水管道进行检测和状况评估，及时发现并修复管道缺陷，能够降低甚至避免管道事故发生。
当前管道检测主要使用CCTV闭路电视检测技术，由机器人进入管道内部拍摄视频，再由技术人员进行缺陷判读和评估。虽然管道检测视频数据借助于机器人获取，但对管道缺陷的判别与评估由人工完成，耗时费力，存在依赖人工经验、效率低下的问题，往往还可能会由于人工视觉疲劳等原因导致缺陷的遗漏与误判。此外，由于人工解释带有一定的主观性，可能会产生不同的评估结果，因而评估的准确性也不高。
发明内容
本发明通过提供一种基于实例分割的管道缺陷评估方法及装置，解决了现有技术中依赖人工经验和效率低下的技术问题，实现了提高管道缺陷评估的效率和准确性的技术效果。
本发明提供了一种基于实例分割的管道缺陷评估方法，包括：
获取管道内部缺陷图像，对所述图像进行分类、预处理及标签制作，得到初始样本数据集；
对所述初始样本数据集进行数据扩充，同时标注信息按对应操作方式改变；
以Swin Transformer为主干网络构建实例分割模型，并采用数据扩充的样本数据集进行模型训练；
将待检测的管道缺陷图像输入到训练好的实例分割模型进行缺陷分类和实例分割，结合各类管道缺陷特征，得到缺陷量化分级评估结论。
具体来说，所述对所述初始样本数据集进行数据扩充，包括：
对所述初始样本数据集进行数据扩充通过随机裁剪、缩放、翻转、颜色空间变换的方式进行数据扩充。
具体来说，所述将待检测的管道缺陷图像输入到训练好的实例分割模型进行缺陷分类和实例分割，结合各类管道缺陷特征，得到缺陷量化分级评估结论，包括：
将所述待检测的管道缺陷图像输入到所述训练好的实例分割模型进行缺陷分类和实例分割，得到缺陷类别及缺陷分割实例掩膜轮廓坐标；
若所述缺陷类别属于沉积、树根、障碍物或渗漏，计算掩膜区域的像素面积S；通过公式计算得到评级参数Ratio；其中，Areadefect＝S，Areaimage为所述待检测的管道缺陷图像的面积；
若所述缺陷类别属于变形，计算掩膜区域的像素面积S；采用最小二乘法基于所述掩膜轮廓坐标，拟合出其外接圆C作为原始管道区域，并计算出C的像素面积Area；通过公式计算得到评级参数Ratio；其中，Areaidentify＝S；
根据所述评级参数Ratio查表得到缺陷等级。
具体来说，所述将待检测的管道缺陷图像输入到训练好的实例分割模型进行缺陷分类和实例分割，结合各类管道缺陷特征，得到缺陷量化分级评估结论，包括：
将所述待检测的管道缺陷图像输入到所述训练好的实例分割模型进行缺陷分类和实例分割，得到缺陷类别及缺陷分割实例掩膜轮廓坐标；
若所述缺陷类别属于错口或脱节，计算掩膜内部所有点与所述轮廓坐标的最短距离ri，i＝1，…,n；
通过公式d＝2rp计算掩膜区域内部的最大内切圆的直径d；其中，rp为ri中的最大值；
根据d查表得到缺陷等级。
具体来说，所述将待检测的管道缺陷图像输入到训练好的实例分割模型进行缺陷分类和实例分割，结合各类管道缺陷特征，得到缺陷量化分级评估结论，包括：
将所述待检测的管道缺陷图像输入到所述训练好的实例分割模型进行缺陷分类和实例分割，得到缺陷类别及缺陷分割实例掩膜轮廓坐标；
若所述缺陷类别属于接口材料脱落，遍历缺陷掩膜的轮廓坐标Y值，获得最大值ymax；将ymax与图像中线的Y值ym进行比较，根据比较结果查表得到缺陷等级；
若所述缺陷类别属于Ⅰ类腐蚀，直接查表得到缺陷等级；
若所述缺陷类别属于Ⅱ类腐蚀，计算缺陷掩膜区域的像素面积S；通过公式计算得到评级参数Ratio；其中，Areadefect＝S，Areaimage为所述待检测的管道缺陷图像的面积；
根据所述评级参数Ratio查表得到缺陷等级。
本发明还提供了一种基于实例分割的管道缺陷评估装置，包括：
图像处理模块，用于获取管道内部缺陷图像，对所述图像进行分类、预处理及标签制作，得到初始样本数据集；
数据扩充模块，用于对所述初始样本数据集进行数据扩充，同时标注信息按对应操作方式改变；
实例分割模型构建模块，用于以Swin Transformer为主干网络构建实例分割模型，并采用数据扩充的样本数据集进行模型训练；
缺陷评估模块，用于将待检测的管道缺陷图像输入到训练好的实例分割模型进行缺陷分类和实例分割，结合各类管道缺陷特征，得到缺陷量化分级评估结论。
具体来说，所述数据扩充模块，具体用于对所述初始样本数据集进行数据扩充通过随机裁剪、缩放、翻转、颜色空间变换的方式进行数据扩充，同时标注信息按对应操作方式改变。
具体来说，所述缺陷评估模块，包括：
缺陷图像输入单元，用于将所述待检测的管道缺陷图像输入到所述训练好的实例分割模型进行缺陷分类和实例分割，得到缺陷类别及缺陷分割实例掩膜轮廓坐标；
第一计算单元，用于若所述缺陷类别属于沉积、树根、障碍物或渗漏，计算掩膜区域的像素面积S；通过公式计算得到评级参数Ratio；其中，Areadefect＝S，Areaimage为所述待检测的管道缺陷图像的面积；
第二计算单元，用于若所述缺陷类别属于变形，计算掩膜区域的像素面积S；采用最小二乘法基于所述掩膜轮廓坐标，拟合出其外接圆C作为原始管道区域，并计算出C的像素面积Area；通过公式计算得到评级参数Ratio；其中，Areaidentify＝S；
第一缺陷评级单元，用于根据所述评级参数Ratio查表得到缺陷等级。
具体来说，所述缺陷评估模块，包括：
缺陷图像输入单元，用于将所述待检测的管道缺陷图像输入到所述训练好的实例分割模型进行缺陷分类和实例分割，得到缺陷类别及缺陷分割实例掩膜轮廓坐标；
第三计算单元，用于若所述缺陷类别属于错口或脱节，计算掩膜内部所有点与所述轮廓坐标的最短距离ri，i＝1，…,n；
第四计算单元，用于通过公式d＝2rp计算掩膜区域内部的最大内切圆的直径d；其中，rp为ri中的最大值；
第二缺陷评级单元，用于根据d查表得到缺陷等级。
具体来说，所述缺陷评估模块，包括：
缺陷图像输入单元，用于将所述待检测的管道缺陷图像输入到所述训练好的实例分割模型进行缺陷分类和实例分割，得到缺陷类别及缺陷分割实例掩膜轮廓坐标；
第三缺陷评级单元，用于若所述缺陷类别属于接口材料脱落，遍历缺陷掩膜的轮廓坐标Y值，获得最大值ymax；将ymax与图像中线的Y值ym进行比较，根据比较结果查表得到缺陷等级；
第四缺陷评级单元，用于若所述缺陷类别属于Ⅰ类腐蚀，直接查表得到缺陷等级；
第五计算单元，用于若所述缺陷类别属于Ⅱ类腐蚀，计算缺陷掩膜区域的像素面积S；通过公式计算得到评级参数Ratio；其中，Areadefect＝S，Areaimage为所述待检测的管道缺陷图像的面积；
第五缺陷评级单元，用于根据所述评级参数Ratio查表得到缺陷等级。
本发明中提供的一个或多个技术方案，至少具有如下技术效果或优点：
首先，收集以往地下排水管道检测与评估成果报告及视频资料中的管道内部缺陷图像，对图像进行预处理，进行样本数据标签制作，得到初始样本数据集。再对得到的初始样本数据集进行数据扩充，同时标注信息按对应操作方式改变。然后构建排水管道缺陷实例分割模型，基于数据扩充后的样本数据集进行模型训练。最后，对十类常见的排水管道缺陷判读与等级评定方法进行深入分析，结合各类管道缺陷特征和实例分割获取到的几何特征等信息，制定了一套基于实例分割的管道缺陷量化分级评估方案，并进行了算法实现。本发明不但能够准确检测出排水管道的缺陷类型及其位置、几何轮廓等信息，而且还可以实现管道缺陷的量化分级评估。相比于现有的技术手段，本发明大大降低了人工成本，可有效简化地下排水管道缺陷评估流程，能够避免由于人工视觉疲劳或个人主观因素等影响造成的误判，提升了排水管道缺陷检测与评估的智能化。
附图说明
图1为本发明实施例提供的基于实例分割的管道缺陷评估方法的流程图；
图2为本发明实施例提供的基于实例分割的管道缺陷评估方法的原理图；
图3为本发明实施例提供的基于实例分割的管道缺陷评估装置的模块图；
图4为本发明实施例中部分地下排水管道缺陷识别结果图。
具体实施方式
本发明实施例通过提供一种基于实例分割的管道缺陷评估方法及装置，解决了现有技术中依赖人工经验和效率低下的技术问题，实现了提高管道缺陷评估效率和准确性的技术效果。
本发明实施例中的技术方案为解决上述技术问题，总体思路如下：
(1)获取排水管道内部缺陷图像，对图像进行分类、预处理及标签制作，得到初始样本数据集；
(2)对初始样本数据集进行数据扩充，同时标注信息按对应操作方式改变；
(3)以Swin Transformer为主干网络构建排水管道缺陷实例分割模型，基于数据扩充后的样本数据集进行模型训练；
(4)将待检测的管道缺陷图片使用构建好的模型进行缺陷分类和实例分割，在此基础上，依据现行的CJJ181-2012《城镇排水管道检测与评估技术规程》，结合各类管道缺陷特征，制定出缺陷量化分级评估方案，得出管道缺陷量化分级评估结论。
具体地管道缺陷量化评估方法实现的具体流程为：
(1)将待检测的管道缺陷图片使用构建好的模型进行缺陷分类和分割，得到有缺陷的类别及缺陷分割实例掩膜轮廓坐标。若无缺陷，则直接查看下一张图片；
(2)根据缺陷类型调用不同的算法对缺陷进行参数计算，实现各类缺陷的量化分级评估。
具体地，如果属于沉积、树根、障碍物、渗漏、变形这五类缺陷，就调用面积相关处理算法计算；如果属于错口、脱节这两类缺陷，就调用距离相关类算法处理；如果属于破裂、接口材料脱落、腐蚀这三类缺陷，就采用单独评级类算法处理。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
参见图1和图2，本发明实施例提供的基于实例分割的管道缺陷评估方法，包括：
步骤S110：获取管道内部缺陷图像，对图像进行分类、预处理及标签制作，得到初始样本数据集；
步骤S120：对初始样本数据集进行数据扩充，同时标注信息按对应操作方式改变；
具体地，对初始样本数据集进行数据扩充，包括：
对初始样本数据集进行数据扩充通过随机裁剪、缩放、翻转、颜色空间变换的方式进行数据扩充。
步骤S130：以Swin Transformer为主干网络构建实例分割模型，并采用数据扩充的样本数据集进行模型训练；
步骤S140：将待检测的管道缺陷图像输入到训练好的实例分割模型进行缺陷分类和实例分割，结合各类管道缺陷特征，得到缺陷量化分级评估结论。
本发明实施例提供了多种管道缺陷的评估方法，具体地，沉积、树根、障碍物、渗漏或变形这5类缺陷的评估方法如下：
将待检测的管道缺陷图像输入到训练好的实例分割模型进行缺陷分类和实例分割，结合各类管道缺陷特征，得到缺陷量化分级评估结论，包括：
将待检测的管道缺陷图像输入到训练好的实例分割模型进行缺陷分类和实例分割，得到缺陷类别及缺陷分割实例掩膜轮廓坐标；
若缺陷类别属于沉积、树根、障碍物或渗漏，使用OpenCV的contourArea方法计算掩膜区域的像素面积S；通过公式计算得到评级参数Ratio；其中，Areadefect＝S，Areaimage为待检测的管道缺陷图像的面积；
若缺陷类别属于变形，计算掩膜区域的像素面积S；采用最小二乘法基于掩膜轮廓坐标，拟合出其外接圆C作为原始管道区域，并使用OpenCV的contourArea方法计算出C的像素面积Area；通过公式计算得到评级参数Ratio；其中，Areaidentify＝S；
根据评级参数Ratio查表得到缺陷等级。
具体地，按照预设的面积相关类的管道缺陷量化分级评估表1中给定的不同缺陷类型阈值查表确定缺陷等级。
表1管道缺陷量化分级评估方案(面积相关类)
本发明实施例还提供了错口或脱节缺陷的评估方法，具体地，将待检测的管道缺陷图像输入到训练好的实例分割模型进行缺陷分类和实例分割，结合各类管道缺陷特征，得到缺陷量化分级评估结论，包括：
将待检测的管道缺陷图像输入到所述训练好的实例分割模型进行缺陷分类和实例分割，得到缺陷类别及缺陷分割实例掩膜轮廓坐标；
若缺陷类别属于错口或脱节，使用OpenCV的pointPolygonTest方法计算掩膜内部所有点与所述轮廓坐标的最短距离ri，设轮廓类有n个点，i＝1，…,n；
通过公式d＝2rp计算掩膜区域内部的最大内切圆的直径d；其中，rp为ri中的最大值；具体地，使用OpenCV的minMaxLoc方法进行筛选，得到最大值rp,则p点为圆心坐标，rp,为掩膜区域内部的最大内切圆半径。如果是错口缺陷，则d为管口偏差值；如果是脱节缺陷，则d为脱节距离。
根据d查表得到缺陷等级。
具体地，按照预设的距离相关类的管道缺陷量化分级评估表2中给定的不同缺陷类型阈值查表确定缺陷等级。
表2管道缺陷量化分级评估方案(距离相关类)
此外，本发明实施例还提供了接口材料脱落或腐蚀缺陷的评估方法，具体地，将待检测的管道缺陷图像输入到训练好的实例分割模型进行缺陷分类和实例分割，结合各类管道缺陷特征，得到缺陷量化分级评估结论，包括：
将待检测的管道缺陷图像输入到训练好的实例分割模型进行缺陷分类和实例分割，得到缺陷类别及缺陷分割实例掩膜轮廓坐标；
若缺陷类别属于接口材料脱落，遍历缺陷掩膜的轮廓坐标Y值，获得最大值ymax；将ymax与图像中线的Y值ym进行比较，根据比较结果查表得到缺陷等级；具体地，若ymax<ym，为1级缺陷，否则为2级缺陷。
为了对腐蚀类缺陷进行评估，在建模时，分为两类进行了标注和训练，图像经过实例分割模型直接输出Ⅰ类腐蚀或者Ⅱ类腐蚀。
若缺陷类别属于Ⅰ类腐蚀，其表现为管壁出现凹凸面，直接查表得到缺陷等级；
若缺陷类别属于Ⅱ类腐蚀，其表现为管壁露出了钢筋，使用OpenCV的contourArea方法计算缺陷掩膜区域的像素面积S；通过公式计算得到评级参数Ratio；其中，Areadefect＝S，Areaimage为待检测的管道缺陷图像的面积；
根据评级参数Ratio查表得到缺陷等级。
具体地，按照预设的单独评级类的管道缺陷量化分级评估表3中给定的腐蚀分级标准阈值查表确定缺陷等级。
表3管道缺陷量化分级评估方案(单独评级类)
此外，本发明实施例还提供了破裂缺陷的评估方法，破裂缺陷采用直接分级方法。在建模时，就直接照其等级分为四类进行标注和训练，图像经过实例分割模型直接输出破裂缺陷的类型和等级。
参见图3，本发明实施例提供的基于实例分割的管道缺陷评估装置，包括：
图像处理模块100，用于获取管道内部缺陷图像，对图像进行分类、预处理及标签制作，得到初始样本数据集；
数据扩充模块200，用于对初始样本数据集进行数据扩充，同时标注信息按对应操作方式改变；
具体地，数据扩充模块200，具体用于对初始样本数据集进行数据扩充通过随机裁剪、缩放、翻转、颜色空间变换的方式进行数据扩充，同时标注信息按对应操作方式改变。
实例分割模型构建模块300，用于以Swin Transformer为主干网络构建实例分割模型，并采用数据扩充的样本数据集进行模型训练；
缺陷评估模块400，用于将待检测的管道缺陷图像输入到训练好的实例分割模型进行缺陷分类和实例分割，结合各类管道缺陷特征，得到缺陷量化分级评估结论。
本发明实施例提供了多种管道缺陷的评估方法，具体地，为了对沉积、树根、障碍物、渗漏或变形这5类缺陷进行评估，缺陷评估模块400，包括：
缺陷图像输入单元，用于将待检测的管道缺陷图像输入到训练好的实例分割模型进行缺陷分类和实例分割，得到缺陷类别及缺陷分割实例掩膜轮廓坐标；
第一计算单元，用于若缺陷类别属于沉积、树根、障碍物或渗漏，使用OpenCV的contourArea方法计算掩膜区域的像素面积S；通过公式计算得到评级参数Ratio；其中，Areadefect＝S，Areaimage为待检测的管道缺陷图像的面积；
第二计算单元，用于若缺陷类别属于变形，计算掩膜区域的像素面积S；采用最小二乘法基于掩膜轮廓坐标，拟合出其外接圆C作为原始管道区域，并使用OpenCV的contourArea方法计算出C的像素面积Area；通过公式计算得到评级参数Ratio；其中，Areaidentify＝S；
第一缺陷评级单元，用于根据评级参数Ratio查表得到缺陷等级。
为了对错口、脱节缺陷进行评估，缺陷评估模块400，包括：
缺陷图像输入单元，用于将待检测的管道缺陷图像输入到所述训练好的实例分割模型进行缺陷分类和实例分割，得到缺陷类别及缺陷分割实例掩膜轮廓坐标；
第三计算单元，用于若缺陷类别属于错口或脱节，使用OpenCV的pointPolygonTest方法计算掩膜内部所有点与所述轮廓坐标的最短距离ri，设轮廓类有n个点，i＝1，…,n；
第四计算单元，用于通过公式d＝2rp计算掩膜区域内部的最大内切圆的直径d；其中，rp为ri中的最大值；具体地，使用OpenCV的minMaxLoc方法进行筛选，得到最大值rp,则p点为圆心坐标，rp,为掩膜区域内部的最大内切圆半径。如果是错口缺陷，则d为管口偏差值；如果是脱节缺陷，则d为脱节距离。
第二缺陷评级单元，用于根据d查表得到缺陷等级。
为了对接口材料脱落、腐蚀缺陷进行评估，缺陷评估模块400，包括：
缺陷图像输入单元，用于将待检测的管道缺陷图像输入到训练好的实例分割模型进行缺陷分类和实例分割，得到缺陷类别及缺陷分割实例掩膜轮廓坐标；
第三缺陷评级单元，用于若缺陷类别属于接口材料脱落，遍历缺陷掩膜的轮廓坐标Y值，获得最大值ymax；将ymax与图像中线的Y值ym进行比较，根据比较结果查表得到缺陷等级；具体地，若ymax<ym，为1级缺陷，否则为2级缺陷。
为了对腐蚀类缺陷进行评估，在建模时，分为两类进行了标注和训练，图像经过实例分割模型直接输出Ⅰ类腐蚀或者Ⅱ类腐蚀。
第四缺陷评级单元，用于若缺陷类别属于Ⅰ类腐蚀，其表现为管壁出现凹凸面，直接查表得到缺陷等级；
第五计算单元，用于若缺陷类别属于Ⅱ类腐蚀，其表现为管壁露出了钢筋，使用OpenCV的contourArea方法计算缺陷掩膜区域的像素面积S；通过公式计算得到评级参数Ratio；其中，Areadefect＝S，Areaimage为待检测的管道缺陷图像的面积；
第五缺陷评级单元，用于根据评级参数Ratio查表得到缺陷等级。
下面结合具体实验对本发明实施例的管道缺陷评估的准确性进行分析：
(1)实验数据概况
研究区域位于松滋市，本发明实施例选取了研究区域内环境综合治理项目中的三个工程段的排水管道检测与评估成果报告中的缺陷图像作为实验数据。排水管道总长度为14456.44米，总管段数为534根，成果报告中评估有缺陷的部位共计231处。
(2)评估方法应用
利用本发明实施例提出的评估方法及装置对报告中涉及的所有缺陷图像进行了缺陷分级评估，图4为工程段中部分缺陷的识别效果图，掩膜为缺陷所在的区域，边界框上标识的是缺陷的类别以及判定为该类别的置信度，表4为对应缺陷按表2分级评估的结果。
表4缺陷分级评估结果
(3)结果评价与分析
实验数据工程段的排水管道检测与评估成果报告是由负责该项工程的技术人员所完成，在评估准确率上应满足工程技术标准的要求，以成果报告中对应的结果为参考，使用缺陷识别准确率、缺陷分级准确率、漏检率和错检率评估本发明实施例提供的评估方法，将其分别定义为Pi、Pg、Pm、Pw，计算方法见公式(1)、(2)、(3)、(4)，其中N为有缺陷的所有样本数，ni为正确识别缺陷种类的样本数，ng为正确识别缺陷种类及等级的样本数，nm为未识别到缺陷的样本数，nw为识别错误的样本数。
表5为实验区域排水管道图片的所有缺陷识别结果，经公式(1)、(2)、(3)、(4)计算得到结果评价指标如表6所示，缺陷识别准确率达到91.34％，漏检率为3.46％，错检率为5.2％，分级准确率达到88.75％，由此可知，本发明实施例的缺陷识别准确率和分级准确率均较高。
表5排水管道缺陷识别结果
表6实验结果评价
/>
本发明实施例基于排水管道缺陷实例分割技术，可以获得缺陷的面积、长度、位置等属性信息。在此基础上，结合各类缺陷特征及其等级判定标准，提出了一套管道缺陷分级评估方案，降低了人工成本，可有效简化地下排水管道缺陷评估流程，能够避免由于人工视觉疲劳或个人主观因素等影响造成的误判，提升了排水管道缺陷检测与评估的智能化水平。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明实施例未详述之处，均为本技术领域技术人员的公知技术。最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (4)
1.一种基于实例分割的管道缺陷评估方法，其特征在于，包括：
获取管道内部缺陷图像，对所述图像进行分类、预处理及标签制作，得到初始样本数据集；
对所述初始样本数据集进行数据扩充，同时标注信息按对应操作方式改变；
以Swin Transformer为主干网络构建实例分割模型，并采用数据扩充的样本数据集进行模型训练；
将待检测的管道缺陷图像输入到训练好的实例分割模型进行缺陷分类和实例分割，结合各类管道缺陷特征，得到缺陷量化分级评估结论；
所述将待检测的管道缺陷图像输入到训练好的实例分割模型进行缺陷分类和实例分割，结合各类管道缺陷特征，得到缺陷量化分级评估结论，包括：
将所述待检测的管道缺陷图像输入到所述训练好的实例分割模型进行缺陷分类和实例分割，得到缺陷类别及缺陷分割实例掩膜轮廓坐标；
若所述缺陷类别属于沉积、树根、障碍物或渗漏，计算掩膜区域的像素面积S；通过公式计算得到评级参数Ratio；其中，Areadefect＝S，Areaimage为所述待检测的管道缺陷图像的面积；
若所述缺陷类别属于变形，计算掩膜区域的像素面积S；采用最小二乘法基于所述掩膜轮廓坐标，拟合出其外接圆C作为原始管道区域，并计算出C的像素面积Area；通过公式计算得到评级参数Ratio；其中，Areaidentify＝S；
根据所述评级参数Ratio查表得到缺陷等级；
或，所述将待检测的管道缺陷图像输入到训练好的实例分割模型进行缺陷分类和实例分割，结合各类管道缺陷特征，得到缺陷量化分级评估结论，包括：
将所述待检测的管道缺陷图像输入到所述训练好的实例分割模型进行缺陷分类和实例分割，得到缺陷类别及缺陷分割实例掩膜轮廓坐标；
若所述缺陷类别属于错口或脱节，计算掩膜内部所有点与所述轮廓坐标的最短距离ri，i＝1，…,n；
通过公式d＝2rp计算掩膜区域内部的最大内切圆的直径d；其中，rp为ri中的最大值；
根据d查表得到缺陷等级；
或，所述将待检测的管道缺陷图像输入到训练好的实例分割模型进行缺陷分类和实例分割，结合各类管道缺陷特征，得到缺陷量化分级评估结论，包括：
将所述待检测的管道缺陷图像输入到所述训练好的实例分割模型进行缺陷分类和实例分割，得到缺陷类别及缺陷分割实例掩膜轮廓坐标；
若所述缺陷类别属于接口材料脱落，遍历缺陷掩膜的轮廓坐标Y值，获得最大值ymax；将ymax与图像中线的Y值ym进行比较，根据比较结果查表得到缺陷等级；
若所述缺陷类别属于Ⅰ类腐蚀，直接查表得到缺陷等级；
若所述缺陷类别属于Ⅱ类腐蚀，计算缺陷掩膜区域的像素面积S；通过公式计算得到评级参数Ratio；其中，Areadefect＝S，Areaimage为所述待检测的管道缺陷图像的面积；
根据所述评级参数Ratio查表得到缺陷等级。
2.如权利要求1所述的基于实例分割的管道缺陷评估方法，其特征在于，所述对所述初始样本数据集进行数据扩充，包括：
对所述初始样本数据集进行数据扩充通过随机裁剪、缩放、翻转、颜色空间变换的方式进行数据扩充。
3.一种基于实例分割的管道缺陷评估装置，其特征在于，包括：
图像处理模块，用于获取管道内部缺陷图像，对所述图像进行分类、预处理及标签制作，得到初始样本数据集；
数据扩充模块，用于对所述初始样本数据集进行数据扩充，同时标注信息按对应操作方式改变；
实例分割模型构建模块，用于以Swin Transformer为主干网络构建实例分割模型，并采用数据扩充的样本数据集进行模型训练；
缺陷评估模块，用于将待检测的管道缺陷图像输入到训练好的实例分割模型进行缺陷分类和实例分割，结合各类管道缺陷特征，得到缺陷量化分级评估结论；
所述缺陷评估模块，包括：
缺陷图像输入单元，用于将所述待检测的管道缺陷图像输入到所述训练好的实例分割模型进行缺陷分类和实例分割，得到缺陷类别及缺陷分割实例掩膜轮廓坐标；
第一计算单元，用于若所述缺陷类别属于沉积、树根、障碍物或渗漏，计算掩膜区域的像素面积S；通过公式计算得到评级参数Ratio；其中，Areadefect＝S，Areaimage为所述待检测的管道缺陷图像的面积；
第二计算单元，用于若所述缺陷类别属于变形，计算掩膜区域的像素面积S；采用最小二乘法基于所述掩膜轮廓坐标，拟合出其外接圆C作为原始管道区域，并计算出C的像素面积Area；通过公式计算得到评级参数Ratio；其中，Areaidentify＝S；
第一缺陷评级单元，用于根据所述评级参数Ratio查表得到缺陷等级；
或，所述缺陷评估模块，包括：
缺陷图像输入单元，用于将所述待检测的管道缺陷图像输入到所述训练好的实例分割模型进行缺陷分类和实例分割，得到缺陷类别及缺陷分割实例掩膜轮廓坐标；
第三计算单元，用于若所述缺陷类别属于错口或脱节，计算掩膜内部所有点与所述轮廓坐标的最短距离ri，i＝1，…,n；
第四计算单元，用于通过公式d＝2rp计算掩膜区域内部的最大内切圆的直径d；其中，rp为ri中的最大值；
第二缺陷评级单元，用于根据d查表得到缺陷等级；
或，所述缺陷评估模块，包括：
缺陷图像输入单元，用于将所述待检测的管道缺陷图像输入到所述训练好的实例分割模型进行缺陷分类和实例分割，得到缺陷类别及缺陷分割实例掩膜轮廓坐标；
第三缺陷评级单元，用于若所述缺陷类别属于接口材料脱落，遍历缺陷掩膜的轮廓坐标Y值，获得最大值ymax；将ymax与图像中线的Y值ym进行比较，根据比较结果查表得到缺陷等级；
第四缺陷评级单元，用于若所述缺陷类别属于Ⅰ类腐蚀，直接查表得到缺陷等级；
第五计算单元，用于若所述缺陷类别属于Ⅱ类腐蚀，计算缺陷掩膜区域的像素面积S；通过公式计算得到评级参数Ratio；其中，Areadefect＝S，Areaimage为所述待检测的管道缺陷图像的面积；
第五缺陷评级单元，用于根据所述评级参数Ratio查表得到缺陷等级。
4.如权利要求3所述的基于实例分割的管道缺陷评估装置，其特征在于，所述数据扩充模块，具体用于对所述初始样本数据集进行数据扩充通过随机裁剪、缩放、翻转、颜色空间变换的方式进行数据扩充，同时标注信息按对应操作方式改变。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310484878.6A CN116630242B (zh) | 2023-04-28 | 2023-04-28 | 一种基于实例分割的管道缺陷评估方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310484878.6A CN116630242B (zh) | 2023-04-28 | 2023-04-28 | 一种基于实例分割的管道缺陷评估方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116630242A CN116630242A (zh) | 2023-08-22 |
| CN116630242B true CN116630242B (zh) | 2024-01-12 |
Family
ID=87601734
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310484878.6A Active CN116630242B (zh) | 2023-04-28 | 2023-04-28 | 一种基于实例分割的管道缺陷评估方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116630242B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112102255A (zh) * | 2020-08-21 | 2020-12-18 | 杭州培慕科技有限公司 | 基于工业场景下的x射线成像图像的缺陷智能评级方法 |
| CN113096130A (zh) * | 2021-06-09 | 2021-07-09 | 常州微亿智造科技有限公司 | 物件缺陷的检测方法、装置 |
| CN113256624A (zh) * | 2021-06-29 | 2021-08-13 | 中移(上海)信息通信科技有限公司 | 连铸圆坯缺陷检测方法、装置、电子设备及可读存储介质 |
| CN113469177A (zh) * | 2021-06-30 | 2021-10-01 | 河海大学 | 基于深度学习的排水管道缺陷检测方法及系统 |
| CN113763363A (zh) * | 2021-09-09 | 2021-12-07 | 华南理工大学 | 一种排水管道破裂缺陷检测及等级评定方法 |
| CN114120209A (zh) * | 2022-01-27 | 2022-03-01 | 深圳市博铭维技术股份有限公司 | 管道缺陷检测方法、系统、设备及存储介质 |
| CN114511543A (zh) * | 2022-02-11 | 2022-05-17 | 沈阳派得林科技有限责任公司 | 一种长输管道射线底片智能缺欠评定系统及方法 |
| CN114549446A (zh) * | 2022-02-17 | 2022-05-27 | 南京工程学院 | 一种基于深度学习的气缸套缺陷标检测方法 |
| WO2022121531A1 (zh) * | 2020-12-09 | 2022-06-16 | 歌尔股份有限公司 | 一种产品缺陷检测方法和装置 |
| CN114782391A (zh) * | 2022-04-29 | 2022-07-22 | 广州大学 | 少样本工业图像缺陷检测模型构建方法、系统及装置 |
| CN115601332A (zh) * | 2022-10-20 | 2023-01-13 | 深圳精创视觉科技有限公司（Cn） | 一种基于语义分割的嵌入式指纹模块外观检测方法 |
| CN115861160A (zh) * | 2022-07-20 | 2023-03-28 | 长春工业大学 | 一种手机电源接口表面缺陷检测方法、装置和存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210370993A1 (en) * | 2020-05-27 | 2021-12-02 | University Of South Carolina | Computer vision based real-time pixel-level railroad track components detection system |
| EP3971556A1 (en) * | 2020-09-17 | 2022-03-23 | Evonik Operations GmbH | Qualitative or quantitative characterization of a coating surface |
| CN112258496A (zh) * | 2020-11-02 | 2021-01-22 | 郑州大学 | 一种基于全卷积神经网络的地下排水管道病害分割方法 |
| US20220261593A1 (en) * | 2021-02-16 | 2022-08-18 | Nvidia Corporation | Using neural networks to perform object detection, instance segmentation, and semantic correspondence from bounding box supervision |
-
2023
- 2023-04-28 CN CN202310484878.6A patent/CN116630242B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112102255A (zh) * | 2020-08-21 | 2020-12-18 | 杭州培慕科技有限公司 | 基于工业场景下的x射线成像图像的缺陷智能评级方法 |
| WO2022121531A1 (zh) * | 2020-12-09 | 2022-06-16 | 歌尔股份有限公司 | 一种产品缺陷检测方法和装置 |
| CN113096130A (zh) * | 2021-06-09 | 2021-07-09 | 常州微亿智造科技有限公司 | 物件缺陷的检测方法、装置 |
| CN113256624A (zh) * | 2021-06-29 | 2021-08-13 | 中移(上海)信息通信科技有限公司 | 连铸圆坯缺陷检测方法、装置、电子设备及可读存储介质 |
| CN113469177A (zh) * | 2021-06-30 | 2021-10-01 | 河海大学 | 基于深度学习的排水管道缺陷检测方法及系统 |
| CN113763363A (zh) * | 2021-09-09 | 2021-12-07 | 华南理工大学 | 一种排水管道破裂缺陷检测及等级评定方法 |
| CN114120209A (zh) * | 2022-01-27 | 2022-03-01 | 深圳市博铭维技术股份有限公司 | 管道缺陷检测方法、系统、设备及存储介质 |
| CN114511543A (zh) * | 2022-02-11 | 2022-05-17 | 沈阳派得林科技有限责任公司 | 一种长输管道射线底片智能缺欠评定系统及方法 |
| CN114549446A (zh) * | 2022-02-17 | 2022-05-27 | 南京工程学院 | 一种基于深度学习的气缸套缺陷标检测方法 |
| CN114782391A (zh) * | 2022-04-29 | 2022-07-22 | 广州大学 | 少样本工业图像缺陷检测模型构建方法、系统及装置 |
| CN115861160A (zh) * | 2022-07-20 | 2023-03-28 | 长春工业大学 | 一种手机电源接口表面缺陷检测方法、装置和存储介质 |
| CN115601332A (zh) * | 2022-10-20 | 2023-01-13 | 深圳精创视觉科技有限公司（Cn） | 一种基于语义分割的嵌入式指纹模块外观检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| 基于卷积神经网络的钣金件表面缺陷分类识别方法;谢政峰;王玲;尹湘云;殷国富;;计算机测量与控制(06);193-196+202 * |
| 李伟,刘桂雄,曾成刚.基于实例分割+CCTV排水管道缺陷检测方法研究.电子测量技术.2022,153-157. * |
| 管道缺陷自动检测与分类;李灏;王宏涛;董晴晴;;图学学报(06);57-62 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116630242A (zh) | 2023-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xu et al. | Automatic defect detection and segmentation of tunnel surface using modified Mask R-CNN | |
| KR102008973B1 (ko) | 딥러닝 기반의 하수도관 내부 결함 탐지 장치 및 방법 | |
| Xiao et al. | Surface defect detection using image pyramid | |
| CN109191459B (zh) | 连铸坯低倍组织中心偏析缺陷的自动识别与评级方法 | |
| CN110992349A (zh) | 一种基于深度学习的地下管道异常自动化定位与识别方法 | |
| CN110555831B (zh) | 一种基于深度学习的排水管道缺陷分割方法 | |
| Zhou et al. | Automatic sewer defect detection and severity quantification based on pixel-level semantic segmentation | |
| CN111507971A (zh) | 一种隧道表面缺陷检测方法 | |
| CN114581764B (zh) | 基于深度学习算法的地下结构裂纹病害判别方法 | |
| Kumar et al. | A deep learning based automated structural defect detection system for sewer pipelines | |
| CN113240623B (zh) | 一种路面病害检测方法及装置 | |
| CN110210428A (zh) | 一种基于mser的远距离复杂环境下的烟雾根节点检测方法 | |
| CN113962951B (zh) | 检测分割模型的训练方法及装置、目标检测方法及装置 | |
| CN114998313A (zh) | 基于视觉定位的流体输送管管口毛刺识别定位方法 | |
| CN115995056A (zh) | 一种基于深度学习的桥梁病害自动识别方法 | |
| CN112198170B (zh) | 一种无缝钢管外表面三维检测中识别水滴的检测方法 | |
| Akhila et al. | Convolutional neural network based online rail surface crack detection | |
| CN113763363A (zh) | 一种排水管道破裂缺陷检测及等级评定方法 | |
| CN116630242B (zh) | 一种基于实例分割的管道缺陷评估方法及装置 | |
| Zhang et al. | Research on pipeline defect detection based on optimized faster r-cnn algorithm | |
| CN111179278B (zh) | 一种图像检测的方法、装置、设备和存储介质 | |
| CN115272189A (zh) | 管道缺陷评级方法、终端设备及存储介质 | |
| CN115082650A (zh) | 一种基于卷积神经网络的管道缺陷自动标注工具的实现方法 | |
| Gu et al. | Segmentation and evaluation of crack image from aircraft fuel tank via atrous spatial pyramid fusion and hybrid attention network | |
| Kumar et al. | Leveraging visualization techniques to develop improved deep neural network architecture for sewer defect identification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |