CN117078585A - 一种管道的缺陷损伤检测方法、装置、设备及介质 - Google Patents
一种管道的缺陷损伤检测方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN117078585A CN117078585A CN202310484706.9A CN202310484706A CN117078585A CN 117078585 A CN117078585 A CN 117078585A CN 202310484706 A CN202310484706 A CN 202310484706A CN 117078585 A CN117078585 A CN 117078585A
- Authority
- CN
- China
- Prior art keywords
- pipeline
- color image
- defect
- image
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 206
- 230000006378 damage Effects 0.000 title claims abstract description 155
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000001514 detection method Methods 0.000 claims abstract description 105
- 238000002372 labelling Methods 0.000 claims abstract description 35
- 238000011176 pooling Methods 0.000 claims description 34
- 230000004927 fusion Effects 0.000 claims description 32
- 238000012549 training Methods 0.000 claims description 24
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 230000002950 deficient Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000012423 maintenance Methods 0.000 abstract description 9
- 238000011897 real-time detection Methods 0.000 abstract description 6
- 239000002609 medium Substances 0.000 description 14
- 230000008901 benefit Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000007797 corrosion Effects 0.000 description 3
- 238000005260 corrosion Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 230000008439 repair process Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000009194 climbing Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003912 environmental pollution Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 239000003345 natural gas Substances 0.000 description 2
- 239000003208 petroleum Substances 0.000 description 2
- 230000009528 severe injury Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000003245 coal Substances 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 239000007822 coupling agent Substances 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 239000004519 grease Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000009525 mild injury Effects 0.000 description 1
- 230000009526 moderate injury Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000008832 photodamage Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000026683 transduction Effects 0.000 description 1
- 238000010361 transduction Methods 0.000 description 1
- 239000006163 transport media Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Abstract
本发明公开了一种管道的缺陷损伤检测方法、装置、设备及介质,涉及管道检测领域,该方法包括:获取待检测管道的彩色图像和结构光图像;基于半监督学习方式对所述彩色图像进行预测标注,得到彩色图像对应的标签;对所述结构光图像进行三维重构,得到三维重构数据,并基于所述三维重构数据生成包含深度信息的热图;将对应有所述标签的所述彩色图像与所述深度信息输入至训练好的缺陷检测模型中,得到由所述缺陷检测模型输出的待检测管道对应的缺陷损伤类别、缺陷损伤程度以及缺陷损伤区域。本发明实现对管道缺陷损伤的实时检测与提前预警能够实现对管道进行精确地缺陷损伤检测,保证管道的及时维护与更换。
Description
技术领域
本发明涉及管道检测技术领域,具体涉及一种管道的缺陷损伤检测方法、装置、设备及介质。
背景技术
管道输送具有成本低、节省能源、安全性高及供给稳定等优点,因此管道技术在石油、天然气等输送领域中有着独特的优势。管道运输在诸多因素作用下安全生产事故时有发生,管道安全管理已经成为目前业界需要考虑的重点问题之一,如何精准地对管道的缺陷损伤进行检测,并通过检测结果对管道性能进行评估,以便于及时地对管道进行维护和更换,也成为保障管道的安全运行以及保证相关行业正常生产的关键问题之一。
目前现有技术对管道的缺陷损伤进行检测主要存在精度较差、易受外界干扰等问题。因此,如何精准地对管道的缺陷损伤进行检测是目前业界亟待解决的重要课题。
发明内容
有鉴于此,本发明实施例提供了一种管道的缺陷损伤检测方法、装置、设备及介质,以解决现有技术对管道的缺陷损伤进行检测主要存在精度较差、易受外界干扰的问题。
根据第一方面,本发明实施例提供了一种管道的缺陷损伤检测方法,所述方法包括:
获取待检测管道的彩色图像和结构光图像;
基于半监督学习方式对所述彩色图像进行预测标注,得到彩色图像对应的标签;
对所述结构光图像进行三维重构,得到三维重构数据,并基于所述三维重构数据生成包含深度信息的热图;
将对应有所述标签的所述彩色图像与所述热图输入至训练好的缺陷检测模型中,得到由所述缺陷检测模型输出的待检测管道对应的缺陷损伤类别、缺陷损伤程度以及缺陷损伤区域;所述缺陷检测模型是基于样本管道对应的样本热图、样本图像、样本图像对应的缺陷损伤类别以及缺陷损伤区域训练得到的。
结合第一方面,在第一方面第一实施方式中,所述缺陷检测模型包括特征融合层、由至少一层稀疏连接层构成的稀疏网络层以及深度链接层;
所述特征融合层用于将对应有所述标签的所述彩色图像与所述热图进行特征融合;
所述稀疏网络层用于对将对应有所述标签的所述彩色图像与所述热图进行特征融合的融合特征进行稀疏连接;
所述深度链接用于基于对所述融合特征进行稀疏连得到的稀疏特征进行深度融合;
相应的,所述将对应有所述标签的所述彩色图像与所述热图输入至训练好的缺陷检测模型中,得到由所述缺陷检测模型输出的待检测管道对应的缺陷损伤类别、缺陷损伤程度以及缺陷损伤区域具体包括:
将对应有所述标签的所述彩色图像与所述热图输入至所述特征融合层中,得到由所述特征融合层输出的所述融合特征;
将所述融合特征输入至所述稀疏网络层中,得到由所述稀疏网络层输出的稀疏特征;
将所述稀疏特征输入至所述深度链接层中,得到由所述深度链接层输出的待检测管道对应的缺陷损伤类别、缺陷损伤程度以及缺陷损伤区域。
结合第一方面,在第一方面第二实施方式中,所述基于半监督学习方式对所述彩色图像进行预测标注,得到彩色图像对应的标签,具体包括:
对预设数量的所述彩色图像进行标注,得到预设数量的所述彩色图像对应的第一标签;第一标签至少包括以下信息:具有缺陷的位置区域以及缺陷损伤类别;
对未标注的所述彩色图像进行数据增强;
将已标注的所述彩色图像和经过数据增强的未标注的所述彩色图像作为训练使用的输入数据,将已标注的所述彩色图像对应的第一标签作为训练使用的标签,基于半监督学习的方式进行训练,得到用于得到所述彩色图像的标签的数据标注模型;
将未标注的所述彩色图像输入至训练好的所述数据标注模型,得到由所述数据标注模型输出的未标注的所述彩色图像对应的第二标签。
结合第一方面第二实施方式,在第一方面第三实施方式中,所述数据标注模型包括卷积层、区域候选层、感兴趣区域池化层和全连接层;
所述卷积层用于对所述彩色图像进行特征提取;
所述区域候选层用于基于对所述彩色图像进行特征提取得到的图像特征进行分类及边界框修正;
所述感兴趣区域池化层用于基于对所述图像特征进行分类及边界框修正得到的候选框以及所述图像特征进行池化;
所述全连接层用于基于对所述候选框进行池化得到的候选特征图进行分类及边界框修正。
结合第一方面第三实施方式,在第一方面第四实施方式中,所述将未标注的所述彩色图像输入至训练好的所述数据标注模型,得到由所述数据标注模型输出的未标注的所述彩色图像对应的第二标签,具体包括:
将未标注的所述彩色图像输入至所述卷积层中,得到由所述卷积层输出的所述图像特征;
将所述图像特征输入至所述区域候选层中,得到由所述区域候选层输出的所述候选框;
将所述候选框和所述图像特征输入至所述感兴趣区域池化层中,得到由所述感兴趣区域池化层输出的所述候选特征图;
将所述候选特征图输入至所述全连接层中,得到由所述全连接层输出的未标注的所述彩色图像对应的第二标签。
结合第一方面,在第一方面第五实施方式中,所述获取待检测管道的彩色图像和结构光图像步骤还包括:
对所述彩色图像和所述结构光图像进行预处理;所述预处理包括以下至少一项:基于图像增强算法提升图像对比度、进行滤波处理以及去除噪声。
结合第一方面,在第一方面第六实施方式中,所述对所述结构光图像进行三维重构,得到三维重构数据,并基于所述三维重构数据生成包含深度信息的热图,具体包括:
对结构光图像进行条纹中心的提取,形成点云数据,并对点云数据进行预处理以剔除点云数据中的噪声点与离群;
建立经过预处理后的点云数据的三角网格拓扑关系;
基于三角网格拓扑关系生成待检测管道的热图,并从热图中提取深度信息。
根据第三方面,本发明实施例提供了一种管道的缺陷损伤检测装置,所述装置包括:
图像采集模块,用于获取待检测管道的彩色图像和结构光图像;
传播标注模块,用于基于半监督学习方式对所述彩色图像进行预测标注,得到彩色图像对应的标签;
三维重建模块,用于对所述结构光图像进行三维重构,得到三维重构数据,并基于所述三维重构数据生成包含深度信息的热图;
缺陷检测模块,用于将对应有所述标签的所述彩色图像与所述热图输入至训练好的缺陷检测模型中,得到由所述缺陷检测模型输出的待检测管道对应的缺陷损伤类别、缺陷损伤程度以及缺陷损伤区域;所述缺陷检测模型是基于样本管道对应的样本热图、样本图像、样本图像对应的缺陷损伤类别以及缺陷损伤区域训练得到的。
根据第三方面,本发明实施例提供了一种电子设备,包括:存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行第一方面或第一方面中任一项优选实施例所述的管道的缺陷损伤检测方法。
根据第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机执行第一方面或第一方面中任一项优选实施例所述的管道的缺陷损伤检测方法。
本发明提供的管道的缺陷损伤检测方法、装置、设备及介质,通过标注少量彩色图像的前提下,利用已标注的彩色图像对未标注的彩色图像进行预测标注,得到所有彩色图像的标签,同时,利用结构光技术,对管道进行三维重建,生成热图,利用深度信息突出待检测管道上的缺陷损伤,将标注后的彩色图像与热图即具有标签的彩色图像与深度信息将结合,建立管道的缺陷检测模型,实现对管道缺陷损伤的实时检测与提前预警能够实现对管道进行精确地缺陷损伤检测,保证管道的及时维护与更换。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点,附图是示意性的而不应理解为对本发明进行任何限制,在附图中:
图1是根据本申请实施例的管道的缺陷损伤检测方法的流程示意图;
图2是根据本申请实施例的管道的缺陷损伤检测方法中缺陷检测模型的结构示意图;
图3是根据本申请实施例的管道的缺陷损伤检测方法中步骤S40具体的流程示意图;
图4是根据本申请实施例的管道的缺陷损伤检测方法中步骤S20具体的流程示意图;
图5是根据本申请实施例的管道的缺陷损伤检测方法中数据标注模型的结构示意图;
图6是根据本申请实施例的管道的缺陷损伤检测方法中步骤S24具体的流程示意图;
图7是根据本申请实施例的管道的缺陷损伤检测方法中步骤S10具体的流程示意图;
图8是根据本申请实施例的管道的缺陷损伤检测方法中步骤S30具体的流程示意图;
图9是根据本申请实施例的图像的预处理装置的结构示意图;
图10是本申请实施例提供的电子设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
管道输送具有成本低、节省能源、安全性高及供给稳定等优点,因此管道技术在石油、天然气等输送领域中有着独特的优势。目前,采用长输管线输送流体是一种方便经济的运输方法,这种运输方法不仅被用于各种液体和气体的输送上,而且还被用于固体例如煤炭、冶金矿等的输送,因此长输管道在工业中有着广泛的应用。
然而,管道运输在诸多因素作用下安全生产事故时有发生,管道安全管理已经成为目前业界需要考虑的重点问题之一,管道事故发生后被动维护付出的主要代价和损失包括如下几个方面:
(1)管道泄漏导致输送介质损失;
(2)管道事故发生后,导致管道停输造成的损失;
(3)管道事故造成的人身安全伤害损失;
(4)管道事故造成的环境污染;
(5)管道事故发生后,对管道进行抢修付出的代价。
可见,管道抢修工程比主动维护时进行的有计划的维修难度要大得多,付出的代价也大得多。其中环境污染造成的损失危害最为严重,其经济价值是难以估量的。因此,研究如何精准地对管道的缺陷损伤进行检测,并通过上述的检测结果对管道性能进行评估,以便于及时地对管道进行维护和更换,成为保障管道的安全运行以及保证相关行业正常生产的关键问题之一。
目前,管道的缺陷损伤检测技术主要包括:超声检测、涡流检测以及基于光学原理的检测方法。其中,超声检测具有穿透能力强、设备简单、安全性好且检测速度快等优点,但是超声检测常规采用的接触式换能方法,需要油脂或水等耦合剂,容易受外部的干扰且对管壁会产生影响,同时在曲面上易造成耦合不良现象;涡流检测具有可达性强、应用范围广、对表面缺陷检测灵敏度较高等优点,但是涡流检测其检测对象必须是导电材料,且信号分析存在一定难度;基于光学原理的检测或仅利用管道的色彩图像信息,如闭路电视(Closed Circuit Television,CCTV)摄像技术,这种技术用于管道检测极受图像质量的影响,鲁棒性较差,或仅利用管道的表面的高度信息,如激光反射测量技术,这种技术又会在成像过程中会引入各种电子噪声,对图像质量产生不利影响。
综上所述,传统的管道的管道损伤检测技术均有其缺点,导致生成的检测结果并不够准确。随之的是部分管道开始采用深度学习进行缺陷检测,例如使用YOLO算法,但是由于YOLO算法是一种全监督学习算法,需要标注大量的数据进行训练才能提高其精度,需要耗费大量的时间和金钱;且管道及其缺陷损伤种类众多,单一的图像信息会导致检测结果误差较大,造成一些误检漏检。
总而言之,现有技术对管道的缺陷损伤进行检测主要存在精度较差、易受外界干扰等问题。
为了解决上述问题,在本实施例中提供了一种管道的缺陷损伤检测方法,本发明实施例提供的管道的缺陷损伤检测方法可以应用于具备相应检测功能的电子设备中,该电子设备可以包括笔记本、台式电脑、智能手机、智能可穿戴设备(例如虚拟现实眼镜、智能手表等)、平板电脑等。当然,本发明实施例提供的管道的缺陷损伤检测方法,也可以应用于运行在上述的电子设备中的应用程序内。例如,该管道的缺陷损伤检测方法可以应用于具备管道缺陷检测功能的浏览器中,也可以应用于管道缺陷检测功能的软件内。图1是根据本发明实施例的管道的缺陷损伤检测方法的流程示意图,如图1所示,该方法包括如下步骤:
S10、获取待检测管道的彩色图像和结构光图像。
在本发明实施例中,首先获取待检测管道的管道图像,管道图像包括彩色图像和结构光图像,因此,管道图像包含了待检测管道的色彩信息与深度信息。需要说明的是,彩色图像为RGB色彩模式下的彩色图像。
作为本发明一些可能的实施例,可以通过搭载RGB-D传感器的爬管机器人实时采集管道的RGB视频图像以及结构光图像,通过这种方式能够实现连续地监测管道的色彩信息与深度信息。
当然,需要说明的是管道图像也可以是事先存储在电子设备中,也可以是电子设备基于其他方式从外界获取到的,在此对管道图像的具体获取形式并不做任何限制,只需保证电子设备能够获取到管道图像即可。
S20、基于半监督学习方式对彩色图像进行预测标注,得到彩色图像对应的标签。
在本实施例中,标签包括检测框以及缺陷损伤类别,半监督学习的目的在于通过对部分的彩色图像进行标注,再利用已标注的彩色图像对未标注的彩色图像进行预测标注,进而得到所有彩色图像的标签。
S30、对结构光图像进行三维重构,得到三维重构数据,并基于三维重构数据生成包含深度信息的热图。
在本发明实施例中,通过建立结构光图像中数据的三角网格拓扑关系,对管道表面进行三维重构,基于表面重构后的管道生成包含待检测管道的深度信息的热图,进而在之后提取待检测管道的深度信息。
S40、将对应有标签的彩色图像与深度信息输入至训练好的缺陷检测模型中,得到由缺陷检测模型输出的待检测管道对应的缺陷损伤类别、缺陷损伤程度以及缺陷损伤区域,在本发明实施例中,缺陷检测模型是基于样本管道对应的样本热图、样本图像、样本图像对应的缺陷损伤类别以及缺陷损伤区域训练得到的。
在本发明实施例中,缺陷检测模型输出的为待检测管道对应的缺陷损伤类别、缺陷损伤程度以及缺陷损伤区域(检测框),通过将已进行标注的图像信息与深度信息相结合,建立管道的缺陷检测模型,再利用该血线检测模型实现对管道缺陷损伤的实时检测与提前预警。
本发明提供的管道的缺陷损伤检测方法,通过标注少量彩色图像的前提下,利用已标注的彩色图像对未标注的彩色图像进行预测标注,得到所有彩色图像的标签,同时,利用结构光技术,对管道进行三维重建,生成热图,利用深度信息突出待检测管道上的缺陷损伤,将标注后的彩色图像与热图即具有标签的彩色图像与深度信息将结合,建立管道的缺陷检测模型,实现对管道缺陷损伤的实时检测与提前预警能够实现对管道进行精确地缺陷损伤检测,保证管道的及时维护与更换。
如图2所示,缺陷检测模型可以分为以下三模块:
特征融合层:包括全局特征提取器、局部特征提取器以及特征融合算子,其中,将对应有标签的彩色图像输入至局部特征提取器,将热图输入至全局特征提取器,分别进行相应的特征提取,最后将两者得到的特征进行融合,得到融合特征,相应的,融合特征对应的标签也会发生变化。
具体的,每一个输入的对应有标签的彩色图像x1都会被局部特征提取器E1映射到RC×H×W,而每一个输入的热图x2都会被全局特征提取器Eg映射到RC×H×W。随后,特征融合算子F将两个特征提取器提取到的特征进行融合,得到融合特征F(E1(x1),Eg(x2)),融合特征F(E1(x1),Eg(x2))会被映射到RC×H×W。
由至少一层稀疏连接层构成的稀疏网络层以及深度链接层,其中,稀疏网络层以及深度链接层采用GoogLeNet作为检测的网络骨架进行训练,GoogLeNet网络结构提出了名为inception的结构,可以既能保持网络结构的稀疏性,又能利用密集矩阵的高计算性能,整个GoogLeNet的主体架构可以看成多个inception模块堆叠而成。
作为本发明实施例一些可能的实施方式,将对应有标签的样本彩色图像与样本热图随机划分70%的数据作为训练集,剩下30%的数据作为测试集,采用GoogLeNet作为检测的网络骨架进行训练,并在测试集上进行测试验证训练后的检测网络的性能。样本彩色图像的生成方式与彩色图像一致,同样的,样本热图的生成方式与热图一致。
作为本发明实施例的另一些可能的实施方式,可以将经过步骤S10至步骤S30处理后得到的彩色图像和热图作为缺陷检测模型的训练集和测试集,以训练得到缺陷检测模型。
稀疏网络层:即inception模块,inception模块是一种多通路模块,是在网络同一层将不同尺寸的卷积核以及池化层并联放置堆叠在一起,也就是说卷尺、池化后的尺寸相同,进而将通道相加,例如inception模块可以采用1×1、3×3和5×5这三种尺寸卷积核的卷积层进行并行提取特征,再将不同尺寸的卷积核放在同一层,意味着有不同大小的感受野,可以提取到不同特征,最后拼接特征,相当于对不同特征进行融合,池化层主要分类平均池化层和最大池化层两种。平均池化层主要保留图像的背景信息,最大池化层最要保留纹理信息没,池化层的主要目的是减少特征和网络参数,因此Inception模块里面也加入了最大池化层来降低网络模型参数。由于网络越到后面,特征越抽象,而且每个特征所涉及的感受野也更大了,因此随着层数的增加,GoogLeNet中3×3和5×5尺寸卷积核的比例也要增加,1×1尺寸的卷积层目的是在降低大量运算的前提下,降低维度,由于可以适当增大卷积核来增加多样性,而网络越到后面,特征也越抽象,每个特征所涉及的感受野也更大。因此随着深度的增加,3×3和5×5尺寸的卷积核的比例也增加。但是5×5尺寸的卷积核仍然会带来巨大的计算量,必须采用1x1尺寸的卷积核进行降维。
inception模块主要优势有:直观感觉上在多个尺度上同时进行卷积,能提取到不同尺度的特征,特征更为丰富也意味着最后分类判断时更加准确;利用稀疏矩阵分解成密集矩阵计算的原理可以加快收敛速度,采用稀疏的分散的网络,对它们进行汇总,就可以取代一些庞大臃肿的网络。
深度链接层:将经过系数网络层处理后得到的不同尺寸的稀疏特征按照深度进行融合,得到相应的输出结果。
相应的,下面结合图3对本发明实施例提供的管道的缺陷损伤检测方法进行描述,该方法中步骤S40具体包括以下步骤:
S41、将对应有标签的彩色图像与热图输入至特征融合层中,得到由特征融合层输出的融合特征;
S42、将融合特征输入至稀疏网络层中,得到由稀疏网络层输出的稀疏特征;
S43、将稀疏特征输入至深度链接层中,得到由深度链接层输出的待检测管道对应的缺陷损伤类别、缺陷损伤程度以及缺陷损伤区域。
在本发明实施例中,将管道缺陷损伤程度划分为轻度损伤、中度损伤和严重损伤三个等级,其中:
轻度损伤等级表示管道整体健康状况一般,腐蚀深度较浅,≤30%壁厚,管道能维持正常运行,应定期进行维护保养;
中度损伤等级表示管道整体健康状态较差,腐蚀深度中等,30~50%壁厚,管道需要及时进行维护保养,进行降压运行或者予以修理;
重度损伤等级表示管道整体健康状况差,腐蚀深度较深,≥50%壁厚,管道需要尽快降压运行、予以修理或更换。
作为本发明实施例一些可能的实施方式,在得到缺陷检测模型输出的检测结果即待检测管道对应的缺陷损伤类别、缺陷损伤程度以及缺陷损伤区域后,可以并将其在待检测管道的3D视图上进行更加直观地显示。
下面结合图4对本发明实施例提供的管道的缺陷损伤检测方法进行描述,该方法中步骤S20具体包括以下步骤:
S21、对管道图像中预设数量的彩色图像进行标注,得到预设数量的彩色图像对应的第一标签。在本发明实施例中,第一标签包括但不局限于:彩色图像具有缺陷的位置区域、缺陷损伤类别。
在本发明实施例中,可以是基于运维人员、行业专家等相关领域人员的专业知识进行彩色图像的标注,也可以是基于其他预测模型进行彩色图像的标注,也可以是基于相关领域人员的专业知识并结合其他预测模型的辅助进行彩色图像的标注。因此,第一标签为彩色图像的真实标签。
可以理解的是,本发明实施例中的预设数量可以是具体的一个数量、一个比例等定量值,也可以是一个范围区间等范围区间值。
S22、对未标注的彩色图像进行数据增强。
在本发明实施例中,数据增强具体的方式为:先对未标注的彩色图像进行全局颜色变化,再随机对全局颜色变化的彩色图像进行全局几何变化或框级别的几何变化,最后在整个彩色图像的多个随机位置上使用Cutout,用于提高之后数据标注模型的泛化性和鲁棒性。
S23、将已标注的彩色图像和经过数据增强的未标注的彩色图像作为训练使用的输入数据,将已标注的彩色图像对应的第一标签作为训练使用的标签,基于半监督学习的方式进行训练,得到用于得到彩色图像的标签的数据标注模型。步骤S23中数据标注模型主要是对未标注的彩色图像打上第二标签,标注上缺陷损伤的检测框以及缺陷损伤类别,也就是说,训练好的数据标注模型是预测无标注的彩色图像的缺陷损伤的检测框和缺陷损伤类别,因此,第二标签为彩色图像的伪标签。可以理解的是,经过数据增强的彩色图像的伪标签与原始的彩色图像的伪标签之间可能存在区别,即,经过数据增强后,彩色图像的伪标签也可能会做出相应的变化。
S24、将未标注的彩色图像输入至训练好的数据标注模型,得到由数据标注模型输出的未标注的彩色图像对应的第二标签。
具体的,在本发明实施例中,先使用所有的已标注的彩色图像预训练目标检测器(Faster Region-Convolutional Neural Network,Faster R-CNN)直到收敛,然后用该检测器预测未标注的彩色图像中缺陷损伤的检测框和类别得到伪标签,再基于非极大值抑制(Non-Maximum Suppression,NMS)过滤检测框以获得更高精度的伪标签。
更具体的,数据标注模型(目标检测器)的预测步骤为:
将未标注的彩色图像输入目标检测器的网络中得到相应的特征图(featuremaps),再使用区域候选网络(Region Proposal Network,RPN)结构生成候选框,将RPN结构生成的候选框投影到之前特征图上获得相应的特征矩阵,之后将每个特征矩阵通过感兴趣区域池化(Region of interest pooling,RoI pooling)层缩放到7×7尺寸的候选特征图,最后将7×7尺寸的候选特征图展平通过一系列全连接层得到预测结果即未标注的彩色图像初始的伪标签。
如图5所示,数据标注模型可以分为以下四个模块:
卷积层(conv layers):即特征提取层,具体还可以包括卷积单元(Conv)、池化单元(Pooling)以及激活单元(Relu),卷积层用于提取特征,通过一组卷积层、池化层和激活层来提取图像数据的特征图,用于后续的RPN层和取候选框(proposal);
区域候选层(RPN):用于生成候选框,在本发明实施例中区域候选层有两部分,一个是分类即判断所有预设锚(anchor)是否有目标,进行二分类;另一个是边界框修正(bounding box regression)即修正锚得到较为准确的候选框,区域候选层相当于提前做了一部分检测,即判断是否有目标,以及修正锚使候选框更加精准;
感兴趣区域池化层(RoI pooling):即进行兴趣域池化,用于收集RPN生成的每个候选框的坐标,并从卷积层得到的特征图中提取出来也就是从对应位置提取出来,生成候选特征图(proposals feature maps)送入后续全连接层继续做分类和回归;
全连接层(Classification and Regression):用于利用候选特征图来计算出具体的缺陷损伤类别,同时再做一次边界框修正获得检测框最终的精确位置。
相应的,下面结合图6对本发明实施例提供的管道的缺陷损伤检测方法进行描述,该方法中步骤S24具体包括以下步骤:
S241、将未标注的彩色图像输入至卷积层中,得到由卷积层输出的未标注的彩色图像对应的图像特征。
S242、将图像特征输入至区域候选层中,得到由区域候选层输出的候选框。
S243、将候选框和图像特征输入至感兴趣区域池化层中,得到由感兴趣区域池化层输出的候选特征图。
S244、将候选特征图输入至全连接层中,得到由全连接层输出的未标注的彩色图像对应的第二标签。
作为本发明实施例的另一些可能实施方式,该方法中步骤S20还具体包括以下步骤:
S25、将彩色图像输入至训练好的数据标注模型,得到由数据标注模型输出的未标注的彩色图像对应的第二标签。其中,数据标注模型是基于已标注的样本图像以及经过数据增强的未标注的样本图像训练得到的,可以理解的是,样本图像也为RGB色彩模式下的彩色图像。
区别于如图4所示的步骤S21至步骤S24,步骤S25中直接通过基于样本图像训练完毕的数据标注模型预测彩色图像的第二标签,如何基于样本图像训练得到数据标注模型详细请参见如图2所示实施例的步骤S21至步骤S23,在此不再赘述。
经过步骤S20的处理后,所有的彩色图像均得到其对应的标签。
下面结合图7对本发明实施例提供的管道的缺陷损伤检测方法进行描述,该方法中步骤S10还包括:
对彩色图像进行预处理,预处理的目的在于提高彩色图像的清晰度,以便于之后进行相应的处理。即,步骤S20进行标注以及预测标注的彩色图像为经过预处理之后的彩色图像。作为本发明的优选实施方式,根据预处理后得到的待检测管道的彩色图像数据进行部分标注,将其与预处理后的结构光图像数据一起建立管道的缺陷损伤数据库,用于后续的传播标注、三维重建与缺陷检测。
在本发明实施例中,预处理的方式包括基于图像增强算法提升图像对比度、进行滤波处理去除噪声等等。
下面结合图8对本发明实施例提供的管道的缺陷损伤检测方法进行描述,该方法中步骤S30具体包括:
S31、对结构光图像进行条纹中心的提取,形成点云数据,并对点云数据进行预处理以剔除点云数据中的噪声点与离群点。对点云数据进行预处理的目的在于优化三维重构的结果以及之后的可视化效果。
S32、基于Delaunay三角剖分准则,建立经过预处理后的点云数据的三角网格拓扑关系。
三角剖分(triangulation)就是对给定的平面点集例如本发明实施例的点云数据,生成三角形集合的过程。假设经过预处理后的点云数据P={P1,..Pn},经过三角剖分处理后具有三角网格拓扑关系的三角形集合T={t1,..tm},则T满足:
所有三角形的端点恰好构成集合P;任意两个三角形的边不相交即要么重合要么没有交点;所有三角形的合集构成P的凸包(convex hull)。
Delaunay三角剖分则是更为特殊的三角剖分,具体的,为所有三角形的外接圆均满足空圆性质的三角剖分,其中,空圆性质即一个三角形(或边)的外接圆范围内(边界除外)不包含点集P中的任何顶点。
更具体的,在本发明实施例中,通过以下步骤建立经过预处理后的点云数据的三角网格拓扑关系:
A10、计算点云数据即集合P的包围盒(bounding box),并将包围盒的四个顶点加入集合P中得到集合P’。
A20、基于包围盒,生成两个超三角形(super triangles),构成初始三角剖分T0。由于初始三角剖分T0只包含两个直角三角形,因此初始三角剖分T0是(包围盒四个顶点的)一个Delaunay三角剖分。
A30、判定是否有未插入至包围盒的点云数据。
A40、若存在未插入的点云数据,从集合P中随机取一个未插入的点云数据v即顶点v插入至包围盒,可以理解的是,当集合P中仅剩最后一个未插入的点云数据即数据点时,会将该点云数据插入至包围盒。获取已有的三角形的外接圆,确定包含该新插入的点云数据v的外接圆对应的三角形,并基于已确定的三角剖分构成一个星形多边形(star shapedpolygon),其中,星形多边形指的是多边形的任何一个顶点到点云数据v的连线都在该多边形的内部,即所有外接圆包含点云数据v的三角形的合集构成一个星形多边形。删除星形多边形内部所包含的所有三角形,此时会形成一个空穴(空腔),将空穴边界的顶点与该新插入的点云数据v连接得到新的三角形,替代原Delaunay三角剖分中被删除的三角形,此时得到一个包含点云数据v的新Delaunay三角剖分。
A70、若不存在未插入的点云数据,删除包围盒的四个顶点以及与这四个顶点连接的三角形,此时,剩下的三角形就构成了集合P的Delaunay三角剖分TD,也就得到了点云数据P的三角网格拓扑关系
S33、基于三角网格拓扑关系生成待检测管道的热图,并从热图中提取深度信息。
下面对本发明提供的图像的预处理装置进行描述,下文描述的图像的预处理装置与上文描述的管道的缺陷损伤检测方法可相互对应参照。
在本实施例中提供了一种管道的缺陷损伤检测装置,本发明实施例提供的管道的缺陷损伤检测装置可以应用于具备相应检测功能的电子设备中,该电子设备可以包括笔记本、台式电脑、智能手机、智能可穿戴设备(例如虚拟现实眼镜、智能手表等)、平板电脑等。当然,本发明实施例提供的管道的缺陷损伤检测装置,也可以应用于运行在上述的电子设备中的应用程序内。例如,该管道的缺陷损伤检测装置可以应用于具备管道缺陷检测功能的浏览器中,也可以应用于管道缺陷检测功能的软件内。图9是根据本发明实施例的管道的缺陷损伤检测装置的结构示意图,如图9所示,该装置包括:
图像采集模块10,用于获取待检测管道的彩色图像和结构光图像。
在本发明实施例中,首先获取待检测管道的管道图像,管道图像包括彩色图像和结构光图像,因此,管道图像包含了待检测管道的色彩信息与深度信息。需要说明的是,彩色图像为RGB色彩模式下的彩色图像。
作为本发明一些可能的实施例,可以通过搭载RGB-D传感器的爬管机器人实时采集管道的RGB视频图像以及结构光图像,通过这种方式能够实现连续地监测管道的色彩信息与深度信息。
当然,需要说明的是管道图像也可以是事先存储在电子设备中,也可以是电子设备基于其他方式从外界获取到的,在此对管道图像的具体获取形式并不做任何限制,只需保证电子设备能够获取到管道图像即可。
传播标注模块20,用于基于半监督学习方式对彩色图像进行预测标注,得到彩色图像对应的标签。
在本实施例中,标签包括检测框以及缺陷损伤类别,半监督学习的目的在于通过对部分的彩色图像进行标注,再利用已标注的彩色图像对未标注的彩色图像进行预测标注,进而得到所有彩色图像的标签。
三维重建模块30,用于对结构光图像进行三维重构,得到三维重构数据,并基于三维重构数据生成包含深度信息的热图。
在本发明实施例中,通过建立结构光图像中数据的三角网格拓扑关系,对管道表面进行三维重构,基于表面重构后的管道生成包含待检测管道的深度信息的热图,进而在之后提取待检测管道的深度信息。
缺陷检测模块40,用于将对应有标签的彩色图像与深度信息输入至训练好的缺陷检测模型中,得到由缺陷检测模型输出的待检测管道对应的缺陷损伤类别、缺陷损伤程度以及缺陷损伤区域,在本发明实施例中,缺陷检测模型是基于样本管道对应的样本热图、样本图像、样本图像对应的缺陷损伤类别以及缺陷损伤区域训练得到的。
在本发明实施例中,缺陷检测模型输出的为待检测管道对应的缺陷损伤类别、缺陷损伤程度以及缺陷损伤区域(检测框),通过将已进行标注的图像信息与深度信息相结合,建立管道的缺陷检测模型,再利用该血线检测模型实现对管道缺陷损伤的实时检测与提前预警。
本发明提供的管道的缺陷损伤检测装置,通过标注少量彩色图像的前提下,利用已标注的彩色图像对未标注的彩色图像进行预测标注,得到所有彩色图像的标签,同时,利用结构光技术,对管道进行三维重建,生成热图,利用深度信息突出待检测管道上的缺陷损伤,将标注后的彩色图像与热图即具有标签的彩色图像与深度信息将结合,建立管道的缺陷检测模型,实现对管道缺陷损伤的实时检测与提前预警能够实现对管道进行精确地缺陷损伤检测,保证管道的及时维护与更换。
图10示例了一种电子设备的实体结构示意图,如图10所示,该电子设备可以包括:处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540,其中,处理器510,通信接口520,存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑命令,以执行管道的缺陷损伤检测方法,该方法包括:
获取待检测管道的彩色图像和结构光图像;
基于半监督学习方式对所述彩色图像进行预测标注,得到彩色图像对应的标签;
对所述结构光图像进行三维重构,得到三维重构数据,并基于所述三维重构数据生成包含深度信息的热图;
将对应有所述标签的所述彩色图像与所述热图输入至训练好的缺陷检测模型中,得到由所述缺陷检测模型输出的待检测管道对应的缺陷损伤类别、缺陷损伤程度以及缺陷损伤区域;所述缺陷检测模型是基于样本管道对应的样本热图、样本图像、样本图像对应的缺陷损伤类别以及缺陷损伤区域训练得到的。
此外,上述的存储器530中的逻辑命令可以通过软件功能单元的形式实现并作为独立的介质销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件介质的形式体现出来,该计算机软件介质存储在一个存储介质中,包括若干命令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序介质,所述计算机程序介质包括计算机程序,计算机程序可存储在非暂态计算机可读存储介质上,所述计算机程序被处理器执行时,计算机能够执行上述各方法所提供的管道的缺陷损伤检测方法,该方法包括:
获取待检测管道的彩色图像和结构光图像;
基于半监督学习方式对所述彩色图像进行预测标注,得到彩色图像对应的标签;
对所述结构光图像进行三维重构,得到三维重构数据,并基于所述三维重构数据生成包含深度信息的热图;
将对应有所述标签的所述彩色图像与所述热图输入至训练好的缺陷检测模型中,得到由所述缺陷检测模型输出的待检测管道对应的缺陷损伤类别、缺陷损伤程度以及缺陷损伤区域;所述缺陷检测模型是基于样本管道对应的样本热图、样本图像、样本图像对应的缺陷损伤类别以及缺陷损伤区域训练得到的。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各方法提供的管道的缺陷损伤检测方法,该方法包括:
获取待检测管道的彩色图像和结构光图像;
基于半监督学习方式对所述彩色图像进行预测标注,得到彩色图像对应的标签;
对所述结构光图像进行三维重构,得到三维重构数据,并基于所述三维重构数据生成包含深度信息的热图;
将对应有所述标签的所述彩色图像与所述热图输入至训练好的缺陷检测模型中,得到由所述缺陷检测模型输出的待检测管道对应的缺陷损伤类别、缺陷损伤程度以及缺陷损伤区域;所述缺陷检测模型是基于样本管道对应的样本热图、样本图像、样本图像对应的缺陷损伤类别以及缺陷损伤区域训练得到的。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件介质的形式体现出来,该计算机软件介质可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干命令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种管道的缺陷损伤检测方法,其特征在于,所述方法包括:
获取待检测管道的彩色图像和结构光图像;
基于半监督学习方式对所述彩色图像进行预测标注,得到彩色图像对应的标签;
对所述结构光图像进行三维重构,得到三维重构数据,并基于所述三维重构数据生成包含深度信息的热图;
将对应有所述标签的所述彩色图像与所述热图输入至训练好的缺陷检测模型中,得到由所述缺陷检测模型输出的待检测管道对应的缺陷损伤类别、缺陷损伤程度以及缺陷损伤区域;所述缺陷检测模型是基于样本管道对应的样本热图、样本图像、样本图像对应的缺陷损伤类别以及缺陷损伤区域训练得到的。
2.根据权利要求1所述的管道的缺陷损伤检测方法,其特征在于,所述缺陷检测模型包括特征融合层、由至少一层稀疏连接层构成的稀疏网络层以及深度链接层;
所述特征融合层用于将对应有所述标签的所述彩色图像与所述热图进行特征融合;
所述稀疏网络层用于对将对应有所述标签的所述彩色图像与所述热图进行特征融合的融合特征进行稀疏连接;
所述深度链接用于基于对所述融合特征进行稀疏连得到的稀疏特征进行深度融合;
相应的,所述将对应有所述标签的所述彩色图像与所述热图输入至训练好的缺陷检测模型中,得到由所述缺陷检测模型输出的待检测管道对应的缺陷损伤类别、缺陷损伤程度以及缺陷损伤区域具体包括:
将对应有所述标签的所述彩色图像与所述热图输入至所述特征融合层中,得到由所述特征融合层输出的所述融合特征;
将所述融合特征输入至所述稀疏网络层中,得到由所述稀疏网络层输出的稀疏特征;
将所述稀疏特征输入至所述深度链接层中,得到由所述深度链接层输出的待检测管道对应的缺陷损伤类别、缺陷损伤程度以及缺陷损伤区域。
3.根据权利要求1所述的管道的缺陷损伤检测方法,其特征在于,所述基于半监督学习方式对所述彩色图像进行预测标注,得到彩色图像对应的标签,具体包括:
对预设数量的所述彩色图像进行标注,得到预设数量的所述彩色图像对应的第一标签;第一标签至少包括以下信息:具有缺陷的位置区域以及缺陷损伤类别;
对未标注的所述彩色图像进行数据增强;
将已标注的所述彩色图像和经过数据增强的未标注的所述彩色图像作为训练使用的输入数据,将已标注的所述彩色图像对应的第一标签作为训练使用的标签,基于半监督学习的方式进行训练,得到用于得到所述彩色图像的标签的数据标注模型;
将未标注的所述彩色图像输入至训练好的所述数据标注模型,得到由所述数据标注模型输出的未标注的所述彩色图像对应的第二标签。
4.根据权利要求3所述的管道的缺陷损伤检测方法,其特征在于,所述数据标注模型包括卷积层、区域候选层、感兴趣区域池化层和全连接层;
所述卷积层用于对所述彩色图像进行特征提取;
所述区域候选层用于基于对所述彩色图像进行特征提取得到的图像特征进行分类及边界框修正;
所述感兴趣区域池化层用于基于对所述图像特征进行分类及边界框修正得到的候选框以及所述图像特征进行池化;
所述全连接层用于基于对所述候选框进行池化得到的候选特征图进行分类及边界框修正。
5.根据权利要求4所述的管道的缺陷损伤检测方法,其特征在于,所述将未标注的所述彩色图像输入至训练好的所述数据标注模型,得到由所述数据标注模型输出的未标注的所述彩色图像对应的第二标签,具体包括:
将未标注的所述彩色图像输入至所述卷积层中,得到由所述卷积层输出的所述图像特征;
将所述图像特征输入至所述区域候选层中,得到由所述区域候选层输出的所述候选框;
将所述候选框和所述图像特征输入至所述感兴趣区域池化层中,得到由所述感兴趣区域池化层输出的所述候选特征图;
将所述候选特征图输入至所述全连接层中,得到由所述全连接层输出的未标注的所述彩色图像对应的第二标签。
6.根据权利要求1所述的管道的缺陷损伤检测方法,其特征在于,所述获取待检测管道的彩色图像和结构光图像步骤还包括:
对所述彩色图像和所述结构光图像进行预处理;所述预处理包括以下至少一项:基于图像增强算法提升图像对比度、进行滤波处理以及去除噪声。
7.根据权利要求1所述的管道的缺陷损伤检测方法,其特征在于,所述对所述结构光图像进行三维重构,得到三维重构数据,并基于所述三维重构数据生成包含深度信息的热图,具体包括:
对结构光图像进行条纹中心的提取,形成点云数据,并对点云数据进行预处理以剔除点云数据中的噪声点与离群;
建立经过预处理后的点云数据的三角网格拓扑关系;
基于三角网格拓扑关系生成待检测管道的热图,并从热图中提取深度信息。
8.一种管道的缺陷损伤检测装置,其特征在于,所述装置包括:
图像采集模块,用于获取待检测管道的彩色图像和结构光图像;
传播标注模块,用于基于半监督学习方式对所述彩色图像进行预测标注,得到彩色图像对应的标签;
三维重建模块,用于对所述结构光图像进行三维重构,得到三维重构数据,并基于所述三维重构数据生成包含深度信息的热图;
缺陷检测模块,用于将对应有所述标签的所述彩色图像与所述热图输入至训练好的缺陷检测模型中,得到由所述缺陷检测模型输出的待检测管道对应的缺陷损伤类别、缺陷损伤程度以及缺陷损伤区域;所述缺陷检测模型是基于样本管道对应的样本热图、样本图像、样本图像对应的缺陷损伤类别以及缺陷损伤区域训练得到的。
9.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任一项管道的缺陷损伤检测方法的步骤。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述管道的缺陷损伤检测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310484706.9A CN117078585A (zh) | 2023-04-28 | 2023-04-28 | 一种管道的缺陷损伤检测方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310484706.9A CN117078585A (zh) | 2023-04-28 | 2023-04-28 | 一种管道的缺陷损伤检测方法、装置、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117078585A true CN117078585A (zh) | 2023-11-17 |
Family
ID=88714105
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310484706.9A Pending CN117078585A (zh) | 2023-04-28 | 2023-04-28 | 一种管道的缺陷损伤检测方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117078585A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117372433A (zh) * | 2023-12-08 | 2024-01-09 | 菲沃泰纳米科技(深圳)有限公司 | 厚度参数的控制方法、装置、设备及存储介质 |
-
2023
- 2023-04-28 CN CN202310484706.9A patent/CN117078585A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117372433A (zh) * | 2023-12-08 | 2024-01-09 | 菲沃泰纳米科技(深圳)有限公司 | 厚度参数的控制方法、装置、设备及存储介质 |
CN117372433B (zh) * | 2023-12-08 | 2024-03-08 | 菲沃泰纳米科技(深圳)有限公司 | 厚度参数的控制方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112581463B (zh) | 图像缺陷的检测方法、装置、电子设备、存储介质及产品 | |
Westphal et al. | A machine learning method for defect detection and visualization in selective laser sintering based on convolutional neural networks | |
Tan et al. | Automatic detection of sewer defects based on improved you only look once algorithm | |
KR102423561B1 (ko) | 디지털 트윈 기반 지능형 댐 안전 관리 시스템 | |
CN113284109B (zh) | 管道缺陷识别方法、装置、终端设备及存储介质 | |
den Bieman et al. | Deep learning video analysis as measurement technique in physical models | |
CN108596221A (zh) | 标尺读数的图像识别方法及设备 | |
Kumar et al. | A deep learning based automated structural defect detection system for sewer pipelines | |
CN117078585A (zh) | 一种管道的缺陷损伤检测方法、装置、设备及介质 | |
CN113642474A (zh) | 一种基于yolov5的危险区域人员监控方法 | |
US20220076404A1 (en) | Defect management apparatus, method and non-transitory computer readable medium | |
CN115797354A (zh) | 用于检测激光焊接焊缝外观缺陷的方法 | |
CN111881970A (zh) | 一种基于深度学习的外破图像智能识别方法 | |
Wu et al. | Concrete spalling detection for metro tunnel from point cloud based on roughness descriptor | |
Jia et al. | Crack identification for marine engineering equipment based on improved SSD and YOLOv5 | |
CN113240623A (zh) | 一种路面病害检测方法及装置 | |
KR102189951B1 (ko) | 이미지 분석을 이용한 선박 도장상태 검사 시스템 및 방법 | |
CN115063337A (zh) | 埋地管道智能维修决策方法及装置 | |
CN112198170B (zh) | 一种无缝钢管外表面三维检测中识别水滴的检测方法 | |
Hashmi et al. | Computer-vision based visual inspection and crack detection of railroad tracks | |
CN116664846B (zh) | 基于语义分割实现3d打印桥面施工质量监测方法及系统 | |
CN112465027A (zh) | 钢轨伤损检测方法 | |
CN115239733B (zh) | 裂缝检测方法、装置、终端设备以及存储介质 | |
Guo et al. | Detection and classification of pipe defects based on pipe-extended feature pyramid network | |
CN115597494A (zh) | 一种基于点云的预制构件预留孔的精度检测方法、系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |