CN116363441B - 具备标记功能的管道腐蚀检测系统 - Google Patents
具备标记功能的管道腐蚀检测系统 Download PDFInfo
- Publication number
- CN116363441B CN116363441B CN202310627586.3A CN202310627586A CN116363441B CN 116363441 B CN116363441 B CN 116363441B CN 202310627586 A CN202310627586 A CN 202310627586A CN 116363441 B CN116363441 B CN 116363441B
- Authority
- CN
- China
- Prior art keywords
- pipeline
- feature
- classification
- matrixes
- vectors
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007797 corrosion Effects 0.000 title claims abstract description 89
- 238000005260 corrosion Methods 0.000 title claims abstract description 89
- 238000001514 detection method Methods 0.000 title claims abstract description 56
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 34
- 230000011218 segmentation Effects 0.000 claims abstract description 26
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 25
- 238000003709 image segmentation Methods 0.000 claims abstract description 17
- 230000007246 mechanism Effects 0.000 claims abstract description 16
- 239000013598 vector Substances 0.000 claims description 75
- 239000011159 matrix material Substances 0.000 claims description 47
- 238000011176 pooling Methods 0.000 claims description 25
- 238000005457 optimization Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 9
- 230000003213 activating effect Effects 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 45
- 238000000034 method Methods 0.000 description 19
- 238000009826 distribution Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 8
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
公开了一种具备标记功能的管道腐蚀检测系统。其首先沿着被检测管道的延伸方向,对被检测管道的高清影像进行图像切分以得到多个管道切分图像,接着,将所述多个管道切分图像分别通过卷积神经网络模型以得到多个管道段特征矩阵,然后,将所述多个管道段特征矩阵分别通过双向注意力机制模块以得到多个分类特征矩阵,接着,对所述多个分类特征矩阵分别进行流形曲面维度正交化以得到多个优化分类特征矩阵,然后,将所述多个优化分类特征矩阵分别通过分类器以得到用于表示管道段是否存在腐蚀区域的多个分类结果,最后,基于所述多个分类结果,对所述被检测管道的各个管道段进行管道腐蚀标记。这样,可以提高检测的准确率。
Description
技术领域
本申请涉及智能化检测领域,且更为具体地,涉及一种具备标记功能的管道腐蚀检测系统。
背景技术
管道腐蚀检测是一种重要的工业安全保障技术,它可以及时发现和评估管道的腐蚀程度,防止管道泄漏或破裂造成的环境污染和经济损失。
然而,传统的管道腐蚀检测方法通常需要停止生产或切断管道,造成时间和资源的浪费。
因此,期待一种具备标记功能的管道腐蚀检测方案,能够在不影响生产的情况下,对管道的腐蚀区域进行定位和标注。
发明内容
为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种具备标记功能的管道腐蚀检测系统。其首先沿着被检测管道的延伸方向,对被检测管道的高清影像进行图像切分以得到多个管道切分图像,接着,将所述多个管道切分图像分别通过卷积神经网络模型以得到多个管道段特征矩阵,然后,将所述多个管道段特征矩阵分别通过双向注意力机制模块以得到多个分类特征矩阵,接着,对所述多个分类特征矩阵分别进行流形曲面维度正交化以得到多个优化分类特征矩阵,然后,将所述多个优化分类特征矩阵分别通过分类器以得到用于表示管道段是否存在腐蚀区域的多个分类结果,最后,基于所述多个分类结果,对所述被检测管道的各个管道段进行管道腐蚀标记。这样,可以提高检测的准确率。
根据本申请的一个方面,提供了一种具备标记功能的管道腐蚀检测系统,其包括:管道影像获取模块,用于获取被检测管道的高清影像;图像切分模块,用于沿着所述被检测管道的延伸方向,对所述被检测管道的高清影像进行图像切分以得到多个管道切分图像;特征提取模块,用于将所述多个管道切分图像分别通过作为特征提取器的卷积神经网络模型以得到多个管道段特征矩阵;注意力增强模块,用于将所述多个管道段特征矩阵分别通过双向注意力机制模块以得到多个分类特征矩阵;优化模块,用于对所述多个分类特征矩阵分别进行流形曲面维度正交化以得到多个优化分类特征矩阵;检测结果划分模块,用于将所述多个优化分类特征矩阵分别通过分类器以得到多个分类结果,所述多个分类结果用于表示管道段是否存在腐蚀区域;以及标记模块,用于基于所述多个分类结果,对所述被检测管道的各个管道段进行管道腐蚀标记。
在上述的具备标记功能的管道腐蚀检测系统中,所述特征提取模块,用于:使用所述作为特征提取器的卷积神经网络模型的各层在层的正向传递中对输入数据分别进行二维卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述作为特征提取器的卷积神经网络模型的最后一层输出所述多个管道段特征矩阵,其中,所述作为特征提取器的卷积神经网络模型的第一层的输入为所述多个管道切分图像。
在上述的具备标记功能的管道腐蚀检测系统中,所述注意力增强模块,包括:双向池化单元,用于将所述多个管道段特征矩阵分别沿着水平方向和垂直方向进行池化以得到各个第一向池化向量和各个第二向池化向量;关联编码单元,用于对所述各个第一向池化向量和所述各个第二向池化向量进行关联编码以得到多个双向关联矩阵;激活单元,用于将所述多个双向关联矩阵输入Sigmoid激活函数以得到多个注意力特征矩阵;矩阵展开单元,用于将所述多个管道段特征矩阵和所述多个注意力特征矩阵分别展开为特征向量以得到各个管道段特征向量和多个注意力特征向量;向量融合单元,用于融合所述各个管道段特征向量和所述多个注意力特征向量以得到多个融合关联特征向量;以及维度重构单元,用于将所述多个融合关联特征向量进行维度重构以得到所述多个分类特征矩阵。
在上述的具备标记功能的管道腐蚀检测系统中,所述优化模块,用于:以如下优化公式对所述多个分类特征矩阵分别进行流形曲面维度正交化以得到所述多个优化分类特征矩阵;其中,所述优化公式为:,其中,/>是所述分类特征矩阵的第/>位置的特征值,/>和/>是所述分类特征矩阵的特征值集合的均值和标准差,且是所述优化分类特征矩阵的第/> 位置的特征值。
在上述的具备标记功能的管道腐蚀检测系统中,所述检测结果划分模块,包括:展开单元,用于将所述多个优化分类特征矩阵按照行向量或者列向量分别展开为多个优化分类特征向量;全连接编码单元,用于使用所述分类器的全连接层对所述多个优化分类特征向量分别进行全连接编码以得到多个编码分类特征向量;以及分类单元,用于将所述多个编码分类特征向量分别输入所述分类器的Softmax分类函数以得到所述多个分类结果。
在上述的具备标记功能的管道腐蚀检测系统中,所述标记模块,用于:响应于所述多个分类结果为管道段存在腐蚀区域,对该管道段进行管道腐蚀标记。
与现有技术相比,本申请提供的具备标记功能的管道腐蚀检测系统,其首先沿着被检测管道的延伸方向,对被检测管道的高清影像进行图像切分以得到多个管道切分图像,接着,将所述多个管道切分图像分别通过卷积神经网络模型以得到多个管道段特征矩阵,然后,将所述多个管道段特征矩阵分别通过双向注意力机制模块以得到多个分类特征矩阵,接着,对所述多个分类特征矩阵分别进行流形曲面维度正交化以得到多个优化分类特征矩阵,然后,将所述多个优化分类特征矩阵分别通过分类器以得到用于表示管道段是否存在腐蚀区域的多个分类结果,最后,基于所述多个分类结果,对所述被检测管道的各个管道段进行管道腐蚀标记。这样,可以提高检测的准确率。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员而言,在没有做出创造性劳动的前提下,还可以根据这些附图获得其他的附图。以下附图并未刻意按实际尺寸等比例缩放绘制,重点在于示出本申请的主旨。
图1为根据本申请实施例的具备标记功能的管道腐蚀检测系统的应用场景图。
图2为根据本申请实施例的具备标记功能的管道腐蚀检测系统的框图示意图。
图3为根据本申请实施例的具备标记功能的管道腐蚀检测系统中的所述注意力增强模块的框图示意图。
图4为根据本申请实施例的具备标记功能的管道腐蚀检测系统中的所述检测结果划分模块的框图示意图。
图5为根据本申请实施例的具备标记功能的管道腐蚀检测方法的流程图。
图6为根据本申请实施例的具备标记功能的管道腐蚀检测方法的系统架构的示意图。
其中,N、被检测管道;D、高清影像;S、服务器。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述,显而易见地,所描述的实施例仅仅是本申请的部分实施例,而不是全部的实施例。基于本申请实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,也属于本申请保护的范围。
如本申请和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其他的步骤或元素。
虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用,然而,任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的,并且所述系统和方法的不同方面可以使用不同模块。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是,前面或下面操作不一定按照顺序来精确地执行。相反,根据需要,可以按照倒序或同时处理各种步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
针对上述技术问题,本申请的技术构思是利用高分辨率的摄像头和基于深度学习的图像处理技术,智能化地对管道表面的腐蚀区域进行定位和标注。
具体地,在本申请的技术方案中,首先,获取被检测管道的高清影像。这里,所述高清影像可以提供足够的细节信息,并且由于其具有较高的精度,可以大大提高后续检测的准确率。
接着,沿着所述被检测管道的延伸方向,对所述被检测管道的高清影像进行图像切分以得到多个管道切分图像。应可以理解,由于管道是一个连续的物体,在同一方向上的相邻像素点具有较高的相关性和相似性,因此在延伸方向上进行切分可以提高特征的稳定性和一致性。值得一提的是,在进行图像切分操作时,需合理设置切分图像的大小,以保证每张图像中包含足够的信息,并且不至于过大或过小导致计算负担过重或特征信息过少。
然后,将所述多个管道切分图像分别通过作为特征提取器的卷积神经网络模型以得到多个管道段特征矩阵。这里,所述卷积神经网络(CNN)具有优良的特征提取能力。具体而言,所述卷积神经网络可以从图像中自动学习和抽取最具代表性的特征信息。也就是,所述多个管道段特征矩阵可以充分表征管道表面的纹理和细节信息,为后续的分类和标注提供有用的特征信息。
进一步地,将所述多个管道段特征矩阵分别通过双向注意力机制模块以得到多个分类特征矩阵。其中,所述双向注意力机制可以在局部空间范围内捕捉上下文信息,从而增强特征的表示能力。具体来说,所述双向注意力模块分别从水平方向和垂直方向对多个管道段特征矩阵的注意力权重校准并获取复杂特征关系,从而完全能够从空间的全局特征中获取局部特征信息。
继而,将所述多个分类特征矩阵分别通过分类器以得到多个分类结果,所述多个分类结果用于表示管道段是否存在腐蚀区域。其中所述分类器可以根据训练数据中的特征矩阵和分类标签之间的关系,学习出一个分类规则,用于对推断时输入的各个分类特征矩阵进行分类预测,从而得到分类结果。也就是,所述分类器可以将特征映射为二元分类标签,即“管道段存在腐蚀区域”和“管道段不存在腐蚀区域”。在本申请的技术方案中,所述多个分类结果可以作为标记依据,并基于所述多个分类结果,对所述被检测管道的各个管道段进行管道腐蚀标记。
这里,在将管道切分图像通过作为特征提取器的卷积神经网络模型进行局部关联图像语义特征的提取时,所得到的管道段特征矩阵的特征分布基本遵循源图像的图像像素语义空间分布,由此,通过双向注意力机制模块在特征矩阵的行空间和列空间维度上进一步进行注意力权重强化以强化在注意力维度上的空间维度分布,可以提升所述分类特征矩阵在空间维度上的整体分布一致性。但是,所述分类特征矩阵在空间维度上的整体分布一致性又会导致所述分类特征矩阵的各个局部分布之间存在概率密度维度下的区分度问题,从而影响所述分类特征矩阵在分类任务下的类概率表达,降低了所述分类特征矩阵通过分类器得到的分类结果的准确性。
因此,优选地对所述分类特征矩阵,例如表示为进行高斯概率密度的流形曲面维度正交化,具体为:/>,其中/>是所述分类特征矩阵的第位置的特征值,/>和/>是所述分类特征矩阵的特征值集合的均值和标准差,且/>是优化后的所述分类特征矩阵的第/>位置的特征值。
这里,通过以表达流形曲面的高维特征集合的均值和标准差的平方根来表征曲面单位切向量模长和单位法向量模长,可以将所述分类特征矩阵的高维特征流形的流形曲面在切平面和法平面上进行基于单位模长的正交投影,从而基于高斯特征流形几何的基本结构进行高维特征的概率密度的维度重整,以通过提升概率密度的维度正交化来提升优化后的分类特征矩阵在分类任务下的类概率表达的准确性,从而改进优化后的所述分类特征矩阵通过分类器得到的分类结果的准确性。
图1为根据本申请实施例的具备标记功能的管道腐蚀检测系统的应用场景图。如图1所示,在该应用场景中,首先,获取被检测管道(例如,图1中所示意的N)的高清影像(例如,图1中所示意的D),然后,将所述被检测管道的高清影像进行图像输入至部署有具备标记功能的管道腐蚀检测算法的服务器(例如,图1中所示意的S)中,其中,所述服务器能够使用所述具备标记功能的管道腐蚀检测算法对所述被检测管道的高清影像进行图像进行处理以得到用于表示管道段是否存在腐蚀区域的多个分类结果,最后,基于所述多个分类结果,对所述被检测管道的各个管道段进行管道腐蚀标记。
在介绍了本申请的基本原理之后,下面将参考附图来具体介绍本申请的各种非限制性实施例。
图2为根据本申请实施例的具备标记功能的管道腐蚀检测系统的框图示意图。如图2所示,根据本申请实施例的具备标记功能的管道腐蚀检测系统100,包括:管道影像获取模块110,用于获取被检测管道的高清影像;图像切分模块120,用于沿着所述被检测管道的延伸方向,对所述被检测管道的高清影像进行图像切分以得到多个管道切分图像;特征提取模块130,用于将所述多个管道切分图像分别通过作为特征提取器的卷积神经网络模型以得到多个管道段特征矩阵;注意力增强模块140,用于将所述多个管道段特征矩阵分别通过双向注意力机制模块以得到多个分类特征矩阵;优化模块150,用于对所述多个分类特征矩阵分别进行流形曲面维度正交化以得到多个优化分类特征矩阵;检测结果划分模块160,用于将所述多个优化分类特征矩阵分别通过分类器以得到多个分类结果,所述多个分类结果用于表示管道段是否存在腐蚀区域;以及,标记模块170,用于基于所述多个分类结果,对所述被检测管道的各个管道段进行管道腐蚀标记。
更具体地,在本申请实施例中,所述管道影像获取模块110,用于获取被检测管道的高清影像。高清影像可以提供足够的细节信息,并且由于其具有较高的精度,可以大大提高后续检测的准确率
更具体地,在本申请实施例中,所述图像切分模块120,用于沿着所述被检测管道的延伸方向,对所述被检测管道的高清影像进行图像切分以得到多个管道切分图像。由于管道是一个连续的物体,在同一方向上的相邻像素点具有较高的相关性和相似性,因此在延伸方向上进行切分可以提高特征的稳定性和一致性。值得一提的是,在进行图像切分操作时,需合理设置切分图像的大小,以保证每张图像中包含足够的信息,并且不至于过大或过小导致计算负担过重或特征信息过少。
更具体地,在本申请实施例中,所述特征提取模块130,用于将所述多个管道切分图像分别通过作为特征提取器的卷积神经网络模型以得到多个管道段特征矩阵。这里,所述卷积神经网络(CNN)具有优良的特征提取能力。具体而言,所述卷积神经网络可以从图像中自动学习和抽取最具代表性的特征信息。也就是,所述多个管道段特征矩阵可以充分表征管道表面的纹理和细节信息,为后续的分类和标注提供有用的特征信息。
应可以理解,卷积神经网络(Convolutional Neural Network,CNN)是一种人工神经网络,在图像识别等领域有着广泛的应用。卷积神经网络可以包括输入层、隐藏层和输出层,其中,隐藏层可以包括卷积层、池化(pooling)层、激活层和全连接层等,上一层根据输入的数据进行相应的运算,将运算结果输出给下一层,输入的初始数据经过多层的运算之后得到一个最终的结果。
相应地,在一个具体示例中,所述特征提取模块130,用于:使用所述作为特征提取器的卷积神经网络模型的各层在层的正向传递中对输入数据分别进行二维卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述作为特征提取器的卷积神经网络模型的最后一层输出所述多个管道段特征矩阵,其中,所述作为特征提取器的卷积神经网络模型的第一层的输入为所述多个管道切分图像。
更具体地,在本申请实施例中,所述注意力增强模块140,用于将所述多个管道段特征矩阵分别通过双向注意力机制模块以得到多个分类特征矩阵。所述双向注意力机制可以在局部空间范围内捕捉上下文信息,从而增强特征的表示能力。具体来说,所述双向注意力模块分别从水平方向和垂直方向对多个管道段特征矩阵的注意力权重校准并获取复杂特征关系,从而完全能够从空间的全局特征中获取局部特征信息。
相应地,在一个具体示例中,如图3所示,所述注意力增强模块140,包括:双向池化单元141,用于将所述多个管道段特征矩阵分别沿着水平方向和垂直方向进行池化以得到各个第一向池化向量和各个第二向池化向量;关联编码单元142,用于对所述各个第一向池化向量和所述各个第二向池化向量进行关联编码以得到多个双向关联矩阵;激活单元143,用于将所述多个双向关联矩阵输入Sigmoid激活函数以得到多个注意力特征矩阵;矩阵展开单元144,用于将所述多个管道段特征矩阵和所述多个注意力特征矩阵分别展开为特征向量以得到各个管道段特征向量和多个注意力特征向量;向量融合单元145,用于融合所述各个管道段特征向量和所述多个注意力特征向量以得到多个融合关联特征向量;以及,维度重构单元146,用于将所述多个融合关联特征向量进行维度重构以得到所述多个分类特征矩阵。
更具体地,在本申请实施例中,所述优化模块150,用于对所述多个分类特征矩阵分别进行流形曲面维度正交化以得到多个优化分类特征矩阵。这里,在将管道切分图像通过作为特征提取器的卷积神经网络模型进行局部关联图像语义特征的提取时,所得到的管道段特征矩阵的特征分布基本遵循源图像的图像像素语义空间分布,由此,通过双向注意力机制模块在特征矩阵的行空间和列空间维度上进一步进行注意力权重强化以强化在注意力维度上的空间维度分布,可以提升所述分类特征矩阵在空间维度上的整体分布一致性。但是,所述分类特征矩阵在空间维度上的整体分布一致性又会导致所述分类特征矩阵的各个局部分布之间存在概率密度维度下的区分度问题,从而影响所述分类特征矩阵在分类任务下的类概率表达,降低了所述分类特征矩阵通过分类器得到的分类结果的准确性。因此,优选地对所述分类特征矩阵进行高斯概率密度的流形曲面维度正交化。
相应地,在一个具体示例中,所述优化模块150,用于:以如下优化公式对所述多个分类特征矩阵分别进行流形曲面维度正交化以得到所述多个优化分类特征矩阵;其中,所述优化公式为:,其中,/>是所述分类特征矩阵的第/>位置的特征值,/>和/>是所述分类特征矩阵的特征值集合的均值和标准差,且/>是所述优化分类特征矩阵的第/> 位置的特征值。
这里,通过以表达流形曲面的高维特征集合的均值和标准差的平方根来表征曲面单位切向量模长和单位法向量模长,可以将所述分类特征矩阵的高维特征流形的流形曲面在切平面和法平面上进行基于单位模长的正交投影,从而基于高斯特征流形几何的基本结构进行高维特征的概率密度的维度重整,以通过提升概率密度的维度正交化来提升优化后的分类特征矩阵在分类任务下的类概率表达的准确性,从而改进优化后的所述分类特征矩阵通过分类器得到的分类结果的准确性。
更具体地,在本申请实施例中,所述检测结果划分模块160,用于将所述多个优化分类特征矩阵分别通过分类器以得到多个分类结果,所述多个分类结果用于表示管道段是否存在腐蚀区域。也就是,所述分类器可以将特征映射为二元分类标签,即“管道段存在腐蚀区域”和“管道段不存在腐蚀区域”。
也就是,在本申请的技术方案中,所述分类器的标签包括管道段存在腐蚀区域(第一标签),以及,管道段不存在腐蚀区域(第二标签),其中,所述分类器通过软最大值函数来确定所述优化分类特征矩阵属于哪个分类标签。值得注意的是,这里的第一标签p1和第二标签p2并不包含人为设定的概念,实际上在训练过程当中,计算机模型并没有“管道段是否存在腐蚀区域”这种概念,其只是有两种分类标签且输出特征在这两个分类标签下的概率,即p1和p2之和为1。因此,管道段是否存在腐蚀区域的分类结果实际上是通过分类标签转化为符合自然规律的二分类的类概率分布,实质上用到的是标签的自然概率分布的物理意义,而不是“管道段是否存在腐蚀区域”的语言文本意义。
应可以理解,分类器的作用是利用给定的类别、已知的训练数据来学习分类规则和分类器,然后对未知数据进行分类(或预测)。逻辑回归(logistics)、支持向量机(SVM)等常用于解决二分类问题,对于多分类问题(multi-class classification),同样也可以用逻辑回归或支持向量机,只是需要多个二分类来组成多分类,但这样容易出错且效率不高,常用的多分类方法有Softmax分类函数。
相应地,在一个具体示例中,如图4所示,所述检测结果划分模块160,包括:展开单元161,用于将所述多个优化分类特征矩阵按照行向量或者列向量分别展开为多个优化分类特征向量;全连接编码单元162,用于使用所述分类器的全连接层对所述多个优化分类特征向量分别进行全连接编码以得到多个编码分类特征向量;以及,分类单元163,用于将所述多个编码分类特征向量分别输入所述分类器的Softmax分类函数以得到所述多个分类结果。
更具体地,在本申请实施例中,所述标记模块170,用于基于所述多个分类结果,对所述被检测管道的各个管道段进行管道腐蚀标记。
综上,基于本申请实施例的具备标记功能的管道腐蚀检测系统100被阐明,其首先沿着被检测管道的延伸方向,对被检测管道的高清影像进行图像切分以得到多个管道切分图像,接着,将所述多个管道切分图像分别通过卷积神经网络模型以得到多个管道段特征矩阵,然后,将所述多个管道段特征矩阵分别通过双向注意力机制模块以得到多个分类特征矩阵,接着,对所述多个分类特征矩阵分别进行流形曲面维度正交化以得到多个优化分类特征矩阵,然后,将所述多个优化分类特征矩阵分别通过分类器以得到用于表示管道段是否存在腐蚀区域的多个分类结果,最后,基于所述多个分类结果,对所述被检测管道的各个管道段进行管道腐蚀标记。这样,可以提高检测的准确率。
如上所述,根据本申请实施例的基于本申请实施例的具备标记功能的管道腐蚀检测系统100可以实现在各种终端设备中,例如具有基于本申请实施例的具备标记功能的管道腐蚀检测算法的服务器等。在一个示例中,基于本申请实施例的具备标记功能的管道腐蚀检测系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如,该基于本申请实施例的具备标记功能的管道腐蚀检测系统100可以是该终端设备的操作系统中的一个软件模块,或者可以是针对于该终端设备所开发的一个应用程序;当然,该基于本申请实施例的具备标记功能的管道腐蚀检测系统100同样可以是该终端设备的众多硬件模块之一。
替换地,在另一示例中,该基于本申请实施例的具备标记功能的管道腐蚀检测系统100与该终端设备也可以是分立的设备,并且该具备标记功能的管道腐蚀检测系统100可以通过有线和/或无线网络连接到该终端设备,并且按照约定的数据格式来传输交互信息。
图5为根据本申请实施例的具备标记功能的管道腐蚀检测方法的流程图。如图5所示,根据本申请实施例的具备标记功能的管道腐蚀检测方法,其包括:S110,获取被检测管道的高清影像;S120,沿着所述被检测管道的延伸方向,对所述被检测管道的高清影像进行图像切分以得到多个管道切分图像;S130,将所述多个管道切分图像分别通过作为特征提取器的卷积神经网络模型以得到多个管道段特征矩阵;S140,将所述多个管道段特征矩阵分别通过双向注意力机制模块以得到多个分类特征矩阵;S150,对所述多个分类特征矩阵分别进行流形曲面维度正交化以得到多个优化分类特征矩阵;S160,将所述多个优化分类特征矩阵分别通过分类器以得到多个分类结果,所述多个分类结果用于表示管道段是否存在腐蚀区域;以及,S170,基于所述多个分类结果,对所述被检测管道的各个管道段进行管道腐蚀标记。
图6为根据本申请实施例的具备标记功能的管道腐蚀检测方法的系统架构的示意图。如图6所示,在所述具备标记功能的管道腐蚀检测方法的系统架构中,首先,获取被检测管道的高清影像;接着,沿着所述被检测管道的延伸方向,对所述被检测管道的高清影像进行图像切分以得到多个管道切分图像;然后,将所述多个管道切分图像分别通过作为特征提取器的卷积神经网络模型以得到多个管道段特征矩阵;接着,将所述多个管道段特征矩阵分别通过双向注意力机制模块以得到多个分类特征矩阵;然后,对所述多个分类特征矩阵分别进行流形曲面维度正交化以得到多个优化分类特征矩阵;接着,将所述多个优化分类特征矩阵分别通过分类器以得到多个分类结果,所述多个分类结果用于表示管道段是否存在腐蚀区域;最后,基于所述多个分类结果,对所述被检测管道的各个管道段进行管道腐蚀标记。
在一个具体示例中,在上述具备标记功能的管道腐蚀检测方法中,将所述多个管道切分图像分别通过作为特征提取器的卷积神经网络模型以得到多个管道段特征矩阵,包括:使用所述作为特征提取器的卷积神经网络模型的各层在层的正向传递中对输入数据分别进行二维卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述作为特征提取器的卷积神经网络模型的最后一层输出所述多个管道段特征矩阵,其中,所述作为特征提取器的卷积神经网络模型的第一层的输入为所述多个管道切分图像。
在一个具体示例中,在上述具备标记功能的管道腐蚀检测方法中,将所述多个管道段特征矩阵分别通过双向注意力机制模块以得到多个分类特征矩阵,包括:将所述多个管道段特征矩阵分别沿着水平方向和垂直方向进行池化以得到各个第一向池化向量和各个第二向池化向量;对所述各个第一向池化向量和所述各个第二向池化向量进行关联编码以得到多个双向关联矩阵;将所述多个双向关联矩阵输入Sigmoid激活函数以得到多个注意力特征矩阵;将所述多个管道段特征矩阵和所述多个注意力特征矩阵分别展开为特征向量以得到各个管道段特征向量和多个注意力特征向量;融合所述各个管道段特征向量和所述多个注意力特征向量以得到多个融合关联特征向量;以及,将所述多个融合关联特征向量进行维度重构以得到所述多个分类特征矩阵。
在一个具体示例中,在上述具备标记功能的管道腐蚀检测方法中,对所述多个分类特征矩阵分别进行流形曲面维度正交化以得到多个优化分类特征矩阵,包括:以如下优化公式对所述多个分类特征矩阵分别进行流形曲面维度正交化以得到所述多个优化分类特征矩阵;其中,所述优化公式为:,其中,/>是所述分类特征矩阵的第/>位置的特征值,/>和/>是所述分类特征矩阵的特征值集合的均值和标准差,且/>是所述优化分类特征矩阵的第/> 位置的特征值。
在一个具体示例中,在上述具备标记功能的管道腐蚀检测方法中,将所述多个优化分类特征矩阵分别通过分类器以得到多个分类结果,所述多个分类结果用于表示管道段是否存在腐蚀区域,包括:将所述多个优化分类特征矩阵按照行向量或者列向量分别展开为多个优化分类特征向量;使用所述分类器的全连接层对所述多个优化分类特征向量分别进行全连接编码以得到多个编码分类特征向量;以及,将所述多个编码分类特征向量分别输入所述分类器的Softmax分类函数以得到所述多个分类结果。
在一个具体示例中,在上述具备标记功能的管道腐蚀检测方法中,基于所述多个分类结果,对所述被检测管道的各个管道段进行管道腐蚀标记,包括:响应于所述多个分类结果为管道段存在腐蚀区域,对该管道段进行管道腐蚀标记。
这里,本领域技术人员可以理解,上述具备标记功能的管道腐蚀检测方法中的各个步骤的具体操作已经在上面参考图1到图4的具备标记功能的管道腐蚀检测系统100的描述中得到了详细介绍,并因此,将省略其重复描述。
根据本申请的另一方面,还提供了一种非易失性的计算机可读存储介质,其上存储有计算机可读的指令,当利用计算机执行所述指令时可以执行如前所述的方法。
技术中的程序部分可以被认为是以可执行的代码和/或相关数据的形式而存在的“产品”或“制品”,通过计算机可读的介质所参与或实现的。有形的、永久的储存介质可以包括任何计算机、处理器、或类似设备或相关的模块所用到的内存或存储器。例如,各种半导体存储器、磁带驱动器、磁盘驱动器或者类似任何能够为软件提供存储功能的设备。
本申请使用了特定词语来描述本申请的实施例。如“第一/第二实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外,本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外,本领域技术人员可以理解,本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述,包括任何新的和有用的工序、机器、产品或物质的组合,或对他们的任何新的和有用的改进。相应地,本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外,本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品,该产品包括计算机可读程序编码。
除非另有定义,这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解,诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义,而不应用理想化或极度形式化的意义来解释,除非这里明确地这样定义。
上面是对本发明的说明,而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例,但本领域技术人员将容易地理解,在不背离本发明的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此,所有这些修改都意图包含在权利要求书所限定的本发明范围内。应当理解,上面是对本发明的说明,而不应被认为是限于所公开的特定实施例,并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要求书及其等效物限定。
Claims (4)
1.一种具备标记功能的管道腐蚀检测系统,其特征在于,包括:
管道影像获取模块,用于获取被检测管道的高清影像;
图像切分模块,用于沿着所述被检测管道的延伸方向,对所述被检测管道的高清影像进行图像切分以得到多个管道切分图像;
特征提取模块,用于将所述各个管道切分图像分别通过作为特征提取器的卷积神经网络模型以得到多个管道段特征矩阵;
注意力增强模块,用于将所述各个管道段特征矩阵分别通过双向注意力机制模块以得到多个分类特征矩阵;
优化模块,用于对所述多个分类特征矩阵分别进行流形曲面维度正交化以得到多个优化分类特征矩阵;
检测结果划分模块,用于将所述多个优化分类特征矩阵分别通过分类器以得到多个分类结果,所述分类结果用于表示管道段是否存在腐蚀区域;以及
标记模块,用于基于所述多个分类结果,对所述被检测管道的各个管道段进行管道腐蚀标记;
其中,所述注意力增强模块,包括:
双向池化单元,用于将所述各个管道段特征矩阵分别沿着水平方向和垂直方向进行池化以得到各个第一向池化向量和各个第二向池化向量;
关联编码单元,用于对所述各个第一向池化向量和所述各个第二向池化向量进行关联编码以得到多个双向关联矩阵;
激活单元,用于将所述多个双向关联矩阵输入Sigmoid激活函数以得到多个注意力特征矩阵;
矩阵展开单元,用于将所述各个管道段特征矩阵和所述多个注意力特征矩阵分别展开为特征向量以得到各个管道段特征向量和多个注意力特征向量;
向量融合单元,用于融合所述各个管道段特征向量和所述多个注意力特征向量以得到多个融合关联特征向量;以及
维度重构单元,用于将所述多个融合关联特征向量进行维度重构以得到所述多个分类特征矩阵;
其中,所述优化模块,用于:
以如下优化公式对所述多个分类特征矩阵分别进行流形曲面维度正交化以得到所述多个优化分类特征矩阵;
其中,所述优化公式为:
,
其中,是所述分类特征矩阵的第/>位置的特征值,/>和/>是所述分类特征矩阵的特征值集合的均值和标准差,且/>是所述优化分类特征矩阵的第/>位置的特征值。
2.根据权利要求1所述的具备标记功能的管道腐蚀检测系统,其特征在于,所述特征提取模块,用于:
使用作为所述作为特征提取器的卷积神经网络模型的各层在层的正向传递中对输入数据分别进行二维卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述作为特征提取器的卷积神经网络模型的最后一层输出所述多个管道段特征矩阵,其中,所述作为特征提取器的卷积神经网络模型的第一层的输入为所述各个管道切分图像。
3.根据权利要求2所述的具备标记功能的管道腐蚀检测系统,其特征在于,所述检测结果划分模块,包括:
展开单元,用于将所述多个优化分类特征矩阵按照行向量或者列向量分别展开为多个优化分类特征向量;
全连接编码单元,用于使用所述分类器的全连接层对所述多个优化分类特征向量分别进行全连接编码以得到多个编码分类特征向量;以及
分类单元,用于将所述多个编码分类特征向量分别输入所述分类器的Softmax分类函数以得到所述多个分类结果。
4.根据权利要求3所述的具备标记功能的管道腐蚀检测系统,其特征在于,所述标记模块,用于:
响应于所述分类结果为管道段存在腐蚀区域,对该管道段进行管道腐蚀标记。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310627586.3A CN116363441B (zh) | 2023-05-31 | 2023-05-31 | 具备标记功能的管道腐蚀检测系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310627586.3A CN116363441B (zh) | 2023-05-31 | 2023-05-31 | 具备标记功能的管道腐蚀检测系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116363441A CN116363441A (zh) | 2023-06-30 |
CN116363441B true CN116363441B (zh) | 2023-08-08 |
Family
ID=86934840
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310627586.3A Active CN116363441B (zh) | 2023-05-31 | 2023-05-31 | 具备标记功能的管道腐蚀检测系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116363441B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116524576B (zh) * | 2023-07-03 | 2023-10-20 | 广州思林杰科技股份有限公司 | 基于动态视觉识别的长跑计时方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110826588A (zh) * | 2019-08-29 | 2020-02-21 | 天津大学 | 一种基于注意力机制的排水管道缺陷检测方法 |
CN111220536A (zh) * | 2018-11-23 | 2020-06-02 | 中国石油天然气股份有限公司 | 管道腐蚀概率的检测方法、装置及系统 |
CN114331987A (zh) * | 2021-12-22 | 2022-04-12 | 国网安徽省电力有限公司 | 一种接线端子锈蚀全景监控图像的边缘侧轻量化处理方法 |
WO2022211781A1 (en) * | 2021-03-29 | 2022-10-06 | Hitachi Vantara Llc | Object detection inference pipeline |
CN115393316A (zh) * | 2022-08-24 | 2022-11-25 | 维都利阀门有限公司 | 具有冲蚀状态监测系统的闪蒸阀及其监测方法 |
CN115546565A (zh) * | 2022-11-09 | 2022-12-30 | 上海朗驰佰特智能技术有限公司 | 基于yolocbf电厂关键区域管道油液泄漏检测方法 |
CN115797670A (zh) * | 2022-11-22 | 2023-03-14 | 华能伊敏煤电有限责任公司 | 基于卷积神经网络的斗轮性能监测方法及其系统 |
WO2023070911A1 (zh) * | 2021-10-27 | 2023-05-04 | 西安工程大学 | 一种基于自注意力的彩色纹理织物缺陷区域的检测方法 |
-
2023
- 2023-05-31 CN CN202310627586.3A patent/CN116363441B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111220536A (zh) * | 2018-11-23 | 2020-06-02 | 中国石油天然气股份有限公司 | 管道腐蚀概率的检测方法、装置及系统 |
CN110826588A (zh) * | 2019-08-29 | 2020-02-21 | 天津大学 | 一种基于注意力机制的排水管道缺陷检测方法 |
WO2022211781A1 (en) * | 2021-03-29 | 2022-10-06 | Hitachi Vantara Llc | Object detection inference pipeline |
WO2023070911A1 (zh) * | 2021-10-27 | 2023-05-04 | 西安工程大学 | 一种基于自注意力的彩色纹理织物缺陷区域的检测方法 |
CN114331987A (zh) * | 2021-12-22 | 2022-04-12 | 国网安徽省电力有限公司 | 一种接线端子锈蚀全景监控图像的边缘侧轻量化处理方法 |
CN115393316A (zh) * | 2022-08-24 | 2022-11-25 | 维都利阀门有限公司 | 具有冲蚀状态监测系统的闪蒸阀及其监测方法 |
CN115546565A (zh) * | 2022-11-09 | 2022-12-30 | 上海朗驰佰特智能技术有限公司 | 基于yolocbf电厂关键区域管道油液泄漏检测方法 |
CN115797670A (zh) * | 2022-11-22 | 2023-03-14 | 华能伊敏煤电有限责任公司 | 基于卷积神经网络的斗轮性能监测方法及其系统 |
Non-Patent Citations (1)
Title |
---|
基于轻量级SSD的电力设备锈蚀目标检测;吴之昊;熊卫华;任嘉锋;姜明;;计算机系统应用(02);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN116363441A (zh) | 2023-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kou et al. | Development of a YOLO-V3-based model for detecting defects on steel strip surface | |
AU2019200270B2 (en) | Concept mask: large-scale segmentation from semantic concepts | |
CN108734210B (zh) | 一种基于跨模态多尺度特征融合的对象检测方法 | |
Yang et al. | Visual anomaly detection for images: A survey | |
CN105718952A (zh) | 使用深度学习网络对断层医学影像进行病灶分类的方法 | |
CN103236068B (zh) | 一种局部图像匹配方法 | |
Shang et al. | Defect-aware transformer network for intelligent visual surface defect detection | |
CN116363441B (zh) | 具备标记功能的管道腐蚀检测系统 | |
CN116204266A (zh) | 远程协助的信息创建运维系统及其方法 | |
CN113724128B (zh) | 一种训练样本的扩充方法 | |
CN115410059B (zh) | 基于对比损失的遥感图像部分监督变化检测方法及设备 | |
CN116704431A (zh) | 水污染的在线监测系统及其方法 | |
CN116824481B (zh) | 基于图像识别的变电站巡检方法及其系统 | |
CN116580029B (zh) | 铝合金铸造成品的质检管控系统及其方法 | |
CN116310563A (zh) | 一种贵金属库存的管理方法及系统 | |
KR20220062002A (ko) | 자동화된 회로도 분석을 위한 시스템 및 방법 | |
CN111881906A (zh) | 一种基于注意力机制图像检索的logo识别方法 | |
CN113642602B (zh) | 一种基于全局与局部标签关系的多标签图像分类方法 | |
Vinokurov | Tabular information recognition using convolutional neural networks | |
CN116796248A (zh) | 森林康养环境评估系统及其方法 | |
CN116563251A (zh) | 汽车用拉杆球头的智能加工方法及其系统 | |
JP2023017759A (ja) | セマンティック増強に基づく画像識別モデルのトレーニング方法およびトレーニング装置 | |
Li | Edge aware learning for 3d point cloud | |
CN114882279A (zh) | 基于直推式半监督深度学习的多标签图像分类方法 | |
Wu et al. | CDText: scene text detector based on context-aware deformable transformer |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |