CN117036255A - 一种基于深度学习的管道缺陷检测与评价方法及装置 - Google Patents
一种基于深度学习的管道缺陷检测与评价方法及装置 Download PDFInfo
- Publication number
- CN117036255A CN117036255A CN202310900926.5A CN202310900926A CN117036255A CN 117036255 A CN117036255 A CN 117036255A CN 202310900926 A CN202310900926 A CN 202310900926A CN 117036255 A CN117036255 A CN 117036255A
- Authority
- CN
- China
- Prior art keywords
- image
- pipeline
- deep learning
- neural network
- pixel point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 45
- 238000001514 detection method Methods 0.000 title claims abstract description 39
- 238000013135 deep learning Methods 0.000 title claims abstract description 19
- 238000011156 evaluation Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 58
- 238000012545 processing Methods 0.000 claims abstract description 37
- 238000013528 artificial neural network Methods 0.000 claims abstract description 20
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 230000009467 reduction Effects 0.000 claims abstract description 10
- 238000003062 neural network model Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 25
- 238000011176 pooling Methods 0.000 claims description 23
- 239000011159 matrix material Substances 0.000 claims description 20
- 230000004913 activation Effects 0.000 claims description 12
- 230000007797 corrosion Effects 0.000 claims description 7
- 238000005260 corrosion Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 7
- 238000010191 image analysis Methods 0.000 claims description 7
- 230000003902 lesion Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000013461 design Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 3
- 238000005336 cracking Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 2
- 230000008901 benefit Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000006872 improvement Effects 0.000 description 7
- 210000002569 neuron Anatomy 0.000 description 5
- 230000004044 response Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000011150 reinforced concrete Substances 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 239000010865 sewage Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000002351 wastewater Substances 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30132—Masonry; Concrete
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于深度学习的管道缺陷检测与评价方法及装置，所述方法包括：将待处理的管道内部图像进行预处理，输入训练好的神经网络模型，得到管道内部相应位置的损伤类型；所述神经网络为AlexNet；所述待处理的管道内部图像进行述预处理，具体包括：将图像分割成固定像素大小的图像；对图像进行降噪处理；对图像进行边缘锐化；获取图像的纹理信息。本发明的优势在于：使用改进的Gauss滤波器对图像进行降噪，提高了图像处理系统的工作效率，提高了排水管道检测系统工作的实时性；所处理图像使用Laplace算子进行锐化，提高了缺陷检测的准确性；使用LTP提取图像中的纹理特征大大提高了图像的处理效率；使用改进后的AlexNet神经网络，提高了检测的准确性。
Description
技术领域
本发明属于管道检测技术领域，具体涉及一种基于深度学习的管道缺陷检测与评价方法及装置。
背景技术
排水管道作为城市排放污水、废水以及雨水的管道，是城市地下管网中的重要组成部分，当前，城市排水管道多以钢筋混凝土管道为主，在运输地下污水、废水以及雨水的过程中，由于钢筋混凝土管道抗腐蚀能力较差，在长期的使用过程中，由于缺少必要的监测、监督和维修，使得现役排水管道存在不同程度的损伤和缺陷，严重影响了使用效果并存在安全隐患，因此需要对排水管道进行缺陷检测与评价，并针对管道的状况对其进行修复工作。
现有的管道检测主要包括管道机器人、CCTV、超声波检测、磁力检测等，这些检测过程对施工环境有一定的要求，检测准确率会受到外界环境的干扰，而且对于其检测结果多以人工筛查为主，检测成本较高，无法实现在管道检测与评价领域的自动化。
发明内容
本发明的目的在于克服现有技术检测成本较高，无法实现在管道检测与评价领域的自动化的缺陷。
为了实现上述目的，本申请提出了一种基于深度学习的管道缺陷检测与评价方法，所述方法包括：
将待处理的管道内部图像进行预处理，输入训练好的神经网络模型，得到管道内部相应位置的损伤类型；
所述神经网络为AlexNet；
所述待处理的管道内部图像进行述预处理，具体包括：
步骤1：将图像分割成固定像素大小的图像；
步骤2：对图像进行降噪处理；
步骤3：对图像进行边缘锐化；
步骤4：获取图像的纹理信息。
作为上述方法的一种改进，所述损伤类型包括：
裂纹：图像特征表现为损伤两边图像亮度差别较小，而损伤部分存在明显的成一定角度的边缘线；
腐蚀：图像特征表现为损伤图像亮度存在渐变，过度较为平滑，而损伤区域存在范围性的成角度边缘线集合；和
缺陷：图像特征表现为断裂、错位或异物，其损伤周围亮度突变，过度梯度大，在损伤区域存在成角度的边缘线集合。
作为上述方法的一种改进，所述步骤1具体包括：
对图像通过滑动窗口法进行分割处理：
stride＝size/2
其中，stride为滑动窗口的步长，size为滑动窗口的大小；
对不同尺寸的图像通过双线性插值进行缩放，将图像大小调整为固定大小；
对图像每个像素的亮度进行均值消减处理：
其中，X为所有像素亮度的均值，xl为第l个像素亮度数据，为通过均值消减后的亮度数据。
作为上述方法的一种改进，所述步骤2具体包括：
采用滤波优化算法对图像进行降噪处理，公式如下：
其中，x、y为像素点坐标；σ为当前像素点周围坐标的标准差；σx,σy分别代表当前像素点在x，y维度上的标准差；e为自然常数。
作为上述方法的一种改进，所述步骤3具体包括：
使用二阶Laplace算子对像素点灰度值进行调整；锐化公式为：
其中，g(x,y)为输出像素点灰度值；f(x,y)为原始像素灰度值；c为比例系数；为二阶Laplace算子：
选取Laplace滤波模块矩阵L为：
作为上述方法的一种改进，所述步骤4具体包括：
采用局部三值模式获取图像的纹理信息，具体公式如下：
其中，LTPP,R为局部三值模式算子；ic为局部三值模式算子矩阵中心像素点的灰度值；ip为局部三值模式算子矩阵中心像素点的第p个相邻像素点的灰度值；R为矩阵半径；P为中心像素点相邻像素个数；t为局部三值模式算子矩阵设计阈值；
局部三值模式算子矩阵设定为3*3矩阵，t设定为5。
作为上述方法的一种改进，所述神经网络包括4个卷积层，3个池化层和3个全连接层；
其中，池化层使用的ReLU激活函数为：
其中，表示第i个卷积核在位置x，y运用ReLU激活函数的输出；/>表示卷积层第i个卷积内核在位置x，y的输出；n为同一个位置上临近的通道的数量；N为卷积核的数量；参数k、α、β取值为：k＝2，α＝e-4，β＝0.75。
作为上述方法的一种改进，所述神经网络的全连接层的softmax函数为：
其中，y为softmax函数归一化处理后识别出的损伤类型权重；fr,fs为识别位置对于损伤类型的权重值；r,s取值为：1、2或3。
本申请还提供一种基于深度学习的管道缺陷检测与评价装置，基于上述方法实现，所述装置包括：
图像采集系统：用于进入管道内部，对管道内部进行图像采集，并将图像传输到图像分析系统；和
图像分析系统：用于对图像进行预处理后，输入训练好的神经网络模型，得到管道内部相应位置的损伤类型。
与现有技术相比，本发明的优势在于：
1、由于埋地排水管道自身条件以及图像采集系统的限制，所获取的图像信息可能存在大量噪点，使用改进的Gauss滤波器对图像进行降噪，提高了图像处理系统的工作效率，提高了排水管道检测系统工作的实时性；
2、排水管道缺陷的特征主要是以边缘异化以及颜色加深的形式在图像上呈现，对所处理图像使用Laplace算子进行锐化，可以提高缺陷检测的准确性，防止图像由于优化Gauss滤波器处理后图像过度模糊导致的管道缺陷的忽视；
3、针对排水管道缺陷大多以裂隙和腐蚀面的形式存在的现象，使用LTP提取图像中的纹理特征可以大大提高图像的处理效率；
4、使用根据管道内部图像特点进行改进后的AlexNet神经网络对图像进行检测和评价，提高了检测的准确性。
附图说明
图1所示为本方法基于申请基于深度学习的管道检测与评价装置的基本框架图；
图2所示为本方法图像处理系统的基本流程图；
图3所示为本方法图像处理系统图像分割算法基本示意图；
图4所示为本方法图像处理系统神经卷积网络基本框架图；
图5所示为本方法图像处理系统神经卷积网络各卷积层、最大池化层及全连接层详细解释图。
具体实施方式
下面结合附图对本发明的技术方案进行详细的说明。
如图1所示，为申请公开的一种基于深度学习的管道缺陷检测与评价方法及装置的示意图，主要包括排水管道图像采集系统和排水管道图像分析系统。排水管道图像采集系统主要包括：无线电接收器、GPS、红外测距仪、相机、可见光源、驱动器、线缆。管道图像处理系统包括：储存硬盘、电脑、图像采集系统控制器。工作时，驱动器内装有预先设置的无线电接收器和GPS，将红外测距仪、相机和可见光源安装在驱动器上方以用来获取管道内部的数据，将排水管道图像采集系统放入待检测管道内部并通过线缆使排水管道图像采集系统与排水管道图像处理系统相连接。排水管道图像采集系统进入管道内，通过相机获取管道内部图像，通过红外测距仪测量管道内部构造的具体位置，并将上述数据通过线缆传输到排水管道图像处理系统的电脑中，排水管道图像处理系统会将最原始的数据储存到移动硬盘中，传输到电脑上的数据经过一定的图像处理得到管道内部损伤程度进而对管道做出评价
所述管道缺陷检测与评价方法，需建立排水管道损伤评价标准，将排水管道根据其在使用过程中所受结构性损伤程度，分为三类：
裂纹：图像特征表现为损伤两边图像亮度差别较小，而损伤部分存在明显的成一定角度的边缘线。
腐蚀：图像特征表现为损伤图像亮度存在渐变，过度较为平滑，而损伤区域存在范围性的成角度边缘线集合。
缺陷：对于排水管道的缺陷主要表现为断裂、错位、异物如植物根部入侵等，其图像特征表现为损伤周围亮度多为突变，过度梯度大，在损伤区域存在成角度的边缘线集合，可通过分水岭算法切割出图像处损伤部位。
所述基于深度学习的管道检测与评价方法，如图2所示，具体过程包括：
(1)图像预处理：
将图像输入进排水管道图像处理系统，对图像通过滑动窗口法进行分割处理，来避免排水图像采集系统在采集图像时对图像缩放的问题设置滑动窗口属性：
stride＝size/2
其中，stride为滑动窗口的步长，size为滑动窗口的大小。
如图3所示，为滑动窗口法对所获取图像基本示意图，其中设置待处理图像尺寸为m*n，第一个滑动窗口图像的坐标为(1,1)，当滑动窗口以对应的步长在横向进行移动时，当所截取的图像坐标为(m，1)时，滑动窗口会发生纵向移动，向下进行stride步长的位移，并从(m，2)横向移动到(1,2)，以此类推对所处理图像进行遍历。
上述过程为了适应不同拍摄条件下获取的图像，没有给予滑动窗口size以固定值，因此所获得管道内部的图像大小存在差异。为了确保所构建的神经网络模型的运算速率与准确性，将输入图像大小限制在227*227像素，对不同尺寸的图像通过双线性插值进行缩放，将图像大小调整为227*227像素。
了减少神经网络在数据归一化和白化后对图像整体亮度的影响，对样本进行均值消减处理：
其中，X为样本的均值，xi为第i个样本数据，为通过均值消减后的数据。
由于埋地排水管道自身条件以及图像采集系统的限制，所获取的图像信息可能存在大量噪点，需要对图像进行降噪处理，针对于排水管道特征，采用Gauss滤波进行降噪，对于所获取的二维图像，引入二维高斯函数：
其中，σ为当前像素点周围坐标的标准差。
其作用在于对于创建的Gauss滤波器内核，对于滤波器内核中的每一个像素点进行加权平均，提高图像的平滑度以达到降低噪点的目的。
为了提高排水管道图像处理系统的处理效率并增强实时性，本申请引入一种新的Gauss滤波优化算法，其具体公式如下：
其中，σ为当前像素点周围坐标的标准差，σx,σy分别代表当前像素点在x，y维度上的标准差。
将二维图像的Gauss滤波器从二维高斯函数转化为两个一维高斯函数，提高了图像处理系统的工作效率，提高了排水管道检测系统工作的实时性。
将上述经优化Gauss滤波器处理后的图像通过Laplace算子进行边缘锐化，其原因在于排水管道缺陷的特征主要是以边缘异化以及颜色加深的形式在图像上呈现的，为了提高缺陷检测的准确性，防止图像由于优化Gauss滤波器处理后图像过度模糊导致的管道缺陷的忽视，要对所处理图像使用Laplace算子进行锐化，具体操作如下：
对于二维待处理图像，引入二阶Laplace算子：
Laplace算子对于孤立的像素响应要比对边缘和线的响应更为强烈，对于排水管道缺陷的边缘检测，使用二阶Laplace算子得到计算位置像素点周围一格(不含对角)的灰度之和减去计算点像素灰度的四倍，具体公式如下：
其中，f(x,y)为坐标为(x,y)的像素点的灰度值。
对上述Laplace算子进行系数调整来调节Laplace算子对于像素点灰度值的权重，获得最终锐化公式：
其中，g(x,y)为输出像素，f(x,y)为原始像素灰度值，c为比例系数。
针对排水管道中所采集图像的特点，选取Laplace滤波模块矩阵为：
将经上述操作处理后的图像使用局部二值模式(LBP)，提取图像中的纹理特征。针对排水管道缺陷大多以裂隙和腐蚀面的形式存在，使用LBP可以大大提高图像的处理效率。
首先将待处理图像从具有3个channel的彩图转化为具有1个channel的灰度图，为在不降低运行速率的同时提高算法准确性，本图像处理方法使用改进的局部三值模式(LTP)，来消除图像获取时因灯光亮度产生的影响，对照明条件进行归一化，具体公式如下：
其中：
ic为LTP算子矩阵中心像素点的灰度值；
ip为LTP算子矩阵中心像素点的第p个相邻像素点的灰度值；
R为矩阵半径；
P为中心像素点相邻像素个数；
t为LTP算子矩阵设计阈值。
针对于排水管道缺陷的特征，图像处理系统采取的LTP算子矩阵设定为3*3矩阵，阈值t＝5，最后得到适用于排水管道缺陷检测的图像信息。
(2)排水管道缺陷检测与分析神经网络设计：
排水管道缺陷检测与分析神经网络框架图如图4所示，该神经网络以caffe为基本框架构建，适用于排水管道检测与评价的深度卷积神经网络，采用经ImageNet训练的AlexNet神经网络的权重作为本神经网络权重的初始值。如图4所示，本神经网络包括4个卷积层，3个池化层以及3个全连接层，当图像以227*227大小输入到该神经网络时，通过卷积层与池化层对图像特征进行提取，最后通过3个全连接层对图像特征提取结果进行分类，最终按照排水管道的损伤程度将输出结果分为3类：裂纹，腐蚀和缺陷。
图5所示为本方法所构建深度卷积神经网络的具体属性示意图，所构建深度卷积神经网络设计流程具体包括：
卷积层1：采用96个11*11*1的卷积内核对227*227*1的输入图像进行卷积操作，padding为0，stride为4。得到55*55*96的图像特征值，再将该结果输入ReLU激活函数对数据进行处理，引入非线性因素，加快神经网络的运作速率。
池化层1：池化类型为最大池化，采用96个3*3的池化层对图像特征值进行最大池化处理，padding为0，stride为2。得到27*27*96的图像特征值，将结果进行LRN局部响应归一化对池化层1中ReLU激活函数中非线性神经元输出进行侧抑制。公式如下：
其中，表示第i个核在位置(x，y)运用ReLU非线性化神经元输出，n是同一个位置上临近的kernal map的数目，N是kernal的总数。k＝2，n＝5，α＝e-4，β＝0.75
卷积层2：采用256个5*5*96的卷积内核对27*27*96图像特征值进行卷积操作，padding为2，stride为1。得到27*27*256的图像特征值，再将结果输入进ReLU激活函数对数据进行处理。
池化层2：池化类型为最大池化，采用256个3*3的池化层对图像特征值进行最大池化处理，padding为0，stride为2。得到13*13*256的图像特征值，将结果进行LRN局部响应归一化对池化层2中ReLU激活函数中非线性神经元输出进行侧抑制。
卷积层3：采用384个3*3*256的卷积内核对13*13*256图像特征值进行卷积操作，padding为1，stride为1。得到13*13*384的图像特征值，再将结果输入ReLU激活函数对数据进行处理。
卷积层4：采用384个3*3*384的卷积内核对13*13*384图像特征值进行卷积操作，padding为1，stride为1。得到13*13*384的图像特征值，再将结果输入ReLU激活函数对数据进行处理。
池化层4：池化类型为最大池化，采用256个3*3的池化层对图像特征值进行最大池化处理，padding为0，stride为2。得到13*13*256的图像特征值，此结果不进行LRN局部响应归一化。
全连接层5：将13*13*256的图像特征值进行全连接，再将结果输入进ReLU激活函数对数据进行处理，再将处理后的结果进行dropout，随机的断开全连接层某些神经元的连接，通过不激活某些神经元的方式防止过拟合，dropout运算后输出4096个结果值。
全连接层6：将1*1*4096个图像特征值全连接，再将结果输入进ReLU激活函数对数据进行处理，再将处理后的结果进行dropout，运算后输出1000个结果值。
全连接层7：将1*1*1000图像特征值全连接，通过softmax层对所得到的图像特征进行预测与分类，将检测图像中的缺陷特征分为3类，其具体步骤如下：
定义softmax函数：
其中：
其中：y为softmax函数归一化处理后识别出的缺陷类型权重；fi,fj为识别位置对于三种缺陷类型的权重值，i,j取(1,2,3)。
使用softmax函数对全连接层8输出的一维向量大小规定在(0,1)之间，并对其结果按照其权重分类，最后得到排水管道的3种缺陷类型。
本方法所创建的神经网络具体属性如下表所示：
本申请还提供一种基于深度学习的管道缺陷检测与评价装置，基于上述方法实现，所述装置包括：
图像采集系统：用于进入管道内部，对管道内部进行图像采集，并将图像传输到图像分析系统；和
图像分析系统：用于对图像进行预处理后，输入训练好的神经网络模型，得到管道内部相应位置的损伤类型。
本发明还可提供一种计算机设备，包括：至少一个处理器、存储器、至少一个网络接口和用户接口。该设备中的各个组件通过总线系统耦合在一起。可理解，总线系统用于实现这些组件之间的连接通信。总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。
其中，用户接口可以包括显示器、键盘或者点击设备。例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等。
可以理解，本申请公开实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(RandomAccess Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中，存储器存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统和应用程序。
其中，操作系统，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序，包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。实现本公开实施例方法的程序可以包含在应用程序中。
在本上述的实施例中，还可通过调用存储器存储的程序或指令，具体的，可以是应用程序中存储的程序或指令，处理器用于：
执行上述方法的步骤。
上述方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行上述公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合上述公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
可以理解的是，本发明描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(Application Specific Integrated Circuits，ASIC)、数字信号处理器(Digital SignalProcessing，DSP)、数字信号处理设备(DSP Device，DSPD)、可编程逻辑设备(ProgrammableLogic Device，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本发明的功能模块(例如过程、函数等)来实现本发明技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
本发明还可提供一种非易失性存储介质，用于存储计算机程序。当该计算机程序被处理器执行时可以实现上述方法实施例中的各个步骤。
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (9)
1.一种基于深度学习的管道缺陷检测与评价方法，所述方法包括：
将待处理的管道内部图像进行预处理，输入训练好的神经网络模型，得到管道内部相应位置的损伤类型；
所述神经网络为AlexNet；
所述待处理的管道内部图像进行述预处理，具体包括：
步骤1：将图像分割成固定像素大小的图像；
步骤2：对图像进行降噪处理；
步骤3：对图像进行边缘锐化；
步骤4：获取图像的纹理信息。
2.根据权利要求1所述的基于深度学习的管道缺陷检测与评价方法，其特征在于，所述损伤类型包括：
裂纹：图像特征表现为损伤两边图像亮度差别较小，而损伤部分存在明显的成一定角度的边缘线；
腐蚀：图像特征表现为损伤图像亮度存在渐变，过度较为平滑，而损伤区域存在范围性的成角度边缘线集合；和
缺陷：图像特征表现为断裂、错位或异物，其损伤周围亮度突变，过度梯度大，在损伤区域存在成角度的边缘线集合。
3.根据权利要求1所述的基于深度学习的管道缺陷检测与评价方法，其特征在于，所述步骤1具体包括：
对图像通过滑动窗口法进行分割处理：
stride＝size/2
其中，stride为滑动窗口的步长，size为滑动窗口的大小；
对不同尺寸的图像通过双线性插值进行缩放，将图像大小调整为固定大小；
对图像每个像素的亮度进行均值消减处理：
其中，X为所有像素亮度的均值，xl为第l个像素亮度数据，为通过均值消减后的亮度数据。
4.根据权利要求1所述的基于深度学习的管道缺陷检测与评价方法，其特征在于，所述步骤2具体包括：
采用滤波优化算法对图像进行降噪处理，公式如下：
其中，x、y为像素点坐标；σ为当前像素点周围坐标的标准差；σx,σy分别代表当前像素点在x，y维度上的标准差；e为自然常数。
5.根据权利要求1所述的基于深度学习的管道缺陷检测与评价方法，其特征在于，所述步骤3具体包括：
使用二阶Laplace算子对像素点灰度值进行调整；锐化公式为：
其中，g(x,y)为输出像素点灰度值；f(x,y)为原始像素灰度值；c为比例系数；为二阶Laplace算子：
选取Laplace滤波模块矩阵L为：
6.根据权利要求1所述的基于深度学习的管道缺陷检测与评价方法，其特征在于，所述步骤4具体包括：
采用局部三值模式获取图像的纹理信息，具体公式如下：
其中，LTPP,R为局部三值模式算子；ic为局部三值模式算子矩阵中心像素点的灰度值；ip为局部三值模式算子矩阵中心像素点的第p个相邻像素点的灰度值；R为矩阵半径；P为中心像素点相邻像素个数；t为局部三值模式算子矩阵设计阈值；
局部三值模式算子矩阵设定为3*3矩阵，t设定为5。
7.根据权利要求1所述的基于深度学习的管道缺陷检测与评价方法，其特征在于，所述神经网络包括4个卷积层，3个池化层和3个全连接层；
其中，池化层使用的ReLU激活函数为：
其中，表示第i个卷积核在位置x，y运用ReLU激活函数的输出；/>表示卷积层第i个卷积内核在位置x，y的输出；n为同一个位置上临近的通道的数量；N为卷积核的数量；参数k、α、β取值为：k＝2，α＝e-4，β＝0.75。
8.根据权利要求7所述的基于深度学习的管道缺陷检测与评价方法，其特征在于，所述神经网络的全连接层的softmax函数为：
其中，y为softmax函数归一化处理后识别出的损伤类型权重；fr,fs为识别位置对于损伤类型的权重值；r,s取值为：1、2或3。
9.一种基于深度学习的管道缺陷检测与评价装置，基于权利要求1-8所述任一方法实现，其特征在于，所述装置包括：
图像采集系统：用于进入管道内部，对管道内部进行图像采集，并将图像传输到图像分析系统；和
图像分析系统：用于对图像进行预处理后，输入训练好的神经网络模型，得到管道内部相应位置的损伤类型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310900926.5A CN117036255A (zh) | 2023-07-21 | 2023-07-21 | 一种基于深度学习的管道缺陷检测与评价方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310900926.5A CN117036255A (zh) | 2023-07-21 | 2023-07-21 | 一种基于深度学习的管道缺陷检测与评价方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117036255A true CN117036255A (zh) | 2023-11-10 |
Family
ID=88642100
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310900926.5A Pending CN117036255A (zh) | 2023-07-21 | 2023-07-21 | 一种基于深度学习的管道缺陷检测与评价方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117036255A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117576105A (zh) * | 2024-01-17 | 2024-02-20 | 高科建材（咸阳）管道科技有限公司 | 基于人工智能的管道生产控制方法及系统 |
| CN117710365A (zh) * | 2024-02-02 | 2024-03-15 | 中国电建集团华东勘测设计研究院有限公司 | 缺陷管道图像的处理方法、装置及电子设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103996050A (zh) * | 2014-05-08 | 2014-08-20 | 清华大学深圳研究生院 | 一种基于极坐标下Fourier频谱的防护网检测方法 |
| CN106023185A (zh) * | 2016-05-16 | 2016-10-12 | 国网河南省电力公司电力科学研究院 | 一种输电设备故障诊断方法 |
| CN111274991A (zh) * | 2020-02-12 | 2020-06-12 | 清华大学 | 行人检测识别系统、方法、设备及计算机可读存储介质 |
| CN112258444A (zh) * | 2020-07-13 | 2021-01-22 | 安徽机电职业技术学院 | 一种电梯钢丝绳检测方法 |
| CN112270658A (zh) * | 2020-07-13 | 2021-01-26 | 安徽机电职业技术学院 | 一种基于机器视觉的电梯钢丝绳检测方法 |
| CN113362323A (zh) * | 2021-07-21 | 2021-09-07 | 中国科学院空天信息创新研究院 | 基于滑窗分块的图像检测方法 |
| CN114445904A (zh) * | 2021-12-20 | 2022-05-06 | 北京无线电计量测试研究所 | 基于全卷积神经网络的虹膜分割方法和装置、介质和设备 |
| CN115760800A (zh) * | 2022-11-18 | 2023-03-07 | 江苏理工学院 | 基于哈希算法的Hash-AlexNet神经网络的铝材缺陷分类方法和装置 |
-
2023
- 2023-07-21 CN CN202310900926.5A patent/CN117036255A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103996050A (zh) * | 2014-05-08 | 2014-08-20 | 清华大学深圳研究生院 | 一种基于极坐标下Fourier频谱的防护网检测方法 |
| CN106023185A (zh) * | 2016-05-16 | 2016-10-12 | 国网河南省电力公司电力科学研究院 | 一种输电设备故障诊断方法 |
| CN111274991A (zh) * | 2020-02-12 | 2020-06-12 | 清华大学 | 行人检测识别系统、方法、设备及计算机可读存储介质 |
| CN112258444A (zh) * | 2020-07-13 | 2021-01-22 | 安徽机电职业技术学院 | 一种电梯钢丝绳检测方法 |
| CN112270658A (zh) * | 2020-07-13 | 2021-01-26 | 安徽机电职业技术学院 | 一种基于机器视觉的电梯钢丝绳检测方法 |
| CN113362323A (zh) * | 2021-07-21 | 2021-09-07 | 中国科学院空天信息创新研究院 | 基于滑窗分块的图像检测方法 |
| CN114445904A (zh) * | 2021-12-20 | 2022-05-06 | 北京无线电计量测试研究所 | 基于全卷积神经网络的虹膜分割方法和装置、介质和设备 |
| CN115760800A (zh) * | 2022-11-18 | 2023-03-07 | 江苏理工学院 | 基于哈希算法的Hash-AlexNet神经网络的铝材缺陷分类方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| ALEX KRIZHEVSKY ET.AL: "ImageNet Classification with Deep Convolutional Neural Networks", COMMUNICATIONS OF THE ACM, pages 3 * |
| 马忠丽: "信号检测与转换技术", 31 March 2012, 哈尔滨工业大学出版社 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117576105A (zh) * | 2024-01-17 | 2024-02-20 | 高科建材（咸阳）管道科技有限公司 | 基于人工智能的管道生产控制方法及系统 |
| CN117576105B (zh) * | 2024-01-17 | 2024-03-29 | 高科建材（咸阳）管道科技有限公司 | 基于人工智能的管道生产控制方法及系统 |
| CN117710365A (zh) * | 2024-02-02 | 2024-03-15 | 中国电建集团华东勘测设计研究院有限公司 | 缺陷管道图像的处理方法、装置及电子设备 |
| CN117710365B (zh) * | 2024-02-02 | 2024-05-03 | 中国电建集团华东勘测设计研究院有限公司 | 缺陷管道图像的处理方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sony et al. | A systematic review of convolutional neural network-based structural condition assessment techniques | |
| CN117036255A (zh) | 一种基于深度学习的管道缺陷检测与评价方法及装置 | |
| CN111259827B (zh) | 一种面向城市河道监管的水面漂浮物自动检测方法及装置 | |
| CN113469177A (zh) | 基于深度学习的排水管道缺陷检测方法及系统 | |
| Zhao et al. | An attention encoder-decoder network based on generative adversarial network for remote sensing image dehazing | |
| CN112200143A (zh) | 一种基于候选区域网络和机器视觉的道路病害检测方法 | |
| CN113989257A (zh) | 基于人工智能技术的电力综合管廊沉降裂缝识别方法 | |
| CN116994140A (zh) | 基于遥感影像的耕地提取方法、装置、设备和介质 | |
| CN110726725A (zh) | 一种输电线路金具锈蚀检测方法及装置 | |
| Zuo et al. | Classifying cracks at sub-class level in closed circuit television sewer inspection videos | |
| CN115661765A (zh) | 一种路面病害检测方法 | |
| CN113255580A (zh) | 抛洒物识别、车辆抛洒滴漏识别方法和装置 | |
| CN113030244A (zh) | 输电线塔架腐蚀缺陷漏磁检测信号反演成像方法及系统 | |
| CN114429577B (zh) | 一种基于高置信标注策略的旗帜检测方法及系统及设备 | |
| CN115035291A (zh) | 基于语义分割的砂石图像分割方法、装置、设备及介质 | |
| Al-Saad et al. | Airbus ship detection from satellite imagery using frequency domain learning | |
| Hu et al. | Road surface crack detection method based on improved YOLOv5 and vehicle-mounted images | |
| Zhao et al. | MED-YOLOv8s: a new real-time road crack, pothole, and patch detection model | |
| CN116895019A (zh) | 一种基于动态加权交叉熵损失的遥感图像变化检测方法及其检测系统 | |
| CN111881748A (zh) | 一种基于vbai平台建模的车道线视觉识别方法和系统 | |
| CN115761613B (zh) | 一种基于卷积网络的隧道裂缝自动检测方法 | |
| CN116843946A (zh) | 一种基于图像识别的隧道岩体主要结构面判识方法及装置 | |
| CN110751150A (zh) | 一种基于fpga的二值神经网络车牌识别方法及系统 | |
| Li et al. | An unsupervised concrete crack detection method based on nnU-Net | |
| CN115861226A (zh) | 基于特征值梯度变化的深度神经网络智能识别表面缺陷方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhao Jicheng Inventor after: Kong Fei Inventor after: Lu Xuexing Inventor after: Wang Hui Inventor after: Hu Yankun Inventor after: Zhao Honglei Inventor after: Ma Xiaochun Inventor after: Ding Jiyuan Inventor after: Wang You Inventor before: Zhao Jicheng Inventor before: Kong Fei Inventor before: Lu Xuexing Inventor before: Wang Hui Inventor before: Hu Yankun Inventor before: Zhao Honglei Inventor before: Ma Xiaochun Inventor before: Ding Jiyuan Inventor before: Wang You |
|
| CB03 | Change of inventor or designer information |