CN116309245B - 基于深度学习的地下排水管道缺陷智能检测方法与系统 - Google Patents
基于深度学习的地下排水管道缺陷智能检测方法与系统 Download PDFInfo
- Publication number
- CN116309245B CN116309245B CN202211090017.1A CN202211090017A CN116309245B CN 116309245 B CN116309245 B CN 116309245B CN 202211090017 A CN202211090017 A CN 202211090017A CN 116309245 B CN116309245 B CN 116309245B
- Authority
- CN
- China
- Prior art keywords
- sample picture
- gray
- defect
- picture
- difference matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 119
- 238000001514 detection method Methods 0.000 title claims abstract description 71
- 238000013135 deep learning Methods 0.000 title claims abstract description 20
- 239000011159 matrix material Substances 0.000 claims abstract description 83
- 238000012549 training Methods 0.000 claims abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 13
- 239000013598 vector Substances 0.000 claims description 60
- 230000006870 function Effects 0.000 claims description 22
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 6
- 230000002950 deficient Effects 0.000 abstract description 9
- 230000007847 structural defect Effects 0.000 description 7
- 238000000605 extraction Methods 0.000 description 5
- 230000007849 functional defect Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003707 image sharpening Methods 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 238000013140 knowledge distillation Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000008021 deposition Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种基于深度学习的地下排水管道缺陷智能检测方法，包括如下步骤：获取地下排水管道的多个样本图片，包括正常样本图片、缺陷样本图片与未知样本图片；获取样本图片的灰度差值矩阵，灰度差值矩阵用于表征样本图片中灰度与相邻像点灰度的差值信息；将未知样本图片分成M份，作为M份迭代样本集；根据正常样本图片与缺陷样本图片的灰度差值矩阵，对教师模型与Scaled‑YOLO算法进行预训练；同时完成对学生模型的训练；将待检测的地下排水管道图片输入至训练好的学生模型中，从而进行缺陷检测。本发明采用半监督的方法，将未知缺陷样本也融入进深度学习网络算法中，极大的加快了算法的学习效率。
Description
技术领域
本发明属于地下排水管道领域，更具体的，涉及一种基于深度学习的地下排水管道缺陷智能检测方法与系统。
背景技术
在地下排水管道领域中，地下排水管道的缺陷主要分为结构性缺陷与功能性缺陷，其中，结构性缺陷主要指的是破裂、变形、错口、起伏、脱节、渗漏，而功能性缺陷主要指的是沉积、结垢、障碍物、浮渣等。其中，功能性缺陷往往通过管道的养护即可得到改善，因此，功能性缺陷往往可以通过定期的排查予以消除。而结构性缺陷只能通过修复才能消除，也就意味着一旦发生结构性缺陷，只能快速的排查然后修复问题才能得以解决。
然而，由于地下排水管道的结构性缺陷种类众多，对管道的缺陷检测进行标注是一件非常麻烦的事情。并且，由于地下排水管道处于黑暗之中，其采集的图片并非可见光图片，更多是红外图片。这也变相的增加了相关专业人员标注的难度，进而导致缺陷样本的数量非常有限，获取比较困难。
现有技术文件CN113361541A公开了一种地下排水管道缺陷的特征提取方法，通过改进的分块灰度共生矩阵复合特征向量提取算法(B_GLCM)方法进行对管道功能性缺陷的特征提取，来自动提取缺陷特征，减少人的主观原因对管道缺陷判断结果的干扰。先将管道缺陷图片进行预处理，然后将预处理后的管道缺陷图片进行划分子图。得到子图后进行Sobel算子的缺陷轮廓增强，最后使用改进的分块灰度共生矩阵复合特征向量提取算法进行特征提取。然而该现有技术文件没有考虑到样本数量稀少，尤其是有标记的样本数量稀少这一现实性问题。
发明内容
为解决现有技术中存在的不足，本发明的目的在于解决上述缺陷，进而提出一种基于深度学习的地下排水管道缺陷智能检测方法与系统。
本发明采用如下的技术方案。
本发明第一方面公开了一种基于深度学习的地下排水管道缺陷智能检测方法，包括如下步骤：
步骤1，获取地下排水管道的多个样本图片，包括正常样本图片、缺陷样本图片与未知样本图片；
步骤2，获取样本图片的灰度差值矩阵，灰度差值矩阵用于表征样本图片中各个像点灰度与相邻像点灰度的差值信息；
步骤3，将未知样本图片分成M份，作为M份迭代样本集，同时令变量ite的初始值为1，其中，ite表示步骤4～5的迭代训练次数；
步骤4，根据正常样本图片的灰度差值矩阵与缺陷样本图片的灰度差值矩阵，对教师模型与Scaled-YOLO算法进行预训练；
步骤5，根据正常样本图片、缺陷样本图片以及前ite份未知样本图片的灰度差值矩阵，以及训练好的教师模型与Scaled-YOLO算法，完成对学生模型的训练；
步骤6，将待检测的地下排水管道图片输入至训练好的学生模型中，从而进行缺陷检测。
本发明第二方面公开了一种基于深度学习的地下排水管道缺陷智能检测系统，包括：数据采集模块、执行处理模块与神经网络训练模块；
数据采集模块用于获取地下排水管道的多个样本图片，其中，样本图片包括正常样本图片、缺陷样本图片与未知样本图片；
执行处理模块用于获取样本图片的灰度差值矩阵，灰度差值矩阵用于表征样本图片中灰度与相邻像点灰度的差值信息；以及
将未知样本图片分成M份，作为M份迭代样本集，同时令变量ite＝1；
神经网络训练模块用于根据正常样本图片的灰度差值矩阵与缺陷样本图片的灰度差值矩阵，对教师模型与Scaled-YOLO算法进行预训练；以及
根据正常样本图片、缺陷样本图片以及前ite份未知样本图片的灰度差值矩阵，以及训练好的教师模型与Scaled-YOLO算法，完成对学生模型的训练；以及
将待检测的地下排水管道图片输入至训练好的学生模型中，从而进行缺陷检测。
本发明第三方面公开了一种计算装置，包括
存储器，用于存储一组指令；以及
至少一个处理器，配置为执行该组指令以使得所述计算装置执行一种基于深度学习的地下排水管道缺陷智能检测方法。
本发明第四方面公开了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机的一组指令，该组指令用于在被执行时使所述计算机执行一种基于深度学习的地下排水管道缺陷智能检测方法。
本发明的有益效果在于，与现有技术相比，本发明具有以下优点：
(1)由于样本数量的稀缺，因此，本发明的主旨并不是检测缺陷类型，而是检测是否存在缺陷本身。本发明采用半监督的方法，将未知缺陷样本也融入进深度学习网络算法中，极大的加快了算法的学习效率。
(2)在(1)的基础上，本发明还充分考虑到地下排水管道横平竖直的特性，创造性的采用灰度差值矩阵作为算法模型的输入，简化了算法模型的输入，使得少量样本下深度学习模型的建立得以实施可行。
(3)本算法创造性的引入Scaled-YOLO算法，对半监督算法模型进行有效的检测，进而更好的评估半监督算法模型。
附图说明
图1是基于深度学习的地下排水管道缺陷智能检测方法的流程图。
图2是本发明的算法逻辑框架图。
具体实施方式
下面结合附图对本申请作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本申请的保护范围。
本发明公开了一种基于深度学习的地下排水管道缺陷智能检测方法，如图1所示，包括如下步骤：
步骤1，获取地下排水管道的多个样本图片，其中，样本图片包括正常样本图片、缺陷样本图片与未知样本图片。
需要说明的是，缺陷样本图片指的是标记有缺陷检测框的样本图片，对应的，正常样本图片指的是没有标记缺陷检测框的正常的样本图片；而未知样本图片的定义是：其并不确定到底属于正常样本图片还是缺陷样本图片，也就是说，尽管未知样本图片没有标记缺陷检测框，但它未必是正常样本图片。之所以引入未知样本图片，这是因为现实中的缺陷样本图片数量较少，无法满足深度学习的需要，因此，本发明采用半监督算法模型，从而引入未知样本图片。
其中，缺陷样本图片中标记的缺陷检测框是一个4维向量[x0,y0,h,w]，4维向量中的4个元素x0,y0,h,w依次代表标记的标记的缺陷检测框的中心x坐标，中心y坐标，高度以及宽度。
更优选的，该缺陷样本图片应当尽可能包括结构性缺陷的所有情况。
需要说明的是，缺陷检测框代表缺陷在样本图片中的位置。
步骤2，获取样本图片的灰度差值矩阵，灰度差值矩阵用于表征样本图片中各个像点灰度与相邻像点灰度的差值信息。
可理解的，此处样本图片的灰度差值矩阵包括：正常样本图片的灰度差值矩阵、缺陷样本图片的灰度差值矩阵与未知样本图片的灰度差值矩阵。具体的，步骤2具体包括：
步骤2.1，获取所有样本图片的灰度信息矩阵；
可理解的，由于样本图片很有可能并不是彩色图片，因此，本发明中只提取样本图片中每一个像素点的灰度值进行分析。因此，样本图片的灰度信息矩阵中的每一个元素hij的含义是该样本图片中第i行，第j列的像素的灰度值。即，i,j代表二维坐标。
步骤2.2，根据每一个样本图片的灰度信息矩阵，计算得到对于的灰度差值矩阵；
灰度差值矩阵的长与宽和样本图片中像素点的长与宽一一对应，且灰度差值矩阵中每一个元素aij如下式所示：
aij＝hij-h′ij
其中，hij为样本图片中与元素aij对应位置处的灰度值，即：灰度信息矩阵中的元素，i,j代表二维坐标，更准确的是元素在矩阵(例如：灰度差值矩阵或灰度信息矩阵)中的二维坐标；获取与hij的4个最接近位置的灰度值hkj、hlj、him、hin，其中，k＝i-1，l＝i+1，m＝j-1，n＝j+1；将hij与4个最接近位置的灰度值依次作差，则h'ij为灰度值之差的绝对值第二大的数值，也是倒数第三小的数值。
可以理解的是，正如背景技术中所提及的：缺陷样本的数量非常有限。因此，步骤2中需要将样本图片进行主动降维，主要包括：(1)只提取出样本图片的灰度值；(2)对灰度值进行做差尽可能将灰度矩阵的元素置0。
可以理解的是，在上述思想的指导下，同时考虑到排水管道横平竖直的特殊性质，可以获知正常情况下灰度差值矩阵的绝大多数元素的值均为0或者接近0；偶尔存在远大于0的数值，其分布也是零散不均匀的。且只有当排水管道发生结构性缺陷时，例如破裂、变形、错口、起伏、脱节、渗漏，其缺陷位置处的元素的值才是远大于0的。需要注意的是，之所以选择4个最接近位置的灰度值，这是因为地下排水管道的特殊性质“横平竖直”所决定。同样的道理，之所以将h'ij定义为灰度值之差的绝对值第二大的数值，是因为理想情况下，哪怕是管道与背景的交界处，其h'ij的数值也“几乎”为0或接近0。这就意味着如果要获取8个最接近位置的灰度值，也不会选择斜对角线的位置，而是选择水平或垂直位置上更远的位置。同时，这也是为什么本发明中灰度差值矩阵中每一个元素与缺陷框中相同位置处的灰度值一一对应。与之不同的是，通常的图片缺陷检测算法中往往不强调灰度值的位置，而是更着力于灰度值的分布。
考虑到摄像机的摄像方位不可能绝对垂直，因此，样本图片的灰度信息矩阵中，其排水管道的外观并不是恰好横平竖直的，而是有一定的倾斜度。此外，在一个样本图片中，其竖直的排水管道与水平的排水管道也不可能刚好呈现90度。因此，在一些实施例中，步骤2.2具体包括：
步骤2.2.1，对每一个样本图片的灰度信息矩阵进行锐化处理，得到灰度锐化矩阵。
可以利用一些常见的图像锐化算子，对灰度信息矩阵进行锐化，例如：Prewitt算子，Laplacian算子等。
在本实施例中，由于横平竖直的特性，因此图像锐化算子最好是Prewitt算子P：
那么灰度信息矩阵中每一个元素hij与灰度锐化矩阵的对应的元素rij的关系如下所示：
i,j代表元素在矩阵中的二维坐标。
步骤2.2.2，根据灰度锐化矩阵以及预设的灰度阈值，得到二值化矩阵，以确定样本图片中排水管道的轮廓。
二值化矩阵中的每一个元素bij与灰度锐化矩阵的对应的像素rij的关系如下所示：
其中，R为预设的灰度阈值。
需要说明的是，灰度阈值的选值应当界于排水管道与背景之间，从而使得将灰度锐化矩阵二值化。
步骤2.2.3，根据每一个样本图片的灰度信息矩阵以及对应的二值化矩阵，计算得到对应的灰度差值矩阵；
灰度差值矩阵中每一个元素aij如下式所示：
aij＝hij-h′ij
将hij与hij关联的4个位置的灰度值依次作差，则h'ij为灰度值之差的绝对值第二大的数值，也是倒数第三小的数值。
其中，若满足bkj≠blj且bim≠bin的判断条件，则hij关联的4个位置选择hkm、hlm、hkn、hln。其中，k＝i-1，l＝i+1，m＝j-1，n＝j+1。横向与纵向的像素均不一致，意味着这种情况下角度“几乎一定”存在偏差。因此，hij关联的4个位置需要重新选择。实际上，例如当bkj,bim同时为1，并且blj,bin同时为0时，上述判断条件应当还包括：判断bkm是否也为1，以及bln是否也为0，若均为是，才将hij关联的4个位置选择hkm、hlm、hkn、hln。但考虑到这样逻辑过于复杂，故给予省略。
若bkj＝blj或者bim＝bin，hij关联的4个位置选择hkj、hlj、him、hin。
步骤3，将未知样本图片分成M份，作为M份迭代样本集，同时令变量ite的初始值为1，其中，ite表示步骤4～5的迭代训练次数。
需要说明的是，ite表示步骤4～步骤5的迭代次数，从下文中的步骤5可以看出：每迭代一次，ite值加1。M为定值，其值取决于经验值并大于总的迭代次数，即ite的最终值。
步骤4，根据正常样本图片的灰度差值矩阵与缺陷样本图片的灰度差值矩阵，对教师模型与Scaled-YOLO算法进行预训练。
需要说明的是，由于缺陷样本图片数量较少，因此，深度学习算法应当选择半监督算法。顾名思义，半监督算法为哪怕没有标记缺陷检测框，也可以利用样本进行学习，提高算法的泛化能力。
基于此，在一些实施例中，该半监督算法模型可以是教师学生模型。此外，为了更好的衡量教师学生模型的学习效果，本发明同时结合了Scaled-YOLO算法，其算法逻辑框架图如图2所示。
因此，步骤4具体包括：
步骤4.1，将正常样本图片与缺陷样本图片的灰度差值矩阵代入到教师模型中，分别提取出每一个正常样本图片或缺陷样本图片对应的第一特征向量。
此处需要说明的是，教师学生模型的基本思想为知识蒸馏与迁移学习。教师模型是复杂的神经网络构成的大模型，而学生模型相对而言是神经网络数量较少的小模型。先通过对教师模型的训练，即知识蒸馏，进而引导学生模型进行训练，即知识迁移，从而达到神经网络训练的结果。因此，教师模型是一个包含较多层神经网络的模型，相应的其第一特征向量也是一个较长的特征向量。
可理解的，不管是教师模型还是学生模型，其内部主要包括多层卷积神经网络。在一些实施例中，该卷积神经网络可以是残差特征提取神经网络(residual network18layers)。卷积神经网络可以将高维的特征信息(即：灰度差值矩阵)压缩处理得到具有实用意义的低维的特征信息(即：第一特征向量或第二特征向量)。
步骤4.2，将第一特征向量代入到Scaled-YOLO算法中，结合缺陷样本图片中标记的缺陷检测框，通过Scaled-YOLO算法预测出缺陷检测框。
Scaled-YOLO算法中包括用于目标预测的神经网络模块，可理解的，其作用就是利用第一特征向量，将标记的缺陷检测框进行映射变换，从而得到预测的缺陷检测框。
需要说明的是，若预测的缺陷检测框为空，视为图片正常不存在缺陷。因此，步骤4.2省略了“预测是否有缺陷”这句话。此外，本发明的主旨并不是检测缺陷类型，而是检测是否存在。实际上在样本数量较少的情况下，很难真正意义上对缺陷进行多种分类。
步骤4.3，根据预测的缺陷检测框，计算Scaled-YOLO算法的损失函数，从而完成教师模型与Scaled-YOLO算法的预训练。
可理解的，利用教师模型对步骤4.1～4.2进行多次迭代训练，当损失函数的值不再下降时(或者与上一次迭代的损失函数的值的差的绝对值小于预设的阈值)，视为完成了教师模型与Scaled-YOLO算法的预训练。每一次迭代需要将步骤4.2中的输出作为输入，即：把本次迭代得到的预测的缺陷检测框作为下一次迭代的标记的缺陷检测框。
具体的，预测出的缺陷检测框为一个4维向量[x'0,y'0,h',w']，Scaled-YOLO算法的损失函数loss如下式所示：
其中，N0为缺陷样本图片的总数量，t为缺陷样本图片的标号，与标记的缺陷检测框的4维向量[x0,y0,h,w]类似，预测出的缺陷检测框中的4个元素x'0,y'0,h',w'也分别代表预测出的缺陷检测框的中心x坐标，中心y坐标，高度以及宽度；max,min分别为求最大值与求最小值函数。
步骤5，根据正常样本图片、缺陷样本图片以及前ite份未知样本图片的灰度差值矩阵，以及训练好的教师模型与Scaled-YOLO算法，完成对学生模型的训练。
步骤5具体包括：
步骤5.1，将正常样本图片、缺陷样本图片以及前ite份未知样本图片的灰度差值矩阵代入到学生模型中，分别获取各个样本图片对应的第二特征向量。
进一步的，第二特征向量需要利用映射函数进行映射，从而隐藏原始的第二特征向量的信息，避免步骤5.1中第二特征向量与第一特征向量放在一块从而破坏Scaled-YOLO算法的参数。
步骤5.1还包括，将第二特征向量中每一个元素通过映射函数进行映射，并将映射后的向量作为第二特征向量，从而保护训练数据的安全。
可以理解的是，映射函数必须满足双射性质。因此，在一些实施例中，映射函数f(x)可以如下所示：
其中，k,N为自然数，e为自然常数，x为第二特征向量中的任意一个元素，取决于样本图片的数量；如果缺陷样本图片数量越多，N尽可能越大。在本发明中，N通常可以取0或1。
其中，x为第二特征向量中的任意一个元素这句话的意思是，若第二特征向量为[b1,b2,b3…]，那么映射后的第二特征向量为[f(b1),f(b2),f(b3)…]。
步骤5.2，将第一特征向量与(映射后的)第二特征向量共同输入至Scaled-YOLO算法，分别得到教师模型的第一检测结果与学生模型的第二检测结果；此处的第一特征向量还包括将前ite份未知样本图片的灰度差值矩阵输入至教师模型所提取的第一特征向量。
第一特征向量还包括将前ite份未知样本图片的灰度差值矩阵输入至教师模型所提取的第一特征向量。这句话的含义是：在执行步骤5.2之前，还需要将前ite份未知样本图片的灰度差值矩阵，代入到训练好的教师模型中，从而获取前ite份未知样本图片对应的第一特征向量。同时将前ite份未知样本图片对应的第一特征向量并入到步骤4.1的第一特征向量，最终得到步骤5.2中的第一特征向量。
步骤5.2中第一特征向量(或第二特征向量)在Scaled-YOLO算法中经过卷积运算、激活函数、池化操作等，最终输出为步骤5.2中的第一检测结果(或第二检测结果)，由于Scaled-YOLO算法是公知常识技术，因此此处对步骤5.2的具体细节不再赘述。
需要说明的是，第一检测结果或第二检测结果为长度相同的向量。
步骤5.3，根据教师模型的第一检测结果与学生模型的第二检测结果，计算出教师学生模型的预测损失值。
具体的，预测损失值L如下式所示：
其中，z1为第一检测结果，z2为第二检测结果。
需要说明的是，相关技术中，教师学生模型在训练学生模型时，由于没有定量的衡量教师模型的内部参数，这导致学生模型的泛化能力较差，训练结果并不理想。本发明创造性的引入Scaled-YOLO模型，根据Scaled-YOLO模型输出的第一检测结果与第二检测结果，从而衡量教师模型和学生模型之间的偏差，即预测损失值L，然后再根据该偏差重新调整训练教师模型与学生模型，即步骤5.4。进而最终提高学生模型的泛化能力。
步骤5.4，判断学生模型是否收敛：若预测损失值与Scaled-YOLO算法的损失函数的值之和小于预设的阈值，判定为学生模型已经收敛，停止训练；否则，判定为学生模型尚未收敛，令ite＝ite+1，并返回步骤4继续迭代。
步骤6，将待检测的地下排水管道图片输入至训练好的学生模型中，从而进行缺陷检测。
可理解的，在步骤6中若输出的向量为空，表示待检测的地下排水管道图片没有检测到缺陷，否则，输出的向量包含几个元素，视为检测到几个缺陷。
相应的，本发明还公开了一种基于深度学习的地下排水管道缺陷智能检测系统，包括：数据采集模块、执行处理模块与神经网络训练模块；
数据采集模块用于获取地下排水管道的多个样本图片，其中，样本图片包括正常样本图片、缺陷样本图片与未知样本图片；
执行处理模块用于获取样本图片的灰度差值矩阵，灰度差值矩阵用于表征样本图片中灰度与相邻像点灰度的差值信息；以及
将未知样本图片分成M份，作为M份迭代样本集，同时令变量ite＝1；
神经网络训练模块用于根据正常样本图片的灰度差值矩阵与缺陷样本图片的灰度差值矩阵，对教师模型与Scaled-YOLO算法进行预训练；以及
根据正常样本图片、缺陷样本图片以及前ite份未知样本图片的灰度差值矩阵，以及训练好的教师模型与Scaled-YOLO算法，完成对学生模型的训练；以及
将待检测的地下排水管道图片输入至训练好的学生模型中，从而进行缺陷检测。
本发明申请人结合说明书附图对本发明的实施示例做了详细的说明与描述，但是本领域技术人员应该理解，以上实施示例仅为本发明的优选实施方案，详尽的说明只是为了帮助读者更好地理解本发明精神，而并非对本发明保护范围的限制，相反，任何基于本发明的发明精神所作的任何改进或修饰都应当落在本发明的保护范围之内。
Claims (6)
1.一种基于深度学习的地下排水管道缺陷智能检测方法，其特征在于，包括如下步骤：
步骤1，获取地下排水管道的多个样本图片，包括正常样本图片、缺陷样本图片与未知样本图片；
步骤2，获取样本图片的灰度差值矩阵，灰度差值矩阵用于表征样本图片中各个像点灰度与相邻像点灰度的差值信息；
步骤2中灰度差值矩阵的长与宽和样本图片中像素点的长与宽一一对应，且灰度差值矩阵中每一个元素aij如下式所示：
aij＝hij-hij
其中，hij为样本图片中与元素aij对应位置处的灰度值，i，j代表二维坐标；获取与hij的4个最接近位置的灰度值hkj、hlj、him、hin，其中，k＝i-1，l＝i+1，m＝j-1，n＝j+1；将hij与4个最接近位置的灰度值依次作差，则h′ij为灰度值之差的绝对值第二大的数值；
步骤3，将未知样本图片分成M份，作为M份迭代样本集，同时令变量ite的初始值为1，其中，ite表示步骤4～5的迭代训练次数；
步骤4，根据正常样本图片的灰度差值矩阵与缺陷样本图片的灰度差值矩阵，对教师模型与Scaled-YOLO算法进行预训练；
步骤4具体包括：
步骤4.1，将正常样本图片与缺陷样本图片的灰度差值矩阵代入到教师模型中，分别提取出每一个正常样本图片或缺陷样本图片对应的第一特征向量；
步骤4.2，将第一特征向量代入到Scaled-YOLO算法中，结合缺陷样本图片中标记的缺陷检测框，通过Scaled-YOLO算法预测出缺陷检测框；
步骤4.3，根据预测的缺陷检测框，计算Scaled-YOLO算法的损失函数；
预测出的缺陷检测框为一个4维向量[x′0，y′0，h′，w′]，Scaled-YOLO算法的损失函数loss如下式所示：
其中，N0为缺陷样本图片的总数量，t为缺陷样本图片的标号，用4维向量[x0，y0，h，w]表示第t个缺陷样本图片实际的缺陷检测框，其中，4维向量中的4个元素分别代表缺陷检测框的中心x坐标，中心y坐标，高度以及宽度；max，min分别为求最大值与求最小值函数；
步骤5，根据正常样本图片、缺陷样本图片以及前ite份未知样本图片的灰度差值矩阵，以及训练好的教师模型与Scaled-YOLO算法，完成对学生模型的训练；
步骤5具体包括：
步骤5.1，将正常样本图片、缺陷样本图片以及前ite份未知样本图片的灰度差值矩阵代入到学生模型中，分别获取各个样本图片对应的第二特征向量；
步骤5.2，将第一特征向量与第二特征向量共同输入至Scaled-YOLO算法，分别得到教师模型的第一检测结果与学生模型的第二检测结果；所述第一特征向量还包括将前ite份未知样本图片的灰度差值矩阵输入至教师模型所提取的第一特征向量；
步骤5.3，根据教师模型的第一检测结果与学生模型的第二检测结果，计算出教师学生模型的预测损失值；
步骤5.4，判断学生模型是否收敛：若预测损失值与Scaled-YOLO算法的损失函数的值之和小于预设的阈值，判定为学生模型已经收敛，停止训练；否则，判定为学生模型尚未收敛，令ite＝ite+1，并返回步骤4继续迭代；
步骤6，将待检测的地下排水管道图片输入至训练好的学生模型中，从而进行缺陷检测。
2.根据权利要求1所述的一种基于深度学习的地下排水管道缺陷智能检测方法，其特征在于：
步骤5.1还包括，将第二特征向量中每一个元素通过映射函数进行映射，并将映射后的向量作为第二特征向量，其中，映射函数为：
其中，k，N为自然数，e为自然常数，x表示第二特征向量中的任意一个元素。
3.根据权利要求1所述的一种基于深度学习的地下排水管道缺陷智能检测方法，其特征在于：
步骤5.3中预测损失值L如下式所示：
其中，z1为第一检测结果，z2为第二检测结果。
4.一种基于深度学习的地下排水管道缺陷智能检测系统，用于执行权利要求1-3任一项所述的方法，其特征在于，所述系统包括：数据采集模块、执行处理模块与神经网络训练模块；
数据采集模块用于获取地下排水管道的多个样本图片，其中，样本图片包括正常样本图片、缺陷样本图片与未知样本图片；
执行处理模块用于获取样本图片的灰度差值矩阵，灰度差值矩阵用于表征样本图片中灰度与相邻像点灰度的差值信息，灰度差值矩阵的长与宽和样本图片中像素点的长与宽一一对应，且灰度差值矩阵中每一个元素aij如下式所示：
aij＝hij-hij
其中，hij为样本图片中与元素aij对应位置处的灰度值，i，j代表二维坐标；获取与hij的4个最接近位置的灰度值hkj、hlj、him、hin，其中，k＝i-1，l＝i+1，m＝j-1，n＝j+1；将hij与4个最接近位置的灰度值依次作差，则h′ij为灰度值之差的绝对值第二大的数值；以及
将未知样本图片分成M份，作为M份迭代样本集，同时令变量ite＝1；
神经网络训练模块用于根据正常样本图片的灰度差值矩阵与缺陷样本图片的灰度差值矩阵，对教师模型与Scaled-YOLO算法进行预训练，具体包括步骤4.1～步骤4.3；
步骤4.1，将正常样本图片与缺陷样本图片的灰度差值矩阵代入到教师模型中，分别提取出每一个正常样本图片或缺陷样本图片对应的第一特征向量；
步骤4.2，将第一特征向量代入到Scaled-YOLO算法中，结合缺陷样本图片中标记的缺陷检测框，通过Scaled-YOLO算法预测出缺陷检测框；
步骤4.3，根据预测的缺陷检测框，计算Scaled-YOLO算法的损失函数；
预测出的缺陷检测框为一个4维向量[x′0，y′0，h′，w′]，Scaled-YOLO算法的损失函数loss如下式所示：
其中，N0为缺陷样本图片的总数量，t为缺陷样本图片的标号，用4维向量[x0，y0，h，w]表示第t个缺陷样本图片实际的缺陷检测框，其中，4维向量中的4个元素分别代表缺陷检测框的中心x坐标，中心y坐标，高度以及宽度；max，min分别为求最大值与求最小值函数；以及
根据正常样本图片、缺陷样本图片以及前ite份未知样本图片的灰度差值矩阵，以及训练好的教师模型与Scaled-YOLO算法，完成对学生模型的训练，具体包括步骤5.1～步骤5.4；
步骤5.1，将正常样本图片、缺陷样本图片以及前ite份未知样本图片的灰度差值矩阵代入到学生模型中，分别获取各个样本图片对应的第二特征向量；
步骤5.2，将第一特征向量与第二特征向量共同输入至Scaled-YOLO算法，分别得到教师模型的第一检测结果与学生模型的第二检测结果；所述第一特征向量还包括将前ite份未知样本图片的灰度差值矩阵输入至教师模型所提取的第一特征向量；
步骤5.3，根据教师模型的第一检测结果与学生模型的第二检测结果，计算出教师学生模型的预测损失值；
步骤5.4，判断学生模型是否收敛：若预测损失值与Scaled-YOLO算法的损失函数的值之和小于预设的阈值，判定为学生模型已经收敛，停止训练；否则，判定为学生模型尚未收敛，令ite＝ite+1，并返回步骤4继续迭代；以及
将待检测的地下排水管道图片输入至训练好的学生模型中，从而进行缺陷检测。
5.一种计算装置，包括
存储器，用于存储一组指令；以及
至少一个处理器，配置为执行该组指令以使得所述计算装置执行如权利要求1至3的任一项所述的方法。
6.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机的一组指令，该组指令用于在被执行时使所述计算机执行权利要求1至3的任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211090017.1A CN116309245B (zh) | 2022-09-07 | 2022-09-07 | 基于深度学习的地下排水管道缺陷智能检测方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211090017.1A CN116309245B (zh) | 2022-09-07 | 2022-09-07 | 基于深度学习的地下排水管道缺陷智能检测方法与系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116309245A CN116309245A (zh) | 2023-06-23 |
| CN116309245B true CN116309245B (zh) | 2024-01-19 |
Family
ID=86800041
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211090017.1A Active CN116309245B (zh) | 2022-09-07 | 2022-09-07 | 基于深度学习的地下排水管道缺陷智能检测方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116309245B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111639744A (zh) * | 2020-04-15 | 2020-09-08 | 北京迈格威科技有限公司 | 学生模型的训练方法、装置及电子设备 |
| CN112991330A (zh) * | 2021-04-19 | 2021-06-18 | 征图新视(江苏)科技股份有限公司 | 基于知识蒸馏的正样本工业缺陷检测方法 |
| CN114494780A (zh) * | 2022-01-26 | 2022-05-13 | 上海交通大学 | 基于特征对比的半监督工业缺陷检测方法及系统 |
| CN114494168A (zh) * | 2022-01-17 | 2022-05-13 | 阿里巴巴（中国）有限公司 | 模型确定、图像识别与工业质检方法、设备及存储介质 |
| CN114862764A (zh) * | 2022-04-12 | 2022-08-05 | 阿里巴巴达摩院(杭州)科技有限公司 | 瑕疵检测模型训练方法、装置、设备和存储介质 |
| CN115457305A (zh) * | 2022-08-05 | 2022-12-09 | 国网江苏省电力有限公司苏州供电分公司 | 一种半监督目标检测方法与系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10713769B2 (en) * | 2018-06-05 | 2020-07-14 | Kla-Tencor Corp. | Active learning for defect classifier training |
-
2022
- 2022-09-07 CN CN202211090017.1A patent/CN116309245B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111639744A (zh) * | 2020-04-15 | 2020-09-08 | 北京迈格威科技有限公司 | 学生模型的训练方法、装置及电子设备 |
| CN112991330A (zh) * | 2021-04-19 | 2021-06-18 | 征图新视(江苏)科技股份有限公司 | 基于知识蒸馏的正样本工业缺陷检测方法 |
| CN114494168A (zh) * | 2022-01-17 | 2022-05-13 | 阿里巴巴（中国）有限公司 | 模型确定、图像识别与工业质检方法、设备及存储介质 |
| CN114494780A (zh) * | 2022-01-26 | 2022-05-13 | 上海交通大学 | 基于特征对比的半监督工业缺陷检测方法及系统 |
| CN114862764A (zh) * | 2022-04-12 | 2022-08-05 | 阿里巴巴达摩院(杭州)科技有限公司 | 瑕疵检测模型训练方法、装置、设备和存储介质 |
| CN115457305A (zh) * | 2022-08-05 | 2022-12-09 | 国网江苏省电力有限公司苏州供电分公司 | 一种半监督目标检测方法与系统 |
Non-Patent Citations (3)
| Title |
|---|
| A semi-supervised learningmethod for surface defect classification of magnetic tiles;Tao Liu et.al;《Machine Vision and Applications》;第1-14页 * |
| Scaled-YOLOv4: Scaling Cross Stage Partial Network;Chien-Yao Wang et.al;《arXiv:2011.08036v2 [cs.CV] 》;第1-10页 * |
| 基于改进YOLOv3的高压输电线路关键部件检测方法;翁智 等;《计算机应用》;第40卷;第183-187页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116309245A (zh) | 2023-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sony et al. | A systematic review of convolutional neural network-based structural condition assessment techniques | |
| CN113469177B (zh) | 基于深度学习的排水管道缺陷检测方法及系统 | |
| CN111080620B (zh) | 一种基于深度学习的道路病害检测方法 | |
| TWI729405B (zh) | 優化損傷檢測結果的方法及裝置 | |
| KR102166458B1 (ko) | 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치 | |
| TW202011282A (zh) | 用於車輛零件識別的神經網路系統、方法和裝置 | |
| US11308714B1 (en) | Artificial intelligence system for identifying and assessing attributes of a property shown in aerial imagery | |
| CN104217404A (zh) | 雾霾天视频图像清晰化处理方法及其装置 | |
| CN113159120A (zh) | 一种基于多尺度跨图像弱监督学习的违禁物检测方法 | |
| CN112330593A (zh) | 基于深度学习网络的建筑物表面裂缝检测方法 | |
| CN113205507A (zh) | 一种视觉问答方法、系统及服务器 | |
| CN115829995A (zh) | 基于像素级的多尺度特征融合的布匹瑕疵检测方法及系统 | |
| CN115410059A (zh) | 基于对比损失的遥感图像部分监督变化检测方法及设备 | |
| Rayhana et al. | Automated defect-detection system for water pipelines based on CCTV inspection videos of autonomous robotic platforms | |
| Guo et al. | Detection and classification of pipe defects based on pipe-extended feature pyramid network | |
| CN116309245B (zh) | 基于深度学习的地下排水管道缺陷智能检测方法与系统 | |
| CN113139507B (zh) | 一种排水管道缺陷照片自动截取方法及其系统 | |
| CN115761268A (zh) | 一种基于局部纹理增强网络的杆塔关键部件缺陷识别方法 | |
| CN116977249A (zh) | 缺陷检测的方法、模型训练的方法和装置 | |
| CN115082650A (zh) | 一种基于卷积神经网络的管道缺陷自动标注工具的实现方法 | |
| KR20230043419A (ko) | Ai 기반의 건물 하자 점검 시스템 | |
| Devereux et al. | Automated object detection for visual inspection of nuclear reactor cores | |
| CN117710374B (zh) | 基于深度学习的跑冒滴漏检测方法、装置、设备及介质 | |
| CN117593300B (zh) | 一种pe管材裂纹缺陷检测方法及系统 | |
| CN115499156B (zh) | 网站后台信息泄露检测方法、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20231219 Address after: Building 1, No. 7 Yingcui Road, Development Zone, Jiangning District, Nanjing City, Jiangsu Province, 210000 Applicant after: Nanjing Tangyi Information Technology Co.,Ltd. Address before: No. 1239, Shuanglong Avenue, Jiangning Economic and Technological Development Zone, Nanjing City, Jiangsu Province, 210000 Applicant before: NANJING JIANGYUAN SURVEYING AND MAPPING CO.,LTD. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |