CN112381165B - 一种基于rsp模型的管道缺陷智能检测方法 - Google Patents

一种基于rsp模型的管道缺陷智能检测方法 Download PDF

Info

Publication number
CN112381165B
CN112381165B CN202011310076.6A CN202011310076A CN112381165B CN 112381165 B CN112381165 B CN 112381165B CN 202011310076 A CN202011310076 A CN 202011310076A CN 112381165 B CN112381165 B CN 112381165B
Authority
CN
China
Prior art keywords
model
training
pipeline
convolution
rsp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011310076.6A
Other languages
English (en)
Other versions
CN112381165A (zh
Inventor
王军
王桢
高梓勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan Aibite Technology Co ltd
Original Assignee
Henan Aibite Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan Aibite Technology Co ltd filed Critical Henan Aibite Technology Co ltd
Priority to CN202011310076.6A priority Critical patent/CN112381165B/zh
Publication of CN112381165A publication Critical patent/CN112381165A/zh
Application granted granted Critical
Publication of CN112381165B publication Critical patent/CN112381165B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
    • G01N2021/9518—Objects of complex shape, e.g. examined with use of a surface follower device using a surface follower, e.g. robot
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/06—Multi-objective optimisation, e.g. Pareto optimisation using simulated annealing [SA], ant colony algorithms or genetic algorithms [GA]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2113/00—Details relating to the application field
    • G06F2113/14—Pipes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Immunology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明的一种基于RSP模型的管道缺陷智能检测方法，包括以下步骤：对某城市的排水管道CCTV图像进行数据增强，得到训练的数据集；以ResNet‑50卷积神经网络模型为基础，构建适用于CCTV管道缺陷种类识别的RSP模型；再次使用迁移学习对该模型进行优化，并针对迁移学习的方法、训练步骤以及训练方案设计实验，基于增强后的样本集进行试验，得到对于管道缺陷种类识别任务相对最优的迁移学习方案。本发明可以提高RSP模型的识别准确率，大幅缓解模型因数据集规模较小出现的过拟合现象，并加快模型的收敛速度。

Description

一种基于RSP模型的管道缺陷智能检测方法
技术领域
本发明属于城市排水技术领域，具体涉及一种基于RSP模型的管道缺陷智能检测方法。
背景技术
城市地下排水管道是城市重要的基础设施之一，有着城市的毛细血管之称，对城市中污水、废水和雨水的输运与排放都起着极为重要的作用。而随着社会经济的发展，这些排水管道所承担的污废水运输和排放数量和特殊状况数量日益上升；同时排水管道的使用年份也日益增长，这些因素让地下排水管出现了很多功能上或者结构上的缺陷，影响其正常使用，甚至导致城市内涝、水源污染等较为严重的事故。因此对城市排水管道进行定期的检测和维护是保证城市安全和社会稳定的重要措施之一。
排水管道状况检测的传统方法包括地面检查、人员进入式检查、反光镜检查、量泥斗检查等，这些方法主要应用于小范围的管道维修与养护。而大范围的城市排水管道缺陷检测则使用闭路电视检测(closed circuit television iunspection,CCTV)法、声呐检测法、潜望镜检测法等方法。传统CCTV管道缺陷种类检测依赖人工鉴别，准确率容易受到检测人员主观因素的影响。其中，潜望镜法和声呐法均因各自的固有缺陷而导致很多缺陷无法被发现。而主流的CCTV检测法使用带有摄像设备的爬行器进入管道内部，实时反馈和记录管道内的真实状况，可以完整的获取管道内的图像数据，技术人员以此为依据，对管道内的缺陷种类和缺陷位置进行判断和评估。CCTV检测法的安全性和有效性，让它在国内外得到了广泛的应用，并取得优秀的效果。但CCTV检测法也有着不足之处：一是在进行CCTV检测之前需要清洗、封堵、抽水等前期准备工作，以确保管道内水位满足作业要求；二是由CCTV检测法收集到的管道状况数据一般由人工进行缺陷的分析和判断，容易受到检测人员主观因素的影响而导致评估准确率的下降。
随着计算机数据处理能力的大幅提升与机器学习和深度学习领域的不断发展，近年来越来越多的国内外学者以CCTV检测数据为基础，使用机器学习和深度学习算法来建立管道状况监测的相关模型，在管道状况监测方面给出了新的答案：Khan等(2010)以管道材料、长度、使用年限等参数为自变量，CCTV数据为因变量，建立人工神经网络模型来调查排水管道状况。Robert等(2014)基于随机森林算法构建了一种用来预测下水道网络中某个管道状况的模型，以二进制格式建立分类任务，将机器人拍摄到管道内窥图像分类为良好或者不良的状态，并使用ROC曲线来进行模型表现的评估，ROC曲线优良面积达到0.81，具有较强的鲁棒性和较高的性能。郑茂辉等(2020)针对城市排水管道破裂、脱节、渗漏的缺陷，提出来了一种经过遗传算法优化后的ELM神经网络模型，用来训练独热编码数字化后的四类排水管道缺陷样本数据，使得该GA-ELM模型的识别性能和泛化能力均高于标准ELM，测试集精度达到82.96％。但是由于排水管道缺陷种类繁多和该模型性能有限，无论是精度还是识别种类都无法完全满足管道缺陷智能识别的要求。吕兵等(2019)使用在ImageNet数据库上预训练后的VGG16卷积神经网络模型，将管道闭路电视机器人在排水管道中拍摄到的视频图像分为非作业图像、全局缺陷图像、局部缺陷图像、全局无缺陷图像、局部无缺陷图像五个种类导入模型，一针对排水管道内视频图像中有无缺陷这问题，提出了一种CCTV视频图像自动监排水测管道缺陷的方法，并基于此方法开发了识别软件。这种方法使用了大量的排水管道，并经过了10万次的迭代，对排水管道缺陷识别率达到了85.33％，虽然精度相比于传统神经网络有了一定的提升，但是还有着不小的提升空间。此外，该方法对于数据集的大小有着很高的要求，且模型参数量与迭代次数也相当多。因此，现有CCTV管道缺陷图像识别模型还存在在识别精度低、训练速度慢、识别种类少、训练难度大、数据集要求高等方面的不足。
发明内容
有鉴于此，为解决上述现有技术的不足，本发明的目的在于提供了一种基于RSP模型的管道缺陷智能检测方法，可以提高RSP模型的识别准确率，大幅缓解模型因数据集规模较小出现的过拟合现象，并加快模型的收敛速度。
为实现上述目的，本发明所采用的技术方案是：
一种基于RSP模型的管道缺陷智能检测方法，包括以下步骤：
S1：对某城市的排水管道CCTV图像进行数据增强，得到训练的数据集；
S2：以ResNet-50卷积神经网络模型为基础，构建适用于CCTV管道缺陷种类识别的RSP模型；
S3：再次使用迁移学习对该模型进行优化，并针对迁移学习的方法、训练步骤以及训练方案设计实验，基于增强后的样本集进行试验，得到对于管道缺陷种类识别任务相对最优的迁移学习方案。
进一步的，所述步骤S1中，排水管道CCTV图像数据为使用管道CCTV机器人，以爬行器自走的方式进入管道内部收集管道缺陷数据；所述排水管道的缺陷状况包括变形、沉积物、错口、漂浮物、破裂、起伏、渗漏、脱落、障碍物和正常管道。
进一步的，所述CCTV图像数据集使用keras框架下ImageDataGenerator类的相关参数对原始数据集进行数据增强的预处理，以平衡各缺陷分类的数量和缓解过拟合现象。
进一步的，所述步骤S2中，RSP模型结构包含五个卷积模块：conv1、conv2_x、conv3_x、conv4_x、conv5_x，其中，conv2_x至conv5_x均为残差模块。
进一步的，所述RSP模型结构的建模过程，具体包括以下步骤：
A1：第一个卷积模块conv1以较大的7*7卷积核将输入的224*224*3的图像信息数据集快速降维后，传入后面conv2_x、conv3_x、conv4_x、conv5_x的3+4+6+3共16个基础残差单元，在每一个残差模块的第一个基础残差单元中使用卷积降维模块，其余基础残差单元均使用恒等映射模块；
A2：卷积模块会对输入的图像进行持续不断地卷积计算，从而提取其中有效的特征信息；
A3：经过五个卷积模块进行提取后的特征信息再进行AVG Pooling操作，被压缩成1*1*2048的数组，再依次传入神经元个数分别为1024和10的两个全连接层dense_1与dense_2，进一步降维；
A4：最后用Softmax多项分类器输出CCTV管道各缺陷种类的概率，达到智能识别的目的。
进一步的，所述步骤A3中，两个全连接层dense_1与dense_2中间还加入了参数为0.5的Dropout层。
进一步的，所述步骤S3，迁移学习对该模型进行优化的方法为：使用在ImageNet大规模数据集上预训练的ResNet-50模型及权重数据来帮助RSP模型进行迁移学习，选择微调模型法来对预训练ResNet-50模型的部分残差单元的参数和top分类器实施调整。
进一步的，所述步骤S3的迁移学习方法中，对RSP模型进行训练的方法具体包括：
A1：在建立的数据增强后的CCTV管道缺陷数据集上，冻结预训练后的conv1、conv2_x、conv3_x、conv4_x、conv5_x的权重，仅对RSP模型顶端全连接层的进行训练让其收敛；
A2：解冻若干层数的卷积基，使用较小的学习率联合训练全连接层和解冻的卷积层，微调其参数。
本发明的有益效果是：
本发明的一种基于RSP模型的管道缺陷智能检测方法，用来识别CCTV图像中管道缺陷种类，使用迁移学习的方法来对模型进行优化，设计了实验来探究CCTV管道缺陷识别任务最佳的迁移学习方案，为进一步设计CCTV管道缺陷智能识别平台打下基础；使用迁移学习的该检测方法可以提高RSP模型的识别准确率，大幅缓解模型因数据集规模较小出现的过拟合现象，并加快模型的收敛速度；
本发明以模型微调法迁移学习训练全连接层和预训练后的conv5_x、conv4_x、conv3_x最适合本发明的模型，验证集准确率可以达到97.4％。该方法具有较高的识别准确率和很强的鲁棒性，可以为管道缺陷智能识别系统提供支撑。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的RSP模型结构示意图；
图2为本发明的迁移学习方法原理示意图；
图3为本发明的CCTV管道缺陷种类识别模型训练流程示意；
图4为实施例中不同学习方法的训练集和验证集准确率折线图；
图5为实施例中R3、R5、R7、R9验证集准确率的示意图；
图6为实施例中R4、R6、R8验证及准确率的示意图；
图7为实施例中R4、R_6、R_8、R_10验证集准确率折线图。
具体实施方式
下面给出具体实施例，对本发明的技术方案作进一步清楚、完整、详细地说明。本实施例是以本发明技术方案为前提的最佳实施例，但本发明的保护范围不限于下述的实施例。
一种基于RSP模型的管道缺陷智能检测方法，包括以下步骤：
S1：对某城市的排水管道CCTV图像进行数据增强，得到训练的数据集；
S2：以ResNet-50卷积神经网络模型为基础，构建适用于CCTV管道缺陷种类识别的RSP模型；
S3：再次使用迁移学习对该模型进行优化，并针对迁移学习的方法、训练步骤以及训练方案设计实验，基于增强后的样本集进行试验，得到对于管道缺陷种类识别任务相对最优的迁移学习方案。
进一步的，所述步骤S1中，排水管道CCTV图像数据为使用管道CCTV机器人，以爬行器自走的方式进入管道内部收集管道缺陷数据；所述排水管道的缺陷状况包括变形、沉积物、错口、漂浮物、破裂、起伏、渗漏、脱落、障碍物和正常管道。
进一步的，所述CCTV图像数据集使用keras框架下ImageDataGenerator类的相关参数对原始数据集进行数据增强的预处理，以平衡各缺陷分类的数量和缓解过拟合现象。
进一步的，所述步骤S2中，RSP模型结构包含五个卷积模块：conv1、conv2_x、conv3_x、conv4_x、conv5_x，其中，conv2_x至conv5_x均为残差模块。残差单元中快捷连接模块的模式分为恒等映射模块与卷积降维模块连接两种。
进一步的，所述RSP模型结构的建模过程，具体包括以下步骤：
A1：第一个卷积模块conv1以较大的7*7卷积核将输入的224*224*3的图像信息数据集快速降维后，传入后面conv2_x、conv3_x、conv4_x、conv5_x的3+4+6+3共16个基础残差单元，在每一个残差模块的第一个基础残差单元中使用卷积降维模块，其余基础残差单元均使用恒等映射模块；
A2：卷积模块会对输入的图像进行持续不断地卷积计算，从而提取其中有效的特征信息；
A3：经过五个卷积模块进行提取后的特征信息再进行AVG Pooling操作，被压缩成1*1*2048的数组，再依次传入神经元个数分别为1024和10的两个全连接层dense_1与dense_2，进一步降维；与原模型相比，新的顶端结构增加了一个全连接层dense_1，减缓降维速度，起到过渡作用，激活函数选用了计算难度低，收敛速度快的Relu激活函数。此外在两个全连接层中间还加入了参数为0.5的Dropout层，让神经元每次训练时都根据Dropout参数的比例随机失去活性，即每次都只训练一半的神经元，减少神经元之间的相互作用，增强网络的泛化能力，缓解过拟合现象；
A4：最后用Softmax多项分类器输出CCTV管道各缺陷种类的概率，达到智能识别的目的。
进一步的，所述步骤A3中，两个全连接层dense_1与dense_2中间还加入了参数为0.5的Dropout层。
进一步的，所述步骤S3，迁移学习对该模型进行优化的方法为：使用在ImageNet大规模数据集上预训练的ResNet-50模型及权重数据来帮助RSP模型进行迁移学习，针对CCTV管道缺陷图像与ImageNet数据集中的图像有一定差距的问题，选择微调模型法来对预训练ResNet-50模型的部分残差单元的参数和top分类器实施调整。从而实现RSP模型在CCTV管道缺陷种类分类任务上更好的性能表现。
进一步的，所述步骤S3的迁移学习方法中，对RSP模型进行训练的方法具体包括：
A1：在建立的数据增强后的CCTV管道缺陷数据集上，冻结预训练后的conv1、conv2_x、conv3_x、conv4_x、conv5_x的权重，仅对RSP模型顶端全连接层的进行训练让其收敛；
A2：解冻若干层数的卷积基，使用较小的学习率联合训练全连接层和解冻的卷积层，微调其参数。使模型准确率进一步上升。
进一步的，本实施例中，均采用为证明迁移学习的效果，验证迁移学习的方法和训练步骤对模型性能影响，并探究RSP模型最优的训练方案，本实施例针对RSP模型的学习方法、训练方案及使用微调模型法时所使用训练步骤三种影响因素设置了10种实验组合(表1所示)，在上述实验环境下进行训练，对比各组训练结果进行分析；
表1数据集各分类数量与标签
Figure BDA0002789510790000091
Figure BDA0002789510790000101
考虑到单个残差单元是否解冻对于模型性能影响有限，难以对比得出最佳的解冻层数，因此本实验以单个残差模块为单位，从顶部conv5_x起，依次解冻1、2、3、4个残差模块，形成模型微调法的四种训练方案。又根据是否将训练过程一分为二，每一种模型微调法的训练方案分为一步法和两部法。其中一步法指将随机初始化的top部分与卷积基解冻部分一起训练，两步法指上文所述的先训练top部分然后将训练好的top部分与解冻部分一同微调。此外实验还设置了所有层参数随机初始化的全新学习和保持卷积基冻结只训练全连接层的特征提取法迁移学习；
参数方面，实验根据以往迁移学习的经验，选取了0.0001作为初始学习率，在确保卷积基的预训练权重信息能够尽可能地不被破坏的同时，又避免网络陷入局部最优影响网络性能。综合衡量硬件性能和实验需要，batch_size设置为100。损失优化器选择在收敛速度上表现优异的Adam优化器(beta_1＝0.9,beta_2＝0.999,epsilon＝1e-08,decay＝0.0)。考虑数据集规模、参数数量和实验效率，设置epochs为200(两步法先进行100个epochs的全连接层训练，后与解冻层联合训练100个epochs)，取第200次迭代结果为训练结果，汇总训练集与验证集的损失和准确率的实验结果如表2所示；
表2实验分组与实验结果表
Figure BDA0002789510790000111
实验结果分析：由表2可见全新学习的R_1组出现了训练集准确率远高于验证集准确率的过拟合现象，说明本发明数据集对于RSP模型来说过于简单，相对过多的参数让模型学习到了训练集数据中很多对管道缺陷分类没有益处的特征，严重影响的网络模型的泛化能力，降低了缺陷识别的真正准确率；
从表2中可知，使用迁移学习的学习方法的R_2至R_10，在验证集准确率上均优于全新学习，验证集准确率相较于全新学习提高了35个百分点以上。取R_1与迁移学习中特征提取法R_2组合的训练集和验证集准确率进行对比，如图3所示，发现使用迁移学习的R_2组在训练集和验证集的准确率方面均高于全新学习的R_1组，且R_2相对于R_1准确率的提升主要体现在验证集准确率上。在使用相同的训练集和验证集的情况下，R_2组保留了在超大型数据集上预训练后具有相当特征提取能力的卷积基权重参数，仅对顶层的全连接层进行训练，较R_1而言，需要训练的参数大幅减少，因此很大程度上缓解了因数据集规模小造成的过拟合现象，提升了网络的泛化能力；
此外，在全新学习的学习方法下，R_1在训练初期准确率仅为13.80％，只达到了十分类任务中随机猜测的正确率水平，在经过75个epoch的训练后，训练集准确率才接近较高值，且出现了严重的震荡，难以收敛；相比之下使用迁移学习的R_2组训练初期的训练集准确率就达到了50.4％，且拟合曲线更加陡峭，仅通过15个epoch的训练，其训练集准确率曲线就接近收敛，收敛速度全面优于全新学习，大大节省了训练时间和所占用资源；
由此可见，使用迁移学习的学习方法可以提高RSP模型的识别准确率，大幅缓解模型因数据集规模较小出现的过拟合现象，并加快模型的收敛速度。
关于训练步骤对RSP模型表现的影响：从表2中可以看出在微调模型法的四种训练方案中，使用二步法的组合在验证集准确率上均优于使用一步法的组合。二者差距不仅体现在迭代200次后的验证集准确率上，结合图5，不难发现，使用一步法的R3、R5、R7、R9四个组合都在不同程度上出现了突然地准确率急剧下降。其原因正是因为随机初始化的top全连接层分类器在与解冻的预训练卷积基一起训练的时候，top部分进行了很大幅度的权重更新来拟合CCTV管道缺陷数据集，同时也破坏了已经得到充分训练的解冻卷积基部分的权重参数，也就失去了使用迁移学习的意义。与之形成对比，图6展示了R4、R6、R8后100个epoch验证集准确率的变化情况。使用二步法进行训练的R4、R6、R8准确率高、收敛迅速、无较大波动，在与R3、R5、R7使用相同学习率的情况下，却可以保证预训练卷积基权重不进行大幅度更新破坏的前提下，针对本文的CCTV管道缺陷数据集进行更贴切的微调，让模型的表达能力更上一层楼；
可以看出，先对top全连接层进行训练，然后将训练好的top层与解冻部分一同训练的两步法训练步骤可以有效防止过大的权重更新破坏卷积基的预训练权重参数，并防止过拟合的出现，在相同的训练方案下能够取得更好的拟合效果。
关于训练方案对RSP模型表现的影响：图7是训练步骤为二步法，学习方法为模型微调法迁移学习，解冻不同数量的残差单元的R4、R6、R8、R10组合的后100个epoch的验证集准确率折线图和验证集损失折线图。从图中都不难看出从conv5_x起，随着解冻并微调训练的残差单元数量的增加，RSP模型验证集准确率也随之增加，解冻conv5_x、conv4_x、conv3_x的R8组验证集准确率更是高达97.4％，相比于仅训练全连接层的特征提取法，验证集准确率提升了4个百分点。这验证了上文所述，当迁移学习的目标任务数据集与原始预训练数据集有较大差距的时候，解冻从高到低解冻部分卷积基可以使模型在目标任务上有着更优秀的表达，也验证了本文为CCTV管道缺陷识别任务选择的模型微调法迁移学习的正确；
但是当解冻残差单元数量达到4个的时候，即解冻conv5_x、conv4_x、conv3_x、conv2_x与训练100个epoch的全连接层一同微调的R10组，在第13和28个epoch后验证集准确率都出现大幅下降，说明即使使用了迁移学习的方法，解冻四个残差单元的参数依然相对过多，出现了明显的过拟合现象。过拟合后的模型虽然在本文数据集上有着比R8组更高的准确率，但过拟合则意味着模型从数据集中学习到了更多对于管道缺陷分类无益处甚至是背道而驰的特征信息，其泛化能力大大下降，因此也无法推广使用；
结合以上两种情况不难发现，解冻预训练卷积基确实可以提升迁移学习的效果，并在一定范围内模型性能与解冻层数有着正相关关系，但同时随着解冻部分的增加，需要进行训练的参数随之增加，过拟合的风险也逐步上升。对于本文数据集和RSP模型而言，在使用二步法训练步骤的前提下，以模型微调法迁移学习训练全连接层和预训练后的conv5_x、conv4_x、conv3_x这一训练方案最适合本文所使用的CCTV管道缺陷识别数据集和RSP模型，验证集准确率可以达到97.4％，到达了较高的智能识别水平。
综上所述，本发明的针对CCTV管道缺陷种类的十分类任务，以残差网络中性能优异的ResNet-50网络模型为基础进行改进，设计了执行管道缺陷分类任务的RSP模型。又使用迁移学习这一机器学习方法对RSP模型进行优化。最后为了探究RSP模型的最佳的迁移学习方案，根据学习方法、训练方案、使用微调模型法时所使用训练步骤三种模型性能的影响因素，划分了10组实验组合，将实验结果进行对比，得出以下结论：
(1)使用RSP深层卷积网络模型并进行合理的迁移学习，可以在CCTV管道缺陷图像分类任务取得优秀的性能水平，有效模型的验证集准确率高达97.4％，为后续城市排水管道缺陷智能识别系统的开发打下基础；
(2)与全新学习相比，无论是特征提取法的迁移学习还是模型微调法的迁移学习，都可以将预训练卷积基在ImageNet大型数据集上学到的通用特征信息应用在RSP模型的CCTV管道缺陷分类的任务中，放宽对数据集规模的要求，很大程度上缓解了过拟合，使得迁移学习的组合的验证集准确率比全新学习的组合高出29.4-35个百分点，并且大幅缩短了训练所需要的时间，节省计算资源；
(3)对于模型微调法迁移学习而言，直接将随机初始化的top全连接层与解冻的预训练卷积基一同训练时，过大的权重更新会破坏已经具备相当特征提取能力的卷积基参数，使迁移学习失去意义。而将训练分为两步：冻结卷积基单独训练top部分后联合训练解冻部分和top部分，这样的训练方法可以在保证卷积基权重参数不被过度破坏的前提下针对CCTV管道缺陷数据进一步微调，保证迁移学习的效果；
(4)在进行迁移学习时，若目标任务数据集与预训练数据集存在不小的差距，那么使用两步法进行模型微调的效果要普遍优于特征提取法，这时模型的识别性能与解冻卷积基的数量在一定范围内有着正相关关系，但超过这个范围就会面临很高的过拟合风险。解冻conv5_x、conv4_x、conv3_x与训练100个epoch的top部分联合微调是对RSP模型相对最优的训练方案，验证集准确率高达97.4％。
以上显示和描述了本发明的主要特征、基本原理以及本发明的优点。本行业技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会根据实际情况有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (3)

1.一种基于RSP模型的管道缺陷智能检测方法，其特征在于：包括以下步骤：
S1：对某城市的排水管道CCTV图像进行数据增强，得到训练的数据集；
S2：以ResNet-50卷积神经网络模型为基础，构建适用于CCTV管道缺陷种类识别的RSP模型；RSP模型结构包含五个卷积模块：conv1、conv2_x、conv3_x、conv4_x、conv5_x，其中，conv2_x至conv5_x均为残差模块，残差单元中快捷连接模块的模式分为恒等映射模块与卷积降维模块连接两种；所述RSP模型结构的建模过程，具体包括以下步骤：
A1：第一个卷积模块conv1以较大的7*7卷积核将输入的224*224*3的图像信息数据集快速降维后，传入后面conv2_x、conv3_x、conv4_x、conv5_x 的3+4+6+3共16个基础残差单元，在每一个残差模块的第一个基础残差单元中使用卷积降维模块，其余基础残差单元均使用恒等映射模块；
A2：卷积模块会对输入的图像进行持续不断地卷积计算，从而提取其中有效的特征信息；
A3：经过五个卷积模块进行提取后的特征信息再进行AVG Pooling操作，被压缩成1*1*2048的数组，再依次传入神经元个数分别为1024和10的两个全连接层dense_1与dense_2，进一步降维；两个全连接层dense_1与dense_2中间还加入了参数为0.5的Dropout层；
A4：最后用Softmax多项分类器输出CCTV管道各缺陷种类的概率，达到智能识别的目的；
S3：再次使用迁移学习对该模型进行优化，并针对迁移学习的方法、训练步骤以及训练方案设计实验，基于增强后的样本集进行试验，得到对于管道缺陷种类识别任务相对最优的迁移学习方案；
迁移学习对该模型进行优化的方法为：使用在ImageNet大规模数据集上预训练的ResNet-50模型及权重数据来帮助RSP模型进行迁移学习，选择微调模型法来对预训练ResNet-50模型的部分残差单元的参数和top分类器实施调整；
迁移学习方法中，对RSP模型进行训练的方法具体包括：
A1：在建立的数据增强后的CCTV管道缺陷数据集上，冻结预训练后的conv1、conv2_x、conv3_x、conv4_x、conv5_x的权重，仅对RSP模型顶端全连接层的进行训练让其收敛；
A2：解冻若干层数的卷积基，使用较小的学习率联合训练全连接层和解冻的卷积层，微调其参数。
2.根据权利要求1所述的一种基于RSP模型的管道缺陷智能检测方法，其特征在于：所述步骤S1中，排水管道CCTV图像数据为使用管道CCTV机器人，以爬行器自走的方式进入管道内部收集管道缺陷数据；所述排水管道的缺陷状况包括变形、沉积物、错口、漂浮物、破裂、起伏、渗漏、脱落、障碍物和正常管道。
3.根据权利要求2所述的一种基于RSP模型的管道缺陷智能检测方法，其特征在于：CCTV图像数据集使用keras框架下ImageDataGenerator类的相关参数对原始数据集进行数据增强的预处理，以平衡各缺陷分类的数量和缓解过拟合现象。
CN202011310076.6A 2020-11-20 2020-11-20 一种基于rsp模型的管道缺陷智能检测方法 Active CN112381165B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011310076.6A CN112381165B (zh) 2020-11-20 2020-11-20 一种基于rsp模型的管道缺陷智能检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011310076.6A CN112381165B (zh) 2020-11-20 2020-11-20 一种基于rsp模型的管道缺陷智能检测方法

Publications (2)

Publication Number Publication Date
CN112381165A CN112381165A (zh) 2021-02-19
CN112381165B true CN112381165B (zh) 2022-12-20

Family

ID=74584435

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011310076.6A Active CN112381165B (zh) 2020-11-20 2020-11-20 一种基于rsp模型的管道缺陷智能检测方法

Country Status (1)

Country Link
CN (1) CN112381165B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113076873B (zh) * 2021-04-01 2022-02-22 重庆邮电大学 一种基于多阶段训练的农作物病害长尾图像识别方法
CN112991344A (zh) * 2021-05-11 2021-06-18 苏州天准科技股份有限公司 基于深度迁移学习的检测方法、存储介质和检测系统
CN114926707A (zh) * 2022-05-23 2022-08-19 国家石油天然气管网集团有限公司 管道缺陷识别方法、处理器和管道缺陷识别装置
CN115761584B (zh) * 2022-11-18 2024-05-14 广东五度空间科技有限公司 一种地下排水管道缺陷识别管理方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110930377A (zh) * 2019-11-18 2020-03-27 福州大学 一种基于多任务学习的排水管道异常类型自动检测方法
CN111415353A (zh) * 2020-04-10 2020-07-14 沈石禹 基于ResNet58网络的紧固件毛刺缺陷的检测结构及其检测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11714152B2 (en) * 2019-04-26 2023-08-01 Regents Of The University Of Minnesota Methods for scan-specific artifact reduction in accelerated magnetic resonance imaging using residual machine learning algorithms
CN110728654B (zh) * 2019-09-06 2023-01-10 台州学院 一种基于深度残差神经网络的管道自动检测和分类方法
CN111611924B (zh) * 2020-05-21 2022-03-25 东北林业大学 一种基于深度迁移学习模型的蘑菇识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110930377A (zh) * 2019-11-18 2020-03-27 福州大学 一种基于多任务学习的排水管道异常类型自动检测方法
CN111415353A (zh) * 2020-04-10 2020-07-14 沈石禹 基于ResNet58网络的紧固件毛刺缺陷的检测结构及其检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"FPGA accelerates deep residual learning for image recognition";Xuelei Li et al.;《2017 IEEE 2nd Information Technology》;20180208;第837-840页 *
"基于深度学习的发票图像分类方法";张振亚 等;《南通职业大学学报》;20200630;第79-83页 *

Also Published As

Publication number Publication date
CN112381165A (zh) 2021-02-19

Similar Documents

Publication Publication Date Title
CN112381165B (zh) 一种基于rsp模型的管道缺陷智能检测方法
CN110427846B (zh) 一种利用卷积神经网络对不平衡小样本的人脸识别方法
CN108647470B (zh) 一种基于聚类和深度信念网络的漏损初定位方法
CN112258496A (zh) 一种基于全卷积神经网络的地下排水管道病害分割方法
Liong et al. Advance flood forecasting for flood stricken Bangladesh with a fuzzy reasoning method
CN113255690B (zh) 一种基于轻量级卷积神经网络的复合绝缘子憎水性检测方法
CN116379360A (zh) 一种基于知识迁移的掺氢天然气管道损伤预测方法及系统
CN115713488A (zh) 基于实例分割的桥梁表观病害像素级识别方法和系统
CN116542170A (zh) 基于ssae和mlstm的排水管道淤积病害动态诊断方法
CN113255661A (zh) 一种输电线路涉鸟故障相关鸟种图像识别方法
CN113268370A (zh) 一种根因告警分析方法、系统、设备及存储介质
CN114548154A (zh) 一种重要厂用水泵智能诊断的方法及装置
CN115115113A (zh) 基于图注意力网络关系嵌入的设备故障预测方法及系统
Zhang et al. Deep learning‐based automatic classification of three‐level surface information in bridge inspection
Abdelkader et al. Evaluation of spalling in bridges using machine vision method
CN112487933B (zh) 一种基于自动化深度学习的雷达波形识别方法及系统
CN111414927A (zh) 一种海水水质评价的方法
CN117648658A (zh) 一种交通违法模型训练过程异常检测方法
CN113762591A (zh) 一种基于gru和多核svm对抗学习的短期电量预测方法及系统
CN115511816A (zh) 一种基于生成对抗网络的排水管道缺陷识别方法
CN114038513B (zh) 燃煤锅炉内硫化氢的质量浓度预测方法、装置及终端
CN115082650A (zh) 一种基于卷积神经网络的管道缺陷自动标注工具的实现方法
Tran et al. Neural network based prediction models for structural deterioration of urban drainage pipes
CN111767815A (zh) 一种隧道渗漏水识别方法
CN112884170A (zh) 一种综合管廊预测性智能运维系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant