CN110599459A - 基于深度学习的地下管网风险评估云系统 - Google Patents

基于深度学习的地下管网风险评估云系统 Download PDF

Info

Publication number
CN110599459A
CN110599459A CN201910750569.2A CN201910750569A CN110599459A CN 110599459 A CN110599459 A CN 110599459A CN 201910750569 A CN201910750569 A CN 201910750569A CN 110599459 A CN110599459 A CN 110599459A
Authority
CN
China
Prior art keywords
module
defect
risk assessment
pipeline
underground
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910750569.2A
Other languages
English (en)
Inventor
吕兵
刘玉贤
叶绍泽
潘文俊
胡朝辉
方门福
卢永华
周运林
姚光乐
闫臻
银霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Investigation and Research Institute Co ltd
Original Assignee
Shenzhen Investigation and Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Investigation and Research Institute Co ltd filed Critical Shenzhen Investigation and Research Institute Co ltd
Priority to CN201910750569.2A priority Critical patent/CN110599459A/zh
Publication of CN110599459A publication Critical patent/CN110599459A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0635—Risk analysis of enterprise or organisation activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Computing Systems (AREA)
  • Strategic Management (AREA)
  • Molecular Biology (AREA)
  • Tourism & Hospitality (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Educational Administration (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Marketing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Probability & Statistics with Applications (AREA)
  • Game Theory and Decision Science (AREA)
  • Primary Health Care (AREA)

Abstract

本发明公开了一种基于深度学习的地下管网风险评估云系统，包括云服务器模块、缺陷识别服务模块、风险评估服务模块；所述云服务器模块将采集的地下管道视频和图像信息通过该地下管网风险评估云系统传输至该缺陷识别服务模块对地下管道检测识别；该缺陷识别服务模块将检测识别的信息通过该地下管网风险评估云系统传输至风险评估服务模块对管道信息进行风险评估。本发明在于提供一种智能化程度强，检测效率高，大大提高了检测精度，节省了人力成本的一种基于深度学习的地下管网风险评估云系统。

Description

基于深度学习的地下管网风险评估云系统
技术领域
本发明涉及管道检测技术领域，尤其涉及一种基于深度学习的地下管网 风险评估云系统。
背景技术
排水管道的安全运营直接关系到城市公共安全和环境保护，排水管网的 缺陷检测也越来越受到重视。CCTV技术是一种广泛使用的排水管道缺陷检 测技术。
目前也有许多专家和学者提出使用图像处理的方法来自动识别CCTV 视频中的管道缺陷，如Tung-Ching Su等人使用形态学方法来检测管道裂缝， Alaa Hawari等人除了使用形态学方法检测裂缝外，还使用Gabor滤波和亮 度矫正分别用来检测沉积物和错位。但是这类传统的图像处理方法目前仍不 能满足管道缺陷检测的自动化需求。一方面在于，管道缺陷种类繁多，单种 算法很难有效解决多类缺陷的检测。如果集成多种算法同时检测，势必会降 低检测效率，并导致开发运维与成本过高。另一方面是因为管道环境复杂， 基于传统图像处理的检测方法的精度有限。
中国专利申请号为：201711221526.2，申请日是:2017年11月29日，公 开日是：2018年04月06日，专利名称为：一种基于深度学习的地下管道缺陷 自动识别方法，该发明公开了一种基于深度学习的地下管道缺陷自动识别方法， 准备训练卷积神经网络所需的地下管道正样本集和负样本集，对样本集预处理， 批量修改为统一尺寸300*300，然后进行数据提升，生成训练用样本数据；设 计卷积神经网络的结构，进行训练，获取网络收敛时的权重连接矩阵W，用于 以后的检测过程；针对视频数据，首先排除视频前后10帧，对于缺陷目标帧进 行粗选，然后每隔10ms对视频进行关键帧采样；将视频的每一个采样帧输入到卷积神经网络中，判断是否有缺陷存在；根据步骤五获取的每一帧的结果，总 结出视频中是否含有缺陷。本发明提高了数据的利用率，通过卷积网络自动学 习缺陷管道图像的特征，从而实现缺陷管道的自动识别。
上述专利文献公开了一种基于深度学习的地下管道缺陷自动识别方法，但 是该方法检测效率低，维护成本高，检测精度有限。
发明内容
有鉴于此，本发明在于提供一种智能化程度强，检测效率高，大大提高 了检测精度，节省了人力成本的一种基于深度学习的地下管网风险评估云系 统。
为了实现本发明目的，可以采取以下技术方案：
一种基于深度学习的地下管网风险评估云系统，包括云服务器模块、缺 陷识别服务模块、风险评估服务模块；所述云服务器模块用于存储地下管道 视频和图像信息，所述缺陷识别服务模块，用于检测识别地下管道缺陷信息， 该缺陷识别服务模块通过卷积神经网络进行识别检测管道缺陷信息；所述风 险评估模块，用于对地下管道缺陷做出风险评估；
所述云服务器模块将采集的地下管道视频和图像信息通过该地下管网 风险评估云系统传输至该缺陷识别服务模块对地下管道检测识别；该缺陷识 别服务模块将检测识别的信息通过该地下管网风险评估云系统传输至风险 评估服务模块对管道信息进行风险评估。
所述缺陷识别服务模块通过卷积神经网络进行识别检测管道缺陷信息是 根据公式
计算获得结果来检测识别管道裂缝的；其中是激活函数，P和Q是卷积神 经网络中的卷积核的高度和宽度。
所述云服务器模块包括视频存储模块和图像获取模块；所述视频存储模 块用于对地下管道视频信息进行存储；所述图像获取模块用于对地下管道图 像信息进行采集。
所述缺陷识别服务模块包括缺陷识别模块、缺陷统计模块和缺陷上报模 块；所述缺陷识别模块是对地下管道裂缝进行检测和分析；所述缺陷统计模 块用于地下管道缺陷信息进行记录和存储；所述缺陷上报模块用于对地下管 道缺陷信息进行通信传输。
所述缺陷识别模块包括数据构建模块、训练模块、分类模块、去冗余模 块、人机交互模块；所述数据构建模块用于地下管道信息采集获取完成数据 构建；所述训练模块，用于地下管道信息数据进行训练，对比分析；所述分 类模块，用于对地下管道缺陷图像信息进行计算分类；所述去冗余模块，用 于对地下管道缺陷图像信息进行分析处理；所述人机交互模块，用于对地下 管道缺陷信息通过人机互动进行控制操作。
所述训练模块通过公式获取训练结果。
其中N是样本的数量，y’是期望的分类结果，y是前馈神经网络实际输 出的Softmax得分。
所述分类模块通过公式获取分类结果；其中fc8modifiedj为卷积神经网络中最后一层具有5个神经 元的全连阶层。
所述去冗余模块通过公式获取分析处理结果；其中，j＝1,2,…,1024，fc7i为前一全连阶层的输出，即 该层输入，wi则为对应的输入权重，是激活函数。
所述所述风险评估服务模块包括风险评估模块和智能决策模块；所述风 险评估模块，用于对地下管道缺陷信息进行风险评估；所述智能决策模块， 用于对地下管道缺陷信息评估进行决策。
所述风险评估模块通过公式
Smax＝max{Pi}
n＝n1+n2
获取评估结果；其中：n为地下管道缺陷信息数量；n1位纵向净距离大于1.5m 的缺陷数量，pi1为对应的分值；n2为纵向净距离大于1.0m且不大于1.5m 的缺陷数量，pi2为对应的分值；α为缺陷影响系数，当缺陷纵向净距离大于 1.0m且不大于1.5m，其为1.1。
本发明提供的技术方案的有益效果是:1)本发明通过通过卷积神经网络 进行地下管道缺陷检测和分析，检测效率高，大大提高了检测精度；2)本 发明智能化程度高，维护成本低，大大节省了内业作业人力；3)本发明通 过卷积神经网络检测地下管道缺陷，大大提高了技术等级，达到了升级换代 的目的。
附图说明
图1为本发明实施例基于深度学习的地下管网风险评估云系统示意图；
图2为本发明实施例基于深度学习的地下管网风险评估云系统方框图；
图3为本发明实施例基于深度学习的地下管网风险评估云系统的缺陷识 别流程图；
图4为本发明实施例基于深度学习的地下管网风险评估云系统的缺陷识 别模块的系统方框图；
图5为本发明实施例基于深度学习的地下管网风险评估云系统的卷积神 经网络缺陷识别示意图；
图6为本发明实施例基于深度学习的地下管网风险评估云系统的卷积神 经网络结构对比图；
图7为本发明实施例基于深度学习的地下管网风险评估云系统的卷积神 经网络中识别缺陷的图像帧示意图；
图8为为本发明实施例基于深度学习的地下管网风险评估云系统的卷积 神经网络中识别缺陷的训练结果示意图；
具体实施方式
下面结合附图及本发明的实施例对发明作进一步详细的说明。
实施例1
参看图1，图2，一种基于深度学习的地下管网风险评估云系统4，包括 云服务器模块41、缺陷识别服务模块42、风险评估服务模块43；所述云服 务器模块41用于存储地下管道视频和图像信息，所述缺陷识别服务模块42， 用于检测识别地下管道缺陷信息，该缺陷识别服务模块42通过卷积神经网 络进行识别检测管道缺陷信息；所述风险评估模块43，用于对地下管道缺陷 做出风险评估；
所述云服务器模块41将采集的地下管道视频和图像信息通过该地下管 网风险评估云系统4传输至该缺陷识别服务模块42对地下管道检测识别； 该缺陷识别服务模块42将检测识别的信息通过该地下管网风险评估云系统 4传输至风险评估服务模块43对管道信息进行风险评估。
本发明所述的卷积神经网络(CNN:Convolutional Neural Network)是一 种前馈神经网络，在神经网络中引入了局部感受野，卷积，池化等功能。该 卷积神经网络由卷积层，全连接层，池化层等组成。
所述卷积层的参数是由一些可学习的卷积核集合构成的。每个卷积核在 空间上(宽度和高度)都比较小。在每个卷积层上，会有多个卷积核，在前 向传播的时候，让每个卷积核都在输入数据的宽度和高度上滑动，然后计算 整个卷积核和输入数据任一处的内积。当卷积核沿着输入数据的宽度和高度 滑过后，再经过激活函数，会生成一个二维的特征图(Feature Map)。在第 i层，第j个卷积核在深度为N的输入的(x,y)位置上；
本实施例中，本发明所述缺陷识别服务模块通过卷积神经网络进行识别 检测管道缺陷信息是根据公式计算获得结果来检测识别管道裂缝的；其中是激活函数，P和Q是卷积神 经网络中的卷积核的高度和宽度。
本实施例中，本发明所述卷积神经网络经过卷积和激活后生成的特征图 给出了在每个空间位置处卷积核的反应。每个卷积核都会生成一个不同的二 维特征图。将每个卷积核生成的不同特征图映射在深度方向上层叠起来就生 成了输出数据。池化层用于降低数据体的空间尺寸，减少网络中参数的数量， 使得计算资源耗费变少，也能有效控制过拟合。全连接层同卷积层一样，与 激活层一起形成神经元结构。不同于卷积层的局部连接，池化层与前后两层 的神经元是完全成对连接。损失层用在网络参数训练的过程中，放在网络的 最后一层，用来计算前向传播的误差。Softmax层则是用在测试过程中，放 在网络的最后一层，用于获得最终的预测得分。
卷积神经网络的训练或学习，是指卷积层和全连接层的参数优化，其有 信号前向传播和误差反向传播组成。在网络的学习过程中，信号由输入层进 入神经网络，通过隐藏层神经元的计算，由输出层输出结果，并计算输出与 期望的误差。再将误差由输出层向输出层反向传播，计算获得的每层的梯度， 以目标的负梯度方向，根据一定的策略来对各层神经元的连接权重和偏置进 行更新。这种基于信号正向传播与误差反向传播的各层参数更新，是迭代进 行的，此迭代一直进行到误差减小到可接受的程度或进行到预先设定的学习 迭代次数为止，这个迭代过程就是神经网络的学习过程。其中的参数更新策 略即网络的优化算法，该优化算法包括有SGD算法，Adam算法等。
实施例2
参看图2，图3，与上述实施例的不同之处在于，本实施例中，所述云 服务器模块41包括视频存储模块411和图像获取模块412；所述视频存储模 块411用于对地下管道视频信息进行存储；所述图像获取模块412用于对地 下管道图像信息进行采集。
本发明通过视频采集器4111，本实施例优选为CCTV的移动机器人进行 视频采集地下网管视频信息，然后发送至视频处理模块4112对该视频信息 进行裁剪、压缩、增强等视频信息处理并且将该视频信息传输至视频存储模 块411将视频信息存储；接着将处理后的信息传输至视频抽帧模块4113按 照40fps的帧率对视频进行视频抽帧处理；抽帧处理后将信息传输至帧处理 模块4114记录帧信息，也就是进行帧处理；帧处理后对该视频信息传输至 缺陷识别模块421进行缺陷识别处理，该缺陷识别模块421对缺陷信息处理 后传输至缺陷统计模块422对该缺陷信息统计；然后将该缺陷信息传输至风 险评估模块431对地下管道信息进行风险评估；评估后的风险信息可以传输 至风险评估服务模块43；所述缺陷识别模块421对缺陷信息处理后也可以传 输至缺陷识别服务模块42。
实施例3
参看图2，图4，与上述实施例的不同之处在于，本实施例中，所述缺 陷识别服务模块42包括缺陷识别模块421、缺陷统计模块422和缺陷上报模 块423；所述缺陷识别模块421是对地下管道裂缝进行检测和分析；所述缺 陷统计模块422用于地下管道缺陷信息进行记录和存储；所述缺陷上报模块 423用于对地下管道缺陷信息进行通信传输。
所述缺陷识别模块421包括数据构建模块4211、训练模块4212、分类 模块4213、去冗余模块4214、人机交互模块4215；所述数据构建模块4211 用于地下管道信息采集获取完成数据构建；所述训练模块4212，用于地下管 道信息数据进行训练，对比分析；所述分类模块4213，用于对地下管道缺陷 图像信息进行计算分类；所述去冗余模块4214，用于对地下管道缺陷图像信 息进行分析处理；所述人机交互模块4215，用于对地下管道缺陷信息通过人 机互动进行控制操作。
参看图5，本发明采用深度卷积神经网络构建缺陷识别模型；本发明所 述的深度神经网络实际上是通过构建多层网络，对目标进行多层表示，以期 通过多层的高层次特征来表示数据的抽象语义信息，获得更好的特征鲁棒 性。它的核心思想就是局部感受野、是权值共享和pooling层，以此来达到 简化网络参数并使得网络具有一定程度的位移、尺度、缩放、非线性形变稳 定性。
卷积神经网络具有一些传统技术所没有的优点：良好的容错能力、并行 处理能力和自学习能力，可处理环境信息复杂，背景知识不清楚，推理规则 不明确情况下的问题，允许样品有较大的缺损、畸变，运行速度快，自适应 性能好，具有较高的分辨率。它是通过结构重组和减少权值将特征抽取功能 融合进多层感知器，省略识别前复杂的图像特征抽取过程。
首先我们构造一个训练集用于模型训练，该训练集包含大量的的管道缺 陷图像和非缺陷图像。通过BP传播算法对模型参数进行调优，最终得到深 度模型。
在识别阶段，将读入的视频数据铜鼓预处理得到预处理图像，然后送入 卷积神经网络进行缺陷识别。
本实施例中，所述数据构建模块4211是根据外业作业采集到的CCTV 视频图像场景以及镜头角度的特点，将这些图像分为五类：非作业图，全局 缺陷图，全局正常图，局部缺陷图，局部正常图。非作业图是指CCTV机器 人在管道检测作业开始前或结束后拍摄到的图像；全局图像分别是指CCTV 机器人作业过程中的摄像头朝着前进方向获取的完整管道图像，若包含缺陷 则为全局缺陷图，否则为全局正常图；局部图像则是CCTV机器人的摄像头 旋转获取的管道局部图像，若包含缺陷则为全局缺陷图，否则为全局正常图。
因此本发明将排水管道缺陷识别问题设计为一个有监督的图像分类任 务，并使用原始CCTV图像构建大规模的标注图像用于卷积神经网络的训 练。在管道缺陷识别的需求中，希望不遗漏缺陷图片，即提高缺陷的召回率， 因此我们在训练样本中提高缺陷图像的比例，使全局缺陷图，全局正常图， 局部缺陷图，局部正常图和非作业图的比例约为2:1:2:1:1，以使卷积神经网 络能够对缺陷更加敏感，具有更强的对缺陷特征激活的能力。
本实施例中，所述训练模块4212选取VGG-16结构的卷积神经网络， 并对其改进并训练，用于排水管道视频中的缺陷图像识别。所述VGG-16卷 积神经网络。如图6所示的第一列所示的原生VGG-16结构，其包含16个 卷积层或全连接层，卷积层分为5组，前两个组包含两个卷积层，后三组包 含三个卷积层，所有卷积层均使用3*3大小的卷积核，5组卷积层的卷积数 量分别为64,128,256,512，512，每组之后加入一个池化层降用于低数据的 空间尺寸，在经过卷积和池化之后，有三个全连接层。前两个全连阶层有4096 个神经元，VGG-16最初用于1000类的图像的分类任务，因此最后一个全连 接层具有10000个神经元。
如前所述，本发明对于排水管道缺陷的识别问题设计为一个5类别的图 像分类任务，因此需要将最后一个全连接层设置为5个神经元，这样数据经 过最后二个全连阶层，图像特征直接从4096维降到5维，本发明在最后两 个全连接层之间加入一个具有1024个神经元的新的全连阶层，使特征维度 下降的过程中有个过度，以保留更有效的信息，提高分类器的能力。本发明 将用于管道检测的改进后的VGG-16称为VGG-Sewer。VGG-16和 VGG-Sewer的不同部分也在图6中加粗显示。
对于所述VGG-Sewer的训练，本方法采用VGG-16在大规模图像数据库 ImageNet上的预训练模型对所有卷积层和前两个全连阶层进行初始化，对最 后一个全连阶层以及新加入的1024个神经元的全连阶层则是采用随机初始 化。在训练过程中，网络最后加入公式1所示的SoftmaxWithLoss层计算 Sotmax交叉熵损失，并使用SGD优化算法对本文的VGG-Sewer网络进行训 练。
所述训练模块通过公式获取训练结果。
其中N是样本的数量，y’是期望的分类结果，y是前馈神经网络实际输 出的Softmax得分。
本实施例中，所述分类模块4213是在生产作业中，在训练后的卷积神 经网络VGG-Sewer最后加入公式2所示的Softmax层将网络作为图像分类 器，对采样到的视频图像进行分类。当一幅图像被分类为全局缺陷图或局部 缺陷图，则说明该图像包含管道缺陷。
所述分类模块通过公式获取分类结果；其中fc8modifiedj为卷积神经网络中最后一层具有5个神经 元的全连阶层。
本实施例中，所述去冗余模块4214是对于一个地下管道缺陷在视频中 可能持续较长时间，达到数十帧甚至数百帧，在检测作业中仅仅需要1帧来 展示该缺陷即可，因此需要去除冗余的缺陷帧。对于两个相邻的缺陷帧，本 方法将训练后的卷积神经网络VGG-Sewer作为图像特征提取器，使用下方 表示公式3提取网络中新增加的fcnew层的深度特征，并使用下方表示公式 4计算两缺陷图像特征之间的L2距离作为该副图像的相似度，当相邻的缺 陷帧的相似度达到一定的阈值时候，认为该两帧为同一缺陷，对于同一缺陷 的多张图像，保留缺陷得分最高的图像作为最终的缺陷检测结果。
所述去冗余模块通过公式获取分析处理结果；其中，j＝1,2,…,1024，fc7i为前一全连阶层的输出，即 该层输入，wi则为对应的输入权重，是激活函数。
在全连阶层和公式1表示的卷积层中，激活函数均使用修正线性单元激 活函数ReLU。
其中fcnew和fcnew’分别为神经网络检测到的相邻的两帧缺陷图像的深 度特。
本发明随机抽取了61538对同一缺陷的两帧图像计算L2距离，以及 61538对不同缺陷的两帧图像计算L2距离，并分别对其进行距离宽度为1 的直方图绘制，参看图7所示，可以看出两个直方图形成的双峰结构在22 处相交。因此选择22作为相似度计算的阈值。当两个缺陷帧的fcnew层深 度特征的L2距离小于22时，则这两帧代表同一缺陷，否则为两个不同的缺 陷。
本实施例中，所述人机交互模块4215用于对地下管道缺陷信息通过人 机互动进行控制操作。
作业人员通过该人机交互模块4215对于检测到的地下管道缺陷进行控 制操作，根据城镇排水管道检测技术规程对每一个地下管道缺陷进行定性和 定量的分析，包括尺寸，类别，等级以及分值进行判断。
实施例4
参看图2，图8，与上述实施例的不同之处在于，本实施例中，所述风 险评估服务模块43包括风险评估模块431和智能决策模块432；所述风险评 估模块431，用于对地下管道缺陷信息进行风险评估；所述智能决策模块432， 用于对地下管道缺陷信息评估进行决策。
本发明将地下管道缺陷分析结果导入到地下管网风险评估云系统4进行 管道状况评估，输出结果为管道结缺陷等级评定。该风险评估模块431首先 计算管道缺陷参数F，
当Smax≥S时，F＝Smax
当Smax＜S时，F＝S
其中Smax为管道损坏状况参数，管道缺陷中损坏最严重处的分值
S为管道损坏状况参数，按缺陷点数计算的平均分值。
所述风险评估模块431通过公式
Smax＝max{Pi}
n＝n1+n2
获取评估结果；其中：n为地下管道缺陷信息数量；n1位纵向净距离大于1.5m 的缺陷数量，pi1为对应的分值；n2为纵向净距离大于1.0m且不大于1.5m 的缺陷数量，pi2为对应的分值；α为缺陷影响系数，当缺陷纵向净距离大于 1.0m且不大于1.5m，其为1.1。
该风险评估模块431最终再根据规则输出结果为管道缺陷等级评定。当 缺陷参数F小于等于1时候，该管道存在轻微缺陷，管道状况基本不受影响， 但具有潜在变坏的可能；当F大于1小于等于3时候，该管道存在一般缺陷， 具有变坏趋势；当F大于3小于等于6时，该管道存在严重缺陷，状况收到 影响；当F大于6时候，该管道存在重大缺陷，损坏严重或即将导致破坏。
本发明利用深度学习平台Caffe对本发明的VGG-Sewer网络进行训练， 我们将学习率设置为0.00001，经过每2万次迭代将学习率下降为原来的 1/10，在10万次迭代时停止学习。参看图8，该图是训练过程中的损失函数 结果。
本发明对于排水管道缺陷检测实现了一个分类任务，该分类任务常用卷 积准确率来评估算法模型。如前所诉，所述排水管道缺陷中更关注缺陷的召 回率，因此本专利使用准确率和缺陷召回率来对本专利方法进行评估，其分 别定义如下：
识别率＝正确识别的样本数/所有的样本数
缺陷召回率＝正确识别的缺陷样本数/所有缺陷样本数
其中缺陷样本包括全局缺陷样本和局部缺陷样本。对于使用训练样本完 成训练的VGG-Sewer，在如前所诉的10000张测试样本上进行测试，使用识 别率和缺陷召回率进行评估。所述的排水管网中三四级缺陷比一二级缺陷更 容易造成危害且急需维修，因此需对其更加关注，实验中也对测试样本中的 634张三四级缺陷进行了单独评估，实验结果表明，缺陷样本的召回率高于 所有样本的准确率1.93％，这也符合我们前述的设计：通过增加缺陷样本在 训练集中的比例，以使卷积神经网络对缺陷特征具有更强的激活能力来提高 缺陷的召回率。同时也可以看到缺陷的召回率达到了87.26％，其中三四级 缺陷的召回率达到了95.11％。
本发明提出的基于卷积神经网络的排水管道检测管道缺陷，除了读取 CCTV视频所需要的内存之外，VGG-Sewer网络模型对GPU内存消耗很大， VGG-Sewer网络模型中共计150M个参数，需要消耗600M的GPU的内存。 本专利方法在计算速度上，实验测得在NvidiaGTX 1050显卡上可达20ms/ 帧的速度。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护 范围。

Claims (10)

1.一种基于深度学习的地下管网风险评估云系统，其特征在于：包括云服务器模块、缺陷识别服务模块、风险评估服务模块；所述云服务器模块用于存储地下管道视频和图像信息，所述缺陷识别服务模块，用于检测识别地下管道缺陷信息，该缺陷识别服务模块通过卷积神经网络进行识别检测管道缺陷信息；所述风险评估模块，用于对地下管道缺陷做出风险评估；
所述云服务器模块将采集的地下管道视频和图像信息通过该地下管网风险评估云系统传输至该缺陷识别服务模块对地下管道检测识别；该缺陷识别服务模块将检测识别的信息通过该地下管网风险评估云系统传输至风险评估服务模块对管道信息进行风险评估。
2.根据权利要求1所述基于深度学习的地下管网风险评估云系统，其特征在于：所述缺陷识别服务模块通过卷积神经网络进行识别检测管道缺陷信息是根据公式
计算获得结果来检测识别管道裂缝的；其中是激活函数，P和Q是卷积神经网络中的卷积核的高度和宽度。
3.根据权利要求1所述基于深度学习的地下管网风险评估云系统，其特征在于：所述云服务器模块包括视频存储模块和图像获取模块；所述视频存储模块用于对地下管道视频信息进行存储；所述图像获取模块用于对地下管道图像信息进行采集。
4.根据权利要求1所述基于深度学习的地下管网风险评估云系统，其特征在于：所述缺陷识别服务模块包括缺陷识别模块、缺陷统计模块和缺陷上报模块；所述缺陷识别模块是对地下管道裂缝进行检测和分析；所述缺陷统计模块用于地下管道缺陷信息进行记录和存储；所述缺陷上报模块用于对地下管道缺陷信息进行通信传输。
5.根据权利要求1所述基于深度学习的地下管网风险评估云系统，其特征在于：所述缺陷识别模块包括数据构建模块、训练模块、分类模块、去冗余模块、人机交互模块；所述数据构建模块用于地下管道信息采集获取完成数据构建；所述训练模块，用于地下管道信息数据进行训练，对比分析；所述分类模块，用于对地下管道缺陷图像信息进行计算分类；所述去冗余模块，用于对地下管道缺陷图像信息进行分析处理；所述人机交互模块，用于对地下管道缺陷信息通过人机互动进行控制操作。
6.根据权利要求5所述基于深度学习的地下管网风险评估云系统，其特征在于：所述训练模块通过公式获取训练结果。
其中N是样本的数量，y’是期望的分类结果，y是前馈神经网络实际输出的Softmax得分。
7.根据权利要求5所述基于深度学习的地下管网风险评估云系统，其特征在于：所述分类模块通过公式
获取分类结果；其中fc8modifiedj为卷积神经网络中最后一层具有5个神经元的全连阶层。
8.根据权利要求5所述基于深度学习的地下管网风险评估云系统，其特征在于：所述去冗余模块通过公式
获取分析处理结果；其中，j＝1,2,…,1024，fc7i为前一全连阶层的输出，即该层输入，wi则为对应的输入权重，是激活函数。
9.根据权利要求1所述基于深度学习的地下管网风险评估云系统，其特征在于：所述所述风险评估服务模块包括风险评估模块和智能决策模块；所述风险评估模块，用于对地下管道缺陷信息进行风险评估；所述智能决策模块，用于对地下管道缺陷信息评估进行决策。
10.根据权利要求9所述基于深度学习的地下管网风险评估云系统，其特征在于：所述风险评估模块通过公式
Smax＝max{Pi}
n＝n1+n2
获取评估结果；其中：n为地下管道缺陷信息数量；n1位纵向净距离大于1.5m的缺陷数量，pi1为对应的分值；n2为纵向净距离大于1.0m且不大于1.5m的缺陷数量，pi2为对应的分值；α为缺陷影响系数，当缺陷纵向净距离大于1.0m且不大于1.5m，其为1.1。
CN201910750569.2A 2019-08-14 2019-08-14 基于深度学习的地下管网风险评估云系统 Pending CN110599459A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910750569.2A CN110599459A (zh) 2019-08-14 2019-08-14 基于深度学习的地下管网风险评估云系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910750569.2A CN110599459A (zh) 2019-08-14 2019-08-14 基于深度学习的地下管网风险评估云系统

Publications (1)

Publication Number Publication Date
CN110599459A true CN110599459A (zh) 2019-12-20

Family

ID=68854333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910750569.2A Pending CN110599459A (zh) 2019-08-14 2019-08-14 基于深度学习的地下管网风险评估云系统

Country Status (1)

Country Link
CN (1) CN110599459A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111307055A (zh) * 2020-03-03 2020-06-19 成都管力安科技有限公司 一种管道数字孪生体系的设计方法
CN112668634A (zh) * 2020-12-25 2021-04-16 广州利科科技有限公司 基于深度学习的地下管网自动识别检测的云系统
CN113034502A (zh) * 2021-05-26 2021-06-25 深圳市勘察研究院有限公司 一种排水管道缺陷去冗余方法
CN114140625A (zh) * 2022-01-30 2022-03-04 深圳市博铭维技术股份有限公司 管道缺陷检测方法、系统、设备与计算机可读存储介质
US11790518B2 (en) 2020-07-29 2023-10-17 Tata Consultancy Services Limited Identification of defect types in liquid pipelines for classification and computing severity thereof
EP4118420A4 (en) * 2020-03-09 2024-06-26 Vapar Pty Ltd. TECHNOLOGY CONFIGURED TO ALLOW FAULT DETECTION AND CONDITION ASSESSMENT OF UNDERGROUND RAINWATER AND SEWER PIPELINES

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105404814A (zh) * 2015-09-24 2016-03-16 中国农业银行股份有限公司 一种商业银行软件的质量风险评估方法和系统
CN107886133A (zh) * 2017-11-29 2018-04-06 南京市测绘勘察研究院股份有限公司 一种基于深度学习的地下管道缺陷自动识别方法
CN108875076A (zh) * 2018-07-10 2018-11-23 重庆大学 一种基于Attention机制和卷积神经网络的快速商标图像检索方法
CN108982522A (zh) * 2018-08-09 2018-12-11 北京百度网讯科技有限公司 用于检测管道缺陷的方法和装置
CN109785289A (zh) * 2018-12-18 2019-05-21 中国科学院深圳先进技术研究院 一种输电线路缺陷检测方法、系统及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105404814A (zh) * 2015-09-24 2016-03-16 中国农业银行股份有限公司 一种商业银行软件的质量风险评估方法和系统
CN107886133A (zh) * 2017-11-29 2018-04-06 南京市测绘勘察研究院股份有限公司 一种基于深度学习的地下管道缺陷自动识别方法
CN108875076A (zh) * 2018-07-10 2018-11-23 重庆大学 一种基于Attention机制和卷积神经网络的快速商标图像检索方法
CN108982522A (zh) * 2018-08-09 2018-12-11 北京百度网讯科技有限公司 用于检测管道缺陷的方法和装置
CN109785289A (zh) * 2018-12-18 2019-05-21 中国科学院深圳先进技术研究院 一种输电线路缺陷检测方法、系统及电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
于科为，: "基于卷积神经网络的工件缺陷检测研究", 《信息与电脑》 *
张珺，: "论排水管道的检测及评价方法", 《给水排水》 *
许州 等，: "CCTV用于成都市锦兴路排水管道检测与评估", 《中国给水排水》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111307055A (zh) * 2020-03-03 2020-06-19 成都管力安科技有限公司 一种管道数字孪生体系的设计方法
CN111307055B (zh) * 2020-03-03 2024-03-05 成都管力安科技有限公司 一种管道数字孪生体系的设计方法
EP4118420A4 (en) * 2020-03-09 2024-06-26 Vapar Pty Ltd. TECHNOLOGY CONFIGURED TO ALLOW FAULT DETECTION AND CONDITION ASSESSMENT OF UNDERGROUND RAINWATER AND SEWER PIPELINES
US11790518B2 (en) 2020-07-29 2023-10-17 Tata Consultancy Services Limited Identification of defect types in liquid pipelines for classification and computing severity thereof
CN112668634A (zh) * 2020-12-25 2021-04-16 广州利科科技有限公司 基于深度学习的地下管网自动识别检测的云系统
CN112668634B (zh) * 2020-12-25 2022-08-09 广州利科科技有限公司 基于深度学习的地下管网自动识别检测的云系统
CN113034502A (zh) * 2021-05-26 2021-06-25 深圳市勘察研究院有限公司 一种排水管道缺陷去冗余方法
CN113034502B (zh) * 2021-05-26 2021-08-24 深圳市勘察研究院有限公司 一种排水管道缺陷去冗余方法
CN114140625A (zh) * 2022-01-30 2022-03-04 深圳市博铭维技术股份有限公司 管道缺陷检测方法、系统、设备与计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN112418117B (zh) 一种基于无人机图像的小目标检测方法
CN110599459A (zh) 基于深度学习的地下管网风险评估云系统
CN109272500B (zh) 基于自适应卷积神经网络的织物分类方法
CN110929577A (zh) 一种基于YOLOv3的轻量级框架改进的目标识别方法
CN111695640B (zh) 地基云图识别模型训练方法及地基云图识别方法
CN112528845B (zh) 一种基于深度学习的物理电路图识别方法及其应用
CN111428558A (zh) 一种基于改进YOLOv3方法的车辆检测方法
CN114998603B (zh) 一种基于深度多尺度特征因子融合的水下目标检测方法
CN116485717B (zh) 一种基于像素级深度学习的混凝土坝表面裂缝检测方法
CN115131747A (zh) 基于知识蒸馏的输电通道工程车辆目标检测方法及系统
CN116030396B (zh) 一种用于视频结构化提取的精确分割方法
CN110599458A (zh) 基于卷积神经网络的地下管网检测评估云系统
CN116758539B (zh) 一种基于数据增强的胚胎图像卵裂球识别方法
CN114155474A (zh) 基于视频语义分割算法的损伤识别技术
CN115147341A (zh) 一种基于生物视觉启发的织物表面缺陷分类深度网络方法
CN112785610B (zh) 一种融合低层特征的车道线语义分割方法
CN114972753A (zh) 基于上下文信息聚合和辅助学习的轻量级语义分割方法及系统
CN111612803B (zh) 一种基于图像清晰度的车辆图像语义分割方法
CN117671597B (zh) 一种老鼠检测模型的构建方法和老鼠检测方法及装置
Zhao et al. Recognition and Classification of Concrete Cracks under Strong Interference Based on Convolutional Neural Network.
CN110599460A (zh) 基于混合卷积神经网络的地下管网检测评估云系统
CN118038021A (zh) 基于改进yolov4的变电站作业现场异物入侵检测方法
CN116524397A (zh) 一种管道缺陷智能检测分析方法
CN116630683A (zh) 一种基于扩散的自适应特征提取的道路损伤检测方法
CN115953577A (zh) 一种基于有监督长程相关的遥感图像语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191220