CN110599460A - 基于混合卷积神经网络的地下管网检测评估云系统 - Google Patents

Abstract

本发明公开了一种基于混合卷积神经网络的地下管网检测评估云系统，包括云服务器模块、缺陷识别服务模块、风险评估服务模块；所述缺陷识别服务模块，用于检测识别地下管道缺陷信息，该缺陷识别服务模块通过混合卷积神经网络进行识别检测管道缺陷信息；所述云服务器模块将采集的地下管道视频和图像信息通过该地下管网风险评估云系统传输至该缺陷识别服务模块对地下管道检测识别；该缺陷识别服务模块将检测识别的信息通过该地下管网风险评估云系统传输至风险评估服务模块对管道信息进行风险评估。本发明在于提供一种智能化程度强，检测效率高，大大提高了检测精度，节省了人力成本的一种基于混合卷积神经网络的地下管网检测评估云系统。

Description

基于混合卷积神经网络的地下管网检测评估云系统

技术领域

本发明涉及管道检测技术领域，尤其涉及一种基于混合卷积神经网络的地下管网检测评估云系统。

背景技术

排水管道的安全运营直接关系到城市公共安全和环境保护，排水管网的缺陷检测也越来越受到重视。CCTV技术是一种广泛使用的排水管道缺陷检测技术。

目前也有许多专家和学者提出使用图像处理的方法来自动识别CCTV视频中的管道缺陷，如Tung-Ching Su等人使用形态学方法来检测管道裂缝，Alaa Hawari等人除了使用形态学方法检测裂缝外，还使用Gabor滤波和亮度矫正分别用来检测沉积物和错位。但是这类传统的图像处理方法目前仍不能满足管道缺陷检测的自动化需求。一方面在于，管道缺陷种类繁多，单种算法很难有效解决多类缺陷的检测。如果集成多种算法同时检测，势必会降低检测效率，并导致开发运维与成本过高。另一方面是因为管道环境复杂，基于传统图像处理的检测方法的精度有限。

中国专利申请号为：201711221526.2，申请日是:2017年11月29日，公开日是：2018年04月06日，专利名称为：一种基于深度学习的地下管道缺陷自动识别方法，该发明公开了一种基于深度学习的地下管道缺陷自动识别方法，准备训练卷积神经网络络所需的地下管道正样本集和负样本集，对样本集预处理，批量修改为统一尺寸300*300，然后进行数据提升，生成训练用样本数据；设计卷积神经网络络的结构，进行训练，获取网络收敛时的权重连接矩阵W，用于以后的检测过程；针对视频数据，首先排除视频前后10帧，对于缺陷目标帧进行粗选，然后每隔10ms对视频进行关键帧采样；将视频的每一个采样帧输入到卷积神经网络络中，判断是否有缺陷存在；根据步骤五获取的每一帧的结果，总结出视频中是否含有缺陷。本发明提高了数据的利用率，通过卷积网络自动学习缺陷管道图像的特征，从而实现缺陷管道的自动识别。

上述专利文献公开了一种基于深度学习的地下管道缺陷自动识别方法，但是该方法检测效率低，维护成本高，检测精度有限。

发明内容

有鉴于此，本发明在于提供一种智能化程度强，检测效率高，大大提高了检测精度，节省了人力成本的一种基于混合卷积神经网络的地下管网检测评估云系统。

为了实现本发明目的，可以采取以下技术方案：

一种基于混合卷积神经网络的地下管网检测评估云系统，包括云服务器模块、缺陷识别服务模块、风险评估服务模块；所述云服务器模块用于存储地下管道视频和图像信息，所述缺陷识别服务模块，用于检测识别地下管道缺陷信息，该缺陷识别服务模块通过混合卷积神经网络进行识别检测管道缺陷信息；所述风险评估模块，用于对地下管道缺陷做出风险评估；

所述云服务器模块将采集的地下管道视频和图像信息通过该地下管网风险评估云系统传输至该缺陷识别服务模块对地下管道检测识别；该缺陷识别服务模块将检测识别的信息通过该地下管网风险评估云系统传输至风险评估服务模块对管道信息进行风险评估。

所述混合卷积神经网络包括VGG-16卷积神经网络和GoogleNet卷积神经网络。

所述混卷积神经网络为并联型卷积神经网络。

所述混卷积神经网络进行识别检测管道缺陷信息是基于多元线性回归的方式对VGG-16卷积神经网络络和GoogleNet卷积神经网络络的输出进行融合，将融合结果作为最终的输出结果。

所述GoogLeNet卷积神经网络包括有9个线性堆叠的Inception模块。

所述GoogLeNet卷积神经网络络是采用剪枝法识别检测管道缺陷信息。

所述云服务器模块包括视频存储模块和图像获取模块；所述视频存储模块用于对地下管道视频信息进行存储；所述图像获取模块用于对地下管道图像信息进行采集。

所述缺陷识别服务模块包括缺陷识别模块、缺陷统计模块和缺陷上报模块；所述缺陷识别模块是对地下管道裂缝进行检测和分析；所述缺陷统计模块用于地下管道缺陷信息进行记录和存储；所述缺陷上报模块用于对地下管道缺陷信息进行通信传输。

所述风险评估服务模块包括风险评估模块和智能决策模块；所述风险评估模块，用于对地下管道缺陷信息进行风险评估；所述智能决策模块，用于对地下管道缺陷信息评估进行决策。

所述风险评估模块通过公式R＝0.7×F+0.1×K+0.05×E+0.15×T获取评估结果；

其中，R——管段修复指数；F——缺陷参数；K——地区重要性参数；E——管道重要性参数；T——土质影响参数。

本发明提供的技术方案的有益效果是:1)本发明通过通过卷积神经网络进行地下管道缺陷检测和分析，检测效率高，大大提高了检测精度；2)本发明智能化程度高，维护成本低，大大节省了内业作业人力；3)本发明通过卷积神经网络检测地下管道缺陷，大大提高了技术等级，达到了升级换代的目的。

附图说明

图1为本发明实施例基于混合卷积神经网络的地下管网检测评估云系统示意图；

图2为本发明实施例基于混合卷积神经网络的地下管网检测评估云系统方框图；

图3为本发明实施例基于混合卷积神经网络的地下管网检测评估云系统的缺陷识别流程图；

图4为本发明实施例基于混合卷积神经网络的地下管网检测评估云系统的卷积神经网络缺陷识别示意图；

图5为本发明实施例基于混合卷积神经网络的地下管网检测评估云系统的混合卷积神经网络框架结构示意图；

图6为本发明实施例基于混合卷积神经网络的地下管网检测评估云系统的GoogLeNet卷积神经网络结构示意图；

图7为本发明实施例基于混合卷积神经网络的地下管网检测评估云系统的地图重要性参数图表；

图8为本发明实施例基于混合卷积神经网络的地下管网检测评估云系统的地下管道重要性图表；

图9为本发明实施例基于混合卷积神经网络的地下管网检测评估云系统的土质影响图表；

图10为本发明实施例基于混合卷积神经网络的地下管网检测评估云系统的单网络模型与未加权的双网络模型对比结果图表；

图11为本发明实施例基于混合卷积神经网络的地下管网检测评估云系统的改进型单网络模型与加权的双网络模型对比结果图表。

具体实施方式

下面结合附图及本发明的实施例对发明作进一步详细的说明。

实施例1

参看图1，图2，一种基于混合卷积神经网络的地下管网检测评估云系统4，包括云服务器模块41、缺陷识别服务模块42、风险评估服务模块43；所述云服务器模块41用于存储地下管道视频和图像信息，所述缺陷识别服务模块42，用于检测识别地下管道缺陷信息，该缺陷识别服务模块42通过混合卷积神经网络络进行识别检测管道缺陷信息；所述风险评估模块43，用于对地下管道缺陷做出风险评估；

所述云服务器模块41将采集的地下管道视频和图像信息通过该地下管网风险评估云系统4传输至该缺陷识别服务模块42对地下管道检测识别；该缺陷识别服务模块42将检测识别的信息通过该地下管网风险评估云系统4传输至风险评估服务模块43对管道信息进行风险评估。

本发明所述的卷积神经网络(CNN:Convolutional Neural Network)是一种前馈神经网络，在神经网络中引入了局部感受野，卷积，池化等功能。该卷积神经网络由卷积层，全连接层，池化层等组成。

本发明采用深度卷积神经网络构建缺陷识别模型，参看图4，深度神经网络是通过构建多层网络，对目标进行多层表示，以期通过多层的高层次特征来表示数据的抽象语义信息，获得更好的特征鲁棒性。该深度神经网络就是局部感受野、是权值共享和pooling层，以此来达到简化网络参数并使得网络具有一定程度的位移、尺度、缩放、非线性形变稳定性。

卷积神经网络具有一些传统技术所没有的优点：良好的容错能力、并行处理能力和自学习能力，可处理环境信息复杂，背景知识不清楚，推理规则不明确情况下的问题，允许样品有较大的缺损、畸变，运行速度快，自适应性能好，具有较高的分辨率。它是通过结构重组和减少权值将特征抽取功能融合进多层感知器，省略识别前复杂的图像特征抽取过程。

首先我们构造一个训练集用于模型训练，该训练集包含大量的的管道缺陷图像和非缺陷图像。通过BP传播算法对模型参数进行调优，最终得到深度模型。

在识别阶段，将读入的视频数据铜鼓预处理得到预处理图像，然后送入卷积神经网络进行缺陷识别。

实施例2

参看图2，图3，与上述实施例的不同之处在于，本实施例中，所述云服务器模块41包括视频存储模块411和图像获取模块412；所述视频存储模块411用于对地下管道视频信息进行存储；所述图像获取模块412用于对地下管道图像信息进行采集。

本发明通过视频采集器4111，本实施例优选为CCTV的移动机器人进行视频采集地下网管视频信息，然后发送至视频处理模块4112对该视频信息进行裁剪、压缩、增强等视频信息处理并且将该视频信息传输至视频存储模块411将视频信息存储；接着将处理后的信息传输至视频抽帧模块4113按照40fps的帧率对视频进行视频抽帧处理；抽帧处理后将信息传输至帧处理模块4114记录帧信息，也就是进行帧处理；帧处理后对该视频信息传输至缺陷识别模块421进行缺陷识别处理，该缺陷识别模块421对缺陷信息处理后传输至缺陷统计模块422对该缺陷信息统计；然后将该缺陷信息传输至风险评估模块431对地下管道信息进行风险评估；评估后的风险信息可以传输至风险评估服务模块43；所述缺陷识别模块421对缺陷信息处理后也可以传输至缺陷识别服务模块42。

实施例3

参看图2，与上述实施例的不同之处在于，本实施例中，所述缺陷识别服务模块42包括缺陷识别模块421、缺陷统计模块422和缺陷上报模块423；所述缺陷识别模块421是对地下管道裂缝进行检测和分析；所述缺陷统计模块422用于地下管道缺陷信息进行记录和存储；所述缺陷上报模块423用于对地下管道缺陷信息进行通信传输。

缺陷识别服务模块42通过混合卷积神经网络络进行识别检测管道缺陷信息；所述述混合卷积神经网络包括一个改进型的VGG-16卷积神经网络和一个改进型的GoogleNet卷积神经网络。

所述混卷积神经网络进行识别检测管道缺陷信息是基于多元线性回归的方式对VGG-16卷积神经网络和GoogleNet卷积神经网络的输出进行融合，将融合结果作为最终的输出结果。

在进行识别检测管道缺陷信息阶段，将读入的视频数据进行预处理得到预处理图像，然后分别送入VGG-16卷积神经网络和GoogleNet卷积神经网络进行缺陷识别。此外，本发明基于多元线性回归的方式对两个神经网络的输出进行融合，将融合结果作为最终的输出结果。

本发明所述混卷积神经网络络为并联型卷积神经网络。该并联型混合网络通过对多个网络的输出采用并联，并对网络输出结果级联的方式，使得各个网络之间能够相互补充，进一步地提高了管道缺陷识别的正确率。

构建基于并联型卷积神经网络络的缺陷识别框架，具体框架模型如图5所示。

基于改进型VGG-16网络，其结构如下：

该VGG-16网络卷积层和池化层可以划分为不同的块(Block)，从前到后依次编号为Block1～block5。每一个块内包含若干卷积层和一个池化层。

卷积层和池化层：

Block1包含：

·2个卷积层，conv1-64

·1个池化层，maxpool

Block2包含：

·2个卷积层，conv2-64

·1个池化层，maxpool

Block3包含：

·3个卷积层，conv1-256

·1个池化层，maxpool

Block4包含：

·3个卷积层，conv4-512

·1个池化层，maxpool

Block5包含：

·3个卷积层，conv5-512

·1个池化层，maxpool

全连接层：

·fc6-4096

·fc7-4096

·fc8-1024

·softmax-5

基于改进型GoogleNet网络

参看图6，所述GoogLeNet卷积神经网络有9个线性堆叠的Inception模块；该Inception模块有22层(包括池化层的是27层)。图6是原始的Inception模块。所述Inception模块使用了3个不同大小的滤波器(1x1,3x3,5x5)对输入信号执行卷积操作；此外，所述Inception模块还会执行最大池化。所有子层的输入最后会被级联起来，并传送至下一个Inception模块。

实施例4

本实施例中，所述GoogLeNet卷积神经网络是采用剪枝法识别检测管道缺陷信息。

所述剪枝法是通过最小化裁剪后特征图和裁剪前特征图之间的误差，减少卷积核的通道数。

所述通道数通过公式获取结果。

所述GoogleNet卷积神经网络具有比VGGNet卷积神经网络更多的卷积层和池化层，所以具有更好特征区别能力。然而由于训练样本的不足，也极易导致过拟合，因此本发明采用剪枝法对该GoogleNet卷积神经网络进行优化，网络剪枝可以使网络连接稀疏化，提供了拓展网络规模的可能性。具体是指，训练一个较大的神经网络络时，一处不需要的部分。这种方式有利于降低网络复杂度，提升泛化能力。本发明所述剪枝法是通过最小化裁剪后特征图和裁剪前特征图之间的误差，尽可能的减少卷积核的通道数。

令C_in、W和C_out分别为输入特征图、卷积核和输出特征图。c和n为输入特征图的通道数和输出特征图的通道数。在卷积计算中，我们使用im2col来表示输入特征图、卷积核以及输出特征图，分别为：(H*W)*(C_in*k_h*k_w)的输入特征图，(C_in*k_h*k_w)*(C_out)的卷积核，(H*W)*(C_out)的输出特征图。其中H和W分别为输出特征图的高和宽。

令C_in、W和C_out分别为输入特征图、卷积核和输出特征图。c和n为输入特征图的通道数和输出特征图的通道数。在卷积计算中，我们使用im2col来表示输入特征图、卷积核以及输出特征图，分别为：(H*W)*(C_in*k_h*k_w)的输入特征图，(C_in*k_h*k_w)*(C_out)的卷积核，(H*W)*(C_out)的输出特征图。其中H和W分别为输出特征图的高和宽。

由矩阵乘法可知，卷积核中对应的行只和输入特征图矩阵中特定的列相乘，当我们裁剪了卷积核中的通道数后，相对应的输入特征图中的通道数亦可裁去，而输出当前输入特征图的对应上层的卷积核亦可裁去。

如何选取裁剪的通道，是本发明考虑的重点。

本实施例中，该公式1中的Y为原始输出特征图，而后半部为裁剪后的输出特征图。我们将两者之间的距离作为误差，目的就是在尽可能剪枝的情况下，保持剪枝后特征图和原始特征图的差距最小。式中β为0时，对应的输入层失效，达到剪枝的效果。公式中的限制项为β的0范数，c'为一个超参数，表示我们希望剪枝的最小剪枝数。由于优化一个带0范数的损失函数是一个NP难问题，本发明引入lasso来代替原始损失函数，尽可能的使β向量稀疏。如公式2所示

subject to||β||₀≤c'

本实施例中，所述GoogleNet卷积神经网络优化过程可以分为两步：

a.固定W参数，迭代的方法，使β向量尽可能稀疏，达到预先设定的剪枝数。

b.固定迭代好的β，输入X变为X'，X'即为β迭代后与原始输入X的乘积。所述分类模块通过公式

本实施例中，所述改进型的VGG-16卷积神经网络和改进型的GoogleNet卷积神经网络络基于多元线性回归的方式为：

所述改进型的VGG-16卷积神经网络和改进型的GoogleNet卷积神经网络通过softmax层输出两个5维的向量，采用多元线性回归对Net1和Net2的输出进行加权即

Y＝W₀+W₁X₁+W₂X₂ (3)

其中Y是一个5维向量，X₁和X₂分别是Net1和Net2的Soft Max层输出。

令

Y＝h_W(X) (5)

目标函数为

最终求得

W＝(X^TX)^-1X^TY (7)

求得加权参数W后，Net1和Net2的输出将被加权融合，得到最终的5维输出向量，作为整个并联型模型的输出。

实施例4

参看图7，图8，图9，与上述实施例的不同之处在于，本实施例中，所述风险评估服务模块43包括风险评估模块431和智能决策模块432；所述风险评估模块431，用于对地下管道缺陷信息进行风险评估；所述智能决策模块432，用于对地下管道缺陷信息评估进行决策。

本发明所述风险评估模块43通过公式

R＝0.7×F+0.1×K+0.05×E+0.15×T

获取评估结果；

其中，R——管段修复指数；F——缺陷参数；K——地区重要性参数；E——管道重要性参数；T——土质影响参数。

该风险评估模块43还可以确定其修复指数，具体如下公式：

M＝0.8×G+0.15×K+0.05×E

其中，M——管段养护指数；K——地区重要性参数；E——管道重要性参数；G——管段功能性缺陷参数

具体计算如下：

当Y_max≥Y时，G＝Y_max (10)

当Y_max＜Y时，G＝Y (11)

Y_max——管段运行状况参数，功能性缺陷中最严重处的分值；

Y——管段运行状况参数，按缺陷点数计算的功能性缺陷平均分值。

其中Y和Y_max值取决于缺陷识别模型的识别结果。

本实施例中，首先比较了解本发明所述混合卷积神经网络络与单一的VGG-16卷积神经网络和单一的GoogleNet卷积神经网络的识别率与召回率，且所述混合卷积神经网络络的输出未经过多元线性回归的加权计算，只是将两个识别得到置信度求平局值，具体的结果如图10所示。

由结果可以看出，所述混合卷积神经网络相较于单网络模型在性能上有一定的提升，在识别率方面分别高出单一的VGG-16卷积神经网络和单一的GoogleNet卷积神经网络4.4％和3.2％；召回率分别高出VGG-16和GoogleNet 2.9％和2.1％；在三四级缺陷方面，三种模型都达到了较高的召回率。

其次，比较了解本发明所述混合卷积神经网络与所述的单一的VGG-16卷积神经网络和单一的GoogleNet卷积神经网络的识别率与召回率，且所述混合卷积神经网络的输出采用多元线性回归的加权计算，权值计算由公式(7)所示，具体的结果如图11所示。

由结果可以看出，加权所述混合卷积神经网络相较于改进型单一的VGG-16卷积神经网络和单一的GoogleNet卷积神经网络和原始VGG-16卷积神经网络和GoogleNet卷积神经网络相比较，在性能上有一定的提升，且改进的单网络模型相较于未改进的单网络模型(参看图10)也有性能上的提升；且加权所述混合卷积神经网络络对比未加权所述混合卷积神经网络在识别率、召回率和三四级缺陷召回率上，性能分别提升3％、2％和1.2％。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (10)

1.一种基于混合卷积神经网络的地下管网检测评估云系统，其特征在于：包括云服务器模块、缺陷识别服务模块、风险评估服务模块；所述云服务器模块用于存储地下管道视频和图像信息，所述缺陷识别服务模块，用于检测识别地下管道缺陷信息，该缺陷识别服务模块通过混合卷积神经网络进行识别检测管道缺陷信息；所述风险评估模块，用于对地下管道缺陷做出风险评估；

所述云服务器模块将采集的地下管道视频和图像信息通过该地下管网风险评估云系统传输至该缺陷识别服务模块对地下管道检测识别；该缺陷识别服务模块将检测识别的信息通过该地下管网风险评估云系统传输至风险评估服务模块对管道信息进行风险评估。

2.根据权利要求1所述基于混合卷积神经网络的地下管网检测评估云系统，其特征在于：所述混合卷积神经网络包括VGG-16卷积神经网络和GoogleNet卷积神经网络。

3.根据权利要求1所述基于混合卷积神经网络的地下管网检测评估云系统，其特征在于：所述混卷积神经网络为并联型卷积神经网络。

4.根据权利要求2所述基于混合卷积神经网络的地下管网检测评估云系统，其特征在于：所述混卷积神经网络进行识别检测管道缺陷信息是基于多元线性回归的方式对VGG-16卷积神经网络和GoogleNet卷积神经网络的输出进行融合，将融合结果作为最终的输出结果。

5.根据权利要求2所述基于混合卷积神经网络的地下管网检测评估云系统，其特征在于：所述GoogLeNet卷积神经网络包括有9个线性堆叠的Inception模块。

6.根据权利要求2所述基于混合卷积神经网络的地下管网检测评估云系统，其特征在于：所述GoogLeNet卷积神经网络是采用剪枝法识别检测管道缺陷信息。

7.根据权利要求1所述基于混合卷积神经网络的地下管网风险评估云系统，其特征在于：所述云服务器模块包括视频存储模块和图像获取模块；所述视频存储模块用于对地下管道视频信息进行存储；所述图像获取模块用于对地下管道图像信息进行采集。

8.根据权利要求1所述基于混合卷积神经网络的地下管网检测评估云系统，其特征在于：所述缺陷识别服务模块包括缺陷识别模块、缺陷统计模块和缺陷上报模块；所述缺陷识别模块是对地下管道裂缝进行检测和分析；所述缺陷统计模块用于地下管道缺陷信息进行记录和存储；所述缺陷上报模块用于对地下管道缺陷信息进行通信传输。

9.根据权利要求1所述基于混合卷积神经网络的地下管网检测评估云系统，其特征在于：所述风险评估服务模块包括风险评估模块和智能决策模块；所述风险评估模块，用于对地下管道缺陷信息进行风险评估；所述智能决策模块，用于对地下管道缺陷信息评估进行决策。

10.根据权利要求9所述基于混合卷积神经网络的地下管网检测评估云系统，其特征在于：所述风险评估模块通过公式R＝0.7×F+0.1×K+0.05×E+0.15×T获取评估结果；

其中，R——管段修复指数；F——缺陷参数；K——地区重要性参数；E——管道重要性参数；T——土质影响参数。