CN107886133A - 一种基于深度学习的地下管道缺陷自动识别方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的地下管道缺陷自动识别方法，准备训练卷积神经网络所需的地下管道正样本集和负样本集，对样本集预处理，批量修改为统一尺寸300*300，然后进行数据提升，生成训练用样本数据；设计卷积神经网络的结构，进行训练，获取网络收敛时的权重连接矩阵W，用于以后的检测过程；针对视频数据，首先排除视频前后10帧，对于缺陷目标帧进行粗选，然后每隔10ms对视频进行关键帧采样；将视频的每一个采样帧输入到卷积神经网络中，判断是否有缺陷存在；根据步骤五获取的每一帧的结果，总结出视频中是否含有缺陷。本发明提高了数据的利用率，通过卷积网络自动学习缺陷管道图像的特征，从而实现缺陷管道的自动识别。

Description

一种基于深度学习的地下管道缺陷自动识别方法

技术领域

本发明涉及一种缺陷自动识别方法，特别是一种基于深度学习的地下管道缺陷自动识别方法。

背景技术

地下管道缺陷识别系统涉及模式识别、计算机视觉等诸多学科和计算机技术问题，是一个较为复杂且庞大的工程，在市政地下设施检测、维护与改建等诸多方面有着很广泛的应用前景。虽然现在已经有了初步的研究成果，但是还存在很多难点，如传统方法存在着效率低下，识别率不高等缺点。同时地下管道环境复杂，管道缺陷之间差异小等多个因素，导致地下管道缺陷的自动化识别成为一个相当复杂的问题，面临诸多挑战。

目前针对地下管道缺陷识别问题，主要有两种方法。第一种主要是通过人工的方法，安排专门人员对视频进行浏览，手动找出有问题的影像，然后手动标记缺陷类别。这种方法效率十分低下，且容易受人的主观情绪影响，容易出错。第二种方法是采用传统的计算视觉的方法，首先采用光流技术对视频中缺陷位置进行定位，然后利用视觉特征提取的方法提取出包括HOG(梯度方向直方图）、LBP (局部二值模式）以及Edgelet (边缘特征）等特征描述算子，最后采用支持向量机（SVM)等机器学习算法进行分类视频。这类方法具有检测速度慢，准确率不够高等缺点。

发明内容

本发明所要解决的技术问题是提供一种基于深度学习的地下管道缺陷自动识别方法，其检测效率高、准确率高。

为解决上述技术问题，本发明所采用的技术方案是：

一种基于深度学习的地下管道缺陷自动识别方法，其特征在于包含以下步骤：

步骤一：准备训练卷积神经网络所需的地下管道正样本集和负样本集；

步骤二：对样本集预处理，批量修改为统一尺寸300*300，然后进行数据提升，生成训练用样本数据；

步骤三：设计卷积神经网络的结构，进行训练，获取网络收敛时的权重连接矩阵W，用于以后的检测过程；

步骤四：针对视频数据，首先排除视频前后10帧，对于缺陷目标帧进行粗选，然后每隔10ms对视频进行关键帧采样；

步骤五：将视频的每一个采样帧输入到卷积神经网络中，判断是否有缺陷存在；

步骤六：根据步骤五获取的每一帧的结果，总结出视频中是否含有缺陷。

进一步地，所述步骤一中，正样本集为正常无缺陷的管道图像，负样本集为含有缺陷的管道图像。

进一步地，所述步骤二具体为，

2.1、对步骤一中采集到的图片，批量修改尺寸大小为300*300，使所有图片尺寸大小一致；

2.2、对2.1中获得的图像，按R,G,B三个颜色通道进行像素统计，获取训练样本的均值文件；

2.3、对步骤2.1获得的图像通过一系列随机变换进行数据提升；

2.4、将步骤2.1中获取的图像与步骤2.3获取的图像进行融合，组成完整的训练样本；

2.5、对步骤2.4中采集到的所有图片按缺陷种类进行分类，将有缺陷样本图像标记为1，将无缺陷样本图像标记为0，得到带标记的训练数据；

2.6、将2.5中的训练数据按1:2:7随机分开，其中验证集、测试集和训练集分别为10%、20%和70%。

进一步地，所述2.3中随机变换包括水平翻转，剪切变换，旋转及缩放。

进一步地，所述步骤三具体为，

3.1、设计一个具有三层卷积操作层、三层池化操作层、两层全连接层、一层soft max分类器的卷积神经网络，各个神经元的激活函数采用sigmoid函数；

3.2、上述卷积神经网络的输入是在预训练好的VGG网络上提取出的2048维特征；

3.3、 每一次训练进程从训练集随机中取出固定数量的样本作为输入，然后利用Adam算法对卷积神经网络进行训练，直到网络达到收敛；

3.4、采用Adam优化算法代替传统的BP优化算法。

进一步地，所述步骤四具体为，

4.1、将视频数据进行初步的分割，形成每一段视频对应一个管道影像；

4.2、将4.1中获得的视频在时序上进行自适应采样，首先去除视频前后2秒所有帧，对剩下的视频每隔30ms提取出一帧，形成该段视频的图像集。

本发明与现有技术相比，具有以下优点和效果：本发明采用卷积神经网络和迁移学习技术对地下管道视频进行自动分类识别。训练时采用带标记的地下管道缺陷RGB彩色图像作为样本，利用数据预处理技术对数据量进行提升，充分利用有限的样本信息；使用卷积网络代替传统的特征提取及分类的过程，利用softmax分类器自动判断是否存在缺陷；其中数据提升技术提高了数据的利用率，通过卷积网络自动学习缺陷管道图像的特征，从而实现缺陷管道的自动识别。

附图说明

图1是本发明的基于深度学习的地下管道缺陷自动识别方法的流程图。

图2是本发明的基于深度学习的地下管道缺陷自动识别方法的网络结构图。

图3是本发明的基于深度学习的地下管道缺陷自动识别方法的训练样本示意图。

具体实施方式

下面结合附图并通过实施例对本发明作进一步的详细说明，以下实施例是对本发明的解释而本发明并不局限于以下实施例。

如图1所示，本发明的一种一种基于深度学习的地下管道缺陷自动识别方法，其特征在于包含以下步骤：

步骤一：准备训练卷积神经网络所需的地下管道正样本集和负样本集；正样本集为正常无缺陷的管道图像，负样本集为含有缺陷的管道图像。

搜集的地下管道影像样本应该具有多样性，同时有缺陷样本和无缺陷样本的数据量应一样，部分训练样本如图3所示；

步骤二：对样本集预处理，批量修改为统一尺寸300*300，然后进行数据提升，生成训练用样本数据；具体过程为：

2.1、对步骤一中采集到的图片，批量修改尺寸大小为300*300，使所有图片尺寸大小一致；

2.2、对2.1中获得的图像，按R,G,B三个颜色通道进行像素统计，获取训练样本的均值文件；

2.3、对步骤2.1获得的图像通过一系列随机变换（包括水平翻转，剪切变换，旋转及缩放等操作）进行数据提升；

2.4、将步骤2.1中获取的图像与步骤2.3获取的图像进行融合，组成完整的训练样本；

2.5、对步骤2.4中采集到的所有图片按缺陷种类进行分类，将有缺陷样本图像标记为1，将无缺陷样本图像标记为0，得到带标记的训练数据；

2.6、将2.5中的训练数据按1:2:7随机分开，其中验证集、测试集和训练集分别为10%、20%和70%。

步骤三：设计卷积神经网络的结构，进行训练，获取网络收敛时的权重连接矩阵W，用于以后的检测过程；具体过程为：

3.1、如图2所示，设计一个具有三层卷积操作层、三层池化操作层、两层全连接层、一层soft max分类器的卷积神经网络，各个神经元的激活函数采用sigmoid函数；

3.2、上述卷积神经网络的输入是在预训练好的VGG网络上提取出的2048维特征；

3.3、 每一次训练进程从训练集随机中取出固定数量的样本作为输入，这里样本数为56，然后利用Adam算法对卷积神经网络进行训练，直到网络达到收敛；

3.4、采用Adam优化算法代替传统的BP优化算法。其优点主要在于经过偏置校正后，每一次迭代学习率都有个确定范围，使得参数比较平稳；计算效率较高，所需内存少，并且基本上只需极少量的调参。

步骤四：针对视频数据，首先排除视频前后10帧，对于缺陷目标帧进行粗选，然后每隔10ms对视频进行关键帧采样；具体过程为：

4.1、将视频数据进行初步的分割，形成每一段视频对应一个管道影像；

4.2、将4.1中获得的视频在时序上进行自适应采样，首先去除视频前后2秒所有帧，对剩下的视频每隔30ms提取出一帧，形成该段视频的图像集。

步骤五：将视频的每一个采样帧输入到卷积神经网络中，判断是否有缺陷存在；将4.2中提取出的图像集作为输入，送到步骤三中训练好的卷积网络中进行自动识别判断。

步骤六：根据步骤五获取的每一帧的结果，总结出视频中是否含有缺陷。根据步骤五中的图像集的识别结果，对视频是否为缺陷管道进行判别，即若图像集中超过60%的图像被识别为缺陷图像，则将该视频判别为缺陷管道。

本说明书中所描述的以上内容仅仅是对本发明所作的举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种修改或补充或采用类似的方式替代，只要不偏离本发明说明书的内容或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (6)

1.一种基于深度学习的地下管道缺陷自动识别方法，其特征在于包含以下步骤：

步骤一：准备训练卷积神经网络所需的地下管道正样本集和负样本集；

步骤二：对样本集预处理，批量修改为统一尺寸300*300，然后进行数据提升，生成训练用样本数据；

步骤三：设计卷积神经网络的结构，进行训练，获取网络收敛时的权重连接矩阵W，用于以后的检测过程；

步骤四：针对视频数据，首先排除视频前后10帧，对于缺陷目标帧进行粗选，然后每隔10ms对视频进行关键帧采样；

步骤五：将视频的每一个采样帧输入到卷积神经网络中，判断是否有缺陷存在；

步骤六：根据步骤五获取的每一帧的结果，总结出视频中是否含有缺陷。

2.按照权利要求1所述的一种基于深度学习的地下管道缺陷自动识别方法，其特征在于：所述步骤一中，正样本集为正常无缺陷的管道图像，负样本集为含有缺陷的管道图像。

3.按照权利要求1所述的一种基于深度学习的地下管道缺陷自动识别方法，其特征在于：所述步骤二具体为，

2.1、对步骤一中采集到的图片，批量修改尺寸大小为300*300，使所有图片尺寸大小一致；

2.2、对2.1中获得的图像，按R,G,B三个颜色通道进行像素统计，获取训练样本的均值文件；

2.3、对步骤2.1获得的图像通过一系列随机变换进行数据提升；

2.4、将步骤2.1中获取的图像与步骤2.3获取的图像进行融合，组成完整的训练样本；

2.5、对步骤2.4中采集到的所有图片按缺陷种类进行分类，将有缺陷样本图像标记为1，将无缺陷样本图像标记为0，得到带标记的训练数据；

2.6、将2.5中的训练数据按1:2:7随机分开，其中验证集、测试集和训练集分别为10%、20%和70%。

4.按照权利要求3所述的一种基于深度学习的地下管道缺陷自动识别方法，其特征在于：所述2.3中随机变换包括水平翻转，剪切变换，旋转及缩放。

5.按照权利要求1所述的一种基于深度学习的地下管道缺陷自动识别方法，其特征在于：所述步骤三具体为，

3.1、设计一个具有三层卷积操作层、三层池化操作层、两层全连接层、一层soft max分类器的卷积神经网络，各个神经元的激活函数采用sigmoid函数；

3.2、上述卷积神经网络的输入是在预训练好的VGG网络上提取出的2048维特征；

3.3、 每一次训练进程从训练集随机中取出固定数量的样本作为输入，然后利用Adam算法对卷积神经网络进行训练，直到网络达到收敛；

3.4、采用Adam优化算法代替传统的BP优化算法。

6.按照权利要求1所述的一种基于深度学习的地下管道缺陷自动识别方法，其特征在于：所述步骤四具体为，

4.1、将视频数据进行初步的分割，形成每一段视频对应一个管道影像；

4.2、将4.1中获得的视频在时序上进行自适应采样，首先去除视频前后2秒所有帧，对剩下的视频每隔30ms提取出一帧，形成该段视频的图像集。