CN110992349A - 一种基于深度学习的地下管道异常自动化定位与识别方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的地下管道异常自动化定位与识别方法，包括：地下管道机器人获取的图像进行数据标注形成训练、验证及测试数据集；管道异常主要包括破裂、变形、障碍物、异物插入以及沉积共5类异常情况；构建深度学习网络并训练模型以实现地下管道异常自动化定位与识别；最终输出带有识别标注结果的图像，其中包括：识别到的缺陷位置、种类以及相应的类别概率。本发明利用大量已经标注好的地下管道图像数据进行深度模型训练，生成具有定位与识别功能的深度模型，能够对单幅图像中的多种缺陷进行定位识别，识别率和准确率高，识别速度快。

Description

一种基于深度学习的地下管道异常自动化定位与识别方法

技术领域

本发明涉及计算机视觉、图像处理和深度学习技术领域，具体而言涉及一种基于深度学习的地下管道异常自动化定位与识别方法。

背景技术

近年来，随着我国经济的快速发展，城市建设也在不断得到完善。地下管道建设作为城市建设过程中一项非常重要的基础任务，影响着城市正常运行的稳定性。随着城市建设时间的加长，很多地下管道遭受了不确定性因素而带来的损毁，这些遭受损坏的地下管道将严重影响城市的正常运行，为了保证城市基础设置建设的稳定性，针对地下管道做定期检查是必不可少的一步。

目前，针对地下管道缺陷检测采用最多的方式是通过地下管道检测机器(CCTV)采集视频及图像信息，将获取的海量视频及图像信息通过人工检查的方式进行缺陷评判，最终生成统计报告，根据检测结果报告采取相应的维护修补措施。潘刚等人(专利公开号：CN108038850A)公开了一种基于深度学习的排水管道异常类型自动检测方法，实现了排水管道异常的自动化识别，但是无法实现单幅图像中的多缺陷识别以及定位功能。

发明内容

本发明目的在于提供一种基于深度学习的地下管道异常自动化定位与识别方法，利用大量已经标注好的地下管道图像数据进行深度模型训练，生成具有定位与识别功能的深度模型，能够对单幅图像中的多种缺陷进行定位识别，识别率和准确率高，识别速度快。

为达成上述目的，结合图1，本发明提出一种基于深度学习的地下管道异常自动化定位与识别方法，包括下列步骤：

S1：提取地下管道机器人获取的原始图像，对原始图像进行预处理；

S2：针对步骤S1中预处理后的图像进行管道异常标注，将标注后的数据集划分为训练集、验证集和测试集；

S3：基于深度学习网络构建初始管道异常定位识别模型，所述初始管道异常定位识别模型包括目标区域建议框筛选网络以及目标区域识别分类网络，其中，目标区域建议框筛选网络用于生成可能含有目标区域的建议框，目标区域识别分类网络用于对生成的建议框进行识别与分类，判定是否含有管道异常以及异常所属类型；

S4：构建损失函数，以适应初始管道异常定位识别模型实现训练过程的收敛，采用步骤S2中标注得到的训练集对初始管道异常定位识别模型进行训练，生成最终的管道异常定位识别模型。

S5：采用准备好的测试集对训练好的管道异常定位识别模型进行测试，验证深度模型的识别准确率、识别率。

进一步的实施例中，所述管道异常类型包括：破裂、变形、障碍物、异物插入以及沉积共5类。

进一步的实施例中，步骤S2中，所述训练集、验证集和测试集分别按照80％、10％及10％的比例进行分配。

进一步的实施例中，所述地下管道数据集包含10000张图像。

进一步的实施例中，步骤S1中，所述提取地下管道机器人获取的原始图像，对原始图像进行预处理的过程包括对比度增强以及图像去噪：

(1)根据下述公式，采用Gamma矫正的方法对原始图像进行对比度增强：

其中，I(i,j)表示输入图像，O(i,j)表示输出图像，γ为控制参数；

(2)采用双边滤波法对原始图像进行去噪。

进一步的实施例中，步骤S3中，所述目标区域建议框筛选网络的工作过程包括以下步骤：

S301：选取VGG16作为主干网络；

S302：提取VGG16中三层feature map，通过1×1卷积及26×26的ROI Pooling操作使这三层feature map保持一致尺寸；

S303：将调整尺寸后的feature map进行串联，生成一个新的feature map；

S304：针对生成的新的feature map进行1×1的卷积操作将feature map压缩至固定大小；

S305：针对前述获取的feature map通过全连接层生成一个4096×1的向量；

S306：对生成的向量进行再进行全连接操作生成一个全新的4096×1的向量；

S307：最后采用Softmax及矩形框回归的方式生成可能含有目标的建议框区域。

进一步的实施例中，步骤S3中，所述目标区域识别分类网络的工作过程包括以下步骤：

S311：提取主干网络VGG16中的三层feature map，经过1×1的卷积及26×26的ROIPooling操作将feature map映射至固定尺寸；

S312：将固定大小的feature map进行串联；

S313：进行1×1卷积和13×13的ROI Pooling操作，生成一个含有上下文信息的feature map，与此同时将目标区域建议框筛选网络生成的建议框回归至VGG16的最后一层卷积feature map；

S314：提取建议框区域feature map，并通过13×13的ROI Pooling操作将featuremap尺寸调整至与含上下文信息的feature map一致；

S315：将含有全局信息的feature map和经过步骤S314处理的建议框区域featuremap进行串联生成一个全新的feature map；

S316：采用后续一层1×1卷积及两层全连接层，生成一个4096×1的特征向量；

S317：最后通过Softmax判别器及建议框回归操作将识别结果映射至原始图像，标记出识别结果。

进一步的实施例中，步骤S4中所述的损失函数为：

式中，i是一个batch中矩形框数量，λ是建议框回归损失函数的权重，N_cls和N_reg分别表示最小batch大小以及矩形框锚点数量，

表示人工标注的真实结果，

表示包含异常，

表示不含有异常，q_i表示算法预测结果；

其中，L_cls为目标分类损失函数：

为建议框生成网络损失函数：

每个预测建议框的四个坐标值表示为：t_i＝(t_x,t_y,t_w,t_h)；每个人工标注的真实目标坐标为：

t_i的含义是：

式中，P_x,P_y,P_w,P_h,分别表示预测框的中心坐标以及宽度和高度；G_x,G_y,G_w,G_h,表示真实目标框的中心坐标以及宽度和高度。

以上本发明的技术方案，与现有相比，其显著的有益效果在于：

利用大量已经标注好的地下管道图像数据进行深度模型训练，生成具有定位与识别功能的深度模型，能够对单幅图像中的多种缺陷进行定位识别，识别率和准确率高，识别速度快。

应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。

结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。

附图说明

附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：

图1是本发明的基于深度学习的地下管道异常自动化定位与识别方法的流程图

图2是本发明的目标区域建议框生成网络结构图(SRPN)。

图3是本发明的异常识别网络结构图。

图4是本发明的地下管道异常检测实例预测结果示意图。

具体实施方式

为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。

近年来，深度学习技术发展如火如荼，在很多技术领域都取得了显著突出的效果，在计算机视觉领域，深度学习技术表现尤为突出。针对地下管道异常检测问题，自动化识别还未有很好的解决方案。针对地下管道异常自动化定位与识别问题，本发明提出了一种基于深度学习的地下管道异常自动化定位与识别，下面结合具体实施例进行说明。

结合图1，本发明提及的一种基于深度学习的地下管道异常自动化定位与识别技术包括以下步骤：

S1：提取地下管道机器人获取的原始图像，对原始图像进行预处理以保证数据质量。

S2：针对步骤1中预处理后的图像进性管道异常标注，其中管道异常类型主要包括：破裂、变形、障碍物、异物插入以及沉积共5类(异常类型的数量和类别可以根据实际需求进行增删)，并将标注后的数据集划分为深度模型训练集、验证集和测试集，且各部数据集分别按照80％、10％及10％进行分配。

S3：基于深度学习网络构建初始管道异常定位识别模型，初始管道异常定位识别模型包含目标区域建议框筛选网络(RPN)以及目标区域识别分类网络，其中RPN用于生成可能含有目标区域的建议框，目标区域识别分类网络用于对生成的建议框进行分类识别，判定是否含有管道异常目标以及异常所属类型。

S4：构建损失函数，以适应步骤S3中设计的初始管道异常定位识别模型以实现训练过程的收敛，基于步骤S2标注的原始数据进行深度模型训练，生成管道异常定位识别模型。

S5：采用准备好的测试集对训练好的深度网络模型进行测试，验证深度模型的识别准确率。

作为优选的，步骤S1中包含10000张原始图像，包含了破裂、变形、障碍物、异物插入以及沉积共5类异常情况，且图像大小为600×480。

作为优选的，步骤S1中的预处理包括所述预处理包括图像的对比度增强及图像去噪，其中对比度增强采用Gamma矫正的方法，

I(i,j)表示输入图像，O(i,j)表示输出图像，γ为控制参数；同时采用双边滤波法对图像进行去噪。

作为优选的，步骤S2中准备好的数据集中含有1000张不包含异常情况的地下管道图像作为负样本。

作为优选的，步骤S2中尽量保证各种异常类型数据量均匀性。

结合图2，步骤S3中的目标区域建议框生成网络结构和相应的工作方法为：

(1)主干网络为VGG16。

(2)提取VGG16中三层feature map，通过1×1卷积及26×26的ROI Pooling操作使这三层feature map保持一致尺寸。

(3)将调整尺寸后的feature map进行串联，生成一个新的feature map；针对生成的新的feature map进行1×1的卷积操作将feature map压缩至固定大小；针对前面获取的feature map通过全连接层生成一个4096×1的向量。

(4)再对生成的向量进行全连接操作生成一个全新的4096×1的向量。

(5)最后采用Softmax及矩形框回归的方式生成可能含有目标的建议框区域；网络训练时，VGG16采用迁移学习的方式进行预训练。

结合图3，步骤S3中的地下管道异常识别网络结构和相应的工作方法为：

(1)提取主干网络VGG16中的三层feature map，经过1×1的卷积及26×26的ROIPooling操作将feature map映射至固定尺寸。

(2)将固定大小后的feature map进行串联；紧接着进行1×1卷积和13×13的ROI池化操作，生成一个含有上下文信息的feature map；与此同时将RPN网络生成的建议框回归至VGG16的最后一层feature map。

(3)提取建议框区域feature map，并通过13×13的ROI Pooling操作将featuremap尺寸调整至与含上下文信息的feature map一致。

(4)将该两个feature map进行串联生成一个全新的feature map。

(5)紧跟着一层1×1卷积及两层全连接层，生成一个4096×1的特征向量。

(6)最后通过Softmax判别器及建议框回归将识别结果映射至原始图像，标记出识别结果。

作为优选的，步骤3中的地下管道异常识别网络中的全连接层每个节点都含有Dropout层且参数设置为0.5，激活函数为Relu。

作为优选的，步骤4中所述的损失函数为：

式中，i是一个batch中矩形框数量，λ是建议框回归损失函数的权重，N_cls和N_reg分别表示最小batch大小以及矩形框锚点数量，

表示人工标注的真是结果，

表示包含异常，

表示不含有异常，q_i表示算法预测结果。

L_cls为目标分类损失函数：

式中，

和q_i分别表示人工标记的真实结果与预测结果。

为建议框生成网络损失函数：

每个预测建议框的四个坐标值表示为：t_i＝(t_x,t_y,t_w,t_h)；每个人工标注的真实目标坐标为：

其中：

P_x,P_y,P_w,P_h,分别表示预测框的中心坐标以及宽度和高度；G_x,G_y,G_w,G_h,表示真实目标框的中心坐标以及宽度和高度。

作为优选的，步骤S4所述的管道异常定位识别模型训练参数设置为：

预设40k次迭代，前20k次迭代学习率为0.01，后20k次迭代学习率为0.0005，momentum设置为0.9。采用随机梯度下降法(SGD)进行梯度回传。

作为优选的，步骤5的评价标准为：

(1)准确率：

(2)召回率：

(3)平均均值准确率：

其中，i表示缺陷的种类，N_class表示异常种类总数，TP：正确的预测为异常，FN：错误的预测为正常，FP：错误的预测为异常。

图4为本发明提出的基于深度学习的地下管道异常自动化定位与识别的检测结果示意图。

表1是本发明的地下管道异常检测算法测试统计对比结果，可以看到，相对于现有的YOLO方法、SSD方法、Faster R-CNN方法，本发明提出的方法在对各种类型异常的识别率上均较高，并且，本发明可以对单幅图像中的多种异常进行准确定位和识别。

表1

在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定义在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (8)

1.一种基于深度学习的地下管道异常自动化定位与识别方法，其特征在于，包括下列步骤：

S1：提取地下管道机器人获取的原始图像，对原始图像进行预处理；

S2：针对步骤S1中预处理后的图像进行管道异常标注，将标注后的数据集划分为训练集、验证集和测试集；

S3：基于深度学习网络构建初始管道异常定位识别模型，所述初始管道异常定位识别模型包括目标区域建议框筛选网络以及目标区域识别分类网络，其中，目标区域建议框筛选网络用于生成可能含有目标区域的建议框，目标区域识别分类网络用于对生成的建议框进行识别与分类，判定是否含有管道异常目标以及异常所属类型；

S4：构建损失函数，以适应初始管道异常定位识别模型实现训练过程的收敛，采用步骤S2中标注得到的训练集对初始管道异常定位识别模型进行训练，生成最终的管道异常定位识别模型。

S5：采用准备好的验证集和测试集对训练好的管道异常定位识别模型进行测试，验证深度模型的识别准确率、识别率。

2.根据权利要求1所述的基于深度学习的地下管道异常自动化定位与识别方法，其特征在于，所述管道异常类型包括：破裂、变形、障碍物、异物插入以及沉积共5类。

3.根据权利要求1所述的基于深度学习的地下管道异常自动化定位与识别方法，其特征在于，步骤S2中，所述训练集、验证集和测试集分别按照80％、10％及10％的比例进行分配。

4.根据权利要求1或者3所述的基于深度学习的地下管道异常自动化定位与识别方法，其特征在于，所述数据集包含10000张图像。

5.根据权利要求1所述的基于深度学习的地下管道异常自动化定位与识别方法，其特征在于，步骤S1中，所述提取地下管道机器人获取的原始图像，对原始图像进行预处理的过程包括对比度增强以及图像去噪：

(1)根据下述公式，采用Gamma矫正的方法对原始图像进行对比度增强：

其中，I(i,j)表示输入图像，O(i,j)表示输出图像，γ为控制参数；

(2)采用双边滤波法对原始图像进行去噪。

6.根据权利要求1所述的基于深度学习的地下管道异常自动化定位与识别方法，其特征在于，步骤S3中，所述目标区域建议框筛选网络的工作过程包括以下步骤：

S301：选取VGG16作为主干网络；

S302：提取VGG16中三层feature map，通过1×1卷积及26×26ROI Pooling操作使这三层feature map保持一致尺寸；

S303：将调整尺寸后的feature map进行串联，生成一个新的feature map；

S304：针对生成的新的feature map进行1×1的卷积操作将feature map压缩至固定大小；

S305：针对前述获取的feature map通过全连接生成一个4096×1的向量；

S306：对生成的向量再进行一次全连接操作生成一个全新的4096×1的向量；

S307：最后采用Softmax及矩形框回归的方式生成可能含有目标的建议框区域。

7.根据权利要求1所述的基于深度学习的地下管道异常自动化定位与识别方法，其特征在于，步骤S3中，所述目标区域识别分类网络的工作过程包括以下步骤：

S311：提取主干网络VGG16中的三层feature map，经过1×1的卷积及26×26的ROIPooling操作将feature map映射至固定尺寸；

S312：将固定大小后的feature map进行串联；

S313：再进行1×1卷积和13×13的ROI Pooling操作，生成一个含有上下文信息的feature map，与此同时将目标区域建议框筛选网络生成的建议框回归至VGG16的最后一个卷积层的feature map；

S314：提取建议框区域feature map，并通过13×13的ROI Pooling操作将feature map尺寸调整至与含上下文信息的feature map一致；

S315：将含有上下文信息的feature map和经过步骤S314处理的建议框区域featuremap进行串联生成一个全新的feature map；

S316：采用后续一层1×1卷积及两层全连接层，生成一个4096×1的特征向量；

S317：最后通过Softmax判别器及建议框回归操作将识别结果映射至原始图像，标记出识别结果。

8.根据权利要求1所述基于深度学习的地下管道异常自动化定位与识别方法，其特征在于，步骤S4中所述的损失函数为：

式中，i是一个batch中矩形框数量，λ是建议框回归损失函数的权重，N_cls和N_reg分别表示最小batch大小以及矩形框锚点数量，

表示人工标注的真实结果，

表示包含异常，

表示不含有异常，q_i表示算法预测结果；

其中，L_cls为目标分类损失函数：

为建议框生成网络损失函数：

每个预测建议框的四个坐标值表示为：t_i＝(t_x,t_y,t_w,t_h)；每个人工标注的真实目标坐标为：

t_i的含义是：

式中，P_x,P_y,P_w,P_h,分别表示预测框的中心坐标以及宽度和高度；G_x,G_y,G_w,G_h,表示真实目标框的中心坐标以及宽度和高度。

Images