CN110516694A - 一种基于代价敏感学习的排水管道缺陷自动检测方法 - Google Patents

Abstract

本发明涉及一种基于代价敏感学习的排水管道缺陷自动检测方法，包括：构建排水管道数据集；估算每种错误分类带来的损失，构建代价矩阵；通过代价矩阵构建置信度向量；基于置信度向量构建代价敏感的卷积神经网络；并使用管道数据集训练代价敏感的卷积神经网络。使用训练好的网络对待识别的图像进行识别，得到图像中包含缺陷的概率。基于代价矩阵构建的代价敏感的卷积神经网络能够以最小化代价为目标而不是盲目地追求分类精度，从而实现更为经济，有效的排水管道缺陷自动检测系统。

Description

一种基于代价敏感学习的排水管道缺陷自动检测方法

技术领域

本发明涉及排水管道缺陷检测领域，特别是一种基于代价敏感学习的排水管道缺陷自动检测方法。

背景技术

目前,管道的检测技术主要有以下几种技术：漏磁法、超声波法、涡流法、光环图像法、环形光切图像法、PSD单点扫描法、全向检测法、内窥镜检测法等。现今使用最普遍的检测方法是使用闭路电视检测机器人它是一种可沿细小管道内部或外部自动行走、携带一种或多种传感器及操作机械，在工作人员的遥控操作或计算机自动控制下，进行一系列管道作业的机、电、仪一体化系统。通过它可以得到大量的排水管道视频数据，当前工作人员尚需要通过人工观看管道视频的方式，凭经验分析管道异常类型和程度，往往需要消耗大量的时间和精力，也难以实现管道异常检测的精准化、自动化和智能化。

对于管道视频的自动化检测有助于提高检测效率与质量，减轻工作人员劳动强度。现有的基于机器学习的排水管道缺陷检测系统，通常都以精度为目标，使分类器能够最小化错误率。但是，一味的追求精度，而忽视这些错误的类别，在实际应用当中并不一定能达到经济实用的目的。因为某些错误分类带来的损失会比其它的严重得多。一个合理的方法就是让分类器牺牲低代价类别的识别精度，从而提高高代价类别的识别精度，尽管这样会使整体的识别精度下降，但会更具有实用价值。而在排水管道缺陷检测中也有着相似的情况，可以大致将缺陷检测的错误分为两类：

1、将一个正常的管道认为是存在缺陷的；

2、将一个存在缺陷的管道认为是正常的。

在传统的排水管道缺陷检测中，分类器并不会对这两种错误进行区分，这也就意味着这两种错误的代价对于分类器来说是等同的。但事实上，这两种错误造成的损失是截然不同的。尽管第一种错误可能会需要消耗检测人员更多的时间来确认管道缺陷，但相比于第二种错误，就显得不是那么严重了，因为一个没有被正确识别的缺陷会给城市排水甚至地面交通带来无穷的后患，严重影响了人们的日常生活。因此本发明提出将代价敏感学习引入到排水管道缺陷检测中，以使分类器能够获得区分不同错误的能力。

发明内容

有鉴于此，本发明的目的是提出一种基于代价敏感学习的排水管道缺陷自动检测方法，能够快速准确判别排水管道缺陷部分。

本发明采用以下方案实现：一种基于代价敏感学习的排水管道缺陷自动检测方法，包括以下步骤：

步骤S1：建立训练数据集：从历史检测报告及排水管道机器人拍摄的视频中随机抽取视频帧形成管道图像集，对于管道图像集里的每个图像，按照城镇排水管道检测与评估技术规程中给出的管道评估方式对图像进行标注，将管道图像集划分为正常管道和缺陷管道；按照70％，10％，20％的比例将所述管道图像集划分成训练集，验证集和测试集；在深度学习中，为避免出现过拟合，对训练集中的图像数据进行数据增强和标准化处理；

步骤S2：提供正常管道样本和缺陷管道样本，分别估算将正常管道样本和缺陷管道样本错误分类带来的损失；将一个正常类样本误分类的代价即为进行一次额外的缺陷检测的经济损失；将一个故障类样本误分类的代价即为漏检缺陷产生的经济损失；并以此构建代价矩阵；

步骤S3：根据步骤S2中构建的代价矩阵确定正常管道样本和缺陷管道样本的置信度向量；

步骤S4：基于步骤S3中置信度向量构建代价敏感卷积神经网络，使用步骤S1得到的训练集图像通过梯度下降算法训练神经网络；

步骤S5：使用步骤S4中训练好的神经网络对待识别的图像进行识别，图像依次经过卷积层、池化层和softmax层后得到图像中包含缺陷的概率，从而确定图像的属性信息。

进一步地，所述步骤S1中对训练集中的图像数据进行数据增强和标准化处理过程具体包括以下步骤：

步骤S11：对训练集中的图像数据进行数据增强；所述进行数据增强的方法包括但不限于水平翻转、旋转、改变图像色彩、加入噪声；

步骤S12：将S11中的进行数据增强后的图像集按短边等比例缩放至固定大小S，S范围为256～512之间；

步骤S13：对S12缩小后的图片随机裁剪出224×224的子图；

步骤S14：对S13中产生的子图进行标准化处理，具体采用以下公式：

式中，x_i表示一张图中的某个像素点；x_min表示图中所有像素的最小值点，x_max表示图中所有像素的最大值点。

进一步地，步骤S2中所述构建代价矩阵的具体方法是：

令y_i＝{0，1}代表排水管道的真实状态；在代价敏感学习中，将错分代价高的类别作为正例，所以将y_i＝1来表示缺陷管道；y_i＝0表示正常管道；将不同错误引起的损失分为如下两类：

(1)将缺陷管道判断成正常管道的代价，cost₁₀；

(2)将正常管道判断成缺陷管道的代价，cost₀₁；

将一个正常类样本误分类的代价就是进行一次额外的缺陷检测的损失；将一个故障类样本误分类的代价为漏检缺陷所造成的经济损失，可以通过查阅相关文献资料获得；据此构建如下代价矩阵：

其中，cost₀₀、cost₁₁为分类正确时产生的经济损失；cost₀₁、cost₁₀分别代表实际正常样本和实际缺陷样本被错误分类带来的经济损失；由于正确分类不会带来经济损失，所以代价矩阵的对角线上元素均为0；由于对代价进行缩放，并不会改变决策；因此，将这些损失进行缩放，由此得到的简化后的代价矩阵如下：

进一步地，步骤S3中所述置信度向量计算方式为：

式中，ε_i代表对应类别的置信程度，i代表对应类别，其中i＝0代表正常，i＝1代表缺陷，基于此构成置信度向量(ε₀，ε₁)。

进一步地，所述步骤S4具体包括以下步骤：所述代价敏感卷积神经网络主体结构由8层卷积池化层组成，卷积层使用ReLU激活函数，所述代价敏感卷积神经网络结构为：

第一层卷积层，卷积核大小为11*11，步长为4，总共64个特征；

第一最大池化层，池化范围3*3，步长为2；

第二层卷积层，卷积核大小为5*5，步长为1，总共192个特征；

第二最大池化层，池化范围3*3，步长为2；

第三层卷积层，卷积核大小为3*3，步长为1，总共384个特征；

第四层卷积层，卷积核大小为3*3，步长为4，总共384个特征；

第五层卷积层，卷积核大小为3*3，步长为4，总共256个特征；

第五最大池化层，池化范围3*3，步长为2；

第六卷积层，卷积核大小为5*5，步长为1，总共4096个特征，dropout强度为0.5；

第七卷积层，卷积核大小为1*1，步长为1，总共4096个特征，dropout强度为0.5；

第八卷积层，卷积核大小为1*1，步长为1，总共2个特征；

步骤S42：在S41中第八卷积层与损失函数之间加入代价敏感激活层，对步骤S41中第八卷积层的输出向量使用代价敏感激活层激活，计算方式为：

式中，ε代表对应当前样本对应的的置信度向量，通过步骤S3中公式计算得到，o代表步骤S41中第八卷积层的输出向量，输出对应2个类别的概率；

步骤S43：在训练过程中使用adam优化算法更新卷积神经网络参数；

步骤S44：测试阶段将S42中代价敏感激活层替换成常规的softmax激活层，计算方式为：

式中，o代表步骤S41中第八卷积层的输出向量，输出对应2个类别的概率。与现有技术相比，本发明有以下有益效果：

(1)本发明利用大量已有标注的管道异常样本进行训练，能够快速准确判别排水管道缺陷部分，解决了目前需要靠人工检查管道缺陷效率低的问题。

(2)为了克服现有算法只追求精度，而忽视不同类别的错误会带来不同程度的影响的问题。本发明考虑不同错误分类带来的不同损失，能够最小化总体损失；可以最大程度的找出所有的管道缺陷，减少整个检测过程的缺陷漏检率。

附图说明

图1为本发明实施例的流程图。

图2为本发明实施例的卷积神经网络结构示意图。

图3为本发明实施例的代价敏感激活层引入示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图1所示，本实施例考虑不同错误分类会产生不同的损失，不同于现有的最小化错误率的排水管道缺陷自动检测方法，本实施例尽量避免某些会造成重大损失的误分类，而一些不会产生太大损失的误分类在一定程度上允许发生，尽管这样会使总体的错误率会上升，但因为避免了一些影响比较大的错误，总体损失反而会比原来低。本实施例可用于排水管道缺陷自动检测，为后面的排水管道的诊断和修复提供基础。提供了一种基于代价敏感学习的排水管道缺陷自动检测方法，包括以下步骤：

步骤S1：建立训练数据集：从历史检测报告及排水管道机器人拍摄的视频中随机抽取视频帧形成管道图像集，对于管道图像集里的每个图像，按照CJJ181-2012中华人民共和国行业标准城镇排水管道检测与评估技术规程中给出的管道评估方式对图像进行标注，将管道图像集划分为正常管道和缺陷管道；按照70％，10％，20％的比例将所述管道图像集划分成训练集，验证集和测试集；在深度学习中，为避免出现过拟合，对训练集中的图像数据进行数据增强和标准化处理；

步骤S2：提供正常管道样本和缺陷管道样本，分别估算将正常管道样本和缺陷管道样本错误分类带来的损失；将一个正常类样本误分类的代价即为进行一次额外的缺陷检测的经济损失；将一个故障类样本误分类的代价即为漏检缺陷所造成的经济损失，可以通过查阅相关文献资料获得；并以此构建代价矩阵；

步骤S3：根据步骤S2中构建的代价矩阵确定正常管道样本和缺陷管道样本的置信度向量；

步骤S4：基于步骤S3中置信度向量构建代价敏感卷积神经网络，使用步骤S1得到的训练集图像通过梯度下降算法训练神经网络；

步骤S5：使用步骤S4中训练好的神经网络对待识别的图像进行识别，图像依次经过卷积层、池化层和softmax层后得到图像中包含缺陷的概率，从而确定图像的属性信息。

较佳的，本实施例每次训练模型不断在验证集上进行调优，所述调优方式包括：调整学习率、改变dropout强度、调整batch size大小，使用最优的模型进行测试。使用阶段，无需用户对待识别图像进行复杂的手动定义特征再进行分类，直接利用预先训练得到的深度学习网络即可判定待识别图像的类别：图像依次经过卷积层、池化层和全连接层后得到图像包含缺陷的概率，从而确定图像的属性信息。深度学习网络足以刻画和区分物体,相比现有的人工定义特征进行分类的方式准确性更高。由于网络中引入代价敏感层，网络对于高成本类别十分敏感，从而减少高成本类别误分类带来的经济损失，达到最小化损失的目的。

在本实施例中，所述步骤S1中对训练集中的图像数据进行数据增强和标准化处理过程具体包括以下步骤：

步骤S11：对训练集中的图像数据进行数据增强；所述进行数据增强的方法包括但不限于水平翻转、旋转、改变图像色彩、加入噪声；

步骤S12：将S11中的进行数据增强后的图像集按短边等比例缩放至固定大小S，S范围为256～512之间；

步骤S13：对S12缩小后的图片随机裁剪出224×224的子图；

步骤S14：对S13中产生的子图进行标准化处理，具体采用以下公式：

式中，x_i表示一张图中的某个像素点；x_min表示图中所有像素的最小值点，x_max表示图中所有像素的最大值点。

在本实施例中，步骤S2中，构建代价矩阵的具体方法为：用y_i＝{0，1}代表排水管道的真实状态。在代价敏感学习中，通常会将错分代价高的类别作为正例，所以将y_i＝1来表示缺陷管道；y_i＝0表示正常管道；将不同错误引起的损失分为如下两类：

(1)将缺陷管道判断成正常管道的代价，cost₁₀；

(2)将正常管道判断成缺陷管道的代价，cost₀₁。

将一个正常类样本误分类的代价就是进行一次额外的缺陷检测的损失。将一个故障类样本误分类的代价为漏检缺陷所造成的损失，可以能够通过查阅相关文献资料获得。据此可以构建如下代价矩阵：

表1代价矩阵

其公式表达为：

其中，cost₀₀、cost₁₁为分类正确时产生的经济损失；cost₀₁、cost₁₀分别代表实际正常样本和实际缺陷样本被错误分类带来的经济损失。

因为本实施例中预测正确不会带来损失，所以代价矩阵的对角线上元素均为0。由于对代价进行缩放，并不会改变决策。因此，可以将这些损失进行缩放。由此得到的简化后的代价矩阵如下：

表2简化后的代价矩阵

较佳的，λ的取值一般为cost₀₁、cost₁₀的最大公约数。其公式表达为：

在本实施例中，步骤S3中，得到代价矩阵后，就可以通过代价矩阵获取样本的置信度向量。由于分类精度取决于这一类样本的置信程度，因此可以通过改变分类器对于正负样本的置信程度来调节分类器对不同类别的样本的重视程度。训练时，当分类器对于某类样本分类结果的置信度越低，分类器对于这类样本的要求越高，从而能够获取这类样本的更多特征。检测时，分类器对每一类样本公平对待，由于置信度低的类别获取到更多的特征，在检测阶段分类器会偏向置信度低的类别。因此置信度与代价成反比关系，具体采用以下公式：

式中，ε_i代表对应类别的置信程度，i代表对应类别，其中i＝0代表正常，i＝1代表缺陷，基于此构成置信度向量(ε₀，ε₁)。

在本实施例中，步骤S4具体包括以下步骤：

步骤S41：所述代价敏感卷积神经网络主体结构由8层卷积池化层组成，卷积层使用ReLU激活函数，由于神经网络的结构直接影响到最终的识别准确率，本实施例通过大量实验，确定了神经网络结构，如图2所示。其结构为：

第一层卷积层，卷积核大小为11*11，步长为4，总共64个特征；

第一最大池化层，池化范围3*3，步长为2；

第二层卷积层，卷积核大小为5*5，步长为1，总共192个特征；

第二最大池化层，池化范围3*3，步长为2；

第三层卷积层，卷积核大小为3*3，步长为1，总共384个特征；

第四层卷积层，卷积核大小为3*3，步长为4，总共384个特征；

第五层卷积层，卷积核大小为3*3，步长为4，总共256个特征；

第五最大池化层，池化范围3*3，步长为2；

第六卷积层，卷积核大小为5*5，步长为1，总共4096个特征，dropout强度为0.5；

第七卷积层，卷积核大小为1*1，步长为1，总共4096个特征，dropout强度为0.5；

第八卷积层，卷积核大小为1*1，步长为1，总共2个特征；

步骤S42：在S41中第八卷积层与损失函数之间加入代价敏感激活层，如图3所示，对步骤S41中第八卷积层的输出向量使用代价敏感激活层激活，计算方式为：

式中，ε代表对应当前样本对应的的置信度向量，通过步骤S3中公式计算得到，o代表步骤S41中第八卷积层的输出向量，输出对应2个类别的概率；

步骤S43：在训练过程中使用adam优化算法更新卷积神经网络参数。本实施例推荐adam算法初始学习率为0.01，迭代300000轮，批大小为32。

步骤S44：测试阶段将S42中代价敏感激活层替换成常规的softmax激活层，计算方式为：

式中，o代表步骤S41中第八卷积层的输出向量，输出对应2个类别的概率。

上述网络通过TensorFlow深度学习库搭建。在本发明实施例所提供的管道异常类型检测方法在获取到待识别图像之后，无需用户手动定义特征再进行分类，直接利用预先训练得到的深度学习网络即可判定待识别图像是否包含缺陷：图像依次经过卷积层、池化层和dropout层后得到包含缺陷概率，从而确定图像的属性信息。本发明实施例所提供的方案利用的是深度学习识别管道异常，深度学习网络足以刻画和区分物体,相比现有的人工定义特征进行分类的方式准确性更高。由于训练过程中网络中引入代价敏感层，训练好的网络对于高成本类别十分敏感，从而减少高成本类别误分类带来的经济损失，达到最小化损失的目的。

较佳的，本实施例通过设置置信度向量，来使分类器获得代价敏感性，从而区分各种不同的错误，以此达到最小化损失的目的。根据不同错误分类产生的不同程度的损失来构建代价矩阵，从而区分不同错误分类。不同于目前的排水管道缺陷自动检测算法仅仅只追求分类器的精度，而忽视错分不同类别带来的不同损失，本发明中的分类器对高代价的类别具有更高的敏感度，由此可以最小化分损失，更加符合实际应用中的一些需求。

本实施例通过引入代价敏感性来区分不同错误分类所产生的不同影响，从而构建以最小化总体损失为目标的分类器。

在本实施例中，在步骤S5中，开始识别的过程包括：

通过OpenCV读取一段管道机器人拍摄的视频，每25帧截取视频当前帧输入卷积神经网络进行一次检测，将图像传入训练好的模型，依次经过卷积层、池化层和softmax层后得到管道包含缺陷的概率，从而确定管道是否含有缺陷。并通过OpenCV在视频中对该帧图像加入标注并提示用户。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (5)

1.一种基于代价敏感学习的排水管道缺陷自动检测方法，其特征在于：包括以下步骤：

步骤S1：建立训练数据集：从历史检测报告及排水管道机器人拍摄的视频中随机抽取视频帧形成管道图像集，对于管道图像集里的每个图像，按照城镇排水管道检测与评估技术规程中给出的管道评估方式对图像进行标注，将管道图像集划分为正常管道和缺陷管道；按照70％，10％，20％的比例将所述管道图像集划分成训练集、验证集和测试集；在深度学习中，为避免出现过拟合，对训练集中的图像数据进行数据增强和标准化处理；

步骤S2：提供正常管道样本和缺陷管道样本，分别估算将正常管道样本和缺陷管道样本错误分类带来的损失；将一个正常类样本误分类的代价即为进行一次额外的缺陷检测的经济损失；将一个故障类样本误分类的代价即为漏检缺陷所造成的经济损失；并以此构建代价矩阵；

步骤S3：根据步骤S2中构建的代价矩阵确定正常管道样本和缺陷管道样本的置信度向量；

步骤S4：基于步骤S3中置信度向量构建代价敏感卷积神经网络，使用步骤S1得到的训练集图像通过梯度下降算法训练神经网络；

步骤S5：使用步骤S4中训练好的神经网络对待识别的图像进行识别，图像依次经过卷积层、池化层和softmax层后得到图像中包含缺陷的概率，从而确定图像的属性信息。

2.根据权利要求1所述的一种基于代价敏感学习的排水管道缺陷自动检测方法，其特征在于：所述步骤S1中对训练集中的图像数据进行数据增强和标准化处理过程具体包括以下步骤：

步骤S11：对训练集中的图像数据进行数据增强；所述进行数据增强的方法包括但不限于水平翻转、旋转、改变图像色彩、加入噪声；

步骤S12：将S11中的进行数据增强后的图像集按短边等比例缩放至固定大小S，S范围为256～512之间；

步骤S13：对S12缩小后的图片随机裁剪出224×224的子图；

步骤S14：对S13中产生的子图进行标准化处理，具体采用以下公式：

式中，x_i表示一张图中的某个像素点；x_min表示图中所有像素的最小值点，x_max表示图中所有像素的最大值点。

3.根据权利要求1所述的一种基于代价敏感学习的排水管道缺陷自动检测方法，其特征在于：步骤S2中所述构建代价矩阵的具体方法是：

令y_i＝{0，1}代表排水管道的真实状态；在代价敏感学习中，将错分代价高的类别作为正例，所以将y_i＝1来表示缺陷管道；y_i＝0表示正常管道；将不同错误引起的损失分为如下两类：

(1)将缺陷管道判断成正常管道的代价，cost₁₀；

(2)将正常管道判断成缺陷管道的代价，cost₀₁；

将一个正常类样本误分类的代价就是进行一次额外的缺陷检测的经济损失；将一个故障类样本误分类的代价为漏检缺陷所造成的经济损失，能够通过查阅相关文献资料获得；据此构建如下代价矩阵：

其中，cost₀₀、cost₁₁为分类正确时产生的经济损失；cost₀₁、cost₁₀分别代表实际正常样本和实际缺陷样本被错误分类带来的经济损失；由于正确分类不会带来经济损失，所以代价矩阵的对角线上元素均为0；由于对代价进行缩放，并不会改变决策；因此，将这些损失进行缩放，由此得到的简化后的代价矩阵如下：

4.根据权利要求1所述的一种基于代价敏感学习的排水管道缺陷自动检测方法，其特征在于：步骤S3中所述置信度向量计算方式为：

式中，ε_i代表对应类别的置信程度，i代表对应类别，其中i＝0代表正常，i＝1代表缺陷，基于此构成置信度向量(ε₀，ε₁)。

5.根据权利要求3所述的一种基于代价敏感学习的排水管道缺陷自动检测方法，其特征在于：所述步骤S4具体包括以下步骤：所述代价敏感卷积神经网络主体结构由8层卷积池化层组成，卷积层使用ReLU激活函数，所述代价敏感卷积神经网络结构为：

第一层卷积层，卷积核大小为11*11，步长为4，总共64个特征；

第一最大池化层，池化范围3*3，步长为2；

第二层卷积层，卷积核大小为5*5，步长为1，总共192个特征；

第二最大池化层，池化范围3*3，步长为2；

第三层卷积层，卷积核大小为3*3，步长为1，总共384个特征；

第四层卷积层，卷积核大小为3*3，步长为4，总共384个特征；

第五层卷积层，卷积核大小为3*3，步长为4，总共256个特征；

第五最大池化层，池化范围3*3，步长为2；

第六卷积层，卷积核大小为5*5，步长为1，总共4096个特征，dropout强度为0.5；

第七卷积层，卷积核大小为1*1，步长为1，总共4096个特征，dropout强度为0.5；

第八卷积层，卷积核大小为1*1，步长为1，总共2个特征；

步骤S42：在S41中第八卷积层与损失函数之间加入代价敏感激活层，对步骤S41中第八卷积层的输出向量使用代价敏感激活层激活，计算方式为：

式中，ε代表对应当前样本对应的的置信度向量，通过步骤S3中公式计算得到，o代表步骤S41中第八卷积层的输出向量，输出对应2个类别的概率；

步骤S43：在训练过程中使用adam优化算法更新卷积神经网络参数；

步骤S44：测试阶段将S42中代价敏感激活层替换成常规的softmax激活层，计算方式为：

式中，0代表步骤S41中第八卷积层的输出向量，输出对应2个类别的概率。