CN109800824B - 一种基于计算机视觉与机器学习的管道缺陷识别方法 - Google Patents

Abstract

本发明涉及的是一种基于计算机视觉与机器学习的管道缺陷识别方法。通过对管道机器人采集的管道图像、视频进行灰度拉伸；进行滑滤波处理滤除噪声干扰；采用Canny算子对疑似缺陷区域轮廓提取；采集图像分成细胞单元中各像素点的梯度或边缘方向直方图，直方图组合起来提取图像HOG特征；采用迁移学习策略训练VGGNet模型，训练好的VGGNet的特征提取器提取图像特征；将管道图像的HOG特征和VGGNet提取的特征进行融合，使用SVM将特征分类，识别管道缺陷；统计管道缺陷识别结果输出管道缺陷类型。本发明能识别真实管道环境的缺陷特征，提高分类模型的鲁棒性和识别的准确率，提升系统图像处理速度和识别的效率，适用于城市管道、工业管道检修领域。

Description

一种基于计算机视觉与机器学习的管道缺陷识别方法

技术领域

本发明涉及图像与视频处理和特征识别技术领域，尤其涉及一种基于计算机视觉和机器学习检测管道缺陷的识别方法。

背景技术

管道缺陷检测与修复工作是城市建设的重要环节，成为当前计算机视觉的热点研究问题。管道缺陷识别是通过从视频帧中根据特定的技术指标对缺陷部位进行识别。缺陷识别对后期管道修复有着决定性作用。目前管道缺陷识别主要是通过管道机器人携带闭路电视(CCTV)硬件获取管道视频，并通过技术人员对视频进行分析，人工进行管道缺陷识别，但这种方法对人工的依赖性很高，需要有经验的操作人员才能准确地判别病害，人为判别容易受到视力疲劳、注意力降低等多种人为因素的影响，从而影响检测精度和准确性。针对上述方法存在的弊端，本发明重点研究基于计算机视觉与机器学习的管道病害识别算法，对管道图像进行预处理，利用预训练VGGNet提取的管道图像特征和管道图像HOG特征融合，采用SVM滑动分类器对多种类别的管道病害信息进行精确识别。这种方法可以降低对人工的依赖性。

目前管道缺陷识别领域存在一些问题，如视频中管道环境的复杂性、管道的差异性和缺陷的差异性，导致在实际复杂管道环境中，管道缺陷特征易受管道环境变化影响，分类模型抗干扰能力较差，在差异较大的管道环境中管道缺陷识别准确率较低。

本发明提出了一种基于计算机视觉与机器学习的管道缺陷识别方法适用于管道缺陷检修领域。

发明内容

本发明针对现有技术中的上述问题，结合目前在计算机视觉领域表现优异的基于特征融合的图像处理方法，本发明提出一种基于计算机视觉与机器学习的管道缺陷识别方法，该方法能识别真实管道环境的缺陷特征，提高分类模型的鲁棒性和识别的准确率，提升系统图像处理速度和识别的效率，适用于城市管道、工业管道检修领域。

为了达到上述目的，本发明采用的技术方案如下：

本发明涉及一种基于计算机视觉与机器学习的管道缺陷检测方法，包括以下步骤：

步骤(1)、控制管道机器人在管道中获取管道图像、视频，进行灰度拉伸及平滑滤波处理；

步骤(2)、对处理后的管道图像、视频进行Canny算子边缘检测；

步骤(3)、对检测过后的图像、视频进行HOG特征提取；

步骤(4)、对检测过后的图像、视频进行VGG特征提取；

步骤(5)、根据特征运用SVM识别管道缺陷；

步骤(6)、统计结果，将数据保存；再返回步骤2；

本发明的有益效果是，该方法在增加管道识别的效率、降低管道识别对人工的依赖性的情况下，还能保证识别准确率，对管道缺陷检测有一定的参考价值。

附图说明

下面结合附图和实施例对本发明进一步说明：

图1为本发明实施例的总体流程图；

图2为本发明灰度拉伸、平滑滤波、Canny算子边缘检测侧效果图；

图3为本发明使用的VGGNet-16网络结构图；

图4为本发明使用的SVM示意图；

图5为本发明实施例采集视频上的识别结果示例。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明，以下实施例不构成对本发明的限定。

如图1所示，本发明方法的实施流程具体包括以下步骤：

S1010：携带高清摄像头管道机器人进入管道采集图像、视频信息，

对采集到的管道图像、视频进行灰度拉伸。增强疑似腐蚀区域和正常管道的对比度，使其明暗更加鲜明，特征更加明显，将输入图像中的每一个像素(x,y)的灰度值作为函数的自变量，由此得到的因变量作为输出图像中的灰度值g(x,y)，公式(1)具体如下

采用空域法的邻域平均法对灰度图像进行空间平滑滤波增强，消除真实的管道环境中因点光源造成的光线不均匀，局部高亮，金属反光等导致的轮廓带有的锯齿。邻域平均法中每个像素的权重是相等的，重要性一致。公式(2)具体如下

式中s为(x,y)邻域中像素坐标的集合，K为集合s内像素的数量，平滑滤波效果图如图2(b)所示。

S1110：采用Canny算子对疑似缺陷区域进行轮廓提取，进而找到疑似缺陷区域的边缘。

使用高斯滤波去除图像噪声，使用大小为(2*N+1)模板，以扫描图像中的每个像素,使用模板确定邻域像素加权平均灰度,以取代模板中心像素灰度值，一维高斯函数表述如公式(3)具体如下：

根据上述函数，计算给定尺寸和Sigma的高斯卷积核参数，并使用计算得到的高斯卷积核跟灰度图像卷积，实验过程中Canny算子使用的是尺寸5×5，σ＝1的高斯核。

计算梯度和方向，计算公式(4)具体如下：

其中为图像灰度值，P代表X方向梯度幅值，Q代表Y方向梯度幅值，M代表梯度幅值，θ为梯度方向，即梯度角度。求得X和Y方向的梯度和梯度角之后再来计算X和Y方向融合的梯度幅值，计算公式(5)具体如下：

计算梯度幅值的非极大值抑制，非极大值抑制应用于“减薄”边缘，应用梯度计算后，从梯度值中提取的边缘仍然非常模糊。将当前像素的边缘强度与正梯度方向和负梯度方向上的像素的边缘强度进行比较，如果当前像素的边缘强度与具有相同方向的掩模中的其他像素相比是最大的，当前像素的边缘强度值将被保留。否则，当前像素的边缘强度值将被抑制。

用双阈值算法检测和连接边缘。经过双阈值算法检测和连接边缘步骤之后，Canny图像如图2(c)所示。

S1120：对检测过后的图像、视频进行HOG特征提取。方向梯度直方图通过计算和统计图像局部区域的梯度方向直方图来构成特征。首先将图像分成小的连通区域即细胞单元然后采集细胞单元中各像素点的梯度的或边缘的方向直方图。最后把这些直方图组合起来就可以构成特征描述器作为管道病害特征提取的一部分。

S1130：对检测过后的图像、视频进行VGGNet特征提取。

VGGNet系列网络结构如下表所示：

上表显示了VGGNet网络结构。从左到右的每列表示深度不断增加的不同模型。从上到下，表示模型的深度。其中conv<filter size>-<channel number>,以及为什么使用3x3过滤的原因如下。卷积核设计为此尺寸是因为它可以捕捉所有方向上的最小尺寸。由于第一层通常有很多高频和低频信息，它不覆盖中频信息，而且步长如果太大，会导致大量的混叠。因此，滤波器尺寸和步长应尽可能小。此处使用lxl卷积模板，因为lxl等同于线性变换输入通道的操作。决策函数的非线性不会影响接受域的大小。

VGGNet卷积神经网络中，所有的网络结构都使用了3*3的卷积核和2*2的池化核的策略，模型通过不断加深卷积网络的结构来达到提升性能的目的。图3所示为本设计采用的VGGNet-16网络结构图，VGG由5层卷积层、3层全连接层、softmax输出层构成，层与层之间使用max-pooling(最大化池)分开，所有隐层的激活单元都采用ReLU函数。VGGnet系列网络中虽然从A到E每一级的卷积网络逐渐变的更深，但是卷积网络的整体参数量并没有明显的增长，原因在于参数量主要都消耗在最后3个全连接层。

使用迁移学习策略解决由于管道缺陷数据集较小导致的过拟合与识别率低等情况。利用迁移学习策略，直接使用其他人预先训练好的模型。然后找到输出的可重用层。我们可以使用这些层的输出作为输入来训练具有更少，更小规模的数据集的网络。能够完善模型的“通用性”。迁移学习策略允许模型知晓不同类型的数据，所以模型可以学习更好的基础规则。VGGNet网络的拓展性很强，迁移到其他图片数据上的泛化能力非常好，用来提取图像特征。

首先在公开数据集ImageNet上训练一个VGGNet模型。之后采用预训练的VGGNet模型参数作为模型初始化参数，再次在管道病害小规模训练集上训练模型。最后提取VGGNet的特征提取器部分作为管道病害特征提取的一部分。

S1140：采用训练好的VGGNet的特征提取器用来提取特征，并融合HOG特征，使用SVM分类器模型进行训练和预测。采用SVM对特征进行分类。SVM示意图如图4所示。在样本空间中，给定超平面(Optimal hyperplane)可通过如下线性方程来描述公式(6)具体如下：

ω^Tδ+b＝0 (6)

其中ω为法向量，决定了超平面的方向；b为位移项，决定了超平面与原点之间的距离。显然，划分超平面可被法向量ω和位移b确定，将其记作(ω,b)。样本空间中任意点x到超平面(ω,b)的距离公式(7)具体如下

超平面(ω,b)能将训练样本正确分类，即对于(p_v,q_v)∈D，其中p_v代表第v个样本点的特征，q_v代表第v个样本点的标签，若q_v＝+1，则有ω^Tδ+b＞0；若q_v＝-1，则有ω^Tδ+b＜0，令公式(8)具体如下：

距离超平面最近的这几个训练样本点使得公式(8)的等号成立，它们被称为支持向量。两个异类支持向量到超平面的距离之和如公式(9)

γ被称之为间隔。想找到具有最大间隔(Maximum margin)的划分超平面，也就是要找到能满足式(8)中约束的参数ω和b，使得γ最大。因此，求最佳(ω,b)可以归结为二次规划问题如公式(10)

这就是SVM的基本型。分类器采用多分类SVM分类器，为了实现同时进行多类别分类，模型采用hinge损失函数来实现多类别分类目的。hinge损失函数如公式(11)为

s_e代表第e个样本相对应的类别的得分，s_f代表剩余其他类别的得分，m为训练集的规模，L_e代表第e个训练样本的总得分，L代表训练样本的总得分。为了防止模型出现过拟合的情况，模型在损失函数中引入了正则化项，引入正则化项，既保证了分类器的准确分类，又保证了模型的泛化能力。损失函数加入正则化项后的公式(12)为

同时采用特征融合策略，将HOG特征和VGGNet特征提取器提取的特征融合到一起，再进行SVM分类。

S1150：SVM对管道图像、视频特征进行分类之后，输出识别结果，管道有无缺陷，管道缺陷的种类。

本说明中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (1)

1.一种基于计算机视觉与机器学习的管道缺陷识别方法，其特征在于，包括以下步骤：

步骤(1)、携带高清摄像头管道机器人进入管道采集图像、视频信息，对采集到的管道图像、视频进行灰度拉伸，将输入图像中的每一个像素(x,y)的灰度值作为函数的自变量，由此得到的因变量作为输出图像中的灰度值g(x,y)，其公式如下

采用空域法的邻域平均法对灰度图像进行空间平滑滤波增强，邻域平均法中每个像素的权重是相等的，重要性一致，公式如下

式中s为(x,y)邻域中像素坐标的集合，K为集合s内像素的数量；

步骤(2)、采用Canny算子对疑似缺陷区域进行轮廓提取，进而找到疑似缺陷区域的边缘；

使用高斯滤波去除图像噪声，使用大小为(2*N+1)模板，以扫描图像中的每个像素,使用模板确定邻域像素加权平均灰度,以取代模板中心像素灰度值，一维高斯函数表述为公式如下

根据上述函数，计算给定尺寸和Sigma的高斯卷积核参数，并使用计算得到的高斯卷积核跟灰度图像卷积，Canny算子使用的是尺寸5×5，σ＝1的高斯核；

计算梯度和方向，计算公式如下：

其中为图像灰度值，P代表X方向梯度幅值，Q代表Y方向梯度幅值，M代表梯度幅值，θ为梯度方向，即梯度角度，求得X和Y方向的梯度和梯度角之后再来计算X和Y方向融合的梯度幅值，计算公式如下：

计算梯度幅值的非极大值抑制，非极大值抑制应用于“减薄”边缘，应用梯度计算后，从梯度值中提取的边缘仍然非常模糊，将当前像素的边缘强度与正梯度方向和负梯度方向上的像素的边缘强度进行比较，如果当前像素的边缘强度与具有相同方向的掩模中的其他像素相比是最大的，当前像素的边缘强度值将被保留，否则，当前像素的边缘强度值将被抑制；

用双阈值算法检测和连接边缘得到Canny图像；

步骤(3)、对检测过后的图像、视频进行HOG特征提取，先将图像分成小的连通区域即细胞单元，然后采集细胞单元中各像素点的梯度的或边缘的方向直方图，最后把这些直方图组合起来就可以构成特征描述器作为管道病害特征提取的一部分；

步骤(4)、对检测过后的图像、视频进行VGGNet特征提取，所有的网络结构都使用了3*3的卷积核和2*2的池化核的策略，模型通过不断加深卷积网络的结构来达到提升性能的目的，VGG由5层卷积层、3层全连接层、softmax输出层构成，层与层之间使用max-pooling(最大化池)分开，所有隐层的激活单元都采用ReLU函数；

采用迁移学习策略，在公开数据集ImageNet上训练一个VGGNet模型，之后采用预训练的VGGNet模型参数作为模型初始化参数，再次在管道病害小规模训练集上训练模型，最后提取VGGNet的特征提取器部分作为管道病害特征提取的一部分；

步骤(5)、采用训练好的VGGNet的特征提取器用来提取特征，并融合HOG特征，使用SVM分类器模型进行训练和预测，在样本空间中，给定超平面(Optimal hyperplane)可通过如下线性方程来描述，其公式如下：

ω^Tδ+b＝0 (6)

其中ω为法向量，决定了超平面的方向；b为位移项，决定了超平面与原点之间的距离，显然，划分超平面可被法向量ω和位移b确定，将其记作(ω,b)，样本空间中任意点δ到超平面(ω,b)的距离公式如下

超平面(ω,b)能将训练样本正确分类，即对于(p_v,q_v)∈D，其中p_v代表第v个样本点的特征，q_v代表第v个样本点的标签，若q_v＝+1，则有ω^Tδ+b＞0；若q_v＝-1，则有ω^Tδ+b＜0，令

距离超平面最近的这几个训练样本点使得式(8)的等号成立，它们被称为支持向量，两个异类支持向量到超平面的距离之和公式如下：

γ被称之为间隔，想找到具有最大间隔(Maximum margin)的划分超平面，也就是要找到能满足式(8)中约束的参数ω和b，使得γ最大，因此，求最佳(ω,b)可以归结为二次规划问题其公式如下：

这就是SVM的基本型，分类器采用多分类SVM分类器，为了实现同时进行多类别分类，模型采用hinge损失函数来实现多类别分类目的，hinge损失函数其公式如下

s_e代表第e个样本相对应的类别的得分，s_f代表剩余其他类别的得分，m为训练集的规模，L_e代表第e个训练样本的总得分，L代表训练样本的总得分，为了防止模型出现过拟合的情况，模型在损失函数中引入了正则化项，引入正则化项，既保证了分类器的准确分类，又保证了模型的泛化能力，损失函数加入正则化项的公式(12)为

同时采用特征融合策略，将HOG特征和VGGNet特征提取器提取的特征融合到一起，再进行SVM分类；

步骤(6)、识别结果统计，SVM对管道图像、视频特征进行分类之后，输出识别结果，管道有无缺陷，管道缺陷的种类。