CN110751619A - 一种绝缘子缺陷检测方法 - Google Patents

Abstract

本发明公开了一种绝缘子缺陷检测方法，包括：采集绝缘子整体区域图像样本；构建目标检测的深度卷积网络，以利用深度卷积网络来检测整体绝缘子区域；标注绝缘子区域，并构建语义分割的深度全卷积网络，以将绝缘子前景区域分割出来；计算分割后的前景区域的主分量，旋转图像使绝缘子区域保持水平，然后采用扫描线算法提取缺陷区域。本方法通过采用深度学习来实现大面积绝缘子区域的提取以及绝缘子前景区域的分割，同时利用计算机视觉中的扫描线算法来实现小面积的绝缘子缺陷的提取，从而解决了现有绝缘子检测困难的问题，提升了检测的准确性。

Description

一种绝缘子缺陷检测方法

技术领域

本发明涉及检测技术领域，具体涉及一种绝缘子缺陷检测方法。

背景技术

利用无人机巡检拍摄图像来进行绝缘子的检测与自爆识别研究是目前在电力系统大力推广的方法，具有巡检速度快和安全性高的优点，也能够极大的提高巡检的效率。因此在电力线自动化巡线领域具有广阔的应用和市场需求。

在计算机视觉领域，绝缘子的检测与自爆识别属于目标检测和分类的研究范畴。传统的目标检测和分类一般采用图像处理的方法，根据目标的颜色和形状等信息来从图像中提取出候选区域进行检测与识别。比如AdaBoost检测算法利用Harr特征将弱分类器进行联合来得到强分类器实现人脸快速检测，HoG结合SVM实现了人体目标的检测。在传统的检测和识别中往往采用浅层学习模型来进行识别，比如线性分类器、Boosting、SVM等，因此特征的提取就成为提高识别率的关键。传统的方法以经验为基础来设计特征，比如广泛使用的Harr、HoG、LBP、SIFT特征等，其优势是速度快。但由于人的经验存在主观和局部性，其检测和识别精度一般不高，而且同视角和场景下的目标检测与分类效果差异较大。随着深度神经网络的发展特别是深度卷积网络在图像识别中的成功应用，采用深度学习的方法来进行目标的自动检测和识别成为研究的重点和热点，如Faster R-CNN，SSD，YOLO/YOLO9000等目标检测方案，结合目前最新的分类深度神经网络(如VGG，Resnet，GoogLeNet等)，在精度方面都比传统方法有了明显的提升。同时借助GPU强大的并行计算能力，SSD和YOLO都能达到实时检测的效果。

目前国内采用无人机巡检进行绝缘子检测和自爆识别大部分采用的是传统的计算机视觉方法，利用深度学习的方法来进行绝缘子检测和识别的研究整体较少。图像中的绝缘子自爆区域一般较小而且样本很难找到，目前的深度学习目标检测算法对小目标检测的效果普遍不好。传统的图像处理方法不需要大量的样本，但是误检率较高。

由于绝缘子缺陷在图像区域中的面积较小，而且与非缺陷区域相似性较高，并且实际中采集到的绝缘子缺陷的样本也较少，因此绝缘子缺陷的检测是一个很困难的问题。

发明内容

本发明的目的在于克服上述现有技术的不足，提供一种绝缘子缺陷检测方法，以提高检测的准确性。

为实现上述目的，本发明的技术方案是：

一种绝缘子缺陷检测方法，包括：

采集绝缘子整体区域图像样本；

构建目标检测的深度卷积网络，以利用深度卷积网络来检测整体绝缘子区域；

标注绝缘子区域，并构建语义分割的深度全卷积网络，以将绝缘子前景区域分割出来；

计算分割后的前景区域的主分量，旋转图像使绝缘子区域保持水平，然后采用扫描线算法提取缺陷区域。

进一步地，所述构建目标检测的深度卷积网络，以利用深度卷积网络来检测整体绝缘子区域包括：采用小卷积核3*3来实现特征的提取，采用池化层来增强特征的平移、旋转鲁棒性，并采用基于预定义候选框的方式来检测不同尺度和形状的目标，以提取绝缘子整体区域。

进一步地，所述采用扫描线算法提取缺陷区域包括：

从左往右对图像的每一行进行扫描，当图像从背景色变化为前景色时，将发生变化的位置记录为第一色点，从前景色变化为背景色时，记录第二色点；从左到右，相邻的第一色点到第二色点的距离为前景目标的宽度，相邻的第二色点到第一色点的距离则为背景的宽度，根据统计的宽度就可以把存在缺陷的背景区域提取出来。

进一步地，所述深度卷积网络采用端到端的训练方式，利用候选框的方式将特征与标签数据进行关联。

本发明与现有技术相比，其有益效果在于：

本方法通过采用深度学习来实现大面积绝缘子区域的提取以及绝缘子前景区域的分割，同时利用计算机视觉中的扫描线算法来实现小面积的绝缘子缺陷的提取，从而解决了现有绝缘子检测困难的问题，提升了检测的准确性。

附图说明

图1为本发明实施例提供的绝缘子缺陷检测方法的流程图；

图2为目标检测的深度卷积网络的流程图；

图3为3*3的小卷积核进行卷积运算的效果图；

图4为预定义框的示意图；

图5为全卷积网络进行目标分割示意图；

图6为扫描线提取缺陷区域示意图。

具体实施方式

下面结合附图和具体实施方式对本发明的内容做进一步详细说明。

实施例：

参阅图1所示，本实施例提供的绝缘子缺陷检测方法，包括：

101、采集绝缘子整体区域图像样本。

102、构建目标检测的深度卷积网络，以利用深度卷积网络来检测整体绝缘子区域。

深度卷积网络(DCNN)利用图像卷积来实现特征的提取，然后将特征映射到分类空间实现目标的识别。针对检测，除了要识别目标之外还需要提取出目标的具体位置，因此需要将特征信息与目标框的位置进行关联。本方法中采用端到端(end-to-end)的训练方式，利用候选框的方式将特征与标签数据进行关联。

如图2显示，卷积神经网络的最后一层通过1x1的卷积核来得到一个用于训练和检测的特征图。特征图中的每个像素点可以认为是一个候选目标的基准点，通过事先设定的预测框可以和训练集中的目标进行重叠分析。特征图可以细分为三个部分：第一个部分用于预测当前目预测框是否为一个候选框并给出具体的预测值，判断的标准是将预测框与训练的标注框进行重叠分析，如果重叠率大于设定的阈值，那个就用重叠率来作为预测值。第二部分用来对候选框的位置进行回归分析得到精确的目标位置。第三部分则用来对检测后的目标进行识别，判断其类别。上述网络中的参数可以通过监督学习的方式，利用大规模数据来进行学习。在进行目标检测时，将输入的图像依次经过训练好的网络层来进行卷积处理最后得到目标检测与识别的特征图，利用事先设定好的映射关系就可以计算出目标的位置和类别。

在此步骤中，本方法采用小卷积核(3*3)来实现特征的提取来实现特征的提取，采用池化层来增强特征的平移、旋转鲁棒性，并借鉴目前主流的基于预定义候选框的方式来检测不同尺度和形状的目标。由于绝缘子整体区域在图像中所占的比例较大，因此利用深度卷积的方式可以很准确的提取绝缘子整体区域。

具体地，如图3所示，3*3的卷积核以当前像素点为中心，用最邻近的9个元素与卷积核元素进行相乘和累加的操作。不同的卷积核可以从图像中提取不同的信息，比如常用的低通滤波可以提取背景信息，高通滤波则可以提取边缘信息。经过不同层的3*3卷积核可以将图像中的具有语义特征的信息提取出来，用于后续的目标检测核分类

预定义框的定义见图4中的虚线框。图像中的每个像素都可以看作一个候选的目标框，为了能够从原始图像中提取最终的目标，可以采用设置不同大小，不同形状的预定义框来接近真实的目标。在训练时，每个预定义框都对应了回归参数，这些参数的作用是让预定义框通过数学模型的变换与真实的目标尽可能的相同。由于池化操作会导致图像分辨率下降，采用预定义框可以在一定程度上解决低分辨率的目标定位不准确的问题。

103、标注绝缘子区域，并构建语义分割的深度全卷积网络，以将绝缘子前景区域分割出来。

也就说，在此步骤中，本方法并没有采用传统的大津法或者图分割的方法来对绝缘子和背景区域进行分割，而是采用全卷积神经网络来进行分割，原因在于大津法和图分割的算法都不能达到精确分割绝缘子前景区域的目标。而采用全卷积网络，利用大样本训练的方式可以非常精确的将绝缘子的前景区域提取出来.

如图5所示，全卷积网络配合图像采样可以将原始图像映射到相同大小的一个特征空间，从而实现像素级别的语义分割。全卷积网络所有的操作都是卷积运算，不再使用传统的全链接网络，一方面可以减少运算，同时也提高了网络的性能。在训练时，利用已有的标签数据可以将图像中不同的像素分配不同的标签值，然后利用最优化的原理使最后的特征层的数组和标签值之间的差异最小，就可以实现目标的分割。相比传统的分割算法，采用全卷积网络进行分割的效果不需要设置阈值，能够自适应的对图像进行分割，且分割精度也较高。

104、计算分割后的前景区域的主分量，旋转图像使绝缘子区域保持水平，然后采用扫描线算法提取缺陷区域。

由于在上述步骤103中，已经实现了绝缘子整体区域的定位，所以分割的难度会降低，采用全卷积网络的精度也更高，在此步骤中，由于绝缘子缺陷目标较小，因此本步骤中采用扫描线算法，提取分割后的图像中距离较长的位置，这些位置正好就是绝缘子缺陷引起的脱离区域。为了提高扫描的稳定性，本步骤采用主分量变换来实现绝缘子区域的水平放置。

具体地，如图5所示，箭头代表从左往右对图像的每一行进行扫描，当图像从背景色(一般为黑色)变化为前景色(一般为白色)时，将发生变化的位置记录为绿色点，从前景色变化为背景色时，记录为黄色。那么可以看出，相邻的绿色点到黄色点的距离为前景目标的宽度，相邻的黄色点到绿色点的距离则为背景的宽度。由于缺陷区域对应的背景区域较大，根据统计的宽度就可以把存在缺陷的背景区域提取出来。

由此可见，本方法通过采用深度学习来实现大面积绝缘子区域的提取以及绝缘子前景区域的分割，同时利用计算机视觉中的扫描线算法来实现小面积的绝缘子缺陷的提取，从而解决了现有绝缘子检测困难的问题，提升了检测的准确性。

上述实施例只是为了说明本发明的技术构思及特点，其目的是在于让本领域内的普通技术人员能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡是根据本发明内容的实质所做出的等效的变化或修饰，都应涵盖在本发明的保护范围内。

Claims (4)

1.一种绝缘子缺陷检测方法，其特征在于，包括：

采集绝缘子整体区域图像样本；

构建目标检测的深度卷积网络，以利用深度卷积网络来检测整体绝缘子区域；

标注绝缘子区域，并构建语义分割的深度全卷积网络，以将绝缘子前景区域分割出来；

计算分割后的前景区域的主分量，旋转图像使绝缘子区域保持水平，然后采用扫描线算法提取缺陷区域。

2.如权利要求1所述的绝缘子缺陷检测方法，其特征在于，所述构建目标检测的深度卷积网络，以利用深度卷积网络来检测整体绝缘子区域包括：采用小卷积核3*3来实现特征的提取，采用池化层来增强特征的平移、旋转鲁棒性，并采用基于预定义候选框的方式来检测不同尺度和形状的目标，以提取绝缘子整体区域。

3.如权利要求1所述的绝缘子缺陷检测方法，其特征在于，所述采用扫描线算法提取缺陷区域包括：

从左往右对图像的每一行进行扫描，当图像从背景色变化为前景色时，将发生变化的位置记录为第一色点，从前景色变化为背景色时，记录第二色点；从左到右，相邻的第一色点到第二色点的距离为前景目标的宽度，相邻的第二色点到第一色点的距离则为背景的宽度，根据统计的宽度就可以把存在缺陷的背景区域提取出来。

4.如权利要求1所述的绝缘子缺陷检测方法，其特征在于，所述深度卷积网络采用端到端的训练方式，利用候选框的方式将特征与标签数据进行关联。

Images