CN111882554B - 一种基于SK-YOLOv3的电力线故障智能检测方法 - Google Patents

Abstract

本发明公开了一种基于SK‑YOLOv3的电力线故障智能检测方法，包括如下步骤：1）采集电力线故障数据集：2）提高特征图得分；3）生成预测框。这种方法提高了检测精度，检测更细致。

Description

一种基于SK-YOLOv3的电力线故障智能检测方法

技术领域

本发明属于计算机视觉和图像检测领域，涉及一种电力线故障智能检测方法，具体是一种基于SK-YOLOv3的电力线故障智能检测方法。

背景技术

故障检测是机器视觉在工业制造领域中的重要应用之一，它可以提高工厂生产效率减少人力劳动，并且能够对产品质量实时监测。如何精准地检测电力线故障已经成为当下研究的难点，目前主要有两种研究方法，一种是利用传统的图像识别方法对图像特征进行提取及分类，一种是直接利用神经网络来识别故障类别。

传统的图像检测算法主要基于阈值分割，频谱法，以及灰度直方图。常用的边缘检测算子有canny算子，sobel算子，Roberts算子等，常用的频谱法有傅里叶变换，小波变换，gabor变换等。也通过灰度直方图中的二阶矩，熵、逆差矩、对比度、相关性等。传统的图像识别方法效率低下且精度不高，在识别算法的改进下，Girshick等提出了R-CNN算法，(GIRSHICK R,DONAHUEJ,DARRELL T, et al.Rich feature hierarchies for accurateobject detectionand semantic seg-mentation[C]/IEEE Conference on ComputerVision and Pattemn Recognition(CVPR),2014:580-587.)首次将深度学习代入计算机视觉的应用领域。接着He等(HEK M,ZHANGXY,RENSQ,et al.Spatial pyramid pooling indeep convolutional network for visual recognition[J])，提出了SPP-Net 算法，解决了候选框缩放成统一大小而导致物体变形的问题，Girshick(GIRSHICK R.Fast R-CNN[C//Proceedings of the IEEE International Conference on Computer Vision,2015:176-183.)通过对R-CNN和SPP-Net的缺点做进一步改进，提出了 Fast R-CNN，以上方法都是基于区域的目标识别方法，后来出现了基于回归的目标识别方法。如SSD[[6]Liu W,AnguelovD,Erhan D,et al.SSD:single shot multibox detector[C]//Proc of EuropeanConference on ComputerVision. Amsterdam,Nederland:Springer,2016:21-37.]，YOLO[[7]Redmon J,Divvala S, Girshick R,et al.You only look once:unified,real timeobject detection[C]//Computer Vision andPattern Recognition.Las Vegas,USA:IEEE,2015:779-788]系列等，以上网络对于检测大物体具有很高的精度，但是对于较小的物体，存在错检，漏检等问题。

事实上，对于小故障的检测一直存在在目标检测视野范围小、检测图像长宽比单一、检测精度较低等缺点。为解决上述问题，不少学者通过改进结构增强了网络性能，但存在内存占用巨大，检测速度低的缺点。

发明内容

本发明的目的是针对现有技术中存在的不足，而提供一种基于SK-FMYOLOv3 的电力线故障智能检测方法。这种方法提高了检测精度，检测更细致。

实现本发明目的的技术方案是：

一种基于SK-YOLOv3的电力线故障智能检测方法，包括如下步骤：

1)采集电力线故障数据集，将数据集按7：3的比例分为训练集和测试集；

2)在YOLOv3网络中嵌入SkNet结构，得到SK-YOLOv3网络模型，将步骤1)的训练集图像输入SK-YOLOv3网络模型中，每张图像经过SK-YOLOv3网络模型中 SkNet结构的3*3和5*5的卷积核得到两个不同的感受野的特征图，同时使用 SkNet结构关注SK-YOLOv3网络模型中不同大小卷积核的权重，并通过SK-YOLOv3 网络模型中SkNet结构里的Split,Fuse,Select三个操作提高特征图的得分，将得分最高的特征图传入到SK-YOLOv3网络模型中YOLOv3的shortcut层，使 SK-YOLOv3网络关注得分最高的特征图，最后经过SK-YOLOv3网络模型将不同电力线故障得分高的特征图和对应的权重打包成权重文件；

3)将步骤2)学习得到的故障特征图的权重与步骤1)测试集的图像进行匹配，通过权重对图像进行特征图分割，根据图像的故障特征得分将图像分为X个特征，采用模糊均值聚类算法对X个特征生成图像特征初始聚类中心，再将初始聚类中心点传入K-means算法，最后生成预测框，预测框即为检测电力线中的故障位置。

步骤1)采集电力线故障数据集的过程为：用高清摄像机拍摄电力线图像，其中设置摄像机的分辨率为2456*2058像素，对原始图像采用放大、缩小、亮度增强、亮度减弱、翻转、裁剪6种方法进行图像数增量，再用图像标注工具 Labelimg对增量后的所有图像采用8种电力线故障进行标注，标注分类为"杆塔单元缺陷","绝缘子串缺陷","金具缺陷","架空地线故障","导线故障","鸟窝 ","线夹缺陷","防震锤缺陷"。

步骤2)中所述的提高特征图的得分步骤为：

2.1YOLOv3卷积层中有3*3的卷积核，SkNet结构中同样有3*3的卷积核，为保持检测速度，从YOLOv3的第4卷积层的3*3卷积核开始，YOLOv3网络中的 3*3卷积核都替换为SkNet结构的3*3的卷积核，其中，YOLOv3网络中3*3卷积核共替换了23个SkNet结构的3*3卷积核，得到SK-YOLOv3网络模型；

2.2将步骤1)的训练集图像输入到SK-YOLOv3网络模型中，每张图像首先经过SK-YOLOv3网络模型中YOLOv3的1*1卷积层，然后传入SK-YOLOv3网络模型中SkNet结构，变成大小为W*H*C的特征图，其中W是宽度，H是高度，C是通道数，特征图通过SK-YOLOv3网络模型中SkNet结构的3*3和5*5的卷积核得到两个不同的感受野的特征图，两个特征图分别用

和

表示，对两个特征图进行加操作得到U：

2.3对U进行fuse操作，为了获得全局信息，使用全局平均池化，

gp表示全局平均池化，i和j代表特征图的像素点矩阵，U_c是不同通道的特征图，在s_c后面加连接层z，

z＝F_fc(s_c)＝δ(β(w_sc))，

δ是Relu激活函数，β是批量归一化操作，w_sc是卷积核的权重；

2.4对U进行select操作，将z经过softmax操作得到a_c,b_c，

A_c和B_c人为设定，A_c和B_c是对z进行维度压缩的调节器，最后选择不同scale 的信息使用V来完成，V为得分最高的特征图，

2.5由于V是得分最高的特征图，所以将V传入到SK-YOLOv3网络模型中 YOLOv3的shortcut层进行训练，使SK-YOLOv3网络更加关注得分高的特征图，最后经过SK-YOLOv3网络模型将不同电力线故障得分高的特征图和对应的权重打包成权重文件。

步骤3)中所述的生成预测框具体步骤如下：

3.1将步骤2)学习得到的权重和步骤1)中的验证集图像进行匹配，通过权重对图像进行特征图分割，根据图像里面的故障特征得分将图像分为X个特征；

3.2进行图像特征标准化，图像分类特征的集合为X＝{x₁，x₂，…，x_n}，在X集合中，任意一个样本x_j中有m个指标，使用样本x_j来表标特性指标向量,

x_j＝(x_j1,x_j2,…,x_jm)，

x_jm表示在样本x_j中第m个特性的指标，那么n个样本的特性指标的矩阵如下:

3.3通过数据变换将x_j中的值约束到[0,1]之间，提出模糊均值聚类算法的目标函数和约束条件为，

其中，N为图像像素总数，C是图像分类数，u_ij表示像素x_j属于第i类的隶属度，m是一个大于1的模糊加权系数，c_i＝{c₁,…,c_n}表示第i个聚类中心，d(x_j,c_i) 表示第j个数据点到第i个聚类中心的马氏距离，α₁表示控制邻域像素影响的平衡参数，马氏距离公式如下：

d²(x_j,c_i)＝(x_j-c_i)^Tv_i(x_j-c_i)

p代表特征图的维数；

3.4基于朗格朗日乘数法可求得第i个像素的聚类中心c_i和隶属度u_ij，

将c_i＝{c₁,...,c_k}，k为分类个数，作为初始聚类中心传入到K-means聚类算法，针对数据集中的每个样本x_j，计算x_j到K个聚类中心的距离并将其分到距离最小的聚类中心c_i所对应的类；

3.5针对每个聚类中心c_i，重新计算它的聚类中心：

重复计算距离和更新聚类中心，直到聚类中心的位置不再变化，聚类中心的位置即为预测框的位置，预测框的位置就是检测出故障的位置。

本技术方案方法与现有方法相比，有如下优点：

1.本技术方案方法中的SK-YOLOv3模型能够准确检测电力线的故障；

2.本技术方案方法中的模糊均值聚类算法能够避免预测框随机初始化带来的精度不高，小物体难以检测等影响；

3.本技术方案方法使用SkNet嵌入到YOLOv3可以通过注意力机制提高特征图的得分，提高检测精确率。

这种方法检测精度高，检测更细致。

附图说明

图1为实施例的流程图；

图2为实施例中SK-YOLOv3的网络结构示意图；

图3为实施例中SkNet的结构示意图；

图4为实施例中SK-YOLOv3网络模型收敛情况示意图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步的详细描述，但不是对本发明的限定。

实施例：

参照图1：一种基于SK-YOLOv3的电力线故障智能检测方法，包括如下步骤：

1)采集电力线故障数据集，将数据集按7：3的比例分为训练集和测试集；

2)在YOLOv3网络中嵌入SkNet结构，如图3所示，得到SK-YOLOv3网络模型，如图2所示，将步骤1)的训练集图像输入SK-YOLOv3网络模型中，每张图像经过SK-YOLOv3网络模型中SkNet结构的3*3和5*5的卷积核得到两个不同的感受野的特征图，同时使用SkNet结构关注SK-YOLOv3网络模型中不同大小卷积核的权重，并通过SK-YOLOv3网络模型中SkNet结构里的Split,Fuse,Select三个操作提高特征图的得分，将得分最高的特征图传入到SK-YOLOv3网络模型中YOLOv3 的shortcut层，使SK-YOLOv3网络关注得分最高的特征图，最后经过SK-YOLOv3 网络模型将不同电力线故障得分高的特征图和对应的权重打包成权重文件；

3)将步骤2)学习得到的故障特征图的权重与步骤1)测试集的图像进行匹配，通过权重对图像进行特征图分割，根据图像的故障特征得分将图像分为X个特征，采用模糊均值聚类算法对X个特征生成图像特征初始聚类中心，再将初始聚类中心点传入K-means算法，最后生成预测框，预测框即为检测电力线中的故障位置。

步骤1)采集电力线故障数据集的过程为：用高清摄像机拍摄电力线图像 1562张，其中设置摄像机的分辨率为2456*2058像素，对原始图像采用放大(图像宽、高放大至1.5倍)、缩小(图像宽缩小至1/3，高缩小至1/2，保证图像尺寸是32的倍数)、亮度增强、亮度减弱、翻转(90°与180°)、裁剪6种方法进行图像数增量，得到11634张图像，再用图像标注工具Labelimg对11634 张图像采用8种电力线故障进行标注，标注分类为"杆塔单元缺陷","绝缘子串缺陷","金具缺陷","架空地线故障","导线故障","鸟窝","线夹缺陷","防震锤缺陷"。

步骤2)中所述的提高特征图的得分步骤为：

2.1YOLOv3卷积层中有3*3的卷积核，SkNet结构中同样有3*3的卷积核，为保持检测速度，从YOLOv3的第4卷积层的3*3卷积核开始，YOLOv3网络中的 3*3卷积核都替换为SkNet结构的3*3的卷积核，其中，YOLOv3网络中3*3卷积核共替换了23个SkNet结构的3*3卷积核，得到SK-YOLOv3网络模型；

2.2将步骤1)的训练集图像输入到SK-YOLOv3网络模型中，每张图像首先经过SK-YOLOv3网络模型中YOLOv3的1*1卷积层，然后传入SK-YOLOv3网络模型中SkNet结构，变成大小为W*H*C的特征图，其中W是宽度，H是高度，C是通道数，特征图通过SK-YOLOv3网络模型中SkNet结构的3*3和5*5的卷积核得到两个不同的感受野的特征图，两个特征图分别用

和

表示，对两个特征图进行加操作得到U：

2.3对U进行fuse操作，为了获得全局信息，使用全局平均池化，

gp表示全局平均池化，i和j代表特征图的像素点矩阵，U_c是不同通道的特征图，在s_c后面加连接层z，

z＝F_fc(s_c)＝δ(β(w_sc))，

δ是Relu激活函数，β是批量归一化操作，w_sc是卷积核的权重；

2.4对U进行select操作，将z经过softmax操作得到a_c,b_c，

A_c和B_c人为设定，A_c和B_c是对z进行维度压缩的调节器，最后选择不同scale 的信息使用V来完成，V为得分最高的特征图，

2.5由于V是得分最高的特征图，所以将V传入到SK-YOLOv3网络模型中 YOLOv3的shortcut层进行训练，使SK-YOLOv3网络更加关注得分高的特征图，最后经过SK-YOLOv3网络模型将不同电力线故障得分高的特征图和对应的权重打包成权重文件。

步骤3)中所述的生成预测框具体步骤如下：

3.1将步骤2)学习得到的权重和步骤1)中的验证集图像进行匹配，通过权重对图像进行特征图分割，根据图像里面的故障特征得分将图像分为X个特征；

3.2进行图像特征标准化，图像分类特征的集合为X＝{x₁，x₂，…，x_n}，在X集合中，任意一个样本x_j中有m个指标，使用样本x_j来表标特性指标向量,

x_j＝(x_j1,x_j2,…,x_jm)，

x_jm表示在样本x_j中第m个特性的指标，那么n个样本的特性指标的矩阵如下:

3.3通过数据变换将x_j中的值约束到[0,1]之间，提出模糊均值聚类算法的目标函数和约束条件为，

其中，N为图像像素总数，C是图像分类数，u_ij表示像素x_j属于第i类的隶属度，m是一个大于1的模糊加权系数，c_i＝{c₁,…,c_n}表示第i个聚类中心，d(x_j,c_i) 表示第j个数据点到第i个聚类中心的马氏距离，α₁表示控制邻域像素影响的平衡参数，马氏距离公式如下：

d²(x_j,c_i)＝(x_j-c_i)^Tv_i(x_j-c_i)

p代表特征图的维数；

3.4基于朗格朗日乘数法可求得第i个像素的聚类中心c_i和隶属度u_ij，

将c_i＝{c₁,...,c_k}，k为分类个数，作为初始聚类中心传入到K-means聚类算法，针对数据集中的每个样本x_j，计算x_j到K个聚类中心的距离并将其分到距离最小的聚类中心c_i所对应的类；

3.5针对每个聚类中心c_i，重新计算它的聚类中心：

重复计算距离和更新聚类中心，直到聚类中心的位置不再变化，聚类中心的位置即为预测框的位置，预测框的位置就是检测出故障的位置。

SK-YOLOv3网络模型收敛性验证：

使用SK-YOLOv3网络模型对步骤1)的测试集进行训练，在GPU服务器上迭代训练600次，在训练过程中，收集SK-YOLOv3网络模型每一次迭代训练的日志信息，使用GIoU作为检测任务的Loss，并记录训练过程中的objectness，测试集的val GIOU和val objectness，通过对信息的可视化，SK-YOLOv3网络模型在训练过程中，随着迭代次数的不断增加，在前200次的迭代中，损失函数逐渐稳定收敛,收敛情况如图4所示，结果表明本例SK-YOLOv3网络模型在训练过程中可以较快收敛到稳定状态。

性能评估：

以查准率(P)与查全率(R)作为评价指标，使用相同数据集在相同的实验环境下，将本例方法分别与R-CNN,FAST-RCNN,FASTER-RCNN,不同改进策略的 YOLOV3作对比，电力线故障的检测结果如表1所示：

表1不同检测模型性能对比：

从上表可以看出，SK-YOLOv3网络的查准率和查全率最高，原因是SkNet结构使得特征图通过注意力机制选择不同的卷积核进行训练，提高了特征图的得分，增加分类的精度，使得网络的查准率和查全率更高。检测速度最快的网络是 YOLOv3,因为改进的网络算法增加了网络的层数，因此增加了检测时间。FYOLOv3 比YOLOv3查准率和查全率高是因为增加了预测框聚类算法，避免了随机初始点对预测结果的影响。通过SK-YOLOv3结构，查准率比原始YOLOV3提高了9个百分比，查全率提高了23个百分比。

Claims (4)

1.一种基于SK-YOLOv3的电力线故障智能检测方法，其特征在于，包括如下步骤：

1)采集电力线故障数据集，将数据集按7：3的比例分为训练集和测试集；

2)在YOLOv3网络中嵌入SkNet结构，得到SK-YOLOv3网络模型，将步骤1)的训练集图像输入SK-YOLOv3网络模型中，每张图像经过SK-YOLOv3网络模型中SkNet结构的3*3和5*5的卷积核得到两个不同的感受野的特征图，同时使用SkNet结构关注SK-YOLOv3网络模型中不同大小卷积核的权重，并通过SK-YOLOv3网络模型中SkNet结构里的Split,Fuse,Select三个操作提高特征图的得分，将得分最高的特征图传入到SK-YOLOv3网络模型中YOLOv3的shortcut层，使SK-YOLOv3网络关注得分最高的特征图，最后经过SK-YOLOv3网络模型将不同电力线故障得分高的特征图和对应的权重打包成权重文件；

3)将步骤2)学习得到的故障特征图的权重与步骤1)测试集的图像进行匹配，通过权重对图像进行特征图分割，根据图像的故障特征得分将图像分为X个特征，采用模糊均值聚类算法对X个特征生成图像特征初始聚类中心，再将初始聚类中心点传入K-means算法，最后生成预测框，预测框即为检测电力线中的故障位置。

2.根据权利要求1所述的基于SK-YOLOv3的电力线故障智能检测方法，其特征在于，步骤1)采集电力线故障数据集的过程为：用高清摄像机拍摄电力线图像，其中设置摄像机的分辨率为2456*2058像素，对原始图像采用放大、缩小、亮度增强、亮度减弱、翻转、裁剪6种方法进行图像数增量，再用图像标注工具Labelimg对增量后的所有图像采用8种电力线故障进行标注，标注分类为"杆塔单元缺陷","绝缘子串缺陷","金具缺陷","架空地线故障","导线故障","鸟窝","线夹缺陷","防震锤缺陷"。

3.根据权利要求1所述的基于SK-YOLOv3的电力线故障智能检测方法，其特征在于，步骤2)中所述的提高特征图的得分步骤为：

2.1YOLOv3卷积层中有3*3的卷积核，SkNet结构中同样有3*3的卷积核，为保持检测速度，从YOLOv3的第4卷积层的3*3卷积核开始，YOLOv3网络中的3*3卷积核都替换为SkNet结构的3*3的卷积核，其中，YOLOv3网络中3*3卷积核共替换了23个SkNet结构的3*3卷积核，得到SK-YOLOv3网络模型；

2.2将步骤1)的训练集图像输入到SK-YOLOv3网络模型中，每张图像首先经过SK-YOLOv3网络模型中YOLOv3的1*1卷积层，然后传入SK-YOLOv3网络模型中SkNet结构，变成大小为W*H*C的特征图，其中W是宽度，H是高度，C是通道数，特征图通过SK-YOLOv3网络模型中SkNet结构的3*3和5*5的卷积核得到两个不同的感受野的特征图，两个特征图分别用

和

表示，对两个特征图进行加操作得到U：

2.3对U进行fuse操作，为了获得全局信息，使用全局平均池化，

gp表示全局平均池化，i和j代表特征图的像素点矩阵，U_c是不同通道的特征图，在s_c后面加连接层z，

z＝F_fc(s_c)＝δ(β(w_sc))，

δ是Relu激活函数，β是批量归一化操作，w_sc是卷积核的权重；

2.4对U进行select操作，将z经过softmax操作得到a_c，b_c，

A_c和B_c人为设定，A_c和B_c是对z进行维度压缩的调节器，最后选择不同scale的信息使用V来完成，V为得分最高的特征图，

a_c+b_c＝1；

2.5由于V是得分最高的特征图，所以将V传入到SK-YOLOv3网络模型中YOLOv3的shortcut层进行训练，使SK-YOLOv3网络更加关注得分高的特征图，最后经过SK-YOLOv3网络模型将不同电力线故障得分高的特征图和对应的权重打包成权重文件。

4.根据权利要求1所述的基于SK-YOLOv3的电力线故障智能检测方法，其特征在于，步骤3)中所述的生成预测框具体步骤如下：

3.1将步骤2)学习得到的权重和步骤1)中的验证集图像进行匹配，通过权重对图像进行特征图分割，根据图像里面的故障特征得分将图像分为X个特征；

3.2进行图像特征标准化，图像分类特征的集合为X＝{x₁，x₂，…，x_n}，在X集合中，任意一个样本x_j中有m个指标，使用样本x_j来表标特性指标向量，

x_j＝(x_j1，x_j2，...，x_jm)，

x_jm表示在样本x_j中第m个特性的指标，那么n个样本的特性指标的矩阵如下：

3.3通过数据变换将x_j中的值约束到[0，1]之间，提出模糊均值聚类算法的目标函数和约束条件为，

其中，N为图像像素总数，C是图像分类数，u_ij表示像素x_j属于第i类的隶属度，m是一个大于1的模糊加权系数，c_i＝{c₁，…，c_n}表示第i个聚类中心，d(x_j，c_i)表示第j个数据点到第i个聚类中心的马氏距离，α₁表示控制邻域像素影响的平衡参数，马氏距离公式如下：

d²(x_j，c_i)＝(x_j-c_i)^Tv_i(x_j-c_i)

p代表特征图的维数；

3.4基于朗格朗日乘数法可求得第i个像素的聚类中心c_i和隶属度u_ij，

将c_i＝{c₁，...，c_k}，k为分类个数，作为初始聚类中心传入到K-means聚类算法，针对数据集中的每个样本x_j，计算x_j到K个聚类中心的距离并将其分到距离最小的聚类中心c_i所对应的类；

3.5针对每个聚类中心c_i，重新计算它的聚类中心：

重复计算距离和更新聚类中心，直到聚类中心的位置不再变化，聚类中心的位置即为预测框的位置，预测框的位置就是检测出故障的位置。

Images