CN114283117A - 一种基于改进YOLOv3卷积神经网络的绝缘子缺陷检测方法 - Google Patents

Abstract

本发明公开了一种基于改进YOLOv3卷积神经网络的绝缘子缺陷检测方法，该方法首先通过电网无人机巡检图像、公共数据集以及采用图像样本扩充方法构建输电线路绝缘子图像数据库，并利用LabelImg图像标注工具对绝缘子以及绝缘子上的缺陷进行标签制作；其次从减少漏检、提高检测精度这两个方面对YOLOv3的网络结构进行改进，提出基于注意力机制、加权密集连接金字塔结构和双分支跨层注意力模块的改进YOLOv3卷积神经网络；接着通过模型训练与训练参数调整，获得其最优检测模型，最后对输电线路绝缘子缺陷进行检测。本发明能够克服电网巡检图像中绝缘子缺陷尺寸太小、误检和漏检率高的问题，提高了在复杂环境下绝缘子缺陷检测的准确性和快速性，以确保供电系统的安全。

Description

一种基于改进YOLOv3卷积神经网络的绝缘子缺陷检测方法

技术领域

本发明属于电力系统输电线路检测技术领域，涉及一种基于改进YOLOv3卷积神经网络的绝缘子缺陷检测方法。

背景技术

电力是我国重要的可再生能源，随着国家经济的快速发展，整个社会对电力的需求也越来越大，电网的安全对整个国家和国民经济的发展至关重要。绝缘子是输电线中不可缺少的组成部分，具有支撑电线阻隔电流的功能，它的完整性对于整个输电线的安全和在保证输电的稳定方面具有重要的作用。然而绝缘子长期暴露于恶劣的环境中，容易受到雨、雪和雷击的侵蚀，无法避免地出现破损、爆炸和裂缝的问题。绝缘子一旦破损，轻则造成电力中断，重则造成电网瘫痪，因此对绝缘子完整性的识别检测至关重要。

传统的绝缘子缺陷检测主要是人工检测，这种方法既低效又耗时而且危险系数太高。一方面，绝缘子都处在高空中，传统的通过无人机拍摄图片，然后再依靠人眼去观察图片判断绝缘子的好坏，效率低下并且长时间用眼容易疲劳造成误检和漏检；另一方面，绝缘子所处的环境都比较恶劣如处于高压或者深山的环境中，遇上雨、雪和风暴恶劣天气时，危险系数更大。近年来，随着深度学习的发展和卷积神经网络在计算视觉的广泛应用，为航拍绝缘子图像的检测与识别提供了新的技术支持。该技术利用卷积神经网络(ConvolutionalNeural Networks,CNN)具有提取图像特征的特点，通过训练使模型具有自主识别目标的能力。目前，基于深度学习的主流目标检测算法分两种，一种是二阶段(two-stage),另一种是单阶段(one-stage)；其中Faster-RCNN是二阶段目标检测网络的经典算法，而SSD和YOLOv3是单阶段目标检测网络的经典算法。然而，采用Faster-RCNN进行输电线路的绝缘子缺陷检测，发现检测精度并没有达到很好的效果，而且存在误检率较大和推理速度无法达到实时性的缺点；采用SSD进行输电线路的绝缘子缺陷检测，发现存在检测精度较差和漏检率较高的问题；而采用YOLOv3进行输电线路绝缘子的缺陷检测，检测精度虽然比采用Faster-RCNN和SSD的都高，但依旧存在有提升的空间，而且存在对小绝缘子难以检测的问题。

因此，本发明针对上面所提及对输电线路的绝缘子缺陷检测存在的各种问题，提出了一种基于改进YOLOv3卷积神经网络的绝缘子缺陷检测方法，它不仅能够改变传统人工巡检的检测方式，使输电线路绝缘子缺陷检测更高效、更安全、更节省人力，而且能够解决采用原YOLOv3进行输电线路的绝缘子缺陷检测中存在的对小绝缘子漏检严重的问题，从而提高了检测召回率。

发明内容

本发明提出一种基于改进YOLOv3卷积神经网络的绝缘子缺陷检测方法，从减少误检漏检、提高检测精度这两个方面对YOLOv3的网络结构进行改进，提出基于注意力机制、加权密集连接金字塔结构和双分支跨层注意力模块的改进YOLOv3卷积神经网络，能够实现降低复杂环境背景、目标多尺度和小目标的因素对检测精度的影响，大幅度提高检测精度。

为解决上述技术问题，本发明采用如下技术方案：一种基于改进YOLOv3卷积神经网络的绝缘子缺陷检测方法，包括以下步骤：

步骤1、构建绝缘子缺陷数据集：基于无人机采集的绝缘子缺陷数据集和公开的绝缘子缺陷数据集，去除图像不清晰以及有歧义的图片，通过数据增强技术，增加数据集图片数量，构建一个完整的绝缘子缺陷数据集；

步骤2、建立数据集的图像标签库：利用LabelImg图像标注工具对绝缘子以及绝缘子上的缺陷进行标注；

步骤3、将做好标签的数据集划分为训练集和测试集；

步骤4、构造基于改进的YOLOv3卷积神经网络：首先，引入卷积核注意力模块SKNet，YOLOv3主干网络的共有res1、res2、res8、res8和res4五个残差块，从主干网络的第二个残差块res2、第三个残差块res8、第四个残差块res8和第五个残差块res4分别引出一个输出分支,共四个分支，在每个分支后面分别添加一个卷积核注意力模块SKNet，然后，构建一个加权密集连接金字塔模块替换原YOLOv3的特征融合Neck模块，将每个经过卷积核注意力模块SKNet的分支的输出特征图作为加权密集连接金字塔模块的输入，接着，构建一个双分支跨层注意力模块，将加权密集连接金字塔模块输出的特征图输入到双分支跨层注意力模块中，最后，将双分支跨层注意力模块输出的特征图输入YOLOv3卷积神经网络检测头；

步骤5、使用数据集中的训练集对改进的YOLOv3卷积神经网络进行训练与参数调节，最终得到最优卷积神经网络模型；

步骤6、将数据集中的测试集输入训练好的改进YOLOv3卷积神经网络模型，输出绝缘子检测结果和目标位置信息，实现输电线路绝缘子缺陷检测。

优选的方案中，步骤1的实现包括：首先，使用无人机对野外输电线杆塔上的绝缘子进行拍摄，去除其中拍摄不清晰以及有歧义的图片后得到巡检的绝缘子图片数据，再与网上公开发布的数据集进行组合，然后，通过旋转、镜像、加噪声和亮度调整的技术对数据集图片进行数据增强，最终获得包含3440张图片的数据集；

优选的方案中，步骤2的实现包括：使用图像标注工具LabelImg对每一张图片上待检测的目标进行人工标注，不同的待检测目标物体的标签类别不同，每个图片经过标注后都会生成一个包含图片所有目标类别标注信息的xml文件；

优选的方案中，步骤3的实现包括：使用随机分配的方法对3440张数据集图片按4:1的比例进行随机划分，其中训练集2752张，测试集688张；

优选的方案中，步骤4中引入卷积核注意力模块SKNet的实现包括：首先，从YOLOv3主干网络的第二个残差块res2、第三个残差块res8、第四个残差块res8和第五个残差块res4分别引出一个输出分支，然后在每一个分支后面各接上一个卷积核注意力模块SKNet。

优选的方案中，步骤4中构建一个加权密集连接金字塔模块替换原YOLOv3的特征融合Neck模块的实现包括：

首先，从YOLOv3主干网络的第二个残差块res2、第三个残差块res8、第四个残差块res8和第五个残差块res4分别引出一个输出分支，在每一个分支后面各接上一个卷积核注意力模块SKNet，将经卷积核注意力模块SKNet的各分支的输出特征图分别作为特征图1、特征图2、特征图3和特征图4；

然后，特征图1、特征图2、特征图3和特征图4通过卷积操作、邻近插值法和池化操作调整特征图的通道数和大小，进行自顶向下、自底向上、横向连接和跨层连接的特征融合操作；

最后，对于每一个用于进行特征融合的特征图乘以一个能训练的权重参数，形成一个加权密集连接金字塔模块用于替换原YOLOv3的特征融合Neck模块。

优选的方案中，步骤4中构建一个双分支跨层注意力模块的实现包括：

首先，从加权密集连接金字塔模块引出四个输出，按其特征图从大到小排列分别作为特征图a、特征图b、特征图c和特征图d；

然后，将特征图a分别与特征图b、特征图c和特征图d作为三个双分支跨层注意力模块的两个输入，输入的特征图a先分别经过下采样操作调整成跟特征图b、特征图c和特征图d同样大小的特征图；

最后，对两个同样大小的特征图，分别经过卷积操作、全局平均池化、全连接层和激活函数Sigmoid操作，将经过激活函数Sigmoid操作得到的特征图与另一条支路输入特征图进行相乘操作，再将经过相乘操作后的两个特征图进行相加操作得到最终的特征图。

优选的方案中，步骤5的实现包括：使用数据集中的训练集对改进的YOLOv3卷积神经网络进行训练；网络模型共训练34000次，图片输入尺寸为416×416像素，一个批次训练8个样本，设置模型的初始学习率为0.001，动量为0.94，使用随机梯度下降算法，权重衰减为0.0005，最后根据训练结果进行参数调优。

优选的方案中，步骤6的实现包括：通过训练得到最优模型的训练权重和改进的YOLOv3网络模型，并在测试过程中加载训练权重和网络结构得到改进后的YOLOv3网络模型，将测试集的图片输入到网络模型中，用检测框的不同颜色来表示正常绝缘子和缺陷绝缘子，将识别出的目标类别以及定位到的坐标信息显示在原图像上。

本发明相对于现有技术具有如下的优点及效果：

1、针对模型误检、漏检率较高和背景复杂的问题，本发明方法通过添加卷积核注意力模块SKNet的方式解决这个问题，提升了检测精度和召回率；

2、针对目标物体多尺度和小目标的问题，本发明方法通过构建一个加权密集连接金字塔模块替换原YOLOv3的特征融合Neck模块和构建一个双分支跨层注意力模块的方式解决这两个问题，最终提升对多尺度目标的检测精度。

附图说明

图1是本发明一种基于改进YOLOv3卷积神经网络的绝缘子缺陷检测方法的流程图。

图2是本发明实施例的部分绝缘子缺陷的数据集图像。

图3是本发明实施例中应用的改进YOLOv3卷积神经网络模型结构图。

图4是本发明实施例中应用的卷积核注意力模块SKNet的模型结构图。

图5是本发明实施例中应用的加权密集连接金字塔网络的模型结构图。

图6是本发明实施例中应用的双分支跨层注意力模块的模型结构图。

图7是本发明实施例的部分测试集上的测试结果图片。

具体实施方式

本发明提出的一种基于改进YOLOv3卷积神经网络的绝缘子缺陷检测方法，结合附图详细说明如下：

图1是本发明一种基于改进YOLOv3卷积神经网络的绝缘子缺陷检测方法的流程图，包括以下步骤：

步骤1、构建绝缘子缺陷数据集；

基于无人机采集的一个缺陷绝缘子数据集和公开的绝缘子缺陷数据集组合成一个完整的数据集，其中无人机巡检采集200张图片，公开的绝缘子数据集248张，去除图像不清晰以及有歧义的图片，通过旋转、镜像、加噪声和亮度调整的增强技术，增加数据集图片数量至3440张，如图2是本发明实施例的部分绝缘子缺陷的数据集图像。

步骤2、建立数据集的图像标签库；

使用图像标注工具LabelImg对每一张图片上待检测的目标进行人工标注，不同的待检测目标物体的标签类别不同，每个图片经过标注后都会生成一个包含图片所有目标类别标注信息的xml文件。

步骤3、数据集划分：使用随机分配的方法对3440张数据集图片按4:1的比例进行随机划分，其中训练集2752张，测试集688张。

步骤4、构造改进的YOLOv3卷积神经网络：

图3是本发明实施例中应用的改进YOLOv3卷积神经网络模型结构图。首先，保持原YOLOv3的主干网络不变，YOLOv3的主干网络是由darknet中卷积块DBL和由残差单元Res_unit构成的残差块Resbock_body共同构成的Darknet-53，其中卷积块由卷积conv、批归一化BN和激活函数Leaky relu构成，残差单元Res_unit由两个DBL顺序连接、一个残差连接和一个相加操作构成，残差块Resbock_body由一个零填充Zero padding、一个DBL和n个残差单元顺序连接构成，其中n表示有几个残差单元；然后引入卷积核注意力模块SKNet，从YOLOv3主干网络的第二个残差块res2、第三个残差块res8、第四个残差块res8和第五个残差块res4分别引出一个输出分支，在每一个分支后面各接上一个卷积核注意力模块SKNet，接着，构建一个加权密集连接金字塔模块替换原YOLOv3的特征融合Neck模块，将经卷积核注意力模块SKNet的各分支的输出特征图分别作为加权密集连接金字塔模块的输入特征图，紧接着将加权密集连接金字塔模块输出的四个不同尺寸的特征图分别输入三个双分支跨层注意力模块，最后将三个双分支跨层注意力模块输出的三个不同大小特征图输入YOLOv3的原检测头YOLO_head。

步骤5、使用数据集中的训练集对改进的YOLOv3卷积神经网络进行训练与参数调节，最终得到最优卷积神经网络模型：

首先采用迁移学习的方法加载主干网络的预训练权重，然后载入训练集数据训练网络模型，一共训练34000次，图片输入尺寸为416×416像素，一个批次训练8个样本，设置模型的初始学习率为0.001，动量为0.94，使用随机梯度下降算法，权重衰减为0.0005，最后根据训练结果进行参数调优，直到获得最优的训练模型结果，将最优的模型权重结果保存下来。

步骤6、将数据集中的测试集输入训练好的改进YOLOv3卷积神经网络模型，输出绝缘子检测结果和目标位置信息，实现输电线路绝缘子缺陷检测：

通过训练得到最优的模型训练权重和改进的YOLOv3的网络模型，并在测试过程中加载训练权重和网络结构得到改进后的YOLOv3网络模型，将测试集的图片输入到网络模型中，用检测框的不同颜色来表示正常绝缘子和缺陷绝缘子，将识别出的目标类别以及定位到的坐标信息显示在原图像上，最终的检测结果如图7所示。

图4是本发明实施例中应用的卷积核注意力模块SKNet的模型结构图。

首先，将输入大小为C×H×W的特征图U分别经过一个5×5卷积操作和一个3×3卷积操作，分别得到两个尺寸大小为C×H×W的特征图U1和U2。再将这两个特征图进行元素相加操作得到大小为C×H×W的特征图U3，接着对融合后的特征图U3进行全局平均池化操作，将特征图对H和W两个维度求平均值，得到一个C×1×1的一维向量，代表的是特征图各个通道的信息的重要程度。紧接着输入一个全连接层，得到C×1×1大小的一维特征向量，再接着对得到的一维特征向量使用激活函数softmax进行归一化操作。最后将经过激活函数softmax归一化操作后的一维特征向量分成两部分，分别与最初的两个特征图U1和U2进行元素相乘操作，再将相乘后的两个特征图U4和U5进行元素求和操作，最终得到和原始输入特征图同样大小的特征图U6，并输入到加权密集连接金字塔模块中作为输入。

图5是本发明实施例中应用的加权密集连接金字塔网络的模型结构图。

首先，从YOLOv3主干网络的第二个残差块res2、第三个残差块res8、第四个残差块res8和第五个残差块res4分别引出一个输出分支，在每一个分支后面各接上一个卷积核注意力模块SKNet，将经卷积核注意力模块SKNet的各分支的输出特征图分别作为特征图1、特征图2、特征图3和特征图4；

然后，特征图1、特征图2、特征图3和特征图4通过卷积、上采样和下采样调整特征图的通道数和大小，进行自顶向下、自底向上、横向连接和跨层连接的特征融合操作；

最后，对于每一个用于进行特征融合的特征图乘以一个能训练的权重参数w，其中w1、w2…w23分别代表不同的权重参数，形成一个加权密集连接金字塔模块用于替换原YOLOv3的特征融合Neck模块。

图6是本发明实施例中应用的双分支跨层注意力模块的模型结构图。

首先，从加权密集连接金字塔模块引出四个输出，按其特征图从大到小排列分别作为特征图a、特征图b、特征图c和特征图d；

然后，将特征图a分别与特征图b、特征图c和特征图d作为三个双分支跨层注意力模块的两个输入X和Y，其中特征图X表示底层较大的特征图，特征图Y表示高层较小的特征图，输入的特征图X先经过下采样操作调整成跟特征图Y同样大小的特征图X1；

最后，对于特征图Y先经过一个全局平均池化、再经过两个全连接层操作、接着经过激活函数Sigmoid操作，最后与特征图X进行相乘操作的得到特征图X2，对于特征图X1先经过两个1×1的卷积、再经过激活函数Sigmoid操作，最后与特征图Y进行相乘操作的得到特征图Y1，将获得的特征图X1和特征图Y1进行相加操作得到最终的特征图Z。

图7是本发明实施例的部分测试集上的测试结果图片。其中用检测框的不同颜色来表示正常绝缘子insulator和缺陷绝缘子defect，将识别出的目标类别以及定位到的坐标信息显示在原图像上。

Claims (9)

1.一种基于改进YOLOv3卷积神经网络的绝缘子缺陷检测方法，其特征在于，包括以下步骤：

步骤1、构建绝缘子缺陷数据集：基于无人机采集的绝缘子缺陷数据集和公开的绝缘子缺陷数据集，去除图像不清晰以及有歧义的图片，通过数据增强技术，增加数据集图片数量，构建一个完整的绝缘子缺陷数据集；

步骤2、建立数据集的图像标签库：利用LabelImg图像标注工具对绝缘子以及绝缘子上的缺陷进行标注；

步骤3、将做好标签的数据集划分为训练集和测试集；

步骤4、构造基于改进的YOLOv3卷积神经网络：首先，引入卷积核注意力模块SKNet，YOLOv3主干网络的共有res1、res2、res8、res8和res4五个残差块，从主干网络的第二个残差块res2、第三个残差块res8、第四个残差块res8和第五个残差块res4分别引出一个输出分支,共四个分支，在每个分支后面分别添加一个卷积核注意力模块SKNet，然后，构建一个加权密集连接金字塔模块替换原YOLOv3的特征融合Neck模块，将每个经过卷积核注意力模块SKNet的分支的输出特征图作为加权密集连接金字塔模块的输入，接着，构建一个双分支跨层注意力模块，将加权密集连接金字塔模块输出的特征图输入到双分支跨层注意力模块中，最后，将双分支跨层注意力模块输出的特征图输入YOLOv3卷积神经网络检测头；

步骤5、使用数据集中的训练集对改进的YOLOv3卷积神经网络进行训练与参数调节，最终得到最优卷积神经网络模型；

步骤6、将数据集中的测试集输入训练好的改进YOLOv3卷积神经网络模型，输出绝缘子检测结果和目标位置信息，实现输电线路绝缘子缺陷检测。

2.根据权利要求1所述一种基于改进YOLOv3卷积神经网络的绝缘子缺陷检测方法，其特征在于，步骤1的实现包括：首先，使用无人机对野外输电线杆塔上的绝缘子进行拍摄，去除其中拍摄不清晰以及有歧义的图片后得到巡检的绝缘子图片数据，再与网上公开发布的数据集进行组合，然后，通过旋转、镜像、加噪声和亮度调整的技术对数据集图片进行数据增强，最终获得包含3440张图片的数据集。

3.根据权利要求1所述一种基于改进YOLOv3卷积神经网络的绝缘子缺陷检测方法，其特征在于，步骤2的实现包括：使用图像标注工具LabelImg对每一张图片上待检测的目标进行人工标注，不同的待检测目标物体的标签类别不同，每个图片经过标注后都会生成一个包含图片所有目标类别标注信息的xml文件。

4.根据权利要求1所述一种基于改进YOLOv3卷积神经网络的绝缘子缺陷检测方法，其特征在于，步骤3的实现包括：使用随机分配的方法对3440张数据集图片按4:1的比例进行随机划分，其中训练集2752张，测试集688张。

5.根据权利要求1所述一种基于改进YOLOv3卷积神经网络的绝缘子缺陷检测方法，其特征在于，步骤4中引入卷积核注意力模块SKNet的实现包括：首先，从YOLOv3主干网络的第二个残差块res2、第三个残差块res8、第四个残差块res8和第五个残差块res4分别引出一个输出分支，然后在每一个分支后面各接上一个卷积核注意力模块SKNet。

6.根据权利要求1所述一种基于改进YOLOv3卷积神经网络的绝缘子缺陷检测方法，其特征在于，步骤4中构建一个加权密集连接金字塔模块替换原YOLOv3的特征融合Neck模块的实现包括：

首先，从YOLOv3主干网络的第二个残差块res2、第三个残差块res8、第四个残差块res8和第五个残差块res4分别引出一个输出分支，在每一个分支后面各接上一个卷积核注意力模块SKNet，将经卷积核注意力模块SKNet的各分支的输出特征图分别作为特征图1、特征图2、特征图3和特征图4；

然后，特征图1、特征图2、特征图3和特征图4通过卷积操作、邻近插值法和池化操作调整特征图的通道数和大小，进行自顶向下、自底向上、横向连接和跨层连接的特征融合操作；

最后，对于每一个用于进行特征融合的特征图乘以一个能训练的权重参数，形成一个加权密集连接金字塔模块用于替换原YOLOv3的特征融合Neck模块。

7.根据权利要求1所述一种基于改进YOLOv3卷积神经网络的绝缘子缺陷检测方法，其特征在于，步骤4中构建一个双分支跨层注意力模块的实现包括：

首先，从加权密集连接金字塔模块引出四个输出，按其特征图从大到小排列分别作为特征图a、特征图b、特征图c和特征图d；

然后，将特征图a分别与特征图b、特征图c和特征图d作为三个双分支跨层注意力模块的两个输入，输入的特征图a先经过下采样操作调整成跟特征图b、特征图c和特征图d同样大小的特征图；

最后，对两个同样大小的特征图，分别经过卷积操作、全局平均池化、全连接层和激活函数Sigmoid操作，将经过激活函数Sigmoid操作得到的特征图与另一条支路输入特征图进行相乘操作，再将经过相乘操作后的两个特征图进行相加操作得到最终的特征图。

8.根据权利要求1所述一种基于改进YOLOv3卷积神经网络的绝缘子缺陷检测方法，其特征在于，步骤5的实现包括：使用数据集中的训练集对改进的YOLOv3卷积神经网络进行训练；网络模型共训练34000次，图片输入尺寸为416×416像素，一个批次训练8个样本，设置模型的初始学习率为0.001，动量为0.94，使用随机梯度下降算法，权重衰减为0.0005，最后根据训练结果进行参数调优。

9.根据权利要求1所述一种基于改进YOLOv3卷积神经网络的绝缘子缺陷检测方法，其特征在于，步骤6的实现包括：通过训练得到最优模型的训练权重和改进的YOLOv3网络模型，并在测试过程中加载训练权重和网络结构得到改进后的YOLOv3网络模型，将测试集的图片输入到网络模型中，用检测框的不同颜色来表示正常绝缘子和缺陷绝缘子，将识别出的目标类别以及定位到的坐标信息显示在原图像上。

Images