CN115984238A - 一种基于深度神经网络的电网绝缘子缺陷检测方法及系统 - Google Patents

Abstract

本发明公开了一种基于深度神经网络的电网绝缘子缺陷检测方法及系统，方法包括：采集电网绝缘子样本图像，并对电网绝缘子样本图像进行处理；建立Yolov5深度神经网络模型，Yolov5深度神经网络模型包括输入层、Backbone模块、Neck模块、检测头模块以及缺陷检测分支模块，检测头模块包括目标位置预测分支模块和目标角度检测分支模块；将处理后的电网绝缘子样本图像输入至Yolov5深度神经网络模型进行训练直到所述Yolov5深度神经网络模型收敛；采集实时绝缘子图像，将所述实时绝缘子图像输入至训练后的Yolov5深度神经网络模型，获得缺陷识别结果；该方法能够提高绝缘子缺陷检测效率。

Description

一种基于深度神经网络的电网绝缘子缺陷检测方法及系统

技术领域

本发明涉及电网绝缘子缺陷检测技术领域，尤其涉及一种基于深度神经网络的电网绝缘子缺陷检测方法及系统。

背景技术

Yolov5是一种one-stage(一阶段)目标检测方法，广泛应用于各种目标检测任务场景；它能够充分利用深度神经网络的特征提取能力以保证检测精度，同时利用one-stage的网络结构设计获得较高的检测速度。基于Yolov5的深度神经网络结构如图1所示，主要由四个部分组成：输入层1、网络主干Backbone模块2、Neck模块3、检测头模块4；其中输入端分辨率为3×640×640；Neck模块主要由PANet和FPN网络结构构成；由于Yolov5基础结构在coco数据集训练80类目标检测，因此其检测头模块的输出维度分别为3×80×80×85、3×40×40×85和3×20×20×85，其中85由目标得分(1维)、目标框(4维)和分类结果(80维)组成。

传统绝缘子缺陷的智能检测方法是通过滑动窗口进行正负样本采样，提取图像手工特征，训练支持向量机分类器来检测绝缘子的位置，截取绝缘子局部图像，结合图像形态学和水平投影技术来定位绝缘子缺陷位置。该方法中，由于手工特征的特征表示能力有限、分类器区分前景背景能力弱等问题，导致整个算法的泛化性差，绝缘子缺陷检测的精度较低。

现有技术也有采用深度学习方法来进行绝缘子缺陷的智能检测，主要分为两类：一种是直接在整个图像中利用two-stage(两阶段)或one-stage(一阶段)目标检测算法检测绝缘子缺陷位置，例如Faster-rcnn和ssd、Yolo等；另外一种是先通过深度学习目标检测方法定位出绝缘子的位置，截取该部分的图像，再利用二次目标检测或者图像分割技术来检测绝缘子缺陷。深度神经网络提取到的特征，包含了浅层的形状、颜色特征，也包含了深层的语义特征，结合学习的网络模型参数，能够使得算法精度得以提升。

但是使用深度学习方法检测绝缘子缺陷也存在诸多问题，若直接在整个巡检图像中使用深度学习方法来检测绝缘子缺陷，由于含有缺陷的样本量较少，无法满足检测大模型参数的训练需求，只能通过样本增强或者人工贴图等方式来增加样本，此类样本容易导致模型过拟合，降低模型的泛化性。另外由于巡检图像的分辨率通常较大，而绝缘子的缺陷位置分辨率较小，这加大了目标检测模型对于小目标检测的学习难度。

专利文献CN115272169A公开了一种基于智能机器人的绝缘子检测方法和系统，具体包括：通过摄像单元对待检测绝缘子进行拍摄以获取相应的目标检测图像；根据改进的YOLOv5检测模型对所述目标检测图像进行图像识别，以获取绝缘子检测图像；根据ESPNet语义分割模型对所述绝缘子检测图像进行语义分割处理，以获取对应的前景掩模图像；采用改进的GAN模型对所述绝缘子检测图像进行区域重构，以获取第一重构图像；根据所述第一重构图像、所述绝缘子检测图像和所述前景掩模图像判断所述绝缘子是否存在绝缘子瑕疵，以及在所述绝缘子存在所述绝缘子瑕疵时，对所述绝缘子瑕疵进行定位。

对于先通过目标检测算法定位绝缘子，再基于绝缘子局部图像检测其中缺陷位置的方法，则需要训练两个模型，导致计算量增大、检测速度慢。由于巡检图像中绝缘子通常是倾斜的、带旋转角度的，目标检测模型会输出正的外接矩形框，这样使得利用绝缘子的检测结果截取的局部图像中包含很多无用的背景信息，严重降低了第二步中对于绝缘子缺陷的检测精度。此外，采用图像分割来进行缺陷检测的方案，需要大量的标注样本，而图像分割训练样本的标注是一个非常大的工作量。

发明内容

本发明提供了一种基于深度神经网络的电网绝缘子缺陷检测方法及系统，能够有效提高绝缘子缺陷检测精度，并且降低计算量，提高检测效率。

一种基于深度神经网络的电网绝缘子缺陷检测方法，包括：

采集电网绝缘子样本图像，并对所述电网绝缘子样本图像进行处理；

建立Yolov5深度神经网络模型，所述Yolov5深度神经网络模型包括输入层、Backbone模块、Neck模块、检测头模块以及缺陷检测分支模块，所述检测头模块包括目标位置预测分支模块和目标角度检测分支模块；

将处理后的电网绝缘子样本图像输入至所述Yolov5深度神经网络模型进行训练直到所述Yolov5深度神经网络模型收敛；

采集实时绝缘子图像，将所述实时绝缘子图像输入至训练后的Yolov5深度神经网络模型，获得缺陷识别结果。

进一步地，所述电网绝缘子样本图像包括用于进行目标位置和目标角度检测的第一样本图像，以及用于进行缺陷检测的第二样本图像。

进一步地，对第一样本图像进行处理，包括：

对所述第一样本图像中的绝缘子特征进行旋转矩形框标注和缺陷类别标注；

计算获得旋转矩形框的四个顶点坐标，并进行归一化处理；

根据旋转矩形框的四个顶点坐标，计算旋转矩形框的中心点坐标、长边长度、短边长度以及旋转角度；

将旋转矩形框的中心点坐标、长边长度、短边长度、旋转角度以及缺陷类别组成特征向量。

进一步地，对第二样本图像进行处理，包括：

对所述第二样本图像中的绝缘子特征按照最小外接矩形进行截取；

将截取的绝缘子特征图像旋转至水平位置，并进行缺陷类别标注。

进一步地，处理后的第一样本图像输入至所述Yolov5深度神经网络模型的输入层，经过Backbone模块进行卷积处理之后传输至Neck模块，Neck模块对卷积处理后的第一样本图像进行8倍下采样、16倍下采样和32倍下采样之后，获得采样结果，将所述采样结果分别传输至目标位置预测分支模块以及目标角度检测分支模块，分别获得目标位置预测结果和角度预测结果；目标位置预测结果包括预测目标属于前景的得分、预测目标的中心点位置偏移量、预测目标框长边偏移量、预测目标框短边偏移量以及预测目标的类别概率值；角度预测结果包括各个角度下的分类概率值。

进一步地，所述缺陷检测分支模块包括特征融合模块、旋转矩阵计算模块、旋转融合模块、区域提取模块、感兴趣池化层、缺陷检测神经网络以及YOLO检测头；

处理后的第二样本图像输入至所述Yolov5深度神经网络模型的输入层，经所述、Backbone模块进行8倍采样和16倍采样之后发送至所述特征融合模块，所述特征融合模块对8倍采样和16倍采样之后的第二样本图像进行特征融合获得融合特征图；所述目标位置预测分支模块和目标角度检测分支模块输出的目标位置预测结果和角度预测结果输入至所述旋转矩阵计算模块进行计算，获得旋转矩阵；所述融合特征图和所述旋转矩阵输入至所述旋转融合模块进行处理，获得旋转特征图，所述区域提取模块对预测目标框进行旋转和感兴趣区域提取，获得旋转感兴趣区域，所述旋转特征图和旋转感兴趣区域输入至所述感兴趣池化层进行处理，获得绝缘子图像特征图，所述绝缘子图像特征图输入至所述缺陷检测神经网络进行缺陷预测，并通过所述YOLO检测头进行缺陷定位，输出缺陷预测结果。

进一步地，所述Yolov5深度神经网络模型基于目标位置预测的偏移量和角度分类误差联合训练，训练过程中计算损失函数的值，当损失函数的值的变化量小于预设阈值时所述所述Yolov5深度神经网络模型收敛。

进一步地，所述损失函数如下：

其中，N表示目标检测锚定框的总数量，n＝1,2,…,N，obj_n＝1表示预测目标所在区域是前景，obj_n＝0表示预测目标所在区域是背景，v′_nj表示预测目标位置偏移量，(x,y)表示目标检测锚定框中心点的位置坐标，w和h分别表示目标检测锚定框的长边长度和短边长度，v_nj表示实际目标位置偏移量，θ_n′表示预测目标旋转角度，θ_n表示实际目标旋转角度，c′_n表示预测目标的预测分类结果，c_n表示预测目标的实际分类结果，λ₁、λ₂和λ₃为设定常数；L_reg表示平滑损失函数，L_angle表示交叉熵损失函数，L_cls表示二分类交叉熵损失函数。

进一步地，所述目标位置预测分支模块包括第一卷积层、第一输出层、第二卷积层、第二输出层、第三卷积层以及第三输出层；

所述目标角度检测分支模块包括第一3×3卷积层、第一1×1卷积层、第二3×3卷积层、第二1×1卷积层、第三3×3卷积层、第三1×1卷积层、第一角度输出层、第二角度输出层以及第三角度输出层。

一种应用于上述方法的基于深度神经网络的电网绝缘子缺陷检测系统，包括：

样本采集处理模块，用于采集电网绝缘子样本图像，并对所述电网绝缘子样本图像进行处理；

模型建立模块，用于建立Yolov5深度神经网络模型，所述Yolov5深度神经网络模型包括输入层、Backbone模块、Neck模块、检测头模块以及缺陷检测分支模块，所述检测头模块包括目标位置预测分支模块和目标角度检测分支模块；

训练模块，用于将处理后的电网绝缘子样本图像输入至所述Yolov5深度神经网络模型进行训练直到所述Yolov5深度神经网络模型收敛；

识别模块，用于采集实时绝缘子图像，将所述实时绝缘子图像输入至训练后的Yolov5深度神经网络模型，获得缺陷识别结果。

进一步地，所述电网绝缘子样本图像包括用于进行目标位置和目标角度检测的第一样本图像，以及用于进行缺陷检测的第二样本图像。

进一步地，所述样本采集处理模块还用于对所述第一样本图像中的绝缘子特征进行旋转矩形框标注和缺陷类别标注；计算获得旋转矩形框的四个顶点坐标，并进行归一化处理；根据旋转矩形框的四个顶点坐标，计算旋转矩形框的中心点坐标、长边长度、短边长度以及旋转角度；将旋转矩形框的中心点坐标、长边长度、短边长度、旋转角度以及缺陷类别组成特征向量。

进一步地，所述样本采集处理模块还用于对所述第二样本图像中的绝缘子特征按照最小外接矩形进行截取；将截取的绝缘子特征图像旋转至水平位置，并进行缺陷类别标注。

进一步地，所述训练模块还用于：

处理后的第一样本图像输入至所述Yolov5深度神经网络模型的输入层，经过所述Backbone模块进行卷积处理之后传输至所述Neck模块，所述Neck模块对卷积处理后的第一样本图像进行8倍下采样、16倍下采样和32倍下采样之后，获得采样结果，将所述采样结果分别传输至所述目标位置预测分支模块以及目标角度检测分支模块，分别获得目标位置预测结果和角度预测结果；所述目标位置预测结果包括预测目标属于前景的得分、预测目标的中心点位置偏移量、预测目标框长边偏移量、预测目标框短边偏移量以及预测目标的类别概率值；所述角度预测结果包括各个角度下的分类概率值。

进一步地，所述缺陷检测分支模块包括特征融合模块、旋转矩阵计算模块、旋转融合模块、区域提取模块、感兴趣池化层、缺陷检测神经网络以及YOLO检测头；

处理后的第二样本图像输入至所述Yolov5深度神经网络模型的输入层，经所述Backbone模块进行8倍采样和16倍采样之后发送至所述特征融合模块，所述特征融合模块对8倍采样和16倍采样之后的第二样本图像进行特征融合获得融合特征图；所述目标位置预测分支模块和目标角度检测分支模块输出的目标位置预测结果和角度预测结果输入至所述旋转矩阵计算模块进行计算，获得旋转矩阵；所述融合特征图和所述旋转矩阵输入至所述旋转融合模块进行处理，获得旋转特征图，所述区域提取模块对预测目标框进行旋转和感兴趣区域提取，获得旋转感兴趣区域，所述旋转特征图和旋转感兴趣区域输入至所述感兴趣池化层进行处理，获得绝缘子图像特征图，所述绝缘子图像特征图输入至所述缺陷检测神经网络进行缺陷预测，并通过所述YOLO检测头进行缺陷定位，输出缺陷预测结果。

进一步地，所述训练模块基于目标位置预测的偏移量和角度分类误差对Yolov5深度神经网络模型联合训练，训练过程中计算损失函数的值，当损失函数的值的变化量小于预设阈值时所述所述Yolov5深度神经网络模型收敛。

进一步地，所述损失函数如下：

其中，N表示目标检测锚定框的总数量，n＝1,2,…,N，obj_n＝1表示预测目标所在区域是前景，obj_n＝0表示预测目标所在区域是背景，v′_nj表示预测目标位置偏移量，(x,y)表示目标检测锚定框中心点的位置坐标，w和h分别表示目标检测锚定框的长边长度和短边长度，v_nj表示实际目标位置偏移量，θ_n′表示预测目标旋转角度，θ_n表示实际目标旋转角度，c′_n表示预测目标的预测分类结果，c_n表示预测目标的实际分类结果，λ₁、λ₂和λ₃为设定常数；L_reg表示平滑损失函数，L_angle表示交叉熵损失函数，L_cls表示二分类交叉熵损失函数。

进一步地，所述目标位置预测分支模块包括第一卷积层、第一输出层、第二卷积层、第二输出层、第三卷积层以及第三输出层；

所述目标角度检测分支模块包括第一3×3卷积层、第一1×1卷积层、第二3×3卷积层、第二1×1卷积层、第三3×3卷积层、第三1×1卷积层、第一角度输出层、第二角度输出层以及第三角度输出层。

本发明提供的基于深度神经网络的电网绝缘子缺陷检测方法及系统，至少包括如下有益效果：

(1)提出的多任务的深度神经网络实现了绝缘子检测和缺陷检测两个任务的端到端训练，通过联合学习所有模型参数，使得网络结构变得简洁，训练复杂度降低，更容易收敛，用户只需关注输入的训练数据质量即可，减少训练样本，降低计算量；

(2)通过设计基于旋转目标检测的检测头模块结构，能够提升绝缘子目标位置定位的精度，尤其是带旋转角度的绝缘子，相较于传统的正矩形边界框，减少了背景信息的干扰，更加贴合的目标位置框，保障了后续任务准确率的提升；

(3)缺陷检测网络分支结构的设计，通过与主干网络的有机结合，使得该分支能够充分利用主干大网络提取的多层次特征，在完成绝缘子缺陷准确检测的同时，还能够降低了整个任务的计算量，保证了绝缘子缺陷检测的效率。

附图说明

图1为现有技术中的Yolov5深度神经网络模型基本结构示意图。

图2为本发明提供的基于深度神经网络的电网绝缘子缺陷检测方法一种实施例的流程图。

图3为本发明提供的基于深度神经网络的电网绝缘子缺陷检测方法中的Yolov5深度神经网络模型的结构示意图。

图4为本发明提供的基于深度神经网络的电网绝缘子缺陷检测方法中对第一样本图像进行处理一种实施例的流程图。

图5为本发明提供的基于深度神经网络的电网绝缘子缺陷检测方法中检测头一种实施例的结构示意图。

图6为本发明提供的基于深度神经网络的电网绝缘子缺陷检测方法中对第二样本图像进行处理一种实施例的流程图。

图7为本发明提供的基于深度神经网络的电网绝缘子缺陷检测方法中缺陷检测分支模块一种实施例的结构示意图。

图8为本发明提供的基于深度神经网络的电网绝缘子缺陷检测系统一种实施例的流程图。

具体实施方式

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案做详细的说明。

参考图2和图3，在一些实施例中，提供一种基于深度神经网络的电网绝缘子缺陷检测方法，包括：

S1、采集电网绝缘子样本图像，并对所述电网绝缘子样本图像进行处理；

S2、建立Yolov5深度神经网络模型，所述Yolov5深度神经网络模型包括输入层1、Backbone模块2、Neck模块3、检测头模块4以及缺陷检测分支模块5，检测头模块4包括目标位置预测分支模块41和目标角度检测分支模块42；

S3、将处理后的电网绝缘子样本图像输入至所述Yolov5深度神经网络模型进行训练直到所述Yolov5深度神经网络模型收敛；

S4、采集实时绝缘子图像，将所述实时绝缘子图像输入至训练后的Yolov5深度神经网络模型，获得缺陷识别结果。

具体地，参考图4，步骤S1中，电网绝缘子样本图像包括用于进行目标位置和目标角度检测的第一样本图像，以及用于进行缺陷检测的第二样本图像。其中，对第一样本图像进行处理，包括：

S11、对所述第一样本图像中的绝缘子特征进行旋转矩形框标注和缺陷类别标注；

S12、计算获得旋转矩形框的四个顶点坐标，并进行归一化处理；

S13、根据旋转矩形框的四个顶点坐标，计算旋转矩形框的中心点坐标、长边长度、短边长度以及旋转角度；

S14、将旋转矩形框的中心点坐标、长边长度、短边长度、旋转角度以及缺陷类别组成特征向量。

具体地，特征向量可以表示为(x,y,w,h,c,θ)，(x,y)表示旋转矩形框的中心点位置坐标，(w,h)分别表示旋转矩形框的长边长度和短边长度，c表示缺陷类别，θ表示x轴逆时针旋转首次遇到旋转矩形框的长边所经过的角度。为了避免边界条件对训练收敛的影响，可以采用圆形平滑标签技术对θ进行空间映射处理。

现有技术的基于Yolov5的深度神经网络结构主要由输入端、网络主干Backbone模块、Neck模块和检测头模块构成。本实施例中将检测头模块重新设计，形成包括目标位置预测分支模块和目标角度检测分支模块的旋转目标检测头模块，利用分类的思想解决旋转目标角度检测问题，对绝缘子进行检测；本实施例同时设计了基于旋转Roi pooling层的绝缘子缺陷检测任务分支结构，与旋转目标检测任务分支相结合，解决绝缘子缺陷检测问题。本实施例提供的改进的Yolov5深度神经网络模型如图3所示。

参考图3，处理后的第一样本图像输入至Yolov5深度神经网络模型的输入层1，经过Backbone模块2进行卷积处理之后传输至Neck模块3，Neck模块3对卷积处理后的第一样本图像进行8倍下采样、16倍下采样和32倍下采样之后，获得采样结果，将该采样结果分别传输至目标位置预测分支模块41以及目标角度检测分支模块42，分别获得目标位置预测结果和角度预测结果；所述目标位置预测结果包括预测目标属于前景的得分、预测目标的中心点位置偏移量、预测目标框长边偏移量、预测目标框短边偏移量以及预测目标的类别概率值；所述角度预测结果包括各个角度下的分类概率值。

进一步地，参考图5，目标位置预测分支模块41包括第一卷积层conv1、第一输出层out1、第二卷积层conv2、第二输出层out2、第三卷积层conv3以及第三输出层out3；Neck模块3对卷积处理后的第一样本图像进行8倍下采样、16倍下采样和32倍下采样之后分别传输至第一卷积层conv1、第二卷积层conv2以及第三卷积层conv3，经第一输出层out1、第二输出层out2以及第三输出层out3输出目标位置预测结果。

目标角度检测分支模块42包括第一3×3卷积层3×3conv1、第一1×1卷积层1×1conv1、第二3×3卷积层3×3conv2、第二1×1卷积层1×1conv2、第三3×3卷积层3×3conv3、第三1×1卷积层1×1conv3、第一角度输出层out_1、第二角度输出层out_2以及第三角度输出层out_3。Neck模块3对卷积处理后的第一样本图像进行8倍下采样、16倍下采样和32倍下采样之后分别传输至第一3×3卷积层3×3conv1、第二3×3卷积层3×3conv2以及第三3×3卷积层3×3conv3进行卷积处理之后再分别进入第一1×1卷积层1×1conv1、第二1×1卷积层1×1conv2以及第三1×1卷积层1×1conv3再次进行卷积处理，最后通过第一角度输出层out_1、第二角度输出层out_2以及第三角度输出层out_3输出角度预测结果。

目标位置预测分支模块41仅对绝缘子进行目标位置检测，其三个输入分别与Neck模块的8倍下采样、16倍下采样和32倍下采样特征图连接，其输出维度分别为3×80×80×6、3×40×40×6和3×20×20×6，其中6表示向量(s',x',y',w',h',c')的长度；目标位置预测结果表示为(s',x',y',w',h',c')，其中s′表示预测目标属于前景的得分，(x',y')表示预测目标的中心点位置偏移量，(w',h')表示预测目标框的长边偏移量和短边偏移量，w′对应预测目标框的长边，h′对应预测目标框的短边，c′表示预测目标的类别概率值。

目标角度检测分支模块42用于将目标旋转角度检测转化为角度分类问题，将目标旋转角度作为分类类别，一共180类，分别对应0到180°。

基于Yolov5的深度神经网络模型，本实施例重新设计了检测头模块，使之能够对旋转目标进行检测，对三个输出层分别增加一个用于目标角度检测的输出分支，并重新定义目标位置预测分支的作用，两者结合构成旋转目标检测任务分支，实现对旋转目标的精确检测。

进一步地，参考图6，对第二样本图像进行处理，包括：

S101、对所述第二样本图像中的绝缘子特征按照最小外接矩形进行截取；

S102、将截取的绝缘子特征图像旋转至水平位置，并进行缺陷类别标注。

参考图7，缺陷检测分支模块5包括特征融合模块51、旋转矩阵计算模块52、旋转融合模块53、区域提取模块54、感兴趣池化层55、缺陷检测神经网络56以及YOLO检测头57；

处理后的第二样本图像经输入层1输入至所述Yolov5深度神经网络模型，经Backbone模块2进行8倍采样和16倍采样之后发送至特征融合模块51，特征融合模块51对8倍采样和16倍采样之后的第二样本图像进行特征融合获得融合特征图；目标位置预测分支模块41和目标角度检测分支模块42输出的目标位置预测结果和角度预测结果输入至旋转矩阵52计算模块进行计算，获得旋转矩阵；所述融合特征图和所述旋转矩阵输入至旋转融合模块53进行处理，获得旋转特征图，区域提取模块54对预测目标框进行旋转和感兴趣区域提取，获得旋转感兴趣区域，旋转特征图和旋转感兴趣区域输入至感兴趣池化层55进行处理，获得绝缘子图像特征图，所述绝缘子图像特征图输入至缺陷检测神经网络56进行缺陷预测，并通过所述YOLO检测头57进行缺陷定位，输出缺陷预测结果。

其中，缺陷检测神经网络56是一个小型神经网络模型，先经一个C3_2_2卷积层和一个1×1卷积层将输出通道降为256，再通过一个最大池化层(MaxPooling)将输出分辨率调整为5×5×256；C3_2_2卷积层由两个以上卷积模块组成，每个卷积模块包括一个3×3卷积层、一个批量归一化层和一个激活层，C3_2_2卷积层维持输入特征图的分辨率不变。

本实施例提出的方法，主要通过重新设计检测头模块，实现对旋转绝缘子目标的准确检测任务；通过设计与网络主干Backbone模块连接的绝缘子缺陷检测任务分支结构，实现对绝缘子缺陷位置的准确定位。整个网络结构可以实现端到端的训练，具体的训练步骤如下；首先对网络结构所有参数进行初始化，基于Yolov5部分的网络结构，加载Yolov5预训练模型的参数，旋转目标检测分支和绝缘子缺陷检测分支参数都采用何凯明初始化方法。接着固定绝缘子缺陷检测分支所有模型参数不更新，用准备好的旋转目标检测训练样本和相关损失函数进行训练，学习基础网络结构(网络主干Backbone模块、Neck模块)和旋转目标的检测头模块的所有参数。然后再固定基础网络结构和旋转目标检测头模块参数不更新，用准备的绝缘子缺陷检测训练样本训练缺绝缘子缺陷检测分支网络，学习此部分模型结构所有参数。训练完成后，可以对输入的电网巡检图像进行推理，直接输出其中绝缘子旋转检测结果和绝缘子图像中的缺陷检测结果，

所述Yolov5深度神经网络模型基于目标位置预测的偏移量和角度分类误差联合训练，训练过程中计算损失函数的值，当损失函数的值的变化量小于预设阈值时所述所述Yolov5深度神经网络模型收敛。

其中，所述损失函数如下：

其中，N表示目标检测锚定框的总数量，n＝1,2,…,N，obj_n＝1表示预测目标所在区域是前景，obj_n＝0表示预测目标所在区域是背景，v′_nj表示预测目标位置偏移量，(x,y)表示目标检测锚定框中心点的位置坐标，w和h分别表示目标检测锚定框的长边长度和短边长度，v_nj表示实际目标位置偏移量，θ_n′表示预测目标旋转角度，θ_n表示实际目标旋转角度，c′_n表示预测目标的预测分类结果，c_n表示预测目标的实际分类结果，λ₁、λ₂和λ₃为设定常数；L_reg表示平滑损失函数，L_angle表示交叉熵损失函数，L_cls表示二分类交叉熵损失函数。

目标检测锚定框用于为预测目标框的计算做参考，基于这个参考，算法生成的预测目标框仅需在目标检测锚定框的基础上进行微调或精修，这样可以使得模型更快收敛。

参考图8，在一些实施例中，还提供一种应用于上述方法的基于深度神经网络的电网绝缘子缺陷检测系统，包括：

样本采集处理模块201，用于采集电网绝缘子样本图像，并对所述电网绝缘子样本图像进行处理；

模型建立模块202，用于建立Yolov5深度神经网络模型，所述Yolov5深度神经网络模型包括输入层、Backbone模块、Neck模块和检测头模块以及缺陷检测分支模块，所述检测头模块包括目标位置预测分支模块和目标角度检测分支模块；

训练模块203，用于将处理后的电网绝缘子样本图像输入至所述Yolov5深度神经网络模型进行训练直到所述Yolov5深度神经网络模型收敛；

识别模块204，用于采集实时绝缘子图像，将所述实时绝缘子图像输入至训练后的Yolov5深度神经网络模型，获得缺陷识别结果。

进一步地，所述电网绝缘子样本图像包括用于进行目标位置和目标角度检测的第一样本图像，以及用于进行缺陷检测的第二样本图像。

进一步地，样本采集处理模块201还用于对所述第一样本图像中的绝缘子特征进行旋转矩形框标注和缺陷类别标注；计算获得旋转矩形框的四个顶点坐标，并进行归一化处理；根据旋转矩形框的四个顶点坐标，计算旋转矩形框的中心点坐标、长边长度、短边长度以及旋转角度；将旋转矩形框的中心点坐标、长边长度、短边长度、旋转角度以及缺陷类别组成特征向量。

进一步地，样本采集处理模块201还用于对所述第二样本图像中的绝缘子特征按照最小外接矩形进行截取；将截取的绝缘子特征图像旋转至水平位置，并进行缺陷类别标注。

进一步地，训练模块203还用于：

所述第一样本图像经输入至所述Yolov5深度神经网络模型的输入层，经过所述Backbone模块进行卷积处理之后传输至所述Neck模块，所述Neck模块对卷积处理后的第一样本图像进行8倍下采样、16倍下采样和32倍下采样之后，获得采样结果，将该采样结果分别传输至所述目标位置预测分支模块以及目标角度检测分支模块，分别获得目标位置预测结果和角度预测结果；所述目标位置预测结果包括预测目标属于前景的得分、预测目标的中心点位置偏移量、预测目标框长边偏移量、预测目标框短边偏移量以及预测目标的类别概率值；所述角度预测结果包括各个角度下的分类概率值。

进一步地，缺陷检测分支模块包括特征融合模块、旋转矩阵计算模块、旋转融合模块、区域提取模块、感兴趣池化层、缺陷检测神经网络以及YOLO检测头；

所述第二样本图像经所述输入层输入至所述Yolov5深度神经网络模型，经所述、Backbone模块进行8倍采样和16倍采样之后发送至所述特征融合模块，所述特征融合模块对8倍采样和16倍采样之后的第二样本图像进行特征融合获得融合特征图；所述目标位置预测分支模块和目标角度检测分支模块输出的目标位置预测结果和角度预测结果输入至所述旋转矩阵计算模块进行计算，获得旋转矩阵；所述融合特征图和所述旋转矩阵输入至所述旋转融合模块进行处理，获得旋转特征图，所述区域提取模块对预测目标框进行旋转和感兴趣区域提取，获得旋转感兴趣区域，所述旋转特征图和旋转感兴趣区域输入至所述感兴趣池化层进行处理，获得绝缘子图像特征图，所述绝缘子图像特征图输入至所述缺陷检测神经网络进行缺陷预测，并通过所述YOLO检测头进行缺陷定位，输出缺陷预测结果。

进一步地，训练模块203基于目标位置预测的偏移量和角度分类误差对Yolov5深度神经网络模型联合训练，训练过程中计算损失函数的值，当损失函数的值的变化量小于预设阈值时所述所述Yolov5深度神经网络模型收敛。

进一步地，所述损失函数如下：

其中，N表示目标检测锚定框的总数量，n＝1,2,…,N，obj_n＝1表示预测目标所在区域是前景，obj_n＝0表示预测目标所在区域是背景，v′_nj表示预测目标位置偏移量，(x,y)表示目标检测锚定框中心点的位置坐标，w和h分别表示目标检测锚定框的长边长度和短边长度，v_nj表示实际目标位置偏移量，θ_n′表示预测目标旋转角度，θ_n表示实际目标旋转角度，c′_n表示预测目标的预测分类结果，c_n表示预测目标的实际分类结果，λ₁、λ₂和λ₃为设定常数；L_reg表示平滑损失函数，L_angle表示交叉熵损失函数，L_cls表示二分类交叉熵损失函数。

进一步地，所述目标位置预测分支模块包括第一卷积层、第一输出层、第二卷积层、第二输出层、第三卷积层以及第三输出层；

所述目标角度检测分支模块包括第一3×3卷积层、第一1×1卷积层、第二3×3卷积层、第二1×1卷积层、第三3×3卷积层、第三1×1卷积层、第一角度输出层、第二角度输出层以及第三角度输出层。

综上，上述实施例提供的基于深度神经网络的电网绝缘子缺陷检测方法及系统，至少包括如下有益效果：

(1)提出的多任务的深度神经网络实现了绝缘子检测和缺陷检测两个任务的端到端训练，通过联合学习所有模型参数，使得网络结构变得简洁，训练复杂度降低，更容易收敛，用户只需关注输入的训练数据质量即可，减少训练样本，降低计算量；

(2)通过设计基于旋转目标检测的检测头模块结构，能够提升绝缘子目标位置定位的精度，尤其是带旋转角度的绝缘子，相较于传统的正矩形边界框，减少了背景信息的干扰，更加贴合的目标位置框，保障了后续任务准确率的提升；

(3)缺陷检测网络分支结构的设计，通过与主干网络的有机结合，使得该分支能够充分利用主干大网络提取的多层次特征，在完成绝缘子缺陷准确检测的同时，还能够降低了整个任务的计算量，保证了绝缘子缺陷检测的效率。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于深度神经网络的电网绝缘子缺陷检测方法，其特征在于，包括：

采集电网绝缘子样本图像，并对所述电网绝缘子样本图像进行处理；

建立Yolov5深度神经网络模型，所述Yolov5深度神经网络模型包括输入层、Backbone模块、Neck模块、检测头模块以及缺陷检测分支模块，所述检测头模块包括目标位置预测分支模块和目标角度检测分支模块；

将处理后的电网绝缘子样本图像输入至所述Yolov5深度神经网络模型进行训练直到所述Yolov5深度神经网络模型收敛；

采集实时绝缘子图像，将所述实时绝缘子图像输入至训练后的Yolov5深度神经网络模型，获得缺陷识别结果。

2.根据权利要求1所述的方法，其特征在于，所述电网绝缘子样本图像包括用于进行目标位置和目标角度检测的第一样本图像，以及用于进行缺陷检测的第二样本图像。

3.根据权利要求2所述的方法，其特征在于，对第一样本图像进行处理，包括：

对所述第一样本图像中的绝缘子特征进行旋转矩形框标注和缺陷类别标注；

计算获得旋转矩形框的四个顶点坐标，并进行归一化处理；

根据旋转矩形框的四个顶点坐标，计算旋转矩形框的中心点坐标、长边长度、短边长度以及旋转角度；

将旋转矩形框的中心点坐标、长边长度、短边长度、旋转角度以及缺陷类别组成特征向量。

4.根据权利要求2所述的方法，其特征在于，对第二样本图像进行处理，包括：

对所述第二样本图像中的绝缘子特征按照最小外接矩形进行截取；

将截取的绝缘子特征图像旋转至水平位置，并进行缺陷类别标注。

5.根据权利要求3所述的方法，其特征在于，处理后的第一样本图像输入至所述Yolov5深度神经网络模型的所述输入层，经过所述Backbone模块进行卷积处理之后传输至所述Neck模块，所述Neck模块对卷积处理后的第一样本图像进行8倍下采样、16倍下采样和32倍下采样之后，获得采样结果，将所述采样结果分别传输至所述目标位置预测分支模块以及目标角度检测分支模块，分别获得目标位置预测结果和角度预测结果；所述目标位置预测结果包括预测目标属于前景的得分、预测目标的中心点位置偏移量、预测目标框长边偏移量、预测目标框短边偏移量以及预测目标的类别概率值；所述角度预测结果包括各个角度下的分类概率值。

6.根据权利要求5所述的方法，其特征在于，所述缺陷检测分支模块包括特征融合模块、旋转矩阵计算模块、旋转融合模块、区域提取模块、感兴趣池化层、缺陷检测神经网络以及YOLO检测头；

处理后的第二样本图像输入至所述Yolov5深度神经网络模型的所述输入层，经所述Backbone模块进行8倍采样和16倍采样之后发送至所述特征融合模块，所述特征融合模块对8倍采样和16倍采样之后的第二样本图像进行特征融合获得融合特征图；所述目标位置预测分支模块和目标角度检测分支模块输出的目标位置预测结果和角度预测结果输入至所述旋转矩阵计算模块进行计算，获得旋转矩阵；所述融合特征图和所述旋转矩阵输入至所述旋转融合模块进行处理，获得旋转特征图，所述区域提取模块对预测目标框进行旋转和感兴趣区域提取，获得旋转感兴趣区域，所述旋转特征图和旋转感兴趣区域输入至所述感兴趣池化层进行处理，获得绝缘子图像特征图，所述绝缘子图像特征图输入至所述缺陷检测神经网络进行缺陷预测，并通过所述YOLO检测头进行缺陷定位，输出缺陷预测结果。

7.根据权利要求5所述的方法，其特征在于，所述Yolov5深度神经网络模型基于目标位置预测的偏移量和角度分类误差联合训练，训练过程中计算损失函数的值，当损失函数的值的变化量小于预设阈值时所述所述Yolov5深度神经网络模型收敛。

8.根据权利要求7所述的方法，其特征在于，所述损失函数如下：

其中，N表示目标检测锚定框的总数量，n＝1,2,…,N，obj_n＝1表示预测目标所在区域是前景，obj_n＝0表示预测目标所在区域是背景，v′_nj表示预测目标位置偏移量，(x,y)表示目标检测锚定框中心点的位置坐标，w和h分别表示目标检测锚定框的长边长度和短边长度，v_nj表示实际目标位置偏移量，θ′_n表示预测目标旋转角度，θ_n表示实际目标旋转角度，c′_n表示预测目标的预测分类结果，c_n表示预测目标的实际分类结果，λ₁、λ₂和λ₃为设定常数；L_reg表示平滑损失函数，L_angle表示交叉熵损失函数，L_cls表示二分类交叉熵损失函数。

9.根据权利要求5所述的方法，其特征在于，所述目标位置预测分支模块包括第一卷积层、第一输出层、第二卷积层、第二输出层、第三卷积层以及第三输出层；

所述目标角度检测分支模块包括第一3×3卷积层、第一1×1卷积层、第二3×3卷积层、第二1×1卷积层、第三3×3卷积层、第三1×1卷积层、第一角度输出层、第二角度输出层以及第三角度输出层。

10.一种应用于如权利要求1-9任一所述方法的基于深度神经网络的电网绝缘子缺陷检测系统，其特征在于，包括：

样本采集处理模块，用于采集电网绝缘子样本图像，并对所述电网绝缘子样本图像进行处理；

模型建立模块，用于建立Yolov5深度神经网络模型，所述Yolov5深度神经网络模型包括输入层、Backbone模块、Neck模块、检测头模块以及缺陷检测分支模块，所述检测头模块包括目标位置预测分支模块和目标角度检测分支模块；

训练模块，用于将处理后的电网绝缘子样本图像输入至所述Yolov5深度神经网络模型进行训练直到所述Yolov5深度神经网络模型收敛；

识别模块，用于采集实时绝缘子图像，将所述实时绝缘子图像输入至训练后的Yolov5深度神经网络模型，获得缺陷识别结果。

Images