CN114897844A - 一种基于改进的YOLOv4-tiny和YOLOv4绝缘子缺陷检测方法 - Google Patents

Abstract

一种基于改进的YOLOv4‑tiny和YOLOv4的绝缘子缺陷检测方法，其特点是：步骤1，收集含有绝缘子的图像数据；步骤2，扩充缺陷绝缘子图像数量；步骤3，标注绝缘子串和缺陷绝缘子；步骤4，改进YOLOv4‑tiny模型目标检测框选取方法；步骤5，利用改进的YOLOv4‑tiny模型对绝缘子串整体目标进行检测；步骤6，裁剪已检测到的绝缘子串图像；步骤7，改进YOLOv4模型主干网络；步骤8，改进YOLOv4特征融合网络；步骤9，基于改进的YOLOv4绝缘子缺陷检测；步骤10，基于改进的YOLOv4‑tiny和YOLOv4的绝缘子缺陷检测模型训练；步骤11，绝缘子缺陷检测模型在线应用。其检测准确度受背景影响较小，准确度更高。

Description

一种基于改进的YOLOv4-tiny和YOLOv4绝缘子缺陷检测方法

技术领域

本发明属于绝缘子缺陷检测技术领域，涉及一种基于改进的YOLOv4-tiny和YOLOv4的绝缘子缺陷检测方法。

背景技术

绝缘子串由多个绝缘子组成，是输电线路重要组成部分，在支撑和固定输电导线以及在导线和地之间形成良好的绝缘，防止电流回地等方面起着至关重要的作用。一旦绝缘子发生缺陷，就会影响绝缘子串的绝缘性能和机械性能，很容易导致输电导线之间或者输电导线和输电铁塔之间发生接触，造成短路引发输电缺陷，严重时甚至会引发大面积停电事故，影响电力系统安全稳定运行。绝缘子长期暴露在自然环境，不仅承受正常机械载荷和电力负荷，还要经受雷击、强风、冰冻、极寒和极热等极端天气的影响，导致绝缘子缺陷频发。因此，需要定期对输电线路进行巡检，及时发现绝缘子缺陷问题，并通知运检部门进行处理。

相对传统的人工巡检方式，基于无人机的输电线路巡检方式效率高，目前已成为日常巡检中的重要方式之一。首先利用无人机对输电线路图像进行采集，然后采用人工观看视频或者利用机器视觉方法对视频图像进行分析来发现绝缘子以及其它输电设备缺陷问题。采用人工观看视频进行绝缘子缺陷识别，效率低下，受人为因素影响较大，而且浪费大量的人力资源。基于机器视觉的绝缘子缺陷检测方法主要利用机器学习方法对视频图像进行分析，识别出缺陷的绝缘子。传统机器视觉方法主要是先利用特征提取方法(梯度方向直方图等方法)对绝缘子图像进行特征提取，然后利用分类方法(支持向量机、相关向量机等方法)对提取的特征进行分类，实现绝缘子缺陷检测。此类方法需要人为设计特征提取方法，泛化能力较差，准确度较低。近年来，人们提出了将基于深度学习的目标检测方法应用于绝缘子缺陷检测，例如：R-CNN(region-based convolutional neural network)系列目标检测方法，YOLO(You Only Look Once)系列目标检测方法和SSD(Single Shot MultiBoxDetector)系列检测方法。R-CNN系列方法具有较高的准确度，但是网络模型复杂，无法部署在无人机可以携带的计算设备上，实时性较差。YOLO和SSD系列方法，网络模型简单，具有较快的检测速度，检测准确度略低于R-CNN类方法，但可以部署在无人机携带的计算设备上，实时性较好，目前被大量用于无人机自主输电线路巡检中。由于无人机巡检拍摄角度、位置和距离等原因，导致图中的绝缘子背景复杂多样，且部分绝缘子在图像中的占比较小，导致YOLO类方法对绝缘子缺陷识别的准确度不高，影响其实际应用。因此，需要研究高准确度绝缘子缺陷检测方法，提高基于无人机自主巡检的绝缘子缺陷实时检测性能。

发明内容

本发明所要解决的技术问题是：克服现有技术的缺点，提供一种基于改进的YOLOv4-tiny和YOLOv4的绝缘子缺陷检测方法，用来提高绝缘子缺陷实时检测的准确度。

本发明解决技术问题的方案是：一种基于改进的YOLOv4-tiny和YOLOv4绝缘子缺陷检测方法，其特征在于，具体步骤如下：

步骤1，构建图像数据集：从无人机拍摄的输电线路图像中，选取含有缺陷绝缘子的图像和正常绝缘子的图像，建立由含有缺陷绝缘子的图像和正常绝缘子的图像组成的图像数据集，用于训练绝缘子缺陷检测模型；

步骤2，扩充含有缺陷绝缘子的图像的样本数量：首先，根据图像中缺陷绝缘子特点，利用Photoshop软件在绝缘子串中其它正常绝缘子上构建新的缺陷绝缘子，通过在不同的正常绝缘子上构建新的缺陷绝缘子，增加含有缺陷绝缘子的图像的样本数量；然后，利用Photoshop软件对上述含有缺陷绝缘子的图像进行处理，得到背景透明的含有缺陷绝缘子的绝缘子串图像；最后，利用Photoshop软件将背景透明的绝缘子串与不同背景的巡检图像进行融合，得到不同背景下的缺陷绝缘子图像，以进一步扩充缺陷绝缘子图像的样本数量，提高模型泛化能力；

步骤3，利用Labeling软件对图像数据集中的绝缘子串和绝缘子串中的缺陷绝缘子进行标注：绝缘子串标注为绝缘子，缺陷绝缘子标注为缺陷；

步骤4，改进YOLOv4-tiny模型目标检测框优化方法：提出一个动态非极大值抑制方法，它根据目标周围检测框的统计特性确定出动态阈值，用来代替非极大值抑制方法中的固定阈值，降低绝缘子串漏检概率；

步骤5，利用改进的YOLOv4-tiny模型、即轻量化YOLOv4模型对绝缘子串整体目标进行检测；

步骤6，裁剪已检测到的绝缘子串图像：根据步骤5得到的绝缘子串检测框坐标信息对绝缘子串进行裁剪，得到绝缘子串图像；

步骤7，改进的YOLOv4模型主干网络：构建双分支注通道注意力模块，并将注意力模块添加到YOLOv4主干网络中的跨阶段局部网络之后面，其输入为跨阶段局部网络的输出，使与绝缘子缺陷相关程度高的特征得到更大的权重；

步骤8，改进的YOLOv4特征融合网络：构建沙漏型特征融合网络，实现主干网络浅层特征和深层特征融合；

步骤9，基于改进的YOLOv4绝缘子缺陷检测：利用步骤7和步骤8得到的改进的YOLOv4模型从步骤6得到的裁剪后的绝缘子串图形中，检测出缺陷绝缘子。

步骤10，基于改进的YOLOv4-tiny和YOLOv4的绝缘子缺陷检测模型训练：利用步骤3已标注的图像数据集对改进的YOLOV4-tiny模型和改进的YOLOv4模型进行训练，得到绝缘子缺陷检测模型；

步骤11，模型应用：将步骤10获得的检测模型应用于绝缘子缺陷检测，将无人机采集到的输电线路图像数据输入到已训练模型，输出绝缘子缺陷检测结果。

进一步，所述步骤4中改进YOLOv4-tiny模型目标检测框优化方法，其中的动态非极大值抑制方法表示为：

1)设绝缘子串的候选检测框的集合为B，相应的检测分数集合为S；

首先对候选检测框按分数进行降序排列，选择分数最高的候选检测框记为M，并将其从集合B移动到集合C中；

然后，计算检测框M与集合B中的每个检测框b_i之间的交并比值，即IoU值，并利用得到的IoU值的统计特性来近似表示候选检测框M周围检测框的密度；IoU值的均值表达式如下所示：

式中，n是集合B中候选检测框的数量；用IoU值的均值N_M表示候选检测框M周围检测框的密度；

最后，将IoU值的均值N_M与一个固定阈值N_t进行比较，选择最大值作为最终的动态抑制阈值N_D，它的数学表达式如下所示：

N_D＝max(N_M,N_t) (2)

2)如果候选检测框M与候选检测框b_i之间的IoU值小于动态阈值N_D，b_i的分数保留下来，即候选检测框b_i被保留，否则b_i的分数置为0，s_i的数学表达式如下所示：

式中，s_i是检测框b_i的检测分数，如果框的分数是0，意味着这个检测框将被抑制；重复步骤1)和步骤2)，直到候选检测框集合B是空为止，最终选择出最优的候选检测框作为检测目标的最优检测框。

进一步，所述步骤7中改进的YOLOv4模型主干网络是构建一个双分支通道注意力模块；将注意力模块引入到YOLOv4主干网络中；主干网络中的特征图经过已构建的双分支通道注意力模块得到输出的特征图，具体过程如下：

首先，定义YOLOv4主干网络中的跨阶段局部网络模块输出特征图为X，其分别经过一个卷积核大小为3*3，步长为1，填充为1的卷积层和一个卷积核大小为5*5，步长为1，填充为2的卷积层，其输出特征图分别为X₁和X₂，构成两个分支；将输出特征图X₁和X₂进行相加得到：

Y＝X₁+X₂ (4)

利用通道全局平均池化对特征图Y进行操作可以获得通道级全局统计信息

ω_c是ω的第c个元素，其表达式为：

式中Y_c是第c个通道的特征图，H和W是特征图Y_c的尺寸；在获取了全局信息之后采用一维卷积实现跨通道交互，信道交互范围是由一维卷积核的大小决定，信道卷积核的大小采用通道注意力机制常用方法来确定，即

式中，C是通道数量，α和β是预设参数，

表示距离

数值最近的奇数；由(6)式确定的卷积核大小就是参与通道交互的通道数量，将(5)式得到的全局统信息经过卷积核为k的一维卷积即可实现k个通道信息的交互，其输出为：

v＝σ(C1D_k(ω)) (7)

式中，C1D_k是卷积核k的一维卷积，σ(·)是一个sigmoid函数。为了从通道交互信息中获得两个分支X₁和X₂的权重a＝[a₁,a₂,L,a_c]和b＝[b₁,b₂,L,b_c]，我们将(7)式得到通道交互信息序列分成大小相同的v₁和v₂两部分，通过下式计算出权重：

式中，a_i和b_i分别是两个分支X₁和X₂的权重的第i个分量，v_1i和v_2i分别是和v₁和v₂的第i个分量，exp()表示指数运算，将得到的权重与对应分支的特征图相乘，然后得到的结果进行相加运算，得到输出的特征图为：

O_i＝a_i·X_1i+b_i·X_2i (10)

式中，O_i是第i个通道的输出特征图，X_1i是分支X₁的第i个通道的输入特征图，X_2i是分支X₂的第i个通道的输入特征图。

进一步，所述步骤8中改进的YOLOv4特征融合网络表示为：

首先，利用最大池化对浅层特征图进行下采样，将下采样后得到的特征图与中间层的特征图进行融合；其次，对融合后的中间层特征图继续利用最大池化进行下采样，并将下采样后得到的特征图与深层的特征图进行融合；然后，一方面对融合后的深层特征图进行通道数的调整，并将其作为深层网络的最终输出特征图，另一方对融合后的深层特征图进行上采样，并与下采样过程中得到的融合后的中间层特征图进行融合，得到新的中间层融合特征图；最后，一方面对新融合后得到的中间层特征图进行通道数的调整，并将其作为中间层网络的最终输出特征图，另一方对新融合后得到的中间层特征图进行上采样，并与浅层特征图进行融合，得到浅层网络的最终输出特征图。

进一步，所述步骤10中基于改进的YOLOv4-tiny和YOLOv4的绝缘子缺陷检测模型训练过程表示为：

基本参数设置：每个输入图像的大小为416×416，初始的学习率是0.001，采用阶梯型的学习率策略，利用动量为0.9的随机梯度下降优化器来调整网络参数，权重衰减设定为0.0005，每个批次训练8张图像；

模型训练：首先，利用已构建的数据集图像仅对改进的YOLOv4-tiny进行训练，实现基于YOLOv4-tiny模型的绝缘子准确检测；然后，冻结已训练的YOLOv4-tiny模型参数，对由改进的YOLOv4-tiny和YOLOv4模型组成的绝缘子缺陷检测完整模型进行训练，实现基于YOLOv4的绝缘串缺陷检测；最后，解冻已训练的YOLO-tiny模型参数，在已经得到的训练模型参数基础上，对基于改进的YOLO-tiny和YOLOv4绝缘子缺陷检测模型进行最后的训练，得到能够检测绝缘子缺陷的网络模型。

本发明的有益效果是：

(1)本发明的先利用改进的YOLOv4的轻量化模型YOLOv4-tiny对绝缘子串进行检测，然后根据得到的检测框信息对已检测到的绝缘子串进行裁剪，最后利用改进的准确度更高的YOLOv4模型对裁剪后的绝缘子串进行缺陷检测的方法；相对于直接对绝缘缺陷进行检测方法，受背景影响更小，检测准确度更高；

(2)本发明构建了双分支通道注意力模块，并将该模型引入到YOLOv4主干网络中，对与绝缘子缺陷识别相关度较高的特征通道赋予较大的权重，与绝缘子缺陷识别相关度较低的特征通道赋予较小的权重，提高了主干网络对绝缘子缺陷特征的提取能力；

(3)本发明构建沙漏型特征融合网络，将YOLOv4主干网络提取的浅层特征和深层特征进行融合，实现绝缘子缺陷的定位细节特征和绝缘子缺陷语义特征的深度融合，将更多的融合信息传递到大尺度检测分支所在的特征图中，有利于对绝缘子中较小缺陷的识别，提高了绝缘子缺陷识别准确率。

(4)本发明将绝缘子串目标周围检测框的统计特性确定出动态阈值，来代替非极大值抑制方法中的固定阈值，提出动态非极大值抑制方法，降低因部分绝缘子串距离较近，候选检测框重复度较高，导致的漏检，提高了绝缘子串检测准确率。

附图说明

图1为本发明的流程框图；

图2为绝缘子缺陷检测过程示意图；

图3为双分支通道注意力模块结构图；

图4为特征融合模块结构图。

具体实施方式

下面利用附图和具体实施方式对本发明作进一步说明。

参见图1-图4，实施例1，本实施例一种基于改进的YOLOv4-tiny和YOLOv4绝缘子缺陷检测方法，用来提高绝缘子缺陷实时检测的准确度，先利用改进的YOLOv4-tiny模型对绝缘子串进行检测，然后对检测到绝缘子串进行裁剪，最后利用改进的准确度更高的YOLOv4模型对裁剪后的绝缘子串进行绝缘子缺陷检测，最终实现绝缘子缺陷的高准确度检测，检测过程如图1和图2所示，具体步骤如下：

步骤1，构建绝缘子缺陷检测模型训练所需的图像数据集：图像数据由含有缺陷的绝缘子图像和正常的绝缘子图像组成，从无人机拍摄的输电线路图像中，选取含有缺陷绝缘子的图像和正常绝缘子的图像，并将图像裁剪成416×416大小的图像，建立图像数据集，用于训练绝缘子缺陷检测模型；

步骤2，扩充含有缺陷绝缘子的图像样本数量：具体过程如下：

首先，根据图像中缺陷绝缘子特点，利用Photoshop软件在绝缘子串中其它正常绝缘子上构建新的缺陷绝缘子，通过在不同的正常绝缘子上构建新的缺陷绝缘子，增加含有缺陷绝缘子图像的样本数量；然后，对含有缺陷绝缘子的绝缘子串图像进行裁剪，并利用Photoshop软件对上述含有缺陷绝缘子的图像进行处理，得到背景透明的含有缺陷绝缘子的绝缘子串图像；最后，利用Photoshop软件将背景透明的绝缘子串与不同背景的巡检图像进行融合，得到不同背景下的缺陷绝缘子图像，以进一步扩充绝缘子缺陷图像样本数量，提高模型泛化能力；

步骤3，利用Labeling软件对图像数据集中的绝缘子串和绝缘子串中的缺陷绝缘子进行标注：绝缘子串标注为绝缘子，缺陷绝缘子标注为缺陷；

步骤4，改进YOLOv4-tiny模型目标检测框选取方法：当两个绝缘子串目标有部分重叠或者距离非常近的时候，非极大值抑制方法会抑制分数较低的绝缘子串检测框，导致绝缘子目标漏检现象，影响绝缘子串检测性能；为了解决这个问题，用动态非极大值抑制方法来降低绝缘子串漏检概率：根据目标周围检测框的统计特性确定出动态阈值，来代替非极大值抑制方法中的固定阈值；

所述步骤4中改进YOLOv4-tiny模型目标检测框选取方法，其中的动态非极大值抑制方法表示为：

假设绝缘子串的候选检测框的集合为B，相应的检测分数集合为S；首先对候选检测框按分数进行降序排列，选择分数最高的候选检测框记为M，并将其从集合B移动到集合C中，然后，计算检测框M与集合B中的每个检测框b_i之间的交并比(IoU)值，并利用得到的IoU值的统计特性来近似表示候选检测框M周围检测框的密度。IoU值的均值表达式如下所示：

式中，n是集合B中候选检测框的数量；IoU值的均值越大，表示检测框M与集合B整体的重叠程度越大，集合B中的候选检测框b_i越接近候选检测框M，因此，本实施例使用IoU值的均值N_M来近似表示候选检测框M周围检测框的密度。最后，将IoU值的均值N_M与一个固定阈值N_t进行比较，选择最大值作为最终的动态抑制阈值N_D，它的数学表达式如下所示：

N_D＝max(N_M,N_t) (2)

如果候选检测框M与候选检测框b_i之间的IoU值小于动态阈值N_D，b_i的分数保留下来，即候选检测框b_i被保留，否则b_i的分数置为0，s_i的数学表达式如下所示：

式中，s_i是检测框b_i的检测分数，如果框的分数是0，意味着这个检测框将被抑制；重复以上过程直到候选检测框集合B是空为止，最终选择出最优的候选检测框作为检测目标的最优检测框。

步骤5，利用改进的YOLOv4-tiny模型(轻量化YOLOv4模型)对绝缘子串整体目标进行检测：YOLOv4-tiny相比YOLOv4模型具有结构简单，检测速度更快的优点；绝缘子缺陷图像相对较小，受背景影响较大，直接对绝缘子缺陷进行检测，准确度较差；绝缘子串整体目标较大，特征较为明显，检测相对容易，利用模型结构相对简单的检测方法也能达到很好的检测精度；因此，本实施例利用改进的YOLOv4-tiny模型先对图像中的绝缘子串进行检测，便于后续利用准确度更高的模型从已检测到的绝缘子串图像中检测绝缘子缺陷；

步骤6，裁剪已检测到的绝缘子串图像：根据步骤5得到的绝缘子串检测框坐标信息对绝缘子串进行裁剪，得到绝缘子串图像，提高绝缘子图像占比的同时，降低背景对绝缘子缺陷检测的影响；

步骤7，改进的YOLOv4模型主干网络：针对绝缘子缺陷图像较小，受背景影响较大的问题，通过构建双分支注通道注意力模块，并将其引入到YOLOv4主干网络中，使与绝缘子缺陷相关程度高的特征得到更大的权重，提高主干网络对绝缘子缺陷特征提取能力；

步骤7中改进的YOLOv4模型主干网络表示为：

本实施例构建了一个双分支通道注意力模块(参见图3所示)，并将注意力模块添加到YOLOv4主干网络中的跨阶段局部网络之后面，其输入为跨阶段局部网络的输出，提高主干网络对绝缘子缺陷特征提取能力；主干网络中的特征图经过已构建的双分支通道注意力模块得到输出的特征图，具体过程如下：

首先，定义YOLOv4主干网络中的跨阶段局部网络模块输出特征图为X，其分别经过一个卷积核大小为3*3，步长为1，填充为1的卷积层和一个卷积核大小为5*5，步长为1，填充为2的卷积层，其输出特征图分别为X₁和X₂，构成两个分支；将特征图X₁和X₂进行相加得到：

Y＝X₁+X₂ (4)

利用通道全局平均池化对特征图Y进行操作可以获得通道级全局统计信息

ω_c是ω的第c个元素，其表达式为：

式中Y_c是第c个通道的特征图，H和W是特征图Y_c的尺寸；在获取了全局信息之后我们采用一维卷积实现跨通道交互，用来加强不同通道之间的信息交互，信道交互范围是由一维卷积核的大小决定，信道卷积核的大小我们采用通道注意力机制常用方法来确定，即

式中，C是通道数量，α和β预设参数，

表示距离

数值最近的奇数。由(6)式确定的卷积核大小就是参与通道交互的通道数量，将(5)式得到的全局统计信息经过卷积核为k的一维卷积即可实现k个通道信息的交互，其输出为：

v＝σ(C1D_k(ω)) (7)

式中，C1D_k是卷积核k的一维卷积，σ(·)是一个sigmoid函数。为了从通道交互信息中获得两个分支X₁和X₂的权重a＝[a₁,a₂,L,a_c]和b＝[b₁,b₂,L,b_c]，我们将(7)式得到通道交互信息序列分成大小相同的v₁和v₂两部分，通过下式计算出权重：

式中，a_i和b_i分别是两个分支X₁和X₂的权重的第i个分量，v_1i和v_2i分别是和v₁和v₂的第i个分量，exp()表示指数运算，将得到的权重与对应分支的特征图相乘，然后得到的结果进行相加运算，得到输出的特征图为：

O_i＝a_i·X_1i+b_i·X_2i (10)

式中，O_i是第i个通道的输出特征图，X_1i是分支X₁的第i个通道的输入特征图，X_2i是分支X₂的第i个通道的输入特征图，通道中包含与绝缘子缺陷相关程度越高的特征，将会获得越大的权重，通过(10)式得到的输出特征图中包含绝缘子缺陷相关的特征越多。

步骤8，改进的YOLOv4特征融合网络：绝缘子缺陷目标相对较小，大尺度特征图对小目标检测起到重要检测作用，为此构建沙漏型特征融合网络，实现主干网络浅层特征和深层特征融合的同时，向大尺度特征图传递更多的融合特征，提高绝缘子缺陷检测能力；

步骤8中改进的YOLOv4特征融合网络表示为：

构建的特征融合网络如图4所示(假设输入图像大小为416×416)，浅层特征图(尺度较大的特征图，尺度大小为52×52)包含更多的绝缘子缺陷的定位细节特征，深层特征图(尺度较小的特征图，尺度大小为13×13)包含更多的绝缘子缺陷语义特征，提出先利用最大池化对浅层特征图进行下采样，将下采样后得到的特征图与中间层的特征图进行融合；其次，对融合后的中间层特征图继续利用最大池化进行下采样，并将下采样后得到的特征图与深层的特征图进行融合；然后，一方面对融合后的深层特征图进行通道数的调整，并将其作为深层网络的最终输出特征图，另一方对融合后的深层特征图进行上采样，并与下采样过程中得到的融合后的中间层特征图进行融合，得到新的中间层融合特征图；最后，一方面对新融合后得到的中间层特征图进行通道数的调整，并将其作为中间层网络的最终输出特征图，另一方对新融合后得到的中间层特征图进行上采样，并与浅层特征图进行融合，得到浅层网络的最终输出特征图；经过上述过程，尺度大的特征图将会融合到更多的特征，更利于对绝缘子缺陷的检测。

步骤9，基于改进的YOLOv4绝缘子缺陷检测：利用步骤7和步骤8得到的改进的YOLOv4模型从步骤6得到的裁剪后的绝缘子串图形中，检测出缺陷绝缘子。

步骤10，基于改进的YOLOv4-tiny和YOLOv4的绝缘子缺陷检测模型训练：利用步骤3已标注的图像数据集对YOLOV4-tiny模型和改进的YOLOv4模型进行训练，得到高准确度的绝缘子缺陷检测模型；

步骤10中基于改进的YOLOv4-tiny和YOLOv4的绝缘子缺陷检测模型训练过程表示为：

基本参数设置：每个输入图像的大小为416×416，初始的学习率是0.001，采用阶梯型的学习率策略，利用动量为0.9的随机梯度下降优化器来调整网络参数，权重衰减设定为0.0005，以防止模型过拟合，每个批次训练8张图像；

模型训练：首先，利用已构建的数据集图像仅对改进的YOLOv4-tiny进行训练，实现基于YOLOv4-tiny模型的绝缘子准确检测；然后，冻结已训练的YOLOv4-tiny模型参数，对由改进的YOLOv4-tiny和YOLOv4模型组成的绝缘子缺陷检测完整模型进行训练，实现基于YOLOv4的绝缘串缺陷检测；最后，解冻已训练的YOLO-tiny模型参数，在已经得到的训练模型参数基础上，对基于改进的YOLO-tiny和YOLOv4绝缘子缺陷检测模型进行最后的训练，得到能够准确检测出绝缘子缺陷的网络模型；

步骤11，模型应用，将步骤10获得的检测模型应用于绝缘子缺陷检测，将无人机采集到的输电线路图像数据输入到已训练模型，输出绝缘子缺陷检测结果。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

Claims (5)

1.一种基于改进的YOLOv4-tiny和YOLOv4绝缘子缺陷检测方法，其特征在于，具体步骤如下：

步骤1，构建图像数据集：从无人机拍摄的输电线路图像中，选取含有缺陷绝缘子的图像和正常绝缘子的图像，建立由含有缺陷绝缘子的图像和正常绝缘子的图像组成的图像数据集，用于训练绝缘子缺陷检测模型；

步骤2，扩充含有缺陷绝缘子的图像的样本数量：首先，根据图像中缺陷绝缘子特点，利用Photoshop软件在绝缘子串中其它正常绝缘子上构建新的缺陷绝缘子，通过在不同的正常绝缘子上构建新的缺陷绝缘子，增加含有缺陷绝缘子的图像的样本数量；然后，利用Photoshop软件对上述含有缺陷绝缘子的图像进行处理，得到背景透明的含有缺陷绝缘子的绝缘子串图像；最后，利用Photoshop软件将背景透明的绝缘子串与不同背景的巡检图像进行融合，得到不同背景下的缺陷绝缘子图像，以进一步扩充缺陷绝缘子图像的样本数量，提高模型泛化能力；

步骤3，利用Labeling软件对图像数据集中的绝缘子串和绝缘子串中的缺陷绝缘子进行标注：绝缘子串标注为绝缘子，缺陷绝缘子标注为缺陷；

步骤4，改进YOLOv4-tiny模型目标检测框优化方法：提出一个动态非极大值抑制方法，它根据目标周围检测框的统计特性确定出动态阈值，用来代替非极大值抑制方法中的固定阈值，降低绝缘子串漏检概率；

步骤5，利用改进的YOLOv4-tiny模型、即轻量化YOLOv4模型对绝缘子串整体目标进行检测；

步骤6，裁剪已检测到的绝缘子串图像：根据步骤5得到的绝缘子串检测框坐标信息对绝缘子串进行裁剪，得到绝缘子串图像；

步骤7，改进的YOLOv4模型主干网络：构建双分支注通道注意力模块，并将注意力模块添加到YOLOv4主干网络中的跨阶段局部网络之后面，其输入为跨阶段局部网络的输出，使与绝缘子缺陷相关程度高的特征得到更大的权重；

步骤8，改进的YOLOv4特征融合网络：构建沙漏型特征融合网络，实现主干网络浅层特征和深层特征融合；

步骤9，基于改进的YOLOv4绝缘子缺陷检测：利用步骤7和步骤8得到的改进的YOLOv4模型从步骤6得到的裁剪后的绝缘子串图形中，检测出缺陷绝缘子。

步骤10，基于改进的YOLOv4-tiny和YOLOv4的绝缘子缺陷检测模型训练：利用步骤3已标注的图像数据集对改进的YOLOV4-tiny模型和改进的YOLOv4模型进行训练，得到绝缘子缺陷检测模型；

步骤11，模型应用：将步骤10获得的检测模型应用于绝缘子缺陷检测，将无人机采集到的输电线路图像数据输入到已训练模型，输出绝缘子缺陷检测结果。

2.根据权利要求1所述的一种基于改进的YOLOv4-tiny和YOLOv4绝缘子缺陷检测方法，其特征在于：所述步骤4中改进YOLOv4-tiny模型目标检测框优化方法，其中的动态非极大值抑制方法表示为：

1)设绝缘子串的候选检测框的集合为B，相应的检测分数集合为S；

首先对候选检测框按分数进行降序排列，选择分数最高的候选检测框记为M，并将其从集合B移动到集合C中；

然后，计算检测框M与集合B中的每个检测框b_i之间的交并比值，即IoU值，并利用得到的IoU值的统计特性来近似表示候选检测框M周围检测框的密度；IoU值的均值表达式如下所示：

式中，n是集合B中候选检测框的数量；用IoU值的均值N_M表示候选检测框M周围检测框的密度；

最后，将IoU值的均值N_M与一个固定阈值N_t进行比较，选择最大值作为最终的动态抑制阈值N_D，它的数学表达式如下所示：

N_D＝max(N_M,N_t) (2)

2)如果候选检测框M与候选检测框b_i之间的IoU值小于动态阈值N_D，b_i的分数保留下来，即候选检测框b_i被保留，否则b_i的分数置为0，s_i的数学表达式如下所示：

式中，s_i是检测框b_i的检测分数，如果框的分数是0，意味着这个检测框将被抑制；重复步骤1)和步骤2)，直到候选检测框集合B是空为止，最终选择出最优的候选检测框作为检测目标的最优检测框。

3.根据权利要求1所述的一种基于改进的YOLOv4-tiny和YOLOv4绝缘子缺陷检测方法，其特征在于：所述步骤7中改进的YOLOv4模型主干网络是构建一个双分支通道注意力模块；将注意力模块引入到YOLOv4主干网络中；主干网络中的特征图经过已构建的双分支通道注意力模块得到输出的特征图，具体过程如下：

首先，定义YOLOv4主干网络中的跨阶段局部网络模块输出特征图为X，其分别经过一个卷积核大小为3*3，步长为1，填充为1的卷积层和一个卷积核大小为5*5，步长为1，填充为2的卷积层，其输出特征图分别为X₁和X₂，构成两个分支；将输出特征图X₁和X₂进行相加得到：

Y＝X₁+X₂ (4)

利用通道全局平均池化对特征图Y进行操作获得通道级全局统计信息

ω_c是ω的第c个元素，其表达式为：

式中Y_c是第c个通道的特征图，H和W是特征图Y_c的尺寸；在获取了全局信息之后采用一维卷积实现跨通道交互，信道交互范围是由一维卷积核的大小决定，信道卷积核的大小采用通道注意力机制常用方法来确定，即

式中，C是通道数量，α和β是预设参数，

表示距离

数值最近的奇数；由(6)式确定的卷积核大小就是参与通道交互的通道数量，将(5)式得到的全局统信息经过卷积核为k的一维卷积即可实现k个通道信息的交互，其输出为：

v＝σ(C1D_k(ω)) (7)

式中，C1D_k是卷积核k的一维卷积，σ(·)是一个sigmoid函数；为了从通道交互信息中获得两个分支X₁和X₂的权重a＝[a₁,a₂,L,a_c]和b＝[b₁,b₂,L,b_c]，我们将(7)式得到通道交互信息序列分成大小相同的v₁和v₂两部分，通过下式计算出权重：

式中，a_i和b_i分别是两个分支X₁和X₂的权重的第i个分量，v_1i和v_2i分别是和v₁和v₂的第i个分量，exp()表示指数运算，将得到的权重与对应分支的特征图相乘，然后得到的结果进行相加运算，得到输出的特征图为：

O_i＝a_i·X_1i+b_i·X_2i (10)

式中，O_i是第i个通道的输出特征图，X_1i是分支X₁的第i个通道的输入特征图，X_2i是分支X₂的第i个通道的输入特征图。

4.根据权利要求1所述的一种基于改进的YOLOv4-tiny和YOLOv4绝缘子缺陷检测方法，其特征在于：所述步骤8中改进的YOLOv4特征融合网络表示为：

首先，利用最大池化对浅层特征图进行下采样，将下采样后得到的特征图与中间层的特征图进行融合；其次，对融合后的中间层特征图继续利用最大池化进行下采样，并将下采样后得到的特征图与深层的特征图进行融合；然后，一方面对融合后的深层特征图进行通道数的调整，并将其作为深层网络的最终输出特征图，另一方对融合后的深层特征图进行上采样，并与下采样过程中得到的融合后的中间层特征图进行融合，得到新的中间层融合特征图；最后，一方面对新融合后得到的中间层特征图进行通道数的调整，并将其作为中间层网络的最终输出特征图，另一方对新融合后得到的中间层特征图进行上采样，并与浅层特征图进行融合，得到浅层网络的最终输出特征图。

5.根据权利要求1所述的一种基于改进的YOLOv4-tiny和YOLOv4绝缘子缺陷检测方法，其特征在于：所述步骤10中基于改进的YOLOv4-tiny和YOLOv4的绝缘子缺陷检测模型训练过程表示为：

基本参数设置：每个输入图像的大小为416×416，初始的学习率是0.001，采用阶梯型的学习率策略，利用动量为0.9的随机梯度下降优化器来调整网络参数，权重衰减设定为0.0005，每个批次训练8张图像；

模型训练：首先，利用已构建的数据集图像仅对改进的YOLOv4-tiny进行训练，实现基于YOLOv4-tiny模型的绝缘子准确检测；然后，冻结已训练的YOLOv4-tiny模型参数，对由改进的YOLOv4-tiny和YOLOv4模型组成的绝缘子缺陷检测完整模型进行训练，实现基于YOLOv4的绝缘串缺陷检测；最后，解冻已训练的YOLO-tiny模型参数，在已经得到的训练模型参数基础上，对基于改进的YOLO-tiny和YOLOv4绝缘子缺陷检测模型进行最后的训练，得到能够检测绝缘子缺陷的网络模型。

Images