CN115063648A

CN115063648A - 一种绝缘子缺陷检测模型构建方法及系统

Info

Publication number: CN115063648A
Application number: CN202210596808.5A
Authority: CN
Inventors: 赵立杰; 袁昌彪; 黄明忠; 王国刚; 张延华
Original assignee: Shenyang University of Chemical Technology
Current assignee: Shenyang University of Chemical Technology
Priority date: 2022-05-30
Filing date: 2022-05-30
Publication date: 2022-09-16

Abstract

一种绝缘子缺陷检测模型构建方法及系统，为一种基于双注意力非对称卷积YOLOv5s的绝缘子缺陷检测模型构建方法及系统，涉及输电线路绝缘子缺陷智能检测方法及系统，其步骤：构建输电线路绝缘子图像数据集；基于非对称卷积模块、通道和空间的双注意力机制CBAM和YOLOv5s构建用于绝缘子缺陷检测的双注意力非对称卷积YOLOv5s(Dual Attention‑YOLOv5s with Asymmetric Convolution,DAAC‑YOLOv5s)模型；使用绝缘子图像数据集对DAAC‑YOLOv5s模型进行训练；使用训练好的绝缘子缺陷检测模型DAAC‑YOLOv5s对绝缘子图像进行检测；本发明克服纵横比高、缺陷目标小问题，提高绝缘子缺陷检测速度和精度。

Description

一种绝缘子缺陷检测模型构建方法及系统

技术领域

本发明涉及输电线路绝缘子缺陷智能检测方法及系统，特别是涉及一种绝缘子缺陷检测模型构建方法及系统。

背景技术

随着我国输电线路的高速发展，绝缘子运行维护需求量增长与巡检人员数量之间的矛盾逐渐凸显。近些年，无人机航拍巡检代替人工巡检，一定程度上降低了巡检的难度和工作量，但是无人机航拍的绝缘子图像需要回传到后台人工判断和统计，存在检测效率低、实时性难以保障。

由于绝缘子图像背景复杂、角度多变和纵横比高特点，传统图像特征提取和分类器机器学习方法对复杂背景干扰比较敏感，很容易将阴影识别为缺陷，而基于深度学习的绝缘子检测面临缺陷目标较小、纵横比高、遮挡等问题，检测精度和速度还有待进一步提升，因此绝缘子缺陷检测面临巨大的挑战。

有鉴于此特提出本发明。

发明内容

本发明的目的在于提供一种绝缘子缺陷检测模型构建方法及系统，本发明基于YOLOv5s模型使用非对称卷积模块ACBlock替换了主干网络中残差单元的卷积来强化网络特征提取能力；然后在主干网络中引入通道和空间结合的注意力机制CBAM，通过对不同重要的特征采用不同的加权方式进一步提升网络的特征表达能力；最后针对YOLOv5s使用PIoU损失函数优化边框回归损失，能够有效地提升长宽比高、倾斜的绝缘子的IoU效果。本发明不仅可以在复杂的场景下提高绝缘子检测的精度，还能减少绝缘子的漏检。

本发明的目的是通过以下技术方案实现的：

本发明一种绝缘子缺陷检测模型的构建方法，包括以下步骤：

S1，构建输电线路绝缘子图像数据集；

S2，基于非对称卷积模块ACBlock、通道和空间的双注意力机制CBAM和YOLOv5s构建用于绝缘子图像的检测模型；

S3，使用所述绝缘子图像数据集对所述检测模型进行训练，并采用PIoU损失函数对所述检测模型进行参数更新；

S4，将绝缘子图像输入训练好的模型进行检测，输出绝缘子图像中目标的位置和类别。

进一步可选地，步骤S1包括如下步骤：

S11，构建航拍绝缘子数据集，并通过镜像、旋转和添加噪声等数据增强方法来扩充数据集；

S12，对绝缘子图像样本进行标注，使用矩形框标注绝缘子及其缺陷位置，并标注类别为绝缘子或缺陷。数据集采用YOLO格式，图片标注使用的是LabelImg，标注后的文件以.xml作为后缀，将标签文件转为.txt文件。

进一步可选地，步骤S2包括如下步骤：

S21，使用非对称卷积模块ACBlock做为BottleneckCSP1中残差单元的卷积，构建ACBlock-BottleneckCSP1。基于ACBlock-BottleneckCSP1搭建非对称卷积YOLOv5s网络；

S22，在非对称卷积YOLOv5s的主干网络中引入通道和空间结合的注意力机制CBAM。分别在主干网络中第一个ACBlock-BottleneckCSP1之前和最后一个ACBlock-BottleneckCSP1之后引入CBAM注意力机制。

进一步可选地，步骤S3包括如下步骤：

S31，数据集划分为训练集、验证集和测试集；

S32，设置批量、训练轮数、学习率和冲量等训练参数；

S33，利用所述训练集和验证集，使用梯度下降法求解损失函数的最优解，并根据损失函数的最优解对所述检测模型进行参数更新，保存训练好的模型；

S34，使用所述测试数据对训练好的模型进行测试。

进一步可选地，PIoU损失函数公式如下：

其中，

为所有正样本的集合，

为正样本数，

为真实目标，

为预测目标边框。

是经二进制约束函数处理后真实目标

和预测目标框

交集的像素点数和并集的像素点数比值。

本发明一种绝缘子缺陷检测模型构建系统，为一种基于双注意力非对称卷积YOLOv5s的绝缘子缺陷检测模型构建系统，其包括一个或多个处理器以及存储有程序指令的非暂时性计算机可读存储介质，当一个或多个处理器执行程序指令时，一个或多个处理器用于实现根据上述技术方案任意一项的方法。

本发明具有以下有益效果：

本发明在YOLOv5s的主干网络中使用ACBlock-BottleneckCSP1和添加通道和空间结合的注意力机制CBAM改善绝缘子检测精度低和漏检问题。以像素计数方式计算交并比PIoU函数作为边界框回归损失函数，使目标定位更加准确，减少了绝缘子的漏检。本发明有助于绝缘子缺陷的智能诊断水平提高，能够满足绝缘子缺陷检测实时性和高精度需求。

附图说明

附图作为本发明的一部分，用来提供对本发明的进一步的理解，本发明的示意性实施例及其说明用于解释本发明，但不构成对本发明的不当限定。显然，下面描述中的附图仅仅是一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。在附图中：

图1：为本发明一种实施例的基于双注意力非对称卷积YOLOv5s的绝缘子缺陷检测模型构建方法的流程示意图；

图2：为本发明一种实施例的基于DAAC-YOLOv5s的缺陷模型的结构示意图；

图3：为本发明一种实施例的ACBlock结构示意图；

图4：为本发明一种实施例的分别使用DIOU、CIOU和GIOU作为边界框回归损失的改进模型和使用PIOU的DAAC-YOLOv5s模型的训练过程回归损失对比图。

图5：为本发明一种实施例的原始YOLOv5s模型和改进后的模型DAAC-YOLOv5s的检测结果对比图；

图6：为本发明一种实施例的基于DAAC-YOLOv5s的绝缘子缺陷检测系统的系统框架图。

需要说明的是，这些附图和文字描述并不旨在以任何方式限制本发明的构思范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步详细的描述。

本发明将深度学习的目标检测算法应用到绝缘子检测与缺陷识别上，在YOLOv5s算法的基础上结合绝缘子缺陷检测面临的困难，提出了改进后的算法DAAC-YOLOv5s，从而使绝缘子快速准确的检测，减少绝缘子的漏检和误检。

图1示出了本发明一种实施例的基于双注意力非对称卷积YOLOv5s的绝缘子缺陷检测模型构建方法的流程示意图。如图1所示，该检测模型构建方法包括：

S1，构建输电线路绝缘子图像数据集。其中，S1包括如下步骤：

S11，构建航拍绝缘子数据集，针对数据不足的问题，考虑到检测场景的特点，采用旋转、裁剪、平移、CutMix、加噪、自适应亮度校正对绝缘子图像数据进行扩充。针对航拍视屏不断变化角度的特点，使用旋转的方法增加不同角度的图像；考虑到无人机在拍摄和传输图像中会产生噪声，采用添加噪声的方式对图像进行预处理；同时使模型更好的检测光照不均的绝缘子图像，采用自适应亮度矫正的方法调整图像亮度；此外使用CutMix方法来组合两个绝缘子图像样本，从而提高模型对被遮挡的绝缘子的识别能力；

S12，使用数据标注工具LabelImg对图像进行标注，用矩形框标注绝缘子及缺陷的位置，并标注图像类别为绝缘子或缺陷。标注完成后会生成一个.xml文件的标签，数据集的标签采用YOLO格式，将.xml文件的标签转为.txt文件，每一行的内容分别为类别、矩形框中心的横坐标、矩形框中心的纵坐标，矩形框的宽、矩形框的高。

S2，基于非对称卷积ACBlock、注意力机制CBAM和YOLOv5s构建用于输电线路绝缘子航拍图像的检测模型DAAC-YOLOv5s。具体地，该基于DAAC-YOLOv5s的检测模型用于但不限于绝缘子缺陷的检测。如图2所示，检测模型包括Input、Backbone、Neck、Head四部分。其中，S2包括如下步骤：

S21，构建模型Input部分。Input主要是对输入模型的数据的一些操作，包括Mosaic数据增强、自适应锚框计算、自适应图片缩放；

其中，Mosaic数据增强是采用4张图像，随机缩放、随机裁剪、随机排布的方式进行拼接，丰富了数据集，尤其是随机缩放增加了小目标，让网络的鲁棒性更好。由于是直接计算4张图像的数据，加少了GPU的使用，提高了算法的运行速度。

其中，自适应锚框计算在每次训练将会自适应的计算不同训练集中的最佳锚框值。网络会先在初始锚框的基础上输出预测框，进而和真实框进行比对，计算两者差距，再反向更新，迭代网络参数。

其中，自适应图片缩放将原始图片统一缩放到640×640，再送入检测网络中。图片的长宽比不同，因此缩放填充后，两端的黑边大小都不同。因此自适应图片缩放在对原始图像自适应的添加最少的黑边，减少推理时间。

S22，构建模型Backbone部分。Bacbone主要使用了Focus、CBL、ACBlock-BottleneckCSP1、CBAM和SPP结构；

具体地、Focus的主要操作是对输入图像进行切片，在实现特征图降维的同时，保证了数据的完整性；CBL是卷积、批量化和Leaky_relu激活函数的操作组合；ACBlock-BottleneckCSP1是我们使用非对称卷积模块ACBlock做为BottleneckCSP1中残差单元的卷积构建的新结构；CBAM是一个通道和空间串行的注意力机制，我们把它加在主干网络中第一个ACBlock-BottleneckCSP1之前和最后一个ACBlock-BottleneckCSP1之后；SPP是一个空间金字塔，采用1×1、5×5和9×9的最大池化方式进行多尺度的特征融合。

其中，ACBlock由3×3、1×3和3×1这三个卷积核组成，如图3(a)所示。其中3×3卷积核是一个正则卷积，可以提取图像的基础特征；1×3和3×1分别是水平和垂直卷积核，二者可以提取图像的横向和纵向特征，以及目标的位置和旋转特征。因此改进后的主干网络可以提取更丰富的特征信息，以及提升模型对图像反转和旋转的鲁棒性。在训练阶段，ACBlock中的三个卷积核单独训练，最终将这三个卷积层的计算结果进行叠加获得卷积层的输出，接着继续前向传播。在推理阶段，如图3(b)所示，三个卷积核的权重被提前融合成一个正则卷积形式，再进行推理计算。融合的公式如下：

其中

是融合后的卷积核，

是融合后的偏置。

和

分别是三个卷积核对应的批量标准化的均值，

和

是对应的方差，

和

是对应卷积核权重，

和

是对应卷积核偏置。

是输入特征图，

是ACBlock卷积的输出。

其中，CBAM是2个独立的子模块的串行连接，通道注意力模块和空间注意力模块。通道注意力机制着重关注“目标是什么”，使用平均池化和最大池化对特征图降维实现聚合特征图的空间信息，然后由多层感知机为每个通道的权重重新进行分配。空间注意力机制着重关注的信息部分则是“目标在哪里”，采用最大池化和平均池化操作将通道数为C的特征图压缩至1，从而充分学习空间注意力的特征。所述通道和空间的注意力机制公式如下：

其中

表示输入特征图，

代表激活函数,

代表多层感知机，

，

为共享感知机的两层参数,

和

分别表示通道注意力机制的全局平均池化和最大平均池化。

其中

表示7×7大小的卷积核操作，

和

分别表示空间注意力机制的全局平均池化和最大平均池化。

S23，构建模型Neck部分。YOLOv5s的Neck采用FPN+PAN结构对特征信息进行融合，充分获取高层的语义信息和低层的位置信息；

其中，FPN是自顶向下的，将高层的语义信息通过上采样的方式进行传递融合，它的感受野较大，提取的特征抽象，有利于物体的分类，但会丢失细节信息，不利于精确分类。而PAN则自底向上,使用下采样的方式传达定位特征，使用FPN+PAN从不同的主干层对不同的检测层进行参数聚合。

S24，构建模型Head部分。Head中的主体部分就是三个Detect检测器，即利用基于网格的锚框在不同尺度的特征图上进行目标检测的过程。

具体地、Detect会把图片分割成7*7个网格，让每个网格都可以预测出3个预测框。预测框有5个信息量: 物体的中心位置(x,y)，物体的高h，物体的宽w以及这次预测的置信度，还预测这个网格是什么类别。最后通过损失函数的约束实现参数更新，让定位更加准确；通过NMS非极大值抑制删除多余的预测框，只保留置信度最高的预测框。

S3，使用所述绝缘子图像数据集对所述检测模型进行训练，并采用PIoU损失函数对所述检测模型进行参数更新。其中，S3包括如下步骤：

S31，划分为训练集、验证集和测试集；

具体地，将步骤S1，所得到3700张活性污泥数据集按照6：2：2划分为训练集、验证集、测试集。

S32，设置批量、训练轮数、学习率和冲量等训练参数；

具体地，批量大小为16，训练轮数为300，学习率为0.01，冲量大小为0.937。

具体的，利用训练集和验证集使用梯度下降法求解总的损失函数的最优解，并根据最优解对模型DAAC-YOLOv5s的权重参数更新，在300轮的训练过程中不断迭代，把在验证集上取得最高准确率的权重参数进行保存，作为训练得到的模型参数。

其中，采用PIoU作为模型训练过程中的边界框回归损失。该损失函数采用像素计数的方式来计算IoU，对标注框的大小、位置和旋转角度都是敏感的，很好的解决了因绝缘子长宽比高导致的定位低的问题。PIoU的公式如下：

其中，

为所有正样本的集合，

为正样本数，

为真实目标，

为预测目标边框。

是经二进制约束函数处理后真实目标

和预测目标框

交集的像素点数和并集的像素点数比值。

S34，使用所述测试数据对最优模型进行测试。

具体地，为了测试基于DAAC-YOLOv5s的检测模型对绝缘子以及缺陷的检测性能，选择精确度、召回率、平均准确率(mAP)、推理速度(FPS)、参数量(Parame)作为模型的评价指标，评价指标如表1所示，精确度表示查准率，召回率表示查全率，mAP表示是平均准确率，指精确率-召回率曲线与坐标围成的区域面积，是对精确率和召回率的平衡；

表1 不同模块在YOLOv5s上的检测指标

此处，本实施例的训练DAAC-YOLOv5s检测模型操作已经完成，

模型测试结果为：原始YOLOv5s网络实验中平均mAP为96.8%，在原始YOLOv5s算法的基础上添加了所有改进策略之后的DAAC-YOLOv5s中平均mAP为97.6%，检测准确率比原始YOLOv5s算法提高了0.8%，由此证明了本发明文的改进策略有效；在原始YOLOv5s中使用了ACBlock之后平均mAP提高了0.5%，因此ACBlock-BottleneckCSP1模块可以提取更多的特征；在原始YOLOv5s中使用了ACBlock和CBAM之后，平均mAP又提高了0.2%，说明CBAM注意力机制有效的将空间信息和通道信息结合并重新分配了特征图的权重，增强了重要的特征，抑制了不重要的特征，使主干网络的特征提取能力进一步加强；DAAC-YOLOv5s在使用ACBlock和CBAM的基础上把损失函数GIoU替换成了PIoU，最终实验的平均mAP达到了97.6%，证明了PIoU损失可以更好的解决细长物体和倾斜物体的回归损失，使检测精度更高。

具体地，为了进一步验证CBAM策略的有效性，使用通道注意力SE(Squeeze-and-Excitation)模块替换CBAM模块，在测试集上进行测试，模型的性能如表2所示：

表2 不同注意力模块改进策略的对比效果

此处，使用CBAM注意力机制的模型检测效果更好，平均准确率mAP比使用了SE高了0.1%，验证了本发明使用的通道和空间结合的注意力机制CBAM比只使用通道的SE效果更好。

具体地，为了进一步说明PIoU损失更适合计算长宽比高的物体，分别使用GIoU、DIoU、CIoU替换DAAC-YOLOv5s中的PIoU作为边界框的回归损失，训练过程中各模型的回归损失函数变化如图4所示，从图中可知PIoU损失更小，说明该模型定位更准确。各模型在测试集上的结果如表3所示：

表3 不同回归损失函数的缺陷检测模型性能对比效果

此处，使用了PIoU的模型检测精度最高，达到了97.6%。使用了GIoU的模型检测精度为97.5%，而使用DIoU和CIoU的模型的检测精度稍微下降。因此可知，该发明使用的PIoU更适合长宽比较高的绝缘子的检测。

S4，将待检测的绝缘子图像输入训练好的DAAC-YOLOv5s模型，输出绝缘子图像中目标的位置和类别。

本实施例中分别将待检测的图像输入到原始YOLOv5s模型和DACC-YOLOv5s模型，对检测结果进行比较，如图5所示，(a)对绝缘子缺陷的检测，原始YOLOv5s模型的mAP是0.95，DACC-YOLOv5s模型的mAP达到了0.98，提升了0.03；(b)中原始YOLOv5s模型对绝缘子缺陷的检测的mAP为0.96，DACC-YOLOv5s模型的mAP是0.97，提升了0.01。(c)中原始YOLOvs模型绝缘子出现了漏检，DACC-YOLOv5s模型检测到了原始模型漏检的绝缘子。

图6示出了根据本发明一种实施例的绝缘子缺陷检测系统。如图6所示，该绝缘子缺陷检测系统包括：模型的线下训练和在线应用，其中，线下训练是使用上述的绝缘子数据集训练DACC-YOLOv5s模型，线上应用部分是采用线下训练好的双注意力非对称卷积YOLOv5s对测试的绝缘子图像或无人机航拍图像和视屏的检测。

以上所述仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专利的技术人员在不脱离本发明技术方案范围内，当可利用上述提示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明方案的范围内。

Claims

1.一种绝缘子缺陷检测模型构建方法，为一种基于非对称卷积YOLOv5s的绝缘子缺陷检测模型构建方法，其特征在于，所述方法包括以下步骤：

S1，构建输电线路绝缘子图像数据集；

S2，基于非对称卷积模块(Asymmetric Convolution Block，ACBlock)、通道和空间的双注意力机制CBAM和YOLOv5s构建用于绝缘子图像的检测模型；

2.如权利要求1所述的一种绝缘子缺陷检测模型构建方法，其特征在于，所述步骤S1包括如下步骤：

S12，对绝缘子图像样本进行标注，使用矩形框标注绝缘子及其缺陷位置，并标注类别为绝缘子或缺陷；数据集采用YOLO格式，图片标注使用的是LabelImg，标注后的文件以.xml作为后缀，将标签文件转为.txt文件。

3.如权利要求1所述的一种绝缘子缺陷检测模型构建方法及，其特征在于，所述步骤S2包括如下步骤：

S21，使用非对称卷积模块ACBlock做为BottleneckCSP1中残差单元的卷积，构建ACBlock-BottleneckCSP1；基于ACBlock-BottleneckCSP1搭建非对称卷积YOLOv5s网络；

S22，在非对称卷积YOLOv5s的主干网络中引入通道和空间结合的注意力机制CBAM；分别在主干网络中第一个ACBlock-BottleneckCSP1之前和最后一个ACBlock-BottleneckCSP1之后引入CBAM注意力机制。

4.如权利要求1所述的一种绝缘子缺陷检测模型构建方法，其特征在于，所述步骤S3包括如下步骤：

S31，数据集划分为训练集、验证集和测试集；

S32，设置批量、训练轮数、学习率和冲量等训练参数；

S34，使用所述测试数据对训练好的模型进行测试。

5.如权利要求4所述的一种绝缘子缺陷检测模型构建方法，其特征在于，所述损失函数中的边界框回归损失PIoU公式如下：

其中，

为所有正样本的集合，

为正样本数，

为真实目标，

为预测目标边框；

是经二进制约束函数处理后真实目标

预测目标框

交集的像素点数和并集的像素点数比值。

6.一种绝缘子缺陷检测模型构建系统，为一种基于双注意力非对称卷积YOLOv5s的绝缘子缺陷检测模型构建系统，其特征在于，该系统包括一个或多个处理器以及存储有程序指令的非暂时性计算机可读存储介质，当一个或多个处理器执行程序指令时，一个或多个处理器用于实现根据权利要求1-5任意一项所述的方法。