CN114332697A - 输电线路中多类目标故障检测方法、系统、设备及介质 - Google Patents

Abstract

本发明属于高压输电线路故障检测技术领域，公开了一种输电线路中多类目标故障检测方法、系统、设备及介质，利用无人机巡检视频制作训练样本和测试样本；其次，在YOLOv5算法框架基础上，通过引入空间与通道卷积注意力模型以抑制复杂背景的干扰；将YOLOv5中neck部位FPN+PAN结构改为BiFPN结构，并设计了多尺度与同尺度特征的自适应加权融合模块，以增强检测网络对遮挡情况下故障目标的检测能力，构建检测模型；输出检测结果；为验证算法的检测精度和实时性，将其与YOLOv5s进行比较。相比于YOLOv5s算法，本发明对输电线路中多类目标故障的检测精准度和召回率都是最高，同时该算法具有较好的实时性。

Description

输电线路中多类目标故障检测方法、系统、设备及介质

技术领域

本发明属于高压输电线路故障检测技术领域，尤其涉及一种输电线路中多类目标故障检测方法、系统、设备及介质。

背景技术

目前，随着国家电网的规模不断扩大，输电线路的不断复杂化，多功能化，各种输电线路安全运行也越来越重要，传统的输电线路和变电站人工巡检的输电线路维护方式已经无法满足日益壮大的输电线路。而随着人工智能的蓬勃发展，国家电网公司也逐渐将人工智能引入到输电线路的智能巡检中，例如采用载入了智能检测方法的智能无人机对高空的输电线进行拍照检测。

通过查阅相关文献，基于Faster R-CNN算法框架下对输电线路多目标故障进行检测，可以达到很好的检测精度，但检测速度相比于YOLOv4和YOLOv5算法较慢，无法满足实时检测要求；基于YOLOv4和YOLOv5的检测算法对输电线路中故障检测时具有较高的检测精度，但是YOLOv5检测算法相比于YOLOv4算法具有更高的检测精度以及更好的实时性。但是现有的一些智能检测方法始终存在或多或少的缺陷，无法满足输电线检测这种需要高效和高准确度并行的工况中。

通过上述分析，现有技术存在的问题及缺陷为：复杂环境下故障目标显著度低而难以被准确检测；待检测目标特征表达能力不足而造成漏检和误检。

解决以上问题及缺陷的难度为：输电电线路中多数故障目标包括如螺栓中的销钉脱落、螺丝垫片丢失、绝缘子串破裂、并联间隙过大等目标故障，尤其当面对强光照射、物体遮挡和复杂背景等特殊情况时，如何准确检测出这些多类目标故障是个巨大难题。

解决以上问题及缺陷的意义为：由于高压输电线路长时间暴露在恶劣的自然环境中，受到包括大风、雷雨、冻害、鸟害等自然环境因素影响，经常会造成输电线路发生如绝缘子脱落、螺丝松动、一字间隔棒损坏等故障情况，造成输电系统存在巨大安全隐患。利用无人机对输电线路进行巡检是国内外输电线路巡检的重要模式，该巡检模式可以有效克服人工巡检“费、慢、难、险”的弊端，具有安全高效、操控灵活、受限条件少以及成本低等优势。因此准确、可靠的检测出这些多目标故障对电力系统的安全运行具有重要的意义。同时也为复杂环境下多目标检测领域提供了一种新方法。

发明内容

针对现有技术存在的问题，本发明提供了一种输电线路中多类目标故障检测方法、系统、设备及介质。

本发明是这样实现的，一种输电线路中多类目标故障检测方法，所述输电线路中多类目标故障检测方法包括：

第一步，利用无人机巡检视频制作训练样本和测试样本；

第二步，在YOLOv5算法框架基础上，将neck中的FPN+PAN结构改为BiFPN结构，并设计多尺度与同尺度特征的自适应加权融合模块，构建检测模型；

第三步，输出检测结果。

在本发明中，第一步，利用无人机巡检视频制作训练样本和测试样本，进行样本数据去躁和增强。

第二步，针对复杂线路检测建立了CSAF-YOLOv5检测网络，在YOLOv5基础上通过引入空间与通道卷积注意力模型以抑制复杂背景的干扰；将YOLOv5检测框架neck引入BiFPN结构，有效融合了目标多尺度特征；通过多尺度与同尺度特征的自适应加权融合模块，增强了检测网络对遮挡情况下故障目标的检测能力，有效解决了待检测目标特征表达能力不足而造成漏检和误检的问题。

进一步，输电线航拍图像输入至一训练好的CSAF-YOLOV5模型。

进一步，所述CSAF-YOLOV5模型的Backboe包括依次连接的Focus层、一级Conv层、一级CSP层、二级Conv层、二级CSP层、一级CBAM层、三级Conv层、三级CSP层、二级CBAM、四级Conv层、SPP层和四级CSP层；其中，所述Focus层、所述一级Conv层、一级CSP层、二级Conv层、二级CSP层、三级Conv层、三级CSP层、四级Conv层、SPP层、四级CSP层的卷积核的数量分别为1、3、1、9、1、9、1、1、3。

进一步，所述CSAF-YOLOV5模型Backbone中的残差块CSP 13与卷积块CBL之间加入空间与通道卷积块注意力模型CBAM；其中，模块中的通道注意力机制为M_c，空间注意力机制为M_s；

CBAM模块中的通道注意力机制利用全局平均池化average pooling和最大池化max pooling对目标区域的特征信息进行凸显；计算公式：

式中：σ(g)为sigmoid非线性激活函数；MLP表示CBAM中的共享网络，W0和W1分别表示MLP中多层感知器中的隐藏层权重和输出层权重，为W₀∈R^Clr×C、W₁∈R^C×Clr，r的大小取为16；

和

分别表示全局平均池化特征和最大池化特征；

在通道注意力机制作用下，引入空间注意力模型，计算公式：

式中：f^7×7代表的是7×7的卷积运算，

和

表示通道上的全局平均池化特征和最大池化特征。

进一步，所述输电线路中多类目标故障检测方法采用融合注意力机制的CSAF-YOLOv5输电线路故障检测，搭建YOLOv5检测网络，并在backbone中引入一种空间与通道注意力模型；将原始YOLOv5检测框架neck中的FPN+PAN结构改为BiFPN结构，实现不同尺度目标特征的有效融合。

进一步，所述输电线路中多类目标故障检测方法构建跨尺度自适应特征融合模块，并设计多尺度间以及同尺度间的特征自适应加权融合模块。

进一步，所述输电线路中多类目标故障检测方法在YOLOv5的neck中引入BiFPN特征融合结构，融合步骤如下：(1)将只有一条输入边的特征图删除；(2)与只有一个自顶向下和一个自底向上路径的PANet不同，将删除的一个输入边的特征图输入到下一个特征图和下一级的特征图中；(3)在同一级网络中，从原始输入结点到输出结点之间添加一条额外的输入边。

进一步，通过多尺度自适应加权特征融合模块MAWFF，实现不同尺度间的缩放和自适应加权融合；首先，输入层levell(l∈{0，1，2})尺度特征设为x_l，将其他的特征层leveln(n≠l)的特征x_n调整为与x_l相同的尺度；在MAWFF模块中通过上采样和下采样操作使YOLOv5的Backbone中的三个输出层特征的尺度和通道数量一致；

其中上采样操作中，首先将特征的通道数压缩至l级，使用1×1的卷积层操作，然后提高图像分辨率使用插值系统；下采样操作中，使用大小为3×3以及步长为2的卷积层调整通道数量和尺度；

在调整输入层的尺寸大小和通道数的同时，从每个输入层中自适应学习特征图的空间权重，

是从第0级调整到第l级特征映射上(i，j)位置的特征向量，对应第l级的特征融合结果。

进一步，通过一个同尺度加权特征融合模块SWFF，将level l(l∈{0，1})输入层尺度特征记为x_l，进行特征层融合时将一个可学习的权重参数引入到网络中，得到的特征融合结果out；通过3个SWFF模块和4个MAWFF模块，SWFF模块处于neck部分中相同尺度位置，4个MAWFF中有1个模块在neck部分中不同尺度融合位置，其他3个模块在相应的neck尾部连接，实现同一尺度下加权特征的有效融合。

本发明的另一目的在于提供一种执行所述输电线路中多类目标故障检测方法的电子设备，所述电子设备包括处理器与存储器；

所述存储器，用于存储代码和相关数据；

所述处理器，用于执行所述存储器中的代码。

本发明的另一目的在于提供一种存储介质，其上存储有计算机程序，该程序被处理器执行所述输电线路中多类目标故障检测方法的步骤。

本发明的另一目的在于提供一种实施所述输电线路中多类目标故障检测方法的输电线路中多类目标故障检测系统，所述输电线路中多类目标故障检测系统包括：

图像获取模块，用于获取某实际输电线的多张航拍图像；

样本准备模块，用于将所述的多张航拍图像分成训练样本集和测试样本集；

模型训练模块，用于利用所述训练样本集对所述CSAF-YOLOV5模型进行训练，并利用所述测试样本集对训练后的CSAF-YOLOV5模型进行测试，获得训练好的CSAF-YOLOV5模型；

输电线航拍图像获取模块，用于获取实际输电线航拍图像；

识别模块，用于将输电线航拍图像输入至一训练好的CSAF-YOLOV5模型；

结果输出模块，用于输出检测结果。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明利用无人机巡检视频制作训练样本和测试样本，其中包括一字间隔棒损坏、螺丝松动等12类故障；其次，融合注意力机制的CSAF-YOLOv5输电线路故障检测系统，搭建了YOLOv5检测网络，并在backbone中引入一种空间与通道注意力模型来增强故障目标图像的显著度，进而提高检测网络前期特征提取精度；将原始YOLOv5检测框架neck中的FPN+PAN结构改为BiFPN结构，从而实现不同尺度目标特征的有效融合；构建了跨尺度自适应特征融合模块，并设计了多尺度间以及同尺度间的特征自适应加权融合模块，从而增强检测网络对遮挡情况下故障目标的检测能力，实现对高压输电线路故障的高效、灵活检测。

本发明利用无人机对高压输电线路巡检并基于计算机视觉技术对巡检数据中存在的故障目标进行自动、准确检测是目前输电线路巡检领域中的重要研究方向，同时也是一个极具挑战性的课题。本发明基于深度学习进行目标检测是计算机视觉领域的重要研究方向，同时也是一个研究热点。该系统可以有效解决传统基于人工特征进行目标检测时存在的检测精度低、易受环境干扰以及泛化能力不强等缺点。

本发明可以增强复杂背景中故障目标图像的显著度，提高检测网络前期特征提取精度，解决复杂环境下故障目标显著度低而难以被准确检测的问题；本发明可以实现不同尺度目标特征的有效融合，增强检测网络对遮挡情况下故障目标的检测能力；本发明可以提升复杂背景下高压输电线路故障检测率；本发明可以进一步实现对高压输电线路故障的灵活、高效检测；本发明能够及时发现输电线路故障，减少事故发生。

附图说明

图1是本发明实施例提供的输电线路中多类目标故障检测方法流程图。

图2是本发明实施例提供的输电线路中多类目标故障检测系统的结构示意图；

图2中：1、图像获取模块；2、样本准备模块；3、模型训练模块；4、输电线航拍图像获取模块；5、识别模块；6、结果输出模块。

图3是本发明实施例提供的YOLOv5算法检测流程图。

图4是本发明实施例提供的CSAF-YOLOv5输电线路中小目标故障检测方法流程图。

图5是本发明实施例提供的Focus网络结构图。

图6是本发明实施例提供的SPP网络结构图。

图7是本发明实施例提供的CBAM网络结构图。

图8是本发明实施例提供的BiFPN网络结构图。

图9是本发明实施例提供的MAWFF网络结构图。

图10是本发明实施例提供的SWFF网络结构图。

图11是本发明实施例提供的mAP@0.5对比曲线示意图。

图12是本发明实施例提供的YOLOv5与本发明算法检测结果对比示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种输电线路中多类目标故障检测方法、系统、设备及介质，下面结合附图对本发明作详细的描述。

如图1所示，本发明实施例提供的输电线路中多类目标故障检测方法包括以下步骤：

S101：利用无人机巡检视频制作训练样本和测试样本，其中包括绝缘子脱落、并联间隙损坏、鸟巢等12类故障；

S102：在YOLOv5算法框架基础上，通过引入空间与通道卷积注意力模型以抑制复杂背景的干扰，将neck中的FPN+PAN结构改为BiFPN结构，并设计了多尺度与同尺度特征的自适应加权融合模块，以增强检测网络对遮挡情况下故障目标的检测能力，构建检测模型；

S103：输出检测结果。

本发明的输电线路中多类目标故障检测方法还包括在获得多张航拍图像后包括：采用预设方法对所述的多张航拍图像进行去噪和增强，并将去噪和增强后的多张航拍图像分成训练样本集和测试样本集。

去噪采用HESSIAN方法，其中HESSIAN矩阵为：

增强包括：图像随机缩放、图像随机裁剪和图像随机排布。

CSAF-YOLOV5模型的Backboe包括依次连接的Focus层、一级Conv层、一级CSP层、二级Conv层、二级CSP层、一级CBAM层、三级Conv层、三级CSP层、二级CBAM、四级Conv层、SPP层和四级CSP层；其中，所述Focus层、所述一级Conv层、一级CSP层、二级Conv层、二级CSP层、三级Conv层、三级CSP层、四级Conv层、SPP层、四级CSP层的卷积核的数量分别为1、3、1、9、1、9、1、1、3。

本发明提供的输电线路中多类目标故障检测方法业内的普通技术人员还可以采用其他的步骤实施，图1的本发明提供的输电线路中多类目标故障检测方法仅仅是一个具体实施例而已。

如图2所示，本发明实施例提供的输电线路中多类目标故障检测系统包括：

图像获取模块1，用于获取某实际输电线的多张航拍图像；

样本准备模块2，用于将所述的多张航拍图像分成训练样本集和测试样本集；

模型训练模块3，用于利用所述训练样本集对所述CSAF-YOLOV5模型进行训练，并利用所述测试样本集对训练后的CSAF-YOLOV5模型进行测试，获得训练好的CSAF-YOLOV5模型；

输电线航拍图像获取模块4，用于获取实际输电线航拍图像；

识别模块5，用于将输电线航拍图像输入至一训练好的CSAF-YOLOV5模型；

结果输出模块6，用于输出检测结果。

下面结合附图对本发明的技术方案作进一步的描述。

1、YOLOv5算法检测原理

在对输电线路故障检测中，精准度和实时性都是至关重要的，YOLOv5算法很好的满足了这两方面的要求，而CSAF-YOLOv5中改进了YOLOv5的Neck特征融合网络结构，使得网络能够对多尺度特征有效融合，提升了网络对目标检测的精准度。

YOLOv5检测网络，在YOLOv4检测结构中新增加Focus模块和CSPNet(cross stagepartial network，CSPNet)结构，在输入端，首先将不同尺寸的输入样本图像尺寸调整为640×640，然后再送入检测网络的Backbone中；训练时，网络在初始锚框上计算得到预测框，然后计算其与真实框的差异，再进行反向更新。Backbone：如图5，利用Focus模块进行切片，将原始640 x 640x 3的图像输入Focus模块，通过切片操作，先将特征图变为320 x 320x 12的特征图，然后使用32个卷积核卷积得到320 X 320 x 32的特征图。Neck：如图6，空间金字塔池化(spatial pyramid pooling，SPP)模块使用内核k＝{1×1，5×5，9×9，13×13}的最大池化层的方式，再将不同尺度的特征图进行连接。特征融合网络结构由于采用FPN+PAN结构可将不同主特征层与不同的检测层进行融合，FPN从上向下传达语义特征，PAN自底向上传达定位特征。

2、基于CSAF-YOLOv5的小目标故障检测方法

融合注意力机制的CSAF-YOLOv5输电线路故障检测系统，搭建了YOLOv5检测网络，并在backbone中引入一种空间与通道注意力模型来增强故障目标图像的显著度，进而提高检测网络前期特征提取精度；将原始YOLOv5检测框架neck中的FPN+PAN结构改为BiFPN结构，从而实现不同尺度目标特征的有效融合；构建了跨尺度自适应特征融合模块，并设计了多尺度间以及同尺度间的特征自适应加权融合模块，从而增强检测网络对遮挡情况下故障目标的检测能力，实现对高压输电线路故障的高效、灵活检测。

2.1引入卷积块注意力

为了增强复杂背景中故障目标的特征表达能力，提高其显著度，本发明在YOLOv5网络模型Backbone中的残差块(CSP1_3)与卷积块(CBL)之间加入空间与通道卷积块注意力模型(convolutional block attention module，CBAM)[21]，其结构如图7所示。其中，模块中的通道注意力机制为M_c，空间注意力机制为M_s。

CBAM模块中的通道注意力机制利用全局平均池化(average pooling)和最大池化(max pooling)来对目标区域的特征信息进行凸显。计算公式(1)：

式中：σ(g)为sigmoid非线性激活函数；MLP表示CBAM中的共享网络，W0和W1分别表示MLP中多层感知器中的隐藏层权重和输出层权重，为W₀∈R^Clr×C、W₁∈R^C×Clr，r的大小取为16。

和

分别表示全局平均池化特征和最大池化特征。

在通道注意力机制作用下，图像位置信息会产生一定的遗失，为此引入空间注意力模型，其计算公式(2)所示：

式中：f^7×7代表的是7×7的卷积运算，

和

表示通道上的全局平均池化特征和最大池化特征。

2.2跨尺度自适应特征融合模型

原始YOLOv5框架中采用FPN+PAN结构对多尺度特征进行融合。由于该融合方式通过特征图变换成相同尺寸后进行级联，无法充分利用不同尺度间的特征，造成最终检测网络的检测精度受限。为了提高检测模型效率，本发明在YOLOv5的neck中引入一种更为高效的BiFPN特征融合结构。其融合步骤如下：(1)将只有一条输入边的特征图删除。在一个特征图融合的节点中，只有一条输入边输入并且也没有与其他输入边输入的特征图进行融合时，它对融合不同特征目标信息的特征网络框架中贡献度往往会很小；(2)与只有一个自顶向下和一个自底向上路径的PANet不同，将删除的一个输入边的特征图输入到下一个特征图和下一级的特征图中，以实现更高级别的特征融合；(3)在同一级网络中，从原始输入结点到输出结点之间添加一条额外的输入边，以不增加过多计算量的前提下融合更多特征。通过上述优化构建成双向特征金字塔网络，如图8所示。

如图9所示，为了解决不同尺度条件下特征难以有效融合问题，借鉴自适应空间特征融合(Adaptively spatial feature fusion，ASFF)，通过一种多尺度自适应加权特征融合模块(Multi-scale adaptive weighted feature fusion，MAWFF)，实现不同尺度间的缩放和自适应加权融合。首先，输入层level l(l∈{0，1，2})尺度特征设为x_l，将其他的特征层level n(n≠l)的特征x_n调整为与x_l相同的尺度。在MAWFF模块中通过上采样和下采样操作使YOLOv5的Backbone中的三个输出层特征的尺度和通道数量一致。其中上采样操作中，首先将特征的通道数压缩至l级，使用1×1的卷积层操作，然后提高图像分辨率使用插值系统。下采样操作中，使用大小为3×3以及步长为2的卷积层调整通道数量和尺度。然后，在调整输入层的尺寸大小和通道数的同时，从每个输入层中自适应学习特征图的空间权重。设

是从第0级调整到第l级特征映射上(i，j)位置的特征向量，对应第l级的特征融合结果。

如图10所示，通过一个同尺度加权特征融合模块(Same-scale weighted featurefusion，SWFF)，将level l(l∈{0，1})输入层尺度特征记为x_l，该模块进行特征层融合时将一个可学习的权重参数引入到网络中，最终得到的特征融合结果out。通过3个SWFF模块和4个MAWFF模块，SWFF模块处于neck部分中相同尺度位置，4个MAWFF中有1个模块在neck部分中不同尺度融合位置，其他3个模块在相应的neck尾部连接，实现同一尺度下加权特征的有效融合。

下面结合实验对本发明的技术效果作详细的描述。

1、模型训练及结果分析

本实验是在pytorch框架下进行，软件和硬件平台配置参数如下表1所示。

表1软件和硬件平台配置参数

1.1数据的采集与处理

为了验证本发明所提出的基于输电线路小目标故障的检测算法，截取了内蒙古某供电局近3年利用无人机/直升机对输电线路进行巡检的视频做为本实验的数据。并从中截取包括销钉脱落、螺丝松动、一字间隔棒损坏、螺丝脱落和螺母缺垫片销钉脱落、鸟巢、杂物等12类故障的图片作为本实验数据集。

从巡检视频数据中截取12类故障样本共1800张，各类故障定义如表2所示。选取各类故障样本数的1/6，即300张图像作为测试样本，其余1500张图像作为训练样本。为了扩充训练样本数量，增强检测模型的泛化能力，对1500张训练样本随机进行±45°旋转，进而共得到3000张训练样本。

表2故障类型简称与数量

1.2网络模型训练

为了验证本发明提出的算法在检测小目标上的优点，分别与YOLOv5、CSAF-YOLOv5算法进行对比训练，将网络输入的图像分辨率都统一设为640×640。训练方法采用异步随机梯度下降法，动量大小参数取为0.937，每一批训练batch为64张样本图像，通过16次将图像依次输入到检测网络模型中。在前200轮训练中，将学习率设置为0.01，最后100轮训练中，学习率取为0.001。当训练达到300轮时，损失函数与精度趋于稳定，从而得到模型训练权重。通过对YOLOv5和本发明提出的CSAF-YOLOv5的训练结果进行统计分析，得到如图11所示的检测的平均准确率均值(mAP)与迭代次数之间的对比关系。

从图11中可以看出，YOLOv5与本发明算法均具有高的检测精度。本发明算法在迭代了前30轮mAP@0.5值上升到0.7左右，最终稳定在0.968左右。而YOLOv5算法在训练40轮左右时，该值缓慢增加到0.7，最后在0.959左右稳定下来。

2实验结果与分析

为了更好的对比YOLOv5和CSAF-YOLOv5两种网络对多目标的检测效果，本发明分别从主观分析和客观评价两方面对实验结果进行对比分析。

2.1主观分析

选取了4幅容易出现误检的图像用于主观分析，YOLOv5与CSAF-YOLOv5网络的检测结果是图12的(a)～图12的(c)所示。

由图7的检测结果可以直观的看出，YOLOv5算法在检测并联间隙上的间隙过大、短接和杂物的时候容易将这两种具有相似特征的故障混在一起，出现误检和漏检的情况，而本发明提出的CSAF-YOLOv5算法则很少出现这种误检情况，可以精准的将这两种故障检测出来，而且在对螺丝松动和鸟巢等其他故障进行目标框标注的时候也比YOLOv5算法标注的更加准确。

2.2客观评价

为了客观评价YOLOv5和本发明提出的CSAF-YOLOv5在对多目标上的检测效果，本发明选取各类目标的平均精准率AP、平均精准率均值mAP、平均召回率recall和平均交并比average IOU做为客观评价指标。其中，精准率(precision)和召回率(recall)计算公式如(3)～(4)所示：

式中：N_TP、N_FP和N_FN分别表示正确检验框、误检框和漏检框数量，AP为P-R曲线积分，N为检测类别数量。CSAF-YOLOv5对各类故障目标的mAP@0.5和召回率(Recall)客观评价结果如表3所示。

表3本发明的客观评价结果

为了客观评价本发明算法的优势，YOLOv5和CSAF-YOLOv5算法均使用同样数量样本进行训练，训练时使用相同参数，对比算法得到的结果如表4所示。

表4对比算法结果参数

从表4的对比算法检测结果可以看出，本发明算法相比于YOLOv5的检测精度更高，并且实时性也较好。

在YOLOv5模型中引入CBAM能够增强目标区域的显著度；将neck部分中的FPN+PAN替换为BiFPN网络从而实现了不同尺度目标特征的有效融合；通过构建多尺度间特征融合模块以及同尺度特征加权融合模块实现了目标特征更有效进行融合，较好地解决了故障目标在遮挡情况下由于特征表达能力不足而造成的漏检和误检。利用某电力部门的航拍巡检所得到的数据来对本发明的算法模型进行验证，结果表明，本发明算法能够对复杂环境下多类故障目标进行高精确的检测，能够在保证检测时同时具有高准确率、高召回率以及良好的实时性，为实现利用无人机对输电线路故障进行在线检测提供了理论支撑。

本发明的融合注意力机制的CSAF-YOLOv5输电线路故障检测系统针对复杂线路检测建立了YOLOv5检测网络，通过引入空间与通道卷积注意力模型以抑制复杂背景的干扰；通过在YOLOv5检测框架neck引入BiFPN结构，有效融合了目标多尺度特征；通过多尺度与同尺度特征的自适应加权融合模块，增强了检测网络对遮挡情况下故障目标的检测能力；有效解决力待检测目标特征表达能力不足而造成漏检和误检的问题。

应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种输电线路中多类目标故障检测方法，其特征在于，所述输电线路中多类目标故障检测方法包括：

第一步，利用无人机巡检视频制作训练样本和测试样本；

第二步，在YOLOv5算法框架基础上，通过引入空间与通道卷积注意力模型以抑制复杂背景的干扰；将neck中的FPN+PAN结构改为BiFPN结构，并设计多尺度与同尺度特征的自适应加权融合模块，构建检测模型；

第三步，输出检测结果。

2.如权利要求1所述的输电线路中多类目标故障检测方法，其特征在于，所述第一步的训练样本和测试样本包括绝缘子脱落、并联间隙损坏、鸟巢12类故障。

3.如权利要求1所述的输电线路中多类目标故障检测方法，其特征在于，所述第一步的无人机巡检视频在获得多张输电线航拍图像后包括：采用预设方法对多张输电线航拍图像进行去噪和增强，并将去噪和增强后的多张输电线航拍图像分成训练样本集和测试样本集；

去噪采用HESSIAN方法，其中HESSIAN矩阵为：

增强包括：图像随机缩放、图像随机裁剪和图像随机排布；

所述训练样本集对CSAF-YOLOV5模型进行训练，并利用测试样本集对训练后的CSAF-YOLOV5模型进行测试，获得训练好的CSAF-YOLOV5模型；

输电线航拍图像输入至一训练好的CSAF-YOLOV5模型。

4.如权利要求3所述的输电线路中多类目标故障检测方法，其特征在于，所述CSAF-YOLOV5模型的Backboe包括依次连接的Focus层、一级Conv层、一级CSP层、二级Conv层、二级CSP层、一级CBAM层、三级Conv层、三级CSP层、二级CBAM、四级Conv层、SPP层和四级CSP层；其中，所述Focus层、所述一级Conv层、一级CSP层、二级Conv层、二级CSP层、三级Conv层、三级CSP层、四级Conv层、SPP层、四级CSP层的卷积核的数量分别为1、3、1、9、1、9、1、1、3；

所述CSAF-YOLOV5模型Backbone中的残差块CSP1_3与卷积块CBL之间加入空间与通道卷积块注意力模型CBAM；其中，模块中的通道注意力机制为M_c，空间注意力机制为M_s；

CBAM模块中的通道注意力机制利用全局平均池化average pooling和最大池化maxpooling对目标区域的特征信息进行凸显；计算公式：

式中：σ(g)为sigmoid非线性激活函数；MLP表示CBAM中的共享网络，W0和W1分别表示MLP中多层感知器中的隐藏层权重和输出层权重，为W₀∈R^Clr×C、W₁∈R^C×Clr，r的大小取为16；

和

分别表示全局平均池化特征和最大池化特征；

在通道注意力机制作用下，引入空间注意力模型，计算公式：

式中：f^7×7代表的是7×7的卷积运算，

和

表示通道上的全局平均池化特征和最大池化特征。

5.如权利要求1所述的输电线路中多类目标故障检测方法，其特征在于，所述输电线路中多类目标故障检测方法采用融合注意力机制的CSAF-YOLOv5输电线路故障检测，搭建YOLOv5检测网络，并在backbone中引入一种空间与通道注意力模型；将原始YOLOv5检测框架neck中的FPN+PAN结构改为BiFPN结构，实现不同尺度目标特征的有效融合。

6.如权利要求1所述的输电线路中多类目标故障检测方法，其特征在于，所述输电线路中多类目标故障检测方法构建跨尺度自适应特征融合模块，并设计多尺度间以及同尺度间的特征自适应加权融合模块。

7.如权利要求6所述的输电线路中多类目标故障检测方法，其特征在于，所述输电线路中多类目标故障检测方法在YOLOv5的neck中引入BiFPN特征融合结构，融合步骤如下：(1)将只有一条输入边的特征图删除；(2)与只有一个自顶向下和一个自底向上路径的PANet不同，将删除的一个输入边的特征图输入到下一个特征图和下一级的特征图中；(3)在同一级网络中，从原始输入结点到输出结点之间添加一条额外的输入边；

采用自适应空间特征融合ASFF，通过多尺度自适应加权特征融合模块MAWFF，实现不同尺度间的缩放和自适应加权融合；首先，输入层level l(l∈{0，1，2})尺度特征设为x_l，将其他的特征层level n(n≠l)的特征x_n调整为与x_l相同的尺度；在MAWFF模块中通过上采样和下采样操作使YOLOv5的Backbone中的三个输出层特征的尺度和通道数量一致；

其中上采样操作中，首先将特征的通道数压缩至l级，使用1×1的卷积层操作，然后提高图像分辨率使用插值系统；下采样操作中，使用大小为3×3以及步长为2的卷积层调整通道数量和尺度；

在调整输入层的尺寸大小和通道数的同时，从每个输入层中自适应学习特征图的空间权重，

是从第0级调整到第l级特征映射上(i，j)位置的特征向量，对应第l级的特征融合结果；

通过一个同尺度加权特征融合模块SWFF，将level l(l∈{0，1})输入层尺度特征记为x_l，进行特征层融合时将一个可学习的权重参数引入到网络中，得到的特征融合结果out；通过3个SWFF模块和4个MAWFF模块，SWFF模块处于neck部分中相同尺度位置，4个MAWFF中有1个模块在neck部分中不同尺度融合位置，其他3个模块在相应的neck尾部连接，实现同一尺度下加权特征的有效融合；

所述输电线路中多类目标故障检测方法的YOLOv5检测网络，在YOLOv4检测结构中增加Focus模块和CSPNet结构；在输入端，将不同尺寸的输入样本图像尺寸调整为640×640，再送入检测网络的Backbone中；训练时，网络在初始锚框上计算得到预测框，计算与真实框的差异，再进行反向更新；Backbone：利用Focus模块进行切片，将原始640 x 640 x 3的图像输入Focus模块，通过切片操作，先将特征图变为320 x 320 x 12的特征图，使用32个卷积核卷积得到320 x 320 x 32的特征图；Neck：空间金字塔池化SPP模块使用内核k＝{1×1，5×5，9×9，13×13}的最大池化层的方式，再将不同尺度的特征图进行连接；特征融合网络结构由于采用FPN+PAN结构可将不同主特征层与不同的检测层进行融合，FPN从上向下传达语义特征，PAN自底向上传达定位特征。

8.一种执行权利要求1～7任意一项所述输电线路中多类目标故障检测方法的电子设备，其特征在于所述电子设备包括处理器与存储器；

所述存储器，用于存储代码和相关数据；

所述处理器，用于执行所述存储器中的代码。

9.一种存储介质，其上存储有计算机程序，该程序被处理器执行权利要求1～7任意一项所述输电线路中多类目标故障检测方法的步骤。

10.一种实施权利要求1～7任意一项所述输电线路中多类目标故障检测方法的输电线路中多类目标故障检测系统，其特征在于，所述输电线路中多类目标故障检测系统包括：

图像获取模块，用于获取某实际输电线的多张航拍图像；

样本准备模块，用于将所述的多张航拍图像分成训练样本集和测试样本集；

模型训练模块，用于利用所述训练样本集对所述CSAF-YOLOV5模型进行训练，并利用所述测试样本集对训练后的CSAF-YOLOV5模型进行测试，获得训练好的CSAF-YOLOV5模型；

输电线航拍图像获取模块，用于获取实际输电线航拍图像；

识别模块，用于将输电线航拍图像输入至一训练好的CSAF-YOLOV5模型；

结果输出模块，用于输出检测结果。

Images