CN115641519A - 输电线路检查方法、装置及非易失性存储介质 - Google Patents

Abstract

本发明公开了一种输电线路检查方法、装置及非易失性存储介质。其中，该方法包括：获取无人机拍摄的输电塔杆图像；将输电塔杆图像输入缺陷检测模型，由缺陷检测模型输出输电塔杆图像中的缺陷，其中，缺陷检测模型为采用训练样本集预先训练的TPH‑YOLOv5目标检测模型，训练样本集包括多张输电塔杆的样本图像以及与多张样本图像对应的缺陷标注。本发明解决了无人机航拍情况下输电线路缺陷难以准确识别的技术问题。

Description

输电线路检查方法、装置及非易失性存储介质

技术领域

本发明涉及电网巡检领域，具体而言，涉及一种输电线路检查方法、装置及非易失性存储介质。

背景技术

输电线路检查一直是线路信息采集的重要作业方式之一，相较于以往的人工操控，无人机自动检查有着运作精准、巡视精细、行动高效等优势，在飞行过程中可以减少拍摄角度调整，确保飞行速度处于稳定控制中，能够大大减少人为误操作的概率，工作人员只需要简单的培训学习便可以上手，在降低操作难度的同时还保障了安全性。

无人机捕获场景下的输电线路缺陷的自主识别是近年来的热门任务。由于无人机在不同的高度进行导航，目标比例变化剧烈，给网络优化带来了很大的负担。此外，高速低空飞行会对密集堆积的物体产生运动模糊，对物体区分带来很大的挑战。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种输电线路检查方法、装置及非易失性存储介质，以至少解决无人机航拍情况下输电线路缺陷难以准确识别的技术问题。

根据本发明实施例的一个方面，提供了一种输电线路检查方法，包括：获取无人机拍摄的输电塔杆图像；将所述输电塔杆图像输入缺陷检测模型，由所述缺陷检测模型输出所述输电塔杆图像中的缺陷，其中，所述缺陷检测模型为采用训练样本集预先训练的TPH-YOLOv5目标检测模型，所述训练样本集包括多张输电塔杆的样本图像以及与所述多张样本图像对应的缺陷标注。

可选地，所述缺陷检测模型，包括：骨干网络，Neck网络和检测头，其中，所述检测头包括用于微小物体检测的Transformer预测头。

可选地，所述缺陷检测模型包括：卷积块注意力模块CBAM，其中，所述CBAM用于进行特征提取，并将提取到的特征给到所述检测头。

可选地，所述骨干网络包括：CSPDarknet53；所述Neck网络包括：PANet。

可选地，在所述将所述输电塔杆图像输入缺陷检测模型之前，还包括：获取原始样本图像，其中，所述原始样本图像中包括存在缺陷的输电塔干；采用数据增强方法处理所述原始样本图像，得到所述多张样本图像；获取所述多张样本图像各自对应的缺陷标注，得到所述训练样本集；采用所述训练样本集训练原始目标检测模型，得到所述缺陷检测模型。

可选地，所述数据增强方法包括以下任意之一：Mosaic数据增强方法、最大池化数据增强方法、光度失真数据增强方法，几何失真数据增强方法。

可选地，所述训练样本集中的缺陷标注包括以下至少之一：防震锤滑移、防震锤锈蚀、线路鸟害、线路异物。

根据本发明实施例的另一方面，还提供了一种输电线路检查装置，包括：获取模块，用于获取无人机拍摄的输电塔杆图像；识别模块，用于将所述输电塔杆图像输入缺陷检测模型，由所述缺陷检测模型输出所述输电塔杆图像中的缺陷，其中，所述缺陷检测模型为采用训练样本集预先训练的TPH-YOLOv5目标检测模型，所述训练样本集包括多张输电塔杆的样本图像以及与所述多张样本图像对应的缺陷标注。

根据本发明实施例的又一方面，还提供了一种非易失性存储介质，所述非易失性存储介质包括存储的程序，其中，在所述程序运行时控制所述非易失性存储介质所在设备执行上述任意一项所述输电线路检查方法。

根据本发明实施例的再一方面，还提供了一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器用于存储程序，所述处理器用于运行所述存储器存储的程序，其中，所述程序运行时执行上述任意一项所述输电线路检查方法。

在本发明实施例中，采用人工智能的方式，通过获取无人机拍摄的输电塔杆图像；将所述输电塔杆图像输入预先训练的TPH-YOLOv5类型的缺陷检测模型，由所述缺陷检测模型输出所述输电塔杆图像中的缺陷，达到了准确识别出无人机拍摄的输电线路图像中的缺陷的目的，从而实现了降低一线输电线路路巡检员工的工作量的技术效果，进而解决了无人机航拍情况下输电线路缺陷难以准确识别的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1示出了一种用于实现输电线路检查方法的计算机终端的硬件结构框图；

图2是根据本发明实施例提供的输电线路检查方法的流程示意图；

图3是根据本发明可选实施例提供的缺陷检测模型的结构图；

图4是根据本发明可选实施例提供的深度学习网络的结构图；

图5是根据本发明可选实施例提供的卷积块注意力模块CBAM的结构图；

图6是根据本发明可选实施例提供的Mosaic数据增强确定中心点的示意图；

图7是根据本发明可选实施例提供的Mosaic数据增强填充图像一的示意图；

图8是根据本发明可选实施例提供的Mosaic数据增强填充图像二的示意图；

图9是根据本发明实施例提供的输电线路检查装置的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本发明实施例，提供了一种输电线路检查方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现输电线路检查方法的计算机终端的硬件结构框图。如图1所示，计算机终端10可以包括一个或多个(图中采用102a、102b，……，102n来示出)处理器(处理器可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为BUS总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

应当注意到的是上述一个或多个处理器和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。

存储器104可用于存储应用软件的软件程序以及模块，如本发明实施例中的输电线路检查方法对应的程序指令/数据存储装置，处理器通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的输电线路检查方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机终端10的用户界面进行交互。

图2是根据本发明实施例提供的输电线路检查方法的流程示意图，如图2所示，该方法包括如下步骤：

步骤S202，获取无人机拍摄的输电塔杆图像。

无人机拍摄的图像中目标的尺度比例变化剧烈，高速低空飞行会对密集堆积的物体产生运动模糊，对物体区分带来很大的挑战。输电塔干图像中为无人机拍摄的待巡检路段的输电塔干，相关技术中需要人工对其进行巡检并判断输电线路上是否存在缺陷，本实施例采用无人机进行输电塔干的图像的采集，可选地，可以由无人机通过无线通讯装置将输电塔干图像传回地面。

步骤S204，将输电塔杆图像输入缺陷检测模型，由缺陷检测模型输出输电塔杆图像中的缺陷，其中，缺陷检测模型为采用训练样本集预先训练的TPH-YOLOv5目标检测模型，训练样本集包括多张输电塔杆的样本图像以及与多张样本图像对应的缺陷标注。

需要说明的是，缺陷检测模型可以是基于transformer机制的改进YOLOv5目标检测算法所预先构建的神经网络模型。作为一种可选的实施例，训练样本集中的缺陷标注包括以下至少之一：防震锤滑移、防震锤锈蚀、线路鸟害、线路异物。

本可选的实施例中提出的缺陷类型包括但不限于防震锤滑移、防震锤锈蚀、线路鸟害、线路异物等可见光缺陷，其他可见光缺陷如导线散股断股、均压环歪斜等故障也可以较好的识别，同时，面对无人机航拍图像中常见的小尺寸缺陷(航拍图像中小于20*20像素)，如螺母缺失、销钉缺失等缺陷类型，采用本发明提出的方法均可以做到有效识别。

通过上述步骤，采用人工智能的方式，通过获取无人机拍摄的输电塔杆图像；将输电塔杆图像输入预先训练的TPH-YOLOv5类型的缺陷检测模型，由缺陷检测模型输出输电塔杆图像中的缺陷，达到了准确识别出无人机拍摄的输电线路图像中的缺陷的目的，从而实现了降低一线输电线路路巡检员工的工作量的技术效果，进而解决了无人机航拍情况下输电线路缺陷难以准确识别的技术问题。

作为一种可选的实施例，缺陷检测模型可以包括骨干网络、Neck网络和检测头，其中，检测头包括用于微小物体检测的Transformer预测头(Transformer Prediction head，简称TPH)。可选地，改进后的TPH-YOLOv5缺陷检测模型可以包含四个检测头，分别用于微小、小、中、大物体的检测，与YOLOv5相比，本发明改进的TPH-YOLOv5模型可以更好地处理无人机捕获的图像。作为一种可选的实施例，骨干网络可以采用CSPDarknet53；Neck网络可以采用PANet。

本实施例结合无人机输电杆塔航拍数据集，发现包含了很多非常小的实例，如：销钉缺失，螺母缺失等，所以增加了一个用于微小物体检测的预测头，结合其他三个预测头，四头结构可以缓解剧烈的目标尺度变化带来的负面影响。该检测头是由低层高分辨率的特征图生成的，对微小物体更加敏感，增加检测头后，虽然计算和存储成本增加，但对微小物体的检测性能变高。

作为一种可选的实施例，缺陷检测模型还可以包括卷积块注意力模块CBAM，其中，CBAM用于进行特征提取，并将提取到的特征给到检测头。采用CBAM沿着通道维度和空间维度依次生成注意力图，以寻找大覆盖图像中的注意区域。CBAM是一个简单但有效的注意力模块。它是一个轻量级模块，可以集成到最著名的CNN架构中，并且可以以端到端方式进行训练。给定一个特征映射，CBAM将沿着通道和空间两个独立维度依次推断出注意力映射，然后将注意力映射与输入特征映射相乘，以执行自适应特征细化，实现较好地从无人机拍摄的图像中检测出缺陷的效果。

作为一种可选的实施例，在将输电塔杆图像输入缺陷检测模型之前，还可以通过如下方式训练得到缺陷检测模型：获取原始样本图像，其中，原始样本图像中包括存在缺陷的输电塔干；采用数据增强方法处理原始样本图像，得到多张样本图像；获取多张样本图像各自对应的缺陷标注，得到训练样本集；采用训练样本集训练原始目标检测模型，得到缺陷检测模型。

作为一种可选的实施例，数据增强方法包括以下任意之一：Mosaic数据增强方法、最大池化数据增强方法、光度失真数据增强方法，几何失真数据增强方法。通过上述数据增强方法，可以获得大量适用于模型训练的样本，达到更优的训练效果。

可选地，可以按照如下实施方式进行缺陷检测模型的搭建：

步骤(1)，通过网络爬虫爬取和无人机航拍，搜集包含有防震锤滑移、防震锤锈蚀、线路鸟害、线路异物等可见光缺陷的原始样本图像；

步骤(2)，然后通过数据标注软件进行手动或半自动的人工标注，构成原始样本集；

步骤(3)，按照8：2的比例，将原始样本集进行随机划分为训练集和测试集，并将训练集中的图像通过Mosaic、最大池化、光度失真或几何失真的方法进行数据扩充；

步骤(4)，再次，将扩充后的训练集(包括多张样本图像)依次通过搭建好的改进YOLOv5网络的主干部分、颈部、检测头，在特征逐层提取的过程中，将形成图片的特征图进行不同尺度的融合，最终将聚类形成的锚框和标注的检测框求取损失函数，并进行误差反传以矫正网络参数；

步骤(5)，将测试集通过MS-testing策略进行数据数据预处理，传入到网络中测试网络模型的准确度，以判断是否达到收敛条件；

步骤(6)，步骤(4)和步骤(5)执行完成后，将训练一次得到的网络权重再次带入到深度网络中，进行重复训练与验证400轮，待损失函数和平均准确率收敛以后，停止训练，得到缺陷检测模型；

步骤(7)，将训练得到的权重文件进行提取与边缘端部署，即将缺陷检测模型部署到应用现场，即可自动识别原始数据集中包含的所有缺陷种类。

图3是根据本发明可选实施例提供的缺陷检测模型的结构图，图4是根据本发明可选实施例提供的深度学习网络的结构图。如图3所示，缺陷检测模型可以分别使用CSPDarknet53和PANet作为骨干网络和neck部分，TPH-YOLOv5共包含四个检测头，分别用于微小、小、中、大物体的检测，采用CBAM模块沿着通道维度和空间维度依次生成注意力图，以寻找大覆盖图像中的注意区域。与单纯的YOLOv5算法相比，本发明改进的TPH-YOLOv5可以更好地处理无人机捕获的图像。

图5是根据本发明可选实施例提供的卷积块注意力模块CBAM的结构图，CBAM是一个简单但有效的注意力模块。作为轻量级模块，可以集成到最著名的CNN架构中，并且可以以端到端方式进行训练。给定一个特征映射，CBAM将沿着通道和空间两个独立维度依次推断出注意力映射，然后将注意力映射与输入特征映射相乘，以执行自适应特征细化。

在上述图3及图4示出的可选地实施例中，数据预处理的过程中可以采用如下方式进行Mosaic数据增强，其中，图6是根据本发明可选实施例提供的Mosaic数据增强确定中心点的示意图，图7是根据本发明可选实施例提供的Mosaic数据增强填充图像一的示意图，图8是根据本发明可选实施例提供的Mosaic数据增强填充图像二的示意图。

如图6所示，通过如下过程确定新图像的中心点：

在图6中灰色区域内随机生成中心点的(x,y)坐标。

中心点的坐标分别对应：

第一张图像：右下角坐标；

第二张图像：左下角坐标；

第三张图像：右上角坐标；

第四张图像：左上角坐标；

从原始样本图像中再随机选择3张图像，并加载已选择出来的这4张图像的数据，分别记为图像一、二、三、四。

摆放第一张图像，将图像一的右下角坐标放置在生成的中心点(x,y)上。因为图像的大小和中心点的位置会出现多种放置情况。对于图7中所示情况，即宽度和高度都超过了填充区域给定的大小，这样对图像一裁剪掉超出填充区域的部分区域，保留正好填充的(0，0)～(x，y)所对应的区域。对于图8中所示情况，即图像一的高度、宽度小于填充区域给定的大小，这样对图像一就直接进行填充。

摆放其余三张图像，将第二张图像的左下角放到生成的中心点(x,y)上，然后计算出图像二在填充区域中的右上角坐标；将第三张图像的右上角放到生成的中心点上，然后计算出图像三在填充区域中的左下角坐标；将第四张图像的左上角放到生成的中心点上，然后计算出图像四在填充区域中的右下角坐标。

进行标签的相应转换，这里的标签格式的转换由两部分组成：(1)先将YOLO数据标签格式还原为(没有归一化之前的值)：(x,y,w,h)；(2)将还原后的值转换为拼接后的坐标系中。

进行图像的尺寸转换，将拼接后的图像又被缩放到了输入图像的大小(不是原图像尺寸)。

可选地，还可以采用如下的最大池化数据增强方法进行数据预处理：

其中，(x_i,y_i)和(x_j,y_j)是从原始样本中随机抽取的两个样本，且λ∈[0,1]，服从参数都为alpha的Beta分布。因此，mixup通过结合先验知识，即特征向量的线性插值应导致相关标签的线性插值，来扩展训练分布。mixup仅需要几行代码即可实现，且引入了最小计算开销。

可选地，训练缺陷检测模型时，还可以包括如下步骤：

采用了MS-testing的策略，本文从模型集成的不同角度训练了五个不同的模型。在推理阶段，首先对单个模型执行MS-testing策略。MS-testing的实现细节如下三个步骤。

(1)将测试图像缩放到1.3倍。

(2)分别将图像缩小到1次、0.83次、0.67次。

(3)水平翻转图像。

最后向深度学习网络(即完成训练前的TPH-YOLOv5模型)提供6张不同大小的图像，并使用NMS来融合测试预测。在不同的模型上，进行相同的MS-testing操作，并用WBF融合最后5个预测，得到最终结果。

此外，本申请中缺陷检测模型还可以采用新的损失函数：EIOU，EIOU的惩罚项是在CIOU的惩罚项基础上将纵横比的影响因子拆开分别计算目标框和锚框的长和宽，其中，CIOU损失函数为考虑了重叠面积、中心距离和长宽比三个参数的损失函数。EIOU损失函数包含三个部分：重叠损失，中心距离损失，宽高损失，前两部分延续CIOU中的方法，但是宽高损失直接使目标盒与锚盒的宽度和高度之差最小，使得收敛速度更快。计算公式如下：

其中，W，h为预测框的宽和高，b为图像中心距，c为图像的宽高比，Cw和Ch是覆盖两个Box的最小外接框的宽度和高度，IOU＝|A∩B|/|A∪B|，指两图像的交并比，g为迭代步长，t为迭代次数。

EIOU考虑了重叠面积，中心点距离、长宽边长真实差，基于CIOU解决了纵横比的模糊定义，并通过添加Focal Loss解释了预测框回归中的样本不平衡问题。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的输电线路检查方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。

根据本发明实施例，还提供了一种用于实施上述输电线路检查方法的输电线路检查装置，图9是根据本发明实施例提供的输电线路检查装置的结构框图，如图9所示，该输电线路检查装置包括：获取模块92和识别模块94，下面对该输电线路检查装置进行说明。

获取模块92，用于获取无人机拍摄的输电塔杆图像；

识别模块94，连接于上述获取模块92，用于将输电塔杆图像输入缺陷检测模型，由缺陷检测模型输出输电塔杆图像中的缺陷，其中，缺陷检测模型为采用训练样本集预先训练的TPH-YOLOv5目标检测模型，训练样本集包括多张输电塔杆的样本图像以及与多张样本图像对应的缺陷标注。

此处需要说明的是，上述获取模块92和识别模块94对应于实施例中的步骤S202至步骤S204，2个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例提供的计算机终端10中。

本发明的实施例可以提供一种计算机设备，可选地，在本实施例中，上述计算机设备可以位于计算机网络的多个网络设备中的至少一个网络设备。该计算机设备包括存储器和处理器。

其中，存储器可用于存储软件程序以及模块，如本发明实施例中的输电线路检查方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的输电线路检查方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取无人机拍摄的输电塔杆图像；将输电塔杆图像输入缺陷检测模型，由缺陷检测模型输出输电塔杆图像中的缺陷，其中，缺陷检测模型为采用训练样本集预先训练的TPH-YOLOv5目标检测模型，训练样本集包括多张输电塔杆的样本图像以及与多张样本图像对应的缺陷标注。

可选的，上述处理器还可以执行如下步骤的程序代码：缺陷检测模型，包括：骨干网络，Neck网络和检测头，其中，检测头包括用于微小物体检测的Transformer预测头。

可选的，上述处理器还可以执行如下步骤的程序代码：缺陷检测模型包括：卷积块注意力模块CBAM，其中，CBAM用于进行特征提取，并将提取到的特征给到检测头。

可选的，上述处理器还可以执行如下步骤的程序代码：

可选的，上述处理器还可以执行如下步骤的程序代码：骨干网络包括：CSPDarknet53；Neck网络包括：PANet。

可选的，上述处理器还可以执行如下步骤的程序代码：在将输电塔杆图像输入缺陷检测模型之前，还包括：获取原始样本图像，其中，原始样本图像中包括存在缺陷的输电塔干；采用数据增强方法处理原始样本图像，得到多张样本图像；获取多张样本图像各自对应的缺陷标注，得到训练样本集；采用训练样本集训练原始目标检测模型，得到缺陷检测模型。

可选的，上述处理器还可以执行如下步骤的程序代码：数据增强方法包括以下任意之一：Mosaic数据增强方法、最大池化数据增强方法、光度失真数据增强方法，几何失真数据增强方法。

可选的，上述处理器还可以执行如下步骤的程序代码：训练样本集中的缺陷标注包括以下至少之一：防震锤滑移、防震锤锈蚀、线路鸟害、线路异物。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一非易失性存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。

本发明的实施例还提供了一种非易失性存储介质。可选地，在本实施例中，上述非易失性存储介质可以用于保存上述实施例所提供的输电线路检查方法所执行的程序代码。

可选地，在本实施例中，上述非易失性存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。

可选地，在本实施例中，非易失性存储介质被设置为存储用于执行以下步骤的程序代码：获取无人机拍摄的输电塔杆图像；将输电塔杆图像输入缺陷检测模型，由缺陷检测模型输出输电塔杆图像中的缺陷，其中，缺陷检测模型为采用训练样本集预先训练的TPH-YOLOv5目标检测模型，训练样本集包括多张输电塔杆的样本图像以及与多张样本图像对应的缺陷标注。

可选地，在本实施例中，非易失性存储介质被设置为存储用于执行以下步骤的程序代码：缺陷检测模型，包括：骨干网络，Neck网络和检测头，其中，检测头包括用于微小物体检测的Transformer预测头。

可选地，在本实施例中，非易失性存储介质被设置为存储用于执行以下步骤的程序代码：缺陷检测模型包括：卷积块注意力模块CBAM，其中，CBAM用于进行特征提取，并将提取到的特征给到检测头。

可选地，在本实施例中，非易失性存储介质被设置为存储用于执行以下步骤的程序代码：骨干网络包括：CSPDarknet53；Neck网络包括：PANet。

可选地，在本实施例中，非易失性存储介质被设置为存储用于执行以下步骤的程序代码：在将输电塔杆图像输入缺陷检测模型之前，还包括：获取原始样本图像，其中，原始样本图像中包括存在缺陷的输电塔干；采用数据增强方法处理原始样本图像，得到多张样本图像；获取多张样本图像各自对应的缺陷标注，得到训练样本集；采用训练样本集训练原始目标检测模型，得到缺陷检测模型。

可选地，在本实施例中，非易失性存储介质被设置为存储用于执行以下步骤的程序代码：数据增强方法包括以下任意之一：Mosaic数据增强方法、最大池化数据增强方法、光度失真数据增强方法，几何失真数据增强方法。

可选地，在本实施例中，非易失性存储介质被设置为存储用于执行以下步骤的程序代码：训练样本集中的缺陷标注包括以下至少之一：防震锤滑移、防震锤锈蚀、线路鸟害、线路异物。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个非易失性取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种输电线路检查方法，其特征在于，包括：

获取无人机拍摄的输电塔杆图像；

将所述输电塔杆图像输入缺陷检测模型，由所述缺陷检测模型输出所述输电塔杆图像中的缺陷，其中，所述缺陷检测模型为采用训练样本集预先训练的TPH-YOLOv5目标检测模型，所述训练样本集包括多张输电塔杆的样本图像以及与所述多张样本图像对应的缺陷标注。

2.根据权利要求1所述的方法，其特征在于，所述缺陷检测模型，包括：骨干网络，Neck网络和检测头，其中，所述检测头包括用于微小物体检测的Transformer预测头。

3.根据权利要求2所述的方法，其特征在于，所述缺陷检测模型包括：卷积块注意力模块CBAM，其中，所述CBAM用于进行特征提取，并将提取到的特征给到所述检测头。

4.根据权利要求2所述的方法，其特征在于，所述骨干网络包括：CSPDarknet53；所述Neck网络包括：PANet。

5.根据权利要求1所述的方法，其特征在于，在所述将所述输电塔杆图像输入缺陷检测模型之前，还包括：

获取原始样本图像，其中，所述原始样本图像中包括存在缺陷的输电塔干；

采用数据增强方法处理所述原始样本图像，得到所述多张样本图像；

获取所述多张样本图像各自对应的缺陷标注，得到所述训练样本集；

采用所述训练样本集训练原始目标检测模型，得到所述缺陷检测模型。

6.根据权利要求5所述的方法，其特征在于，所述数据增强方法包括以下任意之一：Mosaic数据增强方法、最大池化数据增强方法、光度失真数据增强方法，几何失真数据增强方法。

7.根据权利要求1至6中任意一项所述的方法，其特征在于，所述训练样本集中的缺陷标注包括以下至少之一：防震锤滑移、防震锤锈蚀、线路鸟害、线路异物。

8.一种输电线路检查装置，其特征在于，包括：

获取模块，用于获取无人机拍摄的输电塔杆图像；

识别模块，用于将所述输电塔杆图像输入缺陷检测模型，由所述缺陷检测模型输出所述输电塔杆图像中的缺陷，其中，所述缺陷检测模型为采用训练样本集预先训练的TPH-YOLOv5目标检测模型，所述训练样本集包括多张输电塔杆的样本图像以及与所述多张样本图像对应的缺陷标注。

9.一种非易失性存储介质，其特征在于，所述非易失性存储介质包括存储的程序，其中，在所述程序运行时控制所述非易失性存储介质所在设备执行权利要求1至7中任意一项所述输电线路检查方法。

10.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器用于存储程序，所述处理器用于运行所述存储器存储的程序，其中，所述程序运行时执行权利要求1至7中任意一项所述输电线路检查方法。

Images