CN112581445A - 一种输电线路螺栓的检测方法、装置、存储介质及电子设备 - Google Patents

一种输电线路螺栓的检测方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN112581445A
CN112581445A CN202011477026.7A CN202011477026A CN112581445A CN 112581445 A CN112581445 A CN 112581445A CN 202011477026 A CN202011477026 A CN 202011477026A CN 112581445 A CN112581445 A CN 112581445A
Authority
CN
China
Prior art keywords
transmission line
power transmission
bolt
connecting part
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011477026.7A
Other languages
English (en)
Inventor
蒲天骄
李烨
王新迎
王继业
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Electric Power Research Institute Co Ltd CEPRI
Original Assignee
China Electric Power Research Institute Co Ltd CEPRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Electric Power Research Institute Co Ltd CEPRI filed Critical China Electric Power Research Institute Co Ltd CEPRI
Priority to CN202011477026.7A priority Critical patent/CN112581445A/zh
Publication of CN112581445A publication Critical patent/CN112581445A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种输电线路螺栓的检测方法、装置、存储介质及电子设备。所述方法包括：获取对输电线路进行拍摄得到的巡检图像；确定所述巡检图像中的输电线路连接部位，对所述输电线路连接部位进行切割处理，得到切割图像；将所述切割图像输入至预先训练的螺栓检测模型，根据所述螺栓检测模型输出的结果，确定丢失螺栓的数量。本技术方案，通过基于深度学习的小目标输电线路螺栓检测方法，实现输电线路螺栓实时检测，检测结果可同步传输至云端，巡检员通过分析检测结果，与标准螺栓数量进行对比，可得到丢失螺栓的数目，从而对不同螺栓缺陷采取相应的解决措施。

Description

一种输电线路螺栓的检测方法、装置、存储介质及电子设备
技术领域
本申请实施例涉及输电线路检测技术领域，尤其涉及一种输电线路螺栓的检测方法、装置、存储介质及电子设备。
背景技术
随着科学技术的不断发展，电网系统的线路异常检测方式也从以往的人工检测，转换到机械检测。输电线路常年暴露在外，受自然环境影响较大，输电线路螺栓缺陷会引起铁塔上其他电力元件的掉落。由输电设备缺陷引起的输电线路故障是造成电网停电事故的重要原因，输电线路螺栓缺陷的检测对输电线路安全可靠运行具有重要意义。传统的巡检采用的是人工巡检的方式，例如对线路进行人工的排查，消除输电线路故障。然而无论从检测效率来说，还是投入的人力成本来说，传统巡检图像处理方法满足不了实时检测的需求。
发明内容
本申请实施例提供一种输电线路螺栓的检测方法、装置、存储介质及电子设备，通过基于深度学习的小目标输电线路螺栓检测方法，实现输电线路螺栓实时检测，检测结果可同步传输至云端，巡检员通过分析检测结果，与标准螺栓数量进行对比，可得到丢失螺栓的数目，从而对不同螺栓缺陷采取相应的解决措施。
第一方面，本申请实施例提供了一种输电线路螺栓的检测方法，所述方法包括：
获取对输电线路进行拍摄得到的巡检图像；
确定所述巡检图像中的输电线路连接部位，对所述输电线路连接部位进行切割处理，得到切割图像；
将所述切割图像输入至预先训练的螺栓检测模型，根据所述螺栓检测模型输出的结果，确定丢失螺栓的数量。
进一步的，所述螺栓检测模型的训练过程，包括：
获取输电线路巡检样本图像；
对输电线路巡检样本图像上的连接部位做标注，制作连接部位数据集；
将所述连接部位数据集输入至初始模型，经过有监督和/或无监督训练，得到螺栓检测模型。
进一步的，在对输电线路巡检样本图像上的连接部位做标注，制作连接部位数据集之前，所述方法还包括：
利用SSD算法对输电线路连接部位进行定位，其损失函数为：
SSD的损失函数定义为置信度误差Lconf和位置误差Lloc的加权和：
loss＝1N(Lconf+αLloc)；
式中，N是预测框的正样本数量，α用于调整置信度误差和位置误差的比例。
进一步的，利用SSD算法对输电线路连接部位进行定位，包括：
将连接部位数据集中的图像大小调整为300×300后输入SSD检测网络；
对输入图像进行特征提取，抽取卷积层的特征图，分别在不同的特征图平面上的每个点获得不同数量的预测框，然后对输电线路连接部位进行定位，获得多个预测框；其中，每个预测框中包含5个信息，前4个信息为预测框的位置信息，第5个信息为预测框的置信度。
对于每个预测框，过滤属于背景的预测框，并根据设定的阈值过滤掉不符合条件的预测框；
将置信度从大到小排列，保留预设数量预测框，并采用非极大值抑制，过滤掉重叠度高于预设重叠度的预测框，以得到的预测框作为输电线路连接部位的定位结果。
进一步的，对输电线路巡检样本图像上的连接部位做标注，制作连接部位数据集，包括：
采用数据增强方法对缺陷样本进行镜像增强操作和/或旋转等增强操作扩充样本，制作融合数据集。
进一步的，在制作融合数据集之后，所述方法还包括：
将融合数据集中的图像大小调整为416×416后输入YOLOv3检测网络；
网络采用3个不同尺度的特征图对连接部位螺栓进行检测，尺度分别为13×13、26×26、52×52；其中，每个尺度的特征图对应3种不同尺寸的预测框；每个预测框中包含7个参数，前4个参数为预测框的位置参数，第5个参数为预测框的置信度，后2个参数为螺栓缺陷、正常螺栓的类别信息；
通过NMS算法对网络给出的预测框进行过滤，以实现输电线路连接部位螺栓的识别和分类。
进一步的，利用YOLOv3算法对螺栓缺陷进行检测，其损失函数为：
Figure BDA0002837526720000031
式中，s2表示栅格的数量，coordErr为坐标误差，iouErr为置信度误差，clsErr为类别误差。
第二方面，本申请实施例提供了一种输电线路螺栓的检测装置，所述装置包括：
巡检图像获取模块，用于获取对输电线路进行拍摄得到的巡检图像；
切割模块，用于确定所述巡检图像中的输电线路连接部位，对所述输电线路连接部位进行切割处理，得到切割图像；
螺栓检测模块，用于将所述切割图像输入至预先训练的螺栓检测模型，根据所述螺栓检测模型输出的结果，确定丢失螺栓的数量。
第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例所述的输电线路螺栓的检测方法。
第四方面，本申请实施例提供了一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例所述的输电线路螺栓的检测方法。
本申请实施例所提供的技术方案，获取对输电线路进行拍摄得到的巡检图像；确定所述巡检图像中的输电线路连接部位，对所述输电线路连接部位进行切割处理，得到切割图像；将所述切割图像输入至预先训练的螺栓检测模型，根据所述螺栓检测模型输出的结果，确定丢失螺栓的数量。该方法能够实现输电线路螺栓实时检测，检测结果可同步传输至云端，巡检员通过分析检测结果，与标准螺栓数量进行对比，可得到丢失螺栓的数目，从而对不同螺栓缺陷采取相应的解决措施。
附图说明
构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本申请实施例提供的输电线路螺栓的检测方法的流程图；
图2是本申请实施例提供的输电线路螺栓缺陷检测原理图；
图3是本申请实施例提供的缺陷检测示意图；
图4是本申请实施例提供的输电线路螺栓的检测装置的结构示意图；
图5是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
以下详细说明均是示例性的说明，旨在对本发明提供进一步的详细说明。除非另有指明，本发明所采用的所有技术术语与本申请所属领域的一般技术人员的通常理解的含义相同。本发明所使用的术语仅是为了描述具体实施方式，而并非意图限制根据本发明的示例性实施方式。
目前，针对巡检图像处理问题的研究方法主要以人工智能法为主，利用深度学习对缺陷目标进行检测。基于深度学习的目标检测算法大致可分为两类，一类是以SSD算法和YOLO算法为主的one-stage检测算法，另一类是以R-CNN算法为主的two-stage检测算法。基于目标检测算法的输电线路缺陷检测的检测对象以绝缘子、导线、防震锤、均压环、调整板等尺寸较大且具有明显特征的部件为主，或是鸟巢、风筝等异物。主要检测方法有SSD、YOLOV2、YOLOV3、Fast-RCNN、Faster-RCNN等。尽管深度学习技术在输电线路缺陷识别的研究领域上有已一定的成果，但将其运用在尺寸较小的金具检测上的研究甚少，检测效果也不理想。
总体来说，由于巡检图像上的螺栓目标太小、特征不明显且密集，其检测难度很大。针对巡检图像输电线路螺栓检测问题，目前缺少一种实用性广泛、检测效果较好、系统性的解决方案。
针对现有的缺陷检测方法不适用于小目标输电线路螺栓的问题。本发明提出了一种适用于巡检图像小目标的缺陷检测方法，一种基于深度学习的小目标输电线路螺栓检测方法。
与现有的技术相比，本发明针对输电线路螺栓缺陷只存在于铁塔上的7个连接部位的特点，采用分级检测的原则，避免直接检测螺栓，先定位巡检图像中输电线路连接部位，采用切割算法对连接部位进行切割，增大螺栓在检测图像中的占比，再对连接部位中的缺陷螺栓进行检测，降低了巡检图像中输电线路小尺寸电力元件的检测难度；采用数据增强方法对缺陷样本进行镜像、旋转等增强操作以扩充数据集、改善平衡性，使检测效果更好，准确率更高；将边缘计算装置搭载到直升机、无人机上，实现输电线路螺栓实时检测，检测结果可同步传输至云端，巡检员通过分析检测结果，与标准螺栓数量进行对比，可得到丢失螺栓的数目，从而对不同螺栓缺陷采取相应的解决措施。
图1是本申请实施例提供的输电线路螺栓的检测方法的流程图，本实施例可适用于线路检测的情况，该方法可以由本申请实施例所提供的输电线路螺栓的检测装置执行，该装置可以由软件和/或硬件的方式来实现，并可集成于电子设备中。
如图1所示，输电线路螺栓的检测方法包括：
S110、获取对输电线路进行拍摄得到的巡检图像。
具体的，可以是在接收到线路检测的任务之后，通过直升机、无人机获取输电线路的巡检图像。
S120、确定所述巡检图像中的输电线路连接部位，对所述输电线路连接部位进行切割处理，得到切割图像。
考虑输电线路螺栓缺陷只存在于输电线路的连接部位，故先定位出所有的连接部位。在定位之后，可以进行切割处理，得到切割图像。可以在切割之后进行放大处理。
S130、将所述切割图像输入至预先训练的螺栓检测模型，根据所述螺栓检测模型输出的结果，确定丢失螺栓的数量。
其中，螺栓检测模型是预先训练的，将所述切割图像输入至预先训练的螺栓检测模型，根据所述螺栓检测模型输出的结果，确定丢失螺栓的数量。可以理解的，螺栓检测模型的输出结果可以是当前位置的螺栓数量，可以通过和此位置应该有的螺栓数量进行比较，来确定丢失螺栓的数量。
在本实施例中，可选的，所述螺栓检测模型的训练过程，包括：
获取输电线路巡检样本图像；
对输电线路巡检样本图像上的连接部位做标注，制作连接部位数据集；
将所述连接部位数据集输入至初始模型，经过有监督和/或无监督训练，得到螺栓检测模型。
具体的，可以包括如下过程：
获取直升机、无人机巡检图像，制作输电线路连接部位数据集；
定位输电线路连接部位；
输电线路连接部位的切割；
制作螺栓数据集与融合数据集；
检测连接部位的缺陷螺栓；
目标检测算法的评估；
丢失螺栓数目的确定。
在本方案中，可选的，在对输电线路巡检样本图像上的连接部位做标注，制作连接部位数据集之前，所述方法还包括：
利用SSD算法对输电线路连接部位进行定位，其损失函数为：
SSD的损失函数定义为置信度误差Lconf和位置误差Lloc的加权和：
Figure BDA0002837526720000071
式中，N是预测框的正样本数量，α用于调整置信度误差和位置误差的比例，默认α＝1。
考虑输电线路螺栓缺陷只存在于输电线路的连接部位，故先定位出所有的连接部位。对输电线路巡检图像上的连接部位做标注，制作连接部位数据集。
在上述技术方案的基础上，可选的，利用SSD算法对输电线路连接部位进行定位，包括：
将连接部位数据集中的图像大小调整为300×300后输入SSD检测网络；
对输入图像进行特征提取，抽取卷积层的特征图，分别在不同的特征图平面上的每个点获得不同数量的预测框，然后对输电线路连接部位进行定位，获得多个预测框；其中，每个预测框中包含5个信息，前4个信息为预测框的位置信息，第5个信息为预测框的置信度；
对于每个预测框，过滤属于背景的预测框，并根据设定的阈值过滤掉不符合条件的预测框；
将置信度从大到小排列，保留预设数量预测框，并采用非极大值抑制，过滤掉重叠度高于预设重叠度的预测框，以得到的预测框作为输电线路连接部位的定位结果。
具体的，定位连接部位的步骤为：
(1)将连接部位数据集中的图像大小调整为300×300后输入SSD检测网络。
(2)对输入图像进行特征提取，抽取一些卷积层的特征图，分别在不同的特征图平面上的每个点获得不同个数的预测框，然后对输电线路连接部位进行定位，获得多个预测框。每个预测框中包含5个信息，前4个为预测框的位置信息，第5个为预测框的置信度。
(3)对于每个预测框，首先过滤属于背景的预测框，然后根据设定的阈值过滤掉不符合条件的预测框。将置信度从大到小排列，保留前N个预测框，N的值根据样本的数量调整，最后进行非极大值抑制(non-maximum suppression,NMS)，过滤掉重叠度较大的预测框，最终得到的预测框为输电线路连接部位的定位结果。
在上述各技术方案的基础上，可选的，对输电线路巡检样本图像上的连接部位做标注，制作连接部位数据集，包括：
采用数据增强方法对缺陷样本进行镜像增强操作和/或旋转等增强操作扩充样本，制作融合数据集。
考虑原巡检图像像素太高，故定位出连接部位后对其进行切割。若切割出的输电线路连接部位仍具有很高的像素，为保留原始信息对其进行分割，形成新的样本。
对切割后样本中的螺栓进行标注，制作螺栓数据集；考虑到螺栓数据集中正常螺栓的个数远大于螺栓缺陷的个数，螺栓缺陷数量过少会导致训练结果的不理想，故采用数据增强方法对缺陷样本进行镜像、旋转等增强操作以扩充样本，制作融合数据集。
在上述各技术方案的基础上，可选的，在制作融合数据集之后，所述方法还包括：
将融合数据集中的图像大小调整为416×416后输入YOLOv3检测网络；
网络采用3个不同尺度的特征图对连接部位螺栓进行检测，尺度分别为13×13、26×26、52×52；其中，每个尺度的特征图对应3种不同尺寸的预测框；每个预测框中包含7个参数，前4个参数为预测框的位置参数，第5个参数为预测框的置信度，后2个参数为螺栓缺陷、正常螺栓的类别信息；
通过NMS算法对网络给出的预测框进行过滤，以实现输电线路连接部位螺栓的识别和分类。
具体的，利用YOLOv3算法对螺栓缺陷进行检测，其损失函数为：
Figure BDA0002837526720000091
式中，s2表示栅格的数量，coordErr为坐标误差，iouErr为置信度误差，clsErr为类别误差。
经过上述步骤，检测螺栓缺陷的步骤为：
(1)将融合数据集中的图像大小调整为416×416后输入YOLOv3检测网络。
(2)网络采用3个不同尺度的特征图对连接部位螺栓进行检测，分别为13×13、26×26、52×52，每个不同尺度的特征图对应3种不同尺寸的预测框。每个预测框中包含7个参数，前4个为预测框的位置参数，第5个为预测框的置信度，后2个为螺栓缺陷、正常螺栓的类别信息。
(3)通过NMS算法对网络给出的10647个预测框进行过滤。首先计算每个预测框的置信度，将置信度低于1％的预测框过滤掉，选择与真实框(ground truth，GT)重合度较高的预测框，然后通过设定的阈值得到最后的预测框，实现输电线路连接部位螺栓的识别和分类。
此外，在构建模型的过程中，需要构建目标检测算法评价指标：
目标检测算法的检测结果共四种，分别为正样本被正确预测为正样本(Truepositives,TP)、负样本被正确预测为负样本(True negatives,TN)、负样本被错误预测为正样本(False positives,FP)、正样本被错误预测为负样本(False negatives,FN)。
指标1：准确率(precision)；
准确率用于评估检测算法的准确性，计算方法为正确预测的正样本的数量在预测为正样本数中的占比。准确率的计算公式为：
Figure BDA0002837526720000101
指标2：召回率(recall)；
召回率用来评估检测算法的找出所有正样本的能力。计算方法为正确预测的正样本的数量在总正样本数中的占比。召回率的计算公式为：
Figure BDA0002837526720000102
指标3：平均精度(Average Precision,AP)；
平均精度用来评估检测算法的准确率，计算公式为：
Figure BDA0002837526720000103
式中，p为准确率，r为召回率。
mAP为所有类别的平均精度，mAP值越大表明算法的性能越好，计算公式为：
Figure BDA0002837526720000104
式中，n为类别数，N类别总数。
图2是本申请实施例提供的输电线路螺栓缺陷检测原理图，如图2所示，丢失螺栓的确定方法可由搭载边缘计算装置的直升机、无人机完成，实现输电线路螺栓实时检测，检测结果可同步传输至云端。巡检员通过分析检测结果，将检测出的螺栓数量与标准螺栓数量对比，便可得到丢失螺栓的数目，最终可实现巡检图像中螺栓缺陷和丢失螺栓的检测，从而对于不同的螺栓缺陷采取相应的解决措施。
本申请实施例所提供的技术方案，获取对输电线路进行拍摄得到的巡检图像；确定所述巡检图像中的输电线路连接部位，对所述输电线路连接部位进行切割处理，得到切割图像；将所述切割图像输入至预先训练的螺栓检测模型，根据所述螺栓检测模型输出的结果，确定丢失螺栓的数量。该方法能够实现输电线路螺栓实时检测，检测结果可同步传输至云端，巡检员通过分析检测结果，与标准螺栓数量进行对比，可得到丢失螺栓的数目，从而对不同螺栓缺陷采取相应的解决措施。
以下为本申请实施例所提供的优选实施方案，本发明基于深度学习的小目标输电线路螺栓检测方法的流程图。
所述一种基于深度学习的小目标输电线路螺栓检测方法包括以下步骤：
步骤1：直升机、无人机采集巡检图像；
步骤2：在搭载边缘计算装置的直升机、无人机进行螺栓缺陷实时检测；
步骤3：检测结果同步至云端；
步骤4：人工校核。
图3是本申请实施例提供的缺陷检测示意图，如图3所示，在边缘节点进行缺陷检测的具体步骤为：
直升机、无人机上搭载的边缘计算装置中的检测模型已以往巡检图像为训练集训练至最优。将采集的巡检图像输入检测模型，具体的检测步骤如下：
定位巡检图像中输电线路连接部位；
切割出连接部位；
连接部位样本数据增强；
检测连接部位中的螺栓缺陷。
传输检测结果。
对于所述检测连接部位中的螺栓缺陷，人工校核的具体内容为：
通过云端的检测信息巡检员可得到缺陷螺栓的检测结果以及螺栓的数目，通过与标准螺栓数目的比对，可得到丢失螺栓的数目，从而实现缺陷螺栓和丢失螺栓的检测。巡检员可根据人工校核后的结果给出相应的解决措施。
图4是本申请实施例提供的输电线路螺栓的检测装置的结构示意图。如图4所示，所述装置包括：
巡检图像获取模块410，用于获取对输电线路进行拍摄得到的巡检图像；
切割模块420，用于确定所述巡检图像中的输电线路连接部位，对所述输电线路连接部位进行切割处理，得到切割图像；
螺栓检测模块430，用于将所述切割图像输入至预先训练的螺栓检测模型，根据所述螺栓检测模型输出的结果，确定丢失螺栓的数量。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种输电线路螺栓的检测方法，该方法包括：
获取对输电线路进行拍摄得到的巡检图像；
确定所述巡检图像中的输电线路连接部位，对所述输电线路连接部位进行切割处理，得到切割图像；
将所述切割图像输入至预先训练的螺栓检测模型，根据所述螺栓检测模型输出的结果，确定丢失螺栓的数量。
存储介质——任何的各种类型的存储器电子设备或存储电子设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到计算机系统。第二计算机系统可以提供程序指令给计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的输电线路螺栓的检测操作，还可以执行本申请任意实施例所提供的输电线路螺栓的检测方法中的相关操作。
本申请实施例提供了一种电子设备，该电子设备中可集成本申请实施例提供的输电线路螺栓的检测装置。图5是本申请实施例提供的一种电子设备的结构示意图。如图5所示，本实施例提供了一种电子设备500，其包括：一个或多个处理器520；存储装置510，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器520执行，使得所述一个或多个处理器520实现本申请实施例所提供的输电线路螺栓的检测方法，该方法包括：
获取对输电线路进行拍摄得到的巡检图像；
确定所述巡检图像中的输电线路连接部位，对所述输电线路连接部位进行切割处理，得到切割图像；
将所述切割图像输入至预先训练的螺栓检测模型，根据所述螺栓检测模型输出的结果，确定丢失螺栓的数量。
当然，本领域技术人员可以理解，处理器520还实现本申请任意实施例所提供的输电线路螺栓的检测方法的技术方案。
图5显示的电子设备500仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图5所示，该电子设备500包括处理器520、存储装置510、输入装置530和输出装置540；电子设备中处理器520的数量可以是一个或多个，图5中以一个处理器520为例；电子设备中的处理器520、存储装置510、输入装置530和输出装置540可以通过总线或其他方式连接，图5中以通过总线550连接为例。
存储装置510作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块单元，如本申请实施例中的输电线路螺栓的检测方法对应的程序指令。
存储装置510可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置510可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置510可进一步包括相对于处理器520远程设置的存储器，这些远程存储器可以通过网络连接。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置530可用于接收输入的数字、字符信息或语音信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置540可包括显示屏、扬声器等电子设备。
本申请实施例提供的电子设备，通过基于深度学习的小目标输电线路螺栓检测方法，实现输电线路螺栓实时检测，检测结果可同步传输至云端，巡检员通过分析检测结果，与标准螺栓数量进行对比，可得到丢失螺栓的数目，从而对不同螺栓缺陷采取相应的解决措施。上述实施例中提供的输电线路螺栓的检测装置、存储介质及电子设备可执行本申请任意实施例所提供的输电线路螺栓的检测方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的输电线路螺栓的检测方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
由技术常识可知，本发明可以通过其它的不脱离其精神实质或必要特征的实施方案来实现。因此，上述公开的实施方案，就各方面而言，都只是举例说明，并不是仅有的。所有在本发明范围内或在等同于本发明的范围内的改变均被本发明包含。

Claims (10)

1.一种输电线路螺栓的检测方法，其特征在于，包括：
获取对输电线路进行拍摄得到的巡检图像；
确定所述巡检图像中的输电线路连接部位，对所述输电线路连接部位进行切割处理，得到切割图像；
将所述切割图像输入至预先训练的螺栓检测模型，根据所述螺栓检测模型输出的结果，确定丢失螺栓的数量。
2.根据权利要求1所述的方法，其特征在于，所述螺栓检测模型的训练过程，包括：
获取输电线路巡检样本图像；
对输电线路巡检样本图像上的连接部位做标注，制作连接部位数据集；
将所述连接部位数据集输入至初始模型，经过有监督和/或无监督训练，得到螺栓检测模型。
3.根据权利要求2所述的方法，其特征在于，在对输电线路巡检样本图像上的连接部位做标注，制作连接部位数据集之前，所述方法还包括：
利用SSD算法对输电线路连接部位进行定位，其损失函数为：
SSD的损失函数定义为置信度误差Lconf和位置误差Lloc的加权和：
Figure FDA0002837526710000011
式中，N是预测框的正样本数量，α用于调整置信度误差和位置误差的比例。
4.根据权利要求3所述的方法，其特征在于，利用SSD算法对输电线路连接部位进行定位，包括：
将连接部位数据集中的图像大小调整为300×300后输入SSD检测网络；
对输入图像进行特征提取，抽取卷积层的特征图，分别在不同的特征图平面上的每个点获得不同数量的预测框，然后对输电线路连接部位进行定位，获得多个预测框；其中，每个预测框中包含5个信息，前4个信息为预测框的位置信息，第5个信息为预测框的置信度；
对于每个预测框，过滤属于背景的预测框，并根据设定的阈值过滤掉不符合条件的预测框；
将置信度从大到小排列，保留预设数量预测框，并采用非极大值抑制，过滤掉重叠度高于预设重叠度的预测框，以得到的预测框作为输电线路连接部位的定位结果。
5.根据权利要求2所述的方法，其特征在于，对输电线路巡检样本图像上的连接部位做标注，制作连接部位数据集，包括：
采用数据增强方法对缺陷样本进行镜像增强操作和/或旋转等增强操作扩充样本，制作融合数据集。
6.根据权利要求5所述的方法，其特征在于，在制作融合数据集之后，所述方法还包括：
将融合数据集中的图像大小调整为416×416后输入YOLOv3检测网络；
网络采用3个不同尺度的特征图对连接部位螺栓进行检测，尺度分别为13×13、26×26、52×52；其中，每个尺度的特征图对应3种不同尺寸的预测框；每个预测框中包含7个参数，前4个参数为预测框的位置参数，第5个参数为预测框的置信度，后2个参数为螺栓缺陷、正常螺栓的类别信息；
通过NMS算法对网络给出的预测框进行过滤，以实现输电线路连接部位螺栓的识别和分类。
7.根据权利要求6所述的方法，其特征在于，利用YOLOv3算法对螺栓缺陷进行检测，其损失函数为：
Figure FDA0002837526710000021
式中，s2表示栅格的数量，coordErr为坐标误差，iouErr为置信度误差，clsErr为类别误差。
8.一种输电线路螺栓的检测装置，其特征在于，包括：
巡检图像获取模块，用于获取对输电线路进行拍摄得到的巡检图像；
切割模块，用于确定所述巡检图像中的输电线路连接部位，对所述输电线路连接部位进行切割处理，得到切割图像；
螺栓检测模块，用于将所述切割图像输入至预先训练的螺栓检测模型，根据所述螺栓检测模型输出的结果，确定丢失螺栓的数量。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的输电线路螺栓的检测方法。
10.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的输电线路螺栓的检测方法。
CN202011477026.7A 2020-12-15 2020-12-15 一种输电线路螺栓的检测方法、装置、存储介质及电子设备 Pending CN112581445A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011477026.7A CN112581445A (zh) 2020-12-15 2020-12-15 一种输电线路螺栓的检测方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011477026.7A CN112581445A (zh) 2020-12-15 2020-12-15 一种输电线路螺栓的检测方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN112581445A true CN112581445A (zh) 2021-03-30

Family

ID=75135102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011477026.7A Pending CN112581445A (zh) 2020-12-15 2020-12-15 一种输电线路螺栓的检测方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN112581445A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113192065A (zh) * 2021-05-28 2021-07-30 广东电网有限责任公司 输电线路图像的处理方法、便携式设备及用户终端
CN113627378A (zh) * 2021-08-19 2021-11-09 国网上海市电力公司 一种基于Phash算法结合深度学习的线路螺栓缺陷识别方法
CN113888358A (zh) * 2021-10-20 2022-01-04 国网福建省电力有限公司经济技术研究院 基于深度学习的架空线路工程质量通病检测方法及系统
CN114001939A (zh) * 2021-10-20 2022-02-01 广州番禺电缆集团有限公司 一种线路连接装置监测方法、装置、设备及存储介质
CN114724268A (zh) * 2022-03-31 2022-07-08 武汉珞珈天铭电气科技有限公司 一种输电线路巡检方法、装置、设备及存储介质
CN114820620A (zh) * 2022-06-29 2022-07-29 中冶建筑研究总院（深圳）有限公司 一种螺栓松动缺陷检测方法、系统及装置
CN114841993A (zh) * 2022-05-31 2022-08-02 广东电网有限责任公司 绝缘子检测网络的训练及其检测方法、设备及存储介质
CN116363090A (zh) * 2023-03-21 2023-06-30 国网山东省电力公司莱芜供电公司 一种输电线路螺栓销针缺失生成方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490073A (zh) * 2019-07-15 2019-11-22 浙江省北大信息技术高等研究院 目标检测方法、装置、设备及存储介质
CN110689531A (zh) * 2019-09-23 2020-01-14 云南电网有限责任公司电力科学研究院 一种基于yolo的输电线路机巡图像缺陷自动识别方法
CN110969166A (zh) * 2019-12-04 2020-04-07 国网智能科技股份有限公司 一种巡检场景下小目标识别方法和系统
CN111650204A (zh) * 2020-05-11 2020-09-11 安徽继远软件有限公司 基于级联目标检测的输电线路金具缺陷检测方法及系统
CN111797890A (zh) * 2020-05-18 2020-10-20 中国电力科学研究院有限公司 一种用于检测输电线路设备缺陷的方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490073A (zh) * 2019-07-15 2019-11-22 浙江省北大信息技术高等研究院 目标检测方法、装置、设备及存储介质
CN110689531A (zh) * 2019-09-23 2020-01-14 云南电网有限责任公司电力科学研究院 一种基于yolo的输电线路机巡图像缺陷自动识别方法
CN110969166A (zh) * 2019-12-04 2020-04-07 国网智能科技股份有限公司 一种巡检场景下小目标识别方法和系统
CN111650204A (zh) * 2020-05-11 2020-09-11 安徽继远软件有限公司 基于级联目标检测的输电线路金具缺陷检测方法及系统
CN111797890A (zh) * 2020-05-18 2020-10-20 中国电力科学研究院有限公司 一种用于检测输电线路设备缺陷的方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张姝 等: ""基于深度学习的输电线路螺栓检测技术"", 《电网技术》, 20 October 2020 (2020-10-20), pages 0 - 4 *
胡正平 等: "端对端SSD实时视频监控异常目标检测与定位算法", 燕山大学学报, no. 05, 30 September 2020 (2020-09-30) *
麦俊佳 等: "基于深度学习的输电线路航拍照片目标检测应用", 广东电力, no. 09, 30 September 2020 (2020-09-30) *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113192065A (zh) * 2021-05-28 2021-07-30 广东电网有限责任公司 输电线路图像的处理方法、便携式设备及用户终端
CN113627378A (zh) * 2021-08-19 2021-11-09 国网上海市电力公司 一种基于Phash算法结合深度学习的线路螺栓缺陷识别方法
CN113888358A (zh) * 2021-10-20 2022-01-04 国网福建省电力有限公司经济技术研究院 基于深度学习的架空线路工程质量通病检测方法及系统
CN114001939A (zh) * 2021-10-20 2022-02-01 广州番禺电缆集团有限公司 一种线路连接装置监测方法、装置、设备及存储介质
CN114001939B (zh) * 2021-10-20 2024-04-12 广州番禺电缆集团有限公司 一种线路连接装置监测方法、装置、设备及存储介质
CN114724268A (zh) * 2022-03-31 2022-07-08 武汉珞珈天铭电气科技有限公司 一种输电线路巡检方法、装置、设备及存储介质
CN114841993A (zh) * 2022-05-31 2022-08-02 广东电网有限责任公司 绝缘子检测网络的训练及其检测方法、设备及存储介质
CN114820620A (zh) * 2022-06-29 2022-07-29 中冶建筑研究总院（深圳）有限公司 一种螺栓松动缺陷检测方法、系统及装置
CN116363090A (zh) * 2023-03-21 2023-06-30 国网山东省电力公司莱芜供电公司 一种输电线路螺栓销针缺失生成方法及系统

Similar Documents

Publication Publication Date Title
CN112581445A (zh) 一种输电线路螺栓的检测方法、装置、存储介质及电子设备
CN107742093B (zh) 一种红外图像电力设备部件实时检测方法、服务器及系统
CN106595551B (zh) 基于深度学习的输电线路覆冰图像中覆冰厚度检测方法
CN112367518B (zh) 一种输电线路无人机巡检图像质量评价方法
CN110838075A (zh) 电网系统暂态稳定的预测模型的训练及预测方法、装置
CN111428558A (zh) 一种基于改进YOLOv3方法的车辆检测方法
CN110910440B (zh) 一种基于电力影像数据的输电线路长度确定方法和系统
CN112115927A (zh) 一种基于深度学习的机房设备智能识别方法及系统
CN108549862A (zh) 异常场景检测方法及装置
CN113163353B (zh) 一种电源车的智能健康服务系统及其数据传输方法
CN111160432A (zh) 一种面板生产制造缺陷的自动分类方法及系统
CN114976306A (zh) 一种基于车联云的动力锂电池智能化梯次利用方法
CN116385958A (zh) 一种用于电网巡检和监控的边缘智能检测方法
CN111476307A (zh) 一种基于深度领域适应的锂电池表面缺陷检测方法
CN115171045A (zh) 一种基于yolo的电网作业现场违章识别方法及终端
CN113252701A (zh) 基于云边协同的输电线路绝缘子自爆缺陷检测系统及方法
CN112419345A (zh) 基于回声状态网络的巡逻车高精度循迹方法
CN115200554A (zh) 一种基于图片识别技术的无人机摄影测量监管系统及方法
CN117789109A (zh) 一种工业场景下无人值守的异常行为检测方法和系统
CN112101313A (zh) 一种机房机器人巡检方法及系统
CN112528566A (zh) 基于AdaBoost训练模型的空气质量数据实时校准方法及系统
CN110765900A (zh) 一种基于dssd的自动检测违章建筑方法及系统
CN115546666A (zh) 基于无人机巡检的电力设备螺栓检测方法及系统
CN114199992B (zh) 一种储油罐罐壁腐蚀检测方法及系统
CN115984723A (zh) 道路破损检测方法、系统、装置、存储介质及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination