CN114841993A - 绝缘子检测网络的训练及其检测方法、设备及存储介质 - Google Patents

绝缘子检测网络的训练及其检测方法、设备及存储介质 Download PDF

Info

Publication number
CN114841993A
CN114841993A CN202210613027.2A CN202210613027A CN114841993A CN 114841993 A CN114841993 A CN 114841993A CN 202210613027 A CN202210613027 A CN 202210613027A CN 114841993 A CN114841993 A CN 114841993A
Authority
CN
China
Prior art keywords
insulator
detection network
target detection
area
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210613027.2A
Other languages
English (en)
Inventor
吴杰辉
郑风雷
夏云峰
涂智豪
张健榕
周晋多
刘贯科
苏华锋
熊浩南
翟润辉
喻天
黄靖欣
李俊鹏
李中宇
彭毅杰
李健中
何志彬
吴栩欣
吴浩儿
胡诗敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Power Grid Co Ltd
Dongguan Power Supply Bureau of Guangdong Power Grid Co Ltd
Original Assignee
Guangdong Power Grid Co Ltd
Dongguan Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Power Grid Co Ltd, Dongguan Power Supply Bureau of Guangdong Power Grid Co Ltd filed Critical Guangdong Power Grid Co Ltd
Priority to CN202210613027.2A priority Critical patent/CN114841993A/zh
Publication of CN114841993A publication Critical patent/CN114841993A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了绝缘子检测网络的训练及其检测方法、设备及存储介质，该方法包括：获取自动飞行器沿电力线路巡检时向电力塔架采集的多帧图像数据；调用第一目标检测网络SSD从作为训练样本的图像数据中识别电力线路上的绝缘子所处的第一候选区域；在第一候选区域中提取局部数据，作为第二候选区域；将第二候选区域输入第二目标检测网络YOLO中，识别绝缘子中伞裙破损所处的第三候选区域；根据第一候选区域与第一样本区域之间的损失更新第一目标检测网络SSD；根据第三候选区域与第二样本区域之间的损失更新第二目标检测网络YOLO，有效缓解在多次下采样操作中极易出现信息腐蚀的现象，提高检测小尺寸的伞裙破损的精确度，减少漏检的现象。

Description

绝缘子检测网络的训练及其检测方法、设备及存储介质
技术领域
本发明涉及计算机视觉的技术领域，尤其涉及绝缘子检测网络的训练及其检测方法、设备及存储介质。
背景技术
绝缘子是配电网中电力线路中的部件之一，在配电网中的电力线路作为绝缘设备，不致引起系统接地短路的电气装置。
实际工作中，绝缘子长期暴露在外，因此受到恶劣地理环境和极端天气气候变化等多重因素的影响，绝缘子的伞裙很容易出现破损故障，绝缘子的伞裙破损给配电网造成了隐患，严重时甚至会出现配电网故障，造成大规模停电。
为了保证绝缘子的正常工作，进而保证配电网的稳定运行，目前逐渐使用自动飞行器巡检，对绝缘子的伞裙进行破损检测，即自动飞行器在高空对电力线路上各段的绝缘子拍摄图像数据，利用深度学习进行分析处理，并得到相应的检测结果，完成检测工作。
深度学习直接检测带有伞裙破损缺陷的绝缘子，由于部分破损区域在整幅图像数据中占比小，深度学习在多次下采样操作中极易出现信息腐蚀的现象，导致无法识别破损区域，检测结果存在漏检的现象。
发明内容
本发明提供了一种绝缘子检测网络的训练及其检测方法、设备及存储介质，以解决使用深度学习中对绝缘子的伞裙进行破损检测，因信息腐蚀的现象导致漏检的问题。
根据本发明的一方面，提供了一种绝缘子检测网络的训练方法，所述绝缘子检测网络包括第一目标检测网络SSD、第二目标检测网络YOLO，所述方法包括：
获取自动飞行器沿电力线路巡检时向电力塔架采集的多帧图像数据，所述图像数据的标签包括绝缘子所处的第一样本区域、所述绝缘子中伞裙破损区所处的第二样本区域；
调用所述第一目标检测网络SSD从作为训练样本的所述图像数据中识别所述电力线路上的绝缘子所处的第一候选区域；
在所述第一候选区域中提取局部数据，作为第二候选区域；
将所述第二候选区域输入所述第二目标检测网络YOLO中，识别所述绝缘子中伞裙破损所处的第三候选区域；
根据所述第一候选区域与所述第一样本区域之间的损失更新所述第一目标检测网络SSD；
根据所述第三候选区域与所述第二样本区域之间的损失更新所述第二目标检测网络YOLO。
根据本发明的另一方面，提供了一种绝缘子的损伤检测方法，包括：
加载绝缘子检测网络，所述绝缘子检测网络包括第一目标检测网络SSD、第二目标检测网络YOLO；
获取自动飞行器沿电力线路巡检时向电力塔架采集的多帧图像数据；
调用所述第一目标检测网络SSD从所述图像数据中识别所述电力线路上的绝缘子所处的第一目标区域；
在所述第一目标区域中提取局部数据，作为第二目标区域；
将所述第二目标区域输入所述第二目标检测网络YOLO中，识别所述绝缘子中伞裙破损所处的第三目标区域。
根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的绝缘子检测网络的训练方法或者绝缘子的损伤检测方法。
根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使处理器执行时实现本发明任一实施例所述的绝缘子检测网络的训练方法或者绝缘子的损伤检测方法。
在本实施例中，绝缘子检测网络包括第一目标检测网络SSD、第二目标检测网络YOLO，获取自动飞行器沿电力线路巡检时向电力塔架采集的多帧图像数据，图像数据的标签包括绝缘子所处的第一样本区域、绝缘子中伞裙破损区所处的第二样本区域；调用第一目标检测网络SSD从作为训练样本的图像数据中识别电力线路上的绝缘子所处的第一候选区域；在第一候选区域中提取局部数据，作为第二候选区域；将第二候选区域输入第二目标检测网络YOLO中，识别绝缘子中伞裙破损所处的第三候选区域；根据第一候选区域与第一样本区域之间的损失更新第一目标检测网络SSD；根据第三候选区域与第二样本区域之间的损失更新第二目标检测网络YOLO，应用绝缘子检测网络检测的过程为分级检测，第一级使用第一目标检测网络SSD检测出绝缘子所在的区域，第二级使用第二目标检测网络YOLO检测出伞裙破损的区域，有效提高伞裙破损的区域在待检测图像中的占比，有效缓解在多次下采样操作中极易出现信息腐蚀的现象，提高检测小尺寸的伞裙破损的精确度，减少漏检的现象。
由于定位出绝缘子所在的区域是检测伞裙破损的区域的前提，因此，第一级检测使用性能更强、准确率更高的第一目标检测网络SSD，而在精准定位出绝缘子所在的区域的情况下，第二目标检测网络YOLO在速度上更占优势，也能保证检测伞裙破损的区域的精确度，从而保证绝缘子检测网络的性能更优。
在第一目标检测网络SSD与第二目标检测网络YOLO之间对待检测图像进行分割，可以进一步收敛待检测图像的范围，提高伞裙破损的区域在待检测图像中的占比，不仅可以进一步缓解在多次下采样操作中极易出现信息腐蚀的现象，提高小尺寸的检测伞裙破损的精确度，减少漏检的现象，而且可以降低第二目标检测网络YOLO的运算量，进一步提高检测的速度。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种绝缘子检测网络的训练方法的流程图；
图2是根据本发明实施例一提供的应用绝缘子检测网络检测的示例图；
图3是根据本发明实施例二提供的一种绝缘子检测网络的训练方法的流程图；
图4是根据本发明实施例三提供的一种绝缘子的损伤检测方法的流程图；
图5是根据本发明实施例四提供的一种绝缘子检测网络的训练装置的结构示意图；
图6是根据本发明实施例五提供的一种绝缘子的损伤检测装置的结构示意图；
图7是实现本发明实施例的绝缘子检测网络的训练方法或绝缘子的损伤检测方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1为本发明实施例一提供的一种绝缘子检测网络的训练方法的流程图，该方法可以由绝缘子检测网络的训练装置来执行，该绝缘子检测网络的训练装置可以采用硬件和/或软件的形式实现，该绝缘子检测网络的训练装置可配置于电子设备中。
在本实施例中，绝缘子检测网络用于检测图像数据中的绝缘子是否存在损伤，其包括第一目标检测网络SSD(Single Shot MultiBox Detector，单激发多盒探测器)、第二目标检测网络YOLO(You Only Look Once，只看一次)。
SSD是One-stage(一阶段)目标检测算法中的一种，不需要regionproposal(候选框)阶段，可以直接产生物体的类别概率和位置坐标值，经过单次检测即可直接得到最终的检测结果，具有检测速度快的特点。
SSD包括如下结构：
1、主干网络
不同版本的SSD的结构有所不同，其主干网络一般是由VGG(VisualGeometryGroup，超分辨率测试序列)16中部分卷积层组成，并将最后2层的conv(卷积层)换成全连接层，用来进行图像分类。
2、多尺度特征检测网络
多尺度特征检测网络是对前端主干网络产生的特征层进行不同尺度条件下的特征提取，利用多尺度特征检测网络当中的浅层特征图尺寸较大的特点，尺寸较小的物体。
YOLO把目标检测问题简化成了一个回归问题，直接从图像数据的像素点出发，去得到框和分类概率。
具体而言，YOLO用整个图像数据的特征去预测每一个边界框。它还同时预测一个图像数据在所有类中的所有边界框。YOLO先把整个图像数据划分成S*S个方格，如果一个物体的中心正好落在一个方格中，那么这个方格就负责来预测物体。每一个方格预测出B个边界框和这些框的置信分数，这些表示方格包含物体的准确度和产生的框精确的程度，输出就是S×S×(5*B+C)的一个tensor(向量)。
每一个方格预测C个条件类别概率，预测的是每一个方格上一系列的分类概率，并不理会B个边界框是怎么样的。
进一步而言，不同版本的YOLO的结构有所不同，以YOLOv3为例，YOLOV3以Darknet-53为主干网络，从第0层到第74层一共有53层卷积层，其余均为Resnet层。
和Darknet-19相比，Darknet-53去除了所有的maxpooling(最大池化)层,增加了更多的1×1和3×3的卷积层，但因为加深网络层数很容易导致梯度消失或爆炸。所以Darknet-53加入了ResNet中的Residual块来解决梯度的问题。
YOLOv3采用多尺度的特征图对不同大小的物体进行检测，以提升小物体的预测能力，YOLOv3通过下采样32倍16倍和8倍得到3个不同尺度的特征图,例如，输入尺寸为416×416的图像数据,则会得到13×13(416/32)，26×26(416/16)以及52×52(416/8)这3个尺度的特征图。
每个尺度的特征图会预测出3个Anchor prior(先验框)，而Anchorprior的大小则采用K-means进行聚类分析。
如图1所示，该方法包括：
步骤101、获取自动飞行器沿电力线路巡检时向电力塔架采集的多帧图像数据。
在本实施例中，可以按照维修、检修等针对配电网中电力线路的业务制定任务，其中，电力线路一般为高压输电线路，用于传输电力资源，该任务包含了沿电力线路附近制定的路线。
将该任务发送至自动飞行器，自动飞行器可以按照既定的路线飞行，在飞行的过程中，调用自定飞行器中的摄像头，对飞行路线采集视频数据，实现对电力线路的巡检。
可通过人工的方式在视频数据中挑选大量包含电力塔架的图像数据作为训练与测试绝缘子检测网络的样本，并对图像数据的绝缘子及其伞裙打上标签Tag。
在电力塔架上一般包含绝缘子，图像数据作为正样本时，该绝缘子中的伞裙正常，图像数据作为负样本时，该绝缘子中的伞裙出现不同情况的破损。
图像数据的标签包括绝缘子(含在材质上划分的类别，如玻璃材质的绝缘子、瓷器材质的绝缘子、复合材质的绝缘子等)所处的第一样本区域、绝缘子中伞裙破损区所处的第二样本区域。
示例性地，对于第一样本区域、第二样本区域，均可以以以下形式记录：
Xmin(标注框左上脚X坐标)、Ymin(标注框左上脚Y坐标)、Xmax(标注框右下脚X坐标)、Ymax(标注框右下脚Y坐标)
标签可以以VOC数据格式保存成XML(Extensible Markup Language，可扩展标记语言)文件。
步骤102、调用第一目标检测网络SSD从作为训练样本的图像数据中识别电力线路上的绝缘子所处的第一候选区域。
对于样本可以进行预处理，例如，清洗亮度异常的图像数据、清洗噪声较大的图像数据、清洗模糊的图像数据，等等，从而提高样本的整体质量，保证训练与绝缘子检测网络的质量。
如图2所示，按照预设的第一比例(如4/5)从所有样本中提取用于训练绝缘子检测网络的图像数据，记为训练样本201。
调用第一目标检测网络SSD从作为训练样本201的某帧图像数据202中识别电力线路上的绝缘子所处的区域，记为第一候选区域(即图像数据202中多个方框)。
在本发明的一个实施例中，步骤102可以包括如下步骤：
步骤1021、将作为训练样本的图像数据输入第一目标检测网络SSD中进行处理，得到多个框定电力线路上连接部位的第一预测框。
在实际应用中，第一目标检测网络SSD适于处理指定尺寸(如512×512)的图像数据(即输入规范)，因此，对于作为训练样本的图像数据，可按照该输入规范执行缩放操作，使得作为训练样本的图像数据缩放至指定的尺寸。
在完成缩放之后，将该图像数据输入第一目标检测网络SSD中，第一目标检测网络SSD按照自身的结构、逻辑对图像数据进行处理，输出多个框定电力线路上连接部位的第一预测框。
具体而言，第一目标检测网络SSD中的主干网络(如VGG16)对输入的图像数据提取特征，抽取一些卷积层的特征图，分别在不同的特征图平面上的每个点获得不同个数的第一预测框，然后对电力线路的连接部位进行定位，获得多个第一预测框，其中，每个第一预测框中包含5个信息，前4个为第一预测框的位置信息，第5个为第一预测框的置信度。
步骤1022、对多个第一预测框执行过滤操作，得到用于框定电力线路上的绝缘子的第一预测框。
由于第一预测框较多，并不是所有第一预测框都准确地标定绝缘子，因此，在本实施例中，可以按照绝缘子的特性对对多个第一预测框执行过滤操作，得到用于框定电力线路上的绝缘子的第一预测框。
在具体实现中，绝缘子一般位于前景，因此，可滤除位于背景内的第一预测框，进一步地，可通过MOG(高斯混合模型分离算法)、GMG(GeometricMultigid)、KNN(K nearestneigbours，最近邻)等算法计算出图像数据的背景，如果第一预测框内属于背景的区域超过设定的阈值，则过滤掉该第一预测框。
若滤除完成，则对剩余的第一预测框按照置信度进行排序，在剩余的第一预测框中提取第一置信度最高的多个第一预测框。
对第一置信度最高的多个第一预测框执行非极大值抑制(non-maximumsuppression，NMS)，得到用于框定电力线路上的绝缘子的第一预测框。
步骤1023、删除玻璃材质的绝缘子对应的第一预测框，保留瓷器材质或复合材质的绝缘子对应的第一预测框，作为第一候选区域。
在实际应用中，玻璃材质的绝缘子并不会出现伞裙的破损现象，伞裙的破损现象多出现在瓷器材质或复合材质的绝缘子，因此，可以删除玻璃材质的绝缘子对应的第一预测框，保留瓷器材质或复合材质的绝缘子对应的第一预测框，作为第一候选区域，减少在检测过程中的无效计算，从而减少计算量、减少计算耗时。
步骤103、在第一候选区域中提取局部数据，作为第二候选区域。
如图2所示，利用第一目标检测网络SSD给出的第一预测框203可直接切割出电力线路中的绝缘子所处的第一候选区域(即第一预测框203中的方框)，但切割后的第一候选区域可能仍具有较高的分辨率，为保留其原始信息且进一步增大破损缺陷在图像数据中的占比，且考虑到第二目标检测网络YOLO适于处理指定尺寸(如416×416)的图像数据，因此，可比第一候选区域与适于第二目标检测网络YOLO的尺寸(如416×416)，如果第一候选区域大于适于第二目标检测网络YOLO的尺寸，则可以对第一候选区域进行裁剪，在第一候选区域中提取适于第二目标检测网络YOLO的尺寸的局部数据，记为第二候选区域。
在具体实现中，可在第一候选区域中添加尺寸(如416×416)与第二目标检测网络YOLO适配的窗口，沿预设的方向(在第一候选区域的宽和高上，遵循由上至下、由左至右的方向)按照预设的步长移动窗口、使得窗口可遍历第一候选区域，并在每次移动时、提取位于窗口中的数据，作为第二候选区域。
若最后一次移动、窗口超出第一候选区域的某个边界(即窗口不足416等尺寸要求)，则从边界(如下侧或右侧的边界)反向添加窗口，并提取位于窗口中的数据，作为第二候选区域。
将小型化的窗口遍历第一候选区域，可以避免绝缘子的漏检情况。
步骤104、将第二候选区域输入第二目标检测网络YOLO中，识别绝缘子中伞裙破损所处的第三候选区域。
在实际应用中，如图2所示，第二目标检测网络YOLO适于处理指定尺寸(如416×416)的图像数据(即输入规范)，因此，对于第二候选区域204，可按照该输入规范执行缩放操作，使得第二候选区域204缩放至指定的尺寸。
在完成缩放之后，将该第二候选区域204输入第二目标检测网络YOLO中，第二目标检测网络YOLO按照自身的结构、逻辑对第二候选区域进行处理，输出绝缘子中伞裙破损所处的第三候选区域(第二预测框204中的方框)。
在具体实现中，将第二候选区域输入所述第二目标检测网络YOLO中，第二目标检测网络YOLO使用三个不同尺度的特征图处于所述绝缘子与电力塔杆连接部位的螺栓，得到第二预测框，分别为13×13、26×26、52×52，每个第二预测框中包含6个参数，前4个为第二预测框的位置参数，第5个为第二预测框的第二置信度，第6个为伞裙破损的类别信息。
滤除第二置信度低于预设的阈值(如1％)的第二预测框。
对剩余的第二预测框执行非极大值抑制，使得第二预测框与伞裙真实破损的区域重叠度高，得到绝缘子中伞裙破损所处的第三候选区域。
步骤105、根据第一候选区域与第一样本区域之间的损失更新第一目标检测网络SSD。
在本实施例中，将第一候选区域与第一样本区域进行多个维度的比较，可以衡量第一目标检测网络SSD的损失，从而更新第一目标检测网络SSD中的参数。
在本发明的一个实施例中，步骤105可以包括如下步骤：
步骤1051、计算第一候选区域与第一样本框在对绝缘子分类的置信度上的交叉熵，作为第一置信度误差。
在本实施例中，对绝缘子进行检测视为分类问题，因此，可使用交叉熵损失函数计算第一候选区域与第一样本框在对绝缘子分类的置信度上的交叉熵，作为第一置信度误差Lconf，即，第一置信度误差Lconf为多类别置信度上的Softmax Loss(回归损失)。
示例性地，交叉熵损失函数如下：
Figure BDA0003672544320000091
其中，c为softmax函数对每个类别的置信度，x表示第一候选框与第一样本框之间的关系，i为第一候选区域，j为第一样本框，p为类别，p＝0时表示背景，在交叉熵损失函数中，交叉熵损失函数前半部分为正样本Pos(数量为N)的损失，即分类为某个类别的损失(不包含北京)，后半部分为负样本Neg的损失，也就类别为背景的损失。
此外，
Figure BDA0003672544320000092
表示第i个第一候选区域匹配到第j个第一样本框，第j个第一样本框的类别为p，
Figure BDA0003672544320000093
为1或0，
Figure BDA0003672544320000094
为第i个第一候选区域对应类别p的概率，
Figure BDA0003672544320000095
为第i个第一候选区域对应背景的概率。
步骤1052、计算第一候选区域与第一样本区域之间的平滑后的第一范数距离，作为位置偏差。
在本实施例中，第一候选区域与第一样本区域均携带有位置信息，因此，可使用平滑的第一范数函数Soooth L1计算第一候选区域与第一样本区域之间的平滑后的第一范数距离，作为位置偏差Lloc。
示例性地，平滑的第一范数函数Soooth L1如下：
Figure BDA0003672544320000096
其中，x表示第一候选框与第一样本框之间的关系，l为第一候选框，g为第一样本框，正样本Pos的数量为N，cx与cy为补偿(regress to offsets)后第一候选框(即默认框)的中心，w与h补偿后第一候选框(即默认框)的宽与高，m为默认框中的点。
Figure BDA0003672544320000097
为第i个第一候选框与第j个第一样本框关于类别k是否匹配，其值为0表示不匹配，其值为1表示匹配。
Figure BDA0003672544320000101
为第i个第一候选框中的点m的坐标，
Figure BDA0003672544320000102
为第j个第一样本框中点m的坐标。
由于在训练早期，第一候选框与第一样本框之间的偏差是比较大的(即
Figure BDA0003672544320000103
之间会比较大)，因此，位置偏差Lloc可防止在训练的早期出现梯度爆炸
步骤1053、将第一置信度误差与位置误差线性融合为第一目标损失值。
在本实施例中，可以将第一置信度误差与位置误差线性融合为第一目标损失值L1。
示例性地，差线性融合的过程如下：
Figure BDA0003672544320000104
其中，N为正样本的数量，α为调节第一置信度误差Lconf(x,c)与位置误差Lloc(x,l,g)的比例，可默认α＝1。
步骤1054、判断第一目标损失值是否连续M次停止下降；若是，则执行步骤1055，若否，则执行步骤1056。
步骤1055、确定第一目标检测网络SSD训练完成。
步骤1056、采用自适应矩估计优化器更新第一目标检测网络SSD；返回执行步骤102。
在本实施例中，第一目标检测网络SSD经过多轮迭代训练，在每轮迭代训练中，可以对最近的连续M(M为正整数，如5)个第一目标损失值的变化。
如果第一目标损失值连续M次停止下降，表示第一目标损失值收敛，此时，可以认为第一目标检测网络SSD训练完成。
如果第一目标损失值未连续M次停止下降，表示第一目标损失值未收敛，此时，可以应用自适应矩估计优化器(Adaptive Moment Estimation，Adam)更新第一目标检测网络SSD中的参数，并进入下一轮迭代训练，即，重新执行步骤102、步骤105(步骤1051-步骤1054)，直至第一目标检测网络SSD训练完成。
其中，Adam本质上是带有动量项的RMSprop(均方根反向传播)，它利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率，Adam的优点主要在于经过偏置校正后，每一次迭代学习率都有个确定范围，使得参数比较平稳。
步骤106、根据第三候选区域与第二样本区域之间的损失更新第二目标检测网络YOLO。
在本实施例中，将第三候选区域与第二样本区域进行多个维度的比较，可以衡量第二目标检测网络YOLO的损失，从而更新第二目标检测网络YOLO中的参数。
在本发明的一个实施例中，步骤106可以包括如下步骤：
步骤1061、对第三候选区域的坐标与第二样本区域的坐标之间的差值取平方，得到边框预测误差。
在具体实现中，第三候选区域与第二样本区域均携带有位置信息，因此，可以以固定的坐标格式表示第三候选区域与第二样本区域，将第三候选区域与第二样本区域代入预设的边框损失函数中，对第三候选区域的坐标与第二样本区域的坐标之间的差值取平方，得到边框预测误差fcoord。
示例性地，边框损失函数如下：
Figure BDA0003672544320000111
其中，第二候选区域被划分为S×S个网格单元，第i个网格单元中共有B个第三候选区域，
Figure BDA0003672544320000112
为第i个网格单元中的第j个第三候选区域负责目标obj(绝缘子的伞裙中出现的损伤)，一般情况下，第i个网格单元中B个第三候选区域与目标对应第二样本区域的IoU(Intersection over Union，重叠度)最大的第三候选区域负责绝缘子的伞裙，xi、yi、wi与hi分别为第三候选区域中心点的x坐标、y坐标、宽度与高度，
Figure BDA0003672544320000113
与
Figure BDA0003672544320000114
分别为第二样本区域的中心点的x坐标、y坐标、宽度与高度，λcoord为预设的系数。
步骤1062、计算第三候选区域与第二样本区域在对绝缘子中伞裙破损分类的置信度上的交叉熵，作为第二置信度误差。
在本实施例中，对绝缘子中的伞裙进行损伤检测视为分类问题，因此，可使用交叉熵损失函数计算第三候选区域与第二样本区域在对绝缘子中伞裙破损分类的置信度上的交叉熵，作为作为第二置信度误差fconf。
示例性地，交叉熵损失函数如下：
Figure BDA0003672544320000121
其中，第二候选区域被划分为S×S个网格单元，第i个网格单元中共有B个第三候选区域，
Figure BDA0003672544320000122
为第i个网格单元中的第j个第三候选区域并不负责目标obj(绝缘子的伞裙中出现的损伤)，
Figure BDA0003672544320000123
为第i个网格单元中的第j个第三候选区域并不负责目标obj(绝缘子的伞裙中出现的损伤)，一般情况下，第i个网格单元中B个第三候选区域与目标对应第二样本区域的IoU(Intersection over Union，重叠度)最大的第三候选区域负责绝缘子的伞裙，Ci为当第i个网格单元中的第j个第三候选区域有负责预测的目标obj(绝缘子的伞裙中出现的损伤)的第二置信度，当第i个网格单元中的第三候选区域有负责预测的目标obj(绝缘子的伞裙中出现的损伤)时，
Figure BDA0003672544320000124
当第i个网格单元中的第j个第三候选区域无负责预测的目标obj(绝缘子的伞裙中出现的损伤)时，
Figure BDA0003672544320000125
λconf为预设的系数。
可见，交叉熵损失函数区分为两部分，前一部分为含有目标obj(绝缘子的伞裙中出现的损伤)的置信度预测，后一部分为不含目标obj(绝缘子的伞裙中出现的损伤)的置信度预测。
步骤1063、计算第三候选区域表征的绝缘子中伞裙破损的类别与第二样本区域表征的绝缘子中伞裙破损的类别的交叉熵，作为分类误差。
在本实施例中，对绝缘子中的伞裙进行损伤检测视为分类问题，因此，可使用交叉熵损失函数计算第三候选区域与第二样本区域在对绝缘子中伞裙破损分类的类别上的交叉熵，作为作为分类误差fcls。
Figure BDA0003672544320000126
其中，第二候选区域被划分为S×S个网格单元，第i个网格单元中共有B个第三候选区域，
Figure BDA0003672544320000127
为判断是否有目标obj(绝缘子的伞裙中出现的损伤)中心落在第i个网格单元的第j个第三候选区域中，c∈classes为绝缘子的伞裙中出现的损伤的类别的集合，
Figure BDA0003672544320000131
为第二样本区域表征的绝缘子中伞裙破损的类别，pi为第三候选区域表征的绝缘子中伞裙破损的类别。
步骤1064、将边框预测误差、第二置信度误差与分类误差相加，得到第二目标损失值。
将边框预测误差、第二置信度误差与分类误差相加，可以得到第二目标检测网络YOLO整体的第二目标损失值L2。
因此，第二目标损失值L2可表示为：
L＝fcoord+fconf+fcls
步骤1065、判断第二目标损失值是否连续N次停止下降；若是，则执行步骤1066，若否，则执行步骤1067。
步骤1066、确定第二目标检测网络YOLO训练完成。
步骤1067、采用自适应矩估计优化器更新第二目标检测网络YOLO；返回执行步骤104。
在本实施例中，第二目标检测网络YOLO经过多轮迭代训练，在每轮迭代训练中，可以对最近的连续N(N为正整数，如5)个第二目标损失值的变化。
如果第二目标损失值连续N次停止下降，表示第二目标损失值收敛，此时，可以认为第二目标检测网络YOLO训练完成。
如果第二目标损失值未连续N次停止下降，表示第二目标损失值未收敛，此时，可以应用自适应矩估计优化器(Adaptive Moment Estimation，Adam)更新第二目标检测网络YOLO中的参数，并进入下一轮迭代训练，即，重新执行步骤104、步骤106(步骤1061-步骤1065)，直至第二目标检测网络YOLO训练完成。
在本实施例中，绝缘子检测网络包括第一目标检测网络SSD、第二目标检测网络YOLO，获取自动飞行器沿电力线路巡检时向电力塔架采集的多帧图像数据，图像数据的标签包括绝缘子所处的第一样本区域、绝缘子中伞裙破损区所处的第二样本区域；调用第一目标检测网络SSD从作为训练样本的图像数据中识别电力线路上的绝缘子所处的第一候选区域；在第一候选区域中提取局部数据，作为第二候选区域；将第二候选区域输入第二目标检测网络YOLO中，识别绝缘子中伞裙破损所处的第三候选区域；根据第一候选区域与第一样本区域之间的损失更新第一目标检测网络SSD；根据第三候选区域与第二样本区域之间的损失更新第二目标检测网络YOLO，应用绝缘子检测网络检测的过程为分级检测，第一级使用第一目标检测网络SSD检测出绝缘子所在的区域，第二级使用第二目标检测网络YOLO检测出伞裙破损的区域，有效提高伞裙破损的区域在待检测图像中的占比，有效缓解在多次下采样操作中极易出现信息腐蚀的现象，提高检测小尺寸的伞裙破损的精确度，减少漏检的现象。
由于定位出绝缘子所在的区域是检测伞裙破损的区域的前提，因此，第一级检测使用性能更强、准确率更高的第一目标检测网络SSD，而在精准定位出绝缘子所在的区域的情况下，第二目标检测网络YOLO在速度上更占优势，也能保证检测伞裙破损的区域的精确度，从而保证绝缘子检测网络的性能更优。
在第一目标检测网络SSD与第二目标检测网络YOLO之间对待检测图像进行分割，可以进一步收敛待检测图像的范围，提高伞裙破损的区域在待检测图像中的占比，不仅可以进一步缓解在多次下采样操作中极易出现信息腐蚀的现象，提高小尺寸的检测伞裙破损的精确度，减少漏检的现象，而且可以降低第二目标检测网络YOLO的运算量，进一步提高检测的速度。
实施例二
图3为本发明实施例二提供的一种绝缘子检测网络的训练方法的流程图，本实施例在上述实施例的基础上增加测试绝缘子检测网络的操作。如图3所示，该方法包括：
步骤301、获取自动飞行器沿电力线路巡检时向电力塔架采集的多帧图像数据。
其中，图像数据的标签包括绝缘子所处的第一样本区域、绝缘子中伞裙破损区所处的第二样本区域。
步骤302、调用第一目标检测网络SSD从作为训练样本的图像数据中识别所述电力线路上的绝缘子所处的第一候选区域。
步骤303、在第一候选区域中提取局部数据，作为第二候选区域。
步骤304、将第二候选区域输入第二目标检测网络YOLO中，识别绝缘子中伞裙破损所处的第三候选区域。
步骤305、根据第一候选区域与第一样本区域之间的损失更新第一目标检测网络SSD。
步骤306、根据第三候选区域与第二样本区域之间的损失更新第二目标检测网络YOLO。
步骤307、调用第一目标检测网络SSD从作为测试样本的图像数据中识别电力线路上的绝缘子所处的第一参考区域。
在本实施例中，按照预设的第二比例(如1/5)从所有样本中提取用于测试绝缘子检测网络的样本，记为测试样本。
在本发明的一个实施例中，步骤307可以包括如下步骤：
步骤3071、将作为测试样本的图像数据输入第一目标检测网络SSD中进行处理，得到多个框定电力线路上连接部位的第一预测框。
步骤3072、对多个第一预测框执行过滤操作，得到用于框定电力线路上的绝缘子的第一预测框。
进一步地，步骤3072可以包括如下步骤：
步骤30721、滤除位于背景内的第一预测框。
步骤30722、若滤除完成，则在剩余的第一预测框中提取第一置信度最高的多个第一预测框。
步骤30723、对第一置信度最高的多个第一预测框执行非极大值抑制，得到用于框定电力线路上的绝缘子的第一预测框。
步骤3073、删除玻璃材质的绝缘子对应的第一预测框，保留瓷器材质或复合材质的绝缘子对应的第一预测框，作为第一参考区域。
步骤308、在第一参考区域中提取局部数据，作为第二参考区域。
在本发明的一个实施例中，步骤308可以包括如下步骤：
步骤3081、在第一参考区域中添加尺寸与第二目标检测网络YOLO适配的窗口。
步骤3082、沿预设的方向移动窗口、遍历第一参考区域，并提取位于窗口中的数据，作为第二参考区域。
步骤3083、若窗口超出第一参考区域的某个边界，则从边界反向添加窗口，并提取位于窗口中的数据，作为第二参考区域。
步骤309、将第二参考区域输入第二目标检测网络YOLO中，识别绝缘子中伞裙破损所处的第三参考区域。
在本发明的一个实施例中，步骤309可以包括如下步骤：
步骤3091、将第二候选区域输入第二目标检测网络YOLO中，使用三个不同尺寸的特征图检测处于绝缘子与电力塔杆连接部位的螺栓，得到第二预测框。
步骤3092、滤除第二置信度低于预设的阈值的第二预测框。
步骤3093、对剩余的第二预测框执行非极大值抑制，得到绝缘子中伞裙破损所处的第三参考区域。
在本实施例中，由于第一目标检测网络SSD、分割图像、第二目标检测网络YOLO与实施例一中的应用基本相似，所以描述的比较简单，相关之处参见实施例一的部分说明即可，本实施例在此不加以详述。
步骤310、计算第三参考区域相对于第二样本区域的准确率和召回率。
在本实施例中，测试的指标为准确率P和召回率R，那么，将第三参考区域与第二样本区域进行比较，计算准确率P和召回率R：
Figure BDA0003672544320000161
Figure BDA0003672544320000162
上述公式中：
正样本被正确预测为正样本(true positives，TP)记为STP；
负样本被正确预测为负样本(true negatives，TN)记为STN；
负样本被错误预测为正样本(false positives，FP)记为SFP；
正样本被错误预测为负样本(false negatives，FN)记为SFN。
步骤311、若准确率大于或等于第一阀值、且召回率大于或等于第二阀值，则确定第一目标检测网络SSD与第二目标检测网络YOLO通过测试。
如果准确率大于或等于第一阀值、且召回率大于或等于第二阀值，表示准确率与召回率均较高，可以确定第一目标检测网络SSD与第二目标检测网络YOLO通过测试，即，绝缘子检测网络通过测试，保证绝缘子检测网络的有效性，此时，可将绝缘子检测网络(即第一目标检测网络SSD与第二目标检测网络YOLO)的结构及其参数记录在数据库中，等待部署在线上运行。
实施例三
图4为本发明实施例一提供的一种绝缘子的损伤检测方法的流程图，本实施例可适用于分级检测电力线路上绝缘子的伞裙破损的情况，该方法可以由绝缘子的损伤检测装置来执行，该绝缘子的损伤检测装置可以采用硬件和/或软件的形式实现，该绝缘子的损伤检测装置可配置于电子设备中。如图1所示，该方法包括：
步骤401、加载绝缘子检测网络。
在本实施例中，绝缘子检测网络包括第一目标检测网络SSD、第二目标检测网络YOLO，绝缘子检测网络(即第一目标检测网络SSD与第二目标检测网络YOLO)可预先通过实施例一、实施例二中任一实施例中的方法训练。
在部署在线上运行时，将绝缘子检测网络(即第一目标检测网络SSD与第二目标检测网络YOLO)及其参数加载至内存运行。
步骤402、获取自动飞行器沿电力线路巡检时向电力塔架采集的多帧图像数据。
在本实施例中，可以按照维修、检修等针对配电网中电力线路的业务制定任务，其中，该任务包含了沿电力线路附近制定的路线。
将该任务发送至自动飞行器，自动飞行器可以按照既定的路线飞行，在飞行的过程中，调用自定飞行器中的摄像头，实时对飞行路线采集视频数据并传输回服务端。
步骤403、调用第一目标检测网络SSD从图像数据中识别电力线路上的绝缘子所处的第一目标区域。
在本发明的一个实施例中，步骤403可以包括如下步骤：
步骤4031、将图像数据输入第一目标检测网络SSD中进行处理，得到多个框定电力线路上连接部位的第一预测框。
步骤4032、对多个第一预测框执行过滤操作，得到用于框定电力线路上的绝缘子的第一预测框。
进一步地，步骤4032可以包括如下步骤：
步骤40321、滤除位于背景内的第一预测框。
步骤40322、若滤除完成，则在剩余的第一预测框中提取第一置信度最高的多个第一预测框。
步骤40323、对第一置信度最高的多个第一预测框执行非极大值抑制，得到用于框定电力线路上的绝缘子的第一预测框。
步骤4033、删除玻璃材质的绝缘子对应的第一预测框，保留瓷器材质或复合材质的绝缘子对应的第一预测框，作为第一目标区域。
步骤404、在第一目标区域中提取局部数据，作为第二目标区域。
在本发明的一个实施例中，步骤404可以包括如下步骤：
步骤4041、在第一目标区域中添加尺寸与第二目标检测网络YOLO适配的窗口。
步骤4042、沿预设的方向移动窗口、遍历第一目标区域，并提取位于窗口中的数据，作为第二目标区域。
步骤4043、若窗口超出第一目标区域的某个边界，则从边界反向添加窗口，并提取位于窗口中的数据，作为第二目标区域。
步骤405、将第二目标区域输入第二目标检测网络YOLO中，识别绝缘子中伞裙破损所处的第三目标区域。
在本发明的一个实施例中，步骤405可以包括如下步骤：
步骤4051、将第二候选区域输入第二目标检测网络YOLO中，使用三个不同尺寸的特征图检测处于绝缘子与电力塔杆连接部位的螺栓，得到第二预测框。
步骤4052、滤除第二置信度低于预设的阈值的第二预测框。
步骤4053、对剩余的第二预测框执行非极大值抑制，得到绝缘子中伞裙破损所处的第三目标区域。
在本实施例中，由于第一目标检测网络SSD、分割图像、第二目标检测网络YOLO与实施例一中的应用基本相似，所以描述的比较简单，相关之处参见实施例一的部分说明即可，本实施例在此不加以详述。
在本实施例中，加载绝缘子检测网络，绝缘子检测网络包括第一目标检测网络SSD、第二目标检测网络YOLO；获取自动飞行器沿电力线路巡检时向电力塔架采集的多帧图像数据；调用第一目标检测网络SSD从图像数据中识别电力线路上的绝缘子所处的第一目标区域；在第一目标区域中提取局部数据，作为第二目标区域；将第二目标区域输入第二目标检测网络YOLO中，识别绝缘子中伞裙破损所处的第三目标区域。应用绝缘子检测网络检测的过程为分级检测，第一级使用第一目标检测网络SSD检测出绝缘子所在的区域，第二级使用第二目标检测网络YOLO检测出伞裙破损的区域，有效提高伞裙破损的区域在待检测图像中的占比，有效缓解在多次下采样操作中极易出现信息腐蚀的现象，提高检测小尺寸的伞裙破损的精确度，减少漏检的现象。
由于定位出绝缘子所在的区域是检测伞裙破损的区域的前提，因此，第一级检测使用性能更强、准确率更高的第一目标检测网络SSD，而在精准定位出绝缘子所在的区域的情况下，第二目标检测网络YOLO在速度上更占优势，也能保证检测伞裙破损的区域的精确度，从而保证绝缘子检测网络的性能更优。
在第一目标检测网络SSD与第二目标检测网络YOLO之间对待检测图像进行分割，可以进一步收敛待检测图像的范围，提高伞裙破损的区域在待检测图像中的占比，不仅可以进一步缓解在多次下采样操作中极易出现信息腐蚀的现象，提高小尺寸的检测伞裙破损的精确度，减少漏检的现象，而且可以降低第二目标检测网络YOLO的运算量，进一步提高检测的速度。
实施例四
图5为本发明实施例四提供的一种绝缘子检测网络的训练装置的结构示意图。所述绝缘子检测网络包括第一目标检测网络SSD、第二目标检测网络YOLO，如图5所示，该装置包括：
图像数据获取模块501，用于获取自动飞行器沿电力线路巡检时向电力塔架采集的多帧图像数据，所述图像数据的标签包括绝缘子所处的第一样本区域、所述绝缘子中伞裙破损区所处的第二样本区域；
第一训练检测模块502，用于调用所述第一目标检测网络SSD从作为训练样本的所述图像数据中识别所述电力线路上的绝缘子所处的第一候选区域；
训练切割模块503，用于在所述第一候选区域中提取局部数据，作为第二候选区域；
第二训练检测模块504，用于将所述第二候选区域输入所述第二目标检测网络YOLO中，识别所述绝缘子中伞裙破损所处的第三候选区域；
第一网络训练模块505，用于根据所述第一候选区域与所述第一样本区域之间的损失更新所述第一目标检测网络SSD；
第二网络训练模块506，用于根据所述第三候选区域与所述第二样本区域之间的损失更新所述第二目标检测网络YOLO。
在本发明的一个实施例中，所述第一训练检测模块502还用于：
将作为训练样本的所述图像数据输入所述第一目标检测网络SSD中进行处理，得到多个框定所述电力线路上连接部位的第一预测框；
对多个所述第一预测框执行过滤操作，得到用于框定所述电力线路上的绝缘子的所述第一预测框；
删除玻璃材质的所述绝缘子对应的所述第一预测框，保留瓷器材质或复合材质的所述绝缘子对应的所述第一预测框，作为第一候选区域。
在本发明的一个实施例中，所述第一训练检测模块502还用于：
滤除位于背景内的所述第一预测框；
若滤除完成，则在剩余的所述第一预测框中提取第一置信度最高的多个所述第一预测框；
对所述第一置信度最高的多个所述第一预测框执行非极大值抑制，得到用于框定所述电力线路上的绝缘子的所述第一预测框。
在本发明的一个实施例中，所述训练切割模块503还用于：
在所述第一候选区域中添加尺寸与所述第二目标检测网络YOLO适配的窗口；
沿预设的方向移动所述窗口、遍历所述第一候选区域，并提取位于所述窗口中的数据，作为第二候选区域；
若所述窗口超出所述第一候选区域的某个边界，则从所述边界反向添加所述窗口，并提取位于所述窗口中的数据，作为第二候选区域。
在本发明的一个实施例中，所述第二训练检测模块504还用于：
将所述第二候选区域输入所述第二目标检测网络YOLO中，使用三个不同尺寸的特征图检测处于所述绝缘子与所述电力塔杆连接部位的螺栓，得到第二预测框；
滤除第二置信度低于预设的阈值的第二预测框；
对剩余的所述第二预测框执行非极大值抑制，得到所述绝缘子中伞裙破损所处的第三候选区域。
在本发明的一个实施例中，所述第一网络训练模块505还用于：
计算所述第一候选区域与所述第一样本框在对所述绝缘子分类的置信度上的交叉熵，作为第一置信度误差；
计算所述第一候选区域与所述第一样本区域之间的平滑后的第一范数距离，作为位置偏差；
将所述第一置信度误差与所述位置误差线性融合为第一目标损失值；
判断所述第一目标损失值是否连续M次停止下降；
若是，则确定所述第一目标检测网络SSD训练完成；
若否，则采用自适应矩估计优化器更新所述第一目标检测网络SSD；返回执行所述调用所述第一训练检测模块502。
在本发明的一个实施例中，所述第二网络训练模块506还用于：
对所述第三候选区域的坐标与所述第二样本区域的坐标之间的差值取平方，得到边框预测误差；
计算所述第三候选区域与所述第二样本区域在对所述绝缘子中伞裙破损分类的置信度上的交叉熵，作为第二置信度误差；
计算所述第三候选区域表征的所述绝缘子中伞裙破损的类别与所述第二样本区域表征的所述绝缘子中伞裙破损的类别的交叉熵，作为分类误差；
将所述边框预测误差、所述第二置信度误差与所述分类误差相加，得到第二目标损失值；
判断所述第二目标损失值是否连续N次停止下降；
若是，则确定所述第二目标检测网络YOLO训练完成；
若否，则采用自适应矩估计优化器更新所述第二目标检测网络YOLO；返回执行所述第二训练检测模块504。
在本发明的一个实施例中，还包括：
第一测试检测模块，用于调用所述第一目标检测网络SSD从作为测试样本的所述图像数据中识别所述电力线路上的绝缘子所处的第一参考区域；
测试切割模块，用于在所述第一参考区域中提取局部数据，作为第二参考区域；
第二测试检测模块，用于将所述第二参考区域输入所述第二目标检测网络YOLO中，识别所述绝缘子中伞裙破损所处的第三参考区域；
测试指标计算模块，用于计算所述第三参考区域相对于所述第二样本区域的准确率和召回率；
测试通过确定模块，用于若所述准确率大于或等于第一阀值、且所述召回率大于或等于第二阀值，则确定所述第一目标检测网络SSD与所述第二目标检测网络YOLO通过测试。
在本发明的一个实施例中，所述第一测试检测模块还用于：
将作为测试样本的所述图像数据输入所述第一目标检测网络SSD中进行处理，得到多个框定所述电力线路上连接部位的第一预测框；
对多个所述第一预测框执行过滤操作，得到用于框定所述电力线路上的绝缘子的所述第一预测框；
删除玻璃材质的所述绝缘子对应的所述第一预测框，保留瓷器材质或复合材质的所述绝缘子对应的所述第一预测框，作为第一参考区域。
在本发明的一个实施例中，所述第一测试检测模块还用于：
滤除位于背景内的所述第一预测框；
若滤除完成，则在剩余的所述第一预测框中提取第一置信度最高的多个所述第一预测框；
对所述第一置信度最高的多个所述第一预测框执行非极大值抑制，得到用于框定所述电力线路上的绝缘子的所述第一预测框。
在本发明的一个实施例中，所述测试切割模块还用于：
在所述第一参考区域中添加尺寸与所述第二目标检测网络YOLO适配的窗口；
沿预设的方向移动所述窗口、遍历所述第一参考区域，并提取位于所述窗口中的数据，作为第二参考区域；
若所述窗口超出所述第一参考区域的某个边界，则从所述边界反向添加所述窗口，并提取位于所述窗口中的数据，作为第二参考区域。
在本发明的一个实施例中，所述第二测试检测模块还用于：
将所述第二参考区域输入所述第二目标检测网络YOLO中，使用三个不同尺寸的特征图检测处于所述绝缘子与所述电力塔杆连接部位的螺栓，得到第二预测框；
滤除第二置信度低于预设的阈值的第二预测框；
对剩余的所述第二预测框执行非极大值抑制，得到所述绝缘子中伞裙破损所处的第三参考区域。
本发明实施例所提供的绝缘子检测网络的训练装置可执行本发明任意实施例所提供的绝缘子检测网络的训练方法，具备执行绝缘子检测网络的训练方法相应的功能模块和有益效果。
实施例五
图6为本发明实施例五提供的一种绝缘子的损伤检测装置的结构示意图。如图6所示，该装置包括：
检测网络加载模块601，用于加载绝缘子检测网络，所述绝缘子检测网络包括第一目标检测网络SSD、第二目标检测网络YOLO；
图像数据获取模块602，用于获取自动飞行器沿电力线路巡检时向电力塔架采集的多帧图像数据；
第一目标检测模块603，用于调用所述第一目标检测网络SSD从所述图像数据中识别所述电力线路上的绝缘子所处的第一目标区域；
目标切割模块604，用于在所述第一目标区域中提取局部数据，作为第二目标区域；
第二目标检测模块605，用于将所述第二目标区域输入所述第二目标检测网络YOLO中，识别所述绝缘子中伞裙破损所处的第三目标区域。
在本发明的一个实施例中，所述第一目标检测模块603还用于：
将所述图像数据输入所述第一目标检测网络SSD中进行处理，得到多个框定所述电力线路上连接部位的第一预测框；
对多个所述第一预测框执行过滤操作，得到用于框定所述电力线路上的绝缘子的所述第一预测框；
删除玻璃材质的所述绝缘子对应的所述第一预测框，保留瓷器材质或复合材质的所述绝缘子对应的所述第一预测框，作为第一目标区域。
在本发明的一个实施例中，所述第一目标检测模块603还用于：
滤除位于背景内的所述第一预测框；
若滤除完成，则在剩余的所述第一预测框中提取第一置信度最高的多个所述第一预测框；
对所述第一置信度最高的多个所述第一预测框执行非极大值抑制，得到用于框定所述电力线路上的绝缘子的所述第一预测框。
在本发明的一个实施例中，所述目标切割模块604还用于：
在所述第一目标区域中添加尺寸与所述第二目标检测网络YOLO适配的窗口；
沿预设的方向移动所述窗口、遍历所述第一目标区域，并提取位于所述窗口中的数据，作为第二目标区域；
若所述窗口超出所述第一目标区域的某个边界，则从所述边界反向添加所述窗口，并提取位于所述窗口中的数据，作为第二目标区域。
在本发明的一个实施例中，所述第二目标检测模块605还用于：
将所述第二目标区域输入所述第二目标检测网络YOLO中，使用三个不同尺寸的特征图检测处于所述绝缘子与所述电力塔杆连接部位的螺栓，得到第二预测框；
滤除第二置信度低于预设的阈值的第二预测框；
对剩余的所述第二预测框执行非极大值抑制，得到所述绝缘子中伞裙破损所处的第三目标区域。
本发明实施例所提供的绝缘子的损伤检测装置可执行本发明任意实施例所提供的绝缘子的损伤检测方法，具备执行绝缘子的损伤检测方法相应的功能模块和有益效果。
实施例六
图7示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图7所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如绝缘子检测网络的训练方法、绝缘子的损伤检测方法。
在一些实施例中，绝缘子检测网络的训练方法、绝缘子的损伤检测方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的绝缘子检测网络的训练方法、绝缘子的损伤检测方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行绝缘子检测网络的训练方法、绝缘子的损伤检测方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种绝缘子检测网络的训练方法，其特征在于，所述绝缘子检测网络包括第一目标检测网络SSD、第二目标检测网络YOLO，所述方法包括：
获取自动飞行器沿电力线路巡检时向电力塔架采集的多帧图像数据，所述图像数据的标签包括绝缘子所处的第一样本区域、所述绝缘子中伞裙破损区所处的第二样本区域；
调用所述第一目标检测网络SSD从作为训练样本的所述图像数据中识别所述电力线路上的绝缘子所处的第一候选区域；
在所述第一候选区域中提取局部数据，作为第二候选区域；
将所述第二候选区域输入所述第二目标检测网络YOLO中，识别所述绝缘子中伞裙破损所处的第三候选区域；
根据所述第一候选区域与所述第一样本区域之间的损失更新所述第一目标检测网络SSD；
根据所述第三候选区域与所述第二样本区域之间的损失更新所述第二目标检测网络YOLO。
2.根据权利要求1所述的方法，其特征在于，所述调用所述第一目标检测网络SSD从作为训练样本的所述图像数据中识别所述电力线路上的绝缘子所处的第一候选区域，包括：
将作为训练样本的所述图像数据输入所述第一目标检测网络SSD中进行处理，得到多个框定所述电力线路上连接部位的第一预测框；
对多个所述第一预测框执行过滤操作，得到用于框定所述电力线路上的绝缘子的所述第一预测框；
删除玻璃材质的所述绝缘子对应的所述第一预测框，保留瓷器材质或复合材质的所述绝缘子对应的所述第一预测框，作为第一候选区域。
3.根据权利要求2所述的方法，其特征在于，所述对多个所述第一预测框执行过滤操作，得到用于框定所述电力线路上的绝缘子的所述第一预测框，包括：
滤除位于背景内的所述第一预测框；
若滤除完成，则在剩余的所述第一预测框中提取第一置信度最高的多个所述第一预测框；
对所述第一置信度最高的多个所述第一预测框执行非极大值抑制，得到用于框定所述电力线路上的绝缘子的所述第一预测框。
4.根据权利要求1所述的方法，其特征在于，所述在所述第一候选区域中提取局部数据，作为第二候选区域，包括：
在所述第一候选区域中添加尺寸与所述第二目标检测网络YOLO适配的窗口；
沿预设的方向移动所述窗口、遍历所述第一候选区域，并提取位于所述窗口中的数据，作为第二候选区域；
若所述窗口超出所述第一候选区域的某个边界，则从所述边界反向添加所述窗口，并提取位于所述窗口中的数据，作为第二候选区域。
5.根据权利要求1所述的方法，其特征在于，所述将所述第二候选区域输入所述第二目标检测网络YOLO中，识别所述绝缘子中伞裙破损所处的第三候选区域，包括：
将所述第二候选区域输入所述第二目标检测网络YOLO中，使用三个不同尺寸的特征图检测处于所述绝缘子与所述电力塔杆连接部位的螺栓，得到第二预测框；
滤除第二置信度低于预设的阈值的第二预测框；
对剩余的所述第二预测框执行非极大值抑制，得到所述绝缘子中伞裙破损所处的第三候选区域。
6.根据权利要求1-5中任一项所述的方法，其特征在于，
所述根据所述第一候选区域与所述第一样本区域之间的损失更新所述第一目标检测网络SSD，包括：
计算所述第一候选区域与所述第一样本框在对所述绝缘子分类的置信度上的交叉熵，作为第一置信度误差；
计算所述第一候选区域与所述第一样本区域之间的平滑后的第一范数距离，作为位置偏差；
将所述第一置信度误差与所述位置误差线性融合为第一目标损失值；
判断所述第一目标损失值是否连续M次停止下降；
若是，则确定所述第一目标检测网络SSD训练完成；
若否，则采用自适应矩估计优化器更新所述第一目标检测网络SSD；返回执行所述调用所述第一目标检测网络SSD从所述图像数据中识别所述电力线路上的绝缘子所处的第一候选区域；
所述根据所述第三候选区域与所述第二样本区域之间的损失更新所述第二目标检测网络YOLO，包括：
对所述第三候选区域的坐标与所述第二样本区域的坐标之间的差值取平方，得到边框预测误差；
计算所述第三候选区域与所述第二样本区域在对所述绝缘子中伞裙破损分类的置信度上的交叉熵，作为第二置信度误差；
计算所述第三候选区域表征的所述绝缘子中伞裙破损的类别与所述第二样本区域表征的所述绝缘子中伞裙破损的类别的交叉熵，作为分类误差；
将所述边框预测误差、所述第二置信度误差与所述分类误差相加，得到第二目标损失值；
判断所述第二目标损失值是否连续N次停止下降；
若是，则确定所述第二目标检测网络YOLO训练完成；
若否，则采用自适应矩估计优化器更新所述第二目标检测网络YOLO；返回执行所述将所述第二候选区域输入所述第二目标检测网络YOLO中，识别所述绝缘子中伞裙破损所处的第三候选区域。
7.根据权利要求1-6任一项所述的方法，其特征在于，还包括：
调用所述第一目标检测网络SSD从作为测试样本的所述图像数据中识别所述电力线路上的绝缘子所处的第一参考区域；
在所述第一参考区域中提取局部数据，作为第二参考区域；
将所述第二参考区域输入所述第二目标检测网络YOLO中，识别所述绝缘子中伞裙破损所处的第三参考区域；
计算所述第三参考区域相对于所述第二样本区域的准确率和召回率；
若所述准确率大于或等于第一阀值、且所述召回率大于或等于第二阀值，则确定所述第一目标检测网络SSD与所述第二目标检测网络YOLO通过测试。
8.一种绝缘子的损伤检测方法，其特征在于，包括：
加载绝缘子检测网络，所述绝缘子检测网络包括第一目标检测网络SSD、第二目标检测网络YOLO；
获取自动飞行器沿电力线路巡检时向电力塔架采集的多帧图像数据；
调用所述第一目标检测网络SSD从所述图像数据中识别所述电力线路上的绝缘子所处的第一目标区域；
在所述第一目标区域中提取局部数据，作为第二目标区域；
将所述第二目标区域输入所述第二目标检测网络YOLO中，识别所述绝缘子中伞裙破损所处的第三目标区域。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的绝缘子检测网络的训练方法或者权利要求8所述的绝缘子的损伤检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使处理器执行时实现权利要求1-7中任一项所述的绝缘子检测网络的训练方法或者权利要求8所述的绝缘子的损伤检测方法。
CN202210613027.2A 2022-05-31 2022-05-31 绝缘子检测网络的训练及其检测方法、设备及存储介质 Pending CN114841993A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210613027.2A CN114841993A (zh) 2022-05-31 2022-05-31 绝缘子检测网络的训练及其检测方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210613027.2A CN114841993A (zh) 2022-05-31 2022-05-31 绝缘子检测网络的训练及其检测方法、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114841993A true CN114841993A (zh) 2022-08-02

Family

ID=82571442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210613027.2A Pending CN114841993A (zh) 2022-05-31 2022-05-31 绝缘子检测网络的训练及其检测方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114841993A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109784198A (zh) * 2018-12-21 2019-05-21 北方工业大学 机场遥感图像飞机辨识方法及装置
CN110782443A (zh) * 2019-10-23 2020-02-11 四川大学 一种铁路轨道缺陷检测方法和系统
CN111563446A (zh) * 2020-04-30 2020-08-21 郑州轻工业大学 一种基于数字孪生的人-机交互安全预警与控制方法
CN111914720A (zh) * 2020-07-27 2020-11-10 长江大学 一种输电线路绝缘子爆裂识别方法及装置
CN112581445A (zh) * 2020-12-15 2021-03-30 中国电力科学研究院有限公司 一种输电线路螺栓的检测方法、装置、存储介质及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109784198A (zh) * 2018-12-21 2019-05-21 北方工业大学 机场遥感图像飞机辨识方法及装置
CN110782443A (zh) * 2019-10-23 2020-02-11 四川大学 一种铁路轨道缺陷检测方法和系统
CN111563446A (zh) * 2020-04-30 2020-08-21 郑州轻工业大学 一种基于数字孪生的人-机交互安全预警与控制方法
CN111914720A (zh) * 2020-07-27 2020-11-10 长江大学 一种输电线路绝缘子爆裂识别方法及装置
CN112581445A (zh) * 2020-12-15 2021-03-30 中国电力科学研究院有限公司 一种输电线路螺栓的检测方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN112966587B (zh) 目标检测模型的训练方法、目标检测方法及相关设备
CN113361578B (zh) 图像处理模型的训练方法、装置、电子设备及存储介质
CN112633276B (zh) 训练方法、识别方法、装置、设备、介质
CN113177968A (zh) 目标跟踪方法、装置、电子设备及存储介质
CN113065614B (zh) 分类模型的训练方法和对目标对象进行分类的方法
CN112597837A (zh) 图像检测方法、装置、设备、存储介质和计算机程序产品
CN114419035B (zh) 产品识别方法、模型训练方法、装置和电子设备
CN113378969B (zh) 一种目标检测结果的融合方法、装置、设备及介质
CN113947188A (zh) 目标检测网络的训练方法和车辆检测方法
CN115439716A (zh) 配网绝缘子老化检测模型的训练和检测方法、装置及设备
CN115376130A (zh) 电力施工现场识别模型的生成方法、装置、设备及介质
CN113205041A (zh) 结构化信息提取方法、装置、设备和存储介质
CN112967248A (zh) 生成缺陷图像样本的方法、装置、介质及程序产品
CN115471476A (zh) 一种部件缺陷检测方法、装置、设备及介质
CN116021981A (zh) 配电网线路覆冰故障预测方法、装置、设备及存储介质
CN114841993A (zh) 绝缘子检测网络的训练及其检测方法、设备及存储介质
Ying et al. An improved defect detection method for substation equipment
CN115951344A (zh) 雷达与相机的数据融合方法、装置、电子设备及存储介质
CN116012363A (zh) 一种变电站刀闸开合识别方法、装置、设备及存储介质
CN115359322A (zh) 一种目标检测模型训练方法、装置、设备和存储介质
CN110688919A (zh) 一种智能巡线故障识别方法
CN113012439B (zh) 车辆检测方法、装置、设备和存储介质
CN115497113B (zh) 信息生成方法、装置、电子设备以及存储介质
CN116167978A (zh) 一种模型更新方法、装置、电子设备及存储介质
CN116740451A (zh) 一种电力巡检图像检测方法、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination