CN113298789A - 绝缘子缺陷检测方法、系统、电子设备及可读存储介质 - Google Patents
绝缘子缺陷检测方法、系统、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN113298789A CN113298789A CN202110592644.4A CN202110592644A CN113298789A CN 113298789 A CN113298789 A CN 113298789A CN 202110592644 A CN202110592644 A CN 202110592644A CN 113298789 A CN113298789 A CN 113298789A
- Authority
- CN
- China
- Prior art keywords
- insulator
- defect detection
- image
- power grid
- insulator defect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000012212 insulator Substances 0.000 title claims abstract description 166
- 238000001514 detection method Methods 0.000 title claims abstract description 125
- 230000007547 defect Effects 0.000 title claims abstract description 106
- 238000003860 storage Methods 0.000 title claims abstract description 10
- 238000000034 method Methods 0.000 claims abstract description 25
- 230000011218 segmentation Effects 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 26
- 238000010586 diagram Methods 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 15
- 230000007246 mechanism Effects 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 3
- 230000003321 amplification Effects 0.000 claims description 2
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 2
- 238000002360 preparation method Methods 0.000 claims 1
- 230000016776 visual perception Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000006872 improvement Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000002950 deficient Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 101001013832 Homo sapiens Mitochondrial peptide methionine sulfoxide reductase Proteins 0.000 description 1
- 102100031767 Mitochondrial peptide methionine sulfoxide reductase Human genes 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010292 electrical insulation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000011423 initialization method Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种绝缘子缺陷检测方法、系统、电子设备及可读存储介质，所述绝缘子缺陷检测方法，包括以下步骤：将被检测电网航拍图像输入预训练好的绝缘子缺陷检测模型中，通过预训练好的绝缘子缺陷检测模型输出被检测电网航拍图像的绝缘子缺陷检测结果；绝缘子缺陷检测模型包括：绝缘子检测和前景分割模块，用于根据输入的电网航拍图像，获取只包含绝缘子的区域图像；绝缘子缺陷检测模块，用于根据获取的只包含绝缘子的区域图像，利用基于多头自注意力的图像分类网络判断绝缘子是否有缺陷并输出绝缘子缺陷检测结果。本发明能够完成电网航拍图像绝缘子缺陷检测这一分类任务，能够具体解决现有技术中模型精度的技术问题。
Description
技术领域
本发明属于图像物体检测技术领域，涉及电网场景下绝缘子缺陷检测领域，特别涉及一种绝缘子缺陷检测方法、系统、电子设备及可读存储介质。
背景技术
随着智能电网的快速发展，电网系统安全性的监控和维护变得越来越重要。在电网的巡检设备中，绝缘子的用量大、种类多，主要起到电气绝缘与机械固定的作用，同时属于故障多发元件，因此绝缘子的缺陷检测是维持电网安全性的关键环节，需要重点关注。得益于无人机智能巡检与计算机视觉技术的蓬勃发展，基于航拍图像的缺陷检测已经成为现实。
目前，由于电网航拍图像数据集的缺乏，基于航拍数据的绝缘子缺陷检测模型的研究并没有大量展开；而且，由于绝缘子缺陷的图像特征不明显，缺陷发生的位置不确定，增加了缺陷检测的难度。从整体上讲，现有的缺陷检测方法分为传统方法和深度卷积神经网络方法。传统方法的性能受限于传统特征抽取方法进展较为缓慢。近年来，随着深度学习在许多视觉任务上取得了不错的成果，基于深度卷积神经网络的缺陷检测的方法的提出促进了这一领域的发展，并在性能上超越了传统方法。此外，基于多头自注意力机制(Multi-head Self-attention)的图像分类与目标检测等计算机视觉任务在近两年也获得了突破性的进展。
然而，不同的数据适用的缺陷检测方法也不尽相同，针对电网场景下的无人机航拍图像，亟需一种新的电网场景下基于视觉感知的无人机航拍图像绝缘子缺陷检测方法。
发明内容
本发明的目的在于提供一种绝缘子缺陷检测方法、系统、电子设备及可读存储介质，以解决上述存在的一个或多个技术问题。本发明能够完成电网航拍图像绝缘子缺陷检测这一分类任务，能够具体解决现有技术中模型精度的技术问题。
为达到上述目的，本发明采用以下技术方案：
本发明的一种绝缘子缺陷检测方法，包括以下步骤：
将被检测电网航拍图像输入预训练好的绝缘子缺陷检测模型中，通过所述预训练好的绝缘子缺陷检测模型输出所述被检测电网航拍图像的绝缘子缺陷检测结果；
所述绝缘子缺陷检测模型包括：
绝缘子检测和前景分割模块，用于根据输入的电网航拍图像，获取只包含绝缘子的区域图像；
绝缘子缺陷检测模块，用于根据获取的只包含绝缘子的区域图像，利用基于多头自注意力的图像分类网络判断绝缘子是否有缺陷并输出绝缘子缺陷检测结果。
本发明的进一步改进在于，所述绝缘子检测和前景分割模块中，根据输入的电网航拍图像，获取只包含绝缘子的区域图像的步骤具体包括：
根据输入的电网航拍图像，利用基于多头自注意力的编码解码模型对绝缘子进行目标检测，获得绝缘子检测结果；
根据所述绝缘子检测结果，对绝缘子进行前景分割，获得电网航拍图像中只包含绝缘子的区域图像。
本发明的进一步改进在于，所述根据输入的电网航拍图像，利用基于多头自注意力的编码解码模型对绝缘子进行目标检测，获得绝缘子检测结果的步骤具体包括：
将获得的航拍图像帧送入深度卷积神经网络来提取图像的特征，获得特征图；
将获得的特征图分为多个固定尺寸的子特征图，并将其一维平展为一个线性子特征图序列；将子特征图序列与子特征图在原特征图中的位置编码形成完整的线性输入序列；
利用多头自注意力模块和前馈网络模块，将所述线性输入序列进行特征提取，使得特征包含帧内上下文的语义和位置信息，获得处理后的特征；
采用自注意力与注意力机制，将所述处理后的特征，通过多个交替的多头自注意力模块、多头注意力模块和前馈网络模块结合输出位置编码进行解码，输出与查询对象同维度的特征结果；
将所述特征结果输入一个预测前馈网络，生成最终的绝缘子类标签和边界框集合，获得航拍图像帧中的绝缘子检测结果。
本发明的进一步改进在于，所述将获得的航拍图像帧送入深度卷积神经网络来提取图像的特征，获得特征图中，
所述深度卷积神经网络采用ResNet作为特征抽取的主干网络，将ResNet中Conv3～Conv5的常规3×3卷积用可变形卷积来替代。
本发明的进一步改进在于，所述绝缘子缺陷检测模块中，根据获取的只包含绝缘子的区域图像，利用基于多头自注意力的图像分类网络判断绝缘子是否有缺陷并输出绝缘子缺陷检测结果：
(1)将获取的只包含绝缘子的区域图像分为多个固定尺寸的子图，并将其一维平展为一个线性子图序列；
(2)将步骤(1)获得的线性子图序列，结合子图在绝缘子图像中的位置编码以及一个可学习的分类标志位形成完整的线性输入序列；
(3)采用多头自注意力机制，将步骤(2)中得到的线性输入序列进行特征提取，使得特征包含帧内上下文的语义和位置信息，获得处理后的特征以及学习后的分类标志位，并根据分类标志位进行分类的最终输出，获得绝缘子缺陷检测结果。
本发明的进一步改进在于，所述预训练好的绝缘子缺陷检测模型的获取步骤包括：
基于给定的标注过的电网航拍图像数据集，构建获得训练数据集；
基于所述训练数据集，使用批量梯度下降算法对模型进行训练优化，获得训练好的绝缘子缺陷检测模型；其中，特征提取的初始学习率为1e-5，编码解码模型初始学习率设置为1e-4，权重衰减率为1e-4；梯度更新方式利用带动量的梯度下降算法，动量值设置为0.9。
本发明的进一步改进在于，所述基于给定的标注过的电网航拍图像数据集，构建获得训练数据集的具体步骤包括：
获取标注过的电网航拍图像数据集，构建获得初始训练数据集；
基于所述初始训练数据集，通过随机水平镜像、对输入图像添加随机扰动、噪声方式进行数据增广，构建获得最终的训练数据集。
本发明的一种绝缘子缺陷检测系统，包括：
输入和检测模块，用于将被检测电网航拍图像输入预训练好的绝缘子缺陷检测模型中，通过所述预训练好的绝缘子缺陷检测模型输出所述被检测电网航拍图像的绝缘子缺陷检测结果；
所述绝缘子缺陷检测模型包括：
绝缘子检测和前景分割模块，用于根据输入的电网航拍图像，获取只包含绝缘子的区域图像；
绝缘子缺陷检测模块，用于根据获取的只包含绝缘子的区域图像，利用基于多头自注意力的图像分类网络判断绝缘子是否有缺陷并输出绝缘子缺陷检测结果。
本发明的一种电子设备，包括：处理器；存储器，用于存储计算机程序指令；所述计算机程序指令由所述处理器加载并运行时，所述处理器执行本发明任一项上述的绝缘子缺陷检测方法。
本发明的一种可读存储介质，所述可读存储介质存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器加载并运行时，所述处理器执行本发明任一项上述的绝缘子缺陷检测方法。
与现有技术相比，本发明具有以下有益效果：
本发明提供的电网场景下基于视觉感知的无人机航拍图像绝缘子缺陷检测方法，以电网航拍图像数据作为输入；对于网络结构，在多头自注意力编码-解码方法的基础上，更注重于提升目标的检测精度与检测效率。
本发明在多头自注意力的框架下，设计并构造无人机航拍图像绝缘子缺陷检测模型中的各个子模块，并且将所有模块统一联合，形成一个统一的基于多头自注意力网络的空间编码译码结构，本发明称之为“自注意力叠加模型”，整体结构可以进行端到端的训练，获得电网场景下无人机航拍图像的绝缘子缺陷检测模型。对于航拍图像中的复杂场景，本发明通过基于自注意力的编码-解码模型对远程上下文关系进行建模从而增强高级特征。在缺陷检测方面，本发明再次利用基于自注意力的编码-解码模型对绝缘子缺陷与否进行分类。
对于无人机航拍图像来说，一幅图像中的绝缘子个数通常较少(多数在5以内)；针对一张图中需检测目标较少的数据特点，本发明在解码器环节中采用自注意力进行本身序列信息的关联度的提取，并将编码器输出的特征序列作为条件信息在解码器上对随机初始化的M个查询对象作为解码器的输入进行学习训练，该方法采用集合预测避免重复检测。相对于传统检测算法的滑动窗口模式或基于两阶段的目标检测方法的候选框模式来说，本发明不需要使用非极大值抑制等后处理过程，也无需手工设置候选框的大小及比例等特征，提高了检测效率。
对电网有电气隔离与机械固定作用的绝缘子，由于其形态通常不固定且差异性较大，本发明在特征抽取环节中采用调制可变形卷积运算进行具备强鲁棒性的特征学习。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面对实施例或现有技术描述中所需要使用的附图做简单的介绍；显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的一种电网场景下基于视觉感知的无人机航拍图像绝缘子缺陷检测方法的流程示意框图。
具体实施方式
为使本发明实施例的目的、技术效果及技术方案更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例是本发明一部分实施例。基于本发明公开的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的其它实施例，都应属于本发明保护的范围。
本发明实施例的一种电网场景下基于视觉感知的无人机航拍图像绝缘子缺陷检测方法，基于电网场景下无人机航拍图像数据和缺陷检测模型完成电网场景下无人机航拍图像的绝缘子缺陷检测。
本发明实施例的上述方法，能够完成电网航拍图像绝缘子缺陷检测这一分类任务，能够具体解决现有技术中模型精度的技术问题。
请参阅图1，本发明实施例中，绝缘子缺陷检测模型的构建步骤包括：
步骤1，构建数据集。构建电网场景下无人机航拍图像数据集。
步骤2，绝缘子检测。基于多头自注意力的编码解码模型对绝缘子进行目标检测，获得检测结果。
步骤3，绝缘子前景分割。根据步骤2获得的检测结果，对绝缘子进行前景分割，获得只包含绝缘子的区域图像。
步骤4，绝缘子缺陷检测。利用基于多头自注意力的图像分类网络(编码解码网络)判断绝缘子是否有缺陷。
步骤5，模型整合。将上述步骤2至4形成的模块整合在一起，形成一个电网场景下基于视觉感知的无人机航拍图像绝缘子缺陷检测模型。
本发明实施例中，步骤1具体包括：步骤1.1，基于给定的标注过的无人机航拍图像数据集构建获得训练数据集。
本发明实施例中，步骤2具体包括：
步骤2.1，特征获取。将获得的航拍图像帧送入深度卷积神经网络来提取图像的特征，获得特征图；
步骤2.2，特征展开。将步骤2.1获得的特征图分为多个固定尺寸的子特征图，并将其一维平展为一个线性子特征图序列；将子特征图序列与子特征图在原特征图中的位置编码形成完整的线性输入序列；
步骤2.3，特征编码。利用多头自注意力模块和前馈网络模块，将步骤2.2中得到的线性输入序列进行特征提取，使得特征包含帧内上下文的语义和位置信息，获得处理后的特征；
步骤2.4，特征解码。采用自注意力与注意力机制，将步骤2.3中得到的特征，通过多个交替的多头自注意力模块、多头注意力模块和前馈网络模块结合输出位置编码进行解码，输出与查询对象同维度的特征结果；
步骤2.5，预测输出。将所述特征结果输入一个预测前馈网络，生成最终的绝缘子类标签和边界框集合，获得图像中绝缘子缺陷的检测结果。
本发明实施例中，步骤4具体包括：
步骤4.1，将步骤3获得的绝缘子区域图像分为多个固定尺寸的子图，并将其一维平展为一个线性子图序列；
步骤4.2，基于步骤4.1获得的线性子图序列，结合子图在绝缘子图像中的位置编码以及一个可学习的分类标志位形成完整的线性输入序列；
步骤4.3，采用多头自注意力机制，将步骤4.2中得到的线性输入序列进行特征提取，使得特征包含帧内上下文的语义和位置信息，获得处理后的特征以及学习后的分类标志位，并根据分类标志位进行分类的最终输出。
本发明提供的电网场景下基于视觉感知的无人机航拍图像绝缘子缺陷检测模型，以电网航拍图像数据作为输入，对于网络结构，在多头自注意力编码-解码方法的基础上，更注重于提升目标的检测精度。对电网有电气隔离与机械固定作用的绝缘子，由于其形态通常不固定且差异性较大，本发明在特征抽取环节中采用调制可变形卷积运算进行具备强鲁棒性的特征学习。对于航拍图像中的复杂场景，本发明通过基于自注意力的编码-解码模型对远程上下文关系进行建模从而增强高级特征。在缺陷检测方面，本发明再次利用基于自注意力的编码-解码模型对绝缘子缺陷与否进行分类。综上，本发明在多头自注意力的框架下，设计并构造无人机航拍图像绝缘子缺陷检测模型中的各个子模块，并且将所有模块统一联合，形成一个统一的基于多头自注意力网络的空间编码译码结构，本发明称之为“自注意力叠加模型”，整体结构可以进行端到端的训练，获得电网场景下无人机航拍图像的绝缘子缺陷检测模型。
请参阅图1，本发明实施例的一种电网场景下基于视觉感知的无人机航拍图像绝缘子缺陷检测方法，具体步骤详述如下：
步骤S1：构建数据集。数据集一般选用逐帧标注的电网航拍图像自制数据集。基于给定的标注过的航拍图像数据建立训练数据集。由于电网场景下的绝缘子缺陷数据稀缺，在模型训练之前，可以通过随机水平镜像、对输入图像添加随机扰动、噪声等方式进行数据增广，获取更加丰富的训练数据。
步骤S2：绝缘子检测。将数据集中的图像帧进行基于绝缘子的目标检测。
S21特征获取。将获得的航拍图像帧送入深度卷积神经网络来提取图像的特征，获得特征图；本发明实施例中，选取一种残差网络(Residual Net，简称ResNet)作为特征抽取的主干网络进行模型预训练，并将ResNet中Conv3～Conv5的常规3×3卷积用可变形卷积来替代。本步骤为后续特征编码解码做准备。输入帧的尺寸ximg∈RH×W×C，其中H为视频帧图像的高度，W为视频帧图像的宽度，C为视频帧图像的通道数。
S22特征展开。将获得的特征图分为多个固定尺寸的子特征图，并将其一维平展为一个线性子特征图序列。将子特征图序列与子特征图在原特征图中的位置编码形成完整的线性输入序列；将获得的特征图经过1×1的卷积进行降维，将原通道数由C0降为dmodel(dmodel小于C0，如C0＝2048，dmodel＝512)。处理后的特征图尺寸为
将前述特征图一维平展为一个线性子图序列，并在其每一个子图中增加与序列维度一致的位置编码。
S23特征编码。利用多头自注意力模块和前馈网络模块，将步骤S22中得到的线性输入序列进行特征提取，使得特征包含帧内上下文的语义和位置信息，获得处理后的特征。具体地，利用多头自注意力模块将步骤S22得到的输入序列进行本身序列信息关联度以及位置信息的特征提取；利用残差连接(residual connection)来保留原始信息流，并进行层归一化(layer normalization)；其中，多头注意力模块MultiHead(Q，K，V)＝Concat(head1，...，headh)WO，其中，h代表多头自注意力中的head的个数，也就是自注意力的层数。
S24特征解码。采用自注意力与注意力机制，将步骤S23中得到的特征，通过多个交替的多头自注意力模块、多头注意力模块和前馈网络模块结合输出位置编码进行解码，输出与查询对象同维度的特征结果；解码器里面采用自注意力进行本身序列信息的关联度的提取，将编码器输出的特征序列作为条件信息在解码器上对随机初始化的M个查询对象作为解码器的输入进行学习训练(其中M为超参，应设置为远大于一张图片中目标的个数，典型值为100)；交替使用注意力模块和前馈网络模块，在每个注意力模块和前馈网络模块之后利用残差连接(residual connection)来保留原始信息流，并进行层归一化(layernormalization)。并将查询对象添加到每个注意力层的输入中进行学习训练；将查询对象与特征之间的成对关系进行学习训练，最终得到与查询对象同维的结果，即学习完成的M个查询对象；
S25预测输出。将处理后的特征输入一个预测前馈网络，生成最终的绝缘子类标签和边界框集合，获得图像中绝缘子的检测结果(即获得该图像中绝缘子的坐标/位置)。
步骤S3，绝缘子前景分割。根据绝缘子的检测结果，将绝缘子前景区域分割出来。
步骤S4，绝缘子缺陷检测。使用基于多头自注意力的图像分类网络判断绝缘子是否有缺陷，具体包括：
S41将绝缘子区域图分为多各固定尺寸的子图，并将其一维平展为一个线性子图序列；原图中，每张图的尺寸为：x∈RH×W×C，其中H为视频帧图像的高度，W为视频帧图像的宽度，C为视频帧图像的通道数。在展开为一维线性子图序列后，xs∈RN×(PxP×C)，其中xs表示子图序列。P为子图的宽和高，
为子图的数量。
S42在步骤S41得到序列的每一个子图中增加位置编码，得到新的序列，并将该序列增加一个可学习的分类标志位得到完整的输入序列。
S43采用多头自注意力机制，将步骤S42中得到的线性输入序列进行特征提取，使得特征包含帧内上下文的语义和位置信息，获得处理后的特征以及学习后的分类标志位，并根据分类标志位进行分类的最终输出；具体地：先利用多头自注意力模块将步骤S42得到的输入序列进行交替L次(L为超参，典型值为6)使用多头自注意力模块和多层感知模块进行特征提取；在多头自注意力模块中，z′l＝MSA(LN(zl-1))+zl-1，其中MSA代表多头自注意力操作，LN代表正则化，z′l表示提取后的网络，+zl-1操作表示使用残差网络。多层感知模块是一个前馈神经网络，如全连接网络。
S44将经过步骤S43学习得到的分类标志位进行分类的最终输出。
步骤S5：模型整合。联合上述各个子模块，形成电网场景下基于视觉感知的无人机航拍图像绝缘子缺陷检测模型；通过对编码译码结构，特征提取模块以及自注意力模块进行端到端训练。在具体实现中，首先联合模型，将上述各个步骤中涉及到的各个模块链接起来，构建出基于Detection Transformer(DETR)和Vision Transformer(ViT)的联合框架，统一训练参数模型。在具体实现中，对于编码译码模型的编码部分的各层权重，可以通过加载在静态图像数据集上预训练好的模型进行参数初始化。多头自注意力模块，以及外形多变的物体特征提取及最终的输出模块通过设定通用的初始化策略为参数进行赋值，例如Xavier初始化、MSRA初始化等。本发明采用Xavier初始化方法。在模型训练过程中，模型优化使用批量梯度下降算法。特征提取的初始学习率为1e-5，自注意力编码-解码模型初始学习率设置为1e-4，权重衰减率为1e-4。梯度更新方式利用带动量的梯度下降算法，动量值设置为0.9。利用多卡GPU工作站或计算集群等设备进行并行计算，加速模型的训练过程；利用训练好的模型，通过给定待检测视频帧，可以实现电网场景下的绝缘子缺陷检测。
综上，本发明实施例通过对航拍图像绝缘子缺陷检测方法的调研，以及基于多头自注意力编码解码网络对目标检测以及图像分类的应用，公开了一种保证绝缘子缺陷检测准确性的检测方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。
Claims (10)
1.一种绝缘子缺陷检测方法，其特征在于，包括以下步骤：
将被检测电网航拍图像输入预训练好的绝缘子缺陷检测模型中，通过所述预训练好的绝缘子缺陷检测模型输出所述被检测电网航拍图像的绝缘子缺陷检测结果；
所述绝缘子缺陷检测模型包括：
绝缘子检测和前景分割模块，用于根据输入的电网航拍图像，获取只包含绝缘子的区域图像；
绝缘子缺陷检测模块，用于根据获取的只包含绝缘子的区域图像，利用基于多头自注意力的图像分类网络判断绝缘子是否有缺陷并输出绝缘子缺陷检测结果。
2.根据权利要求1所述的一种绝缘子缺陷检测方法，其特征在于，所述绝缘子检测和前景分割模块中，根据输入的电网航拍图像，获取只包含绝缘子的区域图像的步骤具体包括：
根据输入的电网航拍图像，利用基于多头自注意力的编码解码模型对绝缘子进行目标检测，获得绝缘子检测结果；
根据所述绝缘子检测结果，对绝缘子进行前景分割，获得电网航拍图像中只包含绝缘子的区域图像。
3.根据权利要求2所述的一种绝缘子缺陷检测方法，其特征在于，所述根据输入的电网航拍图像，利用基于多头自注意力的编码解码模型对绝缘子进行目标检测，获得绝缘子检测结果的步骤具体包括：
将获得的航拍图像帧送入深度卷积神经网络来提取图像的特征，获得特征图；
将获得的特征图分为多个固定尺寸的子特征图，并将其一维平展为一个线性子特征图序列；将子特征图序列与子特征图在原特征图中的位置编码形成完整的线性输入序列；
利用多头自注意力模块和前馈网络模块，将所述线性输入序列进行特征提取，使得特征包含帧内上下文的语义和位置信息，获得处理后的特征；
采用自注意力与注意力机制，将所述处理后的特征，通过多个交替的多头自注意力模块、多头注意力模块和前馈网络模块结合输出位置编码进行解码，输出与查询对象同维度的特征结果；
将所述特征结果输入一个预测前馈网络，生成最终的绝缘子类标签和边界框集合，获得航拍图像帧中的绝缘子检测结果。
4.根据权利要求3所述的一种绝缘子缺陷检测方法，其特征在于，所述将获得的航拍图像帧送入深度卷积神经网络来提取图像的特征，获得特征图中，
所述深度卷积神经网络采用ResNet作为特征抽取的主干网络，将ResNet中Conv3～Conv5的常规3×3卷积用可变形卷积来替代。
5.根据权利要求3所述的一种绝缘子缺陷检测方法，其特征在于，所述绝缘子缺陷检测模块中，根据获取的只包含绝缘子的区域图像，利用基于多头自注意力的图像分类网络判断绝缘子是否有缺陷并输出绝缘子缺陷检测结果：
(1)将获取的只包含绝缘子的区域图像分为多个固定尺寸的子图，并将其一维平展为一个线性子图序列；
(2)将步骤(1)获得的线性子图序列，结合子图在绝缘子图像中的位置编码以及一个可学习的分类标志位形成完整的线性输入序列；
(3)采用多头自注意力机制，将步骤(2)中得到的线性输入序列进行特征提取，使得特征包含帧内上下文的语义和位置信息，获得处理后的特征以及学习后的分类标志位，并根据分类标志位进行分类的最终输出，获得绝缘子缺陷检测结果。
6.根据权利要求5所述的一种绝缘子缺陷检测方法，其特征在于，所述预训练好的绝缘子缺陷检测模型的获取步骤包括：
基于给定的标注过的电网航拍图像数据集，构建获得训练数据集；
基于所述训练数据集，使用批量梯度下降算法对模型进行训练优化，获得训练好的绝缘子缺陷检测模型；其中，特征提取的初始学习率为1e-5，编码解码模型初始学习率设置为1e-4，权重衰减率为1e-4；梯度更新方式利用带动量的梯度下降算法，动量值设置为0.9。
7.根据权利要求6所述的一种绝缘子缺陷检测方法，其特征在于，所述基于给定的标注过的电网航拍图像数据集，构建获得训练数据集的具体步骤包括：
获取标注过的电网航拍图像数据集，构建获得初始训练数据集；
基于所述初始训练数据集，通过随机水平镜像、对输入图像添加随机扰动、噪声方式进行数据增广，构建获得最终的训练数据集。
8.一种绝缘子缺陷检测系统，其特征在于，包括：
输入和检测模块，用于将被检测电网航拍图像输入预训练好的绝缘子缺陷检测模型中，通过所述预训练好的绝缘子缺陷检测模型输出所述被检测电网航拍图像的绝缘子缺陷检测结果；
所述绝缘子缺陷检测模型包括：
绝缘子检测和前景分割模块，用于根据输入的电网航拍图像，获取只包含绝缘子的区域图像；
绝缘子缺陷检测模块，用于根据获取的只包含绝缘子的区域图像，利用基于多头自注意力的图像分类网络判断绝缘子是否有缺陷并输出绝缘子缺陷检测结果。
9.一种电子设备，包括：处理器；存储器，用于存储计算机程序指令；其特征在于，
所述计算机程序指令由所述处理器加载并运行时，所述处理器执行权利要求1至7中任一项所述的绝缘子缺陷检测方法。
10.一种可读存储介质，所述可读存储介质存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器加载并运行时，所述处理器执行权利要求1至7中任一项所述的绝缘子缺陷检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110592644.4A CN113298789A (zh) | 2021-05-28 | 2021-05-28 | 绝缘子缺陷检测方法、系统、电子设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110592644.4A CN113298789A (zh) | 2021-05-28 | 2021-05-28 | 绝缘子缺陷检测方法、系统、电子设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113298789A true CN113298789A (zh) | 2021-08-24 |
Family
ID=77325978
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110592644.4A Pending CN113298789A (zh) | 2021-05-28 | 2021-05-28 | 绝缘子缺陷检测方法、系统、电子设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113298789A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113869290A (zh) * | 2021-12-01 | 2021-12-31 | 中化学交通建设集团有限公司 | 一种基于人工智能技术的消防通道占用识别方法和装置 |
| CN114359285A (zh) * | 2022-03-18 | 2022-04-15 | 南方电网数字电网研究院有限公司 | 基于视觉上下文约束学习的电网缺陷检测方法和装置 |
| CN114359283A (zh) * | 2022-03-18 | 2022-04-15 | 华东交通大学 | 基于Transformer的缺陷检测方法和电子设备 |
| CN115439483A (zh) * | 2022-11-09 | 2022-12-06 | 四川川锅环保工程有限公司 | 一种高质量的焊缝及焊缝缺陷识别系统、方法、存储介质 |
| CN116128965A (zh) * | 2023-02-21 | 2023-05-16 | 国网吉林省电力有限公司长春供电公司 | 基于vit的电力缆线位置检测方法、电子设备及介质 |
| CN116309554A (zh) * | 2023-05-12 | 2023-06-23 | 广东奥普特科技股份有限公司 | 缺陷检测网络的构建及缺陷检测方法、装置和设备 |
| CN116863358A (zh) * | 2023-08-18 | 2023-10-10 | 华大天元(北京)科技股份有限公司 | 电网无人机巡检图像绝缘子缺陷识别方法及系统 |
| WO2024060917A1 (zh) * | 2022-09-23 | 2024-03-28 | 中国电信股份有限公司 | 缺陷识别方法、装置和系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110751619A (zh) * | 2019-08-28 | 2020-02-04 | 中国南方电网有限责任公司超高压输电公司广州局 | 一种绝缘子缺陷检测方法 |
| CN111709397A (zh) * | 2020-07-08 | 2020-09-25 | 哈尔滨工业大学 | 一种基于多头自注意力机制的无人机变尺寸目标检测方法 |
| CN111858323A (zh) * | 2020-07-11 | 2020-10-30 | 南京工业大学 | 一种基于代码表示学习的即时软件缺陷预测方法 |
| CN112668696A (zh) * | 2020-12-25 | 2021-04-16 | 杭州中科先进技术研究院有限公司 | 一种基于嵌入式深度学习的无人机电网巡检方法和系统 |
-
2021
- 2021-05-28 CN CN202110592644.4A patent/CN113298789A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110751619A (zh) * | 2019-08-28 | 2020-02-04 | 中国南方电网有限责任公司超高压输电公司广州局 | 一种绝缘子缺陷检测方法 |
| CN111709397A (zh) * | 2020-07-08 | 2020-09-25 | 哈尔滨工业大学 | 一种基于多头自注意力机制的无人机变尺寸目标检测方法 |
| CN111858323A (zh) * | 2020-07-11 | 2020-10-30 | 南京工业大学 | 一种基于代码表示学习的即时软件缺陷预测方法 |
| CN112668696A (zh) * | 2020-12-25 | 2021-04-16 | 杭州中科先进技术研究院有限公司 | 一种基于嵌入式深度学习的无人机电网巡检方法和系统 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113869290A (zh) * | 2021-12-01 | 2021-12-31 | 中化学交通建设集团有限公司 | 一种基于人工智能技术的消防通道占用识别方法和装置 |
| CN113869290B (zh) * | 2021-12-01 | 2022-02-25 | 中化学交通建设集团有限公司 | 一种基于人工智能技术的消防通道占用识别方法和装置 |
| CN114359285A (zh) * | 2022-03-18 | 2022-04-15 | 南方电网数字电网研究院有限公司 | 基于视觉上下文约束学习的电网缺陷检测方法和装置 |
| CN114359283A (zh) * | 2022-03-18 | 2022-04-15 | 华东交通大学 | 基于Transformer的缺陷检测方法和电子设备 |
| CN114359283B (zh) * | 2022-03-18 | 2022-07-05 | 华东交通大学 | 基于Transformer的缺陷检测方法和电子设备 |
| CN114359285B (zh) * | 2022-03-18 | 2022-07-29 | 南方电网数字电网研究院有限公司 | 基于视觉上下文约束学习的电网缺陷检测方法和装置 |
| WO2024060917A1 (zh) * | 2022-09-23 | 2024-03-28 | 中国电信股份有限公司 | 缺陷识别方法、装置和系统 |
| CN115439483A (zh) * | 2022-11-09 | 2022-12-06 | 四川川锅环保工程有限公司 | 一种高质量的焊缝及焊缝缺陷识别系统、方法、存储介质 |
| CN116128965A (zh) * | 2023-02-21 | 2023-05-16 | 国网吉林省电力有限公司长春供电公司 | 基于vit的电力缆线位置检测方法、电子设备及介质 |
| CN116309554A (zh) * | 2023-05-12 | 2023-06-23 | 广东奥普特科技股份有限公司 | 缺陷检测网络的构建及缺陷检测方法、装置和设备 |
| CN116309554B (zh) * | 2023-05-12 | 2023-08-22 | 广东奥普特科技股份有限公司 | 缺陷检测网络的构建及缺陷检测方法、装置和设备 |
| CN116863358A (zh) * | 2023-08-18 | 2023-10-10 | 华大天元(北京)科技股份有限公司 | 电网无人机巡检图像绝缘子缺陷识别方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113298789A (zh) | 绝缘子缺陷检测方法、系统、电子设备及可读存储介质 | |
| CN110781838A (zh) | 一种复杂场景下行人的多模态轨迹预测方法 | |
| US8811663B2 (en) | Object detection in crowded scenes | |
| CN113486726B (zh) | 一种基于改进卷积神经网络的轨道交通障碍物检测方法 | |
| CN112016500A (zh) | 基于多尺度时间信息融合的群体异常行为识别方法及系统 | |
| CN112464851A (zh) | 一种基于视觉感知的智能电网异物入侵检测方法及系统 | |
| CN113313028B (zh) | 一种火焰检测方法、系统、终端设备及可读存储介质 | |
| CN112215423B (zh) | 一种基于趋势引导与稀疏交互的行人轨迹预测方法及系统 | |
| WO2022116616A1 (zh) | 一种基于转换模块的行为识别方法 | |
| CN112801068A (zh) | 一种视频多目标跟踪与分割系统和方法 | |
| CN114419102B (zh) | 一种基于帧差时序运动信息的多目标跟踪检测方法 | |
| CN113269104A (zh) | 群体异常行为识别方法、系统、存储介质及设备 | |
| CN112907138A (zh) | 一种从局部到整体感知的电网场景预警分类方法及系统 | |
| CN109558819B (zh) | 一种用于遥感图像目标检测的深度网络轻量化方法 | |
| CN115484456B (zh) | 一种基于语义聚类的视频异常预测方法及装置 | |
| CN113743221B (zh) | 一种边缘计算架构下的多视角人行为识别方法与系统 | |
| CN114494893B (zh) | 基于语义重用上下文特征金字塔的遥感图像特征提取方法 | |
| CN114120076B (zh) | 基于步态运动估计的跨视角视频步态识别方法 | |
| CN115661535A (zh) | 一种目标去除背景恢复方法、装置和电子设备 | |
| US11210775B1 (en) | Gradient-embedded video anomaly detection | |
| Sajedi et al. | Twin models for high-resolution visual inspections | |
| CN114694080A (zh) | 一种监控暴力行为检测方法、系统、装置及可读存储介质 | |
| CN113743306A (zh) | 一种基于slowfast双帧速率的实时智能视频监控异常行为分析方法 | |
| CN114495037A (zh) | 一种基于关键点和卡尔曼滤波的视频预测方法及系统 | |
| CN114677611A (zh) | 数据识别方法、存储介质及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |