CN113205502A - 一种基于深度学习的绝缘子缺陷检测方法及其系统 - Google Patents

一种基于深度学习的绝缘子缺陷检测方法及其系统 Download PDF

Info

Publication number
CN113205502A
CN113205502A CN202110507178.5A CN202110507178A CN113205502A CN 113205502 A CN113205502 A CN 113205502A CN 202110507178 A CN202110507178 A CN 202110507178A CN 113205502 A CN113205502 A CN 113205502A
Authority
CN
China
Prior art keywords
insulator
defect detection
feature
old
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110507178.5A
Other languages
English (en)
Inventor
张颖慧
侯静
邢雅轩
白戈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inner Mongolia Tata Power Transmission And Transformation Engineering Co ltd
Inner Mongolia University
Original Assignee
Inner Mongolia Tata Power Transmission And Transformation Engineering Co ltd
Inner Mongolia University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inner Mongolia Tata Power Transmission And Transformation Engineering Co ltd, Inner Mongolia University filed Critical Inner Mongolia Tata Power Transmission And Transformation Engineering Co ltd
Priority to CN202110507178.5A priority Critical patent/CN113205502A/zh
Publication of CN113205502A publication Critical patent/CN113205502A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Analytical Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于深度学习的绝缘子缺陷检测方法及其系统，其中基于深度学习的绝缘子缺陷检测方法包括如下步骤：在输入图片中进行绝缘子的定位识别；对定位识别后的绝缘子进行输入图片的绝缘子缺陷检测处理；对缺陷检测处理后的输入图片进行处理，得到完整的缺陷检测结果。本申请能够利用图像分块方法与M2Det模型相结合的绝缘子缺陷检测算法，提高了检测算法的精度和鲁棒性。

Description

一种基于深度学习的绝缘子缺陷检测方法及其系统
技术领域
本申请涉及计算机领域，尤其涉及一种基于深度学习的绝缘子缺陷检测方法及其系统。
背景技术
输电线路所处地势地貌复杂，环境恶劣，设备长期暴露于野外，受到外力和人为因素的影响极易产生绝缘子老化、腐蚀、损坏等缺陷。绝缘子是电力系统输电线路的重要设备之一，起着固定载流导体、防止电流回地的作用。据统计，绝缘子缺陷引发的事故超过电网故障的一半，严重威胁着电网的安全稳定。因此，绝缘子缺陷的识别检测尤为重要。传统的绝缘子缺陷检测算法注重工艺特征和物理特征的提取，如纹理、颜色、形状等。现有技术中，将基于支持向量机的分类模型集成到多尺度滑动窗口框架中，用于红外图像绝缘子的定位。现有技术的相关算法取得了一定的成果，但此类算法只能检测单一背景、单一类型的绝缘子及其缺陷，且检测精度低。针对上述问题，很多学者将深度学习引入绝缘子及其缺陷检测中。近几年，随着深度学习的快速发展，许多基于深度学习的目标检测网络被提出，且可以达到很好的检测性能。使用快速区域卷积神经网络(Faster Regions withConvolutional Neural Network，Faster R-CNN)定位绝缘子，然后提出由深度材料分类器(Deep Material Classifier，DMC)和深度去噪自编码器(Deep Denoising Autoencoder，DDAE)组成的深度多任务神经网络(Deep Multitask Neural Network，DMNN)进行绝缘子缺陷检测。然而，由于Faster R-CNN模型的复杂度较高，导致检测速度过慢。针对这一问题，现有技术中再次提出数据增强技术和改进版的基于回归的目标检测模型(You Only LookOnce，YOLO)相结合的算法用于不同目标分辨率和不同光照条件下的绝缘子检测。其中对YOLO算法进行了改进，算法可以达到绝缘子及其缺陷的实时监测。随后，一种基于单阶段多盒检测器(Single Shot Multibox Detector，SSD)算法被提出用于绝缘子及其缺陷的检测。研究者对SSD算法进行改进，用于绝缘子的红外图像检测。现有技术还提出了一种级联的基于SSD模型和YOLO模型的深度卷积神经网络用于支撑装置紧固件及其缺陷检测。虽然以上两类单阶段目标检测算法取得了比双阶段的Faster R-CNN模型更快的速度，但都是以牺牲检测精度为代价。研究者在提升绝缘子缺陷检测精度方面做了一系列的研究，提出了一种新的级联卷积神经网络系统模型。先用视觉几何群网络(Visual Geometry GroupNetwork，VGG)和区域生成网络(Region Proposal Network，RPN)搭建模型进行绝缘子定位，再用残差网络(Residual Network，ResNet)和RPN网络搭建的组合网络进行绝缘子缺陷检测。然而，该算法只能检测陶瓷材质的绝缘子，对其他类型绝缘子检测有限制性。针对这一问题，现有技术再次提出了一种利用实例分割和红外绝缘子图像温度分析的自动诊断算法。该算法可借助掩膜区域卷积神经网络(Mask Regions with Convolutional NeuralNetwork，Mask R-CNN)从红外图像中提取多个绝缘子。先使用一个级联的深度分割网络(Cascaded Deep Segmentation Networks，CDSNets)提取绝缘子特征，然后提出缺陷检测对抗式生成网络(Defect Detection Generative Adversarial Networks，DefGANs)来检测缺陷。但是此类算法对有效信息在图像中的占比要求严格，对于远视角的绝缘子及其缺陷的检测具有局限性。
综上，如何进行绝缘子的缺陷检测是本领域人员急需要解决的技术问题。
发明内容
基于此，本申请提供一种基于深度学习的绝缘子缺陷检测系统，进行绝缘子缺陷更精准的检测。
为了达到上述目的，本申请提出一种基于深度学习的绝缘子缺陷检测方法，包括如下步骤：在输入图片中进行绝缘子的定位识别；对定位识别后的绝缘子进行输入图片的绝缘子缺陷检测处理；对缺陷检测处理后的输入图片进行处理，得到完整的缺陷检测结果。
如上的，其中，在输入图片中进行绝缘子的定位识别具体包括以下子步骤：进行基础特征提取；对提取的基础特征进行初步融合，输出基础特征层；根据输出的基础特征层生成多尺度特征金字塔；根据多尺度特征金字塔，进行特征加强融合；进行多尺度特征聚合。
如上的，其中，在提取基础特征之前，还包括，将输入的图片调整为统一大小，经过多次卷积和最大池化一次生成不同尺度的特征层。
如上的，其中，将M2Det模型中的主干网络VGG中的全连接层去掉，保留卷积层和最大池化层作为基础网络，利用基础网络提取多个不同尺度的浅层特征层和深层特征层。
如上的，其中，多个细化U型模块的各个层级的输出形成多层级的多尺度特征金字塔，每一个层级的输出具体表示为：
Figure BDA0003058878120000031
其中，Xbase表示基础特征，xi l表示第l个层级中第i个尺度的特征，L表示细化U型模块的总层级数，Tl表示第l个层级的处理过程，F表示加强特征融合模块的处理过程。
如上的，其中，对定位识别后的绝缘子进行缺陷检测具体包括以下子步骤：对输入图像中的绝缘子所在部分进行裁剪，形成绝缘子图像；对裁剪后的绝缘子图像进行处理，获取多个绝缘子子图像；在多个绝缘子子图像中分别进行绝缘子的缺陷检测。
如上的，其中，在裁剪过程中，裁剪窗口为矩形，由上、下、左、右四条边界围成，将绝缘子框的顶点坐标定义裁剪窗口；边界四个点的坐标分别是XT、XB、XL和XR；对于输入图像中的空间任意一点(X,Y)进行坐标判断，其中判断规则具体为：
Figure BDA0003058878120000041
如果上述不等式全部成立，则说明点(X,Y)落在裁剪窗口内；否则点(X,Y)落在裁剪窗口外，根据上述规则裁剪出绝缘子图像。
如上的，其中，将裁剪后的，输入图片中除绝缘子图像的其他部分加灰度条进行填充，填充后输入图片长和宽的定义公式如下：
lnew＝padding(lold+(wold-lold)/2)2 if(lold≤wold)
wnew＝padding(wold+(lold-wold)/2)2 if(lold＞wold)
其中，padding表示填充，lold和wold表示裁剪后绝缘子图像的长和宽；lnew和wnew表示填充灰条后图像的长和宽。
如上的，其中，对绝缘子图像进行处理包括，对绝缘子图像进行分块处理，其中对填充灰条后的绝缘子图像进行m行n列的均匀分块，公式表示如下：
Figure BDA0003058878120000042
其中，lnew和wnew表示填充灰度条之后输入图片的长度和宽度，m和n表示行数和列数。
一种基于深度学习的绝缘子缺陷检测系统，具体包括，定位识别单元、缺陷检测单元以及拼接单元；定位识别单元，用于在输入图片中进行绝缘子的定位识别；缺陷检测单元，用于对定位识别后的绝缘子进行输入图片的绝缘子缺陷检测处理；拼接单元，用于对缺陷检测处理后的输入图片进行处理，得到完整的缺陷检测结果。
本申请具体以下有益效果：
本申请提出将数据增强技术与M2Det模型相结合的绝缘子定位识别方法，提出图像分块方法与M2Det模型相结合的绝缘子缺陷检测算法，提高了检测算法的精度和鲁棒性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1是本申请提出的一种基于深度学习的绝缘子缺陷检测系统结构示意图；
图2是本申请提出的一种基于深度学习的绝缘子缺陷检测方法的流程图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，为本申请提供的一种基于深度学习的绝缘子缺陷检测系统，其中具体包括：定位识别单元110、缺陷检测单元120、拼接处理单元130。
其中定位识别单元110，用于在输入图片中进行绝缘子的定位识别。
其中定位识别单元具体为M2Det模型，M2Det模型是基于多级特征金字塔网络的单阶段目标检测器，多级特征金字塔网络由三个模块组成，分别为特征融合模块(FeatureFusion Module，FFM)、细化U型模块(ThinnedU-shape Module，TUM)和多尺度特征聚合模块(Scale-wise Feature Aggregation Module，SFAM)。
特征融合模块第一阶段表示为FFMv1，第一阶段FFMv1通过融合主干网络的浅层特征和深层特征，将语义信息添加到基础特征。每个TUM生成一组不同尺度的特征映射。特征融合模块第二阶段表示为FFMv2，第二阶段FFMv2主要负责将基础特征和前一个TUM输出的最大特征映射进行融合，将融合后的特征映射输入到下一个TUM(第一个TUM输入只有基础特征)。通过SFAM将交替堆叠TUM和FFMv2生成的多级别、多尺度特征层进行聚合，生成多级特征金字塔。
缺陷检测单元120与定位识别单元110连接，用于对定位识别后的绝缘子进行输入图片的绝缘子缺陷检测处理。
具体地，对定位识别绝缘子后的输入图片进行分块处理，并对分块后的绝缘子子图像中的绝缘子进行缺陷检测，得到每个绝缘子子图像中绝缘子的检测结果。
拼接处理单元130与缺陷检测单元120连接，用于对缺陷检测处理后的输入图片进行处理，得到完整的缺陷检测结果。
具体地，拼接处理单元130进行绝缘子子图像的拼接，输出完整的缺陷检测结果。
如图2所示，本申请提供的出一种基于深度学习的绝缘子缺陷检测方法具体包括以下步骤：
步骤S210：在输入图片中进行绝缘子的定位识别。
其中，采用M2Det模型进行绝缘子定位。M2Det模型利用主干网络VGG和多级特征金字塔网络对输入图片进行特征提取、特征融合和多尺度特征聚合的操作。根据所学习到的特征生成密集的检测框、类别标签和相应的类别置信度，再通过非极大值抑制(Non-Maximum Suppression，NMS)选择类别置信度最大的检测框并将其输出。
其中检测框是指，定位到绝缘子的一个或多个矩形框。类别标签是指，检测框内的物体属于绝缘子的一类或不属于绝缘子的一类，例如在检测框的上方可标注“insulator”，意思就是指检测框内的物体属于绝缘子的一类。类别置信度是指，检测框上方标注的数字，意思是框内物体属于绝缘子这一类的概率，例如标注0.89代表89％的可能性属于绝缘子。也就是说，根据类别置信度可以得到类别标签。例如，属于绝缘子这一类的概率较高，为0.89，类别置信度就是0.89，类别标签就是绝缘子。
其中M2Det模型执行以下子步骤：
步骤S2101：进行基础特征提取。
其中在提取基础特征之前，还包括，将输入的图片调整为统一大小，经过多次卷积和最大池化一次生成不同尺度的特征层。
具体地，将M2Det模型中的主干网络VGG中的全连接层去掉，保留卷积层和最大池化层作为基础网络。利用基础网络进行基础特征的提取，具体提取多个不同尺度的浅层特征层和深层特征层。
其中深层特征层中包含语义信息，浅层特征包含形状等物理特征。
步骤S2102：对提取的基础特征进行初步融合，输出基础特征层。
具体地，在多个不同尺度的特征层中任意选取两个不同尺度特征层，即不同尺度的一个深层特征层和一个浅层特征层。使用特征初步融合模块的第一个阶段FFMv1对选取的两个不同尺度的特征层进行特征初步融合。首先，对深层特征层进行卷积操作，再对其进行上采样，使其与浅层特征层大小相同。然后，对浅层特征层同样进行卷积操作，再将两个卷积后的结果进行堆叠。最后，输出融合语义信息的一个基础特征层。
步骤S2103：根据输出的基础特征层生成多尺度特征金字塔。
其中使用细化U型模块(Thinned U-shapeModule，TUM)生成多尺度特征金字塔。
具体地，将特征初步融合模块的第一个阶段FFMv1输出的基础特征层作为首个TUM的输入，对基础特征层进行U型特征提取，即先对基础特征层进行特征压缩。
然后，通过上采样进行特征融合，从一个基础特征层中获得不同尺度的有效特征层。优选地，能够获得6个不同尺度的有效特征层。
其中一个TUM代表一个层级，第一层级的TUM到最后一层级的TUM依次提取由浅层到深层的特征，每个TUM的所有输出形成当前层级的多尺度特征金字塔。具体地，一个TUM生成一个多尺度特征金字塔，从第一个TUM到最后一个TUM生成由浅层级到深层级的多尺度特征金字塔，从而生成多级别、多尺度特征金字塔。其中每个层级TUM的输出具体表示为：
Figure BDA0003058878120000081
其中，Xbase表示基础特征，xi l表示第l个TUM中第i个尺度的特征。TUM的总数表示为L，Tl表示第l个TUM的处理过程，F表示FFMv2的处理过程，FFMv2具体用来融合基础特征层和TUM输出的最大特征层。
步骤S2104：根据多尺度特征金字塔，进行特征加强融合。
具体地，将基础特征层和多尺度特征金字塔中最大尺度的特征层进行特征加强融合。
其中，为了进一步加强网络的特征提取能力，使用加强特征融合模块的第二阶段FFMv2将TUM输出的多尺度特征金字塔中的最大尺度有效特征层，和FFMv1输出的基础特征层进行加强融合。首先，将第一阶段FFMv1输出的初步融合的基础特征层作为输入先进行卷积操作，使基础特征层的特征通道数与TUM输出的有效特征层通道数相同。
进一步地，将卷积后的基础特征层与上一个TUM输出的尺度最大的有效特征层进行融合，生成通道数叠加、尺度大小不变的加强融合特征层。最后，使其输出到当前层级的TUM。多个FFMv2和TUM交替连接提取多级别、多尺度的特征。
步骤S2105：响应于完成特征加强融合，进行多尺度特征聚合。
具体地，使用SFAM将多个层级TUM生成的多级别、多尺度特征层聚合成多级特征金字塔，首先，SFAM将所有TUM生成的相同尺度的特征层堆叠在一起，聚合特征金字塔具体表示为：
X＝[X1，X2，...，Xi]
其中，
Figure BDA0003058878120000091
表示各层级中第i个尺度堆叠后的特征层，Concat表示堆叠过程，
Figure BDA0003058878120000092
表示第i个尺度第l个层级深度的特征层。即在聚合金字塔中每个尺度的特征层都包含多个层级深度的特征。
进一步地，引入压缩激发(Squeeze-and-Excitation，SE)注意力机制模块。SE模块对多个尺度的有效特征层进行各个通道的注意力机制调整，从而确定各个通道最佳权重。SE模块分为压缩和激发两部分。压缩是使用全局平均池化生成特征映射的全局压缩特征量Z∈RC，激发是通过两次全连接操作为每个通道添加注意力机制。激发过程的定义公式如下：
s＝Fex(z，W)＝σ(W2δ(W1z))
其中，σ表示矫正线性单元(Rectifiedlinearunits，ReLU)激活函数，δ表示sigmoid激活函数，W∈RC×C，C表示通道数，
Figure BDA0003058878120000093
r表示还原率，Fex表示激发过程。最后，用激活函数s为输入X进行加权，从而获得输出，输出表示为：
Figure BDA0003058878120000094
其中，
Figure BDA0003058878120000095
表示第i个尺度中第C个通道加权后的特征，
Figure BDA0003058878120000096
表示第i个尺度特征中所有通道加权后的特征层，每个特征通过缩放操作都会被增强或者削弱。
进一步地，其中，对步骤S2105获取到的每一个融合注意力机制的有效特征层，进行一次先验框数量*4，以及先验框数量*总类别数的卷积操作。其中，先验框是指每张图片分成n*n个网格，每个网格中心对应6个先验框；先验框数量为该特征层拥有的先验框数量，本实施例中设置为6。
定位结果是指，该有效特征层每一个网格点上每一个先验框相对于真实框的变化情况(指中心点偏移及其宽高的偏移情况)，其中真实框是指，工作人员先用labelmg软件预先生成的矩形框。
其中，真实框和先验框的重合程度计算得到类别置信度。根据类别置信度得到类别标签。例如，属于绝缘子这一类的概率较高，为0.89，类别置信度就是0.89，类别标签就是绝缘子。
进一步地，对每个绝缘子的定位识别结果进行解码生成一系列的检测框，其中解码过程为将每个网格的中心点加上真实框距离先验框中心的偏离情况，加完后的结果就是检测框的中心，然后再将先验框和真实框长和宽相对于先验框的变化情况结合，计算出检测框的长和宽。这样就能得到整个检测框的位置。
再进一步地，从中取出类别置信度大于指定阈值的类别置信度和对应的检测框，利用检测框和类别置信度进行非极大值抑制，从而去除同一目标重复的检测框，从而输出得分最高的检测框和相应的类别置信度。
最后，将类别标签、类别置信度和检测框的位置进行堆叠添加到结果当中，最终输出显示到输入图片中。
其中检测框包括正标签框和负标签框，正标签框指框内物体属于绝缘子一类的检测框，负标签框指框内物体不属于绝缘子一类的检测框。
其中，通过上述步骤，能够将输入图片输入到M2Det模型中，M2Det模型输出定位识别后的绝缘子以及绝缘子的位置，通过M2Det模型定位绝缘子，其定位的输出包括类别标签、类别置信度和包含绝缘子框的左上角和右下角的顶点坐标。
其中，在定位绝缘子后，还包括，验证定位识别方法是否具有良好的鲁棒性。其中通过损失函数来验证鲁棒性，其中损失函数值越低，则鲁棒性越好。
具体地，本申请中损失的计算主要有三个部分，分别为获取所有正标签框定位结果的回归损失，获取所有正标签的种类定位结果的交叉熵损失和获取一定负标签的种类定位结果的交叉熵损失。
本申请采用Smoothl1回归损失函数，定义如下：
Figure BDA0003058878120000111
其中，x表示M2Det模型绝缘子定位结果和绝缘子对应的真实框信息的差距。
采用的交叉熵分类损失函数l(y,z)，定义如下：
Figure BDA0003058878120000112
其中，zk为输入图片中绝缘子定位结果，yk为输入图片中的绝缘子对应的真实框信息结果，c为输入图片的数量。其中真实框是指工作人员先用labelmg软件预先生成的矩形框。
步骤S220：对定位识别后的绝缘子进行输入图片的绝缘子缺陷检测处理。
其中，对定位识别后的绝缘子进行缺陷检测具体包括以下子步骤：
步骤S2201：对输入图像中的绝缘子所在部分进行裁剪，形成绝缘子图像。
其中，裁剪是以一定的计算方法从大量的数据集合中选取用户所需信息的过程，从而决定以图元为主的数据集合中哪些点、线段、多边形、曲线及文字落在显示区域之内。本实施例采用基于坐标的矩形裁剪方法，该方法不仅可以保护图像主体区域，而且同时兼顾着背景区域的裁剪效果。
具体地，其中，将绝缘子框的顶点坐标定义裁剪窗口。在裁剪过程中，裁剪窗口为矩形，由上、下、左、右四条边界围成，边界四个点的坐标分别是XT、XB、XL和XR。对于输入图像中的空间任意一点(X,Y)进行坐标判断，其中判断规则具体为：
Figure BDA0003058878120000113
如果上述不等式全部成立，则说明点(X,Y)落在裁剪窗口内；否则点(X,Y)落在裁剪窗口外。依据此方法在输入图片中裁剪出绝缘子图像。
进一步地，为了避免图像质量损失，将裁剪后的，输入图片中除绝缘子图像的其他部分加灰度条进行填充(padding)，填充后输入图片的新的长lnew和宽wnew具体表示为：
lnew＝padding(lold+(wold-lold)/2)2if(lold≤wold)
wnew＝padding(wold+(lold-wold)/2)2if(lold＞wold)
其中，padding表示填充，lold和wold表示裁剪后绝缘子图像的长和宽；lnew和wnew表示填充灰条后图像的长和宽。
步骤S2202：对裁剪后的绝缘子图像进行处理，获取多个绝缘子子图像。
其中对绝缘子图像进行处理包括，对绝缘子图像进行分块处理，具体地，对填充灰条后的绝缘子图像进行m行n列的均匀分块，公式如下：
Figure BDA0003058878120000121
其中，lnew和wnew表示填充灰度条之后输入图片的长度和宽度。m和n表示行数和列数。
Figure BDA0003058878120000122
表示向下取整。将绝缘子图像均分成若干个子块，如果分块数足够大，各个子块的表面亮度近似可以看成均匀分布。
其中把p*q维的绝缘子图像矩阵I进行分解，分解为m行n列的绝缘子子图像，矩阵I表示如下：
Figure BDA0003058878120000123
其中，矩阵图像Iij(i＝1,2,...,m；j＝1,2,...,n)是p1*q1矩阵，矩阵图像Iij具体表示为：
Figure BDA0003058878120000131
其中，
Figure BDA0003058878120000132
a表示像素点，p和q表示矩阵维度。
步骤S2203：在多个绝缘子子图像中分别进行绝缘子缺陷检测。
具体地，由于绝缘子子图像中只包含绝缘子，因此不需要再次定位，只需要对绝缘子进行缺陷检测，其中将每个绝缘子子图像输入到M2Det模型中，通过执行以下子步骤来进行绝缘子的缺陷检测：
步骤S22031：在每个绝缘子子图像中进行基础特征提取。
其中在提取基础特征之前，还包括，将多个绝缘子子图像调整为统一大小，经过多次卷积和最大池化一次生成不同尺度的特征层。
具体地，依然使用步骤S210中的基础网络，利用基础网络进行基础特征的提取，具体在每个绝缘子图像中提取多个不同尺度的浅层特征层和深层特征层。
其中深层特征层中包含语义信息，浅层特征包含形状等物理特征。
步骤S22032：在每个绝缘子子图像中，对提取的基础特征进行初步融合，输出基础特征层。
具体地，在多个不同尺度的特征层中任意选取两个不同尺度特征层，即不同尺度的一个深层特征层和一个浅层特征层。使用特征初步融合模块的第一个阶段FFMv1对选取的两个不同尺度的特征层进行特征初步融合。首先，对深层特征层进行卷积操作，再对其进行上采样，使其与浅层特征层大小相同。然后，对浅层特征层同样进行卷积操作，再将两个卷积后的结果进行堆叠。最后，输出融合语义信息的一个基础特征层。
步骤S22033：在每个绝缘子子图像中，根据输出的基础特征层生成多尺度特征金字塔。
其中使用细化U型模块TUM生成多尺度特征金字塔。
具体地，将特征初步融合模块FFMv1输出的基础特征层作为首个TUM的输入，对基础特征层进行U型特征提取，即先对基础特征层进行特征压缩。
然后，通过上采样进行特征融合，从一个基础特征层中获得不同尺度的有效特征层。优选地，能够获得6个不同尺度的有效特征层。
其中一个TUM代表一个层级，第一层级的TUM到最后一层级的TUM依次提取由浅层到深层的特征，每个TUM的所有输出形成当前层级的多尺度特征金字塔。其中每个层级TUM的输出依然具体表示为：
Figure BDA0003058878120000141
其中，Xbase表示基础特征，
Figure BDA0003058878120000142
表示第l个TUM中第i个尺度的特征。TUM的总数表示为L，Tl表示第l个TUM的处理过程，F表示FFMv2的处理过程，FFMv2具体用来融合基础特征层和TUM输出的最大特征层。
步骤S22034：根据多尺度特征金字塔，进行特征加强融合。
具体地，将基础特征层和多尺度特征金字塔中最大尺度的特征层进行特征加强融合。
其中，使用特征加强融合模块FFMv2将TUM输出的多尺度特征金字塔中的最大尺度有效特征层，和FFMv1输出的基础特征层进行加强融合。首先，将FFMv1输出的初步融合的基础特征层作为输入先进行卷积操作，使基础特征层的特征通道数与TUM输出的有效特征层通道数相同。
进一步地，将卷积后的基础特征层与上一个TUM输出的尺度最大的有效特征层进行融合，生成通道数叠加、尺度大小不变的加强融合特征层。最后，使其输出到当前层级的TUM。多个FFMv2和TUM交替连接提取多级别、多尺度的特征。
步骤S22035：进行多尺度特征聚合。
具体地，使用SFAM将多个层级TUM生成的多级别、多尺度特征层聚合成多级特征金字塔，首先，SFAM将所有TUM生成的相同尺度的特征层堆叠在一起，聚合特征金字塔具体表示为：
X＝[X1,X2,...,Xi]
其中，
Figure BDA0003058878120000151
表示各层级中第i个尺度堆叠后的特征层，Concat表示堆叠过程，
Figure BDA0003058878120000152
表示第i个尺度第l个层级深度的特征层。即在聚合金字塔中每个尺度的特征层都包含多个层级深度的特征。
进一步地，引入压缩激发(Squeeze-and-Excitation，SE)注意力机制模块。SE模块对多个尺度的有效特征层进行各个通道的注意力机制调整，从而确定各个通道最佳权重。SE模块分为压缩和激发两部分。压缩是使用全局平均池化生成特征映射的全局压缩特征量Z∈RC，激发是通过两次全连接操作为每个通道添加注意力机制。激发过程的定义公式如下：
S＝Fex(z，W)＝σ(W2δ(W1z))
其中，σ表示矫正线性单元(Rectified linearunits，ReLU)激活函数，δ表示sigmoid激活函数，W∈RC×C，C表示通道数，
Figure BDA0003058878120000153
r表示还原率，Fex表示激发过程。最后，用激活函数s为输入X进行加权，从而获得输出，输出表示为：
Figure BDA0003058878120000154
其中，
Figure BDA0003058878120000155
表示第i个尺度中第C个通道加权后的特征，
Figure BDA0003058878120000156
表示第i个尺度特征中所有通道加权后的特征层，每个特征通过缩放操作都会被增强或者削弱。
步骤S22036：多尺度特征聚合后对绝缘子进行缺陷检测，得到每个绝缘子子图像的缺陷检测结果。
其中，本申请通过利用分块后绝缘子的子块训练M2Det模型，M2Det模型根据由上述步骤学习到的特征获取每个绝缘子子图像中的绝缘子的缺陷检测结果。
其中，对步骤S22035获取到的每一个融合注意力机制的有效特征层，进行一次先验框数量*4，以及先验框数量*总类别数的卷积操作。其中，先验框是指每张图片分成n*n个网格，每个网格中心对应6个先验框；先验框数量为该特征层拥有的先验框数量，本实施例中设置为6。
处理后的缺陷检测结果是指，该有效特征层每一个网格点上每一个先验框相对于真实框的变化情况(指中心点偏移及其宽高的偏移情况)，其中真实框是指，工作人员先用labelmg软件预先生成的矩形框。
其中，真实框和先验框的重合程度计算得到类别置信度。根据类别置信度得到类别标签。例如，属于绝缘子这一类的概率较高，为0.89，类别置信度就是0.89，类别标签就是绝缘子。
进一步地，对每个绝缘子的缺陷检测结果进行解码生成一系列的检测框，其中解码过程为将每个网格的中心点加上真实框距离先验框中心的偏离情况，加完后的结果就是检测框的中心，然后再将先验框和真实框长和宽相对于先验框的变化情况结合，计算出检测框的长和宽。这样就能得到整个检测框的位置。
再进一步地，从中取出类别置信度大于指定阈值的类别置信度和对应的检测框，利用检测框框和类别置信度进行非极大值抑制，从而去除同一目标重复的检测框，从而输出得分最高的检测框和相应的类别置信度。
此时的绝缘子缺陷的检测框是指：框住存在缺陷的绝缘子的检测框。绝缘子缺陷的类别标签是指：检测框内的物体是否属于缺陷的一类。绝缘子缺陷的类别置信度是指：框内物体属于缺陷这一类别的概率。
最后，将类别标签、类别置信度和检测框的位置进行堆叠添加到结果当中，最终输出显示到每个绝缘子子图像中。
其中上述步骤，在每个绝缘子子图像中，均能够显示出绝缘子是否存在缺陷。
步骤S230：对缺陷检测处理后的输入图片进行处理，得到完整的缺陷检测结果。
其中处理具体为对绝缘子子图像进行拼接。
具体地，将数张有重叠部分的绝缘子子图像通过特征点检测、匹配和图像变换，拼成无缝的全景图或高分辨率的完整绝缘子图像。在图像拼接过程中，首先，利用尺度不变特征转换(Scale-InvariantFeature Transform，SIFT)提取图像特征和特征匹配。运用SIFT局部描述算子检测图像中的关键点和特征，SIFT特征是物体上的一些局部外观的兴趣点而与影像的大小和旋转无关，对于光线、噪声、微视角改变的容忍度高。所以，用来检测拼接图像的特征及关键点很有优势。然后，使用随机抽样一致(RANdom SAmple Consensus,RANSAC)方法对特征匹配的结果进行优化，最后，利用图像变换结构进行图像映射与融合，恢复绝缘子缺陷检测结果的完整图像。
得到完整图像后，输出图像中的绝缘子中对应的检测框，相应的类别置信度和类别标签。
其中，在得出缺陷检测结果后，进行本申请提出的缺陷检测方法是否具有良好的鲁棒性。其中通过损失函数来验证鲁棒性，其中损失函数值越低，则鲁棒性越好。
具体地，损失的计算主要有三个部分，分别为获取所有正标签框检测结果的回归损失，获取所有正标签的种类检测结果的交叉熵损失和获取一定负标签的种类检测结果的交叉熵损失。
正标签框指框内物体属于绝缘子缺陷一类的检测框，负标签框指框内物体不属于绝缘子缺陷一类的检测框。
本申请依然采用Smooth l1回归损失函数，定义如下：
Figure BDA0003058878120000181
其中，p表示M2Det模型缺陷检测结果和缺陷对应的真实框信息的差距。
采用的交叉熵分类损失函数l(a,b)，定义如下：
Figure BDA0003058878120000182
其中，bd为第d张绝缘子子图像的缺陷检测结果，ad为第d张绝缘子子图像中缺陷对应的真实框信息结果，f为绝缘子子图像的数量。其中真实框是指工作人员先用labelmg软件预先生成的矩形框。
进一步地，将本申请提出的方法与基于FasterR-CNN模型，YOLOv3模型和SSD模型的绝缘子定位识别进行性能对比，验证本申请提出的适用于多种背景下基于M2Det模型的绝缘子定位识别方法的性能。M2Det模型的输入为888张带标签的绝缘子图像，大小统一缩放成320×320，其中10％用于测试集，90％用于训练集。在实验测试阶段，本申请进行了不同背景下的绝缘子定位识别，如表1所示。分别测试了在建筑、山脉、草地、湖泊和公路五种背景下的绝缘子定位识别方法，并进行了性能对比。可以看出在建筑和湖泊的背景下绝缘子定位的准确率很高，草地背景下绝缘子定位的召回率最高，从平均精度和F1值的这两种评价指标来看，在公路和草地背景下绝缘子定位识别的性能最好。综合评估绝缘子定位识别性能，可以得出本申请提出的基于M2Det模型的绝缘子定位识别方法可以稳定地定位到各种背景下的绝缘子。
表1不同背景下的绝缘子定位性能对比
Figure BDA0003058878120000191
进一步地，将本申请提出的方法与Faster R-CNN，YOLOv3和SSD三种不同的绝缘子定位识别方法作对比，如表2所示。可以看出，本申请绝缘子定位识别方法具有最高的检测平均精度98.06％，同时可以达到最高的绝缘子检测准确率，以及准确率和召回率的调和平均数F1值。在四种定位识别方法中，SSD模型绝缘子定位识别的平均精度偏低，识别效果较差，Faster R-CNN模型的定位准确率最低，YOLOv3模型的各个指标都稍低于M2Det模型。这是因为FasterR-CNN模型、SSD模型和YOLOv3模型特征提取能力相对较差，不能充分学习到绝缘子的复杂特征。
表2各种算法绝缘子检测数据对比
Figure BDA0003058878120000192
表3是分别采用裁剪方法和图像分块方法前后的参数对比。首先，本申请在原始的M2Det模型上加入裁剪方法进行绝缘子缺陷检测，从表中可以看出加入裁剪方法后模型的召回率和F1值大幅度提升，但用于综合评估的平均精度性能没有得到很好的改善。因此，本申请又加入图像分块方法提升性能。可以看出同时加入裁剪方法和图像分块方法的检测算法实现了高精度绝缘子缺陷检测，平均精度为98.86％，且具有很高的准确率、召回率和F1值。与现有的很多绝缘子缺陷检测算法相比，具有很高的检测精度，也特别适合航拍巡检图像绝缘子缺陷检测。
表3绝缘子缺陷检测数据对比
Figure BDA0003058878120000201
本申请具体以下有益效果：
本申请提出将数据增强技术与M2Det模型相结合的绝缘子定位识别方法，提出图像分块方法与M2Det模型相结合的绝缘子缺陷检测算法，提高了检测算法的精度和鲁棒性。
以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特殊进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种基于深度学习的绝缘子缺陷检测方法，其特征在于，包括如下步骤：
在输入图片中进行绝缘子的定位识别；
对定位识别后的绝缘子进行输入图片的绝缘子缺陷检测处理；
对缺陷检测处理后的输入图片进行处理，得到完整的缺陷检测结果。
2.如权利要求1所述基于深度学习的绝缘子缺陷检测方法，其特征在于，在输入图片中进行绝缘子的定位识别具体包括以下子步骤：
进行基础特征提取；
对提取的基础特征进行初步融合，输出基础特征层；
根据输出的基础特征层生成多尺度特征金字塔；
根据多尺度特征金字塔，进行特征加强融合；
响应于完成特征加强融合，进行多尺度特征聚合。
3.如权利要求2所述的基于深度学习的绝缘子缺陷检测方法，其特征在于，在提取基础特征之前，还包括，将输入的图片调整为统一大小，经过多次卷积和最大池化一次生成不同尺度的特征层。
4.如权利要求3所述的基于深度学习的绝缘子缺陷检测方法，其特征在于，将M2Det模型中的主干网络中的全连接层去掉，保留卷积层和最大池化层作为基础网络，利用基础网络提取多个不同尺度的浅层特征层和深层特征层。
5.如权利要求3所述的基于深度学习的绝缘子缺陷检测方法，其特征在于，多个细化U型模块的各个层级的输出形成多层级的多尺度特征金字塔，每一个层级的输出具体表示为：
Figure FDA0003058878110000011
其中，Xbase表示基础特征，xi l表示第l个层级中第i个尺度的特征，L表示细化U型模块的总层级数，Tl表示第l个层级的处理过程，F表示加强特征融合模块的处理过程。
6.如权利要求1所述的基于深度学习的绝缘子缺陷检测方法，其特征在于，对定位识别后的绝缘子进行缺陷检测具体包括以下子步骤：
对输入图像中的绝缘子所在部分进行裁剪，形成绝缘子图像；
对裁剪后的绝缘子图像进行处理，获取多个绝缘子子图像；
在多个绝缘子子图像中分别进行绝缘子的缺陷检测。
7.如权利要求6所述的基于深度学习的绝缘子缺陷检测方法，其特征在于，在裁剪过程中，裁剪窗口为矩形，由上、下、左、右四条边界围成，将绝缘子框的顶点坐标定义裁剪窗口；边界四个点的坐标分别是XT、XB、XL和XR；
对于输入图像中的空间任意一点(X,Y)进行坐标判断，其中判断规则具体为：
Figure FDA0003058878110000021
如果上述不等式全部成立，则说明点(X,Y)落在裁剪窗口内；否则点(X,Y)落在裁剪窗口外，根据上述规则裁剪出绝缘子图像。
8.如权利要求7所述的基于深度学习的绝缘子缺陷检测方法，其特征在于，将裁剪后的，输入图片中除绝缘子图像的其他部分加灰度条进行填充，填充后输入图片长和宽的定义公式如下：
lnew＝padding(lold+(wold-lold)/2)2if(lold≤wold)
wnew＝padding(wold+(lold-wold)/2)2if(lold＞wold)
其中，padding表示填充，lold和wold表示裁剪后绝缘子图像的长和宽；lnew和wnew表示填充灰条后输入图片的长和宽。
9.如权利要求8所述的基于深度学习的绝缘子缺陷检测方法，其特征在于，对绝缘子图像进行处理包括，对绝缘子图像进行分块处理，其中对填充灰条后的绝缘子图像进行m行n列的均匀分块，公式表示如下：
Figure FDA0003058878110000031
其中，lnew和wnew表示填充灰度条之后输入图片的长度和宽度，m和n表示行数和列数，
Figure FDA0003058878110000032
表示向下取整。
10.一种基于深度学习的绝缘子缺陷检测系统，其特征在于，具体包括，定位识别单元、缺陷检测单元以及拼接单元；
定位识别单元，用于在输入图片中进行绝缘子的定位识别；
缺陷检测单元，用于对定位识别后的绝缘子进行输入图片的绝缘子缺陷检测处理；
拼接单元，用于对缺陷检测处理后的输入图片进行处理，得到完整的缺陷检测结果。
CN202110507178.5A 2021-05-10 2021-05-10 一种基于深度学习的绝缘子缺陷检测方法及其系统 Pending CN113205502A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110507178.5A CN113205502A (zh) 2021-05-10 2021-05-10 一种基于深度学习的绝缘子缺陷检测方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110507178.5A CN113205502A (zh) 2021-05-10 2021-05-10 一种基于深度学习的绝缘子缺陷检测方法及其系统

Publications (1)

Publication Number Publication Date
CN113205502A true CN113205502A (zh) 2021-08-03

Family

ID=77030640

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110507178.5A Pending CN113205502A (zh) 2021-05-10 2021-05-10 一种基于深度学习的绝缘子缺陷检测方法及其系统

Country Status (1)

Country Link
CN (1) CN113205502A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113870206A (zh) * 2021-09-22 2021-12-31 的卢技术有限公司 一种用于绝缘子缺陷检测的数据增强方法
CN114581419A (zh) * 2022-03-09 2022-06-03 国网浙江省电力有限公司超高压分公司 变压器绝缘套管缺陷检测方法、相关设备及可读存储介质
CN114612853A (zh) * 2022-02-11 2022-06-10 江苏濠汉信息技术有限公司 基于注意力机制和时序图像分析的车辆检测系统及方法
CN114638809A (zh) * 2022-03-22 2022-06-17 南京工业大学 基于pa-mlfpn工件表面多尺度微小缺陷检测方法
CN115661041A (zh) * 2022-09-29 2023-01-31 国网河北省电力有限公司信息通信分公司 一种绝缘子缺陷检测方法及系统
WO2024208100A1 (zh) * 2023-04-04 2024-10-10 东莞职业技术学院 基于可融合的特征金字塔的换向器内侧图像缺陷检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102508110A (zh) * 2011-10-10 2012-06-20 上海大学 基于纹理的绝缘子缺陷诊断方法
WO2020040734A1 (en) * 2018-08-21 2020-02-27 Siemens Aktiengesellschaft Orientation detection in overhead line insulators
CN111462057A (zh) * 2020-03-23 2020-07-28 华南理工大学 一种基于深度学习的输电线路上玻璃绝缘子自爆检测方法
CN111768398A (zh) * 2020-07-06 2020-10-13 北京瑞莱智慧科技有限公司 光伏组件的缺陷检测方法、装置、存储介质和计算设备
CN111862078A (zh) * 2020-07-31 2020-10-30 嘉应学院 一种基于深度学习的电力巡检智能缺陷检测方法
CN112233092A (zh) * 2020-10-16 2021-01-15 广东技术师范大学 一种用于无人机电力巡检智能缺陷检测的深度学习方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102508110A (zh) * 2011-10-10 2012-06-20 上海大学 基于纹理的绝缘子缺陷诊断方法
WO2020040734A1 (en) * 2018-08-21 2020-02-27 Siemens Aktiengesellschaft Orientation detection in overhead line insulators
CN111462057A (zh) * 2020-03-23 2020-07-28 华南理工大学 一种基于深度学习的输电线路上玻璃绝缘子自爆检测方法
CN111768398A (zh) * 2020-07-06 2020-10-13 北京瑞莱智慧科技有限公司 光伏组件的缺陷检测方法、装置、存储介质和计算设备
CN111862078A (zh) * 2020-07-31 2020-10-30 嘉应学院 一种基于深度学习的电力巡检智能缺陷检测方法
CN112233092A (zh) * 2020-10-16 2021-01-15 广东技术师范大学 一种用于无人机电力巡检智能缺陷检测的深度学习方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
QIJIE ZHAO等: "M2Det: A Single-Shot Object Detector based on Multi-Level Feature Pyramid Network", 《ARXIV:1811.04533V3》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113870206A (zh) * 2021-09-22 2021-12-31 的卢技术有限公司 一种用于绝缘子缺陷检测的数据增强方法
CN114612853A (zh) * 2022-02-11 2022-06-10 江苏濠汉信息技术有限公司 基于注意力机制和时序图像分析的车辆检测系统及方法
CN114581419A (zh) * 2022-03-09 2022-06-03 国网浙江省电力有限公司超高压分公司 变压器绝缘套管缺陷检测方法、相关设备及可读存储介质
CN114638809A (zh) * 2022-03-22 2022-06-17 南京工业大学 基于pa-mlfpn工件表面多尺度微小缺陷检测方法
CN115661041A (zh) * 2022-09-29 2023-01-31 国网河北省电力有限公司信息通信分公司 一种绝缘子缺陷检测方法及系统
WO2024208100A1 (zh) * 2023-04-04 2024-10-10 东莞职业技术学院 基于可融合的特征金字塔的换向器内侧图像缺陷检测方法

Similar Documents

Publication Publication Date Title
CN111461110B (zh) 一种基于多尺度图像和加权融合损失的小目标检测方法
CN113205502A (zh) 一种基于深度学习的绝缘子缺陷检测方法及其系统
CN111126472B (zh) 一种基于ssd改进的目标检测方法
CN109859190B (zh) 一种基于深度学习的目标区域检测方法
CN109840556B (zh) 一种基于孪生网络的图像分类识别方法
CN110163213B (zh) 基于视差图和多尺度深度网络模型的遥感图像分割方法
CN111179217A (zh) 一种基于注意力机制的遥感图像多尺度目标检测方法
CN111179229A (zh) 一种基于深度学习的工业ct缺陷检测方法
CN113379771B (zh) 带有边缘约束的层次化人体解析语义分割方法
CN108961180B (zh) 红外图像增强方法及系统
CN112560675B (zh) Yolo与旋转-融合策略相结合的鸟类视觉目标检测方法
CN111597920B (zh) 一种自然场景下的全卷积单阶段的人体实例分割方法
CN113971764B (zh) 一种基于改进YOLOv3的遥感图像小目标检测方法
CN114140683A (zh) 一种航拍图像目标检测的方法、设备与介质
CN116645592B (zh) 一种基于图像处理的裂缝检测方法和存储介质
CN115205672A (zh) 一种基于多尺度区域注意力的遥感建筑物语义分割方法及系统
CN113378812A (zh) 一种基于Mask R-CNN和CRNN的数字表盘识别方法
CN117437201A (zh) 一种基于改进YOLOv7的道路裂缝检测方法
CN114782417A (zh) 基于边缘强化图像分割的风机数字孪生特征实时检测方法
CN113111740A (zh) 一种遥感图像目标检测的特征编织方法
Zhu et al. Towards automatic wild animal detection in low quality camera-trap images using two-channeled perceiving residual pyramid networks
CN116152226A (zh) 基于可融合的特征金字塔的换向器内侧图像缺陷检测方法
CN112733756A (zh) 一种基于w散度对抗网络的遥感图像语义分割方法
CN116030361A (zh) 一种基于cim-t架构的高分辨率影像变化检测方法
CN111553337A (zh) 一种基于改进锚框的高光谱多目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Zhang Yinghui

Inventor after: Waiting for Jing

Inventor after: Xing Yaxuan

Inventor after: Bai Ge

Inventor before: Zhang Yinghui

Inventor before: Hou Jing

Inventor before: Xing Yaxuan

Inventor before: Bai Ge

CB03 Change of inventor or designer information
RJ01 Rejection of invention patent application after publication

Application publication date: 20210803

RJ01 Rejection of invention patent application after publication