CN116468714A - 绝缘子缺陷检测方法、系统和计算机可读存储介质 - Google Patents

绝缘子缺陷检测方法、系统和计算机可读存储介质 Download PDF

Info

Publication number
CN116468714A
CN116468714A CN202310468174.XA CN202310468174A CN116468714A CN 116468714 A CN116468714 A CN 116468714A CN 202310468174 A CN202310468174 A CN 202310468174A CN 116468714 A CN116468714 A CN 116468714A
Authority
CN
China
Prior art keywords
insulator
image
detection model
detection
source data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310468174.XA
Other languages
English (en)
Inventor
高圣溥
张云翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Power Supply Co ltd
Original Assignee
Shenzhen Power Supply Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Power Supply Co ltd filed Critical Shenzhen Power Supply Co ltd
Priority to CN202310468174.XA priority Critical patent/CN116468714A/zh
Publication of CN116468714A publication Critical patent/CN116468714A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种绝缘子缺陷检测方法、系统和计算机可读存储介质，包括：获取绝缘子缺陷的多源数据训练集，多源数据训练集包括可见光图像样本和红外图像样本；根据多源数据训练集对绝缘子检测模型进行训练，以构建目标检测模型；将待检测的输电线路图像输入至目标检测模型中，以输出目标预测框，目标预测框用于确定绝缘子的缺陷位置，待检测的输电线路图像包括可见光检测图像和对应的红外检测图像。将可见光图像样本和红外图像样本结合作为多源数据，以多模态图像的训练方式使绝缘子检测模型能够学习到更全面的特征信息，且基于多源数据的深度学习技术，能够自动识别和判定绝缘子的破裂和损坏情况，大大提高检测准确率和鲁棒性。

Description

绝缘子缺陷检测方法、系统和计算机可读存储介质
技术领域
本申请涉及计算机检测技术领域，特别是涉及一种绝缘子缺陷检测方法、系统和计算机可读存储介质。
背景技术
输电线路是电力系统中的重要组成部分，而输电线路绝缘子的安全运行对电网的可靠运行至关重要，在绝缘子发生破裂或损坏时，将可能导致线路短路和发生火灾等严重后果。随着人工智能技术的发展，利用深度学习模型的目标检测方法被广泛应用在安防等领域，但使用单一类型的数据源(如可见光图像)对绝缘子进行缺陷检测的效果不佳，在成像条件较差或受到遮挡时难以分辨出缺陷的绝缘子，易出现错检、漏检等问题，检测精度较低。
发明内容
基于此，有必要针对现有技术中单一类型的数据源对绝缘子进行缺陷检测的效果不佳的问题提供一种绝缘子缺陷检测方法、系统和计算机可读存储介质。
为了实现上述目的，本申请提供了一种绝缘子缺陷检测方法，包括：
获取绝缘子缺陷的多源数据训练集，所述多源数据训练集包括可见光图像样本和红外图像样本；
根据所述多源数据训练集对绝缘子检测模型进行训练，以构建目标检测模型；
将待检测的输电线路图像输入至所述目标检测模型中，以输出目标预测框，所述目标预测框用于确定绝缘子的缺陷位置，所述待检测的输电线路图像包括可见光检测图像和对应的红外检测图像。
在其中一个实施例中，所述绝缘子检测模型包括依次相连的特征提取模块、编码模块、预测头部模块和参数更新模块，所述根据所述多源数据训练集对绝缘子检测模型进行训练，以构建目标检测模型，包括：
基于所述特征提取模块对所述可见光图像样本和所述红外图像样本分别进行全局特征提取，并将两路经全局特征提取的特征图像进行拼接和位置编码；
基于所述编码模块对经拼接后的特征图像进行融合处理，获得融合后的特征图像；
基于所述预测头部模块对融合后的特征图像进行目标预测，以输出类别预测结果和边界框预测结果；
基于所述参数更新模块对所述类别预测结果和所述边界框预测结果进行损失计算，根据损失计算结果和梯度回传算法对所述绝缘子检测模型的参数进行优化更新，以构建所述目标检测模型。
在其中一个实施例中，所述编码模块包括依次相连的多个编码器，上一级所述编码器的输出为下一级所述编码器的输入，所述编码器包括多头注意力层和前馈网络层，所述基于所述编码模块对经拼接后的特征图像进行融合处理，获得融合后的特征图像，包括：
将经位置编码后的特征图像通过线性变换以获取查询向量、键向量和值向量；
根据所述查询向量和所述键向量进行相似度计算，并将相似度计算结果转换为注意力权重分布，将所述注意力权重分布与所述值向量的乘积作为一路注意力结果，多路注意力结果经过拼接后通过所述前馈网络层的特征变换，输出至下一级编码器，其中，最后一级编码器的输出作为融合后的特征图像。
在其中一个实施例中，所述多头注意力层和所述前馈网络层之间还包括依次连接的第一残差网络和第一层归一化网络，所述前馈网络层的输出端还依次连接第二残差网络和第二层归一化网络，所述残差网络用于残差处理，所述层归一化网络用于归一化处理。
在其中一个实施例中，所述预测头部模块包括第一前馈网络和第二前馈网络，所述第一前馈网络用于类别预测，第二前馈网络用于边界框预测。
在其中一个实施例中，所述基于所述参数更新模块对所述类别预测结果和所述边界框预测结果进行损失计算，包括：
对所述类别预测结果和所述边界框预测结果进行正负样本分配；
根据正负样本分配结果和损失函数进行损失计算。
在其中一个实施例中，所述将待检测的输电线路图像输入至所述目标检测模型中，以输出目标预测框，包括：
将待检测的输电线路对应的可见光检测图像和红外光检测图像输入至所述目标检测模型之后，输出预设数量的边界框；
基于非极大值抑制算法通过筛选所述预设数量的边界框以输出所述目标预测框。
在其中一个实施例中，所述获取绝缘子缺陷的多源数据训练集，包括：
采集输电线路的可见光巡检图像和红外巡检图像，以获取绝缘子图像集；
对所述绝缘子图像集中的各绝缘子图像的缺陷区域进行标注，将标注后的绝缘子图像集作为所述多源数据训练集。
本申请提供一种绝缘子缺陷检测系统，包括：
获取模块，用于获取绝缘子缺陷的多源数据训练集，所述多源数据训练集包括可见光图像样本和红外图像样本；
训练模块，用于根据所述多源数据训练集对绝缘子检测模型进行训练，以构建目标检测模型；
检测模块，用于将待检测的输电线路图像输入至所述目标检测模型中，以输出目标预测框，所述目标预测框用于确定绝缘子的缺陷位置，所述待检测的输电线路图像包括可见光检测图像和对应的红外检测图像。
本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的绝缘子缺陷检测方法。
上述绝缘子缺陷检测方法、系统和计算机可读存储介质，通过绝缘子缺陷的可见光图像样本和红外图像样本对绝缘子检测模型进行训练，以构建目标检测模型，将待检测的输电线路图像输入至目标检测模型中以获取绝缘子缺陷情况，将可见光图像样本和红外图像样本结合作为多源数据，以多模态图像的训练方式使绝缘子检测模型能够学习到更全面的特征信息，提高绝缘子缺陷检测的鲁棒性和准确性，基于深度学习技术和多源数据来综合判断绝缘子的缺陷情况，能够自动识别和判定绝缘子的破裂和损坏情况，大大提高检测准确率和效率。
附图说明
为了更清楚地说明本申请实施例或传统技术中的技术方案，下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一实施例中提供的绝缘子缺陷检测方法的流程示意图之一；
图2为一实施例中提供的绝缘子缺陷检测方法的流程示意图之二；
图3为一实施例中提供的绝缘子缺陷检测方法的流程示意图之三；
图4为一实施例中提供的绝缘子缺陷检测方法的流程示意图之四；
图5为一实施例中提供的绝缘子缺陷检测方法的流程示意图之五；
图6为一实施例中提供的绝缘子缺陷检测方法的流程示意图之六。
具体实施方式
为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的实施例。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使本申请的公开内容更加透彻全面。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。
在此使用时，单数形式的“一”、“一个”和“所述/该”也可以包括复数形式，除非上下文清楚指出另外的方式。还应当理解的是，术语“包括/包含”或“具有”等指定所陈述的特征、整体、步骤、操作、组件、部分或它们的组合的存在，但是不排除存在或添加一个或更多个其他特征、整体、步骤、操作、组件、部分或它们的组合的可能性。同时，在本说明书中，术语“和/或”包括相关所列项目的任何及所有组合。
请参阅图1，本申请提供一种绝缘子缺陷检测方法，所述方法包括步骤S102～步骤S106。
步骤S102：获取绝缘子缺陷的多源数据训练集，多源数据训练集包括可见光图像样本和红外图像样本。
其中，多源数据训练集为多组相互对应且包含绝缘子缺陷的可见光图像样本和红外图像样本。可以理解的是，可见光图像的空间分辨率较高且具有清晰的细节纹理信息，更易被人眼视觉系统所理解，但其对光照条件和背景信息等环境依赖性较大，在夜晚、光照条件较差或有遮挡物的情况下，可见光图像会丢失很多有用的视觉信息，进而使可见光成像效果变差。而红外线的波段很小，虽然对于人眼来说无法被辨知，但红外图像能够记录不同物体的热辐射，对具有明显红外热特性的物体和区域敏感，故红外图像虽然没有可见光图像的高分辨率和对比度，但其不受光照条件和烟雾的限制，抗干扰能力强且可以全天候工作。可见，单一类型的图像信息具有一定的局限性，难以获取所需要的全部信息，在一些特定场景下无法满足使用需求，因此，将红外图像中的高亮目标信息和可见光图像的高分辨率场景纹理信息进行融合利用，二者所获取的场景信息有优势互补的特性，能够突出目标和保留细节，以对场景信息进行更为准确全面的描述，方便下一步的目标追踪或检测等工作。基于此，本申请以多模态图像的训练方式使绝缘子检测模型能够学习到更全面的特征信息，相比于单模态图像具备更好的鲁棒性和检测精度，能够尽可能多的保留场景的有效信息，提升图像质量。
步骤S104：根据多源数据训练集对绝缘子检测模型进行训练，以构建目标检测模型。
其中，绝缘子检测模型是一种进行数据处理的深度学习模型，其包含大量参数，通过训练可以实现多样化的网络结构，具有丰富的表达能力。可选地，绝缘子检测模型可以是基于Retinanet的检测模型，将绝缘子缺陷的可见光图像样本和红外图像样本输入到未经训练或未训练完成的绝缘子检测模型，经过模型中各层参数的处理，输出该可见光图像样本和红外图像样本对应的预测结果，并根据该预测结果与真实值的对比情况，不断更新调整各层的参数，直至预测结果最接近于真实值时完成训练，即获得最优检测模型，并将完成训练的绝缘子检测模型作为目标检测模型，对实时拍摄的输电线路图像进行绝缘子缺陷检测。本实施例基于深度学习技术，在模型训练阶段，利用丰富的可见光图像样本和对应的红外图像样本，对绝缘子检测模型的图像特征提取能力、图像重建能力和目标预测能力进行训练，使训练后的检测模型更有针对性地预测绝缘子缺陷，进而提升预测性能和预测精度。
步骤S106：将待检测的输电线路图像输入至目标检测模型中，以输出目标预测框，目标预测框用于确定绝缘子的缺陷位置，待检测的输电线路图像包括可见光检测图像和对应的红外检测图像。
可选地，可以通过无人机或者塔基摄像头实时采集待检测的输电线路图像，所述待检测的输电线路图像为相互对应的可见光检测图像和红外检测图像，将可见光检测图像和红外检测图像输入目标检测模型，得到目标检测模型输出的目标预测框，其中，目标预测框包括目标预测框的中心点坐标，框的宽度和高度，以及类别信息(绝缘子缺陷或绝缘子正常)，由此确定绝缘子的检测结果，且进一步地，若检测结果显示绝缘子存在缺陷，则发送报警信号以指示工作人员及时采取措施对绝缘子进行检修或更换，从而确保输电线路的正常运行和安全性。基于多模态图像(可见光图像和红外图像)和深度学习技术，通过利用多模态之间的互补性，剔除模态间的冗余性，从而学习到更好的特征表示，能够实现自动识别和判定绝缘子的破裂和损坏情况，大大提高检测准确率和效率，避免了由于人为疏忽或耽误导致的事故发生，具有较高的应用价值和市场前景。
在上述示例中，通过绝缘子缺陷的可见光图像样本和红外图像样本对绝缘子检测模型进行训练，以构建目标检测模型，将待检测的输电线路图像输入至目标检测模型中以获取绝缘子缺陷情况，将可见光图像样本和红外图像样本结合作为多源数据，以多模态图像的训练方式使绝缘子检测模型能够学习到更全面的特征信息，提高绝缘子缺陷检测的鲁棒性和准确性，基于深度学习技术和多源数据来综合判断绝缘子的缺陷情况，能够自动识别和判定绝缘子的破裂和损坏情况，大大提高检测准确率和效率。
在一个实施例中，如图2所示，步骤S102获取绝缘子缺陷的多源数据训练集包括步骤S202和步骤S204。
步骤S202：采集输电线路的可见光巡检图像和红外巡检图像，以获取绝缘子图像集。
可选地，可以通过无人机或者塔基摄像头采集输电线路的若干巡检图像，该巡检图像为多组相互对应且包含绝缘子目标的可见光巡检图像和红外巡检图像，并作为绝缘子图像集。
步骤S204：对绝缘子图像集中的各绝缘子图像的缺陷区域进行标注，将标注后的绝缘子图像集作为多源数据训练集。
其中，可以筛选绝缘子图像集中存在绝缘子缺陷的图像，并利用软件对绝缘子缺陷区域以标记框的形式进行标注，从而获取标记框的中心点坐标、标记框的尺寸信息和标记框类型信息的标签，该标签记录的信息会被绝缘子检测模型用来与预测结果进行比较，进而根据比较结果来决策是否对模型中各层的参数进行优化更新。具体地，所述标记框以向量(x，y，w，h)的形式表示，x表示标记框中心点的横坐标，y表示标记框中心点的纵坐标，w表示标记框的宽度，h表示标记框的高度，此外，标记框还以L作为类别信息标注，即表示绝缘子缺陷。
进一步地，优选地，可以对标注后的绝缘子图像集进行数据去噪和预处理，预处理的方式包括缩放、翻转、裁剪、灰度变化、模糊等操作，达到对绝缘子图像集进行扩增的目的，以更好地模拟实际场景下的情况，因此可以将预处理后的绝缘子图像集作为多源数据训练集输入至绝缘子检测模型。
在一个实施例中，如图3所示，步骤S104根据多源数据训练集对绝缘子检测模型进行训练，以构建目标检测模型包括步骤S302～步骤S308，其中，绝缘子检测模型包括依次相连的特征提取模块、编码模块、预测头部模块和参数更新模块。
步骤S302：基于特征提取模块对可见光图像样本和红外图像样本分别进行全局特征提取，并将两路经全局特征提取的特征图像进行拼接和位置编码。
优选地，所述特征提取模块包括两个相同的MobileNet v2网络，MobileNet v2网络更轻量化，在实际应用过程中可保障测试速度，其中一个MobileNet网络负责可见光图像样本的特征提取，另一个MobileNet网络负责红外图像样本的特征提取，进一步地，特征提取模块将两路经特征提取的特征图像拼接到一起，为了不丢失特征之间的位置信息，需要对拼接后的特征图像进行位置编码，位置编码(PE)的计算如公式(1)和公式(2)所示：
PE(pos,2i)＝sin(pos/100002i/dmodel)---(1)
PE(pos,2i+1)＝cos(pos/100002i/dmodel)---(2)
其中，pos表示像素点在特征图像中的位置，i表示特征图的维度，dmodel表示模型设置的向量维度。
步骤S304：基于编码模块对经拼接后的特征图像进行融合处理，获得融合后的特征图像。
其中，编码模块为Transformer网络，通过Transformer网络对不同源的数据特征进行处理，相比于传统的CNN方法更具灵活性。具体地，将拼接后的特征图像和位置编码输入到编码模块进行多源数据特征整合来增加多源数据的特征表达能力，进而提升模型预测的性能。
步骤S306：基于预测头部模块对融合后的特征图像进行目标预测，以输出类别预测结果和边界框预测结果。
将融合后的特征图像输入到预测头部模块，在一些实施例中，所述预测头部模块包括两个独立的第一前馈网络和第二前馈网络，第一前馈网络用于类别预测以输出类别预测结果，第二前馈网络用于边界框预测以输出边界框预测结果。
步骤S308：基于参数更新模块对类别预测结果和边界框预测结果进行损失计算，根据损失计算结果和梯度回传算法对绝缘子检测模型的参数进行优化更新，以构建目标检测模型。
可以理解，损失计算是用于计算预测结果与真实值之间的损失，进而根据损失计算出来的结果，通过梯度回传算法来修改参数，迭代绝缘子检测模型参数。
在一个实施例中，如图4所示，步骤S304基于编码模块对经拼接后的特征图像进行融合处理，获得融合后的特征图像，包括步骤S402和步骤S404，其中，编码模块包括依次相连的多个编码器，上一级编码器的输出为下一级编码器的输入，编码器包括多头注意力层和前馈网络层。
步骤S402：将经位置编码后的特征图像通过线性变换以获取查询向量、键向量和值向量。
优选地，编码模块包括依次连接的六个编码器，利用多层相同编码器的结构，每一层能够学习不同的内容和逻辑以提升模型的学习能力，在第一个编码器中，输入特征图像和位置编码，输出一个输出值，再将该输出值输入到下一个编码器，下一个编码器输出一个输出值，以此类推，直至最后一个编码器输出一个输出值作为融合后的特征图像。其中，对于每一个编码器，其包括多头注意力层和前馈网络层，且多头注意力层和前馈网络层之间还包括依次连接的第一残差网络和第一层归一化网络，前馈网络层的输出端还依次连接第二残差网络和第二层归一化网络，残差网络用于残差处理，层归一化网络用于归一化处理，也即，每个编码器包括依次连接的多头注意力层、第一残差网络、第一层归一化网络、前馈网络层、第二残差网络、第二层归一化网络。
进一步地，在绝缘子检测模型中，各特征图像通过多头注意力层的自注意力机制计算得到，然后通过前馈网络层进行进一步处理以提取更丰富的图像信息，而残差网络和层归一化网络能够有效地缓解梯度消失的问题，使得模型能够学习更深层的特征表示。其中，注意力机制是指模型通过训练能够实现自动聚焦到待分类物体或待检测物体上，多头注意力层通过多个不同的线性变换以获取查询向量(Q)、键向量(K)、值向量(V)。
步骤S404：根据查询向量和键向量进行相似度计算，并将相似度计算结果转换为注意力权重分布，将注意力权重分布与值向量的乘积作为一路注意力结果，多路注意力结果经过拼接后通过前馈网络层的特征变换，输出至下一级编码器，其中，最后一级编码器的输出作为融合后的特征图像。
其中，在此引入Query，Key和Value的概念，Query(Q)表示查询，Key(K)表示键，用于和要查询的Query做比较，比较得到一个分数(相关性或者相似度)再乘以Value(V)值，进而得到最终的结果。
对于多头自注意力机制，其输入的参数Q为上一个编码器的输出(如果当前编码器是第一个编码器则是特征图像)加上位置编码(PE)，K为上一个编码器的输出(如果当前编码器是第一个编码器则是特征图像)加上位置编码(PE)，V是上一个编码器的输出(如果当前编码器是第一个编码器则是特征图像)。
进一步地，多头注意力层通过多头注意力机制进行计算，计算式如下：
其中，多头注意力层用于计算相关性，是为了把注意力矩阵变成标准正态分布，上式表示多头注意力机制使用多个不同的参数Q，K，V计算Attention的结果进行合并(concat)，然后通过一个矩阵相乘进行维度调整，将维度调整为与编码模块的输入值的维度一致。
进一步地，前馈网络层是一个两层的全连接层，第一层的激活函数为Relu，第二层不使用激活函数，前馈网络层最终得到的输出矩阵的维度与输入矩阵的维度一致，其计算式如下：
output＝max(0,XW1+b1)W2+b2---(4)
其中，X表示输入，W1表示全连接中的矩阵，b1表示偏置项，max()表示取最大值函数，W2表示全连接中的矩阵，b2表示偏置项。
在一个实施例中，如图5所示，步骤S308基于参数更新模块对类别预测结果和边界框预测结果进行损失计算，包括步骤S502和步骤S504。
步骤S502：对类别预测结果和边界框预测结果进行正负样本分配。
其中，可以使用正例匹配算法匹配出正样本和负样本，可以理解，正样本用于使预测结果更靠近真实值，负样本用于使预测结果更远离除了真实值之外的值，由于在目标检测中不能将所有的边界框预测结果都进入损失函数进行计算，因为边界框过多，参数量太大，故需要先将正负样本选择出来，再进行损失函数的计算，对于正样本，是回归与分类都进行，而负样本由于没有回归对象，不进行回归，只进行分类(分类为背景)。进一步地，对于每个特征点预设9个锚框，使用最大IOU正例匹配算法进行正例匹配，IOU阈值可设为0.5，得到匹配好的正样本和负样本作为输出值输入至损失函数中。
步骤S504：根据正负样本分配结果和损失函数进行损失计算。
可以理解，第一前馈网络输出的类别预测结果通过分类损失函数计算分类损失，可选地，分类损失函数采用聚焦损失函数，计算式如公式(5)所示：
FL(pt)＝-αt(1-pt)γlog(pt)---(5)
其中，αt是正负样本不平衡的权重因子，取0.25；对于类别1乘以αt，而对于类别-1乘以1-αt；γ是表示进行难例挖掘的权重因子，其值取2，对于难例pt越小，容易例子pt越大，通过γ来突出难例对损失函数的贡献。
第二前馈网络输出的边界框预测结果则通过回归损失函数计算回归损失，可选地，回归损失函数采用L1损失函数，计算式如公式(6)所示：
L1＝|f(x)-Y|---(6)
其中，f(x)表示模型预测的结果，Y表示真值。进一步地，根据损失计算结果，基于梯度回传损失函数计算值进行绝缘子检测模型的参数更新，通过不断训练模型以优化模型各模块的参数以达到预测结果最佳的效果，最终将训练好的参数导入绝缘子检测模型以形成训练好的目标检测模型。根据正负样本来计算损失函数，并利用损失函数结果进行反向传播，对模型参数不断更新和调整，将损失函数最小化，当损失函数最小时，可停止训练，否则更换样本继续训练。
在一个实施例中，如图6所示，步骤S106将待检测的输电线路图像输入至目标检测模型中，以输出目标预测框，包括步骤S602和步骤S604。
步骤S602：将待检测的输电线路对应的可见光检测图像和红外光检测图像输入至目标检测模型之后，输出预设数量的边界框。
可选地，通过无人机或者塔基摄像头采集输电线路的若干检测图像，该检测图像为多组相互对应且包含绝缘子目标的可见光检测图像和红外检测图像，并输入到训练好的目标检测模型中，输出预测的边界框。
步骤S604：基于非极大值抑制算法通过筛选预设数量的边界框以输出目标预测框。
可以理解，使用非极大值抑制算法抑制掉重复的框并将输出结果作为最终的预测框，得到待检测的输电线路图像中破损绝缘子的位置，也即，通过遍历所有的候选边界框，若任意两个边界框之间存在交叠，则计算两个边界框之间的交并比(IoU)，若置信度高的边界框具有更高的准确性，则当交并比大于预设阈值的两个边界框属于同一个目标，进而保留了置信度较高的框，以不断循环的方式最终实现所有预测边界框的非极大值抑制，并输出最终的目标预测框。
通过上述过程，可以较为准确且快速地得到绝缘子的缺陷位置，以示工作人员及时检修或更换，避免由于人为疏忽或耽误导致的事故发生，大大提高了检测的准确率和效率。
本申请提供一种绝缘子缺陷检测系统，包括获取模块、训练模块以及检测模块，获取模块用于执行步骤S102获取绝缘子缺陷的多源数据训练集，多源数据训练集包括可见光图像样本和红外图像样本，训练模块用于执行步骤S104根据多源数据训练集对绝缘子检测模型进行训练，以构建目标检测模型，检测模块用于执行步骤S106将待检测的输电线路图像输入至目标检测模型中，以输出目标预测框，目标预测框用于确定绝缘子的缺陷位置，待检测的输电线路图像包括可见光检测图像和对应的红外检测图像。各模块可以参考对应步骤实施例的相关描述，在此不再赘述。
本申请提供一种计算机设备，该计算机设备包括通过系统总线连接的处理器、存储器和通信接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种绝缘子缺陷检测方法。
本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述各方法实施例中的步骤。
应该理解的是，除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1～图6中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在本说明书的描述中，参考术语“有些实施例”、“其他实施例”、“理想实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特征包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性描述不一定指的是相同的实施例或示例。上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种绝缘子缺陷检测方法，其特征在于，包括：
获取绝缘子缺陷的多源数据训练集，所述多源数据训练集包括可见光图像样本和红外图像样本；
根据所述多源数据训练集对绝缘子检测模型进行训练，以构建目标检测模型；
将待检测的输电线路图像输入至所述目标检测模型中，以输出目标预测框，所述目标预测框用于确定绝缘子的缺陷位置，所述待检测的输电线路图像包括可见光检测图像和对应的红外检测图像。
2.根据权利要求1所述的绝缘子缺陷检测方法，其特征在于，所述绝缘子检测模型包括依次相连的特征提取模块、编码模块、预测头部模块和参数更新模块，所述根据所述多源数据训练集对绝缘子检测模型进行训练，以构建目标检测模型，包括：
基于所述特征提取模块对所述可见光图像样本和所述红外图像样本分别进行全局特征提取，并将两路经全局特征提取的特征图像进行拼接和位置编码；
基于所述编码模块对经拼接后的特征图像进行融合处理，获得融合后的特征图像；
基于所述预测头部模块对融合后的特征图像进行目标预测，以输出类别预测结果和边界框预测结果；
基于所述参数更新模块对所述类别预测结果和所述边界框预测结果进行损失计算，根据损失计算结果和梯度回传算法对所述绝缘子检测模型的参数进行优化更新，以构建所述目标检测模型。
3.根据权利要求2所述的绝缘子缺陷检测方法，其特征在于，所述编码模块包括依次相连的多个编码器，上一级所述编码器的输出为下一级所述编码器的输入，所述编码器包括多头注意力层和前馈网络层，所述基于所述编码模块对经拼接后的特征图像进行融合处理，获得融合后的特征图像，包括：
将经位置编码后的特征图像通过线性变换以获取查询向量、键向量和值向量；
根据所述查询向量和所述键向量进行相似度计算，并将相似度计算结果转换为注意力权重分布，将所述注意力权重分布与所述值向量的乘积作为一路注意力结果，多路注意力结果经过拼接后通过所述前馈网络层的特征变换，输出至下一级编码器，其中，最后一级编码器的输出作为融合后的特征图像。
4.根据权利要求3所述的绝缘子缺陷检测方法，其特征在于，所述多头注意力层和所述前馈网络层之间还包括依次连接的第一残差网络和第一层归一化网络，所述前馈网络层的输出端还依次连接第二残差网络和第二层归一化网络，所述残差网络用于残差处理，所述层归一化网络用于归一化处理。
5.根据权利要求2所述的绝缘子缺陷检测方法，其特征在于，所述预测头部模块包括第一前馈网络和第二前馈网络，所述第一前馈网络用于类别预测，第二前馈网络用于边界框预测。
6.根据权利要求2所述的绝缘子缺陷检测方法，其特征在于，所述基于所述参数更新模块对所述类别预测结果和所述边界框预测结果进行损失计算，包括：
对所述类别预测结果和所述边界框预测结果进行正负样本分配；
根据正负样本分配结果和损失函数进行损失计算。
7.根据权利要求1所述的绝缘子缺陷检测方法，其特征在于，所述将待检测的输电线路图像输入至所述目标检测模型中，以输出目标预测框，包括：
将待检测的输电线路对应的可见光检测图像和红外光检测图像输入至所述目标检测模型之后，输出预设数量的边界框；
基于非极大值抑制算法通过筛选所述预设数量的边界框以输出所述目标预测框。
8.根据权利要求1所述的绝缘子缺陷检测方法，其特征在于，所述获取绝缘子缺陷的多源数据训练集，包括：
采集输电线路的可见光巡检图像和红外巡检图像，以获取绝缘子图像集；
对所述绝缘子图像集中的各绝缘子图像的缺陷区域进行标注，将标注后的绝缘子图像集作为所述多源数据训练集。
9.一种绝缘子缺陷检测系统，其特征在于，包括：
获取模块，用于获取绝缘子缺陷的多源数据训练集，所述多源数据训练集包括可见光图像样本和红外图像样本；
训练模块，用于根据所述多源数据训练集对绝缘子检测模型进行训练，以构建目标检测模型；
检测模块，用于将待检测的输电线路图像输入至所述目标检测模型中，以输出目标预测框，所述目标预测框用于确定绝缘子的缺陷位置，所述待检测的输电线路图像包括可见光检测图像和对应的红外检测图像。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的绝缘子缺陷检测方法。
CN202310468174.XA 2023-04-19 2023-04-19 绝缘子缺陷检测方法、系统和计算机可读存储介质 Pending CN116468714A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310468174.XA CN116468714A (zh) 2023-04-19 2023-04-19 绝缘子缺陷检测方法、系统和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310468174.XA CN116468714A (zh) 2023-04-19 2023-04-19 绝缘子缺陷检测方法、系统和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN116468714A true CN116468714A (zh) 2023-07-21

Family

ID=87176914

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310468174.XA Pending CN116468714A (zh) 2023-04-19 2023-04-19 绝缘子缺陷检测方法、系统和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN116468714A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117451744A (zh) * 2023-12-20 2024-01-26 东莞市钜欣电子有限公司 红外透镜的缺陷检测方法、装置、设备及存储介质
CN117470859A (zh) * 2023-12-25 2024-01-30 广州中科智巡科技有限公司 绝缘子内部缺陷检测方法和装置
CN117576108A (zh) * 2024-01-17 2024-02-20 杭州广立微电子股份有限公司 晶圆缺陷检测的可视化优化方法、装置和计算机设备
CN117710366A (zh) * 2024-02-02 2024-03-15 杭州百子尖科技股份有限公司 用于保温杯的质检方法、装置和存储介质
CN118397010A (zh) * 2024-07-01 2024-07-26 国网浙江省电力有限公司松阳县供电公司 模型训练、蜈蚣梯绝缘平台缺陷检测方法、系统及设备

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117451744A (zh) * 2023-12-20 2024-01-26 东莞市钜欣电子有限公司 红外透镜的缺陷检测方法、装置、设备及存储介质
CN117451744B (zh) * 2023-12-20 2024-03-19 东莞市钜欣电子有限公司 红外透镜的缺陷检测方法、装置、设备及存储介质
CN117470859A (zh) * 2023-12-25 2024-01-30 广州中科智巡科技有限公司 绝缘子内部缺陷检测方法和装置
CN117470859B (zh) * 2023-12-25 2024-03-22 广州中科智巡科技有限公司 绝缘子内部缺陷检测方法和装置
CN117576108A (zh) * 2024-01-17 2024-02-20 杭州广立微电子股份有限公司 晶圆缺陷检测的可视化优化方法、装置和计算机设备
CN117576108B (zh) * 2024-01-17 2024-05-28 杭州广立微电子股份有限公司 晶圆缺陷检测的可视化优化方法、装置和计算机设备
CN117710366A (zh) * 2024-02-02 2024-03-15 杭州百子尖科技股份有限公司 用于保温杯的质检方法、装置和存储介质
CN117710366B (zh) * 2024-02-02 2024-05-14 杭州百子尖科技股份有限公司 用于保温杯的质检方法、装置和存储介质
CN118397010A (zh) * 2024-07-01 2024-07-26 国网浙江省电力有限公司松阳县供电公司 模型训练、蜈蚣梯绝缘平台缺陷检测方法、系统及设备
CN118397010B (zh) * 2024-07-01 2024-08-30 国网浙江省电力有限公司松阳县供电公司 模型训练、蜈蚣梯绝缘平台缺陷检测方法、系统及设备

Similar Documents

Publication Publication Date Title
CN116468714A (zh) 绝缘子缺陷检测方法、系统和计算机可读存储介质
CN112884064B (zh) 一种基于神经网络的目标检测与识别方法
Kim et al. High-speed drone detection based on yolo-v8
CN116468730B (zh) 基于YOLOv5算法的航拍绝缘子图像缺陷检测方法
CN113420819B (zh) 一种基于CenterNet的轻量级水下目标检测方法
CN113627504B (zh) 基于生成对抗网络的多模态多尺度特征融合目标检测方法
CN113326735B (zh) 一种基于YOLOv5的多模态小目标检测方法
CN112528979A (zh) 变电站巡检机器人障碍物判别方法及系统
CN115995058A (zh) 基于人工智能的输电通道安全在线监测方法
CN117557775A (zh) 基于红外和可见光融合的变电站电力设备检测方法及系统
CN115205233A (zh) 一种基于端对端架构的光伏表面缺陷识别方法及系统
CN114662605A (zh) 基于改进的YOLOv5模型的火焰检测方法
CN116681979A (zh) 一种复杂环境下的电力设备目标检测方法
CN115861608A (zh) 一种基于光强与偏振线索的伪装目标分割方法及系统
CN114241310B (zh) 基于改进yolo模型的堤防管涌险情智能识别方法
CN118230060A (zh) 一种隧道裂缝检测方法及系统
CN116523885A (zh) 一种基于多尺度融合及深度学习的pcb缺陷检测方法
CN114511788A (zh) 一种坡体裂缝识别方法、系统、设备以及存储介质
CN116502810B (zh) 一种基于图像识别的标准化生产监测方法
CN117456321A (zh) 一种基于多模态融合的输电线路热缺陷检测方法
CN117079026A (zh) 一种基于改进YOLOv3网络的无人机电力巡检隐患识别方法
CN116721300A (zh) 基于改进YOLOv3的预制构件表观病害目标检测方法
Jiang et al. Depth image-based obstacle avoidance for an in-door patrol robot
CN116206222A (zh) 基于轻量化目标检测模型的输电线路故障检测方法及系统
CN114241189A (zh) 一种基于深度学习的船舶黑烟识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination