CN113762384A - 一种绝缘子图像的缺陷检测方法及装置 - Google Patents

一种绝缘子图像的缺陷检测方法及装置 Download PDF

Info

Publication number
CN113762384A
CN113762384A CN202111045229.3A CN202111045229A CN113762384A CN 113762384 A CN113762384 A CN 113762384A CN 202111045229 A CN202111045229 A CN 202111045229A CN 113762384 A CN113762384 A CN 113762384A
Authority
CN
China
Prior art keywords
insulator
image
defect
training
cascade
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111045229.3A
Other languages
English (en)
Other versions
CN113762384B (zh
Inventor
杨英仪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Southern Power Grid Power Technology Co Ltd
Original Assignee
China Southern Power Grid Power Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Southern Power Grid Power Technology Co Ltd filed Critical China Southern Power Grid Power Technology Co Ltd
Priority to CN202111045229.3A priority Critical patent/CN113762384B/zh
Publication of CN113762384A publication Critical patent/CN113762384A/zh
Application granted granted Critical
Publication of CN113762384B publication Critical patent/CN113762384B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种绝缘子图像的缺陷检测方法及装置，其方法包括：获取绝缘子训练集和绝缘子测试集；所述绝缘子图像集包括绝缘子本体图像及对应的缺陷标签；基于所述绝缘子数据集，构建优化的目标Cascade‑RCNN框架网络模型；将绝缘子图像输入到所述优化的目标Cascade‑RCNN框架网络模型，得到对应的预测图像；通过Cascade‑RCNN框架网络模型确定绝缘子的缺陷问题，从而提高绝缘子缺陷检测的准确性和效率。

Description

一种绝缘子图像的缺陷检测方法及装置
技术领域
本发明涉及图像识别技术技域，尤其涉及一种绝缘子图像的缺陷检测方法及装置。
背景技术
我国高压和超高压发电站，以及变电站都使用着大量绝缘子，绝缘子起着电气绝缘和机械支撑的作用。虽然绝缘子的安全可靠与否对电网安全、经济、稳定运行至关重要，但在长时间高负荷运行以及在自然环境暴露下，绝缘子非常容易发生故障，一旦发生故障将严重阻碍电力系统的稳定运行。虽然近年来绝缘子的抗风、防雷和绝缘能力得到一定的增强，但是10KV及以下架空线路由于绝缘子的绑扎线磨损或断裂，导致的10kV及以下架空线路事故仍频繁发生。
传统的绝缘子掉串区域的检测是由检测人员通过攀爬塔杆到电力铁塔等电力设备上，对绝缘子进行肉眼观测并记录绝缘子的具体情况，但由于我国环境情况复杂，同时输电行业的设备布局庞大且种类繁多，对于检测人员的体力是一个巨大的挑战，在人为检测工作量大且周期长的情况下，检测人员的安全无法保障。
发明内容
本发明提供了一种绝缘子图像的缺陷检测方法及装置，基于Cascade R-CNN模型对配电线路绝缘子绑扎线和压片处进行缺陷检测，从而提高对绝缘子的缺陷检测精度和检测效率。
第一方面，本发明提供的一种绝缘子图像的缺陷检测方法，包括：
获取绝缘子图像集；所述绝缘子图像集包括绝缘子本体图像及对应的缺陷标签；所述绝缘子图像集又划分为：绝缘子训练集和绝缘子测试集；
基于所述绝缘子训练集中的绝缘子本体图像及对应的缺陷标签，对所构建的Cascade-RCNN模型进行迭代训练，得到训练后的Cascade-RCNN模型；
基于所述绝缘子测试集中的绝缘子本体图像及对应的缺陷标签，对所述训练后的Cascade-RCNN模型进行测试，根据训练误差调整参数继续训练，得到优化的目标Cascade-RCNN模型；
获取待测绝缘子本体图像，并输入所述优化的目标Cascade-RCNN模型，生成对应的绝缘子缺陷预测结果；所述绝缘子缺陷预测结果包括绝缘子绑扎线预测缺陷或绝缘子压片预测缺陷。
可选地，基于所述绝缘子测试集中的绝缘子本体图像及对应的缺陷标签，对所述训练后的Cascade-RCNN模型进行测试，根据训练误差调整参数继续训练，得到优化的目标Cascade-RCNN模型优化的目标，包括：
将所述绝缘子测试集中的绝缘子本体图像输入所述训练后的Cascade-RCNN模型，生成对应的缺陷测试结果；
根据所述绝缘子测试集中的绝缘子本体图像对应的缺陷测试结果和缺陷标签，确定所述训练误差；
基于所述训练误差，对所述训练后的Cascade-RCNN模型进行调整，以得到所述最优网络参数，并采用所述最优网络参数生成所述优化的目标Cascade-RCNN模型。
可选地，所述绝缘子图像集还包括：绝缘子验证集；基于所述训练误差，对所述训练后的Cascade-RCNN模型进行调整，以得到所述最优网络参数，并采用所述最优网络参数生成所述优化的目标Cascade-RCNN模型之后，还包括：
基于所述绝缘子验证集中的绝缘子本体图像集对应的缺陷标签，对所述优化的目标Cascade-RCNN模型进行验证。
可选地，获取绝缘子图像集，包括：
获取已预先标注缺陷标签的绝缘子本体图像；所述绝缘子本体图像包括裁剪后的绝缘子本体图像；所述裁剪后的绝缘子本体图像为基于所述缺陷标签裁剪所得到；
基于所述绝缘子本体图像，构建所述绝缘子图像集。
可选地，所述Cascade-RCNN模型包括：特征提取网络、区域候选提取网络和分类回归网络；基于所述绝缘子训练集中的绝缘子本体图像及对应的缺陷标签，对所构建的Cascade-RCNN模型进行迭代训练，得到训练后的Cascade-RCNN模型，包括：
利用特征提取网络，对所述绝缘子训练集中的绝缘子本体图像进行提取，得到对应的多层级绝缘子特征图；
基于所述绝缘子训练集中的绝缘子本体图像及对应的缺陷标签，以及对应的多层级绝缘子特征图，对所述初区域候选提取网络训练，得到训练后的区域候选提取网络和训练好的分类回归网络。
第二方面，本发明还提供了一种绝缘子图像的缺陷检测装置，其特征在于，包括：
获取模块，用于获取绝缘子图像集；所述绝缘子图像集包括绝缘子本体图像及对应的缺陷标签；所述绝缘子图像集又划分为：绝缘子训练集和绝缘子训练集；
训练模块，用于基于所述绝缘子训练集中的绝缘子本体图像及对应的缺陷标签，对所构建的Cascade-RCNN模型进行迭代训练，得到训练后的Cascade-RCNN模型；
测试模块，用于基于所述绝缘子测试集中的绝缘子本体图像及对应的缺陷标签，对所述训练后的Cascade-RCNN模型进行测试，根据训练误差调整参数继续训练，得到优化的目标Cascade-RCNN模型；
预测模块，用于获取待测绝缘子本体图像，并输入所述优化的目标Cascade-RCNN模型，生成对应的绝缘子缺陷预测结果；所述绝缘子缺陷预测结果包括绝缘子绑扎线预测缺陷或绝缘子压片预测缺陷。
可选地，所述测试模块包括：
缺陷测试结果生成子模块，用于将所述绝缘子测试集中的绝缘子本体图像输入所述训练后的Cascade-RCNN模型，生成对应的缺陷测试结果；
训练误差确定模块，用于根据所述绝缘子测试集中的绝缘子本体图像对应的缺陷测试结果和缺陷标签，确定所述训练误差；
最优网络参数生成模块，用于基于所述训练误差，对所述训练后的Cascade-RCNN模型进行调整，以得到所述最优网络参数，并采用所述最优网络参数生成所述优化的目标Cascade-RCNN模型。
可选地，所述绝缘子图像集还包括：绝缘子验证集；所述装置还包括：
验证模块，用于基于所述绝缘子验证集中的绝缘子本体图像集对应的缺陷标签，对所述优化的目标Cascade-RCNN模型进行验证。
可选地，所述获取模块包括：
获取子模块，用于获取已预先标注缺陷标签的绝缘子本体图像；所述绝缘子本体图像包括裁剪后的绝缘子本体图像；所述裁剪后的绝缘子本体图像为基于所述缺陷标签裁剪所得到；
构建子模块，用于基于所述绝缘子本体图像，构建所述绝缘子图像集。
可选地，所述Cascade-RCNN模型包括：特征提取网络、区域候选提取网络和分类回归网络；所述训练模块包括：
提取子模块，用于利用特征提取网络，对所述绝缘子训练集中的绝缘子本体图像进行提取，得到对应的多层级绝缘子特征图；
训练子模块，用于基于所述绝缘子训练集中的绝缘子本体图像及对应的缺陷标签，以及对应的多层级绝缘子特征图，对所述初区域候选提取网络训练，得到训练后的区域候选提取网络和训练好的分类回归网络。
从以上技术方案可以看出，本发明具有以下优点：
本发明通过获取绝缘子训练集和绝缘子测试集；所述绝缘子图像集包括绝缘子本体图像及对应的缺陷标签；基于所述绝缘子数据集，构建优化的目标Cascade-RCNN框架网络模型；将绝缘子图像输入到所述优化的目标Cascade-RCNN框架网络模型，得到对应的预测图像；通过Cascade-RCNN框架网络模型确定绝缘子的缺陷问题，从而提高绝缘子缺陷检测的准确性和效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图；
图1为本发明的一种绝缘子图像的缺陷检测方法实施例一的步骤流程图；
图2为本发明的一种绝缘子图像的缺陷检测方法实施例二的步骤流程图；
图3为本发明的一种一种绝缘子图像的缺陷检测方法示例的结构框图；
图4为本发明的一种绝缘子图像的缺陷检测装置实施例的结构框图。
具体实施方式
本发明实施例提供了一种绝缘子图像的缺陷检测方法及装置，基于Cascade R-CNN模型对配电线路绝缘子绑扎线和压片处进行缺陷检测，从而提高对绝缘子的缺陷检测精度和检测效率。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，图1为本发明的一种绝缘子图像的缺陷检测方法实施例一的步骤流程图，具体可以包括如下步骤：
步骤S101，获取绝缘子图像集；所述绝缘子图像集包括绝缘子本体图像及对应的缺陷标签；所述绝缘子图像集又划分为：绝缘子训练集和绝缘子测试集；
需要说明的是，绝缘子是安装在不同电位的导体或导体与接地构件之间的能够耐受电压和机械应力作用的器件。绝缘子种类繁多，形状各异。不同类型绝缘子的结构和外形虽有较大差别，但都是由绝缘件和连接金具两大部分组成的。缺陷标签，是指预先标注的能够准确确定就绝缘子本体图像是否存在绑扎线缺陷和/或，压片缺陷的标注信息，可以包括缺陷类别及缺陷位置。
步骤S102，基于所述绝缘子训练集中的绝缘子本体图像及对应的缺陷标签，对所构建的Cascade-RCNN模型进行迭代训练，得到训练后的Cascade-RCNN模型；
步骤S103，基于所述绝缘子测试集中的绝缘子本体图像及对应的缺陷标签，对所述训练后的Cascade-RCNN模型进行测试，根据训练误差调整参数继续训练，得到优化的目标Cascade-RCNN模型；
需要说明的是，Cascade-RCNN模型是将多个RCNN网络基于不同的IOU阈值进行级联，对检测的结果进行不断地优化。
在本发明实施例中，通过绝缘子训练集中的绝缘子本体图像和对应的缺陷标签对所构建的Cascade-RCNN模型进行训练之后，利用绝缘子测试集对训练后的Cascade-RCNN模型进行测试，用以确定最优的网络参数，具体为最优的IOU阈值，从而基于最优的IOU阈值得到优化的目标Cascade-RCNN模型。
步骤S104，获取待测绝缘子本体图像，并输入所述优化的目标Cascade-RCNN模型，生成对应的绝缘子缺陷预测结果；所述绝缘子缺陷预测结果包括绝缘子绑扎线预测缺陷和绝缘子压片预测缺陷。
虽然无人机巡检技术结合传统的人工检测方法，即采用无机人图像采集加业内处理的巡检技术，对铁塔关键位置进行现场数据采集，然后将所采集的数据进行集中的人工图像判断，理论上可以降低检测人员的劳动强度。
但在具体执行时发现，每个县区供电公司每季度的无人机影像数据采集量可达到500GB-800GB之间；其次，由于无人机采集飞行距离远，以及绝缘子绑扎线和压片部位区域影像中占比面积小等原因，对绝缘子图像的处理速度并没有预期的高；此外，由于业内没有明确的统一系统进行数据管理、任务分配、判定结果汇总和报告生成等，加上采集数据之后依靠人工判读数据的方法，导致需要大量的电网专业工作人员进行人工的绝缘子图像判断、对判断结果汇总，以及所汇总的内容生成报告的步骤也占用了大量的人力。这也导致了现阶段的绝缘子图像的缺陷检测方法还是以人工检测为主。
而在本发明实施例中，通过获取绝缘子图像集；所述绝缘子图像集包括绝缘子本体图像及对应的缺陷标签；所述绝缘子图像集又划分为：绝缘子训练集、绝缘子验证集和绝缘子测试集；基于所述绝缘子训练集中的绝缘子本体图像及对应的缺陷标签，对所构建的Cascade-RCNN模型进行迭代训练，得到训练后的Cascade-RCNN模型；基于所述绝缘子测试集中的绝缘子本体图像及对应的缺陷标签，对所述训练后的Cascade-RCNN模型进行测试，验证优化的目标Cascade-RCNN模型的性能；获取待测绝缘子本体图像，并输入所述优化的目标Cascade-RCNN框架网络模型，生成对应的绝缘子缺陷预测结果；所述绝缘子缺陷预测结果包括绝缘子绑扎线预测缺陷和/或，绝缘子压片预测缺陷。基于Cascade R-CNN模型对配电线路绝缘子绑扎线和压片处进行缺陷检测，从而提高对绝缘子的缺陷检测精度和检测效率。
请参阅图2，为本发明的一种绝缘子图像的缺陷检测方法实施例二的步骤流程图，具体包括：
步骤S201，获取已预先标注缺陷标签的绝缘子本体图像；所述绝缘子本体图像包括裁剪后的绝缘子本体图像；所述裁剪后的绝缘子本体图像为基于所述缺陷标签裁剪所得到；
在本发明实施例中，获取无人机所采集的配网线路巡检图像集，然后对巡检图像集中的绝缘子绑扎线图像和绝缘子压片图像进行图像质量评价，其中图像质量评价参数包括图像分辨率、图像色彩深度和图像失真度等，将小于图像分辨率阈值和/或，图像色彩深度阈值和/或，图像失真度阈值的绝缘子绑扎线图像和绝缘子压片图像进行剔除，得到一次剔除后的配网线路巡检图像集。
对于一次剔除后的配网线路巡检图像集，将其中的图片像素小于20*20和/或，曝光度超出预先设定的曝光区间和/或，存在因抖动导致失真情况的绝缘子绑扎线图像和绝缘子压片图像进行剔除，得到二次剔除后的配网线路巡检图像集。
对二次剔除后的配网线路巡检图像集中的所有图像进行缺陷标签标注，并在标注后进行数据增广，增广方法包括：利用平移、镜像、旋转、遮挡和随机增加噪声等，从而提升图像的多样性，最后对所有图像进行归一化处理，即将各像素的图像放缩至统一大小，得到多个绝缘子本体图像。
需要明白的是，进行数据增广后得到的图像，也携带有对应的原增广对象的缺陷标签；此外，统一绝缘子图像的大小至同一尺寸，有利于提高后续训练和测试的速度和精度。
步骤S202，基于所述绝缘子本体图像，构建所述绝缘子图像集；
在本发明实施例中，从绝缘子本体图像中读取对应的缺陷标签，在确定了绝缘子图像中的绝缘子本体图像区域后，随机对一部分的绝缘子图像进行裁剪，从而得到裁剪后的绝缘子本体图像。
同时，为了完整得到绝缘子绑扎线和/或绝缘子压片缺陷标签的类别信息和位置信息，可以对所有绝缘子本体图像进行循环读取操作，即判断在一绝缘子本体图像中，是否存在其他其他绝缘子本体图像的绑扎线缺陷和/或，其他绝缘子压片缺陷位于缺陷标签所在的图像区域内，若是，则计算并记录绑扎线缺陷和/或，压片缺陷标签在绝缘子本体图像的位置信息，以及缺陷缺陷标签的类别。
此外，在本发明实施例中，将绝缘子本体图像划分为80％的绝缘子训练集、20％的绝缘子测试集。
步骤S203，基于所述绝缘子训练集中的绝缘子本体图像及对应的缺陷标签，对所构建的Cascade-RCNN模型进行迭代训练，得到训练后的Cascade-RCNN模型；
在一个可选实施例中，所述Cascade-RCNN模型包括：特征提取网络、区域候选提取网络和分类回归网络；基于所述绝缘子训练集中的绝缘子本体图像及对应的缺陷标签，对所构建的Cascade-RCNN模型进行迭代训练，得到训练后的Cascade-RCNN模型，包括：
利用特征提取网络，对所述绝缘子训练集中的绝缘子本体图像进行提取，得到对应的多层级绝缘子特征图；
基于所述绝缘子训练集中的绝缘子本体图像及对应的缺陷标签，以及对应的多层级绝缘子特征图，对所述初区域候选提取网络训练，得到训练后的区域候选提取网络和训练好的分类回归网络。
在本发明实施例中，Cascade-RCNN模型包括：特征提取网络、区域候选提议网络和分类回归网络三部分。
首先，利用残差网络ResNet101作为特征提取网络，对绝缘子训练集中的绝缘子本体图像进行提取，得到绝缘子本体图像各个层级的参考特征图，其中绝缘子本体图像包括绝缘子绑扎线缺陷特征图和绝缘子压片缺陷特征图。
需要说明的是，特征参考图作为原始图像的深度卷积特征，不同的特征参考图存在较大的区分性，一次作为图像分类的依据。且由于特征参考图中的优化的目标的大小在图像中的不同，所以提取的参考特征图大小也并不固定。
其次，利用区域建立网络建立绝缘子本体图像的优化的目标候选区域，具体地，在区域建议网络中，使用单个anchor，以及在定义正样本区域时结合anchor-based和anchor-free的评估标准来提高检测性能，取代使用多尺度多纵横比的anchors；同时，基于在每个stage之后的应用于精炼的anchor的自适应卷积，在从多层次精炼收益的同时维持anchorboxes与对应特征之间的对齐。
在本发明实施例中，设置输入尺寸为800*1333左右，利用FPN在5个尺寸的featuremap上进行anchor设置。最小的anchor基准面积为32*32，最大的基准面积512*512，锚框的参数设置如下：anchor_scales＝[8]，anchor_ratios＝[0.5，1.0，2.0]，anchor_strides＝[4，8，16，32，64]。候选区域特征图利用非极大值(NMS)抑制后输入后续的ROI网络中。
之后，利用ROI网络负责收集所有的候选框，计算每一个候选框的参考特征图并送入后续网络。在本发明实施例中，使用结构一共是4个stages包括一个RPN和3个检测器(阈值分别为0.5、0.6和0.7)，且每个检测器所输入的数据都是上一个检测器进行了回归分析后的结果。
步骤S205，将所述绝缘子测试集中的绝缘子本体图像输入所述训练后的Cascade-RCNN模型，生成对应的缺陷测试结果；
步骤S206，根据所述绝缘子测试集中的绝缘子本体图像对应的缺陷测试结果和缺陷标签，确定训练误差；
步骤S207，基于所述训练误差，对所述训练后的Cascade-RCNN模型进行调整，以得到所述最优网络参数，并采用所述最优网络参数生成所述优化的目标Cascade-RCNN模型；
在本发明实施例中，将绝缘子测试集中的绝缘子本体图像输入训练后的Cascade-RCNN模型，得到对应的缺陷测试结果，缺陷测试结果包括缺陷类别及缺陷位置，基于缺陷测试结果与缺陷标签确定训练误差确定网络参数，并基于网络参数确定训练后的Cascade-RCNN模型在测试时的准确率和召回率是否符合巡检要求。若是则确定符合巡检要求的网络参数为最优网络参数，并保存和输出采用最优网络参数的优化的目标Cascade-RCNN模型；否则重新确定最优网络参数。
在一个可选实施例中，所述绝缘子图像集还包括：绝缘子验证集；基于所述训练误差，对所述训练后的Cascade-RCNN模型进行调整，以得到所述最优网络参数，并采用所述最优网络参数生成所述优化的目标Cascade-RCNN模型之后，还包括：
基于所述绝缘子验证集中的绝缘子本体图像集对应的缺陷标签，对所述优化的目标Cascade-RCNN模型进行验证。
在具体实现中，可以从绝缘子测试集中划分一般的绝缘子本体图像作为绝缘子验证集，用于验证优化的目标Cascade-RCNN模型的准确率和召回率是否符合巡检要求。
步骤S208，获取待测绝缘子本体图像，并输入所述优化的目标Cascade-RCNN框架网络模型，生成对应的绝缘子缺陷预测结果；所述绝缘子缺陷预测结果包括绝缘子绑扎线预测缺陷和/或，绝缘子压片预测缺陷。
在本发明实施例所提供的一种绝缘子图像的缺陷检测方法，通过获取绝缘子图像集；所述绝缘子图像集包括绝缘子本体图像及对应的缺陷标签；所述绝缘子图像集又划分为：绝缘子训练集和绝缘子测试集；基于所述绝缘子训练集中的绝缘子本体图像及对应的缺陷标签，对所构建的Cascade-RCNN模型进行迭代训练，得到训练后的Cascade-RCNN模型；基于所述绝缘子测试集中的绝缘子本体图像及对应的缺陷标签，对所述训练后的Cascade-RCNN模型进行测试，得到优化的目标Cascade-RCNN模型；获取待测绝缘子本体图像，并输入所述优化的目标Cascade-RCNN框架网络模型，生成对应的绝缘子缺陷预测结果；所述绝缘子缺陷预测结果包括绝缘子绑扎线预测缺陷和/或，绝缘子压片预测缺陷。基于Cascade R-CNN模型对配电线路绝缘子绑扎线和压片处进行缺陷检测，从而提高对绝缘子的缺陷检测精度和检测效率。
为方便本领域技术人员对本发明的有益效果的理解，下面对本发明进行示例说明。
请查阅图3，图3为本发明的一种绝缘子图像的缺陷检测方法示例的检测系统结构框图，其中1为无人机系统，2为数据指挥中心，3为高性能计算中心，4为数据存储中心。
在本示例中，无人机在机巡作业人员的操控下执行机巡操作，从无人机系统1在采集了配网线路巡检图像集，在飞行结束之后机巡人员将其上传至数据指挥中心2。运维人员通过数据指挥中心2中获取无人机系统1上传的配网线路图像集，并将配网线路巡检图像集通过传输至数据指挥中心2的业务软件服务端处理，此时配网线路巡检图像可以存储至数据存储中心4，易于后续备份。
业务软件服务端接收到识别任务后，首先判断发送该任务的运维人员的用户等级，若确定运维人员换为普通用户，则确定当前任务为一般任务，可判断高性能计算中心4的任务情况，若高性能计算中心4处于闲置状态，则写入任务列表；若高性能计算中心4处于任务忙的状态，则将当前任务与任务列表中已有的任务随机排列后写入任务列表；若确定运维人员为超级用户，则确定当前任务为紧急任务，可判断高性能计算中心4的任务情况，若高性能计算中心4处于闲置状态，则写入任务列表；若高性能计算中心4处于任务忙的状态，则将当前任务提升至任务列表的顶部，等待写入任务列表。在当前识别任务写入任务列表后，将识别任务传输至高性能计算中心4中的GPU计算集群模块进行处理。
GPU计算集群模块首先激活agent读取任务列表并判断任务特性，接着对识别任务相关的绝缘子本体图像按序列批量读取，然后高性能计算中心4中的所搭载的优化的目标Cascade-RCNN模型进行分析，将得到的结果记录到识别任务相关的结果数据表中，随后通知server计算结束。
在GPU计算集群模块通知server计算结束后，高性能计算中心4会提示计算结束，此时数据存储中心2也能查询计算结果，并同步提示绝缘子本体图像的缺陷信息，此后，如果没有人工判读的步骤，高性能计算中心4会自动汇总生成报告，并将其提交生产指挥中心。相比于传统的检测方法，大大提高了作业的效率与安全性；与无人机影像人工判读相比，深度学习优化的目标检测技术鲁棒性更高且适用性更好。
请参阅图4，示出了一种绝缘子图像的缺陷检测装置实施例的结构框图，包括如下模块：
获取模块401，用于获取绝缘子训练集和绝缘子测试集；所述绝缘子训练集包括绝缘子本体图像及对应的缺陷标签；所述测试集包括绝缘子绑扎线预测缺陷和/或，绝缘子压片缺陷标签；
训练模块402，用于基于所述绝缘子训练集中的绝缘子本体图像及对应的缺陷标签，对所构建的Cascade-RCNN模型进行迭代训练，得到训练后的Cascade-RCNN模型；
测试模块403，用于基于所述绝缘子测试集中的绝缘子本体图像及对应的缺陷标签，对所述训练后的Cascade-RCNN模型进行测试，得到优化的目标Cascade-RCNN模型；
预测模块404，用于获取待测绝缘子本体图像，并输入所述优化的目标Cascade-RCNN模型，生成对应的绝缘子缺陷预测结果；所述绝缘子缺陷预测结果包括绝缘子绑扎线预测缺陷和/或，绝缘子压片预测缺陷。
在一个可选实施例中，所述测试模块403包括：
缺陷测试结果生成子模块，用于将所述绝缘子测试集中的绝缘子本体图像输入所述训练后的Cascade-RCNN模型，生成对应的缺陷测试结果；
训练误差确定模块，用于根据所述绝缘子测试集中的绝缘子本体图像对应的缺陷测试结果和缺陷标签，确定训练误差；
最优网络参数生成模块，用于基于所述训练误差，对所述训练后的Cascade-RCNN模型进行调整，以得到所述最优网络参数，并采用所述最优网络参数生成所述优化的目标Cascade-RCNN模型。
在一个可选实施例中，所述绝缘子图像集还包括：绝缘子验证集；所述装置还包括：
验证模块，用于基于所述绝缘子验证集中的绝缘子本体图像集对应的缺陷标签，对所述优化的目标Cascade-RCNN模型进行验证。
在一个可选实施例中，所述获取模块401包括：
获取子模块，用于获取已预先标注缺陷标签的绝缘子本体图像；所述绝缘子本体图像包括裁剪后的绝缘子本体图像；所述裁剪后的绝缘子本体图像为基于所述缺陷标签裁剪所得到；
构建子模块，用于基于所述绝缘子本体图像，构建所述绝缘子图像集。
在一个可选实施例中，所述Cascade-RCNN模型包括：特征提取网络、区域候选提取网络和分类回归网络；所述训练模块402包括：
提取子模块，用于利用特征提取网络，对所述绝缘子训练集中的绝缘子本体图像进行提取，得到对应的多层级绝缘子特征图；
训练子模块，用于基于所述绝缘子训练集中的绝缘子本体图像及对应的缺陷标签，以及对应的多层级绝缘子特征图，对所述初区域候选提取网络训练，得到训练后的区域候选提取网络和训练好的分类回归网络。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种绝缘子图像的缺陷检测方法，其特征在于，包括：
获取绝缘子图像集；所述绝缘子图像集包括绝缘子本体图像及对应的缺陷标签；所述绝缘子图像集又划分为：绝缘子训练集和绝缘子训练集；
基于所述绝缘子训练集中的绝缘子本体图像及对应的缺陷标签，对所构建的Cascade-RCNN模型进行迭代训练，得到训练后的Cascade-RCNN模型；
基于所述绝缘子测试集中的绝缘子本体图像及对应的缺陷标签，对所述训练后的Cascade-RCNN模型进行测试，根据训练误差调整参数继续训练，得到优化的目标Cascade-RCNN模型；
获取待测绝缘子本体图像，并输入所述优化的目标Cascade-RCNN模型，生成对应的绝缘子缺陷预测结果；所述绝缘子缺陷预测结果包括绝缘子绑扎线预测缺陷或绝缘子压片预测缺陷。
2.根据权利要求1所述的绝缘子图像的缺陷检测方法，其特征在于，基于所述绝缘子测试集中的绝缘子本体图像及对应的缺陷标签，对所述训练后的Cascade-RCNN模型进行测试，根据训练误差调整参数继续训练，得到优化的目标Cascade-RCNN模型，包括：
将所述绝缘子测试集中的绝缘子本体图像输入所述训练后的Cascade-RCNN模型，生成对应的缺陷测试结果；
根据所述绝缘子测试集中的绝缘子本体图像对应的缺陷测试结果和缺陷标签，确定所述训练误差；
基于所述训练误差，对所述训练后的Cascade-RCNN模型进行调整，以得到所述最优网络参数，并采用所述最优网络参数生成所述优化的目标Cascade-RCNN模型。
3.根据权利要求2所述的绝缘子图像的缺陷检测方法，其特征在于，所述绝缘子图像集还包括：绝缘子验证集；基于所述训练误差，对所述训练后的Cascade-RCNN模型进行调整，以得到所述最优网络参数，并采用所述最优网络参数生成所述优化的目标Cascade-RCNN模型之后，还包括：
基于所述绝缘子验证集中的绝缘子本体图像集对应的缺陷标签，对所述优化的目标Cascade-RCNN模型进行验证。
4.根据权利要求1所述的绝缘子图像的缺陷检测方法，其特征在于，获取绝缘子图像集，包括：
获取已预先标注缺陷标签的绝缘子本体图像；所述绝缘子本体图像包括裁剪后的绝缘子本体图像；所述裁剪后的绝缘子本体图像为基于所述缺陷标签裁剪所得到；
基于所述绝缘子本体图像，构建所述绝缘子图像集。
5.根据权利要求1-4中任一所述的绝缘子图像的缺陷检测方法，其特征在于，所述Cascade-RCNN模型包括：特征提取网络、区域候选提取网络和分类回归网络；基于所述绝缘子训练集中的绝缘子本体图像及对应的缺陷标签，对所构建的Cascade-RCNN模型进行迭代训练，得到训练后的Cascade-RCNN模型，包括：
利用特征提取网络，对所述绝缘子训练集中的绝缘子本体图像进行提取，得到对应的多层级绝缘子特征图；
基于所述绝缘子训练集中的绝缘子本体图像及对应的缺陷标签，以及对应的多层级绝缘子特征图，对所述初区域候选提取网络训练，得到训练后的区域候选提取网络和训练好的分类回归网络。
6.一种绝缘子图像的缺陷检测装置，其特征在于，包括：
获取模块，用于获取绝缘子图像集；所述绝缘子图像集包括绝缘子本体图像及对应的缺陷标签；所述绝缘子图像集又划分为：绝缘子训练集和绝缘子训练集；
训练模块，用于基于所述绝缘子训练集中的绝缘子本体图像及对应的缺陷标签，对所构建的Cascade-RCNN模型进行迭代训练，得到训练后的Cascade-RCNN模型；
测试模块，用于基于所述绝缘子测试集中的绝缘子本体图像及对应的缺陷标签，对所述训练后的Cascade-RCNN模型进行测试，根据训练误差调整参数继续训练，得到优化的目标Cascade-RCNN模型；
预测模块，用于获取待测绝缘子本体图像，并输入所述优化的目标Cascade-RCNN模型，生成对应的绝缘子缺陷预测结果；所述绝缘子缺陷预测结果包括绝缘子绑扎线预测缺陷或绝缘子压片预测缺陷。
7.根据权利要求6所述的绝缘子图像的缺陷检测装置，其特征在于，所述测试模块包括：
缺陷测试结果生成子模块，用于将所述绝缘子测试集中的绝缘子本体图像输入所述训练后的Cascade-RCNN模型，生成对应的缺陷测试结果；
训练误差确定模块，用于根据所述绝缘子测试集中的绝缘子本体图像对应的缺陷测试结果和缺陷标签，确定所述训练误差；
最优网络参数生成模块，用于基于所述训练误差，对所述训练后的Cascade-RCNN模型进行调整，以得到所述最优网络参数，并采用所述最优网络参数生成所述优化的目标Cascade-RCNN模型。
8.根据权利要求7所述的绝缘子图像的缺陷检测装置，其特征在于，所述绝缘子图像集还包括：绝缘子验证集；所述装置还包括：
验证模块，用于基于所述绝缘子验证集中的绝缘子本体图像集对应的缺陷标签，对所述优化的目标Cascade-RCNN模型进行验证。
9.根据权利要求6所述的绝缘子图像的缺陷检测装置，其特征在于，所述获取模块包括：
获取子模块，用于获取已预先标注缺陷标签的绝缘子本体图像；所述绝缘子本体图像包括裁剪后的绝缘子本体图像；所述裁剪后的绝缘子本体图像为基于所述缺陷标签裁剪所得到；
构建子模块，用于基于所述绝缘子本体图像，构建所述绝缘子图像集。
10.根据权利要求6-9中任一所述的绝缘子图像的缺陷检测装置，其特征在于，所述Cascade-RCNN模型包括：特征提取网络、区域候选提取网络和分类回归网络；所述训练模块包括：
提取子模块，用于利用特征提取网络，对所述绝缘子训练集中的绝缘子本体图像进行提取，得到对应的多层级绝缘子特征图；
训练子模块，用于基于所述绝缘子训练集中的绝缘子本体图像及对应的缺陷标签，以及对应的多层级绝缘子特征图，对所述初区域候选提取网络训练，得到训练后的区域候选提取网络和训练好的分类回归网络。
CN202111045229.3A 2021-09-07 2021-09-07 一种绝缘子图像的缺陷检测方法及装置 Active CN113762384B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111045229.3A CN113762384B (zh) 2021-09-07 2021-09-07 一种绝缘子图像的缺陷检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111045229.3A CN113762384B (zh) 2021-09-07 2021-09-07 一种绝缘子图像的缺陷检测方法及装置

Publications (2)

Publication Number Publication Date
CN113762384A true CN113762384A (zh) 2021-12-07
CN113762384B CN113762384B (zh) 2024-06-21

Family

ID=78793660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111045229.3A Active CN113762384B (zh) 2021-09-07 2021-09-07 一种绝缘子图像的缺陷检测方法及装置

Country Status (1)

Country Link
CN (1) CN113762384B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109815798A (zh) * 2018-12-17 2019-05-28 广东电网有限责任公司 无人机图像处理方法及系统
CN111583198A (zh) * 2020-04-23 2020-08-25 浙江大学 结合FasterR-CNN+ResNet101+FPN的绝缘子图片缺陷检测方法
CN111812096A (zh) * 2020-06-02 2020-10-23 国网浙江嘉善县供电有限公司 一种绝缘子电弧烧伤的快速定位智能图像检测方法
CN113033556A (zh) * 2021-03-31 2021-06-25 广东电网有限责任公司 一种基于机器视觉的绝缘子快速辨别定位方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109815798A (zh) * 2018-12-17 2019-05-28 广东电网有限责任公司 无人机图像处理方法及系统
CN111583198A (zh) * 2020-04-23 2020-08-25 浙江大学 结合FasterR-CNN+ResNet101+FPN的绝缘子图片缺陷检测方法
CN111812096A (zh) * 2020-06-02 2020-10-23 国网浙江嘉善县供电有限公司 一种绝缘子电弧烧伤的快速定位智能图像检测方法
CN113033556A (zh) * 2021-03-31 2021-06-25 广东电网有限责任公司 一种基于机器视觉的绝缘子快速辨别定位方法及系统

Also Published As

Publication number Publication date
CN113762384B (zh) 2024-06-21

Similar Documents

Publication Publication Date Title
CN116203333B (zh) 一种复合绝缘子材料的老化状态综合评估系统及评估方法
CN111709931B (zh) 一种耐张线夹缺陷检测识别报告自动获取方法及系统
CN112243249A (zh) 5g nsa组网下lte新入网锚点小区参数配置方法和装置
CN109342909A (zh) 一种基于slle的电缆附件局部放电模式识别方法
CN111199213A (zh) 一种变电站用设备缺陷检测方法及装置
CN112967248A (zh) 生成缺陷图像样本的方法、装置、介质及程序产品
CN112734204B (zh) 配电网故障线路风险评估方法和系统
CN114119528A (zh) 一种配电线路绝缘子的缺陷检测方法及装置
CN111368824B (zh) 一种仪表识别方法、移动设备及存储介质
CN108596196A (zh) 一种基于绝缘子图像特征词典的污秽状态评估方法
CN112990006A (zh) 一种配电台区的巡检方法、智能巡检眼镜和系统
CN112347889B (zh) 一种变电站作业行为辨识方法及装置
CN113762384A (zh) 一种绝缘子图像的缺陷检测方法及装置
Xuan et al. Intelligent identification method of insulator defects based on CenterMask
CN113947564A (zh) 一种电力行业低压台区计量设备图像校验方法及系统
WO2024119983A1 (zh) 一种轨道车辆电缆终端的异常检测方法及装置
CN108573233B (zh) 一种基于图像处理技术的电网陶瓷绝缘子识别方法
CN110719445A (zh) 一种基于图像识别的远程抄表系统及方法
CN114387242A (zh) 电压制热型设备的缺陷确定方法、装置、介质及设备
CN112164045A (zh) 一种用于电缆生产的综合检测系统
CN113643234A (zh) 一种复合绝缘子破损检测方法、终端设备及可读存储介质
CN113297914A (zh) 一种配网现场作业验电动作识别方法
CN111537079A (zh) 一种基于红外线成像技术的变电设备运行状态监测系统
CN113822288B (zh) 一种二次线电缆白头快速核对方法及系统
CN116796213B (zh) 一种基于聚类算法的配电网线变关系辨识方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant