CN115294473A - 一种基于目标检测与实例分割的绝缘子故障识别方法及系统 - Google Patents

一种基于目标检测与实例分割的绝缘子故障识别方法及系统 Download PDF

Info

Publication number
CN115294473A
CN115294473A CN202210783889.XA CN202210783889A CN115294473A CN 115294473 A CN115294473 A CN 115294473A CN 202210783889 A CN202210783889 A CN 202210783889A CN 115294473 A CN115294473 A CN 115294473A
Authority
CN
China
Prior art keywords
insulator
mask
image
target
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210783889.XA
Other languages
English (en)
Inventor
王庆岩
牟翔宇
陈庆国
梁欣涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN202210783889.XA priority Critical patent/CN115294473A/zh
Publication of CN115294473A publication Critical patent/CN115294473A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

一种基于目标检测与实例分割的绝缘子故障识别方法及系统，属于绝缘子故障检测技术领域，用以解决由于航拍图像中绝缘子背景复杂、绝缘子占比小导致绝缘子故障区域的定位及检测精度受到影响的问题。本发明方法的技术要点包括：基于YOLOv5算法完成绝缘子图像分割，有效滤除航拍图像的复杂背景，解决绝缘子在图像中占比小的问题；基于SOLOv2算法识别故障种类的同时，标出故障位置并绘制精细的掩膜；构建协同YOLOv5和SOLOv2算法的绝缘子故障检测模型，经实验对比，相比于原始SOLOv2算法提升了定位及分割精度，所对比的各项评价指标显著提升，有助于工程上综合安全性和经济性的因素考虑做出合理应对。

Description

一种基于目标检测与实例分割的绝缘子故障识别方法及系统
技术领域
本发明涉及绝缘子故障检测技术领域，具体涉及一种基于目标检测与实例分割的绝缘子故障识别方法及系统。
背景技术
绝缘子作为电力系统中关键的绝缘器件，在架空输电线路中起着机械支撑和防止电流回地的重要作用。绝缘子长期暴露在野外，易受自然灾害、温度、潮湿、材料老化等因素的影响，导致绝缘子出现爆缸、金属护具脱落等故障，直接威胁着整个电力供给系统的稳定性。随着无人机技术和计算机技术的飞速发展，基于航拍图像的输电线路中关键电气设备的故障巡检方式，已经成为线路巡检的主要发展方向。
在传统图像处理领域，具有代表性的最大类间方差法、多显著聚合算法、双目视觉等方法，均需要人为对部件图像区域进行分割，算法复杂、识别效果差、对于背景复杂的绝缘子图像，均需要人为对给定图像进行特征量的确定与提取，因此会造成误差，导致特征提取的有效性较低、故障识别率较低，输电线路中绝缘子部件目标较小，且航拍图像背景复杂，不同背景的绝缘子图像所对应的分割识别方法有所差异，泛化性、实用性较差，无法实现智能化检测，且检测种类单一，受外界环境影响波动大，难以投入到实际应用中。
随着深度学习的发展，将深度学习算法应用在输电线路的部件识别上逐渐受到各个研究领域相关学者的关注，深度学习不需要人工提取特征，只需要大量的带标签数据，训练得到性能尽可能优秀的模型，相比于传统的图像处理技术，深度学习深度神经网络具有更强的学习能力，从而可以获得更加全面的图像特征。基于深度学习的目标检测算法，其任务是在目标具有不同姿态、外观、形状且环境具有不同亮度、角度时找出图像中所有目标，确定它们的类别和位置，分为Two-stage和One-stage两种方法，Two-stage是基于区域建议的方法，标志性的算法有RCNN、Fast RCNN和Faster RCNN，核心思想是先获得建议区域然后在当前区域内进行分类，但检测时间较长。One-stage是无区域建议的方法，标志性的算法有SSD、YOLO，核心思想是用单一的卷积网络直接基于整幅图像来预测目标的位置及其属性，目前YOLO系列已经发展到YOLOv5，精度和速度较过去常用的YOLOv3网络均有大幅提升。在目标检测的基础上，发展了实例分割技术，实例分割其实就是目标检测和语义分割的结合。相对于目标检测的边界框，实例分割可精确到物体的边缘。在实例分割领域，表现优异的Mask-RCNN算法，可以实现图像自动语义分割，但在航拍绝缘子图像中受复杂背景影响，分割效果不佳，生成掩码不精确，且速度较慢。
发明内容
鉴于以上问题，本发明提出一种基于目标检测与实例分割的绝缘子故障识别方法及系统，用以解决航拍图像中线路、杆塔等复杂因素对故障区域定位准确性造成干扰，导致模型的定位及检测精度不佳的问题。
根据本发明的一方面，提供一种基于目标检测与实例分割的绝缘子故障识别方法，该方法包括以下步骤：
步骤一、获取绝缘子航拍图像数据；
步骤二、对绝缘子航拍图像数据进行预处理，并将预处理后的绝缘子航拍图像数据分为训练集和测试集；
步骤三、将训练集输入CSP Darknet53为基准的主干网络，在不同图像细粒度上聚合，得到多种尺度的特征图，建立YOLOv5算法权重模型；
步骤四、将测试集输入所述YOLOv5算法权重模型，对测试集中绝缘子图像进行图像分割，获取绝缘子图像分割结果数据集；
步骤五、将所述绝缘子分割结果数据集输入由残差神经网络Resnet-50和特征金字塔网络FPN构成的网络，生成多个层级的特征图，建立SOLOv2算法权重模型；
步骤六、将绝缘子故障待检测图像数据输入所述SOLOv2算法权重模型，对绝缘子故障待检测图像数据进行检测，获取绝缘子故障识别结果。
进一步地，步骤二中所述预处理包括：图像归一化、数据增强、对绝缘子及故障进行标记。
进一步地，步骤三中所述主干网络包括进行下采样操作的Focus结构和跨阶段局部网络CSP结构，其中，Focus结构中使用32个卷积核进行卷积操作；跨阶段局部网络CSP结构包括CSP1结构和CSP2结构，CSP1结构中使用残差组件，CSP2结构中使用由多个激活函数组成的CBL模块，包含Conv、Bn和Leaky relu激活函数；所述YOLOv5算法权重模型的输出端采用如下公式筛选目标框：
Figure BDA0003731033270000021
其中，si表示分类置信度；IoU表示交并比；ε表示非极大值抑制NMS阈值；
Figure BDA0003731033270000022
Figure BDA0003731033270000023
M表示最高置信度的预测框，Bi表示待筛选的预测框，b、bgt分别是M和Bi的中心点，ρ表示两个中心点间的欧氏距离，c表示能够同时包含M和Bi的最小闭包区域的对角线距离。
进一步地，步骤四的具体步骤包括：对于输入的绝缘子图像，产生多个不同尺度的特征图，并划分成S×S网格的特征图，目标中心所在的网格负责用对应锚框检测目标；每个网格会预测多个目标框以及目标框的置信度，并进行类别预测；利用输出端公式筛选出预测最准确的一个目标框，当原始绝缘子图像中所有网格区域都预测出各自的类别后，进行信息综合，输出整张图片的完整目标信息，最后在绝缘子图像中框出目标；使用归一化坐标进行裁剪，保留矩形框，实现绝缘子区域分割。
进一步地，步骤五的具体步骤包括：使用FPN，在固定通道数量下给特征金字塔每层生成不同大小的特征映射，分别输入到类别分支、掩码内核分支和掩码特征分支，分别预测类别、卷积核和卷积特征，其中，在掩码特征分支中对于所有的FPN层级预测一个统一的掩码特征表示；根据真实值计算每个FPN输出层对应面积大小的实例，其中心位置所在的网格负责预测对应的实例掩码及语义类别；生成各网格对应的掩码及分类结果，根据真值掩码及真值分类计算损失，二者的损失以一定比例相加得到最终的损失，训练损失函数如下：
L＝Lcate+λLmask
其中，Lcate表示用于语义类别分类的传统的焦点损失函数，Lmask表示掩码预测的损失。
进一步地，步骤六的具体步骤包括：将经过所述YOLOv5算法权重模型分割后的绝缘子故障待检测图像输入到训练好的SOLOv2权重模型中进行检测，经过由Resnet-50构成的主干网络以及FPN特征金字塔，将不同尺寸的对象分配到不同层次的特征图中，分别送入类别分支、掩码内核分支和掩码特征分支，分别预测类别、卷积核和卷积特征；其中，类别分支将特征图划分为S×S的网格，用于预测各位置目标的类别，掩码内核分支生成动态卷积核G，掩码特征分支生成高分辨率掩膜特征矩阵F，G与F动态卷积得到对应类别的目标掩膜；利用矩阵非极大值抑制方法筛选掩膜得到最佳的检测结果。
根据本发明的另一方面，提供一种基于目标检测与实例分割的绝缘子故障识别系统，该系统包括：
图像采集模块，其配置成获取绝缘子航拍图像数据；
预处理模块，其配置成对绝缘子航拍图像数据进行预处理，并将预处理后的绝缘子航拍图像数据分为训练集和测试集；所述预处理包括：图像归一化、数据增强、对绝缘子及故障进行标记；
分割模型训练模块，其配置成将训练集输入CSP Darknet53为基准的主干网络，在不同图像细粒度上聚合，得到多种尺度的特征图，建立YOLOv5算法权重模型；
图像分割模块，其配置成将测试集输入所述YOLOv5算法权重模型，对测试集中绝缘子图像进行图像分割，获取绝缘子图像分割结果数据集；
检测模型训练模块，其配置成将所述绝缘子分割结果数据集输入由残差神经网络Resnet-50和特征金字塔网络FPN构成的网络，生成多个层级的特征图，建立SOLOv2算法权重模型；
检测模块，其配置成将绝缘子故障待检测图像数据输入所述SOLOv2算法权重模型，对绝缘子故障待检测图像数据进行检测，获取绝缘子故障识别结果。
进一步地，所述分割模型训练模块中所述主干网络包括进行下采样操作的Focus结构和跨阶段局部网络CSP结构，其中，Focus结构中使用32个卷积核进行卷积操作；跨阶段局部网络CSP结构包括CSP1结构和CSP2结构，CSP1结构中使用残差组件，CSP2结构中使用由多个激活函数组成的CBL模块；所述YOLOv5算法权重模型的输出端采用如下公式筛选目标框：
Figure BDA0003731033270000041
其中，si表示分类置信度；IoU表示交并比；ε表示非极大值抑制NMS阈值；
Figure BDA0003731033270000042
Figure BDA0003731033270000043
M表示最高置信度的预测框，Bi表示待筛选的预测框，b、bgt分别是M和Bi的中心点，ρ表示两个中心点间的欧氏距离，c表示能够同时包含M和Bi的最小闭包区域的对角线距离。
进一步地，所述图像分割模块中获取绝缘子图像分割结果数据集的具体步骤包括：对于输入的绝缘子图像，产生多个不同尺度的特征图，并划分成S×S网格的特征图，目标中心所在的网格负责用对应锚框检测目标；每个网格会预测多个目标框以及目标框的置信度，并进行类别预测；利用输出端公式筛选出预测最准确的一个目标框，当原始绝缘子图像中所有网格区域都预测出各自的类别后，进行信息综合，输出整张图片的完整目标信息，最后在绝缘子图像中框出目标；使用归一化坐标进行裁剪，保留矩形框，实现绝缘子区域分割。
进一步地，所述检测模型训练模块中建立SOLOv2算法权重模型的具体步骤包括：使用FPN，在固定通道数量下给特征金字塔每层生成不同大小的特征映射，分别输入到类别分支、掩码内核分支和掩码特征分支，分别预测类别、卷积核和卷积特征，其中，在掩码特征分支中对于所有的FPN层级预测一个统一的掩码特征表示；根据真实值计算每个FPN输出层对应面积大小的实例，其中心位置所在的网格负责预测对应的实例掩码及语义类别；生成各网格对应的掩码及分类结果，根据真值掩码及真值分类计算损失，二者的损失以一定比例相加得到最终的损失，训练损失函数如下：
L＝Lcate+λLmask
其中，Lcate表示用于语义类别分类的传统的焦点损失函数，Lmask表示掩码预测的损失。
进一步地，所述检测模块中获取绝缘子故障识别结果的具体步骤包括：将经过所述YOLOv5算法权重模型分割后的绝缘子故障待检测图像输入到训练好的SOLOv2权重模型中进行检测，经过由Resnet-50构成的主干网络以及FPN特征金字塔，将不同尺寸的对象分配到不同层次的特征图中，分别送入类别分支、掩码内核分支和掩码特征分支，分别预测类别、卷积核和卷积特征；其中，类别分支将特征图划分为S×S的网格，用于预测各位置目标的类别，掩码内核分支生成动态卷积核G，掩码特征分支生成高分辨率掩膜特征矩阵F，G与F动态卷积得到对应类别的目标掩膜；利用矩阵非极大值抑制方法筛选掩膜得到最佳的检测结果。
本发明的有益技术效果是：
与现有分类方法相比，本发明将YOLOv5算法和SOLOv2算法相协同，第一阶段以YOLOv5s模型为基准，在保证检测精度的前提下增加检测速度、减小模型体积。在输出端使用DIoU_NMS进一步提升YOLOv5s检测精度。构建绝缘子区域分割模型，获取绝缘子检测后的矩形框归一化坐标，截取矩形框图片并保存，实现绝缘子目标的初步分割，避免背景区域对绝缘子故障检测的干扰，提高了绝缘子分割的准确性和完整性；在此基础上，第二阶段构建SOLOv2模型进行绝缘子故障检测，以Resnet-50和FPN构成的主干网络，生成多个层级的特征图对绝缘子故障进行标记和生成掩码，保证模型对不同尺寸的绝缘子故障准确检测，有效解决了在复杂背景下故障定位不准确、分割掩码不精确的问题，提高了模型在掩码和检测框上的准确性，且显著提升了检测的置信度。
附图说明
本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。
图1是本发明实施例一种基于目标检测与实例分割的绝缘子故障识别方法的流程示意图；
图2是本发明实施例中YOLOv5主干网络的结构示意图；
图3是本发明实施例中YOLOv5提取的特征图示例；
图4是本发明实施例中SOLOv2网络的结构示意图；
图5是本发明实施例中定性对比的检测结果图，其中，(a)为绝缘子串珠爆缸检测对比图，(b)为均压环脱落检测对比图；
图6是本发明实施例一种基于目标检测与实例分割的绝缘子故障识别系统的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，在下文中将结合附图对本发明的示范性实施方式或实施例进行描述。显然，所描述的实施方式或实施例仅仅是本发明一部分的实施方式或实施例，而不是全部的。基于本发明中的实施方式或实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式或实施例，都应当属于本发明保护的范围。
本发明实施例提出一种基于目标检测与实例分割的绝缘子故障识别方法，如图1所示，该方法包括以下步骤：
步骤1，获取真实绝缘子图像数据集，并对图像进行预处理；
(1a)数据集的获取：由于目前还没有绝缘子图像的公开数据集，为了验证本发明方法，自主建立了航拍绝缘子故障数据库，以无人机航拍的方式获取了大量绝缘子图像数据；
(1b)图像归一化：由于计算资源的限制，且航拍设备拍摄获得的图像样本尺寸不一，大大增加了绝缘子定位难度，根据图像短边长度，等比例对所有图像的分辨率统一归一化处理，调整为500×500大小。
(1c)数据增强：由于绝缘子为非易损器件且电力部门发现后的及时维修，故障数据较难采集，导致绝缘子故障数据少，实际拍摄包含四季中晴天、阴雨天的多条线路样本，且包含重复拍摄图像，对故障样本进行数据增强处理，分别做亮度调整、旋转和翻转的形态学操作，模拟不同拍摄角度，不同光线等情形，并去除重复拍摄图像，增强后的故障负样本数量共计1250张，均压环脱落故障和玻璃绝缘子爆缸故障故障分别为630张、620张，进一步提高模型的泛化能力，在图像中利用labelimg工具对绝缘子进行标记。进一步地，在后续步骤中利用labelme工具对绝缘子故障进行人工标记，定义fall为均压环脱落故障，burst为玻璃绝缘子爆缸故障；数据集如表1所示：
表1
类别 样本数 增强后样本数 图像尺寸
fall 97 630 4608×3456
burst 75 620 4608×3456
步骤2，将绝缘子图像数据训练集输入CSP Darknet53为基准的主干网络，在不同图像细粒度上聚合，得到多种尺度的特征图，建立YOLOv5算法权重模型；
航拍图像中通常包含复杂的环境背景，为了避免背景区域对绝缘子故障检测的干扰，一阶段，训练一个YOLOv5权重模型用于初步分割绝缘子，YOLOv5算法是在YOLOv3算法的基础上进行了改进，可实现端到端的目标检测，其在速度和检测精度方面均有大幅提升，是目标检测算法中速度最快、精度最高的算法之一。YOLOv5权重模型由输入端、主干网络、特征融合模块以及输出端构成。
首先输入端(Input)进行Mosaic数据增强法，对输入的图像随机裁剪、拼接操作，提高模型训练效果；使用自适应初始锚框计算，图像等比例缩放，锚点框基于训练数据自动学习，对于不同的训练数据会产生不同尺寸的锚点框；使用k-means聚类算法，随机选取k个点作为聚类中心，即k个类中心向量，分别计算其他样本点到各个类中心向量的距离，并将其划分到距离最近的类，更新各个类的中心向量，判断新的类中心向量是否发生改变，若发生改变则重新计算样本点到各中心向量的距离并重新划分，若类中心向量不再发生变化，停止并输出聚类结果，找到最合适的自适应锚框，提高绝缘子破损小目标缺陷的定位准确性。
主干网络(Backbone)主要包括Focus结构和CSP(跨阶段局部网络)结构，其具体结构如图2所示，Focus模块进行下采样操作，Focus模块连接CBL模块，其中CBL模块由Conv、Bn和Leaky relu激活函数组成，CBL模块连接CSP1_1，CSP1_1连接CBL模块，CBL模块连接CSP1_3，CSP1_3连接CBL模块，CBL模块连接CSP1_3，CSP1_3连接CBL模块，CBL模块连接SPP(空间金字塔池化)模块。主干网络通过卷积操作提取图片中的信息，在不同图像细粒度上聚合，通过切片下采样、特征金字塔等操作减少损失、提高特征提取能力，提取到多种尺度的特征图，充分提取图像特征，特征图如图3所示。Focus结构进行切片操作，实现下采样同时减小计算量，且最大程度减少信息损失。在主干网络中使用CSP1，CSP1加入了残差结构，增加层与层之间反向传播的梯度值，避免因为加深而带来的梯度消失，从而可以提取到更细粒度的特征；其结构为本发明设计实例分割和目标检测算法相协同，为保证实时性，在第一阶段使用YOLOv5s模型，主干网络中，在第一个CSP1结构中使用1个残差组件，在第二个和第三个CSP1结构中使用3个残差组件，在Focus结构中卷积操作时使用32个卷积核，减小模型宽度和深度，在保证足够精度的前提下提升模型检测速度，减小模型体积。
特征融合模块(Neck)连接在主干网络后面，将主干网络提取到的特征进行丰富地特征融合，并传递给输出端。其结构沿用主干网络的CSP结构，更好地融合主干网络提取的特征，且使用特征金字塔网络(FPN)与路径聚合网络(PAN)结合的结构，FPN自上而下在所有尺度上构建出高级语义特征图，其感受野较大，较为抽象，提取的特征有利于完成分类，但会丢失部分信息，不利于精确定位，于是再通过PAN自下而上传递特征，弥补并加强定位信息，最终将特征传递到输出端。Neck中使用CSP2结构，加强网络特征融合的能力，网络层数较浅，CSP2与CSP1相比不再使用残差结构，而是将残差组件(Resunit)模块替换为CBL模块。本发明使用YOLOv5s模型，在CSP2结构中使用1组卷积，减少模型体积，提升模型检测速度。
输出端(Output)使用CIoU_Loss作为损失函数，通过非极大值抑制(Non-MaximumSupression，NMS)来筛选目标框，对图像特征进行预测，生成边界框并预测类别；CIOU_Loss计算公式如下：
Figure BDA0003731033270000081
Figure BDA0003731033270000082
其中，IoU是交并比，α是用于平衡比例的参数，b、bgt分别是锚点框和目标框的中心点；ρ是两个中心点间的欧氏距离，c1是能够同时覆盖锚点框和目标框的最小矩形的对角线距离，w、h分别是锚点框的宽与高，wgt、hgt分别是目标框的宽与高，v是长宽比。
YOLOv5使用经典非极大值抑制(NMS)存在的缺点在于：两个目标挨得很近时，由于IOU值比较大，往往经过NMS处理后，只剩下一个检测框，这样导致漏检的错误情况发生。为解决上述问题，本发明使用DIoU_NMS筛选目标框，DIoU_NMS加入了框中心距离的计算，改善了部分重叠目标的漏检问题，从而提升模型精度；DIoU_NMS计算公式为：
Figure BDA0003731033270000083
Figure BDA0003731033270000084
其中，通过同时考虑IoU和两个box的中心点之间的距离来删除boxBi，si是分类置信度，IoU是交并比，ε是NMS阈值，M是最高置信度的预测框，Bi即待筛选的预测框boxBi，b、bgt分别代表了M和Bi的中心点，ρ是两个中心点间的欧氏距离，c是能够同时包含M和Bi的最小闭包区域的对角线距离。
为验证DIoU_NMS的提升效果，本发明以迭代次数、mAP0.5:0.95为评价指标，评价模型性能，改进后收敛速度更快，mAP0.5:0.95提升1.1个百分点。结果如表2所示。
表2
方法 收敛轮次 mAP0.5:0.95
NMS 200epochs 91.2％
DIoU_NMS 100epochs 92.3％
步骤3，将绝缘子图像数据测试集输入CSP Darknet53为基准的主干网络，利用所述YOLOv5算法权重模型对所述绝缘子图像数据集进行图像分割，获取绝缘子图像分割结果数据集；
(3a)将绝缘子航拍图像数据集输入到训练好的YOLOv5权重模型中进行检测。
(3b)对输入的航拍绝缘子图像，产生3个不同尺度的特征图，并划分成S×S网格的特征图(不同尺度的特征图，S值不同)，目标中心所在的网格负责用对应锚框检测目标；
(3c)每个网格会预测多个目标框以及目标框的置信度，并进行类别预测；
(3d)采用DIoU_NMS筛选出预测最准确的一个框，当原图中所有网格区域都预测出各自的类别后，进行信息综合，输出整张图片的完整目标信息，最后在原图中框出目标。
(3e)调用YOLO推理阶段生成的txt坐标文件，该txt文件为矩形框归一化坐标，归一化坐标的数值是中心坐标、宽高除以对应的边长的结果，和YOLO格式相同，使用归一化坐标进行裁剪，保留矩形框，实现绝缘子区域分割。
步骤4，将所述绝缘子分割结果数据集输入Resnet-50和FPN构成的网络，生成多个层级的特征图，建立SOLOv2算法权重模型；
(4a)第二阶段故障检测以SOLOv2(Segmenting Objects by Locations v2)算法为主体，SOLOv2算法根据实例的位置和大小为实例中的每个像素分配类别，从而将实例分割转化为一个单次分类问题，利用中心位置和物体大小直接区分实例，其结构示意图如图4所示，图中G为卷积内核矩阵，F为掩膜特征矩阵。相较于传统的实例分割算法，SOLOv2分割精度更高，掩码更细致，速度更快，实时性更强。SOLOv2算法的特征提取网络主要由残差网络Resnet-50构成，实现特征提取，Resnet-50是具有50层卷积层的残差神经网络(ResNet)，能够有效解决深度网络退化问题，获得更好的模型性能；
(4b)使用FPN，在固定通道数量下给特征金字塔每层生成不同大小的特征映射，分别输入到类别分支、掩码(mask)内核分支和mask特征分支，分别预测类别、卷积核和卷积特征，其中，在特征分支中对于所有的FPN层级预测一个统一的mask特征表示；
(4c)根据真实值(groud_truth)计算每个FPN输出层对应面积大小的实例，其中心位置所在的网格负责预测对应的实例mask及语义类别；
(4d)生成各网格对应的mask及分类结果，根据真值mask及真值分类计算损失，二者的损失以一定比例相加得到最终的损失，训练损失函数如下：
L＝Lcate+λLmask
其中，Lcate是用于语义类别分类的传统的焦点损失函数(focal loss)，Lmask是mask预测的损失，其定义为：
Figure BDA0003731033270000091
其中，对于S×S的网格，
Figure BDA0003731033270000101
j＝kmodS，Npos表示正样本个数，p*和m*分别表示类别目录和mask目录，1是指示函数，如果
Figure BDA0003731033270000102
则为1，否则为0，dmask由Dice loss计算，λ设定为3，Dice Loss定义如下：
LDice＝1-D(p,q)
其中，D是骰子系数，其定义为：
Figure BDA0003731033270000103
其中，px,y和qx,y分别为预测mask p和真实值mask q在点(x,y)的像素值。
步骤5，将绝缘子故障待检测图像数据输入所述Resnet-50和FPN构成的网络，利用所述SOLOv2算法权重模型对绝缘子故障待检测图像数据进行检测，获取绝缘子故障识别结果；
(5a)将YOLOv5分割后的绝缘子航拍图像数据输入到训练好的SOLOv2权重模型中进行检测；
(5b)输入的绝缘子图像数据经过主要由Resnet-50构成的主干网络以及FPN特征金字塔，将不同尺寸的对象分配到不同层次的特种图中，分别送入类别分支、mask内核分支和mask特征分支，分别预测类别、卷积核和卷积特征；
(5c)类别分支将特征图划分为S×S的网格，用于预测各位置目标的类别，mask内核分支生成动态卷积核G，mask特征分支生成高分辨率掩膜特征矩阵F，G与F动态卷积得到对应类别的目标掩膜；
(5d)利用矩阵非极大值抑制方法-Matrix NMS筛选mask掩膜得到最佳的检测结果，Matrix NMS能显著减少算法的推理运算开销，以提升检测速度。
进一步通过实验验证本发明的有效性。
在定性对比上，如图5所示，本发明方法有效提升了置信度，且mask掩码和矩形框更精确细致；在定量对比上，如表3所示，本发明以mAP0.50、mAP0.5:0.95、mAP0.75、FPS和一张图片的平均检测时间作为评价指标，将本发明方法与原始SOLOv2算法在同一数据集上进行比较。由表3可以看出，本发明方法相比于原始SOLOv2算法，mAP0.5:0.95提升11.8个百分点，mAP0.50提升1.7个百分点，mAP0.75提升18.6个百分点，FPS提升2.414，一张图片的平均检测时间减少9ms，在精度大幅提升的情况下，速度也有所提升。
表3
Figure BDA0003731033270000104
Figure BDA0003731033270000111
综上，本发明公开了一种基于目标检测与实例分割的绝缘子故障识别方法，主要解决在复杂背景下故障定位不准确、分割掩码不精确的问题。该方法结合深度学习理论，将目标检测YOLOv5算法与实例分割SOLOv2算法相协同，有效分割绝缘子区域，避免航拍图像复杂背景干扰，保证算法检测速度，最终准确检测绝缘故障并生成精准的分割掩码。
本发明另一实施例提供一种基于目标检测与实例分割的绝缘子故障识别系统，如图6所示，该系统包括：
图像采集模块110，其配置成获取绝缘子航拍图像数据；
预处理模块120，其配置成对绝缘子航拍图像数据进行预处理，并将预处理后的绝缘子航拍图像数据分为训练集和测试集；预处理包括：图像归一化、数据增强、对绝缘子及故障进行标记；
分割模型训练模块130，其配置成将训练集输入CSP Darknet53为基准的主干网络，在不同图像细粒度上聚合，得到多种尺度的特征图，建立YOLOv5算法权重模型；
图像分割模块140，其配置成将测试集输入YOLOv5算法权重模型，对测试集中绝缘子图像进行图像分割，获取绝缘子图像分割结果数据集；
检测模型训练模块150，其配置成将绝缘子分割结果数据集输入由残差神经网络Resnet-50和特征金字塔网络FPN构成的网络，生成多个层级的特征图，建立SOLOv2算法权重模型；
检测模块160，其配置成将绝缘子故障待检测图像数据输入SOLOv2算法权重模型，对绝缘子故障待检测图像数据进行检测，获取绝缘子故障识别结果。
本实施例中，优选地，分割模型训练模块130中主干网络包括进行下采样操作的Focus结构和跨阶段局部网络CSP结构，其中，Focus结构中使用32个卷积核进行卷积操作；跨阶段局部网络CSP结构包括CSP1结构和CSP2结构，CSP1结构中使用残差组件，CSP2结构中使用由多个激活函数组成的CBL模块；YOLOv5算法权重模型的输出端采用如下公式筛选目标框：
Figure BDA0003731033270000112
其中，si表示分类置信度；IoU表示交并比；ε表示非极大值抑制NMS阈值；
Figure BDA0003731033270000113
Figure BDA0003731033270000114
M表示最高置信度的预测框，Bi表示待筛选的预测框，b、bgt分别是M和Bi的中心点，ρ表示两个中心点间的欧氏距离，c表示能够同时包含M和Bi的最小闭包区域的对角线距离。
本实施例中，优选地，图像分割模块140中获取绝缘子图像分割结果数据集的具体步骤包括：对于输入的绝缘子图像，产生多个不同尺度的特征图，并划分成S×S网格的特征图，目标中心所在的网格负责用对应锚框检测目标；每个网格会预测多个目标框以及目标框的置信度，并进行类别预测；利用输出端公式筛选出预测最准确的一个目标框，当原始绝缘子图像中所有网格区域都预测出各自的类别后，进行信息综合，输出整张图片的完整目标信息，最后在绝缘子图像中框出目标；使用归一化坐标进行裁剪，保留矩形框，实现绝缘子区域分割。
本实施例中，优选地，检测模型训练模块150中建立SOLOv2算法权重模型的具体步骤包括：使用FPN，在固定通道数量下给特征金字塔每层生成不同大小的特征映射，分别输入到类别分支、掩码内核分支和掩码特征分支，分别预测类别、卷积核和卷积特征，其中，在掩码特征分支中对于所有的FPN层级预测一个统一的掩码特征表示；根据真实值计算每个FPN输出层对应面积大小的实例，其中心位置所在的网格负责预测对应的实例掩码及语义类别；生成各网格对应的掩码及分类结果，根据真值掩码及真值分类计算损失，二者的损失以一定比例相加得到最终的损失，训练损失函数如下：
L＝Lcate+λLmask
其中，Lcate表示用于语义类别分类的传统的焦点损失函数，Lmask表示掩码预测的损失；
本实施例中，优选地，检测模块160中获取绝缘子故障识别结果的具体步骤包括：将经过YOLOv5算法权重模型分割后的绝缘子故障待检测图像输入到训练好的SOLOv2权重模型中进行检测，经过由Resnet-50构成的主干网络以及FPN特征金字塔，将不同尺寸的对象分配到不同层次的特征图中，分别送入类别分支、掩码内核分支和掩码特征分支，分别预测类别、卷积核和卷积特征；其中，类别分支将特征图划分为S×S的网格，用于预测各位置目标的类别，掩码内核分支生成动态卷积核G，掩码特征分支生成高分辨率掩膜特征矩阵F，G与F动态卷积得到对应类别的目标掩膜；利用矩阵非极大值抑制方法筛选掩膜得到最佳的检测结果。
本实施例所述一种基于目标检测与实例分割的绝缘子故障识别系统的功能可以由前述一种基于目标检测与实例分割的绝缘子故障识别方法说明，因此本实施例未详述部分，可参见以上方法实施例，在此不再赘述。
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (10)

1.一种基于目标检测与实例分割的绝缘子故障识别方法，其特征在于，包括以下步骤：
步骤一、获取绝缘子航拍图像数据；
步骤二、对绝缘子航拍图像数据进行预处理，并将预处理后的绝缘子航拍图像数据分为训练集和测试集；
步骤三、将训练集输入CSP Darknet53为基准的主干网络，在不同图像细粒度上聚合，得到多种尺度的特征图，建立YOLOv5算法权重模型；
步骤四、将测试集输入所述YOLOv5算法权重模型，对测试集中绝缘子图像进行图像分割，获取绝缘子图像分割结果数据集；
步骤五、将所述绝缘子分割结果数据集输入由残差神经网络Resnet-50和特征金字塔网络FPN构成的网络，生成多个层级的特征图，建立SOLOv2算法权重模型；
步骤六、将绝缘子故障待检测图像数据输入所述SOLOv2算法权重模型，对绝缘子故障待检测图像数据进行检测，获取绝缘子故障识别结果。
2.根据权利要求1所述的一种基于目标检测与实例分割的绝缘子故障识别方法，其特征在于，步骤二中所述预处理包括：图像归一化、数据增强、对绝缘子及故障进行标记。
3.根据权利要求1或2所述的一种基于目标检测与实例分割的绝缘子故障识别方法，其特征在于，步骤三中所述主干网络包括进行下采样操作的Focus结构和跨阶段局部网络CSP结构，其中，Focus结构中使用32个卷积核进行卷积操作；跨阶段局部网络CSP结构包括CSP1结构和CSP2结构，CSP1结构中使用残差组件，CSP2结构中使用由多个激活函数组成的CBL模块；所述YOLOv5算法权重模型的输出端采用如下公式筛选目标框：
Figure FDA0003731033260000011
其中，si表示分类置信度；IoU表示交并比；ε表示非极大值抑制NMS阈值；
Figure FDA0003731033260000012
Figure FDA0003731033260000013
M表示最高置信度的预测框，Bi表示待筛选的预测框，b、bgt分别是M和Bi的中心点，ρ表示两个中心点间的欧氏距离，c表示能够同时包含M和Bi的最小闭包区域的对角线距离。
4.根据权利要求3所述的一种基于目标检测与实例分割的绝缘子故障识别方法，其特征在于，步骤四的具体步骤包括：对于输入的绝缘子图像，产生多个不同尺度的特征图，并划分成S×S网格的特征图，目标中心所在的网格负责用对应锚框检测目标；每个网格会预测多个目标框以及目标框的置信度，并进行类别预测；利用输出端公式筛选出预测最准确的一个目标框，当原始绝缘子图像中所有网格区域都预测出各自的类别后，进行信息综合，输出整张图片的完整目标信息，最后在绝缘子图像中框出目标；使用归一化坐标进行裁剪，保留矩形框，实现绝缘子区域分割。
5.根据权利要求4所述的一种基于目标检测与实例分割的绝缘子故障识别方法，其特征在于，步骤五的具体步骤包括：使用FPN，在固定通道数量下给特征金字塔每层生成不同大小的特征映射，分别输入到类别分支、掩码内核分支和掩码特征分支，分别预测类别、卷积核和卷积特征，其中，在掩码特征分支中对于所有的FPN层级预测一个统一的掩码特征表示；根据真实值计算每个FPN输出层对应面积大小的实例，其中心位置所在的网格负责预测对应的实例掩码及语义类别；生成各网格对应的掩码及分类结果，根据真值掩码及真值分类计算损失，二者的损失以一定比例相加得到最终的损失，训练损失函数如下：
L＝Lcate+λLmask
其中，Lcate表示用于语义类别分类的传统的焦点损失函数，Lmask表示掩码预测的损失。
6.根据权利要求5所述的一种基于目标检测与实例分割的绝缘子故障识别方法，其特征在于，步骤六的具体步骤包括：将经过所述YOLOv5算法权重模型分割后的绝缘子故障待检测图像输入到训练好的SOLOv2权重模型中进行检测，经过由Resnet-50构成的主干网络以及FPN特征金字塔，将不同尺寸的对象分配到不同层次的特征图中，分别送入类别分支、掩码内核分支和掩码特征分支，分别预测类别、卷积核和卷积特征；其中，类别分支将特征图划分为S×S的网格，用于预测各位置目标的类别，掩码内核分支生成动态卷积核G，掩码特征分支生成高分辨率掩膜特征矩阵F，G与F动态卷积得到对应类别的目标掩膜；利用矩阵非极大值抑制方法筛选掩膜得到最佳的检测结果。
7.一种基于目标检测与实例分割的绝缘子故障识别系统，其特征在于，包括：
图像采集模块，其配置成获取绝缘子航拍图像数据；
预处理模块，其配置成对绝缘子航拍图像数据进行预处理，并将预处理后的绝缘子航拍图像数据分为训练集和测试集；所述预处理包括：图像归一化、数据增强、对绝缘子及故障进行标记；
分割模型训练模块，其配置成将训练集输入CSP Darknet53为基准的主干网络，在不同图像细粒度上聚合，得到多种尺度的特征图，建立YOLOv5算法权重模型；
图像分割模块，其配置成将测试集输入所述YOLOv5算法权重模型，对测试集中绝缘子图像进行图像分割，获取绝缘子图像分割结果数据集；
检测模型训练模块，其配置成将所述绝缘子分割结果数据集输入由残差神经网络Resnet-50和特征金字塔网络FPN构成的网络，生成多个层级的特征图，建立SOLOv2算法权重模型；
检测模块，其配置成将绝缘子故障待检测图像数据输入所述SOLOv2算法权重模型，对绝缘子故障待检测图像数据进行检测，获取绝缘子故障识别结果。
8.根据权利要求7所述的一种基于目标检测与实例分割的绝缘子故障识别系统，其特征在于，所述分割模型训练模块中所述主干网络包括进行下采样操作的Focus结构和跨阶段局部网络CSP结构，其中，Focus结构中使用32个卷积核进行卷积操作；跨阶段局部网络CSP结构包括CSP1结构和CSP2结构，CSP1结构中使用残差组件，CSP2结构中使用由多个激活函数组成的CBL模块；所述YOLOv5算法权重模型的输出端采用如下公式筛选目标框：
Figure FDA0003731033260000031
其中，si表示分类置信度；IoU表示交并比；ε表示非极大值抑制NMS阈值；
Figure FDA0003731033260000032
Figure FDA0003731033260000033
M表示最高置信度的预测框，Bi表示待筛选的预测框，b、bgt分别是M和Bi的中心点，ρ表示两个中心点间的欧氏距离，c表示能够同时包含M和Bi的最小闭包区域的对角线距离。
9.根据权利要求8所述的一种基于目标检测与实例分割的绝缘子故障识别系统，其特征在于，所述图像分割模块中获取绝缘子图像分割结果数据集的具体步骤包括：对于输入的绝缘子图像，产生多个不同尺度的特征图，并划分成S×S网格的特征图，目标中心所在的网格负责用对应锚框检测目标；每个网格会预测多个目标框以及目标框的置信度，并进行类别预测；利用输出端公式筛选出预测最准确的一个目标框，当原始绝缘子图像中所有网格区域都预测出各自的类别后，进行信息综合，输出整张图片的完整目标信息，最后在绝缘子图像中框出目标；使用归一化坐标进行裁剪，保留矩形框，实现绝缘子区域分割。
10.根据权利要求9所述的一种基于目标检测与实例分割的绝缘子故障识别系统，其特征在于，所述检测模型训练模块中建立SOLOv2算法权重模型的具体步骤包括：使用FPN，在固定通道数量下给特征金字塔每层生成不同大小的特征映射，分别输入到类别分支、掩码内核分支和掩码特征分支，分别预测类别、卷积核和卷积特征，其中，在掩码特征分支中对于所有的FPN层级预测一个统一的掩码特征表示；根据真实值计算每个FPN输出层对应面积大小的实例，其中心位置所在的网格负责预测对应的实例掩码及语义类别；生成各网格对应的掩码及分类结果，根据真值掩码及真值分类计算损失，二者的损失以一定比例相加得到最终的损失，训练损失函数如下：
L＝Lcate+λLmask
其中，Lcate表示用于语义类别分类的传统的焦点损失函数，Lmask表示掩码预测的损失；
所述检测模块中获取绝缘子故障识别结果的具体步骤包括：将经过所述YOLOv5算法权重模型分割后的绝缘子故障待检测图像输入到训练好的SOLOv2权重模型中进行检测，经过由Resnet-50构成的主干网络以及FPN特征金字塔，将不同尺寸的对象分配到不同层次的特征图中，分别送入类别分支、掩码内核分支和掩码特征分支，分别预测类别、卷积核和卷积特征；其中，类别分支将特征图划分为S×S的网格，用于预测各位置目标的类别，掩码内核分支生成动态卷积核G，掩码特征分支生成高分辨率掩膜特征矩阵F，G与F动态卷积得到对应类别的目标掩膜；利用矩阵非极大值抑制方法筛选掩膜得到最佳的检测结果。
CN202210783889.XA 2022-07-05 2022-07-05 一种基于目标检测与实例分割的绝缘子故障识别方法及系统 Pending CN115294473A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210783889.XA CN115294473A (zh) 2022-07-05 2022-07-05 一种基于目标检测与实例分割的绝缘子故障识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210783889.XA CN115294473A (zh) 2022-07-05 2022-07-05 一种基于目标检测与实例分割的绝缘子故障识别方法及系统

Publications (1)

Publication Number Publication Date
CN115294473A true CN115294473A (zh) 2022-11-04

Family

ID=83822175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210783889.XA Pending CN115294473A (zh) 2022-07-05 2022-07-05 一种基于目标检测与实例分割的绝缘子故障识别方法及系统

Country Status (1)

Country Link
CN (1) CN115294473A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071374A (zh) * 2023-02-28 2023-05-05 华中科技大学 一种车道线实例分割方法及系统
CN116188470A (zh) * 2023-04-28 2023-05-30 成都航空职业技术学院 一种基于无人机航拍识别的故障定位方法和系统
CN116681892A (zh) * 2023-06-02 2023-09-01 山东省人工智能研究院 基于多中心PolarMask模型改进的图像精准分割方法
CN117095411A (zh) * 2023-10-16 2023-11-21 青岛文达通科技股份有限公司 一种基于图像故障识别的检测方法及系统
CN117292120A (zh) * 2023-11-27 2023-12-26 南昌工程学院 一种轻量化可见光绝缘子目标检测方法及系统
CN117422689A (zh) * 2023-10-31 2024-01-19 南京邮电大学 一种基于改进MS-PReNet和GAM-YOLOv7的雨天绝缘子缺陷检测方法
CN117710351A (zh) * 2023-12-22 2024-03-15 北京市市政工程研究院 一种基于目标检测网络的病害检测方法和系统
CN117422689B (zh) * 2023-10-31 2024-05-31 南京邮电大学 一种基于改进MS-PReNet和GAM-YOLOv7的雨天绝缘子缺陷检测方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071374B (zh) * 2023-02-28 2023-09-12 华中科技大学 一种车道线实例分割方法及系统
CN116071374A (zh) * 2023-02-28 2023-05-05 华中科技大学 一种车道线实例分割方法及系统
CN116188470A (zh) * 2023-04-28 2023-05-30 成都航空职业技术学院 一种基于无人机航拍识别的故障定位方法和系统
CN116188470B (zh) * 2023-04-28 2023-07-04 成都航空职业技术学院 一种基于无人机航拍识别的故障定位方法和系统
CN116681892B (zh) * 2023-06-02 2024-01-26 山东省人工智能研究院 基于多中心PolarMask模型改进的图像精准分割方法
CN116681892A (zh) * 2023-06-02 2023-09-01 山东省人工智能研究院 基于多中心PolarMask模型改进的图像精准分割方法
CN117095411A (zh) * 2023-10-16 2023-11-21 青岛文达通科技股份有限公司 一种基于图像故障识别的检测方法及系统
CN117095411B (zh) * 2023-10-16 2024-01-23 青岛文达通科技股份有限公司 一种基于图像故障识别的检测方法及系统
CN117422689A (zh) * 2023-10-31 2024-01-19 南京邮电大学 一种基于改进MS-PReNet和GAM-YOLOv7的雨天绝缘子缺陷检测方法
CN117422689B (zh) * 2023-10-31 2024-05-31 南京邮电大学 一种基于改进MS-PReNet和GAM-YOLOv7的雨天绝缘子缺陷检测方法
CN117292120A (zh) * 2023-11-27 2023-12-26 南昌工程学院 一种轻量化可见光绝缘子目标检测方法及系统
CN117292120B (zh) * 2023-11-27 2024-02-09 南昌工程学院 一种轻量化可见光绝缘子目标检测方法及系统
CN117710351A (zh) * 2023-12-22 2024-03-15 北京市市政工程研究院 一种基于目标检测网络的病害检测方法和系统

Similar Documents

Publication Publication Date Title
CN115294473A (zh) 一种基于目标检测与实例分割的绝缘子故障识别方法及系统
CN112380952B (zh) 基于人工智能的电力设备红外图像实时检测及识别方法
CN109859190B (zh) 一种基于深度学习的目标区域检测方法
CN111784685B (zh) 一种基于云边协同检测的输电线路缺陷图像识别方法
CN112183667B (zh) 一种协同深度学习的绝缘子故障检测方法
CN112084869B (zh) 一种基于紧致四边形表示的建筑物目标检测方法
CN107292886B (zh) 基于网格划分及神经网络的目标物入侵检测方法及装置
CN108710913A (zh) 一种基于深度学习的开关柜图像开关状态自动识别方法
CN111145174A (zh) 基于图像语义特征进行点云筛选的3d目标检测方法
CN115731164A (zh) 基于改进YOLOv7的绝缘子缺陷检测方法
CN114022432A (zh) 基于改进的yolov5的绝缘子缺陷检测方法
CN112949572A (zh) 基于Slim-YOLOv3的口罩佩戴情况检测方法
CN113344475B (zh) 基于序列模态分解的变压器套管缺陷识别方法及系统
CN109919908A (zh) 发光二极管芯片缺陷检测的方法和装置
CN109815800A (zh) 基于回归算法的目标检测方法及系统
CN110263731B (zh) 一种单步人脸检测系统
CN109829881A (zh) 基于深度学习的鸟巢检测方法及系统
CN113033516A (zh) 对象识别统计方法及装置、电子设备、存储介质
CN110084284A (zh) 基于区域卷积神经网络的目标检测与二级分类算法及装置
CN112560675A (zh) Yolo与旋转-融合策略相结合的鸟类视觉目标检测方法
CN113537180B (zh) 树障的识别方法、装置、计算机设备和存储介质
CN109785288A (zh) 基于深度学习的输电设备缺陷检测方法及系统
CN113807450A (zh) 一种基于超高分辨率图片的无人机电力巡线故障检测方法
CN116385958A (zh) 一种用于电网巡检和监控的边缘智能检测方法
CN109815798A (zh) 无人机图像处理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination