CN113378918B - 一种基于度量学习的绝缘子绑扎线状态检测方法 - Google Patents

一种基于度量学习的绝缘子绑扎线状态检测方法 Download PDF

Info

Publication number
CN113378918B
CN113378918B CN202110640451.1A CN202110640451A CN113378918B CN 113378918 B CN113378918 B CN 113378918B CN 202110640451 A CN202110640451 A CN 202110640451A CN 113378918 B CN113378918 B CN 113378918B
Authority
CN
China
Prior art keywords
binding wire
insulator
image
detection
binding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110640451.1A
Other languages
English (en)
Other versions
CN113378918A (zh
Inventor
刘菊华
杜博
宣文杰
刘佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202110640451.1A priority Critical patent/CN113378918B/zh
Publication of CN113378918A publication Critical patent/CN113378918A/zh
Application granted granted Critical
Publication of CN113378918B publication Critical patent/CN113378918B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于度量学习的绝缘子绑扎线状态检测方法。本发明利用由粗到细的检测策略，使用两步Faster‑RCNN对目标进行粗检测和精检测。以绑扎线检测为例，本发明通过裁剪出分步检测得到的绝缘子和绑扎线图像逐步扩大目标、减小检测范围，增强对输电线路中小目标的检测能力和精确性。其次，为解决输电线路中小差异对象中存在的细粒度分类问题，本发明公开的利用度量学习的小差异对象分类方法，能够训练原始图像得到类间差异大、类内差异小的特征空间映射，提高了对输电线路中细差异对象分类的处理能力。此外，由于本发明采用了分步训练网络的方式，使得数据收集更为简单，可扩展性更强、网络优化更为方便。

Description

一种基于度量学习的绝缘子绑扎线状态检测方法
技术领域
本发明属于输电线路检测技术领域，具体涉及一种基于度量学习的绝缘子绑扎线状态检测方法。
背景技术
电能在社会生活中发挥着越来越重要的作用，社会对于电力的安全生产和供给提出了更高的要求：电力生产、供给必须安全可靠。在电力行业，输电线路是电力系统的重要组成部分，由于其长期暴露在自然环境中，不仅要承受正常机械载荷和电力负荷的内部压力，还要经受污秽、雷击、强风等外界因素的侵害，使得线路上各元件老化、疲劳，如不及时发现和消除隐患则可能发展成各种故障甚至事故，对电力系统的安全和稳定构成威胁。电力巡检工作是有效保证输电线路及其设备安全的一项基础工作，通常由直升机或者无人机拍摄高分辨率的图像，而无人机所拍摄的图像通常尺寸高达6000*3000，需要识别的关键部位目标(例如：防震锤、间隔棒、绑扎线等)尺寸通常低于300*200。所以，电力巡检场景存在着小目标检测的问题。同时，这些小目标之间有时候还有着细粒度差异问题，例如：绑扎线绑紧未绑紧、绝缘子破损未破损、悬挂金具螺栓是否缺失、设备是否锈蚀等。传统人工判读这些巡检影像不仅工作量巨大，无法提出对线路机巡作业标准化流程提出指导，而且可能造成巡视不到位、重要巡视项目缺失等状况。而且，目前的人工判读只能完成少量明显有缺陷的数据判读，大量的巡检影像只能放在硬盘里无法应用。
随着深度学习的提出和快速发展，深度学习在电路巡检中也被广泛运用。例如：运用基于深度学习的目标检测算法可以在输电线路对象检测中节省大量的人力以及提高巡检影像的利用率。目前，业界处理输电线路对象检测的方法有两种技术思路：第一种，是基于候选区域的深度学习目标检测算法，常用的有Faster-RCNN网络。Faster-RCNN是一种候选区域和卷积神经网络相结合的目标检测算法，检测精度较高，但难以处理小目标。第二种，是基于回归的深度学习目标检测算法，常用的有Yolo算法。Yolo将目标检测任务看做回归问题,提高了目标检测速度。然而,Yolo没有使用候选区域机制,仅仅使用7*7的网络进行目标边框回归,结果目标定位准确度不高,从而导致小目标检测精度不高。
虽然上述两种方法在电力巡检中已经被广泛使用，但是由于经典的目标检测算法中检测对象尺度较大，所以对电力巡检小目标问题处理不理想，难以解决电力巡检中检测小目标问题和细差异问题，因此我们提出了基于度量学习的小差异检测方法。
度量学习又称为相似度学习，是一种空间映射方法，将所有数据都转化为特征向量并映射到类间差异大，类内差异小的特征空间，进而对样本进行区分，常用于处理人脸识别、人脸验证等差异较小的分类问题。因此，基于度量学习的方法能够有效区分电力巡检中小差异目标，提高细粒度分类精度。
发明内容
有鉴于此，本发明的目的在于提供一种基于度量学习的绝缘子绑扎线状态检测方法。该方法首次使用由粗到细的检测策略+度量学习的方法来进行输电线路小差异性对象检测：首先利用两级Faster-RCNN级联的目标检测算法缩小判定范围，再使用度量学习的方法来对目标对象差异不显著的不同状态进行识别。该发明有效解决了单步Faster-RCNN直接对小差异对象检测时难以分辨较小差异对象的问题，以及经典目标检测算法在小目标、小差异对象分类精度较低的问题；有效提升了电力巡检中对小差异缺陷的识别精度。为了便于说明和理解该发明提出的方法，下面我们以输电线路中绑扎线的状态检测(正常、未绑紧、脱落)为例对本发明的实施步骤进行具体说明，需要指出的是，该发明不仅限于对输电线路中绑扎线的状态进行检测，而是适用于输电线路中所有的小差异对象检测：
(1)收集输电线路图像，对输电线路图像进行人工标注和图像裁剪，得到绝缘子图像和绝缘子位置标注文件、绑扎线图像和绑扎线位置标注文件以及绑扎线状态标注文件。使用输电线路图像和绝缘子位置坐标标注文件训练绝缘子检测模型，即绑扎线粗检测Faster-RCNN网络；使用绝缘子图像和绑扎线位置坐标标注文件训练绑扎线检测模型，即绑扎线精检测Faster-RCNN网络；使用绑扎线图像和绑扎线状态标注文件训练绑扎线分类模型，即基于度量学习的绑扎线分类模型；
(2)输入原始输电线路图像，利用训练好的绑扎线粗检测Faster-RCNN网络对绑扎线进行粗检测，即识别原始图像中的绝缘子，并获得网络从输电线路图像中识别出绝缘子，获得绝缘子的检测边框位置，然后根据绝缘子检测边框的位置裁剪出绝缘子的图像；
(3)输入(2)中得到的绝缘子图像，利用训练好的绑扎线精检测Faster-RCNN网络对绑扎线进行精检测，即识别绝缘子图像中的绑扎线，并获得绑扎线的检测边框的位置，然后根据绑扎线检测边框的位置裁剪出绑扎线的图像；
(4)输入(3)中得到的绑扎线图像，利用训练好的基于度量学习的绑扎线分类模型对绑扎线状态进行状态识别，从而获得绑扎线的状态。
(5)根据(3)中得到的绑扎线边框位置及(4)中得到的绑扎线状态，在原始输电线路图像上标识，进行可视化输出。
而且，所述步骤(1)收集训练网络模型所需要的数据集的具体实施方式如下：
由于目前并没有针对输电线路小差异对象的开源数据集，所以首先需要准备训练数据及标注。
1)收集输电线路中绑扎线图像，对图像进行人工标注，在输电线路图像中标注出绝缘子位置坐标，绑扎线位置坐标以及对应的绑扎线状态，并根据绝缘子位置坐标标注和绑扎线位置坐标标注进行图像裁剪，分别获得绝缘子图像，绑扎线图像；
2)使用无人机拍摄的输电线路原始图像和绝缘子位置坐标标注文件对绝缘子检测模型进行训练，使用绝缘子图像和绑扎线位置坐标标注文件对绑扎线检测模型进行训练，使用绑扎线图像和绑扎线状态标注文件对绑扎线分类模型进行训练。
而且，所述步骤(2)中在利用Faster-RCNN网络检测绝缘子的具体实施方式如下：
21)输入输电线路原始图像，使用卷积神经网络提取出图像的特征图，这些特征图共享于22)和23)的RPN(候选框生成网络)层和RoI Pooling层(感兴趣区域池化层)；
22)将21)中得到特征图输入到RPN，由RPN生成若干个候选框，通过边框回归得到含有绝缘子特征的候选框位置；
23)将21)中得到的特征图和22)中得到的候选框通过RoI Pooling层进行综合缩放，然后输入到一系列全连接层，通过softmax分类器和边框回归得到绝缘子边框的最终坐标位置；
24)根据23)得到的绝缘子的位置，在输电线路原始图像中裁剪出绝缘子的图像，作为绑扎线精检测网络模型的输入，这样确保了绝缘子图像的分辨率，从而提高检测性能。
而且，所述步骤(3)中在利用Faster-RCNN网络检测绑扎线的具体实施方式如下：
步骤(3)流程与步骤(2)基本相同。差异在于，将步骤(2)检测到的绝缘子图像输入训练好的绑扎线精检测Faster RCNN网络中，得到绑扎线位置的边框坐标。然后根据得到的绑扎线边框坐标，裁剪出绑扎线图像，作为下一层识别绑扎线状态网络的输入。具体为：
31)将裁剪的绝缘子图像输入到卷积神经网络，提取出绝缘子图像的特征图，该特征图作为绑扎线检测网络的RPN和RoI Pooling层的输入；
32)由RPN生成若干个候选框，通过边框回归得到含有绑扎线特征的候选框位置，与绝缘子图像的特征图共同作为RoI Pooling层的输入；
33)RoI Pooling层对含有绑扎线特征的候选框进行综合缩放为统一大小，得到候选框特征提取缩放图，然后输入到全连接层，通过softmax分类器识别出绑扎线和通过边框回归得到绑扎线边框的位置，根据坐标从绝缘子图像中裁剪出绑扎线图像。
而且，所述步骤(4)中使用度量学习来进行小差异性对象检测具体实施方式如下：
41)建立基于度量学习的绑扎线分类模型，通过全连接层将数据映射转换成128维的特征空间中，并使用步骤(1)得到的绑扎线训练图像和绑扎线类别的标注文件进行基于度量学习的绑扎线分类模型训练；使用Triplet Loss损失函数，最终将所有输入样本通过网络映射到类内差异小、类间差异大的特征空间中，作为新样本分类的依据；
42)将步骤(3)获得的绑扎线图像也通过卷积层映射到训练后的特征空间中，并计算它与特征空间中其他训练数据的余弦距离(余弦相似度)；使用K最近邻(KNN)算法，计算得到步骤(3)中获得的绑扎线的具体类别。
而且，所述步骤(4)的41)中训练绑扎线分类模型的具体实施方式如下：
本发明中基于度量学习的绑扎线分类模型训练主要使用的损失函数为Tripletloss，它是通过一个三元组(Triplet)计算而来的损失，目的是让负样本对之间的距离大于正样本对之间的距离。每个三元组<A,N,P>由一个Anchor(A)，一个Negative(N，与A不同类别的样本)和一个Positive(P，与A相同类别的样本)组成，其中A和P为一个正样本对，A和N为一个负样本对。在特征空间中，Triplet loss公式如下：
Figure BDA0003107396510000041
其中Dij为正样本对的距离，Dik为负样本对的距离，i是指前面提到的anchor，j是前面提到的正样本，k是前面提到的负样本；m为人为设置的边界(margin)值。通过上述公式可以看出，当负样本对之间的距离比正样本对之间的距离大于m时，loss值为0。
计算Dij时使用的距离计算方式包括欧式距离、余弦距离、LP距离等。在本发明中使用的是余弦距离，公式如下：
Figure BDA0003107396510000042
其中ir，jr为样本i，j通过全连接层提取出的特征向量的第r维的值，n为向量的维度，||i||和||j||为样本i，j通过全连接层提取出的特征向量的长度。
而且，所述步骤(4)的42)中K最近邻算法的具体实施方式如下：
通过步骤(4)的42)中计算出来的余弦距离，找出当中距离最小的K(本发明中选取的K值为5)个训练数据样本，统计它们的状态标签，将出现最多次数的状态标签作为该绑扎线的状态类别。
而且，所述基于度量学习的绑扎线分类模型为VGG-16模型，并在后面加了全连接层，将输出转为128维。
因此，本发明在输电线路巡检中检测小目标和细粒度分类问题上具有较好的性能。另外，由于本发明采用的是分步训练网络、分步检测的方式，因此还具有收集数据较为简单、可扩展性强、网络优化更为方便的优点。
附图说明
图1为本发明实施的整体流程图示。
图2为本发明收集使用的数据集示例。
图3为本发明实施检测绝缘子和绑扎线的网络图示。
图4为本发明实施识别绑扎线状态的流程图示。
图5为本发明实施效果图示。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
如图1，本发明所采用的技术方案是一种基于度量学习的绝缘子绑扎线状态检测方法，包括以下步骤：
(1)将输电线路图像输送到训练好的绝缘子检测网络，绝缘子检测网络输出绝缘子的边框坐标，然后根据边框坐标从输电线路图像中裁剪出绝缘子的图像；
(2)将上一步裁剪得到的绝缘子图像输送到训练好的绑扎线检测网络，绑扎线检测网络输出绑扎线的边框坐标，然后根据边框坐标从绑扎线图像中裁剪出绑扎线的图像；
(3)将上一步裁剪得到的绑扎线图像输送到特征提取网络，特征提取网络输出绑扎线的特征向量，然后将该特征向量映射到用度量学习训练好的特征空间中，根据K最近邻(KNN)算法得出该绑扎线的状态；
(4)根据绑扎线状态及绑扎线的边框坐标，在原始输电线路图像中标识出来，对检测的最终结果进行可视化输出。
图2为本发明收集使用的数据集示例，具体细节包括以下：
(1)收集输电线路图像，对图像进行人工标注，在输电线路图像中标注出绝缘子位置坐标，绑扎线位置坐标以及对应的绑扎线状态，并根据绝缘子位置坐标标注和绑扎线位置坐标标注进行图像裁剪，获得绝缘子图像，绑扎线图像；
(2)使用输电线路图像和绝缘子位置坐标标注文件对绝缘子检测模型进行训练，使用绝缘子图像和绑扎线位置坐标标注文件对绑扎线检测模型进行训练，使用绑扎线图像和绑扎线状态标注文件对绑扎线分类模型进行训练。
图3为本发明实施检测绝缘子和绑扎线的网络图示，具体细节如下：
为了提高对目标识别的精度，我们采用两级Faster-RCNN级联上下文目标检测的方法。在本发明中，我们先从原始输电线路图像中检测出绝缘子并裁剪出绝缘子图像，再从绝缘子图像中检测出绑扎线，具体步骤如下：
(1)输入输电线路图像，使用卷积神经网络提取输电线路图像的特征图，作为绝缘子检测网络的RPN和RoI Pooling层的输入；
(2)由RPN生成若干个候选框，通过边框回归得到含有绝缘子特征的候选框位置，与输电线路图像的特征图共同作为RoI Pooling层的输入；
(3)RoI Pooling层对含有绝缘子特征的候选框进行综合缩放为统一大小，得到候选框特征提取缩放图，然后输入到全连接层，通过softmax分类器识别出绝缘子和通过边框回归得到绝缘子边框的位置，根据坐标裁剪出绝缘子图像；
(4)将裁剪的绝缘子图像输入卷积神经网络，得到绝缘子图像的特征图，并将该特征图作为绑扎线检测网络的RPN和RoI Pooling层的输入；
(5)由RPN生成若干个候选框，通过边框回归得到含有绑扎线特征的候选框位置，与绝缘子图像的特征图共同作为RoI Pooling层的输入；
(6)RoI Pooling层对含有绑扎线特征的候选框进行综合缩放为统一大小，得到候选框特征提取缩放图，然后输入到全连接层，通过softmax分类器识别出绑扎线和通过边框回归得到绑扎线边框的位置，根据坐标裁剪出绑扎线图像作为下一层绑扎线状态识别网络的输入。
图4所示为本发明使用度量学习实施识别绑扎线状态的流程图示，具体细节如下：
1)将训练数据中的绑扎线图像和绑扎线状态标注文件，利用度量学习技术，使用Triplet loss损失函数训练原始特征空间，并最终得到类内差异小、类间差异大的特征空间。
2)将上一层绑扎线检测网络得到的绑扎线图像(新样本)输送到特征提取网络提取出128维特征向量。然后将特征向量映射到1)训练后的特征空间，计算该特征向量与特征空间中其他训练样本特征向量的余弦距离，通过K最近邻(KNN)算法统计距离最小的K(本实例中K值取5)个训练样本，将这K个样本中出现次数最多的类别作为输入绑扎线的类别。
图5为本发明实施效果图示。本发明能够有效解决电力巡检中存在的小目标问题和细差异对象检测的问题，相比于单步的经典目标检测算法有效提升了小差异性对象检测的精度。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (6)

1.一种基于度量学习的绝缘子绑扎线状态检测方法，其特征在于，包括如下步骤：
(1)收集输电线路图像，对输电线路图像进行人工标注和图像裁剪，得到绝缘子图像和绝缘子位置标注文件、绑扎线图像和绑扎线位置标注文件以及绑扎线状态标注文件；使用输电线路图像和绝缘子位置坐标标注文件训练绝缘子检测模型，即绑扎线粗检测Faster-RCNN网络；使用绝缘子图像和绑扎线位置坐标标注文件训练绑扎线检测模型，即绑扎线精检测Faster-RCNN网络；使用绑扎线图像和绑扎线状态标注文件训练绑扎线分类模型，即基于度量学习的绑扎线分类模型；
(2)输入原始输电线路图像，利用训练好的绑扎线粗检测Faster-RCNN网络对绑扎线进行粗检测，即识别原始图像中的绝缘子，并获得网络从输电线路图像中识别出绝缘子，获得绝缘子的检测边框位置，然后根据绝缘子检测边框的位置裁剪出绝缘子的图像；
(3)输入(2)中得到的绝缘子图像，利用训练好的绑扎线精检测Faster-RCNN网络对绑扎线进行精检测，即识别绝缘子图像中的绑扎线，并获得绑扎线的检测边框的位置，然后根据绑扎线检测边框的位置裁剪出绑扎线的图像；
(4)输入(3)中得到的绑扎线图像，利用训练好的基于度量学习的绑扎线分类模型对绑扎线状态进行状态识别，从而获得绑扎线的状态；
所述基于度量学习的绑扎线分类模型为VGG-16模型，并在后面加了全连接层，将输出转为128维；
所述步骤(4)中利用训练好的基于度量学习的绑扎线分类模型对绑扎线状态进行状态识别的具体实施方式如下：
41)建立基于度量学习的绑扎线分类模型，通过全连接层将数据映射转换成128维的特征空间中，并使用步骤(1)得到的绑扎线训练图像和绑扎线类别的标注文件进行基于度量学习的绑扎线分类模型训练；使用Triplet Loss损失函数，最终将所有输入样本通过网络映射到类内差异小、类间差异大的特征空间中，作为新样本分类的依据；
42)将步骤(3)获得的绑扎线图像也通过卷积层映射到训练后的特征空间中，并计算它与特征空间中其他训练数据的余弦距离；使用K最近邻算法，计算得到步骤(3)中获得的绑扎线的具体类别；
(5)根据(3)中得到的绑扎线边框位置及(4)中得到的绑扎线状态，在原始输电线路图像上标识，进行可视化输出。
2.如权利要求1所述的一种基于度量学习的绝缘子绑扎线状态检测方法，其特征在于：所述步骤(2)中利用粗检测Faster-RCNN网络从输电线路图像中识别出绝缘子的具体实施方式如下：
21)输入输电线路原始图像，使用卷积神经网络提取出图像的特征图，这些特征图共享于22)和23)的RPN层和RoI Pooling层；
22)将21)中得到特征图输入到RPN，由RPN生成若干个候选框，通过边框回归得到含有绝缘子特征的候选框位置；
23)将21)中得到的特征图和22)中得到的候选框通过RoI Pooling层进行综合缩放，然后输入到一系列全连接层，通过softmax分类器和边框回归得到绝缘子边框的最终坐标位置；
24)根据23)得到的绝缘子的位置，在输电线路原始图像中裁剪出绝缘子的图像，作为绑扎线精检测网络模型的输入，这样确保了绝缘子图像的分辨率，从而提高检测性能。
3.如权利要求1所述的一种基于度量学习的绝缘子绑扎线状态检测方法，其特征在于：所述步骤(3)中利用精检测Faster-RCNN网络从绝缘子图像中识别出绑扎线的具体实施方式如下：
31)将裁剪的绝缘子图像输入到卷积神经网络，提取出绝缘子图像的特征图，该特征图作为绑扎线检测网络的RPN和RoI Pooling层的输入；
32)由RPN生成若干个候选框，通过边框回归得到含有绑扎线特征的候选框位置，与绝缘子图像的特征图共同作为RoI Pooling层的输入；
33)RoI Pooling层对含有绑扎线特征的候选框进行综合缩放为统一大小，得到候选框特征提取缩放图，然后输入到全连接层，通过softmax分类器识别出绑扎线和通过边框回归得到绑扎线边框的位置，根据坐标从绝缘子图像中裁剪出绑扎线图像。
4.如权利要求1所述的一种基于度量学习的绝缘子绑扎线状态检测方法，其特征在于：步骤(4)中基于度量学习的绑扎线分类模型使用的损失函数为Triplet loss，它是通过一个三元组计算而来的损失，意在让负样本对之间的距离大于正样本对之间的距离；每个三元组<A,N,P>由一个Anchor，即A，一个Negative，即N，与A不同类别的样本，和一个Positive，即P，与A相同类别的样本组成，其中A和P为一个正样本对，A和N为一个负样本对；在特征空间中，Triplet loss公式如下：
Figure FDA0003583679510000021
其中Dij为正样本对的距离，Dik为负样本对的距离，i是指前面提到的anchor，j是前面提到的正样本，k是前面提到的负样本；m为人为设置的边界值；通过上述公式可以看出，当负样本对之间的距离比正样本对之间的距离大于m时，loss值为0；
计算Dij时使用的距离公式为欧式距离或余弦距离或LP距离。
5.如权利要求4所述的一种基于度量学习的绝缘子绑扎线状态检测方法，其特征在于：使用余弦距离计算Dij，公式如下：
Figure FDA0003583679510000031
其中ir，jr为样本i，j通过全连接层提取出的特征向量的第r维的值，n为向量的维度，||i||和||j||为样本i，j通过全连接层提取出的特征向量的长度。
6.如权利要求4所述的一种基于度量学习的绝缘子绑扎线状态检测方法，其特征在于：通过步骤42)中计算出来的余弦距离，找出当中距离最小的K个训练数据样本，统计它们的状态标签，将出现最多次数的状态标签作为该绑扎线的状态类别。
CN202110640451.1A 2021-06-09 2021-06-09 一种基于度量学习的绝缘子绑扎线状态检测方法 Active CN113378918B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110640451.1A CN113378918B (zh) 2021-06-09 2021-06-09 一种基于度量学习的绝缘子绑扎线状态检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110640451.1A CN113378918B (zh) 2021-06-09 2021-06-09 一种基于度量学习的绝缘子绑扎线状态检测方法

Publications (2)

Publication Number Publication Date
CN113378918A CN113378918A (zh) 2021-09-10
CN113378918B true CN113378918B (zh) 2022-06-07

Family

ID=77572920

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110640451.1A Active CN113378918B (zh) 2021-06-09 2021-06-09 一种基于度量学习的绝缘子绑扎线状态检测方法

Country Status (1)

Country Link
CN (1) CN113378918B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106877237A (zh) * 2017-03-16 2017-06-20 天津大学 一种基于航拍图像的检测输电线路中绝缘子缺失的方法
CN109255776A (zh) * 2018-07-23 2019-01-22 中国电力科学研究院有限公司 一种输电线路开口销缺损自动识别方法
CN208521482U (zh) * 2018-03-06 2019-02-19 黄桂斌 一种农网配电营业工技能操作实训柜
CN110321815A (zh) * 2019-06-18 2019-10-11 中国计量大学 一种基于深度学习的道路裂缝识别方法
CN111353413A (zh) * 2020-02-25 2020-06-30 武汉大学 一种输电设备低漏报率缺陷识别方法
CN111652835A (zh) * 2020-02-12 2020-09-11 天津大学 基于深度学习与聚类的输电线路绝缘子缺失的检测方法
WO2020181685A1 (zh) * 2019-03-12 2020-09-17 南京邮电大学 一种基于深度学习的车载视频目标检测方法
CN111832579A (zh) * 2020-07-20 2020-10-27 北京百度网讯科技有限公司 地图兴趣点数据处理方法、装置、电子设备以及可读介质
CN112560876A (zh) * 2021-02-23 2021-03-26 中国科学院自动化研究所 解耦度量的单阶段小样本目标检测方法
CN112711981A (zh) * 2020-12-02 2021-04-27 国网陕西省电力公司检修公司 一种高精度输电线路缺陷识别方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106877237A (zh) * 2017-03-16 2017-06-20 天津大学 一种基于航拍图像的检测输电线路中绝缘子缺失的方法
CN208521482U (zh) * 2018-03-06 2019-02-19 黄桂斌 一种农网配电营业工技能操作实训柜
CN109255776A (zh) * 2018-07-23 2019-01-22 中国电力科学研究院有限公司 一种输电线路开口销缺损自动识别方法
WO2020181685A1 (zh) * 2019-03-12 2020-09-17 南京邮电大学 一种基于深度学习的车载视频目标检测方法
CN110321815A (zh) * 2019-06-18 2019-10-11 中国计量大学 一种基于深度学习的道路裂缝识别方法
CN111652835A (zh) * 2020-02-12 2020-09-11 天津大学 基于深度学习与聚类的输电线路绝缘子缺失的检测方法
CN111353413A (zh) * 2020-02-25 2020-06-30 武汉大学 一种输电设备低漏报率缺陷识别方法
CN111832579A (zh) * 2020-07-20 2020-10-27 北京百度网讯科技有限公司 地图兴趣点数据处理方法、装置、电子设备以及可读介质
CN112711981A (zh) * 2020-12-02 2021-04-27 国网陕西省电力公司检修公司 一种高精度输电线路缺陷识别方法
CN112560876A (zh) * 2021-02-23 2021-03-26 中国科学院自动化研究所 解耦度量的单阶段小样本目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
An intelligent recognition system for insulator string defects based on dimension correction and optimized faster R-CNN;Tao Lin等;《Electrical Engineering》;20200909;第1-9页 *
基于计算机视觉的输电线路绝缘子定位与状态检测研究;王逸群;《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》;20210115(第01期);第C042-323页 *

Also Published As

Publication number Publication date
CN113378918A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN110298227B (zh) 一种基于深度学习的无人机航拍图像中的车辆检测方法
CN109376580B (zh) 一种基于深度学习的电力塔架部件识别方法
CN103729631B (zh) 一种基于视觉的连接器表面特征自动识别方法
Luo et al. An ultrasmall bolt defect detection method for transmission line inspection
Adou et al. Insulator faults detection based on deep learning
CN111046950B (zh) 一种图像处理方法、装置、存储介质和电子装置
CN111337789A (zh) 一种高压输电线路中故障电气元件检测方法及检测系统
CN110443279B (zh) 一种基于轻量级神经网络的无人机图像车辆检测方法
CN111178451A (zh) 一种基于YOLOv3网络的车牌检测方法
CN112016638A (zh) 一种钢筋簇的识别方法、装置、设备及存储介质
CN114694130A (zh) 基于深度学习的铁路沿线电线杆及杆号检测方法和装置
CN114283343B (zh) 基于遥感卫星图像的地图更新方法、训练方法和设备
Hao et al. Detection of bird nests on power line patrol using single shot detector
CN105528790A (zh) 一种输电线路小型部件识别方法
CN111241905A (zh) 基于改进ssd算法的输电线路鸟窝检测方法
CN112668662B (zh) 基于改进YOLOv3网络的野外山林环境目标检测方法
CN110428398A (zh) 一种基于深度学习的高铁接触网拉线缺陷检测方法
CN113378918B (zh) 一种基于度量学习的绝缘子绑扎线状态检测方法
CN111091533B (zh) 一种基于改进ssd算法的电池片el缺陷检测方法
Li et al. Insulator infrared image segmentation algorithm based on dynamic mask and box annotation
CN115937492A (zh) 一种基于特征识别的变电设备红外图像识别方法
CN115187969A (zh) 一种基于视觉识别的铅酸电池回收系统和方法
CN114638989A (zh) 一种基于目标检测和细粒度识别的故障分类可视化方法
Zhou et al. Target recognition and evaluation of typical transmission line equipment based on deep learning
Sheng et al. A YOLOX-Based Detection Method of Triple-Cascade Feature Level Fusion for Power System External Defects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant