CN111815567A - 一种高识别率电力设备自动标注方法和装置 - Google Patents

一种高识别率电力设备自动标注方法和装置 Download PDF

Info

Publication number
CN111815567A
CN111815567A CN202010542378.XA CN202010542378A CN111815567A CN 111815567 A CN111815567 A CN 111815567A CN 202010542378 A CN202010542378 A CN 202010542378A CN 111815567 A CN111815567 A CN 111815567A
Authority
CN
China
Prior art keywords
power equipment
labeling
image
equipment
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010542378.XA
Other languages
English (en)
Inventor
倪祺
颜楠楠
江安烽
陈宁
顾春杰
朱皇儒
袁成
罗毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Online Shanghai Energy Internet Research Institute Co ltd
State Grid Shanghai Electric Power Co Ltd
Electric Power Research Institute of State Grid Shanghai Electric Power Co Ltd
Original Assignee
China Online Shanghai Energy Internet Research Institute Co ltd
State Grid Shanghai Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Online Shanghai Energy Internet Research Institute Co ltd, State Grid Shanghai Electric Power Co Ltd filed Critical China Online Shanghai Energy Internet Research Institute Co ltd
Priority to CN202010542378.XA priority Critical patent/CN111815567A/zh
Publication of CN111815567A publication Critical patent/CN111815567A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种高识别率电力设备自动标注方法，包括获得经过设备标注和设备组件级标注的电力设备图像集；对图像进行预处理；将电力设备图像集分为训练集和测试集；对电力设备标注模型进行训练；采用梯度下降算法根据标注模型和实际标签信息间的差值进行自动更新；使用测试集测试标注模型的标注精度，判断标注精度是否达到预设阈值；使用训练好的电力设备标注模型进行电力设备的自动标注。自动标注装置包括图像传感器、存储器、CPU、电源和GPU，图像传感器、存储器、电源和GPU分别与CPU相连。与现有技术相比，本发明具有准确率高、可以为电力设备缺陷识别提供必要组件信息等优点。

Description

一种高识别率电力设备自动标注方法和装置
技术领域
本发明涉及电力设备图像标注技术领域，尤其是涉及一种高识别率电力设备自动标注方法和装置。
背景技术
使用人工智能技术识别电力设备图像来判断设备缺陷主要涉及三个环节：1、标注电力设备图像，建立样本库。2、采用样本库数据，训练人工智能模型。3、使用人工智能模型判断新的电力设备图像是否存在缺陷。其中，人工智能技术识别电力设备图像的核心指标是图像识别准确率。以往，为提高电力设备图像识别准确率，国内外研究集中于采用不同人工智能模型或者调整模型参数的方法，取得了一定的效果，但外形、颜色类似的不同设备被判定为同一种设备的发生概率依旧很高，导致图像识别准确率仍旧无法满足现场实用的要求。
中国专利CN109446925A中公开了一种基于卷积神经网络的电力设备检测算法，该算法可以有效减少错框漏框的现象，提高准确率，但是该算法在训练模型时使用的仍然是设备级的标签，无法精确到电力设备的组件，导致图像的识别准确率依然较低。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种准确率高、可以为电力设备缺陷识别提供必要组件信息的高识别率电力设备自动标注方法和装置。
本发明的目的可以通过以下技术方案来实现：
一种高识别率电力设备自动标注方法，包括：
步骤1：获得经过设备标注和设备组件级标注的电力设备图像集；
步骤2：对图像进行预处理；
步骤3：将电力设备图像集分为训练集和测试集；
步骤4：将训练集中的电力设备图像以及该图像的标签输入到电力设备标注模型进行训练，获得图像中电力设备的预测框、预测设备类型和预测设备组件类型；
步骤5：采用梯度下降算法根据标注模型和实际标签信息间的差值进行自动更新；
步骤6：使用测试集测试标注模型的标注精度，判断标注精度是否达到预设阈值，若是，则执行步骤6，否则，返回步骤5继续对标注模型进行训练；
步骤7：使用训练好的电力设备标注模型进行电力设备的自动标注。
优选地，所述的步骤1具体为：
采用LabelImg工具对拍摄的电力设备图像进行设备级标注，获得图像中电力设备的标签，该标签包括电力设备标注框左上角位置坐标、右下角位置坐标和电力设备类型，然后对每个识别出的电力设备进行组件级标注，标注内容为电力设备的核心组件。
优选地，所述的预处理具体为：
首先将图像的尺寸进行归一化处理，将图像归一化为300×300像素，然后保存原始图像旋转90°、180°和270°之后的图像。
优选地，所述的步骤3具体为：
通过Bootstrap技术将电力设备图像集分为训练集和测试集，训练集用于训练电力设备标注模型，测试集用于测试电力设备标注模型的性能。
优选地，所述的电力设备包括杆塔、导线、防震锤、绝缘子和间隔棒。
优选地，所述的电力设备标注模型为基于R-CNN的标注模型、基于Fast RCNN的标注模型、基于Faster RCNN的标注模型、基于YOLO的标注模型、基于SDD的标注模型或基于Mask RCNN标注模型。
优选地，所述的步骤5中的梯度下降算法为基于随机梯度下降的误差反向传播算法。
一种使用上述自动标注方法的电力设备自动标注装置，包括：
图像传感器，用于采集电力设备的图像；
存储器，用于存储电力设备原始图像、电力设备训练集图像及标签信息、电力设备测试集图像及标签信息、电力设备标注图像集标签信息和电力设备标准组件库；
CPU，内嵌电力设备自动标注方法，用于对电力设备图形进行处理，获得电力设备标注图像；
电源，用于为图像传感器、存储器和CPU供电；
所述的图像传感器、存储器和电源分别与CPU相连。
优选地，所述的自动标注装置设有GPU；所述的GPU与CPU相连。
优选地，所述的图像传感器为可见光摄像头、红外摄像头、紫外摄像头或遥感卫星。
与现有技术相比，本发明具有以下优点：
本发明中的自动标注方法使用组件级标注图像对电力设备标注模型进行训练，电力设备标注模型在进行电力设备识别时会与预存的电力设备组件库进行比对，大大提高识别的准确率；同时使用本发明中的自动标注方法和装置标注的电力设备可以精确到具体的组件，为后面对电力设备的缺陷识别提供必要信息。
附图说明
图1为本发明中自动标注方法的流程示意图；
图2为本发明中自动标注装置的结构示意图；
图3为本发明中设备级标注时的示意图；
图4为本发明中组件级标注时的示意图。
图中标号所示：
1、图像传感器，2、存储器，3、CPU，4、电源，5、GPU。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
本实施例涉及一种高识别率电力设备自动标注装置，其结构如图2所示，包括：
图像传感器1，用于采集电力设备的图像，本实施例中的图像传感器1为可见光摄像头、红外摄像头、紫外摄像头或遥感卫星；
存储器2，用于存储电力设备原始图像、电力设备训练集图像及标签信息、电力设备测试集图像及标签信息、电力设备标注图像集标签信息和电力设备标准组件库；
CPU3，内嵌电力设备自动标注方法，用于对电力设备图形进行处理，获得电力设备标注图像；
电源4，用于为图像传感器1、存储器2和CPU3供电；
GPU5，用于加速图像处理速度，提高标注装置的标注效率。
图像传感器1、存储器2、电源4和GPU5分别与CPU3相连。
本实施例中的图像传感器1为可见光摄像头、红外摄像头、紫外摄像头或遥感卫星。
本实施例还涉及一种高识别率的自动标注方法，该方法内嵌在CPU3上，其流程示意图如图1所示，包括：
步骤1：获得经过设备标注和设备组件级标注的电力设备图像集；
采用LabelImg工具对拍摄的电力设备图像进行设备级标注，获得图像中电力设备的标签，该标签包括电力设备标注框左上角位置坐标、右下角位置坐标和电力设备类型，然后对每个识别出的电力设备进行组件级标注，标注内容为电力设备的核心组件。
本实施例中的设备级标注如图3所示，图3中的TA为电流互感器，组件级标注如图4所示，图4对TA的核心组件进行了标注，其中TA-H为电流互感器的头部，TA-JYZ为电流互感器绝缘子部分。
步骤2：对图像进行预处理；
具体为：首先将图像的尺寸进行归一化处理，将图像归一化为300×300像素，然后保存原始图像旋转90°、180°和270°之后的图像。
步骤3：将电力设备图像集分为训练集和测试集；
具体为：通过Bootstrap技术将电力设备图像集分为训练集和测试集，训练集用于训练电力设备标注模型，测试集用于测试电力设备标注模型的性能。
步骤4：将训练集中的电力设备图像以及该图像的标签输入到电力设备标注模型进行训练，获得图像中电力设备的预测框、预测设备类型和预测设备组件类型；
步骤5：采用基于随机梯度下降的误差反向传播算根据标注模型和实际标签信息间的差值进行自动更新；
步骤6：使用测试集测试标注模型的标注精度，判断标注精度是否达到预设阈值，若是，则执行步骤6，否则，返回步骤5继续对标注模型进行训练；
步骤7：使用训练好的电力设备标注模型进行电力设备的自动标注。
本实施例中的电力设备包括杆塔、导线、防震锤、绝缘子和间隔棒，即自动标注方法及自动标注装置可以对杆塔、导线、防震锤、绝缘子和间隔棒进行标注。
本实施例中的电力设备标注模型为基于R-CNN的标注模型、基于Fast RCNN的标注模型、基于Faster RCNN的标注模型、基于YOLO的标注模型、基于SDD的标注模型或基于MaskRCNN标注模型，能够实现电力设备标注即可。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种高识别率电力设备自动标注方法，其特征在于，包括：
步骤1：获得经过设备标注和设备组件级标注的电力设备图像集；
步骤2：对图像进行预处理；
步骤3：将电力设备图像集分为训练集和测试集；
步骤4：将训练集中的电力设备图像以及该图像的标签输入到电力设备标注模型进行训练，获得图像中电力设备的预测框、预测设备类型和预测设备组件类型；
步骤5：采用梯度下降算法根据标注模型和实际标签信息间的差值进行自动更新；
步骤6：使用测试集测试标注模型的标注精度，判断标注精度是否达到预设阈值，若是，则执行步骤6，否则，返回步骤5继续对标注模型进行训练；
步骤7：使用训练好的电力设备标注模型进行电力设备的自动标注。
2.根据权利要求1所述的一种高识别率电力设备自动标注方法，其特征在于，所述的步骤1具体为：
采用LabelImg工具对拍摄的电力设备图像进行设备级标注，获得图像中电力设备的标签，该标签包括电力设备标注框左上角位置坐标、右下角位置坐标和电力设备类型，然后对每个识别出的电力设备进行组件级标注，标注内容为电力设备的核心组件。
3.根据权利要求1所述的一种高识别率电力设备自动标注方法，其特征在于，所述的预处理具体为：
首先将图像的尺寸进行归一化处理，将图像归一化为300×300像素，然后保存原始图像旋转90°、180°和270°之后的图像。
4.根据权利要求1所述的一种高识别率电力设备自动标注方法，其特征在于，所述的步骤3具体为：
通过Bootstrap技术将电力设备图像集分为训练集和测试集，训练集用于训练电力设备标注模型，测试集用于测试电力设备标注模型的性能。
5.根据权利要求1所述的一种高识别率电力设备自动标注方法，其特征在于，所述的电力设备包括杆塔、导线、防震锤、绝缘子和间隔棒。
6.根据权利要求1所述的一种高识别率电力设备自动标注方法，其特征在于，所述的电力设备标注模型为基于R-CNN的标注模型、基于Fast RCNN的标注模型、基于Faster RCNN的标注模型、基于YOLO的标注模型、基于SDD的标注模型或基于Mask RCNN标注模型。
7.根据权利要求1所述的一种高识别率电力设备自动标注方法，其特征在于，所述的步骤5中的梯度下降算法为基于随机梯度下降的误差反向传播算法。
8.一种使用如权利要求1所述自动标注方法的电力设备自动标注装置，其特征在于，包括：
图像传感器(1)，用于采集电力设备的图像；
存储器(2)，用于存储电力设备原始图像、电力设备训练集图像及标签信息、电力设备测试集图像及标签信息、电力设备标注图像集标签信息和电力设备标准组件库；
CPU(3)，内嵌电力设备自动标注方法，用于对电力设备图形进行处理，获得电力设备标注图像；
电源(4)，用于为图像传感器(1)、存储器(2)和CPU(3)供电；
所述的图像传感器(1)、存储器(2)和电源(4)分别与CPU(3)相连。
9.根据权利要求8所述的一种高识别率电力设备自动标注装置，其特征在于，所述的自动标注装置设有GPU(5)；所述的GPU(5)与CPU(3)相连。
10.根据权利要求8所述的一种高识别率电力设备自动标注装置，其特征在于，所述的图像传感器(1)为可见光摄像头、红外摄像头、紫外摄像头或遥感卫星。
CN202010542378.XA 2020-06-15 2020-06-15 一种高识别率电力设备自动标注方法和装置 Pending CN111815567A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010542378.XA CN111815567A (zh) 2020-06-15 2020-06-15 一种高识别率电力设备自动标注方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010542378.XA CN111815567A (zh) 2020-06-15 2020-06-15 一种高识别率电力设备自动标注方法和装置

Publications (1)

Publication Number Publication Date
CN111815567A true CN111815567A (zh) 2020-10-23

Family

ID=72846145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010542378.XA Pending CN111815567A (zh) 2020-06-15 2020-06-15 一种高识别率电力设备自动标注方法和装置

Country Status (1)

Country Link
CN (1) CN111815567A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101235777B1 (ko) * 2011-09-26 2013-02-21 유성훈 복합진단장비를 이용한 인공지능형 전력설비 진단 판정시스템
WO2017215241A1 (zh) * 2016-06-16 2017-12-21 广州视源电子科技股份有限公司 电路板元件漏件检测方法和系统
CN107742093A (zh) * 2017-09-01 2018-02-27 国网山东省电力公司电力科学研究院 一种红外图像电力设备部件实时检测方法、服务器及系统
CN108230313A (zh) * 2018-01-03 2018-06-29 武汉大学 基于部件自适应选择与判别模型的sar图像目标检测方法
CN109389180A (zh) * 2018-10-30 2019-02-26 国网四川省电力公司广元供电公司 一款基于深度学习的电力设备图像识别方法及巡查机器人
CN109446925A (zh) * 2018-10-08 2019-03-08 中山大学 一种基于卷积神经网络的电力设备检测算法
CN109872317A (zh) * 2019-02-22 2019-06-11 西南交通大学 一种基于电力设备缺陷识别学习模型的缺陷识别方法
CN110309843A (zh) * 2019-02-02 2019-10-08 国网浙江省电力有限公司湖州供电公司 一种电力设备图像中多类部件的自动识别方法
CN111179249A (zh) * 2019-12-30 2020-05-19 南京南瑞信息通信科技有限公司 一种基于深度卷积神经网络的电力设备检测方法和装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101235777B1 (ko) * 2011-09-26 2013-02-21 유성훈 복합진단장비를 이용한 인공지능형 전력설비 진단 판정시스템
WO2017215241A1 (zh) * 2016-06-16 2017-12-21 广州视源电子科技股份有限公司 电路板元件漏件检测方法和系统
CN107742093A (zh) * 2017-09-01 2018-02-27 国网山东省电力公司电力科学研究院 一种红外图像电力设备部件实时检测方法、服务器及系统
CN108230313A (zh) * 2018-01-03 2018-06-29 武汉大学 基于部件自适应选择与判别模型的sar图像目标检测方法
CN109446925A (zh) * 2018-10-08 2019-03-08 中山大学 一种基于卷积神经网络的电力设备检测算法
CN109389180A (zh) * 2018-10-30 2019-02-26 国网四川省电力公司广元供电公司 一款基于深度学习的电力设备图像识别方法及巡查机器人
CN110309843A (zh) * 2019-02-02 2019-10-08 国网浙江省电力有限公司湖州供电公司 一种电力设备图像中多类部件的自动识别方法
CN109872317A (zh) * 2019-02-22 2019-06-11 西南交通大学 一种基于电力设备缺陷识别学习模型的缺陷识别方法
CN111179249A (zh) * 2019-12-30 2020-05-19 南京南瑞信息通信科技有限公司 一种基于深度卷积神经网络的电力设备检测方法和装置

Similar Documents

Publication Publication Date Title
CN110059694B (zh) 电力行业复杂场景下的文字数据的智能识别方法
CN110070536A (zh) 一种基于深度学习的pcb板元器件检测方法
CN112200178B (zh) 基于人工智能的变电站绝缘子红外图像检测方法
CN109543030A (zh) 客服机器人会话文本分类方法及装置、设备、存储介质
CN109638959B (zh) 基于ar和深度学习的电力设备遥信功能调试方法及系统
Liao et al. Study on power line insulator defect detection via improved faster region-based convolutional neural network
CN112381175A (zh) 一种基于图像处理的电路板识别与分析方法
CN113221889A (zh) 一种芯片字符抗干扰识别方法及装置
CN112270659A (zh) 一种动力电池极片表面缺陷快速检测方法和系统
CN108986091A (zh) 基于深度哈希网络的铸件缺陷图像检测方法
CN114399484A (zh) 一种光伏组件缺陷检测方法、装置、设备及介质
CN116309313A (zh) 一种电池表面焊接缺陷检测方法
CN116245817A (zh) 基于改进YOLOv5的PCB缺陷检测方法及存储介质
CN112184679A (zh) 一种基于YOLOv3的酒瓶瑕疵自动检测方法
CN116468680A (zh) 一种元器件反极缺陷检测方法、系统、设备及存储介质
CN112132088B (zh) 一种巡检点位漏巡识别方法
CN114066867A (zh) 一种基于深度学习的裂纹扩展痕迹缺失区域的分割方法
CN111815567A (zh) 一种高识别率电力设备自动标注方法和装置
CN117456198A (zh) 一种基于改进的Yolov5神经网络的输电线路故障检测方法
CN114049598B (zh) 电力图元的状态识别方法及装置、存储介质及电子设备
CN116070523A (zh) 一种变电站缺陷检测图像样本仿真构建方法
CN110956174A (zh) 一种器件编号的识别方法
CN111815568A (zh) 一种电力设备自动标注方法和装置
CN111815581A (zh) 一种电力隔离开关及其部件自动识别方法和装置
CN114550197A (zh) 一种端子排图像检测信息匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination