CN110309843A - 一种电力设备图像中多类部件的自动识别方法 - Google Patents

一种电力设备图像中多类部件的自动识别方法 Download PDF

Info

Publication number
CN110309843A
CN110309843A CN201910106759.0A CN201910106759A CN110309843A CN 110309843 A CN110309843 A CN 110309843A CN 201910106759 A CN201910106759 A CN 201910106759A CN 110309843 A CN110309843 A CN 110309843A
Authority
CN
China
Prior art keywords
component
image
power equipment
frame
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910106759.0A
Other languages
English (en)
Other versions
CN110309843B (zh
Inventor
管敏渊
黄晓明
金国亮
吴国强
杨斌
王涤
吴健
姚建锋
高奥
汤仁兆
赵崇娟
王瑶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huzhou Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Original Assignee
Huzhou Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huzhou Power Supply Co of State Grid Zhejiang Electric Power Co Ltd filed Critical Huzhou Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Priority to CN201910106759.0A priority Critical patent/CN110309843B/zh
Publication of CN110309843A publication Critical patent/CN110309843A/zh
Application granted granted Critical
Publication of CN110309843B publication Critical patent/CN110309843B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明为一种电力设备图像中多类部件的自动识别方法，采用已标注部件类别和位置的训练图像集对SSD模型和SVM模型进行训练。然后，对每一幅待识别的电力设备图像进行预处理，将图像数值化，再采用SSD模型，初步预测出电力设备图像中可能包含待识别部件的若干个框。最后，采用SVM模型，对SSD模型的初步识别结果进行修正，再根据每个框的概率修正值，筛选出包含待识别部件的框，并重复上述过程直至识别出图像中所有待识别部件。本发明的方法结合了单镜头检测器模型对图像特征的深层次提取优势和支持向量机模型利用已识别部件对未识别部件预测结果进行修正的准确性优势，在电力设备图像中多类部件的自动识别上具有准确性和可行性。

Description

一种电力设备图像中多类部件的自动识别方法
技术领域
本发明涉及图像识别领域，尤其涉及一种电力设备图像中多类部件的自动识别方法。
背景技术
在智能变电站建设中，随着无人机、巡检机器人的普及和大量电力设备图像数据的积累，基于图像的电力设备状态自动识别逐渐受到关注。采用计算机视觉技术代替传统的人力巡检，可以有效提高巡检的频率和效率，并减少人工判断的主观性对准确率的影响。其中，对图像中电力设备多类部件的识别是一个关键性环节。只有在准确识别出巡检图像中电力设备各类部件的类别和位置后，才能够针对不同的部件可能发生的缺陷和故障类型，制定相应的状态识别算法，从而实现电力设备状态的自动识别。
对于电力设备和部件的自动识别，基本思路是从现场获得包含待识别目标的图像，并进行特征提取和分析，再通过相应的算法识别出图像中电力设备和部件的类别与位置。一些研究采用基于模版的匹配算法，即在现场图片中将待识别目标人工框定出来并作为模版，再通过模版与新的图片各个区域的相似度计算，对新的图片中的目标进行匹配。这种方法受限于拍摄点的定位和拍摄角度的精度，准确率和稳定性难以保证。为了提高对于拍摄距离和角度的鲁棒性，一些研究针对各类部件人工地设计形状轮廓等特征，再通过对特征的提取和计算实现目标识别，但是这些识别方法只适用于几何形状比较简单的部件，而且对于每类部件都需要根据待识别目标的特点人为地进行特征设计，泛化能力弱。为此，一些研究采用传统机器学习的算法，降低了对特征设计的要求，仅通过图片的纹理、颜色、边缘等特征，而未对待识别目标进行针对性的特征设计，实现了对电力设备和部件的定位，提高了模型的泛化能力。然而，这些研究中所采用的特征层次较浅，缺少对于浅层特征的抽象与综合，因此识别的准确性不尽如人意。
发明内容
本发明主要解决了电力设备部件识别算法稳定性和准确性不足的问题，提供了一种具有高稳定性和准确性的电力设备图像中多类部件的自动识别方法。
本发明解决其技术问题所采用的技术方案是，一种电力设备图像中多类部件的自动识别方法，包括以下步骤：
S1：训练SSD模型和SVM模型；
S2：对待识别变电站图像进行数值化；
S3：建立集合B1为空集；集合B1为已识别集合
S4：将数值化的图像输入到SSD模型，SSD模型输出存入到集合B2；
S5：对集合B2中元素进行SVM修正；集合B2为待识别集合；
S6：输出集合B1，识别结束。
本发明采用已标注部件类别和位置的训练图像集，对单镜头检测器(Single ShotDetector，SSD)以及支持向量机(Support Vector Machine，SVM)进行训练，在将待识别电力设备图像数值化后，采用训练后的SSD模型初步预测出电力设备图像中可能包含待识别部件的若干个框，包括每个框的坐标值以及包含每类部件的概率值，再采用训练后的SVM模型对SSD模型的预测结果进行修正。由于已识别部件和未识别部件的位置存在关联关系，因此将已识别部件的位置信息输入SVM模型，可对SSD模型输出的每个框包含各类部件的概率值进行修正。再根据每个框的概率修正值，筛选出包含待识别部件的框，并重复上述过程直至识别出图像中所有待识别部件。
作为上述方案的一种优选方案，所述步骤S1中，选取若干电力设备图像作为图像训练集，对每一幅训练集图像中的待识别部件类别和位置进行标注，将已标注的部件类别和位置作为训练标签，对SSD模型和SVM模型进行训练。
作为上述方案的一种优选方案，所述步骤S2中，读取每一幅待识别变电站图像中每一个像素点的红、绿、蓝三中颜色通道的值，将该三种颜色通道的值作为图像的原始特征。
作为上述方案的一种优选方案，所述步骤S5中SVM修正，包括以下步骤：
S01：设空集集合B3，设定i值为1；集合B3为临时集合；
S02：判断i值是否小于等于集合B2中元素的个数，若是，则继续执行步骤S03；若否，则执行步骤S06；
S03：将集合B2中第i个框的坐标值和框内包含每类部件的概率值以及由集合B1中所有框形成的参考向量都输入训练后的SVM模型；
S04：将SVM模型输出的最高概率修正值对应的部件类别作为第i个框对应的部件类别；
S05：判断第i个框对应的部件类别是否与集合B1中任意一个框的部件类别相同，若是，则令i值加上1，重新执行步骤S02；若否，则将第i个框加入集合B3，令i值加上1，重新执行步骤S02；通过增加的i的值到达遍历集合B2中所有元素的目的。
S06：判断临时集合B3是否为空集，若是，进入步骤S6；若否，则在集合B3中选择概率修正值最高的框，记为b；
S07：判断b对应的部件类别的概率修正值是否大于阀值，若是，则将b加入集合B1，并将b从集合B2中删除；若否，则进入步骤S6；阀值可根据精度需求进行调整，阀值通常处于0.6-0.8之间。
S08：判断集合B1中全部框对应的部件类别是否已包括所有待检测部件类别，若是，则进入步骤S6；若否，则重新执行步骤S01。
作为上述方案的一种优选方案，所述步骤S03中参考向量由集合B1中所有框的坐标值按照预先设定的待识别部件类别的顺序依次排列构成，若某一待识别部件类别在集合B1中没有对应的框，则其坐标值通过补0填充。
本发明的优点是：结合了SSD模型对图像特征的深层次提取优势和SVM模型利用已识别部件对未识别部件预测结果进行修正的准确性优势，提高了电力设备部件识别的准确性和稳定性。
附图说明
图1为本发明电力设备图像中多类部件的自动识别方法的一种流程图。
图2为实施例中本发明方法与两种对照模型的部件识别结果对照表。
具体实施方式
下面通过实施例，并结合附图，对本发明的技术方案作进一步的说明。
实施例：
本实施例一种电力设备图像中多类部件的自动识别方法，如图1所示，包括以下步骤：S1：训练SSD模型和SVM模型；选取若干电力设备图像作为图像训练集，对每一幅训练集图像中的待识别部件类别和位置进行标注，将已标注的部件类别和位置作为训练标签，对SSD模型和SVM模型进行训练；
S2：对待识别变电站图像进行数值化；读取每一幅待识别变电站图像中每一个像素点的红、绿、蓝三中颜色通道的值，将该三种颜色通道的值作为图像的原始特征，从而将图像数值化；S3：建立集合B1为空集；
S4：将数值化的图像输入到SSD模型，SSD模型输出存入到集合B2；SSD模型的输出包括图像中包含待识别部件的200个框的坐标值以及每类部件的概率值；框的个数可根据精度需求进行调整；
S5：对集合B2中元素进行SVM修正；修正步骤如下：
S01：设空集集合B3，设定i值为1；
S02：判断i值是否小于等于集合B2中元素的个数，若是，则继续执行步骤S03；若否，则执行步骤S06；
S03：将集合B2中第i个框的坐标值和框内包含每类部件的概率值以及由集合B1中所有框形成的参考向量都输入训练后的SVM模型；参考向量由集合B1中所有框的坐标值按照预先设定的待识别部件类别的顺序依次排列构成，若某一待识别部件类别在集合B1中没有对应的框，则其坐标值通过补0填充；
S04：将SVM模型输出的最高概率修正值对应的部件类别作为第i个框对应的部件类别；
S05：判断第i个框对应的部件类别是否与集合B1中任意一个框的部件类别相同，若是，则令i值加上1，重新执行步骤S02；若否，则将第i个框加入集合B3，令i值加上1，重新执行步骤S02；
S06：判断集合B3是否为空集，若是，进入步骤S6；若否，则在集合B3中选择概率修正值最高的框，记为b；
S07：判断b对应的部件类别的概率修正值是否大于阀值，若是，则将b加入集合B1，并将b从集合B2中删除；若否，则进入步骤S6；
S08：判断集合B1中全部框对应的部件类别是否已包括所有待检测部件类别，若是，则进入步骤S6；若否，则重新执行步骤S01；
S6：输出集合B1，识别结束。
本实施例采用上述方法对某电网公司中的变压器设备的多类部件进行识别，首先选取5000幅关于变压器设备的巡检图像，并选取变压器的油箱、瓦斯继电器、本体储油柜、本体呼吸器、有载开关储油柜共5类作为待识别部件进行识别。对每一幅图像中的待识别部件类别和位置进行标注后，随机选取2500幅图像作为图像训练集，其余的2500幅图像作为图像测试集。用2500幅训练集图像对SSD模型和SVM模型进行训练。之后采用训练后的模型对2500幅测试集图像进行多类部件识别。
此外，还采用不加SVM模型修正的原始SSD模型，以及另一种单阶段目标检测模型(One-stage Object Detection Model)——单次扫描(You Only Look Once，YOLO)模型与本发明的方法进行对照。在评价部件识别效果时，采用目标检测任务中常用的平均查准率均值(mean Average Precision，mAP)以及所有待识别部件的查准率和查全率作为评价指标，三者识别结果如图2所示。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.一种电力设备图像中多类部件的自动识别方法，其特征是：包括以下步骤：
S1：训练SSD模型和SVM模型；
S2：对待识别变电站图像进行数值化；
S3：建立集合B1为空集；
S4：将数值化的图像输入到SSD模型，SSD模型输出存入到集合B2；
S5：对集合B2中元素进行SVM修正；
S6：输出集合B1，识别结束。
2.根据权利要求1所述的一种电力设备图像中多类部件的自动识别方法，其特征是：所述步骤S1中，选取若干电力设备图像作为图像训练集，对每一幅训练集图像中的待识别部件类别和位置进行标注，将已标注的部件类别和位置作为训练标签，对SSD模型和SVM模型进行训练。
3.根据权利要求1所述的一种电力设备图像中多类部件的自动识别方法，其特征是：所述步骤S2中，读取每一幅待识别变电站图像中每一个像素点的红、绿、蓝三中颜色通道的值，将该三种颜色通道的值作为图像的原始特征。
4.根据权利要求1所述的一种电力设备图像中多类部件的自动识别方法，其特征是：所述步骤S4中SSD模型的输出包括图像中包含待识别部件的若干个框的坐标值以及每类部件的概率值。
5.根据权利要求1或4所述的一种电力设备图像中多类部件的自动识别方法，其特征是：所述步骤S5中SVM修正，包括以下步骤：
S01：设空集集合B3，设定i值为1；
S02：判断i值是否小于等于集合B2中元素的个数，若是，则继续执行步骤S03；若否，则执行步骤S06；
S03：将集合B2中第i个框的坐标值和框内包含每类部件的概率值以及由集合B1中所有框形成的参考同量都输入训练后的SVM模型；
S04：将SVM模型输出的最高概率修正值对应的部件类别作为第i个框对应的部件类别；
S05：判断第i个框对应的部件类别是否与集合B1中任意一个框的部件类别相同，若是，则令i值加上1，重新执行步骤S02；若否，则将第i个框加入集合B3，令i值加上1，重新执行步骤S02；
S06：判断集合B3是否为空集，若是，进入步骤S6；若否，则在集合B3中选择概率修正值最高的框，记为b；
S07：判断b对应的部件类别的概率修正值是否大于阀值，若是，则将b加入集合B1，并将b从集合B2中删除；若否，则进入步骤S6；
S08：判断集合B1中全部框对应的部件类别是否已包括所有待检测部件类别，若是，则进入步骤S6；若否，则重新执行步骤S01。
6.根据权利要求5所述的一种电力设备图像中多类部件的自动识别方法，其特征是：所述步骤S03中参考向量由集合B1中所有框的坐标值按照预先设定的待识别部件类别的顺序依次排列构成，若某一待识别部件类别在集合B1中没有对应的框，则其坐标值通过补0填充。
CN201910106759.0A 2019-02-02 2019-02-02 一种电力设备图像中多类部件的自动识别方法 Active CN110309843B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910106759.0A CN110309843B (zh) 2019-02-02 2019-02-02 一种电力设备图像中多类部件的自动识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910106759.0A CN110309843B (zh) 2019-02-02 2019-02-02 一种电力设备图像中多类部件的自动识别方法

Publications (2)

Publication Number Publication Date
CN110309843A true CN110309843A (zh) 2019-10-08
CN110309843B CN110309843B (zh) 2022-12-02

Family

ID=68074317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910106759.0A Active CN110309843B (zh) 2019-02-02 2019-02-02 一种电力设备图像中多类部件的自动识别方法

Country Status (1)

Country Link
CN (1) CN110309843B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275124A (zh) * 2020-02-10 2020-06-12 国网河南省电力公司检修公司 变压器呼吸器检测方法、分类模型构建方法、计算机可读介质、变压器呼吸器监测系统
CN111401289A (zh) * 2020-03-24 2020-07-10 国网上海市电力公司 一种变压器部件的智能识别方法和装置
CN111783889A (zh) * 2020-07-03 2020-10-16 北京字节跳动网络技术有限公司 图像识别方法、装置、电子设备和计算机可读介质
CN111815567A (zh) * 2020-06-15 2020-10-23 国网上海市电力公司 一种高识别率电力设备自动标注方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130222696A1 (en) * 2012-02-28 2013-08-29 Sony Corporation Selecting between clustering techniques for displaying images
CN106845415A (zh) * 2017-01-23 2017-06-13 中国石油大学(华东) 一种基于深度学习的行人精细化识别方法及装置
CN107705324A (zh) * 2017-10-20 2018-02-16 中山大学 一种基于机器学习的视频目标检测方法
CN108416250A (zh) * 2017-02-10 2018-08-17 浙江宇视科技有限公司 人数统计方法及装置
CN109002807A (zh) * 2018-07-27 2018-12-14 重庆大学 一种基于ssd神经网络的驾驶场景车辆检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130222696A1 (en) * 2012-02-28 2013-08-29 Sony Corporation Selecting between clustering techniques for displaying images
CN106845415A (zh) * 2017-01-23 2017-06-13 中国石油大学(华东) 一种基于深度学习的行人精细化识别方法及装置
CN108416250A (zh) * 2017-02-10 2018-08-17 浙江宇视科技有限公司 人数统计方法及装置
CN107705324A (zh) * 2017-10-20 2018-02-16 中山大学 一种基于机器学习的视频目标检测方法
CN109002807A (zh) * 2018-07-27 2018-12-14 重庆大学 一种基于ssd神经网络的驾驶场景车辆检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KUNLUN LI等: ""A Novel Semi-Supervised SVM Based on Tri-Training"", 《JOURNAL OF COMPUTERS》 *
程善光等: ""基于CSSD和SVM脑电分类技术的研究"", 《中国西部科技》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275124A (zh) * 2020-02-10 2020-06-12 国网河南省电力公司检修公司 变压器呼吸器检测方法、分类模型构建方法、计算机可读介质、变压器呼吸器监测系统
CN111401289A (zh) * 2020-03-24 2020-07-10 国网上海市电力公司 一种变压器部件的智能识别方法和装置
CN111401289B (zh) * 2020-03-24 2024-01-23 国网上海市电力公司 一种变压器部件的智能识别方法和装置
CN111815567A (zh) * 2020-06-15 2020-10-23 国网上海市电力公司 一种高识别率电力设备自动标注方法和装置
CN111783889A (zh) * 2020-07-03 2020-10-16 北京字节跳动网络技术有限公司 图像识别方法、装置、电子设备和计算机可读介质
CN111783889B (zh) * 2020-07-03 2022-03-01 北京字节跳动网络技术有限公司 图像识别方法、装置、电子设备和计算机可读介质

Also Published As

Publication number Publication date
CN110309843B (zh) 2022-12-02

Similar Documents

Publication Publication Date Title
CN110309843A (zh) 一种电力设备图像中多类部件的自动识别方法
CN109829914B (zh) 检测产品缺陷的方法和装置
CN108960245B (zh) 轮胎模具字符的检测与识别方法、装置、设备及存储介质
CN109378052B (zh) 图像标注的预处理方法及系统
CN107123088B (zh) 一种自动更换证件照背景颜色的方法
CN109376792A (zh) 基于多通道残差神经网络的光伏电池外观缺陷分类方法
CN108710916B (zh) 图片分类的方法及装置
CN109284779A (zh) 基于深度全卷积网络的物体检测方法
CN109544501A (zh) 一种基于无人机多源图像特征匹配的输电设备缺陷检测方法
CN110807775A (zh) 基于人工智能的中医舌像分割装置、方法及存储介质
CN110135430A (zh) 一种基于深度神经网络的铝材模具id自动识别系统
CN109871821A (zh) 自适应网络的行人重识别方法、装置、设备及存储介质
CN115601332A (zh) 一种基于语义分割的嵌入式指纹模块外观检测方法
CN109087305A (zh) 一种基于深度卷积神经网络的裂缝图像分割方法
CN107004266A (zh) 检测轮胎表面上缺陷的方法
CN111161295B (zh) 一种菜品图像背景剥离方法
CN104966348B (zh) 一种票据图像要素完整性检测方法及系统
CN110866915A (zh) 基于度量学习的圆形砚台质量检测方法
CN108615401B (zh) 基于深度学习的室内非均匀光线车位状况识别方法
CN105701805A (zh) 一种基于计算机视觉的猪肉肌内脂肪含量无损检测方法
CN115082776A (zh) 一种基于图像识别的电能表自动检测系统及方法
CN109993202A (zh) 一种线稿型图形相似度判断方法、电子设备及存储介质
CN116385430A (zh) 一种机器视觉瑕疵检测方法、装置、介质及设备
WO2020119624A1 (zh) 一种基于深度学习的类别敏感型边缘检测方法
CN116543247A (zh) 基于光度立体表面重建的数据集制作方法及验证系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant