CN113052820A - 一种基于神经网络技术的电路设备缺陷识别方法 - Google Patents

一种基于神经网络技术的电路设备缺陷识别方法 Download PDF

Info

Publication number
CN113052820A
CN113052820A CN202110322178.8A CN202110322178A CN113052820A CN 113052820 A CN113052820 A CN 113052820A CN 202110322178 A CN202110322178 A CN 202110322178A CN 113052820 A CN113052820 A CN 113052820A
Authority
CN
China
Prior art keywords
image
image data
neural network
method based
identification method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110322178.8A
Other languages
English (en)
Inventor
毛先胤
邹雕
黄欢
罗国强
殷蔚翎
杨旗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou Power Grid Co Ltd
Original Assignee
Guizhou Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou Power Grid Co Ltd filed Critical Guizhou Power Grid Co Ltd
Priority to CN202110322178.8A priority Critical patent/CN113052820A/zh
Publication of CN113052820A publication Critical patent/CN113052820A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于神经网络技术的电路设备缺陷识别方法，它包括：步骤1、获取带有缺陷的电路设备图像和待测的电路设备图像，得到原始图像数据，进行筛选，得到清晰度达标的图像数据；步骤2、对清晰度达标的图像数据进行预处理，得到标准图像数据；步骤3、对标准图像进行标注，标注与标准图像一起组成训练集；步骤4、将训练集导入Darknet网络进行训练，得到模型网络；步骤5、将待测图像导入模型网络，得到每个区域的各缺陷类型置信度，设置阈值，滤掉阈值以下的区域；对剩余区域进行NMS处理得到检测结果；解决了现有技术对电路设备缺陷图片识别方法缺少对低层特征进行综合利用进而达到全局最优识别的目的或不具备随样本数量增多提升识别准确率的能力等技术问题。

Description

一种基于神经网络技术的电路设备缺陷识别方法
技术领域
本发明属于图片处理技术，尤其涉及一种基于神经网络技术的电路设备缺陷识别方法。
背景技术
电力设备如电力线、杆塔长期在野外暴露，不断受到机械张力、材料老化、雷击、污秽等外界因素的侵害，容易导致断股、腐蚀、绝缘子破损、杆塔倾斜等故障的发生。虽然已有无人机等技术代替人工巡检，但拍摄的大量巡检图片依然需要经验丰富的管理人员通过肉眼进行手工识别，判断效率低且容易误判，导致图像处理难以及时进行。
近年来，随着信息技术、人工智能技术的发展，图像识别技术不断进步。智能图像识别技术可通过对缺陷图片的处理、提取、识别和分析，建立缺陷特性库，在训练达到一定程度后将可替代人工进行缺陷识别。传统的电力部件识别算法主要采用人工设计的特征，如SIFT、边缘检测符、HOG等，不能很好地适用于电力部件，采用的分割算法主要基于部件外围轮廓骨架、自适应阈值等进行图像分割。但这些方法在设计原则上往往是基于特定类别来实现的，其准确率低，不具有可扩展性；而且方法结构松散，缺少对低层特征进行综合利用进而达到全局最优识别的目的。与之相比，Malik团队的轮廓检测及层次图像分割方法和多尺度组合聚合方法，以及Uijlings等提出的基于选择性搜索的目标识别方法给出了将多种低层次特征进行全局优化并构建层次结构模型的范式，提高了准确率，但这些方法尚不具备随样本数量增多提升识别准确率的能力。
发明内容
本发明要解决的问题是：提供一种基于神经网络技术的电路设备缺陷识别方法，以解决现有技术对电路设备缺陷图片识别方法缺少对低层特征进行综合利用进而达到全局最优识别的目的或不具备随样本数量增多提升识别准确率的能力等技术问题。
本发明采用技术方案如下：
一种基于神经网络技术的电路设备缺陷识别方法，它包括：
步骤1、获取带有缺陷的电路设备图像和待测的电路设备图像，得到原始图像数据，进行筛选，得到清晰度达标的图像数据；
步骤2、对清晰度达标的图像数据进行预处理，得到标准图像数据；
步骤3、对标准图像进行标注，标注与标准图像一起组成训练集；
步骤4、将训练集导入Darknet网络进行训练，得到模型网络；
步骤5、将待测图像导入模型网络，得到每个区域的各缺陷类型置信度，设置阈值，滤掉阈值以下的区域；对剩余区域进行NMS处理得到检测结果。
步骤1中，对所述原始图像数据使用Tenengrad梯度算法进行清晰度检测，从而获得筛选后的图像数据。
步骤2中，对清晰度达标的图像数据进行预处理，得到标准图像数据的方法为：将清晰度达标的图像数据进行高斯滤波、直方图均衡化和缩放处理，从而获得所属标准图像数据。
所述Tenengrad梯度算法包括：
Tenengrad梯度算法的图像清晰度定义如下：
D(f)＝∑y∑x|G(x，y)|(G(x，y)＞T)，
G(x,y)的定义如下：
Figure BDA0002993226340000021
式中：T是给定的边缘检测阈值，Gx和Gy分别是像素点(x,y)处Sobel水平和垂直方向边缘检测算子的卷积。
所述高斯滤波的目的是为了对图像进行去噪，高斯滤波采用二维零均值离散高斯函数做平滑滤波器。
所述直方图均衡化是为了增加图像的全局对比度。
缩放处理时为了符合Yolo v3对数据集的要求，所有图片全部缩放尺寸到416×416，对于长宽不相等的图片，等比例缩放会造成扭曲，因此按照min(w/img_w，h/img_h)，其中img_w和img_h为原图的宽高，w和h为目标尺寸即416×416；图片缩放后正方形的剩余部分用R,G,B＝(128,128,128)填充。
步骤3所述对标准图像进行标注时，标注文件以.txt格式文件存储，与标注设备图像命名一致，保存为.txt格式文件，储存于标注数据文件夹内。
所述NMS处理的方法包括：
步骤5.1、根据置信度得分进行排序；
步骤5.2、选择置信度最高的边界框直接添加到结果列表中，并从候选框列表中删除；
步骤5.3、计算所有候选框的面积；
步骤5.4、计算置信度最高的边界框与其余候选框的IoU；
步骤5.5、设置IoU阈值，删除掉IoU大于阈值的边界；
步骤5.5、重复上述过程，直到候选框列表为空。
本发明的有益效果：
本发明提供的基于神经网络技术的电路设备缺陷识别方法克服了传统的电力部件识别算法的不足，是通过对图像进行适当的预处理并进行人工标注，然后通过导入Yolov3算法所使用的Darknet网络进行模型训练和识别，最后对模型的识别结果进行选择得到最终的设备缺陷检测结果；该方法自动化程度高，检测速度快，识别率高，工作稳定，实现智能诊断；解决了现有技术对电路设备缺陷图片识别方法缺少对低层特征进行综合利用进而达到全局最优识别的目的或不具备随样本数量增多提升识别准确率的能力等技术问题。
附图说明
图1为本发明方法流程示意图。
具体实施方式
一种基于神经网络技术的电路设备缺陷识别方法，它包括：
步骤1、获取带有缺陷的电路设备图像和待测的电路设备图像，得到原始图像数据，进行筛选，得到清晰度达标的图像数据；
步骤1所述的对原始图像的筛选方法为：使用Tenengrad梯度算法进行清晰度检测，对清晰度不达标的图像做抛弃处理。
Tenengrad梯度算法的图像清晰度定义如下：
d(f)＝∑y∑x|G(x，y)|(G(x，y)＞T)，
G(x,y)的定义如下：
Figure BDA0002993226340000041
其中：T是给定的边缘检测阈值，Gx和Gy分别是像素点(x,y)处Sobel水平和垂直方向边缘检测算子的卷积；G(x,y)是水平和垂直两方向的梯度差。
步骤2、对清晰度达标的图像数据进行预处理，得到标准图像数据；
在将图像数据导入Darknet网络前清晰度达标的图像数据进行预处理，优选地，采用高斯滤波、直方图均衡化和缩放处理，从而获得所属标准图像数据。其中：
高斯滤波的目的是为了对图像进行去噪，例如，高斯滤波采用二维零均值离散高斯函数做平滑滤波器。
直方图均衡化是为了增加图像的全局对比度，尤其是当图像的有用数据的对比度相当接近的时候。通过这种方法，亮度可以更好地在直方图上分布。这样就可以用于增强局部的对比度而不影响整体的对比度，直方图均衡化通过有效地扩展常用的亮度来实现这种功能。
缩放处理时为了符合Yolo v3对数据集的要求，所有图片全部缩放尺寸到416×416，对于长宽不相等的图片，等比例缩放会造成扭曲，因此按照min(w/img_w,h/img_h)，其中img_w和img_h为原图的宽高，w和h为目标尺寸即416×416.这种图片缩放后，正方形的剩余部分用R,G,B＝(128,128,128)填充即可。
步骤3、对标准图像进行标注，标注与标准图像一起组成训练集；
优选地，标注文件以.txt格式文件存储，与标注设备图像命名一致，保存为.txt格式文件，储存于标注数据文件夹内。
步骤4、将训练集导入Darknet网络进行训练，得到模型。
步骤5、将待测图像导入模型网络，得到每个区域的各缺陷类型置信度。设置阈值，滤掉得分低的区域。对其余区域进行NMS(非极大值抑制处理)。得到检测结果。
其中NMS(非极大值抑制处理)的主要思想是搜索置信度得分的局部最大值，抑制极大值。具体的流程如下：
a)根据置信度得分进行排序；
b)选择置信度最高的边界框直接添加到结果列表中，并将其从候选框列表中删除
c)计算所有候选框的面积
d)计算置信度最高的边界框与其余候选框的IoU
e)设置一定的IoU阈值，删除掉IoU大于阈值的边界框。
f)重复上述过程，直到候选框列表为空。
其中，IoU：intersection-over-union，即两个边界框的交集面积除以它们的并集面积。

Claims (9)

1.一种基于神经网络技术的电路设备缺陷识别方法，它包括：
步骤1、获取带有缺陷的电路设备图像和待测的电路设备图像，得到原始图像数据，进行筛选，得到清晰度达标的图像数据；
步骤2、对清晰度达标的图像数据进行预处理，得到标准图像数据；
步骤3、对标准图像进行标注，标注与标准图像一起组成训练集；
步骤4、将训练集导入Darknet网络进行训练，得到模型网络；
步骤5、将待测图像导入模型网络，得到每个区域的各缺陷类型置信度，设置阈值，滤掉阈值以下的区域；对剩余区域进行NMS处理得到检测结果。
2.根据权利要求1所述的一种基于神经网络技术的电路设备缺陷识别方法，其特征在于：步骤1中，对所述原始图像数据使用Tenengrad梯度算法进行清晰度检测，从而获得筛选后的图像数据。
3.根据权利要求1所述的一种基于神经网络技术的电路设备缺陷识别方法，其特征在于：步骤2中，对清晰度达标的图像数据进行预处理，得到标准图像数据的方法为：将清晰度达标的图像数据进行高斯滤波、直方图均衡化和缩放处理，从而获得所属标准图像数据。
4.根据权利要求2所述的一种基于神经网络技术的电路设备缺陷识别方法，
其特征在于：所述Tenengrad梯度算法包括：
Tenengrad梯度算法的图像清晰度定义如下：
D(f)＝∑y∑x|G(x，y)|(G(x，y)＞T)，
G(x,y)的定义如下：
Figure FDA0002993226330000011
式中：T是给定的边缘检测阈值，Gx和Gy分别是像素点(x,y)处Sobel水平和垂直方向边缘检测算子的卷积。
5.根据权利要求3所述的一种基于神经网络技术的电路设备缺陷识别方法，其特征在于：所述高斯滤波的目的是为了对图像进行去噪，高斯滤波采用二维零均值离散高斯函数做平滑滤波器。
6.根据权利要求3所述的一种基于神经网络技术的电路设备缺陷识别方法，其特征在于：所述直方图均衡化是为了增加图像的全局对比度。
7.根据权利要求3所述的一种基于神经网络技术的电路设备缺陷识别方法，其特征在于：缩放处理时为了符合Yolo v3对数据集的要求，所有图片全部缩放尺寸到416×416，对于长宽不相等的图片，等比例缩放会造成扭曲，因此按照min(w/img_w，h/img_h)，其中img_w和img_h为原图的宽高，w和h为目标尺寸即416×416；图片缩放后正方形的剩余部分用R,G,B＝(128,128,128)填充。
8.根据权利要求1所述的一种基于神经网络技术的电路设备缺陷识别方法，其特征在于：步骤3所述对标准图像进行标注时，标注文件以.txt格式文件存储，与标注设备图像命名一致，保存为.txt格式文件，储存于标注数据文件夹内。
9.根据权利要求1所述的一种基于神经网络技术的电路设备缺陷识别方法，其特征在于：所述NMS处理的方法包括：
步骤5.1、根据置信度得分进行排序；
步骤5.2、选择置信度最高的边界框直接添加到结果列表中，并从候选框列表中删除；
步骤5.3、计算所有候选框的面积；
步骤5.4、计算置信度最高的边界框与其余候选框的IoU；
步骤5.5、设置IoU阈值，删除掉IoU大于阈值的边界；
步骤5.5、重复上述过程，直到候选框列表为空。
CN202110322178.8A 2021-03-25 2021-03-25 一种基于神经网络技术的电路设备缺陷识别方法 Pending CN113052820A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110322178.8A CN113052820A (zh) 2021-03-25 2021-03-25 一种基于神经网络技术的电路设备缺陷识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110322178.8A CN113052820A (zh) 2021-03-25 2021-03-25 一种基于神经网络技术的电路设备缺陷识别方法

Publications (1)

Publication Number Publication Date
CN113052820A true CN113052820A (zh) 2021-06-29

Family

ID=76515712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110322178.8A Pending CN113052820A (zh) 2021-03-25 2021-03-25 一种基于神经网络技术的电路设备缺陷识别方法

Country Status (1)

Country Link
CN (1) CN113052820A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113935995A (zh) * 2021-12-16 2022-01-14 成都数之联科技有限公司 一种图像处理方法、装置、电子设备及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961235A (zh) * 2018-06-29 2018-12-07 山东大学 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN110689531A (zh) * 2019-09-23 2020-01-14 云南电网有限责任公司电力科学研究院 一种基于yolo的输电线路机巡图像缺陷自动识别方法
CN111353413A (zh) * 2020-02-25 2020-06-30 武汉大学 一种输电设备低漏报率缺陷识别方法
CN111784685A (zh) * 2020-07-17 2020-10-16 国网湖南省电力有限公司 一种基于云边协同检测的输电线路缺陷图像识别方法
CN112257621A (zh) * 2020-10-28 2021-01-22 贵州电网有限责任公司 一种无人机巡检的设备图像识别方法
WO2021041422A1 (en) * 2019-08-27 2021-03-04 The Regents Of The University Of California Ai-powered autonomous 3d printer

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961235A (zh) * 2018-06-29 2018-12-07 山东大学 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
WO2021041422A1 (en) * 2019-08-27 2021-03-04 The Regents Of The University Of California Ai-powered autonomous 3d printer
CN110689531A (zh) * 2019-09-23 2020-01-14 云南电网有限责任公司电力科学研究院 一种基于yolo的输电线路机巡图像缺陷自动识别方法
CN111353413A (zh) * 2020-02-25 2020-06-30 武汉大学 一种输电设备低漏报率缺陷识别方法
CN111784685A (zh) * 2020-07-17 2020-10-16 国网湖南省电力有限公司 一种基于云边协同检测的输电线路缺陷图像识别方法
CN112257621A (zh) * 2020-10-28 2021-01-22 贵州电网有限责任公司 一种无人机巡检的设备图像识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
浦昭邦 等: "《光电测试技术》", 31 December 2009 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113935995A (zh) * 2021-12-16 2022-01-14 成都数之联科技有限公司 一种图像处理方法、装置、电子设备及计算机可读存储介质
CN113935995B (zh) * 2021-12-16 2022-07-19 成都数之联科技股份有限公司 一种图像处理方法、装置、电子设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN111784685B (zh) 一种基于云边协同检测的输电线路缺陷图像识别方法
CN108562589B (zh) 一种对磁路材料表面缺陷进行检测的方法
CN110175982B (zh) 一种基于目标检测的缺陷检测方法
CN107506768A (zh) 一种基于全卷积神经网络的输电线路导线断股识别方法
CN104751142B (zh) 一种基于笔划特征的自然场景文本检测方法
CN111460927B (zh) 对房产证图像进行结构化信息提取的方法
CN109145872B (zh) 一种基于CFAR与Fast-RCNN融合的SAR图像舰船目标检测方法
CN111179249A (zh) 一种基于深度卷积神经网络的电力设备检测方法和装置
CN110766017B (zh) 基于深度学习的移动终端文字识别方法及系统
CN111415329A (zh) 一种基于深度学习的工件表面缺陷检测方法
CN111079724B (zh) 一种基于无人机的海漂垃圾识别方法
CN116110036B (zh) 基于机器视觉的电力铭牌信息缺陷等级判断方法及装置
CN108509950B (zh) 基于概率特征加权融合的铁路接触网支柱号牌检测识别法
CN113255605A (zh) 一种路面病害检测方法、装置、终端设备及存储介质
CN113538453A (zh) 基于语义分割的红外图像光伏组件视觉识别方法
CN112580447B (zh) 一种基于边缘二阶统计与融合的电力线检测方法
CN113870236B (zh) 一种基于深度学习算法的复合材料缺陷无损探伤方法
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN113537037A (zh) 路面病害识别方法、系统、电子设备及存储介质
CN115272204A (zh) 一种基于机器视觉的轴承表面划痕检测方法
CN115797813B (zh) 基于航拍图像的水环境污染检测方法
CN111753693B (zh) 一种静态场景下目标检测方法
CN111507398A (zh) 基于目标检测的变电站金属仪器锈蚀识别方法
CN113888462A (zh) 一种裂纹识别方法、系统、可读介质及存储介质
CN111524121A (zh) 一种基于机器视觉技术的路桥病害自动检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210629

RJ01 Rejection of invention patent application after publication