CN109389160A - 基于深度学习的电力绝缘端子缺陷检测方法 - Google Patents

基于深度学习的电力绝缘端子缺陷检测方法 Download PDF

Info

Publication number
CN109389160A
CN109389160A CN201811134295.6A CN201811134295A CN109389160A CN 109389160 A CN109389160 A CN 109389160A CN 201811134295 A CN201811134295 A CN 201811134295A CN 109389160 A CN109389160 A CN 109389160A
Authority
CN
China
Prior art keywords
neural networks
convolutional neural
insulated terminal
sized
window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811134295.6A
Other languages
English (en)
Inventor
李胜
胥安东
茅耀斌
郭健
陆亚涵
李萌
王天野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201811134295.6A priority Critical patent/CN109389160A/zh
Publication of CN109389160A publication Critical patent/CN109389160A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明公开了一种基于深度学习的电力绝缘端子缺陷检测方法。本发明主要分为4个步骤：(1)利用巡检机器人采集的含有绝缘端子的图像集依次对小型卷积神经网络、中型卷积神经网络以及大型卷积神经网络进行训练；(2)巡检机器人到达指定位置获取图片，利用小型全卷积网络生成候选窗,使用边界框回归的方法校正候选窗，使用非极大值抑制(NMS)合并重叠的候选窗，并输入到中型全卷积网络；(3)利用中型全卷积网络改善候选窗，拒绝掉大部分生成的误分类窗口，继续使用边界框回归的方法和NMS合并，并将筛选后的候选窗输入到大型全卷积网络；(4)利用大型全卷积网络拒绝掉中型卷积网络生成的误分类窗口，输出分类结果。

Description

基于深度学习的电力绝缘端子缺陷检测方法
技术领域
本发明涉及到目标检测方法技术，具体涉及一种基于深度学习的电力绝缘端子缺陷检测方法。
背景技术
电力巡检机器人需要实现变电站内自主定位与导航、电力设备缺陷检测、自动充电等基本功能。其中核心的功能之一就是检测现场电力设备的状态，如绝缘端子，绝缘端子需要机器人依靠视觉传感器进行检测状态。在变电站中大多数绝缘端子存在于高电压输线段的中，由于承受着高压，绝缘端子可能会被击穿、出现裂缝，此外还有常见的漏油风险。而检测绝缘端子缺陷的前提是准确检测到视觉图像中有缺陷的绝缘端子位置，但大多数仪表在室外，天气变化、光照影响是影响检测的主要因素。利用传统的图像处理手段(例如SIFT特征或者HOG特征)进行检测和识别，在光照条件变化的情况下，检测效果不好。
发明内容
本发明的目的在于提供一种基于深度学习的电力绝缘端子缺陷检测方法，解决现有绝缘端子检测技术中机器人位置不定时，目标尺度、角度变化大；目标受光照影响大，检测不准确的问题。
实现本发明目的的技术方案为：一种基于深度学习的电力绝缘端子缺陷检测方法，具体步骤为：
步骤1、利用巡检机器人采集的含有绝缘端子的图像集依次对小型卷积神经网络、中型卷积神经网络以及大型卷积神经网络进行训练；
步骤2、巡检机器人到达指定巡检点获取图片，利用训练过的小型卷积神经网络以及获取的图片生成多个绝缘端子候选窗,使用非极大值抑制NMS算法合并重叠的候选窗，并将输入到中型卷积神经网络；
步骤3、利用中型卷积神经网络改善步骤2中生成的绝缘端子候选窗，去除步骤2中生成的误分类候选窗，继续使用非极大值抑制NMS算法合并候选窗，并将筛选后的候选窗输入到大型卷积神经网络；
步骤4、利用大型卷积神经网络改善步骤3中生成的绝缘端子候选窗，去除步骤3中生成的误分类候选窗，使用非极大值抑制NMS算法合并候选窗，同时把大型卷积神经网络的底层特征连接到分类网络进一步提取特征，对绝缘端子的缺陷类型进行分类并输出缺陷分类结果。
优选地，步骤1中利用巡检机器人采集的含有绝缘端子的图像集依次对小型卷积神经网络、中型卷积神经网络以及大型卷积神经网络进行训练的具体步骤为：
步骤1.1、从巡检机器人采集的现场巡检点的图片中提取含有绝缘端子的图像制作成数据集，并对图像中绝缘端子进行标注；
步骤1.2、在标注好的数据集上截取绝缘端子图片和非绝缘端子图片，将两类图片送入小型卷积神经网络进行训练；
步骤1.3、使用步骤1.2训练好的小型卷积神经网络对数据集进行检测，从检测结果中取出被误分类为绝缘端子的图片作为负样本，并取绝缘端子图片作为正样本，将两类图片送入中型卷积神经网络进行训练；
步骤1.4、使用步骤1.2和步骤1.3训练好的卷积神经网络对数据集再次检测，从检测结果中取出被误分类为绝缘端子的图片和无缺陷的绝缘端子作为一类以及有缺陷的绝缘端子K个类别，将K+1类图片送入大型卷积神经网络进行训练，对绝缘端子的缺陷类型进行分类。
优选地，卷积神经网络包括绝缘端子分类器和边界框回归两个描述子，分别具体为：
其中，为绝缘端子检测器的交叉熵损失函数，Pi为是目标的概率，为背景的真实标签。
其中，为通过欧氏距离计算的回归损失，为通过网络预测得到背景坐标，为实际的背景坐标。
优选地，步骤2中使用非极大值抑制NMS算法合并重叠的候选窗的具体公式为：
式中，C为粗定位目标绝缘端子区域，ni为目标候选区域。
优选地，在使用非极大值抑制NMS算法合并候选窗前，使用边界框回归的方法校正候选窗。
本发明与现有技术相比，其显著优点为：1)本发明在卷积神经网络的基础上，利用小、中、大型卷积网络级联，在现有的硬件条件下，在减少检测误差的同时，加快检测速度；2)本发明利用深度神经网络，能够检测到多种光照、姿态等变化下的绝缘端子。
附图说明
图1为本发明的流程示意图。
具体实施方式
如图1所示，一种基于深度学习的电力绝缘端子缺陷检测方法，具体步骤为：
步骤1、利用巡检机器人采集的含有绝缘端子的图像集依次对小型卷积神经网络、中型卷积神经网络以及大型卷积神经网络进行训练，具体步骤为：
步骤1.1、收集巡检机器人采集的现场巡检点的图片，从中提取含有绝缘端子的图像制作成数据集，并对图像中绝缘端子进行标注，具体标注方法为：使用矩形框框出绝缘端子；
步骤1.2、在标注好的数据集上截取绝缘端子图片(包括无缺陷和有缺陷)和非绝缘端子图片，将两类图片送入小型卷积神经网络进行训练，卷积神经网络包括绝缘端子分类器和边界框回归两个描述子，具体为：
其中，为绝缘端子检测器的交叉熵损失函数，Pi为是目标的概率，为背景的真实标签。
其中，为通过欧氏距离计算的回归损失，为通过网络预测得到背景坐标，为实际的背景坐标；
步骤1.3、使用步骤1.2训练好的小型卷积神经网络对数据集进行检测，从检测结果中取出被误分类为绝缘端子的图片作为负样本，并取绝缘端子图片(包含无缺陷和有缺陷)作为正样本，将正负样本图片送入中型卷积神经网络进行训练；
步骤1.4、使用步骤1.2和步骤1.3训练好的卷积神经网络对数据集再次检测，从检测结果中取出被误分类为绝缘端子的图片和无缺陷的绝缘端子作为一类以及有缺陷的绝缘端子K个类别，将K+1类图片送入大型卷积神经网络进行训练。
步骤2、巡检机器人到达指定巡检点获取图片，利用训练好的小型卷积网络对图片进行粗定位，得到多个目标候选区域，并采用NMS算法，去除部分重叠候选窗：
式中，C为粗定位目标绝缘端子区域，ni为目标候选区域。
步骤3、利用中型卷积神经网络改善步骤2中生成的绝缘端子候选窗，去除步骤2中生成的误分类候选窗，继续使用边界框回归和非极大值抑制NMS算法合并候选窗，并将筛选后的候选窗输入到大型卷积神经网络；
步骤4、利用大型卷积神经网络改善步骤3中生成的绝缘端子候选窗，去除步骤3中生成的误分类候选窗，使用非极大值抑制NMS算法合并候选窗，同时把大型卷积神经网络的底层特征连接到分类网络进一步提取特征，对绝缘端子的缺陷类型进行分类并输出缺陷分类结果。
实施例1
一种基于深度学习的电力绝缘端子缺陷检测方法，具体步骤为：
步骤1、利用巡检机器人采集的含有绝缘端子的图像集依次对小型卷积神经网络、中型卷积神经网络以及大型卷积神经网络进行训练，具体步骤为：
步骤1.1、收集巡检机器人采集的现场巡检点的图片，从中提取含有绝缘端子的图像制作成数据集，并对图像中绝缘端子进行标注，具体标注方法为：使用矩形框框出绝缘端子；
步骤1.2、从在标注好的数据集中截取非绝缘端子和绝缘端子的图，制作成24*24的图像数据集，将两类图片送入小型卷积网络24net进行训练，卷积神经网络包括绝缘端子分类器和边界框回归两个描述子，具体为：
其中，为绝缘端子检测器的交叉熵损失函数，Pi为是目标的概率，为背景的真实标签。
其中，为通过欧氏距离计算的回归损失，为通过网络预测得到背景坐标，为实际的背景坐标。
步骤1.3、使用步骤1.2训练好的小型卷积神经网络对数据集进行检测，检测框和标注框重合度小于0.3的作为非绝缘端子图，大于0.45的为绝缘端子图，并两类图片制作成36*36的图像数据集，将两类图片送入中型卷积网络36net进行训练；
步骤1.4、使用步骤1.2和步骤1.3训练好的卷积神经网络对数据集再次检测，检测框和标注框重合度小于0.3的作为非绝缘端子图，大于0.45的为绝缘端子图(绝缘端子图分为有缺陷和无缺陷)，并两类图片制作成48*48的图像数据集，将两类图片送入大型卷积网络48net进行训练；
步骤2、巡检机器人通过定位导航达到指定巡检点，导航误差5cm，拍摄一张图像用于有缺陷的绝缘端子检测；将巡检机器人拍摄的图像输入到小型卷积神经网络24net，得到多个目标候选区域，并采用NMS算法，去除部分重叠候选窗：
式中，C为粗定位目标绝缘端子区域，ni为目标候选区域。
步骤3、将步骤2中获取的候选窗输入到中型卷积神经网络36net，拒绝步骤2中大部分误分类，并采用NMS算法，去除部分重叠候选窗；
步骤4、将步骤3中获取的候选窗输入到大型卷积神经网络48net，去除步骤3中生成的误分类候选窗，使用非极大值抑制NMS算法合并候选窗，获取有缺陷的绝缘端子候选区域，，同时把大型卷积神经网络的底层特征连接到分类网络进一步提取特征，对绝缘端子的缺陷类型进行分类并输出缺陷分类结果。

Claims (5)

1.一种基于深度学习的电力绝缘端子缺陷检测方法，其特征在于，具体步骤为：
步骤1、利用巡检机器人采集的含有绝缘端子的图像集依次对小型卷积神经网络、中型卷积神经网络以及大型卷积神经网络进行训练；
步骤2、巡检机器人到达指定巡检点获取图片，利用训练过的小型卷积神经网络以及获取的图片生成多个绝缘端子候选窗,使用非极大值抑制NMS算法合并重叠的候选窗，并将输入到中型卷积神经网络；
步骤3、利用中型卷积神经网络改善步骤2中生成的绝缘端子候选窗，去除步骤2中生成的误分类候选窗，继续使用非极大值抑制NMS算法合并候选窗，并将筛选后的候选窗输入到大型卷积神经网络；
步骤4、利用大型卷积神经网络改善步骤3中生成的绝缘端子候选窗，去除步骤3中生成的误分类候选窗，使用非极大值抑制NMS算法合并候选窗，同时把大型卷积神经网络的底层特征连接到分类网络进一步提取特征，对绝缘端子的缺陷类型进行分类并输出缺陷分类结果。
2.根据权利要求1所述的基于深度学习的电力绝缘端子缺陷检测方法，其特征在于，步骤1中利用巡检机器人采集的含有绝缘端子的图像集依次对小型卷积神经网络、中型卷积神经网络以及大型卷积神经网络进行训练的具体步骤为：
步骤1.1、从巡检机器人采集的现场巡检点的图片中提取含有绝缘端子的图像制作成数据集，并对图像中绝缘端子进行标注；
步骤1.2、在标注好的数据集上截取绝缘端子图片和非绝缘端子图片，将两类图片送入小型卷积神经网络进行训练；
步骤1.3、使用步骤1.2训练好的小型卷积神经网络对数据集进行检测，从检测结果中取出被误分类为绝缘端子的图片作为负样本，并取绝缘端子图片作为正样本，将两类图片送入中型卷积神经网络进行训练；
步骤1.4、使用步骤1.2和步骤1.3训练好的卷积神经网络对数据集再次检测，从检测结果中取出被误分类为绝缘端子的图片和无缺陷的绝缘端子作为一类以及有缺陷的绝缘端子K个类别，将K+1类图片送入大型卷积神经网络进行训练，对绝缘端子的缺陷类型进行分类。
3.根据权利要求1、2任一所述的基于深度学习的电力绝缘端子缺陷检测方法，其特征在于，卷积神经网络包括绝缘端子分类器和边界框回归两个描述子，分别具体为：
其中，为绝缘端子检测器的交叉熵损失函数，Pi为是目标的概率，为背景的真实标签。
其中，为通过欧氏距离计算的回归损失，为通过网络预测得到背景坐标，为实际的背景坐标。
4.根据权利要求1所述的基于深度学习的电力绝缘端子缺陷检测方法，其特征在于，步骤2中使用非极大值抑制NMS算法合并重叠的候选窗的具体公式为：
式中，C为粗定位目标绝缘端子区域，ni为目标候选区域。
5.根据权利要求1所述的基于深度学习的电力绝缘端子缺陷检测方法，其特征在于，在使用非极大值抑制NMS算法合并候选窗前，使用边界框回归的方法校正候选窗。
CN201811134295.6A 2018-09-27 2018-09-27 基于深度学习的电力绝缘端子缺陷检测方法 Pending CN109389160A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811134295.6A CN109389160A (zh) 2018-09-27 2018-09-27 基于深度学习的电力绝缘端子缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811134295.6A CN109389160A (zh) 2018-09-27 2018-09-27 基于深度学习的电力绝缘端子缺陷检测方法

Publications (1)

Publication Number Publication Date
CN109389160A true CN109389160A (zh) 2019-02-26

Family

ID=65418140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811134295.6A Pending CN109389160A (zh) 2018-09-27 2018-09-27 基于深度学习的电力绝缘端子缺陷检测方法

Country Status (1)

Country Link
CN (1) CN109389160A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110033451A (zh) * 2019-04-17 2019-07-19 国网山西省电力公司电力科学研究院 一种基于ssd架构的电力部件缺陷检测方法
CN110222593A (zh) * 2019-05-18 2019-09-10 四川弘和通讯有限公司 一种基于小规模神经网络的车辆实时检测方法
WO2020211823A1 (zh) * 2019-04-18 2020-10-22 杭州海康威视数字技术股份有限公司 模型训练方法、装置及缺陷检测方法、装置
CN111860439A (zh) * 2020-07-31 2020-10-30 广东电网有限责任公司 一种无人机巡检图像缺陷检测方法、系统及设备
CN112819804A (zh) * 2021-02-23 2021-05-18 西北工业大学 一种基于改进YOLOv5卷积神经网络的绝缘子缺陷检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104978580A (zh) * 2015-06-15 2015-10-14 国网山东省电力公司电力科学研究院 一种用于无人机巡检输电线路的绝缘子识别方法
CN106877237A (zh) * 2017-03-16 2017-06-20 天津大学 一种基于航拍图像的检测输电线路中绝缘子缺失的方法
CN107748858A (zh) * 2017-06-15 2018-03-02 华南理工大学 一种基于级联卷积神经网络的多姿态眼睛定位方法
US20180075290A1 (en) * 2016-09-09 2018-03-15 Microsoft Technology Licensing, Llc Object detection based on joint feature extraction

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104978580A (zh) * 2015-06-15 2015-10-14 国网山东省电力公司电力科学研究院 一种用于无人机巡检输电线路的绝缘子识别方法
US20180075290A1 (en) * 2016-09-09 2018-03-15 Microsoft Technology Licensing, Llc Object detection based on joint feature extraction
CN106877237A (zh) * 2017-03-16 2017-06-20 天津大学 一种基于航拍图像的检测输电线路中绝缘子缺失的方法
CN107748858A (zh) * 2017-06-15 2018-03-02 华南理工大学 一种基于级联卷积神经网络的多姿态眼睛定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KAIPENG ZHANG等: "Joint Face Detection and Alignment Using Multitask Cascaded Convolutional Networks", 《IEEE SIGNAL PROCESSING LETTERS》 *
侯春萍 等: "输电线路绝缘子自爆缺陷识别方法", 《电力系统及自动化学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110033451A (zh) * 2019-04-17 2019-07-19 国网山西省电力公司电力科学研究院 一种基于ssd架构的电力部件缺陷检测方法
WO2020211823A1 (zh) * 2019-04-18 2020-10-22 杭州海康威视数字技术股份有限公司 模型训练方法、装置及缺陷检测方法、装置
CN110222593A (zh) * 2019-05-18 2019-09-10 四川弘和通讯有限公司 一种基于小规模神经网络的车辆实时检测方法
CN111860439A (zh) * 2020-07-31 2020-10-30 广东电网有限责任公司 一种无人机巡检图像缺陷检测方法、系统及设备
CN112819804A (zh) * 2021-02-23 2021-05-18 西北工业大学 一种基于改进YOLOv5卷积神经网络的绝缘子缺陷检测方法

Similar Documents

Publication Publication Date Title
CN109389160A (zh) 基于深度学习的电力绝缘端子缺陷检测方法
CN111784633B (zh) 一种面向电力巡检视频的绝缘子缺损自动检测算法
CN107358259B (zh) 基于GLOH描述子和GVF-Snake模型的绝缘子覆冰检测方法
CN109176513B (zh) 一种智能巡检机器人的巡检方法及巡检系统
CN106022345B (zh) 一种基于霍夫森林的高压隔离开关状态识别方法
CN108648169A (zh) 高压输电塔绝缘子缺陷自动识别的方法及装置
CN104408482A (zh) 一种高分辨率sar图像目标检测方法
CN103487729A (zh) 基于紫外视频与红外视频融合的电力设备缺陷检测方法
CN110008877B (zh) 一种基于Faster RCNN的变电站隔离开关检测识别方法
CN111639530B (zh) 一种输电线路的输电塔和绝缘子的检测和识别方法及系统
CN104281857B (zh) 一种基于正交方向投影的绝缘子检测方法
Huang et al. A multi-feature fusion-based deep learning for insulator image identification and fault detection
CN109034272A (zh) 一种输电线路发热部件自动识别方法
CN109785288A (zh) 基于深度学习的输电设备缺陷检测方法及系统
CN106920240A (zh) 一种基于红外图像的绝缘子识别和故障诊断方法
CN115588021A (zh) 一种瓷绝缘子及金具无人机红外巡检图像融合分割方法
CN107833211A (zh) 基于红外图像的零值绝缘子自动检测方法及装置
CN115294031A (zh) 基于红外热成像分析的光伏组件故障图像识别方法
CN116681979A (zh) 一种复杂环境下的电力设备目标检测方法
Lu et al. Thermal Fault Diagnosis of Electrical Equipment in Substations Based on Image Fusion.
CN105374029A (zh) 变电站设备红外图像感兴趣区域的分割方法及系统
CN111325076A (zh) 一种基于U-net与Seg-net网络融合的航空地面建筑物提取方法
CN115147591A (zh) 一种变电设备红外图像电压致热型缺陷诊断方法及系统
Zhang et al. An automatic diagnostic method of abnormal heat defect in transmission lines based on infrared video
CN103198326A (zh) 一种输电线路直升机巡检的图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190226