CN116596855A - 基于深度学习的无人机对绝缘子故障检测系统及检测方法 - Google Patents
基于深度学习的无人机对绝缘子故障检测系统及检测方法 Download PDFInfo
- Publication number
- CN116596855A CN116596855A CN202310453734.4A CN202310453734A CN116596855A CN 116596855 A CN116596855 A CN 116596855A CN 202310453734 A CN202310453734 A CN 202310453734A CN 116596855 A CN116596855 A CN 116596855A
- Authority
- CN
- China
- Prior art keywords
- insulator
- fault
- image
- initial
- atlas
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000012212 insulator Substances 0.000 title claims abstract description 294
- 238000001514 detection method Methods 0.000 title claims abstract description 29
- 238000013135 deep learning Methods 0.000 title claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 55
- 238000012544 monitoring process Methods 0.000 claims abstract description 18
- 230000005540 biological transmission Effects 0.000 claims abstract description 10
- 238000012360 testing method Methods 0.000 claims description 70
- 238000000034 method Methods 0.000 claims description 49
- 239000011159 matrix material Substances 0.000 claims description 25
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 16
- 230000007547 defect Effects 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims description 14
- 238000007689 inspection Methods 0.000 claims description 13
- 230000002194 synthesizing effect Effects 0.000 claims description 11
- 238000012216 screening Methods 0.000 claims description 6
- 230000002950 deficient Effects 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000001965 increasing effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000011426 transformation method Methods 0.000 description 3
- 102000016550 Complement Factor H Human genes 0.000 description 2
- 108010053085 Complement Factor H Proteins 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
- Y04S10/52—Outage or fault management, e.g. fault detection or location
Abstract
本发明提供了基于深度学习的无人机对绝缘子故障检测系统及检测方法，本发明通过训练完成的绝缘子识别模型对绝缘子进行识别，并以绝缘子得分框为依据进行裁剪，该方法在训练时只需识别绝缘子即可，通过训练完成的故障是被模型进一步识别绝缘子上的故障，采用两级识别模型进行识别，最大程度的提高了故障识别的精度，同时在识别完成绝缘子后以裁剪的方式去除了复杂背景的干扰。当无人机检测到画面中存在绝缘子时，绝缘子识别模块自动输出绝缘子数据，无人机通过第一数据传输模块向监控站发送绝缘子数据以及GPS定位模块确定的位置数据，保证监控站能够最快识别故障以及故障发生地。
Description
技术领域
本发明涉及电力巡检技术领域，特别涉及基于深度学习的无人机对绝缘子故障检测系统及检测方法。
背景技术
采用无人机进行电力巡检具有安全系数高、风险小、成本低以及巡检准确性强的特点，和常规人工巡检相比，无人机巡检方式大大提高了电力巡检的效率。
一方面，在采用无人机巡检时的故障识别的方法采用单级绝缘子检测的方法检测绝缘子故障，然而在复杂背景的基础下，该方法常出现丢失绝缘子、缺陷块漏检，误检的情况的影响，导致检测精度无法满足绝缘子缺陷检测。
另一方面，申请号为CN202111116257.X，专利名称为“一种基于超高分辨率图片的无人机电力巡线故障检测方法”，该专利采用滑动窗口对图片切分，采用Mosaic数据增强的方法去扩充原始数据集，根据自定义数据集自适应计算锚框，进行自适应图片缩放以及具有更细粒度特性和更密集的新网络体系结构和损失函数，有效提高了输电线路故障检测的准确率；但该专利提高识别准确率同时进行自适应图片缩放以及具有更细粒度特性和更密集的新网络体系结构和损失函数，导致锚框的数量大幅度增加，系统负荷大，影响系统的运行，且针对复杂的绝缘子背景，将容易出现误判情况。
结合现有技术与对比文件，申请人发现现有技术中在复杂背景下识别极小缺陷的绝缘子依然存在很大的困难。
发明内容
有鉴于此，本发明提供了一种能够在复杂背景下识别极小缺陷的故障检测系统及检测方法。
第一方面，本发明公开了基于深度学习的无人机对绝缘子故障检测方法，方法在于：
通过无人机中设置的基于训练完成的绝缘子识别模型识别绝缘子获取绝缘子数据；
对绝缘子数据进行预处理生成二次缩放图像；
基于训练完成的故障识别模型对二次缩放图像进行故障识别，获取故障位置。
进一步的，通过无人机获取初始图像集方法在于，
步骤A1、利用Mavros控制无人机移动获取初始图像；
步骤A2、对初始图像进行缩放，将初始图像调整为固定大小；
步骤A3、基于训练完成的绝缘子识别模型识别缩放后的现场图像，判断是否存在绝缘子；若是则输出绝缘子数据，否则返回步骤A1；
步骤A4、利用GPS定位模块定位当前无人机位置；
步骤A5、向监控站发送绝缘子数据以及无人机位置信息；
步骤A6、判断是否拍摄完成，若是返回步骤A1，否则结束巡检任务；
其中绝缘子数据包括初始图像，一次缩放图像、一次缩放图像上的绝缘子位置得分框以及一次缩放图像上的绝缘子的坐标。
进一步的，对绝缘子数据进行预处理生成预处理图像的方法在于，
依据一次缩放图像上的绝缘子位置得分框裁剪绝缘子图像；
对裁剪后的绝缘子图像再次进行缩放，获取二次缩放图像，使二次缩放图像为同一尺寸。
进一步的，基于训练完成的故障识别模型对二次缩放图像进行故障识别，获取故障位置的方法在于：
步骤B1、识别二次缩放图像中绝缘子故障；分别输出二次缩放图像上的故障图像得分框以及二次缩放图像上的缺陷块坐标；
步骤B2、通过第一坐标转换将一次缩放图像上的绝缘子位置得分框映射至初始图像中；
步骤B3、通过第二坐标转换将二次缩放图像上的绝缘子故障得分框映射至初始图像中。
进一步的，所述第一坐标转换方法为：
根据公式：
[x 1,y1,x2,y2]＝H i*[x'1,y'1,x'2,y'2]
求得初始图像上的绝缘子得分框的坐标矩阵；其中[x 1,y1,x 2,y2]为初始图像上的绝缘子得分框的坐标矩阵，[x'1,y'1,x'2,y'2]为一次缩放图像上的绝缘子位置得分框的坐标矩阵，H i为第一坐标转换的缩放因子。
进一步的，所述第二坐标转换方法在于，
根据公式：
[p 1,q1,p2,q2]＝H d*[p'1',q'1',p'2',q'2']+[x 1,y1,x2,y2]
其中，[p'1',q'1',p'2',q'2']为二次缩放图像上的缺陷块坐标矩阵，[p 1,q1,p2,q2]为初始图像上的缺陷块坐标矩阵，[x 1,y1,x2,y2]为初始图像上的绝缘子得分框的坐标矩阵，H d为第二坐标转换的缩放因子。
进一步的，所述训练完成的绝缘子识别模型以及故障识别模型训练方法在于：
步骤C1、通过无人机拍摄获取初始绝缘子图集；并搭建两个完全相同的绝缘子测试模型以及两个完全相同的故障测试模型；
步骤C2、调整初始绝缘子图集获取扩展绝缘子图集，将调整后的图像和初始绝缘子图集合并，获得扩展绝缘子图集；标记扩展绝缘子图集；
步骤C3、通过绝缘子测试模型验证扩展绝缘子图集有效性，若有效则将标记过的扩展绝缘子图集输入测试模型进行训练，获取训练完成的绝缘子识别模型；否则返回步骤C2；
步骤C4、裁剪出初始绝缘子图集中的绝缘子，生成裁剪图集，在裁剪图集中筛选出绝缘子发生故障的图像，生成初始故障图集，将故障部位从初始故障图集中裁剪出，并将故障部位合成至裁剪图集中的无故障的图像中，将该图像与初始故障图集合并生成扩展故障图集；
步骤C5、通过故障测试模型验证扩展故障图集的有效性；若有效则将标记过的扩展故障图集输入测试模型进行训练，获取训练完成的故障识别模型；否则返回步骤C4。
所述步骤C3中，通过绝缘子测试模型验证扩展绝缘子图集有效性的方法在于，
分别将初始绝缘子图集和扩展绝缘子图集输入两个未训练的绝缘子测试模型中进行训练，比对两训练完成的绝缘子测试模型的AP值；
若输入初始绝缘子图集的绝缘子测试模型的AP值大于等于输入扩展绝缘子图集的绝缘子测试模型的AP值，则扩展绝缘子图集无效；否则扩展绝缘子图集有效；
所述步骤C5中，通过故障测试模型验证扩展故障图集的有效性的方法在于，分别将初始故障图集和扩展故障图集输入两个未训练的故障测试模型中进行训练，比对两训练完成的测试模型的AP值；
若输入初始故障图集的故障测试模型的AP值大于等于输入扩展故障图集的故障测试模型的AP值，则扩展绝缘子图集无效；否则扩展故障图集有效；
所述步骤C2中对初始绝缘子图集进行调整的方式在于修改原始绝缘子图像集图片的清晰度、亮度、对比度、新旧情况以及天气情况。
所述步骤C4中将故障部位合成至裁剪图集中的无故障图像中的方法在于将故障部位通过旋转、缩放以及裁剪的方式覆盖原绝缘子正常部位。
第二方面，本发明公开了基于深度学习的无人机对绝缘子故障检测系统，其特征在于，包括：无人机，用于控制无人机的Mavros模块以及监控站，所述无人机中搭载有GPS定位模块，图像缩放模块、绝缘子识别模块以及用于向监控站发送数据的第一数据传输模块；
所述监控站中设置有用于与无人机通信的第二数据传输模块，图像预处理模块、故障识别模块、第一坐标转换模块以及第二坐标转换模块；
所述缩放模块用于对初始图像进行缩放，将现场图像调整为固定大小；
所述绝缘子识别模块用于别绝缘子并获取绝缘子数据；
所述故障识别模块用于对二次缩放图像进行故障识别，获取故障位置和故障类别；
图像预处理模块用于对绝缘子数据中的一次缩放图像进行裁剪以及进行二次缩放；
所述第一坐标转换模块用于一次缩放图像上的绝缘子位置得分框映射至初始图像中；
所述第二坐标转换模块用于将二次缩放图像上的绝缘子故障得分框映射至初始图像中，获得初始图像绝缘子故障得分框；
还包括用于训练的训练模块
所述训练模块执行以下方法：
步骤C1、通过无人机拍摄获取初始绝缘子图集；并搭建两个完全相同的绝缘子测试模型以及两个完全相同的故障测试模型；
步骤C2、调整初始绝缘子图集获取扩展绝缘子图集，将调整后的图像和初始绝缘子图集合并，获得扩展绝缘子图集；标记扩展绝缘子图集；
步骤C3、通过绝缘子测试模型验证扩展绝缘子图集有效性，若有效则将标记过的扩展绝缘子图集输入测试模型进行训练，获取训练完成的绝缘子识别模型；否则返回步骤C2；
步骤C4、裁剪出初始绝缘子图集中的绝缘子，生成裁剪图集，在裁剪图集中筛选出绝缘子发生故障的图像，生成初始故障图集，将故障部位从初始故障图集中裁剪出，并将故障部位合成至裁剪图集中的无故障的图像中，将该图像与初始故障图集合并生成扩展故障图集；
步骤C5、通过故障测试模型验证扩展故障图集的有效性；若有效则将标记过的扩展故障图集输入测试模型进行训练，获取训练完成的故障识别模型；否则返回步骤C4。
本发明与现有技术相比存在的有益效果是：
本发明通过训练完成的绝缘子识别模型对绝缘子进行识别，并以绝缘子得分框为依据进行裁剪，该方法在训练时只需识别绝缘子即可，通过训练完成的故障是被模型进一步识别绝缘子上的故障，采用两级识别模型进行识别，最大程度的提高了故障识别的精度，同时在识别完成绝缘子后以裁剪的方式去除了复杂背景的干扰。
本发明在训练时，为避免训练样本不足，因此通过修改原始绝缘子图像集图片的清晰度、亮度、对比度、新旧情况以及天气情况等获取扩展绝缘子图集，不仅扩充了样本同时多种天气、新旧程度也增加了训练模型对环境的适应能力，训练效果更佳。同时本发明通过裁剪、缩放、合成方式获取扩展故障模型，增加了样本的，而且采用缩放的手段，使合成出的缺陷位置更小，大大增加了本发明对微小的绝缘子故障的识别精度。
本发明通过在无人机上设置无人机中搭载有GPS定位模块，第一缩放模以及绝缘子识别模块使本发明能够在巡检时动态识别绝缘子的位置，并且当检测到画面中存在绝缘子时，绝缘子识别模块自动输出绝缘子数据，无人机通过第一数据传输模块向监控站发送绝缘子数据以及GPS定位模块确定的位置数据，保证监控站能够最快识别故障以及故障发生地。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
附图1为本发明实施例提供的无人机对绝缘子故障检测与定位方法流程图；
附图2为本发明实施例提供的通过无人机获取初始图像集方法流程图；
附图3为本发明实施例提供的进行第一坐标转换方法的结构示意图；
附图4为本发明实施例提供的进行第二坐标转换方法的结构示意图；
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图通过具体实施例来进行说明。
实施例1
第一方面，本发明公开了基于深度学习的无人机对绝缘子故障检测方法，方法在于：
步骤S1、通过无人机中设置的基于训练完成的绝缘子识别模型识别绝缘子获取绝缘子数据；
步骤S2、对绝缘子数据进行预处理生成二次缩放图像；
步骤S3、基于训练完成的故障识别模型对二次缩放图像进行故障识别，获取故障位置。
进一步的，通过无人机获取初始图像集方法在于，
步骤A1、利用Mavros控制无人机移动获取初始图像；
更为具体的，在获取初始图像之前还要进行图像去噪以及图像增强，绝缘子都在外部环境下，拍摄的图像受到天气、光照等因素的干扰，另外双目摄像头拍摄存在许多与检测无关的部件，这些图像信息影响网络建模。为提高数据图像的质量，滤除无关信息，采用对应的去噪、增强等图像预处理，使其能达到后续机器视觉算法的质量要求。去噪采用高斯滤波法，该算法不仅能够去除高斯噪声和椒盐噪声，还能保留图像的边缘信息。图像增强采用基于Retinex理论的清晰化算法，在低照度或光照不均的情况下提高图像的视觉质量，理论上从双目摄像头获取的图像中除去入射分量，获得清晰的图像。
步骤A2、对初始图像进行缩放，将初始图像调整为固定大小；
步骤A3、基于训练完成的绝缘子识别模型识别缩放后的现场图像，判断是否存在绝缘子；若是则输出绝缘子数据，否则返回步骤A1；
步骤A4、利用GPS定位模块定位当前无人机位置；
步骤A5、向监控站发送绝缘子数据以及无人机位置信息；
步骤A6、判断是否拍摄完成，若是返回步骤A1，否则结束巡检任务；
其中绝缘子数据包括初始图像，一次缩放图像、一次缩放图像上的绝缘子位置得分框以及一次缩放图像上的绝缘子的坐标。
更为具体的，
进一步的，对绝缘子数据进行预处理生成预处理图像的方法在于，
依据一次缩放图像上的绝缘子位置得分框裁剪绝缘子图像；
对裁剪后的绝缘子图像再次进行缩放，获取二次缩放图像，使二次缩放图像为同一尺寸。
进一步的，基于训练完成的故障识别模型对二次缩放图像进行故障识别，获取故障位置的方法在于：
步骤B1、识别二次缩放图像中绝缘子故障；分别输出二次缩放图像上的故障图像得分框以及二次缩放图像上的缺陷块坐标；
步骤B2、通过第一坐标转换将一次缩放图像上的绝缘子位置得分框映射至初始图像中；
步骤B3、通过第二坐标转换将二次缩放图像上的绝缘子故障得分框映射至初始图像中。
进一步的，第一坐标转换方法为：
根据公式：
[x 1,y1,x2,y2]＝H i*[x′1,y′1,x′2,y′2]
求得初始图像上的绝缘子得分框的坐标矩阵；其中[x 1,y 1,x 2,y 2]为初始图像上的绝缘子得分框的坐标矩阵，[x′1,y′1,x′2,y′2]为一次缩放图像上的绝缘子位置得分框的坐标矩阵，Hi为第一坐标转换的缩放因子。
如图所示，其中为第一坐标转换的缩放因子Hi为：
Hi＝[αi,βi,αi,βi,]
其中αi表示宽度缩放因子βi表示高度缩放因子，αiβi计算方法分别如下：
其中W表示初始图像的宽度，W′表示一次缩放图像的宽度；
其中h表示初始图像的高度，h′表示初始图像的高度
进一步的，第二坐标转换方法在于，
根据公式：
[p1,q1,p2,q2]＝Hd*[p”1,q”1,p”2,q”2]+[x1,y1,x2,y2]
其中，[p”1,q”1,p”2,q”2]为二次缩放图像上的缺陷块坐标矩阵，[p1,q1,p2,q2]为初始图像上的缺陷块坐标矩阵，[x1,y1,x2,y2]为初始图像上的绝缘子得分框的坐标矩阵，Hd为第二坐标转换的缩放因子。
如图所示，其中为第一坐标转换的缩放因子Hd为：
Hd＝[αd,βd,αd,βd]
其中αd表示宽度缩放因子βd表示高度缩放因子，αdβd计算方法分别如下：
其中W表示初始图像的宽度，W′表示二次缩放图像的宽度；
其中h表示初始图像的高度，h′表示初始图像的高度
更为具体的,公式：
[p1,q1,p2,q2]＝Hd*[p”1,q”1,p”2,q”2]+[x1,y1,x2,y2]的推导过程共计两步，
第一步，将二次缩放图像的绝缘子故障得分框映射至一次缩放图像中；
[p′1,q'1,p'2,q'2]＝Hd*[p”1,q”1,p”2,q”2]
其中，[p'1,q'1,p'2,q'2]为一次缩放图像上的缺陷块坐标矩阵；
[p”1,q”1,p”2,q”2]为二次缩放图像上的缺陷块坐标矩阵；
Hd为第二坐标转换的缩放因子；
第二步，由于上述已经求得初始图像上的绝缘子得分框的坐标矩阵，因此在求得一次缩放图像上的缺陷块坐标矩阵基础上只需加上初始图像上的绝缘子得分框的坐标矩阵就是初始图像上的缺陷块坐标矩阵。即
[p 1,q1,p2,q2]＝[p'1,q'1,p'2,q'2]+[x 1,y1,x2,y2]
本发明通过训练完成的绝缘子识别模型对绝缘子进行识别，并以绝缘子得分框为依据进行裁剪，该方法在训练时只需识别绝缘子即可，通过训练完成的故障是被模型进一步识别绝缘子上的故障，采用两级识别模型进行识别，最大程度的提高了故障识别的精度，同时在识别完成绝缘子后以裁剪的方式去除了复杂背景的干扰。
实施例2
训练完成的绝缘子识别模型以及故障识别模型训练方法在于：
步骤C1、通过无人机拍摄获取初始绝缘子图集；并搭建两个完全相同的绝缘子测试模型以及两个完全相同的故障测试模型；
步骤C2、调整初始绝缘子图集获取扩展绝缘子图集，将调整后的图像和初始绝缘子图集合并，获得扩展绝缘子图集；标记扩展绝缘子图集；
步骤C3、通过绝缘子测试模型验证扩展绝缘子图集有效性，若有效则将标记过的扩展绝缘子图集输入测试模型进行训练，获取训练完成的绝缘子识别模型；否则返回步骤C2；
步骤C4、裁剪出初始绝缘子图集中的绝缘子，生成裁剪图集，在裁剪图集中筛选出绝缘子发生故障的图像，生成初始故障图集，将故障部位从初始故障图集中裁剪出，并将故障部位合成至裁剪图集中的无故障的图像中，将该图像与初始故障图集合并生成扩展故障图集；
步骤C5、通过故障测试模型验证扩展故障图集的有效性；若有效则将标记过的扩展故障图集输入测试模型进行训练，获取训练完成的故障识别模型；否则返回步骤C4。
步骤C3中，通过绝缘子测试模型验证扩展绝缘子图集有效性的方法在于，
分别将初始绝缘子图集和扩展绝缘子图集输入两个未训练的绝缘子测试模型中进行训练，比对两训练完成的绝缘子测试模型的AP值；
若输入初始绝缘子图集的绝缘子测试模型的AP值大于等于输入扩展绝缘子图集的绝缘子测试模型的AP值，则扩展绝缘子图集无效；否则扩展绝缘子图集有效；
步骤C5中，通过故障测试模型验证扩展故障图集的有效性的方法在于，分别将初始故障图集和扩展故障图集输入两个未训练的故障测试模型中进行训练，比对两训练完成的测试模型的AP值；
若输入初始故障图集的故障测试模型的AP值大于等于输入扩展故障图集的故障测试模型的AP值，则扩展绝缘子图集无效；否则扩展故障图集有效；
步骤C2中对初始绝缘子图集进行调整的方式在于修改原始绝缘子图像集图片的清晰度、亮度、对比度、新旧情况以及天气情况。
步骤C4中将故障部位合成至裁剪图集中的无故障图像中的方法在于将故障部位通过旋转、缩放以及裁剪的方式覆盖原绝缘子正常部位
本发明在训练时，为避免训练样本不足，因此通过修改原始绝缘子图像集图片的清晰度、亮度、对比度、新旧情况以及天气情况等获取扩展绝缘子图集，不仅扩充了样本同时多种天气、新旧程度也增加了训练模型对环境的适应能力，训练效果更佳。同时本发明通过裁剪、缩放、合成方式获取扩展故障模型，增加了样本的，而且采用缩放的手段，使合成出的缺陷位置更小，大大增加了本发明对微小的绝缘子故障的识别精度。
实施例3
本发明公开了基于深度学习的无人机对绝缘子故障检测系统，包括：无人机，用于控制无人机的Mavros模块以及监控站，无人机中搭载有GPS定位模块，图像缩放模块、绝缘子识别模块以及用于向监控站发送数据的第一数据传输模块；
更为具体的，无人机中还设置有用于获取图像的双目摄像头、用于无人机控制的飞控传感器；
监控站中设置有用于与无人机通信的第二数据传输模块，图像预处理模块、故障识别模块、第一坐标转换模块以及第二坐标转换模块；
缩放模块用于对初始图像进行缩放，将现场图像调整为固定大小；
绝缘子识别模块用于别绝缘子并获取绝缘子数据；
故障识别模块用于对二次缩放图像进行故障识别，获取故障位置和故障类别；
图像预处理模块用于对绝缘子数据中的一次缩放图像进行裁剪以及进行二次缩放；
第一坐标转换模块用于一次缩放图像上的绝缘子位置得分框映射至初始图像中；
第二坐标转换模块用于将二次缩放图像上的绝缘子故障得分框映射至初始图像中，获得初始图像绝缘子故障得分框；
本发明通过在无人机上设置无人机中搭载有GPS定位模块，第一缩放模以及绝缘子识别模块使本发明能够在巡检时动态识别绝缘子的位置，并且当检测到画面中存在绝缘子时，绝缘子识别模块自动输出绝缘子数据，无人机通过第一数据传输模块向监控站发送绝缘子数据以及GPS定位模块确定的位置数据，保证监控站能够最快识别故障以及故障发生地。
还包括用于训练的训练模块
训练模块执行以下方法：
步骤C1、通过无人机拍摄获取初始绝缘子图集；并搭建两个完全相同的绝缘子测试模型以及两个完全相同的故障测试模型；
步骤C2、调整初始绝缘子图集获取扩展绝缘子图集，将调整后的图像和初始绝缘子图集合并，获得扩展绝缘子图集；标记扩展绝缘子图集；
步骤C3、通过绝缘子测试模型验证扩展绝缘子图集有效性，若有效则将标记过的扩展绝缘子图集输入测试模型进行训练，获取训练完成的绝缘子识别模型；否则返回步骤C2；
步骤C4、裁剪出初始绝缘子图集中的绝缘子，生成裁剪图集，在裁剪图集中筛选出绝缘子发生故障的图像，生成初始故障图集，将故障部位从初始故障图集中裁剪出，并将故障部位合成至裁剪图集中的无故障的图像中，将该图像与初始故障图集合并生成扩展故障图集；
步骤C5、通过故障测试模型验证扩展故障图集的有效性；若有效则将标记过的扩展故障图集输入测试模型进行训练，获取训练完成的故障识别模型；否则返回步骤C4。
更为具体的，在实施例1～实施例3中中缘子测试模型以及故障测试模型、绝缘子识别模型以及故障识别模型均采用快速区域卷积神经网络(Fast R-CNN)，快速区域卷积神经网络(Fast R-CNN)不仅能够准确的对图像分类，还应同时探测出多个目标物体，即包含目标物体的位置和尺寸[4]。Fast R-CNN利用Softmax代替SVM分类，直接将候选区域中的目标分类和边框回归同时进行，并列放至全连接层，由此形成一个多任务(multi-task)模型，而两个任务的确能够共享卷积特征，相比区域卷积神经网络(R-CNN)、卷积深经网络(CNN)都减少提取特征的重复计算，提高了运行效率，对目标检测的准确度也有所提升。
Fast R-CNN直接输入整幅图像，通常选用5个卷积层和2个全连接层，通过RoI池化用坐标映射的方式进行特征提取，RoI是一个卷积特征图的矩形窗口，可定义为，其中为左上角坐标，为其高和宽。RoI池化层利用最大池化把初始的卷积特征图转变成一个固定大小的特征图，通常取7×7；通过RoI池化得到一个同一尺寸的特征向量，再通过Softmax分类器进行类型判别，同时边框回归并列放至全连接层进行计算，根据卷积核提取的特征预测输出绝缘子在图像中的位置及其状态。
更为具体的，在实施例1～实施例3中中缘子测试模型以及故障测试模型、绝缘子识别模型以及故障识别模型还可以采用Faster R-CNN算法或YOLOV3算法搭建。
此外，本发明设置图像缩放模块、图像预处理模块分别将图片缩放为适合图像识别的尺寸，同时也避免出现图像尺寸不一致的问题，增加了图像识别的准确性。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.基于深度学习的无人机对绝缘子故障检测方法，其特征在于，
通过无人机中设置的基于训练完成的绝缘子识别模型识别绝缘子获取绝缘子数据；
对绝缘子数据进行预处理生成二次缩放图像；
基于训练完成的故障识别模型对二次缩放图像进行故障识别，获取故障位置。
2.根据权利要求1所述的基于深度学习的无人机对绝缘子故障检测方法，其特征在于，通过无人机获取初始图像集方法在于，
步骤A1、利用Mavros控制无人机移动获取初始图像；
步骤A2、对初始图像进行缩放，将初始图像调整为固定大小；
步骤A3、基于训练完成的绝缘子识别模型识别缩放后的现场图像，判断是否存在绝缘子；若是则输出绝缘子数据，否则返回步骤A1；
步骤A4、利用GPS定位模块定位当前无人机位置；
步骤A5、向监控站发送绝缘子数据以及无人机位置信息；
步骤A6、判断是否拍摄完成，若是返回步骤A1，否则结束巡检任务；
其中绝缘子数据包括初始图像，一次缩放图像、一次缩放图像上的绝缘子位置得分框以及一次缩放图像上的绝缘子的坐标。
3.根据权利要求2所述的基于深度学习的无人机对绝缘子故障检测方法，其特征在于：对绝缘子数据进行预处理生成预处理图像的方法在于，
依据一次缩放图像上的绝缘子位置得分框裁剪绝缘子图像；
对裁剪后的绝缘子图像再次进行缩放，获取二次缩放图像，使二次缩放图像为同一尺寸。
4.根据权利要求3所述的基于深度学习的无人机对绝缘子故障检测方法，其特征在于：
基于训练完成的故障识别模型对二次缩放图像进行故障识别，获取故障位置的方法在于：
步骤B1、识别二次缩放图像中绝缘子故障；分别输出二次缩放图像上的故障图像得分框以及二次缩放图像上的缺陷块坐标；
步骤B2、通过第一坐标转换将一次缩放图像上的绝缘子位置得分框映射至初始图像中；
步骤B3、通过第二坐标转换将二次缩放图像上的绝缘子故障得分框映射至初始图像中。
5.根据权利要求4所述的基于深度学习的无人机对绝缘子故障检测方法，其特征在于，
所述步骤B2中通过第一坐标转换将一次缩放图像上的绝缘子位置得分框映射至初始图像的方法具体为：
根据公式：
[x1,y1,x2,y2]＝Hi*[x'1,y'1,x'2,y'2]
求得初始图像上的绝缘子得分框的坐标矩阵；其中[x1,y1,x2,y2]为初始图像上的绝缘子得分框的坐标矩阵，[x'1,y'1,x'2,y'2]为一次缩放图像上的绝缘子位置得分框的坐标矩阵，Hi为第一坐标转换的缩放因子。
6.根据权利要求5所述的基于深度学习的无人机对绝缘子故障检测方法，其特征在于，
所述步骤B3中通过第二坐标转换将二次缩放图像上的绝缘子故障得分框映射至初始图像中的方法具体为：
根据公式：
[p1,q1,p2,q2]＝Hd*[p'1',q'1',p'2',q'2']+[x1,y1,x2,y2]
其中，[p'1',q'1',p'2',q'2']为二次缩放图像上的缺陷块坐标矩阵，[p1,q1,p2,q2]为初始图像上的缺陷块坐标矩阵，[x1,y1,x2,y2]为初始图像上的绝缘子得分框的坐标矩阵，Hd为第二坐标转换的缩放因子。
7.根据权利要求1所述的基于深度学习的无人机对绝缘子故障检测方法，其特征在于，所述训练完成的绝缘子识别模型以及故障识别模型训练方法在于，
步骤C1、通过无人机拍摄获取初始绝缘子图集；并搭建两个完全相同的绝缘子测试模型以及两个完全相同的故障测试模型；
步骤C2、调整初始绝缘子图集获取扩展绝缘子图集，将调整后的图像和初始绝缘子图集合并，获得扩展绝缘子图集；标记扩展绝缘子图集；
步骤C3、通过绝缘子测试模型验证扩展绝缘子图集有效性，若有效则将标记过的扩展绝缘子图集输入测试模型进行训练，获取训练完成的绝缘子识别模型；否则返回步骤C2；
步骤C4、裁剪出初始绝缘子图集中的绝缘子，生成裁剪图集，在裁剪图集中筛选出绝缘子发生故障的图像，生成初始故障图集，将故障部位从初始故障图集中裁剪出，并将故障部位合成至裁剪图集中的无故障的图像中，将该图像与初始故障图集合并生成扩展故障图集；
步骤C5、通过故障测试模型验证扩展故障图集的有效性；若有效则将标记过的扩展故障图集输入测试模型进行训练，获取训练完成的故障识别模型；否则返回步骤C4。
8.根据权利要求7所述的基于深度学习的无人机对绝缘子故障检测方法，其特征在于，
所述步骤C3中，通过绝缘子测试模型验证扩展绝缘子图集有效性的方法在于，
分别将初始绝缘子图集和扩展绝缘子图集输入两个未训练的绝缘子测试模型中进行训练，比对两训练完成的绝缘子测试模型的AP值；
若输入初始绝缘子图集的绝缘子测试模型的AP值大于等于输入扩展绝缘子图集的绝缘子测试模型的AP值，则扩展绝缘子图集无效；否则扩展绝缘子图集有效；
所述步骤C5中，通过故障测试模型验证扩展故障图集的有效性的方法在于，分别将初始故障图集和扩展故障图集输入两个未训练的故障测试模型中进行训练，比对两训练完成的测试模型的AP值；
若输入初始故障图集的故障测试模型的AP值大于等于输入扩展故障图集的故障测试模型的AP值，则扩展绝缘子图集无效；否则扩展故障图集有效。
9.根据权利要求7所述的基于深度学习的无人机对绝缘子故障检测方法，其特征在于，
所述步骤C2中对初始绝缘子图集进行调整的方式在于修改原始绝缘子图像集图片的清晰度、亮度、对比度、新旧情况以及天气情况；
所述步骤C4中将故障部位合成至裁剪图集中的无故障图像中的方法在于将故障部位通过旋转、缩放以及裁剪的方式覆盖原绝缘子正常部位。
10.基于深度学习的无人机对绝缘子故障检测系统，其特征在于，包括：无人机，用于控制无人机的Mavros模块以及监控站，所述无人机中搭载有GPS定位模块，图像缩放模块、绝缘子识别模块以及用于向监控站发送数据的第一数据传输模块；
所述监控站中设置有用于与无人机通信的第二数据传输模块，图像预处理模块、故障识别模块、第一坐标转换模块以及第二坐标转换模块；
所述缩放模块用于对初始图像进行缩放，将现场图像调整为固定大小；
所述绝缘子识别模块用于别绝缘子并获取绝缘子数据；
所述故障识别模块用于对二次缩放图像进行故障识别，获取故障位置和故障类别；
图像预处理模块用于对绝缘子数据中的一次缩放图像进行裁剪以及进行二次缩放；
所述第一坐标转换模块用于一次缩放图像上的绝缘子位置得分框映射至初始图像中；
所述第二坐标转换模块用于将二次缩放图像上的绝缘子故障得分框映射至初始图像中，获得初始图像绝缘子故障得分框；
还包括用于训练的训练模块；
所述训练模块执行以下方法：
步骤C1、通过无人机拍摄获取初始绝缘子图集；并搭建两个完全相同的绝缘子测试模型以及两个完全相同的故障测试模型；
步骤C2、调整初始绝缘子图集获取扩展绝缘子图集，将调整后的图像和初始绝缘子图集合并，获得扩展绝缘子图集；标记扩展绝缘子图集；
步骤C3、通过绝缘子测试模型验证扩展绝缘子图集有效性，若有效则将标记过的扩展绝缘子图集输入测试模型进行训练，获取训练完成的绝缘子识别模型；否则返回步骤C2；
步骤C4、裁剪出初始绝缘子图集中的绝缘子，生成裁剪图集，在裁剪图集中筛选出绝缘子发生故障的图像，生成初始故障图集，将故障部位从初始故障图集中裁剪出，并将故障部位合成至裁剪图集中的无故障的图像中，将该图像与初始故障图集合并生成扩展故障图集；
步骤C5、通过故障测试模型验证扩展故障图集的有效性；若有效则将标记过的扩展故障图集输入测试模型进行训练，获取训练完成的故障识别模型；否则返回步骤C4。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310453734.4A CN116596855A (zh) | 2023-04-25 | 2023-04-25 | 基于深度学习的无人机对绝缘子故障检测系统及检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310453734.4A CN116596855A (zh) | 2023-04-25 | 2023-04-25 | 基于深度学习的无人机对绝缘子故障检测系统及检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116596855A true CN116596855A (zh) | 2023-08-15 |
Family
ID=87588961
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310453734.4A Pending CN116596855A (zh) | 2023-04-25 | 2023-04-25 | 基于深度学习的无人机对绝缘子故障检测系统及检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116596855A (zh) |
-
2023
- 2023-04-25 CN CN202310453734.4A patent/CN116596855A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111488789B (zh) | 用于基于图像分析的监视的行人检测方法及装置 | |
| CN111507958B (zh) | 目标检测方法、检测模型的训练方法及电子设备 | |
| CN109683360B (zh) | 液晶面板缺陷检测方法及装置 | |
| CN111914698B (zh) | 图像中人体的分割方法、分割系统、电子设备及存储介质 | |
| CN107808161B (zh) | 一种基于光视觉的水下目标识别方法 | |
| US20150279021A1 (en) | Video object tracking in traffic monitoring | |
| CN111833306A (zh) | 缺陷检测方法和用于缺陷检测的模型训练方法 | |
| US9846929B2 (en) | Fast density estimation method for defect inspection application | |
| JP7274885B2 (ja) | 表示装置の欠陥識別システム及び方法 | |
| CN113139543B (zh) | 目标对象检测模型的训练方法、目标对象检测方法和设备 | |
| CN116485779B (zh) | 自适应晶圆缺陷检测方法、装置、电子设备及存储介质 | |
| CN115908415B (zh) | 基于边缘的缺陷检测方法、装置、设备及存储介质 | |
| CN111209858A (zh) | 一种基于深度卷积神经网络的实时车牌检测方法 | |
| CN110599516A (zh) | 一种运动目标检测方法、装置、存储介质及终端设备 | |
| US20210390282A1 (en) | Training data increment method, electronic apparatus and computer-readable medium | |
| CN116228741A (zh) | 一种pcba元器件缺陷检测方法及装置 | |
| CN112347967B (zh) | 一种复杂场景下融合运动信息的行人检测方法 | |
| CN115797314B (zh) | 零件表面缺陷检测方法、系统、设备及存储介质 | |
| CN116596855A (zh) | 基于深度学习的无人机对绝缘子故障检测系统及检测方法 | |
| CN114757941A (zh) | 变电站设备缺陷的识别方法、装置、电子设备及存储介质 | |
| CN114926675A (zh) | 外壳污损缺陷检测方法、装置、计算机设备及存储介质 | |
| KR20220143119A (ko) | 인지 시스템용 훈련 데이터 후보의 자동 식별 | |
| CN113033551A (zh) | 对象检测的方法、装置、设备和存储介质 | |
| CN110781758A (zh) | 一种受电弓结构异常动态视频监测方法及装置 | |
| CN113284135B (zh) | 基于全局与局部上下文信息的sar舰船检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |