CN116665080B - 基于目标识别的无人机劣化绝缘子检测方法及系统 - Google Patents
基于目标识别的无人机劣化绝缘子检测方法及系统 Download PDFInfo
- Publication number
- CN116665080B CN116665080B CN202310920093.9A CN202310920093A CN116665080B CN 116665080 B CN116665080 B CN 116665080B CN 202310920093 A CN202310920093 A CN 202310920093A CN 116665080 B CN116665080 B CN 116665080B
- Authority
- CN
- China
- Prior art keywords
- module
- eca
- characteristic layer
- insulator
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000012212 insulator Substances 0.000 title claims abstract description 139
- 238000001514 detection method Methods 0.000 title claims abstract description 91
- 230000011218 segmentation Effects 0.000 claims abstract description 69
- 230000004927 fusion Effects 0.000 claims abstract description 64
- 238000003709 image segmentation Methods 0.000 claims abstract description 46
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000002372 labelling Methods 0.000 claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 238000003708 edge detection Methods 0.000 claims abstract description 7
- 230000015556 catabolic process Effects 0.000 claims description 33
- 238000006731 degradation reaction Methods 0.000 claims description 33
- 230000007246 mechanism Effects 0.000 claims description 26
- 238000000605 extraction Methods 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 23
- 238000005070 sampling Methods 0.000 claims description 20
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 9
- 230000007547 defect Effects 0.000 claims description 9
- 229910052742 iron Inorganic materials 0.000 claims description 9
- 235000002566 Capsicum Nutrition 0.000 claims description 4
- 239000006002 Pepper Substances 0.000 claims description 4
- 235000016761 Piper aduncum Nutrition 0.000 claims description 4
- 235000017804 Piper guineense Nutrition 0.000 claims description 4
- 235000008184 Piper nigrum Nutrition 0.000 claims description 4
- 150000003839 salts Chemical class 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000003321 amplification Effects 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 244000203593 Piper nigrum Species 0.000 claims 1
- 238000012545 processing Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 6
- 238000001914 filtration Methods 0.000 description 5
- 238000007689 inspection Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 241000722363 Piper Species 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 229910052573 porcelain Inorganic materials 0.000 description 3
- 230000001629 suppression Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008014 freezing Effects 0.000 description 2
- 238000007710 freezing Methods 0.000 description 2
- 238000011068 loading method Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011049 filling Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000009413 insulation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Remote Sensing (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于目标识别的无人机劣化绝缘子检测方法及系统,该方法包括,对现场收集的绝缘子红外图像构建图像数据集,对图像数据集预处理并标注,搭建改进YOLOv8‑seg实例分割模型与改进YOLOv8目标检测模型,通过训练好的改进YOLOv8‑seg实例分割模型与基于边缘检测的图像分割算法对绝缘子图像进行融合分割,通过训练好的改进YOLOv8目标检测模型对绝缘子融合分割图像进行绝缘子劣化区域目标检测,本发明通过采用图像处理技术和算法,可以实现对瓷绝缘子的实时检测和及时报警,并提高检测的速度、准确性和可靠性。
Description
技术领域
本发明涉及输电线路技术领域,具体为基于目标识别的无人机劣化绝缘子检测方法及系统。
背景技术
在电力输配电系统中,绝缘子作为重要的绝缘控件,负责保障电能的传输和分配安全。然而,由于其长期暴露在自然环境中,如连续的高温、湿度和紫外线照射,绝缘子表面易受到破损和腐蚀,最终导致劣化。劣化绝缘子容易引发电气事故,从而影响电网运行的安全和稳定,也会导致维护和更换成本的增加。
因此,实时检测绝缘子的状态,及时发现和处理劣化绝缘子现象,成为电网智能化巡检所必须面对的任务之一。然而,人工巡检的效率往往并不能确保在面对广泛的输电线路时能够高效地定位和处理绝缘子故障,面对这一挑战,电网运维人员可以采用无人值守飞行器(如无人机)等工具,通过实时检测绝缘子状态,依据不同区域情况采取定制化的防治措施,提高绝缘子故障的处理效率和准确性,更好地保障线路稳定运行和电网安全。
所以,如何设计基于目标识别的无人机劣化绝缘子检测方法及系统,成为我们当前需要解决的问题。
发明内容
针对现有技术的不足,本发明提供了基于目标识别的无人机劣化绝缘子检测方法及系统,解决了人工巡检绝缘子故障效率较低且定位不准确的问题。
为实现上述目的,本发明提供如下技术方案:基于目标识别的无人机劣化绝缘子检测方法,包括以下步骤:
S1:搭建改进YOLOv8算法模型,引入通道注意力机制,SPPFCSPC模块,位置编码卷积与可切换空洞卷积对YOLOv8算法模型进行改进;改进YOLOv8算法模型包含图像分割与目标检测功能,将改进YOLOv8算法模型的任务类型切换为分割时,得到改进YOLOv8-seg实例分割模型,将改进YOLOv8算法模型的任务类型切换为检测时,得到改进YOLOv8目标检测模型;
所述改进YOLOv8算法模型由主干特征提取网络、特征融合网络和检测头三部分组成,主干特征提取网络依次由第一CCBS卷积模块、第二CCBS卷积模块、第一C2f-ECA模块、第三CCBS卷积模块、第二C2f-ECA模块、第四CCBS卷积模块、第三C2f-ECA模块、第五CCBS卷积模块、第四C2f-ECA模块构成;特征融合网络分为特征图尺寸增大路径和特征图尺寸减小路径,特征图尺寸增大路径依次经过上采样模块、堆叠模块、第五C2f-ECA模块、上采样模块、堆叠模块与第六C2f-ECA模块,特征图尺寸减小路径依次经过第一SCBS卷积模块、堆叠模块、第七C2f-ECA模块、第二SCBS卷积模块、堆叠模块与第八C2f-ECA模块;
S2:对现场收集的绝缘子红外图像进行图像预处理,得到图像分割数据集,将图像分割数据集中的绝缘子铁帽、金具区域进行图像分割标注并保存,将保存后的文件作为绝缘子分割图像数据集,通过绝缘子分割图像数据集对改进YOLOv8-seg实例分割模型进行训练;使用基于Canny算子边缘检测的图像分割算法与训练好的改进YOLOv8-seg实例分割模型分别对现场收集的绝缘子红外图像进行图像分割,将两种方法所获得的分割图像进行融合,得到绝缘子融合分割图像;
S3:对步骤S2中获取的绝缘子融合分割图像中绝缘子劣化缺陷区域进行目标检测标注并保存,将保存的文件作为劣化绝缘子目标检测数据集,通过劣化绝缘子目标检测数据集对改进YOLOv8目标检测模型进行训练;
S4:将训练好的改进YOLOv8-seg实例分割模型与训练好的改进YOLOv8目标检测模型部署至无人机搭载平台中,对无人机现场采集图像进行劣化绝缘子目标检测与识别。
进一步的,主干特征提取网络中的第一C2f-ECA模块、第二C2f-ECA模块、第三C2f-ECA模块与第四C2f-ECA模块均采用有残差连接的瓶颈模块(Bottleneck),其中第一C2f-ECA模块与第四C2f-ECA模块结构相同,瓶颈模块(Bottleneck)数量为1,第二C2f-ECA模块与第三C2f-ECA模块结构相同,瓶颈模块(Bottleneck)数量为2;特征融合网络中的第五C2f-ECA模块、第六C2f-ECA模块、第七C2f-ECA模块与第八C2f-ECA模块结构相同,均采用无残差连接的瓶颈模块(Bottleneck),瓶颈模块(Bottleneck)数量为1。
进一步的,第一CCBS卷积模块、第二CCBS卷积模块、第三CCBS卷积模块、第四CCBS卷积模块和第五CCBS卷积模块结构相同,均由位置编码卷积、标准化模块和SiLU激活函数组成。
进一步的,第一SCBS卷积模块与第二SCBS卷积模块结构相同,均由可切换空洞卷积、标准化模块和SiLU激活函数组成。
进一步的,从主干特征提取网络的第二C2f-ECA模块、第三C2f-ECA模块与第四C2f-ECA模块上分别引出第一特征层、第二特征层与第三特征层,输入到特征融合网络中进行特征融合后得到第十特征层、第十三特征层和第十六特征层,将第十特征层、第十三特征层和第十六特征层分别输入到检测头中进行检测识别。
进一步的,从主干特征提取网络中引出的第一特征层、第二特征层与第三特征层,输入到特征融合网络中进行特征融合的具体过程为:第三特征层经过ECA注意力机制与SPPFCSPC模块后得到第四特征层,第四特征层经过上采样模块后得到第五特征层,第二特征层经过ECA注意力机制后与第五特征层在堆叠模块中进行特征融合后得到第六特征层,第六特征层经过第五C2f-ECA模块后得到第七特征层,第七特征层上采样模块得到第八特征层,第一特征层经过ECA注意力机制后与第八特征层在堆叠模块中进行特征融合后得到第九特征层,第九特征层经过第六C2f-ECA模块后得到第十特征层,第十特征层经过第一SCBS卷积模块后得到第十一特征层,第七特征层与第十一特征层在堆叠模块中进行特征融合后得到第十二特征层,第十二特征层经过第七C2f-ECA模块后得到第十三特征层,第十三特征层经过第二SCBS卷积模块后得到第十四特征层,第十四特征层与第四特征层在堆叠模块中进行特征融合后得到第十五特征层,第十五特征层经过第八C2f-ECA模块后得到第十六特征层。
进一步的,所述图像预处理是指通过翻转、旋转几何变换进行绝缘子红外图像扩增;对扩增后的绝缘子红外图像进行直方图均衡化和自适应中值滤波器去除椒盐噪声处理。
基于目标识别的无人机劣化绝缘子检测系统,包括:搭建模块,用于搭建改进YOLOv8算法模型,引入通道注意力机制,SPPFCSPC模块,位置编码卷积与可切换空洞卷积对YOLOv8算法模型进行改进;改进YOLOv8算法模型包含图像分割与目标检测功能,将改进YOLOv8算法模型的任务类型切换为分割时,得到改进YOLOv8-seg实例分割模型,将改进YOLOv8算法模型的任务类型切换为检测时,得到改进YOLOv8目标检测模型;所述改进YOLOv8算法模型由主干特征提取网络、特征融合网络和检测头三部分组成,主干特征提取网络依次由第一CCBS卷积模块、第二CCBS卷积模块、第一C2f-ECA模块、第三CCBS卷积模块、第二C2f-ECA模块、第四CCBS卷积模块、第三C2f-ECA模块、第五CCBS卷积模块、第四C2f-ECA模块构成;特征融合网络分为特征图尺寸增大路径和特征图尺寸减小路径,特征图尺寸增大路径依次经过上采样模块、堆叠模块、第五C2f-ECA模块、上采样模块、堆叠模块与第六C2f-ECA模块,特征图尺寸减小路径依次经过第一SCBS卷积模块、堆叠模块、第七C2f-ECA模块、第二SCBS卷积模块、堆叠模块与第八C2f-ECA模块;融合分割模块,用于对现场收集的绝缘子红外图像进行图像预处理,得到图像分割数据集,将图像分割数据集中的绝缘子铁帽、金具区域进行图像分割标注并保存,将保存后的文件作为绝缘子分割图像数据集,通过绝缘子分割图像数据集对改进YOLOv8-seg实例分割模型进行训练;使用基于Canny算子边缘检测的图像分割算法与训练好的改进YOLOv8-seg实例分割模型分别对现场收集的绝缘子红外图像进行图像分割,将两种方法所获得的分割图像进行融合,得到绝缘子融合分割图像;训练模块,用于对获取的绝缘子融合分割图像中绝缘子劣化缺陷区域进行目标检测标注并保存,将保存的文件作为劣化绝缘子目标检测数据集,通过劣化绝缘子目标检测数据集对改进YOLOv8目标检测模型进行训练;部署模块,用于将训练好的改进YOLOv8-seg实例分割模型与训练好的改进YOLOv8目标检测模型部署至无人机搭载平台中,对无人机现场采集图像进行劣化绝缘子目标检测与识别。
一种非易失性计算机存储介质,计算机存储介质存储有计算机可执行指令,该计算机可执行指令执行所述基于目标识别的无人机劣化绝缘子检测方法。
一种电子设备,包括:至少一个处理器,以及与所述至少一个处理器通信连接的存储器,其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行所述基于目标识别的无人机劣化绝缘子检测方法。
与现有的技术相比,本发明具备以下有益效果:本发明通过采用图像处理技术和算法,可以实现对瓷绝缘子的实时检测和及时报警,并提高检测的速度、准确性和可靠性,通过部署用于无人机劣化绝缘子检测的改进YOLOv8算法模型,能够很好地处理劣化绝缘子的检测,提高检测准确率,此外,本发明提出的瓷绝缘子劣化检测方法具有结构简洁、易于实现等优点,应用前景广泛。
附图说明
图1为本发明的方法流程图。
图2为本发明的改进YOLOv8算法模型结构示意图。
图3为本发明的CCBS卷积模块结构示意图。
图4为本发明的C2f-ECA模块结构示意图。
图5为本发明的ECA注意力机制结构示意图。
图6为本发明的CBS卷积模块结构示意图。
图7为本发明的SCBS卷积模块结构示意图。
图8为本发明的SPPFCSPC模块结构示意图。
图9为本发明的系统结构示意图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示,本发明提供技术方案:基于目标识别的无人机劣化绝缘子检测方法,包括如下步骤:
搭建改进YOLOv8算法模型,引入通道注意力机制,SPPFCSPC模块,位置编码卷积(CoordConv)与可切换空洞卷积(SAC)对YOLOv8算法模型进行改进;
如图2所示,改进YOLOv8算法模型由主干特征提取网络、特征融合网络和检测头三部分组成,主干特征提取网络依次由第一CCBS卷积模块、第二CCBS卷积模块、第一C2f-ECA模块、第三CCBS卷积模块、第二C2f-ECA模块、第四CCBS卷积模块、第三C2f-ECA模块、第五CCBS卷积模块、第四C2f-ECA模块构成;其中第一CCBS卷积模块、第二CCBS卷积模块、第三CCBS卷积模块、第四CCBS卷积模块和第五CCBS卷积模块如图3所示,均由位置编码卷积(CoordConv)、标准化模块(BN)和SiLU激活函数组成,对比于普通卷积,位置编码卷积(CoordConv)通过在输入特征图中新增了匹配的通道来表征特征图像素点的坐标,使得特征提取时能够有效感知坐标信息,有利于提高无人机巡检时对劣化绝缘子目标的识别与定位;
特征融合网络分为特征图尺寸增大路径和特征图尺寸减小路径,特征图尺寸增大路径依次经过上采样模块、堆叠模块、第五C2f-ECA模块、上采样模块、堆叠模块与第六C2f-ECA模块,特征图尺寸减小路径依次经过第一SCBS卷积模块、堆叠模块、第七C2f-ECA模块、第二SCBS卷积模块、堆叠模块与第八C2f-ECA模块;
如图4所示,第一C2f-ECA模块、第二C2f-ECA模块、第三C2f-ECA模块与第四C2f-ECA模块、第五C2f-ECA模块、第六C2f-ECA模块、第七C2f-ECA模块与第八C2f-ECA模块结构相同,均依次由CBS卷积模块、ECA注意力机制、分裂模块、瓶颈模块(Bottleneck)、堆叠模块、CBS卷积模块与ECA注意力机制构成,如图6所示,CBS卷积模块由普通卷积(Conv)、标准化模块(BN)和SiLU激活函数组成;
第一C2f-ECA模块、第二C2f-ECA模块、第三C2f-ECA模块与第四C2f-ECA模块均采用有残差连接的瓶颈模块(Bottleneck);其中,第一C2f-ECA模块与第四C2f-ECA模块结构相同,瓶颈模块(Bottleneck)数量为1,第二C2f-ECA模块与第三C2f-ECA模块结构相同,瓶颈模块(Bottleneck)数量为2;第五C2f-ECA模块、第六C2f-ECA模块、第七C2f-ECA模块与第八C2f-ECA模块结构相同,均采用无残差连接的瓶颈模块(Bottleneck),瓶颈模块(Bottleneck)数量为1;第一C2f-ECA模块、第二C2f-ECA模块、第三C2f-ECA模块与第四C2f-ECA模块、第五C2f-ECA模块、第六C2f-ECA模块、第七C2f-ECA模块与第八C2f-ECA模块均由C2f结构添加如图5所示的ECA注意力机制改进而来;
第一SCBS卷积模块与第二SCBS卷积模块结构相同,如图7所示,均由可切换空洞卷积(SAC)、标准化模块和SiLU激活函数组成;其中可切换空洞卷积(SAC)的作用是增加卷积神经网络的感受野从而提高网络对输入图像的理解和预测能力;
其中,将输入的绝缘子红外图像大小设置为(640×640×3),利用主干特征提取网络进行特征提取,从主干特征提取网络的第二C2f-ECA模块、第三C2f-ECA模块与第四C2f-ECA模块上分别引出第一特征层P1(80×80×64)、第二特征层P2(40×40×128)与第三特征层P3(20×20×256),输入到特征融合网络中进行特征融合后输出第十特征层P10(80×80×64)、第十三特征层P13(40×40×128)与第十六特征层P16(20×20×128);其中,输入到特征融合网络中进行特征融合的具体过程为:第三特征层P3经过如图5所示的ECA注意力机制与SPPFCSPC模块后得到第四特征层P4,ECA注意力机制是一种高效的通道注意力机制,在不改变输入特征图的大小情况下能够对输入特征图进行通道特征加强,提高模型对不同大小目标的检测效果;如图8所示,SPPFCSPC模块结合了快速空间金字塔池化(spatialpyramid pooling-fast,SPPF)结构与跨阶段部分连接(cross stage partial network,CSPC)结构,作用为提高全局感受野,提升模型有效特征提取能力,能够增强模型在复杂环境中分离出绝缘子缺陷区域的能力;第四特征层P4经过上采样模块后得到第五特征层P5,第二特征层P2经过ECA注意力机制后与第五特征层P5在堆叠模块中进行特征融合后得到第六特征层P6,第六特征层P6经过第五C2f-ECA模块后得到第七特征层P7,第七特征层P7上采样模块得到第八特征层P8,第一特征层P1经过ECA注意力机制后与第八特征层P8在堆叠模块中进行特征融合后得到第九特征层P9,第九特征层P9经过第六C2f-ECA模块后得到第十特征层P10,第十特征层P10经过第一SCBS卷积模块后得到第十一特征层P11,第七特征层P7与第十一特征层P11在堆叠模块中进行特征融合后得到第十二特征层P12,第十二特征层P12经过第七C2f-ECA模块后得到第十三特征层P13,第十三特征层P13经过第二SCBS卷积模块后得到第十四特征层P14,第十四特征层P14与第四特征层P4在堆叠模块中进行特征融合后得到第十五特征层P15,第十五特征层P15经过第八C2f-ECA模块后得到第十六特征层P16;检测头中包含分类子网络和边框回归子网络两个分支;
第十特征层P10(80×80×64)、第十三特征层P13(40×40×128)和第十六特征层P16(20×20×128)分别输入到检测头中进行劣化绝缘子目标检测,通过分类子网络和边框回归子网络对劣化绝缘子进行检测,输出劣化绝缘子预测结果,包含置信度结果与预测框中心点坐标(x,y)与宽高(w,h)信息。
对现场收集的绝缘子红外图像进行图像预处理,得到图像分割数据集;
对现场收集的绝缘子红外图像,通过翻转、旋转几何变换进行图像扩增,得到图像分割数据集,将图像分割数据集中训练集和测试集的比例设置为9:1,其中将训练集中10%的比例图划分为验证集,对翻转、旋转几何变换后的绝缘子红外图像进行直方图均衡化和自适应中值滤波器去除椒盐噪声处理,直方图均衡化作用是通过重新分布图像的像素值,使得绝缘子红外图像中的像素值范围更加均匀分布,可以增强图像的对比度,增强图像中的细节与提高图像质量,自适应中值滤波算法作用是去除绝缘子红外图像中的椒盐噪声同时保留图像的细节和边缘信息;
将图像分割数据集中的绝缘子铁帽、金具进行标注并保存,将保存后的文件作为绝缘子分割图像数据集,通过绝缘子分割图像数据集对改进YOLOv8-seg实例分割模型进行训练;
使用基于Canny算子边缘检测的图像分割算法与训练好的改进YOLOv8-seg实例分割模型分别对现场收集的绝缘子红外图像进行图像分割,将两种方法所获得的分割图像进行融合,得到绝缘子融合分割图像,其具体过程为:
使用Canny算子提取直方图均衡化与滤波去噪处理后的图像分割数据集中的绝缘子红外图像边缘轮廓,并进行自适应阈值二值化处理,再对自适应阈值二值化处理得到的二值图进行形态学处理,消除二值图中的孤立点与填充孔洞,得到第一分割图像A,其中,得到第一分割图像A的具体步骤如下:
第一,对输入图像进行平滑处理,以减少噪声的影响,用高斯函数对图像进行滤波,得到平滑图像;为原始输入图像,/>为像素横坐标,/>为像素纵坐标,高斯函数处理后的梯度为:
;
式中,为经过高斯滤波后图像的梯度,/>为图像中横向的梯度,/>为图像中纵向的梯度,/>表示灰度;
对其进行卷积运算可得:
;
;
式中,为二维高斯滤波函数,/>为标准差;
第二,对平滑后的图像进行梯度计算,以获取图像中每个像素点的边缘强度和方向;
第三,在梯度图像中,对每个像素点进行非极大值抑制,以保留具有最大梯度值的像素,同时抑制其他非极大值像素。这一步骤可以使得边缘变得更细,在垂直方向的正向上,如果这个点的梯度大于横轴方向上的像素值,将其保留,否则就抑制成0;
第四,根据大津法计算出非极大值抑制梯度图像的值,对非极大值抑制后的图像进行阈值处理,将梯度强度分为两个阈值:低阈值和高阈值,高于高阈值的像素被视为强边缘,低于低阈值的像素被排除,介于两个阈值之间的像素根据与强边缘的连通性被判断为强边缘或弱边缘,通过边缘连接来连接强边缘,形成连续的边缘线;
第五,对二值图进行形态学处理,进行腐蚀运算与膨胀运算后,得到第一分割图像A。
使用Labelme工具将直方图均衡化与滤波去噪处理后的图像分割数据集中绝缘子红外图像中的绝缘子铁帽、金具进行标注,并保存为json文件,解析json文件转换为绝缘子分割图像数据集,通过绝缘子分割图像数据集对改进YOLOv8-seg实例分割模型进行训练,利用训练好的改进YOLOv8-seg实例分割模型对绝缘子红外图像中的绝缘子铁帽、金具进行图像分割,得到第二分割图像B的步骤如下:
第一,模型训练与分割,本实施例中,对改进YOLOv8-seg实例分割模型训练时采用参数随机初始化,模型学习率为0.0001,批尺寸Batchsize为32,多线程num_workers=4,利用训练好的改进YOLOv8-seg实例分割模型对输入图像进行图像分割,并划分部件类别:本实施例中训练好可获得300个模型权重中的最优权重,通过加载最优权重的训练好的改进YOLOv8-seg实例分割模型对绝缘子红外图像的绝缘子铁帽、金具进行图像分割,得到第二分割图像B;
第二,利用Opencv工具将第一分割图像A与第二分割图像B进行图像融合,得到绝缘子融合分割图像。
将绝缘子融合分割图像中的绝缘子劣化缺陷区域进行标注并保存,将保存后的文件作为劣化绝缘子目标检测数据集,通过劣化绝缘子目标检测数据集对改进YOLOv8目标检测模型进行50个epoch的冻结和250个epoch的非冻结迁移学习;采用Mosaic马赛克数据增强方式,Mosaic马赛克数据增强概率每轮设置为50%;学习率调整采用余弦退火衰减策略,采用SGD优化器进行优化训练,训练总轮数为300轮,批量大小为32,最大学习率为 0.01,最小学习率设置为 0.0001。
加载训练300轮后的最优权值文件,置信度=0.5,非极大值抑制nms_iou=0.3,最多预测框的数量设置为100,获得最佳预测框,实现劣化绝缘子目标检测与识别;本实施例中采用1550张图像作为训练样本,实验结果显示,测试集的平均精度可达90%以上,每秒帧率可达45,验证了模型检测方法的可行性,可为变电站运维人员进行劣化绝缘子目标检测研究提供参考。
将训练好的改进YOLOv8-seg实例分割模型与训练好的改进YOLOv8目标检测模型部署至无人机搭载平台中,对无人机现场采集图像进行劣化绝缘子目标检测与识别,借助分类子网络和边框回归子网络标注出缺陷的位置,输出劣化绝缘子检测结果,其中,在拍摄过程中实时传输图像,在无人机前端实现算法分析进行辨别,实时地判别瓷绝缘子是不是劣化绝缘子,并将结果在后台进行显示。
其中,无人机搭载平台中包括:
光学成像采集模块,在电力输配电系统中用于将绝缘子进行实时图像采集,该模块通常由相机、镜头及图像采集单元组成,可以实时拍摄杆塔等电力设施中的绝缘子红外图像,并将采集的图像信息传输到后端的服务器进行图像处理和分析,根据不同的绝缘子红外图像采集需求,可选用不同类型的相机,如网络摄像机、高速摄像机、红外摄像机等,图像采集单元负责相机拍摄后图像数据的采集和处理,典型的图像采集单元有视频采集卡、嵌入式图像采集卡等,它们能够对传输的图像信号进行处理,比如帧率、分辨率、图像压缩等,以便数据的传输和保存,在绝缘子实时图像采集的操作中,光学成像采集模块通常安装在无人机上对电力设施中的绝缘子进行图像采捕,采集到的图像可以实时传输到后端服务器进行分析;
图像处理模块,对无人机采集到的绝缘子红外图像进行预处理以提高检测精度的关键模块,可以帮助用户在弱光、模糊、低亮度和对比度下获取高质量的绝缘子红外图像,预处理操作包括直方图均衡化、自适应中值滤波等操作。
目标检测模块,用于将无人机系统中将训练好的改进YOLOV8算法模型压缩至最小尺寸,以适应无人机计算资源有限的环境,进行嵌入式软件开发,以适应计算设备和操作系统的特性,经过部署后,针对不同实际场景下的劣化瓷绝缘子数据进行实时测试并通过分析和优化,在实时性和准确率上进行折衷,得到一个最优化的部署方案;
预警处理模块,用于检测到劣化绝缘子时,将根据预设的报警规则生成相应的报警信息,并将报警信息发送到管理中心或巡检工作站,实现实时报警,报警信息以文本或图像的方式呈现,包括位置、时间、检测类别和报警等级等信息,以便于地面工作人员及时处理问题。
如图9所示,基于目标识别的无人机劣化绝缘子检测系统,包括:搭建模块,用于搭建改进YOLOv8算法模型,引入通道注意力机制,SPPFCSPC模块,位置编码卷积与可切换空洞卷积对YOLOv8算法模型进行改进;改进YOLOv8算法模型包含图像分割与目标检测功能,将改进YOLOv8算法模型的任务类型切换为分割时,得到改进YOLOv8-seg实例分割模型,将改进YOLOv8算法模型的任务类型切换为检测时,得到改进YOLOv8目标检测模型;所述改进YOLOv8算法模型由主干特征提取网络、特征融合网络和检测头三部分组成,主干特征提取网络依次由第一CCBS卷积模块、第二CCBS卷积模块、第一C2f-ECA模块、第三CCBS卷积模块、第二C2f-ECA模块、第四CCBS卷积模块、第三C2f-ECA模块、第五CCBS卷积模块、第四C2f-ECA模块构成;特征融合网络分为特征图尺寸增大路径和特征图尺寸减小路径,特征图尺寸增大路径依次经过上采样模块、堆叠模块、第五C2f-ECA模块、上采样模块、堆叠模块与第六C2f-ECA模块,特征图尺寸减小路径依次经过第一SCBS卷积模块、堆叠模块、第七C2f-ECA模块、第二SCBS卷积模块、堆叠模块与第八C2f-ECA模块;融合分割模块,用于对现场收集的绝缘子红外图像进行图像预处理,得到图像分割数据集,将图像分割数据集中的绝缘子铁帽、金具区域进行图像分割标注并保存,将保存后的文件作为绝缘子分割图像数据集,通过绝缘子分割图像数据集对改进YOLOv8-seg实例分割模型进行训练;使用基于Canny算子边缘检测的图像分割算法与训练好的改进YOLOv8-seg实例分割模型分别对现场收集的绝缘子红外图像进行图像分割,将两种方法所获得的分割图像进行融合,得到绝缘子融合分割图像;训练模块,用于对获取的绝缘子融合分割图像中绝缘子劣化缺陷区域进行目标检测标注并保存,将保存的文件作为劣化绝缘子目标检测数据集,通过劣化绝缘子目标检测数据集对改进YOLOv8目标检测模型进行训练;部署模块,用于将训练好的改进YOLOv8-seg实例分割模型与训练好的改进YOLOv8目标检测模型部署至无人机搭载平台中,对无人机现场采集图像进行劣化绝缘子目标检测与识别。
本实施例还提供了一种非易失性计算机存储介质,计算机存储介质存储有计算机可执行指令,该计算机可执行指令执行所述基于目标识别的无人机劣化绝缘子检测方法。
本实施例还提供了一种电子设备,包括:至少一个处理器,以及与所述至少一个处理器通信连接的存储器,其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行所述基于目标识别的无人机劣化绝缘子检测方法。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (7)
1.基于目标识别的无人机劣化绝缘子检测方法,其特征在于,包括以下步骤:
S1:搭建改进YOLOv8算法模型,引入通道注意力机制,SPPFCSPC模块,位置编码卷积与可切换空洞卷积对YOLOv8算法模型进行改进;改进YOLOv8算法模型包含图像分割与目标检测功能,将改进YOLOv8算法模型的任务类型切换为分割时,得到改进YOLOv8-seg实例分割模型,将改进YOLOv8算法模型的任务类型切换为检测时,得到改进YOLOv8目标检测模型;
所述改进YOLOv8算法模型由主干特征提取网络、特征融合网络和检测头三部分组成,主干特征提取网络依次由第一CCBS卷积模块、第二CCBS卷积模块、第一C2f-ECA模块、第三CCBS卷积模块、第二C2f-ECA模块、第四CCBS卷积模块、第三C2f-ECA模块、第五CCBS卷积模块、第四C2f-ECA模块构成;特征融合网络分为特征图尺寸增大路径和特征图尺寸减小路径,特征图尺寸增大路径依次经过上采样模块、堆叠模块、第五C2f-ECA模块、上采样模块、堆叠模块与第六C2f-ECA模块,特征图尺寸减小路径依次经过第一SCBS卷积模块、堆叠模块、第七C2f-ECA模块、第二SCBS卷积模块、堆叠模块与第八C2f-ECA模块;从主干特征提取网络中引出的第一特征层、第二特征层与第三特征层,输入到特征融合网络中进行特征融合的具体过程为:第三特征层经过ECA注意力机制与SPPFCSPC模块后得到第四特征层,第四特征层经过上采样模块后得到第五特征层,第二特征层经过ECA注意力机制后与第五特征层在堆叠模块中进行特征融合后得到第六特征层,第六特征层经过第五C2f-ECA模块后得到第七特征层,第七特征层上采样模块得到第八特征层,第一特征层经过ECA注意力机制后与第八特征层在堆叠模块中进行特征融合后得到第九特征层,第九特征层经过第六C2f-ECA模块后得到第十特征层,第十特征层经过第一SCBS卷积模块后得到第十一特征层,第七特征层与第十一特征层在堆叠模块中进行特征融合后得到第十二特征层,第十二特征层经过第七C2f-ECA模块后得到第十三特征层,第十三特征层经过第二SCBS卷积模块后得到第十四特征层,第十四特征层与第四特征层在堆叠模块中进行特征融合后得到第十五特征层,第十五特征层经过第八C2f-ECA模块后得到第十六特征层;第一CCBS卷积模块、第二CCBS卷积模块、第三CCBS卷积模块、第四CCBS卷积模块和第五CCBS卷积模块结构相同,均由位置编码卷积、标准化模块和SiLU激活函数组成;第一SCBS卷积模块与第二SCBS卷积模块结构相同,均由可切换空洞卷积、标准化模块和SiLU激活函数组成;第一C2f-ECA模块、第二C2f-ECA模块、第三C2f-ECA模块与第四C2f-ECA模块、第五C2f-ECA模块、第六C2f-ECA模块、第七C2f-ECA模块与第八C2f-ECA模块均由C2f结构添加ECA注意力机制改进而来;
S2:对现场收集的绝缘子红外图像进行图像预处理,得到图像分割数据集,将图像分割数据集中的绝缘子铁帽、金具区域进行图像分割标注并保存,将保存后的文件作为绝缘子分割图像数据集,通过绝缘子分割图像数据集对改进YOLOv8-seg实例分割模型进行训练;使用基于Canny算子边缘检测的图像分割算法与训练好的改进YOLOv8-seg实例分割模型分别对现场收集的绝缘子红外图像进行图像分割,将两种方法所获得的分割图像进行融合,得到绝缘子融合分割图像;
S3:对步骤S2中获取的绝缘子融合分割图像中绝缘子劣化缺陷区域进行目标检测标注并保存,将保存的文件作为劣化绝缘子目标检测数据集,通过劣化绝缘子目标检测数据集对改进YOLOv8目标检测模型进行训练;
S4:将训练好的改进YOLOv8-seg实例分割模型与训练好的改进YOLOv8目标检测模型部署至无人机搭载平台中,对无人机现场采集图像进行劣化绝缘子目标检测与识别。
2.根据权利要求1所述的基于目标识别的无人机劣化绝缘子检测方法,其特征在于:主干特征提取网络中的第一C2f-ECA模块、第二C2f-ECA模块、第三C2f-ECA模块与第四C2f-ECA模块均采用有残差连接的瓶颈模块,其中第一C2f-ECA模块与第四C2f-ECA模块结构相同,瓶颈模块数量为1,第二C2f-ECA模块与第三C2f-ECA模块结构相同,瓶颈模块数量为2;特征融合网络中的第五C2f-ECA模块、第六C2f-ECA模块、第七C2f-ECA模块与第八C2f-ECA模块结构相同,均采用无残差连接的瓶颈模块,瓶颈模块数量为1。
3.根据权利要求2所述的基于目标识别的无人机劣化绝缘子检测方法,其特征在于:从主干特征提取网络的第二C2f-ECA模块、第三C2f-ECA模块与第四C2f-ECA模块上分别引出第一特征层、第二特征层与第三特征层,输入到特征融合网络中进行特征融合后得到第十特征层、第十三特征层和第十六特征层,将第十特征层、第十三特征层和第十六特征层分别输入到检测头中进行检测识别。
4.根据权利要求1所述的基于目标识别的无人机劣化绝缘子检测方法,其特征在于:所述图像预处理是指通过翻转、旋转几何变换进行绝缘子红外图像扩增;对扩增后的绝缘子红外图像进行直方图均衡化和自适应中值滤波器去除椒盐噪声处理。
5.基于目标识别的无人机劣化绝缘子检测系统,其特征在于:包括:搭建模块,用于搭建改进YOLOv8算法模型,引入通道注意力机制,SPPFCSPC模块,位置编码卷积与可切换空洞卷积对YOLOv8算法模型进行改进;改进YOLOv8算法模型包含图像分割与目标检测功能,将改进YOLOv8算法模型的任务类型切换为分割时,得到改进YOLOv8-seg实例分割模型,将改进YOLOv8算法模型的任务类型切换为检测时,得到改进YOLOv8目标检测模型;所述改进YOLOv8算法模型由主干特征提取网络、特征融合网络和检测头三部分组成,主干特征提取网络依次由第一CCBS卷积模块、第二CCBS卷积模块、第一C2f-ECA模块、第三CCBS卷积模块、第二C2f-ECA模块、第四CCBS卷积模块、第三C2f-ECA模块、第五CCBS卷积模块、第四C2f-ECA模块构成;特征融合网络分为特征图尺寸增大路径和特征图尺寸减小路径,特征图尺寸增大路径依次经过上采样模块、堆叠模块、第五C2f-ECA模块、上采样模块、堆叠模块与第六C2f-ECA模块,特征图尺寸减小路径依次经过第一SCBS卷积模块、堆叠模块、第七C2f-ECA模块、第二SCBS卷积模块、堆叠模块与第八C2f-ECA模块;从主干特征提取网络中引出的第一特征层、第二特征层与第三特征层,输入到特征融合网络中进行特征融合的具体过程为:第三特征层经过ECA注意力机制与SPPFCSPC模块后得到第四特征层,第四特征层经过上采样模块后得到第五特征层,第二特征层经过ECA注意力机制后与第五特征层在堆叠模块中进行特征融合后得到第六特征层,第六特征层经过第五C2f-ECA模块后得到第七特征层,第七特征层上采样模块得到第八特征层,第一特征层经过ECA注意力机制后与第八特征层在堆叠模块中进行特征融合后得到第九特征层,第九特征层经过第六C2f-ECA模块后得到第十特征层,第十特征层经过第一SCBS卷积模块后得到第十一特征层,第七特征层与第十一特征层在堆叠模块中进行特征融合后得到第十二特征层,第十二特征层经过第七C2f-ECA模块后得到第十三特征层,第十三特征层经过第二SCBS卷积模块后得到第十四特征层,第十四特征层与第四特征层在堆叠模块中进行特征融合后得到第十五特征层,第十五特征层经过第八C2f-ECA模块后得到第十六特征层;第一CCBS卷积模块、第二CCBS卷积模块、第三CCBS卷积模块、第四CCBS卷积模块和第五CCBS卷积模块结构相同,均由位置编码卷积、标准化模块和SiLU激活函数组成;第一SCBS卷积模块与第二SCBS卷积模块结构相同,均由可切换空洞卷积、标准化模块和SiLU激活函数组成;第一C2f-ECA模块、第二C2f-ECA模块、第三C2f-ECA模块与第四C2f-ECA模块、第五C2f-ECA模块、第六C2f-ECA模块、第七C2f-ECA模块与第八C2f-ECA模块均由C2f结构添加ECA注意力机制改进而来;融合分割模块,用于对现场收集的绝缘子红外图像进行图像预处理,得到图像分割数据集,将图像分割数据集中的绝缘子铁帽、金具区域进行图像分割标注并保存,将保存后的文件作为绝缘子分割图像数据集,通过绝缘子分割图像数据集对改进YOLOv8-seg实例分割模型进行训练;使用基于Canny算子边缘检测的图像分割算法与训练好的改进YOLOv8-seg实例分割模型分别对现场收集的绝缘子红外图像进行图像分割,将两种方法所获得的分割图像进行融合,得到绝缘子融合分割图像;训练模块,用于对获取的绝缘子融合分割图像中绝缘子劣化缺陷区域进行目标检测标注并保存,将保存的文件作为劣化绝缘子目标检测数据集,通过劣化绝缘子目标检测数据集对改进YOLOv8目标检测模型进行训练;部署模块,用于将训练好的改进YOLOv8-seg实例分割模型与训练好的改进YOLOv8目标检测模型部署至无人机搭载平台中,对无人机现场采集图像进行劣化绝缘子目标检测与识别。
6.一种非易失性计算机存储介质,计算机存储介质存储有计算机可执行指令,其特征在于,该计算机可执行指令执行权利要求1-4中任意一项所述基于目标识别的无人机劣化绝缘子检测方法。
7.一种电子设备,包括:至少一个处理器,以及与所述至少一个处理器通信连接的存储器,其中,所述存储器存储有可被所述至少一个处理器执行的指令,其特征在于,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行权利要求1-4中任意一项所述基于目标识别的无人机劣化绝缘子检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310920093.9A CN116665080B (zh) | 2023-07-26 | 2023-07-26 | 基于目标识别的无人机劣化绝缘子检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310920093.9A CN116665080B (zh) | 2023-07-26 | 2023-07-26 | 基于目标识别的无人机劣化绝缘子检测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116665080A CN116665080A (zh) | 2023-08-29 |
CN116665080B true CN116665080B (zh) | 2023-11-07 |
Family
ID=87724436
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310920093.9A Active CN116665080B (zh) | 2023-07-26 | 2023-07-26 | 基于目标识别的无人机劣化绝缘子检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116665080B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117557922B (zh) * | 2023-10-19 | 2024-06-11 | 河北翔拓航空科技有限公司 | 改进YOLOv8的无人机航拍目标检测方法 |
CN117670882B (zh) * | 2024-01-31 | 2024-06-04 | 国网江西省电力有限公司电力科学研究院 | 一种瓷绝缘子串无人机红外自动对焦方法及系统 |
CN118096758A (zh) * | 2024-04-26 | 2024-05-28 | 天津市恒一机电科技有限公司 | 芳纶输送带的无损检测方法、系统及相关设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114240878A (zh) * | 2021-12-16 | 2022-03-25 | 国网河南省电力公司电力科学研究院 | 面向巡检场景的绝缘子缺陷检测神经网络构建与优化方法 |
CN114283117A (zh) * | 2021-11-24 | 2022-04-05 | 广西大学 | 一种基于改进YOLOv3卷积神经网络的绝缘子缺陷检测方法 |
CN114372922A (zh) * | 2021-11-24 | 2022-04-19 | 普宙科技(深圳)有限公司 | 夜间环境下基于无人机巡检的绝缘子红外缺陷诊断方法 |
CN115588021A (zh) * | 2022-11-04 | 2023-01-10 | 国网湖北省电力有限公司荆州供电公司 | 一种瓷绝缘子及金具无人机红外巡检图像融合分割方法 |
CN116189099A (zh) * | 2023-04-25 | 2023-05-30 | 南京华苏科技有限公司 | 基于改进yolov8的暴露垃圾检测及堆放监控的方法 |
DE202023103167U1 (de) * | 2023-06-08 | 2023-06-19 | Nasib Singh Gill | Ein System zur Echtzeit-Erkennung von Müll unter Wasser mit Hilfe des fein abgestimmten YOLOv8 |
CN116468730A (zh) * | 2023-06-20 | 2023-07-21 | 齐鲁工业大学(山东省科学院) | 基于YOLOv5算法的航拍绝缘子图像缺陷检测方法 |
-
2023
- 2023-07-26 CN CN202310920093.9A patent/CN116665080B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114283117A (zh) * | 2021-11-24 | 2022-04-05 | 广西大学 | 一种基于改进YOLOv3卷积神经网络的绝缘子缺陷检测方法 |
CN114372922A (zh) * | 2021-11-24 | 2022-04-19 | 普宙科技(深圳)有限公司 | 夜间环境下基于无人机巡检的绝缘子红外缺陷诊断方法 |
CN114240878A (zh) * | 2021-12-16 | 2022-03-25 | 国网河南省电力公司电力科学研究院 | 面向巡检场景的绝缘子缺陷检测神经网络构建与优化方法 |
CN115588021A (zh) * | 2022-11-04 | 2023-01-10 | 国网湖北省电力有限公司荆州供电公司 | 一种瓷绝缘子及金具无人机红外巡检图像融合分割方法 |
CN116189099A (zh) * | 2023-04-25 | 2023-05-30 | 南京华苏科技有限公司 | 基于改进yolov8的暴露垃圾检测及堆放监控的方法 |
DE202023103167U1 (de) * | 2023-06-08 | 2023-06-19 | Nasib Singh Gill | Ein System zur Echtzeit-Erkennung von Müll unter Wasser mit Hilfe des fein abgestimmten YOLOv8 |
CN116468730A (zh) * | 2023-06-20 | 2023-07-21 | 齐鲁工业大学(山东省科学院) | 基于YOLOv5算法的航拍绝缘子图像缺陷检测方法 |
Non-Patent Citations (4)
Title |
---|
Fatma Mazen Ali Mazen,et al.Deep Learning for Automatic Defect Detection in PV Modules Using Electroluminescence Images.《IEEE Access》.2023,第57783-57795页. * |
Shuang Xie,et al.Tea-YOLOV8s:A tea bud detection model based on deep learning and computer vision.《sensors》.2023,第1-24页. * |
Tao Gao,et al.A Task-Balanced Multiscale Adaptive Fusion Network for Object Detection in Remote Sensing Images.《IEEE Transactions on Geoscience and Remote Sensing》.2023,第1-15页. * |
基于YOLOV5的无人机航拍输电线路绝缘子多缺陷检测;蒋寰游;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;第2022年卷(第03期);C031-2 * |
Also Published As
Publication number | Publication date |
---|---|
CN116665080A (zh) | 2023-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116665080B (zh) | 基于目标识别的无人机劣化绝缘子检测方法及系统 | |
CN107704844B (zh) | 基于无人机双目视差图像的输电线路覆冰厚度辨识方法 | |
CN109472200B (zh) | 一种智能的海面垃圾检测方法、系统和存储介质 | |
JP5551595B2 (ja) | 滑走路監視システムおよび方法 | |
CN111046880A (zh) | 一种红外目标图像分割方法、系统、电子设备及存储介质 | |
CN108010242B (zh) | 一种基于视频识别的安防报警方法、系统及存储介质 | |
CN109949209B (zh) | 一种基于深度学习的绳索检测与去除方法 | |
CN108198417A (zh) | 一种基于无人机的道路巡检系统 | |
CN113177947B (zh) | 基于多模块卷积神经网络的复杂环境目标分割方法及装置 | |
CN115797314B (zh) | 零件表面缺陷检测方法、系统、设备及存储介质 | |
CN102663385A (zh) | 一种星上点目标检测方法 | |
CN115222697A (zh) | 基于机器视觉和深度学习的集装箱残损检测方法 | |
CN112288682A (zh) | 基于图像配准的电力设备缺陷定位方法 | |
CN115841633A (zh) | 一种电力塔和电力线关联矫正的电力塔和电力线检测方法 | |
CN117409083B (zh) | 一种基于红外图像和改进yolov5的电缆终端识别方法及装置 | |
CN111027564A (zh) | 基于深度学习一体化的低照度成像车牌识别方法及装置 | |
CN108520255B (zh) | 一种红外弱小目标检测方法及装置 | |
CN113963314A (zh) | 降雨量监测方法、装置、计算机设备及存储介质 | |
CN112585655A (zh) | 基于5g的无人驾驶电子交警执勤系统 | |
CN116758425A (zh) | 一种大基地光伏电站自动验收方法和装置 | |
CN115272284A (zh) | 基于图像质量评估的输电线路缺陷识别方法 | |
CN116452976A (zh) | 一种煤矿井下安全检测方法 | |
CN113033355B (zh) | 一种基于密集输电通道的异常目标识别方法和装置 | |
CN109886133B (zh) | 一种基于光学遥感图像的船只检测方法及系统 | |
CN109325441B (zh) | 一种输电线路绝缘子对象识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |