CN116503399A - 基于yolo-afps的绝缘子污闪检测方法 - Google Patents
基于yolo-afps的绝缘子污闪检测方法 Download PDFInfo
- Publication number
- CN116503399A CN116503399A CN202310753564.1A CN202310753564A CN116503399A CN 116503399 A CN116503399 A CN 116503399A CN 202310753564 A CN202310753564 A CN 202310753564A CN 116503399 A CN116503399 A CN 116503399A
- Authority
- CN
- China
- Prior art keywords
- pollution flashover
- feature
- insulator
- detection
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000012212 insulator Substances 0.000 title claims abstract description 401
- 238000001514 detection method Methods 0.000 title claims abstract description 342
- 239000002245 particle Substances 0.000 claims abstract description 219
- 238000005457 optimization Methods 0.000 claims abstract description 143
- 238000005728 strengthening Methods 0.000 claims abstract description 134
- 230000004927 fusion Effects 0.000 claims abstract description 81
- 238000000034 method Methods 0.000 claims abstract description 71
- 238000000605 extraction Methods 0.000 claims abstract description 51
- 239000013598 vector Substances 0.000 claims description 251
- 238000012545 processing Methods 0.000 claims description 152
- 238000012549 training Methods 0.000 claims description 88
- 238000004364 calculation method Methods 0.000 claims description 77
- 230000009466 transformation Effects 0.000 claims description 61
- 230000006870 function Effects 0.000 claims description 60
- 230000003044 adaptive effect Effects 0.000 claims description 50
- 239000004973 liquid crystal related substance Substances 0.000 claims description 48
- 238000010586 diagram Methods 0.000 claims description 41
- 238000012360 testing method Methods 0.000 claims description 36
- 238000012937 correction Methods 0.000 claims description 35
- 238000012795 verification Methods 0.000 claims description 35
- 238000011176 pooling Methods 0.000 claims description 32
- 230000002787 reinforcement Effects 0.000 claims description 30
- 238000009826 distribution Methods 0.000 claims description 18
- 238000010606 normalization Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 230000015654 memory Effects 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 8
- 238000011156 evaluation Methods 0.000 claims description 7
- 238000011109 contamination Methods 0.000 claims description 5
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 238000003064 k means clustering Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 5
- 244000300477 Gardenia carinata Species 0.000 claims description 4
- 230000006978 adaptation Effects 0.000 claims description 4
- BSJGASKRWFKGMV-UHFFFAOYSA-L ammonia dichloroplatinum(2+) Chemical compound N.N.Cl[Pt+2]Cl BSJGASKRWFKGMV-UHFFFAOYSA-L 0.000 claims description 4
- 230000003190 augmentative effect Effects 0.000 claims description 4
- 238000010008 shearing Methods 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000007689 inspection Methods 0.000 description 11
- 230000007246 mechanism Effects 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 230000002265 prevention Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000003344 environmental pollutant Substances 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 231100000719 pollutant Toxicity 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010292 electrical insulation Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000003608 fece Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009413 insulation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010030 laminating Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
- G01R31/12—Testing dielectric strength or breakdown voltage ; Testing or monitoring effectiveness or level of insulation, e.g. of a cable or of an apparatus, for example using partial discharge measurements; Electrostatic testing
- G01R31/1218—Testing dielectric strength or breakdown voltage ; Testing or monitoring effectiveness or level of insulation, e.g. of a cable or of an apparatus, for example using partial discharge measurements; Electrostatic testing using optical methods; using charged particle, e.g. electron, beams or X-rays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T5/94—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Abstract
本发明公开了一种基于YOLO‑AFPS的绝缘子污闪检测方法,用于解决现有的绝缘子污闪检测方法中存在的检测准确率以及效率低下的技术问题。所述方法包括:获取需要进行检测的绝缘子污闪图像,对其进行特征提取强化处理后输出多个层次的污闪特征,对各个层次的污闪特征进行粒子群特征融合优化处理,输出对应的强化特征,接着对各个层次的强化特征分别进行自适应解码预测处理,输出各自对应的自适应解耦检测头,并基于各个自适应解耦检测头对绝缘子污闪图像进行污闪检测,确定绝缘子污闪位置,从而实现快速且准确地检测出绝缘子污闪位置,大大提高检测效率以及准确度。
Description
技术领域
本发明涉及绝缘子故障检测技术领域,尤其涉及一种基于YOLO-AFPS的绝缘子污闪检测方法、一种基于YOLO-AFPS的绝缘子污闪检测装置、一种电子设备及一种存储介质。
背景技术
随着社会经济的高速发展,人们对于电力的需求也不断增加,从而使得对电力系统进行电网维护以及检修时所面临的挑战也越来越大,对于电力系统而言,绝缘子是不可或缺的重要组成成分,用于支撑与固定输电线路以及设备,同时可以起到隔离与保护作用,为电力系统提供了电气绝缘以及机械支撑,是高压输配电线路的关键部件。然而,在实际环境中,由于大气条件、机械应力等多种因素的影响,绝缘子常常会出现自爆、破损、污闪等缺陷,其中,绝缘子长期暴露在自然环境中,受到各种污染物的侵蚀,长此以往,导致绝缘子表面出现闪络现象更为突出,目前较为常见的是由于污染闪络引起的绝缘体损坏以及表面缺陷,而表面缺陷主要是由污染物形成的导电膜和局部放电所引起的。当发生绝缘子污闪事件时,如果不对其进行及时处理,容易引起区域同时多点跳闸,甚至造成区域大面积停电的事故。因此,对绝缘子进行污闪检测是非常必要的一项工作,通过污闪检测,可以及时发现与处理绝缘子表面的污染问题,保证绝缘子的正常运行以及安全可靠性,同时,污闪检测也可以为绝缘子的维护与管理提供重要的依据以及参考,提高电力系统的运行效率以及稳定性。
目前绝缘子污闪检测主要依赖于人工进行巡检,而在进行人工巡检时,容易出现误检漏检的情况,导致检测准确率以及效率低下,实际预防工作仍存在不足,未能有效抑制绝缘子故障上升的趋势。
发明内容
本发明提供了一种基于YOLO-AFPS的绝缘子污闪检测方法、一种基于YOLO-AFPS的绝缘子污闪检测装置、一种电子设备及一种存储介质,用于解决或部分解决现有的绝缘子污闪检测方法中存在的检测准确率以及效率低下的技术问题。
本发明提供的一种基于YOLO-AFPS的绝缘子污闪检测方法,所述方法包括:
获取需要进行检测的绝缘子污闪图像,并将所述绝缘子污闪图像输入至绝缘子污闪检测系统,所述绝缘子污闪检测系统包括特征提取模块、特征融合优化模块以及自适应检测模块;
通过所述特征提取模块对所述绝缘子污闪图像进行特征提取强化处理,输出浅层污闪特征、中层污闪特征以及深层污闪特征;
将所述浅层污闪特征、所述中层污闪特征以及所述深层污闪特征输入至所述特征融合优化模块进行粒子群特征融合优化处理,输出浅层强化特征、中层强化特征以及深层强化特征;
将所述浅层强化特征、所述中层强化特征以及所述深层强化特征输入至所述自适应检测模块分别进行自适应解码预测处理,输出各自对应的自适应解耦检测头;
采用各个所述自适应解耦检测头对所述绝缘子污闪图像进行污闪检测,确定绝缘子污闪位置。
可选地,所述通过所述特征提取模块对所述绝缘子污闪图像进行特征提取强化处理,输出浅层污闪特征、中层污闪特征以及深层污闪特征,包括:
将所述绝缘子污闪图像输入所述特征提取模块进行连续两次标准卷积处理,获得压缩特征图,接着对所述压缩特征图先进行多模态特征强化处理,再进行最大值池化处理,接着再进行多模态特征强化处理,输出浅层污闪特征;
对所述浅层污闪特征先进行最大值池化处理,再进行多模态特征强化处理,输出中层污闪特征;
对所述中层污闪特征进行最大值池化处理,输出深层污闪特征。
可选地,所述将所述浅层污闪特征、所述中层污闪特征以及所述深层污闪特征输入至所述特征融合优化模块进行粒子群特征融合优化处理,输出浅层强化特征、中层强化特征以及深层强化特征,包括:
对所述深层污闪特征进行空间金字塔池化处理,获得增强空间特征图,接着对所述增强空间特征图先进行标准卷积处理,再进行粒子群特征优化处理,获得第一融合优化特征图;
对所述中层污闪特征进行标准卷积处理后,与所述第一融合优化特征图进行特征堆叠,获得第一堆叠特征图,对所述第一堆叠特征图进行多模态特征强化处理,输出强化堆叠特征图;
对所述强化堆叠特征图先进行标准卷积处理,再进行粒子群特征优化处理,获得第二融合优化特征图;
对所述浅层污闪特征进行标准卷积处理后,与所述第二融合优化特征图进行特征堆叠,获得第二堆叠特征图,对所述第二堆叠特征图进行多模态特征强化处理,输出浅层强化特征;
对所述浅层强化特征进行下采样处理后,与所述强化堆叠特征图进行特征堆叠,获得第三堆叠特征图,对所述第三堆叠特征图进行多模态特征强化处理,输出中层强化特征;
对所述中层强化特征进行下采样处理后,与所述增强空间特征图进行特征堆叠,获得第四堆叠特征图,对所述第四堆叠特征图进行多模态特征强化处理,输出深层强化特征。
可选地,所述特征融合优化模块中包括粒子群特征优化子模块,所述粒子群特征优化处理的步骤,包括:
将需要进行粒子群特征优化处理的原始输入特征图输入至所述粒子群特征优化子模块,对所述原始输入特征图进行粒子群优化计算,获得最优输出特征向量;
对所述最优输出特征向量进行线性变换,获得对应的变换输出特征向量;
将所述变换输出特征向量分别输入至三个全连接层并分别进行点积运算,再进行归一化处理,获得每一所述变换输出特征向量对应的输出权重;
基于每一所述输出权重以及每一所述输出权重对应的变换输出特征向量进行加权求和,获得所述粒子群特征优化子模块输出的与所述最优输出特征向量对应的最终输出特征向量。
可选地,所述对所述原始输入特征图进行粒子群优化计算,获得最优输出特征向量,包括:
对所述原始输入特征图进行权重向量分解,获得多个权重向量;
采用正态分布随机初始化一个粒子群,并确定所述粒子群中每个粒子的粒子位置以及粒子速度,所述粒子位置表示当前的权重向量,所述粒子速度表示搜索方向与速率;
构建粒子群优化算法,采用实数编码方式设定一个权重向量对应一个粒子,并确定每个权重向量的大小;
将每一所述粒子对应的权重向量作为间接输入,基于最小损失函数计算适应度函数,所述适应度函数用于反映各个所述权重向量的性能;
获取每一所述粒子的历史最优位置,并采用所述历史最优位置与预设惯性权重进行全局最优计算,并基于计算结果对每一所述粒子的粒子位置以及粒子速度进行迭代更新;
基于迭代更新后的粒子所对应的权重向量再次计算适应度函数,当适应度函数结果表征权重向量的性能达到最优时,输出对应的全局最优位置,并结束对各个粒子的迭代更新;
输出所述全局最优位置对应的权重向量作为最优输出特征向量。
可选地,所述将每一所述粒子对应的权重向量作为间接输入,基于最小损失函数计算适应度函数,包括:
将每一所述粒子对应的权重向量作为间接输入,基于最小损失函数计算目标函数值,并将所述目标函数值作为适应度函数,计算公式如下:
;
其中,Loss为适应度函数,N为目标分类数,y t 为目标分类数为t时的真实标签,p为目标分类数为t时的预测值,log(*)为对数函数。
可选地,所述采用所述历史最优位置与预设惯性权重进行全局最优计算,包括:
根据所述历史最优位置与预设惯性权重,采用下列计算公式进行全局最优计算:
;
;
;
其中,ω为惯性因子,即预设惯性权重,n为当前迭代次数,c 1与c 2均为学习因子,rand(*)为0-1之间的随机数,pbest n 与gbest n 为粒子跟踪过程中的极值,v n-1为粒子上一次迭代的粒子速度,x n-1为粒子上一次迭代的粒子位置,即粒子的历史最优位置,x n 为粒子的当前粒子位置,即权重向量,v n 为粒子的当前速度,即搜索方向与速率,G k 为最大迭代次数,g为当前迭代次数,ω ini 为初始惯性权重值,ω end 为迭代至最大次数时的惯性权重值。
可选地,所述对所述最优输出特征向量进行线性变换,获得对应的变换输出特征向量,包括:
通过下列公式对所述最优输出特征向量进行线性变换,获得对应的变换输出特征向量:
;
其中,x为最优输出特征向量,h为进行线性变换后获得的变换输出特征向量,W与b均为可学习参数。
可选地,所述将所述变换输出特征向量分别输入至三个全连接层并分别进行点积运算,再进行归一化处理,获得每一所述变换输出特征向量对应的输出权重,包括:
将所述变换输出特征向量分别输入至三个全连接层,对于每一个全连接层,提取所述变换输出特征向量在第一位置上的所有第一位置向量,以及在第二位置上的所有第二位置向量,并采用每一所述第一位置向量分别与每一所述第二位置向量进行点积运算,获得点积权值,计算公式如下:
;
其中,a ij 为点积权值,h i 为第一位置i对应的第一位置向量,h j 为第二位置j对应的第二位置向量;
对所述点积权值进行归一化处理,获得注意力权重系数,并将所述注意力权重系数作为所述变换输出特征向量对应的输出权重,计算公式如下:
;
其中,S ij 为注意力权重系数,a kj 为位置k处的特征向量与位置j处特征向量的相似度权值,exp(*)为以自然常数e为底的指数函数。
可选地,所述基于每一所述输出权重以及每一所述输出权重对应的变换输出特征向量进行加权求和,获得所述粒子群特征优化子模块输出的与所述最优输出特征向量对应的最终输出特征向量,包括:
采用每一所述输出权重,对每一所述输出权重对应的第二位置上的所有第二位置向量进行加权求和,获得对应的最终输出特征向量,计算公式如下:
;
其中,c i 为最终输出特征向量。
可选地,所述自适应检测模块中包括自适应解码预测子模块,所述自适应解码预测处理的步骤,包括:
将需要进行解码处理的目标强化特征输入至所述自适应解码预测子模块,并对所述目标强化特征进行1×1卷积计算,获得目标降维强化特征,所述目标降维强化特征包括污闪目标分类特征以及污闪定位任务特征;
对所述污闪目标分类特征以及所述污闪定位任务特征先分别进行连续两次的3×3卷积计算,再分别进行1×1卷积计算,输出所述污闪目标分类特征对应的检测目标类别向量,所述污闪定位任务特征对应的检测框坐标向量以及检测框置信度向量;
将所述检测目标类别向量、所述检测框坐标向量以及所述检测框置信度向量进行特征融合,输出所述目标强化特征对应的自适应解耦检测头。
可选地,所述方法还包括:
搭建绝缘子污闪检测系统,并在所述绝缘子污闪检测系统中设置特征提取模块、特征融合优化模块与自适应检测模块,以构建绝缘子污闪检测模型;
获取经过自适应局部数据增强处理的绝缘子污闪图像数据集,并采用所述绝缘子污闪图像数据集对所述绝缘子污闪检测模型进行模型训练以及图像检测测试;
根据图像检测测试结果计算污闪检测数据,依据所述污闪检测数据对所述绝缘子污闪检测模型进行模型评价。
可选地,所述采用所述绝缘子污闪图像数据集对所述绝缘子污闪检测模型进行模型训练以及图像检测测试,包括:
将所述绝缘子污闪图像数据集按预设比例划分为污闪训练集、污闪验证集以及污闪测试集,并对所述污闪训练集以及所述污闪验证集中的绝缘子污闪图像进行归一化输入图像处理,获得所述污闪训练集对应的校正训练集,以及所述污闪验证集对应的校正验证集;
通过所述校正训练集以及所述校正验证集对所述绝缘子污闪检测模型进行训练与验证,并将所述污闪测试集输入至训练后的绝缘子污闪检测模型进行图像检测测试。
可选地,所述通过所述校正训练集以及所述校正验证集对所述绝缘子污闪检测模型进行训练与验证,包括:
采用K均值聚类算法对所述校正训练集进行聚类计算,确定先验框尺寸,所述先验框尺寸分别对应浅、中、深三个尺度,所述先验框尺寸用于在模型训练时辅助模型进行目标定位;
采用预设图像数据集对所述绝缘子污闪检测模型进行预训练处理,获得污闪检测预训练模型;
基于所述先验框尺寸以及所述污闪检测预训练模型的权重,采用所述校正训练集以及所述校正验证集先对所述绝缘子污闪检测模型的特征融合优化模块以及自适应检测模块进行局部模型训练与验证,再对所述绝缘子污闪检测模型进行整体模型训练与验证。
可选地,在所述获取经过自适应局部数据增强处理的绝缘子污闪图像数据集之前,所述方法还包括:
获取绝缘子的巡检记录图像样本集,从所述巡检记录图像样本集中筛选出多张绝缘子污闪图像样本,并对所述多张绝缘子污闪图像样本进行污闪标记处理,生成对应的绝缘子污闪标签文件集;
采用所述多张绝缘子污闪图像样本进行自适应局部数据增强处理,获得多张增广绝缘子污闪图像,并对所述多张增广绝缘子污闪图像进行标签创建操作,生成对应的污闪图像变换标签文件集;
将所述多张绝缘子污闪图像样本、所述绝缘子污闪标签文件集、所述多张增广绝缘子污闪图像以及所述污闪图像变换标签文件集作为所述绝缘子的绝缘子污闪图像数据集。
可选地,所述采用所述多张绝缘子污闪图像样本进行自适应局部数据增强处理,获得多张增广绝缘子污闪图像,包括:
步骤S1:对每一张所述绝缘子污闪图像样本进行图像划分,获得每一所述绝缘子污闪图像样本各自对应的若干个绝缘子污闪图像块;
步骤S2:计算所述绝缘子污闪图像块内像素的局部均值以及局部方差,并根据所述局部均值以及所述局部方差计算增益因子;
步骤S3:获取所述绝缘子污闪图像块内每一像素对应的原始灰度值,采用每一所述原始灰度值乘以所述增益因子,获得每一所述像素对应的增益灰度值,并对每一灰度增益后的像素进行像素值裁剪,获得所述绝缘子污闪图像块对应的局部对比度增强图像块;
步骤S4:重复步骤S2-S3,基于各个所述局部对比度增强图像块,组成所述绝缘子污闪图像样本对应的局部对比度增强图像;
步骤S5:从所有局部对比度增强图像中随机选取两张不同的第一局部对比度增强图像以及第二局部对比度增强图像,并从β分布中随机确定所述第二局部对比度增强图像对应的增强权重;
步骤S6:对所述第一局部对比度增强图像进行随机剪切,并基于所述增强权重,将剪切后的第一局部对比度增强图像与所述第二局部对比度增强图像进行图像堆叠,获得堆叠增强图像,并对所述堆叠增强图像进行随机变换,获得增广绝缘子污闪图像;
步骤S7:重复步骤S5-S6,获得多张增广绝缘子污闪图像。
可选地,所述根据所述局部均值以及所述局部方差计算增益因子,包括:
根据所述局部均值以及所述局部方差,采用下列公式计算增益因子:
;
其中,q为增益因子,k为常数,a为调节参数,var为局部方差,mean为局部均值。
本发明还提供了一种基于YOLO-AFPS的绝缘子污闪检测装置,包括:
绝缘子污闪图像获取模块,用于获取需要进行检测的绝缘子污闪图像,并将所述绝缘子污闪图像输入至绝缘子污闪检测系统,所述绝缘子污闪检测系统包括特征提取模块、特征融合优化模块以及自适应检测模块;
特征提取强化处理模块,用于通过所述特征提取模块对所述绝缘子污闪图像进行特征提取强化处理,输出浅层污闪特征、中层污闪特征以及深层污闪特征;
粒子群特征融合优化处理模块,用于将所述浅层污闪特征、所述中层污闪特征以及所述深层污闪特征输入至所述特征融合优化模块进行粒子群特征融合优化处理,输出浅层强化特征、中层强化特征以及深层强化特征;
自适应解码预测处理模块,用于将所述浅层强化特征、所述中层强化特征以及所述深层强化特征输入至所述自适应检测模块分别进行自适应解码预测处理,输出各自对应的自适应解耦检测头;
绝缘子污闪检测模块,用于采用各个所述自适应解耦检测头对所述绝缘子污闪图像进行污闪检测,确定绝缘子污闪位置。
本发明还提供了一种电子设备,所述设备包括处理器以及存储器:
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令执行如上任一项所述的基于YOLO-AFPS的绝缘子污闪检测方法。
本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储程序代码,所述程序代码用于执行如上任一项所述的基于YOLO-AFPS的绝缘子污闪检测方法。
从以上技术方案可以看出,本发明具有以下优点:针对样本图像集,通过采用结合自适应局部对比度增强处理技术的数据增强方法进行图像处理,实现增强绝缘子污闪区域局部对比度的同时增广样本,从而提高绝缘子污闪检测系统在实际应用下的检测精度;针对绝缘子污闪检测系统,通过采用基于粒子群优化算法结合自注意力机制的粒子群特征优化子模块改进特征融合模块,能够自适应地获得一组最优的权重参数,从而克服全局信息与局部信息的不平衡,实现局部区域重要性的自适应调节,同时在检测模块引入自适应解码预测子模块对输出的强化特征进行自适应解码预测处理,总体上增强了绝缘子污闪检测系统的小目标检测能力,提高了模型对污闪区域小目标的空间辨识能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种基于YOLO-AFPS的绝缘子污闪检测系统的结构示意图;
图2为本发明实施例提供的一种基于YOLO-AFPS的绝缘子污闪检测方法的步骤流程图;
图3为本发明实施例提供的一种S2-MLPv2注意力机制结构示意图;
图4为本发明实施例提供的一种自适应解码预测子模块中进行特征处理的流程示意图;
图5为本发明实施例提供的一种采用自适应局部数据增强处理方法构建绝缘子污闪图像数据集的步骤流程图;
图6为本发明实施例提供的一种基于YOLO-AFPS的绝缘子污闪检测模型构建及训练过程的步骤流程图;
图7为本发明实施例提供的一种采用绝缘子污闪检测模型进行污闪检测的效果示意图;
图8为本发明实施例提供的一种基于YOLO-AFPS的绝缘子污闪检测装置的结构框图。
具体实施方式
本发明实施例提供了一种基于YOLO-AFPS的绝缘子污闪检测方法、一种基于YOLO-AFPS的装置、一种电子设备及一种存储介质,用于解决或部分解决现有的绝缘子污闪检测方法中存在的检测准确率以及效率低下的技术问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
作为一种示例,对于电力系统而言,绝缘子是不可或缺的重要组成成分,用于支撑与固定输电线路以及设备,同时可以起到隔离与保护作用,为电力系统提供了电气绝缘以及机械支撑,是高压输配电线路的关键部件。然而,在实际环境中,由于大气条件、机械应力等多种因素的影响,绝缘子常常会出现自爆、破损、污闪等缺陷,当发生绝缘子污闪事件时,如果不对其进行及时处理,容易引起区域同时多点跳闸,甚至造成区域大面积停电的事故。因此,对绝缘子进行污闪检测是非常必要的一项工作,通过污闪检测,可以及时发现以及处理绝缘子表面的污染问题,保证绝缘子的正常运行以及安全可靠性,同时,污闪检测也可以为绝缘子的维护与管理提供重要的依据以及参考,提高电力系统的运行效率以及稳定性。
目前绝缘子污闪检测主要依赖于人工进行巡检,而在进行人工巡检时,容易出现误检漏检的情况,导致检测准确率以及效率低下,实际预防工作仍存在不足,未能有效抑制绝缘子故障上升的趋势。因此,在兼顾电网安全与人工巡检高效率的要求下,电网运维人员需要根据局部区域高频绝缘子故障类型对可能引起该区域绝缘子故障的鸟粪、污秽等因素加强清洁护理工作,同时,不同绝缘子故障会导致不同线路危害,因此需要针对不同区域高频绝缘子故障提出差异化防治措施。绝缘子故障的高效处理离不开绝缘子故障的精确定位以及精准识别,但现有相关技术中所采用的绝缘子污闪检测方法并未考虑到绝缘子污闪区域目标小以及具有独特的空间位置结构问题,从而如何在复杂的巡检图像中准确定位绝缘子故障,进而辅助线路巡检人员对绝缘子故障进行准确精准识别,对于区域化线路维修保养具有重要意义。
因此,本发明实施例的核心发明点之一在于:为提高YOLOv7-tiny(You Only LookOnce v7-tiny,一种当前先进的深度学习目标检测算法)模型的小目标检测能力,对YOLOv7-tiny轻量化目标检测模型进行改进,构建一种绝缘子污闪检测系统YOLO-AFPS(YOLOv7-tiny combined with ADLIEF and PSO_S2-MLPv2,基于YOLOv7-tiny的粒子群优化绝缘子污闪检测),以及提供一种基于绝缘子污闪检测系统进行绝缘子污闪检测的方法。其中,针对样本图像集,通过采用结合ADLIE(Adaptive Local Intensity-Enhancement,自适应局部对比度增强)处理技术的Fmix(一种用于深度学习中增强混合样本数据增强的开源算法)数据增强方法ADLIEF(ADLIE Combined with Fmix,自适应局部数据增强处理),实现绝缘子污闪区域的局部对比度增强的同时增广样本,从而提高绝缘子污闪检测系统在实际应用下的检测精度;针对绝缘子污闪检测系统,通过采用粒子群特征优化子模块PSM(Particle Swarm Optimization_S2-MLPv2,基于粒子群优化算法的改进视觉空间位移MLP架构)改进YOLOv7-tiny的特征融合网络,基于粒子群优化算法结合S2-MLPv2(一种改进的视觉空间位移MLP架构)注意力模块,能够自适应地获得一组最优的权重参数,从而克服全局信息与局部信息的不平衡,实现局部区域重要性的自适应调节,同时在YOLOv7-tiny的检测网络中引入自适应解码预测子模块AD-Head(Adaptive Decoupling-Head,自适应解耦检测头)对输出的强化特征进行自适应解码预测处理,总体上增强绝缘子污闪检测系统的小目标检测能力,提高模型对污闪区域小目标的空间辨识能力。
参照图1,示出了本发明实施例提供的一种基于YOLO-AFPS的绝缘子污闪检测系统的结构示意图。
由图中可知,本发明实施例所提供的绝缘子污闪检测系统100主要可以分为三个部分:特征提取模块101(Backbone主干提取网络)、特征融合优化模块102(Neck特征融合网络)以及自适应检测模块103(Head检测网络)。
具体地,特征提取模块101主要用于对输入的绝缘子污闪图像进行多层次的特征提取,主要可以包括标准卷积子模块CBL(Conv - Batch Normalization - LeakReLU,卷积层 -批量归一化BN层-激活函数层),多模态强化处理子模块MCB(Multi-modal CompactBilinear Pooling,多模态紧凑双线性池)、最大值池化子模块MP(Max Pooling,最大值池化)。
其中,标准卷积子模块CBL主要用于对输入图像进行标准卷积处理,包括在卷积层进行卷积操作、在批量归一化BN层进行批量归一化操作以及在激活函数层进行线性修正操作,获得输入特征图。
绝缘子污闪图像检测可以看作是视觉定位的一种,而对于视觉定位这样的多模态任务,需要融合不同类型模型的向量得到一个具有代表性的融合特征,因此可以采用多模态强化处理子模块MCB对特征图进行多模态特征强化处理,大体流程为先随机将特征映射到更高维空间里,接着在快速傅里叶变化(Fast Fourier Transform,FFT)空间中使用元素乘积有效地卷积两个向量,实现对于特征的融合增强处理,因现有相关技术中公开了对采用多模态强化处理子模块MCB对特征图进行多模态特征强化处理的过程,此处不再赘述。
最大值池化子模块MP则可以对特征图进行最大值池化处理,进一步实现特征选择以及数据过滤。
特征提取模块101中的特征提取过程将在下面内容中结合方法实施例进行说明,具体参见下面方法实施例的相关说明部分内容即可。
特征融合优化模块102主要用于对经过特征提取模块101的特征提取之后输出的特征图进行粒子群特征融合优化处理,输出对应的强化特征图,其中,特征融合优化模块102具体可以包括空间金字塔池化子模块SPPCSPC(YOLOv7中使用的SPP(Spatial PyramidPooling,空间金字塔池化)结构 )、标准卷积子模块CBL、堆叠+多模态强化处理部分Concat+MCB、粒子群特征优化子模块PSM,即基于粒子群优化算法的改进视觉空间位移MLP架构,其中,MLP(Multi-Layer Perceptron,多层神经网络),也即多层感知器,是一种趋向结构的人工神经网络,映射一组输入向量到一组输出向量。
其中,空间金字塔池化子模块SPPCSPC主要用于对输入该子模块的特征图进行标准卷积、最大值池化以及特征堆叠等处理,通过空间金字塔池化子模块SPPCSPC的处理,可以避免由于图像处理操作所造成的图像失真等问题,同时可以解决卷积神经网络提取到图片重复特征的问题。空间金字塔池化子模块SPPCSPC中可以包括标准卷积子模块CBL、最大值池化子模块MP,以及堆叠+标准卷积部分Concat+CBL,对于最大值池化子模块MP,其最大值池化可以应用于大小为1×1、5×5、9×9、13×13的卷积核,而堆叠+标准卷积部分Concat+CBL则用于进行特征堆叠以及标准卷积处理。
由于前面内容对标准卷积子模块CBL进行了介绍,此处不再赘述。堆叠+多模态强化处理部分Concat+MCB则用于先对特征图进行堆叠操作,再进行多模态强化处理操作,以实现特征增强融合。
本发明实施例的其中一个改进点在于设计了一种粒子群特征优化子模块PSM(PSO_S2-MLPv2)改进YOLOv7-tiny特征提取网络(Backbone),利用粒子群特征优化子模块PSM对深层特征信息进行上采样处理。
其中,S2-MLPv2可以理解为一种注意力机制模块,主要通过深度学习实现图像分类,大体流程为将输入该模块的特征图进行扩展,并将扩展后的特征图分为多组,对每组的特征图分别进行不同的偏移,然后将偏移后的特征用Split Attention(分组自注意力机制)进行聚合,获得输出特征图。
PSO(Particle Swarm Optimization,粒子群优化算法),粒子群优化算法的中心思想为通过群体中个体之间的协作与信息共享实现寻找最优解,在粒子群优化算法中,粒子仅具有两个属性,一个是速度,一个是位置,速度代表移动的快慢,位置则代表移动的方向,每个粒子在搜索空间中单独地搜寻最优解,记为当前个体极值,并将个体极值与整个粒子群里的其他粒子共享,当对各个粒子进行迭代更新之后,整个粒子群的当前全局最优解为最优的个体极值。
因此,本发明实施例中提供的粒子群特征优化子模块PSM主要通过对输入特征向量进行粒子群优化计算,自适应地获得一组最优的权重参数,并获得最优输出特征向量,从而克服全局信息与局部信息的不平衡,实现局部区域重要性的自适应调节,同时对于经过粒子群优化处理输出的最优输出特征向量,通过Bi-LSTM(Bidirectional Long Short-Term Memory Network,双向长短时记忆网络)双向编码器有效捕捉文本中的上下文信息,将Bi-LSTM的输出作为自注意力机制的输入,通过计算每个特征与其他特征的注意力得分以增强重要特征的影响力,获得最终输出特征向量。
特征融合优化模块102中的粒子群特征融合优化过程将在下面内容中结合方法实施例进行说明,具体参见下面方法实施例的相关说明部分内容即可。
本发明实施例还有一个改进点在于在自适应检测模块103中引入自适应解码预测子模块AD-Head,主要用于对经特征融合优化模块102处理后输出的各个强化特征进行自适应解码预测处理,输出各个强化特征对应的自适应解耦检测头,以便后续采用自适应解耦检测头对绝缘子污闪图像进行污闪检测,确定具体污闪位置,因此,采用自适应解码预测子模块AD-Head进行特征处理,总体上增强了绝缘子污闪检测系统100的小目标检测能力,提高了模型对污闪区域小目标的空间辨识能力。
自适应检测模块103中的检测过程将在下面内容中结合方法实施例进行说明,具体参见下面方法实施例的相关说明部分内容即可。
在本发明实施例中,对YOLOv7-tiny轻量化目标检测模型进行了改进,构建了一种基于YOLO-AFPS的绝缘子污闪检测系统,其中,通过采用粒子群特征优化子模块PSM改进YOLOv7-tiny的特征融合网络,基于粒子群优化算法结合S2-MLPv2注意力模块,能够自适应地获得一组最优的权重参数,从而克服全局信息与局部信息的不平衡,实现局部区域重要性的自适应调节,同时在YOLOv7-tiny的检测网络中引入自适应解码预测子模块AD-Head对输出的强化特征进行自适应解码预测处理,总体上增强了绝缘子污闪检测系统的小目标检测能力,提高了模型对污闪区域小目标的空间辨识能力。从而通过采用本发明实施例所提供的绝缘子污闪检测系统,并结合相应的绝缘子污闪检测方法,可以实现快速准确地检测出绝缘子污闪位置,大大提高检测效率以及检测准确度。
为使本发明公开更充分,下面将通过结合上述实施例中所提供的绝缘子污闪检测系统,对基于YOLO-AFPS的绝缘子污闪检测方法进行详细说明。
参照图2,示出了本发明实施例提供的一种基于YOLO-AFPS的绝缘子污闪检测方法的步骤流程图,具体可以包括以下步骤:
步骤201,获取需要进行检测的绝缘子污闪图像,并将所述绝缘子污闪图像输入至绝缘子污闪检测系统,所述绝缘子污闪检测系统包括特征提取模块、特征融合优化模块以及自适应检测模块;
当需要对绝缘子进行污闪检测时,可以获取需要进行检测的绝缘子污闪图像,并将绝缘子污闪图像输入至绝缘子污闪检测系统中,以进行特征处理。
步骤202,通过所述特征提取模块对所述绝缘子污闪图像进行特征提取强化处理,输出浅层污闪特征、中层污闪特征以及深层污闪特征;
特征提取模块主要可以包括标准卷积子模块CBL、多模态强化处理子模块MCB以及最大值池化子模块MP,则在具体的实现中,通过特征提取模块对绝缘子污闪图像进行特征提取强化处理,输出浅层污闪特征、中层污闪特征以及深层污闪特征,可以为:
首先将绝缘子污闪图像输入特征提取模块,通过标准卷积子模块CBL进行连续两次的标准卷积处理,获得压缩特征图,接着对压缩特征图先通过多模态强化处理子模块MCB进行多模态特征强化处理,再通过最大值池化子模块MP进行最大值池化处理,接着再通过多模态强化处理子模块MCB进行多模态特征强化处理,输出浅层污闪特征;
接着对浅层污闪特征先通过最大值池化子模块MP进行最大值池化处理,再通过多模态强化处理子模块MCB进行多模态特征强化处理,输出中层污闪特征;
然后通过最大值池化子模块MP对中层污闪特征进行最大值池化处理,输出深层污闪特征。
从而通过特征提取模块可以实现对输入的绝缘子污闪图像进行多层次的特征提取,并输出对应层次的污闪特征。
示例性地,假设输入的绝缘子污闪图像大小为640×640像素,通过特征提取模块可以分别提取出尺寸大小为80×80×256的浅层污闪特征、尺寸大小为40×40×512的中层污闪特征以及尺寸大小为20×20×1024的深层污闪特征,从而通过多层次特征提取模块可以提取出不同尺寸大小的污闪特征,以便后续进行特征融合等处理。
步骤203,将所述浅层污闪特征、所述中层污闪特征以及所述深层污闪特征输入至所述特征融合优化模块进行粒子群特征融合优化处理,输出浅层强化特征、中层强化特征以及深层强化特征;
由前述内容可知,特征融合优化模块可以包括空间金字塔池化子模块SPPCSPC、标准卷积子模块CBL、堆叠+多模态强化处理部分Concat+MCB、粒子群特征优化子模块PSM,从而在具体的实现中,将浅层污闪特征、中层污闪特征以及深层污闪特征输入至特征融合优化模块进行粒子群特征融合优化处理,输出浅层强化特征、中层强化特征以及深层强化特征,可以为:
首先通过空间金字塔池化子模块SPPCSPC对深层污闪特征进行空间金字塔池化处理,获得增强空间特征图,接着对增强空间特征图先通过标准卷积子模块CBL进行标准卷积处理,再通过粒子群特征优化子模块PSM进行粒子群特征优化处理,获得第一融合优化特征图;
接着对中层污闪特征通过标准卷积子模块CBL进行标准卷积处理后,通过堆叠+多模态强化处理部分Concat+MCB与第一融合优化特征图先进行特征堆叠,获得第一堆叠特征图,再对第一堆叠特征图进行多模态特征强化处理,输出强化堆叠特征图;
对强化堆叠特征图先通过标准卷积子模块CBL进行标准卷积处理,再通过粒子群特征优化子模块PSM进行粒子群特征优化处理,获得第二融合优化特征图;
对浅层污闪特征通过标准卷积子模块CBL进行标准卷积处理后,通过堆叠+多模态强化处理部分Concat+MCB与第二融合优化特征图先进行特征堆叠,获得第二堆叠特征图,再对第二堆叠特征图进行多模态特征强化处理,输出浅层强化特征;
对浅层强化特征通过标准卷积子模块CBL进行下采样处理后,通过堆叠+多模态强化处理部分Concat+MCB与强化堆叠特征图先进行特征堆叠,获得第三堆叠特征图,再对第三堆叠特征图进行多模态特征强化处理,输出中层强化特征;
接着对中层强化特征通过标准卷积子模块CBL进行下采样处理后,通过堆叠+多模态强化处理部分Concat+MCB与增强空间特征图先进行特征堆叠,获得第四堆叠特征图,再对第四堆叠特征图进行多模态特征强化处理,输出深层强化特征。
进一步地,在粒子群特征优化子模块PSM中进行粒子群特征优化处理的步骤,可以包括:首先将需要进行粒子群特征优化处理的原始输入特征图输入至粒子群特征优化子模块,对原始输入特征图进行粒子群优化计算,获得最优输出特征向量;接着对最优输出特征向量进行线性变换,获得对应的变换输出特征向量;然后将变换输出特征向量分别输入至三个全连接层并分别进行点积运算,再进行归一化处理,获得每一变换输出特征向量对应的输出权重;最后基于每一输出权重以及每一输出权重对应的变换输出特征向量进行加权求和,获得粒子群特征优化子模块输出的与最优输出特征向量对应的最终输出特征向量。
作为一种可选实施例,对原始输入特征图进行粒子群优化计算,获得最优输出特征向量,可以包括如下步骤:
步骤S11,对所述原始输入特征图进行权重向量分解,获得多个权重向量;
由前述内容可知,粒子群优化算法主要通过群体中个体之间的协作与信息共享实现寻找最优解,那么采用粒子群优化算法对原始输入特征图进行处理时,可以将原始输入特征图中的每一个向量作为一个粒子,并通过粒子群优化计算,找出粒子对应向量的全局最优解,在进行特征计算时,向量指的是有方向的量,而权重向量可以理解为带了权值的向量,权重向量中的权系数大小代表相应目标在多目标最优化问题中的重要程度,对于图像而言就是该向量所指向元素所具有的视觉影响,因此在进行粒子群优化计算时,可以先将原始输入特征图按各个向量各自对应权系数进行权重向量分解,获得多个权重向量,以便后续基于多个权重向量进行粒子群优化处理。
步骤S12,采用正态分布随机初始化一个粒子群,并确定所述粒子群中每个粒子的粒子位置以及粒子速度,所述粒子位置表示当前的权重向量,所述粒子速度表示搜索方向与速率;
接着可以采用正态分布随机初始化一个粒子群,并确定粒子群中每个粒子的粒子位置以及粒子速度,其中,粒子位置表示当前的权重向量,粒子速度则表示搜索方向与速率,正态分布是变量预测中常用的一种统计学概率分布,当在大量随机变量上重复多次实验时,其分布总和将非常接近正态分布,因此对于数据量较大的变量计算时,通过采用正态分布进行初始化,可以简化计算过程,加快计算速度。
步骤S13,构建粒子群优化算法,采用实数编码方式设定一个权重向量对应一个粒子,并确定每个权重向量的大小;
构建粒子群优化算法,并采用几个实数编码方式对权重向量进行设置,即一个权重向量可以对应一个粒子,同时可以确定每个权重向量的大小,以便后续进行向量计算,其中,实数编码是采用十进制数表示的数据编码方式,在实数编码中,每一位数字都代表了不用的数位值,简单且便于理解。
步骤S14,将每一所述粒子对应的权重向量作为间接输入,基于最小损失函数计算适应度函数,所述适应度函数用于反映各个所述权重向量的性能;
在具体的实现中,将每一粒子对应的权重向量作为间接输入,基于最小损失函数计算适应度函数,可以为:将每一粒子对应的权重向量作为间接输入,基于最小损失函数计算目标函数值,并将目标函数值作为适应度函数,计算公式如下:
;
其中,Loss为适应度函数,N为目标分类数,y t 为目标分类数为t时的真实标签(testLabel),p为目标分类数为t时的预测值(predictedLabel),log(*)为对数函数。
步骤S15,获取每一所述粒子的历史最优位置,并采用所述历史最优位置与预设惯性权重进行全局最优计算,并基于计算结果对每一所述粒子的粒子位置以及粒子速度进行迭代更新;
接着可以根据粒子的历史最优位置以及历史全局最优位置,更新每个粒子的速度与位置,使其向全局最优位置靠近,还可以引入惯性权重平衡两种更新方式的影响,以避免过早陷入局部最优解的情况发生,其中,历史最优位置指该粒子上一次在搜索空间中搜寻最优解时的移动方向,历史全局最优位置可以理解为整个粒子群中上一次全局最优解所对应的粒子的移动方向。
则在具体的实现中,采用历史最优位置与预设惯性权重进行全局最优计算,可以为:
根据历史最优位置与预设惯性权重,采用下列公式进行全局最优计算:
;
;
;
其中,ω为惯性因子,即预设惯性权重,n为当前迭代次数,c 1与c 2均为学习因子,通常可以取2,rand(*)为0-1之间的随机数,pbest n 与gbest n 为粒子跟踪过程中的极值,v n-1为粒子上一次迭代的粒子速度,x n-1为粒子上一次迭代的粒子位置,即粒子的历史最优位置,x n 为粒子的当前粒子位置,即权重向量,v n 为粒子的当前速度,即搜索方向与速率,G k 为最大迭代次数,g为当前迭代次数,ω ini 为初始惯性权重值,可以取0.9,ω end 为迭代至最大次数时的惯性权重值,可以取0.4。
从而可以通过全局最优计算,并基于计算结果对各个粒子的粒子位置以及粒子速度进行迭代更新,实现通过迭代更新不断寻找全局最优解。
步骤S16,基于迭代更新后的粒子所对应的权重向量再次计算适应度函数,当适应度函数结果表征权重向量的性能达到最优时,输出对应的全局最优位置,并结束对各个粒子的迭代更新;
当对粒子进行迭代更新之后,可以通过适应度函数判断当前权重向量的性能是否已经达到最优,即计算过程中的损失是否达到最小,速度是否达到最优,当权重向量的性能达到最优时,说明此时已经找到粒子对应的全局最优位置,以及粒子群对应的全局最优解,因此可以输出当前的全局最优位置,并结束粒子的迭代更新。
步骤S17,输出所述全局最优位置对应的权重向量作为最优输出特征向量。
当迭代结束后,输出的全局最优位置所对应的权重向量则可以作为粒子群特征优化子模块PSM的最优输出特征向量,即最优权重参数。
作为一种可选实施例,对最优输出特征向量进行线性变换,获得对应的变换输出特征向量,可以为通过下列公式对最优输出特征向量进行线性变换,获得对应的变换输出特征向量:
;
其中,x为最优输出特征向量,h为进行线性变换后获得的变换输出特征向量,W与b均为可学习参数。
作为一种可选实施例,将变换输出特征向量分别输入至三个全连接层并分别进行点积运算,再进行归一化处理,获得每一变换输出特征向量对应的输出权重,具体可以为:
首先将变换输出特征向量分别输入至三个全连接层,分别为f、g和s层,这三个层的权重矩阵分别为Wf、Wg以及Ws,偏置向量分别为bf、bg以及bs,对于每个位置i,将向量h i 分别与所有位置j的向量h j 通过点积运算计算相似度并得到一个权值,在具体的实现中,对于每一个全连接层,提取变换输出特征向量在第一位置上的所有第一位置向量,以及在第二位置上的所有第二位置向量,并采用每一第一位置向量分别与每一第二位置向量进行点积运算,获得点积权值,计算公式如下:
;
其中,a ij 为点积权值,h i 为第一位置i对应的第一位置向量,h j 为第二位置j对应的第二位置向量,其中,第一位置为i,第二位置为j,因两个位置指向的是不同位置,因此以第一、第二进行区分。
接着对点积权值进行归一化处理,获得注意力权重系数,并将注意力权重系数作为变换输出特征向量对应的输出权重,计算公式如下:
;
其中,S ij 为注意力权重系数,a kj 为位置k处的特征向量与位置j处特征向量的相似度权值,exp(*)为以自然常数e为底的指数函数。
进一步地,基于每一输出权重以及每一输出权重对应的变换输出特征向量进行加权求和,获得粒子群特征优化子模块输出的与最优输出特征向量对应的最终输出特征向量,可以为:采用每一输出权重,对每一输出权重对应的第二位置上的所有第二位置向量进行加权求和,获得对应的最终输出特征向量,计算公式如下:
;
其中,c i 为最终输出特征向量。
为更好地进行说明,参照图3,示出了本发明实施例提供的一种S2-MLPv2注意力机制结构示意图。
对于输入S2-MLPv2注意力模块的输入特征图,h、w、c分别为输入特征图的高、宽以及通道数,MLP为将特征在通道维度c上扩展为原来的3倍,由原来的c变为3c,Split为将拓展后的特征分为三组,分组后,对每组的特征图分别进行不同的偏移,Shift1和Shift2为两种非对称的转换方式,identity表示与特征保持一致,不对其进行变换,Split Attention(分组自注意力机制)对应上述实施例中的加权求和公式,即将偏移后的特征进行聚合,其中,
Shift1可表示为:
;
Shift2可表示为:
;
函数ζ[*]表示分别在宽、高和通道数上进行转换。
步骤204,将所述浅层强化特征、所述中层强化特征以及所述深层强化特征输入至所述自适应检测模块分别进行自适应解码预测处理,输出各自对应的自适应解耦检测头;
自适应检测模块中包括自适应解码预测子模块AD-Head,为更好地进行说明,参照图4,示出了本发明实施例提供的一种自适应解码预测子模块中进行特征处理的流程示意图,从而在每个自适应解码预测子模块AD-Head进行自适应解码预测处理的步骤,可以包括:
将需要进行解码处理的目标强化特征输入至自适应解码预测子模块AD-Head,并对目标强化特征进行1×1卷积计算,获得目标降维强化特征,目标降维强化特征包括污闪目标分类特征以及污闪定位任务特征;
接着对污闪目标分类特征以及污闪定位任务特征先分别进行连续两次的3×3卷积计算,再分别进行1×1卷积计算,输出污闪目标分类特征对应的检测目标类别向量Cls,污闪定位任务特征对应的检测框坐标向量Obj以及检测框置信度向量Reg;
然后将检测目标类别向量Cls、检测框坐标向量Obj以及检测框置信度向量Reg进行特征融合,输出目标强化特征对应的自适应解耦检测头(Cls+Obj+Reg)。
通过计算之后,可以输出浅层强化特征对应的大小为80×80×18的自适应解耦检测头、中层强化特征对应的大小为40×40×18的自适应解耦检测头,以及深层强化特征对应的大小为20×20×18的自适应解耦检测头。
其中,对目标强化特征进行1×1卷积计算是为了将目标强化特征统一至128维,以融合特征信息以及减少计算量;使用2个3×3卷积层分别独立且并行处理绝缘子污闪的污闪目标分类特征与污闪定位任务特征,其作用是实现特征解耦和通道注意力,使得模型更好地捕捉到绝缘子目标的全局以及局部特征,从而更好地区分目标与背景,提高模型的检测精度与鲁棒性;污闪定位任务中还包括检测框置信度的计算,因该部分内容并不是本发明实施例重点介绍的内容,因此并未在图中标识出,可以理解的是,本发明对此不作限制。
从而通过在自适应检测模块中引入自适应解码预测子模块AD-Head,对经特征融合强化模块处理后输出的各个强化特征进行自适应解码预测处理,输出各个强化特征对应的自适应解耦检测头,以便后续采用自适应解耦检测头对绝缘子污闪图像进行污闪检测,确定具体污闪位置,因此,采用自适应解码预测子模块AD-Head进行特征处理,总体上增强了绝缘子污闪检测系统的小目标检测能力,提高了模型对污闪区域小目标的空间辨识能力。
步骤205,采用各个所述自适应解耦检测头对所述绝缘子污闪图像进行污闪检测,确定绝缘子污闪位置。
最后可以基于各个自适应解耦检测头对需要进行检测的绝缘子污闪图像进行污闪检测,确定绝缘子污闪位置,实现绝缘子污闪快速检测。
在本发明实施例中,提出了一种结合基于YOLO-AFPS的绝缘子污闪检测系统的污闪检测方法,通过采用粒子群特征优化子模块PSM改进YOLOv7-tiny的特征融合网络,基于粒子群优化算法结合S2-MLPv2注意力模块,能够自适应地获得一组最优的权重参数,从而克服全局信息与局部信息的不平衡,实现局部区域重要性的自适应调节,同时在YOLOv7-tiny的检测网络中引入自适应解码预测子模块AD-Head对输出的强化特征进行自适应解码预测处理,总体上增强了绝缘子污闪检测系统的小目标检测能力,提高了模型对污闪区域小目标的空间辨识能力。
作为一种可选实施例,在采用上述实施例所提供的基于YOLO-AFPS的绝缘子污闪检测方法以及绝缘子污闪检测系统进行污闪检测前,可以先构建绝缘子的绝缘子污闪图像数据集,用于对绝缘子污闪检测系统进行训练以及图像检测测试。
示例性地,参照图5,示出了本发明实施例提供的一种采用自适应局部数据增强处理方法构建绝缘子污闪图像数据集的步骤流程图,包括以下步骤:
步骤501,获取绝缘子的巡检记录图像样本集,从所述巡检记录图像样本集中筛选出多张绝缘子污闪图像样本,并对所述多张绝缘子污闪图像样本进行污闪标记处理,生成对应的绝缘子污闪标签文件集;
在具体的实现中,可以基于某电网公司巡检人员通过无人机、相机等设备拍摄获得的日常巡检记录的各种样式、拍摄角度、光照情况、天气情况下的绝缘子污闪图像作为图像样本,并将所有图像样本作为绝缘子的巡检记录图像样本集,假设通过人工筛选后获得绝缘子污闪图像样本462张,并采用LabelImg(一种图像标注工具)标签工具进行标签制作,将绝缘子污闪图像样本中的污闪区域标记为“wushan”,并自动生成.xml标签文件,构成与多张绝缘子污闪图像样本对应的绝缘子污闪标签文件集。
步骤502,采用所述多张绝缘子污闪图像样本进行自适应局部数据增强处理,获得多张增广绝缘子污闪图像,并对所述多张增广绝缘子污闪图像进行标签创建操作,生成对应的污闪图像变换标签文件集;
由于绝缘子样式多种多样,而污闪中心区域为白色,相较于同色系材料的绝缘子而言,对比度较低,导致绝缘子污闪情况检测精度下降,难以适应实际工程应用中的检测需求,因此本发明实施例提出一种结合ADLIE处理技术的Fmix数据增强方法ADLIEF,实现绝缘子污闪区域的局部对比度增强的同时增广样本,从而提高绝缘子污闪检测系统在实际应用下的检测精度,其中,ADLIEF数据增强方法的主要原理为通过像素灰度值增益处理对图像的局部对比度进行自适应增强,以获得对应的局部对比度增广图像。
具体地,可以将筛选出来的462张多张绝缘子污闪图像样本采用ADLIEF数据增强方法进行自适应局部数据增强处理,获得多张增广绝缘子污闪图像,并利用CreateXML(一种xml文件创建工具)创建变换图像后的.xml标签文件,对多张增广绝缘子污闪图像进行标签创建操作,生成对应的污闪图像变换标签文件集。
进一步地,采用ADLIEF数据增强方法对多张绝缘子污闪图像样本进行自适应局部数据增强处理,获得多张增广绝缘子污闪图像的步骤,可以包括:
步骤S1:对每一张绝缘子污闪图像样本进行图像划分,获得每一张绝缘子污闪图像样本各自对应的若干个绝缘子污闪图像块;
每个块的大小可以根据实际需求进行设置,一般为16×16、32×32等。
步骤S2:对于每一个绝缘子污闪图像块,计算绝缘子污闪图像块内像素的局部均值以及局部方差,其中,局部均值可以通过计算块内所有像素的灰度值之和再除以像素数量得到,局部方差则是各像素与该块局部均值之差的平方和再除以像素数量,接着可以根据局部均值以及局部方差计算增益因子;
具体地,根据局部均值以及局部方差计算增益因子,可以为根据局部均值以及局部方差,采用下列公式计算增益因子:
;
其中,q为增益因子,k为常数,a为调节参数,var为局部方差,mean为局部均值。
步骤S3:获取绝缘子污闪图像块内每一像素对应的原始灰度值,采用每一原始灰度值乘以增益因子,获得每一所述像素对应的新的增益灰度值,并对每一灰度增益后的像素进行像素值裁剪,将超出范围的像素值限制在0-255之间,从而获得绝缘子污闪图像块对应的局部对比度增强图像块;
步骤S4:对于每张绝缘子污闪图像样本的若干个绝缘子污闪图像块,可以重复执行步骤S2-S3进行灰度值增益处理,接着将增益处理后的若干个局部对比度增强图像块组成绝缘子污闪图像样本对应的局部对比度增强图像;
步骤S5:从所有局部对比度增强图像中随机选取两张不同的第一局部对比度增强图像A以及第二局部对比度增强图像B,并从β分布中随机确定第二局部对比度增强图像B对应的增强权重λ;
其中,β分布是指一组定义在 (0,1)区间的连续概率分布,也就是说,第二局部对比度增强图像B对应的增强权重λ为(0,1)区间内的随机数。
步骤S6:接着对第一局部对比度增强图像A进行随机剪切,并与增强权重为λ的第二局部对比度增强图像B进行图像堆叠,获得堆叠增强图像C,并对堆叠增强图像C进行随机变换,即可获得经过ADLIEF数据增强的增广绝缘子污闪图像;
其中,图像堆叠,也可以称为图像叠合,指将同一地区不同时相或不同传感器的图像叠加在一起形成一幅新的图像,常用的方法包括计算机图层叠加显示技术、彩色合成方法、算术运算等。增强权重,也可以理解为图片权重,指图像中的组成元素以及各自具有的视觉影响,权重是一个相对概念,针对某一指标而言,某一指标权重指的是该指标在整体评价中的相对重要程度,因此,增强权重λ可以理解为第二局部对比度增强图像B中各个组成元素在整体图像中的相对重要程度。示例性地,对堆叠增强图像进行随机变换,可以为采取0.5的概率从旋转、裁剪、镜像翻转中任意选择其一作为图像处理方式进行图像变换,获得各自对应的变换污闪图像样本,其中,旋转角度范围为[0,360],宽高裁剪因子可以为0.6。
步骤S7:重复步骤S5-S6,直至获得多张经过ADLIEF数据增强的增广绝缘子污闪图像。
步骤503,将所述多张绝缘子污闪图像样本、所述绝缘子污闪标签文件集、所述多张增广绝缘子污闪图像以及所述污闪图像变换标签文件集作为所述绝缘子的绝缘子污闪图像数据集。
最终,将基于ADLIEF数据增强方法获得的多张增广绝缘子污闪图像以及对应的污闪图像变换标签文件集,与462张绝缘子污闪图像样本以及对应的绝缘子污闪标签文件集,共同构建对绝缘子污闪检测系统的检测模型进行训练测试所需的绝缘子污闪图像数据集,通过本示例中的处理方法,共可以获得1648张图像作为绝缘子污闪图像数据集。
从而通过提出基于ADLIEF数据增强方法对图像样本进行处理,在实现增强绝缘子污闪区域局部对比度的同时进行增广样本,提高了绝缘子污闪检测系统在实际应用下的检测精度。
作为一种可选实施例,可以搭建基于YOLO-AFPS的绝缘子污闪检测系统,并构建用于绝缘子污闪检测的检测模型,由于前面实施例中对绝缘子污闪检测系统以及对应的检测方法进行了较为详细的描述,因此,绝缘子污闪检测系统的相关结构以及处理流程可以参照上面实施例中相关内容,此处不再赘述。
具体地,参照图6,示出了本发明实施例提供的一种基于YOLO-AFPS的绝缘子污闪检测模型构建及训练过程的步骤流程图,主要可以包括以下步骤:
步骤601,搭建绝缘子污闪检测系统,并在所述绝缘子污闪检测系统中设置特征提取模块、特征融合优化模块与自适应检测模块,以构建绝缘子污闪检测模型;
步骤602,获取经过自适应局部数据增强处理的绝缘子污闪图像数据集,并采用所述绝缘子污闪图像数据集对所述绝缘子污闪检测模型进行模型训练以及图像检测测试;
在具体的实现中,采用绝缘子污闪图像数据集对绝缘子污闪检测模型进行模型训练以及图像检测测试,可以包括:
首先将绝缘子污闪图像数据集按预设比例(如8:1:1)划分为污闪训练集、污闪验证集以及污闪测试集,并对污闪训练集以及污闪验证集中的绝缘子污闪图像进行归一化输入图像处理,归一化输入图像为640×640像素,获得污闪训练集对应的校正训练集,以及污闪验证集对应的校正验证集,从而通过将基于ADLIEF数据增强方法构建的绝缘子污闪图像数据集进行数据划分以及归一化处理,保证输入到模型进行训练的图像样本尺寸大小统一,提高了训练准确性。
接着通过校正训练集以及校正验证集对绝缘子污闪检测模型进行训练与验证,将污闪测试集输入至训练后的绝缘子污闪检测模型进行图像检测测试。
示例性地,通过校正训练集以及校正验证集对绝缘子污闪检测模型进行训练与验证,可以为:采用K均值聚类算法(K-means Clustering Algorithm)对校正训练集进行聚类计算,确定污闪训练集样本中目标框大小,包括目标框的宽和高大小,聚类类别可以设置为9,并基于目标框大小确定先验框尺寸,其中,先验框尺寸分别对应浅、中、深三个尺度,用于在模型训练时辅助模型进行目标定位。
然后采用预设图像数据集COCO数据集(Common Objects in Contex,一个可以用来进行图像识别的数据集)对绝缘子污闪检测模型进行预训练处理,获得污闪检测预训练模型,并将污闪检测预训练模型迁移至本发明实施例所提供的绝缘子污闪检测任务中,基于先验框尺寸以及污闪检测预训练模型的权重,采用校正训练集以及校正验证集先对绝缘子污闪检测模型的特征融合优化模块以及自适应检测模块进行局部模型训练与验证,再对绝缘子污闪检测模型进行整体模型训练与验证。
作为一种示例,在前100轮训练过程中基于先验框尺寸以及污闪检测预训练模型的权重,对绝缘子污闪检测模型的特征融合优化模块Neck以及自适应检测模块Head进行局部模型训练,在后100轮训练过程中则对整个绝缘子污闪检测模型进行训练,其中,前100轮训练的batchsize(一次训练所选取的样本数)大小可以设置为8,学习率可以设置为10-2,后100轮训练的batchsize大小可以设置为2,学习率可以设置为10-3。
值得说明的是,上述例子中所涉及的参数均仅作为一种示例,在对训练的轮数、batchsize以及学习率等参数进行设置时,本领域技术人员也可以根据实际需求进行设定,可以理解的是,本发明对此不作限制。
接着可以将污闪测试集的图像输入至最终训练后获得的绝缘子污闪检测模型中进行批量化检测,示例性地,参照图7,示出了本发明实施例提供的一种采用绝缘子污闪检测模型进行污闪检测的效果示意图。
可以看出,通过采用本发明实施例所提供的绝缘子污闪检测模型,可以清楚且准确地定位至绝缘子中存在污闪的位置(如图7检测框中所示的“wushan 0.91”),以便巡检人员快速进行及时处理,避免出现更大的损失。
步骤603,根据图像检测测试结果计算污闪检测数据,依据所述污闪检测数据对所述绝缘子污闪检测模型进行模型评价。
进一步地,在进行图像检测测试之后,可以根据图像检测测试结果计算污闪检测数据,并依据污闪检测数据对绝缘子污闪检测模型进行模型评价。
示例性地,可以根据污闪测试集的图像检测结果计算检测精度,如AP(AveragePrecision,平均精度/目标检测中的一个常用指标)值,检测速度,如FPS(Frame PerSecond,画面每秒传输帧数),模型占用内存等性能评价指标,作为模型评价的评价指标,同时可以将本发明实施例中绝缘子污闪检测系统YOLO-AFPS的测试结果与YOLOv7-tiny模型的指标进行比对,结果如表1所示:
从表中可以看出,相较于传统的YOLOv7-tiny模型,采用本发明实施例中绝缘子污闪检测系统YOLO-AFPS进行绝缘子污闪检测,可以大大提高检测精度,能够实现较为准确的检测,且检测速度FPS能够满足工程应用中实时检测需求,有助于电网公司巡检人员开展绝缘子防污闪及处理工作,同时检测速度以及模型占用内存与YOLOv7-tiny模型的测试数据相比,在较大提高了检测精度的前提下,两者差别可以忽略不计。
针对绝缘子污闪检测搭建绝缘子污闪检测系统,以及构建对应的绝缘子污闪检测模型,并采用绝缘子污闪图像数据集进行模型训练以及测试,从而采用训练后的绝缘子污闪检测模型并结合绝缘子污闪检测方法,可以实现快速准确地检测出绝缘子污闪位置,大大提高检测效率以及检测准确度。
在本发明实施例中,对于绝缘子污闪检测过程,针对样本图像集,通过采用结合自适应局部对比度增强处理技术的数据增强方法进行图像处理,实现增强绝缘子污闪区域局部对比度的同时增广样本,从而提高绝缘子污闪检测系统在实际应用下的检测精度;针对绝缘子污闪检测系统,通过采用基于粒子群优化算法结合自注意力机制的粒子群特征优化子模块改进特征融合模块,能够自适应地获得一组最优的权重参数,从而克服全局信息与局部信息的不平衡,实现局部区域重要性的自适应调节,同时在检测模块引入自适应解码预测子模块对输出的强化特征进行自适应解码预测处理,总体上增强了绝缘子污闪检测系统的小目标检测能力,提高了模型对污闪区域小目标的空间辨识能力。通过采用本发明实施例所提供的绝缘子污闪检测方法,并结合绝缘子污闪检测系统,实现了快速准确地检测出绝缘子污闪位置,大大提高了检测效率以及检测准确度。
参照图8,示出了本发明实施例提供的一种基于YOLO-AFPS的绝缘子污闪检测装置的结构框图,具体可以包括:
绝缘子污闪图像获取模块801,用于获取需要进行检测的绝缘子污闪图像,并将所述绝缘子污闪图像输入至绝缘子污闪检测系统,所述绝缘子污闪检测系统包括特征提取模块、特征融合优化模块以及自适应检测模块;
特征提取强化处理模块802,用于通过所述特征提取模块对所述绝缘子污闪图像进行特征提取强化处理,输出浅层污闪特征、中层污闪特征以及深层污闪特征;
粒子群特征融合优化处理模块803,用于将所述浅层污闪特征、所述中层污闪特征以及所述深层污闪特征输入至所述特征融合优化模块进行粒子群特征融合优化处理,输出浅层强化特征、中层强化特征以及深层强化特征;
自适应解码预测处理模块804,用于将所述浅层强化特征、所述中层强化特征以及所述深层强化特征输入至所述自适应检测模块分别进行自适应解码预测处理,输出各自对应的自适应解耦检测头;
绝缘子污闪检测模块805,用于采用各个所述自适应解耦检测头对所述绝缘子污闪图像进行污闪检测,确定绝缘子污闪位置。
在一种可选实施例中,所述特征提取强化处理模块802包括:
浅层污闪特征输出模块,用于将所述绝缘子污闪图像输入所述特征提取模块进行连续两次标准卷积处理,获得压缩特征图,接着对所述压缩特征图先进行多模态特征强化处理,再进行最大值池化处理,接着再进行多模态特征强化处理,输出浅层污闪特征;
中层污闪特征输出模块,用于对所述浅层污闪特征先进行最大值池化处理,再进行多模态特征强化处理,输出中层污闪特征;
深层污闪特征输出模块,用于对所述中层污闪特征进行最大值池化处理,输出深层污闪特征。
在一种可选实施例中,所述粒子群特征融合优化处理模块803包括:
第一融合优化特征图生成模块,用于对所述深层污闪特征进行空间金字塔池化处理,获得增强空间特征图,接着对所述增强空间特征图先进行标准卷积处理,再进行粒子群特征优化处理,获得第一融合优化特征图;
强化堆叠特征图生成模块,用于对所述中层污闪特征进行标准卷积处理后,与所述第一融合优化特征图进行特征堆叠,获得第一堆叠特征图,对所述第一堆叠特征图进行多模态特征强化处理,输出强化堆叠特征图;
第二融合优化特征图生成模块,用于对所述强化堆叠特征图先进行标准卷积处理,再进行粒子群特征优化处理,获得第二融合优化特征图;
浅层强化特征输出子模块,用于对所述浅层污闪特征进行标准卷积处理后,与所述第二融合优化特征图进行特征堆叠,获得第二堆叠特征图,对所述第二堆叠特征图进行多模态特征强化处理,输出浅层强化特征;
中层强化特征输出子模块,用于对所述浅层强化特征进行下采样处理后,与所述强化堆叠特征图进行特征堆叠,获得第三堆叠特征图,对所述第三堆叠特征图进行多模态特征强化处理,输出中层强化特征;
深层强化特征输出子模块,用于对所述中层强化特征进行下采样处理后,与所述增强空间特征图进行特征堆叠,获得第四堆叠特征图,对所述第四堆叠特征图进行多模态特征强化处理,输出深层强化特征。
在一种可选实施例中,所述特征融合优化模块中包括粒子群特征优化子模块,所述装置还包括:
粒子群优化计算模块,用于将需要进行粒子群特征优化处理的原始输入特征图输入至所述粒子群特征优化子模块,对所述原始输入特征图进行粒子群优化计算,获得最优输出特征向量;
变换输出特征向量生成模块,用于对所述最优输出特征向量进行线性变换,获得对应的变换输出特征向量;
输出权重计算模块,用于将所述变换输出特征向量分别输入至三个全连接层并分别进行点积运算,再进行归一化处理,获得每一所述变换输出特征向量对应的输出权重;
最终输出特征向量生成模块,用于基于每一所述输出权重以及每一所述输出权重对应的变换输出特征向量进行加权求和,获得所述粒子群特征优化子模块输出的与所述最优输出特征向量对应的最终输出特征向量。
在一种可选实施例中,所述粒子群优化计算模块包括:
权重向量分解模块,用于对所述原始输入特征图进行权重向量分解,获得多个权重向量;
粒子群初始化模块,用于采用正态分布随机初始化一个粒子群,并确定所述粒子群中每个粒子的粒子位置以及粒子速度,所述粒子位置表示当前的权重向量,所述粒子速度表示搜索方向与速率;
粒子群优化算法构建模块,用于构建粒子群优化算法,采用实数编码方式设定一个权重向量对应一个粒子,并确定每个权重向量的大小;
适应度函数计算模块,用于将每一所述粒子对应的权重向量作为间接输入,基于最小损失函数计算适应度函数,所述适应度函数用于反映各个所述权重向量的性能;
全局最优计算模块,用于获取每一所述粒子的历史最优位置,并采用所述历史最优位置与预设惯性权重进行全局最优计算,并基于计算结果对每一所述粒子的粒子位置以及粒子速度进行迭代更新;
全局最优位置输出模块,用于基于迭代更新后的粒子所对应的权重向量再次计算适应度函数,当适应度函数结果表征权重向量的性能达到最优时,输出对应的全局最优位置,并结束对各个粒子的迭代更新;
最优输出特征向量确定模块,用于输出所述全局最优位置对应的权重向量作为最优输出特征向量。
在一种可选实施例中,所述适应度函数计算模块具体用于:
将每一所述粒子对应的权重向量作为间接输入,基于最小损失函数计算目标函数值,并将所述目标函数值作为适应度函数,计算公式如下:
;
其中,Loss为适应度函数,N为目标分类数,y t 为目标分类数为t时的真实标签,p为目标分类数为t时的预测值,log(*)为对数函数。
在一种可选实施例中,所述全局最优计算模块具体用于:
根据所述历史最优位置与预设惯性权重,采用下列计算公式进行全局最优计算:
;
;
;/>
其中,ω为惯性因子,即预设惯性权重,n为当前迭代次数,c 1与c 2均为学习因子,rand(*)为0-1之间的随机数,pbest n 与gbest n 为粒子跟踪过程中的极值,v n-1为粒子上一次迭代的粒子速度,x n-1为粒子上一次迭代的粒子位置,即粒子的历史最优位置,x n 为粒子的当前粒子位置,即权重向量,v n 为粒子的当前速度,即搜索方向与速率,G k 为最大迭代次数,g为当前迭代次数,ω ini 为初始惯性权重值,ω end 为迭代至最大次数时的惯性权重值。
在一种可选实施例中,所述变换输出特征向量生成模块具体用于:
通过下列公式对所述最优输出特征向量进行线性变换,获得对应的变换输出特征向量:
;
其中,x为最优输出特征向量,h为进行线性变换后获得的变换输出特征向量,W与b均为可学习参数。
在一种可选实施例中,所述输出权重计算模块包括:
点积运算模块,用于将所述变换输出特征向量分别输入至三个全连接层,对于每一个全连接层,提取所述变换输出特征向量在第一位置上的所有第一位置向量,以及在第二位置上的所有第二位置向量,并采用每一所述第一位置向量分别与每一所述第二位置向量进行点积运算,获得点积权值,计算公式如下:
;
其中,a ij 为点积权值,h i 为第一位置i对应的第一位置向量,h j 为第二位置j对应的第二位置向量;
归一化处理模块,用于对所述点积权值进行归一化处理,获得注意力权重系数,并将所述注意力权重系数作为所述变换输出特征向量对应的输出权重,计算公式如下:
;
其中,S ij 为注意力权重系数,a kj 为位置k处的特征向量与位置j处特征向量的相似度权值,exp(*)为以自然常数e为底的指数函数。
在一种可选实施例中,所述最终输出特征向量生成模块具体用于:
采用每一所述输出权重,对每一所述输出权重对应的第二位置上的所有第二位置向量进行加权求和,获得对应的最终输出特征向量,计算公式如下:
;
其中,c i 为最终输出特征向量。
在一种可选实施例中,所述自适应检测模块中包括自适应解码预测子模块,所述自适应解码预测处理模块804包括:
目标降维强化特征生成模块,用于将需要进行解码处理的目标强化特征输入至所述自适应解码预测子模块,并对所述目标强化特征进行1×1卷积计算,获得目标降维强化特征,所述目标降维强化特征包括污闪目标分类特征以及污闪定位任务特征;
目标降维强化特征卷积计算模块,用于对所述污闪目标分类特征以及所述污闪定位任务特征先分别进行连续两次的3×3卷积计算,再分别进行1×1卷积计算,输出所述污闪目标分类特征对应的检测目标类别向量,所述污闪定位任务特征对应的检测框坐标向量以及检测框置信度向量;
自适应解耦检测头输出模块,用于将所述检测目标类别向量、所述检测框坐标向量以及所述检测框置信度向量进行特征融合,输出所述目标强化特征对应的自适应解耦检测头。
在一种可选实施例中,所述装置还包括:
绝缘子污闪检测系统搭建模块,用于搭建绝缘子污闪检测系统,并在所述绝缘子污闪检测系统中设置特征提取模块、特征融合优化模块与自适应检测模块,以构建绝缘子污闪检测模型;
模型训练与图像检测测试模块,用于获取经过自适应局部数据增强处理的绝缘子污闪图像数据集,并采用所述绝缘子污闪图像数据集对所述绝缘子污闪检测模型进行模型训练以及图像检测测试;
污闪检测数据计算模块,用于根据图像检测测试结果计算污闪检测数据,依据所述污闪检测数据对所述绝缘子污闪检测模型进行模型评价。
在一种可选实施例中,所述模型训练与图像检测测试模块包括:
归一化输入图像处理模块,用于将所述绝缘子污闪图像数据集按预设比例划分为污闪训练集、污闪验证集以及污闪测试集,并对所述污闪训练集以及所述污闪验证集中的绝缘子污闪图像进行归一化输入图像处理,获得所述污闪训练集对应的校正训练集,以及所述污闪验证集对应的校正验证集;
模型训练与图像检测测试子模块,用于通过所述校正训练集以及所述校正验证集对所述绝缘子污闪检测模型进行训练与验证,并将所述污闪测试集输入至训练后的绝缘子污闪检测模型进行图像检测测试。
在一种可选实施例中,所述模型训练与图像检测测试子模块包括:
先验框尺寸确定模块,用于采用K均值聚类算法对所述校正训练集进行聚类计算,确定先验框尺寸,所述先验框尺寸分别对应浅、中、深三个尺度,所述先验框尺寸用于在模型训练时辅助模型进行目标定位;
预训练处理模块,用于采用预设图像数据集对所述绝缘子污闪检测模型进行预训练处理,获得污闪检测预训练模型;
绝缘子污闪检测模型训练模块,用于基于所述先验框尺寸以及所述污闪检测预训练模型的权重,采用所述校正训练集以及所述校正验证集先对所述绝缘子污闪检测模型的特征融合优化模块以及自适应检测模块进行局部模型训练与验证,再对所述绝缘子污闪检测模型进行整体模型训练与验证。
在一种可选实施例中,所述装置还包括:
绝缘子污闪标签文件集生成模块,用于获取绝缘子的巡检记录图像样本集,从所述巡检记录图像样本集中筛选出多张绝缘子污闪图像样本,并对所述多张绝缘子污闪图像样本进行污闪标记处理,生成对应的绝缘子污闪标签文件集;
自适应局部数据增强处理模块,用于采用所述多张绝缘子污闪图像样本进行自适应局部数据增强处理,获得多张增广绝缘子污闪图像,并对所述多张增广绝缘子污闪图像进行标签创建操作,生成对应的污闪图像变换标签文件集;
绝缘子污闪图像数据集确定模块,用于将所述多张绝缘子污闪图像样本、所述绝缘子污闪标签文件集、所述多张增广绝缘子污闪图像以及所述污闪图像变换标签文件集作为所述绝缘子的绝缘子污闪图像数据集。
在一种可选实施例中,所述自适应局部数据增强处理模块包括:
图像划分模块,用于执行步骤S1:对每一张所述绝缘子污闪图像样本进行图像划分,获得每一所述绝缘子污闪图像样本各自对应的若干个绝缘子污闪图像块;
增益因子计算模块,用于执行步骤S2:计算所述绝缘子污闪图像块内像素的局部均值以及局部方差,并根据所述局部均值以及所述局部方差计算增益因子;
局部对比度增强图像块生成模块,用于执行步骤S3:获取所述绝缘子污闪图像块内每一像素对应的原始灰度值,采用每一所述原始灰度值乘以所述增益因子,获得每一所述像素对应的增益灰度值,并对每一灰度增益后的像素进行像素值裁剪,获得所述绝缘子污闪图像块对应的局部对比度增强图像块;
局部对比度增强图像生成模块,用于执行步骤S4:重复步骤S2-S3,基于各个所述局部对比度增强图像块,组成所述绝缘子污闪图像样本对应的局部对比度增强图像;
局部对比度增强图像随机选取模块,用于执行步骤S5:从所有局部对比度增强图像中随机选取两张不同的第一局部对比度增强图像以及第二局部对比度增强图像,并从β分布中随机确定所述第二局部对比度增强图像对应的增强权重;
增广绝缘子污闪图像生成模块,用于执行步骤S6:对所述第一局部对比度增强图像进行随机剪切,并基于所述增强权重,将剪切后的第一局部对比度增强图像与所述第二局部对比度增强图像进行图像堆叠,获得堆叠增强图像,并对所述堆叠增强图像进行随机变换,获得增广绝缘子污闪图像;
增广绝缘子污闪图像重复生成模块,用于执行步骤S7:重复步骤S5-S6,获得多张增广绝缘子污闪图像。
在一种可选实施例中,所述增益因子计算模块具体用于:
根据所述局部均值以及所述局部方差,采用下列公式计算增益因子:
;
其中,q为增益因子,k为常数,a为调节参数,var为局部方差,mean为局部均值。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述得比较简单,相关之处参见前述方法实施例的部分说明即可。
本发明实施例还提供了一种电子设备,设备包括处理器以及存储器:
存储器用于存储程序代码,并将程序代码传输给处理器;
处理器用于根据程序代码中的指令执行本发明任一实施例的基于YOLO-AFPS的绝缘子污闪检测方法。
本发明实施例还提供了一种计算机可读存储介质,计算机可读存储介质用于存储程序代码,程序代码用于执行本发明任一实施例的基于YOLO-AFPS的绝缘子污闪检测方法。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (20)
1.一种基于YOLO-AFPS的绝缘子污闪检测方法,其特征在于,包括:
获取需要进行检测的绝缘子污闪图像,并将所述绝缘子污闪图像输入至绝缘子污闪检测系统,所述绝缘子污闪检测系统包括特征提取模块、特征融合优化模块以及自适应检测模块;
通过所述特征提取模块对所述绝缘子污闪图像进行特征提取强化处理,输出浅层污闪特征、中层污闪特征以及深层污闪特征;
将所述浅层污闪特征、所述中层污闪特征以及所述深层污闪特征输入至所述特征融合优化模块进行粒子群特征融合优化处理,输出浅层强化特征、中层强化特征以及深层强化特征;
将所述浅层强化特征、所述中层强化特征以及所述深层强化特征输入至所述自适应检测模块分别进行自适应解码预测处理,输出各自对应的自适应解耦检测头;
采用各个所述自适应解耦检测头对所述绝缘子污闪图像进行污闪检测,确定绝缘子污闪位置。
2.根据权利要求1所述的绝缘子污闪检测方法,其特征在于,所述通过所述特征提取模块对所述绝缘子污闪图像进行特征提取强化处理,输出浅层污闪特征、中层污闪特征以及深层污闪特征,包括:
将所述绝缘子污闪图像输入所述特征提取模块进行连续两次标准卷积处理,获得压缩特征图,接着对所述压缩特征图先进行多模态特征强化处理,再进行最大值池化处理,接着再进行多模态特征强化处理,输出浅层污闪特征;
对所述浅层污闪特征先进行最大值池化处理,再进行多模态特征强化处理,输出中层污闪特征;
对所述中层污闪特征进行最大值池化处理,输出深层污闪特征。
3.根据权利要求1或2所述的绝缘子污闪检测方法,其特征在于,所述将所述浅层污闪特征、所述中层污闪特征以及所述深层污闪特征输入至所述特征融合优化模块进行粒子群特征融合优化处理,输出浅层强化特征、中层强化特征以及深层强化特征,包括:
对所述深层污闪特征进行空间金字塔池化处理,获得增强空间特征图,接着对所述增强空间特征图先进行标准卷积处理,再进行粒子群特征优化处理,获得第一融合优化特征图;
对所述中层污闪特征进行标准卷积处理后,与所述第一融合优化特征图进行特征堆叠,获得第一堆叠特征图,对所述第一堆叠特征图进行多模态特征强化处理,输出强化堆叠特征图;
对所述强化堆叠特征图先进行标准卷积处理,再进行粒子群特征优化处理,获得第二融合优化特征图;
对所述浅层污闪特征进行标准卷积处理后,与所述第二融合优化特征图进行特征堆叠,获得第二堆叠特征图,对所述第二堆叠特征图进行多模态特征强化处理,输出浅层强化特征;
对所述浅层强化特征进行下采样处理后,与所述强化堆叠特征图进行特征堆叠,获得第三堆叠特征图,对所述第三堆叠特征图进行多模态特征强化处理,输出中层强化特征;
对所述中层强化特征进行下采样处理后,与所述增强空间特征图进行特征堆叠,获得第四堆叠特征图,对所述第四堆叠特征图进行多模态特征强化处理,输出深层强化特征。
4.根据权利要求3所述的绝缘子污闪检测方法,其特征在于,所述特征融合优化模块中包括粒子群特征优化子模块,所述粒子群特征优化处理的步骤,包括:
将需要进行粒子群特征优化处理的原始输入特征图输入至所述粒子群特征优化子模块,对所述原始输入特征图进行粒子群优化计算,获得最优输出特征向量;
对所述最优输出特征向量进行线性变换,获得对应的变换输出特征向量;
将所述变换输出特征向量分别输入至三个全连接层并分别进行点积运算,再进行归一化处理,获得每一所述变换输出特征向量对应的输出权重;
基于每一所述输出权重以及每一所述输出权重对应的变换输出特征向量进行加权求和,获得所述粒子群特征优化子模块输出的与所述最优输出特征向量对应的最终输出特征向量。
5.根据权利要求4所述的绝缘子污闪检测方法,其特征在于,所述对所述原始输入特征图进行粒子群优化计算,获得最优输出特征向量,包括:
对所述原始输入特征图进行权重向量分解,获得多个权重向量;
采用正态分布随机初始化一个粒子群,并确定所述粒子群中每个粒子的粒子位置以及粒子速度,所述粒子位置表示当前的权重向量,所述粒子速度表示搜索方向与速率;
构建粒子群优化算法,采用实数编码方式设定一个权重向量对应一个粒子,并确定每个权重向量的大小;
将每一所述粒子对应的权重向量作为间接输入,基于最小损失函数计算适应度函数,所述适应度函数用于反映各个所述权重向量的性能;
获取每一所述粒子的历史最优位置,并采用所述历史最优位置与预设惯性权重进行全局最优计算,并基于计算结果对每一所述粒子的粒子位置以及粒子速度进行迭代更新;
基于迭代更新后的粒子所对应的权重向量再次计算适应度函数,当适应度函数结果表征权重向量的性能达到最优时,输出对应的全局最优位置,并结束对各个粒子的迭代更新;
输出所述全局最优位置对应的权重向量作为最优输出特征向量。
6.根据权利要求5所述的绝缘子污闪检测方法,其特征在于,所述将每一所述粒子对应的权重向量作为间接输入,基于最小损失函数计算适应度函数,包括:
将每一所述粒子对应的权重向量作为间接输入,基于最小损失函数计算目标函数值,并将所述目标函数值作为适应度函数,计算公式如下:
;
其中,Loss为适应度函数,N为目标分类数,y t 为目标分类数为t时的真实标签,p为目标分类数为t时的预测值,log(*)为对数函数。
7.根据权利要求6所述的绝缘子污闪检测方法,其特征在于,所述采用所述历史最优位置与预设惯性权重进行全局最优计算,包括:
根据所述历史最优位置与预设惯性权重,采用下列计算公式进行全局最优计算:
;
;
;
其中,ω为惯性因子,即预设惯性权重,n为当前迭代次数,c 1与c 2均为学习因子,rand(*)为0-1之间的随机数,pbest n 与gbest n 为粒子跟踪过程中的极值,v n-1为粒子上一次迭代的粒子速度,x n-1为粒子上一次迭代的粒子位置,即粒子的历史最优位置,x n 为粒子的当前粒子位置,即权重向量,v n 为粒子的当前速度,即搜索方向与速率,G k 为最大迭代次数,g为当前迭代次数,ω ini 为初始惯性权重值,ω end 为迭代至最大次数时的惯性权重值。
8.根据权利要求4所述的绝缘子污闪检测方法,其特征在于,所述对所述最优输出特征向量进行线性变换,获得对应的变换输出特征向量,包括:
通过下列公式对所述最优输出特征向量进行线性变换,获得对应的变换输出特征向量:
;
其中,x为最优输出特征向量,h为进行线性变换后获得的变换输出特征向量,W与b均为可学习参数。
9.根据权利要求8所述的绝缘子污闪检测方法,其特征在于,所述将所述变换输出特征向量分别输入至三个全连接层并分别进行点积运算,再进行归一化处理,获得每一所述变换输出特征向量对应的输出权重,包括:
将所述变换输出特征向量分别输入至三个全连接层,对于每一个全连接层,提取所述变换输出特征向量在第一位置上的所有第一位置向量,以及在第二位置上的所有第二位置向量,并采用每一所述第一位置向量分别与每一所述第二位置向量进行点积运算,获得点积权值,计算公式如下:
;
其中,a ij 为点积权值,h i 为第一位置i对应的第一位置向量,h j 为第二位置j对应的第二位置向量;
对所述点积权值进行归一化处理,获得注意力权重系数,并将所述注意力权重系数作为所述变换输出特征向量对应的输出权重,计算公式如下:
;
其中,S ij 为注意力权重系数,a kj 为位置k处的特征向量与位置j处特征向量的相似度权值,exp(*)为以自然常数e为底的指数函数。
10.根据权利要求9所述的绝缘子污闪检测方法,其特征在于,所述基于每一所述输出权重以及每一所述输出权重对应的变换输出特征向量进行加权求和,获得所述粒子群特征优化子模块输出的与所述最优输出特征向量对应的最终输出特征向量,包括:
采用每一所述输出权重,对每一所述输出权重对应的第二位置上的所有第二位置向量进行加权求和,获得对应的最终输出特征向量,计算公式如下:
;
其中,c i 为最终输出特征向量。
11.根据权利要求1所述的绝缘子污闪检测方法,其特征在于,所述自适应检测模块中包括自适应解码预测子模块,所述自适应解码预测处理的步骤,包括:
将需要进行解码处理的目标强化特征输入至所述自适应解码预测子模块,并对所述目标强化特征进行1×1卷积计算,获得目标降维强化特征,所述目标降维强化特征包括污闪目标分类特征以及污闪定位任务特征;
对所述污闪目标分类特征以及所述污闪定位任务特征先分别进行连续两次的3×3卷积计算,再分别进行1×1卷积计算,输出所述污闪目标分类特征对应的检测目标类别向量,所述污闪定位任务特征对应的检测框坐标向量以及检测框置信度向量;
将所述检测目标类别向量、所述检测框坐标向量以及所述检测框置信度向量进行特征融合,输出所述目标强化特征对应的自适应解耦检测头。
12.根据权利要求1所述的绝缘子污闪检测方法,其特征在于,还包括:
搭建绝缘子污闪检测系统,并在所述绝缘子污闪检测系统中设置特征提取模块、特征融合优化模块与自适应检测模块,以构建绝缘子污闪检测模型;
获取经过自适应局部数据增强处理的绝缘子污闪图像数据集,并采用所述绝缘子污闪图像数据集对所述绝缘子污闪检测模型进行模型训练以及图像检测测试;
根据图像检测测试结果计算污闪检测数据,依据所述污闪检测数据对所述绝缘子污闪检测模型进行模型评价。
13.根据权利要求12所述的绝缘子污闪检测方法,其特征在于,所述采用所述绝缘子污闪图像数据集对所述绝缘子污闪检测模型进行模型训练以及图像检测测试,包括:
将所述绝缘子污闪图像数据集按预设比例划分为污闪训练集、污闪验证集以及污闪测试集,并对所述污闪训练集以及所述污闪验证集中的绝缘子污闪图像进行归一化输入图像处理,获得所述污闪训练集对应的校正训练集,以及所述污闪验证集对应的校正验证集;
通过所述校正训练集以及所述校正验证集对所述绝缘子污闪检测模型进行训练与验证,并将所述污闪测试集输入至训练后的绝缘子污闪检测模型进行图像检测测试。
14.根据权利要求13所述的绝缘子污闪检测方法,其特征在于,所述通过所述校正训练集以及所述校正验证集对所述绝缘子污闪检测模型进行训练与验证,包括:
采用K均值聚类算法对所述校正训练集进行聚类计算,确定先验框尺寸,所述先验框尺寸分别对应浅、中、深三个尺度,所述先验框尺寸用于在模型训练时辅助模型进行目标定位;
采用预设图像数据集对所述绝缘子污闪检测模型进行预训练处理,获得污闪检测预训练模型;
基于所述先验框尺寸以及所述污闪检测预训练模型的权重,采用所述校正训练集以及所述校正验证集先对所述绝缘子污闪检测模型的特征融合优化模块以及自适应检测模块进行局部模型训练与验证,再对所述绝缘子污闪检测模型进行整体模型训练与验证。
15.根据权利要求12所述的绝缘子污闪检测方法,其特征在于,在所述获取经过自适应局部数据增强处理的绝缘子污闪图像数据集之前,所述方法还包括:
获取绝缘子的巡检记录图像样本集,从所述巡检记录图像样本集中筛选出多张绝缘子污闪图像样本,并对所述多张绝缘子污闪图像样本进行污闪标记处理,生成对应的绝缘子污闪标签文件集;
采用所述多张绝缘子污闪图像样本进行自适应局部数据增强处理,获得多张增广绝缘子污闪图像,并对所述多张增广绝缘子污闪图像进行标签创建操作,生成对应的污闪图像变换标签文件集;
将所述多张绝缘子污闪图像样本、所述绝缘子污闪标签文件集、所述多张增广绝缘子污闪图像以及所述污闪图像变换标签文件集作为所述绝缘子的绝缘子污闪图像数据集。
16.根据权利要求15所述的绝缘子污闪检测方法,其特征在于,所述采用所述多张绝缘子污闪图像样本进行自适应局部数据增强处理,获得多张增广绝缘子污闪图像,包括:
步骤S1:对每一张所述绝缘子污闪图像样本进行图像划分,获得每一所述绝缘子污闪图像样本各自对应的若干个绝缘子污闪图像块;
步骤S2:计算所述绝缘子污闪图像块内像素的局部均值以及局部方差,并根据所述局部均值以及所述局部方差计算增益因子;
步骤S3:获取所述绝缘子污闪图像块内每一像素对应的原始灰度值,采用每一所述原始灰度值乘以所述增益因子,获得每一所述像素对应的增益灰度值,并对每一灰度增益后的像素进行像素值裁剪,获得所述绝缘子污闪图像块对应的局部对比度增强图像块;
步骤S4:重复步骤S2-S3,基于各个所述局部对比度增强图像块,组成所述绝缘子污闪图像样本对应的局部对比度增强图像;
步骤S5:从所有局部对比度增强图像中随机选取两张不同的第一局部对比度增强图像以及第二局部对比度增强图像,并从β分布中随机确定所述第二局部对比度增强图像对应的增强权重;
步骤S6:对所述第一局部对比度增强图像进行随机剪切,并基于所述增强权重,将剪切后的第一局部对比度增强图像与所述第二局部对比度增强图像进行图像堆叠,获得堆叠增强图像,并对所述堆叠增强图像进行随机变换,获得增广绝缘子污闪图像;
步骤S7:重复步骤S5-S6,获得多张增广绝缘子污闪图像。
17.根据权利要求16所述的绝缘子污闪检测方法,其特征在于,所述根据所述局部均值以及所述局部方差计算增益因子,包括:
根据所述局部均值以及所述局部方差,采用下列公式计算增益因子:
;
其中,q为增益因子,k为常数,a为调节参数,var为局部方差,mean为局部均值。
18.一种基于YOLO-AFPS的绝缘子污闪检测装置,其特征在于,包括:
绝缘子污闪图像获取模块,用于获取需要进行检测的绝缘子污闪图像,并将所述绝缘子污闪图像输入至绝缘子污闪检测系统,所述绝缘子污闪检测系统包括特征提取模块、特征融合优化模块以及自适应检测模块;
特征提取强化处理模块,用于通过所述特征提取模块对所述绝缘子污闪图像进行特征提取强化处理,输出浅层污闪特征、中层污闪特征以及深层污闪特征;
粒子群特征融合优化处理模块,用于将所述浅层污闪特征、所述中层污闪特征以及所述深层污闪特征输入至所述特征融合优化模块进行粒子群特征融合优化处理,输出浅层强化特征、中层强化特征以及深层强化特征;
自适应解码预测处理模块,用于将所述浅层强化特征、所述中层强化特征以及所述深层强化特征输入至所述自适应检测模块分别进行自适应解码预测处理,输出各自对应的自适应解耦检测头;
绝缘子污闪检测模块,用于采用各个所述自适应解耦检测头对所述绝缘子污闪图像进行污闪检测,确定绝缘子污闪位置。
19.一种电子设备,其特征在于,所述设备包括处理器以及存储器:
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令执行权利要求1-17任一项所述的基于YOLO-AFPS的绝缘子污闪检测方法。
20.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储程序代码,所述程序代码用于执行权利要求1-17任一项所述的基于YOLO-AFPS的绝缘子污闪检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310753564.1A CN116503399B (zh) | 2023-06-26 | 2023-06-26 | 基于yolo-afps的绝缘子污闪检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310753564.1A CN116503399B (zh) | 2023-06-26 | 2023-06-26 | 基于yolo-afps的绝缘子污闪检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116503399A true CN116503399A (zh) | 2023-07-28 |
CN116503399B CN116503399B (zh) | 2024-03-22 |
Family
ID=87323448
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310753564.1A Active CN116503399B (zh) | 2023-06-26 | 2023-06-26 | 基于yolo-afps的绝缘子污闪检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116503399B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116681885A (zh) * | 2023-08-03 | 2023-09-01 | 国网安徽省电力有限公司超高压分公司 | 输变电设备红外图像目标识别方法及系统 |
CN117422689A (zh) * | 2023-10-31 | 2024-01-19 | 南京邮电大学 | 一种基于改进MS-PReNet和GAM-YOLOv7的雨天绝缘子缺陷检测方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8645294B1 (en) * | 2004-02-03 | 2014-02-04 | Hrl Laboratories, Llc | Method for image registration utilizing particle swarm optimization |
CN108008237A (zh) * | 2017-11-29 | 2018-05-08 | 国网湖北省电力有限公司检修公司 | 一种输电线路绝缘子污闪自动可视化观测系统及方法 |
WO2018188309A1 (zh) * | 2017-04-10 | 2018-10-18 | 京东方科技集团股份有限公司 | 行人识别装置及方法、辅助驾驶装置 |
CN109799442A (zh) * | 2019-03-29 | 2019-05-24 | 云南电网有限责任公司电力科学研究院 | 基于机载高光谱的绝缘子污闪预测方法及系统 |
CN111260653A (zh) * | 2020-04-27 | 2020-06-09 | 腾讯科技(深圳)有限公司 | 一种图像分割方法、装置、存储介质和电子设备 |
US20210241475A1 (en) * | 2018-05-03 | 2021-08-05 | The Governing Council Of The University Of Toronto | Method and system for optimizing depth imaging |
CN115272749A (zh) * | 2022-07-05 | 2022-11-01 | 长沙理工大学 | 一种基于XGBoost的多尺度特征融合遥感图像分类模型 |
CN115311579A (zh) * | 2022-02-22 | 2022-11-08 | 湖南中科助英智能科技研究院有限公司 | 一种弱对比度环境下无人机鲁棒检测方法、装置和设备 |
CN116256586A (zh) * | 2023-05-10 | 2023-06-13 | 广东电网有限责任公司湛江供电局 | 电力设备过热检测方法、装置、电子设备与存储介质 |
-
2023
- 2023-06-26 CN CN202310753564.1A patent/CN116503399B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8645294B1 (en) * | 2004-02-03 | 2014-02-04 | Hrl Laboratories, Llc | Method for image registration utilizing particle swarm optimization |
WO2018188309A1 (zh) * | 2017-04-10 | 2018-10-18 | 京东方科技集团股份有限公司 | 行人识别装置及方法、辅助驾驶装置 |
CN108008237A (zh) * | 2017-11-29 | 2018-05-08 | 国网湖北省电力有限公司检修公司 | 一种输电线路绝缘子污闪自动可视化观测系统及方法 |
US20210241475A1 (en) * | 2018-05-03 | 2021-08-05 | The Governing Council Of The University Of Toronto | Method and system for optimizing depth imaging |
CN109799442A (zh) * | 2019-03-29 | 2019-05-24 | 云南电网有限责任公司电力科学研究院 | 基于机载高光谱的绝缘子污闪预测方法及系统 |
CN111260653A (zh) * | 2020-04-27 | 2020-06-09 | 腾讯科技(深圳)有限公司 | 一种图像分割方法、装置、存储介质和电子设备 |
CN115311579A (zh) * | 2022-02-22 | 2022-11-08 | 湖南中科助英智能科技研究院有限公司 | 一种弱对比度环境下无人机鲁棒检测方法、装置和设备 |
CN115272749A (zh) * | 2022-07-05 | 2022-11-01 | 长沙理工大学 | 一种基于XGBoost的多尺度特征融合遥感图像分类模型 |
CN116256586A (zh) * | 2023-05-10 | 2023-06-13 | 广东电网有限责任公司湛江供电局 | 电力设备过热检测方法、装置、电子设备与存储介质 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116681885A (zh) * | 2023-08-03 | 2023-09-01 | 国网安徽省电力有限公司超高压分公司 | 输变电设备红外图像目标识别方法及系统 |
CN116681885B (zh) * | 2023-08-03 | 2024-01-02 | 国网安徽省电力有限公司超高压分公司 | 输变电设备红外图像目标识别方法及系统 |
CN117422689A (zh) * | 2023-10-31 | 2024-01-19 | 南京邮电大学 | 一种基于改进MS-PReNet和GAM-YOLOv7的雨天绝缘子缺陷检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN116503399B (zh) | 2024-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
El Amin et al. | Convolutional neural network features based change detection in satellite images | |
CN109840556B (zh) | 一种基于孪生网络的图像分类识别方法 | |
CN116503399B (zh) | 基于yolo-afps的绝缘子污闪检测方法 | |
WO2020177432A1 (zh) | 基于目标检测网络的多标签物体检测方法、系统、装置 | |
CN110110601A (zh) | 基于多时空注意力模型的视频行人重识别算法及装置 | |
CN111325115A (zh) | 带有三重约束损失的对抗跨模态行人重识别方法和系统 | |
CN110222718B (zh) | 图像处理的方法及装置 | |
CN111179270A (zh) | 基于注意力机制的图像共分割方法和装置 | |
CN110704652A (zh) | 基于多重注意力机制的车辆图像细粒度检索方法及装置 | |
CN113569672A (zh) | 轻量级目标检测与故障识别方法、装置及系统 | |
CN115439694A (zh) | 一种基于深度学习的高精度点云补全方法及装置 | |
CN111738074B (zh) | 基于弱监督学习的行人属性识别方法、系统及装置 | |
CN115311502A (zh) | 基于多尺度双流架构的遥感图像小样本场景分类方法 | |
CN114529583B (zh) | 基于残差回归网络的电力设备跟踪方法及跟踪系统 | |
CN116503398B (zh) | 绝缘子污闪检测方法、装置、电子设备及存储介质 | |
CN112668662B (zh) | 基于改进YOLOv3网络的野外山林环境目标检测方法 | |
CN114792430A (zh) | 基于极化自注意力的行人重识别方法、系统及相关设备 | |
CN116805387B (zh) | 基于知识蒸馏的模型训练方法、质检方法和相关设备 | |
Hou et al. | Retracted: KSSD: single‐stage multi‐object detection algorithm with higher accuracy | |
Li et al. | Research on YOLOv3 pedestrian detection algorithm based on channel attention mechanism | |
CN115861595A (zh) | 一种基于深度学习的多尺度域自适应异源图像匹配方法 | |
CN115063831A (zh) | 一种高性能行人检索与重识别方法及装置 | |
CN117036658A (zh) | 一种图像处理方法及相关设备 | |
CN115240121B (zh) | 一种用于增强行人局部特征的联合建模方法和装置 | |
Guo et al. | Indoor visual positioning based on image retrieval in dense connected convolutional network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |