CN114359167B - 一种复杂场景下基于轻量化YOLOv4的绝缘子缺陷检测方法 - Google Patents
一种复杂场景下基于轻量化YOLOv4的绝缘子缺陷检测方法 Download PDFInfo
- Publication number
- CN114359167B CN114359167B CN202111532763.7A CN202111532763A CN114359167B CN 114359167 B CN114359167 B CN 114359167B CN 202111532763 A CN202111532763 A CN 202111532763A CN 114359167 B CN114359167 B CN 114359167B
- Authority
- CN
- China
- Prior art keywords
- distribution
- network
- ghostnet
- insulator
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000012212 insulator Substances 0.000 title claims abstract description 49
- 238000001514 detection method Methods 0.000 title claims abstract description 48
- 230000007547 defect Effects 0.000 title claims abstract description 43
- 238000009826 distribution Methods 0.000 claims abstract description 54
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 29
- 230000006870 function Effects 0.000 claims description 22
- 230000007246 mechanism Effects 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 12
- 230000003993 interaction Effects 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 9
- 230000010354 integration Effects 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000006872 improvement Effects 0.000 claims description 5
- 230000002776 aggregation Effects 0.000 claims description 4
- 238000004220 aggregation Methods 0.000 claims description 4
- 238000004880 explosion Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 238000011897 real-time detection Methods 0.000 abstract description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000309551 Arthraxon hispidus Species 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 208000025274 Lightning injury Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种复杂场景下基于轻量化YOLOv4的绝缘子缺陷检测方法,属于计算机视觉领域。本发明首先利用ECA‑GhostNet作为骨干网络,以提升检测速度;然后在预测层引入分类与定位质量估计联合表示方法,并且利用广义分布(General Distribution)来表达边界框的灵活分布,以提升复杂场景下绝缘子及其缺陷的检测性能。本方法的优点在于,能够实现对遮挡、模糊等复杂场景下的绝缘子及其缺陷进行实时检测,且算法模型大小与复杂度远小于目前主流算法,为绝缘子缺陷检测算法在移动端及嵌入式设备的部署奠定理论基础。
Description
技术领域
本发明涉及一种复杂场景下基于轻量化YOLOv4的绝缘子缺陷检测方法,属于计算机视觉领域,具体涉及一种可以在复杂场景下对高压输电线路绝缘子进行识别与自爆缺陷检测。
背景技术
绝缘子是高压输电线路的关键部件之一,主要作用是支撑、固定与绝缘。由于暴雨、大风、雷击等外部因素的影响,绝缘子容易受到损坏,导致出现污秽、裂纹、掉串、自爆等缺陷,所以对高压输电线路绝缘子定期巡检是十分有必要的。
目前,高压输电线路绝缘子巡检的主要方法是无人机航拍,但使用人工识别的方法处理海量的航拍图片效率极低,故研究者利用图像处理的方法进行绝缘子缺陷检测。传统的绝缘子缺陷检测算法主要包括纹理特征检测、边缘检测及阈值分割三类,但这些传统方法只能够在特定环境下对绝缘子进行局部定位与缺陷检测,并且在复杂场景下检测效果与实时性较差。
随着2012年AlexNet算法在ImageNet竞赛中获得冠军后,深度学习重新引起了人们的广泛关注,利用基于深度学习的目标检测算法进行绝缘子巡检成为新趋势。初期主要利用改进的两阶段目标检测算法进行绝缘子缺陷检测,其一定程度上能够提升检测精度但模型计算量大、检测速度慢,无法满足实时检测的需求。因而后期主要采用单阶段目标检测算法实现缺陷绝缘子的实时检测,但传统单阶段目标检测算法存在分类与定位质量估计使用不一致问题,且其是在Diract-delta分布下进行边框回归,缺乏对标签不确定性的估计,使得其在复杂场景下对绝缘子及缺陷的定位不准确。
发明内容
本发明的目的是:针对背景技术的不足,为了提升高压输电线路绝缘子缺陷的检测速度与复杂场景下的检测精度,本发明提出复杂场景下基于轻量化YOLOv4的绝缘子缺陷检测方法,该方法可以适应遮挡、模糊等复杂场景下的绝缘子缺陷检测,达到比传统算法更优的检测精度;并且能够大幅地减小算法的计算量和参数量,达到实时检测的目标。
为了实现上述目的,本发明所采用的技术方案是:一种复杂场景下基于轻量化YOLOv4的绝缘子缺陷检测方法,其特征在于,包括以下步骤:
一种复杂场景下基于轻量化YOLOv4的绝缘子缺陷检测方法,其特征在于,包括以下步骤:
步骤1:获取绝缘子及其自爆缺陷特征。利用轻量级的骨干网络GhostNet提取绝缘子及其缺陷特征,并对GhostNet做进一步的轻量化处理,具体方法是在GhostNet中融入通道注意力机制ECA模块(Efficient Channel Attention),并去除网络最后的平均池化层、1×1卷积层和全连接层得到ECA-GhostNet;
步骤2:首先在步骤1中得到的ECA-GhostNet网络中引出三个不同尺度的特征用于特征融合,然后在特征融合层先利用SPP结构(Spatial Pyramid Pooling)获得丰富的感受野,接着利用PANet结构(Path Aggregation Network)进行特征融合;
步骤3:预测时,首先引入分类与定位质量估计联合表示的方法,以获得高质量的绝缘子及其缺陷检测框,训练阶段采用Quality Focal Loss(QFL)监督联合表示;然后采用广义分布(General Distribution)实现边界框坐标的概率建模,并利用广义分布的统计量指导定位质量估计,以获得可靠的定位质量估计得分值,训练阶段采用DistributionFocal Loss(DFL)监督边框回归。
在上述的复杂场景下基于轻量化YOLOv4的绝缘子缺陷检测方法,所述步骤1的具体步骤是:首先将YOLOv4原始算法中的骨干网络CSPdarknet53用更加轻量级的新型端侧神经网路GhostNet代替。由于标准卷积的输出特征图彼此之间具有高度相似的特点,GhostNet利用一种计算简便的Ghost模块生成这部分相似特征图,其基本运算流程如下:
假设标准卷积输入为X∈Rc×h×w,其中c为输入通道数,h、w为输入特征图的高与宽,输出通道数为n,Ghost模块首先使用少量的标准卷积核生成m个原始特征图:
Y'=X*f' (1)
其中Y′为Ghost模块的输出,*表示卷积操作,f'∈Rc×k×k×m为卷积核,k为卷积核的大小,且m≤n。另一部分则采用简便的线性运算从原始特征图中生成s个相似特征图:
其中i为原始特征图的序号,j为线性运算的序号,y′i为m个原始特征图中的第i个特征图,Φij为第j个线性运算,用于生成相似特征图yij。利用简单的线性运算可以产生m×s个输出特征图,从而避免使用大量卷积运算,极大地减少了参数量和计算量。
在上述的复杂场景下基于轻量化YOLOv4的绝缘子缺陷检测方法,所述步骤1中,进行进一步轻量化GhostNet,具体步骤是:引入更加轻量化且高效的ECA通道注意力机制取代SE模块,并去除GhostNet最后的平均池化层、1×1卷积层和全连接层构成ECA-GhostNet。ECA是对通道注意力机制SE的改进,其采用一种不降维的局部跨通道交互策略,使用一个快速一维卷积进行局部跨通道交互:
ω=σ(Conv1Dk(y)) (3)
其中ω为跨通道交互的输出,Conv1D表示一维卷积操作,k为局部跨通道交互的覆盖率,其可以根据输入特征图的通道数C自适应地确定:
其中,ψ为线性运算,b和γ是常量,分别设置为1和2;|t|odd表示k取离t最近的奇数。y为输入特征向量,σ表示Sigmoid激活函数。
在上述的复杂场景下基于轻量化YOLOv4的绝缘子缺陷检测方法,步骤3中的预测过程,具体步骤如下:
步骤3.1:首先回归分支利用广义分布代替Dirac-delta分布对绝缘子及缺陷边界框进行概率建模,取真实框y的范围为y0≤y≤yn,其中y0与yn为真实框y的最小值与最大值,则边界框预测值可以表示为:
式中P(x)表示回归分支的广义分布。
由于卷积神经网络无法实现连续积分,故将连续域上的积分转换成离散形式,将连续区间[y0,yn]离散成一个集合{y0,y1,…,yn},取间隔为1,利用采样点到边框四边的相对偏移量作为回归目标。将边界框四边(左、右、上、下)分别标记为l、r、t、b,则边界框的广义分布可表示为Pm={Pm(y0),Pm(y1),...,Pm(yn)},其中m∈{l,r,t,b},且满足则边界框预测值又可以表示为:
网络引入广义分布后,边界框的坐标取值是任意的,因此存在无穷多个组合能够使最后的积分结果满足(6)式;故训练阶段采用DFL损失函数来优化边框回归,其通过增大离真实值y最近的两个值yv与yv+1的概率使网络快速地专注于学习目标边界框y附近的坐标,其表达式如下:
DFL(Sv,Sv+1)=-((yv+1-y)log(Sv)+(y-yv)log(Sv+1)) (7)
式中Sv与Sv+1分别表示yv与yv+1的广义分布概率值。
步骤3.2:分类分支引入分类-定位质量估计联合表示的方法,定位质量估计采用一个简单的子网络DGQP(Distribution-Guided Quality Predictor)来实现,并采用步骤3.1中的广义分布的统计量来指导定位质量估计:取回归分支学习到的广义分布中的Top-k个概率值及其均值作为统计特征输入子网络中:
F=Concat({Topkm(Pm)|m∈{l,r,t,b}}) (8)
其中F为DGQP网络的输入,Concat(·)为通道拼接操作,Topkm为计算Top-k值及其均值的联合操作,m为采样点到边框四边的相对偏移量。DGQP子网络采用两个全连接层,后分别接ReLU和Sigmoid激活函数实现定位质量估计,式(8)是其前向传播过程:
I=σ(W2δ(W1F)) (9)
其中I为DGQP模块的输出,δ与σ分别表示ReLU和Sigmoid激活函数;且W1∈Rp×4(z+1)为DGQP中第一个全连接层的权重矩阵,W2∈R1×p为DGQP中第二个全连接层的权重矩阵,z是Top-k中的取值个数;p是全连接层隐层的维度,则联合表示输出为:
J=C×I (10)
式中J为联合表示输出,C为分类分支输出,I为DGQP子网络输出。
训练阶段采用QFL损失函数监督联合表示,主要为解决在单阶段目标检测算法中存在的前景与背景类之间不平衡问题,其表达式如下:
QFL(α)=-|y-α|β((1-y)log(1-α)+ylog(α)) (11)
式中y表示真实值,α为联合表示的输出值,|y-α|β为缩放因子,β为一个可调参数。
本发明能在模糊、遮挡等复杂场景下实现对高压输电线路绝缘子及其缺陷的实时检测,具体而言,本发明具有以下特点:
(1)在原始YOLOv4算法的基础上,采用更加轻量级的ECA-GhostNet骨干网络,极大降低了模型的复杂度和计算量,提升了检测速度;
(2)利用更加灵活的广义分布代替Dirac-delta分布实现对绝缘子及其缺陷的概率建模,增加对标签的不确定性估计;
(3)分类分支采用分类与定位质量估计联合表示的方法,避免算法在训练与测试过程中存在的分类与定位质量估计使用不一致问题,从而获取高质量的检测框。
与现有技术相比,本发明的有益效果是:
(1)本方法可以实现对绝缘子及其缺陷的实时检测,避免传统算法中存在的检测速度慢的问题;
(2)本方法能够提升在模糊、遮挡等实际复杂场景中的检测性能,增加对标签不确定性估计,提高定位准确性;
(3)本方法有效避免了训练与测试过程中存在的分类与定位质量估计使用不一致的问题,采用分类与定位质量估计联合表示的方法,利用定位质量估计监督分类,以获得高质量的检测框。
附图说明
图1是YOLOv4算法的网络结构。
图2是Ghost模块示意图。
图3是复杂场景下的模糊与遮挡目标示例图。
图4是轻量化YOLOv4的绝缘子缺陷检测网络框架。
图5是ECA模块示意图。
图6是广义分布建模示意图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合实施例对本发明作进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不用于限定本发明。
下面首先对本发明所提到一些概念进行介绍:
YOLO系列算法(You Only Look Once)是典型的单阶段目标检测算法,YOLOv4是YOLO系列算法的第四版,其中网络结构如附图1所示,骨干网络为CSPdarknet53,其是在Darknet53的基础上融合了跨阶段局部网络结构(Cross Stage Partial Network,CSPNet),有效解决了网络推理过程中不同层之间梯度信息重复的问题;骨干网络的最后加入了一个空间金字塔池化模块(Spatial Pyramid Pooling,SPP),使输出获得更加丰富的感受野;将骨干网络最后3个残差块的输出作为不同尺度目标,利用路径聚合结构(PathAggregation Network,PANet)进行特征融合,并得到的三个输出分别输入YOLOhead得到三个预测结果,分别用于小、中、大三个尺度目标的检测。
通道注意力机制(Channel Attention Mechanism)即模拟人脑的注意力机制,当人类大脑获取到外部视觉或听觉信息时,一般会对全部信息进行预处理,将注意力集中到重要或感兴趣的信息上,提高信息处理的效率。通道注意力机制就是让网络模型更加关注信息更重要或者更感兴趣的通道特征,抑制无关和不重要的信息。
Dirac-delta分布也被称为单位脉冲函数,其定义式如下:
p(x)=δ(x-μ),x≠μ (1)
Dirac-delta分布可以保证概率分布中所有质量都集中在一个点上,传统的目标检测边界框预测只包括四个值,对于每个单独的输出值等价于优化一个Dirac-delta分布,即一个在给定区间上积分值为1的概率分布,其只在某一个点处存在监督信号,而在其他地方不存在监督信号。
本发明在YOLOv4目标检测算法的基础上进行改进,实现了一种复杂场景下基于轻量化YOLOv4绝缘子缺陷检测算法。本发明分为两个部分:一、轻量化骨干网络,二、预测层引入分类与定位质量估计联合表示方法,并采用广义分布(General Distribution)对绝缘子及其缺陷边界框进行概率建模。
以下结合附图对本发明做进一步的说明。
图4是轻量化YOLOv4的绝缘子缺陷检测网络框架,其主要由输入、骨干网络、特征融合层以及预测层四个部分组成,目前主流目标检测算法均是以这四部分为基础构成。
轻量化骨干网络即对YOLOv4原始算法中的CSPdarknet53网络进行改进,降低网络的计算量和参数量,提升检测速度。详细改进过程是:首先采用更加轻量级的GhostNet网络代替CSPdarknet53网络作为改进后算法的骨干网络,用于提取绝缘子及其缺陷的特征。GhostNet的核心模块是Ghost模块,如图2所示,其主要运算过程如下:
第一步:采用少量的标准卷积核(可按比例选择)生成m个原始特征图,即图2中的Identity操作。假设标准卷积输入特征图为X∈Rc×h×w,其中c为输入通道数,h、w为输入特征图的高与宽,输出通道数为n,则其运算可表示为:
Y'=X*f' (3)
其中,Y′为Ghost模块的输出,*表示标准卷积操作,f∈Rc×k×k×m为标准卷积核,k为卷积核的大小,且m≤n。
第二步:采用简便的线性操作从第一步获得的原始特征图中生成s个相似特征图,其运算过程可以表示为:
其中i为原始特征图的序号,j为线性运算的序号,y′i为m个原始特征图中的第i个特征图,Φij为第j个线性运算,用于生成相似特征图yij。通过利用线性运算可以产生m×s个输出特征图,从而避免了使用大量卷积运算,有效地减少了参数量和计算量。
然后对GhostNet做进一步改进,将GhostNet中所采用的通道注意力机制模块SE用更加高效且轻量化的ECA通道注意力机制代替,并去除GhostNet最后的平均池化层、1×1卷积层和全连接层构成ECA-GhostNet。图5是ECA模块的示意图,其运算过程可以表示为:
第一步:将大小为W×H×C的输入特征图利用全局平均池化(Global AveragePooling,GAP)进行特征聚合。
第二步:采用一维卷积进行局部跨通道交互:
ω=σ(Conv1Dk(y)) (5)
其中ω为跨通道交互的输出,Conv1D表示一维卷积,k表示局部跨通道交互的覆盖率,即为卷积核大小,k能够根据输入特征的通道数C自适应的确定,其计算公式如下:
式中ψ为线性运算,b与γ为常量,分别取1和2;|t|odd表示k取离t最近的奇数。y为输入特征图,σ表示Sigmoid激活函数。
在预测阶段,首先在回归分支采用广义分布对绝缘子及其缺陷边框进行建模,以适应复杂场景下的检测;然后在分类分支采用分类与定位质量估计联合表示方法,以获取高质量的检测框,对预测层改进后得到图4中的CIJhead(Classification-IoU Jointhead),具体实现步骤如下:
步骤1:利用广义分布对绝缘子及其缺陷的边界框进行概率建模。YOLO系列算法的边界框定位均是在Dirac-delta分布下学习,但在复杂场景下常存在模糊、遮挡等不确定的目标,图3即为复杂场景下的模糊与遮挡目标示例图,在这种情况下Dirac-delta分布无法准确地描述出边界框的灵活分布,因此需要采用一种更加灵活的广义分布来表示边界框的灵活分布。在CIJhead中,P(x)表示边界框回归分支,其采用广义分布的数学期望作为边界框坐标预测值,令标签y的范围为y0≤y≤yn,其中y0与yn为真实框y的最小值与最大值,故边界框的预测值可表示为:
式中P(x)表示回归分支的广义分布。
由于连续积分在卷积神经网络中无法实现,故需将连续域上的积分变换成离散形式,将连续区间[y0,yn]离散成一个集合{y0,y1,...,yn},取采样间隔为1,利用采样点到边界框四条边的相对偏移量作为回归目标,图6为广义分布概率建模示意图,将边界框左、右、上、下四条边分别标记为l、r、t、b,则边界框的广义分布可以表示为Pm={Pm(y0),Pm(y1),...,Pm(yn)},其中m∈{l,r,t,b},并且满足此时边界框的预测值可以表示为:
由于广义分布的取值是任意的,故存在无穷多个组合可以使得最终的积分结果满足式(8),这导致网络学习效率低。因此训练阶段引入DFL损失函数优化边框回归,其通过明显地增大yv与yv+1(离真实值y最近的两个值,yv≤y≤yv+1)的概率来使网络快速地专注于学习目标边框y附近的坐标,从而提高网络的学习效率,加快收敛速度,其表达式如下:
DFL(Sv,Sv+1)=-((yv+1-y)log(Sv)+(y-yv)log(Sv+1)) (9)
因边框回归不存在类别不平衡的问题,故DFL损失函数只需采用交叉熵来实现,其中Sv、Sv+1分别表示yv和yv+1的广义分布的概率值。
步骤2:分类与定位质量联合表示。在CIJhead中,C表示分类分支,定位质量估计采用一个简便的子网络DGQP(Distribution-Guided Quality Predictor)来实现,并采用回归分支的广义分布来指导定位质量估计:取回归分支学习到的广义分布中的Top-k个概率值及其均值,将它们进行拼接作为子网络的输入:
F=Concat({Topkm(Pm)|m∈{l,r,t,b}}) (10)
式中F为DGQP网络的输入,Concat(·)表示通道拼接操作,主要作用是将广义分布的Top-k概率值及其均值进行拼接,Topkm为计算Top-k概率值及其均值的联合操作,m为采样点到边框四边的相对偏移量。DGQP子网络采用两个全连接层(Fully Connected Layers,FC),其后分别接ReLU和Sigmoid激活函数实现定位质量估计。DGQP前向传播过程如下:
I=σ(W2δ(W1F)) (11)
式中I为DGQP模块的输出,δ与σ分别表示ReLU与Sigmoid激活函数;且W1∈Rp×4(z+1)为DGQP中第一个全连接层的权重矩阵,W2∈R1×p为DGQP中第二个全连接层的权重矩阵,z为Top-k的取值个数,本发明中k取4;p为全连接层隐层的维度,本发明中p取64,故分类与定位质量估计联合表示输出为:
J=C×I (12)
式中J为联合表示输出,C为分类分支输出,I为DGQP子网络输出。
训练阶段采用QFL损失函数监督联合表示,QFL损失函数是对Focal Loss(FL)损失函数的改进,FL的提出是为了解决在单阶段目标检测算法中存在的前景和背景类之间不平衡的问题,但其只适用于离散标签,而在引入分类-IoU联合表示后,标签变为0~1之间的连续值,因此原始的FL损失函数不再适用,故QFL损失函数针对上述问题做了以下改进:
(1)将FL中-log(·)部分扩展为完整的交叉熵;
(2)将动态缩放因子扩展为连续标签y与联合表示输出α的绝对值,即:
QFL(α)=-|y-α|β((1-y)log(1-α)+ylog(α)) (13)
其中β为一个可调参数,本文取β=2;与FL损失函数类似,QFL由完整交叉熵与缩放因子|y-α|β组成,缩放因子主要作用是减少易分类样本对损失的贡献,使网络更加关注困难样本。
应当理解的是,本说明书未详细阐述的部分均属于现有技术。
应当理解的是,上述针对较佳实施例的描述较为详细,并不能因此而认为是对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。
Claims (1)
1.一种复杂场景下基于轻量化YOLOv4的绝缘子缺陷检测方法,其特征在于,包括以下步骤:
步骤1:获取绝缘子及其自爆缺陷特征;利用轻量级的骨干网络GhostNet提取绝缘子及其缺陷特征,并对GhostNet做进一步的轻量化处理,具体方法是:在GhostNet网络中融入通道注意力机制ECA模块(Efficient Channel Attention),并去除网络最后的平均池化层、1×1卷积层和全连接层得到ECA-GhostNet;
步骤2:首先在步骤1中得到的ECA-GhostNet网络中引出三个不同尺度的特征用于特征融合,然后在特征融合层先利用SPP结构(Spatial Pyramid Pooling)获得更加丰富的感受野,接着利用PANet结构(Path Aggregation Network)进行特征融合;
步骤3:预测时,首先引入分类与定位质量估计联合表示的方法,以获得高质量的绝缘子及其缺陷检测框,训练阶段采用Quality Focal Loss(QFL)监督联合表示;然后采用广义分布(General Distribution)实现边界框坐标的概率建模,并利用广义分布的统计量指导定位质量估计,以获得可靠的定位质量估计得分值,训练阶段采用Distribution FocalLoss(DFL)监督边框回归;
所述步骤1的具体步骤是:首先将YOLOv4原始算法中的骨干网络CSPdarknet53用更加轻量级的新型端侧神经网路GhostNet代替;由于标准卷积的输出特征图彼此之间具有高度相似的特点,GhostNet利用一种计算简便的Ghost模块生成这部分相似特征图,其基本运算流程如下:
假设标准卷积输入为X∈Rc×h×w,其中c为输入通道数,h、w为输入特征图的高与宽,输出通道数为n,Ghost模块首先使用少量的标准卷积核生成m个原始特征图:
Y'=X*f' (1)
其中Y′为Ghost模块的输出,*表示卷积操作,f'∈Rc×k×k×m为卷积核,k为卷积核的大小,且m≤n;另一部分则采用简便的线性运算从原始特征图中生成s个相似特征图:
其中i为原始特征图的序号,j为线性运算的序号,y’i为m个原始特征图中的第i个特征图,Φij为第j个线性运算,用于生成相似特征图yij;利用简单的线性运算可以产生m×s个输出特征图,从而避免使用大量卷积运算,极大地减少了参数量和计算量;
所述步骤1中,进行进一步轻量化GhostNet,具体步骤是:引入更加轻量化且高效的ECA通道注意力机制取代SE模块,并去除GhostNet最后的平均池化层、1×1卷积层和全连接层构成ECA-GhostNet;ECA是对通道注意力机制SE的改进,其采用一种不降维的局部跨通道交互策略,使用一个快速一维卷积进行局部跨通道交互:
ω=σ(Conv1Dk(y)) (3)
其中ω为跨通道交互的输出,Conv1D表示一维卷积操作,k为局部跨通道交互的覆盖率,其可以根据输入特征图的通道数C自适应地确定:
其中ψ为线性运算,b和γ是常量,分别设置为1和2;|t|odd表示k取离t最近的奇数;y为输入特征向量,σ表示Sigmoid激活函数;
步骤3中的预测过程,具体步骤如下:
步骤3.1:首先回归分支利用广义分布代替Dirac-delta分布对绝缘子及缺陷边界框进行概率建模,取真实框y的范围为y0≤y≤yn,其中y0与yn为真实框y的最小值与最大值,则边界框预测值可以表示为:
式中P(x)表示回归分支的广义分布;
由于卷积神经网络无法实现连续积分,故将连续域上的积分转换成离散形式,将连续区间[y0,yn]离散成一个集合{y0,y1,...,yn},取间隔为1,利用采样点到边框四边的相对偏移量作为回归目标;将边界框四边(左、右、上、下)分别标记为l、r、t、b,则边界框的广义分布可表示为Pm={Pm(y0),Pm(y1),...,Pm(yn)},其中m∈{l,r,t,b},且满足则边界框预测值又可以表示为:
网络引入广义分布后,边界框的坐标取值是任意的,因此存在无穷多个组合能够使最后的积分结果满足(6)式;故训练阶段采用DFL损失函数来优化边框回归,其通过增大离真实值y最近的两个值yv与yv+1的概率使网络快速地专注于学习目标边界框y附近的坐标,其表达式如下:
DFL(Sv,Sv+1)=-((yv+1-y)log(Sv)+(y-yv)log(Sv+1)) (7)
式中Sv与Sv+1分别表示yv与yv+1的广义分布概率值;
步骤3.2:分类分支引入分类-定位质量估计联合表示的方法,定位质量估计采用一个简单的子网络DGQP(Distribution-Guided Quality Predictor)来实现,并采用步骤3.1中的广义分布的统计量来指导定位质量估计:取回归分支学习到的广义分布中的Top-k个概率值及其均值作为统计特征输入子网络中:
F=Concat({Topkm(Pm)|m∈{l,r,t,b}}) (8)
其中F为DGQP网络的输入,Concat(·)为通道拼接操作,Topkm为计算Top-k值及其均值的联合操作,m为采样点到边框四边的相对偏移量;DGQP子网络采用两个全连接层,后分别接ReLU和Sigmoid激活函数实现定位质量估计,式(8)是其前向传播过程:
I=σ(W2δ(W1F)) (9)
其中I为DGQP模块的输出,δ与σ分别表示ReLU和Sigmoid激活函数;且W1∈Rp×4(z+1)为DGQP中第一个全连接层的权重矩阵,W2∈R1×p为DGQP中第二个全连接层的权重矩阵,z是Top-k中的取值个数;p是全连接层隐层的维度,则联合表示输出为:
J=C×I (10)
式中J为联合表示输出,C为分类分支输出,I为DGQP子网络输出;
训练阶段采用QFL损失函数监督联合表示,主要为解决在单阶段目标检测算法中存在的前景与背景类之间不平衡问题,其表达式如下:
QFL(α)=-|y-α|β((1-y)log(1-α)+ylog(α)) (11)
式中y为边界框真实值,α为联合表示的输出值,|y-α|β为缩放因子,β为一个可调参数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111532763.7A CN114359167B (zh) | 2021-12-15 | 2021-12-15 | 一种复杂场景下基于轻量化YOLOv4的绝缘子缺陷检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111532763.7A CN114359167B (zh) | 2021-12-15 | 2021-12-15 | 一种复杂场景下基于轻量化YOLOv4的绝缘子缺陷检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114359167A CN114359167A (zh) | 2022-04-15 |
CN114359167B true CN114359167B (zh) | 2024-09-24 |
Family
ID=81099674
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111532763.7A Active CN114359167B (zh) | 2021-12-15 | 2021-12-15 | 一种复杂场景下基于轻量化YOLOv4的绝缘子缺陷检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114359167B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024021081A1 (zh) * | 2022-07-29 | 2024-02-01 | 宁德时代新能源科技股份有限公司 | 一种检测产品表面缺陷的方法和装置 |
CN116385954A (zh) * | 2023-02-15 | 2023-07-04 | 江苏方天电力技术有限公司 | 一种高精度输电线路异常检测方法及系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112819804A (zh) * | 2021-02-23 | 2021-05-18 | 西北工业大学 | 一种基于改进YOLOv5卷积神经网络的绝缘子缺陷检测方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106780438B (zh) * | 2016-11-11 | 2020-09-25 | 广东电网有限责任公司清远供电局 | 基于图像处理的绝缘子缺陷检测方法及系统 |
CN111259930B (zh) * | 2020-01-09 | 2023-04-25 | 南京信息工程大学 | 自适应注意力指导机制的一般性目标检测方法 |
CN112258496A (zh) * | 2020-11-02 | 2021-01-22 | 郑州大学 | 一种基于全卷积神经网络的地下排水管道病害分割方法 |
-
2021
- 2021-12-15 CN CN202111532763.7A patent/CN114359167B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112819804A (zh) * | 2021-02-23 | 2021-05-18 | 西北工业大学 | 一种基于改进YOLOv5卷积神经网络的绝缘子缺陷检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114359167A (zh) | 2022-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114022432B (zh) | 基于改进的yolov5的绝缘子缺陷检测方法 | |
CN109685072B (zh) | 一种基于生成对抗网络的复合降质图像高质量重建方法 | |
CN109241982B (zh) | 基于深浅层卷积神经网络的目标检测方法 | |
CN108229550B (zh) | 一种基于多粒度级联森林网络的云图分类方法 | |
CN109272500B (zh) | 基于自适应卷积神经网络的织物分类方法 | |
CN112233073A (zh) | 一种变电设备红外热成像异常实时检测方法 | |
CN114359167B (zh) | 一种复杂场景下基于轻量化YOLOv4的绝缘子缺陷检测方法 | |
CN112233129A (zh) | 基于深度学习的并行多尺度注意力机制语义分割方法及装置 | |
CN112801019B (zh) | 基于合成数据消除无监督车辆再识别偏差的方法及系统 | |
CN112257621A (zh) | 一种无人机巡检的设备图像识别方法 | |
CN111223087A (zh) | 一种基于生成对抗网络的桥梁裂缝自动检测方法 | |
CN115410087A (zh) | 一种基于改进YOLOv4的输电线路异物检测方法 | |
CN114782410A (zh) | 一种基于轻量化模型的绝缘子缺陷检测方法及其系统 | |
CN113569981A (zh) | 一种基于单阶段目标检测网络的电力巡检鸟窝检测方法 | |
CN116580184A (zh) | 一种基于YOLOv7的轻量化模型 | |
CN117496223A (zh) | 一种基于深度学习的轻量化绝缘子缺陷检测方法及装置 | |
CN111310899B (zh) | 基于共生关系和小样本学习的电力缺陷识别方法 | |
CN111915565A (zh) | 一种基于yolact算法对输变电线路瓷瓶裂缝实时分析方法 | |
Zhang | Faster R-CNN transmission line multi-target detection based on BAM | |
CN114973240A (zh) | 一种基于改进YOLOv5的番茄病害检测方法 | |
CN111046861B (zh) | 识别红外影像的方法、构建识别模型的方法及应用 | |
CN114299354A (zh) | 一种基于旋转框识别网络的绝缘子检测定位方法 | |
Wu et al. | Detection of Defects in Power Grid Inspection Images Based on Multi-scale Fusion | |
Zhang et al. | A Novel Adversarial Deep Learning Method for Substation Defect Generation | |
CN112329738B (zh) | 基于显著片段采样的长视频动作识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |