CN116523875A - 基于FPGA预处理与改进YOLOv5的绝缘子缺陷检测方法 - Google Patents
基于FPGA预处理与改进YOLOv5的绝缘子缺陷检测方法 Download PDFInfo
- Publication number
- CN116523875A CN116523875A CN202310487759.6A CN202310487759A CN116523875A CN 116523875 A CN116523875 A CN 116523875A CN 202310487759 A CN202310487759 A CN 202310487759A CN 116523875 A CN116523875 A CN 116523875A
- Authority
- CN
- China
- Prior art keywords
- insulator
- image
- defect detection
- layer
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000012212 insulator Substances 0.000 title claims abstract description 162
- 230000007547 defect Effects 0.000 title claims abstract description 91
- 238000001514 detection method Methods 0.000 title claims abstract description 84
- 230000004927 fusion Effects 0.000 claims abstract description 58
- 238000012549 training Methods 0.000 claims abstract description 53
- 238000007781 pre-processing Methods 0.000 claims abstract description 17
- 238000012360 testing method Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 11
- 239000010410 layer Substances 0.000 claims description 55
- 238000000034 method Methods 0.000 claims description 24
- 230000007246 mechanism Effects 0.000 claims description 17
- 230000009467 reduction Effects 0.000 claims description 12
- 238000011156 evaluation Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 230000002457 bidirectional effect Effects 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 8
- 230000001965 increasing effect Effects 0.000 claims description 8
- 238000004519 manufacturing process Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 239000002356 single layer Substances 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000004931 aggregating effect Effects 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 abstract description 14
- 230000008901 benefit Effects 0.000 abstract description 4
- 238000004891 communication Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 10
- 238000013461 design Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000014759 maintenance of location Effects 0.000 description 3
- 230000000717 retained effect Effects 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000000137 annealing Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 238000010292 electrical insulation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000004643 material aging Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Remote Sensing (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于FPGA预处理与改进YOLOv5的绝缘子缺陷检测方法，方法步骤如下：获得绝缘子样本训练集和测试集；构建改进YOLOv5的绝缘子缺陷检测模型；待检测的绝缘子图像预处理；对绝缘子缺陷检测模型进行训练，获取待检测绝缘子缺陷图像的检测结果，将绝缘子缺陷检测模型训练的权重输入到绝缘子缺陷检测模型中，然后将预处理的绝缘子待检测图像输入到绝缘子缺陷检测模型，获得绝缘子缺陷图像检测结果。本发明利用FPGA高速并行数据处理能力，提高图像传输通讯效益，同时将软件去噪算法移植到FPGA上实现，快速降低噪声对绝缘子故障检测的干扰。然后采用一种高效的自学习权重的特征融合网络来改进的YOLOv5模型，实现对绝缘子缺陷的准确、快速地检测。
Description
技术领域
本发明涉及高压输电线路电力设备图像检测技术领域，尤其涉及一种基于FPGA预处理与改进YOLOv5的绝缘子缺陷检测方法。
背景技术
输电线路的安全性和可靠性直接影响电力传输的稳定性。绝缘子串作为高压输电线路中的一个重要部件，它们在电气绝缘和机械支撑方面起着重要作用。在长时间处于强电场、超低温、冻雨、积雪等恶劣环境下工作，绝缘子极易发生材料老化、破损、掉片等故障。有关数据表明，目前有81.3％的输电线路事故都是由绝缘子缺陷导致的。因此定期对绝缘子进行巡检，排查故障或隐患对输电线路安全稳定运行至关重要。
传统的绝缘子巡检方法，一般采用人工巡检的方式，但劳动强度大，工作效率极低，同时存在一定的危险性。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的在于提出一种基于FPGA预处理与改进YOLOv5的绝缘子缺陷检测方法，利用FPGA高速并行数据处理能力，提高图像传输通讯效益，同时将软件去噪算法移植到FPGA上实现，快速降低噪声对绝缘子故障检测的干扰。然后采用一种高效的自学习权重的特征融合网络来改进的YOLOv5模型，对输入图像中不同尺度大小的绝缘子特征进行权重自学习，强化模型对小目标绝缘子的特征融合，同时在YOLOv5主干网络CSP架构中引入多尺度自注意力机制，使网络加深时，更好的获得前景中绝缘子缺陷的语义信息。实现对绝缘子缺陷的准确、快速地检测。
根据本发明提出的一种基于FPGA预处理与改进YOLOv5的绝缘子缺陷检测方法，所述方法步骤如下：
S1：获得绝缘子样本训练集和测试集，获取绝缘子图像，从中随机选取预定数目的绝缘子图像制作绝缘子图像作为样本，将样本分为训练集和测试集；
S2：构建改进YOLOv5的绝缘子缺陷检测模型，将YOLOv5的特征融合网络PANet更换为一种自学习权重的特征融合网络BiFPN，并结合密集连接Dense和自注意力机制来构建绝缘子缺陷检测模型；
S3：待检测的绝缘子图像预处理，对待检测的绝缘子图像先使用FPGA进行降噪算法预处理；
S4：对绝缘子缺陷检测模型进行训练，将绝缘子训练样本输入到绝缘子缺陷检测模型中进行训练；
S5：获取待检测绝缘子缺陷图像的检测结果，将绝缘子缺陷检测模型训练的权重输入到绝缘子缺陷检测模型中，然后将预处理的绝缘子待检测图像输入到绝缘子缺陷检测模型，获得绝缘子缺陷图像检测结果。
优选地，步骤S2中构建改进YOLOv5的绝缘子缺陷检测模型的方法步骤如下：
S21：将YOLOv5的特征层融合网络PANet替换为自学习权重的BiFPN特征融合网络，利用BiFPN在不同尺度的特征图之间建立双向连接，融合不同尺度特征图的特征信息；
单层多尺度特征列表公式为：
PiPi+1...Pi+n＝f(CiCi+1...Ci+n) (1)
其中，n表示用于特征融合的特征数量，Ci表示一层的输入特征，Pi表示一层的输出特征，f表示特征融合过程的功能；
多层多尺度特征列表公式为：
PiPi+1...Pi+n＝fjfj+1...fj+m(CiCi+1…Ci+n) (2)
其中m表示BiFPN块的重复堆叠次数；
BiFPN为了学习不同输入的特征的重要性，对不同输入特征进行了区分融合，是一种加权融合的机制，对此BiFPN使用了快速归一化处理，其表达式如下：
其中，wi代表权重，使用激活函数ReLu将可学习权重防缩到[0,1]之间，ε＝0.00001为避免输出数值不稳定，Ini表示输入的特征，Out表示加权特征的融合结果；
S22：结合密集连接Dense网络改进BiFPN模块，得到Dense-BiFPN网络，Dense-BiFPN网络的每个节点给每个输入的特征附加权重，上采样将第五层输入P5 IN和第四层输入P4 IN进行带权重融合到第四层中间节点输出P4 TD，融合公式如下所示：
其中，Resize表示对输入进行上采样或者下采样，在这里为上采样操作，Conv为卷积操作，ω4为第四层输出的可学习权重，ω5第五层输出的可学习权重；
其中，P4 out为第四层最后节点的输出，Resize表示对输入进行上采样或者下采样，在这里为下采样操作，ω4、ω6、ω7分别为输入P4 IN、P4 TD、P3 out的可学习权重；
分别将P2 out与P4 out和P5 out进行密集连接，P3 out和P5 out进行密集连接，输出表达式如下：
其中，f1x1和f3x3表示1×1和3×3卷积，U2(P2 out)表示特征图P2 out被下采样2倍，结合BiFPN的不同比例尺度的特征层，输出结果第四层N4 out和第五层N5 out的表达式如下：
其中，N2 dense和N3 dense分别为跨节点第二层的密集连接的输出和跨节点第三层的密集连接的输出，P4 outt和P5 outt分别为第四层的BiFPN的输出和第五层的BiFPN的输出；
S23：添加C3TR模型来改进YOLOv5主干网络CSP结构，通过C3TR的多头自注意力机制和多尺度特征融合对获取的特征进行聚合和优化，多头自注意力机制输出向量σ的计算表达式如下：
其中，dθ表示查询θ的最后一维数据的维度，Λζ j，Λη j，Λθ j，分别为每组值ζ、键η、查询θ的权值向量。
优选地，步骤S3中对待检测的绝缘子图像先使用FPGA进行降噪算法预处理的方法步骤如下：
S31：FPGA对图像进行快速降噪预处理，硬件算法实现中值滤波算法表达式如下：
g(x,y)＝Mcd{f(x-l,y-l),(k,l∈W)} (10)
其中f(x,y)是原始图像的像素点，g(x,y)是滤波后图像的像素点，W为二维模型；
S32：选取3*3的二维模型，选择排序得到中值；
S33：绝缘子图像边缘增强，使用3*3的Soble边缘增强算子，提取边缘信息，再将边缘信息叠加于原始图像实现图像的边缘增强；
S34：将图像转到HIS颜色空间，只需要对亮度通道进行增强，色域和饱和度通道不需要变化，采用两组3*3模板作为水平卷积核和垂直卷积核，对图像的每一个像素点的亮度通道值，计算它的邻域像素值和卷积核的卷积，得到水平梯度的表达式如下：
垂直梯度的表达式如下：
式中A是3*3像素矩阵，其均方根作为实际梯度：
将实际梯度与设定的阀值进行对比，如果结果大于阈值，将该点的亮度值增加50，否则该点的值不变增强之后再合并通道转换为RGB空间。
优选地，步骤S32中选取3*3的二维模型，选择排序得到中值的方法步骤如下：
S321：分别对窗口内的三行像素进行排序；
S322：分别对三行像素中的3个最大值，3个中间值，3个最小值分别进行排序；
S323：对最大值中的最小值，中间值中的中间值，最小值的最大值进行排序得到中值。
优选地，步骤S4中对绝缘子缺陷检测模型进行训练的方法步骤如下：
S41：对绝缘子图像进行标注，制作绝缘子图像训练数据集，并数据集分为训练集和测试集，输入到绝缘子缺陷检测模型进行训练；
S42：设置训练参数，在训练阶段，使用SGD优化器，初始学习率设置为0.01，动量0.97，最终学习率为0.00001，权重衰减为0.005，并用CosinAnnealingLR方法衰减学习速率，训练次数设置为200个epochs，每批次的batchSize为32；
S43：设置自适应放缩绝缘子缺陷图片尺寸为640×640，对网络设定的输入图像尺寸大小实现自适应绝缘子的训练集和测试集图像的放缩；
S44：通过模型训练评价指标对改进绝缘子缺陷检测模型的效果进行对比优选地，步骤S44中绝缘子缺陷检测模型的训练评价指标为：
对目标检测任务，评价指标包括精度P、召回率R、平均精度mAP，mAP值按交并比IOU＝0.5计算，计算公式如下：
式中TP、FP和FN分别表示真阳性、假阳性、和假阴性。
本发明中的有益效果是：
(1)无人机搭载FPGA芯片，利用FPGA的数据并行处理能力，快速降低绝缘子图像中的噪声干扰，压缩图片无用信息，突出重点，减少带宽占用，提高数据传输的速度和绝缘子识别准确率。
(2)采用一种自学习权重的特征融合网络(BiFPN)结合密集连接(Dense)来改进YOLOv5的融合层，进一步提高高层特征信息的融合、更好地平衡不同尺度的特征信息，对输入图像中不同尺度大小的绝缘子特征进行权重自学习，强化模型对小目标绝缘子的特征融合。
(3)YOLOv5主干网络CSP架构中引入多尺度自注意力机制，使网络加深时，更好的获得前景中绝缘子缺陷的语义信息，能够有效解决对绝缘子缺陷检测精度不足的问题。
附图说明
在附图中：
图1为本发明提出的一种基于FPGA预处理与改进YOLOv5的绝缘子缺陷检测方法流程图；
图2为本发明提出的改进网络模型图；
图3为本发明提出的加权特征融合结合密集连接模块示意图；
图4为本发明提出的密集连接网络模型图；
图5为本发明提出的C3TR注意力模块示意图；
图6为本发明提出的结合FPGA预处理的系统检测平台示意图；
图7为本发明提出的中值滤波算法原理图；
图8为本发明提出的FPGA预处理效果图；
图9为本发明提出的损失函数曲线图；
图10为本发明提出的平均检测精度曲线图；
图11为本发明提出的绝缘子缺陷检测图。
具体实施方式
参照图1，一种基于FPGA预处理与改进YOLOv5的绝缘子缺陷检测方法，该方法包括以下步骤：
(1)通过无人机航拍获得绝缘子图像：获得的绝缘子图像制作绝缘子图像样本，将样本分为训练集和测试集；
(2)构建改进YOLOv5的绝缘子缺陷检测模型：将YOLOv5的特征融合网络PANet更换为一种高效的自学习权重的特征融合网络(BiFPN)，并结合密集连接(Dense)和自注意力机制来构建绝缘子缺陷检测模型；
(3)对待检测的绝缘子图像先使用FPGA进行降噪算法预处理；
(4)对绝缘子缺陷检测模型进行训练：将绝缘子训练样本输入到绝缘子缺陷检测模型中进行训练。
(5)获取待检测绝缘子缺陷图像的检测结果：将绝缘子缺陷检测模型训练的权重输入到绝缘子缺陷检测模型中，然后将预处理的绝缘子待检测图像输入到绝缘子缺陷检测模型，获得绝缘子缺陷图像检测结果。
所述步骤(2)构建改进YOLOv5的绝缘子缺陷检测模型具体是指：
为了使YOLOv5(you only look once v5)目标检测模型更适合于绝缘子缺陷故障检测任务，提出了多头注意力(Transformer Layer)和加权双向特征金字塔(Dense-BiFPN)来改进YOLOv5模型。改进的网络模型如图2所示，采用一种高效的自学习权重的特征融合网络(BiFPN)结合密集连接(Dense)作为YOLOv5颈部PANet模块的替代方案。与YOLOv5中原有的PANet模块相比，BiFPN通过减少网络影响较少的节点，减少了YOLOv5的参数数量，同时结合密集连接，通过跳跃式的连接方式提高了模型的语义信息传输能力，对输入图像中不同尺度大小的绝缘子特征进行权重自学习，强化了模型对小目标绝缘子缺陷的特征融合能力。在YOLOv5主干网络中最上层的CSP架构中加入多尺度自注意力机制进行改进，目标有效信息保留权重增大，背景无用信息被抑制，最大限度地保留了绝缘子的特征信息。从而提高YOLOv5对绝缘子故障检测的性能。
原YOLOv5结构中的颈部PANet结构在特征金字塔中是一种简单的双向融合，虽然可以实现高级特征图的浅层定位信息和深层强语义信息的融合，但没有相关的加权设计，缺乏对重要性的分层评价。
为了解决这一问题，本发明引入了Dense-BiFPN模块，其结构如图3所示。首先BiFPN是一种简单而高效的加权双向特征金字塔网络，它引入可学习的权重来学习不同输入特征的重要性，同时反复应用自底向上和自顶向下的多尺度特征融合方式，在不同尺度的特征图之间建立双向连接，一定程度上解决了特征信息丢失的问题，能够更好的融合不同尺度特征图的特征信息。将YOLOv5的特征层融合网络PANet替换为自学习权重的BiFPN特征融合网络：BiFPN可以在不同尺度的特征图之间建立双向连接，融合不同尺度特征图的特征信息，单层多尺度特征列表公式为：所述步骤(2)构建改进YOLOv5的绝缘子缺陷检测模型具体是指：
为了使YOLOv5模型更适合于绝缘子缺陷故障检测任务，提出了多头注意力(Transformer Layer)和加权双向特征金字塔(Dense-BiFPN)来改进YOLOv5模型。改进的网络模型如图2所示，采用一种高效的自学习权重的特征融合网络(BiFPN)结合密集连接(Dense)作为YOLOv5颈部PANet模块的替代方案。与YOLOv5中原有的PANet模块相比，BiFPN通过减少网络影响较少的节点，减少了YOLOv5的参数数量，同时结合密集连接，通过跳跃式的连接方式提高了模型的语义信息传输能力，对输入图像中不同尺度大小的绝缘子特征进行权重自学习，强化了模型对小目标绝缘子缺陷的特征融合能力。在YOLOv5主干网络中最上层的CSP架构中加入多尺度自注意力机制进行改进，目标有效信息保留权重增大，背景无用信息被抑制，最大限度地保留了绝缘子的特征信息。从而提高YOLOv5对绝缘子故障检测的性能。
原YOLOv5结构中的颈部PANet结构在特征金字塔中是一种简单的双向融合，虽然可以实现高级特征图的浅层定位信息和深层强语义信息的融合，但没有相关的加权设计，缺乏对重要性的分层评价。
为了解决这一问题，本发明引入了Dense-BiFPN模块，其结构如图3所示。首先BiFPN是一种简单而高效的加权双向特征金字塔网络，它引入可学习的权重来学习不同输入特征的重要性，同时反复应用自底向上和自顶向下的多尺度特征融合方式，在不同尺度的特征图之间建立双向连接，一定程度上解决了特征信息丢失的问题，能够更好的融合不同尺度特征图的特征信息。将YOLOv5的特征层融合网络PANet替换为自学习权重的BiFPN特征融合网络：BiFPN可以在不同尺度的特征图之间建立双向连接，融合不同尺度特征图的特征信息，单层多尺度特征列表公式为：
PiPi+1...Pi+n＝f(CiCi+1...Ci+n) (1)
其中，n表示用于特征融合的特征数量，Ci表示一层的输入特征，Pi表示一层的输出特征，f表示特征融合过程的功能。
多层多尺度特征列表公式为：
PiPi+1...Pi+n＝fjfj+1...fj+m(CiCi+1...Ci+n) (2)
其中m表示BiFPN块的重复堆叠次数。
BiFPN为了学习不同输入的特征的重要性，对不同输入特征进行了区分融合，是一种加权融合的机制，对此BiFPN使用了快速归一化处理，其表达式如下：
wi代表权重，使用激活函数ReLu将可学习权重防缩到[0,1]之间，ε＝0.00001为避免输出数值不稳定，Ini表示输入的特征，Out表示加权特征的融合结果。
Dense网络结构与该网络与BiFPN模块结合，提高网络特征融合能力，YOLOv5模型的输入图像为(640,640,3)，BiFPN的五个输入层分别P1 IN＝(320,320,32)、P2 IN＝(160,160,64)、P3 IN＝(80,80,128)、P4 IN＝(40,40,256)和P5 IN＝(20,20,512)，Dense-BiFPN网络的每个节点都会给每个输入的特征附加权重，同时以快速归一化的方法训练这些权重。
上采样将第五层输入P5 IN和第四层输入P4 IN进行带权重融合到第四层中间节点输出P4 TD，融合公式如下所示：
其中，Resize表示对输入进行上采样或者下采样，在这里为上采样操作，Conv为卷积操作，ω4为第四层输出的可学习权重，ω5第五层输出的可学习权重。
其中，P4 out为第四层最后节点的输出，Resize表示对输入进行上采样或者下采样，在这里为下采样操作，ω4、ω6、ω7分别为输入P4 IN、P4 TD、P3 out的可学习权重。
密集连接处理如图4，融合特征映射Pi IN的不同层次与更深层次的特征Pi-1 out，首先进行下采样以保持与Pi IN相同的分辨率，然后对这些特征进行元素相加合并，最后对合并后的特征层进行3×3卷积层的平滑处理。为了不增加BiFPN结构过多的复杂性，同时提高特征融合，在BiFPN下采样的过程，分别将P2 out与P4 out和P5 out进行密集连接，P3 out和P5 out进行密集连接。输出表达式如下：
其中f1x1和f3x3表示1x1和3x3卷积，U2(P2 out)表示特征图P2 out被下采样2倍，结合BiFPN的不同比例尺度的特征层，输出结果第四层N4 out和第五层N4 out的表达式如下：
其中N2 dense为跨节点第二层的密集连接的输出，P4 out为第四层的BiFPN的输出。
C3TR模型是将原YOLOv5的主干网络中的C3(CSP残差网络)结构与TransformerEncoder(自注意力机制)的结合，是在原YOLOv5网络中C3模型上进行的改进，其结构如图5所示，将C3结构与Transformer Encoder结合，利用Transformer自注意机制和多尺度特征融合对获取的特征进行聚合和优化，加入多头注意力模块后，对特征提取的操作次数和模型复杂度略有增加，目标有效信息保留权重增大，背景无用信息被抑制，最大限度地保留了特征的有效信息。多头自注意力机制输出向量σ的计算表达式如下：
其中，dθ表示查询θ的最后一维数据的维度，Λζ j，Λη j，Λθ j，分别为每组值ζ、键η、查询θ的权值向量。
所述步骤(3)对待检测的绝缘子图像先使用FPGA进行降噪算法预处理，具体包括以下步骤：
如图6所示，为FPGA预处理的航拍绝缘子图像检测系统，FPGA(FieldProgrammable Gate Array)，即现场可编程逻辑门阵列，它具有开发周期短、运算速度快、灵活性高等优点，被大量的应用于高精度的快速计算行业中，与CPU结合的FPGA器件，更实现了硬件设计与软件需求的结合，成为了工业生产和设计的热门选择。通过搭载在无人机上的高清摄像机进行图像拍摄，并由无人机上的FPGA对图像进行快速降噪预处理，为了降低去噪算法对绝缘子边缘的影响，再应用边缘增强算法增强边缘信息，最后将将处理的图片传输到图像处理模块。
FPGA对图像进行快速降噪预处理，硬件算法实现中值滤波算法表达式如下：
g(x,y)＝Mcd{f(x-l,y-l),(k,l∈W)} (10)
其中f(x,y)是原始图像的像素点，g(x,y)是滤波后图像的像素点，W为二维模型。
如图7所示，为中值滤波算法原理图，本改进方法选用3*3的二维模型。
第一步，分别对窗口内的三行像素进行排序。
第二步，分别对三行像素中的3个最大值，3个中间值，3个最小值分别进行排序。
第三部，对最大值中的最小值，中间值中的中间值，最小值的最大值进行排序得到中值。
绝缘子图像边缘增强，使用3*3的Soble(一种图像处理技术，主要用于获取图像的一阶梯度，常见的应用是边缘检测)边缘增强算子，提取边缘信息，再将边缘信息叠加于原始图像实现图像的边缘增强。
将图像转到HSI(HSI用H、S、I三参数描述颜色特性，其中H定义颜色的频率，称为色调；S表示颜色的深浅程度，称为饱和度；I表示强度或亮度)颜色空间，只需要对亮度通道进行增强，色域和饱和度通道不需要变化。采用两组3*3模板作为水平卷积核和垂直卷积核，对图像的每一个像素点的亮度通道值，计算它的邻域像素值和卷积核的卷积。得到水平梯度的表达式如下：
垂直梯度的表达式如下：
式中A是3*3像素矩阵，其均方根作为实际梯度：
将实际梯度与设定的阀值进行对比，如果结果大于阈值，将该点的亮度值增加50，否则该点的值不变增强之后再合并通道转换为RGB空间，实现了边缘信息的增强。图8是基于FPGA对绝缘子图片进行去噪预处理的效果图，较好的去除了噪声信息，通过边缘增强算法保留了绝缘子较好的边缘信息，有利于后面的绝缘子缺陷的检测。
所述步骤(4)对绝缘子缺陷检测模型进行训练，具体包括以下步骤：
对改进的绝缘子缺陷模型进行训练，首先对绝缘子图像进行标注，标签设置为正常绝缘子(insulator)、缺陷绝缘子(defect)，制作绝缘子图像数据集，并将数据集分为训练集和测试集，输入到绝缘子缺陷检测模型进行训练；
设置训练参数：在训练阶段，我们使用SGD优化器(随机梯度下降优化器，进行梯度下降来更新模型参数)，初始学习率设置为0.01，动量0.97，最终学习率为0.00001，权重衰减为0.005，并用CosinAnnealingLR方法(余弦退火算法，当损失函数较小时，学习率还需要下降，可以通过余弦函数来降低学习率)衰减学习速率，训练次数设置为200个epochs，每批次的batchSize为32；
设置自适应放缩绝缘子缺陷图片尺寸为640×640，对网络设定的输入图像尺寸大小实现自适应绝缘子的训练集和测试集图像的放缩；
绝缘子缺陷检测模型的训练评价指标；
对目标检测任务，主要的评价指标包括精度(P)、召回率(R)、平均精度(mAP)，mAP值一般按交并比IOU＝0.5计算，计算公式如下：
式中TP、FP和FN分别表示真阳性、假阳性、和假阴性。
如图9和10所示，为了验证改进模块对绝缘子分割性能的提升效果，采用上述绝缘子数据集对模型a(YOLOv5s)、模型b(YOLOv5s+Dense-BiFPN)及本发明模型c(YOLOv5s+Dense-BiFPN+C3TR)进行网络训练，如图8所示，在采用了200次迭代训练后基本稳定在1％左右，训练结果均可收敛。将三种模型的损失曲线进行对比，本发明的改进模型收敛速度更快和收敛值更小，如图9所示，通过引入可学习的权重来学习不同输入特征，使mAP达到了98.9，相比原模型提升了2.87％，提升了网络对绝缘子缺陷的检测精度，获得了更好的检测效果。
为了进一步验证本文模型对真实航拍绝缘子缺陷的检测效果，对实地无人机航拍得到的绝缘子缺陷图片进行检测，如图11所示，本文改进模型对玻璃绝缘子掉片缺陷检测效果显著，相比于训练对比的其他模型，检测精度均有所提升。同时图像无线传输需要处理大量图像数据，同时要考虑距离与功耗的平衡，需要在电池优化的情况下，把带宽进行压缩。FPGA并行数据处理能力可以提高数据传输的速度，再通过去噪算法压缩图片无用信息，突出重点，减少带宽占用，提高了系统绝缘子缺陷检测的实时性。
综上所述，本发明一种基于FPGA预处理与改进YOLOv5的绝缘子缺陷检测方法。
1)针对航拍绝缘子图片中易出现电磁、震动等噪声干扰，无线通讯需要处理大量图像数据，本文通过无人机中搭载的FPGA芯片对绝缘子图片进行快速降噪处理压缩带宽，提高通讯效益，有效提高了整个目标检测系统的实时性。
2)在网络输入图像中的绝缘子尺寸差别较大，绝缘子背景复杂，通过BiFPN引入可学习的权重来学习不同输入特征的重要性，同时结合Dense进行多尺度特征融合，提高了绝缘子检测精度，AP值达到了99.7％。
3)绝缘子故障相对于整个输入图像非常小，通过在YOLOv5主干网络中改进C3网络，在C3网络中加入Transformer模块，使获取特征信息的注意力在绝缘子前景上，结合BiFPN多尺度特征融合，有效降低了故障绝缘子误检与漏检的概率，相比原模型各项评价指标均有显著的提升，mAP值上升了2.87％，达到了98.9％。本发明可以为高压输电线路中无人机航拍图像检测系统提供参考。
Claims (6)
1.一种基于FPGA预处理与改进YOLOv5的绝缘子缺陷检测方法，其特征在于，所述方法步骤如下：
S1：获得绝缘子样本训练集和测试集，获取绝缘子图像，从中随机选取预定数目的绝缘子图像制作绝缘子图像作为样本，将样本分为训练集和测试集；
S2：构建改进YOLOv5的绝缘子缺陷检测模型，将YOLOv5的特征融合网络PANet更换为一种自学习权重的特征融合网络BiFPN，并结合密集连接Dense和自注意力机制来构建绝缘子缺陷检测模型；
S3：待检测的绝缘子图像预处理，对待检测的绝缘子图像先使用FPGA进行降噪算法预处理；
S4：对绝缘子缺陷检测模型进行训练，将绝缘子训练样本输入到绝缘子缺陷检测模型中进行训练；
S5：获取待检测绝缘子缺陷图像的检测结果，将绝缘子缺陷检测模型训练的权重输入到绝缘子缺陷检测模型中，然后将预处理的绝缘子待检测图像输入到绝缘子缺陷检测模型，获得绝缘子缺陷图像检测结果。
2.根据权利要求1所述的一种基于FPGA预处理与改进YOLOv5的绝缘子缺陷检测方法，其特征在于，步骤S2中构建改进YOLOv5的绝缘子缺陷检测模型的方法步骤如下：
S21：将YOLOv5的特征层融合网络PANet替换为自学习权重的BiFPN特征融合网络，利用BiFPN在不同尺度的特征图之间建立双向连接，融合不同尺度特征图的特征信息；
单层多尺度特征列表公式为：
PiPi+1...Pi+n＝f(CiCi+1...Ci+n) (1)
其中，n表示用于特征融合的特征数量，Ci表示一层的输入特征，Pi表示一层的输出特征，f表示特征融合过程的功能；
多层多尺度特征列表公式为：
PiPi+1...Pi+n＝fjfj+1...fj+m(CiCi+1...Ci+n) (2)
其中，m表示BiFPN块的重复堆叠次数；
BiFPN为了学习不同输入的特征的重要性，对不同输入特征进行了区分融合，是一种加权融合的机制，对此BiFPN使用了快速归一化处理，其表达式如下：
其中，wi代表权重，使用激活函数ReLu将可学习权重防缩到[0,1]之间，ε＝0.00001为避免输出数值不稳定，Ini表示输入的特征，Out表示加权特征的融合结果；
S22：结合密集连接Dense网络改进BiFPN模块，得到Dense-BiFPN网络，Dense-BiFPN网络的每个节点给每个输入的特征附加权重，上采样将第五层输入P5 IN和第四层输入P4 IN进行带权重融合到第四层中间节点输出P4 TD，融合公式如下所示：
其中，Resize表示对输入进行上采样或者下采样，在这里为上采样操作，Conv为卷积操作，ω4为第四层输出的可学习权重，ω5第五层输出的可学习权重；
其中，P4 out为第四层最后节点的输出，Resize表示对输入进行上采样或者下采样，在这里为下采样操作，ω4、ω6、ω7分别为输入P4 IN、P4 TD、P3 out的可学习权重；
分别将P2 out与P4 out和P5 out进行密集连接，P3 out和P5 out进行密集连接，输出表达式如下：
其中，f1x1和f3x3表示1×1和3×3卷积，U2(P2 out)表示特征图P2 out被下采样2倍，结合BiFPN的不同比例尺度的特征层，输出结果第四层N4 out和第五层N5 out的表达式如下：
其中，N2 dense和N3 dense分别为跨节点第二层的密集连接的输出和跨节点第三层的密集连接的输出，P4 out和P5 out分别为第四层的BiFPN的输出和第五层的BiFPN的输出；
S23：添加C3TR模型来改进YOLOv5主干网络CSP结构，通过C3TR的多头自注意力机制和多尺度特征融合对获取的特征进行聚合和优化，多头自注意力机制输出向量σ的计算表达式如下：
其中，dθ表示查询θ的最后一维数据的维度，Λζ j，Λη j，Λθ j，分别为每组值ζ、键η、查询θ的权值向量。
3.根据权利要求1所述的一种基于FPGA预处理与改进YOLOv5的绝缘子缺陷检测方法，其特征在于，步骤S3中对待检测的绝缘子图像先使用FPGA进行降噪算法预处理的方法步骤如下：
S31：FPGA对图像进行快速降噪预处理，硬件算法实现中值滤波算法表达式如下：
g(x,y)＝Mcd{f(x-l,y-l),(k,l∈W)} (10)
其中f(x,y)是原始图像的像素点，g(x,y)是滤波后图像的像素点，W为二维模型；
S32：选取3*3的二维模型，选择排序得到中值；
S33：绝缘子图像边缘增强，使用3*3的Soble边缘增强算子，提取边缘信息，再将边缘信息叠加于原始图像实现图像的边缘增强；
S34：将图像转到HSI颜色空间，只需要对亮度通道进行增强，色域和饱和度通道不需要变化，采用两组3*3模板作为水平卷积核和垂直卷积核，对图像的每一个像素点的亮度通道值，计算它的邻域像素值和卷积核的卷积，得到水平梯度的表达式如下：
垂直梯度的表达式如下：
式中A是3*3像素矩阵，其均方根作为实际梯度：
将实际梯度与设定的阀值进行对比，如果结果大于阈值，将该点的亮度值增加50，否则该点的值不变增强之后再合并通道转换为RGB空间。
4.根据权利要求3所述的一种基于FPGA预处理与改进YOLOv5的绝缘子缺陷检测方法，其特征在于，步骤S32中选取3*3的二维模型，选择排序得到中值的方法步骤如下：
S321：分别对窗口内的三行像素进行排序；
S322：分别对三行像素中的3个最大值，3个中间值，3个最小值分别进行排序；
S323：对最大值中的最小值，中间值中的中间值，最小值的最大值进行排序得到中值。
5.根据权利要求1所述的一种基于FPGA预处理与改进YOLOv5的绝缘子缺陷检测方法，其特征在于，步骤S4中对绝缘子缺陷检测模型进行训练的方法步骤如下：
S41：对绝缘子图像进行标注，制作绝缘子图像训练数据集，并数据集分为训练集和测试集，输入到绝缘子缺陷检测模型进行训练；
S42：设置训练参数，在训练阶段，使用SGD优化器，初始学习率设置为0.01，动量0.97，最终学习率为0.00001，权重衰减为0.005，并用CosinAnnealingLR方法衰减学习速率，训练次数设置为200个epochs，每批次的batchSize为32；
S43：设置自适应放缩绝缘子缺陷图片尺寸为640×640，对网络设定的输入图像尺寸大小实现自适应绝缘子的训练集和测试集图像的放缩；
S44：通过模型训练评价指标对改进绝缘子缺陷检测模型的效果进行对比。
6.根据权利要求1所述的一种基于FPGA预处理与改进YOLOv5的绝缘子缺陷检测方法，其特征在于，步骤S44中绝缘子缺陷检测模型的训练评价指标为：
对目标检测任务，评价指标包括精度P、召回率R、平均精度mAP，mAP值按交并比IOU＝0.5计算，计算公式如下：
式中TP、FP和FN分别表示真阳性、假阳性、和假阴性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310487759.6A CN116523875A (zh) | 2023-05-04 | 2023-05-04 | 基于FPGA预处理与改进YOLOv5的绝缘子缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310487759.6A CN116523875A (zh) | 2023-05-04 | 2023-05-04 | 基于FPGA预处理与改进YOLOv5的绝缘子缺陷检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116523875A true CN116523875A (zh) | 2023-08-01 |
Family
ID=87395512
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310487759.6A Pending CN116523875A (zh) | 2023-05-04 | 2023-05-04 | 基于FPGA预处理与改进YOLOv5的绝缘子缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116523875A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117036363A (zh) * | 2023-10-10 | 2023-11-10 | 国网四川省电力公司信息通信公司 | 一种基于多特征融合的遮挡绝缘子检测方法 |
-
2023
- 2023-05-04 CN CN202310487759.6A patent/CN116523875A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117036363A (zh) * | 2023-10-10 | 2023-11-10 | 国网四川省电力公司信息通信公司 | 一种基于多特征融合的遮挡绝缘子检测方法 |
| CN117036363B (zh) * | 2023-10-10 | 2024-01-30 | 国网四川省电力公司信息通信公司 | 一种基于多特征融合的遮挡绝缘子检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115049936B (zh) | 一种面向高分遥感影像的边界增强型语义分割方法 | |
| CN106875373B (zh) | 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法 | |
| CN108491836B (zh) | 一种自然场景图像中中文文本整体识别方法 | |
| CN109034184B (zh) | 一种基于深度学习的均压环检测识别方法 | |
| CN116342596B (zh) | 一种基于YOLOv5改进的变电站设备螺母缺陷识别检测方法 | |
| CN113780132A (zh) | 一种基于卷积神经网络的车道线检测方法 | |
| CN113449691A (zh) | 一种基于非局部注意力机制的人形识别系统及方法 | |
| CN116416244A (zh) | 一种基于深度学习的裂缝检测方法及系统 | |
| CN116523875A (zh) | 基于FPGA预处理与改进YOLOv5的绝缘子缺陷检测方法 | |
| CN114463759A (zh) | 一种基于无锚框算法的轻量化文字检测方法及装置 | |
| CN112766056A (zh) | 一种基于深度神经网络的弱光环境车道线检测方法、装置 | |
| CN114092774B (zh) | 基于信息流融合的rgb-t图像显著性检测系统及检测方法 | |
| CN111027542A (zh) | 一种基于Faster RCNN算法改进的目标检测方法 | |
| CN109448039B (zh) | 一种基于深度卷积神经网络的单目视觉深度估计方法 | |
| CN112837281B (zh) | 基于级联卷积神经网络的销钉缺陷识别方法、装置和设备 | |
| CN113378672A (zh) | 基于改进YOLOv3的输电线缺陷多目标检测方法 | |
| CN111414988B (zh) | 基于多尺度特征自适应融合网络的遥感影像超分辨率方法 | |
| CN117496384A (zh) | 一种无人机图像物体检测方法 | |
| CN111126173A (zh) | 一种高精度人脸检测方法 | |
| CN116224062A (zh) | 一种基于卷积神经网络的伺服电机故障诊断方法 | |
| CN115331081A (zh) | 图像目标检测方法与装置 | |
| CN111402223B (zh) | 一种利用变电站视频图像的变电站缺陷问题检测方法 | |
| CN114565764A (zh) | 基于舰船实例分割的港口全景感知系统 | |
| CN114463192A (zh) | 一种基于深度学习的红外视频畸变校正的方法 | |
| CN114581789A (zh) | 一种高光谱图像分类方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |