CN116883801A - 基于注意力机制与多尺度特征融合的YOLOv8目标检测方法 - Google Patents

基于注意力机制与多尺度特征融合的YOLOv8目标检测方法 Download PDF

Info

Publication number
CN116883801A
CN116883801A CN202310896292.0A CN202310896292A CN116883801A CN 116883801 A CN116883801 A CN 116883801A CN 202310896292 A CN202310896292 A CN 202310896292A CN 116883801 A CN116883801 A CN 116883801A
Authority
CN
China
Prior art keywords
yolov8
module
attention mechanism
model
cbs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310896292.0A
Other languages
English (en)
Inventor
曹旺斌
王明
李丽芬
梅华威
张月圆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China Electric Power University
Original Assignee
North China Electric Power University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China Electric Power University filed Critical North China Electric Power University
Priority to CN202310896292.0A priority Critical patent/CN116883801A/zh
Publication of CN116883801A publication Critical patent/CN116883801A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明提供了一种基于注意力机制与多尺度特征融合的YOLOv8目标检测方法。该方法包括以下步骤：获取可见光绝缘子缺陷图像数据集，人工进行数据筛选；利用labelimg工具对收集到的图像数据进行人工标注；将CBAM注意力机制、BiFPN多尺度特征融合金字塔、SIoU损失函数与YOLOv8模型结合，构建YOLOv8‑CBS模型；将标注好的绝缘子缺陷数据集输入到YOLOv8‑CBS模型中进行训练；用训练好的YOLOv8‑CBS模型对待识别的可见光绝缘子缺陷图像进行故障检测与定位。本发明可以部署在无人巡检设备上，利用部署了本发明的无人巡检设备对输电线路上的绝缘子进行缺陷检测，可大大提升故障诊断的准确率。

Description

基于注意力机制与多尺度特征融合的YOLOv8目标检测方法
技术领域
本发明涉及电力系统领域，具体地说是一种基于注意力机制与多尺度特征融合的YOLOv8目标检测方法。
背景技术
绝缘子是输电线路的重要设备之一，其安全稳定与否和电网能否可靠供电密切相关。截至2022年底，全国输电线路绝缘子安装覆盖率已经接近100％，也就是说，几乎每一条线路都已经安装了绝缘子，这个数据表明，中国的输电线路绝缘子安装水平已经非常高，为电力系统的安全稳定运行提供了坚实的保障。然而，大部分绝缘子长期暴露在野外恶劣的自然环境中，极易发生故障又难以及时察觉，这给电力系统的平稳运行带来极大压力。
随着智能电网建设步伐的加快，电力系统规模不断扩大，潜在的电网安全平稳运行问题越来越突出。绝缘子作为架空输电线路上最重要的设备之一，对电缆电线固定连接和实现电气绝缘都起到至关重要的作用。因此应当定期关注绝缘子状态，安排输电线路巡检，及时排除绝缘子故障。传统的人工巡检方式由于巡检难度大，安全性难以保证以及巡检结果大多依赖于人工经验，巡检的准确性也难以保证。随着技术的发展，人工巡检逐渐被无人机、机器人等智能巡检方式取代。这在一定程度上解决了传统人工巡检成本高、安全性难以保证等问题。为提高绝缘子缺陷检测准确率，需要设计合理的缺陷检测方法，进一步保证电力系统的平稳运行。
作为输电线路智能巡检的重要手段，基于目标检测的绝缘子缺陷检测算法一直是该领域的研究热点。目标检测算法按照识别阶段分为两类，第一类是基于候选框，以MaskR-CNN和Faster R-CNN为代表的两阶段目标检测算法。两阶段模型的候选区域过多，相邻窗口重复信息冗余，导致计算量大，检测速度慢。第二类是基于回归的端到端模型，以SSD和YOLO为代表的一阶段目标检测算法。从YOLOv1模型开始，YOLO系列模型经过多年发展已经迭代出YOLOv2，YOLOv3，YOLOv4，YOLOv5等版本。
发明内容
本发明的目的是提供一种基于注意力机制与多尺度特征融合的YOLOv8目标检测方法，以提升绝缘子缺陷检测的准确率以及部署在无人巡检设备上。
本发明是这样实现的：
本发明所提供的基于注意力机制与多尺度特征融合的YOLOv8目标检测方法，即是基于YOLO算法的绝缘子缺陷检测方法，该方法采用YOLOv8作为基准模型，分别对原始YOLOv8模型的Backbone端、Neck端，Head端进行改进，并在改进后的YOLOv8模型上对绝缘子缺陷图片进行检测，最后通过实验验证本方法的有效性。
本发明采用技术方案：基于注意力机制与多尺度特征融合的YOLOv8目标检测方法，包括以下步骤：
(1)使用无人巡检设备获取可见光绝缘子图像，之后通过人工筛选，获得绝缘子缺陷图像数据集；
(2)利用labelimg工具对获得的绝缘子缺陷图像数据进行人工标注；
(3)将CBAM注意力机制、BiFPN多尺度特征融合金字塔、SIoU损失函数与原始YOLOv8模型结合，构建YOLOv8-CBS模型；
(4)将标注好的绝缘子缺陷图像数据集输入到YOLOv8-CBS模型中进行训练；
(5)使用训练好的YOLOv8-CBS模型对待识别的可见光绝缘子缺陷图像进行故障检测与定位。
所述步骤(1)中，获取可见光绝缘子图像的步骤如下：
使用无人巡检设备采集野外环境中输电线路上的可见光绝缘子图像，在拍摄绝缘子图像时，要求光照条件充足，拍摄的目标绝缘子尽量减少遮挡。获取到图像之后，人工筛选去除完好的绝缘子图像，只保留有缺陷的绝缘子图像。
所述步骤(2)中，具体操作步骤如下：
利用labelimg标注工具选择YOLO格式对人工筛选后的图像进行标注。对于发生破损或者自爆的绝缘子标注整个绝缘子片，标签名为broken；对于发生闪络的绝缘子只标注绝缘子片上发生闪络故障的区域，标签名为flashover。将标签名与位置都保存在.txt文件中，完成标注工作后，再将数据集按照8：2的比例随机划分为训练集和验证集。
所述步骤(3)中，具体操作步骤如下：
在YOLOv8模型的Backbone端结合CBAM注意力机制、在Neck端结合BiFPN多尺度特征融合金字塔、在Head端结合SIoU损失函数，构建YOLOv8-CBS模型。具体操作如下：
1)在Backbone端结合CBAM注意力机制：尽管YOLOv8模型的主干网络具有较强的特征提取能力，但是在野外自然环境下，绝缘子航拍图像易受到光照、遮挡、背景复杂等因素的影响以及绝缘子发生缺陷的区域面积较小，导致图像难以识别。考虑到在进行到第九层特征提取之后，输入图像的空间特征被大幅削弱，因此本发明在YOLOv8主干特征提取网络的第四C2f模块与SPPF模块之间融合CBAM注意力机制解决上述问题。
CBAM注意力机制由CBAM注意力机制模块来完成相应操作。CBAM注意力机制模块即Convolutional Block Attention Module，包括CAM通道注意力模块和SAM空间注意力模块。特征图在CAM通道注意力模块中保持通道维度不变，压缩空间维度，使得模型更加关注图像的类别信息；特征图在SAM空间注意力模块中保持空间维度不变，压缩通道维度，使得模型更加关注图像的位置信息。CAM通道注意力模块具体执行如下步骤：首先将输入的特征图，分别进行全局最大池化和全局平均池化，使得特征图尺寸从W*H*C变为1*1*C，将得到的两个特征图再输入到shared MLP中，经过ReLU激活函数得到两个激活后的结果，最后将shared MLP的两个输出结果相加再经过sigmoid函数后乘以原输入特征图，使图像尺寸变回W*H*C。SAM空间注意力模块具体执行如下步骤：首先将通道特征图进行全局最大池化和全局平均池化，得到两个W*H*1的特征图，将这两个特征图进行Concat操作，再经过卷积核大小为7*7的卷积层降维为单通道特征图，最后经过sigmoid函数后乘以输入特征图，使图像尺寸变回W*H*C，最终得到CBAM注意力机制模块的输出特征图。
2)在Neck端结合BiFPN多尺度特征融合金字塔：在实际巡检场景中，由于拍摄角度、阴影遮挡、光照条件不足等问题可能导致绝缘子缺陷图像质量较差，对于该类图像采用YOLOv8模型提取不到有意义的特征，特征融合效果较差，甚至会影响模型的学习能力，因此采用BiFPN结构进行多尺度特征融合，特征融合过程中采用Fast Normalized Fusion进行带权融合，带权计算方法(以第6层节点为例)如公式(1)所示，按照BiFPN网络结构的定义，带权特征融合添加位置为12、15、18、21层，同时将第7层之后的特征图与第18层的BiFPN_Concat进行连接。BiFPN结构删除单输入边的节点，并且在同一层的输入输出节点之间增加连接，因为只有一条输入边的节点不会进行特征融合，对特征融合网络的贡献度较小，因此，删除后对特征融合效果影响不大，同时删除单输入边节点能够简化网络结构，降低计算量，还能保留原始节点未融合的信息。
其中，为第6层输入节点的输入特征，/>为第6层中间节点的输出特征，/>为第6层输出节点的输出特征，/>为第5层输出节点的输出特征，/>为第7层输入节点的输入特征，Conv为卷积操作，resize为上采样或者下采样操作，ωi(i＝1，2)与ωi'(i＝1，2，3)为区分不同特征重要程度的权重参数，ε为偏置项。
3)在Head端结合SIoU损失函数：YOLOv8原始模型的预测框在回归过程中，当预测框的高和宽同比例放大和缩小时，预测框的回归就不能继续优化，同时也没有考虑到预测框与真实框之间的角度也是影响回归的一个重要因素。基于以上两点考虑，本发明将SIoU作为预测框回归阶段的损失函数，SIoU损失函数包括角度损失、距离损失、形状损失、交并比损失四部分。采用SIoU作为预测框回归过程中的损失函数，能够充分考虑预测框和真实框之间的角度影响，并提高模型的收敛速度和回归精度，使得整个回归过程中更加关注高质量锚框。
所述步骤(4)具体操作步骤如下：
将标注好的绝缘子缺陷图像数据集输入到YOLOv8-CBS模型中进行训练，得到YOLOv8-CBS.pt权重文件。
YOLOv8-CBS模型由Backbone端、Neck端、Head端组成，Backbone端进行特征提取，Neck端进行特征融合，Head端进行预测。其中Backbone端包括CBS模块、C2f模块、CBAM注意力机制模块、SPPF模块；CBS模块由卷积层、归一化层和SiLU激活函数层组成；C2f模块由CBS模块、split层和多个Bottleneck层组成；CBAM注意力机制模块由CAM通道注意力模块和SAM空间注意力模块组成。结合了CBAM注意力机制的Backbone端增强了对绝缘子缺损、自爆、闪络等图像缺陷区域特征的学习，提高目标检测精度，提升模型的泛化性。Neck端包括CBS模块、C2f模块、Upsample层和BiFPN_Concat模块，其中Upsample层进行上采样操作，便于特征融合操作。结合了BiFPN结构的Neck端进行多尺度特征融合，可以在提升YOLOv8-CBS模型对小目标检测精度的同时能够降低网络复杂度，减少冗余计算。Head端采用解耦头结构同时结合了SIoU损失函数，能够充分考虑预测框和真实框之间的角度影响，并提高模型的收敛速度和回归精度，使得整个回归过程中更加关注高质量锚框。
所述步骤(5)具体操作步骤如下：
使用训练好的YOLOv8-CBS模型对待识别的可见光绝缘子缺陷图像进行故障检测与定位，对故障绝缘子所在的输电线路及时维修。
本发明提供的技术方案具有的有益效果：
本发明分析实际巡检场景中可能出现的问题，结合注意力机制与多尺度特征融合，提出了一种改进型YOLOv8绝缘子缺陷检测方法。该方法相比于YOLOv5模型降低了模型复杂度，缩短了检测时间；相比于原始YOLOv8模型，提高了检测精度，综合性能表现良好。具体结论如下：针对野外自然环境复杂，采集的绝缘子缺陷图像易受到光照、复杂背景影响的问题，在Backbone端主干特征提取网络融合了CBAM注意力机制，有效减弱了复杂背景对检测精度的影响，CBAM注意力机制特有的通道和空间注意力模块有效改善了绝缘子故障识别中小目标检测和复杂背景下的目标检测任务；针对YOLOv8模型Neck端网络结构复杂且特征融合效果较差的问题，采取BiFPN结构的多尺度特征融合，充分考虑了不同特征图在特征融合过程中的重要程度，使用带权融合方式进行特征融合能够显著提升模型对不同尺度目标，尤其是小目标的特征融合能力；为了解决预测框回归过程中因长宽同时按比例增长导致预测框不能继续优化的问题，在YOLOv8模型的Head端结合SIoU损失函数，使得回归过程中能够更加关注高质量锚框，加快了模型收敛速度，进一步提升了模型的鲁棒性与泛化性。通过实验验证可知，本发明所提出的YOLOv8-CBS模型的应用，能够及时、准确识别绝缘子故障，降低模型复杂度的同时提升故障识别准确率，对输配电网绝缘子故障的检测以及输配电网的安全运行具有重要意义。
附图说明
图1是本发明的方法流程图。
图2是本发明YOLOv8-CBS模型结构示意图。
图3是本发明实施例中数据标注方式示意图。
图4是CBAM注意力机制模块结构示意图。
图5是BiFPN结构示意图。
图6是解耦头结构示意图。
图7是YOLOv8模型与YOLOv8-CBS模型检测结果对比图。
具体实施方式
为了使本技术领域的人员更好地理解本发明的目的、技术方案及技术效果，下面结合具体实施例，对本发明的技术方案进行清楚、完整的描述，但不仅限于此，本发明未详尽说明的，均按本领域常规技术。
如图1所示，图1为本发明完成绝缘子缺陷检测的流程，其实施流程包括如下详细步骤。
步骤(1)，收集可见光绝缘子缺陷图像。
使用无人巡检设备采集野外环境中输电线路上的可见光绝缘子图像，在拍摄绝缘子图像时，要求光照条件充足，拍摄的目标绝缘子尽量减少遮挡。获取到图像之后，人工筛选去除完好的绝缘子图像，只保留有缺陷的绝缘子图像。绝缘子图像的缺陷包括发生破损、自爆、发生闪络故障。破损和自爆归类为broken，闪络归类为flashover。
步骤(2)，对收集到的图像进行人工标注并划分训练集与验证集。
利用labelimg标注工具选择YOLO格式对人工筛选后的图像进行标注。对于发生破损或者自爆的绝缘子标注整个绝缘子片，标签名为broken；对于发生闪络的绝缘子只标注绝缘子片上发生闪络故障的区域，标签名为flashover。数据标注的具体方式如附图3所示，图3中，左上角为破损的绝缘子，将整个绝缘子片进行标注；左下角为自爆的绝缘子，将整个绝缘子片进行标注；右上角和右下角两个图上的绝缘子，存在发生闪络故障，因此将发生闪络故障的区域进行标注。标注后，将标签名与位置都保存在.txt文件中，完成标注工作后，利用Python脚本将数据集按照8：2的比例随机划分为训练集和验证集。
步骤(3)，构建YOLOv8-CBS模型。
在YOLOv8模型的Backbone端结合CBAM注意力机制、在Neck端结合BiFPN多尺度特征融合金字塔、在Head端结合SIoU损失函数，构建YOLOv8-CBS模型。具体操作如下：
YOLOv8模型(或称YOLOv8原始模型)，包括Backbone端、Neck端、Head端，Backbone端用于特征提取，Neck端用于特征融合，Head端进行预测。所构建的YOLOv8-CBS模型与YOLOv8模型相同，也包括Backbone端、Neck端、Head端，Backbone端进行特征提取，Neck端进行特征融合，Head端进行预测。结合图2，Backbone端从输入之后的第一个CBS模块到SPPF模块(包括SPPF模块)，Neck端从SPPF模块之后到每个BiFPN_Concat模块之后的C2f模块(包括C2f模块)，Head端只有三个Detect模块。
1)在Backbone端结合CBAM注意力机制。
尽管YOLOv8模型的主干网络具有较强的特征提取能力，但是在野外自然环境下，绝缘子航拍图像易受到光照、遮挡，背景复杂等因素的影响以及绝缘子发生缺陷的区域面积较小，导致图像难以识别。
YOLOv8模型的Backbone端依序包括：CBS模块、CBS模块、C2f模块、CBS模块、C2f模块、CBS模块、C2f模块、CBS模块、C2f模块、SPPF模块。考虑到在进行到第九层特征提取之后，输入图像的空间特征被大幅削弱，因此本发明在YOLOv8主干特征提取网络的第四C2f模块与SPPF模块之间融合CBAM注意力机制解决上述问题，如图2所示。CBAM注意力机制由CBAM注意力机制模块来执行相应操作，CBAM注意力机制模块结构如图4所示。
CBAM注意力机制模块即Convolutional Block Attention Module，包括CAM通道注意力模块和SAM空间注意力模块。特征图在CAM通道注意力模块中保持通道维度不变，压缩空间维度，使得模型更加关注图像的类别信息；特征图在SAM空间注意力模块中保持空间维度不变，压缩通道维度，使得模型更加关注图像的位置信息。CAM通道注意力模块具体执行如下步骤：首先将输入的特征图，分别进行全局最大池化和全局平均池化，使得特征图尺寸从W*H*C变为1*1*C，将得到的两个特征图再输入到shared MLP中，经过ReLU激活函数得到两个激活后的结果，最后将shared MLP的两个输出结果相加再经过sigmoid函数后乘以原输入特征图，使图像尺寸变回W*H*C。SAM空间注意力模块具体执行如下步骤：首先将通道特征图进行全局最大池化和全局平均池化，得到两个W*H*1的特征图，将这两个特征图进行Concat操作，再经过卷积核大小为7*7的卷积层降维为单通道特征图，最后经过sigmoid函数后乘以输入特征图，使图像尺寸变回W*H*C，最终得到CBAM注意力机制模块的输出特征图。
2)在Neck端结合BiFPN多尺度特征融合金字塔。
BiFPN结构如图5所示，采用BiFPN结构进行多尺度特征融合，特征融合过程中采用Fast Normalized Fusion进行带权融合，带权计算方法(以第6层节点为例)如公式(1)所示，结合图2，按照BiFPN网络结构的定义，带权特征融合添加位置为12、15、18、21层，同时将第7层之后的特征图与第18层的BiFPN_Concat进行连接。BiFPN结构删除单输入边的节点，并且在同一层的输入输出节点之间增加连接，因为只有一条输入边的节点不会进行特征融合，对特征融合网络的贡献度较小，因此，删除后对特征融合效果影响不大，同时删除单输入边节点能够简化网络结构，降低计算量，还能保留原始节点未融合的信息。
其中，为第6层输入节点的输入特征，/>为第6层中间节点的输出特征，/>为第6层输出节点的输出特征，/>为第5层输出节点的输出特征，/>为第7层输入节点的输入特征，Conv为卷积操作，resize为上采样或者下采样操作，ωi(i＝1，2)与ωi'(i＝1，2，3)为区分不同特征重要程度的权重参数，ε为偏置项。
3)在Head端结合SIoU损失函数。
YOLOv8原始模型的预测框在回归过程中，当预测框的高和宽同比例放大和缩小时，预测框的回归就不能继续优化，同时也没有考虑到预测框与真实框之间的角度也是影响回归的一个重要因素。基于以上两点考虑，提出将SIoU作为预测框回归阶段的损失函数，SIoU包括角度损失、距离损失、形状损失、交并比损失四部分。采用SIoU作为预测框回归过程中的损失函数，能够充分考虑预测框和真实框之间的角度影响，并提高模型的收敛速度和回归精度，使得整个回归过程中更加关注高质量锚框。
YOLOv8-CBS模型结构如图2所示，图中详细标明了CBAM注意力机制模块应添加在第四C2f模块与SPPF模块之间，所有的特征融合操作都应为BiFPN_Concat带权融合。
YOLOv8-CBS模型中，Backbone端依序包括CBS模块、CBS模块、C2f模块、CBS模块、C2f模块、CBS模块、C2f模块、CBS模块、C2f模块、CBAM注意力机制模块和SPPF模块，CBS模块由卷积层、归一化层和SiLU激活函数层组成；C2f模块由CBS模块、split层和多个Bottleneck层组成；CBAM注意力机制模块由CAM通道注意力模块和SAM空间注意力模块组成。结合了CBAM注意力机制的Backbone端增强了对绝缘子缺损、自爆、闪络等图像缺陷区域特征的学习，提高目标检测精度，提升模型的泛化性。Neck端包括Upsample层、BiFPN_Concat模块、C2f模块、CBS模块，其中Upsample层进行上采样操作，便于特征融合操作。在原YOLOv8模型中，第12、15、18、21层为Concat模块，在YOLOv8-CBS模型中，由于结合了BiFPN结构，因此对应的命名为BiFPN_Concat模块。结合了BiFPN结构的Neck端进行多尺度特征融合，可以在提升YOLOv8-CBS模型对小目标检测精度的同时能够降低网络复杂度，减少冗余计算。Head端采用解耦头结构同时结合了SIoU损失函数，能够充分考虑预测框和真实框之间的角度影响，并提高模型的收敛速度和回归精度，使得整个回归过程中更加关注高质量锚框。如图6所示，解耦头结构包括CBS模块、卷积层以及回归和分类损失函数。
步骤(4)，训练YOLOv8-CBS模型。
将标注好的绝缘子缺陷数据集中的训练集输入到YOLOv8-CBS模型中进行训练，得到YOLOv8-CBS.pt权重文件，进而得到YOLOv8-CBS模型。训练完成后，采用验证集进行验证。
步骤(5)，使用YOLOv8-CBS模型识别故障绝缘子。
使用训练好的YOLOv8-CBS模型对待识别的可见光绝缘子缺陷图片进行故障检测与定位，对故障绝缘子所在的输电线路及时维修。
采用YOLOv8模型与YOLOv8-CBS模型在同一个数据集上进行检测，对比结果如图7所示。从图7可以可知，相比于YOLOv8模型，YOLOv8-CBS模型特征提取能力更强，在区分相似特征方面表现更好，多尺度特征融合更彻底，对小目标检测的能力更强，漏检率、错检率更低。即使是在复杂的野外自然环境中也有很好的检测效果，具有较好的鲁棒性和泛化性，能够满足无人巡检的要求。
本实施例所使用的框架为Pytorch1.13，Python版本为3.9，CUDA版本为11.7，训练系统为Windows10，训练所使用的显卡型号为Geforce 2060 6GB。
综上所述，本发明使用改进型YOLOv8模型进行输电线路绝缘子缺陷检测，提升了绝缘子缺陷检测的准确性，这对保证电网安全稳定地运行具有至关重要的作用。

Claims (9)

1.一种基于注意力机制与多尺度特征融合的YOLOv8目标检测方法，其特征是，包括如下步骤：
(1)使用无人巡检设备获取可见光绝缘子图像，之后通过人工筛选，获得绝缘子缺陷图像数据集；
(2)利用labelimg工具对获得的绝缘子缺陷图像数据进行人工标注；
(3)将CBAM注意力机制、BiFPN多尺度特征融合金字塔、SIoU损失函数与原始YOLOv8模型结合，构建YOLOv8-CBS模型；
(4)将标注好的绝缘子缺陷图像数据集输入到YOLOv8-CBS模型中进行训练；
(5)使用训练好的YOLOv8-CBS模型对待识别的可见光绝缘子缺陷图像进行故障检测与定位。
2.根据权利要求1所述的基于注意力机制与多尺度特征融合的YOLOv8目标检测方法，其特征是，步骤(2)具体为：利用labelimg标注工具选择YOLO格式对人工筛选后的图像进行标注：对于发生破损或者自爆的绝缘子标注整个绝缘子片，标签名为broken；对于发生闪络的绝缘子只标注绝缘子片上发生闪络故障的区域，标签名为flashover；将标签名与位置进行存储，再将数据集按照8：2的比例随机划分为训练集和验证集。
3.根据权利要求1所述的基于注意力机制与多尺度特征融合的YOLOv8目标检测方法，其特征是，步骤(3)具体为：在YOLOv8模型的Backbone端结合CBAM注意力机制、在Neck端结合BiFPN多尺度特征融合金字塔、在Head端结合SIoU损失函数，构建YOLOv8-CBS模型。
4.根据权利要求3所述的基于注意力机制与多尺度特征融合的YOLOv8目标检测方法，其特征是，在YOLOv8模型的Backbone端结合CBAM注意力机制，具体是：在YOLOv8模型的第四C2f模块与SPPF模块之间融合CBAM注意力机制模块；CBAM注意力机制模块包括CAM通道注意力模块和SAM空间注意力模块；特征图在CAM通道注意力模块中保持通道维度不变，压缩空间维度；特征图在SAM空间注意力模块中保持空间维度不变，压缩通道维度。
5.根据权利要求3所述的基于注意力机制与多尺度特征融合的YOLOv8目标检测方法，其特征是，在Neck端结合BiFPN多尺度特征融合金字塔，具体是：在Neck端采用BiFPN结构进行多尺度特征融合，特征融合过程中采用Fast Normalized Fusion进行带权融合，BiFPN特征融合添加位置为第12、15、18、21层。
6.根据权利要求5所述的基于注意力机制与多尺度特征融合的YOLOv8目标检测方法，其特征是，对于第6层节点而言，其带权计算方法如公式(1)所示，
其他层节点的带权计算方法如上所示；
式(1)中，为第6层输入节点的输入特征，/>为第6层中间节点的输出特征，/>为第6层输出节点的输出特征，/>为第5层输出节点的输出特征，/>为第7层输入节点的输入特征，Conv为卷积操作，resize为上采样或者下采样操作，ω1、ω2、ω1＇、ω2＇、ω3＇为权重参数，ε为偏置项。
7.根据权利要求3所述的基于注意力机制与多尺度特征融合的YOLOv8目标检测方法，其特征是，所述SIoU损失函数包括角度损失、距离损失、形状损失、交并比损失四部分。
8.根据权利要求3所述的基于注意力机制与多尺度特征融合的YOLOv8目标检测方法，其特征是，YOLOv8-CBS模型包括Backbone端、Neck端、Head端，Backbone端进行特征提取，Neck端进行特征融合，Head端进行预测；Backbone端包括CBS模块、C2f模块、CBAM注意力机制模块、SPPF模块；CBS模块由卷积层、归一化层和SiLU激活函数层组成；C2f模块由CBS模块、split层和若干Bottleneck层组成；CBAM注意力机制模块由CAM通道注意力模块和SAM空间注意力模块组成；Neck端包括CBS模块、C2f模块、Upsample层和BiFPN_Concat模块，其中Upsample层进行上采样操作；Head端采用解耦头结构同时结合了SIoU损失函数。
9.根据权利要求1所述的基于注意力机制与多尺度特征融合的YOLOv8目标检测方法，其特征是，步骤(4)具体为：将标注好的绝缘子缺陷图像数据集输入到YOLOv8-CBS模型中进行训练，得到YOLOv8-CBS.pt权重文件。
CN202310896292.0A 2023-07-20 2023-07-20 基于注意力机制与多尺度特征融合的YOLOv8目标检测方法 Pending CN116883801A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310896292.0A CN116883801A (zh) 2023-07-20 2023-07-20 基于注意力机制与多尺度特征融合的YOLOv8目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310896292.0A CN116883801A (zh) 2023-07-20 2023-07-20 基于注意力机制与多尺度特征融合的YOLOv8目标检测方法

Publications (1)

Publication Number Publication Date
CN116883801A true CN116883801A (zh) 2023-10-13

Family

ID=88261836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310896292.0A Pending CN116883801A (zh) 2023-07-20 2023-07-20 基于注意力机制与多尺度特征融合的YOLOv8目标检测方法

Country Status (1)

Country Link
CN (1) CN116883801A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117132914A (zh) * 2023-10-27 2023-11-28 武汉大学 通用电力设备识别大模型方法及系统
CN117173542A (zh) * 2023-10-26 2023-12-05 山东易图信息技术有限公司 一种基于yolov8模型的水上漂浮物检测优化方法和系统
CN117876800A (zh) * 2024-03-11 2024-04-12 成都千嘉科技股份有限公司 一种燃气热水器烟道安全隐患识别的方法
CN117876800B (zh) * 2024-03-11 2024-05-17 成都千嘉科技股份有限公司 一种燃气热水器烟道安全隐患识别的方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173542A (zh) * 2023-10-26 2023-12-05 山东易图信息技术有限公司 一种基于yolov8模型的水上漂浮物检测优化方法和系统
CN117132914A (zh) * 2023-10-27 2023-11-28 武汉大学 通用电力设备识别大模型方法及系统
CN117132914B (zh) * 2023-10-27 2024-01-30 武汉大学 通用电力设备识别大模型方法及系统
CN117876800A (zh) * 2024-03-11 2024-04-12 成都千嘉科技股份有限公司 一种燃气热水器烟道安全隐患识别的方法
CN117876800B (zh) * 2024-03-11 2024-05-17 成都千嘉科技股份有限公司 一种燃气热水器烟道安全隐患识别的方法

Similar Documents

Publication Publication Date Title
CN110909666B (zh) 一种基于改进型YOLOv3卷积神经网络的夜间车辆检测方法
CN116883801A (zh) 基于注意力机制与多尺度特征融合的YOLOv8目标检测方法
CN111563557B (zh) 一种电力电缆隧道内目标检测的方法
CN111784685A (zh) 一种基于云边协同检测的输电线路缺陷图像识别方法
CN111951212A (zh) 对铁路的接触网图像进行缺陷识别的方法
CN113205039B (zh) 基于多dcnn网络的电力设备故障图像识别勘灾系统及方法
CN115294473A (zh) 一种基于目标检测与实例分割的绝缘子故障识别方法及系统
CN113222949B (zh) 一种电力设备导体插接位置的x射线影像自动检测方法
CN115546565A (zh) 基于yolocbf电厂关键区域管道油液泄漏检测方法
CN111046950A (zh) 一种图像处理方法、装置、存储介质和电子装置
CN115147383A (zh) 一种基于轻量化YOLOv5模型的绝缘子状态快速检测方法
CN112766409A (zh) 一种遥感图像目标检测的特征融合方法
CN115239642A (zh) 一种输电线路中小金具缺陷的检测方法、检测装置和设备
CN115546664A (zh) 一种基于级联网络的绝缘子自爆检测方法及系统
CN114549407A (zh) 基于x射线图像的耐张线夹压接缺陷程度判断方法
CN115546031A (zh) 一种用于仓库顶棚检查的图像增强方法及装置
Liu et al. An improved faster R-CNN for UAV-based catenary support device inspection
CN114863118A (zh) 一种基于输电线路外部隐患自学习识别系统、方法
CN114694130A (zh) 基于深度学习的铁路沿线电线杆及杆号检测方法和装置
CN114693963A (zh) 基于电力数据特征提取的识别模型训练、识别方法及装置
CN114627044A (zh) 一种基于深度学习的太阳能光伏组件热斑检测方法
CN115861922B (zh) 一种稀疏烟火检测方法、装置、计算机设备及存储介质
CN109871903B (zh) 一种基于端到端深度网络与对抗学习的目标检测方法
CN116523885A (zh) 一种基于多尺度融合及深度学习的pcb缺陷检测方法
CN116579998A (zh) 变电设备的缺陷检测方法、装置、设备、介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination