CN114445706A - 一种基于特征融合的输电线路目标检测与识别方法 - Google Patents

一种基于特征融合的输电线路目标检测与识别方法 Download PDF

Info

Publication number
CN114445706A
CN114445706A CN202210083359.4A CN202210083359A CN114445706A CN 114445706 A CN114445706 A CN 114445706A CN 202210083359 A CN202210083359 A CN 202210083359A CN 114445706 A CN114445706 A CN 114445706A
Authority
CN
China
Prior art keywords
network
training
image
transmission line
power transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210083359.4A
Other languages
English (en)
Inventor
姚军财
汤浩威
申静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Institute of Technology
Original Assignee
Nanjing Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Institute of Technology filed Critical Nanjing Institute of Technology
Priority to CN202210083359.4A priority Critical patent/CN114445706A/zh
Publication of CN114445706A publication Critical patent/CN114445706A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于特征融合的输电线路目标检测与识别方法，S1:构建输电线路图像数据库，扩增数据库样本；将数据集图像标注为VOC格式，得到图像中各个元器件的边框位置和类别信息；对标注后的图像数据进行聚类分析，得到先验框宽高尺寸参数，作为网络训练的初始参数；对YOLOv5网络结构进行优化调整；预训练YOLOv5网络进行预训练，将输电线路图像数据集的训练集、验证集输入到预训练的网络中继续训练和验证，得到最佳的YOLOv5网络模型；利用最佳的YOLOv5网络模型对测试集图像进行目标检测与识别。本发明能够在输电线路图像中检测出器件的位置和类别，可以为智能巡检技术的发展提供参考。

Description

一种基于特征融合的输电线路目标检测与识别方法
技术领域
本发明属于电力输电线路目标检测技术领域，具体涉及一种基于特征融合的输电线路目标检测与识别方法。
背景技术
输电线路是保证电能传输的关键环节，因此对线路的维护检修是保证电网安全稳定运行的重要步骤。输电线路巡检需要对杆塔、绝缘子、金具、导线、异物等进行定期维护检修，然而，输电线路的架设路径通常是选择人烟稀少、交通不便的地区，常规的人工巡检需要耗费大量的时间，而且效率低下，难以及时排除故障。因此，可以借助图像处理和计算机技术辅助输电线路巡检，实现智能化自动化巡检。
目前，无人机巡检拍摄大量图片，技术人员采用机器学习、深度学习对图像进行训练可以实现目标的自动检测及定位。但是，由于绝缘子、防震锤等目标在图像中所占像素点较小，属于小目标，而且由于无人机拍摄角度的问题，目标成像可能会发生变形、扭曲等影响检测结果。对于线路巡检，由于背景复杂、容易被遮挡等问题，如何降低漏检率也是一个难点。
发明内容
本发明所要解决的技术问题是针对上述现有技术的不足，提供一种基于特征融合的输电线路目标检测与识别方法，对无人机巡检图像的目标检测上具有较好的精度和召回率，根据输电线路多目标的特点对特征提取的网络结构进行改进，提高了特征的利用率，可以准确的检测出目标及故障定位，能够及时反馈给检修人员进行维护，以保障输电线路的安全运行。
为实现上述技术目的，本发明采取的技术方案为：
一种基于特征融合的输电线路目标检测与识别方法，包括：
S1:从无人机和摄像头拍摄的输电线路图像中筛选出包含元器件的图像，构建输电线路图像数据库，采用数据增强的方法扩增数据库样本，保证网络有足够数据进行训练；
S2:对扩增样本后的数据集进行标签制作，使用标注工具将数据集图像标注为VOC格式，得到图像中各个元器件的边框位置和类别信息，然后将数据集划分为训练集、验证集和测试集；
S3:采用聚类算法对标注后的图像数据进行聚类分析，将边框的宽高作为参数进行聚类，得到合适的先验框宽高尺寸参数，作为网络训练的初始参数；
S4:基于YOLOv5算法，根据使用需求对用于特征提取的YOLOv5网络结构进行优化调整，使用密集残差网络来提高特征的利用率，采用路径聚合网络来减少特征的传递损失，使用CIoU损失来减小训练时的损失；
S5:使用ImageNet数据集对优化后的YOLOv5网络进行预训练，将输电线路图像数据集的训练集、验证集输入到预训练的网络中继续训练和验证，采用mosaic数据增强方式、余弦退火学习率、类标签平滑处理的训练策略，提高模型的学习效果，在分类损失、位置损失、置信度损失趋于平缓时终止训练，保存好最后的网络模型参数，得到最佳的YOLOv5网络模型；
S6:利用最佳的YOLOv5网络模型对测试集图像进行目标检测与识别，得到分类信息、回归位置和准确率，筛选得到最终的检测框。
为优化上述技术方案，采取的具体措施还包括：
上述的步骤S1中根据数据库样本中各个目标的特点和数量，对数据库的数据集进行数据增强，保证样本数量的平衡，具体包括：
通过改变图像颜色的亮度、饱和度、对比度，改变图像的尺度，采用随机图像差值方法进行裁剪和缩放，采用水平垂直翻转、平移变换、放射变换、高斯噪声、0像素填充等方法扩增数据集样本数量，增加样本的多样性。
上述的步骤S2中使用labelImg标注工具对目标元器件进行标注，用矩形框框出目标的位置并打上类别标签，自动生成xml标注文件；
将数据集按照8:1:1的比例划分为训练集、验证集和测试集。
上述的步骤S3中从标注后的图像数据中提取目标的边框位置信息，以边框的宽高作为参数进行聚类，得到先验框宽高尺寸参数，并计算聚类后的平均交并比作为参考数据，从而得到最佳的先验框参数。
上述的步骤S4中YOLOv5网络结构包括特征提取网络、路径聚合网络、Head预测网络，根据使用需求对用于特征提取的YOLOv5网络结构进行优化调整，包括：
S41、首先将特征提取网络的结构改为密集残差结构，在原有的网络基础上增加特征传递的通道，利用conv、BottleneckCSP、cancat三个模块组成密集残差模块；
通过密集残差模块重新构建特征提取网络；
将特征提取网络的结构改为密集残差结构后，每层的输入都由之前层的输出通过Concat进行通道合并，特征融合后会采用1*1卷积分别用于降低和升高特征维度，通过改进后的特征提取网络获得大、中、小三种特征图；
S42、使用路径聚合网络来传递特征,路径聚合网络由FPN和PAN结构组成，FPN将高层的特征信息通过上采样进行传递融合，得到预测特征图，然后PAN进行下采样得到高层特征形成自底而上的特征金字塔；
S43、通过Head预测网络对获得的三种尺寸的特征图进行预测，采用非极大值抑制算法筛选置信度最高的候选框，并得到预测的类别、置信度、位置的信息。
上述的S41重新构建的特征提取网络，先利用Focus对输入图像进行切片操作，将640*640*3的图像先变成320*320*12的特征图，在经过一次卷积操作变成320*320*64的特征图；
之后利用密集残差模块继续提取特征得到160*160*128、80*80*256、40*40*512；
再经过SPP金字塔池化操作得到20*20*1024的特征图；
上述的S42通过FPN和PAN结构的操作，从不同的主干层对不同的检测层进行特征融合，得到20*20、40*40、80*80的大中小三个尺寸的特征图。
上述的S4的YOLOv5网络结构的损失函数采用CIoU loss，充分考虑目标框的重叠面积、中心点距离、长宽比等，反映预测框与真实框的差异。
上述的步骤S5中使用ImageNet数据集对优化后的YOLOv5网络进行预训练，将网络训练的初始参数设置如下：
批量为8,500epoch,学习率为0.01，余弦退火参数为0.2，学习率动量为0.937，位置损失系数0.05，分类损失系数1.0，交并比阈值0.2；
利用预训练所得的参数继续训练输电线路图像数据集的训练集；
在每一轮训练后用验证集测试模型的检测效果，直到模型的损失、精度、召回率趋于稳定后，然后保存好模型参数，得到最佳的YOLOv5网络模型，即为最优的检测模型。
上述的步骤S6中通过密集残差结构的特征提取网络提取不同尺寸的特征，在通过路径聚合网络传递，利用上采样、下采样、卷积操作从不同主干层对不同检测层进行特征融合，送入预测网络中，通过三个尺度的检测得到目标的类别、位置、置信度，形成检测框，再利用非极大值抑制筛选置信度最高的检测框。
本发明具有以下有益效果：
本发明通过使用数据增强方法、网络结构调整、损失函数修改，可以实现高精度、低漏检率的目标检测和识别效果，为电网智能化巡检提供参考：
1.采用mosaic数据增强手段，对背景复杂、遮挡、变形的目标都有较好的检测效果。
2.采用密集残差结构作为特征提取的网络，使用concat对特征图进行通道合并，提高了特征利用率，减少信息丢失，提高模型的检测精度。
3.采用CIoU损失函数充分考虑目标框的重叠面积、中心点距离、长宽比等，反映预测框与真实框的差异，减小目标框的定位损失，使网络对目标的定位更准确。
附图说明
图1为本发明中的一种基于特征融合的输电线路目标检测与识别方法流程图；
图2为本发明实施例中的标注文件图片；
图3为本发明实施例中应用的密集残差结构模块；
图4为本发明实施例中应用的改进YOLOv5算法的网络模型结构图；
图5为本发明实施例中输电线路巡检图像的目标检测与识别效果图。
具体实施方式
以下结合附图对本发明的实施例作进一步详细描述。
参见图1，一种基于特征融合的输电线路目标检测与识别方法，包括：
S1:从无人机和摄像头拍摄的输电线路图像中筛选出包含元器件的图像，构建输电线路图像数据库，采用数据增强的方法扩增数据库样本，保证网络有足够数据进行训练；
实施例中，所述步骤S1根据输电线路巡检的要求和常见的元器件类型，从图像中挑选出常见的七种元器件作为检测目标，分别为三种绝缘子、防震锤、两种螺栓、钳夹。同时去除目标占比太小、难以辨识、遮挡严重的图像。
根据数据库样本中各个目标的特点和数量，对数据库的数据集进行数据增强，保证样本数量的平衡，具体包括：
通过改变图像颜色的亮度、饱和度、对比度，改变图像的尺度，采用随机图像差值方法进行裁剪和缩放，采用水平垂直翻转、平移变换、放射变换、高斯噪声、0像素填充等方法扩增数据集样本数量，增加样本的多样性。
S2:对扩增样本后的数据集进行标签制作，使用标注工具将数据集图像标注为VOC格式，得到图像中各个元器件的边框位置和类别信息，然后将数据集划分为训练集、验证集和测试集；
实施例中，所述步骤S2中使用labelImg标注工具对目标元器件进行标注，用矩形框框出目标的位置并打上类别标签，自动生成xml标注文件，形成规范的输电线路图像数据集，标签文件如图2所示。
构建的输电线路数据集共包含2500幅图像，每幅图片上包含一种或者多种目标器件，将数据集按照8:1:1的比例划分为训练集、验证集和测试集。即训练集包含2000个样本，验证集包含250个样本，测试集包含250个样本。
实施例中，所述步骤S3中从标注后的图像数据中提取目标的边框位置信息，以边框的宽高作为参数进行聚类，得到先验框宽高尺寸参数，并计算聚类后的平均交并比作为参考数据，从而得到最佳的先验框参数。
S3:采用聚类算法对标注后的图像数据进行聚类分析，将边框的宽高作为参数进行聚类，得到合适的先验框宽高尺寸参数，作为网络训练的初始参数；
实施例中，从图像数据集中提取目标的位置信息，利用聚类算法将目标重新分类，并计算聚类后的平均交并比作为参考数据，交并比越大聚类效果越好，从而得到最佳的先验框参数，加快网络训练的收敛速度。上述的聚类算法包括但不限于K-means、均值偏移聚类算法，大致步骤如下：
1)获取所有得目标框数据；
2)随机选取一个样本点作为第一个初始聚类中心；
3)计算每个样本与当前已有聚类中心之间的最短距离，距离函数定义如式(1)；然后
计算每个样本点被选为下一个聚类中心的概率，距离越远概率越大；
dij＝1-IoUij (1)
式中，IoUij是标记框之间的交并比作为距离参数，j是标记框。
4)重复第(3)步，直到选出K个聚类中心。最后计算该先验框尺寸下的平均交并比。
S4:基于YOLOv5算法，根据使用需求对用于特征提取的YOLOv5网络结构进行优化调整，使用密集残差网络来提高特征的利用率，采用路径聚合网络来减少特征的传递损失，使用CIoU损失来减小训练时的损失；
实施例中，YOLOv5算法中主要包含conv、BottleneckCSP、cancat、SPP等模块组成。
conv模块是使用普通卷积、正则化、leaky relu激活函数组成，BottleneckCSP是利用conv、Res unit残差组件、concat构建残差结构模块，concat作为特征融合层对特征进行通道合并，SPP作为空间金字塔池化提取多尺度特征向量。
所述步骤S4中YOLOv5网络结构包括特征提取网络、路径聚合网络、Head预测网络，根据使用需求对用于特征提取的YOLOv5网络结构进行优化调整，包括：
S41、首先将特征提取网络的结构改为密集残差结构，如图3所示，在原有的网络基础上增加特征传递的通道，利用conv、BottleneckCSP、cancat三个模块组成密集残差模块；
通过密集残差模块重新构建特征提取网络；
重新构建的特征提取网络如图4所示，先利用Focus对输入图像进行切片操作，将640*640*3的图像先变成320*320*12的特征图，在经过一次卷积操作变成320*320*64的特征图；
之后利用密集残差模块继续提取特征得到160*160*128、80*80*256、40*40*512；
再经过SPP金字塔池化操作得到20*20*1024的特征图；
将特征提取网络的结构改为密集残差结构后，每层的输入都由之前层的输出通过Concat进行通道合并，特征融合后会采用1*1卷积分别用于降低和升高特征维度，可以减少参数的数量。通过改进后的特征提取网络获得大、中、小三种特征图；
S42、使用路径聚合网络来传递特征,路径聚合网络由FPN和PAN结构组成，FPN将高层的特征信息通过上采样进行传递融合，得到预测特征图，然后PAN进行下采样得到高层特征形成自底而上的特征金字塔；
通过FPN和PAN结构的操作，从不同的主干层对不同的检测层进行特征融合，得到20*20、40*40、80*80的大中小三个尺寸的特征图。
S43、通过Head预测网络对获得的三种尺寸的特征图进行预测，采用非极大值抑制算法筛选置信度最高的候选框，并得到预测的类别、置信度、位置的信息。
YOLOv5网络结构的损失函数采用CIoU loss，充分考虑目标框的重叠面积、中心点距离、长宽比等，反映预测框与真实框的差异。
网络训练的损失通常是有三部分组成，包括分类损失(classification loss)、位置损失(localization loss)、置信度损失(confidence loss)。YOLOv5使用二元交叉熵损失函数计算类别概率和目标置信度损失，使用CIoU loss计算bounding box回归的损失。CIoU loss充分考虑目标框的重叠面积、中心点距离、长宽比等，反映预测框与真实框的差异。CIoU公式定义如式(2)。
Figure BDA0003486769350000061
其中，α是权衡长宽比和IoU部分造成损失的平衡因子，v是预测框和真实框长宽比差值的归一化参数。
S5:使用ImageNet数据集对优化后的YOLOv5网络进行预训练，将输电线路图像数据集的训练集、验证集输入到预训练的网络中继续训练和验证，采用mosaic数据增强方式、余弦退火学习率、类标签平滑处理的训练策略，提高模型的学习效果，在分类损失、位置损失、置信度损失趋于平缓时终止训练，保存好最后的网络模型参数，得到最佳的YOLOv5网络模型；
实施例中，所述步骤S5中使用ImageNet数据集对优化后的YOLOv5网络进行预训练，将网络训练的初始参数设置如下：
批量为8,500epoch,学习率为0.01，余弦退火参数为0.2，学习率动量为0.937，位置损失系数0.05，分类损失系数1.0，交并比阈值0.2；
利用预训练所得的参数继续训练输电线路图像数据集的训练集；
在每一轮训练后用验证集测试模型的检测效果，直到模型的损失、精度、召回率趋于稳定后，然后保存好模型参数，得到最佳的YOLOv5网络模型，即为最优的检测模型。
本实施例中，使用公开数据集预训练模型，训练100轮，学习率为0.001，批量为8，将训练的权重值保存作为模型在输电线路图像数据集的初始参数值，加快网络训练速度；
为了增加模型的性能，采用多种训练策略，包括：
采用mosaic数据增加技术进行拼接遮挡来训练的数据量，提高模型的泛化能力；
使用余弦退火学习率使模型避免局部最优解；
使用类标签平滑解决过拟合问题减少错误样本对模型的影响。
将网络训练的初始参数设置为，批量为8,500epoch,学习率为0.01，余弦退火参数为0.2，学习率动量为0.937，位置损失系数0.05，分类损失系数1.0，交并比阈值0.2，利用预训练所得的参数继续训练输电线路图像数据集。
在每一轮训练后用验证集测试模型的检测效果，知道模型的损失、精度、召回率趋于稳定后，然后保存好模型参数，得到最优的检测模型。
S6:利用最佳的YOLOv5网络模型对测试集图像进行目标检测与识别，得到分类信息、回归位置和准确率，筛选得到最终的检测框。
实施例中，所述步骤S6中通过密集残差结构的特征提取网络提取不同尺寸的特征，在通过路径聚合网络传递，利用上采样、下采样、卷积操作从不同主干层对不同检测层进行特征融合，送入预测网络中，通过三个尺度的检测得到目标的类别、位置、置信度，形成检测框，再利用非极大值抑制筛选置信度最高的检测框。
使用检测的平均精度、召回率、检测速度作为评价模型的指标，具体公式如下
Figure BDA0003486769350000081
Figure BDA0003486769350000082
Figure BDA0003486769350000083
式中，AP为检测的准确率，TP为正样本检测为正的数量，FP为反样本检测为正的数量。
通过密集残差结构的特征提取网络提取不同尺寸的特征，在通过路径聚合网络传递，利用上采样、下采样、卷积操作从不同主干层对不同检测层进行特征融合，送入预测网络中，通过三个尺度的检测得到目标的类别、位置、置信度，形成检测框，再利用非极大值抑制筛选置信度最高的检测框。利用测试集检测模型的性能，如表1所示，其目标检测结果如图5所示，包括改进的YOLOv5和原始算法的对比。
表1不同模型的性能对比
算法 mAP recall FPS
改进的YOLOv5 94.7％ 99.2％ 43
YOLOv5 92.3％ 98.2％ 45
根据表1的对比可知，本发明提出的改进的YOLOv5目标检测在输电线路目标检测的图像测试集上的平均准确率mAP为94.7％，相比YOLOv5提高了2.4％，召回率提高了1％，但是检测速度下降了4.6％，本发明虽然检测速度略有下降，但检测精度和召回率有所提高，可以实现输电线路的智能巡检工作。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (10)

1.一种基于特征融合的输电线路目标检测与识别方法，其特征在于，包括：
S1:从无人机和摄像头拍摄的输电线路图像中筛选出包含元器件的图像，构建输电线路图像数据库，采用数据增强的方法扩增数据库样本，保证网络有足够数据进行训练；
S2:对扩增样本后的数据集进行标签制作，使用标注工具将数据集图像标注为VOC格式，得到图像中各个元器件的边框位置和类别信息，然后将数据集划分为训练集、验证集和测试集；
S3:采用聚类算法对标注后的图像数据进行聚类分析，将边框的宽高作为参数进行聚类，得到合适的先验框宽高尺寸参数，作为网络训练的初始参数；
S4:基于YOLOv5算法，根据使用需求对用于特征提取的YOLOv5网络结构进行优化调整，使用密集残差网络来提高特征的利用率，采用路径聚合网络来减少特征的传递损失，使用CIoU损失来减小训练时的损失；
S5:使用ImageNet数据集对优化后的YOLOv5网络进行预训练，将输电线路图像数据集的训练集、验证集输入到预训练的网络中继续训练和验证，采用mosaic数据增强方式、余弦退火学习率、类标签平滑处理的训练策略，提高模型的学习效果，在分类损失、位置损失、置信度损失趋于平缓时终止训练，保存好最后的网络模型参数，得到最佳的YOLOv5网络模型；
S6:利用最佳的YOLOv5网络模型对测试集图像进行目标检测与识别，得到分类信息、回归位置和准确率，筛选得到最终的检测框。
2.根据权利要求1所述的一种基于特征融合的输电线路目标检测与识别方法，其特征在于，所述步骤S1中根据数据库样本中各个目标的特点和数量，对数据库的数据集进行数据增强，保证样本数量的平衡，具体包括：
通过改变图像颜色的亮度、饱和度、对比度，改变图像的尺度，采用随机图像差值方法进行裁剪和缩放，采用水平垂直翻转、平移变换、放射变换、高斯噪声、0像素填充的方法扩增数据集样本数量，增加样本的多样性。
3.根据权利要求1所述的一种基于特征融合的输电线路目标检测与识别方法，其特征在于，所述步骤S2中使用labelImg标注工具对目标元器件进行标注，用矩形框框出目标的位置并打上类别标签，自动生成xml标注文件；
将数据集按照8:1:1的比例划分为训练集、验证集和测试集。
4.根据权利要求1所述的一种基于特征融合的输电线路目标检测与识别方法，其特征在于，所述步骤S3中从标注后的图像数据中提取目标的边框位置信息，以边框的宽高作为参数进行聚类，得到先验框宽高尺寸参数，并计算聚类后的平均交并比作为参考数据，从而得到最佳的先验框参数。
5.根据权利要求1所述的一种基于特征融合的输电线路目标检测与识别方法，其特征在于，所述步骤S4中YOLOv5网络结构包括特征提取网络、路径聚合网络、Head预测网络，根据使用需求对用于特征提取的YOLOv5网络结构进行优化调整，包括：
S41、首先将特征提取网络的结构改为密集残差结构，在原有的网络基础上增加特征传递的通道，利用conv、BottleneckCSP、cancat三个模块组成密集残差模块；
通过密集残差模块重新构建特征提取网络；
将特征提取网络的结构改为密集残差结构后，每层的输入都由之前层的输出通过Concat进行通道合并，特征融合后会采用1*1卷积分别用于降低和升高特征维度，通过改进后的特征提取网络获得大、中、小三种特征图；
S42、使用路径聚合网络来传递特征,路径聚合网络由FPN和PAN结构组成，FPN将高层的特征信息通过上采样进行传递融合，得到预测特征图，然后PAN进行下采样得到高层特征形成自底而上的特征金字塔；
S43、通过Head预测网络对获得的三种尺寸的特征图进行预测，采用非极大值抑制算法筛选置信度最高的候选框，并得到预测的类别、置信度、位置的信息。
6.根据权利要求5所述的一种基于特征融合的输电线路目标检测与识别方法，其特征在于，所述S41重新构建的特征提取网络，先利用Focus对输入图像进行切片操作，将640*640*3的图像先变成320*320*12的特征图，在经过一次卷积操作变成320*320*64的特征图；
之后利用密集残差模块继续提取特征得到160*160*128、80*80*256、40*40*512；
再经过SPP金字塔池化操作得到20*20*1024的特征图。
7.根据权利要求6所述的一种基于特征融合的输电线路目标检测与识别方法，其特征在于，所述S42通过FPN和PAN结构的操作，从不同的主干层对不同的检测层进行特征融合，得到20*20、40*40、80*80的大中小三个尺寸的特征图。
8.根据权利要求5所述的一种基于特征融合的输电线路目标检测与识别方法，其特征在于，所述S4的YOLOv5网络结构的损失函数采用CIoU loss，考虑目标框的重叠面积、中心点距离和长宽比，反映预测框与真实框的差异。
9.根据权利要求1所述的一种基于特征融合的输电线路目标检测与识别方法，其特征在于，所述步骤S5中使用ImageNet数据集对优化后的YOLOv5网络进行预训练，将网络训练的初始参数设置如下：
批量为8,500epoch,学习率为0.01，余弦退火参数为0.2，学习率动量为0.937，位置损失系数0.05，分类损失系数1.0，交并比阈值0.2；
利用预训练所得的参数继续训练输电线路图像数据集的训练集；
在每一轮训练后用验证集测试模型的检测效果，直到模型的损失、精度、召回率趋于稳定后，然后保存好模型参数，得到最佳的YOLOv5网络模型，即为最优的检测模型。
10.根据权利要求1所述的一种基于特征融合的输电线路目标检测与识别方法，其特征在于，所述步骤S6中通过密集残差结构的特征提取网络提取不同尺寸的特征，在通过路径聚合网络传递，利用上采样、下采样、卷积操作从不同主干层对不同检测层进行特征融合，送入预测网络中，通过三个尺度的检测得到目标的类别、位置、置信度，形成检测框，再利用非极大值抑制筛选置信度最高的检测框。
CN202210083359.4A 2022-01-25 2022-01-25 一种基于特征融合的输电线路目标检测与识别方法 Pending CN114445706A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210083359.4A CN114445706A (zh) 2022-01-25 2022-01-25 一种基于特征融合的输电线路目标检测与识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210083359.4A CN114445706A (zh) 2022-01-25 2022-01-25 一种基于特征融合的输电线路目标检测与识别方法

Publications (1)

Publication Number Publication Date
CN114445706A true CN114445706A (zh) 2022-05-06

Family

ID=81369429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210083359.4A Pending CN114445706A (zh) 2022-01-25 2022-01-25 一种基于特征融合的输电线路目标检测与识别方法

Country Status (1)

Country Link
CN (1) CN114445706A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114300099A (zh) * 2021-11-24 2022-04-08 大连工业大学 一种基于YOLOv5和显微高光谱图像的异型淋巴细胞分型方法
CN114581741A (zh) * 2022-05-09 2022-06-03 广东电网有限责任公司佛山供电局 基于图像增强的断路器试验机器人接线定位方法及装置
CN114757307A (zh) * 2022-06-14 2022-07-15 中国电力科学研究院有限公司 一种人工智能自动训练方法、系统、装置及存储介质
CN114821747A (zh) * 2022-05-26 2022-07-29 深圳市科荣软件股份有限公司 一种工地人员异常状态识别方法及装置
CN114926780A (zh) * 2022-05-13 2022-08-19 合肥中盛水务发展有限公司 一种污水厂生化池运行状况视觉识别及智能分析算法
CN115100592A (zh) * 2022-06-21 2022-09-23 国网江苏省电力有限公司电力科学研究院 一种输电通道外破隐患识别方法、装置及存储介质
CN115308538A (zh) * 2022-10-11 2022-11-08 西安兴汇电力科技有限公司 基于yolov5的配电网故障定位方法、系统、终端及存储介质
CN115327301A (zh) * 2022-08-30 2022-11-11 国网江苏省电力有限公司电力科学研究院 一种输电线电路异物识别检测方法、设备及储存介质
CN115410058A (zh) * 2022-08-26 2022-11-29 青岛励图高科信息技术有限公司 一种基于深度学习的自动标注方法及系统
CN115457027A (zh) * 2022-10-12 2022-12-09 广东电网有限责任公司 一种电力线路的连接部件检测方法、装置、设备及介质
CN115797357A (zh) * 2023-02-10 2023-03-14 智洋创新科技股份有限公司 一种基于改进YOLOv7的输电通道隐患检测方法
CN116012825A (zh) * 2023-01-13 2023-04-25 上海赫立智能机器有限公司 基于多模态的电子元器件智能识别方法
CN116168033A (zh) * 2023-04-25 2023-05-26 厦门福信光电集成有限公司 基于深度学习的晶圆晶格位错图像检测方法及系统
CN116596904A (zh) * 2023-04-26 2023-08-15 国网江苏省电力有限公司泰州供电分公司 一种基于自适应尺度感知的输电检测模型构建方法及装置
CN116681962A (zh) * 2023-05-05 2023-09-01 江苏宏源电气有限责任公司 基于改进YOLOv5的电力设备热图像检测方法及系统
CN117079044A (zh) * 2023-08-25 2023-11-17 华大天元(北京)科技股份有限公司 架空线路外力破坏的识别模型训练方法、预警方法及装置
CN117671458A (zh) * 2023-12-20 2024-03-08 云南神火铝业有限公司 自动识别块状残极的块状残极检测模型构建方法及应用

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114300099A (zh) * 2021-11-24 2022-04-08 大连工业大学 一种基于YOLOv5和显微高光谱图像的异型淋巴细胞分型方法
CN114300099B (zh) * 2021-11-24 2022-07-05 大连工业大学 一种基于YOLOv5和显微高光谱图像的异型淋巴细胞分型方法
CN114581741A (zh) * 2022-05-09 2022-06-03 广东电网有限责任公司佛山供电局 基于图像增强的断路器试验机器人接线定位方法及装置
CN114581741B (zh) * 2022-05-09 2022-07-15 广东电网有限责任公司佛山供电局 基于图像增强的断路器试验机器人接线定位方法及装置
CN114926780A (zh) * 2022-05-13 2022-08-19 合肥中盛水务发展有限公司 一种污水厂生化池运行状况视觉识别及智能分析算法
CN114821747A (zh) * 2022-05-26 2022-07-29 深圳市科荣软件股份有限公司 一种工地人员异常状态识别方法及装置
CN114757307A (zh) * 2022-06-14 2022-07-15 中国电力科学研究院有限公司 一种人工智能自动训练方法、系统、装置及存储介质
CN115100592A (zh) * 2022-06-21 2022-09-23 国网江苏省电力有限公司电力科学研究院 一种输电通道外破隐患识别方法、装置及存储介质
CN115410058A (zh) * 2022-08-26 2022-11-29 青岛励图高科信息技术有限公司 一种基于深度学习的自动标注方法及系统
CN115327301A (zh) * 2022-08-30 2022-11-11 国网江苏省电力有限公司电力科学研究院 一种输电线电路异物识别检测方法、设备及储存介质
CN115308538A (zh) * 2022-10-11 2022-11-08 西安兴汇电力科技有限公司 基于yolov5的配电网故障定位方法、系统、终端及存储介质
CN115308538B (zh) * 2022-10-11 2023-04-07 西安兴汇电力科技有限公司 基于yolov5的配电网故障定位方法、系统、终端及存储介质
CN115457027A (zh) * 2022-10-12 2022-12-09 广东电网有限责任公司 一种电力线路的连接部件检测方法、装置、设备及介质
CN116012825A (zh) * 2023-01-13 2023-04-25 上海赫立智能机器有限公司 基于多模态的电子元器件智能识别方法
CN115797357A (zh) * 2023-02-10 2023-03-14 智洋创新科技股份有限公司 一种基于改进YOLOv7的输电通道隐患检测方法
CN116168033A (zh) * 2023-04-25 2023-05-26 厦门福信光电集成有限公司 基于深度学习的晶圆晶格位错图像检测方法及系统
CN116168033B (zh) * 2023-04-25 2023-08-22 厦门福信光电集成有限公司 基于深度学习的晶圆晶格位错图像检测方法及系统
CN116596904A (zh) * 2023-04-26 2023-08-15 国网江苏省电力有限公司泰州供电分公司 一种基于自适应尺度感知的输电检测模型构建方法及装置
CN116596904B (zh) * 2023-04-26 2024-03-26 国网江苏省电力有限公司泰州供电分公司 一种基于自适应尺度感知的输电检测模型构建方法及装置
CN116681962A (zh) * 2023-05-05 2023-09-01 江苏宏源电气有限责任公司 基于改进YOLOv5的电力设备热图像检测方法及系统
CN117079044A (zh) * 2023-08-25 2023-11-17 华大天元(北京)科技股份有限公司 架空线路外力破坏的识别模型训练方法、预警方法及装置
CN117671458A (zh) * 2023-12-20 2024-03-08 云南神火铝业有限公司 自动识别块状残极的块状残极检测模型构建方法及应用

Similar Documents

Publication Publication Date Title
CN114445706A (zh) 一种基于特征融合的输电线路目标检测与识别方法
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN114462555B (zh) 基于树莓派的多尺度特征融合配电网设备识别方法
CN110782420A (zh) 一种基于深度学习的小目标特征表示增强方法
CN112288008A (zh) 一种基于深度学习的马赛克多光谱图像伪装目标检测方法
CN113920107A (zh) 一种基于改进yolov5算法的绝缘子破损检测方法
CN112529090B (zh) 一种基于改进YOLOv3的小目标检测方法
CN111079739A (zh) 一种多尺度注意力特征检测方法
CN111738114B (zh) 基于无锚点精确采样遥感图像车辆目标检测方法
CN111126278A (zh) 针对少类别场景的目标检测模型优化与加速的方法
CN115690542A (zh) 一种基于改进yolov5的航拍绝缘子定向识别方法
CN114022837A (zh) 车站遗留物品检测方法、装置、电子设备及存储介质
CN113569981A (zh) 一种基于单阶段目标检测网络的电力巡检鸟窝检测方法
CN111488911A (zh) 基于Mask R-CNN与GAN的图像实体抽取方法
CN116092179A (zh) 一种改进的yolox跌倒检测系统
CN116503399A (zh) 基于yolo-afps的绝缘子污闪检测方法
CN111881984A (zh) 一种基于深度学习的目标检测方法和装置
CN111160100A (zh) 一种基于样本生成的轻量级深度模型航拍车辆检测方法
CN117853955A (zh) 一种基于改进YOLOv5的无人机小目标检测方法
He et al. Automatic detection and mapping of solar photovoltaic arrays with deep convolutional neural networks in high resolution satellite images
CN112084815A (zh) 一种基于摄像机焦距变换的目标检测方法、存储介质及处理器
CN110163081A (zh) 基于ssd的实时区域入侵检测方法、系统及存储介质
CN115810123A (zh) 基于注意力机制和改进特征融合的小目标害虫检测方法
CN113780462B (zh) 基于无人机航拍图像的车辆检测网络建立方法及其应用
CN115861595A (zh) 一种基于深度学习的多尺度域自适应异源图像匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination