CN115620076A - 一种智能变电站二次装置面板识别方法、设备及存储介质 - Google Patents
一种智能变电站二次装置面板识别方法、设备及存储介质 Download PDFInfo
- Publication number
- CN115620076A CN115620076A CN202211098215.2A CN202211098215A CN115620076A CN 115620076 A CN115620076 A CN 115620076A CN 202211098215 A CN202211098215 A CN 202211098215A CN 115620076 A CN115620076 A CN 115620076A
- Authority
- CN
- China
- Prior art keywords
- network
- detection
- target
- feature
- intelligent substation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 238000001514 detection method Methods 0.000 claims abstract description 95
- 238000012549 training Methods 0.000 claims abstract description 39
- 230000007246 mechanism Effects 0.000 claims abstract description 21
- 238000011176 pooling Methods 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims abstract description 12
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 6
- 230000006872 improvement Effects 0.000 claims description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 4
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000005728 strengthening Methods 0.000 claims description 3
- 239000004744 fabric Substances 0.000 claims description 2
- 238000005215 recombination Methods 0.000 claims description 2
- 230000006798 recombination Effects 0.000 claims description 2
- 229910052739 hydrogen Inorganic materials 0.000 claims 1
- 239000001257 hydrogen Substances 0.000 claims 1
- 125000004435 hydrogen atom Chemical class [H]* 0.000 claims 1
- 238000000605 extraction Methods 0.000 abstract description 4
- 238000007689 inspection Methods 0.000 abstract description 4
- 238000012423 maintenance Methods 0.000 abstract description 4
- 238000012545 processing Methods 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种智能变电站二次装置面板识别方法、设备及存储介质,涉及电网巡检维护领域。该智能变电站二次装置面板识别方法,通过对原始YOLOv5训练网络和检测网络进行改进,有效解决智能变电站保护装置面板状态巡检现场背景环境复杂化、检测目标小且密集等特征带来的图像识别问题;首先针对小目标特征对YOLOv5进行改进,将注意力机制模块融入特征提取网络,弥补全局平均池化所丢失的信息,并且能够保留重要的空间区域,从而解决复杂背景下小目标特征难以提取的问题;在训练过程中,采用进行多次卷积处理的方法,强化FPN+PAN双向特征金字塔网络检测层级,基于目标类别的特征改进损失函数,避免对密集目标进行重复检测。
Description
技术领域
本发明涉及电网巡检维护技术领域,具体为一种智能变电站二次装置面板识别方法、设备及存储介质。
背景技术
图像识别是一门以图像为研究对象,利用计算机等数字化的工具,分析处理包含于图像中的内容,从而认识图像中要检测的目标的技术,属于深度学习算法的一种实践应用。现有的算法模型种类颇多,Faster R-CNN、SSD、YOLO系列、R-FCN、FPN等应用前景较广且成效较好。基于深度学习的图像识别技术的技术原理可分为3个步骤:识别方法设计、识别模型训练、模型测试及调优。随着图像识别和由其衍生的视频识别的新算法的不断提出和优化,以及计算机计算能力的提升,图像、视频识别的应用也越来越广泛。除了本研究所涉及的电力系统外,图像、视频识别还在农业、工业、医学、交通运输、环境监测等领域发挥着重要作用。近年来,随着电力系统运行的智能化,基于深度学习的图像、视频识别技术开始逐步应用于电力领域,特别是电力系统故障诊断领域,目前所提算法实时性较好,但准确率不够高。近年来,智能变电站设备在配置及检修过程中存在潜在运行故障,主要通过人工逐一排查校对的方式来确定设备运行状态,漏检、错检难以避免。
近年来,智能变电站设备在配置及检修过程中存在潜在运行故障,且会通过保护装置面板上的指示灯状态体现。指示灯数目巨大,而目前却主要通过人工逐一排查校对的方式来确定设备运行状态,不仅效率低下且漏检、错检难以避免,极大程度上阻碍了智能变电站安全、稳定地运行。现有文献中,由于应用场景背景差异化、检测目标特征多元化等特点,对模型的改进大多为算法剪枝与网络结构加强,从而达到提高检测速度与加强学习效果的目的。但智能变电站保护装置面板存在检测目标小、检测场景复杂、中文笔画繁琐等特点,其带来的检测问题依然存在,且目前的文献并没有对此类问题提出明确有效的解决办法。
发明内容
(一)解决的技术问题
针对现有技术的不足,本发明提供了一种智能变电站二次装置面板识别方法、设备及存储介质,解决了现有的智能变电站保护装置面板存在检测目标小、检测场景复杂、中文笔画繁琐等特点,其带来的检测问题依然存在的问题。
(二)技术方案
为实现以上目的,本发明通过以下技术方案予以实现:
一方面,提供了一种智能变电站二次装置面板识别方法,所述方法包括:
对YOLOv5模型的训练网络和检测网络进行改进;
所述对YOLOv5模型的训练网络和检测网络进行改进包括:
将所述YOLOv5模型中加入空间注意力模型与通道注意力模型,所述通道注意力模块采用空间上生成的全局平均池化和空间上生成的最大池化特征映射对目标区域的特征信息进行增强,提取输入图像的有意义信息,表示为:
其中,f7×7表示滤波器尺寸为7×7的卷积运算;
通过分级嵌套标注方法对原始图片进行标注;
通过改进后的所述YOLOv5模型对中间特征图F进行训练和检测。
优选的,所述分级嵌套标注方法具体包括:
将目标视为具有可拆分性的整体,其既可以作为一整片目标区域的组成部分,又可以拆成一个个独立的小目标;在分级标注法中,对目标密集区域进行大面积一级标注,在第一步的标注框内,对单个独立的目标拆分进行更加精准的二级标注;训练过程中首先对一级标注框进行检测,将一级标注框外区域视为无效区域,一级标注框训练完毕后,二级训练仅在一级标注框内对二级标注框进行。
优选的,所述对YOLOv5模型的训练网络和检测网络进行改进包括FPN+PAN结构特征网络层级增强和单次双向结构特征网络层级增强。
优选的,所述FPN+PAN结构特征网络层级增强具体为采用特征金字塔网络,其中FPN是自顶向下的正金字塔结构,将高层的特征信息通过上采样的方式进行传递融合,得到进行预测的特征图;在神经网络中,采用融合深层和浅层卷积神经网络的特征金字塔网络,并将其与路径聚合网络相结合,在此基础上扩展三层的FPN+PAN结构层次至六层结构,实现多尺度上对目标的高效融合及精准检测;首先采用构建6层的FPN网络用于提取图像特征,然后融合连接到新的特征图F中,使用不同层次连接好的特征图F映射到n个分支中,自顶向下产生多个不同比例的分割结果K1,K2,K3……Kn。
优选的,所述单次双向结构特征网络层级增强包括:
在所述YOLOv5模型基础上所重新构建的网络模型主要改进部分由自底向上模块FPN、自顶向下模块PAN构成;在FPN层的后添加了一个自底向上的特征金字塔,其中每两层中间都包含一个PAN结构;FPN由小尺度向大尺度传递深层次语义特征,PAN由大尺度向小尺度传递目标位置信息;
输入图像I在通过本网络fθ后得到输出特征图D,对于输出特征图D上的每一点(a,b),单个类别检测特征时该点成为关键点的可能性为:
对于同时属于多个类别的目标,该点成为关键点的可能性为:
强化各级间的关系,改进损失函数表示为:
其中,Lp表示训练时输入图像中目标属于单个类别的损失函数;Ln表示训练时输入图像中目标属于多个类别的损失函数;Np和Nn分别表示训练时输入图像中目标属于单个类别和多个类别的图像数量,p*表示当前类别的真实值;α根据样本特征进行调整,用来平衡两者的重要性。
优选的,所述对YOLOv5模型的训练网络和检测网络进行改进包括基于轻量级视觉库SAHI的切片推理机制和基于轻量级视觉库SAHI的语义匹配机制。
优选的,所述基于轻量级视觉库SAHI的切片推理机制包括:
利用引入注意力机制的检测网络对原始图像进行识别,用来选择最有希望的包含小目标及其上下文的区域,在原始模型识别困难的密集区域引入切片辅助超推理SAHI框架;
执行切片推理,固定大小的切片检测框沿着图片的水平方向平移,每一次切片检测框的行内平移都有一定的重叠率,平移到顶端之后切换下一行继续平移,完成全图切片。
优选的,所述基于轻量级视觉库SAHI的语义匹配机制包括:
在切片重组之后,对原始图像的较小切片执行推理,然后合并原始图像上的切片预测;对于密集区域中某一目标,引入注意力机制的检测网络结果为T1,引入SAHI的检测网络检测结果为T2,用η(0≤η≤1)表示T1中目标的密集程度,则最终检测输出T可以表示为:
T=(1-η)T1+ηT2
通过执行切片推理而不是标准推理,可以更准确地检测较小的对象。再结合原始图像的切片预测对目标进行检测和语义匹配,获得较高的小目标正确检出率;
针对本发明改进的YOLOv5算法,选用漏检率、误检率和平均精度三种指标的权重计算结果作为模型检测准确性能的评价效用值,其中平均精度综合考虑了目标检测的精确率和召回率(Recall,R),具体算法如下:
评价效用值=(1-X)×0.3+(1-Y)×0.2+KAP×0.5
其中,X为误检率,Y为漏检率,KAP为平均精度,T为图像中出现的所有目标数量,M1为实际检测出的状态信息正确的目标数量,M2为实际检测到的目标数量;
其中,TP为正确识别的指示灯个数,FP为没有指示灯但识别为有指示灯的个数;FN为有指示灯但识别为没有指示灯的待测区域个数。
再一方面,提供了一种设备,所述设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器执行上述的智能变电站二次装置面板识别方法。
又一方面,提供了一种存储有计算机程序的计算机可读存储介质,该程序被处理器执行时实现上述的智能变电站二次装置面板识别方法。
(三)有益效果
(1)本发明一种智能变电站二次装置面板识别方法、设备及存储介质,基于小目标特征对基于回归的深度学习算法YOLOv5进行改进,以适应变电站巡检实际应用现场,解决复杂背景下小目标特征难以提取的问题;
(2)本发明一种智能变电站二次装置面板识别方法、设备及存储介质,基于小目标特征采用训练数据集分级标注方法,避免对密集目标进行重复检测;
(3)本发明一种智能变电站二次装置面板识别方法、设备及存储介质,基于SAHI对检测网络进行改进,利用切片辅助超推理库SAHI进行辅助推理,使用原始标准推理进行负反馈,优化检测结果。
附图说明
图1为本发明方法流程图;
图2为本发明实施例中特征提取网络检测示意图;
图3为本发明实施例中分级标注法有效区域标注结果图;
图4为本发明SAHI切片检测流程示意图;
图5为本发明检测目标检测结果对比图;
图6为本发明实施例中改进的YOLOv5算法参数评价曲线图。
具体实施方式
下面将结合本发明的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例
如图1,本发明实施例提供一种智能变电站二次装置面板识别方法,其特征在于,所述方法包括:
对YOLOv5模型的训练网络和检测网络进行改进;
所述对YOLOv5模型的训练网络和检测网络进行改进包括:
将所述YOLOv5模型中加入空间注意力模型与通道注意力模型,所述通道注意力模块采用空间上生成的全局平均池化和空间上生成的最大池化特征映射对目标区域的特征信息进行增强,提取输入图像的有意义信息,表示为:
其中,f7×7表示滤波器尺寸为7×7的卷积运算;
通过分级嵌套标注方法对原始图片进行标注;
通过改进后的所述YOLOv5模型对中间特征图F进行训练和检测。
请参阅图2,融合注意力机制的特征提取网络。本发明所述的特征提取网络改进,为在保证输入图像内容完备且清晰后,于原YOLOv5模型算法中加入空间与通道卷积块注意力模型。对于给定中间特征图输入F,其中F可以拆分为:
F=C×H×W
式中,C为通道数,H为输入图片的高度,W为输入图片的度宽。
利用CBAM通道注意力模块沿着两个独立的维度,即通道维度和空间维度,依次推断注意力图,而后将注意力图与输入特征图相乘以进行自适应特征优化,其中通道维度和空间维度的优化过程分别如下:
式中,r为减少率,W0∈c/r×c为多层感知器中的隐藏层权重,W1∈c×c/r为多层感知器中的输出层权重。
式中,f7×7表示滤波器尺寸为7×7的卷积运算。
通过上述融合注意力机制能在一定程度上弥补全局平均池化所丢失的信息,并在其生成的二维空间注意力图中保留重要的空间区域,针对本发明所研究的小目标和密集目标面板指示灯可以准确识别位置及其内容信息,进一步提高检测的准确率。
FPN+PAN结构特征网络层级增强。本发明所述网络鲁棒性增强方法采用特征金字塔网络,其中FPN是自顶向下的正金字塔结构,将高层的特征信息通过上采样的方式进行传递融合,得到进行预测的特征图。在神经网络中,采用融合深层和浅层卷积神经网络的特征金字塔网络,并将其与路径聚合网络相结合,在此基础上扩展三层的FPN+PAN结构层次至六层结构,实现多尺度上对目标的高效融合及精准检测。首先采用构建6层的FPN网络用于提取图像特征,然后融合连接到新的特征图F中,使用不同层次连接好的特征图F映射到n个分支中,自顶向下产生多个不同比例的分割结果K1,K2,K3……Kn。采用FPN的方式构建的特征融合网络不同层都分别参与了特征图的预测,能够生成不同尺度特征内核。
单次双向结构特征网络层级增强。本发明在原始网络基础上所重新构建的网络模型主要改进部分由自底向上模块FPN、自顶向下模块PAN构成。在FPN层的后添加了一个自底向上的特征金字塔,其中每两层中间都包含一个PAN结构。PAN与FPN网络正好相反,是一个倒金字塔结构。FPN由小尺度向大尺度传递深层次语义特征,PAN由大尺度向小尺度传递目标位置信息。通过多尺度多层次的特征信息融合增强YOLOv5模型的特征学习能力,避免对目标的重复检测。
输入图像I在通过本网络fθ后得到输出特征图D,对于输出特征图D上的每一点(a,b),单个类别检测特征时该点成为关键点的可能性为:
对于同时属于多个类别的目标,该点成为关键点的可能性为:
为了强化各级间的关系,改进损失函数表示为:
式中,Lp表示训练时输入图像中目标属于单个类别的损失函数;Ln表示训练时输入图像中目标属于多个类别的损失函数;Np和Nn分别表示训练时输入图像中目标属于单个类别和多个类别的图像数量,p*表示当前类别的真实值。α根据样本特征进行调整,用来平衡两者的重要性。
请参阅图3,训练数据集分级嵌套标注方法在完成模型改进后、开始训练前,对标注方法提出改进。提出一种分级嵌套标注方法,将目标视为具有可拆分性的整体,其既可以作为一整片目标区域的组成部分,又可以拆成一个个独立的小目标。在分级标注法中,对目标密集区域进行大面积一级标注,在第一步的标注框内,对单个独立的目标拆分进行更加精准的二级标注。训练过程中首先对一级标注框进行检测,将一级标注框外区域视为无效区域,一级标注框训练完毕后,二级训练仅在一级标注框内对二级标注框进行。
请参阅图4,基于轻量级视觉库SAHI的切片推理机制:
本发明在原始检测网络基础上所重新构建的检测网络模型以切片辅助超推理SAHI框架为基础。SAHI提出对输入检测网络的大图像进行切片,牺牲效率在小切片中进行检测。本发明提出,在切片之前首先对原始图像进行识别,减小效率降低的范围。具体过程如下:
利用引入注意力机制的检测网络对原始图像进行识别,用来选择最有希望的包含小目标及其上下文的区域,在原始模型识别困难的密集区域引入切片辅助超推理SAHI框架。
执行切片推理,固定大小的切片检测框沿着图片的水平方向平移,每一次切片检测框的行内平移都有一定的重叠率,平移到顶端之后切换下一行继续平移,完成全图切片。
基于轻量级视觉库SAHI的语义匹配机制:
在切片重组之后,对原始图像的较小切片执行推理,然后合并原始图像上的切片预测。对于密集区域中某一目标,引入注意力机制的检测网络结果为T1,引入SAHI的检测网络检测结果为T2,用η(0≤η≤1)表示T1中目标的密集程度,则最终检测输出T可以表示为:
T=(1-η)T1+ηT2
通过执行切片推理而不是标准推理,可以更准确地检测较小的对象。再结合原始图像的切片预测对目标进行检测和语义匹配,获得较高的小目标正确检出率。
针对本发明改进的YOLOv5算法,选用漏检率、误检率和平均精度(AveragePrecision,AP)三种指标的权重计算结果作为模型检测准确性能的评价效用值,其中平均精度综合考虑了目标检测的精确率(Precision,P)和召回率(Recall,R),其参数评价曲线如图6所示,具体算法如下:
评价效用值=(1-X)×0.3+(1-Y)×0.2+KAP×0.5
其中,X为误检率,Y为漏检率,KAP为平均精度,T为图像中出现的所有目标数量,M1为实际检测出的状态信息正确的目标数量,M2为实际检测到的目标数量。
其中,TP为正确识别的指示灯个数,FP为没有指示灯但识别为有指示灯的个数;FN为有指示灯但识别为没有指示灯的待测区域个数。
实验结果表明,改进后的YOLOv5模型检测精度得到极大提升,漏检率由2.79%降低到0.11%,平均置信度由0.78提升到0.93,整体性能得到较大提升。
基于小目标特征的训练数据集分级标注方法对数据库进行标注,标注后利用改进后的网络进行训练;
在最佳权重的基础上搭建基于轻量级切片辅助推理视觉库的切片推理、语义合并的检测方法,对目标进行检测。
表1和表2详细说明了加入不同模块的对比结果以及本发明改进后模型检测结果。通过比较发现,如果没有采取任何改进,则评价效用值仅有改进后的85%,只有改进后的模型能满足现场精度要求。
表1加入不同模块的对比结果
表2本发明改进后模型检测结果
请参阅图5,说明了加入不同模块的图像输出结果以及本发明改进后的图像输出结果。第一张为引入注意力机制的原始模型检测结果,第二张为引入注意力机制的FPN+PAN结构优化模型检测结构,第三张为在此基础上利用SAHI辅助推理的检测结果。第1组应用实验中圆形目标密集且存在大量相同目标,且部分灯的颜色受到环境色影响出现断裂而非完整色块,原始模型在复杂背景下极其容易出现大量重复检测的情况,引入注意力机制后优化的FPN+PAN结构能够有效解决重复检测,本发明提出的改进方法在此基础上加入SAHI辅助推理,可以在正确检测的前提下提高置信度。
本发明再一实施例,提供了一种设备,所述设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器执行上述的智能变电站二次装置面板识别方法。
本发明又一实施例,提供了一种存储有计算机程序的计算机可读存储介质,该程序被处理器执行时实现上述的智能变电站二次装置面板识别方法。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (10)
1.一种智能变电站二次装置面板识别方法,其特征在于,所述方法包括:
对YOLOv5模型的训练网络和检测网络进行改进;
所述对YOLOv5模型的训练网络和检测网络进行改进包括:
将所述YOLOv5模型中加入空间注意力模型与通道注意力模型,所述通道注意力模块采用空间上生成的全局平均池化和空间上生成的最大池化特征映射对目标区域的特征信息进行增强,提取输入图像的有意义信息,表示为:
其中,f7×7表示滤波器尺寸为7×7的卷积运算;
通过分级嵌套标注方法对原始图片进行标注;
通过改进后的所述YOLOv5模型对中间特征图F进行训练和检测。
2.根据权利要求1所述的一种智能变电站二次装置面板识别方法,其特征在于:所述分级嵌套标注方法具体包括:
将目标视为具有可拆分性的整体,其既可以作为一整片目标区域的组成部分,又可以拆成一个个独立的小目标;在分级标注法中,对目标密集区域进行大面积一级标注,在第一步的标注框内,对单个独立的目标拆分进行更加精准的二级标注;训练过程中首先对一级标注框进行检测,将一级标注框外区域视为无效区域,一级标注框训练完毕后,二级训练仅在一级标注框内对二级标注框进行。
3.根据权利要求1所述的一种智能变电站二次装置面板识别方法,其特征在于:所述对YOLOv5模型的训练网络和检测网络进行改进包括FPN+PAN结构特征网络层级增强和单次双向结构特征网络层级增强。
4.根据权利要求3所述的一种智能变电站二次装置面板识别方法,其特征在于:所述FPN+PAN结构特征网络层级增强具体为采用特征金字塔网络,其中FPN是自顶向下的正金字塔结构,将高层的特征信息通过上采样的方式进行传递融合,得到进行预测的特征图;在神经网络中,采用融合深层和浅层卷积神经网络的特征金字塔网络,并将其与路径聚合网络相结合,在此基础上扩展三层的FPN+PAN结构层次至六层结构,实现多尺度上对目标的高效融合及精准检测;首先采用构建6层的FPN网络用于提取图像特征,然后融合连接到新的特征图F中,使用不同层次连接好的特征图F映射到n个分支中,自顶向下产生多个不同比例的分割结果K1,K2,K3……Kn。
5.根据权利要求3所述的一种智能变电站二次装置面板识别方法,其特征在于:所述单次双向结构特征网络层级增强包括:
在所述YOLOv5模型基础上所重新构建的网络模型主要改进部分由自底向上模块FPN、自顶向下模块PAN构成;在FPN层的后添加了一个自底向上的特征金字塔,其中每两层中间都包含一个PAN结构;FPN由小尺度向大尺度传递深层次语义特征,PAN由大尺度向小尺度传递目标位置信息;
输入图像I在通过本网络fθ后得到输出特征图D,对于输出特征图D上的每一点(a,b),单个类别检测特征时该点成为关键点的可能性为:
对于同时属于多个类别的目标,该点成为关键点的可能性为:
强化各级间的关系,改进损失函数表示为:
其中,Lp表示训练时输入图像中目标属于单个类别的损失函数;Ln表示训练时输入图像中目标属于多个类别的损失函数;Np和Nn分别表示训练时输入图像中目标属于单个类别和多个类别的图像数量,p*表示当前类别的真实值;α根据样本特征进行调整,用来平衡两者的重要性。
6.根据权利要求1所述的一种智能变电站二次装置面板识别方法,其特征在于:所述对YOLOv5模型的训练网络和检测网络进行改进包括基于轻量级视觉库SAHI的切片推理机制和基于轻量级视觉库SAHI的语义匹配机制。
7.根据权利要求6所述的一种智能变电站二次装置面板识别方法,其特征在于:所述基于轻量级视觉库SAHI的切片推理机制包括:
利用引入注意力机制的检测网络对原始图像进行识别,用来选择最有希望的包含小目标及其上下文的区域,在原始模型识别困难的密集区域引入切片辅助超推理SAHI框架;
执行切片推理,固定大小的切片检测框沿着图片的水平方向平移,每一次切片检测框的行内平移都有一定的重叠率,平移到顶端之后切换下一行继续平移,完成全图切片。
8.根据权利要求7所述的一种智能变电站二次装置面板识别方法,其特征在于:所述基于轻量级视觉库SAHI的语义匹配机制包括:
在切片重组之后,对原始图像的较小切片执行推理,然后合并原始图像上的切片预测;对于密集区域中某一目标,引入注意力机制的检测网络结果为T1,引入SAHI的检测网络检测结果为T2,用η(0≤η≤1)表示T1中目标的密集程度,则最终检测输出T可以表示为:
T=(1-η)T1+ηT2
通过执行切片推理而不是标准推理,可以更准确地检测较小的对象。再结合原始图像的切片预测对目标进行检测和语义匹配,获得较高的小目标正确检出率;
针对本发明改进的YOLOv5算法,选用漏检率、误检率和平均精度三种指标的权重计算结果作为模型检测准确性能的评价效用值,其中平均精度综合考虑了目标检测的精确率和召回率(Recall,R),具体算法如下:
评价效用值=(1-X)×0.3+(1-Y)×0.2+KAP×0.5
其中,X为误检率,Y为漏检率,KAP为平均精度,T为图像中出现的所有目标数量,M1为实际检测出的状态信息正确的目标数量,M2为实际检测到的目标数量;
其中,TP为正确识别的指示灯个数,FP为没有指示灯但识别为有指示灯的个数;FN为有指示灯但识别为没有指示灯的待测区域个数。
9.一种设备,其特征在于,所述设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器执行如权利要求1-8中任一项所述的智能变电站二次装置面板识别方法。
10.一种存储有计算机程序的计算机可读存储介质,其特征在于,该程序被处理器执行时实现如权利要求1-8中任一项所述的智能变电站二次装置面板识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211098215.2A CN115620076B (zh) | 2022-09-08 | 2022-09-08 | 一种智能变电站二次装置面板识别方法、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211098215.2A CN115620076B (zh) | 2022-09-08 | 2022-09-08 | 一种智能变电站二次装置面板识别方法、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115620076A true CN115620076A (zh) | 2023-01-17 |
CN115620076B CN115620076B (zh) | 2023-12-15 |
Family
ID=84858435
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211098215.2A Active CN115620076B (zh) | 2022-09-08 | 2022-09-08 | 一种智能变电站二次装置面板识别方法、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115620076B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113205027A (zh) * | 2021-04-26 | 2021-08-03 | 南瑞集团有限公司 | 一种变电设备金属锈蚀的检测装置和检测方法 |
US20210390704A1 (en) * | 2020-06-10 | 2021-12-16 | Ancestry.Com Operations Inc. | Systems and methods for identifying and segmenting objects from images |
CN114202672A (zh) * | 2021-12-09 | 2022-03-18 | 南京理工大学 | 一种基于注意力机制的小目标检测方法 |
CN114241548A (zh) * | 2021-11-22 | 2022-03-25 | 电子科技大学 | 一种基于改进YOLOv5的小目标检测算法 |
CN114529799A (zh) * | 2022-01-06 | 2022-05-24 | 浙江工业大学 | 一种基于改进型yolov5算法的飞机多目标跟踪方法 |
CN114581816A (zh) * | 2022-02-18 | 2022-06-03 | 河南科技学院 | 一种植物工厂茄果类蔬菜果实实时检测与计数方法 |
CN114998236A (zh) * | 2022-05-25 | 2022-09-02 | 征图新视(江苏)科技股份有限公司 | 基于目标检测的缺陷提取算法 |
CN114998210A (zh) * | 2022-04-29 | 2022-09-02 | 华南理工大学 | 一种基于深度学习目标检测的早产儿视网膜病变检测系统 |
-
2022
- 2022-09-08 CN CN202211098215.2A patent/CN115620076B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210390704A1 (en) * | 2020-06-10 | 2021-12-16 | Ancestry.Com Operations Inc. | Systems and methods for identifying and segmenting objects from images |
CN113205027A (zh) * | 2021-04-26 | 2021-08-03 | 南瑞集团有限公司 | 一种变电设备金属锈蚀的检测装置和检测方法 |
CN114241548A (zh) * | 2021-11-22 | 2022-03-25 | 电子科技大学 | 一种基于改进YOLOv5的小目标检测算法 |
CN114202672A (zh) * | 2021-12-09 | 2022-03-18 | 南京理工大学 | 一种基于注意力机制的小目标检测方法 |
CN114529799A (zh) * | 2022-01-06 | 2022-05-24 | 浙江工业大学 | 一种基于改进型yolov5算法的飞机多目标跟踪方法 |
CN114581816A (zh) * | 2022-02-18 | 2022-06-03 | 河南科技学院 | 一种植物工厂茄果类蔬菜果实实时检测与计数方法 |
CN114998210A (zh) * | 2022-04-29 | 2022-09-02 | 华南理工大学 | 一种基于深度学习目标检测的早产儿视网膜病变检测系统 |
CN114998236A (zh) * | 2022-05-25 | 2022-09-02 | 征图新视(江苏)科技股份有限公司 | 基于目标检测的缺陷提取算法 |
Non-Patent Citations (3)
Title |
---|
FEI LEI等: "《Underwater Target Detection Algorithm Based on Improved YOLOv5》", 《JOURNAL OF MARINE SCIENCE AND ENGINEERING》 * |
MUHAMMED CAN KELES等: "《Evaluation of YOLO Models with Sliced Inference for Small Object Detection》", 《ARXIV》 * |
RONGLU JIN等: "《An Improved Mobilenetv3-Yolov5 Infrared Target Detection Algorithm Based on Attention Distillation》", 《ADVANCED HYBRID INFORMATION PROCESSING》 * |
Also Published As
Publication number | Publication date |
---|---|
CN115620076B (zh) | 2023-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111444939B (zh) | 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法 | |
Liu et al. | Remote sensing image change detection based on information transmission and attention mechanism | |
CN114022432B (zh) | 基于改进的yolov5的绝缘子缺陷检测方法 | |
CN111898432B (zh) | 一种基于改进YOLOv3算法的行人检测系统及方法 | |
CN111368690A (zh) | 基于深度学习的海浪影响下视频图像船只检测方法及系统 | |
Qu et al. | An improved YOLOv5 method for large objects detection with multi-scale feature cross-layer fusion network | |
CN110675421B (zh) | 基于少量标注框的深度图像协同分割方法 | |
CN114972312A (zh) | 基于YOLOv4-Tiny改进的绝缘子缺陷检测方法 | |
CN114419464A (zh) | 一种基于深度学习的孪生网络变化检测模型 | |
Liu et al. | Residual YOLOX-based ship object detection method | |
CN115620076B (zh) | 一种智能变电站二次装置面板识别方法、设备及存储介质 | |
CN117132802A (zh) | 一种田间小麦病虫害识别方法、装置及存储介质 | |
CN114283323A (zh) | 一种基于图像深度学习的海上目标识别系统 | |
Shishkin et al. | Implementation of yolov5 for detection and classification of microplastics and microorganisms in marine environment | |
CN114596487A (zh) | 一种基于自注意力机制的开关分合状态识别方法 | |
Luo et al. | SOLOv2-cable: A Power Cable Segmentation Algorithm in Complex Scenarios | |
Li et al. | Focus on local: transmission line defect detection via feature refinement | |
Liu et al. | Tiny electronic component detection based on deep learning | |
Yang et al. | An Effective and Lightweight Hybrid Network for Object Detection in Remote Sensing Images | |
Li et al. | Remote Sensing Image Detection Algorithm Based on GhostNetv2 Improved YOLOv5s Algorithm | |
Tian | Oracle text positioning system based on improved YOLOv7-FC model | |
CN114299373A (zh) | 一种基于图像深度学习的海上目标识别方法 | |
Yin et al. | Strategic target classification with transfer learning | |
Zhang et al. | Indoor scene recognition method based on multi-scale feature attention mechanism | |
CN116580352A (zh) | 一种基于改进的yolov5的餐饮工作人员服饰识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |