CN113111802B - 一种基于深度神经网络的绝缘子检测模型 - Google Patents
一种基于深度神经网络的绝缘子检测模型 Download PDFInfo
- Publication number
- CN113111802B CN113111802B CN202110421231.XA CN202110421231A CN113111802B CN 113111802 B CN113111802 B CN 113111802B CN 202110421231 A CN202110421231 A CN 202110421231A CN 113111802 B CN113111802 B CN 113111802B
- Authority
- CN
- China
- Prior art keywords
- layer
- residual
- convolution
- feature
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 89
- 239000012212 insulator Substances 0.000 title claims abstract description 49
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 14
- 239000002131 composite material Substances 0.000 claims abstract description 25
- 230000004927 fusion Effects 0.000 claims abstract description 16
- 239000000284 extract Substances 0.000 claims description 17
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 abstract description 6
- 238000007689 inspection Methods 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000000034 method Methods 0.000 abstract 1
- 101100076840 Arabidopsis thaliana MFL1 gene Proteins 0.000 description 6
- 101100511042 Oryza sativa subsp. japonica LFL1 gene Proteins 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 101100428781 Human herpesvirus 6A (strain Uganda-1102) U8 gene Proteins 0.000 description 4
- 101100126953 Oryza sativa subsp. japonica KCS20 gene Proteins 0.000 description 4
- 101150043825 SFL1 gene Proteins 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010292 electrical insulation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/176—Urban or other man-made structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于深度神经网络的绝缘子检测模型，涉及基于深度学习的目标检测技术领域，包括主干网络层、特征融合网络层、目标检测层；输入到所述检测模型的图像特征为416×416×3，所述主干网络层具体包括依次连接的第一残差模块、第二残差模块、第一Dense模块、第三残差模块、第二Dense模块、第四残差模块、第三Dense模块、第五残差模块。本发明对于航拍图像中不同尺度、复杂背景干扰、以及有遮挡的复合绝缘子检测具有很好的鲁棒性，可以有效实现对输电线路巡检中复合绝缘子目标的检测。
Description
技术领域
本发明涉及基于深度学习的目标检测技术领域，具体涉及一种基于深度神经网络的绝缘子检测模型。
背景技术
随着计算机视觉技术和智能电网的发展，高压输电线路的规模越来越大，定期检查输电线路已成为确保电力系统安全可靠运行的重要任务。绝缘子是输电线路中必不可少的设备之一，在电气绝缘和机械支撑中起着重要作用。然而，绝缘子通常暴露在室外并经受恶劣的天气条件，绝缘子的故障很可能损害电力系统的安全运行，导致电力系统大规模停电和造成巨大的经济损失。因此，基于计算机视觉的绝缘子检测具有重要的现实意义。
传统图像处理方法依赖于各种特征提取算法且对背景干扰十分敏感，针对不同类型的绝缘子故障，需要设计不同的特征提取方法，不可能同时设计一个检测模型实现多绝缘子故障检测。由于航拍图像不同的拍摄角度和拍摄距离，在复杂的背景下难以准确地检测绝缘子。
发明内容
(一)解决的技术问题
本发明针对在复杂的背景下，传统图像处理方法难以准确地检测绝缘子的缺陷问题，提供了一种基于深度神经网络的绝缘子检测模型。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：
一种基于深度神经网络的绝缘子检测模型，包括主干网络层、特征融合网络层、目标检测层；输入到所述检测模型的图像特征为416×416×3，所述主干网络层具体包括依次连接的第一残差模块、第二残差模块、第一Dense模块、第三残差模块、第二Dense模块、第四残差模块、第三Dense模块、第五残差模块，所述第一残差模块提取图像特征208×208×64，所述第二残差模块提取图像特征104×104×128，所述第一Dense模块和第三残差模块提取图像特征52×52×256，所述第二Dense模块和第四残差模块提取图像特征26×26×512，所述第三Dense模块和第五残差模块提取图像特征13×13×1024；所述特征融合网络层对所述第三残差模块提取图像特征52×52×256、所述四残差模块提取图像特征26×26×512、所述第五残差模块提取图像特征13×13×1024进行三尺度特征融合，输出52×52、26×26、13×13特征给目标检测层，目标检测层分别对特征尺度为52×52、26×26、13×13的复合绝缘子图像进行预测。
根据本发明的一实施例，所述主干网络层具体包括依次连接的第一残差模块、第二残差模块、第一Dense模块、第三残差模块、第二Dense模块、第四残差模块、第三Dense模块、第五残差模块；所述第一残差模块包括1个3×3×64步长为2的卷积层和1个残差单元，所述残差单元由1个1×1×32卷积层、1个3×3×64卷积层、1个shortcut连接组成，第一残差模块的输出特征为208×208×64；所述第二残差模块包括1个3×3×128步长为2的卷积层和2个残差单元，所述残差单元由1个1×1×64卷积层、1个3×3×128卷积层、1个shortcut连接组成，第二残差模块的输出特征为104×104×128；所述第一Dense模块包括1个3×3×256步长为2的卷积层、1个1×1×128卷积层、4个Dense单元，所述Dense单元由1个1×1×32卷积层、1个3×3×32卷积层和1个Concat连接组成，第一Dense模块输出与第三残差模块相连，所述第三残差模块包括4个残差单元，所述残差单元由1个1×1×128卷积层、1个3×3×256卷积层、1个shortcut连接组成，第三残差模块的输出特征为52×52×256；所述第二Dense模块包括1个3×3×256步长为2的卷积层、4个Dense单元，所述Dense单元由1个1×1×64卷积层、1个3×3×64卷积层和1个Concat连接组成，第二Dense模块输出与第四残差模块相连，所述第四残差模块包括4个残差单元，所述残差单元由1个1×1×256卷积层、1个3×3×512卷积层、1个shortcut连接组成，第四残差模块的输出特征为26×26×512；所述第三Dense模块包括1个3×3×512步长为2的卷积层、4个Dense单元，所述Dense单元由1个1×1×128卷积层、1个3×3×128卷积层和1个Concat连接组成，第三Dense模块输出与第五残差模块相连，所述第五残差模块包括4个残差单元，所述残差单元由1个1×1×512卷积层、1个3×3×1024卷积层、1个shortcut连接组成，第五残差模块的输出特征为13×13×1024。
根据本发明的一实施例，所述第一Dense模块包括四层特征层，图像特征52×52×128经过1个1×1×32卷积层、1个3×3×32卷积层的卷积运算后得到特征层52×52×160；特征层52×52×160经过1个1×1×32卷积层、1个3×3×32卷积层的卷积运算后得到特征层52×52×192；特征层52×52×192经过1个1×1×32卷积层、1个3×3×32卷积层的卷积运算后得到特征层52×52×224；特征层52×52×224经过1个1×1×32卷积层、1个3×3×32卷积层的卷积运算后得到特征层52×52×256；特征层52×52×256与第三残差模块相连，用作第三残差模块的输入特征。
根据本发明的一实施例，所述第二Dense模块包括四层特征层，图像特征26×26×256经过1个1×1×64卷积层、1个3×3×64卷积层的卷积运算后得到特征层26×26×320；特征层26×26×320经过1个1×1×64卷积层、1个3×3×64卷积层的卷积运算后得到特征层26×26×384；特征层26×26×384经过1个1×1×64卷积层、1个3×3×64卷积层的卷积运算后得到特征层26×26×448；特征层26×26×448经过1个1×1×64卷积层、1个3×3×64卷积层的卷积运算后得到特征层26×26×512；特征层26×26×512与第四残差模块相连，用作第四残差模块的输入特征。
根据本发明的一实施例，所述第三Dense模块包括四层特征层，图像特征13×13×512经过1个1×1×128卷积层、1个3×3×128卷积层的卷积运算后得到特征层13×13×640；特征层13×13×640经过1个1×1×128卷积层、1个3×3×128卷积层的卷积运算后得到特征层13×13×768；特征层13×13×768经过1个1×1×128卷积层、1个3×3×128卷积层的卷积运算后得到特征层13×13×896；特征层13×13×896经过1个1×1×128卷积层、1个3×3×128卷积层的卷积运算后得到特征层13×13×1024；特征层13×13×1024与第五残差模块相连，用作第五残差模块的输入特征。
根据本发明的一实施例，经过主干网络层特征提取得到三个有效特征层，特征层52×52×256对应第一大尺度特征层LFL0，特征层26×26×512对应第一中尺度特征层MFL0，特征层13×13×1024对应第一小尺度特征层SFL0；第一小尺度特征层SFL0通过上采样运算后与第一中尺度特征层MFL0融合得到第二中尺度特征层MFL1，第二中尺度特征层MFL1通过上采样运算后与第一大尺度特征层LFL0融合得到第二大尺度特征层LFL1；第二大尺度特征层LFL1通过下采样运算后与第二中尺度特征层MFL1融合得到第三中尺度特征层MFL2，第三中尺度特征层MFL2通过下采样运算后与第一小尺度特征层SFL0融合得到第二小尺度特征层SFL1；第二小尺度特征层SFL1、第三中尺度特征层MFL2、第二大尺度特征层LFL1与输出特征13×13、26×26、52×52给三尺度目标检测层，三尺度目标检测层分别对特征尺度为13×13、26×26、52×52的复合绝缘子图像进行预测
(三)有益效果
本发明的有益效果：一种基于深度神经网络的绝缘子检测模型，对于航拍图像中不同尺度、复杂背景干扰、以及有遮挡的复合绝缘子检测具有很好的鲁棒性，可以有效实现对输电线路巡检中复合绝缘子目标的检测。本发明检测模型能够在有效提取复杂环境下的目标特征、保证检测精度的同时，提高目标的检测准确率和召回率；本发明在主干网络层中引入三个Dense模块，加强特征复用和传播，能够有效避免梯度消失或梯度爆炸；本发明特征融合网络层采用三尺度特征融合结构，并设计自上而下和自下而上的特征融合策略，在增加一定的运算复杂度情况下，可以提高检测模型的预测精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明复合绝缘子检测模型结构图；
图2为本发明第一Dense模块结构；
图3为本发明第二Dense模块结构；
图4为本发明第三Dense模块结构；
图5(a)为以天空为背景干扰的本发明检测模型的检测结果；
图5(b)为以天空为背景干扰的本发明检测模型的检测结果；
图6(a)为以河流为背景干扰的本发明检测模型的检测结果；
图6(b)为以河流为背景干扰的本发明检测模型的检测结果；
图7(a)为以电力架为背景干扰的本发明检测模型的检测结果；
图7(b)为以电力架为背景干扰的本发明检测模型的检测结果；
图8(a)为以植被为背景干扰的本发明检测模型的检测结果；
图8(b)为以植被为背景干扰的本发明检测模型的检测结果；
图9(a)为以建筑物为背景干扰的本发明检测模型的检测结果；
图9(b)为以建筑物为背景干扰的本发明检测模型的检测结果。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
结合图1，一种基于深度神经网络的绝缘子检测模型，包括主干网络层、特征融合网络层、三尺度目标检测层；输入到所述检测模型的图像特征为416×416×3，所述主干网络层具体包括依次连接的第一残差模块、第二残差模块、第一Dense模块、第三残差模块、第二Dense模块、第四残差模块、第三Dense模块、第五残差模块，所述第一残差模块提取图像特征208×208×64，所述第二残差模块提取图像特征104×104×128，所述第一Dense模块和第三残差模块提取图像特征52×52×256，所述第二Dense模块和第四残差模块提取图像特征26×26×512，所述第三Dense模块和第五残差模块提取图像特征13×13×1024；所述特征融合网络层对所述第三残差模块提取图像特征52×52×256、所述四残差模块提取图像特征26×26×512、所述第五残差模块提取图像特征13×13×1024进行三尺度特征融合，输出52×52、26×26、13×13三尺度特征给三尺度目标检测层，三尺度目标检测层分别对特征尺度为52×52、26×26、13×13的复合绝缘子图像进行预测。
主干网络层具体包括依次连接的第一残差模块、第二残差模块、第一Dense模块、第三残差模块、第二Dense模块、第四残差模块、第三Dense模块、第五残差模块；所述第一残差模块包括1个3×3×64步长为2的卷积层和1个残差单元，所述残差单元由1个1×1×32卷积层、1个3×3×64卷积层、1个shortcut连接组成，第一残差模块的输出特征为208×208×64；所述第二残差模块包括1个3×3×128步长为2的卷积层和2个残差单元，所述残差单元由1个1×1×64卷积层、1个3×3×128卷积层、1个shortcut连接组成，第二残差模块的输出特征为104×104×128；所述第一Dense模块包括1个3×3×256步长为2的卷积层、1个1×1×128卷积层、4个Dense单元，所述Dense单元由1个1×1×32卷积层、1个3×3×32卷积层和1个Concat连接组成，第一Dense模块输出与第三残差模块相连，所述第三残差模块包括4个残差单元，所述残差单元由1个1×1×128卷积层、1个3×3×256卷积层、1个shortcut连接组成，第三残差模块的输出特征为52×52×256；所述第二Dense模块包括1个3×3×256步长为2的卷积层、4个Dense单元，所述Dense单元由1个1×1×64卷积层、1个3×3×64卷积层和1个Concat连接组成，第二Dense模块输出与第四残差模块相连，所述第四残差模块包括4个残差单元，所述残差单元由1个1×1×256卷积层、1个3×3×512卷积层、1个shortcut连接组成，第四残差模块的输出特征为26×26×512；所述第三Dense模块包括1个3×3×512步长为2的卷积层、4个Dense单元，所述Dense单元由1个1×1×128卷积层、1个3×3×128卷积层和1个Concat连接组成，第三Dense模块输出与第五残差模块相连，所述第五残差模块包括4个残差单元，所述残差单元由1个1×1×512卷积层、1个3×3×1024卷积层、1个shortcut连接组成，第五残差模块的输出特征为13×13×1024。
结合图2，所述第一Dense模块包括四层特征层，图像特征52×52×128经过1个1×1×32卷积层、1个3×3×32卷积层的卷积运算后得到特征层52×52×160；特征层52×52×160经过1个1×1×32卷积层、1个3×3×32卷积层的卷积运算后得到特征层52×52×192；特征层52×52×192经过1个1×1×32卷积层、1个3×3×32卷积层的卷积运算后得到特征层52×52×224；特征层52×52×224经过1个1×1×32卷积层、1个3×3×32卷积层的卷积运算后得到特征层52×52×256；特征层52×52×256与第三残差模块相连，用作第三残差模块的输入特征。
结合图3，所述第二Dense模块包括四层特征层，图像特征26×26×256经过1个1×1×64卷积层、1个3×3×64卷积层的卷积运算后得到特征层26×26×320；特征层26×26×320经过1个1×1×64卷积层、1个3×3×64卷积层的卷积运算后得到特征层26×26×384；特征层26×26×384经过1个1×1×64卷积层、1个3×3×64卷积层的卷积运算后得到特征层26×26×448；特征层26×26×448经过1个1×1×64卷积层、1个3×3×64卷积层的卷积运算后得到特征层26×26×512；特征层26×26×512与第四残差模块相连，用作第四残差模块的输入特征。
结合图4，所述第三Dense模块包括四层特征层，图像特征13×13×512经过1个1×1×128卷积层、1个3×3×128卷积层的卷积运算后得到特征层13×13×640；特征层13×13×640经过1个1×1×128卷积层、1个3×3×128卷积层的卷积运算后得到特征层13×13×768；特征层13×13×768经过1个1×1×128卷积层、1个3×3×128卷积层的卷积运算后得到特征层13×13×896；特征层13×13×896经过1个1×1×128卷积层、1个3×3×128卷积层的卷积运算后得到特征层13×13×1024；特征层13×13×1024与第五残差模块相连，用作第五残差模块的输入特征。
结合图1-4，经过主干网络层特征提取得到三个有效特征层，特征层52×52×256对应第一大尺度特征层LFL0，特征层26×26×512对应第一中尺度特征层MFL0，特征层13×13×1024对应第一小尺度特征层SFL0；第一小尺度特征层SFL0通过上采样运算后与第一中尺度特征层MFL0融合得到第二中尺度特征层MFL1，第二中尺度特征层MFL1通过上采样运算后与第一大尺度特征层LFL0融合得到第二大尺度特征层LFL1；第二大尺度特征层LFL1通过下采样运算后与第二中尺度特征层MFL1融合得到第三中尺度特征层MFL2，第三中尺度特征层MFL2通过下采样运算后与第一小尺度特征层SFL0融合得到第二小尺度特征层SFL1；第二小尺度特征层SFL1、第三中尺度特征层MFL2、第二大尺度特征层LFL1与输出特征13×13、26×26、52×52给三尺度目标检测层，三尺度目标检测层分别对特征尺度为13×13、26×26、52×52的复合绝缘子图像进行预测。
为了验证本发明检测模型的有效性，将本发明的检测模型与两个现有经典的YOLO检测模型(YOLO-v2和YOLO-v3)在测试集进行了对比实验。实验条件如下：在硬件方面，CPU是具有3.60GHz的
CoreTMi9-9900K，总内存为32GB；GPU是具有10G内存的NVIDIAGeForce GTX 3080。在软件方面，CUDA 11.1和cuDNN 8.0.5加速器，并配备了Open CV3.4.0、Visual Studio 2017、Windows 10操作系统和Dark-net深度学习框架。
三种检测模型的测试指标(平均精确率、准确率和召回率)如表1所示。平均精确率、准确率和召回率用于评估检测模型在测试集上对复合绝缘子目标进行检测的性能，三种检测网络的平均精确率分别为83.4％、90.3％和94.5％；三种检测网络的准确率分别为87％、90％和94％；三种检测网络的召回率分别为83％、91％和96％。因此，综合考虑平均精确率、准确率和召回率，本发明检测模型相比于YOLO-v2、YOLO-v3具有较好的检测性能。
表1：三种检测模型的测试指标
为了验证本发明检测模型在不同背景干扰和不同尺度下复合绝缘子目标检测的准确性和鲁棒性，图5-9给出了本发明检测模型的检测结果。图5是以天空为背景干扰的实验结果，相比于图5(a)中的绝缘子，图5(b)中的复合绝缘子要小的多，本发明检测模型也能检测出来。图6是以河流为背景干扰的实验结果，图6(a)中大小相差较大的复合绝缘子都能检测出来，图6(b)中对于有遮挡的复合绝缘子也能检测出来。图7是以电力架为背景干扰的实验结果，尽管图7(a)和图7(b)中背景复杂，图7(a)中两个尺度不同的复合绝缘子能够检测出来，图7(b)中对于遮挡严重的绝缘子也能检测出来。图8是以植被为背景干扰的实验结果，图8(a)和图8(b)中对于复合绝缘子遮挡的图像，本发明检测模型能够检测到所有复合绝缘子。图9是以建筑物为背景干扰的实验结果，对于图9(a)和图9(b)背景复杂，尺度不同的复合绝缘子、有遮挡的复合绝缘子，本发明检测模型能够将所有的复合绝缘子检测出来。因此，在不同背景干扰下，本发明检测模型对不同尺度、有遮挡的复合绝缘子图像检测中具有较好的检测性能。
综上所述，本发明实施例，基于深度神经网络的绝缘子检测模型，对于航拍图像中不同尺度、复杂背景干扰、以及有遮挡的复合绝缘子检测具有很好的鲁棒性，可以有效实现对输电线路巡检中复合绝缘子目标的检测。本发明检测模型能够在有效提取复杂环境下的目标特征、保证检测精度的同时，提高目标的检测准确率和召回率；本发明在主干网络层中引入三个Dense模块，加强特征复用和传播，能够有效避免梯度消失或梯度爆炸；本发明特征融合网络层采用三尺度特征融合结构，并设计自上而下和自下而上的特征融合策略，在增加一定的运算复杂度情况下，可以提高检测模型的预测精度。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (5)
1.一种基于深度神经网络的绝缘子检测模型，其特征在于，包括主干网络层、特征融合网络层、目标检测层；输入到所述检测模型的图像特征为416×416×3，所述主干网络层具体包括依次连接的第一残差模块、第二残差模块、第一Dense模块、第三残差模块、第二Dense模块、第四残差模块、第三Dense模块、第五残差模块，所述第一残差模块提取图像特征208×208×64，所述第二残差模块提取图像特征104×104×128，所述第一Dense模块和第三残差模块提取图像特征52×52×256，所述第二Dense模块和第四残差模块提取图像特征26×26×512，所述第三Dense模块和第五残差模块提取图像特征13×13×1024；所述特征融合网络层对所述第三残差模块提取图像特征52×52×256、所述四残差模块提取图像特征26×26×512、所述第五残差模块提取图像特征13×13×1024进行三尺度特征融合，输出52×52、26×26、13×13特征给目标检测层，目标检测层分别对特征尺度为52×52、26×26、13×13的复合绝缘子图像进行预测；
所述主干网络层具体包括依次连接的第一残差模块、第二残差模块、第一Dense模块、第三残差模块、第二Dense模块、第四残差模块、第三Dense模块、第五残差模块；所述第一残差模块包括1个3×3×64步长为2的卷积层和1个残差单元，所述残差单元由1个1×1×32卷积层、1个3×3×64卷积层、1个shortcut连接组成，第一残差模块的输出特征为208×208×64；所述第二残差模块包括1个3×3×128步长为2的卷积层和2个残差单元，所述残差单元由1个1×1×64卷积层、1个3×3×128卷积层、1个shortcut连接组成，第二残差模块的输出特征为104×104×128；所述第一Dense模块包括1个3×3×256步长为2的卷积层、1个1×1×128卷积层、4个Dense单元，所述Dense单元由1个1×1×32卷积层、1个3×3×32卷积层和1个Concat连接组成，第一Dense模块输出与第三残差模块相连，所述第三残差模块包括4个残差单元，所述残差单元由1个1×1×128卷积层、1个3×3×256卷积层、1个shortcut连接组成，第三残差模块的输出特征为52×52×256；所述第二Dense模块包括1个3×3×256步长为2的卷积层、4个Dense单元，所述Dense单元由1个1×1×64卷积层、1个3×3×64卷积层和1个Concat连接组成，第二Dense模块输出与第四残差模块相连，所述第四残差模块包括4个残差单元，所述残差单元由1个1×1×256卷积层、1个3×3×512卷积层、1个shortcut连接组成，第四残差模块的输出特征为26×26×512；所述第三Dense模块包括1个3×3×512步长为2的卷积层、4个Dense单元，所述Dense单元由1个1×1×128卷积层、1个3×3×128卷积层和1个Concat连接组成，第三Dense模块输出与第五残差模块相连，所述第五残差模块包括4个残差单元，所述残差单元由1个1×1×512卷积层、1个3×3×1024卷积层、1个shortcut连接组成，第五残差模块的输出特征为13×13×1024。
2.如权利要求1所述的一种基于深度神经网络的绝缘子检测模型，其特征在于，所述第一Dense模块包括四层特征层，图像特征52×52×128经过1个1×1×32卷积层、1个3×3×32卷积层的卷积运算后得到特征层52×52×160；特征层52×52×160经过1个1×1×32卷积层、1个3×3×32卷积层的卷积运算后得到特征层52×52×192；特征层52×52×192经过1个1×1×32卷积层、1个3×3×32卷积层的卷积运算后得到特征层52×52×224；特征层52×52×224经过1个1×1×32卷积层、1个3×3×32卷积层的卷积运算后得到特征层52×52×256；特征层52×52×256与第三残差模块相连，用作第三残差模块的输入特征。
3.如权利要求2所述的一种基于深度神经网络的绝缘子检测模型，其特征在于，所述第二Dense模块包括四层特征层，图像特征26×26×256经过1个1×1×64卷积层、1个3×3×64卷积层的卷积运算后得到特征层26×26×320；特征层26×26×320经过1个1×1×64卷积层、1个3×3×64卷积层的卷积运算后得到特征层26×26×384；特征层26×26×384经过1个1×1×64卷积层、1个3×3×64卷积层的卷积运算后得到特征层26×26×448；特征层26×26×448经过1个1×1×64卷积层、1个3×3×64卷积层的卷积运算后得到特征层26×26×512；特征层26×26×512与第四残差模块相连，用作第四残差模块的输入特征。
4.如权利要求3所述的一种基于深度神经网络的绝缘子检测模型，其特征在于，所述第三Dense模块包括四层特征层，图像特征13×13×512经过1个1×1×128卷积层、1个3×3×128卷积层的卷积运算后得到特征层13×13×640；特征层13×13×640经过1个1×1×128卷积层、1个3×3×128卷积层的卷积运算后得到特征层13×13×768；特征层13×13×768经过1个1×1×128卷积层、1个3×3×128卷积层的卷积运算后得到特征层13×13×896；特征层13×13×896经过1个1×1×128卷积层、1个3×3×128卷积层的卷积运算后得到特征层13×13×1024；特征层13×13×1024与第五残差模块相连，用作第五残差模块的输入特征。
5.如权利要求1所述的一种基于深度神经网络的绝缘子检测模型，其特征在于，经过主干网络层特征提取得到三个有效特征层，特征层52×52×256对应第一大尺度特征层，特征层26×26×512对应第一中尺度特征层，特征层13×13×1024对应第一小尺度特征层；第一小尺度特征层通过上采样运算后与第一中尺度特征层融合得到第二中尺度特征层，第二中尺度特征层通过上采样运算后与第一大尺度特征层融合得到第二大尺度特征层；第二大尺度特征层通过下采样运算后与第二中尺度特征层融合得到第三中尺度特征层，第三中尺度特征层通过下采样运算后与第一小尺度特征层融合得到第二小尺度特征层；第二小尺度特征层、第三中尺度特征层、第二大尺度特征层与输出特征13×13、26×26、52×52给目标检测层，目标检测层分别对特征尺度为13×13、26×26、52×52的复合绝缘子图像进行预测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110421231.XA CN113111802B (zh) | 2021-04-20 | 2021-04-20 | 一种基于深度神经网络的绝缘子检测模型 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110421231.XA CN113111802B (zh) | 2021-04-20 | 2021-04-20 | 一种基于深度神经网络的绝缘子检测模型 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113111802A CN113111802A (zh) | 2021-07-13 |
| CN113111802B true CN113111802B (zh) | 2023-05-23 |
Family
ID=76718588
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110421231.XA Active CN113111802B (zh) | 2021-04-20 | 2021-04-20 | 一种基于深度神经网络的绝缘子检测模型 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113111802B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005147879A (ja) * | 2003-11-17 | 2005-06-09 | Tokyo Metro Co Ltd | 剛体架線支持碍子の検出方法および検出装置 |
| CN109934222A (zh) * | 2019-03-01 | 2019-06-25 | 长沙理工大学 | 一种基于迁移学习的绝缘子串自爆识别方法 |
| CN111368702A (zh) * | 2020-02-28 | 2020-07-03 | 西安工程大学 | 基于YOLOv3网络的复合绝缘子憎水性等级识别方法 |
| CN111539302A (zh) * | 2020-04-20 | 2020-08-14 | 山东理工大学 | 基于多尺度深层扰动神经网络的玻璃绝缘子自爆识别方法 |
| CN112183667A (zh) * | 2020-10-31 | 2021-01-05 | 哈尔滨理工大学 | 一种协同深度学习的绝缘子故障检测方法 |
| CN112199993A (zh) * | 2020-09-01 | 2021-01-08 | 广西大学 | 基于人工智能识别任意方向变电站绝缘子红外图像检测模型的方法 |
| CN112508099A (zh) * | 2020-12-07 | 2021-03-16 | 国网河南省电力公司电力科学研究院 | 一种实时目标检测的方法和装置 |
| CN113537119A (zh) * | 2021-07-28 | 2021-10-22 | 国网河南省电力公司电力科学研究院 | 基于改进Yolov4-tiny的输电线路连接部件检测方法 |
-
2021
- 2021-04-20 CN CN202110421231.XA patent/CN113111802B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005147879A (ja) * | 2003-11-17 | 2005-06-09 | Tokyo Metro Co Ltd | 剛体架線支持碍子の検出方法および検出装置 |
| CN109934222A (zh) * | 2019-03-01 | 2019-06-25 | 长沙理工大学 | 一种基于迁移学习的绝缘子串自爆识别方法 |
| CN111368702A (zh) * | 2020-02-28 | 2020-07-03 | 西安工程大学 | 基于YOLOv3网络的复合绝缘子憎水性等级识别方法 |
| CN111539302A (zh) * | 2020-04-20 | 2020-08-14 | 山东理工大学 | 基于多尺度深层扰动神经网络的玻璃绝缘子自爆识别方法 |
| CN112199993A (zh) * | 2020-09-01 | 2021-01-08 | 广西大学 | 基于人工智能识别任意方向变电站绝缘子红外图像检测模型的方法 |
| CN112183667A (zh) * | 2020-10-31 | 2021-01-05 | 哈尔滨理工大学 | 一种协同深度学习的绝缘子故障检测方法 |
| CN112508099A (zh) * | 2020-12-07 | 2021-03-16 | 国网河南省电力公司电力科学研究院 | 一种实时目标检测的方法和装置 |
| CN113537119A (zh) * | 2021-07-28 | 2021-10-22 | 国网河南省电力公司电力科学研究院 | 基于改进Yolov4-tiny的输电线路连接部件检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于改进型YOLO v3的绝缘子异物检测方法;张焕坤;李军毅;张斌;;中国电力(第02期);第49-55页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113111802A (zh) | 2021-07-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113112489B (zh) | 一种基于级联检测模型的绝缘子掉串故障检测方法 | |
| Swetapadma et al. | Improved fault location algorithm for multi‐location faults, transforming faults and shunt faults in thyristor controlled series capacitor compensated transmission line | |
| Deng et al. | Single‐ended travelling wave protection algorithm based on full waveform in the time and frequency domains | |
| CN109934222A (zh) | 一种基于迁移学习的绝缘子串自爆识别方法 | |
| CN112861729B (zh) | 一种基于伪深度图引导的实时深度补全方法 | |
| CA2576916A1 (fr) | Procede et dispositif de detection d'un phenomene d'arc electrique sur au moins un cable electrique | |
| CN111695620A (zh) | 一种电力系统时间序列异常数据检测与修正方法及系统 | |
| CN116503318A (zh) | 一种融合CAT-BiFPN与注意力机制的航拍绝缘子多缺陷检测方法、系统及设备 | |
| CN113111802B (zh) | 一种基于深度神经网络的绝缘子检测模型 | |
| CN117113066B (zh) | 一种基于计算机视觉的输电线路绝缘子缺陷检测方法 | |
| CN113095420A (zh) | 一种基于改进YOLOv3的绝缘子故障检测方法 | |
| Feng et al. | Identification of faults using sparse optimization | |
| CN113095253B (zh) | 一种用于无人机巡检输电线路的绝缘子检测方法 | |
| CN113095252A (zh) | 一种用于电力巡检绝缘子故障图像识别方法 | |
| Xi et al. | Fault detection and classification on insulated overhead conductors based on MCNN‐LSTM | |
| Abd-Alkader et al. | Application of using fault detection techniques in different components in power systems | |
| Dodangeh et al. | Fault detection, location, and classification method on compressed air energy storages based inter‐connected micro‐grid clusters using traveling‐waves, current injection method, on‐line wavelet, and mathematical morphology | |
| CN115731455A (zh) | 一种环网计量柜 | |
| CN113177717B (zh) | 一种基于影响增量灵敏度的输电系统韧性快速评估方法 | |
| Fangrong et al. | [Retracted] Insulator and Burst Fault Detection Using an Improved Yolov3 Algorithm | |
| Lasalvia et al. | Intelligent acoustic detection of defective porcelain station post insulators | |
| CN114740308A (zh) | 一种接地网的拓扑检测方法、装置、设备及介质 | |
| Lopes et al. | Parametric analysis of the travelling wave‐based differential protection TW87 | |
| CN117593268A (zh) | 一种多网络融合的输电线路绝缘子缺陷检测方法 | |
| Li et al. | Prediction Model of Submarine Cable Burial Depth Trend Based on CNN-LSTM |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231109 Address after: 067000 Room 401, 4th Floor, Office Building, Hebei Wanjuda Furniture Co., Ltd., Industrial Park, Xiaolongxumen Village, Longxumen Town, Kuancheng Manchu Autonomous County, Chengde City, Hebei Province Patentee after: Jingyi Electrical Equipment Kuancheng Manchu Autonomous County Co.,Ltd. Address before: 169 Jianshe West Road, Chizhou City, Anhui Province Patentee before: CHIZHOU University |
|
| TR01 | Transfer of patent right |