CN114462555A - 基于树莓派的多尺度特征融合配电网设备识别方法 - Google Patents

基于树莓派的多尺度特征融合配电网设备识别方法 Download PDF

Info

Publication number
CN114462555A
CN114462555A CN202210381347.XA CN202210381347A CN114462555A CN 114462555 A CN114462555 A CN 114462555A CN 202210381347 A CN202210381347 A CN 202210381347A CN 114462555 A CN114462555 A CN 114462555A
Authority
CN
China
Prior art keywords
module
fusion
feature
convolution
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210381347.XA
Other languages
English (en)
Other versions
CN114462555B (zh
Inventor
王文彬
范瑞祥
陈琛
邓志祥
卢源文
潘建兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Jiangxi Electric Power Co Ltd
Jiangxi Normal University
Original Assignee
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Jiangxi Electric Power Co Ltd
Jiangxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Electric Power Research Institute of State Grid Jiangxi Electric Power Co Ltd, Jiangxi Normal University filed Critical State Grid Corp of China SGCC
Priority to CN202210381347.XA priority Critical patent/CN114462555B/zh
Publication of CN114462555A publication Critical patent/CN114462555A/zh
Application granted granted Critical
Publication of CN114462555B publication Critical patent/CN114462555B/zh
Priority to US17/952,690 priority patent/US11631238B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Remote Sensing (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于树莓派的多尺度特征融合配电网设备识别方法，获取初始样本数据集；构建由EfficientNe‑B0主干网络、多尺度特征融合模块、回归分类预测头构成的目标检测网络；以初始样本数据集作为训练样本，训练目标检测网络；最后使用训练后的目标检测网络检测巡检图片。本发明引入轻量级EfficientNet‑B0主干网络特征提取方式能获得目标更多的特征，同时引入多尺度特征融合能更好地适应小目标检测，且采用轻量级y_pred回归分类检测头，可以在资源紧张、算力有限的树莓派嵌入式设备中有效部署与实现。

Description

基于树莓派的多尺度特征融合配电网设备识别方法
技术领域
本发明涉及电力巡检方向的图像识别技术领域，具体涉及一种基于树莓派的多尺度特征融合配电网设备识别方法。
背景技术
目前深度学习基于卷积神经网络的目标检测算法的发展大致分为两个方向：基于候选区域的二阶段目标检测方法和基于回归的一阶段目标检测方法。二阶段目标检测方法一般具有速度慢、精度高的特点，相对的一阶段目标检测方法一般具有速度快、精度低的特点。尽管基于候选区域的二阶段目标检测方法R-CNN系列取得了非常好的检测结果，但由于配电网设备识别要求比较高的精度和速度，二阶段目标检测方法在识别速度方面离实时效果不理想，且网络大、数量多。与二阶段目标检测方法不同的是，以EfficientNet-B0为基础采用y_pred检测分类头的一阶段目标检测方法的网络模型参数相对较少，在实时性上优越，识别速度和识别精度都比较高。
主干提取网络的综合宽度、深度和分辨率可根据网络进行综合式缩放扩展，适合以树莓派为代表的嵌入无人机设备。但是，由于同一图片中存在变压器类大目标，也存在刀闸和跌落式熔断器类小目标配电网设备，EfficientNet-B0主干提取网络的Con2D+GlobalAveragePooling2D+Dense分类头检测小目标刀闸、跌落式熔断器效果较差。而且，深度学习识别算法带来高精度的同时，其巨大的计算成本也使得寻常的嵌入式设备难以承担，限制了深度学习识别算法与嵌入式无人机设备的结合。
发明内容
为了克服上述所述的不足，本发明的目的是提供一种基于树莓派的多尺度特征融合配电网设备识别方法，其包含基于轻量级EfficientNet-B0网络、多尺度特征融合模块与回归分类预测头，回归分类预测头采用参数较少的y_pred检测分类头。
本发明解决其技术问题的技术方案是：一种基于树莓派的多尺度特征融合配电网设备识别方法，包括如下步骤：
步骤S1、获取初始样本数据集；
步骤S2、构建由EfficientNe-B0主干网络、多尺度特征融合模块、回归分类预测头构成的目标检测网络；
所述EfficientNe-B0主干网络由一个CBL模块和7个Block模块组成，7个Block模块依次为Block1模块、Block2模块、Block3模块、Block4模块、Block5模块、Block6模块、Block7模块 ；
回归分类预测头采用y_pred检测分类头，分别为y_pred1检测分类头、y_pred2检测分类头、y_pred3检测分类头；
多尺度特征融合模块包括四条融合路径，第一条融合路径包括CBL1模块和Conv1层，CBL1模块获取Block7输出的特征图，CBL1模块处理后的特征图进入Conv1层卷积后进入y_pred1检测分类头；
第二条融合路径包括concat1层、CBL2模块和Conv2层；concat1层获取Block5模块输出的特征图并通过上采样获取CBL1模块处理后的特征图进行融合，融合后的融合特征图由CBL2模块处理，CBL2模块处理后的融合特征图进入Conv2层卷积后进入y_pred2检测分类头；
第三条融合路径包括concat2层、CBL3模块和Conv3层；concat2层获取Block3模块输出的特征图并通过上采样获取CBL2模块处理后的特征图进行融合，融合后的融合特征图由CBL3模块处理，CBL3模块处理后的融合特征图进入Conv3层卷积后进入y_pred3检测分类头；
第四条融合路径包括concat3层、CBL4模块，concat3层获取Block2模块输出的特征图并通过上采样获取CBL3模块处理后的特征图进行融合，融合后的融合特征图由CBL4模块处理，CBL4模块通过下采样连接CBL3模块；
步骤S3、以初始样本数据集作为训练样本，训练目标检测网络：由EfficientNe-B0主干网络进行特征提取，多尺度特征融合模块进行多尺度特征融合，输出三幅融合特征图，这三幅融合特征图进入y_pred检测分类头识别；
步骤S4、使用训练后的目标检测网络检测巡检图片：由EfficientNe-B0主干网络进行特征提取，多尺度特征融合模块进行多尺度特征融合，输出三幅融合特征图，这三幅融合特征图进入y_pred检测分类头识别，得到识别结果。
进一步优选，所述Block1模块包括1个MBConv1Block模块，卷积核大小为3×3、步距为2×2；所述Block2模块包括2个MBConv6Block模块，卷积核大小为3×3、步距为2×2；所述Block3模块包括2个MBConv6Block模块，卷积核大小为5×5、步距为2×2；所述Block4模块包括3个MBConv6Block模块，卷积核大小为3×3、步距为2×2；所述Block5模块包括3个MBConv6Block模块，卷积核大小为5×5、步距为2×2；所述Block6模块包括4个MBConv6Block模块，卷积核大小为5×5、步距为2×2；所述Block7模块包括1个MBConv6Block模块，卷积核大小为3×3、步距为1×1；所述MBConv6Block模块进行深度可分离卷积。
进一步优选，特征提取过程中引入深度可分离卷积和通道注意力机制的逆大残差结构，在3×3或者5×5网络结构前利用1×1卷积升维，在3×3或者5×5网络结构后增加了一个SENet通道注意力机制，最后利用1×1卷积降维。
进一步优选，深度可分离卷积在EfficientNe-B0主干网络中的MBConv6Block模块进行，所述深度可分离卷积包括空间维度的深度卷积和通道维度的逐点卷积两个部分。
进一步优选，所述EfficientNe-B0主干网络进行特征提取是指：经EfficientNet-B0主干网络不断地卷积生成7幅特征图。
进一步优选，多尺度特征融合选取Block2模块、 Block3模块、 Block5模块、Block7模块输出的四幅特征图进行多尺度特征融合堆叠，尽可能的保留浅层特征。
进一步优选，y_pred3检测分类头,y_pred2检测分类头和y_pred1检测分类头的通道深度都是255，边长的规律比是13:26:52，y_pred3检测分类头、y_pred2检测分类头用来识别小目标刀闸与熔断器，y_pred1检测分类头用来识别变压器。
进一步优选，y_pred检测分类头识别过程为：每幅融合特征图都进入y_pred检测分类头生成预测框，三个 y_pred检测分类头生成的预测框是相同的，每个y_pred检测分类头设有3个不同尺寸的先验框，y_pred3检测分类头的3个先验框的尺寸对应刀闸的3种尺寸，y_pred2检测分类头的3个先验框的尺寸对应熔断器的3种尺寸，y_pred1检测分类头的3个先验框的尺寸对应变压器的3种尺寸，将预测框与9个先验框进行尺寸比对，选择尺寸偏差最小的先验框所在的类作为输出，判断特征图是属于刀闸、熔断器、变压器中的哪一种，输出真实框作为识别结果；所述先验框是对初始样本数据集进行k-means聚类得到的，将配电网设备的巡检图片分为刀闸、熔断器、变压器3类，每类巡检图片聚类得到3个不同尺寸的先验框；每次输出的真实框补充到初始样本数据集进行下一次k-means聚类。
本发明的有益效果：面对传统人工电力线路勘察、巡检、验收工作量大，效率低等问题，开展使用嵌入式树莓派无人机的人机联动巡查可以达到对较长线路的大范围快速信息搜寻，可以拍摄电力线路及附加设备的图片信息，本发明的方法用于常见的线路上的设备检测和配电网工程建设的智能化勘察设计及验收方法研究。本发明具有以下特点：
1.本发明的目标检测网络参数量较小、精度高，适合嵌入以树莓派为代表的电路巡检微型无人机巡检终端设备；
2．主干提取网络采用轻量级EfficientNet-B0主干网络，更适合布置在树莓派无人机系统这种微型边缘设备上。使用y_pred检测分类头代替EfficientNet-B0网络Con2D+GlobalAveragePooling2D+Dense分类头；
3.特征提取过程中引入深度可分离卷积和通道注意力机制的逆残差结构，在扩大感受野的同时保留更多浅层特征；
4.引入多尺度特征融合模块，避免伴随着网络深度的增加带来的特征丢失现象。
附图说明
图1为本发明的流程图。
图2为本发明的目标检测网络示意图。
具体实施方式
本发明针对无人机所拍配电网设备图像，主要针对移动终端、嵌入式无人机设备因硬件资源和算力的限制，很难运行复杂的深度学习网络模型，小目标配电网设备随着网络加深特征消失，分类检测头识别效果差的问题，提出一种基于树莓派的多尺度特征融合配电网设备识别方法，其中识别的配电网设备主要包括变压器、刀闸、熔断器。
参照图1和图2，本发明的一种基于树莓派的多尺度特征融合配电网设备识别方法，包括如下步骤：
步骤S1、获取初始样本数据集；将采集的变压器、刀闸、熔断器图像进行人工标注分类，变压器、刀闸、熔断器图像各100幅，然后进行变换扩增作为初始样本数据集；
步骤S2、构建由EfficientNe-B0主干网络、多尺度特征融合模块、回归分类预测头构成的目标检测网络；
所述EfficientNe-B0主干网络由一个CBL模块和7个Block模块组成，7个Block模块依次为Block1模块、Block2模块、Block3模块、Block4模块、Block5模块、Block6模块、Block7模块；
回归分类预测头采用y_pred检测分类头，分别为y_pred1检测分类头、y_pred2检测分类头、y_pred3检测分类头；
多尺度特征融合模块包括四条融合路径，第一条融合路径包括CBL1模块和Conv1层，CBL1模块获取Block7输出的特征图，CBL1模块处理后的特征图进入Conv1层卷积后进入y_pred1检测分类头；
第二条融合路径包括concat1层、CBL2模块和Conv2层；concat1层获取Block5模块输出的特征图并通过上采样获取CBL1模块处理后的特征图进行融合，融合后的融合特征图由CBL2模块处理，CBL2模块处理后的融合特征图进入Conv2层卷积后进入y_pred2检测分类头；
第三条融合路径包括concat2层、CBL3模块和Conv3层；concat2层获取Block3模块输出的特征图并通过上采样获取CBL2模块处理后的特征图进行融合，融合后的融合特征图由CBL3模块处理，CBL3模块处理后的融合特征图进入Conv3层卷积后进入y_pred3检测分类头；
第四条融合路径包括concat3层、CBL4模块，concat3层获取Block2模块输出的特征图并通过上采样获取CBL3模块处理后的特征图进行融合，融合后的融合特征图由CBL4模块处理，CBL4模块通过下采样连接CBL3模块；
步骤S3、以初始样本数据集作为训练样本，训练目标检测网络：由EfficientNe-B0主干网络进行特征提取，多尺度特征融合模块进行多尺度特征融合，输出三幅融合特征图，这三幅融合特征图进入y_pred检测分类头识别；
步骤S4、使用训练后的目标检测网络检测巡检图片：由EfficientNe-B0主干网络进行特征提取，多尺度特征融合模块进行多尺度特征融合，输出三幅融合特征图，这三幅融合特征图进入y_pred检测分类头识别，得到识别结果。
本发明中，通过普通卷积（Conv）、正则化(BN)、Leaky relu激活函数构建CBL模块（CBL = conv+BN+LeakyRelu），其中多尺度特征融合模块包括CBL1、CBL2、CBL3、CBL4。CBL模块、CBL1模块、CBL2模块、CBL3模块、CBL4模块的结构均为Conv+BN+Leaky relu。
本发明中，所述Block1模块包括1个MBConv1Block模块，卷积核大小为3×3、步距为2×2；所述Block2模块包括2个MBConv6Block模块，卷积核大小为3×3、步距为2×2；所述Block3模块包括2个MBConv6Block模块，卷积核大小为5×5、步距为2×2；所述Block4模块包括3个MBConv6Block模块，卷积核大小为3×3、步距为2×2；所述Block5模块包括3个MBConv6Block模块，卷积核大小为5×5、步距为2×2；所述Block6模块包括4个MBConv6Block模块，卷积核大小为5×5、步距为2×2；所述Block7模块包括1个MBConv6Block模块，卷积核大小为3×3、步距为1×1；所述MBConv6Block模块进行深度可分离卷积。MBConv6Block模块其实就是MobileNetV3网络中的深度可分离卷积。每个MBConv后会跟一个数字1或6，这里的1或6就是倍率因子n即MBConv中第一个1×1的卷积层会将输入特征矩阵的特征通道数扩充为n倍。设计思路是倒残差（Inverted residuals）结构和残差结构，在3×3或者5×5网络结构前利用1×1卷积升维，在3×3或者5×5网络结构后增加了一个关于通道注意力机制，最后利用1×1卷积降维。在特征提取过程中引入深度可分离卷积和通道注意力机制的逆大残差结构，在扩大感受野的同时保留更多浅层特征。
MBConv6Block模块首先利用Conv2D(1×1)卷积升维，再使用DepthwiseConv2D(3×3或5×5)逐层卷积进行跨特征点的特征提取。完成特征提取后上面添加一个通道注意力机制SENet，最后利用Conv2D(1×1)卷积降维，底下为残差边，不进行处理。
深度可分离卷积在EfficientNe-B0主干网络中的MBConv6Block模块进行，所述深度可分离卷积包括空间维度的深度卷积和特征通道维度的逐点卷积两个部分。与标准卷积相比，深度可分离卷积的执行次数少，更加高效。
本发明中，通道注意力机制的逆残差结构主要作用在 Block模块，在3×3或者5×5网络结构前利用1×1卷积升维，在3×3或者5×5网络结构后增加了一个关于SENet通道注意力机制的残差边。SENet通道注意力机制由压缩池化、激励、特征重标定操作组成。
压缩池化：顺着空间维度来进行特征压缩，将每个二维的特征通道变成一个实数，这个实数某种程度上具有全局的感受野，并且输出的维度和输入的特征通道数相匹配，这个实数表征着在特征通道上响应的全局分布，而且使得靠近输入的层也可以获得全局的感受野。具体操作就是对特征图 W×H×C（W、H、C分别代表特征图高、宽和特征通道数量）进行全局平均池化，得到了一个 1×1×C 大小的特征图，这个特征图具有全局感受野。
激励是将1×1×C 大小的特征经过两个全连接神经网络，最后用一个类似于循环神经网络的机制来为每个特征通道生成权重。
特征重标定操作：将各特征通道权重值与对应特征通道的二维矩阵相乘加权的C维特征通道上，作为下一级的输入数据；以便实现重要的特征增强，不重要的特征减弱 ，从而让提取的特征图指向性更强。
通道注意力机制通过损失去学习特征权重，获取到每幅特征图的重要程度，然后用这个重要程度去给每一个特征通道赋予一个权重值，从而让神经网络去重点关注权重值大的特征图，使目标检测网络达到更好的效果。
传统的EfficientNet-B0的主干网络由一个Stem + 16个Blocks + Con2D +GlobalAveragePooling2D + Dense组成，总共分成了9个阶段，第一个阶段就是一个卷积核大小为3×3步距为2的普通卷积层（包含正则化和激活函数），阶段2～阶段8都是在重复堆叠MBConv结构，而阶段9由一个普通的1×1的卷积层、一个平均池化层和一个全连接层组成，其核心内容是16个移动翻转瓶颈卷积模块，其它的结构与常规的卷积神经网络差距不大。本发明使用y_pred检测分类头代替EfficientNet-B0网络Con2D+GlobalAveragePooling2D+Dense分类头。
本发明中，向目标检测网络输入调整处理大小为M × N 图片, EfficientNe-B0主干网络进行特征提取是指：经EfficientNet-B0主干网络不断地卷积生成7幅特征图，伴随着网络层数的增加，带来的特征丢失现象。
本发明中，多尺度特征融合选取Block2模块、 Block3模块、 Block5模块、 Block7模块输出的四幅特征图进行多尺度特征融合堆叠，尽可能的保留浅层特征。Block2模块、Block3模块由于卷积次数比较少下采样倍数小（浅层特征层），特征图感受野小，小尺度特征分辨率信息足，适合处理小目标，所以适合检测刀闸、熔断器。Block5模块、 Block7模块由于卷积次数比较多下采样倍数大（深层特征层），大尺度特征分辨率信息足适合处理大目标，所以适合检测变压器。通过多尺度特征融合可以在速度和准确率之间进行权衡，可以通过它获得更加鲁棒的语义信息。保留小目标的语义特征，提升小目标刀闸、熔断器的检测效果。
回归分类预测头采用y_pred检测分类头，主要原因是Con2D+GlobalAveragePooling2D+Dense分类头检测小目标刀闸、熔断器效果比较差，采用y_pred检测分类头检测精度高且网络更加轻量化。y_pred检测分类头是一次3×3卷积加上一次1×1卷积，3×3卷积的作用是特征整合，1×1卷积的作用是调整特征通道数。其借鉴了FPN(feature pyramid networks)设计思想，采用多尺度来对不同size的目标进行检测，越精细的grid cell就可以检测出越精细的物体。y_pred3检测分类头,y_pred2检测分类头和y_pred1检测分类头的通道深度都是255，边长的规律比是13:26:52，y_pred3检测分类头、y_pred2检测分类头用来识别小目标刀闸与熔断器，y_pred1检测分类头用来识别变压器。
本发明中，y_pred检测分类头识别过程为：每幅融合特征图都进入y_pred检测分类头生成预测框，三个 y_pred检测分类头生成的预测框是相同的，每个y_pred检测分类头设有3个不同尺寸的先验框，y_pred3检测分类头的3个先验框的尺寸对应刀闸的3种尺寸，y_pred2检测分类头的3个先验框的尺寸对应熔断器的3种尺寸，y_pred1检测分类头的3个先验框的尺寸对应变压器的3种尺寸，将预测框与9个先验框进行尺寸比对，选择尺寸偏差最小的先验框所在的类作为输出，判断特征图是属于刀闸、熔断器、变压器中的哪一种，输出真实框作为识别结果；所述先验框是对初始样本数据集进行k-means聚类得到的，将配电网设备的巡检图片分为刀闸、熔断器、变压器3类，每类巡检图片聚类得到3个不同尺寸的先验框；每次输出的真实框补充到初始样本数据集进行下一次k-means聚类。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于树莓派的多尺度特征融合配电网设备识别方法，其特征在于，包括如下步骤：
步骤S1、获取初始样本数据集；
步骤S2、构建由EfficientNe-B0主干网络、多尺度特征融合模块、回归分类预测头构成的目标检测网络；
所述EfficientNe-B0主干网络由一个CBL模块和7个Block模块组成，7个Block模块依次为Block1模块、Block2模块、Block3模块、Block4模块、Block5模块、Block6模块、Block7模块 ；
回归分类预测头采用y_pred检测分类头，分别为y_pred1检测分类头、y_pred2检测分类头、y_pred3检测分类头；
多尺度特征融合模块包括四条融合路径，第一条融合路径包括CBL1模块和Conv1层，CBL1模块获取Block7输出的特征图，CBL1模块处理后的特征图进入Conv1层卷积后进入y_pred1检测分类头；
第二条融合路径包括concat1层、CBL2模块和Conv2层；concat1层获取Block5模块输出的特征图并通过上采样获取CBL1模块处理后的特征图进行融合，融合后的融合特征图由CBL2模块处理，CBL2模块处理后的融合特征图进入Conv2层卷积后进入y_pred2检测分类头；
第三条融合路径包括concat2层、CBL3模块和Conv3层；concat2层获取Block3模块输出的特征图并通过上采样获取CBL2模块处理后的特征图进行融合，融合后的融合特征图由CBL3模块处理，CBL3模块处理后的融合特征图进入Conv3层卷积后进入y_pred3检测分类头；
第四条融合路径包括concat3层、CBL4模块，concat3层获取Block2模块输出的特征图并通过上采样获取CBL3模块处理后的特征图进行融合，融合后的融合特征图由CBL4模块处理，CBL4模块通过下采样连接CBL3模块；
步骤S3、以初始样本数据集作为训练样本，训练目标检测网络：由EfficientNe-B0主干网络进行特征提取，多尺度特征融合模块进行多尺度特征融合，输出三幅融合特征图，这三幅融合特征图进入y_pred检测分类头识别；
步骤S4、使用训练后的目标检测网络检测巡检图片：由EfficientNe-B0主干网络进行特征提取，多尺度特征融合模块进行多尺度特征融合，输出三幅融合特征图，这三幅融合特征图进入y_pred检测分类头识别，得到识别结果。
2.根据权利要求1所述的基于树莓派的多尺度特征融合配电网设备识别方法，其特征在于，所述Block1模块包括1个MBConv1Block模块，卷积核大小为3×3、步距为2×2；所述Block2模块包括2个MBConv6Block模块，卷积核大小为3×3、步距为2×2；所述Block3模块包括2个MBConv6Block模块，卷积核大小为5×5、步距为2×2；所述Block4模块包括3个MBConv6Block模块，卷积核大小为3×3、步距为2×2；所述Block5模块包括3个MBConv6Block模块，卷积核大小为5×5、步距为2×2；所述Block6模块包括4个MBConv6Block模块，卷积核大小为5×5、步距为2×2；所述Block7模块包括1个MBConv6Block模块，卷积核大小为3×3、步距为1×1；所述MBConv6Block模块进行深度可分离卷积。
3.根据权利要求2所述的基于树莓派的多尺度特征融合配电网设备识别方法，其特征在于，特征提取过程中引入深度可分离卷积和通道注意力机制的逆大残差结构，在3×3或者5×5网络结构前利用1×1卷积升维，在3×3或者5×5网络结构后增加了一个SENet通道注意力机制，最后利用1×1卷积降维。
4.根据权利要求2所述的基于树莓派的多尺度特征融合配电网设备识别方法，其特征在于，深度可分离卷积在EfficientNe-B0主干网络中的MBConv6Block模块进行，所述深度可分离卷积包括空间维度的深度卷积和通道维度的逐点卷积两个部分。
5.根据权利要求1所述的基于树莓派的多尺度特征融合配电网设备识别方法，其特征在于，所述EfficientNe-B0主干网络进行特征提取是指：经EfficientNet-B0主干网络不断地卷积生成7幅特征图。
6.根据权利要求1所述的基于树莓派的多尺度特征融合配电网设备识别方法，其特征在于，多尺度特征融合选取Block2模块、 Block3模块、 Block5模块、 Block7模块输出的四幅特征图进行多尺度特征融合堆叠，保留浅层特征。
7.根据权利要求1所述的基于树莓派的多尺度特征融合配电网设备识别方法，其特征在于，y_pred3检测分类头,y_pred2检测分类头和y_pred1检测分类头的通道深度都是255，边长的规律比是13:26:52，y_pred3检测分类头、y_pred2检测分类头用来识别小目标刀闸与熔断器，y_pred1检测分类头用来识别变压器。
8.根据权利要求7所述的基于树莓派的多尺度特征融合配电网设备识别方法，其特征在于，y_pred检测分类头识别过程为：每幅融合特征图都进入y_pred检测分类头生成预测框，三个 y_pred检测分类头生成的预测框是相同的，每个y_pred检测分类头设有3个不同尺寸的先验框，y_pred3检测分类头的3个先验框的尺寸对应刀闸的3种尺寸，y_pred2检测分类头的3个先验框的尺寸对应熔断器的3种尺寸，y_pred1检测分类头的3个先验框的尺寸对应变压器的3种尺寸，将预测框与9个先验框进行尺寸比对，选择尺寸偏差最小的先验框所在的类作为输出，判断特征图是属于刀闸、熔断器、变压器中的哪一种，输出真实框作为识别结果；所述先验框是对初始样本数据集进行k-means聚类得到的，将配电网设备的巡检图片分为刀闸、熔断器、变压器3类，每类巡检图片聚类得到3个不同尺寸的先验框；每次输出的真实框补充到初始样本数据集进行下一次k-means聚类。
CN202210381347.XA 2022-04-13 2022-04-13 基于树莓派的多尺度特征融合配电网设备识别方法 Active CN114462555B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210381347.XA CN114462555B (zh) 2022-04-13 2022-04-13 基于树莓派的多尺度特征融合配电网设备识别方法
US17/952,690 US11631238B1 (en) 2022-04-13 2022-09-26 Method for recognizing distribution network equipment based on raspberry pi multi-scale feature fusion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210381347.XA CN114462555B (zh) 2022-04-13 2022-04-13 基于树莓派的多尺度特征融合配电网设备识别方法

Publications (2)

Publication Number Publication Date
CN114462555A true CN114462555A (zh) 2022-05-10
CN114462555B CN114462555B (zh) 2022-08-16

Family

ID=81418486

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210381347.XA Active CN114462555B (zh) 2022-04-13 2022-04-13 基于树莓派的多尺度特征融合配电网设备识别方法

Country Status (2)

Country Link
US (1) US11631238B1 (zh)
CN (1) CN114462555B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861861A (zh) * 2023-02-27 2023-03-28 国网江西省电力有限公司电力科学研究院 一种基于无人机配电线路巡检的轻量级验收方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116452936B (zh) * 2023-04-22 2023-09-29 安徽大学 融合光学和sar影像多模态信息的旋转目标检测方法
CN116342894B (zh) * 2023-05-29 2023-08-08 南昌工程学院 基于改进YOLOv5的GIS红外特征识别系统及方法
CN116576405B (zh) * 2023-07-12 2023-10-31 上海电机学院 一种风管泄漏信号检测方法及系统
CN117095158B (zh) * 2023-08-23 2024-04-26 广东工业大学 一种基于多尺度分解卷积的太赫兹图像危险品检测方法
CN117523428B (zh) * 2023-11-08 2024-03-29 中国人民解放军军事科学院系统工程研究院 基于飞行器平台的地面目标检测方法和装置
CN117238298B (zh) * 2023-11-13 2024-02-06 四川师范大学 一种基于声音事件的动物识别与定位方法及系统

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764072A (zh) * 2018-05-14 2018-11-06 浙江工业大学 一种基于多尺度融合的血细胞亚型图像分类方法
CN110084292A (zh) * 2019-04-18 2019-08-02 江南大学 基于DenseNet和多尺度特征融合的目标检测方法
CN110287849A (zh) * 2019-06-20 2019-09-27 北京工业大学 一种适用于树莓派的轻量化深度网络图像目标检测方法
CN111914937A (zh) * 2020-08-05 2020-11-10 湖北工业大学 一种轻量化改进目标检测方法及检测系统
CN112150821A (zh) * 2020-10-14 2020-12-29 清华大学 轻量化车辆检测模型构建方法、系统及装置
CN112183203A (zh) * 2020-08-26 2021-01-05 北京工业大学 一种基于多尺度像素特征融合的实时交通标志检测方法
CN112464765A (zh) * 2020-09-10 2021-03-09 天津师范大学 一种基于单像素特征放大的安全帽检测算法及其应用
CN112861915A (zh) * 2021-01-13 2021-05-28 北京航空航天大学 一种基于高级语义特征无锚框非合作目标检测方法
CN113158829A (zh) * 2021-03-31 2021-07-23 安徽大学 一种基于EfficientDet网络的深度学习矿石大小测量方法及预警系统
CN113538387A (zh) * 2021-07-23 2021-10-22 广东电网有限责任公司 基于深度卷积神经网络的多尺度巡检图像识别方法及装置
CN113569672A (zh) * 2021-07-16 2021-10-29 国网电力科学研究院有限公司 轻量级目标检测与故障识别方法、装置及系统
CN113705478A (zh) * 2021-08-31 2021-11-26 中国林业科学研究院资源信息研究所 一种基于改进YOLOv5的红树林单木目标检测方法
CN113780211A (zh) * 2021-09-16 2021-12-10 河北工程大学 一种基于改进型Yolov4-tiny的轻量级飞机检测方法
CN114240878A (zh) * 2021-12-16 2022-03-25 国网河南省电力公司电力科学研究院 面向巡检场景的绝缘子缺陷检测神经网络构建与优化方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275759B (zh) * 2020-01-16 2022-09-02 国网江苏省电力有限公司 基于无人机双光影像融合的变电站刀闸温度检测方法
CN113705763B (zh) * 2020-05-20 2024-02-20 贵州电网有限责任公司 一种基于神经计算棒的配网变压器实时检测方法及系统
CN111723705A (zh) * 2020-06-09 2020-09-29 杭州古德微机器人有限公司 基于树莓派的厢式货车运输管理控制方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764072A (zh) * 2018-05-14 2018-11-06 浙江工业大学 一种基于多尺度融合的血细胞亚型图像分类方法
CN110084292A (zh) * 2019-04-18 2019-08-02 江南大学 基于DenseNet和多尺度特征融合的目标检测方法
CN110287849A (zh) * 2019-06-20 2019-09-27 北京工业大学 一种适用于树莓派的轻量化深度网络图像目标检测方法
CN111914937A (zh) * 2020-08-05 2020-11-10 湖北工业大学 一种轻量化改进目标检测方法及检测系统
CN112183203A (zh) * 2020-08-26 2021-01-05 北京工业大学 一种基于多尺度像素特征融合的实时交通标志检测方法
CN112464765A (zh) * 2020-09-10 2021-03-09 天津师范大学 一种基于单像素特征放大的安全帽检测算法及其应用
CN112150821A (zh) * 2020-10-14 2020-12-29 清华大学 轻量化车辆检测模型构建方法、系统及装置
CN112861915A (zh) * 2021-01-13 2021-05-28 北京航空航天大学 一种基于高级语义特征无锚框非合作目标检测方法
CN113158829A (zh) * 2021-03-31 2021-07-23 安徽大学 一种基于EfficientDet网络的深度学习矿石大小测量方法及预警系统
CN113569672A (zh) * 2021-07-16 2021-10-29 国网电力科学研究院有限公司 轻量级目标检测与故障识别方法、装置及系统
CN113538387A (zh) * 2021-07-23 2021-10-22 广东电网有限责任公司 基于深度卷积神经网络的多尺度巡检图像识别方法及装置
CN113705478A (zh) * 2021-08-31 2021-11-26 中国林业科学研究院资源信息研究所 一种基于改进YOLOv5的红树林单木目标检测方法
CN113780211A (zh) * 2021-09-16 2021-12-10 河北工程大学 一种基于改进型Yolov4-tiny的轻量级飞机检测方法
CN114240878A (zh) * 2021-12-16 2022-03-25 国网河南省电力公司电力科学研究院 面向巡检场景的绝缘子缺陷检测神经网络构建与优化方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MOHAMAD HANIFF JUNOS等: "Automated object detection on aerial images for limited capacity embedded device using a lightweight CNN model", 《ALEXANDRIA ENGINEERING JOURNAL》 *
RUINAN WU等: "Flame and Smoke Detection Algorithm for UAV Based on Improved YOLOv4-Tiny", 《PACIFIC RIM INTERNATIONAL CONFERENCE ON ARTIFICIAL INTELLIGENCE》 *
吴杰: "基于卷积神经网络的轻量化目标识别算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861861A (zh) * 2023-02-27 2023-03-28 国网江西省电力有限公司电力科学研究院 一种基于无人机配电线路巡检的轻量级验收方法
CN115861861B (zh) * 2023-02-27 2023-06-16 国网江西省电力有限公司电力科学研究院 一种基于无人机配电线路巡检的轻量级验收方法

Also Published As

Publication number Publication date
CN114462555B (zh) 2022-08-16
US11631238B1 (en) 2023-04-18

Similar Documents

Publication Publication Date Title
CN114462555B (zh) 基于树莓派的多尺度特征融合配电网设备识别方法
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN109993220B (zh) 基于双路注意力融合神经网络的多源遥感图像分类方法
CN110738146B (zh) 一种目标重识别神经网络及其构建方法和应用
CN114445706A (zh) 一种基于特征融合的输电线路目标检测与识别方法
CN113569667A (zh) 基于轻量级神经网络模型的内河船舶目标识别方法及系统
CN111291826A (zh) 基于相关性融合网络的多源遥感图像的逐像素分类方法
CN112766378B (zh) 一种专注细粒度识别的跨域小样本图像分类模型方法
CN112837315A (zh) 一种基于深度学习的输电线路绝缘子缺陷检测方法
CN114463759A (zh) 一种基于无锚框算法的轻量化文字检测方法及装置
CN115410087A (zh) 一种基于改进YOLOv4的输电线路异物检测方法
CN112464704A (zh) 一种基于特征融合与旋转目标检测器的遥感图像识别方法
CN114677357A (zh) 航拍绝缘子自爆缺陷的检测模型、方法、设备及存储介质
Li et al. Fire flame image detection based on transfer learning
CN115861861B (zh) 一种基于无人机配电线路巡检的轻量级验收方法
CN115953408B (zh) 一种基于YOLOv7的避雷器表面缺陷检测方法
CN105488099B (zh) 一种基于相似度学习的车辆检索方法
Chaturvedi et al. Small object detection using retinanet with hybrid anchor box hyper tuning using interface of Bayesian mathematics
CN116152633A (zh) 一种基于空间特征表示的目标检测网络的检测方法和系统
CN116402761A (zh) 一种基于双通道多尺度注意力机制的光伏板裂缝检测方法
CN114299354A (zh) 一种基于旋转框识别网络的绝缘子检测定位方法
CN114926667A (zh) 基于云边端协同的图像识别方法
CN115393802A (zh) 一种基于小样本学习的铁路场景不常见入侵目标识别方法
Yang et al. Road Damage Detection and Classification Based on Multi-Scale Contextual Features
Liu et al. Text detection based on bidirectional feature fusion and sa attention mechanism

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 330096 No. 88, Minqiang Road, private science and Technology Park, Qingshanhu District, Nanchang City, Jiangxi Province

Applicant after: STATE GRID JIANGXI ELECTRIC POWER COMPANY LIMITED Research Institute

Applicant after: STATE GRID CORPORATION OF CHINA

Applicant after: Jiangxi Normal University

Address before: 330096 No.88 Minqiang Road, private science and Technology Park, high tech Zone, Nanchang City, Jiangxi Province

Applicant before: STATE GRID JIANGXI ELECTRIC POWER COMPANY LIMITED Research Institute

Applicant before: STATE GRID CORPORATION OF CHINA

Applicant before: Jiangxi Normal University

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant