CN115311223A - 一种多尺度融合的电网智能巡检方法及装置 - Google Patents

一种多尺度融合的电网智能巡检方法及装置 Download PDF

Info

Publication number
CN115311223A
CN115311223A CN202210930261.8A CN202210930261A CN115311223A CN 115311223 A CN115311223 A CN 115311223A CN 202210930261 A CN202210930261 A CN 202210930261A CN 115311223 A CN115311223 A CN 115311223A
Authority
CN
China
Prior art keywords
feature
module
feature map
image
small target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210930261.8A
Other languages
English (en)
Inventor
黄新宇
高嵩
邱刚
张廼龙
谭笑
陈杰
刘建军
杨景刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Research Institute of State Grid Jiangsu Electric Power Co Ltd
Original Assignee
Electric Power Research Institute of State Grid Jiangsu Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Power Research Institute of State Grid Jiangsu Electric Power Co Ltd filed Critical Electric Power Research Institute of State Grid Jiangsu Electric Power Co Ltd
Priority to CN202210930261.8A priority Critical patent/CN115311223A/zh
Publication of CN115311223A publication Critical patent/CN115311223A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种多尺度融合的电网智能巡检方法及装置，将标注后的电力设备小目标图像作为训练图像，将训练图像组成训练样本。利用训练样本迭代训练小目标检测模型，得到训练后的小目标检测模型。将待检测图像输入训练后的小目标检测模型，得到待检测图像的目标检测结果。本发明提供的一种多尺度融合的电网智能巡检方法及装置，通过注意机制和多尺度特征融合模块提取到更多的图像特征，解决了小目标不容易检测的问题，具有更好的检测效果。

Description

一种多尺度融合的电网智能巡检方法及装置
技术领域
本发明涉及一种多尺度融合的电网智能巡检方法及装置，属于图像处理技术领域。
背景技术
传统的电力巡检工作主要依靠人工完成，需要大量人力物力，且实时性较差。而且对于巡检人员而言，巡检环境艰苦、巡检劳动强度较大，此外，有一定的危险性。随着人工智能和机器视觉技术的快速发展，智能巡检代替人工巡检以实现对隐患区域的实时监控的需求日益强烈。
电网智能巡检的关键是对电力设备作为目标进行识别，目标识别是机器视觉中的重要研究领域。其旨在识别和定位图像中感兴趣的目标，并判断出目标的情况。目前，目标识别得到了广泛的应用，例如自动驾驶汽车、智能检测和人脸识别。基于目标识别的智能巡检主要包括获取图像、图像预处理，图像特征提取，特征匹配，识别结果输出等过程，通过计算机视觉技术实现对电力设备的异物或异常情况进行检测。
然而，现有电网智能巡检技术中对于电力设备中如销钉缺损存、绝缘子破损等小目标缺陷识别并不理想，如何提高电网系统中小目标的识别准确性是本领域技术人员急需要解决的问题。
发明内容
目的：为了克服现有技术中存在的不足，本发明提供一种多尺度融合的电网智能巡检方法及装置。
技术方案：为解决上述技术问题，本发明采用的技术方案为：
第一方面，一种多尺度融合的电网智能巡检方法，包括如下步骤：
将标注后的电力设备小目标图像作为训练图像，将训练图像组成训练样本。小目标图像指大型电力设备中体积小的部件。
利用训练样本迭代训练小目标检测模型，得到训练后的小目标检测模型。所述小目标检测模型通过特征提取网络、注意机制和特征融合网络对输入的小目标图像进行特征图提取，再将特征图输入预测网络获取小目标图像的检测结果。
将待检测图像输入训练后的小目标检测模型，得到待检测图像的目标检测结果。
作为优选方案，将标注后的电力设备小目标图像作为训练图像，将训练图像组成训练样本，包括：
获取电力设备小目标图像，或者从采集视频中提取电力设备小目标图像，采用标注工具标注电力设备小目标图像中的待检测目标，对已标注的电力设备小目标图像进行预处理，得到训练图像，将训练图像收集在训练样本。
作为优选方案，所述小目标检测模型包括：主干特征提取网络CSPDarknet53、注意机制模块、多尺度特征融合网络和预测网络。输入图像通过CSPDarknet53的CSPRes1模块提取到特征图F1，将特征图F1输入到第一注意机制模块，第一注意机制模块的输出与特征图F1相融合得到特征图F1′。将特征图F1′输入到CSPDarknet53的CSPRes2模块提取到特征图F2，将特征图F2输入到第二注意机制模块，第二注意机制模块的输出与特征图F2相融合得到特征图F2′。将特征图F2′输入到CSPDarknet53的其余特征提取模块输出最终的特征图F。最终的特征图F输入到多尺度特征融合网络，输出特征图FB′、FC′、FD′、FE′。特征图FB′、FC′、FD′、FE′输入到预测网络，输出目标检测结果。
作为优选方案，CSPRes1模块代表1个Res_unit单元模块，输出大小为304×304的特征图。CSPRes2模块代表2个Res_unit单元模块级联组成，输出大小为152×152的特征图。其余特征提取模块为依次相连的CSPResn模块，n分别取3、4、5，CSPRes3模块代表3个Res_unit单元模块级联组成，输出大小为76×76的特征图。CSPRes4模块代表4个Res_unit单元模块级联组成，输出大小为38×38的特征图。CSPRes5模块代表5个Res_unit单元模块级联组成，输出大小为19×19的特征图。
作为优选方案，第一注意机制模块、第二注意机制模块输出公式如下：
Figure BDA0003779485380000021
其中，Aba为主干分支输出，Abr为分支输出，softmax(*)概率分布函数，T为注意力重新校准权重。
F1′＝[F1:F1·T]
其中：F1′表示第一次融合后的特征，[:]表示融合操作。
F2′＝[F2:F2·T]
其中：F2′表示第二次融合后的特征，[:]表示融合操作。
作为优选方案，多尺度特征融合网络包括：
对最终的特征图F分别输入特征缩放层，得到特征图FB、FC、FD、FE。
FB＝C0(F)
FC＝C2(F)
FD＝C4(F)
FE＝C8(F)
其中，Cn(*)表示特征缩放操作，n表示缩放率，F表示最终的特征图，FB表示不缩放的特征图，FC表示缩放率为2的特征图，FD表示缩放率为4的特征图，FE表示缩放率为8的特征图。
将压缩后特征图FB、FC、FD、FE分别输入特征融合层，输出特征图FB′、FC′、FD′、FE′。
Figure BDA0003779485380000031
Figure BDA0003779485380000032
Figure BDA0003779485380000033
FE′＝ATT8(FE)
其中：
Figure BDA0003779485380000034
表示特征图通道一致性操作，ATTn(*)表示在压缩率为n的特征的注意机制特征融合操作。
作为优选方案，预测网络包括：
将特征图FB′、FC′、FD′、FE′输入到回归层和分类层，在回归层会产生候选框的坐标，同时分类层计算候选框的置信度，取置信度最大的候选框作为目标检测结果。
第二方面，一种多尺度融合的电网智能巡检装置，包括如下模块：
图像处理模块：用于将标注后的电力设备小目标图像作为训练图像，将训练图像组成训练样本。
模型训练模块：用于利用训练样本迭代训练小目标检测模型，得到训练后的小目标检测模型。所述小目标检测模型通过特征提取网络、注意机制和特征融合网络对输入的小目标图像进行特征图提取，再将特征图输入预测网络获取小目标图像的检测结果。
目标检测模块：用于将待检测图像输入训练后的小目标检测模型，得到待检测图像的目标检测结果。
作为优选方案，图像处理模块，包括：
获取电力设备小目标图像，或者从采集视频中提取电力设备小目标图像，采用标注工具标注电力设备小目标图像中的待检测目标，对已标注的电力设备小目标图像进行预处理，得到训练图像，将训练图像收集在训练样本。
作为优选方案，所述小目标检测模型包括：主干特征提取网络CSPDarknet53、注意机制模块、多尺度特征融合网络和预测网络。输入图像通过CSPDarknet53的CSPRes1模块提取到特征图F1，将特征图F1输入到第一注意机制模块，第一注意机制模块的输出与特征图F1相融合得到特征图F1′。将特征图F1′输入到CSPDarknet53的CSPRes2模块提取到特征图F2，将特征图F2输入到第二注意机制模块，第二注意机制模块的输出与特征图F2相融合得到特征图F2′。将特征图F2′输入到CSPDarknet53的其余特征提取模块输出最终的特征图F。最终的特征图F输入到多尺度特征融合网络，输出特征图FB′、FC′、FD′、FE′。特征图FB′、FC′、FD′、FE′输入到预测网络，输出目标检测结果。
作为优选方案，CSPRes1模块代表1个Res_unit单元模块，输出大小为304×304的特征图。CSPRes2模块代表2个Res_unit单元模块级联组成，输出大小为152×152的特征图。其余特征提取模块为依次相连的CSPResn模块，n分别取3、4、5，CSPRes3模块代表3个Res_unit单元模块级联组成，输出大小为76×76的特征图。CSPRes4模块代表4个Res_unit单元模块级联组成，输出大小为38×38的特征图。CSPRes5模块代表5个Res_unit单元模块级联组成，输出大小为19×19的特征图。
作为优选方案，第一注意机制模块、第二注意机制模块输出公式如下：
Figure BDA0003779485380000051
其中，Aba为主干分支输出，Abr为分支输出，softmax(*)概率分布函数，T为注意力重新校准权重。
F1′＝[F1:F1·T]
其中：F1′表示第一次融合后的特征，[:]表示融合操作。
F2′＝[F2:F2·T]
其中：F2′表示第二次融合后的特征，[:]表示融合操作。
作为优选方案，多尺度特征融合网络包括：
对最终的特征图F分别输入特征缩放层，得到特征图FB、FC、FD、FE。
FB＝C0(F)
FC＝C2(F)
FD＝C4(F)
FE＝C8(F)
其中，Cn(*)表示特征缩放操作，n表示缩放率，F表示最终的特征图，FB表示不缩放的特征图，FC表示缩放率为2的特征图，FD表示缩放率为4的特征图，FE表示缩放率为8的特征图。
将压缩后特征图FB、FC、FD、FE分别输入特征融合层，输出特征图FB′、FC′、FD′、FE′。
Figure BDA0003779485380000052
Figure BDA0003779485380000053
Figure BDA0003779485380000054
FE′＝ATT8(FE)
其中：
Figure BDA0003779485380000055
表示特征图通道一致性操作，ATTn(*)表示在压缩率为n的特征的注意机制特征融合操作。
作为优选方案，预测网络包括：
将特征图FB′、FC′、FD′、FE′输入到回归层和分类层，在回归层会产生候选框的坐标，同时分类层计算候选框的置信度，取置信度最大的候选框作为目标检测结果。
有益效果：本发明提供的一种多尺度融合的电网智能巡检方法及装置，首先利用注意机制改进的CSPDarknet53网络，通过注意机制提高主干特征提取网络在小目标关注程度，获取小目标特征。其次，构建多尺度特征融合模块，通过多尺度信息融合获取更多的小目标特征。最后，基于多尺度特征融合模块构建电网巡检图像缺陷检测模型。
本发明通过注意机制和多尺度特征融合模块提取到更多的图像特征，解决了小目标不容易检测的问题，具有更好的检测效果。
附图说明
图1为第一实施例一种多尺度融合的电网智能巡检方法流程示意图。
图2为小目标检测模型的框架示意图。
图3为注意机制模块的框架示意图。
图4为小目标检测模型数据流示意图。
图5为第二实施例一种多尺度融合的电网智能巡检装置框架示意图。
具体实施方式
下面结合具体实施例对本发明作更进一步的说明。
基于端对端的目标检测模型存在底层细节和位置信息被忽视，小目标难以被识别检测的问题。这主要是由两个主要原因造成的：缺乏上下文信息和缺乏语义信息的浅层特征。为了更好的获得图像小目标的特征，本发明利用注意机制改进特征提取主干网络。
第一实施例：
如图1所示，第一实施例一种多尺度融合的电网智能巡检方法，包括如下步骤：
步骤一：将标注后的电力设备小目标图像作为训练图像，将训练图像组成训练样本。
步骤二：利用训练样本迭代训练小目标检测模型，得到训练后的小目标检测模型。
步骤三：将待检测图像输入训练后的小目标检测模型，得到待检测图像的目标检测结果。
优选的，步骤一：使用拍摄装置获取电力设备小目标图像，或者从采集视频中提取电力设备小目标图像，比如对采集视频每间隔30帧进行切割处理得到分辨率1920×1080电力设备小目标图像，采用标注工具标注电力设备小目标图像中的待检测目标，即小目标，采用XML格式进行保存。对已标注的电力设备小目标图像进行图像裁剪、图像翻转、图像缩放等预处理，得到训练图像，将训练图像收集在训练样本。
优选的，在步骤二中，小目标检测模型结构如图2所示，小目标检测模型可分为四个部分，分别是主干特征提取网络CSPDarknet53、注意机制模块、多尺度特征融合网络和预测网络。第一部分主干特征提取网络采用CSPDarknet53，CSPDarknet53网络是在原先的Darknet53基础上对每一个残差单元加入了Cross-Stage-Partial-connections。其卷积块是由单次卷积、标准化和Mish激活函数组成。由于CSPDarknet53网络中存在一个大的残差边，它不进行操作直接连接输出，使主干网络部分更加容易优化。注意机制模块结构如图3所示，第二部分注意机制模块它由一个主干分支和一个分支组成，主干分支包括3个卷积模块，每一个卷积模块依次包含一层Bach Nonm层，一层ReLU层和一层卷积层；分支依次包括：下采样层和上采样层，一层Bach Nonm层，两层ReLU层和卷积层以及Sigmoid层。下采样层和上采样层用来输出注意力图，再通过Sigmoid层进行最终处理。利用注意机制改进特征提取网络、同时构建多尺度模块获取更多特征以提高小目标的检测效果。第三部分多尺度特征融合网络包括特征缩放层、特征融合层，对最终的特征图进行处理后输入到预测网络。第四部分预测网络包括两个全连接层，利用更有效的特征图预测目标检测结果。
小目标检测模型数据处理流程如图4所示，输入图像通过CSPDarknet53的CSPRes1模块提取到特征图F1，将特征图F1输入到第一注意机制模块，第一注意机制模块的输出与特征图F1相融合得到特征图F1′。将特征图F1′输入到CSPDarknet53的CSPRes2模块提取到特征图F2，将特征图F2输入到第二注意机制模块，第二注意机制模块的输出与特征图F2相融合得到特征图F2′。将特征图F2′输入到CSPDarknet53的其余特征提取模块输出最终的特征图F，其余特征提取模块为依次相连的CSPResn模块，n分别取3、4、5。
CSPRes1模块代表1个Res_unit单元模块，输出大小为304×304的特征图。
CSPRes2模块代表2个Res_unit单元模块级联组成，输出大小为152×152的特征图。CSPRes3模块代表3个Res_unit单元模块级联组成，输出大小为76×76的特征图。
CSPRes4模块代表4个Res_unit单元模块级联组成，输出大小为38×38的特征图。
CSPRes5模块代表5个Res_unit单元模块级联组成，输出大小为19×19的特征图。
第一注意机制模块、第二注意机制模块输出公式如下：
Figure BDA0003779485380000081
其中，Aba为主干分支输出，Abr为分支输出，softmax(*)概率分布函数，T为注意力重新校准权重。
F1′＝[F1:F1·T]
其中：F1′表示第一次融合后的特征，[:]表示融合操作。
F2′＝[F2:F2·T]
其中：F2′表示第二次融合后的特征，[:]表示融合操作。
随着网络的加深，每一层都会丢失一些信息，到最后一层就会丢掉比较多的信息。为了解决这个问题，本发明设计了多尺度特征融合网络，将最终的特征图F输入到多尺度特征融合网络，分别输出特征图FB′、FC′、FD′、FE′。
多尺度特征融合网络计算公式如下：
分别对最终的特征图F输入特征缩放层，得到特征图FB、FC、FD、FE。
FB＝C0(F)
FC＝C2(F)
FD＝C4(F)
FE＝C8(F)
其中，Cn(*)表示特征缩放操作，n表示缩放率，F表示最终的特征图，FB表示不缩放的特征图，FC表示缩放率为2的特征图，FD表示缩放率为4的特征图，FE表示缩放率为8的特征图。
随后，将压缩后特征图FB、FC、FD、FE输入特征融合层，输出特征图FB′、FC′、FD′、FE′。
Figure BDA0003779485380000091
Figure BDA0003779485380000092
Figure BDA0003779485380000093
FE′＝ATT8(FE)
其中：
Figure BDA0003779485380000094
表示特征图通道一致性操作，ATTn(*)表示在压缩率为n的特征的注意机制特征融合操作。
将特征图FB′、FC′、FD′、FE′输入到回归层和分类层，在回归层会产生候选框的坐标，同时分类层计算候选框的置信度，将置信度阈值设定为0.5，取置信度最大的候选框作为目标检测输出。
第二实施例：
如图5所示，第二实施例一种多尺度融合的电网智能巡检装置，包括如下模块：
图像处理模块21：用于将标注后的电力设备小目标图像作为训练图像，将训练图像组成训练样本。
模型训练模块22：用于利用训练样本迭代训练小目标检测模型，得到训练后的小目标检测模型。
目标检测模块23：用于将待检测图像输入训练后的小目标检测模型，得到待检测图像的目标检测结果。
优选的，图像处理模块：使用拍摄装置获取电力设备小目标图像，或者从采集视频中提取电力设备小目标图像，比如对采集视频每间隔30帧进行切割处理得到分辨率1920×1080电力设备小目标图像，采用标注工具标注电力设备小目标图像中的待检测目标，即小目标，采用XML格式进行保存。对已标注的电力设备小目标图像进行图像裁剪、图像翻转、图像缩放等预处理，得到训练图像，将训练图像收集在训练样本。
优选的，模型训练模块中，小目标检测模型结构如图2所示，小目标检测模型可分为四个部分，分别是主干特征提取网络CSPDarknet53、注意机制模块、多尺度特征融合网络和预测网络。第一部分主干特征提取网络采用CSPDarknet53，CSPDarknet53网络是在原先的Darknet53基础上对每一个残差单元加入了Cross-Stage-Partial-connections。其卷积块是由单次卷积、标准化和Mish激活函数组成。由于CSPDarknet53网络中存在一个大的残差边，它不进行操作直接连接输出，使主干网络部分更加容易优化。注意机制模块结构如图3所示，第二部分注意机制模块它由一个主干分支和一个分支组成，主干分支包括3个卷积模块，每一个卷积模块依次包含一层Bach Nonm层，一层ReLU层和一层卷积层；分支依次包括：下采样层和上采样层，一层Bach Nonm层，两层ReLU层和卷积层以及Sigmoid层。下采样层和上采样层用来输出注意力图，再通过Sigmoid层进行最终处理。利用注意机制改进特征提取网络、同时构建多尺度模块获取更多特征以提高小目标的检测效果。第三部分多尺度特征融合网络包括特征缩放层、特征融合层，对最终的特征图进行处理后输入到预测网络。第四部分预测网络包括两个全连接层，利用更有效的特征图预测目标检测结果。
小目标检测模型数据处理流程如图4所示，输入图像通过CSPDarknet53的CSPRes1模块提取到特征图F1，将特征图F1输入到第一注意机制模块，第一注意机制模块的输出与特征图F1相融合得到特征图F1′。将特征图F1′输入到CSPDarknet53的CSPRes2模块提取到特征图F2，将特征图F2输入到第二注意机制模块，第二注意机制模块的输出与特征图F2相融合得到特征图F2′。将特征图F2′输入到CSPDarknet53的其余特征提取模块输出最终的特征图F，其余特征提取模块为依次相连的CSPResn模块，n分别取3、4、5。
CSPRes1模块代表1个Res_unit单元模块，输出大小为304×304的特征图。
CSPRes2模块代表2个Res_unit单元模块级联组成，输出大小为152×152的特征图。CSPRes3模块代表3个Res_unit单元模块级联组成，输出大小为76×76的特征图。
CSPRes4模块代表4个Res_unit单元模块级联组成，输出大小为38×38的特征图。
CSPRes5模块代表5个Res_unit单元模块级联组成，输出大小为19×19的特征图。
第一注意机制模块、第二注意机制模块输出公式如下：
Figure BDA0003779485380000111
其中，Aba为主干分支输出，Abr为分支输出，softmax(*)概率分布函数，T为注意力重新校准权重。
F1′＝[F1:F1·T]
其中：F1′表示第一次融合后的特征，[:]表示融合操作。
F2′＝[F2:F2·T]
其中：F2′表示第二次融合后的特征，[:]表示融合操作。
随着网络的加深，每一层都会丢失一些信息，到最后一层就会丢掉比较多的信息。为了解决这个问题，本发明设计了多尺度特征融合网络，将最终的特征图F输入到多尺度特征融合网络，分别输出特征图FB′、FC′、FD′、FE′。
多尺度特征融合网络计算公式如下：
分别对最终的特征图F输入特征缩放层，得到特征图FB、FC、FD、FE。
FB＝C0(F)
FC＝C2(F)
FD＝C4(F)
FE＝C8(F)
其中，Cn(*)表示特征缩放操作，n表示缩放率，F表示最终的特征图，FB表示不缩放的特征图，FC表示缩放率为2的特征图，FD表示缩放率为4的特征图，FE表示缩放率为8的特征图。
随后，将压缩后特征图FB、FC、FD、FE输入特征融合层，输出特征图FB′、FC′、FD′、FE′。
Figure BDA0003779485380000121
Figure BDA0003779485380000122
Figure BDA0003779485380000123
FE′＝ATT8(FE)
其中：
Figure BDA0003779485380000124
表示特征图通道一致性操作，ATTn(*)表示在压缩率为n的特征的注意机制特征融合操作。
将特征图FB′、FC′、FD′、FE′输入到回归层和分类层，在回归层会产生候选框的坐标，同时分类层计算候选框的置信度，将置信度阈值设定为0.5，取置信度最大的候选框作为目标检测输出。
第三实施例：
从输电线路无人机巡检图像数据集，变电站部件缺陷检测数据集和输电线路相关电力金具检测图像数据集三个不同的数据中选取5000张包括绝缘体、冲击锤和垫片等小目标在内电力设备图像进行标注，预处理进行训练样本。
利用训练样本对小目标检测模型进行训练，设置迭代次数为100epoch，前70epoch的Batchsize＝16，初始学习率为1e-3，后30epoch的Batchsize＝8初始学习率为1e-4，得到小目标检测模型的参数。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (14)

1.一种多尺度融合的电网智能巡检方法，其特征在于：包括如下步骤：
将标注后的电力设备小目标图像作为训练图像，将训练图像组成训练样本；
利用训练样本迭代训练小目标检测模型，得到训练后的小目标检测模型；所述小目标检测模型通过特征提取网络、注意机制和特征融合网络对输入的小目标图像进行特征图提取，再将特征图输入预测网络获取小目标图像的检测结果；
将待检测图像输入训练后的小目标检测模型，得到待检测图像的目标检测结果。
2.根据权利要求1所述的一种多尺度融合的电网智能巡检方法，其特征在于：将标注后的电力设备小目标图像作为训练图像，将训练图像组成训练样本，包括：获取电力设备小目标图像，或者从采集视频中提取电力设备小目标图像，采用标注工具标注电力设备小目标图像中的待检测目标，对已标注的电力设备小目标图像进行预处理，得到训练图像，将训练图像收集在训练样本。
3.根据权利要求1所述的一种多尺度融合的电网智能巡检方法，其特征在于：所述小目标检测模型包括：主干特征提取网络CSPDarknet53、注意机制模块、多尺度特征融合网络和预测网络；输入图像通过CSPDarknet53的CSPRes1模块提取到特征图F1，将特征图F1输入到第一注意机制模块，第一注意机制模块的输出与特征图F1相融合得到特征图F1′；将特征图F1′输入到CSPDarknet53的CSPRes2模块提取到特征图F2，将特征图F2输入到第二注意机制模块，第二注意机制模块的输出与特征图F2相融合得到特征图F2′；将特征图F2′输入到CSPDarknet53的其余特征提取模块输出最终的特征图F；最终的特征图F输入到多尺度特征融合网络，输出特征图FB′、FC′、FD′、FE′；特征图FB′、FC′、FD′、FE′输入到预测网络，输出目标检测结果。
4.根据权利要求3所述的一种多尺度融合的电网智能巡检方法，其特征在于：CSPRes1模块代表1个Res_unit单元模块，输出大小为304×304的特征图；CSPRes2模块代表2个Res_unit单元模块级联组成，输出大小为152×152的特征图；其余特征提取模块为依次相连的CSPResn模块，n分别取3、4、5，CSPRes3模块代表3个Res_unit单元模块级联组成，输出大小为76×76的特征图；CSPRes4模块代表4个Res_unit单元模块级联组成，输出大小为38×38的特征图；CSPRes5模块代表5个Res_unit单元模块级联组成，输出大小为19×19的特征图。
5.根据权利要求3所述的一种多尺度融合的电网智能巡检方法，其特征在于：第一注意机制模块、第二注意机制模块输出公式如下：
Figure FDA0003779485370000021
其中，Aba为主干分支输出，Abr为分支输出，softmax(*)概率分布函数，T为注意力重新校准权重；
F1′＝[F1:F1·T]
其中：F1′表示第一次融合后的特征，[:]表示融合操作；
F2′＝[F2:F2·T]
其中：F2′表示第二次融合后的特征，[:]表示融合操作。
6.根据权利要求3所述的一种多尺度融合的电网智能巡检方法，其特征在于：多尺度特征融合网络包括：
对最终的特征图F分别输入特征缩放层，得到特征图FB、FC、FD、FE；
FB＝C0(F)
FC＝C2(F)
FD＝C4(F)
FE＝C8(F)
其中，Cn(*)表示特征缩放操作，n表示缩放率，F表示最终的特征图，FB表示不缩放的特征图，FC表示缩放率为2的特征图，FD表示缩放率为4的特征图，FE表示缩放率为8的特征图；
将压缩后特征图FB、FC、FD、FE分别输入特征融合层，输出特征图FB′、FC′、FD′、FE′；
Figure FDA0003779485370000022
Figure FDA0003779485370000023
Figure FDA0003779485370000024
FE′＝ATT8(FE)
其中：
Figure FDA0003779485370000031
表示特征图通道一致性操作，ATTn(*)表示在压缩率为n的特征的注意机制特征融合操作。
7.根据权利要求3所述的一种多尺度融合的电网智能巡检方法，其特征在于：预测网络包括：
将特征图FB′、FC′、FD′、FE′输入到回归层和分类层，在回归层会产生候选框的坐标，同时分类层计算候选框的置信度，取置信度最大的候选框作为目标检测结果。
8.一种多尺度融合的电网智能巡检装置，其特征在于：包括如下模块：
图像处理模块：用于将标注后的电力设备小目标图像作为训练图像，将训练图像组成训练样本；
模型训练模块：用于利用训练样本迭代训练小目标检测模型，得到训练后的小目标检测模型；所述小目标检测模型通过特征提取网络、注意机制和特征融合网络对输入的小目标图像进行特征图提取，再将特征图输入预测网络获取小目标图像的检测结果；
目标检测模块：用于将待检测图像输入训练后的小目标检测模型，得到待检测图像的目标检测结果。
9.根据权利要求8所述的一种多尺度融合的电网智能巡检装置，其特征在于：图像处理模块，包括：
获取电力设备小目标图像，或者从采集视频中提取电力设备小目标图像，采用标注工具标注电力设备小目标图像中的待检测目标，对已标注的电力设备小目标图像进行预处理，得到训练图像，将训练图像收集在训练样本。
10.根据权利要求8所述的一种多尺度融合的电网智能巡检装置，其特征在于：所述小目标检测模型包括：主干特征提取网络CSPDarknet53、注意机制模块、多尺度特征融合网络和预测网络；输入图像通过CSPDarknet53的CSPRes1模块提取到特征图F1，将特征图F1输入到第一注意机制模块，第一注意机制模块的输出与特征图F1相融合得到特征图F1′；将特征图F1′输入到CSPDarknet53的CSPRes2模块提取到特征图F2，将特征图F2输入到第二注意机制模块，第二注意机制模块的输出与特征图F2相融合得到特征图F2′；将特征图F2′输入到CSPDarknet53的其余特征提取模块输出最终的特征图F；最终的特征图F输入到多尺度特征融合网络，输出特征图FB′、FC′、FD′、FE′；特征图FB′、FC′、FD′、FE′输入到预测网络，输出目标检测结果。
11.根据权利要求10所述的一种多尺度融合的电网智能巡检装置，其特征在于：CSPRes1模块代表1个Res_unit单元模块，输出大小为304×304的特征图；CSPRes2模块代表2个Res_unit单元模块级联组成，输出大小为152×152的特征图；其余特征提取模块为依次相连的CSPResn模块，n分别取3、4、5，CSPRes3模块代表3个Res_unit单元模块级联组成，输出大小为76×76的特征图；CSPRes4模块代表4个Res_unit单元模块级联组成，输出大小为38×38的特征图；CSPRes5模块代表5个Res_unit单元模块级联组成，输出大小为19×19的特征图。
12.根据权利要求10所述的一种多尺度融合的电网智能巡检装置，其特征在于：第一注意机制模块、第二注意机制模块输出公式如下：
Figure FDA0003779485370000041
其中，Aba为主干分支输出，Abr为分支输出，softmax(*)概率分布函数，T为注意力重新校准权重；
F1′＝[F1:F1·T]
其中：F1′表示第一次融合后的特征，[:]表示融合操作；
F2′＝[F2:F2·T]
其中：F2′表示第二次融合后的特征，[:]表示融合操作。
13.根据权利要求10所述的一种多尺度融合的电网智能巡检装置，其特征在于：多尺度特征融合网络包括：
对最终的特征图F分别输入特征缩放层，得到特征图FB、FC、FD、FE；
FB＝C0(F)
FC＝C2(F)
FD＝C4(F)
FE＝C8(F)
其中，Cn(*)表示特征缩放操作，n表示缩放率，F表示最终的特征图，FB表示不缩放的特征图，FC表示缩放率为2的特征图，FD表示缩放率为4的特征图，FE表示缩放率为8的特征图；
将压缩后特征图FB、FC、FD、FE分别输入特征融合层，输出特征图FB′、FC′、FD′、FE′；
Figure FDA0003779485370000051
Figure FDA0003779485370000052
Figure FDA0003779485370000053
FE′＝ATT8(FE)
其中：
Figure FDA0003779485370000054
表示特征图通道一致性操作，ATTn(*)表示在压缩率为n的特征的注意机制特征融合操作。
14.根据权利要求10所述的一种多尺度融合的电网智能巡检装置，其特征在于：预测网络包括：
将特征图FB′、FC′、FD′、FE′输入到回归层和分类层，在回归层会产生候选框的坐标，同时分类层计算候选框的置信度，取置信度最大的候选框作为目标检测结果。
CN202210930261.8A 2022-08-03 2022-08-03 一种多尺度融合的电网智能巡检方法及装置 Pending CN115311223A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210930261.8A CN115311223A (zh) 2022-08-03 2022-08-03 一种多尺度融合的电网智能巡检方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210930261.8A CN115311223A (zh) 2022-08-03 2022-08-03 一种多尺度融合的电网智能巡检方法及装置

Publications (1)

Publication Number Publication Date
CN115311223A true CN115311223A (zh) 2022-11-08

Family

ID=83858453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210930261.8A Pending CN115311223A (zh) 2022-08-03 2022-08-03 一种多尺度融合的电网智能巡检方法及装置

Country Status (1)

Country Link
CN (1) CN115311223A (zh)

Similar Documents

Publication Publication Date Title
CN110084165B (zh) 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法
CN111179249A (zh) 一种基于深度卷积神经网络的电力设备检测方法和装置
CN111985325B (zh) 特高压环境评价中的航拍小目标快速识别方法
CN113284144B (zh) 一种基于无人机的隧道检测方法及装置
CN111145222A (zh) 一种结合烟雾运动趋势和纹理特征的火灾检测方法
CN114155474A (zh) 基于视频语义分割算法的损伤识别技术
CN114170144A (zh) 一种输电线路销钉缺陷检测方法、设备及介质
CN110599458A (zh) 基于卷积神经网络的地下管网检测评估云系统
CN115131747A (zh) 基于知识蒸馏的输电通道工程车辆目标检测方法及系统
CN115272830A (zh) 一种基于深度学习的受电弓异物检测方法
CN113469938B (zh) 基于嵌入式前端处理服务器的管廊视频分析方法及系统
Manninen et al. Multi-stage deep learning networks for automated assessment of electricity transmission infrastructure using fly-by images
CN108764287B (zh) 基于深度学习和分组卷积的目标检测方法及系统
CN113408630A (zh) 一种变电站指示灯状态识别方法
CN115311223A (zh) 一种多尺度融合的电网智能巡检方法及装置
CN110599460A (zh) 基于混合卷积神经网络的地下管网检测评估云系统
Kumari et al. YOLOv8 Based Deep Learning Method for Potholes Detection
CN115661932A (zh) 一种垂钓行为检测方法
CN115100546A (zh) 一种基于mobilenet的电力设备小目标缺陷识别方法及系统
CN114372922A (zh) 夜间环境下基于无人机巡检的绝缘子红外缺陷诊断方法
CN114283442A (zh) 一种二次接线图智能识别方法、装置及存储介质
CN112016403A (zh) 一种视频异常事件检测方法
Liu et al. A hierarchical semantic segmentation framework for computer vision-based bridge damage detection
CN115131357B (zh) 一种输电通道挂空悬浮物检测方法
Wu et al. Detection of Defects in Power Grid Inspection Images Based on Multi-scale Fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination