CN114399681A - 电力能源设备识别方法、装置和终端设备 - Google Patents

电力能源设备识别方法、装置和终端设备 Download PDF

Info

Publication number
CN114399681A
CN114399681A CN202210042791.9A CN202210042791A CN114399681A CN 114399681 A CN114399681 A CN 114399681A CN 202210042791 A CN202210042791 A CN 202210042791A CN 114399681 A CN114399681 A CN 114399681A
Authority
CN
China
Prior art keywords
electric power
energy equipment
image
power energy
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210042791.9A
Other languages
English (en)
Inventor
韩璟琳
张菁
冯喜春
赵辉
胡平
陈志永
董昕
宋航程
李光毅
王涛
翟广心
张章
孙轶良
侯若松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Hebei Electric Power Co Ltd
Economic and Technological Research Institute of State Grid Hebei Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Hebei Electric Power Co Ltd
Economic and Technological Research Institute of State Grid Hebei Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Hebei Electric Power Co Ltd, Economic and Technological Research Institute of State Grid Hebei Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202210042791.9A priority Critical patent/CN114399681A/zh
Publication of CN114399681A publication Critical patent/CN114399681A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请适用于图像识别技术领域，公开了一种电力能源设备识别方法、装置和终端设备。上述电力能源设备识别方法包括：采集电力能源设备图像，对电力能源设备图像进行预处理，建立电力能源设备图像数据集；电力能源设备图像数据集包括训练集和验证集；基于训练集和验证集，训练得到电力能源设备识别Mask‑RCNN模型；将待识别电力能源设备实景图片输入电力能源设备识别Mask‑RCNN模型，获得实景图片上能源设备的识别结果。根据电力能源设备图像数据集建立的电力能源设备识别Mask‑RCNN模型，提升了电力能源设备的检测识别精度。

Description

电力能源设备识别方法、装置和终端设备
技术领域
本申请属于图像识别技术领域，尤其涉及一种电力能源设备识别方法、装置和终端设备。
背景技术
在电力能源设备识别问题中，多目标图像识别成为了核心技术问题。卷积神经网络在图像识别分类任务上取得了显著成效，R-CNN检测算法的出现成为深度学习在目标检测的开端。接下来Fast-RCNN改变了R-CNN检测精度不高，检测效率低以及占用资源多等缺点，检测精度取得了巨大的提高。但检测速度仍较慢，检测效率较低，检测过程中造成大量的时间冗余，不能做到实时性。Faster-RCNN在Fast R-CNN模型基础上增加了RPN网络，相对Fast-RCNN速度得到提高，检测精度也有了大的提升。YOLO目标检测模型也在原来的基础形成了YOLO-v2和YOLO-v3，其性能和精度上都有提升。
但是，上述模型对于多目标图像识别的小目标检测问题，仍然会出现漏识、误识的现象。特征提取后，低分辨率特征图与高分辨率特征图映射比率较大，这一压缩过程造成了特征信息流的丢失，导致小目标物体的特征在提取特征过程中消失，各分辨率特征层不充分的融合导致特征信息使用不充分容易造成误识别情况。现有模型的神经网络算法收敛速度也比较慢，针对大量数据进行检测时效率低，难以实现目标的快速识别。
发明内容
有鉴于此，本申请实施例提供了一种电力能源设备识别方法、装置和终端设备，以提升电力能源设备的识别准确率。
本申请是通过如下技术方案实现的：
第一方面，本申请实施例提供了一种电力能源设备识别方法，其特征在于，包括：采集电力能源设备图像，对电力能源设备图像进行预处理，建立电力能源设备图像数据集；电力能源设备图像数据集包括训练集和验证集；基于训练集和验证集，训练得到电力能源设备识别Mask-RCNN模型；将待识别电力能源设备实景图片输入电力能源设备识别Mask-RCNN模型，获得实景图片上能源设备的识别结果。
本申请实施例中，训练出的电力能源设备识别Mask-RCNN模型，可以在保持较高性能的同时将训练速度提高约30％，通过联合最后特征金字塔各阶段的特征来增强原始特征信息流，提升了电力能源设备的识别精度。
基于第一方面，在一些实施例中，采集电力能源设备图像，对电力能源设备图像进行预处理，建立电力能源设备图像数据集，包括：采集电力能源设备图像，对电力能源设备图像中的多尺度电力能源设备进行标注，得到包含多尺度电力能源设备轮廓和类型的标注信息；根据标注信息将属于同一电力能源设备类型的部件合并成完整的电力能源设备，生成掩膜mask；按照完整的电力能源设备的尺度大小对数据集进行分割，得到电力能源设备图像数据集。
基于第一方面，在一些实施例中，基于训练集和验证集，训练得到电力能源设备识别Mask-RCNN模型，包括：对训练集中的电力能源设备图像进行特征提取，得到全局信息特征图像；通过RoIAlign层将全局信息特征图像上的兴趣区域进行特征对齐，得到Mask-RCNN原型模型输出结果；通过损失函数将Mask-RCNN原型模型的输出结果进行分类回归，得到Mask-RCNN原型模型最优参数，采用最优参数的Mask-RCNN原型模型为电力能源设备识别Mask-RCNN模型。
基于第一方面，在一些实施例中，对训练集中的电力能源设备图像进行特征提取，得到全局信息特征图像，包括：通过Par Net网络和RGFPN网络对训练集中的电力能源设备图像进行特征提取，得到具有不同分辨率的第一特征图像；对第一特征图像进行分辨率同步，得到具有相同分辨率的第二特征图像；将第二特征图像进行通道融合，得到全局信息特征图像。
本申请实施例中，ParNet网络使用参数重整化的方法，将解耦的分支结构重整到同一个参数重构的卷积层模块中，将网络深度压缩到了12层，可以在保持较高性能的同时提高训练速度。本发明将传统FPN的融合后的输出，再输入给ParNet，进行二次循环，通过联合最后特征金字塔各阶段的特征来增强原始特征信息流，获得全局信息的特征图，输入至RolAlign层，以此提升模型的检测精度。经过递归FPN重新标定的特征信息有助于提高目标检测模型的精度。提高了不同大小目标的识别率，其中小目标物体的识别率提高更为显著。
基于第一方面，在一些实施例中，通过Par Net网络和RGFPN网络对训练集中的电力能源设备图像进行特征提取，得到具有不同分辨率的第一特征图像，包括：通过Par Net网络和FPN网络对电力能源设备图像进行训练，得到第一特征信息；将第一特征中对应层的特征再次输入Par Net网络和FPN网络进行卷积，得到第二特征信息；将第二特征信息与第一特征信息相结合，得到第一特征图像。
基于第一方面，在一些实施例中，对第一特征图像进行分辨率同步，得到具有相同分辨率的第二特征图像，包括：将第一特征图像按分辨率由高至低划分为C1层至C5层，C3层为中间层；通过下采样将C1层和C2层的分辨率降低至中间层C3层的分辨率大小；通过上采样将C4层和C5层的分辨率提高至中间层C3层的分辨率大小，得到具有相同分辨率的第二特征图像。
第二方面，本申请实施例提供了一种装置，包括：数据采集模块，用于采集电力能源设备图像，对电力能源设备图像进行预处理，建立电力能源设备图像数据集；电力能源设备图像数据集包括训练集和验证集；训练模块，用于基于训练集和验证集，训练得到电力能源设备识别Mask-RCNN模型；识别模块，用于将待识别电力能源设备实景图片输入电力能源设备识别Mask-RCNN模型，获得实景图片上能源设备的识别结果。
第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面中任一项所述的电力能源设备识别方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面任一项所述的电力能源设备识别方法的步骤。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的电力能源设备识别方法的流程示意图；
图2是本申请实施例提供的电力设备图片标注示意图；
图3是本申请实施例提供的ParNet-RGFPN网络模型框架图；
图4是本申请实施例提供的融合模块结构示意图；
图5是本申请实施例提供的电力能源设备识别Mask-RCNN模型与Mask-RCNN原型模型效果对比图；
图6是本申请实施例提供的电力能源设备识别装置的结构示意图；
图7是本申请实施例提供的终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
以下，对本申请涉及的术语进行解释。
卷积神经网络：卷积神经网络(CNN)是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。卷积神经网络具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类，因此也被称为“平移不变人工神经网络。
Backbone：卷积神经网络的主干网络。
图像识别：利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术，是应用深度学习算法的一种实践应用。
目标检测：目标检测，也叫目标提取，是一种基于目标几何和统计特征的图像分割。它将目标的分割和识别合二为一，其准确性和实时性是整个系统的一项重要能力。尤其是在复杂场景中，需要对多个目标进行实时处理时，目标自动提取和识别就显得特别重要。
特征提取：使用计算机提取图像中属于特征性的信息的方法及过程。
池化：减少计算量。
Anchor：CNN网络生成的特征图像上当前滑窗的中心在原像素空间的映射点就称为Anchor，根据预定义的Anchor，以特征图像上的一点为中心就可以在原图上生成9种不同形状不同大小的边框。
FPN：FPN是一种结合多层级特征来解决多尺度问题的特征金字塔模型。
COCO数据集：Common Objects in Context，微软团队提供的一个可以用来进行图像识别的数据集。
置信度：一个概率样本的置信区间是对这个样本的某个总体参数的区间估计。置信区间展现的是这个参数的真实值有一定概率落在测量结果的周围的程度。置信区间给出的是被测量参数测量值的可信程度范围，即前面所要求的“一定概率”。这个概率被称为置信水平。
由于分辨率低、图像模糊、信息少、噪声多，小目标的检测一直是一个实用和常见的难题。在过去几年的发展中，也出现了一些提高小目标检测性能的解决方案。
在深度学习方法成为流行之前，对于不同尺度的目标，通常是从原始图像开始，使用不同的分辨率构建图像金字塔，然后使用分类器对金字塔的每一层进行滑动窗口的目标检测。然而，这种方法效率较低，虽然构建图像金字塔可以使用卷积核分离加速或直接缩放，但仍需要进行多次特征提取。因此近年来普遍采用深度学习方法进行图像识别，其中卷积神经网络最适宜于图像识别任务。针对提高小目标检测性能这一问题，也提出了一些通过卷积神经网络进行改进方法。
首先，可以增加训练集中小目标样本的种类和数量。深度学习算法往往采用COCO数据集作为样本进行训练。一方面，针对COCO数据集中含有小目标的图片数量较少的问题，使用采样策略，不管检测小目标的比率是多少，过采样都有帮助。另一方面，针对同一张图片中小目标数量少的问题，使用分割mask切出小目标图像，然后使用复制和粘贴方法，同时加上旋转和缩放来实现人工增强，使训练过程中有更多anchor与小目标匹配。
再次，由于不同阶段的特征图对应不同的感受野，其所表达的信息抽象程度也不同。浅层特征图感受野小，更适合检测小目标，深层特征图感受野较大，更适合检测大目标。因此，在图像金字塔的基础上，提出了将不同阶段的特征映射整合在一起来提高目标检测性能，即特征融合金字塔FPN，在不同融合层融合特征，只需要一次正向计算即可完成。
为了加强特征的表述能力，使用多级特征金字塔，对模型判别具有重要意义。FPN网络模型的基础是特征金字塔，将各级不同分辨率特征通过建立自上而下的额外通路，来实现各级特征的交流，强化了各级特征层的表述能力，但FPN建立的额外通路使网络不同层级的特征只能接收到相邻层的语义信息，无法接收到其他层的语义信息，特征融合并不充分。底层特征中会包含更多关于纹理、位置和边缘的特征信息，为了使网络对目标位置的识别更加精准，现有技术中采用PANet在FPN的基础上额外增加了最底层与最高层的通路，来强化最高层对目标的细节特征信息。但从整体特征融合以及检测精度考虑，采用PANet仍未达到较好的效果。
为提升电力能源设备的识别准确率，本申请提供了一种电力能源设备识别方法，如图1所示，该电力能源设备识别方法可以包括步骤101至步骤103。
步骤101：采集电力能源设备图像，对电力能源设备图像进行预处理，建立电力能源设备图像数据集；电力能源设备图像数据集包括训练集和验证集。
在一些实施例中，步骤101可以包括步骤1011至步骤1013。
步骤1011：采集电力能源设备图像，对所述电力能源设备图像中的多尺度电力能源设备进行标注，得到包含所述多尺度电力能源设备轮廓和类型的标注信息。
在一些实施例中，由于电力设备领域缺乏可用于机器学习的开源数据集，因此，本申请在应用Mask-RCNN模型之前，通过变电站巡检机器人拍摄，采集多种电力能源设备图像，利用LabelImg标签工具建立了包含200张电力能源设备图片的数据集。并对每张电力能源设备图像包含的多尺度电力设备进行标注，每张图片的标注如图2所示，标注信息包括多尺度设备的轮廓、类型。图片标注完后会生成一个xml格式的文件，这个文件包含了所有的标注信息。根据数据集的信息，该设备的类型设置为电线杆Telegraph poles，变压器transformer，绝缘子Insulator，横担CrossArm，线夹WireClip。
步骤1012：根据标注信息将属于同一电力能源设备类型的部件合并成完整的电力能源设备，生成掩膜mask。
将属于同一设备但分开标注的部分合并，根据标注信息将标注名字相同的部件合并成完整的电力能源设备，同时生成掩膜mask。掩膜就是用选定的图像、图形或物体，对处理的图像全部或局部进行遮挡，来控制图像处理的区域或处理过程.其作用是提取感兴趣区域的能源设备，用预先制作的感兴趣区掩模与待处理图像相乘，得到感兴趣区图像，感兴趣区内图像值保持不变，而区外图像值都为0，达到分割目的。
步骤1013：按照完整的电力能源设备的尺度大小对数据集进行分割，得到电力能源设备图像数据集。
合并完成后，为提高后续Mask-RCNN模型对于不同尺度设备进行目标检测的效果，对输入图像按照能源设备的尺度大小进行分割，分割完成后的数据集再随机划分为两部分，训练集和验证集，训练集用于训练电力能源设备识别Mask-RCNN模型，验证集用于验证神经网络的实际效果。
步骤102：基于训练集和验证集，训练得到电力能源设备识别Mask-RCNN模型。
在一些实施例中，步骤102可以包括步骤1021至步骤1023。
步骤1021：对训练集中的电力能源设备图像进行特征提取，得到全局信息特征图像。
Mask-RCNN原型模型作为R-CNN最新的网络模型，吸取了R-CNN体系算法的种种优点，并在他们的基础上进行了进一步地改进。Mask-RCNN使用RoIAlign代替了RoI pooling，具体来说就是去掉了原先的取整操作，保留计算得到的浮点数，并使用双线性插值来完成对像素的操作。由此，在实例分割领域实现了像素级的精确对齐。但其中的主干网络ResNeXt-101严重拖慢了模型的训练和推理速度，原始FPN网络在小尺度电力设备的特征提取方面的应用表现也存在改进空间。
本申请改进的Mask-RCNN原型模型采用Par Net(Parallel Networks，并行神经网络)作为主干网络，将通过RGFPN处理(feature pyramid networks，递归特征金字塔网络)后的各分辨率特征层进行分辨率同步，然后经过特征融合模块对统一分辨率后的特征图进行通道融合，获得检测精度更高的全局信息的特征图，输入至RoIAlign层。
在一些实施例中，通过Par Net和RGFPN对训练集中的电力能源设备图像进行特征提取，得到具有不同分辨率的第一特征图像。
以ParNet为Backbone进行预训练，通过参数重整化的方法，将解耦的分支结构重整到同一个参数重构的卷积层模块中，引入Rep-Block和SSE结构将网络深度压缩至12层。经ParNet预训练后输入RGFPN网络对输入图像进行特征提取，获得第一特征信息，第一特征信息中包含不同阶段产生的特征图。由第i阶段产生的特征图表示为Ck，在特征层中，C1的分辨率最高，C5的分辨率最低。如图3是特征提取过程的展开框架图，RGFPN就是将通过ParNet网络和FPN网络对电力能源设备图像进行训练输出的第一特征信息，再次送入ParNet作为backbone对应层的特征进行卷积，通过FPN处理后得到第二特征信息，将第二特征信息与第一特征信息相结合，得到第一特征图像。
调整第一特征图像的尺寸，通过下采样将C1层和C2层的分辨率降低至中间层C3层的分辨率大小。通过上采样将C4层和C5层的分辨率提高至中间层C3层的分辨率大小，得到具有相同分辨率的第二特征图像。
在调整尺寸的过程中，为了最大限度的保留特征信息，将不同分辨率大小的特征图{C1，C2，C4，C5}调整为中间层C3层的分辨率大小M3*M3。高分辨率的特征层通过下采样来对标C3阶段分辨率大小，低分辨率特征层通过双线性插值的上采样方式来达到C3阶段分辨率的大小。在上采样和下采样这两个阶段中，低分辨率特征层因采用转置卷积的方式，保留了大目标物体的特征信息。高分辨率的特征图通过下采样生成的特征图保留了小目标物体的特征信息。
具体的，使用两次下采样将C1、C2阶段的特征层分辨率降低为C3阶段分辨率大小。分辨率高的特征层会包含更多目标物体的细节信息，更高阶段的特征信息如C5具有更加抽象的特征表述，对C1、C2两个阶段都进行下采样的目的就在于可以提取不同阶段下小目标物体细节特征信息，使模型对小目标物体有良好的识别效果。
调整尺寸后的特征图使用通道连接的方式连接，然后进入融合模块进行特征融合处理。
如图4所示，融合模块由两个卷积层构成：逐点卷积层(1*1*N)和标准卷积层(3*3*N)。融合模块的作用是将统一分辨率后的第二特征图像进行特征融合处理，并将特征层维度降低。第二特征图像的特征信息流表示为M3*M3*5N，其中N为特征金字塔每个阶段的输出通道数，M3表示C3层的特征图大小。逐点卷积层对输入特征进行融合并降低特征维度，从5N降为N。此阶段将生成具有全局特征信息的特征图。逐点卷积层处理过后的特征图维度表示为M3*M3*N，使用标准卷积层可以增大相邻像素点的特征信息区别，降低由于调整尺寸和逐点卷积形成的特征混淆效应。标准卷积层不会改变特征信息流的维度，经过融合模块处理生成的新特征信息流的维度为M3*M3*N，具有新特征信息流的特征图像为全局信息特征图像。
经过递归FPN的特征图对不同尺度的物体检测性能提高显著。经过调整尺寸和融合模块处理的特征信息流，借鉴残差连接的思想，对原始特征信息流进行重新标定，增强了原始特征信息流。经过重新标定的特征图，都将包含全局特征信息且检测精度更准确。经历融合模块后的特征图具有均衡的全局特征信息，强大的特征表述能力提升了模型的检测精度，对小目标的检测效果提升显著。
步骤1022：通过RoIAlign层将全局信息特征图像上的兴趣区域进行特征对齐，得到Mask-RCNN原型模型的输出结果。
采用RPN(region proposal networks，区域建议网络)提取全局信息特征图像上的兴趣区域。然后将提取出的兴趣区域和原始特征图输入RoI Align层进行特征对齐。不同大小的目标物体归属不同分辨率的特征层，因此，对于不同尺度的兴趣区域(Region ofInterest，RoI)应选用不同的特征层作为RoI Align层的输入，大目标物体的兴趣区域应该映射低分辨率的特征层，比如C5。相应的小目标物体的兴趣区域应该映射高分辨率的特征层，比如C1。
具体的，将输入图像上宽度为w、高度为h的兴趣区域分配给特征金字塔的Ck层，k和宽度高度的关系式如下：
Figure BDA0003470950200000111
其中，224表示输入图像的大小，k0表示wh＝2242的兴趣区域应该映射到的目标级别，k0默认设置为5，代表C5层的输出。w和h表示兴趣区域的长和宽，假设RoI是112×112的大小，那么k＝k0-1＝5-1＝4，意味着该兴趣区域应该使用C4大小的特征层。由上式可知如果兴趣区域的尺度变小，例如变为224的1/2，那这个兴趣区域就应该被映射到一个更大的分辨率水平。
每个深度卷积神经网络都是在一定范围内灵活可变的，而这些变化就是网络参数的不同引起的。通过验证集对训练得到的模型效果进行验证，当识别准确率达到预定标准时，确定深度卷积神经网络的参数如下：
学习率learning rate＝0.001
迭代次数epochs＝50
将所有样本划分为多少份steps per epoch＝100
RoI置信度阈值detection min condidence＝0.9
每个GPU处理图片数images per GPU＝2
步骤1023：通过损失函数将Mask-RCNN原型模型的输出结果进行分类回归，得到Mask-RCNN原型模型最优参数，采用最优参数的Mask-RCNN原型模型为电力能源设备识别Mask-RCNN模型。
利用RGFPN对特征映射图进行边界框提取并映射到特征映射图上，输入RoIAlign，进行RoIAlign操作，使用Hybrid Adam-SGD优化器，根据损失函数对输出结果进行分类回归，得到最优模型参数。
本申请在Mask-RCNN中使用多种损失函数，包括：rpn_class_loss(RPN网络分类损失)、rpn_bbox_loss(RPN网络回归损失)、class_loss(分类损失)、bbox_loss(回归损失)和mask_loss(Mask分割掩码回归损失)，通过逐像素的相对熵误差计算，得到图像中每个点对应的平均二值交叉熵。改进后的计算公式如下：
Figure BDA0003470950200000121
步骤103：将待识别电力能源设备实景图片输入电力能源设备识别Mask-RCNN模型，获得实景图片上能源设备的识别结果。
在一些实施例中，可以基于Python3.6进行训练，电力能源设备数据集中一共有200张图片，其中训练集数据包括128张图片，验证集数据包含72张图片。通过128张训练集中的图片训练得到的神经网络权重导入原型模型，再对测试集中的图片进行检测，最终的输出结果如图5所示。
候选框大小不到32×32像素的小目标的特征难以被特征金字塔网络学习到是小目标物体无法被识别的原因之一。此类问题形成的根源在于特征金字塔网络的特征提取分为五个阶段，每个阶段生成的特征图都会比上一阶段特征图小1/2，并且特征金字塔的特征信息流的交流只限于相邻特征层间且传统的FPN对多尺度物体检测的精度也有局限性。因此，小目标特征信息容易在特征信息流中丢失，致使模型对此类小目标物体无法识别。本发明针对特征金字塔精度不高以及各阶段特征信息流融合不充分的问题，使用非深网络ParNet网络作为backbone，代替传统Mask-RCNN中使用的ResNeXt-101网络，虽然ResNeXt-101网络中使用极深的架构设计和巧妙的残差结构可以达到较高的性能，但也严重拖慢了模型的训练和推理速度，而本发明使用的ParNet网络使用参数重整化的方法，将解耦的分支结构重整到同一个参数重构的卷积层模块中通过引入Rep-Block和SSE结构，将网络深度压缩到了12层，可以在保持较高性能的同时将训练速度提高约30％。其次，应用改进了FPN网络RGFPN，即递归全局FPN，获得检测精度更高的全局信息的特征图。除此之外，本发明应用的优化器以及多种损失函数显著提高了模型的收敛速度。
参见图6，本申请实施例中的电力能源设备识别装置可以包括：数据采集模块610、训练模块620、识别模块630。
数据采集模块610，用于采集电力能源设备图像，对电力能源设备图像进行预处理，建立电力能源设备图像数据集；电力能源设备图像数据集包括训练集和验证集。
训练模块620，用于基于训练集和验证集，训练得到电力能源设备识别Mask-RCNN模型。
识别模块630，用于将待识别电力能源设备实景图片输入电力能源设备识别Mask-RCNN模型，获得实景图片上能源设备的识别结果。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供了一种终端设备，参见图7，该终端设700可以包括：至少一个处理器710、存储器720以及存储在所述存储器720中并可在所述至少一个处理器710上运行的计算机程序，所述处理器710执行所述计算机程序时实现上述任意各个方法实施例中的步骤，例如图1所示实施例中的步骤101至步骤103。或者，处理器710执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能，例如图6所示模块610至630的功能。
示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器720中，并由处理器710执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序段，该程序段用于描述计算机程序在终端设备700中的执行过程。
本领域技术人员可以理解，图7仅仅是终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如输入输出设备、网络接入设备、总线等。
处理器710可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器720可以是终端设备的内部存储单元，也可以是终端设备的外部存储设备，例如插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。所述存储器720用于存储所述计算机程序以及终端设备所需的其他程序和数据。所述存储器720还可以用于暂时地存储已经输出或者将要输出的数据。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(E电力能源设备识别tended Industry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
本申请实施例提供的电力能源设备识别方法可以应用于计算机、可穿戴设备、车载设备、平板电脑、笔记本电脑、上网本、个人数字助理(personal digital assistant，PDA)、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、手机等终端设备上，本申请实施例对终端设备的具体类型不作任何限制。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述电力能源设备识别方法各个实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述电力能源设备识别方法各个实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种电力能源设备识别方法，其特征在于，包括：
采集电力能源设备图像，对所述电力能源设备图像进行预处理，建立电力能源设备图像数据集；所述电力能源设备图像数据集包括训练集和验证集；
基于所述训练集和验证集，训练得到电力能源设备识别Mask-RCNN模型；
将待识别电力能源设备实景图片输入所述电力能源设备识别Mask-RCNN模型，获得所述实景图片上能源设备的识别结果。
2.如权利要求1所述的电力能源设备识别方法，其特征在于，所述采集电力能源设备图像，对所述电力能源设备图像进行预处理，建立电力能源设备图像数据集，包括：
采集电力能源设备图像，对所述电力能源设备图像中的多尺度电力能源设备进行标注，得到包含所述多尺度电力能源设备轮廓和类型的标注信息；
根据所述标注信息将属于同一电力能源设备类型的部件合并成完整的电力能源设备，生成掩膜mask；
按照所述完整的电力能源设备的尺度大小对数据集进行分割，得到电力能源设备图像数据集。
3.如权利要求1所述的电力能源设备识别方法，其特征在于，所述基于所述训练集和验证集，训练得到电力能源设备识别Mask-RCNN模型，包括：
对所述训练集中的电力能源设备图像进行特征提取，得到全局信息特征图像；
通过RoIAlign层将全局信息特征图像上的兴趣区域进行特征对齐，得到Mask-RCNN原型模型输出结果；
通过损失函数将Mask-RCNN原型模型的输出结果进行分类回归，得到Mask-RCNN原型模型最优参数，采用最优参数的Mask-RCNN原型模型为电力能源设备识别Mask-RCNN模型。
4.如权利要求3所述的电力能源设备识别方法，其特征在于，所述对所述训练集中的电力能源设备图像进行特征提取，得到全局信息特征图像，包括：
通过Par Net网络和RGFPN网络对所述训练集中的电力能源设备图像进行特征提取，得到具有不同分辨率的第一特征图像；
对所述第一特征图像进行分辨率同步，得到具有相同分辨率的第二特征图像；
将所述第二特征图像进行通道融合，得到全局信息特征图像。
5.如权利要求4所述的电力能源设备识别方法，其特征在于，所述通过Par Net网络和RGFPN网络对所述训练集中的电力能源设备图像进行特征提取，得到具有不同分辨率的第一特征图像，包括：
通过Par Net网络和FPN网络对电力能源设备图像进行训练，得到第一特征信息；
将所述第一特征中对应层的特征再次输入Par Net网络和FPN网络进行卷积，得到第二特征信息；
将第二特征信息与第一特征信息相结合，得到第一特征图像。
6.如权利要求5所述的电力能源设备识别方法，其特征在于，所述对所述第一特征图像进行分辨率同步，得到具有相同分辨率的第二特征图像，包括：
将所述第一特征图像按分辨率由高至低划分为C1层至C5层，C3层为中间层；
通过下采样将C1层和C2层的分辨率降低至中间层C3层的分辨率大小；
通过上采样将C4层和C5层的分辨率提高至中间层C3层的分辨率大小，得到具有相同分辨率的第二特征图像。
7.如权利要求5所述的电力能源设备识别方法，其特征在于，所述将所述第二特征图像进行通道融合，得到全局信息特征图像，包括：
通过逐点卷积层降低第二特征图像的特征维度；
通过标准卷积层增大相邻像素点的特征信息区别，得到全局信息特征图像。
8.一种电力能源设备识别装置，其特征在于，包括：
数据采集模块，用于采集电力能源设备图像，对所述电力能源设备图像进行预处理，建立电力能源设备图像数据集；所述电力能源设备图像数据集包括训练集和验证集；
训练模块，用于基于所述训练集和验证集，训练得到电力能源设备识别Mask-RCNN模型；
识别模块，用于将待识别电力能源设备实景图片输入所述电力能源设备识别Mask-RCNN模型，获得所述实景图片上能源设备的识别结果。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述电力能源设备识别方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述电力能源设备识别方法的步骤。
CN202210042791.9A 2022-01-14 2022-01-14 电力能源设备识别方法、装置和终端设备 Pending CN114399681A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210042791.9A CN114399681A (zh) 2022-01-14 2022-01-14 电力能源设备识别方法、装置和终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210042791.9A CN114399681A (zh) 2022-01-14 2022-01-14 电力能源设备识别方法、装置和终端设备

Publications (1)

Publication Number Publication Date
CN114399681A true CN114399681A (zh) 2022-04-26

Family

ID=81231857

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210042791.9A Pending CN114399681A (zh) 2022-01-14 2022-01-14 电力能源设备识别方法、装置和终端设备

Country Status (1)

Country Link
CN (1) CN114399681A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117612095A (zh) * 2023-11-27 2024-02-27 中国南方电网有限责任公司 一种电力安全控制方法及装置
CN118587563A (zh) * 2024-08-07 2024-09-03 中科方寸知微(南京)科技有限公司 基于无人机配网线路自适应巡检中的自监督预训练方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117612095A (zh) * 2023-11-27 2024-02-27 中国南方电网有限责任公司 一种电力安全控制方法及装置
CN118587563A (zh) * 2024-08-07 2024-09-03 中科方寸知微(南京)科技有限公司 基于无人机配网线路自适应巡检中的自监督预训练方法

Similar Documents

Publication Publication Date Title
CN111652217B (zh) 文本检测方法、装置、电子设备及计算机存储介质
CN109726657B (zh) 一种深度学习场景文本序列识别方法
CN113642390B (zh) 一种基于局部注意力网络的街景图像语义分割方法
CN111681273A (zh) 图像分割方法、装置、电子设备及可读存储介质
CN112308866B (zh) 图像处理方法、装置、电子设备及存储介质
CN113888547A (zh) 基于gan网络的无监督域自适应遥感道路语义分割方法
CN111860683B (zh) 一种基于特征融合的目标检测方法
CN114399681A (zh) 电力能源设备识别方法、装置和终端设备
CN112465801B (zh) 一种分尺度提取掩码特征的实例分割方法
CN110781980B (zh) 目标检测模型的训练方法、目标检测方法及装置
CN110619334B (zh) 基于深度学习的人像分割方法、架构及相关装置
CN111353544A (zh) 一种基于改进的Mixed Pooling-YOLOV3目标检测方法
CN112070649A (zh) 一种去除特定字符串水印的方法及系统
CN114913588A (zh) 一种应用于复杂场景下的人脸图像修复及识别方法
CN111353987A (zh) 一种细胞核分割方法及装置
CN113673562A (zh) 一种特征增强的方法、目标分割方法、装置和存储介质
CN114444565A (zh) 一种图像篡改检测方法、终端设备及存储介质
CN115731597A (zh) 一种人脸口罩掩膜图像自动分割与修复管理平台及方法
Cho et al. Modified perceptual cycle generative adversarial network-based image enhancement for improving accuracy of low light image segmentation
CN117994573A (zh) 一种基于超像素和可形变卷积的红外弱小目标检测方法
CN110555406B (zh) 一种基于Haar-like特征及CNN匹配的视频运动目标识别方法
CN111612803A (zh) 一种基于图像清晰度的车辆图像语义分割方法
CN116645513A (zh) 水印提取方法、模型训练方法、装置、电子设备及介质
CN113569684B (zh) 短视频场景分类方法、系统、电子设备及存储介质
CN112183650B (zh) 一种在相机失焦情况下的数字检测识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination