CN112801974A - 一种嵌入式继电保护压板投退状态识别方法及装置 - Google Patents
一种嵌入式继电保护压板投退状态识别方法及装置 Download PDFInfo
- Publication number
- CN112801974A CN112801974A CN202110111424.5A CN202110111424A CN112801974A CN 112801974 A CN112801974 A CN 112801974A CN 202110111424 A CN202110111424 A CN 202110111424A CN 112801974 A CN112801974 A CN 112801974A
- Authority
- CN
- China
- Prior art keywords
- pressing plate
- image
- network
- module
- pressure plate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003825 pressing Methods 0.000 title claims abstract description 188
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000001514 detection method Methods 0.000 claims abstract description 54
- 238000012549 training Methods 0.000 claims description 35
- 238000010586 diagram Methods 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 230000003416 augmentation Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000013434 data augmentation Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 abstract description 5
- 238000013135 deep learning Methods 0.000 abstract description 5
- 238000003860 storage Methods 0.000 abstract description 4
- 238000005286 illumination Methods 0.000 abstract description 3
- 238000007689 inspection Methods 0.000 abstract description 2
- 238000012423 maintenance Methods 0.000 abstract description 2
- 230000009466 transformation Effects 0.000 abstract description 2
- 230000008901 benefit Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000005266 casting Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003071 parasitic effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000002407 reforming Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种嵌入式继电保护压板投退状态识别方法及装置，属于深度学习和电力系统保护领域。装置包括嵌入式图像采集模块、压板位置检测模块、压板投退状态识别模块、识别结果输出模块及本地存储模块。本发明利用嵌入式图像采集模块拍摄含有压板的继电保护屏图像，通过压板位置检测模块定位压板，将定位区域切割送给压板投退状态识别模块，得到投退状态的识别结果，通过输出模块显示出识别结果，并将结果保存在本地存储模块。本发明能够快速、准确地定位压板并识别其投退状态，提升了变电设备运维的智能化，减少了人工巡检的依赖性，该方法能够有效减少拍摄角度变化、光照强度变化等带来的影响，对于不同应用场景具有很强的稳健性和适应性。
Description
技术领域
本发明属于深度学习和电力系统保护领域，以及智能图像识别技术领域，特别是一种嵌入式继电保护压板投退状态识别方法及装置。
背景技术
随着我国电网规模日益扩大，一方面提高了电力资源优化配置能力，另一方面也给电网运行和控制带来了挑战。继电保护系统作为电力运输过程中的关键环节，与软件、信息及设备关联紧密，具有状态多样性和信息传输交错性等特点，任何环节的隐患都会对电网的安全稳定运行造成威胁。继电保护压板具有明显的断点，能够准确区分二次回路通断状态，因此广泛应用于继电保护二次回路。操作保护压板直接关系到保护的动作结果，而变电站中压板数量众多、功能各异，如果仅靠人工核查，难免会发生漏投、误投的情况，从而造成严重损失。因此，准确快速地识别继电保护系统中压板的投退状态具有重要意义。
继电保护压板投退状态识别问题主要有以下几种常用的解决方案：
基于压板物理位移信息的方法。这类方法通过分析压板物理结构，研究压板投入、退出时不同的机械变位，采用“位置传感器”采集位移物理信号并转化为电信号(如文献“继电保护关键环节隐藏故障诊断方法与监测技术研究”)。该方法可以适应光线不足的不良信号，但是依赖于位置传感器的稳定性。
基于重动继电器出点状态方法(如文献“一种继电保护出口压板的远程监控系统”)。该类方法采用电量接触技术，可能会产生寄生回路，给整个继电保护系统带来安全隐患。
基于传统图像处理方法(如文献“电力系统继电保护压板图像识别系统”、“基于模式识别的继电保护压板状态检定系统”)。该类方法将压板图像进行预处理后，定位、分割压板再判断压板投退状态。优点在于不用对压板进行改造，缺点在于以下三点：(1)算法应用于复杂场景时鲁棒性较差，如当光线强弱差异大、拍摄角度多变时识别效果较差；(2)可识别的压板种类较少，难以同时识别插拔式和连接式两种压板；(3)识别算法复杂导致识别时间较长。
基于深度学习的方法(如文献“基于深度学习的变电站硬压板状态检测与识别算法”、“基于OpenCV+SSD深度学习模型的变电站压板状态智能识别”)，该类方法采用目标检测网络对压板区域进行检测和状态识别，例如Faster-RCNN、SDD等目标检测模型。优点在于算法的稳健性较强，但是模型的参数量巨大，在嵌入式设备上推理时间较长，同时在识别压板投退状态时仅依据当前时刻的压板图像特征，未参考历史压板图像及状态。
由上可知，现有的压板投退状态识别方法大都需要改造保护屏，或对环境变化敏感，或识别时间较长，难以运用到变电站系统中。
发明内容
本发明的目的在于针对现有技术存在的问题，提供一种嵌入式继电保护压板投退状态识别方法及装置。
实现本发明目的的技术解决方案为：一种嵌入式继电保护压板投退状态识别方法，所述方法包括以下步骤：
步骤1，采集包含压板的继电保护屏图像，构建压板数据集；
步骤2，构建压板位置检测网络及压板状态识别网络；
步骤3，将压板位置检测网络及压板状态识别网络视为整体，对该整体网络进行训练；
步骤4，利用训练好的网络模型对待检测压板图像进行识别输出。
进一步地，步骤1所述采集包含压板的继电保护屏图像，构建压板数据集，具体包括：
步骤1-1，采集压板图像；
步骤1-2，构建压板位置检测数据集：采用矩形框对图像中的压板区域进行标注，标注数据包括矩形左上角坐标与右下角坐标；
步骤1-3，构建压板状态识别数据集：对步骤1-2标注的压板区域进行投退状态标注，开为0，关为1，同时标注上一次采集到的图像名称、压板区域位置、压板投退状态；
步骤1-4，对所述压板位置检测数据集和压板状态识别数据集进行一一对应合并，形成压板数据集；
步骤1-5，按预设的比例n1:n2:n3对上述压板数据集进行随机抽样，构建训练集、验证集和测试集；其中n1+n2+n3＝1。
进一步地，步骤2中所述压板位置检测网络的输入为待识别的继电保护屏图像，输出为每个压板的区域位置；
所述压板状态识别网络为对比网络，输入为当前压板区域图像和上次采集的压板区域图像，输出为两幅压板区域图像的状态一致性。
进一步地，步骤2中所述压板位置检测网络包括依次设置的特征提取模块、解码模块和目标输出模块，其中，
所述特征提取模块，用于提取图像的特征并进行编码；
所述解码模块，用于对提取到的特征进行解码输出，经解码后的特征图尺寸为输入图像的1/4；
所述目标输出模块，用于根据解码模块信息输出压板的位置、尺寸、置信度。
进一步地，所述特征提取模块以ResNet网络中的残差模块为基础进行构建，所述解码模块以转置卷积为基础进行构建，所述目标输出模块以卷积层模块构建，在解码模块后，经过2层卷积操作，输出3通道的特征图，分别表征压板的位置、宽度、高度；
具体地，特征提取模块的主干网络包括依次设置的：
步长为2的7×7卷积层，步长为2的3×3最大值池化层，输出特征图尺寸为输入图像1/8的残差网络模块，输出特征图尺寸为输入图像尺寸1/16的残差网络模块，以及输出特征图尺寸为输入图像尺寸1/32的残差网络模块；
解码模块的主干网络包括依次设置的：
输出特征图尺寸为输入图像尺寸1/16的转置卷积模块，输出特征图尺寸为输入图像尺寸1/8的转置卷积模块，以及输出特征图尺寸为输入图像尺寸1/4的转置卷积模块；
目标输出模块的主干网络包括依次设置的：
步长为1的3×3卷积层，步长为1的1×1卷积层；
设输入图像为I∈RW×H×3，W为图像的宽度，H为图像的高度，3为图像的通道数，经过特征提取模块、解码模块、目标输出模块后输出为
输出的3个特征图尺寸为输入图像的1/4，通道数为3，分别表征压板位置特征图、压板宽度特征图、压板高度特征图；其中压板位置特征图的取值范围为[0,1]，数值表示当前位置为压板中心点的置信度，Yx,y,0＝1表示位置(x,y)处为压板中心点，Yx,y,0＝0表示位置(x,y)处为背景；压板宽度和高度特征图的取值范围为非负数，表示当前位置压板的宽度和高度。
进一步地，步骤2中所述压板状态识别网络包括依次设置的特征提取层、特征融合层和输出判别层；其中，
所述特征提取层包含多个依次连接的卷积层和池化层，输出当前待测图像和参考图像的特征图；所述当前待测图像和参考图像分别对应所述当前压板区域图像和上次采集的压板区域图像；
所述特征融合层将待测图像和参考图像提取到的特征图按照对应维度直接进行拼接；
所述输出判别层采用卷积层和全连接层，经交叉熵输出两幅图像的一致性，设输出张量为O，维度为1×2，O[0]表示两幅图像投退状态一致的置信度，O[1]表示两幅图像投退状态不一致的置信度。
进一步地，步骤3所述将压板位置检测网络及压板状态识别网络视为整体，对该整体网络进行训练，具体为：对该整体网络进行端到端的训练，包括：
(1)压板位置检测网络训练：
步骤3-1-1，将步骤1获得的训练集图像尺寸统一调整为N×N，并通过数据增广技术对数据集进行增广处理；
步骤3-1-2，构建压板位置检测网络的损失函数：
a、网络共输出3通道的特征图：压板位置特征图、压板宽度特征图、压板高度特征图，其中压板位置特征图采用Focal-loss损失函数：
式中，α，β为超参数，N为当前图像中压板的个数，
为预测值，Yxy0为标签值，标签值采用未归一化的二维高斯函数分布：
式中，(xu,yu)为压板矩形框的中心点坐标，(x,y)为中心点周围任意一点的坐标，σx、σy分别为x、y的标准差；
c、压板宽度特征图和压板高度特征图采用绝对值损失函数，分别为：
式中，
为当前位置压板宽度预测值，Yxy1为当前位置压板宽度标签值，
为当前位置压板高度预测值，Yxy2为当前位置压板高度标签值；
c、检测压板位置网络的总体损失函数Ldet：
Ldet＝Lk+Lw+Lh
步骤3-1-3，采用Adam优化方法，根据损失值不断迭代优化网络模型参数，直至达到预设终止条件，结束训练；
(2)压板状态识别网络训练：
步骤3-2-1，将步骤1获得的当前压板图像和上一次采集的压板图像作为对比图像集，将两幅图像中压板区域进行裁剪，并将裁减后的压板图像尺寸统一调整为M×M，之后将两幅图像同时放入网络中进行训练；
步骤3-2-2，构建网络的损失函数，采用交叉熵损失函数：
L＝-[yi·log(pi)+(1-yi)log(1-pi)]
式中，yi为标签值，pi为网络预测值；
步骤3-2-3，采用Adam优化方法，根据损失值不断迭代优化网络模型参数，直至达到预设终止条件，结束训练。
进一步地，步骤4所述利用训练好的网络模型对待检测压板图像进行识别输出，具体包括：
步骤4-1，将待检测压板图像尺寸调整为N×N放入压板位置检测网络，输出每个压板的位置、尺寸信息；
步骤4-2，对步骤4-1得到的结果进行非极大值抑制处理，去除冗余矩形框；
步骤4-3，根据压板位置检测网络得到的矩形框在原图上裁剪得到压板区域，将压板区域图像尺寸调整为M×M，同时与前一次采集的压板区域图像一同放入压板状态识别网络进行状态一致性判断，得到当前压板的投退状态；
步骤4-4，对每一个压板的位置与投退状态进行显示输出及本地保存。
进一步地，步骤4-2的具体过程包括：
步骤4-2-1，根据检测出的矩形框置信度得分对矩形框进行降序排列，得到候选矩形框列表；
步骤4-2-2，选择置信度得分最高的矩形框A添加到最终的输出列表中，并将其从候选矩形框列表中删除；
步骤4-2-3，计算矩形框A与候选列表中的所有矩形框交并比IOU，删除大于阈值T的候选矩形框；其中IOU的计算公式为：
式中，A、B均为矩形框区域；
步骤4-2-4，重复步骤4-2-1到4-2-3的过程，直到候选矩形框列表为空，返回输出列表。
一种嵌入式继电保护压板投退状态识别装置，所述装置包括依次设置的：
图像采集模块，用于采集包含压板的继电保护屏图像，构建压板数据集；
网络构建模块，用于构建压板位置检测网络及压板状态识别网络；
模型训练模块，用于将压板位置检测网络及压板状态识别网络视为整体，对该整体网络进行训练；
检测识别模块，用于利用训练好的网络模型对待检测压板图像进行识别输出，并保存。
本发明与现有技术相比，其显著优点为：
(1)本发明基于深度学习，对于拍摄角度、光照等变化具有很强的稳健性。
(2)本发明基于嵌入式设备，不需要对继电保护屏进行改造，不影响继电保护系统的稳定性。
(3)本发明将压板的检测和识别过程采用两个轻量级的子网络完成，每个网络学习的目标单一，降低了模型的学习难度，提高了模型的检测和识别效果。
(4)压板投退状态识别网络采用对比网络，与上一次采集的压板图像进行对比输出，提高了模型的识别准确率。
下面结合附图对本发明作进一步详细描述。
附图说明
图1为一个实施例中压板位置检测与状态识别方法的流程图。
图2为一个实施例中压板位置检测网络结构图。
图3为一个实施例中压板状态识别网络结构图。
图4为一个实施例中压板识别流程图。
图5为一个实施例中嵌入式继电保护压板投退状态识别装置结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，结合图1，提供了一种嵌入式继电保护压板投退状态识别方法，所述方法包括以下步骤：
步骤1，采集包含压板的继电保护屏图像，构建压板数据集；
步骤2，构建压板位置检测网络及压板状态识别网络；
步骤3，将压板位置检测网络及压板状态识别网络视为整体，对该整体网络进行训练；
步骤4，利用训练好的网络模型对待检测压板图像进行识别输出。
该方法利用嵌入式中轻量化的神经网络对压板图像进行位置检测及状态识别，同时输出识别结果并保存在本地。
进一步地，在其中一个实施例中，步骤1所述采集包含压板的继电保护屏图像，构建压板数据集，具体包括：
步骤1-1，采集压板图像，根据拍摄时间、拍摄设备对数据集进行整理；
步骤1-2，构建压板位置检测数据集：采用矩形框对图像中的压板区域进行标注，标注数据包括矩形左上角坐标与右下角坐标；
步骤1-3，构建压板状态识别数据集：对步骤1-2标注的压板区域进行投退状态标注，开为0，关为1，同时标注上一次采集到的图像名称、压板区域位置、压板投退状态；
步骤1-4，对所述压板位置检测数据集和压板状态识别数据集进行一一对应合并，形成压板数据集；
步骤1-5，按预设的比例n1:n2:n3对上述压板数据集进行随机抽样，构建训练集、验证集和测试集；其中n1+n2+n3＝1。
进一步地，在其中一个实施例中，步骤2中所述压板位置检测网络的输入为待识别的继电保护屏图像，输出为每个压板的区域位置；
所述压板状态识别网络为对比网络，输入为当前压板区域图像和上次采集的压板区域图像，输出为两幅压板区域图像的状态一致性。
进一步地，在其中一个实施例中，步骤2中所述压板位置检测网络包括依次设置的特征提取模块、解码模块和目标输出模块，其中，
所述特征提取模块，用于提取图像的特征并进行编码；可选网络包括：MobileNet、GoogleNet、ResNet等深度神经网络；
所述解码模块，用于对提取到的特征进行解码输出，经解码后的特征图尺寸为输入图像的1/4；在网络结构上体现为增大特征图的尺寸，可选网络结构包括上采样层(Up-sampling)+卷积层、反卷积层(deconvolution)；
所述目标输出模块，用于根据解码模块信息输出压板的位置、尺寸、置信度。具体为：用于特征通道分离，输出3通道的特征图，分别表征压板的位置、宽度、高度。
进一步地，在其中一个实施例中，所述特征提取模块以ResNet网络中的残差模块为基础进行构建，所述解码模块以转置卷积为基础进行构建，所述目标输出模块以卷积层模块构建，在解码模块后，经过2层卷积操作，输出3通道的特征图，分别表征压板的位置、宽度、高度；
具体地，结合图2，特征提取模块的主干网络包括依次设置的：
步长为2的7×7卷积层，步长为2的3×3最大值池化层，输出特征图尺寸为输入图像1/8的残差网络模块，输出特征图尺寸为输入图像尺寸1/16的残差网络模块，以及输出特征图尺寸为输入图像尺寸1/32的残差网络模块；
解码模块的主干网络包括依次设置的：
输出特征图尺寸为输入图像尺寸1/16的转置卷积模块，输出特征图尺寸为输入图像尺寸1/8的转置卷积模块，以及输出特征图尺寸为输入图像尺寸1/4的转置卷积模块；
目标输出模块的主干网络包括依次设置的：
步长为1的3×3卷积层，步长为1的1×1卷积层；
设输入图像为I∈RW×H×3，W为图像的宽度，H为图像的高度，3为图像的通道数，经过特征提取模块、解码模块、目标输出模块后输出为
输出的3个特征图尺寸为输入图像的1/4，通道数为3，分别表征压板位置特征图、压板宽度特征图、压板高度特征图；其中压板位置特征图的取值范围为[0,1]，数值表示当前位置为压板中心点的置信度，Yx,y,0＝1表示位置(x,y)处为压板中心点，Yx,y,0＝0表示位置(x,y)处为背景；压板宽度和高度特征图的取值范围为非负数，表示当前位置压板的宽度和高度。
进一步地，在其中一个实施例中，步骤2中所述压板状态识别网络包括依次设置的特征提取层、特征融合层和输出判别层；结合图3，其中，
所述特征提取层包含多个依次连接的卷积层和池化层，输出当前待测图像和参考图像的特征图；所述当前待测图像和参考图像分别对应所述当前压板区域图像和上次采集的压板区域图像；
所述特征融合层将待测图像和参考图像提取到的特征图按照对应维度直接进行拼接；
所述输出判别层采用卷积层和全连接层，经交叉熵输出两幅图像的一致性，设输出张量为O，维度为1×2，O[0]表示两幅图像投退状态一致的置信度，O[1]表示两幅图像投退状态不一致的置信度。
进一步地，在其中一个实施例中，步骤3所述将压板位置检测网络及压板状态识别网络视为整体，对该整体网络进行训练，具体为：对该整体网络进行端到端的训练，包括：
(1)压板位置检测网络训练：
步骤3-1-1，将步骤1获得的训练集图像尺寸统一调整为N×N，并通过数据增广技术对数据集进行增广处理，包括但不限于通过左右翻转、颜色变化来增加训练集样本数量；
步骤3-1-2，构建压板位置检测网络的损失函数：
a、网络共输出3通道的特征图：压板位置特征图、压板宽度特征图、压板高度特征图，其中压板位置特征图采用Focal-loss损失函数：
式中，α，β为超参数，N为当前图像中压板的个数，
为预测值，Yxy0为标签值，标签值采用未归一化的二维高斯函数分布：
式中，(xu,yu)为压板矩形框的中心点坐标，(x,y)为中心点周围任意一点的坐标，σx、σy分别为x、y的标准差；
d、压板宽度特征图和压板高度特征图采用绝对值损失函数，分别为：
式中，
为当前位置压板宽度预测值，Yxy1为当前位置压板宽度标签值，
为当前位置压板高度预测值，Yxy2为当前位置压板高度标签值；
c、检测压板位置网络的总体损失函数Ldet：
Ldet＝Lk+Lw+Lh
步骤3-1-3，采用Adam优化方法，根据损失值不断迭代优化网络模型参数，直至达到预设终止条件，结束训练；
(2)压板状态识别网络训练：
步骤3-2-1，将步骤1获得的当前压板图像和上一次采集的压板图像作为对比图像集，将两幅图像中压板区域进行裁剪，并将裁减后的压板图像尺寸统一调整为M×M，之后将两幅图像同时放入网络中进行训练；
步骤3-2-2，构建网络的损失函数，采用交叉熵损失函数：
L＝-[yi·log(pi)+(1-yi)log(1-pi)]
式中，yi为标签值，pi为网络预测值；
步骤3-2-3，采用Adam优化方法，根据损失值不断迭代优化网络模型参数，直至达到预设终止条件，结束训练。
进一步地，在其中一个实施例中，结合图4，步骤4所述利用训练好的网络模型对待检测压板图像进行识别输出，具体包括：
步骤4-1，将待检测压板图像尺寸调整为N×N放入压板位置检测网络，输出每个压板的位置、尺寸信息；
步骤4-2，对步骤4-1得到的结果进行非极大值抑制(NMS)处理，去除冗余矩形框；
步骤4-3，根据压板位置检测网络得到的矩形框在原图上裁剪得到压板区域，将压板区域图像尺寸调整为M×M，同时与前一次采集的压板区域图像一同放入压板状态识别网络进行状态一致性判断，得到当前压板的投退状态；
步骤4-4，对每一个压板的位置与投退状态进行显示输出及本地保存。
进一步地，在其中一个实施例中，步骤4-2的具体过程包括：
步骤4-2-1，根据检测出的矩形框置信度得分对矩形框进行降序排列，得到候选矩形框列表；
步骤4-2-2，选择置信度得分最高的矩形框A添加到最终的输出列表中，并将其从候选矩形框列表中删除；
步骤4-2-3，计算矩形框A与候选列表中的所有矩形框交并比IOU，删除大于阈值T的候选矩形框；其中IOU的计算公式为：
式中，A、B均为矩形框区域；
步骤4-2-4，重复步骤4-2-1到4-2-3的过程，直到候选矩形框列表为空，返回输出列表。
在一个实施例中，提供了一种嵌入式继电保护压板投退状态识别装置，所述装置包括依次设置的：
图像采集模块，用于采集包含压板的继电保护屏图像，构建压板数据集；
网络构建模块，用于构建压板位置检测网络及压板状态识别网络；
模型训练模块，用于将压板位置检测网络及压板状态识别网络视为整体，对该整体网络进行训练；
检测识别模块，用于利用训练好的网络模型对待检测压板图像进行识别输出，并保存。
在一个实施例中，还提供了一种基于轻量化网络的嵌入式继电保护压板投退状态识别装置，结合图5，包括：
嵌入式图像采集模块，用于采集包含压板的继电保护屏图像；
压板位置检测模块，用于检测上述图像中每一个压板的位置区域；
压板投退状态识别模块，用于识别每个压板的投退状态；
识别结果输出模块及本地存储模块，用于将上述的识别结果输出并进行本地保存。
进一步地，在其中一个实施例中，压板位置检测模块和压板投退状态识别模块采用嵌入式设备的嵌入式神经网络处理器(Neural Network Processing Unit，NPU)进行推理计算，嵌入式图像采集模块和识别结果输出模块及本地存储模块采用嵌入式设备的中央处理器(Central Processing Unit，CPU)进行操作控制。
关于嵌入式继电保护压板投退状态识别装置的具体限定可以参见上文中对于嵌入式继电保护压板投退状态识别方法的限定，在此不再赘述。上述基于嵌入式继电保护压板投退状态识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
本发明能够快速、准确地定位压板并识别其投退状态，提升了变电设备运维的智能化，减少了人工巡检的依赖性，该方法能够有效减少拍摄角度变化、光照强度变化等带来的影响，对于不同应用场景具有很强的稳健性和适应性。
以上公开的仅为本发明的一个具体实施方式，但是本发明并非局限于此，本领域的技术人员在不脱离本发明所保护的范围和精神下，可根据不同的实际需要做出各种具体的变化，仍属于本发明的保护范围。
Claims (10)
1.一种嵌入式继电保护压板投退状态识别方法，其特征在于，所述方法包括以下步骤：
步骤1，采集包含压板的继电保护屏图像，构建压板数据集；
步骤2，构建压板位置检测网络及压板状态识别网络；
步骤3，将压板位置检测网络及压板状态识别网络视为整体，对该整体网络进行训练；
步骤4，利用训练好的网络模型对待检测压板图像进行识别输出。
2.根据权利要求1所述的嵌入式继电保护压板投退状态识别方法，其特征在于，步骤1所述采集包含压板的继电保护屏图像，构建压板数据集，具体包括：
步骤1-1，采集压板图像；
步骤1-2，构建压板位置检测数据集：采用矩形框对图像中的压板区域进行标注，标注数据包括矩形左上角坐标与右下角坐标；
步骤1-3，构建压板状态识别数据集：对步骤1-2标注的压板区域进行投退状态标注，开为0，关为1，同时标注上一次采集到的图像名称、压板区域位置、压板投退状态；
步骤1-4，对所述压板位置检测数据集和压板状态识别数据集进行一一对应合并，形成压板数据集；
步骤1-5，按预设的比例n1:n2:n3对上述压板数据集进行随机抽样，构建训练集、验证集和测试集；其中n1+n2+n3＝1。
3.根据权利要求1或2所述的嵌入式继电保护压板投退状态识别方法，其特征在于，步骤2中所述压板位置检测网络的输入为待识别的继电保护屏图像，输出为每个压板的区域位置；
所述压板状态识别网络为对比网络，输入为当前压板区域图像和上次采集的压板区域图像，输出为两幅压板区域图像的状态一致性。
4.根据权利要求3所述的嵌入式继电保护压板投退状态识别方法，其特征在于，步骤2中所述压板位置检测网络包括依次设置的特征提取模块、解码模块和目标输出模块，其中，
所述特征提取模块，用于提取图像的特征并进行编码；
所述解码模块，用于对提取到的特征进行解码输出，经解码后的特征图尺寸为输入图像的1/4；
所述目标输出模块，用于根据解码模块信息输出压板的位置、尺寸、置信度。
5.根据权利要求4所述的嵌入式继电保护压板投退状态识别方法，其特征在于，所述特征提取模块以ResNet网络中的残差模块为基础进行构建，所述解码模块以转置卷积为基础进行构建，所述目标输出模块以卷积层模块构建，在解码模块后，经过2层卷积操作，输出3通道的特征图，分别表征压板的位置、宽度、高度；
具体地，特征提取模块的主干网络包括依次设置的：
步长为2的7×7卷积层，步长为2的3×3最大值池化层，输出特征图尺寸为输入图像1/8的残差网络模块，输出特征图尺寸为输入图像尺寸1/16的残差网络模块，以及输出特征图尺寸为输入图像尺寸1/32的残差网络模块；
解码模块的主干网络包括依次设置的：
输出特征图尺寸为输入图像尺寸1/16的转置卷积模块，输出特征图尺寸为输入图像尺寸1/8的转置卷积模块，以及输出特征图尺寸为输入图像尺寸1/4的转置卷积模块；
目标输出模块的主干网络包括依次设置的：
步长为1的3×3卷积层，步长为1的1×1卷积层；
设输入图像为I∈RW×H×3，W为图像的宽度，H为图像的高度，3为图像的通道数，经过特征提取模块、解码模块、目标输出模块后输出为
输出的3个特征图尺寸为输入图像的1/4，通道数为3，分别表征压板位置特征图、压板宽度特征图、压板高度特征图；其中压板位置特征图的取值范围为[0,1]，数值表示当前位置为压板中心点的置信度，Yx,y,0＝1表示位置(x,y)处为压板中心点，Yx,y,0＝0表示位置(x,y)处为背景；压板宽度和高度特征图的取值范围为非负数，表示当前位置压板的宽度和高度。
6.根据权利要求5所述的嵌入式继电保护压板投退状态识别方法，其特征在于，步骤2中所述压板状态识别网络包括依次设置的特征提取层、特征融合层和输出判别层；其中，
所述特征提取层包含多个依次连接的卷积层和池化层，输出当前待测图像和参考图像的特征图；所述当前待测图像和参考图像分别对应所述当前压板区域图像和上次采集的压板区域图像；
所述特征融合层将待测图像和参考图像提取到的特征图按照对应维度直接进行拼接；
所述输出判别层采用卷积层和全连接层，经交叉熵输出两幅图像的一致性，设输出张量为O，维度为1×2，O[0]表示两幅图像投退状态一致的置信度，O[1]表示两幅图像投退状态不一致的置信度。
7.根据权利要求6所述的嵌入式继电保护压板投退状态识别方法，其特征在于，步骤3所述将压板位置检测网络及压板状态识别网络视为整体，对该整体网络进行训练，具体为：对该整体网络进行端到端的训练，包括：
(1)压板位置检测网络训练：
步骤3-1-1，将步骤1获得的训练集图像尺寸统一调整为N×N，并通过数据增广技术对数据集进行增广处理；
步骤3-1-2，构建压板位置检测网络的损失函数：
a、网络共输出3通道的特征图：压板位置特征图、压板宽度特征图、压板高度特征图，其中压板位置特征图采用Focal-loss损失函数：
式中，α，β为超参数，N为当前图像中压板的个数，
为预测值，Yxy0为标签值，标签值采用未归一化的二维高斯函数分布：
式中，(xu,yu)为压板矩形框的中心点坐标，(x,y)为中心点周围任意一点的坐标，σx、σy分别为x、y的标准差；
b、压板宽度特征图和压板高度特征图采用绝对值损失函数，分别为：
式中，
为当前位置压板宽度预测值，Yxy1为当前位置压板宽度标签值，
为当前位置压板高度预测值，Yxy2为当前位置压板高度标签值；
c、检测压板位置网络的总体损失函数Ldet：
Ldet＝Lk+Lw+Lh
步骤3-1-3，采用Adam优化方法，根据损失值不断迭代优化网络模型参数，直至达到预设终止条件，结束训练；
(2)压板状态识别网络训练：
步骤3-2-1，将步骤1获得的当前压板图像和上一次采集的压板图像作为对比图像集，将两幅图像中压板区域进行裁剪，并将裁减后的压板图像尺寸统一调整为M×M，之后将两幅图像同时放入网络中进行训练；
步骤3-2-2，构建网络的损失函数，采用交叉熵损失函数：
L＝-[yi·log(pi)+(1-yi)log(1-pi)]
式中，yi为标签值，pi为网络预测值；
步骤3-2-3，采用Adam优化方法，根据损失值不断迭代优化网络模型参数，直至达到预设终止条件，结束训练。
8.根据权利要求7所述的嵌入式继电保护压板投退状态识别方法，其特征在于，步骤4所述利用训练好的网络模型对待检测压板图像进行识别输出，具体包括：
步骤4-1，将待检测压板图像尺寸调整为N×N放入压板位置检测网络，输出每个压板的位置、尺寸信息；
步骤4-2，对步骤4-1得到的结果进行非极大值抑制处理，去除冗余矩形框；
步骤4-3，根据压板位置检测网络得到的矩形框在原图上裁剪得到压板区域，将压板区域图像尺寸调整为M×M，同时与前一次采集的压板区域图像一同放入压板状态识别网络进行状态一致性判断，得到当前压板的投退状态；
步骤4-4，对每一个压板的位置与投退状态进行显示输出及本地保存。
9.根据权利要求8所述的嵌入式继电保护压板投退状态识别方法，其特征在于，步骤4-2的具体过程包括：
步骤4-2-1，根据检测出的矩形框置信度得分对矩形框进行降序排列，得到候选矩形框列表；
步骤4-2-2，选择置信度得分最高的矩形框A添加到最终的输出列表中，并将其从候选矩形框列表中删除；
步骤4-2-3，计算矩形框A与候选列表中的所有矩形框交并比IOU，删除大于阈值T的候选矩形框；其中IOU的计算公式为：
式中，A、B均为矩形框区域；
步骤4-2-4，重复步骤4-2-1到4-2-3的过程，直到候选矩形框列表为空，返回输出列表。
10.实现权利要求1至9任意一项所述方法的嵌入式继电保护压板投退状态识别装置，其特征在于，所述装置包括依次设置的：
图像采集模块，用于采集包含压板的继电保护屏图像，构建压板数据集；
网络构建模块，用于构建压板位置检测网络及压板状态识别网络；
模型训练模块，用于将压板位置检测网络及压板状态识别网络视为整体，对该整体网络进行训练；
检测识别模块，用于利用训练好的网络模型对待检测压板图像进行识别输出，并保存。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110111424.5A CN112801974B (zh) | 2021-01-27 | 2021-01-27 | 一种嵌入式继电保护压板投退状态识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110111424.5A CN112801974B (zh) | 2021-01-27 | 2021-01-27 | 一种嵌入式继电保护压板投退状态识别方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112801974A true CN112801974A (zh) | 2021-05-14 |
| CN112801974B CN112801974B (zh) | 2023-08-08 |
Family
ID=75812184
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110111424.5A Active CN112801974B (zh) | 2021-01-27 | 2021-01-27 | 一种嵌入式继电保护压板投退状态识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112801974B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113888402A (zh) * | 2021-11-02 | 2022-01-04 | 国网辽宁省电力有限公司抚顺供电公司 | 用于继电保护屏柜图像压板目标检测结果的行列转换方法 |
| CN114069844A (zh) * | 2021-10-27 | 2022-02-18 | 国网冀北电力有限公司张家口供电公司 | 基于深度学习的变电站二次设备状态图像识别方法 |
| CN114422689A (zh) * | 2021-12-03 | 2022-04-29 | 国网山西省电力公司超高压变电分公司 | 一种基于边缘智能的硬压板状态识别装置和方法 |
| CN115393691A (zh) * | 2022-09-05 | 2022-11-25 | 中国长江电力股份有限公司 | 基于Mask_RCNN算法的继电保护压板投退状态的自动检测方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106971182A (zh) * | 2017-02-06 | 2017-07-21 | 王兴照 | 嵌入式电力继电压板投退状态智能识别装置及实现方法 |
| CN109446982A (zh) * | 2018-10-25 | 2019-03-08 | 国网福建省电力有限公司厦门供电公司 | 一种基于ar眼镜的电力屏柜压板状态识别方法及系统 |
-
2021
- 2021-01-27 CN CN202110111424.5A patent/CN112801974B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106971182A (zh) * | 2017-02-06 | 2017-07-21 | 王兴照 | 嵌入式电力继电压板投退状态智能识别装置及实现方法 |
| CN109446982A (zh) * | 2018-10-25 | 2019-03-08 | 国网福建省电力有限公司厦门供电公司 | 一种基于ar眼镜的电力屏柜压板状态识别方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 汪洋等: "基于深度学习的变电站硬压板状态检测与识别算法", 《沈阳工业大学学报》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114069844A (zh) * | 2021-10-27 | 2022-02-18 | 国网冀北电力有限公司张家口供电公司 | 基于深度学习的变电站二次设备状态图像识别方法 |
| CN114069844B (zh) * | 2021-10-27 | 2023-08-04 | 国网冀北电力有限公司张家口供电公司 | 基于深度学习的变电站二次设备状态图像识别方法 |
| CN113888402A (zh) * | 2021-11-02 | 2022-01-04 | 国网辽宁省电力有限公司抚顺供电公司 | 用于继电保护屏柜图像压板目标检测结果的行列转换方法 |
| CN114422689A (zh) * | 2021-12-03 | 2022-04-29 | 国网山西省电力公司超高压变电分公司 | 一种基于边缘智能的硬压板状态识别装置和方法 |
| CN115393691A (zh) * | 2022-09-05 | 2022-11-25 | 中国长江电力股份有限公司 | 基于Mask_RCNN算法的继电保护压板投退状态的自动检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112801974B (zh) | 2023-08-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112801974B (zh) | 一种嵌入式继电保护压板投退状态识别方法及装置 | |
| CN113011319B (zh) | 多尺度火灾目标识别方法及系统 | |
| CN111898432B (zh) | 一种基于改进YOLOv3算法的行人检测系统及方法 | |
| CN113052029A (zh) | 基于动作识别的异常行为监管方法、装置及存储介质 | |
| CN113569672B (zh) | 轻量级目标检测与故障识别方法、装置及系统 | |
| CN111814742A (zh) | 基于深度学习的刀闸状态识别方法 | |
| CN116546023B (zh) | 一种油气作业区暴力行为识别方法及系统 | |
| CN115527234A (zh) | 一种基于改进YOLOv5模型的红外图像笼内死鸡识别方法 | |
| CN114187520A (zh) | 一种建筑物提取模型及其应用方法 | |
| CN114662605A (zh) | 基于改进的YOLOv5模型的火焰检测方法 | |
| CN116502810B (zh) | 一种基于图像识别的标准化生产监测方法 | |
| CN116205905B (zh) | 基于移动端的配电网施工安全及质量图像检测方法及系统 | |
| CN117911763A (zh) | 一种森林火灾检测方法、系统、电子设备及介质 | |
| CN109509169A (zh) | 基于近邻分类的距离度量学习的压板状态检测装置与方法 | |
| CN117876922A (zh) | 一种基于视频识别电力现场作业风险的方法及装置 | |
| CN116051539A (zh) | 一种变电设备发热故障的诊断方法 | |
| CN115393691A (zh) | 基于Mask_RCNN算法的继电保护压板投退状态的自动检测方法 | |
| CN113743306A (zh) | 一种基于slowfast双帧速率的实时智能视频监控异常行为分析方法 | |
| Cai et al. | Image sequence-based risk behavior detection of power operation inspection personnel | |
| CN118366008B (zh) | Gis多源局放模式的识别方法、装置、设备、存储介质 | |
| CN114913189B (zh) | 基于深度神经网络的煤矸石图像分割方法、装置及设备 | |
| Gan et al. | Intelligent fault diagnosis with deep architecture | |
| Li et al. | Building Recognition of Aerial Images Based on Improved Unet Network | |
| CN116012783A (zh) | 一种基于深度学习网络的电力实训场区域人数识别方法 | |
| Zhaona et al. | Electric Equipment Panel Detection and Segmentation based on Mask R-CNN |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Mao Yaobin Inventor after: Cao Guibao Inventor after: Sui Mengjun Inventor after: Diao Jie Inventor after: Xiang Wenbo Inventor before: Cao Guibao Inventor before: Sui Mengjun Inventor before: Mao Yaobin Inventor before: Diao Jie Inventor before: Xiang Wenbo |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |