CN117372956A - 一种变电站屏柜设备状态检测方法及装置 - Google Patents

一种变电站屏柜设备状态检测方法及装置 Download PDF

Info

Publication number
CN117372956A
CN117372956A CN202311353328.7A CN202311353328A CN117372956A CN 117372956 A CN117372956 A CN 117372956A CN 202311353328 A CN202311353328 A CN 202311353328A CN 117372956 A CN117372956 A CN 117372956A
Authority
CN
China
Prior art keywords
screen cabinet
model
target detection
image
substation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311353328.7A
Other languages
English (en)
Inventor
岳绍龙
高宗彬
李睿
方亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhiyang Innovation Technology Co Ltd
Original Assignee
Zhiyang Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhiyang Innovation Technology Co Ltd filed Critical Zhiyang Innovation Technology Co Ltd
Priority to CN202311353328.7A priority Critical patent/CN117372956A/zh
Publication of CN117372956A publication Critical patent/CN117372956A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于目标检测的技术领域，更具体地，涉及一种变电站屏柜设备状态检测方法及装置。所述方法包括：获取变电站内屏柜二次设备图像以构建样本数据集，对样本数据集进行标注并将其划分为训练集和验证集；构建目标检测模型和图像分类模型，利用训练集分别对目标检测模型和图像分类模型进行训练；利用训练后的目标检测模型识别屏柜二次设备的状态，并利用训练后的图像分类模型检测目标检测模型是否存在目标漏检，同时结合OCR模型识别屏柜名称，以此为索引进行屏柜二次设备状态对比，并将最终对比的差异区域标注出来。本发明解决了智能巡检变电站屏柜过程中二次设备状态难以确认以及现有的巡检方式存在人员工作量大、巡视工作效率较低等问题。

Description

一种变电站屏柜设备状态检测方法及装置
技术领域
本发明属于目标检测的技术领域，更具体地，涉及一种变电站屏柜设备状态检测方法及装置。
背景技术
常规的电力站所面临着人工巡视、人工复盘的大量重复性工作。以上海某变电站为例，变电运检中心负责十余万面屏巡视、记录等工作，需要每一季度对屏柜进行例行巡检，而现有的巡检方式存在着以下问题：(1)屏柜数量多，运行工况复杂，巡视人员需要对每座站内大量点位进行人工核对，导致巡视效率较低；同时巡检人员个人能力以及责任心不同，巡视结果也存在一定的差异。(2)屏柜压板、空开等设备动作后需要现场操作人员一一比对，并重新打印当前状态，工作量较为繁琐。(3)屏柜柜门会遮挡部分设备，且空开大部分都安装于屏柜后面，巡检时需打开屏柜后门才能查看到具体状态，常规摄像机或轨道机器人无法实现对上述设备状态监测。上述巡检方式存在人员工作量大、巡视工作效率较低等问题。
综上问题，运维人员期望通过较便捷的方式对屏柜压板、指示灯、空开等进行智能检测识别，以实现设备状态智能研判，减少运检人员的工作量，并期望打造数字化运检，建立以数据驱动业务的运检管理新模式。
中国专利文献CN115409816A提出一种变电站屏柜压板状态识别方法、装置、设备及存储介质，通过根据当前屏柜图像，基于预训练得到的压板区域检测模型，确定当前屏柜图像的压板检测区域；根据压板检测区域，基于预训练得到的目标压板检测模型，得到压板检测区域下的屏柜标签图像和待识别压板的压板区域图像；根据屏柜标签图像和压板区域图像，确定待识别压板的投退状态。
中国专利文献CN113221687A提出一种压板状态识别模型的训练方法及压板状态识别方法，通过在标准的YOLOv5s算法的特征提取主干网络中采用MobilenetV3网络来替换官方的CSPDarknet53网络，并进行稀疏处理和模型通道剪枝，可以达到精简网络参数及模型大小的目的，降低算法对计算机硬件资源的消耗，使得模型能够适应用于计算性能一般的边缘终端设备中实现压板状态识别；同时，利用模型蒸馏技术使得最终得到的模型文件具有较高的识别准确度，能够满足在边缘终端上对屏柜压板状态进行智能化识别的应用需求。
上述方式仅实现了对变电站屏柜压板状态的自动化识别，无法识别出屏柜开关、指示灯等其他二次设备的状态，无法识别出当前屏柜与上一时刻发生的变化，同时也无法检测出模型是否存在目标漏检漏报的情况。
基于此，为了解决上述存在的问题，亟需一种能够智能检测识别变电站屏柜设备状态的方法或装置，以实现设备状态的智能研判，减少运检人员的工作量，提高巡视工作效率。
发明内容
本发明旨在克服上述现有技术的至少一种缺陷，提供一种变电站屏柜设备状态检测方法，以解决智能巡检变电站屏柜过程中二次设备状态难以确认以及现有的巡检方式存在人员工作量大、巡视工作效率较低等问题。
本发明还公开一种加载有变电站屏柜设备状态检测方法的装置。
本发明详细的技术方案如下：
一种变电站屏柜设备状态检测方法，所述方法包括：
S1、获取变电站内屏柜二次设备图像以构建样本数据集，对所述样本数据集进行标注，并将标注后的样本数据集划分为训练集和验证集；
S2、构建目标检测模型和图像分类模型，并利用所述训练集分别对目标检测模型和图像分类模型进行训练；
S3、利用训练后的目标检测模型识别屏柜二次设备的状态，并利用训练后的图像分类模型检测目标检测模型是否存在目标漏检，同时结合OCR模型识别屏柜名称，以此为索引进行屏柜二次设备状态对比，并对最终对比的差异区域进行标注。
根据本发明优选的，所述步骤S2中，基于改进的YOLOv5网络并结合CBAM注意力机制构建目标检测模型；其中，所述改进的YOLOv5网络为在初始YOLOv5网络的输出头增加上采样分支，以增大经上采样后输出的特征图，具体包括：
抽取初始YOLOv5网络中经4倍下采样后得到的第一特征图；
将初始YOLOv5网络中8倍下采样的特征图进行1倍上采样操作，得到第二特征图；
将所述第一特征图和第二特征图进行融合得到新特征图，所述新特征图的尺寸大于第一特征图和第二特征图的尺寸。
根据本发明优选的，所述CBAM注意力机制包含通道注意力图Mc(F)和空间注意力图Ms(F)，其中：
Mc(F)＝σ(MLP(AvgPool(F))+MLP(MaxPool(F))) (1)
Ms(F)＝σ(f7×7([AvgPool(F))；MaxPool(F)])) (2)
式(1)和式(2)中，σ(·)表示sigmoid函数，MLP表示一个多层感知器，AvgPool(F)和MaxPool(F)分别表示平均池化特征和最大池化特征，f7×7表示一个滤波器大小为7×7的卷积运算；且，式(1)中表示AvgPool(F)和MaxPool(F)被转发到一个多层感知器MLP组成的共享网络中，经过sigmoid函数σ以产生通道注意力图Mc(F)；式(2)中表示AvgPoOl(F)和MaxPool(F)聚合生成两个2D图，经过sigmoid函数σ生成空间注意力图Ms(F)。
根据本发明优选的，所述步骤S2中，利用训练集对目标检测模型进行训练之前，首先采用Kmeans聚类算法对所述训练集进行锚框聚类，并利用得到的锚框对所述目标检测模型进行训练；其中，所述采用Kmeans聚类算法对训练集进行锚框，具体包括：
S21、提取所述训练集中每个图像的所有边界框的坐标值，并将所有边界框的坐标值转换为边界框的高度值和宽度值，其中，所述边界框为对所述样本数据集进行标注得到；
S22、随机选定M个坐标作为Kmeans聚类算法的中心点，计算训练集中每个图像的每个边界框与各中心点之间的交并比值，并将每个边界框分配给与其交并比值最大的中心点所属的簇；
S23、根据每个簇中所有边界框的坐标的平均值更新簇的中心点；
S24、重复步骤S22～S23，直到每个簇的中心点稳定或达到预设的最大迭代次数后停止操作，并得到M个锚框用于训练所述目标检测模型。
根据本发明优选的，所述步骤S2中构建的图像分类模型依次包括一个5*5卷积层、7组深度可分离卷积模块和一个全连接层，其中每组深度可分离卷积模块依次包括一个3*3深度卷积层、一个1*1点卷积层和一个2*2池化层。
根据本发明优选的，所述步骤S2中，利用训练集对图像分类模型进行训练，具体包括：
将所述训练集输入到图像分类模型中，输入特征图的通道数为N；
对N个通道分别单独使用一个卷积核进行卷积操作，得到N个通道为1的特征图；
将所述N个通道为1的特征图按顺序拼接，得到一个通道为N的输出特征图；
将所述通道为N的输出特征图在深度方向进行加权组合，得到新的高维特征图；
其中，所述新的高维特征图采用Softmax激活函数输出，即：
式(3)中，y表示当前样本的类别，e表示自然对数的底数，Zi表示网络提取到的属于第i类的特征值，zy是当前类的特征值，C表示总共的分类个数。
根据本发明优选的，所述步骤S2中，利用训练集对图像分类模型进行训练，具体还包括：利用Softmax交叉熵损失并使用梯度下降法迭代，使Softmax交叉熵损失的值逐渐减小直至收敛，以完成模型训练，其中：
式(4)中，Lsoftmax表示Softmax交叉熵损失。
根据本发明优选的，所述步骤S3中，利用训练后的目标检测模型识别屏柜二次设备的状态，具体包括：将待识别的屏柜二次设备图像输入到训练后的目标检测模型中，目标检测模型首先对输入的图像进行水平矫正，所述矫正操作包括提取图像中的直线并剔除接近竖直的直线，然后计算其余直线的平均倾角，并根据平均倾角旋转矫正图像；其中，图像中的直线是通过霍夫直线检测给出，此处是指屏柜上的边缘线。
根据本发明优选的，所述步骤S3中，利用训练后的图像分类模型检测目标检测模型是否存在目标漏检，具体包括：
检测待识别图像中的目标分布情况并找出异常分布的目标，其中，异常分布的目标是指通过统计屏柜每两个相邻二次设备(压板、指示灯等)的间隔距离，如果距离大于所有二次设备间隔距离的平均值，则判定这两个二次设备为异常分布的目标；
以异常分布的目标为中心，分别裁剪目标上下左右四个区域的图像并送入训练后的图像分类模型，并根据图像分类模型的输出结果确定目标检测模型是否存在目标漏检。
在本发明的另一个方面当中，还提供了一种实现变电站屏柜设备状态检测方法的装置，所述装置上存储有可执行的计算机程序，该计算机程序被执行时对应完成如上所述的变电站屏柜设备状态检测方法。
与现有技术相比，本发明的有益效果为：
(1)本发明提供的一种变电站屏柜设备状态检测方法，通过利用深度学习技术，改进目标检测网络，同时搭建轻量级图像识别网络，通过对图像数据的归类学习，对变电站屏柜设备具备稳定的状态识别能力。
(2)本发明利用巡检屏柜名称的唯一性，采用OCR模型识别屏柜名称，同时结合目标检测模型和图像分类模型识别出屏柜开关、压板等二次设备的状态，自动建立屏柜数据库，并对识别结果进行行列化处理，以OCR模型识别的屏柜名称为索引，在屏柜数据库中找到当前屏柜的历史状态，通过将当前识别的状态数据与对应的历史状态数据进行对比，从而识别出屏柜二次设备的状态变化，最后输出变化目标所在的行列位置并进行告警。
(3)本发明系统性的解决了变电站屏柜巡视、异常告警的关键难题，极大减少人员工作量以及人工操作，显著提高巡检工作的效率。
附图说明
图1是本发明所述变电站屏柜设备状态检测方法的流程图。
图2是本发明实施例1中目标检测模型的网络结构图。
图3是本发明实施例1中CBAM注意力机制的网络结构图。
图4是本发明实施例1中训练后的目标检测模型的评估表现示意图。
图5是本发明实施例1中图像分类模型的网络结构图。
图6是本发明实施例1中图像分类模型中深度卷积的原理示意图。
图7是本发明实施例1中变电站屏柜设备状态识别效果图。
具体实施方式
下面结合附图与实施例对本公开做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
本发明为解决现有的变电站屏柜设备状态巡检方式中所存在的人员工作量大、巡视工作效率较低的问题，提供一种变电站屏柜设备状态检测方法，该方法主要包括模型训练和模型应用两个阶段。在模型训练阶段，利用变电站内屏柜二次设备的图像对构建的目标检测模型以及图像分类模型进行训练；在模型应用阶段，利用训练好的目标检测模型检测识别屏柜二次设备的状态，同时利用图像分类模型来检测目标检测模型是否存在目标漏检漏报的情况，然后再结合OCR模型识别屏柜名称，以此为索引进行屏柜二次设备状态对比，并将最终对比出来的差异区域以矩形框的形式标注出来，从而实现准确检出屏柜二次设备状态的变化情况。
为方便使用，可以将上述功能封装为移动端(如手机)APP，运检人员可以手持移动端设备进行拍照识别，识别结果自动生成电子报表，极大减少人员工作量以及人工操作，显著提高巡检工作的效率。
以下结合具体实施例对本发明的变电站屏柜设备状态检测方法及装置作详细说明。
实施例1、
参图1，本实施例提供一种变电站屏柜设备状态检测方法，所述方法包括：
步骤S1、获取变电站内屏柜二次设备图像以构建样本数据集，对所述样本数据集进行标注，并将标注后的样本数据集划分为训练集和验证集。
具体地，可以采用手机或者工业相机等设备来采集变电站内所有屏柜二次设备的图像。由于采集图像时可能存在较大的光线，导致所采集的图像间存在明暗差异，为了从数据层面保证模型的抗干扰性，需要对所采集的图像进行预处理，本实施例中可以采用常规图像扩充手段，包括明暗调整、去高斯噪声、水平翻转、垂直翻转等操作，使所采集的图像标准化，再将标准化后的图像数据构建为样本数据集。
然后将构建的样本数据集中每个图像中的所有目标检测点以矩形框的形式标注出来，再将标注后的样本数据集划分为训练集和验证集，其中训练集用于后续的模型训练，验证集用于评估训练后的模型表现。
步骤S2、构建目标检测模型和图像分类模型，并利用所述训练集分别对目标检测模型和图像分类模型进行训练。
本实施例中，可以基于YOLO网络作为基础架构构建目标检测模型，优选基于改进的YOLOv5网络架构并结合CBAM注意力机制构建目标检测模型。
由于本实施例中的目标检测对象是屏柜二次设备，考虑到屏柜二次设备中小目标居多，因此优选改进目标检测网络输出头，通过在网络输出头增加上采样分支，提高小目标检测效果。具体参照图2所示，第一步抽取骨干网络中经4倍下采样后得到的第一特征图；第二步是将原网络中8倍下采样的特征图进行1倍上采样操作，得到第二特征图；第三步是将前两步中的第一特征图和第二特征图进行融合得到尺寸为160*160的新的特征图。这样改进的好处是上采样后特征图变大，小目标会变得明显，有利于小目标检测。
参图3，CBAM注意力机制分为空间注意力和通道注意力两部分，可直接插入到目标检测网络中，是一种即插即用的模块。CBAM注意力机制包含通道注意力图Mc(F)和空间注意力图Ms(F)，其中：
Mc(F)＝σ(MLP(AvgPool(F))+MLP(MaxPool(F))) (1)
Ms(F)＝σ(f7×7([Avgpool(F))；MaxPool(F)])) (2)
式(1)和式(2)中，σ(·)表示sigmoid函数，MLP表示一个多层感知器，AvgPool(F)和MaxPool(F)分别表示平均池化特征和最大池化特征，f7×7表示一个滤波器大小为7×7的卷积运算。且，式(1)中表示AvgPool(F)和MaxPool(F)被转发到一个多层感知器MLP组成的共享网络中，经过sigmoid函数σ以产生通道注意力图Mc(F)；式(2)中表示AvgPool(F)和MaxPool(F)聚合生成两个2D图，经过sigmoid函数σ生成空间注意力图Ms(F)。
将输入特征图F分别与通道注意力图Mc(F)与空间注意力图Ms(F)进行元素相乘操作，可以得到新的输出特征图F′，且新的输出特征图F′具备更强的特征表示能力，可以视为在原先两个特征层之间分别提取空间维度和通道维度特征，新获得的输出层较原输出层有更强的特征表示能力。因此，通过加入CBAM注意力机制，可以显著提升模型整体的识别率。
进一步地，由于所获取的变电站内屏柜二次设备图像中包含屏柜名称和二次设备等，考虑到屏柜名称和二次设备之间尺寸差异较大，因此本实施例中在利用训练集对目标检测模型进行训练之前，优选先采用Kmeans聚类算法对训练集进行锚框聚类，用于目标检测，然后再利用所得到的锚框对目标检测模型进行训练。
具体地，采用Kmeans聚类算法对训练集进行锚框的步骤包括：
S21、提取训练集中每个图像的所有边界框的坐标值，并将所有边界框的坐标值转换为边界框的高度值和宽度值；其中，该边界框即是步骤S1中用来标注目标检测点的矩形框；
S22、随机选定M个坐标作为Kmeans聚类算法的中心点，计算训练集中每个图像的每个边界框与各中心点之间的IoU(交并比)值，并将每个边界框分配给与其IoU值最大的中心点所属的簇；
S23、根据每个簇中所有边界框的坐标的平均值更新簇的中心点；
S24、重复步骤S22～S23，直到每个簇的中心点稳定或达到预设的最大迭代次数后停止操作，并得到M个中心点用于目标检测的锚框。
然后利用所得到的锚框对构建的目标检测模型进行训练。继续参图2，本实施例中改进后的目标检测模型包含4个分支，每个分支具有3个锚框，因此上述步骤中随机选定12个坐标作为Kmeans聚类算法的中心点，并最终得到12个锚框用于模型训练。
本实施例中预设150轮目标检测模型训练周期，在训练过程中结合划分的验证集评估训练后的模型表现，评估指标包括检出率Precision、召回率Recall以及精度mAP50，评估结果如图4所示，可以看出，模型具有98％以上的检出率及召回率，平均精度(mAP50)达到99％以上，显著论证了模型改进方案的有效性。
训练完成后，可以得到最终的目标检测模型，用来识别屏柜二次设备的状态。
参图5，本实施例中的图像分类模型依次包括一个5*5卷积层、7组深度可分离卷积模块和一个全连接层，其中每组深度可分离卷积模块又依次包括一个3*3深度卷积层、一个1*1点卷积层和一个2*2池化层。该图像分类模型接收224*224的输入图像，图像首先经过一层卷积核大小为5*5的卷积，然后经7组深度可分离卷积模块提取特征得到特征图，最后特征图被压缩为一维向量，并经过全连接层采用softmax激活函数预测输出。
进一步地，本实施例中采用深度分离卷积减少模型体量，并利用训练集对图像分类模型进行训练。具体参照图6所示，将训练集输入到图像分类模型中，输入特征图的通道数为N，对N个通道分别单独使用一个卷积核之后便得到N个通道为1的特征图。再将这N个特征图按顺序拼接便得到一个通道为N的输出特征图。点卷积的卷积核尺寸为1×1×N，将上一步的特征图在深度方向上进行加权组合，生成新的高维特征图，最后，经过多层卷积、池化操作后，所提取的高维特征采用Softmax激活函数输出，即：
式(3)中，y表示当前样本的类别，e表示自然对数的底数，Zi表示网络提取到的属于第i类的特征值，zy是当前类的特征值，C表示总共的分类个数。
最后利用Softmax交叉熵损失Lsoftmax并使用梯度下降法迭代，使Lsoftmax损失的值逐渐减小直至收敛，完成模型训练过程。其中：
训练完成后，可以得到最终的图像分类模型，主要用来检测目标检测模型是否存在目标漏检漏报的情况。且进一步地，训练好的图像分类模型还可以用来识别图像是前景类别还是背景类别，利用图像中目标分布先验挖掘潜在的漏检样本，裁剪潜在样本区域并送入训练好的图像分类模型当中，图像分类模型给出不同类别的置信度以确定输入图像是属于前景类别还是背景类别。所述的类别置信度是通过Softmax输出得到，具体是一个1*C的数组(C为分类类别数)，数字最大的类别即为当前的前景类。
步骤S3、利用训练后的目标检测模型识别屏柜二次设备的状态，并利用训练后的图像分类模型检测目标检测模型是否存在目标漏检，同时结合OCR模型识别屏柜名称，以此为索引进行屏柜二次设备状态对比，并对最终对比的差异区域进行标注。
具体地，将待识别的屏柜二次设备图像输入到训练后的目标检测模型中，目标检测模型首先对读入的图像进行水平矫正，具体矫正方式为：提取图像中的直线，并剔除接近竖直的直线，然后计算其余直线的平均倾角以用于旋转矫正图像；其中，图像中的直线是通过霍夫直线检测给出，此处是指屏柜上的边缘线。之后，目标检测模型再对矫正后的图像进行屏柜二次设备状态识别。
为了提高目标检测的准确度，防止目标漏检漏报，在运行训练好的目标检测模型的同时运行训练好的图像分类模型，依据待识别图像中的目标分布情况对异常分布的目标进行上下左右四邻域搜索，具体为：首先检测待识别图像中的目标分布情况并找出异常分布的目标，其中，异常分布的目标是指通过统计屏柜每两个相邻设备(压板、指示灯等)的间隔距离，如果距离大于所有设备间隔距离的平均值，则判断这两个设备为异常分布的目标，即这两个设备之间可能存在漏检；然后以异常分布的目标为中心，分别裁剪目标上下左右四个区域的图像并送入训练后的图像分类模型，并根据图像分类模型的输出结果确定目标检测模型是否存在目标漏检。
如此，通过利用深度学习技术，改进目标检测网络，同时搭建轻量级图像识别网络，通过对图像数据的归类学习，对变电站屏柜设备具备稳定的状态识别能力。
进一步地，本实施例中结合OCR模型识别屏柜名称，OCR模型(Optical CharacterRecognition，光学字符识别)的主要算法模型包括神经网络模型、隐马尔科夫模型、条件随机场模型、最大熵模型等。其中，神经网络模型具有较高识别精度和较强的处理不同字体、大小和复杂背景文字的能力；隐马尔科夫模型适用于处理序列数据，可用于语音识别、手写体识别等应用中；条件随机场模型常用于文本分类、词性标注等任务；最大熵模型常用于文本分词、命名实体识别等任务中。本实施例中优选采用开源的神经网络模型来识别屏柜名称。
本实施例中利用巡检屏柜名称的唯一性，采用OCR模型识别屏柜名称，同时结合目标检测模型和图像分类模型识别出屏柜开关、压板等二次设备的状态，自动建立屏柜数据库，用于存储上述识别的屏柜名称以及屏柜开关、压板等二次设备的状态。以OCR模型识别的屏柜名称为索引，在屏柜数据库中找到当前屏柜的历史状态，因目标检测的结果是无序的，所以检测状态变化前要先对目标检测结果按行列排序，使结果以固定的顺序存储于屏柜数据库中，然后通过将当前识别的状态数据与对应的历史状态数据进行对比，从而识别出屏柜二次设备的状态变化，最后输出变化目标所在的行列位置并进行告警。
实施例2、
本实施例提供了一种实现变电站屏柜设备状态检测方法的装置，所述装置上存储有可执行的计算机程序，该计算机程序被执行时对应完成如上所述的变电站屏柜设备状态检测方法。
在实际操作中，该装置的工作流程包括：
①拍摄目标样本图像；
②对图像进行水平矫正；
③调用目标检测模型，获取屏柜名称在图像中的位置并进行裁剪；
④调用OCR模型识别裁剪出的屏柜名称；
⑤基于目标检测模型获取屏柜二次设备如开关、压板等的位置状态；
⑥调用图像分类模型，判断是否存在目标漏检；
⑦合并识别到的屏柜名称与二次设备位置状态结果，并选择将该结果保存为模板或者进行变化检测；若选择保存模板，则以屏柜名称为索引，在屏柜数据库中建立信息；若进行变化检测，则以屏柜名称为索引，找到屏柜数据库中存储的设备位置状态历史数据以进行对比；一般来说，若该屏柜为第一次拍摄，则选择保存为模板；
⑧在当前索引内写入识别的二次设备位置状态信息；
⑨将历史数据与当前数据分别进行位置排序，并逐个位置比较设备状态是否一致；
⑩输出结果，包括识别到的屏柜名称、二次设备的位置状态、发生变化的区域等信息。
可以将上述功能封装为移动端(如手机)APP，运检人员可以手持移动端设备进行拍照识别，识别结果自动生成电子报表，极大减少人员工作量以及人工操作，显著提高巡检工作的效率。
图7为变电站屏柜设备状态识别效果的示范图。结合图7所示，在实际操作时：首先按页面提示拍摄带有屏柜名称的图片，如图7左图所示，点击“识别屏柜名称”后会自动调用OCR算法识别当前屏柜名称；然后页面提示进行采集识别图片，采集完成后，调用目标检测算法识别屏柜中开关、压板、指示灯等二次设备的位置状态；后台以该屏柜名称为索引在屏柜数据库中进行搜索，若不存在，后台将其新建为判别对比图片；若存在，页面提示是否进行状态对比；若选择进行状态对比，如图7右图所示，执行比较当前采集图片与历史的判别对比图片中的设备状态，并在“识别结果”中可视化发生变化的区域，同时配以文字描述，提示某行某列的某设备发生了何种状态变化。
显然，本发明的上述实施例仅仅是为清楚地说明本发明技术方案所作的举例，而并非是对本发明的具体实施方式的限定。凡在本发明权利要求书的精神和原则之内所做的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种变电站屏柜设备状态检测方法，其特征在于，所述方法包括：
S1：获取变电站内屏柜二次设备图像以构建样本数据集，对所述样本数据集进行标注，并将标注后的样本数据集划分为训练集和验证集；
S2：构建目标检测模型和图像分类模型，并利用所述训练集分别对目标检测模型和图像分类模型进行训练；
S3：利用训练后的目标检测模型识别屏柜二次设备的状态，并利用训练后的图像分类模型检测目标检测模型是否存在目标漏检，同时结合OCR模型识别屏柜名称，以此为索引进行屏柜二次设备状态对比，并对最终对比的差异区域进行标注。
2.根据权利要求1所述的变电站屏柜设备状态检测方法，其特征在于，所述步骤S2中，基于改进的YOLOv5网络并结合CBAM注意力机制构建目标检测模型；其中，所述改进的YOLOv5网络为在初始YOLOv5网络的输出头增加上采样分支，以增大经上采样后输出的特征图，具体包括：
抽取初始YOLOv5网络中经4倍下采样后得到的第一特征图；
将初始YOLOv5网络中8倍下采样的特征图进行1倍上采样操作，得到第二特征图；
将所述第一特征图和第二特征图进行融合得到新特征图，所述新特征图的尺寸大于第一特征图和第二特征图的尺寸。
3.根据权利要求2所述的变电站屏柜设备状态检测方法，其特征在于，所述CBAM注意力机制包含通道注意力图Mc(F)和空间注意力图Ms(F)，其中：
Mc(F)＝σ(MLP(AvgPool(F))+MLP(MaxPool(F))) (1)
Ms(F)＝σ(f7×7([AvgPool(F))；MaxPool(F)])) (2)
式(1)和式(2)中：σ(·)表示sigmoid函数，MLP表示一个多层感知器，AvgPool(F)和MaxPool(F)分别表示平均池化特征和最大池化特征，f7×7表示一个滤波器大小为7×7的卷积运算；且，式(1)中表示AvgPool(F)和MaxPool(F)被转发到一个多层感知器MLP组成的共享网络中，经过sigmoid函数σ以产生通道注意力图Mc(F)；式(2)中表示AvgPo0l(F)和MaxPool(F)聚合生成两个2D图，经过sigmoid函数σ生成空间注意力图Ms(F)。
4.根据权利要求1所述的变电站屏柜设备状态检测方法，其特征在于，所述步骤S2中，利用训练集对目标检测模型进行训练之前，首先采用Kmeans聚类算法对所述训练集进行锚框聚类，并利用得到的锚框对所述目标检测模型进行训练；其中，所述采用Kmeans聚类算法对训练集进行锚框，具体包括：
S21：提取所述训练集中每个图像的所有边界框的坐标值，并将所有边界框的坐标值转换为边界框的高度值和宽度值，其中，所述边界框为对所述样本数据集进行标注得到；
S22：随机选定M个坐标作为Kmeans聚类算法的中心点，计算训练集中每个图像的每个边界框与各中心点之间的交并比值，并将每个边界框分配给与其交并比值最大的中心点所属的簇；
S23：根据每个簇中所有边界框的坐标的平均值更新簇的中心点；
S24：重复步骤S22～S23，直到每个簇的中心点稳定或达到预设的最大迭代次数后停止操作，并得到M个锚框用于训练所述目标检测模型。
5.根据权利要求1所述的变电站屏柜设备状态检测方法，其特征在于，所述步骤S2中构建的图像分类模型依次包括一个5*5卷积层、7组深度可分离卷积模块和一个全连接层，其中每组深度可分离卷积模块依次包括一个3*3深度卷积层、一个1*1点卷积层和一个2*2池化层。
6.根据权利要求5所述的变电站屏柜设备状态检测方法，其特征在于，所述步骤S2中，利用训练集对图像分类模型进行训练，具体包括：
将所述训练集输入到图像分类模型中，输入特征图的通道数为N；
对N个通道分别单独使用一个卷积核进行卷积操作，得到N个通道为1的特征图；
将所述N个通道为1的特征图按顺序拼接，得到一个通道为N的输出特征图；
将所述通道为N的输出特征图在深度方向进行加权组合，得到新的高维特征图；
其中，所述新的高维特征图采用Softmax激活函数输出，即：
式(3)中：y表示当前样本的类别，e表示自然对数的底数，Zi表示网络提取到的属于第i类的特征值，zy是当前类的特征值，C表示总共的分类个数。
7.根据权利要求6所述的变电站屏柜设备状态检测方法，其特征在于，所述步骤S2中，利用训练集对图像分类模型进行训练，具体还包括：利用Softmax交叉熵损失并使用梯度下降法迭代，使Softmax交叉熵损失的值逐渐减小直至收敛，以完成模型训练，其中：
式(4)中：Lsoftmax表示Softmax交叉熵损失。
8.根据权利要求1所述的变电站屏柜设备状态检测方法，其特征在于，所述步骤S3中，利用训练后的目标检测模型识别屏柜二次设备的状态，具体包括：
将待识别的屏柜二次设备图像输入到训练后的目标检测模型中，目标检测模型首先对输入的图像进行水平矫正，所述矫正操作包括提取图像中的直线并剔除接近竖直的直线，然后计算其余直线的平均倾角，并根据平均倾角旋转矫正图像；
其中，所述图像中的直线是通过霍夫直线检测得出，该直线是指屏柜上的边缘线。
9.根据权利要求1所述的变电站屏柜设备状态检测方法，其特征在于，所述步骤S3中，利用训练后的图像分类模型检测目标检测模型是否存在目标漏检，具体包括：
检测待识别图像中的目标分布情况并找出异常分布的目标，其中，所述异常分布的目标是指屏柜中每两个相邻二次设备之间的间隔距离大于所有二次设备间隔距离的平均值，则判定这两个二次设备为异常分布的目标；
以异常分布的目标为中心，分别裁剪目标上下左右四个区域的图像并送入训练后的图像分类模型，并根据图像分类模型的输出结果确定目标检测模型是否存在目标漏检。
10.一种实现变电站屏柜设备状态检测方法的装置，其特征在于，所述装置上存储有可执行的计算机程序，该计算机程序被执行时对应完成：如权利要求1-9中任意一项所述的变电站屏柜设备状态检测方法。
CN202311353328.7A 2023-10-18 2023-10-18 一种变电站屏柜设备状态检测方法及装置 Pending CN117372956A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311353328.7A CN117372956A (zh) 2023-10-18 2023-10-18 一种变电站屏柜设备状态检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311353328.7A CN117372956A (zh) 2023-10-18 2023-10-18 一种变电站屏柜设备状态检测方法及装置

Publications (1)

Publication Number Publication Date
CN117372956A true CN117372956A (zh) 2024-01-09

Family

ID=89396043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311353328.7A Pending CN117372956A (zh) 2023-10-18 2023-10-18 一种变电站屏柜设备状态检测方法及装置

Country Status (1)

Country Link
CN (1) CN117372956A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117854045A (zh) * 2024-03-04 2024-04-09 东北大学 一种面向自动驾驶的车辆目标检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117854045A (zh) * 2024-03-04 2024-04-09 东北大学 一种面向自动驾驶的车辆目标检测方法

Similar Documents

Publication Publication Date Title
EP2808827B1 (en) System and method for OCR output verification
CN111428723B (zh) 字符识别方法及装置、电子设备、存储介质
CN107977639B (zh) 一种人脸清晰度判断方法
CN112989977B (zh) 一种基于跨模态注意力机制的视听事件定位方法及装置
CN110569843B (zh) 一种矿井目标智能检测与识别方法
CN112070135A (zh) 电力设备图像检测方法、装置、电力设备及存储介质
CN117372956A (zh) 一种变电站屏柜设备状态检测方法及装置
CN111522951A (zh) 一种基于图像识别的敏感数据识别与分类的技术方法
CN116597436A (zh) 一种配电房开关柜铭牌文字识别方法及装置
CN115062186A (zh) 一种视频内容检索方法、装置、设备以及存储介质
CN114694130A (zh) 基于深度学习的铁路沿线电线杆及杆号检测方法和装置
CN111832497B (zh) 一种基于几何特征的文本检测后处理方法
CN106503747A (zh) 一种图像识别统计分析系统
CN113408630A (zh) 一种变电站指示灯状态识别方法
CN108960005B (zh) 一种智能视觉物联网中对象视觉标签的建立及显示方法、系统
Bankar et al. Real time sign language recognition using deep learning
CN112686180A (zh) 一种封闭空间人员数量计算方法
CN115346169B (zh) 一种睡岗行为检测方法及系统
CN111047731A (zh) 一种基于ar技术的电信机房巡检方法及系统
CN115984968A (zh) 一种学生时空动作识别方法、装置、终端设备及介质
CN116665390A (zh) 基于边缘计算及优化YOLOv5的火灾检测系统
Calefati et al. Reading meter numbers in the wild
CN115953744A (zh) 一种基于深度学习的车辆识别追踪方法
CN115359505A (zh) 一种电力图纸检测提取方法及系统
CN114550197A (zh) 一种端子排图像检测信息匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination