CN115187568A - 一种电力开关柜状态检测方法及系统 - Google Patents
一种电力开关柜状态检测方法及系统 Download PDFInfo
- Publication number
- CN115187568A CN115187568A CN202210882608.6A CN202210882608A CN115187568A CN 115187568 A CN115187568 A CN 115187568A CN 202210882608 A CN202210882608 A CN 202210882608A CN 115187568 A CN115187568 A CN 115187568A
- Authority
- CN
- China
- Prior art keywords
- switch cabinet
- power switch
- state
- image
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Quality & Reliability (AREA)
- Biodiversity & Conservation Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种电力开关柜状态检测方法及系统,方法包括:获取电力开关柜的图像,对其添加标签后构建得到训练数据集;以YOLOv5算法为基础,构建CGB‑YOLOv5模型作为检测模型;使用训练数据集对检测模型进行训练,得到训练好的检测模型;采集电力开关柜的图像,使用训练好的检测模型对其进行检测,得到图像中的待识别目标;对待识别目标进行处理得到电力开关柜的状态。与现有技术相比,本发明构建CGB‑YOLOv5模型作为检测模型,对边端高压开关柜进行目标检测,再根据目标检测结果对应的标签分别进行处理,识别开关柜的状态,实现了各类开关柜的灯表检测及示数识别问题,解决了传统人工巡检的低效及现有检测识别方法的精度不足问题。
Description
技术领域
本发明涉及目标检测技术领域,尤其是涉及一种电力开关柜状态检测方法及系统。
背景技术
电力开关柜是电网电能转换过程中线路开合、控制和保护的专用设备,其运行状态直接决定了电网稳定性和发电、用电安全。开关柜面板高度集成了运行指示灯、显示屏和投切装置,是运维人员获取电网运行信息的重要来源。目前,开关柜具备了各类参数信息上传到站控、厂控系统功能,然而,开关柜运行信息的重要性要求对其进行核验和检测,以确保上报信息的可靠。通过边端部署摄像头实现开关柜指示状态的远程检测,正逐渐取代人工现场核验检查。但是,开关柜显示示数及投切状态具有动态多变特性,且柜体表计具有目标分布高密、高相似的特点,目前,往往采用图像远传技术上传到高性能云计算中心进行处理以识别开关柜状态。但是,随着配网配用电质量的提升,以及以新能源为主体的新型电力系统的快速建设,高低压柜、交直流柜数量快速攀升,以分布式开关柜检测-云端处理为代表的运维技术,已难以满足当前的运维实际需求,柜体面板示数的就地快速检测与识别,成为克服上述问题的有效手段。
电力开关柜状态实时核验的主要难点在于对复杂环境下柜体灯、表目标的快速准确定位,以及对差异小、尺度小的目标特征进行精准分类。目标检测算法是边端智能检测的有效手段,具有高效的自动学习和分类能力,为电力开关柜的状态实时核验提供了可供借鉴的经验。目前,目标检测算法主要可分为两类:以R-CNN为代表的双阶段目标检测和以YOLO为代表的基于端到端的单阶段目标检测算法。这些研究虽然已在小目标检测方向取得了一定进展,但在应用方面仍面临以下困境:1、应用遥视技术检测电力开关柜上密集、高似然状态灯及仪表的研究较少,且现有算法难以满足开关柜上目标准确检测的需求;2、算法多为深层网络,参数量较大,对GPU性能提出了较高的要求,不利于在移动边端的部署;3、开关柜数据集匮乏,如何合理增强数据集、规避模型欠拟合并加速模型收敛也是需要思考的问题。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种电力开关柜状态检测方法及系统。
本发明的目的可以通过以下技术方案来实现:
根据本发明的第一方面,公开了一种电力开关柜状态检测方法,包括以下步骤:
获取电力开关柜的图像,对其添加标签后构建得到训练数据集,所述标签包括显示屏、指示灯类和综合状态指示器;
建立检测模型,检测模型以YOLOv5算法为基础,融合CBAM注意力机制用于对特征的提取,提升特征提取能力;使用GhostNet搭建新型Ghost-Bottleneck结构,缩小模型参数量;将特征融合网络FPN+PAN结构替换为BiFPN加权双向特征金字塔网络,进一步融合神浅层特征,新增大尺寸检测层与小感受野锚框,增强对于电力开关柜小目标指示灯的检测能力;
使用训练数据集对所述检测模型进行训练,得到训练好的检测模型;
采集电力开关柜的图像,使用训练好的检测模型对其进行检测,得到图像中的待识别目标,所述待识别目标包括显示屏、指示灯类和综合状态指示器;
对所述待识别目标进行处理得到电力开关柜的状态。
进一步地,所述检测模型具体为:
获取YOLOv5模型,在YOLOv5模型的卷积过程中集成CBAM卷积注意力机制模块;
在YOLOv5模型的主干特征提取网络中,使用Ghost卷积方法代替全部常规卷积,构建新型Ghost-CSPDarknet53结构,替代YOLOv5模型的CSPDarknet53结构;
对于YOLOv5模型的特征融合网络FPN+PAN结构,采用BiFPN加权双向特征金字塔网络代替;
对于YOLOv5模型的head结构,增添高分辨率检测层,增加小感受野瞄框;
得到CGB-YOLOv5模型作为检测模型。
进一步地,Ghost-CSPDarknet53结构中,采用Swish作为其激活函数,如下:
SiLU(x)=x·sigmoid(βx)
其中,x表示输入,β为常数或训练确定的参数。
进一步地,所述“使用训练数据集对所述检测模型进行训练,得到训练好的检测模型”具体为:
获取公开数据集,使用公开数据集对YOLOv5模型进行训练,训练结束后得到YOLOv5模型的权重;
将YOLOv5模型的权重载入CGB-YOLOv5模型中;
使用训练数据集对CGB-YOLOv5模型进行训练。
进一步地,所述“获取电力开关柜的图像,对其添加标签后构建得到训练数据集”具体为:
采集电气量不断变化的电力开关柜的图像,人工为每张图像选定标签并生成标签文件,对于添加标签后的图像进行图像增强,增强方式包括:旋转、缩放、亮度调整、镜像、mosaic增强及单个小目标复制粘贴。
进一步地,所述“对所述待识别目标进行处理得到电力开关柜的状态”中,对显示屏进行处理具体为:
将图像灰度化处理并高斯滤波;
对图像进行二值化处理,找出面积最大的连通域,绘制出该连通域的最小外接矩形并记录矩形的顶点坐标,得到显示屏所在区域;
对显示屏所在区域的灰度图依次进行腐蚀操作和膨胀操作,利用投影法分割字符,基于差值哈希法进行模板匹配进行识别,用均值相关系数衡量相近度得到最终输出值;
按照记录的顶点坐标,依次进行识别并排序输出,得到显示屏上记录的电力开关柜状态。
进一步地,所述“对所述待识别目标进行处理得到电力开关柜的状态”中,对指示灯类进行处理具体为:
获取采样点以及其周围上下左右共五个点的亮度,分别将各个点的亮度与预设置的亮度阈值进行比较,确定每个点的亮暗状态,再将亮点和暗点的个数进行比较,数量多的一方即为指示灯当前的状态,得到指示灯对应的电力开关柜状态。
进一步地,“对所述待识别目标进行处理得到电力开关柜的状态”中,对综合状态指示器进行处理具体为:
在电力开关柜的图像中,获取包含综合状态指示器不同状态的图像,并添加标签放入训练数据集,使用训练数据集对检测模型进行训练,训练好的检测模型可检测出电力开关柜中的综合状态指示器并识别其状态,从而得到综合状态指示器对应的电力开关柜状态。
进一步地,还包括:
采集开关柜的全景图像,将开关柜的全景图像送入预训练好的安全状态检测模型,所述安全状态检测模型输出开关柜的安全状态,所述安全状态包括完好、外破入侵、失火冒烟。
进一步地,预设置检测周期,所述“采集电力开关柜的图像,使用训练好的检测模型对其进行检测,得到图像中的待识别目标,所述待识别目标包括显示屏、指示灯类和综合状态指示器;对所述待识别目标进行处理得到电力开关柜的状态”中,按照所述检测周期采集电力开关柜的图像并进行检测和处理得到电力开关柜的状态。
根据本发明的第二方面,公开了一种电力开关柜状态检测系统,基于如本发明第一方面所述的一种电力开关柜状态检测方法,包括:
图像采集模块,用于采集电力开关柜的图像;
模型训练模块,用于获取电力开关柜的图像,对其添加标签后构建得到训练数据集,建立检测模型,并使用训练数据集对所述检测模型进行训练,得到训练好的检测模型;所述标签包括显示屏、指示灯类和综合状态指示器;所述检测模型以YOLOv5算法为基础,融合CBAM注意力机制用于对特征的提取,使用GhostNet搭建新型Ghost-Bottleneck结构,将特征融合网络FPN+PAN结构替换为BiFPN加权双向特征金字塔网络,新增大尺寸检测层与小感受野锚框;
识别模块,使用训练好的检测模型对电力开关柜的图像进行检测,得到图像中的待识别目标,所述待识别目标包括显示屏、指示灯类和综合状态指示器;
处理模块,对所述待识别目标进行处理得到电力开关柜的状态。
与现有技术相比,本发明具有以下有益效果:
构建CGB-YOLOv5模型作为检测模型,对边端高压开关柜进行目标检测,再根据目标检测结果对应的标签分别进行处理,识别开关柜的状态,实现了各类开关柜的灯表检测及示数识别问题,解决了传统人工巡检的低效及现有检测识别方法的精度不足问题。同时,对于仪表图像采集位置要求较低,放松了图像采集条件,降低了对于人工的依赖程度,且对于光线不均、目标尺寸差异大的情况也有很高的识别准确性。
附图说明
图1为电力开关柜状态检测方法的流程图;
图2为实施例中高压开关柜的目标检测结果。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
实施例1:
针对现有技术中开关柜面板检测系统不完善的情况,本发明提供了一种电力开关柜状态检测方法,适用于不同柜体的开关柜面板示数及灯表指示状态的检测,可实现显示屏、指示灯及开关分合闸类的高准确度快速目标检测,并在目标检测的基础上,实现对所检测目标的内容识别,如图1所示,包括以下步骤:
Step1:获取电力开关柜的图像,对其添加标签后构建得到训练数据集,标签包括显示屏、指示灯类和综合状态指示器;
采用双500万像素彩色工业相机摄像头进行训练及后续应用中检测图像的采集,使用环形补光灯做灯光补充,将双摄像机架设在开关柜对侧的不同角度上进行图像采集,在每个位置均进行少量图像的采集并保存至计算机,用作模型训练,保证全部目标的包括(需要包括显示屏、指示灯及开关分合闸类)与距离的合理性(保证肉眼可基本看清开关柜面板上目标仪表与灯体即可),考虑到高压开关柜包含较多微小指示灯,设置其中一个摄像头对开关柜全景进行拍摄,设置另一摄像头对显示面板进行拍摄,设定两摄像机依次工作,分别先后拍摄电气量不断变化的显示面板区域及开关柜全景;
采用Labelimg软件对采样所得少量图像进行人工标签标记,框选出目标并设置标签,以表示其对应显示屏、指示灯类和综合状态指示器,将打过标签的图像与标签文件存入指定文件夹,用于后续系统训练;
“获取电力开关柜的图像,对其添加标签后构建得到训练数据集”具体为:
对打过标签的图像进行图像增强,增强方式主要包括旋转、缩放、亮度调整、裁剪、翻转镜像、mosaic增强及单个小目标复制粘贴的方式增大其密度,增强图像的多样性,提高模型的泛化性,扩展数据集,获得针对高压电力开关柜的专有数据集(即训练数据集)用于后续目标检测模型的训练。
Step2:建立检测模型,检测模型以YOLOv5算法为基础,融合CBAM注意力机制用于对特征的提取,提升特征提取能力;使用GhostNet搭建新型Ghost-Bottleneck结构,缩小模型参数量;将特征融合网络FPN+PAN结构替换为BiFPN加权双向特征金字塔网络,进一步融合神浅层特征,新增大尺寸检测层与小感受野锚框,增强对于电力开关柜小目标指示灯的检测能力。
考虑到高压电力开关柜主要存在的灯表目标具有紧凑、体积小的特征,在远程对其进行目标检测中面临较多困难与环境干扰的情况,在YOLOv5模型的基础上对其进行了一定改进,使其更适用于边端高压开关柜的目标检测,具体的,如下:
1)获取YOLOv5模型,YOLOv5模型是目前较流行的神经网络模型,本申请在YOLOv5模型的卷积过程中集成CBAM卷积注意力机制模块,通过空间注意力和通道注意力模块从特征中学习到更合理的权重分布以施加在特征图上,使原特征中有效特征被增强并进一步抑制无效特征,加强模型对于高压开关柜的特征提取能力;
2)在YOLOv5模型的主干特征提取网络中,利用Ghost卷积模块的卷积思想,使用Ghost卷积方法代替全部常规卷积,构建新型Ghost-CSPDarknet53结构,使用Ghost-CSPDarknet53结构替代YOLOv5模型的CSPDarknet53结构,缓解大量卷积带来的巨大计算量,删除无用特征图、简化卷积过程,同时通过线性变化得到目标特征信息丰富的特征图,更多实现对主干网络的轻量优化;
Ghost-CSPDarknet53主干特征提取网络采用Swish作为其激活函数,如下:
SiLU(x)=x·sigmoid(βx)
其中,x表示输入,β为常数或训练确定的参数,本实施例中取1。
3)对于YOLOv5模型的特征融合网络FPN+PAN结构,采用BiFPN加权双向特征金字塔网络代替,该网络对传入检测层的同尺寸特征图进行了深浅层融合,可有效提升高压开关柜对于小微目标的特征融合效果;
4)对于YOLOv5模型的head结构,增添高分辨率检测层,首先对预测层尺度做出改进,在现有的三个检测尺度的基础上,计及小目标特征,增加大尺寸检测层。该检测层尺度大,是由浅层卷积结构所得,相比其他深层特征图包含了大量浅层特征信息,共计有四个检测层;除此之外,当前锚框感受较大,在对柜上小型灯表进行检测时,通过对先验框的调整很难得到合适的预测框,因此增设三个小感受野锚框,可以提高对小指示灯的定位准确性,共计有四个瞄框;
考虑到开关柜上所需识别目标众多、干扰多、拍照及进行长期目标检测的位置不能确定使得所处理问题较为复杂,进行上述改进,得到CGB-YOLOv5模型作为检测模型,构建针对高压开关柜的CGB-YOLOv5目标检测算法。上述改进中,在特征提取与融合方面,增添CBAM注意力机制,替换PANet为对深浅层特征融合更加有效的加权双向特征金字塔结构,提高对尺度差异较大目标的特征融合能力;在YOLOv5的主干特征提取网络中,使用Ghost卷积方法代替全部常规卷积,构建新型Ghost-bottlenneck-CSPDarknet53结构,减小模型参数量;在目标定位方面,增添高分辨率检测层,同时针对尺寸小的特征增加小感受野锚定框,提升对小型灯表的检测精度。
Step 3:使用训练数据集对检测模型进行训练,得到训练好的检测模型;
获取公开数据集,本实施例中下载了公开VOC2007数据集,使用公开数据集对YOLOv5模型进行训练,训练结束后得到YOLOv5模型的权重;
将YOLOv5模型的权重载入CGB-YOLOv5模型中,加速模型的收敛,同时提升模型检测性能;
使用训练数据集对CGB-YOLOv5模型进行训练,使用自适应锚定框进行参数调整,精准检测目标预置框,采用SGD优化函数,余弦退火策略动态调整学习率,图片输入尺寸设为640×640,batch size设为8,初始学习率为0.01,权重衰减系数为0.0004,训练动量为0.83,训练轮次设为300轮,对改进后所得CGB-YOLOv5模型进行训练,全部训练完成后,得到训练权重,获得高精确度的开关柜灯表检测模型。
Step4:采集电力开关柜的图像,使用训练好的检测模型对其进行检测,得到图像中的待识别目标,待识别目标包括显示屏、指示灯类和综合状态指示器,
Step 5:对待识别目标进行处理得到电力开关柜的状态。
本实施例中,Step 4和Step 5如下:
步骤(1):规定时间戳形式为“年月日-时分秒”,以时间戳为所摄图像命名,保存至统一待识别路径下,拍摄图像同时获取时间戳,以“年月日-时分秒”为标准格式对每张图片进行命名并保存至固定文件夹;
步骤(2):使用CGB-YOLOv5模型,对拍摄图像进行逐张目标检测,对检测所的整张图片保存至‘result/pic’文件夹,方便未来追溯历史数据,对检测到的各类目标,以检测框为边界,裁剪并另存至‘result/类别名’的文件夹。共17类目标,result文件夹下对应17个对应类别名的子文件夹。
步骤(3):对未分割的原图片中检测所得标签进行遍历,当发现对应标签时,调用该类对象的亮灭识别或字符识别算法,识别该检测目标的状态,直至图中检测所得每个目标完成该过程;
步骤(4):对上述步骤(3)的识别结果进行统计输出,同样以“年月日-时分秒”命名,保存一个txt文件至result下的txt子文件夹,txt的内容包括检测图内全部标签及对应状态检测和示数识别结果。
上述步骤(3)中,当检测标签为显示屏时,采用以下步骤对显示屏内电气量及对应参数,具体过程包括下列步骤:
步骤(1.1):将拍摄所得图像格式JPG文件转为BGR文件,节约空间并方便后续图像处理;
步骤(1.2):对BGR格式图像灰度化处理,过滤颜色信息;对灰度图像进行高斯滤波,消除图像中的高斯噪声,通过对高斯函数的标准差进行调整控制平滑程度,利用二维高斯函数的行列可分离性加速滤波过程,使得图像能保留字符总体特征;再对滤波后图像采用大津法二值化处理,对字符与背景进行初步分离;
步骤(1.3):由于显示屏周围干扰较少,对二值化所得图片寻找外部轮廓,在各边界中找出面积最大的区域,对该区域绘制最小外接矩形并记录矩形四个点的位置坐标,初步锁定显示屏精细区域;
步骤(1.4):为缓解屏内噪声干扰及其他污点、粘连情况带来得字符分割困难,将步骤(1.3)所得区域内得灰度图像先进性形态学腐蚀,分离体积较小、不明显得特征以及分开粘连字符,再对其进行膨胀,增强字符特征。
步骤(1.5):对步骤(1.4)膨胀后图像再次寻找外部轮廓,该轮廓即为每个字符得外轮廓,针对单个闭合轮廓,同步骤(1.3)寻找包含轮廓得最小矩形并记录左下角点的坐标值;
步骤(1.6):对屏内需要识别的数字、字符、小数点进行字符库构建,使其尽可能包含各类字符可能出现的形态,利用多重卷积训练的方式训练字符识别模块,得到训练好的模型;
步骤(1.7):加载步骤(1.6)所有模型的模型结构及变量,基于差值哈希法进行模板匹配,对区域内字符进行识别,用均值相关系数衡量相近度得到最终输出值,识别出单个矩形框包含区域对应的字符,通过对字符的纵坐标进行排序,首先区分出各行内容,再按照横坐标从小到大排序,得到单行内容,对各行内容逐行输出,完成显示屏内字符的识别,并将识别结果保存至txt存入规定位置。
上述步骤(3)中,当检测标签为指示灯类时,具体过程包括下列步骤:
步骤(2.1):将拍照所得JPG格式图片转为BGR格式;
步骤(2.2):在目标检测所得的检测框内,随机在上下左右及中心部分选取五个点采样,获得这五点的亮度值,通过与设定阈值进行比较,判断这五点的状态为“亮”或“暗”;
步骤(2.3):对亮暗点个数进行比较,若“亮”的数量多于“暗”的数量,则认为该指示灯为“ON”,若“亮”的数量少于“暗”的数量,则认为该指示灯为“OFF”。
上述步骤(3)中,当检测标签为综合状态指示器时,通过目标检测对四类状态进行区分,具体过程包括下列步骤:
在电力开关柜的图像中,获取包含综合状态指示器不同状态的图像,并添加标签放入训练数据集,在使用训练数据集对检测模型进行训练时同时包含了对综合指示器状态的识别检测,训练好的检测模型可检测出电力开关柜中的目标(包括显示屏、指示灯及开关分合闸类,开关分合闸类即综合状态指示器),并可以检测到综合状态指示器并识别其状态,从而得到综合状态指示器对应的电力开关柜状态。
步骤(3.1):综合状态指示器共指示运行、检修、冷备用、热备用四种状态,通过红绿两色等的不同组合进行展示与区分,因此,在数据采集阶段,对包含四类状态的开关柜面板进行均衡采集,放入训练数据集,保证对四类状态均衡采样,维持目标数量的平衡性;
步骤(3.2):使用训练好的检测模型对综合状态指示器进行识别,检测模型直接输出综合状态指示器对应的电力开关柜状态。
同样的,可以理解的是,检测模型检测到目标后,可以使用其他方法对各个目标的状态进行识别,同时,为了保证检测模型的有效性,应当定期检查检测模型的准确度,并在准确度降低时对其再次训练。
本实施例中,除了采集面板、显示屏、指示灯等图像进行电力开关柜的工作状态识别检测外,还对其安全状态进行了检测,具体的,利用步骤Step1中采集的开关柜的全景图像,将开关柜的全景图像送入预训练好的安全状态检测模型,安全状态检测模型输出开关柜的安全状态,安全状态包括完好、外破入侵、失火冒烟。
上述开关柜状态检测方法按照预设置的检测周期进行,本实施例中,对旨在获取较为清晰的显示屏字符及数字内容的摄像机,对其内容更新频率进行观察与统计,由于其刷新更替频率较快,选择300ms拍摄一张图像作为其基本工作单位时间,使相机捕捉足够显示屏照片;对旨在获得高压开关柜全面数据的摄像机,由于板面所携带展示内容如灯、显示器指示对象其较为稳定,选定1s拍摄一张图像作为其基本工作时间;
在单次工作流程内,首先令拍摄显示面板区域的相机工作3s,共拍摄10张显示屏照片并存储至待识别文件夹内,再令拍摄开关柜全景的相机工作10s拍摄10张开关柜全景图像同样存储至待识别文件夹,存储完毕后先后调用目标检测程序及状态识别程序,得到此次图像的检测、识别结果,将检测结果保存至对应文件夹;
当本次双相机拍摄的图像全部完成检测与识别并保存识别内容后,令系统停止拍照工作,休眠4小时;休眠结束后,重新执行拍照、检测、识别、储存的过程,循环往复,实现对高压开关柜的自动状态检测与识别。
如图2所示,本实施例中高压开关柜的目标检测结果中包括显示屏、指示灯和综合状态指示器,其中working框指示的是当前电力开关柜的综合状态为正常工作状态
本发明还提供了一种电力开关柜状态检测系统,基于上述的电力开关柜状态检测方法,包括:
图像采集模块,用于采集电力开关柜的图像;
模型训练模块,用于获取电力开关柜的图像,对其添加标签后构建得到训练数据集,建立检测模型,并使用训练数据集对检测模型进行训练,得到训练好的检测模型;标签包括显示屏、指示灯类和综合状态指示器;检测模型以YOLOv5算法为基础,融合CBAM注意力机制用于对特征的提取,使用GhostNet搭建新型Ghost-Bottleneck结构,将特征融合网络FPN+PAN结构替换为BiFPN加权双向特征金字塔网络,新增大尺寸检测层与小感受野锚框;
识别模块,使用训练好的检测模型对电力开关柜的图像进行检测,得到图像中的待识别目标,待识别目标包括显示屏、指示灯类和综合状态指示器;
处理模块,对待识别目标进行处理得到电力开关柜的状态。
其中,图像采集模块包括双500万像素彩色工业相机摄像头,使用环形补光灯做灯光补充,双摄像机架设在开关柜对侧的不同角度上进行图像采集,在每个位置均进行少量图像的采集并保存至计算机,用作模型训练,保证全部目标的包括(需要包括显示屏、指示灯及开关分合闸类)与距离的合理性(保证肉眼可基本看清开关柜面板上目标仪表与灯体即可),考虑到高压开关柜包含较多微小指示灯,设置其中一个摄像头对开关柜全景进行拍摄,设置另一摄像头对显示面板进行拍摄,设定两摄像机依次工作,分别先后拍摄电气量不断变化的显示面板区域及开关柜全景,其中显示面板区域用于后续识别检测开关柜的工作运行状态,全景图像用于后续的安全状态检测,如开关柜的外破入侵、热故障失火冒烟等。
模型训练模块、识别模块和处理模块的工作流程见上文的记载,在此不再赘述。
本系统中设置有定时程序,单次检测后进行低功耗休眠,按照检测周期启动,本实施例中,对旨在获取较为清晰的显示屏字符及数字内容的摄像机,总计分析其展示内容的更新频率,选择300ms拍摄一张图像作为其基本工作单位时间;对旨在获得高压开关柜全面数据的摄像机,由于其较为稳定,选定1s拍摄一张图像作为其基本工作时间;
令拍摄显示面板区域的相机工作3s,共拍摄10张显示屏照片,再令拍摄开关柜全景的相机工作10s拍摄10张开关柜全景图像,存储所采图像用于目标检测,将检测结果保存至对应文件夹;
获得此次图像的全部检测结果并保存后,令系统休眠4小时;
休眠结束后,重新执行拍照、检测、识别、储存的过程,直至下一次休眠。
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案,皆应在由权利要求书所确定的保护范围内。
Claims (10)
1.一种电力开关柜状态检测方法,其特征在于,包括以下步骤:
获取电力开关柜的图像,对其添加标签后构建得到训练数据集,所述标签包括显示屏、指示灯类和综合状态指示器;
建立检测模型,所述检测模型以YOLOv5算法为基础,融合CBAM注意力机制用于对特征的提取,使用GhostNet搭建新型Ghost-Bottleneck结构,将特征融合网络FPN+PAN结构替换为BiFPN加权双向特征金字塔网络,新增大尺寸检测层与小感受野锚框;
使用训练数据集对所述检测模型进行训练,得到训练好的检测模型;
采集电力开关柜的图像,使用训练好的检测模型对其进行检测,得到图像中的待识别目标,所述待识别目标包括显示屏、指示灯类和综合状态指示器;
对所述待识别目标进行处理得到电力开关柜的状态。
2.根据权利要求1所述的一种电力开关柜状态检测方法,其特征在于,所述检测模型具体为:
获取YOLOv5模型,在YOLOv5模型的卷积过程中集成CBAM卷积注意力机制模块;
在YOLOv5模型的主干特征提取网络中,使用Ghost卷积方法代替全部常规卷积,构建新型Ghost-CSPDarknet53结构,替代YOLOv5模型的CSPDarknet53结构;
对于YOLOv5模型的特征融合网络FPN+PAN结构,采用BiFPN加权双向特征金字塔网络代替;
对于YOLOv5模型的head结构,增添高分辨率检测层,增加小感受野瞄框;
得到CGB-YOLOv5模型作为检测模型。
3.根据权利要求2所述的一种电力开关柜状态检测方法,其特征在于,Ghost-CSPDarknet53结构中,采用Swish作为其激活函数,如下:
SiLU(x)=x·sigmoid(βx)
其中,x表示输入,β为常数或训练确定的参数。
4.根据权利要求2所述的一种电力开关柜状态检测方法,其特征在于,所述“使用训练数据集对所述检测模型进行训练,得到训练好的检测模型”具体为:
获取公开数据集,使用公开数据集对YOLOv5模型进行训练,训练结束后得到YOLOv5模型的权重;
将YOLOv5模型的权重载入CGB-YOLOv5模型中;
使用训练数据集对CGB-YOLOv5模型进行训练。
5.根据权利要求1所述的一种电力开关柜状态检测方法,其特征在于,所述“获取电力开关柜的图像,对其添加标签后构建得到训练数据集”具体为:
采集电气量不断变化的电力开关柜的图像,人工为每张图像选定标签并生成标签文件,对于添加标签后的图像进行图像增强,增强方式包括:旋转、缩放、亮度调整、镜像、mosaic增强及单个小目标复制粘贴。
6.根据权利要求1所述的一种电力开关柜状态检测方法,其特征在于,所述“对所述待识别目标进行处理得到电力开关柜的状态”中,对显示屏进行处理具体为:
将图像灰度化处理并高斯滤波;
对图像进行二值化处理,找出面积最大的连通域,绘制出该连通域的最小外接矩形并记录矩形的顶点坐标,得到显示屏所在区域;
对显示屏所在区域的灰度图依次进行腐蚀操作和膨胀操作,利用投影法分割字符,基于差值哈希法进行模板匹配进行识别,用均值相关系数衡量相近度得到最终输出值;
按照记录的顶点坐标,依次进行识别并排序输出,得到显示屏上记录的电力开关柜状态。
7.根据权利要求1所述的一种电力开关柜状态检测方法,其特征在于,所述“对所述待识别目标进行处理得到电力开关柜的状态”中,对指示灯类进行处理具体为:
获取采样点以及其周围上下左右共五个点的亮度,分别将各个点的亮度与预设置的亮度阈值进行比较,确定每个点的亮暗状态,再将亮点和暗点的个数进行比较,数量多的一方即为指示灯当前的状态,得到指示灯对应的电力开关柜状态。
8.根据权利要求1所述的一种电力开关柜状态检测方法,其特征在于,“对所述待识别目标进行处理得到电力开关柜的状态”中,对综合状态指示器进行处理具体为:
在电力开关柜的图像中,获取包含综合状态指示器不同状态的图像,并添加标签放入训练数据集,使用训练数据集对检测模型进行训练,训练好的检测模型可检测出电力开关柜中的综合状态指示器并识别其状态,从而得到综合状态指示器对应的电力开关柜状态。
9.根据权利要求1所述的一种电力开关柜状态检测方法,其特征在于,还包括:
采集开关柜的全景图像,将开关柜的全景图像送入预训练好的安全状态检测模型,所述安全状态检测模型输出开关柜的安全状态,所述安全状态包括完好、外破入侵、失火冒烟。
10.一种电力开关柜状态检测系统,其特征在于,基于如权利要求1-9中任一所述的一种电力开关柜状态检测方法,包括:
图像采集模块,用于采集电力开关柜的图像;
模型训练模块,用于获取电力开关柜的图像,对其添加标签后构建得到训练数据集,建立检测模型,并使用训练数据集对所述检测模型进行训练,得到训练好的检测模型;所述标签包括显示屏、指示灯类和综合状态指示器;所述检测模型以YOLOv5算法为基础,融合CBAM注意力机制用于对特征的提取,使用GhostNet搭建新型Ghost-Bottleneck结构,将特征融合网络FPN+PAN结构替换为BiFPN加权双向特征金字塔网络,新增大尺寸检测层与小感受野锚框;
识别模块,使用训练好的检测模型对电力开关柜的图像进行检测,得到图像中的待识别目标,所述待识别目标包括显示屏、指示灯类和综合状态指示器;
处理模块,对所述待识别目标进行处理得到电力开关柜的状态。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210882608.6A CN115187568A (zh) | 2022-07-26 | 2022-07-26 | 一种电力开关柜状态检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210882608.6A CN115187568A (zh) | 2022-07-26 | 2022-07-26 | 一种电力开关柜状态检测方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115187568A true CN115187568A (zh) | 2022-10-14 |
Family
ID=83521079
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210882608.6A Pending CN115187568A (zh) | 2022-07-26 | 2022-07-26 | 一种电力开关柜状态检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115187568A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117115162A (zh) * | 2023-10-24 | 2023-11-24 | 中安芯界控股集团有限公司 | 基于视觉分析对电池进行检测的芯片生产控制系统 |
-
2022
- 2022-07-26 CN CN202210882608.6A patent/CN115187568A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117115162A (zh) * | 2023-10-24 | 2023-11-24 | 中安芯界控股集团有限公司 | 基于视觉分析对电池进行检测的芯片生产控制系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CA3100569C (en) | Ship identity recognition method base on fusion of ais data and video data | |
CN111414887B (zh) | 基于yolov3算法的二次检测口罩人脸识别方法 | |
CN104463117B (zh) | 一种基于视频方式的人脸识别样本采集方法及系统 | |
CN104978567B (zh) | 基于场景分类的车辆检测方法 | |
CN108564052A (zh) | 基于mtcnn的多摄像头动态人脸识别系统与方法 | |
CN106981063A (zh) | 一种基于深度学习的电网设备状态监测装置 | |
CN113361326B (zh) | 一种基于计算机视觉目标检测的智慧电厂管控系统 | |
CN108090428A (zh) | 一种人脸识别方法及其系统 | |
CN113436184B (zh) | 基于改进孪生网络的电力设备图像缺陷判别方法及系统 | |
CN111325051A (zh) | 一种基于人脸图像roi选取的人脸识别方法及装置 | |
CN110516707B (zh) | 一种图像标注方法及其装置、存储介质 | |
Zhang et al. | Application research of YOLO v2 combined with color identification | |
CN108604040A (zh) | 通过曝光管理的有效使用来捕获在面部识别中使用的图像 | |
CN112270659A (zh) | 一种动力电池极片表面缺陷快速检测方法和系统 | |
CN103605171A (zh) | 全天空成像仪及基于全天空成像仪的云层特性分析方法 | |
CN111723656B (zh) | 一种基于YOLO v3与自优化的烟雾检测方法及装置 | |
CN112613438A (zh) | 一种便携式柑橘在线测产仪 | |
CN111259736B (zh) | 一种基于深度学习的复杂环境下行人实时检测方法 | |
CN115187568A (zh) | 一种电力开关柜状态检测方法及系统 | |
CN114241338A (zh) | 基于影像识别的建筑物测量方法、装置、设备及存储介质 | |
CN115620090A (zh) | 模型训练方法、低照度目标重识别方法和装置、终端设备 | |
CN104182972B (zh) | 一种野外用复杂光照下的实弹射击自动报靶系统及方法 | |
CN111507416A (zh) | 一种基于深度学习的吸烟行为实时检测方法 | |
CN112633249A (zh) | 一种基于轻型深度学习框架的嵌入式人流量检测方法 | |
CN117152094A (zh) | 基于计算机视觉的钢板表面缺陷分析方法、装置及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |