CN113837178A - 一种基于深度学习的变电站表计自动定位与统一分割方法 - Google Patents

一种基于深度学习的变电站表计自动定位与统一分割方法 Download PDF

Info

Publication number
CN113837178A
CN113837178A CN202111080919.2A CN202111080919A CN113837178A CN 113837178 A CN113837178 A CN 113837178A CN 202111080919 A CN202111080919 A CN 202111080919A CN 113837178 A CN113837178 A CN 113837178A
Authority
CN
China
Prior art keywords
meter
pointer
scale
deep learning
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111080919.2A
Other languages
English (en)
Inventor
苗俊杰
李峻宇
户刚
夏学峰
吕春媚
张玉光
王宇辉
张世琦
叶宝安
龙彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Kpcq Software Technology Co ltd
State Grid Hebei Electric Power Co Ltd
Xian Jiaotong University
Hengshui Power Supply Co of State Grid Hebei Electric Power Co Ltd
Original Assignee
Wuhan Kpcq Software Technology Co ltd
State Grid Hebei Electric Power Co Ltd
Xian Jiaotong University
Hengshui Power Supply Co of State Grid Hebei Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Kpcq Software Technology Co ltd, State Grid Hebei Electric Power Co Ltd, Xian Jiaotong University, Hengshui Power Supply Co of State Grid Hebei Electric Power Co Ltd filed Critical Wuhan Kpcq Software Technology Co ltd
Priority to CN202111080919.2A priority Critical patent/CN113837178A/zh
Publication of CN113837178A publication Critical patent/CN113837178A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开了一种基于深度学习的变电站表计自动定位与统一分割方法，包括以下步骤：S1、采集各类表计图像，分类整理数据并建立仪表图像样本库；S2、基于仪表图像样本库进行表计数据标注，构建表计目标检测数据集；S3、根据构建的表计目标检测数据集，搭建并训练表计目标检测模型，自动定位表计位置，根据定位结果进行裁剪；S4、指针与刻度分割数据集构建；S5、搭建表计指针与刻度统一分割模型，并基于分割数据集进行表计指针与刻度统一分割模型的训练；S6、根据训练的表计指针与刻度统一分割模型进行表计指针与刻度分割，对结果进行相关数值计算，得到指针读数。本发明解决了变电站指针式仪表识别困难、准确度不高、鲁棒性低的问题。

Description

一种基于深度学习的变电站表计自动定位与统一分割方法
技术领域
本发明涉及算机视觉技术领域，更具体涉及一种基于深度学习的变电站表计自动定位与统一分割方法。
背景技术
在智能变电站这个大背景下，实现对指针式仪表的自动识别是变电站无人巡检的一个重要组成部分。表计识别主要是对监测的表计图像数据进行识别，读取数据，并记录到数据库，如果有异常数据，需要进行告警，写入相应的数据库，同时展现在监控中心。高压变电站的安全运行关系到整个系统的正常运行，而高压变电站的工作环境比较危险，在智能变电站中的指针式仪表每天需要记录大量的数据。传统的数据读取记录方式主要依赖于手工操作，不仅精度、效率低，可靠性、重复性差，而且劳动强度大，易受外界因素影响。
针对高压变电站的表计设备种类多样、形状不一、值班人员少、传统指针式仪表的检测方法存在诸多不足的情况，对变电站使用的仪表信息进行自动采集和识别，则在一定意义上可以减少值班人员的工作量，减少事故发生率，操作员只需要在中心站对外围站点的表计进行监视，确保在变电站存在安全隐患的情况下能够第一时间快速响应告警，大大降低了变电站运行的安全隐患。因此研制出一种能够快速、准确、稳定的变电站指针式仪表的自动定位与统一分割方法对于发展智能化管控的变电站，提高变电站运行的安全稳定性上具有重大意义。
发明内容
本发明需要解决的技术问题是提供一种基于深度学习的变电站表计自动定位与统一分割方法，以解决背景技术中的问题，以改善传统算法的弊端，提升变电站运维效率。
为解决上述技术问题，本发明所采取的技术方案如下。
一种基于深度学习的变电站表计自动定位与统一分割方法，包括以下步骤：
S1、采集各类表计图像，分类整理数据并建立仪表图像样本库；
S2、基于步骤S1中的仪表图像样本库进行表计数据标注，构建表计目标检测数据集；
S3、根据构建的表计目标检测数据集，搭建并训练表计目标检测模型，自动定位表计位置，根据定位结果进行裁剪；
S4、指针与刻度分割数据集构建；
S5、搭建表计指针与刻度统一分割模型，并基于步骤S4中的分割数据集进行表计指针与刻度统一分割模型的训练；
S6、根据步骤S5中训练的表计指针与刻度统一分割模型进行表计指针与刻度分割，对结果进行相关数值计算，得到指针读数。
进一步优化技术方案，所述步骤S1中，基于变电站内高清摄像头并根据设定预置位进行自动巡检的方式，采集到各类表计图像。
进一步优化技术方案，所述步骤S1中，样本库是指有效样本库；在采集各类表计图像数据后，进行样本数据的清洗，对不符合图像识别要求的图片、图像、质量较差的图片进行剔除。
进一步优化技术方案，所述步骤S1中，利用图像扩充技术进行有效样本数据扩充。
进一步优化技术方案，所述步骤S2中，利用Labelme工具进行表计目标框标注和类别标注，形成表计目标检测数据集。
进一步优化技术方案，所述步骤S3中，根据构建的表计目标检测数据集，搭建并训练基于Yolov4的表计目标检测模型。
进一步优化技术方案，所述步骤S3中，表计目标检测模型的搭建运用到数据增强方法和正则化方法。
进一步优化技术方案，所述步骤S5中，表计指针与刻度统一分割模型的搭建是基于语义分割Yolact模型进行的，表计指针与刻度统一分割模型的backbone基于ResNet-101+FPN，Loss由分类损失、边界框回归损失和mask损失三部分组成。
进一步优化技术方案，分类损失和边界框回归损失中，mask损失为预测mask和ground truth mask的逐像素二进制交叉熵；通过基本的矩阵乘法配合sigmoid函数来处理两分支的输出，从而合成mask，公式如下：
M＝σ(PCT)
其中：P是h×w×k的原型mask集合，C是n×k的系数集合，代表有n个通过NMS和阈值过滤的实例，每个实例对应有k个mask系数。
进一步优化技术方案，所述步骤S6包括各指针斜率与角度计算、刻度质心计算、表盘中心点计算、指针读数获取计算。
由于采用了以上技术方案，本发明所取得技术进步如下。
本发明针对变电站内的户外指针式仪表设备进行使用，本发明通过训练一个自动定位表盘位置并识别表盘类型的目标检测网络，训练一个统一指针分割与刻度分割一体的分割网络，实现了变电站指针式仪表的全自动在线识别功能。本发明的优点是充分考虑到室外场景及场景间指针仪表的多样性与差异性，解决了传统指针仪表数值读取存在的无法统一训练、无法统一识别且传统算法识别率低，对质量要求过高的弊端。本发明解决了变电站指针式仪表识别困难、准确度不高、鲁棒性低的问题，不需要人力巡检，节省时间成本，减少安全隐患，全方位无遗漏的对站内表计进行数值读取，大大提高了巡检效率与准确度，改善了传统算法的弊端，提升了变电站运维效率。
附图说明
图1为本发明的整体流程图；
图2为本发明指针仪表识别算法流程图。
具体实施方式
下面将结合附图和具体实施例对本发明进行进一步详细说明。
一种基于深度学习的变电站表计自动定位与统一分割方法，结合图1至图2所示，包括以下步骤：
S1、样本库的建立：基于变电站内高清摄像头并根据设定预置位进行自动巡检的方式，采集各类表计图像，分类整理数据并建立仪表图像样本库。
样本收集过程中，可能存在负样本，所以后期建立数据集的时候需要对样本数据进行清洗，对于非有效样本进行剔除。
样本库是指有效样本库，即在利用站内高清摄像头采集图像数据后，需要另外进行样本数据的清洗，对不符合图像识别要求的图片、图像、质量较差的图片进行剔除。并利用图像扩充技术进行有效样本数据扩充，丰富整体样本库。
S2、表计目标检测数据集构建：基于步骤S1中的仪表图像样本库进行表计数据标注，构建表计目标检测数据集。利用Labelme工具进行表计目标框标注和类别标注，需要对图片中表盘进行矩形框标注，并注明类别，形成表计目标检测数据集。
S3、表计自动定位与裁剪：根据构建的表计目标检测数据集，搭建并训练基于Yolov4的表计目标检测模型，基于训练的模型可以准确自动定位表计位置，根据定位结果进行裁剪。
表计自动定位与裁剪分为两个过程，一是基于Yolov4搭建并训练表计目标检测模型，用于自动定位；二是根据定位结果进行bbox裁剪。
基于Yolov4的表计自动定位与检测模型主要包括四个部分：
1、主干特征提取网络采用CSPDarknet53，分别取CSPDarknet53的最后三个特征层(8倍下采样、16倍下采样、32倍下采样)作为提取的特征输出。
2、特征金字塔：采用SPP结构，SPP作为Neck的附加模块，PANet作为Neck的特征融合模块，将深层特征信息通过上采样取浅层特征融合，其中上采样采用Upsample2D插值方式。
3、yolo_head：利用yolo_head对提取的特征进行预测。
其中，表计目标检测模型的搭建/训练过程中用到的改进包括：数据增强方法和正则化方法。
1)数据增强方法：brightness，contrast，hue，saturation，noise，randomscaling，cropping，flipping，rotating，CutOut,MixUp,CutMix
2)正则化方法：DropOut,DropPath,Spatial DropOut,or DropBlock
S4、指针与刻度分割数据集构建：基于裁剪的图片进行表计指针与刻度的标注，生成指针与刻度语义分割数据集。
S5、搭建表计指针与刻度统一分割模型，并基于步骤S4中的分割数据集进行表计指针与刻度统一分割模型的训练。
表计指针与刻度统一分割模型的搭建是基于语义分割Yolact模型进行的，表计指针与刻度统一分割模型的backbone基于ResNet-101+FPN，Loss由分类损失、边界框回归损失和mask损失三部分组成。
其中，分类损失和边界框回归损失同SSD论文定义的一样，mask损失为预测mask和ground truth mask的逐像素二进制交叉熵。为了生成实例掩模，通过基本的矩阵乘法配合sigmoid函数来处理两分支的输出，从而合成mask，公式如下：
M＝σ(PCT)
其中：P是h×w×k的原型mask集合，C是n×k的系数集合，代表有n个通过NMS和阈值过滤的实例，每个实例对应有k个mask系数。
S6、表计后处理：根据步骤S5中训练的表计指针与刻度统一分割模型进行表计指针与刻度分割，对结果进行相关数值计算，得到指针读数。
步骤S6表计后处理计算包括：各指针斜率与角度计算、刻度质心计算、表盘中心点计算、指针读数获取计算。其中角度定义为垂直向下方向为零度，顺时针旋转为正方向。
自动定位与统一分割完成后，便送入刻度读取接口进行后处理操作并识别，具体描述为：双指针表计的读数是使用白色指针掩码、红色指针掩码、四个明显的粗刻度掩码和细刻度掩码计算得到。首先根据白指针掩码获取白指针偏斜角度，接着计算红指针掩码和白指针掩码的交叠区域质心作为刻度旋转中心，然后分别计算四个粗刻度质心和细刻度的质心，再然后使用刻度质心和旋转中心计算得到分割出的每一刻度的角度以及刻度值，最后根据白色指针角度以及可用的刻度角度计算出白色指针对应的读数。单指针读数识别相对简单些，与双指针表计的原理类似，不再赘述。

Claims (10)

1.一种基于深度学习的变电站表计自动定位与统一分割方法，其特征在于，包括以下步骤：
S1、采集各类表计图像，分类整理数据并建立仪表图像样本库；
S2、基于步骤S1中的仪表图像样本库进行表计数据标注，构建表计目标检测数据集；
S3、根据构建的表计目标检测数据集，搭建并训练表计目标检测模型，自动定位表计位置，根据定位结果进行裁剪；
S4、指针与刻度分割数据集构建；
S5、搭建表计指针与刻度统一分割模型，并基于步骤S4中的分割数据集进行表计指针与刻度统一分割模型的训练；
S6、根据步骤S5中训练的表计指针与刻度统一分割模型进行表计指针与刻度分割，对结果进行相关数值计算，得到指针读数。
2.根据权利要求1所述的一种基于深度学习的变电站表计自动定位与统一分割方法，其特征在于，所述步骤S1中，基于变电站内高清摄像头并根据设定预置位进行自动巡检的方式，采集到各类表计图像。
3.根据权利要求1所述的一种基于深度学习的变电站表计自动定位与统一分割方法，其特征在于，所述步骤S1中，样本库是指有效样本库；在采集各类表计图像数据后，进行样本数据的清洗，对不符合图像识别要求的图片、图像、质量较差的图片进行剔除。
4.根据权利要求3所述的一种基于深度学习的变电站表计自动定位与统一分割方法，其特征在于，所述步骤S1中，利用图像扩充技术进行有效样本数据扩充。
5.根据权利要求1所述的一种基于深度学习的变电站表计自动定位与统一分割方法，其特征在于，所述步骤S2中，利用Labelme工具进行表计目标框标注和类别标注，形成表计目标检测数据集。
6.根据权利要求1所述的一种基于深度学习的变电站表计自动定位与统一分割方法，其特征在于，所述步骤S3中，根据构建的表计目标检测数据集，搭建并训练基于Yolov4的表计目标检测模型。
7.根据权利要求1或6所述的一种基于深度学习的变电站表计自动定位与统一分割方法，其特征在于，所述步骤S3中，表计目标检测模型的搭建运用到数据增强方法和正则化方法。
8.根据权利要求1所述的一种基于深度学习的变电站表计自动定位与统一分割方法，其特征在于，所述步骤S5中，表计指针与刻度统一分割模型的搭建是基于语义分割Yolact模型进行的，表计指针与刻度统一分割模型的backbone基于ResNet-101+FPN，Loss由分类损失、边界框回归损失和mask损失三部分组成。
9.根据权利要求8所述的一种基于深度学习的变电站表计自动定位与统一分割方法，其特征在于，分类损失和边界框回归损失中，mask损失为预测mask和groundtruthmask的逐像素二进制交叉熵；通过基本的矩阵乘法配合sigmoid函数来处理两分支的输出，从而合成mask，公式如下：
M＝σ(PCT)
其中：P是h×w×k的原型mask集合，C是n×k的系数集合，代表有n个通过NMS和阈值过滤的实例，每个实例对应有k个mask系数。
10.根据权利要求1所述的一种基于深度学习的变电站表计自动定位与统一分割方法，其特征在于，所述步骤S6包括各指针斜率与角度计算、刻度质心计算、表盘中心点计算、指针读数获取计算。
CN202111080919.2A 2021-09-15 2021-09-15 一种基于深度学习的变电站表计自动定位与统一分割方法 Pending CN113837178A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111080919.2A CN113837178A (zh) 2021-09-15 2021-09-15 一种基于深度学习的变电站表计自动定位与统一分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111080919.2A CN113837178A (zh) 2021-09-15 2021-09-15 一种基于深度学习的变电站表计自动定位与统一分割方法

Publications (1)

Publication Number Publication Date
CN113837178A true CN113837178A (zh) 2021-12-24

Family

ID=78959395

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111080919.2A Pending CN113837178A (zh) 2021-09-15 2021-09-15 一种基于深度学习的变电站表计自动定位与统一分割方法

Country Status (1)

Country Link
CN (1) CN113837178A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117095246A (zh) * 2023-10-20 2023-11-21 国网江西省电力有限公司超高压分公司 基于偏振成像的深度学习指针仪表读数识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016101643A1 (zh) * 2014-12-26 2016-06-30 国网重庆市电力公司电力科学研究院 一种仪表数据读取方法及系统
US20190095739A1 (en) * 2017-09-27 2019-03-28 Harbin Institute Of Technology Adaptive Auto Meter Detection Method based on Character Segmentation and Cascade Classifier
CN111414934A (zh) * 2020-01-21 2020-07-14 国网浙江省电力有限公司湖州供电公司 一种基于Faster R-CNN和U-Net的指针式仪表读数自动识别方法
CN112115895A (zh) * 2020-09-24 2020-12-22 深圳市赛为智能股份有限公司 指针型仪表读数识别方法、装置、计算机设备及存储介质
CN112507815A (zh) * 2020-11-24 2021-03-16 北京超维世纪科技有限公司 关于指针式仪器仪表盘刻度人工智能图像识别算法及系统
CN112749813A (zh) * 2020-10-29 2021-05-04 广东电网有限责任公司 一种数据处理系统、方法、电子设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016101643A1 (zh) * 2014-12-26 2016-06-30 国网重庆市电力公司电力科学研究院 一种仪表数据读取方法及系统
US20190095739A1 (en) * 2017-09-27 2019-03-28 Harbin Institute Of Technology Adaptive Auto Meter Detection Method based on Character Segmentation and Cascade Classifier
CN111414934A (zh) * 2020-01-21 2020-07-14 国网浙江省电力有限公司湖州供电公司 一种基于Faster R-CNN和U-Net的指针式仪表读数自动识别方法
CN112115895A (zh) * 2020-09-24 2020-12-22 深圳市赛为智能股份有限公司 指针型仪表读数识别方法、装置、计算机设备及存储介质
CN112749813A (zh) * 2020-10-29 2021-05-04 广东电网有限责任公司 一种数据处理系统、方法、电子设备及存储介质
CN112507815A (zh) * 2020-11-24 2021-03-16 北京超维世纪科技有限公司 关于指针式仪器仪表盘刻度人工智能图像识别算法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
万吉林;王慧芳;管敏渊;沈建良;吴国强;高奥;杨斌;: "基于Faster R-CNN和U-Net的变电站指针式仪表读数自动识别方法", 电网技术, no. 08 *
徐发兵;吴怀宇;陈志环;喻汉;: "基于深度学习的指针式仪表检测与识别研究", 高技术通讯, no. 12 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117095246A (zh) * 2023-10-20 2023-11-21 国网江西省电力有限公司超高压分公司 基于偏振成像的深度学习指针仪表读数识别方法

Similar Documents

Publication Publication Date Title
CN105372581B (zh) 挠性电路板制造过程自动监测和智能分析系统及方法
CN108711148B (zh) 一种基于深度学习的轮胎缺陷智能检测方法
CN112734692A (zh) 一种变电设备缺陷识别方法及装置
CN111209864B (zh) 一种电力设备目标识别方法
CN112070135A (zh) 电力设备图像检测方法、装置、电力设备及存储介质
CN111667476B (zh) 布料瑕疵检测方法、装置、电子设备及可读存储介质
CN111510688A (zh) 一种带无人巡检功能的变电站智能辅控方法
CN113469178B (zh) 一种基于深度学习的电力表计识别方法
CN115909059A (zh) 一种自然资源样本库建立方法和装置
CN112102296A (zh) 一种基于人类概念学的电力设备目标识别方法
CN116844147A (zh) 一种基于深度学习的指针式仪表识别和异常警报方法
CN115457556A (zh) 一种核电厂圆盘指针式仪表读数方法
CN116563781A (zh) 一种用于巡检机器人的图像监测与诊断方法
CN115171045A (zh) 一种基于yolo的电网作业现场违章识别方法及终端
CN113837178A (zh) 一种基于深度学习的变电站表计自动定位与统一分割方法
CN114694130A (zh) 基于深度学习的铁路沿线电线杆及杆号检测方法和装置
CN112561885A (zh) 基于YOLOv4-tiny的插板阀开度检测方法
Zhang et al. A YOLOv3-Based Industrial Instrument Classification and Reading Recognition Method
CN115311447A (zh) 一种基于深度卷积神经网络的指针式仪表示数识别方法
CN111028289B (zh) 基于模板匹配的变电站内设备异物定位方法
Sheng et al. A YOLOX-Based Detection Method of Triple-Cascade Feature Level Fusion for Power System External Defects
CN113780224B (zh) 一种变电站无人化巡视方法及系统
CN110473288A (zh) 堤坝模型重建方法、装置和电子设备
CN117372510B (zh) 基于计算机视觉模型的地图注记识别方法、终端及介质
CN113807244B (zh) 一种基于深度学习的机柜布置图绘制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination