CN113435300A

CN113435300A - 一种避雷器仪表实时识别方法及系统

Info

Publication number: CN113435300A
Application number: CN202110698635.3A
Authority: CN
Inventors: 张传友; 李健; 孙志周; 慈文斌; 解晓东; 刘明林; 李冬松; 翟朝兵; 赵亚博; 王震; 邵光亭; 王亚菲; 邓燕
Original assignee: State Grid Intelligent Technology Co Ltd
Current assignee: State Grid Intelligent Technology Co Ltd
Priority date: 2021-06-23
Filing date: 2021-06-23
Publication date: 2021-09-24
Anticipated expiration: 2041-06-23
Also published as: CN113435300B

Abstract

本公开提出了基于机器学习的实时避雷器仪表检测识别方法及系统，包括：采用数据增强的方式扩充避雷器仪表样本图像库；对扩充的样本数据，采用深度学习神经网络模型进行训练获得训练权重文件；基于生成的训练权重文件定位避雷器表盘在图像中位置，采用图像处理技术确定表盘位置ROI；对生成的ROI采用方向图滤波获得表盘刻度，根据表盘刻度计算候补表针队列确定表针位置；根据表针位置获得最后的表计角度值，进一步获得刻度值，得到训练后的深度学习神经网络模型；输入待测图像，利用训练后的深度学习神经网络模型检测椭圆及刻度，最后检测指针位置给出仪表的读数。

Description

一种避雷器仪表实时识别方法及系统

技术领域

本公开属于避雷器仪表识别技术领域，尤其涉及基于机器学习的实时避雷器仪表检测识别方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

避雷器仪表广泛应用在各个领域，在避雷器仪表的识别监测上若采用人工监测，则存在需要耗费大量的人力及物力，且数据读取存在较大的误差。

随着巡检机器人的迅速发展，在巡检机器人上安装图像采集设备，利用图像采集设备采集避雷器仪表的表盘图像，变电站避雷器仪表大多呈现表针细、与背景区分不明显的特点，由于室外环境复杂，采集的仪表存在形变、表针形态多样、遮挡、倒影等现状时，无法准确的实现仪表的读数。

发明内容

为克服上述现有技术的不足，本公开提供了基于机器学习的实时避雷器仪表检测识别方法，解决了仪表的形变、表针形态多样、遮挡、倒影等，能够快速准确的识别出仪表的读数。

为实现上述目的，本公开的一个或多个实施例提供了如下技术方案：

第一方面，公开了基于机器学习的实时避雷器仪表检测识别方法，包括：

采用数据增强的方式扩充避雷器仪表样本图像库；

对扩充的样本数据，采用深度学习神经网络模型进行训练获得训练权重文件；

输入待测图像，利用深度学习神经网络模型使用生成的训练权重文件定位避雷器表盘在图像中位置，采用图像处理技术确定表盘位置ROI，ROI指的是避雷器表盘在图像中的矩形区域子图；

对生成的ROI采用方向图滤波获得表盘刻度，根据表盘刻度计算候补表针队列确定表针位置；

根据表针位置计算表计角度值，进一步获得刻度值给出仪表的读数。

第二方面，公开了基于机器学习的实时避雷器仪表检测识别系统，包括：

仪表图像训练模块，被配置为：采用数据增强的方式扩充避雷器仪表样本图像库；

仪表图像识别模块，被配置为：输入待测图像，利用深度学习神经网络模型使用生成的训练权重文件定位避雷器表盘在图像中位置，采用图像处理技术确定表盘位置ROI，ROI指的是避雷器表盘在图像中的矩形区域子图；

进一步的技术方案，扩充避雷器仪表样本图像库之前对获取的避雷器仪表样本图像进行标定。

以上一个或多个技术方案存在以下有益效果：

本公开发明了一种避雷器仪表实时识别方法，设计了多尺度数据增强算法，使用卷积神经网络的方式定位避雷器仪表，把多个尺度下目标设备随机融合为一张大图进行训练，有效规避光线、阴影、镜头反光导致的表盘定位失败的问题，提高了不同场景、不同角度、小目标等识别的鲁棒性。

本公开创新性提出了避雷器表针检测候补队列技术，设计了方向图滤波算法，采用候补队列方式可以增加表针与表盘颜色相近的避雷器表针定位精度，相比传统方式对前后背景相近的避雷器表计表针位置存在较大误检率，本方案解决了避雷器表针因细小、色浅等导致的识别错误的难题，提高了避雷器表计识别率。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1为本公开实施例子技术方案中的第4步获得表盘位置示意图，通过卷积计算获得避雷器表盘在图像中的位置，在这个基础上可以进一步定位精确的表盘位置；

图2为本公开实施例子避雷器表计识别的流程图示意图；

图3为本公开实施例子获得表盘刻度示意图；

图4为本公开实施例子获得表针队列的示意图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

参见附图2所示，本实施例公开了基于机器学习的实时避雷器仪表检测识别方法，整体步骤包括：加载模型文件，利用模型文件对待检测的图像进行预处理，进行椭圆、刻度检测，再进行指针检测。

具体步骤包括：

步骤一：标定避雷器仪表样本图像；

步骤二：对步骤一数据采用数据增强的方式扩充避雷器仪表样本图像库；

步骤三：使用步骤二中样本数据，采用二阶段深度学习神经网络模型训练，生成权重文件；

步骤四：步骤三中生成的训练权重文件定位避雷器表盘在图像中位置；

步骤五：使用步骤四结果，采用图像处理技术确定精确表盘位置ROI；

步骤六：对步骤五中生成的ROI采用方向图滤波获得表盘刻度；

步骤七：根据步骤六结果计算候补表针队列确定表计表针位置；

步骤八：根据步骤七结果获得最后的表计角度值，进一步获得刻度值。

在一实施例子中，从巡检数据库筛选避雷器仪表样本图像，图像数目为N，对样本图像中的目标进行标定获得参数文件，参数文件用于存放标定信息，参数文件数目N。

对训练数据样本进行扩充。根据训练目标(避雷器表计)特点，对1080P下目标进行两种方式处理：

(1)把目标区域按照固定大小(小于原图尺寸)从原图裁剪出来，形成子图像(子图个数大于N)及对应标定参数文件；

(2)随机选择步骤(1)中子图，n个子图(n个数根据目标类型可以设置不同的值)为一组随机排放在一个大图中，使用图像合成技术合成一张大图，这样一个大图多个目标文件。

进一步的具体实施例子，对以上扩充后的数据集合采用二阶段CNN(神经网络)网络进行训练，训练过程中对巡检目标做二次扩充，如亮度调节、旋转等，进行网络迭代，待loss值降低，网络收敛后终止训练，获得训练权重文件，这个权重文件是训练的结果文件，用于后边的预测。

使用上面的权重文件进行目标预测，得到精确的表盘、刻度及指针位置：进一步对获得的表计区域做图像灰度化处理，利用Hough变换找出仪表位置内椭圆形区域(圆形可看作椭圆的一种特殊情况。因为拍照时不可能完全正对仪表，所以拍出来的仪表有时会有一定角度倾斜，形状不是圆形，更近似为椭圆形)，这个区域就是要找的表盘区域。计算刻度就在这个椭圆区域里进行计算。

进一步的，获得准确的边界及刻度，表盘刻度可能分布在整个表盘任意区域，并且不同标计刻度间隔密度都有区别，为增强算法的鲁棒性、准确的找到表盘中边界刻度，首先对每个像素计算二阶导数得到图像curv_img和方向图Ori_Img；

grd1＝img(i,j-3)+img(i,j+3)-2*img(i,j)

grd2＝img(i-3,j)+img(i+3,j)-2*img(i,j)

grd3＝img(i,j-2)+img(i,j+2)-2*img(i,j)

grd4＝img(i-2,j)+img(i+2,j)-2*img(i,j)

其中，img(i,j)代表灰度图像中第i行第j列的像素。

curv_img(i,j)＝min(grad1,grad2,grad3,grad4)

将curv_img归一化到[0,255]，从0到2pi平分成16个方向，计算以该像素为中心周围7*7大小范围内的方向，方向值最大的作为该像素的方向，得到最终的方向图Ori_Img，对方向图Ori_Img做3*3的均值滤波得到Ori_Img_mean。

利用Ori_Img_mean对图像curv_img进行11*11的滤波得到Filter_Img：

其中，n---滤波器大小为(2n+1)×(2n+1)，这里n＝5；x---像素所在行；y---像素所在列。

设定阈值θ对Filter_Img进行二值化，对二值化图像进行细化，在细化的图像中检测存在的直线，在检测的线段中删除分歧点，例如，三个以上直线的共同结点，垂直的两个直线的结点，在所有线段当中，连接相近的直线，把不是直线的线段删除。计算直线的个数，每个直线的长度和坐标。

接着检测刻度：设定直线阈值，对长度不超过阈值的直线，计算直线的方程式，当作刻度直线。计算直线之间的距离和角度，然后用这距离和角度，检测未检测过的刻度。同时更新刻度的方向和中心。

根据计算的刻度中心和方向，用最小平方法来计算仪表盘的中心和椭圆的长半径，刻度所在的图形不能拟合成圆，而是拟合成椭圆的。

用计算的椭圆，按照均等的间隔，再次计算所有的刻度，包括以前检测不到的刻度。

接下来进行根据刻度检测表针：先检测与刻度平行的长直线，然后检测在刻度下面的与指定刻度平行的边界，这样可以找到一系列指针形成候补指针队列。根据边界信息和颜色信息来检测候补指针队列，去除影子的影响，找相似度最高的指针，返回真的刻度值和刻度的坐标。

系统启动时加载训练的仪表检测模型文件，输入图像对图像预处理去除噪声、反光等影响，然后检测椭圆及刻度，最后检测指针位置给出仪表的读数。算法鲁棒性强，可以克服形变、倒影、遮挡等影响。

测试图像库包含M(M>1000)张仪表图像，在此数据库仪表检测成功率为99％，读数成功率99.9％。因此，通过本发明设计的系统能够快速、稳定地检测仪表并给出仪表指针位置数值。

基于机器学习的机器人在巡检过程中待检测仪表目标的定位、检测、指针位置读数。

基于同样的发明构思，本实施例的目的是提供一种计算装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现基于机器学习的实时避雷器仪表检测识别方法的步骤。

基于同样的发明构思，本实施例的目的是提供一种计算机可读存储介质。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行基于机器学习的实时避雷器仪表检测识别方法的步骤。

基于同样的发明构思，本实施例公开了基于机器学习的实时避雷器仪表检测识别系统，包括：

本领域技术人员应该明白，上述本公开的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本公开不限制于任何特定的硬件和软件的结合。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims

1.基于机器学习的实时避雷器仪表检测识别方法，其特征是，包括：

采用数据增强的方式扩充避雷器仪表样本图像库；

输入待测图像，利用深度学习神经网络模型使用生成的训练权重文件定位避雷器表盘在图像中位置，采用图像处理技术确定表盘位置ROI；

2.如权利要求1所述的基于机器学习的实时避雷器仪表检测识别方法，其特征是，扩充避雷器仪表样本图像库之前对获取的避雷器仪表样本图像进行标定；

优选的，采用数据增强的方式扩充避雷器仪表样本图像库，具体包括：

把目标区域按照小于原图尺寸的固定大小从大图裁剪，形成子图像及对应标定参数文件；

随机子图，n个子图为一组随机排放在一个大图中，形成一个大图多个目标文件。

3.如权利要求1所述的基于机器学习的实时避雷器仪表检测识别方法，其特征是，对以上扩充后的数据集合采用二阶段CNN神经网络进行训练，训练过程中对巡检目标做二次扩充，获得训练权重文件。

4.如权利要求1所述的基于机器学习的实时避雷器仪表检测识别方法，其特征是，采用图像处理技术确定表盘位置ROI：

对获得的表计区域做图像灰度化处理，利用Hough变换找出仪表位置内椭圆形区域；在椭圆区域进行计算刻度。

5.如权利要求1所述的基于机器学习的实时避雷器仪表检测识别方法，其特征是，对生成的ROI采用方向图滤波获得表盘刻度，包括：

对每个像素计算二阶导数得到第一图像，将第一图像归一化，平分成多个方向，计算以该像素为中心周围设定大小范围内的方向，方向值最大的作为该像素的方向，得到最终的方向图；

对方向图做均值滤波处理得到第二图像；

利用第二图像对第一图像进行滤波得到第三图像；

设定阈值对第三图像进行二值化，对二值化图像进行细化，在细化的图像中检测存在的直线，在检测的线段中删除分歧点；

在所有线段当中，连接相近的直线，把不是直线的线段删除，计算直线的个数，每个直线的长度和坐标。

6.如权利要求5所述的基于机器学习的实时避雷器仪表检测识别方法，其特征是，对生成的ROI采用方向图滤波获得表盘刻度：

设定直线阈值，对长度不超过阈值的直线，计算直线的方程式，当作刻度直线；

计算直线之间的距离和角度，然后用距离和角度，检测未检测过的刻度，同时更新刻度的方向和中心；

根据计算的刻度中心和方向，用最小平方法来计算仪表盘的中心和椭圆的长半径；

用计算的椭圆，按照均等的间隔，再次计算所有的刻度。

7.如权利要求1所述的基于机器学习的实时避雷器仪表检测识别方法，其特征是，根据表盘刻度计算候补表针队列确定表针位置：

先检测与刻度平行的长直线，然后检测在刻度下面的与指定刻度平行的边界，找到一系列指针形成候补指针队列；

根据边界信息和颜色信息来检测候补指针队列，去除影子的影响，找相似度最高的指针，返回真实的刻度值和刻度的坐标。

8.基于机器学习的实时避雷器仪表检测识别系统，其特征是，包括：

仪表图像识别模块，被配置为：输入待测图像，利用深度学习神经网络模型使用生成的训练权重文件定位避雷器表盘在图像中位置，采用图像处理技术确定表盘位置ROI；

9.一种计算机可读存储介质，其上存储有计算机程序，其特征是，该程序被处理器执行时执行权利要求1-7任一所述的基于机器学习的实时避雷器仪表检测识别方法的步骤。

10.一种计算装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征是，所述处理器执行所述程序时实现权利要求1-7任一所述的基于机器学习的实时避雷器仪表检测识别方法的步骤。