CN114549981A - 一种基于深度学习的智能巡检指针式仪表识别及读数方法 - Google Patents

Abstract

本发明提供了一种基于深度学习的智能巡检指针式仪表识别及读数方法，包括：获取原始仪表图像数据，对原始图像数据进行预处理后划分为训练集和测试集；构建仪表识别模型，并通过训练集和测试集对其进行训练，得到训练后的仪表识别模型；将采集到的待检测图像输入训练后的仪表识别模型进行目标检测，得到含有仪表的图像；对含有仪表的图像进行预处理和校畸；对校畸后的图像进行处理并进行异常判断；对通过异常判断后的仪表图像进行刻度提取，提取出仪表图像中用于读数的刻度线和指针；检测出表盘的外圆并将其展开为矩形，根据指针位置进行读数计算，得到仪表的读数结果。本发明能够对各角度场景下的圆形仪表盘实现准确检测和读数。

Description

一种基于深度学习的智能巡检指针式仪表识别及读数方法

技术领域

本发明涉及智能识别的技术领域，更具体地，涉及基于深度学习的智能巡检指针式仪表识别及读数方法。

背景技术

随着科技的不断进步，中国电网得到了高速的发展，电网的规模结构也发生了翻天覆地的改变，所需处理的仪表数据剧增，导致人工工作量巨大，任务繁重，然而人工工作效率偏低，不能满足现在社会的发展需求，人工读取数据还存在数据记录出现错误等问题，此外一些环境恶劣的工业场地并不适合人工测量和记录数据，因此仪表数据读取问题成为了一项繁重的任务。

为了减轻人工压力，运用机器人、无人机等智能手段拍摄照片进行读数已成为发展趋势。因此，变电站开始使用巡检机器人上的相机实现自动拍摄仪表，并将图像传入智能识别系统中进行读数，从而代替人工读数，实现变电站设备的智能管理提高效率。在机器人拍摄过程中，指针式仪表读数的准确度很大程度上取决于相机的拍摄角度，当相机正对仪表拍摄时，采集的图像中有端正的仪表，此类仪表识别较为容易且读数准确度高。然而，变电站实际环境复杂，相机自动拍摄的角度各不相同，且仪表本身存在安装倾斜等问题，相机不能正对仪表的表盘进行拍摄，采集到的仪表图像中的表盘往往有严重的倾斜和旋转问题，同时表盘刻度也发生了比例变化，直接对这类图像进行识别较为困难，并且读数准确度较低。

发明内容

为解决现有技术中存在的不足，本发明的目的在于，提供一种基于深度学习的智能巡检指针式仪表识别及读数方法，对圆形指针式仪表进行快速识别校正与异常判断并进行智能读数，提高了读数的准确度。

本发明采用如下的技术方案。

一种基于深度学习的智能巡检指针式仪表识别及读数方法，包括以下步骤：

步骤1，通过巡检机器人获取原始仪表图像数据，对原始图像数据进行预处理后划分为训练集和测试集；

步骤2，构建仪表识别模型，并通过训练集和测试集对其进行训练，得到训练后的仪表识别模型；

步骤3，将巡检机器人采集到的待检测图像输入训练后的仪表识别模型进行目标检测，得到含有仪表的图像；

步骤4，对含有仪表的图像进行预处理，并对预处理后的图像进行校畸；

步骤5，对校畸后的图像进行处理并进行异常判断，去除异常表盘图像；

步骤6，对通过异常判断后的仪表图像进行刻度提取，提取出仪表图像中用于读数的刻度线和指针；

步骤7，检测出表盘的外圆并将其展开为矩形，根据指针位置进行读数计算，得到仪表的读数结果。

优选地，所述步骤1中，预处理包括挑选出包含倾斜仪表的图像和包含正常仪表的图像作为后续训练使用的图像，划分后的训练集图像和测试集图像分别占总图像数的75％和25％。

优选地，所述步骤2中，仪表识别模型基于YOLOv3算法进行构建。

优选地，所述步骤4还包括以下步骤：

步骤4-1，对得到的含有仪表的图像进行预处理；

步骤4-2，基于透视变换对预处理后的图像进行倾斜校正；

步骤4-3，基于仿射变换对倾斜校正后的图像进行旋转校正，得到校畸后的仪表图像。

优选地，所述步骤4-1中的预处理还包括：

对仪表识别模型检测出的倾斜仪表图像进行灰度化处理；

对图像进行滤波降噪的处理，平滑图像边缘；

获取图像灰度值的平均值作为图像的亮度均值；

对图像进行二值化处理，取亮度均值为分割线，作为二值化分割的界限，图像二值化后得到图像的分割掩码；

对获取到的分割掩码进行膨胀和腐蚀操作，使得分割边缘更加圆滑。

优选地，所述步骤5还包括：

步骤5-1，对经过校畸后的图像从中心点进行裁剪，得到只包含表盘区域的图像；

步骤5-2，取裁剪后图像的亮度均值，将该亮度均值作为二值化分割界限，利用反二值化的方法处理校正后的图像，获取指针轮廓；

步骤5-3，对获取到的分割掩码做腐蚀膨胀处理，降低非指针的黑色区域图像噪点的影响。然后找出掩码轮廓点，保留轮廓上的所有点。

步骤5-4，获取指针与指针的最小外接矩形的中心点，计算指针与表盘中心点到垂直向下线条所形成的夹角度数；

步骤5-5，根据夹角度数范围判断表盘是否异常，将检测到异常的表盘去除。

优选地，所述步骤5-4中，指针的获取还包括：

计算轮廓包围的面积，根据面积占比筛选出可能属于指针的轮廓；

对轮廓拟合一个最小包裹矩形，获取图像中心点到轮廓的距离；

轮廓包裹矩形的长宽之比大于2.5，并且图像中心点到轮廓的距离小于图片宽度的1/5，认为可能是指针的轮廓；

在满足条件下的轮廓中，选取最大的轮廓作为指针。

优选地，所述步骤6还包括：通过对仪表图像中每个像素点进行密集的预测、推断标签类进行细粒度的推理，使每个像素点都被标记为其封闭对象仪表读数区域的类别；利用语义分割算法，提取出所需要读数仪表图片的刻度线和指针。

优选地，所述步骤7还包括以下步骤：

步骤7-1，通过霍夫圆检测法检测出表盘的圆形刻度图像，并将其展开变为矩形图像；

步骤7-2，将二维数组转化为一维数组；

步骤7-3，对一维数组进行数据过滤，增加区分度；

步骤7-4，对刻度与指针进行定位；

步骤7-5，结合刻度与指针的数量和位置信息，进行读数计算。

优选地，所述步骤7-1还包括：

将语义分割出的图像进行滤波降噪处理，从而平滑图像，减少噪点对于圆形检测的影响；

将经过滤波降噪的图像通过霍夫圆检测检测出外圆，并将其展开为矩形。

本发明的有益效果在于，与现有技术相比，本文提出的基于YOLOv3的指针式仪表的识别与读数的方法，通过深度卷积神经网络识别表盘，并进行两次校畸，分别是基于透视变换的倾斜校正和基于仿射变换的旋转校正，校畸后根据指针与垂直直线的夹角度数来判断仪表是否异常，最后进行读数，读数采取将圆形刻度展开转换为矩形后，由刻度的位置来计算读数。由于在变电站及工业环境中，采集的仪表图像会由于拍摄角度等因素出现各种各样的倾斜畸变，导致仪表难以清楚识别，影响读数的准确性，基于本发明提出的识别与读数方法使得表盘的畸变对读数结果影响较小，能够得到更好的仪表读数效果，提高了读数的准确度，具有实用价值。

附图说明

图1为本发明提出的基于深度学习的智能巡检指针式仪表识别及读数方法的整体流程示意图；

图2为本发明中对圆形指针式仪表进行读数的流程示意图；

图3为本发明中仪表识别模型的滤波器处理示意图；

图4为卷积神经网络的滤波器处理过程示意图；

图5为本发明中仪表识别模型的滤波器处理示意图；

图6为本发明中刻度与指针的示意图；

图7为本发明中刻度与指针的示意图；

图8为基于本发明方法对表盘的检测结果示意图；

图9为基于本发明方法对表盘的检测结果示意图；

图10为基于本发明方法对表盘的检测结果示意图；

图11为基于本发明方法对表盘的检测结果示意图。

具体实施方式

下面结合附图对本申请作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本申请的保护范围。

随着电网规模逐步扩大，运用智能手段拍摄照片进行读数已成为发展趋势。研究仪表的识别与读数是一项具有实际意义的任务。传统的仪表识别与读取方法容易受到工业环境与相机拍摄角度造成的表盘畸变的影响，因此需要一种能够不受表盘畸变影响、对仪表实现准确识别与读数的方法。如图1所示，本发明提出了一种基于深度学习的智能巡检指针式仪表识别及读数方法，该方法具体包括以下步骤：

步骤1，获取原始仪表图像数据，对原始图像数据进行预处理后划分为训练集和测试集；

本发明中原始仪表图像数据可以通过巡检机器人或无人机进行采集，仪表为圆形指针式仪表。

进一步的，对采集到的原始图像数据进行预处理，挑选出包含倾斜仪表的图像和包含正常仪表的图像作为后续训练使用的图像。

具体的，将预处理后图像随机划分为训练集和测试集，训练集中的图像占总图像数的75％，测试集中的图像占总图像数的25％；训练集用于训练出适用于识别仪表表盘的仪表识别模型，训练后的仪表识别模型再通过测试集检测训练效果，以便对仪表识别模型进入到实际环境使用之前进行优化。

步骤2，构建仪表识别模型，并通过训练集和测试集对其进行训练，得到训练后的仪表识别模型；

具体的，为了实现对图像中圆形指针仪表部分的识别检测，可以基于目标检测算法构建仪表识别模型，目标检测算法主要包括以下两类：基于区域的目标检测算法，常用的有Fast R-CNN、Faster R-CNN；基于回归的目标检测算法，常用的有YOLO，SSD。由于YOLOv3算法具有良好的识别率和实时性，本发明中选择基于YOLOv3算法构建仪表识别模型并进行训练。

YOLOv3算法是基于v1、v2算法的基础上改进而来的，v3算法采用了分类效果更好的darknet-53，相比前2个算法所用的ResNet-152和ResNet-101、darknet-53神经网络层数更精简，但在分类精度保持一致的同时计算效率有了提升。

YOLOv3算法提取了darknet-53中下采样为8倍、16倍、32倍时的特征图图像尺度分别为13*13、26*26、52*52。使用FPN网络对darknet-53网络中提取的三个尺度不同的特征图进行融合处理，利用多尺度信息策略帮助网络模型能学习到不同深度的特征信息，最后将多种特征融合在一起并输入YOLO层进行类别预测和边界框回归运算。

每当图像被卷积后，尺寸发生变化缩小成原来的一半。每个卷积层的实现是由卷积+BN层+激活函数，设置添加后的残差模块在其基础上需要进行零填充的设置。YOLOv3算法共计算出10647个预测框。

卷积神经网络是一种前馈神经网络，通常被应用于图像处理方面，卷积神经网络主要由输入层，卷积层，池化层，全连接层和Softmax层5层结构组成，卷积层和池化层为其核心部分：

(1)输入层。输入层主要是对原始数据进行预处理，进行数据标准化，增强训练数据等操作。

(2)卷积层。卷积层是卷积神经网络中最重要的一个层次。在卷积层中，通过局部关联与窗口滑动两个主要操作，进行特征提取。它们利用滤波器在所需处理的数据上进行滑动计算，最终得到特征图，以此进行卷积计算。

(3)池化层。池化层存于连续的卷积层之间，它最主要的目的就是压缩数据，减少过拟合。在压缩数据时，池化层去掉的信息都是无关紧要的信息，而把能表达图像特征的信息留下。因此池化层具有特征不变性。除此之外，它还可以防止过拟合，更便于数据的优化。

(4)全连接层。全连接层一般在卷积神经网络的尾部，其中的所有神经元都与上一层的神经元相连接，把提取到的特征综合在一起。在全连接层实现了特征分类。

(5)Softmax层。主要用于分类问题，通过Softmax层可得到当前样例属于不同种类的概率分布情况。

如图3所示，将32*32的3通道图像作为输入层，用长宽为5、深度为3的滤波器在输入层上做滑动运算，最终会得到一个特征图。如图4所示，卷积神经网络中使用多个filter(滤波器)进行多次卷积，最终得到若干个特征图。如图5所示，使用了6个滤波器进行多次滑动运算分别进行卷积，最终得到6个特征图，达到了卷积层输出的结果。

进一步的，对构建的仪表识别模型通过训练集和测试集进行训练，并通过目标损失函数判断训练是否完成，当目标损失不再明显减少时停止训练。

步骤3，将巡检机器人采集到的待检测图像输入训练后的仪表识别模型进行目标检测，得到含有仪表的图像；

如图2所示，基于训练后的仪表识别模型对含有圆形指针式仪表的待检测图像进行检测，其中，仪表识别模型输出的识别结果为仪表图像。

步骤4，对含有仪表的图像进行灰度化和滤波降噪预处理，并对预处理后的图像进行校畸；

具体的，步骤4还包括以下步骤：

步骤4-1，对步骤3得到的含有仪表的图像进行预处理，减少处理的数据量；

其中，预处理还包括：对仪表识别模型检测出的倾斜仪表图像进行灰度化处理，减少处理的数据量，加快计算速度；为了平滑图片边缘，降低噪点对图片的影响，对图像进行滤波降噪的处理。获取图片的亮度均值，亮度均值为图像灰度值的平均值；取亮度均值为分割线，做为二值化分割的界限，大于此均值的像素点变为白色，小于此均值的像素点则相反，变为黑色，图像二值化后得到的分割掩码包括0值和1值，其中黑色为0值，白色为1值；为了加强待处理的区域和减少噪声，对获取到的分割掩码进行膨胀和腐蚀操作，使得分割边缘更加圆滑。

具体的，灰度化是将原来的三通道的RGB彩色图像转化为单通道的灰度图像，当R＝G＝B时的值就是灰度值，因此灰度值的取值范围是0-255。对于颜色空间，在图像处理中，常用的是RGB和YcrCb，YcrCb常用于肤色检测。灰度图只有一个通道，只需计算一个值，因此对图像进行灰度化操作可以加快计算速度，减少需要处理的数据量。

膨胀和腐蚀操作都是对高亮部分进行的操作。其中，高亮部分是指大于亮度均值的像素点部分，膨胀操作是增加像素值高的区域，减小像素值低的的区域，而腐蚀操作则是减少像素值高的区域，增加像素值低的的区域。

在仪表识别中通过膨胀腐蚀操作来加强或者消除刻度区域以及指针区域。膨胀和腐蚀操作可以加强待处理的区域，并减少噪声干扰。

步骤4-2，基于透视变换对预处理后的图像进行倾斜校正；

具体的，本发明中基于透视变换的倾斜校正还包括：

对于经过预处理的图像，先使用Canny边缘检测算法找出掩码轮廓点，保留轮廓上的所有点，计算出轮廓包围的面积；

具体的，Canny边缘检测算法是一项可以从大量图像中提取到自己所需的有用信息，减少计算数据量的技术。Canny边缘检测算法能够实现以下基本目标：一是以极低的错误率尽可能多的捕获真正的边缘；二是定位效果良好，边缘点能够被很好地定位；三是单一的边缘点响应，即边缘只能标识一次。

Canny边缘检测算法的步骤如下：进行图像降噪，防止噪声被误认为成边缘。计算图像梯度获取到灰度化明显的地方，即可能边缘。通过非极大值抑制保留灰度变化最大的像素点，去除其他点；设置高低阈值进行筛选，将低于低阈值的像素点去除掉。

筛选轮廓包围面积占比图像总面积大小在0.2-0.8之间的轮廓，根据轮廓拟合一个椭圆，求出椭圆的面积，获取面积占比最大的椭圆，将其认为是表盘，由于检测出的轮廓包含图片中其他物体轮廓，如矩形管道，但矩形管道轮廓拟合出来的椭圆面积和矩形管道轮廓包围面积相差很大，即非表盘的轮廓拟合出来的椭圆的面积会和该物体本身相差很大，因此将面积占比最大的椭圆对应的轮廓作为表盘；

获取表盘轮廓的最小矩形包围框，以矩形的长边作为最后要透视变换出来的图像的宽高大小；

其中，本实施例根据掩码轮廓点，利用Opencv软件库的cv2.minAreaRect函数获得最小矩形包围框。

通过矩形框四个顶点坐标，确定透视变换所需要的原始四个点位置和目标四个点位置。目标区域为一个正方形区域；

生成透视变换矩阵，进行透视变换，实现对图像的倾斜校正。

其中，透视变换是一个能保持原图直线的变换，即原图如果在原图像中是一条直线，那么在经过透视变换后依旧为直线。本质是将图像从一个几何平面投影到另一个几何平面，经过透视变换后，同一条直线的点还是在同一条直线上，但不一定继续平行了。

透视变换的通用变换公式为：

其中，[u，v，w]是变换前的坐标，[x′，y′，w′]是变换后的坐标，a矩阵是变换矩阵。其变换关系如下：

透视变换主要包括以下作用：图像校正，将原图中涉及平面展现不合理的地方校正过来；图像视角转换，将看图的视角进行调整；图像拼接：进行图像采集时，最终成像的照片角度大部分情况下不同，如果能将其转成相同的角度，则可以将多张照片进行拼接。

步骤4-3，基于仿射变换对倾斜校正后的图像进行旋转校正，得到校畸后的仪表图像。

具体的，本发明中基于仿射变换的旋转校正还包括：

通过HSV颜色分割，根据颜色阈值取出下方档把位置；将像素点由RGB颜色转化为HSV颜色，并将颜色阈值限定为橙黄色部分，使用颜色阈值分割获取把手的位置；

对获取到的分割掩码做膨胀，腐蚀使得分割边缘更加圆滑，找出掩码轮廓点，将最大的轮廓对应的部分认为是把手的轮廓；

计算所有轮廓的面积，拟合把手的最小矩形，获取其中心点位置；

计算表盘中心点到把手中心点这条线与计算中心点到中心点垂直向下一个像素点，这两条线之间的夹角；

根据获取到的夹角，将图片按照中心点位置旋转相应的度数，得到第二次校正的图片。

步骤5，对校畸后的图像进行处理并进行异常判断，去除异常表盘图像；

具体的，步骤5还包括：

步骤5-1，对经过校畸后的图像从中心点进行裁剪，得到只包含表盘区域的图像；

步骤5-2，取步骤5-1裁剪后图像的亮度均值，将该亮度均值作为二值化分割界限，利用反二值化的方法处理校正后的图像，获取指针轮廓；

其中，由于本发明所适用于的待测表盘指针本身为黑色，为了凸显黑色指针，将大于均值的像素点的像素变为0，即将该像素点变为黑色，小于均值的像素点的像素变为255，即将该像素点变为白色。

步骤5-3，对获取到的分割掩码做腐蚀膨胀处理，降低非指针的黑色区域图像噪点的影响。然后找出掩码轮廓点，保留轮廓上的所有点。

步骤5-4，获取指针与指针的最小外接矩形的中心点，计算指针与表盘中心点到垂直向下线条所形成的夹角度数；

具体的，指针的获取还包括：计算轮廓包围的面积，根据面积占比筛选出可能属于指针的轮廓，具体的，筛选面积占比为10％～20％的轮廓认为是可能属于指针的轮廓。对轮廓拟合一个最小包裹矩形，获取图像中心点到轮廓的距离。轮廓包裹矩形的长宽之比大于2.5，并且图像中心点到轮廓的距离小于图片宽度的1/5，认为可能是指针的轮廓。在满足条件下，找出最大的轮廓认为是指针。

根据指针轮廓，获取指针的最小外接矩形，找出最小外接矩形的中心点，计算指针与表盘中心点到垂直向下这条线所形成的夹角。

步骤5-5，根据夹角度数范围判断表盘是否异常，将检测到异常的表盘去除。

具体的，本发明设置30度作为夹角度数的阈值，即步骤5-4中计算得到的仪表指针和竖直向下方向的夹角范围在正负30度范围内算作异常表盘。

进一步的，一种优选的实施方式为，由于拟合时可能有轮廓上的误差，可将夹角度数的阈值缩小，将该阈值变为25度。

步骤6，对通过异常判断后的仪表图像进行刻度提取，提取出仪表图像中用于读数的刻度线和指针；

步骤6还包括：通过对所处理仪表图像中每个像素点进行密集的预测、推断标签类进行细粒度的推理，进而使每个像素点都被标记为其封闭对象仪表读数区域的类别；利用语义分割算法提取出所需要读数仪表图片的刻度线和指针。

具体的，语义分割算法是从像素的角度分割出原图像中不同对象，并对原图中每一个像素点进行分类。传统的CNN分割低效且不准确，它大多只能捕捉一小部分的有限信息。而FCN网络则是利用上采样和反卷积到原图像大小，然后做像素级的分割。此外，FCN是对图像进行像素级别的分类，解决了语义级别的分割问题。并且无论输入图像大小是多少，它都能进行处理，并且效率更高，防止重复计算、空间浪费的问题。

步骤7，检测出表盘的外圆并将其展开为矩形，根据指针位置进行读数计算，得到仪表的读数结果。

为了提高读数的准确性，本发明采用了将表盘的圆形刻度展开变为矩形图像，再根据刻度线在矩形图像的位置进行读数的方式，具体的，步骤7还包括以下步骤：

步骤7-1，通过霍夫圆检测法检测出表盘的圆形刻度图像，并将其展开变为矩形图像；

具体的，步骤7-1还包括：

将语义分割出的图像进行滤波降噪处理，以达到平滑图像的目的，减少噪点对于圆形检测的影响。其中，均值滤波、中值滤波和高斯滤波是进行图像处理时使用较多的滤波操作，本发明选择其中一种对图像进行滤波降噪。

将经过滤波降噪的图像通过霍夫圆检测方法检测出外圆，并将其展开为矩形。其中，霍夫圆检测是将二维平面上检测圆的问题转换为三维参数空间上圆形锥面交点的问题。经典的霍夫圆检测虽然准确度高，但是计算量太大，所需时间太多。除了经典的霍夫圆检测方法，还出现了许多基于经典的霍夫圆检测改进的方法，如利用图像梯度信息的霍夫圆检测、随机霍夫变换、快速随机霍夫变换等。本发明采用了基于图像梯度信息霍夫圆检测来加快检测速度。

步骤7-2，获取刻度和指针的像素值组成的像素矩阵，该像素矩阵为二维数组，并将二维数组转化为一维数组；

通过记录刻度和指针的像素值，刻度和指针的像素值组成的像素矩阵为二维数组，将二维数组通过函数转换成一维数组，转换函数通过遍历二维数组每个像素点，将二维数组转换为一维数组，利用一个一维数组将矩形图像所有的像素值都记录下来。

如图6所示，较细线条对应黑色数字，所指数字是刻度的像素值，记作像素1，较粗线条对应红色数字，所指数字是指针的像素值，记作像素2。

步骤7-3，对一维数组进行数据过滤，增加区分度；

具体的，为了使一维数组的区分度更加明显，通过数据过滤来处理数据。

步骤7-4，对刻度与指针进行定位；

具体的，在步骤7-2中将二维数组转换为一维数组中，根据步骤7-2中得到的2种像素，设定代表刻度的像素1以10为阈值，代表指针的像素2以60为阈值，可以得到如图7所示的结果。图7中像素1部分数值大于10的为刻度位置，像素1数值小于10的为非刻度位置；像素2部分数值大于60的为指针位置，像素2数值小于60的为非指针位置。

由此，可以定位出刻度的首尾位置和指针的位置。

步骤7-5，结合刻度与指针的数量和位置信息，进行读数计算。

根据上述步骤获取到刻度的数量、指针相对于刻度的位置、刻度之间的比率可以计算得出指针所在位置刻度的份数，以及每一刻度代表的读数。则计算出的读数满足：读数＝指针位置刻度的份数*每一刻度代表的读数。

仿真实验：

为了验证本文所设计方法识别与读数的准确性，通过实际拍摄照片和无人机拍摄照片为样本进行仿真实验。对实际拍摄的图像基于本发明所提出的识别和读数方法分别进行了目标检测，校畸，异常判断，提取刻度，读数计算等操作，并记录得出的实验结论。

如图8～11所示，为基于本发明方法对实际采集的圆形仪表图像进行读数后得到的结果，图8～11为部分采集角度与光线均不同的仪表图像的检测结果示意图，可以看出，本发明能够实现准确的读数结果。

进一步的，为了体现本发明方法相对于现有技术的有益效果，分别采用本发明提出的方法和传统方法对同一批含圆形数字仪表的图像进行识别和读数，待检测的图像包含多角度、场景和光线下由巡检机器人采集的仪表图像，实验中选取300张图像进行测试，并统计两种方法下对仪表的识别率、对识别出的仪表表盘数字的读数准确率以及识别和读数的平均用时，其中，传统检测方法采用Faster R-CNN网络模型。

实验结果为：本发明方法下对仪表的识别率为97％，对识别出的仪表表盘数字读数准确率达到98％，平均每次读数用时为0.8秒；传统方法下对仪表的识别率为89％，对识别出的仪表表盘数字读数准确率为92％，平均每次读数用时为1.2秒。可以看出，本发明相对于传统方法不仅提升了对仪表的识别率和读数的准确率，且能够缩短识别和读数的用时，在实际应用中能够提升检测的效率。

本发明的有益效果在于，与现有技术相比，本发明对于在变电站及工业环境中所采集到的各式倾斜仪表图像，能够得到更好的仪表读数效果，即对此类图像实现准确检测和读数，提高了读数的准确度，具有较好的实用价值。。

本发明申请人结合说明书附图对本发明的实施示例做了详细的说明与描述，但是本领域技术人员应该理解，以上实施示例仅为本发明的优选实施方案，详尽的说明只是为了帮助读者更好地理解本发明精神，而并非对本发明保护范围的限制，相反，任何基于本发明的发明精神所作的任何改进或修饰都应当落在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的智能巡检指针式仪表识别及读数方法，其特征在于，包括以下步骤：

步骤1，通过巡检机器人获取原始仪表图像数据，对原始图像数据进行预处理后划分为训练集和测试集；

步骤2，构建仪表识别模型，并通过训练集和测试集对其进行训练，得到训练后的仪表识别模型；

步骤3，将巡检机器人采集到的待检测图像输入训练后的仪表识别模型进行目标检测，得到含有仪表的图像；

步骤4，对含有仪表的图像进行预处理，并对预处理后的图像进行校畸；

步骤5，对校畸后的图像进行处理并进行异常判断，去除异常表盘图像；

步骤6，对通过异常判断后的仪表图像进行刻度提取，提取出仪表图像中用于读数的刻度线和指针；

步骤7，检测出表盘的外圆并将其展开为矩形，根据指针位置进行读数计算，得到仪表的读数结果。

2.根据权利要求1所述的基于深度学习的智能巡检指针式仪表识别及读数方法，其特征在于，

所述步骤1中，预处理包括挑选出包含倾斜仪表的图像和包含正常仪表的图像作为后续训练使用的图像，划分后的训练集图像和测试集图像分别占总图像数的75％和25％。

3.根据权利要求1所述的基于深度学习的智能巡检指针式仪表识别及读数方法，其特征在于，

所述步骤2中，仪表识别模型基于YOLOv3算法进行构建。

4.根据权利要求1所述的基于深度学习的智能巡检指针式仪表识别及读数方法，其特征在于，

所述步骤4还包括以下步骤：

步骤4-1，对得到的含有仪表的图像进行预处理；

步骤4-2，基于透视变换对预处理后的图像进行倾斜校正；

步骤4-3，基于仿射变换对倾斜校正后的图像进行旋转校正，得到校畸后的仪表图像。

5.根据权利要求4所述的基于深度学习的智能巡检指针式仪表识别及读数方法，其特征在于，

所述步骤4-1中的预处理还包括：

对仪表识别模型检测出的倾斜仪表图像进行灰度化处理；

对图像进行滤波降噪的处理，平滑图像边缘；

获取图像灰度值的平均值作为图像的亮度均值；

对图像进行二值化处理，取亮度均值为分割线，作为二值化分割的界限，图像二值化后得到图像的分割掩码；

对获取到的分割掩码进行膨胀和腐蚀操作，使得分割边缘更加圆滑。

6.根据权利要求1所述的基于深度学习的智能巡检指针式仪表识别及读数方法，其特征在于，

所述步骤5还包括：

步骤5-1，对经过校畸后的图像从中心点进行裁剪，得到只包含表盘区域的图像；

步骤5-2，取裁剪后图像的亮度均值，将该亮度均值作为二值化分割界限，利用反二值化的方法处理校正后的图像，获取指针轮廓；

步骤5-3，对获取到的分割掩码做腐蚀膨胀处理，降低非指针的黑色区域图像噪点的影响。然后找出掩码轮廓点，保留轮廓上的所有点。

步骤5-4，获取指针与指针的最小外接矩形的中心点，计算指针与表盘中心点到垂直向下线条所形成的夹角度数；

步骤5-5，根据夹角度数范围判断表盘是否异常，将检测到异常的表盘去除。

7.根据权利要求6所述的基于深度学习的智能巡检指针式仪表识别及读数方法，其特征在于，

所述步骤5-4中，指针的获取还包括：

计算轮廓包围的面积，根据面积占比筛选出可能属于指针的轮廓；

对轮廓拟合一个最小包裹矩形，获取图像中心点到轮廓的距离；

轮廓包裹矩形的长宽之比大于2.5，并且图像中心点到轮廓的距离小于图片宽度的1/5，认为可能是指针的轮廓；

在满足条件下的轮廓中，选取最大的轮廓作为指针。

8.根据权利要求1所述的基于深度学习的智能巡检指针式仪表识别及读数方法，其特征在于，

所述步骤6还包括：通过对仪表图像中每个像素点进行密集的预测、推断标签类进行细粒度的推理，使每个像素点都被标记为其封闭对象仪表读数区域的类别；利用语义分割算法，提取出所需要读数仪表图片的刻度线和指针。

9.根据权利要求1所述的基于深度学习的智能巡检指针式仪表识别及读数方法，其特征在于，

所述步骤7还包括以下步骤：

步骤7-1，通过霍夫圆检测法检测出表盘的圆形刻度图像，并将其展开变为矩形图像；

步骤7-2，将二维数组转化为一维数组；

步骤7-3，对一维数组进行数据过滤，增加区分度；

步骤7-4，对刻度与指针进行定位；

步骤7-5，结合刻度与指针的数量和位置信息，进行读数计算。

10.根据权利要求9所述的基于深度学习的智能巡检指针式仪表识别及读数方法，其特征在于，

所述步骤7-1还包括：

将语义分割出的图像进行滤波降噪处理，从而平滑图像，减少噪点对于圆形检测的影响；

将经过滤波降噪的图像通过霍夫圆检测检测出外圆，并将其展开为矩形。

Images