CN116403223A - 一种基于机器学习的指针式仪表读数识别方法和系统 - Google Patents

Abstract

本发明提供了一种基于机器学习的指针式仪表读数识别方法和系统，其中，指针式仪表读数识别方法包括：根据定位导航算法控制巡检机器人采集指针式仪表的目标图像和点位仪表参数；根据深度学习目标检测算法确定指针式仪表在目标图像中的仪表区域；根据深度学习语义分割算法从仪表区域中分割得到仪表指针蒙版和仪表刻度蒙版；建立指针式仪表的极坐标系，根据极坐标系将仪表指针蒙版映射为指针矩形图像，以及将仪表刻度蒙版映射为刻度矩形图像；根据指针矩形图像和刻度矩形图像计算得到指针刻度相对值；根据点位仪表参数以及指针刻度相对值计算得到指针式仪表的仪表读数。本发明的技术方案能解决现有技术中仪表读数精度差的问题。

Description

一种基于机器学习的指针式仪表读数识别方法和系统

技术领域

本发明涉及电力电网技术领域，尤其涉及一种基于机器学习的指针式仪表读数识别方法和系统。

背景技术

随着电网技术的高速发展，电网的规模结构也正在发生巨大的变化，基于仪表参数监测作业也得到井喷式发展，由于指针式仪表具有结构简单，成本低廉，抗干扰能力强，经久耐用等优点，被广泛应用于配电站房等电网场景。然而仪表作业为电力状态监测带来方便的同时，大规模的仪表状态监测却面临巨大挑战。

传统的仪表状态监测方法多采用人工方式对指针式仪表所监测数据的采集和记录，然而这种方式不但消耗大量人力、物力和财力，同时也容易因工作量大导致工作效率降低，易产生误记和误读，降低数据采集准确率，且因数据量大，耽误工程进度，造成无法挽回的后果。另外，部分数仪表工作在高温、高压、高辐射甚至有毒等恶劣的环境中，对数据采集员的生命安全是一种严重威胁。因此实现指针式仪表自动识别具有重要意义和巨大的价值。

随着数字图像处理技术，特别是人工智能(AI)的爆炸性发展和深度学习算法取得了重大突破，相关专业人员使用图像处理技术和深度学习方法来解决指针仪表识别过程中遇到的问题。早期传统算法，多采用数字图像处理技术识别和读取指针仪表的图像；例如使用图像减法的方式提取指针，并使用霍夫变换算法检测圆形区域以完成指针抄表识别。尽管这些算法在某些情况下效果很好，取得一些成就，但易受照明条件影响，适应性很差。近年来一些学者基于新颖现代算法，如使用SVM(支持向量机)或Faster-RCNN检测算法来定位和提取仪表，并采用灰度图、二值化、指针和刻度颜色等信息获取读数，它很大程度上解决了传统算法遗留的问题，如比例尺不同、背景复杂和仪表定位困难等。但仍没有解决照明不均匀，照明变化范围大以及仪表倾斜情况下，仪表读数精度差的问题。

发明内容

本发明提供一种基于机器学习的指针式仪表读数识别方案，旨在解决现有技术存在的照明不均匀，照明变化范围大以及仪表倾斜等情况下，仪表读数精度差的问题。

为解决上述问题，根据本发明的第一方面，本发明提出了一种基于机器学习的指针式仪表读数识别方法，包括：

根据定位导航算法，控制巡检机器人采集指针式仪表的目标图像和点位仪表参数；

根据深度学习目标检测算法，确定指针式仪表在目标图像中的仪表区域；

根据深度学习语义分割算法，从仪表区域中分割得到仪表指针蒙版和仪表刻度蒙版；

建立指针式仪表的极坐标系，根据极坐标系将仪表指针蒙版映射为指针矩形图像，以及将仪表刻度蒙版映射为刻度矩形图像；

根据指针矩形图像和刻度矩形图像，计算得到指针刻度相对值；

根据点位仪表参数以及指针刻度相对值，计算得到指针式仪表的仪表读数。

优选的，指针式仪表读数识别方法，根据定位导航算法，控制巡检机器人采集指针式仪表的目标图像和点位仪表参数的步骤，包括：

使用定位导航算法，控制巡检机器人到达目标点位；

根据巡检机器人在目标点位的点位信息调整巡检机器人的摄像头的位姿，当摄像头的位姿调整到位时，触发摄像头采集目标图像；

从目标图像中提取得到点位仪表信息。

优选的，指针式仪表读数识别方法，根据深度学习目标检测算法，确定指针式仪表在目标图像中的仪表区域的步骤，包括：

在原始仪表图像数据中标注仪表区域；

将标注仪表区域的原始仪表图像数据划分为训练集和测试集；

使用深度学习目标检测算法构建仪表区域检测模型，使用训练集和测试集分别对仪表区域检测模型进行训练和测试，得到训练通过的仪表区域检测模型；

将目标图像输入至仪表区域检测模型进行仪表检测，得到仪表区域的坐标信息；

按照仪表区域的坐标信息裁剪目标图像，得到仪表区域。

优选的，指针式仪表读数识别方法，根据深度学习语义分割算法，从仪表区域中分割得到仪表指针蒙版和仪表刻度蒙版的步骤，包括：

在原始仪表图像数据中标注仪表指针信息和仪表刻度信息；

按照预定数量比例，将标注后的原始仪表图像数据划分为训练集和测试集；

使用深度学习语义分割算法构建指针刻度双通道语义分割模型，将训练集和测试集输入至指针刻度双通道语义分割模型进行训练和测试，得到训练通过的指针刻度双通道语义分割模型；

对仪表区域进行像素处理，得到处理后的仪表图像；

将仪表图像输入至指针刻度双通道语义分割模型进行语义分割，得到仪表区域对应的仪表指针蒙版和仪表刻度蒙版。

优选的，指针式仪表读数识别方法，从仪表区域中分割得到仪表指针蒙版和仪表刻度蒙版的步骤之后，方法还包括：

对仪表指针蒙版和仪表刻度蒙版的像素值分别进行二值化处理，得到二值化处理后的仪表指针蒙版和仪表刻度蒙版；

统计仪表刻度蒙版中每个刻度的轮廓；

根据轮廓的质心，拟合得到轮廓椭圆；

根据轮廓椭圆的长轴和短轴，计算得到透视变换矩阵；

使用透视变换矩阵分别对仪表指针蒙版和仪表刻度蒙版进行透视变换，得到图像矫正后的仪表指针蒙版和仪表刻度蒙版。

优选的，指针式仪表读数识别方法，建立指针式仪表的极坐标系，根据极坐标系将仪表指针蒙版映射为指针矩形图像，以及将仪表刻度蒙版映射为刻度矩形图像的步骤，包括：

统计仪表刻度蒙版中每个刻度的轮廓；

根据轮廓的质心，拟合得到轮廓椭圆；

根据每个刻度的轮廓，提取轮廓椭圆对应的刻度圆环；

以轮廓椭圆的中心点为极心建立极坐标系，使用极坐标系将仪表指针蒙版映射为指针矩形图像，以及将仪表刻度蒙版映射为刻度矩形图像。

优选的，指针式仪表读数识别方法，根据指针矩形图像和刻度矩形图像，计算得到指针刻度相对值的步骤，包括：

将指针矩形图像和刻度矩形图像分别转化为一维刻度数组和一维指针数组；

从一维刻度数组中提取得到刻度，从一维指针数组中提取得到指针；

根据相对值计算公式，计算得到指针刻度相对值。

优选的，指针式仪表读数识别方法，根据点位仪表参数以及指针刻度相对值，计算得到指针式仪表的仪表读数的步骤，包括：

从点位仪表参数中提取得到点位仪表量程，其中，点位仪表量程包括量程下限值和量程上限值；

根据仪表读数计算公式，使用指针刻度相对值、量程上限值和量程下限值，计算得到指针式仪表的仪表读数。

根据本发明的第二方面，本发明还提供了一种基于机器学习的指针式仪表读数识别系统，包括：

图像参数采集模块，用于根据定位导航算法，控制巡检机器人采集指针式仪表的目标图像和点位仪表参数；

仪表区域确定模块，用于根据深度学习目标检测算法，确定指针式仪表在目标图像中的仪表区域；

仪表蒙版分割模块，用于根据深度学习语义分割算法，从仪表区域中分割得到仪表指针蒙版和仪表刻度蒙版；

矩形图像映射模块，用于建立指针式仪表的极坐标系，根据极坐标系将仪表指针蒙版映射为指针矩形图像，以及将仪表刻度蒙版映射为刻度矩形图像；

相对值计算模块，用于根据指针矩形图像和刻度矩形图像，计算得到指针刻度相对值；

仪表读数计算模块，用于根据点位仪表参数以及指针刻度相对值，计算得到指针式仪表的仪表读数。

优选的，上述指针式仪表读数识别系统中，仪表蒙版分割模块包括：

仪表信息标注子模块，用于在原始仪表图像数据中标注仪表指针信息和仪表刻度信息；

仪表数据划分子模块，用于按照预定数量比例，将标注后的原始仪表图像数据划分为训练集和测试集；

语义模型构建子模块，用于使用深度学习语义分割算法构建指针刻度双通道语义分割模型；

模型训练测试子模块，用于将训练集和测试集输入至指针刻度双通道语义分割模型进行训练和测试，得到训练通过的指针刻度双通道语义分割模型；

像素处理子模块，用于对仪表区域进行像素处理，得到处理后的仪表图像；

语义分割子模块，用于将仪表图像输入至指针刻度双通道语义分割模型进行语义分割，得到仪表区域对应的仪表指针蒙版和仪表刻度蒙版。

本发明提供的基于机器学习的指针式仪表读数识别方案，根据定位导航算法，控制巡检机器人采集指针式仪表的目标图像和点位仪表参数(该点位仪表参数包括量程上下限等内容)，这样就能够快速并准确地定位和获取指针式仪表的图像和参数，再根据深度学习目标检测算法确定指针式仪表在目标图像中的仪表区域，该仪表区域即包含整个指针式仪表，且去除周边无关图像的区域；这样就能够去除原有目标图像中的噪声；然后根据深度学习语义分割算法从仪表区域中分割得到仪表指针蒙版和仪表刻度蒙版，该仪表指针蒙版反映了仪表指针语义信息，仪表刻度蒙版反映了仪表刻度语义信息，这样就能够将上述仪表和刻度的语义信息分割出来；建立极坐标系后，通过该极坐标系将仪表指针蒙版映射为指针矩形图像并且将仪表刻度蒙版映射为刻度矩形图像，这样就直观方便地统计得到指针和仪表刻度；通过上述指针矩形图像和刻度矩形图像计算得到指针刻度相对值，能够结合上述点位仪表参数和指针刻度相对值，就能够准确计算得到指针式仪表的仪表读数，提高仪表监测效率，保证了光照不均匀，仪表倾斜等条件下仪表读数的高精度识别。解决了现有技术中照明不均匀，照明变化范围大以及仪表倾斜等情况下仪表读数精度差的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1是本发明实施例提供的第一种基于机器学习的指针式仪表读数识别方法的流程示意图；

图2是图1所示实施例提供的一种指针式仪表的数据采集方法的流程示意图；

图3是图1所示实施例提供的一种仪表区域的确定方法的流程示意图；

图4是图1所示实施例提供的一种仪表蒙版的分割方法的流程示意图；

图5是本发明实施例提供的第二种基于机器学习的指针式仪表读数识别方法的流程示意图；

图6是图1所示实施例提供的一种仪表蒙版的映射方法的流程示意图；

图7是图1所示实施例提供的一种指针刻度相对值的计算方法的流程示意图；

图8是图1所示实施例提供的一种仪表读数的计算方法的流程示意图；

图9是本发明实施例提供的一种指针刻度双通道语义分割模型的结构示意图；

图10是本发明实施例提供的一种目标图像的结构示意图；

图11是本发明实施例提供的一种仪表区域的结构示意图；

图12-a是本发明实施例提供的一种仪表刻度蒙版的结构示意图；

图12-b是本发明实施例提供的一种仪表指针蒙版的结构示意图；

图13是本发明实施例提供的一种轮廓椭圆的结构示意图；

图14是本发明实施例提供的一种轮廓圆环的结构示意图；

图15是本发明实施例提供的一种指针矩形图像和刻度矩形图像的结构示意图；

图16本发明实施例提供的一种一维刻度数组和一维指针数组的结构示意图；

图17是本发明实施例提供的第一种基于机器学习的指针式仪表读数识别系统的结构示意图；

图18是图17所示实施例提供的一种仪表蒙版分割模块的结构示意图；

图19是本发明实施例提供的第二种基于机器学习的指针式仪表读数识别系统的结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的主要解决的技术问题是：

现有技术提供的基于机器学习的指针式仪表状态监测方法，例如，数字图像处理、霍夫变化算法、支持SVM或Faster-RCNN检测算法等，通常容易收到照明条件影响，适应性差，存在照明不均匀、照明变化范围大以及仪表倾斜情况下，仪表读数精度差等问题。

为了解决上述问题，本发明下述实施例提供了基于机器学习的指针式仪表读数识别方案，利用深度学习技术进行指针式仪表识别的方法，解决指针式仪表进行快速定位和智能读数问题，解决了人工监测仪表效率低的问题，规避了因为人工操作产生的不良因素，提高仪表监测效率，提高仪表在光照不均匀，仪表倾斜等条件下仪表读数识别精度，不仅自动化程度高，且易于实现。

为实现上述目的，参见图1，图1为本发明实施例提供的一种基于机器学习的指针式仪表读数识别方法的流程示意图。如图1所示，该指针式仪表读数识别方法包括：

S110：根据定位导航算法，控制巡检机器人采集指针式仪表的目标图像和点位仪表参数。巡检机器人能够基于定位导航算法到达仪表目标点，智能采集配电站房等电力场景中指针式仪表的目标图像和点位仪表参数。巡检机器人采集的指针式仪表的目标图像如图10所示。

具体地，作为一种优选的实施例，如图2所示，上述指针式仪表读数识别方法中，该根据定位导航算法，控制巡检机器人采集指针式仪表的目标图像和点位仪表参数的步骤，包括：

S111：使用定位导航算法，控制巡检机器人到达目标点位。通过巡检机器人能够快速准确地定位和扫描指针式仪表及其周围环境，然后基于定位导航算法到达目标点位，该目标点位是能够摄取指针式仪表的目标图像的点位，这样就能够全面准确地调整拍摄角度，采集指针式仪表的目标图像。具体地，定位导航算法能够使用激光SLAM定位导航算法。

S112：根据巡检机器人在目标点位的点位信息调整巡检机器人的摄像头的位姿，当摄像头的位姿调整到位时，触发摄像头采集目标图像。根据该点位信息能够准确调整摄像头位姿。其中，点位信息包括：1)机器人位置和朝向(x，y，yaw)；2)机器人云台相机位姿PTZ；3)折叠臂升降高度h。通过上述点位信息能够准确判断机器人与目指针式仪表的距离和方位，减少拍摄的目标图像的倾斜。

S113：从目标图像中提取得到点位仪表信息。其中，该点位仪表信息除了上述点位信息外还包括点位仪表参数：a.仪表类型type；b.仪表量程范围：量程下限值(range_min)，量程上限值(range_max)。

通过使用定位导航算法，控制巡检机器人到达目标点位，然后通过目标点位的点位信息调整巡检机器人的摄像头的位姿，从而触发摄像头采集指针式仪表的目标图像，就能够准确地从该目标图像中提取得到点位仪表信息，因为机器人的摄像头的位姿能够通过目标点位的点位信息调整，这样即使仪表倾斜的情况下，仍能得到清晰准确的目标图像和点位仪表信息。

在得到上述点位仪表信息后，图1所示实施例提供的指针式仪表读数识别方法还包括：

S120：根据深度学习目标检测算法，确定指针式仪表在目标图像中的仪表区域。这里的深度学习目标检测算法能够选用YOLOX目标检测算法，从而定位指针式仪表在目标图像中的位置区域。其中，仪表区域的检测结果能够用(x1，y1，x2，y2)表示，(x1，y1)表示左上角点坐标，(x2，y2)表示右下角点坐标，这样就能够得到一个仪表区域的矩形框。通过深度学习目标检测算法确定指针式仪表的仪表区域，能够准确将该仪表区域截取出来，从而能够准确快速地对该仪表区域进行指针刻度的识别。如图11所示，图10所示目标图像中的仪表区域α如图11所示，图11即上述仪表区域的结构示意图。

具体地，作为一种优选的实施例，如图3所示，上述指针式仪表读数识别方法中，步骤S120：根据深度学习目标检测算法，确定指针式仪表在目标图像中的仪表区域的步骤，包括：

S121：在原始仪表图像数据中标注仪表区域。通过巡检机器人能够获取大量的原始仪表图像数据，然后在上述原始仪表图像数据中标注仪表区域，就能够提供深度学习目标检测算法的原始训练集和测试集。

S122：将标注仪表区域的原始仪表图像数据划分为训练集和测试集。其中，训练集和测试集的划分比例能够设置为7:3或8:2。

S123：使用深度学习目标检测算法构建仪表区域检测模型，使用训练集和测试集分别对仪表区域检测模型进行训练和测试，得到训练通过的仪表区域检测模型。通过深度学习目标检测算法构建仪表区域检测模型，使用训练集和测试集分别对仪表区域检测模型进行训练和测试，就能够得到训练成功的仪表区域检测模型。本申请实施例中，仪表区域检测模型能够采用开源YOLOX的YOLOX_S模型(该模型参数较少，推理速度更快)为原型，向该仪表区域检测模型中输入为640*640*3大小的图像，修改其输出为8400*6(原为8400*85)，因本申请实施例中只存在一个检测类别。

S124：将目标图像输入至仪表区域检测模型进行仪表检测，得到仪表区域的坐标信息。

S125：按照仪表区域的坐标信息裁剪目标图像，得到仪表区域。

在得到训练完成的仪表区域检测模型后，将目标图像输入至该仪表区域检测模型中进行仪表监测，就能够准确得到仪表区域的坐标信息，用上述(x1，y1，x2，y2)表示。在针对上述目标图像，使用仪表区域的坐标信息，就能够裁剪该目标图像，得到仪表区域，仪表区域用pointer_image表示。

在使用深度学习目标检测算法得到仪表区域后，图1所示实施例提供的技术方案还包括：

S130：根据深度学习语义分割算法，从仪表区域中分割得到仪表指针蒙版和仪表刻度蒙版。本发明实施例中利用深度学习语义分割算法分割仪表指针和仪表刻度，需要说明的是，语义分割模型输入的是仪表图像，输出为2个通道图像，分别为仪表指针蒙版pointer_mask和仪表刻度蒙版dail_mask，其中，pointer_mask表示指针的语义信息，dail_mask表示刻度的语义信息。通过深度学习语义分割算法，将深度学习应用于仪表指针和刻度的语义分析中，就能够得到准确的指针和刻度的语义信息。

具体地，作为一种优选的实施例，如图4所示，该指针式仪表读数识别方法中，步骤S130：根据深度学习语义分割算法，从仪表区域中分割得到仪表指针蒙版和仪表刻度蒙版的步骤，包括：

S131：在原始仪表图像数据中标注仪表指针信息和仪表刻度信息。本发明实施例提供的技术方案中，能够在上述原始仪表图像数据基础上标注仪表指针信息和仪表刻度信息，从而得到大量的训练集和测试集。

S132：按照预定数量比例，将标注后的原始仪表图像数据划分为训练集和测试集。其中，训练集和测试集的划分比例能够设置为8:2或者7:3。

S133：使用深度学习语义分割算法构建指针刻度双通道语义分割模型，将训练集和测试集输入至指针刻度双通道语义分割模型进行训练和测试，得到训练通过的指针刻度双通道语义分割模型。本发明实施例中使用深度学习语义分割算法构建指针刻度双通道语义分割模型，该模型能够为U2NET语义分割模型，使用上述训练集和测试集分别对该U2NET语义分割模型进行多次训练和测试，就能够得到训练通过的指针刻度双通道语义分割模型。

S134：对仪表区域进行像素处理，得到处理后的仪表图像。因为上述步骤裁剪得到的仪表区域尺寸并不规则，需要进行缩放和填充处理，以变为416*416固定大小的图像。具体步骤如下：首先获取仪表图像的宽和高，并取最大值，然后按照最大值等比例缩放图像为最大宽高维416的图像，最后用像素值为114填充不足416的边，使得图像为416*416大小。

S135：将仪表图像输入至指针刻度双通道语义分割模型进行语义分割，得到仪表区域对应的仪表指针蒙版和仪表刻度蒙版。

本发明实施例采用的指针刻度双通道语义分割模型以开源U2NET模型为基础，输入图像大小为416*416*3(仪表图像)，即图9所示的输入通道Cin＝3，输出为2个通道(下图Cout＝2)的仪表语义蒙版416*416*2(2个通道包括仪表指针蒙版和仪表刻度蒙版)。其中，H和W表述图像的长和宽，M表示RSU内部层中的通道数。本发明实施例中对仪表区域进行像素处理，从而得到处理后的仪表图像，将该仪表图像输入至上述指针刻度双通道语义分割模型进行语义分割，经过模型中卷积、池化和分类等操作，就能够得到仪表区域对应的仪表指针蒙版pointer_mask和仪表刻度蒙版dail_mask。上述仪表指针蒙版和仪表刻度蒙版分别代表仪表指针语义信息和仪表刻度语义信息，为了方便展示U2Net语义分割结果，具体地，图11中的刻度结果如图12-a所示，图11中的指针结果如图12-b所示，粘附在U2NET网络输入的预处理图像中。

另外，上述YOLOX目标检测算法和U2NET语义分割算法，包括读数识别算法，部署到巡检机器人计算平台中，实现端到端的指针式仪表读数识别算法。其中深度学习模型YOLOX和U2NET，经过轻量化处理，利用tensorrt库部署到JetsonTX2硬件上加速运算，实现仪表读数识别整个流程实时计算。

作为一种优选的实施例在上述步骤S130：从仪表区域中分割得到仪表指针蒙版和仪表刻度蒙版的步骤之后还需要对仪表蒙版，包括仪表指针蒙版和仪表刻度蒙版进行预处理，具体如图5所示，上述指针式仪表读数识别方法还包括：

S210：对仪表指针蒙版和仪表刻度蒙版的像素值分别进行二值化处理，得到二值化处理后的仪表指针蒙版和仪表刻度蒙版。

分别对仪表指针蒙版和仪表刻度蒙版进行二值化处理操作的步骤如下：

这里对于U2NET模型输出的蒙版图像，其像素值为0到1的范围，则根据如下公式，设定像素值小于阈值thresh＝0.5的位置为0，其他值则设为255。

仪表刻度蒙版dail_mask如图12-a所示；仪表指针蒙版pointer_mask具体如图12-b所示。

S220：统计仪表刻度蒙版中每个刻度的轮廓。具体能够使用图像技术统计仪表刻度蒙版包含的每个刻度的轮廓。

S230：根据轮廓的质心，拟合得到轮廓椭圆。轮廓的质心能够通过轮廓零阶矩阵和一阶矩阵计算得到。在得到轮廓的质心后，利用轮廓质心拟合得到轮廓椭圆。

S240：根据轮廓椭圆的长轴和短轴，计算得到透视变换矩阵。如图13所示，分别计算轮廓椭圆的长轴和短轴在轮廓上的2点，分别记为A,B和C,D；然后延长轮廓椭圆与短轴2点方向，直到延长的短轴长度与长轴相等，该延长线的两端点记为E和F，利用u＝(A,B,C,D)与v＝(A,B,E,F)两组点的坐标，就能够求得透视变换矩阵M。

因为通常处理的的二维图像，因此假设w＝1，这样求得的透视变换矩阵M如下：

上述a₁₁至a₃₃分别为M矩阵的参数。

S250：使用透视变换矩阵分别对仪表指针蒙版和仪表刻度蒙版进行透视变换，得到图像矫正后的仪表指针蒙版和仪表刻度蒙版。利用透视变换矩阵分别对仪表指针蒙版和仪表刻度蒙版进行透视变换，就能够得到图像矫正后的仪表指针蒙版和仪表刻度蒙版。具体如图13所示，图13所示的加粗的椭圆是依据刻度轮廓质心拟合而得，中间点为椭圆中心，椭圆上4个点即为上述A，B，C，D；外圈的圆弧则是以椭圆中心为中心，长轴为半径的圆弧，圆上2个点则为E，F，通过透视变换后等到图12-a和图12-b，表示矫正后的语义结果。

图1所示实施例提供的技术方案，在从仪表区域中分割得到仪表指针蒙版和仪表刻度蒙版后，还包括以下步骤：

S140：建立指针式仪表的极坐标系，根据极坐标系将仪表指针蒙版映射为指针矩形图像，以及将仪表刻度蒙版映射为刻度矩形图像。在得到仪表指针蒙版pointer_mask和仪表刻度蒙版dail_mask基础上，分别对上述两个蒙版进行极坐标系的变换，就能够分别得到仪表指针蒙版和仪表刻度蒙版对应的指针矩形图像和刻度矩形图像，以方便对指针式仪表进行指针和刻度数据的快速提取。

具体地，作为一种优选的实施例，如图6所示，上述指针式仪表读数识别方法中，步骤S140：建立指针式仪表的极坐标系，根据极坐标系将仪表指针蒙版映射为指针矩形图像，以及将仪表刻度蒙版映射为刻度矩形图像的步骤，包括：

S141：统计仪表刻度蒙版中每个刻度的轮廓。具体能够利用图像技术统计仪表刻度蒙版中每个刻度的轮廓，相关图像技术再次不再赘述。

S142：根据轮廓的质心，拟合得到轮廓椭圆。这里能够通过轮廓零阶矩阵和一阶矩阵分别计算每个轮廓的质心，然后利用轮廓质心拟合轮廓椭圆，这样就计算得到中心点和半径r。

S143：根据每个刻度的轮廓，提取轮廓椭圆对应的刻度圆环。根据每个刻度的长度，即上述每个刻度的轮廓，设置阈值T，以轮廓椭圆的质心O为中心，校园半径设为r-T，大宛半径设为R+T，通过两者相减就能够得到轮廓椭圆对应的刻度圆环。对于416*416大小的图像，本申请设置T＝30，则待映射区域如图14所示内圆和外圆组成的圆环。

S144：以轮廓椭圆的中心点为极心建立极坐标系，使用极坐标系将仪表指针蒙版映射为指针矩形图像，以及将仪表刻度蒙版映射为刻度矩形图像。

以上述轮廓椭圆的中心点O(center_x,center_y)为极心，以原有的y轴为极轴，就能够建立极坐标系，则所述刻度圆环上任意一点能够用rho和theta来表示，将上述指针蒙版映射为指针矩形图像，并且将上述仪表刻度蒙版映射为刻度矩形图像。具体的映射关系如下：

其中，rho为半径，theta为角度。

本发明实施例提供的技术方案，通过以轮廓的质心拟合得到轮廓椭圆，然后提取轮廓椭圆对应的刻度圆环，从而以轮廓椭圆的中心点为极心建立极坐标，从而将仪表指针蒙版映射为指针矩形图像，将仪表刻度蒙版映射为刻度矩形图像，映射的指针矩形图像和刻度矩形图像如图15所示，图15所示的矩形图像中，图15的上半部分为指针矩形图像，图15的下半部分为刻度矩形图像。

图1所示实施例提供的技术方案，在将仪表指针蒙版映射为指针矩形图像，将仪表刻度蒙版映射为刻度矩形图像后，还包括以下步骤：

S150：根据指针矩形图像和刻度矩形图像，计算得到指针刻度相对值。

具体地，作为一种优选的实施例，如图7所示，上述指针式仪表读数识别方法中，步骤S150：根据指针矩形图像和刻度矩形图像，计算得到指针刻度相对值的步骤，包括：

S151：将指针矩形图像和刻度矩形图像分别转化为一维刻度数组和一维指针数组。在得到上述图像信息，即指针矩形图像和刻度矩形图像时，将上述矩形图像中每个独立指针或刻度，利用图像技术计算其中心x坐标，记为指针或刻度位置。

S152：从一维刻度数组中提取得到刻度，从一维指针数组中提取得到指针。如图16所示，图16中的横轴表示指针或刻度的位置，纵轴表示指针或刻度的高度。通过对图16所示的一维刻度数组和一维指针数组进行分析，就能够分别提取出刻度和指针。

S153：根据相对值计算公式，计算得到指针刻度相对值。

具体地，从一维刻度数组中提取最小值dail_min和最大值dail_max；

从指针数组中取指针值pointer；

那么指针刻度相对值的计算公式如下：

value＝(pointer-dail_min)/(dail_max-dail_min)，value宝石指针刻度相对值，pointer表示指针值，dail_min表示刻度最小值，dail_max表示刻度最大值。

图1所示实施例提供的技术方案，在计算得到指针刻度相对值后，还包括以下步骤：

S160：根据点位仪表参数以及指针刻度相对值，计算得到指针式仪表的仪表读数。

具体地，作为一种优选的实施例，如图8所示，该根据点位仪表参数以及指针刻度相对值，计算得到指针式仪表的仪表读数的步骤，包括：

S161：从点位仪表参数中提取得到点位仪表量程，其中，点位仪表量程包括量程下限值和量程上限值。上述点位仪表参数中包括量程下限值range_min和量程上限值range_max，仪表读数与上述点位仪表量程以及上述相对值有关，通过上述关系就能够计算得到仪表读数。

S162：根据仪表读数计算公式，使用指针刻度相对值、量程上限值和量程下限值，计算得到指针式仪表的仪表读数。仪表读数计算公式如下：仪表读数＝value*(range_max-range_min)+range_min。通过上述仪表读数计算公式，结合指针刻度相对值、量程上限值和量程下限值，就能够计算得到仪表读数。

综上，本发明上述实施例提供的基于机器学习的指针式仪表读数识别方法，根据定位导航算法控制巡检机器人采集指针式仪表的目标图像和点位仪表参数(该点位仪表参数包括量程上下限等内容)，这样就能够快速并准确地定位和获取指针式仪表的图像和参数，再根据深度学习目标检测算法确定指针式仪表在目标图像中的仪表区域，该仪表区域即包含整个指针式仪表，且去除周边无关图像的区域；这样就能够去除原有目标图像中的噪声；然后根据深度学习语义分割算法从仪表区域中分割得到仪表指针蒙版和仪表刻度蒙版，该仪表指针蒙版反映了仪表指针语义信息，仪表刻度蒙版反映了仪表刻度语义信息，这样就能够将上述仪表和刻度的语义信息分割出来；建立极坐标系后，通过该极坐标系将仪表指针蒙版映射为指针矩形图像并且将仪表刻度蒙版映射为刻度矩形图像，这样就直观方便地统计得到指针和仪表刻度；通过上述指针矩形图像和刻度矩形图像计算得到指针刻度相对值，能够结合上述点位仪表参数和指针刻度相对值，就能够准确计算得到指针式仪表的仪表读数，提高仪表监测效率，保证了光照不均匀，仪表倾斜等条件下仪表读数的高精度识别。解决了现有技术中照明不均匀，照明变化范围大以及仪表倾斜等情况下仪表读数精度差的问题。

另外，基于上述方法实施例的同一构思，本发明实施例还提供了基于机器学习的指针式仪表堵塞识别系统，用于实现本发明的上述方法，由于该系统实施例解决问题的原理与方法相似，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。

参见图17，图17为本发明提供的一种基于机器学习的指针式仪表读数识别系统的结构示意图。如图17所示，该指针式仪表读数识别系统包括：

图像参数采集模块110，用于根据定位导航算法，控制巡检机器人采集指针式仪表的目标图像和点位仪表参数；

仪表区域确定模块120，用于根据深度学习目标检测算法，确定指针式仪表在目标图像中的仪表区域；

仪表蒙版分割模块130，用于根据深度学习语义分割算法，从仪表区域中分割得到仪表指针蒙版和仪表刻度蒙版；

矩形图像映射模块140，用于建立指针式仪表的极坐标系，根据极坐标系将仪表指针蒙版映射为指针矩形图像，以及将仪表刻度蒙版映射为刻度矩形图像；

相对值计算模块150，用于根据指针矩形图像和刻度矩形图像，计算得到指针刻度相对值；

仪表读数计算模块160，用于根据点位仪表参数以及指针刻度相对值，计算得到指针式仪表的仪表读数。

综上，本发明上述实施例提供的基于机器学习的指针式仪表读数识别系统，图像参数采集模块110根据定位导航算法控制巡检机器人采集指针式仪表的目标图像和点位仪表参数(该点位仪表参数包括量程上下限等内容)，这样就能够快速并准确地定位和获取指针式仪表的图像和参数，仪表区域确定模块120再根据深度学习目标检测算法确定指针式仪表在目标图像中的仪表区域，该仪表区域即包含整个指针式仪表，且去除周边无关图像的区域；这样就能够去除原有目标图像中的噪声；然后仪表蒙版分割模块130根据深度学习语义分割算法从仪表区域中分割得到仪表指针蒙版和仪表刻度蒙版，该仪表指针蒙版反映了仪表指针语义信息，仪表刻度蒙版反映了仪表刻度语义信息，这样就能够将上述仪表和刻度的语义信息分割出来；矩形图像映射模块140建立极坐标系后，通过该极坐标系将仪表指针蒙版映射为指针矩形图像并且将仪表刻度蒙版映射为刻度矩形图像，这样就直观方便地统计得到指针和仪表刻度；相对值计算模块150通过上述指针矩形图像和刻度矩形图像计算得到指针刻度相对值，仪表堵塞计算模块160能够结合上述点位仪表参数和指针刻度相对值，就能够准确计算得到指针式仪表的仪表读数，提高仪表监测效率，保证了光照不均匀，仪表倾斜等条件下仪表读数的高精度识别。解决了现有技术中照明不均匀，照明变化范围大以及仪表倾斜等情况下仪表读数精度差的问题。

其中，图像参数采集模块110还用于使用定位导航算法，控制巡检机器人到达目标点位；根据巡检机器人在目标点位的点位信息调整巡检机器人的摄像头的位姿，当摄像头的位姿调整到位时，触发摄像头采集目标图像；从目标图像中提取得到点位仪表信息。

其中，仪表区域确定模块120还用于在原始仪表图像数据中标注仪表区域；将标注仪表区域的原始仪表图像数据划分为训练集和测试集；使用深度学习目标检测算法构建仪表区域检测模型，使用训练集和测试集分别对仪表区域检测模型进行训练和测试，得到训练通过的仪表区域检测模型；将目标图像输入至仪表区域检测模型进行仪表检测，得到仪表区域的坐标信息；按照仪表区域的坐标信息裁剪目标图像，得到仪表区域。

作为一种优选的实施例，如图18所示，上述指针式仪表读数识别系统中，仪表蒙版分割模块130包括：

仪表信息标注子模块131，用于在原始仪表图像数据中标注仪表指针信息和仪表刻度信息；

仪表数据划分子模块132，用于按照预定数量比例，将标注后的原始仪表图像数据划分为训练集和测试集；

语义模型构建子模块133，用于使用深度学习语义分割算法构建指针刻度双通道语义分割模型；

模型训练测试子模块134，用于将训练集和测试集输入至指针刻度双通道语义分割模型进行训练和测试，得到训练通过的指针刻度双通道语义分割模型；

像素处理子模块135，用于对仪表区域进行像素处理，得到处理后的仪表图像；

语义分割子模块136，用于将仪表图像输入至指针刻度双通道语义分割模型进行语义分割，得到仪表区域对应的仪表指针蒙版和仪表刻度蒙版。

其中，作为一种优选的实施例，如图19所示，上述指针式仪表读数识别系统还包括：

二值化处理模块210，用于对所述仪表指针蒙版和仪表刻度蒙版的像素值分别进行二值化处理，得到二值化处理后的仪表指针蒙版和仪表刻度蒙版；

轮廓统计模块220，用于统计所述仪表刻度蒙版中每个刻度的轮廓；

椭圆拟合模块230，用于根据所述轮廓的质心，拟合得到轮廓椭圆；

矩阵计算模块240，用于根据所述轮廓椭圆的长轴和短轴，计算得到透视变换矩阵；

透视变换模块250，用于使用所述透视变换矩阵分别对所述仪表指针蒙版和仪表刻度蒙版进行透视变换，得到图像矫正后的仪表指针蒙版和仪表刻度蒙版。

其中，矩形图像映射模块140，具体用于统计所述仪表刻度蒙版中每个刻度的轮廓；根据所述轮廓的质心，拟合得到轮廓椭圆；根据所述每个刻度的轮廓，提取所述轮廓椭圆对应的刻度圆环；以所述轮廓椭圆的中心点为极心建立所述极坐标系，使用所述极坐标系将所述仪表指针蒙版映射为指针矩形图像，以及将所述仪表刻度蒙版映射为刻度矩形图像。

其中，相对值计算模块150，用于将指针矩形图像和刻度矩形图像分别转化为一维刻度数组和一维指针数组；从一维刻度数组中提取得到刻度，从一维指针数组中提取得到指针；根据相对值计算公式，计算得到指针刻度相对值。

综上，本发明上述实施例提供的技术方案，相对于现有技术实现了以下技术效果：

1、实现了基于巡检机器人智能监测，实时的，端到端的指针式仪表识别方法，解决了人工监测仪表效率低，不安全，经济性差问题，且能规避了因为人工操作产生的不良因素；

2、本文提出的仪表读数识别方法，解决了工业环境光照不均匀，仪表倾斜等条件下仪表读数精度问题，本文方法对仪表检测的召回率上高达99.7％；仪表识别精度达98％。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于机器学习的指针式仪表读数识别方法，其特征在于，包括：

根据定位导航算法，控制巡检机器人采集指针式仪表的目标图像和点位仪表参数；

根据深度学习目标检测算法，确定所述指针式仪表在所述目标图像中的仪表区域；

根据深度学习语义分割算法，从所述仪表区域中分割得到仪表指针蒙版和仪表刻度蒙版；

建立所述指针式仪表的极坐标系，根据所述极坐标系将所述仪表指针蒙版映射为指针矩形图像，以及将所述仪表刻度蒙版映射为刻度矩形图像；

根据所述指针矩形图像和所述刻度矩形图像，计算得到指针刻度相对值；

根据所述点位仪表参数以及所述指针刻度相对值，计算得到所述指针式仪表的仪表读数。

2.根据权利要求1所述的指针式仪表读数识别方法，其特征在于，所述根据定位导航算法，控制巡检机器人采集指针式仪表的目标图像和点位仪表参数的步骤，包括：

使用所述定位导航算法，控制所述巡检机器人到达目标点位；

根据所述巡检机器人在所述目标点位的点位信息调整所述巡检机器人的摄像头的位姿，当所述摄像头的位姿调整到位时，触发所述摄像头采集所述目标图像；

从所述目标图像中提取得到所述点位仪表信息。

3.根据权利要求1所述的指针式仪表读数识别方法，其特征在于，所述根据深度学习目标检测算法，确定所述指针式仪表在所述目标图像中的仪表区域的步骤，包括：

在原始仪表图像数据中标注仪表区域；

将标注所述仪表区域的原始仪表图像数据划分为训练集和测试集；

使用所述深度学习目标检测算法构建仪表区域检测模型，使用所述训练集和测试集分别对所述仪表区域检测模型进行训练和测试，得到训练通过的仪表区域检测模型；

将所述目标图像输入至所述仪表区域检测模型进行仪表检测，得到所述仪表区域的坐标信息；

按照所述仪表区域的坐标信息裁剪所述目标图像，得到所述仪表区域。

4.根据权利要求3所述的指针式仪表读数识别方法，其特征在于，所述根据深度学习语义分割算法，从所述仪表区域中分割得到仪表指针蒙版和仪表刻度蒙版的步骤，包括：

在所述原始仪表图像数据中标注仪表指针信息和仪表刻度信息；

按照预定数量比例，将标注后的原始仪表图像数据划分为训练集和测试集；

使用所述深度学习语义分割算法构建指针刻度双通道语义分割模型，将所述训练集和测试集输入至所述指针刻度双通道语义分割模型进行训练和测试，得到训练通过的指针刻度双通道语义分割模型；

对所述仪表区域进行像素处理，得到处理后的仪表图像；

将所述仪表图像输入至所述指针刻度双通道语义分割模型进行语义分割，得到所述仪表区域对应的仪表指针蒙版和仪表刻度蒙版。

5.根据权利要求1所述的指针式仪表读数识别方法，其特征在于，所述从所述仪表区域中分割得到仪表指针蒙版和仪表刻度蒙版的步骤之后，所述方法还包括：

对所述仪表指针蒙版和仪表刻度蒙版的像素值分别进行二值化处理，得到二值化处理后的仪表指针蒙版和仪表刻度蒙版；

统计所述仪表刻度蒙版中每个刻度的轮廓；

根据所述轮廓的质心，拟合得到轮廓椭圆；

根据所述轮廓椭圆的长轴和短轴，计算得到透视变换矩阵；

使用所述透视变换矩阵分别对所述仪表指针蒙版和仪表刻度蒙版进行透视变换，得到图像矫正后的仪表指针蒙版和仪表刻度蒙版。

6.根据权利要求5所述的指针式仪表读数识别方法，其特征在于，所述建立所述指针式仪表的极坐标系，根据所述极坐标系将所述仪表指针蒙版映射为指针矩形图像，以及将所述仪表刻度蒙版映射为刻度矩形图像的步骤，包括：

统计所述仪表刻度蒙版中每个刻度的轮廓；

根据所述轮廓的质心，拟合得到轮廓椭圆；

根据所述每个刻度的轮廓，提取所述轮廓椭圆对应的刻度圆环；

以所述轮廓椭圆的中心点为极心建立所述极坐标系，使用所述极坐标系将所述仪表指针蒙版映射为指针矩形图像，以及将所述仪表刻度蒙版映射为刻度矩形图像。

7.根据权利要求1所述的指针式仪表读数识别方法，其特征在于，所述根据所述指针矩形图像和所述刻度矩形图像，计算得到指针刻度相对值的步骤，包括：

将所述指针矩形图像和所述刻度矩形图像分别转化为一维刻度数组和一维指针数组；

从所述一维刻度数组中提取得到刻度，从所述一维指针数组中提取得到指针；

根据相对值计算公式，计算得到所述指针刻度相对值。

8.根据权利要求1或7所述的指针式仪表读数识别方法，其特征在于，所述根据所述点位仪表参数以及所述指针刻度相对值，计算得到所述指针式仪表的仪表读数的步骤，包括：

从所述点位仪表参数中提取得到点位仪表量程，其中，所述点位仪表量程包括量程下限值和量程上限值；

根据仪表读数计算公式，使用所述指针刻度相对值、所述量程上限值和量程下限值，计算得到所述指针式仪表的仪表读数。

9.一种基于机器学习的指针式仪表读数识别系统，其特征在于，包括：

图像参数采集模块，用于根据定位导航算法，控制巡检机器人采集指针式仪表的目标图像和点位仪表参数；

仪表区域确定模块，用于根据深度学习目标检测算法，确定所述指针式仪表在所述目标图像中的仪表区域；

仪表蒙版分割模块，用于根据深度学习语义分割算法，从所述仪表区域中分割得到仪表指针蒙版和仪表刻度蒙版；

矩形图像映射模块，用于建立所述指针式仪表的极坐标系，根据所述极坐标系将所述仪表指针蒙版映射为指针矩形图像，以及将所述仪表刻度蒙版映射为刻度矩形图像；

相对值计算模块，用于根据所述指针矩形图像和所述刻度矩形图像，计算得到指针刻度相对值；

仪表读数计算模块，用于根据所述点位仪表参数以及所述指针刻度相对值，计算得到所述指针式仪表的仪表读数。

10.根据权利要求9所述的指针式仪表读数识别系统，其特征在于，所述仪表蒙版分割模块，包括：

仪表信息标注子模块，用于在原始仪表图像数据中标注仪表指针信息和仪表刻度信息；

仪表数据划分子模块，用于按照预定数量比例，将标注后的原始仪表图像数据划分为训练集和测试集；

语义模型构建子模块，用于使用所述深度学习语义分割算法构建指针刻度双通道语义分割模型；

模型训练测试子模块，用于将所述训练集和测试集输入至所述指针刻度双通道语义分割模型进行训练和测试，得到训练通过的指针刻度双通道语义分割模型；

像素处理子模块，用于对所述仪表区域进行像素处理，得到处理后的仪表图像；

语义分割子模块，用于将所述仪表图像输入至所述指针刻度双通道语义分割模型进行语义分割，得到所述仪表区域对应的仪表指针蒙版和仪表刻度蒙版。

Images