CN108960236B - 基于二维码匹配与图像识别的指针式仪表识别方法 - Google Patents

Abstract

本发明公开了基于二维码匹配与图像识别的指针式仪表识别方法。电厂或变电站内的现场环境比较复杂，仪表的识别率低。本发明步骤：利用基于二维码匹配的图像采集方法采集仪表设备的状态图像，同时获取二维码中存储的仪表设备量程范围；定位图像中的二维码，根据二维码的倾斜角度对图像进行倾斜校正并去除图像中的背景干扰；提取仪表表盘中的最大刻度刻度线、最小刻度刻度线以及指针，并根据指针旋转角度及二维码中存储的仪表的量程范围得到最终的指针读数。本发明基于二维码的图像匹配算法，二维码不仅能存储仪表的量程范围信息，还可以通过二维码的坐标值对仪表设备状态图进行背景去除和校正处理，很好解决变电站内复杂的现场环境所带来的难题。

Description

基于二维码匹配与图像识别的指针式仪表识别方法

技术领域

本发明属于计算机图像处理领域，具体涉及一种基于二维码匹配与图像识别的指针式仪表识别方法。

背景技术

目前，在电力巡检方面，一般采用人工巡检方式，通过人工抄表记录的方式对电厂设备进行依次排查。由于电厂内设备种类多，数量庞大，使得工作人员巡检一次需要花费很长时间，而且工人每天都要记录大量数据，容易视觉疲劳，导致较大的数据误差，所以人工巡检的人力成本很高且效果难以保证。为解决人工巡检存在的问题，在不改变原有设备和仪表情况下，可以使用智能机器人巡检设备。巡检机器人通过其搭载的高清摄像头、红外热成像仪等数据采集识别获取电厂仪表设备的状态图像，然后通过图像匹配和识别算法识别当前设备的状态信息，从而判断当前巡检设备是否处于异常状态。

近年来，机器人巡检设备在国内外都有很广泛的应用。比如，在国外比较有代表性的是加拿大魁北克水电站和巴西圣保罗大学。前者主要通过为变电站机器人配置遥感装置，实现对变电站的远程控制。后者主要通过在变电站内建立高空行走轨道，研制出适用于变电站热点监测的移动机器人。在国内对变电站智能机器人的研究也有了很大的突破，比如，山东电力科学研究院研究了一种轮式巡检机器人，能在平坦的路面上稳定行驶，对变电站设备进行巡检。中科院沈阳自动化研究所研发的轨道式变电站巡检机器人采用固定轨道方式前进。

使用机器人巡检设备能够不受天气因素的影响，在一定程度上代替工作人员对各种设备进行巡检，有效降低运维人员设备巡视强度和安全风险。而由于电厂或变电站内的现场环境比较复杂，通过巡检机器人搭载摄像头采集到的仪表图片都含有较为复杂的背景，这使得仪表的识别率明显降低。并且对于电厂或变电站来说，其拥有指针式仪表、数字型仪表等不同种类的设备，这又给仪表的识别带来了极大的挑战。

发明内容

本发明的目的是为克服上述技术存在的缺陷，提出一种基于二维码匹配与图像识别的指针式仪表识别方法，该方法采用基于二维码的图像匹配算法，二维码不仅能存储仪表的量程范围信息，还可以通过二维码的坐标值对仪表设备状态图进行背景去除和校正处理，这样能够很好地解决变电站内复杂的现场环境所带来的难题，具有很好的鲁棒性和实用性。

本发明采用的技术方案是：

本发明包括以下步骤：

1)利用基于二维码匹配的图像采集方法采集仪表设备的状态图像I1，同时获取二维码中存储的仪表设备量程范围，具体包括以下步骤：

a1)开始巡检任务前，在各个仪表设备的仪表上方边沿处张贴二维码，二维码与仪表设备的仪表表盘表面平行，且二维码的底部边界水平设置并与仪表相切；

a2)开始巡检任务后，通过巡检机器人搭载自动变焦的摄像头对每个仪表设备进行状态图像I1的采集。当二维码在采集的状态图像中并能识别时保存采集的状态图像，否则改变拍摄位置对采集失败的仪表设备重新采集图像；通过识别状态图像中的二维码，从而读取二维码中存储的当前仪表设备的量程范围。

2)定位图像中的二维码，根据二维码的倾斜角度对图像进行倾斜校正并去除图像中的背景干扰，具体包括以下步骤：

b1)将状态图像I1进行二值化处理，并寻找二值化图像中嵌套层数大于2的轮廓，从而得到二维码上的三个轮廓，每个轮廓的中心作为二维码的一个定位点；选择二维码的左上角及右上角两个定位点，然后计算这两个定位点的坐标；

b2)计算连接两定位点的连线斜率，得到二维码的倾斜角S1，将状态图像I1旋转S1(倾斜角S1为正时顺时针旋转，为负时逆时针旋转)，得到校正后的仪表设备状态图像I2；

b3)在状态图像I2中，量出二维码的实际宽度w₁、仪表的实际宽度w₂以及仪表的实际高度h₂,并根据左上角及右上角两个定位点的坐标计算该两个定位点在状态图像I2中所占的宽度d₀。

b4)将状态图像I2进行二值化处理，并寻找二值化图像中嵌套层数大于2的轮廓，从而得到二维码上的三个轮廓，每个轮廓的中心作为二维码的一个定位点；选择二维码的左上角及右上角两个定位点，然后计算这两个定位点的坐标；根据状态图像I2的二值化图像中的三个定位点坐标以及步骤b3)得到的w₁、w₂、d₀、h₂,计算状态图像I2中仪表外接矩形区域的宽d₁＝w₂*d₀/w₁，高d₂＝h₂*d₀/w₁。通过感兴趣区域(Region of interest,ROI)提取算法将仪表从状态图像I2中分割出来，得到仪表表盘所在的最小区域图像I3。

3)提取仪表表盘中的最大刻度刻度线、最小刻度刻度线以及指针，并根据指针旋转角度及二维码中存储的仪表的量程范围得到最终的指针读数，具体包括以下步骤：

c1)量出仪表表盘的实际半径长度r，并计算要提取的表盘区域半径R＝r×d₀/w₁，然后通过hough变换(霍夫变换)检测圆的方法检测最小区域图像I3中的圆，在得到的所有圆中，取圆的半径与R的差值最小的圆，则该圆的圆心即为表盘圆心，该圆的半径即为表盘的半径，根据得到的圆心位置及半径长度，将最小区域图像I3中的表盘提取出来，得到表盘图像I4；

c2)指针识别。将提取到的表盘图像I4进行二值化处理，得到二值化结果图I5，并将二值化结果图I5通过骨架抽取算法进行图像细化，在细化后的图像中通过hough变换(霍夫变换)来检测直线。计算检测到的各直线的长度与表盘半径的差值d，最小的d值对应的直线L即为指针。

c3)确定最大、最小刻度的刻度线位置。将二值化结果图I5中小于R/4及大于3R/4的区域去除，得到只含有刻度线的刻度线图像。然后，通过连通域组件标记算法找到刻度线图像中所有的连通域，并对每个连通域进行标记；遍历各连通域并计算各连通域的几何中心坐标；最后计算各连通域几何中心与仪表表盘圆心所成直线的斜率。当某个连通域的几何中心坐标的y轴值小于仪表表盘圆心的y轴值，且该连通域的几何中心坐标与仪表表盘圆心所成直线的斜率比其余连通域的几何中心坐标与仪表表盘圆心所成直线的斜率都大时，则该连通域所在位置为最小刻度值的刻度线位置，其中，y轴正向竖直朝上，x轴正向水平朝右；当某个连通域的几何中心坐标的y轴值小于仪表表盘圆心的y轴值，且该连通域的几何中心坐标与仪表表盘圆心所成直线的斜率比其余连通域的几何中心坐标与仪表表盘圆心所成直线的斜率都小时，则该连通域所在位置为最大刻度值的刻度线位置。

c4)采用角度法对仪表进行读数识别，具体包括以下步骤：

(1)获取二维码中存储的仪表的量程范围N；

(2)根据步骤c3)得到的最大、最小刻度值所在的刻度线位置，连接最小刻度值的刻度线与仪表表盘圆心以及最大刻度值的刻度线与仪表表盘圆心,分别得到直线L₁与直线L₂，然后计算L₁与L₂之间的夹角φ；

(3)计算直线L₁与指针所在直线L之间的夹角θ，根据角度法计算仪表表盘读数h：

相比于现有技术，本发明具有的有益效果如下：首先，电厂内环境较为复杂，使得仪表的识别准确率明显降低，本发明采用基于二维码匹配的图像定位匹配算法，二维码不仅能够确定巡检仪表设备的位置信息，对仪表进行倾斜矫正，还可以去除现场部分背景的干扰，提高仪表的识别准确率，这样能够很好地解决变电站复杂的现场环境所带来的难题，具有很好的鲁棒性和实用性。其次，电厂内仪表种类繁多，通过二维码可以确定不同巡检仪表设备的不同类型信息。

附图说明

图1为本发明的流程图；

图2为本发明中二维码与仪表的比例关系示意图；

图3为本发明中仪表刻度的提取示意图。

具体实施方式

下面结合附图对本发明作进一步说明。

如图1所示，基于二维码匹配与图像识别的指针式仪表识别方法，具体如下：

1)利用基于二维码匹配的图像采集方法采集仪表设备的状态图像I1，同时获取二维码中存储的仪表设备量程范围，具体包括以下步骤：

a1)开始巡检任务前，在各个仪表设备的仪表上方边沿处张贴二维码，二维码与仪表设备的仪表表盘表面平行，且二维码的底部边界水平设置并与仪表相切；

a2)开始巡检任务后，通过巡检机器人搭载自动变焦的摄像头对每个仪表设备进行状态图像I1的采集。当二维码在采集的状态图像中并能识别时保存采集的状态图像，否则改变拍摄位置对采集失败的仪表设备重新采集图像；通过识别状态图像中的二维码，从而读取二维码中存储的当前仪表设备的量程范围。

2)定位图像中的二维码，根据二维码的倾斜角度对图像进行倾斜校正并去除图像中的背景干扰，具体包括以下步骤：

b1)将状态图像I1进行二值化处理，并寻找二值化图像中嵌套层数大于2的轮廓，从而得到二维码上的三个轮廓，每个轮廓的中心作为二维码的一个定位点；选择二维码的左上角及右上角两个定位点，然后计算这两个定位点的坐标；

b2)计算连接两定位点的连线斜率，得到二维码的倾斜角S1，将状态图像I1旋转S1(倾斜角S1为正时顺时针旋转，为负时逆时针旋转)，得到校正后的仪表设备状态图像I2；

b3)在状态图像I2中，量出二维码的实际宽度w₁、仪表的实际宽度w₂以及仪表的实际高度h₂,并根据左上角及右上角两个定位点的坐标计算该两个定位点在状态图像I2中所占的宽度d₀。

b4)将状态图像I2进行二值化处理，如图2所示，并寻找二值化图像中嵌套层数大于2的轮廓，从而得到二维码上的三个轮廓，每个轮廓的中心作为二维码的一个定位点；选择二维码的左上角及右上角两个定位点，然后计算这两个定位点的坐标；根据状态图像I2的二值化图像中的三个定位点坐标以及步骤b3)得到的w₁、w₂、d₀、h₂,计算状态图像I2中仪表外接矩形区域的宽d₁＝w₂*d₀/w₁，高d₂＝h₂*d₀/w₁。通过感兴趣区域(Region of interest,ROI)提取算法将仪表从状态图像I2中分割出来，得到仪表表盘所在的最小区域图像I3。

3)提取仪表表盘中的最大刻度刻度线、最小刻度刻度线以及指针，并根据指针旋转角度及二维码中存储的仪表的量程范围得到最终的指针读数，具体包括以下步骤：

c1)量出仪表表盘的实际半径长度r，并计算要提取的表盘区域半径R＝r×d₀/w₁，然后通过hough变换(霍夫变换)检测圆的方法检测最小区域图像I3中的圆，在得到的所有圆中，取圆的半径与R的差值最小的圆，则该圆的圆心即为表盘圆心，该圆的半径即为表盘的半径，根据得到的圆心位置及半径长度，将最小区域图像I3中的表盘提取出来，得到表盘图像I4，如图3所示；

c2)指针识别。将提取到的表盘图像I4进行二值化处理，得到二值化结果图I5，并将二值化结果图I5通过骨架抽取算法进行图像细化，在细化后的图像中通过hough变换(霍夫变换)来检测直线。计算检测到的各直线的长度与表盘半径的差值d，最小的d值对应的直线L即为指针。

c3)确定最大、最小刻度的刻度线位置。将二值化结果图I5中小于R/4及大于3R/4的区域去除，得到只含有刻度线的刻度线图像。然后，通过连通域组件标记算法找到刻度线图像中所有的连通域，并对每个连通域进行标记；遍历各连通域并计算各连通域的几何中心坐标；最后计算各连通域几何中心与仪表表盘圆心所成直线的斜率。当某个连通域的几何中心坐标的y轴值小于仪表表盘圆心的y轴值，且该连通域的几何中心坐标与仪表表盘圆心所成直线的斜率比其余连通域的几何中心坐标与仪表表盘圆心所成直线的斜率都大时，则该连通域所在位置为最小刻度值的刻度线位置，其中，y轴正向竖直朝上，x轴正向水平朝右；当某个连通域的几何中心坐标的y轴值小于仪表表盘圆心的y轴值，且该连通域的几何中心坐标与仪表表盘圆心所成直线的斜率比其余连通域的几何中心坐标与仪表表盘圆心所成直线的斜率都小时，则该连通域所在位置为最大刻度值的刻度线位置。

c4)采用角度法对仪表进行读数识别，具体包括以下步骤：

(1)获取二维码中存储的仪表的量程范围N；

(2)根据步骤c3)得到的最大、最小刻度值所在的刻度线位置，连接最小刻度值的刻度线与仪表表盘圆心以及最大刻度值的刻度线与仪表表盘圆心,分别得到直线L₁与直线L₂，然后计算L₁与L₂之间的夹角φ；

(3)计算直线L₁与指针所在直线L之间的夹角θ，根据角度法计算仪表读数h：

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.基于二维码匹配与图像识别的指针式仪表识别方法，其特征在于：该方法包括以下步骤：

1)利用基于二维码匹配的图像采集方法采集仪表设备的状态图像I1，同时获取二维码中存储的仪表设备量程范围，具体包括以下步骤：

a1)开始巡检任务前，在各个仪表设备的仪表上方边沿处张贴二维码，二维码与仪表设备的仪表表盘表面平行，且二维码的底部边界水平设置并与仪表相切；

a2)开始巡检任务后，通过巡检机器人搭载自动变焦的摄像头对每个仪表设备进行状态图像I1的采集；当二维码在采集的状态图像中并能识别时保存采集的状态图像，否则改变拍摄位置对采集失败的仪表设备重新采集图像；通过识别状态图像中的二维码，从而读取二维码中存储的当前仪表设备的量程范围；

2)定位图像中的二维码，根据二维码的倾斜角度对图像进行倾斜校正并去除图像中的背景干扰，具体包括以下步骤：

b1)将状态图像I1进行二值化处理，并寻找二值化图像中嵌套层数大于2的轮廓，从而得到二维码上的三个轮廓，每个轮廓的中心作为二维码的一个定位点；选择二维码的左上角及右上角两个定位点，然后计算这两个定位点的坐标；

b2)计算连接两定位点的连线斜率，得到二维码的倾斜角S1，将状态图像I1旋转S1(倾斜角S1为正时顺时针旋转，为负时逆时针旋转)，得到校正后的仪表设备状态图像I2；

b3)在状态图像I2中，量出二维码的实际宽度w₁、仪表的实际宽度w₂以及仪表的实际高度h₂,并根据左上角及右上角两个定位点的坐标计算该两个定位点在状态图像I2中所占的宽度d₀；

b4)将状态图像I2进行二值化处理，并寻找二值化图像中嵌套层数大于2的轮廓，从而得到二维码上的三个轮廓，每个轮廓的中心作为二维码的一个定位点；选择二维码的左上角及右上角两个定位点，然后计算这两个定位点的坐标；根据状态图像I2的二值化图像中的三个定位点坐标以及步骤b3)得到的w₁、w₂、d₀、h₂,计算状态图像I2中仪表外接矩形区域的宽d₁＝w₂*d₀/w₁，高d₂＝h₂*d₀/w₁；通过感兴趣区域(Region of interest,ROI)提取算法将仪表从状态图像I2中分割出来，得到仪表表盘所在的最小区域图像I3；

3)提取仪表表盘中的最大刻度刻度线、最小刻度刻度线以及指针，并根据指针旋转角度及二维码中存储的仪表的量程范围得到最终的指针读数，具体包括以下步骤：

c1)量出仪表表盘的实际半径长度r，并计算要提取的表盘区域半径R＝r×d₀/w₁，然后通过hough变换(霍夫变换)检测圆的方法检测最小区域图像I3中的圆，在得到的所有圆中，取圆的半径与R的差值最小的圆，则该圆的圆心即为表盘圆心，该圆的半径即为表盘的半径，根据得到的圆心位置及半径长度，将最小区域图像I3中的表盘提取出来，得到表盘图像I4；

c2)指针识别；将提取到的表盘图像I4进行二值化处理，得到二值化结果图I5，并将二值化结果图I5通过骨架抽取算法进行图像细化，在细化后的图像中通过hough变换(霍夫变换)来检测直线；计算检测到的各直线的长度与表盘半径的差值d，最小的d值对应的直线L即为指针；

c3)确定最大、最小刻度的刻度线位置；将二值化结果图I5中小于R/4及大于3R/4的区域去除，得到只含有刻度线的刻度线图像；然后，通过连通域组件标记算法找到刻度线图像中所有的连通域，并对每个连通域进行标记；遍历各连通域并计算各连通域的几何中心坐标；最后计算各连通域几何中心与仪表表盘圆心所成直线的斜率；当某个连通域的几何中心坐标的y轴值小于仪表表盘圆心的y轴值，且该连通域的几何中心坐标与仪表表盘圆心所成直线的斜率比其余连通域的几何中心坐标与仪表表盘圆心所成直线的斜率都大时，则该连通域所在位置为最小刻度值的刻度线位置，其中，y轴正向竖直朝上，x轴正向水平朝右；当某个连通域的几何中心坐标的y轴值小于仪表表盘圆心的y轴值，且该连通域的几何中心坐标与仪表表盘圆心所成直线的斜率比其余连通域的几何中心坐标与仪表表盘圆心所成直线的斜率都小时，则该连通域所在位置为最大刻度值的刻度线位置；

c4)采用角度法对仪表进行读数识别，具体包括以下步骤：

(1)获取二维码中存储的仪表的量程范围N；

(2)根据步骤c3)得到的最大、最小刻度值所在的刻度线位置，连接最小刻度值的刻度线与仪表表盘圆心以及最大刻度值的刻度线与仪表表盘圆心,分别得到直线L₁与直线L₂，然后计算L₁与L₂之间的夹角φ；

(3)计算直线L₁与指针所在直线L之间的夹角θ，根据角度法计算仪表表盘读数h：

Images