CN109359604A - 面向巡检机器人的阴影干扰下仪表识别方法 - Google Patents

Abstract

本发明公开了一种可降低运算复杂度、提高仪表识别准确性及实时性的面向巡检机器人的阴影干扰下仪表识别方法。步骤如下：获取图像数据并进行预处理操作；利用统计信息获取双阈值并对图像进行二值化处理，滤除阴影；再利用预处理后图像和二值化图像对仪表进行初步定位；然后利用初步定位表盘的信息进行最小二乘圆拟合，对初步定位的结果进行修正得到较为准确的表盘定位结果；进行指针识别；利用较为准确的表盘定位结果进行表盘刻度识别并计算读数。

Description

面向巡检机器人的阴影干扰下仪表识别方法

技术领域

本发明属于仪表读数自动判读领域，尤其涉及一种可降低运算复杂度、提高仪表识别准确性及实时性的面向巡检机器人的阴影干扰下仪表识别方法。

背景技术

指针式仪表是工业领域中较为传统的仪表，因其具有防尘、防水、抗干扰性强等优点，在传统工业场合中得到了广泛的应用。目前，由于人工抄表的诸多弊端，已逐渐被机器视觉技术所取代。然而，由于仪表大部分放置在室外或光照不均匀的室内库房，造成仪表表盘上出现阴影等光学现象（如图1，图2所示）。对于机器来说，很难直接区分阴影和真实物体，如果不加以处理，视觉系统很有可能会将阴影等区域当作目标的一部分进行后续分析与计算，并对结果产生影响（Jyothisree V, Dharan S. Shadow Detection UsingTricolor Attenuation Model Enhanced with Adaptive Histogram Equalization[J].International Journal of Computer Science & Information Technology, 2013, 5(2):147-155）。

目前，主流的阴影检测去除方法分为以下两个方向：一是图像序列的动态阴影处理方法。主要是利用多幅图像帧间关系去进行阴影检测，此方法主要面向运动物体，将运动物体和其阴影进行分离，并不适合于静态的仪表图像。二是静态图像中的阴影处理方法。静态图像中的阴影处理方法也称为单帧图像阴影处理方法，阴影去除更复杂及难度更高。诸多学者对单帧图像阴影检测进行研究，提出了针对彩色图像的三色衰减模型（Tian J, SunJ, Tang Y. Tricolor attenuation model for shadow detection.[J]. IEEETransactions on Image Processing A Publication of the IEEE Signal ProcessingSociety, 2009, 18(10):2355-2363），高斯混合模型及贝叶斯方法优化纹理、梯度等方法来提取阴影，但这些方法都对环境有一定的要求，并且去除阴影时，往往丢失阴影内部大量信息，需要依靠周围像素去估计丢失值（高萍. 基于单幅图像阴影检测与去除算法的研究[D]. 华中师范大学, 2016）。而仪表识别中，阴影往往出现在刻度线附近，用静态图像中的阴影处理方法会导致大量刻度线丢失，对识别结果造成影响，并且由于计算复杂度增加，也会导致实时性降低。

发明内容

本发明是为了解决现有技术所存在的上述技术问题，提供一种可降低运算复杂度、提高仪表识别准确性及实时性的面向巡检机器人的阴影干扰下仪表识别方法。

本发明的技术解决方案是：一种面向巡检机器人的阴影干扰下仪表识别方法，其特征在于依次按照如下步骤进行：

步骤1：获取图像后进行预处理操作，得到灰度图；

步骤2：对灰度图利用大津算法计算阈值T；

步骤3：对灰度图进行直方图统计，计算阈值TT；

步骤4：用3*3滑窗并结合阈值T和TT对灰度图进行二值化操作，得到二值化图像；

步骤5：分别对灰度图和二值化图像使用Hough梯度法寻找特征最明显的圆并依据两个圆进行表盘的初步定位，得到初步表盘图像；

步骤6：获取初步表盘图像的表盘轮廓点集，利用最小二乘法对表盘轮廓点集进行圆拟合，以得到的拟合结果对初步表盘图像进行修正，得到进一步的表盘定位图像；

步骤7：进行指针识别，得到指针向量；

步骤8：进行表盘刻度识别，得到基准刻度向量；

步骤9：利用得到的指针向量和基准刻度向量进行计算，使用角度法获取转角，配合量程信息计算出当前读数。

所述步骤2按照如下公式计算阈值T：

式中，i为灰度级，为灰度级为i的像素占图像总像素的比例，为灰度级小于等于k的所有像素的频率和，为灰度级小于等于k的所有像素的平均灰度级，为整幅图像的平均灰度级，为k灰度级时的类间方差。

所述步骤3按照如下公式进行直方图统计，当下式中的满足时，当前k取值即为阈值TT：

。

所述步骤4的具体步骤是在灰度图中以像素为单位生成3*3滑窗，滑动步长为3，在整个灰度图中滑动；滑动过程中，对每一个窗口内的像素点的像素值进行排序，像素最大值为fmax，像素最小值为fmin，进行如下处理：

（1）当fmin大于阈值T时，将该窗口所有像素的像素值置为255；

（2）当fmax小于阈值T时，对该窗口内的像素进行遍历，将像素值小于TT-10的像素点置为0，将其他像素点置为255；

（3）当fmin小于阈值T且fmax大于阈值T时，对该窗口内的像素进行遍历，将像素值小于TT的像素点的像素值置0，将其他像素点的像素值置为255。

所述步骤5的具体步骤是：对灰度图使用Hough梯度法寻找特征最明显的圆，得到圆circle1；对二值化图像寻找特征最明显的圆，得到圆circle2，对获得的两个圆按如下公式进行表盘的初步定位：

式中，分别为权重；

对二值化图像只保留circle1和circle2相交部分，其他像素均置0，并截取相交部分获得初步表盘图像。

所述步骤6中的具体步骤是：按照下式对表盘轮廓点集进行圆拟合，并得到结果圆为circle4：

上式中，、、分别为最小二乘拟合的结果圆circle4的圆心的横、纵坐标和半径，和则为轮廓点集中的点的横纵坐标，a、b、c为中间计算变量，计算过程如下式所示：

上式中C、D、E、G、H为a、b、c的中间计算变量，所述C、D、E、G、H计算过程如下式所示：

根据下式得到最终确定的circle：

式中m和n分别为权重。

本发明能够有效去除由于光照不均匀在仪表图像中产生的阴影，同时极大程度上保留刻度点信息，可避免光照不均匀所产生的阴影对仪表识别的影响，降低运算复杂度、提高仪表识别准确性及实时性，能够满足工业生产中的指针式仪表读数的精度要求，并应用至巡检机器人中。

附图说明

图1为本发明实施例所用光照不均匀的室外仪表图像。

图2为本发明实施例所用光照不均匀的室内仪表图像。

图3为图1在本发明实施例进行二值化处理的结果图像。

图4为图2在本发明实施例进行二值化处理的结果图像。

图5为使用传统大津算法对图1进行二值化处理的结果图像。

图6为使用传统大津算法对图2进行二值化处理的结果图像。

具体实施方式

本发明的一种面向巡检机器人的阴影干扰下仪表识别方法，其特征在于依次按照如下步骤进行：

步骤1：获取图像后进行预处理操作，得到灰度图：

巡检机器人运动到指定位置后，利用摄像头对相应位置的图像进行采集，并对采集得到的图像进行滤波、灰度变换等预处理得到如图1、图2所示的灰度图像。

步骤2：对灰度图利用大津算法（OTSU）计算阈值T：

按照如下公式计算阈值T：

式中，i为灰度级（本发明实施例取像素值0~255，共256级），为灰度级为i的像素占图像总像素的比例，为灰度级小于等于k的所有像素的频率和，为灰度级小于等于k的所有像素的平均灰度级，为整幅图像的平均灰度级，为k灰度级时的类间方差。

步骤3：对灰度图进行直方图统计，计算阈值TT：

按照如下公式进行直方图统计，当下式中的满足时，当前k取值即为阈值TT：

。

步骤4：用3*3滑窗并结合阈值T和TT对灰度图进行二值化操作，得到二值化图像：

在灰度图中以像素为单位生成3*3滑窗，滑动步长为3，在整个灰度图中滑动（滑窗不能处理到的像素点设置为255）；滑动过程中，对每一个窗口内的像素点的像素值进行排序，像素最大值为fmax，像素最小值为fmin，进行如下处理：

（1）当fmin大于阈值T时，将该窗口所有像素的像素值置为255；

（2）当fmax小于阈值T时，对该窗口内的像素进行遍历，将像素值小于TT-10的像素点置为0，将其他像素点置为255；

（3）当fmin小于阈值T且fmax大于阈值T时，对该窗口内的像素进行遍历，将像素值小于TT的像素点的像素值置0，将其他像素点的像素值置为255。

至此，对图1、图2处理后的图像分别如图3、图4所示。图5、图6分别是采用传统大津算法对图1、图2进行二值化处理的结果图像。从图3、图4可以看出，经过上述处理后，得到的二值化图像在过滤掉大量阴影信息后仍能较好地保留刻度信息。

步骤5：分别对灰度图和二值化图像使用Hough梯度法寻找特征最明显的圆并依据两个圆进行表盘的初步定位，得到初步表盘图像：

对灰度图使用Hough梯度法寻找特征最明显的圆，得到圆circle1；对二值化图像寻找特征最明显的圆，得到圆circle2，对获得的两个圆按如下公式进行表盘的初步定位：

式中，分别为权重；本实施例取0.8，取0.2；

对二值化图像只保留circle1和circle2相交部分，其他像素均置0，并截取相交部分获得初步表盘图像。

步骤6：获取初步表盘图像的表盘轮廓点集，利用最小二乘法对表盘轮廓点集进行圆拟合，以得到的拟合结果对初步表盘图像进行修正，得到进一步的表盘定位图像：

利用最小二乘法对表盘轮廓点集进行圆拟合是按照下式对进行，并得到结果圆为circle4：

上式中，、、分别为最小二乘拟合的结果圆circle4的圆心的横、纵坐标和半径，和则为轮廓点集中的点的横纵坐标，a、b、c为中间计算变量，计算过程如下式所示：

上式中C、D、E、G、H为a、b、c的中间计算变量，所述C、D、E、G、H计算过程如下式所示：

经过上述操作得到circle4后，根据下式在circle3的基础上再次进行调整，得到最终确定的circle：

式中m和n分别为权重，本实施例中m取0.4，n取0.6能获得较好结果。

步骤7：进行指针识别，得到指针向量：

由于指针特征比较单一明显，不需要特别准确的定位，因此对步骤5中获得的初步表盘图像，使用快速概率Hough变换找特征最明显直线，并认为该直线就是要找的指针，计算出相应指针向量。

步骤8：进行表盘刻度识别，得到基准刻度向量：

利用步骤6得到的circle和步骤4得到的阴影滤除二值化图像，使用半径缩小法获取刻度点，并寻找基准刻度，生成基准刻度向量。

步骤9：利用得到的指针向量和基准刻度向量进行计算，使用角度法获取转角，配合量程信息计算出当前读数。

本发明实施例对图1、图2为测试样例，结果如下：

图像	人工读数	识别读数	绝对误差	引用误差
					图1	0.06	0.069695	0.009695	0.00606
图2	0.04	0.038254	0.001746	0.00291

结果表明，本发明能够在满足仪表读数识别精度和实时性的同时，有效地避免由于光照不均匀所造成的阴影等光学现象对仪表识别的影响，能够满足工业生产中的指针式仪表读数的精度要求，并应用至巡检机器人中。

Claims (6)

1.一种面向巡检机器人的阴影干扰下仪表识别方法，其特征在于依次按照如下步骤进行：

步骤1：获取图像后进行预处理操作，得到灰度图；

步骤2：对灰度图利用大津算法计算阈值T；

步骤3：对灰度图进行直方图统计，计算阈值TT；

步骤4：用3*3滑窗并结合阈值T和TT对灰度图进行二值化操作，得到二值化图像；

步骤5：分别对灰度图和二值化图像使用Hough梯度法寻找特征最明显的圆并依据两个圆进行表盘的初步定位，得到初步表盘图像；

步骤6：获取初步表盘图像的表盘轮廓点集，利用最小二乘法对表盘轮廓点集进行圆拟合，以得到的拟合结果对初步表盘图像进行修正，得到进一步的表盘定位图像；

步骤7：进行指针识别，得到指针向量；

步骤8：进行表盘刻度识别，得到基准刻度向量；

步骤9：利用得到的指针向量和基准刻度向量进行计算，使用角度法获取转角，配合量程信息计算出当前读数。

2.根据权利要求1所述的面向巡检机器人的阴影干扰下仪表识别方法，其特征在于所述步骤2按照如下公式计算阈值T：

式中，i为灰度级，为灰度级为i的像素占图像总像素的比例，为灰度级小于等于k的所有像素的频率和，为灰度级小于等于k的所有像素的平均灰度级，为整幅图像的平均灰度级，为k灰度级时的类间方差。

3.根据权利要求2所述面向巡检机器人的阴影干扰下仪表识别方法，其特征在于所述步骤3按照如下公式进行直方图统计，当下式中的满足时，当前k取值即为阈值TT：

。

4.根据权利要求3所述面向巡检机器人的阴影干扰下仪表识别方法，其特征在于所述步骤4的具体步骤是在灰度图中以像素为单位生成3*3滑窗，滑动步长为3，在整个灰度图中滑动；滑动过程中，对每一个窗口内的像素点的像素值进行排序，像素最大值为fmax，像素最小值为fmin，进行如下处理：

（1）当fmin大于阈值T时，将该窗口所有像素的像素值置为255；

（2）当fmax小于阈值T时，对该窗口内的像素进行遍历，将像素值小于TT-10的像素点置为0，将其他像素点置为255；

（3）当fmin小于阈值T且fmax大于阈值T时，对该窗口内的像素进行遍历，将像素值小于TT的像素点的像素值置0，将其他像素点的像素值置为255。

5.根据权利要求4所述面向巡检机器人的阴影干扰下仪表识别方法，其特征在于所述步骤5的具体步骤是：对灰度图使用Hough梯度法寻找特征最明显的圆，得到圆circle1；对二值化图像寻找特征最明显的圆，得到圆circle2，对获得的两个圆按如下公式进行表盘的初步定位：

式中，分别为权重；

对二值化图像只保留circle1和circle2相交部分，其他像素均置0，并截取相交部分获得初步表盘图像。

6.根据权利要求5所述所述面向巡检机器人的阴影干扰下仪表识别方法，其特征在于所述步骤6中的具体步骤是：按照下式对表盘轮廓点集进行圆拟合，并得到结果圆为circle4：

上式中，、、分别为最小二乘拟合的结果圆circle4的圆心的横、纵坐标和半径，和则为轮廓点集中的点的横纵坐标，a、b、c为中间计算变量，计算过程如下式所示：

上式中C、D、E、G、H为a、b、c的中间计算变量，所述C、D、E、G、H计算过程如下式所示：

根据下式得到最终确定的circle：

式中m和n分别为权重。