CN112613429A - 一种基于机器视觉适用于多视角图像指针式仪表读数方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉适用于多视角图像指针式仪表读数方法，步骤为：输入仪表照片、输入仪表参数、识别表盘圆，进行基于表盘圆的裁剪、进行图片预处理，得到二值化的表盘、对表盘图片进行轮廓分析，基于刻度假设提取刻度区域，计算刻度中心到圆心的平均半径，记为刻度区半径、使用刻度区半径、二值化表盘图像，结合仪表参数，进行基于表盘刻度特征提取的正位校准、对正位校准后二值化表盘图像，重新识别表盘圆并进行轮廓分析，提取刻度及指针区域、对提取得到的指针区域进行清理后，使用基于多次采样与平均的斜率拟合法计算得到指针偏转角度、结合指针偏转角度、量程夹角、起止刻度读数，代入读数计算公式计算得到仪表示数。

Description

一种基于机器视觉适用于多视角图像指针式仪表读数方法

技术领域

本发明涉及一种基于机器视觉适用于多视角图像指针式仪表读数方法，适用于制造行业，属于机器视觉识别技术领域。

背景技术

由于价格低廉、使用方便、抗电磁干扰等优势，目前指针式仪表在工业生产中仍有着广泛的应用，而对指针式仪表的读取大部分依靠人工读取的形式，不仅需要相当的人力成本，在人工读取、记录与汇总的过程中还存在一定的引入误差的可能。使用机器视觉识别技术对仪表进行定期读取，在降低成本的同时，还可以减小由读数误差带来的风险。

目前主流的基于机器视觉的指针式仪表读取算法主要建立在表盘刻度的均匀性的基础上。算法主要包括图像预处理、指针与刻度提取、指针角度计算与示数计算等步骤。对于正投影视角下拍摄的清晰表盘图片，此流程基本可以取得较好的效果。然而，在实际工业生产应用中，拍摄得到的图片一般会存在一定程度的视角旋转或透视偏差，使得图中表盘存在刻度不均匀、参考系有旋转、参考系非线性等问题，给示数的读取引入较大误差。

针对上述问题，有研究使用基于特征点的图像配准方法，对每个待读取的仪表，引入一张校准过的模板，对两张图像寻找匹配的特征点点对，根据特征点点对进行透视变换，得到配准后的待识别图像，再进行后续识别。但此方法依赖于人工校准的模板，自动化程度欠缺的同时还增加了人工操作带来的误差风险。

此外，目前的指针提取与拟合多为在提取指针区域后使用最小二乘法对指针骨架进行拟合，再使用该拟合直线的角度作为指针偏转角度，代入示数计算公式进行计算。然而，最小二乘法拟合容易受到单个点的影响，对图像的轻微变化较为敏感。从实际工业应用场景来看，使用该方法对同一个仪表连续采样读取时，在指针没有变化的情况下，得到的示数存在较高的不稳定性。

发明内容

本发明所要解决的技术问题是现有技术中指出的问题。

基于工业指针式仪表的表盘特征，本发明提出了直接对待识别样本进行特征提取的配准思路，可以在无模板的情况下对存在视角旋转或透视偏差的表盘图片进行正位校准，在较为便捷地解决图像视角不正带来的问题的同时无须引入过多的人工依赖与风险。

此外，本发明提出基于多次采样与平均的斜率拟合方法来计算指针区域的拟合角度，对图像轻微变化的敏感性较低，在实际应用中取得了较高的稳定性。

综上，本发明的技术方案为一种基于机器视觉适用于多视角图像指针式仪表读数方法，具体步骤如下：

1、获取待识别的仪表图片及仪表参数(起始刻度读数、终止刻度读数、量程夹角)；

2、对图片进行缩放、均值滤波等预处理后，使用霍夫找圆法识别表盘圆，对图片进行基于表盘圆的裁剪；

3、将裁剪后的图片再次缩放到一定尺寸，计算得到缩放后的表盘圆圆心坐标及半径；

4、对图片进行直方图均衡化、高斯模糊、自适应二值化等预处理，得到二值化的表盘图像；

5、对表盘图像进行轮廓分析，基于刻度假设筛选得到刻度区域，计算刻度中心到圆心的平均半径，记为刻度区半径；

6、使用前几步得到的二值化表盘图像、刻度区半径，结合仪表参数，进行基于表盘刻度特征提取的正位校准：

6.1使用刻度区半径，取一定比例的前后余量，在原二值化表盘图上截取圆环，得到刻度区域ROI(黑底白色刻度线)；

6.2遍历刻度区域ROI中的白色像素点，计算点与圆心的连线角度(圆心指向点)，对得到的角度数组进行排序和归并清理后，对相邻角度的间隔计算去除异常值后的平均值，得到相邻刻度间的夹角；

6.3使用上一步得到的相邻刻度夹角及角度数组，基于刻度区域夹角特征，得到起始刻度和终止刻度的角度；

6.4使用起止刻度角度、刻度区半径、圆心坐标计算得到起止刻度中心点坐标与中点刻度中心点坐标；

6.5使用量程夹角、拟定的输出图像刻度区半径，计算得到起止刻度中心点、中点刻度中心点、圆心等四个点在正位情况下的坐标；

6.6根据这两组特征点坐标计算单应性矩阵，对输入图像进行透视变换，得到正位校准后的表盘图像；

7、对正位校准后的二值化表盘图像，重新寻找表盘圆，并重新进行轮廓分析，基于刻度假设和指针假设分别提取刻度区域和指针区域，并计算得到刻度区半径；

8、对提取得到的指针区域进行清理，并使用基于多次采样与平均的斜率拟合法计算得到指针偏转角度：

8.1使用霍夫找直线法提取图中的直线，并基于指针区域直线到表盘圆心距离不超过一定范围的假设进行筛选，使用筛选后的直线的平均直线作为范围限定，对输入的指针区域进行进一步的清理；

8.2对清理后的指针区域，计算其矩形外框的斜率，如斜率的绝对值小于1，则对图像整体进行顺时针90度的旋转，使得指针在水平轴上的投影尽可能长，以减小误差；

8.3根据指针区域垂直投影的长度，计算最大分段数目n；

8.4建立基于指针假设的拟合斜率计算模型：

8.4.1对输入的指针区域ROI，沿水平方向按一定的间距依次切片；

8.4.2对切片后得到的非零像素取中点值作为该切片的特征点；

8.4.3对相邻特征点两两计算斜率；

8.4.4对计算得到的斜率去除异常后取均值，得到该ROI区段的指针拟合斜率；

8.5计算分段数目从1到n的n种分段方式下每一段的拟合斜率，去除异常值后取均值得到指针斜率，并转换为指针偏转角度；

9、结合指针偏转角度、量程夹角、起止刻度读数，代入读数计算公式计算得到仪表示数：

9.1建立读数计算公式：v＝s+(alpha-(360-phi)/2)*(e-s)/phi，其中v为读数，s、e为仪表起止刻度读数，alpha为指针偏转角度，phi为量程夹角；

9.2将指针偏转角度代入该公式得到仪表示数。

本发明特征在于：

1、基于表盘特征进行待识别图片的正位校准：基于表盘刻度均匀、起止刻度间存在空白区域的假设，对表盘刻度特征点与圆心特征点进行提取，使用输入的表盘量程夹角计算正位情况下的特征点位置，根据特征点对位置计算单应性矩阵进行透视变换，将待识别图片校准为正投影位置；

2、使用多次采样与平均拟合指针斜率，提升识别算法对于微小图片差异的稳定性。

附图说明

图1为本发明总体流程图；

图2为基于表盘特征进行待识别图片的正位校准流程图；

图3为基于多次采样与平均获取指针区域拟合斜率流程图。

具体实施方式

为使本发明更明显易懂，兹以优选实施例，并配合附图作详细说明如下。

实施例

本实例为基于机器视觉的适用于多视角图像的指针式仪表读数方法，详细步骤为：

1、获取待识别的仪表图片及仪表起始刻度读数s、终止刻度读数e、量程夹角phi等参数；

2、将输入图片进行等比例缩放，将最短边缩放到480像素；

3、对缩放后的图片进行直方图均衡化、均值滤波、高斯模糊等预处理；

4、对预处理后的图片，使用霍夫找圆法识别表盘圆，基于5％的余量计算得到表盘圆外接矩形，对图片进行裁剪；

5、将裁剪后的图片再次进行等比例缩放，将最短边缩放到480像素，并计算得到缩放后的表盘圆圆心坐标O及半径r；

6、对处理后图片进行直方图均衡化、转为灰度图像、自适应二值化等预处理，得到二值化的表盘图像；

7、对二值化表盘图像进行轮廓分析与刻度筛选：

7.1对二值化表盘图像进行轮廓查找；

7.2遍历查找得到的轮廓，筛选出轮廓中心与圆心距离在0.7*r～0.95*r之内、且最小外接矩形长边与短边之比大于4的轮廓，作为备选刻度轮廓，记录其刻度中心到圆心的距离；

7.3对备选刻度轮廓刻度中心到圆心的距离去除异常后取均值，记为刻度区半径t；

8、使用前几步得到的二值化表盘图像、刻度区半径，结合仪表参数，进行基于表盘刻度特征提取的正位校准：

8.1使用刻度区半径t，在原二值化表盘图上截取内外半径分别为0.8*t～1.1*t的圆环，得到刻度区域ROI(黑底白色刻度线)；

8.2遍历刻度区域ROI中的白色像素点，计算点与圆心的连线角度(圆心指向点)，并根据角度是否与现有角度组均值差异在一度以内将计算得到的角度进行分组归并；

8.3对得到的角度组数组按照每组的均值，得到角度数组，并进行排序；

8.4对排序后的角度数组，计算相邻角度的间隔去除异常值后的平均值，得到相邻刻度间的平均夹角theta；

8.5对角度数组计算两两夹角，并加入头尾两个角度间的夹角，得到夹角数组；8.6对夹角数组进行排序后，选取最大且大于2*theta的夹角g，结合输入的量程夹角phi进行判断，若g大于0.9*phi，则取其两边的角度分别作为起始角度sd与终止角度ed；

8.7使用起止刻度角度sd与ed、刻度区半径t、圆心坐标O计算得到起止刻度中心点坐标A、B与中点刻度中心点坐标C；

8.8使用量程夹角phi、拟定的输出图像刻度区半径t0，计算得到起止刻度中心点、中点刻度中心点、圆心等四个点在正位情况下的坐标A0、B0、C0、O0；

8.9根据这两组特征点坐标计算单应性矩阵，对输入图像进行透视变换，得到正位校准后的表盘图像；

9、对正位校准后的二值化表盘图像，使用霍夫找圆重新获取表盘圆圆心O1，半径r1；

10、对正位校准后的二值化表盘图像，重新进行轮廓分析与刻度区域、指针区域的筛选：

10.1对二值化表盘图像进行轮廓查找；

10.2遍历查找得到的轮廓，筛选出轮廓中心与圆心距离在0.7*r1～0.95*r1之内、且最小外接矩形长边与短边之比大于4的轮廓，作为备选刻度轮廓，记录其刻度中心到圆心的距离；

10.3对备选刻度轮廓刻度中心到圆心的距离去除异常后取均值，记为刻度区半径t1；

10.4筛选出轮廓中心与圆心距离小于0.7*r1、轮廓最长边大于r1/3、轮廓长边与短边之比大于3、且圆心到轮廓最小外接矩形短边中线距离小于t1*sin40°的轮廓，作为备选指针区域进行提取；

11、对提取得到的指针区域进行清理，并使用基于多次采样与平均的斜率拟合法计算得到指针偏转角度：

11.1使用霍夫找直线法提取图中的直线，筛选圆心到直线距离小于t1*sin10°的直线，计算得到直线方程，取平均斜率和截距，加上一定的余量，绘制遮罩mask，对输入的指针区域进行进一步的清理；

11.2对清理后的指针区域，计算其矩形外框的斜率k0，如k0的绝对值小于1，则对图像整体进行顺时针90度的旋转；

11.3根据指针区域垂直投影的长度，计算最大分段数目n；

11.4建立基于指针假设的拟合斜率计算模型：

11.4.1对输入的指针区域ROI，沿水平方向按一定的间距依次切片；

11.4.2对切片后得到的非零像素取中点值作为该切片的特征点；

11.4.3对相邻特征点两两计算斜率；

11.4.4对计算得到的斜率去除异常后取均值，得到该ROI区段的指针拟合斜率；

11.5对清理过的指针区域，计算分段数目从1到n的n种分段方式下每一段的拟合斜率，去除异常值后取均值得到指针斜率，并转换为指针偏转角度alpha；

11.6如果之前对图像进行了顺时针90度的旋转，此时须将指针角度alpha进行相应的回转处理；

12、结合指针偏转角度alpha、量程夹角phi、起止刻度读数s、e，代入读数计算公式v＝s+(alpha-(360-phi)/2)*(e-s)/phi计算得到仪表示数。

经实际测试，本发明提供的基于表盘特征进行待识别图片的正位校准方法，对不同视角拍摄的表盘图片，在清晰度保证大部分刻度(起止刻度无遮挡可识别)可识别的情况下，可以达到较好的正位校准的效果，保证了后续的指针识别与读数可以在较为准确的参考系中进行。而本发明提供的基于多次采样与平均拟合指针斜率的方法，在实际应用中，相对于目前主流的基于最小二乘法的指针骨架直线拟合方法，显著降低了对微小图片差异的敏感度，提升了读数的稳定性。

Claims (1)

1.一种基于机器视觉适用于多视角图像指针式仪表读数方法，具体步骤如下：

1、获取待识别的仪表图片及仪表参数(起始刻度读数、终止刻度读数、量程夹角)；

2、对图片进行缩放、均值滤波等预处理后，使用霍夫找圆法识别表盘圆，对图片进行基于表盘圆的裁剪；

3、将裁剪后的图片再次缩放到一定尺寸，计算得到缩放后的表盘圆圆心坐标及半径；

4、对图片进行直方图均衡化、高斯模糊、自适应二值化等预处理，得到二值化的表盘图像；

5、对表盘图像进行轮廓分析，基于刻度假设筛选得到刻度区域，计算刻度中心到圆心的平均半径，记为刻度区半径；

6、使用前几步得到的二值化表盘图像、刻度区半径，结合仪表参数，进行基于表盘刻度特征提取的正位校准：

6.1使用刻度区半径，取一定比例的前后余量，在原二值化表盘图上截取圆环，得到刻度区域ROI(黑底白色刻度线)；

6.2遍历刻度区域ROI中的白色像素点，计算点与圆心的连线角度(圆心指向点)，对得到的角度数组进行排序和归并清理后，对相邻角度的间隔计算去除异常值后的平均值，得到相邻刻度间的夹角；

6.3使用上一步得到的相邻刻度夹角及角度数组，基于刻度区域夹角特征，得到起始刻度和终止刻度的角度；

6.4使用起止刻度角度、刻度区半径、圆心坐标计算得到起止刻度中心点坐标与中点刻度中心点坐标；

6.5使用量程夹角、拟定的输出图像刻度区半径，计算得到起止刻度中心点、中点刻度中心点、圆心等四个点在正位情况下的坐标；

6.6根据这两组特征点坐标计算单应性矩阵，对输入图像进行透视变换，得到正位校准后的表盘图像；

7、对正位校准后的二值化表盘图像，重新寻找表盘圆，并重新进行轮廓分析，基于刻度假设和指针假设分别提取刻度区域和指针区域，并计算得到刻度区半径；

8、对提取得到的指针区域进行清理，并使用基于多次采样与平均的斜率拟合法计算得到指针偏转角度：

8.1使用霍夫找直线法提取图中的直线，并基于指针区域直线到表盘圆心距离不超过一定范围的假设进行筛选，使用筛选后的直线的平均直线作为范围限定，对输入的指针区域进行进一步的清理；

8.2对清理后的指针区域，计算其矩形外框的斜率，如斜率的绝对值小于1，则对图像整体进行顺时针90度的旋转，使得指针在水平轴上的投影尽可能长，以减小误差；

8.3根据指针区域垂直投影的长度，计算最大分段数目n；

8.4建立基于指针假设的拟合斜率计算模型：

8.4.1对输入的指针区域ROI，沿水平方向按一定的间距依次切片；

8.4.2对切片后得到的非零像素取中点值作为该切片的特征点；

8.4.3对相邻特征点两两计算斜率；

8.4.4对计算得到的斜率去除异常后取均值，得到该ROI区段的指针拟合斜率；

8.5计算分段数目从1到n的n种分段方式下每一段的拟合斜率，去除异常值后取均值得到指针斜率，并转换为指针偏转角度；

9、结合指针偏转角度、量程夹角、起止刻度读数，代入读数计算公式计算得到仪表示数：

9.1建立读数计算公式：v＝s+(alpha-(360-phi)/2)*(e-s)/phi，其中v为读数，s、e为仪表起止刻度读数，alpha为指针偏转角度，phi为量程夹角；

9.2将指针偏转角度代入该公式得到仪表示数。

Images