CN111476246A - 应用于复杂环境下指针仪表鲁棒高效智读方法 - Google Patents

Abstract

本发明公开了一种应用于复杂环境下指针仪表鲁棒高效智读方法。本发明首先进行图像采集及对图像进行预处理，然后采用改进的随机圆检测获得仪表中心。再指针对称度环向模板匹配法来进行指针线的拟合。最后得到仪表的读数。本发明能够检测完整的圆形，也能通过部分圆弧还原整个圆，实现对仪表中心的准确定位。同时解决了表盘内阴影对读数的偏差问题，而且克服了指针细化问题，达到了指针仪表指针的准确拟合。

Description

应用于复杂环境下指针仪表鲁棒高效智读方法

技术领域

本发明涉及计算机图像处理技术领域，更具体的说，是一种基于机器视觉的复杂环境下指针式仪表鲁棒高效智读方法。

背景技术

指针式仪表读取技术是目前机器视觉领域研究的热点，也是模式识别领域一项重要的前沿技术和研究内容。指针式仪表具有结构简单、耐高压、防腐蚀、防电磁干扰、防水、防冻的特点，常见的指针式仪表有温度表，压力表，流量表，速度表等。指针式仪表的采集往往是人为读取，由于观察角度和视觉疲劳等因素，人工读数的结果往往不可靠，且不方便、耗时、低效。因此，基于机器视觉的指针式仪表读数识别方法得到大规模的研究及应用。

目前提出的大多数仪表识别算法针对光照均匀的条件能达到很好的识别效果，然而对于室外复杂环境的识别效果却不尽如人意。若拍摄角度存在偏移，霍夫圆检测存在耗时长且仪表中心不能很好拟合的问题；在指针提取方面，霍夫直线检测是一种有效的探测直线方法，但是它很容易被背景中的线和指针的宽度所影响；针对底部宽、尖端窄的指针式仪表，检测到的直线包含多条线段，需要调节很多参数且需要指针细化算法。剪影法可在没有指针的情况下创建模板图像，然后从捕获的图像中减去该模板图像以检测指针，然而该方法受环境影响较大不适用于室外指针式仪表的读取，因此迫切地需要一种针对室外恶劣天气环境的鲁棒高效的指针式仪表读数方法。

现有的指针式仪表图像智读方法大多针对亮度问题进行研究，未考虑到指针阴影、其他遮挡物阴影、镜面反光、镜面水雾对读数的干扰，因此系统的鲁棒性不能满足实际应用要求。

发明内容

本发明针对上述复杂环境下的干扰，提出一种指针式仪表自动读取方法。

本发明包括以下步骤：

步骤一、图像采集及对图像进行预处理

采集的图像为含有仪表正面且拍摄角度垂直于仪表盘表面的图像。

预处理包括：

采用具有色彩修复功能的多尺度视网膜增强算法，减少周围环境光照量的影响。

将图像减少通道数转化为灰度图。

采用中值滤波核去除噪声干扰。

步骤二、仪表中心的识别

获得指针仪表图像轮廓信息，从图像的轮廓中随机选取三个点，根据三点确定一个圆，寻找所有可能圆；

通过计算一定区域内的所有可能圆的圆心与区域中心的标准差来确定一个最大圆心密度区域，将该区域的中心作为圆的圆心；

将采用所有可能圆的半径的平均值作为最终圆的半径。

步骤三、指针线的拟合

对指针线段按以下三个原则进行初步过滤和筛选：

(a)指针长度不会大于表盘的半径；

(b)指针必定落在表盘内；

(c)指针所在直线必定经过表盘中心。

初步过滤和筛选后，针对指针定位结果中可能包含多条线段，执行指针对称度环向模板匹配法；

所述的指针对称度环向模板匹配法是通过迭代二值化阈值突出指针区域，根据仪表指针的特点，指针总是围绕表盘中心进行转动，形成一个圆面，因此，只需要使得模板图像围绕表盘圆心旋转一周，并计算每个旋转角时的子图与模板图像相似度，选取出相似度最大时的角度值，并结合表盘圆心，即可确定指针位置及方向。

步骤四、读数的计算

采用角度法进行指针式仪表读数。

本发明的有益效果：本发明针对镜面反光造成圆弧断裂和错位的问题，使用改进的随机圆检测，不但能够检测完整的圆形，也能通过部分圆弧还原整个圆，实现对仪表中心的准确定位。针对指针阴影及表盘内其他遮挡物阴影的影响，同时针对尖端小、底部大的指针仪表细化问题，本发明提出一种指针对称度环向模板匹配法，不但解决了表盘内阴影对读数的偏差问题，而且克服了指针细化问题，达到了指针仪表指针的准确拟合，最后通过角度法获得指针式仪表读数。

附图说明

图1是本发明实施例提供的基于机器视觉的复杂环境下指针仪表智读流程图；

图2是本发明实施例提供的仪表中心识别的流程图；

图3是本发明实施例提供的仪表指针线拟合流程图；

图4是角度法读数示意图；

图5a是本发明实施例1提供的镜面反光下指针式仪表的输入图像；

图5b是本发明实施例1提供的最优密度圆区域；

图5c是本发明实施例1提供的改进霍夫圆检测仪表中心拟合结果；

图5d是本发明实施例1提供的镜面反光下指针式仪表的输出图像；

图6a是本发明实施例2提供的指针附近出现光晕下指针式仪表的输入图像；

图6b是本发明实施例2提供的指针对称度环向模板匹配相似度曲线；

图6c是本发明实施例2提供的指针对称度环向模板匹配检测结果。

具体实施步骤

以下结合附图对本发明作进一步说明。

如图1、图2和图3所示，本发明具体步骤是：

步骤一、图像采集及预处理

在本发明的实施例图像采集过程中，仪表原图像为含有仪表正面且拍摄角度垂直于仪表盘表面大小为600X800的采集图像。

在现场工业环境下，亮度水平取决于许多因素(天气、时间、室内或室外等)，通常是可变的。而亮度的变化对仪表读数的识别增加了强干扰，往往会造成读数误识别，本发明应用了一种具有色彩修复功能的多尺度视网膜增强算法(MSRCR)，减少周围环境光照量的影响。

同时在不影响检测仪表的准确性前提下，为减少检测的耗时，将原彩色图像减少通道数转化为灰度图。由于图像是由庞大的像素点构成，原图像在复杂环境的干扰下存在许多噪点，采用3x3的中值滤波核去除噪声干扰，可获得良好的仪表图像。

步骤二、仪表中心的识别

其原理是：从图像的轮廓(或边缘)信息中随机选取三个点，根据三点确定一个圆，寻找所有可能圆O_k。通过计算一定区域内的所有可能圆的圆心与区域中心的标准差来确定一个最大圆心密度区域，将该区域的中心作为圆的圆心。

同样的，对于半径的计算是采用所有可能圆的半径的平均值作为最终圆的半径。这样可以在保证准确度的情况下，极大的减少了计算量。

寻找圆的步骤如下：

(1)对中值滤波后的图像执行Canny边缘检测提取获得指针式仪表的轮廓图像，对于轮廓上的任意三个点(x_k1,y_k1)，(x_k2,y_k2)，(x_k3,y_k3)，可以唯一确定一个圆O_k。随机选取p个轮廓上的三个点所得的圆的集合为{O_k(a_k,b_k,r_k)}，k＝1,…,p，其中(a_k,b_k)是圆心坐标，r_k是(a_k,b_k)对应圆的半径。

(2)从上述集合中任意选取一个半径为圆心为的圆作为密集区域A。假设有q个圆的圆心在A内，遍历密集区域A中所有圆心，则最优密集区域A_opt＝min(σ₁,σ₂,…,σ_q)即为最优圆所在的区域，其中σ_k为各圆心间的欧氏距离与圆心间的平均距离的误差平方和，(a_q,b_q)为轮廓上随机三点确定的圆心坐标，d_q为两圆心之间的欧式距离，d_avg为各圆心之间欧氏距离的标准差：

则可以确定最优圆的圆心为：

(3)对A_opt内的所有半径求均值,其结果作为为最优圆的半径。

步骤三、指针线的拟合

为了提高指针识别的效率及准确性，本发明基于以下原则对指针线段进行初步过滤和筛选：

(a)指针长度不会大于表盘的半径；

(b)指针必定落在表盘内；

(c)指针所在直线必定经过表盘中心。

在实际应用中，针对尖端小，底部大的指针式仪表，经过过滤后的指针定位结果仍然有可能包含多条线段，并且一部分图像只检测到了指针一边边界的线段，这样便无法准确确定指针角度，最终读数也会有较大误差。

对于多条线段的处理，本发明提出一种指针对称度环向模板匹配法更好的解决指针线拟合的难题。指针对称度环向模板匹配法原理：通过迭代二值化阈值突出指针区域，根据仪表指针的特点，指针总是围绕表盘中心进行转动，形成一个圆面，因此，只需要使得模板图像(指针)围绕表盘圆心旋转一周，并计算每个旋转角时的子图与模板相似度，选取出相似度最小时的角度值，并结合表盘圆心，即可以确定指针位置及方向。

为了简化计算，采用一条线段作为搜索子图，代替矩形搜索子图，实验表明，以一条线段作为模板，不仅解决了初步筛选后多条线段的问题，并不会对结果产生较大影响，且能够提高检测效率。

指针对称度环向模板匹配法的步骤如下：

(1)采用OSTU大津法二值化仪表图像。

(2)将其仪表图像左上角为原点，右方的水平线方向为横轴正方向，下方的铅垂线方向为纵轴正方向建立直角坐标系图像。

(3)每次以1迭代二值化阈值，直到二值化阈值为255，计算对称度H。

(4)以对称度最大时二值化阈值进行仪表二值化，从而消除指针阴影及其他遮挡物阴影的影响。

(5)对于多条线段的处理，确定一个指针线模板区域T(s,t)，T(s,t)区域包含所要匹配的指针区域图像。

(6)以圆心为中心，逆时针方向遍历，每旋转一个角度θ，生成一个与T(s,t)区域相似的子图S(s,t)。

(7)计算相似子图S(s,t)与模板图像T(s,t)的相似度D(i,j)。

(8)找到D(i,j)取得最小值时的子图，即为匹配结果。

其中，对称度的计算公式为：

其中H是对称度，g是指针极角所对应的像素和，其中(x_center,y_center)为仪表中心识别的圆心，右方的水平线方向为横轴正方向，下方的铅垂线方向为纵轴正方向，r为识别圆心对应的半径，z是指针线最大灰度和对应的指针旋转角度，v为指针区域偏转角度,G为指针区域包含的角度，在本实施例中N为10。

相似性即平均误差平方和计算公式如下:

1≤i≤U-M+1,1≤j≤W-N+1

其中设S(s,t)是大小为U×W旋转角度产生的搜索子图像，T(s,t)是M×N的模板图像，在搜索子图S(s,t)中，以(i,j)为左上角，取M×N大小的子图，计算其与模板的相似度；遍历所有旋转角度的搜索子图，在所有能够取到的子图中，找到与模板图最相似的子图作为最终匹配结果。显然，D(i,j)越小，表明子图与模板图像的相似度越高。

步骤四、读数的计算，

如图4所示，以仪表中心点C为原点，右方的水平线方向为横轴正方向，上方的铅垂线方向为纵轴正方向，点A是先验标定的最小值标度线的质心，计算直线l₁的斜率为k₁，点B是先验标定的最大值标度线的质心，计算直线l₂的斜率为k₂，取步骤三指针拟合线上一点计算直线l的斜率k₃，α是线AC和BC之间的夹角，则α计算公式为

β是线AC和识别指针线之间的夹角，同理

M表示仪表的量程，则仪表的读数为：

I＝M×β/α

图5a为镜面反光情况下仪表采集图像，由于镜面反光影响，检测过程中会造成刻度圆弧断裂，图5b为本发明改进霍夫圆检测算法识别的最优密度圆区域，由图5c可知，改进霍夫圆检测仪表坐标为(301,299)，并将检测结果于图5d中所示。从图6a可知，镜面指针附近出现光晕下指针式仪表的输入图像，通过本发明的指针对称度环向模板匹配法检测，由图6b可得，在指针旋转35度时匹配误差最小，指针拟合结果如图6c所示。

Claims (3)

1.应用于复杂环境下指针仪表鲁棒高效智读方法，其特征在于该方法包括以下步骤：

步骤一、图像采集及对图像进行预处理

采集的图像为含有仪表正面且拍摄角度垂直于仪表盘表面的图像；

预处理包括：

采用具有色彩修复功能的多尺度视网膜增强算法，减少周围环境光照量的影响；

将图像减少通道数转化为灰度图；

采用中值滤波核去除噪声干扰；

步骤二、仪表中心的识别

获得指针仪表图像轮廓信息，从图像的轮廓中随机选取三个点，根据三点确定一个圆，寻找所有可能圆；

通过计算一定区域内的所有可能圆的圆心与区域中心的标准差来确定一个最大圆心密度区域，将该区域的中心作为圆的圆心；

将采用所有可能圆的半径的平均值作为最终圆的半径；

步骤三、指针线的拟合

对指针线段按以下三个原则进行初步过滤和筛选，：

(a)指针长度不会大于表盘的半径；

(b)指针必定落在表盘内；

(c)指针所在直线必定经过表盘中心；

初步过滤和筛选后，针对指针定位结果中可能包含多条线段，执行指针对称度环向模板匹配法；

所述的指针对称度环向模板匹配法是通过迭代二值化阈值突出指针区域，根据仪表指针的特点，指针总是围绕表盘中心进行转动，形成一个圆面，因此，只需要使得模板图像围绕表盘圆心旋转一周，并计算每个旋转角时的子图与模板图像相似度，选取出相似度最大时的角度值，并结合表盘圆心，即可确定指针位置及方向；

步骤四、读数的计算

采用角度法进行指针式仪表读数。

2.根据权利要求1所述的应用于复杂环境下指针仪表鲁棒高效智读方法，其特征在于：步骤二具体是：

(1)对于轮廓上的任意三个点(x_k1,y_k1)，(x_k2,y_k2)，(x_k3,y_k3)，可以唯一确定一个圆O_k；随机选取p个轮廓上的三个点所得的圆的集合为{O_k(a_k,b_k,r_k)}，k＝1,…,p，其中(a_k,b_k)是圆心坐标，r_k是(a_k,b_k)对应圆的半径；

(2)从上述集合中任意选取一个半径为圆心为的圆作为密集区域A；假设有q个圆的圆心在A内，遍历密集区域A中所有圆心，则最优密集区域A_opt＝min(σ₁,σ₂,…,σ_q)即为最优圆所在的区域，其中σ_k为各圆心间的欧氏距离与圆心间的平均距离的误差平方和，(a_q,b_q)为轮廓上随机三点确定的圆心坐标，d_q为两圆心之间的欧式距离，d_avg为各圆心之间欧氏距离的标准差：

则确定最优圆的圆心为：

(3)对A_opt内的所有半径求均值,其结果作为为最优圆的半径；

3.根据权利要求1所述的应用于复杂环境下指针仪表鲁棒高效智读方法，其特征在于：所述的指针对称度环向模板匹配法具体是：

(1)采用OSTU大津法二值化仪表图像；

(2)以仪表图像左上角为原点，右方的水平线方向为横轴正方向，下方的铅垂线方向为纵轴正方向建立直角坐标系图像；

(3)每次以1迭代二值化阈值，直到二值化阈值为255，计算对称度H；

(4)以对称度最大时二值化阈值进行仪表二值化，消除指针阴影及其他遮挡物阴影的影响；

(5)对于多条线段的处理，确定一个指针线模板图像T(x,y)，T(x,y)包含所要匹配的指针区域图像；

(6)以圆心为中心，逆时针方向遍历，每旋转一个角度θ，生成一个与T(x,y)区域相似的子图S(x,y)；

(7)计算相似子图S(x,y)与模板图像T(x,y)的相似度D(i,j)；

(8)找到D(i,j)取得最小值时的子图，即为匹配结果。

Images