CN106339707B - 一种基于对称性特征的仪表指针图像识别方法 - Google Patents

Abstract

本发明通过提取被识别图像中对称性特征，并在此基础上进一步处理得到被识别指针的一系列参数信息；在全景图的感兴趣区域内，对边缘像素点在指针转角和参考距离的量化空间上进行累计矩阵投票，得到若干组候选指针对称轴。通过指针边缘像素点共线性特性和指针对称轴线段对应的图像像素值近似一致性特点，对候选指针进行提炼，使得最终的对称像素点对基本上都属于指针。候选指针合并去除重叠的候选指针，选择边缘像素点集最多的候选指针作为最终的指针识别结果。本发明能够克服表盘文字符号、光照不均以及部分遮挡等干扰因素，准确提取各种仪表指针的参数信息。

Description

一种基于对称性特征的仪表指针图像识别方法

技术领域

本发明属于计算机图像处理领域，特别涉及一种指针式仪表读数的图像识别方法，具体地，涉及一种基于对称性特征的仪表指针图像识别方法。

背景技术

指针式仪表作为一种测量仪器，由于其结构简单、维护方便、抗电磁干扰强、低成本低故障率等诸多优点，被广泛应用于石油化工、电力系统等行业，如变电站的电流表、电压表、功率表、SF6压力表等。传统的指针式仪表读数需要人工肉眼识别，该方法繁琐、劳动强度大、效率低下，而且某些场合不适宜人工作业，这就使得利用图像处理与机器视觉算法自动识别仪表读数具有重要的现实意义。

指针识别的准确性直接决定了仪表读数的精度，当前指针识别方法主要包括Hough变换法与中心投影法。

(1)专利申请号为201310011025.7，名为《一种改进的变电站巡检机器人的多仪表读数识别方法》的中国专利，首先利用自适应二值化算法分割出指针区域，然后采用形态学方法提取指针的骨架，最后使用Hough变换提取指针，该方法依赖于二值图像的准确提取，但实际情况中的光照不均、文字符号等因素将会使得指针团块与其他团块粘连在一起，导致指针区域提取失效。

(2)专利申请号为201110359130.0，名为《高鲁棒仪表指针图像识别方法》公开了一种高鲁棒的指针提取方法:针对细指针，利用Hough变换法求取直线，以此作为指针所在直线；针对粗指针，以仪表中心为起点，计算射线方向上像素灰度值之和，其最大值对应的射线即代表指针所在直线。该方法容易受到表盘各类线条的干扰，粗指针的识别对仪表中心点位置的准确性要求较高。对于表盘文字符号干扰、光照不均、指针部分遮挡等问题，现有的Hough变换法与中心投影法缺乏一定的鲁棒性，指针识别的稳定性不高。

发明内容

为解决现有技术存在的问题，本发明提供一种基于对称性特征的仪表指针图像识别方法，能够克服表盘文字符号、光照不均以及指针部分遮挡等干扰因素，准确提取各种指针的参数信息。

本发明提供的基于对称性特征的仪表指针图像识别方法，包括，

仪表定位：利用指针仪表模板在图像中进行模板匹配，得到仪表图像的ROI区域；

候选指针提取：在ROI区域内根据对称性特征提取若干组组候选指针的对称轴及其对称边缘像素点对；

候选指针提炼：去除非候选指针边缘的对称边缘像素点对，使得最终的对称像素点对基本上都属于候选指针，获得经过提炼后的候选指针对称边缘像素点对；

候选指针合并与选择：去除重叠的候选指针，获取指针识别结果。

优选地，所述候选指针提取具体为：根据ROI区域图像边缘的对称性构造累积矩阵Φ，计算累积矩阵Φ中前T个最大值，计算旋转角与参考距离，作为T个候选指针的对称轴，并计算候选指针对称轴对应的对称边缘像素点对。

优选地，所述候选指针提炼具体为：对对称边缘像素点对进行Ransac共线性检测，并获得满足共线性约束的边缘像素点对，边缘像素点对对应的中点即为候选指针对称轴上的点，获得候选指针对称轴像素点集；对候选指针对称轴像素点集进行分裂再组合，获得分裂再组合后的对称边缘像素点对。

优选地，候选指针合并与选择包括以下步骤：

步骤1：根据候选指针对称边缘像素点对计算候选指针的最小最大宽度、指针夹角、对称轴首尾端点与转角方向；

步骤2：若两候选指针同时满足：①转角方向近似一致、②指针夹角近似一致、③最小最大宽度符合形态一致性要求，则将两候选指针进行合并，形成新的候选指针；

步骤3：选择边缘像素点集最多的候选指针作为最终的指针识别结果。

候选指针提取进一步具体包括：

步骤1：将ROI区域图像由RGB转为灰度图像，采用自适应Canny边缘检测算子提取灰度图像的边缘，并计算每个边缘像素点的梯度方向，记边缘像素点集为Ω；

步骤2：定义[θ_min,θ_max]为仪表指针的转角范围，[ρ_min,ρ_max]为仪表指针的对称轴与参考点P_r(x,y)的参考距离范围，定义初始累积矩阵

Φ_ij←0，其中，θ_min≤i≤θ_max,ρ_min≤j≤ρ_max；

对任意的转角θ，θ_min≤θ≤θ_max，首先，将所有边缘像素点旋转θ角，得到边缘像素点集Ω_θ；其次，计算旋转后的边缘像素点到图像原点O(0,0)的距离，将Ω_θ按照距原点距离大小进行分组，得到分组后的边缘像素点集Ω_θk，其中，M、N分别表示ROI区域的高度、宽度；最后，对任意的k，任意两个边缘像素点P_i与P_j，P_i,P_j∈Ω_θk，若P_i与P_j同时满足：①点对距离约束、②点对方向约束、③点对对称轴参考距离约束；则置

Φ_ij←Φ_ij+1，其中，θ_min≤i≤θ_max,ρ_min≤j≤ρ_max，

行索引i＝θ表示指针对称轴的旋转角索引，列索引j为像素点P_i与P_j的中点到参考点P_r(x,y)的距离，表示指针对称轴的参考距离索引；

步骤3：计算累积矩阵Φ中前T个最大值，以此作为候选指针的对称轴，相应的行索引表明了指针对称轴的旋转角，列索引表明了指针对称轴的参考距离，记前T个候选指针的对称轴两侧对称边缘像素点集分别为L_a与R_a，其中，a＝1,2,…,T。

候选指针提炼进一步具体包括：

步骤1：对候选指针的边缘像素点集L_a、R_a进行Ransac共线性检测，其中，a＝1,2,…,T，提取最多的共线性像素点，得到共线性像素点的索引集Lidx、Ridx；若索引idx满足idx∈Lidx∧idx∈Ridx，则该索引对应的边缘像素对就是满足共线性约束的边缘对，记满足共线性约束的边缘像素点集为L1_a与R1_a，L1_a、R1_a点对对应的中点即为候选指针对称轴上的点，记候选指针对称轴像素点集为M_a；

步骤2：对候选指针对称轴点集M_a进行距离聚类，记候选指针的对称轴聚类簇为Γ_ab，其中，a＝1,2,…,T；b＝1,2,…L，b表明聚类簇的个数；

步骤3：对候选指针的对称轴聚类簇Γ_ab进行再组合，具体地，设Γ_as与Γ_at表示第a个候选指针对称轴的任意两个聚类簇，对应的聚类中心点像素坐标为P_as与P_at，统计ROI区域图像从像素点P_as到像素点P_at的像素值变异系数CV_st，若其值小于预设的阈值，则将聚类簇Γ_as与Γ_at对应的边缘像素点集进行再组合，经过聚类簇再组合操作后的候选指针边缘像素点集记为L2_a与R2_a，其中，a是候选指针的索引，s、t指任意两个聚类簇的聚类簇索引。

优选地，自适应Canny边缘检测算子的低阈值、高阈值分别为(1-σ)μ、(1+σ)μ，其中，μ为图像灰度值的均值，σ为调节参数，调节参数σ过小会使得弱边缘丢失，过大将产生许多伪边缘，根据经验值，优选设定为0.33。

本发明通过提取被识别图像中对称性特征，并在此基础上进一步处理得到被识别指针的一系列信息；在全景图的感兴趣区域内，对边缘像素点在指针转角和参考距离的量化空间上进行累计矩阵投票，得到若干组组候选指针对称轴。通过指针边缘像素点共线性特性和指针对称轴线段对应的图像像素值近似一致性特点，对候选指针进行提炼，使得最终的对称像素点对基本上都属于指针。候选指针合并去除重叠的候选指针，选择边缘像素点集最多的候选指针作为最终的指针识别结果。

本发明具有以下有益效果：(1)基于对称性特征的仪表指针自动识别方法，高精度、高鲁棒性可大大增强自动化仪表和检测装置的适应性；(2)基于对称性特征的仪表指针自动识别方法可以更加精确的提取指针的转角方向，对不同大小的仪表指针具有较好的普适性；(3)能够克服表光照不均、表盘文字符号干扰、指针部分遮挡等因素的干扰，实现仪表指针稳定精确的识别。

附图说明

图1是候选指针提取的流程图；

图2是累积矩阵累加策略流程图；

图3是候选指针提炼与合并的流程图；

图4是候选指针提取的结果图；

图5是候选指针提炼的结果图；

图6是最终识别的指针结果图。

具体实施方式

下面将结合附图阐述本发明的最优实施例：

以某变电站中BWY(WTYK)-803型变压器温度控制器仪表为例，本发明提供的基于对称性特征的仪表指针图像识别方法，按以下步骤进行：

仪表定位：在含有BWY(WTYK)-803型变压器温度控制器仪表的全景图中，利用事先标定好的仪表模板进行模板匹配，寻找指针仪表的感兴趣(Region Of Interesting,ROI)区域，记为I_yx(1≤y≤M,1≤x≤N)，其中M、N分别表示ROI区域的高度与宽度。

候选指针提取：如图1所示，根据图像边缘的对称性构造累积矩阵Φ，计算累积矩阵Φ中前T个最大值，据此计算旋转角与参考距离，作为T个候选指针的对称轴，并计算对称轴对应的对称边缘像素点对，具体地包含以下几个步骤：

2.1)将仪表ROI图像由RGB颜色空间转换到灰度空间，采用自适应Canny边缘检测算法提取仪表ROI灰度图像的边缘，其中Canny边缘检测的低阈值、高阈值分别设为(1-σ)μ、(1+σ)μ，这里μ为图像灰度值的均值，σ为调节参数，参数σ过小会使得弱边缘丢失，过大将产生许多伪边缘，根据经验值，这里设定为0.33，同时计算每个边缘像素点的梯度方向，记边缘像素点集为Ω。

2.2)定义[θ_min,θ_max]为仪表指针的转角范围，[ρ_min,ρ_max]为仪表指针的对称轴与事先标定的参考点P_r(x,y)的参考距离范围，将参数空间(θ,ρ)(θ为转角、ρ为参考距离)在[θ_min,θ_max]×[ρ_min,ρ_max]区域上进行等间隔量化，构造累积矩阵Φ，并将其初始化为0，

Φ_ij←0(θ_min≤i≤θ_max,ρ_min≤j≤ρ_max)。

累积矩阵的累加策略如图2所示，对每一个转角参数θ(θ_min≤θ≤θ_max)，首先，将所有边缘像素点逆时针旋转θ角，得到旋转后的边缘像素点集Ω_θ；其次，计算旋转后的边缘像素点到图像原点O(0,0)的距离，将Ω_θ按照距图像原点距离的大小进行分组，得到分组后的边缘像素点集这里为向下取整符号；最后，对每一个距离参数任意两个边缘像素点P_i与P_j(P_i,P_j∈Ω_θk)，若P_i与P_j同时满足：

①点对距离约束，即点P_i与P_j的距离必须在一定范围内；

②点对方向约束，指针边缘像素对的方向近似相对或者向背，且与指针对称轴近似垂直；

③点对对称轴参考距离约束，点对对应的对称轴必须与参考点满足一定的距离约束；

则置

Φ_ij←Φ_ij+1(θ_min≤i≤θ_max,ρ_min≤j≤ρ_max)，

这里的行索引i＝θ表示指针对称轴的旋转角索引，列索引j为像素点P_i与P_j的中点到参考点P_r(x,y)的距离，表示指针对称轴的参考距离索引，据此完成累积矩阵的投票累加。

2.3)累积矩阵Φ的元素值表明了边缘像素对的多少，Φ的最大值代表了最多的对称边缘像素对。计算累积矩阵Φ中前T个最大值，相应的行索引表明了对称轴的旋转角，列索引表明了指针对称轴与参考点的参考距离，以此作为候选指针的对称轴，记T个候选指针的对称轴两侧边缘像素点集分别为L_a与R_a(a＝1,2,…,T)，L_a、R_a构成候选指针对称轴对应的对称边缘像素点对。

图4显示了BWY(WTYK)-803型变压器温度控制器仪表ROI区域经过步骤2.1)至2.3)得到的候选指针图像。

候选指针提炼：如图4所示，候选指针提取的结果通常存在许多伪指针边缘像素对，候选指针提炼的目的在于去除这些非指针边缘的像素对，使得最终的像素对基本上都属于指针。通过观察发现：①指针两侧的边缘像素点基本上满足共线性特性；②指针对称轴线段对应的图像像素值近似一致，即满足一致性。如图3所示，候选指针提炼具体包括以下几个子步骤：

3.1)对候选指针的边缘像素点集L_a(a＝1,2,…,T)进行Ransac共线性检测，提取最多的共线性像素点，得到共线像素点的索引集记为Lidx。同理可以得到边缘像素点集R_a(a＝1,2,…,T)的共线边缘像素点的索引集记为Ridx，若索引idx同时满足idx∈Lidx∧idx∈Ridx，则说明该索引对应的边缘像素对就是满足共线性约束的边缘对，记满足共线性约束的边缘像素点集为L1_a与R1_a(a＝1,2,…,T)，L1_a、R1_a构成满足共线性约束的边缘像素点对，L1_a、R1_a(a＝1,2,…,T)点对对应的中点即为指针对称轴上的点，记对称轴像素点集为M_a(a＝1,2,…,T)。

3.2)对称轴像素点集分裂与再组合：由于光线、条纹、符号等干扰，提取到的指针对称轴会存在断开的情况，为了得到准确的指针信息，需要对对称轴像素点集进行分裂与再组合处理。首先，像素对距离在小范围内的理论上可以认为属于同一目标，具体地，对候选指针对称轴点集M_a(a＝1,2,…,T)进行距离聚类，将距离较小的点对聚成一簇，记得到的聚类簇为Γ_ab(a＝1,2,…,T；b＝1,2,…,L)，下标b表明聚类簇的个数，不同的候选指针具有不同的聚类簇数目。其次，对聚类簇Γ_ab(a＝1,2,…,T；b＝1,2,…,L)进行再组合，具体地，设Γ_as与Γ_at表示第a个候选指针对称轴的任意两个聚类簇，对应的聚类中心像素点坐标为P_as与P_at，统计ROI区域图像内从像素点P_as到P_at直线段对应的像素值变异系数，可以描述为

其中σ_st、μ_st分别为直线段对应像素值的标准差与均值，若变异系数CV_st小于事先指定的阈值，则将聚类簇Γ_as与Γ_at对应的边缘像素点集进行再组合，边缘像素点集L1_a与R1_a(a＝1,2,…,T)经过聚类簇再组合操作后的边缘像素点集记为L2_a与R2_a(a＝1,2,…,T)，L2_a、R2_a构成聚类簇再组合操作后的边缘像素点对，其中，a是候选指针的索引，s、t指任意两个聚类簇的聚类簇索引。

指针合并与选择：指针合并的目的是去除重叠的候选指针。

首先，根据对称边缘像素点集L2_a与R2_a(a＝1,2,…,T)计算候选指针的最小最大宽度、指针夹角、对称轴首尾端点与转角方向等信息；

其次，若两候选指针同时满足：①转角方向近似一致；②指针夹角近似一致；③最小最大宽度符合形态一致性要求，则将两候选指针进行合并，形成新的候选指针。

选择边缘像素点集最多的候选指针作为最终的指针识别结果。

图像5显示了BWY(WTYK)-803型变压器温度控制器仪表候选指针提炼的结果，图像6显示了最终识别的指针结果。

本发明还可以有其它实施方法，凡采用同等替换或等效变换形成的技术方案，均落在本发明要求保护的范围之内。

Claims (6)

1.一种基于对称性特征的仪表指针图像识别方法，其特征包括，

仪表定位：利用指针仪表模板在图像中进行模板匹配，得到仪表图像的ROI区域；

候选指针提取：在ROI区域内根据对称性特征提取若干组候选指针的对称轴及其对称边缘像素点对，具体包括，

步骤1：将ROI区域图像由RGB转为灰度图像，采用自适应Canny边缘检测算子提取灰度图像的边缘，并计算每个边缘像素点的梯度方向，记边缘像素点集为Ω；

步骤2：定义[θ_min,θ_max]为仪表指针的转角范围，[ρ_min,ρ_max]为仪表指针的对称轴与参考点P_r(x,y)的参考距离范围，定义初始累积矩阵

Φ_ij←0，其中，θ_min≤i≤θ_max,ρ_min≤j≤ρ_max；

对任意的转角θ，θ_min≤θ≤θ_max，首先，将所有边缘像素点旋转θ角，得到边缘像素点集Ω_θ；其次，计算旋转后的边缘像素点到图像原点O(0,0)的距离，将Ω_θ按照距原点距离大小进行分组，得到分组后的边缘像素点集Ω_θk，其中，M、N分别表示ROI区域的高度、宽度；最后，对任意的k，任意两个边缘像素点P_i与P_j，P_i,P_j∈Ω_θk，若P_i与P_j同时满足：①点对距离约束、②点对方向约束、③点对对称轴参考距离约束；则置

Φ_ij←Φ_ij+1，其中，θ_min≤i≤θ_max,ρ_min≤j≤ρ_max，

行索引i＝θ表示指针对称轴的旋转角索引，列索引j为像素点P_i与

P_j的中点到参考点P_r(x,y)的距离，表示指针对称轴的参考距离索引；

步骤3：计算累积矩阵Φ中前T个最大值，以此作为候选指针的对称轴，相应的行索引表明了指针对称轴的旋转角，列索引表明了指针对称轴的参考距离，记前T个候选指针的对称轴两侧对称边缘像素点集分别为L_a与R_a，其中，a＝1,2,…,T；

候选指针提炼：去除非候选指针边缘的对称边缘像素点对，使得最终的对称像素点对基本上都属于候选指针，获得经过提炼后的候选指针对称边缘像素点对；

候选指针合并与选择：去除重叠的候选指针，获取指针识别结果。

2.如权利要求1所述的基于对称性特征的仪表指针图像识别方法，其特征在于，所述候选指针提取具体为：根据ROI区域图像边缘的对称性构造累积矩阵Φ，计算累积矩阵Φ中前T个最大值，计算旋转角与参考距离，作为T个候选指针的对称轴，并计算候选指针对称轴对应的对称边缘像素点对。

3.如权利要求1所述的基于对称性特征的仪表指针图像识别方法，其特征在于，所述候选指针提炼具体为：对对称边缘像素点对进行Ransac共线性检测，并获得满足共线性约束的边缘像素点对，边缘像素点对对应的中点即为候选指针对称轴上的点，获得候选指针对称轴像素点集；对候选指针对称轴像素点集进行分裂再组合，获得分裂再组合后的对称边缘像素点对。

4.如权利要求1所述的基于对称性特征的仪表指针图像识别方法，其特征在于，候选指针合并与选择包括以下步骤：

步骤1：根据候选指针对称边缘像素点对计算候选指针的最小最大宽度、指针夹角、对称轴首尾端点与转角方向；

步骤2：若两候选指针同时满足：①转角方向近似一致、②指针夹角近似一致、③最小最大宽度符合形态一致性要求，则将两候选指针进行合并，形成新的候选指针；

步骤3：选择边缘像素点集最多的候选指针作为最终的指针识别结果。

5.如权利要求1所述的基于对称性特征的仪表指针图像识别方法，其特征在于，候选指针提炼具体包括：

步骤1：对候选指针的边缘像素点集L_a、R_a进行Ransac共线性检测，其中，a＝1,2,…,T，提取最多的共线性像素点，得到共线性像素点的索引集Lidx、Ridx；若索引idx满足idx∈Lidx∧idx∈Ridx，则该索引对应的边缘像素对就是满足共线性约束的边缘对，记满足共线性约束的边缘像素点集为L1_a与R1_a，L1_a、R1_a点对对应的中点即为候选指针对称轴上的点，记候选指针对称轴像素点集为M_a；

步骤2：对候选指针对称轴点集M_a进行距离聚类，记候选指针的对称轴聚类簇为Γ_ab，其中，a＝1,2,…,T；b＝1,2,…L，b表明聚类簇的个数；

步骤3：对候选指针的对称轴聚类簇Γ_ab进行再组合，具体地，设Γ_as与Γ_at表示第a个候选指针对称轴的任意两个聚类簇，对应的聚类中心点像素坐标为P_as与P_at，统计ROI区域图像从像素点P_as到像素点P_at的像素值变异系数CV_st，若其值小于预设的阈值，则将聚类簇Γ_as与Γ_at对应的边缘像素点集进行再组合，经过聚类簇再组合操作后的候选指针边缘像素点集记为L2_a与R2_a，其中，a是候选指针的索引，s、t指任意两个聚类簇的聚类簇索引。

6.如权利要求1所述的基于对称性特征的仪表指针图像识别方法，其特征在于，自适应Canny边缘检测算子的低阈值、高阈值分别为(1-σ)μ、(1+σ)μ，其中，μ为图像灰度值的均值，σ为调节参数。