CN113313122A - 一种基于计算机视觉的指针式仪表自动识别读数方法 - Google Patents

Abstract

本发明提供了一种基于计算机视觉的指针式仪表自动识别读数方法，其可有效解决传统仪表读数算法面对仪表位置不确定、仪表类型多样、仪表倾斜等问题时，读数精度不高的问题，并且该方法能够适应多种类型的仪表，具有普适性的特点。

Description

一种基于计算机视觉的指针式仪表自动识别读数方法

技术领域

本发明涉及计算机视觉和深度学习领域，具体为一种基于计算机视觉的指针式仪表自动识别读数方法。

背景技术

在设备监测领域，指针式仪表抗电磁干扰能力强，且能适应高温高压等恶劣的工业现场环境，其被广泛应用于电力行业以及环境较为恶劣的工业制造现场。若采用人工巡检读表的方式无疑会增加人力成本，而且效率低下，人工读表时会存在主观性强、易疲劳等缺点，当设备运转异常时也不能够及时发现，极易发生安全事故。基于此，目前提出了使用巡检机器人来对指针式仪表进行自动巡检读数，然而巡检机器人获取的仪表图像存在背景干扰大、仪表类型多样、仪表倾斜等问题，导致现有的仪表读数算法无法准确对仪表进行自动识别读数。

发明内容

针对上述问题，本发明提供了一种基于计算机视觉的指针式仪表自动识别读数方法，其可有效解决现有图像存在的背景干扰大、仪表倾斜时导致的算法读数不准的问题，且适用广泛。

本发明的技术方案是这样的：一种基于计算机视觉的指针式仪表自动识别读数方法，其特征在于：其包括以下步骤：

S1、标注数据集：对获取得到的多张仪表图像进行数据增强处理，随后使用图像标注工具将处理后的仪表图像中的表盘轮廓标注出来，形成仪表盘数据集；

S2、模型训练：将仪表盘数据集送入Mask R-CNN模型中训练得到模型权重；

S3、定位表盘区域：根据训练好的模型权重对表盘区域进行定位，同时将表盘区域分割出来，获得对应的二值掩膜图像；

S4、仪表类型识别：建立仪表模板库，通过SURF算法提取表盘分割图像和模板图像的特征点，并将表盘分割图像特征点和模板图像特征点进行匹配，匹配成功后输出仪表模板库中的仪表参数信息，仪表参数信息包括量程M、刻度线覆盖范围β；

S5、透视变换校正图像：将二值掩膜图像做极端点检测，得到二值掩膜图像的上、下、左、右四点坐标，接着对获取的表盘分割图像做霍夫圆检测得到表盘的圆心(m,n)和半径r，从而得到表盘分割图像的上、下、左、右四点坐标，最后运用透视变换矩阵完成图像的校正；

S6、提取指针：对所述步骤S5中校正完成的仪表图像，运用图像形态学操作中的腐蚀运算将特征相对不明显的仪表刻度腐蚀掉，保留特征明显的仪表指针，然后采用zhang-Suen快速并行细化算法进行指针区域的细化，细化后采用霍夫直线变换来拟合指针直线，得到直线斜率k；

S7、仪表示数计算：利用所述步骤S6得到的细化后的指针确定该指针的方向，得到指针与零刻度线之间的夹角α，最后通过角度法计算公式

得到最终仪表示数X。

进一步地，在所述步骤S1中，首先使用高清摄像机获取一定数量的包含仪表的图像，获取的图像包含不同仪表类型、不同背景、不同光照下的图片，随后对获取的仪表图像进行包括亮度增强、旋转、随机颜色等的数据增强处理，使用Labelme图像标注工具将处理后的仪表图像中的表盘轮廓标注出来，形成仪表盘数据集；

进一步地，所述步骤S5中的透视变换校正图像还包括以下步骤：

S5.1、根据得到的表盘的圆心(m,n)和半径r，得到表盘分割图像的上、下、左、右四点坐标，分别记为(m,n+r)，(m,n-r)，(m-r,n)，(m+r,n)；随后根据二值掩膜图像的四点坐标和表盘分割图像的四点坐标运用计算机视觉库OpenCV得到透视变换矩阵；

S5.2、根据得到的透视变换矩阵，透视变换前坐标记为(x,y)，与三维空间中点(X,Y,Z)的关系为：

X＝f₁₁×x+f₁₂×y+f₁₃

Y＝f₂₁×x+f₂₂×y+f₂₃

Z＝f₃₁×x+f₃₂×y+f₃₃

其中：f₁₁、f₁₂、f₁₃、f₂₁、f₂₂、f₂₃、f₃₁、f₃₂、f₃₃为三维空间点(X,Y,Z)和二维空间点(x,y)的变换系数；

透视变换后坐标记为(x',y')，与三维空间中点(X,Y,Z)的关系为：

则透视变换前、后坐标以此关系变换完成图像的校正；

进一步地，所述步骤S7中的指针与零刻度线之间的夹角α计算包括以下步骤：

S7.1、根据表盘的圆心(m,n)，遍历指针区域上的点，找到与圆心距离最大的点即为指针顶端的点，确定指针首端的像素点的坐标记为(w,t)，且两点间的距离公式为：

两点间横、纵坐标间的距离公式分别为d_x＝w-m，d_y＝t-n；

S7.2、以圆心(m,n)为中心，划分四个象限，当d_x＞0，d_y＞0时，指针首端位于第一象限；当d_x＜0，d_y＞0时，指针首端位于第二象限；当d_x＜0，d_y＜0时，指针首端位于第三象限；当d_x＞0，d_y＜0时，指针首端位于第四象限；

S7.3、取穿过表盘圆心的横轴与指针之间的夹角为θ，即θ＝arctan|k|，从而获知指针的偏转角度；

S7.4、根据所述步骤S4得到仪表零刻度线与横轴之间的夹角

即

当指针位于第一象限时，

当指针位于第二象限时，

当指针位于第三象限时，

当指针位于第四象限时，

本发明的有益效果是，其将标注好的仪表盘数据集通过Mask R-CNN模型训练，根据训练好的模型权重将表盘区域定位且分割出来，并且得到其二值掩膜图像，然后通过SURF算法对仪表类型进行识别，得到仪表参数信息，接着对透视变换校正后的表盘图像进行指针提取，最后使用角度法得到仪表示数，该通过计算机视觉和深度学习的方法可有效解决传统仪表读数算法面对仪表位置不确定、仪表类型多样、仪表倾斜等问题时，读数精度不高的问题，并且该方法能够适应多种类型的仪表，具有普适性的特点，具有较好的使用价值。

附图说明

图1为本发明的总体流程图；

图2为本发明中的表盘分割图；

图3为本发明中的二值掩膜图；

图4为本发明中的二值掩膜图像极端点检测示意图；

图5为本发明中的透视变换示意图；

图6为本发明中的仪表指针提取图像；

图7为本发明中的指针细化图像；

图8为本发明中的指针直线拟合图像；

图9为本发明中的指针方向确定示意图；

图10为本发明中的指针偏转角度计算示意图。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步的具体说明：

如图1所示，本发明所提出的一种基于计算机视觉的指针式仪表自动识别读数方法，其包括以下步骤：

S1、标注数据集：首先使用高清摄像机获取一定数量的包含仪表的图像，获取的图像包含不同仪表类型、不同背景、不同光照下的图片，随后对获取的仪表图像进行包括亮度增强、旋转、随机颜色等的数据增强处理，使用Labelme图像标注工具将处理后的仪表图像中的表盘轮廓标注出来，形成仪表盘数据集；

S2、模型训练：将标注好的仪表盘数据集送入Mask R-CNN模型中训练得到模型权重；

S3、定位表盘区域：在计算机中输入处理后的仪表图像，根据训练好的模型权重对表盘区域进行定位，同时将表盘区域分割出来，如图2所示；并获得对应的二值掩膜图像，如图3所示；

S4、仪表类型识别：建立包含仪表类型、量程和刻度线覆盖范围等参数信息的仪表模板库，通过SURF(Speeded-Up Robust Features，加速鲁棒特征)算法提取表盘分割图像和模板图像的特征点，并将表盘分割图像特征点和模板图像特征点进行匹配，匹配成功后输出仪表模板库中的仪表参数信息，输出的仪表参数信息包括量程M、刻度线覆盖范围β；

S5、透视变换校正图像：从步骤S3获得的二值掩膜图像做极端点检测，得到二值掩膜图像的上、下、左、右四点坐标，如图4所示；接着对从步骤S3获取的表盘分割图像做霍夫圆检测得到表盘的圆心(m,n)和半径r，从而得到表盘分割图像的上、下、左、右四点坐标，最后运用透视变换矩阵完成图像的校正，如图5所示；

具体地，步骤S5中的透视变换校正图像还包括以下步骤：

S5.1、根据得到的表盘的圆心(m,n)和半径r，得到表盘分割图像的上、下、左、右四点坐标，分别记为(m,n+r)，(m,n-r)，(m-r,n)，(m+r,n)；随后根据二值掩膜图像的四点坐标和表盘分割图像的四点坐标运用计算机视觉库OpenCV得到透视变换矩阵；

S5.2、根据得到的透视变换矩阵，透视变换前坐标记为(x,y)，则与三维空间中点(X,Y,Z)的关系为：

X＝f₁₁×x+f₁₂×y+f₁₃

Y＝f₂₁×x+f₂₂×y+f₂₃

Z＝f₃₁×x+f₃₂×y+f₃₃

其中：f₁₁、f₁₂、f₁₃、f₂₁、f₂₂、f₂₃、f₃₁、f₃₂、f₃₃为三维空间点(X,Y,Z)和二维空间点(x,y)的变换系数；

透视变换后坐标记为(x',y')，与三维空间中点(X,Y,Z)的关系为：

则透视变换前、后坐标以此关系变换完成图像的校正；

S6、提取指针：对步骤S5中校正完成的仪表图像，运用图像形态学操作中的腐蚀运算将特征相对不明显的仪表刻度腐蚀掉，保留特征明显的仪表指针，如图6所示；然后采用zhang-Suen快速并行细化算法进行指针区域的细化，如图7所示；细化后采用霍夫直线变换来拟合指针直线，得到直线斜率k，拟合情况如图8所示；

S7、仪表示数计算：利用步骤S6得到的细化后的指针确定该指针的方向，然后通过直线斜率k和刻度线覆盖范围β计算出指针与零刻度线的夹角α，

具体地，夹角α计算包括以下步骤：

S7.1、根据表盘的圆心(m,n)，遍历指针区域上的点，找到与圆心距离最大的点即为指针顶端的点，确定指针首端的像素点的坐标记为(w,t)，且这两点间的距离公式为：

两点间横、纵坐标间的距离公式分别为d_x＝w-m，d_y＝t-n；

S7.2、以圆心(m,n)为中心，划分四个象限，当d_x＞0，d_y＞0时，指针首端位于第一象限；当d_x＜0，d_y＞0时，指针首端位于第二象限；当d_x＜0，d_y＜0时，指针首端位于第三象限；当d_x＞0，d_y＜0时，指针首端位于第四象限；

S7.3、取穿过表盘圆心的横轴与指针之间的夹角为θ，即θ＝arctan|k|，从而获知指针的偏转角度；

S7.4、根据步骤S4得到仪表零刻度线与横轴之间的夹角

即

从而确定零刻度线位置，则当指针位于第一象限时，

当指针位于第二象限时，

当指针位于第三象限时，

当指针位于第四象限时，

最后，通过角度法计算公式

得到最终仪表示数X，如图9、图10所示。

图10中，从左至右分别是指针位于第三象限、第二象限、第四象限时的偏转角度示意图；以及根据上述确定了零刻度线位置，以图10中的纵轴为对称轴，最大刻度线位置与零刻度线位置呈对称分布，从而确定最大刻度线位置。

本发明首先通过Mask R-CNN算法将表盘区域定位且分割出来，并且得到其二值掩膜图像，然后通过SURF算法对仪表类型进行识别，得到仪表参数信息，对透视变换校正后的表盘图像进行指针提取，在此基础上得到指针偏转角，最后使用角度法得到仪表示数，该方法解决了传统仪表读数算法面对仪表位置不确定、仪表类型多样、仪表倾斜等问题时，读数精度不高的问题，并且该方法能够适应多种类型的仪表，具有普适性的特点。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (4)

1.一种基于计算机视觉的指针式仪表自动识别读数方法，其特征在于：其包括以下步骤：

S1、标注数据集：对获取得到的多张仪表图像进行数据增强处理，随后使用图像标注工具将处理后的仪表图像中的表盘轮廓标注出来，形成仪表盘数据集；

S2、模型训练：将仪表盘数据集送入Mask R-CNN模型中训练得到模型权重；

S3、定位表盘区域：根据训练好的模型权重对表盘区域进行定位，同时将表盘区域分割出来，获得对应的二值掩膜图像；

S4、仪表类型识别：建立仪表模板库，通过SURF算法提取表盘分割图像和模板图像的特征点，并将表盘分割图像特征点和模板图像特征点进行匹配，匹配成功后输出仪表模板库中的仪表参数信息，仪表参数信息包括量程M、刻度线覆盖范围β；

S5、透视变换校正图像：将二值掩膜图像做极端点检测，得到二值掩膜图像的上、下、左、右四点坐标，接着对获取的表盘分割图像做霍夫圆检测得到表盘的圆心(m,n)和半径r，从而得到表盘分割图像的上、下、左、右四点坐标，最后运用透视变换矩阵完成图像的校正；

S6、提取指针：对所述步骤S5中校正完成的仪表图像，运用图像形态学操作中的腐蚀运算将特征相对不明显的仪表刻度腐蚀掉，保留特征明显的仪表指针，然后采用zhang-Suen快速并行细化算法进行指针区域的细化，细化后采用霍夫直线变换来拟合指针直线，得到直线斜率k；

S7、仪表示数计算：利用所述步骤S6得到的细化后的指针确定该指针的方向，得到指针与零刻度线之间的夹角α，最后通过角度法计算公式

得到最终仪表示数X。

2.根据权利要求1所述的一种基于计算机视觉的指针式仪表自动识别读数方法，其特征在于：在所述步骤S1中，首先使用高清摄像机获取一定数量的包含仪表的图像，获取的图像包含不同仪表类型、不同背景、不同光照下的图片，随后对获取的仪表图像进行包括亮度增强、旋转、随机颜色等的数据增强处理，使用Labelme图像标注工具将处理后的仪表图像中的表盘轮廓标注出来，形成仪表盘数据集。

3.根据权利要求1所述的一种基于计算机视觉的指针式仪表自动识别读数方法，其特征在于：所述步骤S5中的透视变换校正图像还包括以下步骤：

S5.1、根据得到的表盘的圆心(m,n)和半径r，得到表盘分割图像的上、下、左、右四点坐标，分别记为(m,n+r)，(m,n-r)，(m-r,n)，(m+r,n)；随后根据二值掩膜图像的四点坐标和表盘分割图像的四点坐标运用计算机视觉库OpenCV得到透视变换矩阵；

S5.2、根据得到的透视变换矩阵，透视变换前坐标记为(x,y)，与三维空间中点(X,Y,Z)的关系为：

X＝f₁₁×x+f₁₂×y+f₁₃

Y＝f₂₁×x+f₂₂×y+f₂₃

Z＝f₃₁×x+f₃₂×y+f₃₃

其中：f₁₁、f₁₂、f₁₃、f₂₁、f₂₂、f₂₃、f₃₁、f₃₂、f₃₃为三维空间点(X,Y,Z)和二维空间点(x,y)的变换系数；

透视变换后坐标记为(x',y')，与三维空间中点(X,Y,Z)的关系为：

则透视变换前、后坐标以此关系变换完成图像的校正。

4.根据权利要求1所述的一种基于计算机视觉的指针式仪表自动识别读数方法，其特征在于：所述步骤S7中的指针与零刻度线之间的夹角α计算包括以下步骤：

S7.1、根据表盘的圆心(m,n)，遍历指针区域上的点，找到与圆心距离最大的点即为指针顶端的点，确定指针首端的像素点的坐标记为(w,t)，且两点间的距离公式为：

两点间横、纵坐标间的距离公式分别为d_x＝w-m，d_y＝t-n；

S7.2、以圆心(m,n)为中心，划分四个象限，当d_x＞0，d_y＞0时，指针首端位于第一象限；当d_x＜0，d_y＞0时，指针首端位于第二象限；当d_x＜0，d_y＜0时，指针首端位于第三象限；当d_x＞0，d_y＜0时，指针首端位于第四象限；

S7.3、取穿过表盘圆心的横轴与指针之间的夹角为θ，即θ＝arctan|k|，从而获知指针的偏转角度；

S7.4、根据所述步骤S4得到仪表零刻度线与横轴之间的夹角

即

当指针位于第一象限时，

当指针位于第二象限时，

当指针位于第三象限时，

当指针位于第四象限时，

Images