CN107167169A - 基于机器视觉系统的指针式仪表读数识别测量方法 - Google Patents

Abstract

本发明涉及一种基于机器视觉系统的指针式仪表读数识别测量方法，属于仪表测量技术领域。建立测量多个指针式仪表的视觉成像系统模型；使用CCD摄像机平面标定法，标定摄像机内部参数、畸变系数和指针式仪表表盘的外参；利用指针式仪表表盘的外参，旋转指针式仪表图像到平行于指针式仪表表盘的位置；平移各个指针式仪表图像到光学中心附近，再利用图像处理技术提取仪表图像上的刻度、指针及其中心的位置；运用角度法通过计算获得指针式仪表的读数。优点在于：采用视觉测量技术，通过图像旋转消除透视投影畸变，提高测量精度，适合用一台摄像机同时测量多个仪表的读数。实现了高精度智能检测，提高了仪表读数效率，提高了摄像机标定效率。

Description

基于机器视觉系统的指针式仪表读数识别测量方法

技术领域

本发明涉及仪表测量技术领域，特别涉及一种基于机器视觉系统的指针式仪表读数识别测量方法。

背景技术

通常仪表可分为指针式仪表和数字式仪表两大类,其中数字式仪表显示的测量值为数字,因此具有读数简单、直观、准确的特点；而指针式仪表中包含指针和与该指针对应的刻度盘,内部结构简单、维护方便、制造成本低、无需运行电源、抗干扰能力强，有着数字式仪表不可替代的特点，例如家用水表、汽车的速度指示表、指针式欧姆表等。因此，从科学实验和工业生产对指针式仪表的需求看，指针式仪表具有庞大的市场需求。

目前，大部分的指针式仪表并没有通信接口,指针式仪表的读数不能够自动获取并且完成数据传输,大部分读数仍然采用肉眼识别的读数方式。由于人为因素的影响或视觉偏差,容易造成人为错误或不可避免的误差。因此,需要一种指针式仪表自动读数技术来取代人工读数方式。若一旦同时检测多个指针式仪表的读数，这对指针式仪表读数的精确度提出了更高的要求。

近些年，提出了一些基于数字图像处理的指针式仪表自动读数算法,大多数是在理想环境下进行的,保证摄像机与指针式仪表表盘水平放置。目前，机器视觉测量方法大部分是利用光学标定板进行摄像机标定获取摄像机的内部参数和外部参数。首先，通过图像采集设备获取指针式仪表的数字图像，利用连通域标记法提取出仪表表盘的轮廓和刻度线区域。其次，基于质心法提取出起始刻度线中心点和终止刻度线中心点的亚像素坐标。然后，采用霍夫变换检测出指针两端的亚像素坐标和指针式仪表表盘旋转中心的亚像素坐标。最后，运用角度法测量指针式仪表的读数。但在实际应用中,由于光照不均匀或者指针式仪表无法与摄像机保持平行等因素，导致视觉误差对读数的精度有严重影响,直接应用上述算法无法得到准确的测量结果。亟待改进。

发明内容

本发明的目的在于提供一种基于机器视觉系统的指针式仪表读数识别测量方法，解决了现有图像识别检测方法存在的上述问题。保证了较低的硬件成本、较高的检测效率和较好的测量精度。是一种更有效的多个指针式仪表读数的同时检测方法，是采用机器视觉成像的方法，考虑到CCD摄像机与指针式仪表之间的位置关系，综合使用摄像机标定和图像识别技术实现测量。这种方法利用CCD摄像机检测指针式仪表表盘的刻度线，计算指针式仪表表盘在该位置下的外部参数，取代传统的光学标定板。通过旋转指针式仪表图像到平行于指针式仪表表盘的位置，消除透视投影畸变，最后同时计算多个指针式仪表的读数。测量过程中，不要求被测指针式仪表与测量系统有特定的位置关系，放松了对测量系统的摆放要求，更有利于实际应用。本发明在已知摄像机内部参数和镜头的畸变系数的前提下，可以直接利用指针式仪表表盘的刻度线信息进行摄像机标定获取摄像机的外部参数，提高摄像机标定效率和准确性。在确定摄像机的外部参数之后，使仪表图像旋转到平行于指针式仪表表盘的位置，并通过双线性插值法使得旋转之后图像的像素坐标是整数，就可以通过对其他仪表的平移，直接读取同一平面上多个指针式仪表的读数。

本发明的上述目的通过以下技术方案实现：

基于机器视觉系统的指针式仪表读数识别测量方法，基于机器视觉成像系统，建立多个指针式仪表的测量模型，结合数字图像处理技术和摄像机标定技术实现多个指针式仪表读数的测量，其包括以下步骤：

1)标定CCD摄像机的内部参数和镜头的畸变系数；

2)提取指针式仪表图像上的刻度线中心，计算指针式仪表表盘在该刻度线中心位置下的外部参数；

3)利用指针式仪表表盘的外部参数，旋转仪表图像到平行于指针式仪表表盘的位置；

4)平移各个指针式仪表图像到光学中心附近，计算指针式仪表的读数。

上述步骤1)中所述的标定CCD摄像机的内部参数和镜头的畸变系数，是基于摄像机平面标定算法，使用高精度标定板在不同姿态下图像的角点坐标，标定出摄像机内部参数和镜头的畸变系数，具体过程包括下列步骤：

1.1)利用CCD摄像机采集16幅标定板在不同姿态下的图像；

1.2)使用Matlab软件中的Bouguet工具箱检测出图像中角点的亚像素坐标；

1.3)基于摄像机平面标定算法，利用检测得到的角点的像素坐标和世界坐标求解摄像机内参、畸变系数和外参的初值；

1.4)利用所有不同姿态的标定板图像中提取到的角点的像素坐标和世界坐标，对摄像机内部参数矩阵、畸变系数、标定板外部参数进行优化求解。

上述步骤2)中所述的提取指针式仪表图像上的刻度线中心，计算指针式仪表表盘在该刻度线中心位置下的外部参数，具体过程包括以下步骤：

2.1)保持CCD摄像机位置不变，用CCD摄像机采集多个指针式仪表图像；

2.2)利用连通域标记法提取出其中一个仪表表盘轮廓和刻度线区域；

2.3)根据仪表表盘的量程，利用质心法对提取出来的刻度线连通区域的中心进行定位，依次标记起始刻度线到终止刻度线中心点的亚像素坐标，以及长、短刻度线各自的个数；

2.4)根据指针式仪表本身刻度线的分布规律，分别测量仪表表盘圆心到长短刻度线中心点的实际距离，依据仪表表盘刻度线的个数，获得仪表表盘刻度线中心点的世界坐标；

2.5)基于张正友的平面标定法，利用检测得到的仪表表盘刻度线中心点的像素坐标和世界坐标求解仪表表盘的外部参数。

上述步骤3)中所述的利用指针式仪表表盘的外部参数，旋转指针式仪表图像到平行于指针式仪表表盘的位置，从而消除透视投影畸变，具体过程包括以下步骤：

3.1)使用通过步骤2.3)得到的刻度线中心点的亚像素坐标，利用步骤2.5)获得的指针式仪表表盘的外部参数，计算旋转后仪表表盘上的刻度线中心点在世界坐标系下的坐标；

3.2)通过步骤3.1)计算得到的旋转后仪表盘上刻度线中心点对应的目标点，利用双线性插值法使得旋转之后仪表表盘图像的像素坐标是整数，得到旋转后平行于指针式仪表表盘的仪表表盘图像；

3.3)提取出旋转后的仪表表盘图像中每一个表盘的轮廓和刻度线区域；

3.4)提取出旋转后的仪表表盘图像中每一个表盘的刻度线中心点的亚像素坐标；

3.5)采用霍夫变换方法检测出旋转后的仪表表盘图像中每一个表盘的指针直线，并确定每一个仪表表盘指针针尖的亚像素坐标和表盘旋转中心亚像素坐标。

上述步骤4)中所述的平移各个指针式仪表图像到光学中心附近，计算指针式仪表的读数，具体过程包括以下步骤：

4.1)利用步骤3.5)获得的每一个表盘旋转中心亚像素坐标，计算每个指针式仪表到距离光学中心最近的指针式仪表的平移距离；

4.2)运用角度法测量距离光学中心最近的指针式仪表的读数；

4.3)根据步骤4.1)得到的平移距离，平移其他指针式仪表表盘到离光学中心最近的指针式仪表的位置；

4.4)运用步骤4.2)测量同一平面上的其他指针式仪表的读数。

本发明的有益效果在于：引入机器视觉测量方法，基于张正友的平面标定法，使用高精度标定板在不同姿态下图像的角点坐标，标定出摄像机内部参数和镜头的畸变系数。然后利用指针式仪表表盘进行摄像机外部参数的提取，获取指针式仪表表盘与摄像机的空间位置关系之后，旋转仪表图像到平行于指针式仪表表盘的位置，消除透视投影畸变。可以任意角度检测指针式仪表读数，实现高精度智能检测；可以同时检测同一平面上的多个指针式仪表，提高仪表读数效率；可以直接利用指针式仪表表盘的刻度线信息进行摄像机标定，提高摄像机标定效率。

基于经典的平面标定法对仪表表盘进行标定，旋转指针式仪表图像到平行于指针式仪表表盘的位置，有效地修正了多个指针式仪表表盘中被测点的透视投影畸变；利用仪表表盘刻度线的分布规律，提取刻度线中心点作为标定板的角点，简化了标定过程，提高了测量精度；在对仪表表盘视觉成像系统完成标定之后，测量时，只需要保证CCD摄像机的位置不变，放松了测量系统与被测仪表表盘之间摆放位置的要求，更利于实际应用；本发明采取了视觉测量技术，因此能实现同时检测多个指针式仪表，同时采用了精确的图像识别技术，能保证较高的测量精度。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明的指针式仪表读数机器视觉检测方法的CCD摄像机标定内部参数硬件示意图；

图2为本发明的指针式仪表读数机器视觉检测方法的指针式仪表表盘的摄像机外部参数标定的硬件示意图；

图3为本发明的指针式仪表的读数示意图；

图4为本发明的平移多个指针式仪表的示意图；

图5为本发明的多个指针式仪表测量系统模型。

图中：1、计算机；2、CCD摄像机；3、镜头；4、指针式仪表；5、标定板；6、背光源。

具体实施方式

下面结合附图进一步说明本发明的详细内容及其具体实施方式。

参见图1至图5所示，本发明的基于机器视觉系统的指针式仪表读数识别测量方法，基于机器视觉成像系统，建立多个指针式仪表的测量模型，结合数字图像处理技术和摄像机标定技术实现多个指针式仪表读数的测量。能够在线同时测量多个指针式仪表的读数。首先，建立测量多个指针式仪表的视觉成像系统模型；其次，使用CCD摄像机平面标定法，标定摄像机内部参数、畸变系数和指针式仪表表盘的外参；再次，利用指针式仪表表盘的外参，旋转指针式仪表图像到平行于指针式仪表表盘的位置，消除透视投影畸变；然后，平移各个指针式仪表图像到光学中心附近，再利用图像处理技术提取仪表图像上的刻度、指针及其中心的位置；最后，运用角度法通过计算获得指针式仪表的读数。本发明采用视觉测量技术，通过图像旋转消除透视投影畸变，提高测量精度，适合用一台摄像机同时测量多个仪表的读数。具体步骤如下：

1、标定CCD摄像机的内部参数及镜头的畸变系数，是基于摄像机平面标定算法，使用高精度标定板在不同姿态下图像的角点坐标，标定出摄像机内部参数和镜头的畸变系数，具体过程包括下列步骤：

1.1)利用CCD摄像机采集16幅标定板在不同姿态下的图像。采集图像时，如图1所示，标定板5置于背光源6和CCD摄像机2之间。

1.2)使用Matlab软件中的Bouguet工具箱检测出图像中角点的亚像素坐标；

1.3)基于摄像机平面标定算法，利用检测得到的角点的像素坐标和世界坐标求解摄像机内参、畸变系数和外参的初值；

在标定摄像机内部参数、外部参数以及畸变系数的过程中，涉及的四个坐标系如下：PCS像素坐标系O₀uv；ICS图像坐标系Oxy；CCS摄像机坐标系O_CX_CY_CZ_C；WCS世界坐标系O_WX_WY_WZ_W。摄像机的成像过程即是空间物点在这四个坐标系中的一系列变换过程，本实施例采用的标定模型如下：

其中H＝A[r₁ r₂ t]为3×3矩阵，称为单应性矩阵，表征了WCS和PCS之间的线性几何关系。在[r₁ r₂ t]中的6个参数θ，ψ，T_x,T_y,T_z被称为摄像机外部参数，它们决定了CCS与WCS之间的相对位置关系，如公式(2)：

其中t＝(T_x,T_y,T_z)^T是一个3×1的平移向量，是一个3×3的单位正交旋转矩阵，这个旋转矩阵由三个旋转角度确定，分别为绕CCS的Z_C轴旋转角度θ，绕Y_C轴旋转角度ψ，X_C轴旋转角度由三个欧拉角表示的旋转矩阵R的形式如下：

对于针孔摄像机模型，从CCS到ICS的变换是透视投影，则图像投影点在ICS中的坐标可表示为：

由于实际摄像机成像时，光学镜头几何畸变的存在，需要考虑到镜头的径向畸变系数k₁，k₂和切向畸变系数p₁,p₂；

其中，(x_u,y_u)和(x_d,y_d)分别为理想图像坐标和实际图像坐标。由数字图像的产生原理可得，从ICS到PCS的变换是数字化图像过程，

矩阵A中的参数α，β，γ，u₀,v₀称为摄像机线性成像模型的内部参数，表达式如下：

1.4)利用所有不同姿态的标定板图像中提取到的角点的像素坐标和世界坐标，对摄像机内部参数矩阵、畸变系数、标定板外部参数进行优化求解。

2、提取指针式仪表图像上的刻度线中心，计算指针式仪表表盘在该刻度线中心的外部参数，具体过程包括以下步骤：

2.1)保持CCD摄像机位置不变，将多个指针式仪表固定在同一墙面上，使得多个指针式仪表是在同一平面上。用CCD摄像机采集多个指针式仪表图像时，如图2所示，CCD摄像机2与镜头3的组合以及同一平面上的多个指针式仪表4呈非平行放置。

2.2)将采集到的多个指针式仪表图像送到计算机1系统里，采用3×3中值滤波器进行降噪处理，对降噪后的灰度图像利用阈值分割法转化为二值图像，有效地划分开仪表表盘与背景。针对二值图像进行连通域标记，计算仪表表盘中各个连通区域的面积。根据连通区域面积的大小保留仪表表盘轮廓、刻度线和指针，去除仪表表盘背景。结合数学形态学的相关理论，通过膨胀腐蚀运算和骨架细化提取出一个仪表表盘轮廓以及刻度线区域。

2.3)根据仪表表盘的量程，利用质心法对提取出来的刻度线连通区域的中心进行定位，从起始刻度到终止刻度依次标记刻度线中心点的亚像素坐标(x_p,y_p)，以及长、短刻度线各自的个数n_p。若目标像素点分布在一个矩形窗口内，窗口左上角像素坐标为(p₁,q₁)，右下角像素坐标为(p₂,q₂)，则它的中心位置计算公式如下：

式(8)中，(x_n,y_n)为目标像素点质心坐标估计值；I(i,j)为(i,j)处像素点的灰度值。

2.4)根据指针式仪表本身刻度线的分布规律，用游标卡尺分别测量仪表表盘圆心到长、短刻度线中心点的实际距离r₁和r₂，依据仪表表盘刻度线的个数n_p，分别获得仪表的长、短刻度线中心点的世界坐标(X_n ⁽¹⁾,Y_n ⁽¹⁾,Z_n ⁽¹⁾)和(X_n ⁽²⁾,Y_n ⁽²⁾,Z_n ⁽²⁾)。

由于指针式仪表表盘中的刻度线都是均匀分布的，式(9)中η＝(θ×π)/(180×n_p)是指相邻刻度线之间的弧度，θ是指起始刻度线逆时针到终止刻度线的角度，并将长、短刻度线的世界坐标重新排序整合成世界坐标(X_n,Y_n,Z_n)。

2.5)基于张正友的平面标定法，利用检测得到的仪表表盘刻度线中心点的像素坐标和世界坐标求解仪表表盘的外部参数，建立该位置仪表表盘平面上被测点的世界坐标与摄像机坐标系之间的变换关系(即两坐标系之间的旋转矩阵和平移矩阵)。在已知摄像机内部参数和畸变系数的条件下，根据奇异值分解(SVD)可以解得单应性矩阵，即仪表表盘的摄像机外部参数。

3、利用指针式仪表表盘的外部参数，旋转指针式仪表图像到平行于指针式仪表表盘的位置，从而消除透视投影畸变，具体过程包括以下步骤：

3.1)使用通过步骤2.3)计算得到的刻度线中心点的亚像素坐标(x_p,y_p)，利用步骤2.5)获得的指针式仪表表盘的外部参数，计算旋转后仪表表盘上的刻度线中心点在世界坐标系下的坐标。将刻度线中心点坐标(x_p,y_p)带入公式(6)，并通过公式(5)、(4)和(2)便可以确定该目标点在世界坐标系下的坐标。

3.2)通过步骤3.1)计算得到的旋转后仪表盘上刻度线中心点对应的目标点，利用双线性插值法使得旋转之后仪表表盘图像的像素坐标是整数，得到旋转后平行于指针式仪表表盘的仪表表盘图像。

3.3)提取出旋转后的仪表表盘图像中每一个表盘的轮廓和刻度线区域；

3.4)提取出旋转后的仪表表盘图像中每一个表盘的起始刻度线中心点和终止刻度线中心点的亚像素坐标；

3.5)采用霍夫变换方法检测出旋转后的仪表表盘图像中每一个表盘的指针直线，并确定每一个仪表表盘指针针尖的亚像素坐标和表盘旋转中心亚像素坐标。

4、平移各个指针式仪表图像到光学中心附近，计算指针式仪表的读数，具体过程包括以下步骤：

4.1)利用步骤3.5)获得的每一个表盘旋转中心亚像素坐标，如图3所示，计算每个指针式仪表到距离光学中心最近的指针式仪表的平移距离d。

其中T_x＝x_c2′-x_c1′是两个指针式仪表的水平距离；

T_y＝y_c2′-y_c1′是两个指针式仪表的垂直距离。

4.2)运用角度法测量距离光学中心最近的指针式仪表的读数，如图4所示。

其中：α＝arccos[(x_c'-x₁',y_c'-y₁'),(x_c'-x_n',y_c'-y_n')]零刻度线和满刻度线之间的夹角β＝arccos[(x_c'-x₁',y_c'-y₁'),(x_c'-x_h',y_c'-y_h')]指针和零刻度线之间的夹角M即指针式仪表的总量程。

4.3)根据步骤4.1)得到的平移距离，平移其他指针式仪表表盘到离光学中心最近的指针式仪表的位置；

4.4)运用步骤4.2)测量同一平面上的其他指针式仪表的读数。

以上所述仅为本发明的优选实例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于机器视觉系统的指针式仪表读数识别测量方法，其特征在于：基于机器视觉成像系统，建立多个指针式仪表的测量模型，结合数字图像处理技术和摄像机标定技术实现多个指针式仪表读数的测量，其包括以下步骤：

1）标定CCD摄像机的内部参数和镜头的畸变系数；

2）提取指针式仪表图像上的刻度线中心，计算指针式仪表表盘在该刻度线中心位置下的外部参数；

3）利用指针式仪表表盘的外部参数，旋转仪表图像到平行于指针式仪表表盘的位置；

4）平移各个指针式仪表图像到光学中心附近，计算指针式仪表的读数。

2.根据权利要求1所述的基于机器视觉系统的指针式仪表读数识别测量方法，其特征在于：步骤1）中所述的标定CCD摄像机的内部参数和镜头的畸变系数，是基于摄像机平面标定算法，使用高精度标定板在不同姿态下图像的角点坐标，标定出摄像机内部参数和镜头的畸变系数，具体过程包括下列步骤：

1.1）利用CCD摄像机采集16幅标定板在不同姿态下的图像；

1.2）使用Matlab软件中的Bouguet工具箱检测出图像中角点的亚像素坐标；

1.3）基于摄像机平面标定算法，利用检测得到的角点的像素坐标和世界坐标求解摄像机内参、畸变系数和外参的初值；

1.4）利用所有不同姿态的标定板图像中提取到的角点的像素坐标和世界坐标，对摄像机内部参数矩阵、畸变系数、标定板外部参数进行优化求解。

3.根据权利要求1所述的基于机器视觉系统的指针式仪表读数识别测量方法，其特征在于：步骤2）中所述的提取指针式仪表图像上的刻度线中心，计算指针式仪表表盘在该刻度线中心位置下的外部参数，具体过程包括以下步骤：

2.1）保持CCD摄像机位置不变，用CCD摄像机采集多个指针式仪表图像；

2.2）利用连通域标记法提取出其中一个仪表表盘轮廓和刻度线区域；

2.3）根据仪表表盘的量程，利用质心法对提取出来的刻度线连通区域的中心进行定位，依次标记起始刻度线到终止刻度线中心点的亚像素坐标，以及长、短刻度线各自的个数；

2.4）根据指针式仪表本身刻度线的分布规律，分别测量仪表表盘圆心到长短刻度线中心点的实际距离，依据仪表表盘刻度线的个数，获得仪表表盘刻度线中心点的世界坐标；

2.5）基于张正友的平面标定法，利用检测得到的仪表表盘刻度线中心点的像素坐标和世界坐标求解仪表表盘的外部参数。

4.根据权利要求1所述的基于机器视觉系统的指针式仪表读数识别测量方法，其特征在于：步骤3）中所述的利用指针式仪表表盘的外部参数，旋转指针式仪表图像到平行于指针式仪表表盘的位置，从而消除透视投影畸变，具体过程包括以下步骤：

3.1）使用通过步骤2.3）得到的刻度线中心点的亚像素坐标，利用步骤2.5）获得的指针式仪表表盘的外部参数，计算旋转后仪表表盘上的刻度线中心点在世界坐标系下的坐标；

3.2）通过步骤3.1）计算得到的旋转后仪表盘上刻度线中心点对应的目标点，利用双线性插值法使得旋转之后仪表表盘图像的像素坐标是整数，得到旋转后平行于指针式仪表表盘的仪表表盘图像；

3.3）提取出旋转后的仪表表盘图像中每一个表盘的轮廓和刻度线区域；

3.4）提取出旋转后的仪表表盘图像中每一个表盘的刻度线中心点的亚像素坐标；

3.5）采用霍夫变换方法检测出旋转后的仪表表盘图像中每一个表盘的指针直线，并确定每一个仪表表盘指针针尖的亚像素坐标和表盘旋转中心亚像素坐标。

5.根据权利要求1所述的基于机器视觉系统的指针式仪表读数识别测量方法，其特征在于：步骤4）中所述的平移各个指针式仪表图像到光学中心附近，计算指针式仪表的读数，具体过程包括以下步骤：

4.1）利用步骤3.5）获得的每一个表盘旋转中心亚像素坐标，计算每个指针式仪表到距离光学中心最近的指针式仪表的平移距离；

4.2）运用角度法测量距离光学中心最近的指针式仪表的读数；

4.3）根据步骤4.1）得到的平移距离，平移其他指针式仪表表盘到离光学中心最近的指针式仪表的位置；

4.4）运用步骤4.2）测量同一平面上的其他指针式仪表的读数。