CN105894002B - 一种基于机器视觉的仪表示数识别方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的仪表示数识别方法，所述方法具体包括以下步骤：(1)对待识别示数的仪表图像，先通过级联姿态回归器(Cascaded Pose Regression)回归出该仪表图像与标准仪表图像的仿射变换矩阵，从而将待识别示数的仪表图像仿射变换到标准仪表图像的姿态下，实现仪表姿态的归一化；(2)利用基于几何约束的数字识别方法对步骤(1)得到的姿态归一化的仪表图像进行数字示数识别；(3)利用基于HOG特征的指针示数识别方法对步骤(1)得到的姿态归一化的仪表图像进行指针示数识别。本发明提出的数字示数和指针示数识别方法，解决了仪表示数识别中姿态和尺度问题，使数字示数识别的准确率和指针示数的示数识别的精度得到极大的提高。

Description

一种基于机器视觉的仪表示数识别方法

技术领域

本发明属于数字图像处理和仪表示数识别领域，具体涉及一种基于机器视觉的仪表示数识别方法。

背景技术

化工厂、变电站、炼油厂等工业领域，安装大量的现场指示仪表，这些仪表不具有远传功能，需要现场读数，用来监控工业现场运行状况。用人工巡检的方式记录现场仪表示数费时费力低效，因此基于机器视觉的仪表示数自动识别技术具有广泛的应用前景。

基于机器视觉的现场仪表示数识别问题，一般分为两种情况，一种是指针示数识别，另一种是数字示数识别。要识别仪表示数，首先需要检测出目标仪表在图像中的位置，然后在相应的区域中去识别指针示数或者数字示数。

现有研究中，常见的数字识别方法一般的处理步骤是将图像在水平和竖直区域投影，接着根据直方图定位到数字区域，根据峰值分布定位出个数字所处位置，然后将定位到的数字区域通过阈值二值化，最后转化为单个数字的识别。

现有研究中，常见的指针示数识别方法有模板匹配，Hough变换，特征点匹配等方法。戴亚文提出了一种基于多特征模板匹配方法来检测指针区域(Dai Y,Wang S,WangX.The moldplate-matching method based on the several characteristicparameters of the meter pointer gray[J].Electrical Measurement&Instrumentation,2004)。Gellaboina提出利用Hough圆检测算法，来检测指针仪表的圆形面板(Gellaboina M K,Swaminathan G,Venkoparao V.Analog dial gauge reader forhandheld devices[C]//Industrial Electronics and Applications(ICIEA),2013 8thIEEE Conference onIEEE,2013:1147-1150.)，Yang提出了通过Hough直线检测检测图像中仪表指针位置(Yang B,Lin G,Zhang W.Auto-recognition Method for Pointer-typeMeter Based on Binocular Vision[J].Journal of Computers,2014,9(4).)。这两种方法分别检测出指针仪表的圆面板和指针，再根据几何关系进一步计算指针示数。Yang提出了基于ORB特征匹配的图像配准方法(Yang Z,Niu W,Peng X,et al.An image-basedintelligent system for pointer instrument reading[C]//Information Science andTechnology(ICIST),2014 4th IEEE International Conference onIEEE,2014:780-783.)，先将待识别图像配准到标准突现的姿态下，然后再在对应的区域通过背景作差法确定指针位置，从而计算指针示数。房桦提出了基于SIFT特征匹配的指针示数识别方法(房桦,明志强,周云峰,等.一种适用于变电站巡检机器人的仪表识别算法[J].自动化与仪表,2013,28(5):10-14.)，同样通过SIFT特征匹配的，将待识别图像配准到标准图像姿态下，然后再去识别指针示数。

上述数字识别的方法在水平和竖直方向上投影，在仪表在图像中的姿态不处于水平的时候无法准确定位数字区域。使用阈值二值化图像再通过找连通域的方法分割出单个数字，该方法中图像二值化后，数字示数之间经常伴随粘连或者断裂的现象，导致后续数字识别效果并不好。

上述的指针示数识别方法中，使用模板匹配对仪表在图像中的姿态要求极高，而且对光照和图像噪声敏感。使用Hough变换的方法，依赖于边缘检测算法，在复杂的工业现场和不同的成像条件下，圆形仪表面板不一定是严格圆形，而且圆形面板和指针的边缘不一定能够检测出来，因而一旦Hough圆检测或者直线检测失败，则无法进行后续的指针示数识别。使用特征点匹配的的方法，在实际使用过程中，存在表盘部分遮挡问题，甚至有些表盘面板图像的纹理特征比较少，本身就提取不到ORB、SIFT之类的特征，导致正确匹配的特征点对很少，还有可能由于复杂的图像背景干扰，在复杂背景上提取到对应的特征，造成大量的误匹配，由于以上原因，特征点匹配的方法也比较容易失败。

综上所述，现有的研究仪表示数识别方法对仪表图像在不同光照、姿态、尺度，部分遮挡，成像模糊等工况条件十分敏感，难以满足实际使用要求。

发明内容

针对现有技术存在的不足，本发明提出了一种基于机器视觉的仪表示数识别方法，旨在使用机器学习的方法，解决仪表图像姿态、尺度、光照等工况条件对仪表示数识别问题的影响。

为了达到上述目的，本发明采用的技术方案如下：一种基于机器视觉的仪表示数识别方法，所述方法具体包括以下步骤：

(1)对待识别示数的仪表图像，先通过级联姿态回归器回归出该仪表图像与标准仪表图像的仿射变换矩阵，从而将待识别示数的仪表图像仿射变换到标准仪表图像的姿态下，实现仪表姿态的归一化；

(2)利用基于几何约束的数字识别方法对步骤(1)得到的姿态归一化的仪表图像进行数字示数识别；

(3)利用基于HOG特征的指针示数识别方法对步骤(1)得到的姿态归一化的仪表图像进行指针示数识别。

进一步的，所述步骤(1)具体为：

(1.1)在工业现场采集N张目标仪表的样本图像，然后选取一张样本作为标准图像，在所有样本图像上标记4个以上重复出现的标记点；

(1.2)利用标记点，通过最小二乘法，计算所有样本图像与标准图像的仿射变换矩阵，该仿射变换矩阵作为级联姿态回归器中的回归值，同时样本图像的shape-indexed-feature作为级联姿态回归器的输入特征，由此训练一个级联姿态回归器；

(1.3)由步骤(1.2)训练得到级联姿态回归器后，对任意一张待识别示数的仪表图像，通过该级联姿态回归器，回归出该仪表图像与标准图像之间的仿射变换矩阵，然后将该仪表图像仿射变换到标准仪表图像的姿态下，从而实现仪表姿态的归一化。

进一步的，所述步骤(2)具体为：

(2.1)在工业现场采集N张目标仪表的样本图像，然后选取一张样本作为标准图像，在标准图像上，标记数字所在矩形区域；在所有样本图像上标记4个以上重复出现的标记点；

(2.2)利用标记点，通过最小二乘法，计算所有样本图像与标准图像的仿射变换矩阵，将所有样本图像仿射变换到标准图像姿态下，然后采集数字0到9的数字模板；

(2.3)将待识别仪表图像通过级联姿态回归器变换到标准图像的姿态下后，使用模板匹配的方法进行数字示数识别；此时待识别仪表图像上的数字区域图像记作ROI，若待识别仪表图像上数字示数为n位，则将ROI区域水平均分为n份，记作R_i，其中i＝1,2,…,n；在均分后的区域中，用数字模板进行模板匹配，数字模板记作D_j，其中j＝0,1,…,9；将D_j与R_i进行模板匹配，得到每个数字匹配的概率图，记作G_i,j(x,y)：

其中(x,y)是在R_i上的坐标，R_i(x,y)表示为R_i上坐标为(x,y)处的灰度值；(x′,y′)是D_j上的坐标，D_j(x′,y′)表示为D_j上坐标为(x′,y′)处的灰度值；

(2.4)在R_i的(x_i,y_i)处匹配数字d_i，则有能量项E_i:

(2.5)对n个数字，在R_i上匹配的坐标位置是一致的，对数字之间的几何约束能量项为：

其中λ_i和k_i为可调参数；

(2.6)对n个数字，则最终优化目标为：

优化求解得到(x_i,y_i,d_i)，其中d_i为R_i的数字识别结果，(x_i,y_i)为R_i上匹配识别结果对的位置。

进一步的，所述步骤(3)具体为：

(3.1)在工业现场采集N张目标仪表的样本图像，然后选取一张样本作为标准图像，在标准图像上，标记指针所在扇形区域；

(3.2)将待识别仪表图像变换到标准图像的姿态下后，将扇形区域用极坐标r-θ表示，其中r是扇形区域的半径，θ是角度；坐标系的原点即为仪表指针所在扇形区域的圆心；将扇形区域通过双线性插值，转化到笛卡尔直角坐标系下的矩形图像；

(3.3)将扇形区双线性变换为矩形图像后，指针的位置处于竖直方向；首先截取标准图像中经过双线性变换后的指针图像作为指针模板，选取梯度方向直方图(HOG)作为特征描述，计算其HOG特征，记作x_i；

(3.4)在待识别仪表图像经过双线性变换后的矩形图像中从左到右用与指针模板同样大小的窗口进行滑动，计算每个窗口的HOG特征，记作y_i，计算y_i和x_i指针模板的相关性：

其中m为HOG特征的维数；选取相关系数最大的位置，即为识别出的指针所在位置，该位置横坐标除以矩形图像的长度再乘以指针量程即为识别出的指针示数。

与现有技术相比，本发明具有的有益效果是：

1、本发明在目标仪表检测问题的同时，将待识别图像配准到标准图像的姿态下，使所有的图像都归一化到标准图像的姿态和尺度下。如此一来，只需要在固定的区域中去识别与标准图像相同尺度和姿态的数字示数和指针示数，极大的降低了示数识别难度。

2、本发明识别数字示数时，不用将数字区域图像二值化，在和标准图像相同尺度和姿态的情况下，使用模板匹配的方法进行数字示数识别，简单有效，具有较强鲁棒性。

3、本发明识别指针示数时，不依赖边缘检测算法和Hough圆或Hough直线检测算法，而是将扇形区域通过双线性插值的方法转换为矩形图像。在变换后的矩形图像中指针处于竖直状态，然后使用HOG特征描述检测出指针在矩形图像中的位置，最后通过指针位置在矩形图像水平方向的比率乘以仪表量程的方法得到指针示数的读数，鲁棒性极强。

附图说明

图1是本发明的样本标记等准备过程；

图2是本发明中示数识别流程图；

图3是本发明中基于几何约束的数字示数识别示意图；

图4是本发明中基于HOG特征的指针示数识别示意图；

具体实施方式

下面结合附图和实施方式对本发明进一步说明。

如图1所示，本发明进行示数识别之前需要一些准备工作。首先在工业现场采集N张目标仪表的样本图像，然后选取一张样本作为标准图像，每张样本图像上标记4个以上重复出现的标记点，标记点数量一般取典型值8；将所有图像仿射变换到标准图像姿态下，采集数字0到9图像模板；同时记录标准图像上指针所在的扇形区域和数字所在的矩形区域；

如图2所示，本发明对待识别示数的仪表图像：

(1)先通过级联姿态回归器回归出该仪表图像与标准仪表图像的仿射变换矩阵，从而将待识别示数的仪表图像仿射变换到标准仪表图像的姿态下，实现仪表姿态的归一化；所述级联姿态回归器采用现有的回归器，该回归器记载在Dollár P,Welinder P,Perona P.Cascaded pose regression[C]//Computer Vision and Pattern Recognition(CVPR),2010IEEE Conference on.IEEE,2010:1078-1085.中。

(2)再利用基于几何约束的数字识别方法对步骤(1)得到的姿态归一化的仪表图像进行数字示数识别；

(3)再利用基于HOG特征的指针示数识别方法对步骤(1)得到的姿态归一化的仪表图像进行指针示数识别。

进一步的，所述步骤(1)具体为：

(1.1)利用每张样本图像上的标记点，通过最小二乘法，计算所有样本图像与标准图像的仿射变换矩阵，该仿射变换矩阵作为级联姿态回归器中的回归值，同时样本图像的shape-indexed-feature作为级联姿态回归器的输入特征，由此训练一个级联姿态回归器；

(1.2)由步骤(1.1)训练得到级联姿态回归器后，对任意一张待识别示数的仪表图像，通过该级联姿态回归器，回归出该仪表图像与标准图像之间的仿射变换矩阵，然后将该仪表图像仿射变换到标准仪表图像的姿态下，从而实现仪表姿态的归一化。

进一步的，如图3所示，假设待识别数字示数的数字位数为3位，则所述步骤(2)具体为：

(2.1)将待识别仪表图像通过级联姿态回归器变换到标准图像的姿态下后，使用模板匹配的方法进行数字示数识别；此时待识别仪表图像上的数字区域图像记作ROI，待识别仪表图像上数字示数为3位，则将ROI区域水平均分为3份，记作R_i，其中i＝1,2,3；在均分后的区域中，用数字模板进行模板匹配，数字模板记作D_j，其中j＝0,1,…,9；将D_j与R_i进行模板匹配，得到每个数字匹配的概率图，记作G_i,j(x,y)：

其中(x,y)是在R_i上的坐标，R_i(x,y)表示为R_i上坐标为(x,y)处的灰度值；(x′,y′)是D_j上的坐标，D_j(x′,y′)表示为D_j上坐标为(x′,y′)处的灰度值；

(2.2)在R_i的(x_i,y_i)处匹配数字d_i，则有能量项E_i:

(2.3)对3个数字，在R_i上匹配的坐标位置是一致的，对数字之间的几何约束能量项为：

其中λ_i和k_i为可调参数；

(2.4)对3个数字，则最终优化目标为：

优化求解得到(x_i,y_i,d_i)，其中i＝1、2、3，d_i为R_i的数字识别结果，(x_i,y_i)为R_i上匹配识别结果对的位置。该仪表图像的数字示数识别结果即为d₁d₂d₃。

进一步的，如图4所示，所述步骤(3)具体为：

(3.1)在工业现场采集N张目标仪表的样本图像，然后选取一张正面拍摄的样本作为标准图像，在标准图像上，标记指针所在扇形区域；

(3.2)将待识别仪表图像变换到标准图像的姿态下后，将扇形区域用极坐标r-θ表示，其中r是扇形区域的半径，θ是角度；坐标系的原点即为仪表指针所在扇形区域的圆心；将扇形区域通过双线性插值，转化到笛卡尔直角坐标系下的矩形图像；

(3.3)将扇形区双线性变换为矩形图像后，指针的位置处于竖直方向；首先截取标准图像中经过双线性变换后的指针图像作为指针模板，选取梯度方向直方图(HOG)作为特征描述，计算其HOG特征，记作x_i；

(3.4)在待识别仪表图像经过双线性变换后的矩形图像中从左到右用与指针模板同样大小的窗口进行滑动，计算每个窗口的HOG特征，记作y_i，计算y_i和x_i指针模板的相关性：

其中m为HOG特征的维数；选取相关系数最大的位置，即为识别出的指针所在位置，该位置横坐标除以矩形图像的长度再乘以指针量程即为识别出的指针示数。

上述具体实施方式用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (2)

1.一种基于机器视觉的仪表示数识别方法，其特征在于，所述方法具体包括以下步骤：

(1)对待识别示数的仪表图像，先通过级联姿态回归器回归出该仪表图像与标准仪表图像的仿射变换矩阵，从而将待识别示数的仪表图像仿射变换到标准仪表图像的姿态下，实现仪表姿态的归一化；

(2)利用基于几何约束的数字识别方法对步骤(1)得到的姿态归一化的仪表图像进行数字示数识别；所述步骤(2)具体为：

(2.1)在工业现场采集N张目标仪表的样本图像，然后选取一张样本作为标准图像，在标准图像上，标记数字所在矩形区域；在所有样本图像上标记4个以上重复出现的标记点；

(2.2)利用标记点，通过最小二乘法，计算所有样本图像与标准图像的仿射变换矩阵，将所有样本图像仿射变换到标准图像姿态下，然后采集数字0到9的数字模板；

(2.3)将待识别仪表图像通过级联姿态回归器变换到标准图像的姿态下后，使用模板匹配的方法进行数字示数识别；此时待识别仪表图像上的数字区域图像记作ROI，若待识别仪表图像上数字示数为n位，则将ROI区域水平均分为n份，记作R_i，其中i＝1，2，…，n；在均分后的区域中，用数字模板进行模板匹配，数字模板记作D_j，其中j＝0，1，...，9；将D_j与R_i进行模板匹配，得到每个数字匹配的概率图，记作G_i，j(x，y)：

其中(x，y)是在R_i上的坐标，R_i(x，y)表示为R_i上坐标为(x，y)处的灰度值；(x′，y′)是D_j上的坐标，D_j(x′，y′)表示为D_j上坐标为(x′，y′)处的灰度值；

(2.4)在R_i的(x_i，y_i)处匹配数字d_i，则有能量项E_i：

(2.5)对n个数字，在R_i上匹配的坐标位置是一致的，对数字之间的几何约束能量项为：

其中λ_i和k_i为可调参数；

(2.6)对n个数字，则最终优化目标为：

优化求解得到(x_i，y_i，d_i)，其中d_i 为R_i的数字识别结果，(x_i，y_i)为R_i上匹配识别结果对的位置；

(3)利用基于HOG特征的指针示数识别方法对步骤(1)得到的姿态归一化的仪表图像进行指针示数识别；所述步骤(3)具体为：

(3.1)在工业现场采集N张目标仪表的样本图像，然后选取一张正面拍摄样本作为标准图像，在标准图像上，标记指针所在扇形区域；

(3.2)将待识别仪表图像变换到标准图像的姿态下后，将扇形区域用极坐标r-θ表示，其中r是扇形区域的半径，θ是角度；坐标系的原点即为仪表指针所在扇形区域的圆心；将扇形区域通过双线性插值算法，转化到笛卡尔直角坐标系下的矩形图像；

(3.3)将扇形区双线性变换为矩形图像后，指针的位置处于竖直方向；首先截取标准图像中经过双线性变换后的指针图像作为指针模板，选取梯度方向直方图(HOG)作为特征描述，计算其HOG特征，记作X_t；

(3.4)在待识别仪表图像经过双线性变换后的矩形图像中从左到右用与指针模板同样大小的窗口进行滑动，计算每个窗口的HOG特征，记作Y_t，计算Y_t和X_t指针模板的相关性：

其中m为HOG特征的维数；t为1、2、3…m，选取相关系数最大的位置，即为识别出的指针所在位置，该位置横坐标除以矩形图像的长度再乘以指针量程即为识别出的指针示数。

2.根据权利要求1所述的基于机器视觉的仪表示数识别方法，其特征在于，所述步骤(1)具体为：

(1.1)在工业现场采集N张目标仪表的样本图像，然后选取一张样本作为标准图像，在所有样本图像上标记4个以上重复出现的标记点；

(1.2)利用标记点，通过最小二乘法，计算所有样本图像与标准图像的仿射变换矩阵，该仿射变换矩阵作为级联姿态回归器中的回归值，同时样本图像的shape-indexed-feature作为级联姿态回归器的输入特征，由此训练一个级联姿态回归器；

(1.3)由步骤(1.2)训练得到级联姿态回归器后，对任意一张待识别示数的仪表图像，通过该级联姿态回归器，回归出该仪表图像与标准图像之间的仿射变换矩阵，然后将该仪表图像仿射变换到标准仪表图像的姿态下，从而实现仪表姿态的归一化。