CN105975979A - 一种基于机器视觉的仪表检测方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的仪表检测方法，所述仪表检测具体为：(1)对任意输入图像，先经过级联Adaboost粗检测器，检测出目标仪表候选区域；(2)对步骤(1)得到的每个候选区域，使用双级联参数回归器，回归出标准图像与待识别图像之间的仿射变换矩阵，然后将待识别图片仿射变换到标准图像的姿态，实现仪表姿态的归一化；(3)将步骤(2)得到的姿态归一化后的图像通过后验验证器确认是否存在目标仪表，最后输出检测结果。本发明提出的仪表检测方法，解决了仪表检测中姿态和尺度问题，具有高正检率，低误检率的优点，同时该发明处理速度快，实现了仪表实时检测功能。

Description

一种基于机器视觉的仪表检测方法

技术领域

本发明属于数字图像处理和仪表检测领域，具体涉及一种基于机器视觉的仪表检测方法。

背景技术

化工厂、变电站、炼油厂等工业领域，安装大量的现场指示仪表，这些仪表不具有远传功能，需要现场读数，用来监控工业现场运行状况。其中仪表检测是其重要组成部分，用人工巡检的方式检测现场仪表费时费力低效，因此基于机器视觉的仪表自动检测技术具有广泛的应用前景。

现有研究中，常见的仪表检测方法有模板匹配，Hough变换，特征点匹配等方法。戴亚文提出了一种基于多特征模板匹配方法来检测指针仪表(Dai Y,Wang S,Wang X.The moldplate-matching method based on the severalcharacteristic parameters of the meter pointer gray[J].Electrical Measurement&Instrumentation,2004)。Gellaboina提出利用Hough圆检测算法，来检测指针仪表的圆形面板(Gellaboina M K,Swaminathan G,Venkoparao V.Analog dial gaugereader for handheld devices[C]//Industrial Electronics and Applications(ICIEA),2013 8th IEEE Conference onIEEE,2013:1147-1150.)，Yang提出了通过Hough直线检测检测图像中仪表指针位置(Yang B,Lin G,Zhang W.Auto-recognitionMethod for Pointer-type Meter Based on Binocular Vision[J].Journal of Computers,2014,9(4).)。这两种方法分别检测出指针仪表的圆面板和指针，从而检测出目标仪表。Yang提出了基于ORB特征匹配的图像配准方法检测仪表(Yang Z,Niu W,Peng X,et al.An image-based intelligent system for pointer instrument reading[C]//Information Science and Technology(ICIST),2014 4th IEEE InternationalConference onIEEE,2014:780-783.)，先将待识别图像配准到标准突现的姿态下，然后再在对应的区域通过背景作差法确定指针位置，从而计算指针示数。房桦提出了基于SIFT特征匹配的指针示数识别方法(房桦,明志强,周云峰,等.一种适用于变电站巡检机器人的仪表识别算法[J].自动化与仪表,2013,28(5):10-14.)，同样通过SIFT特征匹配的检测目标仪表。

上述仪表检测方法，使用模板匹配对仪表在图像中的姿态要求极高，而且对光照和图像噪声敏感。使用Hough变换的方法，依赖于边缘检测算法，在复杂的工业现场和不同的成像条件下，圆形仪表面板不一定是严格圆形，而且圆形面板和指针的边缘不一定能够检测出来，因而一旦Hough圆检测或者直线检测失败，则无法得到正确检测结果。使用特征点匹配的的方法，在实际使用过程中，存在表盘部分遮挡问题，甚至有些表盘面板图像的纹理特征比较少，本身就提取不到ORB、SIFT之类的特征，导致正确匹配的特征点对很少，还有可能由于复杂的图像背景干扰，在复杂背景上提取到对应的特征，造成大量的误匹配，由于以上原因，特征点匹配的方法也比较容易失败。

综上所述，现有的研究仪表检测方法对仪表图像在不同光照、姿态、尺度，部分遮挡，成像模糊等工况条件十分敏感，难以满足实际使用要求。

发明内容

针对现有技术的不足，本发明提出了一种基于机器视觉的仪表检测方法，旨在使用机器学习的方法，解决仪表图像姿态、尺度、光照等工况条件对仪表检测的影响，提高目标仪表的检出率和降低误检率。

本发明采用的技术方案如下：一种基于机器视觉的仪表检测方法，所述仪表检测具体为：

(1)对任意输入图像，先经过级联Adaboost粗检测器，检测出目标仪表候选区域；

(2)对步骤1得到的每个候选区域，使用双级联参数回归器，回归出标准图像与待识别图像之间的仿射变换矩阵，然后将待识别图片仿射变换到标准图像的姿态，实现仪表姿态的归一化；

(3)将步骤2得到的姿态归一化后的图像通过后验验证器确认是否存在目标仪表，最后输出检测结果。

进一步的，所述的经过级联Adaboost粗检测器，检出目标仪表候选区域具体步骤如下：

(1.1)采集n张目标仪表图像作为训练样本，其中n为大于等于10的正整数；选取其中一张正面拍摄的图像作为标准图像，记作I_std；在每张训练样本图像上标记4个以上重复出现的标记点；

(1.2)在每张训练样本中随机采集正方形图像，正方形的边长等于仪表的直径，若该正方形的中心落在与仪表同心直径为m倍仪表直径的同心圆内，则把采集到的正方形图像作为正样本图像；若正方形的中心落在与仪表同心直径为m倍仪表直径的同心圆外，则把采集到的正方形图像作为负样本图像；其中，采集到的正样本图像和负样本图像数量相同，m取值为0.1-0.5；

(1.3)计算正负样本的图像特征，作为级联Adaboost分类器的输入，训练一个级联Adaboost分类器；

(1.4)对任意图像输入到级联Adaboost分类器中，检测出目标仪表候选区域。

进一步的，所述步骤(2)具体为：

(2.1)采集的n张训练样本图像中标准图像记作I_std，训练样本图像记作I_target，通过仿射变换矩阵将I_std变换到I_target的姿态下，所述仿射变换矩阵记作H_r；在I_std上随机撒n_s个点，作为计算特征的采样点，记作P；n张训练样本图像中，在每张训练样本图像上随机选取j个初始仿射变换矩阵H₀；n_s为大于等于50的正整数；j为大于等于20的正整数；

(2.2)将P通过H₀映射到新的位置，在I_target图像上计算shape-indexed feature记作x₁，然后更新得到第一层回归值H_r1＝H_rH₀ ^-1；把x₁和H_r1作为外层回归器的输入，训练得到第一层外层回归器R₁；

(2.3)将x₁作为第一层外层回归器R₁的输入，预测得到第一外层估计值ΔH₁，则更新仿射变换矩阵H₁＝ΔH₁H₀；再将P通过H₁映射到新的位置，在I_target图像上计算shape-indexed feature记作x₂，然后更新得到第二层回归值H_r2＝H_rH₁ ^-1；x₂和H_r2作为外层回归器的输入，训练得到第二层外层回归器R₂；以此类推，获得多层外层回归器{R₁,R₂,…,R_T}，其中，T为外层回归器的层数；

(2.4)步骤(2.3)得到第i层外层回归器R_i，其中i为1、2、3…T，令第i层外层回归器R_i中有k个内层回归器，记为内层回归器使用随机蕨回归器，训练步骤如下：

将x₁和第一层回归值H_r1作为随机蕨回归器的输入，训练得到第一个外层回归器的第一个内层回归器将x₁作为第一个内层回归器的输入，预测得到第一内层估计值ΔH_r1，然后更新得到第二内层回归值H′_r2＝H_r1ΔH_r1 ^-1；然后再将x₁和H′_r2作为随机蕨回归器的输入，训练得到第一个外层回归器的第二个内层回归器将x₁作为第二个内层回归器的输入，预测得到第二内层估计值ΔH_r2，然后更新得到第三内层回归值H′_r3＝H′_r2ΔH_r2 ^-1；然后再将x₁和H′_r3作为随机蕨回归器的输入，训练得到第一个外层回归器的第三个内层回归器以此类推，得到所有内层回归器；从而完成双级联参数回归器的训练；

(2.5)将步骤(1)中得到的候选区域输入到双级联参数回归器中，得到该候选区域与I_std之间的仿射变换矩阵，将该候选区域仿射变换到I_std的姿态下，以此得到姿态归一化的仪表图像。

进一步的，所述步骤(3)具体为：

(3.1)采集n张目标仪表图像作为训练样本，其中n为大于等于10的正整数；选取其中一张正面拍摄的图像作为标准图像，记作I_std；在每张训练样本图像上标记4个以上重复出现的标记点，利用标记点，通过最小二乘法估计出训练样本图像仿射变换到标准图像的仿射变换矩阵，将所有样本图像仿射变换到标准仪表图像的姿态下，将所有训练样本图像姿态归一化；

(3.2)在步骤(3.1)中得到的姿态归一化的图像上随机采集正方形图像，正方形的边长等于仪表的直径，若该正方形的中心落在与仪表同心直径为m倍仪表直径的同心圆内，则把采集到的正方形图像作为正样本图像；若正方形的中心落在与仪表同心直径为m倍仪表直径的同心圆外，则把采集到的正方形图像作为负样本图像；其中，采集到的正样本图像和负样本图像数量相同，m取值为0.1-0.5；

(3.3)分别计算步骤(3.2)得到的正负样本图像的HOG特征，作为正负样本，训练得到一个支持向量机作为后验验证器；

(3.4)将步骤(2)得到的姿态归一化后的图像通过步骤(3.3)得到的后验验证器确认是否存在目标仪表，最后输出检测结果。

与现有技术相比，本发明具有的有益效果是：

1、该发明作为仪表检测算法，不依赖边缘检测算法，也不需要做图像二值化，解决了常规的投影法、模板匹配法、Hough变换、特征点匹配等方法不能解决的光照、遮挡、复杂背景干扰等问题。

2、该发明在保持高正检率的前提下，通过双级联参数回归，姿态归一化和后验验证的方法极大的降低了目标仪表的误检率，使检测性能大大提高。

3、该发明中Adaboost粗检测器和双级联参数回归运算效率高，极大的加快仪表检测速度，实际使用中处理速度达到15帧每秒，实现了实时检测目标仪表功能。

4、该发明在解决目标仪表检测问题的同时，将待识别图像配准到标准图像的姿态下，使所有的图像都归一化到标准图像的姿态和尺度下。如此一来，只需要在固定的区域中去识别与标准图像相同尺度和姿态的数字示数和指针示数，极大的有利于后续的示数识别算法。

附图说明

图1是本发明中仪表检测流程图；

图2是本发明中级联Adaboost粗检测器训练示意图；

图3是本发明中双级联参数回归示意图；

图4是本发明中后验验证器示意图。

具体实施方式

下面结合附图和实施方式对本发明进一步说明。

如图1所示，本发明包含级联Adaboost粗检测器，双级联参数回归，后验验证器三个部分。运行时，对任意输入图像，先经过级联Adaboost粗检测器，检出目标仪表候选区域。然后对每个候选区域，使用双级联参数回归器，回归出标准图像与待识别图像之间的仿射变换矩阵，然后将待识别图片仿射变换到标准图像的姿态，实现仪表姿态的归一化，再通过后验验证器确认是否存在目标仪表，最后输出检测结果。

如图2所示，级联Adaboost粗检测器训练流程如下：

(1.1)在工业现场采集n张目标仪表图像作为训练样本，n≥10即可，样本中包含的仪表姿态、背景、尺度等因素越丰富，效果越好，实验中取典型值n＝50。选取其中一张正面拍摄的图像作为标准图像，记作I_std，在所有样本图像上，标记4个以上重复出现的标记点，一般每张训练样本图像上标记点数量取典型值8；

(1.2)在每张训练样本中随机采集正方形图像，正方形的边长等于仪表的直径，若该正方形的中心落在与仪表同心直径为m倍仪表直径的同心圆内，则把采集到的正方形图像作为正样本图像；若正方形的中心落在与仪表同心直径为m倍仪表直径的同心圆外，则把采集到的正方形图像作为负样本图像；其中，采集到的正样本图像和负样本图像数量相同，m取值为0.1-0.5，实验中m取典型值0.2；

(1.3)计算正负样本的图像特征，此处特征可取但不局限于局部二值模式(LBP)特征，作为级联Adaboost分类器的输入，训练一个级联的Adaboost强分类器，要求该分类器的正检率高；例如，训练时，每层Adaboost分类器正检率设置为0.99，误检率设置为0.50，级联层数设置为10。此级联Adaboost分类器效果是高正检率的同时有高误检率；

(1.4)对任意图像输入到(1.3)中训练处的级联Adaboost粗分类器中，检测出目标仪表候选区域。

如图3所示，双级联参数回归器的训练流程如下：

(2.1)采集的n张训练样本图像中标准图像记作I_std，训练样本图像记作I_target，通过仿射变换矩阵将I_std变换到I_target的姿态下，所述仿射变换矩阵记作H_r；在I_std上随机撒n_s个点，作为计算特征的采样点，记作P；n张训练样本图像中，在每张训练样本图像上随机选取j个初始仿射变换矩阵H₀；n_S为大于等于50的正整数；j为大于等于20的正整数，实验中取典型值n_s＝100，j＝50；

(2.2)将P通过H₀映射到新的位置，在I_target图像上计算shape-indexed feature记作x₁，然后更新得到第一层回归值H_r1＝H_rH₀ ^-1；把x₁和H_r1作为外层回归器的输入，训练得到第一层外层回归器R₁；

(2.3)将x₁作为第一层外层回归器R₁的输入，预测得到第一外层估计值ΔH₁，则更新仿射变换矩阵H₁＝ΔH₁H₀；再将P通过H₁映射到新的位置，在I_target图像上计算shape-indexed feature记作x₂，然后更新得到第二层回归值H_r2＝H_rH₁ ^-1；x₂和H_r2作为外层回归器的输入，训练得到第二层外层回归器R₂；以此类推，获得多层外层回归器{R₁,R₂,…,R_T}，其中，T为外层回归器的层数，一般地，T取典型值20；

(2.4)步骤(2.3)得到第i层外层回归器R_i，其中i为1、2、3…T，令第i层外层回归器R_i中有k个内层回归器，记为一般k取典型值50；内层回归器使用随机蕨回归器，训练步骤如下：

将x₁和第一层回归值H_r1作为随机蕨回归器的输入，训练得到第一个外层回归器的第一个内层回归器将x₁作为第一个内层回归器的输入，预测得到第一内层估计值ΔH_r1，然后更新得到第二内层回归值H′_r2＝H_r1ΔH_r1 ^-1；然后再将x₁和H′_r2作为随机蕨回归器的输入，训练得到第一个外层回归器的第二个内层回归器将x₁作为第二个内层回归器的输入，预测得到第二内层估计值ΔH_r2，然后更新得到第三内层回归值H′_r3＝H′_r2ΔH_r2 ^-1；然后再将x₁和H′_r3作为随机蕨回归器的输入，训练得到第一个外层回归器的第三个内层回归器以此类推，得到所有内层回归器；从而完成双级联参数回归器的训练；

(2.5)将步骤(1)中得到的候选区域输入到双级联参数回归器中，得到该候选区域与I_std之间的仿射变换矩阵，将该候选区域仿射变换到I_std的姿态下，以此得到姿态归一化的仪表图像。

如图4所示，后验验证器训练流程如下：

(3.1)采集n张目标仪表图像作为训练样本，其中n为大于等于10的正整数，通常取50；选取其中一张正面拍摄的图像作为标准图像，记作I_std；在每张训练样本图像上标记4个以上重复出现的标记点，一般每张训练样本图像上标记点数量取典型值8；利用标记点，通过最小二乘法估计出训练样本图像仿射变换到标准图像的仿射变换矩阵，将所有样本图像仿射变换到标准仪表图像的姿态下，实现图像姿态归一化；

(3.2)在步骤(3.1)中得到的姿态归一化的图像上随机采集正方形图像，正方形的边长等于仪表的直径，若该正方形的中心落在与仪表同心直径为m倍仪表直径的同心圆内，则把采集到的正方形图像作为正样本图像；若正方形的中心落在与仪表同心直径为m倍仪表直径的同心圆外，则把采集到的正方形图像作为负样本图像；其中，采集到的正样本图像和负样本图像数量相同，m取典型值0.2；

(3.3)分别计算步骤(3.2)得到的正负样本图像的HOG特征，作为正负样本，训练得到一个支持向量机作为后验验证器；

(3.4)将步骤(2)得到的姿态归一化后的图像通过步骤(3.3)得到的后验验证器确认是否存在目标仪表，最后输出检测结果。

上述具体实施方式用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (4)

1.一种基于机器视觉的仪表检测方法，其特征在于，所述仪表检测具体为：

(1)对任意输入图像，先经过级联Adaboost粗检测器，检测出目标仪表候选区域；

(2)对步骤1得到的每个候选区域，使用双级联参数回归器，回归出标准图像与待识别图像之间的仿射变换矩阵，然后将待识别图片仿射变换到标准图像的姿态，实现仪表姿态的归一化；

(3)将步骤2得到的姿态归一化后的图像通过后验验证器确认是否存在目标仪表，最后输出检测结果。

2.如权利要求1所述的一种基于机器视觉的仪表检测方法，其特征在于：所述的经过级联Adaboost粗检测器，检出目标仪表候选区域具体步骤如下：

(1.1)采集n张目标仪表图像作为训练样本，其中n为大于等于10的正整数；选取其中一张正面拍摄的图像作为标准图像，记作I_std；在每张训练样本图像上标记4个以上重复出现的标记点；

(1.2)在每张训练样本中随机采集正方形图像，正方形的边长等于仪表的直径，若该正方形的中心落在与仪表同心直径为m倍仪表直径的同心圆内，则把采集到的正方形图像作为正样本图像；若正方形的中心落在与仪表同心直径为m倍仪表直径的同心圆外，则把采集到的正方形图像作为负样本图像；其中，采集到的正样本图像和负样本图像数量相同，m取值为0.1-0.5；

(1.3)计算正负样本的图像特征，作为级联Adaboost分类器的输入，训练一个级联Adaboost分类器；

(1.4)对任意图像输入到级联Adaboost分类器中，检测出目标仪表候选区域。

3.如权利要求1所述的一种基于机器视觉的仪表检测方法，其特征在于：所述步骤(2)具体为：

(2.1)采集的n张训练样本图像中标准图像记作I_std，训练样本图像记作I_target，通过仿射变换矩阵将I_std变换到I_target的姿态下，所述仿射变换矩阵记作H_r；在I_std上随机撒n_s个点，作为计算特征的采样点，记作P；n张训练样本图像中，在每张训练样本图像上随机选取j个初始仿射变换矩阵H₀；n_s为大于等于50的正整数；j为大于等于20的正整数；

(2.2)将P通过H₀映射到新的位置，在I_target图像上计算shape-indexed feature记作x₁，然后更新得到第一层回归值H_r1＝H_rH₀ ^-1；把x₁和H_r1作为外层回归器的输入，训练得到第一层外层回归器R₁；

(2.3)将x₁作为第一层外层回归器R₁的输入，预测得到第一外层估计值ΔH₁，则更新仿射变换矩阵H₁＝ΔH₁H₀；再将P通过H₁映射到新的位置，在I_target图像上计算shape-indexed feature记作x₂，然后更新得到第二层回归值H_r2＝H_rH₁ ^-1；x₂和H_r2作为外层回归器的输入，训练得到第二层外层回归器R₂；以此类推，获得多层外层回归器{R₁,R₂,...,R_T}，其中，T为外层回归器的层数；

(2.4)步骤(2.3)得到第i层外层回归器R_i，其中i为1、2、3…T，令第i层外层回归器R_i中有k个内层回归器，记为内层回归器使用随机蕨回归器，训练步骤如下：

将x₁和第一层回归值H_r1作为随机蕨回归器的输入，训练得到第一个外层回归器的第一个内层回归器将x₁作为第一个内层回归器的输入，预测得到第一内层估计值ΔH_r1，然后更新得到第二内层回归值H′_r2＝H_r1ΔH_r1 ^-1；然后再将x₁和H′_r2作为随机蕨回归器的输入，训练得到第一个外层回归器的第二个内层回归器将x₁作为第二个内层回归器的输入，预测得到第二内层估计值ΔH_r2，然后更新得到第三内层回归值H′_r3＝H′_r2ΔH_r2 ^-1；然后再将x₁和H′_r3作为随机蕨回归器的输入，训练得到第一个外层回归器的第三个内层回归器以此类推，得到所有内层回归器；从而完成双级联参数回归器的训练；

(2.5)将步骤(1)中得到的候选区域输入到双级联参数回归器中，得到该候选区域与I_std之间的仿射变换矩阵，将该候选区域仿射变换到I_std的姿态下，以此得到姿态归一化的仪表图像。

4.如权利要求1所述的一种基于机器视觉的仪表检测方法，其特征在于：所述步骤(3)具体为：

(3.1)采集n张目标仪表图像作为训练样本，其中n为大于等于10的正整数；选取其中一张正面拍摄的图像作为标准图像，记作I_std；在每张训练样本图像上标记4个以上重复出现的标记点，利用标记点，通过最小二乘法估计出训练样本图像仿射变换到标准图像的仿射变换矩阵，将所有样本图像仿射变换到标准仪表图像的姿态下，实现图像姿态归一化；

(3.2)在步骤(3.1)中得到的姿态归一化的图像上随机采集正方形图像，正方形的边长等于仪表的直径，若该正方形的中心落在与仪表同心直径为m倍仪表直径的同心圆内，则把采集到的正方形图像作为正样本图像；若正方形的中心落在与仪表同心直径为m倍仪表直径的同心圆外，则把采集到的正方形图像作为负样本图像；其中，采集到的正样本图像和负样本图像数量相同，m取值为0.1-0.5；

(3.3)分别计算步骤(3.2)得到的正负样本图像的HOG特征，作为正负样本，训练得到一个支持向量机作为后验验证器；

(3.4)将步骤(2)得到的姿态归一化后的图像通过步骤(3.3)得到的后验验证器确认是否存在目标仪表，最后输出检测结果。