CN108009535A - 一种基于机器视觉的单指针仪表读数方法 - Google Patents

一种基于机器视觉的单指针仪表读数方法 Download PDF

Info

Publication number
CN108009535A
CN108009535A CN201711168146.7A CN201711168146A CN108009535A CN 108009535 A CN108009535 A CN 108009535A CN 201711168146 A CN201711168146 A CN 201711168146A CN 108009535 A CN108009535 A CN 108009535A
Authority
CN
China
Prior art keywords
pointer
area
dial plate
meter reading
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201711168146.7A
Other languages
English (en)
Inventor
申心兰
马路
程雷鸣
冯维纲
冯维颖
危常明
熊金梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Zhongyuan Huadian Science & Technology Co Ltd
Original Assignee
Wuhan Zhongyuan Huadian Science & Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Zhongyuan Huadian Science & Technology Co Ltd filed Critical Wuhan Zhongyuan Huadian Science & Technology Co Ltd
Priority to CN201711168146.7A priority Critical patent/CN108009535A/zh
Publication of CN108009535A publication Critical patent/CN108009535A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于机器视觉的单指针仪表读数方法，步骤如下：采集模板图并进行建模，对模板图表盘区域进行特征检测；对待识别仪表图像进行特征检测，利用特征匹配技术完成待识别仪表图中表盘区域定位，并且将待识别表盘区域校准为模板图状态；对校准后的表盘区域图进行预处理；采用基于指针特征查找方法获取指针区域；对指针区域进行阴影去除；采用形态学方法获取指针单像素边界，完成自适应指针边界直线检测，求角平分线得到指针直线；利用投影法完成指针方向判断；利用角度法完成仪表读数。该方法能够减少指针式仪表识别所需的信息，能够适应图像中指针断裂、指针和文字粘黏的情况，并且能够不受指针阴影的干扰，具有较高的准确率和稳定性。

Description

一种基于机器视觉的单指针仪表读数方法
技术领域
本发明属于计算机图像处理技术领域，特别是指一种基于机器视觉的单指针仪表读数方法。
背景技术
在电力行业、石油系统、汽车电子等领域中，都配置了指针式仪表，如压力表、温度表、油位计、计数器等。传统的人工读数方法，效率低，且长期读数会出现视觉疲劳，导致准确度降低。此外，某些仪表安装位置太高，人工读数无法直接进行。随着计算机视觉和图像处理技术的发展，越来越多的基于图像处理的仪表读数的方法被提出。
专利CN201610830466.3提出了一种电力式指针仪表的自动读数方法，首先对采集到的仪表图像进行预处理，利用表盘的颜色直方图完成表盘定位；然后利用二值化、形态学运算和连通体分析提取出仪表的有效识别区域，结合刻度线和指针的笔画特征完成刻度线和指针的提取；最后利用霍夫变换检测直线和数字识别的方法完成读数。指针式仪表的种类众多，不同的仪表形状颜色不同，该方法利用表盘的颜色直方图完成表盘定位的这种方法通用性太低。此外，这种方法每次不仅要检测指针，而且要检测刻度线和识别数字，需要识别的信息过多，如果出现部分信息丢失就会造成读数的失败，可靠性低。
专利CN201611055991.9提出了一种仪表读数的自动识别方法，首先将仪表的正视图作为模板图，利用直线检测完成对模板图中仪表的最大最小刻度线的角度、仪表的圆心位置保存在模板库中；然后利用SIFT特征匹配和模板库中的信息完成待测图中表盘的定位和校准；最后利用霍夫变换检测指针直线，结合角度法完成读数。该方法将特征匹配用于表盘的定位，在表盘有旋转、光照有变化的情况下依然适用，提高了算法的通用性，但是SIFT特征检测速度太慢，对一些巡检时间有限制的场合无法适用。此外，直接对刻度量程范围内进行直线检测存在一些问题：一是有些干扰导致图像中指针断裂的情况存在，二是受环境光照的影响会出现指针阴影，三是存在指针与文字粘连的情况，需要充分考虑这些问题才能提高算法的实用性和稳定性。
本发明涉及的已知技术包括：特征检测技术和特征匹配技术。在采集模板图之后，对模板图的目标区域进行SURF特征检测，保存模板特征信息。在采集待测图之后，对待测图进行SURF特征检测，然后与模板图的特征信息进行匹配，定位出待测图中的目标区域，并且利用透视变换矩阵将待测图校准到模板图的状态。
发明内容
本发明针对现有方法的不足，提出了一种基于机器视觉的单指针仪表读数方法。本发明能够减少指针式仪表识别所需的信息，能够适应图像中指针断裂、指针和文字粘黏的情况，并且能够不受指针阴影的干扰，具有较高的准确率和稳定性。
本发明的技术方案为：
一种基于机器视觉的单指针仪表读数方法，其特征在于包括如下步骤：
步骤1：采集模板图：拍摄仪表的正视图作为模板图，对模板图进行建模，对模板图的表盘区域进行特征检测，保存建模信息和特征信息；
步骤2：对待识别仪表图像进行特征检测，利用特征匹配技术完成待识别仪表图像和模板图之间的特征点匹配，获取待识别仪表图中表盘区域的定位，并且将待识别的表盘区域校准为模板图状态；
步骤3：对校准后的表盘区域图进行预处理；
步骤4：采用基于指针特征的查找方法在预处理后表盘区域图中查找并获取指针区域；
步骤5：对获取的指针区域图进行阴影去除；
步骤6：采用形态学方法在指针区域图中获取指针的单像素边界，利用自适应的指针边界直线检测方法获取指针边界线，求角平分线得到指针直线；
步骤7：利用投影法完成指针的方向判断；
步骤8：利用角度法完成仪表读数。
步骤1中所述的建模包括选取表盘区域、选取排除区域、选取刻度点和仪表的回转中心。
步骤1和步骤2中所述的特征检测采用是SURF特征检测(Speeded Up RobustFeatures)。
步骤3对校准后的表盘区域图进行预处理具体包括以下步骤：
步骤(3-1)：利用建模时选取的刻度点和回转中心，制作图像掩码，取出表盘的中间区域；
步骤(3-2)：对表盘的中间区域图进行亮度检测，对亮度异常的图像进行gamma校正；
步骤(3-3)：对亮度校正后的表盘中间区域图，进行局部自适应阈值分割，获得二值图。
步骤4中所述指针特征包括以下两个特征：(1)指针的长度特征，指针的长度一般是大于表盘的半径，小于表盘的直径；(2)指针与回转中心的距离特征，回转中心在指针区域内，即指针区域内的点与回转中心的距离的最小值接近于0；利用基于指针特征的查找方法在预处理后表盘区域图中查找并获取指针区域的具体步骤包括：
步骤4-1：对表盘中间区域二值图进行轮廓查找，保存找到的轮廓序列；
步骤4-2：对找到的轮廓序列，按照面积由大到小进行排序；
步骤4-3：取第一个轮廓点集，求轮廓点集与回转中心点距离的最小值，如果最小值在给定的距离阈值范围内，该轮廓点集被保留；否则，继续取出下一个轮廓点集，重复步骤4-3；
步骤4-4：对距离符合要求的轮廓点集求最小面积包围矩形，如果最小面积包围矩形的长度在给定的指针长度阈值范围内，说明该轮廓点集为指针区域；否则，继续取出下一个轮廓点集，重复步骤4-3、步骤4-4，直到找到指针区域。
步骤5对获取的指针区域图进行阴影去除的具体步骤包括：
步骤5-1：利用找到的指针区域，从表盘区域灰度图中抠出指针区域灰度图；
步骤5-2：利用指数图像增强技术，增强指针区域灰度图的对比度；
步骤5-3：重新阈值分割，完成指针区域的阴影去除。
步骤6中自适应的指针边界直线检测方法获取指针边界线的具体包括：利用指针区域的最小面积包围矩形的宽度和高度，自适应的设置霍夫变换检测直线的三个参数：累加器阈值、最小长度阈值和最大间距阈值。
步骤7中利用投影法完成指针方向判断，具体包括：利用指针前端和后端的粗细程度不同，将去除阴影之后的指针区域的中心线旋转成水平状态，然后对指针区域进行竖直方向投影完成指针的方向判断。
步骤8中利用角度法完成指针读数，具体包括：首先，根据建模时的刻度点信息和读数信息，计算每一个刻度点与指针回转中心连线与x轴正方向的夹角，建立角度与读数之间的关系式；然后，在找到待测指针直线并确定了指针方向之后，求出待测指针直线与x轴正方向的夹角，然后带入角度与读数关系式，就能完成对仪表的读数。
与现有技术相比，本发明的优点：
1、采用基于指针特征的指针区域查找方法。利用了指针的长度特征和指针与回转中心的距离特征，即使在图像中指针断裂的情况下，也能够准确的找到指针区域。与简单的膨胀法相比，能够更好的利用指针本身的特征，较好的完成指针的查找。
2、利用阴影区域与指针区域的灰度不同，结合图像增强算法去除指针阴影。在找到指针区域之后进行阴影去除，比直接在表盘区域图上进行阴影去除相比，能够不受其他干扰的影响，更快更准确的去除指针部分阴影的影响。
3、利用指针区域的包围矩形，自适应的检测指针的边界直线。能够结合每张图片中指针区域最小面积包围矩形的高度和宽宽，自适应的调整霍夫变换检测直线的参数。
4、采用角平分线的方法，获取指针直线。一方面，能够消除指针与表盘自带的数字、文字粘连带来的影响；另一方面，更接近人眼读数的方式，读数的结果更为准确。
附图说明
图1是本发明的流程图。
具体实施方式
本发明提出的一种基于机器视觉的单指针仪表读数方法，下面结合附图和具体实施方式对本发明进行进一步的说明。
本发明提出的一种基于机器视觉的单指针仪表读数方法，流程图如图 1所示，包括以下步骤：
步骤1：采集模板图，拍摄仪表的正视图作为模板图，对模板图进行建模，对模板图的表盘区域进行特征检测，保存建模信息和特征信息。
建模包括选取表盘区域、选取排除区域、选取刻度点和仪表的回转中心。选取的表盘区域是选取一个能够包含表盘外轮廓且不含多余信息的矩形区域，这样可以减少无关背景的干扰。选取的排除区域是选取一个包含指针轮廓点的多边形，因为指针的位置会发生变化，会对特征匹配造成干扰，所以为了提高匹配的准确率，在建模时排除指针区域。选取刻度点是指刻度线上的点，选取的点越多，角度与读数的关系描述的越准确。仪表的回转中心是指针刻度线交汇处，一般为指针的回转中心，这个点通过椭圆拟合的方法计算的会有一定的误差，人为在建模的时候选取会更准确一些。
步骤2：对待识别仪表图像进行特征检测，利用特征匹配技术完成待识别仪表图像和模板图之间的特征点匹配，获取待识别仪表图中表盘区域的定位，并且将待识别的表盘区域校准为模板图状态。
步骤1和步骤2中涉及的特征检测使用的都是SURF特征检测，具体步骤如下：
a)构造Hessian矩阵
给定图像I中某点(x，y)，在该点(x，y)处，尺度因子为σ的Hessian矩阵定义为：
其中，Lxx(x，y，σ)是高斯二阶微分在点(x，y)处与图像I的卷积， Lxy(x，y，σ)是高斯二阶微分在点(x，y)处与图像I的卷积，Lyy(x，y，σ)是高斯二阶微分在点(x，y)处与图像I的卷积。
对图像中每个像素点求H(x，y，σ)的行列式近似值即可得到输入图的一种尺度表示，改变高斯核的尺寸就可得到输入图的不同尺度表示。
b)构造高斯金字塔尺度空间
为了使图像具有尺度不变性以适应不同的图像中目标尺度的变化，我们需要构建尺度空间进行SURF特征点的提取。为了获取图像在不同尺度下通过Hessian矩阵判别式得到极值点，用类似SIFT的方法构建尺度图像金字塔，将尺度空间分为若干阶，每一阶存储不同尺寸的方框滤波对输入图像进行滤波后得到的模糊程度不同的图片。
c)定位特征点
首先，将经过hessian矩阵处理过的每个像素点与其3维领域的26个点进行比较，如果它是这26个点中的最大值或最小值，则保留下来作为初步的特征点。然后，采用3维线性插值法得到亚像素级的特征点，同时去掉那些值小于一定阈值的点，增加极值使检测到的特征点数量减少，最终只有几个特征最强点被检测出来。
d)确定特征点主方向
为了保证旋转不变性，在surf算法中，统计特征点领域内的Harr小波特征。即以特征点为中心，计算半径为6S(S为特征点所在空间的尺度值) 的邻域内，统计60度扇形内所有点在x和y方向的Haar小波响应总和，并给这些响应值赋高斯权重系数，使得靠近特征点的响应贡献大，而远离特征点的响应贡献小，然后60度范围内的响应相加以形成新的矢量，遍历整个圆形区域，选择最长矢量的方向为该特征点的主方向。
e)构造特征点描述子
在特征点周围取一个正方形框，框的边长为20S(S为特征点所在空间的尺度值)。然后把该框分为16个子区域，每个子区域统计25个像素的水平方向和垂直方向的haar小波特征，这里的水平和垂直方向都是相对主方向而言。该haar小波特征为水平方向值之和，水平方向绝对值之和，垂直方向之和，垂直方向绝对值之和。这样每个小区域就有4个值，所以每个特征点就是16*4＝64维的向量，相比SIFT而言，少了一半，这在特征匹配过程中会大大加快匹配速度。
检测出待测仪表图的SURF特征之后，利用特征匹配技术完成待测仪表图像和模板图之间的SURF特征点匹配，计算出两幅图像之间的透视变换矩阵，完成待识别仪表图中表盘区域的定位，并且将待识别的表盘区域校准为正视图。具体步骤如下：
a)通过Hessian矩阵的迹来进行初始判断，加快匹配的速度。根据光照亮度的不同，可以将特征点分为两种，第一种为特征点及其周围小邻域的亮度比背景区域要亮；第二种为特征点及其周围小邻域的亮度比背景区域要暗。对于第一种特征点，计算得到的Hessian矩阵的迹为正，而对于第二种特征点计算得到的Hessian矩阵为负。根据这个特性，对两个特征点的Hessian的迹进行比较。如果同号，说明两个特征点具有相同的对比度；如果是异号的话，说明两个特征点的对比度不同，放弃特征点之间后续的相似性度量。这样可以减少匹配所用时间，而且不会影响匹配的匹配率。
b)采用欧式距离来度量两个特征向量的匹配。对于待匹配图上的特征点，计算它到参考图像上所有特征点的欧氏距离，得到一个距离集合。通过对距离集合进行比较运算得到最小欧氏距离和次最小欧式距离。设定一个阈值，当最小欧氏距离和次最小欧式距离的比值小于该阈值时，认为特征点与对应最小欧氏距离的特征点是匹配的，否则没有点与该特征点相匹配。阈值设定越小，匹配点对越少，但匹配更稳定。本发明所选用的距离比值阈值是0.8，也就是当最小欧氏距离和次最小欧式距离的比值小于0.8 时，认为是合格的匹配点对。
c)利用距离筛选出的匹配点对计算出模板图到待测仪表图的透视变换矩阵H，结合矩阵H和模板图的四个图像角点obj_corners计算出待测仪表图中目标区域所在的四个角点scene_corners。求出矩阵H的逆矩阵H_inv，也就是待测仪表图到模板图之间的透视变换矩阵。利用矩阵H_inv将待测仪表图校准为模板图的状态，这样待测仪表图中表盘的状态和模板图表盘的状态是一致的，所以在待测仪表图中可以直接利用建模时得到的角度读数关系。
步骤3：对校准后的表盘区域图进行预处理。预处理具体过程包括：
步骤3-1：利用建模的刻度点和指针回转中心，制作图像掩码，取出表盘的中间区域。
考虑到大多数仪表为圆形表盘，制作的掩码主要是圆形掩码。以指针的回转中心为圆心，以刻度点到指针回转中心的最近距离为半径，制作出图像掩码。利用图像掩码，从校准后的表盘区域图中抠出表盘的中间区域，这样一方面可以减少无用信息的干扰，另一方面可以减少后续的运算量。
步骤3-2：对表盘的中间区域图进行亮度检测，对亮度异常的图像进行 gamma校正。
统计图像距离参考亮度的平均偏移值：
其中D代表亮度平均偏移值，mean代表参考偏移值，一般取128，I(x，y) 代表图像在(x，y)处灰度值，w代表图像宽度，h代表图像高度。
计算图像加权偏移：
其中Ca代表加权偏移，i代表灰度值，取值范围0-255，Hist(i)代表图像中灰度级为i的点个数。当Ca＞1说明图像亮度存在异常：D＞0说明图像偏暗；D＜0说明图像偏亮。
当图像亮度存在异常时，对图像进行gamma校正，提高图像对比度：
f(I)＝IY
其中f(I)为校正之后的结果，I为原始输入，γ为gamma调节参数。
当γ＜1时，在低灰度值区域内动态范围变大，高灰度值区域内动态范围变小，同时图像整体的灰度值变大，进而增强图像对比度；
当γ＞1时，低灰度值区域内动态范围变小，高灰度值区域在动态范围变大，降低了低灰度值区域图像对比度，提高了高灰度值区域图像对比度，同时图像整体的灰度值变小。
注意是对表盘的中间区域进行亮度检测和亮度校正，而不是整幅图像，因为感兴趣的区域只是表盘的中间区域。
步骤3-3：对亮度校正后的表盘中间区域图，进行阈值分割，获得二值图。
本发明利用局部邻域块的均值来获取自适应的阈值。为了高效的求邻域块的均值，本发明先计算积分图像。假设存在某个灰度图I(x，y)，那么 I(x，y)的积分图I′(x，y)可以表示为：
积分图像上位置(x，y)处的值I′(x，y)是原图像(x，y)左上角方向所有像素的和。
利用积分图可以可以快速的计算图像上某一矩形区域内的像素和：
sum(m，n)＝I′(x，y)+I′(u，v)-I′(x，v)-I′(u，y)
其中(u，v)和(x，y)分别为矩形左上和右下的端点，矩形大小为 m＝x-u，n＝y-v。
利用积分图像计算出邻域块的像素和之后，除以邻域块像素的个数，就可以得到邻域块像素的平均值。
计算出邻域块的像素的灰度平均值之后，结合指针的灰度特点，就可以计算出该领域块的阈值。本发明的实施例中使用的都是黑色指针，白色背景的仪表，取邻域块的灰度均值乘以0.85作为分割时候的阈值。
步骤4：采用基于指针特征的查找方法在预处理后表盘区域图中查找并获取指针区域。
基于指针特征，主要包括以下两个特征：(1)指针的长度特征，指针的长度一般是大于表盘的半径，小于表盘的直径；(2)指针与回转中心的距离特征，回转中心一般在指针区域内，即指针区域内的点与回转中心的距离的最小值一般接近于0。根据这两个特征，即使图像中指针断裂，也可以查找到指针区域。具体步骤包括：
步骤4-1：对表盘中间区域二值图，进行轮廓查找，保存找到的轮廓序列。
步骤4-2：对找到的轮廓序列，按照面积由大到小进行排序。
步骤4-3：取第一个轮廓点集，求轮廓点集与回转中心点的距离的最小值，如果最小距离值在给定的距离阈值范围内，则该轮廓点集被保留。否则，继续取出下一个轮廓点集，重复步骤4-3。
步骤4-4：对距离符合要求的轮廓点集求包围矩形，如果，包围矩形的长度在给定的指针长度阈值范围内，说明该轮廓点集为指针区域。否则，继续取出下一个轮廓点集，重复步骤4-3、步骤4-4，直到找到指针区域。
步骤5：对获取的指针区域图进行阴影去除。主要包括三步：
步骤5-1：利用找到的指针区域，制作图像掩码，从表盘区域灰度图中抠出这部分指针区域灰度图。
步骤5-2：利用指数图像增强技术，增强指针区域灰度图的对比度。指数图像增强技术具体实现如下：先统计出指针区域灰度图的最小灰度值 graymin和最大灰度值graymax，然后根据下列公式计算在像素(x，y)增强后的像素灰度值E(x，y)。
其中g(x，y)是增强前像素(x，y)处的灰度值。通过合理的选择r可以压缩灰度范围，r为参数。
步骤5-3：重新阈值分割，完成指针区域的阴影去除。计算增强后的指针区域的灰度值的平均值，然后取平均值乘以一定阈值系数，作为阈值对指针区域重新阈值分割，分离实际的指针区域与阴影区域。
其使用的参数r为3，阈值系数是0.8。
步骤6：采用形态学方法在指针区域图中获取指针的单像素边界，利用自适应的指针边界直线检测方法获取指针边界线，求角平分线得到指针直线。
自适应的边界直线检测，具体包括：利用指针区域的最小面积包围矩形的宽和高可以自适应的设置霍夫变换检测直线的三个参数：累加器阈值、最小长度阈值和最大间距阈值。
检测到边界直线之后，针对某些直线可能是重复表示一条指针边界线的情况，对直线进行合并处理。合并之后的直线可以分为两条，分别对应指针的两条边界线，采用求角平分线的方法就可以得到指针直线。这种方法，一方面可以消除指针与表盘自带的数字、文字粘连带来的影响，另一方面和人眼读数的方式是相似的，具有更好的准确度。
步骤7：利用投影法完成指针的方向判断。
利用指针前端和后端的粗细程度不同这一特点，将指针的中心线旋转成水平状态，然后向对指针进行投影完成指针的方向判断。
步骤8：利用角度法完成仪表读数。
根据建模时的刻度点信息和读数信息，计算每一个刻度点与指针回转中心连线与x轴正方向的夹角，然后建立其角度与读数之间的关系式。在找到待测直线并确定了直线方向之后，求出待测指针直线与x轴正方向的夹角，然后带入角度与读数关系式，就能完成对仪表的读数。
上述虽然结合附图对本发明的具体实施进行了描述，但并非对本发明保护范围的限制，本领域技术人员在不需要创造性成果的前提下，做出的各种修改都应当视为属于本发明的保护范围。

Claims (9)

1.一种基于机器视觉的单指针仪表读数方法，其特征在于包括如下步骤：
步骤1：采集模板图：拍摄仪表的正视图作为模板图，对模板图进行建模，对模板图的表盘区域进行特征检测，保存建模信息和特征信息；
步骤2：对待识别仪表图像进行特征检测，利用特征匹配技术完成待识别仪表图像和模板图之间的特征点匹配，获取待识别仪表图中表盘区域的定位，并且将待识别的表盘区域校准为模板图状态；
步骤3：对校准后的表盘区域图进行预处理；
步骤4：采用基于指针特征的查找方法在预处理后表盘区域图中查找并获取指针区域；
步骤5：对获取的指针区域图进行阴影去除；
步骤6：采用形态学方法在指针区域图中获取指针的单像素边界，利用自适应的指针边界直线检测方法获取指针边界线，求角平分线得到指针直线；
步骤7：利用投影法完成指针的方向判断；
步骤8：利用角度法完成仪表读数。
2.根据权利要求1所述的基于机器视觉的单指针仪表读数方法，其特征在于，步骤1中所述的建模包括选取表盘区域、选取排除区域、选取刻度点和仪表的回转中心。
3.根据权利要求1所述的基于机器视觉的单指针仪表读数方法，其特征在于，步骤1和步骤2中所述的特征检测采用是SURF特征检测(Speeded Up Robust Features)。
4.根据权利要求1所述的基于机器视觉的单指针仪表读数方法，其特征在于，步骤3对校准后的表盘区域图进行预处理具体包括以下步骤：
步骤(3-1)：利用建模时选取的刻度点和回转中心，制作图像掩码，取出表盘的中间区域；
步骤(3-2)：对表盘的中间区域图进行亮度检测，对亮度异常的图像进行gamma校正；
步骤(3-3)：对亮度校正后的表盘中间区域图，进行局部自适应阈值分割，获得二值图。
5.根据权利要求1所述的基于机器视觉的单指针仪表读数方法，其特征在于，步骤4中所述指针特征包括以下两个特征：(1)指针的长度特征，指针的长度一般是大于表盘的半径，小于表盘的直径；(2)指针与回转中心的距离特征，回转中心在指针区域内，即指针区域内的点与回转中心的距离的最小值接近于0；利用基于指针特征的查找方法在预处理后表盘区域图中查找并获取指针区域的具体步骤包括：
步骤4-1：对表盘中间区域二值图进行轮廓查找，保存找到的轮廓序列；
步骤4-2：对找到的轮廓序列，按照面积由大到小进行排序；
步骤4-3：取第一个轮廓点集，求轮廓点集与回转中心点距离的最小值，如果最小值在给定的距离阈值范围内，该轮廓点集被保留；否则，继续取出下一个轮廓点集，重复步骤4-3；
步骤4-4：对距离符合要求的轮廓点集求最小面积包围矩形，如果最小面积包围矩形的长度在给定的指针长度阈值范围内，说明该轮廓点集为指针区域；否则，继续取出下一个轮廓点集，重复步骤4-3、步骤4-4，直到找到指针区域。
6.根据权利要求1所述的基于机器视觉的单指针仪表读数方法，其特征在于，步骤5对获取的指针区域图进行阴影去除的具体步骤包括：
步骤5-1：利用找到的指针区域，从表盘区域灰度图中抠出指针区域灰度图；
步骤5-2：利用指数图像增强技术，增强指针区域灰度图的对比度；
步骤5-3：重新阈值分割，完成指针区域的阴影去除。
7.根据权利要求1所述的基于机器视觉的单指针仪表读数方法，其特征在于，步骤6中自适应的指针边界直线检测方法获取指针边界线的具体包括：利用指针区域的最小面积包围矩形的宽度和高度，自适应的设置霍夫变换检测直线的三个参数：累加器阈值、最小长度阈值和最大间距阈值。
8.根据权利要求1所述的基于机器视觉的单指针仪表读数方法，其特征在于，步骤7中利用投影法完成指针方向判断，具体包括：利用指针前端和后端的粗细程度不同，将去除阴影之后的指针区域的中心线旋转成水平状态，然后对指针区域进行竖直方向投影完成指针的方向判断。
9.根据权利要求1所述的基于机器视觉的单指针仪表读数方法，其特征在于，步骤8中利用角度法完成指针读数，具体包括：首先，根据建模时的刻度点信息和读数信息，计算每一个刻度点与指针回转中心连线与x轴正方向的夹角，建立角度与读数之间的关系式；然后，在找到待测指针直线并确定了指针方向之后，求出待测指针直线与x轴正方向的夹角，然后带入角度与读数关系式，就能完成对仪表的读数。
CN201711168146.7A 2017-11-21 2017-11-21 一种基于机器视觉的单指针仪表读数方法 Withdrawn CN108009535A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711168146.7A CN108009535A (zh) 2017-11-21 2017-11-21 一种基于机器视觉的单指针仪表读数方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711168146.7A CN108009535A (zh) 2017-11-21 2017-11-21 一种基于机器视觉的单指针仪表读数方法

Publications (1)

Publication Number Publication Date
CN108009535A true CN108009535A (zh) 2018-05-08

Family

ID=62052953

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711168146.7A Withdrawn CN108009535A (zh) 2017-11-21 2017-11-21 一种基于机器视觉的单指针仪表读数方法

Country Status (1)

Country Link
CN (1) CN108009535A (zh)

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764257A (zh) * 2018-05-23 2018-11-06 郑州金惠计算机系统工程有限公司 一种多视角的指针式仪表识别方法
CN108955909A (zh) * 2018-05-31 2018-12-07 广东工业大学 一种基于机器视觉的油温表识别读数方法
CN108960226A (zh) * 2018-07-12 2018-12-07 广东电网有限责任公司 一种指针仪类表示值读数方法及装置
CN108960231A (zh) * 2018-05-31 2018-12-07 广东工业大学 一种基于机器视觉的细指针表盘识别读数方法
CN109145699A (zh) * 2018-06-04 2019-01-04 浙江立石机器人技术有限公司 仪表图像识别方法及装置
CN109447062A (zh) * 2018-09-29 2019-03-08 南京理工大学 基于巡检机器人的指针型仪表识别方法
CN109522896A (zh) * 2018-11-19 2019-03-26 武汉科技大学 基于模板匹配与双自由度云台相机的仪表搜寻方法
CN109544628A (zh) * 2018-11-23 2019-03-29 福州大学 一种指针式仪表的准确读数识别系统及方法
CN109740616A (zh) * 2019-01-04 2019-05-10 山东交通学院 一种利用计算机视觉实现双指针仪表自动读数的方法
CN109858560A (zh) * 2019-02-18 2019-06-07 广东中粤电力科技有限公司 一种指针式仪表图像识别读数及安全预警方法
CN110111387A (zh) * 2019-04-19 2019-08-09 南京大学 一种基于表盘特征的指针表定位及读数算法
CN110211178A (zh) * 2019-06-10 2019-09-06 重庆邮电大学 一种利用投影计算的指针式仪表识别方法
CN110363202A (zh) * 2019-07-23 2019-10-22 深圳中科捷飞科技有限公司 指针式仪表数值读取方法及计算机终端
CN110837782A (zh) * 2019-10-16 2020-02-25 吉林大学 一种根据材料拉伸过程监控视频识别断裂信息的方法
CN110852213A (zh) * 2019-10-30 2020-02-28 天津大学 基于模版匹配的指针式仪表多情况自动化读数方法
CN111476246A (zh) * 2020-04-07 2020-07-31 杭州国彪超声设备有限公司 应用于复杂环境下指针仪表鲁棒高效智读方法
CN111652244A (zh) * 2020-04-27 2020-09-11 合肥中科类脑智能技术有限公司 一种基于无监督特征提取和匹配的指针式表计识别方法
CN111814740A (zh) * 2020-07-28 2020-10-23 南方电网数字电网研究院有限公司 指针仪表读数的识别方法、装置、计算机设备和存储介质
CN111950553A (zh) * 2020-08-17 2020-11-17 广东电科院能源技术有限责任公司 一种指针式仪表自动对准方法及装置
CN112001934A (zh) * 2019-05-27 2020-11-27 株式会社东芝 读取系统、移动体、读取方法以及存储介质
CN112001379A (zh) * 2020-05-19 2020-11-27 西安工程大学 基于机器视觉的汽车仪表固定视点读取仪表的修正算法
CN112233110A (zh) * 2020-11-18 2021-01-15 苏州斯玛维科技有限公司 芯片键合线的分割方法及其分割装置
CN112232209A (zh) * 2020-10-16 2021-01-15 蓝普金睛（北京）科技有限公司 用于变电站巡检机器人的指针式仪表盘读数的识别方法
CN112464986A (zh) * 2020-10-30 2021-03-09 济南浪潮高新科技投资发展有限公司 一种指针型圆盘仪表的读数方法及设备
CN112508084A (zh) * 2020-12-04 2021-03-16 宁波智能装备研究院有限公司 复杂工业环境下基于模糊相似性度量的机器视觉检测方法
CN113283466A (zh) * 2021-04-12 2021-08-20 开放智能机器（上海）有限公司 一种仪表读数识别方法及装置、可读存储介质
CN113792616A (zh) * 2021-08-26 2021-12-14 南方电网深圳数字电网研究院有限公司 一种基于边缘计算的远程读表系统及其工作方法
CN114092870A (zh) * 2021-10-19 2022-02-25 国家石油天然气管网集团有限公司 一种应用于轮式巡检机器人的仪表自动定位识别方法
CN114220085A (zh) * 2021-10-09 2022-03-22 中国民航科学技术研究院 航空仪表盘的识别方法、可读存储介质及计算机设备
CN114549835A (zh) * 2022-02-15 2022-05-27 中国人民解放军海军工程大学 一种基于深度学习的指针式仪表矫正识别方法及装置
CN114676957A (zh) * 2022-01-27 2022-06-28 福建瑞达精工股份有限公司 一种钟表产品装配质量数据分析系统
CN115331014A (zh) * 2022-10-17 2022-11-11 暨南大学 一种基于机器视觉的指针仪表读数方法及系统、存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101324452A (zh) * 2008-07-22 2008-12-17 中国计量学院 一种指针式仪表自动检定方法
CN101620682A (zh) * 2008-06-30 2010-01-06 汉王科技股份有限公司 一种指针式仪表读数自动识别的方法及系统
CN103020627A (zh) * 2012-11-14 2013-04-03 中国人民解放军63963部队 一种特种车辆仪表指针的提取方法
CN103927507A (zh) * 2013-01-12 2014-07-16 山东鲁能智能技术有限公司 一种改进的变电站巡检机器人的多仪表读数识别方法
CN104392206A (zh) * 2014-10-24 2015-03-04 南京航空航天大学 一种指针式仪表读数自动识别的图像处理方法
CN106778823A (zh) * 2016-11-22 2017-05-31 国网湖北省电力公司宜昌供电公司 一种指针式仪表读数自动识别方法
CN106951900A (zh) * 2017-04-13 2017-07-14 杭州申昊科技股份有限公司 一种避雷器仪表读数的自动识别方法
CN107133623A (zh) * 2017-05-11 2017-09-05 安徽慧视金瞳科技有限公司 一种基于背景差和圆心定位的指针位置精确检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101620682A (zh) * 2008-06-30 2010-01-06 汉王科技股份有限公司 一种指针式仪表读数自动识别的方法及系统
CN101324452A (zh) * 2008-07-22 2008-12-17 中国计量学院 一种指针式仪表自动检定方法
CN103020627A (zh) * 2012-11-14 2013-04-03 中国人民解放军63963部队 一种特种车辆仪表指针的提取方法
CN103927507A (zh) * 2013-01-12 2014-07-16 山东鲁能智能技术有限公司 一种改进的变电站巡检机器人的多仪表读数识别方法
CN104392206A (zh) * 2014-10-24 2015-03-04 南京航空航天大学 一种指针式仪表读数自动识别的图像处理方法
CN106778823A (zh) * 2016-11-22 2017-05-31 国网湖北省电力公司宜昌供电公司 一种指针式仪表读数自动识别方法
CN106951900A (zh) * 2017-04-13 2017-07-14 杭州申昊科技股份有限公司 一种避雷器仪表读数的自动识别方法
CN107133623A (zh) * 2017-05-11 2017-09-05 安徽慧视金瞳科技有限公司 一种基于背景差和圆心定位的指针位置精确检测方法

Cited By (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764257A (zh) * 2018-05-23 2018-11-06 郑州金惠计算机系统工程有限公司 一种多视角的指针式仪表识别方法
CN108764257B (zh) * 2018-05-23 2022-03-04 郑州金惠计算机系统工程有限公司 一种多视角的指针式仪表识别方法
CN108955909A (zh) * 2018-05-31 2018-12-07 广东工业大学 一种基于机器视觉的油温表识别读数方法
CN108960231A (zh) * 2018-05-31 2018-12-07 广东工业大学 一种基于机器视觉的细指针表盘识别读数方法
CN109145699A (zh) * 2018-06-04 2019-01-04 浙江立石机器人技术有限公司 仪表图像识别方法及装置
CN108960226B (zh) * 2018-07-12 2021-12-17 南方电网电力科技股份有限公司 一种指针仪类表示值读数方法及装置
CN108960226A (zh) * 2018-07-12 2018-12-07 广东电网有限责任公司 一种指针仪类表示值读数方法及装置
CN109447062A (zh) * 2018-09-29 2019-03-08 南京理工大学 基于巡检机器人的指针型仪表识别方法
CN109522896A (zh) * 2018-11-19 2019-03-26 武汉科技大学 基于模板匹配与双自由度云台相机的仪表搜寻方法
CN109544628B (zh) * 2018-11-23 2021-08-31 福州大学 一种指针式仪表的准确读数识别系统及方法
CN109544628A (zh) * 2018-11-23 2019-03-29 福州大学 一种指针式仪表的准确读数识别系统及方法
CN109740616A (zh) * 2019-01-04 2019-05-10 山东交通学院 一种利用计算机视觉实现双指针仪表自动读数的方法
CN109740616B (zh) * 2019-01-04 2023-01-31 山东交通学院 一种利用计算机视觉实现双指针仪表自动读数的方法
CN109858560A (zh) * 2019-02-18 2019-06-07 广东中粤电力科技有限公司 一种指针式仪表图像识别读数及安全预警方法
CN110111387A (zh) * 2019-04-19 2019-08-09 南京大学 一种基于表盘特征的指针表定位及读数算法
CN110111387B (zh) * 2019-04-19 2021-07-27 南京大学 一种基于表盘特征的指针表定位及读数方法
CN112001934B (zh) * 2019-05-27 2024-10-18 株式会社东芝 读取系统、移动体、读取方法以及存储介质
CN112001934A (zh) * 2019-05-27 2020-11-27 株式会社东芝 读取系统、移动体、读取方法以及存储介质
CN110211178A (zh) * 2019-06-10 2019-09-06 重庆邮电大学 一种利用投影计算的指针式仪表识别方法
CN110211178B (zh) * 2019-06-10 2021-07-06 重庆邮电大学 一种利用投影计算的指针式仪表识别方法
CN110363202A (zh) * 2019-07-23 2019-10-22 深圳中科捷飞科技有限公司 指针式仪表数值读取方法及计算机终端
CN110837782A (zh) * 2019-10-16 2020-02-25 吉林大学 一种根据材料拉伸过程监控视频识别断裂信息的方法
CN110852213B (zh) * 2019-10-30 2023-12-12 天津大学 基于模版匹配的指针式仪表多情况自动化读数方法
CN110852213A (zh) * 2019-10-30 2020-02-28 天津大学 基于模版匹配的指针式仪表多情况自动化读数方法
CN111476246B (zh) * 2020-04-07 2022-11-11 杭州国彪超声设备有限公司 应用于复杂环境下指针仪表鲁棒高效智读方法
CN111476246A (zh) * 2020-04-07 2020-07-31 杭州国彪超声设备有限公司 应用于复杂环境下指针仪表鲁棒高效智读方法
CN111652244A (zh) * 2020-04-27 2020-09-11 合肥中科类脑智能技术有限公司 一种基于无监督特征提取和匹配的指针式表计识别方法
CN112001379A (zh) * 2020-05-19 2020-11-27 西安工程大学 基于机器视觉的汽车仪表固定视点读取仪表的修正算法
CN111814740B (zh) * 2020-07-28 2024-03-26 南方电网数字电网研究院有限公司 指针仪表读数的识别方法、装置、计算机设备和存储介质
CN111814740A (zh) * 2020-07-28 2020-10-23 南方电网数字电网研究院有限公司 指针仪表读数的识别方法、装置、计算机设备和存储介质
CN111950553A (zh) * 2020-08-17 2020-11-17 广东电科院能源技术有限责任公司 一种指针式仪表自动对准方法及装置
CN112232209A (zh) * 2020-10-16 2021-01-15 蓝普金睛（北京）科技有限公司 用于变电站巡检机器人的指针式仪表盘读数的识别方法
CN112464986B (zh) * 2020-10-30 2023-01-24 山东浪潮科学研究院有限公司 一种指针型圆盘仪表的读数方法及设备
CN112464986A (zh) * 2020-10-30 2021-03-09 济南浪潮高新科技投资发展有限公司 一种指针型圆盘仪表的读数方法及设备
CN112233110A (zh) * 2020-11-18 2021-01-15 苏州斯玛维科技有限公司 芯片键合线的分割方法及其分割装置
CN112233110B (zh) * 2020-11-18 2023-04-07 苏州斯玛维科技有限公司 芯片键合线的分割方法及其分割装置
CN112508084B (zh) * 2020-12-04 2022-05-03 宁波智能装备研究院有限公司 复杂工业环境下基于模糊相似性度量的机器视觉检测方法
CN112508084A (zh) * 2020-12-04 2021-03-16 宁波智能装备研究院有限公司 复杂工业环境下基于模糊相似性度量的机器视觉检测方法
CN113283466A (zh) * 2021-04-12 2021-08-20 开放智能机器（上海）有限公司 一种仪表读数识别方法及装置、可读存储介质
CN113792616A (zh) * 2021-08-26 2021-12-14 南方电网深圳数字电网研究院有限公司 一种基于边缘计算的远程读表系统及其工作方法
CN114220085A (zh) * 2021-10-09 2022-03-22 中国民航科学技术研究院 航空仪表盘的识别方法、可读存储介质及计算机设备
CN114092870A (zh) * 2021-10-19 2022-02-25 国家石油天然气管网集团有限公司 一种应用于轮式巡检机器人的仪表自动定位识别方法
CN114676957A (zh) * 2022-01-27 2022-06-28 福建瑞达精工股份有限公司 一种钟表产品装配质量数据分析系统
CN114549835A (zh) * 2022-02-15 2022-05-27 中国人民解放军海军工程大学 一种基于深度学习的指针式仪表矫正识别方法及装置
CN115331014A (zh) * 2022-10-17 2022-11-11 暨南大学 一种基于机器视觉的指针仪表读数方法及系统、存储介质

Similar Documents

Publication Publication Date Title
CN108009535A (zh) 一种基于机器视觉的单指针仪表读数方法
CN108121985A (zh) 一种基于机器视觉的双指针仪表读数方法
Liu et al. DeepCrack: A deep hierarchical feature learning architecture for crack segmentation
CN112949564B (zh) 一种基于深度学习的指针式仪表自动读数方法
CN107680054B (zh) 雾霾环境下多源图像融合方法
CN106709909B (zh) 一种基于深度学习的柔性机器人视觉识别与定位系统
CN107103298B (zh) 基于图像处理的引体向上计数系统及计数方法
CN107967482A (zh) 图标识别方法及装置
WO2018024030A1 (zh) 一种夜视红外图像中的基于显著性的道路目标提取方法
CN104112269B (zh) 一种基于机器视觉的太阳能电池激光刻线参数检测方法及系统
CN108399386A (zh) 饼图中的信息提取方法及装置
CN106778823A (zh) 一种指针式仪表读数自动识别方法
CN105354865A (zh) 多光谱遥感卫星影像自动云检测方法及系统
CN106936964B (zh) 一种基于霍夫变换模板匹配的手机屏幕角点检测方法
CN110334762A (zh) 一种基于四叉树结合orb和sift的特征匹配方法
CN106407924A (zh) 基于路面特征的双目道路识别检测方法
CN106709500A (zh) 一种图像特征匹配的方法
CN107123188A (zh) 基于模板匹配算法和边缘特征的伤票识别与定位方法
CN107038416A (zh) 一种基于二值图像改进型hog特征的行人检测方法
CN111798404B (zh) 基于深度神经网络的虹膜图像质量评估方法及评估系统
CN109766818A (zh) 瞳孔中心定位方法及系统、计算机设备及可读存储介质
CN104574312A (zh) 标靶图像求圆心的方法和装置
CN105225216A (zh) 基于空间距圆标记边缘检测的虹膜预处理算法
CN108681689A (zh) 基于生成对抗网络的帧率增强步态识别方法及装置
CN112381177A (zh) 一种基于深度学习的表盘数字字符识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20180508

WW01 Invention patent application withdrawn after publication