CN110852213A - 基于模版匹配的指针式仪表多情况自动化读数方法 - Google Patents
基于模版匹配的指针式仪表多情况自动化读数方法 Download PDFInfo
- Publication number
- CN110852213A CN110852213A CN201911043306.4A CN201911043306A CN110852213A CN 110852213 A CN110852213 A CN 110852213A CN 201911043306 A CN201911043306 A CN 201911043306A CN 110852213 A CN110852213 A CN 110852213A
- Authority
- CN
- China
- Prior art keywords
- pointer
- image
- template
- calculating
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000009466 transformation Effects 0.000 claims abstract description 29
- 238000004422 calculation algorithm Methods 0.000 claims description 57
- 239000013598 vector Substances 0.000 claims description 41
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000012937 correction Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 4
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000005286 illumination Methods 0.000 description 16
- 230000008859 change Effects 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 6
- 238000007689 inspection Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000003702 image correction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/02—Recognising information on displays, dials, clocks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于模版匹配的指针式仪表多情况自动化读数方法,包括下列步骤:第一步,基于角点匹配与透视变换的表盘姿态矫正;第二步,基于两步法的模板匹配定位指针中心;第三步,基于Zernike图像矩的指针旋转角度估计。
Description
技术领域
本发明属于模式识别与图像处理领域,主要涉及图像配准,图像视角纠正,以及环境光照变化以及小物体遮挡情况下的指针式仪表自动化准确读数。
背景技术
在变电站,配电站等电力系统场景中,由于指针式仪表具有结构简单,性能稳定,低成本,和较强抗干扰性的特点,相比于数字式仪表,环境变化对于它有较小的影响,所以指针式仪表被广泛应用。但是指针式仪表没有电子接口,在数据读取上需要人工巡检,效率与准确率不高,并且人工读数可能对工作人员造成人身安全问题。所以设计一种适合于机器人自动巡检的算法对于实现智能化电网具有重要作用。
在实现变电站机器人自动化巡检过程中也遇到了许多技术难点:
首先,表计识别的理想情况是在图像采集过程中,摄像机镜头始终平行正对目标表盘,但是在实际应用中机器人一般距离待检测表计有一段距离,并且有一定的倾角,这将必然导致图像识别算法读数有难以消除的严重视觉误差。针对这样的问题,Zheng等[1]提出一种用于矩形指针式仪表的偏转姿态矫正算法,利用多边形拟合的方式提取图像中的四边形表盘边缘,然后使用不规则四边形与矩形的透视变换矩阵纠正表盘的偏转,这种方法的缺点是需要提前标定正对表盘的四个角点,且在仪表轮廓不是四边形情况下算法失去作用。另外Fu等[2]提出人工角点标定后利用透视变换纠正表盘偏转的方法,Xing等[3]提出利用椭圆拟合得到长短轴两端点的坐标作为计算透视变换的依据,然后使用透视变换纠正表盘偏转。人工角点标定的方式适用于固定设备固定视角的场景,很难适用于自动巡检机器人;而椭圆拟合的方式误差较大,且对于表盘自身存在中心旋转的情况下,此算法将有较大误差。上述算法只能解决特定情景的表盘图像矫正问题,且未考虑环境变化的影响,所以提出一种准确率高,鲁棒性强的表盘纠正方法对于自动化识别表计十分重要。
其次,目前在无偏转的指针仪表读数领域,总体上可分为角度法和距离法,角度法主要着眼于指针旋转中心和指针的定位,距离法则着眼于表盘刻度线的提取,两种方式的读数算法均需要面对环境光照变化,小物体遮挡的问题。角度法是通过识别表针与表盘0刻度线的旋转角度,利用旋转角度与刻度关系计算出读数,这种方式依赖于指针旋转中心与指针的精确定位;距离法通过计算指针的末端距离指针两侧刻度线的距离得到读数,此算法严重依赖于刻度线的完整准确提取。关于这两种识别方式许多的研究者也提出了各种优秀的经典算法。例如,国外F.Corrêa Alegria等人利用减影法与Hough直线检测提取表针位置,使用角度法获得表盘度数,这种算法缺点是一般需要亚像素级的精确定位或者表盘配准,不适用于露天环境干扰较大的场景;距离法是指将表盘的刻度部分极线展开成直角坐标形式,然后利用垂直投影的方式进行表针与刻度交点的定位,典型的算法如Zheng等[4]使用极线展开算法结合投影算法的识别算法。这种以刻度线为参考的距离法基于表盘刻度线完整提取,在光照不均匀、异物遮挡情况下刻度线可能出现损失,导致距离法无法进行。另外对于距离法中的刻度线缺失问题,Li等[5]提出一种刻度线延伸的方式修复缺失的刻度线,这种算法较为依赖未缺失部分刻度线的提取准确性,未从根本上解决光照变化与小物体遮挡的问题。
综上所述,目前的指针式仪表读数算法,未能系统的解决指针式仪表自动化识别过程可能出现的光照情况复杂、角度倾斜、小物体遮挡等因素的干扰,鲁棒性较差。
参考文献:
[1]Zheng C,Wang S,Zhang Y,et al.A Robust and Automatic RecognitionSystem of Analog Instruments in Power System by Using Computer Vision[J].Measurement,2016:S0263224116303372.
[2]F.Yuan,"A method of correcting the pointer reading of deflectionpointer instrument,"2017 Chinese Automation Congress(CAC),Jinan,2017,pp.5517-5520.
[3]Haoqiang X,Zhiqi D,Bo S.Detection and recognition method forpointer-type meter in transformer substation[J].Chinese Journal ofScientificInstrument,2017.
[4]X.Zheng,X.Chen,X.Zhou and X.Mou,"Pointer Instrument RecognitionAlgorithm Based on Haar-Like Feature and Polar Expansion,"2018IEEE 3rdInternational Conference on Image,Vision and Computing(ICIVC),Chongqing,2018,pp.188-193.
[5]Li Q,Fang Y,He Y,et al.Automatic reading system based on automaticalignment control for pointer meter[C]//Conference ofthe IEEE IndustrialElectronics Society.IEEE,2015.
发明内容
本发明从变电站环境中指针式仪表的安装姿态与工作环境等问题给自动化表计读数识别带来的困难出发,设计了一种具有自动纠正表盘姿态,并且具有良好抗光照变化影响与抗小物体遮挡情况的能力的自动化表计识别方法。技术方案如下:
一种基于模版匹配的指针式仪表多情况自动化读数方法,包括下列步骤:
第一步,基于角点匹配与透视变换的表盘姿态矫正
(1)分别计算事先获取的高分辨率正视图表盘图像与待测图像的SIFT特征点;
(2)采用最近邻算法(NNDR)匹配模版图与待测图特征点对,筛选阈值设定为0.8;
(3)使用RANSAC算法筛选错误匹配点,得到最佳匹配点对;
(4)根据匹配点对计算透视变换矩阵H;
(5)对待测图像进行透视变换逆变换,变换输出尺寸等于模版图尺寸,得到姿态矫正后的待测图像;
(6)对上一步操作输出图像进行形态学处理的开操作,开操作核大小为3*3,去除表盘图像中文字信息影响;
第二步,基于两步法的模板匹配定位指针中心
(1)计算指针模版的Hu矩特征向量;
(2)指针模版在待测图像中从左到右从上到下滑动搜索指针所在区域,计算指针模版覆盖区域待测图像子图的Hu矩特征向量;
(3)计算每个搜索到的待测图像子图Hu矩特征向量与指针模版Hu特征向量的欧氏距离相似度,当相似度高于某一阈值,此区域被选为指针定位候选区域;
(4)在指针定位候选区域中,以区域内每个点为中心计算指针模版大小范围内待测图像子图的改进后的圆投影向量,改进后的圆投影向量计算步骤如下:
(a)定义待测图像子图为T(x,y),大小为N*N;子图的中心坐标为(xc,yc),以此为中心将直角坐标系的子图转换到极坐标系,x=rcosθ,y=rsinθ,其中r为子图上像素点到子图中心的距离 r∈[0,R],R=N/2,θ为自变量,θ∈(0,2π];
(5)计算各个子图改进后的圆投影向量与指针模板改进后的圆投影向量的余弦相似度,当余弦相似度高于0.98时,对应的点被列入指针中心定位候选点序列;
(6)计算以上述指针中心定位候选点序列的点为中心的各个待测图像子图区域的Zernike矩特征向量;
(7)计算各个子图的Zernike矩特征向量与指针模版图Zernike矩特征向量的余弦相似度,取余弦相似度最高的子图位置作为最终指针中心定位结果;
第三步,基于Zernike图像矩的指针旋转角度估计
(1)分别计算指针模版与指针中心定位区域的Zernike矩的相位角;
(2)根据指针模版与指针中心定位区域的相位差α来旋转指针模版图像,得到两张旋转角度分别为α与α+π的指针图像;
(3)分别计算指针图像与指针模版图像的相似度(MSE),经过判断得到待测图像的指针真实旋转角度;
(4)将指针真实旋转角度利用角度法计算得到指针式仪表读数。
本发明从变电站实际环境中指针式仪表自动化识别可能遇到的困难出发,设计了一种自动化纠正表盘姿态偏转,在光线较暗且有小物体遮挡情况下均可自动化读取仪表读数的算法。自动化的姿态纠正避免了一般情况下需要人工标记仪表安装姿态与人工标记表盘刻度起始位置的复杂低效工作,图像纠正后的读数算法也具有良好的抗干扰性能,能较好的适应变电站露天的复杂环境并进行指针式仪表的自动化巡检。算法总体在保证准确,高效的同时能够有效替代人工采集仪表读数,提高变电站工作效率与准确率,减少人工巡检可能给工作人员带来的危险。
附图说明
附图1 表盘姿态矫正部分流程示意图
附图2 指针定位部分流程示意图
附图3 指针旋转角度计算流程示意图
附图4 指针式仪表的检测算法总流程图
附图5 圆投影示意图
附图6 相位差情况示意图
附图7 两种相位差情况下的图像
附图8 多种实验环境算法识别效果
附图9 标准图库识别精度
附图10 标准图库绝对误差要求与准确度关系
附图11 算法结果与真值的变化关系
具体实施方式
本发明从变电站环境中指针式仪表的安装姿态与工作环境等问题给自动化表计读数识别带来的困难出发,设计了一种具有自动纠正表盘姿态,并且具有良好抗光照变化影响与抗小物体遮挡情况的能力的自动化表计识别算法。算法主要由三部分组成:基于角点匹配与透视变换的表盘姿态自动矫正;基于两步法的模板匹配定位指针中心;基于Zernike图像矩的指针旋转角度估计。概括如下:
(1)基于角点匹配与透视变换的表盘姿态自动矫正部分
事先获取一张高分辨率的正对视角的表盘图像作为第一阶段矫正模板图,采用SIFT角点检测算法分别提取模板图与待测图像的特征点,采用最近邻匹配准则初步匹配待测图像与模板表盘的匹配点对;由于表盘图像细节较多,为错误匹配点组合造成下一步透视变换矩阵的计算误差,采用RANSAC算法筛除错误匹配点对。根据筛选后的匹配点对计算得到最优的透视变换矩阵,对待测图像做透视变换逆变换,得到矫正后的表盘图像,同时进行形态学操作去除表盘上的文字干扰。具体操作流程如图1所示。
(2)基于两步法的模板匹配定位指针中心
如图2所示,两步法模板匹配是指模板匹配分为两个阶段:粗匹配阶段与精确匹配阶段。这样做的目的是:粗匹配阶段采用的Hu矩与改进的圆投影算法具有相对较少的计算量,可以得到指针的粗略位置范围,减少精确匹配阶段计算量;精确匹配采用定位精度高但是计算复杂度高的Zernike矩。具体操作为:利用HU矩图像特征在搜索图像中确定一个指针存在的矩形区域A,在A区域中使用改进的圆投影图像特征进一步获得指针中心的位置的备选点集合,完成初步的粗匹配阶段;在精确匹配阶段使用多个不同等级的Zernike矩幅度信息从粗匹配的备选点中确定最终的指针中心。
(3)基于Zernike图像矩的指针旋转角度估计
在获得指针中心后利用Zernike矩的相位信息与目标旋转角度存在的关系计算得到搜索图中指针相对于模板指针顺时针的旋转角度;最后根据指针偏转角度与表盘刻度的关系拟合函数关系,将指针偏转角度带入得到最终算法识别表计读数。此部分算法流程图如图3所示。
本发明总体设计流程图如图4所示。
不同于表计识别领域对于表盘姿态矫正问题提出的人工标定姿态,椭圆拟合以及四边形拟合等算法,本发明仅需提前获取一张正对视角的表盘图像作为模板,采用角点匹配算法即可自动化矫正图像。另外在表计读数阶段考虑到指针式仪表工作环境的光照以及可能受到的小物体遮挡问题,算法采用具有光照不变性以及较好抗干扰性能的图像矩与改进的圆投影算法定位指针并计算指针相对于指针模板的旋转角度,最后根据指针旋转角度与表盘刻度的线性关系计算出最终的仪表读数结果。
为使本发明的技术方案更加清楚,下面对本发明具体实施方式做进一步地描述。如图4所示,本发明按以下步骤具体实现:
1.基于角点匹配与透视变换的表盘姿态自动矫正
本算法为保证表盘矫正的准确性牺牲算法时间以获得更多的匹配点对,采用SIFT(尺度不变特征变换) 角点检测匹配算法提取模板图和待测图的特征点,使用最近邻算法(NNDR)匹配(筛选阈值设为0.8),然后使用RANSAC算法筛选误匹配点,最后通过匹配点对计算偏转图与模板图的透视变换矩阵,使用透视变换矩阵的逆矩阵将偏转图纠正到正视图姿态。
透视变换是将图像投影转换为新的视觉平面。一般转换方程如下:
X′=XH \*MERGEFORMAT (1)
X=(u,v,w)是源图像的齐次坐标,X'=(x',y',w')为源图像经过透视变换后的齐次坐标,为了计算方便可以令w 与w'均为1。假设转后的图像坐标为x和y,那么x=x'/w',y=y'/w'。透视变换矩阵为3*3大小的H矩阵,通常情况下可以将h33归一化为1。
在透视变换中可将输出图像大小设置为等于模板图像大小,以达到图像尺度的统一。利用图像处理中常用的开操作来去除矫正过的表盘图像上的文字干扰,开操作的核尺度可以根据制作的表盘模板大小进行实验确定,本发明制作的表盘模板大小为450*450,开操作核大小为3*3。
2.基于两步法的模板匹配定位指针中心
模板匹配是指,假设经过矫正和开操作的表盘图像为A,指针模版图像为T,将T在A中从左到右从上到下寻找最相似区域作为模板图像T在待测图像A中的定位。在指针中心定位阶段采用粗匹配到精确匹配的定位策略。
首先,粗匹配阶段包含基于Hu矩与改进的圆投影算法。在模板图T在待测图A上平移时,计算A中每个被模板图T搜索区域的Hu矩特征向量,这个向量包含7个不同阶数的Hu矩;将各个被搜索区域的特征向量与模板图T的特征向量计算以欧氏距离为标准的相似度,当相似度超过某一阈值时,此区域可作为指针定位的候选区域。
经过改进的圆投影算法用于进一步筛选基于Hu矩模板匹配所得到的候选区域。以下介绍圆投影算法及其改进算法:
定义指针模版为T(x,y),大小为N*N;模板图的中心坐标为(xc,yc),以此为中心将直角坐标系的模板图像转换到极坐标系。x=rcosθ,y=rsinθ其中r∈[0,R],R =N/2,θ为自变量,θ∈(0,2π]。圆投影CPT的计算定义如下:
其中Sr为模板图上半径为r的圆上的像素个数。所以PT(r)的含义为各个半径上的图像灰度平均值,不同半径的圆投影如图5所示:
又由于圆投影算法只具有旋转不变性,在面对模板图像的光照强度与被搜素图像光照强度不一致时可能出现错误匹配,即传统圆投影算法不具有光照不变性。考虑到图像傅里叶变换的直流分量一定程度上代表了图像的整体光照强度,所以将圆投影向量做离散傅里叶变换,舍弃傅里叶变换结果的直流分量,此结果用于模板匹配即可拥有光照不变性。圆投影的离散傅里叶变换定义如下:
其中k的取值为1到6,假设模板图的特征向量为FT(k),被搜索子图区域的特征向量为FS(k),本发明采用余弦相似度计算向量的相似度,其定义如下:
由于余弦相似度的计算结果范围是-1到1,且当结果为1时意味着两个向量的相似度最大,所以我们规定当搜索子图与模板图的向量相似度高于0.98时即选取此搜索子图中心为指针中心候选位置,一系列候选点组成粗匹配候选点序列。
然后,精确匹配阶段使用定位精度较高但计算复杂度更高的Zernike矩,从粗匹配得到的候选点序列中精确筛选出最终的指针中心位置。阶数为n,重复度为m的Zernike图像矩定义如下:
Vnm(x,y)=Vnm(r,θ)=Rnme-jmθ \*MERGEFORMAT (7)
其中|m|≤n,n-|m|=even,径向基函数定义如下:
其中r为点(x,y)到图像中心向量的半径,θ为向量与y轴的夹角。
由于Zernike矩在数字图像的计算中需要在单位圆内计算其离散形式。所以需要一种从图像直角坐标 (xp,yp)∈N2到单位圆极坐标(r,θ)的转换。Zernike距的离散形式如下:
其中坐标转化方式为:
由于低阶的Zernike矩包含了具有抗噪声,抗形变特性的粗糙的形状描述信息,所以选取Zernike矩的特征向量为:Z=(|A00|,|A11|,|A20|,|A22|,|A31|,|A33|,|A40|),这样可有效减少由于图像矫正带来的形变对于模板匹配的影响。最终使用余弦相似度度量方式选取相似度最高的子图所对应的中心坐标位置作为指针中心定位的最终结果。
3.基于Zernike图像矩的指针旋转角度估计
由于Zernike矩的计算结果为复数形式,且其相位信息一定程度上反映了物体的姿态角度情况,所以可以利用指针模版图像与待测图像中指针定位区域的相位差关系计算指针的旋转角度。以下证明指针旋转角度与Zernike矩的相位差关系。极坐标系下的Zernike矩定义如下:
现在,令图f(r,θ+α)表示图f(r,α)顺时针旋转α弧度的结果,旋转后的图像Zernike矩为:
或者:A′nm=Anmexp(-jmα)。
以上证明表明当图像仅发生α弧度的旋转时图像的Zernike矩的幅度不变,只有mα的相位差,注意这里的相位差为未经过相位折叠的结果。相位折叠是指复数的相位具有2π周期,所以复数的相位计算结果范围是(-π,π)。定义模板图像与旋转后图像的Zernike矩分别为:而在理想情况下未经过折叠的相差为:
然而由于相位折叠问题,我们所能计算得到的相位差为Ф,其与理性情况下计算的相位差及图像旋转角度的关系如下:
Ωnm=φ+2kπ=mα,k=0,±1,±2,...... \*MERGEFORMAT (14)
当相位差大于2π时由于相位折叠问题,我们通过式(15)计算得到的Ф是经过折叠的,而我们又无从得知式(14)中的k的取值,所以无法直接计算得到目标角度α。
为避免上述由于相位折叠所带来的问题,我们选取两种形式的Zernike矩来估计指针的旋转角度α,分别为n=2,m=2;n=4,m=2。假设指针模版的相位为旋转后的指针图像的相位为旋转角度α被分为如图6两种情况:
本发明的Zernike矩的重复度取m=2,所以当指针真实旋转角度θ∈[0,π]时,不存在相位折叠问题(k=0)。此时,图6两种情况的真实旋转角度θ(指针相对于指针模版顺时针旋转角度)计算公式为:
当指针真实旋转角度θ∈[π,2π],通过式(16)计算得到的旋转角度α'=θ-π,此时的指针真实旋转角度为θ=α'+π。在下图中两指针图像旋转角度相差π,但由于重复度m=2,在相位折叠问题的作用下两幅图的 Zernike矩的相位主值相等。
为了确定指针的真实旋转角度范围,本发明提出一种简单的方法:首先使用式(16)计算得到角度α,然后将指针模版图分别顺时针旋转α弧度与(α+π)得到类似图7中(b),(a)的指针图像,然后将这两幅图与指针定位的子图计算相似度(MSE),如果旋转(α+π)的图像计算得到的相似度值更大,则令F=1,否则令F=0。以下公式为真实指针旋转角度的计算公式:
在得到最终的指针相对于指针模版的顺时针旋转角度θ后,将θ带入事先根据指针旋转角度与表盘刻度的线性关系拟合得到的函数关系中,得到指针式仪表的指针读数。
实验结果分析:
本算法在CLion平台基于OpenCV3.1的C++语言开发算法,实验平台为CoreTMi7-4790 CPU@ 3.60GHz×8。
(1)复杂情况表盘矫正实验
本实验对与无遮挡和不同表盘遮挡物情况进行算法可行性实验,实验结果如图8所示。
本实验表明,本算法在不同光照环境或者表盘被部分遮挡情况下仍然可以正确表盘读数。
(2)标准图库实验
标准图库由正对表计拍摄的两种量程的不同示数的24张标准图组成,表2为本算法的测试结果准确率与所要求绝对误差变化的关系。
表2、3、4中的实验结果表明,本课题算法对于标准图库有良好的识别效果与准确率,绝对误差要求在0.0016MPa到0.002MPa之间时,识别准确率为100%。
本发明提出一种基于匹配的指针式仪表自动化读数算法。此算法主要包含两个部分:基于角点匹配与透视变换的指针式仪表图像姿态纠正与预处理部分;基于图像矩与改进的圆投影算法进行指针中心的定位,并且利用图像Zernike矩的相位信息与图像旋转角的关系计算得到指针图像相对于指针模板图的顺时针旋转角度。算法整体具有较好的抗光照变化与抗小物体干扰性能,自动化的图像视图矫正减少了对于表盘姿态的人工标记,提高了变电站环境中指针式仪表的数据读取效率,准确率与安全性。
实验结果表明,本发明算法可以在表盘偏转,光照变化,甚至小物体遮挡情况下完整指针式仪表的正确读数,具有较强的抗干扰性能;并且在对于标准图库的试验中,在规定的绝对误差范围内识别正确率达到100%,可见本发明算法在保证鲁棒性的同时具有较高的读数准确性,可以满足变电站复杂环境下的指针式仪表的自动化读数需求。
Claims (1)
1.一种基于模版匹配的指针式仪表多情况自动化读数方法,包括下列步骤:
第一步,基于角点匹配与透视变换的表盘姿态矫正
(1)分别计算事先获取的高分辨率正视图表盘图像与待测图像的SIFT特征点;
(2)采用最近邻算法(NNDR)匹配模版图与待测图特征点对,筛选阈值设定为0.8;
(3)使用RANSAC算法筛选错误匹配点,得到最佳匹配点对;
(4)根据匹配点对计算透视变换矩阵H;
(5)对待测图像进行透视变换逆变换,变换输出尺寸等于模版图尺寸,得到姿态矫正后的待测图像;
(6)对上一步操作输出图像进行形态学处理的开操作,开操作核大小为3*3,去除表盘图像中文字信息影响。
第二步,基于两步法的模板匹配定位指针中心
(1)计算指针模版的Hu矩特征向量;
(2)指针模版在待测图像中从左到右从上到下滑动搜索指针所在区域,计算指针模版覆盖区域待测图像子图的Hu矩特征向量;
(3)计算每个搜索到的待测图像子图Hu矩特征向量与指针模版Hu特征向量的欧氏距离相似度,当相似度高于某一阈值,此区域被选为指针定位候选区域;
(4)在指针定位候选区域中,以区域内每个点为中心计算指针模版大小范围内待测图像子图的改进后的圆投影向量,改进后的圆投影向量计算步骤如下:
(a)定义待测图像子图为T(x,y),大小为N*N;子图的中心坐标为(xc,yc),以此为中心将直角坐标系的子图转换到极坐标系,x=r cosθ,y=r sinθ,其中r为子图上像素点到子图中心的距离r∈[0,R],R=N/2,θ为自变量,θ∈(0,2π];
(5)计算各个子图改进后的圆投影向量与指针模板改进后的圆投影向量的余弦相似度,当余弦相似度高于0.98时,对应的点被列入指针中心定位候选点序列;
(6)计算以上述指针中心定位候选点序列的点为中心的各个待测图像子图区域的Zernike矩特征向量;
(7)计算各个子图的Zernike矩特征向量与指针模版图Zernike矩特征向量的余弦相似度,取余弦相似度最高的子图位置作为最终指针中心定位结果;
第三步,基于Zernike图像矩的指针旋转角度估计
(1)分别计算指针模版与指针中心定位区域的Zernike矩的相位角;
(2)根据指针模版与指针中心定位区域的相位差α来旋转指针模版图像,得到两张旋转角度分别为α与α+π的指针图像;
(3)分别计算指针图像与指针模版图像的相似度(MSE),经过判断得到待测图像的指针真实旋转角度;
(4)将指针真实旋转角度利用角度法计算得到指针式仪表读数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911043306.4A CN110852213B (zh) | 2019-10-30 | 2019-10-30 | 基于模版匹配的指针式仪表多情况自动化读数方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911043306.4A CN110852213B (zh) | 2019-10-30 | 2019-10-30 | 基于模版匹配的指针式仪表多情况自动化读数方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110852213A true CN110852213A (zh) | 2020-02-28 |
CN110852213B CN110852213B (zh) | 2023-12-12 |
Family
ID=69599175
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911043306.4A Active CN110852213B (zh) | 2019-10-30 | 2019-10-30 | 基于模版匹配的指针式仪表多情况自动化读数方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110852213B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111783757A (zh) * | 2020-06-01 | 2020-10-16 | 成都科大极智科技有限公司 | 一种基于ocr技术的复杂场景下身份证识别方法 |
CN112001379A (zh) * | 2020-05-19 | 2020-11-27 | 西安工程大学 | 基于机器视觉的汽车仪表固定视点读取仪表的修正算法 |
CN113379712A (zh) * | 2021-06-23 | 2021-09-10 | 西南交通大学 | 一种基于计算机视觉的钢桥螺栓病害检测方法及系统 |
CN113792616A (zh) * | 2021-08-26 | 2021-12-14 | 南方电网深圳数字电网研究院有限公司 | 一种基于边缘计算的远程读表系统及其工作方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1995000822A1 (en) * | 1993-06-28 | 1995-01-05 | New Jersey Institute Of Technology | Automated meter inspection and reading |
CN103759758A (zh) * | 2014-01-26 | 2014-04-30 | 哈尔滨工业大学 | 一种基于机械角度和刻度识别的汽车仪表指针的位置检测方法 |
CN103927507A (zh) * | 2013-01-12 | 2014-07-16 | 山东鲁能智能技术有限公司 | 一种改进的变电站巡检机器人的多仪表读数识别方法 |
WO2016101643A1 (zh) * | 2014-12-26 | 2016-06-30 | 国网重庆市电力公司电力科学研究院 | 一种仪表数据读取方法及系统 |
US20180053040A1 (en) * | 2016-08-19 | 2018-02-22 | Umm Al-Qura University | System and method for 3d local surface matching |
CN108009535A (zh) * | 2017-11-21 | 2018-05-08 | 武汉中元华电科技股份有限公司 | 一种基于机器视觉的单指针仪表读数方法 |
CN110119724A (zh) * | 2019-05-16 | 2019-08-13 | 天津科技大学 | 一种指静脉识别方法 |
-
2019
- 2019-10-30 CN CN201911043306.4A patent/CN110852213B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1995000822A1 (en) * | 1993-06-28 | 1995-01-05 | New Jersey Institute Of Technology | Automated meter inspection and reading |
CN103927507A (zh) * | 2013-01-12 | 2014-07-16 | 山东鲁能智能技术有限公司 | 一种改进的变电站巡检机器人的多仪表读数识别方法 |
CN103759758A (zh) * | 2014-01-26 | 2014-04-30 | 哈尔滨工业大学 | 一种基于机械角度和刻度识别的汽车仪表指针的位置检测方法 |
WO2016101643A1 (zh) * | 2014-12-26 | 2016-06-30 | 国网重庆市电力公司电力科学研究院 | 一种仪表数据读取方法及系统 |
US20180053040A1 (en) * | 2016-08-19 | 2018-02-22 | Umm Al-Qura University | System and method for 3d local surface matching |
CN108009535A (zh) * | 2017-11-21 | 2018-05-08 | 武汉中元华电科技股份有限公司 | 一种基于机器视觉的单指针仪表读数方法 |
CN110119724A (zh) * | 2019-05-16 | 2019-08-13 | 天津科技大学 | 一种指静脉识别方法 |
Non-Patent Citations (4)
Title |
---|
HAE YONG KIM: "Rotation-discriminating template matching based on Fourier coefficients of radial projections with robustness to scaling and partial occlusion", 《PATTERN RECOGNITION》 * |
WEN-CHIA LEE ET AL.: "A Fast Template Matching Method for Rotation Invariance Using Two Stage Process", 《2009 FIFTH INTERNATIONAL CONFERENCE ON INTELLIGENT INFORMATION HIDING AND MULTIMEDIA SIGNAL PROCESSING》 * |
李晓冬等: "指针式仪表自动读数动态识别方法", 《工业控制计算机》 * |
王海宇: "指针式仪表示值机器视觉检测系统研制", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112001379A (zh) * | 2020-05-19 | 2020-11-27 | 西安工程大学 | 基于机器视觉的汽车仪表固定视点读取仪表的修正算法 |
CN111783757A (zh) * | 2020-06-01 | 2020-10-16 | 成都科大极智科技有限公司 | 一种基于ocr技术的复杂场景下身份证识别方法 |
CN113379712A (zh) * | 2021-06-23 | 2021-09-10 | 西南交通大学 | 一种基于计算机视觉的钢桥螺栓病害检测方法及系统 |
CN113379712B (zh) * | 2021-06-23 | 2022-07-29 | 西南交通大学 | 一种基于计算机视觉的钢桥螺栓病害检测方法及系统 |
CN113792616A (zh) * | 2021-08-26 | 2021-12-14 | 南方电网深圳数字电网研究院有限公司 | 一种基于边缘计算的远程读表系统及其工作方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110852213B (zh) | 2023-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110852213B (zh) | 基于模版匹配的指针式仪表多情况自动化读数方法 | |
CN102521560B (zh) | 高鲁棒仪表指针图像识别方法 | |
CN111223133B (zh) | 一种异源图像的配准方法 | |
CN109903313B (zh) | 一种基于目标三维模型的实时位姿跟踪方法 | |
CN111260731A (zh) | 一种棋盘格亚像素级角点自适应检测的方法 | |
CN105654421B (zh) | 基于变换不变低秩纹理的投影变换图像匹配方法 | |
CN110706293B (zh) | 基于surf特征匹配的电子元器件定位和检测方法 | |
Yang et al. | An image-based intelligent system for pointer instrument reading | |
CN106056121A (zh) | 基于sift图像特征匹配的卫星装配工件快速识别方法 | |
CN112634125B (zh) | 一种基于离线人脸数据库的自动面部替换方法 | |
CN109508709B (zh) | 一种基于机器视觉的单指针仪表读数方法 | |
CN107945120B (zh) | 基于样本块的旋转及缩放图像修复方法 | |
CN115861448A (zh) | 基于角点检测及特征点提取的系统标定方法及系统 | |
JP2003216931A (ja) | 特定パターン認識方法、特定パターン認識プログラム、特定パターン認識プログラム記録媒体および特定パターン認識装置 | |
CN108992033B (zh) | 一种视觉测试的评分装置、设备和存储介质 | |
CN116935013B (zh) | 基于三维重建的电路板点云大范围拼接方法及系统 | |
CN104700359A (zh) | 像平面不同极轴方向图像序列进行超分辨率重建的方法 | |
CN112990190A (zh) | 指针式仪表读数的识别方法、装置 | |
CN109784257B (zh) | 一种变压器温度表检测与识别方法 | |
CN115511928A (zh) | 多光谱图像的匹配方法 | |
Xu et al. | Pointer gauge adaptive reading method based on a double match | |
Huang et al. | An automatic detection and recognition method for pointer-type meters in natural gas stations | |
CN114863086A (zh) | 一种基于模板匹配的变电站多表盘多指针识别方法 | |
CN111768436A (zh) | 一种基于Faster-RCNN改进的图像特征块配准方法 | |
Rao et al. | A real-time auto-recognition method for pointer-meter under uneven illumination |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |