CN104899609B - 一种基于图像配准的机械式表计识别方法 - Google Patents

一种基于图像配准的机械式表计识别方法 Download PDF

Info

Publication number
CN104899609B
CN104899609B CN201510345598.2A CN201510345598A CN104899609B CN 104899609 B CN104899609 B CN 104899609B CN 201510345598 A CN201510345598 A CN 201510345598A CN 104899609 B CN104899609 B CN 104899609B
Authority
CN
China
Prior art keywords
registration
image
meter
standard picture
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510345598.2A
Other languages
English (en)
Other versions
CN104899609A (zh
Inventor
张蕾
章毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201510345598.2A priority Critical patent/CN104899609B/zh
Publication of CN104899609A publication Critical patent/CN104899609A/zh
Application granted granted Critical
Publication of CN104899609B publication Critical patent/CN104899609B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于图像配准的机械式表计识别方法，属于电表设备技术领域。为了解决传统的人工抄表方式，工作量大，效率低，不安全，不利于数据统计和查询的问题。本发明提供一种基于图像配准的机械式表计识别方法，主要包括以下内容：首先对电表的标准图像的刻度点进行手工标定，利用快速鲁棒性特征匹配方法将待识别图像与标准图像的特征点对进行匹配，然后对待识别图像做透视变换，完成待识别表计图像的配准，最后通过对表盘中特定区域的灰度值比较识别指针的位置，即可计算出电表的读数。本发明提供的基于图像配准的机械式表计识别方法，可以在复杂环境下对机械式电表进行快速、可靠、精确地远程智能读数，可在变电站中进行广泛的运用。

Description

一种基于图像配准的机械式表计识别方法
技术领域
本发明属于电表设备技术领域，特别涉及一种基于图像配准的机械式表计识别方法。
背景技术
变电站是输电和配电的集合点，是电力系统的重要组成部分。变电站需要记录各表计的读数并监测其相关状态以保障电变站的正常运作和电力数据的收集、统计。变电站中各种表计数目繁多，传统人工抄表方式下，工作量大，效率低，不安全，不利于数据统计和查询，同时也无法实时对变电站中基础电力设施进行监控，造成了一定的安全隐患。
随着电子信息技术高速发展，各行各业都在走向数字化和智能化的今天，利用现代化设备和识别算法，针对复杂的实际工业环境，实现自然场景下表计的智能读数并记录，以高效安全的方式代替落后的传统抄表方式有着非常重要的意义。
实时监控变电站中基础电力设施，在第一时间发现并解决供电故障，以保证民用和工业的稳定供电十分重要。但是，现有的表计智能识别系统也大多基于ARM嵌入式系统，硬件成本高，通用性低，可移植性较差。
发明内容
为了解决上述问题，本发明提供一种可在复杂环境下对机械式电表进行快速、可靠、精确地远程智能读数的智能识别方法，采用如下技术方案：
一种基于图像配准的机械式表计识别方法，其特征在于，包括以下步骤：
(1)对机械式电表的标准图像的刻度点进行手工标定；
(2)特征点检测和匹配：利用快速鲁棒性特征匹配方法将待识别图像与标准图像的特征点对进行匹配；
(3)图像配准：对待识别图像做透视变换，并完成待识别表计图像的配准；
(4)指针位置识别：通过对表盘中特定区域的灰度值比较识别指针的位置；
(5)通过指针位置，获得机械式电表的读数。
进一步地，步骤(3)中所述的图像配准包括以下内容：
a1.对标准图像和待配准图像进行特征点检测；
a2.对检测到的特征点进行匹配，分别对特征点对进行正反双向匹配，当双向均匹配时，则认识此特征点对为匹配；
a3.寻找变换矩阵，对待配准图像做透视变换，便可获得完成配准。
进一步地，步骤(4)中所述的指针位置识别包括以下内容：
b1.对标准图像进行标定；
b2.定义配准后的图像为待识别图像；
b3.根据灰度值识别指针位置。
本发明产生的有益效果如下：
1.相比于未经图像配准的变电站机械式电表的智能识别中，识别的准确率强烈地依赖于摄像头与机械式电表的相对位置，只要摄像头稍有移动，拍出的电表图像与标定的标准图像将有相应偏移。而本发明提供的基于图像配准的机械式表计识别方法中，包括特殊的图像配准，对摄像头与电表的相对位置的依赖性低，即使摄像头有移动也不会降低识别的准确率。
2.传统的人工抄表方式，工作量大，效率低，不安全，不利于数据统计和查询，同时也无法实时对变电站中基础电力设施进行监控，造成了一定的安全隐患。而本发明提供的基于图像配准的机械式表计识别方法，可以复杂环境下对机械式电表进行快速、可靠、精确地远程智能读数，可在变电站中进行广泛的运用。
附图说明
图1为处理流程示意图；
图2为图像配准流程示意图。
具体实施方式
下面参照附图对本发明的实施方式进行详细说明，但不限制本发明的保护范围。
实施例1
一种基于图像配准的机械式表计识别方法，包括以下步骤：
在对机械式电表进行识别的过程中，本发明先选出一个图像用作标准图像，并对此标准图像进行适当标定(为最后的指针位置识别做准备)；输入待配准图像，提取标准图像和带配准图像中的特征点，并进行匹配；然后对待配准图像做透视变换，完成图像配准工作；在识别过程中，先对待识别图像进行灰度处理，根据标定位置与圆心所形成的线段上的灰度值比较得出仪表指针的位置，从而判断出仪表读数。具体处理流程如图1所示。
实施例2
一种基于图像配准的机械式表计识别方法，包括以下步骤：
(1)对机械式电表的标准图像的刻度点进行手工标定；
(2)特征点检测和匹配：利用快速鲁棒性特征匹配方法将待识别图像与标准图像的特征点对进行匹配；
(3)图像配准：对待识别图像做透视变换，并完成待识别表计图像的配准；
图像配准的目的是将待配准的图像进行拉伸和变换，使之与标准图像“相同”，这里的相同是指目标图像中点的坐标与标准图像中对应点的坐标相同。故配准后，在标准图像中的表计圆心和各刻度点的坐标已被标定的基础上，相当于获取了待识别图像中表计的各刻度和圆心的坐标，为指针位置的识别工作做前期准备。图像配准主要分为三个步骤：一是对标准图像和待配准图像进行特征点检测；二是对检测到的特征点进行匹配，分别对特征点对进行正反双向匹配，当且仅当双向均匹配时，才认识此特征点对是匹配的；三是寻找变换矩阵，对待配准图像做透视变换，便可获得完成配准。如图2所示，为图像配准流程示意图。
图像匹配的具体步骤如下：
a1.基于Hessian矩阵的特征点检测为了获得SURF特征点，通过使用3*3高斯滤波器在三维尺度空间进行非最大值抑制，即当X点的值同时满足大于预设阈值H和其三维空间中其它26个点的特征值(即Hessian矩阵行列式的值)时，x点才被选为特征点。Hessian阈值越大，被检测出的特征点数量越少。
a2.特征点匹配
对于两个特征点的匹配，通过计算其特征向量的相似度得出。采用欧式距离进行计算：
其中，Xik表示待配准图像中第i个特征描述子的第k个元素，Xjk表示待配准图像中第i个特征描述子的第k个元素，n则表示特征向量的维数。通过欧氏距离计算得到一个距离集合，相应的，也得到了其最小欧氏距离和次最小欧氏距离，设定一个阈值，一般为0.8，当最小欧式距离与次小欧氏距离的比值小于该阈值时，认为这两点匹配。阈值越小，匹配越稳定，但特征点越少。本算法对标准图像和待配准图像中的特征点对分别进行了正向匹配和反向匹配，当双向匹配均成功时，才认为此特征点对匹配。
a3.透视变换
透视变换是中心投影的射影变换，常用于图像的校正。对源图像src中的所有点做矩阵变换，得到目标图像dst：
其中，M是一个3*3的变换矩阵，通过寻找两个点集合中的单映射变换得出。
图像配准过程关键代码如下表所示：
(4)指针位置识别：通过对表盘中特定区域的灰度值比较识别指针的位置；
对MOA在线监测仪表的识别：识别指针位置的前提是得到已经完成配准的表计图像，对于指针位置的识别算法步骤如下：
b1.对标准图像进行标定。在经过灰度处理的标准图像中标出表计圆心O，并连接圆心O与特定刻度的连线，在刻度与圆心之间相对干净，噪声较小的位置标出三条水平线段，使得圆心O与特定刻度的连线与这三条线段有交点A～Q，并记下交点A～Q的坐标值和三条水平线的y坐标(注：OpenCV中坐标系原点位于左上角)。
b2.记配准后的图像为待识别图像，它是由待配准图像根据相匹配的特征点不变的原则拉伸得到的，故点A～Q也是待识别图像的圆心与特定刻度点连线和三条水平线的交点。将这些点根据水平线的不同分为三个区域：F(First)，S(Second)，T(Third)。即读取待识别图像，对图像进行灰度处理，获取三条特定水平线上所有点的像素值并分别储存到三个数组。
b3.根据灰度值识别指针位置。根据指针为黑色，其灰度值最小原理(灰度值为0～255，0为白色，255为黑色)，比较找出水平线上灰度值最小的点的位置。本算法中，为了避免因光照产生的大片阴影区域其灰度值小于指针灰度值而造成的干扰和误判，认为当检测到的灰度值最小的像素点，其灰度值均小于它前面的邻近像素点的灰度值和它后面的邻近像素点的灰度值时，此像素点位置为指针所在位置，同时获得指针所在位置所属的水平线区域。
b4.最后，根据此点计算出指针所指的刻度值：
1.3式中，Realpoint为检测到的指针所在位置的坐标值，Valuej为指针位置在水平线上的前一个被标定的刻度值，Valuej+1为指针位置在水平线上的后一个被标定的刻度值，(Valuej+1-Valuej)即为指针所在位置最邻近的两个被标定的刻度差，Keyj表示Valuej的刻度直线段与水平线交点的坐标值，(Keyj+1-Keyj)则代表指针所在位置最邻近的两个被标定的刻度值的坐标差。
(5)通过指针位置，获得机械式电表的读数。
实施例3
一种基于图像配准的机械式表计识别方法，包括以下步骤：
(1)对机械式电表的标准图像的刻度点进行手工标定；
(2)特征点检测和匹配：利用快速鲁棒性特征匹配方法将待识别图像与标准图像的特征点对进行匹配；
(3)图像配准：对待识别图像做透视变换，并完成待识别表计图像的配准；
图像配准的目的是将待配准的图像进行拉伸和变换，使之与标准图像“相同”，这里的相同是指目标图像中点的坐标与标准图像中对应点的坐标相同。故配准后，在标准图像中的表计圆心和各刻度点的坐标已被标定的基础上，相当于获取了待识别图像中表计的各刻度和圆心的坐标，为指针位置的识别工作做前期准备。图像配准主要分为三个步骤：一是对标准图像和待配准图像进行特征点检测；二是对检测到的特征点进行匹配，分别对特征点对进行正反双向匹配，当且仅当双向均匹配时，才认识此特征点对是匹配的；三是寻找变换矩阵，对待配准图像做透视变换，便可获得完成配准。
(4)指针位置识别：通过对表盘中特定区域的灰度值比较识别指针的位置；
针对EN837-1仪表，具体的识别如下：根据标准图像对待识别图像完成配准的基础上，对此类表计的读数识别步骤如下：
b1.读入图像，对其进行灰度处理，并对单通道数组应用固定阈值转化为二值图，先将阈值默认设置为255，灰度图如10所示，二值图如11所示。
b2.以表计圆心为中心点，围城一个40*40的观察区域。遍历获得观察区域内所有点的像素值(0或1)，用于识别出指针所指的位置。
b3.对观察区域的二值化阈值做调整，取观察区域上边缘的黑色像素点个数，左上半边缘和右上半边缘的黑色像素点个数，当上边缘黑色像素点多于14个或左上半边缘黑色像素点多于8个或右上半边缘黑色像素点多于8个时，说明阈值过大，则减小二值化的阈值(每次减5)，重新计算这三条边上的黑色像素点个数，直到调整至黑色点个数处于适当范围之内为止。当这三条边上的黑色点数均为0并且阈值小于250时，说明设置的阈值过小，则增大阈值，并重新计算这三条边上的黑色像素点个数。直到调整至黑色点个数处于适当范围之内为止。
b4.根据观察区域的二值图判断指针所指方向。分别获得矩阵中的最上最下两行，最左最优两列，分情况对指针位置进行讨论。例如：当左边加上边的黑色像素点个数小于右边加下边的黑色像素点个数时，有以下四种情况：一是当左边上黑色像素点个数为0时，如果上边的黑色像素点数不为0，则右边黑色像素点数一定也为0，同时说明指针指向上方，可用上边缘黑色像素点数组的中位数点坐标代表指针位置P(x，y)；二是当上边缘的黑色像素点个数为0时，如果左边上的黑色像素点个数不为0，则说明指针指向左侧，可用左边缘黑色像素点数组的中位数点坐标代表指针位置P(x，y)；三是当左边上的黑色像素点个数小于上边缘的黑色像素点个数时，用左边和上边的黑色像素点数组的中位数点坐标做微调代表指针位置P(x，y)；四是当左边上的黑色像素点个数大于上边缘的黑色像素点个数时，用左边和上边的黑色像素点数组的中位数点坐标做微调代表指针位置P(x，y)。其它的情况同理可获得指针位置。
b5.A～N是已被标定，已知坐标的一些刻度点，这些标定点与中心正方形的观察区域形成了不同交点，可以通过已知的P点坐标和其它各交点坐标计算得出指针所指的刻度值，即表计读数。
实施例4
机械式表计识别结果与分析：
首先，比较未经图像配准的表计识别算法与经过图像配准的表计识别算法的识别准确率，本实验以人工读表结果作为每个表计图像的标准读数结果，当算法识别结果与人工识别结果的误差在正负最小分度值的二分之一以内时，认为算法识别结果是正确的，误差超出此范围则认为算法识别结果不准确。实验记录了两种表计共200组数据的识别准确率。下表是机械表计识别实验结果：
表计类别 识别精度
未经图像配准的识别算法 45％
经过图像配准的识别算法 95％
从上表可看出，经过图像配准的识别算法准确率远高于未经图像配准的识别算法，未经图像配准的识别算法准确率强烈依赖于摄像头与表计的相对位置，只要摄像头稍有移动，拍出的表计图像与标定的标准图像将有相应偏移，识别结果也相应会有很大误差；将某一图像设为标准图像，用于标定；拍摄角度有所变化后，由于待识别图像与标准图像中影响识别结果的刻度点位置坐标相差较大，标准图像的标定数据将无法用于此图像的识别。经配准后的图像，表计中刻度点的位置已被“拉伸”至标准图像中刻度点的相对位置，因而可被正确识别。

Claims (2)

1.一种基于图像配准的机械式表计识别方法，其特征在于，包括以下步骤：
(1)对机械式电表的标准图像的刻度点进行手工标定；
(2)特征点检测和匹配：利用快速鲁棒性特征匹配方法将待识别图像与标准图像的特征点对进行匹配；
(3)图像配准：对待识别图像做透视变换，并完成待识别表计图像的配准；所述步骤(3)中所述的图像配准包括以下内容：
a1.对标准图像和待配准图像进行特征点检测；
a2.对检测到的特征点进行匹配，对于特征点的匹配，通过计算标准图像和待配准图像的特征向量的相似度得出，采用欧式距离进行计算：
其中，Xik表示待配准图像中第i个特征描述的第k个元素，Xjk表示待配准图像中第j个特征描述的第k个元素，n表示特征向量的维数；
通过欧式距离计算得到一个距离集合，即获得了最小欧式距离和次小欧式距离，设定阈值，当最小欧式距离和次小欧式距离的比值小于该阈值时，认为两点匹配，分别对特征点对进行正反双向匹配，当双向均匹配时，则认识此特征点对为匹配；
a3.寻找变换矩阵，对待配准图像做透视变换，便可获得完成配准；
(4)指针位置识别：通过对表盘中特定区域的灰度值比较识别指针的位置；
(5)通过指针位置，获得机械式电表的读数。
2.根据权利要求1所述的基于图像配准的机械式表计识别方法，其特征在于，步骤(4)中所述的指针位置识别包括以下内容：
b1.对标准图像进行标定；
b2.定义配准后的图像为待识别图像；
b3.根据灰度值识别指针位置。
CN201510345598.2A 2015-06-19 2015-06-19 一种基于图像配准的机械式表计识别方法 Active CN104899609B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510345598.2A CN104899609B (zh) 2015-06-19 2015-06-19 一种基于图像配准的机械式表计识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510345598.2A CN104899609B (zh) 2015-06-19 2015-06-19 一种基于图像配准的机械式表计识别方法

Publications (2)

Publication Number Publication Date
CN104899609A CN104899609A (zh) 2015-09-09
CN104899609B true CN104899609B (zh) 2019-03-26

Family

ID=54032263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510345598.2A Active CN104899609B (zh) 2015-06-19 2015-06-19 一种基于图像配准的机械式表计识别方法

Country Status (1)

Country Link
CN (1) CN104899609B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105825204A (zh) * 2016-04-08 2016-08-03 国家电网公司 一种智能相机夜间识别电力设备表计的方法
CN106682674B (zh) * 2016-12-23 2019-12-03 浙江大学 一种基于智能巡检机器人的指针式仪表自动读数方法
CN109359643B (zh) * 2017-09-11 2022-05-13 武汉大学 一种运用计算机视觉的表盘指针识别方法
CN107729906B (zh) * 2017-10-24 2021-11-02 国网江苏省电力公司南京供电公司 一种基于智能机器人的巡检点电表数值识别方法
CN108960226B (zh) * 2018-07-12 2021-12-17 南方电网电力科技股份有限公司 一种指针仪类表示值读数方法及装置
CN110674889B (zh) * 2019-10-15 2021-03-30 贵州电网有限责任公司 一种用于电表终端故障识别的图像训练方法
CN110850133A (zh) * 2019-11-29 2020-02-28 北京工业大学 一种机械式指示电表指针调平衡装置
CN111652244A (zh) * 2020-04-27 2020-09-11 合肥中科类脑智能技术有限公司 一种基于无监督特征提取和匹配的指针式表计识别方法
CN112906602B (zh) * 2021-03-04 2023-08-25 杭州电力设备制造有限公司 基于图像处理的配电柜电量表自动识别装置及识别方法
CN113673520A (zh) * 2021-08-24 2021-11-19 国网江苏省电力有限公司南京供电分公司 一种适用于指针式电表的识别方法
CN116309741B (zh) * 2023-05-22 2023-08-11 中南大学 Tvds图像配准方法、分割方法、设备及介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103927507A (zh) * 2013-01-12 2014-07-16 山东鲁能智能技术有限公司 一种改进的变电站巡检机器人的多仪表读数识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8249387B2 (en) * 2008-03-31 2012-08-21 Sungkyunkwan University Foundation For Corporate Collaboration Image processing method and apparatus for detecting lines of images and start and end points of lines

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103927507A (zh) * 2013-01-12 2014-07-16 山东鲁能智能技术有限公司 一种改进的变电站巡检机器人的多仪表读数识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于图像处理的指针式仪表智能识别方法研究";杨志娟等;《计算机测量与控制》;20150525;第23卷(第5期);第1717-1720页

Also Published As

Publication number Publication date
CN104899609A (zh) 2015-09-09

Similar Documents

Publication Publication Date Title
CN104899609B (zh) 一种基于图像配准的机械式表计识别方法
US11900634B2 (en) Method for adaptively detecting chessboard sub-pixel level corner points
CN104657711B (zh) 一种鲁棒的指针式仪表读数自动识别方法
CN101311963B (zh) 摄像机定位用圆标志点圆心的图像投影点位置的获取方法
Jiale et al. Reading recognition method of analog measuring instruments based on improved hough transform
CN105303168A (zh) 一种多视角的指针式仪表识别方法和装置
CN109284718B (zh) 面向巡检机器人的变视角多仪表同时识别方法
CN109558871B (zh) 一种指针式仪表读数识别方法及装置
CN101303768A (zh) 圆形标志点在摄像机透视投影变换时圆心偏差的修正方法
CN109447062A (zh) 基于巡检机器人的指针型仪表识别方法
CN106682674B (zh) 一种基于智能巡检机器人的指针式仪表自动读数方法
CN104197900A (zh) 一种汽车仪表指针刻度识别方法
CN111476246A (zh) 应用于复杂环境下指针仪表鲁棒高效智读方法
CN112734729A (zh) 适用于夜间补光条件的水尺水位线图像检测方法、装置及存储介质
CN106651957A (zh) 基于模板的单目视觉目标空间定位方法
Yang et al. Auto-recognition Method for Pointer-type Meter Based on Binocular Vision.
CN107328371A (zh) 基于高斯影响的亚像素轮廓提取及利用Softmax回归在钣金检测场景下的优化
CN109784257B (zh) 一种变压器温度表检测与识别方法
CN112232209A (zh) 用于变电站巡检机器人的指针式仪表盘读数的识别方法
CN103697833A (zh) 农产品形状检测方法及装置
CN104166977A (zh) 一种图像匹配相似性测度方法及其图像匹配方法
CN115861407A (zh) 基于深度学习的安全距离检测方法及系统
CN102637094A (zh) 应用于光学式触控装置的校正信息计算方法及系统
CN111539329B (zh) 一种自适应的变电站指针仪表识别方法
CN109858474B (zh) 一种变压器油面温控器检测与识别方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant