CN106682674B - 一种基于智能巡检机器人的指针式仪表自动读数方法 - Google Patents

一种基于智能巡检机器人的指针式仪表自动读数方法 Download PDF

Info

Publication number
CN106682674B
CN106682674B CN201611208001.0A CN201611208001A CN106682674B CN 106682674 B CN106682674 B CN 106682674B CN 201611208001 A CN201611208001 A CN 201611208001A CN 106682674 B CN106682674 B CN 106682674B
Authority
CN
China
Prior art keywords
pointer
instrument
image
dial plate
calibration points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611208001.0A
Other languages
English (en)
Other versions
CN106682674A (zh
Inventor
于慧敏
施成燕
黄伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201611208001.0A priority Critical patent/CN106682674B/zh
Publication of CN106682674A publication Critical patent/CN106682674A/zh
Application granted granted Critical
Publication of CN106682674B publication Critical patent/CN106682674B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于智能巡检机器人的指针式仪表自动读数方法，该方法通过图像配准和仪表模板的先验信息建模，对指针式仪表进行自动读数。首先将待检图像与仪表模板M配准，然后以表盘中心为旋转点，旋转搜索，并将获得的图像样本的颜色信息与仪表模板M的指针颜色信息进行比对，距离最小的那个图像样本的角度即为指针角度。最后通过插值法计算指针示数。该方法有效地提高了指针式仪表的识别率，并且具有较快的识别速度。

Description

一种基于智能巡检机器人的指针式仪表自动读数方法
技术领域
本发明属于智能识别技术领域，特别地涉及一种基于智能巡检机器人的指针式仪表自动读数方法。在建模部分，涉及了近似处理和表盘中心点和半径的模拟计算；在识别部分，涉及了图像配准技术，和旋转比对的搜索策略。
背景技术
基于智能巡检机器人的指针式仪表自动读数是一个工程性的应用。1994年，Sablatnig等人就研究过单类指针标的指针提取问题，其中使用的方法为用Hough变换检测圆形的表盘区域，并使用灰度级侧写(gray-level profiles)的方法提取指针。Alegria等提出了自动校准仪表区域的方法，使用减影法将两幅不同时间的图像相减获取指针位置，可以视为在这个问题上的重要发展。
国内学者在这方面做了较多的研究。李治玮等提出最大灰度相减法，即比较两幅任意刻度的指针图像子同一位置的两个像素值，取大者以获得无指针图像，再将实际图像与无指针图像相减提取指针。但是减影法对光照非常敏感，相减后容易引入噪声。戴亚文等对水表图像按照光照的差异划分区域，采用具有不同参量的模板匹配指针，从而确定指针的方向。这种模板特征法是以指针的形状特征、面积、灰度分布、灰度阈值等多个特征为判断准则来识别指针方向，能够克服光照不均、背景干扰等多种因素，但建模过于复杂且结果不太令人满意。杨耀权等对压力表采用Hough变化直线检测直接定位指针，但是这种在区别噪声和短直线宽度上存在问题，而且对于复杂仪表不一定适用，也容易受到光照影响。金连文等先用零刻度和满刻度指针位置提取仪表刻度的圆心点，然后将指针图像向圆心进行投影来搜索检测指针位置。
但是这些方法所假设的情况比较简单，比如只有一种仪表，或者仪表的表盘非常清晰，指针比较容易提取等。这些在实际情况中是不可能的，现实场景中指针仪表是多样的，而且表盘的信息可能非常复杂，大多数算法并不适用。
发明内容
为解决上述问题，本发明的目的在于提供了一种基于智能巡检机器人的指针式仪表自动读数方法，采用了通过近似处理，表盘中心点和半径模拟计算的先验信息建模，以及图像配准技术，和旋转比对的搜索策略，有效地提高了指针式仪表的识别率和识别速度。
为实现上述目的，本发明的技术方案为：一种基于智能巡检机器人的指针式仪表自动读数方法，通过智能巡检机器人的云台摄像头获得仪表图像，对仪表图像I进行以下步骤处理：
步骤1：将仪表图像I与仪表模板M进行图像配准，得到配准后的仪表图像I′。
步骤2：根据先验建模信息，对仪表图像I′进行旋转搜索，获得指针角度；并使用插值方法计算示数。
进一步地，所述仪表模板M为与仪表图像I仪表类型相同的图像。
进一步地，所述先验建模信息包括仪表模板M的表盘中心位置、表盘半径、指针的颜色信息以及每个刻度点信息，分别通过以下方法得到：
(2.1)获取仪表模板M的刻度点位置pl和指针所在线段L0，近似估计表盘中心位置，即指针中心轴位置(xc，yc)。
(2.2)根据表盘中心位置(xc，yc)，计算表盘半径，即中心轴位置(xc，yc)到刻度点的距离，同时提取指针的颜色信息。
(2.3)以仪表模板M的表盘中心为原点，重建图像坐标系，获得每个刻度点信息。
进一步地，(2.1)中所述的表盘中心位置(xc，yc)的估计，通过以下方法得到：
(2.1.1)标定刻度点，标定n个(n≥3)刻度点，获得每个刻度点的位置，即图像坐标pl＝(xl，yl)，l＝1，2，…，n；并记录每个刻度点的刻度值vl。
(2.1.2)标定指针，即画出指针所在线段L0＝(xs，ys，xe，ye)，其中xs，ys是指针线段起点的图像坐标，xe，ye是指针线段终点的图像坐标。
(2.1.3)从标定后的n个(n≥3)刻度点中任取3个刻度点的图像坐标(xi，yi)，(xj，yj)，(xk，yk)，i＝1，2，…，n；j＝1，2，…，n；k＝1，2，…，n，根据这3组坐标以及指针直线L0，通过方程计算出中心
(2.1.4)重复此方法多次，直至所有坐标组合都被覆盖，得到个中心坐标，然后选择平均值作为仪表模板M的表盘中心。
进一步地，(2.2)中所述的表盘半径通过以下方法得到：计算表盘中心到各刻度点的距离取平均距离的λ倍作为表盘半径的估计值λ＝(0，1]。
进一步地，(2.2)中所述的指针的颜色信息，通过以下方法得到：旋转仪表模板M，使得指针位于水平位置；从表盘中心(xc，yc)向刻度方向框取宽度为d，长度为rest的水平识别区域，使得指针位于水平识别区域内，并保存该水平识别区域中的颜色信息
进一步地，(2.3)中所述的刻度点信息，通过以下方法得到：计算刻度点与原点的连线和x轴正方向的角度θl，并记录最大角度θmax和最小角度θmin。结合每个刻度点的刻度值vl，则每个刻度点信息为p′l＝(vl，θl)；
进一步地，步骤2中所述的指针角度，通过以下方法得到：
(8.1)以仪表模板M的表盘中心(xc，yc)为旋转中心点，对仪表图像I′进行旋转搜索，仪表图像I′的旋转角度范围为θ∈(θmin，θmax)，步长为Δθ，然后提取水平识别区域内的图像颜色信息
(8.2)将P和Rθ进行比对，即计算P和Rθ中每个对应元素间的距离并求和Sθ，取其中最小的值对应的角度θopt，作为搜索到的指针角度，即θopt＝arg minθSθ。
本发明的有益效果是：
(1)本发明通过先配准后识别的方式，使得相同类型不同位置的仪表图像只需一次建模即可，提高了识别的效率，同时也有利于提高识别率。
(2)将表盘近似处理，降低了后续建模和计算的复杂性，提高了算法运行速度。
附图说明
图1为本发明实施例的基于智能巡检机器人的指针式仪表自动读数方法的步骤流程图；
图2为本发明实施例的基于智能巡检机器人的指针式仪表自动读数方法的仪表模板；
图3为本发明实施例的基于智能巡检机器人的指针式仪表自动读数方法的仪表模板先验信息建模；
图4为本发明实施例的基于智能巡检机器人的指针式仪表自动读数方法的提取仪表模板的指针颜色的示意图；
图5为本发明实施例的基于智能巡检机器人的指针式仪表自动读数方法的坐标系重建示意图；
图6为本发明实施例的基于智能巡检机器人的指针式仪表自动读数方法的仪表图像；
图7为本发明实施例的基于智能巡检机器人的指针式仪表自动读数方法的仪表图像配准结果；
图8为本发明实施例的基于智能巡检机器人的指针式仪表自动读数方法的旋转搜索示意图；
图9为本发明实施例的基于智能巡检机器人的指针式仪表自动读数方法的仪表图像指针识别结果。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应该理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述可以完全理解本发明。
参考图1，所示为本发明实施例的基于智能巡检机器人的指针式仪表自动读数方法的步骤流程图。
通过智能巡检机器人的云台摄像头，获得仪表图像I，进行以下步骤处理：
1.获得仪表模板M，方法是使用智能巡检机器人的云台摄像头，拍摄一张与仪表图像I仪表类型相同的图像，如图2所示。
2.对仪表模板M进行先验信息建模，包括仪表模板M的表盘中心位置、表盘半径、指针的颜色信息以及每个刻度点信息，分别通过以下方法得到：
(2.1)获取仪表模板M的刻度点位置pl和指针所在线段L0，近似估计表盘中心位置，即指针中心轴位置(xc，yc)。具体如下：
(2.1.1)标定刻度点，标定6个刻度点的位置p1＝(411，274)，p2＝(386，187)，p3＝(411，116)，p4＝(531，121)，p5＝(583，196)，p6＝(555，274)。并记录每个刻度点的刻度值v1＝0，v2＝20，v3＝40，v4＝60，v5＝80，v6＝100。如图3所示。
(2.1.2)标定指针，即画出指针所在线段L0＝(391，195，474，201)，如图4所示。
(2.1.3)从标定后的刻度点中任取3个刻度点的图像坐标(xi，yi)，(xj，yj)，(xk，yk)，i＝1，2，…，6；j＝1，2，…，6；k＝1，2，…，6，根据这3组坐标以及指针直线L0，通过方程计算出中心
(2.1.4)重复此方法多次，直至所有坐标组合都被覆盖，得到20个中心坐标，然后计算平均值作为仪表模板M的表盘中心，结果为(483，202)。
(2.2)根据表盘中心位置(xc，yc)，计算表盘半径，即中心轴位置(xc，yc)到刻度点的距离，同时提取指针的颜色信息。
其中表盘半径通过以下方法得到：计算表盘中心到各刻度点的距离取平均距离的0.9倍作为表盘半径的估计值
指针的颜色信息，通过以下方法得到：旋转仪表模板M，使得指针位于水平位置；从表盘中心(xc，yc)向刻度方向框取宽度为3，长度为95的水平识别区域，使得指针位于水平识别区域内，并保存该水平识别区域中的颜色信息P＝{(r，g，b)}95×3，如图4所示。
(2.3)以仪表模板M的表盘中心为原点，重建图像坐标系，获得每个刻度点信息。通过以下方法得到：以表盘中心为原点，水平方向为x轴，垂直方向为y轴，中心右侧为x轴正方向，中心上方为y轴正方向，重建坐标系，如图5所示，计算刻度点与原点的连线和x轴正方向的角度θl，并记录最大角度225°和最小角度-45°。结合每个刻度点的刻度值vl，则每个刻度点信息为p′1＝(0，225°)，p′2＝(20，171°)，p′3＝(40，116°)，p′4＝(60，60°)，p′5＝(80，3°)，p′6＝(100，-45°)；
3.对仪表图像I，如图6所示，进行以下步骤处理：
步骤1：使用SURF特征和FLANN算法，将仪表图像I与仪表模板M进行图像配准，得到配准后的仪表图像I′，如图7所示。
步骤2：根据先验建模信息，对仪表图像I′进行旋转搜索，获得指针角度；并使用拉格朗日插值方法计算，得到示数为53.10。具体为：
(3.1)以仪表模板M的表盘中心(483，202)为旋转中心点，对仪表图像I′进行旋转搜索，如图8所示，仪表图像I′的旋转角度范围为θ∈(-45°，225°)，步长1°，然后提取水平识别区域内的图像颜色信息Rθ＝{(r，g，b)}95×3。
(3.2)将P和Rθ进行比对，即计算P和Rθ中每个对应元素间的绝对距离并求和Sθ，取其中最小的值对应的角度θopt，作为搜索到的指针角度，如图9所示。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于智能巡检机器人的指针式仪表自动读数方法，其特征在于，通过智能巡检机器人的云台摄像头获得仪表图像，对仪表图像I进行以下步骤处理：
步骤1：将仪表图像I与仪表模板M进行图像配准，得到配准后的仪表图像I′；
步骤2：根据先验建模信息，对仪表图像I′进行旋转搜索，获得指针角度；并使用插值方法计算示数；所述先验建模信息包括仪表模板M的表盘中心位置、表盘半径、指针的颜色信息以及每个刻度点信息，分别通过以下方法得到：
(2.1)获取仪表模板M的刻度点位置pl和指针所在线段L0，近似估计表盘中心位置，即指针中心轴位置(xc,yc)；
(2.2)根据表盘中心位置(xc,yc)，计算表盘半径，即中心轴位置(xc,yc)到刻度点的距离，同时提取指针的颜色信息；
(2.3)以仪表模板M的表盘中心为原点，重建图像坐标系，获得每个刻度点信息。
2.根据权利要求1所述的方法，其特征在于，所述仪表模板M为与仪表图像I仪表类型相同的图像。
3.根据权利要求1所述的方法，其特征在于，(2.1)中所述的表盘中心位置(xc,yc)的估计，通过以下方法得到：
(2.1.1)标定刻度点，标定n个刻度点，n≥3，获得每个刻度点的位置，即图像坐标pl＝(xl,yl),＝1,2,…,n；并记录每个刻度点的刻度值vl；
(2.1.2)标定指针，即指针所在线段L0＝(xs,ys,xe,ye)，其中xs,ys是指针线段起点的图像坐标，xe,ye是指针线段终点的图像坐标；
(2.1.3)从标定后的n个刻度点中任取3个刻度点的图像坐标(xi,yi),(xj,yj),(xk,yk)，i＝1,2,…,n；j＝1,2,…,n；k＝1,2,…,n，n≥3，根据这3组坐标以及指针直线L0，通过方程计算出中心
(2.1.4)重复此方法多次，直至所有坐标组合都被覆盖，得到个中心坐标，然后选择平均值作为仪表模板M的表盘中心。
4.根据权利要求1所述的方法，其特征在于，(2.2)中所述的表盘半径通过以下方法得到：计算表盘中心到各刻度点的距离取平均距离的λ倍作为表盘半径的估计值
5.根据权利要求1所述的方法，其特征在于，(2.2)中所述的指针的颜色信息，通过以下方法得到：旋转仪表模板M，使得指针位于水平位置；从表盘中心(xc,yc)向刻度方向框取宽度为d，长度为rest的水平识别区域，使得指针位于水平识别区域内，并保存该水平识别区域中的颜色信息
6.根据权利要求1所述的方法，其特征在于，(2.3)中所述的刻度点信息，通过以下方法得到：计算刻度点与原点的连线和x轴正方向的角度θl,并记录最大角度θmax和最小角度θmin；结合每个刻度点的刻度值vl，则每个刻度点信息为p′l＝(vl,θl)。
7.根据权利要求1所述的方法，其特征在于，步骤2中所述的指针角度，通过以下方法得到：
(7.1)以仪表模板M的表盘中心(xc,yc)为旋转中心点，对仪表图像I′进行旋转搜索，仪表图像I′的旋转角度范围为θ∈(θmin,θmax)，步长为Δθ，然后提取水平识别区域内的图像颜色信息
(7.2)将P和Rθ进行比对，即计算P和Rθ中每个对应元素间的距离并求和Sθ，取其中最小的值对应的角度θopt，作为搜索到的指针角度，即θopt＝arg minθSθ。
CN201611208001.0A 2016-12-23 2016-12-23 一种基于智能巡检机器人的指针式仪表自动读数方法 Active CN106682674B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611208001.0A CN106682674B (zh) 2016-12-23 2016-12-23 一种基于智能巡检机器人的指针式仪表自动读数方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611208001.0A CN106682674B (zh) 2016-12-23 2016-12-23 一种基于智能巡检机器人的指针式仪表自动读数方法

Publications (2)

Publication Number Publication Date
CN106682674A CN106682674A (zh) 2017-05-17
CN106682674B true CN106682674B (zh) 2019-12-03

Family

ID=58871552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611208001.0A Active CN106682674B (zh) 2016-12-23 2016-12-23 一种基于智能巡检机器人的指针式仪表自动读数方法

Country Status (1)

Country Link
CN (1) CN106682674B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679535B (zh) * 2017-09-16 2021-02-26 西安电子科技大学 一种基于模板匹配的指针式水表自动读数识别系统及方法
CN109977725B (zh) * 2017-12-27 2023-10-31 中移物联网有限公司 一种水表抄表方法和系统
CN109117720B (zh) * 2018-07-06 2021-10-08 华中科技大学 一种基于机器视觉的指针式仪表读数识别方法
CN112257676B (zh) * 2020-11-19 2023-10-24 南京天创电子技术有限公司 一种指针式仪表读数方法、系统以及巡检机器人
CN112508084B (zh) * 2020-12-04 2022-05-03 宁波智能装备研究院有限公司 复杂工业环境下基于模糊相似性度量的机器视觉检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101620682A (zh) * 2008-06-30 2010-01-06 汉王科技股份有限公司 一种指针式仪表读数自动识别的方法及系统
CN103927507A (zh) * 2013-01-12 2014-07-16 山东鲁能智能技术有限公司 一种改进的变电站巡检机器人的多仪表读数识别方法
CN104899609A (zh) * 2015-06-19 2015-09-09 四川大学 一种基于图像配准的机械式表计识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101620682A (zh) * 2008-06-30 2010-01-06 汉王科技股份有限公司 一种指针式仪表读数自动识别的方法及系统
CN103927507A (zh) * 2013-01-12 2014-07-16 山东鲁能智能技术有限公司 一种改进的变电站巡检机器人的多仪表读数识别方法
CN104899609A (zh) * 2015-06-19 2015-09-09 四川大学 一种基于图像配准的机械式表计识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
An image-based intelligent system for pointer instrument reading;Zhijuan Yang等;《2014 4th IEEE International Conference on Information Science and Technology》;20141013;第780-783页 *
基于视觉显著性的指针式仪表读数识别算法;张文杰等;《计算机辅助设计与图形学学报》;20151231;第27卷(第12期);第2282-2295页 *
基于计算机视觉的指针式仪表智能判读方法;温和等;《仪器仪表学报》;20070731;第28卷(第7期);第1234-1239页 *

Also Published As

Publication number Publication date
CN106682674A (zh) 2017-05-17

Similar Documents

Publication Publication Date Title
CN106682674B (zh) 一种基于智能巡检机器人的指针式仪表自动读数方法
Liu et al. A detection and recognition system of pointer meters in substations based on computer vision
CN110332887B (zh) 一种基于特征光标点的单目视觉位姿测量系统及方法
CN102175222B (zh) 基于立体视觉的吊车避障系统
CN104809738B (zh) 一种基于双目视觉的安全气囊轮廓尺寸检测方法
CN105261047B (zh) 一种基于近距离短弧段图像的对接环圆心提取方法
CN104899609B (zh) 一种基于图像配准的机械式表计识别方法
CN109903313A (zh) 一种基于目标三维模型的实时位姿跟踪方法
CN109434251B (zh) 一种基于粒子滤波的焊缝图像跟踪方法
CN109087323A (zh) 一种基于精细cad模型的图像车辆三维姿态估计方法
CN103295232A (zh) 基于直线和区域的sar图像配准方法
WO2015096507A1 (zh) 一种利用山体轮廓区域约束识别定位建筑物的方法
CN104200495A (zh) 一种视频监控中的多目标跟踪方法
CN110084830B (zh) 一种视频运动目标检测与跟踪方法
CN105205818A (zh) 一种电气设备红外图像和可见光图像配准的方法
CN104933738A (zh) 一种基于局部结构检测和对比度的视觉显著图生成方法
CN109447062A (zh) 基于巡检机器人的指针型仪表识别方法
Yang et al. Detection of morphology defects in pipeline based on 3D active stereo omnidirectional vision sensor
CN114627080B (zh) 基于计算机视觉的车辆冲压配件缺陷检测方法
CN106023183A (zh) 一种实时的直线段匹配方法
CN110910379B (zh) 一种残缺检测方法及装置
CN104156933A (zh) 一种基于光流场的图像配准方法
CN103400377B (zh) 一种基于双目立体视觉的三维圆形目标检测和判断方法
CN109784257B (zh) 一种变压器温度表检测与识别方法
CN116385538A (zh) 一种面向动态场景的视觉slam方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant