CN110503144A - 一种用于巡检机器人的指针式仪表识别方法 - Google Patents

一种用于巡检机器人的指针式仪表识别方法 Download PDF

Info

Publication number
CN110503144A
CN110503144A CN201910752107.4A CN201910752107A CN110503144A CN 110503144 A CN110503144 A CN 110503144A CN 201910752107 A CN201910752107 A CN 201910752107A CN 110503144 A CN110503144 A CN 110503144A
Authority
CN
China
Prior art keywords
instrument
picture
template
pointer
meter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910752107.4A
Other languages
English (en)
Inventor
刘爽
闵济海
雷凌
刘宏钰
姜红杉
雷丽君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Tetraelc Electronic Technology Co Ltd
Original Assignee
Nanjing Tetraelc Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Tetraelc Electronic Technology Co Ltd filed Critical Nanjing Tetraelc Electronic Technology Co Ltd
Priority to CN201910752107.4A priority Critical patent/CN110503144A/zh
Publication of CN110503144A publication Critical patent/CN110503144A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02Recognising information on displays, dials, clocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种用于巡检机器人的指针式仪表识别方法,步骤是:采集仪表模板图片,从中选取标识点,将其坐标以及仪表参数保存作为模板配置文件;拍摄仪表照片,并在照片中确定标识点对应位置的坐标,采集仪表名称保存作为仪表配置文件;实际应用中,巡检机器人拍摄待识别仪表图片,读取对应仪表的仪表配置文件和模板配置文件,首先将待识别仪表图片与仪表模板图片进行SIFT匹配,然后计算变换矩阵,再投影至模板坐标,得到正面无偏斜仪表盘图片;对得到的正面无偏斜仪表盘图片进行识别处理,得到仪表读数。此种仪表识别方法可对巡检机器人拍摄的仪表图片进行矫正,提高仪表识别准确度,从而提高巡检机器人可靠性。

Description

一种用于巡检机器人的指针式仪表识别方法
技术领域
本发明属于图像识别处理技术领域,特别涉及一种用于巡检机器人的指针式仪表识别方法。
背景技术
巡检机器人是提高智能化、自动化水平的重要设备之一,利用巡检机器人定点拍照功能,实现仪表自动识别与记录,能够有效规避人工读表存在的低效、误读误记、主观性等缺点,有效减少人工成本,提高读表效率。
目前对仪表自动识别有大量的研究,包括基于图像的指针式仪表读数自动识别技术、基于深度学习的指针式仪表读数识别技术、基于空间变换的指针式仪表读数识别技术,由于巡检机器人云台高度的局限性,使得拍摄仪表照片存在不同程度的偏斜,且巡检机器人底盘和云台均存在重复定位偏差,使得每次拍摄的图片有所差异,已有技术均难以完全克服由于上述情况所带来的读数误差。
发明内容
本发明的目的,在于提供一种用于巡检机器人的指针式仪表识别方法,其可对巡检机器人拍摄的仪表图片进行矫正,提高仪表识别准确度,从而提高巡检机器人可靠性。
为了达成上述目的,本发明的解决方案是:
一种用于巡检机器人的指针式仪表识别方法,包括如下步骤:
步骤1,采集仪表的正面无偏斜仪表盘图片,作为仪表模板图片,在仪表模板图片中选取标识点,将其坐标以及仪表参数保存作为模板配置文件;
步骤2,设置巡检机器人云台拍摄参数及巡检站点位置,以该参数及位置拍摄仪表照片,并在照片中确定步骤1中标识点的对应位置的坐标,采集仪表名称保存作为仪表配置文件;
步骤3,实际应用中,巡检机器人拍摄待识别仪表图片,读取对应仪表的仪表配置文件和模板配置文件,首先将待识别仪表图片与步骤1中的仪表模板图片进行SIFT匹配,然后计算标识点坐标与步骤2中对应坐标的变换矩阵,将进行了SIFT匹配的待识别仪表图片投影至模板坐标,得到正面无偏斜仪表盘图片;
步骤4,对步骤3得到的正面无偏斜仪表盘图片进行识别处理,得到仪表读数。
上述步骤1中,在仪表模板图片中选取的标识点共有4个,包括指针旋转中心和3个明显的刻度。
上述步骤3中,设4个标识点的坐标为(x01,y01)、(x02,y02)、(x03,y03)、(x04,y04),步骤2中对应位置的坐标为(x11,y11)、(x12,y12)、(x13,y13)、(x14,y14),则:
联立4个式子,得到8个方程组,求解得到变换矩阵
上述步骤1中,拍摄一张仪表的正面无偏斜的照片,裁剪为指定大小的只包含仪表盘的图片,以此作为仪表模板图片。
上述步骤1中,仪表参数包含仪表类型、单位,以及指针与水平夹角与量程对应关系。
上述步骤4的具体内容是:
步骤41,对步骤3得到的正面无偏斜仪表盘图片进行腐蚀、膨胀处理,然后进行二值化处理,将灰度图转化为黑白图;
步骤42,提取黑白图中的指针信息,并计算指针的最小外接矩阵与水平线的夹角,根据模板配置文件中指针角度与量程关系,利用插值法计算出仪表读数。
上述步骤42中,提取指针信息的方法是:采用canny算子提取图中所有边缘轮廓,对所有轮廓进行遍历排序,找出最小外接矩阵的长宽比大于4、矩阵中心点最接近指针旋转中心、长度最长的轮廓,即为指针。
上述模板配置文件及仪表配置文件均保存为txt格式文件。
上述步骤2中,巡检机器人云台拍摄参数包含水平偏转角度Ptx、竖直偏转角度Ptz、倍率a。
上述步骤3中,首先对巡检机器人拍摄的待识别仪表图片进行如下处理:将RGB格式原图转换为灰度图,然后再进行SIFT匹配。
采用上述方案后,本发明首先采用SIFT匹配技术消除机器人底盘及相机重复定位偏差,然后采用空间校准技术消除斜视、俯仰角带来的读数偏差,能够消除由于巡检机器人拍摄位置和拍摄视角导致拍摄图片中仪表盘出现不同程度的偏斜带来读数误差,提高仪表识别准确度,从而有效提高巡检机器人自动读数精度和可靠性。
附图说明
图1是本发明的流程图;
图2是本发明实施例中的仪表模板图片;
图3是本发明实施例中的待识别仪表图片;
图4是本发明实施例中经矫正的待识别仪表图片;
图5是经平面矫正后的图片。
具体实施方式
以下将结合附图,对本发明的技术方案及有益效果进行详细说明。
如图1所示,本发明提供一种用于巡检机器人的指针式仪表识别方法,包括如下步骤:
步骤1,制作模板配置文件
拍摄一张待识别仪表的正面无偏斜的照片,裁剪为n×n(50<n<1000)大小的只包含仪表盘的图片,以此作为仪表模板图片,输入仪表类型、单位、指针与水平夹角与量程对应关系,选取4个标识点,包括指针旋转中心和三个明显的刻度,记录四个点的坐标(x01,y01)、(x02,y02)、(x03,y03)、(x04,y04),保存以上信息参数为txt格式文件,记为模板配置文件。
步骤2,制作仪表配置文件
设置巡检机器人云台拍摄参数:水平偏转角度Ptx、竖直偏转角度Ptz、倍率a,设置巡检站点位置(x,y)。遥控巡检机器人至(x,y)位置,云台以水平偏转角度Ptx、竖直偏转角度Ptz、倍率a拍摄待识别仪表照片,利用之前制作好的模板配置仪表矫正信息,在图片中依次选取与模板中4个标识点的对应位置,记录选取四个点的坐标(x11,y11)、(x12,y12)、(x13,y13)、(x14,y14),输入仪表名称,保存以上信息参数为txt格式文件,记为仪表配置文件。相同量程仪表可以使用同一模板。
步骤3,图片识别过程
输入一张巡检机器人拍摄的待识别仪表图片,首先将RGB格式原图转换为灰度图,读取与该仪表对应的仪表配置文件和模板配置文件,解析配置文件,将待识别仪表图片与步骤1中的仪表模板图片进行SIFT匹配,矫正由于机器人重复定位偏差及云台偏差带来的拍摄位置和角度偏差,然后利用投影映射,根据模板配置文件中标识点坐标与仪表配置文件中对应点的坐标计算变换矩阵H:
联立式(1)至式(4)可以得到8个方程组,即可求解得到变换矩阵H中的8个未知量。
利用变换矩阵H将待识别仪表图片原图投影至模板坐标,矫正由于拍摄角度导致的仪表盘偏斜。
对矫正后的待识别仪表图片进行腐蚀、膨胀处理,腐蚀膨胀核大小为(3,3),用于弱化表盘中除指针外的大量其他噪点,然后对上述图像进行二值化处理,将灰度图转化为黑白图,采用canny算子提取图中所有边缘轮廓,对所有轮廓进行遍历排序,找出最小外接矩阵的长宽比大于4、矩阵中心点最接近指针旋转中心、长度最长的轮廓,即为指针,同时计算出指针的最小外接矩阵与水平线的夹角。根据模板配置文件中指针角度与量程关系,利用插值法计算出仪表读数,最后返回仪表名称、仪表读数和单位。
实施例:
(1)拍摄一张待识别仪表的正面无偏斜的照片,裁剪为400×400大小的只包含仪表盘的图片,如图2所示,输入仪表名称(Y100压力表)、单位(MPa)、指针与水平夹角与量程对应关系(-45,0;225,0.6),选取4个点,包括指针旋转中心和三个明显的刻度,记录四个点的坐标(197,200)、(77,309)、(200,42)、(312,315),保存以上信息参数为txt格式文件;
(2)遥控巡检机器人至仪表附近位置,坐标为(106.2,26.4),云台以水平偏转角度164.8°、竖直偏转角度63.2°、倍率44拍摄待识别仪表照片,如图3所示,利用之前制作好的模板配置仪表矫正信息,在图片中依次选取与模板中4个标识点的对应位置,记录四个点的坐标(901,501)、(741,612)、(933,306)、(1018,656),输入仪表名称——超滤反洗保安过滤器出口压力表,保存以上信息参数为txt格式文件;
(3)采用python语言编写代码,在pycharm编译器中运行,输入与上述配置文件所对应的待识别仪表图片,如图4所示,计算出变换矩阵H:
经过平面矫正后的图片如图5所示,经过上述识别处理过程后输出:超滤反洗保安过滤器出口压力表0.059MPa,绝对误差为0.001MPa,若不经过平面矫正直接读数,读数结果为0.071MPa,绝对误差为0.011MPa。
以上实施例仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明保护范围之内。

Claims (10)

1.一种用于巡检机器人的指针式仪表识别方法,其特征在于包括如下步骤:
步骤1,采集仪表的正面无偏斜仪表盘图片,作为仪表模板图片,在仪表模板图片中选取标识点,将其坐标以及仪表参数保存作为模板配置文件;
步骤2,设置巡检机器人云台拍摄参数及巡检站点位置,以该参数及位置拍摄仪表照片,并在照片中确定步骤1中标识点的对应位置的坐标,采集仪表名称保存作为仪表配置文件;
步骤3,实际应用中,巡检机器人拍摄待识别仪表图片,读取对应仪表的仪表配置文件和模板配置文件,首先将待识别仪表图片与步骤1中的仪表模板图片进行SIFT匹配,然后计算标识点坐标与步骤2中对应坐标的变换矩阵,将进行SIFT匹配后的待识别仪表图片投影至模板坐标,得到正面无偏斜仪表盘图片;
步骤4,对步骤3得到的正面无偏斜仪表盘图片进行识别处理,得到仪表读数。
2.如权利要求1所述的方法,其特征在于:所述步骤1中,在仪表模板图片中选取的标识点共有4个,包括指针旋转中心和3个明显的刻度。
3.如权利要求2所述的方法,其特征在于:所述步骤3中,设4个标识点的坐标为(x01,y01)、(x02,y02)、(x03,y03)、(x04,y04),步骤2中对应位置的坐标为(x11,y11)、(x12,y12)、(x13,y13)、(x14,y14),则:
联立4个式子,得到8个方程组,求解得到变换矩阵
4.如权利要求1所述的方法,其特征在于:所述步骤1中,拍摄一张仪表的正面无偏斜的照片,裁剪为指定大小的只包含仪表盘的图片,以此作为仪表模板图片。
5.如权利要求1所述的方法,其特征在于:所述步骤1中,仪表参数包含仪表类型、单位,以及指针与水平夹角与量程对应关系。
6.如权利要求5所述的方法,其特征在于:所述步骤4的具体内容是:
步骤41,对步骤3得到的正面无偏斜仪表盘图片进行腐蚀、膨胀处理,然后进行二值化处理,将灰度图转化为黑白图;
步骤42,提取黑白图中的指针信息,并计算指针的最小外接矩阵与水平线的夹角,根据模板配置文件中指针角度与量程关系,利用插值法计算出仪表读数。
7.如权利要求6所述的方法,其特征在于:所述步骤42中,提取指针信息的方法是:采用canny算子提取图中所有边缘轮廓,对所有轮廓进行遍历排序,找出最小外接矩阵的长宽比大于4、矩阵中心点最接近指针旋转中心、长度最长的轮廓,即为指针。
8.如权利要求1所述的方法,其特征在于:所述模板配置文件及仪表配置文件均保存为txt格式文件。
9.如权利要求1所述的方法,其特征在于:所述步骤2中,巡检机器人云台拍摄参数包含水平偏转角度Ptx、竖直偏转角度Ptz、倍率a。
10.如权利要求1所述的方法,其特征在于:所述步骤3中,首先对巡检机器人拍摄的待识别仪表图片进行如下处理:将RGB格式原图转换为灰度图,然后再进行SIFT匹配。
CN201910752107.4A 2019-08-15 2019-08-15 一种用于巡检机器人的指针式仪表识别方法 Pending CN110503144A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910752107.4A CN110503144A (zh) 2019-08-15 2019-08-15 一种用于巡检机器人的指针式仪表识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910752107.4A CN110503144A (zh) 2019-08-15 2019-08-15 一种用于巡检机器人的指针式仪表识别方法

Publications (1)

Publication Number Publication Date
CN110503144A true CN110503144A (zh) 2019-11-26

Family

ID=68587484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910752107.4A Pending CN110503144A (zh) 2019-08-15 2019-08-15 一种用于巡检机器人的指针式仪表识别方法

Country Status (1)

Country Link
CN (1) CN110503144A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291691A (zh) * 2020-02-17 2020-06-16 合肥工业大学 一种基于深度学习的变电站二次设备仪表盘读数检测方法
CN111950553A (zh) * 2020-08-17 2020-11-17 广东电科院能源技术有限责任公司 一种指针式仪表自动对准方法及装置
CN112232209A (zh) * 2020-10-16 2021-01-15 蓝普金睛(北京)科技有限公司 用于变电站巡检机器人的指针式仪表盘读数的识别方法
CN112257676A (zh) * 2020-11-19 2021-01-22 南京天创电子技术有限公司 一种指针式仪表读数方法、系统以及巡检机器人
CN112507871A (zh) * 2020-12-09 2021-03-16 中国计量大学 一种巡检机器人及其检测方法
CN113342061A (zh) * 2021-04-22 2021-09-03 云南电网有限责任公司昆明供电局 一种变电站巡检机器人表计图像识别动态修正方法
CN113570631A (zh) * 2021-08-28 2021-10-29 西安安森智能仪器股份有限公司 一种基于图像的指针式仪表智能识别方法及设备
CN114283413A (zh) * 2021-12-22 2022-04-05 上海蒙帕信息技术有限公司 一种巡检场景下数字仪表读数的识别方法与系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103927507A (zh) * 2013-01-12 2014-07-16 山东鲁能智能技术有限公司 一种改进的变电站巡检机器人的多仪表读数识别方法
CN106778823A (zh) * 2016-11-22 2017-05-31 国网湖北省电力公司宜昌供电公司 一种指针式仪表读数自动识别方法
US20170344849A1 (en) * 2016-05-26 2017-11-30 Panton, Inc., Methods for automated chart analysis
US20180046262A1 (en) * 2016-08-09 2018-02-15 International Business Machines Corporation Remotely operating target device
CN108629347A (zh) * 2018-03-14 2018-10-09 武汉科技大学 变电站宽刻度指针式仪表自动识别方法
CN110097062A (zh) * 2019-04-26 2019-08-06 亿嘉和科技股份有限公司 一种利用指针中心点的指针识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103927507A (zh) * 2013-01-12 2014-07-16 山东鲁能智能技术有限公司 一种改进的变电站巡检机器人的多仪表读数识别方法
US20170344849A1 (en) * 2016-05-26 2017-11-30 Panton, Inc., Methods for automated chart analysis
US20180046262A1 (en) * 2016-08-09 2018-02-15 International Business Machines Corporation Remotely operating target device
CN106778823A (zh) * 2016-11-22 2017-05-31 国网湖北省电力公司宜昌供电公司 一种指针式仪表读数自动识别方法
CN108629347A (zh) * 2018-03-14 2018-10-09 武汉科技大学 变电站宽刻度指针式仪表自动识别方法
CN110097062A (zh) * 2019-04-26 2019-08-06 亿嘉和科技股份有限公司 一种利用指针中心点的指针识别方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291691A (zh) * 2020-02-17 2020-06-16 合肥工业大学 一种基于深度学习的变电站二次设备仪表盘读数检测方法
CN111950553A (zh) * 2020-08-17 2020-11-17 广东电科院能源技术有限责任公司 一种指针式仪表自动对准方法及装置
CN112232209A (zh) * 2020-10-16 2021-01-15 蓝普金睛(北京)科技有限公司 用于变电站巡检机器人的指针式仪表盘读数的识别方法
CN112257676A (zh) * 2020-11-19 2021-01-22 南京天创电子技术有限公司 一种指针式仪表读数方法、系统以及巡检机器人
CN112257676B (zh) * 2020-11-19 2023-10-24 南京天创电子技术有限公司 一种指针式仪表读数方法、系统以及巡检机器人
CN112507871A (zh) * 2020-12-09 2021-03-16 中国计量大学 一种巡检机器人及其检测方法
CN112507871B (zh) * 2020-12-09 2023-07-14 中国计量大学 一种巡检机器人及其检测方法
CN113342061A (zh) * 2021-04-22 2021-09-03 云南电网有限责任公司昆明供电局 一种变电站巡检机器人表计图像识别动态修正方法
CN113570631A (zh) * 2021-08-28 2021-10-29 西安安森智能仪器股份有限公司 一种基于图像的指针式仪表智能识别方法及设备
CN113570631B (zh) * 2021-08-28 2024-04-26 西安安森智能仪器股份有限公司 一种基于图像的指针式仪表智能识别方法及设备
CN114283413A (zh) * 2021-12-22 2022-04-05 上海蒙帕信息技术有限公司 一种巡检场景下数字仪表读数的识别方法与系统
CN114283413B (zh) * 2021-12-22 2024-04-26 上海蒙帕智能科技股份有限公司 一种巡检场景下数字仪表读数的识别方法与系统

Similar Documents

Publication Publication Date Title
CN110503144A (zh) 一种用于巡检机器人的指针式仪表识别方法
CN102521560B (zh) 高鲁棒仪表指针图像识别方法
CN110659636B (zh) 基于深度学习的指针式仪表读数识别方法
CN103267491B (zh) 自动获取物体表面完整三维数据的方法及系统
CN111354042A (zh) 机器人视觉图像的特征提取方法、装置、机器人及介质
CN104457710B (zh) 一种基于非量测数码相机的航空数字摄影测量方法
CN108053416B (zh) 一种基于单幅卫星图像的最大储油量提取系统
CN107330927B (zh) 机载可见光图像定位方法
CN103838437A (zh) 基于投影图像的触控定位控制方法
CN110084842B (zh) 一种机器人云台伺服二次对准方法及装置
CN106504287B (zh) 基于模板的单目视觉目标空间定位系统
CN113340277B (zh) 一种基于无人机倾斜摄影的高精度定位方法
CN116597013B (zh) 一种基于不同经纬度区域的卫星图像几何定标方法
CN107607091A (zh) 一种测量无人机飞行航迹的方法
CN111473755B (zh) 一种远程测距方法及装置
CN106651957B (zh) 基于模板的单目视觉目标空间定位方法
CN103940590A (zh) 大口径光学镜头畸变的标定方法
CN111307146A (zh) 一种基于双目相机和imu的虚拟现实头戴显示设备定位系统
CN112581544A (zh) 基于参数优化的无公共视场相机标定方法
CN113409396A (zh) 一种adas单目相机的标定方法
CN114492070A (zh) 一种高精度测绘地理信息虚拟仿真技术与装置
CN106646441A (zh) 结合环境信息的室内移动机器人定位系统及方法
CN111750896B (zh) 云台标定方法、装置、电子设备及存储介质
CN102620745B (zh) 一种机载imu视准轴误差检校方法
CN117095002A (zh) 轮毂缺陷的检测方法及装置、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191126

WD01 Invention patent application deemed withdrawn after publication