CN113869112A - 一种基于机器视觉的仪表自动读数方法装置 - Google Patents

一种基于机器视觉的仪表自动读数方法装置 Download PDF

Info

Publication number
CN113869112A
CN113869112A CN202110969758.6A CN202110969758A CN113869112A CN 113869112 A CN113869112 A CN 113869112A CN 202110969758 A CN202110969758 A CN 202110969758A CN 113869112 A CN113869112 A CN 113869112A
Authority
CN
China
Prior art keywords
pointer
key points
image
dial
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110969758.6A
Other languages
English (en)
Inventor
林文伟
李瑞峰
罗冠泰
张陈涛
汤思榕
梁培栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Quanzhou HIT Research Institute of Engineering and Technology
Original Assignee
Fujian Quanzhou HIT Research Institute of Engineering and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Quanzhou HIT Research Institute of Engineering and Technology filed Critical Fujian Quanzhou HIT Research Institute of Engineering and Technology
Priority to CN202110969758.6A priority Critical patent/CN113869112A/zh
Publication of CN113869112A publication Critical patent/CN113869112A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Character Discrimination (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于机器视觉的仪表自动读数方法及装置，方法包括如下步骤：A、采集标准模板图像和训练图像，在各图像的表盘上标注M个表盘关键点、指针上标注N个指针关键点；B、利用标注好的训练图像对神经网络模型进行训练；C、利用经步骤B后的神经网络模型对当前仪表的图像进行检测，得到表盘关键点和指针关键点；D、将表盘关键点与标准模板图像上标注的表盘关键点进行一一配准，并通过透视变换，对表盘进行校准；E、根据指针关键点获取指针区域，将尖端的指针关键点与质心相连，得到指针指示的位置；F、根据校准后的表盘和指针指示的位置判断当前仪表读数。本发明能够克服环境干扰，保证检测的稳定性和鲁棒性，且检测精度高。

Description

一种基于机器视觉的仪表自动读数方法装置
技术领域
本发明涉及一种基于机器视觉的仪表自动读数方法装置。
背景技术
变电站是对电压和电流进行变换，接受电能及分配电能的场所。变电站的安全性和稳定性直接影响到整个电网系统运行。因此，变电站日常巡检工作十分重要。变电站巡检是由值班人员定期巡视观察仪表设备的状态并记录结果。但通过人工巡检的方式受到巡检人员工作状态、工作水平等诸多因素制约，时常会造成误检、漏检等情况。此外，巡检工作人员无法在深夜或雷雨等恶劣天气下进站工作。
随着科技进步和技术革新，基于机器人技术、导航技术及机器视觉技术融合的电力巡检机器人逐步取代人工，进行变电站的智能化巡检工作。现有的利用机器人自动读取仪表读数的技术中，通常采用基于Hough直线检测实现仪表的指针检测或提取仪表显著性特征对仪表指针进行相对位置判别。如中国专利申请号为201811049628.5的一种指针式仪表读数识别方法及系统，使用Hough直线检测进行仪表的指针检测。但该类方法易受外部环境因素影响，如光照条件、拍摄角度、表盘的清洁程度，需根据不同的环境条件，调节算法参数，否则无法保证算法的鲁棒性及准确性。
发明内容
本发明提出一种基于机器视觉的仪表自动读数方法装置，能够克服环境干扰，保证检测的稳定性和鲁棒性，且检测精度高。
本发明通过以下技术方案实现：
一种基于机器视觉的仪表自动读数方法，仪表包括表盘和指针，包括如下步骤：
A、采集标准模板图像和训练图像，在各图像的表盘上标注M个表盘关键点、指针上标注N个指针关键点，其中有一个指针关键点位于指针尖端；
B、利用标注好的训练图像对神经网络模型进行训练，以使该神经网络模型能够检测表盘关键点和指针关键点；
C、利用经步骤B后的神经网络模型对当前仪表的图像进行检测，得到表盘关键点和指针关键点；
D、将表盘关键点与标准模板图像上标注的表盘关键点进行一一配准，并通过透视变换，对表盘进行校准；
E、根据指针关键点获取指针区域，并计算该指针区域的质心，将尖端的指针关键点与质心相连，得到指针指示的位置；
F、根据校准后的表盘和指针指示的位置判断当前仪表读数。
进一步的，所述步骤B中，神经网络模型包括四阶hourglass网络模块。
进一步的，所述步骤A中，M≥4，N≥3。
进一步的，所述标准模板图像为利用相机拍摄的仪表清晰的正面图像。
进一步的，所述步骤D中，根据以下公式进行透视变换：
Figure BDA0003225219960000021
其中，(u,v)表示原始图像像素坐标，(x′,y′,z′)表示变换后的图像像素坐标，
Figure BDA0003225219960000022
表示图像线性变换，T2＝[a13 a23]T用于产生图像透视变换，T2＝[a31 a32]表示图像平移。
进一步的，所述步骤A中，M个表盘关键点分别位于长刻度线端部，N-1个指针关键点分别位于指针边缘折弯处。
进一步的，所述步骤B中，将步骤A中标注好的训练图像按照8：2的比例随机划分，80％的训练图像用于训练所述神经网络模型，20％的训练图像用于测试训练后的神经网络图像。
进一步的，所述步骤E中，连接各指针关键点以形成一封闭区域，该封闭区域即为指针区域。
本发明还通过以下技术方案实现：
一种基于机器视觉的仪表自动读数装置，包括：
采集模块：用于采集标准模板图像和训练图像，在各图像的表盘上标注M个表盘关键点、指针上标注N个指针关键点，其中有一个指针关键点位于指针尖端；
检测模块：用于利用标注好的训练图像对神经网络模型进行训练，以使该神经网络模型能够检测表盘关键点和指针关键点，并利用训练后的神经网络模型对当前仪表的图像进行检测，得到表盘关键点和指针关键点；
校准模块：用于将表盘关键点与标准模板图像上标注的表盘关键点进行一一配准，并通过透视变换，对表盘进行校准；
指针位置获取模块：用于根据指针关键点获取指针区域，并计算该指针区域的质心，将尖端的指针关键点与质心项相连，得到指针指示的位置；
读数模块：用于根据校准后的表盘和指针指示的位置判断当前仪表读数。
本发明具有如下有益效果：
1、本发明首先通过已标注多个表盘关键点和指针关键点的训练图像对神经网络模型进行训练，以使该神经网络模型能够检测表盘关键点和指针关键点，再利用已训练的神经网络模型检测当前仪表图像的表盘关键点和指针关键点，然后将表盘关键点与标准模板图像上标注的表盘关键点进行一一配准，并通过透视变换对表盘进行校准，最后根据指针关键点获取指针区域，并将指针尖端的指针关键点与指针区域的质心项链，从而得到指针指示的位置，根据校准后的表盘和指针指示的位置判断当前仪表读数；利用神经网络检测关键点，能够解决复杂环境下仪表特征提取困难的问题，保证检测的稳定性和鲁棒性，并克服光照变化、仪表积灰及拍摄角度等外界条件不同所带来的检测干扰，同时，通过仪表盘特征点进行表盘校准，通过指针特征点精确定位指针位置，则保证了检测结果的精确性。
附图说明
下面结合附图对本发明做进一步详细说明。
图1为本发明的流程图。
图2为仪表关键点标注示意图。
图3-1为当前仪表图像与标准模板图像的校准示意图。
图3-2为校准后的当前仪表图像。
图4为已获取指针区域的当前仪表图像。
图5为确定指针指示位置的当前仪表图像。
具体实施方式
仪表包括表盘和指针，如图1所示，基于机器视觉的仪表自动读数方法包括如下步骤：
A、采集标准模板图像和训练图像，如图2所示，在各图像的表盘上标注5个表盘关键点(A1、A2、A3、A4和A5)、指针上标注3个指针关键点(B1、B2和B3)，5个表盘关键点分别位于长刻度线端部，相邻两表盘关键点之间隔了一根长刻度线，一个指针关键点B1位于指针尖端，其余2个指针关键点位于指针边缘折弯处；
标准模板图像是利用相机拍摄的仪表清晰的正面图像，训练图像则是在仪表不同清晰度下，由相机在各种角度下所拍摄的照片；
B、利用标注好的训练图像对神经网络模型进行训练，以使该神经网络模型能够检测表盘关键点和指针关键点；
在本实施例中，网络神经模型包括四阶hourglass网络模块；
训练具体为：将步骤A中标注好的训练图像按照8：2的比例随机划分，80％的训练图像用于训练所述神经网络模型，20％的训练图像用于测试训练后的神经网络图像；
C、利用经步骤B后的神经网络模型对当前仪表的图像进行检测，得到表盘关键点和指针关键点；
D、将表盘关键点与标准模板图像上标注的表盘关键点进行一一配准，并通过透视变换，对表盘进行校准，如图3-1所示，图3-1中，左边的表盘为需要检测的当前仪表图像，右边的表盘为标准模板图像，校准后的仪表图像如图3-2所示；
其中，根据以下公式进行透视变换：
Figure BDA0003225219960000051
其中，(u,v)表示原始图像像素坐标，(x′,y′,z′)表示变换后的图像像素坐标，
Figure BDA0003225219960000052
表示图像线性变换，T2＝[a13 a23]T用于产生图像透视变换，T2＝[a31 a32]表示图像平移；
E、连接各指针关键点以形成一封闭区域，该封闭区域即为指针区域，如图4所示，并计算该指针区域的质心，将尖端的指针关键点与质心相连，得到指针指示的位置，如图5所示；
其中，质心计算公式如下所示：
Figure BDA0003225219960000061
该公式为现有技术；
F、根据校准后的表盘和指针指示的位置判断当前仪表读数，具体判断过程为现有技术。
一种基于机器视觉的仪表自动读数装置，包括：
采集模块：用于采集标准模板图像和训练图像，在各图像的表盘上标注M个表盘关键点、指针上标注N个指针关键点，其中有一个指针关键点位于指针尖端；
检测模块：用于利用标注好的训练图像对神经网络模型进行训练，以使该神经网络模型能够检测表盘关键点和指针关键点，并利用训练后的神经网络模型对当前仪表的图像进行检测，得到表盘关键点和指针关键点；
校准模块：用于将表盘关键点与标准模板图像上标注的表盘关键点进行一一配准，并通过透视变换，对表盘进行校准；
指针位置获取模块：用于根据指针关键点获取指针区域，并计算该指针区域的质心，将尖端的指针关键点与质心项相连，得到指针指示的位置；
读数模块：用于根据校准后的表盘和指针指示的位置判断当前仪表读数。
以上所述，仅为本发明的较佳实施例而已，故不能以此限定本发明实施的范围，即依本发明申请专利范围及说明书内容所作的等效变化与修饰，皆应仍属本发明专利涵盖的范围内。

Claims (9)

1.一种基于机器视觉的仪表自动读数方法，仪表包括表盘和指针，其特征在于：包括如下步骤：
A、采集标准模板图像和训练图像，在各图像的表盘上标注M个表盘关键点、指针上标注N个指针关键点，其中有一个指针关键点位于指针尖端；
B、利用标注好的训练图像对神经网络模型进行训练，以使该神经网络模型能够检测表盘关键点和指针关键点；
C、利用经步骤B后的神经网络模型对当前仪表的图像进行检测，得到表盘关键点和指针关键点；
D、将表盘关键点与标准模板图像上标注的表盘关键点进行一一配准，并通过透视变换，对表盘进行校准；
E、根据指针关键点获取指针区域，并计算该指针区域的质心，将尖端的指针关键点与质心相连，得到指针指示的位置；
F、根据校准后的表盘和指针指示的位置判断当前仪表读数。
2.根据权利要求1所述的一种基于机器视觉的仪表自动读数方法，其特征在于：所述步骤B中，神经网络模型包括四阶hourglass网络模块。
3.根据权利要求1所述的一种基于机器视觉的仪表自动读数方法，其特征在于：所述步骤A中，M≥4，N≥3。
4.根据权利要求1或2或3所述的一种基于机器视觉的仪表自动读数方法，其特征在于：所述标准模板图像为利用相机拍摄的仪表清晰的正面图像。
5.根据权利要求1或2或3所述的一种基于机器视觉的仪表自动读数方法，其特征在于：所述步骤D中，根据以下公式进行透视变换：
Figure FDA0003225219950000011
其中，(u,v)表示原始图像像素坐标，(x′,y′,z′)表示变换后的图像像素坐标，
Figure FDA0003225219950000021
表示图像线性变换，T2＝[a13 a23]T用于产生图像透视变换，T2＝[a31 a32]表示图像平移。
6.根据权利要求1或2或3所述的一种基于机器视觉的仪表自动读数方法，其特征在于：所述步骤A中，M个表盘关键点分别位于长刻度线端部，N-1个指针关键点分别位于指针边缘折弯处。
7.根据权利要求1或2或3所述的一种基于机器视觉的仪表自动读数方法，其特征在于：所述步骤B中，将步骤A中标注好的训练图像按照8：2的比例随机划分，80％的训练图像用于训练所述神经网络模型，20％的训练图像用于测试训练后的神经网络图像。
8.根据权利要求1或2或3所述的一种基于机器视觉的仪表自动读数方法，其特征在于：所述步骤E中，连接各指针关键点以形成一封闭区域，该封闭区域即为指针区域。
9.一种基于机器视觉的仪表自动读数装置，其特征在于：包括：
采集模块：用于采集标准模板图像和训练图像，在各图像的表盘上标注M个表盘关键点、指针上标注N个指针关键点，其中有一个指针关键点位于指针尖端；
检测模块：用于利用标注好的训练图像对神经网络模型进行训练，以使该神经网络模型能够检测表盘关键点和指针关键点，并利用训练后的神经网络模型对当前仪表的图像进行检测，得到表盘关键点和指针关键点；
校准模块：用于将表盘关键点与标准模板图像上标注的表盘关键点进行一一配准，并通过透视变换，对表盘进行校准；
指针位置获取模块：用于根据指针关键点获取指针区域，并计算该指针区域的质心，将尖端的指针关键点与质心项相连，得到指针指示的位置；
读数模块：用于根据校准后的表盘和指针指示的位置判断当前仪表读数。
CN202110969758.6A 2021-08-23 2021-08-23 一种基于机器视觉的仪表自动读数方法装置 Pending CN113869112A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110969758.6A CN113869112A (zh) 2021-08-23 2021-08-23 一种基于机器视觉的仪表自动读数方法装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110969758.6A CN113869112A (zh) 2021-08-23 2021-08-23 一种基于机器视觉的仪表自动读数方法装置

Publications (1)

Publication Number Publication Date
CN113869112A true CN113869112A (zh) 2021-12-31

Family

ID=78987935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110969758.6A Pending CN113869112A (zh) 2021-08-23 2021-08-23 一种基于机器视觉的仪表自动读数方法装置

Country Status (1)

Country Link
CN (1) CN113869112A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114494684A (zh) * 2022-04-01 2022-05-13 深圳市海清视讯科技有限公司 指针式表盘的读数识别方法、装置、设备、存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114494684A (zh) * 2022-04-01 2022-05-13 深圳市海清视讯科技有限公司 指针式表盘的读数识别方法、装置、设备、存储介质

Similar Documents

Publication Publication Date Title
CN112906694B (zh) 变电站倾斜式指针式仪表图像的读数矫正系统及方法
CN112818988B (zh) 一种指针式仪表自动识别读数方法及系统
CN105091922B (zh) 一种基于虚拟表盘的指针表读数识别方法
CN105930837A (zh) 基于自主巡检机器人的变电站仪表设备图像识别方法
CN108460327A (zh) 一种基于图像处理的指针式仪表读数自动识别方法
CN102519400B (zh) 基于机器视觉的大长径比轴类零件直线度误差检测方法
CN106529519A (zh) 一种电力指针式仪表自动读数识别的方法及系统
CN101660932A (zh) 一种指针式汽车仪表自动校验方法
CN108764234B (zh) 一种基于巡检机器人的液位仪表读数识别方法
CN111738229B (zh) 一种指针表盘刻度的自动读取方法
CN104050446A (zh) 一种基于指针宽度特征的仪表指针图像识别方法
CN107862690A (zh) 一种基于特征点匹配的电路板元器件定位方法和定位装置
CN111914767B (zh) 一种基于多源遥感数据的散乱污企业检测方法及系统
CN113469178B (zh) 一种基于深度学习的电力表计识别方法
CN103149087B (zh) 一种基于随动视窗与数字图像的非接触式实时应变测量方法
CN107301412A (zh) 一种基于图像处理的指针式仪表读数方法
CN111624203A (zh) 一种基于机器视觉的继电器接点齐度非接触式测量方法
CN113536895A (zh) 一种圆盘指针表计识别方法
CN113869112A (zh) 一种基于机器视觉的仪表自动读数方法装置
Wang et al. Automatic reading system for analog instruments based on computer vision and inspection robot for power plant
CN112906602B (zh) 基于图像处理的配电柜电量表自动识别装置及识别方法
CN116993725B (zh) 一种柔性电路板智能贴片信息处理系统
CN113657339A (zh) 一种基于机器视觉的仪表指针计数读取方法及介质
CN115861407A (zh) 基于深度学习的安全距离检测方法及系统
CN114973017A (zh) 融合遥感及gis技术的输变电设备高精度定位方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination