CN117372937B - 一种基于指针仪表的数据读取方法 - Google Patents

一种基于指针仪表的数据读取方法 Download PDF

Info

Publication number
CN117372937B
CN117372937B CN202311670308.2A CN202311670308A CN117372937B CN 117372937 B CN117372937 B CN 117372937B CN 202311670308 A CN202311670308 A CN 202311670308A CN 117372937 B CN117372937 B CN 117372937B
Authority
CN
China
Prior art keywords
pointer
instrument
image
point
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311670308.2A
Other languages
English (en)
Other versions
CN117372937A (zh
Inventor
吴志刚
严来飞
陈敏
朱耀晖
张海波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NANCHANG CAMPUS OF JIANGXI UNIVERSITY OF SCIENCE AND TECHNOLOGY
Original Assignee
NANCHANG CAMPUS OF JIANGXI UNIVERSITY OF SCIENCE AND TECHNOLOGY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NANCHANG CAMPUS OF JIANGXI UNIVERSITY OF SCIENCE AND TECHNOLOGY filed Critical NANCHANG CAMPUS OF JIANGXI UNIVERSITY OF SCIENCE AND TECHNOLOGY
Priority to CN202311670308.2A priority Critical patent/CN117372937B/zh
Publication of CN117372937A publication Critical patent/CN117372937A/zh
Application granted granted Critical
Publication of CN117372937B publication Critical patent/CN117372937B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于指针仪表的数据读取方法，方法包括获取指针仪表的初始图像及标定数据，根据标定数据获取指针仪表图像的角度与刻度线关系模板；获取仪表指针样本并对转动过程进行跟踪以获得目标图像，根据目标图像获得指针像素点坐标参数及指针轮廓，根据指针像素点坐标参数获得指针坐标点集并拟合以获得指针直线；对指针轮廓进行细粒度提取和线条检测以获得指针骨架，检测指针骨架与仪表量程刻度线的交点，并与指针中心点拟合成指针直线，进而获取指针直线的梯度信息，并映射至角度与刻度关系模板得到当前指针角度的对应刻度，实现仪表数据自动读取。本申请通过自动读取仪表数据，提高效率。

Description

一种基于指针仪表的数据读取方法
技术领域
本发明涉及图像处理技术领域，特别涉及一种基于指针仪表的数据读取方法。
背景技术
随着社会生产力的不断提升，工业生产过程不断迈向智能化，生产信息化、数字化是发展的趋势。
仪表是变电站、油田、施工建造等工业设施的重要组成部件，一般用来显示各种参数，比如说温度、速度、车辆的剩余油量等等。仪表一般都设有指针，通过设置在仪表上的电机驱动指针转动，使指针指向不同的刻度或数字，以此显示各参数的具体数值，仪表是监控生产过程的一种重要安全保障，也是生产信息化中数据获取的重要来源，因此生产过程中仪表数据是非常重要的数据。
现有技术当中，鉴于成本或与原设备配套不易更换或仍存在不少使用寿命等原因，各类旧式指针仪表仍大量存在，这部分仪表在智能化改造过程是一个难点，因此在市面上使用依然广泛。然而目前指针式仪表大多没有通信接口，仪表数据读数需要专业人员进行人工抄表，存在周期长，成本高，效率低、实时性差的问题。
发明内容
基于此，本发明的目的是提供一种基于指针仪表的数据读取方法，用于解决现有技术中基于人工抄表进行仪表数据读取的技术方案，周期长，成本高，效率低、实时性差的技术问题。
本发明一方面提供一种基于指针仪表的数据读取系统，包括硬件图像采集模块、移动终端图像识别模块、数据显示模块以及分别连接所述硬件图像采集模块与所述移动终端图像识别模块的软件数据处理算法模块；所述硬件图像采集模块包括摄像头，所述摄像头设于所述指针仪表上方用于采集仪表的初始图像以构成视频流，所述移动终端图像识别模块用于获取来自硬件图像采集模块采集的视频流，并通过所述软件数据处理算法模块进行数据处理以输出当前指针角度的对应刻度，并通过所述数据显示模块显示。
本发明另一方面提供一种基于指针仪表的数据读取方法，应用于上述系统中的软件数据处理算法模块，所述方法包括：
获取指针仪表的初始图像，根据所述初始图像获取标定数据，所述标定数据包括指针中心位置以及仪表量程，并根据所述标定数据获取该指针仪表图像的角度与刻度线关系模板；
获取仪表指针样本，对所述指针样本的转动过程进行跟踪并根据跟踪结果获得目标图像，所述跟踪结果包括指针位置与时间对应的若干帧图像，对所述目标图像进行图像预处理以获得指针特征信息，所述指针特征信息包括指针像素点坐标参数以及指针轮廓，根据指针像素点坐标参数获得指针坐标点集并对指针坐标点集进行直线拟合以获得指针直线，所述指针直线与指针轮廓共线，所述指针直线与仪表量程的刻度线相交；
对仪表图像表盘区块进行分割，以查找指针轮廓，对指针轮廓进行细粒度提取和线条检测以获得指针骨架，采用边缘检测算法检测所述指针骨架与仪表量程刻度线的交点，将指针中心点与所述交点拟合成指针直线，通过尺度变换和角度法获取拟合指针直线的梯度信息，并映射至角度与刻度关系模板得到当前指针角度的对应刻度，实现仪表数据自动读取。
上述基于指针仪表的数据读取方法，通过构建数据读取系统用于自动读取仪表指针的当前刻度，实现自动读取仪表数据，替换了传统方案中人工读取的方式，提高了读取效率；具体的：
首先，获取指针仪表的初始图像并进行数据标定以根据标定数据获得仪表模板，获取该仪表模板的指针中心位置、仪表量程以及角度与刻度线关系模板以对仪表指针的自动读数提供数据基础。其次，获取指针样本，对指针的转动过程进行跟踪以根据跟踪结果获取目标图像，并根据目标图像获得指针像素点坐标参数以及指针轮廓。再者，对仪表图像表盘区块进行分割，以查找指针轮廓，对指针轮廓进行细粒度提取和线条检测以获得指针骨架，采用边缘检测算法检测所述指针骨架与仪表量程刻度线的交点，将指针中心点与所述交点拟合成指针直线，通过尺度变换和角度法获取拟合指针直线的梯度信息，并映射至角度与刻度关系模板得到当前指针角度的对应刻度，实现仪表数据自动读取。
另外，根据本发明上述的基于指针仪表的数据读取方法，还可以具有如下附加的技术特征：
进一步地，获取指针仪表的初始图像，根据所述初始图像获取标定数据的步骤包括：
获取原始图像，并根据所述原始图像的边界构建原始坐标系，所述原始图像包括指针仪表图像以及外界图像；
根据所述指针仪表图像构建得到仪表内接正方形，所述指针仪表图像的边界圆为所述仪表内接正方形的外接圆，根据所述原始坐标系分别获得仪表内接正方形的左上角坐标以及右下角坐标；
根据所述左上角坐标以及所述右下角坐标裁剪所述原始图像以切除外界图像而得到指针仪表的初始图像，所述初始图像的裁剪边界与仪表图像的边界圆相切，并根据所述裁切边界建立仪表坐标系。
进一步地，根据所述裁切边界建立仪表坐标系的步骤之后还包括：
根据仪表坐标系对指针仪表进行数据标注以获取标注数据，根据所述标注数据获取角度与刻度关系模板，所述标注数据包括指针中心位置坐标点、最小量程坐标点以及最大量程坐标点，根据所述最小量程坐标点以及所述最大量程坐标点确定仪表量程。
进一步地，对所述指针样本的转动过程进行跟踪并根据跟踪结果获得目标图像的步骤包括：
分别获取第t帧图像以及第t+k帧图像，所述第t帧图像为时间t对应指针位置xt的图像，所述第t+k帧图像为时间t+k对应指针位置xt+k的图像；
根据所述第t帧图像对指针沿仪表量程进行正向追踪以产生指针实际轨迹，根据所述第t+k帧图像对指针沿仪表量程进行反向追踪以产生指针验证轨迹，根据实际轨迹与验证轨迹获得追踪器t时间的正反向误差，结合所述正反向误差及归一化互相关验证过滤最差预测点以获得剩余点；
根据剩余点的坐标及距离变化获得第t+1帧图像中目标边界框的位置和大小，根据目标边界框的位置和大小获得目标图像。
进一步地，正反向误差的计算公式为：
；
；
其中，
FB为正反向误差；S=(I t,I t+1,…,I t+k)为一图像序列；T f k=(x t,x t+1,…,x t+k)为前向k步跟踪轨迹序列；为反向k步跟踪轨迹序列。
进一步地，对指针轮廓进行细粒度提取和直线检测以获得指针骨架，检测所述指针骨架以获得针头的步骤包括：
对指针轮廓进行细粒度提取和直线检测以获得指针骨架，
采用边缘检测算法检测指针骨架与仪表量程刻度线的交点，遍历指针骨架所有像素点距离指针中心坐标点的欧式距离以提取最远距离点，所述最远距离点为指针针头坐标；
其中，最远距离点的数学计算公式为：
；
其中，（X P ,Y P）为最远距离点坐标，即针头坐标；（x i ,y i）表示指针骨架的像素点，D为指针骨架像素点集；
（Xmid，Ymid）为指针中心点坐标，用以求得最大欧氏距离的指针针头坐标，其中，Xmid表示指针中心点横坐标，Ymid表示指针中心点纵坐标。
进一步地，将指针中心点与所述交点拟合成指针直线，通过尺度变换和角度法获取拟合指针直线的梯度信息，并映射至角度与刻度关系模板得到当前指针角度的对应刻度的步骤包括：
当前指针角度的计算公式为：
；
其中，（X P ,Y P）为最远距离点坐标，即针头坐标；（X mid ,Y mid）为仪表中心点坐标，即指针中心位置坐标；θ t为当前指针角度；
其中，角度与刻度关系模板的函数/>表达式为：
；
其中，R表示仪表量程，即Min_value与Max_value之差；
刻度为最终读数结果，Min_value为最小量程；Max_value为最大量程；
；
；
θ min为最小量程坐标点与指针中心位置坐标点连线水平夹角；
θ max为最大量程坐标点与指针中心位置坐标点连线水平夹角；
（X min ,Y min）为最小量程坐标点；（X max ,Y max）为最大量程坐标点。
附图说明
图1为本发明实施例中基于指针仪表的数据读取系统的框架图；
图2为本发明实施例中基于指针仪表的数据读取方法的流程图；
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。
为了解决现有技术中基于人工抄表进行仪表数据读取的技术方案，周期长，成本高，效率低、实时性差的技术问题，本申请提供一种基于指针仪表的数据读取方法，通过构建数据读取系统用于自动读取仪表指针的当前刻度，实现自动读取仪表数据，替换了传统方案中人工读取的方式，提高了读取效率；
具体的，如图1所示，基于指针仪表的数据读取系统包括硬件图像采集模块、移动终端图像识别模块、数据显示模块以及分别连接硬件图像采集模块与移动终端图像识别模块的软件数据处理算法模块；硬件图像采集模块包括摄像头，摄像头设于指针仪表上方用于采集仪表的初始图像以构成视频流，移动终端图像识别模块用于获取来自硬件图像采集模块采集的视频流，并通过软件数据处理算法模块进行数据处理以输出当前指针角度的对应刻度，并通过数据显示模块显示。
在本申请中，首先，获取指针仪表的初始图像并进行数据标定以根据标定数据获得仪表模板，获取该仪表模板的指针中心位置、仪表量程以及角度与刻度线关系模板以对仪表指针的自动读数提供数据基础。其次，获取指针样本，对指针的转动过程进行跟踪以根据跟踪结果获取目标图像，并根据目标图像获得指针像素点坐标参数以及指针轮廓。再者，对仪表图像表盘区块进行分割，以查找指针轮廓，对指针轮廓进行细粒度提取和线条检测以获得指针骨架，采用边缘检测算法检测所述指针骨架与仪表量程刻度线的交点，将指针中心点与所述交点拟合成指针直线，通过尺度变换和角度法获取拟合指针直线的梯度信息，并映射至角度与刻度关系模板得到当前指针角度的对应刻度，实现仪表数据自动读取。
为了便于理解本发明，下面将给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
实施例一
请参阅图2，所示为本发明第一实施例中的基于指针仪表的数据读取方法，具体应用于基于指针仪表的数据读取系统中的软件数据处理算法模块，所述方法包括步骤S101至步骤S103：
S101、获取指针仪表的初始图像，根据初始图像获取标定数据，标定数据包括指针中心位置以及仪表量程，并根据标定数据获取该指针仪表图像的角度与刻度线关系模板。
在本实施例中，为了获得精准的仪表初始图像，需要对摄像头采集的视频流中的每一帧图像进行处理以提高仪表图像的识别精准度及处理效率，作为一个具体示例，获取指针仪表的初始图像，根据初始图像获取标定数据的步骤具体包括步骤S1011-步骤S1013：
S1011、获取原始图像，并根据原始图像的边界构建原始坐标系。
作为一个具体示例，原始图像包括指针仪表图像以及外界图像。
S1012、根据指针仪表图像构建得到仪表内接正方形，指针仪表图像的边界圆为仪表内接正方形的外接圆，根据原始坐标系分别获得仪表内接正方形的左上角坐标以及右下角坐标。
S1013、根据左上角坐标以及右下角坐标裁剪原始图像以切除外界图像而得到指针仪表的初始图像，初始图像的裁剪边界与仪表图像的边界圆相切，并根据裁切边界建立仪表坐标系。
在本实施例中，根据获取的第一帧原始图像选取指针模板，根据指针模板对仪表信息进行标定从而得到标定数据。
在建立好仪表坐标系后，根据仪表坐标系对指针仪表进行数据标注以获取标注数据，根据标注数据获取角度与刻度关系模板，标注数据包括指针中心位置坐标点、最小量程坐标点以及最大量程坐标点，根据最小量程坐标点以及最大量程坐标点确定仪表量程。
对仪表首次进行检测时，首先需要对输入第一帧仪表图像进行指针跟踪模板的框选，在一些可选实施例中，可以人工通过鼠标框选，也可以系统根据指针仪表图像识别构建仪表内接正方形，根据仪表内接正方形的左上角及右下角，其中（X1,Y1）,（X2,Y2）定义为模板图像左上角及右下角相对于整张图像坐标位置，根据坐标将原始图像进行裁剪，作为仪表指针的跟踪模板传入后续的目标跟踪。仪表信息标定通过鼠标依次进行仪表最小量程点（Xmin,Ymin）、最大量程点（Xmax,Ymax）、中心点位置（Xmid,Ymid）选取，输入最小量程及最大量程(Min_value,Max_value)。
S102、获取仪表指针样本，对指针样本的转动过程进行跟踪并根据跟踪结果获得目标图像，跟踪结果包括指针位置与时间对应的若干帧图像，对目标图像进行图像预处理以获得指针特征信息，指针特征信息包括指针像素点坐标参数以及指针轮廓，根据指针像素点坐标参数获得指针坐标点集并对指针坐标点集进行直线拟合以获得指针直线，指针直线与指针轮廓共线，指针直线与仪表量程的刻度线相交。
作为一个具体示例，对指针样本的转动过程进行跟踪并根据跟踪结果获得目标图像的步骤具体包括步骤S1021-步骤S1023：
S1021、分别获取第t帧图像以及第t+k帧图像，第t帧图像为时间t对应指针位置xt的图像，第t+k帧图像为时间t+k对应指针位置xt+k的图像。
S1022、根据第t帧图像对指针沿仪表量程进行正向追踪以产生指针实际轨迹，根据第t+k帧图像对指针沿仪表量程进行反向追踪以产生指针验证轨迹，根据实际轨迹与验证轨迹获得追踪器t时间的正反向误差，结合正反向误差及归一化互相关验证过滤最差预测点以获得剩余点。
从第一帧图像即时间t的初始位置xt正向追踪产生目标运动轨迹，再从最后一帧图像即时间t+k的位置xt+k反向跟踪产生时间t的预测位置验证轨迹，初始位置和预测位置所预测的两条轨迹欧氏距离就作为追踪器在t时间的FB误差。结合FB误差和NCC（Normalized Cross Correlation，归一化互相关）验证，将50%的最差预测过滤掉，对剩余点的坐标、距离的变化计算第t+1帧中目标边界框的位置和大小。具体的，正反向误差的计算公式为：
；
；
其中，FB为正反向误差；S=(I t,I t+1,…,I t+k)为一图像序列；T f k=(x t,x t+1,…,x t+k)为前向k步跟踪轨迹序列；为反向k步跟踪轨迹序列。
S1023、根据剩余点的坐标及距离变化获得第t+1帧图像中目标边界框的位置和大小，根据目标边界框的位置和大小获得目标图像。
在获得目标图像后，对目标图像进行预处理以获得指针特征信息，预处理目的在于去除表盘颜色或者阴影的干扰，从而突出指针骨架，方便识别指针读数；具体的，在本实施例中，以Medianflow-Tracker算法作为目标跟踪算法。作为一个具体示例，预处理方法依次包括图像归一化、高斯滤波、双边滤波、灰度转化处理、二值化滤波以及图像开运算。
具体的，图像归一化是指将图像RGB三通道像素点颜色值严格转换为[0，255]范围内。避免图像对比度不足（例如：图像像素亮度分布不平衡）从而对后续处理带来干扰，使得没有可比性的数据变得具有可比性，同时又保持相比较的两个数据之间的相对关系。
关于高斯滤波：在图像的采集获取和传输过程中，高斯噪声也会影响图像的质量。高斯噪声的幅度分布服从高斯分布，且在全频域都存在。高斯滤波将每一个像素作为中心点，取用高斯核对图像进行卷积，图像的高频分量会被打到低频，最终呈现的效果就是图像变模糊了。而高斯核的权值服从正态分布，距离中心点越近，关系越密切，权重就越大，距离越远的点，关系越疏远，权重就越小，最终呈现中心点权重最大，依次向四周递减的形状。利用高斯滤波对图像进行处理后，二值化滤波及图像开运算将过滤大部分背景干扰信息，很好的将指针细节特征呈现出来。计算平均值时，只需要将"中心点"作为原点，其他点按照其在正态曲线上的位置，分配权重，就可以得到一个加权平均值。计算公式如下：
；
关于双边滤波：双边滤波同样采用与高斯滤波相同的加权平均的方法，利用高斯分布对用周边像素亮度值进行加权操作。与高斯滤波不相同的是，双边滤波的权重考虑了像素的欧氏距离、像素范围域中的辐射差异，例如卷积核中像素与中心像素之间相似程度、颜色强度，深度距离等，高斯滤波仅考虑了位置对中心像素的影响。使用双边滤波相比于使用高斯滤波和未使用高斯滤波及双边滤波的背景过滤效果更为明显，在图像开运算后可以提取较为准确的指针特征。
在双边滤波后，对图像进行灰度转化处理：本实施例使用YUV亮度灰度化对图像进行灰度化处理，其中Y表示像素的亮度，U表示色值，V表示色值饱和度。根据RGB和YUV颜色空间的变化关系可建立亮度Y与R、G、B三个颜色分量的对应关系，以这个亮度值表达图像的灰度值，该灰度Gray的计算公式如下所示，这是一种压缩后的颜色表示方法，相对于其他三种灰度化方法，此方法占用更少的物理空间，且对颜色的表现失真不明显，可保留更真实的颜色参数。具体的，灰度Gray的计算公式如下：
Gray=0.229*R+0.587*G+0.114*B；
灰度转化后对图像进行二值化滤波：图像二值化是指将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果。将所有灰度大于或等于阈值的像素被判定为属于特定物体，其灰度值为255，否则这些像素点被排除在物体区域以外，灰度值为0，表示背景或者例外的物体区域。
二值化滤波后对图像进行图像开运算：数学形态学(Mathematical morphology)中图像开运算是图像依次经过腐蚀、膨胀处理后的过程。图像在经过二值化处理后会存在许多点状、条状的干扰噪点，利用图像开运算将图像腐蚀后，去除噪声，接着对腐蚀过的图像进行膨胀处理，增强图像的目标特征，平滑物体的轮廓并断开较窄的狭颈以消除细的突出物。开运算数学表达式定义如下：
，
其中，；
式中，f为输入的单通道灰度图，B为结构元，表示图像开运算（即：B遍历f每个像素点先腐蚀后膨胀），/>为腐蚀操作，⊕为膨胀操作。
S103、对仪表图像表盘区块进行分割，以查找指针轮廓，对指针轮廓进行细粒度提取和线条检测以获得指针骨架，采用边缘检测算法检测指针骨架与仪表量程刻度线的交点，将指针中心点与交点拟合成指针直线，通过尺度变换和角度法获取拟合指针直线的梯度信息，并映射至角度与刻度关系模板得到当前指针角度的对应刻度，实现仪表数据自动读取。
具体的，对仪表图像表盘区块进行分割，提取分割后的表盘区块的特征点，以根据提取的特征点查找指针轮廓；进一步地，对指针轮廓进行细粒度提取和直线检测以获得指针骨架，采用边缘检测算法检测指针骨架与仪表量程刻度线的交点，遍历指针骨架所有像素点距离指针中心坐标点的欧式距离以提取最远距离点，最远距离点为指针针头坐标，从而获得指针针头的针头信息。
在已获得指针特征情况下通过Hough线变换检测直线倾斜角度，然而指针指向对角数值时的直线倾角是相同的，本实施例利用最初标注的中心点坐标信息，遍历所有指针骨架D={（x 0,y 0）,（x 1,y 1）,（x 2,y 2）,…,（x i,y i）}距离中心点(X mid,Y mid)的欧氏距离，提取最远距离点（X P ,Y P）来得到指针针头坐标。具体的，最远距离点的数学计算公式为：
；
其中，（X P ,Y P）为最远距离点坐标，即针头坐标；（x i ,y i）表示指针骨架的像素点，D为指针骨架像素点集；
（Xmid，Ymid）为指针中心点坐标，用以求得最大欧氏距离的指针针头坐标，其中，Xmid表示指针中心点横坐标，Ymid表示指针中心点纵坐标。
获取指针针头后便可结合中心点坐标得到指针朝向，避免了指针指向对角数值导致的直线倾角相同的问题。
进一步地：当前指针角度的计算公式为：
；
其中，（X P ,Y P）为最远距离点坐标，即针头坐标；（X mid ,Y mid）为仪表中心点坐标，即指针中心位置坐标；θ t为当前指针角度；
在本实施例中，角度与刻度关系模板的函数/>表达式为：
；
其中，R表示仪表量程，即Min_value与Max_value之差；刻度为最终读数结果，对摄像头不断输入的视频流检测出指针角度后显示在原图像上，Min_value为最小量程；Max_ value为最大量程；
；
；
θ min为最小量程坐标点与指针中心位置坐标点连线水平夹角；θ max为最大量程坐标点与指针中心位置坐标点连线水平夹角；（X min ,Y min）为最小量程坐标点；（X max ,Y max）为最大量程坐标点。
综上，本发明上述实施例当中的基于指针仪表的数据读取方法，通过构建数据读取系统用于自动读取仪表指针的当前刻度，实现自动读取仪表数据，替换了传统方案中人工读取的方式，提高了读取效率；具体的：
首先，获取指针仪表的初始图像并进行数据标定以根据标定数据获得仪表模板，获取该仪表模板的指针中心位置、仪表量程以及角度与刻度线关系模板以对仪表指针的自动读数提供数据基础。其次，获取指针样本，对指针的转动过程进行跟踪以根据跟踪结果获取目标图像，并根据目标图像获得指针像素点坐标参数以及指针轮廓。再者，对仪表图像表盘区块进行分割，以查找指针轮廓，对指针轮廓进行细粒度提取和线条检测以获得指针骨架，采用边缘检测算法检测所述指针骨架与仪表量程刻度线的交点，将指针中心点与所述交点拟合成指针直线，通过尺度变换和角度法获取拟合指针直线的梯度信息，并映射至角度与刻度关系模板得到当前指针角度的对应刻度，实现仪表数据自动读取。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (4)

1.一种基于指针仪表的数据读取方法，其特征在于，应用于基于指针仪表的数据读取系统，所述系统包括硬件图像采集模块、移动终端图像识别模块、数据显示模块以及分别连接所述硬件图像采集模块与所述移动终端图像识别模块的软件数据处理算法模块；所述硬件图像采集模块包括摄像头，所述摄像头设于所述指针仪表上方用于采集仪表的初始图像以构成视频流，所述移动终端图像识别模块用于获取来自硬件图像采集模块采集的视频流，并通过所述软件数据处理算法模块进行数据处理以输出当前指针角度的对应刻度，并通过所述数据显示模块显示；
所述数据读取方法具体应用于所述软件数据处理算法模块，所述方法包括：
获取指针仪表的初始图像，根据所述初始图像获取标定数据，所述标定数据包括指针中心位置以及仪表量程，并根据所述标定数据获取该指针仪表图像的角度与刻度线关系模板；
获取仪表指针样本，对所述指针样本的转动过程进行跟踪并根据跟踪结果获得目标图像，所述跟踪结果包括指针位置与时间对应的若干帧图像，对所述目标图像进行图像预处理以获得指针特征信息，所述指针特征信息包括指针像素点坐标参数以及指针轮廓，根据指针像素点坐标参数获得指针坐标点集并对指针坐标点集进行直线拟合以获得指针直线，所述指针直线与指针轮廓共线，所述指针直线与仪表量程的刻度线相交；
对仪表图像表盘区块进行分割，以查找指针轮廓，对指针轮廓进行细粒度提取和线条检测以获得指针骨架，采用边缘检测算法检测所述指针骨架与仪表量程刻度线的交点，将指针中心点与所述交点拟合成指针直线，通过尺度变换和角度法获取拟合指针直线的梯度信息，并映射至角度与刻度关系模板得到当前指针角度的对应刻度，实现仪表数据自动读取；
其中，对所述指针样本的转动过程进行跟踪并根据跟踪结果获得目标图像的步骤包括：
分别获取第t帧图像以及第t+k帧图像，所述第t帧图像为时间t对应指针位置qt的图像，所述第t+k帧图像为时间t+k对应指针位置qt+k的图像；
根据所述第t帧图像对指针沿仪表量程进行正向追踪以产生指针实际轨迹，根据所述第t+k帧图像对指针沿仪表量程进行反向追踪以产生指针验证轨迹，根据实际轨迹与验证轨迹获得追踪器t时间的正反向误差，结合所述正反向误差及归一化互相关验证过滤最差预测点以获得剩余点；
根据剩余点的坐标及距离变化获得第t+1帧图像中目标边界框的位置和大小，根据目标边界框的位置和大小获得目标图像；
其中，正反向误差的计算公式为：
；
；
其中，FB为正反向误差；S=(I t, I t+1,…, I t+k)为一图像序列；T f k=(qt，qt+1，…，qt+k)为前向k步跟踪轨迹序列；为反向k步跟踪轨迹序列；
其中，将指针中心点与所述交点拟合成指针直线，通过尺度变换和角度法获取拟合指针直线的梯度信息，并映射至角度与刻度关系模板得到当前指针角度的对应刻度的步骤包括：
当前指针角度的计算公式为：
；
其中，（X P ,Y P）为最远距离点坐标，即针头坐标；（X mid ,Y mid）为仪表中心点坐标，即指针中心位置坐标；θ t为当前指针角度；
其中，角度与刻度关系模板的函数/>表达式为：
；
其中，R表示仪表量程，即Min_value与Max_value之差；
刻度为最终读数结果，Min_value为最小量程；Max_value为最大量程；
；
；
θ min为最小量程坐标点与指针中心位置坐标点连线水平夹角；
θ max为最大量程坐标点与指针中心位置坐标点连线水平夹角；
（X min ,Y min）为最小量程坐标点；（X max ,Y max）为最大量程坐标点。
2.根据权利要求1所述的基于指针仪表的数据读取方法，其特征在于，获取指针仪表的初始图像，根据所述初始图像获取标定数据的步骤包括：
获取原始图像，并根据所述原始图像的边界构建原始坐标系，所述原始图像包括指针仪表图像以及外界图像；
根据所述指针仪表图像构建得到仪表内接正方形，所述指针仪表图像的边界圆为所述仪表内接正方形的外接圆，根据所述原始坐标系分别获得仪表内接正方形的左上角坐标以及右下角坐标；
根据所述左上角坐标以及所述右下角坐标裁剪所述原始图像以切除外界图像而得到指针仪表的初始图像，所述初始图像的裁切边界与仪表图像的边界圆相切，并根据所述裁切边界建立仪表坐标系。
3.根据权利要求2所述的基于指针仪表的数据读取方法，其特征在于，根据所述裁切边界建立仪表坐标系的步骤之后还包括：
根据仪表坐标系对指针仪表进行数据标注以获取标注数据，根据所述标注数据获取角度与刻度关系模板，所述标注数据包括指针中心位置坐标点、最小量程坐标点以及最大量程坐标点，根据所述最小量程坐标点以及所述最大量程坐标点确定仪表量程。
4.根据权利要求1所述的基于指针仪表的数据读取方法，其特征在于，对指针轮廓进行细粒度提取和直线检测以获得指针骨架，检测所述指针骨架以获得针头的步骤包括：
对指针轮廓进行细粒度提取和直线检测以获得指针骨架，
采用边缘检测算法检测指针骨架与仪表量程刻度线的交点，遍历指针骨架所有像素点距离指针中心坐标点的欧式距离以提取最远距离点，所述最远距离点为指针针头坐标；
其中，最远距离点的数学计算公式为：
；
其中，（X P ,Y P）为最远距离点坐标，即针头坐标；（x i ,y i）表示指针骨架的像素点，D为指针骨架像素点集；
（Xmid，Ymid）为指针中心点坐标，用以求得最大欧氏距离的指针针头坐标，其中，Xmid表示指针中心点横坐标，Ymid表示指针中心点纵坐标。
CN202311670308.2A 2023-12-07 2023-12-07 一种基于指针仪表的数据读取方法 Active CN117372937B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311670308.2A CN117372937B (zh) 2023-12-07 2023-12-07 一种基于指针仪表的数据读取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311670308.2A CN117372937B (zh) 2023-12-07 2023-12-07 一种基于指针仪表的数据读取方法

Publications (2)

Publication Number Publication Date
CN117372937A CN117372937A (zh) 2024-01-09
CN117372937B true CN117372937B (zh) 2024-03-29

Family

ID=89391384

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311670308.2A Active CN117372937B (zh) 2023-12-07 2023-12-07 一种基于指针仪表的数据读取方法

Country Status (1)

Country Link
CN (1) CN117372937B (zh)

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112257676A (zh) * 2020-11-19 2021-01-22 南京天创电子技术有限公司 一种指针式仪表读数方法、系统以及巡检机器人
CN112613429A (zh) * 2020-12-28 2021-04-06 上海智能制造系统创新中心有限公司 一种基于机器视觉适用于多视角图像指针式仪表读数方法
CN112906694A (zh) * 2021-03-25 2021-06-04 中国长江三峡集团有限公司 变电站倾斜式指针式仪表图像的读数矫正系统及方法
CN112949564A (zh) * 2021-02-02 2021-06-11 电子科技大学 一种基于深度学习的指针式仪表自动读数方法
WO2021190640A1 (zh) * 2020-03-27 2021-09-30 京东方科技集团股份有限公司 指针定位方法、装置及仪表
CN114005108A (zh) * 2021-11-08 2022-02-01 国网上海市电力公司 一种基于坐标变换的指针式仪表度数识别方法
JP2022089389A (ja) * 2020-12-04 2022-06-16 日本化薬株式会社 アナログメータの指針の指示値の読み取り方法およびアナログメータの指針の指示値の読み取りシステム
CN115049916A (zh) * 2022-08-17 2022-09-13 四川金信石信息技术有限公司 一种指针式仪表读数识别方法及识别装置
CN115205858A (zh) * 2022-07-07 2022-10-18 南昌航空大学 一种基于旋转目标检测的指针式仪表自动读数方法
CN115294317A (zh) * 2022-08-03 2022-11-04 西安安森智能仪器股份有限公司 一种用于工业生产厂区的指针式仪表读数智能检测方法
CN115457556A (zh) * 2022-08-11 2022-12-09 中核武汉核电运行技术股份有限公司 一种核电厂圆盘指针式仪表读数方法
CN115861801A (zh) * 2022-11-25 2023-03-28 北京潞电电气设备有限公司 指针式仪表识别方法、系统、电子设备及可读存储介质
CN116543376A (zh) * 2023-07-03 2023-08-04 广东电网有限责任公司肇庆供电局 一种指针式仪表读数方法和系统
CN116612461A (zh) * 2023-04-06 2023-08-18 华南理工大学 一种基于目标检测的指针式仪表全过程自动读数方法
CN116844147A (zh) * 2023-07-10 2023-10-03 昆明理工大学 一种基于深度学习的指针式仪表识别和异常警报方法
CN116883987A (zh) * 2023-09-06 2023-10-13 南京启征信息技术有限公司 一种用于变电站无人巡检的指针仪表读数识别方法
CN116958983A (zh) * 2023-07-27 2023-10-27 中国人民解放军92493部队计量测试研究所 一种基于机器视觉的指针式压力表自动校验仪示值读数方法
CN117152727A (zh) * 2023-08-10 2023-12-01 北京工业大学 一种用于巡检机器人的指针式仪表自动读数方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11301712B2 (en) * 2019-11-07 2022-04-12 Sap Se Pointer recognition for analog instrument image analysis

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021190640A1 (zh) * 2020-03-27 2021-09-30 京东方科技集团股份有限公司 指针定位方法、装置及仪表
CN112257676A (zh) * 2020-11-19 2021-01-22 南京天创电子技术有限公司 一种指针式仪表读数方法、系统以及巡检机器人
JP2022089389A (ja) * 2020-12-04 2022-06-16 日本化薬株式会社 アナログメータの指針の指示値の読み取り方法およびアナログメータの指針の指示値の読み取りシステム
CN112613429A (zh) * 2020-12-28 2021-04-06 上海智能制造系统创新中心有限公司 一种基于机器视觉适用于多视角图像指针式仪表读数方法
CN112949564A (zh) * 2021-02-02 2021-06-11 电子科技大学 一种基于深度学习的指针式仪表自动读数方法
CN112906694A (zh) * 2021-03-25 2021-06-04 中国长江三峡集团有限公司 变电站倾斜式指针式仪表图像的读数矫正系统及方法
CN114005108A (zh) * 2021-11-08 2022-02-01 国网上海市电力公司 一种基于坐标变换的指针式仪表度数识别方法
CN115205858A (zh) * 2022-07-07 2022-10-18 南昌航空大学 一种基于旋转目标检测的指针式仪表自动读数方法
CN115294317A (zh) * 2022-08-03 2022-11-04 西安安森智能仪器股份有限公司 一种用于工业生产厂区的指针式仪表读数智能检测方法
CN115457556A (zh) * 2022-08-11 2022-12-09 中核武汉核电运行技术股份有限公司 一种核电厂圆盘指针式仪表读数方法
CN115049916A (zh) * 2022-08-17 2022-09-13 四川金信石信息技术有限公司 一种指针式仪表读数识别方法及识别装置
CN115861801A (zh) * 2022-11-25 2023-03-28 北京潞电电气设备有限公司 指针式仪表识别方法、系统、电子设备及可读存储介质
CN116612461A (zh) * 2023-04-06 2023-08-18 华南理工大学 一种基于目标检测的指针式仪表全过程自动读数方法
CN116543376A (zh) * 2023-07-03 2023-08-04 广东电网有限责任公司肇庆供电局 一种指针式仪表读数方法和系统
CN116844147A (zh) * 2023-07-10 2023-10-03 昆明理工大学 一种基于深度学习的指针式仪表识别和异常警报方法
CN116958983A (zh) * 2023-07-27 2023-10-27 中国人民解放军92493部队计量测试研究所 一种基于机器视觉的指针式压力表自动校验仪示值读数方法
CN117152727A (zh) * 2023-08-10 2023-12-01 北京工业大学 一种用于巡检机器人的指针式仪表自动读数方法
CN116883987A (zh) * 2023-09-06 2023-10-13 南京启征信息技术有限公司 一种用于变电站无人巡检的指针仪表读数识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Computer Vision Measurement of Pointer Meter Readings Based on Inverse Perspective Mapping;Haojing Bao等;《applied sciences》;20190906;第9卷(第18期);1-16 *
New identification method of linear pointer instrument;Fengcai Huo等;《Multimedia Tools and Applications》;20220726;第82卷;4319-4342 *
基于改进YOLOX的指针式仪表检测与读数方法研究;陈昊业;《中国优秀硕士学位论文全文数据库 工程科技II辑》;20230715;第2023年卷(第7期);C030-19 *
基于机器视觉的仪表识别算法研究;王韧;《中国优秀硕士学位论文全文数据库 工程科技II辑》;20220115;第2022年卷(第1期);C030-4 *
融合空间细节与语义特征的指针式仪表双边图像分割网络;朱耀晖等;《激光与光电子学进展》;20230822;1-12 *

Also Published As

Publication number Publication date
CN117372937A (zh) 2024-01-09

Similar Documents

Publication Publication Date Title
CN106875381B (zh) 一种基于深度学习的手机外壳缺陷检测方法
CN109360396B (zh) 基于图像识别技术和NB-IoT技术的远程抄表方法及系统
CN109635806B (zh) 基于残差网络的电表数值识别方法
CN110781885A (zh) 基于图像处理的文本检测方法、装置、介质及电子设备
CN109241867B (zh) 采用人工智能算法识别数字岩心图像的方法及装置
CN110245600B (zh) 自适应起始快速笔画宽度无人机道路检测方法
CN113609984A (zh) 一种指针式仪表读数识别方法、装置及电子设备
JP4003465B2 (ja) 特定パターン認識方法、特定パターン認識プログラム、特定パターン認識プログラム記録媒体および特定パターン認識装置
CN115841669A (zh) 一种基于深度学习技术的指针式仪表检测与示数识别方法
CN116188756A (zh) 一种基于深度学习的仪表角度校正与示数识别方法
CN116740053B (zh) 一种锻造加工智能生产线的管理系统
CN116543376B (zh) 一种指针式仪表读数方法和系统
Shi et al. License plate localization in complex environments based on improved GrabCut algorithm
CN117372937B (zh) 一种基于指针仪表的数据读取方法
CN109784257B (zh) 一种变压器温度表检测与识别方法
CN116958983A (zh) 一种基于机器视觉的指针式压力表自动校验仪示值读数方法
Zhang et al. A YOLOv3-Based Industrial Instrument Classification and Reading Recognition Method
CN116343223A (zh) 一种基于深度学习的字轮式水表读数方法
CN114419036B (zh) 基于边界信息融合的表面缺陷区域分割方法及装置
CN113591875B (zh) 一种高精度指针式仪表识别方法
CN109858474B (zh) 一种变压器油面温控器检测与识别方法
CN113870328A (zh) 一种液体异物视觉检测方法及系统
CN113223098A (zh) 图像颜色分类的预处理优化方法
CN116844058B (zh) 一种指针式仪表示数的识别方法、装置、设备及存储介质
CN117557565B (zh) 一种锂电池极片的检测方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant