CN116469109A - 一种数字仪表的测量结果识别方法及装置 - Google Patents

一种数字仪表的测量结果识别方法及装置 Download PDF

Info

Publication number
CN116469109A
CN116469109A CN202310399968.5A CN202310399968A CN116469109A CN 116469109 A CN116469109 A CN 116469109A CN 202310399968 A CN202310399968 A CN 202310399968A CN 116469109 A CN116469109 A CN 116469109A
Authority
CN
China
Prior art keywords
image
character
digital
template
digital instrument
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310399968.5A
Other languages
English (en)
Inventor
廖盛斌
谢鹏航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central China Normal University
Original Assignee
Central China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central China Normal University filed Critical Central China Normal University
Priority to CN202310399968.5A priority Critical patent/CN116469109A/zh
Publication of CN116469109A publication Critical patent/CN116469109A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/19007—Matching; Proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种数字仪表的测量结果识别方法及装置，属于图像识别技术领域，所述方法包括：根据预设模板信息，从目标场景灰度图像中提取出数字仪表的显示屏图像；从所述显示屏图像中提取多个字符图像，并确定小数点相对于多个字符图像的位置；所述字符图像包括：数字字符图像和单位字符图像；将每个字符图像输入字符识别模型，输出每个所述字符图像的识别结果；根据每个所述字符图像的识别结果以及小数点的位置，确定所述数字仪表的测量结果。本发明减少了深度学习中数据集的搜集、标记和训练等冗长工作，提高了工作效率；本发明还支持设定多种不同型号数字电阻表的模板信息，以方便用户有不同的需求，适用性更强。

Description

一种数字仪表的测量结果识别方法及装置
技术领域
本发明涉及图像识别技术领域，尤其涉及一种数字仪表的测量结果识别方法及装置。
背景技术
工作设备数据的识别与记录在各种产业领域都广泛使用，但是目前在很多场景下受到工作条件限制以及生产成本、设备复杂度的要求，很多用于计量的仪器仪表设备都没有供数据传输使用的专用通信接口，导致无法直接获取测量后的数据，需要依靠人工来将数据依次输入存储到计算机中。使用人工的方法需要消耗大量的人工时间和精力，带来更高的成本支出，并且人工通常只能在普通的无危险场合识别并记录数据，在某些特定的情况下，例如高温、高压和设备过多等工作场合，使用人工来记录设备数据显然不可行，不仅会影响采集数据的准确性更可能会影响到工作人员的人身安全。
数字仪表的工作环境就可能存在高压、高电流和设备数量多的情况，因此，利用机器视觉来辅助数据的读取和录入，这极大的提高率工作效率和识别准确率，同时保障了工作人员的安全。
但是，使用深度学习方法训练神经网络来识别数字仪表上的数据的方法存在着两个无法回避的问题：首先是需要依靠人工来采集数据、标记数据和训练神经网络模型，大大增加了工作人员的工作负担，工作效率低；其次是，将神经网络在应用到其他场景下的数字和字符时，很有可能会产生错误的结果，适用性较差。
发明内容
本发明提供一种数字仪表的测量结果识别方法与装置，用以解决现有技术中的缺陷，实现数字仪表的高效率、高精度的识别，并且适用性较强。
第一方面，本发明提供一种数字仪表的测量结果识别方法，包括：根据预设模板信息，从目标场景灰度图像中提取出数字仪表的显示屏图像；从所述显示屏图像中提取多个字符图像，并确定小数点相对于多个字符图像的位置；所述字符图像包括：数字字符图像和单位字符图像；将每个字符图像输入字符识别模型，输出每个所述字符图像的识别结果；根据每个所述字符图像的识别结果以及小数点的位置，确定所述数字仪表的测量结果；所述预设模板信息包括模板图像和模板位置数据；其中，所述模板位置数据分别包括数字仪表和数字仪表的显示屏在所述模板图像中的位置信息。
根据本发明提供的一种数字仪表的测量结果识别方法，在根据预设模板信息，从目标场景灰度图像中提取出数字仪表的显示屏图像之前，还包括：获取包含数字仪表的目标视频；从目标视频中提取与所述预设模板信息中的模板图像尺寸相同的目标场景图像；将所述目标场景图像转化为目标场景灰度图像。
根据本发明提供的一种数字仪表的测量结果识别方法，所述根据预设模板信息，从目标场景灰度图像中提取出数字仪表的显示屏图像，包括：根据数字仪表在所述模板图像中的位置信息，从所述模板图像中获取数字仪表模板图像，并将所述数字仪表模板图像转化为标准模板灰度图像；通过对所述标准模板灰度图像与所述目标场景灰度图像进行特征匹配，从所述目标场景灰度图像中确定数字仪表场景图像；对所述数字仪表场景图像转化为和所述标准模板灰度图像形式相同的数字仪表场景标准图像；根据数字仪表的显示屏在所述模板图像中的位置信息，从所述数字仪表场景标准图像中提取出所述显示屏图像。
根据本发明提供的一种数字仪表的测量结果识别方法，从所述显示屏图像中提取多个字符图像，包括：对所述显示屏图像进行图像处理，获取所述显示屏图像上的字符轮廓；按照从左到右从上到下的顺序，从所述字符轮廓中提取出所述数字字符图像；以及，按照从右到左的顺序，从所述字符轮廓中提取出所述单位字符图像。
根据本发明提供的一种数字仪表的测量结果识别方法，确定小数点相对于多个字符图像的位置，包括：获取各个数字字符图像之间的像素数据；根据各个数字字符图像之间的区域的像素数据，确定所述小数点相对于各个数字字符图像的位置。
根据本发明提供的一种数字仪表的测量结果识别方法，所述字符识别模型为支持向量机；所述字符识别模型是预先利用字符图像样本以及所述字符图像样本对应的样本标签训练完成的。
根据本发明提供的一种数字仪表的测量结果识别方法，对所述标准模板灰度图像与所述目标场景灰度图像进行特征匹配，具体为：利用Orb特征点对所述标准模板灰度图像与所述目标场景灰度图像进行特征匹配。
根据本发明提供的一种数字仪表的测量结果识别方法，所述模板图像的图像形式为：拍摄位置为成像的正中间、拍摄角度为正方向垂直于数字仪表、数字仪表完整的在所述模板图像显示以及数字仪表在所述模板图像中的占比大于预设阈值。
根据本发明提供的一种数字仪表的测量结果识别方法，所述数字仪表为数字电阻表。
第二方面，本发明还提供一种数字仪表的测量结果识别装置，包括：
显示屏图像提取模块，用于根据预设模板信息，从目标场景灰度图像中提取出数字仪表的显示屏图像；
字符图像提取模块，用于从所述显示屏图像中提取多个字符图像，并确定小数点相对于多个字符图像的位置；所述字符图像包括：数字字符图像和单位字符图像；
字符图像识别模块，用于将每个字符图像输入字符识别模型，输出每个所述字符图像的识别结果；
测量结果确定模块，用于根据每个所述字符图像的识别结果以及小数点的位置，确定所述数字仪表的测量结果；
所述预设模板信息包括模板图像和模板位置数据；其中，所述模板位置数据分别包括数字仪表和数字仪表的显示屏在所述模板图像中的位置信息。
第三方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述数字仪表的测量结果识别方法的步骤。
本发明只需要简单的设定模板信息，不需要使用大量的数字仪表图像来制作数据集和漫长的训练神经网络，有效减少了数据处理工作和神经网络训练所花费的时间与精力，缩短了产品从原形设计到实际应用的周期，能够使用户更快的投入使用，效率高；同时本发明支持设定多种不同型号数字仪表的模板信息，以方便用户有不同的需求，具有较强的适用性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的数字仪表的测量结果识别方法的流程示意图；
图2是本发明提供的数字仪表的测量结果识别装置的结构示意图；
图3是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明实施例的描述中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
下面结合图1-图3描述本发明实施例所提供的数字仪表的测量结果识别方法和装置。
图1是本发明提供的数字仪表的测量结果识别方法的流程示意图，如图1所示，包括但不限于以下步骤：
步骤101：根据预设模板信息，从目标场景灰度图像中提取出数字仪表的显示屏图像。
其中，目标场景灰度图像为包含待识别的数字仪表的测量结果的灰度图像。可以理解的是，目标场景灰度图像可以通过人工拍摄或者从已有的视频文件中获取，本实施例不做具体限定。
预设模板信息包括模板图像和模板位置数据。其中，模板图像使用成像效果不低于960*540分辨率的照相机或者摄像机所拍摄的图像，模板图像的拍摄角度为正方向垂直于数字仪表，数字仪表在模板图像中需要完全被拍摄到并且达到尽可能高的占比，例如占比大于预设阈值(如95％)。
其中，所述模板位置数据分别包括数字仪表和数字仪表的显示屏在所述模板图像中的位置信息。
数字仪表可以为数字电阻表、数字电流表、数字电压表等各种具有数值显示功能的数字仪表。本发明主要以数字电阻表为例，对技术方案进行说明。
数字仪表和数字仪表的显示屏的位置信息，可以通过手动框选的方式获取。例如，用户首先可以手动框取数字仪表在在模板图像中位置，进一步地，再在数字仪表所在区域框选出显示屏的位置，最后将模板图像和对应的模板位置数据存储既可获取本发明中的预设模板信息。
步骤102：从所述显示屏图像中提取多个字符图像，并确定小数点相对于多个字符图像的位置。
其中，所述字符图像包括：数字字符图像和单位字符图像。数字字符图像和单位字符图像以及小数点的位置为进行数字仪表的测量结果的识别的有效信息。
可选地，本发明可以利用图像识别算法按照七段数码管的数字字符轮廓和单位字符轮廓的特征提取出相应的字符图像。
由于小数点的位置处于每个数字的中下方，本发明可以对每个数字字符图像的中下方进行重点监测(图像识别)，从而确定小数点的位置。
步骤103：将每个字符图像输入字符识别模型，输出每个所述字符图像的识别结果。
其中，所述字符识别模型是预先利用字符图像样本以及所述字符图像样本对应的样本标签训练完成的。
步骤104：根据每个所述字符图像的识别结果以及小数点的位置，确定所述数字仪表的测量结果。
可以理解的是，根据每个数字字符图像的识别结果以及小数点的位置，可以确定数字仪表的显示数值；根据单位字符图像的字符识别结果可以确定，显示数值对应的计量单位；根据显示数值以及其对应的单位之后，即可以最终的数字仪表的测量结果。
例如，对于一数字仪表(如数字电阻表)，利用字符识别模型分别对多个数字字符图像进行字符识别，得到识别结果依次为“1”、“2”、“3”和“4”；利用字符识别模型对单位字符图像进行字符识别，得到识别结果为“Ω”；通过图像识别技术确定小数点位于字符“2”和“3”之间；则最终数字电阻表的最终识别结果为：12.34Ω。
需要说明的是，对于本领域技术人员而言，可以非常容易的根据字符图像在目标场景灰度图像中的位置排序，从而确定各识别结果的排序，这里不再赘述。
另外，本发明对数字仪表显示精度、测量范围不作具体限制，只要具有符合本发明的可识别的数字字符以及单位字符即可。
本发明只需要简单的设定模板信息，不需要使用大量的数字仪表图像来制作数据集和漫长的训练神经网络，有效减少了数据处理工作和神经网络训练所花费的时间与精力，缩短了产品从原形设计到实际应用的周期，能够使用户更快的投入使用，效率高；同时本发明支持设定多种不同型号数字仪表的模板信息，以方便用户有不同的需求，具有较强的适用性。
基于上述实施例的内容，作为一种可选的实施例，本发明还提供一种数字仪表的测量结果识别方法，在根据预设模板信息，从目标场景灰度图像中提取出数字仪表的显示屏图像之前，还包括：获取包含数字仪表的目标视频；从目标视频中提取与所述预设模板信息中的模板图像尺寸相同的目标场景图像；将所述目标场景图像转化为目标场景灰度图像。
目标视频的拍摄需要依靠摄像头等硬件设备，该设备所获取到的视频流分辨率应不低于960*540，过低质量的视频数据流其成像效果较差，会对识别产生一定的影响。本发明可以使用OpenCV来逐帧读取摄像头拍摄到的视频数据流，将OpenCV读取到的视频帧保存为目标场景图像，调整该图像的尺寸为960*540，并将其转换为场景灰度图(目标场景灰度图像)方便后续的步骤处理。
本发明实施例提供的数字仪表的测量结果识别方法，从目标视频中实时获取目标场景图像，并将目标场景图像转化为目标场景灰度图像，便于后续的处理，还可以实现较高的实时性。
基于上述实施例的内容，作为一种可选的实施例，本发明还提供一种数字仪表的测量结果识别方法，所述根据预设模板信息，从目标场景灰度图像中提取出数字仪表的显示屏图像，包括：根据数字仪表在所述模板图像中的位置信息，从所述模板图像中获取数字仪表模板图像，并将所述数字仪表模板图像转化为标准模板灰度图像；通过对所述标准模板灰度图像与所述目标场景灰度图像进行特征匹配，从所述目标场景灰度图像中确定数字仪表场景图像；对所述数字仪表场景图像转化为和所述标准模板灰度图像的图像形式相同的数字仪表场景标准图像；根据数字仪表的显示屏在所述模板图像中的位置信息，从所述数字仪表场景标准图像中提取出所述显示屏图像。
需要说明的是，特征匹配是计算机视觉中识别物体所采取的一种方法。它指的是使用计算机提取多张图像信息，计算图像上像素点周围的数据信息，根据计算的结果来决定图像中的像素点是否属于一个图像特征。在不同的图像上计算出特征点信息后再匹配计算出的结果，最终得出不同图像上相似的特征点数据，以成对的形式存在。
数字仪表以及数字仪表的显示屏在所述模板图像中的位置信息可以根据预设模板信息中的模板位置数据确定；标准模板灰度图像的图像形式为：属于灰度图像，并且数字仪表水平居中并且充满整个图像。下面对本实施例的具体实施过程进行说明。
本发明可以根据预设模板信息，从模板图像裁剪出数字仪表模板图像，该数字仪表模板图像的尺寸调整为高度为960像素，宽度为540像素。再将数字仪表模板图像转换为灰度图(即标准模板灰度图像)。
可选地，本发明还可以使用直方图均衡的方法对标准模板灰度图像进行优化，具体过程本领域技术人员可以理解，这里不再赘述。
在完成上述模版标准化操作后使用匹配算法来计算数字仪表模板图像的特征数据。其中，特征数据包括多个特征点和特征描述符，特征点和特殊描述符一一对应。特征描述符用来描述该特征点所包含的特征信息。
相应地，本发明进一步获取目标场景灰度图像的特征数据。从而，本发明使用目标场景灰度图像的关键点和特征描述符与标准模板灰度图像的关键点和特征描述符做匹配计算，得到两者匹配度高的像素点坐标，由这些匹配的像素坐标可以计算出从标准模板灰度图像到目标场景灰度图像的单应矩阵，最后使用单应矩阵定位出目标场景灰度图像中数字电阻表的位置，从而获取数字仪表场景图像。
通过特征匹配只能得到标准模板灰度图像到数字仪表场景图像的单应矩阵，由于数字仪表场景图像的位置和朝向都是随机的，所以本发明使用一个逆变换来把数字仪表场景图像变换为和标准模版图像的图像形式相同的图像。这个逆变换所使用的矩阵就是单应矩阵的逆矩阵，使用该矩阵变换可以得到数字仪表场景标准图像。
由于在预先设置的模版位置数据中已经划分好了显示屏的坐标位置，直接使用这些坐标位置来对数字仪表场景标准图像进行裁剪，从而可得到显示屏图像。
可以理解的是，在传统的机器视觉识别数字电阻表方法中，往往需要依靠固定的位置和角度获取液晶显示屏上的数据，再使用七段数码管分割法以及机器学习算法识别图像，但是这种方法有很大的局限性，仪表的稍微变动都可能会导致无法识别出正确的结果。本发明使用了特征匹配的方法，极大的提高了目标仪表的识别准确度，在仪表有旋转、倾斜和位移的情况下也可以获得正确的结果，同时该方法还可以支持快速更换目标仪表型号，方便识别其他类型的数字仪表。
基于上述实施例的内容，作为一种可选的实施例，本发明还提供一种数字仪表的测量结果识别方法，对所述标准模板灰度图像与所述目标场景灰度图像进行特征匹配，具体为：利用Orb特征点对所述标准模板灰度图像与所述目标场景灰度图像进行特征匹配。
即本发明利用Orb算子来计算标准模板灰度图像与所述目标场景灰度图像中的特征点和特征描述符。下面对其进行简要说明。
ORB(Oriented FAST and Rotated BRIEF)特征点是将FAST特征点的检测方法与BRIEF特征描述符结合起来，并在它们原来的基础上做了改进与优化。
ORB采用了优化的FAST算法来检测特征点。FAST特征点的定义基于特征点周围的图像灰度值，检测候选特征点周围一圈的像素值，如果候选点周围领域内有足够多的像素点与该候选点的灰度值差别够大，则认为该候选点为一个特征点。候选点周围的圆的选取半径是一个很重要的参数，这里为了简单高效，采用半径为3，共有16个周边像素需要比较。由于FAST算法提取出的特征点不具有尺度不变性，这导致图像经过缩放后无法匹配到相应的特征点。为了改进缺点，ORB在FAST基础上通过金字塔、质心标定解决了尺度不变和旋转不变，即Oriented FAST。
通过上述的方法计算出的描述特征点包含如下表所示结构：
属性名称 用途
angle 特征点方向，0度-360度。
class_id 聚类id。
octave 特征点所在的图像金字塔组。
pt 特征点坐标
response 表示该点是特征点的程度。
size 特征点邻域直径。
ORB采用改善的Rotated BRIEF算法来计算一个特征点的描述符。BRIEF算法计算出来的是一个二进制串的特征描述符。它是在每一个特征点的邻域内，选择n对像素点pi、qi(i＝1,2,…,n)。然后，比较每个点对的灰度值的大小。如果I(pi)>I(qi)，则生成二进制串中的1，否则为0,I(p)表示计算函数。所有的点对都进行比较，则生成长度为n的二进制串。一般n取128、256或512，本专利中采用n＝256。Rotated BRIEF使用了Steered BRIEF(旋转不变性改进)和改进特征点描述子的相关性两种方法优化了特征点的描述符。
在计算完成标准模板图像和目标场景灰度图像的特征点与特征描述符后，开始对两者匹配，由于特征描述符采用的是长度为256的01向量存储，两个向量差的模代表这两者的相似程度，模越小相似度越高，故可以采用k近邻(k＝2)的方式来计算出与标准模板图像与描述符最相似的两个目标场景灰度图像特征描述符，依次计算得到所有与最相似的两个特征描述符。
匹配的结果需进一步筛选出最优的，所使用的原理为：设标准模版图像的特征描述符为m，与之匹配最近的两个场景图像特征描述符为n1与2，根据先前的最近距离匹配原理必有||n1||<|n2||，那么只有在n1与n2相似度足够大的情况下才能称n1为有效特征匹配点，否则存在n1与n2都和m相似，这样的结果多数是无效的结果。
筛选的到优质匹配结果后从特征描述符中索引出该描述符的特征点像素位置，通过这些点集合可计算出从标准模板灰度图像变换至目标场景灰度图像的投影矩阵(即单应矩阵)，使用该矩阵可标记出场景图像中数字电阻表的位置。对投影矩阵求出逆矩阵，可以将场景中倾斜旋转的数字电阻表图像(即数字仪表场景图像)转换为与标准模版图像的图像形式一致的图像，即正向垂直且占比大于95％的数字仪表场景标准图像。再使用模版信息裁剪可得出数字电阻表显示屏图像。
基于上述实施例的内容，作为一种可选的实施例，本发明还提供一种数字仪表的测量结果识别方法，从所述显示屏图像中提取多个字符图像，包括：对所述显示屏图像进行图像处理，获取所述显示屏图像上的字符轮廓；按照从左到右从上到下的顺序，从所述字符轮廓中提取出所述数字字符图像；以及，按照从右到左的顺序，从所述字符轮廓中提取出所述单位字符图像。
具体地，对显示屏图像进行Otsu二值化，膨胀腐蚀图像形态学操作等预处理，去除屏幕上的噪声，使其有较大的对比度和清晰可辨性。
在本实施例中利用现有的图像识别算法可以提取出显示屏图像上的字符轮廓。进一步地，按照从左到右从上到下的顺序排序，按照液晶显示屏七段数码管的特征从轮廓中筛选出分段的数字字符图像。在数字仪表的单位显示在屏幕的最右侧的情况下，采取从右到左的顺序从字符轮廓中按规则筛选出计量单位的图像。方便后续使用字符识别模型来识别数字图像和单位字符图像得出最终的结果。
本发明实施例提供的数字仪表的测量结果识别方法，结合数字仪表上的有效信息的分布特点，按照预设的顺序进行字符图像的提取，字符提取过程更加合理，可以有效提高字符图像的提取效率。
基于上述实施例的内容，作为一种可选的实施例，本发明还提供一种数字仪表的测量结果识别方法，确定小数点相对于多个字符图像的位置，包括：获取各个数字字符图像之间的像素数据；根据各个数字字符图像之间的区域的像素数据，确定所述小数点相对于各个数字字符图像的位置。
具体地，在各个数字字符图像之间的区域按照黑色像素值占比来计算得出小数点位置。其中，黑色像素值占比最大的区域即为小数点所在的位置。
基于上述实施例的内容，作为一种可选的实施例，本发明还提供一种数字仪表的测量结果识别方法，所述字符识别模型为支持向量机；所述字符识别模型是预先利用字符图像样本以及所述字符图像样本对应的样本标签训练完成的。
支持向量机(SVM)是一类按监督学习方式对数据进行分类的广义线性分类器，在解决中小数据集方面有较大优势。本发明在考虑支持向量机识别字符的数量以及实际的测试后最终确定使用线性核来计算超平面，经测试线性核的效果均优于其他核。下面结合具体实施例对支持向量机的训练过程进行说明。
本发明使用了互联网中搜集常见的液晶显示器和七段数码管的数字、字母的数据合集，将所需要的字符图像提取出来。进一步地，本发明还可以使用软件程序生成一些符合要求的字符图像，以满足互联网搜索数据集的不足，让支持向量机所使用的训练数据更加充分，更进一步提高支持向量机的识别准确率。
由于从互联网上搜索获取的字符图像的格式和大小各不相同，需要将其转换至统一的格式才能提供给支持向量机训练。本发明可以将所有的字符图像转换为只有黑白的二值图像，再将图片的分辨率转换为高为128像素，宽为64像素的图像。最后对所有的图像使用数据集增强的方法，包括旋转、缩放和噪声等操作，得到本发明所需的字符图像样本。
本发明可以将字符图像样本转换为预设长度的一维数据，按照训练集与测试集8比2的比例来训练和测试支持向量机，得到字符识别模型。可选地，支持向量机的类型可以为常规的C_SVC类型，支持向量机的主要参数设置如下：线性核和惩罚系数为2.67。
综上所述，支持向量机具有多分类、识别速度快并且对于中小量的数据集支持度友好的特点，本发明选择支持向量机作为字符识别的模型进行字符识别(数字仪表上的液晶显示屏上的字符种类较少)，可以进一步有效地提高字符识别的准确率以及效率。
图2是本发明提供的数字仪表的测量结果识别装置的结构示意图，如图2所示，所述装置包括：显示屏图像提取模块201、字符图像提取模块202、字符图像识别模块203以及测量结果确定模块204。
其中，显示屏图像提取模块201，用于根据预设模板信息，从目标场景灰度图像中提取出数字仪表的显示屏图像；
字符图像提取模块202，用于从所述显示屏图像中提取多个字符图像，并确定小数点相对于多个字符图像的位置；所述字符图像包括：数字字符图像和单位字符图像；
字符图像识别模块203，用于将每个字符图像输入字符识别模型，输出每个所述字符图像的识别结果；
测量结果确定模块204，用于根据每个所述字符图像的识别结果以及小数点的位置，确定所述数字仪表的测量结果；
所述预设模板信息包括模板图像和模板位置数据；其中，所述模板位置数据分别包括数字仪表和数字仪表的显示屏在所述模板图像中的位置信息。
需要说明的是，本发明实施例提供的数字仪表的测量结果识别装置，在具体运行时，可以执行上述任一实施例所述的数字仪表的测量结果识别方法，对此本实施例不作赘述。
图3是本发明提供的电子设备的结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行数字仪表的测量结果识别方法，该方法包括：根据预设模板信息，从目标场景灰度图像中提取出数字仪表的显示屏图像；从所述显示屏图像中提取多个字符图像，并确定小数点相对于多个字符图像的位置；所述字符图像包括：数字字符图像和单位字符图像；将每个字符图像输入字符识别模型，输出每个所述字符图像的识别结果；根据每个所述字符图像的识别结果以及小数点的位置，确定所述数字仪表的测量结果；所述预设模板信息包括模板图像和模板位置数据；其中，所述模板位置数据分别包括数字仪表和数字仪表的显示屏在所述模板图像中的位置信息。
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各实施例所提供的数字仪表的测量结果识别方法，该方法包括：根据预设模板信息，从目标场景灰度图像中提取出数字仪表的显示屏图像；从所述显示屏图像中提取多个字符图像，并确定小数点相对于多个字符图像的位置；所述字符图像包括：数字字符图像和单位字符图像；将每个字符图像输入字符识别模型，输出每个所述字符图像的识别结果；根据每个所述字符图像的识别结果以及小数点的位置，确定所述数字仪表的测量结果；所述预设模板信息包括模板图像和模板位置数据；其中，所述模板位置数据分别包括数字仪表和数字仪表的显示屏在所述模板图像中的位置信息。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的数字仪表的测量结果识别方法，该方法包括：根据预设模板信息，从目标场景灰度图像中提取出数字仪表的显示屏图像；从所述显示屏图像中提取多个字符图像，并确定小数点相对于多个字符图像的位置；所述字符图像包括：数字字符图像和单位字符图像；将每个字符图像输入字符识别模型，输出每个所述字符图像的识别结果；根据每个所述字符图像的识别结果以及小数点的位置，确定所述数字仪表的测量结果；所述预设模板信息包括模板图像和模板位置数据；其中，所述模板位置数据分别包括数字仪表和数字仪表的显示屏在所述模板图像中的位置信息。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种数字仪表的测量结果识别方法，其特征在于，包括：
根据预设模板信息，从目标场景灰度图像中提取出数字仪表的显示屏图像；
从所述显示屏图像中提取多个字符图像，并确定小数点相对于多个字符图像的位置；所述字符图像包括：数字字符图像和单位字符图像；
将每个字符图像输入字符识别模型，输出每个所述字符图像的识别结果；
根据每个所述字符图像的识别结果以及小数点的位置，确定所述数字仪表的测量结果；
所述预设模板信息包括模板图像和模板位置数据；其中，所述模板位置数据分别包括数字仪表和数字仪表的显示屏在所述模板图像中的位置信息。
2.根据权利要求1所述的数字仪表的测量结果识别方法，其特征在于，所述根据预设模板信息，从目标场景灰度图像中提取出数字仪表的显示屏图像，包括：
根据数字仪表在所述模板图像中的位置信息，从所述模板图像中获取数字仪表模板图像，并将所述数字仪表模板图像转化为标准模板灰度图像；所述标准模板灰度图像的图像形式为：属于灰度图像，并且数字仪表水平居中并且充满整个图像；
通过对所述标准模板灰度图像与所述目标场景灰度图像进行特征匹配，从所述目标场景灰度图像中确定数字仪表场景图像；
对所述数字仪表场景图像转化为和所述标准模板灰度图像的图像形式相同的数字仪表场景标准图像；
根据数字仪表的显示屏在所述模板图像中的位置信息，从所述数字仪表场景标准图像中提取出所述显示屏图像。
3.根据权利要求1所述的数字仪表的测量结果识别方法，其特征在于，在根据预设模板信息，从目标场景灰度图像中提取出数字仪表的显示屏图像之前，还包括：
获取包含数字仪表的目标视频；
从目标视频中提取与所述预设模板信息中的模板图像尺寸相同的目标场景图像；
将所述目标场景图像转化为目标场景灰度图像。
4.根据权利要求1所述的数字仪表的测量结果识别方法，其特征在于，从所述显示屏图像中提取多个字符图像，包括：
对所述显示屏图像进行图像处理，获取所述显示屏图像上的字符轮廓；
按照从左到右从上到下的顺序，从所述字符轮廓中提取出所述数字字符图像；以及，
按照从右到左的顺序，从所述字符轮廓中提取出所述单位字符图像。
5.根据权利要求1所述的数字仪表的测量结果识别方法，其特征在于，确定小数点相对于多个字符图像的位置，包括：
获取各个数字字符图像之间的像素数据；
根据各个数字字符图像之间的区域的像素数据，确定所述小数点相对于各个数字字符图像的位置。
6.根据权利要求1所述的数字仪表的测量结果识别方法，其特征在于，所述字符识别模型为支持向量机；所述字符识别模型是预先利用字符图像样本以及所述字符图像样本对应的样本标签训练完成的。
7.根据权利要求2所述的数字仪表的测量结果识别方法，其特征在于，对所述标准模板灰度图像与所述目标场景灰度图像进行特征匹配，具体为：
利用Orb特征点对所述标准模板灰度图像与所述目标场景灰度图像进行特征匹配。
8.根据权利要求1所述的数字仪表的测量结果识别方法，其特征在于，所述模板图像的图像形式为：拍摄位置为成像的正中间、拍摄角度为正方向垂直于数字仪表、数字仪表完整的在所述模板图像显示以及数字仪表在所述模板图像中的占比大于预设阈值。
9.根据权利要求1所述的数字仪表的测量结果识别方法，其特征在于，所述数字仪表为数字电阻表。
10.一种数字仪表的测量结果识别装置，其特征在于，包括：
显示屏图像提取模块，用于根据预设模板信息，从目标场景灰度图像中提取出数字仪表的显示屏图像；
字符图像提取模块，用于从所述显示屏图像中提取多个字符图像，并确定小数点相对于多个字符图像的位置；所述字符图像包括：数字字符图像和单位字符图像；
字符图像识别模块，用于将每个字符图像输入字符识别模型，输出每个所述字符图像的识别结果；
测量结果确定模块，用于根据每个所述字符图像的识别结果以及小数点的位置，确定所述数字仪表的测量结果；
所述预设模板信息包括模板图像和模板位置数据；其中，所述模板位置数据分别包括数字仪表和数字仪表的显示屏在所述模板图像中的位置信息。
CN202310399968.5A 2023-04-13 2023-04-13 一种数字仪表的测量结果识别方法及装置 Pending CN116469109A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310399968.5A CN116469109A (zh) 2023-04-13 2023-04-13 一种数字仪表的测量结果识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310399968.5A CN116469109A (zh) 2023-04-13 2023-04-13 一种数字仪表的测量结果识别方法及装置

Publications (1)

Publication Number Publication Date
CN116469109A true CN116469109A (zh) 2023-07-21

Family

ID=87180145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310399968.5A Pending CN116469109A (zh) 2023-04-13 2023-04-13 一种数字仪表的测量结果识别方法及装置

Country Status (1)

Country Link
CN (1) CN116469109A (zh)

Similar Documents

Publication Publication Date Title
Xu et al. Detecting tiny objects in aerial images: A normalized Wasserstein distance and a new benchmark
CN111291629A (zh) 图像中文本的识别方法、装置、计算机设备及计算机存储介质
CN108805076B (zh) 环境影响评估报告书表格文字的提取方法及系统
US20190294921A1 (en) Field identification in an image using artificial intelligence
CN108564085B (zh) 一种自动读取指针式仪表读数的方法
CN111414906A (zh) 纸质票据图片的数据合成与文本识别方法
JP2014232533A (ja) Ｏｃｒ出力検証システム及び方法
CN112927783B (zh) 图像检索方法及装置
CN112561879B (zh) 模糊度评价模型训练方法、图像模糊度评价方法及装置
CN109858570A (zh) 图像分类方法及系统、计算机设备及介质
CN108664970A (zh) 一种快速目标检测方法、电子设备、存储介质及系统
CN110659637A (zh) 一种结合深度神经网络和sift特征的电能表示数与标签自动识别方法
CN114241469A (zh) 一种面向电表轮换过程的信息识别方法和装置
JPH08508128A (ja) 分布マップを用いる画像の分類方法及び装置
Akanksh et al. Automated invoice data extraction using image processing
CN114882204A (zh) 船名自动识别方法
CN109508714B (zh) 一种低成本多通道实时数字仪表盘视觉识别方法及系统
CN110796145A (zh) 基于智能决策的多证件分割关联方法及相关设备
CN116704526B (zh) 工尺谱扫描机器人及其方法
CN115984588A (zh) 图像背景相似度分析方法、装置、电子设备及存储介质
CN108734158B (zh) 一种实时列车车号识别方法及装置
Calefati et al. Reading meter numbers in the wild
CN115953744A (zh) 一种基于深度学习的车辆识别追踪方法
CN115439850A (zh) 基于审单的图文字符识别方法、装置、设备及存储介质
CN116469109A (zh) 一种数字仪表的测量结果识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination