CN113566863B - 一种指针表的读取方法和装置 - Google Patents
一种指针表的读取方法和装置 Download PDFInfo
- Publication number
- CN113566863B CN113566863B CN202110656763.1A CN202110656763A CN113566863B CN 113566863 B CN113566863 B CN 113566863B CN 202110656763 A CN202110656763 A CN 202110656763A CN 113566863 B CN113566863 B CN 113566863B
- Authority
- CN
- China
- Prior art keywords
- pointer
- picture
- scale
- meter
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000001514 detection method Methods 0.000 claims abstract description 17
- 238000012216 screening Methods 0.000 claims description 43
- 238000012545 processing Methods 0.000 claims description 14
- 230000011218 segmentation Effects 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 6
- 238000000926 separation method Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 10
- 238000007689 inspection Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000000605 extraction Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000003491 array Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D7/00—Indicating measured values
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D13/00—Component parts of indicators for measuring arrangements not specially adapted for a specific variable
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Character Discrimination (AREA)
Abstract
本申请涉及一种指针表的读取方法和装置;所述方法包括:获取表计图片;对所述表计图片进行指针定位,确定指针位置;对所述表计图片进行文本识别,获得文本信息;从所述文本信息中分离出刻度示数;根据所述刻度示数在图片中的位置确定主刻度线的位置;根据所述指针位置和所述主刻度线的位置确定所述表计图片对应的表计示数。本申请的方案将指针表计进行模块化分解,依次提取出指针、刻度示数、主刻度线,再依据一定逻辑将指针表的示数解算出来;解决了传统方法与表计的类型关系紧密的问题,本方法可以依据检测结果智能分析表盘结构,可适应不同表计,适用性广泛、鲁棒性好。
Description
技术领域
本申请涉及人工智能技术领域,具体涉及一种指针表的读取方法和装置。
背景技术
在许多工业行业中,如:燃气站、变电站、石油等领域,需要使用各种类型的仪表来随时监测数据,保障每个设备的正常运行。其中,指针式仪表由于具有结构简单、无需电源,耐高压、防腐蚀、防电磁干扰、防水、防冻等优点,被广泛应用于上述场景中。但因为大部分指针式仪表没有电子通信接口,所以只能要求人工读取的方式对仪表数据进行统计与监测。然而,人工读表的方式存在诸多问题。首先人的主观因素,容易造成读表有误差和漏检等问题;其次绝大多数工业场所因占地面积大,设备分散,人工读数时,很难及时发现某个区域仪表值的异常;加之人工作业的成本也比较高、效率也不快。
由此可见,传统的人工读表方式会带来很多安全隐患。为了保障工业场所设备的正常运行,有必要通过机器视觉技术来研究一种快速识别指针式仪表示数的方法,对表计进行不间断定期读数监测。这项技术意义重大,不但能够解决因仪表位置特殊造成的人工读表困难的问题,而且读表的整个过程受主观因素影响小,在提高仪表的识别率的同时还可以降低人工成本。
目前,由于国内外研究人员对基于机器视觉的指针式仪表读数识别的广泛研究,加上计算机运算能力的与日俱增,这种方式已逐步形成了一套趋于成熟的图像图形处理技术,并且已经逐渐在工业化场所应用起来。
相关技术中,目前已经有许多指针表示数读取的方法,但是这些方法主要有以下缺点:
1)传统的方法通常首先对图像进行灰度化、图像增强、去除噪声、二值化等过程,接着通过边缘提取、轮廓分析、Hough变换来确定指针和刻度线的位置,最后计算示数。传统方法与表计的类型关系紧密,不同类型采用的参数配置有区别,且部分刻度线无法采用Hough变换进行处理。而且表计类型繁多,不同的表计刻度线的形态不同,仅使用Hough变换难以设计出适用多种表计的刻度线提取算法。如图1(a)-图1(d)所示,刻度线有条状、带底框、矩形格子、双刻度线等形态。
2)在实际应用场景中,现场的环境复杂多变,表计附近的光线变化大(早/中/晚表计上的光线变化明显),传统方法鲁棒性差,不能稳定的读取表计示数。
3)目前的表计识别算法均只对示数进行读取,并没有分析示数所代表的物理意义以及表计的相关信息。表计较多且相距较近时容易产生示数读取混淆的问题。
发明内容
为至少在一定程度上克服相关技术中存在的问题,本申请提供一种指针表的读取方法和装置。
根据本申请实施例的第一方面,提供一种指针表的读取方法,包括:
获取表计图片;
对所述表计图片进行指针定位,确定指针位置;
对所述表计图片进行文本识别,获得文本信息;
从所述文本信息中分离出刻度示数;
根据所述刻度示数在图片中的位置确定主刻度线的位置;
根据所述指针位置和所述主刻度线的位置确定所述表计图片对应的表计示数。
进一步地,所述对所述表计图片进行指针定位,包括:
将所述表计图片送入语义分割网络模型进行处理,输出指针位置。
进一步地,所述对所述表计图片进行文本识别,包括:
将所述表计图片送入文本检测与识别网络进行处理,输出多个文本框及对应的位置信息、文本信息。
进一步地,所述从所述文本信息中分离出刻度示数,包括:
从所述文本信息中筛选出纯数字;
根据纯数字的文本框的位置进行第一轮筛选,获得第一筛选结果;
根据纯数字的文本框的尺寸进行第二轮筛选,获得第二筛选结果;
根据纯数字的单调性进行第三轮筛选,将筛选结果确定为刻度示数。
进一步地,所述进行第一轮筛选,包括:
使用凸多边形拟合方法将纯数字的文本框进行拟合,获得一个凸多边形区域;
去除该凸多边形区域内部的数字,剩余数字作为第一筛选结果。
进一步地,所述进行第二轮筛选,包括:
统计第一筛选结果中数字的文本框的高度值,获得高度均值;
根据预设的误差阈值和高度均值确定高度范围,将高度值超出高度范围的文本框滤除,剩余数字作为第二筛选结果。
进一步地,所述进行第三轮筛选,包括:
考察第二筛选结果的数字在顺时针方向上的单调性;
将不满足单调性的文本框滤除,剩余数字作为刻度示数。
进一步地,所述根据所述刻度示数在图片中的位置确定主刻度线的位置,包括:
根据刻度示数的文本框的在图片中的位置分布,确定指针的回转中心的位置;
根据刻度示数的位置和回转中心的位置,从所述表计图片中提取出刻度线区域;
将所述刻度线区域送入卷积神经网络进行处理,输出主刻度线的位置。
进一步地,所述根据所述指针位置和所述主刻度线的位置确定所述表计图片对应的表计示数,包括:
根据主刻度线的位置和回转中心的坐标,确定主刻度线的角度值;
得到表盘上的刻度示数与角度的对应关系;
根据所述指针位置和回转中心的坐标确定所述指针位置的角度值;
将所述指针位置的角度值代入所述对应关系,获得对应的表计示数。
根据本申请实施例的第二方面,提供一种指针表的读取装置,包括:
获取模块,用于获取表计图片;
指针定位模块,用于对所述表计图片进行指针定位,确定指针位置;
文本识别模块,用于对所述表计图片进行文本识别,获得文本信息;
刻度示数分离模块,用于从所述文本信息中分离出刻度示数;
主刻度线定位模块,用于根据所述刻度示数在图片中的位置确定主刻度线的位置;
读数确定模块,用于根据所述指针位置和所述主刻度线的位置确定所述表计图片对应的表计示数。
本申请的实施例提供的技术方案具备以下有益效果:
本申请的方案将指针表计进行模块化分解,依次提取出指针、刻度示数、主刻度线,再依据一定逻辑将指针表的示数解算出来;解决了传统方法与表计的类型关系紧密的问题,本方法可以依据检测结果智能分析表盘结构,可适应不同表计,适用性广泛、鲁棒性好。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1(a)-图1(d)是多种不同的表计刻度线的形态示意图。
图2是根据一示例性实施例示出的一种指针表的读取方法的流程图。
图3是典型的指针表的表盘示意图。
图4是本发明实施例示出的一种指针表的读取方法的流程图。
图5(a)是本发明实施例示出的指针提取的图像处理过程示意图。
图5(b)是图5(a)中指针提取过程所采用的语义分割网络模型示意图。
图6是本发明实施例示出的一种文本识别模型。
图7是本发明实施例示出的一种文本识别结果示意图。
图8是本发明实施例示出的一种刻度示数提取过程示意图。
图9是本发明实施例示出的一种回转中心定位过程示意图。
图10是本发明实施例示出的一种主刻度线定位过程示意图。
图11是本发明实施例示出的一种表盘上角度与刻度示数的对应关系图。
图12是本发明实施例示出的一种表盘上角度与刻度示数的对应关系函数。
图13是根据一示例性实施例示出的一种指针表的读取装置的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的方法和装置的例子。
图2是根据一示例性实施例示出的一种指针表的读取方法的流程图。该方法包括以下步骤:
步骤101:获取表计图片;
步骤102:对所述表计图片进行指针定位,确定指针位置;
步骤103:对所述表计图片进行文本识别,获得文本信息;
步骤104:从所述文本信息中分离出刻度示数;
步骤105:根据所述刻度示数在图片中的位置确定主刻度线的位置;
步骤106:根据所述指针位置和所述主刻度线的位置确定所述表计图片对应的表计示数。
本申请的方案将指针表计进行模块化分解,依次提取出指针、刻度示数、主刻度线,再依据一定逻辑将指针表的示数解算出来;解决了传统方法与表计的类型关系紧密的问题,本方法可以依据检测结果智能分析表盘结构,可适应不同表计,适用性广泛、鲁棒性好。
应当理解的是,虽然图2的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
下面以某一指针表为例,对本申请的方案进行阐述。典型的指针表如图3所示,一个指针表通常包含指针、刻度数据、刻度线、表计信息(厂家、序列号、单位、表计类型)等主要组成。本申请实施例的具体执行流程如图4所示,即通过深度学习算法对表进行分解,提取出各个部分的信息然后结合各部分信息计算出表计示数。
当机器人获取到表计图片时,首先对表盘指针进行定位。指针的定位可以采用传统方法如霍夫变换,也可以采用语义分割方式;语义分割方式鲁棒性、通用性、准确性会更合适。
如图5(a)-图5(b)所示,本实施例中使用语义分割方式对指针进行定位,步骤102具体包括:将所述表计图片送入语义分割网络模型进行处理,输出指针位置。语义分割网络模型有很多种,本实施例使用的是其中一种名为Unet的语义分割网络。
其次机器人对表盘进行文本检测与识别,检测和识别出表盘上的文本,这些文本包括:刻度示数、表计信息。本实施例中,步骤103具体包括:将所述表计图片送入文本检测与识别网络进行处理,输出多个文本框及对应的位置信息、文本信息。
文本识别模型如图6所示,表计图片在经过模型处理后,文本分析获得的识别结果为文本信息及其对应的像素位置;其中,文本信息可以分为两部分:(1)刻度示数:0、0.1、0.2、0.3、0.4、0.5;(2)表计信息:压力表、MPa、安徽克罗尼仪表有限公式。
得到上述文本信息后,从表计信息中提取出单位信息和标识信息。而得到的刻度示数作为后续寻找刻度线以及确定回转中心和示数的信息。下面具体阐述如何利用这些文本信息。
具体地,从表计信息中提取出单位信息,可以采用字符匹配的方法。比如,可以预先建立一本字典,将常见的表计单位全部收录在字典中;识别出表计信息后,将表计信息依次与字典中的所有单位进行匹配;如果表计信息中的某个词语能够在字典中匹配成功,则该词语即为单位信息。
如图7所示,对于单位信息和标识信息,这些信息可以作为识别表盘示数后,对示数物理意义以及表计类型的辅助信息。例如,若在一块指针表上检测并识别到“MPA”、“压力表”、“序列号S1232”、“XX仪表仪器有限公司”等信息,从而可以获得类型、厂家、序列号等信息,则可以确定所得示数为压力值,表计为压力表,并可依据序列号知道表计的位置(假设表计位置与序列号已经绑定)。
本方案获得的表计示数并非单纯的数字,并且带有单位,因而是具有物理意义的。现有算法并未对表计单位进行读取,多表计聚集并排时,区分单位也是防止读错表计的一种方法;尤其是针对智能巡检机器人,导航定位的稍许偏差可能造成读错表计造成误抄表,本方案能够将表计的单位与读数一起识别出来,就可以在很大程度上避免这个问题。
获取到表计的识别信息,结合移动巡检机器人,可以将表计在现实世界的位置信息确定,从而可以实现移动巡检机器人智能读取现场表计,而无需再由人工指定机器人巡检点位。目前的巡检机器人通常需要手动添加抄表巡检点之后机器人才能执行智能抄表作业,所以抄表时提取表计额外的信息可以让机器人无需人员辅助添加巡检点信息,而可以直接在应用场景找到表计并读取记录表计示数并绑定该表计。
一些实施例中,所述步骤104,从所述文本信息中分离出刻度示数,具体包括:从所述文本信息中筛选出纯数字;根据纯数字的文本框的位置进行第一轮筛选,获得第一筛选结果;根据纯数字的文本框的尺寸进行第二轮筛选,获得第二筛选结果;根据纯数字的单调性进行第三轮筛选,将筛选结果确定为刻度示数。
对于刻度示数,首先需要从表盘上的文本中筛选刻度示数。表盘上检测和识别的内容既有文本也有数字,且数字并非完全是刻度示数,也有可能是表盘上的一些其他数字。所以对于文件检测与识别结果,首先将纯数字从识别结果中筛选出来。由于表盘上的刻度通常在表盘边缘区域,这里可以认为所有刻度示数组成的多边形为凸多边形,且为表盘上最大的凸多边形。
如图8所示,对纯数字进行第一轮筛选,具体包括:使用凸多边形拟合方法将纯数字的文本框进行拟合,获得一个凸多边形区域;去除该凸多边形区域内部的数字,剩余数字作为第一筛选结果。使用凸多边形拟合方法将纯数字文本区域拟合出来,初步确定在凸多边形内部的示数(如图8表中的数字1.6)为干扰数字。
去除凸多边形区域内部的数字后,再进行第二轮筛选,具体包括:统计第一筛选结果中数字的文本框的高度值,获得高度均值;根据预设的误差阈值和高度均值确定高度范围,将高度值超出高度范围的文本框滤除,剩余数字作为第二筛选结果。比如,可以统计凸多边形上数字区域的高度(表盘刻度示数文字的高度通常相同),将高度值比均值过大或过小(大于均值2倍或小于均值一半)的数字区域滤除。
根据文本框高度过滤后,最后进行第三轮筛选,具体包括:考察第二筛选结果的数字在顺时针方向上的单调性;将不满足单调性的文本框滤除,剩余数字作为刻度示数。因为刻度示数通常满足以顺时针单调变化的规律,所以进一步滤除不满足单调性的区域,最终得到可靠的刻度示数集合(该集合是表盘刻度示数集合的子集)。
然后是对主刻度线进行定位,一些实施例中,所述步骤105,根据所述刻度示数在图片中的位置确定主刻度线的位置,具体包括:根据刻度示数的文本框的在图片中的位置分布,确定指针的回转中心的位置;根据刻度示数的位置和回转中心的位置,从所述表计图片中提取出刻度线区域;将所述刻度线区域送入卷积神经网络进行处理,输出主刻度线的位置。这一步骤主要包括如下两个部分。
a)确定表盘分布(判断是圆形表还是扇形表)
使用文本检测与识别模型检测并识别出表盘上的刻度示数和该示数在图片中的位置。依据刻度示数位置的分布可以推断出表盘的类型。如图9所示,左边为扇形表,指针的回转中心在右下角,而右边为圆形表,回转中心在表盘中间位置。
具体地,表盘回转中心的确定,本实施例可以通过表盘数字粗定位,即通过刻度示数的文本框位置(可以采用文本框的中心点坐标作为文本框位置)进行圆拟合,拟合出的圆形的圆心,将圆心一定范围内的区域作为回转中心的大致位置;然后由刻度线进行拟合,更精确地确定回转中心坐标。除此以外,还可使用深度学习目标检测方法,将图像直接送入训练好的神经网络模型进行处理,来检测表盘回转中心的位置。
b)确定刻度线区域的大致位置
由刻度示数位置与回转中心判断出刻度线位置,然后提取出刻度线区域并对该区域进行坐标变换,由xOy坐标系转换到极坐标系,则刻度线的扇形区域转化成矩形区域。如图10所示,将刻度线区域送入卷积神经网络获得主刻度线位置,再将主刻度线位置换算至原始图片。使用卷积神经网络可以将常见形式的刻度线作为样本进行训练,避免了使用Hough变换造成识别方法与刻度线样式有关的问题。该卷积神经网络由10层卷积网络组成,输入为定高的刻度线区域,输入图片宽度可变。输出为主刻度线所在的水平像素值,该像素值作为主刻度线对应的角度值。需要识别新的刻度样式的表计时,只需要将刻度线的数据送入卷积网络进行优调即可。通常一个模型可以对较多种类的刻度线适用,具有通用性。
如图11所示,结合主刻度线位置以及回转中心在图片中的坐标,可以计算出某条主刻度线的角度值,同时也为该刻度示数所对应的角度值,即得到了表盘上角度与刻度示数的对应关系。该角度值可以作为示数读取信息使用。
最后,即可根据对应关系计算表计示数。一些实施例中,所述步骤106,所述根据所述指针位置和所述主刻度线的位置确定所述表计图片对应的表计示数,包括:根据主刻度线的位置和回转中心的坐标,确定主刻度线的角度值;得到表盘上的刻度示数与角度的对应关系;根据所述指针位置和回转中心的坐标确定所述指针位置的角度值;将所述指针位置的角度值代入所述对应关系,获得对应的表计示数。
如图12所示,由步骤b)中得到的信息,可以有如图所示的对应关系。该图横轴为角度值,纵轴为示数值,图中点为表盘刻度示数。得到如图11的对应关系后,将指针的角度值带入该对应关系即可得到该表计示数。
容易理解的是,刻度示数除将指针角度代入示数与角度的关系外,一些实施例中还可通过指针附近的刻度示数和角度值来求得。
综上所述,本申请的指针表示数读取方法,将指针表计进行模块化分解,采用深度学习方法将指针表的各个元素进行拆分,通过不同的神经网络分别得到多个模块的信息,然后再依据一定逻辑推理将指针表的示数解算出来。
本申请的实施例中,使用到卷积神经网络的部分包括:语义分割进行分割表计指针、文本检测与识别、主刻度线提取三个功能。其中,语义分割使用Unet网络,是典型的U型网络。文本检测与识别网络结构与Unet类似,但是因文本检测与识别网络和语义分割网络功能不同,所以无法共用卷积单元。主刻度线提取网络使用的是轻量型的CNN网络,只有10层卷积层,同样无法与其它功能的网络共用卷积层。
本申请的方法具有以下有益效果:
1、能够准确读取完整的表计示数,包含示数、单位以及表计类型。本方案具备文本检测与识别、指针检测、主刻度线检测功能。通过文本结合指针与刻度线信息计算出表计读数;通过文本分析,确定表计示数的单位以及表计的厂家和序列号等其他信息。获得的表计信息丰富准确。
2、具有通用性,可以依据检测结果智能分析表盘结构,可适应不同表计。从检测到的表盘文本中筛选出表计刻度示数的集合。依据该集合推断出表盘的回转中心位置。然后进行示数计算,而无需针对不同的表计进行针对性开发。
3、采用深度学习卷积神经网络确定主刻度线位置,对不同表计的刻度线有适应性。该方法适用性广泛、鲁棒性好,可以适用于复杂环境中指针表示数读取。
4、识别出表计信息,可结合巡检机器人,唯一确定表计的空间位置,做到机器人智能读表并记录,无需人工提前设置表计巡检点。
图13是根据一示例性实施例示出的一种指针表的读取装置的电路框图。该装置包括:
获取模块,用于获取表计图片;
指针定位模块,用于对所述表计图片进行指针定位,确定指针位置;
文本识别模块,用于对所述表计图片进行文本识别,获得文本信息;
刻度示数分离模块,用于从所述文本信息中分离出刻度示数;
主刻度线定位模块,用于根据所述刻度示数在图片中的位置确定主刻度线的位置;
读数确定模块,用于根据所述指针位置和所述主刻度线的位置确定所述表计图片对应的表计示数。
关于上述实施例中的装置,其中各个模块执行操作的具体步骤已经在有关该方法的实施例中进行了详细描述,此处不再详细阐述说明。上述指针表的读取装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
可以理解的是,上述各实施例中相同或相似部分可以相互参考,在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是,在本申请的描述中,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本申请的描述中,除非另有说明,“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (5)
1.一种指针表的读取方法,其特征在于,包括:
获取表计图片;
对所述表计图片进行指针定位,确定指针位置;
对所述表计图片进行文本识别,获得文本信息;
从所述文本信息中分离出刻度示数;
根据所述刻度示数在图片中的位置确定主刻度线的位置;
根据所述指针位置和所述主刻度线的位置确定所述表计图片对应的表计示数;
其中,所述对所述表计图片进行文本识别,包括:将所述表计图片送入文本检测与识别网络进行处理,输出多个文本框及对应的位置信息、文本信息;
所述从所述文本信息中分离出刻度示数,包括:从所述文本信息中筛选出纯数字;根据纯数字的文本框的位置进行第一轮筛选,获得第一筛选结果;根据纯数字的文本框的尺寸进行第二轮筛选,获得第二筛选结果;根据纯数字的单调性进行第三轮筛选,将筛选结果确定为刻度示数;
所述进行第一轮筛选,包括:使用凸多边形拟合方法将纯数字的文本框进行拟合,获得一个凸多边形区域;去除该凸多边形区域内部的数字,剩余数字作为第一筛选结果;
所述进行第二轮筛选,包括:统计第一筛选结果中数字的文本框的高度值,获得高度均值;根据预设的误差阈值和高度均值确定高度范围,将高度值超出高度范围的文本框滤除,剩余数字作为第二筛选结果;
所述进行第三轮筛选,包括:考察第二筛选结果的数字在顺时针方向上的单调性;将不满足单调性的文本框滤除,剩余数字作为刻度示数。
2.根据权利要求1所述的方法,其特征在于,所述对所述表计图片进行指针定位,包括:
将所述表计图片送入语义分割网络模型进行处理,输出指针位置。
3.根据权利要求1或2所述的方法,其特征在于,所述根据所述刻度示数在图片中的位置确定主刻度线的位置,包括:
根据刻度示数的文本框的在图片中的位置分布,确定指针的回转中心的位置;
根据刻度示数的位置和回转中心的位置,从所述表计图片中提取出刻度线区域;
将所述刻度线区域送入卷积神经网络进行处理,输出主刻度线的位置。
4.根据权利要求3所述的方法,其特征在于,所述根据所述指针位置和所述主刻度线的位置确定所述表计图片对应的表计示数,包括:
根据主刻度线的位置和回转中心的坐标,确定主刻度线的角度值;
得到表盘上的刻度示数与角度的对应关系;
根据所述指针位置和回转中心的坐标确定所述指针位置的角度值;
将所述指针位置的角度值代入所述对应关系,获得对应的表计示数。
5.一种指针表的读取装置,其特征在于,应用于权利要求1-4任一项所述的方法,所述读取装置包括:
获取模块,用于获取表计图片;
指针定位模块,用于对所述表计图片进行指针定位,确定指针位置;
文本识别模块,用于对所述表计图片进行文本识别,获得文本信息;
刻度示数分离模块,用于从所述文本信息中分离出刻度示数;
主刻度线定位模块,用于根据所述刻度示数在图片中的位置确定主刻度线的位置;
读数确定模块,用于根据所述指针位置和所述主刻度线的位置确定所述表计图片对应的表计示数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110656763.1A CN113566863B (zh) | 2021-06-11 | 2021-06-11 | 一种指针表的读取方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110656763.1A CN113566863B (zh) | 2021-06-11 | 2021-06-11 | 一种指针表的读取方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113566863A CN113566863A (zh) | 2021-10-29 |
CN113566863B true CN113566863B (zh) | 2023-12-26 |
Family
ID=78161982
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110656763.1A Active CN113566863B (zh) | 2021-06-11 | 2021-06-11 | 一种指针表的读取方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113566863B (zh) |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103148881A (zh) * | 2013-02-06 | 2013-06-12 | 广东电网公司电力科学研究院 | 利用视频自动对指针式仪表进行读数的方法及装置 |
CN105741307A (zh) * | 2016-03-03 | 2016-07-06 | 深圳元启智能技术有限公司 | 一种指针式压力表读数自动识别方法 |
CN108182433A (zh) * | 2017-12-29 | 2018-06-19 | 北京易达图灵科技有限公司 | 一种表计读数识别方法及系统 |
CN108460327A (zh) * | 2018-01-12 | 2018-08-28 | 河南大学 | 一种基于图像处理的指针式仪表读数自动识别方法 |
CN110659636A (zh) * | 2019-09-20 | 2020-01-07 | 随锐科技集团股份有限公司 | 基于深度学习的指针式仪表读数识别方法 |
CN111368825A (zh) * | 2020-02-25 | 2020-07-03 | 华南理工大学 | 一种基于语义分割的指针定位方法 |
CN111401357A (zh) * | 2020-02-12 | 2020-07-10 | 杭州电子科技大学 | 基于文本检测的指针式仪表读数方法 |
CN111950559A (zh) * | 2020-08-05 | 2020-11-17 | 宁波中国科学院信息技术应用研究院 | 一种基于径向灰度的指针仪表自动读数方法 |
CN112115895A (zh) * | 2020-09-24 | 2020-12-22 | 深圳市赛为智能股份有限公司 | 指针型仪表读数识别方法、装置、计算机设备及存储介质 |
CN112508098A (zh) * | 2020-12-08 | 2021-03-16 | 南京理工大学 | 表盘定位与自动读数的指针式表计数值识别方法及系统 |
CN112613429A (zh) * | 2020-12-28 | 2021-04-06 | 上海智能制造系统创新中心有限公司 | 一种基于机器视觉适用于多视角图像指针式仪表读数方法 |
CN112614135A (zh) * | 2020-12-23 | 2021-04-06 | 国网安徽省电力有限公司检修分公司 | 一种嵌入式端的表计主刻度线分割方法 |
CN112749813A (zh) * | 2020-10-29 | 2021-05-04 | 广东电网有限责任公司 | 一种数据处理系统、方法、电子设备及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107590498B (zh) * | 2017-09-27 | 2020-09-01 | 哈尔滨工业大学 | 一种基于字符分割级联二分类器的自适应汽车仪表检测方法 |
-
2021
- 2021-06-11 CN CN202110656763.1A patent/CN113566863B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103148881A (zh) * | 2013-02-06 | 2013-06-12 | 广东电网公司电力科学研究院 | 利用视频自动对指针式仪表进行读数的方法及装置 |
CN105741307A (zh) * | 2016-03-03 | 2016-07-06 | 深圳元启智能技术有限公司 | 一种指针式压力表读数自动识别方法 |
CN108182433A (zh) * | 2017-12-29 | 2018-06-19 | 北京易达图灵科技有限公司 | 一种表计读数识别方法及系统 |
CN108460327A (zh) * | 2018-01-12 | 2018-08-28 | 河南大学 | 一种基于图像处理的指针式仪表读数自动识别方法 |
CN110659636A (zh) * | 2019-09-20 | 2020-01-07 | 随锐科技集团股份有限公司 | 基于深度学习的指针式仪表读数识别方法 |
CN111401357A (zh) * | 2020-02-12 | 2020-07-10 | 杭州电子科技大学 | 基于文本检测的指针式仪表读数方法 |
CN111368825A (zh) * | 2020-02-25 | 2020-07-03 | 华南理工大学 | 一种基于语义分割的指针定位方法 |
CN111950559A (zh) * | 2020-08-05 | 2020-11-17 | 宁波中国科学院信息技术应用研究院 | 一种基于径向灰度的指针仪表自动读数方法 |
CN112115895A (zh) * | 2020-09-24 | 2020-12-22 | 深圳市赛为智能股份有限公司 | 指针型仪表读数识别方法、装置、计算机设备及存储介质 |
CN112749813A (zh) * | 2020-10-29 | 2021-05-04 | 广东电网有限责任公司 | 一种数据处理系统、方法、电子设备及存储介质 |
CN112508098A (zh) * | 2020-12-08 | 2021-03-16 | 南京理工大学 | 表盘定位与自动读数的指针式表计数值识别方法及系统 |
CN112614135A (zh) * | 2020-12-23 | 2021-04-06 | 国网安徽省电力有限公司检修分公司 | 一种嵌入式端的表计主刻度线分割方法 |
CN112613429A (zh) * | 2020-12-28 | 2021-04-06 | 上海智能制造系统创新中心有限公司 | 一种基于机器视觉适用于多视角图像指针式仪表读数方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113566863A (zh) | 2021-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110659636B (zh) | 基于深度学习的指针式仪表读数识别方法 | |
CN103759758B (zh) | 一种基于机械角度和刻度识别的汽车仪表指针的位置检测方法 | |
Chi et al. | Machine vision based automatic detection method of indicating values of a pointer gauge | |
CN112149667B (zh) | 一种基于深度学习的指针式仪表的自动读数的方法 | |
CN103207987B (zh) | 一种指针式仪表的示数识别方法 | |
CN111368906B (zh) | 一种基于深度学习的指针式油位计读数识别方法 | |
AU2020103716A4 (en) | Training method and device of automatic identification device of pointer instrument with numbers in natural scene | |
CN111639647B (zh) | 指示灯状态识别方法、装置、计算机设备及存储介质 | |
CN103154974A (zh) | 字符识别装置、字符识别方法、字符识别系统以及字符识别程序 | |
CN111353502B (zh) | 数字表识别方法、装置以及电子设备 | |
CN104657711A (zh) | 一种鲁棒的指针式仪表读数自动识别方法 | |
CN114462469B (zh) | 目标检测模型的训练方法、目标检测方法及相关装置 | |
CN110909738A (zh) | 一种基于关键点检测的指针仪表自动读数方法 | |
CN114399677A (zh) | 一种基于文本区域读取的指针仪表识别方法 | |
CN111325164A (zh) | 指针表示数识别方法、装置和电子设备 | |
CN113566863B (zh) | 一种指针表的读取方法和装置 | |
CN115588196A (zh) | 基于机器视觉的指针型仪表读数方法和装置 | |
CN113191351B (zh) | 数字电表的示数识别方法及装置、模型训练方法及装置 | |
CN114037993B (zh) | 变电站指针仪表读数方法、装置、存储介质以及电子设备 | |
CN115811655A (zh) | 一种变电站的巡检方法、装置、设备及可读存储介质 | |
CN114155380A (zh) | 一种仪表盘图像识别方法、装置、计算机设备和存储介质 | |
CN114255458A (zh) | 一种巡检场景下指针仪表读数的识别方法与系统 | |
CN114140518A (zh) | 一种水位高度监测方法、装置、电子设备及存储介质 | |
Luo et al. | Automatic Reading Method for Pointer Meters Based on Improved Deeplabv3+ | |
CN118411731B (zh) | 基于多模态的智能表计读数方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |