CN115588196A - 基于机器视觉的指针型仪表读数方法和装置 - Google Patents

基于机器视觉的指针型仪表读数方法和装置 Download PDF

Info

Publication number
CN115588196A
CN115588196A CN202211358609.7A CN202211358609A CN115588196A CN 115588196 A CN115588196 A CN 115588196A CN 202211358609 A CN202211358609 A CN 202211358609A CN 115588196 A CN115588196 A CN 115588196A
Authority
CN
China
Prior art keywords
dial
instrument
meter
image
reading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211358609.7A
Other languages
English (en)
Inventor
菅磊
刘杰
蒲俊宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Nenggong Huizhi Robot Co ltd
Original Assignee
Beijing Nenggong Huizhi Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Nenggong Huizhi Robot Co ltd filed Critical Beijing Nenggong Huizhi Robot Co ltd
Priority to CN202211358609.7A priority Critical patent/CN115588196A/zh
Publication of CN115588196A publication Critical patent/CN115588196A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/1444—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/18143—Extracting features based on salient regional features, e.g. scale invariant feature transform [SIFT] keypoints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques

Abstract

本申请公开了一种基于机器视觉的指针型仪表读数方法和装置。采集目标仪表的仪表图像，所述目标仪表为待识别读数的指针式仪表；利用基于机器视觉的检测框架，从所述仪表图像中定位出仪表表盘和表盘中心；采用抗倾斜非均匀刻度的仪表表盘分割方案，对所述仪表表盘中的各元素进行分割；采用字符数值法和角度法中的至少之一对所述仪表表盘的自动读数。本申请解决了相关技术中采用人工对仪表进行读数的效率较低的技术问题。

Description

基于机器视觉的指针型仪表读数方法和装置
技术领域
本申请涉及电气自动化领域，具体而言，涉及一种基于机器视觉的指针型仪表读数方法和装置。
背景技术
电厂是电力网络的引擎，电厂中各类仪表的示数对实时检测电厂运行数据至关重要。电厂中的仪表主要分为两类，包括指针式仪表和数显式仪表，尽管数显式仪表已广泛应用于工业生产自动化中，但指针式仪表因其结构简单、抗干扰、耐用性强等特点，仍在工业生产中发挥重要的作用，指针式仪表大多没有通信接口，需要人工读数，效率低且容易出错。随着人工智能的发展，使得利用机器视觉技术对仪表进行自动读数成为了可能，但是相关技术中还没有成熟好用的技术方案来对仪表进行读数。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种基于机器视觉的指针型仪表读数方法和装置，以至少解决相关技术中采用人工对仪表进行读数的效率较低的技术问题。
根据本申请实施例的一个方面，提供了一种基于机器视觉的指针型仪表读数方法，包括：
步骤S1，仪表自动读数的检测框架：考虑到指针式仪表所在的生产现场环境、光照等因素的影响，图像成像质量较低，故采用一套包含色域变换、几何变换、对比度增强、饱和度增强的图像数据预处理方案，为后继的检测定位与分割算法，提供清晰、易于处理的图像数据。在对采集的仪表图像数据预处理之后，采用基于深度学习的Faster R-CNN目标检测网络对表盘进行检测定位，再采用霍夫园检测定位表盘的圆心坐标；
步骤S2，抗倾斜非均匀刻度的仪表分割算法：在对仪表图像进行视觉预处理和表盘及圆心的定位之后，设计抗倾斜非均匀刻度的仪表表盘分割算法，霍夫直线检测对检测到的表盘图像进行倾斜矫正，在此基础上分别设计高分辨率空洞特征金字塔和可形变卷积的解码器，融合低层的细节信息及上下文信息，同时改变解码器的感受野，以识别由倾斜矫正带来的形变，最后引入角度法联合数值字符和指针角度，实现非均匀刻度仪表的自动读数；
步骤S3，联合字符数值和角度法的仪表自动读数：对采集自电厂的包含均匀刻度和非均匀刻度的指针式仪表图像，进行预处理检测和仪表表盘分割，确定指针的角度，及刻度对应的刻度字符数值，仪表量程，实现对单/多指针式均匀刻度仪表或非均匀刻度仪表的自动读数。其中仪表量程及刻度字符数值对非均匀刻度指针仪表的自动读数十分关键。
可选地，步骤S1的仪表自动读数的检测框架的技术特征的实现如下：
步骤S11，数据预处理：仪表检测算法用水平翻转的方法对数据集进行预处理加强，忽略了数据集标注误差的影响，同时受生产现场环境、光照等影响，图像成像质量较低，严重影响检测精度，因此，本申请直接移除水平翻转，并增加色域变换、几何变换和对比度增强等数据预处理，即在原始训练样本上，随机组合以上预处理方法，提升仪表图像的质量，进而提高了检测的鲁棒性；
步骤S12，指针式仪表自动读数的检测框架：由于表盘分割算法需要一个清晰的包含表盘全部信息的图像，所以引入一个用于指针式仪表自动读数的检测定位框架，实现对象表盘的位置检测，同时对均匀刻度和非均匀刻度的指针式仪表进行特征提取，并将提取的特征与后续的分割网络共享，用于表盘的分割，同时为采用Hough(即霍夫)圆检测，提取表盘的圆心，即极坐标的极点，实现后续自动读数。
可选地，步骤S2的抗倾斜非均匀刻度的仪表分割算法的技术特征的实现如下：
步骤S21，基于改进Hough变换的表盘倾斜矫正：利用点与线的对偶性，将仪表图像空间的线条变为参数空间的聚集点，从而检测给定图像是否存在给定性质的曲线，通过检测参数空间中过某个点的正弦曲线的条数来检测仪表图像空间中共线的点数，对所有过点的曲线在数组中累加计数，最后找出数组中数目最大的值，此时的值即为表盘的倾斜角度；
步骤S22，基于改进deepLabv3+的表盘分割框架，deepLabV3+借鉴Xecption特征提取网络中的将深度可分离卷积替换最大池化层，降低了参数量和计算量，但因其深度可分离卷积缺乏上下文信息，导致其对表盘图像的形变感知能力较差，为此在ResNet50特征提取网络的上引入可形变卷积实现上下文信息的感知，该特征网络共享自前述表盘检测定位框架；
步骤S23，高分辨率空洞特征金字塔池化：deepLabV3+中对16×下采样后图像采用空洞空间金字塔池化，较高的下采样倍率将导致表盘特征丢失，无法复原，为此提出改进高分辨率空洞特征金字塔池化，统一在8×下采样特征上进行金字塔池化，提高了编码器特征的分辨率，便于后续解码；
步骤S24，基于可形变卷积的解码器：针对拍照角度不同会造成形变，使得仪表表盘分割难度增加，首先ResNet50提取特征，然后HR-ASPP对特征进行处理，得到的8×上采样特征F8×，为得到清晰的分割表盘图像，需要对特征进行上采样，在此基础上对特征F8×进行两次可形变卷积上采样，得到区域上下文像素聚合F4×及F8×特征，最后将F4×4和F8×8上采样到F2×2分辨率，在组合以实现局部和上下文特征的融合，并进行卷积上采样实现分割结果输出，该融合可形变卷积的解码器，具有更强的抗形变能力。
可选地，步骤S3的联合字符数值和角度法的仪表自动读数的技术特征的实现如下：
步骤S31，基于多层感知机的仪表量程及刻度字符数值识别：为实现自动读数，需要借助表盘中的刻度示数标识及量程标识，本申请通过对包含指针式仪表图像字符进行分割，从中选取数字图片作为数据集，对多层感知机模型进行训练，训练的多层感知机能对仪表中关键字符如量程、刻度示数的精确读取；
步骤S32，基于角度法的指针仪表的示数转换：本申请使用角度法对指针式仪表进行读数，依据圆心建立平面直角坐标系指针区域像素点中心，即为指针中心线，指针中心线与相邻两刻度数值之间的夹角α和β，通过角度的线性关系计算出，指针实际的数值。
步骤S33，联合字符数值识别和角度法的仪表自动读数：对于非均匀指针式仪表常规的角度法识别无法实现示数读取，需要联合仪表量程和刻度字符数值实现自动读数。
根据本申请实施例的另一方面，还提供了一种基于机器视觉的指针型仪表读数装置，包括：采集单元，用于采集目标仪表的仪表图像，其中，所述目标仪表为待识别读数的指针式仪表；定位单元，用于利用基于机器视觉的检测框架，从所述仪表图像中定位出仪表表盘和表盘中心；分割单元，用于采用抗倾斜非均匀刻度的仪表表盘分割方案，对所述仪表表盘中的各元素进行分割；读数单元，用于采用字符数值法和角度法中的至少之一对所述仪表表盘的自动读数。
根据本申请实施例的另一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器通过计算机程序执行上述的方法。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方法中任一实施例的步骤。
应用本发明的技术方案，采集目标仪表的仪表图像，所述目标仪表为待识别读数的指针式仪表；利用基于机器视觉的检测框架，从所述仪表图像中定位出仪表表盘和表盘中心；采用抗倾斜非均匀刻度的仪表表盘分割方案，对所述仪表表盘中的各元素进行分割；采用字符数值法和角度法中的至少之一对所述仪表表盘的自动读数，通过采用人工智能、同时针对仪表所处环境较差的特点采用抗倾斜的解决方案，可以解决相关技术中采用人工对仪表进行读数的效率较低的技术问题。
除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本申请实施例的一种可选的基于机器视觉的指针型仪表读数方法的流程图；
图2是根据本申请实施例的一种可选的基于机器视觉的指针型仪表读数方法的流程图；
图3是根据本申请实施例的一种可选的仪表表盘定位检测结果的示意图；
图4是根据本申请实施例的一种可选的仪表表盘圆心定位结果的示意图；
图5是根据本申请实施例的一种可选的指针分割结果的示意图；
图6是根据本申请实施例的一种可选的刻度字符区域检测与识别的示意图；
图7是根据本申请实施例的一种可选的角度法的仪表自动读数的示意图；
图8是根据本申请实施例的一种可选的基于机器视觉的指针型仪表读数装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在基于机器视觉对指针式仪表进行自动读数时，可以通过基于统计特征的仪表示数识别算法和基于卷积神经网络的识别算法实现，本方案旨在融合这两类算法的优点，进一步提升识别性能。在指针和表盘定位中，通过霍夫变换算法检测指针，结合中心投影法定位指针，提升仪表读数精度；还可以利用表盘的颜色直方图分布特征和亮度梯度特征定位表盘区域，并根据改进的霍夫变换算法进行指针定位；还可以使用支持向量机训练图像HOG(Histogram of Oriented Gradient,HOG)特征来检测表盘，再结合图像灰度信息由霍夫变换检测指针位置。
在基于统计特征对仪表示数进行识别时，可基于Blob连通域法和霍夫Hough变换法实现，考虑到仪表图像易受噪声影响导致指针连通域并不连贯，由于霍夫直线检测算法的空间复杂度和时间复杂度较高，且检测出的直线并非指针中心线而是指针边沿，会导致读数精度降低；仪表读数通常需要事先从模板库中获取人为标定的量程信息。针对这些问题，本申请提出了基于机器视觉的指针型仪表读数的方案，对表盘、刻度值、指针位置进行分割定位，获取仪表刻度数值、表盘圆心和指针中心线等信息，该方法可以准确定位复杂背景下的指针中心线，并参考仪表量程信息可读取非均匀刻度指针式仪表的示数。可用基于卷积神经网络的目标检测算法Faster R-CNN检测表盘，使用连通域分析法定位指针，使用基于深度学习的分割算法对表盘、刻度值、指针位置进行分割。本申请可融合两类算法的优点，引入基于深度学习的改进分割算法deepLabV3+来分割表盘区域，并使用透视Hough变换对仪表进行校正。
本申请的创新之一在于，提出了一种基于改进分割网络deepLabv3+的抗倾斜非均匀刻度仪表读数算法，对预处理后的表盘图像，采用双阶段目标检测方法进行表盘及圆心定位检测，主要用到双阶段的Faster R-CNN对表盘区域进行定位，采用Hough圆检测实现圆心的定位。为提升表盘指针、刻度和刻度字符的分割精度，提出改进deepLabV3+的表盘分割框架，首先，基于改进Hough变换的对表盘倾斜矫正：利用点与线的对偶性来矫正表盘存在的倾斜；然后，融合高分辨率的空洞空间卷积池化金字塔(HR-ASPP)和可形变卷积的解码器(deformable Decoder,de-Decoder)，提取的细节和上下文信息更加丰富的特征、提升了分类器抗形变能力。使得分割出的表盘区域更精确；最后，联合表盘字符数值和极坐标角度法，对不同角度刻度标识下的示数进行转换，实现对非均匀刻度的指针读数。从而，使得本申请能应用于多仪表指针刻度均匀和非均匀的场景，具有良好的精度和适用性。
根据本申请实施例的一方面，提供了一种基于机器视觉的指针型仪表读数的方法实施例。本申请实施例的基于机器视觉的指针型仪表读数方法可以由服务器、终端来执行。其中，终端执行本申请实施例的基于机器视觉的指针型仪表读数方法也可以是由安装在其上的客户端来执行。图1是根据本申请实施例的一种可选的基于机器视觉的指针型仪表读数方法的流程图，如图1所示，该方法可以包括以下步骤：
步骤S102，采集目标仪表的仪表图像，所述目标仪表为待识别读数的指针式仪表。
步骤S104，利用基于机器视觉的检测框架，从所述仪表图像中定位出仪表表盘和表盘中心。
可选地，在从所述仪表图像中定位出仪表表盘和表盘中心之前，对原始样本进行预处理，得到增强样本，所述预处理包括色域变换、几何变换、对比度增强以及饱和度增强中随机选择的一项或者随机选择的多项的组合，预处理用于消除生产现场环境和光照对图像的影响，所述随机选择用于提高检测的鲁棒性，所述原始样本是对仪表进行图像采集得到的图像，所述增强样本中标注有表盘位置和表盘中心；利用所述增强样本进行训练，得到所述检测框架。
然后，利用所述检测框架在所述仪表图像中定位出仪表表盘的位置、并对均匀刻度或非均匀刻度的指针式仪表进行特征提取，其中，提取的特征被共享至后续的网络，以便于后续的网络进行表盘的分割；采用霍夫圆检测方法，提取表盘的表盘中心。
步骤S106，采用抗倾斜非均匀刻度的仪表表盘分割方案，对所述仪表表盘中的各元素进行分割。
可选地，采用抗倾斜非均匀刻度的仪表表盘分割方案，对所述仪表表盘中的各元素进行分割，包括：
1)基于改进霍夫变换对所述仪表表盘进行倾斜矫正：基于sobel算子的边缘检测，基于霍夫变化的倾斜角度计算，基于imrotate函数的图像旋转，基于霍夫变换的图像复原，令直线上所有像素灰度值为0，修正直线的倾斜角度；
2)基于改进的deepLabv3+模型对所述仪表表盘进行分割，其中，所述改进的deepLabv3+模型中采用了ResNet50特征提取网络，在所述ResNet50特征提取网络上引入了可形变卷积以实现上下文信息的感知；
3)在基于改进的deepLabv3+模型中对所述仪表表盘进行高分辨率空洞特征金字塔池化：将deepLabv3+模型的16×下采样层替换为8×下采样层，在8×下采样层的采样特征上进行高分辨率空洞特征金字塔池化，以提高编码器特征的分辨率，便于后续解码；
4)在基于改进的deepLabv3+模型中使用可形变卷积的解码器对所述仪表表盘中的各元素进行分割：利用ResNet网络提取所述仪表表盘中的特征，使用HR-ASPP网络对所述ResNet网络提取的特征进行上采样处理，得到的上采样特征，对所述HR-ASPP网络得到的上采样特征进行两次可形变卷积上采样，得到区域上下文像素聚合特征，将区域上下文像素聚合特征按照指定分辨率进行上采样，再进行组合以实现局部和上下文特征的融合，实现分割结果输出。
步骤S108，采用字符数值法和角度法中的至少之一对所述仪表表盘的自动读数。
可选地，采用字符数值法和角度法中的至少之一对所述仪表表盘的自动读数，包括以下至少之一：
1)采用字符数值法，对图像样本进行字符分割，得到字符图像，其中，所述图像样本是对仪表进行图像采集得到的样本；使用所述字符图像对多层感知机的原始模型进行训练，得到用于对仪表中关键字进行识别的多层感知机，通过利用多层感知机对所述仪表表盘的仪表量程和刻度字符数值进行识别，从而完成自动读数；
2)使用角度法对所述仪表表盘的示数进行转换，从而完成自动读数：确定所述仪表表盘中指针中心线分别与相邻两刻度数值之间的夹角α和β，通过角度的线性关系计算出指针所指的实际数值，从而完成自动读数；
3)对于非均匀的指针式仪表，联合字符数值法和角度法对所述仪表表盘进行自动读数。
通过上述步骤，采集目标仪表的仪表图像，所述目标仪表为待识别读数的指针式仪表；利用基于机器视觉的检测框架，从所述仪表图像中定位出仪表表盘和表盘中心；采用抗倾斜非均匀刻度的仪表表盘分割方案，对所述仪表表盘中的各元素进行分割；采用字符数值法和角度法中的至少之一对所述仪表表盘的自动读数，通过采用人工智能、同时针对仪表所处环境较差的特点采用抗倾斜的解决方案，可以解决相关技术中采用人工对仪表进行读数的效率较低的技术问题。
作为一个可选的实施方式，本申请实施例的基本流程如图2所示，首先，根据仪表自动读数的检测框架，对仪表表盘和圆心进行初步定位；其次，共享检测算法的特征构建抗倾斜非均匀刻度的仪表分割算法，实现指针的分割；之后，联合字符数值和角度法的仪表自动读数。
步骤S1，建立仪表自动读数的检测框架。
在建立检测框架时，考虑到指针式仪表所在的生产现场环境、光照等因素的影响，图像成像质量较低，故采用了色域变换、几何变换和对比度饱和度增强的图像数据预处理方案，为后继的检测定位与分割算法，提供清晰、易于处理的图像数据。在对采集的仪表图像数据预处理之后，采用以ResNet50(ResNet50中的50指有50个层，ResNet分为5个阶段Stage 0至Stage 4，Stage 0的结构比较简单，可以视其为对INPUT的预处理，后4个Stage都由Bottleneck组成，结构较为相似，Stage 1包含3个Bottleneck，剩下的3个stage分别包括4、6、3个Bottleneck)作为特征提取模块的Faster R-CNN目标检测网络对表盘进行检测定位，如图3所示，再采用霍夫圆检测定位表盘的圆心坐标，如图4所示。
Faster R-CNN由下面几部分组成：1)数据集image input；2)卷积层CNN等基础网络，提取特征得到feature map；3)RPN层，再在经过卷积层提取到的feature map上用一个3×3的slide window，去遍历整个feature map，在遍历过程中每个window中心按rate，scale(1:2,1:1,2:1)生成9个anchors，然后再利用全连接对每个anchors做二分类和初步bbox regression，最后输出比较精确的300个ROIs；4)把经过卷积层feature map用ROIpooling固定全连接层的输入维度；5)然后把经过RPN输出的rois映射到ROIpooling的feature map上进行bbox回归和分类。
步骤S11，数据预处理：相关技术中的仪表检测算法用水平翻转的方法对数据集进行预处理加强，忽略了数据集标注误差的影响，同时受生产现场环境、光照等影响，图像成像质量较低严重影响检测精度。因此，本申请直接移除水平翻转，并增加色域变换、几何变换和对比度增强等数据预处理，即在原始训练样本上，随机组合以上预处理方法，提升仪表图像的质量，进而提高了检测的鲁棒性。
步骤S12，指针式仪表自动读数的检测框架：由于表盘分割算法需要一个清晰的包含表盘全部信息的图像，所以引入一个用于指针式仪表自动读数的检测定位框架，实现对象表盘的位置检测，如图5所示，同时对均匀刻度和非均匀刻度的指针式仪表进行特征提取，并将提取的特征与后续的分割网络共享，用于表盘的分割。同时为采用Hough圆检测，提取表盘的圆心，即极坐标的极点，实现后续自动读数。
本申请提出的仪表自动读数的检测框架，使得表盘检测器与仪表分割网络共享主干特征，提高检测、分割效率，同时完成多个任务。该框架由训练与测试阶段组成，训练阶段提取仪表表盘检测器的主干特征，经两次回归可显著提高训练效率。同时，该框架具有普适性，可以添加其他目标检测器，易于拓展其他检测类别，如表盘字符区域的检测。
步骤S2，抗倾斜非均匀刻度的仪表分割算法的设计。
在对仪表图像进行视觉预处理和表盘及圆心的定位之后，设计抗倾斜非均匀刻度的仪表表盘分割算法，霍夫直线检测对检测到的表盘图像进行倾斜矫正，在此基础上分别设计高分辨率空洞特征金字塔和可形变卷积的解码器，融合低层的细节信息及上下文信息，同时改变解码器的感受野，以识别由倾斜矫正带来的形变。最后引入角度法联合数值字符和指针角度，实现非均匀刻度仪表的自动读数。
步骤S21，基于改进Hough变换的表盘倾斜矫正：利用点与线的对偶性，将仪表图像空间的线条变为参数空间的聚集点，从而检测给定图像是否存在给定性质的曲线。通过检测参数空间中过某个点的正弦曲线的条数来检测仪表图像空间中共线的点数。对所有过点的曲线在数组中累加计数；最后找出数组中数目最大的值，此时的值即为表盘的倾斜角度。
基于改进Hough变换的表盘倾斜矫正流程如下：1)Sobel算子边缘检测；2)Hough变化计算倾斜角度；3)图像旋转校正；4)Hough变换检测所有直线；5)令直线上所有像素灰度值为0，修正直线的倾斜角度。
其中，最为关键的是对指针的检测，相关技术中的方案通过简单的直线检测，本申请通过两次检测提升指针检测精度，霍夫变换对待检测形状中的任意点(a，b)为参考点，然后从该任意形状图形的边缘每一点上，计算其切线方向和到参考点(a，b)位置的偏移矢量r，以及r与x轴的夹角。参考点的位置可由式(1)、式(2)计算得出，
Figure BDA0003921359330000081
Figure BDA0003921359330000082
对于直线段只需要检测出其区间端点(a1,b1)和(a2,b2)。本改进算法通过联合线段与x轴的夹角实现仪表倾斜矫正，再经一次直线检测得到矫正后的指针位置。
步骤S22，基于改进deepLabv3+的表盘分割框架，deepLabV3+借鉴Xecption特征提取网络中的将深度可分离卷积替换最大池化层，降低了参数量和计算量。但因其深度可分离卷积缺乏上下文信息，导致其对表盘图像的形变感知能力较差。为此在ResNet50特征提取网络的上引入可形变卷积实现上下文信息的感知，该特征网络共享自前述表盘检测定位框架。
为解决表盘分割算法形变感知能力较差、分割精细度较差等问题。本申请在deepLabV3+上提出高分辨率空洞特征金字塔和基于可形变卷积的解码器模块。
步骤S23，高分辨率空洞特征金字塔池化：deepLabV3+中对16×下采样(相当于16个像素下采样为1个像素)后图像采用空洞空间金字塔池化，较高的下采样倍率将导致表盘特征丢失，无法复原。为此提出改进高分辨率空洞特征金字塔池化，统一在8×下采样(相当于8个像素下采样为1个像素)特征上进行金字塔池化，提高了编码器特征的分辨率，便于后续解码。
步骤S24，基于可形变卷积的解码器：针对拍照角度不同会造成形变，使得仪表表盘分割难度增加，首先ResNet提取特征，然后HR-ASPP对特征进行处理，得到的8×上采样(相当于1个像素上采样为8个像素)特征F8×，为得到清晰的分割表盘图像，需要对特征进行上采样。在此基础上对特征F8×进行两次可形变卷积上采样，得到区域上下文像素聚合F4×及F8×特征。最后将F4×4和F8×8上采样到F2×2分辨率，在组合以实现局部和上下文特征的融合，并进行卷积上采样实现分割结果输出，该融合可形变卷积的解码器，具有更强的抗形变能力。改进deepLabv3+的表盘分割框架其在精度和实时上都取得了较好的效果，满足工业生产的实际需求，如下表1所示。
表1
模型/算法 主干网络 精度 FPS
连通区域分析 / 84.6％ 25
DeepLabv3+ ResNet50 94.2％ 21
HR-DeepLabv3+ ResNet50 97.3％ 37
步骤S3，联合字符数值和角度法的仪表自动读数。
步骤S31，基于多层感知机的仪表量程及刻度字符数值识别：为实现自动读数，需要借助表盘中的刻度示数标识及量程标识。本申请通过对500张(当然也可以更多)包含指针式仪表图像字符分割，从中选取2000个(当然也可以更多)数字图片作为数据集，对多层感知机模型进行训练，训练的多层感知机能对仪表中关键字符如量程、刻度示数精确读取，如图6所示。
步骤S32，基于角度法的指针仪表的示数转换：本申请使用角度法对指针式仪表进行读数，依据圆心建立平面直角坐标系指针区域像素点中心即为指针中心线，指针中心线与相邻两刻度数值之间的夹角α和β，通过角度的线性关系计算出，指针实际的数值。
步骤S33，联合字符数值识别和角度法的仪表自动读数：对于非均匀指针式仪表常规的角度法识别无法实现示数读取，需要联合仪表量程和刻度字符数值实现自动读数。指针区域像素点中距离圆心最远的点设为点B，线段OB即为指针中心线；线段OB逆时针方向最近的刻度值设为d，刻度值d所对应刻度线连通域的质心设为点A，线段OB顺时针方向最近的刻度值设为e，刻度值e所对应刻度线连通域的质心设为点C；OA与OB之间的夹角设为α，OA与OC之间的夹角设为β。如图7所示，则指针式仪表读数结果如公式(3)所示：
Figure BDA0003921359330000091
应用本发明的技术方案，可对分割算法改进，针对相关技术中的分割算法的精细度较低、抗倾斜性能较差和指针刻度分割精度较低现象提出两点改进策略，提出高分辨率空洞特征金字塔(High Resolution Atrous Spatial Pyramid pooling,HR-ASPP)和可形变卷积的解码器(deformable Decoder,de-Decoder)能够有效提取表盘中的指针、刻度和数值等关键信息。最后联合多层感知机(Multilayer Perceptron,MLP)识别的表盘数值字符和分割到的指针极坐标角度，实现非均匀刻度指针式仪表的自动读数。为准确、高效的对指针式仪表进行读数。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
根据本申请实施例的另一个方面，还提供了一种用于实施上述基于机器视觉的指针型仪表读数方法的基于机器视觉的指针型仪表读数装置。图8是根据本申请实施例的一种可选的基于机器视觉的指针型仪表读数装置的示意图，如图8所示，该装置可以包括：
采集单元81，用于采集目标仪表的仪表图像，其中，所述目标仪表为待识别读数的指针式仪表；定位单元83，用于利用基于机器视觉的检测框架，从所述仪表图像中定位出仪表表盘和表盘中心；分割单元85，用于采用抗倾斜非均匀刻度的仪表表盘分割方案，对所述仪表表盘中的各元素进行分割；读数单元87，用于采用字符数值法和角度法中的至少之一对所述仪表表盘的自动读数。
可选地，定位单元还用于：在从所述仪表图像中定位出仪表表盘和表盘中心之前，对原始样本进行预处理，得到增强样本，所述预处理包括色域变换、几何变换、对比度增强以及饱和度增强中随机选择的一项或者随机选择的多项的组合，预处理用于消除生产现场环境和光照对图像的影响，所述随机选择用于提高检测的鲁棒性，所述原始样本是对仪表进行图像采集得到的图像，所述增强样本中标注有表盘位置和表盘中心；利用所述增强样本进行训练，得到所述检测框架。然后，利用所述检测框架在所述仪表图像中定位出仪表表盘的位置、并对均匀刻度或非均匀刻度的指针式仪表进行特征提取，其中，提取的特征被共享至后续的网络，以便于后续的网络进行表盘的分割；采用霍夫圆检测方法，提取表盘的表盘中心。
可选地，分割单元还用于：1)基于改进霍夫变换对所述仪表表盘进行倾斜矫正：基于sobel算子的边缘检测，基于霍夫变化的倾斜角度计算，基于imrotate函数的图像旋转，基于霍夫变换的图像复原，令直线上所有像素灰度值为0，修正直线的倾斜角度；2)基于改进的deepLabv3+模型对所述仪表表盘进行分割，其中，所述改进的deepLabv3+模型中采用了ResNet50特征提取网络，在所述ResNet50特征提取网络上引入了可形变卷积以实现上下文信息的感知；3)在基于改进的deepLabv3+模型中对所述仪表表盘进行高分辨率空洞特征金字塔池化：将deepLabv3+模型的16×下采样层替换为8×下采样层，在8×下采样层的采样特征上进行高分辨率空洞特征金字塔池化，以提高编码器特征的分辨率，便于后续解码；4)在基于改进的deepLabv3+模型中使用可形变卷积的解码器对所述仪表表盘中的各元素进行分割：利用ResNet网络提取所述仪表表盘中的特征，使用HR-ASPP网络对所述ResNet网络提取的特征进行上采样处理，得到的上采样特征，对所述HR-ASPP网络得到的上采样特征进行两次可形变卷积上采样，得到区域上下文像素聚合特征，将区域上下文像素聚合特征按照指定分辨率进行上采样，再进行组合以实现局部和上下文特征的融合，实现分割结果输出。
可选地，读数单元还用于：1)采用字符数值法，对图像样本进行字符分割，得到字符图像，其中，所述图像样本是对仪表进行图像采集得到的样本；使用所述字符图像对多层感知机的原始模型进行训练，得到用于对仪表中关键字进行识别的多层感知机，通过利用多层感知机对所述仪表表盘的仪表量程和刻度字符数值进行识别，从而完成自动读数；2)使用角度法对所述仪表表盘的示数进行转换，从而完成自动读数：确定所述仪表表盘中指针中心线分别与相邻两刻度数值之间的夹角α和β，通过角度的线性关系计算出指针所指的实际数值，从而完成自动读数；3)对于非均匀的指针式仪表，联合字符数值法和角度法对所述仪表表盘进行自动读数。
对预处理后的表盘图像，采用双阶段目标检测方法进行表盘及圆心定位检测，为提升表盘指针、刻度和刻度字符的分割精度，提出改进deepLabV3+的表盘分割框架，矫正表盘存在的倾斜，融合高分辨率的空洞特征金字塔池化(HR-ASPP)和可形变卷积的解码器(deformable Decoder,Deform-Decoder)，分割出更精确的表盘。最后联合表盘字符数值和极坐标角度法对非均匀刻度的指针读数。本发明能应用于多仪表指针刻度均匀和非均匀的场景，具有良好的精度和适用性。
通过上述方案，采集目标仪表的仪表图像，所述目标仪表为待识别读数的指针式仪表；利用基于机器视觉的检测框架，从所述仪表图像中定位出仪表表盘和表盘中心；采用抗倾斜非均匀刻度的仪表表盘分割方案，对所述仪表表盘中的各元素进行分割；采用字符数值法和角度法中的至少之一对所述仪表表盘的自动读数，通过采用人工智能、同时针对仪表所处环境较差的特点采用抗倾斜的解决方案，可以解决相关技术中采用人工对仪表进行读数的效率较低的技术问题。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种基于机器视觉的指针型仪表读数方法，其特征在于，包括：
采集目标仪表的仪表图像，其中，所述目标仪表为待识别读数的指针式仪表；
利用基于机器视觉的检测框架，从所述仪表图像中定位出仪表表盘和表盘中心；
采用抗倾斜非均匀刻度的仪表表盘分割方案，对所述仪表表盘中的各元素进行分割；
采用字符数值法和角度法中的至少之一对所述仪表表盘的自动读数。
2.根据权利要求1所述的方法，其特征在于，在利用基于机器视觉的检测框架，从所述仪表图像中定位出仪表表盘和表盘中心之前，所述方法还包括：
对原始样本进行预处理，得到增强样本，其中，所述预处理包括色域变换、几何变换、对比度增强以及饱和度增强中随机选择的一项或者随机选择的多项的组合，所述预处理用于消除生产现场环境和光照对图像的影响，所述随机选择用于提高检测的鲁棒性，所述原始样本是对仪表进行图像采集得到的图像，所述增强样本中标注有表盘位置和表盘中心；
利用所述增强样本进行训练，得到所述检测框架。
3.根据权利要求1或2所述的方法，其特征在于，利用基于机器视觉的检测框架，从所述仪表图像中定位出仪表表盘和表盘中心，包括：
利用所述检测框架在所述仪表图像中定位出仪表表盘的位置、并对均匀刻度或非均匀刻度的指针式仪表进行特征提取，其中，提取的特征被共享至后续的网络，以便于后续的网络进行表盘的分割；
采用霍夫圆检测方法，提取表盘的表盘中心。
4.根据权利要求1所述的方法，其特征在于，采用抗倾斜非均匀刻度的仪表表盘分割方案，对所述仪表表盘中的各元素进行分割，包括：
基于改进霍夫变换对所述仪表表盘进行倾斜矫正：基于sobel算子的边缘检测，基于霍夫变化的倾斜角度计算，基于imrotate函数的图像旋转，基于霍夫变换的图像复原，令直线上所有像素灰度值为0，修正直线的倾斜角度；
基于改进的deepLabv3+模型对所述仪表表盘进行分割，其中，所述改进的deepLabv3+模型中采用了ResNet50特征提取网络，在所述ResNet50特征提取网络上引入了可形变卷积以实现上下文信息的感知；
在基于改进的deepLabv3+模型中对所述仪表表盘进行高分辨率空洞特征金字塔池化：将deepLabv3+模型的16×下采样层替换为8×下采样层，在8×下采样层的采样特征上进行高分辨率空洞特征金字塔池化，以提高编码器特征的分辨率，便于后续解码；
在基于改进的deepLabv3+模型中使用可形变卷积的解码器对所述仪表表盘中的各元素进行分割：利用ResNet网络提取所述仪表表盘中的特征，使用HR-ASPP网络对所述ResNet网络提取的特征进行上采样处理，得到的上采样特征，对所述HR-ASPP网络得到的上采样特征进行两次可形变卷积上采样，得到区域上下文像素聚合特征，将区域上下文像素聚合特征按照指定分辨率进行上采样，再进行组合以实现局部和上下文特征的融合，实现分割结果输出。
5.根据权利要求1所述的方法，其特征在于，采用字符数值法和角度法中的至少之一对所述仪表表盘的自动读数，包括以下至少之一：
采用字符数值法，通过利用多层感知机对所述仪表表盘的仪表量程和刻度字符数值进行识别，从而完成自动读数；
使用角度法对所述仪表表盘的示数进行转换，从而完成自动读数；
对于非均匀的指针式仪表，联合字符数值法和角度法对所述仪表表盘进行自动读数。
6.根据权利要求5所述的方法，其特征在于，使用角度法对所述仪表表盘的示数进行转换，从而完成自动读数，包括：
确定所述仪表表盘中指针中心线分别与相邻两刻度数值之间的夹角α和β；
通过角度的线性关系计算出指针所指的实际数值，从而完成自动读数。
7.根据权利要求5所述的方法，其特征在于，在采用字符数值法，通过利用多层感知机对所述仪表表盘的仪表量程和刻度字符数值进行识别，从而完成自动读数之前，所述方法还包括：
对图像样本进行字符分割，得到字符图像，其中，所述图像样本是对仪表进行图像采集得到的样本；
使用所述字符图像对多层感知机的原始模型进行训练，得到用于对仪表中关键字进行识别的多层感知机。
8.一种基于机器视觉的指针型仪表读数装置，其特征在于，包括：
采集单元，用于采集目标仪表的仪表图像，其中，所述目标仪表为待识别读数的指针式仪表；
定位单元，用于利用基于机器视觉的检测框架，从所述仪表图像中定位出仪表表盘和表盘中心；
分割单元，用于采用抗倾斜非均匀刻度的仪表表盘分割方案，对所述仪表表盘中的各元素进行分割；
读数单元，用于采用字符数值法和角度法中的至少之一对所述仪表表盘的自动读数。
9.一种计算机可读的存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至7任一项中所述的方法。
10.一种电子装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器通过所述计算机程序执行上述权利要求1至7任一项中所述的方法。
CN202211358609.7A 2022-11-01 2022-11-01 基于机器视觉的指针型仪表读数方法和装置 Pending CN115588196A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211358609.7A CN115588196A (zh) 2022-11-01 2022-11-01 基于机器视觉的指针型仪表读数方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211358609.7A CN115588196A (zh) 2022-11-01 2022-11-01 基于机器视觉的指针型仪表读数方法和装置

Publications (1)

Publication Number Publication Date
CN115588196A true CN115588196A (zh) 2023-01-10

Family

ID=84781488

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211358609.7A Pending CN115588196A (zh) 2022-11-01 2022-11-01 基于机器视觉的指针型仪表读数方法和装置

Country Status (1)

Country Link
CN (1) CN115588196A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116844058A (zh) * 2023-08-30 2023-10-03 广州市扬新技术研究有限责任公司 一种指针式仪表示数的识别方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116844058A (zh) * 2023-08-30 2023-10-03 广州市扬新技术研究有限责任公司 一种指针式仪表示数的识别方法、装置、设备及存储介质
CN116844058B (zh) * 2023-08-30 2024-03-12 广州市扬新技术研究有限责任公司 一种指针式仪表示数的识别方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110659636B (zh) 基于深度学习的指针式仪表读数识别方法
CN107609557B (zh) 一种指针式仪表读数识别方法
CN109635806B (zh) 基于残差网络的电表数值识别方法
CN107590498A (zh) 一种基于字符分割级联二分类器的自适应汽车仪表检测方法
CN112818988B (zh) 一种指针式仪表自动识别读数方法及系统
CN106529559A (zh) 一种指针式圆形多仪表盘实时读数识别方法
CN112257676A (zh) 一种指针式仪表读数方法、系统以及巡检机器人
CN110909640A (zh) 水位线的确定方法及装置、存储介质、电子装置
CN111368906B (zh) 一种基于深度学习的指针式油位计读数识别方法
CN113283419A (zh) 基于注意力的卷积神经网络指针式仪表图像读数识别方法
CN114266881A (zh) 一种基于改进型语义分割网络的指针式仪表自动读数方法
CN110659637A (zh) 一种结合深度神经网络和sift特征的电能表示数与标签自动识别方法
CN111353502B (zh) 数字表识别方法、装置以及电子设备
CN115588196A (zh) 基于机器视觉的指针型仪表读数方法和装置
CN116543376B (zh) 一种指针式仪表读数方法和系统
CN112924037A (zh) 基于图像配准的红外体温检测系统及检测方法
CN112990190A (zh) 指针式仪表读数的识别方法、装置
CN112836726B (zh) 一种基于视频信息的指针类仪表示数读取方法及装置
CN115497010A (zh) 一种基于深度学习的地理信息的识别方法及系统
CN112699824B (zh) 电能表仪表常数检测方法、设备及存储介质
CN112330660B (zh) 一种基于神经网络的精子尾部检测方法及其系统
CN111931786B (zh) 一种图像处理方法、装置及计算机可读存储介质
CN111368823B (zh) 一种指针式仪表读数识别方法及装置
Vázquez-Fernández et al. A machine vision system for the calibration of digital thermometers
CN113128543A (zh) 图像匹配方法、应用测试方法及装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination