CN116403204B - 一种圆形指针表智能读数的方法 - Google Patents

一种圆形指针表智能读数的方法 Download PDF

Info

Publication number
CN116403204B
CN116403204B CN202310679158.5A CN202310679158A CN116403204B CN 116403204 B CN116403204 B CN 116403204B CN 202310679158 A CN202310679158 A CN 202310679158A CN 116403204 B CN116403204 B CN 116403204B
Authority
CN
China
Prior art keywords
pointer
center
target
text
dial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310679158.5A
Other languages
English (en)
Other versions
CN116403204A (zh
Inventor
刘涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Hanyuan Technology Co ltd
Original Assignee
Nanjing Hanyuan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Hanyuan Technology Co ltd filed Critical Nanjing Hanyuan Technology Co ltd
Priority to CN202310679158.5A priority Critical patent/CN116403204B/zh
Publication of CN116403204A publication Critical patent/CN116403204A/zh
Application granted granted Critical
Publication of CN116403204B publication Critical patent/CN116403204B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/435Computation of moments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02Recognising information on displays, dials, clocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于仪表读数技术领域,具体涉及一种圆形指针表智能读数的方法。区别于基于规则的图像处理和模式识别技术,采用圆形指针表目标检测、指针目标检测模型、文本检测+识别模型避免特征提取过程中积累的误差对检测精度的影响,且在没有任何先验条件的情况下,默认刻度示数间的刻度为均匀分布,通过定位指针位置和指针最近邻文本目标间形成的局部角度关系以及最近邻文本内容识别来计算指针读数,大大提升了检定的工作效率,减少人工读数引入的人为误差。

Description

一种圆形指针表智能读数的方法
技术领域
本发明属于仪表读数技术领域,具体涉及一种圆形指针表智能读数的方法。
背景技术
由于指针类仪表内部结构简单、制作成本低、抗干扰能力强、可靠性高,且具有防尘、防水、防冻特性,所以在现代工业过程中仍被广泛应用。
指针式仪表需要定期进行读数检定,但指针式仪表的读数大部分仍然是手工操作,存在效率低、耗时长、实时性差,以及易受读表人观察角度、疲劳等因素影响。
鉴于此,本发明为解决上述问题,设计一种圆形指针表智能读数的方法。
发明内容
发明目的:本发明的目的是针对目前技术中的不足,提供了一种圆形指针表智能读数的方法。
技术方案:为实现上述目的,本发明提供了一种圆形指针表智能读数的方法,确定指针读数包括以下步骤:
S1.输入图像,采用基于DBnet检测网络结构head模块新增分类预测分支的方式,使其适用于倾斜、形变的指针目标和表盘中心目标检测定位,提取出指针目标与表盘中心目标;
该新增分类分支采用两次转置卷积将输入特征图恢复到图像原尺寸大小,最终经过sigmod激活函数输出该特征图中每个像素输出预测概率最大的类别序号,通过寻找二值化目标特征图中的轮廓信息获得目标框,统计目标框区域内每个像素的序列号并去数量最大的序列号作为该目标框的类别输出,实现在像素水平上进行分类预测并输出分类特征图;
S2.由DBnet检测网络所提取出的表盘中心目标与指针目标,先判断是否存在表盘中心目标,存在则提取出与表盘中央区域的iou匹配程度高的面板中心目标确认为真实表盘中心并获取其中心坐标,去除误检的干扰;不存在则默认图像中心点坐标为真实表盘中心;
再通过检测所得指针目标框短边两中点与真实表盘中心坐标距离大小判断出该指针目标的近心端和远心端;
S3.采用以mobilenetV3为骨干网络的DBnet轻量化文本检测算法对圆形仪表中刻度示数文本区域提取,通过最小外接矩形算法对文本不规则四边形框进行定位后获得矩阵坐标;利用透视变换关系截取旋转文本框内容送入CRNN+CTC网络进行文本内容识别;
S4.将通过算法所得文本目标按照文本内容进行大小排序,确定刻度示数固定间距;
S5.确定最近邻文本目标;
S6.计算指针读数;先计算以表盘中心为顶点与一个最近邻文本目标T1中心坐标、指针远心端坐标形成的夹角∠α占以表盘中心为顶点与最近邻两文本目标框T1、T2中心坐标形成的夹角∠β的比例,乘上两最近邻文本差值获得指针在两最近邻刻度文本见的示数,再加上最近邻文本中较小的值获得圆形指针表的读数,公式如下:
式中,Angle是读数数值,T1、T2分别为指针最近两端文本数值;α,β表示文本中心和指针间左右夹角值。
进一步的,所述步骤S3中,在提取不规则四边形框内图像时,首先计算变换矩阵,通过L2范数获取四边形最大宽边、高边来构建变换后的四点坐标,计算透视变换的映射矩阵M。
进一步的,最大宽边计算公式如下:
式中,width是倾斜数字文本目标的最小外接矩阵的宽,最小外接矩阵由四个点P0(x,y)、P1(x,y)、P2(x,y)、P3(x,y)构成;x代表对应点x坐标,y代表对应点y坐标;
最大高边计算公式如下:
height是倾斜数字文本目标的最小外接矩阵的长,最小外接矩阵由四个点P0(x,y)、P1(x,y)、P2(x,y)、P3(x,y)构成; x代表对应点x坐标,y代表对应点y坐标。
有益效果:1.区别于传统轮廓提取、霍夫直线检测等方法侧重指针轮廓信息来获取的指针,基于DBnet网络结构改进的指针、表盘中心目标检测算法结合指针、表盘中心本身存在的表征信息,从像素级进行目标框和目标分类的预测,对指针、面板中心检测的鲁棒性更高;
2.指针与表盘中心配对提出以指针近心端为顶点与指针远心端、表盘中心的夹角呈现钝角的结构特性,解决了一般指针检测出现的误检目标干扰读数问题;引入圆形指针表刻度示数存在固定差值规律保证根据指针远心端到文本目标距离最小寻找到的两最近邻文本目标非指针表盘存在的其他文本;
3.使用指针与最近邻文本的局部角度法,使指针表智能读数不再依赖于先验条件规定指针表量程,避免刻度线分割算法携带的标注工作量和应对反光、模糊等复杂场景下的不稳定性,应对反光导致的个别邻近文本丢失问题也能保证读数。
附图说明
图1为本发明圆形指针表指针读数方法流程图;
图2为本发明指针两端与表盘中心关系示意图;
图3为本发明透视变换截取文本示意图;
图4为本发明最近邻文本示意图;
图5为本发明表盘中心、最近邻文本、指针所成夹角示意图;
图6为本发明标准MobileNetV3 block网络结构图;
图7为本发明分辨率特征图;
图8为本发明crnn网络结构图。
实施方式
下面结合附图和具体实施方式,进一步阐明本发明,应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。需要说明的是,下面描述中使用的词语“前”、“后”、“左”、“右”、“上”和“下”指的是附图中的方向,词语“内”和“外”分别指的是朝向或远离特定部件几何中心的方向。
实施例1,根据图1-图8作进一步解释说明。
本发明提供一种圆形指针表智能读数的方法, 确定指针读数包括以下步骤:
一.确认指针近心端、指针远心端和表盘中心;
1. 基于DBnet网络结构对指针、表盘中心进行检测;
指针、表盘中心此类非矩形小目标,容易在一般卷积下采样时丢失特征信息,因此利用分割的方法可以在像素水平上进行预测;DBnet(Differentiable BinarizationNetwork)检测网络区别于普通分割网络采用固定阈值输出二值化图,对每一个像素点进行自适应二值化,二值化阈值由网络学习所得,彻底将二值化操作加入网络训练,更好的分离出前景和后景,保证最终输出图阈值的鲁棒性,简化了一般分割算法复杂耗时的后处理过程。DBnet网络一般适用于不规则文本检测,因此默认检测结果为一类目标,为了更好的区分提取出的指针目标与表盘中心目标,采用基于DBnet检测网络结构head模块新增分类预测分支的方式,使其适用于倾斜、形变的指针目标和表盘中心目标检测定位。该新增分类分支采用两次转置卷积将输入特征图恢复到图像原尺寸大小,最终经过sigmod激活函数输出该特征图中每个像素输出预测概率最大的类别序号,通过寻找二值化目标特征图中的轮廓信息获得目标框,统计目标框区域内每个像素的序列号并去数量最大的序列号作为该目标框的类别输出,实现在像素水平上进行分类预测并输出分类特征图。
2. 确认指针近心端、指针远心端和表盘中心;
由DBnet检测网络所得检测结果,先判断是否存在面板中心目标,存在则提取出与表盘中央区域的iou匹配程度高的面板中心目标确认为真实表盘中心并获取其中心坐标,去除误检的干扰;不存在则默认图像中心点坐标为真实表盘中心。由于指针目标呈细长状,所以检测所得指针目标框短边两中点基本代表了指针的两端,通过短边两中点与真实表盘中心坐标距离大小判断出该指针目标的近心端和远心端。选取指针目标中以指针近心端为顶点与真实表盘中心、指针远心端形成夹角为钝角(如图2),同时近心端距离表盘中心较近的指针目标为真实指针。
二.获取最近邻文本目标;
1.考虑多模型使用造成的资源占用率高,采用以mobilenetV3为骨干网络的DBnet轻量化文本检测算法对圆形仪表中刻度示数文本使用不规则四边形框进行定位,通过透视变换获取旋转文本框内容并送入crnn网络进行文本内容识别。其中,提取不规则四边形框内图像首先计算变换矩阵,通过L2范数获取四边形最大宽边、高边(公式如下)来构建变换后的四点坐标,计算透视变换的映射矩阵M,并获得扭转图像(如图3所示);
最大宽边计算公式如下:
式中,width是倾斜数字文本目标的最小外接矩阵的宽,最小外接矩阵由四个点P0(x,y)、P1(x,y)、P2(x,y)、P3(x,y)构成; x代表对应点x坐标,y代表对应点y坐标;
最大高边计算公式如下:
height是倾斜数字文本目标的最小外接矩阵的长,最小外接矩阵由四个点P0(x,y)、P1(x,y)、P2(x,y)、P3(x,y)构成;x代表对应点x坐标,y代表对应点y坐标。
MobileNetV3在嵌入式设备上具有低计算量、低复杂度以及高精度的特点,考虑SE模块在边缘推理增加开销用度,本文特征提取backbone阶段用标准卷积替代SE模块。
其中标准MobileNetV3 block如图6所示,每经过一层MobileNetV3 bolck 特征图分辨率降采样2倍,最终经过5个blocks处理后,获得1/2 ,1/4,1/8,1/16.1/32分辨率特征图(如图7所述)用做下游检测数字体和指针等目标特征。
CRNN是卷积循环神经网络,具有端到端地对不定长的文本序列进行识别能力,即不用先对单个文字进行切割,而是将文本识别转化为时序依赖的序列学习。本发明考虑场景中环境不确定性和字体方向性问题,采用双向LSTM模块构建CRNN网络单元,用于实现圆表表盘中的刻度数字,CRNN如图8所示。
2.将通过算法所得文本目标按照文本内容进行大小排序,默认文本内容干扰项小于正常刻度示数文本个数,因此统计排序后相邻文本差值取出现频率最高的差值作为刻度示数固定间距。
3.计算文本检测、识别算法所得文本目标中心坐标与真实指针远心端距离,取距离最近且文本内容差值与刻度示数固定间距呈倍数关系的两文本目标作为最近邻文本目标(如图4所示)。
三. 计算指针读数
先计算以表盘中心为顶点与一个最近邻文本目标T1中心坐标、指针远心端坐标形成的夹角∠α占以表盘中心为顶点与最近邻两文本目标框T1、T2中心坐标形成的夹角∠β的比例,乘上两最近邻文本差值获得指针在两最近邻刻度文本见的示数,再加上最近邻文本中较小的值获得圆形指针表的读数,公式如下:
式中,Angle是读数数值,T1、T2分别为指针最近两端文本数值;α,β表示文本中心和指针间左右夹角值。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (3)

1.一种圆形指针表智能读数的方法,其特征在于:确定指针读数包括以下步骤:
S1.输入图像,采用基于DBnet检测网络结构head模块新增分类预测分支的方式,使其适用于倾斜、形变的指针目标和表盘中心目标检测定位,提取出指针目标与表盘中心目标;
新增分类分支采用两次转置卷积将输入特征图恢复到图像原尺寸大小,最终经过sigmod激活函数输出该特征图中每个像素输出预测概率最大的类别序号,通过寻找二值化目标特征图中的轮廓信息获得目标框,统计目标框区域内每个像素的序列号并去数量最大的序列号作为该目标框的类别输出,实现在像素水平上进行分类预测并输出分类特征图;
S2.由DBnet检测网络所提取出的表盘中心目标与指针目标,先判断是否存在表盘中心目标,存在则提取出与表盘中央区域的iou匹配程度高的面板中心目标确认为真实表盘中心并获取其中心坐标,去除误检的干扰;不存在则默认图像中心点坐标为真实表盘中心;
再通过检测所得指针目标框短边两中点与真实表盘中心坐标距离大小判断出该指针目标的近心端和远心端;
S3.采用以mobilenetV3为骨干网络的DBnet轻量化文本检测算法对圆形仪表中刻度示数文本区域提取,通过最小外接矩形算法对文本不规则四边形框进行定位后获得矩阵坐标;利用透视变换关系截取旋转文本框内容送入CRNN+CTC网络进行文本内容识别;
S4.将通过算法所得文本目标按照文本内容进行大小排序,确定刻度示数固定间距;
S5.确定最近邻文本目标;
S6.计算指针读数;先计算以表盘中心为顶点与一个最近邻文本目标T1中心坐标、指针远心端坐标形成的夹角∠α占以表盘中心为顶点与最近邻两文本目标框T1、T2中心坐标形成的夹角∠β的比例,乘上两最近邻文本差值获得指针在两最近邻刻度文本见的示数,再加上最近邻文本中较小的值获得圆形指针表的读数,公式如下:
式中,Angle是读数数值,T1,T2分别为指针最近两端文本数值;α,β表示文本中心和指针间左右夹角值。
2.根据权利要求1所述的一种圆形指针表智能读数的方法,其特征在于:所述步骤S3中,在提取不规则四边形框内图像时,首先计算变换矩阵,通过L2范数获取四边形最大宽边、高边来构建变换后的四点坐标,计算透视变换的映射矩阵M。
3.根据权利要求2所述的一种圆形指针表智能读数的方法,其特征在于:
最大宽边计算公式如下:
式中,width是倾斜数字文本目标的最小外接矩阵的宽,最小外接矩阵由四个点P0(x,y)、P1(x,y)、P2(x,y)、P3(x,y)构成;x代表对应点x坐标,y代表对应点y坐标;
最大高边计算公式如下:
height是倾斜数字文本目标的最小外接矩阵的长,最小外接矩阵由四个点P0(x,y)、P1(x,y)、P2(x,y)、P3(x,y)构成;x代表对应点x坐标,y代表对应点y坐标。
CN202310679158.5A 2023-06-09 2023-06-09 一种圆形指针表智能读数的方法 Active CN116403204B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310679158.5A CN116403204B (zh) 2023-06-09 2023-06-09 一种圆形指针表智能读数的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310679158.5A CN116403204B (zh) 2023-06-09 2023-06-09 一种圆形指针表智能读数的方法

Publications (2)

Publication Number Publication Date
CN116403204A CN116403204A (zh) 2023-07-07
CN116403204B true CN116403204B (zh) 2023-08-25

Family

ID=87014687

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310679158.5A Active CN116403204B (zh) 2023-06-09 2023-06-09 一种圆形指针表智能读数的方法

Country Status (1)

Country Link
CN (1) CN116403204B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016101643A1 (zh) * 2014-12-26 2016-06-30 国网重庆市电力公司电力科学研究院 一种仪表数据读取方法及系统
CN114332106A (zh) * 2021-11-22 2022-04-12 佳源科技股份有限公司 一种基于近似极心的指针表计表盘展开方法
CN114399677A (zh) * 2021-12-24 2022-04-26 上海利淘豪斯机器人有限公司 一种基于文本区域读取的指针仪表识别方法
CN114565911A (zh) * 2022-02-28 2022-05-31 上海商汤科技开发有限公司 一种仪表识读方法、装置、计算机设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016101643A1 (zh) * 2014-12-26 2016-06-30 国网重庆市电力公司电力科学研究院 一种仪表数据读取方法及系统
CN114332106A (zh) * 2021-11-22 2022-04-12 佳源科技股份有限公司 一种基于近似极心的指针表计表盘展开方法
CN114399677A (zh) * 2021-12-24 2022-04-26 上海利淘豪斯机器人有限公司 一种基于文本区域读取的指针仪表识别方法
CN114565911A (zh) * 2022-02-28 2022-05-31 上海商汤科技开发有限公司 一种仪表识读方法、装置、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
安卓平台上基于机器视觉的仪表识别;李大国;《信息技术》;第108-112页 *

Also Published As

Publication number Publication date
CN116403204A (zh) 2023-07-07

Similar Documents

Publication Publication Date Title
CN108492272B (zh) 基于注意力模型及多任务神经网络的心血管易损斑块识别方法及系统
CN111626190B (zh) 基于聚类分区进行刻度识别的水位监测方法
CN108388896B (zh) 一种基于动态时序卷积神经网络的车牌识别方法
CN108764229B (zh) 一种基于计算机视觉技术的水尺图像自动识别方法
CN110866430B (zh) 一种车牌识别方法及装置
CN115049664B (zh) 基于视觉的船舶发动机配件缺陷检测方法
CN109543676B (zh) 一种基于图像处理的字轮型水表数字字符识别方法
CN107507208A (zh) 一种基于轮廓上曲率估计的图像特征点提取方法
AU2020103716A4 (en) Training method and device of automatic identification device of pointer instrument with numbers in natural scene
CN111368825B (zh) 一种基于语义分割的指针定位方法
CN111598856A (zh) 基于缺陷导向多点定位神经网络的芯片表面缺陷自动检测方法及系统
CN114549981A (zh) 一种基于深度学习的智能巡检指针式仪表识别及读数方法
CN111079596A (zh) 高分辨率遥感影像的海上典型人造目标识别系统及方法
CN110070545B (zh) 一种城镇纹理特征密度自动提取城镇建成区的方法
CN112734729B (zh) 适用于夜间补光条件的水尺水位线图像检测方法、装置及存储介质
CN107480585A (zh) 基于dpm算法的目标检测方法
CN111753706B (zh) 一种基于图像统计学的复杂表格交点聚类提取方法
CN116758045B (zh) 一种半导体发光二极管的表面缺陷检测方法及系统
CN113240623B (zh) 一种路面病害检测方法及装置
CN115797813B (zh) 基于航拍图像的水环境污染检测方法
CN111738256A (zh) 基于改进分水岭算法的复合材料ct图像分割方法
CN115311507A (zh) 基于数据处理的建筑板材分类方法
CN115841669A (zh) 一种基于深度学习技术的指针式仪表检测与示数识别方法
CN113705564B (zh) 一种指针式仪表识别读数方法
CN106324708B (zh) 雨量记录图纸的数字化方法、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant