CN114067123A - 仪表自动识别系统、识别方法及计算机可读取的存储介质 - Google Patents

仪表自动识别系统、识别方法及计算机可读取的存储介质 Download PDF

Info

Publication number
CN114067123A
CN114067123A CN202111316598.1A CN202111316598A CN114067123A CN 114067123 A CN114067123 A CN 114067123A CN 202111316598 A CN202111316598 A CN 202111316598A CN 114067123 A CN114067123 A CN 114067123A
Authority
CN
China
Prior art keywords
instrument
image
template
resnet
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111316598.1A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Bata Technology Co ltd
Original Assignee
Beijing Bata Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Bata Technology Co ltd filed Critical Beijing Bata Technology Co ltd
Priority to CN202111316598.1A priority Critical patent/CN114067123A/zh
Publication of CN114067123A publication Critical patent/CN114067123A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明的仪表自动识别系统，用一阶段目标检测网络进行仪表检测及种类识别，采用翻转、旋转、缩放、裁剪、移位等方式增加数据集，采用余弦退火策略(cosine annealing scheduler)来降低学习率，用ImageNet预先训练的ResNet‑50和随机一致性采样算法得到单应性矩阵变换的参数，把ResNet‑50的conv4特征作为变换的特征，对模板图像提取ResNet‑50的conv4特征后保存，在多个尺度上提取比对特征，计算两个图像之间的仿射变换，采用非局部均值算法降噪，限制对比度自适应直方图均衡算法减弱反光和阴影的影响，基于二阶微分提取边缘图像，根据模板种类检测刻度，在边缘图像中用模板里的指针外观信息检测指针圆心和角度，用模板的刻度值和识别出来的指针角度输出仪表读数。

Description

仪表自动识别系统、识别方法及计算机可读取的存储介质
技术领域
本发明涉及指针式仪表自动识别系统、仪表自动识别方法及计算机可读取的存储介质，尤其涉及仪表检测、种类判断、仪表刻度和指针识别。
背景技术
在工业环境中，机械指针仪表是最常见的仪表，大部分仪表都是人工读数手动记录。人工读数容易出错而且花费时间长，同时有些场地不允许人直接进入，所以没有人工参与的仪表自动识别是有效而方便的。现有的诸多仪表是没有自动读数和传输功能的，如果用计算机图像处理技术的话可以实现自动识别系统。一般来说户外仪表数据采集环境恶劣比如说反光、下雨、灰尘、阴影、遮挡、种类多，所以有效的仪表识别与仪表检测和种类识别是必须的。
发明内容
本发明提供一种用图像处理技术准确地识别指针式仪表读数的仪表自动识别系统、仪表自动识别方法及计算机可读取的存储介质。
仪表自动识别系统包含仪表检测及种类识别、模板匹配、仪表刻度与指针识别模块，
在所述仪表检测及种类识别模块中，
用一阶段(One-stage)目标检测网络进行仪表检测及种类识别，采用翻转(flip)、旋转(rotation)、缩放(scale)、裁剪(crop)、移位(translation)等方式增加数据集，训练网络，采用余弦退火策略(cosine annealing scheduler)来降低学习率。
在所述模板匹配模块中，用ImageNet预先训练的残差网络ResNet-50和随机抽样一致算法(Random sample consensus，RANSAC)得到单应性矩阵(homography)变换的参数。把ResNet-50的conv4特征作为变换的特征。对于每个种类仪表的模板图像提取ResNet-50的conv4特征后保存。在多个尺度上提取比对特征。对在模板图像提取的特征和检测区域提取的比对特征用RANSAC算法得出两个图像之间的仿射变换。
在所述仪表刻度与指针识别模块中，
在模板里有刻度位置、刻度值及指针圆心和外观信息。采用非局部均值(NL-means)算法降噪，限制对比度自适应直方图均衡(Contrast Limited Adaptive HistogramEqualization，CLAHE)算法减弱反光和阴影的影响，然后基于二阶微分提取边缘图像。按模板种类检测刻度。如有遮挡、杂物等外部影响可能部分刻度不能检测则预测整个刻度，进行微调和评估可信度。指针识别也是从上述的边缘图像中用模板里的指针外观信息检测指针圆心和角度，然后进行微调和评估可信度。用模板的刻度值和识别出来的指针角度输出仪表读数。
发明的效果
根据本发明的仪表自动识别系统，可准确检测仪表区域，判断仪表种类，正确找到指针位置并与模板匹配得到正确读数。
附图说明
图1是仪表识别系统的概略示意图。
图2是仪表检测及种类识别的概略示意图。
图3是模板匹配概略示意图。
图4是仪表刻度与指针识别概略示意图。
具体实施方式
下面，结合附图1～4，对本发明的仪表自动识别系统进行详细说明。
仪表自动识别系统包括仪表检测及种类识别模块，模板匹配模块，仪表刻度和指针识别模块。
<仪表检测与种类识别>首先仪表检测与种类识别阶段是用One-stage目标检测网络进行。这个网络基于YOLO，以CSPDarknet53为骨干网络(Backbone)，以PANet+SPP为连接结构(neck)，以YOLOv3的head为head构成。采用翻转(flip)、旋转(rotation)、缩放(scale)、裁剪(crop)、移位(translation)等方式增加数据集，训练网络。数据库由每种仪表1200张图像组成。采用余弦退火策略(cosine annealing scheduler)来降低学习率，将动量(Momentum)和权值衰减(Weight decay)分别设置为0.9和0.0005。训练出来的网络的准确率0.9997，召回率为1。
<模板匹配>在预处理阶段用ImageNet预先训练的ResNet-50和RANSAC算法得到Homography变换的参数。把ResNet-50的conv4特征作为变换的特征。一般来说仪表区域的几何变换模型是仿射变换。对于每个种类仪表的模板图像(可选择一张或多张图像)提取ResNet-50的conv4特征后保存。为了提高比对准确率，在0.64、0.8、1、1.25、1.56的五个尺度上提取比对特征。对在模板图像提取的特征和检测区域提取的比对特征用随机一致性采样(RANSAC)算法得出两个图像之间的仿射变换。若有多张模板图像，选择依次进行计算比对图像与模板图像间的仿射变换，选择最相似的模板图像。
<仪表刻度和指针识别>在识别阶段对于边缘图像按种类模板识别刻度和指针然后读数。模板里有刻度位置、刻度值及指针圆心和外观信息。一般来说现场采集条件恶劣，易受反光，雨水，湿气，灰尘，阴影，遮挡等外部变动的影响。为了减少图像噪声等外部影响对图像复原，采用NL-means算法降噪，CLAHE算法减弱反光和阴影的影响，然后基于二阶微分提取边缘图像。按种类模板检测刻度。如有遮挡、杂物等外部影响可能部分刻度不能检测则预测整个刻度，进行微调和评估可信度。指针识别也是从上述的边缘图像中用模板里的指针外观信息检测指针圆心和角度，然后进行微调和评估可信度。用模板的刻度值和识别出来的指针角度输出仪表读数。
本发明人通过实验验证了本发明的效果。
在由2300张图像组成的仪表数据库中测试所获得系统的有效性的结果如下；训练出来的网络的准确率0.9997，召回率为1，仪表指针与读数识别正确率99.9％。
本发明的实施方式可以归纳为如下技术方案。
技术方案1、一种仪表自动识别系统，包括：
图像获取模块，获取仪表图像，该仪表图像中拍摄有仪表的刻度和指针的全部；
所述仪表检测及种类识别模块，针对所述仪表图像，通过一阶段(One-stage)目标检测网络，识别出所述仪表图像中的仪表及仪表种类；
所述模板匹配模块，对于预先存储或获取的每个种类仪表的模板图像，该模板图像包含完整的仪表，且刻度、指针均清晰，通过预先训练好的残差网络ResNet-50，提取所述模板图像的ResNet-50的conv4特征作为模板特征，对于所述仪表图像中的经一阶段目标检测网络检测出的区域，通过预先训练好的ResNet-50，提取ResNet-50的conv4特征作为比对特征，基于所述模板特征和所述比对特征用随机抽样一致算法计算出所述模板图像与所述仪表图像之间的仿射变换，对齐仪表图像与模板图像的刻度；以及
仪表刻度和指针识别模块，对于所述仪表图像的检测区域，基于二阶微分提取出边缘图像，基于所述模板图像所包含的刻度位置、刻度值及指针圆心和外观信息及所述仿射变换，针对所述边缘图像，识别出所述仪表图像的仪表刻度和指针，以获得所述仪表图像中的仪表读数。
技术方案2、根据技术方案1所述的仪表自动识别系统，
在所述仪表检测及种类识别模块中，采用翻转(flip)、旋转(rotation)、缩放(scale)、裁剪(crop)、移位(translation)等方式增加数据集，训练网络，采用余弦退火策略(cosine annealing scheduler)来降低学习率。
技术方案3、根据技术方案1所述的仪表自动识别系统，
在所述模板匹配模块中，对于所述仪表图像中的检测区域，在规定数量以上的尺度上提取所述比对特征。
技术方案4、根据技术方案1所述的仪表自动识别系统，
在所述仪表刻度和指针识别模块中，对所述仪表图像进行基于非局部均值(NL-means)算法的处理、基于限制对比度自适应直方图均衡(Contrast Limited AdaptiveHistogram Equalization，CLAHE)算法的处理中的一个以上的预处理。
技术方案5、一种仪表自动识别方法，包括：
图像获取步骤，获取仪表图像，该仪表图像中拍摄有仪表的刻度和指针的全部；
所述仪表检测及种类识别步骤，针对所述仪表图像，通过一阶段(One-stage)目标检测网络，识别出所述仪表图像中的仪表及仪表种类；
所述模板匹配步骤，对于预先存储或获取的每个种类仪表的模板图像，该模板图像包含完整的仪表，且刻度、指针均清晰，通过预先训练好的残差网络ResNet-50，提取所述模板图像的ResNet-50的conv4特征作为模板特征，对于所述仪表图像中的经一阶段目标检测网络检测出的区域，通过预先训练好的ResNet-50，提取ResNet-50的conv4特征作为比对特征，基于所述模板特征和所述比对特征用随机抽样一致算法计算出所述模板图像与所述仪表图像之间的仿射变换，对齐仪表图像与模板图像的刻度；以及
仪表刻度和指针识别步骤，对于所述仪表图像的检测区域，基于二阶微分提取出边缘图像，基于所述模板图像所包含的刻度位置、刻度值及指针圆心和外观信息及所述仿射变换，针对所述边缘图像，识别出所述仪表图像的仪表刻度和指针，以获得所述仪表图像中的仪表读数。
技术方案6、一种计算机可读取的存储介质，非易失性地存储有用于使计算机执行如下仪表自动识别方法的各步骤的程序：
图像获取步骤，获取仪表图像，该仪表图像中拍摄有仪表的刻度和指针的全部；
所述仪表检测及种类识别步骤，针对所述仪表图像，通过一阶段(One-stage)目标检测网络，识别出所述仪表图像中的仪表及仪表种类；
所述模板匹配步骤，对于预先存储或获取的每个种类仪表的模板图像，该模板图像包含完整的仪表，且刻度、指针均清晰，通过预先训练好的残差网络ResNet-50，提取所述模板图像的ResNet-50的conv4特征作为模板特征，对于所述仪表图像中的经一阶段目标检测网络检测出的区域，通过预先训练好的ResNet-50，提取ResNet-50的conv4特征作为比对特征，基于所述模板特征和所述比对特征用随机抽样一致算法计算出所述模板图像与所述仪表图像之间的仿射变换，对齐仪表图像与模板图像的刻度；以及
仪表刻度和指针识别步骤，对于所述仪表图像的检测区域，基于二阶微分提取出边缘图像，基于所述模板图像所包含的刻度位置、刻度值及指针圆心和外观信息及所述仿射变换，针对所述边缘图像，识别出所述仪表图像的仪表刻度和指针，以获得所述仪表图像中的仪表读数。
如上所述，对本发明的优选的实施方式进行了说明，但上述实施方式仅作为例子来提示的，并不对本发明的保护范围进行限定，例如，上述涉及的提取特征的尺度数量、模板图像个数等也仅仅是例示，根据实际要求的速度、定位精度等，也可以是其他的数量。

Claims (6)

1.一种仪表自动识别系统，包括：
图像获取模块，获取仪表图像，该仪表图像中拍摄有仪表的刻度和指针的全部；
所述仪表检测及种类识别模块，针对所述仪表图像，通过一阶段(One-stage)目标检测网络，识别出所述仪表图像中的仪表及仪表种类；
所述模板匹配模块，对于预先存储或获取的每个种类仪表的模板图像，该模板图像包含完整的仪表，且刻度、指针均清晰，通过预先训练好的残差网络ResNet-50，提取所述模板图像的ResNet-50的conv4特征作为模板特征，对于所述仪表图像中的经一阶段目标检测网络检测出的区域，通过预先训练好的ResNet-50，提取ResNet-50的conv4特征作为比对特征，基于所述模板特征和所述比对特征用随机抽样一致算法计算出所述模板图像与所述仪表图像之间的仿射变换，对齐仪表图像与模板图像的刻度；以及
仪表刻度和指针识别模块，对于所述仪表图像的检测区域，基于二阶微分提取出边缘图像，基于所述模板图像所包含的刻度位置、刻度值及指针圆心和外观信息及所述仿射变换，针对所述边缘图像，识别出所述仪表图像的仪表刻度和指针，以获得所述仪表图像中的仪表读数。
2.根据权利要求1所述的仪表自动识别系统，
在所述仪表检测及种类识别模块中，采用翻转(flip)、旋转(rotation)、缩放(scale)、裁剪(crop)、移位(translation)等方式增加数据集，训练网络，采用余弦退火策略(cosineannealing scheduler)来降低学习率。
3.根据权利要求1所述的仪表自动识别系统，
在所述模板匹配模块中，对于所述仪表图像中的检测区域，在规定数量以上的尺度上提取所述比对特征。
4.根据权利要求1所述的仪表自动识别系统，
在所述仪表刻度和指针识别模块中，对所述仪表图像进行基于非局部均值(NL-means)算法的处理、基于限制对比度自适应直方图均衡(Contrast Limited Adaptive HistogramEqualization，CLAHE)算法的处理中的一个以上的预处理。
5.一种仪表自动识别方法，包括：
图像获取步骤，获取仪表图像，该仪表图像中拍摄有仪表的刻度和指针的全部；
所述仪表检测及种类识别步骤，针对所述仪表图像，通过一阶段(One-stage)目标检测网络，识别出所述仪表图像中的仪表及仪表种类；
所述模板匹配步骤，对于预先存储或获取的每个种类仪表的模板图像，该模板图像包含完整的仪表，且刻度、指针均清晰，通过预先训练好的残差网络ResNet-50，提取所述模板图像的ResNet-50的conv4特征作为模板特征，对于所述仪表图像中的经一阶段目标检测网络检测出的区域，通过预先训练好的ResNet-50，提取ResNet-50的conv4特征作为比对特征，基于所述模板特征和所述比对特征用随机抽样一致算法计算出所述模板图像与所述仪表图像之间的仿射变换，对齐仪表图像与模板图像的刻度；以及
仪表刻度和指针识别步骤，对于所述仪表图像的检测区域，基于二阶微分提取出边缘图像，基于所述模板图像所包含的刻度位置、刻度值及指针圆心和外观信息及所述仿射变换，针对所述边缘图像，识别出所述仪表图像的仪表刻度和指针，以获得所述仪表图像中的仪表读数。
6.一种计算机可读取的存储介质，非易失性地存储有用于使计算机执行如下仪表自动识别方法的各步骤的程序：
图像获取步骤，获取仪表图像，该仪表图像中拍摄有仪表的刻度和指针的全部；
所述仪表检测及种类识别步骤，针对所述仪表图像，通过一阶段(One-stage)目标检测网络，识别出所述仪表图像中的仪表及仪表种类；
所述模板匹配步骤，对于预先存储或获取的每个种类仪表的模板图像，该模板图像包含完整的仪表，且刻度、指针均清晰，通过预先训练好的残差网络ResNet-50，提取所述模板图像的ResNet-50的conv4特征作为模板特征，对于所述仪表图像中的经一阶段目标检测网络检测出的区域，通过预先训练好的ResNet-50，提取ResNet-50的conv4特征作为比对特征，基于所述模板特征和所述比对特征用随机抽样一致算法计算出所述模板图像与所述仪表图像之间的仿射变换，对齐仪表图像与模板图像的刻度；以及
仪表刻度和指针识别步骤，对于所述仪表图像的检测区域，基于二阶微分提取出边缘图像，基于所述模板图像所包含的刻度位置、刻度值及指针圆心和外观信息及所述仿射变换，针对所述边缘图像，识别出所述仪表图像的仪表刻度和指针，以获得所述仪表图像中的仪表读数。
CN202111316598.1A 2021-11-04 2021-11-04 仪表自动识别系统、识别方法及计算机可读取的存储介质 Pending CN114067123A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111316598.1A CN114067123A (zh) 2021-11-04 2021-11-04 仪表自动识别系统、识别方法及计算机可读取的存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111316598.1A CN114067123A (zh) 2021-11-04 2021-11-04 仪表自动识别系统、识别方法及计算机可读取的存储介质

Publications (1)

Publication Number Publication Date
CN114067123A true CN114067123A (zh) 2022-02-18

Family

ID=80274696

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111316598.1A Pending CN114067123A (zh) 2021-11-04 2021-11-04 仪表自动识别系统、识别方法及计算机可读取的存储介质

Country Status (1)

Country Link
CN (1) CN114067123A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115331014A (zh) * 2022-10-17 2022-11-11 暨南大学 一种基于机器视觉的指针仪表读数方法及系统、存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115331014A (zh) * 2022-10-17 2022-11-11 暨南大学 一种基于机器视觉的指针仪表读数方法及系统、存储介质

Similar Documents

Publication Publication Date Title
CN110659636B (zh) 基于深度学习的指针式仪表读数识别方法
CN109977191B (zh) 问题地图检测方法、装置、电子设备和介质
CN103164692B (zh) 一种基于计算机视觉的特种车辆仪表自动识别系统及方法
CN112257676A (zh) 一种指针式仪表读数方法、系统以及巡检机器人
CN105631439A (zh) 人脸图像处理方法和装置
CN110569878A (zh) 一种基于卷积神经网络的照片背景相似度聚类方法及计算机
CN111160256A (zh) 变电站指针式仪表自动识别方法及系统
CN112115895A (zh) 指针型仪表读数识别方法、装置、计算机设备及存储介质
CN111598109B (zh) 一种变电站指针仪表读数智能识别方法
CN109508709B (zh) 一种基于机器视觉的单指针仪表读数方法
CN110852954B (zh) 指针式仪表的图像倾斜校正方法及系统
CN114067123A (zh) 仪表自动识别系统、识别方法及计算机可读取的存储介质
CN108992033B (zh) 一种视觉测试的评分装置、设备和存储介质
CN116958514B (zh) 一种光学图像激波位置的亚像素定位方法
CN117475154A (zh) 一种基于优化Canny边缘检测的仪表图像识别方法及系统
CN112560839A (zh) 指针式仪表读数的自动识别方法及系统
CN112232209A (zh) 用于变电站巡检机器人的指针式仪表盘读数的识别方法
CN112529003A (zh) 一种基于Faster-RCNN的仪表盘数字识别方法
CN111008635A (zh) 一种基于ocr的多票据自动识别方法及识别系统
CN115588196A (zh) 基于机器视觉的指针型仪表读数方法和装置
CN103903258B (zh) 基于次序统计量谱聚类的遥感图像变化检测方法
CN112464986B (zh) 一种指针型圆盘仪表的读数方法及设备
CN113128543B (zh) 图像匹配方法、应用测试方法及装置和系统
CN115115664B (zh) 计量器具信息采集系统
CN116310285B (zh) 一种基于深度学习的指针式仪表自动读数方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination