CN111738229B - 一种指针表盘刻度的自动读取方法 - Google Patents

一种指针表盘刻度的自动读取方法 Download PDF

Info

Publication number
CN111738229B
CN111738229B CN202010774945.4A CN202010774945A CN111738229B CN 111738229 B CN111738229 B CN 111738229B CN 202010774945 A CN202010774945 A CN 202010774945A CN 111738229 B CN111738229 B CN 111738229B
Authority
CN
China
Prior art keywords
scale
pointer
area
network
design
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010774945.4A
Other languages
English (en)
Other versions
CN111738229A (zh
Inventor
黄丽莉
于洪洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Xiaoma Robot Co ltd
Original Assignee
Jiangxi Xiaoma Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Xiaoma Robot Co ltd filed Critical Jiangxi Xiaoma Robot Co ltd
Priority to CN202010774945.4A priority Critical patent/CN111738229B/zh
Publication of CN111738229A publication Critical patent/CN111738229A/zh
Application granted granted Critical
Publication of CN111738229B publication Critical patent/CN111738229B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Character Discrimination (AREA)

Abstract

本发明公开了一种指针表盘刻度的自动读取方法，属于图像识别领域，本发明公开的一种指针表盘刻度的自动读取方法，包括以下步骤；S00：数据采集，以机器人拍摄图片作为测试集，人工拍摄图像作为训练集；S10：数据标注：将指针式仪表刻度区域与指针区域作为整体进行像素区域的标注；S20：端到端的像素识别网络结构设计，包含指针式仪表刻度区域与指针区域的像素识别。考虑了表盘刻度与指针的相对关系，极大地去除了深度网络误检与漏检的问题，摆脱了传统算法中受噪声光线畸变等影响带来的不稳定性，在使用中具有鲁棒性与使用简便性。

Description

一种指针表盘刻度的自动读取方法
技术领域
本发明涉及图像识别领域，尤其涉及一种指针表盘刻度的自动读取方法。
背景技术
现阶段变电站指针式仪表识别方法分为传统的图像识别方法与基于深度学习的识别方法。传统的图像识别方法分为霍夫检测法，模板匹配法，最大连通域法，剪影法，最小二乘拟合法，画线法及区域生长法等。基于深度学习的方法具有鲁棒性，准确性，简易性等优点，是近几年的研究热点。通常是使用深度学习框架定位出指针式仪表的矩形框，再在矩形框内运用传统检测方法检测刻度与指针，进而得出读数。最新的研究将仪表位置与读数识别结合，一种是运用深度学习方法直接得出刻度点与指针指向的角度，通过角度比例得出读数；另一种是采集刻度线在不同位置的图片，进行端到端的训练，网络直接输出指针读数。传统方法中，常用的霍夫检测法，最大连通域法需要对不同表计做不同的算法设计，不具有通用性；模板匹配法在实用过程中操作繁琐，需要对每个表计都提前做好模板并刻画刻度线与仪表中心点；最小二乘拟合法，画线法在具有噪声的图像中鲁棒性很差。另外，传统方法针对于有上下两个指针表区域的仪器来说，设计繁琐。
基于深度学习的方法中，端到端的深度学习方法由于深度网络的黑盒效应，在实际应用中很难保证鲁棒性。刻度点、指针的识别，由于其标注的是刻度点，即提取的是点特征，相比之下算法缺乏鲁棒性。
发明内容
为了克服现有技术的缺陷，本发明所要解决的技术问题在于提出一种指针表盘刻度的自动读取方法，在使用中具有鲁棒性与使用简便性。
为达此目的，本发明采用以下技术方案：
本发明提供的一种指针表盘刻度的自动读取方法，包括以下步骤；S00：数据采集，以机器人拍摄图片作为测试集，人工拍摄图像作为训练集；S10：数据标注：将指针式仪表刻度区域与指针区域作为整体进行像素区域的标注；S20：端到端的像素识别网络结构设计，包含指针式仪表刻度区域与指针区域的像素识别。
本发明优选地技术方案在于，在步骤S20中，端到端的像素识别网络结构设计按网络训练顺序依次包括深度网络特征提取器模型设计、深度网络区域选取器模型设计、深度网络像素Mask分类器模型设计。
本发明优选地技术方案在于，所述深度网络特征提取器模型设计采用Resnet18网络、FPN金字塔结构，金字塔各层输出作为区域选取器与像素Mask分类器的输入。
本发明优选地技术方案在于，在所述深度网络区域选取器模型设计中，对于金字塔特征构建目标Boxes(anchors)，后接filter_size为1*1大小的卷积层替代全卷积层，并输出Boxes的粗调节参数。
本发明优选地技术方案在于，在深度网络像素Mask分类器模型设计中，根据所述深度网络特征提取器模型设计中输出的scores做排序，选出分数前2000的bbox，将其认定为分数较高Boxes，对于分数较高Boxes向原图进行映射与缩放，得到固定大小的图像高维特征，经过4层卷积与2层反卷积得到像素级的Mask分类与Boxes的细调节参数。
本发明优选地技术方案在于，在端到端的像素识别网络结构设计的网络训练顺序流程中增加深度网络误差设计，然后进行模型训练与测试，所述深度网络区域选取器模型设计以及所述深度网络像素Mask分类器模型设计中均增加有所述深度网络误差设计。
本发明优选地技术方案在于，在深度网络误差设计中包含Box判断误差，Mask像素误差，Box调节参数误差。
本发明优选地技术方案在于，在步骤S20中，端到端的像素识别网络结构设计的具体流程为，在对图像数据标注之后，图像经过畸变矫正做为输入至所述深度网络特征提取器。
本发明优选地技术方案在于，在所述深度网络区域选取器模型设计有刻度表指针区域粗选取器，刻度表指针区域粗选取器对标注的区域粗选取，然后根据选取区域剪裁缩放原图像，使图像尺寸固定。
本发明优选地技术方案在于，对刻度表指针区域细调全卷积层与Mask分类器，根据选取出Mask中的刻度表指针角度计算读数。
本发明的有益效果为：
本发明提供的一种指针表盘刻度的自动读取方法，包括以下步骤；S00：数据采集，以机器人拍摄图片作为测试集，人工拍摄图像作为训练集；S10：数据标注：将指针式仪表刻度区域与指针区域作为整体进行像素区域的标注；S20：端到端的像素识别网络结构设计，包含指针式仪表刻度区域与指针区域的像素识别。考虑了表盘刻度与指针的相对关系，极大地去除了深度网络误检与漏检的问题，摆脱了传统算法中受噪声光线畸变等影响带来的不稳定性，在使用中具有鲁棒性与使用简便性。
附图说明
图1是本发明具体实施方式中提供的网络训练流程示意图；
图2是本发明具体实施方式中提供的网络具体流程示意图；
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
本实施例提供一种指针表盘刻度的自动读取方法，包括以下步骤；S00：数据采集，鉴于变电站仪表具有不变性，并且识别拍摄图片平台为自主导航定点的移动机器人，每次拍摄角度偏差较小，以机器人拍摄图片作为测试集，人工拍摄图像作为训练集；S10：数据标注：将指针式仪表刻度区域与指针区域作为整体进行像素区域的标注；S20：端到端的像素识别网络结构设计，包含指针式仪表刻度区域与指针区域的像素识别。考虑了表盘刻度与指针的相对关系，将指针式仪表刻度区域与指针区域作为整体进行像素区域的标注；这使得网络设计免除了类别分类器全卷积网络部分，简化网络结构。极大地去除了深度网络误检与漏检的问题，摆脱了传统算法中受噪声光线畸变等影响带来的不稳定性，在使用中具有鲁棒性与使用简便性。
如图1所示，在步骤S20中，端到端的像素识别网络结构设计按网络训练顺序依次包括深度网络特征提取器模型设计、深度网络区域选取器模型设计、深度网络像素Mask分类器模型设计、深度网络误差设计、模型训练与测试。在深度网络结构设计时，考虑了指针式仪表刻度区域与指针区域的相对关系，极大地去除了深度网络误检与漏检的问题，摆脱了传统算法中受噪声光线畸变等影响带来的不稳定性，在使用中具有鲁棒性与使用简便性。
在该训练流程中，优选的，所述深度网络特征提取器模型设计采用Resnet18网络、FPN金字塔结构，金字塔各层输出作为区域选取器与像素Mask分类器的输入。考虑到本设计仅用于识别表盘与指针，优选采用Resnet18网络；在将本设计应用于更复杂的识别领域时，可采用Resnet34、Resnet50等其他深度的网络。采用FPN金字塔结构提取特征，然后将金字塔各层输出作为区域选取器与像素Mask分类器的输入，保证对小物体特征的提取的精度，从而可以精确的提取指针区域。
优选的，在所述深度网络区域选取器模型设计中，对于金字塔特征构建目标Boxes(anchors)，后接filter_size为1*1大小的卷积层替代全卷积层，并输出Boxes的粗调节参数。通过控制卷积核的数量达到通道数大小的放缩。增加非线性，1×1卷积核的卷积过程相当于全连接层的计算过程，并且还加入了非线性激活函数，从而可以增加网络的非线性，使得网络可以表达更加复杂的特征。减少卷积核参数（简化模型）在Inception Network中，由于需要进行较多的卷积运算，计算量很大，可以通过引入1×1确保效果的同时减少计算量。采用filter_size为1*1大小的卷积层，使得在选取区域时计算较快，同时也能保证精度。
优选的，在深度网络像素Mask分类器模型设计中，根据所述深度网络特征提取器模型设计中输出的scores做排序，选出分数前2000的bbox，将其认定为分数较高Boxes，对于分数较高Boxes向原图进行映射与缩放，得到固定大小的图像高维特征，经过4层卷积与2层反卷积得到像素级的Mask分类与Boxes的细调节参数。像素级的Mask分类使得在指针区域与刻度表盘区域重叠时也能保证精度，摆脱了传统算法中受噪声光线畸变等影响带来的不稳定性。
进一步地，在深度网络误差设计中包含Box判断误差，Mask像素误差，Box调节参数误差。所述深度网络区域选取器模型设计以及所述深度网络像素Mask分类器模型设计中均增加有所述深度网络误差设计。进一步提高精度。
如图2所示，在步骤S20中，端到端的像素识别网络结构设计的具体流程为，在对图像数据标注之后，图像经过畸变矫正做为输入至所述深度网络特征提取器。优选的，在所述深度网络区域选取器模型设计有刻度表指针区域粗选取器，刻度表指针区域粗选取器对标注的区域粗选取，然后根据选取区域剪裁缩放原图像，使图像尺寸固定。优选的，对刻度表指针区域细调全卷积层与Mask分类器，根据选取出Mask中的刻度表指针角度计算读数。运用端到端的像素级深度学习方法读取指针式仪表的读数，读取精确，极大地去除了深度网络误检与漏检的问题，摆脱了传统算法中受噪声光线畸变等影响带来的不稳定性，在使用中具有鲁棒性与使用简便性。
本发明是通过优选实施例进行描述的，本领域技术人员知悉，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。本发明不受此处所公开的具体实施例的限制，其他落入本申请的权利要求内的实施例都属于本发明保护的范围。

Claims (8)

1.一种指针表盘刻度的自动读取方法，其特征在于：
包括以下步骤；S00：数据采集，以机器人拍摄图片作为测试集，人工拍摄图像作为训练集；
S10：数据标注：将指针式仪表刻度区域与指针区域作为整体进行像素区域的标注；
S20：端到端的像素识别网络结构设计，包含指针式仪表刻度区域与指针区域的像素识别；
在步骤S20中，端到端的像素识别网络结构设计按网络训练顺序依次包括深度网络特征提取器模型设计、深度网络区域选取器模型设计、深度网络像素Mask分类器模型设计；
在深度网络像素Mask分类器模型设计中，根据所述深度网络特征提取器模型设计中输出的scores做排序，选出分数前2000的bbox，将其认定为分数较高Boxes，对于分数较高Boxes向原图进行映射与缩放，得到固定大小的图像高维特征，经过4层卷积与2层反卷积得到像素级的Mask分类与Boxes的细调节参数。
2.根据权利要求1所述的指针表盘刻度的自动读取方法，其特征在于：
所述深度网络特征提取器模型设计采用Resnet18网络、FPN金字塔结构，金字塔各层输出作为区域选取器与像素Mask分类器的输入。
3.根据权利要求1所述的指针表盘刻度的自动读取方法，其特征在于：
在所述深度网络区域选取器模型设计中，对于金字塔特征构建目标Boxes，后接filter_size为1*1大小的卷积层替代全卷积层，并输出Boxes的粗调节参数。
4.根据权利要求1所述的指针表盘刻度的自动读取方法，其特征在于：
在端到端的像素识别网络结构设计的网络训练顺序流程中增加深度网络误差设计，然后进行模型训练与测试，所述深度网络区域选取器模型设计以及所述深度网络像素Mask分类器模型设计中均增加有所述深度网络误差设计。
5.根据权利要求4所述的指针表盘刻度的自动读取方法，其特征在于：
在深度网络误差设计中包含Box判断误差，Mask像素误差，Box调节参数误差。
6.根据权利要求2所述的指针表盘刻度的自动读取方法，其特征在于：
在步骤S20中，端到端的像素识别网络结构设计的具体流程为，在对图像数据标注之后，图像经过畸变矫正做为输入至所述深度网络特征提取器。
7.根据权利要求6所述的指针表盘刻度的自动读取方法，其特征在于：
在所述深度网络区域选取器模型设计有刻度表指针区域粗选取器，刻度表指针区域粗选取器对标注的区域粗选取，然后根据选取区域剪裁缩放原图像，使图像尺寸固定。
8.根据权利要求7所述的指针表盘刻度的自动读取方法，其特征在于：
对刻度表指针区域细调全卷积层与Mask分类器，根据选取出Mask中的刻度表指针角度计算读数。
CN202010774945.4A 2020-08-05 2020-08-05 一种指针表盘刻度的自动读取方法 Active CN111738229B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010774945.4A CN111738229B (zh) 2020-08-05 2020-08-05 一种指针表盘刻度的自动读取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010774945.4A CN111738229B (zh) 2020-08-05 2020-08-05 一种指针表盘刻度的自动读取方法

Publications (2)

Publication Number Publication Date
CN111738229A CN111738229A (zh) 2020-10-02
CN111738229B true CN111738229B (zh) 2020-11-24

Family

ID=72657125

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010774945.4A Active CN111738229B (zh) 2020-08-05 2020-08-05 一种指针表盘刻度的自动读取方法

Country Status (1)

Country Link
CN (1) CN111738229B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112257676B (zh) * 2020-11-19 2023-10-24 南京天创电子技术有限公司 一种指针式仪表读数方法、系统以及巡检机器人
CN112990179A (zh) * 2021-04-20 2021-06-18 成都阿莱夫信息技术有限公司 一种基于图片处理的单指针型表盘读数自动识别方法
CN113469178B (zh) * 2021-07-05 2024-03-01 安徽南瑞继远电网技术有限公司 一种基于深度学习的电力表计识别方法
CN113283429B (zh) * 2021-07-21 2021-09-21 四川泓宝润业工程技术有限公司 基于深度卷积神经网络的液位式表计读数方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921203A (zh) * 2018-06-13 2018-11-30 深圳市云识科技有限公司 一种指针式水表的检测与识别方法
CN109344850A (zh) * 2018-07-27 2019-02-15 华南理工大学 一种基于yolo的水表自动检测方法
CN110555464A (zh) * 2019-08-06 2019-12-10 高新兴科技集团股份有限公司 一种基于深度学习模型的车辆颜色识别方法
CN111008587A (zh) * 2019-11-29 2020-04-14 江西崇政科技有限公司 一种应用于机器人的基于深度学习智能化视觉识别系统
CN111160256A (zh) * 2019-12-30 2020-05-15 武汉科技大学 变电站指针式仪表自动识别方法及系统
US10679351B2 (en) * 2017-08-18 2020-06-09 Samsung Electronics Co., Ltd. System and method for semantic segmentation of images
CN111346842A (zh) * 2018-12-24 2020-06-30 顺丰科技有限公司 煤矸石分拣方法、装置、设备及存储介质
CN111598942A (zh) * 2020-03-12 2020-08-28 中国电力科学研究院有限公司 一种用于对电力设施仪表进行自动定位的方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111414934A (zh) * 2020-01-21 2020-07-14 国网浙江省电力有限公司湖州供电公司 一种基于Faster R-CNN和U-Net的指针式仪表读数自动识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10679351B2 (en) * 2017-08-18 2020-06-09 Samsung Electronics Co., Ltd. System and method for semantic segmentation of images
CN108921203A (zh) * 2018-06-13 2018-11-30 深圳市云识科技有限公司 一种指针式水表的检测与识别方法
CN109344850A (zh) * 2018-07-27 2019-02-15 华南理工大学 一种基于yolo的水表自动检测方法
CN111346842A (zh) * 2018-12-24 2020-06-30 顺丰科技有限公司 煤矸石分拣方法、装置、设备及存储介质
CN110555464A (zh) * 2019-08-06 2019-12-10 高新兴科技集团股份有限公司 一种基于深度学习模型的车辆颜色识别方法
CN111008587A (zh) * 2019-11-29 2020-04-14 江西崇政科技有限公司 一种应用于机器人的基于深度学习智能化视觉识别系统
CN111160256A (zh) * 2019-12-30 2020-05-15 武汉科技大学 变电站指针式仪表自动识别方法及系统
CN111598942A (zh) * 2020-03-12 2020-08-28 中国电力科学研究院有限公司 一种用于对电力设施仪表进行自动定位的方法及系统

Also Published As

Publication number Publication date
CN111738229A (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
CN111738229B (zh) 一种指针表盘刻度的自动读取方法
CN111950330B (zh) 一种基于目标检测的指针式仪表示数检测方法
CN112818988B (zh) 一种指针式仪表自动识别读数方法及系统
CN102521560B (zh) 高鲁棒仪表指针图像识别方法
CN112257676B (zh) 一种指针式仪表读数方法、系统以及巡检机器人
CN112149667B (zh) 一种基于深度学习的指针式仪表的自动读数的方法
CN108764257A (zh) 一种多视角的指针式仪表识别方法
CN110929710B (zh) 一种基于视觉的仪表指针读数自动识别方法与系统
CN111091538A (zh) 一种管道焊缝自动识别、缺陷检测方法及装置
CN108053416B (zh) 一种基于单幅卫星图像的最大储油量提取系统
CN107507174A (zh) 基于手持智能巡检的电厂仪表设备图像识别方法及系统
CN112801094B (zh) 一种指针式仪表图像倾斜校正方法
CN109543665A (zh) 图像定位方法及装置
CN114549835A (zh) 一种基于深度学习的指针式仪表矫正识别方法及装置
CN107884412B (zh) 一种针叶树木芯的年轮信息检测装置及方法
CN113610060B (zh) 一种结构体裂缝亚像素检测方法
CN110689567A (zh) 一种乔木整株总叶面积的测算方法
CN202267464U (zh) 一种基于手机的快速检测叶片面积的装置
CN115294317A (zh) 一种用于工业生产厂区的指针式仪表读数智能检测方法
CN116229001A (zh) 一种基于空间熵的城市三维数字地图生成方法及系统
CN116958983A (zh) 一种基于机器视觉的指针式压力表自动校验仪示值读数方法
CN115588196A (zh) 基于机器视觉的指针型仪表读数方法和装置
CN112183661A (zh) 一种基于细节注意力机制的仪表自动化识别方法
CN113076941A (zh) 一种基于视频帧融合的单指针表盘读数识别方法
CN114037993A (zh) 变电站指针仪表读数方法、装置、存储介质以及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant