CN113837166B - 一种基于深度学习的指针式仪表自动读数方法 - Google Patents
一种基于深度学习的指针式仪表自动读数方法 Download PDFInfo
- Publication number
- CN113837166B CN113837166B CN202110958619.3A CN202110958619A CN113837166B CN 113837166 B CN113837166 B CN 113837166B CN 202110958619 A CN202110958619 A CN 202110958619A CN 113837166 B CN113837166 B CN 113837166B
- Authority
- CN
- China
- Prior art keywords
- pointer
- network
- image
- training
- max
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000013135 deep learning Methods 0.000 title claims abstract description 11
- 238000001514 detection method Methods 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 18
- 230000011218 segmentation Effects 0.000 claims abstract description 8
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000013461 design Methods 0.000 claims description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 2
- 230000002776 aggregation Effects 0.000 claims description 2
- 238000004220 aggregation Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 claims description 2
- 230000007246 mechanism Effects 0.000 claims description 2
- 238000011176 pooling Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 230000008439 repair process Effects 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000012552 review Methods 0.000 abstract description 4
- 238000013136 deep learning model Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000007689 inspection Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Character Discrimination (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的指针式仪表自动读数方法，训练基于Yolov4的目标检测模型，对表盘进行检测。选用网络层次较深的卷积神经网络，以获取更深层次的特征，使得定位更加准确。训练基于Unet的语义分割模型，分割指针。回顾前人对指针表自动读数的研究，发现其中大多数都是使用传统的计算机视觉方法来定位指针，获取指针的角度。本发明应用四种深度学习模型，以提高自然条件下的指针表读数精度。在对收集的5000张自然条件下拍摄的指针表图像进行读数后，本方法的错误率仅为1.57％，能够胜任在自然场景如燃气站、油田等场地等自动读数工作。
Description
技术领域
本发明属于计算机视觉领域，是一种基于深度神经网络的指针式仪表自动读数方法，输入为待读数仪表图像，输出为读数。
背景技术
指针式仪表被广泛应用于石油工业，发电站，燃气站等工业领域。这主要是因为它们结构简单，安装便利以及抗电磁干扰强。但是由于它们没有数字接口，所以主要还是由人工读数的方式对这些表进行记录。这种方式人工成本高，读表效率低，实时性差，并且有些高温高压的环境不适合人类活动。近年来，随着移动巡检机器人技术的发展以及智能化工业领域的推广，基于计算机视觉技术的移动巡检机器人已逐渐应用于仪表的自动读数。因此，研究一种稳定可靠的指针式仪表自动检测与识别方法具有重要的现实意义。
针对指针式仪表的自动检测与识别技术，已经有很多研究人员提出了不同的解决方法。现有的指针表自动读数方法主要是基于传统的计算机视觉技术，如图像灰度处理、二值化、图像滤波等技术，找到指针表的特征点，定位表盘位置。再结合Hough变换等算法，分割出指针角度。结合数字文本检测方法定位表盘文本，二值图中找出刻度文本所对应的主刻度线位置，最后进行读数。该类方法对图像质量要求较高，需要指针表类型、倾斜角度、光照、清晰度等均达到要求，才能进行准确的读数。而且整个方法中过程较为繁琐，限制条件多，鲁棒性差。
随着深度学习技术的发展，将深度学习与神经网络应用到指针式仪表的自动检测与读数领域逐渐成为主流。该类方法应用Faster-RCNN以及Mask-RCNN等目标检测模型，对表盘区域进行提取和放大。结合Hough变换以及边缘检测算子，提取指针区域。应用文本检测算法模型对指针表上的刻度数字以及其他文本信息进行检测与识别。该类方法对比传统计算机视觉方法，具有限制条件少、准确率高、计算过程简明等特点。但是现存的基于深度学习的指针表读数方法也只有一部分应用深度神经网络，其他部分如指针定位以及主刻度线定位等还是应用传统方法。这导致在自然场景下的指针表不能被准确读数，从而应用范围不大。所以，研究一种基于深度学习并且能够在自然场景下准确读数的指针式仪表自动读数方法是很有必要的。
发明内容
本发明设计了一种新式的基于深度学习的指针式仪表自动读数方法，在仪表读数的每个阶段均使用深度神经网络模型，以实现在自然场景下能够达到良好的准确性和鲁棒性。如图1为本专利总览图。
为实现上述目的，本方法包括以下步骤：
步骤1：训练基于Yolov4的目标检测模型，对表盘进行检测。对指针式仪表进行自动检测与识别首先就是要定位它的位置。在如油田、燃气站等实际场景下，它容易受位置、倾斜角度、外界条件等因素影响，容易出现漏检错检等情况。选用网络层次较深的卷积神经网络，以获取更深层次的特征，使得定位更加准确。同时，机器人巡检任务也要求较高的实时性，以保证工作效率。Yolov4作为一种one-stage目标检测模型，其最大的特点就是具有高度实时性的同时，准确率也能保证很高的水准。
Yolov4是一种端到端的实时目标检测模型，其选择了CSPDarknet53作为骨干网络，SPP作为附加块，PANet作为实例分割网络，由基于yolov3锚点机制的头作为输出。CSPDarknet53在Darknet53的基础上，在每个大残差块的后边加入了CSPnet结构。CSPnet模块可以增强Darknet53网络卷积层的学习能力，移除计算瓶颈，减少计算量从而减少内存开销。SPP-block可以不用考虑图像大小，输出图像固定长度网络结构，并且可以做到在图像变形情况下表现稳定。PANet的作用是进行参数聚合以适用于不同level的目标检测。最后，Yolov4使用Yolov3 Head，提取多特征层进行目标检测。
通过Yolov4，对原始图片进行目标检测，定位图中表盘的位置，并传输到后续算法中。整体过程如图2所示。
步骤2：训练基于Unet的语义分割模型，分割指针。回顾前人对指针表自动读数的研究，发现其中大多数都是使用传统的计算机视觉方法来定位指针，获取指针的角度。在实验过程中发现基于传统计算机视觉的方法在实际应用场景下的效果不佳。这主要是由于传统计算机视觉方法对图像的清晰度要求较高。而自然场景下的表盘可能受到遮挡物、泥土、光线、天气等因素的影响，清晰度无法满足要求。因此，创新性的提出使用基于卷积神经网络的语义分割算法，对指针进行定位。
Unet是一个基于深度卷积网络的语义分割模型，其主要分为下采样和上采样两个部分。下采样利用卷积层和池化层提取输入图像的深层特征。上采样利用反卷积操作将图像深层特征和浅层特征进行融合，修复细节信息，提高网络分割精度。通过此网络，对输入的表图片进行处理，将指针区域分割出来。具体过程如图3所示。
将分割出来的指针区域以二值图像的形式输入，经过开操作(先腐蚀后膨胀)以去除小的噪声区域，保留完整剩余区域。之后，对此剩余区域取最小外接三角形，并取其顶点和对应底边中点的连线，计算连线与垂直方向的夹角，代表指针角度。具体过程如图4所示。
步骤3：训练基于E2E-MLT的文本检测与识别模型，对表盘文本进行识别。对于指针表的自动读数，除了要获取准确的指针角度，还需要知道各个刻度数字的位置以及其对应的刻度线位置。选用E2E-MLT模型进行文本检测与识别。E2E-MLT是一个端到端可训练的文本检测与识别模型，其拥有文本定位与文本识别两个分支。训练一个网络可以同时实现文本的定位与识别功能，十分方便。E2E-MLT的具体使用过程如图5所示。
步骤4：训练基于自主设计的MSLnet的表盘主刻度线识别模型。由于表盘上主刻度线的朝向不一，不容易直接进行检测，所以根据上述获得的刻度数字文本位置，确定表盘圆心。之后将表盘转换为极坐标系，使得每条主刻度线水平排列。最后，根据映射到极坐标下的刻度数字位置，去除图像中的干扰部分。具体过程如图6所示。
之后，设计了一个轻量级的卷积神经网络，用于定位极坐标后图像中的主刻度线位置，将其命名为MSLnet。网络结构如图7所示。将极坐标后的图像调整为128*1280大小，然后分成五个128*256的部分，输入网络。输出为1*256*2大小的特征图。该特征图代表在相对应的横坐标位置，是否有主刻度线。具体流程如图8所示。
步骤5：基于上述检测结果，对指针表读数进行计算。最后，将极坐标系统下识别出的主刻度线还原到笛卡尔坐标系统下，结合指针角度、刻度数值、表盘单位，计算指针表的真实读数。公式1为具体计算公式。其中，(Amax,Vmax)和(Amin,Vmin)为与垂直方向夹角距离AP最近的两组主刻度线角度与对应刻度值。(Amax,Vmax)为刻度值较大的一组，(Amin,Vmin)为刻度值较小的一组。(AP,Amax,Amin)的数值范围都是(0,360)，顺时针方向增大。
以图9为例，AP为305，(Amax,Vmax)为(318,80),(Amin,Vmin)为(267,60).
再加上表盘单位值，综合计算结果R＝74.9℃。并且此公式并不局限于顺时针方向刻度值增大的表，逆时针增大也适用。
发明效果
本发明针对现存的指针式仪表自动读数方法在自然条件下读数不准确的问题，提出一种基于深度学习的指针式仪表自动读数方法，应用四种深度学习模型，以提高自然条件下的指针表读数精度。实验结果显示，在对收集的5000张自然条件下拍摄的指针表图像进行读数后，本方法的错误率仅为1.57％，能够胜任在自然场景如燃气站、油田等场地等自动读数工作。
图10-12为本方法的部分结果图。
附图说明
图1是本发明方法总览图。
图2是基于Yolov4算法的深度神经网络具体结构图。
图3是基于Unet的语义分割神经网络具体结构图。
图4是对分割出来的二值图进行开操作的流程图。
图5是基于E2E-MLT的文本检测与识别结构图。
图6是将表盘映射到极坐标系效果图。
图7是MSLnet网络结构。
图8是MSLnet效果示意图。
图9是表盘最终读数示意图。
图10-12是本专利部分结果图。
具体实施方式
首先，需要从实际自然场景下对指针表进行数据收集，然后对采集的数据进行标注。标注内容包括人工读数、指针表、指针、表盘上数字文字信息，然后人工将指针表转换到极坐标系统下，对主刻度线的横坐标进行标注。
配置Yolov4训练程序，训练标注好的指针表图像，并挑选合适的训练权重文件进行保存。
配置Unet训练程序，训练标注好的指针图像，并挑选合适的训练权重文件进行保存。
配置E2E-MLT训练程序，训练标注好的文本和数字信息，并挑选合适的训练权重文件进行保存。
按照图7的网络结构，配置MSLnet的训练程序，训练标注好的极坐标下的主刻度线图像，挑选合适的训练权重文件进行保存。
将验证集中的图像输入模型，根据输出的信息，使用公式1计算该指针表的真实读数。
Claims (2)
1.一种基于深度学习的指针式仪表自动读数方法，其特征在于：本方法包括以下步骤：
步骤1：训练基于Yolov4的目标检测模型，对表盘进行检测；对指针式仪表进行自动检测与识别首先就是要定位它的位置；选用网络层次较深的卷积神经网络，以获取更深层次的特征；
Yolov4是一种端到端的实时目标检测模型，其选择了CSPDarknet53作为骨干网络，SPP作为附加块，PANet作为实例分割网络，由基于yolov3锚点机制的头作为输出；CSPDarknet53在Darknet53的基础上，在每个大残差块的后边加入CSPnet结构；CSPnet模块增强Darknet53网络卷积层的学习能力；SPP-block不用考虑图像大小，输出图像固定长度网络结构，并且在图像变形情况下表现稳定；PANet的作用是进行参数聚合以适用于不同level的目标检测；最后，Yolov4使用Yolov3 Head，提取多特征层进行目标检测；
通过Yolov4，对原始图片进行目标检测，定位图中表盘的位置，并传输到后续算法中；
步骤2：训练基于Unet的语义分割模型，分割指针；Unet主要分为下采样和上采样两个部分；下采样利用卷积层和池化层提取输入图像的深层特征；上采样利用反卷积操作将图像深层特征和浅层特征进行融合，修复细节信息，提高网络分割精度；通过此网络，对输入的表图片进行处理，将指针区域分割出来；
将分割出来的指针区域以二值图像的形式输入，经过开操作以去除小的噪声区域，保留完整剩余区域；之后，对此剩余区域取最小外接三角形，并取其顶点和对应底边中点的连线，计算连线与垂直方向的夹角，代表指针角度；
步骤3：训练基于E2E-MLT的文本检测与识别模型，对表盘文本进行识别；对于指针表的自动读数，除了要获取准确的指针角度，还需要知道各个刻度数字的位置以及其对应的刻度线位置；选用E2E-MLT模型进行文本检测与识别；E2E-MLT是一个端到端可训练的文本检测与识别模型，拥有文本定位与文本识别两个分支；训练一个网络同时实现文本的定位与识别功能；
步骤4：训练基于自主设计的MSLnet的表盘主刻度线识别模型；根据获得的刻度数字文本位置，确定表盘圆心；将表盘转换为极坐标系，使得每条主刻度线水平排列；最后，根据映射到极坐标下的刻度数字位置，去除图像中的干扰部分；
步骤5：基于上述检测结果，对指针表读数进行计算；最后，将极坐标系统下识别出的主刻度线还原到笛卡尔坐标系统下，结合指针角度、刻度数值、表盘单位，计算指针表的真实读数；公式1为具体计算公式；其中，(Amax，Vmax)和(Amin，Vmin)为与垂直方向夹角距离AP最近的两组主刻度线角度与对应刻度值；(Amax，Vmax)为刻度值较大的一组，(Amin，Vmin)为刻度值较小的一组；(AP，Amax，Amin)的数值范围都是(0，360)，顺时针方向增大；
AP为305，(Amax，Vmax)为(318，80)，(Amin，Vmin)为(267，60)，再加上表盘单位值，综合计算结果R＝74.9℃。
2.根据权利要求1所述的一种基于深度学习的指针式仪表自动读数方法，其特征在于：设计一个轻量级的卷积神经网络，用于定位极坐标后图像中的主刻度线位置，将其命名为MSLnet；将极坐标后的图像调整为128*1280大小，然后分成五个128*256的部分，输入网络；输出为1*256*2大小的特征图；该特征图代表在相对应的横坐标位置，是否有主刻度线。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110958619.3A CN113837166B (zh) | 2021-08-20 | 2021-08-20 | 一种基于深度学习的指针式仪表自动读数方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110958619.3A CN113837166B (zh) | 2021-08-20 | 2021-08-20 | 一种基于深度学习的指针式仪表自动读数方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113837166A CN113837166A (zh) | 2021-12-24 |
| CN113837166B true CN113837166B (zh) | 2024-03-12 |
Family
ID=78961008
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110958619.3A Active CN113837166B (zh) | 2021-08-20 | 2021-08-20 | 一种基于深度学习的指针式仪表自动读数方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113837166B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114612648B (zh) * | 2022-03-07 | 2022-09-23 | 广州计量检测技术研究院 | 一种基于可信ai的指针式压力表示值读取方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110659636A (zh) * | 2019-09-20 | 2020-01-07 | 随锐科技集团股份有限公司 | 基于深度学习的指针式仪表读数识别方法 |
| CN111950330A (zh) * | 2019-05-16 | 2020-11-17 | 杭州测质成科技有限公司 | 一种基于目标检测的指针式仪表示数检测方法 |
| CN112149667A (zh) * | 2020-09-15 | 2020-12-29 | 浙江师范大学 | 一种基于深度学习的指针式仪表的自动读数的方法 |
| CN112949564A (zh) * | 2021-02-02 | 2021-06-11 | 电子科技大学 | 一种基于深度学习的指针式仪表自动读数方法 |
-
2021
- 2021-08-20 CN CN202110958619.3A patent/CN113837166B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111950330A (zh) * | 2019-05-16 | 2020-11-17 | 杭州测质成科技有限公司 | 一种基于目标检测的指针式仪表示数检测方法 |
| CN110659636A (zh) * | 2019-09-20 | 2020-01-07 | 随锐科技集团股份有限公司 | 基于深度学习的指针式仪表读数识别方法 |
| CN112149667A (zh) * | 2020-09-15 | 2020-12-29 | 浙江师范大学 | 一种基于深度学习的指针式仪表的自动读数的方法 |
| CN112949564A (zh) * | 2021-02-02 | 2021-06-11 | 电子科技大学 | 一种基于深度学习的指针式仪表自动读数方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113837166A (zh) | 2021-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110543878B (zh) | 一种基于神经网络的指针仪表读数识别方法 | |
| CN111340797B (zh) | 一种激光雷达与双目相机数据融合检测方法及系统 | |
| CN108961235B (zh) | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 | |
| CN113450307B (zh) | 一种产品边缘缺陷检测方法 | |
| CN113378686B (zh) | 一种基于目标中心点估计的两阶段遥感目标检测方法 | |
| CN112257676A (zh) | 一种指针式仪表读数方法、系统以及巡检机器人 | |
| CN105574161B (zh) | 一种商标图形要素识别方法、装置和系统 | |
| CN113673509B (zh) | 一种基于图像文本的仪表检测分类方法 | |
| CN109508709B (zh) | 一种基于机器视觉的单指针仪表读数方法 | |
| CN111598942A (zh) | 一种用于对电力设施仪表进行自动定位的方法及系统 | |
| CN114266881A (zh) | 一种基于改进型语义分割网络的指针式仪表自动读数方法 | |
| CN115439458A (zh) | 基于深度图注意力的工业图像缺陷目标检测算法 | |
| CN113837166B (zh) | 一种基于深度学习的指针式仪表自动读数方法 | |
| CN113850799A (zh) | 一种基于YOLOv5的微量DNA提取工作站工件检测方法 | |
| CN113705564B (zh) | 一种指针式仪表识别读数方法 | |
| Sun et al. | A novel automatic reading method of pointer meters based on deep learning | |
| CN112529003A (zh) | 一种基于Faster-RCNN的仪表盘数字识别方法 | |
| CN117152727A (zh) | 一种用于巡检机器人的指针式仪表自动读数方法 | |
| CN115661446A (zh) | 基于深度学习的指针式仪表示数自动读取系统及方法 | |
| CN112364687A (zh) | 一种基于改进的Faster R-CNN加油站静电标志识别方法及系统 | |
| CN112990190A (zh) | 指针式仪表读数的识别方法、装置 | |
| CN110889418A (zh) | 一种气体轮廓识别方法 | |
| CN116664501A (zh) | 一种基于图像处理判断储粮变化的方法 | |
| CN110334818A (zh) | 一种管路自动识别的方法及系统 | |
| Peng et al. | Automatic recognition of pointer meter reading based on Yolov4 and improved U-net algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |