CN112183661A - 一种基于细节注意力机制的仪表自动化识别方法 - Google Patents

一种基于细节注意力机制的仪表自动化识别方法 Download PDF

Info

Publication number
CN112183661A
CN112183661A CN202011147458.1A CN202011147458A CN112183661A CN 112183661 A CN112183661 A CN 112183661A CN 202011147458 A CN202011147458 A CN 202011147458A CN 112183661 A CN112183661 A CN 112183661A
Authority
CN
China
Prior art keywords
instrument
scale
detail
sampling
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011147458.1A
Other languages
English (en)
Inventor
袁烨
陈浩然
董云龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202011147458.1A priority Critical patent/CN112183661A/zh
Publication of CN112183661A publication Critical patent/CN112183661A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于细节注意力机制的仪表自动化识别方法，属于图像识别技术领域，包括：将待识别的仪表图像输入仪表自动化检测识别网络，得到仪表图像的热图，从中拟合仪表图像中刻度线圆弧的圆心C和半径R；将仪表图像灰度化处理之后，获取其中以C为圆心、以R为半径的刻度线圆弧，以及以C为圆心、以uR(u<1)为半径的指针尖圆弧，从两个圆弧中分别获取刻度点坐标和指针尖坐标；仪表自动化检测识别网络将U‑Net网络下采样部分中的所有U‑Net模块以及上采样部分包括最后一个U‑Net模块的部分U‑Net模块替换为了细节注意力模块；下采样部分的每一个细节注意力模块与最后一个细节注意力模块之间添加了细节通道。本发明能够有效提高指针式仪表的识别率。

Description

一种基于细节注意力机制的仪表自动化识别方法
技术领域
本发明属于图像识别技术领域，更具体地，涉及一种基于细节注意力机制的仪表自动化识别方法。
背景技术
指针式仪表广泛应用于工业生产场合，指针式仪表自动化识别是设备智能化改造、仪表校正等领域的基础。
当前技术背景下，借助传统机器视觉方法和卷积神经网络较为常见。传统机器视觉方法主要根据指针式仪表的表盘为圆形，利用模板匹配或霍夫曼圆检测提取仪表盘区域，再通过阈值和直线检测提取刻度和指针。但传统机器视觉方法难以应用于复杂多变的工况环境，比如光照不均、过度曝光等，导致识别率低。借助卷积神经网络的仪表识别方法，通过网络模型预测仪表区域，再进行阈值分割法或霍夫曼直线法读取刻度。但目前已有的方法针对的仪表样式单一、刻度读取方法兼容性差，导致识别率低。
总体而言，现有的指针式仪表的自动化识别方法，识别率有待进一步提高。
发明内容
针对现有技术的缺陷和改进需求，本发明提供了一种基于细节注意力机制的仪表自动化识别方法，其目的在于，解决现有的仪表自动化识别方法识别率不高的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种基于细节注意力机制的仪表自动化识别方法，仪表为指针式仪表，且表盘为圆形；该仪表自动化识别方法包括：
将待识别的仪表图像输入已训练好的仪表自动化检测识别网络，得到仪表图像的热图；热图上每个点的数值代表该点位于刻度线区域的置信度；
利用热图拟合得到仪表图像中刻度线圆弧的圆心C和半径R；
将仪表图像灰度化处理之后，获取其中以C为圆心、以R为半径的圆弧，得到刻度线圆弧，并获取以C为圆心、以uR为半径的圆弧，得到指针尖圆弧；u为预设常数，且u<1；
从刻度线圆弧中获取刻度点坐标，并从指针尖圆弧中获取指针尖坐标，从而完成仪表自动化识别；
其中，仪表自动化检测识别网络在U-Net网络的基础上，将下采样部分中的所有U-Net模块以及上采样部分的部分U-Net模块替换为了细节注意力模块，仪表自动化检测识别网络的最后一个模块为细节注意力模块；仪表自动化检测识别网络中，下采样部分的每一个细节注意力模块与最后一个细节注意力模块之间添加了细节通道，用于将每一个经过下采样的特征图直接连接至最后一个细节注意力模块的输入，由最后一个细节注意力模块进行多尺度特征图的融合。
本发明在U-Net网络的基础上，将其中下采样部分中的U-Net模块均替换为细节注意力(DA)模块，能够以大幅度保留细节特征并关注仪表区域响应，提高预测精度；同时在下采样部分的每个细节注意力模块与最后一个细节注意力模块间添加细节通道，将每一个经过下采样的特征图直接连接至最后一个细节注意力模块的输入，由最后一个细节注意力模块进行多尺度特征图的融合，能够在保留高分辨率细节信息的同时获得更加平滑的预测热图，进一步提高对刻度区域热图的预测精度；基于预测得到高精度的刻度区域热图，本发明能够有效提高指针式仪表的识别率。
基于本发明所提供具有特殊结构的仪表自动化检测识别网络，本发明能够预测各种圆形指针式仪表表盘的刻度区域热图，并完成仪表的自动化识别，因此，本发明具有较高的鲁棒性和兼容性。
进一步地，仪表自动化检测识别网络的训练方法包括：
将U-Net网络中下采样部分中的所有U-Net模块以及上采样部分中的部分U-Net模块替换为细节注意力模块，U-Net模型上采样部分的最后一个U-Net模块被替换为细节注意力模块；替换之后，在下采样部分的每一个细节注意力模块与最后一个细节注意力模块之间添加细节通道，由此构建得到待训练的仪表自动化检测识别网络；
采集表盘为圆形的指针式仪表的高清图像，并在其中标注刻度区域，由此得到训练数据集；
利用训练数据集对待训练的仪表自动化检测识别网络进行训练，从而在训练结束后，得到训练好的仪表自动化检测识别网络。
相比于其他现有的基于神经网络的仪表自动识别方法，本发明所提出的具有特殊结构的仪表自动化检测识别网络，需要收集的训练样本少，网络收敛速度快，降低了神经网络训练的时间成本。
进一步地，本发明提供的基于细节注意力机制的仪表自动化识别方法，还包括：
在利用训练数据集对待训练的仪表自动化检测识别网络进行训练之前，将训练数据集中部分样本的刻度线进行擦除，以模拟刻度缺损。
本发明在对仪表自动化检测识别网络进行训练之前，对训练数据集中的部分样本的刻度线进行擦除，模拟刻度缺损，由此能够提高仪表自动化检测识别网络预测结果的鲁棒性。
进一步地，利用热图拟合得到仪表图像中刻度线圆弧的圆心C和半径R，包括：
过滤掉热图中置信度低于预设阈值的点，得到刻度区域掩膜；
在刻度区域掩膜中采样数据点，并利用最小二乘法由采样数据点拟合圆弧，由此得到刻度线圆弧的圆心C和半径R。
进一步地，本发明提供的基于细节注意力机制的仪表自动化识别方法，还包括：
利用频域差分法对刻度线圆弧中的刻度缺损进行修复；
频域差分法包括：
对刻度点坐标构成的一维信号f(n)进行离散傅里叶变换得到频域信号
Figure BDA0002740121380000041
在频域信号中提取中频信号
Figure BDA0002740121380000042
与低频信号
Figure BDA0002740121380000043
并通过离散傅里叶逆变换至时域，得到信号
Figure BDA0002740121380000044
和信号
Figure BDA0002740121380000045
对信号
Figure BDA0002740121380000046
和信号
Figure BDA0002740121380000047
作差，得到差分信号
Figure BDA0002740121380000048
基于差分信号
Figure BDA0002740121380000049
得到修复的信号为：
Figure BDA00027401213800000410
其中，N为采样点数目；k为修复系数，代表对缺损信号修复的强度大小。
本发明通过上述频域差分法能够对刻度线圆弧中的刻度缺损进行修复，保证所提取的刻度点坐标更加稳定，从而识别出仪表中指针所指的精确刻度。
进一步地，从刻度线圆弧中获取刻度点坐标，包括：
沿刻度线圆弧在法向上取一定长度进行采样，对采样数据在法向上求和得到采样和信号；
对采样和信号进行局部极大值滤波，得到刻度点坐标。
进一步地，从指针尖圆弧中获取指针尖坐标，包括：
沿指针尖圆弧在法向上取一定长度进行采样，对采样数据在法向上求和得到采样和信号；
对采样和信号进行局部极大值滤波，得到指针尖坐标。
进一步地，0.7≤u≤0.9。
本发明在0.7～0.9的范围内设置u的取值，符合指针式仪表中指针尖圆弧与刻度线圆弧之间的一般关系特点，能够准确获取指针尖圆弧。
按照本发明的另一个方面，提供了一种计算机可读存储介质，包括存储的计算机程序，计算机程序被处理器执行时，控制计算机可读存储介质所在设备执行本发明提供的基于细节注意力机制的仪表自动化识别方法。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
(1)本发明在U-Net网络的基础上，将其中下采样部分中的U-Net模块均替换为细节注意力(DA)模块，同时在下采样部分的每个细节注意力模块与最后一个细节注意力模块间添加细节通道，将每一个经过下采样的特征图直接连接至最后一个细节注意力模块的输入，由最后一个细节注意力模块进行多尺度特征图的融合，能够以大幅度保留细节特征并关注仪表区域响应，并在保留高分辨率细节信息的同时获得更加平滑的预测热图，提高对刻度区域热图的预测精度；基于预测得到高精度的刻度区域热图，本发明能够有效提高指针式仪表的识别率。
(2)基于本发明所提供具有特殊结构的仪表自动化检测识别网络，本发明能够预测各种圆形指针式仪表表盘的刻度区域热图，并完成仪表的自动化识别，因此，本发明具有较高的鲁棒性和兼容性。同时，相比于其他现有的基于神经网络的仪表自动识别方法，本发明所提出的具有特殊结构的仪表自动化检测识别网络，需要收集的训练样本少，网络收敛速度快，降低了神经网络训练的时间成本。
(3)本发明在对仪表自动化检测识别网络进行训练之前，对训练数据集中的部分样本的刻度线进行擦除，模拟刻度缺损，由此能够提高仪表自动化检测识别网络预测结果的鲁棒性。
(4)本发明利用频域差分法，能够对刻度线圆弧中的刻度缺损进行修复，保证所提取的刻度点坐标更加稳定，从而识别出仪表中指针所指的精确刻度。
(5)本发明所提供的基于细节注意力机制的仪表自动化识别方法，具有较高的识别率，能够减少人工排查误差，提高了效率，以便于管理维护、查找故障和必要时相同仪表的替换；减少了操作者在不同工业环境下与仪表的直接接触，具有操作安全性。
附图说明
图1为本发明实施例提供的基于细节注意力机制的仪表自动化识别方法的框架示意图；
图2为本发明实施例提供的基于细节注意力机制的仪表自动化识别方法示意图；
图3为现有的U-Net网络的结构示意图；
图4为本发明实施例提供的仪表自动化检测识别网络(MSN)的结构示意图；
图5为现有的细节注意力(DA)模块的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
在本发明中，本发明及附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
针对现有的指针式仪表识别精度不高的技术问题，本发明提供了一种基于细节注意力机制的仪表自动化识别方法，其整体思路在于：利用基于U-Net网络的仪表自动化检测识别网络(MSN)，对指针式仪表刻度区域进行高精度预测；通过细节注意力模块DA，大幅度保留细节特征并关注刻度区域响应；最后基于圆形拟合、法相投影、缺损修复方法精准定位刻度线与指针，对仪表进行识别，提高对于不同仪表的兼容性、稳定性。本发明适用于任意一种圆形表盘的指针式仪表的自动识别，以下为实施例。
实施例1：
一种基于细节注意力机制的仪表自动化识别方法，如图1和图2所示，包括：
将待识别的仪表图像输入已训练好的仪表自动化检测识别网络，得到仪表图像的热图；热图上每个点的数值代表该点位于刻度线区域的置信度；
利用热图拟合得到仪表图像中刻度线圆弧的圆心C和半径R；
将仪表图像灰度化处理之后，获取其中以C为圆心、以R为半径的圆弧，得到刻度线圆弧，并获取以C为圆心、以uR为半径的圆弧，得到指针尖圆弧；u为预设常数，且u<1；
从刻度线圆弧中获取刻度点坐标，并从指针尖圆弧中获取指针尖坐标，从而完成仪表自动化识别；
其中，仪表自动化检测识别网络(MSN)是对U-Net网络做进一步改进后得到；
传统的U-Net网络的结构如图3所示，其中包括下采样部分和上采样部分，下采样部分和上采样部分均由一系列的U-Net模块构成，具体地，下采样由卷积运算、池化运算组成，将高分辨率的图像信息提取为高度抽象化的特征信息；上采样则将特征信息还原为原分辨率的图像用于图像分割；一系列卷积网络生成不同维度的特征图，其中高维度的特征图用于定位，低维度的特征图用于细节的分割与提取；传统的U-Net网络中的下采样和上采样过程中仍会丢失大量的细节特征，包括刻度线、仪表中心等；
为了提高对刻度区域热图的预测精度，本实施例中，仪表自动化检测识别网络的结构具体如图4所示，其在U-Net网络的基础上，将下采样部分中的所有U-Net模块以及上采样部分的部分U-Net模块替换为了细节注意力模块，仪表自动化检测识别网络的最后一个模块为细节注意力模块；仪表自动化检测识别网络中，下采样部分的每一个细节注意力模块与最后一个细节注意力模块之间添加了细节通道，用于将每一个经过下采样的特征图直接连接至最后一个细节注意力模块的输入，由最后一个细节注意力模块进行多尺度特征图的融合；
仪表自动化检测识别网络中的细节注意力(DA)模块，如图5所示，通过通道注意力图与空间注意力图，分别决定特征图不同通道和不同空间位置的权值大小。记经过两个卷积层后的特征图为
Figure BDA0002740121380000081
通道注意力图为
Figure BDA0002740121380000082
空间注意力图为
Figure BDA0002740121380000083
细节注意力模块可以用公式表示为：
Figure BDA0002740121380000084
其中
Figure BDA0002740121380000085
表示矩阵元素相乘，Mc(F)表示特征图F对应的通道注意力图，Ms(F1)表示特征图F1对应的空间注意力图。
本实施例在U-Net网络的基础上，将其中下采样部分中的U-Net模块均替换为细节注意力(DA)模块，能够以大幅度保留细节特征并关注仪表区域响应，提高预测精度；同时在下采样部分的每个细节注意力模块与最后一个细节注意力模块间添加细节通道，将每一个经过下采样的特征图直接连接至最后一个细节注意力模块的输入，由最后一个细节注意力模块进行多尺度特征图的融合，能够充分考虑仪表的细节特征，在保留高分辨率细节信息的同时获得更加平滑的预测热图，进一步提高对刻度区域热图的预测精度；基于预测得到高精度的刻度区域热图，本实施例能够有效提高指针式仪表的识别率。
基于图4所示的仪表自动化检测识别网络，本实施例能够预测各种圆形指针式仪表表盘的刻度区域热图，并完成仪表的自动化识别，因此，本实施例具有较高的鲁棒性和兼容性。
本实施例中，仪表自动化检测识别网络的训练方法包括：
将U-Net网络中下采样部分中的所有U-Net模块以及上采样部分中的部分U-Net模块替换为细节注意力模块，U-Net模型上采样部分的最后一个U-Net模块被替换为细节注意力模块；替换之后，在下采样部分的每一个细节注意力模块与最后一个细节注意力模块之间添加细节通道，由此构建得到如图4所示的待训练的仪表自动化检测识别网络；
采集表盘为圆形的指针式仪表的高清图像，并在其中标注刻度区域，由此得到训练数据集；作为一种可选的实施方式，本实施例中，所采集的高清图像，具体是利用工业高清摄像头拍摄得到，在拍摄过程中，工业高清摄像头成像平面与仪表平行，以减少拍摄角度不当造成的仪表变形；具体所采集的高清图像，来自于不同的圆形表盘指针式仪表；
利用训练数据集对待训练的仪表自动化检测识别网络进行训练，从而在训练结束后，得到训练好的仪表自动化检测识别网络；
相比于其他现有的基于神经网络的仪表自动识别方法，本发明所提出的具有特殊结构的仪表自动化检测识别网络，需要收集的训练样本少，网络收敛速度快，降低了神经网络训练的时间成本；
为了进一步提高仪表自动检测识别网络的预测结果的鲁棒性，作为一种优选的实施方式，本实施例还包括：
在利用训练数据集对待训练的仪表自动化检测识别网络进行训练之前，将训练数据集中部分样本的刻度线进行擦除，以模拟刻度缺损。
本实施例中，利用热图拟合得到仪表图像中刻度线圆弧的圆心C和半径R，包括：
过滤掉热图中置信度低于预设阈值的点，得到刻度区域掩膜；阈值可根据实际的识别精度要求确定，可选地，本实施例中，该阈值具体设定为0.5；
在刻度区域掩膜中采样数据点，并利用最小二乘法由采样数据点拟合圆弧，由此得到刻度线圆弧的圆心C和半径R；圆弧拟合过程具体如下：
记需要拟合圆弧的圆心C的坐标为(xc,yc)，采样数据点坐标集合{(xi,yi)|i＝1,2,…,n}；满足公式：
Figure BDA0002740121380000101
可以将公式写作矩阵形式Aω＝B，其中：
Figure BDA0002740121380000102
通过矩阵运算，可以解得圆心坐标(xc,yc)与半径R，公式如下：
Figure BDA0002740121380000103
作为一种优选的实施方式，本实施例还包括：
利用频域差分法对刻度线圆弧中的刻度缺损进行修复；
频域差分法包括：
对刻度点坐标构成的一维信号f(n)进行离散傅里叶变换得到频域信号
Figure BDA0002740121380000104
在频域信号中提取中频信号
Figure BDA0002740121380000105
与低频信号
Figure BDA0002740121380000106
并通过离散傅里叶逆变换至时域，得到信号
Figure BDA0002740121380000107
和信号
Figure BDA0002740121380000108
对信号
Figure BDA0002740121380000109
和信号
Figure BDA00027401213800001010
作差，得到差分信号
Figure BDA00027401213800001011
基于差分信号
Figure BDA0002740121380000111
得到修复的信号为：
Figure BDA0002740121380000112
其中，N为采样点数目；k为修复系数，代表对缺损信号修复的强度大小。
本实施例通过上述频域差分法能够对刻度线圆弧中的刻度缺损进行修复，保证所提取的刻度点坐标更加稳定，从而识别出仪表中指针所指的精确刻度。
本实施例中，从刻度线圆弧中获取刻度点坐标，包括：
沿刻度线圆弧在法向上取一定长度进行采样，对采样数据在法向上求和得到采样和信号；
对采样和信号进行局部极大值滤波，得到刻度点坐标。
从指针尖圆弧中获取指针尖坐标的方法与提取刻度点坐标的方法类似，具体包括：
沿指针尖圆弧在法向上取一定长度进行采样，对采样数据在法向上求和得到采样和信号；
对采样和信号进行局部极大值滤波，得到指针尖坐标。
可选地，本实施例中，0.7≤u≤0.9；在0.7～0.9的范围内设置u的取值，符合指针式仪表中指针尖圆弧与刻度线圆弧之间的一般关系特点，能够准确获取指针尖圆弧。
按照本发明的另一个方面，提供了一种计算机可读存储介质，包括存储的计算机程序，计算机程序被处理器执行时，控制计算机可读存储介质所在设备执行本发明提供的基于细节注意力机制的仪表自动化识别方法。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于细节注意力机制的仪表自动化识别方法，所述仪表为指针式仪表，且表盘为圆形，其特征在于，所述仪表自动化识别方法包括：
将待识别的仪表图像输入已训练好的仪表自动化检测识别网络，得到所述仪表图像的热图；所述热图上每个点的数值代表该点位于刻度线区域的置信度；
利用所述热图拟合得到所述仪表图像中刻度线圆弧的圆心C和半径R；
将所述仪表图像灰度化处理之后，获取其中以C为圆心、以R为半径的圆弧，得到刻度线圆弧，并获取以C为圆心、以uR为半径的圆弧，得到指针尖圆弧；u为预设常数，且u<1；
从所述刻度线圆弧中获取刻度点坐标，并从所述指针尖圆弧中获取指针尖坐标，从而完成仪表自动化识别；
其中，所述仪表自动化检测识别网络在U-Net网络的基础上，将下采样部分中的所有U-Net模块以及上采样部分的部分U-Net模块替换为了细节注意力模块，所述仪表自动化检测识别网络的最后一个模块为细节注意力模块；所述仪表自动化检测识别网络中，下采样部分的每一个细节注意力模块与最后一个细节注意力模块之间添加了细节通道，用于将每一个经过下采样的特征图直接连接至最后一个细节注意力模块的输入，由最后一个细节注意力模块进行多尺度特征图的融合。
2.如权利要求1所述的基于细节注意力机制的仪表自动化识别方法，其特征在于，所述仪表自动化检测识别网络的训练方法包括：
将U-Net网络中下采样部分中的所有U-Net模块以及上采样部分中的部分U-Net模块替换为细节注意力模块，所述U-Net模型上采样部分的最后一个U-Net模块被替换为细节注意力模块；替换之后，在下采样部分的每一个细节注意力模块与最后一个细节注意力模块之间添加细节通道，由此构建得到待训练的仪表自动化检测识别网络；
采集表盘为圆形的指针式仪表的高清图像，并在其中标注刻度区域，由此得到训练数据集；
利用所述训练数据集对所述待训练的仪表自动化检测识别网络进行训练，从而在训练结束后，得到训练好的仪表自动化检测识别网络。
3.如权利要求2所述的基于细节注意力机制的仪表自动化识别方法，其特征在于，还包括：
在利用所述训练数据集对所述待训练的仪表自动化检测识别网络进行训练之前，将所述训练数据集中部分样本的刻度线进行擦除，以模拟刻度缺损。
4.如权利要求1所述的基于细节注意力机制的仪表自动化识别方法，其特征在于，利用所述热图拟合得到所述仪表图像中刻度线圆弧的圆心C和半径R，包括：
过滤掉所述热图中置信度低于预设阈值的点，得到刻度区域掩膜；
在所述刻度区域掩膜中采样数据点，并利用最小二乘法由采样数据点拟合圆弧，由此得到所述刻度线圆弧的圆心C和半径R。
5.如权利要求1所述的基于细节注意力机制的仪表自动化识别方法，其特征在于，还包括：
利用频域差分法对所述刻度线圆弧中的刻度缺损进行修复；
所述频域差分法包括：
对所述刻度点坐标构成的一维信号f(n)进行离散傅里叶变换得到频域信号
Figure FDA0002740121370000021
Figure FDA0002740121370000022
在所述频域信号中提取中频信号
Figure FDA0002740121370000023
与低频信号
Figure FDA0002740121370000024
并通过离散傅里叶逆变换至时域，得到信号
Figure FDA0002740121370000025
和信号
Figure FDA0002740121370000026
对所述信号
Figure FDA0002740121370000027
和信号
Figure FDA0002740121370000028
作差，得到差分信号
Figure FDA0002740121370000029
基于所述差分信号
Figure FDA0002740121370000031
得到修复的信号为：
Figure FDA0002740121370000032
其中，N为采样点数目；k为修复系数，代表对缺损信号修复的强度大小。
6.如权利要求1-5任一项所述的基于细节注意力机制的仪表自动化识别方法，其特征在于，从所述刻度线圆弧中获取刻度点坐标，包括：
沿所述刻度线圆弧在法向上取一定长度进行采样，对采样数据在法向上求和得到采样和信号；
对采样和信号进行局部极大值滤波，得到刻度点坐标。
7.如权利要求1-5任一项所述的基于细节注意力机制的仪表自动化识别方法，其特征在于，从所述指针尖圆弧中获取指针尖坐标，包括：
沿所述指针尖圆弧在法向上取一定长度进行采样，对采样数据在法向上求和得到采样和信号；
对采样和信号进行局部极大值滤波，得到指针尖坐标。
8.如权利要求1-5任一项所述的基于细节注意力机制的仪表自动化识别方法，其特征在于，0.7≤u≤0.9。
9.一种计算机可读存储介质，其特征在于，包括存储的计算机程序，所述计算机程序被处理器执行时，控制所述计算机可读存储介质所在设备执行权利要求1-8任一项所述的基于细节注意力机制的仪表自动化识别方法。
CN202011147458.1A 2020-10-23 2020-10-23 一种基于细节注意力机制的仪表自动化识别方法 Pending CN112183661A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011147458.1A CN112183661A (zh) 2020-10-23 2020-10-23 一种基于细节注意力机制的仪表自动化识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011147458.1A CN112183661A (zh) 2020-10-23 2020-10-23 一种基于细节注意力机制的仪表自动化识别方法

Publications (1)

Publication Number Publication Date
CN112183661A true CN112183661A (zh) 2021-01-05

Family

ID=73922668

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011147458.1A Pending CN112183661A (zh) 2020-10-23 2020-10-23 一种基于细节注意力机制的仪表自动化识别方法

Country Status (1)

Country Link
CN (1) CN112183661A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113283445A (zh) * 2021-04-30 2021-08-20 作业帮教育科技（北京）有限公司 一种图像处理方法、装置和计算机设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
董云龙等: "基于细节注意力卷积神经网络的仪表自动化识别方法", 《中国科学：技术科学》 *
郝志峰: "《数据科学与数学建模》", 31 January 2019 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113283445A (zh) * 2021-04-30 2021-08-20 作业帮教育科技（北京）有限公司 一种图像处理方法、装置和计算机设备

Similar Documents

Publication Publication Date Title
CN110659636B (zh) 基于深度学习的指针式仪表读数识别方法
CN109948469A (zh) 基于深度学习的巡检机器人仪表自动检测识别方法
CN102521560B (zh) 高鲁棒仪表指针图像识别方法
CN109635806B (zh) 基于残差网络的电表数值识别方法
CN112906694A (zh) 变电站倾斜式指针式仪表图像的读数矫正系统及方法
CN110929710B (zh) 一种基于视觉的仪表指针读数自动识别方法与系统
CN104657711B (zh) 一种鲁棒的指针式仪表读数自动识别方法
CN111738229B (zh) 一种指针表盘刻度的自动读取方法
CN112270320B (zh) 一种基于卫星影像校正的输电线路杆塔坐标校准方法
CN111368906A (zh) 一种基于深度学习的指针式油位计读数识别方法
CN110909738A (zh) 一种基于关键点检测的指针仪表自动读数方法
CN114266881A (zh) 一种基于改进型语义分割网络的指针式仪表自动读数方法
CN113205511A (zh) 基于深层神经网络的电子元器件批量信息检测方法及系统
CN114399677A (zh) 一种基于文本区域读取的指针仪表识别方法
CN117152727A (zh) 一种用于巡检机器人的指针式仪表自动读数方法
CN112183661A (zh) 一种基于细节注意力机制的仪表自动化识别方法
CN114387433A (zh) 一种大幅度fpc高精度定位方法
CN113705564A (zh) 一种指针式仪表识别读数方法
CN117877011A (zh) 一种基于神经网络的仪表动态追踪与识别方法和系统
CN116310285B (zh) 一种基于深度学习的指针式仪表自动读数方法及系统
CN112529003A (zh) 一种基于Faster-RCNN的仪表盘数字识别方法
CN112990190A (zh) 指针式仪表读数的识别方法、装置
CN115588196A (zh) 基于机器视觉的指针型仪表读数方法和装置
CN114037993B (zh) 变电站指针仪表读数方法、装置、存储介质以及电子设备
CN113610094B (zh) 一种基于旋转投射校准的配电室指针仪表读取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210105