CN115424000A - 一种指针式仪表识别方法、系统、设备及存储介质 - Google Patents

一种指针式仪表识别方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN115424000A
CN115424000A CN202210934244.1A CN202210934244A CN115424000A CN 115424000 A CN115424000 A CN 115424000A CN 202210934244 A CN202210934244 A CN 202210934244A CN 115424000 A CN115424000 A CN 115424000A
Authority
CN
China
Prior art keywords
area
pointer
network
dial
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210934244.1A
Other languages
English (en)
Inventor
李佳
段祥骏
王庆杰
李运硕
冯德志
许媛媛
张琳
段青
沙广林
王素敏
史雪锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
China Electric Power Research Institute Co Ltd CEPRI
State Grid Shandong Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
China Electric Power Research Institute Co Ltd CEPRI
State Grid Shandong Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, China Electric Power Research Institute Co Ltd CEPRI, State Grid Shandong Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202210934244.1A priority Critical patent/CN115424000A/zh
Publication of CN115424000A publication Critical patent/CN115424000A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

一种指针式仪表识别方法、系统、设备及存储介质，包括将待识别图像按设定比例缩放后输入预先训练好的SSD网络中进行检测，得到图像中表盘区域和表盘相对于水平方向的角度；根据表盘相对于水平方向的角度调整表盘区域，并将调整角度后的表盘区域输入到预先训练好的改进Faster R‑CNN网络识别指针转动角度；基于指针转动角度结合量程转换公式得到指针式仪表的读数；其中，SSD网络是基于标记了表盘区域的图片和表盘相对于水平方向的角度对SSD网络进行训练得到；改进Faster R‑CNN网络是基于表盘区域图片和指针转动角度对改进的Faster R‑CNN网络进行训练得到的。根据表盘相对于水平方向的角度调整表盘区域后采用训练好的改进Faster R‑CNN网络识别指针旋转角度，得到指针式仪表的精确读数。

Description

一种指针式仪表识别方法、系统、设备及存储介质
技术领域
本发明涉及指针仪表数据图像处理技术领域，具体涉及一种指针式仪表识别方法、系统、设备及存储介质。
背景技术
当前配电站房内各类电表仍使用指针式仪表，仪表结构简单，使用便捷。若采取人工读数，计算误差大、工作效率低。图像处理及深度学习算法的发展使得仪表识别更加快速与准确，同时能够减少人力的消耗，目前指针仪表数据仍然基于模板匹配等传统算法，在信噪比低的情况下识别精度低，因此本文进行指针式仪表智能识别算法研究。
仪表检测算法分为传统算法与深度学习算法，传统算法大多基于模板匹配，阈值分割指针，对于特征不明显的指针分辨能力较差，由于变电站实际场景复杂多变，现有传统算法场景适应能力差，无法满足实际应用需求；
基于深度学习的目标检测算法根据网络是否提取候选区域分为one-stage(单阶段)和two-stage(双阶段)两大类。前者将目标检测描述为一个“从粗到细”的过程，首先由算法生成若干个候选框，再通过CNN对候选框进行分类，而后者更侧重于算法的“一步完成”，直接回归目标的类别概率和位置坐标。单阶段检测算法则以YOLO系列和SSD算法为代表，2016年提出的SSD算法为一阶网络，检测速度较快，网络实现简单。双阶段检测算法以R-CNN系列为代表，包括Fast R-CNN、Faster R-CNN、Mask R-CNN等。
但是现有的基于深度学习的目标检测算法主要用于目标检测任务，缺乏对特定任务的针对性，也未考虑到拍摄角度引起的仪表图像变形问题，导致无法直接有效的实现指针式仪表的精确读数。
发明内容
为了解决现有的基于深度学习的目标检测算法主要用于目标检测任务，缺乏对特定任务的针对性，也未考虑到拍摄角度引起的仪表图像变形问题，导致无法直接有效的实现指针式仪表的精确读数的问题，本发明提出了一种指针式仪表识别方法，包括：
将待识别图像按设定比例缩放后输入预先训练好的SSD网络中进行检测，得到图像中表盘区域和所述表盘相对于水平方向的角度；
将所述表盘区域根据所述表盘相对于水平方向的角度调整表盘区域，并将调整角度后的表盘区域输入到预先训练好的改进Faster R-CNN网络识别指针旋转角度；
基于所述指针转动角度结合量程转换公式得到指针式仪表的读数；
其中，所述SSD网络是基于标记了表盘区域的图片和表盘相对于水平方向的角度对SSD网络进行训练得到；
所述改进Faster R-CNN网络是基于图片中的表盘区域和所述表盘区域中指针转动角度对改进的Faster R-CNN网络进行训练得到的。
可选的，所述SSD网络的训练包括：
将标记了表盘区域的图片和图片中表盘相对于水平方向的角度输入所述SSD网络中，由所述SSD网络通过设置不同尺寸和数量的先验框对图片中的表盘区域进行检测，得到检测表盘区域和表盘相对于水平方向的角度的检测框。
可选的，所述将待识别图像按设定比例缩放后输入预先训练好的SSD网络中进行检测，得到图像中表盘区域和所述表盘相对于水平方向的角度，包括：
将待识别图像按设定比例缩放后输入预先训练好的SSD网络中，由所述SSD网络的检测框检测出所述待识别图像中的表盘区域，以及所述表盘相对于水平方向的角度。
可选的，所述改进Faster R-CNN网络包括：
以进行特征提取的VGG16网络为基础网络、在提取的特征中引入注意力机制的SE模块，以及对表盘区域中指针进行类别划分和坐标位置回归的区域建议网络。
可选的，所述改进Faster R-CNN网络的训练包括：
获取表盘区域，以及所述表盘区域中指针转动角度；
由所述表盘区域和所述表盘区域中指针转动角度构建样本集；
采用所述样本集中的表盘区域和所述表盘区域中指针转动角度对所述改进Fastee R-CNN网络进行训练得到训练好的改进Fastee R-CNN网络。
可选的，所述将所述表盘区域输入到预先构建的改进Faster R-CNN网络识别指针转动角度，包括：
将所述表盘区域输入到VGG16网络中，提取表盘区域中指针区域特征和指针区域的背景特征；
基于指针区域特征和指针区域的背景特征结合所述指针区域特征和指针区域的背景特征的权重得到更新特征图；
由所述区域建议网络对所述更新特征图中的指针进行类别划分和坐标位置回归，得到所述表盘区域中指针转动角度。
可选的，所述改进Faster R-CNN网络的训练还包括：
采用测试集计算训练好的改进Faster R-CNN网络的mAP值；
基于所述mAP值对所述训练好的改进Faster R-CNN网络进行评价。
可选的，所述改进Faster R-CNN网络的训练还包括：
基于测试集和验证集计算训练好的改进Faster R-CNN网络的测试损失和验证损失；
从所述测试损失中观测所述训练好的改进Faster R-CNN网络是否具有快速收敛的特性；
当所述测试损失和所述验证损失重合且同为不断下降趋于稳定时，所述训练好的改进Faster R-CNN网络没有过拟合。
可选的，所述SSD网络的训练还包括：
基于测试集和验证集计算训练好的SSD网络的测试损失和验证损失；
从所述测试损失中观测所述训练好的SSD网络是否具有快速收敛的特性；
当所述测试损失和所述验证损失重合且同为不断下降趋于稳定时，所述训练好的SSD网络没有过拟合。
再一方面本发明还提供了一种指针式仪表识别系统，包括：
区域检测模块，用于将待识别图像按设定比例缩放后输入预先训练好的SSD网络中进行检测，得到图像中表盘区域和所述表盘相对于水平方向的角度；
角度检测模块，用于将所述表盘区域根据所述表盘相对于水平方向的角度调整表盘区域，并将调整角度后的表盘区域输入到预先训练好的改进Faster R-CNN网络识别指针旋转角度；
度数转换模块，用于基于所述指针转动角度结合量程转换公式得到指针式仪表的读数；
其中，所述SSD网络是基于标记了表盘区域的图片和表盘相对于水平方向的角度对SSD网络进行训练得到；
所述改进Faster R-CNN网络是基于图片中的表盘区域和所述表盘区域中指针转动角度对改进的Faster R-CNN网络进行训练得到的。
可选的，还包括SSD网络训练模块，用于：
将标记了表盘区域的图片和图片中表盘相对于水平方向的角度输入所述SSD网络中，由所述SSD网络通过设置不同尺寸和数量的先验框对图片中的表盘区域进行检测，得到检测表盘区域和表盘相对于水平方向的角度的检测框。
可选的，所述区域检测模块，具体用于：
将待识别图像按设定比例缩放后输入预先训练好的SSD网络中，由所述SSD网络的检测框检测出所述待识别图像中的表盘区域，以及所述表盘相对于水平方向的角度。
可选的，所述改进Faster R-CNN网络构包括：
以进行特征提取的VGG16网络为基础网络、在提取的特征中引入注意力机制的SE模块，以及对表盘区域中指针进行类别划分和坐标位置回归的区域建议网络。
可选的，还包括改进Faster R-CNN网络训练模块，用于：
获取表盘区域，以及所述表盘区域中指针转动角度；
由所述表盘区域和所述表盘区域中指针转动角度构建样本集；
采用所述样本集中的表盘区域和所述表盘区域中指针转动角度对所述改进Fastee R-CNN网络进行训练得到训练好的改进Fastee R-CNN网络。
可选的，所述角度检测模块具体用于：
将所述表盘区域输入到VGG16网络中，提取表盘区域中指针区域特征和指针区域的背景特征；
基于指针区域特征和指针区域的背景特征结合所述指针区域特征和指针区域的背景特征的权重得到更新特征图；
由所述区域建议网络对所述更新特征图中的指针进行类别划分和坐标位置回归，得到所述表盘区域中指针转动角度。
再一方面，本申请还提供了一种计算设备，包括：一个或多个处理器；
处理器，用于执行一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，实现如上述所述的一种指针式仪表识别方法。
再一方面，本申请还提供了一种计算机可读存储介质，其上存有计算机程序，所述计算机程序被执行时，实现如上述所述的一种指针式仪表识别方法。
与现有技术相比，本发明的有益效果为：
本发明提供了一种指针式仪表识别方法，包括将待识别图像按设定比例缩放后输入预先训练好的SSD网络中进行检测，得到图像中表盘区域和所述表盘相对于水平方向的角度；将所述表盘区域根据所述表盘相对于水平方向的角度调整表盘区域，并将调整角度后的表盘区域输入到预先训练好的改进Faster R-CNN网络识别指针旋转角度；基于所述指针转动角度结合量程转换公式得到指针式仪表的读数；其中，所述SSD网络是基于标记了表盘区域的图片和表盘相对于水平方向的角度对SSD网络进行训练得到；所述改进Faster R-CNN网络是基于图片中的表盘区域和所述表盘区域中指针转动角度对改进的Faster R-CNN网络进行训练得到的。本发明考虑到拍摄角度引起的仪表图像变形问题，将所述表盘区域根据表盘相对于水平方向的角度调整表盘区域，并在调整角度后的表盘区域采用训练好的改进Faster R-CNN网络识别指针旋转角度，精确的识别出指针旋转角度，并结合量程转换公式得到指针式仪表的精确读数。
附图说明
图1为本发明的一种指针式仪表识别方法流程图；
图2为本发明的SSD网络结构示意图；
图3为本发明的特征金字塔结构示意图；
图4为本发明的指针识别算法结构示意图；
图5为本发明的特征提取网络结构示意图；
图6为本发明的SE模块示意图；
图7为本发明的区域建议网络示意图；
图8(a)为本发明的P-R曲线示意图；
图8(b)为本发明的训练数据与验证数据损失曲线示意图。
具体实施方式
本发明提出了一种指针式仪表识别方法、系统、设备及存储介质，利用深度学习算法解决传统算法在信噪比低的情况下识别精度低的问题，以分级识别，实现目标检测、定位、修正等一系列操作，最终完成指针式仪表的精确读数。
本发明实现识别精度高的思路是:一级识别采用SSD算法进行仪表区域定位，计算仪表倾斜角度并修正,二级指针定位使用改进Faster R-CNN算法识别指针转动角度并转换量程,融合多个网络特征层并增加注意力机制模块最终实现检测网络的搭建，使用自建的仪表数据集进行网络训练，最后将测试数据集送入训练好的目标检测模型中得到检测结果。
实施例1：
一种指针式仪表识别方法，如图1所示，包括：
步骤1：将待识别图像按设定比例缩放后输入预先训练好的SSD网络中进行检测，得到图像中表盘区域和所述表盘相对于水平方向的角度；
步骤2：将所述表盘区域根据所述表盘相对于水平方向的角度调整表盘区域，并将调整角度后的表盘区域输入到预先训练好的改进Faster R-CNN网络识别指针转动角度；
步骤3：基于所述指针转动角度结合量程转换公式得到指针式仪表的读数；
其中，所述SSD网络是基于标记了表盘区域的图片和表盘相对于水平方向的角度对SSD网络进行训练得到；
所述改进Faster R-CNN网络是基于图片中的表盘区域和所述表盘区域中指针转动角度对改进的Faster R-CNN网络进行训练得到的。
本发明具体实现步骤如下：
在步骤1之前还包括：对SSD网络进行训练：
SSD(Single Shot MultiBox Detector)是基于卷积神经网络的单阶段目标检测算法，其网络结构如图2所示，SSD网络首先将输入原始图像按比例缩放至300*300大小，作为模型的输入。然后采用VGG-16作为主干网络，如图中Through Conv5_3layer表示取原始VGG-16的Conv5_3之前的部分，Extra Feature Layers表示额外的功能层,并将其中的Conv4_3层获取的特征作为第一个特征预测层。接着，通过叠加不同大小的卷积层，来分别获取在不同尺度上的特征，最终可得到分别为38*38*512、19*19*1024、10*10*512、5*5*256、3*3*256、1*1*256的特征预测，这样就构建出图像特征金字塔，如图3所示，其中的predict表示预测，可实现在不同尺度上对目标进行预测，特征层从低到高，其感受野由小到大，所具有的语义信息也更加丰富。在得到不同尺度的特征图后，SSD通过设置不同尺寸和数量的先验框对目标进行检测。浅层特征图感受野较小，主要用来对小尺寸的目标进行检测，因此生成的先验框较小；高层特征图感受野较大，其语义信息更加抽象，主要用来对大尺寸的目标进行检测和对目标进行分类，因此生成的先验框较大。最后，通过非极大值抑制(NMS)对检测结果进行筛选，获得最终的检测框。
训练好的SSD网络可定位指针式仪表盘，该训练好的SSD网络的分类结果为表盘倾斜度数，角度范围为0-90°。
步骤1：将待识别图像按设定比例缩放后输入预先训练好的SSD网络中进行检测，得到图像中表盘区域和所述表盘相对于水平方向的角度，具体包括：
将待识别图像按设定比例缩放后输入预先训练好的SSD网络中，由所述SSD网络的检测框检测出所述待识别图像中的表盘区域，以及所述表盘相对于水平方向的角度。
一级检测识别出表盘区域和表盘相对于水平方向的角度。
在步骤2之前还包括：对改进Faster R-CNN网络的训练，在训练之前对改进FasterR-CNN网络进行介绍：
改进Faster R-CNN网络包括卷积模块、SE模块和区域建议网络(RPN)，下面对这三个部分分别进行介绍：
卷积模块：采用VGG16网络作为特征提取网络，网络层数19层。网络统一使用尺寸大小为3*3的卷积核和尺寸为2*2的池化。在训练过程中使用多尺度的变换进行数据增强，使得模型不易过拟合。在该基础算法上进行多卷积层融合，将网络中深层的特征进行上采样，再与浅层特征进行融合形成多个尺度的特征图。通过对网络多层信息的融合，提升细小指针的检测精确度，网络结构如附图5所示。
SE模块：为进一步提升网络检测性能，本文基于Faster R-CNN算法引入注意力机制模块。类似于人眼的功能，聚焦感兴趣的目标区域。提高指针区域/在网络训练中的权重，尽可能忽略指针周围的背景信息，实现注意力机制的算法融合策略。SE模块结构如附图6所示。注意力机制的两大核心操作是挤压(squeeze)和激励(excitation)。具体来说，挤压是先对输入的特征图进行全局平均池化操作，将大小为W*H*C的特征图压缩为1*1*C的向量，目的是将全局空间信息转换到通道域。激励是进行第一次全连接操作，降维；再使用ReLU激活函数[9]，再进行第二次全连接操作，升维，得到C维的向量，使用Sigmoid激活函数[10]，使得数值归一化，得到每个通道对应的权重，将权重赋值到特征图，更新特征图。
区域建议网络(RPN)：本文基于RPN找出区域建议的目标，然后在进行更加精细的类别划分和坐标位置回归，这种方式被为两阶段检测，因此两阶段检测比一阶段检测更准确。图7中，3*3卷积主要作用是语义转化，可以增加网络复杂程度，增加RPN的拟合能力。feature map表示特征映射，ROIPooling表示池化，Proposal表示建议，Reshape表示重塑，Softmax表示归一化指数函数。1x1卷积用于通道转换，可以转换成任意通道的特征图。例如经过上面支线的1*1卷积后的尺寸为38x50x18，经过第一个reshape将尺寸变为(2，38*50*9)。其中2表示用于二分类判断是否是ROI；判断完后再reshape回38*50*18。经过下面支线的1x1卷积后的尺寸为38*50*36,36等于4*9，其中4表示坐标信息，用于左边回归预测，9指的是9个anchor。3*3卷积后两条支线合并，输出区域建议(坐标)信息。
对改进Faster R-CNN网络的训练包括：
获取表盘区域，以及所述表盘区域中指针转动角度；
由所述表盘区域和所述表盘区域中指针转动角度构建样本集；
采用所述样本集中的表盘区域和所述表盘区域中指针转动角度对所述改进Fastee R-CNN网络进行训练得到训练好的改进Fastee R-CNN网络。
本实施例采用实验数据集共有3500张图片，训练图片：验证图片：测试图片＝8:1:1，其中，有3150张图片用于训练与验证，测试集共有350张。
本实施例选择PyTorch深度学习框架进行算法实现，实验设置参数epoch＝100，batch_size＝4，img_size＝416，lr＝0.00006,为了验证本文算法的有效性，采用构建的指针式仪表检测数据集对上述网络进行迭代训练。
步骤2：将所述表盘区域根据所述表盘相对于水平方向的角度调整表盘区域，并将调整角度后的表盘区域输入到预先训练好的改进Faster R-CNN网络识别指针转动角度，具体包括：
检测到倾斜度数后进行旋转，矫正表盘水平位置，使用二级检测获取指针角度；
将所述调整角度后的表盘区域输入到VGG16网络中，提取表盘区域中指针区域特征和指针区域的背景特征；
基于指针区域特征和指针区域的背景特征结合所述指针区域特征和指针区域的背景特征的权重得到更新特征图；
由所述区域建议网络对所述更新特征图中的指针进行类别划分和坐标位置回归，得到所述表盘区域中指针转动角度。
二级检测获取指针角度：
获取到表盘区域后将检测结果送入二级定位网络，二级指针定位选取Faster R-CNN作为基础网络，融合多层网络，增加注意力机制，可定位指针，网络分类结果为指针旋转度数，角度范围为0-360。求得指针的角度后，再进行量程转换，最终求出指针式仪表的读数，整体算法结构如图4所示。
步骤3：基于所述指针转动角度结合量程转换公式得到指针式仪表的读数，具体包括：
将指针转动角度基于量程转换公式，得到指针式仪表的读数，其中量程转换公式如下所示：
point_angle＝360-(time_angle-point_angle)if 90≥time_angle≥0andtime_angle>point_angle
point_angle＝time_angle-point_angle if 90≥time_angle≥0and time_angle<point_angle
point_angle＝(time_angle+point_angle)-360if 360≥time_angle≥270andtime_angle+point_angle≥360
point_angle＝time_angle-point_angle if 360≥time_angle≥270and time_angle+point_angle<360
其中，time_angle为表盘转动的度数，point_angle为指针度数。所以，
num_result＝(point_angle1-point_angle2)/(num1-num2)·(result_angle-point_angle2)其中，num_result为最终读数，等号右边point_angle为两组阈值的度数，num为两组阈值的真实读数。
实施例2：
下面结合仿真试验对本发明的效果做进一步的说明：
1.实验条件:
本发明的仿真实验是在中央处理器AMD Ryzen 7 3700X 8-Core Processor，显卡：Nvida GeForce RTX 2080Ti，内存：32G的硬件条件和pytorch软件环境下进行的。
2.评价指标:
本文采用mAP(mean Average Precision)作为改进的Faster R-CNN目标检测的评价指标。mAP是各种目标类别AP的平均值，反映模型平均精度均值；AP是PR曲线下的面积，表示该类别的平均精度，PR曲线即Precision-Recall曲线，精确度Precision和召回率Recall的计算公式如下：
Figure BDA0003782797930000101
Figure BDA0003782797930000102
其中，TP表示检测图片中各个类别的正确及从哪儿值；FP表示错误检测值数量；FN表示漏检的物体数。
3.仿真内容与结果分析:
为了验证本文算法的有效性，采用构建的指针式仪表检测数据集对上述网络进行迭代训练。训练迭代次数共100轮，每轮训练模型结果均保存，并进行损失值可视化。模型训练结束后，使用测试集测试，得到基于SSD一级定位和改进型Faser R-CNN二级定位的模型mAP值，如图8(a)所示，precision表示精确度，Recall表示召回率。训练损失与验证损失如图8(b)所示，图中tain_loss表示训练损失，val_loss表示验证损失。通过训练损失我们可以发现我们的模型具有收敛速度快的优势；而在验证损失中我们可以发现最后训练损失与验证损失重合且同为不断下降趋于稳定，说明我们的模型没有过拟合，数据集没有错误数据的问题。采用SSD网络结构进行一级表盘定位，采用改进Faster R-CNN网络识别指针角度并转换量程。为测试本文算法的泛化性能，使用本文算法对数字式指针进行训练与测试，由于单个数字指针分类简单，仅为0-9十分类，检测精度更高。
实验结果表明，与传统模板匹配算法相比，改进的二级仪表识别网络在本文自建仪表数据集上检测效果较好。数字式仪表与指针式仪表的AP值均获得了明显提升。其中，本文算法在数字式仪表数据集上的AP值为92％，相较于传统算法精度提升6％；在指针式仪表数据集上的AP值为87％，相较于传统算法精度提升8.8％。
综上所述，本发明提出指针式仪表二级识别网络，首先获取仪表区域并矫正仪表偏斜位置，再使用改进Faster R-CNN网络识别指针角度，特征融合与注意力机制的引入，使得本发明算法相较于传统算法具有较大精度提升。
实施例3：
基于同一发明构思的本发明还提供了一种指针式仪表识别系统，包括：
区域检测模块，用于将待识别图像按设定比例缩放后输入预先训练好的SSD网络中进行检测，得到图像中表盘区域和所述表盘相对于水平方向的角度；
角度检测模块，用于将所述表盘区域根据所述表盘相对于水平方向的角度调整表盘区域，并将调整角度后的表盘区域输入到预先训练好的改进Faster R-CNN网络识别指针旋转角度；
度数转换模块，用于基于所述指针转动角度结合量程转换公式得到指针式仪表的读数；
其中，所述SSD网络是基于标记了表盘区域的图片和表盘相对于水平方向的角度对SSD网络进行训练得到；
所述改进Faster R-CNN网络是基于图片中的表盘区域和所述表盘区域中指针转动角度对改进的Faster R-CNN网络进行训练得到的。
一种指针式仪表识别系统,还包括SSD网络训练模块，用于：
将标记了表盘区域的图片和图片中表盘相对于水平方向的角度输入所述SSD网络中，由所述SSD网络通过设置不同尺寸和数量的先验框对图片中的表盘区域进行检测，得到检测表盘区域和表盘相对于水平方向的角度的检测框。
所述区域检测模块，具体用于：
将待识别图像按设定比例缩放后输入预先训练好的SSD网络中，由所述SSD网络的检测框检测出所述待识别图像中的表盘区域，以及所述表盘相对于水平方向的角度。
所述改进Faster R-CNN网络构包括：
以进行特征提取的VGG16网络为基础网络、在提取的特征中引入注意力机制的SE模块，以及对表盘区域中指针进行类别划分和坐标位置回归的区域建议网络。
一种指针式仪表识别系统,还包括改进Faster R-CNN网络训练模块，用于：
获取表盘区域，以及所述表盘区域中指针转动角度；
由所述表盘区域和所述表盘区域中指针转动角度构建样本集；
采用所述样本集中的表盘区域和所述表盘区域中指针转动角度对所述改进Fastee R-CNN网络进行训练得到训练好的改进Fastee R-CNN网络。
所述角度检测模块具体用于：
将所述表盘区域输入到VGG16网络中，提取表盘区域中指针区域特征和指针区域的背景特征；
基于指针区域特征和指针区域的背景特征结合所述指针区域特征和指针区域的背景特征的权重得到更新特征图；
由所述区域建议网络对所述更新特征图中的指针进行类别划分和坐标位置回归，得到所述表盘区域中指针转动角度。
实施例4：
基于同一种发明构思，本发明还提供了一种计算机设备，该计算机设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor、DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行计算机存储介质内一条或一条以上指令从而实现相应方法流程或相应功能，以实现上述实施例中一种指针式仪表识别方法的步骤。
实施例5：
基于同一种发明构思，本发明还提供了一种存储介质，具体为计算机可读存储介质(Memory)，所述计算机可读存储介质是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括计算机设备中的内置存储介质，当然也可以包括计算机设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中一种指针式仪表识别方法的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在发明待批的本发明的权利要求范围之内。

Claims (17)

1.一种指针式仪表识别方法，其特征在于，包括：
将待识别图像按设定比例缩放后输入预先训练好的SSD网络中进行检测，得到图像中表盘区域和所述表盘相对于水平方向的角度；
将所述表盘区域根据所述表盘相对于水平方向的角度调整表盘区域，并将调整角度后的表盘区域输入到预先训练好的改进Faster R-CNN网络识别指针转动角度；
基于所述指针转动角度结合量程转换公式得到指针式仪表的读数；
其中，所述SSD网络是基于标记了表盘区域的图片和表盘相对于水平方向的角度对SSD网络进行训练得到；
所述改进Faster R-CNN网络是基于图片中的表盘区域和所述表盘区域中指针转动角度对改进的Faster R-CNN网络进行训练得到的。
2.如权利要求1所述的方法，其特征在于，所述SSD网络的训练包括：
将标记了表盘区域的图片和图片中表盘相对于水平方向的角度输入所述SSD网络中，由所述SSD网络通过设置不同尺寸和数量的先验框对图片中的表盘区域进行检测，得到检测表盘区域和表盘相对于水平方向的角度的检测框。
3.如权利要求2所述的方法，其特征在于，所述将待识别图像按设定比例缩放后输入预先训练好的SSD网络中进行检测，得到图像中表盘区域和所述表盘相对于水平方向的角度，包括：
将待识别图像按设定比例缩放后输入预先训练好的SSD网络中，由所述SSD网络的检测框检测出所述待识别图像中的表盘区域，以及所述表盘相对于水平方向的角度。
4.如权利要求1所述的方法，其特征在于，所述改进Faster R-CNN网络包括：
以进行特征提取的VGG16网络为基础网络、在提取的特征中引入注意力机制的SE模块，以及对表盘区域中指针进行类别划分和坐标位置回归的区域建议网络。
5.如权利要求4所述的方法，其特征在于，所述改进Faster R-CNN网络的训练包括：
获取表盘区域，以及所述表盘区域中指针转动角度；
由所述表盘区域和所述表盘区域中指针转动角度构建样本集；
采用所述样本集中的表盘区域和所述表盘区域中指针转动角度对所述改进Fastee R-CNN网络进行训练得到训练好的改进Fastee R-CNN网络。
6.如权利要求4所述的方法，其特征在于，所述将调整角度后的表盘区域输入到预先训练好的改进Faster R-CNN网络识别指针转动角度，包括：
将所述调整角度后的表盘区域输入到VGG16网络中，提取表盘区域中指针区域特征和指针区域的背景特征；
基于指针区域特征和指针区域的背景特征结合所述指针区域特征和指针区域的背景特征的权重得到更新特征图；
由所述区域建议网络对所述更新特征图中的指针进行类别划分和坐标位置回归，得到所述表盘区域中指针转动角度。
7.如权利要求5所述的方法，其特征在于，所述改进Faster R-CNN网络的训练还包括：
采用测试集计算训练好的改进Faster R-CNN网络的mAP值；
基于所述mAP值对所述训练好的改进Faster R-CNN网络进行评价。
8.如权利要求7所述的方法，其特征在于，所述改进Faster R-CNN网络的训练还包括：
基于测试集和验证集计算训练好的改进Faster R-CNN网络的测试损失和验证损失；
从所述测试损失中观测所述训练好的改进Faster R-CNN网络是否具有快速收敛的特性；
当所述测试损失和所述验证损失重合且同为不断下降趋于稳定时，所述训练好的改进Faster R-CNN网络没有过拟合。
9.如权利要求2所述的方法，其特征在于，所述SSD网络的训练还包括：
基于测试集和验证集计算训练好的SSD网络的测试损失和验证损失；
从所述测试损失中观测所述训练好的SSD网络是否具有快速收敛的特性；
当所述测试损失和所述验证损失重合且同为不断下降趋于稳定时，所述训练好的SSD网络没有过拟合。
10.一种指针式仪表识别系统，其特征在于，包括：
区域检测模块，用于将待识别图像按设定比例缩放后输入预先训练好的SSD网络中进行检测，得到图像中表盘区域和所述表盘相对于水平方向的角度；
角度检测模块，用于将所述表盘区域根据所述表盘相对于水平方向的角度调整表盘区域，并将调整角度后的表盘区域输入到预先训练好的改进Faster R-CNN网络识别指针旋转角度；
度数转换模块，用于基于所述指针转动角度结合量程转换公式得到指针式仪表的读数；
其中，所述SSD网络是基于标记了表盘区域的图片和表盘相对于水平方向的角度对SSD网络进行训练得到；
所述改进Faster R-CNN网络是基于图片中的表盘区域和所述表盘区域中指针转动角度对改进的Faster R-CNN网络进行训练得到的。
11.如权利要求10所述的系统，其特征在于，还包括SSD网络训练模块，用于：
将标记了表盘区域的图片和图片中表盘相对于水平方向的角度输入所述SSD网络中，由所述SSD网络通过设置不同尺寸和数量的先验框对图片中的表盘区域进行检测，得到检测表盘区域和表盘相对于水平方向的角度的检测框。
12.如权利要求11所述的系统，其特征在于，所述区域检测模块，具体用于：
将待识别图像按设定比例缩放后输入预先训练好的SSD网络中，由所述SSD网络的检测框检测出所述待识别图像中的表盘区域，以及所述表盘相对于水平方向的角度。
13.如权利要求10所述的系统，其特征在于，所述改进Faster R-CNN网络构包括：
以进行特征提取的VGG16网络为基础网络、在提取的特征中引入注意力机制的SE模块，以及对表盘区域中指针进行类别划分和坐标位置回归的区域建议网络。
14.如权利要求10所述的系统，其特征在于，还包括改进Faster R-CNN网络训练模块，用于：
获取表盘区域，以及所述表盘区域中指针转动角度；
由所述表盘区域和所述表盘区域中指针转动角度构建样本集；
采用所述样本集中的表盘区域和所述表盘区域中指针转动角度对所述改进Fastee R-CNN网络进行训练得到训练好的改进Fastee R-CNN网络。
15.如权利要求13所述的系统，其特征在于，所述角度检测模块具体用于：
将所述表盘区域输入到VGG16网络中，提取表盘区域中指针区域特征和指针区域的背景特征；
基于指针区域特征和指针区域的背景特征结合所述指针区域特征和指针区域的背景特征的权重得到更新特征图；
由所述区域建议网络对所述更新特征图中的指针进行类别划分和坐标位置回归，得到所述表盘区域中指针转动角度。
16.一种计算机设备，其特征在于，包括：一个或多个处理器；
所述处理器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，实现如权利要求1至9中任一项所述的一种指针式仪表识别方法。
17.一种计算机可读存储介质，其特征在于，其上存有计算机程序，所述计算机程序被执行时，实现如权利要求1至9中任一项所述的一种指针式仪表识别方法。
CN202210934244.1A 2022-08-04 2022-08-04 一种指针式仪表识别方法、系统、设备及存储介质 Pending CN115424000A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210934244.1A CN115424000A (zh) 2022-08-04 2022-08-04 一种指针式仪表识别方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210934244.1A CN115424000A (zh) 2022-08-04 2022-08-04 一种指针式仪表识别方法、系统、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115424000A true CN115424000A (zh) 2022-12-02

Family

ID=84197352

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210934244.1A Pending CN115424000A (zh) 2022-08-04 2022-08-04 一种指针式仪表识别方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115424000A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173720A (zh) * 2023-11-02 2023-12-05 江苏云上电力科技有限公司 适用于智慧能源单元的处理方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173720A (zh) * 2023-11-02 2023-12-05 江苏云上电力科技有限公司 适用于智慧能源单元的处理方法及装置
CN117173720B (zh) * 2023-11-02 2024-02-09 江苏云上电力科技有限公司 适用于智慧能源单元的处理方法及装置

Similar Documents

Publication Publication Date Title
CN111401201B (zh) 一种基于空间金字塔注意力驱动的航拍图像多尺度目标检测方法
CN108898131A (zh) 一种复杂自然场景下的数字仪表识别方法
CN105069423A (zh) 一种人体姿态检测方法及装置
CN112949408B (zh) 一种过鱼通道目标鱼类实时识别方法和系统
CN110969166A (zh) 一种巡检场景下小目标识别方法和系统
CN111008576B (zh) 行人检测及其模型训练、更新方法、设备及可读存储介质
Zhang et al. An efficient lightweight convolutional neural network for industrial surface defect detection
CN112257799A (zh) 一种生活垃圾目标检测的方法、系统及装置
CN112634369A (zh) 空间与或图模型生成方法、装置、电子设备和存储介质
CN111476307A (zh) 一种基于深度领域适应的锂电池表面缺陷检测方法
CN113706579A (zh) 一种基于工厂化养殖的对虾多目标跟踪系统及方法
CN115424000A (zh) 一种指针式仪表识别方法、系统、设备及存储介质
CN111680575A (zh) 一种人类上皮细胞染色分类装置、设备及存储介质
CN114821423A (zh) 基于改进yolov5的火灾检测方法
CN111144462A (zh) 一种雷达信号的未知个体识别方法及装置
CN113780145A (zh) 精子形态检测方法、装置、计算机设备和存储介质
CN113496260A (zh) 基于改进YOLOv3算法的粮库人员不规范作业检测法
CN116433661B (zh) 多任务学习的半导体晶圆检测方法、装置、设备及介质
CN116205918B (zh) 基于图卷积的多模态融合半导体检测方法、装置及介质
CN114782983A (zh) 基于改进特征金字塔和边界损失的道路场景行人检测方法
Tan et al. An application of an improved FCOS algorithm in detection and recognition of industrial instruments
CN112084889A (zh) 一种图像行为识别方法、装置、计算设备及存储介质
CN117635547B (zh) 医用手套外观缺陷检测方法及装置
CN117746066B (zh) 一种扩散模型引导的高速车辆检测集成学习方法和装置
CN111753625B (zh) 一种行人检测方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication