CN112115896B - 仪表盘指针读数预测方法、装置、计算机设备及存储介质 - Google Patents

仪表盘指针读数预测方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN112115896B
CN112115896B CN202011016572.0A CN202011016572A CN112115896B CN 112115896 B CN112115896 B CN 112115896B CN 202011016572 A CN202011016572 A CN 202011016572A CN 112115896 B CN112115896 B CN 112115896B
Authority
CN
China
Prior art keywords
pointer
result
target detection
region segmentation
verified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011016572.0A
Other languages
English (en)
Other versions
CN112115896A (zh
Inventor
胡懋成
王秋阳
郑博超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sunwin Intelligent Co Ltd
Original Assignee
Shenzhen Sunwin Intelligent Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sunwin Intelligent Co Ltd filed Critical Shenzhen Sunwin Intelligent Co Ltd
Priority to CN202011016572.0A priority Critical patent/CN112115896B/zh
Publication of CN112115896A publication Critical patent/CN112115896A/zh
Application granted granted Critical
Publication of CN112115896B publication Critical patent/CN112115896B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及仪表盘指针读数预测方法、装置、计算机设备及存储介质，该方法包括获取仪表图像，并输入至目标检测模型内进行识别，再进行校验，以得到已校验信息；根据目标检测结果及已校验信息对初始图像进行裁剪，以得到高清指针仪表图片；将高清指针仪表图片输入实例分割模型内进行实例分割，以得到指针区域分割结果以及刻度区域分割结果，并进行校验；根据已校验的指针区域分割结果获取指针信息；将已校验的指针区域分割结果输入至目标角度识别网络模型内进行识别，以得到指针指向对应的弧度；获取指针对应的刻度，以得到指针读数结果；反馈指针读数结果至终端，本发明实现精准识别仪表盘指针读数，适用于不同仪表盘及单表单指针或单表多指针。

Description

仪表盘指针读数预测方法、装置、计算机设备及存储介质
技术领域
本发明涉及仪表盘读数方法，更具体地说是指仪表盘指针读数预测方法、装置、计算机设备及存储介质。
背景技术
指针表作为一种廉价且可靠的状态采集设备在电力行业得到广泛应用，无论是室内380V的配电房，还是室外500Kv的变电站，指针表都是人工巡检重点关注的仪表之一，电力行业的环境有其特殊性，电磁辐射、高温等因素都不利于巡检人员的身体健康，以往的人工巡检方式需要淘汰；并且电网高效率智能化的发展趋势也对巡检数据的获得方式提出了新的要求，因此开发自动化智能化的指针表识别方案具有重要的意义。
目前对于仪表盘指针的读数大多采用自动读取的方式，中国专利CN201210043415.8公开了一种用于巡检机器人的类圆形指针式仪表读数方法，主要是针对圆型表盘的指针表，无法适应多种表盘类型并存的现场，很难准确地提取出待识别图像中的表盘边缘。中国专利CN201611257983.2公开了一种仪表刻度识别方法，可配合指针识别算法，利用距离法来获得仪表读数，但是该方法利用形态学特征去做刻度检验，需要人工精细调节多个阈值，且对于不同类型的表，这些阈值都需要重新调节设定，且首末刻度是通过刻度队列中的相对位置来确定的，如果首末刻度的单像素轮廓由于干扰因素未被检测到，那么该方法中的刻度补全机制只能补全位于中间位置的刻度，不能补全位于首尾的刻度。最终的读数就会产生偏移。
现有的仪表盘指针的读数方法普遍对于阴影和反光的抗干扰能力不强。如在首末刻度被阴影、反光干扰的情况下，读数就会产生偏移；又如，在由于阴影反光的干扰，二值化图像的指针区域和其他特征连接在一起时，无法提取出高质量指针边缘图，进而无法选取出符合条件的指针边缘直线。对于非正面朝向仪表的识别容易产生误差，对于颜色和亮度与表盘差异不大，或者很细的指针表，在对待识别图像进行二值化处理之后，指针轮廓有可能丢失或者不容易检测到。
因此，有必要设计一种新的方法，实现精准识别仪表盘指针读数，适用于不同仪表盘以及单表单指针或单表多指针。
发明内容
本发明的目的在于克服现有技术的缺陷，提供仪表盘指针读数预测方法、装置、计算机设备及存储介质。
为实现上述目的，本发明采用以下技术方案：仪表盘指针读数预测方法，包括：
获取仪表图像，以得到初始图像；
将初始图像输入至目标检测模型内进行识别，以得到目标检测结果；
对目标检测结果进行校验，以得到已校验信息；
根据所述目标检测结果及已校验信息对所述初始图像进行裁剪，以得到高清指针仪表图片；
将所述高清指针仪表图片输入实例分割模型内进行实例分割，以得到指针区域分割结果以及刻度区域分割结果；
对指针区域分割结果以及刻度区域分割结果进行校验，以得到已校验的指针区域分割结果以及已校验的刻度区域分割结果；
根据每个已校验的指针区域分割结果获取每个指针信息；
将每个已校验的指针区域分割结果分别与已校验的刻度区域分割结果以白底作为背景合并，以得到每个指针对应的合并图，将每个指针对应的合并图输入至目标角度识别网络模型内进行识别，以得到每个指针指向对应的弧度；
根据每个指针指向对应的弧度以及配置信息获取每个指针对应的刻度，以得到每个指针读数结果；
反馈所述指针读数结果至终端，以在终端显示每个指针读数结果；
其中，所述目标检测模型是通过若干个带有仪表坐标及类别标签的图像作为样本集训练Efficient-Det3网络所得的；
所述实例分割模型是通过若干个带有刻度区域的掩膜、指针区域掩膜、指针掩膜类别标签的图片作为样本集训练Center-Net模型所得的；
所述目标角度识别网络模型是通过若干个带有弧度标签以及已校验的每个指针区域分割结果分别与刻度区域分割结果以白底作为背景合并得到的每个指针对应的合并图指针区域掩膜的图片作为样本集训练OARN模型所得的。
其进一步技术方案为：所述将初始图像输入至目标检测模型内进行识别，以得到目标检测结果，包括：
对初始图像进行等比例缩放，以得到待识别图像；
将所述待识别图像输入至目标检测模型内进行识别，以得到目标检测结果。
其进一步技术方案为：所述对目标检测结果进行校验，以得到已校验信息，包括：
判断目标检测结果的预测指针仪表数量是否等于机柜指针仪表个数；
若目标检测结果的预测指针仪表数量不等于符合机柜指针仪表个数，则微调采样位置，并执行所述获取仪表图像，以得到初始图像；
若目标检测结果的预测指针仪表数量等于符合机柜指针仪表个数，则判断所述目标检测结果所形成的检测框占据初始图像比例是否符合在设定的面积占比阈值范围内；
若所述目标检测结果所形成的检测框占据初始图像比例不符合在设定的面积占比阈值范围内，则微调采样位置，并执行所述获取仪表图像，以得到初始图像；
若所述目标检测结果所形成的检测框占据初始图像比例符合在设定的面积占比阈值范围内，则判断所述目标检测结果所形成的检测框的宽高比例是否在所设定的宽高比例阈值范围内；
若所述目标检测结果所形成的检测框的宽高比例不在所设定的宽高比例阈值范围内，则微调采样位置，并执行所述获取仪表的图像，以得到初始图像；
若所述目标检测结果所形成的检测框的宽高比例在所设定的宽高比例阈值范围内，则判断所述目标检测结果所形成的检测框是否无重叠；
若所述目标检测结果所形成的检测框无重叠，则所述目标检测结果为已校验信息；
若所述目标检测结果所形成的检测框有重叠，则微调采样位置，并执行所述获取仪表的图像，以得到初始图像。
其进一步技术方案为：所述对指针区域分割结果以及刻度区域分割结果进行校验，以得到已校验的指针区域分割结果以及已校验的刻度区域分割结果，包括：
判断所述指针区域分割结果所对应的指针数量是否准确；
若所述指针区域分割结果所对应的指针数量不准确，则调整采样位置，并执行所述获取仪表的图像，以得到初始图像；
若所述指针区域分割结果所对应的指针数量准确，则判断所述刻度区域分割结果是否为空；
若刻度区域分割结果为空，则调整采样位置，并执行所述获取仪表的图像，以得到初始图像；
若刻度区域分割结果不为空，则判断所述刻度区域分割结果对应的面积与表盘的占比是否符合预设占比阈值的要求；
若所述刻度区域分割结果对应的面积与表盘的占比不符合预设占比阈值的要求，则调整采样位置，并执行所述获取仪表的图像，以得到初始图像；
若所述刻度区域分割结果对应的面积与表盘的占比不符合预设占比阈值的要求，则指针区域分割结果为已校验的指针区域分割结果，刻度区域分割结果为已校验的刻度区域分割结果。
其进一步技术方案为：所述根据每个已校验的指针区域分割结果获取每个指针信息，包括：
对已校验的指针区域分割结果通过DBScan算法进行颜色聚类，选取每个指针区域聚类最大簇的中心对应的颜色值，以得到每个指针颜色主色；
计算每个指针区域分割结果的坐标计算指针的相对宽度和长度；
整合每个指针颜色主色、指针的相对宽度和长度，以得到每个指针信息。
其进一步技术方案为：所述将每个已校验的指针区域分割结果分别与已校验的刻度区域分割结果以白底作为背景合并，以得到每个指针对应的合并图，将每个指针对应的合并图输入至目标角度识别网络模型内进行识别，以得到每个指针指向对应的弧度，包括：
将每个已校验的指针区域分割结果分别与已校验的刻度区域分割结果以白底作为背景合并，以得到每个指针对应的合并图，将每个指针对应的合并图调整为224×224大小的图片，输入至目标角度识别网络模型内进行识别，以得到每个指针指向对应的弧度。
本发明还提供了仪表盘指针读数预测装置，包括：
初始图像获取单元，用于获取仪表图像，以得到初始图像；
目标识别单元，用于将初始图像输入至目标检测模型内进行识别，以得到目标检测结果；
第一校验单元，用于对目标检测结果进行校验，以得到已校验信息；
裁剪单元，用于根据所述目标检测结果及已校验信息对所述初始图像进行裁剪，以得到高清指针仪表图片；
实例分割单元，用于将所述高清指针仪表图片输入实例分割模型内进行实例分割，以得到指针区域分割结果以及刻度区域分割结果；
第二校验单元，用于对指针区域分割结果以及刻度区域分割结果进行校验，以得到已校验的指针区域分割结果以及已校验的刻度区域分割结果；
指针信息获取单元，用于根据已校验的每个指针区域分割结果获取每个指针信息；
角度识别单元，用于将每个已校验的指针区域分割结果分别与已校验的刻度区域分割结果以白底作为背景合并，以得到每个指针对应的合并图，将每个指针对应的合并图输入至目标角度识别网络模型内进行识别，以得到每个指针指向对应的弧度；
刻度获取单元，用于根据每个指针指向对应的弧度以及配置信息获取每个指针对应的刻度，以得到每个指针读数结果；
反馈单元，用于反馈所述指针读数结果至终端，以在终端显示每个指针读数结果。
其进一步技术方案为：所述目标识别单元包括：
缩放子单元，用于对初始图像进行等比例缩放，以得到待识别图像；
目标检测子单元，用于将所述待识别图像输入至目标检测模型内进行识别，以得到目标检测结果。
本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述的方法。
本发明与现有技术相比的有益效果是：本发明通过将仪表图像输入至目标检测模型内进行仪表盘的检测，并由此确定仅包括仪表盘的图像位置，并利用实例分割模型确定仪表盘内的指针区域和刻度区域对应的掩膜信息，再采用目标角度识别网络模型识别出每个指针指向对应的弧度，并从配置信息内获取到对应的每个指针读数结果，采用深度学习的技术实现精准识别仪表盘指针读数，适用于不同仪表盘以及单表单指针或单表多指针。
下面结合附图和具体实施例对本发明作进一步描述。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的仪表盘指针读数预测方法的应用场景示意图；
图2为本发明实施例提供的仪表盘指针读数预测方法的流程示意图；
图3为本发明实施例提供的仪表盘指针读数预测装置的示意性框图；
图4为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的仪表盘指针读数预测方法的应用场景示意图。图2为本发明实施例提供的仪表盘指针读数预测方法的示意性流程图。该仪表盘指针读数预测方法应用于服务器中。该服务器与终端进行数据交互，且该服务器与巡检机器人进行数据交互，通过巡检机器人获取仪表的图像，由服务器对图像进行目标检测、实例分割以及角度识别，以此确定指针的读数，发送至终端进行显示。
图2是本发明实施例提供的仪表盘指针读数预测方法的流程示意图。如图2所示，该方法包括以下步骤S110至S200。
S110、获取仪表图像，以得到初始图像。
在本实施例中，初始图像是指有指针仪表的图像。
巡检机器人通过定位将其移动到指定位置，并通过其云台对含有指针仪表的机柜进行彩色图片的采集，采集的过程对于云台的拍摄的焦距以及高度给予设定值。
S120、将初始图像输入至目标检测模型内进行识别，以得到目标检测结果。
在本实施例中，目标检测结果是指仪表所在的坐标信息以及对应的置信度、指针仪表的种类；仪表所在的坐标信息可构成预测框。
在本实施例中，所述目标检测模型是通过若干个带有仪表坐标及类别标签的图像作为样本集训练Efficient-Det3网络所得的。
在一实施例中，上述的步骤S120可包括步骤S121～S122。
S121、对初始图像进行等比例缩放，以得到待识别图像。
在本实施例中，待识别图像是指初始图像的大小缩放至1024与512像素内的图像。
S122、将所述待识别图像输入至目标检测模型内进行识别，以得到目标检测结果。
将收集的初始图像进行等比例缩放，缩放的过程中设定缩放因子即长短边分别为1024与512像素，先将长边缩放在1024像素以内，短边等比例缩放，如果缩放后短边超过512像素则将短边缩放至512像素，长边自适应等比例调整。将缩放后的图片通过Efficient-Det3网络检测网络进行指针仪表位置的识别。
采样后的图片通过目标检测模型可以预测出各种仪器仪表的种类、目标框坐标位置以及其对应的置信度σconfidence_score。需要强调的是这里采用选择置信度σconfidence_score＞0.8作为最终的预测框。
在训练模型的过程中，将若干个带有仪表坐标及类别标签的图像按比例8:1:1，切分成训练集、验证集、测试集。同时对图片也做对应的增广，归一化操作。对不同仪表盘目标检测得出预测结果，通过mAP(平均精度均值，Mean Average Precision)指标进行评估。
S130、对目标检测结果进行校验，以得到已校验信息。
在本实施例中，已校验信息是指已经通过校验的仪表所在位置的坐标信息。
在一实施例中，上述的步骤S130可包括步骤S131～S136。
S131、判断目标检测结果的预测指针仪表数量是否等于机柜指针仪表个数；
S132、若目标检测结果的预测指针仪表数量不等于符合机柜指针仪表个数，则微调采样位置；并执行步骤S110；
S133、若目标检测结果的预测指针仪表数量等于符合机柜指针仪表个数，则判断所述目标检测结果所形成的检测框占据初始图像比例是否符合在设定的面积占比阈值范围内；
若所形成的检测框占据初始图像比例不符合在设定的面积占比阈值范围内，则执行所述步骤S132；
S134、若所述目标检测结果所形成的检测框占据初始图像比例符合在设定的面积占比阈值范围内，则判断所述目标检测结果所形成的检测框的宽高比例是否在所设定的宽高比例阈值范围内；
若所述目标检测结果所形成的检测框的宽高比例不在所设定的宽高比例阈值范围内，则执行所述步骤S132；
S135、若所述目标检测结果所形成的检测框的宽高比例在所设定的宽高比例阈值范围内，则判断所述目标检测结果所形成的检测框是否无重叠；
S136、若所述目标检测结果所形成的检测框无重叠，则所述目标检测结果为已校验信息；
若所述目标检测结果所形成的检测框有重叠，则执行所述步骤S132。
通过目标检测模型可以筛选出指针仪表的预测框，之后结果会进入到自检流程。此过程专门是针对预测结果进行校验以及纠正过程，自检阶段从一下三个方面进行评估：预测指针仪表数量是否符合机柜指针仪表个数；预测指针仪表检测框大小占原图大小比例是否符合高于5％的阈值；预测指针仪表检测框宽高比例ratio是否符合ratiomin＜ratio＜ratiomax这里设定ratiomin＝0.5，ratiomax＝2；预测指针仪表检测框是符合无重叠情况发生。此处所提及的预测指针仪表检测框是指上述的预测框；如果上述条件有一项不符合条件，此时会向巡检机器人发出警告，对其目标进行重采样流程。之后将此指针仪表预测框坐标位置在原图上进行指针仪表裁减，可得出高清指针仪表图片，方便对后期指针识别减少信息损失。
S140、根据所述目标检测结果及已校验信息对所述初始图像进行裁剪，以得到高清指针仪表图片。
在本实施例中，高清指针仪表图片是指仅包括仪表区域的图片。
具体地，根据得到的仪表所在的坐标信息在初始图像上进行裁剪，得到高清指针仪表图片。
S150、将所述高清指针仪表图片输入实例分割模型内进行实例分割，以得到指针区域分割结果以及刻度区域分割结果。
在本实施例中，指针区域分割结果是指每个指针对应的掩膜，刻度区域分割结果是指刻度区域对应的掩膜。
在本实施例中，所述实例分割模型是通过若干个带有刻度区域的掩膜、指针区域掩膜、指针掩膜类别标签的图片作为样本集训练Center-Net模型所得的。
将若干个带有刻度区域的掩膜、指针区域掩膜、指针区域类别标签的图片按比例8:1:1，切分成训练集、验证集、测试集。对图片也做对应的增广，归一化操作。
基于实例分割网络的实例分割模型进行指针区域和刻度区域的分割获取，方便对于指针指向进行精准识别。
S160、对指针区域分割结果以及刻度区域分割结果进行校验，以得到已校验的指针区域分割结果以及已校验的刻度区域分割结果。
在本实施例中，已校验的指针区域分割结果是指已经通过质检的指针区域分割结果；已校验的刻度区域分割结果是指已经通过质检的刻度区域分割结果。
在一实施例中，上述的步骤S160可包括步骤S161～S165。
S161、判断所述指针区域分割结果所对应的指针数量是否准确；
S162、若所述指针区域分割结果所对应的指针数量不准确，则调整采样位置，并执行所述步骤S110；
S163、若所述指针区域分割结果所对应的指针数量准确，则判断所述刻度区域分割结果是否为空；
若刻度区域分割结果为空，则执行所述步骤S162；
S164、若刻度区域分割结果不为空，则判断所述刻度区域分割结果对应的面积与表盘的占比是否符合预设占比阈值的要求；
若所述刻度区域分割结果对应的面积与表盘的占比不符合预设占比阈值的要求，则执行所述步骤S162；
S165、若所述刻度区域分割结果对应的面积与表盘的占比符合预设占比阈值的要求，则指针区域分割结果为已校验的指针区域分割结果，刻度区域分割结果为已校验的刻度区域分割结果。
将上述高清仪表图片作为实例分割模型的输入，将其输入到Center-Net中去。这里分割的类别有两种分别是每个指针区域掩膜以及刻度区域掩膜。识别出结果将进入质检环节去判别检测是否合格，包括判断表盘对应的指针数量与识别的指针数量是否一致；判断表盘的刻度区域分割结果是否有检测出；判断表盘的刻度区域分割结果的面积与表盘面的占比是否大于阈值δmin。如果上述条件有不满足的话，会向巡检机器人发出警告，对其目标进行再次采样。
S170、根据每个已校验的指针区域分割结果获取每个指针信息。
在本实施例中，指针信息是指指针的代表色以及尺寸。
在一实施例中，上述的步骤S170可包括步骤S171～S173。
S171、对已校验的指针区域分割结果通过DBScan算法进行颜色聚类，选取每个指针区域聚类最大簇的中心对应的颜色值，以得到每个指针颜色主色。
在本实施例中，每个指针颜色主色是指每个区域颜色聚类后的最大簇的中心对应的颜色表征值。
S172、计算指针区域分割结果的坐标计算指针的相对宽度和长度；
S173、整合每个指针颜色主色、指针的相对宽度和长度，以得到每个指针信息。
具体地，需要对指针信息进行识别，这是为了在多指针表盘的仪器中能识别出不同指针对应的刻度。这里对指针信息可通过两个方面进行识别分别是指针颜色以及指针长宽。对于指针颜色识别，将已校验的指针区域分割结果进行DBScan(聚类算法，Density-Based Spatial Clustering of Applications with Noise)颜色聚类,通过聚类可以得到不同大小的颜色簇，最后选取最大簇的簇内像素各通道平均值作为此指针代表色。
对于指针相对大小及相对长宽识别，通过计算出指针掩膜像素点个数可得出每个指针对应的面积大小areapointer。但是对于同一个表盘有的指针是细长有的指针是粗短，导致仅有areapointer无法区分出不同指针。因此，基于预测框的坐标可计算出指针的相对长宽，进行指针对比。在计算指针的相对长度的时候，本发明根据下面公式进行计算：
对于指针的响度宽度通过以下公式进行计算：
公式中(yxmin，ymin)以及(yxmax，ymax)分别代表指针预测框的左上点以及右下点坐标；areapointer代表的是指针mask区域面积；widthpointer以及lengthpointer分别表示指针的宽与长。
结合DBSCAN和统计的算法可提炼出指针的颜色及指针的大小进行单表多指针识别。
S180、将每个已校验的指针区域分割结果分别与已校验的刻度区域分割结果以白底作为背景合并，以得到每个指针对应的合并图，将每个指针对应的合并图输入至目标角度识别网络模型内进行识别，以得到每个指针指向对应的弧度。
具体地，为了减少表盘附加信息即额外背景的噪音干扰这里将每个已校验的指针区域分割结果分别与已校验的刻度区域分割结果以白底作为背景合并，以得到每个指针对应的合并图，将每个指针对应的合并图输入至目标角度识别网络模型内进行识别，以得到每个指针指向对应的弧度。
在本实施例中，每个指针指向对应的弧度是每个指指针指向在仪表盘内的弧形角度。
所述目标角度识别网络模型是通过若干个带有弧度标签以及已校验的每个指针区域分割结果分别与刻度区域分割结果以白底作为背景合并得到每个指针对应的合并图作为样本集训练OARN模型所得的。
具体地，将每个已校验的指针区域分割结果分别与已校验的刻度区域分割结果以白底作为背景合并，以得到每个指针对应的合并图，将每个指针对应的合并图调整为224×224大小的图片，输入至目标角度识别网络模型内进行识别，以得到每个指针指向对应的弧度。
通过设置任意2D目标角度识别网络模型称为OARN(目标角度识别网络，objectangle recognition network)。可以应用到指针角度识别中。首先将已校验的指针区域分割结果分别与刻度区域分割结果以白底作为背景合并得到每个指针对应的合并图同时将其调整到224×224大小作为模型的输入。通过此模型的预测可以得到每个指针指向对应的弧度，并且通过弧度来计算出每个指针对应的角度。
具体地，目标角度识别网络模型将调整到224×224的图片进行数据增广，增广的方式有随机裁剪、色彩抖动、高斯噪音干扰；再将增广后的图片通过归一化操作，同时输入的图片进行shuffle作为模型输入。模型选用ResNeXt-101作为模型的backbone得到N纬特征图，将此特征图与[N1]的权重相乘，得到单一数值μ，为了归一化函数sigmoid，得到输出的归一化后的结果ω(0＜ω＜1)；将ω乘上2π得到预测的角度值。
针对此目标角度识别网络模型，利用object angle loss进行损失值loss计算，公式为：参数σ设置为0.01，为了防止梯度消失现象发生，同时α的作用是用来调节指针角度数据分布不均衡的超参。preangle与labelangle分别表示的是预测角度与标注角度，需要强调的是这里的angle使用的是弧度机制。在训练过程中因为大多指针仪表的刻度成扇形非圆形表盘，导致角度数据分布不平衡，在验证集的过程不断调整α，最终设置α为0.7在验证集效果最好。
该目标角度识别网络模型的训练过程：在构建数据集的过程中，数据对不同角度不同光照的图片作为样本。将输入数据进行切分按照8∶1∶1的比例进行切分，分别作为训练集，验证集以及测试集。在训练的过程中初始化学习率为0.01，分别在20、30、50epoch的时候进行学习率衰减，这里衰减的系数γ为0.1。训练的过程中使用Adam方法进行梯度下降从而进行训练模型。
使用测试集通过目标角度识别网络模型进行测试，通过得到的预测角度anglepre与真实标签角度anglelabel进行比较，这里采用多维度对模型效果进行评估，分别是dis1，dis2，dis3，这里dis＝|anglepre-anglelabel|。dis1，dis2，dis3分别表示dis1＜1度的误差，dis1＜2度的误差，dis1＜3度的误差。误差结果内设置为正确，反正则为错误。
采用目标角度识别网络模型进行指针角度识别，无需任何模版即可对不同大小形状的指针进行指针角度识别。
S190、根据每个指针指向对应的弧度以及配置信息获取指针对应的刻度，以得到每个指针读数结果。
在本实施例中，指针读数结果是指仪表盘指针的读数，配置信息是指预设的指针仪表的角度-刻度的配置文件，配置信息内囊括了不同刻度中指针的角度所对应的读数内容。
通过指针仪表的角度-刻度的配置文件可以得出指针对应的刻度。此时自检系统同时也会根据角度-刻度的配置文件校验预测的角度是否符合真实的量程范围内，若不符合则进行重采样再进行角度预测。
S200、反馈所述指针读数结果至终端，以在终端显示每个指针读数结果。
上述的仪表盘指针读数预测方法，通过将仪表图像输入至目标检测模型内进行仪表盘的检测，并由此确定仅包括仪表盘的图像位置，并利用实例分割模型确定仪表盘内的指针区域和刻度区域对应的掩膜信息，再采用目标角度识别网络模型识别出每个指针指向对应的弧度，并从配置信息内获取到对应的每个指针读数结果，采用深度学习的技术实现精准识别仪表盘指针读数，适用于不同仪表盘以及单表单指针或单表多指针。
图3是本发明实施例提供的一种仪表盘指针读数预测装置300的示意性框图。如图3所示，对应于以上仪表盘指针读数预测方法，本发明还提供一种仪表盘指针读数预测装置300。该仪表盘指针读数预测装置300包括用于执行上述仪表盘指针读数预测方法的单元，该装置可以被配置于服务器中。具体地，请参阅图3，该仪表盘指针读数预测装置300包括初始图像获取单元301、目标识别单元302、第一校验单元303、裁剪单元304、实例分割单元305、第二校验单元306、指针信息获取单元307、角度识别单元308、刻度获取单元309以及反馈单元310。
初始图像获取单元301，用于获取仪表图像，以得到初始图像；目标识别单元302，用于将初始图像输入至目标检测模型内进行识别，以得到目标检测结果；第一校验单元303，用于对目标检测结果进行校验，以得到已校验信息；裁剪单元304，用于根据所述目标检测结果及已校验信息对所述初始图像进行裁剪，以得到高清指针仪表图片；实例分割单元305，用于将所述高清指针仪表图片输入实例分割模型内进行实例分割，以得到指针区域分割结果以及刻度区域分割结果；第二校验单元306，用于对指针区域分割结果以及刻度区域分割结果进行校验，以得到已校验的指针区域分割结果以及已校验的刻度区域分割结果；指针信息获取单元307，用于根据每个已校验的指针区域分割结果获取每个指针信息；角度识别单元308，用于将每个已校验的指针区域分割结果分别与已校验的刻度区域分割结果以白底作为背景合并，以得到每个指针对应的合并图，将每个指针对应的合并图输入至目标角度识别网络模型内进行识别，以得到每个指针指向对应的弧度；刻度获取单元309，用于根据每个指针指向对应的弧度以及配置信息获取每个指针对应的刻度，以得到每个指针读数结果；反馈单元310，用于反馈所述指针读数结果至终端，以在终端显示每个指针读数结果。
其中，所述目标检测模型是通过若干个带有仪表坐标及类别标签的图像作为样本集训练Efficient-Det3网络所得的；所述实例分割模型是通过若干个带有刻度区域的掩膜、指针区域掩膜、指针掩膜类别标签的图片作为样本集训练Center-Net模型所得的；所述目标角度识别网络模型是通过若干个带有弧度标签以及已校验的每个指针区域分割结果分别与刻度区域分割结果以白底作为背景合并得到的每个指针对应的合并图作为样本集训练OARN模型所得的。
在一实施例中，所述目标识别单元302包括缩放子单元以及目标检测子单元。
缩放子单元，用于对初始图像进行等比例缩放，以得到待识别图像；目标检测子单元，用于将所述待识别图像输入至目标检测模型内进行识别，以得到目标检测结果。
在一实施例中，所述第一校验单元303包括仪表数量判断子单元、微调子单元、比例判断子单元、宽高比例判断子单元以及重叠判断子单元。
仪表数量判断子单元，用于判断目标检测结果的预测指针仪表数量是否等于机柜指针仪表个数；微调子单元，用于若目标检测结果的预测指针仪表数量不等于符合机柜指针仪表个数，则微调采样位置，并执行所述获取仪表图像，以得到初始图像；比例判断子单元，用于若目标检测结果的预测指针仪表数量等于符合机柜指针仪表个数，则判断所述目标检测结果所形成的检测框占据初始图像比例是否符合在设定的面积占比阈值范围内；若所述目标检测结果所形成的检测框占据初始图像比例不符合在设定的面积占比阈值范围内，则微调采样位置，并执行所述获取仪表图像，以得到初始图像；宽高比例判断子单元，用于若所述目标检测结果所形成的检测框占据初始图像比例符合在设定的面积占比阈值范围内，则判断所述目标检测结果所形成的检测框的宽高比例是否在所设定的宽高比例阈值范围内；若所述目标检测结果所形成的检测框的宽高比例不在所设定的宽高比例阈值范围内，则微调采样位置，并执行所述获取仪表的图像，以得到初始图像；重叠判断子单元，用于若所述目标检测结果所形成的检测框的宽高比例在所设定的宽高比例阈值范围内，则判断所述目标检测结果所形成的检测框是否无重叠；若所述目标检测结果所形成的检测框无重叠，则所述目标检测结果为已校验信息；若所述目标检测结果所形成的检测框有重叠，则微调采样位置，并执行所述获取仪表的图像，以得到初始图像。
在一实施例中，第二校验单元306包括指针数量判断子单元、调整子单元、刻度判断子单元以及面积占比判断子单元。
指针数量判断子单元，用于判断所述指针区域分割结果所对应的指针数量是否准确；调整子单元，用于若所述指针区域分割结果所对应的指针数量不准确，则调整采样位置，并执行所述获取仪表的图像，以得到初始图像；刻度判断子单元，用于若所述指针区域分割结果所对应的指针数量准确，则判断所述刻度区域分割结果是否为空；若刻度区域分割结果为空，则调整采样位置，并执行所述获取仪表的图像，以得到初始图像；面积占比判断子单元，用于若刻度区域分割结果不为空，则判断所述刻度区域分割结果对应的面积与表盘的占比是否符合预设占比阈值的要求；若所述刻度区域分割结果对应的面积与表盘的占比不符合预设占比阈值的要求，则调整采样位置，并执行所述获取仪表的图像，以得到初始图像；若所述刻度区域分割结果对应的面积与表盘的占比不符合预设占比阈值的要求，则指针区域分割结果为已校验的指针区域分割结果，刻度区域分割结果为已校验的刻度区域分割结果。
在一实施例中，所述指针信息获取单元307包括主色获取子单元、相对尺寸计算子单元以及整合子单元。
主色获取子单元，用于对已校验的指针区域分割结果通过DBScan算法进行颜色聚类，选取每个指针区域聚类最大簇的中心对应的颜色值，以得到每个指针颜色主色；相对尺寸计算子单元，用于计算指针区域分割结果的坐标计算指针的相对宽度和长度；整合子单元，用于整合每个指针颜色主色、指针的相对宽度和长度，以得到每个指针信息。
在一实施例中，所述角度识别单元308，用于将每个已校验的指针区域分割结果分别与已校验的刻度区域分割结果以白底作为背景合并，以得到每个指针对应的合并图，将每个指针对应的合并图调整为224×224大小的图片，输入至目标角度识别网络模型内进行识别，以得到每个指针指向对应的弧度。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述仪表盘指针读数预测装置300和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述仪表盘指针读数预测装置300可以实现为一种计算机程序的形式，该计算机程序可以在如图4所示的计算机设备上运行。
请参阅图4，图4是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图4，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种仪表盘指针读数预测方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种仪表盘指针读数预测方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：
获取仪表图像，以得到初始图像；将初始图像输入至目标检测模型内进行识别，以得到目标检测结果；对目标检测结果进行校验，以得到已校验信息；根据所述目标检测结果及已校验信息对所述初始图像进行裁剪，以得到高清指针仪表图片；将所述高清指针仪表图片输入实例分割模型内进行实例分割，以得到指针区域分割结果以及刻度区域分割结果；对指针区域分割结果以及刻度区域分割结果进行校验，以得到已校验的指针区域分割结果以及已校验的刻度区域分割结果；根据每个已校验的指针区域分割结果获取每个指针信息；将每个已校验的指针区域分割结果分别与已校验的刻度区域分割结果以白底作为背景合并，以得到每个指针对应的合并图，将每个指针对应的合并图输入至目标角度识别网络模型内进行识别，以得到每个指针指向对应的弧度；根据每个指针指向对应的弧度以及配置信息获取每个指针对应的刻度，以得到每个指针读数结果；反馈所述指针读数结果至终端，以在终端显示每个指针读数结果。
其中，所述目标检测模型是通过若干个带有仪表坐标及类别标签的图像作为样本集训练Efficient-Det3网络所得的；所述实例分割模型是通过若干个带有刻度区域的掩膜、指针区域掩膜、指针掩膜类别标签的图片作为样本集训练Center-Net模型所得的；所述目标角度识别网络模型是通过若干个带有弧度标签以及已校验的每个指针区域分割结果分别与刻度区域分割结果以白底作为背景合并得到的每个指针对应的合并图指针区域掩膜的图片作为样本集训练OARN模型所得的。
在一实施例中，处理器502在实现所述将初始图像输入至目标检测模型内进行识别，以得到目标检测结果步骤时，具体实现如下步骤：
对初始图像进行等比例缩放，以得到待识别图像；将所述待识别图像输入至目标检测模型内进行识别，以得到目标检测结果。
在一实施例中，处理器502在实现所述对目标检测结果进行校验，以得到已校验信息步骤时，具体实现如下步骤：
判断目标检测结果的预测指针仪表数量是否等于机柜指针仪表个数；若目标检测结果的预测指针仪表数量不等于符合机柜指针仪表个数，则微调采样位置，并执行所述获取仪表图像，以得到初始图像；若目标检测结果的预测指针仪表数量等于符合机柜指针仪表个数，则判断所述目标检测结果所形成的检测框占据初始图像比例是否符合在设定的面积占比阈值范围内；若所述目标检测结果所形成的检测框占据初始图像比例不符合在设定的面积占比阈值范围内，则微调采样位置，并执行所述获取仪表图像，以得到初始图像；若所述目标检测结果所形成的检测框占据初始图像比例符合在设定的面积占比阈值范围内，则判断所述目标检测结果所形成的检测框的宽高比例是否在所设定的宽高比例阈值范围内；若所述目标检测结果所形成的检测框的宽高比例不在所设定的宽高比例阈值范围内，则微调采样位置，并执行所述获取仪表的图像，以得到初始图像；若所述目标检测结果所形成的检测框的宽高比例在所设定的宽高比例阈值范围内，则判断所述目标检测结果所形成的检测框是否无重叠；若所述目标检测结果所形成的检测框无重叠，则所述目标检测结果为已校验信息；若所述目标检测结果所形成的检测框有重叠，则微调采样位置，并执行所述获取仪表的图像，以得到初始图像。
在一实施例中，处理器502在实现所述对指针区域分割结果以及刻度区域分割结果进行校验，以得到已校验的指针区域分割结果以及已校验的刻度区域分割结果步骤时，具体实现如下步骤：
判断所述指针区域分割结果所对应的指针数量是否准确；若所述指针区域分割结果所对应的指针数量不准确，则调整采样位置，并执行所述获取仪表的图像，以得到初始图像；若所述指针区域分割结果所对应的指针数量准确，则判断所述刻度区域分割结果是否为空；若刻度区域分割结果为空，则调整采样位置，并执行所述获取仪表的图像，以得到初始图像；若刻度区域分割结果不为空，则判断所述刻度区域分割结果对应的面积与表盘的占比是否符合预设占比阈值的要求；若所述刻度区域分割结果对应的面积与表盘的占比不符合预设占比阈值的要求，则调整采样位置，并执行所述获取仪表的图像，以得到初始图像；若所述刻度区域分割结果对应的面积与表盘的占比不符合预设占比阈值的要求，则指针区域分割结果为已校验的指针区域分割结果，刻度区域分割结果为已校验的刻度区域分割结果。
在一实施例中，处理器502在实现所述根据每个已校验的指针区域分割结果获取每个指针信息步骤时，具体实现如下步骤：
对已校验的指针区域分割结果通过DBScan算法进行颜色聚类，选取每个指针区域聚类最大簇的中心对应的颜色值，以得到每个指针颜色主色；计算每个指针区域分割结果的坐标计算指针的相对宽度和长度；整合每个指针颜色主色、指针的相对宽度和长度，以得到每个指针信息。
在一实施例中，处理器502在实现所述将将每个已校验的指针区域分割结果分别与已校验的刻度区域分割结果以白底作为背景合并，以得到每个指针对应的合并图，将每个指针对应的合并图输入至目标角度识别网络模型内进行识别，以得到每个指针指向对应的弧度步骤时，具体实现如下步骤：
将每个已校验的指针区域分割结果分别与已校验的刻度区域分割结果以白底作为背景合并，以得到每个指针对应的合并图，将每个指针对应的合并图调整为224×224大小的图片，输入至目标角度识别网络模型内进行识别，以得到每个指针指向对应的弧度。
应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行如下步骤：
获取仪表图像，以得到初始图像；将初始图像输入至目标检测模型内进行识别，以得到目标检测结果；对目标检测结果进行校验，以得到已校验信息；根据所述目标检测结果及已校验信息对所述初始图像进行裁剪，以得到高清指针仪表图片；将所述高清指针仪表图片输入实例分割模型内进行实例分割，以得到指针区域分割结果以及刻度区域分割结果；指针区域分割结果以及刻度区域分割结果进行校验，以得到已校验的指针区域分割结果以及已校验的刻度区域分割结果；根据每个已校验的指针区域分割结果获取每个指针信息；将每个已校验的指针区域分割结果分别与已校验的刻度区域分割结果以白底作为背景合并，以得到每个指针对应的合并图，将每个指针对应的合并图输入至目标角度识别网络模型内进行识别，以得到每个指针指向对应的弧度；根据每个指针指向对应的弧度以及配置信息获取每个指针对应的刻度，以得到每个指针读数结果；反馈所述指针读数结果至终端，以在终端显示每个指针读数结果。
其中，所述目标检测模型是通过若干个带有仪表坐标及类别标签的图像作为样本集训练Efficient-Det3网络所得的；所述实例分割模型是通过若干个带有刻度区域的掩膜、指针区域掩膜、指针掩膜类别标签的图片作为样本集训练Center-Net模型所得的；所述目标角度识别网络模型是通过若干个带有弧度标签以及已校验的每个指针区域分割结果分别与刻度区域分割结果以白底作为背景合并得到的每个指针对应的合并图指针区域掩膜的图片作为样本集训练OARN模型所得的。
在一实施例中，所述处理器在执行所述计算机程序而实现所述将初始图像输入至目标检测模型内进行识别，以得到目标检测结果步骤时，具体实现如下步骤：
对初始图像进行等比例缩放，以得到待识别图像；将所述待识别图像输入至目标检测模型内进行识别，以得到目标检测结果。
在一实施例中，所述处理器在执行所述计算机程序而实现所述对目标检测结果进行校验，以得到已校验信息步骤时，具体实现如下步骤：
判断目标检测结果的预测指针仪表数量是否等于机柜指针仪表个数；若目标检测结果的预测指针仪表数量不等于符合机柜指针仪表个数，则微调采样位置，并执行所述获取仪表图像，以得到初始图像；若目标检测结果的预测指针仪表数量等于符合机柜指针仪表个数，则判断所述目标检测结果所形成的检测框占据初始图像比例是否符合在设定的面积占比阈值范围内；若所述目标检测结果所形成的检测框占据初始图像比例不符合在设定的面积占比阈值范围内，则微调采样位置，并执行所述获取仪表图像，以得到初始图像；若所述目标检测结果所形成的检测框占据初始图像比例符合在设定的面积占比阈值范围内，则判断所述目标检测结果所形成的检测框的宽高比例是否在所设定的宽高比例阈值范围内；若所述目标检测结果所形成的检测框的宽高比例不在所设定的宽高比例阈值范围内，则微调采样位置，并执行所述获取仪表的图像，以得到初始图像；若所述目标检测结果所形成的检测框的宽高比例在所设定的宽高比例阈值范围内，则判断所述目标检测结果所形成的检测框是否无重叠；若所述目标检测结果所形成的检测框无重叠，则所述目标检测结果为已校验信息；若所述目标检测结果所形成的检测框有重叠，则微调采样位置，并执行所述获取仪表的图像，以得到初始图像。
在一实施例中，所述处理器在执行所述计算机程序而实现所述对指针区域分割结果以及刻度区域分割结果进行校验，以得到已校验的指针区域分割结果以及已校验的刻度区域分割结果步骤时，具体实现如下步骤：
判断所述指针区域分割结果所对应的指针数量是否准确；若所述指针区域分割结果所对应的指针数量不准确，则调整采样位置，并执行所述获取仪表的图像，以得到初始图像；若所述指针区域分割结果所对应的指针数量准确，则判断所述刻度区域分割结果是否为空；若刻度区域分割结果为空，则调整采样位置，并执行所述获取仪表的图像，以得到初始图像；若刻度区域分割结果不为空，则判断所述刻度区域分割结果对应的面积与表盘的占比是否符合预设占比阈值的要求；若所述刻度区域分割结果对应的面积与表盘的占比不符合预设占比阈值的要求，则调整采样位置，并执行所述获取仪表的图像，以得到初始图像；若所述刻度区域分割结果对应的面积与表盘的占比不符合预设占比阈值的要求，则指针区域分割结果为已校验的指针区域分割结果，刻度区域分割结果为已校验的刻度区域分割结果。
在一实施例中，所述处理器在执行所述计算机程序而实现所述根据每个已校验的指针区域分割结果获取每个指针信息步骤时，具体实现如下步骤：
对已校验的指针区域分割结果通过DBScan算法进行颜色聚类，选取每个指针区域聚类最大簇的中心对应的颜色值，以得到每个指针颜色主色；计算每个指针区域分割结果的坐标计算指针的相对宽度和长度；整合每个指针颜色主色、指针的相对宽度和长度，以得到每个指针信息。
在一实施例中，所述处理器在执行所述计算机程序而实现所述将每个已校验的指针区域分割结果分别与已校验的刻度区域分割结果以白底作为背景合并，以得到每个指针对应的合并图，将每个指针对应的合并图输入至目标角度识别网络模型内进行识别，以得到每个指针指向对应的弧度步骤时，具体实现如下步骤：
将每个已校验的指针区域分割结果分别与已校验的刻度区域分割结果以白底作为背景合并，以得到每个指针对应的合并图，将每个指针对应的合并图调整为224×224大小的图片，输入至目标角度识别网络模型内进行识别，以得到每个指针指向对应的弧度。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.仪表盘指针读数预测方法，其特征在于，包括：
获取仪表图像，以得到初始图像；
将初始图像输入至目标检测模型内进行识别，以得到目标检测结果；
对目标检测结果进行校验，以得到已校验信息；
根据所述目标检测结果及已校验信息对所述初始图像进行裁剪，以得到高清指针仪表图片；
将所述高清指针仪表图片输入实例分割模型内进行实例分割，以得到指针区域分割结果以及刻度区域分割结果；
对指针区域分割结果以及刻度区域分割结果进行校验，以得到已校验的指针区域分割结果以及已校验的刻度区域分割结果；
根据每个已校验的指针区域分割结果获取每个指针信息；
将每个已校验的指针区域分割结果分别与已校验的刻度区域分割结果以白底作为背景合并，以得到每个指针对应的合并图，将每个指针对应的合并图输入至目标角度识别网络模型内进行识别，以得到每个指针指向对应的弧度；
根据每个指针指向对应的弧度以及配置信息获取每个指针对应的刻度，以得到每个指针读数结果；
反馈所述指针读数结果至终端，以在终端显示每个指针读数结果；
其中，所述目标检测模型是通过若干个带有仪表坐标及类别标签的图像作为样本集训练Efficient-Det3网络所得的；
所述实例分割模型是通过若干个带有刻度区域的掩膜、指针区域掩膜、指针掩膜类别标签的图片作为样本集训练Center-Net模型所得的；
所述目标角度识别网络模型是通过若干个带有弧度标签以及已校验的每个指针区域分割结果分别与刻度区域分割结果以白底作为背景合并得到的每个指针对应的合并图指针区域掩膜的图片作为样本集训练OARN模型所得的。
2.根据权利要求1所述的仪表盘指针读数预测方法，其特征在于，所述将初始图像输入至目标检测模型内进行识别，以得到目标检测结果，包括：
对初始图像进行等比例缩放，以得到待识别图像；
将所述待识别图像输入至目标检测模型内进行识别，以得到目标检测结果。
3.根据权利要求1所述的仪表盘指针读数预测方法，其特征在于，所述对目标检测结果进行校验，以得到已校验信息，包括：
判断目标检测结果的预测指针仪表数量是否等于机柜指针仪表个数；
若目标检测结果的预测指针仪表数量不等于符合机柜指针仪表个数，则微调采样位置，并执行所述获取仪表图像，以得到初始图像；
若目标检测结果的预测指针仪表数量等于符合机柜指针仪表个数，则判断所述目标检测结果所形成的检测框占据初始图像比例是否符合在设定的面积占比阈值范围内；
若所述目标检测结果所形成的检测框占据初始图像比例不符合在设定的面积占比阈值范围内，则微调采样位置，并执行所述获取仪表图像，以得到初始图像；
若所述目标检测结果所形成的检测框占据初始图像比例符合在设定的面积占比阈值范围内，则判断所述目标检测结果所形成的检测框的宽高比例是否在所设定的宽高比例阈值范围内；
若所述目标检测结果所形成的检测框的宽高比例不在所设定的宽高比例阈值范围内，则微调采样位置，并执行所述获取仪表的图像，以得到初始图像；
若所述目标检测结果所形成的检测框的宽高比例在所设定的宽高比例阈值范围内，则判断所述目标检测结果所形成的检测框是否无重叠；
若所述目标检测结果所形成的检测框无重叠，则所述目标检测结果为已校验信息；
若所述目标检测结果所形成的检测框有重叠，则微调采样位置，并执行所述获取仪表的图像，以得到初始图像。
4.根据权利要求1所述的仪表盘指针读数预测方法，其特征在于，所述对指针区域分割结果以及刻度区域分割结果进行校验，以得到已校验的指针区域分割结果以及已校验的刻度区域分割结果，包括：
判断所述指针区域分割结果所对应的指针数量是否准确；
若所述指针区域分割结果所对应的指针数量不准确，则调整采样位置，并执行所述获取仪表的图像，以得到初始图像；
若所述指针区域分割结果所对应的指针数量准确，则判断所述刻度区域分割结果是否为空；
若刻度区域分割结果为空，则调整采样位置，并执行所述获取仪表的图像，以得到初始图像；
若刻度区域分割结果不为空，则判断所述刻度区域分割结果对应的面积与表盘的占比是否符合预设占比阈值的要求；
若所述刻度区域分割结果对应的面积与表盘的占比不符合预设占比阈值的要求，则调整采样位置，并执行所述获取仪表的图像，以得到初始图像；
若所述刻度区域分割结果对应的面积与表盘的占比不符合预设占比阈值的要求，则指针区域分割结果为已校验的指针区域分割结果，刻度区域分割结果为已校验的刻度区域分割结果。
5.根据权利要求1所述的仪表盘指针读数预测方法，其特征在于，所述根据每个已校验的指针区域分割结果获取每个指针信息，包括：
对已校验的指针区域分割结果通过DBScan算法进行颜色聚类，选取每个指针区域聚类最大簇的中心对应的颜色值，以得到每个指针颜色主色；
计算每个指针区域分割结果的坐标计算指针的相对宽度和长度；
整合每个指针颜色主色、指针的相对宽度和长度，以得到每个指针信息。
6.根据权利要求1所述的仪表盘指针读数预测方法，其特征在于，所述将每个已校验的指针区域分割结果分别与已校验的刻度区域分割结果以白底作为背景合并，以得到每个指针对应的合并图，将每个指针对应的合并图输入至目标角度识别网络模型内进行识别，以得到每个指针指向对应的弧度，包括：
将每个已校验的指针区域分割结果分别与已校验的刻度区域分割结果以白底作为背景合并，以得到每个指针对应的合并图，将每个指针对应的合并图调整为224×224大小的图片，输入至目标角度识别网络模型内进行识别，以得到每个指针指向对应的弧度。
7.仪表盘指针读数预测装置，其特征在于，包括：
初始图像获取单元，用于获取仪表图像，以得到初始图像；
目标识别单元，用于将初始图像输入至目标检测模型内进行识别，以得到目标检测结果；
第一校验单元，用于对目标检测结果进行校验，以得到已校验信息；
裁剪单元，用于根据所述目标检测结果及已校验信息对所述初始图像进行裁剪，以得到高清指针仪表图片；
实例分割单元，用于将所述高清指针仪表图片输入实例分割模型内进行实例分割，以得到指针区域分割结果以及刻度区域分割结果；
第二校验单元，用于对指针区域分割结果以及刻度区域分割结果进行校验，以得到已校验的指针区域分割结果以及已校验的刻度区域分割结果；
指针信息获取单元，用于根据已校验的每个指针区域分割结果获取每个指针信息；
角度识别单元，用于将每个已校验的指针区域分割结果分别与已校验的刻度区域分割结果以白底作为背景合并，以得到每个指针对应的合并图，将每个指针对应的合并图输入至目标角度识别网络模型内进行识别，以得到每个指针指向对应的弧度；
刻度获取单元，用于根据每个指针指向对应的弧度以及配置信息获取每个指针对应的刻度，以得到每个指针读数结果；
反馈单元，用于反馈所述指针读数结果至终端，以在终端显示每个指针读数结果。
8.根据权利要求7所述的仪表盘指针读数预测装置，其特征在于，所述目标识别单元包括：
缩放子单元，用于对初始图像进行等比例缩放，以得到待识别图像；
目标检测子单元，用于将所述待识别图像输入至目标检测模型内进行识别，以得到目标检测结果。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的方法。
10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现如权利要求1至6中任一项所述的方法。
CN202011016572.0A 2020-09-24 2020-09-24 仪表盘指针读数预测方法、装置、计算机设备及存储介质 Active CN112115896B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011016572.0A CN112115896B (zh) 2020-09-24 2020-09-24 仪表盘指针读数预测方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011016572.0A CN112115896B (zh) 2020-09-24 2020-09-24 仪表盘指针读数预测方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN112115896A CN112115896A (zh) 2020-12-22
CN112115896B true CN112115896B (zh) 2023-12-22

Family

ID=73801651

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011016572.0A Active CN112115896B (zh) 2020-09-24 2020-09-24 仪表盘指针读数预测方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN112115896B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113487515A (zh) * 2021-07-26 2021-10-08 北京佳讯飞鸿电气股份有限公司 指针式仪表图像的倾斜校正方法及倾斜校正装置
CN116189192B (zh) * 2023-04-24 2023-07-25 东方电子股份有限公司 一种指针式仪表的智能读数识别方法及系统

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003065812A (ja) * 2001-08-21 2003-03-05 National Aerospace Laboratory Of Japan 計器表示の画像情報に基く数値データ化システム
JP2004133560A (ja) * 2002-10-08 2004-04-30 Central Res Inst Of Electric Power Ind アナログメータの自動読み取り方法および自動読み取り装置
CN104298994A (zh) * 2014-02-28 2015-01-21 郑州金惠计算机系统工程有限公司 一种指针式仪表读数识别方法及装置
CN105741307A (zh) * 2016-03-03 2016-07-06 深圳元启智能技术有限公司 一种指针式压力表读数自动识别方法
KR101978602B1 (ko) * 2018-05-25 2019-05-14 안동대학교 산학협력단 아날로그 계기판의 계기침 인식 시스템 및 그 방법
CN109858560A (zh) * 2019-02-18 2019-06-07 广东中粤电力科技有限公司 一种指针式仪表图像识别读数及安全预警方法
CN109993166A (zh) * 2019-04-03 2019-07-09 同济大学 基于刻度查找的指针式仪表读数自动识别方法
CN110232354A (zh) * 2019-06-14 2019-09-13 四川超影科技有限公司 一种指针式仪表通用识别方法
CN110363202A (zh) * 2019-07-23 2019-10-22 深圳中科捷飞科技有限公司 指针式仪表数值读取方法及计算机终端
CN110378225A (zh) * 2019-06-14 2019-10-25 南京泛函智能技术研究院有限公司 指针式仪表自动读数的识别方法及识别装置
JP2019192168A (ja) * 2018-04-27 2019-10-31 株式会社東芝 読取システム、読取方法、プログラム、及び記憶媒体
CN110543878A (zh) * 2019-08-07 2019-12-06 华南理工大学 一种基于神经网络的指针仪表读数识别方法
CN110807355A (zh) * 2019-09-12 2020-02-18 天津大学 一种基于移动机器人的指针仪表检测与读数识别方法
KR102089498B1 (ko) * 2019-09-23 2020-03-19 (주)씨앤에스아이 아날로그 게이지용 측정장치 및 그 동작방법
CN111414934A (zh) * 2020-01-21 2020-07-14 国网浙江省电力有限公司湖州供电公司 一种基于Faster R-CNN和U-Net的指针式仪表读数自动识别方法
CN111507186A (zh) * 2020-03-13 2020-08-07 郑州航空工业管理学院 一种变电站指针式仪表读数识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10825216B2 (en) * 2017-12-07 2020-11-03 Mitutoyo Corporation Apparatus for reading value measured with analog measuring tool

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003065812A (ja) * 2001-08-21 2003-03-05 National Aerospace Laboratory Of Japan 計器表示の画像情報に基く数値データ化システム
JP2004133560A (ja) * 2002-10-08 2004-04-30 Central Res Inst Of Electric Power Ind アナログメータの自動読み取り方法および自動読み取り装置
CN104298994A (zh) * 2014-02-28 2015-01-21 郑州金惠计算机系统工程有限公司 一种指针式仪表读数识别方法及装置
CN105741307A (zh) * 2016-03-03 2016-07-06 深圳元启智能技术有限公司 一种指针式压力表读数自动识别方法
JP2019192168A (ja) * 2018-04-27 2019-10-31 株式会社東芝 読取システム、読取方法、プログラム、及び記憶媒体
KR101978602B1 (ko) * 2018-05-25 2019-05-14 안동대학교 산학협력단 아날로그 계기판의 계기침 인식 시스템 및 그 방법
CN109858560A (zh) * 2019-02-18 2019-06-07 广东中粤电力科技有限公司 一种指针式仪表图像识别读数及安全预警方法
CN109993166A (zh) * 2019-04-03 2019-07-09 同济大学 基于刻度查找的指针式仪表读数自动识别方法
CN110232354A (zh) * 2019-06-14 2019-09-13 四川超影科技有限公司 一种指针式仪表通用识别方法
CN110378225A (zh) * 2019-06-14 2019-10-25 南京泛函智能技术研究院有限公司 指针式仪表自动读数的识别方法及识别装置
CN110363202A (zh) * 2019-07-23 2019-10-22 深圳中科捷飞科技有限公司 指针式仪表数值读取方法及计算机终端
CN110543878A (zh) * 2019-08-07 2019-12-06 华南理工大学 一种基于神经网络的指针仪表读数识别方法
CN110807355A (zh) * 2019-09-12 2020-02-18 天津大学 一种基于移动机器人的指针仪表检测与读数识别方法
KR102089498B1 (ko) * 2019-09-23 2020-03-19 (주)씨앤에스아이 아날로그 게이지용 측정장치 및 그 동작방법
CN111414934A (zh) * 2020-01-21 2020-07-14 国网浙江省电力有限公司湖州供电公司 一种基于Faster R-CNN和U-Net的指针式仪表读数自动识别方法
CN111507186A (zh) * 2020-03-13 2020-08-07 郑州航空工业管理学院 一种变电站指针式仪表读数识别方法

Also Published As

Publication number Publication date
CN112115896A (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
CN112115895B (zh) 指针型仪表读数识别方法、装置、计算机设备及存储介质
CN112818988B (zh) 一种指针式仪表自动识别读数方法及系统
CN110659636B (zh) 基于深度学习的指针式仪表读数识别方法
CN111414934A (zh) 一种基于Faster R-CNN和U-Net的指针式仪表读数自动识别方法
CN112115896B (zh) 仪表盘指针读数预测方法、装置、计算机设备及存储介质
CN112257676B (zh) 一种指针式仪表读数方法、系统以及巡检机器人
CN105091922B (zh) 一种基于虚拟表盘的指针表读数识别方法
CN112115893A (zh) 仪表盘指针读数识别方法、装置、计算机设备及存储介质
CN112115897B (zh) 多指针仪表报警检测方法、装置、计算机设备及存储介质
CN112149667B (zh) 一种基于深度学习的指针式仪表的自动读数的方法
CN102800096B (zh) 一种摄像机参数的鲁棒性估计算法
KR20200100806A (ko) 테스트 결과를 결정하기 위한 캡처된 이미지의 분석
CN111931776A (zh) 一种基于深度学习的双指针仪表读数方法
CN110211178B (zh) 一种利用投影计算的指针式仪表识别方法
CN112115898A (zh) 多指针仪表检测方法、装置、计算机设备及存储介质
CN111598109A (zh) 一种变电站指针仪表读数智能识别方法
CN109727226A (zh) 一种基于机器学习的位置表自动生成方法
CN106017328B (zh) 一种多类型线宽测量方法及装置
CN112418590B (zh) 一种印制电路板元器件检测方法及系统
CN116385440B (zh) 一种弧形刀片视觉检测方法
CN117237747A (zh) 基于人工智能的五金件缺陷分类识别方法
CN114565911B (zh) 一种仪表识读方法、装置、计算机设备和存储介质
CN111199191A (zh) 基于刻度搜索的指针式仪表自动读取方法
CN110007068B (zh) 一种尿液漏滴检测方法
CN114882487A (zh) 一种指针仪表示数读取方法及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant