CN112115897B - 多指针仪表报警检测方法、装置、计算机设备及存储介质 - Google Patents
多指针仪表报警检测方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN112115897B CN112115897B CN202011018606.XA CN202011018606A CN112115897B CN 112115897 B CN112115897 B CN 112115897B CN 202011018606 A CN202011018606 A CN 202011018606A CN 112115897 B CN112115897 B CN 112115897B
- Authority
- CN
- China
- Prior art keywords
- pointer
- information
- alarm
- instrument
- target detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 131
- 238000003860 storage Methods 0.000 title claims abstract description 20
- 230000011218 segmentation Effects 0.000 claims abstract description 62
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000005520 cutting process Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 34
- 238000004590 computer program Methods 0.000 claims description 20
- 238000005070 sampling Methods 0.000 claims description 15
- 238000012795 verification Methods 0.000 claims description 15
- 238000012216 screening Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000012512 characterization method Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000012952 Resampling Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000005065 mining Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/10—Detection; Monitoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/02—Recognising information on displays, dials, clocks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Abstract
本发明涉及多指针仪表报警检测方法、装置、计算机设备及存储介质，该方法包括获取仪表的图像，以得到初始图像；并输入至目标检测模型内进行识别，以得到目标检测结果；对目标检测结果进行校验，对初始图像进行裁剪，以得到高清指针仪表图片；将高清指针仪表图片输入实例分割模型内进行实例分割，以得到不同状态区域分割结果；对不同状态区域分割结果进行主色识别，并根据配置信息划分出状态区域中的安全区域和警报区域；将高清指针仪表图片输入至指针识别模型内进行指针位置识别，以得到识别结果；根据识别结果获取指针信息；检测指针的状态，根据指针的状态生成通知信息。本发明实现准确预测出指针所在区域的安全性，准确率高，支持多指针识别。
Description
技术领域
本发明涉及指针仪表检测方法，更具体地说是指多指针仪表报警检测方法、装置、计算机设备及存储介质。
背景技术
目前生产企业安装的安监计量仪表大部分是机械式指针仪表，在进行安全生产物联网改造的时候，很难直接接入物联网预警系统。现在市场上比较主流的处理方式是摄像直读表的方式，即通过摄像头拍摄仪表盘的照片，然后通过图像识别技术读出仪表指针处显示的数值，根据数值判断是否触发预警事件。但是这种方式的识别率相对较低，而且通用性也较差。
中国专利CN201910294823.2提供了一种基于图像识别的指针式仪表预警方法，该方法是通过将图像转换成二值化图像来检测出所有物体的边缘轮廓得到边缘轮廓图；通过直线检测算法找到轮廓图所有直线；通过约束条件得到仪表指针并判断直线是否在预警区域范围内，但是这种方式对于细指针检测效果较差，仅仅能支持单指针识别，并且在表盘有反光及有阴影的图片效果有很大折扣，准确率不高。
因此，有必要设计一种新的方法，实现准确预测出指针所在区域的安全性，准确率高，支持多指针识别。
发明内容
本发明的目的在于克服现有技术的缺陷，提供多指针仪表报警检测方法、装置、计算机设备及存储介质。
为实现上述目的，本发明采用以下技术方案：多指针仪表报警检测方法，包括：
获取仪表的图像，以得到初始图像；
将初始图像输入至目标检测模型内进行识别，以得到目标检测结果；
对目标检测结果进行校验，以得到已校验信息；
根据所述目标检测结果及已校验信息对所述初始图像进行裁剪，以得到高清指针仪表图片；
将所述高清指针仪表图片输入实例分割模型内进行实例分割，以得到不同状态区域分割结果；
对不同状态区域分割结果进行主色识别，并根据配置信息划分出状态区域中的安全区域和警报区域；
将高清指针仪表图片输入至指针识别模型内进行指针位置识别，以得到识别结果；
根据识别结果获取指针信息；
根据所述指针信息以及警报区域判断指针是否在警报区域内；
若指针在警报区域内，则生成每个指针报警信息，并将报警信息反馈至终端；
其中，所述目标检测模型是通过若干个带有仪表坐标及类别标签的图像作为样本集训练EfficientDet模型所得的；
所述实例分割模型是通过若干个带有不同区域的掩膜以及不同状态区域类别标签的图片作为样本集训练DetectoRS模型所得的；
所述指针识别模型是通过若干个带有指针关键点位置标签的图片作为样本集训练CPN网络所得的。
其进一步技术方案为：所述对目标检测结果进行校验，以得到已校验信息，包括：
判断目标检测结果的置信度是否超过设定置信度阈值；
若目标检测结果的置信度不超过设定置信度阈值，则微调采样位置，并执行所述获取仪表的图像，以得到初始图像；
若目标检测结果的置信度超过设定置信度阈值，则筛选置信度高于设定置信度阈值的目标检测结果，以得到识别对象；
判断所述识别对象中是否存在重叠的内容；
若所述识别对象中存在重叠的内容，则微调采样位置，并执行所述获取仪表的图像，以得到初始图像；
若所述识别对象中不存在重叠的内容，则所述识别对象为已验证信息。
其进一步技术方案为：所述对不同状态区域分割结果进行主色识别，并根据配置信息划分出状态区域中的安全区域和警报区域，包括：
将不同状态区域分割结果转换到HSV颜色空间，以得到不同区域的颜色表征值；
对每个区域通过DBScan算法进行颜色聚类，选取每个区域聚类最大簇的中心对应的颜色值，以得到每个区域颜色主色；
根据配置文件计算预设警报区域主色值与每个状态区域的主色值的欧式距离，并选取最小的欧式距离，以确定安全区域和警报区域。
其进一步技术方案为：所述识别结果包括每个指针原点端的关键点位置信息以及指针终点末梢的关键点位置信息。
其进一步技术方案为：所述根据识别结果获取指针信息，包括：
计算每个指针原点端的关键点以及指针终点末梢的关键点的欧式距离，以得到指针长度；
计算每个指针原点端的关键点以及指针终点末梢的关键点连接线上点的平均像素值，以得到指针颜色信息；
连接所述每个指针原点端的关键点以及指针终点末梢的关键点，以得到指针指向；
整合所述每个指针长度、指针颜色信息以及指针指向，以得到指针信息。
其进一步技术方案为：所述根据所述指针信息以及警报区域判断指针是否在警报区域内，包括：
计算指针指向与所述警报区域以及安全区域的交集，以得到指针状态；
判断所述指针状态结合指针颜色信息是否是落入所述警报区域内；
若所述指针状态结合指针颜色信息是落入所述警报区域内，则所述指针在警报区域内；
若所述指针状态结合指针颜色信息不是落入所述警报区域内，则所述指针不在警报区域内。
本发明还提供了多指针仪表报警检测装置，包括：
初始图像获取单元，用于获取仪表的图像，以得到初始图像；
目标识别单元，用于将初始图像输入至目标检测模型内进行识别，以得到目标检测结果；
校验单元，用于对目标检测结果进行校验，以得到已校验信息；
裁剪单元，用于根据所述目标检测结果及已校验信息对所述初始图像进行裁剪，以得到高清指针仪表图片；
实例分割单元，用于将所述高清指针仪表图片输入实例分割模型内进行实例分割，以得到不同状态区域分割结果；
颜色值计算单元，用于对不同状态区域分割结果进行主色识别，并根据配置信息划分出状态区域中的安全区域和警报区域；
位置识别单元，用于将高清指针仪表图片输入至指针识别模型内进行指针位置识别，以得到识别结果；
指针信息获取单元，用于根据识别结果获取指针信息；
判断单元，用于根据所述指针信息以及警报区域判断指针是否在警报区域内；
信息生成单元，用于若指针在警报区域内，则生成每个指针报警信息，并将报警信息反馈至终端；
其进一步技术方案为：所述校验单元包括：
置信度判断子单元，用于判断目标检测结果的置信度是否超过设定置信度阈值；若目标检测结果的置信度不超过设定置信度阈值，则微调采样位置，并执行所述获取仪表的图像，以得到初始图像；
筛选子单元，用于若目标检测结果的置信度超过设定置信度阈值，则筛选置信度高于设定置信度阈值的目标检测结果，以得到识别对象；
重叠判断子单元，用于判断所述识别对象中是否存在重叠的内容；若所述识别对象中存在重叠的内容，则微调采样位置，并执行所述获取仪表的图像，以得到初始图像；若所述识别对象中不存在重叠的内容，则所述识别对象为已验证信息。
本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述的方法。
本发明与现有技术相比的有益效果是：通过拍摄仪表的图像，并采用目标检测模型进行检测，得到目标检测结果后进行验证，并对验证后的信息传输至实例分割模型进行实例分割后，识别出不同区域，再利用指针识别模型识别指针的位置，并获取指针信息，根据指针信息与不同区域来生成对应的信息，实现准确预测出指针所在区域的安全性，准确率高，采用指针识别模型识别指针的位置可一次识别多个指针，支持多指针识别。
下面结合附图和具体实施例对本发明作进一步描述。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的多指针仪表报警检测方法的应用场景示意图；
图2为本发明实施例提供的多指针仪表报警检测方法的流程示意图；
图3为本发明实施例提供的多指针仪表报警检测方法的子流程示意图；
图4为本发明实施例提供的多指针仪表报警检测方法的子流程示意图；
图5为本发明实施例提供的多指针仪表报警检测方法的子流程示意图；
图6为本发明实施例提供的多指针仪表报警检测方法的子流程示意图；
图7为本发明实施例提供的多指针仪表报警检测装置的示意性框图；
图8为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的多指针仪表报警检测方法的应用场景示意图。图2为本发明实施例提供的多指针仪表报警检测方法的示意性流程图。该多指针仪表报警检测方法应用于服务器中。该服务器与终端进行数据交互，且该服务器与移动机器人进行数据交互，通过移动机器人获取仪表的图像，由服务器对图像进行目标检测且实例分割，再利用CPN(对偶传播神经网络模型，Counter Propagation Network)网络对指针进行位置识别，进而识别指针是落入安全区域还是警报区域，由此生成通知信息，发送至终端进行显示。
图2是本发明实施例提供的多指针仪表报警检测方法的流程示意图。如图2所示，该方法包括以下步骤S110至S200。
S110、获取仪表的图像，以得到初始图像。
在本实施例中，初始图像是指有指针仪表的图像。
移动机器人通过定位将其移动到指定位置，并通过其云台对含有指针仪表的机柜进行彩色图片的采集。
S120、将初始图像输入至目标检测模型内进行识别，以得到目标检测结果。
在本实施例中，目标检测结果是指仪表所在的坐标信息以及对应的置信度、指针仪表的种类；仪表所在的坐标信息可构成预测框。
具体地，所述目标检测模型是通过若干个带有仪表坐标及类别标签的图像作为样本集训练EfficientDet模型所得的。
对于EfficientDet模型的应用框架选取Efficient-D3，具体是从衡量精准语速的角度考虑选取的，目标检测模型的特征提取的基础网络通过EfficinetNet-B3网络，再通过其最后几层的特征层中，抽取含有不同空间及语义信息层，经过BiFPN网络，最后输出预测结果，通过两个不同部分经过各自卷基层分别得出目标框的结果记忆目标框种类结果。
关于EfficientDet模型的损失值Loss含有两个方面，分别是回归损失Lossregression、分类损失Lossclassification。其中分类损失采用了交叉熵损失函数，并且结合了Focal loss，Focal loss的参数α＝0.25，γ＝1.5，Focal loss主要是为了解决one-stage目标检测中正负样本比例严重失衡的问题。该损失函数降低了大量简单负样本在训练中所占的权重，也可理解为一种困难样本挖掘。回归损失则使用了SmoothL1 loss。
具体地，首先对样本集按照8:1:1的比例进行切分，将其切分成训练集、验证集以及测试集。同时对样本集作数据增广操作，这里增广操作包括随机裁减、镜像变化、色彩抖动以及噪音扰动；学习率为0.0001，通过检测验证集mAP如果其不断保持下降，则将学习率下降至0.00001。训练的过程中使用Adam优化器进行梯度下降从而来进行模型训练，对于每批样本集的大小，在训练中选择为4。
对不同指针区域及表盘区域进行识别检测得出预测结果，通过mAP(平均精度均值，Mean Average Precision)指标进行评估，这里mAP＝0.92。
S130、对目标检测结果进行校验，以得到已校验信息。
在本实施例中，已校验信息是指已经通过校验的仪表所在位置的坐标信息。
在一实施例中，请参阅图3，上述的步骤S130可包括步骤S131～S135。
S131、判断目标检测结果的置信度是否超过设定置信度阈值；
S132、若目标检测结果的置信度不超过设定置信度阈值，则微调采样位置，并执行所述步骤S110；
S133、若目标检测结果的置信度超过设定置信度阈值，则筛选置信度高于设定置信度阈值的目标检测结果，以得到识别对象。
在本实施例中，识别对象是指置信度高于0.8的目标检测结果，主要包括仪表所在的坐标信息。
筛选出置信度高于0.8的预测框作为识别对象，如果采样的图像没有预测出的指针仪表结果则将信号传送给移动机器人进行重采样。
S134、判断所述识别对象中是否存在重叠的内容；
若所述识别对象中存在重叠的内容，则执行所述步骤S132；
S135、若所述识别对象中不存在重叠的内容，则所述识别对象为已验证信息。
在本实施例中，重叠的内容是指预测框重叠。如果初始图像中含有重叠的预测目标框，需要通过移动机器人对数据进行再次采样并识别。
若没有检测出指针仪表的位置信息或识别出指针仪表预测框有重合情况，则对移动机器人发出信息，进行重新采样。
S140、根据所述目标检测结果及已校验信息对所述初始图像进行裁剪，以得到高清指针仪表图片。
在本实施例中，高清指针仪表图片是指仅包括仪表区域的图片。
具体地，根据得到的仪表所在的坐标信息在初始图像上进行裁剪，得到高清指针仪表图片。
S150、将所述高清指针仪表图片输入实例分割模型内进行实例分割，以得到不同状态区域分割结果。
在本实施例中，不同状态区域分割结果是指不同区域的掩膜，具体包括安全区域及警报区域的掩膜。
所述实例分割模型是通过若干个带有不同区域的掩膜标签的图片作为样本集训练DetectoRS模型所得的。
具体地，对若干个带有不同区域的掩膜标签的样本集进行增广以及归一化操作后，训练DetectoRS模型，以得到实例分割模型。
DetectoRS模型在特征提取阶段分别提出了两种新的方法，分别是RFP(递归特征金字塔，Recursive Feature Pyramid)以及SAC(可切换的空洞卷积，Switchable AtrousConvolution)。使用RFP能更好的提取出图片语义及空间特征，它将特征金字塔网络的额外反馈连接加入到在自下而上的骨backbone层中；在此基础上同时采用了SAC能让模型更好的选择合适的感受野，方便对不同大小的模型进行目标检测，它以不同的空洞率对特征进行卷积，并使用switch函数合并卷积后的结果，SAC可以实现从标准卷积到Contional卷积的有效转换，而无需更改任何预训练模型。
DetectoRS模型训练过程的损失值loss包含三种分别是回归框损失lossbbox、实例分割掩膜的损失lossmask。这里lossmask则是有lossbbox_classification和lossbboxregression预测框的回归和分类loss构成，lossmask采用二元交叉熵损失函数。通过以下公式计算loss＝lossbbox+lossmask；lossbbox＝lossbbox_classification+αlossbboxregression；α是为了平衡预测框的分类及回归损失函数。
具体地，在训练DetectoRS模型的过程中，将若干个带有不同区域的掩膜标签以及指针掩膜标签的图片作为样本集按比例8:1:1，切分成训练集、验证集、测试集。训练的时候为了平衡数据，每个目标种类选取相同的目标数，同时对图片也做对应的增广以及归一化操作。学习率初始值设置为0.0001，一阶衰减率为0.5。训练的过程中使用Adam优化器进行梯度下降从而来进行模型训练，对于每一批样本的大小，在训练中选择为4。在训练的时候采用早停法early stopping策略，不断打印观察验证集loss，如果其处于收敛状态，则停止训练。对不同指针区域及表盘区域进行识别检测得出预测结果，通过mAP指标进行评估，这里mAP＝0.92。
基于深度学习框架可以准确预测出指针所在区域的安全性，并且结合传统的机器学习算法可以根据表盘颜色区分出表盘的安全区域以及预警区域。
S160、对不同状态区域分割结果进行主色识别，并根据配置信息划分出状态区域中的安全区域和警报区域。
在本实施例中，警报区域是指非安全的区域，安全区域是指安全性满足要求的区域。
在一实施例中，请参阅图4，上述的步骤S160可包括步骤S161～S163。
S161、将不同状态区域分割结果转换到HSV颜色空间，以得到不同区域的颜色表征值。
在本实施例中，不同区域的颜色特征值是指仪表内不同区域的掩膜转换为HSV颜色特征表达所形成数值。
S162、对每个区域通过DBScan算法进行颜色聚类，选取每个区域聚类最大簇的中心对应的颜色值，以得到每个区域颜色主色。
在本实施例中，每个区域颜色主色是指每个区域颜色聚类后的最大簇的中心对应的颜色特征值。
S163、根据HSV颜色配置文件以及每个区域颜色代表值计算欧式距离，并选取最小的欧式距离，以确定警报区域以及安全区域。
将区域分割结果转变到HSV颜色空间，并通过DBScan算法分别对每个区域进行颜色聚类，选取每个区域聚类最大簇的中心作为该区域主色。这里安全区域及警报区域通过HSV颜色配置文件进行定义，区分出每个区域性质是安全区域还是警报区域，通过此配置文件预设的警报区域主色值与识别出区域的主色值计算出欧式距离，选取最小的欧式距离判别出此区域的状态。
S170、将高清指针仪表图片输入至指针识别模型内进行指针位置识别，以得到识别结果。
在本实施例中，识别结果是指指针的位置信息，识别结果包括每个指针原点端的关键点位置信息以及指针终点末梢的关键点位置信息。
具体地，所述指针识别模型是通过若干个带有指针关键点位置标签的图片作为样本集训练CPN网络所得的。
CPN网络是关键点提取网络，CPN网络的特征提取使用的应用框架为BI-FPN框架，同时在训练的时候使用了OHEM(在线困难样本挖掘，online hard example mining)策略，即着重选取比较难检测的关键点进行训练。在损失值计算的时候通过CPN网络生成得到的热图heatmap与ground truth计算损失值，ground truth指的是用于有监督训练的训练集的分类准确性，在推理的过程中，选取相应值大于阈值的关键点作为候选关键点，并选取每个通道相应值最大的关键点作为最终关键点，如果对于某个通道关键点检测没有得出，则需要对样本进行重采样。
S180、根据识别结果获取指针信息。
在本实施例中，指针信息是指指针长度、指针的指向以及指针的颜色。
在一实施例中，请参阅图5，上述的步骤S180可包括步骤S181～S184。
S181、计算每个指针原点端的关键点以及指针终点末梢的关键点的欧式距离，以得到指针长度。
在本实施例中，指针长度是指指针在长度方向上的大小。
S182、计算每个指针原点端的关键点以及指针终点末梢的关键点的连接线上的平均像素值，以得到指针颜色信息。
在本实施例中，指针颜色信息是指指针的颜色，不同的指针的颜色不同。
S183、连接所述每个指针原点端的关键点以及指针终点末梢的关键点，以得到指针指向。
在本实施例中，指针指向是指指针的原点到终点的朝向。
S184、整合所述每个指针长度、指针颜色信息以及指针指向，以得到指针信息。
具体地，分别计算出每个原点端的关键点及终点末梢的关键点的欧式距离，得出每个指针的长度大小，同时通过每个指针的原点端和终点末梢的连接线上的平均像素值得出每一个指针的颜色信息。
S190、根据所述指针信息以及警报区域判断指针是否在警报区域内；。
在一实施例中，请参阅图6，上述的步骤S190可包括步骤S191～S194。
S191、计算指针指向与所述警报区域以及安全区域的交集，以得到指针状态；
在本实施例中，指针状态是指指针是处于警报区域还是安全区域。
S192、判断所述指针状态结合指针颜色信息是否是落入所述警报区域内；
S193、若所述指针状态结合指针颜色信息是落入所述警报区域内，则所述指针在警报区域内；
S194、若所述指针状态结合指针颜色信息不是落入所述警报区域内，则所述指针不在警报区域内。
通过计算指针指向线与表盘安全/警告区域的交集出得出指针仪表的状态。同时根据已经识别出的指针大小颜色信息反馈出不同的识别信息。
在本实施例中，通知信息是指表示指针是处于警报区域还是安全区域以及指针的性质等相关信息。
S200、若指针在警报区域内，则生成每个指针报警信息，并将报警信息反馈至终端；
若指针不在警报区域内，则执行所述步骤S110。
基于指针关键点的指针识别模型识别出指针的关键点，并与区域的掩膜进行指针仪表预警判断，通过判断关键点所在表盘区域的位置，判断出指针仪表的预警或安全状态。通过不同指针的指针原点端的关键点位置信息以及指针终点末梢的关键点位置信息，可识别出不同大小的指针的状态，进行多指针仪表预警。
上述的多指针仪表报警检测方法，通过拍摄仪表的图像，并采用目标检测模型进行检测，得到目标检测结果后进行验证，并对验证后的信息传输至实例分割模型进行实例分割后，识别出不同区域，再利用指针识别模型识别指针的位置，并获取指针信息，根据指针信息与不同区域来生成对应的信息，实现准确预测出指针所在区域的安全性，准确率高，采用指针识别模型识别指针的位置可一次识别多个指针，支持多指针识别。
图7是本发明实施例提供的一种多指针仪表报警检测装置300的示意性框图。如图7所示，对应于以上多指针仪表报警检测方法，本发明还提供一种多指针仪表报警检测装置300。该多指针仪表报警检测装置300包括用于执行上述多指针仪表报警检测方法的单元，该装置可以被配置于服务器中。具体地，请参阅图7，该多指针仪表报警检测装置300包括初始图像获取单元301、目标识别单元302、校验单元303、裁剪单元304、实例分割单元305、颜色值计算单元306、位置识别单元307、指针信息获取单元308、判断单元309以及信息生成单元310。
初始图像获取单元301，用于获取仪表的图像，以得到初始图像；目标识别单元302，用于将初始图像输入至目标检测模型内进行识别，以得到目标检测结果；校验单元303，用于对目标检测结果进行校验，以得到已校验信息；裁剪单元304，用于根据所述已校验信息对所述初始图像进行裁剪，以得到高清指针仪表图片；实例分割单元305，用于将所述高清指针仪表图片输入实例分割模型内进行实例分割，以得到不同状态区域分割结果；颜色值计算单元306，用于对不同状态区域分割结果进行主色识别，并根据配置信息划分出状态区域中的安全区域和警报区域；位置识别单元307，用于将高清指针仪表图片输入至指针识别模型内进行指针位置识别，以得到识别结果；指针信息获取单元308，用于根据识别结果获取指针信息；判断单元309，用于根据所述指针信息以及警报区域判断指针是否在警报区域内；信息生成单元310，用于若指针在警报区域内，则生成每个指针报警信息，并将报警信息反馈至终端。
在一实施例中，所述校验单元303包括置信度判断子单元、筛选子单元以及重叠判断子单元。
置信度判断子单元，用于判断目标检测结果的置信度是否超过设定置信度阈值；若目标检测结果的置信度不超过设定置信度阈值，则微调采样位置，并执行所述获取仪表的图像，以得到初始图像；筛选子单元，用于若目标检测结果的置信度超过设定置信度阈值，则筛选置信度高于设定置信度阈值的目标检测结果，以得到识别对象；重叠判断子单元，用于判断所述识别对象中是否存在重叠的内容；若所述识别对象中存在重叠的内容，则微调采样位置，并执行所述获取仪表的图像，以得到初始图像；若所述识别对象中不存在重叠的内容，则所述识别对象为已验证信息。
在一实施例中，所述颜色值计算单元306包括转换子单元、聚类子单元以及区域确定子单元。
转换子单元，用于将不同状态区域分割结果转换到HSV颜色空间，以得到不同区域的颜色表征值；聚类子单元，用于对每个区域通过DBScan算法进行颜色聚类，选取每个区域聚类最大簇的中心对应的颜色值，以得到每个区域颜色主色；区域确定子单元，用于根据配置文件计算预设警报区域主色值与每个状态区域的主色值的欧式距离，并选取最小的欧式距离，以确定安全区域和警报区域。
在一实施例中，所述指针信息获取单元308包括长度确定子单元、颜色获取子单元、指向获取子单元以及整合子单元。
长度确定子单元，用于计算每个指针原点端的关键点以及指针终点末梢的关键点的欧式距离，以得到指针长度；颜色获取子单元，用于计算每个指针原点端的关键点以及指针终点末梢的关键点的连接线上的平均像素值，以得到指针颜色信息；指向获取子单元，用于连接所述每个指针原点端的关键点以及指针终点末梢的关键点，以得到指针指向；整合子单元，用于整合所述每个指针长度、指针颜色信息以及指针指向，以得到指针信息。
在一实施例中，所述判断单元309包括状态确定子单元以及区域判断子单元。
状态确定子单元，用于计算指针指向与所述警报区域以及安全区域的交集，以得到指针状态；
区域判断子单元，用于判断所述指针状态结合指针颜色信息是否是落入所述警报区域内；若所述指针状态结合指针颜色信息是落入所述警报区域内，则所述指针在警报区域内；若所述指针状态结合指针颜色信息不是落入所述警报区域内，则所述指针不在警报区域内。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述多指针仪表报警检测装置300和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述多指针仪表报警检测装置300可以实现为一种计算机程序的形式，该计算机程序可以在如图8所示的计算机设备上运行。
请参阅图8，图8是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图8，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种多指针仪表报警检测方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种多指针仪表报警检测方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：
获取仪表的图像，以得到初始图像；将初始图像输入至目标检测模型内进行识别，以得到目标检测结果；对目标检测结果进行校验，以得到已校验信息；根据所述目标检测结果及已校验信息对所述初始图像进行裁剪，以得到高清指针仪表图片；将所述高清指针仪表图片输入实例分割模型内进行实例分割，以得到不同状态区域分割结果；对不同状态区域分割结果进行主色识别，并根据配置信息划分出状态区域中的安全区域和警报区域；将高清指针仪表图片输入至指针识别模型内进行指针位置识别，以得到识别结果；根据识别结果获取指针信息；根据所述指针信息以及警报区域判断指针是否在警报区域内；若指针在警报区域内，则生成每个指针报警信息，并将报警信息反馈至终端。
其中，所述目标检测模型是通过若干个带有仪表坐标及类别标签的图像作为样本集训练EfficientDet模型所得的；所述实例分割模型是通过若干个带有不同区域的掩膜以及不同状态区域类别标签的图片作为样本集训练DetectoRS模型所得的；所述指针识别模型是通过若干个带有指针关键点位置标签的图片作为样本集训练CPN网络所得的。
所述识别结果包括每个指针原点端的关键点位置信息以及指针终点末梢的关键点位置信息。
在一实施例中，处理器502在实现所述对目标检测结果进行校验，以得到已校验信息步骤时，具体实现如下步骤：
判断目标检测结果的置信度是否超过设定置信度阈值；若目标检测结果的置信度不超过设定置信度阈值，则微调采样位置，并执行所述获取仪表的图像，以得到初始图像；若目标检测结果的置信度超过设定置信度阈值，则筛选置信度高于设定置信度阈值的目标检测结果，以得到识别对象；判断所述识别对象中是否存在重叠的内容；若所述识别对象中存在重叠的内容，则微调采样位置，并执行所述获取仪表的图像，以得到初始图像；若所述识别对象中不存在重叠的内容，则所述识别对象为已验证信息。
在一实施例中，处理器502在实现所述对不同状态区域分割结果进行主色识别，并根据配置信息划分出状态区域中的安全区域和警报区域步骤时，具体实现如下步骤：
将不同状态区域分割结果转换到HSV颜色空间，以得到不同区域的颜色表征值；对每个区域通过DBScan算法进行颜色聚类，选取每个区域聚类最大簇的中心对应的颜色值，以得到每个区域颜色主色；根据配置文件计算预设警报区域主色值与每个状态区域的主色值的欧式距离，并选取最小的欧式距离，以确定安全区域和警报区域。
在一实施例中，处理器502在实现所述根据识别结果获取指针信息步骤时，具体实现如下步骤：
计算每个指针原点端的关键点以及指针终点末梢的关键点的欧式距离，以得到指针长度；计算每个指针原点端的关键点以及指针终点末梢的关键点的连接线上的平均像素值，以得到指针颜色信息；连接所述指针原点端的关键点以及指针终点末梢的关键点，以得到指针指向；整合所述每个指针长度、指针颜色信息以及指针指向，以得到指针信息。
在一实施例中，处理器502在实现所述根据所述指针信息以及警报区域判断指针是否在警报区域内步骤时具体实现如下步骤：
计算指针指向与所述警报区域以及安全区域的交集，以得到指针状态；判断所述指针状态结合指针颜色信息是否是落入所述警报区域内；若所述指针状态结合指针颜色信息是落入所述警报区域内，则所述指针在警报区域内；若所述指针状态结合指针颜色信息不是落入所述警报区域内，则所述指针不在警报区域内。
应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行如下步骤：
获取仪表的图像，以得到初始图像；将初始图像输入至目标检测模型内进行识别，以得到目标检测结果；对目标检测结果进行校验，以得到已校验信息；根据所述目标检测结果及已校验信息对所述初始图像进行裁剪，以得到高清指针仪表图片；将所述高清指针仪表图片输入实例分割模型内进行实例分割，以得到不同状态区域分割结果；对不同状态区域分割结果进行主色识别，并根据配置信息划分出状态区域中的安全区域和警报区域；将高清指针仪表图片输入至指针识别模型内进行指针位置识别，以得到识别结果；根据识别结果获取指针信息；根据所述指针信息以及警报区域判断指针是否在警报区域内；若指针在警报区域内，则生成每个指针报警信息，并将报警信息反馈至终端；。
其中，所述目标检测模型是通过若干个带有仪表坐标及类别标签的图像作为样本集训练EfficientDet模型所得的；所述实例分割模型是通过若干个带有不同区域的掩膜以及不同状态区域类别标签的图片作为样本集训练DetectoRS模型所得的；所述指针识别模型是通过若干个带有指针关键点位置标签的图片作为样本集训练CPN网络所得的。
所述识别结果包括每个指针原点端的关键点位置信息以及每个指针终点末梢的关键点位置信息。
在一实施例中，所述处理器在执行所述计算机程序而实现所述对目标检测结果进行校验，以得到已校验信息步骤时，具体实现如下步骤：
判断目标检测结果的置信度是否超过设定置信度阈值；若目标检测结果的置信度不超过设定置信度阈值，则微调采样位置，并执行所述获取仪表的图像，以得到初始图像；若目标检测结果的置信度超过设定置信度阈值，则筛选置信度高于设定置信度阈值的目标检测结果，以得到识别对象；判断所述识别对象中是否存在重叠的内容；若所述识别对象中存在重叠的内容，则微调采样位置，并执行所述获取仪表的图像，以得到初始图像；若所述识别对象中不存在重叠的内容，则所述识别对象为已验证信息。
在一实施例中，所述处理器在执行所述计算机程序而实现所述对不同状态区域分割结果进行主色识别，并根据配置信息划分出状态区域中的安全区域和警报区域步骤时，具体实现如下步骤：
将不同状态区域分割结果转换到HSV颜色空间，以得到不同区域的颜色表征值；对每个区域通过DBScan算法进行颜色聚类，选取每个区域聚类最大簇的中心对应的颜色值，以得到每个区域颜色主色；根据配置文件计算预设警报区域主色值与每个状态区域的主色值的欧式距离，并选取最小的欧式距离，以确定安全区域和警报区域。
在一实施例中，所述处理器在执行所述计算机程序而实现所述根据识别结果获取指针信息步骤时，具体实现如下步骤：
计算每个指针原点端的关键点以及指针终点末梢的关键点的欧式距离，以得到指针长度；计算指每个针原点端的关键点以及指针终点末梢的关键点的连接线上的平均像素值，以得到指针颜色信息；连接所述指针原点端的关键点以及指针终点末梢的关键点，以得到指针指向；整合所述每个指针长度、指针颜色信息以及指针指向，以得到指针信息。
在一实施例中，所述处理器在执行所述计算机程序而实现所述根据所述指针信息以及警报区域判断指针是否在警报区域内步骤时，具体实现如下步骤：
计算指针指向与所述警报区域以及安全区域的交集，以得到指针状态；判断所述指针状态结合指针颜色信息是否是落入所述警报区域内；若所述指针状态结合指针颜色信息是落入所述警报区域内，则所述指针在警报区域内；若所述指针状态结合指针颜色信息不是落入所述警报区域内，则所述指针不在警报区域内。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.多指针仪表报警检测方法，其特征在于，包括：
获取仪表的图像，以得到初始图像；
将初始图像输入至目标检测模型内进行识别，以得到目标检测结果；
对目标检测结果进行校验，以得到已校验信息；
根据所述目标检测结果及已校验信息对所述初始图像进行裁剪，以得到高清指针仪表图片；
将所述高清指针仪表图片输入实例分割模型内进行实例分割，以得到不同状态区域分割结果；
对不同状态区域分割结果进行主色识别，并根据配置信息划分出状态区域中的安全区域和警报区域；
将高清指针仪表图片输入至指针识别模型内进行指针位置识别，以得到识别结果；
根据识别结果获取指针信息；
根据所述指针信息以及警报区域判断指针是否在警报区域内；
若指针在警报区域内，则生成每个指针报警信息，并将报警信息反馈至终端；
其中，所述目标检测模型是通过若干个带有仪表坐标及类别标签的图像作为样本集训练EfficientDet模型所得的；
所述实例分割模型是通过若干个带有不同区域的掩膜以及不同状态区域类别标签的图片作为样本集训练DetectoRS模型所得的；
所述指针识别模型是通过若干个带有指针关键点位置标签的图片作为样本集训练CPN网络所得的。
2.根据权利要求1所述的多指针仪表报警检测方法，其特征在于，所述对目标检测结果进行校验，以得到已校验信息，包括：
判断目标检测结果的置信度是否超过设定置信度阈值；
若目标检测结果的置信度不超过设定置信度阈值，则微调采样位置，并执行所述获取仪表的图像，以得到初始图像；
若目标检测结果的置信度超过设定置信度阈值，则筛选置信度高于设定置信度阈值的目标检测结果，以得到识别对象；
判断所述识别对象中是否存在重叠的内容；
若所述识别对象中存在重叠的内容，则微调采样位置，并执行所述获取仪表的图像，以得到初始图像；
若所述识别对象中不存在重叠的内容，则所述识别对象为已验证信息。
3.根据权利要求1所述的多指针仪表报警检测方法，其特征在于，所述对不同状态区域分割结果进行主色识别，并根据配置信息划分出状态区域中的安全区域和警报区域，包括：
将不同状态区域分割结果转换到HSV颜色空间，以得到不同区域的颜色表征值；
对每个区域通过DBScan算法进行颜色聚类，选取每个区域聚类最大簇的中心对应的颜色值，以得到每个区域颜色主色；
根据配置文件计算预设警报区域主色值与每个状态区域的主色值的欧式距离，并选取最小的欧式距离，以确定安全区域和警报区域。
4.根据权利要求1所述的多指针仪表报警检测方法，其特征在于，所述识别结果包括每个指针原点端的关键点位置信息以及指针终点末梢的关键点位置信息。
5.根据权利要求4所述的多指针仪表报警检测方法，其特征在于，所述根据识别结果获取指针信息，包括：
计算每个指针原点端的关键点以及指针终点末梢的关键点的欧式距离，以得到指针长度；
计算每个指针原点端的关键点以及指针终点末梢的关键点连接线上点的平均像素值，以得到指针颜色信息；
连接所述每个指针原点端的关键点以及指针终点末梢的关键点，以得到指针指向；
整合所述每个指针长度、指针颜色信息以及指针指向，以得到指针信息。
6.根据权利要求5所述的多指针仪表报警检测方法，其特征在于，所述根据所述指针信息以及警报区域判断指针是否在警报区域内，包括：
计算指针指向与所述警报区域以及安全区域的交集，以得到指针状态；
判断所述指针状态结合指针颜色信息是否是落入所述警报区域内；
若所述指针状态结合指针颜色信息是落入所述警报区域内，则所述指针在警报区域内；
若所述指针状态结合指针颜色信息不是落入所述警报区域内，则所述指针不在警报区域内。
7.多指针仪表报警检测装置，其特征在于，包括：
初始图像获取单元，用于获取仪表的图像，以得到初始图像；
目标识别单元，用于将初始图像输入至目标检测模型内进行识别，以得到目标检测结果；
校验单元，用于对目标检测结果进行校验，以得到已校验信息；
裁剪单元，用于根据所述目标检测结果及已校验信息对所述初始图像进行裁剪，以得到高清指针仪表图片；
实例分割单元，用于将所述高清指针仪表图片输入实例分割模型内进行实例分割，以得到不同状态区域分割结果；
颜色值计算单元，用于对不同状态区域分割结果进行主色识别，并根据配置信息划分出状态区域中的安全区域和警报区域；
位置识别单元，用于将高清指针仪表图片输入至指针识别模型内进行指针位置识别，以得到识别结果；
指针信息获取单元，用于根据识别结果获取指针信息；
判断单元，用于根据所述指针信息以及警报区域判断指针是否在警报区域内；
信息生成单元，用于若指针在警报区域内，则生成每个指针报警信息，并将报警信息反馈至终端。
8.根据权利要求7所述的多指针仪表报警检测装置，其特征在于，所述校验单元包括：
置信度判断子单元，用于判断目标检测结果的置信度是否超过设定置信度阈值；若目标检测结果的置信度不超过设定置信度阈值，则微调采样位置，并执行所述获取仪表的图像，以得到初始图像；
筛选子单元，用于若目标检测结果的置信度超过设定置信度阈值，则筛选置信度高于设定置信度阈值的目标检测结果，以得到识别对象；
重叠判断子单元，用于判断所述识别对象中是否存在重叠的内容；若所述识别对象中存在重叠的内容，则微调采样位置，并执行所述获取仪表的图像，以得到初始图像；若所述识别对象中不存在重叠的内容，则所述识别对象为已验证信息。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的方法。
10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现如权利要求1至6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011018606.XA CN112115897B (zh) | 2020-09-24 | 2020-09-24 | 多指针仪表报警检测方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011018606.XA CN112115897B (zh) | 2020-09-24 | 2020-09-24 | 多指针仪表报警检测方法、装置、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112115897A CN112115897A (zh) | 2020-12-22 |
| CN112115897B true CN112115897B (zh) | 2023-12-22 |
Family
ID=73800748
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011018606.XA Active CN112115897B (zh) | 2020-09-24 | 2020-09-24 | 多指针仪表报警检测方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112115897B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112560983B (zh) * | 2020-12-24 | 2023-09-08 | 济南信通达电气科技有限公司 | 一种仪表识别方法及装置 |
| CN113280829A (zh) * | 2021-06-24 | 2021-08-20 | 广东盈峰智能环卫科技有限公司 | 基于鱼眼视觉和毫米波雷达数据的目标检测方法及装置 |
| CN113256624A (zh) * | 2021-06-29 | 2021-08-13 | 中移(上海)信息通信科技有限公司 | 连铸圆坯缺陷检测方法、装置、电子设备及可读存储介质 |
| CN113469167A (zh) * | 2021-07-21 | 2021-10-01 | 浙江大华技术股份有限公司 | 仪表读数识别方法、装置、设备及存储介质 |
| CN116523845B (zh) * | 2023-04-10 | 2023-11-07 | 江苏濠汉信息技术有限公司 | 一种基于电缆隧道的缺陷检测方法和系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002056387A (ja) * | 2000-08-07 | 2002-02-20 | Toko Electric Corp | 状態表示器の認識処理装置および認識処理方法 |
| JP3799408B1 (ja) * | 2005-10-18 | 2006-07-19 | 国立大学法人山口大学 | 画像処理装置および画像処理方法 |
| CN202281625U (zh) * | 2011-09-05 | 2012-06-20 | 陈力祯 | 指针式计量表的区间辨识装置 |
| CN106339707A (zh) * | 2016-08-19 | 2017-01-18 | 亿嘉和科技股份有限公司 | 一种基于对称性特征的仪表指针图像识别方法 |
| KR101978602B1 (ko) * | 2018-05-25 | 2019-05-14 | 안동대학교 산학협력단 | 아날로그 계기판의 계기침 인식 시스템 및 그 방법 |
| CN109948469A (zh) * | 2019-03-01 | 2019-06-28 | 吉林大学 | 基于深度学习的巡检机器人仪表自动检测识别方法 |
| CN110059610A (zh) * | 2018-12-25 | 2019-07-26 | 苏州百卓网络技术有限公司 | 一种基于图像识别的指针式仪表预警方法 |
| CN110909772A (zh) * | 2019-11-06 | 2020-03-24 | 华中科技大学 | 一种高精度实时多尺度表盘指针检测方法和系统 |
| CN111414934A (zh) * | 2020-01-21 | 2020-07-14 | 国网浙江省电力有限公司湖州供电公司 | 一种基于Faster R-CNN和U-Net的指针式仪表读数自动识别方法 |
| CN111639647A (zh) * | 2020-05-22 | 2020-09-08 | 深圳市赛为智能股份有限公司 | 指示灯状态识别方法、装置、计算机设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107590498B (zh) * | 2017-09-27 | 2020-09-01 | 哈尔滨工业大学 | 一种基于字符分割级联二分类器的自适应汽车仪表检测方法 |
-
2020
- 2020-09-24 CN CN202011018606.XA patent/CN112115897B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002056387A (ja) * | 2000-08-07 | 2002-02-20 | Toko Electric Corp | 状態表示器の認識処理装置および認識処理方法 |
| JP3799408B1 (ja) * | 2005-10-18 | 2006-07-19 | 国立大学法人山口大学 | 画像処理装置および画像処理方法 |
| CN202281625U (zh) * | 2011-09-05 | 2012-06-20 | 陈力祯 | 指针式计量表的区间辨识装置 |
| CN106339707A (zh) * | 2016-08-19 | 2017-01-18 | 亿嘉和科技股份有限公司 | 一种基于对称性特征的仪表指针图像识别方法 |
| KR101978602B1 (ko) * | 2018-05-25 | 2019-05-14 | 안동대학교 산학협력단 | 아날로그 계기판의 계기침 인식 시스템 및 그 방법 |
| CN110059610A (zh) * | 2018-12-25 | 2019-07-26 | 苏州百卓网络技术有限公司 | 一种基于图像识别的指针式仪表预警方法 |
| CN109948469A (zh) * | 2019-03-01 | 2019-06-28 | 吉林大学 | 基于深度学习的巡检机器人仪表自动检测识别方法 |
| CN110909772A (zh) * | 2019-11-06 | 2020-03-24 | 华中科技大学 | 一种高精度实时多尺度表盘指针检测方法和系统 |
| CN111414934A (zh) * | 2020-01-21 | 2020-07-14 | 国网浙江省电力有限公司湖州供电公司 | 一种基于Faster R-CNN和U-Net的指针式仪表读数自动识别方法 |
| CN111639647A (zh) * | 2020-05-22 | 2020-09-08 | 深圳市赛为智能股份有限公司 | 指示灯状态识别方法、装置、计算机设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 基于Faster R-CNN和U-Net的变电站指针式仪表读数自动识别方法;万吉林;王慧芳;管敏渊;沈建良;吴国强;高奥;杨斌;;电网技术(第08期);全文 * |
| 电力变压器温度表指针位置识别研究;孙凤杰;安田江;范杰清;杨春萍;徐征;;中国电机工程学报(第07期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112115897A (zh) | 2020-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112115897B (zh) | 多指针仪表报警检测方法、装置、计算机设备及存储介质 | |
| CN112115898A (zh) | 多指针仪表检测方法、装置、计算机设备及存储介质 | |
| CN112115895B (zh) | 指针型仪表读数识别方法、装置、计算机设备及存储介质 | |
| JP2020035097A (ja) | 画像識別装置、画像識別方法及び画像識別プログラム | |
| US10860901B2 (en) | Detection system, information processing apparatus, evaluation method, and program | |
| JP6584250B2 (ja) | 画像分類方法、分類器の構成方法および画像分類装置 | |
| CN109993222B (zh) | 数据异常检测系统及方法 | |
| JP2020085583A (ja) | 検査装置及び検査方法 | |
| Berk et al. | Reliability assessment of safety-critical sensor information: Does one need a reference truth? | |
| CN113763348A (zh) | 图像质量确定方法、装置、电子设备及存储介质 | |
| CN110298410A (zh) | 基于深度学习的低对比度图像中弱目标检测方法及装置 | |
| CN113780277A (zh) | 目标检测模型的训练方法、装置、电子设备及存储介质 | |
| CN117372424B (zh) | 一种缺陷检测方法、装置、设备及存储介质 | |
| CN113723467A (zh) | 用于缺陷检测的样本收集方法、装置和设备 | |
| CN113065593A (zh) | 模型训练方法、装置、计算机设备和存储介质 | |
| CN115761842A (zh) | 一种人脸底库自动更新方法、装置 | |
| CN112115896B (zh) | 仪表盘指针读数预测方法、装置、计算机设备及存储介质 | |
| US20200166497A1 (en) | Analysis apparatus, stratum age estimation apparatus, analysis method, stratum age estimation method, and program | |
| US11244443B2 (en) | Examination apparatus, examination method, recording medium storing an examination program, learning apparatus, learning method, and recording medium storing a learning program | |
| CN112308010B (zh) | 一种基于yolo-v3算法的船只遮挡检测方法及装置 | |
| WO2022183019A1 (en) | Methods for mitigation of algorithmic bias discrimination, proxy discrimination and disparate impact | |
| KR20220111214A (ko) | 인공지능 기반 제품 결함 검사 방법, 장치 및 컴퓨터 프로그램 | |
| CN114240929A (zh) | 一种色差检测方法及装置 | |
| CN114564759B (zh) | 一种分布式数据的检测方法及系统 | |
| CN112765011B (zh) | 质控状态判定方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |