CN116844147A - 一种基于深度学习的指针式仪表识别和异常警报方法 - Google Patents
一种基于深度学习的指针式仪表识别和异常警报方法 Download PDFInfo
- Publication number
- CN116844147A CN116844147A CN202310841100.6A CN202310841100A CN116844147A CN 116844147 A CN116844147 A CN 116844147A CN 202310841100 A CN202310841100 A CN 202310841100A CN 116844147 A CN116844147 A CN 116844147A
- Authority
- CN
- China
- Prior art keywords
- pointer
- instrument
- image
- pointer instrument
- scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000013135 deep learning Methods 0.000 title claims abstract description 13
- 230000002159 abnormal effect Effects 0.000 title abstract description 9
- 238000001514 detection method Methods 0.000 claims abstract description 40
- 230000009466 transformation Effects 0.000 claims abstract description 38
- 230000008569 process Effects 0.000 claims abstract description 21
- 230000005856 abnormality Effects 0.000 claims abstract description 14
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 11
- 238000009776 industrial production Methods 0.000 claims abstract description 10
- 238000012937 correction Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 17
- 230000011218 segmentation Effects 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000003702 image correction Methods 0.000 claims description 5
- 230000000877 morphologic effect Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 238000011426 transformation method Methods 0.000 claims description 3
- 238000009432 framing Methods 0.000 claims description 2
- 239000007788 liquid Substances 0.000 claims 1
- 238000012544 monitoring process Methods 0.000 abstract description 3
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000012805 post-processing Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 239000002253 acid Substances 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000010310 metallurgical process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/02—Recognising information on displays, dials, clocks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于深度学习的指针式仪表识别和异常警报方法，属于计算机视觉研究领域。本发明以流程工业生产为背景，通过改进后的YOLOv5s目标检测模型框出流程工业生产中指针式仪表图像的仪表所在位置；利用仿射变换和透视变换校正图像倾斜、旋转；利用ESPNetv2语义分割模型从图像中分割出刻度盘和指针关键信息；利用Hough变换拟合指针所在直线，同时利用轮廓跟踪，找到最小、最大刻度值和有效范围，依据线性比例关系计算出仪表读数；当指针式仪表读数超出预定范围或与数显数据不一致时，发出异常警报。本发明是基于典型流程工业监控指针式仪表异常所提出的解决方案，检测效率高，设备成本低，读数准确、迅速，具有十分广泛的应用价值。
Description
技术领域
本发明涉及一种基于深度学习的指针式仪表识别和异常警报方法，属于计算机视觉技术领域。
背景技术
面向有色金属行业的典型流程工业中，制酸工序和冶金工序装置运行环境具有超高温、高真空的特点。在生产过程中，各种传感器数据都需要测量，比如压力、温度和液位等。由于指针式仪表具有成本低、抗干扰能力强以及方便部署等特性，因此成为大部分流程工业生产中测量数据的首选。而在一些制酸工序和冶金工序等恶劣环境中，大部分是通过安装摄像头来观测指针式仪表数据，因此需要安排人员时刻关注视频当中仪表的变化，以防突发状况的发生。显然这样会增加人力成本，因此指针式仪表识别技术非常具有应用价值。
现有技术CN111160337A公开了一种对获取的包含表盘的目标区域的图像进行预处理；从经过预处理的目标区域的图像中提取表盘图像；从所述表盘图像中确定指针位置、最小刻度线位置和最大刻度线位置；根据所述指针位置、最小刻度线位置和最大刻度线位置计算指针式仪表的读数。
现有的大多数指针式仪表识别方法都是基于图像处理的方法，主要是针对所得到的指针式仪表图像进行预处理，一般通过去除噪音、增加对比度等操作来实现。通过图像处理技术检测指针在仪表盘上的位置，例如通过边缘检测、霍夫变换等方法检测仪表盘和指针的位置。然而基于图像处理方法的检测准确度受到背景复杂性的影响，尤其是流程工业中大部分仪表都是在室外环境中拍摄的，因此摄像头的安装角度、位置、光线强度以及与指针式仪表水平角度都将会直接影响检测的准确度。因此这类方法的实用范围狭窄，受设备安装环境影响较大，且大部分指针式仪表识别方法都没有与具体的实用场景相结合。
发明内容
本发明提供了一种基于深度学习的指针式仪表识别和异常警报方法，用于监控流程工业当中关键指针式仪表数据异常等状况，从而降低人力资源成本，同时提升生产过程的安全系数。
本发明的技术方案是：一种基于深度学习的指针式仪表识别和异常警报方法，具体步骤如下：
S101：依据流程工业生产当中的指针式仪表图像数据，构建相应指针式仪表图像数据集，并将其输入到改进后的YOLOv5s目标检测模型当中训练；
S102：依据流程工业生产当中的指针式仪表刻度盘和指针数据，构建相应指针式仪表刻度盘和指针数据集，并将其输入到ESPNetv2语义分割模型当中训练，以分割指针式仪表盘的刻度盘和指针区域；
S103：利用S101中训练好改进后的YOLOv5s目标检测模型对待识别的指针式仪表图像进行特征提取，检测出指针式仪表所在位置，框出仅含有指针式仪表的图像；
S104：指针式仪表图像校正：利用仿射变换对仅含有指针式仪表的图像进行旋转校正，旋转校正完成后，通过透视变换，对其进行倾斜校正；
S105：利用S102中训练好的ESPNetv2语义分割模型，分割出指针式仪表刻度盘、指针区域；
S106：利用Hough变换拟合指针所在直线，将指针式仪表刻度盘、指针中的几何图形转化为参数集合，统计出刻度标记中心的位置，即表盘旋转中心的位置，应用轮廓跟踪，找到最小刻度点，最大刻度点和有效值范围，按线性比例关系算出指针式仪表读数；
S107：基于S106所获得的指针式仪表读数结果与相应流程工业中传感器的数显数据进行比较，若两者之间有偏差或超出了预定设置的参数范围，则发出警报提示指针式仪表异常存在安全隐患。
进一步地，S101中，所述改进后的YOLOv5s目标检测模型：
YOLOv5s作为目标检测网络是YOLOv5系列中深度最小，特征图的宽度最小的网络。拥有检测速度快、检测精度高、模型轻量的优点,所以选择在YOLOv5s模型上针对指针式仪表识别的特点来改进模型，加强检测效果。
Wise-IoU是一种改进的IoU损失函数，旨在更好地训练目标检测模型，特别是在存在小目标和类别不平衡情况下。传统的IoU损失函数只关注目标和预测框之间的重叠部分，而Wise-IoU考虑了目标和预测框之间的全部区域，通过引入一个权重系数来平衡不同的区域。将Wise_IoU添加到YOLOv5s目标检测模型当中,以提高目标检测的性能。
Wise_IoU损失函数公式如下：
LossWise_＝RWise_LossIoU(2)
其中，x、y表示锚框的中心坐标，xgt、ygt表示目标框的中心坐标，Wg、Hg是最小的封闭框的宽和高，*表示将Wg、Hg从计算图中分离出来，RWise_表示放大普通质量锚框的参数，LossIoU表示IoU的损失函数，LossWise_表示改进后的的损失函数。
修改后的目标检测损失函数如下：
其中，S表示特征图的大小，B表示每个网格预测的边界框数，为置信度权重，/>为第i个网格的第j个边界框，/>为真实边界框，/>为该网格中未被选中的边界框，pos表示正样本集合。
进一步地，S104中，所述指针式仪表图像校正：
指针式仪表旋转校正：通过检测获得与中心对称线对称的关于初始尺度和最大尺度的一对关键点的位置信息后，将两点连接起来计算两点连接线与水平方向的夹角，在获得旋转角度后，选择图像中心点作为旋转中心，对仪器进行旋转校正。仿射变换的原理是将图像从二维平面线性变换到新的二维平面，其图形之间的相对位置关系不发生变化，其仿射变换公式如下：
其中θ为所需旋转角度，xori和yori为目标检测得到的关键点对应的横坐标和纵坐标，x1st和t1st为旋转后所得到的关键点对应的横坐标和纵坐标。
指针式仪表倾斜校正：使用透视变换来校正仪器的倾斜。与仿射变换相比，透视变换可以将椭圆表盘变换为圆形表盘。透视变换的原理是将二维图像投影到三维平面上，再将其变换成新的二维平面。在转换过程中，需要提前获取转换前四个关键点的位置信息和转换后四个关键点的位置信息。通过旋转修正得到变换前四个关键点的位置信息；变换后的四个关键点的位置信息是通过提前采集仪器的标准照片，得到四个关键点对应的水平坐标和垂直坐标点的标准照片，从而获得四个关键点的位置信息，其透视变化公式如下：
其中Tm为变换矩阵，m为变换矩阵中各行列元素，x2nd、y2nd和z分别表示投影到三维空间的坐标信息。x3rd和y3rd为通过透视变换后对应图片关键点的横坐标和纵坐标。
进一步地，所述ESPNetv2语义分割模型：
ESPNetv2是一种高效的卷积神经网络架构，专门用于语义分割任务，可以在不牺牲准确性的情况下，显著减少模型大小和计算复杂度。ESPNetv2的核心是EESP的模块组成，即深度可分离空洞卷积的极高效空间金字塔。首先获取到的仅含有指针式仪表图像作为分割模型的输入，通过Gconv-1：1*1的分组卷积将高维输入特征映射到低维空间，然后使用步长为2的不同空洞率的DDConv-3：3*3深度可分离空洞卷积并行特征学习，每个分支不同空洞率元能够从一个大的有效接受野中学习表征，同时为了消除由于空洞卷积引起的伪影，使用分层特征融合(HFF)方法融合特征映射，为防止随着下采样产生的信息丢失，添加一条连接输入图像的快捷路径，该路径使用多个步长为2的Avg.Pool：3*3的池化操作来使其空间大小与模块输出的特征图一致，然后使用两个conv-1：1*1卷积来提取特征并调整维度，最后进行相加，多个EESP单元构成ESPNetv2网络，从而分割出指针式仪表刻度盘、指针区域。
具体来说，收集足够的流程工业生产中的指针式仪表盘图片，并对图片进行标注，将刻度盘区域、指针区域和背景区域分别标记出来。将标注好的图片和标注信息转换成ESPnetv2所需的格式，使用ESPnetv2提供的数据转换工具，将图片和标注信息转换成模型所需的.npz格式。使用ESPnetv2提供的训练脚本，对转换后的数据集进行训练，以得到一个能够准确地分割出刻度区域、指针区域的语义分割模型。在训练模型之前，需要根据具体的数据集和应用场景来确定模型的结构和参数。将训练好的模型应用到指针式仪表盘图片上，可以使用ESPnetv2提供的推理脚本，将指针式仪表盘图片输入到模型中，得到分割后的刻度盘区域、指针区域的图像。对分割后的图像进行后处理，去除噪声和不必要的区域，并将刻度区域和指针区域分离出来。可以使用一些图像处理工具和算法，如形态学操作、阈值分割等，来实现后处理过程。
进一步地，S106中，所述指针式仪表读数：
首先采用形态学方法对仪器图像进行细化，然后应用Hough变换方法，进行直线检测，将图像中的几何图形转化为参数集合。根据以上结果，统计出刻度标记中心的位置应用轮廓边缘跟踪，找到初始刻度点/>最大刻度点/>和有效范围(θinitial,θmax)。其指针式仪表读数计算公式如下：
其中θinitial为初始刻度角，θmax为最大刻度角，σinitial为仪表的初始读数值，σmax为最大读数值，检测到的指针线角度θmeas，指示读数为按线性比例关系可算出指针式仪表读数。
进一步地，S107的具体步骤是：
首先确定需要监测的数据，例如温度、压力、液位等，以及指针的工作范围，即指针应该在什么范围内正常工作。为了保证系统的灵敏度和准确性，根据实际情况设置报警阈值。当指针的位置超出预设的阈值范围时，设置好的警报系统会自动触发报警。同时与相应流程工业中传感器的数字数据进行比较，若两者之间有偏差且偏差较大则会触发警报并提示指针式仪表异常。
本发明的有益效果是：本发明与现有技术相比，主要解决了在工业生产中尤其是流程工业中指针式仪表读数困难、准确度不高和数据异常监控问题，从而能够降低人力资源成本，进一步提高效益。
附图说明
图1是本发明总流程图；
图2是改进后的YOLOv5s目标检测模型图；
图3是ESPNetv2语义分割模型图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例1：如图1所示，一种基于深度学习的指针式仪表识别方法和异常警报系统，具有自动准确识别指针式仪表的指针数据功能，同时指针式仪表存在异常时发出警报，所述方法的具体步骤如下：
具体地，首先根据收集到的大量流程工业生产当中指针式仪表图像，构建指针式仪表图像数据集。YOLOv5s作为目标检测模型网络是YOLOv5系列中深度最小，特征图的宽度最小的网络。拥有检测速度快、检测精度高、模型轻量的优点,所以选择在YOLOv5s模型上针对指针式仪表识别的特点来改进模型,加强检测效果。
Wise-IoU是一种改进的IoU损失函数，旨在更好地训练目标检测模型，特别是在存在小目标和类别不平衡情况下。传统的IoU损失函数只关注目标和预测框之间的重叠部分，而Wise-IoU考虑了目标和预测框之间的全部区域，通过引入一个权重系数来平衡不同的区域。将Wise_IoU添加到YOLOv5s目标检测模型当中,以提高目标检测的性能。
Wise_IoU损失函数公式如下：
LossWise_＝RWise_LossIoU(2)
其中，x、y表示锚框的中心坐标，xgt、ygt表示目标框的中心坐标，Wg、Hg是最小的封闭框的宽和高，*表示将Wg、Hg从计算图中分离出来，RWise_表示放大普通质量锚框的参数，LossIoU表示IoU的损失函数，Losswise_表示改进后的的损失函数。
修改后的目标检测损失函数如下：
其中，S表示特征图的大小，B表示每个网格预测的边界框数，为置信度权重，/>为第i个网格的第j个边界框，/>为真实边界框，/>为该网格中未被选中的边界框，pos表示正样本集合。
具体地，如图2所示，首先将原始的指针式仪表图像输入到改进后的YOLOv5s目标检测模型中，经过骨干网络当中多次的Conv卷积操作、C3模块以及SPPF快速空间金字塔池化来提取待检测指针式仪表图像的特征，之后经过特征增强网络将最后一层特征以及中间层特征进行自上而下的融合，接着又进行了自下而上的特征融合，从而利用到高层的语义信息和低层的细节信息，最后将中间层的特征图以及最后层的特征图输入到detect中进行检测，从而检测出指针式仪表所区域。
所获取的仪表图像存在倾斜和旋转问题。选择初始尺度和最大尺度两个点作为关键点，利用仿射变换进行旋转校正。旋转校正完成后，通过计算得到新仪器图像的两对尺度关键点位置信息，并将新关键点信息用于视角变换，完全倾斜校正。
具体地，指针式仪表图像校正：
指针式仪表旋转校正：通过检测获得与中心对称线对称的关于初始尺度和最大尺度的一对关键点的位置信息后，将两点连接起来计算两点连接线与水平方向的夹角，在获得旋转角度后，选择图像中心点作为旋转中心，对仪器进行旋转校正。仿射变换的原理是将图像从二维平面线性变换到新的二维平面，其图形之间的相对位置关系不发生变化，其仿射变换公式如下：
其中θ为所需旋转角度，xori和yori为目标检测得到的关键点对应的横坐标和纵坐标，c1st和y1st为旋转后所得到的关键点对应的横坐标和纵坐标。
具体地，指针式仪表倾斜校正：
使用透视变换来校正仪器的倾斜。与仿射变换相比，透视变换可以将椭圆表盘变换为圆形表盘。透视变换的原理是将二维图像投影到三维平面上，再将其变换成新的二维平面。在转换过程中，需要提前获取转换前四个关键点的位置信息和转换后四个关键点的位置信息。通过旋转修正得到变换前四个关键点的位置信息；变换后的四个关键点的位置信息是通过提前采集仪器的标准照片，得到四个关键点对应的水平坐标和垂直坐标点的标准照片，从而获得四个关键点的位置信息，其透视变化公式如下：
其中Tm为变换矩阵，m为变换矩阵中各行列元素，x2nd、y2nd和z分别表示投影到三维空间的坐标信息。x3rd和y3rd为通过透视变换后对应图片关键点的横坐标和纵坐标。
具体地，依据指针式仪表刻度盘和指针数据，构建指针式仪表刻度盘和指针数据集。ESPNetv2是一种高效的卷积神经网络架构，专门用于语义分割任务，可以在不牺牲准确性的情况下，显著减少模型大小和计算复杂度。ESPNetv2的核心是EESP的模块组成，如图3所示，即深度可分离空洞卷积的极高效空间金字塔。首先获取到的指针式仪表图像作为分割模型的输入，通过Gconv-1：1*1的分组卷积将高维输入特征映射到低维空间，然后使用步长为2的不同空洞率的DDConv-3：3*3深度可分离空洞卷积并行特征学习，每个分支不同空洞率元能够从一个大的有效接受野中学习表征，同时为了消除由于空洞卷积引起的伪影，使用分层特征融合(HFF)方法融合特征映射，为防止随着下采样产生的信息丢失，添加一条连接输入图像的快捷路径，该路径使用多个步长为2的Avg.Pool：3*3的池化操作来使其空间大小与模块输出的特征图一致，然后使用两个conv-1：1*1卷积来提取特征并调整维度，最后进行相加，多个EESP单元构成ESPNetv2网络，从而分割出指针式仪表刻度盘、指针区域。
具体的，收集足够的流程工业生产中的指针式仪表盘图片，并对图片进行标注，将刻度区域、指针区域和背景区域分别标记出来。将标注好的图片和标注信息转换成ESPnetv2所需的格式，可以使用ESPnetv2提供的数据转换工具，如make_seg_dataset.py脚本，将图片和标注信息转换成模型所需的.npz格式。使用ESPnetv2提供的训练脚本，如train_seg.py脚本，对转换后的数据集进行训练，以得到一个能够准确地分割出刻度区域、指针区域的语义分割模型。在训练模型之前，需要根据具体的数据集和应用场景来确定模型的结构和参数。将训练好的模型应用到指针式仪表盘图片上，可以使用ESPnetv2提供的推理脚本，如infer_seg.py脚本，将指针式仪表盘图片输入到模型中，得到分割后的刻度区域、指针区域的图像。对分割后的图像进行后处理，去除噪声和不必要的区域，并将刻度区域和指针区域分离出来。可以使用一些图像处理工具和算法，如形态学操作、阈值分割等，来实现后处理过程。
利用Hough变换拟合指针所在直线，将图像中的几何图形转化为参数集合。根据以上结果，统计出刻度标记中心的位置，即表盘旋转中心的位置。应用轮廓边缘跟踪，找到最小刻度点，最大刻度点和有效范围，按线性比例关系可算出仪表读数。
具体地，首先采用形态学方法对仪器图像进行细化，然后应用Hough变换方法，进行直线检测，将图像中的几何图形转化为参数集合。根据以上结果，统计出刻度标记中心的位置应用轮廓边缘跟踪，找到初始刻度点/>最大刻度点/>和有效范围(θinitial,θmax)。其指针式仪表读数计算公式如下：
其中θinitial为初始刻度角，θmax为最大刻度角，σinitial为仪表的初始读数值，σmax为最大读数值，检测到的指针线角度θmeas，指示读数为按线性比例关系可算出指针式仪表读数。
指针式仪表异常警报：
具体地，确定需要监测的数据，例如温度、压力、液位等，以及指针的工作范围，即指针应该在什么范围内正常工作。为了保证系统的灵敏度和准确性，根据实际情况设置报警阈值。当指针的位置超出预设的阈值范围时，设置好的警报系统会自动触发报警。同时与相应流程工业中传感器的数字数据进行比较，若两者之间有偏差且偏差较大则会触发警报并提示指针式仪表异常。
以上所述仅是本发明的具体思路，以便于该领域研究人员理解，但本发明的实施方式并不只限于上述所述，本领域相关技术人员均可基于本发明做出改进或变形，一切利用本发明构想的改进或变形视为本发明的保护范围。
Claims (6)
1.一种基于深度学习的指针式仪表识别和异常警报方法，其特征在于：具体步骤如下：
S101：依据流程工业生产当中的指针式仪表图像数据，构建相应指针式仪表图像数据集，并将其输入到改进后的YOLOv5s目标检测模型当中训练；
S102：依据流程工业生产当中的指针式仪表刻度盘和指针数据，构建相应指针式仪表刻度盘和指针数据集，并将其输入到ESPNetv2语义分割模型当中训练，以分割指针式仪表盘的刻度盘和指针区域；
S103：利用S101中训练好改进后的YOLOv5s目标检测模型对待识别的指针式仪表图像进行特征提取，检测出指针式仪表所在位置，框出仅含有指针式仪表的图像；
S104：指针式仪表图像校正：利用仿射变换对仅含有指针式仪表的图像进行旋转校正，旋转校正完成后，通过透视变换，对其进行倾斜校正；
S105：利用S102中训练好的ESPNetv2语义分割模型，分割出指针式仪表刻度盘区域、指针区域；
S106：利用Hough变换拟合指针所在直线，将指针式仪表刻度盘、指针中的几何图形转化为参数集合，统计出刻度标记中心的位置，即表盘旋转中心的位置，应用轮廓跟踪，找到最小刻度点，最大刻度点和有效值范围，按线性比例关系算出指针式仪表读数；
S107：基于S106所获得的指针式仪表读数结果与相应流程工业中传感器的数显数据进行比较，若两者之间有偏差或超出了预定设置的参数范围，则发出警报提示指针式仪表异常存在安全隐患。
2.根据权利要求1所述的一种基于深度学习的指针式仪表识别和异常警报方法，其特征在于：S101中，所述改进后的YOLOv5s目标检测模型为：
将Wise_IoU添加到YOLOv5s目标检测模型当中：
Wise_IoU损失函数公式如下：
LossWise_IoU＝RWise_IouLossIoU(2)
其中，x、y表示锚框的中心坐标，xgt、ygt表示目标框的中心坐标，Wg、Hg是最小的封闭框的宽和高，*表示将Wg、Hg从计算图中分离出来，RWise_IoU表示放大普通质量锚框的参数，LossIou表示IoU的损失函数，LossWise_IoU表示改进后的的损失函数；
修改后的目标检测损失函数如下：
其中，S表示特征图的大小，B表示每个网格预测的边界框数，为置信度权重，/>为第i个网格的第j个边界框，/>为真实边界框，/>为该网格中未被选中的边界框，pos表示正样本集合。
3.根据权利要求1所述的一种基于深度学习的指针式仪表识别和异常警报方法，其特征在于：S104中，所述指针式仪表图像校正：
指针式仪表图像旋转校正：通过检测获得与中心对称线对称的关于初始尺度和最大尺度的一对关键点的位置信息后，将两点连接起来计算两点连接线与水平方向的夹角，在获得旋转角度后，选择图像中心点作为旋转中心，对仪器进行旋转校正，仿射变换公式如下：
其中θ为所需旋转角度，xori和yori为目标检测得到的关键点对应的横坐标和纵坐标，x1st和y1st为旋转后所得到的关键点对应的横坐标和纵坐标；
指针式仪表图像倾斜校正：通过旋转修正得到变换前四个关键点的位置信息，变换后的四个关键点的位置信息是通过提前采集仪器的标准照片，得到四个关键点对应的水平坐标和垂直坐标点的标准照片，从而获得四个关键点的位置信息，透视变化公式如下：
其中Tm为变换矩阵，m为变换矩阵中各行列元素，x2nd、y2nd和z分别表示投影到三维空间的坐标信息，x3rd和y3rd为通过透视变换后对应图片关键点的横坐标和纵坐标。
4.根据权利要求1所述的一种基于深度学习的指针式仪表识别和异常警报方法，其特征在于：S105中，所述分割出指针式仪表刻度盘区域、指针区域：
刻度盘区域提取：使用训练好的ESPNetv2模型对新的指针式仪表图像进行分割，将待分割的图像输入到训练好的ESPNetv2模型中，训练好的ESPNetv2模型将生成像素级的分割预测结果，根据分割预测结果，提取刻度区域，根据预测结果中刻度类别的像素位置进行二值化处理，生成刻度区域的二值掩码，根据掩码提取刻度盘区域的轮廓；
指针区域提取：使用训练好的ESPNetv2模型对新的指针式仪表图像进行分割，将待分割的图像输入到训练好的ESPNetv2模型中，训练好的ESPNetv2模型将生成像素级的分割预测结果，根据分割预测结果，提取指针区域，根据预测结果中指针类别的像素位置进行二值化处理，生成指针区域的二值掩码，根据掩码提取指针区域的轮廓。
5.根据权利要求1所述的一种基于深度学习的指针式仪表识别和异常警报方法，其特征在于：S106中，所述指针式仪表读数：
首先采用形态学方法对仪器图像进行细化，然后应用Hough变换方法，进行直线检测，将图像中的几何图形转化为参数集合，统计出刻度标记中心的位置应用轮廓边缘跟踪，找到初始刻度点/>最大刻度点/>和有效范围(θinitial，θmax)，指针式仪表读数计算公式如下：
其中θinitial为初始刻度角，θmax为最大刻度角，σinitial为仪表的初始读数值，σmax为最大读数值，检测到的指针线角度θmeas，指示读数为按线性比例关系可算出指针式仪表读数。
6.根据权利要求1所述的一种基于深度学习的指针式仪表识别和异常警报方法，其特征在于：S107的具体步骤是：
首先确定需要监测的数据温度、压力、液位等，以及指针的工作范围，即指针应该在什么范围内正常工作，根据实际情况设置警报阈值，当指针的位置超出预设的阈值范围时，设置好的警报系统会自动触发报警，同时与相应流程工业中传感器的数显数据进行比较，若两者之间有偏差且偏差较大则会触发警报并提示指针式仪表异常。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310841100.6A CN116844147A (zh) | 2023-07-10 | 2023-07-10 | 一种基于深度学习的指针式仪表识别和异常警报方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310841100.6A CN116844147A (zh) | 2023-07-10 | 2023-07-10 | 一种基于深度学习的指针式仪表识别和异常警报方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116844147A true CN116844147A (zh) | 2023-10-03 |
Family
ID=88163143
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310841100.6A Pending CN116844147A (zh) | 2023-07-10 | 2023-07-10 | 一种基于深度学习的指针式仪表识别和异常警报方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116844147A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117274966A (zh) * | 2023-11-23 | 2023-12-22 | 江西小马机器人有限公司 | 室外工业仪表监测方法、系统、可读存储介质及计算机 |
| CN117372937A (zh) * | 2023-12-07 | 2024-01-09 | 江西理工大学南昌校区 | 一种基于指针仪表的数据读取方法 |
| CN117437450A (zh) * | 2023-12-12 | 2024-01-23 | 北京蒙帕信创科技有限公司 | 一种基于深度学习的旋转开关识别方法及系统 |
-
2023
- 2023-07-10 CN CN202310841100.6A patent/CN116844147A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117274966A (zh) * | 2023-11-23 | 2023-12-22 | 江西小马机器人有限公司 | 室外工业仪表监测方法、系统、可读存储介质及计算机 |
| CN117274966B (zh) * | 2023-11-23 | 2024-04-19 | 江西小马机器人有限公司 | 室外工业仪表监测方法、系统、可读存储介质及计算机 |
| CN117372937A (zh) * | 2023-12-07 | 2024-01-09 | 江西理工大学南昌校区 | 一种基于指针仪表的数据读取方法 |
| CN117372937B (zh) * | 2023-12-07 | 2024-03-29 | 江西理工大学南昌校区 | 一种基于指针仪表的数据读取方法 |
| CN117437450A (zh) * | 2023-12-12 | 2024-01-23 | 北京蒙帕信创科技有限公司 | 一种基于深度学习的旋转开关识别方法及系统 |
| CN117437450B (zh) * | 2023-12-12 | 2024-05-24 | 北京蒙帕信创科技有限公司 | 一种基于深度学习的旋转开关识别方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116844147A (zh) | 一种基于深度学习的指针式仪表识别和异常警报方法 | |
| CN109100741A (zh) | 一种基于3d激光雷达及图像数据的目标检测方法 | |
| CN111223088A (zh) | 一种基于深层卷积神经网络的铸件表面缺陷识别方法 | |
| CN108007388A (zh) | 一种基于机器视觉的转盘角度高精度在线测量方法 | |
| CN105335973A (zh) | 运用于带钢加工生产线的视觉处理方法 | |
| CN106529587A (zh) | 基于目标点识别的视觉航向识别方法 | |
| CN111598098A (zh) | 一种基于全卷积神经网络的水尺水位线检测及有效性识别方法 | |
| CN113469178B (zh) | 一种基于深度学习的电力表计识别方法 | |
| CN113033315A (zh) | 一种稀土开采高分影像识别与定位方法 | |
| CN112541403B (zh) | 一种利用红外摄像头的室内人员跌倒检测方法 | |
| CN112634368A (zh) | 场景目标的空间与或图模型生成方法、装置及电子设备 | |
| CN104680554A (zh) | 基于surf的压缩跟踪方法和系统 | |
| CN111582270A (zh) | 基于高精度的桥梁区域视觉靶标特征点的识别追踪方法 | |
| CN115457556A (zh) | 一种核电厂圆盘指针式仪表读数方法 | |
| CN113705564B (zh) | 一种指针式仪表识别读数方法 | |
| CN117315670B (zh) | 一种基于计算机视觉的水表读数区域检测方法 | |
| CN117953048A (zh) | 一种基于计算机视觉的转体桥姿态监控系统及方法 | |
| Huo et al. | Reading recognition of pointer meters based on an improved UNet++ network | |
| CN117314986A (zh) | 基于语义分割的无人机跨模态配电设备巡检图像配准方法 | |
| CN115761265A (zh) | 一种用于提取激光雷达点云中变电站设备的方法及装置 | |
| CN115409691A (zh) | 融合激光测距和监控图像的双模态学习边坡风险检测方法 | |
| CN115358529A (zh) | 基于计算机视觉和模糊推理的施工安全评估方法 | |
| CN113869407A (zh) | 一种基于单目视觉的车长测量方法和装置 | |
| CN115019042A (zh) | 一种隧道结构裂缝的高精度识别方法 | |
| CN109360289B (zh) | 融合巡检机器人定位信息的电力表计检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |