CN113065556A - 一种数字式仪表定位和数字识别方法、装置和计算机设备 - Google Patents
一种数字式仪表定位和数字识别方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN113065556A CN113065556A CN202110409513.8A CN202110409513A CN113065556A CN 113065556 A CN113065556 A CN 113065556A CN 202110409513 A CN202110409513 A CN 202110409513A CN 113065556 A CN113065556 A CN 113065556A
- Authority
- CN
- China
- Prior art keywords
- digital
- instrument
- image data
- training
- positioning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000001514 detection method Methods 0.000 claims abstract description 50
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims description 54
- 238000012795 verification Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 10
- 230000000694 effects Effects 0.000 claims description 7
- 239000011521 glass Substances 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 4
- 239000007788 liquid Substances 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 7
- 238000007689 inspection Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种数字式仪表定位和数字识别方法、装置和计算机设备，首先利用Imgaug图像数据增强库对现场图像数据进行扩增，获得多角度、亮度和雨雪环境下的图像；然后利用YOLOv4算法检测数字式仪表，获得数字式仪表的仪表盘图像数据；再对仪表盘图像数据进行数字的检测和识别，获得表盘上所有数字的位置与类别；最后基于聚类的思想获得仪表盘上数字的行数，选定所需行数的所有数字框确定小数点的位置，得到最终的数字识别结果。采用本发明能够定位和识别带有多行数字且具有小数点的高精度数字式仪表示数，具有较高的准确率和较强的鲁棒性。
Description
技术领域
本发明属于图像处理和深度学习技术领域，具体涉及一种数字式仪表定位和数字识别方法、装置和计算机设备。
背景技术
近年来，随着计算机算力的极大提升和大数据时代的到来，人工智能领域迎来了前所未有的发展机遇。深度学习作为人工智能领域的重要技术，在图像处理、自然语言处理、语音识别等领域大放异彩。在图像处理领域，利用深度学习技术处理分析各种各样应用场景下的图像，为人们的生活和工业生产制造带来了极大的便利，节省了大量的人力物力，为智能化城市、智能化工厂的建设夯实了技术基础。
随着数字电子技术的发展，数字式仪表作为工业生产中一种不可或缺的测量仪器，因其结构简单、读数精准、操作容易、低成本低功耗等优点被广泛应用于油气田、电力、化工等领域。数字式仪表的传统读数方法是依靠人工肉眼读取仪表上的数据进行记录，该方法存在工作量大、效率低、受人为因素影响较大等缺点。同时，如果仪表处在高温、高压或高辐射等恶劣环境中，工人长期在这种环境下工作对其身体损害极大。因此，机器人智能巡检技术应运而生。
机器人智能巡检代替人工巡检，通过相机采集图像信息进行数字式仪表的定位和自动读数，在实际工地上定期作业，降低人工巡检的危险成本，提高了巡检效率，实现了自动化监管。虽然机器人智能巡检具有全天候、不受恶劣环境影响等优势，但是现有的对数字式仪表定位和数字识别方法仍旧存在很多问题。例如基于字符分割和模板匹配的识别方法，无法有效应对倾斜图像，同时要求输入图像清晰度高，因此方法受环境噪声影响较大。而且目前很多高精度数字式仪表必然会存在小数点且其出现位置不固定，也可能一个仪表上出现多行数字。因此，如何让机器人在多变的自然环境下，高效精准的定位仪表位置、自动识别数字和定位小数点、包括识别多行数字仪表中的数字信息是机器人执行巡检工作中亟待解决的问题。
发明内容
针对现有技术存在的不足，本发明所要解决的技术问题是，提出一种能够用于智能巡检中应对多种拍摄环境和角度的数字式仪表定位和数字识别方法。该方法实现数字式仪表定位，并能够对具有单行或多行带小数点数字的仪表提取数字信息，方法具有较高准确率和较强鲁棒性的优点。
为达到上述目的，本发明所述一种数字式仪表定位和数字识别方法，包括以下步骤：
步骤1、采集包含各种仪表的现场图像数据；
步骤2、利用训练得到的仪表检测模型对图像中的数字式仪表进行定位，获得数字式仪表的仪表盘图像数据；
步骤3、利用训练得到的数字检测和识别模型对仪表盘图像数据进行七段码数字的定位和识别，获得表盘上所有数字的位置与类别；
步骤4、利用获得的所有数字的位置进行聚类，选定所需的某行数字进行小数点位置的检测，确定小数点的位置得到数字式仪表的数字识别结果。
进一步的，步骤2包括以下步骤：
步骤2.1、对现场图像数据，利用目标检测标注工具标注各种仪表的位置框和类别，类别标签分别为pointer、digital、gate、level、glasslevel和ballvalve，分别对应指针式仪表、数字式仪表、门阀式仪表、液体式仪表、玻璃式仪表和球阀式仪表；
步骤2.2、使用数据增强的方法对包含各种仪表的现场图像数据进行扩增，获得多种角度、亮度、雨雪环境下的现场图像数据；
步骤2.3、使用扩增后的现场图像数据，利用YOLOv4目标检测算法训练一个仪表检测模型；
步骤2.4、利用仪表检测模型，定位步骤1获得的现场图像数据中数字式仪表的位置，并且截取仪表盘图像数据。
进一步的，步骤2.3的过程为：
将扩增后的图像和标签数据按比例分成训练集和验证集，利用YOLOv4算法训练仪表检测模型；训练参数样本是否进行在线水平翻转flip设置为1，每训练N次在验证集上测试一次模型的检测效果指标mAP，500≤N≤1000，最后取在验证集上mAP最高的模型为最终的仪表检测模型。
进一步的，步骤3包括以下步骤：
步骤3.1、使用获得的仪表盘图像数据，利用YOLOv4目标检测算法训练一个七段码数字检测和识别模型；
步骤3.2、利用数字检测和识别模型，对步骤2获得的仪表盘图像数据进行检测，获得仪表盘上所有数字的位置和类别。
进一步的，步骤3.1包括以下步骤：
S3.1.1、对数字式仪表的仪表盘图像数据，利用目标检测标注工具标注表盘上所有数字的位置框即数字框和类别，类别标签分别为minus，0，1，2，3，4，5，6，7，8，9，所述minus代表负号；
S3.1.2、将仪表盘图像数据分成训练集和验证集，训练七段码数字检测模型，将训练参数样本是否进行在线水平翻转flip设置为0，每训练M次在验证集上测试一次模型的检测效果指标mAP，最后取在验证集上mAP最高的模型为最终的数字检测和识别模型，500≤M≤1000。
进一步的，步骤3.1中，令是否进行多尺度训练的训练参数random＝1。
进一步的，步骤4包括以下步骤：
步骤4.1、对步骤3检测到的所有数字框进行聚类，得到仪表盘上数字的行数；
步骤4.2、选定要检测的行序，对该行序的所有数字框按照横坐标大小从小到大排序，确定检测到的数字框是否包含负号，如果有负号则去除该数字框；
步骤4.3、根据相邻数字框位置确定小数点的候选区域；
步骤4.4、判断仪表盘上数字的颜色，如果为红色，则执行步骤4.5，否则执行4.6；
步骤4.5、若仪表盘数字为红色，则小数点候选区域所有像素点红色通道的值大小为对应位置像素取反；
步骤4.6、选择候选区域的红色通道像素值从小到大排序，取前5个最小像素值的平均值为候选区域的特征值；
步骤4.7、对所有候选区域的特征值进行比较，最小特征值对应的候选区域即为小数点所在位置。
进一步的，步骤4.4中，判断数字框内数字颜色的过程为：若第一个数字框内红色通道像素值均值与蓝色通道像素值均值之比大于1.5，且红色通道像素值均值大于200，即
则判断数字为红色，否则为黑色。
一种数字式仪表定位和数字识别装置，包括：
采集模块，用于采集包含各种仪表的现场图像数据；
定位和识别模块，用于根据现场图像数据输出数字式仪表的数字识别结果。
一种计算机设备，包括电连接的存储器和处理器，所述存储器上存储有可在处理器上运行的计算程序，所述处理器执行所述计算程序时，实现上述方法的步骤。
与现有技术相比，本发明至少具有以下有益的技术效果：
(1)本发明利用Imgaug图像数据增强库对现场图像数据进行扩增，获得多种角度、亮度、雨雪环境下的图像数据，相比于仅用现场图像数据进行训练得到的检测模型泛化能力强，鲁棒性高。
(2)本发明根据合作方工业现场的真实情况采用聚类的方法提取所需行数的数字信息，并且选择小数点候选区域的红色通道像素值来确定小数点位置。这是因为合作方现场实际情况为数字式仪表示数均包含小数点，并且示数颜色有“红色”和“黑色”，而为方便工人在工业现场工作，现实中会用红色标记物粘贴到示数颜色为“黑色”的数字式仪表上作为预警参考。因此利用红色标记物区域的红色通道像素值偏高，而“黑色”小数点候选区域的红色通道像素值偏低的特性，避免其对“黑色”小数点的定位产生干扰。同样示数为“红色”的数字式仪表也是利用红色通道像素值偏高的特性，对其像素值取反来定位“红色”小数点。相比于无法定位小数点的数字识别方法实用性更高，能够识别高精度数字式仪表。采用本发明能够定位和识别带有多行数字且具有小数点的高精度数字式仪表示数，具有较高的准确率和较强的鲁棒性。
进一步的，步骤2.2中，利用YOLOv4算法训练仪表检测模型时，训练参数样本是否进行在线水平翻转flip设置为1，以增加训练样本的多样性。
进一步的，步骤3.1中，在七段码数字中由于“2”和“5”是镜像对称的两个数字，需要将其区分为两个不同的类别，因此将训练参数样本是否进行在线水平翻转flip设置为0，对数据不进行翻转的增强。
进一步的，步骤3.1中，为了得到一个能够同时检测大目标数字和小目标数字的检测模型，令是否进行多尺度训练的训练参数random＝1。
附图说明
图1为本发明方法流程图；
图2为本发明确定小数点位置的方法流程图；
图3为本发明检测数字位置得到的数字框示意图；
图4为本发明定位数字式仪表和识别数字结果图；
图5为本发明识别所需行序的数字识别结果图；
图6为本发明提供的数字式仪表定位和数字识别装置的模块结构示意图；
图7为本发明提供的计算机设备的结构示意图。
具体实施方式
为了使本发明的目的和技术方案更加清晰和便于理解。以下结合附图和实施例，对本发明进行进一步的详细说明，此处所描述的具体实施例仅用于解释本发明，并非用于限定本发明。
实施例1
如图1所示，本发明提出一种用于智能巡检中的数字式仪表定位和数字识别方法，具体步骤如下：
步骤1、工业现场巡检机器人采集包含各种仪表的现场图像数据；
步骤2、训练得到的仪表检测模型，利用训练得到的仪表检测模型对图像数据中的数字式仪表进行定位，获得数字式仪表的仪表盘图像数据。具体过程如下，S2.1-S2.3为训练过程，S2.4为推理过程：
S2.1：对现场图像数据利用LabelImg目标检测标注工具标注各种仪表的位置框和类别，位置框为各类仪表的最小外接矩形，类别标签分别为pointer、digital、gate、level、glasslevel、ballvalve，分别对应指针式仪表、数字式仪表、门阀式仪表、液体式仪表、玻璃式仪表和球阀式仪表；
S2.2：对获取的现场图像数据利用Imgaug图像数据增强库进行亮度变换、透视变换以及加雨加雪变换，增强次数设为3，数据量扩大为原来的3倍；
S2.3：将扩增后的图像和标签数据按8：2比例分成训练集和验证集，利用YOLOv4算法训练仪表检测模型。其中，训练参数为：网络输入宽width＝416，网络输入高height＝416，类别数目classes＝6，YOLO层前一层卷积核数目filters＝33，学习率learning_rate＝0.001。为了增加训练样本的多样性，将训练参数样本是否进行在线水平翻转flip设置为1，同时由于所检测的仪表不是小目标，因此为加快训练速度，令训练参数是否进行多尺度训练random＝0。训练次数为6000次，每训练1000次在验证集上测试一次模型的检测效果指标mAP(Mean Average Precision)，最后取在验证集上mAP最高的模型为最终的仪表检测模型。
S2.4：利用仪表检测模型检测步骤1的现场图像数据，定位出图像中标签为“digital”的数字式仪表位置，并且截取此位置的图像为仪表盘图像数据。如图4显示了检测现场图像数据中数字式仪表的位置框。
步骤3、训练数字检测和识别模型，利用训练得到的数字检测和识别模型对仪表盘图像数据进行七段码数字的定位和识别，获得表盘上所有数字的位置与类别。具体过程如下，S3.1-S3.2为训练过程，S3.3为推理过程：
S3.1：对数字式仪表的仪表盘图像数据利用LabelImg目标检测标注工具标注表盘上所有数字的位置框即数字框和类别，类别标签分别为minus，0，1，2，3，4，5，6，7，8，9，其中“minus”代表负号。
S3.2：将仪表盘图像数据按8：2比例分成训练集和验证集，用YOLOv4算法训练七段码数字检测模型。其中，训练参数为：网络输入宽width＝416，网络输入高height＝416，类别数目classes＝11，YOLO层前一层卷积核数目filters＝48，学习率learning_rate＝0.001。由于有些数字式仪表盘是多行数字，数字目标较小，因此为了得到一个能够同时检测大目标数字和小目标数字的检测模型，令训练参数是否进行多尺度训练random＝1，训练每迭代10次，随机调整输入图像的尺寸，进行多尺度训练，提升模型检测精度和鲁棒性。另外，在七段码数字中由于“2”和“5”是镜像对称的两个数字，需要将其区分为两个不同的类别，因此将训练参数样本是否进行在线水平翻转flip设置为0，对数据不进行翻转的增强。训练次数为7000次，每训练1000次在验证集上测试一次模型的检测效果指标mAP，最后取在验证集上mAP最高的模型为最终的数字检测和识别模型；
S3.3：利用数字检测模型检测步骤2获得的数字式仪表的仪表盘图像数据，检测出图像中所有数字的位置和类别。
步骤4、利用获得的所有数字的位置进行聚类，选定所需的某行数字进行小数点位置的检测，确定小数点的位置。最后结合上一步获取的数字类别得到数字式仪表的数字识别结果。如图2所示为确定小数点位置的方法流程图，具体过程如下：
S4.1：记步骤3检测到的所有数字框为Bi，i＝1，2，…，N，其中N为检测到的数字个数，数字框Bi参数示意图如图3，其中(xi，yi)为数字框的左上角坐标，wi，hi分别数字框的宽和高。以yi为聚类算法的输入，
为阈值，mean(hi)表示所有数字框高的平均值，利用ISO聚类得到仪表盘上数字的行数，选定要检测某行数字的行序，记该行数字的数字框为Gi，i＝1，2，…；
S4.2：对选定行序的所有数字框Gi按左上角坐标的横坐标xi从小到大排序，确定Gi中的数字类别是否包含“minus”，即负号类别，如果有则去除该数字框，最终得到从左到右的数字框bi，i＝1，2，…，M，其中M为该行数字个数；
S4.3：根据相邻数字框位置确定小数点候选区域
i＝1，2，…，M，候选区域左边界为
右边界为
高为
下边界为
其中β为下移系数，此处取β＝0.01，如图5数字框之间的多个白色框显示的是选定第1行数字的小数点候选区域；
S4.4：判断数字框Gi内数字颜色，如果第一个数字框内红色通道像素值均值与蓝色通道像素值均值之比大于1.5，且红色通道像素值均值大于200，即
则判断数字为红色，否则为黑色。对判断为红色数字的小数点候选区域
的红色通道像素值取反，即imageR＝255-imageR；
S4.5：选择候选区域的红色通道像素值从小到大排序，取前5个最小的红色通道像素值的均值为候选区域的特征值pi，
其中L＝5，i＝1，2，…，M-1；
S4.6：由于合作方工业现场的数字式仪表均带有小数点，且包含小数点的候选区域其红色通道像素值是所有候选区域的最低值，因此对所有候选区域特征值进行比较，最小特征值minipi对应的候选区域即为小数点所在位置；
S4.7：根据识别到的数字位置和类别，以及确定的指定行数的数字小数点位置，组合成数字识别结果输出，如图4和图5显示了数字识别结果。
S4.8：若需要识别其他行序的数字信息，则修改S4.1中的行序，重复S4.2到S4.7步骤即可。
本发明首先利用Imgaug图像数据增强库对现场图像数据进行扩增，获得多角度、亮度和雨雪环境下的图像；然后利用YOLOv4算法检测数字式仪表，获得数字式仪表的仪表盘图像数据；再利用YOLOv4算法对仪表盘图像数据进行数字的检测和识别，获得表盘上所有数字的位置与类别；最后基于聚类的思想获得仪表盘上数字的行数，选定所需的某行数字确定小数点的位置，得到最终的数字识别结果。采用本发明能够定位和识别带有多行数字且具有小数点的高精度数字式仪表示数，具有较高的准确率和较强的鲁棒性。
上述虽然结合附图对本发明的具体实施方式进行了描述，但不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
实施例2
如图6所示，本发明提供的一种数字式仪表定位和数字识别装置，包括采集模块与定位和识别模块：
采集模块，用于采集包含各种仪表的现场图像数据；采集模块可以是工业现场巡检机器人，或其他具有图像采集功能的装置或设备；
定位和识别模块，用于根据现场图像数据输出数字式仪表的数字识别结果。
实施例3
如图7所示，本发明提供的一种计算机设备，包括电连接的存储器和处理器，其中，存储器上存储有可在处理器上运行的计算程序，所述处理器执行所述计算程序时，实现上述的数字式仪表定位和数字识别方法的步骤。
所述数字式仪表定位和数字识别装置如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。
Claims (10)
1.一种数字式仪表定位和数字识别方法，其特征在于，包括以下步骤：
步骤1、采集包含各种仪表的现场图像数据；
步骤2、利用训练得到的仪表检测模型对图像中的数字式仪表进行定位，获得数字式仪表的仪表盘图像数据；
步骤3、利用训练得到的数字检测和识别模型对仪表盘图像数据进行七段码数字的定位和识别，获得表盘上所有数字的位置与类别；
步骤4、利用获得的所有数字的位置进行聚类，选定所需的某行数字进行小数点位置的检测，确定小数点的位置得到数字式仪表的数字识别结果。
2.根据权利要求1所述的一种数字式仪表定位和数字识别方法，其特征在于，所述步骤2包括以下步骤：
步骤2.1、对现场图像数据，利用目标检测标注工具标注各种仪表的位置框和类别，类别标签分别为pointer、digital、gate、level、glasslevel和ballvalve，分别对应指针式仪表、数字式仪表、门阀式仪表、液体式仪表、玻璃式仪表和球阀式仪表；
步骤2.2、使用数据增强的方法对包含各种仪表的现场图像数据进行扩增，获得多种角度、亮度、雨雪环境下的现场图像数据；
步骤2.3、使用扩增后的现场图像数据，利用YOLOv4目标检测算法训练一个仪表检测模型；
步骤2.4、利用仪表检测模型，定位步骤1获得的现场图像数据中数字式仪表的位置，并且截取仪表盘图像数据。
3.根据权利要求2所述的一种数字式仪表定位和数字识别方法，其特征在于，所述步骤2.3的过程为：
将扩增后的图像和标签数据按比例分成训练集和验证集，利用YOLOv4算法训练仪表检测模型；训练参数样本是否进行在线水平翻转flip设置为1，每训练N次在验证集上测试一次模型的检测效果指标mAP，500≤N≤1000，最后取在验证集上mAP最高的模型为最终的仪表检测模型。
4.根据权利要求1所述的一种数字式仪表定位和数字识别方法，其特征在于，所述步骤3包括以下步骤：
步骤3.1、使用获得的仪表盘图像数据，利用YOLOv4目标检测算法训练一个七段码数字检测和识别模型；
步骤3.2、利用数字检测和识别模型，对步骤2获得的仪表盘图像数据进行检测，获得仪表盘上所有数字的位置和类别。
5.根据权利要求4所述的一种数字式仪表定位和数字识别方法，其特征在于，所述步骤3.1包括以下步骤：
S3.1.1、对数字式仪表的仪表盘图像数据，利用目标检测标注工具标注表盘上所有数字的位置框即数字框和类别，类别标签分别为minus，0，1，2，3，4，5，6，7，8，9，所述minus代表负号；
S3.1.2、将仪表盘图像数据分成训练集和验证集，训练七段码数字检测模型，将训练参数样本是否进行在线水平翻转flip设置为0，每训练M次在验证集上测试一次模型的检测效果指标mAP，最后取在验证集上mAP最高的模型为最终的数字检测和识别模型，500≤M≤1000。
6.根据权利要求4所述的一种数字式仪表定位和数字识别方法，其特征在于，所述步骤3.1中，令是否进行多尺度训练的训练参数random＝1。
7.根据权利要求1所述的一种数字式仪表定位和数字识别方法，其特征在于，所述步骤4包括以下步骤：
步骤4.1、对步骤3检测到的所有数字框进行聚类，得到仪表盘上数字的行数；
步骤4.2、选定要检测的行序，对该行序的所有数字框按照横坐标大小从小到大排序，确定检测到的数字框是否包含负号，如果有负号则去除该数字框；
步骤4.3、根据相邻数字框位置确定小数点的候选区域；
步骤4.4、判断仪表盘上数字的颜色，如果为红色，则执行步骤4.5，否则执行4.6；
步骤4.5、若仪表盘数字为红色，则小数点候选区域所有像素点红色通道的值大小为对应位置像素取反；
步骤4.6、选择候选区域的红色通道像素值从小到大排序，取前5个最小像素值的平均值为候选区域的特征值；
步骤4.7、对所有候选区域的特征值进行比较，最小特征值对应的候选区域即为小数点所在位置。
8.根据权利要求7所述的一种数字式仪表定位和数字识别方法，其特征在于，所述步骤4.4中，判断数字框内数字颜色的过程为：若第一个数字框内红色通道像素值均值与蓝色通道像素值均值之比大于1.5，且红色通道像素值均值大于200，即
则判断数字为红色，否则为黑色。
9.一种数字式仪表定位和数字识别装置，其特征在于，包括：
采集模块，用于采集包含各种仪表的现场图像数据；
定位和识别模块，用于根据现场图像数据输出数字式仪表的数字识别结果。
10.一种计算机设备，其特征在于，包括：电连接的存储器和处理器，所述存储器上存储有可在处理器上运行的计算程序，所述处理器执行所述计算程序时，实现权利要求1-8中任意一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110409513.8A CN113065556B (zh) | 2021-04-16 | 2021-04-16 | 一种数字式仪表定位和数字识别方法、装置和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110409513.8A CN113065556B (zh) | 2021-04-16 | 2021-04-16 | 一种数字式仪表定位和数字识别方法、装置和计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113065556A true CN113065556A (zh) | 2021-07-02 |
| CN113065556B CN113065556B (zh) | 2024-04-02 |
Family
ID=76566862
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110409513.8A Active CN113065556B (zh) | 2021-04-16 | 2021-04-16 | 一种数字式仪表定位和数字识别方法、装置和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113065556B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114549814A (zh) * | 2022-01-25 | 2022-05-27 | 福建和盛高科技产业有限公司 | 基于yolox检测的仪表读数识别方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190095739A1 (en) * | 2017-09-27 | 2019-03-28 | Harbin Institute Of Technology | Adaptive Auto Meter Detection Method based on Character Segmentation and Cascade Classifier |
| WO2020005541A1 (en) * | 2018-06-28 | 2020-01-02 | Schneider Electric Systems Usa, Inc. | Machine learning analysis of piping and instrumentation diagrams |
| CN111062282A (zh) * | 2019-12-05 | 2020-04-24 | 武汉科技大学 | 基于改进yolov3模型的变电站指针式仪表识别方法 |
| CN112308054A (zh) * | 2020-12-29 | 2021-02-02 | 广东科凯达智能机器人有限公司 | 基于目标检测算法的多功能数字表自动读数方法 |
| AU2020103716A4 (en) * | 2020-11-27 | 2021-02-11 | Beijing University Of Posts And Telecommunications | Training method and device of automatic identification device of pointer instrument with numbers in natural scene |
| CN112488099A (zh) * | 2020-11-25 | 2021-03-12 | 上海电力大学 | 一种基于视频的电力液晶仪表上数字的检测提取装置 |
| CN112529003A (zh) * | 2020-12-09 | 2021-03-19 | 安徽工业大学 | 一种基于Faster-RCNN的仪表盘数字识别方法 |
-
2021
- 2021-04-16 CN CN202110409513.8A patent/CN113065556B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190095739A1 (en) * | 2017-09-27 | 2019-03-28 | Harbin Institute Of Technology | Adaptive Auto Meter Detection Method based on Character Segmentation and Cascade Classifier |
| WO2020005541A1 (en) * | 2018-06-28 | 2020-01-02 | Schneider Electric Systems Usa, Inc. | Machine learning analysis of piping and instrumentation diagrams |
| CN111062282A (zh) * | 2019-12-05 | 2020-04-24 | 武汉科技大学 | 基于改进yolov3模型的变电站指针式仪表识别方法 |
| CN112488099A (zh) * | 2020-11-25 | 2021-03-12 | 上海电力大学 | 一种基于视频的电力液晶仪表上数字的检测提取装置 |
| AU2020103716A4 (en) * | 2020-11-27 | 2021-02-11 | Beijing University Of Posts And Telecommunications | Training method and device of automatic identification device of pointer instrument with numbers in natural scene |
| CN112529003A (zh) * | 2020-12-09 | 2021-03-19 | 安徽工业大学 | 一种基于Faster-RCNN的仪表盘数字识别方法 |
| CN112308054A (zh) * | 2020-12-29 | 2021-02-02 | 广东科凯达智能机器人有限公司 | 基于目标检测算法的多功能数字表自动读数方法 |
Non-Patent Citations (3)
| Title |
|---|
| 徐发兵;吴怀宇;陈志环;喻汉;: "基于深度学习的指针式仪表检测与识别研究", 高技术通讯, no. 12 * |
| 李佳禧;邱东;杨宏韬;刘克平;: "基于改进的YOLO v3的工件识别方法研究", 组合机床与自动化加工技术, no. 08 * |
| 王锋;项导;: "基于卷积神经网络的数码仪表识别方法", 机械设计与制造工程, no. 09 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114549814A (zh) * | 2022-01-25 | 2022-05-27 | 福建和盛高科技产业有限公司 | 基于yolox检测的仪表读数识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113065556B (zh) | 2024-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111950330B (zh) | 一种基于目标检测的指针式仪表示数检测方法 | |
| CN109145830B (zh) | 一种智能水尺识别方法 | |
| CN109523520B (zh) | 一种基于深度学习的染色体自动计数方法 | |
| CN112257676B (zh) | 一种指针式仪表读数方法、系统以及巡检机器人 | |
| CN112699876B (zh) | 一种用于集气站多类型仪表自动读数方法 | |
| CN106529537A (zh) | 一种数字仪表读数图像识别方法 | |
| CN112149667B (zh) | 一种基于深度学习的指针式仪表的自动读数的方法 | |
| CN105260709A (zh) | 基于图像处理的水表检定方法、装置及系统 | |
| CN111368906B (zh) | 一种基于深度学习的指针式油位计读数识别方法 | |
| CN105300482A (zh) | 基于图像处理的水表检定方法、装置及系统 | |
| CN110909738A (zh) | 一种基于关键点检测的指针仪表自动读数方法 | |
| CN111914767A (zh) | 一种基于多源遥感数据的散乱污企业检测方法及系统 | |
| CN114663744A (zh) | 基于机器学习的仪表自动识别方法及系统 | |
| CN115457556A (zh) | 一种核电厂圆盘指针式仪表读数方法 | |
| CN110503634B (zh) | 基于图像自动识别的能见度测量方法 | |
| CN116188756A (zh) | 一种基于深度学习的仪表角度校正与示数识别方法 | |
| CN115019294A (zh) | 一种指针式仪表读数识别方法及系统 | |
| CN113065556B (zh) | 一种数字式仪表定位和数字识别方法、装置和计算机设备 | |
| CN112966710B (zh) | 基于线性判别分析的fy-3d红外高光谱云检测方法 | |
| CN114428110A (zh) | 一种轴承套圈荧光磁粉探伤图像缺陷检测方法及系统 | |
| CN115497006B (zh) | 基于动态混合策略的城区遥感图像变化深度监测方法及系统 | |
| CN115841557A (zh) | 基于数字孪生技术的智能起重机操作环境构建方法 | |
| CN114255458A (zh) | 一种巡检场景下指针仪表读数的识别方法与系统 | |
| CN114694128A (zh) | 一种基于抽象度量学习的指针式仪表检测方法及系统 | |
| CN115311447A (zh) | 一种基于深度卷积神经网络的指针式仪表示数识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |