CN116311211A - 一种气体检测仪检测识别方法、系统及存储介质 - Google Patents
一种气体检测仪检测识别方法、系统及存储介质 Download PDFInfo
- Publication number
- CN116311211A CN116311211A CN202310358719.1A CN202310358719A CN116311211A CN 116311211 A CN116311211 A CN 116311211A CN 202310358719 A CN202310358719 A CN 202310358719A CN 116311211 A CN116311211 A CN 116311211A
- Authority
- CN
- China
- Prior art keywords
- image
- sample
- gas detector
- display screen
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 131
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000007689 inspection Methods 0.000 claims abstract description 53
- 230000009466 transformation Effects 0.000 claims description 51
- 238000012549 training Methods 0.000 claims description 42
- 238000012545 processing Methods 0.000 claims description 28
- 238000002372 labelling Methods 0.000 claims description 11
- 230000007547 defect Effects 0.000 claims description 10
- 238000004140 cleaning Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000001228 spectrum Methods 0.000 claims description 7
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 5
- 238000010801 machine learning Methods 0.000 abstract description 3
- 239000007789 gas Substances 0.000 description 92
- 238000013461 design Methods 0.000 description 6
- 238000010276 construction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013518 transcription Methods 0.000 description 1
- 230000035897 transcription Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/02—Recognising information on displays, dials, clocks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A50/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE in human health protection, e.g. against extreme weather
- Y02A50/20—Air quality improvement or preservation, e.g. vehicle emission control or emission reduction by using catalytic converters
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明涉及仪表图像检测技术领域，具体公开了一种气体检测仪检测识别方法、系统及存储介质，通过获取巡检机器人所采集的目标气体检测仪巡检图像来依次进行基于机器学习的显示屏检测、文本检测和文本识别，得到目标气体检测仪的显示屏读数文本信息，可以高效、准确地检测识别出目标气体检测仪的仪表读数。本发明采用巡检机器人加机器学习识别的巡检方式替代传统人工巡检方式，可以实现智能化、无人化的巡检作业，杜绝人工巡检的安全风险，提高了巡检的效率和质量，降低了人工成本；同时，便于将气体检测仪的显示文本信息实时准确上报，避免了人工巡检容易遗漏、记错以及无法及时上报的问题。
Description
技术领域
本发明属于仪表图像检测技术领域，具体涉及一种气体检测仪检测识别方法、系统及存储介质。
背景技术
气体检测仪是一种气体浓度检测仪器，可通过显示屏显示相应气体的浓度，广泛应用于需要进行气体检测的场景，如城市综合管廊。而在如城市综合管廊这样的场景中，气体检测仪固定安装于某个位置，采用相应固定式摄像头或者球机也无法清晰地拍摄到气体检测仪的显示屏具体读数，需要由相应的巡检人员巡检到位后，手抄记录显示屏的读数，这种传统人工巡检抄录的方式面临的问题就是人工成本大、容易遗漏或记错，有一定的人员安全隐患，无法实时监控管廊内各种气体的浓度。
发明内容
本发明的目的是提供一种气体检测仪检测识别方法、系统及存储介质，用以解决现有技术中存在的上述问题。
为了实现上述目的，本发明采用以下技术方案：
第一方面，提供一种气体检测仪检测识别方法，包括：
获取目标气体检测仪的巡检图像，所述巡检图像由巡检机器人采集得到，所述巡检图像包含目标气体检测仪的显示屏以及显示屏所显示的文本信息；
将所述巡检图像输入预置的显示屏检测模型进行显示屏检测，得到所述巡检图像的显示屏检测结果，所述显示屏检测模型为ONNX模型，所述ONNX模型由采用YOLOv5算法进行设定图像训练集训练后所生成的PT模型转化得到；
根据所述显示屏检测结果从所述巡检图像中裁剪出显示屏的图像，并将显示屏的图像输入预置的文本检测模型进行文本检测，得到显示屏的文本检测结果，所述文本检测模型由DBNet模型经过文本检测公开数据集训练后得到；
根据所述文本检测结果从显示屏的图像中提取出文本信息，并将文本信息输入预置的文本识别模型进行文本识别，得到显示屏的文本识别结果，所述文本识别模型由SATRN模型经过文本识别公开数据集训练后得到。
在一个可能的设计中，在将所述巡检图像输入预置的显示屏检测模型进行显示屏检测前，所述方法还包括：
获取若干气体检测仪样本图像，并对获取的若干气体检测仪样本图像进行图像清洗，以剔除其中模糊的图像以及有光线缺陷的图像，得到清洗后的气体检测仪样本图像集，气体检测仪样本图像集中的各气体检测仪样本图像均包含对应的显示屏；
对气体检测仪样本图像集中的各气体检测仪样本图像进行显示屏标签标注，得到标注样本图像集，所述标注样本图像集中包含各标注显示屏标签后的气体检测仪样本图像；
对标注样本图像集中各标注显示屏标签后的气体检测仪样本图像进行图像数据增强处理，得到图像训练集；
采用YOLOv5算法进行设定图像训练集训练，生成PT模型，并将生成的PT模型转化为ONNX模型。
在一个可能的设计中，所述对获取的若干气体检测仪样本图像进行图像清洗，包括：
对各气体检测仪样本图像进行快速傅里叶变换处理，得到各气体检测仪样本图像的频谱信息；
根据频谱信息判定对应的气体检测仪样本图像是否模糊，并在判定相应的气体检测仪样本图像模糊时，将该气体检测仪样本图像剔除；
采用灰度世界算法对各气体检测仪样本图像进行处理，确定各气体检测仪样本图像的平均灰度值以及RGB三通道灰度中值；
若相应气体检测仪样本图像的平均灰度值偏离RGB三通道灰度中值，则判定该气体检测仪样本图像有光线缺陷，将其剔除。
在一个可能的设计中，所述对样本图像集中各标注显示屏标签后的气体检测仪样本图像进行图像数据增强处理，包括：
对样本图像集中各标注显示屏标签后的气体检测仪样本图像进行仿射变换处理，得到若干样本变换图像，组成样本变换图像集；
将样本变换图像集中的各样本变换图像随机两两组合后按照第一预设比例进行图像混合处理，得到若干混合样本图像；
随机将样本变换图像集中的一部分样本变换图像按照第二预设比例进行部分区域裁剪，并对裁剪掉的区域进行0像素值填充；将另一部分样本变换图像按照第二预设比例进行部分区域裁剪，并对裁剪掉的区域进行其他区域像素值填充，所述其他区域为任意其他样本变换图像的被裁减区域；得到若干填充样本图像；
对样本变换图像集中的各样本变换图像进行裁剪拼接处理，得到若干拼接样本图像；
利用若干混合样本图像、若干填充样本图像和若干拼接样本图像组成所述图像训练集。
在一个可能的设计中，所述对样本变换图像集中的各样本变换图像进行裁剪拼接处理，得到若干拼接样本图像，包括：
从样本变换图像集中随机取出设定数量的样本变换图像组成待拼接集，并从待拼接集中随机选取一张样本变换图像作为载体图像，将待拼接集中其余的样本变换图像作为裁剪目标图像；
将各裁剪目标图像按随机比例裁剪后拼接至载体图像，得到拼接样本图像；
重复上述拼接步骤，直至满足设定的拼接结束条件时为止，得到若干拼接样本图像。
在一个可能的设计中，在将显示屏的图像输入预置的文本检测模型进行文本检测前，所述方法还包括：利用设定的文本检测公开数据集对预置的DBNet模型进行可微分二值化训练，得到训练后的文本检测模型。
在一个可能的设计中，在并将文本信息输入预置的文本识别模型进行文本识别前，所述方法还包括：利用设定的文本识别公开数据集对预置的SATRN模型进行文本识别训练，得到训练后的文本识别模型。
第二方面，提供一种气体检测仪检测识别系统，包括图像获取单元、第一检测单元、第二检测单元和文本识别单元，其中：
图像获取单元，用于获取目标气体检测仪的巡检图像，所述巡检图像由巡检机器人采集得到，所述巡检图像包含目标气体检测仪的显示屏以及显示屏所显示的文本信息；
第一检测单元，用于将所述巡检图像输入预置的显示屏检测模型进行显示屏检测，得到所述巡检图像的显示屏检测结果，所述显示屏检测模型为ONNX模型，所述ONNX模型由采用YOLOv5算法进行设定图像训练集训练后所生成的PT模型转化得到；
第二检测单元，用于根据所述显示屏检测结果从所述巡检图像中裁剪出显示屏的图像，并将显示屏的图像输入预置的文本检测模型进行文本检测，得到显示屏的文本检测结果，所述文本检测模型由DBNet模型经过文本检测公开数据集训练后得到；
文本识别单元，用于根据所述文本检测结果从显示屏的图像中提取出文本信息，并将文本信息输入预置的文本识别模型进行文本识别，得到显示屏的文本识别结果，所述文本识别模型由SATRN模型经过文本识别公开数据集训练后得到。
第三方面，提供一种气体检测仪检测识别系统，包括：
存储器，用于存储指令；
处理器，用于读取所述存储器中存储的指令，并根据指令执行上述第一方面中任意一种所述的方法。
第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行第一方面中任意一种所述的方法。同时，还提供一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行第一方面中任意一种所述的方法。
有益效果：本发明通过获取巡检机器人所采集的目标气体检测仪巡检图像来依次进行基于机器学习的显示屏检测、文本检测和文本识别，得到目标气体检测仪的显示屏读数文本信息，可以高效、准确地检测识别出目标气体检测仪的仪表读数。本发明采用巡检机器人加机器学习识别的巡检方式替代传统人工巡检方式，可以实现智能化、无人化的巡检作业，杜绝人工巡检的安全风险，提高了巡检的效率和质量，降低了人工成本；同时，便于将气体检测仪的显示文本信息实时准确上报，避免了人工巡检容易遗漏、记错以及无法及时上报的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1中方法的步骤示意图；
图2为本发明实施例2中系统的构成示意图；
图3为本发明实施例3中系统的构成示意图。
具体实施方式
在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。本文公开的特定结构和功能细节仅用于描述本发明的示例实施例。然而，可用很多备选的形式来体现本发明，并且不应当理解为本发明限制在本文阐述的实施例中。
应当理解，除非另有明确的规定和限定，术语“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在实施例中的具体含义。
在下面的描述中提供了特定的细节，以便于对示例实施例的完全理解。然而，本领域普通技术人员应当理解可以在没有这些特定细节的情况下实现示例实施例。例如可以在框图中示出系统，以避免用不必要的细节来使得示例不清楚。在其他实施例中，可以不以非必要的细节来示出众所周知的过程、结构和技术，以避免使得实施例不清楚。
实施例1：
本实施例提供一种气体检测仪检测识别方法，可以但不限于应用在巡检机器人的服务器侧，如图1所示，方法包括以下步骤：
S1.获取目标气体检测仪的巡检图像，所述巡检图像由巡检机器人采集得到，所述巡检图像包含目标气体检测仪的显示屏以及显示屏所显示的文本信息。
具体实施时，巡检机器人可根据设定的巡检路线在相应的作业环境，如城市综合管廊中，采集目标气体检测仪的巡检图像，巡检机器人在对目标气体检测仪进行图像采集时，可先移动至目标气体检测仪的正前方，然后调整伸缩杆上摄像头的拍摄角度，正对目标气体检测仪进行聚焦拍摄，得到目标气体检测仪的巡检图像。所述巡检图像应包含目标气体检测仪的显示屏以及显示屏所显示的文本信息。
S2.将所述巡检图像输入预置的显示屏检测模型进行显示屏检测，得到所述巡检图像的显示屏检测结果，所述显示屏检测模型为ONNX模型，所述ONNX模型由采用YOLOv5算法进行设定图像训练集训练后所生成的PT模型转化得到。
具体实施时，在获取目标气体检测仪的巡检图像后，将巡检图像输入预置的显示屏检测模型进行显示屏检测，得到所述巡检图像的显示屏检测结果，确定显示屏的图像部分。所述显示屏检测模型选用ONNX(Open Neural Network Exchange，开放神经网络交换)模型，ONNX模型构建过程包括：采用YOLOv5算法进行设定图像训练集训练后，生成PT模型(pytorch模型文件)；采用调参或优化网络架构的方法提升PT模型的精确度至90％以上；然后将PT模型转化为ONNX模型。
可选地，用于进行模型训练的图像训练集的组建过程包括如下步骤S201至S203：
S201.获取若干气体检测仪样本图像，并对获取的若干气体检测仪样本图像进行图像清洗，以剔除其中模糊的图像以及有光线缺陷的图像，得到清洗后的气体检测仪样本图像集，气体检测仪样本图像集中的各气体检测仪样本图像均包含对应的显示屏。
具体实施时，可以但不限于采用图片爬虫方式在线采集若干(如1000张左右)气体检测仪样本图像，以及地下管廊实地拍摄的方式来获取若干(如1000张左右)气体检测仪样本图像。在得到初始的若干气体检测仪样本图像后，还需要进行图像清洗处理，以剔除其中模糊的图像以及有光线缺陷的图像，避免这些图像对训练造成干扰，保证后续训练出的模型的可靠性。在进行图像清洗处理前还可手动去除不符合相应场景的气体检测仪样本图像。具体进行图像清洗的过程如下步骤S201a至S201d：
S201a.对各气体检测仪样本图像进行快速傅里叶变换处理，得到各气体检测仪样本图像的频谱信息。
S201b.根据频谱信息判定对应的气体检测仪样本图像是否模糊，并在判定相应的气体检测仪样本图像模糊时，将该气体检测仪样本图像剔除。频谱信息主要包括图像的高频分量和低频分量，如果高频分量占比大于设定阈值，就判定对应的气体检测仪样本图像模糊，需要进行剔除，否则就予以保留。
S201c.采用灰度世界算法对各气体检测仪样本图像进行处理，确定各气体检测仪样本图像的平均灰度值以及RGB三通道灰度中值。灰度世界算法(Gray World)是以灰度世界假设为基础的，该假设认为对于一幅有着大量色彩变化的图像，R(红色)、G(绿色)、B(蓝色)三个分量的平均值趋于同一个灰度K。通过灰度世界算法进行处理后，可确定出相应气体检测仪样本图像的平均灰度值以及RGB三通道灰度中值。
S201d.若相应气体检测仪样本图像的平均灰度值偏离RGB三通道灰度中值，即两者差值超过设定的偏移范围，则判定该气体检测仪样本图像有光线缺陷，将其剔除，否则就对相应气体检测仪样本图像予以保留。
通过上述的图像清洗过程后，保留下的若干气体检测仪样本图像就可用于后续的图像标注处理。标注过程如步骤S202。
S202.对气体检测仪样本图像集中的各气体检测仪样本图像进行显示屏标签标注，得到标注样本图像集，所述标注样本图像集中包含各标注显示屏标签后的气体检测仪样本图像。在对气体检测仪样本图像进行进行显示屏标签标注时，可以但不限于使用labelimg软件拉框标注出气体检测仪的显示屏部分。
S203.对样本图像集中各标注显示屏标签后的气体检测仪样本图像进行图像数据增强处理，得到图像训练集。各气体检测仪样本图像标注完成后，还需要进行图像数据增强处理，具体的数据增强处理过程如下步骤S203a至S203d：
S203a.对样本图像集中各标注显示屏标签后的气体检测仪样本图像进行仿射变换处理，得到若干样本变换图像，组成样本变换图像集。仿射变换是指在向量空间中进行一次线性变换和一次平移，变换到另一个向量空间的过程。图像的仿射变换可以通过一系列原子变换复合实现，具体包括：平移、缩放、旋转、翻转和错切，将单张图片变为多张图片，用于提升模型的泛化性。
S203b.将样本变换图像集中的各样本变换图像随机两两组合后按照第一预设比例进行图像混合处理，得到若干混合样本图像。所述第一预设比例可以但不限于20％、40％或60％等，可根据实际情况设定，样本变换图像按比例混合后，对应的标签分类结果按相同的比例分配。通过图像混合处理可以提高模型的泛化能力和鲁棒性，让模型学习到更多的特征组合，而不是只关注某些局部特征。
S203c.随机将样本变换图像集中的一部分样本变换图像按照第二预设比例进行部分区域裁剪，并对裁剪掉的区域进行0像素值填充，0像素值填充的样本变换图像标签分类的结果不变，这样可以减少模型对某些局部特征的过拟合，提高模型对遮挡和噪声的鲁棒性。将另一部分样本变换图像按照第二预设比例进行部分区域裁剪，并对裁剪掉的区域进行其他区域像素值填充，所述其他区域为任意其他样本变换图像的被裁减区域，所述第二预设比例可以但不限于20％、40％或60％等，可根据实际情况设定，通过其他区域像素值填充后的图像，对应的标签分类结果按相同的比例分配，通过这种填充方式可以提高模型对多个目标的识别能力和泛化能力。最终，两部分样本变换图像经过相应的裁剪填充后，得到若干填充样本图像。
S203d.对样本变换图像集中的各样本变换图像进行裁剪拼接处理，得到若干拼接样本图像。具体地，对各样本变换图像进行裁剪拼接处理的过程包括S203d1-S203d3：
S203d1.从样本变换图像集中随机取出设定数量的样本变换图像组成待拼接集，并从待拼接集中随机选取一张样本变换图像作为载体图像，将待拼接集中其余的样本变换图像作为裁剪目标图像。示例性地，可从样本变换图像集中随机取出5张样本变换图像组成待拼接集，其中一张作为载体图像，另外4张作为裁剪目标图像。
S203d2.将各裁剪目标图像按随机比例裁剪后拼接至载体图像，得到拼接样本图像。拼接样本图像的标签分类结果同样按照拼接所占比例进行分配。通过这样的裁剪拼接处理，丰富了拼接样本图像的背景，有利于模型的训练。
S203d3.重复上述步骤S203d1至S203d2，直至满足设定的拼接结束条件时为止，得到若干拼接样本图像。
通过前述样本变换图像集进行相应的图像混合、裁剪填充及裁剪拼接处理，分别得到若干混合样本图像、若干填充样本图像和若干拼接样本图像，即可利用若干混合样本图像、若干填充样本图像和若干拼接样本图像组成所述图像训练集。
S3.根据所述显示屏检测结果从所述巡检图像中裁剪出显示屏的图像，并将显示屏的图像输入预置的文本检测模型进行文本检测，得到显示屏的文本检测结果，所述文本检测模型由DBNet模型经过文本检测公开数据集训练后得到。
具体实施时，在得到相应的显示屏检测结果后，即可根据显示屏检测结果确定巡检图像中显示屏的图像，然后将显示屏的图像输入预置的文本检测模型进行文本检测，得到显示屏的文本检测结果，确定显示屏所显示文本信息。所述文本检测模型由DBNet模型经过相应的文本检测公开数据集，如icdar2015公开数据集，进行可微分二值化训练训练后得到。
S4.根据所述文本检测结果从显示屏的图像中提取出文本信息，并将文本信息输入预置的文本识别模型进行文本识别，得到显示屏的文本识别结果，所述文本识别模型由SATRN模型经过文本识别公开数据集训练后得到。
具体实施时，在得到显示屏的文本检测结果后，可根据显示屏的文本检测结果确定显示屏所显示文本信息，然后将文本信息输入预置的文本识别模型进行文本识别，得到显示屏的文本识别结果。所述文本识别模型由SATRN模型经过相应的文本识别公开数据集，如ic15_data公开数据集，进行文本识别训练后得到。所述文本识别结果即为目标气体检测仪的显示屏所显示的相应读数，得到文本识别结果后就可通过巡检机器人将文本识别结果传输至监控端，以便监控端在接收到所述文本识别结果后进行可视化展示，使相应的工作人员及时掌握目标气体检测仪的读数信息。
前述步骤中相应的模型，即显示屏检测模型、文本检测模型和文本识别模型，均可部署成Python WebAPI形式，并可使用fastdeploy编译好的openvino后端进行加速，然后部署到服务器中。
本实施例通过上述步骤S1至S4，可以实现智能化、无人化的巡检作业，杜绝人工巡检的安全风险，提高了巡检的效率和质量，降低了人工成本；同时，便于将气体检测仪的显示文本信息实时准确上报，避免了人工巡检容易遗漏、记错以及无法及时上报的问题。
实施例2：
本实施例提供一种气体检测仪检测识别系统，如图2所示，包括图像获取单元、第一检测单元、第二检测单元和文本识别单元，其中：
图像获取单元，用于获取目标气体检测仪的巡检图像，所述巡检图像由巡检机器人采集得到，所述巡检图像包含目标气体检测仪的显示屏以及显示屏所显示的文本信息；
第一检测单元，用于将所述巡检图像输入预置的显示屏检测模型进行显示屏检测，得到所述巡检图像的显示屏检测结果，所述显示屏检测模型为ONNX模型，所述ONNX模型由采用YOLOv5算法进行设定图像训练集训练后所生成的PT模型转化得到；
第二检测单元，用于根据所述显示屏检测结果从所述巡检图像中裁剪出显示屏的图像，并将显示屏的图像输入预置的文本检测模型进行文本检测，得到显示屏的文本检测结果，所述文本检测模型由DBNet模型经过文本检测公开数据集训练后得到；
文本识别单元，用于根据所述文本检测结果从显示屏的图像中提取出文本信息，并将文本信息输入预置的文本识别模型进行文本识别，得到显示屏的文本识别结果，所述文本识别模型由SATRN模型经过文本识别公开数据集训练后得到。
实施例3：
本实施例提供一种气体检测仪检测识别系统，如图3所示，在硬件层面，包括：
数据接口，用于建立处理器与巡检机器人的数据对接；
存储器，用于存储指令；
处理器，用于读取所述存储器中存储的指令，并根据指令执行实施例1中的气体检测仪检测识别方法。
可选地，该系统还包括内部总线，处理器与存储器和数据接口可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(Extended Industry Standard Architecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。
所述存储器可以但不限于包括随机存取存储器(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)、闪存(Flash Memory)、先进先出存储器(First InputFirst Output，FIFO)和/或先进后出存储器(First In Last Out，FILO)等。所述处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
实施例4：
本实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行实施例1中的气体检测仪检测识别方法。其中，所述计算机可读存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(Memory Stick)等，所述计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程系统。
本实施例还提供一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行实施例1中的气体检测仪检测识别方法。其中，所述计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程系统。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种气体检测仪检测识别方法，其特征在于，包括：
获取目标气体检测仪的巡检图像，所述巡检图像由巡检机器人采集得到，所述巡检图像包含目标气体检测仪的显示屏以及显示屏所显示的文本信息；
将所述巡检图像输入预置的显示屏检测模型进行显示屏检测，得到所述巡检图像的显示屏检测结果，所述显示屏检测模型为ONNX模型，所述ONNX模型由采用YOLOv5算法进行设定图像训练集训练后所生成的PT模型转化得到；
根据所述显示屏检测结果从所述巡检图像中裁剪出显示屏的图像，并将显示屏的图像输入预置的文本检测模型进行文本检测，得到显示屏的文本检测结果，所述文本检测模型由DBNet模型经过文本检测公开数据集训练后得到；
根据所述文本检测结果从显示屏的图像中提取出文本信息，并将文本信息输入预置的文本识别模型进行文本识别，得到显示屏的文本识别结果，所述文本识别模型由SATRN模型经过文本识别公开数据集训练后得到。
2.根据权利要求1所述的一种气体检测仪检测识别方法，其特征在于，在将所述巡检图像输入预置的显示屏检测模型进行显示屏检测前，所述方法还包括：
获取若干气体检测仪样本图像，并对获取的若干气体检测仪样本图像进行图像清洗，以剔除其中模糊的图像以及有光线缺陷的图像，得到清洗后的气体检测仪样本图像集，气体检测仪样本图像集中的各气体检测仪样本图像均包含对应的显示屏；
对气体检测仪样本图像集中的各气体检测仪样本图像进行显示屏标签标注，得到标注样本图像集，所述标注样本图像集中包含各标注显示屏标签后的气体检测仪样本图像；
对标注样本图像集中各标注显示屏标签后的气体检测仪样本图像进行图像数据增强处理，得到图像训练集；
采用YOLOv5算法进行设定图像训练集训练，生成PT模型，并将生成的PT模型转化为ONNX模型。
3.根据权利要求2所述的一种气体检测仪检测识别方法，其特征在于，所述对获取的若干气体检测仪样本图像进行图像清洗，包括：
对各气体检测仪样本图像进行快速傅里叶变换处理，得到各气体检测仪样本图像的频谱信息；
根据频谱信息判定对应的气体检测仪样本图像是否模糊，并在判定相应的气体检测仪样本图像模糊时，将该气体检测仪样本图像剔除；
采用灰度世界算法对各气体检测仪样本图像进行处理，确定各气体检测仪样本图像的平均灰度值以及RGB三通道灰度中值；
若相应气体检测仪样本图像的平均灰度值偏离RGB三通道灰度中值，则判定该气体检测仪样本图像有光线缺陷，将其剔除。
4.根据权利要求2所述的一种气体检测仪检测识别方法，其特征在于，所述对样本图像集中各标注显示屏标签后的气体检测仪样本图像进行图像数据增强处理，包括：
对样本图像集中各标注显示屏标签后的气体检测仪样本图像进行仿射变换处理，得到若干样本变换图像，组成样本变换图像集；
将样本变换图像集中的各样本变换图像随机两两组合后按照第一预设比例进行图像混合处理，得到若干混合样本图像；
随机将样本变换图像集中的一部分样本变换图像按照第二预设比例进行部分区域裁剪，并对裁剪掉的区域进行0像素值填充；将另一部分样本变换图像按照第二预设比例进行部分区域裁剪，并对裁剪掉的区域进行其他区域像素值填充，所述其他区域为任意其他样本变换图像的被裁减区域；得到若干填充样本图像；
对样本变换图像集中的各样本变换图像进行裁剪拼接处理，得到若干拼接样本图像；
利用若干混合样本图像、若干填充样本图像和若干拼接样本图像组成所述图像训练集。
5.根据权利要求4所述的一种气体检测仪检测识别方法，其特征在于，所述对样本变换图像集中的各样本变换图像进行裁剪拼接处理，得到若干拼接样本图像，包括：
从样本变换图像集中随机取出设定数量的样本变换图像组成待拼接集，并从待拼接集中随机选取一张样本变换图像作为载体图像，将待拼接集中其余的样本变换图像作为裁剪目标图像；
将各裁剪目标图像按随机比例裁剪后拼接至载体图像，得到拼接样本图像；
重复上述拼接步骤，直至满足设定的拼接结束条件时为止，得到若干拼接样本图像。
6.根据权利要求1所述的一种气体检测仪检测识别方法，其特征在于，在将显示屏的图像输入预置的文本检测模型进行文本检测前，所述方法还包括：利用设定的文本检测公开数据集对预置的DBNet模型进行可微分二值化训练，得到训练后的文本检测模型。
7.根据权利要求1所述的一种气体检测仪检测识别方法，其特征在于，在并将文本信息输入预置的文本识别模型进行文本识别前，所述方法还包括：利用设定的文本识别公开数据集对预置的SATRN模型进行文本识别训练，得到训练后的文本识别模型。
8.一种气体检测仪检测识别系统，其特征在于，包括图像获取单元、第一检测单元、第二检测单元和文本识别单元，其中：
图像获取单元，用于获取目标气体检测仪的巡检图像，所述巡检图像由巡检机器人采集得到，所述巡检图像包含目标气体检测仪的显示屏以及显示屏所显示的文本信息；
第一检测单元，用于将所述巡检图像输入预置的显示屏检测模型进行显示屏检测，得到所述巡检图像的显示屏检测结果，所述显示屏检测模型为ONNX模型，所述ONNX模型由采用YOLOv5算法进行设定图像训练集训练后所生成的PT模型转化得到；
第二检测单元，用于根据所述显示屏检测结果从所述巡检图像中裁剪出显示屏的图像，并将显示屏的图像输入预置的文本检测模型进行文本检测，得到显示屏的文本检测结果，所述文本检测模型由DBNet模型经过文本检测公开数据集训练后得到；
文本识别单元，用于根据所述文本检测结果从显示屏的图像中提取出文本信息，并将文本信息输入预置的文本识别模型进行文本识别，得到显示屏的文本识别结果，所述文本识别模型由SATRN模型经过文本识别公开数据集训练后得到。
9.一种气体检测仪检测识别系统，其特征在于，包括：
存储器，用于存储指令；
处理器，用于读取所述存储器中存储的指令，并根据指令执行权利要求1-7任意一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行权利要求1-7任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310358719.1A CN116311211A (zh) | 2023-03-27 | 2023-03-27 | 一种气体检测仪检测识别方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310358719.1A CN116311211A (zh) | 2023-03-27 | 2023-03-27 | 一种气体检测仪检测识别方法、系统及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116311211A true CN116311211A (zh) | 2023-06-23 |
Family
ID=86799616
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310358719.1A Pending CN116311211A (zh) | 2023-03-27 | 2023-03-27 | 一种气体检测仪检测识别方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116311211A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117058689A (zh) * | 2023-10-09 | 2023-11-14 | 巴斯夫一体化基地(广东)有限公司 | 用于化工生产的离线检测数据处理方法 |
-
2023
- 2023-03-27 CN CN202310358719.1A patent/CN116311211A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117058689A (zh) * | 2023-10-09 | 2023-11-14 | 巴斯夫一体化基地(广东)有限公司 | 用于化工生产的离线检测数据处理方法 |
| CN117058689B (zh) * | 2023-10-09 | 2024-02-20 | 巴斯夫一体化基地(广东)有限公司 | 用于化工生产的离线检测数据处理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108686978B (zh) | 基于arm的水果类别和色泽的分拣方法及系统 | |
| CN109712127B (zh) | 一种用于机巡视频流的输电线路故障检测方法 | |
| CN114240939B (zh) | 一种主板元器件外观缺陷检测方法、系统、设备及介质 | |
| CN109413411B (zh) | 一种监控线路的黑屏识别方法、装置及服务器 | |
| CN116311211A (zh) | 一种气体检测仪检测识别方法、系统及存储介质 | |
| CN113780484B (zh) | 工业产品缺陷检测方法和装置 | |
| CN116543241A (zh) | 泄露气体云团的检测方法、装置、存储介质和电子设备 | |
| CN111047598B (zh) | 基于深度学习的输变电设备紫外放电光斑分割方法及装置 | |
| CN115239646A (zh) | 输电线路的缺陷检测方法、装置、电子设备及存储介质 | |
| CN112288682A (zh) | 基于图像配准的电力设备缺陷定位方法 | |
| CN111881984A (zh) | 一种基于深度学习的目标检测方法和装置 | |
| CN114596244A (zh) | 基于视觉处理和多特征融合的红外图像识别方法及系统 | |
| CN117036259A (zh) | 一种基于深度学习的金属板材表面缺陷检测方法 | |
| CN111222355A (zh) | Pcb板上的条码定位方法及系统 | |
| CN111402185A (zh) | 一种图像检测方法及装置 | |
| JPH08145871A (ja) | 粒子画像の領域分割方法及び装置 | |
| CN114757941A (zh) | 变电站设备缺陷的识别方法、装置、电子设备及存储介质 | |
| CN114581709A (zh) | 识别医学图像中的目标的模型训练、方法、设备及介质 | |
| CN116468974B (zh) | 一种基于图像生成的烟雾检测方法、装置及存储介质 | |
| CN117456371B (zh) | 一种组串热斑检测方法、装置、设备及介质 | |
| CN113160060A (zh) | 图像处理方法及装置、设备、存储介质 | |
| CN116597441B (zh) | 基于深度学习和图像模式识别的藻类细胞统计方法及系统 | |
| CN116977334B (zh) | 一种光缆表面瑕疵检测方法及装置 | |
| CN117455940B (zh) | 基于云值守的顾客行为检测方法、系统、设备及存储介质 | |
| EP4321857A1 (en) | Method and apparatus for detecting welding mark, and electronic device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |