CN112529851A - 一种液压管状态确定方法、系统、终端及介质 - Google Patents

一种液压管状态确定方法、系统、终端及介质 Download PDF

Info

Publication number
CN112529851A
CN112529851A CN202011364259.6A CN202011364259A CN112529851A CN 112529851 A CN112529851 A CN 112529851A CN 202011364259 A CN202011364259 A CN 202011364259A CN 112529851 A CN112529851 A CN 112529851A
Authority
CN
China
Prior art keywords
hydraulic pipe
detected
target
state
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011364259.6A
Other languages
English (en)
Other versions
CN112529851B (zh
Inventor
袁钰博
李宗陶
余文涵
刘睿
庞殊杨
周德亮
贾鸿盛
毛尚伟
李文铃
胥泽彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CISDI Chongqing Information Technology Co Ltd
Original Assignee
CISDI Chongqing Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CISDI Chongqing Information Technology Co Ltd filed Critical CISDI Chongqing Information Technology Co Ltd
Priority to CN202011364259.6A priority Critical patent/CN112529851B/zh
Publication of CN112529851A publication Critical patent/CN112529851A/zh
Application granted granted Critical
Publication of CN112529851B publication Critical patent/CN112529851B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Examining Or Testing Airtightness (AREA)

Abstract

本发明提供一种液压管状态确定方法、系统、终端及介质，该方法通过获取样本液压管处于异常状态下的样本图像，进行标注，并构建数据集，根据数据集生成液压管目标检测模型，并进行训练，获取包括待检测液压管的当前待检测图像，输入至训练后的液压管目标检测模型，确定待检测液压管目标框位置信息，并生成当前检测结果，根据当前检测结果确定待检测液压管的状态；解决了过工人识别液压管的状态对工人本身的技术能力以及工作状态要求较高，可能存在漏检、错检的情况，液压管状态确定的准确性、可靠性较差的技术问题，实现了通过机器来确定液压管状态代替人工识别，提升了液压管状态确定的准确性、可靠性。

Description

一种液压管状态确定方法、系统、终端及介质
技术领域
本发明涉及钢铁领域内的图像处理技术领域，特别是涉及一种液压管状态确定方法、系统、终端及介质。
背景技术
在钢铁厂液压站运行系统中，液压管是运输液压油、稀油等物质的装置。如果液压管爆裂而没有发现，也即，没有对液压管的状态进行准确的判断，导致没有对出现异常的液压管进行处理，后果可能非常严重，不仅会造成巨大的经济损失，而且还会带来重大的安全问题，严重威胁作业现场工人的生命财产安全。
当前，钢铁厂液压站的液压管的状态监测主要通过有经验的工人识别。但通过工人识别液压管的状态对工人本身的技术能力以及工作状态要求较高，可能存在漏检、错检的情况，液压管状态确定的准确性、可靠性较差。
发明内容
鉴于以上现有技术的缺点，本发明的目的在于提供一种液压管状态确定方法、系统、终端及介质，用于解决通过工人识别液压管的状态对工人本身的技术能力以及工作状态要求较高，可能存在漏检、错检的情况，液压管状态确定的准确性、可靠性较差的技术问题。
本发明提供了一种液压管状态确定方法，包括：
获取样本液压管处于异常状态下的样本图像，进行标注，并构建数据集；
根据所述数据集生成液压管目标检测模型，并进行训练；
获取包括待检测液压管的当前待检测图像，输入至训练后的所述液压管目标检测模型，确定待检测液压管目标框位置信息，并生成当前检测结果；
根据所述当前检测结果确定所述待检测液压管的状态。
可选的，若所述当前检测结果包括存在检测目标和当前置信度，所述根据所述当前检测结果确定所述待检测液压管的状态包括：
若所述当前置信度大于预设置信度阈值，所述状态包括疑似异常。
可选的，所述液压管状态确定方法还包括以下任意之一：
获取若干张包括所述待检测液压管的历史待检测图像，分别输入至训练后的所述液压管目标检测模型，生成若干个历史检测结果，所述历史检测结果包括历史置信度，获取目标历史检测结果的数量，所述目标历史检测结果包括所述历史置信度大于所述预设置信度阈值的所述历史检测结果，若所述目标历史检测结果的数量大于第一预设数量阈值，所述状态包括异常；
获取所述待检测液压管的最近若干个历史检测结果，所述历史检测结果包括历史置信度，获取目标历史检测结果的数量，所述目标历史检测结果包括所述历史置信度大于所述预设置信度阈值的所述历史检测结果，若所述目标历史检测结果的数量大于第二预设数量阈值，所述状态包括异常。
可选的，若所述状态包括疑似异常或异常，所述当前检测结果还包括异常类型，液压管状态确定方法还包括以下至少之一：
发送报警信息；
发送所述当前待检测图像；
发送所述异常类型；
发送所述待检测液压管的位置信息。
可选的，对样本图像进行标注，构建数据集包括：
对所述样本图像中的样本液压管进行标注，生成样本液压管目标框；
获取所述样本液压管目标框的样本目标框位置信息；
根据所述样本目标框位置信息构建所述数据集。
可选的，所述液压管目标检测模型的训练方式包括：
将所述数据集输入至所述液压管目标检测模型；
所述液压管目标检测模型确定若干个样本液压管目标框位置信息；
将所述样本液压管目标框位置信息通过非极大值抑制算法进行优选，生成训练后的液压管目标检测模型。
可选的，所述液压管目标检测模型确定若干个样本目标框位置信息包括：
所述液压管目标检测模型对所述样本液压管的异常状态特征进行提取，并学习；
确定若干个所述样本液压管目标框所对应的异常类型，以及所述样本目标框位置信息。
可选的，所述异常状态的异常类型包括以下至少之一：
存在喷雾现象、存在流状喷射现象、存在柱状喷射现象。
本发明还提供了一种液压管状态确定系统，包括：
样本图像获取模块，用于获取样本液压管处于异常状态下的样本图像，进行标注，并构建数据集；
生成模块，用于根据所述数据集生成液压管目标检测模型，并进行训练；
当前待检测图像获取模块，用于获取包括待检测液压管的当前待检测图像，输入至训练后的所述液压管目标检测模型，确定待检测液压管目标框位置信息，并生成当前检测结果；
确定模块，用于根据所述当前检测结果确定所述待检测液压管的状态。
本发明还提供了一种终端，包括处理器、存储器和通信总线；
通信总线用于将处理器和存储器连接；
处理器用于执行存储器中存储的计算机程序，以实现如上述实施例中一个或多个的液压管状态确定方法。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，
计算机程序用于使计算机执行如上述实施例中任一项的液压管状态确定方法。
如上，本发明提供的一种液压管状态确定方法、系统、终端及介质，具有以下有益效果：
通过获取样本液压管处于异常状态下的样本图像，进行标注，并构建数据集，根据数据集生成液压管目标检测模型，并进行训练，获取包括待检测液压管的当前待检测图像，输入至训练后的液压管目标检测模型，确定待检测液压管目标框位置信息，并生成当前检测结果，根据当前检测结果确定待检测液压管的状态；解决了过工人识别液压管的状态对工人本身的技术能力以及工作状态要求较高，可能存在漏检、错检的情况，液压管状态确定的准确性、可靠性较差的技术问题，实现了通过机器来确定液压管状态代替人工识别，提升了液压管状态确定的准确性、可靠性。
附图说明
图1为本发明实施例一提供的液压管状态确定方法的一种流程示意图；
图2为液压管异常类型为存在喷雾现象的一种示意图；
图3为本发明实施例一提供的液压管状态确定方法的一种具体的流程示意图；
图4为本发明实施例二提供的液压管状态确定系统的一种结构示意图；
图5为本发明实施例二提供的终端的一种结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
实施例一
请参阅图1，本发明实施例提供的一种液压管状态确定方法，包括：
S101：获取样本液压管处于异常状态下的样本图像，进行标注，并构建数据集。
可选的，可以通过如下方式获取样本图像：获取钢铁厂液压站中液压管的斜上方所拍摄获得的样本液压管处于异常状态下的图片，作为样本图像。需要说明的是，样本图像的采集位置也可以是其他位置，在此不做限定。
可选的，本实施例的各图像可以通过如相机等拍摄设备进行拍摄获取，也可以通过监控视频等方式获取，在此不做限定。
可选的，异常状态的异常类型包括但不限于以下至少之一：
存在喷雾现象、存在流状喷射现象、存在柱状喷射现象。
其中，参见图2，图2为液压管异常类型为存在喷雾现象的一种示意图，此时待检测液压管目标框面积较大。
可选的，对样本图像进行标注，构建数据集包括：
对样本图像中的样本液压管进行标注，生成样本液压管目标框；
获取样本液压管目标框的样本目标框位置信息；
根据样本目标框位置信息构建数据集。
其中，对样本图像中的样本液压管进行标注时，将该样本液压管的流出物进行标注。由于在样本图像中，样本液压管所流出的流出物与样本液压管是连接的，因此，可以较容易的被识别并标注出来。
需要说明的是，对于样本液压管的标注方式，以及生成样本液压管目标框的方式可以采用现有的相关技术实现，在此不做限定。
可选的，对样本图像标注后所构建的训练集可用于训练的有效信息包括图像基础属性和标注信息。其中，图片基础属性包括：filename-文件名称，width-宽度，height-高度，depth-图像深度。标注信息也即样本目标框位置信息，样本液压管目标框为正方形或长方形，该样本目标框位置信息包括样本目标框在图像中的左上角横坐标xmin、左上角纵坐标ymin、右下角横坐标xmax与右下角纵坐标ymax。需要说明的是，上述仅是一种采用左上角与右下角位置信息定位样本液压管目标框的示例，本领域技术人员根据需要也可以选用左下角与右上角的位置信息定位样本液压管目标框。可选的，样本液压管目标框也可以是其他形状，此时，对于该样本液压管目标框的定位方式也可以采用现有的相关方式实现，在此不做限定。可选的，训练集还包括目标物体的类别class，在本实施例中，目标物体的类别包括钢铁厂液压站中的液压管。
S102：根据数据集生成液压管目标检测模型，并进行训练。
可选的，将数据集输入预先构建的深度学习网络模型进行训练，生成液压管目标检测模型。
可选的，液压管目标检测模型的训练方式包括：
将数据集输入至液压管目标检测模型；
液压管目标检测模型确定若干个样本液压管目标框位置信息；
将样本液压管目标框位置信息通过非极大值抑制算法(NMS)进行优选，生成训练后的液压管目标检测模型。
可选的，液压管目标检测模型确定若干个样本目标框位置信息包括：
液压管目标检测模型对样本液压管的异常状态特征进行提取，并学习；
确定若干个样本液压管目标框所对应的异常类型，以及样本目标框位置信息。
可选的，液压管目标检测模型对样本液压管的异常状态的特征进行提取，并学习的方式可以是采用现有技术能够实现的方式实现，也可以通过人工标注与机器学习结合的方式实现，在此不做限定。
可选的，根据样本目标框位置信息及样本目标框位置信息所对应的异常类型进行训练，所生成训练后的液压管目标检测模型，一方面可以检测输入的图像中的是否存在检测目标，另一方面，若存在检测目标，还可以确定该检测目标的异常类型。
可选的，本实施例中的液压管目标检测模型可以为yolov3神经网络，也可以为R-CNN、SSD-MobileNet与Faster-RCNN等中任意之一。
可选的，根据样本液压管目标框位置信息以及样本液压管目标框位置信息的所属异常类型，生成训练后的液压管目标检测模型。这样，基于该训练后的液压管目标检测模型所生成的当前检测结果，既可以确定是否检测到检测目标，当确认到存在检测目标时，还能够确定该检测目标所处的异常类型。
S103：获取包括待检测液压管的当前待检测图像，输入至训练后的液压管目标检测模型，确定待检测液压管目标框位置信息，并生成当前检测结果。
可选的，当前待检测图像可以通过实时监控视频获取，也可以通过数据库中的图像获取，还是可以通过其他方式获取，在此不做限定。
可选的，若当前待检测图像是基于实时监控视频获取，该液压管状态确定方法可以实现对液压管状态的实时监控，及时发现液压管的异常现象。
可选的，当前检测结果包括：不存在检测目标或存在检测目标。
若当前检测结果包括存在检测目标，当前检测结果还包括检测目标的异常类型。
若当前待检测图像中的待检测液压管没有出现流出物，则训练后的液压管目标检测模型检测不到检测目标，此时当前检测结果包括不存在检测目标。
需要说明的是，流出物可以是液体亦可以是气体，可以是喷雾状态、流状喷射状态、柱状喷射状态等状态中至少之一，在此不做限定。若当前待检测图像中的待检测液压管出现了流出物，则训练后的液压管目标检测模型可以检测到检测目标，此时当前检测结果包括存在检测目标。若该液压管目标检测模型是根据样本液压管目标框位置信息的异常类型和样本液压管目标框位置信息所生成的，此时，当前检测结果还包括检测目标的异常类型。
对于喷雾状态、流状喷射状态、柱状喷射状态的图像，样本液压管目标框位置信息有较大区别，因此，可以实现基于待检测液压管目标框位置信息通过训练后的液压管目标检测模型确定异常类型。
可选的，有时仅凭一张当前待检测图像可能不能更准确的确定当前检测结果，特别是，不能准确的确定异常类型，此时可以通过获取一定时间内的多张当前待检测图像，分别输入至训练后的液压管目标检测模型，进而生成当前检测结果，以实现更加准确的确定异常类型。比如对于待检测液压管的异常类型为流状喷射状态，此时，多张当前待检测图像中液压管中的流出液体的流经范围可能有所增加，或者部分待检测图像中能够拍摄到液滴等，可以通过多张当前待检测图像确定得到液体流动速度较慢，进而确定异常类型为流状喷射状态。又例如，基于多张当前待检测图像中液压管中的流出液体在图像上较为集中，且进一步可以确定液体流动速度较快，呈柱状喷射，进而可以确定异常类型为柱状喷射状态。
可选的，喷雾状态、流状喷射状态、柱状喷射状态的待检测液压管所对应的待检测液压管目标框的面积依次较少，可以通过预先设置不同的面积阈值来区分不同的异常类型。例如，若待检测液压管目标框的面积小于第一面积阈值，则异常类型包括柱状喷射状态；若待检测液压管目标框的面积大于第一面积阈值且小于第二面积阈值，则异常类型包括流状喷射状态，待检测液压管目标框的面积大于第二面积阈值，则异常类型包括雾状喷射状态。
可选的，将待检测图像输入至训练后的液压管目标检测模型，若检测到检测目标，也即，检测到待检测液压管存在流出的流出物，可以得到该待检测液压管所流出的流出物所对应的待检测液压管目标框位置信息；待检测液压管目标框位置信息包括：
[Bandxmin1,Bandymin1,Bandxmax1,Bandymax1]
其中，Bandxmin1、Bandymin1分别为待检测液压管目标框左上角的横坐标、纵坐标；Bandxmax1、Bandymax1分别为待检测液压管目标框右下角的横坐标、纵坐标。
根据该待检测液压管目标框位置信息可以确定当前检测结果。
S104：根据当前检测结果确定待检测液压管的状态。
可选的，若当前检测结果包括不存在检测目标，也即，此时未检测到待检测液压管存在流出物，此时该待检测液压管的状态为正常。
可选的，若当前检测结果包括存在检测目标，也即，此时检测到了待检测液压管存在流出物，此时该待检测液压管的状态可能为异常。为增加训练后的液压管目标检测模型所生成的当前检测结果的准确性与可靠性，此时可以也可以结合其他判断指标进一步综合评判。
可选的，若当前检测结果包括存在检测目标和当前置信度，根据当前检测结果确定待检测液压管的状态包括：
若当前置信度大于预设置信度阈值，状态包括疑似异常。
可选的，仅根据一张当前待检测图像就对待检测液压管的状态下结论可能存在误判的风险，此时可以通过对多张历史待检测图像进行再次检测或直接获取多个历史检测结果，结合多个检测结果进行综合评判，以增加对待检测液压管的状态的确定的准确度和可靠性。
可选的，液压管状态确定方法还包括以下任意之一：
获取若干张包括待检测液压管的历史待检测图像，分别输入至训练后的液压管目标检测模型，生成若干个历史检测结果，历史检测结果包括历史置信度，获取目标历史检测结果的数量，目标历史检测结果包括历史置信度大于预设置信度阈值的历史检测结果，若目标历史检测结果的数量大于第一预设数量阈值，状态包括异常；
获取待检测液压管的最近若干个历史检测结果，历史检测结果包括历史置信度，获取目标历史检测结果的数量，目标历史检测结果包括历史置信度大于预设置信度阈值的历史检测结果，若目标历史检测结果的数量大于第二预设数量阈值，状态包括异常。
需要说明的是，历史待检测图像为对同一待检测液压管在之前预设时间内所拍摄的图像。其中，历史待检测图像的数量以及第一预设数量阈值可以由本领域技术人员根据需要进行设置。
需要说明的是，历史检测结果为对同一待检测液压管在之前预设时间内所检测的历史检测结果。其中，历史检测结果的数量以及第二预设数量阈值可以由本领域技术人员根据需要进行设置。
可选的，第一预设数量的具体数值可以是非固定的，可以根据历史待检测图像数量的一定比例来确定。例如，历史待检测图像的数量为A，取某一特定比例X，则第一预设数量＝A*X。
同理，第二预设数量的具体数值也可以是非固定的，可以根据历史检测结果的数量的一定比例来确定。例如，历史检测结果的数量为B，取某一特定比例Y，则第二预设数量＝B*Y。
在一些实施例中，若状态包括疑似异常或异常，当前检测结果还包括异常类型，液压管状态确定方法还包括以下至少之一：
发送报警信息；
发送当前待检测图像；
发送异常类型；
发送待检测液压管的位置信息。
可选的，报警信息可以通过智能启动声光报警装置、L1系统、双网报警器等至少之一来发送，其他的智能报警装置也可以，在此不做限定。
通过及时将待检测液压管处于疑似异常状态或异常状态的信息传递给预设消息接收方，可以实现对液压管的状态的准确及时判断，及时上报异常信息，及时处理，可以确保生成安全。
可选的，将异常类型、待检测液压管的位置信息、当前待检测图像中至少之一进行上报，也可以使得相关人员获取到更多的液压管异常的线管信息，可以实现及时预判，设计处置预案，加速对出现异常状态的液压管的处置。
可选的，本实施例中信息的传递方式可以采用RS485通讯协议，其他的信息传递方式亦可实现与本实施例相近的效果，如RS232、Can总线等，在此不做限定。
本实施例提供了一种液压管状态确定方法，包括获取样本液压管处于异常状态下的样本图像，进行标注，并构建数据集，根据数据集生成液压管目标检测模型，并进行训练，获取包括待检测液压管的当前待检测图像，输入至训练后的液压管目标检测模型，生成当前检测结果，根据当前检测结果确定待检测液压管的状态；解决了过工人识别液压管的状态对工人本身的技术能力以及工作状态要求较高，可能存在漏检、错检的情况，液压管状态确定的准确性、可靠性较差的技术问题，实现了通过机器来确定液压管状态代替人工识别，提升了液压管状态确定的准确性、可靠性。
下面通过一个具体的实施例来示例性说明本实施例提供的液压管状态确定方法，参见图3，该具体的液压管状态确定方法包括：
S301：获取样本图像。
可选的，样本图像可以通过设置于钢铁厂液压站的液压管一侧的拍摄设备所拍摄的图像提供。
可选的，样本图像中可以包括一个或多个样本液压管，在此不做限定。样本图像中的样本液压管处于异常状态，也即样本液压管存在喷雾现象、流状喷射现象、柱状喷射现象中至少之一。
可选的，钢铁厂液压站的液压管通常运输液压油和稀油，在焊缝连接处易发生爆管漏油，两种油的运输液压管直径、压力均不同，因此可以在液压管斜上方设置相机进行拍摄，这样拍摄区域和识别效果最大化，便于准确判断各液压管实时状态。
需要说明的是，拍摄设备的具体设置位置也可以由本领域技术人员根据需要具体调整，在此不做限定。
需要说明的是，样本图像也可以通过其他渠道获取，在不做限定。
S302：对样本图像进行图像标注，构建数据集；
可选的，对样本图像中的样本液压管进行标注与框选，进而获取样本液压管目标框的样本目标框位置信息；根据所述样本目标框位置信息，构建用于训练检测模型的数据集，完成对样本图像的样本图像信息的采集。其中，对样本液压管进行标注与框选实质上是对样本液压管的流出物进行标注及框选。该流出物可以是气态也可以使液态在此不做限定。
可选的，训练集可用于训练的有效信息包括图像基础属性与标注信息。图片基础属性包括filename-文件名称，width-宽度，height-高度，depth-图像深度。标注信息包括xmin,ymin,xmax,ymax，分别代表每一个液压管的目标框在图像中的左上角横坐标、左上角纵坐标、右下角横坐标与右下角纵坐标；class，即目标物体的类别。
S303：将数据集输入构建的深度学习网络模型进行训练，采用非极大值抑制算法进行优选，获得液压管目标检测模型。
可选的，液压管目标检测模型的训练过程步骤包括：
将数据集(样本图像信息)输入至液压管目标检测模型；
液压管目标检测模型对样本图像中的样本液压管的特征进行提取、学习；
根据样本液压管的特征进行分类预测，确定若干个样本液压管目标框所对应的异常类型，以及样本目标框位置信息；
采用非极大值抑制算法(NMS)对样本目标框位置信息优选，进而得到训练后的液压管目标检测模型。
可选的，根据样本液压管的特征进行分类预测包括：
对喷雾、流状喷射、柱状喷射三个特征进行提取，记录各样本目标框位置信息，并根据特征将样本目标框进行分类。
可选的，本实施例可以采用yolov3神经网络、R-CNN、SSD-MobileNet、Faster-RCNN等中任意之一。
S304：获取实时视频流中的当前待检测图像，输入至训练后的液压管目标检测模型，生成当前检测结果。
可选的，将待检测图像输入至训练后的液压管目标检测模型，若检测到检测目标，也即，检测到待检测液压管存在流出的流出物，可以得到该待检测液压管所流出的流出物所对应的待检测液压管目标框位置信息；待检测液压管目标框位置信息包括：
[Bandxmin1,Bandymin1,Bandxmax1,Bandymax1]
其中，Bandxmin1、Bandymin1分别为待检测液压管目标框左上角的横坐标、纵坐标；Bandxmax1、Bandymax1分别为待检测液压管目标框右下角的横坐标、纵坐标。
基于待检测液压管目标框位置信息确定当前检测结果。
可选的，当前检测结果包括当前置信度。
S305：根据当前置信度、预设置信度阈值，确定待检测液压管的状态。
可选的，确定待检测液压管的状态的方式包括：
预先设定预设置信度阈值a，将当前置信度x与预设置信度阈值a比对，若当前置信度x大于预设置信度阈值a，待检测液压管的状态包括疑似异常，反之待检测液压管的状态包括正常；
预先设定检出次数阈值b和检测对比次数c，获取实时视频流中的若干张历史待检测图像按照图像获取时间顺序输入训练后的液压管目标检测模型，得到的若干个历史置信度y，将历史置信度y与预设置信度阈值a比对，在检测对比次数c内检测到历史置信度y大于预设置信度阈值a的次数超过检出次数阈值b时，待检测液压管的状态包括异常。
S306：根据待检测液压管的状态进行报警判断。
S307：若需要报警，报警并将发送实时视频和待检测液压管的位置信息。
可选的，根据所述检测结果进行报警判断，若情况异常则智能报警并传递实时视频或实施图片和待检测液压管的位置信息给其他系统。
待检测液压管的状态为异常或疑似异常时，可以基于声光报警装置、L1系统、双网报警器等至少之一实现自动报警。
本实施例所提供的液压管状态确定方法，若当前待检测图像为实时监控图像，可以对持续运转的钢铁厂液压站进行实时检测，能够实时识别画面中的钢铁厂液压管的状态，并在检测到存在液压站运行异常、液压管爆管等异常现象时及时报警，提醒工人处理，具有较高的可靠性和精确度。
实施例二
请参阅图4，一种液压管状态确定系统400，包括：
样本图像获取模块401，用于获取样本液压管处于异常状态下的样本图像，进行标注，并构建数据集；
生成模块402，用于根据数据集生成液压管目标检测模型，并进行训练；
当前待检测图像获取模块403，用于获取包括待检测液压管的当前待检测图像，输入至训练后的液压管目标检测模型，确定待检测液压管目标框位置信息，并生成当前检测结果；
确定模块404，用于根据当前检测结果确定待检测液压管的状态。
在本实施例中，该基于液压管状态确定系统实质上是设置了多个模块用以执行上述实施例中的液压管状态确定方法，具体功能和技术效果参照上述实施例一即可，此处不再赘述。
参见图5，本发明实施例还提供了一种终端500，包括处理器501、存储器502和通信总线503；
通信总线503用于将处理器501和存储器连接502；
处理器501用于执行存储器502中存储的计算机程序，以实现如上述实施例一中的一个或多个的液压管状态确定方法。
本发明实施例还提供了一种计算机可读存储介质，其特征在于，其上存储有计算机程序，
计算机程序用于使计算机执行如上述实施例一中的任一项的液压管状态确定方法。
本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的实施例一所包含步骤的指令(instructions)。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (11)

1.一种液压管状态确定方法，其特征在于，包括：
获取样本液压管处于异常状态下的样本图像，进行标注，并构建数据集；
根据所述数据集生成液压管目标检测模型，并进行训练；
获取包括待检测液压管的当前待检测图像，输入至训练后的所述液压管目标检测模型，确定待检测液压管目标框位置信息，并生成当前检测结果；
根据所述当前检测结果确定所述待检测液压管的状态。
2.根据权利要求1所述的液压管状态确定方法，其特征在于，若所述当前检测结果包括存在检测目标和当前置信度，所述根据所述当前检测结果确定所述待检测液压管的状态包括：
若所述当前置信度大于预设置信度阈值，所述状态包括疑似异常。
3.根据权利要求2所述的液压管状态确定方法，其特征在于，所述液压管状态确定方法还包括以下任意之一：
获取若干张包括所述待检测液压管的历史待检测图像，分别输入至训练后的所述液压管目标检测模型，生成若干个历史检测结果，所述历史检测结果包括历史置信度，获取目标历史检测结果的数量，所述目标历史检测结果包括所述历史置信度大于所述预设置信度阈值的所述历史检测结果，若所述目标历史检测结果的数量大于第一预设数量阈值，所述状态包括异常；
获取所述待检测液压管的最近若干个历史检测结果，所述历史检测结果包括历史置信度，获取目标历史检测结果的数量，所述目标历史检测结果包括所述历史置信度大于所述预设置信度阈值的所述历史检测结果，若所述目标历史检测结果的数量大于第二预设数量阈值，所述状态包括异常。
4.根据权利要求3所述的液压管状态确定方法，其特征在于，若所述状态包括疑似异常或异常，所述当前检测结果还包括异常类型，液压管状态确定方法还包括以下至少之一：
发送报警信息；
发送所述当前待检测图像；
发送所述异常类型；
发送所述待检测液压管的位置信息。
5.根据权利要求1-4任一项所述的液压管状态确定方法，其特征在于，对样本图像进行标注，构建数据集包括：
对所述样本图像中的样本液压管进行标注，生成样本液压管目标框；
获取所述样本液压管目标框的样本目标框位置信息；
根据所述样本目标框位置信息构建所述数据集。
6.根据权利要求1-4任一项所述的液压管状态确定方法，其特征在于，所述液压管目标检测模型的训练方式包括：
将所述数据集输入至所述液压管目标检测模型；
所述液压管目标检测模型确定若干个样本液压管目标框位置信息；
将所述样本液压管目标框位置信息通过非极大值抑制算法进行优选，生成训练后的液压管目标检测模型。
7.根据权利要求6所述的液压管状态确定方法，其特征在于，所述液压管目标检测模型确定若干个样本目标框位置信息包括：
所述液压管目标检测模型对所述样本液压管的异常状态特征进行提取，并学习；
确定若干个所述样本液压管目标框所对应的异常类型，以及所述样本目标框位置信息。
8.根据权利要求7所述的液压管状态确定方法，其特征在于，所述异常状态的异常类型包括以下至少之一：
存在喷雾现象、存在流状喷射现象、存在柱状喷射现象。
9.一种液压管状态确定系统，其特征在于，包括：
样本图像获取模块，用于获取样本液压管处于异常状态下的样本图像，进行标注，并构建数据集；
生成模块，用于根据所述数据集生成液压管目标检测模型，并进行训练；
当前待检测图像获取模块，用于获取包括待检测液压管的当前待检测图像，确定待检测液压管目标框位置信息，并输入至训练后的所述液压管目标检测模型，生成当前检测结果；
确定模块，用于根据所述当前检测结果确定所述待检测液压管的状态。
10.一种终端，其特征在于，包括处理器、存储器和通信总线；
通信总线用于将处理器和存储器连接；
处理器用于执行存储器中存储的计算机程序，以实现如权利要求1-8中一个或多个的液压管状态确定方法。
11.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，
计算机程序用于使计算机执行如权利要求1-8中任一项的液压管状态确定方法。
CN202011364259.6A 2020-11-27 2020-11-27 一种液压管状态确定方法、系统、终端及介质 Active CN112529851B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011364259.6A CN112529851B (zh) 2020-11-27 2020-11-27 一种液压管状态确定方法、系统、终端及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011364259.6A CN112529851B (zh) 2020-11-27 2020-11-27 一种液压管状态确定方法、系统、终端及介质

Publications (2)

Publication Number Publication Date
CN112529851A true CN112529851A (zh) 2021-03-19
CN112529851B CN112529851B (zh) 2023-07-18

Family

ID=74995198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011364259.6A Active CN112529851B (zh) 2020-11-27 2020-11-27 一种液压管状态确定方法、系统、终端及介质

Country Status (1)

Country Link
CN (1) CN112529851B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222941A (zh) * 2021-05-17 2021-08-06 中冶赛迪重庆信息技术有限公司 连铸铸坯的切割状态确定方法、系统、设备及介质
CN113239762A (zh) * 2021-04-29 2021-08-10 中国农业大学 一种基于视觉与红外信号的活体检测方法及装置
WO2023184833A1 (zh) * 2022-03-28 2023-10-05 上海商汤智能科技有限公司 检测结果处理方法和装置、设备、介质及计算机程序产品

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170008162A1 (en) * 2015-05-26 2017-01-12 Kabushiki Kaisha Toshiba Electronic appliance control method and electronic appliance control device
CN109003390A (zh) * 2018-06-29 2018-12-14 深圳和而泰数据资源与云技术有限公司 一种商品识别方法、无人售货机及计算机可读存储介质
CN109102678A (zh) * 2018-08-30 2018-12-28 青岛联合创智科技有限公司 一种融合uwb室内定位与视频目标检测与跟踪技术的溺水行为检测方法
CN208795479U (zh) * 2018-08-30 2019-04-26 无锡悦鑫工贸有限公司 一种火车用零部件的强度检测装置
CN110083728A (zh) * 2019-04-03 2019-08-02 上海联隐电子科技合伙企业(有限合伙) 一种优化自动化图片数据清洗质量的方法、装置和系统
US20190304094A1 (en) * 2018-04-03 2019-10-03 Fujifilm Corporation Prediction apparatus, prediction method, prediction program
CN110415220A (zh) * 2019-07-09 2019-11-05 国电大渡河瀑布沟发电有限公司 一种大型水电站的设备智能巡检方法
CN110992349A (zh) * 2019-12-11 2020-04-10 南京航空航天大学 一种基于深度学习的地下管道异常自动化定位与识别方法
CN111079694A (zh) * 2019-12-28 2020-04-28 神思电子技术股份有限公司 一种柜面助手履职监控装置和方法
CN111723860A (zh) * 2020-06-17 2020-09-29 苏宁云计算有限公司 一种目标检测方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170008162A1 (en) * 2015-05-26 2017-01-12 Kabushiki Kaisha Toshiba Electronic appliance control method and electronic appliance control device
US20190304094A1 (en) * 2018-04-03 2019-10-03 Fujifilm Corporation Prediction apparatus, prediction method, prediction program
CN109003390A (zh) * 2018-06-29 2018-12-14 深圳和而泰数据资源与云技术有限公司 一种商品识别方法、无人售货机及计算机可读存储介质
CN109102678A (zh) * 2018-08-30 2018-12-28 青岛联合创智科技有限公司 一种融合uwb室内定位与视频目标检测与跟踪技术的溺水行为检测方法
CN208795479U (zh) * 2018-08-30 2019-04-26 无锡悦鑫工贸有限公司 一种火车用零部件的强度检测装置
CN110083728A (zh) * 2019-04-03 2019-08-02 上海联隐电子科技合伙企业(有限合伙) 一种优化自动化图片数据清洗质量的方法、装置和系统
CN110415220A (zh) * 2019-07-09 2019-11-05 国电大渡河瀑布沟发电有限公司 一种大型水电站的设备智能巡检方法
CN110992349A (zh) * 2019-12-11 2020-04-10 南京航空航天大学 一种基于深度学习的地下管道异常自动化定位与识别方法
CN111079694A (zh) * 2019-12-28 2020-04-28 神思电子技术股份有限公司 一种柜面助手履职监控装置和方法
CN111723860A (zh) * 2020-06-17 2020-09-29 苏宁云计算有限公司 一种目标检测方法及装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ANBARI M J等: "Risk assessment model to prioritize sewer pipes inspection in wastewater collection networks", 《JOURNAL OF ENVIRONMENTAL MANAGEMENT》, vol. 190, pages 91 - 101, XP029883698, DOI: 10.1016/j.jenvman.2016.12.052 *
侯艳宏等: "重整预加氢单元反应流出物注水管线泄漏故障分析", 《第八届（2017）石油化工设备维护检修技术交流会》, pages 174 - 176 *
周江;任锟;帅英琦;陈英豪;: "基于机器视觉的磁钢片缺陷检测研究", no. 12, pages 1545 *
田志龙等: "基于主动学习技术的企业模型辅助构建", 《沈阳航空航天大学学报》 *
田志龙等: "基于主动学习技术的企业模型辅助构建", 《沈阳航空航天大学学报》, no. 05, 25 October 2013 (2013-10-25), pages 75 - 81 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113239762A (zh) * 2021-04-29 2021-08-10 中国农业大学 一种基于视觉与红外信号的活体检测方法及装置
CN113222941A (zh) * 2021-05-17 2021-08-06 中冶赛迪重庆信息技术有限公司 连铸铸坯的切割状态确定方法、系统、设备及介质
WO2023184833A1 (zh) * 2022-03-28 2023-10-05 上海商汤智能科技有限公司 检测结果处理方法和装置、设备、介质及计算机程序产品

Also Published As

Publication number Publication date
CN112529851B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
CN112529851A (zh) 一种液压管状态确定方法、系统、终端及介质
CN112990146B (zh) 一种基于无人机的石油管线巡检异常隐患智能识别方法
CN111932709A (zh) 一种基于ai识别实现加油站巡检作业违规安全监管的方法
CN110703760B (zh) 一种用于安防巡检机器人的新增可疑物体检测方法
CN110515378A (zh) 一种应用于无人艇的智能目标搜索方法
CN104154424A (zh) 一种特气安全传输远程监控系统及方法
CN110414478A (zh) 人工智能云计算非应用感应器的意外事故液体气体泄漏监控方法
CN117478843B (zh) 一种智慧巡控系统及方法
CN113887412A (zh) 污染排放的检测方法、检测终端、监控系统及存储介质
CN114665608B (zh) 用于变电站的智能感知巡检系统及方法
CN115880231A (zh) 一种基于深度学习的输电线路隐患检测方法和系统
CN118053266B (zh) 一种基于多模数据通信的高位滑坡灾害链监测方法
CN117579788B (zh) 一种基于ai的加油站卸油监控方法、系统和存储介质
CN112633157B (zh) 一种agv工作区域安全性的实时检测方法及系统
CN110553151A (zh) 一种管道泄漏监测方法和系统
CN116311034A (zh) 一种基于对比检测的机器人巡检系统
CN116758465A (zh) 一种基于动态ai视觉的燃气管线车载巡检系统
CN116052356A (zh) 一种智能工地监控平台
CN116228097A (zh) 一种危险品仓储应急管理系统
CN115187880A (zh) 基于图像识别的通信光缆缺陷检测方法、系统及存储介质
KR20230107035A (ko) 전력 설비를 위한 화재 대응 방법 및 영상인식 기반 화재 대응 시스템
CN113242449A (zh) 输电线路环境中特殊障碍物识别方法、系统、介质及应用
CN111102987B (zh) 一种救援车辆跟踪方法、装置、服务器和介质
CN111836019A (zh) 一种用于海上安保的视频监控系统及其应用
CN112785745A (zh) 巡更管理方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 401329 No. 5-6, building 2, No. 66, Nongke Avenue, Baishiyi Town, Jiulongpo District, Chongqing

Applicant after: MCC CCID information technology (Chongqing) Co.,Ltd.

Address before: 20-24 / F, No.7 Longjing Road, North New District, Yubei District, Chongqing

Applicant before: CISDI CHONGQING INFORMATION TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant