CN116543241B - 泄露气体云团的检测方法、装置、存储介质和电子设备 - Google Patents

泄露气体云团的检测方法、装置、存储介质和电子设备 Download PDF

Info

Publication number
CN116543241B
CN116543241B CN202310829180.3A CN202310829180A CN116543241B CN 116543241 B CN116543241 B CN 116543241B CN 202310829180 A CN202310829180 A CN 202310829180A CN 116543241 B CN116543241 B CN 116543241B
Authority
CN
China
Prior art keywords
target
cloud
target frame
gas cloud
gas
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310829180.3A
Other languages
English (en)
Other versions
CN116543241A (zh
Inventor
朱义伟
陈晓
童俊艳
余涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202310829180.3A priority Critical patent/CN116543241B/zh
Publication of CN116543241A publication Critical patent/CN116543241A/zh
Application granted granted Critical
Publication of CN116543241B publication Critical patent/CN116543241B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Examining Or Testing Airtightness (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种泄露气体云团的检测方法、装置、存储介质和电子设备，包括：将第一红外图像输入气云目标检测模型进行目标检测，输出符合气云特征的第一目标框，并基于第一红外图像确定第一目标框对应的第一目标框图像；将第一红外图像及其相邻的N帧红外图像进行目标检测后得到的位于不同帧且指示同一气云目标的多个第一目标框图像作为一个目标框图像组，输入气云序列分类模型；利用气云序列分类模型对输入的目标框图像组进行处理，基于目标框图像组中各目标框图像的空间特征和不同目标框图像间的时间特征，判断目标框图像所指示的气云目标是否为可疑泄漏气云；将确定为可疑泄露气云的气云目标作为检测结果进行输出。应用本申请，能够提高泄露气体云团的检测准确性。

Description

泄露气体云团的检测方法、装置、存储介质和电子设备
技术领域
本申请涉及图像处理技术，特别涉及一种泄露气体云团的检测方法、装置、存储介质和电子设备。
背景技术
天然气作为优质的清洁能源和重要的化工原料，在人民的日常生活和社会的日常生产中均发挥了极其重要的作用，如今也已经成为了我国能源主体中的关键组成部分。然而天然气在运输和使用过程中，较容易由于设备老化或者人员疏忽等原因产生泄漏问题，并且其作为一种易燃易爆的可燃性气体，一旦发生泄漏，较容易造成火灾，会给周围群众的生命和财产安全带来较大的威胁。因而有必要建立一套能够及时准确发现泄漏险情的智能化气体泄漏检测系统。
虽然天然气在可见光波段中呈透明状态，常规相机难以对其进行捕捉，但因其对于环境中存在的波长介于3μm至8μm之间的光波具有明显的吸收作用。红外相机根据该性质，通过分析当前场景中该波段光波的能量存在情况，对该气体可以进行清晰的成像。基于此，业界出现了许多以红外成像视频为处理对象的气云智能检测方法。使用相应方法后，相机能够对当前监控场景中出现的泄漏云团进行自动化报警。除了天然气外，该方法对环境能够造成严重环境污染的其他VOCs气体具有同样的监测效果。
目前大部分气云检测算法是使用传统图像处理方法对红外图像进行处理实现的，其大致算法流程为：首先使用多波段高光谱相机或者宽波段红外相机对当前场景进行监控，获得视频成像数据；然后使用图像预处理方法，包括中值滤波等滤波算法、灰度变换等增强方法，对视频图像进行处理，以减弱噪声，增强气云特征；之后或者直接对图像进行气云位置检测并报警，或者先使用视频差分算法获得运动区域，后对运动区域进行分类，确定该运动位置是否包含气云并报警。
此外，也存在部分算法考虑到红外图像成像质量较差，导致算法误报较多，因而同步对可见光进行处理，来降低算法误报情况。
但上述方法存在以下问题：1)在红外成像视频数据中，气云通常具有成像特征不清晰的特点。然而一般图像滤波算法也会呈现在去除图像噪声的同时，模糊图像特征的特点。因此，当面对复杂处理环境或者需要同时处理多个场景数据时，寻找有效的红外图像滤波算法和增强算法会存在较大的难度。2)在报警阶段，无论是直接检测气云存在位置方法，还是先差分获得气云存在可疑区域，再分类确定最终报警方法，均使用了复杂程度较低的算法，这也使得整体方法在效果上局限性较大，检测准确率较低，误报较多。3)在最终报警时，大部分方法仅采用物体框报警的方式，即不利于后续的气羽具体浓度分析，又不能给工作人员提供直观的展示。4) 对可见光的处理较为简单，误报去除效果不明显。
发明内容
本申请提供一种泄露气体云团的检测方法、存储介质和电子设备，能够提高泄露气体云团的检测准确性。
为实现上述目的，本申请采用如下技术方案：
一种泄露气体云团的检测方法，包括：
将采集的第一红外图像输入预先训练好的气云目标检测模型，利用所述气云目标检测模型在所述第一红外图像中进行目标检测，输出符合气云特征的第一目标框，并基于所述第一红外图像确定所述第一目标框对应的第一目标框图像；
将所述第一红外图像及其相邻的N帧红外图像进行所述目标检测后得到的位于不同帧且指示同一气云目标的多个第一目标框图像作为一个目标框图像组，输入预先训练好的气云序列分类模型；其中，所述N为预设的正整数；
利用所述气云序列分类模型对输入的目标框图像组进行处理，基于输入的目标框图像组中各个目标框图像的空间特征和不同目标框图像间的时间特征，判断该目标框图像组中的目标框图像所指示的气云目标是否为可疑泄露气云；
将确定为可疑泄露气云的气云目标作为检测结果进行输出。
较佳地，在判断该目标框图像组中的目标框图像所指示的气云目标是否为可疑泄露气云之后、输出检测结果之前，该方法进一步包括：
对于确定为可疑泄露气云的气云目标，将所述第一红外图像中相应的第一目标框图像标记为前景图像，并将对应的第一目标框标记为前景目标框；
将对应所述第一红外图像的可见光图像或所述第一红外图像输入预先训练好的场景理解模型，利用所述场景理解模型对输入图像进行区域划分和各个区域的场景分类标记；
基于标记为所述前景目标框的第二目标框与所述场景理解模型划分出的相关区域的空间位置关系以及所述相关区域的场景分类标记，判断所述第二目标框对应的第二目标框图像所指示的第一气云目标是否为可疑泄露气云；
其中，所述相关区域为与所述第二目标框的位置相关的区域。
较佳地，在判断所述第二目标框图像所指示的第一气云目标是否为可疑泄露气云前，该方法进一步包括：
将所述第二目标框图像输入预先训练好的气云溯源模型，利用所述气云溯源模型在所述第二目标框图像中检测所述第一气云目标的源头位置；
在判断所述第一气云目标是否为可疑泄露气云时，基于所述气云溯源模型检测到的所述第一气云目标的源头位置与所述相关区域的空间位置关系以及所述相关区域的场景分类标记进行。
较佳地，在判断所述第二目标框图像所指示的第一气云目标是否为可疑泄露气云前，该方法进一步包括：
将所述第二目标框图像输入预先训练好的气羽形态估计模型，利用所述气羽形态估计模型在所述第二目标框图像中检测位于所述第一气云目标内的像素点，并利用检测到的像素点描述所述第一气云目标的气羽形态；
在判断所述第一气云目标是否为可疑泄露气云时，进一步基于所述第一气云目标的气羽形态进行。
较佳地，在判断所述第二目标框图像所指示的第一气云目标是否为可疑泄露气云前，该方法进一步包括：
利用所述气云溯源模型在所述第二目标框图像中检测位于所述第一气云目标内的像素点，并利用检测到的像素点描述所述第一气云目标的气羽形态；
在判断所述第一气云目标是否为可疑泄露气云时，进一步基于所述第一气云目标的气羽形态进行。
较佳地，所述气云溯源模型包括两个分支，分别用于确定所述源头位置和估计所述气羽形态；
在训练所述气云溯源模型时，采用双分支联合训练的方式。
较佳地，所述利用所述气云溯源模型在所述第二目标框图像中检测所述第一气云目标的源头位置，包括：
针对所述第二目标框图像中的每个像素确定该像素属于所述第一气云目标源头的概率，若所述概率大于设定的源头阈值，则将相应像素作为源头备选像素；
对于多个连通的源头备选像素构成的区域，若面积大于设定的面积阈值，则将所述区域作为所述第一气云目标的源头位置。
较佳地，在判断所述第二目标框图像所指示的第一气云目标是否为可疑泄露气云之后，该方法进一步包括：对于确定为可疑泄露气云的第一气云目标，基于该第一气云目标的气羽形态，估计相应第一气云目标的浓度。
一种泄露气体云团的检测装置，包括：气云目标检测单元、气云序列分类单元和结果分析单元；
所述气云目标检测单元，用于将采集的第一红外图像输入预先训练好的气云目标检测模型，利用所述气云目标检测模型在所述第一红外图像中进行目标检测，输出符合气云特征的第一目标框，并基于所述第一红外图像确定所述第一目标框对应的第一目标框图像；
所述气云序列分类单元，用于将所述第一红外图像及与其相邻的N帧红外图像进行所述目标检测后得到的位于不同帧且指示同一气云目标的多个目标框图像作为一个目标框图像组，输入预先训练好的气云序列分类模型；还用于利用所述气云序列分类模型对输入的目标框图像组进行处理，判断输入的目标框图像组中各个目标框图像的空间特征和不同目标框图像间的时间特征，判断该目标框图像组中的目标框图像所指示的气云目标是否为可疑泄露气云；其中，所述N为预设的正整数；
所述结果分析单元，用于将确定为可疑泄露气云的气云目标作为检测结果进行输出。
较佳地，所述气云序列分类单元，还用于对确定为可疑泄露气云的气云目标，将所述第一红外图像中相应的第一目标框图像标记为前景图像，并将对应的第一目标框标记为前景目标框；
在所述气云序列分类单元和所述结果分析单元之间进一步包括场景理解单元，用于将对应所述第一红外图像的可见光图像或所述第一红外图像输入预先训练好的场景理解模型，利用所述场景理解模型对输入图像进行区域划分和各个区域的场景分类标记；
所述结果分析单元包括分析子单元和输出子单元；
所述分析子单元，用于在所述输出子单元输出检测结果前，基于标记为所述前景目标框的第二目标框与所述场景理解模型划分出的相关区域的空间位置关系以及所述相关区域的场景分类标记，判断所述第二目标框对应的第二目标框图像所指示的第一气云目标是否为可疑泄露气云；其中，所述相关区域为与所述第二目标框的位置相关的区域；
所述输出子单元，用于将确定为可疑泄露气云的气云目标作为检测结果进行输出。
较佳地，在所述气云序列分类单元和所述结果分析单元之间进一步包括气云溯源单元，用于将所述第二目标框图像输入预先训练好的气云溯源模型，利用所述气云溯源模型在所述第二目标框图像中检测所述第一气云目标的源头位置；
所述分析子单元，在判断所述第一气云目标是否为可疑泄露气云时，基于所述气云溯源模型检测到的所述第一气云目标的源头位置与所述相关区域的空间位置关系以及所述相关区域的场景分类标记进行。
较佳地，在所述气云序列分类单元和所述结果分析单元之间进一步包括气羽形态估计单元，用于将所述第二目标框图像输入预先训练好的气羽形态估计模型，利用所述气羽形态估计模型在所述第二目标框图像中检测位于所述第一气云目标内的像素点，并利用检测到的像素点描述所述第一气云目标的气羽形态；
所述分析子单元，在判断所述第一气云目标是否为可疑泄露气云时进一步基于所述第一气云目标的气羽形态进行。
较佳地，所述气云溯源单元，进一步用于利用所述气云溯源模型在所述第二目标框图像中检测位于所述第一气云目标内的像素点，并利用检测到的像素点描述所述第一气云目标的气羽形态；
所述分析子单元，在判断所述第一气云目标是否为可疑泄露气云时进一步基于所述第一气云目标的气羽形态进行。
较佳地，在所述气云溯源单元中，所述利用所述气云溯源模型在所述第二目标框图像中检测所述第一气云目标的源头位置，包括：
针对所述第二目标框图像中的每个像素确定该像素属于所述第一气云目标源头的概率，若所述概率大于设定的源头阈值，则将相应像素作为源头备选像素；
对于多个连通的源头备选像素构成的区域，若面积大于设定的面积阈值，则将所述区域作为所述第一气云目标的源头位置。
较佳地，该装置进一步包括气云浓度估计单元，用于对于确定为可疑泄露气云的第一气云目标，基于该第一气云目标的气羽形态，估计第一气云目标的浓度。
一种计算机可读存储介质，其上存储有计算机指令，所述指令被处理器执行时可实现上述任一项所述的泄露气体云团的检测方法。
一种电子设备，该电子设备至少包括计算机可读存储介质，还包括处理器；
所述处理器，用于从所述计算机可读存储介质中读取可执行指令，并执行所述指令以实现上述任一项所述的泄露气体云团的检测方法。
由上述技术方案可见，本申请中，将采集的第一红外图像输入预先训练好的气云目标检测模型，利用气云目标检测模型在第一红外图像中进行目标检测，输出符合气云特征的第一目标框图像。接下来，将第一红外图像及与其相邻的N帧红外图像进行目标检测后得到的位于不同帧且指示同一气云目标的多个目标框图像作为一个目标框图像组，输入预先训练好的气云序列分类模型；利用气云序列分类模型对输入的目标框图像组进行处理，判断输入的目标框图像组中各个目标框图像的空间特征和不同目标框图像间的时间特征，判断该目标框图像组中的目标框图像所指示的气云目标是否为可疑泄露气云。最后，将确定为可疑泄露气云的气云目标作为检测结果进行输出。通过上述方式，利用气云目标检测模型对红外图像进行目标检测，找到粗略的气云物体框；再利用气云序列分类模型，引入前后多帧图像中指示相同气云目标的气云物体框之间的时间特征，利用该时间特征对前述得到的粗略的气云物体框进一步筛选，找到更精确的气云物体框，以确定检测结果。这种方式下，利用气云目标检测模型和气云序列分类模型这两个神经网络模型，对于红外图像进行特征提取，并结合真实的泄露气云在前后帧的时间和运动特性，得到相对精确的气云所在物体框，因此能够克服红外图像特征模糊的问题，有效提高泄露气云检测的有效性。
附图说明
图1为本申请中泄露气体云团的检测方法的基本流程示意图；
图2为本申请具体实施例中泄露气体云团的检测方法架构示意图；
图3为本申请具体实施例中泄露气体云团的检测方法流程示意图；
图4为本申请具体实施例中气云目标检测模型的结构示意图；
图5为本申请具体实施例中气云序列分类模型的结构示意图；
图6为本申请具体实施例中场景理解模型的结构示意图；
图7为本申请具体实施例中气云溯源与形态估计模型的结构示意图；
图8为本申请中又一种视频云存储系统的基本结构示意图；
图9为本申请中提供的电子设备的基本结构示意图。
实施方式
为了使本申请的目的、技术手段和优点更加清楚明白，以下结合附图对本申请做进一步详细说明。
本申请的基本思想在于：利用神经网络对红外图像进行特征提取和处理，从而实现泄露气体的检测。
图1为本申请中泄露气体云团的检测方法的基本流程示意图。如图1所示，该方法包括：
步骤101，将采集的第一红外图像输入预先训练好的气云目标检测模型，利用气云目标检测模型在第一红外图像中进行目标检测，输出符合气云特征的第一目标框，并基于第一红外图像确定第一目标框对应的第一目标框图像。
气云目标检测模型是一个预先训练好的用于进行目标检测的神经网络模型。目标检测的输出通常指示一个闭合框，将其称为目标框，用来表征目标所在的区域位置。其中，在气云目标检测模型中，以红外图像作为输入进行目标检测，输出被检测为气云的目标框，将其称为第一目标框。将输入气云目标检测模型的红外图像称为第一红外图像。图1所示的整个方法就是针对单个整帧的第一红外图像，在该图像上找到气云及其相关图像。
接下来，将第一目标框映射到第一红外图像中，确定该第一目标框对应的第一目标框图像，也就是位于第一目标框内的原始图像数据。
通过本步骤的气云目标检测模型，可以对红外图像进行特征提取和目标检测，克服了现有气云检测时会模糊图像特征的问题，以提高气云检测的有效性。
步骤 102，将第一红外图像及其相邻的N帧红外图像进行目标检测后得到的位于不同帧且指示同一气云目标的多个第一目标框图像作为一个目标框图像组，输入预先训练好的气云序列分类模型。
其中，N为预设的正整数。
本步骤用于为后续气云序列分类模型的输入做准备。由于步骤101输出的第一目标框图像可能会出现误检测，比如可能会将人形或树叶等识别为气云。接下来通过气云序列分类模型对联合多帧的数据处理，以从识别出符合气云特征的目标框图像中将误判的目标框图像筛除出去。
具体地，本步骤中针对输入气云目标检测模型的第一红外图像，确定出其相邻的N帧红外图像，这N帧红外图像也都经过气云目标检测模型的处理，确定出相应的符合气云特征的第一目标框图像。对于同一帧红外图像，气云目标检测模型输出的目标框图像可能为多个，分别用于指示不同的气云目标。对于第一红外图像和前述N帧红外图像，将其中指示同一气云目标的第一目标框图像组成一个目标框图像组，作为气云序列分类模型的输入。
步骤103，利用气云序列分类模型对输入的目标框图像组进行处理，基于输入的目标框图像组中各个目标框图像的空间特征和不同目标框图像间的时间特征，判断该目标框图像组中的目标框图像所指示的气云目标是否为可疑泄露气云。
气云序列分类模型是一个预先训练好的用于进行序列分类的神经网络模型。其中，在该模型中，以一组气云目标框图像作为输入进行处理，提取各个目标框图像的空间特征信息和不同目标框图像间的时间特征，依据相应特征输出分类信息，用于指示相应输入是否属于可疑泄露气云。这样处理的原因在于，步骤101得出的第一目标框图像可能会存在误检测，例如将一些诸如人形、树叶等的复杂物体误判为气云，通过在本步骤的气云序列分类模型中引入不同帧内指示同一气云目标的多个第一目标框图像间的时序特征，可以将静止目标框图像和与气云在时序特征上相差较大的运动目标框图像，与真正的气云目标框图像相区分，这样就可以在步骤101得出的第一目标框图像的基础上筛除静止目标框图像以及与气云在时序特征上相差较大的运动目标框图像，进一步提高泄露气体云团检测的有效性。
步骤104，将确定为可疑泄露气云的气云目标作为检测结果进行输出。
通过步骤101-103的处理，在第一红外图像上检测到属于可疑泄露气云的气云目标。本步骤用于将确定为可疑泄露气云的气云目标作为检测结果进行输出，具体输出气云目标可以输出相应气云目标的标识信息，或者在第一红外图像或其对应的可见光图像上标记相应的气云目标，或者对气云目标所在的目标框图像进行标记等。具体处理可以根据需要进行，这里就不再赘述。
至此，本申请中泄露气体检测的最基础方法流程结束。通过上述处理，利用两个神经网络模型对红外图像上的气云目标进行识别和检测。
在上述处理流程的基础上，为进一步提高泄露气体检测的有效性，可选地，还可以在步骤103和步骤104之间进一步执行如下步骤103a~103c：
步骤103a，对于确定为可疑泄露气云的气云目标，将第一红外图像中相应的目标框图像标记为前景图像。
通常在目标检测中，将检测的目标物体称为前景，将其他部分称为背景。因此，这里为标记步骤103中检测为可疑泄露气云的气云目标所在的目标框图像，将相应目标框图像标记为前景图像，将相应目标框标记为前景目标框。以下将标记为前景目标框的目标框称为第二目标框，将第二目标框对应的目标框图像称为第二目标框图像，将第二目标框图像所指示的气云目标称为第一气云目标。
步骤103b，将对应第一红外图像的可见光图像或第一红外图像输入预先训练好的场景理解模型，利用场景理解模型对输入图像进行区域划分和各个区域的场景分类标记。
本步骤引入场景理解模型这个神经网络模型，用于对输入图像进行区域划分和各个区域的场景分类标记。具体场景理解模型的结构可以采用各种现有结构来实现，只要能够实现区域划分和区域的场景分类标记即可。
可选地，场景理解模型的输入可以采用可见光图像或红外图像，且其输入是整帧图像。其中，输入为可见光图像时，后续利用模型输出结果进行泄露气云检测的准确性会更高，当然即使输入为红外图像，相比于前述最基本的泄露气云的检测方法，也能够进一步提高检测的准确性。
步骤103c，基于标记为前景目标框的第二目标框与场景理解模型划分出的相关区域的空间位置关系以及相关区域的场景分类标记，判断第二目标框所指示的第一气云目标是否为可疑泄露气云。
如前所述，将标记为前景目标框的目标框称为第二目标框，将第二目标框对应的目标框图像称为第二目标框图像，将第二目标框图像所指示的气云目标称为第一气云目标。相关区域为与第二目标框的位置相关的区域，例如与第二目标框重叠、相邻或附近的区域等。
本步骤根据场景理解模型的输出和前述被判定为可疑泄露气云的相关目标框，进一步判断该目标框图像是否确实指示泄露气体。这样处理的原因在于，在步骤103处理结束后检测到的可疑泄露气云目标框及其目标框图像，也有存在误判的可能。考虑到泄露气体的位置和场景特殊性，有些泄露气体可能会出现在某些特定区域中，例如管道天然气的泄露气体通常出现在管道区域等。基于此，可以利用第二目标框与相关区域的相对位置关系以及相关区域的场景分类标记，来对第二目标框做进一步筛查。例如，在检测管道天然气的泄露气体时，可以将未出现在管道区域附近的第二目标框确定为非目标泄露气体对应的目标框，从而将其从检测结果中筛除出去。
更进一步地，为提高泄露气体检测的准确性，可选地，还可以在步骤103a和103c之间加入以下处理：
步骤103b-1，将第二目标框图像输入预先训练好的气云溯源模型，利用气云溯源模型在第二目标框图像中检测第一气云目标的源头位置。
考虑到泄露气体的源头也可能存在其位置特殊性，因此进一步通过本步骤确定气云目标的源头位置。本申请中可以利用预先训练好的气云溯源模型，来对任一气云目标框图像检测气云源头。
具体地，在气云溯源模型中，针对第一气云目标的第二目标框图像，检测气云目标源头位置的方式可以包括：
针对第二目标框图像中的每个像素确定该像素属于第一气云目标源头的概率，若概率值大于设定的源头阈值，则将相应像素作为源头备选像素；
对于多个连通的源头备选像素构成的区域，若面积大于设定的面积阈值，则可以将相应区域作为第一气云目标的源头位置。
如上利用气云溯源模型的处理可以输出第一气云目标的源头位置。
接下来在步骤103c中判断第二目标框图像所指示的第一气云目标是否为可疑泄露气云时，基于第一气云目标的源头位置信息来进行。具体地，在步骤103中会根据第二目标框图像与场景理解模型划分出的相关区域的空间位置关系以及相关区域的场景分类标记，判断第二目标框图像所指示的第一气云目标是否为可疑泄露气云；在这一处理中，第二目标框图像与场景理解模型划分出的相关区域的空间位置关系可以具体为第二目标框图像中第一气云目标的源头位置与场景理解模型划分出的相关区域的空间位置关系，将该空间位置关系再结合相关区域的场景分类标记，判断第二目标框图像所指示的第一气云目标是否为可疑泄露气云。例如，通过步骤103b-1的处理，对于与气云类似的摆动的小草对应的目标框图像，可以确定出其源头位置为小草根部，对应的相关区域分类标记为草地，而不是管道，那么就可以将这类目标框图像从判定为气云的目标框图像集合中筛除出去。
如上，通过气云溯源模型的引入，能够进一步提高泄露气体检测的准确性。
又进一步地，为提高泄露气体检测的准确性，可选地，还可以在步骤103b-1和103c之间加入以下处理：
步骤103b-2，将第二目标框图像输入预先训练好的气羽形态估计模型，利用气羽形态估计模型在第二目标框图像中检测位于第一气云目标内的像素点，并利用检测到的像素点描述第一气云目标的气羽形态。
本步骤利用气羽形态估计模型确定目标框图像中气云目标的气羽形态估计。在该模型中，具体地，在第二目标框图像中检测位于第一气云目标内的像素点，并利用检测到的像素点描述第一气云目标的气羽形态。这里的气羽形态估计模型可以是一个独立的神经网络模型，或者由于气羽形态估计模型和气云溯源模型的输入以及特征提取的处理可以相同，因此也可以将气羽形态估计的处理整合到气云溯源模型中，利用该模型实现气云溯源和气羽形态估计两方面的处理。
接下来在步骤103c中判断第二目标框图像所指示的第一气云目标是否为可疑泄露气云时，可以进一步基于气羽形态估计结果来进行。具体地，在包含气云目标的目标框图像中，真正属于气云的像素通常仅占一小部分，利用气羽形态估计结果可以判断目标框图像中的气羽形态是否符合泄露气云的形态特征，对于不符合泄露气云形态特征的第二目标框图像，则确定其所指示的第一气云目标不是泄露气云，以此进一步对第二目标框图像进行筛选。
同时，当整个流程包括步骤103b-2的处理时，还可以在步骤103处理后，对于判定为可疑泄露气云的第一气云目标，利用相应的气羽形态估计结果估计该可疑泄露气云的浓度。
至此，图1所示的方法流程结束。在上述方法中，利用多个神经网络模型的配合，能够更加准确有效地检测泄露气云。
下面通过具体实施例说明本申请中泄露气体云团的检测方法的具体实现。图2为本申请具体实施例中泄露气体云团的检测方法架构示意图。图3为本申请具体实施例中泄露气体云团的检测方法流程示意图。如图2所示，本实施例的方法架构中包括气云目标检测模型、气云序列分类模型、场景理解模型和气云溯源与形态估计模型。其中，气云溯源与形态估计模型是整合了气云溯源和气羽形态估计的一个神经网络模型。如图2和图3所示，本实施例的方法具体包括如下处理：
步骤301，将采集的第一红外图像输入预先训练好的气云目标检测模型，利用气云目标检测模型在第一红外图像中进行目标检测，输出符合气云特征的第一目标框，并基于第一红外图像确定第一目标框对应的第一目标框图像。
本实施例的处理是以对一个红外图像帧的处理为例进行说明的。实际应用中，可以对红外视频进行解帧，并对获得每个红外图像帧均采用图3所示的流程进行处理。
本步骤对应图2中气云目标检测模型的处理，利用气云目标检测模型对第一红外图像进行目标检测，输出该第一红外图像中每一处气云的定位框，也就是符合气云特征的第一目标框。再将第一目标框映射到第一红外图像中，确定该第一目标框对应的第一目标框图像，也就是位于第一目标框内的原始图像数据。
图4为本申请具体实施例中气云目标检测模型的结构示意图。本实施例中，气云目标检测模型的结构可以如图4所示，具体包括特征提取模块、特征再处理模块、目标粗生成模块和目标再生成模块。
a）对于特征提取模块，其主要目的是提取图像的语义特征，供后续生成目标使用。其中可选地，在进行特征提取时可以分成不同的层级进行，通常上层特征关注目标整体抽象信息，底层特征关注目标纹理信息；
b）对于特征再处理模块，由于a）中的特征提取模型会输出高低多层语义特征，因而本模块的主要目的是对于a）中生成图像语义特征进行高低层融合再分别输出，也就是说在输出的高层特征中融入底层特征的信息，在输出的底层特征中融入高层特征的信息；
c）对于目标粗生成模块，其接收并分别处理b）输出的多层语义特征，输出图像所存在的符合气云特征的前景目标的粗略位置；
d) 对于目标再生成模块，其可以由多层卷积层以及全连接层组成，由于c）中仅输出了前景目标的粗略位置，本模块可以在此基础上，整合b）输出的多层语义特征，进一步对该粗略位置进行精细化，得到更为准确的前景目标的位置框，即第一目标框。
在进行气云目标检测模型的训练时，可采用端到端的方式进行，也即所有模块同时训练；或者也可以将目标粗生成模块和目标再生成模块分开训练，例如将目标粗生成模块单独训练一段时间后，再基于当前的目标粗生成模块训练目标再生成模块。
另外，在本步骤的气云目标检测模型的处理中，目标检测模型的输入除可以是单帧完整图像外，还可以是多帧图像，即输入第一红外图像及其相邻的一个或多个其他红外图像，这种情况下，在特征提取模块可以引入多帧图像间的时序特征，能够更准确地检测到符合气云特征的第一目标框。
步骤302，将第一红外图像及其相邻的N帧红外图像进行目标检测后得到的位于不同帧且指示同一气云目标的多个第一目标框图像作为一个目标框图像组，输入预先训练好的气云序列分类模型。
本步骤的处理与步骤102相同，这里就不再赘述。
步骤303，利用气云序列分类模型对输入的目标框图像组进行处理，基于输入的目标框图像组中各个目标框图像的空间特征和不同目标框图像间的时间特征，判断该目标框图像组中的目标框图像所指示的气云目标是否为可疑泄露气云，对于确定为可疑泄露气云的气云目标，将第一红外图像中相应的第一目标框图像标记为前景图像。
本步骤的处理对应图2中的气云序列分类模型的处理。
本步骤处理的目标是对步骤301中确定出的第一目标框图像进行时序上的再分类。由于上述步骤301中的气云目标检测模型，只在图像层级上进行处理，能够获取的信息有限，难以将气云与一些复杂物体进行区分，如人形、树叶。即使结合多帧图像内容，其所利用的时序特征也是完整图像帧间的，较为有限；因而利用气云序列分类模型对于第一目标框区域，整合前后多帧的信息，进行精细化分类，旨在去除静止目标框以及与气云在时序特征上相差较大的运动目标框。
图5为本申请具体实施例中气云序列分类模型的结构示意图。本实施例中，气云序列分类模型的结构如图5所示，具体可以包含特征提取器和类别分类器两个部分。其中特征提取器的主要结构可以为3D卷积网络，其通过处理第一目标框位置的前后多帧图像，提取获得框内物体的空间特征信息和时间运动信息。
类别分类器由多层全连接层构成，其输出当前输入序列（即目标框图像组）对应的目标框为前景还是背景，也就是判断相应目标框所指示的第一气云目标是否为可疑泄露气云。
步骤304，将对应第一红外图像的可见光图像或第一红外图像输入预先训练好的场景理解模型，利用场景理解模型对输入图像进行区域划分和各个区域的场景分类标记。
本步骤对应于图2中场景理解模型的处理。
虽然前述步骤303的序列分类模型能够将气云目标框与大部分静止物体目标框、和气云在时序特征上相差较大的运动物体目标框区分开来，但是仍存在一些与气云难以区分的目标框，例如烟雾和水汽等；同时，在一些实际应用中，可能存在用户仅在意管道天然气的泄漏，而不关心路面上是否有汽车尾气的情况。本步骤处理的目标是通过对场景中的每一块区域进行区分，并为各个区域进行场景分类标记，例如白色气体目标、天空、管道、路面、草地、还是其他区域，如此可以在后续步骤306的结果分析中通过观察目标框在当前场景中的位置关系，去除不符合用户需求的目标框，优化整体方案的效果。
图6为本申请具体实施例中场景理解模型的结构示意图。本实施例中，场景理解模型的结构如图6所示，具体包含特征提取器和掩膜生成器两个部分。在本实施例中，使用HRNet作为特征提取器，其通过提取并融合不同层次的语义特征，极大的提升了最终输出特征对于不同尺寸目标的捕捉处理能力。需要注意的是，HRNet为可能的实现方式，在实际具体实现时，可采用ResNet、FCN等。
对于掩膜生成器，该模块可以由多层卷积层和反卷积层组成，其主要目的是将上述语义特征，映射回原图（即第一红外图像）大小，并对每个像素点进行分类，区分其所属的场景类别（具体是白色气体目标、天空、管道、路面、草地还是其他区域）。训练时，通常采用交叉熵损失函数进行训练。
需要指出的是，当场景理解模型的输入为第一红外图像对应的可见光图像时，本步骤的处理结果在后续具有较好的检测准确率提升效果；但当无可见光镜头，只能输入红外图像处理时，该场景理解模型同样能够具有一定的检测准确率提升效果，例如当输入红外图像处理进行本步骤的处理，并利用处理结果进行步骤306的结果分析时，能够帮助去除云彩误报，但是可能无法帮助去除管道处出现的烟雾或者水汽误报。
步骤305，将第二目标框图像输入预先训练好的气云溯源与形态估计模型，利用气云溯源与形态估计模型在第二目标框图像中检测第一气云目标的源头位置，并检测位于第一气云目标内的像素点，利用检测到的像素点描述第一气云目标的气羽形态。
其中，第二目标框图像为步骤303中被标记为前景图像的目标框图像。本步骤的处理对应图2中气云溯源与形态估计模型的处理。
本步骤的处理能够对气云目标进行准确的溯源和气羽形态估计，从而能够给用户进行泄漏点查看和浓度估计提供方便。
此外，当步骤306进行结果分析时，将本步骤的处理结果与场景理解模型的输出相结合进行可疑泄露气云的判定时，能够显著提升整体检测算法的准确率。这是因为气云通常呈现扩散的特征，当气云处于个区域交界处时，难以对其进行类型划分，例如泄漏点在管道上，但是由于气云扩散以及风向等原因，其大部分飘散至草地上，如此则难以区分其具体为管道泄漏气体目标还是摇晃的青草目标。但可对物体进行溯源，当目标框为气云时，由于图像上会呈现明显的单点扩散特征，气云溯源模型可以准确获取其源头位置；当目标框为摇晃小草时，获取到的源头通常为小草根部，位于草地上。如此结合场景理解模型的输出结果，可有效将二者区分开来。此外，通过结合气云溯源结果和场景理解模型的输出结果，也可帮助区分管道气体泄漏和汽车尾气。
图7为本申请具体实施例中气云溯源与形态估计模型的结构示意图。本实施例中，气云溯源与形态估计模型的结构可以如图7所示，具体包含特征提取器、气云源点生成器和气羽掩膜生成器三个部分，其中为了训练效果更好的模型，本实施例设计了较为有效的损失函数进行模型训练。
在本实施例中，与场景理解模型一致，同样使用HRNet作为特征提取器，其通过提取并融合不同层次的语义特征，提升模型整体的溯源能力。但区别在于，场景理解模型通常对整个单帧红外图像进行处理，而气云溯源与形态估计模型仅对待处理的第二目标框图像进行处理。需要注意的是，HRNet为可能的实现方式，在实际具体实现时，可采用ResNet、FCN等。
对于气云源点生成器，其可以由反卷积层以及sigmoid层组成，主要目的是将上述特征提取器输出的语义特征，映射回第二目标框图像大小，每个像素点进行回归，输出该像素点属于气云源头的概率。在实践中，当某个像素点的源头概率值超过设定的源头阈值时，则认定其为源头备选像素点，当存在面积大于设定的面积阈值的连通源头备选像素区域时，认定该区域为源头位置。
对于气羽掩膜生成器，其可以包含多层卷积层，获得和原图尺寸一致的双通道特征图，表征每个像素点是否为气云，以实现对气羽形状的描述。
对于上述气云溯源和气羽形态估计的两个任务，本实施例中利用一个神经网络模型来实现。具体在进行模型训练时可以通过双分支联合的方式进行。对于气云源点生成分支，通过比较模型输出源头位置和图像真实源头位置的差异，获得源点生成损失；对于气羽掩膜生成分支，通过逐像素点比较模型输出气羽形态和图像真实气羽形态，获得气羽生成损失。最终整个气云溯源与形态估计模型的损失可以为上述两分支损失的线性组合，并据其对模型进行训练。在训练时，因任务差异，两个分支可以采用不同的学习率。
步骤306，对于每个第二目标框图像，根据前述步骤304和305的输出，判断第二目标框图像所指示的第一气云目标是否为可疑泄露气云，将确定为可疑泄露气云的气云目标作为检测结果进行输出。
本步骤的处理对应图2中结果分析模块的处理。
本步骤处理的目标是综合各模型的输出，确定对应于第一红外图像的最终的泄露气云检测结果。
通过前述步骤301~303的处理，对泄露气云进行了初步检测，在步骤303之后确定出标记为前景图像的目标框图像，称为第二目标框图像，这些第二目标框图像有可能作为泄露气云的目标框图像。
但由前述可知，仅根据红外图像，难以对气云和烟雾、水汽、云彩进行区分。如此，本步骤中便可将红外图像的报警位置（即第二目标框图像的位置）以及气云溯源位置与场景理解模型输出的可见光图像的区域划分和分类标记结果（即可见光图像的掩模结果）进行比对，根据第二目标框图像及其气云溯源位置与相关区域的空间位置关系以及分类标记结果，并可以进一步结合气羽形态估计结果，进一步对第二目标框图像的集合进行筛选，选择相应的空间位置关系和分类标记结果符合目标泄露气云特征以及气羽形态估计结果符合目标泄露气云特征的第二目标框图像，以提升报警准确率，并灵活适配用户的报警需求。同时，还可以针对被判定为可疑泄露气云的气云目标，输出相应的气云溯源位置和估计的气羽形态。
例如，在误报方面，对于烟雾、水汽、云彩误报，如果可见光图像中该报警位置出现了明显的烟雾和水汽，或者该报警位置位于天空上方，则可认定其为误报，将其去除。此外，还可通过去除草地上的报警，来减少晃动的小草造成的误报。在适配用户需求方面，当用户仅关心管道泄漏气体时，可仅保留管道泄漏处气体报警，以去除路面车辆尾气引入的报警等等。在该过程的实施过程中，可使用气云源头来表征气云实体，来提高筛选的准确率。
经过本步骤中综合步骤304~305的结果进行的结果分析，能够有效提升泄露气云检测的准确性。
至此，图3所示的方法流程结束。
通过上述本申请中的泄露气体云团的检测方法，能够对红外图像中的气云进行准确的检测，并通过结合红外图像和可见光图像，来进一步提升算法检测结果的准确率，使检测输出的可疑泄露气云作为泄露气云的置信度大大提高；同时，本申请的检测方法利用多个深度学习模型来进行处理，通过各个模型间的配合，具备较强的任务处理能力，能够适用于多种复杂环境；而且，各个深度学习模型均可进行端到端的学习，训练过程简洁高效。
本申请还提供了一种泄露气体云团的检测装置，可以用于实施上述本申请中泄露气体云团的检测方法。图8为本申请中又一种视频云存储系统的基本结构示意图。如图8所示，该装置包括：气云目标检测单元、气云序列分类单元和结果分析单元。
其中，气云目标检测单元，用于将采集的第一红外图像输入预先训练好的气云目标检测模型，利用气云目标检测模型在所述第一红外图像中进行目标检测，输出符合气云特征的第一目标框，并基于第一红外图像确定第一目标框对应的第一目标框图像；
气云序列分类单元，用于将第一红外图像及与其相邻的N帧红外图像进行所述目标检测后得到的位于不同帧且指示同一气云目标的多个目标框图像作为一个目标框图像组，输入预先训练好的气云序列分类模型；还用于利用气云序列分类模型对输入的目标框图像组进行处理，判断输入的目标框图像组中各个目标框图像的空间特征和不同目标框图像间的时间特征，判断该目标框图像组中的目标框图像所指示的气云目标是否为可疑泄露气云；其中，N为预设的正整数；
结果分析单元，用于将确定为可疑泄露气云的气云目标作为检测结果进行输出。
可选地，为进一步提高泄露气云的检测准确性，气云序列分类单元，还可以用于对确定为可疑泄露气云的气云目标，将第一红外图像中相应的第一目标框图像标记为前景图像，并将对应的第一目标框标记为前景目标框；
在气云序列分类单元和结果分析单元之间可以进一步包括场景理解单元，用于将对应第一红外图像的可见光图像或第一红外图像输入预先训练好的场景理解模型，利用场景理解模型对输入图像进行区域划分和各个区域的场景分类标记；
结果分析单元可以包括分析子单元和输出子单元；
其中的分析子单元，可以用于在输出子单元输出检测结果前，基于标记为前景目标框的第二目标框与场景理解模型划分出的相关区域的空间位置关系以及相关区域的场景分类标记，判断第二目标框对应的第二目标框图像所指示的第一气云目标是否为可疑泄露气云；其中，相关区域为与第二目标框的位置相关的区域；
输出子单元，可以用于将确定为可疑泄露气云的气云目标作为检测结果进行输出。
可选地，为进一步提高泄露气云的检测准确性，在气云序列分类单元和结果分析单元之间还可以进一步包括气云溯源单元，用于将第二目标框图像输入预先训练好的气云溯源模型，利用气云溯源模型在第二目标框图像中检测第一气云目标的源头位置；
分析子单元，在判断第一气云目标是否为可疑泄露气云时，可以基于气云溯源模型检测到的第一气云目标的源头位置与相关区域的空间位置关系以及相关区域的场景分类标记进行。
可选地，为进一步提高泄露气云的检测准确性，在气云序列分类单元和结果分析单元之间可以进一步包括气羽形态估计单元，用于将第二目标框图像输入预先训练好的气羽形态估计模型，利用气羽形态估计模型在第二目标框图像中检测位于第一气云目标内的像素点，并利用检测到的像素点描述第一气云目标的气羽形态；
分析子单元，在判断第一气云目标是否为可疑泄露气云时可以进一步基于第一气云目标的气羽形态进行。
可选地，为进一步提高泄露气云的检测准确性，气云溯源单元，可以进一步用于利用气云溯源模型在第二目标框图像中检测位于第一气云目标内的像素点，并利用检测到的像素点描述第一气云目标的气羽形态；
分析子单元，在判断第一气云目标是否为可疑泄露气云时进一步基于第一气云目标的气羽形态进行。这一结构方式，利用气云溯源模型实现气云溯源和气羽形态估计两个任务，能够提高检测效率和准确性。
可选地，气云溯源模型可以包括两个分支，分别用于确定源头位置和估计气羽形态；
在训练气云溯源模型时，采用双分支联合训练的方式。
可选地，在气云溯源单元中，利用气云溯源模型在第二目标框图像中检测第一气云目标的源头位置的处理，具体可以包括：
针对第二目标框图像中的每个像素确定该像素属于第一气云目标源头的概率，若概率大于设定的源头阈值，则将相应像素作为源头备选像素；
对于多个连通的源头备选像素构成的区域，若面积大于设定的面积阈值，则将相应区域作为第一气云目标的源头位置。
可选地，该装置可以进一步包括气云浓度估计单元，用于对于确定为可疑泄露气云的第一气云目标，基于该第一气云目标的气羽形态，估计相应第一气云目标的浓度。
本申请还提供一种计算机可读存储介质，该计算机可读存储介质存储指令，指令在由处理器执行时可执行如上所述实现泄露气体云团的检测方法中的步骤。实际应用中，计算机可读介质可以是上述实施例各设备/装置/系统所包含的，也可以是单独存在，、而未装配入该设备/装置/系统中。其中，在计算机可读存储介质存储指令，其存储的指令在由处理器执行时可执行如上所述泄露气体云团的检测方法中的步骤。
根据本申请公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件，或者上述的任意合适的组合，但不用于限制本申请保护的范围。在本申请公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
图9为本申请中提供的电子设备的基本结构示意图。如图9所示，其示出了本申请实施例所涉及的电子设备的结构示意图，具体来讲：
该电子设备可以包括一个或一个以上处理核心的处理器901、一个或一个以上计算机可读存储介质的存储器902以及存储在存储器上并可在处理器上运行的计算机程序。在执行所述存储器902的程序时，可以实现泄露气体云团的检测方法。
具体的，实际应用中，该电子设备还可以包括电源903、输入输出单元904部件。本领域技术人员可以理解，图9中示出的电子设备的结构并不构成对该电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器901是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器902内的软件程序和/或模块，以及调用存储在存储器902内的数据，执行服务器的各种功能和处理数据，从而对该电子设备进行整体监控。
存储器902可用于存储软件程序以及模块，即上述计算机可读存储介质。处理器901通过运行存储在存储器902的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器902可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器902还可以包括存储器控制器，以提供处理器901对、存储器902的访问。该电子设备还包括给各个部件供电的电源903，可以通过电源管理系统与处理器901逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源903还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入输出单元904，该输入单元输出904可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学信号输入。该输入单元输出904还可以用于显示由用户输入的信息或提供给用户的信息以及各种图像用户接口，这些图形用户接口可以由图形、文本、图标、视频和其、任意组合来构成。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (11)

1.一种泄露气体云团的检测方法，其特征在于，包括：
将采集的第一红外图像输入预先训练好的气云目标检测模型，利用所述气云目标检测模型在所述第一红外图像中进行目标检测，输出符合气云特征的第一目标框，并基于所述第一红外图像确定所述第一目标框对应的第一目标框图像；
将所述第一红外图像及其相邻的N帧红外图像进行所述目标检测后得到的位于不同帧且指示同一气云目标的多个第一目标框图像作为一个目标框图像组，输入预先训练好的气云序列分类模型；其中，所述N为预设的正整数；
利用所述气云序列分类模型对输入的目标框图像组进行处理，基于输入的目标框图像组中各个目标框图像的空间特征和不同目标框图像间的时间特征，判断该目标框图像组中的目标框图像所指示的气云目标是否为可疑泄露气云；
将确定为可疑泄露气云的气云目标作为检测结果进行输出。
2.根据权利要求1所述的方法，其特征在于，在判断该目标框图像组中的目标框图像所指示的气云目标是否为可疑泄露气云之后、输出检测结果之前，该方法进一步包括：
对于确定为可疑泄露气云的气云目标，将所述第一红外图像中相应的第一目标框图像标记为前景图像，并将对应的第一目标框标记为前景目标框；
将对应所述第一红外图像的可见光图像或所述第一红外图像输入预先训练好的场景理解模型，利用所述场景理解模型对输入图像进行区域划分和各个区域的场景分类标记；
基于标记为所述前景目标框的第二目标框与所述场景理解模型划分出的相关区域的空间位置关系以及所述相关区域的场景分类标记，判断所述第二目标框对应的第二目标框图像所指示的第一气云目标是否为可疑泄露气云；
其中，所述相关区域为与所述第二目标框的位置相关的区域。
3.根据权利要求2所述的方法，其特征在于，在判断所述第二目标框图像所指示的第一气云目标是否为可疑泄露气云前，该方法进一步包括：
将所述第二目标框图像输入预先训练好的气云溯源模型，利用所述气云溯源模型在所述第二目标框图像中检测所述第一气云目标的源头位置；
在判断所述第一气云目标是否为可疑泄露气云时，基于所述气云溯源模型检测到的所述第一气云目标的源头位置与所述相关区域的空间位置关系以及所述相关区域的场景分类标记进行。
4.根据权利要求3所述的方法，其特征在于，在判断所述第二目标框图像所指示的第一气云目标是否为可疑泄露气云前，该方法进一步包括：
将所述第二目标框图像输入预先训练好的气羽形态估计模型，利用所述气羽形态估计模型在所述第二目标框图像中检测位于所述第一气云目标内的像素点，并利用检测到的像素点描述所述第一气云目标的气羽形态；
在判断所述第一气云目标是否为可疑泄露气云时，进一步基于所述第一气云目标的气羽形态进行。
5.根据权利要求3所述的方法，其特征在于，在判断所述第二目标框图像所指示的第一气云目标是否为可疑泄露气云前，该方法进一步包括：
利用所述气云溯源模型在所述第二目标框图像中检测位于所述第一气云目标内的像素点，并利用检测到的像素点描述所述第一气云目标的气羽形态；
在判断所述第一气云目标是否为可疑泄露气云时，进一步基于所述第一气云目标的气羽形态进行。
6.根据权利要求5所述的方法，其特征在于，所述气云溯源模型包括两个分支，分别用于确定所述源头位置和估计所述气羽形态；
在训练所述气云溯源模型时，采用双分支联合训练的方式。
7.根据权利要求3所述的方法，其特征在于，所述利用所述气云溯源模型在所述第二目标框图像中检测所述第一气云目标的源头位置，包括：
针对所述第二目标框图像中的每个像素确定该像素属于所述第一气云目标源头的概率，若所述概率大于设定的源头阈值，则将相应像素作为源头备选像素；
对于多个连通的源头备选像素构成的区域，若面积大于设定的面积阈值，则将所述区域作为所述第一气云目标的源头位置。
8.根据权利要求4或5所述的方法，其特征在于，在判断所述第二目标框图像所指示的第一气云目标是否为可疑泄露气云之后，该方法进一步包括：对于确定为可疑泄露气云的第一气云目标，基于该第一气云目标的气羽形态，估计相应第一气云目标的浓度。
9.一种泄露气体云团的检测装置，其特征在于，包括：气云目标检测单元、气云序列分类单元和结果分析单元；
所述气云目标检测单元，用于将采集的第一红外图像输入预先训练好的气云目标检测模型，利用所述气云目标检测模型在所述第一红外图像中进行目标检测，输出符合气云特征的第一目标框，并基于所述第一红外图像确定所述第一目标框对应的第一目标框图像；
所述气云序列分类单元，用于将所述第一红外图像及与其相邻的N帧红外图像进行所述目标检测后得到的位于不同帧且指示同一气云目标的多个目标框图像作为一个目标框图像组，输入预先训练好的气云序列分类模型；还用于利用所述气云序列分类模型对输入的目标框图像组进行处理，判断输入的目标框图像组中各个目标框图像的空间特征和不同目标框图像间的时间特征，判断该目标框图像组中的目标框图像所指示的气云目标是否为可疑泄露气云；其中，所述N为预设的正整数；
所述结果分析单元，用于将确定为可疑泄露气云的气云目标作为检测结果进行输出。
10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述指令被处理器执行时可实现权利要求1~8任一项所述的泄露气体云团的检测方法。
11.一种电子设备，其特征在于，该电子设备至少包括计算机可读存储介质，还包括处理器；
所述处理器，用于从所述计算机可读存储介质中读取可执行指令，并执行所述指令以实现上述权利要求1~8任一项所述的泄露气体云团的检测方法。
CN202310829180.3A 2023-07-07 2023-07-07 泄露气体云团的检测方法、装置、存储介质和电子设备 Active CN116543241B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310829180.3A CN116543241B (zh) 2023-07-07 2023-07-07 泄露气体云团的检测方法、装置、存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310829180.3A CN116543241B (zh) 2023-07-07 2023-07-07 泄露气体云团的检测方法、装置、存储介质和电子设备

Publications (2)

Publication Number Publication Date
CN116543241A CN116543241A (zh) 2023-08-04
CN116543241B true CN116543241B (zh) 2023-09-15

Family

ID=87454617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310829180.3A Active CN116543241B (zh) 2023-07-07 2023-07-07 泄露气体云团的检测方法、装置、存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN116543241B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117233119B (zh) * 2023-11-10 2024-01-12 北京环拓科技有限公司 结合传感器校准模块识别和量化voc气云图像的方法
CN117233120B (zh) * 2023-11-14 2024-02-09 山东大学 基于机器学习和高光谱图像的污染气体检测方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07181097A (ja) * 1993-12-24 1995-07-18 Mitsui Toatsu Chem Inc 微少漏洩ガス雰囲気下での新規漏洩源の検知方法
CN111325721A (zh) * 2020-02-13 2020-06-23 北京信息科技大学 一种基于红外热成像的气体泄漏检测方法及系统
CN114818914A (zh) * 2022-04-24 2022-07-29 重庆大学 基于相空间和光流图像的多变量时间序列的分类方法
WO2022179558A1 (zh) * 2021-02-26 2022-09-01 杭州三花研究院有限公司 一种气体浓度的检测方法和气体检测装置
CN115966063A (zh) * 2022-12-06 2023-04-14 成都盈盛源电气科技有限公司 一种气体泄漏红外成像自动报警方法
CN116152254A (zh) * 2023-04-20 2023-05-23 北京万龙精益科技有限公司 工业泄露目标气体检测模型训练方法、检测方法、电子设备
CN116379359A (zh) * 2023-04-07 2023-07-04 长扬科技(北京)股份有限公司 天然气泄露检测方法及多模态天然气泄露检测系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07181097A (ja) * 1993-12-24 1995-07-18 Mitsui Toatsu Chem Inc 微少漏洩ガス雰囲気下での新規漏洩源の検知方法
CN111325721A (zh) * 2020-02-13 2020-06-23 北京信息科技大学 一种基于红外热成像的气体泄漏检测方法及系统
WO2022179558A1 (zh) * 2021-02-26 2022-09-01 杭州三花研究院有限公司 一种气体浓度的检测方法和气体检测装置
CN114818914A (zh) * 2022-04-24 2022-07-29 重庆大学 基于相空间和光流图像的多变量时间序列的分类方法
CN115966063A (zh) * 2022-12-06 2023-04-14 成都盈盛源电气科技有限公司 一种气体泄漏红外成像自动报警方法
CN116379359A (zh) * 2023-04-07 2023-07-04 长扬科技(北京)股份有限公司 天然气泄露检测方法及多模态天然气泄露检测系统
CN116152254A (zh) * 2023-04-20 2023-05-23 北京万龙精益科技有限公司 工业泄露目标气体检测模型训练方法、检测方法、电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
利用多波束水体成像数据进行管道气体泄漏检测;张志刚;郭俊;杨嘉斌;蒲定;张宏伟;;应用科技(06);全文 *
易燃易爆气体泄漏红外视频图像检测方法研究;孙亚灿;;数字通信世界(10);全文 *

Also Published As

Publication number Publication date
CN116543241A (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
CN116543241B (zh) 泄露气体云团的检测方法、装置、存储介质和电子设备
CN108596277B (zh) 一种车辆身份识别方法、装置和存储介质
CN110516609A (zh) 一种基于图像多特征融合的火灾视频检测及预警方法
CN110232380B (zh) 基于Mask R-CNN神经网络的火灾夜间场景复原方法
CN111259892B (zh) 一种指示灯状态的巡检方法、装置、设备和介质
CN108734143A (zh) 一种巡检机器人的基于双目视觉的输电线路在线检测方法
CN108389137A (zh) 基于红外图谱技术的电力故障诊断预警系统
CN111126136A (zh) 一种基于图像识别的烟雾浓度量化方法
CN112733950A (zh) 一种基于图像融合与目标检测结合的电力设备故障诊断方法
CN103069434A (zh) 多模式视频事件索引
CN109255350A (zh) 一种基于视频监控的新能源车牌检测方法
CN112149514A (zh) 一种施工作业人员的安全着装检测方法及系统
CN115311241B (zh) 一种基于图像融合和特征增强的煤矿井下行人检测方法
Park et al. Advanced wildfire detection using generative adversarial network-based augmented datasets and weakly supervised object localization
Sun et al. IRDCLNet: Instance segmentation of ship images based on interference reduction and dynamic contour learning in foggy scenes
CN115620090A (zh) 模型训练方法、低照度目标重识别方法和装置、终端设备
Madshaven et al. Hole detection in aquaculture net cages from video footage
Zheng et al. A lightweight algorithm capable of accurately identifying forest fires from UAV remote sensing imagery
CN117079117B (zh) 水下图像处理及目标识别的方法及装置、存储介质及电子设备
Maheen et al. Machine learning algorithm for fire detection using color correlogram
CN115083229B (zh) 基于ai视觉识别的飞行训练设备智能识别与警示系统
CN116311211A (zh) 一种气体检测仪检测识别方法、系统及存储介质
CN115359442A (zh) 基于部件表征学习和个性化属性结构的车辆重识别方法
CN116468974B (zh) 一种基于图像生成的烟雾检测方法、装置及存储介质
CN103714352A (zh) 一种基于图像认知区域的光晕抑制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant