CN113688801A - 一种基于光谱视频的化工气体泄漏检测方法及系统 - Google Patents

一种基于光谱视频的化工气体泄漏检测方法及系统 Download PDF

Info

Publication number
CN113688801A
CN113688801A CN202111229691.9A CN202111229691A CN113688801A CN 113688801 A CN113688801 A CN 113688801A CN 202111229691 A CN202111229691 A CN 202111229691A CN 113688801 A CN113688801 A CN 113688801A
Authority
CN
China
Prior art keywords
video
time sequence
frame
feature
video frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111229691.9A
Other languages
English (en)
Other versions
CN113688801B (zh
Inventor
曹汛
吕涛
周凯来
陈林森
李昀谦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Zhipu Technology Co ltd
Nanjing University
Original Assignee
Nanjing Zhipu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Zhipu Technology Co ltd filed Critical Nanjing Zhipu Technology Co ltd
Priority to CN202111229691.9A priority Critical patent/CN113688801B/zh
Publication of CN113688801A publication Critical patent/CN113688801A/zh
Application granted granted Critical
Publication of CN113688801B publication Critical patent/CN113688801B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M3/00—Investigating fluid-tightness of structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种基于光谱视频的化工气体泄漏检测方法，包括：对采集到的化工气体的光谱视频进行图像层面的预处理；将所述光谱视频在时序上划分为多个片段，在每个片段中采样一个视频帧，并分别提取每个视频帧的特征；通过在每个视频帧的特征中融合其多个相邻视频帧的局部运动信息，得到每个视频帧的短时时序增强特征；通过移位和加权逐通道的集成方法在每个视频帧的短时时序增强特征中融合时序信息，得到每个视频帧的全局时序融合特征；将短时时序增强特征和全局时序融合特征通过残差连接并入主网络，计算得到所述化工气体泄漏的检测结果。本申请可以高效地、实时地检测并呈现光谱视频中的气体泄漏云团位置、浓度分布、扩散趋势等信息。

Description

一种基于光谱视频的化工气体泄漏检测方法及系统
技术领域
本申请涉及气体检测技术领域，特别涉及一种基于光谱视频的化工气体泄漏检测方法及系统。
背景技术
及时发现和控制化工气体泄漏是工业现场安全运转的前提和重中之重，然而由气体泄漏引发的火灾、爆炸和中毒等事故在世界范围内仍屡见不鲜。以光谱视频技术为核心的气体检测手段以其远距离、大范围等优势可以有效预警化工气体泄漏。
然而目前并没有成熟的具有针对性的分类识别算法应用在光谱视频气体检测领域。一方面，传统的运动检测算法，无法高效区分泄漏气体与其他运动目标，而且在实际应用中，泄漏气体云团主体往往与各种噪声杂糅，难以对气体泄漏进行精准有效的甄别。另一方面，气体泄漏云团主体缺乏明显的形态特征，在图像对比度低，气体泄漏浓度低，气体云团分布快速变化等情形下，需要连续多帧图像才能勉强定位云团位置，而目前基于传统计算机视觉的目标检测任务非常依赖人工设计的特征，在人工设计特征的过程中，往往会忽略气体泄漏图像的部分内在特征，这将会导致大量的误报漏报；与此同时，深度学习在运动检测领域并没有很好的应用，目前已有的卷积神经网络（CNN）架构也难以胜任气体泄漏这种无明显特征的目标识别与分割任务。
因此，如何能够高效地提取化工气体泄漏云团的时空形态变化特征，精准地实现对气体泄漏云团的检测和可视化，实时地对气体云团的浓度分布和扩散趋势等信息进行分析，适配视频级的检测任务，是亟待解决的技术问题。
发明内容
有鉴于此，本申请提出一种基于光谱视频的化工气体泄漏检测方法及系统，可以高效地、实时地检测并呈现光谱视频中的气体泄漏云团位置、浓度分布、扩散趋势等信息。
第一方面，本申请提供了一种基于光谱视频的化工气体泄漏检测方法，包括：
对采集到的化工气体的光谱视频进行图像层面的预处理；
将所述光谱视频在时序上划分为多个片段，在每个片段中采样一个视频帧，并分别提取每个视频帧的特征；
通过在每个视频帧的特征中融合其多个相邻视频帧的局部运动信息，得到每个视频帧的短时时序增强特征；
通过移位和加权逐通道的集成方法在每个视频帧的短时时序增强特征中融合时序信息，得到每个视频帧的全局时序融合特征；
将所述短时时序增强特征和所述全局时序融合特征通过残差连接并入主网络，计算得到所述化工气体泄漏的检测结果。
由上，本方法通过采用两种不同形式的特征增强模块，实现对化工气体泄漏云团的外观信息和运动信息的采集，并通过残差连接并入到主网络中，可以高效地、实时地检测并呈现光谱视频中的气体泄漏云团位置、浓度分布、扩散趋势等信息，同时，采用差分运算，能够显著提升模型的运动建模能力并大幅度降低计算损耗，适配视频级的目标检测任务对算法时间复杂度的较高要求。
可选的，所述对采集到的化工气体的光谱视频进行图像层面的预处理的步骤之后还包括：
利用背景建模方法对复杂场景光谱视频序列图像中的某一特定像素值进行建模，将所述光谱视频中发生动态变化的像素进行显示提取，并提出预选框。
由上，通过背景建模能够对复杂场景光谱视频中的运动物体进行识别，并通过预选框形式进行提取显示。
可选的，还包括：
利用聚类算法将提出的所述预选框进行聚类，并将在可见光波段的光谱视频和红外波段的光谱视频中同时出现的聚类进行去除。
由上，通过利用基于密度的噪声应用空间聚类（Density-Based SpatialClustering of Application with Noise，DBSCAN）算法将提出的预选框进行聚类，如果其他任意一个预选框与该邻域拓展框的IoU（重叠面积与两个框各自面积比）大于设定的阈值，那么就将这两个预选框合并，在此基础上，还可将在可见光波段光谱视频图像和红外波段光谱视频图像同时出现的聚类直接去除。
可选的，所述图像层面的预处理包括图像去噪、图像增强和图像对齐中的一种或多种。
由上，在图像去噪部分，尽可能滤除光谱视频中的噪声干扰；在图像增强部分，利用图像增强算法在降噪的同时保持气体云团目标检测的完整性；在图像对齐算法部分，当使用的光谱视频中不同谱段的信息来源于多个成像设备时，针对性的图像对齐算法为光谱视频跨模态、多谱段信息融合奠定了基础。
可选的，所述将所述光谱视频在时序上划分为多个片段，在每个片段中采样一个视频帧，并分别提取每个视频帧的特征包括：
将所述光谱视频划分为持续时间相同的T个片段，在每个片段中随机采样一个视频帧得到
Figure 427334DEST_PATH_IMAGE001
；
将所述视频帧输入到二维卷积模型中，提取每个视频帧的隐藏层中的特征表示得到
Figure 344474DEST_PATH_IMAGE002
。
由上，通过将光谱视频按照时序划分为持续时间相同的多个片段，并在每个片段中随机提取一个视频帧，并将提取的视频帧输送到CNN中提取帧特征，可以降低运算量的同时，能够保留光谱视频中气体云团的外观特征和运动特征。
可选的，所述通过在每个视频帧的特征中融合其多个相邻视频帧的局部运动信息，得到每个视频帧的短时时序增强特征包括：
以视频帧
Figure 186529DEST_PATH_IMAGE003
为中心，在其所属片段中提取多个相邻视频帧的光谱图像差分得到
Figure 581738DEST_PATH_IMAGE004
，并将多个光谱图像差分在通道维度上进行叠加；采用卷积神经网络对叠加的所述光谱图像差分
Figure 396110DEST_PATH_IMAGE005
进行运算，提取得到相邻视频帧的局部运动信息
Figure 280889DEST_PATH_IMAGE006
，所述运算包括：
Figure 610240DEST_PATH_IMAGE007
;其中，所述
Figure 809140DEST_PATH_IMAGE008
为利用平均池化层对光谱图像差分
Figure 540335DEST_PATH_IMAGE009
进行下采样，所述
Figure 533699DEST_PATH_IMAGE010
为利用二维
Figure 350345DEST_PATH_IMAGE010
提取运动特征，所述
Figure 87357DEST_PATH_IMAGE011
为对所述运动特征进行上采样以匹配特征； 通过将所述视频帧
Figure 610743DEST_PATH_IMAGE012
的特征
Figure 102904DEST_PATH_IMAGE013
与所述局部运动信息
Figure 344529DEST_PATH_IMAGE006
进行叠加得到所述视频帧的短时时序增强特征
Figure 681970DEST_PATH_IMAGE014
，所述叠加包括：
Figure 325441DEST_PATH_IMAGE015
由上，通过在每个视频帧的原始特征中融合其相邻视频帧的局部运动，能够使每个视频帧的特征表示中能够包含局部运动信息，能够更好的描述局部时间窗口。
可选的，所述通过移位和加权逐通道的集成方法在每个视频帧的短时时序增强特征中融合时序信息，得到每个视频帧的全局时序融合特征包括：将所述短时时序增强特征
Figure 660607DEST_PATH_IMAGE016
划分为两组，分别为分辨率为增强特征分辨率一半的大帧组
Figure 451845DEST_PATH_IMAGE017
以及分辨率和增强特征分辨率保持一致的小帧组
Figure 530660DEST_PATH_IMAGE018
；利用BLVNet视频架构，将所述两组短时时序增强特征分别输入到大小分支，以便每个分支从不同的帧获得补充信息，则其输出
Figure 90954DEST_PATH_IMAGE019
可以表示为：
Figure 862601DEST_PATH_IMAGE020
其中，
Figure 813240DEST_PATH_IMAGE021
表示在第t帧的输入输出特征层，
Figure 758062DEST_PATH_IMAGE022
和
Figure 110546DEST_PATH_IMAGE023
是BLVNet中的大分支和小分支，
Figure 115411DEST_PATH_IMAGE024
是模型参数，
Figure 553346DEST_PATH_IMAGE025
表示一个附加的残差模块应用在融合两个分支的特征输出来增强特征表示；利用加权逐通道的集成方法融合每一个视频帧的时序信息，得到每个视频帧的全局时序增强特征：
Figure 973963DEST_PATH_IMAGE026
其中，
Figure 508849DEST_PATH_IMAGE027
表示第t帧
Figure 622299DEST_PATH_IMAGE028
的激活输出，
Figure 609846DEST_PATH_IMAGE029
表示逐通道的乘法，其具体可定义为对于向量
Figure 834154DEST_PATH_IMAGE030
和
Figure 895651DEST_PATH_IMAGE031
，V
Figure 242319DEST_PATH_IMAGE032
=
Figure 654846DEST_PATH_IMAGE033
，
Figure 745161DEST_PATH_IMAGE034
表示时序。
由上，视频帧的原始特征经过短时时序差分增强后，采用移位和加权逐通道的集成融合每个视频帧的时序信息，从而得到视频帧的全局时序特征。
第二方面，本申请提供了一种基于光谱视频的化工气体泄漏检测系统，包括：
图像预处理模块，用于对采集到的化工气体的光谱视频进行图像层面的预处理；
稀疏采样模块，用于将所述光谱视频在时序上划分为多个片段，在每个片段中采样一个视频帧，并分别提取每个视频帧的特征；
帧级特征增强模块，用于通过在每个视频帧的特征中融合其多个相邻视频帧的局部运动信息，得到每个视频帧的短时时序增强特征；
时序加权融合模块，用于通过移位和加权逐通道的集成方法在每个视频帧的短时时序增强特征中融合时序信息，得到每个视频帧的全局时序融合特征；
输出模块，用于将所述短时时序增强特征和所述全局时序融合特征通过残差连接并入主网络，计算得到所述化工气体泄漏的检测结果。
可选的，还包括：
运动检测模块，用于利用背景建模方法对复杂场景光谱视频序列图像中的某一特定像素值进行建模，将所述光谱视频中发生动态变化的像素进行显示提取，并提出预选框。
可选的，还包括：
预选框聚类模块，用于利用聚类算法将提出的所述预选框进行聚类，并将在可见光波段的光谱视频和红外波段的光谱视频中同时出现的聚类进行去除。
可选的，所述图像预处理模块包括图像去噪模块、图像增强模块和图像对齐模块中的一种或多种。
可选的，所述稀疏采样模块具体用于：
将所述光谱视频划分为持续时间相同的T个片段，在每个片段中随机采样一个视频帧得到
Figure 926744DEST_PATH_IMAGE001
；
将所述视频帧输入到二维卷积模型中，提取每个视频帧的隐藏层中的特征表示得到
Figure 116417DEST_PATH_IMAGE002
。
可选的，所述帧级特征增强模块具体用于：
以视频帧
Figure 78557DEST_PATH_IMAGE012
为中心，在其所属片段中提取多个相邻视频帧的光谱图像差分得到
Figure 644667DEST_PATH_IMAGE035
，并将多个光谱图像差分在通道维度上进行叠加；
采用卷积神经网络对叠加的所述光谱图像差分
Figure 8652DEST_PATH_IMAGE005
进行运算，提取得到相邻视频帧的局部运动信息
Figure 369227DEST_PATH_IMAGE036
，所述运算包括：
Figure 756346DEST_PATH_IMAGE037
其中，所述
Figure 188464DEST_PATH_IMAGE038
为利用平均池化层对光谱图像差分
Figure 79060DEST_PATH_IMAGE039
进行下采样，所述
Figure 938431DEST_PATH_IMAGE040
为利用二维
Figure 547267DEST_PATH_IMAGE041
提取运动特征，所述
Figure 720759DEST_PATH_IMAGE042
为对所述运动特征进行上采样以匹配特征；
通过将所述视频帧
Figure 793758DEST_PATH_IMAGE012
的特征
Figure 761714DEST_PATH_IMAGE013
与所述局部运动信息
Figure 920162DEST_PATH_IMAGE043
进行叠加得到所述视频帧的短时时序增强特征
Figure 631767DEST_PATH_IMAGE014
，所述叠加包括：
Figure 496954DEST_PATH_IMAGE044
可选的，所述时序加权融合模块具体用于：
将所述短时时序增强特征
Figure 698129DEST_PATH_IMAGE045
划分为两组，分别为分辨率为增强特征分辨率一半的大帧组
Figure 281557DEST_PATH_IMAGE017
以及分辨率和增强特征分辨率保持一致的小帧组
Figure 531272DEST_PATH_IMAGE018
；
利用BLVNet视频架构，将所述两组短时时序增强特征分别输入到大小分支，以便每个分支从不同的帧获得补充信息，则其输出
Figure 578863DEST_PATH_IMAGE019
可以表示为：
Figure 888621DEST_PATH_IMAGE020
其中，
Figure 21663DEST_PATH_IMAGE021
表示在第t帧的输入输出特征层，
Figure 75069DEST_PATH_IMAGE022
和
Figure 977166DEST_PATH_IMAGE023
是BLVNet中的大分支和小分支，
Figure 457826DEST_PATH_IMAGE024
是模型参数，
Figure 750267DEST_PATH_IMAGE025
表示一个附加的残差模块应用在融合两个分支的特征输出来增强特征表示；
利用加权逐通道的集成方法融合每一个视频帧的时序信息，得到每个视频帧的全局时序增强特征：
Figure 669682DEST_PATH_IMAGE046
其中，
Figure 363968DEST_PATH_IMAGE027
表示第t帧
Figure 77846DEST_PATH_IMAGE028
的激活输出，
Figure 123163DEST_PATH_IMAGE029
表示逐通道的乘法，其具体可定义为对于向量
Figure 580689DEST_PATH_IMAGE030
和
Figure 129482DEST_PATH_IMAGE031
，V
Figure 279840DEST_PATH_IMAGE032
=
Figure 546874DEST_PATH_IMAGE033
，
Figure 808091DEST_PATH_IMAGE034
表示时序。
第三方面，本申请提供了一种计算设备，所述计算设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述的基于光谱视频的化工气体泄漏检测方法。
第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机执行时实现上述的基于光谱视频的化工气体泄漏检测方法。
本申请的这些和其它方面在以下（多个）实施例的描述中会更加简明易懂。
附图说明
图1为本申请实施例提供的一种基于光谱视频的化工气体泄漏检测系统的示意图；
图2为本申请实施例提供的一种基于光谱视频的化工气体泄漏检测方法的流程图；
图3为本申请实施例提供的一种帧级特征增强模块的示意图；
图4为本申请实施例提供的一种时序加权融合模块的示意图；
图5为本申请实施例提供的基于光谱视频的化工气体泄漏检测系统的整体结构示意图；
图6为本申请实施例提供的一种计算设备的结构图。
应理解，上述结构示意图中，各框图的尺寸和形态仅供参考，不应构成对本申请实施例的排他性的解读。结构示意图所呈现的各框图间的相对位置和包含关系，仅为示意性地表示各框图间的结构关联，而非限制本申请实施例的物理连接方式。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
说明书和权利要求书中使用的术语“包括”不应解释为限制于其后列出的内容；它不排除其它的元件或步骤。因此，其应当诠释为指定所提到的所述特征、整体、步骤或部件的存在，但并不排除存在或添加一个或更多其它特征、整体、步骤或部件及其组群。因此，表述“包括装置A和B的设备”不应局限为仅由部件A和B组成的设备。
本说明书中提到的“一个实施例”或“实施例”意味着与该实施例结合描述的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在本说明书各处出现的用语“在一个实施例中”或“在实施例中”并不一定都指同一实施例，但可以指同一实施例。此外，在一个或多个实施例中，能够以任何适当的方式组合各特定特征、结构或特性，如从本公开对本领域的普通技术人员显而易见的那样。
如图1所示为本申请实施例提供的一种基于光谱视频的化工气体泄漏检测系统的示意图，该系统包括：
图像预处理模块110，包含图像去噪算法、图像增强算法和图像对齐算法三个部分，对设备采集到的光谱视频进行图像层面的预处理；
运动检测模块120，利用背景建模方法对复杂场景光谱视频序列图像中的某一特定像素值进行建模，将视频中发生动态变化的像素进行显示地提取，并提出预选框；
预选框聚类模块130，利用聚类算法将运动检测模块120提出的预选框进行聚类，并将在可见光波段光谱视频图像和红外波段光谱视频图像同时出现的聚类直接去除；
稀疏采样模块140，将视频在时序上划分为多个片段，再进行整体的稀疏采样作为后续模块的输入，以降低网络输入的数据体量，适配视频级的路标检测任务；
帧级特征增强模块150，为视频帧在隐藏层中的特征表示提供局部运动信息，以提高其表示能力；
时序加权融合模块160，将帧级特征增强模块的输出作为该模块的输入，利用移位的方法加权逐通道的集成去融合每一个增强帧的时序信息；
输出模块170，将帧级特征增强模块和时序加权融合模块的输出通过残差连接并入主网络中，并计算输出视频中化工气体泄漏的检测结果。
参照图1所示，本实施例的基于光谱视频的化工气体泄漏检测系统，对于光谱视频装置采集到的光谱视频，先后经过图像预处理模块110、运动检测模块120、预选框聚类模块130、稀疏采样模块140、帧级特征增强模块150、时序加权融合模块160和输出模块170后输出视频中化工气体泄漏云团的检测结果，可以高效地、实时地检测并呈现光谱视频中的气体泄漏云团位置、浓度分布、扩散趋势等信息。
基于图1所示的检测系统，如图2所示为本申请实施例提供的一种基于光谱视频的化工气体泄漏检测方法的流程图，通过采用两种不同形式的时序差分模块，实现对化工气体泄漏云团的外观信息和运动信息的采集，并通过残差连接并入到主网络中，可以高效地、实时地检测并呈现光谱视频中的气体泄漏云团位置、浓度分布、扩散趋势等信息。下面参照图2-图5，对本方法进行详细描述，该方法包括：
S10：对采集到的化工气体的光谱视频进行图像层面的预处理；
本步骤可通过上述图像预处理模块110执行，如图5所示，具体可以执行图像去噪、图像增强、图像对齐等图像层面的预处理。其中，在图像去噪部分，可以选择Butterworth滤波器和卡尔曼滤波器在频域和时域分别进行滤波，大幅度滤除光谱视频噪声干扰；在图像增强部分，可以使用BF&DRF算法将输入帧分割为基础图像和细节图像两部分，然后将基础图像和细节图像分别处理，以便独立控制对全局和细节的感知；在图像对齐部分，当光谱视频采集装备包含多路输入时，需要选择合适的图像对齐算法对多路视频图像进行对齐操作。
S20：利用背景建模方法对复杂场景光谱视频序列图像中的某一特定像素值进行建模，将所述光谱视频中发生动态变化的像素进行显示提取，并提出预选框；
本步骤可通过上述运动检测模块120执行，通过利用基于混合高斯模型（Gaussianmixture model，GMM）的背景建模方法，对复杂场景光谱视频序列图像中的某一特定像素值进行建模，同时考虑到实际视频中由于检测装置镜头的抖动、位移、光影变换、场景变化等因素的存在，视频背景也会随时间发生变化，因此不断对模型的参数进行自适应的更新以适应场景的变化，将视频中发生动态变化的像素进行显示地提取，并提出预选框。
S30：利用聚类算法将提出的所述预选框进行聚类，并将在可见光波段的光谱视频和红外波段的光谱视频中同时出现的聚类进行去除；
本步骤可通过上述预选框聚类模块130执行，通过利用基于密度的噪声应用空间聚类（Density-Based Spatial Clustering of Application with Noise，DBSCAN）算法将运动检测模块120提出的预选框进行聚类，如果其他任意一个预选框与该邻域拓展框的IoU（重叠面积与两个框各自面积比）大于设定的阈值，那么就将这两个预选框合并，在本实施例中所设定的阈值可以为0.3。在此基础上，还可将在可见光波段光谱视频图像和红外波段光谱视频图像同时出现的聚类直接去除。
S40：将所述光谱视频在时序上划分为多个片段，在每个片段中采样一个视频帧，并分别提取每个视频帧的特征；
本步骤可通过上述稀疏采样模块140执行，通过采用时间稀疏采样的策略，将所述光谱视频划分为持续时间相同的T个片段，在每个片段中随机采样一个视频帧得到
Figure 211390DEST_PATH_IMAGE001
，
Figure 532650DEST_PATH_IMAGE047
的数据维度为
Figure 286979DEST_PATH_IMAGE048
。将采样得到的多个视频帧分别输入到二维卷积模型（2D CNN）中，提取每个视频帧的隐藏层中的特征表示得到
Figure 86308DEST_PATH_IMAGE002
，该特征F的维数为
Figure 609693DEST_PATH_IMAGE049
，该稀疏采样模块140获得的数据用于作为后续模块的初始输入。
S50：通过在每个视频帧的特征中融合其多个相邻视频帧的局部运动信息，得到每个视频帧的短时时序增强特征；
本步骤可通过上述帧级特征增强模块150执行，如图3所示为本申请实施例提供的一种帧级特征增强模块的示意图，该帧级特征增强模块在早期网络层进行低层次特征提取，并使单帧视频帧通过融合时间差信息来感知局部运动。具体的，
以视频帧
Figure 101855DEST_PATH_IMAGE012
为中心，在其所属片段中提取多个相邻视频帧的光谱图像差分得到
Figure 77901DEST_PATH_IMAGE035
，本实施例可采用前后相邻的六个图像差分作为依据，其中
Figure 680921DEST_PATH_IMAGE050
可通过简单的差分运算得到
Figure 324392DEST_PATH_IMAGE051
，然后将该六个连续的光谱图像差分在通道维度上进行叠加，作为TDN双流形式中的差分数据流输入；基于该思路，可得到一种有效的时序差分模块形式：
Figure 721875DEST_PATH_IMAGE037
本实施例中，为了降低运算量，保证网络的计算效率，可以采用一个轻量级的卷积神经网络（CNN）模块对叠加的所述光谱图像差分
Figure 450796DEST_PATH_IMAGE005
进行运算，提取得到相邻视频帧的局部运动信息
Figure 591928DEST_PATH_IMAGE006
，该CNN遵循的处理逻辑为：首先利用平均池化层对光谱图像差分
Figure 89905DEST_PATH_IMAGE005
进行下采样（
Figure 595973DEST_PATH_IMAGE038
），然后利用二维
Figure 874507DEST_PATH_IMAGE041
提取运动特征，最后对所述运动特征进行上采样（
Figure 819330DEST_PATH_IMAGE042
）以匹配特征。此种逻辑的设计来自于对光谱图像的观察，即光谱图像差分对于大多数区域表现出非常小的值，并且仅在运动显著区域显示高响应。因此，由于数据内部信息的稀疏性，这种低分辨率架构可以实现在较小的精度损失的前提下，实现时间复杂度上的优越性。
通过将所述视频帧
Figure 171814DEST_PATH_IMAGE012
的特征
Figure 176679DEST_PATH_IMAGE013
与所述局部运动信息
Figure 676930DEST_PATH_IMAGE043
进行叠加得到所述视频帧的短时时序增强特征
Figure 97547DEST_PATH_IMAGE014
，所述叠加包括：
Figure 694751DEST_PATH_IMAGE052
本步骤得到的视频帧的短时时序增强特征
Figure 542621DEST_PATH_IMAGE014
可作为后续时序加权融合模块160的输入。
S60：利用移位的方法加权逐通道的集成去融合每一个视频帧的时序信息，得到每个视频帧的全局时序融合特征；
本步骤可通过上述时序加权融合模块160执行，如图4所示为本申请实施例提供的一种时序加权融合模块的示意图，如果将帧级特征增强模块150的输出表示为
Figure 530169DEST_PATH_IMAGE045
，则时序加权融合模块160将这些进行短时时序增强后的特征表示划分为两组，分别为分辨率为增强特征分辨率一半的大帧组
Figure 754477DEST_PATH_IMAGE053
以及分辨率和增强特征分辨率保持一致的小帧组
Figure 143870DEST_PATH_IMAGE054
。这里使用Big-Little-Video-Net（BLVNet）的视频架构对数据进行处理。其中，相邻的特征增强表示一个作为大分支的输入，一个作为小分支的输入以便从每个分支不同的帧获得补充信息，则其输出
Figure 490537DEST_PATH_IMAGE019
可以表示为：
Figure 903064DEST_PATH_IMAGE020
Figure 727801DEST_PATH_IMAGE021
表示在第t帧的输入输出特征层；
Figure 909383DEST_PATH_IMAGE022
和
Figure 426952DEST_PATH_IMAGE023
是BLVNet中的大分支和小分支；
Figure 326775DEST_PATH_IMAGE024
是模型参数；
Figure 892886DEST_PATH_IMAGE025
表示一个附加的残差模块应用在融合两个分支的特征输出来增强特征表示。
对于BLVNet进一步增强后的特征表示，在此基础上，进一步利用加权逐通道的集成去融合每一个时间帧的时序信息提取全局融合信息。因此，集成
Figure 991292DEST_PATH_IMAGE045
在时序Tr范围内的所有帧的激活输出：
Figure 617445DEST_PATH_IMAGE055
其中，
Figure 66881DEST_PATH_IMAGE027
表示第t帧
Figure 171103DEST_PATH_IMAGE028
的激活输出；
Figure 327278DEST_PATH_IMAGE029
表示逐通道的乘法，其具体可定义为对于向量
Figure 186650DEST_PATH_IMAGE030
和
Figure 795486DEST_PATH_IMAGE031
，V
Figure 968978DEST_PATH_IMAGE032
=
Figure 41976DEST_PATH_IMAGE033
，其中激活输出按照以下逻辑运算得到：
首先利用一个1×1的卷积与n个输入张量在深度上卷积Tr次，得到表征每个特征通道权重的Tr×n的输出矩阵；然后进行时序位移，当
Figure 9932DEST_PATH_IMAGE056
时，将第
Figure 168381DEST_PATH_IMAGE057
行向左位移，当
Figure 614406DEST_PATH_IMAGE058
时，将第
Figure 745173DEST_PATH_IMAGE057
行向右位移，如果必要在前面或者后面填充前导或者尾随的零张量；最后，沿着列去集成时序信息得到权重激活输出，经过以上操作，最终得到全局时序融合特征。
S70：将所述短时时序增强特征和所述全局时序融合特征通过残差连接并入主网络，计算得到所述化工气体泄漏的检测结果。
本步骤可通过上述的输出模块170执行，该输出模块170通过将上述帧级特征增强模块150输出的短时时序增强特征和时序加权融合模块160输出的全局时序融合特征通过残差连接并入主网络，并通过计算输出光谱视频中化工气体泄漏云团的检测结果。
本实施例中，可根据不同的使用需求选择不同的方法作为主网络（backbone），例如VGGNet，RESNet50等。
本实施例通过将时间差分应用于不同形式的、规范高效的时序差分模块来进行端到端的网络设计，将运动检测、空间聚类与深度学习方法结合实现了同时捕获化工气体泄漏云团外观信息和运动信息的统一框架，可以高效地、实时地检测并呈现光谱视频中的气体泄漏云团位置、浓度分布、扩散趋势等信息。同时，还利用差分运算这种低计算损耗的运算，显式提取视频中复杂精细的运动变化，显著提升模型的运动建模能力并大幅度降低计算损耗，适配视频级的目标检测任务对算法时间复杂度的较高要求。
图6是本申请实施例提供的一种计算设备1000的结构性示意性图。该计算设备1000包括：处理器1010、存储器1020、通信接口1030、总线1040。
应理解，图6所示的计算设备1000中的通信接口1030可以用于与其他设备之间进行通信。
其中，该处理器1010可以与存储器1020连接。该存储器1020可以用于存储该程序代码和数据。因此，该存储器1020可以是处理器1010内部的存储单元，也可以是与处理器1010独立的外部存储单元，还可以是包括处理器1010内部的存储单元和与处理器1010独立的外部存储单元的部件。
可选的，计算设备1000还可以包括总线1040。其中，存储器1020、通信接口1030可以通过总线1040与处理器1010连接。总线1040可以是外设部件互连标准(PeripheralComponent Interconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。所述总线1040可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条线表示，但并不表示仅有一根总线或一种类型的总线。
应理解，在本申请实施例中，该处理器1010可以采用中央处理单元(centralprocessing unit，CPU)。该处理器还可以是其它通用处理器、数字信号处理器(digitalsignal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(field programmable gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。或者该处理器1010采用一个或多个集成电路，用于执行相关程序，以实现本申请实施例所提供的技术方案。
该存储器1020可以包括只读存储器和随机存取存储器，并向处理器1010提供指令和数据。处理器1010的一部分还可以包括非易失性随机存取存储器。例如，处理器1010还可以存储设备类型的信息。
在计算设备1000运行时，所述处理器1010执行所述存储器1020中的计算机执行指令执行上述方法的操作步骤。
应理解，根据本申请实施例的计算设备1000可以对应于执行根据本申请各实施例的方法中的相应主体，并且计算设备1000中的各个模块的上述和其它操作和/或功能分别为了实现本实施例各方法的相应流程，为了简洁，在此不再赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行上述基于光谱视频的化工气体泄漏检测方法，该方法包括上述各个实施例所描述的方案中的至少之一。
本申请实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于，电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括、但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本申请的较佳实施例及所运用的技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请的构思的情况下，还可以包括更多其他等效实施例，均属于本申请的保护范畴。

Claims (16)

1.一种基于光谱视频的化工气体泄漏检测方法，其特征在于，包括：
对采集到的化工气体的光谱视频进行图像层面的预处理；
将所述光谱视频在时序上划分为多个片段，在每个片段中采样一个视频帧，并分别提取每个视频帧的特征；
通过在每个视频帧的特征中融合其多个相邻视频帧的局部运动信息，得到每个视频帧的短时时序增强特征；
通过移位和加权逐通道的集成方法在每个视频帧的短时时序增强特征中融合时序信息，得到每个视频帧的全局时序融合特征；
将所述短时时序增强特征和所述全局时序融合特征通过残差连接并入主网络，计算得到所述化工气体泄漏的检测结果。
2.根据权利要求1所述的方法，其特征在于，所述对采集到的化工气体的光谱视频进行图像层面的预处理的步骤之后还包括：
利用背景建模方法对复杂场景光谱视频序列图像中的某一特定像素值进行建模，将所述光谱视频中发生动态变化的像素进行显示提取，并提出预选框。
3.根据权利要求2所述的方法，其特征在于，还包括：
利用聚类算法将提出的所述预选框进行聚类，并将在可见光波段的光谱视频和红外波段的光谱视频中同时出现的聚类进行去除。
4.根据权利要求1所述的方法，其特征在于，所述图像层面的预处理包括图像去噪、图像增强和图像对齐中的一种或多种。
5.根据权利要求1所述的方法，其特征在于，所述将所述光谱视频在时序上划分为多个片段，在每个片段中采样一个视频帧，并分别提取每个视频帧的特征包括：
将所述光谱视频划分为持续时间相同的T个片段，在每个片段中随机采样一个视频帧得到
Figure 713741DEST_PATH_IMAGE001
；
将所述视频帧输入到二维卷积模型中，提取每个视频帧的隐藏层中的特征表示得到
Figure 568565DEST_PATH_IMAGE002
。
6.根据权利要求5所述的方法，其特征在于，所述通过在每个视频帧的特征中融合其多个相邻视频帧的局部运动信息，得到每个视频帧的短时时序增强特征包括：
以视频帧
Figure 348302DEST_PATH_IMAGE003
为中心，在其所属片段中提取多个相邻视频帧的光谱图像差分得到
Figure 431927DEST_PATH_IMAGE004
，并将多个光谱图像差分在通道维度上进行叠加；
采用卷积神经网络对叠加的所述光谱图像差分
Figure 246299DEST_PATH_IMAGE005
进行运算，提取得到相邻视频帧的局部运动信息
Figure 6445DEST_PATH_IMAGE006
，所述运算包括：
Figure 273478DEST_PATH_IMAGE007
;
其中，所述
Figure 659329DEST_PATH_IMAGE008
为利用平均池化层对光谱图像差分
Figure 328208DEST_PATH_IMAGE005
进行下采样，所述
Figure 259255DEST_PATH_IMAGE009
为利用二维
Figure 13584DEST_PATH_IMAGE009
提取运动特征，所述
Figure 439011DEST_PATH_IMAGE010
为对所述运动特征进行上采样以匹配特征；
通过将所述视频帧
Figure 962397DEST_PATH_IMAGE003
的特征
Figure 329924DEST_PATH_IMAGE011
与所述局部运动信息
Figure 571549DEST_PATH_IMAGE006
进行叠加得到所述视频帧的短时时序增强特征
Figure 33624DEST_PATH_IMAGE012
，所述叠加包括：
Figure 677095DEST_PATH_IMAGE013
。
7.根据权利要求6所述的方法，其特征在于，所述通过移位和加权逐通道的集成方法在每个视频帧的短时时序增强特征中融合时序信息，得到每个视频帧的全局时序融合特征包括：
将所述短时时序增强特征
Figure 949944DEST_PATH_IMAGE014
划分为两组，分别为分辨率为增强特征分辨率一半的大帧组
Figure 678866DEST_PATH_IMAGE015
以及分辨率和增强特征分辨率保持一致的小帧组
Figure 446096DEST_PATH_IMAGE016
；
利用BLVNet视频架构，将所述两组短时时序增强特征分别输入到大小分支，以便每个分支从不同的帧获得补充信息，则其输出
Figure 944073DEST_PATH_IMAGE017
可以表示为：
Figure 653403DEST_PATH_IMAGE018
其中，
Figure 604042DEST_PATH_IMAGE019
表示在第t帧的输入输出特征层，
Figure 673498DEST_PATH_IMAGE020
和
Figure 25982DEST_PATH_IMAGE021
是BLVNet中的大分支和小分支，
Figure 968530DEST_PATH_IMAGE022
是模型参数，
Figure 344148DEST_PATH_IMAGE023
表示一个附加的残差模块应用在融合两个分支的特征输出来增强特征表示；
利用加权逐通道的集成方法融合每一个视频帧的时序信息，得到每个视频帧的全局时序增强特征：
Figure 764765DEST_PATH_IMAGE024
；其中，
Figure 925750DEST_PATH_IMAGE025
表示第t帧
Figure 39199DEST_PATH_IMAGE026
的激活输出，
Figure 902113DEST_PATH_IMAGE027
表示逐通道的乘法，其具体可定义为对于向量
Figure 126421DEST_PATH_IMAGE028
和
Figure 374869DEST_PATH_IMAGE029
，V
Figure 659219DEST_PATH_IMAGE030
=
Figure 9429DEST_PATH_IMAGE031
，
Figure 37428DEST_PATH_IMAGE032
表示时序。
8.一种基于光谱视频的化工气体泄漏检测系统，其特征在于，包括：
图像预处理模块，用于对采集到的化工气体的光谱视频进行图像层面的预处理；
稀疏采样模块，用于将所述光谱视频在时序上划分为多个片段，在每个片段中采样一个视频帧，并分别提取每个视频帧的特征；
帧级特征增强模块，用于通过在每个视频帧的特征中融合其多个相邻视频帧的局部运动信息，得到每个视频帧的短时时序增强特征；
时序加权融合模块，用于通过移位和加权逐通道的集成方法在每个视频帧的短时时序增强特征中融合时序信息，得到每个视频帧的全局时序融合特征；
输出模块，用于将所述短时时序增强特征和所述全局时序融合特征通过残差连接并入主网络，计算得到所述化工气体泄漏的检测结果。
9.根据权利要求8所述的系统，其特征在于，还包括：
运动检测模块，用于利用背景建模方法对复杂场景光谱视频序列图像中的某一特定像素值进行建模，将所述光谱视频中发生动态变化的像素进行显示提取，并提出预选框。
10.根据权利要求9所述的系统，其特征在于，还包括：
预选框聚类模块，用于利用聚类算法将提出的所述预选框进行聚类，并将在可见光波段的光谱视频和红外波段的光谱视频中同时出现的聚类进行去除。
11.根据权利要求8所述的系统，其特征在于，所述图像预处理模块包括图像去噪模块、图像增强模块和图像对齐模块中的一种或多种。
12.根据权利要求8所述的系统，其特征在于，所述稀疏采样模块具体用于：
将所述光谱视频划分为持续时间相同的T个片段，在每个片段中随机采样一个视频帧得到
Figure 895708DEST_PATH_IMAGE001
；
将所述视频帧输入到二维卷积模型中，提取每个视频帧的隐藏层中的特征表示得到
Figure 85380DEST_PATH_IMAGE002
。
13.根据权利要求12所述的系统，其特征在于，所述帧级特征增强模块具体用于：
以视频帧
Figure 922886DEST_PATH_IMAGE003
为中心，在其所属片段中提取多个相邻视频帧的光谱图像差分得到
Figure 488997DEST_PATH_IMAGE004
，并将多个光谱图像差分在通道维度上进行叠加；
采用卷积神经网络对叠加的所述光谱图像差分
Figure 977616DEST_PATH_IMAGE005
进行运算，提取得到相邻视频帧的局部运动信息
Figure 338190DEST_PATH_IMAGE006
，所述运算包括：
Figure 662992DEST_PATH_IMAGE007
;
其中，所述
Figure 32794DEST_PATH_IMAGE008
为利用平均池化层对光谱图像差分
Figure 611805DEST_PATH_IMAGE005
进行下采样，所述
Figure 408860DEST_PATH_IMAGE009
为利用二维
Figure 955379DEST_PATH_IMAGE009
提取运动特征，所述
Figure 128871DEST_PATH_IMAGE010
为对所述运动特征进行上采样以匹配特征；
通过将所述视频帧
Figure 326503DEST_PATH_IMAGE003
的特征
Figure 294459DEST_PATH_IMAGE011
与所述局部运动信息
Figure 328274DEST_PATH_IMAGE006
进行叠加得到所述视频帧的短时时序增强特征
Figure 39878DEST_PATH_IMAGE012
，所述叠加包括：
Figure 593481DEST_PATH_IMAGE013
。
14.根据权利要求13所述的系统，其特征在于，所述时序加权融合模块具体用于：
将所述短时时序增强特征
Figure 732339DEST_PATH_IMAGE014
划分为两组，分别为分辨率为增强特征分辨率一半的大帧组
Figure 253450DEST_PATH_IMAGE015
以及分辨率和增强特征分辨率保持一致的小帧组
Figure 503166DEST_PATH_IMAGE016
；
利用BLVNet视频架构，将所述两组短时时序增强特征分别输入到大小分支，以便每个分支从不同的帧获得补充信息，则其输出
Figure 675390DEST_PATH_IMAGE017
可以表示为：
Figure 985149DEST_PATH_IMAGE018
其中，
Figure 993556DEST_PATH_IMAGE019
表示在第t帧的输入输出特征层，
Figure 46962DEST_PATH_IMAGE020
和
Figure 575158DEST_PATH_IMAGE021
是BLVNet中的大分支和小分支，
Figure 55818DEST_PATH_IMAGE022
是模型参数，
Figure 348259DEST_PATH_IMAGE023
表示一个附加的残差模块应用在融合两个分支的特征输出来增强特征表示；
利用加权逐通道的集成方法融合每一个视频帧的时序信息，得到每个视频帧的全局时序增强特征：
Figure 143040DEST_PATH_IMAGE024
；其中，
Figure 837326DEST_PATH_IMAGE025
表示第t帧
Figure 675838DEST_PATH_IMAGE026
的激活输出，
Figure 721155DEST_PATH_IMAGE027
表示逐通道的乘法，其具体可定义为对于向量
Figure 54047DEST_PATH_IMAGE028
和
Figure 602840DEST_PATH_IMAGE029
，V
Figure 379297DEST_PATH_IMAGE030
=
Figure 646330DEST_PATH_IMAGE033
，
Figure 782914DEST_PATH_IMAGE032
表示时序。
15.一种计算设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至7任意一项所述的基于光谱视频的化工气体泄漏检测方法。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被计算机执行时实现如权利要求1至7任意一项所述的基于光谱视频的化工气体泄漏检测方法。
CN202111229691.9A 2021-10-22 2021-10-22 一种基于光谱视频的化工气体泄漏检测方法及系统 Active CN113688801B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111229691.9A CN113688801B (zh) 2021-10-22 2021-10-22 一种基于光谱视频的化工气体泄漏检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111229691.9A CN113688801B (zh) 2021-10-22 2021-10-22 一种基于光谱视频的化工气体泄漏检测方法及系统

Publications (2)

Publication Number Publication Date
CN113688801A true CN113688801A (zh) 2021-11-23
CN113688801B CN113688801B (zh) 2022-02-15

Family

ID=78587664

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111229691.9A Active CN113688801B (zh) 2021-10-22 2021-10-22 一种基于光谱视频的化工气体泄漏检测方法及系统

Country Status (1)

Country Link
CN (1) CN113688801B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116486307A (zh) * 2023-05-05 2023-07-25 江苏三棱智慧物联发展股份有限公司 一种基于视频分析技术的化工园区安全预警方法及系统

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609907A (zh) * 2012-01-12 2012-07-25 北京理工大学 基于自适应时域滤波和形态学的气体红外图像增强方法
CN103413395A (zh) * 2013-08-15 2013-11-27 北京声迅电子股份有限公司 烟气智能检测预警方法及装置
CN104346626A (zh) * 2014-10-30 2015-02-11 国家电网公司 基于图像识别的sf6气体泄漏在线模式识别方法
CN104697720A (zh) * 2013-12-07 2015-06-10 山东长运光电科技有限公司 一种基于无线通信的在线六氟化硫红外成像检漏装置
CN107016694A (zh) * 2017-04-12 2017-08-04 国网山东省电力公司电力科学研究院 一种基于红外视频的sf6气体泄漏自动检测方法
CN107545707A (zh) * 2017-08-30 2018-01-05 杭州电子科技大学 基于ZigeBee的工业环境危险气体泄漏检测系统
CN107833221A (zh) * 2017-11-29 2018-03-23 武汉大学 一种基于多通道特征融合和机器学习的漏水监测方法
CN108986152A (zh) * 2018-06-11 2018-12-11 全球能源互联网研究院有限公司 一种基于差分图像的异物检测方法及装置
KR20190076188A (ko) * 2017-12-22 2019-07-02 에이스웨이브텍(주) Lwir 및 swir를 이용한 융합 듀얼 ir 카메라 및 영상융합 알고리즘
CN110032942A (zh) * 2019-03-15 2019-07-19 中山大学 基于时域分段及特征差分的动作识别方法
CN110175581A (zh) * 2019-05-29 2019-08-27 哈尔滨工业大学 一种基于累积张量分解的高光谱视频图像气体检测方法
CN110287826A (zh) * 2019-06-11 2019-09-27 北京工业大学 一种基于注意力机制的视频目标检测方法
CN111122490A (zh) * 2020-01-19 2020-05-08 北京戴纳实验科技有限公司 一种室内气体泄漏信息采集方法及其装置
CN111209883A (zh) * 2020-01-13 2020-05-29 南京大学 一种基于多源运动特征融合的时序自适应视频分类方法
CN111597929A (zh) * 2020-04-30 2020-08-28 青岛科技大学 基于通道信息融合和组群关系空间结构化建模的组群行为识别方法
CN111914770A (zh) * 2020-08-06 2020-11-10 吉林省佰益光电科技有限公司 一种检测气体泄漏的方法及双波段红外成像系统
CN112347919A (zh) * 2020-11-06 2021-02-09 中国矿业大学(北京) 一种地下天然气微泄漏点的遥感探测方法
CN112699786A (zh) * 2020-12-29 2021-04-23 华南理工大学 一种基于空间增强模块的视频行为识别方法及系统
CN112781791A (zh) * 2020-12-30 2021-05-11 大连海事大学 一种基于光学气体成像的VOCs气体泄漏检测方法及系统
CN112836809A (zh) * 2021-03-22 2021-05-25 济南奔腾时代电力科技有限公司 一种基于差分特征融合的卷积神经网络的设备特性提取方法以及故障预测的方法
CN112907522A (zh) * 2021-02-03 2021-06-04 北京遥感设备研究所 一种智能红外气体泄漏监测装置及监测方法

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609907A (zh) * 2012-01-12 2012-07-25 北京理工大学 基于自适应时域滤波和形态学的气体红外图像增强方法
CN103413395A (zh) * 2013-08-15 2013-11-27 北京声迅电子股份有限公司 烟气智能检测预警方法及装置
CN104697720A (zh) * 2013-12-07 2015-06-10 山东长运光电科技有限公司 一种基于无线通信的在线六氟化硫红外成像检漏装置
CN104346626A (zh) * 2014-10-30 2015-02-11 国家电网公司 基于图像识别的sf6气体泄漏在线模式识别方法
CN107016694A (zh) * 2017-04-12 2017-08-04 国网山东省电力公司电力科学研究院 一种基于红外视频的sf6气体泄漏自动检测方法
CN107545707A (zh) * 2017-08-30 2018-01-05 杭州电子科技大学 基于ZigeBee的工业环境危险气体泄漏检测系统
CN107833221A (zh) * 2017-11-29 2018-03-23 武汉大学 一种基于多通道特征融合和机器学习的漏水监测方法
KR20190076188A (ko) * 2017-12-22 2019-07-02 에이스웨이브텍(주) Lwir 및 swir를 이용한 융합 듀얼 ir 카메라 및 영상융합 알고리즘
CN108986152A (zh) * 2018-06-11 2018-12-11 全球能源互联网研究院有限公司 一种基于差分图像的异物检测方法及装置
CN110032942A (zh) * 2019-03-15 2019-07-19 中山大学 基于时域分段及特征差分的动作识别方法
CN110175581A (zh) * 2019-05-29 2019-08-27 哈尔滨工业大学 一种基于累积张量分解的高光谱视频图像气体检测方法
CN110287826A (zh) * 2019-06-11 2019-09-27 北京工业大学 一种基于注意力机制的视频目标检测方法
CN111209883A (zh) * 2020-01-13 2020-05-29 南京大学 一种基于多源运动特征融合的时序自适应视频分类方法
CN111122490A (zh) * 2020-01-19 2020-05-08 北京戴纳实验科技有限公司 一种室内气体泄漏信息采集方法及其装置
CN111597929A (zh) * 2020-04-30 2020-08-28 青岛科技大学 基于通道信息融合和组群关系空间结构化建模的组群行为识别方法
CN111914770A (zh) * 2020-08-06 2020-11-10 吉林省佰益光电科技有限公司 一种检测气体泄漏的方法及双波段红外成像系统
CN112347919A (zh) * 2020-11-06 2021-02-09 中国矿业大学(北京) 一种地下天然气微泄漏点的遥感探测方法
CN112699786A (zh) * 2020-12-29 2021-04-23 华南理工大学 一种基于空间增强模块的视频行为识别方法及系统
CN112781791A (zh) * 2020-12-30 2021-05-11 大连海事大学 一种基于光学气体成像的VOCs气体泄漏检测方法及系统
CN112907522A (zh) * 2021-02-03 2021-06-04 北京遥感设备研究所 一种智能红外气体泄漏监测装置及监测方法
CN112836809A (zh) * 2021-03-22 2021-05-25 济南奔腾时代电力科技有限公司 一种基于差分特征融合的卷积神经网络的设备特性提取方法以及故障预测的方法

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
JUNCHI BIN ET AL: "Tensor-Based Approach for Liquefied Natural Gas Leakage Detection From Surveillance Thermal Cameras: A Feasibility Study in Rural Areas", 《IEEE TRANSACTIONS ON INDUSTRIAL INFORMATICS》 *
KAN XU ET AL: "SF6 Gas Infrared Thermal Imaging Leakage Detection Based on Faster-RCNN", 《2019 INTERNATIONAL CONFERENCE ON SMART GRID AND ELECTRICAL AUTOMATION (ICSGEA)》 *
于宏伟: "基于红外热像的VOCs气体泄漏检测方法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑》 *
徐守坤等: "基于多特征与DCNN的红外SF6泄漏检测方法研究", 《计算机应用与软件》 *
梁鸿等: "融入时序激励机制的人体行为识别", 《计算机工程与设计》 *
汪洪桥等: "《模式分析的多核方法及其应用》", 31 March 2014 *
洪少壮: "基于视觉的红外气体泄漏检测算法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑》 *
王敏: "易燃易爆气体泄漏红外视频图像检测方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116486307A (zh) * 2023-05-05 2023-07-25 江苏三棱智慧物联发展股份有限公司 一种基于视频分析技术的化工园区安全预警方法及系统
CN116486307B (zh) * 2023-05-05 2023-11-21 江苏三棱智慧物联发展股份有限公司 一种基于视频分析技术的化工园区安全预警方法及系统

Also Published As

Publication number Publication date
CN113688801B (zh) 2022-02-15

Similar Documents

Publication Publication Date Title
Abdollahi et al. Building footprint extraction from high resolution aerial images using generative adversarial network (GAN) architecture
Wan et al. CoRRN: Cooperative reflection removal network
JP6439820B2 (ja) 対象識別方法、対象識別装置、及び分類器訓練方法
CN109118459B (zh) 图像显著性物体检测方法和装置
Liu et al. Multiscale U-shaped CNN building instance extraction framework with edge constraint for high-spatial-resolution remote sensing imagery
Liu et al. Single image dehazing via large sky region segmentation and multiscale opening dark channel model
CN103020965B (zh) 一种基于显著性检测的前景分割方法
CN110781756A (zh) 基于遥感图像的城市道路提取方法及装置
Wang et al. Improved YOLOX-X based UAV aerial photography object detection algorithm
CN110276831B (zh) 三维模型的建构方法和装置、设备、计算机可读存储介质
CN112308156B (zh) 一种基于对抗学习的两阶段图像变化检测方法
CN113222819B (zh) 一种基于深度卷积神经网络的遥感图像超分辨重建方法
Zhang et al. Cloud detection method using CNN based on cascaded feature attention and channel attention
CN113688801B (zh) 一种基于光谱视频的化工气体泄漏检测方法及系统
CN117078930A (zh) 基于边界感知和注意力机制的医学图像分割方法
CN114612872A (zh) 目标检测方法、装置、电子设备及计算机可读存储介质
CN115908772A (zh) 一种基于Transformer和融合注意力机制的目标检测方法及系统
CN115546076A (zh) 一种基于卷积网络的遥感图像薄云去除方法
CN111539341A (zh) 目标定位方法、装置、电子设备和介质
CN115100469A (zh) 一种基于分割算法的目标属性识别方法、训练方法和装置
Li et al. MF-SRCDNet: Multi-feature fusion super-resolution building change detection framework for multi-sensor high-resolution remote sensing imagery
CN114494283A (zh) 一种农田自动分割方法及系统
CN115984712A (zh) 基于多尺度特征的遥感图像小目标检测方法及系统
CN112651351B (zh) 一种数据处理的方法和装置
CN115861818A (zh) 基于注意力机制联合卷积神经网络的细小水体提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231130

Address after: Room 1056, Heying building, No. 99, Tuanjie Road, Jiangbei new district, Nanjing, Jiangsu Province, 210008

Patentee after: Nanjing Zhipu Technology Co.,Ltd.

Patentee after: NANJING University

Address before: Room 1056, Heying building, No. 99, Tuanjie Road, Jiangbei new district, Nanjing, Jiangsu Province, 210008

Patentee before: Nanjing Zhipu Technology Co.,Ltd.

TR01 Transfer of patent right