CN113780136B

CN113780136B - 基于时空纹理识别的VOCs气体泄漏检测方法、系统及设备

Info

Publication number: CN113780136B
Application number: CN202111013478.4A
Authority: CN
Inventors: 曹洋; 谭几方; 康宇; 夏秀山; 许镇义
Original assignee: Institute of Advanced Technology University of Science and Technology of China
Current assignee: Institute of Advanced Technology University of Science and Technology of China
Priority date: 2021-08-31
Filing date: 2021-08-31
Publication date: 2023-07-14
Anticipated expiration: 2041-08-31
Also published as: CN113780136A

Abstract

本发明的一种基于时空纹理识别的VOCs气体泄漏检测方法、系统及设备，包括以下步骤，S1：获取红外视频数据并对进行数据预处理；S2：从红外视频数据中提取一维时序特征数据，训练一维卷积神经网络分类器；S3：从红外视频数据中提取多帧存在VOCs泄漏的连续视频帧，使用视频帧训练二维加型时空神经网络分类器；S4：采样若干像素点的时空特征，使用一维卷积神经网络分类器，计算出平均泄漏置信度；当超过预设阈值时，将相关视频帧输入二维加型时空神经网络分类器，并输出预测结果。本发明充分利用时空纹理特征使用卷积神经网络对红外视频图像进行预筛查，随后再使用加型时空神经网络模型进行复检，从而在实现VOCs泄漏快速检测的同时显著降低计算性能需求。

Description

基于时空纹理识别的VOCs气体泄漏检测方法、系统及设备

技术领域

本发明涉及环境检测技术领域，具体涉及一种基于时空纹理识别的VOCs气体泄漏检测方法、系统及设备。

背景技术

近年来，由于有机溶剂和助剂在石化行业、化工行业、包装印刷、工业涂装中的广泛使用，上述行业在各生产工序中会产生大量且种类繁多的VOCs气体，对空气质量直接造成较大影响。同时VOCs与NOx在太阳光的照射下，通过光化学反应形成了O₃和PM_2.5，间接致使近地面光化学烟雾污染更为严重，因此，对VOCs的检测与治理已成为当前空气处理问题的一个焦点。目前已有方法往往需要精准采集相关泄漏气体后分析测定，无法实时检测寻找VOCs泄漏源头，无法适应VOCs快速检测泄漏任务的要求。

发明内容

本发明提出的一种基于时空纹理识别的VOCs气体泄漏检测方法、系统及设备，可实现在搭载平台计算资源有限的情况下，快速可靠地进行VOCs泄漏检测。

为实现上述目的，本发明采用了以下技术方案：

一种基于时空纹理识别的VOCs气体泄漏检测方法，包括以下步骤：

步骤1：获取存在VOCs泄漏和无泄漏的红外视频数据并对进行数据预处理；

步骤2：从红外视频数据中提取一定长度像素点一维时序特征数据，训练一维卷积神经网络分类器；

步骤3：从红外视频数据中提取多帧存在VOCs泄漏的连续视频帧，使用视频帧训练加型时空神经网络分类器；

步骤4：多次从红外图像采样若干像素点的时空特征，使用一维卷积神经网络分类器，计算出平均泄漏置信度；当置信度超过预设阈值时，将相关视频帧输入二维加型时空神经网络分类器，并输出预测结果。

需要说明的是，本实例为一个二阶段模型，一阶段中基于像素点数据时空分布特征对待检测泄漏数据进行预筛选操作，当置信度达到一定阈值后才进入二阶段使用加型时空神经网络分类器进行复检，从而显著降低了性能需求。

进一步的，所述步骤S1：获取存在VOCs泄漏和无泄漏的红外视频数据并对进行数据预处理，具体包括：

S11：获取存在VOCs泄漏和无泄漏的红外视频数据；

S12：对红外视频数据进行随机旋转、帧尺寸归一化、场景切分这些预处理操作。

进一步的，所述步骤S2：从红外视频数据中提取一定长度像素点一维时序特征数据，训练一维卷积神经网络分类器，具体包括：

S21：从具有VOCs泄漏的切分场景视频帧的暗部即VOCs气体区域每8*8或16*16的块中提取一个像素，形成若干具有长度L的像素点一维时序数据(X^L,1)，其中，L为场景帧数量，1代表此数据来自存在VOCs泄漏区域，且X^L＝[x₁x₂…x_L]^T；同时也从不具有VOCs泄漏的切分场景中暗部以同样方式提取出若干具有相同长度的像素点一维时序数据(X^L,0)，其中0代表此数据来自正常区域；

S22：首先对提取得到的一维时序数据X^L进行数值归一化，使其每项元素满足0≤x_i≤255(i＝1,2,…,L)，随后对每一时序数据x_i进行零均值化；再分别对处理完成后的两类数据进行切分，80％作为训练数据，20％作为验证数据；

S23：使用处理完成的训练数据训练一维卷积神经网络分类器，一阶段分类器的输入为一维时序数据X^L，输出为得到输出D(X^L)，其中D(X^L)∈{0,1}，当分类器在验证数据集上分类准确率达到98％以上后停止训练；从而得到一阶段分类模型。

进一步的，所述步骤S3：从红外视频数据中提取多帧存在VOCs泄漏的连续视频帧，使用视频帧训练二维加型时空神经网络分类器，包括：

S31：抽取从VOCs泄漏场景中具有VOCs泄漏的连续N(N＝3,4,5)帧作为数据(δ,1)，其中1代表此数据有VOCs泄漏，且δ＝[δ₁,δ₂,…,δ_N]；抽取正常场景中的连续N帧作为数据(δ,0)，0代表此数据不存在VOCs泄漏；

S32：使用处理完成的训练数据训练加型时空神经网络分类器，二阶段分类器的输入为δ，输出为T(δ)，且T(δ)∈[0,1]；当分类器在验证数据集上分类准确率达到95％以上后停止训练，从而得到二阶段分类模型。

进一步的，所述步骤S4：多次从红外图像采样若干像素点的时空特征，使用一维卷积神经网络分类器，计算出平均泄漏置信度；当置信度超过预设阈值时，将相关视频帧输入二维加型时空神经网络分类器，并输出预测结果，包括：

S41：从待测切分场景视频帧的暗部每8*8或16*16的块中随机提取一个像素，得到K个有长度L的像素点一维时序数据X^L，且X^L＝[x₁x₂…x_L]^T，L为场景帧数量，送入一阶段一维卷积神经网络，得到输出D(X^L)，其中D(X^L)∈{0,1}，计算单次置信度C：

其中I(.)是计数函数，输出内部条件成立次数，重复采样并计算M次，计算平均置信度：

S42：当平均置信度超过预设置信度阈值th_α时，认为此场景帧存在VOC泄漏，进入模型二阶段复检流程，从该段长度为L的场景视频中按预设单次帧长N(N＝3,4,5)抽取连续N帧视频帧，起始时t-N为场景中第一帧，抽出的t时刻场景帧数据δ送入二阶段分类器中，得到输出预测结果T(δ)，当T(δ)大于预设警报阈值th_β时，表示存在VOCs泄漏，本次检测完成，算法结束，并向系统发出警报；当低于警报阈值th_β时，则令t＝t+N读取该场景后N个帧，继续进行检测直至该视频场景全部检测完成。

另一方面，本发明还公开一种基于时空纹理识别的VOCs气体泄漏检测系统，包括以下单元，

数据获取及处理单元，用于获取存在VOCs泄漏和无泄漏的红外视频数据并对进行数据预处理；

一维卷积神经网络分类器训练单元，用于从红外视频数据中提取一定长度像素点一维时序特征数据，训练一维卷积神经网络分类器；

二维加型时空神经网络分类器训练单元，用于从红外视频数据中提取多帧存在VOCs泄漏的连续视频帧，使用视频帧训练二维加型时空神经网络分类器；

预测单元，用于多次从红外图像采样若干像素点的时空特征，使用一维卷积神经网络分类器，计算出平均泄漏置信度；当置信度超过预设阈值时，将相关视频帧输入二维加型时空神经网络分类器，并输出预测结果。

进一步的，所述一维卷积神经网络分类器即一阶段网络共分为6层，第一层为带有批处理归一化的输入卷积层，接收尺寸为160×1的输入数据，含有32个卷积核，卷积核大小为5×1，滑动步长为2；第二层为带有最大池化和批处理归一化的卷积层，含有64个卷积核，卷积核大小为3×32，最大池化核大小为2；

第三层为带有最大池化和批处理归一化的卷积层，含有128个卷积核，卷积核大小为3×64，最大池化核大小为2；第四层为全局平均池化层；

第五层为带有批处理归一化的全连接层；第六层为输出全连接层。

进一步的，所述二维加型时空神经网络分类器即二阶段网络共分为6层，第一层为带有批处理归一化的输入加型卷积层，接收尺寸为112×112×N的输入数据，含有64个卷积核，卷积核大小为5×5，滑动步长为2；第二层为带有最大池化和批处理归一化的加型卷积层，含有128个卷积核，卷积核大小为3×3，最大池化核大小为2；第三层为带有最大池化的卷积层，含有256个卷积核，卷积核大小为3×3，最大池化核大小为2；第四层为带批处理归一化的全局平均池化层；第五层为带有批处理归一化的全连接层；第六层为输出全连接层。

同时本发明还公开一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述所述方法的步骤。

再一方面，本发明还公开一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述方法的步骤。

由上述技术方案可知，本发明的基于时空纹理识别的VOCs气体泄漏检测方法，考虑到VOCs气体对红外光的吸收，导致红外图像上VOCs泄漏区域的颜色较周围区域深(白热模式)，且VOCs气体泄漏是个持续性的过程，可以利用气体的时空纹理特征信息辅助对检测泄漏情况。综上，本发明提出了一种基于时空纹理识别的计算高效型VOCs气体检测方法，抽取红外图像中的像素时空信息进行泄漏预筛查，再使用卷积神经网络对泄漏进行复检，旨在实现快速检测的同时降低计算量，使算法可搭载在性能受限的平台如无人机上运行，从而进行VOCs泄漏快速检测溯源。

本发明克服现有方法的不足，充分利用红外图像中VOCs气体区域像素点的时空纹理特征使用卷积神经网络对红外视频图像进行预筛查，随后再使用加型时空神经网络模型进行复检，从而在实现VOCs泄漏快速检测的同时显著降低计算性能需求。

附图说明

图1为本发明方法总体网络模型示意图；

图2为本发明实验结果。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

如图1所示，本实施例所述的基于时空纹理识别的VOCs气体泄漏检测方法，包括以下步骤：

需要说明的是，本实例为一个二阶段模型，一阶段中基于像素点数据时空分布特征对待检测泄漏数据进行预筛选操作，当置信度达到一定阈值后才进入二阶段使用加型时空神经网络分类器进行复检，从而显著降低了性能需求。网络结构如表一和表二；

其中，一阶段网络共分为6层，第一层为带有批处理归一化的输入卷积层，接收尺寸为160×1的输入数据，含有32个卷积核，卷积核大小为5×1，滑动步长为2；第二层为带有最大池化和批处理归一化的卷积层，含有64个卷积核，卷积核大小为3×32，最大池化核大小为2；

二阶段网络共分为6层，第一层为带有批处理归一化的输入加型卷积层，接收尺寸为112×112×N的输入数据，含有64个卷积核，卷积核大小为5×5，滑动步长为2；第二层为带有最大池化和批处理归一化的加型卷积层，含有128个卷积核，卷积核大小为3×3，最大池化核大小为2；第三层为带有最大池化的卷积层，含有256个卷积核，卷积核大小为3×3，最大池化核大小为2；第四层为带批处理归一化的全局平均池化层；第五层为带有批处理归一化的全连接层；第六层为输出全连接层。

Table 1

一阶段网络结构

Table 2

二阶段网络结构

以下具体说明：

进一步地，上述步骤S1：获取存在VOCs泄漏和无泄漏的红外视频数据并对进行数据预处理。具体包括如下细分步骤S11至S12：

S11：获取存在VOCs泄漏和无泄漏的红外视频数据；

S12：对红外视频数据进行随机旋转、帧尺寸归一化、场景切分等预处理操作；

上述步骤S2：从红外视频数据中提取一定长度像素点一维时序特征数据，训练一维卷积神经网络分类器。具体包括如下细分步骤S21至S23：

S21：从具有VOCs泄漏的切分场景视频帧的暗部(VOCs气体区域)每8*8或16*16的块中提取一个像素，形成若干具有长度L(场景帧数量，本发明中选取L＝160)的像素点一维时序数据(X^L,1)，其中1代表此数据来自存在VOCs泄漏区域，且X^L＝[x₁x₂…x_L]^T；同时也从不具有VOCs泄漏的切分场景中暗部以同样方式提取出若干具有相同长度的像素点一维时序数据(X^L,0)，其中0代表此数据来自正常区域。

S22：首先对提取得到的一维时序数据X^L进行数值归一化，使其每项元素满足0≤x_i≤255(i＝1,2,…,L)，随后对每一时序数据x_i进行零均值化。再分别对处理完成后的两类数据进行切分，80％作为训练数据，20％作为验证数据。

S23：使用处理完成的训练数据训练一维卷积神经网络分类器，一阶段分类器的输入为一维时序数据X^L，输出为得到输出D(X^L)，其中D(X^L)∈{0,1}，当分类器在验证数据集上分类准确率达到98％以上后停止训练。从而得到一阶段分类模型。

上述步骤S3：从红外视频数据中提取多帧存在VOCs泄漏的连续视频帧，使用视频帧训练加型时空神经网络分类器。具体包括如下细分步骤S31至S32：

S31：抽取从VOCs泄漏场景中具有VOCs泄漏的连续N(N＝3,4,5)帧作为数据(δ,1)，其中1代表此数据有VOCs泄漏，且δ＝[δ₁,δ₂,…,δ_N]；抽取正常场景中的连续N帧作为数据(δ,0)，0代表此数据不存在VOCs泄漏。

S32：使用处理完成的训练数据训练加型时空神经网络分类器，二阶段分类器的输入为δ，输出为T(δ)，且T(δ)∈[0,1]。当分类器在验证数据集上分类准确率达到95％以上后停止训练，从而得到二阶段分类模型。

上述步骤S4：多次从红外图像采样若干像素点的时空特征，使用一维卷积神经网络分类器，计算出平均泄漏置信度。当置信度超过预设阈值时，将相关视频帧输入二维加型时空神经网络分类器，并输出预测结果。具体包括如下细分步骤S41至S43：

S41：从待测切分场景视频帧的暗部每8*8或16*16的块中随机提取一个像素，得到K个有长度L(场景帧数量)的像素点一维时序数据X^L，且X^L＝[x₁x₂…x_L]^T，送入一阶段一维卷积神经网络，得到输出D(X^L)，其中D(X^L)∈{0,1}，计算单次置信度C：

S42：当平均置信度超过预设置信度阈值th_α时，我们认为此场景帧存在VOC泄漏，进入模型二阶段复检流程，从该段长度为L的场景视频中按预设单次帧长N(N＝3,4,5)抽取连续N帧视频帧，起始时t-N为场景中第一帧，抽出的t时刻场景帧数据δ送入二阶段分类器中，得到输出预测结果T(δ)，当T(δ)大于预设警报阈值th_β时，表示存在VOCs泄漏，本次检测完成，算法结束，并向系统发出警报；当低于警报阈值th_β时，则令t＝t+N读取该场景后N个帧，继续进行检测直至该视频场景全部检测完成。

图2展示了红外视频中存在VOCs泄漏的一帧，黑色框线部分为VOCs气体，本发明给出的预测值为左下角的0.968，代表该帧所处目标场景存在VOCs气体泄漏的概率为96.8％。从中可以看出本发明的方法可以有效检出VOCs气体泄漏情况，且随着单批次数据量的增加，加型神经网络对比常规卷积神经网络方法有效节约了计算资源。

综上所述，本发明的一种基于时空纹理识别的计算高效型VOCs气体检测方法的优点在于：利用像素点的时空纹理对视频数据进行预筛选，极大地降低了算法检测VOCs时的计算量，同时使用加型时空神经网络，对比常规神经网络，减少了对性能消耗最大的乘法运算数量，提升了运算效率。从而使得算法在性能受限的平台运行时也能取得不错的表现。

可理解的是，本发明实施例提供的系统与本发明实施例提供的方法相对应，相关内容的解释、举例和有益效果可以参考上述方法中的相应部分。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种基于时空纹理识别的VOCs气体泄漏检测方法，其特征在于：包括以下步骤，

S1：获取存在VOCs泄漏和无泄漏的红外视频数据并对其进行数据预处理；

S2：从红外视频数据中提取一定长度像素点一维时序特征数据，训练一维卷积神经网络分类器；

S3：从红外视频数据中提取多帧存在VOCs泄漏的连续视频帧，使用视频帧训练二维加型时空神经网络分类器；

S4：多次从红外图像采样若干像素点的时空特征，使用一维卷积神经网络分类器，计算出平均泄漏置信度；当置信度超过预设阈值时，将相关视频帧输入二维加型时空神经网络分类器，并输出预测结果；

所述步骤S1：获取存在VOCs泄漏和无泄漏的红外视频数据并对其进行数据预处理，具体包括：

S11：获取存在VOCs泄漏和无泄漏的红外视频数据；

S12：对红外视频数据进行随机旋转、帧尺寸归一化、场景切分这些预处理操作；

所述步骤S2：从红外视频数据中提取一定长度像素点一维时序特征数据，训练一维卷积神经网络分类器，具体包括：

S21：从具有VOCs泄漏的切分场景视频帧的暗部即VOCs气体区域每8*8或16*16的块中提取一个像素，形成若干具有长度

的像素点一维时序数据/>

，其中，L为场景帧数量，1代表此数据来自存在VOCs泄漏区域，且/>

；同时也从不具有VOCs泄漏的切分场景中暗部以同样方式提取出若干具有相同长度的像素点一维时序数据/>

，其中0代表此数据来自正常区域；

S22：首先对提取得到的一维时序数据

进行数值归一化，使其每项元素满足

，随后对每一时序数据/>

进行零均值化；再分别对处理完成后的两类数据进行切分，80%作为训练数据，20%作为验证数据；

S23：使用处理完成的训练数据训练一维卷积神经网络分类器，一阶段分类器的输入为一维时序数据

，输出为得到输出/>

，其中/>

，当分类器在验证数据集上分类准确率达到98%以上后停止训练；从而得到一阶段分类模型；

所述步骤S3：从红外视频数据中提取多帧存在VOCs泄漏的连续视频帧，使用视频帧训练二维加型时空神经网络分类器，包括：

S31：抽取从VOCs泄漏场景中具有VOCs泄漏的连续

帧作为数据/>

，其中1代表此数据有VOCs泄漏，且/>

；抽取正常场景中的连续/>

帧作为数据

，0代表此数据不存在VOCs泄漏；

S32：使用处理完成的训练数据训练加型时空神经网络分类器，二阶段分类器的输入为

，输出为/>

，且/>

；当分类器在验证数据集上分类准确率达到95%以上后停止训练，从而得到二阶段分类模型；

所述步骤S4：多次从红外图像采样若干像素点的时空特征，使用一维卷积神经网络分类器，计算出平均泄漏置信度；当置信度超过预设阈值时，将相关视频帧输入二维加型时空神经网络分类器，并输出预测结果，包括：

S41：从待测切分场景视频帧的暗部每8*8或16*16的块中随机提取一个像素，得到

个有长度/>

的像素点一维时序数据/>

，且/>

，L为场景帧数量，送入一阶段一维卷积神经网络，得到输出/>

，其中/>

，计算单次置信度/>

：

其中

是计数函数，输出内部条件成立次数，重复采样并计算/>

次，计算平均置信度：

S42：当平均置信度超过预设置信度阈值

时，认为此场景帧存在VOC泄漏，进入模型二阶段复检流程，从该段长度为/>

的场景视频中按预设单次帧长/>

抽取连续/>

帧视频帧，起始时/>

为场景中第一帧，抽出的/>

时刻场景帧数据/>

送入二阶段分类器中，得到输出预测结果/>

，当/>

大于预设警报阈值/>

时，表示存在VOCs泄漏，本次检测完成，算法结束，并向系统发出警报；当低于警报阈值/>

时，则令/>

读取该场景后/>

个帧，继续进行检测直至该视频场景全部检测完成。

2.一种基于时空纹理识别的VOCs气体泄漏检测系统，用于实现权利要求1所述的基于时空纹理识别的VOCs气体泄漏检测方法，其特征在于：包括以下单元，

数据获取及处理单元，用于获取存在VOCs泄漏和无泄漏的红外视频数据并对其进行数据预处理；

3.根据权利要求2所述的一种基于时空纹理识别的VOCs气体泄漏检测系统，其特征在于：所述一维卷积神经网络分类器即一阶段网络共分为6层，第一层为带有批处理归一化的输入卷积层，接收尺寸为

的输入数据，含有32个卷积核，卷积核大小为/>

，滑动步长为2；第二层为带有最大池化和批处理归一化的卷积层，含有64个卷积核，卷积核大小为/>

，最大池化核大小为2；

第三层为带有最大池化和批处理归一化的卷积层，含有128个卷积核，卷积核大小为

，最大池化核大小为2；第四层为全局平均池化层；

4.根据权利要求3所述的一种基于时空纹理识别的VOCs气体泄漏检测系统，其特征在于：所述二维加型时空神经网络分类器即二阶段网络共分为6层，第一层为带有批处理归一化的输入加型卷积层，接收尺寸为

的输入数据，含有64个卷积核，卷积核大小为/>

，滑动步长为2；第二层为带有最大池化和批处理归一化的加型卷积层，含有128个卷积核，卷积核大小为/>

，最大池化核大小为2；第三层为带有最大池化的卷积层，含有256个卷积核，卷积核大小为/>

，最大池化核大小为2；第四层为带批处理归一化的全局平均池化层；第五层为带有批处理归一化的全连接层；第六层为输出全连接层。

5.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1所述方法的步骤。

6.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1所述方法的步骤。