CN113780135B - 跨场景的VOCs气体泄漏检测方法、系统及存储介质 - Google Patents
跨场景的VOCs气体泄漏检测方法、系统及存储介质 Download PDFInfo
- Publication number
- CN113780135B CN113780135B CN202111012923.5A CN202111012923A CN113780135B CN 113780135 B CN113780135 B CN 113780135B CN 202111012923 A CN202111012923 A CN 202111012923A CN 113780135 B CN113780135 B CN 113780135B
- Authority
- CN
- China
- Prior art keywords
- vocs
- data
- target
- leakage
- domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000012855 volatile organic compound Substances 0.000 title claims abstract description 134
- 238000001514 detection method Methods 0.000 title claims abstract description 50
- 238000003860 storage Methods 0.000 title claims abstract description 8
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000003062 neural network model Methods 0.000 claims abstract description 34
- 238000012549 training Methods 0.000 claims abstract description 26
- 238000013508 migration Methods 0.000 claims abstract description 17
- 230000005012 migration Effects 0.000 claims abstract description 17
- 238000004364 calculation method Methods 0.000 claims abstract description 15
- 230000003068 static effect Effects 0.000 claims abstract description 14
- 238000013526 transfer learning Methods 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 34
- 239000011159 matrix material Substances 0.000 claims description 30
- 238000009826 distribution Methods 0.000 claims description 24
- 238000013507 mapping Methods 0.000 claims description 24
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 6
- 238000013075 data extraction Methods 0.000 claims description 6
- 230000001629 suppression Effects 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 239000000779 smoke Substances 0.000 abstract description 6
- 230000007547 defect Effects 0.000 abstract description 2
- 238000012824 chemical production Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 208000032170 Congenital Abnormalities Diseases 0.000 description 1
- 206010010356 Congenital anomaly Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- CBENFWSGALASAD-UHFFFAOYSA-N Ozone Chemical compound [O-][O+]=O CBENFWSGALASAD-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000007698 birth defect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005802 health problem Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005067 remediation Methods 0.000 description 1
- 230000001850 reproductive effect Effects 0.000 description 1
- 208000023504 respiratory system disease Diseases 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A50/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE in human health protection, e.g. against extreme weather
- Y02A50/20—Air quality improvement or preservation, e.g. vehicle emission control or emission reduction by using catalytic converters
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明的一种跨场景的VOCs气体泄漏检测方法、系统及存储介质，包括以下步骤，获取存在VOCs泄漏和无泄漏的红外视频数据并对其进行数据预处理；采用GMM去除红外视频静态背景，提取出红外图像中疑似VOCs泄漏区域；对目标检测模型Faster RCNN神经网络模型进行预训练；通过已训练好的Faster RCNN神经网络模型，构造迁移学习中的源域特征数据集和目标域特征数据集；运用域自适应的迁移学习方法对GMM提取出的红外疑似VOCs泄漏区域进行识别。本发明能够克服现有方法的不足，充分利用红外视频中VOCs气体区域的领域知识对视频帧中的可疑烟雾区域分割，随后再使用Faster RCNN神经网络模型，运用迁移学习的方式对VOCs泄漏区域进行检测识别，从而降低计算性能需求和标记所带来的时间耗费。
Description
技术领域
本发明涉及环境检测领域中VOCs气体泄漏检测技术领域，具体涉及一种跨场景的VOCs气体泄漏检测方法、系统及存储介质。
背景技术
近年来，随着石油化工行业的迅速发展，生产安全问题也越来越重要。如挥发性有机化合物(VOCs)的泄露会导致癌症、出生缺陷和生殖影响等人类健康问题。VOCs还有导致了臭氧的形成，臭氧是烟雾的主要来源，也是城市地区和炼油厂和化工厂附近地区呼吸系统疾病的主要原因之一，因此，对VOCs的检测与治理已成为当前空气处理问题的一个焦点。
考虑到VOCs的领域知识，VOCs具有湍流现象，即VOCs图像是一系列连续运动区域。如果去除大的静态背景，VOCs检测的计算量将大大减少。以及考虑到数据量过大，往往标记数据需要花费大量的时间。
发明内容
本发明提出的一种跨场景的VOCs气体泄漏检测方法、系统及存储介质，可以实现快速可靠地进行VOCs泄漏检测，并可以嵌入到现有的安全监控系统中，而不是安装另一个检测系统，这可以有效降低设备更换和新系统安装的成本。
为实现上述目的，本发明采用了以下技术方案：
一种跨场景的VOCs气体泄漏检测方法，包括以下步骤，
S1：获取存在VOCs泄漏和无泄漏的红外视频数据并对其进行数据预处理；
S2：采用GMM去除红外视频静态背景，提取出红外图像中疑似VOCs泄漏区域；
S3：对目标检测模型Faster RCNN神经网络模型进行预训练；
S4：通过已训练好的Faster RCNN神经网络模型，构造迁移学习中的源域特征数据集和目标域特征数据集；
S5：运用域自适应的迁移学习方法对GMM提取出的红外疑似VOCs泄漏区域进行识别。
进一步地，所述步骤S1具体包括如下细分步骤S11至S13：
S11：准备VOCs泄漏红外视频，每个视频均超过30秒且为“avi”格式，而视频像素可以不相等；
S12：从红外视频数据中截取出VOCs泄漏图像创建数据集，并对相应帧做好标注；
S13：对红外VOCs泄漏图像数据进行随机旋转、帧尺寸归一化这些预处理操作。
进一步的，所述上述步骤S2具体包括如下细分步骤S21至S25：
S21：GMM表示为
其中是像素值的概率密度分布，/>是GMM的一组参数，/>，和/>是模型的平均值和标准差，/>是/>处像素值；
S22：初始化背景模型，初始化均值、标准差/>和微分阈值/>；为了初始化GMM，前50帧用于初始化混合模型中的三个高斯模型，初始/>是50帧中/>处的50个像素的平均值，如等式所示：
S23：验证处的像素是前景还是背景，公式如下，/>为阈值参数/>，判断的基本规则是均值/>的指定范围：
在算法中，如果像素属于背景，就会被替换为0，否则就会被替换为相关的非零值；
S24：更新参数和背景，为学习率，数值越大，背景更新越快，这里/>；
S25：重复S23和S24，直到视频停止，即可提取出红外图像中疑似VOCs泄漏区域。
进一步的，所述步骤S3具体包括如下细分步骤S31至S32：
S31：采用公共数据集对Faster RCNN神经网络模型进行训练；
S32：将S1中部分VOCs泄漏图像和标记数据输入到Faster RCNN神经网络模型中进行预训练，使模型结构调整到更适应VOCs泄漏检测的参数。
进一步的，所述步骤S4具体包括如下细分步骤S41至S42：
S41：将S1中剩余部分VOCs泄漏图像作为源域，将GMM提取出的疑似VOCs泄漏区域图像作为目标域/>；
S42：将和/>输入到S32训练好的Faster RCNN神经网络模型中，首先通过卷积层得到特征图，再经过RPN区域建议网络生成候选框，将候选框与特征图结合即得到源域特征数据集和目标域特征数据集。
进一步的，所述步骤S5具体包括如下细分步骤S51至S54：
S51：候选框中的特征向量表示为，其标记为/>表示是否有VOCs泄漏；将源域特征数据集及其标记及作为/>，目标域特征数据记为/>，无目标域标记；通过特征迁移的方式，将源域数据和目标域数据映射到共享的特征空间/>和标记空间/>，即/>；
S52：通过数据转换函数将数据和目标域数据转换到共享的特征空间和标记空间中；转换函数设计为，其中/>为权重矩阵,/>为随机映射后的实例，表示为
其中，/>表示随机生成的权重和偏置；/>表示前馈神经网络的节点数；/>为非线性的激活函数；
S53：寻找最优的数据转换函数，构建目标函数如下
其中为正则化项；/>和/>是随机映射实列矩阵；/>是目标域中实列信息的保留项；
而则是投影最大平均偏差，用来测量/>和/>之间的差距，表示为
其中，为矩阵的迹；/>表示边缘/>矩阵，计算方式为
由此公式估计出边缘分布的差异；
考虑到目标域是没有进行标记的，需要估计条件分布的差异，因此对伪标签进行的扩展，其表示为
其中，和/>分别为真实标签和伪标签；/>和/>分别表示为源域中/>类数量和目标域中/>类数量，/>表示条件/>矩阵，计算方式为
因此，目标函数重新定义为
其中，；
S54：通过映射函数将数据转换到高维空间，使得源域特征和目标特征具有相同的分布；使转换后的源域特征作为训练集，通过分类器进行分类，使目标特征作为测试集，进行测试和标记是VOCs泄漏区域和非VOCs泄漏区域；计算标记的置信度，采用非极大值抑制算法，选出得分较高的候选框，最终得到目标候选框，最后通过Faster RCNN神经网络模型中的回归部分对目标候选框进行回归。
另一方面，本发明还公开一种跨场景的VOCs气体泄漏检测系统，包括以下单元，
数据获取单元，用于获取存在VOCs泄漏和无泄漏的红外视频数据并对其进行数据预处理；
数据提取单元，用于采用GMM去除红外视频静态背景，提取出红外图像中疑似VOCs泄漏区域；
模型训练单元，用于对目标检测模型Faster RCNN神经网络模型进行预训练；
数据集构建单元，用于通过已训练好的Faster RCNN神经网络模型，构造迁移学习中的源域特征数据集和目标域特征数据集；
识别单元，用于运用域自适应的迁移学习方法对GMM提取出的红外疑似VOCs泄漏区域进行识别。
进一步的，所述数据提取单元，具体处理步骤包括如下细分步骤S21至S25：
S21：GMM表示为
其中是像素值的概率密度分布，/>是GMM的一组参数，/>，和/>是模型的平均值和标准差，/>是/>处像素值；
S22：初始化背景模型，初始化均值、标准差/>和微分阈值/>；为了初始化GMM，前50帧用于初始化混合模型中的三个高斯模型，初始/>是50帧中/>处的50个像素的平均值，如等式所示：
S23：验证处的像素是前景还是背景，公式如下，/>为阈值参数/>，判断的基本规则是均值/>的指定范围：
在算法中，如果像素属于背景，就会被替换为0，否则就会被替换为相关的非零值；
S24：更新参数和背景，为学习率，数值越大，背景更新越快，这里/>；
S25：重复S23和S24，直到视频停止，即可提取出红外图像中疑似VOCs泄漏区域。
进一步的，所述识别单元，具体处理步骤包括如下细分步骤S51至S54：
S51：候选框中的特征向量表示为，其标记为/>表示是否有VOCs泄漏；将源域特征数据集及其标记及作为/>，目标域特征数据记为/>，无目标域标记；通过特征迁移的方式，将源域数据和目标域数据映射到共享的特征空间/>和标记空间/>，即/>；
S52：通过数据转换函数将数据和目标域数据转换到共享的特征空间和标记空间中；转换函数设计为，其中/>为权重矩阵,/>为随机映射后的实例，表示为
其中，/>表示随机生成的权重和偏置；/>表示前馈神经网络的节点数；/>为非线性的激活函数；
S53：寻找最优的数据转换函数，构建目标函数如下
其中为正则化项；/>和/>是随机映射实列矩阵；/>是目标域中实列信息的保留项；
而则是投影最大平均偏差，用来测量/>和/>之间的差距，表示为
其中，为矩阵的迹；/>表示边缘/>矩阵，计算方式为
由此公式估计出边缘分布的差异；
考虑到目标域是没有进行标记的，需要估计条件分布的差异，因此对伪标签进行的扩展，其表示为
其中，和/>分别为真实标签和伪标签；/>和/>分别表示为源域中/>类数量和目标域中/>类数量，/>表示条件/>矩阵，计算方式为
因此，目标函数重新定义为
其中，；
S54：通过映射函数将数据转换到高维空间，使得源域特征和目标特征具有相同的分布；使转换后的源域特征作为训练集，通过分类器进行分类，使目标特征作为测试集，进行测试和标记是VOCs泄漏区域和非VOCs泄漏区域；计算标记的置信度，采用非极大值抑制算法，选出得分较高的候选框，最终得到目标候选框，最后通过Faster RCNN神经网络模型中的回归部分对目标候选框进行回归。
又一方面，本发明还公开一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述方法的步骤。
由上述技术方案可知，本发明提出了一种跨场景的VOCs气体泄漏检测方法及系统，首先利用红外视频中VOCs的领域知识分割视频帧中的可疑VOCs泄漏区域，旨在实现快速检测的同时降低计算量。再使用现有深度神经网络，运用迁移学习方式对VOCs进行识别，将VOCs区域与所有疑似区域区分开来。
本发明的跨场景的VOCs气体泄漏检测方法，能够克服现有方法的不足，充分利用红外视频中VOCs气体区域的领域知识对视频帧中的可疑烟雾区域分割，随后再使用FasterRCNN神经网络模型，运用迁移学习的方式对VOCs泄漏区域进行检测识别，从而显低计算性能需求和标记所带来的时间耗费。
附图说明
图1为本发明方法总体网络模型示意图；
图2为Faster RCNN神经网络模型结构流程图；
图3为本发明实验结果。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
如图1所示，本实施例所述的跨场景的VOCs气体泄漏检测方法，包括以下步骤：
步骤1：获取存在VOCs泄漏和无泄漏的红外视频数据并对其进行数据预处理。
步骤2：采用GMM去除红外视频静态背景，提取出红外图像中疑似VOCs泄漏区域。
步骤3：对目标检测模型Faster RCNN神经网络模型进行预训练。
步骤4：通过已训练好的Faster RCNN神经网络模型，构造迁移学习中的源域特征数据集和目标域特征数据集。
步骤5：运用域自适应的迁移学习方法对GMM提取出的红外疑似VOCs泄漏区域进行识别。
需要说明的是，本实例为一个二阶段检测方案，初始阶段中利用VOCs的领域知识来消除帧中的静态干扰。第二阶段用训练好的Faster RCNN网络识别VOCs区域。最后，在框架上标记矩形框来指示烟雾区域。从而提高了VOCs区域识别的速度和有效性。
以下具体说明：
进一步地，上述步骤S1：获取存在VOCs泄漏和无泄漏的红外视频数据并对进行数据预处理。具体包括如下细分步骤S11至S13：
S11：准备VOCs泄漏红外视频，每个视频均超过30秒且为“avi”格式，而视频像素可以不相等。
S12：从红外视频数据中截取出VOCs泄漏图像创建数据集，并对相应帧做好标注。
S13：对红外VOCs泄漏图像数据进行随机旋转、帧尺寸归一化等预处理操作。
进一步地，上述步骤S2：采用GMM去除红外视频静态背景，提取出红外图像中疑似VOCs泄漏区域。具体包括如下细分步骤S21至S25：
S21：GMM表示为
其中是像素值的概率密度分布。/>是GMM的一组参数，/>。和/>是模型的平均值和标准差。/>是/>处像素值。
S22：初始化背景模型，初始化均值、标准差/>和微分阈值/>。为了初始化GMM，前50帧用于初始化混合模型中的三个高斯模型。初始/>是50帧中/>处的50个像素的平均值，如等式所示。
S23：验证处的像素是前景还是背景。公式如下，/>为阈值参数/>，判断的基本规则是均值/>的一定范围。
这是基于域的运动检测的重要步骤。在算法中，如果像素属于背景，就会被替换为0，否则就会被替换为相关的非零值。
S24：更新参数和背景。为学习率，数值越大，背景更新越快。这里/>。
S25：重复S23和S24，直到视频停止，即可提取出红外图像中疑似VOCs泄漏区域。
进一步地，上述步骤S3：对目标检测模型Faster RCNN神经网络模型进行预训练。具体包括如下细分步骤S31至S32：
S31：采用公共数据集对Faster RCNN神经网络模型进行训练。
S32：为使模型更好的适应VOCs泄漏检测，将S1中部分VOCs泄漏图像和标记数据输入到Faster RCNN神经网络模型中进行预训练，使模型结构调整到更适应VOCs泄漏检测的参数。
进一步地，上述步骤S4：通过已训练好的Faster RCNN神经网络模型，构造源域特征数据集和目标域特征数据集。具体包括如下细分步骤S41至S42：
S41：将S1中剩余部分VOCs泄漏图像作为源域，将GMM提取出的疑似VOCs泄漏区域图像作为目标域/>。
S42：将和/>输入到S32训练好的Faster RCNN神经网络模型中。首先通过卷积层得到特征图，再经过RPN区域建议网络生成候选框，将候选框与特征图结合即得到源域特征数据集和目标域特征数据集。
进一步地，上述步骤S5：运用域自适应的迁移学习方法对GMM提取出的红外疑似VOCs泄漏区域进行识别。具体包括如下细分步骤S51至S54：
S51：候选框中的特征向量表示为，其标记为/>表示是否有VOCs泄漏。将源域特征数据集及其标记及作为/>，目标域特征数据记为/>，无目标域标记。通过特征迁移的方式，将源域数据和目标域数据映射到共享的特征空间/>和标记空间/>，即/>。
S52：通过数据转换函数将数据和目标域数据转换到共享的特征空间和标记空间中。转换函数设计为，其中/>为权重矩阵,/>为随机映射后的实例，可表示为
其中，/>表示随机生成的权重和偏置；/>表示前馈神经网络的节点数；/>为非线性的激活函数。
S53：寻找最优的数据转换函数，构建目标函数如下
其中为正则化项；/>和/>是随机映射实列矩阵；/>是目标域中实列信息的保留项。
而则是投影最大平均偏差，用来测量/>和/>之间的差距，可以表示为
其中，为矩阵的迹；/>表示边缘/>矩阵，计算方式为
由此公式可以估计出边缘分布的差异。考虑到目标域是没有进行标记的，需要估计条件分布的差异，因此对伪标签进行的扩展，其表示为
其中，和/>分别为真实标签和伪标签；/>和/>分别表示为源域中/>类数量和目标域中/>类数量。/>表示条件/>矩阵，计算方式为
因此，目标函数可以重新定义为
其中，。
S54：通过映射函数将数据转换到高维空间，使得源域特征和目标特征具有相同的分布。使转换后的源域特征作为训练集，通过分类器进行分类，使目标特征作为测试集，进行测试和标记是VOCs泄漏区域和非VOCs泄漏区域。计算标记的置信度，采用非极大值抑制算法，选出得分较高的候选框，最终得到目标候选框。最后通过Faster RCNN神经网络模型中的回归部分对目标候选框进行回归。
图3是本发明的实验结果，第一组图为化工生产设备VOCs泄漏场景源域数据集在Faster RCNN上检测结果，第二组图为另一场景红外视频中VOCs泄漏的连续帧目标域检测结果。图中蓝色框线部分为检测目标，标注为VOCs气体。可以看出通过迁移学习的方法可以很好的提升模型的泛化能力，自适应不同场景，为模型训练和数据标记节省时间。并且在第二组图中给出的预测值为右下角的0.965，代表该帧所处目标场景存在VOCs气体泄漏的概率为96.5%。从中可以看出我们基于GMM静态背景去除和迁移学习的方法，可以高效的检测出VOCs气体泄漏的情况。
综上所述，本发明的一种跨场景的VOCs气体泄漏检测方法考虑到VOCs的领域知识，VOCs具有湍流现象，即VOCs图像是一系列连续运动区域。通过GMM去除静态背景，VOCs检测的计算量大大减少。需要说明的是GMM是一种快速简单的运动检测方法，可以快速的提取出疑似VOCs泄漏区域，因此所检测的疑似VOC泄漏区域是离散。而在这个框架中，我们关心的是快速找到运动区域，所以离散的烟雾区域在初始阶段是可以接受的。再使用已经训练好的Faster RCNN神经网络，减少了训练时间和计算性能的要求。使用迁移学习方，减少了对数据进行标记的时间，提升了整体模型效率
另一方面，本发明还公开一种跨场景的VOCs气体泄漏检测系统，包括以下单元，
数据获取单元，用于获取存在VOCs泄漏和无泄漏的红外视频数据并对其进行数据预处理；
数据提取单元，用于采用GMM去除红外视频静态背景，提取出红外图像中疑似VOCs泄漏区域；
模型训练单元，用于对目标检测模型Faster RCNN神经网络模型进行预训练；
数据集构建单元，用于通过已训练好的Faster RCNN神经网络模型，构造迁移学习中的源域特征数据集和目标域特征数据集；
识别单元，用于运用域自适应的迁移学习方法对GMM提取出的红外疑似VOCs泄漏区域进行识别。
进一步的，所述数据提取单元，具体处理步骤包括如下细分步骤S21至S25：
S21：GMM表示为
其中是像素值的概率密度分布，/>是GMM的一组参数，/>，和/>是模型的平均值和标准差，/>是/>处像素值；
S22：初始化背景模型，初始化均值、标准差/>和微分阈值/>；为了初始化GMM，前50帧用于初始化混合模型中的三个高斯模型，初始/>是50帧中/>处的50个像素的平均值，如等式所示：
S23：验证处的像素是前景还是背景，公式如下，/>为阈值参数/>，判断的基本规则是均值/>的指定范围：
在算法中，如果像素属于背景，就会被替换为0，否则就会被替换为相关的非零值；
S24：更新参数和背景，为学习率，数值越大，背景更新越快，这里/>；
S25：重复S23和S24，直到视频停止，即可提取出红外图像中疑似VOCs泄漏区域。
进一步的，所述识别单元，具体处理步骤包括如下细分步骤S51至S54：
S51：候选框中的特征向量表示为，其标记为/>表示是否有VOCs泄漏；将源域特征数据集及其标记及作为/>，目标域特征数据记为/>，无目标域标记；通过特征迁移的方式，将源域数据和目标域数据映射到共享的特征空间/>和标记空间/>，即/>；
S52：通过数据转换函数将数据和目标域数据转换到共享的特征空间和标记空间中；转换函数设计为，其中/>为权重矩阵,/>为随机映射后的实例，表示为
其中，/>表示随机生成的权重和偏置；/>表示前馈神经网络的节点数；/>为非线性的激活函数；
S53：寻找最优的数据转换函数，构建目标函数如下
其中为正则化项；/>和/>是随机映射实列矩阵；/>是目标域中实列信息的保留项；
而则是投影最大平均偏差，用来测量/>和/>之间的差距，表示为
其中，为矩阵的迹；/>表示边缘/>矩阵，计算方式为
由此公式估计出边缘分布的差异；
考虑到目标域是没有进行标记的，需要估计条件分布的差异，因此对伪标签进行的扩展，其表示为
其中，和/>分别为真实标签和伪标签；/>和/>分别表示为源域中/>类数量和目标域中/>类数量，/>表示条件/>矩阵，计算方式为/>
因此，目标函数重新定义为
其中，；
S54：通过映射函数将数据转换到高维空间，使得源域特征和目标特征具有相同的分布；使转换后的源域特征作为训练集，通过分类器进行分类，使目标特征作为测试集，进行测试和标记是VOCs泄漏区域和非VOCs泄漏区域；计算标记的置信度，采用非极大值抑制算法，选出得分较高的候选框，最终得到目标候选框，最后通过Faster RCNN神经网络模型中的回归部分对目标候选框进行回归。
图3中的第一组图为化工生产设备VOCs泄漏场景源域数据集在Faster RCNN上检测结果，第二组图为另一场景红外视频中VOCs泄漏的连续帧目标域检测结果。图中灰色框线部分为检测目标，标注为VOCs气体。可以看出通过迁移学习的方法可以很好的提升模型的泛化能力，自适应不同场景，为模型训练和数据标记节省时间。并且在第二组图中给出的预测值为右下角的0.965，代表该帧所处目标场景存在VOCs气体泄漏的概率为96.5%。从中可以看出我们基于GMM静态背景去除和迁移学习的方法，可以高效的检测出VOCs气体泄漏的情况。
总而言之，本发明的一种基于领域知识迁移的跨场景的VOCs气体泄漏检测方法的优点在于：考虑到VOCs的领域知识，VOCs具有湍流现象，即VOCs图像是一系列连续运动区域。通过GMM去除静态背景，VOCs检测的计算量大大减少。需要说明的是GMM是一种快速简单的运动检测方法，可以快速的提取出疑似VOCs泄漏区域，因此所检测的疑似VOC泄漏区域是离散。而在这个框架中，我们关心的是快速找到运动区域，所以离散的烟雾区域在初始阶段是可以接受的。再使用已经训练好的Faster RCNN神经网络，减少了训练时间和计算性能的要求。使用迁移学习方，减少了对数据进行标记的时间，提升了整体模型效率。
又一方面，本发明还公开一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述方法的步骤。
可理解的是，本发明实施例提供的系统与本发明实施例提供的方法相对应，相关内容的解释、举例和有益效果可以参考上述方法中的相应部分。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种跨场景的VOCs气体泄漏检测方法，其特征在于，包括以下步骤，
S1：获取存在VOCs泄漏和无泄漏的红外视频数据并对其进行数据预处理；
S2：采用GMM去除红外视频静态背景，提取出红外图像中疑似VOCs泄漏区域；
S3：对目标检测模型Faster RCNN神经网络模型进行预训练；
S4：通过已训练好的Faster RCNN神经网络模型，构造迁移学习中的源域特征数据集和目标域特征数据集；
S5：运用域自适应的迁移学习方法对GMM提取出的红外疑似VOCs泄漏区域进行识别；
所述上述步骤S2具体包括如下细分步骤S21至S25：
S21：GMM表示为
其中是像素值的概率密度分布，/>是GMM的一组参数，/>，和/>是模型的平均值和标准差，/>是/>处像素值；
S22：初始化背景模型，初始化均值、标准差/>和微分阈值/>；为了初始化GMM，前50帧用于初始化混合模型中的三个高斯模型，初始/>是50帧中/>处的50个像素的平均值，如等式所示：
S23：验证处的像素是前景还是背景，公式如下，/>为阈值参数，/>，判断的基本规则是均值/>的指定范围：
在算法中，如果像素属于背景，就会被替换为0，否则就会被替换为相关的非零值；
S24：更新参数和背景，为学习率，数值越大，背景更新越快，这里/>；
S25：重复S23和S24，直到视频停止，即可提取出红外图像中疑似VOCs泄漏区域；
所述步骤S5具体包括如下细分步骤S51至S54：
S51：候选框中的特征向量表示为，其标记为/>表示是否有VOCs泄漏；将源域特征数据集及其标记作为/>，目标域特征数据记为/>，无目标域标记；通过特征迁移的方式，将源域数据和目标域数据映射到共享的特征空间/>和标记空间/>，即/>；
S52：通过数据转换函数将数据和目标域数据转换到共享的特征空间和标记空间中；转换函数设计为，其中/>为权重矩阵,/>为随机映射后的实例，表示为
其中，/>表示随机生成的权重和偏置；/>表示前馈神经网络的节点数；/>为非线性的激活函数；
S53：寻找最优的数据转换函数，构建目标函数如下
其中为正则化项；/>和/>是随机映射实列矩阵；/>是目标域中实列信息的保留项；
而则是投影最大平均偏差，用来测量/>和/>之间的差距，表示为
其中，为矩阵的迹；/>表示边缘/>矩阵，计算方式为
由此公式估计出边缘分布的差异；
考虑到目标域是没有进行标记的，需要估计条件分布的差异，因此对伪标签进行的扩展，其表示为
其中，和/>分别为真实标签和伪标签；/>和/>分别表示为源域中/>类数量和目标域中/>类数量，/>表示条件/>矩阵，计算方式为
因此，目标函数重新定义为
其中，；
S54：通过映射函数将数据转换到高维空间，使得源域特征和目标特征具有相同的分布；使转换后的源域特征作为训练集，通过分类器进行分类，使目标特征作为测试集，进行测试和标记是VOCs泄漏区域和非VOCs泄漏区域；计算标记的置信度，采用非极大值抑制算法，选出得分较高的候选框，最终得到目标候选框，最后通过Faster RCNN神经网络模型中的回归部分对目标候选框进行回归
2.根据权利要求1所述的跨场景的VOCs气体泄漏检测方法，其特征在于：所述步骤S1具体包括如下细分步骤S11至S13：
S11：准备VOCs泄漏红外视频，每个视频均超过30秒且为“avi”格式，而视频像素可以不相等；
S12：从红外视频数据中截取出VOCs泄漏图像创建数据集，并对相应帧做好标注；
S13：对红外VOCs泄漏图像数据进行随机旋转、帧尺寸归一化这些预处理操作。
3.根据权利要求2所述的跨场景的VOCs气体泄漏检测方法，其特征在于：所述步骤S3具体包括如下细分步骤S31至S32：
S31：采用公共数据集对Faster RCNN神经网络模型进行训练；
S32：将S1中部分VOCs泄漏图像和标记数据输入到Faster RCNN神经网络模型中进行预训练，使模型结构调整到更适应VOCs泄漏检测的参数。
4.根据权利要求3所述的跨场景的VOCs气体泄漏检测方法，其特征在于：所述步骤S4具体包括如下细分步骤S41至S42：
S41：将S1中剩余部分VOCs泄漏图像作为源域，将GMM提取出的疑似VOCs泄漏区域图像作为目标域/>；
S42：将和/>输入到S32训练好的Faster RCNN神经网络模型中，首先通过卷积层得到特征图，再经过RPN区域建议网络生成候选框，将候选框与特征图结合即得到源域特征数据集和目标域特征数据集。
5.一种跨场景的VOCs气体泄漏检测系统，用于实现权利要求1-4任意一项所述的跨场景的VOCs气体泄漏检测方法，其特征在于，包括以下单元，
数据获取单元，用于获取存在VOCs泄漏和无泄漏的红外视频数据并对其进行数据预处理；
数据提取单元，用于采用GMM去除红外视频静态背景，提取出红外图像中疑似VOCs泄漏区域；
模型训练单元，用于对目标检测模型Faster RCNN神经网络模型进行预训练；
数据集构建单元，用于通过已训练好的Faster RCNN神经网络模型，构造迁移学习中的源域特征数据集和目标域特征数据集；
识别单元，用于运用域自适应的迁移学习方法对GMM提取出的红外疑似VOCs泄漏区域进行识别。
6.根据权利要求5所述的跨场景的VOCs气体泄漏检测系统，其特征在于：所述数据提取单元，具体处理步骤包括如下细分步骤S21至S25：
S21：GMM表示为
其中是像素值的概率密度分布，/>是GMM的一组参数，/>，和/>是模型的平均值和标准差，/>是/>处像素值；
S22：初始化背景模型，初始化均值、标准差/>和微分阈值/>；为了初始化GMM，前50帧用于初始化混合模型中的三个高斯模型，初始/>是50帧中/>处的50个像素的平均值，如等式所示：
S23：验证处的像素是前景还是背景，公式如下，/>为阈值参数/>，判断的基本规则是均值/>的指定范围：
在算法中，如果像素属于背景，就会被替换为0，否则就会被替换为相关的非零值；
S24：更新参数和背景，为学习率，数值越大，背景更新越快，这里/>；
S25：重复S23和S24，直到视频停止，即可提取出红外图像中疑似VOCs泄漏区域。
7.根据权利要求6所述的跨场景的VOCs气体泄漏检测系统，其特征在于：
所述识别单元，具体处理步骤包括如下细分步骤S51至S54：
S51：候选框中的特征向量表示为，其标记为/>表示是否有VOCs泄漏；将源域特征数据集及其标记作为/>，目标域特征数据记为/>，无目标域标记；通过特征迁移的方式，将源域数据和目标域数据映射到共享的特征空间/>和标记空间/>，即/>；
S52：通过数据转换函数将数据和目标域数据转换到共享的特征空间和标记空间中；转换函数设计为，其中/>为权重矩阵,/>为随机映射后的实例，表示为
其中，/>表示随机生成的权重和偏置；/>表示前馈神经网络的节点数；/>为非线性的激活函数；
S53：寻找最优的数据转换函数，构建目标函数如下
其中为正则化项；/>和/>是随机映射实列矩阵；/>是目标域中实列信息的保留项；
而则是投影最大平均偏差，用来测量/>和/>之间的差距，表示为
其中，为矩阵的迹；/>表示边缘/>矩阵，计算方式为
由此公式估计出边缘分布的差异；
考虑到目标域是没有进行标记的，需要估计条件分布的差异，因此对伪标签进行的扩展，其表示为
其中，和/>分别为真实标签和伪标签；/>和/>分别表示为源域中/>类数量和目标域中/>类数量，/>表示条件/>矩阵，计算方式为
因此，目标函数重新定义为
其中，；
S54：通过映射函数将数据转换到高维空间，使得源域特征和目标特征具有相同的分布；使转换后的源域特征作为训练集，通过分类器进行分类，使目标特征作为测试集，进行测试和标记是VOCs泄漏区域和非VOCs泄漏区域；计算标记的置信度，采用非极大值抑制算法，选出得分较高的候选框，最终得到目标候选框，最后通过Faster RCNN神经网络模型中的回归部分对目标候选框进行回归。
8.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1-4中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111012923.5A CN113780135B (zh) | 2021-08-31 | 2021-08-31 | 跨场景的VOCs气体泄漏检测方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111012923.5A CN113780135B (zh) | 2021-08-31 | 2021-08-31 | 跨场景的VOCs气体泄漏检测方法、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113780135A CN113780135A (zh) | 2021-12-10 |
| CN113780135B true CN113780135B (zh) | 2023-08-04 |
Family
ID=78840488
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111012923.5A Active CN113780135B (zh) | 2021-08-31 | 2021-08-31 | 跨场景的VOCs气体泄漏检测方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113780135B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115909180B (zh) * | 2023-01-04 | 2024-01-26 | 中环碳和(北京)科技有限公司 | 一种六氟化硫测量方法 |
| CN116091491B (zh) * | 2023-04-03 | 2023-07-04 | 中国科学技术大学先进技术研究院 | VOCs气体检测方法、装置、设备及计算机可读存储介质 |
| CN116682070B (zh) * | 2023-08-03 | 2024-05-28 | 武汉工程大学 | 复杂场景下危险气体泄漏红外视频检测方法及系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015065390A1 (en) * | 2013-10-30 | 2015-05-07 | Draeger Safety, Inc. | Drive system for gas detection system |
| CN108921878A (zh) * | 2018-04-30 | 2018-11-30 | 武汉工程大学 | 动目标低对比度下的危险气体泄漏红外视频检测方法 |
| CN109117823A (zh) * | 2018-08-31 | 2019-01-01 | 常州大学 | 一种基于多层神经网络的跨场景行人重识别的方法 |
| CN109977790A (zh) * | 2019-03-04 | 2019-07-05 | 浙江工业大学 | 一种基于迁移学习的视频烟雾检测与识别方法 |
| CN110392824A (zh) * | 2017-03-16 | 2019-10-29 | 多传感器科学公司 | 用于气体安全和排放物监测的扫描ir传感器 |
| CN111325721A (zh) * | 2020-02-13 | 2020-06-23 | 北京信息科技大学 | 一种基于红外热成像的气体泄漏检测方法及系统 |
| CN111723720A (zh) * | 2020-06-15 | 2020-09-29 | 中国石油大学(华东) | 一种有机气体泄漏智能可视化实时在线监测系统 |
| CN111950871A (zh) * | 2020-07-30 | 2020-11-17 | 中国科学技术大学 | 一种基于空气质量推断的监测站点位置推荐方法及系统 |
| CN113158943A (zh) * | 2021-04-29 | 2021-07-23 | 杭州电子科技大学 | 一种跨域红外目标检测方法 |
-
2021
- 2021-08-31 CN CN202111012923.5A patent/CN113780135B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015065390A1 (en) * | 2013-10-30 | 2015-05-07 | Draeger Safety, Inc. | Drive system for gas detection system |
| CN110392824A (zh) * | 2017-03-16 | 2019-10-29 | 多传感器科学公司 | 用于气体安全和排放物监测的扫描ir传感器 |
| CN108921878A (zh) * | 2018-04-30 | 2018-11-30 | 武汉工程大学 | 动目标低对比度下的危险气体泄漏红外视频检测方法 |
| CN109117823A (zh) * | 2018-08-31 | 2019-01-01 | 常州大学 | 一种基于多层神经网络的跨场景行人重识别的方法 |
| CN109977790A (zh) * | 2019-03-04 | 2019-07-05 | 浙江工业大学 | 一种基于迁移学习的视频烟雾检测与识别方法 |
| CN111325721A (zh) * | 2020-02-13 | 2020-06-23 | 北京信息科技大学 | 一种基于红外热成像的气体泄漏检测方法及系统 |
| CN111723720A (zh) * | 2020-06-15 | 2020-09-29 | 中国石油大学(华东) | 一种有机气体泄漏智能可视化实时在线监测系统 |
| CN111950871A (zh) * | 2020-07-30 | 2020-11-17 | 中国科学技术大学 | 一种基于空气质量推断的监测站点位置推荐方法及系统 |
| CN113158943A (zh) * | 2021-04-29 | 2021-07-23 | 杭州电子科技大学 | 一种跨域红外目标检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 面向气体传感与甲烷转化的半导体氧化物材料：制备与性能研究;曹洋;《中国博士学位论文全文数据库 工程科技Ⅰ辑》(第9期);第B020-24页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113780135A (zh) | 2021-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113780135B (zh) | 跨场景的VOCs气体泄漏检测方法、系统及存储介质 | |
| CN109583342B (zh) | 基于迁移学习的人脸活体检测方法 | |
| CN107346436B (zh) | 一种融合图像分类的视觉显著性检测方法 | |
| WO2019232894A1 (zh) | 一种基于复杂场景下的人体关键点检测系统及方法 | |
| CN110210335B (zh) | 一种行人重识别学习模型的训练方法、系统和装置 | |
| CN111898566B (zh) | 姿态估计方法、装置、电子设备和存储介质 | |
| CN117132763A (zh) | 电力图像异常检测方法、装置、计算机设备和存储介质 | |
| CN115797846A (zh) | 一种风力发电叶片区块缺陷比对方法、装置及电子设备 | |
| CN112907138B (zh) | 一种从局部到整体感知的电网场景预警分类方法及系统 | |
| CN114782986B (zh) | 基于深度学习的安全帽佩戴检测方法、装置、设备及介质 | |
| CN115527207B (zh) | 基于深度神经网络的列车闸调器控制杆螺母故障检测方法 | |
| CN110852174A (zh) | 一种基于视频监控的早期烟雾检测方法 | |
| CN105913427A (zh) | 一种基于机器学习的噪声图像显著性检测方法 | |
| CN115601684A (zh) | 突发事件预警方法、装置、电子设备及存储介质 | |
| CN105512677B (zh) | 基于Hash编码的遥感图像分类方法 | |
| Zulkarnain et al. | Fire Detection based on Smoke Image using Convolutional Neural Network (CNN) | |
| CN113313678A (zh) | 一种基于多尺度特征融合的精子形态学自动分析方法 | |
| CN111444803B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| Xu et al. | Meta-transfer Learning for Person Re-identification in Aerial Imagery | |
| CN112528968B (zh) | 应用于城市治理的扬尘检测方法和系统 | |
| CN116385442B (zh) | 一种基于深度学习的虚拟装配缺陷检测方法 | |
| CN113420716B (zh) | 基于改进Yolov3算法的违规行为识别预警的方法 | |
| CN114882298B (zh) | 一种对抗互补学习模型的优化方法及装置 | |
| Deng et al. | Research on Intelligent Algorithm for Image Quality Evaluation Based on Image Distortion Type and Convolutional Neural Network | |
| CN113221656B (zh) | 基于域不变特征的跨域行人重识别装置及其方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |