CN117670878B - 一种基于多模态数据融合的VOCs气体检测方法 - Google Patents

一种基于多模态数据融合的VOCs气体检测方法 Download PDF

Info

Publication number
CN117670878B
CN117670878B CN202410130226.7A CN202410130226A CN117670878B CN 117670878 B CN117670878 B CN 117670878B CN 202410130226 A CN202410130226 A CN 202410130226A CN 117670878 B CN117670878 B CN 117670878B
Authority
CN
China
Prior art keywords
detection model
gas
detection
original infrared
gas detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410130226.7A
Other languages
English (en)
Other versions
CN117670878A (zh
Inventor
焦英魁
田然
王希斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Peidi Technology Co ltd
Tianjin Peidi Optoelectronic Technology Co ltd
Original Assignee
Beijing Peidi Technology Co ltd
Tianjin Peidi Optoelectronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Peidi Technology Co ltd, Tianjin Peidi Optoelectronic Technology Co ltd filed Critical Beijing Peidi Technology Co ltd
Priority to CN202410130226.7A priority Critical patent/CN117670878B/zh
Publication of CN117670878A publication Critical patent/CN117670878A/zh
Application granted granted Critical
Publication of CN117670878B publication Critical patent/CN117670878B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本申请公开了一种基于多模态数据融合的VOCs气体检测方法。该方法可应用于检测技术领域，具体可以包括：响应于用户对目标气体的气体检测模型获取请求，获取总训练集；利用所述总训练集对检测模型进行训练，得到训练好的检测模型；利用多模态融合数据，对所述训练好的检测模型进行验证优化，获取目标气体检测模型。上述方案，能够提高检测准确度和检测速度。

Description

一种基于多模态数据融合的VOCs气体检测方法
技术领域
本申请涉及检测技术领域，具体涉及一种基于多模态数据融合的VOCs气体检测方法。
背景技术
挥发性有机化合物（Volatile Organic Compounds, VOCs）是一类具有易挥发性的有机分子，广泛分布于自然环境和工业活动中，包括化学工业、印刷业以及汽车尾气排放等。VOCs气体检测技术在环境监测、工业安全和健康领域具有至关重要的作用，广泛应用于工业过程控制、空气质量监测以及生态学研究等多个领域。
VOCs气体通常在3μm - 5μm的红外辐射波段展现出独特的吸收特性，对特定红外光波长高度敏感。这赋予了红外辐射在识别和量化分析VOCs气体方面强大的潜力。基于这一特性，红外图像技术展示出在实时、非侵入式环境监测中用于VOCs气体的可能性。
然而，VOCs气体在红外图像中通常呈现出烟雾状特征，而工业现场的复杂性可能导致VOCs气体以多种方式与周围环境混合，这增加了检测任务的复杂性，使得检测准确度和检测速度降低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高检测准确度和检测速度的基于多模态数据融合的VOCs气体检测方法。
第一方面，本申请提供了一种基于多模态数据融合的VOCs气体检测方法，该方法包括：
响应于用户对目标气体的气体检测模型获取请求，获取总训练集；其中，总训练集是由训练集中的各原始红外图像和由各原始红外图像经转换得到的各模拟气体图像组成的；目标气体为VOCs气体；
利用总训练集对检测模型进行训练，得到训练好的检测模型；
利用多模态融合数据，对训练好的检测模型进行验证优化，获取目标气体检测模型；其中，多模态融合数据是基于验证集中的各原始红外图像得到的数据的组合。
在其中一个实施例中，利用多模态融合数据，对训练好的检测模型进行验证优化，获取目标气体检测模型之前，方法还包括：
将验证集中的各原始红外图像和对各原始红外图像进行检测所得到的检测结果中正确识别到目标气体的检测结果进行加权求和，得到多模态融合数据。
在其中一个实施例中，方法还包括：
对原始红外图像进行特征提取，得到原始红外图像的深层特征；
将深层特征整合成包含其抽象表示的一维特征向量；
将一维特征向量输入到生成对抗网络中，输出模拟气体图像。
在其中一个实施例中，方法还包括；
对目标气体检测模型进行性能评估，判断目标气体检测模型是否满足气体检测需求；其中，性能评估的内容包括检测准确度和检测速度；
若是，将目标气体检测模型用于进行气体检测；
若否，继续对目标气体检测模型进行训练，直至满足气体检测需求。
在其中一个实施例中，利用总训练集对检测模型进行训练，得到训练好的检测模型，包括：
利用总训练集，基于反向传播算法对检测模型进行训练，得到训练好的检测模型。
第二方面，本申请还提供了一种基于多模态数据融合的VOCs气体检测装置，该装置包括：
获取模块，用于响应于用户对目标气体的气体检测模型获取请求，获取总训练集；其中，总训练集是由训练集中的各原始红外图像和由各原始红外图像经转换得到的各模拟气体图像组成的；
训练模块，用于利用总训练集对检测模型进行训练，得到训练好的检测模型；
验证优化模块，用于利用多模态融合数据，对训练好的检测模型进行验证优化，获取目标气体检测模型；其中，多模态融合数据是基于验证集中的各原始红外图像得到的数据的组合。
第三方面，本申请还提供了一种计算机设备，该计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述基于多模态数据融合的VOCs气体检测方法的步骤。
第四方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述基于多模态数据融合的VOCs气体检测方法的步骤。
第五方面，本申请还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现上述基于多模态数据融合的VOCs气体检测方法的步骤。
上述基于多模态数据融合的VOCs气体检测方法，通过响应于用户对目标气体的气体检测模型获取请求，获取总训练集，继而利用总训练集对检测模型进行训练，得到训练好的检测模型，最终利用多模态融合数据，对训练好的检测模型进行验证优化，获取目标气体检测模型。本申请的基于多模态数据融合的VOCs气体检测方法，通过多模态数据融合技术，将基于验证集中的各原始红外图像得到的数据的组合作为对模型进行验证优化的验证集，达到了提高检测准确度和检测速度的技术效果。
附图说明
图1为一个实施例中基于多模态数据融合的VOCs气体检测方法的流程示意图；
图2为一个实施例中得到模拟气体图像的流程示意图；
图3为另一个实施例中基于多模态数据融合的VOCs气体检测方法的流程示意图；
图4为一个实施例中基于多模态数据融合的VOCs气体检测装置的结构框图；
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
挥发性有机化合物是一类具有易挥发性的有机分子，广泛分布于自然环境和工业活动中，包括化学工业、印刷业以及汽车尾气排放等。VOCs气体检测技术在环境监测、工业安全和健康领域具有至关重要的作用，广泛应用于工业过程控制、空气质量监测以及生态学研究等多个领域。VOCs气体通常在3μm - 5μm的红外辐射波段展现出独特的吸收特性，对特定红外光波长高度敏感。这赋予了红外辐射在识别和量化分析VOCs气体方面强大的潜力。基于这一特性，红外图像技术展示出在实时、非侵入式环境监测中用于VOCs气体的可能性。然而，VOCs气体在红外图像中通常呈现出烟雾状特征，而工业现场的复杂性可能导致VOCs气体以多种方式与周围环境混合，这增加了检测任务的复杂性，使得检测准确度和检测速度降低。基于此，本申请实施例提供一种基于多模态数据融合的VOCs气体检测方法，以改善上述技术问题。
在一个实施例中，图1是根据本申请实施例提供的一种基于多模态数据融合的VOCs气体检测方法的流程示意图，且以该方法应用于服务器为例进行说明，该方法包括以下步骤：
S101，响应于用户对目标气体的气体检测模型获取请求，获取总训练集。
可选的，气体检测模型获取请求可以是用户终端发送的要获取气体检测模型的请求。总训练集是由训练集中的各原始红外图像和由各原始红外图像经转换得到的各模拟气体图像组成的，且目标气体OCs气体。各原始红外图像和各模拟气体图像中均包括含VOCs气体的图像和不含VOCs气体的图像。本申请实施例中通过GAN（Generative AdversarialNetworks, 生成对抗网络）将各原始红外图像转换成各模拟气体图像。GAN包括生成器和判别器，其中，生成器用于生成模拟气体图像，判别器负责评估模拟气体图像的真实性，即评估原始红外图像和模拟气体图像的差异，帮助生成器通过适当调整GAN的损失函数和超参数，不断改进所生成的模拟气体图像。
具体的，在接收到用户终端发送的气体检测模型请求后，对气体检测模型请求进行解析，确定出气体检测模型请求需要的总训练集。
需要说明的是，为了保证气体检测模型获取过程的安全性，在响应于气体检测模型获取请求执行气体检测模型获取操作之前，需要对气体检测模型获取请求对应的目标用户的身份进行验证，并仅对通过身份验证的目标用户发出的气体检测模型获取请求进行响应，以确定出气体检测模型请求需要的总训练集。
S102，利用总训练集对检测模型进行训练，得到训练好的检测模型。
可选的，检测模型可以是待进行训练以获取气体检测模型的模型。训练好的检测模型可以是经训练的达到预设检测准确度和检测速度标准的模型。
可选的，利用总训练集，基于反向传播算法对检测模型进行训练，得到训练好的检测模型。在这个过程中，需要不断调整模型的权重，以优化模型性能，确保模型能够在不同情境下表现良好。
可选的，由于总训练集是在现有训练集的基础上扩充了模拟气体图像，因此，这扩大了模型训练的数据范围，增强了模型的泛化能力，使得该模型能够更好地适应不同环境和下的气体检测任务。
S103，利用多模态融合数据，对训练好的检测模型进行验证优化，获取目标气体检测模型。
可选的，多模态融合数据是基于验证集中的各原始红外图像得到的数据的组合。
可选的，使用多模态融合数据能够对训练好的检测模型进行顶更新和微调，以获取更优模型。使用多模态融合数据，对训练好的检测模型进行验证优化，有助于在VOCs气体以多种方式与周围环境混合的情况下，提高VOCs气体检测准确性。
可选的，由于多模态融合数据是基于验证集中的各原始红外图像得到的数据的组合，因此多模态融合数据可以有多种形式，本申请实施例中是将验证集中的各原始红外图像和对各原始红外图像进行检测所得到的检测结果中正确识别到目标气体的检测结果进行加权求和，得到多模态融合数据，例如多模态融合数据F可以为式(1)：
F=WD·D+WI·I；(1)
其中，D为检测结果的特征向量，I为验证集中的各原始红外图像和的特征向量，WD和WI分别为与其对应的权重。
另一种方式，还可以将验证集中的各原始红外图像和对各原始红外图像进行检测所得到的检测结果中正确识别到目标气体的检测结果按照预设比例进行整合，得到多模态融合数据。
需要说明的是，选择各原始红外图像进行检测所得到的检测结果中正确识别到目标气体的检测结果，舍弃未正确识别到目标气体的检测结果，是为了提高检测模型对目标气体的认知能力。
进一步的，在得到目标气体检测模型之后，利用该目标气体检测模型对验证集中的原始红外图像进行验证，并可获取到原始红外图像中的目标气体的位置信息。
上述基于多模态数据融合的VOCs气体检测方法中，通过响应于用户对目标气体的气体检测模型获取请求，获取总训练集，继而利用总训练集对检测模型进行训练，得到训练好的检测模型，最终利用多模态融合数据，对训练好的检测模型进行验证优化，获取目标气体检测模型。本申请的基于多模态数据融合的VOCs气体检测方法，通过多模态数据融合技术，将基于验证集中的各原始红外图像得到的数据的组合作为对模型进行验证优化的验证集，达到了提高检测准确度和检测速度的技术效果。
在上述实施例的基础上，通过图2对如何得到模拟气体图像的步骤进行了分解细化。可选的，如图2所示，包括如下实现过程：
S201，对原始红外图像进行特征提取，得到原始红外图像的深层特征。
可选的，本申请实施例使用深度学习架构ResNet对原始红外图像进行特征提取。例如，使用具有50层卷积神经网络的深度模型ResNet-50对原始红外图像进行特征提取。得到深层特征。深层特征输出为一个张量特征图，这些特征图在ResNet-50的最后一个卷积块中，由距离最后的全连接层最近的卷积层生成。
优选的，本方案中的原始红外图像的特征提取方法如下：
S2011，图像预处理，包括以下步骤：
1）去噪处理，其公式可以为式(2)：
Ifiltered (x, y)=median{I(x+k, y+l)}；(2)
其中，Ifiltered是滤波后的图像，I是原始图像，(x, y)是像素位置，I(k, l)是邻域内的像素偏移。
2）对比度增强：使用直方图均衡化等技术增强图像对比度；
S202，将深层特征整合成包含其抽象表示的一维特征向量。
可选的，该一维特征向量中包含原始红外图像中的所有信息。
优选的，本方案中的一维特征向量的构件方法如下：
3）特征整合，从多维到一维：
将CNN提取的多维特征图转换成一维特征向量，通过全连接层实现，全连接层操作可以简化表示为式(3)：
v=ReLU(Wf*f+b f )；(3)
其中，v是输出的一维特征向量，Wf是全连接层的权重，f是展平的特征图，b f 是偏置项，ReLU是激活函数。
4）向量抽象表示，将特征向量进一步压缩：
基本公式可以表示为式(4)：
Y=X*P；(4)
其中，X是原始数据矩阵，P是主成分矩阵，Y是降维后的数据。
S203，将一维特征向量输入到生成对抗网络中，输出模拟气体图像。
可选的，将一维特征向量输入到生成对抗网络中，生成对抗网络的生成器将原始红外图像转换成模拟气体图像，以作为现有训练集的扩充。
优选的，本方案中生成对抗网络方法如下：
5）GAN网络结构设计：
生成器G负责从特征向量生成图像，判别器D评估生成图像的真实性。
生成器的操作简化表示为G(z; θg)，其中，z是输入特征向量，θg是生成器参数。
判别器的操作简化表示为D(x; θg)，其中，x是生成的或真实的图像，θg是判别器参数。
6）训练和优化：
在GAN的训练中，生成器和判别器相互竞争。生成器尝试生成越来越真实的图像，而判别器则尝试更准确地区分真实图像和生成图像。
训练过程可以通过以下损失函数最小化来描述，即式(5)：
minGmaxDV(D, G)=Ex~pdata(x)[logD(x)]+Ez~pz(z)[log(1-D(G(z)))]；(5)
其中，pdata(x)是真实图像的分布，pz(z)是生成器的输入噪声分布。
可以理解的是，本实施例中给出了将原始红外图像转换成模拟气体图像的一种可能的方式，方法简单易操作，且为后续获取总训练集并利用该总训练集对检测模型进行训练奠定了基础。
在一个实施例中，在获取到目标气体检测模型之后，可以利用验证集中的原始红外图像对目标气体检测模型的性能进行评估，其中评估内容包括检测准确度和检测速度。其中，检测准确度用于评估获取到的原始红外图像中的目标气体的位置与真实VOCs气体位置的匹配程度；检测速度用于评估系统检测过程中的平均速度，以确保满足实时应用的需求。可选的，可以利用多模态融合数据，对训练好的检测模型进行验证优化，获取目标气体检测模型，并对目标气体检测模型进行性能评估，判断目标气体检测模型是否满足气体检测需求；若是，将目标气体检测模型用于进行气体检测；若否，继续对目标气体检测模型进行训练，直至满足气体检测需求。
在一个实施例中，通过图3示出了另一个实施例中基于多模态数据融合的VOCs气体检测方法的流程示意图，结合图3所示，各阶段具体包括如下实现过程：
S301，响应于用户对目标气体的气体检测模型获取请求，对原始红外图像进行特征提取，得到原始红外图像的深层特征。
S302，将深层特征整合成包含其抽象表示的一维特征向量。
S303，将一维特征向量输入到生成对抗网络中，输出模拟气体图像。
S304，将各原始红外图像和由各原始红外图像经转换得到的各模拟气体图像组成总训练集。
S305，利用总训练集，基于反向传播算法对检测模型进行训练，得到训练好的检测模型。
S306，将验证集中的各原始红外图像和对各原始红外图像进行检测所得到的检测结果中正确识别到目标气体的检测结果进行加权求和，得到多模态融合数据。
S307，利用多模态融合数据，对训练好的检测模型进行验证优化，获取目标气体检测模型。
S308，对目标气体检测模型进行性能评估，判断目标气体检测模型是否满足气体检测需求；若是，将目标气体检测模型用于进行气体检测，若否，继续对目标气体检测模型进行训练，直至满足气体检测需求。
上述S301-S308的具体过程可以参见上述方法实施例的描述，其实现原理和技术效果类似，在此不再赘述。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的基于多模态数据融合的VOCs气体检测方法的基于多模态数据融合的VOCs气体检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个基于多模态数据融合的VOCs气体检测装置实施例中的具体限定可以参见上文中对于基于多模态数据融合的VOCs气体检测方法的限定，在此不再赘述。
在其中一个实施例中，通过图4示出了一个实施例中基于多模态数据融合的VOCs气体检测装置的结构框图。如图4所示，提供了一种基于多模态数据融合的VOCs气体检测装置4，该装置4包括：获取模块40、训练模块41和验证优化模块42，其中：
获取模块40，用于响应于用户对目标气体的气体检测模型获取请求，获取总训练集；其中，总训练集是由训练集中的各原始红外图像和由各原始红外图像经转换得到的各模拟气体图像组成的；目标气体为VOCs气体；
训练模块41，用于利用总训练集对检测模型进行训练，得到训练好的检测模型；
验证优化模块42，用于利用多模态融合数据，对训练好的检测模型进行验证优化，获取目标气体检测模型；其中，多模态融合数据是基于验证集中的各原始红外图像得到的数据的组合。
上述基于多模态数据融合的VOCs气体检测装置，通过响应于用户对目标气体的气体检测模型获取请求，获取总训练集，继而利用总训练集对检测模型进行训练，得到训练好的检测模型，最终利用多模态融合数据，对训练好的检测模型进行验证优化，获取目标气体检测模型。本申请的基于多模态数据融合的VOCs气体检测装置，通过多模态数据融合技术，将基于验证集中的各原始红外图像得到的数据的组合作为对模型进行验证优化的验证集，达到了提高检测准确度和检测速度的技术效果。
在其中一个实施例中，上述验证优化模块42具体用于：
将验证集中的各原始红外图像和对各原始红外图像进行检测所得到的检测结果中正确识别到目标气体的检测结果进行加权求和，得到多模态融合数据。
在其中一个实施例中，上述装置4还包括：
提取模块，用于对原始红外图像进行特征提取，得到原始红外图像的深层特征；
整合模块，用于将深层特征整合成包含其抽象表示的一维特征向量；
输入模块，将一维特征向量输入到生成对抗网络中，输出模拟气体图像。
在其中一个实施例中，上述装置4还包括：
评估模块，用于对目标气体检测模型进行性能评估，判断目标气体检测模型是否满足气体检测需求；其中，性能评估的内容包括检测准确度和检测速度；若是，将目标气体检测模型用于进行气体检测；若否，继续对目标气体检测模型进行训练，直至满足气体检测需求。
在其中一个实施例中，上述训练模块41具体用于：
利用总训练集，基于反向传播算法对检测模型进行训练，得到训练好的检测模型。
上述基于多模态数据融合的VOCs气体检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在其中一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和收发器。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该计算机设备的收发器用于在处理器的控制下执行接收数据或发送数据的操作。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储样本数据等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于多模态数据融合的VOCs气体检测方法。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的，计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在其中一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器实现各实施例中的原理和具体过程可参见前述实施例中基于多模态数据融合的VOCs气体检测方法实施例中的说明，此处不再赘述。
在其中一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现各实施例中的原理和具体过程可参见前述实施例中目标检测方法实施例中的说明，此处不再赘述。
在其中一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现各实施例中的原理和具体过程可参见前述实施例中目标检测方法实施例中的说明，此处不再赘述。
需要说明的是，本申请所涉及的信息（包括但不限于本申请中总训练集中的信息、多模态融合数据等），均为经过各方充分授权的信息或数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (8)

1.一种基于多模态数据融合的VOCs气体检测方法，其特征在于，所述方法包括：
响应于用户对目标气体的气体检测模型获取请求，获取总训练集；其中，所述总训练集是由训练集中的各原始红外图像和由所述各原始红外图像经转换得到的各模拟气体图像组成的；所述目标气体为VOCs气体；
利用所述总训练集对检测模型进行训练，得到训练好的检测模型；
利用多模态融合数据，对所述训练好的检测模型进行验证优化，获取目标气体检测模型；其中，所述多模态融合数据是基于验证集中的各原始红外图像得到的数据的组合；
其中，所述利用多模态融合数据，对所述训练好的检测模型进行验证优化，获取目标气体检测模型之前，所述方法还包括：
将所述验证集中的各原始红外图像和对各原始红外图像进行检测所得到的检测结果中正确识别到目标气体的检测结果进行加权求和，得到多模态融合数据；
其中，所述多模态融合数据F可被表示为：
F＝WD·D+WI·I； (1)
其中，D为检测结果的特征向量，I为验证集中的各原始红外图像和的特征向量，WD和WI分别为与其对应的权重。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对原始红外图像进行特征提取，得到所述原始红外图像的深层特征；
将所述深层特征整合成包含其抽象表示的一维特征向量；
将所述一维特征向量输入到生成对抗网络中，输出模拟气体图像。
3.根据权利要求1中所述的方法，其特征在于，所述方法还包括：
对目标气体检测模型进行性能评估，判断所述目标气体检测模型是否满足气体检测需求；其中，性能评估的内容包括检测准确度和检测速度；
若是，将所述目标气体检测模型用于进行气体检测；
若否，继续对所述目标气体检测模型进行训练，直至满足所述气体检测需求。
4.根据权利要求1所述的方法，其特征在于，所述利用所述总训练集对检测模型进行训练，得到训练好的检测模型，包括：
利用所述总训练集，基于反向传播算法对检测模型进行训练，得到训练好的检测模型。
5.一种基于多模态数据融合的VOCs气体检测装置，其特征在于，所述装置包括：
获取模块，用于响应于用户对目标气体的气体检测模型获取请求，获取总训练集；其中，所述总训练集是由训练集中的各原始红外图像和由所述各原始红外图像经转换得到的各模拟气体图像组成的；所述目标气体为VOCs气体；
训练模块，用于利用所述总训练集对检测模型进行训练，得到训练好的检测模型；
验证优化模块，用于利用多模态融合数据，对所述训练好的检测模型进行验证优化，获取目标气体检测模型；其中，所述多模态融合数据是基于验证集中的各原始红外图像得到的数据的组合；
其中，所述利用多模态融合数据，对所述训练好的检测模型进行验证优化，获取目标气体检测模型之前，所述装置还包括：
加权求和模块，用于将验证集中的各原始红外图像和对各原始红外图像进行检测所得到的检测结果中正确识别到目标气体的检测结果进行加权求和，得到多模态融合数据；
其中，所述多模态融合数据F可被表示为：
F＝WD·D+WI·I； (1)
其中，D为检测结果的特征向量，I为验证集中的各原始红外图像和的特征向量，WD和WI分别为与其对应的权重。
6.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述的方法的步骤。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
8.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
CN202410130226.7A 2024-01-31 2024-01-31 一种基于多模态数据融合的VOCs气体检测方法 Active CN117670878B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410130226.7A CN117670878B (zh) 2024-01-31 2024-01-31 一种基于多模态数据融合的VOCs气体检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410130226.7A CN117670878B (zh) 2024-01-31 2024-01-31 一种基于多模态数据融合的VOCs气体检测方法

Publications (2)

Publication Number Publication Date
CN117670878A CN117670878A (zh) 2024-03-08
CN117670878B true CN117670878B (zh) 2024-04-26

Family

ID=90079223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410130226.7A Active CN117670878B (zh) 2024-01-31 2024-01-31 一种基于多模态数据融合的VOCs气体检测方法

Country Status (1)

Country Link
CN (1) CN117670878B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114462717A (zh) * 2022-02-23 2022-05-10 同济大学 一种基于改进gan与lstm的小样本气体浓度预测方法
WO2023279935A1 (zh) * 2021-07-06 2023-01-12 京东科技信息技术有限公司 目标重识别模型的训练方法、目标重识别方法及装置
CN116310551A (zh) * 2023-03-13 2023-06-23 宁波力斗智能技术有限公司 多模态信息融合网络的电力变压器故障诊断方法及系统
CN116309473A (zh) * 2023-03-20 2023-06-23 中国科学技术大学先进技术研究院 气体泄漏检测模型的训练方法和气体泄漏检测方法
CN116379359A (zh) * 2023-04-07 2023-07-04 长扬科技(北京)股份有限公司 天然气泄露检测方法及多模态天然气泄露检测系统
CN117333776A (zh) * 2023-11-02 2024-01-02 云南北方光学科技有限公司 VOCs气体泄漏检测方法、装置及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023279935A1 (zh) * 2021-07-06 2023-01-12 京东科技信息技术有限公司 目标重识别模型的训练方法、目标重识别方法及装置
CN114462717A (zh) * 2022-02-23 2022-05-10 同济大学 一种基于改进gan与lstm的小样本气体浓度预测方法
CN116310551A (zh) * 2023-03-13 2023-06-23 宁波力斗智能技术有限公司 多模态信息融合网络的电力变压器故障诊断方法及系统
CN116309473A (zh) * 2023-03-20 2023-06-23 中国科学技术大学先进技术研究院 气体泄漏检测模型的训练方法和气体泄漏检测方法
CN116379359A (zh) * 2023-04-07 2023-07-04 长扬科技(北京)股份有限公司 天然气泄露检测方法及多模态天然气泄露检测系统
CN117333776A (zh) * 2023-11-02 2024-01-02 云南北方光学科技有限公司 VOCs气体泄漏检测方法、装置及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Adaptively Optimized Gas Analysis Model with Deep Learning for Near-Infrared Methane Sensors;Jiachen Sun et al.;《analytical chemistry》;20220118;全文 *
区域VOCs聚集态势RF-LSTM智能感知方法;陆秋琴 等;《安全与环境学报》;20210614;全文 *

Also Published As

Publication number Publication date
CN117670878A (zh) 2024-03-08

Similar Documents

Publication Publication Date Title
Samek et al. Evaluating the visualization of what a deep neural network has learned
Chen et al. Median filtering forensics based on convolutional neural networks
JP6884104B2 (ja) 等高線マッピングから導き出される移植可能な等高線メトリックを使用する学習型等高線識別システム
CN109409222A (zh) 一种基于移动端的多视角人脸表情识别方法
JP2022552681A (ja) 個人情報を保護するために原本データをコンシーリング処理して生成された変造データを認識するために使われる使用者ラーニングネットワークを学習する方法及びテストする方法、そしてこれを利用した学習装置及びテスト装置
Cortiñas-Lorenzo et al. Adam and the ants: on the influence of the optimization algorithm on the detectability of DNN watermarks
CN111542841A (zh) 一种内容识别的系统和方法
KR20220052837A (ko) 개인 정보 보호를 위하여 원본 데이터를 변조하는 변조 네트워크를 학습하는 방법 및 테스팅하는 방법, 그리고, 이를 이용한 학습 장치 및 테스팅 장치
Zhang Generating adversarial examples in one shot with image-to-image translation GAN
CN112365551A (zh) 一种图像质量处理系统、方法、设备和介质
CN117291895A (zh) 图像检测方法、装置、设备及存储介质
CN118070107B (zh) 一种面向深度学习的网络异常检测方法、装置、存储介质及设备
CN115344863A (zh) 一种基于图神经网络的恶意软件快速检测方法
CN115758337A (zh) 基于时序图卷积网络的后门实时监测方法、电子设备、介质
CN116311451A (zh) 一种多模态融合人脸活体检测模型生成方法和装置、电子设备
Waghela et al. Robust image classification: Defensive strategies against FGSM and PGD adversarial attacks
CN117670878B (zh) 一种基于多模态数据融合的VOCs气体检测方法
Trevino-Sanchez et al. Hybrid pooling with wavelets for convolutional neural networks
CN111723912A (zh) 一种神经网络解耦方法
Mu et al. Enhancing robustness in video recognition models: Sparse adversarial attacks and beyond
Poredi et al. Generative adversarial networks-based AI-generated imagery authentication using frequency domain analysis
Ren et al. An experimental study on state representation extraction for vision-based deep reinforcement learning
CN113012049B (zh) 一种基于gan网络的遥感数据隐私保护方法
CN118314123B (zh) 焊接射线照片缺陷检测方法、装置、计算机设备及介质
Mustafar et al. Cyber-attack group representation based on adversary artifacts with machine learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant