CN114358283A - 气体识别神经网络模型的优化方法及相关设备 - Google Patents

气体识别神经网络模型的优化方法及相关设备 Download PDF

Info

Publication number
CN114358283A
CN114358283A CN202210030165.8A CN202210030165A CN114358283A CN 114358283 A CN114358283 A CN 114358283A CN 202210030165 A CN202210030165 A CN 202210030165A CN 114358283 A CN114358283 A CN 114358283A
Authority
CN
China
Prior art keywords
gas
domain
feature extractor
data
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210030165.8A
Other languages
English (en)
Inventor
潘晓芳
温晓琳
刘时亮
张哲�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202210030165.8A priority Critical patent/CN114358283A/zh
Publication of CN114358283A publication Critical patent/CN114358283A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种气体识别神经网络模型的优化方法及相关设备，基于特征提取器、气体预测器和域判别器构建气体识别神经网络模型，特征提取器与气体预测器、域判别器分别构成了气测支路和域判支路；将源域数据和目标域数据作为输入样本输入至特征提取器，源域数据具有识别标签；将特征提取器处理后的数据特征输给气体预测器和域判别器，通过气体识别神经网络模型，得到气体预测器的目标优化函数和域判别器的损失函数；基于域判别器的损失函数对特征提取器进行对抗训练，以使特征提取器输给气体预测器精准的气体数据特征。实现了自动识别气体数据特征，同时实现了无监督的领域自适应，对于无标签的目标域数据可以准确识别，提高了气体识别的精度。

Description

气体识别神经网络模型的优化方法及相关设备
技术领域
本发明涉及气体识别领域，特别是涉及一种气体识别神经网络模型的优化方法及相关设备。
背景技术
电子鼻系统在我们日常生产生活当中应用场景相当广泛，包括在化工厂对有毒易燃气体的监测，食品品质的检测以及医学上辅助诊断等方面。这些场景都需要对混合气体的种类与浓度同时进行识别与分析。同时，电子鼻在使用中无可避免地会面临不同批次的传感器之间固有的工艺误差，以及传感器自身老化，随环境变化带来的漂移问题，因此电子鼻系统需要具备对此类问题校准补偿的能力。前市面上用于气体识别的模型中，主要有两种思路，一种是以人工的方式提取气体传感器曲线的特征，再通过简单的模型进行训练；另一种是采用端到端的方式，使用循环神经网络，实现自动提取气体传感器曲线的特征。而对于气体传感器的漂移带来的数据偏差，缺少端到端处理的算法模型。人工提取气体传感器曲线的特征，包括曲线的稳态特征，瞬态特征以及频谱特征。在得到数据集后，过去常使用支持向量机(SVM，Support Vector Machine)或者k近邻算法(KNN，k-Nearest Neighbor)等机器学习算法对这些气体特征进行识别。这类方法通常需要大量的人力与时间，才能获取到足够的数据集。而随着深度学习的发展，循环神经网络(RNN，Recurrent NeuralNetwork)在电子鼻领域上得以广泛使用。而受限于循环神经网络(RNN，Recurrent NeuralNetwork)本身的特性，运用循环神经网络(RNN，Recurrent Neural Network) 的模型在计算过程中不能对所有时间步的数据并行计算，这说明模型的计算效率可以得到进一步的提升。同时，在现实使用场景中，不仅需要同时对气体种类与浓度进行识别，还需要能够克服传感器漂移带来的种类与浓度预测精度下降等问题。大部分方法都只是针对其中一个方面进行优化，而并未尝试将所有方面都覆盖。因此，急需一种能够减少人工操作的同时，自动实现精准预测的手段。
发明内容
本发明实施例的目的在于提供一种气体识别神经网络模型的优化方法及相关设备，以解决当前需要进行人工提取特征以及气体识别准确性差的问题。
为了达到上述目的，本发明中的实施例提供一种气体识别神经网络模型的优化方法，该方法包括：
基于特征提取器、气体预测器和域判别器构建气体识别神经网络模型，其中，特征提取器与气体预测器构成了气测支路，特征提取器与域判别器构成了域判支路；
将气体传感器数据中的源域数据和目标域数据作为输入样本输入至特征提取器，其中，源域数据具有识别标签；
将特征提取器处理后的数据特征通过气测支路输给气体预测器，以及通过域判支路输给域判别器，通过气体识别神经网络模型，得到气体预测器的目标优化函数和域判别器的损失函数；
基于域判别器的损失函数对特征提取器进行对抗训练，以使特征提取器输给气体预测器精准的气体数据特征。
可选的，将气体传感器数据中的源域数据和目标域数据作为输入样本输入至特征提取器之后包括：
特征提取器基于多头注意力机制和通道注意力机制对源域数据和目标域数据进行处理。
可选的，多头注意力机制包括：多头注意力机制算法、前馈网络和位置编码。
可选的，基于域判别器的损失函数对特征提取器进行对抗训练包括：
将域判别器的损失函数通过梯度反向层对特征提取器进行对抗训练。
可选的，损失函数为推土机距离函数。
可选的，在基于域判别器的损失函数对特征提取器进行对抗训练，以使特征提取器输给气体预测器精准的气体数据特征之后，还包括步骤：
基于气体数据特征对对气体成分及浓度进行预测。
可选的，基于气体数据特征对气体成分及浓度进行预测包括：
基于反向传播的训练方式，通过优化目标函数，得到最小化分类误差与浓度回归误差。
可选的，气体成分及浓度进行预测的结果输出方式为二维向量。
此外，本发明还提供一种气体识别神经网络模型的优化装置，包括：
网络构建模块，用于基于特征提取器、气体预测器和域判别器构建气体识别神经网络模型，其中，特征提取器与气体预测器构成了气测支路，特征提取器与域判别器构成了域判支路；
特征提取模块，用于将气体传感器数据中的源域数据和目标域数据作为输入样本输入至特征提取器，其中，源域数据具有识别标签；
函数优化模块，用于将特征提取器处理后的数据特征通过气测支路输给气体预测器，以及通过域判支路输给域判别器，通过气体识别神经网络模型，得到气体预测器的目标优化函数和域判别器的损失函数；
模型优化模块，用于基于域判别器的损失函数对特征提取器进行对抗训练，以使特征提取器输给气体预测器精准的气体数据特征。
可选的，气体识别神经网络模型的优化装置的特征提取模块包括多头注意力机制单元和通道注意力机制单元，所述多头注意力机制单元和所述通道注意力机制单元，用于将气体传感器数据中的源域数据和目标域数据作为输入样本输入至特征提取器之后特征提取器基于多头注意力机制和通道注意力机制对源域数据和目标域数据进行处理。
可选的，多头注意力机制包括：多头注意力机制算法、前馈网络和位置编码。
可选的，基于域判别器的损失函数对特征提取器进行对抗训练包括：
将域判别器的损失函数通过梯度反向层对特征提取器进行对抗训练。
可选的，损失函数为推土机距离函数。
可选的，所述气体识别神经网络模型的优化装置包括预测模块，所述预测模块用于在基于域判别器的损失函数对特征提取器进行对抗训练，以使特征提取器输给气体预测器精准的气体数据特征之后，基于气体数据特征对对气体成分及浓度进行预测。
可选的，基于气体数据特征对气体成分及浓度进行预测包括：
基于反向传播的训练方式，通过优化目标函数，得到最小化分类误差与浓度回归误差。
可选的，所述气体识别神经网络模型的优化装置包括输出模块，所述输出模块用于输出气体成分及浓度进行预测的结果，且所述结果为方式为二维向量。
此外，本发明还提供一种气体识别神经网络模型的优化设备，包括：
存储器、处理器，以及存储在存储器上，并可在处理器上运行的计算机程序；
计算机程序被处理器执行时，实现如上述任一项的气体识别神经网络模型的优化方法的步骤。
此外，本发明还提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项的气体识别神经网络模型的优化方法的步骤。
上述技术方案具有如下优点或有益效果：
本发明提出的一种气体识别神经网络模型的优化方法、装置及设备，基于特征提取器、气体预测器和域判别器构建气体识别神经网络模型，其中，特征提取器与气体预测器构成了气测支路，特征提取器与域判别器构成了域判支路；将气体传感器数据中的源域数据和目标域数据作为输入样本输入至特征提取器，其中，源域数据具有识别标签；将特征提取器处理后的数据特征通过气测支路输给气体预测器，以及通过域判支路输给域判别器，通过气体识别神经网络模型，得到气体预测器的目标优化函数和域判别器的损失函数；基于域判别器的损失函数对特征提取器进行对抗训练，以使特征提取器输给气体预测器精准的气体数据特征。利用构建气体识别神经网络模型实现了自动识别气体数据特征，同时实现了无监督的领域自适应，对于无标签的目标域数据可以准确识别，提高了气体识别的精度。
附图说明
图1是本发明气体识别神经网络模型的优化方法的流程示意图一；
图2是本发明气体识别神经网络模型的优化方法的流程示意图二；
图3是本发明气体识别神经网络模型的优化方法的流程示意图三；
图4是本发明气体识别神经网络模型的优化装置的结构示意图一；
图5是本发明气体识别神经网络模型的优化装置的结构示意图二；
图6是本发明气体识别神经网络模型的优化装置的结构示意图三；
图7是本发明气体识别神经网络模型的优化装置的结构示意图四；
图8是本发明气体识别神经网络模型的优化设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，图1为本发明实施例方案一种气体识别神经网络模型的优化方法的流程示意图，本发明实施例提供了气体识别神经网络模型的优化方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
为了达到上述目的，本发明中的实施例提供一种气体识别神经网络模型的优化方法，气体识别神经网络模型的优化方法，包括：
步骤S100：基于特征提取器、气体预测器和域判别器构建气体识别神经网络模型，其中，特征提取器与气体预测器构成了气测支路，特征提取器与域判别器构成了域判支路；
在该步骤中，气体识别神经网络模型由三个部分构成，第一个部分为特征提取器(Feature Extractor)。该特征提取器包括Transformer结构的编码器，和通道注意力模块，用来提取经过预处理的初始传感器信号的有效特征。 Transformer相对于循环神经网络(RNN，Recurrent Neural Network)的优势，在于其可以对时间序列中的所有时间步并行处理计算，并且通过多头注意力机制获得不同时间步之间的依赖关系；第二个部分气体预测器(Gas Predictor)。该气体预测器接收特征提取器的气体数据特征，并对气体成分及浓度进行预测；第三部分是域判别器(Domain Discriminator)，域判别器的作用是在训练模型的过程中，对源域数据与目标域数据进行区分。在反向传播时，梯度信息经过梯度反转层反馈给特征提取器，最终使得模型提取到的特征无法被域判别器所区分，并将结果通过反向传播反馈给特征提取器。特征提取器与域判别器之间通过梯度反转层连接，从而达到领域自适应。其中，特征提取器与气体预测器构成了气测支路，该气测支路用来实现特征提取器与气体预测器的数据传输，该传输包括特征提取器正向给气体预测器的气体数据特征，还包括气体预测器基于反向传播的训练方式中给特征提取器的反馈数据；特征提取器与域判别器构成了域判支路，该域判支路用来实现特征提取器与域判别器的数据传输，该传输包括特征提取器正向给域判别器的气体数据特征，还包括域判别器在反向传播时，梯度信息经过梯度反转层反馈给特征提取器，最终使得模型提取到的特征无法被域判别器所区分。
步骤S200：将气体传感器数据中的源域数据和目标域数据作为输入样本输入至特征提取器，其中，源域数据具有识别标签；
在该步骤中，具体的，由于气体传感器阵列所得到的数据是基于时间进程不断变化的数据，所以我们可以看成是时间序列去处理。而由于Transformer 结构相较于循环神经网络(RNN，Recurrent Neural Network)具有计算效率高的优势，因此被用于特征提取器中。
步骤S300：将特征提取器处理后的数据特征通过气测支路输给气体预测器，以及通过域判支路输给域判别器，通过气体识别神经网络模型，得到气体预测器的目标优化函数和域判别器的损失函数；
步骤S400：基于域判别器的损失函数对特征提取器进行对抗训练，以使特征提取器输给气体预测器精准的气体数据特征。
通过该实施方式可以看出，解决了传统模型需要人工提取特征的麻烦，实现了端到端的气体识别过程，可以节省大量的人力与时间消耗，采用域对抗学习模型框架，实现模型对传感器漂移等因素造成的数据偏差进行补偿，无监督领域自适应，不需要目标域的气体标签信息。本申请中的神经网络模型能够解决高度非线性与混沌性而难以从特征层面上进行补偿的问题，能够在特征层面上抑制漂移信号的表达，通过对对象不断分解重构，增强特征间的相关性，做到对漂移特征的抑制。主要利用神经网络模型自适应校正，在决策层面上进行相应模式识别方法的自适应性调整，从而达到漂移补偿的目的。因为不用在特征层面上进行复杂的信号处理或变换，直接用传感器漂移的历史数据来训练相应的模式识别算法，捕捉漂移的方向与大小。通过训练可以实现在线学习，实现气体传感器漂移补偿。
作为一种实施方式，将气体传感器数据中的源域数据和目标域数据作为输入样本输入至特征提取器之后包括：
特征提取器基于多头注意力机制和通道注意力机制对源域数据和目标域数据进行处理。可选的，多头注意力机制包括：多头注意力机制算法、前馈网络和位置编码。
具体的，Transformer的编码器结构由两个子网络构成，分别为多头注意力机制与一个前馈网络。这两个子网络中都使用了残差连接，有助于改善训练时梯度消失的问题，并且收敛速度更快。注意力机制Attention机制：采用了 Scaled Dot-Product Attention，输入由Q，K与V三部分构成。在自注意力机制中，这三者是用同一个输入H，经过三个不同的线性变换矩阵Wq，Wk，Wv得到。其中H∈Rl*d，l是序列的长度，d是序列的维度。
Figure RE-GDA0003519465170000071
是可学习的参数，dk与所输入数据的维度相关。先计算出q与k之间的点积，乘以放缩因子
Figure RE-GDA0003519465170000072
再用sof tmax函数处理得到与value对应的weight，最后将所得到的权重与value相乘。其运算的本质是以点积作为衡量不同时间步之间的相关性，公式如下：
Q，K，V＝HWq，HWk，HWv
Figure RE-GDA0003519465170000073
多头注意力机制Multi-Head Attention：同时使用多组的Wq，Wk，Wv，可以增强自注意力的效果。多头注意力机制算法计算过程如下所示
Figure RE-GDA0003519465170000074
head(h)＝Attention(Q(h)，K(h)，V(h))
MultiHead(H)＝[head(1)；…；head(n)]WO
其中，
Figure RE-GDA0003519465170000075
是可学习的参数，dmodel＝dk*n，
Figure RE-GDA0003519465170000081
多头注意力机制，利用多个任务之间的相关性，找寻出它们的共性，进行联合性的学习。通过这种相关性知识的联合学习，使得通用的知识得到共享，从而帮助提升每一个任务的学习效果。并且，由于共享了通用性知识，与一个任务目标的独立学习相比，多任务学习在资源使用上也更有效率。基于迁移样本的双任务学习气体漂移补偿方法，正是在多头注意力机制的基础上，引入了迁移样本的概念，并与之相结合，从而完成对漂移气体传感器进行补偿的任务。本申请的方法也是将没有发生漂移的气体传感器数据集作为源领域，将发生漂移后的数据集作为目标领域。而迁移样本来自源领域与目标领域，它是指相同浓度、相同类别的气体，在同样的测量条件下，分别用没有发生漂移的气体传感器与发生漂移后的气体传感器进行测量得到的样本。源领域与目标领域的迁移样本只有气体传感器是否漂移这个条件不一样，它们能够很好地反应源领域与目标领域的知识迁移，同时由于没有其它变量的干扰，也能很好地代表了两个领域之间共同的知识。通过迁移样本，将没有发生漂移的源领域气体识别任务，与发生漂移的目标领域气体识别任务联系起来，弥补了目标领域因为标签样本不足，难以进行漂移气体识别的学习的缺点，从而完成对目标领域进行漂移气体识别的任务。
位置编码(positional encoding)：由于Transformer结构舍弃了RNN 以及卷积操作，因此单纯依靠多头注意力机制是无法得到序列的位置信息的，而嵌入在Transformer结构中的位置编码(positional encoding)则是获取序列位置信息的唯一来源。这里所采用的位置编码(positional encoding) 是利用不同频率的正弦余弦函数实现：
Figure RE-GDA0003519465170000082
Figure RE-GDA0003519465170000083
其中pos是所编码的向量在所处的时间步的位置，i表示的是向量的维度。
多头注意力的输出将通过一个全连接的前馈网络进一步处理，该前馈网络的计算过程表示如下：
FFN(x)＝max(0，xW1+b1)W2+b2
通道注意力机制：使用全连接层实现的自注意力机制是为了对Transformer的输出进行注意力权重分配，从而得到更有效的气体数据特征。由于不同的传感器对于不同的气体的响应具有选择性，那对于不同种类的气体数据，所关注的feature也应该有所不同。因此我们选择在用这个简单的 self-attention网络在feature维度上进行注意力权重分配，这个自注意力机制由一层的全连接层实现，具体计算过程如下：
xT＝transpose(x，[0，2,1])
weight＝softmax(tanh(xT*W)，axis＝1)
output＝transpose(x*weight，[0，2,1])
作为一种实施方式，基于域判别器的损失函数对特征提取器进行对抗训练包括：将域判别器的损失函数通过梯度反向层对特征提取器进行对抗训练。可选的，损失函数为推土机距离函数。
具体的，作为一种实施方式，域判别器的作用是在训练模型的过程中，计算源域与目标域特征分布之间的距离。在反向传播时，梯度信息经过梯度反转层反馈给特征提取器，最终使得模型提取到的特征无法被域判别器所区分。本文中使用了Wasserstein distance作为损失函数来计算两个分布之间的差异。 Wasserstein distance由于1-Lipschitz约束条件的限制，可以提供更为平滑的梯度，从而保证域判别器对于输入的扰动不敏感。除此之外，Wasserstein distance是连续的且几乎处处可微的，因此域判别器可以训练直到最优。
从源域数据以及目标域数据所提取到的特征分布的Wasserstein distance 由Kantorovich-Rubinstein对偶性可以定义为如下：
Figure RE-GDA0003519465170000091
其中函数D：F(x)→R满足一阶利普希茨连续。为了使得判别器能够满足 1-Lipschitz约束，本文所采用的方法是在每次判别器的参数更新之后，对其参数矩阵进行谱归一化(spectral normalization)：在每次更新完域判别器的参数后，求得每一个参数矩阵的谱范数(spectral norm)，再将每个参数矩阵除以各个对应的谱范数(spectralnorm)。
基于上述方案，域判别器在区分源域和目标域数据时，并不同于二分类任务。我们并不关注域判别器的输出本身，而是关注于源域输出与目标域输出之间的差值。两个域之间的分布差异越大，域判别器输出的差值就越大。我们希望该差值在训练过程中逐渐逼近真正的Wasserstein distance，由此得到域判别器的目标为最大化以下式子：
Figure RE-GDA0003519465170000101
等价于最小化以下式子：
Figure RE-GDA0003519465170000102
由于特征提取器与域判别器之间由梯度反转层相连，因此在反向传播的过程中，域判别器的梯度信息会乘上一个负值传递到特征提取器，使得特征提取器在更新权值时方向与域判别器的方向相反，从而尽可能地缩小源域数据特征与目标域数据特征之间的Wasserstein distance，达到领域自适应的目的。
域判别器中使用了四层的全连接网络。特征提取器的输出在经过梯度反转层之后展开输入到域判别器中。前三层的全连接网络使用relu函数作为激活函数，最后一层网络则不使用非线性激活函数，以避免限制域判别器的输出范围。
作为一种实施方式，如图2所示，在基于域判别器的损失函数对特征提取器进行对抗训练，以使特征提取器输给气体预测器精准的气体数据特征之后，还包括步骤S500：基于气体数据特征对对气体成分及浓度进行预测。
具体的，气体预测器接收特征提取器的气体数据特征，并对气体成分及浓度进行预测。基于反向传播的训练方式，通过优化目标函数，模型得以最小化分类误差与浓度回归误差，以确保模型能够提取到有效的特征。
可选的，基于气体数据特征对气体成分及浓度进行预测包括：
基于反向传播的训练方式，通过优化目标函数，得到最小化分类误差与浓度回归误差。
作为一种实施方式，如图3所示，在步骤S400之后，还包括步骤S500：气体成分及浓度进行预测的结果输出方式为二维向量。
具体的，考虑到气体的种类与对应浓度之间具有一定的关联性，我们在此部分使用了胶囊网络中的向量：模型输出一个2维向量v表示一种气体。向量的第一个分量表示该气体的浓度conc，其值代表预测浓度与训练数据中最大浓度的比值，因此0≤conc≤1。向量的模长利用squashing函数压缩在0到1 之间，表示该气体存在的可能性。由于向量模长在0到1之间，因此向量中的每个分量的范围都被限定在0到1之间。当向量模长为0时，conc会随着模长被限制为0；当向量长度为1时，conc亦具有相应的范围拟合真实值。基于此方案，模型能够将气体的成分信息与气体的浓度信息一一对应起来，用以提升预测的精确度。首先，经前一层网络输出的特征根据气体的种类数量进行扩充，随后经过线性变换，得到不同时间步下的预测向量，之后将所有时间步下的预测向量相加，最终通过squashing函数将向量的长度限制在0到1的范围内，得到输出。相较于传统的方式，本申请采用了将浓度信息与种类信息相结合的新颖的输出形式，最大程度上运用到了浓度信息与种类信息之间的关联性，在识别混合气体的场景下可以提高预测的准确度。
本申请方案具有如下优点或有益效果：
采用端到端模型，避免了人工提取特征信息，节省了大量的人力与时间采用Transformer与通道注意力相结合的方式提取气体信息，同时在时间步与通道维度上进行注意力权重分配，能提取到更加有效的特征信息。使用向量输出的方式，有机结合了气体浓度信息与种类信息，从而使得模型能够更加充分使用到浓度与种类之间的关联信息。采用域对抗学习模型框架，实现模型对传感器漂移等因素造成的数据偏差进行补偿，无监督领域自适应，不需要目标域的气体标签信息。采用Wasserstein distance来计算源域与目标域特征分布之间的距离只需一个模型即可完成混合气体类别与浓度同时输出，并且可以同时对这两个任务进行漂移补偿。解决了传统模型需要人工提取特征的麻烦，实现了端到端的气体识别过程，可以节省大量的人力与时间消耗，与传统的相比，本申请采用了将浓度信息与种类信息相结合的新颖的输出形式，最大程度上运用到了浓度信息与种类信息之间的关联性，在识别混合气体的场景下可以提高预测的准确度，以及本申请实现了无监督的领域自适应，对于无标签的目标域数据可以准确识别其种类，并且减小其浓度预测误差，实现分类与浓度预测同时进行的漂移补偿。
此外，本发明还提供一种气体识别神经网络模型的优化装置，如图4所示，气体识别神经网络模型的优化装置包括：
网络构建模块201，用于基于特征提取器、气体预测器和域判别器构建气体识别神经网络模型，其中，特征提取器与气体预测器构成了气测支路，特征提取器与域判别器构成了域判支路；
特征提取模块202，用于将气体传感器数据中的源域数据和目标域数据作为输入样本输入至特征提取器，其中，源域数据具有识别标签；
函数优化模块203，用于将特征提取器处理后的数据特征通过气测支路输给气体预测器，以及通过域判支路输给域判别器，通过气体识别神经网络模型，得到气体预测器的目标优化函数和域判别器的损失函数；
模型优化模块204，用于基于域判别器的损失函数对特征提取器进行对抗训练，以使特征提取器输给气体预测器精准的气体数据特征。
可选的，如图5所示，气体识别神经网络模型的优化装置的特征提取模块 202包括多头注意力机制单元2021和通道注意力机制单元2022，所述多头注意力机制单元2021和所述通道注意力机制单元2022，用于将气体传感器数据中的源域数据和目标域数据作为输入样本输入至特征提取器之后特征提取器基于多头注意力机制和通道注意力机制对源域数据和目标域数据进行处理。
可选的，多头注意力机制包括：多头注意力机制算法、前馈网络和位置编码。
可选的，基于域判别器的损失函数对特征提取器进行对抗训练包括：将域判别器的损失函数通过梯度反向层对特征提取器进行对抗训练。
可选的，损失函数为推土机距离函数。
可选的，如图6所示，所述气体识别神经网络模型的优化装置包括预测模块205，所述预测模块205用于在基于域判别器的损失函数对特征提取器进行对抗训练，以使特征提取器输给气体预测器精准的气体数据特征之后，基于气体数据特征对对气体成分及浓度进行预测。
可选的，基于气体数据特征对气体成分及浓度进行预测包括：
基于反向传播的训练方式，通过优化目标函数，得到最小化分类误差与浓度回归误差。
可选的，如图7所示，所述气体识别神经网络模型的优化装置包括输出模块206，所述输出模块206用于输出气体成分及浓度进行预测的结果，且所述结果为方式为二维向量。
此外，本发明还提供一种气体识别神经网络模型的优化设备，如图8所示，气体识别神经网络模型的优化设备包括：
存储器301、处理器302，以及存储在存储器301上，并可在处理器302 上运行的计算机程序303；
计算机程序303被处理器302执行时，实现如上述任一项的气体识别神经网络模型的优化方法的步骤。
此外，本发明还提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述气体识别神经网络模型的优化方法的步骤。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素，此外，本申请不同实施例中具有同样命名的部件、特征、要素可能具有相同含义，也可能具有不同含义，其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。
应当理解，尽管在本文可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本文范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语"如果" 可以被解释成为"在……时"或"当……时"或"响应于确定"。再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
应该理解的是，虽然本申请实施例中的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
需要说明的是，在本文中，采用了诸如S10、S20等步骤代号，其目的是为了更清楚简要地表述相应内容，不构成顺序上的实质性限制，本领域技术人员在具体实施时，可能会先执行S20后执行S10等，但这些均应在本申请的保护范围之内。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本申请的保护之内。

Claims (10)

1.一种气体识别神经网络模型的优化方法，其特征在于，所述气体识别神经网络模型的优化方法，包括：
基于特征提取器、气体预测器和域判别器构建气体识别神经网络模型，其中，所述特征提取器与所述气体预测器构成了气测支路，所述特征提取器与所述域判别器构成了域判支路；
将气体传感器数据中的源域数据和目标域数据作为输入样本输入至所述特征提取器，其中，源域数据具有识别标签；
将所述特征提取器处理后的数据特征通过所述气测支路输给所述气体预测器，以及通过所述域判支路输给所述域判别器，通过气体识别神经网络模型，得到气体预测器的目标优化函数和所述域判别器的损失函数；
基于所述域判别器的损失函数对所述特征提取器进行对抗训练，以使所述特征提取器输给所述气体预测器精准的气体数据特征。
2.根据权利要求1所述气体识别神经网络模型的优化方法，其特征在于，将气体传感器数据中的源域数据和目标域数据作为输入样本输入至所述特征提取器之后包括：
所述特征提取器基于多头注意力机制和通道注意力机制对所述源域数据和所述目标域数据进行处理。
3.根据权利要求2所述气体识别神经网络模型的优化方法，其特征在于，所述多头注意力机制包括：
多头注意力机制算法、前馈网络和位置编码。
4.根据权利要求1-3任一项所述气体识别神经网络模型的优化方法，其特征在于，所述基于所述域判别器的损失函数对所述特征提取器进行对抗训练包括：
将所述域判别器的损失函数通过梯度反向层对所述特征提取器进行对抗训练，所述损失函数为推土机距离函数。
5.根据权利要求1-3任一项所述气体识别神经网络模型的优化方法，其特征在于，在基于所述域判别器的损失函数对所述特征提取器进行对抗训练，以使所述特征提取器输给所述气体预测器精准的气体数据特征之后，还包括步骤：
基于所述气体数据特征对对气体成分及浓度进行预测。
6.根据权利要求5所述气体识别神经网络模型的优化方法，其特征在于，所述基于所述气体数据特征对气体成分及浓度进行预测包括：
基于反向传播的训练方式，通过优化目标函数，得到最小化分类误差与浓度回归误差。
7.根据权利要求6所述气体识别神经网络模型的优化方法，其特征在于，所述气体成分及浓度进行预测的结果输出方式为二维向量。
8.一种气体识别神经网络模型的优化装置，其特征在于，所述气体识别神经网络模型的优化装置，包括：
网络构建模块，用于基于特征提取器、气体预测器和域判别器构建气体识别神经网络模型，其中，所述特征提取器与所述气体预测器构成了气测支路，所述特征提取器与所述域判别器构成了域判支路；
特征提取模块，用于将气体传感器数据中的源域数据和目标域数据作为输入样本输入至所述特征提取器，其中，源域数据具有识别标签；
函数优化模块，用于将所述特征提取器处理后的数据特征通过所述气测支路输给所述气体预测器，以及通过所述域判支路输给所述域判别器，通过气体识别神经网络模型，得到气体预测器的目标优化函数和所述域判别器的损失函数；
模型优化模块，用于基于所述域判别器的损失函数对所述特征提取器进行对抗训练，以使所述特征提取器输给所述气体预测器精准的气体数据特征。
9.一种气体识别神经网络模型的优化设备，其特征在于，所述气体识别神经网络模型的优化设备，包括：
存储器、处理器，以及存储在所述存储器上，并可在所述处理器上运行的计算机程序；
所述计算机程序被所述处理器执行时，实现如权利要求1至7中任一项所述的气体识别神经网络模型的优化方法的步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，
该程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
CN202210030165.8A 2022-01-12 2022-01-12 气体识别神经网络模型的优化方法及相关设备 Pending CN114358283A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210030165.8A CN114358283A (zh) 2022-01-12 2022-01-12 气体识别神经网络模型的优化方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210030165.8A CN114358283A (zh) 2022-01-12 2022-01-12 气体识别神经网络模型的优化方法及相关设备

Publications (1)

Publication Number Publication Date
CN114358283A true CN114358283A (zh) 2022-04-15

Family

ID=81108632

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210030165.8A Pending CN114358283A (zh) 2022-01-12 2022-01-12 气体识别神经网络模型的优化方法及相关设备

Country Status (1)

Country Link
CN (1) CN114358283A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115684316A (zh) * 2022-11-08 2023-02-03 广州市中耕信息技术有限公司 基于mos气敏传感器阵列的仿生电子鼻的气味识别方法
CN116189800A (zh) * 2023-02-23 2023-05-30 深圳大学 基于气体检测的模式识别方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109669009A (zh) * 2019-01-10 2019-04-23 重庆邮电大学 基于域校正的域自适应极限学习机电子鼻漂移抑制方法
CN111144448A (zh) * 2019-12-09 2020-05-12 江南大学 基于多尺度注意力卷积编码网络的视频弹幕情感分析方法
CN112816616A (zh) * 2019-11-18 2021-05-18 重庆邮电大学 一种基于盲领域自适应的电子鼻漂移补偿方法
CN113378791A (zh) * 2021-07-09 2021-09-10 合肥工业大学 基于双注意力机制和多尺度特征融合的宫颈细胞分类方法
CN113392967A (zh) * 2020-03-11 2021-09-14 富士通株式会社 领域对抗神经网络的训练方法
CN113392711A (zh) * 2021-05-19 2021-09-14 中国科学院声学研究所南海研究站 一种基于高层语义与噪声抑制的烟雾语义分割方法及系统
CN113763412A (zh) * 2021-09-08 2021-12-07 理光软件研究所（北京）有限公司 图像处理方法、装置及电子设备、计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109669009A (zh) * 2019-01-10 2019-04-23 重庆邮电大学 基于域校正的域自适应极限学习机电子鼻漂移抑制方法
CN112816616A (zh) * 2019-11-18 2021-05-18 重庆邮电大学 一种基于盲领域自适应的电子鼻漂移补偿方法
CN111144448A (zh) * 2019-12-09 2020-05-12 江南大学 基于多尺度注意力卷积编码网络的视频弹幕情感分析方法
CN113392967A (zh) * 2020-03-11 2021-09-14 富士通株式会社 领域对抗神经网络的训练方法
CN113392711A (zh) * 2021-05-19 2021-09-14 中国科学院声学研究所南海研究站 一种基于高层语义与噪声抑制的烟雾语义分割方法及系统
CN113378791A (zh) * 2021-07-09 2021-09-10 合肥工业大学 基于双注意力机制和多尺度特征融合的宫颈细胞分类方法
CN113763412A (zh) * 2021-09-08 2021-12-07 理光软件研究所（北京）有限公司 图像处理方法、装置及电子设备、计算机可读存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115684316A (zh) * 2022-11-08 2023-02-03 广州市中耕信息技术有限公司 基于mos气敏传感器阵列的仿生电子鼻的气味识别方法
CN115684316B (zh) * 2022-11-08 2023-12-22 中耕生态环境科技(广州)有限公司 基于mos气敏传感器阵列的仿生电子鼻的气味识别方法
CN116189800A (zh) * 2023-02-23 2023-05-30 深圳大学 基于气体检测的模式识别方法、装置、设备及存储介质
CN116189800B (zh) * 2023-02-23 2023-08-18 深圳大学 基于气体检测的模式识别方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN111899510A (zh) 基于发散卷积和gat的智能交通系统流量短期预测方法及系统
CN114358283A (zh) 气体识别神经网络模型的优化方法及相关设备
CN111814956B (zh) 一种基于多维度二次特征提取的多任务学习的空气质量预测方法
CN115618296A (zh) 一种基于图注意力网络的大坝监测时序数据异常检测方法
CN113705809B (zh) 一种数据预测模型训练方法、工业指标预测方法和装置
CN108334943A (zh) 基于主动学习神经网络模型的工业过程半监督软测量建模方法
CN113326590B (zh) 基于深度学习模型的滚动轴承寿命预测方法和装置
CN112560948B (zh) 数据偏差下的眼底图分类方法及成像方法
CN116382100B (zh) 一种油气管道检测控制系统及控制方法
CN115561416A (zh) 污水处理厂进水水质实时检测方法和装置
Xiong et al. Dynamic soft sensor modeling for time sequence data based on convolution filters
CN115222983A (zh) 一种电缆破损检测方法及系统
Tian et al. Software reliability prediction using recurrent neural network with Bayesian regularization
CN117094451A (zh) 一种耗电量的预测方法、装置及终端
Parsa et al. Accurate and accelerated neuromorphic network design leveraging a Bayesian hyperparameter pareto optimization approach
CN112381213A (zh) 一种基于双向长短期记忆网络的工业设备剩余寿命预测方法
Qi et al. Using stacked auto-encoder and bi-directional LSTM for batch process quality prediction
CN115860056A (zh) 一种用于混合气体浓度预测的传感器阵列神经网络方法
CN115545152A (zh) 基于长短期Transformer模型的交通流量预测方法
Gundersen et al. Ensuring efficient and robust offshore storage-use of models and machine learning techniques to design leak detection monitoring
CN110728292A (zh) 一种多任务联合优化下的自适应特征选择算法
CN114169493B (zh) 基于尺度感知神经架构搜索的多变量时间序列预测方法
Wang A new variable selection method for soft sensor based on deep learning
CN115034504B (zh) 基于云边协同训练的刀具磨损状态预测系统及方法
CN116882538B (zh) 一种海洋环境预测模型的训练方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220415