CN113837085A - 基于领域自适应卷积神经网络的电子鼻漂移补偿方法 - Google Patents
基于领域自适应卷积神经网络的电子鼻漂移补偿方法 Download PDFInfo
- Publication number
- CN113837085A CN113837085A CN202111120811.1A CN202111120811A CN113837085A CN 113837085 A CN113837085 A CN 113837085A CN 202111120811 A CN202111120811 A CN 202111120811A CN 113837085 A CN113837085 A CN 113837085A
- Authority
- CN
- China
- Prior art keywords
- classifier
- sample
- domain
- output
- softmax
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 20
- 230000003044 adaptive effect Effects 0.000 title claims description 8
- 239000007789 gas Substances 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 29
- 238000012549 training Methods 0.000 claims description 24
- 239000000654 additive Substances 0.000 claims description 15
- 230000000996 additive effect Effects 0.000 claims description 15
- 238000010606 normalization Methods 0.000 claims description 9
- 239000000126 substance Substances 0.000 claims description 9
- 238000009826 distribution Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 6
- 230000010354 integration Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000001172 regenerating effect Effects 0.000 claims description 3
- 238000005096 rolling process Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 230000008859 change Effects 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 230000017105 transposition Effects 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 3
- 230000009286 beneficial effect Effects 0.000 abstract 1
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 3
- YXFVVABEGXRONW-UHFFFAOYSA-N Toluene Chemical compound CC1=CC=CC=C1 YXFVVABEGXRONW-UHFFFAOYSA-N 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- CSCPPACGZOOCGX-UHFFFAOYSA-N Acetone Chemical compound CC(C)=O CSCPPACGZOOCGX-UHFFFAOYSA-N 0.000 description 2
- QGZKDVFQNNGYKY-UHFFFAOYSA-N Ammonia Chemical compound N QGZKDVFQNNGYKY-UHFFFAOYSA-N 0.000 description 2
- 244000269722 Thea sinensis Species 0.000 description 2
- 235000006468 Thea sinensis Nutrition 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000002401 inhibitory effect Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 235000019224 Camellia sinensis var Qingmao Nutrition 0.000 description 1
- VGGSQFUCUMXWEO-UHFFFAOYSA-N Ethene Chemical compound C=C VGGSQFUCUMXWEO-UHFFFAOYSA-N 0.000 description 1
- 239000005977 Ethylene Substances 0.000 description 1
- IKHGUXGNUITLKF-XPULMUKRSA-N acetaldehyde Chemical compound [14CH]([14CH3])=O IKHGUXGNUITLKF-XPULMUKRSA-N 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 229910021529 ammonia Inorganic materials 0.000 description 1
- 235000013405 beer Nutrition 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 235000020279 black tea Nutrition 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 235000009569 green tea Nutrition 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 235000020333 oolong tea Nutrition 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 235000020339 pu-erh tea Nutrition 0.000 description 1
- 230000008786 sensory perception of smell Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 235000014101 wine Nutrition 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Investigating Or Analyzing Materials By The Use Of Fluid Adsorption Or Reactions (AREA)
Abstract
本发明涉及一种基于领域自适应卷积神经网络的电子鼻漂移补偿方法，其特征在于，包括获取源域样本和目标域样本数据，按照传感器维度将分别输入k个分支，通过三个卷积路径的四个卷积块连接至四个分类器，进行特征投影后，通过基于最大均值差异(MMD)得到最终输出，本发明有益效果是：1、无需使用目标域数据建模，更加实用；2、在决策层实现漂移补偿，无需额外计算；3、网络结构可定制，具有较强灵活性；4、使用特殊设计的损失函数，能够更好的训练网络。
Description
技术领域
本发明属于电子鼻信号处理技术，具体设计一种基于领域自适应卷积神经网络的电子鼻漂移补偿方法。
背景技术
电子鼻(也称人工嗅觉系统)在诸如食品安全、环境质量监测、生物医药等多个领域中应用广泛，但由于其制造工艺和材料本身存在问题，长期使用的传感器仍不可避免的会出现不可预测且非线性的漂移现象，这就需要使用漂移补偿算法抑制漂移对识别精度带来的损害。
抑制电子鼻漂移的方法主要分为两类：一类为传统方法，例如领域正则化主成分分析(domain regularized component analysis)、跨域子空间学习(cross-domaindiscriminant subspace learning method)、跨域极限学习机(cross-domain extremelearning machine)等。另一类为基于深度学习的方法，例如自编码器(autoencoder)、深度置信网路(deep belief network)、长短期记忆(long short-term memory)等。
现有方法的不足：现有方法的建模大都需要目标域样本的参与，以学习目标域的分布来达到域对齐。而在实际工程应用场景下，无法获取大量均匀分布的目标域数据，实用性不足。
且现有电子鼻漂移补偿方法中尚未有基于卷积神经网络的漂移补偿方法。
发明内容
为了解决上述技术问题，本发明提出了一种基于领域自适应卷积神经网络的电子鼻漂移补偿方法：Target-domain-free Domain Adaptation Convolutional NeuralNetwork(TDACNN，无目标域的领域自适应卷积神经网络)，设计了一种多分支多分类器结构，通过同时使用多个分类器，以及加入基于最大均值差异(maximum mean discrepancy,MMD)的分类器集成方法，使分类器能够充分利用网络中不同等级的特征，并加入了优化后的损失函数辅助训练，以达到在不使用目标域数据进行建模的情况下实现决策层面的漂移补偿，并且弥补了基于卷积神经网络的漂移补偿方法在电子鼻漂移补偿领域的空缺。本发明的技术方案如下：
一种基于领域自适应卷积神经网络的电子鼻漂移补偿方法：
首先，K路电子鼻传感器系统在环境中检测到待测气体后，传感器系统产生电流信号或电压信号，各自独立处理成电阻响应曲线后，每个信号样本经过信号调理电路进行滤波、放大，再经AD转换，生成有效的气体数字信号。
其次，步骤A1：将气体数字信号送入处理器，处理器提取响应曲线的特征，获取电子鼻的原始数据，在电子鼻的漂移补偿问题中，传感器发生漂移之前采集的数据属于源域，称为源域样本；发生漂移之后采集的数据属于目标域，称为目标域样本。
步骤A2：对源域样本和目标域样本数据分别进行批次归一化(BatchNormalization)；
步骤A3：按照传感器维度将两组样本归一化后的数据各自分为k组，k为传感器数量；
步骤A4：将k组数据分别输入k个分支，在每个分支上通过三个卷积块(Convolutional Block)的卷积路径对数据进行卷积操作；
步骤A5：将所有分支上同等级的卷积块的输出通过宽度拼接方式(WidthConcatenate)进行连接；
第一卷积路径：将所有卷积块A(Convolutional Block A)的输出进行宽度拼接后连接至分类器1(Classifier 1)；
第二卷积路径：将所有卷积块B(Convolutional Block B)的输出进行宽度拼接后连接至分类器2(Classifier 2)，该卷积块B(Convolutional Block B)的输出还连接至卷积块D(Convolutional Block D)，该卷积块D的输出进行宽度拼接后连接至分类器3(Classifier 3)；
第三卷积路径：将所有卷积块C(Convolutional Block C)的输出进行宽度拼接后连接至分类器4(Classifier 4)；
步骤A6：所有所述分类器分别对卷积后的特征重新投影，之后各自将结果以概率的形式输出；
步骤A7：通过基于最大均值差异(MMD)的分类器集成方法融合不同分类器的结果，得到最终输出，即对输入气体样本做出判断，得出该气体的种类。
四个所述分类器结构相同：由两个100单元的全连接层，以及一个Softmax依次连接层组成。在预测过程中，对同一个气体输入样本，四个分类器可能会得出不同的结果，这时就需要评估不同结果的可靠程度以得出网络的最终输出。
所述步骤A6中：
步骤B1：分类器接收来自卷积块的宽度拼接后的特征之后，通过两个拥有一百个单元的全连接层(fully connected layer，fc 100)进行非线性投影；
步骤B2：全连接层输出特征矩阵传入Softmax层，以概率形式输出结果，并选取概率最高的类别作为伪标签，第n个分类器得到的伪标签为
步骤B3：全连接层输出特征矩阵用于计算当前目标域样本与源域样本间的最大均值差异(MMD)，计算源域s和目标域t之间的MMD需要分别获取源域和目标域中所有类别气体的全部样本：
其中，
和
表示从源域s和目标域t中分别抽样出的两批样本，
表示源域s中的第i个样本，
表示目标域t中的第j个样本，M表示Ds中样本的数量，N表示Dt中样本的数量，φ(·)表示再生核希尔伯特空间(reproducing kernel Hilbert space，RKHS)的核函数。而本专利提出的方法中，改用目前正在接受检测的单个目标域样本，计算其与源域样本之间的MMD，从而无需获取大量均匀分布的全类别目标域样本，提升了实用性。写作如下公式：
其中，
表示源域s中的第i个样本，xt表示当前正在接受检测的单个目标域样本。假设xt被第n个分类器识别为第c类气体，则
表示第c类样本在源域s中的抽样，Mc表示
中样本的数量，fcn表示第n个分类器的隐层输出，φ(·)表示再生希尔伯特空间(reproducing kernel Hilbert space，RKHS)的核函数，H表示再生核希尔伯特空间。
步骤B4：通过本专利提出一种归一化的sigmoid函数(SS(x))，将步骤B3中得到的最大均值差异(MMD)映射到与步骤B2中得到的Softmax输出一致的分布上：
其中，x表示函数输入，x*表示零均值归一化的x，e表示自然常数。使用此函数，MMD被映射到0到1的区间上，与Softmax输出分布一致。
步骤B5：通过加权可信度分数WCS(Weighted Credibility Score)融合最大均值差异(MMD)和Softmax输出，以在多个分类器得到结果不一致时选出最可信的结果，设C为分类器预测得到的伪标签域，定义伪标签为c(c∈C)的样本的加权可信度分数WCSc为：
其中，
表示由第n个分类器得到的伪标签，
表示由第n个分类器的Softmax层得到的伪标签
的概率，
表示第c类样本在源域s中的抽样，xt表示当前正在接受检测的单个目标域样本，wn表示第n个分类器在分数中的权重，对于每个在结果中出现过的标签，分别计算对应的WCS，选取所有结果为样本气体c的分类器，分别融合计算每个分类器的最大均值差异和Softmax输出，之后将结果分别乘以对应的权重wn并相加，从而得到伪标签c为样本气体c的加权可信度分数WCSc；
步骤B6：因为更高的WCS意味着该伪标签具有更高的可信度，在完成所有伪标签的WCS计算之后，选取WCS最高的伪标签作为算法的最终结果，也就是当前检测气体为样本气体C这一概率值的可信度大小，可信度越大，推算出的概率值就越准确。
处理器经人机交互机构输出气体分类结果。
有益效果：本发明设计了一种基于领域自适应卷积神经网络的电子鼻漂移补偿方法，采用多分支多分类器结构，通过同时使用多个分类器，以及加入基于最大均值差异(maximum mean discrepancy，MMD)的分类器集成方法，使分类器能够充分利用网络中不同等级的特征，并加入了优化后的损失函数辅助训练，以达到在不使用目标域数据进行建模的情况下实现决策层面的漂移补偿，不仅简化了数据，并且弥补了基于卷积神经网络的漂移补偿方法在电子鼻漂移补偿领域的空缺。
在多个公开数据集的多种实验设定上达到了优于传统方法的效果，且无需使用目标域数据建模，相较大部分传统方法具有更高的实用价值。具体优点如下：1、无需使用目标域数据建模，更加实用；2、在决策层实现漂移补偿，无需额外计算；3、网络结构可定制，具有较强灵活性；4、使用特殊设计的损失函数，能够更好的训练网络。
附图说明
图1为TDACNN网络结构图。
图2为TDACNN工作流程图。
图3为分类器集成图。
具体实施方式
如图2所示，一种基于领域自适应卷积神经网络的电子鼻漂移补偿方法，包括：
步骤A1：获取电子鼻的原始数据，在电子鼻的漂移补偿问题中，传感器发生漂移之前采集的数据属于源域，称为源域样本；发生漂移之后采集的数据属于目标域，称为目标域样本；
步骤A2：对源域样本和目标域样本数据分别进行批次归一化(BatchNormalization)；
步骤A3：按照传感器维度将两组样本归一化后的数据各自分为k组，k为传感器数量；
如图1所示，步骤A4：将k组数据分别输入k个分支，在每个分支上通过三个卷积块(Convolutional Block)的卷积路径对数据进行卷积操作；
步骤A5：将所有分支上同等级的卷积块的输出通过宽度拼接方式(WidthConcatenate)进行连接；
第一卷积路径：将所有卷积块A(Convolutional Block A)的输出进行宽度拼接后连接至分类器1(Classifier 1)；
第二卷积路径：将所有卷积块B(Convolutional Block B)的输出进行宽度拼接后连接至分类器2(Classifier 2)，该卷积块B(Convolutional Block B)的输出还连接至卷积块D(Convolutional Block D)，该卷积块D的输出连接至分类器3(Classifier 3)；
第三卷积路径：将所有卷积块C(Convolutional Block C)的输出进行宽度拼接后连接至分类器4(Classifier 4)；
步骤A6：所有所述分类器分别对卷积后的特征重新投影，之后各自将结果以概率的形式输出；
步骤A7：通过基于最大均值差异(MMD)的分类器集成方法融合不同分类器的结果，得到最终输出，即对输入气体样本做出判断，得出该气体的种类。
四个所述分类器结构相同：由两个100单元的全连接层，以及一个Softmax依次连接层组成。
如图3所示，所述步骤A6中：
步骤B1：不同分类器分别接收来自不同卷积块的特征，即分类器1接收来自卷积块A的宽度拼接后的特征，分类器2接收来自卷积块B的宽度拼接后的特征，分类器3接收来自卷积块D的特征，分类器4接收来自卷积块C的宽度拼接后的特征，之后通过两个拥有一百个单元的全连接层(fully connected layer,fc 100)进行非线性投影；
步骤B2：全连接层输出特征矩阵传入Softmax层，以概率形式输出结果，并选取概率最高的类别作为伪标签，第n个分类器得到的伪标签为
步骤B3：全连接层输出特征矩阵用于计算当前目标域样本与源域样本问的最大均值差异(MMD)，计算源域s和目标域t之间的MMD需要分别获取源域和目标域中所有类别气体的全部样本：
其中，
表示源域s中的第i个样本，xt表示当前正在接受检测的单个目标域样本。假设xt被第n个分类器识别为第c类气体，则
表示第c类样本在源域s中的抽样，Mc表示
中样本的数量，fcn表示第n个分类器的隐层输出，φ(·)表示再生希尔伯特空间(reproducing kernel Hilbert space，RKHS)的核函数，H表示再生核希尔伯特空间；
步骤B4：通过归一化的sigmoid函数(SS(x))，将步骤B3中得到的最大均值差异(MMD)映射到与步骤B2中得到的Softmax输出一致的分布上：
其中，x表示函数输入，x*表示零均值归一化的x，e表示自然常数；使用此函数，MMD被映射到0到1的区间上，与Softmax输出分布一致；
步骤B5：通过加权可信度分数WCS(Weighted Credibility Score)融合最大均值差异(MMD)和Softmax输出，以在多个分类器得到结果不一致时选出最可信的结果，设C为分类器预测得到的伪标签域，定义伪标签为c(c∈C)的样本的加权可信度分数WCSc为：
其中，
表示由第n个分类器得到的伪标签，
表示由第n个分类器的Softmax层得到的伪标签
的概率，
表示第c类样本在源域s中的抽样，xt表示当前正在接受检测的单个目标域样本，wn表示第n个分类器在分数中的权重，对于每个在结果中出现过的标签，分别计算对应的WCS，选取所有结果为样本气体c的分类器，分别融合计算每个分类器的最大均值差异和Softmax输出，之后将结果分别乘以对应的权重wn并相加，从而得到伪标签c为样本气体c的加权可信度分数WCSc；
步骤B6：选取WCS最高的伪标签作为算法的最终结果，也就是当前检测气体为样本气体C这一概率值的可信度大小，可信度越大，推算出的概率值就越准确。
本发明结合带有参数动态调整策略的加性角度间隔Softmax损失函数，能够优化网络训练。通过将特征向量和网络权重的差异使用角度进行几何层面的直观表示来直接对角度进行优化，相比其他方法更加直接，能够使特征实现类内聚合以及类间分离。易于编程实现，且复杂性低。
所述步骤B5中，带有参数动态调整策略的加性角度间隔Softmax损失函数包含以下调整步骤：
步骤C1：将特征向量xi和网络权重Wj归一化，使用θ表示特征向量和网络权重的夹角：
其中，
表示对网络权重Wj进行转置操作。
步骤C2：使用m表示加性角度间隔惩罚，加性角度间隔Softmax损失函数写作如下形式：
其中s表示归一化的特征向量||xi||的缩放幅度，N表示Softmax层的单元数量，C表示训练样本中的种类数量，c表示当前样本所属于的气体种类。
步骤C3：为了避免在训练末期产生较大的无法下降的损失值，本发明针对参数m加入了一种动态调节策略，利用所述步骤C3中：利用加性角度间隔惩罚m表示施加在角度上的惩罚，更大的m意为着更大的损失值，使用如下公式对m的值进行动态调节：
其中，e指当前训练轮数，v表示变化率，m0表示m的初始值。使m随训练的进行逐渐自动降低，能够使网络在训练末期使用较小的m，从而实现更小的损失值和更强的鲁棒性。
所述步骤C3中：基于带有参数动态调整策略的加性角度间隔Softmax损失函数，对神经网络的训练过程如下：
步骤D1：获取带有标记的来自源域的电子鼻数据集样本；
步骤D2：建立前文所述的无目标域的领域自适应卷积神经网络(TDACNN)；
步骤D3：建立前文所述的带有参数动态调整策略的加性角度间隔Softmax损失函数，并确定m0和v的数值；
步骤D4：确定损失函数的终止训练阈值以及迭代次数阈值；
步骤D5：从打乱的来自源域的电子鼻数据集中获取训练样本并输入TDACNN中，依据步骤C1～步骤C3在四个分类器上分别使用带有参数动态调整策略的加性角度间隔Softmax损失函数计算得到各分类器上的损失值，之后将四个分类器的损失值相加得到总损失值，使用该损失值训练TDACNN，得到更新之后的网络权重值；
步骤D6：判断总损失值是否小于终止训练阈值，如果是则转至步骤D8，如果否则转至步骤D7；
步骤D7：判断网络训练的迭代次数是否大于迭代次数阈值，如果是转步骤D8，否则转步骤D5；
步骤D8：保存当前权重值作为最终权重值。
本实施例选取了两个典型电子鼻漂移数据集进行了验证。为了分别模拟长期漂移和短期漂移，设置了两种实验设定：
1)批次1作为源域，k为目标域(k＝2，3，…，10)；
2)依次使用批次k-1作为源域，批次K作为目标域(K＝2，3，…，10)。
1、数据集A
来自于UC Irvine Machine Learning Repository，由Vergara采集，包含了三年间收集的数据，包含16个金属氧化物电子鼻传感器，总共选用了6种气体样本，包括不同浓度的氨，丙酮，乙烯，乙醛，乙醇和甲苯。每个传感器拥有8个特征维度，每个样本均为128维。
数据集根据时间先后划分为10个批次：
2、数据集B
由重庆大学的Tao Liu采集，包含了四个月间收集的数据，包含32个电子鼻传感器，选择七种饮料作为实验样本，包括不同浓度的啤酒，红茶，绿茶，
白酒，乌龙茶，普洱茶和葡萄酒。数据集包含传感器在180s内的电压原始相应曲线，即每个样本的数据维度为32×180。
数据集根据月份划分为3个批次：
3、实验结果
选取了一些典型算法作为对比，在数据集A和数据集B上分别进行了两种实验。实验结果如下所示：
可见，无目标域的领域自适应卷积神经网络(TDACNN)在两个数据集的两种实验设定下均取得了相对其他对比方法最好的识别精度，证明其对不同数据集均有良好适应性，在长期漂移或短期漂移的场景下均能取得良好效果，且建模无需使用目标域数据，实用性高于对比方法。
Claims (5)
1.一种基于领域自适应卷积神经网络的电子鼻漂移补偿方法，其特征在于，包括：
步骤A1：获取电子鼻的原始数据，在电子鼻的漂移补偿问题中，传感器发生漂移之前采集的数据属于源域，称为源域样本；发生漂移之后采集的数据属于目标域，称为目标域样本；
步骤A2：对源域样本和目标域样本数据分别进行批次归一化(Batch Normalization)；
步骤A3：按照传感器维度将两组样本归一化后的数据各自分为k组，k为传感器数量；
步骤A4：将k组数据分别输入k个分支，在每个分支上通过三个卷积块(ConvolutionalBlock)的卷积路径对数据进行卷积操作；
步骤A5：将所有分支上同等级的卷积块的输出通过宽度拼接方式(WidthConcatenate)进行连接；
第一卷积路径：将所有卷积块A(Convolutional Block A)的输出进行宽度拼接后连接至分类器1(Classifier 1)；
第二卷积路径：将所有卷积块B(Convolutional Block B)的输出进行宽度拼接后连接至分类器2(Classifier 2)，该卷积块B(Convolutional Block B)的输出还连接至卷积块D(Convolutional Block D)，该卷积块D的输出连接至分类器3(Classifier 3)；
第三卷积路径：将所有卷积块C(Convolutional Block C)的输出进行宽度拼接后连接至分类器4(Classifier 4)；
步骤A6：所有所述分类器分别对卷积后的特征重新投影，之后各自将结果以概率的形式输出；
步骤A7：通过基于最大均值差异(MMD)的分类器集成方法融合不同分类器的结果，得到最终输出，即对输入气体样本做出判断，得出该气体的种类。
2.根据权利要求1所述的基于领域自适应卷积神经网络的电子鼻漂移补偿方法，其特征在于，四个所述分类器结构相同：由两个100单元的全连接层，以及一个Softmax依次连接层组成。
3.根据权利要求2所述的一种基于领域自适应卷积神经网络的电子鼻漂移补偿方法，其特征在于，所述步骤A6中：
步骤B1：分类器接收来自卷积块的宽度拼接后的特征之后，通过两个拥有一百个单元的全连接层(fully connected layer,fc 100)进行非线性投影；
步骤B2：全连接层输出特征矩阵传入Softmax层，以概率形式输出结果，并选取概率最高的类别作为伪标签，第n个分类器得到的伪标签为
步骤B3：全连接层输出特征矩阵用于计算当前目标域样本与源域样本间的最大均值差异(MMD)，计算源域s和目标域t之间的MMD需要分别获取源域和目标域中所有类别气体的全部样本：
其中，
表示源域s中的第i个样本，xt表示当前正在接受检测的单个目标域样本，xt被第n个分类器识别为第c类气体，则
表示第c类样本在源域s中的抽样，Mc表示
中样本的数量，fcn表示第n个分类器的隐层输出，φ(·)表示再生核希尔伯特空间(reproducingkernel Hilbert space,RKHS)的核函数，H表示再生核希尔伯特空间；
步骤B4：通过归一化的sigmoid函数(SS(x))，将步骤B3中得到的最大均值差异(MMD)映射到与步骤B2中得到的Softmax输出一致的分布上：
其中，x表示函数输入，x*表示零均值归一化的x，e表示自然常数；使用此函数，MMD被映射到0到1的区间上，与Softmax输出分布一致；
步骤B5：通过加权可信度分数WCS(Weighted Credibility Score)融合最大均值差异(MMD)和Softmax输出，以在多个分类器得到结果不一致时选出最可信的结果，设C为分类器预测得到的伪标签域，定义伪标签为c(c∈C)的样本的加权可信度分数WCSc为：
其中，
表示由第n个分类器得到的伪标签，
表示由第n个分类器的Softmax层得到的伪标签
的概率，
表示第c类样本在源域s中的抽样，xt表示当前正在接受检测的单个目标域样本，wn表示第n个分类器在分数中的权重，对于每个在结果中出现过的标签，分别计算对应的WCS，选取所有结果为样本气体c的分类器，分别融合计算每个分类器的最大均值差异和Softmax输出，之后将结果分别乘以对应的权重wn并相加，从而得到伪标签c为样本气体c的加权可信度分数WCSc；
步骤B6：选取WCS最高的伪标签作为算法的最终结果，也就是当前检测气体为样本气体C这一概率值的可信度大小，可信度越大，推算出的概率值就越准确。
4.根据权利要求3所述的基于领域自适应卷积神经网络的电子鼻漂移补偿方法，其特征在于，所述步骤B5中，
带有参数动态调整策略的加性角度间隔Softmax损失函数包含以下调整步骤：
步骤C1：将特征向量xi和网络权重Wj归一化，使用θ表示特征向量和网络权重的夹角：
其中，
表示对网络权重Wj进行转置操作；
步骤C2：使用m表示加性角度间隔惩罚，加性角度间隔Softmax损失函数写作如下形式：
其中s表示归一化的特征向量||xi||的缩放幅度，N表示Softmax层的单元数量，C表示训练样本中的种类数量，c表示当前样本所属于的气体种类；
步骤C3：利用加性角度间隔惩罚m表示施加在角度上的惩罚，使用如下公式对m的值进行动态调节：
其中，e指当前训练轮数，v表示变化率，m0表示m的初始值。
5.根据权利要求4所述的基于领域自适应卷积神经网络的电子鼻漂移补偿方法，其特征在于，所述步骤C3中：
基于带有参数动态调整策略的加性角度间隔Softmax损失函数，对神经网络进行的训练过程如下：
步骤D1：获取带有标记的来自源域的电子鼻数据集样本；
步骤D2：建立所述无目标域的领域自适应卷积神经网络(TDACNN)；
步骤D3：建立带有参数动态调整策略的加性角度间隔Softmax损失函数，并确定m0和v的数值；
步骤D4：确定损失函数的终止训练阈值以及迭代次数阈值；
步骤D5：从打乱的来自源域的电子鼻数据集中获取训练样本并输入TDACNN中，依据步骤C1～步骤C3在四个分类器上分别使用带有参数动态调整策略的加性角度间隔Softmax损失函数计算得到各分类器上的损失值，之后将四个分类器的损失值相加得到总损失值，使用该损失值训练TDACNN，得到更新之后的网络权重值；
步骤D6：判断总损失值是否小于终止训练阈值，如果是则转至步骤D8，如果否则转至步骤D7；
步骤D7：判断网络训练的迭代次数是否大于迭代次数阈值，如果是转步骤D8，否则转步骤D5；
步骤D8：保存当前权重值作为最终权重值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111120811.1A CN113837085A (zh) | 2021-09-24 | 2021-09-24 | 基于领域自适应卷积神经网络的电子鼻漂移补偿方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111120811.1A CN113837085A (zh) | 2021-09-24 | 2021-09-24 | 基于领域自适应卷积神经网络的电子鼻漂移补偿方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113837085A true CN113837085A (zh) | 2021-12-24 |
Family
ID=78969819
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111120811.1A Pending CN113837085A (zh) | 2021-09-24 | 2021-09-24 | 基于领域自适应卷积神经网络的电子鼻漂移补偿方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113837085A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114925762A (zh) * | 2022-05-13 | 2022-08-19 | 哈尔滨工业大学 | 一种基于子空间学习和跨域自适应极限学习机的气体传感器漂移补偿方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101101299A (zh) * | 2007-06-25 | 2008-01-09 | 华东理工大学 | 一种并-串联模式识别方法及其在机器嗅觉中的应用 |
| CN105891422A (zh) * | 2016-04-08 | 2016-08-24 | 重庆大学 | 基于源域迁移极限学习漂移补偿的电子鼻气体识别方法 |
| CN105913079A (zh) * | 2016-04-08 | 2016-08-31 | 重庆大学 | 基于目标域迁移极限学习的电子鼻异构数据识别方法 |
| JP2020064058A (ja) * | 2018-10-11 | 2020-04-23 | Ｎｉｓｓｈａ株式会社 | 判定装置、判定方法、学習済みモデル及び分類器の製造方法 |
| CN111626341A (zh) * | 2020-05-12 | 2020-09-04 | 哈尔滨工程大学 | 一种面向水下目标识别的特征级信息融合方法 |
| CN112816616A (zh) * | 2019-11-18 | 2021-05-18 | 重庆邮电大学 | 一种基于盲领域自适应的电子鼻漂移补偿方法 |
| CN113313170A (zh) * | 2021-05-28 | 2021-08-27 | 中国人民解放军战略支援部队航天工程大学 | 基于人工智能的全时全域训练大数据平台 |
-
2021
- 2021-09-24 CN CN202111120811.1A patent/CN113837085A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101101299A (zh) * | 2007-06-25 | 2008-01-09 | 华东理工大学 | 一种并-串联模式识别方法及其在机器嗅觉中的应用 |
| CN105891422A (zh) * | 2016-04-08 | 2016-08-24 | 重庆大学 | 基于源域迁移极限学习漂移补偿的电子鼻气体识别方法 |
| CN105913079A (zh) * | 2016-04-08 | 2016-08-31 | 重庆大学 | 基于目标域迁移极限学习的电子鼻异构数据识别方法 |
| JP2020064058A (ja) * | 2018-10-11 | 2020-04-23 | Ｎｉｓｓｈａ株式会社 | 判定装置、判定方法、学習済みモデル及び分類器の製造方法 |
| CN112816616A (zh) * | 2019-11-18 | 2021-05-18 | 重庆邮电大学 | 一种基于盲领域自适应的电子鼻漂移补偿方法 |
| CN111626341A (zh) * | 2020-05-12 | 2020-09-04 | 哈尔滨工程大学 | 一种面向水下目标识别的特征级信息融合方法 |
| CN113313170A (zh) * | 2021-05-28 | 2021-08-27 | 中国人民解放军战略支援部队航天工程大学 | 基于人工智能的全时全域训练大数据平台 |
Non-Patent Citations (2)
| Title |
|---|
| 于业达;高鹏飞;赵一舟;潘国庆;陈通;: "基于深度卷积神经网络的蚕蛹雌雄自动识别", 蚕业科学, no. 02, 15 April 2020 (2020-04-15), pages 71 - 77 * |
| 杨真;邓芳明;郝勇;徐长英;王宏;吴翔;: "基于主元分析和集成神经网络的瓦斯传感器故障诊断", 传感器与微系统, vol. 35, no. 09, 31 December 2016 (2016-12-31), pages 33 - 35 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114925762A (zh) * | 2022-05-13 | 2022-08-19 | 哈尔滨工业大学 | 一种基于子空间学习和跨域自适应极限学习机的气体传感器漂移补偿方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111126386B (zh) | 场景文本识别中基于对抗学习的序列领域适应方法 | |
| CN111783782B (zh) | 融合改进UNet和SegNet的遥感图像语义分割方法 | |
| US20220318635A1 (en) | Energy identification method for micro-energy device based on bp neural network | |
| CN111310672A (zh) | 基于时序多模型融合建模的视频情感识别方法、装置及介质 | |
| CN111680702B (zh) | 一种使用检测框实现弱监督图像显著性检测的方法 | |
| CN111275175A (zh) | 神经网络训练方法、装置、图像分类方法、设备和介质 | |
| CN110490265B (zh) | 一种基于双路卷积和特征融合的图像隐写分析方法 | |
| CN111783841A (zh) | 基于迁移学习和模型融合的垃圾分类方法、系统及介质 | |
| CN112381763A (zh) | 一种表面缺陷检测方法 | |
| CN113807214B (zh) | 基于deit附属网络知识蒸馏的小目标人脸识别方法 | |
| CN112464816A (zh) | 基于二次迁移学习的地方手语识别方法、装置 | |
| CN113285924B (zh) | 一种基于灰度图像深度学习的车内网络报文异常检测方法 | |
| CN108985442B (zh) | 手写模型训练方法、手写字识别方法、装置、设备及介质 | |
| CN111768792B (zh) | 基于卷积神经网络和领域对抗学习的音频隐写分析方法 | |
| CN115797694A (zh) | 基于多尺度孪生神经网络的显示面板微缺陷分类方法 | |
| CN113837085A (zh) | 基于领域自适应卷积神经网络的电子鼻漂移补偿方法 | |
| CN117197559A (zh) | 基于深度学习的猪肉分类模型、构建方法、电子设备和计算机可读介质 | |
| Cai et al. | Cloud classification of satellite image based on convolutional neural networks | |
| CN117830616A (zh) | 基于渐进式伪标签的遥感图像无监督跨域目标检测方法 | |
| CN113610176A (zh) | 跨场景迁移分类模型形成方法、装置及可读存储介质 | |
| CN111582384B (zh) | 一种图像对抗样本生成方法 | |
| CN113205102A (zh) | 一种基于忆阻神经网络的车辆标志识别方法 | |
| CN115604025B (zh) | 一种基于pli4da的网络入侵检测方法 | |
| CN114581407B (zh) | 一种光伏模块的自适应缺陷检测方法 | |
| CN116309451A (zh) | 基于token融合的贴片电感表面缺陷检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |