CN113627084B - 基于极限学习机的电子鼻信号漂移补偿子空间对齐方法 - Google Patents
基于极限学习机的电子鼻信号漂移补偿子空间对齐方法 Download PDFInfo
- Publication number
- CN113627084B CN113627084B CN202110903094.3A CN202110903094A CN113627084B CN 113627084 B CN113627084 B CN 113627084B CN 202110903094 A CN202110903094 A CN 202110903094A CN 113627084 B CN113627084 B CN 113627084B
- Authority
- CN
- China
- Prior art keywords
- data
- domain data
- matrix
- subspace
- electronic nose
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000009826 distribution Methods 0.000 claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 10
- 238000013145 classification model Methods 0.000 claims abstract description 7
- 238000012360 testing method Methods 0.000 claims abstract description 3
- 239000011159 matrix material Substances 0.000 claims description 69
- 230000006870 function Effects 0.000 claims description 11
- 230000003044 adaptive effect Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000012706 support-vector machine Methods 0.000 claims description 5
- 230000006978 adaptation Effects 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 238000012512 characterization method Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 229910052757 nitrogen Inorganic materials 0.000 claims description 2
- 230000008569 process Effects 0.000 claims description 2
- 230000003247 decreasing effect Effects 0.000 claims 1
- 239000007850 fluorescent dye Substances 0.000 claims 1
- 238000005457 optimization Methods 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 210000001331 nose Anatomy 0.000 description 54
- 239000007789 gas Substances 0.000 description 17
- 230000004044 response Effects 0.000 description 7
- YXFVVABEGXRONW-UHFFFAOYSA-N Toluene Chemical compound CC1=CC=CC=C1 YXFVVABEGXRONW-UHFFFAOYSA-N 0.000 description 6
- QGZKDVFQNNGYKY-UHFFFAOYSA-N Ammonia Chemical compound N QGZKDVFQNNGYKY-UHFFFAOYSA-N 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- CSCPPACGZOOCGX-UHFFFAOYSA-N Acetone Chemical compound CC(C)=O CSCPPACGZOOCGX-UHFFFAOYSA-N 0.000 description 3
- UHOVQNZJYSORNB-UHFFFAOYSA-N Benzene Chemical compound C1=CC=CC=C1 UHOVQNZJYSORNB-UHFFFAOYSA-N 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 235000019645 odor Nutrition 0.000 description 3
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 2
- 230000032683 aging Effects 0.000 description 2
- 229910021529 ammonia Inorganic materials 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- MGWGWNFMUOTEHG-UHFFFAOYSA-N 4-(3,5-dimethylphenyl)-1,3-thiazol-2-amine Chemical compound CC1=CC(C)=CC(C=2N=C(N)SC=2)=C1 MGWGWNFMUOTEHG-UHFFFAOYSA-N 0.000 description 1
- UGFAIRIUMAVXCW-UHFFFAOYSA-N Carbon monoxide Chemical compound [O+]#[C-] UGFAIRIUMAVXCW-UHFFFAOYSA-N 0.000 description 1
- VGGSQFUCUMXWEO-UHFFFAOYSA-N Ethene Chemical compound C=C VGGSQFUCUMXWEO-UHFFFAOYSA-N 0.000 description 1
- 239000005977 Ethylene Substances 0.000 description 1
- IKHGUXGNUITLKF-XPULMUKRSA-N acetaldehyde Chemical compound [14CH]([14CH3])=O IKHGUXGNUITLKF-XPULMUKRSA-N 0.000 description 1
- 229910002091 carbon monoxide Inorganic materials 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- WSFSSNUMVMOOMR-NJFSPNSNSA-N methanone Chemical compound O=[14CH2] WSFSSNUMVMOOMR-NJFSPNSNSA-N 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- JCXJVPUVTGWSNB-UHFFFAOYSA-N nitrogen dioxide Inorganic materials O=[N]=O JCXJVPUVTGWSNB-UHFFFAOYSA-N 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2111/00—Details relating to CAD techniques
- G06F2111/04—Constraint-based CAD
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medical Informatics (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于极限学习机的电子鼻信号漂移补偿子空间对齐方法,包括:获取电子鼻数据;将未漂移的电子鼻数据作为源域数据,将漂移电子鼻数据作为目标域数据;将两域数据投影到基于极限学习机的特征空间中得到HS和HT;最小化两域数据之间的联合边缘和条件分布差异;向分类模型中引入目标域样本的流形空间信息;最大化HSIC最小二乘公式;使用l2,1范数对投影子空间施加约束;最小化源域数据的类内散射,最大化源域数据的类间散射;最大化投影后源域数据和目标域数据的方差;合并得到SAELM;得到校准过后的电子鼻基准数据和校准过后的数据使用进行训练,对进行测试;将得到标签作为电子鼻的预测输出。本发明有助于提高电子鼻对气体的识别率。
Description
技术领域
本发明涉及电子鼻技术领域,特别是涉及一种基于极限学习机的电子鼻信号漂移补偿子空间对齐方法。
背景技术
电子鼻是利用气体传感器阵列的响应图案来识别气味的电子系统,它可以在几小时、几天甚至数月的时间内连续地、实时地监测特定位置的气味状况。
电子鼻主要由气味取样操作器、气体传感器阵列和信号处理系统三种功能器件组成。电子鼻识别气味的主要机理是在阵列中的每个传感器对被测气体都有不同的灵敏度,例如,一号气体可在某个传感器上产生高响应,而对其他传感器则是低响应,同样,二号气体产生高响应的传感器对一号气体则不敏感,归根结底,整个传感器阵列对不同气体的响应图案是不同的,正是这种区别,才使系统能根据传感器的响应图案来识别气味。
电子鼻应用中出现的漂移问题一直是电子鼻发展的瓶颈。由于电子鼻的漂移现象受到传感器老化程度、传感器的早期使用状态和环境因素等多方面因素的决定,导致很难对漂移直接进行测量。有着高效率和低计算复杂性的跨域自适应学习技术已在许多解决电子鼻漂移问题中取得了不错的效果。
跨域自适应学习技术主要包括:特征自适应方法。诸如领域正则化主成分分析(domain regularized component analysis)、跨域极限学习机(cross-domain extremelearning machine)等方法,特征自适应方法旨在从数据分布的角度抑制漂移,使得源域和目标域的数据分布差异缩小。
不足之处:目前基于特征自适应的漂移补偿方法:
1.在对目标域样本进行校准时没有全面的考虑目标域样本的几何分布。
2.在自适应学习的过程中可能破坏目标域样本的几何分布从而降低分类精度。
3.缺乏对源域数据样本与其对应标签之间的依赖性进行考虑。
4.缺乏对子空间投影基的特征选择能力的考虑。
因此,现有技术的缺陷是,缺少一种基于极限学习机的电子鼻信号漂移补偿子空间对齐方法,从数据分布的角度抑制传感器的信号漂移。
发明内容
有鉴于现有技术的至少一个缺陷,本发明的目的是提供一种基于极限学习机的电子鼻信号漂移补偿子空间对齐方法,从数据分布的角度抑制传感器的信号漂移,有助于提高电子鼻对气体的识别率。
为了达到上述目的,本发明采用如下技术方案:一种基于极限学习机的电子鼻信号漂移补偿子空间对齐方法,其关键在于,包括如下步骤,
步骤A:获取电子鼻数据;该电子鼻数据包括未漂移的电子鼻数据和待校准的漂移电子鼻数据;
步骤B:将未漂移的电子鼻数据作为源域数据XS,将待校准的漂移电子鼻数据作为目标域数据XT;
步骤C:选择激活函数并随机生成权重W和偏置b,将源域数据XS和目标域数据XT投影到基于极限学习机的特征空间中得到HS和HT;HS代表源域数据XS在特征空间中的表示;HT代表目标域数据XT在特征空间中的表示;
步骤D:将基于极限学习机的特征空间中的源域数据HS和目标域数据HT投影到校准子空间中后,为了对齐HS和HT之间的数据分布,对校准子空间中投影源域数据集和目标域数据集的联合最大均值差异做最小化处理;
步骤E:在投影过程中引入目标域样本的流形空间信息,强制原始空间中的样本在学习子空间中保持彼此接近;
原始空间就是源域和目标域没有投影前的特征空间;
步骤F:为了防止投影后数据特征与其对应标签之间的依赖性降低从而影响识别率,根据HSIC准则来增强特征和标签之间的依赖性;
步骤G:为了提高分类模型的特征选择能力选择,使用l2,1范数来对投影子空间施加约束;分类模型指支持向量机分类模型SVM;
步骤H:为了使投影后的源域数据集更具有可分性,在学习子空间中增强源域数据集的类间离散性和类内收敛性,通过计算并最小化投影源域数据集的类内散射矩阵和类间散度矩阵;
步骤I:为了避免投影扭曲源域和目标域的样本数据,通过最大化投影后源域数据HS和目标域数据HT的方差,对投影后源域数据集和投影目标域数据集的判别信息做最大化处理,以便保留更多的可用信息;
步骤J:联合步骤D~步骤I的结果,得到子空间对齐极限学习机模型SAELM;并且通过一系列优化计算最后通过特征值分解方法得到校准子空间的投影基β*的快速求解公式;
步骤K:根据步骤J得到的源域数据与目标域数据,利用投影基β*从基于极限学习机的特征空间投影到校准子空间,得到校准子空间中源域电子鼻数据和目标域电子鼻数据校准后的特征表示,分别用和/>表示;
步骤L:建立支持向量机分类模型,使用进行训练,对/>进行测试;
步骤M:将得到标签作为电子鼻的预测输出。
所述的基于极限学习机的电子鼻信号漂移补偿子空间对齐方法,所述步骤B包括:
将未漂移电子鼻数据作为源域数据XS,其标签为YS,/> 代表第i个样本数据,i=1~NS;/>表示第i个样本数据/>对应的标签,m表示样本数据的类别总数,下标S代表源域数据集,将待校准的漂移电子鼻数据作为目标域数据XT;/>其中下标T代表目标域数据,D代表数据维数,/>表示实数集,源域数据XS和目标域数据XT的样本个数分别为NS和NT,上标T表示转置矩阵。
所述的基于极限学习机的电子鼻信号漂移补偿子空间对齐方法,所述步骤C包括:
选择激活函数并随机生成权重和偏置/>将原始空间中源域数据XS和目标域数据XT的样本投影到基于极限学习机的L维特征空间;得到HS和HT,HS代表源域数据XS在特征空间中的表示和HT代表目标域数据XT在特征空间中的表示,其中和/>分别表示源域数据XS和目标域数据XT的样本在基于极限学习机的特征空间中的表征;H代表基于极限学习机的特征空间,L代表基于极限学习机的特征空间的维度。
所述的基于极限学习机的电子鼻信号漂移补偿子空间对齐方法,所述步骤D包括:
联合分布自适应,通过最小化源域数据HS和目标域数据HT之间的联合边缘和条件分布差异,来对齐源域数据HS和目标域数据HT之间的数据分布:
边缘分布最大均值差异dmar:
公式(1)中,β为极限学习机输出层权重矩阵,F代表Frobenius范数,和/>分别代表源域数据XS第i个样本和目标域数据XT第j个样本,/>是极限学习机的隐层输出矩阵,M0为最大均值差异矩阵,tr表示求矩阵迹的运算;
M0由式子(1a)计算得到:
条件分布最大均值差异dcon:
其中,C表示总的类别数,和/>分别表示属于源域和目标域的第c类样本的ELM隐层输出矩阵;/>和/>分布表示源域和目标域中的第c类的样本数量;Mc表示最大均值差异矩阵。
Mc如下所示,其中hi代表源域数据XS第i样本,hj代表第j个样本-:
因此,最小化联合分布距离可以表示为
其中
所述的基于极限学习机的电子鼻信号漂移补偿子空间对齐方法,所述步骤E包括:
向模型中引入目标域样本的流形空间信息,保证投影前后目标域样本数据的流形结构一致;
根据流形假设,在原始空间中最接近的样本可能属于相同的标签;因此,强制原始空间中的样本在学习子空间中保持彼此接近;Mf代表流形正则化矩阵,最小化Mf,其计算如下:
其中ωij为目标域中样本xi和xj之间的权重;将公式(5)化简可以得到:
其中D是对角矩阵,D的对角线元素为Dii,L为拉普拉斯矩阵;W为权重矩阵,W的元素/>如下所示:
其中η为热核函数的参数,和/>代表目标域数据XT第i个样本和第j个样本。
所述的基于极限学习机的电子鼻信号漂移补偿子空间对齐方法,所述步骤F包括:
在特征投影后,根据HSIC准则,增强源域数据HS的特征及其对应标签之间的依赖性,避免投影后降低识别率;
其中,Z代表特征标签关系矩阵,U是中心矩阵,U的元素 是单位矩阵,/>1为元素全为1的向量。
所述的基于极限学习机的电子鼻信号漂移补偿子空间对齐方法,所述步骤G包括:
使用公式(9)来对投影子空间施加约束:
所述的基于极限学习机的电子鼻信号漂移补偿子空间对齐方法,所述步骤H包括:通过公式(10)计算并最小化投影源域数据集的类内散射矩阵和类间散度矩阵;公式(10)如下:
其中,和uS分别表示第c类源样本的均值和整个源样本集的中心,/>和/>分别代表在投影后子空间中数据的类内散射矩阵和类间散射矩阵,/>和/>分别代表在原始空间中的类内散射矩阵和类间散射矩阵,C表示类的总个数。
Class代表类别。
所述的基于极限学习机的电子鼻信号漂移补偿子空间对齐方法,所述步骤I包括:
采用公式(11)和公式(11a)避免投影β扭曲这两个数据集的情况,以便学习的自适应子空间可以保留更多可用的判断信息;
其中,US和UT分别为源域转换矩阵和目标域转换矩阵, 表示Ns行Ns列的单位矩阵,/>表示Nt行Nt列的单位矩阵;/>1是元素全为1的向量。
所述的基于极限学习机的电子鼻信号漂移补偿子空间对齐方法,所述步骤J包括:
联合步骤D~步骤I的结果,将联合分布自适应、流形结构约束、增强特征标签相关性结合起来得到子空间对齐极限学习机模型SAELM;通过特征值分解方法得到校准子空间的投影基β*;
其中,γp(p=1,2,3,4,5)为权衡参数;将式子(12)转化为约束问题式子(13),可得唯一解为:
其中,ε是一个大于0的常数;拉格朗日函数如下L(β,ε,α):
其中,α表示拉格朗日乘子;把L(β,ε,α)对β的偏导数置为0,可得到:
计算||β||2,1的次梯度,因为它在0处不可微;E是一个对角次梯度矩阵,第i行对角元素为:
其中βi表示投影β的第i行,θ是一个正的小常数,用来防止分母为零;简化式子(15),定义:
因此式子(15)改写为:
Vβ=αβ(18);
α为拉格拉格朗日乘子;
最优的子空间投影基即前d个最小特征值对应的特征向量
步骤K:使用学习到的子空间的投影基β*对HS和HT进行投影校准,校准后的源域数据集和目标域数据集分别用和/>表示:
步骤L和步骤M包括:建立支持向量机分类模型,使用得到的训练支持向量机分类模型来对/>进行分类,将得到/>标签作为电子鼻的预测输出。
显著效果:本发明提供了一种基于极限学习机的电子鼻信号漂移补偿子空间对齐方法,从数据分布的角度抑制传感器的信号漂移,有助于提高电子鼻对气体的识别率。
附图说明
图1为本发明的模型校准示意图;
图2为本发明的模型校准步骤流程图;
图3为子空间对齐极限学习机漂移校准原理图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细说明。
如图1-图3所示,一种基于极限学习机的电子鼻信号漂移补偿子空间对齐方法,将电子鼻数据中未漂移的数据作为源域数据,待校准的漂移电子鼻数据作为目标域,从自适应特征迁移方向出发,针对其对目标域样本几何分布考虑的不足,提出了一种有效的子空间对齐极限学习机模型(subspace alignment extreme learning machine,SAELM),该学习机考虑多种准则来构建统一的基于elm的特征表示空间,从而实现域对齐。
在特征层,将原始空间中源域和目标域数据通过转换基映射到公共子空间上。本发明考虑源域和目标域的边缘分布差异和条件分布差异,减小两域的分布差异。遵循线性识别分析的原则,增强投影后源域和目标域数据的类间可分离性和类内的紧密性,提高源域数据可分性。为了使源域和目标域数据的判别信息在投影后保留,同时最大化两域的方差。
首先,它最小化了不同领域之间的几何和统计分布,并最大化了特征标签的依赖性。其次,利用Hilbert-Schmidt独立性准则增强特征与标签之间的相关性,以缓解漂移导致的特征与标签之间对应关系的模糊。第三,为了提高子空间学习方法的特征选择能力,利用l2,1范数约束SAELM的投影矩阵。
一、数据样本及符号说明
将未漂移电子鼻数据作为源域数据集表示为及其标签为/> 代表第i个样本数据,/>代表第i个样本数据对应标签,m表示数据的类别总数,S代表源域数据集,将待校准的漂移电子鼻数据作为目标域数据集表示为/>其中T代表目标域数据,D代表数据维数,R为实数集,源域和目标域样本个数分别为NS,NT,符号||·||2,1表示l2,1范数,tr(·)表示求矩阵迹的运算,[·]T表示转置矩阵。
二、子空间学习(投影)
首先,选择激活函数g(·)并随机生成权重和偏置/>将原始空间中源域和目标域样本投影到基于极限学习机的L维特征空间。我们可以得到/>代表源域数据在特征空间中的表示和/>代表目标域数据在特征空间中的表示,其中/>和/>分别表示源域和目标域数据样本在基于极限学习机的特征空间中的表征。H代表基于极限学习机的特征空间,L代表基于极限学习机的特征空间的维度。
(1)联合分布自适应:通过最小化源域和目标域之间的联合边缘和条件分布差异,来纠正两个域之间的数据分布:
①边缘分布最大均值差异:
其中,β为极限学习机输出层权重矩阵,F代表Frobenius范数,和/>分别代表源域数据集第i个样本和目标域数据集第j个样本,/>是极限学习机的隐层输出矩阵,M0为最大均值差异矩阵,由式子(1a)计算得到:
②条件分布最大均值差异:
其中,C表示总的类别数,和/>分别表示属于源域和目标域的第c类样本的ELM隐层输出矩阵。/>和/>分布表示两个域中的第c类的样本数量。最大均值差异矩阵Mc如下所示,其中hi代表第i样本,hj代表第j个样本:
因此,最小化联合分布距离可以表示为:
(2)为了更好的提高模型的漂移补偿能力,我们向模型中引入目标域样本的流形空间信息:
根据流形假设,在原始空间中最接近的样本可能属于相同的标签。因此,我们强制原始空间中的样本在学习子空间中保持彼此接近。Mf代表流形正则化矩阵,其计算如下:
其中ωij在目标域中样本xi和xj之间的权重。将上诉式子化简我们可以得到:
其中D是对角矩阵,对角线元素为L为拉普拉斯矩阵。W为权重矩阵,其中元素如下所示:
其中η为热核函数的参数,和/>代表目标域数据第i个样本和第j个样本。
(3)我们也希望在新的子空间中样本与其对应的标签之间的相关性能够得到改善。因此,在特征投影后,源样本可以通过最大化HSIC最小二乘公式来增强特征和标签之间的依赖性:
其中,Z代表特征标签关系矩阵,是中心矩阵,其中元素是单位矩阵。
(4)为了提高模型的特征选择能力我们选择使用l2,1范数来对投影子空间施加约束:
(5)最小化源域数据的类内散射,最大化源域数据的类间散射以便在学习子空间中增强类间离散性和类内收敛性:
其中,和uS分别表示第c类源样本的均值和整个源样本集的中心,/>代表类内散射矩阵,/>代表类间散射矩阵,C表示类的总个数。
(6)此外,我们应该避免投影β扭曲这两个数据集的情况,以便学习的自适应子空间可以保留更多可用的判断信息:
/>
其中,US和UT分别为源域和目标域转换矩阵,和和/>为单位矩阵,1为元素全为1的向量。
(7)合并:
将上诉关键部分:联合分布自适应,流形结构约束,增强特征标签相关性结合起来可以得到子空间对齐极限学习机模型:
其中,γp(p=1,2,3,4,5)为权衡参数。在式子(12)中,没有唯一解。将式子(12)转化为约束问题式子(13),可得唯一解为:
其中,ε是一个大于0的常数。拉格朗日函数如下L(β,ε,α):
其中,α表示拉格朗日乘子。把L(β,ε,α)对β的偏导数置为0,可得到:
这里,我们计算||β||2,1的次梯度,因为它在0处不可微。E是一个对角次梯度矩阵,第i行对角元素为:
其中βi表示投影β的第i行,θ是一个正的小常数,用来防止分母为零。为了简化式子(15),我们定义:
因此式子(15)可以改写为:
Vβ=αβ(18);
最优的子空间投影基即前d个最小特征值对应的特征向量
(8)使用学习到的投影子空间β*投影后的源域和目标域数据集分别为:
(9)训练支持向量机分类模型:
使用得到的子空间中基准电子鼻数据样本训练支持向量机分类模型来对子空间自适应校准后的电子鼻数据/>进行分类,并将得到/>标签作为电子鼻的预测输出。
三、数据验证
为了验证本专利方法在处理不同的电子鼻任务方面的有效性,我们分别在具有时间漂移或/和板间漂移的个数据集上验证了所提出的方法。
1、UCSD基准传感器漂移数据集
在我们的实验中研究了Vergara历时三年收集的传感器漂移数据集,这个巨大的传感器漂移数据集是在2008年1月至2011年2月的36个月内通过气体平台收的。这些记录是通过电子鼻系统采样的,该系统具有一个16MOS气体传感器阵列,暴露于六种气体,包括不同浓度水平的氨,乙醛,丙酮,乙烯,乙醇和甲苯。对于每个传感器,提取了八个特征,故每个样本都是一个128维特征向量。根据时间分为10个批次,详细如下表所示:
表1
2、UCSD基准传感器漂移数据集的结果
共有如下两种设置:1)固定批次1为源域,K为目标域(K=2,3,…,10);
2)依次在批次K-1上训练,批次K上测试(K=2,3,…,10)。
设置1训练结果识别率(%)如下:表2
设置2训练结果识别率(%)如下:表3
/>
3、时间和板间漂移数据集;
共有3个数据集:源域、目标域1、目标域2。源域数据的收集时间比目标域早5年,由传感器的老化和重现引起的时间、板间漂移均存在于该数据集中。在这些数据集中,包括六种气体,例如甲醛,苯,甲苯,一氧化碳,二氧化氮和氨。
具体如下:表4
4、时间和板间漂移数据集的结果;
分别将目标域1和目标域2同源域进行实验。迁移样本每类的述目设置。分类结果如下:表5
如图1所示,首先检测气体输入到电子鼻系统中,然后对电子鼻系统得到的响应曲线进行特征提取,得到气体的特征表示,将得到的特征表示与之前的基准数据特征一起输入到子空间对齐极限学习机模型,对待校准数据进行校准,得到校准后的电子鼻数据特征,最后用得到的数据特征输入进入支持向量机模型,将基准数据作为训练集,对校准后的数据进行测试。
如图3所示,将基准电子鼻数据和待校准漂移电子鼻数据投影到基于elm的特征空间中,获得电子鼻数据的迁移特征;然后,利用SAELM模型重建传递电子鼻数据特征。得到校准电子鼻特征后,建立SVM分类模型对校准后电子鼻数据进行分类训练,得到校准后的分类识别率。
在电子鼻漂移补偿领域,跨域自适应学习是一种有效的技术,已在许多实验中得到应用。本发明提出了一种新的子空间对齐极限学习机(SAELM),该学习机考虑多种标准来构建统一的基于elm的特征表示空间,从而实现域对齐,并且通过了大量实验证明所提出的SAELM方法对电子鼻漂移数据集的改进最大,具体优点如下:
1)从统计分布一致性的角度来看,SAELM通过对齐边际最大均值差异和条件最大均值差异来最小化不同领域之间的统计分布差异,从而实现跨领域知识转移。
2)从几何分布一致性的角度来看,SAELM基于拉普拉斯特征映射算法的思想,最大限度地减小了不同域之间的几何分布差异,进一步提高了域自适应算法的鲁棒性和性能。
3)从特征-标签一致性的角度来看,SAELM在HSIC的基础上增强了标签-特征的依赖性,缓解了漂移造成的特征与标签对应关系的破坏。
4)从模型正规化的角度来看,SAELM采用l2,1范数约束其投影矩阵,实现行稀疏投影矩阵的自动学习。因此,可以同时进行特征选择和子空间学习,有效提高模型性能。
5)利用广义特征值分解方法获得全局最优解,提高了算法的计算效率和速度。
6)使用了该算法的电子鼻模型对气体的识别率得到了明显的提高并且模型的鲁棒性也得到了加强。
最后,需要注意的是:以上列举的仅是本发明的具体实施例子,当然本领域的技术人员可以对本发明进行改动和变型,倘若这些修改和变型属于本发明权利要求及其等同技术的范围之内,均应认为是本发明的保护范围。
Claims (2)
1.一种基于极限学习机的电子鼻信号漂移补偿子空间对齐方法,其特征在于,包括如下步骤,步骤A:获取电子鼻数据;该电子鼻数据包括未漂移的电子鼻数据和待校准的漂移电子鼻数据;
步骤B:将未漂移的电子鼻数据作为源域数据XS,将待校准的漂移电子鼻数据作为目标域数据XT;
步骤C:选择激活函数并随机生成权重W和偏置b,将源域数据XS和目标域数据XT投影到基于极限学习机的特征空间中得到HS和HT;HS代表源域数据XS在特征空间中的表示;HT代表目标域数据XT在特征空间中的表示;
步骤D:将基于极限学习机的特征空间中的源域数据HS和目标域数据HT投影到校准子空间中后,为了对齐HS和HT之间的数据分布,对校准子空间中投影源域数据集和目标域数据集的联合最大均值差异做最小化处理;
步骤E:在投影过程中引入目标域样本的流形空间信息,强制原始空间中的样本在学习子空间中保持彼此接近;
步骤F:为了防止投影后数据特征与其对应标签之间的依赖性降低从而影响识别率,根据HSIC准则来增强特征和标签之间的依赖性;
步骤G:为了提高分类模型的特征选择能力选择使用l2,1范数来对投影子空间施加约束;
步骤H:为了使投影后的源域数据集更具有可分性,在学习子空间中增强源域数据集的类间离散性和类内收敛性,通过计算并最小化投影源域数据集的类内散射矩阵和类间散度矩阵;
步骤I:为了避免投影扭曲源域和目标域的样本数据,通过最大化投影后源域数据HS和目标域数据HT的方差,对投影后源域数据集和投影目标域数据集的判别信息做最大化处理,以便保留更多的可用信息;
步骤J:联合步骤D~步骤I的结果,得到子空间对齐极限学习机模型SAELM;并且通过优化计算和特征值分解方法得到校准子空间的投影基β*的快速求解公式;
步骤K:根据步骤J得到的源域数据与目标域数据,利用投影基β*从基于极限学习机的特征空间投影到校准子空间,得到校准子空间中源域电子鼻数据和目标域电子鼻数据校准后的特征表示,分别用XS*和XT*表示;
步骤L:建立支持向量机分类模型,使用进行训练,对/>进行测试;
步骤M:将得到标签作为电子鼻的预测输出,
所述步骤B包括:
将未漂移电子鼻数据作为源域数据XS,其标签为YS, 代表第i个样本数据,i=1~NS;/>表示第i个样本数据/>对应的标签,m表示样本数据的类别总数,将待校准的漂移电子鼻数据作为目标域数据XT;/>j=1~NT;D代表数据维数,/>表示实数集,源域数据XS和目标域数据XT的样本个数分别为NS和NT,上标T表示转置矩阵;
所述步骤C包括:
选择激活函数并随机生成权重和偏置/>将原始空间中源域数据XS和目标域数据XT的样本投影到基于极限学习机的L维特征空间;得到HS和HT,HS代表源域数据XS在特征空间中的表示和HT代表目标域数据XT在特征空间中的表示,其中 和/>分别表示源域数据XS和目标域数据XT的样本在基于极限学习机的特征空间中的表征;L代表基于极限学习机的特征空间的维度;
所述步骤D包括:
联合分布自适应,通过最小化源域数据HS和目标域数据HT之间的联合边缘和条件分布差异,来对齐源域数据HS和目标域数据HT之间的数据分布:
边缘分布最大均值差异dmar:
公式(1)中,β为极限学习机输出层权重矩阵,F代表Frobenius范数,和/>分别代表源域数据XS第i个样本和目标域数据XT第j个样本,/>是极限学习机的隐层输出矩阵,M0为最大均值差异矩阵,tr表示求矩阵迹的运算;
条件分布最大均值差异dcon:
其中,C表示总的类别数,和/>分别表示属于源域和目标域的第c类样本的ELM隐层输出矩阵;/>和/>分布表示源域和目标域中的第c类的样本数量;Mc表示最大均值差异矩阵;
因此,最小化联合分布距离可以表示为
其中
所述步骤E包括:
向模型中引入目标域样本的流形空间信息,保证投影前后目标域样本数据的流形结构一致;
强制原始空间中的样本在学习子空间中保持彼此接近;Mf代表流形正则化矩阵,最小化Mf,其计算如下:
其中ωij为目标域中样本xi和xj之间的权重;将公式(5)化简可以得到:
其中D是对角矩阵,D的对角线元素为Dii,L为拉普拉斯矩阵;W为权重矩阵,W的元素/>如下所示:
其中η为热核函数的参数,和/>代表目标域数据XT第i个样本和第j个样本;
所述步骤F包括:
在特征投影后,根据HSIC准则,增强源域数据HS的特征及其对应标签之间的依赖性,避免投影后降低识别率;
其中,Z代表特征标签关系矩阵,U是中心矩阵,U的元素 是单位矩阵,/>1为元素全为1的向量;
所述步骤G使用公式(9)来对投影子空间施加约束:
所述步骤H包括:通过公式(10)计算并最小化投影源域数据集的类内散射矩阵和类间散度矩阵;
其中,和uS分别表示第c类源样本的均值和整个源样本集的中心,/>和/>分别代表在投影后子空间中数据的类内散射矩阵和类间散射矩阵,/>和/>分别代表在原始空间中的类内散射矩阵和类间散射矩阵,C表示类的总个数;
所述步骤I包括:
采用公式(11)和公式(11a)避免投影β扭曲这两个数据集的情况,以便学习的自适应子空间可以保留更多可用的判断信息:
其中,US和UT分别为源域转换矩阵和目标域转换矩阵, 表示Ns行Ns列的单位矩阵,/>表示Nt行Nt列的单位矩阵;1是元素全为1的向量。
2.根据权利要求1所述的基于极限学习机的电子鼻信号漂移补偿子空间对齐方法,其特征在于,所述步骤J包括:
联合步骤D~步骤I的结果,将联合分布自适应、流形结构约束、增强特征标签相关性结合起来得到子空间对齐极限学习机模型SAELM;通过特征值分解方法得到校准子空间投影基β*;
其中,γp(p=1,2,3,4,5)为权衡参数;将式子(12)转化为约束问题式子(13),可得唯一解为:
其中,ε是一个大于0的常数;拉格朗日函数如下L(β,ε,α):
其中,α表示拉格朗日乘子;把L(β,ε,α)对β的偏导数置为0,可得到:
计算||β||2,1的次梯度,因为它在0处不可微;E是一个对角次梯度矩阵,第i行对角元素为Eii:
其中βi表示投影β的第i行,θ是一个正的小常数,用来防止分母为零;简化式子(15),定义:
因此式子(15)改写为:
Vβ=αβ (18);
最优的子空间投影基即前d个最小特征值对应的特征向量
步骤K:使用学习到的子空间投影基β*对HS和HT进行投影校准,校准后的源域数据集和目标域数据集分别为和/>
步骤L和步骤M包括:使用得到的训练支持向量机分类模型来对XT*进行分类,将得到XT*标签作为电子鼻的预测输出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110903094.3A CN113627084B (zh) | 2021-08-06 | 2021-08-06 | 基于极限学习机的电子鼻信号漂移补偿子空间对齐方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110903094.3A CN113627084B (zh) | 2021-08-06 | 2021-08-06 | 基于极限学习机的电子鼻信号漂移补偿子空间对齐方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113627084A CN113627084A (zh) | 2021-11-09 |
CN113627084B true CN113627084B (zh) | 2024-05-10 |
Family
ID=78383347
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110903094.3A Active CN113627084B (zh) | 2021-08-06 | 2021-08-06 | 基于极限学习机的电子鼻信号漂移补偿子空间对齐方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113627084B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113920382B (zh) * | 2021-12-15 | 2022-03-15 | 深圳大学 | 基于类一致性结构化学习的跨域图像分类方法和相关装置 |
CN115015472A (zh) * | 2022-02-25 | 2022-09-06 | 重庆邮电大学 | 一种基于域自适应的极限学习机传感器漂移数据重构方法 |
CN114925762A (zh) * | 2022-05-13 | 2022-08-19 | 哈尔滨工业大学 | 一种基于子空间学习和跨域自适应极限学习机的气体传感器漂移补偿方法 |
CN114936597B (zh) * | 2022-05-20 | 2023-04-07 | 电子科技大学 | 一种局部信息增强子空间真假目标特征提取方法 |
CN116935121B (zh) * | 2023-07-20 | 2024-04-19 | 哈尔滨理工大学 | 面向跨地域光谱图像地物分类的双驱动特征学习方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2996475A1 (en) * | 2014-09-12 | 2016-03-17 | Blacktree Fitness Technologies Inc. | Portable devices and methods for measuring nutritional intake |
CN105929113A (zh) * | 2016-04-20 | 2016-09-07 | 重庆大学 | 一种带子空间投影的电子鼻信号误差自适应学习方法 |
CN109669009A (zh) * | 2019-01-10 | 2019-04-23 | 重庆邮电大学 | 基于域校正的域自适应极限学习机电子鼻漂移抑制方法 |
CN110146655A (zh) * | 2019-05-31 | 2019-08-20 | 重庆大学 | 一种基于自适应子空间学习范式的抗电子鼻漂移方法 |
CN111931815A (zh) * | 2020-07-08 | 2020-11-13 | 西南大学 | 基于迁移样本的跨域迁移电子鼻漂移抑制方法 |
-
2021
- 2021-08-06 CN CN202110903094.3A patent/CN113627084B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2996475A1 (en) * | 2014-09-12 | 2016-03-17 | Blacktree Fitness Technologies Inc. | Portable devices and methods for measuring nutritional intake |
CN105929113A (zh) * | 2016-04-20 | 2016-09-07 | 重庆大学 | 一种带子空间投影的电子鼻信号误差自适应学习方法 |
CN109669009A (zh) * | 2019-01-10 | 2019-04-23 | 重庆邮电大学 | 基于域校正的域自适应极限学习机电子鼻漂移抑制方法 |
CN110146655A (zh) * | 2019-05-31 | 2019-08-20 | 重庆大学 | 一种基于自适应子空间学习范式的抗电子鼻漂移方法 |
CN111931815A (zh) * | 2020-07-08 | 2020-11-13 | 西南大学 | 基于迁移样本的跨域迁移电子鼻漂移抑制方法 |
Non-Patent Citations (3)
Title |
---|
Common Subspace Learning via Cross-Domain Extreme Learning Machine;Yan Liu等;《Cogn Comput》;20171231;第9卷;555-563 * |
基于PCA和BP混合神经网络的无损电子鼻设计;明勇;王华军;;激光杂志;20141225(12);90-92 * |
电子鼻鉴别白酒信号小波去漂移方法;殷勇;白玉;于慧春;郝银凤;王润博;;农业机械学报;20161125(11);219-223, 375 * |
Also Published As
Publication number | Publication date |
---|---|
CN113627084A (zh) | 2021-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113627084B (zh) | 基于极限学习机的电子鼻信号漂移补偿子空间对齐方法 | |
CN111931815B (zh) | 基于迁移样本的跨域迁移电子鼻漂移抑制方法 | |
Landgrebe et al. | Efficient multiclass ROC approximation by decomposition via confusion matrix perturbation analysis | |
CN101482920B (zh) | 一种手写字符识别方法及系统 | |
CN103942749B (zh) | 一种基于修正聚类假设和半监督极速学习机的高光谱地物分类方法 | |
CN109672406B (zh) | 一种基于稀疏表示和svm的光伏发电阵列故障诊断与分类的方法 | |
CN106557782B (zh) | 基于类字典的高光谱图像分类方法及装置 | |
CN109993236A (zh) | 基于one-shot Siamese卷积神经网络的少样本满文匹配方法 | |
CN105929113B (zh) | 一种带子空间投影的电子鼻信号误差自适应学习方法 | |
CN111340132B (zh) | 一种基于da-svm的机器嗅觉模式识别方法 | |
CN110210625A (zh) | 基于迁移学习的建模方法、装置、计算机设备和存储介质 | |
CN112488081A (zh) | 基于ddadsm跨被试迁移学习脑电精神状态检测方法 | |
CN110598636B (zh) | 一种基于特征迁移的舰船目标识别方法 | |
CN112200211A (zh) | 一种基于残差网络和迁移学习的小样本鱼识别方法及系统 | |
CN106156805A (zh) | 一种样本标签缺失数据的分类器训练方法 | |
CN113740381B (zh) | 一种基于流形学习的跨域子空间学习电子鼻漂移补偿方法 | |
CN109617526A (zh) | 一种基于小波多分辨分析和svm的光伏发电阵列故障诊断和分类的方法 | |
CN113030197A (zh) | 一种气体传感器漂移补偿方法 | |
CN110443169B (zh) | 一种边缘保留判别分析的人脸识别方法 | |
CN113780346B (zh) | 一种先验约束分类器调整方法、系统及可读存储介质 | |
CN101477425A (zh) | 一种识别手写字符输入的方法及系统 | |
CN110490329A (zh) | 一种基于机器学习的大规模电力异常数据检测方法及系统 | |
CN111863135B (zh) | 一种假阳性结构变异过滤方法、存储介质及计算设备 | |
CN108108758A (zh) | 面向工业大数据的多层增量特征提取方法 | |
CN116468948A (zh) | 支持检测未知类的城市垃圾增量学习检测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |