CN102608061A - 一种改进的tr多组分气体傅里叶变换红外光谱特征变量提取方法 - Google Patents
一种改进的tr多组分气体傅里叶变换红外光谱特征变量提取方法 Download PDFInfo
- Publication number
- CN102608061A CN102608061A CN2012100765019A CN201210076501A CN102608061A CN 102608061 A CN102608061 A CN 102608061A CN 2012100765019 A CN2012100765019 A CN 2012100765019A CN 201210076501 A CN201210076501 A CN 201210076501A CN 102608061 A CN102608061 A CN 102608061A
- Authority
- CN
- China
- Prior art keywords
- value
- regularization
- spectral line
- formula
- error
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000002329 infrared spectrum Methods 0.000 title abstract 3
- 230000009466 transformation Effects 0.000 title abstract 3
- 230000003595 spectral effect Effects 0.000 claims abstract description 54
- 238000001228 spectrum Methods 0.000 claims abstract description 52
- 238000004458 analytical method Methods 0.000 claims abstract description 16
- 239000011159 matrix material Substances 0.000 claims description 14
- 239000000047 product Substances 0.000 claims description 11
- 238000005033 Fourier transform infrared spectroscopy Methods 0.000 claims description 5
- 238000011478 gradient descent method Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000002474 experimental method Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000000926 separation method Methods 0.000 claims description 4
- 238000006467 substitution reaction Methods 0.000 claims description 4
- 238000013459 approach Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 239000012467 final product Substances 0.000 claims description 2
- 230000009467 reduction Effects 0.000 claims description 2
- 238000012360 testing method Methods 0.000 claims description 2
- 239000007789 gas Substances 0.000 abstract description 45
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 abstract description 34
- 230000007613 environmental effect Effects 0.000 abstract description 3
- 238000003745 diagnosis Methods 0.000 abstract description 2
- 238000003889 chemical engineering Methods 0.000 abstract 1
- 238000004868 gas analysis Methods 0.000 abstract 1
- 239000003345 natural gas Substances 0.000 abstract 1
- 239000003209 petroleum derivative Substances 0.000 abstract 1
- 238000003908 quality control method Methods 0.000 abstract 1
- 230000001373 regressive effect Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 10
- OFBQJSOFQDEBGM-UHFFFAOYSA-N Pentane Chemical compound CCCCC OFBQJSOFQDEBGM-UHFFFAOYSA-N 0.000 description 8
- ATUOYWHBWRKTHZ-UHFFFAOYSA-N Propane Chemical compound CCC ATUOYWHBWRKTHZ-UHFFFAOYSA-N 0.000 description 8
- NNPPMTNAJDCUHE-UHFFFAOYSA-N isobutane Chemical compound CC(C)C NNPPMTNAJDCUHE-UHFFFAOYSA-N 0.000 description 8
- QWTDNUCVQCZILF-UHFFFAOYSA-N isopentane Chemical compound CCC(C)C QWTDNUCVQCZILF-UHFFFAOYSA-N 0.000 description 8
- 238000002835 absorbance Methods 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 5
- OTMSDBZUPAUEDD-UHFFFAOYSA-N Ethane Chemical compound CC OTMSDBZUPAUEDD-UHFFFAOYSA-N 0.000 description 4
- AFABGHUZZDYHJO-UHFFFAOYSA-N dimethyl butane Natural products CCCC(C)C AFABGHUZZDYHJO-UHFFFAOYSA-N 0.000 description 4
- 239000001282 iso-butane Substances 0.000 description 4
- 239000001294 propane Substances 0.000 description 4
- IJDNQMDRQITEOD-UHFFFAOYSA-N sec-butylidene Natural products CCCC IJDNQMDRQITEOD-UHFFFAOYSA-N 0.000 description 4
- 238000010521 absorption reaction Methods 0.000 description 3
- 238000000862 absorption spectrum Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 239000012188 paraffin wax Substances 0.000 description 3
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010183 spectrum analysis Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 229910002092 carbon dioxide Inorganic materials 0.000 description 1
- 239000001569 carbon dioxide Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000002922 simulated annealing Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明公开了一种改进的TR多组分气体傅里叶变换红外光谱特征变量提取方法。该方法首先将特征变量提取模型分解成多项谱线值之差的加权和,并将原TR正则化目标泛函转换成基于该模型的目标泛函,然后在该目标泛函中增加一项谱线位置差的约束项,并采用基于Engl误差极小化准则(Engl’s criterion)的LASSO(Least Absolute Shrinkage and Selection Operator)算法实现最优泛函求解,以获得回归向量的最优值,得到可以克服光谱基线偏移带来的影响的特征变量,提高多组分气体在线分析结果的准确性。本发明实现的多组分气体特征量提取方法可用于石油、天然气勘探的气录井,产品质量检查与故障诊断、五金、化工、环境保护领域的多组分气体光谱定量分析应用中。
Description
技术领域
本发明涉及光谱定量分析领域,特别涉及一种多组分气体傅里叶变换红外光谱分析中的特征变量提取方法。
背景技术
特征变量提取有时又叫特征光谱选择,是光谱分析的重要内容之一,选取了合适的特征变量有助于提高气体光谱分析的信噪比,减小分析误差。常用的特征变量提取方法包括前向选择、分段回归(SWR)、遗传算法、模拟退火等。这些方法大多是基于标定数据偏差或者验证数据偏差进行优化的。只基于标定数据偏差标准进行优化,会导致过拟合,而只基于验证数据的偏差标准进行优化,则对新获得的X集合会得到差的预测。Tikhonov正则化(TR)法是基于同时最优化预测偏差和方差测度的。因此大大减小了出现过拟合和欠拟合的概率。Tikhonov正则化是基于式(1)的线性模型的:
y=Xb+e (1)
式中X是一个m×w的矩阵,包含m个标定样本在w条谱线上的光谱;b=[b1,b2,…,bw]T是w×1的回归向量,其中上标T表示向量或矩阵的转置算子;y是m×1的向量,它包含了某种被分析气体的浓度信息;e也是m×1的向量,表示随机误差。由于谱线值不论是透射率还是吸光度,它总是与被分析气体的浓度单调递增,或者单调递减。因此,尽管光谱分辨率较低,被分析气体吸收光谱交叠严重时,光谱值与气体浓度之间的关系是非线性的,也依然可以从线性方法入手来选择合适的谱线作为分析模型的输入。
Tikhonov正则化的思想可以用式(2)来表示:
该式也称为Tikhonov正则化的目标泛函。式中‖·‖p表示p-模,p=2时就是欧几里模;a和b分别表示回归偏差和回归向量的模,1≤a,b<∞;L表示一个正则化算子,它迫使b的估计值属于相应的特性良好的函数的子空间;λ表示控制第2项相对于第1项的权值。明显地,式(2)中的第一项是最小化式(1)中的随机误差e,而第二项则是为了最小化回归向量b,以获得灵敏度高、信噪比高的特征谱线,以提高标定模型分析结果的准确性。
光谱信号往往是以透射率或者吸光度作为输出的。由于长时间工作后,环境参数的变化,光源光谱强度分布的变化,探测器对不同波长光信号灵敏度的变化等,致使光谱的基线发生漂移。这种漂移可能是基线的平移,也可能是基线的倾斜,还可能是两者的组合,甚至是非线性的。在这种情况下,TR特征变量提取算法所提取的特征变量将存在很大的噪声分量。虽然目前已有相关基线校正方法,但由于基线漂移的非线性关系,这些方法往往只能进行基线的整体校正,在局部范围内,依然存在一定的漂移,这将给分析结果带来较大的误差。
发明内容
本发明的目的在于,提供一种改进的TR特征变量提取方法,该方法在(1)式所示的Tikhonov正则化光谱选择基础上,将Tikhonov正则化模型中的内积进行因式分解,并在正则化目标泛函中增加一项因式中谱线位置距离损失函数约束项,并采用基于Engl误差极小化准则(Engl’s criterion)的LASSO(Least Absolute Shrinkage and Selection Operator)算法对目标泛函进行损失函数最小化进化计算,以获得该TR正则化模型的回归向量,最终得到可以降低甚至消除光谱基线规则畸变所带来的偏差的特征变量。
为了实现上述任务,本发明采用如下技术解决方案:
一种改进的TR特征变量提取方法,其特征在于首先将Tikhonov正则化模型的谱线内积Xb进行因式分解,修改成
式中xij表示第i个分量第j条谱线的值,n表示一共有n个因式。该式以被分析气体在同一分量点(波数或波长)处谱线斜率作为目标分析光谱,可明确反映谱线变化趋势,确定谱线特征量区间,并进一步消除因基线波动或漂移产生的误差。于是常规的Tikhonov正则化目标泛函可修正为:
式中C=[c1,c2,…,cn]T,k>j。然后针对谱线内积因式分解项中斜率的变化范围及趋势,在式(4)中增加一项因式中谱线位置距离损失函数约束项:
|νi·Δli|-|νj·Δlj|→0 (5)
式中ν为所提取的特征谱线向量,Δl为特征谱线间距。该式表示以谱线斜率变化量为基准,在相等谱线间距内,所选取的特征光谱与其之间谱线间距的乘积的绝对值尽可等相同或相近,以补偿因受外界环境或条件干扰产生的基线波动或漂移所引入的误差,从而降低TR特征变量提取算法所提取的特征变量中的噪声分量。将该谱线位置距离损失函数约束项引入到Tikhonov正则化目标泛函中,则其可进一步修正为:
式(6)中lij表示第i个因式中第j条谱线的波数序号,γ表示控制第3项相对于第1项权重的系数,三个分项的上下标a、b和d分别表示回归偏差、回归向量和因式谱线位置距离的范数。
最后,采用LASSO(Least Absolute Shrinkage and Selection Operator)算法对目标泛函进行损失函数最小化进化计算,选择出分析气体各自特征光谱值及其回归向量的系数值。该过程具体实现步骤如下:
首先,回归向量的初值C0影响着后续计算的准确度,因此本发明先采用最小二乘算法对光谱矩阵做初始拟合,即采用最小二乘法使得光谱浓度矩阵偏差的加权平方和为最小:
其次,λ值直接影响着目标泛函解的逼近程度和稳定性。从逼近的角度来看,应使λ越小越好;而从数值稳定的角度考虑,λ值越大越好。因此,如何选择最优的正则参数λ成为问题求解的关键。
在误差水平未知的情况下,本发明采用后验法的Engl误差极小化准则确定正则参数λ值的大小。Engl误差极小化准则取实验要求误差极限的上界作为极小正则参数,即要求
中进行迭代运算,直到前后两次结果的偏差小于设定值即可,λ值的取值范围为(0,1)。
在误差水平已知的情况下,采用Morozov偏差方程进行求解,即采用Newton迭代法对确定的偏差方程
最后,由于改进的TR正则化目标泛函受约束项的限制,不能直接求得最优求解通式,因此本文采用基于LASSO算法思想针对该问题进行计算。该算法主要实现特征光谱选取以及确定回归向量系数两部分内容。通过傅里叶变换红外光谱仪采集得到的光谱图中,某谱线的值(吸光度或透射率)对某气体浓度值影响越小,迭代得到的回归系数值越接近于0,反之,其绝对值越大。根据该原理,LASSO算法中的正则化部分采用快速梯度下降法结合线性搜索法进行逐步搜索计算,可最终确定出在误差允许范围内对分析气体浓度值影响较大的特征光谱值及其对应的准确回归系数。
采用LASSO算法计算改进的TR正则化法的目标泛函主要包括如下步骤:
1)确定λ值的变化大小。将Engl误差极小化准则法初步确定的λ值作为LASSO算法中λ的迭代初始值,以其为标准结合光谱矩阵A确定λ变化的最大值λmax。其中
2)确定随着λ值的变化,γ的近似线性变化值。其中γ0=0,γi+1=γi×λmax;
3)设置快速梯度下降算法的迭代终止条件及容许误差极限值;
4)将得到的λ值、γ值以及回归向量C0代入快速梯度下降算法中,计算改进的TR正则化目标泛函迭代点的梯度以及其搜索方向;
5)逐步迭代计算并输出结果,即改进的TR正则化目标泛函的LASSO估计值,该值包含所提取改进的TR目标泛函的特征光谱值、目标泛函中的各参数值λ、γ及其回归向量C;
6)检验LASSO估计值是否满足迭代终止条件及是否在容许误差极限范围内。如果回归向量的误差超过实验要求范围,或者正则参数不满足实验要求,致使预估结果存在偏差,则取下一个迭代点,使其沿改进的TR正则化目标泛函的负梯度方向继续搜索计算,求得最优步长后重复4)、5)、6)步骤,直至结果满足要求为止。
该方法首先针对具有相同基团的多组分气体,其交叉灵敏度过高,主吸收峰区域非线性严重等问题对TR正则化法添加约束条件,并改进其目标泛函,使其可进一步克服外在条件变化或光谱本身漂移产生的误差;然后基于Engl误差极小化准则(Engl’s criterion)的LASSO(Least Absolute Shrinkageand Selection Operator)算法实现最优泛函求解,以获得回归向量的最优值,得到可以克服光谱基线偏移带来的影响的最优特征变量,提高多组分气体在线分析结果的准确性。
本发明实现的多组分气体光谱特征量分析速度快、结果准确度高,特别有助于分析在分辨率不高的情况下,具有相同基团、交叉灵敏度过高以及非线性严重多组分混合气体的特征光谱提取。可用于石油、天然气勘探的气录井,产品质量检测与故障诊断、五金、化工、环境保护等领域的多组分气体光谱定量分析应用中。
附图说明
图1浓度均为1%的甲烷、乙烷、丙烷、异丁烷、正丁烷、异戊烷和正戊烷7种气体的傅里叶变换中红外主吸收峰区域吸收光谱图;
图2发生基线漂移的多组分轻烷烃混合气体的光谱图。
具体实施方式
不失一般性,本发明以石油、天然气勘探气测录井过程中所需要分析的气体的光谱分析为例,结合实际傅里叶变换中红外吸收光谱附图,来说明本发明的具体实施方式。其中所采用的光谱仪为Bruker公司的Tensor 27系列傅里叶变换中红外吸收光谱仪,光谱波数分辨率为4cm-1,谱线值为透射率,每个谱图有1866个数据。具体包括下列步骤:
(1)确定目标气体在所感兴趣的光谱段各数据点的光谱值
石油、天然气勘探气测录井应用中,气体的主要成分是甲烷、乙烷、丙烷、异丁烷、正丁烷、异戊烷、正戊烷、二氧化碳。下面以甲烷为例,针对区分于乙烷、丙烷、异丁烷、正丁烷、异戊烷和正戊烷的特征光谱值,说明本发明专利的具体实施方式。附图1所示为通过光谱仪采集得到的0.1%浓度的七组分烷烃气体主吸收峰区域光谱图,从图中可明显看出甲烷气体与其他六种气体交叉灵敏度最小的区域为3007.5到3024.5波数段的区域。该波数段共含有13条光谱,因此以该区域光谱值作为主分析段光谱。
(2)取标定的不同浓度甲烷气体,建立分析模型
在分辨率较低的条件下,浓度值小于1%的甲烷气体浓度值与光谱值近似为线性关系,因此可建立线性分析模型。取甲烷标定浓度值分别为:1%、0.5%、0.2%、0.1%、0.05%、0.02%以及0.01%作为模型因变量,取主分析光谱段透射率值自然对数的负值作为自变量X构建所分析模型y=XC+e;其中
X=[0.9999,0.9998,0.9991,0.9976,0.9955,0.9938,0.9936,0.9948,0.9965,0.9979,0.9988,0.9993,0.9995;
0.9997,0.9994,0.9980,0.9950,0.9909,0.9878,0.9874,0.9897,0.9929,0.9955,0.9973,0.9983,0.9989;
0.9993,0.9985,0.9951,0.9875,0.9772,0.9694,0.9685,0.9742,0.9823,0.9891,0.9935,0.996,0.9973;
0.9986,0.9971,0.9906,0.976,0.9564,0.9415,0.9397,0.9505,0.9661,0.9792,0.9876,0.9924,0.9951;
0.9991,0.9963,0.9841,0.9572,0.9209,0.8928,0.889,0.9085,0.937,0.9614,0.9773,0.9865,0.9919;
0.9951,0.9887,0.9621,0.9041,0.8258,0.7645,0.7539,0.7932,0.8534,0.9067,0.9428,0.9643,0.9769](9)
其对应浓度为:
Y=[0.01;0.02;0.05;0.10;0.20;0.50](10)
改进的TR正则化法的目标泛函参数包括:范数a、b和d的值、正则化算子L、回归向量初值C0以及权值初值λ0,γ0。
(3)确定目标泛函参数
对于范数a、b和d,这里考虑到用线性函数来近似非线性函数可能带来较大偏差,每个回归参数的同等重要,因此,将范数a和b均设置为1,而增加的谱线位置距离损失函数约束项为前两项的线性约束,因此c也设置为1。正则化算子L实为行和列尺寸与回归向量C相等,且只有主对角线上数据为非零值的矩阵对于每个学习样本的光谱,选择候选光谱值作为正则化算子L。如果扫描的光谱是空气的光谱,那么附图1中的光谱应为谱值为1的直线,此时L为13×13的单位矩阵I。
(4)确定回归向量初值C0
为保证后面计算准确度,本发明先采用最小二乘算法对甲烷光谱矩阵做初始拟合,即采用最小二乘法使得光谱浓度矩阵偏差的加权平方和为最小的原理:
解方程:
对于权值λ,由于采集时的误差值未知,因此采用后验法的Engl误差极小化准则计算,其中:
对求导得到:
将式(13)和(14)计算得到的值带入Newton迭代公式:
得到未加入谱线位置距离损失函数约束项前得到的TR正则化法的λ迭代值为3.2×10-5。
(5)确定改进的TR正则化目标泛函并设置LASSO算法的迭代初始值、迭代终止条件及容许误差极限值
将计算得到的参数值C0,λ及a、b、d代入目标泛函式(6)中,确定对于分析甲烷气体小浓度值的改进目标泛函的通式。结合谱线位置距离损失函数约束项,本发明采用LASSO(Least Absolute Shrinkage and SelectionOperator)算法实现最优泛函求解。LASSO算法由快速梯度下降法和线性搜索法组成,其中,快速梯度下降法的迭代最大次数不能大于1000次,容许误差极限为0.0001,迭代终止条件为回归向量的代数和小于等于容许误差极限:
由于外界条件改变或仪器自身误差干扰,会导致分析气体谱线的基线发生漂移,如图2中所示。此条件的限制可较好地消除基线漂移带来的误差。
(6)计算确定最优特征光谱值X和回归向量C
将确定好的回归向量初始值带入最优目标泛函求解中,同时将每次得到的不同λ值以及γ的近似线性变化值代入LASSO算法中,并采用快速梯度下降法确定回归向量C的大小,并采用线性搜索法对所选择的特征光谱值进行筛选,筛选原则为分析气体谱线处的吸光度(或透射率)对浓度值影响越小,迭代得到的回归系数值越接近于0进。由于特征光谱值与回归向量值一一对应,因此,筛减的同时将对甲烷气体浓度影响较小的特征量一一剔除,在满足迭代终止条件及容许误差极限值范围内,解出甲烷的目标泛函式(1)的因式分解得到光谱斜率变化显著的特征光谱X为:
X=[-ln(v3024.5-v3023.1);-ln(v3023.1-v3021.7);-ln(v3021.7-v3018.8);ln(v3016.0-v3014.6);ln(v3014.6-v3011.8)];(17)
与其对应得到的回归向量值为:
C=[-0.060;-0.282;-1.602;-0.526;-1.392];(18)
将得到的特征谱线变化斜率分解值还原成原光谱点处的特征值,同时也将其对应的回归系数C还原到原光谱点处的回归系数B,即将同波数处的光谱值进行合并,得到甲烷气体的特征光谱值为:
X’=[-ln(v3024.5);-ln(v3023.1);-ln(v3021.7);-ln(v3018.8);-ln(v3016.0);-ln(v3014.6);-ln(v 3011.8)]
(19)
同样将系数进行合并得到与特征光谱对应的回归系数向量为:
B=[-0.060;-0.222;-1.319;1.602;0.526;0.866;-1.392];(20)
采用原始线性模型建模得到甲烷气体特征光谱的浓度计算表达式为:
fmethane=0.060×ln(v3024.5)+0.222×ln(v3023.1)+1.319×ln(v3021.7)-1.602×ln(v3018.8)-0.526×ln(v3016.0)-0.866×ln(v3014.6)+1.392×ln(v3011.8);(21)
将在相同条件下采集得到的浓度为0.2%的甲烷、乙烷、丙烷、正丁烷、异丁烷、正戊烷以及异戊烷等七种烷烃气体的“吸光度(或透射率)—波数”谱线值带入该式中计算其浓度值,则可以得到其对应的浓度值依次为:0.2000%,0.0013%,-0.0026%,-0.0017%,-0.0003%,-0.0010%,-0.0001%。
对比该结果可以看出其他六种气体相对于甲烷的交叉灵敏度最大值仅为1.3%,很好的区分开了具有相同基团的多组分烷烃气体,并且该方法所提取的特征谱线较少,准确度较高,分析准确度完全满足实际要求。
以上所述,仅是本发明的较佳实施例而已,并非对本发明作任何形式上的限制,虽然本发明已以较佳实施例揭露如上,然而并非用以限定本发明,任何熟悉本专业的技术人员,在不脱离本发明技术方案范围内,当可利用上述揭示的方法及技术内容作出些许的更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,仍属于本发明技术方案的范围内。
Claims (4)
1.一种改进的TR多组分气体傅里叶变换红外光谱特征变量提取方法,其特征在于:首先在标准Tikhonov正则化光谱选择基础上,将Tikhonov正则化模型中的内积项进行因式分解,并在正则化目标泛函中增加一项谱线位置距离损失函数约束项,然后采用基于Engl误差极小化准则的LASSO算法对目标泛函进行损失函数最小化进化计算,以获得改进正则化模型的回归向量,最终得到可以降低甚至消除光谱基线规则畸变所带来的偏差的特征变量。
2.根据权利要求1所述的TR多组分气体傅里叶变换红外光谱特征变量提取方法,其特征在于:Tikhonov正则化的线性模型为:
y=Xb+e
式中X是一个m×w的矩阵,包含m个标定样本在w条谱线上的光谱;b=[b1,b2,…,bw]T是w×1的回归向量,其中上标T表示向量或矩阵的转置算子;y是m×1的向量,它包含了某种被分析气体的浓度信息;e也是m×1的向量,表示随机误差;Tikhonov正则化的目标泛函为:
式中‖·‖p表示p-范数,p=2时就是欧几里范数;a和b分别表示回归偏差和回归向量的范数,1≤a,b<∞;L表示一个正则化算子,它迫使b的估计值属于相应的特性良好的函数的子空间;λ表示控制第2项相对于第1项的权值;
改进的Tikhonov正则化模型其特征在于将上述线性模型的谱线内积项Xb进行因式分解,修改成
式中xij表示第i个分量第j条谱线的值,n表示一共有n个因式,ci表示第i个因式的系数;于是标准Tikhonov正则化目标泛函可修正为:
式中C=[c1,c2,…,cn]T,k>j。
3.如权利要求2所述的TR多组分气体傅里叶变换红外光谱特征变量提取方法,其特征在于:针对谱线内积因式分解项中斜率的变化范围及趋势,增加一项因式中谱线位置距离损失函数约束项:
|νi·Δli|-|νj·Δlj|→0
式中ν为所提取的特征量,Δl为特征谱线间距;该式表示以谱线斜率变化量为基准,在相等谱线间距内,所选取的特征光谱及其之间谱线间距的乘积的绝对值尽可等相同或相近,以补偿因受外界环境或条件干扰产生的基线波动或漂移所引入的误差,从而降低TR特征变量提取算法所提取的特征变量中的噪声分量;将该谱线位置距离损失函数约束项引入到Tikhonov正则化目标泛函中,则其进一步修正为:
式中lij表示第i个因式中第j条谱线的波数序号,γ表示控制第3项相对于第1项权重的系数,三个分项的上下标a、b和d分别表示回归偏差、回归向量和因式谱线位置距离的范数。
4.如权利要求2所述的TR多组分气体傅里叶变换红外光谱特征变量提取方法,其特征在于:采用基于Engl误差极小化准则的LASSO算法对目标泛函进行损失函数最小化进化计算,包括如下步骤:
(1)预估回归向量初值C0,为保证后面计算准确度,先采用最小二乘算法对光谱矩阵做初始拟合,即采用最小二乘法使得光谱浓度矩阵偏差的加权平方和为最小:
(2)λ值的估计,λ值直接影响着目标泛函解的逼近程度和稳定性;从逼近的角度来看,应使λ越小越好;而从数值稳定的角度考虑,λ值越大越好;
在误差水平未知的情况下,采用后验法的Engl误差极小化准则确定正则参数λ值的大小;Engl误差极小化准则取实验要求误差极限的上界作为极小正则参数,即要求
中进行迭代运算,直到前后两次结果的偏差小于设定值即可,λ值的取值范围为(0,1);
在误差水平已知的情况下,亦可采用Morozov偏差方程进行求解,即采用Newton迭代法对确定的偏差方程
(3)改进的TR正则化目标泛函求解;针对改进的TR正则化目标泛函受约束项的限制,不能直接求得最优求解通式问题,采用基于LASSO算法思想进行计算,实现特征光谱选取,并确定回归向量系数。通过傅里叶变换红外光谱仪采集得到的光谱图中,某谱线的值对某气体浓度值影响越小,迭代得到的回归系数值越接近于0,反之,其绝对值越大;根据该原理,LASSO算法中的正则化部分采用快速梯度下降法结合线性搜索法进行逐步搜索计算,可最终确定出在误差允许范围内对分析气体浓度值影响较大的特征光谱值及其对应的准确回归系数;
采用LASSO算法计算改进的TR正则化法目标泛函主要包括如下步骤:
2)确定随着λ值的变化,γ的近似线性变化值;其中γ0=0,γi+1=γi×λmax;
3)设置快速梯度下降算法的迭代终止条件及容许误差极限值;
4)将得到的λ值、γ值以及回归向量C0代入快速梯度下降算法中,计算改进的TR正则化目标泛函迭代点的梯度以及其搜索方向;
5)逐步迭代计算并输出结果,即改进的TR正则化目标泛函的LASSO估计值,该值包含所提取改进的TR目标泛函的特征光谱值、目标泛函中的各参数值λ、γ及其回归向量C;
6)检验LASSO估计值是否满足迭代终止条件及是否在容许误差极限范围内;如果回归向量的误差超过实验要求范围,或者正则参数不满足实验要求,致使预估结果存在偏差,则取下一个迭代点,使其沿改进的TR正则化法目标泛函的负梯度方向继续搜索计算,求得最优步长后重复4)、5)、6)步骤,直至结果满足要求为止。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210076501.9A CN102608061B (zh) | 2012-03-21 | 2012-03-21 | 一种改进的tr多组分气体傅里叶变换红外光谱特征变量提取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210076501.9A CN102608061B (zh) | 2012-03-21 | 2012-03-21 | 一种改进的tr多组分气体傅里叶变换红外光谱特征变量提取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102608061A true CN102608061A (zh) | 2012-07-25 |
CN102608061B CN102608061B (zh) | 2014-03-12 |
Family
ID=46525616
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210076501.9A Expired - Fee Related CN102608061B (zh) | 2012-03-21 | 2012-03-21 | 一种改进的tr多组分气体傅里叶变换红外光谱特征变量提取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102608061B (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103105369A (zh) * | 2013-01-30 | 2013-05-15 | 华中科技大学 | 液态物质光谱基线校正定量分析方法 |
CN106153192A (zh) * | 2016-07-22 | 2016-11-23 | 浙江大学 | 一种利用多光谱相机虚拟响应值获取光谱反射比的方法 |
CN108195795A (zh) * | 2017-12-25 | 2018-06-22 | 四川长虹电器股份有限公司 | 一种近红外光谱采样方法 |
CN108717098A (zh) * | 2018-05-22 | 2018-10-30 | 上海交通大学 | 一种提高混合气体浓度检测精度的方法 |
CN108827905A (zh) * | 2018-04-08 | 2018-11-16 | 江南大学 | 一种基于局部加权Lasso的近红外模型在线更新方法 |
CN108982411A (zh) * | 2018-07-09 | 2018-12-11 | 安徽建筑大学 | 一种检测烟道中氨气浓度的激光原位检测系统 |
CN108982401A (zh) * | 2018-07-19 | 2018-12-11 | 西安博研仪器分析应用科技有限公司 | 一种从混合气体的红外吸收光谱中解析单组分流量的方法 |
CN108982399A (zh) * | 2018-07-09 | 2018-12-11 | 安徽建筑大学 | 一种烟道氨浓度激光在线检测系统 |
CN109374566A (zh) * | 2018-12-17 | 2019-02-22 | 湖北航天化学技术研究所 | 一种混醇含量的测定方法及测定系统 |
CN110186869A (zh) * | 2018-02-23 | 2019-08-30 | 三星电子株式会社 | 用于估计血液化合物浓度的装置和方法 |
CN112484783A (zh) * | 2020-12-04 | 2021-03-12 | 中国航空工业集团公司北京长城计量测试技术研究所 | 一种基于光学的气体压力温度高精度同步测量方法 |
CN114219157A (zh) * | 2021-12-17 | 2022-03-22 | 西南石油大学 | 一种基于最优决策和动态分析的烷烃气体红外光谱测量方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004111609A2 (en) * | 2003-06-12 | 2004-12-23 | Predicant Biosciences, Inc. | Methods for accurate component intensity extraction from separations-mass spectrometry data |
CN101697008A (zh) * | 2009-10-20 | 2010-04-21 | 北京航空航天大学 | 一种自动估计正则化参数的高光谱解混方法 |
CN101881663A (zh) * | 2009-12-29 | 2010-11-10 | 南京邮电大学 | 相位调制阵列微型光谱仪光谱复原方法 |
CN102081703A (zh) * | 2011-01-12 | 2011-06-01 | 广西工学院 | 多变量体系中的纯信号分析方法 |
-
2012
- 2012-03-21 CN CN201210076501.9A patent/CN102608061B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004111609A2 (en) * | 2003-06-12 | 2004-12-23 | Predicant Biosciences, Inc. | Methods for accurate component intensity extraction from separations-mass spectrometry data |
CN101697008A (zh) * | 2009-10-20 | 2010-04-21 | 北京航空航天大学 | 一种自动估计正则化参数的高光谱解混方法 |
CN101881663A (zh) * | 2009-12-29 | 2010-11-10 | 南京邮电大学 | 相位调制阵列微型光谱仪光谱复原方法 |
CN102081703A (zh) * | 2011-01-12 | 2011-06-01 | 广西工学院 | 多变量体系中的纯信号分析方法 |
Non-Patent Citations (3)
Title |
---|
FORREST STOUT等: "Wavelength Selection for Multivariate Calibration Using Tikhonov Regularization", 《SOCIETY FOR APPLIED SPECTROSCOPY》, vol. 61, no. 1, 31 December 2007 (2007-12-31) * |
JOSHUA OTTAWAY等: "Spectral Multivariate Calibration with Wavelength Selection Using Variants of Tikhonov Regularization", 《SOCIETY FOR APPLIED SPECTROSCOPY》, vol. 64, no. 12, 31 December 2010 (2010-12-31) * |
汤晓君等: "基于Tikhonov正则化特征光谱选择与最优网络参数选择的轻烷烃气体分析", 《光谱学与光谱分析》, vol. 31, no. 6, 30 June 2011 (2011-06-30) * |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103105369A (zh) * | 2013-01-30 | 2013-05-15 | 华中科技大学 | 液态物质光谱基线校正定量分析方法 |
CN103105369B (zh) * | 2013-01-30 | 2015-10-28 | 华中科技大学 | 液态物质光谱基线校正定量分析方法 |
CN106153192A (zh) * | 2016-07-22 | 2016-11-23 | 浙江大学 | 一种利用多光谱相机虚拟响应值获取光谱反射比的方法 |
CN106153192B (zh) * | 2016-07-22 | 2017-12-29 | 浙江大学 | 一种利用多光谱相机虚拟响应值获取光谱反射比的方法 |
CN108195795A (zh) * | 2017-12-25 | 2018-06-22 | 四川长虹电器股份有限公司 | 一种近红外光谱采样方法 |
CN110186869A (zh) * | 2018-02-23 | 2019-08-30 | 三星电子株式会社 | 用于估计血液化合物浓度的装置和方法 |
CN110186869B (zh) * | 2018-02-23 | 2023-08-15 | 三星电子株式会社 | 用于估计血液化合物浓度的装置和方法 |
CN108827905A (zh) * | 2018-04-08 | 2018-11-16 | 江南大学 | 一种基于局部加权Lasso的近红外模型在线更新方法 |
CN108827905B (zh) * | 2018-04-08 | 2020-07-24 | 江南大学 | 一种基于局部加权Lasso的近红外模型在线更新方法 |
CN108717098A (zh) * | 2018-05-22 | 2018-10-30 | 上海交通大学 | 一种提高混合气体浓度检测精度的方法 |
CN108717098B (zh) * | 2018-05-22 | 2021-01-01 | 上海交通大学 | 一种提高混合气体浓度检测精度的方法 |
CN108982399A (zh) * | 2018-07-09 | 2018-12-11 | 安徽建筑大学 | 一种烟道氨浓度激光在线检测系统 |
CN108982411A (zh) * | 2018-07-09 | 2018-12-11 | 安徽建筑大学 | 一种检测烟道中氨气浓度的激光原位检测系统 |
CN108982401A (zh) * | 2018-07-19 | 2018-12-11 | 西安博研仪器分析应用科技有限公司 | 一种从混合气体的红外吸收光谱中解析单组分流量的方法 |
CN108982401B (zh) * | 2018-07-19 | 2020-08-25 | 西安博研仪器分析应用科技有限公司 | 一种从混合气体的红外吸收光谱中解析单组分流量的方法 |
CN109374566A (zh) * | 2018-12-17 | 2019-02-22 | 湖北航天化学技术研究所 | 一种混醇含量的测定方法及测定系统 |
CN112484783B (zh) * | 2020-12-04 | 2022-03-29 | 中国航空工业集团公司北京长城计量测试技术研究所 | 一种基于光学的气体压力温度高精度同步测量方法 |
CN112484783A (zh) * | 2020-12-04 | 2021-03-12 | 中国航空工业集团公司北京长城计量测试技术研究所 | 一种基于光学的气体压力温度高精度同步测量方法 |
CN114219157A (zh) * | 2021-12-17 | 2022-03-22 | 西南石油大学 | 一种基于最优决策和动态分析的烷烃气体红外光谱测量方法 |
CN114219157B (zh) * | 2021-12-17 | 2023-10-17 | 西南石油大学 | 一种基于最优决策和动态分析的烷烃气体红外光谱测量方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102608061B (zh) | 2014-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102608061B (zh) | 一种改进的tr多组分气体傅里叶变换红外光谱特征变量提取方法 | |
CN101881727B (zh) | 一种基于吸收光谱图重构的多组分气体浓度定量分析方法 | |
Jaconi et al. | Near infrared spectroscopy as an easy and precise method to estimate soil texture | |
Monakhova et al. | Independent components in spectroscopic analysis of complex mixtures | |
CN109001136B (zh) | 一种基于紫外—可见光吸收光谱的cod在线监测方法 | |
CN102053083B (zh) | 一种基于偏最小二乘法的煤质特性在线测量方法 | |
CN102004088B (zh) | 一种基于神经网络的煤质特性在线测量方法 | |
CN104020127B (zh) | 一种利用近红外光谱快速测量烟叶中无机元素的方法 | |
Cozzolino | Near infrared spectroscopy as a tool to monitor contaminants in soil, sediments and water—State of the art, advantages and pitfalls | |
Monago-Maraña et al. | Non-destructive Raman spectroscopy as a tool for measuring ASTA color values and Sudan I content in paprika powder | |
CN102680425B (zh) | 多组分气体傅立叶变换光谱分析的多分析模型信息融合方法 | |
Qing et al. | Development of a novel alternating quadrilinear decomposition algorithm for the kinetic analysis of four-way room-temperature phosphorescence data | |
CN108830253B (zh) | 筛选模型建立方法、光谱筛选装置及方法 | |
Han et al. | On-line multi-component analysis of gases for mud logging industry using data driven Raman spectroscopy | |
Shan et al. | Multilevel analysis of temperature dependent near-infrared spectra | |
Vershinin et al. | The estimation of total petroleum hydrocarbons content in waste water by IR spectrometry with multivariate calibrations | |
CN106529008B (zh) | 一种基于蒙特卡罗及lasso的双集成偏最小二乘建模方法 | |
CN111351757B (zh) | 用于预测食用油样品的油掺杂的定量量度的方法和系统 | |
Tang et al. | On-line multi-component alkane mixture quantitative analysis using Fourier transform infrared spectrometer | |
Allegrini et al. | Generalized error-dependent prediction uncertainty in multivariate calibration | |
Li et al. | Artificial Neural Networks (ANNs) for spectral interference correction using a large-size spectrometer and ANN-based Deep Learning for a miniature one | |
Yu et al. | Prediction of soil properties based on characteristic wavelengths with optimal spectral resolution by using Vis-NIR spectroscopy | |
Omanović et al. | ASFit-An all-inclusive tool for analysis of UV–Vis spectra of colored dissolved organic matter (CDOM) | |
Cai et al. | On-line multi-gas component measurement in the mud logging process based on Raman spectroscopy combined with a CNN-LSTM-AM hybrid model | |
Xia et al. | A method based on a one-dimensional convolutional neural network for UV-vis spectrometric quantification of nitrate and COD in water under random turbidity disturbance scenario |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140312 |
|
CF01 | Termination of patent right due to non-payment of annual fee |