CN106644983B - 一种基于pls-vip-aco算法的光谱波长选择方法 - Google Patents
一种基于pls-vip-aco算法的光谱波长选择方法 Download PDFInfo
- Publication number
- CN106644983B CN106644983B CN201611236928.5A CN201611236928A CN106644983B CN 106644983 B CN106644983 B CN 106644983B CN 201611236928 A CN201611236928 A CN 201611236928A CN 106644983 B CN106644983 B CN 106644983B
- Authority
- CN
- China
- Prior art keywords
- wavelength
- pls
- aco
- coefficient
- vip
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003595 spectral effect Effects 0.000 title claims abstract description 20
- 238000010187 selection method Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 42
- 239000003016 pheromone Substances 0.000 claims abstract description 38
- 239000011159 matrix material Substances 0.000 claims description 51
- 230000000875 corresponding effect Effects 0.000 claims description 27
- 238000001228 spectrum Methods 0.000 claims description 22
- 238000012937 correction Methods 0.000 claims description 20
- 241000257303 Hymenoptera Species 0.000 claims description 16
- 238000002790 cross-validation Methods 0.000 claims description 8
- 230000002596 correlated effect Effects 0.000 claims description 2
- 238000010183 spectrum analysis Methods 0.000 abstract description 4
- 238000001237 Raman spectrum Methods 0.000 description 10
- 239000003225 biodiesel Substances 0.000 description 10
- 238000002156 mixing Methods 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 230000008030 elimination Effects 0.000 description 3
- 238000003379 elimination reaction Methods 0.000 description 3
- 238000002329 infrared spectrum Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000001069 Raman spectroscopy Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000002189 fluorescence spectrum Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000002211 ultraviolet spectrum Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/65—Raman scattering
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Biochemistry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optical Communication System (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明属于光谱分析领域,尤其是涉及一种基于PLS‑VIP‑ACO算法的光谱波长选择方法。所述方法结合了蚁群算法(ACO算法)与变量投影重要性系数(VIP系数)、偏最小二乘方法(PLS);包括:在全波长段建立偏最小二乘模型(PLS模型),计算每个波长变量的VIP系数并将得到的VIP系数作为ACO信息素的初始值;在每次ACO迭代中,记录每次迭代得到的最优模型所对应的波长点及其PLS系数绝对值,并与上一次迭代结果进行累加,同时考虑VIP系数的贡献对ACO信息素进行更新,进入下一次的ACO迭代;迭代全部结束后统计所有波长点的累加PLS系数并按降序排序,记录对应的波长排列次序,然后采用反向剔除弱相关波长的策略获得最终的最优波长组合。本方法能显著提高光谱建模的稳健性与精度。
Description
技术领域
本发明涉及光谱分析领域,尤其是涉及一种基于PLS-VIP-ACO算法的光谱波长选择方法。
背景技术
光谱分析技术作为一种快速无损的定量分析方法,已成功应用于石油化工、食品、农业、环保等领域。然而光谱检测中获得的原始谱图往往高达上千个波长点,而且重叠严重,光谱信息冗余,特征吸收区域不明显,造成后续分析模型的精度降低。为了提高模型预测精度,降低模型复杂度和计算速度,需要对波长进行优选,选择与待测样本信息最相关的特征波长点用于模型的建立。
目前,关于光谱分析中波长选择方法的研究,主要有相关系数法、基于间隔的波长选择策略、无信息变量消除算法、蚁群算法等方法。相关系数法的局限性在于,只适用于光谱与样本属性相关度高的情况,若相关性都较低,则容易剔除有用信息或保留噪声信息而使模型稳定性降低;基于间隔的波长选择策略,波长区间大小的选择难以确定,且特征波长点可能只是单独的点,而选择出的波长段中可能含有无关的波长,并不能最大程度地消除无关波长;无信息变量消除算法采用对校正光谱矩阵人为产生一噪声矩阵,消除信息小于噪声变量的波长的方法进行特征波长点提取,但这种方法也存在一定的主观性,并且噪声矩阵的选择影响着波长选择的结果,最终波长选择结果通常存在较多的冗余;蚁群算法在信息素初始化这一过程有效信息匮乏,随机优化导致模型不稳定,作为迭代算法有收敛慢等缺陷,上述现有方法的局限性,影响了模型的稳健性与精度。
发明内容
本发明的目的在于,针对现有技术的不足,提出将蚁群算法(Ant ColonyOptimization,简称ACO算法)与变量投影重要性系数(Variable Importance in theProjection,简称VIP系数)、偏最小二乘方法(Partial Least Squares,简称PLS)相结合,提供一种基于PLS-VIP-ACO算法的光谱波长选择方法,以提高光谱建模的稳健性与精度。
为此,本发明采用如下解决方案:
一种基于PLS-VIP-ACO算法的光谱波长选择方法,所述基于PLS-VIP-ACO算法的光谱波长选择方法包括:在全波长段建立PLS模型,计算每个波长变量的VIP系数并将得到的VIP系数作为ACO信息素的初始值;在每次ACO算法迭代中,记录每次迭代得到的最优PLS模型所对应的波长点及其PLS系数绝对值,并与上一次迭代结果进行累加,同时考虑VIP系数的贡献对ACO信息素进行更新,进入下一次的ACO算法迭代;迭代全部结束后统计所有波长点的累加PLS系数并按降序排序,记录对应的波长排列次序,然后采用反向剔除弱相关波长的策略获得最终的最优波长组合;具体步骤包括:
步骤(1),参数初始化:将样本划分为校正集和预测集;校正集的光谱矩阵为Xs×p,光谱矩阵Xs×p具有s个样本,全波长点有p个,校正集的样本性质矩阵为Ys×1;预测集的光谱矩阵为Xt×p,光谱矩阵Xt×p具有t个样本,全波长点有p个,预测集的样本性质矩阵为Yt×1;设定最大迭代次数K_MAX,蚁群蚂蚁个数m,最大选取波长数V_MAX,以及设定ACO信息素更新的显著因子Q、挥发系数ρ;迭代次数K初始化为1;
步骤(2),VIP系数计算:在校正集上建立全波长的PLS模型,根据PLS系数计算每个波长点的VIP系数,根据VIP系数能表征特征重要程度这一特性,将ACO信息素矩阵Phe(1×p)初始化为每个波长点的VIP系数;
步骤(3),ACO算法迭代开始:当K<K_MAX时,进入一次新的迭代过程;迭代开始时,首先初始化蚁群的路径矩阵selected(m×V_MAX),储存每只蚂蚁选取的V_MAX个波长点;
步骤(4),蚁群随机初始化:生成m个1到p之间的随机数,作为m只蚂蚁的路径起点,即第一个被选择的波长点,并储存到selected(m×V_MAX)矩阵的第一列中,设定j为蚂蚁已选的波长点,初始j=1;
步骤(5),蚁群选择过程:对每只蚂蚁,做以下运算:当j<V_MAX时,找出蚂蚁未走过的波长点集合to_visit((p-j)×1);由ACO信息素矩阵Phe(1×p)计算每个波长被选中的概率p,根据概率矩阵P((p-j)×1),用轮盘赌算法选出下一个被选中的波长点;j的值进行+1操作,重复上述过程至j=V_MAX;
步骤(6),选取最优蚂蚁:分别对m个蚂蚁选择的波长点(1×V_MAX)在校正集建立PLS模型,采取留一交叉验证的方法,得到相应的RMSECV值;对比m个PLS模型的RMSECV值,选取RMSECV最小的PLS模型对应的蚂蚁为最优蚂蚁,其选中的波长组合为最优波长组合,记录结果,将对应波长点的PLS系数累加储存;
步骤(7),更新ACO信息素:仿照真实生物界蚂蚁的行为,更新ACO信息素;在步骤(6)中选出的最优波长组合中,对应波长点的ACO信息素得到加强,而未被选中的波长点,ACO信息素会以ρ的挥发系数挥发减少,更新的ACO信息素矩阵在下一次迭代中被应用;令K=K+1;记录最优结果对应最优模型的PLS系数,每个波长点的贡献值累加对应波长点的PLS系数绝对值;
步骤(8),重复步骤(3)到步骤(7),直至达到最大迭代次数K_MAX且最优解收敛;得到最终每个波长点的累加PLS系数矩阵后,计算每个波长点的贡献值,即归一化的迭代累加PLS系数;得到贡献值超过阈值的波长集合high_wave(1×g)后,按贡献值从小到大排序,依次剔除贡献值最小的波长点,用筛选出的波长组合进行建模,以交叉验证标准偏差和预测标准偏差综合指标RMSECvP为模型评判标准,将RMSECvP最小的波长组合high_wave(1×(g-g’))作为最终的最优波长组合。
在采用上述技术方案的同时,本发明还可以采用或者组合采用以下进一步的技术方案:
所述步骤(1)中,所述最大迭代次数K_MAX的取值范围优选20到200之间。
所述步骤(1)中,所述最大选取波长数V_MAX的取值范围优选在20到400之间。
所述步骤(1)中,所述蚁群蚂蚁个数m的取值范围优选在10到100之间。
所述步骤(7)中,所述ACO信息素的更新考虑VIP系数的贡献,第n次迭代时的更新系数τn=[(1-ρ)τn-1+ρF]×VIP,其中:ρ作为ACO信息素衰减系数直接影响算法的收敛速度,优选为0.6-0.9之间;F=Q/(1+RMSECVmin),式中Q为显著因子用来调整目标函数的收敛速度,优选为0.1-0.3之间;RMSECVmin为最优模型对应预测集上的RMSECV值,若波长点在得到RMSECVmin的最优波长组合中,则按F=Q/(1+RMSECVmin)计算得到目标函数F的值;若波长点不在最优波长组合中,则F直接取值为0。
所述步骤(8)中,交叉验证标准偏差和预测标准偏差综合指标RMSECvP为RMSECV和RMSEP的组合指标,指标RMSECvP分别与RMSECV、RMSEP正相关,优选为RMSECvP=(RMSECV+RMSEP)。
本发明所提供的光谱波长的选择方法具有以下优点:
(1)采用随机采样的方式以及轮盘赌算法等随机概率方法来筛选校正样本,消除人为划分校正样本建模的主观因素;
(2)结合VIP系数与PLS系数共同进行波长筛选,最大化地甄别出有益波长;
(3)ACO信息素的更新加入VIP系数乘子,避免算法的随机性导致噪声进入最优波长组合,加快算法收敛速度,解决了蚁群算法收敛慢的问题。
(4)经过优选波长变量,能使用较少波长建立简化模型,且所建模型稳健性好、精度高。
附图说明
图1为本发明基于PLS-VIP-ACO算法的光谱波长选择方法的流程图。
图2为生物柴油调和油拉曼光谱的原始光谱图。
图3为每个波长点的归一化的迭代累加PLS系数的统计图,圆圈标出的点是最终筛选出的最优波长点。
图4为波长子集数目与模型的综合评价指标RMSECvP的关系图。
图5为筛选出的最优波长点与拉曼光谱谱图的关系。
图6为生物柴油调和油浓度的预测值与真实值的比较图。
具体实施方式
本发明的具体实施方式,将结合附图和拉曼光谱分析的具体实施例进行详述。
图1为本发明提出的基于PLS-VIP-ACO算法的光谱波长选择方法。
本具体实施例,采用生物柴油调和油拉曼光谱数据样本来验证本发明的方法。该数据集包含62个拉曼光谱测量样本,生物柴油的质量含量范围为0%~100%(w/w),考察拉曼光谱与调和油中生物柴油浓度之间的关系。拉曼光谱波长区间进行线性插值处理后得到共2033个波长,经过异常样本剔除、基线校正、移动平均平滑、提取信息波段等预处理步骤后,得到60个样本,每个样本有波长点1541个,其光谱图如图2所示。
针对生物柴油调和油拉曼光谱数据样本,实施本发明提出的基于PLS-VIP-ACO算法的光谱波长选择方法,步骤如下:
步骤(1),对于样本个数为60,波长个数为p=1541,原波长集为V={x1,…,xp-1,xp}={1,…,1540,1541}的生物柴油调和油拉曼光谱样本集,根据K-S算法划分校正集和预测集,采样得校正集样本45个,光谱矩阵为X(45×1541),表征调和油中生物柴油浓度的性质矩阵为Y(45×1),采样得预测集样本15个,光谱矩阵为X(15×1541),表征调和油中生物柴油浓度的性质矩阵为Y(15×1);由于建模样本的随机性,所述最大迭代次数K_MAX取值范围优选在20到200之间,K_MAX值越大,波长选择所需的时间越长,K_MAX值太小又难以消除建模样本的随机性对结果的影响,本具体实施例中设定K_MAX=50;所述蚁群蚂蚁个数m为30;所述最大选取波长数V_MAX决定着每个个体在每次迭代中选取的波长数,其取值范围为1到波长个数1541,本具体实施例中V_MAX=120;所述显著性因子Q为0.01,ACO信息素衰减系数ρ为0.65,初始化记录波长点被选的贡献矩阵attri(1×1541)。
步骤(2),建立校正集全光谱的PLS模型:对校正样本集按公式(1)建立潜变量个数为A的PLS模型;该模型的数学表达式如下:
Xcal=TPT+E (1)
Ycal=UQT+F (2)
T=XW(PT W)-1 (3)
其中校正光谱矩阵Xcal的得分矩阵是T,载荷矩阵是P,权重矩阵是W,残差光谱是E;校正样本浓度性质矩阵Ycal的得分矩阵是U,载荷矩阵是Q,残差光谱是F。
按照公式(4)计算每个波长对模型的重要程度指标:变量投影重要性系数VIP。第j(j=1,…,1541)个波长点的VIP系数的计算公式如下:
其中wa,ta和qa分别是矩阵W,T和Q的第a列。wja是第j个波长在第a个潜变量中的权重值。VIPj系数越大,表示波长j对于建立回归模型的重要程度越高。将信息数矩阵Phe(1×1541)初始化为每个波长点的VIP系数,并初始迭代次数K=1。
步骤(3),迭代开始:当K<50时,进入一次新的迭代过程。迭代开始时,首先初始化蚁群的路径矩阵selected(m×V_MAX),用以储存每只个体选取的V_MAX个波长点;
步骤(4),蚁群随机初始化:生成m个1到1541之间的随机数,作为m只蚂蚁的路径起点,即第一个被选择的波长点,并储存到selected矩阵的第一列中,设定j为蚂蚁已选的波长点,此时j=1;
步骤(5),蚁群选择过程:对每只蚂蚁,做以下运算:当j<V_MAX时,找出蚂蚁未走过的波长点集合to_visit((1541-j)×1);由ACO信息素矩阵Phe计算每个波长被选中的概P,计算公式如(5),保证未访问的(1541-j)的波长点被选择概率之和为1:
根据概率矩阵P((1541-j)×1),用轮盘赌算法选出下一个被选中的波长点,j的值进行+1操作。重复步骤(5)至j=V_MAX;
步骤(6)选取最优蚂蚁:分别对m个蚂蚁选择的波长点(1×V_MAX)在校正集建立PLS模型,采取留一交叉验证的方法,得到相应的RMSECV值;对比m个PLS模型的RMSECV值,选取RMSECV最小的PLS模型对应的蚂蚁为最优蚂蚁,其选中的波长组合为最优波长组合select_t,记录结果,将select_t中的波长点的PLS系数累加储存到attri中,PLS系数即公式(6)中矩阵B的绝对值:
Ycal=X(cal,selected_t)B+e (6)
其中X(cal,selected_t)是此次迭代中校正集光谱矩阵Xcal中对应的最优个体选出的波长selected_t列,校正模型的回归系数是B=[b1,b2,…,bp]T,e是模型偏差。
(7)更新ACO信息素:仿照真实生物界蚂蚁的行为,更新ACO信息素矩阵Phe(1×1541)。在步骤(6)中选出的最优波长组合中,对应的波长其ACO信息素得到加强,而未被选中的波长点,ACO信息素会以ρ的挥发系数挥发减少,更新的ACO信息素矩阵在下一次迭代中被应用;第n次迭代时的更新ACO信息素系数τn=[(1-0.6)τn-1+0.6F]×VIP;RMSECVmin为最优模型对应预测集上的RMSECV值,若波长点在得到RMSECVmin的最优波长组合中,则按F=0.01/(1+RMSECVmin)计算得到目标函数F的值;若波长点不在最优波长组合中,则F直接取值为0;令K=K+1;记录最优结果对应最优模型的PLS系数,每个波长点的贡献值累加对应波长点的PLS系数绝对值;
(8)重复步骤(3)-(7),直至达到最大迭代次数且最优解收敛。得到最终每个波长点的累加PLS系数矩阵attri后,计算即为每个波长点的贡献值。得到贡献值超过阈值的波长集合high_wave(1×g)后,按贡献值从小到大排序,依次剔除贡献值最小的波长点,用筛选出的波长组合进行PLS建模,选择RMSECvP总和最小的波长组合high_wave(1×(g-g’))作为最终的最优波长组合。对于筛选过程详细解释如下:
将贡献值超过阈值的波长点集合high_wave(1×g)按贡献值从小到大排序,剔除第一个贡献值最小的波长点,得到high_wave’(1×(g-1)),以此(g-1)个波长点进行PLS建模,得到交叉验证的RMSECV值和对预测集得到的RMSEP值,求出质量指标RMSECvP;接下来再剔除high_wave’中贡献值最小的波长点得到high_wave”(1×(g-2)),重复上述内容得到此次建模的RMSECvP值;直至high_wave中只剩一个波长点。在g次建模中,以RMSECvP最小的模型为最优模型,对应的波长集为算法筛选出的最优波长集合。
图3为每个波长点的归一化的迭代累加PLS系数的统计图;图4为波长子集数目与模型的综合评价指标RMSECvP的关系图;根据阈值得到贡献值在前300位的波长点集合high_wave(1×300),依次剔除后贡献值最小波长点后所剩波长点数为T为横坐标,纵坐标模型综合指标RMSECvP为最小值时(图4中圆圈内的点)所对应的波长子集内波长数目为116,即在1541个波长点中筛选出最优波长点为116个,占全部波长点的7.5%。图3中圆圈标出的116个点,即为最终筛选出的116个最优波长点。
图5是最优波长点在生物柴油调和油样本浓度为2%的拉曼光谱中的分布情况。
结果验证:图6采用上述方法得到的最终的最优波长组合selected_high建立PLS预测模型,得到了预测值与真实值的关系。
表1
表1比较了本发明方法与全波长方法、相关系数法(CC)以及蚁群算法(ACO)的结果,表明本发明方法采用了较少的波长个数,并获得了预测标准误差RMSEP(Root MeanSquare Error of Prediction)和交叉验证标准误差RMSECV(Root Mean Square Error ofCross Validation)皆为最小的理想结果。
表1的结果充分表明:本发明方法能高效地提取最优波长点,可靠地精简模型,显著地提高模型的稳健性与精度。
本发明上述具体实施方式中所涉及的光谱为拉曼光谱,仅为优选实施例,具体实施时,也可以用于紫外光谱、可见光谱、近红外光谱、中红外光谱、远红外光谱、荧光光谱等光谱的最优波长点选择或特征波长点选择。
本发明涉及光谱波长选择方法,根据光学的基本原理:光的波长(nm)与光的波数(cm-1)的乘积恒定为107,光的波长(nm)与光的频率(Hz)的乘积也为常数(光速),所以光的波长与光的波数、光的频率这三种参数之间可以直接相互换算,故本发明的方法也可以称为光谱波数选择方法或光谱频率选择方法。
上述具体实施方式用来解释说明本发明,仅为本发明的优选实施例,而不是对本发明进行限制,在本发明的精神和权利要求的保护范围内,对本发明作出的任何修改、等同替换、改进等,都落入本发明的保护范围。
Claims (5)
1.一种基于PLS-VIP-ACO算法的光谱波长选择方法,其特征在于,所述基于PLS-VIP-ACO算法的光谱波长选择方法包括:在全波长段建立PLS模型,计算每个波长变量的VIP系数并将得到的VIP系数作为ACO信息素的初始值;在每次ACO算法迭代中,记录每次迭代得到的最优PLS模型所对应的波长点及其PLS系数绝对值,并与上一次迭代结果进行累加,同时考虑VIP系数的贡献对ACO信息素进行更新,进入下一次的ACO算法迭代;迭代全部结束后统计所有波长点的累加PLS系数并按降序排序,记录对应的波长排列次序,然后采用反向剔除弱相关波长的策略获得最终的最优波长组合;具体步骤包括:
步骤(1),参数初始化:将样本划分为校正集和预测集;校正集的光谱矩阵为Xs×p,光谱矩阵Xs×p具有s个样本,全波长点有p个,校正集的样本性质矩阵为Ys×1;预测集的光谱矩阵为Xt×p,光谱矩阵Xt×p具有t个样本,全波长点有p个,预测集的样本性质矩阵为Yt×1;设定最大迭代次数K_MAX,蚁群蚂蚁个数m,最大选取波长数V_MAX,以及设定ACO信息素更新的显著因子Q、ACO信息素衰减系数ρ;迭代次数K初始化为1;
步骤(2),VIP系数计算:在校正集上建立全波长的PLS模型,根据PLS系数计算每个波长点的VIP系数,根据VIP系数能表征特征重要程度这一特性,将ACO信息素矩阵Phe(1×p)初始化为每个波长点的VIP系数;
步骤(3),ACO算法迭代开始:当K<K_MAX时,进入一次新的迭代过程;迭代开始时,首先初始化蚁群的路径矩阵selected(m×V_MAX),储存每只蚂蚁选取的V_MAX个波长点;
步骤(4),蚁群随机初始化:生成m个1到p之间的随机数,作为m只蚂蚁的路径起点,即第一个被选择的波长点,并储存到selected(m×V_MAX)矩阵的第一列中,设定j为蚂蚁已选的波长点,初始j=1;
步骤(5),蚁群选择过程:对每只蚂蚁,做以下运算:当j<V_MAX时,找出蚂蚁未走过的波长点集合to_visit((p-j)×1);由ACO信息素矩阵Phe(1×p)计算每个波长被选中的概率p,根据概率矩阵P((p-j)×1),用轮盘赌算法选出下一个被选中的波长点;j的值进行+1操作;
步骤(6),重复步骤(4)-(5)直至j=V_MAX;
步骤(7),选取最优蚂蚁:分别对m个蚂蚁选择的波长点(1×V_MAX)在校正集建立PLS模型,采取留一交叉验证的方法,得到相应的RMSECV值;对比m个PLS模型的RMSECV值,选取RMSECV最小的PLS模型对应的蚂蚁为最优蚂蚁,其选中的波长组合为最优波长组合,记录结果,将对应波长点的PLS系数累加储存;
步骤(8),更新ACO信息素:仿照真实生物界蚂蚁的行为,更新ACO信息素;在步骤(7)中选出的最优波长组合中,对应波长点的ACO信息素得到加强,而未被选中的波长点,ACO信息素会以ACO信息素衰减系数ρ减少,更新的ACO信息素矩阵在下一次迭代中被应用;令K=K+1;记录最优结果对应最优模型的PLS系数,每个波长点的贡献值累加对应波长点的PLS系数绝对值;
步骤(9),重复步骤(3)到步骤(8),直至达到最大迭代次数K_MAX且最优解收敛;得到最终每个波长点的累加PLS系数矩阵后,计算每个波长点的贡献值,即归一化的迭代累加PLS系数;得到贡献值超过阈值的波长集合high_wave(1×g)后,按贡献值从小到大排序,依次剔除贡献值最小的波长点,用筛选出的波长组合进行建模,以交叉验证标准偏差和预测标准偏差综合指标RMSECvP为模型评判标准,将RMSECvP最小的波长组合high_wave(1×(g-g’))作为最终的最优波长组合;
所述步骤(9)中,交叉验证标准偏差和预测标准偏差综合指标RMSECvP为RMSECV和RMSEP的组合指标,指标RMSECvP分别与RMSECV、RMSEP正相关,且RMSECvP=(RMSECV+RMSEP)。
2.根据权利要求1所述的一种基于PLS-VIP-ACO算法的光谱波长选择方法,其特征在于,所述步骤(1)中,所述最大迭代次数K_MAX的取值范围为20到200之间。
3.根据权利要求1所述的一种基于PLS-VIP-ACO算法的光谱波长选择方法,其特征在于,所述步骤(1)中,所述最大选取波长数V_MAX的取值范围为20到400之间。
4.根据权利要求1所述的一种基于PLS-VIP-ACO算法的光谱波长选择方法,其特征在于,所述步骤(1)中,所述蚁群蚂蚁个数m的取值范围为10到100之间。
5.根据权利要求1所述的一种基于PLS-VIP-ACO算法的光谱波长选择方法,其特征在于,所述步骤(8)中,所述ACO信息素的更新考虑VIP系数的贡献,第n次迭代时的更新系数τn=[(1-ρ)τn-1+ρF]×VIP,其中:ρ作为ACO信息素衰减系数直接影响算法的收敛速度,ρ的取值范围为0.6-0.9之间;F=Q/(1+RMSECVmin),式中Q为显著因子用来调整目标函数的收敛速度,Q的取值范围为0.1-0.3之间;RMSECVmin为最优模型对应预测集上的RMSECV值,若波长点在得到RMSECVmin的最优波长组合中,则按F=Q/(1+RMSECVmin)计算得到目标函数F的值;若波长点不在最优波长组合中,则F直接取值为0。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611236928.5A CN106644983B (zh) | 2016-12-28 | 2016-12-28 | 一种基于pls-vip-aco算法的光谱波长选择方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611236928.5A CN106644983B (zh) | 2016-12-28 | 2016-12-28 | 一种基于pls-vip-aco算法的光谱波长选择方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106644983A CN106644983A (zh) | 2017-05-10 |
CN106644983B true CN106644983B (zh) | 2019-12-31 |
Family
ID=58832378
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611236928.5A Active CN106644983B (zh) | 2016-12-28 | 2016-12-28 | 一种基于pls-vip-aco算法的光谱波长选择方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106644983B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108681697B (zh) * | 2018-04-28 | 2021-03-23 | 北京农业质量标准与检测技术研究中心 | 特征选择方法及装置 |
CN108596123A (zh) * | 2018-04-28 | 2018-09-28 | 山东师范大学 | 一种基于高光谱分析的水果硬度检测方法及装置 |
CN109270022B (zh) * | 2018-09-14 | 2020-03-10 | 山东大学 | 一种近红外光谱模型的波段选择方法及模型构建方法 |
CN111178180B (zh) * | 2019-12-16 | 2023-08-11 | 广州地理研究所 | 基于改进型蚁群算法的高光谱影像特征选择方法及装置 |
CN113049507A (zh) * | 2021-03-09 | 2021-06-29 | 三峡大学 | 多模型融合的光谱波长选择方法 |
CN113030010A (zh) * | 2021-03-11 | 2021-06-25 | 贵州省生物技术研究所(贵州省生物技术重点实验室、贵州省马铃薯研究所、贵州省食品加工研究所) | 一种基于逐步缩短步长优中选优的近红外光谱特征波数的筛选方法 |
CN116561620B (zh) * | 2023-04-17 | 2024-05-03 | 中煤科工集团上海有限公司 | 基于变量投影重要性的libs光谱数据处理方法、设备和介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1657907A (zh) * | 2005-03-23 | 2005-08-24 | 江苏大学 | 基于间隔偏最小二乘法的农产品、食品近红外光谱谱区选择方法 |
CN101806728A (zh) * | 2010-03-12 | 2010-08-18 | 江苏大学 | 基于模拟退火算法的近红外光谱特征波长的选择方法 |
CN103308463A (zh) * | 2013-06-28 | 2013-09-18 | 中国农业大学 | 一种近红外光谱特征谱区选择方法 |
CN103344600A (zh) * | 2013-06-28 | 2013-10-09 | 中国农业大学 | 一种蚁群优化算法的近红外光谱特征波长选择方法 |
CN104502306A (zh) * | 2014-12-09 | 2015-04-08 | 西北师范大学 | 基于变量重要性的近红外光谱波长选择方法 |
CN105372198A (zh) * | 2015-10-28 | 2016-03-02 | 中北大学 | 基于集成l1正则化的红外光谱波长选择方法 |
CN105445215A (zh) * | 2015-12-02 | 2016-03-30 | 中北大学 | 基于离散多重宇宙优化算法的红外光谱波长选择方法 |
CN105630743A (zh) * | 2015-12-24 | 2016-06-01 | 浙江大学 | 一种光谱波数的选择方法 |
CN105806803A (zh) * | 2016-03-15 | 2016-07-27 | 潘涛 | 一种多指标协同分析波长组合及其选择方法 |
-
2016
- 2016-12-28 CN CN201611236928.5A patent/CN106644983B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1657907A (zh) * | 2005-03-23 | 2005-08-24 | 江苏大学 | 基于间隔偏最小二乘法的农产品、食品近红外光谱谱区选择方法 |
CN101806728A (zh) * | 2010-03-12 | 2010-08-18 | 江苏大学 | 基于模拟退火算法的近红外光谱特征波长的选择方法 |
CN103308463A (zh) * | 2013-06-28 | 2013-09-18 | 中国农业大学 | 一种近红外光谱特征谱区选择方法 |
CN103344600A (zh) * | 2013-06-28 | 2013-10-09 | 中国农业大学 | 一种蚁群优化算法的近红外光谱特征波长选择方法 |
CN104502306A (zh) * | 2014-12-09 | 2015-04-08 | 西北师范大学 | 基于变量重要性的近红外光谱波长选择方法 |
CN105372198A (zh) * | 2015-10-28 | 2016-03-02 | 中北大学 | 基于集成l1正则化的红外光谱波长选择方法 |
CN105445215A (zh) * | 2015-12-02 | 2016-03-30 | 中北大学 | 基于离散多重宇宙优化算法的红外光谱波长选择方法 |
CN105630743A (zh) * | 2015-12-24 | 2016-06-01 | 浙江大学 | 一种光谱波数的选择方法 |
CN105806803A (zh) * | 2016-03-15 | 2016-07-27 | 潘涛 | 一种多指标协同分析波长组合及其选择方法 |
Non-Patent Citations (4)
Title |
---|
A new method for wavelength interval selection that intelligently optimizes the locations, widths and combinations of the intervals;Bai-Chuan Deng et al.;《Analyst》;20151231;第140卷(第6期);第1876-1885页 * |
A novel algorithm for spectral interval combination optimization;Xiangzhong Song et al.;《Analytica Chimica Acta》;20161215;第948卷;第19-29页 * |
波长选择算法在近红外光谱法中药有效成分测量中的应用;谷筱玉 等;《光谱学与光谱分析》;20060930;第26卷(第9期);第1618-1620页 * |
近红外分析中光谱预处理及波长选择;褚小立 等;《化学进展》;20040731;第16卷(第4期);第528-542页 * |
Also Published As
Publication number | Publication date |
---|---|
CN106644983A (zh) | 2017-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106644983B (zh) | 一种基于pls-vip-aco算法的光谱波长选择方法 | |
Van Oijen et al. | Bayesian calibration of process-based forest models: bridging the gap between models and data | |
CN105630743B (zh) | 一种光谱波数的选择方法 | |
WO2021073541A1 (zh) | 一种基于光谱相似度的校正集和验证集的选择及建模方法 | |
CN110532674B (zh) | 一种燃煤电站锅炉炉膛温度测量方法 | |
CN104020127B (zh) | 一种利用近红外光谱快速测量烟叶中无机元素的方法 | |
CN107491784A (zh) | 基于深度学习算法的烟叶近红外光谱定量建模方法及应用 | |
He et al. | Online updating of NIR model and its industrial application via adaptive wavelength selection and local regression strategy | |
US11340160B2 (en) | Method for near-infrared spectral wavelength selection based on improved team progress algorithm | |
CN113657452B (zh) | 基于主成分分析和超级学习的烟叶质量等级分类预测方法 | |
CN105095652B (zh) | 基于堆叠极限学习机的样品成份测定方法 | |
CN114088661B (zh) | 一种基于迁移学习和近红外光谱的烟叶烘烤过程化学成分在线预测方法 | |
Zhang et al. | Prediction of soluble solids content, firmness and pH of pear by signals of electronic nose sensors | |
CN109060716B (zh) | 基于窗口竞争性自适应重加权采样策略的近红外特征光谱变量选择方法 | |
CN112630180B (zh) | 水体中有机磷农药浓度检测的紫外/可见光吸收光谱模型 | |
CN105092509B (zh) | 一种基于pcr‑elm算法的样品成份测定方法 | |
Parrenin et al. | A decision support tool for the first stage of the tempering process of organic wheat grains in a mill | |
CN112881333B (zh) | 一种基于改进免疫遗传算法的近红外光谱波长筛选方法 | |
CN114062306B (zh) | 一种近红外光谱数据分段预处理方法 | |
CN113686810B (zh) | 一种基于卷积神经网络的近红外光谱波长选择方法 | |
CN115910223A (zh) | 基于PLS-LSBoost梯度提升树的辐照白酒生产工艺优化方法 | |
Liu et al. | A novel wavelength selection strategy for chlorophyll prediction by MWPLS and GA | |
CN104964943A (zh) | 一种基于自适应Group Lasso的红外光谱波长选择方法 | |
CN113125377A (zh) | 一种基于近红外光谱检测柴油性质的方法及装置 | |
Hao et al. | Application of effective wavelength selection methods to determine total acidity of navel orange |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |