CN105630743B - 一种光谱波数的选择方法 - Google Patents

一种光谱波数的选择方法 Download PDF

Info

Publication number
CN105630743B
CN105630743B CN201510991505.3A CN201510991505A CN105630743B CN 105630743 B CN105630743 B CN 105630743B CN 201510991505 A CN201510991505 A CN 201510991505A CN 105630743 B CN105630743 B CN 105630743B
Authority
CN
China
Prior art keywords
wave number
wave
collection
subset
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510991505.3A
Other languages
English (en)
Other versions
CN105630743A (zh
Inventor
卢建刚
杨静文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201510991505.3A priority Critical patent/CN105630743B/zh
Publication of CN105630743A publication Critical patent/CN105630743A/zh
Application granted granted Critical
Publication of CN105630743B publication Critical patent/CN105630743B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Algebra (AREA)
  • Health & Medical Sciences (AREA)
  • Operations Research (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Complex Calculations (AREA)

Abstract

本发明公开了一种光谱波数的选择方法，所述方法针对光谱的波数，多次随机抽样校正样本，建立偏最小二乘回归模型，计算每个波数的变量投影重要性系数，按降序排序，并得到与之相应排列顺序的波数集，对重排后的波数集进行逐步波数筛选，统计每次波数选择的结果，得到波数初选集；然后统计所有波数初选集内每个波数的偏最小二乘回归系数的绝对值并作相应的处理，并对处理后的偏最小二乘回归系数按降序排序，记录对应的波数排列次序，再采用反向剔除弱相关的波数的策略，从而获得最优特征波数集。本发明能充分挖掘波数中的有效信息，有效克服波数选择的主观性问题，最大限度地提取特征波数，消除弱相关因素的影响，显著提高了模型的稳健性与精度。

Description

一种光谱波数的选择方法
技术领域
本发明涉及光谱分析领域，尤其是涉及一种光谱波数的选择方法。
背景技术
光谱分析技术作为一种快速无损的定量分析方法，已成功应用于食品、农业、石油化工等领域。然而光谱检测中获得的谱图往往重叠严重，光谱信息冗余，特征吸收区域不明显。为了提高模型预测精度和简化模型，需要对波数进行优选，选择与待测样本信息最相关的特征波数用于模型的建立。
目前，关于光谱分析中波长(波长是波数的倒数)选择方法的研究，主要有基于间隔的波长选择策略、无信息变量消除算法等方法。基于间隔的波长选择策略，波长区间大小的选择难以确定，且特征波长可能只是单独的点，而选择出的波长段中可能含有无关的波长，并不能最大程度地消除无关波长；无信息变量消除算法消除无关变量也是一种常用的波长选择方法，其采用对校正光谱矩阵人为产生一噪声矩阵，消除信息小于噪声变量的波长的方法进行特征波长提取，但这种方法也存在一定的主观性，并且噪声矩阵的选择影响着波长选择的结果，最终波长选择结果通常存在较多的冗余。上述现有方法的局限性，影响了模型的稳健性与精度。
发明内容
本发明的目的在于，针对现有技术的不足，提供一种光谱波数的选择方法。
为此，本发明采用如下解决方案：
一种光谱波数的选择方法，所述光谱波数的选择方法针对光谱的波数，多次随机抽取校正样本，建立偏最小二乘回归模型，计算每个波数的变量投影重要性系数(VariableImportance in the Projection，VIP)，按降序排序，并得到与之相应排列顺序的波数集，对重排后的波数集进行逐步波数筛选，统计每次波数选择的结果，得到波数初选集；然后统计所有波数初选集内每个波数的偏最小二乘回归系数的绝对值并作相应的处理，对处理后的偏最小二乘回归系数按降序排序，记录对应的波数排列次序，再采用反向剔除弱相关的波数的策略，从而获得最优特征波数集。
本发明的基于变量投影重要性系数与偏最小二乘回归系数协同的光谱特征波数选择方法，所述方法包括以下步骤：
步骤(1)，对于样本个数为m、波数个数为p的样本集，建立样本光谱矩阵X(m×p)，样本性质矩阵为Y(m×1)，样本原波数集V＝{x1,x2,…,xp}；设定最大统计次数T，设定建模过程中最大筛选次数KMAX，初始化统计次数t＝1；同时，将样本集划分为校正集及预测集；
步骤(2)，从步骤(1)所述的校正集内随机抽取S个样本作为校正样本集，对校正样本集建立偏最小二乘(Partial Least Squares,PLS)回归模型；
步骤(3)，基于步骤(2)中建立的偏最小二乘回归模型，通过变量投影重要性系数(VIP)来判断每个波数对建立模型的重要程度，VIP值大的波数对模型的重要程度高，将VIP值按降序排列，并得到和VIP值排列顺序相对应的波数集Vt,1，然后，根据每个波数对模型的重要程度，逐步淘汰波数，并计算第k次淘汰波数时建模的交叉验证均方根误差RMSECVt,k(Root Mean Square Error of Cross Validation)，记录第k次淘汰波数时波数子集Vt,k，其中k为从1到KMAX的自然数；
步骤(4)，查找交叉验证均方根误差RMSECVt,k(k＝1,2…,KMAX)的最小值，将此次波数选择的波数子集Vt,k记为波数初选集selected_t，并记录波数子集selected_t对应的回归模型系数矩阵绝对值w_t；
步骤(5)，重复步骤(2)到步骤(4)，直至达到最大统计次数T，获得波数子集selected_t(t＝1,2,…,T)，同时得到每个波数子集对应的回归模型系数矩阵绝对值集合{w_1,w_2,…,w_T}；
步骤(6)，统计出每个波数在步骤(5)中的集合{w_1,w_2,…,w_T}相应的回归模型系数值之和，并做归一化处理得到矩阵W1×p，并将W1×p每个波数按大小从高至低排列，得到矩阵WS1×p；记与矩阵WS1×p相对应的原波数重排后的波数集为resort_wave＝{x′1,x′2,…,x′p}，其中x′1为原波数集内偏最小二乘回归系数最大的波数点，x′p为原波数集内偏最小二乘回归系数最小的波数点；
步骤(7)，针对步骤(6)所述的波数集采取反向剔除法，即从低位开始逐个剔除系数值小的波数；剔除个数设定阈值g，所述阈值g为自然数，所述阈值g大于等于2同时小于步骤(1)所述的波数个数p，在步骤(6)所述的波数集resort_wave＝{x′1,x′2,…,x′p}中，将波数子集{x′p-g+1,…,x′p-1,x′p}剔除，将波数子集{x′1,…,x′p-g-1,x′p-g}保留并作为最优特征波数子集selected_wave。
优选地，所述步骤(1)中，所述最大统计次数T的取值范围优选在100到1000之间。
优选地，所述最大筛选次数KMAX的取值范围为1到波数个数p，优选在20到200之间。
优选地，所述步骤(7)中，所述阈值g的优选值设定方法为：基于所述步骤(6)划分的波数集，第1步首先从所述步骤(6)中所述的波数集resort_wave＝{x′1,x′2,…,x′p}中剔除偏最小二乘回归系数最小的波数点x′p，将剩余的波数子集{x′1,…,x′p-1}按所述步骤(1)中已划分好的校正集及预测集的样本建立PLS回归模型，计算波数集剔除数目为1时模型的综合评价指标CP1；第2步从波数子集{x′1,…,x′p-1}中剔除x′p-1，将剩余波数子集{x′1,…,x′p-2}按所述步骤(1)中已划分好的校正集及预测集的样本建立PLS回归模型，计算波数集剔除数目为2时模型的综合评价指标CP2；第k步从波数子集{x′1,…,x′p-k+1}中剔除x′p-k+1，将剩余的波数子集{x′1,…,x′p-k}按所述步骤(1)中已划分好的校正集及预测集的样本建立PLS回归模型，计算波数集剔除数目为k时模型的综合评价指标CPk；重复上述计算，直至第(p-2)步，计算波数集剔除数目为(p-2)时的综合评价指标CPp-2，此时仅剩偏最小二乘回归系数最大的两个波数x′1和x′2；所述CPi(i＝1,…,p-2)最小值所对应的波数剔除数目为阈值g的优选值；所述CPi(i＝1,…,p-2)的值，优选模型校正标准偏差RMSECV与模型预测标准偏差RMSEP的加和。
本发明所提供的光谱波数的选择方法具有以下优点：
(1)采用随机采样的方式来确定校正样本，消除人为划分校正样本建模的主观因素；
(2)结合变量投影重要性系数与偏最小二乘回归系数共同进行波数筛选，最大化地甄别出有益波数；
(3)统计多次波数选择的结果，克服由于由所选择的校正样本对于波数重要性评价的影响，最大限度地提取特征波数；
(4)经过优选波数变量，能使用较少波数建立简化模型，且所建模型稳健性好、精度高。
附图说明
图1为本发明基于变量投影重要性系数与偏最小二乘回归系数协同的光谱特征波数选择方法的流程图；
图2为生物柴油调和油拉曼光谱的原始光谱图；
图3为全部波数及其回归模型系数指标的统计图，圆圈标出的点是最终筛选出的特征波数；
图4为波数子集数目与模型的综合评价指标CP的关系图；
图5为筛选出的特征波数与拉曼光谱谱图的关系；
图6为生物柴油调和油浓度的预测值与真实值的比较图。
具体实施方式
本发明的具体实施方式，将结合附图和拉曼光谱分析的具体实施例进行详述。
图1为本发明提出的基于变量投影重要性系数与偏最小二乘回归系数协同的光谱特征波数选择方法的流程图。
本具体实施例，采用生物柴油调和油拉曼光谱数据样本来验证本发明的方法。该数据集包含62个拉曼光谱测量样本，生物柴油的质量含量范围为0％～100％(w/w)，考察拉曼光谱与调和油中生物柴油浓度之间的关系。拉曼光谱波数区间进行线性插值处理后得到共2033个波数，样本的原始光谱图如图2所示。
针对生物柴油调和油拉曼光谱数据样本，实施本发明提出的基于变量投影重要性系数与偏最小二乘回归系数协同的光谱特征波数选择方法的步骤如下：
步骤(1)，对于样本个数为62、波数个数为p＝2033、原波数集为V＝{x1,···,xp-1,xp}＝{1,···,2032,2033}的生物柴油调和油拉曼光谱样本集，建立样本光谱矩阵X(m×p)，表征调和油中生物柴油浓度的性质矩阵为Y(m×1)；由于建模样本的随机性，所述最大统计次数T其取值范围优选在100到1000之间，T值越大，波数选择所需的时间越长，T值太小又难以消除建模样本的随机性对结果的影响，本具体实施例中设定T＝500；所述最大筛选次数KMAX决定着每次波数初选过程的效率，其取值范围为1到波数个数p，本具体实施例中KMAX＝131；初始化统计次数t＝1。将原始62个生物柴油调和油拉曼光谱样本划分为包含44个校正集样本和18个预测集样本。
步骤(2)，从步骤(1)所述的校正集内随机抽取S＝0.8×44(取整)，即35个样本作为校正样本集cal。对校正样本集按公式(1)建立潜变量个数为A的偏最小二乘(PartialLeast Squares,PLS)回归模型；该模型的数学表达式如下：
Xcal＝TPT+E (1)
Ycal＝UQT+F (2)
T＝XW(PT W)-1 (3)
其中校正光谱矩阵Xcal的得分矩阵是T，载荷矩阵是P，权重矩阵是W，残差光谱是E；校正样本浓度性质矩阵Ycal的得分矩阵是U，载荷矩阵是Q，残差光谱是F。
步骤(3)，基于步骤(2)中建立的PLS回归模型，按照公式(2)计算每个波数对模型的重要程度指标：变量投影重要性系数VIP。第j(j＝1,···,p)个波数的VIP值的计算公式如下：
其中wa，ta和qa分别是矩阵W，T和Q的第a列。wja是第j个波数在第a个潜变量中的权重值。变量投影重要性系数VIPj越大，表示波数j对于建立回归模型的重要程度越高。
然后，将变量投影重要性系数VIP按降序排序，采用半折法逐步淘汰波数：
第1次淘汰波数时建模采用的波数个数为p，计算此时建模的交叉验证均方根误差RMSECVt,1，记录此时波数集Vt,1；第2次淘汰波数时被淘汰的波数是波数集Vt,1的后一半，采用剩余的波数进行建模，计算第2次淘汰波数时模型的交叉验证均方根误差RMSECVt,2，记录此时波数子集Vt,2；直到第k次淘汰波数时，判断上一次波数子集Vt,k-1中波数个数是否大于2且小于200，若大于2且小于200时淘汰波数集Vt,k-1中最后一个波数，否则淘汰波数子集Vt,k-1的后一半，剩余的波数进行建模，计算第k次淘汰波数时建模的交叉验证均方根误差RMSECVt,k，记录此时波数子集Vt,k；重复上述计算，直到第KMAX次淘汰波数时建模采用的波数只剩下两个重要程度最高的波数，计算第KMAX次淘汰波数时建模的交叉验证均方根误差RMSECVt,KMAX，记录此时波数子集Vt,KMAX。
步骤(4)，查找交叉验证均方根误差RMSECVt,k(k＝1,2,···,KMAX)中的最小值，将此次波数选择的波数子集Vt,k记为波数初选集selected_t；记录波数初选集对应的回归系数矩阵w_t。矩阵w_t即公式(5)中矩阵B的绝对值：
YcalsX(cal,selected_t)B+e (5)
其中X(cal,selected_t)是校正集光谱矩阵Xcal中对应的波数初选集selected_t列，校正模型的回归系数是B＝[b1,b2,···,bp]T，e是模型偏差。
步骤(5)，重复步骤(2)到步骤(4)，直至达到最大统计次数T，获得波数回归系数绝对值矩阵集{w_1,w_2,···,w_T}，统计出达到最大统计次数T后每个波数对应的回归系数绝对值之和矩阵本样本集的回归系数绝对值和矩阵为W1×2033＝[w1,w2,···,w2033]。
步骤(6)，对步骤(5)所述的回归模型系数绝对值和矩阵W1×2033做归一化处理：得矩阵W′1×2033。回归模型系数均值与波数关系如图3所示；然后将原波数按回归模型系数均值大小降序排序，得到波数集resort_wave＝{x′1,···，x′p-1,x′p}，x′1为原波数集内系数最大的波数点，x′p为原波数集内系数最小的波数点；
步骤(7)，为步骤(6)所述的波数子集个数设定阈值g，在步骤(6)所述波数集resort_wave＝{x′1,···，x′p-1,x′p}中，将波数子集{x′p-g+1,···，x′p-1,x′p}剔除，将波数子集{x′1,···，x′p-g-1,x′p-g}保留并作为最优特征波数子集selected_wave。本样本集的波数集为resort_wave＝{x′1,···，x′2032,x′2033}；
步骤(7)中阈值g的优选值设定方法具体是：第1步首先从所述步骤(6)中所述的波数集{x′1,···，x′2032,x′2033}中剔除偏最小二乘回归系数最小的波数子集x′2033，将剩余的波数子集{x′1,···，x′2032}按所述步骤(1)中所述已划分好的校正集及预测集的样本建立PLS回归模型，计算波数集剔除数目为1时所建立模型的综合评价指标CP1；第2步从波数子集{x′1,···，x′2032}中剔除x′2032，将剩余的波数子集{x′1,···，x′2031}按所述步骤(1)中所述已划分好的校正集及预测集的样本建立PLS回归模型，计算波数子集剔除数目为2时所建立模型的综合评价指标CP2；第k步从波数子集{x′1,···，x′2034-k}中剔除所述步骤(6)中所述的x′2034-k，以剩余的波数子集{x′1,···，x′2033-k}对所述步骤(1)中所述样本集的已划分好校正集及预测集的样本建立PLS回归模型，计算波数子集剔除数目为k时所建立模型的综合评价指标CPk；重复上述计算，直至第2031步，计算波数子集剔除数目为2031时的综合评价指标CP2031，此时仅剩偏最小二乘回归系数最大的最后两个波数。
图4为波数子集数目与模型的综合评价指标CP的关系图；查找上述指标CP所有2031个值中的CP最小值，模型综合指标CP为最小值时(图4中圆圈内的点)所对应的波数子集内波数数目为364；故阈值g的优选值为1669，将波数子集{x′365,···，x′2032,x′2033}删除，得到最优特征波数子集selected_wave＝{x′1,···，x′363,x′364}，其中x′1＝1964，x′p＝209；共364个特征波数，仅占原始波数的17.9％。
图5是最优特征波数在生物柴油调和油样本浓度为2％的拉曼光谱中的分布情况。
结果验证：采用上述方法所得的最优特征波数子集selected_wave建立校正模型，图6为采用上述选择的最优特征波数集selected_wave建立PLS回归模型得到的真实值与预测值关系。表1比较了本发明方法与全波数方法以及相关系数法(CC)、无信息变量消除算法(UVE)、基于间隔的波长选择策略(iPLS)等常用的波数选择方法，结果表明本发明方法采用了较少的波数个数，并获得了预测均方根误差RMSEP(Root Mean Square Error ofPrediction)为最小的理想结果。
表1的结果充分表明：本发明方法能高效地提取最优特征波数，可靠地精简模型，显著地提高模型的稳健性与精度。
表1
本发明上述具体实施方式中所涉及的光谱为拉曼光谱，仅为优选实施例，具体实施时，也可以用于紫外光谱、可见光谱、近红外光谱、中红外光谱、远红外光谱、荧光光谱等光谱的特征波数选择。
本发明涉及光谱特征波数选择方法，由于根据光学的基本原理，光的波数与光的波长、光的频率这三种参数之间可以直接相互换算，故本发明的方法也可以称为光谱特征波长选择方法或光谱特征频率选择方法。
上述具体实施方式用来解释说明本发明，仅为本发明的优选实施例而已，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改、等同替换、改进等，都落入本发明的保护范围。

Claims (4)

1.一种光谱波数的选择方法，其特征在于，所述光谱波数的选择方法针对光谱的波数，多次随机抽样校正样本，建立偏最小二乘回归模型，计算每个波数的变量投影重要性系数VIP，按降序排序，并得到与之相应排列顺序的波数集，对重排后的波数集进行逐步波数筛选，统计每次波数选择的结果，得到波数初选集；然后统计所有波数初选集内每个波数的偏最小二乘回归系数的绝对值并作相应的处理，并对处理后的偏最小二乘回归系数按降序排序，记录对应的波数排列次序，再采用反向剔除弱相关的波数的策略，从而获得最优特征波数集，具体步骤包括：
步骤(1)，对于样本个数为m、波数个数为p的样本集，建立样本光谱矩阵X(m×p)，样本性质矩阵为Y(m×1)，样本原波数集V＝{x1,x2,…,xp}；设定最大统计次数T，设定建模过程中最大筛选次数KMAX，初始化统计次数t＝1；同时，将样本集划分为校正集及预测集；
步骤(2)，从步骤(1)所述的校正集内随机抽取S个样本作为校正样本集，对校正样本集建立偏最小二乘回归模型；
步骤(3)，基于步骤(2)中建立的偏最小二乘回归模型，通过变量投影重要性系数来判断每个波数对建立模型的重要程度，VIP值大的波数对模型的重要程度高，将VIP值按降序排列，并得到和VIP值排列顺序相对应的波数集Vt,1，然后，根据每个波数对模型的重要程度，逐步淘汰波数，并计算第k次淘汰波数时建模的交叉验证均方根误差RMSECVt,k，记录第k次淘汰波数时波数子集Vt,k，其中k为从1到KMAX的自然数；
步骤(4)，查找交叉验证均方根误差RMSECVt,k的最小值，将此次波数选择的波数子集Vt,k记为波数初选集selected_t，并记录波数子集selected_t对应的回归模型系数绝对值的矩阵w_t；
步骤(5)，重复步骤(2)到步骤(4)，直至达到最大统计次数T，获得波数子集selected_t，其中t＝1,2,…,T，同时得到每个波数子集对应的回归模型系数绝对值的矩阵集合{w_1,w_2,…,w_T}；
步骤(6)，统计出每个波数在步骤(5)中的集合{w_1,w_2,…,w_T}相应的回归模型系数值之和，并做归一化处理得到矩阵W1×p，将W1×p每个波数按降序排列，得到矩阵WS1×p；记与矩阵WS1×p相对应的原波数重排后的波数集为resort_wave＝{x′1,x′2,…,x′p}，其中x′1为原波数集内偏最小二乘回归系数最大的波数点，x′p为原波数集内偏最小二乘回归系数最小的波数点；
步骤(7)，针对步骤(6)所述的波数集采取反向剔除法，即从低位开始逐个剔除系数值小的波数；剔除个数设定阈值g，所述阈值g为自然数，所述阈值g大于等于2同时小于步骤(1)所述的波数个数p，在步骤(6)所述的波数集resort_wave＝{x′1,x′2,…,x′p}中，将波数子集{x′p-g+1,…,x′p-1,x′p}剔除，波数子集{x′1,…,x′p-g-1,x′p-g}保留并作为最优特征波数子集selected_wave。
2.根据权利要求1所述的一种光谱波数的选择方法，其特征在于，所述步骤(1)中，所述最大统计次数T的取值范围优选在100到1000之间。
3.根据权利要求1所述的一种光谱波数的选择方法，其特征在于，所述步骤(1)中，所述最大筛选次数KMAX的取值范围优选在20到200之间。
4.根据权利要求1所述的一种光谱波数的选择方法，其特征在于，所述步骤(7)中，所述阈值g的优选值设定方法为：基于所述步骤(6)划分的波数集，第1步首先从所述步骤(6)中所述的波数集resort_wave＝{x′1,x′2,…,x′p}中剔除偏最小二乘回归系数最小的波数点x′p，将剩余的波数子集{x′1,…,x′p-1}按所述步骤(1)中所述已划分好的校正集及预测集的样本建立PLS回归模型，计算波数集剔除数目为1时所建模型的综合评价指标CP1；第2步从波数子集{x′1,…,x′p-1}中剔除x′p-1，将剩余波数子集{x′1,…,x′p-2}按所述步骤(1)中所述已划分好的校正集及预测集的样本建立PLS回归模型，计算波数集剔除数目为2时所建模型的综合评价指标CP2；第k步从波数子集{x′1,…,x′p-k+1}中剔除x′p-k+1，将剩余的波数子集{x′1,…,x′p-k}按所述步骤(1)中所述已划分好的校正集及预测集的样本建立PLS回归模型，计算波数集剔除数目为k时模型的综合评价指标CPk；重复上述计算，直至第(p-2)步，计算波数集剔除数目为(p-2)时的模型综合评价指标CPp-2，此时仅剩偏最小二乘回归系数最大的两个波数x′1和x′2；所述CPi最小值所对应的波数剔除数目为阈值g的优选值，其中i＝1,…,p-2；所述CPi的值为模型校正标准偏差RMSECV与模型预测标准偏差RMSEP的加和，其中i＝1,…,p-2。
CN201510991505.3A 2015-12-24 2015-12-24 一种光谱波数的选择方法 Active CN105630743B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510991505.3A CN105630743B (zh) 2015-12-24 2015-12-24 一种光谱波数的选择方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510991505.3A CN105630743B (zh) 2015-12-24 2015-12-24 一种光谱波数的选择方法

Publications (2)

Publication Number Publication Date
CN105630743A CN105630743A (zh) 2016-06-01
CN105630743B true CN105630743B (zh) 2018-05-01

Family

ID=56045706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510991505.3A Active CN105630743B (zh) 2015-12-24 2015-12-24 一种光谱波数的选择方法

Country Status (1)

Country Link
CN (1) CN105630743B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020136376A1 (en) * 2018-12-24 2020-07-02 Cell Therapy Catapult Limited Methods for determining viral titre using raman spectroscopy

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106644983B (zh) * 2016-12-28 2019-12-31 浙江大学 一种基于pls-vip-aco算法的光谱波长选择方法
CN106918567B (zh) * 2017-03-27 2019-05-28 中南大学 一种测量痕量金属离子浓度的方法和装置
CN109783772B (zh) * 2017-11-14 2023-12-22 贵州中烟工业有限责任公司 一种确定偏最小二乘回归潜变量数的方法
CN108681697B (zh) * 2018-04-28 2021-03-23 北京农业质量标准与检测技术研究中心 特征选择方法及装置
CN109060716B (zh) * 2018-08-31 2021-03-02 湖南农业大学 基于窗口竞争性自适应重加权采样策略的近红外特征光谱变量选择方法
CN109839358B (zh) * 2019-01-22 2021-08-10 北京农业质量标准与检测技术研究中心 农产品品质分析方法及装置
CN110210005A (zh) * 2019-06-11 2019-09-06 浙江中烟工业有限责任公司 一种无参考值的光谱波数选择方法
CN110726694A (zh) * 2019-10-22 2020-01-24 常州大学 光谱变量梯度集成遗传算法的特征波长选择方法和系统
CN112444500B (zh) * 2020-11-11 2022-06-24 东北大学秦皇岛分校 一种基于光谱的阿尔茨海默症智能检测装置
CN113030010A (zh) * 2021-03-11 2021-06-25 贵州省生物技术研究所(贵州省生物技术重点实验室、贵州省马铃薯研究所、贵州省食品加工研究所) 一种基于逐步缩短步长优中选优的近红外光谱特征波数的筛选方法
CN113190957B (zh) * 2021-03-24 2024-03-22 中国海洋大学 基于消除策略的可控源电磁仿真波数序列优化方法
CN114166764A (zh) * 2021-11-09 2022-03-11 中国农业科学院农产品加工研究所 基于特征波长筛选的光谱特征模型的构建方法及装置
CN114486761B (zh) * 2022-01-24 2024-04-12 云南省热带作物科学研究所 一种橡胶树叶片镁含量快速估算方法
CN115656074B (zh) * 2022-12-28 2023-04-07 山东省科学院海洋仪器仪表研究所 一种海水cod光谱变量特征自适应选择估计方法
CN116008208A (zh) * 2023-03-27 2023-04-25 山东省科学院海洋仪器仪表研究所 一种海水硝酸盐浓度特征光谱波段的选择方法
CN116561620B (zh) * 2023-04-17 2024-05-03 中煤科工集团上海有限公司 基于变量投影重要性的libs光谱数据处理方法、设备和介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101430276B (zh) * 2008-12-15 2012-01-04 北京航空航天大学 光谱分析中波长变量优选的方法
CN102128805A (zh) * 2010-12-23 2011-07-20 华东交通大学 果品近红外光谱波长选择和快速定量分析方法及装置
JP5678148B2 (ja) * 2013-08-20 2015-02-25 株式会社Ｉｈｉインフラシステム コンクリートの診断方法、データベース装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020136376A1 (en) * 2018-12-24 2020-07-02 Cell Therapy Catapult Limited Methods for determining viral titre using raman spectroscopy

Also Published As

Publication number Publication date
CN105630743A (zh) 2016-06-01

Similar Documents

Publication Publication Date Title
CN105630743B (zh) 一种光谱波数的选择方法
WO2018010352A1 (zh) 一种定性定量相结合的近红外定量模型构建方法
CN109253985B (zh) 基于神经网络的近红外光谱识别古筝面板用木材等级的方法
WO2016000088A1 (zh) 一种基于最佳指数-相关系数法的高光谱波段提取方法
CN103487411A (zh) 一种随机森林算法结合激光诱导击穿光谱识别钢材牌号的方法
CN106644983A (zh) 一种基于pls‑vip‑aco算法的光谱波长选择方法
CN104374738A (zh) 一种基于近红外提高鉴别结果的定性分析方法
CN112700325A (zh) 一种基于Stacking集成学习的网贷回头客预测的方法
CN102937575B (zh) 一种基于二次光谱重组的西瓜糖度快速建模方法
CN104062262A (zh) 一种基于近红外光谱的作物种子品种真实性鉴别方法
CN106644978A (zh) 可判定精度的基于光谱特征波长分析土壤养分含量检测法
CN107132266A (zh) 一种基于随机森林的水质分类方法及系统
CN109344907A (zh) 基于改进评判标准分类算法的判别方法
CN104374739A (zh) 一种基于近红外定性分析的种子品种真实性鉴别方法
CN105717066A (zh) 一种基于加权相关系数的近红外光谱识别模型
CN110132879A (zh) 一种基于近红外光谱的烤烟香韵鉴别方法
CN103278467A (zh) 一种植物叶片氮素丰缺快速无损高准确率的鉴别方法
CN111709775A (zh) 一种房产价格评估方法、装置、电子设备及存储介质
CN110363119A (zh) 基于小波变换-随机森林算法的烟叶霉变快速识别方法
CN103743705A (zh) 一种假高粱及其近似物种的快速检测方法
CN109142251B (zh) 随机森林辅助人工神经网络的libs定量分析方法
CN106770005B (zh) 一种用于近红外光谱分析的校正集和验证集的划分方法
CN102128805A (zh) 果品近红外光谱波长选择和快速定量分析方法及装置
CN106845051A (zh) 一种基于组合优化的近红外无创血糖检测波长变量筛选方法
CN108663334A (zh) 基于多分类器融合寻找土壤养分光谱特征波长的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant