CN104990895B - 一种基于局部区域的近红外光谱信号标准正态校正方法 - Google Patents
一种基于局部区域的近红外光谱信号标准正态校正方法 Download PDFInfo
- Publication number
- CN104990895B CN104990895B CN201510447038.8A CN201510447038A CN104990895B CN 104990895 B CN104990895 B CN 104990895B CN 201510447038 A CN201510447038 A CN 201510447038A CN 104990895 B CN104990895 B CN 104990895B
- Authority
- CN
- China
- Prior art keywords
- spectrum
- near infrared
- correction
- band
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Abstract
本发明涉及一种基于局部区域的近红外光谱信号标准正态校正方法,步骤如下:1)利用近红外光谱仪采集待测样品的近红外光谱数据;2)采用等分的方式对全谱区域进行分隔,将全谱分为N等分,根据N数值的不同进行多次划分;3)对每一次划分,计算每个子波段的校正参数,并利用算得的参数对该谱段进行校正:4)对每一次划分,对校正后的全谱进行PLS建模,并计算模型的交叉验证根均方误差;5)确定最优的分隔数N opt ;6)确定最优的训练集模型;7)对测试集光谱进行N opt 等分,对每个子波段进行校正,带入步骤6)中的模型进行感兴趣成分含量的预测。本发明可以有效的抑制近红外光谱中的散射等干扰因素,提高了模型的预测精度。
Description
技术领域
本发明涉及近红外光谱定量分析领域中一种光谱信号预处理方法,更具体的说就是一种基于局部区域的近红外光谱信号标准正态校正方法。
背景技术
近红外光谱能够表征待测物中多种含氢基团信息,具有采样方便、无损伤、无污染、能够在线检测等优点,非常适合用于各种复杂混合物的检测。近红外光谱检测技术目前已广泛应用于制药、烟草、石油化工及农业等领域。近年来,近红外光谱技术结合多元校正技术如偏最小二乘算法(Partial Least Squares,PLS)等进行定量分析越来越普遍。然而,在实际应用中,光谱信号的采集经常会受到制样不均的干扰,例如颗粒的不均匀,样本的厚度不均匀等。由此带来的光谱散射效应以及光程变化等会破坏光谱信号与待测物含量间的线性关系,使得模型的解释性降低,同时带来预测精度的下降。因此,在建模前,通常使用光谱预处理的方式来降低甚至消除这些干扰因素。
常用的近红外光谱预处理技术主要有多元散射校正和标准正态变量校正。两种方法都假设光谱干扰项可由一常数项a和一乘性项b组成,通过对两种干扰项进行消除来达到校正目的,其公式为其中,x和xcorr分别代表原始光谱和校正后光谱。MSC方法通过指定一条‘参考光谱’(通常为所有光谱的平均谱),计算每个样本光谱到参考谱的回归系数作为校正参数,并根据求解的回归系数对光谱进行校正。SNV方法并不需指定或计算一条参考谱,而是计算光谱的均值和标准差作为常数项和乘性项,由于SNV方法不涉及‘参考光谱’的选择,计算简便,效果较好,是目前国际上常用的光谱预处理方法。
现有的预处理方法均在全谱上统一估计校正参数,统一校正。然而,近红外光谱涵盖范围广泛,数据维数高,光谱的不同区域体现出不同的特点,单一的全谱估计全谱校正方法难以精确校正光谱所有波段的干扰,更为严重的,在某些波段,可能由于校正参数选择的不准确导致校正效果的不理想和建模失败。现有的预处理方法存在校正参数的估计不准确,从而致使光谱预处理效果和建模效果不理想。
发明内容
为了解决上述的技术问题,本发明的目的是提供一种基于局部区域的近红外光谱信号标准正态校正方法,通过局部估计局部校正的方法,降低光谱信号中的干扰因素,提高后续近红外光谱定量分析中的模型精度。
为了实现上述的目的,本发明采用了以下的技术方案:
一种基于局部区域的近红外光谱信号标准正态校正方法,该方法包括以下的步骤:
1)利用近红外光谱仪采集待测样品的近红外光谱数据,同时利用其它方法测得待测样品感兴趣成分的含量;
2)采用等分的方式对全谱区域进行分隔,将全谱分为N等分,根据N数值的不同进行多次划分;
3)对每一次划分,计算每个子波段的校正参数,并利用算得的参数对该谱段进行校正:
4)对每一次划分,对校正后的全谱进行PLS建模,并计算模型的交叉验证根均方误差;
5)确定最优的分隔数Nopt,其定义为最小RMSECV所对应的分隔数;
6)确定最优的训练集模型,其定义为最小RMSECV所对应的PLS模型;
7)对测试集光谱进行Nopt等分,对每个子波段进行校正,带入步骤6)中的模型进行感兴趣成分含量的预测。
作为优选,所述的步骤1)中的待测样品感兴趣成分含量由国际国内标准或其他成熟的化学方法测量得到。
作为优选,所述的步骤2)中用到的N的最大值视光谱所含变量的数目确定。
作为再优选,所述的步骤2)中N的最大值为10,即步骤2)中将全谱分别等分为2-10个子波段。
作为优选,所述的步骤3)中的每个子波段的校正系数分别由该波段的均值和标准差确定;其中mij为第i个样本光谱Xi在j子段的均值,Sij为第i个样本光谱Xi在j子段的标准差;步骤3)中的校正公式为
作为优选,所述的步骤4)中的PLS算法为非线性迭代偏最小二乘算法。
作为优选,所述的步骤4)中的RMSECV的计算方法为5折交叉验证。
本发明的优点是:本发明公开方法相比传统的近红外光谱预处理方法,采用了局部的参数估计及相应的校正方法。在子波段的划分中,以偏最小二乘模型的最小交叉验证误差来选择最优的划分方法。该方法可以有效的抑制近红外光谱中的散射等干扰因素,提高了模型的预测精度。
附图说明
图1为本发明公开方法的近红外光谱信号校正及建模流程图。
图2全谱校正参数与局部校正参数的对比图。上图:全谱校正参数,长线代表光谱均值(加项校正参数),断线代表光谱标准差(乘项校正参数);下图:局部校正参数,光谱被划分为若干个子段,每个子段分别求取相应的校正参数。
图3不同方法得到的近红外光谱。上图:未经预处理的原始光谱;中图:SNV校正后的光谱;下图:本发明提出的局部校正的光谱。
图4不同预处理方法在相同建模算法下的模型精度。
具体实施方式
如图1所示,本发明提出一种基于局部区域的近红外光谱信号标准正态校正方法的优化实施例,具体实施过程如下所述:
1)利用近红外光谱仪采集待测样品的近红外光谱数据,同时利用其它方法测得待测样品感兴趣成分的含量。本发明中近红外光谱数据以2维矩阵形式存储,其矩阵的行列分别代表样品数目及光谱的维数。
2)对步骤1中的获取的光谱,使其所含变量的数目确定最细的划分数K,例如在变量数为700的情况下,最细划分数为K=10。
3)对步骤2中的划分执行2至K次。在每次等分后,剩余的若干波数点并入最后一个子波段。
4)对步骤3中每次划分的各个子段计算相应的校正参数,利用公式校正公式为对该子段进行校正,其中xij为原始光谱中第i次划分中的第j个子段,xijcorr为xij经过校正后的光谱,mij为第i个样本光谱xi在j子段的均值,sij为第i个样本光谱xi在j子段的标准差。
5)对步骤4中获得的不同划分参数下的校正光谱进行PLS建模,并计算每个模型的RMSECV。
6)对步骤5中获得的各模型RMSECV进行比较,以RMSECV最小值对应的划分参数作为最优划分参数Nopt。其相应的PLS模型为最终确定的训练集模型。
7)对预测集光谱进行Nopt等分。按步骤4中的方法进行全谱的校正。将校正后的光谱带入步骤6中的训练集模型,实现对测试集样本目标化学值的预测。
本发明技术与现有技术的实验比较及结果如下:
本节通过本发明技术与现有技术(未经预处理No processing,标准正态校正SNV)对比,通过校正参数估计和校正后数据的建模结果来说明本发明的有效性。
图2展示了由全谱估计校正参数和由局部波段分别估计校正参数的差异。在全谱估计中(图2上图),加性项参数由全谱的均值得到,乘性项由全谱的标准差得到。然而,从局部看,全谱参数并不能很好的符合光谱局部波段的特征,其校正也失去了原有的意义。而本发明所提出的局部校正方法,同时估计多个光谱子波段的校正参数,其参数随波段的不同而变化,可以很好的表征光谱的各局部波段的特点。
图3展示了不同方法处理后的光谱数据形态。上图为未经任何预处理的原始光谱,从图中可以看出,光谱收到了很严重的散射干扰,不同样本间的吸收变化剧烈;中图为SNV校正后的光谱,相比原始谱而言,散射干扰得到了一定的抑制。然而,观察光谱的后端(波数1000-1050),会发现这段原本在原始谱中形态较相似的光谱在经过SNV后反而差异变大,这是由于全谱估计参数与该波段的不匹配造成的;下图为本发明提出了局部校正方法,通过流程选出的子波段最优划分数为5,在每一子段分别估计校正参数。由图中可以看出,在光谱变化剧烈的子段,校正后仍体现出光谱的变化,而对形态较为一致的子段,校正后更好的体现其一致性。因此,相比于全谱的参数估计,局部估计方法可以更灵活更细致的反映光谱的局部信息,对干扰因素的消除也更明显。
图4列出了原始光谱,SNV校正及本发明校正光谱的模型表现。在本实验中选取了一个公开数据集Tecator验证(可以在http://lib.stat.cmu.edu/datasets/tecator下载)。Tecator为肉类的近红外透射光谱数据,由Tecator Infratec food and feedanalyzer采集得到。该数据集含有215个样本,波长范围为850-1050nm,采样间隔为2nm。在采集光谱的同时,采用标准的分析化学手段测定样本中的水分(39.3-76.6%)含量。本实验中将数据等分为4组,每次用其中三组训练,一组测试,实验结果由四次建模的结果平均得到。
Claims (2)
1.一种基于局部区域的近红外光谱信号标准正态校正方法,其特征在于该方法包括以下的步骤:
1)利用近红外光谱仪采集待测样品的近红外光谱数据,同时利用其它方法测得待测样品感兴趣成分的含量;
2)采用等分的方式对全谱区域进行分隔,将全谱分为N等分,根据N数值的不同进行多次划分;N的最大值为10,即步骤2)中将全谱分别等分为2-10个子波段;
3)对每一次划分,计算每个子波段的校正参数,并利用算得的参数对子波段进行校正,每个子波段的校正系数分别由该波段的均值和标准差确定;
其中mij为第i个样本光谱Xi在j子段的均值, S ij 为第i个样本光谱Xi在j子段的标准差;步骤3)中的校正公式为;
;
4)对每一次划分,对校正后的全谱进行PLS建模,PLS算法为非线性迭代偏最小二乘算法,并计算模型的交叉验证根均方误差,RMSECV的计算方法为5折交叉验证;
5)确定最优的分隔数N opt ,其定义为最小RMSECV所对应的分隔数;
6)确定最优的训练集模型,其定义为最小RMSECV所对应的PLS模型;
7)对测试集光谱进行N opt 等分,对每个子波段进行校正,带入步骤6)中的模型进行感兴趣成分含量的预测。
2.根据权利要求1所述的一种基于局部区域的近红外光谱信号标准正态校正方法,其特征在于步骤1)中的待测样品感兴趣成分含量由国际国内标准或其他成熟的化学方法测量得到。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510447038.8A CN104990895B (zh) | 2015-07-27 | 2015-07-27 | 一种基于局部区域的近红外光谱信号标准正态校正方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510447038.8A CN104990895B (zh) | 2015-07-27 | 2015-07-27 | 一种基于局部区域的近红外光谱信号标准正态校正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104990895A CN104990895A (zh) | 2015-10-21 |
CN104990895B true CN104990895B (zh) | 2017-10-31 |
Family
ID=54302735
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510447038.8A Active CN104990895B (zh) | 2015-07-27 | 2015-07-27 | 一种基于局部区域的近红外光谱信号标准正态校正方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104990895B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107179292B (zh) * | 2016-03-10 | 2020-03-27 | 中国农业机械化科学研究院 | 不同近红外光谱变量优选结果融合方法及应用 |
CN106338503B (zh) * | 2016-08-30 | 2019-03-29 | 广西科技大学 | 植物油的过氧化值快速检测方法 |
CN109324015B (zh) * | 2018-10-17 | 2021-07-13 | 浙江中烟工业有限责任公司 | 基于光谱相似的烟叶替代方法 |
CN110163276B (zh) * | 2019-05-15 | 2021-03-26 | 浙江中烟工业有限责任公司 | 一种近红外光谱建模样本的筛选方法 |
CN110208666B (zh) * | 2019-07-03 | 2021-07-16 | 云南电网有限责任公司电力科学研究院 | 局部放电特征光谱的选取方法 |
CN111077107A (zh) * | 2020-01-08 | 2020-04-28 | 山东金璋隆祥智能科技有限责任公司 | 一种甜菊糖提取液中糖甙含量的在线检测方法 |
CN113686811B (zh) * | 2021-08-26 | 2023-11-03 | 四川启睿克科技有限公司 | 一种基于双传感器的光谱数据处理方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1657907A (zh) * | 2005-03-23 | 2005-08-24 | 江苏大学 | 基于间隔偏最小二乘法的农产品、食品近红外光谱谱区选择方法 |
CN104155262A (zh) * | 2014-08-20 | 2014-11-19 | 浙江中烟工业有限责任公司 | 一种烟草水溶性糖近红外定量模型中光谱范围的选择方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1164217A (ja) * | 1997-08-26 | 1999-03-05 | Iseki & Co Ltd | 分光分析機における成分量検出装置 |
-
2015
- 2015-07-27 CN CN201510447038.8A patent/CN104990895B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1657907A (zh) * | 2005-03-23 | 2005-08-24 | 江苏大学 | 基于间隔偏最小二乘法的农产品、食品近红外光谱谱区选择方法 |
CN104155262A (zh) * | 2014-08-20 | 2014-11-19 | 浙江中烟工业有限责任公司 | 一种烟草水溶性糖近红外定量模型中光谱范围的选择方法 |
Non-Patent Citations (1)
Title |
---|
Interval Partial Least-Squares Regression (iPLS):A Comparative Chemometric Study with an Example from Near-Infrared Spectroscopy;L.NORGAARD et al.;《APPLIED SPECTROSCOPY》;20001231;第54卷(第3期);第415-418页 * |
Also Published As
Publication number | Publication date |
---|---|
CN104990895A (zh) | 2015-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104990895B (zh) | 一种基于局部区域的近红外光谱信号标准正态校正方法 | |
McGlone et al. | Vis/NIR estimation at harvest of pre-and post-storage quality indices for ‘Royal Gala’apple | |
US10458908B2 (en) | System and method for qualifying plant material | |
Sánchez et al. | Non-destructive characterization and quality control of intact strawberries based on NIR spectral data | |
Clark et al. | Dry matter determination in ‘Hass’ avocado by NIR spectroscopy | |
dos Santos Costa et al. | Development of predictive models for quality and maturation stage attributes of wine grapes using vis-nir reflectance spectroscopy | |
Magwaza et al. | The use of Vis/NIRS and chemometric analysis to predict fruit defects and postharvest behaviour of ‘Nules Clementine’mandarin fruit | |
Shao et al. | Visible/near infrared spectrometric technique for nondestructive assessment of tomato ‘Heatwave’(Lycopersicum esculentum) quality characteristics | |
Sun et al. | NIRS prediction of dry matter content of single olive fruit with consideration of variable sorting for normalisation pre-treatment | |
Shao et al. | Visible/near-infrared spectra for linear and nonlinear calibrations: a case to predict soluble solids contents and pH value in peach | |
Lin et al. | Theory and application of near infrared spectroscopy in assessment of fruit quality: a review | |
Xiaobo et al. | Use of FT-NIR spectrometry in non-invasive measurements of soluble solid contents (SSC) of ‘Fuji’apple based on different PLS models | |
Liu et al. | Linear and nonlinear multivariate regressions for determination sugar content of intact Gannan navel orange by Vis–NIR diffuse reflectance spectroscopy | |
Khodabakhshian et al. | Non-destructive evaluation of maturity and quality parameters of pomegranate fruit by visible/near infrared spectroscopy | |
Chen et al. | Determination of protein, total carbohydrates and crude fat contents of foxtail millet using effective wavelengths in NIR spectroscopy | |
Magwaza et al. | Assessment of rind quality of ‘Nules Clementine’mandarin fruit during postharvest storage: 2. Robust Vis/NIRS PLS models for prediction of physico-chemical attributes | |
Torres et al. | Developing universal models for the prediction of physical quality in citrus fruits analysed on-tree using portable NIRS sensors | |
Luo et al. | Robustness improvement of NIR-based determination of soluble solids in apple fruit by local calibration | |
CN104792722A (zh) | 一种沉香含油率近红外光谱预测模型的建立 | |
Li et al. | Comparison and optimization of models for determination of sugar content in pear by portable Vis-NIR spectroscopy coupled with wavelength selection algorithm | |
Torres et al. | Fast and accurate quality assessment of Raf tomatoes using NIRS technology | |
Martín-Tornero et al. | Comparative quantification of chlorophyll and polyphenol levels in grapevine leaves sampled from different geographical locations | |
CN106018331B (zh) | 多通道光谱系统的稳定性评价方法及预处理优化方法 | |
Xu et al. | Nondestructive detection of internal flavor in ‘Shatian’pomelo fruit based on visible/near infrared spectroscopy | |
Torres et al. | LOCAL regression applied to a citrus multispecies library to assess chemical quality parameters using near infrared spectroscopy |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |