CN109444072A - 一种近红外光谱模型转移中诡峰的解决方法 - Google Patents
一种近红外光谱模型转移中诡峰的解决方法 Download PDFInfo
- Publication number
- CN109444072A CN109444072A CN201811189178.XA CN201811189178A CN109444072A CN 109444072 A CN109444072 A CN 109444072A CN 201811189178 A CN201811189178 A CN 201811189178A CN 109444072 A CN109444072 A CN 109444072A
- Authority
- CN
- China
- Prior art keywords
- spectrometer
- spectrum
- data
- model
- transfer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012546 transfer Methods 0.000 title claims abstract description 28
- 238000004497 NIR spectroscopy Methods 0.000 title abstract description 3
- 238000001228 spectrum Methods 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000002835 absorbance Methods 0.000 claims abstract description 19
- 238000000513 principal component analysis Methods 0.000 claims abstract description 6
- 230000003595 spectral effect Effects 0.000 claims abstract description 6
- 238000012937 correction Methods 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000002329 infrared spectrum Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 230000008030 elimination Effects 0.000 claims description 2
- 238000003379 elimination reaction Methods 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 206010027476 Metastases Diseases 0.000 abstract 3
- 230000009401 metastasis Effects 0.000 abstract 3
- 238000012417 linear regression Methods 0.000 abstract 2
- 238000004611 spectroscopical analysis Methods 0.000 abstract 2
- 230000000694 effects Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明公开了一种近红外光谱模型转移中诡峰的解决方法，该方法首先对源光谱仪每个波数点的吸光度数据，在目标光谱仪相应波数点附近取窗；然后对目标光谱仪窗中光谱数据进行主成分分析，获得其主成分分量，并建立其到源光谱仪吸光度数据的线性模型；再次，对源光谱仪各个波数点数据均使用含系数范数惩罚的线性回归求解方法，建立全谱段的光谱转移模型；最后通过调整惩罚参数，可以控制对转移光谱的诡峰削除程度。本发明使用含系数范数惩罚的线性回归方法建立光谱转移模型，相较于传统的基于偏最小二乘方法的转移模型其光谱更为平滑、鲁棒性更好。
Description
技术领域
本发明属于基于近红外光谱的性质快速分析领域，具体为一种近红外光谱模型转移中诡峰的解决方法。
背景技术
在基于近红外光谱的性质快速分析领域，经常涉及模型转移的问题。采用一台光谱仪建立的校正模型，即使是相同型号的另一台仪器，直接应用该校正模型也有可能产生较大的预测偏差。通常，通过建立一个目标光谱仪到源光谱仪的光谱对应关系来解决这种问题，称为模型转移。
目前，这种转移模型通常是建立在目标光谱仪数据窗到源光谱仪数据点的偏最小二乘(PLS)模型。但在实际应用中，PLS模型极易出现具有尖锐抖动的所谓“诡峰”。诡峰的出现源自PLS模型中范数较大的系数，其本质上是对建模数据的过拟合。但在PLS模型中难以直接对模型系数进行约束，进而影响了模型转移效果。
发明内容
针对目前基于PLS的光谱模型转移中容易出现诡峰的问题，本发明提出一种近红外光谱模型转移中诡峰的解决方法，主要步骤包括：
1)将各校正样本在源光谱仪和目标光谱仪上分别扫描其近红外吸光度数据；
2)数据预处理；
3)取校正样本在源光谱仪某波数点i的吸光度yi；取校正样本在目标光谱仪该波数点i附近取宽度为k的数据段Xi，称为数据窗；
4)对Xi进行主成分分析，并取前pi个主成分得分PCi和对应的载荷系数矩阵Li；
5)建立从PCi到yi的含系数范数惩罚的线性模型，该模型参数θi由下式求解得到：
其中，I为单位矩阵，λi为惩罚参数，为yi的平均值；
6)建立从Xi到yi的线性模型Mi
其中，为Xi每一维均值所构成的均值向量；
7)对于全谱段数据依次进行3)～6)的步骤，直至源光谱仪与目标光谱仪所有波数点映射关系建立完毕，获得全谱段光谱转移模型系数表；
8)基于光谱转移模型将测试样本在目标光谱仪上获得的近红外吸光度数据转移到源光谱仪上。
优选的，数据窗宽k取奇数，以波数点i为中心；当波数点i位于谱段两端时，允许波数点i不位于中心。
优选的，数据窗宽k不小于9。
具体的，数据窗宽k取值为15。
优选的，前pi个主成分得分占到所有主成分得分的85％以上。
优选的，所述预处理包括基线校正和矢量归一化。
优选的，步骤5)中，所述惩罚参数λi的初值取为1.0×10-4。
优选的，步骤8)中诡峰削除程度不足，返回步骤5)加大惩罚参数λi进行修正。
有益效果：
本发明通过对目标光谱仪吸光度数据段进行主成分分析，获取主成分，建立从主成分到源光谱仪吸光度数据的含系数范数惩罚的线性模型，结合了主成分分析和小范数系数平滑作用的优势。相较于传统的基于偏最小二乘方法的转移模型其光谱更为平滑、鲁棒性更好。
附图说明
图1为本发明方法流程图
图2为测试光谱的转移效果对比图
图3为测试光谱的转移效果局部放大对比图
具体实施方式
下面结合附图以及具体的实施例，给出详细的计算过程和具体操作流程，以对本发明作进一步说明。实施例以本发明技术方案为前提下进行实施，但本发明的保护范围不限于该光谱库及下述实施例。
实施例中的光谱库采用某公司采集的20例馏分油，各个样品均在源光谱仪和目标光谱仪上分别扫描其近红外吸光度数据(即光谱)，并截取5000～9000cm-1波数范围数据段，数据已预先经过基线校正和矢量归一化预处理。其中取19例样本作为校正样本，1例样本作为测试样本。在该实施例中，利用在目标光谱仪、源光谱仪测得的校正样本光谱数据，建立从目标光谱仪到源光谱仪的光谱转移模型，并利用该模型将测试样本的目标光谱仪光谱转移到源光谱仪上，以验证消除诡峰的有效性。
根据图1所示的本发明方法流程图，首先选取校正集样本，并测定其在目标光谱仪上的光谱，如表1所示，其中测试样本在目标光谱仪上的光谱见表1中的最后一行。
表1：目标光谱仪测得的样品光谱数据
校正样本在源光谱仪上的光谱如表2所示。
表2：源光谱仪测得的样品光谱数据
以第1个波数点即5002.98为例，以该点为中心选择目标光谱仪的数据窗，但由于该光谱点位于左侧尽头，故选取5002.98～5056.98波数范围共计k＝15个波数数据，记为X1，如表3所示。
表3：5002.98波数附近的目标光谱仪吸光度数据窗
对表3数据进行主成分分析，由于当主成分数达到6时，其得分已占总得分的85％以上，因此选择主成分数p1＝6，各校正样本主成分得分PC1及载荷系数矩阵L1分别如表4和表5所示。
表4：5002.98波数附近的目标光谱仪数据窗主成分得分
| 得分 | 1 | 2 | 3 | 4 | 5 | 6 |
| 1 | -0.0137 | 0.0010 | -2.0E-04 | 8.2E-05 | 6.7E-05 | 4.3E-06 |
| 2 | 0.0190 | -0.0004 | -2.0E-04 | -1.3E-04 | 5.7E-05 | 3.5E-05 |
| 3 | 0.0185 | -0.0003 | -3.7E-04 | -1.6E-04 | 3.0E-05 | -9.1E-07 |
| … | … | … | … | … | … | … |
| 18 | 0.0041 | 0.0009 | 1.0E-04 | -9.1E-05 | -1.4E-05 | -2.9E-05 |
| 19 | 0.0130 | -0.0005 | 2.9E-06 | 2.2E-04 | -6.9E-05 | -3.8E-06 |
表5：5002.98波数附近的目标光谱仪数据窗主成分载荷系数矩阵
| 载荷 | 1 | 2 | 3 | 4 | 5 | 6 |
| 1 | 0.27 | -0.27 | 0.38 | 0.66 | -0.08 | 0.25 |
| 2 | 0.27 | -0.25 | 0.35 | 0.11 | 0.03 | -0.44 |
| 3 | 0.27 | -0.24 | 0.26 | -0.18 | 0.03 | -0.33 |
| … | … | … | … | … | … | … |
| 14 | 0.24 | 0.41 | 0.23 | -0.14 | -0.15 | 0.15 |
| 15 | 0.24 | 0.49 | 0.30 | -0.19 | -0.37 | -0.05 |
取惩罚参数λ1＝1.0×10-4，采用公式：
求解可得，在5002.98波数点处，源光谱仪吸光度y1对应于目标光谱仪吸光度数据窗的线性模型系数θ1＝[0.0722,-0.1218,0.0491,0.0090,-0.0113,-0.0035]。
利用表5的载荷系数矩阵L1，求解在目标光谱仪吸光度数据上的线性模型：
可得在该波数点对应于目标光谱仪吸光度的线性模型为：
y＝0.0622+0.0772x1+0.0699x2+0.0602x3+0.0492x4+0.0395x5+0.0319x6+0.0245x7+0.0140x8+0.0034x9-0.0050x10-0.0164x11-0.0239x12-0.0213x13-0.0214x14-0.0247x15
其中，y表示校正样本在该波数点处(5002.98)源光谱仪的吸光度，x1～x15分别表示目标光谱仪在5002.98～5056.98波数范围内的15个吸光度变量。
按照上述方法，可对源光谱仪的每一个波数点建立线性模型，并转换为对应数据窗内各变量的系数，系数矩阵表如表6所示。
表6：全谱段光谱转移模型系数表
对于待转移的测试样本，通过构建数据窗，并应用表6的线性模型，即可将目标光谱仪光谱转移到源光谱仪上。
现取表1所示的测试样本进行转移实验。利用表6，可将该例测试样本转移到源光谱仪上。为便于对比，利用表1和表2的校正样本，建立传统的基于PLS的光谱转移模型，并对同一测试样本进行转移。PLS模型和本专利模型的转移后光谱如图2所示，可见PLS模型的转移谱图中存在尖锐的毛刺，即“诡峰”。为进一步清晰化，取6000-7000波数段的光谱进行局部放大，如图3所示。可见，本专利方法削除了诡峰，同时保持转移谱线的主体部分不变。如果诡峰削除程度不足，可通过加大惩罚参数λi来解决。由此可见，本专利提出的诡峰解决方法是行之有效的。
Claims (8)
1.一种近红外光谱模型转移中诡峰的解决方法，其特征在于包括以下步骤：
1)将各校正样本在源光谱仪和目标光谱仪上分别扫描其近红外吸光度数据；
2)数据预处理；
3)取校正样本在源光谱仪某波数点i的吸光度yi；取校正样本在目标光谱仪该波数点i附近取宽度为k的数据段Xi，称为数据窗；
4)对Xi进行主成分分析，并取前pi个主成分得分PCi和对应的载荷系数矩阵Li；
5)建立从PCi到yi的含系数范数惩罚的线性模型，该模型参数θi由下式求解得到：
其中，I为单位矩阵，λi为惩罚参数，为yi的平均值；
6)建立从Xi到yi的线性模型Mi
其中，为Xi每一维均值所构成的均值向量；
7)对于全谱段数据依次进行3)～6)的步骤，直至源光谱仪与目标光谱仪所有波数点映射关系建立完毕，获得全谱段光谱转移模型系数表；
8)基于光谱转移模型将测试样本在目标光谱仪上获得的近红外吸光度数据转移到源光谱仪上。
2.根据权利要求1所述的一种近红外光谱模型转移中诡峰的解决方法，其特征在于数据窗宽k取奇数，以波数点i为中心；当波数点i位于谱段两端时，允许波数点i不位于中心。
3.根据权利要求1所述的一种近红外光谱模型转移中诡峰的解决方法，其特征在于数据窗宽k不小于9。
4.根据权利要求3所述的一种近红外光谱模型转移中诡峰的解决方法，其特征在于数据窗宽k取值为15。
5.根据权利要求1所述的一种近红外光谱模型转移中诡峰的解决方法，其特征在于前pi个主成分得分占到所有主成分得分的85％以上。
6.根据权利要求1所述的一种近红外光谱模型转移中诡峰的解决方法，其特征在于所述预处理包括基线校正和矢量归一化。
7.根据权利要求1所述的一种近红外光谱模型转移中诡峰的解决方法，其特征在于步骤5)中，所述惩罚参数λi的初值取为1.0×10-4。
8.根据权利要求7所述的一种近红外光谱模型转移中诡峰的解决方法，其特征在于若步骤8)中诡峰削除程度不足，返回步骤5)加大惩罚参数λi进行修正。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811189178.XA CN109444072B (zh) | 2018-10-12 | 2018-10-12 | 一种近红外光谱模型转移中诡峰的解决方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811189178.XA CN109444072B (zh) | 2018-10-12 | 2018-10-12 | 一种近红外光谱模型转移中诡峰的解决方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109444072A true CN109444072A (zh) | 2019-03-08 |
| CN109444072B CN109444072B (zh) | 2021-02-09 |
Family
ID=65544809
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811189178.XA Active CN109444072B (zh) | 2018-10-12 | 2018-10-12 | 一种近红外光谱模型转移中诡峰的解决方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109444072B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111198165A (zh) * | 2020-01-14 | 2020-05-26 | 重庆理工大学 | 一种基于光谱数据标准化进行水质参数的测定方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105628645A (zh) * | 2015-12-28 | 2016-06-01 | 贵州中烟工业有限责任公司 | 一种近红外分析模型的转移方法 |
| CN105842190A (zh) * | 2016-03-17 | 2016-08-10 | 浙江中烟工业有限责任公司 | 一种基于谱回归的近红外模型转移方法 |
| CN106716109A (zh) * | 2014-07-30 | 2017-05-24 | 史密斯探测公司 | 用于光谱校正的水干扰估计 |
| CN108509998A (zh) * | 2018-03-30 | 2018-09-07 | 中国科学院半导体研究所 | 一种用于目标的在不同设备上鉴别的迁移学习方法 |
-
2018
- 2018-10-12 CN CN201811189178.XA patent/CN109444072B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106716109A (zh) * | 2014-07-30 | 2017-05-24 | 史密斯探测公司 | 用于光谱校正的水干扰估计 |
| CN105628645A (zh) * | 2015-12-28 | 2016-06-01 | 贵州中烟工业有限责任公司 | 一种近红外分析模型的转移方法 |
| CN105842190A (zh) * | 2016-03-17 | 2016-08-10 | 浙江中烟工业有限责任公司 | 一种基于谱回归的近红外模型转移方法 |
| CN108509998A (zh) * | 2018-03-30 | 2018-09-07 | 中国科学院半导体研究所 | 一种用于目标的在不同设备上鉴别的迁移学习方法 |
Non-Patent Citations (2)
| Title |
|---|
| BINFENG YU 等: "Standardization of near infrared spectra based on multi-task learning", 《SPECTROSCOPY LETTERS》 * |
| 张进 等: "近红外光谱模型转移新算法", 《化学进展》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111198165A (zh) * | 2020-01-14 | 2020-05-26 | 重庆理工大学 | 一种基于光谱数据标准化进行水质参数的测定方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109444072B (zh) | 2021-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108844939B (zh) | 基于非对称加权最小二乘的拉曼光谱检测基线校正方法 | |
| CN107064054B (zh) | 一种基于cc-pls-rbfnn优化模型的近红外光谱分析方法 | |
| CN110503156B (zh) | 一种基于最小相关系数的多变量校正特征波长选择方法 | |
| CN105628645B (zh) | 一种近红外分析模型的转移方法 | |
| CN106248621B (zh) | 一种评价方法与系统 | |
| CN113762208B (zh) | 一种近红外光谱与特征图谱的图谱转换方法及其应用 | |
| CN105372198B (zh) | 基于集成l1正则化的红外光谱波长选择方法 | |
| CN111563436B (zh) | 一种基于ct-cdd的红外光谱测量仪器标定迁移方法 | |
| Park et al. | Improved prediction of biomass composition for switchgrass using reproducing kernel methods with wavelet compressed FT-NIR spectra | |
| CN112666097B (zh) | 一种傅里叶红外多项式迭代平滑滤波基线校正方法 | |
| CN101598784B (zh) | 基于fa模型的强噪声背景下雷达距离像统计识别方法 | |
| CN109992861A (zh) | 一种近红外光谱建模方法 | |
| CN109444072B (zh) | 一种近红外光谱模型转移中诡峰的解决方法 | |
| US20230243744A1 (en) | Method and system for automatically detecting and reconstructing spectrum peaks in near infrared spectrum analysis of tea | |
| CN117007184A (zh) | 一种光谱的全自动光谱基线校正方法 | |
| CN116388733A (zh) | 一种适用于近红外水果无损检测的光谱预处理方法及装置 | |
| CN112396567A (zh) | 基于法向修正与位置滤波两步法的散乱点云去噪方法 | |
| CN114971259A (zh) | 一种利用近红外光谱分析配方产品质量一致性的方法 | |
| CN109839362A (zh) | 基于渐进式去噪技术的红外光谱定量分析方法 | |
| CN113297722A (zh) | 滨海土壤盐分评估方法及系统 | |
| CN112782115A (zh) | 一种基于近红外光谱检验卷烟感官特征一致性的方法 | |
| CN105067558B (zh) | 近红外定性鉴别特征提取方法 | |
| Shan et al. | A nonlinear calibration transfer method based on joint kernel subspace | |
| CN116484989A (zh) | 一种基于深度迁移学习的烟叶近红外多组分预测方法 | |
| CN115438566A (zh) | 一种基于全连接和rnn神经网络的大气辐射传输模型模拟方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |