CN115236028A - 基于有标样模型传递的提高模型稳健性的波段筛选方法 - Google Patents
基于有标样模型传递的提高模型稳健性的波段筛选方法 Download PDFInfo
- Publication number
- CN115236028A CN115236028A CN202110435528.1A CN202110435528A CN115236028A CN 115236028 A CN115236028 A CN 115236028A CN 202110435528 A CN202110435528 A CN 202110435528A CN 115236028 A CN115236028 A CN 115236028A
- Authority
- CN
- China
- Prior art keywords
- model
- standard sample
- instrument
- spectrum
- threshold
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000012216 screening Methods 0.000 title claims abstract description 13
- 230000005540 biological transmission Effects 0.000 title claims abstract description 9
- 238000001228 spectrum Methods 0.000 claims abstract description 32
- 238000012937 correction Methods 0.000 claims abstract description 7
- 238000012546 transfer Methods 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 5
- 238000010187 selection method Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 abstract description 6
- 235000004936 Bromus mango Nutrition 0.000 abstract description 5
- 235000014826 Mangifera indica Nutrition 0.000 abstract description 5
- 235000009184 Spondias indica Nutrition 0.000 abstract description 5
- 238000005457 optimization Methods 0.000 abstract description 5
- 239000007787 solid Substances 0.000 abstract description 2
- 240000007228 Mangifera indica Species 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 6
- 238000002329 infrared spectrum Methods 0.000 description 6
- 230000003595 spectral effect Effects 0.000 description 5
- 241001093152 Mangifera Species 0.000 description 4
- 238000011160 research Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000001831 conversion spectrum Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 235000021022 fresh fruits Nutrition 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/3563—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing solids; Preparation of samples therefor
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/12—Circuits of general importance; Signal processing
- G01N2201/13—Standards, constitution
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本文提出一种基于有标样模型传递的相对误差分析(Relative error analysis,REA)的波段筛选方法，该方法主要根据经模型传递校正后从仪器标样集光谱与主仪器标样集光谱间的相对误差，剔除偏差过大的波段，选择一致性较好的波段建立主仪器预测模型，从而提高模型的稳健性。使用模型的预测均方根误差作为评价模型预测性能的指标，并由此确定波段的相对误差的最优阈值。相对变化率作为评价该方法对预测模型优化能力的指标，并与其他波段筛选方法的相对变化率进行对比验证该方法的有效性。并将该方法用于芒果可溶性固形物的预测模型中，以此证明该方法的可行性。
Description
技术领域
本发明涉及一种基于有标样模型传递的提高模型稳健性的波段筛选方法。属于近红外无损检测应用领域。
背景技术
得益于近红外光谱分析技术可以对样本进行无损、快速实时的检测，目前该技术也被广泛应用于鲜果内部品质的无损检测，也相应地研发出了多种无损检测仪器。由于近红外光谱普遍存在噪声、吸收强度弱，光谱重叠等缺点，需要借助稳定的模型才能进行定量或者定性的分析，但在实际生产过程中，存在环境、仪器或加工精度、仪器老化等不稳定因素，这些因素对光谱信号产生了一定影响，进而出现模型通用性问题，最终导致台间差，严重制约了光谱分析技术的发展。所以，对仪器的光谱信号进行校正，建立一种模型之间的传递，实现仪器之间模型共享的方法，已经成为近红外光谱分析技术的一项重要研究工作。
目前，近红外光谱模型传递技术已经取得了一些成果，但在实际的生产中，模型传递技术并没有广泛的使用，根本原因还是模型传递后的预测精度不够理想，建立的预测模型的稳健性还有待提高。对从仪器光谱用模型传递算法校正后，与主仪器的光谱并不能完全吻合，在部分波段存在较大偏差，这些波段会极大地影响模型的预测效果。因此，如何将偏差较大的波段剔除，筛选出一致性较好的波段是在模型传递过程中需要考虑到的。
发明内容
为了克服现有技术的不足，本发明基于有标样模型传递的主从仪器间的相对误差分析，提出了一种相对误差分析(Relative error analysis,REA)的波段选择方法。为了达到上述目的，本发明的技术解决方案如下：
1.首先，在主、从仪器上记录标准样品的近红外光谱，利用SPXY从原始样本中提取75％作为模型传递的标样集光谱，剩余25％作为测试光谱。利用模型传递算法建立主、从标样光谱间的校正函数，再将从仪器标样光谱带入该函数中，得到校正后的光谱数据集Xms，将标样光谱信号作为分析的变量，求算Xms与主仪器标样光谱Xm之间的绝对误差(Absoluteerror,AE),如公式(1)所示，其中j为光谱波长点数，Xmsj为第j个波长点的转换谱，Xmj为第j个波长点的主仪器标样谱。计算出各波段的AE值后，代入公式(2)求算解两组数据的相对误差(Relative error,RE)。
AEj＝Xmsj-Xmj (1)
2.其次，再根据RE值求各波段的平均相对误差(Mean Relative Error,MRE)的绝对值|MREj|，计算方法如公式(3)所示，其中i为样本序号，n为样本总数.
3.最后，利用计算得到的|MREj|值绘制出相对误差曲线，以|MREj|值为波段一致性的评价指标。根据各波段的|MREj|分布划分阈值，对阈值内的波段进行筛选，依据偏最小二乘法(Partial least squares,PLS)建立SSC预测模型，对比不同阈值(Threshold,T)筛选的波段建立的PLS模型预测均方根误差(Root mean square error of prediction,RMSEP)，最小的RMSEP值对应的便是最优阈值。
4.阈值筛选是为确保所选择的波长适合该模型的传递，阈值T主要依据|MREj|确定，本文主要将T的值主要根据|MREj|值的范围来确定。T＝1时，对应|MREj|≤1，T＝2对应|MREj|≤2，以此类推，当T＝20时对应的为|MREj|≤20，T越低说明主从仪器在该阈值对应的波段的响应更具一致性。然而，T值过小也会导致筛选的波段过少，存在有效信息的波段被剔除的风险，本研究采用的筛选方法可将这种风险降到最低。使用PLS预测模型的RMSEP值作为筛选波段的评价指标。
5.对波段筛选的优化性能进行评价。使用标准化前RMSEP(before)(定义式为公式(4)所示)和标准化后RMSEP(after)(定义式为公式(5)所示)之间的相对变化率(Relativevariation ratio,RVR)来比较各模型对从仪器光谱的校正能力，RVR值越高，说明校正前后的RMSEP值变化越大，该方法的优化性能越好，定义式如公式(6)所示。
其中n表示样本数，i表示样本中第i个样本i＝1,2,3,…,n。ym表示主仪器光谱浓度值ys表示从仪器光谱浓度值，yc表示传递后从仪器光谱浓度值。
6.将其与其他变量选择方法进行比较，验证方法的有效性。为了评估各种方法的优化性能，统一将模型传递前的主、从仪器模型的RMSEP作为计算RVR值的RMSEP(before)，再对比各方法下的RVR值，以便评估哪种方法对主仪器的预测模型优化能力更强。
附图说明
图1为本发明总体流程图。
图2为原始主、从仪器采集的近红外光谱图。
图3为各方法建立的PLS预测模型散点图。
具体实施方式
实施方案：为了证明本发明的适用性，结合实例进行详细的说明。但是本发明也可以应用于本次所采用的实例之外的光谱数据。
图1是本发明提供的REA波段筛选方法的流程图，本发明具体包括以下步骤：
(1)本次研究选用的样品是产于中国四川攀枝花米易县的鹰嘴芒，为了建立更加稳定的模型需要保证实验样品间可溶性固形物足够大的梯度范围，总共选择了116个芒果。实验分别采用海洋光学公司生产的两台不同型号的光谱仪，QE65Pro(主仪器)和QE65000(从仪器)微型光纤科研级光谱仪采集芒果的光谱数据。采集前将样品先置于(22±1)℃的实验室环境中24h，避免温度对测量结果的影响，以空气作为参比，控制环境光照度低于1lx，采用积分球漫反射部件测试，22℃下扫描20次，主、从仪器采集波长范围分别在317.60-1115.08nm、349.26-1131.78nm，分别都为1044个波长点数，分辨率分别0.76nm和为0.75nm。并采集芒果赤道部位关于果核对称的两个面的光谱信息，共获得232组样本信息，使用SPXY算法按照3:1的比例选择174个样本作为标样集，58个样本作为测试集。
(2)对于芒果样本的光谱数据，采集光谱时所用的主从仪器型号不同，仪器的入射狭缝、光栅、探测器不同，导致最终测得的光谱波长点数、光谱数据长度存在很大差异，主、从仪器测量的光谱信号无法相匹配。又由于光谱仪采集波段范围不同，本文截取公共波段350nm-1115nm作为研究波段(主仪器采集波段：317.60-1115.08nm；从仪器采集波段：349.26-1131.78nm)，波长点数为766个。根据光谱信号具有连续性的特点，采用均值插补法对光谱数据进行插补，插补后的主、从仪器数据点可以较好地匹配，为后续的数据分析奠定基础。
(3)为验证REA方法的适用性，本研究主要使用了光谱空间变换SST模型传递方法。通过校正后的主仪器预测模型结果如图3(b)所示。
(4)为确定波段筛选的最优阈值，将各波段的|MRE|划分成15个阈值：T＝1,2,3，…，15，各阈值对应的波段的|MREj|范围分别为：|MREj|≤1,|MREj|≤2,|MREj|≤3,…,|MREj|≤15。在不同阈值下得到的预测模型的RMSEP分布情况如图2所示。
(5)根据确定的最佳阈值筛选波段，并建立PLS模型，再与竞争性自适应重加权算法(CARS),连续投影算法(SPA),无变量信息消除(UVE)筛选的波段建立的预测结果做对比，建模散点图如图3所示。建模数据如下表所示(表中WW表示全波段，RMSEC表示校正均方根误差)；
本方案到此结束。
Claims (4)
1.基于有标样模型传递的提高模型稳健性的波段筛选方法，其特征在于：利用SPXY划分标样集和测试集，通过有标样模型传递算法构建主、从仪器标样集的校正函数，再用该函数关系对从仪器标样集光谱进行校正，从而计算校正后的从仪器光谱与主仪器光谱之间的相对误差，根据相对误差的大小范围划分阈值，选择每个阈值含有的波段。
2.根据权利要求1所述标样集，其特征在于：分别采用预测均方根误差以及相对变化率对预测模型所得结果进行评价。
3.根据权利要求2所述预测模型，其特征在于：用主、从仪器的校正函数对从仪器测试集样本进行校正，利用各阈值内的波段建立主仪器标样集的预测模型，将阈值内校正后的从仪器测试集光谱返回预测模型中，计算得到模型的预测均方根误差，取该值作为最终的判断依据，排列各阈值的预测均方根误差选择最优阈值。
4.根据权利要求3所述变量选择方法，其特征在于：与其他变量选择方法进行比较来验证该方法的有效性，为了保证预测模型的稳健性，只提取出一致性好的波段。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110435528.1A CN115236028A (zh) | 2021-04-22 | 2021-04-22 | 基于有标样模型传递的提高模型稳健性的波段筛选方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110435528.1A CN115236028A (zh) | 2021-04-22 | 2021-04-22 | 基于有标样模型传递的提高模型稳健性的波段筛选方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115236028A true CN115236028A (zh) | 2022-10-25 |
Family
ID=83666352
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110435528.1A Pending CN115236028A (zh) | 2021-04-22 | 2021-04-22 | 基于有标样模型传递的提高模型稳健性的波段筛选方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115236028A (zh) |
-
2021
- 2021-04-22 CN CN202110435528.1A patent/CN115236028A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107703097B (zh) | 利用近红外光谱仪构建快速预测原油性质的模型的方法 | |
| CN111855608B (zh) | 基于融合特征波长选择算法的苹果酸度近红外无损检测方法 | |
| CN105300923A (zh) | 一种近红外光谱分析仪在线应用时无测点温度补偿模型修正方法 | |
| CN117349683B (zh) | 基于光谱数据的汽车配件涂装色差异常检测系统 | |
| CN109324014B (zh) | 一种自适应的原油性质近红外快速预测方法 | |
| CN105486655A (zh) | 基于红外光谱智能鉴定模型的土壤有机质快速检测方法 | |
| CN113340874B (zh) | 一种基于结合岭回归和递归特征消除的定量分析方法 | |
| CN109324013A (zh) | 一种利用高斯过程回归模型构建原油性质近红外快速分析的方法 | |
| CN111879709B (zh) | 湖泊水体光谱反射率检验方法及装置 | |
| CN113420795A (zh) | 一种基于空洞卷积神经网络的矿物光谱分类方法 | |
| CN111999258A (zh) | 一种面向光谱基线校正的加权建模局部优化方法 | |
| WO2023108514A1 (zh) | 茶叶近红外光谱分析中谱峰自动检测与重构方法及系统 | |
| CN113076692B (zh) | 一种反演叶片氮素含量的方法 | |
| CN108663334B (zh) | 基于多分类器融合寻找土壤养分光谱特征波长的方法 | |
| CN113267466B (zh) | 基于光谱波长优选的水果糖度和酸度无损检测方法 | |
| CN112651173B (zh) | 一种基于跨域光谱信息的农产品品质无损检测方法及可泛化系统 | |
| CN107169161B (zh) | 分段直接矫正及斜率和截距修正的土壤养分模型转移方法 | |
| CN113030011A (zh) | 水果糖度快速无损检测方法及检测系统 | |
| CN115236028A (zh) | 基于有标样模型传递的提高模型稳健性的波段筛选方法 | |
| CN116718613A (zh) | 基于太赫兹谱的环氧玻璃纤维复合材料内部缺陷检测方法 | |
| CN115266583B (zh) | 环境光滤除方法、系统、计算机设备及计算机可读存储介质 | |
| CN108267422B (zh) | 基于近红外光谱分析的异常样本剔除法 | |
| CN115855860A (zh) | 一种茶叶干燥过程中的水分含量预测方法及处理终端 | |
| CN112949169B (zh) | 一种基于光谱分析的煤样化验值预测方法 | |
| CN112229817A (zh) | 一种苏打盐碱地重金属定量反演模型建立方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20221025 |
|
| WD01 | Invention patent application deemed withdrawn after publication |