CN112414966B - 基于仿射变化的近红外光谱多目标标定迁移方法 - Google Patents
基于仿射变化的近红外光谱多目标标定迁移方法 Download PDFInfo
- Publication number
- CN112414966B CN112414966B CN201910774087.0A CN201910774087A CN112414966B CN 112414966 B CN112414966 B CN 112414966B CN 201910774087 A CN201910774087 A CN 201910774087A CN 112414966 B CN112414966 B CN 112414966B
- Authority
- CN
- China
- Prior art keywords
- model
- instrument
- slave
- master
- formula
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000013508 migration Methods 0.000 title claims abstract description 17
- 230000005012 migration Effects 0.000 title claims abstract description 17
- 238000002329 infrared spectrum Methods 0.000 title claims abstract description 13
- 230000008859 change Effects 0.000 title claims abstract description 11
- 230000009466 transformation Effects 0.000 claims abstract description 23
- 101000596046 Homo sapiens Plastin-2 Proteins 0.000 claims abstract description 14
- 102100035182 Plastin-2 Human genes 0.000 claims abstract description 14
- 230000004044 response Effects 0.000 claims abstract description 8
- 238000012360 testing method Methods 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000003416 augmentation Effects 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000003595 spectral effect Effects 0.000 claims description 3
- 238000001228 spectrum Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 abstract description 10
- 238000013519 translation Methods 0.000 abstract description 2
- 238000004445 quantitative analysis Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013075 data extraction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000004451 qualitative analysis Methods 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- UFHFLCQGNIYNRP-UHFFFAOYSA-N Hydrogen Chemical compound [H][H] UFHFLCQGNIYNRP-UHFFFAOYSA-N 0.000 description 1
- 238000004497 NIR spectroscopy Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 229910052739 hydrogen Inorganic materials 0.000 description 1
- 239000001257 hydrogen Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011425 standardization method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Photometry And Measurement Of Optical Pulse Characteristics (AREA)
Abstract
本发明公开了基于仿射变化的近红外光谱多目标标定迁移方法，该发明创造性地寻求浓度之间的线性趋势，趋势通常反映为直线，并且可以通过最小二乘回归拟合，同时，在MLCTAI方法中，数据集必须包含多种物质的浓度值，因此，主仪器的预测值包含多个标签，由于从仪器缺少响应值，因此由主仪器构建的PLS2模型将应用于从仪器模型的建立，并计算伪预测值以构建从仪器线性模型，但是，从主仪器视角观察从仪器的数据时会出现偏差，偏差具体表现为从仪器模型相对于主仪器模型的角度和截距差异，仿射变换则是通过旋转和平移来校正两个仪器模型的偏差，并且最终获得校正的预测值。
Description
技术领域
本发明涉及机器学习领域技术领域，具体为基于仿射变化的近红外光谱多目标标定迁移方法。
背景技术
近红外光谱分析技术包括定性分析与定量分析。定性分析的目的是确定物质的构成，而定量分析则是为了确定物质的含量。不同种类的物质所含化学成分的不同，就会导致含氢基团倍频与合频振动频率不同。此现象体现在近红外光谱图上则是峰位、峰数及峰强的差异。并且样品的化学成分差异越大，图谱的特征性差异越大。我们便可以根据这一依据来区分组分区别较大的物质。但对于组分区别较小的物质，只有通过定量分析来确定其组分及其含量。定量分析在没有复杂样本制备过程的条件下，能够在很短的时间内完成物质成分多组分的同步快速分析，并且有很高的分析精度，还不会有化学污染。
迁移学习是一种机器学习的方法，指的是一个事先训练的模型被重新用在另一个任务中。迁移学习在化学计量学领域的应用就是标定迁移。标定迁移的兴起是由于近红外光谱的广泛应用，这也促进了多元标定技术的发展。但当现有的模型在新的环境下，或者在新的仪器上使用时，效果就会很差。但使用重新标定方法十分昂贵而且费时。在这样的环境下，标定迁移应运而生。标定迁移指在不同的仪器下或者不同的条件下对多元标定模型的迁移。现有的近红外光谱多目标标定迁移方法有正交信号校正法、多重散射校正法、分段直接标准化、斜率截距校正方法的等等，然而上述方法存在的一定缺陷，需要的样本维度太高，同时样本数量太少，并且数据集中，在这种存在多变量因素的情况下无法满足迁移学习中减少或消除主从仪器之间的差异。
发明内容
本发明解决的技术问题在于克服现有技术的误差大、适用范围小等缺陷，提供基于仿射变化的近红外光谱多目标标定迁移方法。所述基于仿射变化的近红外光谱多目标标定迁移方法具有误差小、适用范围广等特点。
为实现上述目的，本发明提供如下技术方案：基于仿射变化的近红外光谱多目标标定迁移方法，包括主仪器和从仪器，该方法包括以下步骤：
S1：首先，建立PLS2模型，通过主仪器光谱和响应值的标定集
和
建立PLS2模型，计算出回归系数Bm，定义为
Xm为主仪器的光谱，Ym为主仪器的光谱响应值，并且Xm和Ym均为已知量，Em表示PLS2模型的残差矩阵；
S2：从主仪器的角度观测从仪器；通过PLS2模型的回归系数Bm计算出主仪器的预测值和从仪器的伪预测值：
Y^m与Ys中属于标定集的部分
与
用于构建仿射变换模型，Ys中属于测试集的部分
则与Y^m中测试集部分进行比较来检验仿射变换的性能；
S3：根据标定集组合
构建出基本的仿射变换模型，需要从
中提取出任意两列
和
S4：之后，为了减少预测误差，必须对前面所得的数据进行归一化，归一化其实就是将数据变换到[0,1]范围内，以此保持相同的尺度；
S5：归一化化处理之后的
与
构建线性模型
S6：通过上述公式得到了两条拟合直线，通过该公式进行计算：
Δθ和Δb表示两条拟合直线之间的角度差异和截距差异；
S7：以此完成基本的仿射变换模型构建。
S8：校正伪预测值，通过公式
和步骤3中提取数据的方式得到
S9：通过公式
和
构建变换矩阵M与增广矩阵Utest,λi和λj表示伪预测值的缩放因子，Utest为仿射变换的增广矩阵；
S10：根据公式U^corr＝UtestM进行仿射变换，最终得到U^test；
S11：
中的
是校正之后的预测值。
优选的，步骤4中对
和
的归一化公式为，
优选的，步骤5中构建线性模型的方法采用最小二乘法。
与现有技术相比，本发明的有益效果是：
本发明创造性地寻求浓度之间的线性趋势，趋势通常反映为直线，并且可以通过最小二乘回归拟合，同时，在MLCTAI方法中，数据集必须包含多种物质的浓度值，因此，主仪器的预测值包含多个标签，由于从仪器缺少响应值，因此由主仪器构建的PLS2模型将应用于从仪器模型的建立，并计算伪预测值以构建从仪器线性模型，但是，从主仪器视角观察从仪器的数据时会出现偏差，偏差具体表现为从仪器模型相对于主仪器模型的角度和截距差异，仿射变换则是通过旋转和平移来校正两个仪器模型的偏差，并且最终获得校正的预测值。
附图说明
图1为本发明流程图；
图2为本发明数据提取方法。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-2，本发明提供一种技术方案：基于仿射变化的近红外光谱多目标标定迁移方法，包括主仪器和从仪器，该方法包括以下步骤：
S1：首先，建立PLS2模型，通过主仪器光谱和响应值的标定集
和
建立PLS2模型，计算出回归系数Bm，定义为
其中，Xm为主仪器的光谱，Ym为主仪器的光谱响应值，并且Xm和Ym均为已知量，Em表示PLS2模型的残差矩阵；
S2：从主仪器的角度观测从仪器；通过PLS2模型的回归系数Bm计算出主仪器的预测值和从仪器的伪预测值：
Y^m与Ys中属于标定集的部分
与
用于构建仿射变换模型，Ys中属于测试集的部分
则与Y^m中测试集部分进行比较来检验仿射变换的性能；
S3：根据标定集组合
构建出基本的仿射变换模型，根据图2所表示的方法从
中提取出任意两列
和
S4：之后，为了减少预测误差，必须对前面所得的数据进行归一化，归一化其实就是将数据变换到[0,1]范围内，以此保持相同的尺度，
和
的归一化公式为，
S5：归一化化处理之后的
与
采用最小二乘法构建线性模型
S6：通过上述公式得到了两条拟合直线，通过该公式进行计算：
Δθ和Δb表示两条拟合直线之间的角度差异和截距差异；
S7：以此完成基本的仿射变换模型构建；
S8：校正伪预测值，通过公式
和步骤3中提取数据的方式得到
S9：通过公式
和
构建变换矩阵M与增广矩阵Utest，步骤8中λi和λj表示伪预测值的缩放因子，Utest为仿射变换的增广矩阵；
S10：根据公式U^corr＝UtestM进行仿射变换，最终得到Utest；
S11：
中的
是校正之后的预测值。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (3)
1.基于仿射变化的近红外光谱多目标标定迁移方法，包括主仪器和从仪器，其特征在于，该方法包括以下步骤：
S1：首先，建立PLS2模型，通过主仪器光谱和响应值的标定集
和
建立PLS2模型，计算出回归系数Bm，定义为
Xm为主仪器的光谱，Ym为主仪器的光谱响应值，并且Xm和Ym均为已知量，Em表示PLS2模型的残差矩阵；
S2：从主仪器的角度观测从仪器；通过PLS2模型的回归系数Bm计算出主仪器的预测值和从仪器的伪预测值：
Y^m与Ys中属于标定集的部分
与
用于构建仿射变换模型，Ys中属于测试集的部分
则与Y^m中测试集部分进行比较来检验仿射变换的性能；
S3：根据标定集组合
构建出基本的仿射变换模型，需要从
中提取出任意两列
和
S4：之后，为了减少预测误差，必须对前面所得的数据进行归一化，归一化其实就是将数据变换到[0,1]范围内，以此保持相同的尺度；
S5：归一化化处理之后的
与
构建线性模型
S6：通过上述公式得到了两条拟合直线，通过该公式进行计算：
，Δθ和Δb表示两条拟合直线之间的角度差异和截距差异；
S7：以此完成基本的仿射变换模型构建；
S8：校正伪预测值，通过公式
和步骤3中提取数据的方式得到
S9：通过公式
和
构建变换矩阵M与增广矩阵Utest，λi和λj表示伪预测值的缩放因子，Utest为仿射变换的增广矩阵；
S10：根据公式U^corr＝UtestM进行仿射变换，最终得到U^test；
S11：
中的
是校正之后的预测值。
2.根据权利要求1所述的基于仿射变化的近红外光谱多目标标定迁移方法，其特征在于：步骤4中对
和
的归一化公式为，
3.根据权利要求1所述的基于仿射变化的近红外光谱多目标标定迁移方法，其特征在于：步骤5中构建线性模型的方法采用最小二乘法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910774087.0A CN112414966B (zh) | 2019-08-21 | 2019-08-21 | 基于仿射变化的近红外光谱多目标标定迁移方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910774087.0A CN112414966B (zh) | 2019-08-21 | 2019-08-21 | 基于仿射变化的近红外光谱多目标标定迁移方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112414966A CN112414966A (zh) | 2021-02-26 |
| CN112414966B true CN112414966B (zh) | 2022-06-10 |
Family
ID=74779171
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910774087.0A Active CN112414966B (zh) | 2019-08-21 | 2019-08-21 | 基于仿射变化的近红外光谱多目标标定迁移方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112414966B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115049025B (zh) * | 2022-08-16 | 2022-11-04 | 山东钢铁股份有限公司 | 一种基于弹性分段标准化算法的模型迁移方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6441388B1 (en) * | 1998-10-13 | 2002-08-27 | Rio Grande Medical Technologies, Inc. | Methods and apparatus for spectroscopic calibration model transfer |
| CN107918718A (zh) * | 2017-11-03 | 2018-04-17 | 东北大学秦皇岛分校 | 基于在线顺序极限学习机的样品成分含量测定方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5243546A (en) * | 1991-01-10 | 1993-09-07 | Ashland Oil, Inc. | Spectroscopic instrument calibration |
| ATE192850T1 (de) * | 1995-02-09 | 2000-05-15 | Foss Electric As | Verfahren zum eichen mehrerer spektrometer |
| WO1996032631A1 (en) * | 1995-04-13 | 1996-10-17 | Pfizer Inc. | Calibration tranfer standards and methods |
| US6280381B1 (en) * | 1999-07-22 | 2001-08-28 | Instrumentation Metrics, Inc. | Intelligent system for noninvasive blood analyte prediction |
| CN101832922B (zh) * | 2010-05-19 | 2012-04-18 | 中国农业大学 | 一种有机肥产品近红外模型转移方法 |
| US8911512B2 (en) * | 2012-09-20 | 2014-12-16 | Kior, Inc. | Use of NIR spectra for property prediction of bio-oils and fractions thereof |
| CN104089911B (zh) * | 2014-06-27 | 2016-05-25 | 桂林电子科技大学 | 基于一元线性回归的光谱模型传递方法 |
| CN109668858A (zh) * | 2019-02-14 | 2019-04-23 | 大连理工大学 | 基于近红外光谱检测发酵过程生物量和组分浓度的方法 |
-
2019
- 2019-08-21 CN CN201910774087.0A patent/CN112414966B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6441388B1 (en) * | 1998-10-13 | 2002-08-27 | Rio Grande Medical Technologies, Inc. | Methods and apparatus for spectroscopic calibration model transfer |
| CN107918718A (zh) * | 2017-11-03 | 2018-04-17 | 东北大学秦皇岛分校 | 基于在线顺序极限学习机的样品成分含量测定方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112414966A (zh) | 2021-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114139444B (zh) | 一种基于机器学习的近海海表温度反演方法 | |
| CN107643252B (zh) | Wms检测瓶内氧气浓度的实时扣背景非线性校正方法 | |
| CN105842190B (zh) | 一种基于谱回归的近红外模型转移方法 | |
| CN101216419A (zh) | 一种快速检测黄酒品质指标的方法 | |
| He et al. | Design of a reference value-based sample-selection method and evaluation of its prediction capability | |
| CN111879725B (zh) | 一种基于权重系数的光谱数据修正方法 | |
| CN105784672A (zh) | 一种基于双树复小波算法的毒品检测仪标准化方法 | |
| CN101750404A (zh) | 校正等离子体发射谱线自吸收效应的方法 | |
| CN111487213A (zh) | 多光谱融合的化学需氧量测试方法及装置 | |
| CN104990895A (zh) | 一种基于局部区域的近红外光谱信号标准正态校正方法 | |
| CN112414966B (zh) | 基于仿射变化的近红外光谱多目标标定迁移方法 | |
| Hibbert | Systematic errors in analytical measurement results | |
| CN110887800B (zh) | 一种用于光谱法水质在线监测系统的数据校准方法 | |
| Sharma et al. | Performance evaluation of preprocessing techniques utilizing expert information in multivariate calibration | |
| Peng et al. | Baseline correction combined partial least squares algorithm and its application in on-line Fourier transform infrared quantitative analysis | |
| CN111896497B (zh) | 一种基于预测值的光谱数据修正方法 | |
| CN116202975A (zh) | 一种水体参数预测方法、存储介质及终端设备 | |
| CN105548068B (zh) | 动态演化模型校正方法及系统 | |
| Ravi et al. | International comparability in spectroscopic measurements of protein structure by circular dichroism: CCQM-P59. 1 | |
| CN111141809A (zh) | 一种基于非接触式电导信号的土壤养分离子含量检测方法 | |
| CN111579526B (zh) | 一种表征近红外仪器差异和校正的方法 | |
| CN116399836A (zh) | 基于交替梯度下降算法的串扰荧光光谱分解方法 | |
| CN104181125A (zh) | 快速测定啤酒麦芽中库尔巴哈值的方法 | |
| CN110501294B (zh) | 一种基于信息融合的多元校正方法 | |
| CN103852393A (zh) | 质子交换膜燃料电池支撑层中ptfe含量的检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |