CN104089911A - 基于一元线性回归的光谱模型传递方法 - Google Patents

基于一元线性回归的光谱模型传递方法 Download PDF

Info

Publication number
CN104089911A
CN104089911A CN201410299422.3A CN201410299422A CN104089911A CN 104089911 A CN104089911 A CN 104089911A CN 201410299422 A CN201410299422 A CN 201410299422A CN 104089911 A CN104089911 A CN 104089911A
Authority
CN
China
Prior art keywords
sample
instrument
spectrum
calibration
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410299422.3A
Other languages
English (en)
Other versions
CN104089911B (zh
Inventor
杨辉华
樊永显
张晓凤
谢谱模
李灵巧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Electronic Technology
Original Assignee
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Electronic Technology filed Critical Guilin University of Electronic Technology
Priority to CN201410299422.3A priority Critical patent/CN104089911B/zh
Publication of CN104089911A publication Critical patent/CN104089911A/zh
Application granted granted Critical
Publication of CN104089911B publication Critical patent/CN104089911B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明为基于一元线性回归的光谱模型传递方法,主要步骤Ⅰ对M台光谱仪器的样品光谱进行相同预处理;Ⅱ根据样品的m种成分将光谱数据分为m个校正集和预测集,分别在M台仪器上建立m个校正模型;Ⅲ校正模型评价;Ⅳ将预测效果最好的仪器作为主仪器,其它为从仪器;Ⅴ选取主仪器校正集中针对各从仪器的最佳样品,按其序号确定各从仪器转换集样品,用一元线性回归求回归系数,校正从仪器光谱,然后代入主仪器校正模型得样品成分含量结果。本方法有效消除不同光谱仪器的差异,实现主仪器上建立的校正模型能够在多台从仪器上共享,减少了分析测试工作量,节约模型建立的成本;且所求参数少、模型简单,预测准确度更高。

Description

基于一元线性回归的光谱模型传递方法
技术领域
本发明属于光谱分析技术领域,具体为一种基于一元线性回归的光谱模型传递方法。
背景技术
光谱分析技术是在光谱检测、化学计量学、计算机科学与应用测试等技术的基础上发展起来的一门综合性分析技术,现在己受到越来越多的重视。同时,光谱分析技术以其独特的优点,成为了化学分析领域的研究热点之一。光谱分析技术中的定量应用依赖于校正模型,即对标准样品集的参考值(成分含量或物理化学性质)和对应的光谱进行关联,建立两者之间的函数关系,对未知样品的光谱应用该定量校正模型计算该样品成分等参考值的预测值。
但是,在实际应用中,由于仪器老化、仪器间差异及空气、光源、探测器和测量引入的随机噪声,各仪器测量的光谱有差异,因此在某一台光谱仪器上建立的校正模型,在应用于另一台仪器上时无法适用或结果会产生较大的误差。而要为每台仪器分别建立校正模型,因费用过高,显然是不可取的。根据相关文献报道,使用近红外光谱法建立一个柴油十六烷值的校正模型,至少十几万元。对毒性较大、不稳定的样品建立校正模型,费用会更高。
所谓光谱模型传递是指经过数学处理后,使一台光谱仪器上的校正模型能够用于另一台光谱仪器,从而减少重新建模所带来的巨大工作量和费用,实现样品和数据资源的共享。模型传递的成功与否直接影响光谱分析技术的应用和推广。
光谱模型传递方法主要有两种,一种为有标样方法,如直接校正(DS)法、分段直接校正(PDS)法和Shenk’s法等。这类方法需要选择一定数量的样品组成标样集(也称转换集),并在主仪器和从仪器上分别测得其光谱,从而找出该函数关系。另一种是无标样方法,如有限脉冲响应(FIR)法等。这类方法不需要选择标样集。
目前DS法和PDS方法是最常用、最有效的方法。DS法利用全谱区的光谱数据逐一校正每个波长点,原理简单,使用方便,但所需标样数多。PDS法是一种多元全光谱模型传递方法,它的基本假设是实际光谱数据的变化只局限于一个小的区域,选择合适的窗口对各个波长点的光谱进行较正,但在实际中不同光谱仪上测量的光谱存在较大差异,这些差异大小及体现在谱区的范围有很大的不同,有的是局部,有的是全谱区,因此会产生一定的校正误差。
总之现有的光谱模型传递方法需要参数较多,且传递模型的准确度不够高。
发明内容
本发明的目的是提供一种基于一元线性回归的光谱模型传递方法,利用偏最小二乘法对样品各成分在不同仪器上分别建立校正模型;利用预测集样品对校正模型进行性能评价,选择预测效果好的仪器作为主仪器,利用基于一元线性回归的光谱模型传递方法对从仪器上的光谱进行校正。本方法所求参数少、模型简单,预测的准确度高。
本发明提供一种基于一元线性回归的光谱模型传递方法,主要步骤如下:
Ⅰ、样品光谱的预处理
光谱分析仪器台数M≥2,已知样品在各台仪器上采集的光谱数据及样品m种主要成分含量的参考值。对各台光谱仪器上采集的样品光谱数据进行相同的预处理,以消除非目标因素的干扰,提高模型传递精度。
Ⅱ、校正模型的建立
分别将M台仪器上采集的样品光谱数据针对m种成分划分为m个校正集和对应的m个预测集,校正集中的样品数N1≥30,预测集中的样品数N2≥10,且N1>N2,各台仪器上校正集和预测集样品的选取一致。利用多元校正方法,以校正集样品的m种成分含量为定标值,即作为因变量,以校正集样品的光谱数据作为自变量,分别建立M台仪器上的m个校正模型。
Ⅲ、校正模型评价
根据步骤Ⅱ建立的校正模型,将相应的预测集样品的光谱数据代入其中,计算得到预测集样品各成分含量的预测值,将预测值与实际成分含量相比较,进行M×m个校正模型的评价。评价参数选用预测标准偏差(SEP)。
Ⅳ、主仪器的选择
根据步骤Ⅲ的评价结果,选择预测效果最好的校正模型对应的仪器作为主仪器,其他仪器作为从仪器。
Ⅴ、模型传递,光谱校正
利用基于一元线性回归光谱模型传递,对从仪器预测集样品光谱进行校正,具体步骤如下:
Ⅴa、转换集样品的选择
本方法为有标样方法,需要选择转换集样品。转换集样品数的选取对转移效果有重要影响,转换集样品数小,则使转化信息不够充分;转换集样品数太大,则使实际应用太复杂。转换集样品取自校正集,转换集样品数N3的范围设为1≤N3≤20,对样品不同成分,以预测标准偏差SEP最小为原则,由主仪器的某成分校正集中分别选择针对各从仪器的最佳样品,在各从仪器的该成分校正集中,分别选择相同序号的样品作为各从仪器该成分的转换集样品。
Ⅴb、求回归系数
设任意光谱矩阵表示为X(n×p),其中n为样品数;p为变量数;X(i,j)表示第i个样品在第j个波长点处的吸光度;X(i,:)为光谱矩阵的行向量,表示第i个样品在所有波长处的吸光度;X(:,j)为光谱矩阵的列向量,表示所有样品在第j个波长处的吸光度;Xm和Xs分别表示主从仪器上的转换集光谱矩阵。
本方法假设不同波长间吸光度是相互独立的,利用一元线性回归对从仪器采集的样品光谱进行校正。
设Xm(i,j)和Xs(i,j)满足如下一元线性方程:
X m ( i , j ) = b 0 ( j ) + b ( j ) X s ( i , j ) = 1 X s ( i , j ) · b 0 ( j ) b ( j ) ( i ∈ 1 · · · n , j ∈ 1 · · · p )
其中b0(j)和b(j)为任意波长点j(j∈1…p)对应的回归系数,将上式进一步写为矩阵形式如下:
X m ( : , j ) = 1 n × 1 X s ( : , j ) · b 0 ( j ) b ( j ) ( j ∈ 1 · · · p )
其中,1n×1为元素全为1的n×1的列向量。根据上式得出:
b 0 ( j ) b ( j ) = [ 1 n × 1 X s ( : , j ) ] + · X m ( : , j ) ( j ∈ 1 · · · p )
其中,[1n×1Xs(:,j)]+为[1n×1Xs(:,j)]的广义逆矩阵。
通过此式求出各从仪器上任意波长点j(j∈1…p)对应的回归系数b0(j)和b(j)各p个,共有p×2个。
Ⅴc、光谱校正
对在从仪器上测得的未知样品光谱Xunknown,用下式进行转换得到与主仪器上测得的光谱相一致的光谱Xstd
X std ( : , j ) = [ 1 n ′ × 1 X unknown ( : , j ) ] · b 0 ( j ) b ( j ) ( j ∈ 1 · · · p )
根据校正后的从仪器光谱Xstd,由主仪器建立的校正模型得到样品各成分含量的最终结果。
所述步骤Ⅰ中的光谱为近红外光谱、中红外光谱、拉曼光谱及紫外-可见光谱(100~800nm)中的任一种。
所述步骤Ⅰ中的预处理为平滑处理、二阶求导处理、标准化处理、基线偏移处理、标准正态变量处理、多元散射校正处理和去趋势处理中的任意一种或多种的组合。
所述步骤Ⅰ中的已知m种主要成分含量的样品集,分别按某种成分含量梯度排序,然后按隔△选一,选取N2个该种成分的预测集样品,其余作为此种成分校正集样品,△为3~6的整数。
所述步骤Ⅱ中建立校正模型的多元校正方法为主成分回归法、偏最小二乘法、支持向量回归法和人工神经网络回归法中的任意一种。
所述步骤Ⅲ中校正模型评价还可以为预测标准偏差(SEP)组合校正标准偏差(SEC)和/或决定系数(R2)。
所述步骤Ⅴa中从主仪器校正集中选取最佳样品的方法可以为杠杆点算法、MSID算法、Kennard-Stone算法及随机选取法中的任一种。
与现有技术相比,本发明基于一元线性回归的光谱模型传递方法的优点为:1、能够有效消除不同光谱仪器之间因仪器间的固有差异、仪器使用年限的不同、环境差别、以及测量中的随机噪声所造成的光谱差异,实现主仪器上建立的校正模型能够在多台从仪器上共享,大大减少了分析测试工作量,节约模型建立的成本;2、与传统的DS法及PDS法相比,本发明方法不仅所求参数少、模型简单,而且模型预测的准确度更高。
附图说明
图1为本基于一元线性回归的光谱模型传递方法实施例1流程图;
图2为本基于一元线性回归的光谱模型传递方法实施例1主从仪器上玉米水分预测集样品的原始平均光谱图;
图3为本基于一元线性回归的光谱模型传递方法实施例1主从仪器上玉米水分预测集样品传递后平均光谱图;
图4为本基于一元线性回归的光谱模型传递方法实施例2主从仪器上汽油C7预测集样品原始平均光谱图;
图5为本基于一元线性回归的光谱模型传递方法实施例2主从仪器上汽油C7预测集样品传递后平均光谱图。
具体实施方式
为了更好的理解本发明,下面结合附图和两个实施例对本发明做进一步的详细说明。
实施例1
本例方法流程如图1所示,主要步骤如下:
Ⅰ、样品光谱的预处理
本例有3台近红外光谱分析仪器,分别记作A,B,C,已知80个玉米样品4种主要组成成分:水分、油、蛋白质和淀粉含量的参考值。样品集包含在三台不同光谱仪上测得的80个玉米样品的近红外光谱,光谱波长范围为1100~2498nm,间隔2nm。本例分别对3台光谱仪器上采集的光谱数据用Savitzky-Golay平滑法进行平滑预处理,窗口大小为17,多项式阶数为3。
Ⅱ、校正模型的建立
本例首先根据80个玉米样品的4种成分含量的参考值分别梯度排序;然后分别采用隔三选一的方式各确定27个样品作为预测集,其余的53个样品作为校正集,本例玉米样品有4种成分,因此对应有4个校正集和4个预测集。A、B和C三台仪器的预测集和校正集样品相一致;最后利用偏最小二乘法(PLS)对玉米样品的4种成分在3台仪器上分别建立校正模型。
偏最小二乘法的主因子数BF(Best factor的缩写),若太小会丢失有用信息,太大会包含过多噪音,本例设定偏最小二乘法主因子数最大为15,并按留一交叉验证的方法确定最终的主因子数。
每个校正模型以校正集样品的一种成分含量为因变量,以校正集中53个样品的光谱数据作为自变量,分别建立3台仪器上4种成分的校正模型。本例共计4×3个校正模型。表1为玉米样品在仪器A上建立水分含量校正模型时的部分数据,如下所示。
表1 在仪器A上建立玉米水分校正模型时的部分数据表
Ⅲ、校正模型评价
根据步骤Ⅱ建立的校正模型,将相应的预测集样品的光谱数据代入,计算得到预测集样品各成份含量的预测值,将预测值与实际值相比较,进行3×4个校正模型的评价。
在本实施例中采用校正标准偏差(SEC)、预测标准偏差(SEP)和决定系数(R2)对校正模型的质量进行评价。其结果如表2所示,其中BF(Bestfactor的缩写)为用偏最小二乘法建立校正模型时的主因子数。SEC和SEP越小,R2越大,表示模型的性能越好。
表2 玉米样品的PLS校正模型参数与预测结果一览表
Ⅳ、主仪器的选择
由于不同仪器之间有差异,因此相同样品在不同仪器上建立模型的预测效果也存在差别。根据步骤Ⅲ的评价结果表2可知,A仪器上所建模型的预测效果要优于B和C两台仪器,其R2相对更大,SEC和SEP相对更小,即A的校正模型更加稳健、性能更好。由于主仪器自建模预测效果越好,则模型传递效果越好,因此本例选择预测效果较好的仪器A作为主仪器,B和C作为从仪器。
Ⅴ、模型传递,光谱校正
利用基于一元线性回归光谱模型传递,对从仪器所采集的预测集样品光谱进行校正,具体步骤如下:
Ⅴa、转换集样品的选择
本实施例将转换集样品数的上限设为20,以SEP最小为原则,对玉米样品的4种成分,利用Kennard-Stone算法分别由主仪器A某成分的校正集中选择针对B、C两台从仪器的最佳样品,然后在从仪器B、C的该成分校正集中分别选择相同序号样品作为从仪器B、C的该成分转换集样品。
本例,对于玉米样品水分含量,从仪器B的转换集样品数为6,从仪器C的转换集样品数为7;
对于玉米样品油含量,从仪器B的转换集样品数为14,从仪器C的转换集样品数为18;
对于玉米样品蛋白质含量,从仪器B的转换集样品数为17,从仪器C的转换集样品数为20;
对于玉米样品淀粉含量,从仪器B的转换集样品数为18,从仪器C的转换集样品数为19。
Ⅴb、求回归系数
本方法假设不同波长间吸光度是相互独立的,利用一元线性回归对从仪器采集的样品光谱进行校正。
任意波长点j(j∈1…p)对应的回归系数b0(j)和b(j)由下式得出:
b 0 ( j ) b ( j ) = [ 1 n × 1 X s ( : , j ) ] + · X m ( : , j ) ( j ∈ 1 · · · p )
其中,[1n×1Xs(:,j)]+为[1n×1Xs(:,j)]的广义逆矩阵。
求出从仪器样品集光谱数据中每个波长点对应的回归系数,共有700×2个。当以玉米样品水分含量选择转换集时,表3给出了从仪器B和C样品集光谱数据中部分波长点对应的回归系数,如下所示:
表3 从仪器B和C样品集光谱数据中部分波长点对应的回归系数
Ⅴc、光谱校正
在从仪器上测得的未知样品光谱Xunknown,用下式进行转换,得到与主仪器上测得的光谱相一致的光谱Xstd,再由主仪器建立的校正模型计算得到玉米样品成分含量的最终结果。
X std ( : , j ) = [ 1 n ′ × 1 X unknown ( : , j ) ] · b 0 ( j ) b ( j ) ( j ∈ 1 · · · p )
图2分别给出了主从仪器上玉米水分的预测集样品原始平均光谱。图中实线为主仪器A采集的光谱,虚线为从仪器B的光谱,双划线为从仪器C的光谱。观察图2中3条光谱可以发现在模型传递前,从仪器上的原始光谱与主仪器上的光谱差异明显,且基本上是基线漂移与少量波长漂移。
图3分别给出了主从仪器上玉米水分预测集样品经本例方法传递后的平均光谱。从图3中可以看出主从仪器的光谱差异得到明显改善,两台从仪器的传递后所得光谱与主仪器的光谱几近重合。
表4为玉米各成分的预测集样品光谱经本法传递前后主从仪器间的光谱平均差异(ARMS)及光谱校正率(Pr)。其中ARMS与Pr的计算公式如下:
ARMS = 1 n Σ i = 1 n 1 p Σ λ = 1 p | S 2 λ i - S 1 λ i |
Pr ( % ) = ARMS uncorrected 2 - ARMS corrected 2 ARMS uncorrected 2 × 100 %
其中,分别为第i个标准样品在仪器1和仪器2上测定的l波长点处的光谱数据。ARMSuncorrected为传递前的ARMS,ARMScorrected为传递后的ARMS。
表4 玉米各预测集样品光谱经本法传递前后主从仪器间的光谱平均差异和光谱校正率
以玉米中水分含量为例进行说明,从表中可以看出,两台从仪器的转换集大小分别为6和7,光谱传递前主从仪器上的光谱平均差异分别为0.2100和0.2365,从仪器光谱经本法传递后与主仪器光谱的平均差异分别降低为0.0766和0.0750,光谱校正率分别为86.68%和89.93%,结果与图2、图3所示一致。
由本实验结果可知,本方法能够有效降低、甚至消除近红外光谱仪之间采集的光谱数据的差异。
本例针对玉米样品,从仪器上测得的光谱和经过本法校正过后的光谱分别用主仪器上建立的校正模型对预测集样品的成分进行预测,预测标准偏差SEP如表5所示。
表5 玉米样品经本法传递前后的预测标准偏差(SEP)
从表5可以看出本法模型传递后的光谱预测的蛋白质和淀粉含量较传递前有了明显的提高,与主仪器的预测值相当;传递以后的水分和油含量预测值虽然与主仪器预测值仍有明显差距,但是与传递前的预测值相比,与主仪器预测值的差距已大为减小。
由本实验结果可知:本方法可有效提高近红外光谱模型的预测精度,很好的实现玉米样品光谱模型在三台仪器之间的共享。
本例的玉米样品集还用直接校正法DS和分段直接校正法PDS进行模型传递实验,DS与PDS的校正步骤与本例方法类似,首先采用K-S算法在校正集中选择合适数目的样品作为转换集,然后利用DS、PDS计算转化矩阵,最后再对预测集的光谱进行校正。转换集大小和PDS的窗口宽度通过SEP最小的原则选出。PDS在主从仪器上传递水分模型时最佳窗口大小为5,传递其它成分模型时窗口为3。表6列出了模型传递前的预测标准偏差(SEPuncorrected)与经过三种方法传递之后的预测标准偏差。
表6 本例方法与DS、PDS法传递前后预测标准偏差(SEP)比较
从表6中可以明显看出,经三种方法传递后预测效果均较传递前得到不同程度提高,其中本例方法相比DS和PDS校正后的光谱预测效果更接近主仪器的原始模型,传递效果更好。
DS法是需要利用全谱区的光谱数据逐一校正每个波长点,所需标样数多,而在本实施例中标样数n=53,光谱波长点数p=700,n<p。DS法用53×700的光谱数据计算得到700×700的校正参数,显然会产生一定的校正误差。
PDS法在校正光谱时采用的是固定谱区的光谱数据校正每个波长点,但在不同近红外光谱仪上测量的光谱存在较大差异,这些差异强度及体现在谱区的范围有很大的不同,有些是局部的,有些是全谱区,因此也会产生一定的校正误差。而本例方法仅利用主从仪器每个波长点上的光谱数据对该波长点进行校正,而且在校正过程中加入常数项偏置,最后得到700×2个校正参数,既使所求参数数目大大减少,又使校正结果更准确。
实施例2
本例流程也如图1所示。
Ⅰ、样品光谱的预处理
本例有2台光谱分析仪器,分别记作D,E。本例样品集包含88个汽油样品,在两台光谱仪上测得88个近红外光谱样品,光谱采集范围700~1100nm。同时已知各样品中C7、C8、C9和C10成分含量的参考值。
本例利用标准化方法对2台光谱仪上采集的光谱数据进行预处理。
Ⅱ、校正模型的建立
本例首先根据88个汽油样品的4种成分含量的参考值分别梯度排序;然后分别采用隔三选一的方式各确定30个样品作为预测集,其余的58个样品作为校正集,本例汽油样品有4种成分,因此对应有4个校正集和4个预测集,D和E两台仪器的预测集和校正集样品相一致;最后利用偏最小二乘法(PLS)对汽油样品的4种成分在2台仪器上分别建立校正模型。
本例设定偏最小二乘法主成分主因子数最大为15,并按留一交叉验证的方法确定最终的主因子数。
每个校正模型以校正集样品的一种成分含量为因变量,以该校正集中58个样品的光谱数据作为自变量,分别建立2台仪器4种成分的校正模型。本例共计4×2个校正模型。表7为汽油样品在仪器D上建立的C7校正模型时的部分数据,如下所示。
表7 在仪器D上建立C7校正模型时的部分数据表
Ⅲ、校正模型评价
根据步骤Ⅱ建立的校正模型,将相应的预测集样品的光谱数据代入,计算得到预测集样品各成份含量的预测值,将预测值与实际值相比较,进行2×4个校正模型的评价。
在本实施例中采用校正标准偏差(SEC)、预测标准偏差(SEP)和决定系数(R2)对校正模型的质量进行评价。其结果如表8所示,其中BF为用偏最小二乘法(PLS)建立校正模型时的主成分主因子数,SEC和SEP越小,R2越大,表示模型的性能越好。
表8 汽油样品的PLS校正模型参数与预测结果一览表
Ⅳ、主仪器的选择
根据步骤Ⅲ的评价结果表6可知,D仪器上所建模型的预测效果要优于E仪器,其R2相对更大,SEC和SEP相对更小,即D的校正模型更加稳健、性能更好。由于主仪器自建模预测效果越好,则模型传递效果越好,因此本例选择预测效果较好的仪器D作为主仪器,E作为从仪器。
Ⅴ、模型传递
利用基于一元线性回归光谱模型传递,对从仪器所采集的预测集样品光谱进行校正,具体步骤如下:
Ⅴa、本实施例将转换集样品数的上限设为20,对汽油样品的4种成分,利用Kennard-Stone算法,以SEP最小为原则,由主仪器D的某成分校正集中选择针对从仪器E的最佳样品,然后在从仪器E的该成分校正集中选择相同序号样品作为从仪器E的该成分转换集样品。
本例,对于汽油样品C7含量,从仪器E的转换集样品数为14;
对于汽油样品C8含量,从仪器E的转换集样品数为20;
对于汽油样品C9含量,从仪器E的转换集样品数为8;
对于汽油样品C10含量,从仪器E的转换集样品数为20;
Ⅴb、求回归系数
本方法利用一元线性回归对从仪器采集的样品光谱进行校正。任意波长点j(j∈1…p)对应的回归系数b0(j)和b(j)由下式得出:
b 0 ( j ) b ( j ) = [ 1 n &times; 1 X s ( : , j ) ] + &CenterDot; X m ( : , j ) ( j &Element; 1 &CenterDot; &CenterDot; &CenterDot; p )
其中,[1n×1Xs(:,j)]+为[1n×1Xs(:,j)]的广义逆矩阵。
求出从仪器样品集光谱数据中每个波长点对应的回归系数,共有2002×2个。当以汽油样品C7含量选择转换集时,表9给出了从仪器E样品集光谱数据中部分波长点对应的回归系数,如下所示:
表9 从仪器E样品集光谱数据中部分波长点对应的回归系数
Ⅴc、光谱校正
在从仪器E上测得的未知样品光谱Xunknown,用下式进行转换,得到与主仪器D上测得的光谱相一致的光谱Xstd,再由主仪器D建立的4个校正模型计算得到汽油样品各成分含量的最终结果。
X std ( : , j ) = [ 1 n &prime; &times; 1 X unknown ( : , j ) ] &CenterDot; b 0 ( j ) b ( j ) ( j &Element; 1 &CenterDot; &CenterDot; &CenterDot; p )
图4给出了主从仪器上汽油C7预测集样品原始平均光谱图。观察图4中2条光谱可以发现在模型传递前,从仪器E上的光谱与主仪器D上的光谱差异明显且变异情况复杂,尤其表现在700~850波段和1050~1100波段上。
图5分别给出了主从仪器上汽油C7预测集样品经本例方法传递后的平均光谱,从图5中可以看出主从仪器上的光谱差异性得到了一定改善,850~1100波段上主从仪器上的光谱几近重合,700~850波段上主从仪器的光谱虽然差异较大,但相比传递前也得到了一定改善。
表10给出了汽油样品的近红外光谱经本例方法传递前后光谱平均差异(ARMS)及光谱校正率(Pr)。
表10 汽油预测集样品经本法传递前后仪器间的光谱差异和光谱校正率
以汽油中C7性质为例进行说明,从表9中可以看出此时转换集大小为14,光谱传递前主从仪器上的光谱平均差异为0.1239,经SLRDS方法传递后光谱平均差异降低为0.0720,光谱校正率为66.23%,结果与图4、图5的分析一致。
由本实验结果可知,本方法能够有效降低、甚至消除近红外光谱仪之间采集的光谱数据的差异。
从仪器E的预测集光谱和经过本方法校正过后的从仪器E的预测集光谱分别用主仪器上建立的汽油样品校正模型预测各成分含量,主从仪器的预测结果如表11所示。
表11 汽油样品经本法传递前后的预测标准偏差(SEP)
从表11可以看出经本方法进行模型传递后C7和C8的预测效果较转移前有了明显改善,甚至好于主仪器上的预测效果;C9和C10传递以后的预测效果也较传递前也有了一定提高。
由本实验结果可知:本方法可有效提高近红外光谱模型的预测精度,很好地实现汽油样品光谱模型在两台仪器之间的共享。
与实施例1相同,为了进一步验证本例方法的传递效果,用DS、PDS对本例的汽油样品集进行模型传递实验。DS和PDS的校正步骤与本例方法类似,PDS在主从仪器上传递C8模型时最佳窗口大小为5,传递其它成分的模型时窗口为3。表12列出了模型传递前的预测标准偏差(SEPuncorrected)与经过三种方法传递之后的预测标准偏差。
表12 本例方法与DS、PDS方法传递前后预测标准偏差(SEP)比较
从表12中可以明显看出本例方法校正后的光谱预测效果相比DS和PDS更接近主仪器的原始模型,传递效果更好。
由以上二实施例可见:本发明基于一元线性回归的光谱模型传递方法不仅能够有效降低、甚至消除近红外光谱仪之间采集的光谱数据的差异,而且还能有效地提高近红外光谱模型的预测精度,很好地实现了玉米样品和汽油样品光谱模型在多台仪器之间的共享。且与传统的有标样方法相比,如直接校正(DS)法、分段直接校正(PDS)法,本方法所需标样数少,传递模型准确度高。
上述实施例,仅为对本发明的目的、技术方案和有益效果进一步详细说明的具体个例,本发明并非限定于此。凡在本发明的公开的范围之内所做的任何修改、等同替换、改进等,均包含在本发明的保护范围之内。

Claims (8)

1.基于一元线性回归的光谱模型传递方法,主要步骤如下:
Ⅰ、样品光谱的预处理
光谱分析仪器台数M≥2,已知样品在各台仪器上采集的光谱数据及样品m种主要成分含量的参考值;对各台光谱仪器上采集的样品光谱数据进行相同的预处理;
Ⅱ、校正模型的建立
分别将M台仪器上采集的样品光谱数据针对m种成分划分为m个校正集和对应的m个预测集,校正集中的样品数N1≥30,预测集中的样品数N2≥10,且N1>N2,各台仪器上校正集和预测集样品的选取一致;利用多元校正方法,以校正集样品的m种成分含量为因变量,以校正集中N1个样品的光谱数据作为自变量,分别建立M台仪器上的m个校正模型;
Ⅲ、校正模型评价
根据步骤Ⅱ建立的校正模型,将相应的预测集样品的光谱数据代入其中,计算得到预测集样品各成分含量的预测值,将预测值与实际成分含量相比较,进行M×m个校正模型的评价;评价参数选用预测标准偏差;
Ⅳ、主仪器的选择
根据步骤Ⅲ的评价结果,选择预测效果最好的校正模型对应的仪器作为主仪器,其它仪器作为从仪器;
Ⅴ、模型传递,光谱校正
利用基于一元线性回归光谱模型传递,对从仪器预测集样品光谱进行校正,具体步骤如下:
Ⅴa、转换集样品的选择
转换集样品取自校正集,转换集样品数N3的范围设为1≤N3≤20,对样品不同成分,以预测标准偏差最小为原则,由主仪器的某成分校正集中分别选择针对各从仪器的最佳样品,然后在各从仪器的该成分校正集中分别选择相同序号样品作为各从仪器上的该成分转换集;
Ⅴb、求回归系数
设任意光谱矩阵表示为X(n×p),其中n为样品数;p为变量数;X(i,j)表示第i个样品在第j个波长点处的吸光度;X(i,:)为光谱矩阵的行向量,表示第i个样品在所有波长处的吸光度;X(:,j)为光谱矩阵的列向量,表示所有样品在第j个波长处的吸光度;Xm和Xs分别表示主从仪器上的转换集光谱矩阵;
本方法假设不同波长间吸光度是相互独立的,利用一元线性回归对从仪器采集的样品光谱进行校正;
通过下式求出各从仪器上任意波长点j,j的取值满足j∈1…p,对应的回归系数b0(j)和b(j)各p个,共有p×2个,
b 0 ( j ) b ( j ) = [ 1 n &times; 1 X s ( : , j ) ] + &CenterDot; X m ( : , j ) ,
其中,1n×1为元素全为1的n×1的列向量;[1n×1Xs(:,j)]+为[1n×1Xs(:,j)]的广义逆矩阵;
Ⅴc、光谱校正
对在从仪器上测得的未知样品光谱Xunknown,用下式进行转换得到与主仪器上测得的光谱相一致的光谱Xstd
X std ( : , j ) = [ 1 n &prime; &times; 1 X unknown ( : , j ) ] &CenterDot; b 0 ( j ) b ( j ) ,
根据校正后的从仪器光谱Xstd,由主仪器建立的校正模型得到样品各成分含量的最终结果。
2.根据权利要求1所述的基于一元线性回归的光谱模型传递方法,其特征在于:
所述步骤Ⅰ中的光谱为近红外光谱、中红外光谱、拉曼光谱及紫外-可见光谱中的任一种。
3.根据权利要求1所述的基于一元线性回归的光谱模型传递方法,其特征在于:
所述步骤Ⅰ中的预处理为平滑处理、二阶求导处理、标准化处理、基线偏移处理、标准正态变量处理、多元散射校正处理和去趋势处理中的任意一种或多种的组合。
4.根据权利要求1所述的基于一元线性回归的光谱模型传递方法,其特征在于:
所述步骤Ⅰ中的已知m种主要成分含量的样品集,分别按某种成分含量梯度排序,然后按隔△选一,选取N2个此种成分的预测集样品,其余作为此种成分的校正集样品,△为3~6的整数。
5.根据权利要求1所述的基于一元线性回归的光谱模型传递方法,其特征在于:
所述步骤Ⅱ中建立校正模型的多元校正方法为主成分回归法、偏最小二乘法、支持向量回归法和人工神经网络回归法中的任意一种。
6.根据权利要求1所述的基于一元线性回归的光谱模型传递方法,其特征在于:
所述步骤Ⅲ中校正模型评价为预测标准偏差组合校正标准偏差和/或决定系数。
7.根据权利要求1所述的基于一元线性回归的光谱模型传递方法,其特征在于:
所述步骤Ⅴa中自校正集选取转换集样品的方法为杠杆点算法、MSID算法、Kennard-Stone算法及随机选取法中的任一种。
8.根据权利要求1所述的基于一元线性回归的光谱模型传递方法,其特征在于:
所述步骤Ⅴa中转换集样品数满足1≤N3≤20。
CN201410299422.3A 2014-06-27 2014-06-27 基于一元线性回归的光谱模型传递方法 Active CN104089911B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410299422.3A CN104089911B (zh) 2014-06-27 2014-06-27 基于一元线性回归的光谱模型传递方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410299422.3A CN104089911B (zh) 2014-06-27 2014-06-27 基于一元线性回归的光谱模型传递方法

Publications (2)

Publication Number Publication Date
CN104089911A true CN104089911A (zh) 2014-10-08
CN104089911B CN104089911B (zh) 2016-05-25

Family

ID=51637647

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410299422.3A Active CN104089911B (zh) 2014-06-27 2014-06-27 基于一元线性回归的光谱模型传递方法

Country Status (1)

Country Link
CN (1) CN104089911B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104897709A (zh) * 2015-06-15 2015-09-09 江苏大学 一种基于x-射线荧光分析的农产品元素定量检测模型构建方法
CN106769937A (zh) * 2016-12-30 2017-05-31 杭州谱育科技发展有限公司 一种光谱数据处理方法
CN106769981A (zh) * 2016-11-18 2017-05-31 北京化工大学 一种沥青蜡含量红外光谱校正模型双向传递方法
CN106872397A (zh) * 2016-12-29 2017-06-20 深圳市芭田生态工程股份有限公司 一种基于已有校正模型快速检测农产品化学组分的方法
CN106932557A (zh) * 2017-04-12 2017-07-07 山东省科学院海洋仪器仪表研究所 一种基于多算法推荐的不同地区间土壤养分模型转移方法
CN106951720A (zh) * 2017-04-12 2017-07-14 山东省科学院海洋仪器仪表研究所 基于典型相关性分析及线性插值的土壤养分模型转移方法
CN107014770A (zh) * 2017-05-15 2017-08-04 崔哲 一种基于光谱分析的皮革无损检测方法及其系统
CN108760652A (zh) * 2018-03-26 2018-11-06 南京农业大学 基于可见/近红外光谱的葡萄多品质无损检测方法及装置
CN109374566A (zh) * 2018-12-17 2019-02-22 湖北航天化学技术研究所 一种混醇含量的测定方法及测定系统
CN109444066A (zh) * 2018-10-29 2019-03-08 山东大学 基于光谱数据的模型转移方法
CN109507167A (zh) * 2018-11-16 2019-03-22 深圳达闼科技控股有限公司 一种物质检测方法、装置、计算设备及计算机存储介质
CN110501294A (zh) * 2019-08-07 2019-11-26 西安文理学院 一种基于信息融合的多元校正方法
CN110715730A (zh) * 2018-07-11 2020-01-21 唯亚威通讯技术有限公司 多元校准模型维护的聚焦线性模型校正和线性模型校正
CN110736707A (zh) * 2019-09-16 2020-01-31 浙江大学 一种主仪器向从仪器光谱模型传递的光谱检测优化方法
CN110795689A (zh) * 2019-09-30 2020-02-14 深圳和而泰家居在线网络科技有限公司 一种矩阵数据处理的方法、装置及存储介质
CN111027752A (zh) * 2019-11-19 2020-04-17 浙江大学 一种深度时空特征联合学习的农作物产量估测方法
CN111157484A (zh) * 2020-01-14 2020-05-15 北京农业智能装备技术研究中心 用于水果糖度检测设备的近红外光谱模型传递方法
CN111579526A (zh) * 2020-06-08 2020-08-25 贵州中烟工业有限责任公司 一种表征近红外仪器差异和校正的方法
CN112414966A (zh) * 2019-08-21 2021-02-26 东北大学秦皇岛分校 基于仿射变化的近红外光谱多目标标定迁移方法
CN112683816A (zh) * 2020-12-25 2021-04-20 中船重工安谱(湖北)仪器有限公司 一种光谱模型传递的光谱识别方法
CN113447452A (zh) * 2021-06-29 2021-09-28 西安交通大学 一种用于绝缘纸光谱的水分影响因素校正方法及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106680220A (zh) * 2015-11-06 2017-05-17 深圳市芭田生态工程股份有限公司 根据光谱数据和化学检测数据的映射集合设计公式的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4866644A (en) * 1986-08-29 1989-09-12 Shenk John S Optical instrument calibration system
CN103175822A (zh) * 2013-02-06 2013-06-26 中国食品药品检定研究院 消除拉曼光谱仪台间差的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4866644A (en) * 1986-08-29 1989-09-12 Shenk John S Optical instrument calibration system
CN103175822A (zh) * 2013-02-06 2013-06-26 中国食品药品检定研究院 消除拉曼光谱仪台间差的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
E.BOUBERSSE ET AL: "Standardisation of near-infrared spectrometric instruments:A review", 《VIBRATIONAL SPECTROSCOPY》, vol. 11, 31 December 1996 (1996-12-31) *
杨辉华 等: "NIR光谱的Isomap-PLS非线性建模方法", 《光谱学与光谱分析》, vol. 29, no. 2, 28 February 2009 (2009-02-28) *

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104897709A (zh) * 2015-06-15 2015-09-09 江苏大学 一种基于x-射线荧光分析的农产品元素定量检测模型构建方法
CN106769981A (zh) * 2016-11-18 2017-05-31 北京化工大学 一种沥青蜡含量红外光谱校正模型双向传递方法
CN106769981B (zh) * 2016-11-18 2019-04-26 北京化工大学 一种沥青蜡含量红外光谱校正模型双向传递方法
CN106872397A (zh) * 2016-12-29 2017-06-20 深圳市芭田生态工程股份有限公司 一种基于已有校正模型快速检测农产品化学组分的方法
CN106769937B (zh) * 2016-12-30 2020-07-31 杭州谱育科技发展有限公司 一种光谱数据处理方法
CN106769937A (zh) * 2016-12-30 2017-05-31 杭州谱育科技发展有限公司 一种光谱数据处理方法
CN106932557A (zh) * 2017-04-12 2017-07-07 山东省科学院海洋仪器仪表研究所 一种基于多算法推荐的不同地区间土壤养分模型转移方法
CN106951720A (zh) * 2017-04-12 2017-07-14 山东省科学院海洋仪器仪表研究所 基于典型相关性分析及线性插值的土壤养分模型转移方法
CN106951720B (zh) * 2017-04-12 2019-05-31 山东省科学院海洋仪器仪表研究所 基于典型相关性分析及线性插值的土壤养分模型转移方法
CN107014770A (zh) * 2017-05-15 2017-08-04 崔哲 一种基于光谱分析的皮革无损检测方法及其系统
CN108760652A (zh) * 2018-03-26 2018-11-06 南京农业大学 基于可见/近红外光谱的葡萄多品质无损检测方法及装置
CN110715730B (zh) * 2018-07-11 2022-05-27 唯亚威通讯技术有限公司 多元校准模型维护的聚焦线性模型校正和线性模型校正
US11561166B2 (en) 2018-07-11 2023-01-24 Viavi Solutions Inc. Focusing linear model correction and linear model correction for multivariate calibration model maintenance
CN110715730A (zh) * 2018-07-11 2020-01-21 唯亚威通讯技术有限公司 多元校准模型维护的聚焦线性模型校正和线性模型校正
CN109444066A (zh) * 2018-10-29 2019-03-08 山东大学 基于光谱数据的模型转移方法
CN109444066B (zh) * 2018-10-29 2020-04-14 山东大学 基于光谱数据的模型转移方法
CN109507167A (zh) * 2018-11-16 2019-03-22 深圳达闼科技控股有限公司 一种物质检测方法、装置、计算设备及计算机存储介质
CN109374566A (zh) * 2018-12-17 2019-02-22 湖北航天化学技术研究所 一种混醇含量的测定方法及测定系统
CN110501294A (zh) * 2019-08-07 2019-11-26 西安文理学院 一种基于信息融合的多元校正方法
CN110501294B (zh) * 2019-08-07 2021-09-28 西安文理学院 一种基于信息融合的多元校正方法
CN112414966A (zh) * 2019-08-21 2021-02-26 东北大学秦皇岛分校 基于仿射变化的近红外光谱多目标标定迁移方法
CN110736707A (zh) * 2019-09-16 2020-01-31 浙江大学 一种主仪器向从仪器光谱模型传递的光谱检测优化方法
CN110795689A (zh) * 2019-09-30 2020-02-14 深圳和而泰家居在线网络科技有限公司 一种矩阵数据处理的方法、装置及存储介质
CN110795689B (zh) * 2019-09-30 2023-08-25 深圳数联天下智能科技有限公司 一种矩阵数据处理的方法、装置及存储介质
CN111027752B (zh) * 2019-11-19 2022-06-21 浙江大学 一种深度时空特征联合学习的农作物产量估测方法
CN111027752A (zh) * 2019-11-19 2020-04-17 浙江大学 一种深度时空特征联合学习的农作物产量估测方法
CN111157484A (zh) * 2020-01-14 2020-05-15 北京农业智能装备技术研究中心 用于水果糖度检测设备的近红外光谱模型传递方法
CN111579526A (zh) * 2020-06-08 2020-08-25 贵州中烟工业有限责任公司 一种表征近红外仪器差异和校正的方法
CN111579526B (zh) * 2020-06-08 2023-05-30 贵州中烟工业有限责任公司 一种表征近红外仪器差异和校正的方法
CN112683816A (zh) * 2020-12-25 2021-04-20 中船重工安谱(湖北)仪器有限公司 一种光谱模型传递的光谱识别方法
CN112683816B (zh) * 2020-12-25 2021-08-06 中船重工安谱(湖北)仪器有限公司 一种光谱模型传递的光谱识别方法
CN113447452A (zh) * 2021-06-29 2021-09-28 西安交通大学 一种用于绝缘纸光谱的水分影响因素校正方法及系统

Also Published As

Publication number Publication date
CN104089911B (zh) 2016-05-25

Similar Documents

Publication Publication Date Title
CN104089911A (zh) 基于一元线性回归的光谱模型传递方法
CN103854305B (zh) 一种基于多尺度建模的模型传递方法
CN106815643B (zh) 基于随机森林迁移学习的红外光谱模型传递方法
UA86820C2 (uk) Спосіб створення незалежних багатомірних градуювальних моделей
CN105300923A (zh) 一种近红外光谱分析仪在线应用时无测点温度补偿模型修正方法
CN107958267B (zh) 一种基于光谱线性表示的油品性质预测方法
CN111965140B (zh) 基于特征峰的波长点重组方法
CN106018331B (zh) 多通道光谱系统的稳定性评价方法及预处理优化方法
CN101413884B (zh) 近红外光谱分析仪及其分辨率的校正方法
CN105486655A (zh) 基于红外光谱智能鉴定模型的土壤有机质快速检测方法
CN105203497B (zh) 一种由近红外光谱预测脱硫胺液中硫化氢含量的方法
CN111044503A (zh) 一种基于激光诱导击穿光谱和近红外光谱信息融合的煤质测量方法
CN105203498A (zh) 一种基于lasso的近红外光谱变量选择方法
CN105784672A (zh) 一种基于双树复小波算法的毒品检测仪标准化方法
CN106248621A (zh) 一种评价方法与系统
CN104155262B (zh) 一种烟草水溶性糖近红外定量模型中光谱范围的选择方法
Ge et al. Visible and near‐infrared reflectance spectroscopy analysis of soils
CN104833652A (zh) 一种混合材料中纤维素硝酸酯含量的快速分析方法
CN102306236B (zh) 基于角度度量的多变量分析方法
CN111896497B (zh) 一种基于预测值的光谱数据修正方法
CN104020124A (zh) 基于吸收率择优的分光波长筛选方法
CN113916817B (zh) 用于城镇生活饮用水的光谱法色度在线测量方法
ES2098063T3 (es) Metodo para la prediccion de indices de cetano de gasoleos.
WO2024011687A1 (zh) 一种油品物性快评模型建立方法及装置
CN114720410A (zh) 一种压裂液钻井液的光谱检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant