CN103854305A - 一种基于多尺度建模的模型传递方法 - Google Patents

Abstract

一种基于多尺度建模的模型传递方法，该方法包括以下步骤：采集主、从机仪器的原始光谱；结合小波基性和样品原始光谱的特性，选择最佳小波基对光谱进行小波多尺度分解，获取小波系数；对小波系数进行重构；对每一层重构的光谱分别进行多变量校正；对多变量校正之后的光谱建立基于偏最小二乘法和留一法交叉验证法的预测模型，得到预测模型的交叉验证均方根误差；使用权值将预测模型进行模型融合，并计算预测均方根误差和相关系数来评价模型传递效果。本方法相较于常规模型传递方法，极大的提高了模型传递的效率和性能，能广泛应用于近红外和拉曼光谱等领域。

Description

一种基于多尺度建模的模型传递方法

技术领域

本发明涉及化学计量学领域，尤其涉及一种基于多尺度建模的模型传递方法。

背景技术

多元校正模型是近红外光谱定量分析的基础，建立一个长期稳健、可靠、准确的数学模型是非常复杂的过程，需要消耗大量的时间、人力、物力和财力。由于模型中包含着建模样品的理化性质、装样条件、仪器状态以及环境因素等信息，因此必须对该模型能否适用于新样品或在新仪器上测定的光谱进行评价和研究，如果模型不适用，也就是说，模型在预测过程中所遇到的样本信息并非在校正过程中所包含的变异，导致预测结果偏差较大，那么就需要进行模型的传递。

模型传递，也称为仪器标准化，广义的模型传递泛指在原条件下建立的模型能够应用于新的测试条件，包括在不同的样品状态、环境条件和仪器状态等测试系统之间进行传递；狭义的模型传递一般是指使用数学方法对不同光谱仪之间的差异进行修正。本申请研究的模型传递通常指的是狭义的模型传递。目前，常用的模型传递方法主要有对模型系数b的校正、斜率/偏差（S/B）算法、直接校正（DS）算法、分段直接标准化（PDS）算法、Shenk专利算法和目标因子法等，其中应用最为普遍和最成功的是多变量校正方法，它包括DS算法和PDS算法等。

众所周知，光谱本身就是多尺度的，其包含的信息也是多尺度的。不同光谱仪的光谱之间的差异，可能只存在于一部分频率域上，其他部分的信息则是相同的。而常规的多变量校正方法是在对整个光谱层面上进行校正，没有在频率域对光谱进行划分，这样的模型传递很笼统，不够精细，精度也不够，性能自然也不好。

发明内容

本发明提供了一种基于多尺度建模的模型传递方法，本发明通过小波多尺度建模和多变量校正相结合，对光谱的频率域进行精细划分，对有差异的频率域就、进行多变量校正，从而大幅度的提高模型传递的效率和性能，详见下文描述：

一种基于多尺度建模的模型传递方法，所述方法包括以下步骤：

（1）采集主、从机仪器的原始光谱；

（2）结合小波基性和样品原始光谱的特性，选择最佳小波基对光谱进行小波多尺度分解，获取小波系数；

（3）对小波系数进行重构；对每一层重构的光谱分别进行多变量校正；

（4）对多变量校正之后的光谱建立基于偏最小二乘法和留一法交叉验证法的预测模型，得到预测模型的交叉验证均方根误差；

（5）使用权值将预测模型进行模型融合，并计算预测均方根误差和相关系数来评价模型传递效果。

所述交叉验证均方根误差具体为：

$\mathrm{RMSECV}=\sqrt{\frac{{\mathrm{\Σ}}_1^n{(C_{\mathrm{NIR}}-C_{\mathrm{REF}})}^2}{{\mathrm{\Σ}}_1^n{C}_{\mathrm{REF}}^2}}$

式中：RMSECV为交叉验证均方根误差；n为样品数，C_NIR是样品的某一实际属性；C_REF为预测出的样品属性。

所述预测均方根误差具体为：

$\mathrm{RMSEP}=\sqrt{\frac{{\mathrm{\Σ}}_1^n{(C_{\mathrm{NIR}}-C_{\mathrm{REF}})}^2}{n}}$

式中：RMSEP为预测均方根误差；n是样品数，C_NIR是样品的某一实际属性；C_REF为预测出的样品属性。

所述相关系数具体为：

$R=\frac{{\mathrm{\Σ}}_1^n{C}_{\mathrm{NIR}}{C}_{\mathrm{REF}}-\frac{{\mathrm{\Σ}}_1^n{C}_{\mathrm{NIR}}{\mathrm{\Σ}}_1^n{C}_{\mathrm{REF}}}{n}}{\sqrt{({\mathrm{\Σ}}_1^n{C_{\mathrm{NIR}}}^2-\frac{{\left({\mathrm{\Σ}}_1^n{C}_{\mathrm{NIR}}\right)}^2}{n})({\mathrm{\Σ}}_1^n{C_{\mathrm{NIR}}}^2-\frac{{\left({\mathrm{\Σ}}_1^n{C}_{\mathrm{REF}}\right)}^2}{n})}}$

式中：R为相关系数；n是样品数，C_NIR是样品的某一实际属性；C_REF为预测出的样品属性。

所述使用权值将预测模型进行模型融合的操作具体为：

$W_i=\frac{{\left(\frac{1}{{\mathrm{RMSECV}}_i}\right)}^2}{{\mathrm{\Σ}}_i^m{\left(\frac{1}{{\mathrm{RMSECV}}_i}\right)}^2}$

根据权值W_i将预测模型融合在一起，公式如下：

$C=\underset{i}{\overset{m}{\mathrm{\Σ}}}{W}_i\·C_{\mathrm{iREF}}$

其中，C_iREF是预测模型的预测结果，m是分解的尺度，C为预测模型融合后的预测结果，即最终的模型传递结果。

本发明提供的技术方案的有益效果是：首先选择最佳小波基对光谱进行多尺度分解并重构；其次应用多变量校正对重构的每一层光谱进行校正；接着通过计算出的权值进行子模型融合；最后通过预测均方根误差和相关系数对模型传递的结果和性能进行评价。本方法相较于常规模型传递方法，极大的提高了模型传递的效率和性能，能广泛应用于近红外和拉曼光谱等领域。

附图说明

图1（a）玉米样品的m5仪器光谱；

图1（b）玉米样品的mp5仪器光谱；

图2为m5和mp5仪器光谱二者的差异；

图3（a）不同小波基在不同分解尺度下的RMSEP；

图3（b）不同小波基在不同分解尺度下的相关系数；

图4（a）第一层的模型传递后预测结果；

图4（b）第二层的模型传递后预测结果；

图4（c）第三层的模型传递后预测结果；

图5为子模型的交叉验证均方根误差；

图6为子模型的决策融合权重；

图7为一种基于多尺度建模的模型传递方法的流程图；

图8（a）常规DS方法模型传递的结果；

图8（b）基于多尺度建模的模型传递方法的结果。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

为了对光谱的频率域进行精细划分，对有差异的频率域进行多变量校正，从而大幅度的提高模型传递的效率和性能，本发明实施例提供了一种基于多尺度建模的模型传递方法，详见下文描述：

101：采集主、从机仪器的原始光谱；

其中，采集原始光谱即：对同一样品在同一测量条件下采集不同仪器的光谱，主、从机光谱仪器需保证是同一类型号仪器。

102：结合小波基性和样品原始光谱的特性，选择最佳小波基对光谱进行小波多尺度分解，获取小波系数；

其中，选择最佳小波基，是对小波基数学特性进行分析，得到具有对称性、紧支性、正交性及高阶消失矩的小波基函数，有Daubechies小波、Symlets小波、Coiflets小波等；通过计算信号重构的均方根误差来衡量小波基重构信号的能力。

103：对小波系数进行重构；

其中，重构是对不同仪器的光谱分解后的每一层小波系数分别进行重构。

104：对每一层重构的光谱分别进行多变量校正；

其中，多变量校正方法，是常规的模型传递方法，其中最常用的是直接标准化算法（DS），分段直接标准化算法（PDS）等。

105：对多变量校正之后的光谱建立基于偏最小二乘法和留一法交叉验证法的预测模型，得到预测模型的交叉验证均方根误差；

其中，对多变量校正后的光谱进行PLS建模指的是用校正后的光谱和化学法测得的浓度矩阵，建立基于偏最小二乘法和留一法交叉验证法的预测模型，交叉验证均方根误差为RMSECV，公式如下：

$\mathrm{RMSECV}=\sqrt{\frac{{\mathrm{\Σ}}_1^n{(C_{\mathrm{NIR}}-C_{\mathrm{REF}})}^2}{{\mathrm{\Σ}}_1^n{C}_{\mathrm{REF}}^2}}$

式中：n是样品数，C_NIR是样品的某一实际属性，一般为浓度；C_REF为预测出的样品属性；sum为求和。

106：使用权值将预测模型进行模型融合，并计算RMSEP值和相关系数R来评价模型传递效果。

其中，RMSEP为预测均方根误差，其公式如下：

$\mathrm{RMSEP}=\sqrt{\frac{{\mathrm{\Σ}}_1^n{(C_{\mathrm{NIR}}-C_{\mathrm{REF}})}^2}{n}}$

相关系数为R，其公式如下：

$R=\frac{{\mathrm{\Σ}}_1^n{C}_{\mathrm{NIR}}{C}_{\mathrm{REF}}-\frac{{\mathrm{\Σ}}_1^n{C}_{\mathrm{NIR}}{\mathrm{\Σ}}_1^n{C}_{\mathrm{REF}}}{n}}{\sqrt{({\mathrm{\Σ}}_1^n{C_{\mathrm{NIR}}}^2-\frac{{\left({\mathrm{\Σ}}_1^n{C}_{\mathrm{NIR}}\right)}^2}{n})({\mathrm{\Σ}}_1^n{C_{\mathrm{NIR}}}^2-\frac{{\left({\mathrm{\Σ}}_1^n{C}_{\mathrm{REF}}\right)}^2}{n})}}$

其中，模型融合采取如下的方式：

在每一层上对新旧仪器光谱进行多变量校正后，得到预测模型和预测均方根误差。根据每个预测模型的交叉验证均方根误差计算出融合的权值，公式如下：

$W_i=\frac{{\left(\frac{1}{{\mathrm{RMSECV}}_i}\right)}^2}{{\mathrm{\Σ}}_i^m{\left(\frac{1}{{\mathrm{RMSECV}}_i}\right)}^2}$

然后根据权值将子模型融合在一起，公式如下：

$C=\underset{i}{\overset{m}{\mathrm{\Σ}}}{W}_i\·C_{\mathrm{iREF}}$

其中，C_iREF是子模型的预测结果，m是分解的尺度，C为模型融合后的预测结果，即最终的模型传递结果。

下面结合具体实例和附图对本发明的基于多尺度建模的模型传递新方法做出详细说明。

（1）使用化学方法测得玉米样品的湿度数据，采集样品的新旧仪器的原始光谱数据，结合小波基的数学特性和光谱的性质选择最佳小波基。

采集光谱数据，是在同一测量条件下采集同一样品的光谱数据。新旧仪器是指同一型号，不同的两台仪器。

图1（a）和图1（b）是两台不同近红外仪器m5和mp5对80组玉米样品在相同测量条件下测得的近红外光谱，设定m5光谱为主机光谱，mp5光谱为从机光谱。图2是m5仪器光谱和mp5仪器光谱二者之间的差异。

通过计算信号重构的均方根误差来衡量小波基重构信号的能力，最终选择db小波作为分析样品原始光谱的最佳小波基。

其中，均方根误差公式如下：

$E=\sqrt{\underset{i}{\overset{N}{\mathrm{\Σ}}}|S_r\left(i\right)-S\left(i\right)|/N}$

式中：N为采样点数，S(i)样品的原始光谱信号，S_r(i)为重构的光谱信号。

（2）使用最佳小波基对原始光谱进行多尺度分解，并对每层小波系数进行重构。

在使用最佳小波基对原始光谱进行多尺度分解，其分解层数与光谱自身长度有关，本发明实施例采用的是二进制离散小波，因此分解层数与2的幂数有关，如果光谱长度为2ⁿ，那么分解尺度不应超过n-1，同时分解尺度也不应过小，会导致信号中的有用消息难以与干扰因素分离，因此设定分解尺度范围为

确定分解尺度范围后，使用RMSEP值和相关系数来确定最佳分解尺度并对分解后的小波系数进行重构。

其中，图3（a）是不同小波基在不同分解尺度下的RMSEP，图3（b）是不同小波基在不同分解尺度下的相关系数，综合上述两个指标，选择了最佳分解尺度为8。

（3）对每一层重构的光谱分别进行多变量校正，并得到交叉验证的均方根误差。

多变量校正是常规的模型传递方法，其中最常用的是直接标准化算法（DS），分段直接标准化算法（PDS）等，这里采用直接标准化算法，使用转换矩阵F将标准样品在主、从机上测定的训练集光谱矩阵S_m和S_s进行关联，关系如下：

S_m＝S_s·F

F＝S_s ^-1·S_m

这样，对于待测样品在从机上测得的光谱X_s就可以通过转换矩阵转化后就实现了模型传递：

X_s,ds＝X_s·F

其中，S_m是训练集的m5光谱，S_s是训练集的mp5光谱，X_s,ds是校正后的光谱，X_s是测试集的mp5光谱。

（4）在每一个尺度上建立m5光谱和化学法测得的玉米样品湿度浓度矩阵的预测模型，然后使用校正后的mp5光谱通过建立好的预测模型去预测样品的湿度。

图4（a）（b）（c）是预测模型预测的结果，鉴于篇幅所限，只列举3个尺度的结果。

（5）使用有效的融合策略将子模型融合到一起。

计算出每层尺度上预测模型的交叉验证均方根误差，图5是就是所有预测模型的交叉验证均方根误差，使用交叉验证均方根误差计算每个预测模型的权重，图6是每个预测模型的权重。使用计算出的权重将预测模型进行决策级融合，图7是本发明整体步骤的流程图。图8（a）是常规DS法模型传递的结果，图8（b）是本发明模型传递的结果。

由图可见，本发明通过小波变换将新旧仪器光谱进行多尺度分解，将每一层的小波系数分别进行重构，然后分别在每一层上对新旧光谱进行多变量校正，对校正后的光谱进行PLS建模，最后采取有效的融合手段将预测模型融合。本方法较常规的模型传递方法精度更高、性能更高，对于不同仪器间模型转移起到了重要作用，可广泛应用于多个光谱领域。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于多尺度建模的模型传递方法，其特征在于，所述方法包括以下步骤：

（1）采集主、从机仪器的原始光谱；

（2）结合小波基性和样品原始光谱的特性，选择最佳小波基对光谱进行小波多尺度分解，获取小波系数；

（3）对小波系数进行重构；对每一层重构的光谱分别进行多变量校正；

（4）对多变量校正之后的光谱建立基于偏最小二乘法和留一法交叉验证法的预测模型，得到预测模型的交叉验证均方根误差；

（5）使用权值将预测模型进行模型融合，并计算预测均方根误差和相关系数来评价模型传递效果。

2.根据权利要求1所述的一种基于多尺度建模的模型传递方法，其特征在于，所述交叉验证均方根误差具体为：

$\mathrm{RMSECV}=\sqrt{\frac{{\mathrm{\Σ}}_1^n{(C_{\mathrm{NIR}}-C_{\mathrm{REF}})}^2}{{\mathrm{\Σ}}_1^n{C}_{\mathrm{REF}}^2}}$

式中：RMSECV为交叉验证均方根误差；n为样品数；C_NIR是样品的某一实际属性；C_REF为预测出的样品属性。

3.根据权利要求1所述的一种基于多尺度建模的模型传递方法，其特征在于，所述预测均方根误差具体为：

$\mathrm{RMSEP}=\sqrt{\frac{{\mathrm{\Σ}}_1^n{(C_{\mathrm{NIR}}-C_{\mathrm{REF}})}^2}{n}}$

式中：RMSEP为预测均方根误差；n是样品数，C_NIR是样品的某一实际属性；C_REF为预测出的样品属性。

4.根据权利要求1所述的一种基于多尺度建模的模型传递方法，其特征在于，所述相关系数具体为：

$R=\frac{{\mathrm{\Σ}}_1^n{C}_{\mathrm{NIR}}{C}_{\mathrm{REF}}-\frac{{\mathrm{\Σ}}_1^n{C}_{\mathrm{NIR}}{\mathrm{\Σ}}_1^n{C}_{\mathrm{REF}}}{n}}{\sqrt{({\mathrm{\Σ}}_1^n{C_{\mathrm{NIR}}}^2-\frac{{\left({\mathrm{\Σ}}_1^n{C}_{\mathrm{NIR}}\right)}^2}{n})({\mathrm{\Σ}}_1^n{C_{\mathrm{NIR}}}^2-\frac{{\left({\mathrm{\Σ}}_1^n{C}_{\mathrm{REF}}\right)}^2}{n})}}$

式中：R为相关系数；n是样品数，C_NIR是样品的某一实际属性；C_REF为预测出的样品属性。

5.根据权利要求1所述的一种基于多尺度建模的模型传递方法，其特征在于，所述使用权值将预测模型进行模型融合的操作具体为：

$W_i=\frac{{\left(\frac{1}{{\mathrm{RMSECV}}_i}\right)}^2}{{\mathrm{\Σ}}_i^m{\left(\frac{1}{{\mathrm{RMSECV}}_i}\right)}^2}$

根据权值W_i将预测模型融合在一起，公式如下：

$C=\underset{i}{\overset{m}{\mathrm{\Σ}}}{W}_i\·C_{\mathrm{iREF}}$

其中，C_iREF是预测模型的预测结果，m是分解的尺度，C为预测模型融合后的预测结果，即最终的模型传递结果。

Images