CN114282446A - 一种基于不同偏好光谱模型的拟合预测方法 - Google Patents

Abstract

本发明涉及近红外光谱分析技术，其公开了一种基于不同偏好光谱模型的拟合预测方法，解决传统便携式近红外光谱分析方法随机性大，预测效果不稳定，准确率低的问题。该方法包括以下步骤：S1、导入原始光谱样本数据，并按照不同偏好对光谱样本数据进行划分；S2、基于不同偏好划分的光谱样本数据训练对应偏好光谱模型，获得对应偏好的稳定光谱模型；S3、利用对应偏好的稳定光谱模型分别对待预测光谱数据进行预测，获得各自对应的预测结果；S4、对各个偏好的稳定光谱模型的预测结果进行拟合，获得最终的预测结果。

Description

一种基于不同偏好光谱模型的拟合预测方法

技术领域

本发明涉及近红外光谱分析技术，具体涉及一种基于不同偏好光谱模型的拟合预测方法。

背景技术

近年来，近红外光谱分析技术发展十分迅速，已在化工，制药，军工，食品等多个领域都获得了应用。近红外光谱技术属于分子光谱技术，可以在分子水平上表明物质成分和性质信息，不论对经济还是社会影响来说，都取得了非常高的效益，极具发展潜力。

然而，目前大多数物质成分和性质信息检测主要使用大型实验室近红外光谱仪器进行，这些方法虽然定量准确灵敏度高，但所需设备体积庞大，设备费用昂贵，样品制备时间长且样品制作方法严格，检测设备和样品制备需要专业人员操作，检测环境固定，且分析时间长，不适用于现场检测，不便于推广使用。

伴随着便携式近红外光谱技术的发展，市场主流的大型近红外光谱仪设备都朝着体积小巧，价格低廉的便携式方向发展。但是便携式近红外光谱仪易受光源、检测器、使用方法、环境条件等影响，造成采集的光谱数据稳定性差，精度低，光谱数据易偏移的问题，进而影响光谱模型预测效果。尤其是在盲测过程中，传统便携式光谱预测方法选用的预处理方式有极大随机性，极容易造成预测效果不稳定，准确率低的问题。

发明内容

本发明所要解决的技术问题是：提出一种基于不同偏好光谱模型的拟合预测方法，解决传统便携式近红外光谱分析方法随机性大，预测效果不稳定，准确率低的问题。

本发明解决上述技术问题采用的技术方案是：

一种基于不同偏好光谱模型的拟合预测方法，包括以下步骤：

S1、导入原始光谱样本数据，并按照不同偏好对光谱样本数据进行划分；

S2、基于不同偏好划分的光谱样本数据训练对应偏好光谱模型，获得对应偏好的稳定光谱模型；

S3、利用对应偏好的稳定光谱模型分别对待预测光谱数据进行预测，获得各自对应的预测结果；

S4、对各个偏好的稳定光谱模型的预测结果进行拟合，获得最终的预测结果。

作为进一步优化，步骤S1中，所述导入原始光谱样本数据，并按照不同偏好对光谱样本数据进行划分，具体包括：

导入400条原始光谱样本数据，按照三种偏好对光谱样本数据进行划分：

其中，对于第一偏好，采用时间顺序划分的方式分为训练集及测试集，将前期采集的300条光谱数据划分为训练集，将后期采集的100条光谱数据划分为测试集；

对于第二偏好，采用时间顺序划分的方式分为折中训练集、折中验证集及测试集，将前期采集的200条光谱数据划分为折中训练集，将中期采集的100条光谱数据划分为折中验证集，将后期采集的100条光谱数据划分为测试集；

对于第三偏好，采用时间顺序以及部分随机的方式进行数据划分为随机折中训练集、随机折中验证集及测试集；将前期的300条光谱数据进行随机打乱，从中随机抽取200条光谱数据作为随机折中训练集，剩余的100条光谱数据作为随机折中验证集，将后期采集的100条谱数据划分为测试集。

作为进一步优化，步骤S2中，所述基于不同偏好划分的光谱样本数据训练对应偏好光谱模型，获得对应偏好的稳定光谱模型，具体包括：

利用第一偏好划分的光谱样本数据训练第一偏好光谱模型；

利用第二偏好划分的光谱样本数据训练第二偏好光谱模型；

利用第三偏好划分的光谱样本数据训练第三偏好光谱模型。

作为进一步优化，所述利用第一偏好划分的光谱样本数据训练第一偏好光谱模型，具体包括：

(1)光谱预处理：

对300条训练集光谱数据进行高斯平滑、去趋势处理；

(2)光谱建模：

将预处理之后的300条训练集光谱数据采用PLS(偏最小二乘法)进行光谱建模；

(3)模型选择：

将不同参数预处理方法与不同主成分建模方法进行组合，获得相应数量的组合模型，通过留一法交叉验证，获取每种组合下对应的RMSECV值，选择RMSECV值最小的光谱模型作为第一偏好光谱模型；

(4)模型测试：

采用测试集中的100条光谱数据对第一偏好光谱模型进行测试，验证模型的性能，获得第一偏好的稳定光谱模型。

作为进一步优化，所述利用第二偏好划分的光谱样本数据训练第二偏好光谱模型，具体包括：

(1)光谱预处理：

对200条折中训练集中的光谱数据进行高斯平滑、去趋势处理；

(2)光谱建模：

将预处理之后的200条折中训练集光谱数据采用PLS进行光谱建模；

(3)模型获取：

将不同参数预处理方法与不同主成分建模方法进行组合，获得对应数量的组合模型；

(4)准确率计算：

采用各个组合模型对100条折中验证集光谱数据进行预测，计算出各个组合模型对折中验证集的预测准确率；

(5)准确率筛选：

从各个组合模型中筛选出预测准确率大于预设阈值的组合模型；

(6)模型选择：

通过留一法交叉验证，获取筛选出来的组合模型对应的RMSECV值，选择RMSECV值最小的光谱模型为第二偏好光谱模型；

(7)模型测试：

利用测试集中的100条光谱数据对第二偏好光谱模型进行测试，验证模型的性能，获得第二偏好的稳定光谱模型。

作为进一步优化，所述利用第三偏好划分的光谱样本数据训练第三偏好光谱模型，具体包括：

(1)光谱预处理：

对200条随机折中训练集光谱数据进行高斯平滑、去趋势处理；

(2)光谱建模：

将预处理之后的200条随机折中训练集光谱数据采用PLS进行光谱建模；

(3)模型获取：

将不同参数预处理方法与不同主成分建模方法进行组合，获得对应数量的组合模型；

(4)RMSECV筛选：

通过留一法交叉验证,获取每种组合模型下对应的RMSECV值，筛选出RMSECV值小于预设阈值的组合模型；

(5)准确率计算：

采用筛选出来的组合模型对100条随机折中验证集光谱数据进行预测，计算出各个组合模型对随机折中验证集的预测准确率；

(6)模型选择：

选择预测准确率最高值的组合模型为第三偏好光谱模型；

(7)模型测试：

利用测试集中的100条光谱数据对第三偏好光谱模型进行测试，验证模型的性能，获得第三偏好的稳定光谱模型。

作为进一步优化，步骤S4中，所述对各个偏好的稳定光谱模型的预测结果进行拟合，获得最终的预测结果，具体包括：

M＝(M₁+M₂+M₃)/3

其中，M₁，M₂，M₃分别为第一偏好的稳定光谱模型、第二偏好的稳定光谱模型、第三偏好的稳定光谱模型的预测结果。

本发明的有益效果是：

该方法采用不同偏好的近红外光谱建模方式对待测光谱数据进行预测，再将这些预测值进行拟合得到最终预测值，相较于传统便携式近红外光谱分析方法，通过对不同偏好光谱模型预测值的拟合，能够最大程度减小预测误差，有效提升预测准确率。

附图说明

图1是本发明中的基于不同偏好光谱模型的拟合预测方法流程图。

具体实施方式

本发明旨在提出一种基于不同偏好光谱模型的拟合预测方法，解决传统便携式近红外光谱分析方法随机性大，预测效果不稳定，准确率低的问题。该方法首先导入原始光谱样本数据，并按照不同偏好对光谱样本数据进行划分；然后，基于不同偏好划分的光谱样本数据训练对应偏好光谱模型，获得对应偏好的稳定光谱模型；具体应用时，可以利用对应偏好的稳定光谱模型分别对待预测光谱数据进行预测，获得各自对应的预测结果；最后，对各个偏好的稳定光谱模型的预测结果进行拟合，获得最终的预测结果，其流程如图1所示。

实施例：

本实施例中的基于不同偏好光谱模型的拟合预测方法，包括以下实施步骤：

一、导入原始光谱样本数据，并按照不同偏好对光谱样本数据进行划分：

本步骤中，以采用400条光谱数据作为样本为例，导入的原始光谱样本数据为400*41的矩阵数据，即含400条光谱数据，每条光谱数据包含的波长点为40个，组分标定值数据为1个。便携式近红外光谱分析技术的实际应用中，采集待测样品的光谱数据往往是一个持续过程，400条光谱数据对应着400个样品，该数量级的样本需要一定的采集周期，时间跨度较大，便携式近红外光谱设备由于自身设备老化或其他因素容易引起不同跨度时间点采集的光谱数据一致性较差的问题，因此，本实施例采用三种偏好方式对原始光谱数据进行划分可有效解决该问题。

具体的，对于第一偏好，采用时间顺序划分的方式分为训练集及测试集，前期采集的300条光谱数据划分为训练集，后期采集的100条光谱数据划分为测试集；

对于第二偏好，采用时间顺序划分的方式分为折中训练集、折中验证集及测试集，前期采集的200条光谱数据划分为折中训练集，中期采集的100条光谱数据划分为折中验证集，后期采集的100条光谱数据划分为测试集，保持与第一偏好的测试集相同；

对于第三偏好，采用时间顺序以及部分随机的方式进行数据划分为随机折中训练集、随机折中验证集及测试集，将前期的300条光谱数据进行随机打乱，从中随机抽取200条光谱数据作为随机折中训练集，剩余的100条光谱数据作为随机折中验证集，而后期采集的100条谱数据划分为测试集，保持与第一偏好及第二偏好的测试集相同。

二、基于不同偏好划分的光谱样本数据训练对应偏好光谱模型，获得对应偏好的稳定光谱模型；

本步骤中，针对第一偏好划分的光谱样本数据，选用最小均方根误差(RMSECV)对训练集进行建模，利用测试集对模型的性能进行验证。均方根误差为光谱建模分析过程中最常用的模型指标，该指标实际反应模型内预测标定值与预测值之间的偏差量关系，该偏差量越小，则表示模型内预测标定值与预测值越接近，即预测准确率越高，模型效果越好。

在本实施例中，均方根误差(RMESCV)是采用留一法进行交叉验证生成的，表达式如下：

第一偏好训练集中有300个样本，每次从中取出一个样本X_i(i＝1,2,……,300)，用余下的299个数据进行建模，用建好的模型去预测被取出来的那个样本X_i的y_i值(标定值)，得到样本的预测值

进而对产生的所有预测值计算均方根误差，得到RMSECV值，由于留一法遍历了训练集的所有样本，故RMSECV指标对模型筛选的准确率较传统的MSE、MAE指标更高，更稳定，更适用。

进一步的，建立第一偏好光谱模型的流程为：

(1)光谱预处理：对300条训练集光谱数据进行高斯平滑、去趋势处理，其中高斯平滑窗口宽度设置区间为[1,15]且为奇数，去趋势阶数设置区间为[1,3]；

(2)光谱建模：将预处理之后的300条训练集光谱数据采用PLS进行光谱建模，其中主成分设置区间为[1,10]；

(3)模型选择：将不同参数预处理方法与不同主成分建模方法进行组合，总计有8*3*10＝240种组合模型。通过留一法交叉验证，获取每种组合下对应的RMSECV值，选择RMSECV值最小的光谱模型为第一偏好光谱模型；

(4)模型测试：利用测试集中的100条光谱数据对第一偏好光谱模型进行测试，验证模型的性能，获得第一偏好的稳定光谱模型。

针对第二偏好划分的光谱样本数据，通过预测准确率与RMSECV双指标选择最优模型，并进行模型性能测试。具体的，将光谱样本数据按照采集时间顺序以一定比例进行划分为折中训练集、折中验证集以及测试集，使用折中训练集进行建模，对折中验证集进行预测，通过预测准确率与RMSECV双指标选择最优模型，最后利用测试集来检测模型的性能。

在本实施例中，预测准确率的计算方式为：对总计D条光谱数据进行预测，预测值与标定值的偏差在容错范围之内，即判定为预测正确，对预测正确的样本进行统计总计数量为P个，则预测准确率为：

T＝100％*P/D

进一步的，建立第二偏好光谱模型的流程为：

(1)光谱预处理：对200条折中训练集光谱数据进行高斯平滑、去趋势处理，其中高斯平滑窗口宽度设置区间为[1,15]且为奇数，去趋势阶数设置区间为[1,3]；

(2)光谱建模：将预处理之后的200条折中训练集光谱数据采用PLS进行光谱建模，其中主成分设置区间为[1,10]；

(3)模型获取：将不同参数预处理方法与不同主成分建模方法进行组合，总计有8*3*10＝240种组合模型；

(4)准确率计算：采用以上组合模型对100条折中验证集光谱数据进行预测，计算出各个组合模型对折中验证集的预测准确率；

(5)准确率筛选：步骤(4)中获取240种准确率，选用预测准确率最大值K作为基准值，保留预测准确率大于0.9K的模型组合，剔除准确率小于0.9K的模型组合；

(6)模型选择：通过留一法交叉验证，获取步骤(5)保留下来的组合模型下对应的RMSECV值，选择RMSECV值最小的光谱模型为第二偏好光谱模型；

(7)模型测试：利用测试集中的100条光谱数据对第二偏好光谱模型进行测试，验证模型的性能，获得第二偏好的稳定光谱模型。

针对第三偏好划分的光谱样本数据，将数据进行随机折中划分，通过RMSECV与预测准确率双指标选择最优模型，并进行模型性能测试。具体的，将光谱样本数据按照随机选取的方式以一定比例进行划分为随机折中训练集、随机折中验证集和测试集，使用随机折中训练集进行建模，对随机折中验证集进行预测，通过RMSECV与预测准确率双指标选择最优模型，最后利用测试集来检测模型的性能。

进一步的，建立第三偏好光谱模型的流程为：

(1)光谱预处理：对200条随机折中训练集光谱数据进行高斯平滑、去趋势处理，其中高斯平滑窗口宽度设置区间为[1,15]且为奇数，去趋势阶数设置区间为[1,3]；

(2)光谱建模：将预处理之后的200条随机折中训练集光谱数据采用PLS进行光谱建模，其中主成分设置区间为[1,10]；

(3)模型获取：将不同参数预处理方法与不同主成分建模方法进行组合，总计有8*3*10＝240种组合模型；

(4)RMSECV筛选：通过留一法交叉验证,获取每种组合模型下对应的RMSECV值，选用RMSECV值最小值H作为基准值，保留RMSECV值小于1.1H的模型组合，剔除RMSECV值大于1.1H的模型组合；

(5)准确率计算：采用步骤(4)中保留下来的组合模型对100条随机折中验证集光谱数据进行预测，计算出各个组合模型对随机折中验证集的预测准确率；

(6)模型选择：选择步骤(5)中预测准确率最高值的组合模型为第三偏好光谱模型；

(7)模型测试：利用测试集中的100条光谱数据对第三偏好光谱模型进行测试，验证模型的性能，获得第三偏好的稳定光谱模型。

三、利用对应偏好的稳定光谱模型分别对待预测光谱数据进行预测，获得各自对应的预测结果；

本步骤中，利用第一偏好的稳定光谱模型、第二偏好的稳定光谱模型、第三偏好的稳定光谱模型分别对待预测光谱数据进行预测，获得对应的预测结果M₁，M₂，M₃。

四、对各个偏好的稳定光谱模型的预测结果进行拟合，获得最终的预测结果。

由于便携式近红外光谱设备的便利性，其光谱数据的准确性和稳定性较弱，造成各类光谱模型预测效果均有较大的随机性，进而引起预测效果不稳定，准确率低的问题。将各类偏好光谱模型预测值进行拟合得到的平均值作为最终预测值输出，不仅可以解决各类偏好模型预测效果不稳定的问题，还能通过拟合的方式提高盲测预测准确率。

在本实施例中，对第一偏好、第二偏好、第三偏好分别得到的预测值M₁，M₂，M₃进行拟合，得到最终预测值M为：

M＝(M₁+M₂+M₃)/3

最后应当说明的是，上述实施例仅是优选实施方式，并不用以限制本发明。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可以做出若干修改，等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于不同偏好光谱模型的拟合预测方法，其特征在于，包括以下步骤：

S1、导入原始光谱样本数据，并按照不同偏好对光谱样本数据进行划分；

S2、基于不同偏好划分的光谱样本数据训练对应偏好光谱模型，获得对应偏好的稳定光谱模型；

S3、利用对应偏好的稳定光谱模型分别对待预测光谱数据进行预测，获得各自对应的预测结果；

S4、对各个偏好的稳定光谱模型的预测结果进行拟合，获得最终的预测结果。

2.如权利要求1所述的一种基于不同偏好光谱模型的拟合预测方法，其特征在于，

步骤S1中，所述导入原始光谱样本数据，并按照不同偏好对光谱样本数据进行划分，具体包括：

导入400条原始光谱样本数据，按照三种偏好对光谱样本数据进行划分：

其中，对于第一偏好，采用时间顺序划分的方式分为训练集及测试集，将前期采集的300条光谱数据划分为训练集，将后期采集的100条光谱数据划分为测试集；

对于第二偏好，采用时间顺序划分的方式分为折中训练集、折中验证集及测试集，将前期采集的200条光谱数据划分为折中训练集，将中期采集的100条光谱数据划分为折中验证集，将后期采集的100条光谱数据划分为测试集；

对于第三偏好，采用时间顺序以及部分随机的方式进行数据划分为随机折中训练集、随机折中验证集及测试集；将前期的300条光谱数据进行随机打乱，从中随机抽取200条光谱数据作为随机折中训练集，剩余的100条光谱数据作为随机折中验证集，将后期采集的100条谱数据划分为测试集。

3.如权利要求2所述的一种基于不同偏好光谱模型的拟合预测方法，其特征在于，

步骤S2中，所述基于不同偏好划分的光谱样本数据训练对应偏好光谱模型，获得对应偏好的稳定光谱模型，具体包括：

利用第一偏好划分的光谱样本数据训练第一偏好光谱模型；

利用第二偏好划分的光谱样本数据训练第二偏好光谱模型；

利用第三偏好划分的光谱样本数据训练第三偏好光谱模型。

4.如权利要求3所述的一种基于不同偏好光谱模型的拟合预测方法，其特征在于，

所述利用第一偏好划分的光谱样本数据训练第一偏好光谱模型，具体包括：

(1)光谱预处理：

对300条训练集光谱数据进行高斯平滑、去趋势处理；

(2)光谱建模：

将预处理之后的300条训练集光谱数据采用PLS进行光谱建模；

(3)模型选择：

将不同参数预处理方法与不同主成分建模方法进行组合，获得相应数量的组合模型，通过留一法交叉验证，获取每种组合下对应的RMSECV值，选择RMSECV值最小的光谱模型作为第一偏好光谱模型；

(4)模型测试：

采用测试集中的100条光谱数据对第一偏好光谱模型进行测试，验证模型的性能，获得第一偏好的稳定光谱模型。

5.如权利要求3所述的一种基于不同偏好光谱模型的拟合预测方法，其特征在于，所述利用第二偏好划分的光谱样本数据训练第二偏好光谱模型，具体包括：

(1)光谱预处理：

对200条折中训练集中的光谱数据进行高斯平滑、去趋势处理；

(2)光谱建模：

将预处理之后的200条折中训练集光谱数据采用PLS进行光谱建模；

(3)模型获取：

将不同参数预处理方法与不同主成分建模方法进行组合，获得对应数量的组合模型；

(4)准确率计算：

采用各个组合模型对100条折中验证集光谱数据进行预测，计算出各个组合模型对折中验证集的预测准确率；

(5)准确率筛选：

从各个组合模型中筛选出预测准确率大于预设阈值的组合模型；

(6)模型选择：

通过留一法交叉验证，获取筛选出来的组合模型对应的RMSECV值，选择RMSECV值最小的光谱模型为第二偏好光谱模型；

(7)模型测试：

利用测试集中的100条光谱数据对第二偏好光谱模型进行测试，验证模型的性能，获得第二偏好的稳定光谱模型。

6.如权利要求3所述的一种基于不同偏好光谱模型的拟合预测方法，其特征在于，所述利用第三偏好划分的光谱样本数据训练第三偏好光谱模型，具体包括：

(1)光谱预处理：

对200条随机折中训练集光谱数据进行高斯平滑、去趋势处理；

(2)光谱建模：

将预处理之后的200条随机折中训练集光谱数据采用PLS进行光谱建模；

(3)模型获取：

将不同参数预处理方法与不同主成分建模方法进行组合，获得对应数量的组合模型；

(4)RMSECV筛选：

通过留一法交叉验证,获取每种组合模型下对应的RMSECV值，筛选出RMSECV值小于预设阈值的组合模型；

(5)准确率计算：

采用筛选出来的组合模型对100条随机折中验证集光谱数据进行预测，计算出各个组合模型对随机折中验证集的预测准确率；

(6)模型选择：

选择预测准确率最高值的组合模型为第三偏好光谱模型；

(7)模型测试：

利用测试集中的100条光谱数据对第三偏好光谱模型进行测试，验证模型的性能，获得第三偏好的稳定光谱模型。

7.如权利要求1-6任意一项所述的一种基于不同偏好光谱模型的拟合预测方法，其特征在于，步骤S4中，所述对各个偏好的稳定光谱模型的预测结果进行拟合，获得最终的预测结果，具体包括：

M＝(M₁+M₂+M₃)/3

其中，M₁，M₂，M₃分别为第一偏好的稳定光谱模型、第二偏好的稳定光谱模型、第三偏好的稳定光谱模型的预测结果。

Images