CN111896497B - 一种基于预测值的光谱数据修正方法 - Google Patents

Abstract

本发明涉及光谱数据修正技术，其公开了一种基于预测值的光谱数据修正方法，解决传统技术采用预处理算法进行的数据修正操作复杂、效率低的问题。该方法首先制备测试样品，划分为训练集及预测集，并采集训练集及预测集样品光谱数据，然后结合训练集样品光谱数据与组分标定值进行PLS建模，使用此模型对预测集进行预测，得到同一组分预测值，接着，将训练集组分标定值以及预测集同一组分预测值分别进行均值计算，进而计算均值倍率，并对预测集同一组分预测值进行均值倍率回滚修正，得到修正预测值。最后，将原始预测值及修正预测值分别与预测集组分标定值做对比，判断修正效果。

Description

一种基于预测值的光谱数据修正方法

技术领域

本发明涉及光谱数据修正技术，具体涉及一种基于预测值的光谱数据修正方法。

背景技术

近年来，近红外光谱分析技术发展十分迅速，已在化工，制药，军工，食品等多个领域广泛应用。近红外光谱技术属于分子光谱技术，可以在分子水平上表明物质成分和性质信息，无论是对经济还是社会影响来说，都取得了非常高的效益，极具发展潜力。

然而，目前大多数物质成分和性质信息检测主要使用大型实验室近红外光谱仪器进行，这些检测方法虽然定量准确、灵敏度高，但所需设备体积庞大，设备费用昂贵，样品制备时间长且制作方法严格，检测设备和样品制备需要专业人员操作，检测环境固定，且分析时间长，不适用于现场检测，不便于推广使用。

伴随着便携式近红外光谱技术的发展，市场主流的大型近红外光谱仪设备都朝着体积小巧，价格低廉的便携式方向发展。但是便携式近红外光谱仪易受光源、检测器、使用方法、环境条件等影响，造成采集的光谱数据稳定性差，精度低，光谱数据易偏移的问题，进而影响光谱模型预测效果。为了提高预测的准确性，需要进行数据修正。传统技术通过预处理算法来进行数据修正，不仅数据处理量极大，而且每次对预处理算法进行判断是否有效都需要经过预处理算法--光谱建模--光谱预测--预测值对比分析等光谱对比分析流程，操作复杂且效率低。

发明内容

本发明所要解决的技术问题是：提出一种基于预测值的光谱数据修正方法，解决传统技术采用预处理算法进行的数据修正操作复杂、效率低的问题。

本发明解决上述技术问题采用的技术方案是：

一种基于预测值的光谱数据修正方法，包括以下步骤：

a.制备测试样品，将测试样品划分为训练集及预测集；

b.采集训练集及预测集中样品的光谱数据并进行组分标定；

c.结合训练集中样品的光谱数据与组分标定值进行PLS建模；

d.采用PLS建模获取的模型对预测集进行预测，获得同一组分原始预测值；

e.将训练集组分标定值以及预测集同一组分原始预测值分别进行均值计算；

f.计算均值倍率，并对预测集同一组分原始预测值进行均值倍率回滚修正，得到修正预测值。

作为进一步优化，步骤a中，所述将测试样品划分为训练集及预测集具体为：

将同一类型的待测样品以一定比例划分为训练集及预测集。

作为进一步优化，步骤b中，所述采集训练集及预测集中样品的光谱数据具体为：

在不同的环境条件下对训练集及预测集中样品的光谱数据进行采集。

作为进一步优化，步骤c中，所述结合训练集中样品的光谱数据与组分标定值进行PLS建模，具体为：

采用PLS建立训练集中样品的光谱数据和组分标定值之间的一一对应关系，获得用于未知组分含量预测的预测模型。

作为进一步优化，步骤d中，所述采用PLS建模获取的模型对预测集进行预测，获得同一组分原始预测值，具体为：测定预测集中样品的光谱数据，作为预测模型的输入，通过模型计算输出对应组分含量。

作为进一步优化，步骤e中，所述将训练集组分标定值以及预测集同一组分原始预测值分别进行均值计算，具体为：

将训练集中各个样品对应的组分标定值求和，并除以训练集样品个数，获得训练集组分标定值的均值；

将预测集中各个样品的同一组分原始预测值进行求和，并除以预测集样品个数，获得预测集同一组分原始预测值的均值。

作为进一步优化，步骤f中，所述计算均值倍率，并对预测集同一组分原始预测值进行均值倍率回滚修正，得到修正预测值，具体为：

计算训练集组分标定值的均值与预测集同一组分原始预测值的均值之间的倍率关系T，基于此倍率关系T对预测集同一组分原始预测值进行均值倍率回滚修正，得到修正预测值。

作为进一步优化，该方法还包括步骤：

g.将原始预测值及修正预测值分别与预测集组分标定值进行对比，判断修正效果。

作为进一步优化，步骤g中，所述将原始预测值及修正预测值分别与预测集组分标定值进行对比，判断修正效果，具体为：

设预测集中有m个样品，m个样品的某组分原始预测值为(P₁，P₂，……P_m)，相同组分标定值为(P₁′，P₂′，……P_m′)；

则求得原始预测值的整体偏移系数X为：

求得修正预测值的整体偏移系数X′为：

通过对比，若X′小于X，则说明通过均值修正后的预测值相较于原始预测值更加接近于真实标定值。

本发明的有益效果是：

该方法直接作用于待测样品组分含量预测值，每次对修正方法进行判断是否有效仅需要进行预测值对比分析的过程，极大的简化光谱对比分析流程，易于实施，提升判断效率，而且通过同一类待测样品训练集标定值均值与预测集预测值均值相近的特点，采用均值倍率的方式对各个预测值进行回滚修正，需要处理的光谱数据量极小，且预测准确率效果提升明显。

附图说明

图1为本发明实施例中的基于预测值的光谱数据修正方法流程图。

具体实施方式

本发明旨在提出一种基于预测值的光谱数据修正方法，解决传统技术采用预处理算法进行的数据修正操作复杂、效率低的问题。该方法首先制备测试样品，划分为训练集及预测集，并采集训练集及预测集样品光谱数据，然后结合训练集样品光谱数据与组分标定值进行PLS建模，使用此模型对预测集进行预测，得到同一组分预测值，接着，将训练集组分标定值以及预测集同一组分预测值分别进行均值计算，进而计算均值倍率，并对预测集同一组分预测值进行均值倍率回滚修正，得到修正预测值。最后，将原始预测值及修正预测值分别与预测集组分标定值做对比，判断修正效果。该方法可以有效对样品组分预测值进行修正，且修正效率高，易于实施，极大程度的解决了便携式近红外光谱仪由于光谱数据精度低，发生偏移等问题造成光谱预测效果差的问题。

实施例：

如图1所示，本实施例中的基于预测值的光谱数据修正方法包括以下实施步骤：

S101、制备测试样品，划分为训练集及预测集，并采集训练集及预测集样品光谱数据：

在本实施例中，制备100份有代表性的酒糟样品，并按照7:3的比例进行划分训练集及预测集。在能够保证足够数量的预测集样品对预测效果进行判别的情况下，尽可能多的划分出训练集样品，可以有效涵盖更广的组分含量值，增加预测数据的可靠性及准确性。环境条件中的温度变化对便携式近红外光谱仪影响最大，所以本发明的不同环境条件设置为室温25℃情况下采集训练集样品光谱数据，在室温情况15℃下采集预测集样品光谱数据。

S102、结合训练集样品光谱数据与组分标定值进行PLS建模，使用此模型对预测集进行预测，得到同一组分预测值：

在本实施例中，便携式近红外光谱预测未知样品组分含量的具体过程分为两个部分：首先，选取一组有代表性、物质组分含量已知的标准样品，即训练集样品，并建立近红外光谱与采用标准物理方法测得的物质组分真实值之间的数学模型关系；然后，选取另外一组未知物质组分含量的样品，即预测集样品，对其近红外光谱数据进行测定，利用已建立的校正模型计算预测其物质组分含量。

本发明将训练集70个酒糟样品的光谱数据与其水分实际含量(W₁，W₂，……W₇₀)一一对应，采用偏最小二乘法(PLS)进行数学建模，将建立好的模型对预测集30个酒糟样品的光谱数据进行预测，得到预测集30个酒糟样品的水分含量预测值(P₁，P₂，……P₃₀)。

S103、将训练集组分标定值以及预测集同一组分预测值分别进行均值计算：

同一类型的待测样品在理论上具有相似或者相近的标定值，通过训练集组分标定值均值与预测集同一组分预测值均值的差异比较，可以直观体现不同环境下便携式近红外光谱仪的采集数据误差。

在本实施例中，将训练集70个酒糟样品的水分实际含量值进行平均计算，得到标定水分均值W为：

W＝(W₁+W₂+……W₇₀)/70

将预测集30个酒糟样品的水分预测值进行平均计算，得到预测水分均值P为：

P＝(P₁+P₂+……P₃₀)/30

S104、计算均值倍率，并对预测集同一组分预测值进行均值倍率回滚修正，得到修正预测值：

同一类型待测样品在不同环境条件下采集获得的光谱数据有较大差异，使用训练集所建立的校正模型对预测集进行预测，预测值相较于预测集标定值将会有较大的偏移。通过训练集组分标定值均值与预测集组分预测值均值的倍率对同一组分的单一预测值进行依次均值倍率回滚修正可以有效拉回偏移量，改善预测效果。

在本实施例中，训练集酒糟样品标定水分均值与预测集酒糟样品预测水分均值之间的倍率关系T为：

结合倍率关系T对预测集30个酒糟样品的水分含量原始预测值(P₁，P₂，……P₃₀)进行回滚修正，得到修正预测值(T·P₁，T·P₂，……T·P₃₀)。

S105、将原始预测值及修正预测值分别与预测集组分标定值做对比，判断修正效果：

将原始预测值与预测集组分标定值做差值绝对值运算，再将修正预测值做相同的差值绝对值运算，通过对比两个差值绝对值与标定值之间的比值均值，即整体偏移系数的大小就可以判断预测值修正效果。

在本实施例中，预测集30个酒糟样品的水分标定值设定为(P₁′，P₂′，……P₃₀′)。则原始预测值的整体偏移系数X为：

同理，修正预测值的整体偏移系数X′为：

通过对比，修正预测值的整体偏移系数X′远小于原始预测值的整体偏移系数X，说明通过均值修正后的预测值相较于原始预测值更加接近于真实标定值，即有效提升了光谱模型预测效果。

Claims (9)

1.一种基于预测值的光谱数据修正方法，其特征在于，包括以下步骤：

a.制备测试样品，将测试样品划分为训练集及预测集；

b.采集训练集及预测集中样品的光谱数据并进行组分标定；

c.结合训练集中样品的光谱数据与组分标定值进行PLS建模；

d.采用PLS建模获取的模型对预测集进行预测，获得同一组分原始预测值；

e.将训练集组分标定值以及预测集同一组分原始预测值分别进行均值计算；

f.计算均值倍率，并对预测集同一组分原始预测值进行均值倍率回滚修正，得到修正预测值；

步骤f中，所述计算均值倍率，并对预测集同一组分原始预测值进行均值倍率回滚修正，得到修正预测值，具体为：

计算训练集组分标定值的均值与预测集同一组分原始预测值的均值之间的倍率关系T，基于此倍率关系T对预测集同一组分原始预测值进行回滚修正，得到修正预测值：修正预测值＝预测集同一组分原始预测值*倍率关系T。

2.如权利要求1所述的一种基于预测值的光谱数据修正方法，其特征在于，

步骤a中，所述将测试样品划分为训练集及预测集具体为：

将同一类型的待测样品以一定比例划分为训练集及预测集。

3.如权利要求1所述的一种基于预测值的光谱数据修正方法，其特征在于，

步骤b中，所述采集训练集及预测集中样品的光谱数据具体为：

在不同的环境条件下对训练集及预测集中样品的光谱数据进行采集。

4.如权利要求1所述的一种基于预测值的光谱数据修正方法，其特征在于，

步骤c中，所述组分标定值是指组成样品的某样成分具体含量。

5.如权利要求1所述的一种基于预测值的光谱数据修正方法，其特征在于，

步骤c中，所述结合训练集中样品的光谱数据与组分标定值进行PLS建模，具体为：

采用PLS建立训练集中样品的光谱数据和组分标定值之间的一一对应关系，获得用于未知组分含量预测的预测模型。

6.如权利要求5所述的一种基于预测值的光谱数据修正方法，其特征在于，

步骤d中，所述采用PLS建模获取的模型对预测集进行预测，获得同一组分原始预测值，具体为：测定预测集中样品的光谱数据，作为预测模型的输入，通过模型计算输出对应组分含量。

7.如权利要求1所述的一种基于预测值的光谱数据修正方法，其特征在于，

步骤e中，所述将训练集组分标定值以及预测集同一组分原始预测值分别进行均值计算，具体为：

将训练集中各个样品对应的组分标定值求和，并除以训练集样品个数，获得训练集组分标定值的均值；

将预测集中各个样品的同一组分原始预测值进行求和，并除以预测集样品个数，获得预测集同一组分原始预测值的均值。

8.如权利要求1所述的一种基于预测值的光谱数据修正方法，其特征在于，

该方法还包括步骤：

g.将原始预测值及修正预测值分别与预测集组分标定值进行对比，判断修正效果。

9.如权利要求8所述的一种基于预测值的光谱数据修正方法，其特征在于，

步骤g中，所述将原始预测值及修正预测值分别与预测集组分标定值进行对比，判断修正效果，具体为：

设预测集中有m个样品，m个样品的某组分原始预测值为(P₁，P₂，……P_m)，相同组分标定值为(P₁′，P₂′，......P_m′)；

则求得原始预测值的整体偏移系数X为：

求得修正预测值的整体偏移系数X′为：

通过对比，若X′小于X，则说明通过均值修正后的预测值相较于原始预测值更加接近于真实标定值。

Images