CN110887798B - 基于极端随机树的非线性全光谱水体浊度定量分析方法 - Google Patents

Abstract

本发明涉及水体浊度检测技术，具体涉及一种基于极端随机树的非线性全光谱水体浊度定量分析方法，解决现有单波长、多波长的光谱浊度测量方法不具有普适性，全波长光谱浊度测量分析方法无法捕捉非线性的特征、存在计算量大、容易过拟合所导致的浊度预测不准确的问题，该方法主要包括第一步、光谱数据的采集；第二步、标准水参比；第三步、吸光度转换；第四步、将步骤三得到吸光度光谱进行KPCA特征提取；第五步、数据正态化；第六步、训练基于极端随机树的浊度预测模型，第七步、用测试数据测试存储的基于极端随机树的浊度预测模型。

Description

基于极端随机树的非线性全光谱水体浊度定量分析方法

技术领域

本发明涉及水体浊度检测技术，具体涉及一种基于极端随机树的非线性全光谱水体浊度定量分析方法。

背景技术

水是自然环境和社会环境中极为重要且活跃的因素，对水质信息的科学监测是实现水资源优化配置与高效利用的基础。水体浊度是水环境和水质状况的重要监测指标，浊度是一种光学效应，它反映了光线在透过水层时收到的阻碍，水体浊度是指均匀分布于水中的可溶性微小颗粒物或可溶性有机与无机化合物等对水体中入射光线的散射、吸收导致光线的衰减程度，浊度的测量方法就是基于光的衰减程度。

传统的浊度测量方法主要有分光光度法和光电式法，此两种方法普遍存在需要使用化学试剂、操作繁琐、需要使用试剂、造成二次污染等缺点，同时无法完成浊度的自动、快速、原位测量。光谱法水质检测技术由于无需化学试剂、无二次污染、快速准确、成本低，可实现实时在线原位测量，现已广泛应用于在线水质检测领域。光谱法水质检测技术是利用水中特定物质吸收特定波长的光，产生分子吸收光谱，从而根据光谱数据定性定量地分析水质参数。

传统的光谱法浊度检测技术主要包括单波长、多波长和全波长分析方法。单波长法测量水体在680nm处的吸光度，通过线性回归的方法来测量水体浊度。多波长法在单波长的基础上，增加了矫正波长，来矫正水体测试时环境因素的干扰，采用486nm、551nm、671nm等多处波长的吸光度，通过加权分析的方法，建立浊度预测模型进行浊度检测。但是，上述单波长、多波长的方法本质上都依赖于水体对特定波长的特征吸收，同一波长组合建模可能适应于特定应用场景，不具有普适性。

全波长分析方法主要包括线性方法和非线性方法两种。线性方法的代表是偏最小二乘法，偏最小二乘法通过不断提取主成分来简化数据，建立回归模型，该方法能很好的寻找线性特征进行回归，但却无法捕捉非线性的特征，导致浊度预测不准确。非线性方法的一个代表是支持向量机法，将低维数据映射到高维空间进行回归，再把高维空间的超平面映射回低维空间，建立回归模型，该方法可以捕捉高维空间的非线性特征，但存在计算量大，容易过拟合等缺点，导致浊度预测速度慢、准确性低。

发明内容

本发明的目的是解决现有单波长、多波长的光谱浊度测量方法不具有普适性，全波长光谱浊度测量分析方法无法捕捉非线性的特征、存在计算量大、容易过拟合所导致的浊度预测不准确的问题，提供一种基于极端随机树的非线性全光谱水体浊度定量分析方法。该方法通过测量水体紫外-可见-近红外透射光谱，建立非线性全光谱水体浊度定量分析模型，完成水体浊度的测量。

为实现上述目的，本发明通过以下技术方案来实现：

一种基于极端随机树的非线性全光谱水体浊度定量分析方法，包括以下步骤：

第一步、光谱数据的采集；

采用紫外-可见-近红外光谱仪测量被测水体和标准去离子水，得到被测水体的紫外-可见-近红外光谱曲线和标准去离子水的光谱曲线；

第二步、标准去离子水参比；

通过公式(1)完成标准去离子水参比，得到两光谱的比值I：

式中，I₁为被测水体的透射光谱，I₀为标准去离子水的透射光谱；

第三步、吸光度转换；

通过公式(2)完成吸光度转换，得到吸光度光谱；

x＝-log(I) (2)

式中，x为吸光度光谱；

第四步、将步骤三得到吸光度光谱进行KPCA特征提取；

4.1)定义多层感知器核函数；

K＝tanh(αx^Tx_i+c) (3)

其中，tanh是双曲正切函数，x_i为第i个输入样本的吸光度光谱，斜率α和常数c为两个参数；

4.2)计算中心化后的核矩阵

其中，M为样本数，I_M∈R^M×M为单位矩阵，(I_M)_ij＝1；

4.3)计算核矩阵

的特征值λ和特征向量α；

其中，eig为矩阵计算特征值与特征向量的函数；

4.4)将特征值λ与特征向量α按降序排序，λ＝[λ₁，λ₂，λ₃，...，λ_n]，α＝[α₁，α₂，α₃，...，α_n]；

4.5)将输入吸光度谱x投影到特征空间上，得到KPCA处理后的吸光度谱x₀；

x₀＝x*α (6)

第五步、数据正态化；

将特征提取后的吸光度矩阵进行标准正态变换，得到数据正态化后的光谱A；

其中，

为x₀的平均值，s为x₀的标准差；

第六步、训练基于极端随机树的浊度预测模型；

选取样本集中的部分数据作为训练集，将训练集的数据进行步骤一到步骤五的预处理，得到训练集样本，然后将训练集样本输入到极端随机树模型中进行训练，得到训练后的基于极端随机树的浊度预测模型，同时存储该训练后的基于极端随机树的浊度预测模型；

第七步、将测试数据输入至存储的基于极端随机树的浊度预测模型中，得到数据分析结果。

同时，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现基于极端随机树的非线性全光谱水体浊度定量分析方法的步骤。

此外，本发明还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现基于极端随机树的非线性全光谱水体浊度定量分析方法的步骤。

与现有技术相比，本发明具有以下有益效果：

1.本发明将基于极端随机树的非线性全光谱建模方法引入到水质光谱定量分析中，相比于传统的单谱段、多谱段的建模方法，能够更充分的利用光谱信息，挖掘光谱信息在高维空间的非线性特征，建立更为精确的浊度定量分析模型。

2.传统的线性分析建模方法偏最小二乘法相关系数R²＝0.7672，均方误差MSE＝9.3082；非线性分析建模方法支持向量机法R²＝0.6824，均方误差MSE＝12.6983。本方法的相关系数R²＝0.9954，均方误差MSE＝0.1816，基于本方法的模型显著的提高了浊度的预测精度。

附图说明

图1为本发明基于极端随机树的非线性全光谱水体浊度定量分析方法框图；

图2为透射光谱曲线图；

图3a为建立极端随机树的流程图；

图3b为图3a中Split函数的示意图；

图3c为建立极端随机树集合的流程图；

图4为训练模型的效果图；

图5为测试数据输入至基于极端随机树的浊度预测模型中得到的结果图。

具体实施方式

以下结合附图和具体实施例对本发明的内容作进一步详细描述。

本发明提供一中基于极端随机树的非线性全光谱水体浊度定量分析方法，该方法通过测量水体的透射光谱，建立全光谱水体浊度定量分析模型，通过模型对水体浊度进行预测，具有准确度高、鲁棒性强、操作便捷、无二次污染等优点，其主要包括光谱数据获取、吸光度转换、KPCA特征提取、数据标准化、模型训练、模型输出6部分。

如图1所示，本发明提供的基于极端随机树的非线性全光谱水体浊度定量分析方法具体包括以下步骤：

第一步、光谱数据的采集；

采用紫外-可见-近红外光谱仪测量被测水体和标准去离子水，得到被测水体的紫外-可见-近红外光谱曲线和标准去离子水的光谱曲线，如图2所示；

第二步、标准去离子水参比；

通过公式(1)来完成标准去离子水参比：

式中，I₁为被测水体的透射光谱，I₀为标准去离子水的透射光谱，I为两光谱的比值；

第三步、吸光度转换；

通过公式(2)来完成吸光度转换

x＝-log(I) (2)

式中，x为吸光度光谱；

第四步、将步骤三得到吸光度光谱进行KPCA特征提取；

4.1)首先定义多层感知器核函数；

K＝tanh(αx^Tx_i+c) (3)

其中，tanh是双曲正切函数，x_i为第i个输入样本的吸光度光谱，斜率α和常数c为两个参数；

4.2)计算中心化后的核矩阵

其中，M为样本数，I_M∈R^M×M为单位矩阵，(I_M)_ij＝1；

4.3)计算核矩阵

的特征值λ和特征向量α；

其中，eig为矩阵计算特征值与特征向量的函数；

4.4)将特征值λ与特征向量α按降序排序，λ＝[λ₁，λ₂，λ₃，...，λ_n]，α＝[α₁，α₂，α₃，...，α_n]；

4.5)将输入吸光度谱x投影到特征空间上，得到KPCA处理后的吸光度谱x₀；

x₀＝x*α (6)

第五步、数据正态化；

将特征提取后的吸光度矩阵进行标准正态变换，得到数据正态化后的光谱A；

其中，

为x₀的平均值，s为x₀的标准差；

第六步、训练基于极端随机树的浊度预测模型；

选取样本集中的80％作为训练集，将训练集的数据进行步骤一到步骤五的预处理，得到模型的训练集样本，然后将训练集样本输入，按照训练极端随机树模型，具体如图3a至图3c所示进行训练，得到训练后的基于极端随机树的浊度预测模型；

模型中决策树的数量取320，训练模型的效果如图4所示，存储训练出的基于极端随机树的浊度预测模型；

第七步、用测试数据测试存储的基于极端随机树的浊度预测模型，结果如图5所示，相关系数R²＝0.9954，均方误差MSE＝0.1816。

本发明将基于机器学习的全光谱建模方法引入到水质光谱定量分析中，相比于传统的单谱段、多谱段的建模方法，能够更充分的利用光谱信息，挖掘光谱信息在高维空间的非线性特征，建立更为精确的浊度定量分析模型。

传统的线性分析建模方法偏最小二乘法相关系数R²＝0.7672，均方误差MSE＝9.3082；非线性分析建模方法支持向量机法R²＝0.6824，均方误差MSE＝12.6983。本方法的相关系数R²＝0.9954，均方误差MSE＝0.1816，基于本方法的模型显著的提高了浊度的预测精度。

本发明实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行时基于极端随机树的非线性全光谱水体浊度定量分析方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述方法中描述的根据本发明各种示例性实施方式的步骤。

此外，本发明还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行所述程序时实现基于极端随机树的非线性全光谱水体浊度定量分析方法的步骤。用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备、计算机设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

Claims (3)

1.一种基于极端随机树的非线性全光谱水体浊度定量分析方法，其特征在于，包括以下步骤：

第一步、光谱数据的采集；

采用紫外-可见-近红外光谱仪测量被测水体和标准去离子水，得到被测水体的紫外-可见-近红外光谱曲线和标准去离子水的光谱曲线；

第二步、标准去离子水参比；

通过公式(1)完成标准去离子水参比，得到两光谱的比值I：

式中，I₁为被测水体的透射光谱，I₀为标准去离子水的透射光谱；

第三步、吸光度转换；

通过公式(2)完成吸光度转换，得到吸光度光谱；

x＝-log(I) (2)

式中，x为吸光度光谱；

第四步、将步骤三得到吸光度光谱进行KPCA特征提取；

4.1)定义多层感知器核函数；

K＝tanh(αx^Tx_i+c) (3)

其中，tanh是双曲正切函数，x_i为第i个输入样本的吸光度光谱，斜率α和常数c为两个参数；

4.2)计算中心化后的核矩阵

其中，M为样本数，I_M∈R^M×M为单位矩阵，(I_M)_ij＝1；

4.3)计算核矩阵

的特征值λ和特征向量α；

其中，eig为矩阵计算特征值与特征向量的函数；

4.4)将特征值λ与特征向量α按降序排序，λ＝[λ₁,λ₂,λ₃,…,λ_n]，α＝[α₁,α₂,α₃,…,α_n]；

4.5)将输入吸光度谱x投影到特征空间上，得到KPCA处理后的吸光度谱x₀；

x₀＝x*α (6)

第五步、数据正态化；

将特征提取后的吸光度矩阵进行标准正态变换，得到数据正态化后的光谱A；

其中，

为x₀的平均值，s为x₀的标准差；

第六步、训练基于极端随机树的浊度预测模型；

选取样本集中的部分数据作为训练集，将训练集的数据进行步骤一到步骤五的预处理，得到训练集样本，然后将训练集样本输入到极端随机树模型中进行训练，得到训练后的基于极端随机树的浊度预测模型，同时存储该训练后的基于极端随机树的浊度预测模型；

第七步、将测试数据输入至训练后的基于极端随机树的浊度预测模型中，得到数据分析结果。

2.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1所述方法的步骤。

3.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述程序时实现权利要求1所述方法的步骤。

Images