CN108197380B - 基于偏最小二乘的高斯过程回归废水出水指标预测方法 - Google Patents

Abstract

本发明公开了一种基于偏最小二乘的高斯过程回归废水出水指标预测方法，该方法可用于存在较强的时变性、耦合性、非线性、滞后性以及其他复杂特性的工业过程。首先，基于偏最小二乘的方法对多元输入数据进行降维，并选取合适的得分向量作为高斯过程回归模型的输入；之后，通过对协方差函数的选取与组合，构建不同种类的高斯过程回归软测量模型对输出数据进行预测；最后，使用测试集数据对模型的预测能力进行评价。造纸废水处理过程数据的建模结果表明，基于偏最小二乘对被测变量的降维技术可以提高高斯过程回归模型的预测能力；由不同协方差函数构建的高斯过程回归模型为出水指标的预测提供了多种选择，更加适合复杂多变的造纸废水处理环境。

Description

基于偏最小二乘的高斯过程回归废水出水指标预测方法

技术领域

本发明涉及造纸废水处理过程中出水指标的软测量方法，具体涉及一种基于偏最小二乘的高斯过程回归废水出水指标预测方法。

背景技术

在造纸废水处理过程中，存在着大量难以测量或无法在线测量的参数，同时这类参数密切影响着出水指标的控制，例如化学需氧量(Chemical Oxygen Demand,COD)和悬浮固形物(Suspended Solids,SS)，这类参数被称作主导变量。及时、准确地对主导变量做出检测并控制显得尤为重要，然而，过高的硬件成本成为参数在线测量的主要限制。软测量方法可根据被测变量的选取与测量完成对主导变量的预测，因此使用软测量方法对出水指标进行预测与控制是当前研究的热点问题之一。

被测变量的选取没有通用性的指导准则。一般被测变量的选取与主导变量有密切的关系，通常构造某种数学模型来完成对主导变量的在线预测。若被测变量选取过多会使模型过于复杂，选取过少会丢失部分信息而降低模型精度，因此被测变量的选取十分关键。可考虑引入数据降维方法对被测变量进行选取，数据降维可确保在数据信息损失最少的原则下，对高维变量空间进行综合和简化，以此提高预测模型对数据信息的分析能力。常用的数据降维方法有主成分分析(Principal Component Analysis,PCA)和偏最小二乘(Partial Least Squares,PLS)。相比于PCA，PLS在概括自变量系统信息的同时，注重要求所提取的得分向量对因变量的解释能力，因此更具备质量相关特性。

在造纸废水处理领域，软测量模型的种类可以划分为：机理模型、回归分析模型与人工智能模型。机理模型的构建是根据有关工艺机理列出平衡方程，建立被测变量与主导变量间的数学关系。回归分析模型中常用的方法为多元线性回归，适用于多种因素关联的变化结果，其分析的技术核心是最小二乘法，属于线性方法。人工智能模型中人工神经网络(Artificial Neural Network,ANN)和支持向量机(Support Vector Machine,SVM)应用较为广泛，属于非线性处理方法。

高斯过程回归(Gaussian Process Regression,GPR)用来描述函数的分布问题，该方法的理论提出可以追溯到20世纪40年代，在1996年被Williams和Rasmussen应用于机器学习。相比于ANN与SVM而言，GPR具有容易实现、协方差函数可调、灵活的非参数推广以及超参数自适应调节等优点，可以对预测输出做出概率解释。

现在，在造纸废水处理领域通过对测量仪表的升级可获取影响出水指标的主导变量，但是此类硬件仪表要么成本过高不宜推广，要么精度有限影响测量结果；一般来说，被测变量的选取往往先根据工艺知识，初选出与主导变量关系最为密切的变量，然后通过相关分析与工艺专家知识相结合，最后筛选出数量上比较合适的被测变量，但是该方法没有从数据的内在角度对被测变量与主导变量间的相关性进行分析，较难获取合适的被测变量与精确的预测效果。

发明内容

本发明针对上述现有技术中存在的问题，提供一种基于偏最小二乘的高斯回归软测量建模方法，对于造纸废水处理过程中的复杂特性，提供了方法冗余，降低了硬件成本，提高了对出水指标的预测精度。

本发明是通过以下技术方案实现的：

基于偏最小二乘的高斯过程回归废水出水指标预测方法，采用偏最小二乘PLS完成对被测变量个数的小范围选取，使变量降低维度的同时与主导变量具备更高的相关性，再结合不同协方差函数的构建高斯过程回归模型GPR，以此提供不同模型的对比，实现最优预测。

具体的说，该过程包括以下步骤：

S1.数据预处理：首先选择训练样本输入数据X∈R^n×m(n代表样本个数，m代表样本维数)，其次选择训练样本输出数据Y∈R^n×p(p代表样本维数)，最后完成对输入数据和输出数据的标准化处理，使其均值为0，标准差为1；

S2.PLS模型的构建：对输入数据X和输出数据Y进行PLS分解，选取合适的潜变量以完成得分矩阵T∈R^n×d(d为潜变量个数的筛选)，筛选后的得分矩阵作为软测量模型的输入进行数据预测；

S3.建立所述得分矩阵T与输出数据Y之间的GPR模型：通过不同协方差函数的选取与组合构建不同的高斯过程回归模型；

S4.完成对不同软测量模型预测能力的评估：将测试集输入数据带入模型进行预测，根据输出数据的预测值与真实值计算出不同模型对应的均方根误差(RMSE)与决定系数(R²)，并做出对比选择最佳预测模型。

步骤S2中，PLS模型对输入数据X和输出数据Y分解如下：

式中T∈R^n×d为得分矩阵；P∈R^m×d和Q∈R^p×d分别为X和Y的负载矩阵；E和F分别为X和Y的残差矩阵，d为PLS潜变量的个数；求解PLS模型的典型算法为非线性迭代最小二乘法。

步骤S3包括：

S31：高斯过程表示为：

f(x)～GP(m(x),k(x,x')) (2)

式中m(x)为均值函数，k(x,x')为协方差函数，分别表示为：

式中x和x'为随机变量。数据经标准化处理后均值为0，因此高斯过程可简化表示为：

f(x)～GP(0,k(x,x')) (4)

将噪声考虑到观测目标值y中，考虑如下回归模型：

y＝f(x_i)+ε (5)

式子中x_i为样本输入数据，f(x_i)为函数值，y为目标观测值，

为高斯白噪声。则y的先验分布可表示为：

观测值y与预测值f_*的联合联合先验分布为：

X为训练集的输入，X_*为测试集的输入；K(X,X_*)＝K(X_*,X)^T代表着训练集X与测试集X_*样本点间的协方差矩阵，K(X_*,X_*)为测试集X_*样本自身的协方差；I_n为n维单位矩阵。由此，高斯过程回归的预测值可表示为：

其中

S32：协方差函数的选择：

高斯过程回归可以选择不同的协方差函数进行预测，本文采用的三种协方差函数为：

(1)平方指数协方差函数(Squared Exponential Covariance Function,SE)

式中，M＝diag(l²)，l为方差尺度，

为信号方差。参数的集合θ＝{l,σ_f}为超参数；

(2)线性协方差函数(Linear Covariance Function,L)

k_L(x,x')＝x^TM^-1x' (12)

同平方指数协方差函数，M＝diag(l²)，l为线性协方差函数的超参数；

(3)周期性协方差函数(Periodic Covariance Function,P)

k_P(x,x')＝k₀(u(x),u(x')) (13)

式中k₀为任意随机核函数，周期性协方差函数将一维输入变量映射到二维u(x)空间，从而得到关于x的周期性随机函数：

若k₀＝k_SE(x,x')，则k_P(x,x')可以转化为：

这里k_P(x,x')的超参数集合可表示为θ＝{p,l,σ_f}；

S33：协方差函数的组合：

高斯过程允许组合不同的协方差函数产生新的协方差函数，本文采用累加的方式进行协方差函数的组合，本文对协方差函数的选择如表1所示；

表1 GPR协方差函数的7种组合类型

S34：超参数的获取：

超参数的集合一般通过最大似然法求得：

其中

令式(16)对超参数θ求偏导，然后可以采用共轭梯度法得到超参数的最优解；获得超参数后，利用式(9)和(10)对测试点X_*对应的预测值f_*和方差

进行计算。

步骤S4包括：

S41：根据输出数据的预测值与真实值计算出不同模型对应的均方根误差(RootMean Square Error,RMSE)：

式中，

是估计值，y_i是测量值，n为样本数；

S42：根据输出数据的预测值与真实值计算出不同模型对应的决定系数R²(Coefficient of Determination)：

式中：

SS_res代表残差平方和，SS_tot代表总变异平方和，

是平均值。

S43：RMSE越接近于0，代表该模型预测实验数据具有更好的精确度；R²的结果一般在0到1之间，R²越接近1，拟合程度越高。

该方法优势在于利用PLS对输入数据和输出数据同时进行特征提取，使得对输入数据进行筛选的同时保持与输出端的质量相关特性；通过对协方差函数的选取与组合分别建立高斯过程模型，使该方法为复杂的造纸废水处理系统提供多个选择模型，可降低硬件成本，达到较好的预测效果。

附图说明

图1是基于偏最小二乘的高斯过程回归软测量建模方法流程图；

图2是活性污泥污水处理流程图；

图3是造纸废水处理过程数据折线图；

图4是GPR模型在协方差函数选择case 3时对测试集数据的出水COD预测结果图；

图5是GPR模型在协方差函数选择case 7时对测试集数据的出水SS预测结果图；

图6是PLS-GPR模型在PLS选取4个潜变量和协方差函数选择case 3时对测试集数据的出水COD预测结果图；

图7是PLS-GPR模型在PLS选取4个潜变量和协方差函数选择case 4时对测试集数据的出水SS预测结果图。

具体实施方式

该方法对造纸废水处理过程的出水指标进行预测所采取的技术方案是：

S1.数据预处理：首先选择训练样本输入数据X∈R^n×m(n代表样本个数，m代表样本维数)，其次选择训练样本输出数据Y∈R^n×p(p代表样本维数)，最后完成对输入数据和输出数据的标准化处理，使其均值为0，标准差为1；

S2.PLS模型的构建：对输入数据X和输出数据Y进行PLS分解，选取合适的潜变量以完成得分矩阵T∈R^n×d(d为潜变量个数的筛选)，筛选后的得分矩阵作为软测量模型的输入进行数据预测；

S3.建立得分矩阵与输出数据之间的GPR模型：通过不同协方差函数的选取与组合构建不同的高斯过程回归模型；

S4.完成对不同软测量模型预测能力的评估：将测试集输入数据带入模型进行预测，根据输出数据的预测值与真实值计算出不同模型对应的均方根误差RMSE与决定系数R²，并做出对比选择最佳预测模型。

步骤S2中，PLS模型对输入数据X和输出数据Y分解如下：

式中T∈R^n×d为得分矩阵；P∈R^m×d和Q∈R^p×d分别为X和Y的负载矩阵；E和F分别为X和Y的残差矩阵，d为PLS潜变量的个数；求解PLS模型的典型算法为非线性迭代最小二乘法。

步骤S3包括：

S31：高斯过程表示为：

f(x)～GP(m(x),k(x,x')) (2)

式中m(x)为均值函数，k(x,x')为协方差函数，分别表示为：

式中x和x'为随机变量。数据经标准化处理后均值为0，因此高斯过程可简化表示为：

f(x)～GP(0,k(x,x')) (4)

将噪声考虑到观测目标值y中，考虑如下回归模型：

y＝f(x_i)+ε (5)

式中x_i为样本输入数据，f(x_i)为函数值，y为目标观测值，

为高斯白噪声。则y的先验分布可表示为：

观测值y与预测值f_*的联合先验分布为：

X为训练集的输入，X_*为测试集的输入；K(X,X_*)＝K(X_*,X)^T代表着训练集X与测试集X_*样本点间的协方差矩阵，K(X_*,X_*)为测试集X_*样本自身的协方差；I_n为n维单位矩阵。由此，高斯过程回归的预测值可表示为：

其中

S32：协方差函数的选择：

高斯过程回归可以选择不同的协方差函数进行预测，本文采用的三种协方差函数为：

(1)平方指数协方差函数(Squared Exponential Covariance Function,SE)

式中，M＝diag(l²)，l为方差尺度，

为信号方差。参数的集合θ＝{l,σ_f}为超参数；

(2)线性协方差函数(Linear Covariance Function,L)

k_L(x,x')＝x^TM^-1x' (12)

同平方指数协方差函数，M＝diag(l²)，l为线性协方差函数的超参数；

(3)周期性协方差函数(Periodic Covariance Function,P)

k_P(x,x')＝k₀(u(x),u(x')) (13)

式中k₀为任意随机核函数，周期性协方差函数将一维输入变量映射到二维u(x)空间，从而得到关于x的周期性随机函数：

若k₀＝k_SE(x,x')，则k_P(x,x')可以转化为：

这里k_P(x,x')的超参数集合可表示为θ＝{p,l,σ_f}；

S33：协方差函数的组合：

高斯过程允许组合不同的协方差函数产生新的协方差函数，本文采用累加的方式进行协方差函数的组合，本文对协方差函数的选择如表1所示；

S34：超参数的获取：

超参数的集合一般通过最大似然法求得：

其中

令式(16)对超参数θ求偏导，然后可以采用共轭梯度法得到超参数的最优解；获得超参数后，利用式(9)和(10)对测试点X_*对应的预测值f_*和方差

进行计算。

步骤S4包括：

S41：根据输出数据的预测值与真实值计算出不同模型对应的均方根误差(RootMean Square Error,RMSE)：

式中，

是估计值，y_i是测量值，n为样本数；

S42：根据输出数据的预测值与真实值计算出不同模型对应的决定系数R²(Coefficient of Determination)：

式中：

SS_res代表残差平方和，SS_tot代表总变异平方和，

是平均值。

S43：RMSE越接近于0，代表该模型预测实验数据具有更好的精确度；R²的结果一般在0到1之间，R²越接近1，拟合程度越高。

实施例1：

以实际废水处理过程为例，活性污泥法主要包括了预处理、初沉、曝气、二沉和污泥回流5个部分，如图2所示，利用在曝气池内的微生物群体的凝聚、吸附、氧化分解等作用去除污水中的有机物。

废水数据采取广东东莞某造纸厂的好氧段废水监测数据，数据包括8个废水变量，每个变量包括170个测量值。如图3所示，左侧纵坐标分别对应进水化学需氧量(COD)、出水化学需氧量、进水悬浮固形物(SS)、出水悬浮固形物；右侧纵坐标分别对应溶解氧DO、流量Q、温度T、pH值。

通过MATLAB对上述算法进行仿真并结合图1所示，对本发明做进一步详述：

第一步：对现场采集到的170组测量数据进行标准化处理。将前100个样本作为训练集用于模型的建立，后70个样本作为测试集，用于检测模型的预测能力。预测模型的输入端是由进水化学需氧量、进水悬浮固形物、溶解氧DO、流量Q、温度T、pH值6个输入变量构成，也可结合实际情况选取不同的废水处理指标量；输出端为出水化学需氧量、出水悬浮固形物2个变量构成。

第二步：完成PLS模型的构建，并对输入数据X和输出数据Y进行模型分解。根据表2可得出输出数据的累计方差贡献率在潜变量超过3后变化平缓，故选3个潜变量较为合适。为了对比不同潜变量的选取所对应的预测结果，在选取3个潜变量的同时分别选取4和5个潜变量进行数据降维与得分矩阵的筛选，筛选后的得分矩阵作为软测量模型的输入结合相应的预测模型进行数据预测，通过比较RMSE与R²的大小，选取最佳预测模型。

表2 PLS模型潜变量数量对贡献率及累计贡献率的影响

第三步：建立得分矩阵与输出数据之间的GPR模型，通过比较不同协方差函数的选取所对应的预测结果，选择最优预测模型。

第四步：完成传统的GPR模型与PLS-GPR模型预测能力的评估。表3显示，基于PLS-GPR的软测量模型优于传统GPR软测量模型，对于出水COD，最优PLS-GPR模型(PLS选取4个潜变量和协方差函数选择case 3)较传统最优GPR模型(协方差函数选择case 3)预测能力提高了0.36％；对于出水SS，最优PLS-GPR模型(PLS选取4个潜变量和协方差函数选择case 4)较传统最优GPR模型(协方差函数选择case 7)预测能力提高了5.58％。传统最优GPR模型对出水COD和出水SS的预测分别如图4与图5所示。最优PLS-GPR模型对出水COD和出水SS的预测分别如图6和图7所示。

表3出水COD和出水SS的测试集预测结果

考虑到造纸废水处理过程中的生化反应与过程工艺参数的复杂性，传统的单一建模方法很难确定最优的被测变量与预测模型。本发明方法采用具备质量相关特性的PLS方法对预测模型的输入数据进行筛选，得到合适的得分向量进行数据预测；由不同协方差函数构建的高斯过程回归模型更加适合复杂多变的造纸废水处理环境，为出水指标的预测提供了多个选择模型，降低了硬件成本，提高了预测精度。

本专利具体应用途径很多，以上所述仅为本专利的优选实施方案，并非因此限制本专利的实施方式及保护范围，对于本领域技术人员而言，在本专利原理的前提下作出等同替换和显而易见变化所得到的方案，均应当包含在专利的保护范围内。

Claims (4)

1.基于偏最小二乘的高斯过程回归废水出水指标预测方法，其特征在于，所述方法采用偏最小二乘完成对被测变量个数的小范围选取，所述被测变量为废水的进水化学需氧量COD、出水化学需氧量、进水悬浮固形物SS、出水悬浮固形物；溶解氧DO、流量Q、温度T、pH值；使变量降低维度的同时与主导变量具备更高的相关性，再结合不同协方差函数构建高斯过程回归模型，以此提供不同模型的对比实现最优预测；实现对出水化学需氧量、出水悬浮固形物的在线预测；

该方法包括以下步骤：

S1.数据预处理：首先选择训练样本输入数据X∈R^n×m，n代表样本个数，m代表样本维数，其次选择训练样本输出数据Y∈R^n×p，p代表样本维数，最后完成对输入数据和输出数据的标准化处理；所述输入数据为所述被测变量的实测数值，所述输出数据为出水化学需氧量、出水悬浮固形物；

S2.PLS模型的构建：对输入数据X和输出数据Y进行PLS分解，选取合适的潜变量以完成得分矩阵T∈R^n×d，d为潜变量个数的筛选，筛选后的得分矩阵作为软测量模型的输入进行数据预测；

S3.建立所述得分矩阵T与输出数据Y之间的高斯过程回归模型：通过不同协方差函数的选取与组合构建不同的高斯过程回归模型；步骤S3包括：

S31：求取高斯过程回归的预测值为：

其中

X为训练集的输入，X_*为测试集的输入；K(X,X_*)＝K(X_*,X)^T代表着训练集X与测试集X_*样本点间的协方差矩阵，K(X_*,X_*)为测试集X_*样本自身的协方差；I_n为n维单位矩阵；y为观测目标值；σ为高斯白噪声；

S32：通过不同协方差函数构建高斯过程回归模型；

S33：采用累加的方式进行协方差函数的组合；所述协方差函数包括平方指数协方差函数SE、线性协方差函数L、周期性协方差函数P；

采用平方指数协方差函数SE构建的高斯过程回归模型为：

式中，M＝diag(l²)，l为线性协方差函数的超参数，

为信号方差，参数的集合θ＝{l,σ_f}为超参数；

采用线性协方差函数L构建的高斯过程回归模型为：

k_L(x,x')＝x^TM^-1x' (12)

同平方指数协方差函数，M＝diag(l²)，l为线性协方差函数的超参数；

采用周期性协方差函数P构建的高斯过程回归模型为：

k_P(x,x')＝k₀(u(x),u(x')) (13)

式中k₀为任意随机核函数，周期性协方差函数将一维输入变量映射到二维u(x)空间，从而得到关于x的周期性随机函数：

若k₀＝k_SE(x,x')，则k_P(x,x')转化为：

这里k_P(x,x')的超参数集合表示为θ＝{p,l,σ_f}；

S34：超参数的获取：

超参数的集合通过最大似然法求得：

其中

令式(16)对超参数θ求偏导，采用共轭梯度法得到超参数的最优解；获得超参数后，利用式(9)和(10)对测试集X_*对应的预测值f_*和预测方差

进行计算；S4.完成对不同软测量模型预测能力的评估：将测试集输入数据带入模型进行预测，根据输出数据的预测值与真实值计算出不同模型对应的均方根误差RMSE与决定系数R²，并做出对比选择最佳预测模型。

2.根据权利要求1所述的基于偏最小二乘的高斯过程回归废水出水指标预测方法，其特征在于，步骤S2中，偏最小二乘模型对输入数据X和输出数据Y分解如下：

式中T∈R^n×d为得分矩阵；P∈R^m×d和Q∈R^p×d分别为X和Y的负载矩阵；E和F分别为X和Y的残差矩阵，d为PLS潜变量的个数；求解PLS模型的典型算法为非线性迭代最小二乘法。

3.根据权利要求1所述的基于偏最小二乘的高斯过程回归废水出水指标预测方法，其特征在于，步骤S4包括：

S41：根据输出数据的预测值与真实值计算出不同模型对应的均方根误差RMSE：

式中，

是估计值，y_i是测量值，n为样本数；

S42：根据输出数据的预测值与真实值计算出不同模型对应的决定系数R²：

式中：

SS_res代表残差平方和，SS_tot代表总变异平方和，

是平均值。

4.根据权利要求3所述的基于偏最小二乘的高斯过程回归废水出水指标预测方法，其特征在于，所述RMSE值越接近于0，代表该模型预测实验数据具有越高的精确度；R²的结果在0到1之间，R²越接近1，拟合程度越高。

Images