CN108595892A - 基于时间差分模型的软测量建模方法 - Google Patents

Abstract

本发明公开了一种基于时间差分模型的软测量建模方法，该方法可用于存在着非线性、时滞性、时变性、多变量耦合及其他特点的复杂工业过程。首先对输入输出数据的时间差分进行训练学习，得到差分重组数据作为软测量模型的输入进行数据预测；之后构建基于时间差分的软测量模型对响应变量进行预测，并对模型的预测能力进行评价。通过对实际污水处理数据进行建模预测，时间差模型能够很好地处理过程输入输出变量的漂移，获得数据中隐含的变量时滞信息与动态信息，基于时间差分的软测量模型能够提高模型的预测与泛化能力，更加适用于复杂多变的废水处理过程。

Description

基于时间差分模型的软测量建模方法

技术领域

本发明涉及污水处理过程中出水指标的软测量建模方法，具体涉及一种基于时间差分的相关向量机与典型相关分析软测量建模方法。

技术背景

不同工业对控制的态度和动机是不同的，近年来，随着人们环保意识的增强，污水处理工业与其他重工业一样具备高级控制。并且由于污水处理自身独特的特征，如相较于大多数工业过程，污水处理厂的每日水质水量的波动很大；废水必须达标处理排放，不同于其他工业生产可以“返厂”处理；由于污水中的污染物的含量可能很小，传感器难以测量或直接测量等原因，使得污水处理过程需要采用更加复杂、更加高级的控制系统。近年来，软测量技术已成为解决工业过程中重要变量难以实时测量的重要手段，而软仪表的核心是软测量建模。软测量模型按照建模的机制可划分为机理模型和数据驱动模型。机理模型通过分析过程的反应机理，运用物理、化学和生物等基本定理来表述过程的内部规律，建立过程模型，但即使是一般对象其反应机理都比较复杂，并且由于工况与环境的影响，导致机理模型的预测性能大大降低。数据驱动建模是通过输入输出数据建立与过程外特性等价的模型，因此不需要研究对象的内部规律，只需获得足够多的数据即可建立对象的软测量模型。

污水处理过程是典型的非线性、大时滞的测量与控制过程，针对这个问题，大量的非线性软测量方法应用于废水处理领域，其中以人工神经网络(Artificial NeuralNetwork,ANN)与支持向量机(Support Vector Machine,SVM)为建模工具的基于数据驱动的方法最为活跃。但是大多数方法在对软测量模型的建立时，都不考虑建模数据的时滞性。实际上由于在线仪表获得的过程变量通常隐含着较长的测量周期与分析时间，以及由于测量仪表的老化导致测量的变量数据出现漂移、偏移等问题，使得我们用来软测量建模的数据受到影响，导致建立的模型不能准确地解释变量的过程特性。另外对于参数模型来说，随着时间的推移，过程变量数据会发生动态的变化，如果参数不能随之进行相应的调整模型将不能正常地应用，但是在参数调整的过程中将会花费大量时间及降低工厂的运行效率。因此建模时分析过程变量的时滞性，对建模数据的时序进行合理的匹配，充分利用数据中的动态信息，对于模型的建立是有利的。

如何在考虑数据时滞性的前提下建立污水处理过程的软测量模型是急需有待解决的工业问题。

发明内容

本发明针对上述现有技术存在的问题，提出一种基于时间差分的相关向量机与典型相关分析软测量建模方法，引入时间差分(Time Difference，TD)模型用来对输入输出变量的漂移进行处理，利用输入输出数据的时间差分进行建模学习。

本发明是通过以下技术方案实现：一种基于时间差分的相关向量机与典型相关分析软测量模型的建立，主要包括以下几个步骤：

S1.时间差分预处理：对于输入数据样本进行时间差分处理，得到差分重组数据作为软测量模型的输入进行数据预测；

S2.建立所述差分重组数据的相关向量机与典型相关分析回归模型；

S3.完成对软测量模型预测能力的评估：用新的测试数据代入模型进行预测，根据输出的预测值与真实值计算模型的均方根误差RMSE与相关系数r。

步骤S1中，时间差分处理对输入数据X与输出数据Y的计算如下：

其中，x(t)与y(t)表示t时刻的输入输出值，i表示模型的时间差分阶数。

步骤S2包括：

S21：相关向量机模型的函数预测输出为：

式中，ε_n是独立的零均值，方差为σ²的高斯噪声。K(x_n；x_i)表示核函数，w＝(w₀…w_n)^T表示参数向量。假定目标值y独立分布，则RVM的似然概率估计为：

其中Φ是训练样本中的特征向量x_i代入核函数中得到的结构矩阵，φ(x_i)表示基函数对x_i的非线性映射：

为了避免在SVM中出现的由于过多的“支持向量”导致的过拟合问题，因此在RVM模型中，对权值w_i进行约束，使得其机率分布是在0周围的正态分布：

式中每个超参数α_i与其相对应的权值w_i相关，α＝(α₀，α₁，…，α_N)^T。根据贝叶斯概率框架及似然估计分布，权重的后验概率分布为：

上式中，后验协方差矩阵∑＝(σ^-2Φ^TΦ+A)^-1，均值m＝σ^-2∑Φ^Tt，矩阵A＝diag(α₀，α₁，…，α_N)。由于大多数的α_i都是趋近于无穷的，与之对应的后验分布协方差∑与均值则无限趋近于零：

即与α_i相对应的权值w_i等于0，因此相应的基函数φ(x_i)将从结构矩阵Φ去除，而保留下的非零权重所对应的特征向量也就是相关向量。

对于新的输入值x′，模型的预测分布：

P(y_new，|x′，α，σ²)＝N(m^Tφ(x′)，σ²(x′)) (8)

式中均值m^Tφ(x′)为我们所要求的估计值y_new，即

y_new＝m^Tφ(x′) (9)

通过极大似然法对超参数进行优化：

S22：典型相关分析通过找到一对投影方向r与c，使得投影t＝Xr与u＝Yc之间具有最大的相关性，相关性最大化可由下列目标函数求得：

且需服从下列条件：

权重矩阵R与C可通过对X与Y进行SVD求解得到

[U_x，S_x，V_x]＝svd(X)

[U_y，S_y，V_y]＝svd(Y) (14)

在得到矩阵X的相关变量矩阵T＝[t₁，t₂，…，t_l]后，CCA将矩阵X与Y分解为：

其中E与F分别是矩阵X与Y的残差矩阵，P与Q分别是矩阵X与Y的负载矩阵，通过求解||X-TP^T||²与||Y-TQ||²的最小值得到

上式(15)中，矩阵T满足T^TT＝I；

最后通过典型变量T求得CCA模型的预测输出：

其中回归系数矩阵Θ＝QT^T。

步骤S3包括：

S31：根据输出数据的预测值与真实值计算出模型对应的均方根误差(Root MeanSquare Error，RMSE)：

式中，是估计值，y_i是真实值，n是样本数；

S32：根据输出数据的预测值与真实值计算出模型对应的相关系数r(CorrelationCoefficient，r)：

其中y_t是测量值，是模型预测值，分别y_t与的平均值。

S33：RMSE的值越小，代表该模型预测效果越佳；相关系数r越接近1，代表数据的相关性越强。

有益效果：

本发明提出的TD软测量模型不同于直接用过程变量建模的一般方法，该方法利用时间差分对原始变量进行数据重构处理，得到的差分重构数据建立的模型能够不受因设备老化造成的漂移、偏移及测量分析过程的时滞性影响。其优势在于对输入输出数据同时进行时间差分提取，使得模型能获取过程变量的动态信息，通过对变量的过程时序的重新匹配，能够较好地处理由于设备老化的影响导致的过程变量出现的漂移及测量分析过程的时滞性问题，从而建立考虑时滞的动态软测量模型，更加有利于软测量模型的精准预测。

相比于忽略了输入输出变量的动态漂移信息的稳态建模方法，利用TD模型对输入输出数据进行时间差分处理从而建模学习的方法，能够充分地利用数据中的动态信息，最终达到提高模型精度的效果。本发明主要利用了非线性模型中的相关向量机模型与线性模型中的典型相关分析法，并结合时间差分模型，建立了一种利用过程变量的漂移与时滞特性进行建模学习的方法，并成功利用了过程变量的动态信息提升了模型的精度，表明了时间差分方法应用到污水处理软测量建模研究中有相当的有效性。

附图说明

图1是基于时间差分的软测量建模方法流程图；

图2是污水处理过程变量数据折线图：分别是进水悬浮固形物SS、进水生物需氧量BOD、进水化学需氧量COD、进水总氮TN、进水总磷TP、出水COD和出水TN；

图3是污水处理过程进水总流量Q的折线图；

图4是差分阶数的变化对不同TD模型的误差影响趋势图：其中模型1表示出水COD的TD-CCA模型，模型2表示出水TN的TD-CCA模型，模型3表示出水COD的TD-RVM模型，模型4表示出水TN的TD-RVM模型；

图5是RVM模型对测试数据的出水COD的预测结果图；

图6是RVM模型对测试数据的出水TN的预测结果图；

图7是TD-RVM模型对测试数据的出水COD的预测结果图；

图8是TD-RVM模型对测试数据的出水TN的预测结果图；

图9是CCA模型对测试数据的出水COD的预测结果图；

图10是CCA模型对测试数据的出水TN的预测结果图；

图11是TD-CCA模型对测试数据的出水COD的预测结果图；

图12是TD-CCA模型对测试数据的出水TN的预测结果图。

具体实施方式

该方法对污水处理过程的出水水质进行预测所使用的技术方案是：

S1.时间差分预处理：对于输入数据样本X∈R^n×m，Y∈R^n×d(n是样本数，m是解释变量维数，d是过程变量维数)进行时间差分处理，得到差分重组数据作为软测量模型的输入进行数据预测；

S2.建立所述差分重组数据的相关向量机与典型相关分析回归模型；

S3.完成对软测量模型预测能力的评估：用新的测试数据代入模型进行预测，根据输出的预测值与真实值计算模型的均方根误差RMSE与相关系数r。

步骤S1中，时间差分处理对输入数据x输出数据y的计算如下：

其中，x(t)与y(t)表示t时刻的输入输出值，i表示模型的时间差分阶数。

步骤S2包括：

S21：相关向量机模型的函数预测输出为：

式中，ε_n是独立的零均值，方差为σ²的高斯噪声。K(x_n，x_i)表示核函数，w＝(w₀…w_n)^T表示参数向量。假定目标值y独立分布，则RVM的似然概率估计为：

其中Φ是训练样本中的特征向量x_i代入核函数中得到的结构矩阵：

为了避免在SVM中出现的由于过多的“支持向量”导致的过拟合问题，因此在RVM模型中，对权值w_i进行约束，使得其机率分布是在0周围的正态分布：

式中每个超参数α_i与其相对应的权值wi相关，α＝(α₀，α₁，…，α_N)^T。根据贝叶斯概率框架及似然估计分布，权重的后验概率分布为：

上式中，后验协方差矩阵∑＝(σ^-2Φ^TΦ+A)^-1，均值m＝σ^-2∑Φ^Tt，矩阵A＝diag(α₀，α₁，…，α_N)。由于大多数的α_i都是趋近于无穷的，与之对应的后验分布协方差∑与均值则无限趋近于零：

即与α_i相对应的权值w_i等于0，因此相应的基函数φ(x_i)将从结构矩阵Φ去除，而保留下的非零权重所对应的特征向量也就是相关向量。

对于新的输入值x′，模型的预测分布：

P(y_new|x′，α，σ²)＝N(m^Tφ(x′)，σ²(x′)) (8)

式中均值m^Tφ(x′)为我们所要求的估计值y_new，即

y_new＝m^Tφ(x′) (9)

通过极大似然法对超参数进行优化：

S22：典型相关分析通过找到一对投影方向r与c，使得投影t＝Xr与u＝Yc之间具有最大的相关性，相关性最大化可由下列目标函数求得：

且需服从下列条件：

权重矩阵R与C可通过对X与Y进行SVD求解得到

[U_x，S_x，V_x]＝svd(X)

[U_y，S_y，V_y]＝svd(Y) (14)

在得到矩阵X的相关变量矩阵T＝[t₁，t₂，…，t_l]后，CCA将矩阵X与Y分解为：

其中P与Q分别是矩阵X与Y的负载矩阵，通过求解||X-TP^T||²与||Y-TQ||²的最小值得到

上式(15)中，矩阵T满足T^TT＝I；

最后通过典型变量T求得CCA模型的预测输出：

其中回归系数矩阵Θ＝QR^T。

相关向量机(Relevance Vector Machine，RVM)是Tipping提出的一种基于贝叶斯框架的稀疏概率模型，是一种新的有监督学习方法。与SVM相比，RVM的核函数的选择不受Mercer条件的限制，可以根据实际需要构建合适的核函数，并且RVM是机率式预测的。此外相较于基于概率核函数的高斯过程模型，避免了高斯过程局限于先验高斯分布的假设条件，且同样能实现概率式预测。为了对比TD模型的建模效果，本发明采用一种线性的典型相关分析(Canonical Correlation Analysis，CCA)模型。CCA是Hotelling提出的处理两组变量之间相互依赖关系的统计方法，是对主成分分析法的延伸。

步骤S3包括：

S31：根据输出数据的预测值与真实值计算出模型对应的均方根误差(Root MeanSquare Error，RMSE)：

式中，是估计值，y_i是真实值，n是样本数；

S32：根据输出数据的预测值与真实值计算出模型对应的相关系数r(CorrelationCoefficient，r)：

其中y_t是测量值，是模型预测值，分别y_t与的平均值。

S33：RMSE的值越小，代表该模型预测效果越佳；r越接近1，数据的相关性越强。

实施例1：

污水数据取自某污水处理厂的污水检测数据，数据包括8个变量，共有356天的样本数据，如图2、图3所示。图2是进水悬浮固形物(SS)、进水生物需氧量(BOD)、进水化学需氧量、进水总氮(TN)、进水总磷(TP)、出水COD与出水TN；图3是污水进水总流量(Q)。

通过MATLAB对上述算法进行仿真，进一步详述本发明：

第一步：对采集的356天测量数据进行时间差分处理。将后120个样本作为模型的测试集，用于检验模型的预测能力。模型的输入变量为污水进水总流量、进水悬浮固形物、进水生物需氧量、进水化学需氧量、进水总氮与总磷共6个变量，也可根据实际情况选取不同的废水处理指标；输出变量为出水化学需氧量与出水悬浮固形物两个变量。

第二步：建立差分重组数据的相关向量机与典型相关分析的回归软测量模型。

第三步：对比传统的RVM模型与CCA模型及改进的基于时间差分的TD-RVM模型与TD-CCA模型的预测能力，完成最优预测模型的评估。表1及图4反映了不同差分阶数对TD模型的影响。可以看出，TD模型的差分阶数的变化对于线性TD-CCA模型具有较大影响，随着差分阶数的增加，TD模型的均方根误差变大。而对于非线性TD-RVM模型而言，差分阶数的变化对TD模型几乎没有影响。因此本发明采用一阶差分建立时间差分模型。由表2可知，基于时间差分的模型对出水COD与出水TN的建模预测效果要优于传统的RVM与CCA模型。其中对出水COD的预测，TD-RVM模型较RVM模型RMSE降低了54.2％，TD-CCA模型较CCA模型RMSE降低了62.8％；对出水TN的预测，TD-RVM模型较RVM模型RMSE降低了49.2％，TD-CCA模型较CCA模型RMSE降低了50.5％。RVM模型对出水COD和出水TN的预测结果分别如图5与图6所示，TD-RVM模型对出水COD和出水TN的预测结果分别如图7和图8所示，CCA模型对出水COD和出水TN的预测结果分别如图9与图10所示，TD-CCA模型对出水COD和出水TN的预测结果分别如图11与图12所示。

表1不同TD模型的RMSE对比

表2不同模型的出水COD和出水TN的预测结果

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (5)

1.基于时间差分模型的软测量建模方法，其特征在于，该方法通过对输入输出数据的时间差分学习构建模型，克服了过程变量的漂移问题，构建相关向量机与典型相关分析软测量模型实现最优预测。

2.根据权利要求1所述的基于时间差分模型的软测量建模方法，其特征在于，该方法包括以下步骤：

S1.时间差分预处理：对于输入数据样本进行时间差分处理，得到差分重组数据作为软测量模型的输入进行数据预测；

S2.建立所述差分重组数据之间的相关向量机与典型相关分析回归模型；

S3.用新的测试数据进行预测，根据输出的预测值与真实值计算模型的均方根误差RMSE与相关系数r。

3.根据权利要求2所述的基于时间差分模型的软测量建模方法，其特征在于，步骤S1中，输入数据集样本X∈R^n×m，输出数据样本Y∈R^n×d，其中n是样本数，m是过程变量维数，d是质量变量维数；

时间差分处理对输入数据x输出数据y的计算如下：

其中，x(t)与y(t)表示t时刻的输入输出值，i表示模型的时间差分阶数。

4.根据权利要求2所述的基于时间差分模型的软测量建模方法，其特征在于，步骤S2包括：S21:求取相关向量机回归模型的预测值y_new为：

P(y_new|x',α,σ²)＝N(m^Tφ(x'),σ²(x')) (8)

其中

y_new＝m^Tφ(x') (9)

式中x'是新的样本点输入，α＝(α₀,α₁,…,α_N)^T是由超参数所组成的向量，σ²为噪声超参数，均值m＝σ^-2ΣΦ^Tt，后验协方差矩阵Σ＝(σ^-2Φ^TΦ+A)^-1，矩阵A＝diag(α₀,α₁,…,α_N)，Ф是训练样本中的特征向量x_i代入核函数K(x_i,x_i)中得到的结构矩阵，表示为

其中φ(x_i)表示基函数对x的非线性映射，通过极大似然法对超参数进行优化，K表示核函数：

获得超参数后，根据式(3)对新的输入x_new对应的预测值y_new进行计算；

S22:典型相关分析通过找到一对投影方向r与c，使得投影t＝Xr与u＝Yc之间具有最大的相关性，权重矩阵R与C可通过对X与Y进行SVD求解得到

在得到矩阵X的相关变量矩阵T＝[t₁,t₂,…,t_l]后，将矩阵X与Y分解为：

其中P与Q分别是矩阵X与Y的负载矩阵，通过求解||X-TP^T||²与||Y-TQ||²的最小值得到

上式(10)中，矩阵T满足T^TT＝I；

最后通过典型变量T求得CCA模型的预测输出：

其中回归系数矩阵Θ＝QR^T。

5.根据权利要求2所述的基于时间差分模型的软测量建模方法，其特征在于，其步骤S3包括：

S31:根据输出数据的预测值与真实值计算出模型对应的均方根误差RMSE：

式中，是估计值，y_i是真实值，n是样本数；

S32:根据输出数据的预测值与真实值计算出模型对应的相关系数r(CorrelationCoefficient,r)：

其中y_t是测量值，是模型预测值，分别y_t与的平均值；

所述RMSE的值越小，代表该模型预测效果越佳；r越接近1，代表数据的相关性越强。