CN106021924B - 基于多属性高斯核函数快速相关向量机的污水在线软测量方法 - Google Patents

Abstract

本发明公开了一种基于多属性高斯核函数快速相关向量机的污水在线软测量方法，包括：使用多属性高斯核函数来构造快速相关向量机的贝叶斯矩阵；建立基于贝叶斯框架下的多属性高斯核函数快速相关向量机模型；采用滑动窗口技术建立滚动时间窗将模型数据和参数随着滚动时间窗的滚动进行在线更新；实时预测出水水质BOD、COD浓度的输出。该方法在快速相关向量机的基础上引入多属性高斯核函数，增强了核函数的局部性能以及全局性，提出滑动窗口技术将模型数据和参数随着滚动时间窗的滚动进行在线更新，增强了在线校正的有效性，有效提高了出水水质预测的实时性和精度。

Description

基于多属性高斯核函数快速相关向量机的污水在线软测量 方法

技术领域

本发明涉及污水处理软测量的技术领域，尤其是指一种基于多属性高斯核函数快速相关向量机的污水在线软测量方法。

背景技术

传统污水处理方法种类多样，主要有物理法、化学法、生物法等。我国现阶段的城市污水处理主要以生物法为主。但是，污水处理过程中，控制对象具有高度的非线性、时变、大滞后等特点。控制过程要考虑多项质量指标，且一直处于外部环境的动态扰动之中。另外，在线检测手段匮乏，许多过程变量缺乏稳定可靠的实时监测仪表。污水处理的复杂性和测量仪表的缺陷，致使生化过程无法得到有效控制和处理，存在一大类难以测量或不易在线测量的参数。为了提高出水合格率，节能降耗，降低运行成本，提高系统可靠性，需要对污水处理厂密切相关的过程变量进行实施监测和控制。软测量技术以建模简单、方法多样，预测效果可观等优势，为这个难题提供了一个很好的解决方案。

发明内容

本发明的目的在于克服现有技术的不足，提出了一种基于多属性高斯核函数快速相关向量机的污水在线软测量方法。首先，通过多属性高斯核函数(MAG)来构造贝叶斯矩阵。再在相关向量机(RVM)的基础上引入快速边际似然算法来学习模型的超参数,建立基于贝叶斯框架下的多属性高斯核函数快速相关向量机模型(MAG-FASTRVM)。最后采用滑动窗口技术建立滚动时间窗，用若干组污水历史数据建立初始模型，剩下若干组污水数据用于新数据，建立MAG-FASTRVM的污水在线软测量模型，实时预测出水水质BOD、COD浓度的输出。

本发明的目的通过下述技术方案实现：

一种基于多属性高斯核函数快速相关向量机的污水在线软测量方法，包括下列步骤：

S1、通过多属性高斯核函数(MAG)来构造贝叶斯矩阵，增强了核函数的局部性能以及全局性能，所需的核参数个数对比于多样本核相对较少；

S2、在相关向量机(RVM)的基础上引入快速边际似然算法来学习模型的超参数，建立基于贝叶斯框架下的多属性高斯核函数快速相关向量机模型(MAG-FASTRVM)。快速相关向量机中引入快速边际似然算法，其中基函数的选择是采用自下而上的方法，即令基函数个数从1开始不断增加直至获取相关向量，超参数更新时涉及的矩阵计算复杂度只与当前模型中存在的基函数个数有关，可以对训练样本的超参进行快速估计，去除训练样本的大量非相关向量，保证了模型的稀疏性，减少训练时间；

S3、采用滑动窗口技术建立滚动时间窗，利用滚动时间窗内的数据优化建模，将模型数据和参数随着滚动时间窗的滚动进行在线更新；

S4、设置滚动窗口长度L，移动长度R，用若干组污水历史数据建立初始模型，剩下若干组污水数据用于新数据，建立MAG-FASTRVM的污水在线软测量模型，实时预测出水水质BOD、COD浓度的输出。

进一步的，所述步骤S1具体为：

MAG核的形式如下：

其中Xm表示第m个样本，Xn表示第n个样本，其中m,n∈(1,2,...,N)。样本的每个属性均有对应的核参数，η_k表示第k个核参数。定义d是输入样本的属性个数，多属性高斯核参数可表示为：η＝(η₁,η₂,...,η_d)。

令φ(x_n)＝[1,k(x_n,x₁),k(x_n,x₂),...,k(x_n,x_N)]^T，它为(N+1)×1维矩阵，则MAG核构成的贝叶斯矩阵可表示为：Φ＝[φ(x₁),φ(x₂),...,φ(x_n)]^T，其是N×(N+1)维的矩阵。

进一步的，所述步骤S2为：

S21、初始化核参数，并建立MAG核贝叶斯矩阵Φ，设定初始噪声方差δ²；

S22、通过探索式方法获得初始基向量φ_i＝φ(x_i)，并设置其他的超参数：令α_m(m≠i)为无穷大(例如令α_m＝10⁹)，令

S23、初始化所有基函数φ_m的稀疏因子s_m和质量因子q_m，计算协方差矩阵Σ、权值矩阵μ；

S24、计算每个候选基向量φ_i对应的值，并与零作比较；

S25、如果基向量φ_i在模型中，且有θ_i＞0，α_i＜∞，则重新计算超参数α_i；

S26、如果基向量φ_i不在模型中，且θ_i＞0，α_i＝∞，添加基向量φ_i到模型中并重新计算超参数α_i；

S27、若θ_i≤0且α_i＜∞，删除基向量φ_i并设置超参数α_i＝∞；

S28、计算噪声方差其中N为样本个数，M为基函数个数；

S29、更新稀疏因子s_m和质量因子q_m，并且迭代估计协方差矩阵Σ，权重矩阵μ；

S210、若收敛或者达到最大迭代次数，则程序终止，并且输出权值、噪声方差、相关向量机个数，否则转到S24。

进一步的，所述步骤S4具体为：

假设最新的污水数据输入属性为x_new，实际的COD、BOD出水参数值为y_new，则出水参数的在线更新算法如下步骤：

S41、设置滚动窗口长度L＝200，将最早的200组数据作为初始数据窗，并用初始数据窗内的数据作为初始训练样本，根据步骤S2中快速相关向量机建模步骤建立初始模型；

S42、对新来的数据x_new进行预测并计算偏差；

S43、使数据窗进行滚动R＝1，将新来的数据(x_new,y_new)加进训练样本中，并丢弃最早的一组数据，更新训练样本；

S44、利用数据窗内的数据重新建立模型，进行预测；

S45、返回步骤S42，直到所有新数据测试完为止。

本发明相对于现有技术具有如下的优点及效果：

1)本发明方法采用多属性高斯核函数构造相关向量机的贝叶斯矩阵，增强了核函数的局部性能以及测试点相距较远的点对核函数的影响，所需的核参数个数对比于多样本核，也相对较少，适合污水历史数据庞多，特征属性迥异的特点。

2)本发明采用滑动窗口技术建立滚动时间窗，将模型数据和参数随着滚动时间窗的滚动进行在线更新，基于此建立了MAG-FASTRVM的污水在线软测量模型，增强了出水水质BOD、COD输出浓度预测的实时性和精度。

附图说明

图1是本发明中依据基于多属性高斯核函数快速相关向量机的污水在线软测量方法的流程图；

图2(a)是本实施例步骤S4中MAG-FASTRVM模型关于BOD的在线预测图；

图2(b)是本实施例步骤S4中MAG-FASTRVM模型关于COD的在线预测图；

图3(a)是本实施例步骤S4中RVM的稀疏性对比曲线；

图3(b)是本实施例步骤S4中MAG-FASTRVM的稀疏性对比曲线。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明做进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例

污水排放标准中，参数指标生化需氧量BOD和化学需氧量COD反映了水体被有机污染的程度，BOD/COD的比率反映出了污水的生物降解能力。这两个参数的测量对控制污水处理具有非常重要的价值。

本实施例针对污水处理厂出水水质的软测量预测问题，重点研究了一种基于多属性高斯核函数快速相关向量机的在线软测量方法，该方法在线预测精度较高、稀疏性好、更新速度快，在污水处理出水参数BOD、COD的在线预测过程中表现出色。

请参见附图1，附图1是本实施例中依据基于多属性高斯核函数快速相关向量机的污水在线软测量方法的流程图。本发明采用UCI数据库的污水数据集，污水数据共400组，39维，对污水数据进行降维得到400组，18维数据。利用降维后的数据对污水参数BOD、COD进行预测。具体过程如下：

步骤S1、通过多属性高斯核函数(MAG)来构造贝叶斯矩阵，增强了核函数的局部性能以及全局性能，使所需的核参数个数对比于多样本核相对较少；

MAG核的形式如下：

其中Xm表示第m个样本，Xn表示第n个样本，其中m,n∈(1,2,...,N)。样本的每个属性均有对应的核参数，η_k表示第k个核参数。定义d是输入样本的属性个数，多属性高斯核参数可表示为：η＝(η₁,η₂,...,η_d)。

令φ(x_n)＝[1,k(x_n,x₁),k(x_n,x₂),...,k(x_n,x_N)]^T，它为(N+1)×1维矩阵，则MAG核构成的贝叶斯矩阵可表示为：Φ＝[φ(x₁),φ(x₂),...,φ(x_n)]^T，其是N×(N+1)维的矩阵。

步骤S2、在相关向量机(RVM)的基础上引入快速边际似然算法来学习模型的超参数，建立基于贝叶斯框架下的多属性高斯核函数快速相关向量机模型(MAG-FASTRVM)；

(步骤S21)、初始化核参数，并建立MAG核贝叶斯矩阵Φ，设定初始噪声方差δ²；

(步骤S22)、通过探索式方法获得初始基向量φ_i＝φ(x_i)，并设置其他的超参数：令α_m(m≠i)为无穷大(例如令α_m＝10⁹)，令

(步骤S23)、初始化所有基函数φ_m的稀疏因子s_m和质量因子q_m，计算协方差矩阵Σ、权值矩阵μ；

(步骤S24)、计算每个候选基向量φ_i对应的值，并与零作比较；

(步骤S25)、如果基向量φ_i在模型中，且有θ_i＞0，α_i＜∞，则重新计算超参数α_i；

(步骤S26)、如果基向量φ_i不在模型中，且θ_i＞0，α_i＝∞，添加基向量φ_i到模型中并重新计算超参数α_i；

(步骤S27)、若θ_i≤0且α_i＜∞，删除基向量φ_i并设置超参数α_i＝∞；

(步骤S28)、计算噪声方差其中N为样本个数，M为基函数个数；

(步骤S29)、更新稀疏因子s_m和质量因子q_m，并且迭代估计协方差矩阵Σ，权重矩阵μ；

(步骤S210)、若收敛或者达到最大迭代次数，则程序终止，并且输出权值、噪声方差、相关向量机个数，否则转到步骤S24。

步骤S3、采用滑动窗口技术建立滚动时间窗，利用滚动时间窗内的数据优化建模，将模型数据和参数随着滚动时间窗的滚动进行在线更新；

污水数据采集的间隔是平均一天一个数据，且采集数量不多，故根据数据的采集频率利用短期学习方法对模型进行更新。由于污水数据是时序序列，在在线模型中用前200组数据作为训练模型，后200组作为测试数据。现在对模型校正，设置滚动时间窗的长度为200，即选200组连续数据作为训练数据，将剩下的200组数据作为新数据依时序加入到模型中。在学习过程中，每当来一个新数据，便令滚动窗口向前移动一个数据，使模型来一组新数据便加入到200组训练数据中，同时删除最早的数据，从而保证每次的训练数据包含新的信息，避免历史所含数据淹没新数据包含的信息，提高模型对不同工况点的适应性。

步骤S4、建立MAG-FASTRVM的污水在线软测量模型，实时预测出水水质BOD、COD浓度的输出，具体过程为：

假设最新的污水数据输入属性为x_new，实际的COD、BOD出水参数值为y_new，则出水参数的在线更新算法如下步骤：

(步骤S41)、设置滚动窗口长度L＝200，将最早的200组数据作为初始数据窗，并用初始数据窗内的数据作为初始训练样本，根据步骤S2中快速相关向量机建模步骤建立初始模型；

(步骤S42)、对新来的数据x_new进行预测并计算偏差；

(步骤S43)、使数据窗进行滚动R＝1，将新来的数据(x_new,y_new)加进训练样本中，并丢弃最早的一组数据，更新训练样本；

(步骤S44)、利用数据窗内的数据重新建立模型，进行预测；

(步骤S45)、返回步骤S42，直到所有新数据测试完为止。

根据步骤S4，仿真实验先用200组历史数据建立初始模型，剩下200组数据用于新数据。当模型有最新输入时，预测出水水质BOD、COD浓度的最新输出，然后将这一新输入和输出数据加入到训练样本中，对训练样本进行更新，为了保持训练样本的容量，将训练样本中最早的样本丢弃，附图2是MAG-FASTRVM模型的在线预测图，可直观的反映出MAG-FASTRVM在线模型对污水参数BOD、COD具有良好的实时跟踪能力。

表1和表2给出了BOD、COD的MAG-FASTRVM的在线实验结果，并同时列出了对比模型相关向量机(RVM)、高斯核函数快速相关向量机(FASTRVM)、多项式核函数快速相关向量机(MUPL-FASTRVM)、组合核函数快速相关向量机(C-FASTRVM)的在线实验结果。从表1和表2中可以发现RVM的预测精度最好，与RVM相比，MAG-FASTRVM的输出精度相对偏低，但从平均相关向量机个数，模型在线运行时间(Run time)来看，MAG-FASTRVM模型的稀疏性更好，且模型更新运行时间缩短了一半。附图3是RVM与MAG-FASTRVM的稀疏性对比曲线，其分别表示BOD和COD参数在200次在线建模中200个更新模型的相关向量机个数。一般而言，稀疏性越好，模型计算时间更少，学习效率更高。

表1 MAG-FASTRVM及其对比模型的BOD在线预测结果

预测算法	均方根误差MSE	平均相关向量机个数(个)	Run time(s)
				RVM	0.0218	60	36.05776
FASTRVM	0.0342	36	25.477286
				MUPL-FASTRVM	0.0430	25	19.545296
C-FASTRVM	0.0345	33	24.800076
				MAG-FASTRVM	0.0396	21	17.051350

表2 MAG-FASTRVM及其对比模型的COD在线预测结果

预测算法	均方根误差MSE	平均相关向量机个数(个)	Run time(s)
				RVM	0.0353	52	47.74011
FASTRVM	0.0424	39	39.52625
				MUPL-FASTRVM	0.0504	31	43.17679
C-FASTRVM	0.0418	20	28.51541
				MAG-FASTRVM	0.0394	7	14.95307

结合表和图分析，MAG-FASTRVM模型在线预测精度较高、稀疏性好、更新速度快。出于实时预测考虑，软测量模型对快速性要求更高，在满足预测精度的前提下，能快速校正的模型更适合出水参数BOD、COD的在线预测，因此MAG-FASTRVM的在线模型比起其它在线模型更能满足实时预测的要求。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (4)

1.基于多属性高斯核函数快速相关向量机的污水在线软测量方法，其特征在于，包括以下步骤：

S1、通过多属性高斯核函数来构造贝叶斯矩阵，增强了核函数的局部性能以及全局性能，使所需的核参数个数对比于多样本核相对较少；

S2、在相关向量机的基础上引入快速边际似然算法来学习模型的超参数，建立基于贝叶斯框架下的多属性高斯核函数快速相关向量机模型，快速相关向量机中引入快速边际似然算法，其中基函数的选择是采用自下而上的方法，即令基函数个数从1开始不断增加直至获取相关向量，超参数更新时涉及的矩阵计算复杂度只与当前模型中存在的基函数个数有关，可以对训练样本的超参进行快速估计，去除训练样本的大量非相关向量，保证了模型的稀疏性，减少训练时间；

S3、采用滑动窗口技术建立滚动时间窗，利用滚动时间窗内的数据优化建模，将模型数据和参数随着滚动时间窗的滚动进行在线更新；

S4、设置滚动窗口长度L，移动长度R，用若干组污水历史数据建立初始模型，剩下若干组污水数据用于新数据，建立多属性高斯核函数快速相关向量机模型的污水在线软测量模型，实时预测出水质生物需氧量、化学需氧量浓度的输出。

2.根据权利要求1所述的基于多属性高斯核函数快速相关向量机的污水在线软测量方法，其特征在于，所述步骤S1具体为：

多属性高斯核函数核的形式如下：

其中x_m表示第m个样本，x_n表示第n个样本，其中m,n∈(1,2,...,N)，样本的每个属性均有对应的核参数，η_k表示第k个核参数，定义d是输入样本的属性个数，多属性高斯核参数可表示为：η＝(η₁,η₂,...,η_d)，

令φ(x_n)＝[1,k(x_n,x₁),k(x_n,x₂),...,k(x_n,x_N)]^T，它为(N+1)×1维矩阵，则多属性高斯核函数核构成的贝叶斯矩阵可表示为：Φ＝[φ(x₁),φ(x₂),...,φ(x_n)]^T，其是N×(N+1)维的矩阵。

3.根据权利要求1所述的基于多属性高斯核函数快速相关向量机的污水在线软测量方法，其特征在于，所述步骤S2具体为：

S21、初始化核参数，并建立多属性高斯核函数核贝叶斯矩阵Φ，设定初始噪声方差δ²；

S22、通过探索式方法获得初始基向量φ_i＝φ(x_i)，并设置其他的超参数：令α_m＝10⁹，m≠i，令

S23、初始化所有基函数φ_m的稀疏因子s_m和质量因子q_m，计算协方差矩阵Σ、权值矩阵μ；

S24、计算每个候选基向量φ_i对应的值，并与零作比较；

S25、如果基向量φ_i在模型中，且有θ_i＞0，α_i＜∞，则重新计算超参数α_i；

S26、如果基向量φ_i不在模型中，且θ_i＞0，α_i＝∞，添加基向量φ_i到模型中并重新计算超参数α_i；

S27、若θ_i≤0且α_i＜∞，删除基向量φ_i并设置超参数α_i＝∞；

S28、计算噪声方差其中N为样本个数，M为基函数个数；

S29、更新稀疏因子s_m和质量因子q_m，并且迭代估计协方差矩阵Σ，权重矩阵μ；

S210、若收敛或者达到最大迭代次数，则程序终止，并且输出权值、噪声方差、相关向量机个数，否则转到S24。

4.根据权利要求1所述的基于多属性高斯核函数快速相关向量机的污水在线软测量方法，其特征在于，所述步骤S4具体为：

假设最新的污水数据输入属性为x_new，实际的化学需氧量、水质生物需氧量出水参数值为y_new，则出水参数的在线更新算法如下步骤：

S41、设置滚动窗口长度L＝200，将最早的200组数据作为初始数据窗，并用初始数据窗内的数据作为初始训练样本，根据步骤S2中快速相关向量机建模步骤建立初始模型；

S42、对新来的数据x_new进行预测并计算偏差；

S43、使数据窗进行滚动R＝1，将新来的数据(x_new,y_new)加进训练样本中，并丢弃最早的一组数据，更新训练样本；

S44、利用数据窗内的数据重新建立模型，进行预测；

S45、返回步骤S42，直到所有新数据测试完为止。