CN106874934A - 基于加权极限学习机集成算法的污水处理故障诊断方法 - Google Patents

Abstract

本发明公开了一种基于加权极限学习机集成算法的污水处理故障诊断方法，包括：采用集成算法Adaboost作为分类学习的整体算法框架；采用改进后的样本权值初始化方法；采用加权极限学习机作为基分类器，通过集成算法迭代更新样本权值的特性，处理不平衡数据，结合核函数的非线性映射来提高数据线性可分的程度。该方法在集成算法的基础上采用了加权极限学习机作为基分类器，可以实现多个类别的不平衡数据分类，增强了对不平衡数据的分类性能，有效提高了污水处理过程中故障诊断的准确性。

Description

基于加权极限学习机集成算法的污水处理故障诊断方法

技术领域

本发明涉及污水处理故障诊断的技术领域，具体涉及一种基于加权极限学习机集成算法的污水处理故障诊断方法。

背景技术

污水处理是一个复杂的、影响因素非常多的生化过程，污水处理厂难以保持长期稳定的运行，发生故障容易引起出水水质不达标、运行费用增高和环境二次污染等严重问题，所以需要对污水处理厂运行状态进行监控，诊断出运行故障并及时处理。

污水处理过程的故障诊断实际是一个模式识别的问题，分类过程中常常还会遇到污水数据集的分布不均衡问题。传统的机器学习方法容易使分类准确率偏向于多数类，而实际分类中更加看重的是少数类的分类准确率，即故障类的分类准确率。及时准确的发现故障可以很大程度上减少污水处理厂的损失，另一方面提高污水处理厂的工作效率。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于加权极限学习机集成算法的污水处理故障诊断方法。

本发明的目的可以通过采取如下技术方案达到：

一种基于加权极限学习机集成算法的污水处理故障诊断方法，所述方法包括：

S1、采用集成学习算法AdaBoost作为不平衡数据分类的整体算法框架，将不平衡数据的最优类分布和最优类代表样例的寻找与集成学习中的多次采样技术融合，并生成集成分类器；

S2、采用改进后的集成算法权值初始化方法进行初始化；

S3、采用改进后的加权极限学习机作为集成学习算法的基分类器进行迭代；

S4、输入污水处理过程中产生的样本数据，设置集成算法的基分类器个数T，基分类器的最优核宽度γ，对应的最优正则化系数C，进行迭代，对输入的污水数据进行分类即故障诊断。

进一步地，所述步骤S1具体包括：

S11、给定污水样本集{(x₁,y₁),(x₂,y₂),…,(x_N,y_N)}，其中x_i∈X表示X的第i个样本，y_i表示其对应的类别标签，y_i∈Y＝{1,2,…,k}，k表示总共有k个类别；

S12、初始化训练样本x_i的权重分布D(i)：i＝1,2,…,N；

S13、训练弱分类器；

S14、得到集成分类器。

进一步地，所述步骤S13具体包括：

S131、设置集成算法的基分类器个数T；

S132、使用加权核极限学习机作为基分类器h_t对训练样本进行训练，得到训练模型和训练误差ε_t，若样本分类正确则不计入误差，若所有样本都被正确分类则误差为0，若样本分类错误则计入误差；

S133、若ε_t≥0.5，则退出迭代；

S134、计算基分类器h_t的权重

S135、调整样本下一轮迭代的权值分布D_t+1，D_t+1的调整规则如下所示：

D_t+1(i)＝D_t(i)exp(-α_t*I(x_i))，

进一步地，所述集成分类器为：

进一步地，所述改进后的集成算法权值初始化方法包括：第一自动加权方案W₁和第二自动加权方案W₂，

其中，所述第一自动加权方案W₁具体为：

所述第二自动加权方案W₂具体为：

其中Count(k)为训练样本中类别为k对应的样本数量。

进一步地，其特征在于，所述改进后的加权极限学习机的隐藏层输出权重可表示为：

其中，H为隐藏层输出矩阵，T为输出层输出矩阵，N为样本个数，L为隐藏层的个数，其中W是定义的一个N×N的对角矩阵，每一个主对角元素W_ii都对应着一个样本x_i，不同类别的样本将会自动分配不同的权值。

进一步地，所述改进后的加权极限学习机在权值的分配方式上采用AdaBoost的权值更新公式，即W_ii＝D_t+1(i)＝D_t(i)exp(-α_t*I(x_i))，

进一步地，所述步骤S4具体为：

设置集成分类器的基分类器个数T＝20，并采用网格参数寻优的方式寻找满足算法最优性能的基分类器的核宽度γ和正规化系数C，γ的寻优范围为{2^-18,2^(-18+step),…,2²⁰}，step＝0.5；C的寻优范围为{2^-18,2^(-18+step),…,2⁵⁰}，其中，step＝0.5。

本发明相对于现有技术具有如下的优点及效果：

1)本发明方法采用AdaBoost算法作为整体算法框架，不平衡数据的最优类分布和最优类代表样例的寻找可以与集成学习中的多次采样技术融合在一起，避免额外的学习代价。此外，多个分类器的集成可以防止过拟合，降低单分类器在处理不平衡数据时可能产生的偏差。

2)本发明方法采用改进后的集成算法权值初始化方法，使整个算法能够更好的解决数据类间分布不平衡问题。

3)采用加权极限学习机的分类器作为集成学习算法的基分类器，加快分类学习速度，从而实现对污水处理厂运行状态实时准确地监测。

附图说明

图1是本发明中公开的基于加权极限学习机集成算法的故障诊断方法的流程图；

图2是本发明中公开的基于加权极限学习机集成算法的故障诊断方法的另一流程图；

图3是本发明实施例中步骤Ada1-WKELM模型与Ada2-WKELM模型对于污水样本集进行分类的准确率对比图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

请参见附图1和图2，附图1和附图2是本实施例中依据基于加权极限学习机集成算法的污水处理故障诊断方法的流程图。实验仿真的数据来来自加州大学数据库(UCI)，是一个污水处理厂的日常监控数据，整个数据集每个样本维数为38，全部属性值都完整的记录有380个，被监测的水体一共有13种状态，各个状态用数字代替。为了简化分类的复杂度，我们根据样本类别的性质，将样本分为4大类，如表1。表1中，类别1为正常情况，类别2为性能超过平均值的正常情况，类别3为进水流量低的正常情况，类别4为二沉池故障、暴雨引起的非正常状态和固体溶度过负荷等原因引起的故障情况。正常情况的类别1样本的个数比较多，属于多数类；而类别3和类别4由于样本个数比较少，故属于少数类，经过数据类别的化简，四类样本的分布比例为39.6:14.6:8:1。

具体过程如下：

S1、采用集成学习算法AdaBoost作为不平衡数据分类的整体算法框架，将不平衡数据的最优类分布和最优类代表样例的寻找与集成学习中的多次采样技术融合，并生成集成分类器；

不平衡数据的最优类分布和最优类代表样例的寻找可以与集成学习中的多次采样技术融合在一起，避免额外的学习代价。此外，多个分类器的集成可以防止过拟合，降低单分类器在处理不平衡数据时可能产生的偏差。

具体应用中，该步骤S1具体包括:

S11、给定污水样本集{(x₁,y₁),(x₂,y₂),…,(x_N,y_N)}，其中x_i∈X表示X的第i个样本，y_i表示其对应的类别标签，y_i∈Y＝{1,2,…,k}，k表示总共有k个类别；

S12、初始化训练样本x_i的权重分布D(i)：i＝1,2,…,N；

S13、训练弱分类器；

S14、得到集成分类器。

具体应用中，该训练弱分类器步骤具体包括：

S131、设置集成算法的基分类器个数T；

S132、使用加权核极限学习机作为基分类器h_t对训练样本进行训练，得到训练模型和训练误差ε_t，若样本分类正确则不计入误差，若所有样本都被正确分类则误差为0，若样本分类错误则计入误差；

S133、若ε_t≥0.5，则退出迭代；

S134、计算基分类器h_t的权重ε_t越大α_t越小，表示训练误差越大则第t个基分类器在整个集成算法中占的比重越小，反之亦然；

S135、调整样本下一轮迭代的权值分布D_t+1，D_t+1的调整规则如下所示：

D_t+1(i)＝D_t(i)exp(-α_t*I(x_i))，

具体应用中，该得到的集成分类器为：

S2、采用改进后的集成算法权值初始化方法进行初始化；

采用改进后的集成算法权值初始化方法进行初始化可以使整个算法能够更好的解决数据类间分布不平衡问题；

具体应用中，所述改进后的集成算法权值初始化方法包括：第一自动加权方案W₁和第二自动加权方案W₂，

其中，所述第一自动加权方案W₁具体为：

其中Count(k)为训练样本中类别为k对应的样本数量。

所述第二自动加权方案W₂具体为：

其中Count(k)为训练样本中类别为k对应的样本数量。

其中，第二自动加权方案W₂的思想是将少数类和多数类的比例向着0.618:1的方向推进，实质上，这种方法是在通过牺牲多数类的分类精度来换取对少数类的识别准确率。

S3、采用改进后的加权极限学习机(weighted extreme learning machine，WELM)作为集成学习算法的基分类器进行迭代；

该分类器利用AdaBoost的样本权重更新方式对不同数量的样本类进行加权恢复样本类间的平衡性，结合核函数将线性不可分的模式进行非线性映射到高维特征空间，增加其线性可分的程度，提高分类的准确率。利用极限学习机(extreme learning machine，ELM)学习过程中无需反复调整参数，可将传统单隐层前馈神经网络参数训练问题转化为求解线性方程组的优势，加快分类学习速度；

其中，所述极限学习机采用单隐层前馈神经网络(single-hidden layerfeedforward networks，SLFN)的框架，给定N个污水处理故障诊断训练样本{(x₁,y₁),(x₂,y₂),…,(x_N,y_N)}，含有L个节点的标准SLFN输出模型可以表示如下：

其中β_i表示第i个隐藏神经元与所连接输出神经元的输出权值，G为隐藏层神经元激活函数，w_i表示输入层与第i个隐藏神经元的输入权值，b_i表示第i个隐藏神经元的偏置，o_j为第j个输出神经元的实际输出值。

对于数量为N的污水处理故障诊断样本，存在一个(w_i,b_i)和β_i有使得该SLFN模型可以零误差逼近样本集。

即隐藏层前馈神经网络能够无误差的对其进行拟合，即：j＝1,…,N。可将其表示为：Hβ＝T，其中：

H为隐藏层输出矩阵，β为输出权值矩阵，T为输出层输出矩阵。

当激活函数G无限可微时，SLFN参数不需要全部进行调整，输入链接权重w_i和隐藏层偏置b_i在网络参数初始化的过程中随机选定，并且在训练过程中保持不变，那么训练SLFN就等价于求解线性系统Hβ＝T的最小二乘解，也就可以转化为下面的优化问题：

Minimize：||Hβ-T||²和||β||

该优化问题以数学的形式表示为：

Minimize：

Subject to：

其中ξ_i＝[ξ_i,1,…,ξ_i,k]^T是污水处理故障诊断训练样本x_i在第k个输出节点的输出值与真实值之间的误差向量。由隐藏层神经元输出的Moore-Penrose广义逆矩阵H⁺可解得：

采用正交投影法(KKT)可以有效地对H⁺求解，当H^TH或HH^T为非奇异矩阵的情况时H⁺＝(H^TH)^-1H^T或H⁺＝H^T(H^TH)^-1。为了使所得到的模型获得更好的稳定性和泛化性能，在求解时需要对H^TH或HH^T对角线元素加上一个足够小的正值可以得到：

相应的输出函数为：

或者当：

相应的ELM的输出函数为：

为了更好的处理不平衡数据，对每个样本进行加权，使得属于不同类的样本获得不同的权值，所以上述的优化问题的数学形式可以改写成：

Minimize：

Subject to：

其中W是定义的一个N×N的对角矩阵，每一个主对角元素W_ii都对应着一个样本x_i，不同类别的样本将会自动分配不同的权值，C是正规化系数。

根据KKT最优化条件，可以定义Lagrange函数求解该二次规划问题，则等效为求解下面的公式：

Minimize：

其中α_i为Lagrange乘数，且都是非负数。

相应的KKT优化限制条件为：

算法求解隐藏层输出权重可表示为：

H为隐藏层输出矩阵，T为输出层输出矩阵，N为样本个数，L为隐藏层的个数。其中W是定义的一个N×N的对角矩阵，每一个主对角元素W_ii都对应着一个样本x_i，不同类别的样本将会自动分配不同的权值。

改进后的加权极限学习机在权值的分配方式上采用AdaBoost的权值更新公式，即W_ii＝D_t(i)。这样，在每一轮的迭代过程中都会更新一次样本权值，使下一轮的基分类器更加侧重分错的样本，使整个算法在缩小样本类间不平衡性的同时提高整个样本集的分类准确率。

当隐藏层特征映射h(x)为未知的情况下，可以将核矩阵定义如下：

Ω_ELM＝HH^T:Ω_ELMi,j＝h(x_i)·h(x_j)＝K(x_i,x_j)

这里核函数K需要满足Mercer条件，此时可以将输出表达式写成：

所以ELM的隐藏层特征映射可以对其保持未知，同时隐藏层神经元数量L也无需进行设置。

基于核函数的加权极限学习机最终的输出方程为：

其中I为单位矩阵，C为正规化系数，W为加权矩阵，T为输出层矩阵，Ω_ELM为核矩阵。

综上可知，基于核函数的加权极限学习机训练算法的流程为：

(1)根据加权方案赋予每个样本权值，计算加权矩阵W；

(2)根据核函数计算核矩阵Ω_ELM；

(3)计算网络的输出结果f(x)。

S4、输入污水处理过程中产生的样本数据，设置集成算法的基分类器个数T，基分类器的最优核宽度γ，对应的最优正则化系数C，进行迭代，对输入的污水数据进行分类即故障诊断。

具体应用中，设置集成分类器的基分类器个数T＝20，并采用网格参数寻优的方式寻找满足算法最优性能的基分类器的核宽度γ和正规化系数C。γ的寻优范围为{2^-18,2^(-18+step),…,2²⁰}，step＝0.5；C的寻优范围为{2^-18,2^(-18+step),…,2⁵⁰}，step＝0.5。经参数寻优可知，本发明实例采用的两种权值初始化方案所需的最优参数分别为：

根据以上步骤，仿真实验先用污水样本集的3/4，即总共285组样本作为训练样本集，采用不同的权值初始化方案经过集成迭代产生最终的分类模型之后，将剩下的样本集作为测试样本代入分类模型得出最终的分类结果，即污水处理故障诊断结果。附图3是采用两种不同的权值初始化方案W1和W2得到两种分类模型Ada1-KWELM和Ada2-KWELM的分类结果准确率。由图中可知，Ada2-KWELM的整体G-mean值要高于Ada1-KWELM，尤其是在小样本数据的分类上效果更加突出，也就是说在污水处理中对故障类的诊断效果更好。因此本实例采用方案W2作为权值初始化方案。

表1样本类别数量分布

类别	1	2	3	4
					数量	238	88	48	6

表2八种模型的分类结果

模型	G-mean	R1-acc	R2-acc	R3-acc	R4-acc
						BPNN	6.75％	91.81％	71.17％	60.94％	5.00％
SVM	39.01％	94.38％	68.00％	58.75％	30.00％
						RVM	42.02％	91.50％	70.67％	65.63％	40.00％
Fast RVM	20.20％	93.88％	72.33％	62.50％	15.00％
						ELM	36.87％	92.75％	57.00％	48.75％	35.00％
K-WELM	57.26％	91.25％	71.83％	72.50％	45.00％
						Ada2-KWELM	68.46％	82.08％	77.78％	62.00％	60.00％

表2给出了本发明所用算法(Ada2-WKELM)的实验结果，并同时列出了对比模型反向传播神经网络(BPNN)、支持向量机(SVM)、相关向量机(RVM)、快速相关向量机(FastRVM)、极限学习机(ELM)、基于核函数的加权极限学习机(K-WELM)，R1、R2、R3、R4分别表示每一类的分类准确率，G-mean＝(R₁×R₂×R₃×R₄)¹⁴。从表中可知，虽然Ada2-WKELM对于多数类样本的分类准确率要低于其他几类算法，但是对少数类样本的分类准确率要普遍高于它们，尤其是第四类即故障类的分类准确率，而且整体G-mean值最大。由此可知，本发明所采用的算法比较适合对于不平衡数据集的进行分类。

综上所述，本发明针对污水处理厂的故障诊断问题，重点研究了基于加权极限学习机集成算法的污水处理故障诊断方法。该方法利用集成算法在迭代过程中不断调整分类正确和分类错误样本的权值分布，采用加权极限学习机作为集成算法的基分类器，一方面提高了污水故障诊断过程中少数类的分类准确率，另一方面利用极限学习机学习过程中无需反复调整参数，将传统单隐层前馈神经网络参数训练问题转化为求解线性方程组的特点，减少了算法的运行时间，保证了故障诊断的时效性。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种基于加权极限学习机集成算法的污水处理故障诊断方法，其特征在于，所述方法包括：

S1、采用集成学习算法AdaBoost作为不平衡数据分类的整体算法框架，将不平衡数据的最优类分布和最优类代表样例的寻找与集成学习中的多次采样技术融合，并生成集成分类器；

S2、采用改进后的集成算法权值初始化方法进行初始化；

S3、采用改进后的加权极限学习机作为集成学习算法的基分类器进行迭代；

S4、输入污水处理过程中产生的样本数据，设置集成算法的基分类器个数T，基分类器的最优核宽度γ，对应的最优正则化系数C，进行迭代，对输入的污水数据进行分类即故障诊断。

2.根据权利要求1所述的基于加权极限学习机集成算法的污水处理故障诊断方法，其特征在于，所述步骤S1具体包括：

S11、给定污水样本集{(x₁,y₁),(x₂,y₂),…,(x_N,y_N)}，其中x_i∈X表示X的第i个样本，y_i表示其对应的类别标签，y_i∈Y＝{1,2,…,k}，k表示总共有k个类别；

S12、初始化训练样本x_i的权重分布D(i)：i＝1,2,…,N；

S13、训练弱分类器；

S14、得到集成分类器。

3.根据权利要求2所述的基于加权极限学习机集成算法的污水处理故障诊断方法，其特征在于，所述步骤S13具体包括：

S131、设置集成算法的基分类器个数T；

S132、使用加权核极限学习机作为基分类器h_t对训练样本进行训练，得到训练模型和训练误差ε_t，若样本分类正确则不计入误差，若所有样本都被正确分类则误差为0，若样本分类错误则计入误差；

S133、若ε_t≥0.5，则退出迭代；

S134、计算基分类器h_t的权重

S135、调整样本下一轮迭代的权值分布D_t+1，D_t+1的调整规则如下所示：

D_t+1(i)＝D_t(i)exp(-α_t*I(x_i))，

4.根据权利要求2所述的基于加权极限学习机集成算法的污水处理故障诊断方法，其特征在于，所述集成分类器为：

$f\left(x\right)=\underset{k}{\arg \max }\underset{t=1}{\overset{T}{\Σ}}{\mathrm{\α}}_t\·(h_t\left(x\right)=k).$

5.根据权利要求1所述的基于加权极限学习机集成算法的污水处理故障诊断方法，其特征在于，所述改进后的集成算法权值初始化方法包括：第一自动加权方案W₁和第二自动加权方案W₂，

其中，所述第一自动加权方案W₁具体为：

$W_1=\frac{1}{Count\left(k\right)},$

所述第二自动加权方案W₂具体为：

其中Count(k)为训练样本中类别为k对应的样本数量。

6.根据权利要求1所述的基于加权极限学习机集成算法的污水处理故障诊断方法，其特征在于，所述改进后的加权极限学习机的隐藏层输出权重可表示为：

$\widehat{\mathrm{\&beta;}}=H^{+}T=\left\{\begin{array}{c}{H}^T{\left(\frac{I}{C}+{\mathrm{WHH}}^T\right)}^{-1}WT,N<L\\ {\left(\frac{I}{C}+H^{T}WH\right)}^{-1}{H}^{T}WT,N\&GreaterEqual;L\end{array}\right.,$

其中，H为隐藏层输出矩阵，T为输出层输出矩阵，N为样本个数，L为隐藏层的个数，其中W是定义的一个N×N的对角矩阵，每一个主对角元素W_ii都对应着一个样本x_i，不同类别的样本将会自动分配不同的权值。

7.根据权利要求5所述的基于加权极限学习机集成算法的污水处理故障诊断方法，其特征在于，所述改进后的加权极限学习机在权值的分配方式上采用AdaBoost的权值更新公式，即W_ii＝D_t+1(i)＝D_t(i)exp(-α_t*I(x_i))，

8.根据权利要求1所述的基于加权极限学习机集成算法的污水处理故障诊断方法，其特征在于，所述步骤S4具体为：

设置集成分类器的基分类器个数T＝20，并采用网格参数寻优的方式寻找满足算法最优性能的基分类器的核宽度γ和正规化系数C，γ的寻优范围为{2^-18,2^(-18+step),…,2²⁰}，step＝0.5；C的寻优范围为{2^-18,2^(-18+step),…,2⁵⁰}，其中，step＝0.5。