CN114331788A - 一种基于级联模块化神经网络的城市污水处理过程出水含氮量智能检测方法 - Google Patents

Abstract

本发明涉及一种基于级联模块化神经网络的城市污水处理过程出水含氮量智能检测方法。首先，通过互信息选择模型的输入变量，建立模块1来预测出水NH4‑N；然后，考虑到出水NH4‑N和出水TN之间的高度相关性，将模块1中出水NH⁴‑N的预测值与其他易于测量的变量相结合，设计出用于预测出水TN的模块2。此外，为了保证整个基于HMN的软测量模型的效率和泛化性能，两个模块由基于增长和合并机制的径向基函数(GM‑RBF)网络构建，通过节点生长合并策略和二阶学习算法，提高了模型的计算效率和泛化能力。最后，通过实际工业数据评估基于HMN的软测量模型的有效性，本发明有效解决了受环境或仪器的限制，城市污水处理过程中出水氨氮和出水总氮难以实时精准检测的问题。

Description

一种基于级联模块化神经网络的城市污水处理过程出水含氮 量智能检测方法

技术领域

本发明涉及城市污水处理过程出水含氮量智能检测方法；建立了基于级联模块化神经网络的出水含氮量预测模型，实现了对出水氨氮和出水总氮的同步预测。既属于城市污水处理领域，又属于智能建模领域。

背景技术

在人口和经济急剧增长的推动下，全球对可持续供水的需求不断增加，对污水进行有效处理有助于水的循环利用。因此，在过去的几十年中污水处理成为学术界和工业界的热门话题，其中关键出水水质对污水处理过程的监测和控制具有重要的指导作用。然而受技术和经济限制，仍然难以在线获得某些出水参数的可靠测量值，这些参数包括出水含氮量参数，例如氨氮(NH4-N)和总氮(TN)，它们是导致富营养化的关键营养素。因此，NH4-N和TN的准确预测，对提高污水处理厂(Wastewater treatment plants,WWTP)脱氮效率具有重要的理论意义和应用价值。

发明内容

本发明的目的在于提出一种基于级联模块化神经网络(Hierarchical modularneuralnetwork,HMN)的城市污水处理过程出水含氮量智能检测方法，采用HMN构建出水含氮量预测模型，实现对出水含氮量的准确预测。

本发明采用如下的技术方案及实现步骤：

(1)建立HMN，设计过程如下：

①模块1由RBF神经网络建立，根据不同的任务处理不同的输入信号。模块1的输入表示为

u＝[u₁,u₂,...,u_n]^T (1)

其中

之后，基于RBF神经网络建立的模块1的输出

表示为：

其中c_j和σ_j为模块1中RBF神经网络第j个隐层节点的中心和宽度，w_j表示相应的输出权重，J₁为RBF神经网络的隐含层节点个数；

②同样，模块2也由RBF神经网络建立。与以往模块化神经网络构造不同的是，模块2的输入除了包括来自外界环境的输入信号之外，还包括模块1的输出。因此，输入层表示为：

其中，

因此模块2的输出

表示为

其中，c_j和σ_j为模块2中RBF神经网络第j个隐层节点的中心和宽度，w_j表示相应的输出权重，J₂为RBF神经网络的隐含层节点个数；

HMN根据信号传播的方向构建。首先根据训练样本训练模块1，然后，将模块1中出水NH4-N的预测值添加到模块2的输入中以完成子网络设计，在此期间，子网络的收敛和泛化性对于HMN尤为重要；

(2)基于生长和合并机制的RBF自组织结构设计方法

为了保证子网络和HMN的紧凑性和泛化性，提出了一种基于生长和合并机制的RBF自组织结构设计方法。以第一个RBF子网络为例，最初，RBF隐藏层中没有节点，为了消除网络输出和期望输出之间的误差，采用误差修正算法连续添加RBF隐含层节点，因此，在每次迭代中，每个RBF节点位于最高误差峰或最低误差低谷处；

其中z_p和

分别为第p个样本的期望输出和网络的实际输出，j_max表示第j次迭代时绝对误差最大的训练样本，P表示模块1中训练样本的大小；

然后，根据第j_max个训练样本初始化第j个RBF节点对应的中心向量和连接权值：

隐含层节点的宽度根据新添加的节点和其他现有RBF节点之间的最小欧氏距离计算

σ_j＝min{dist(c_j,c_i≠j)} (9)

每次网络结构发生变化时，采用二阶算法调整所有参数，由于RBF神经网络激活函数的特殊性，其节点进行局部学习，由相应的中心和宽度决定。因此，在参数调整过程中如果将两个RBF隐含层节点调到最近距离，这两个节点可能对某些输入信息提供大致相同的响应。因此，提出了一种合并策略以降低结构的冗余性；

例如，如果第k个节点和第l个节点满足条件(10)，那么这两个节点将合并成新的节点：

dist(c_k,c_l)<min{σ_k,σ_l},k≠l. (10)

σ_k,l＝max{σ_k,σ_l} (12)

w_k,l＝w_k+w_l (13)

其中c_k,l，σ_k,l和w_k,l分别为新添加节点的中心，宽度和权值；

在子网络的构建过程中，隐含层节点的生长和合并不断重复，直到达到所需的训练精度，从而建立结构紧凑的HNM；

(3)采用二阶算法对参数进行调整

为了加快收敛速度并提高HMN的训练精度，使用二阶学习算法来调整子网络的参数，包括隐含层节点的中心、宽度和连接权重。参数的更新规则由下式给出

θ_t+1＝θ_t-(Q_t+μ_tI)^-1g_t (14)

其中θ_t+1和θ_t表示t+1时刻所有的参数，Q_t表示t时刻海森矩阵，μ_t为t时刻学习率，I为单位矩阵，g_t为t时刻梯度向量；

为了降低计算复杂度，将类海森矩阵Q表示为p个类海森子矩阵q的和，将梯度向量g转化为p个梯度子向量η的和：

其中q_p为类海森子矩阵，η_p为梯度子向量，q_p和η_p均由雅可比向量j_p获得：

其中H为需要被调整的参数的个数，包括隐含层节点的中心、宽度和连接权值。以模块1中包含有j个隐含层节点的RBF子网络为例，H＝(n+2)*j，其中j表示隐含层中神经元的个数，n表示输入节点个数，此外，雅可比行向量的元素可以表示为

注意，模块2中子网络结构和参数调整方法与模块1一致。

(4)基于HMN的预测模型

基于HNM的预测模型具体实现如下所示：

①将从真实城市污水处理厂采集到的数据进行预处理后表示为D＝{(x₁,y₁),(x₂,y₂),...,(x_P+S,y_P+S)}，然后将数据集划分为训练集和测试集，分别表示为D₁＝{(x₁,y₁),(x₂,y₂),...,(x_P,y_P)}，D₂＝{(x_P+1,y_P+1),(x₂,y_P+2),...,(x_P+S,y_P+S)}；

②基于互信息分析，分别确定出水NH4-N和出水TN子网络模块的输入变量；

③用于构建模块1的输入和输出向量表示为{u₁,u₂,...,u_P}和{z₁,z₂,...,z_P}，然后采用基于生长和合并机制的RBF建立模块1中的子网络，模块1的输出表示为

④将模块1的预测输出添加到模块2的输入向量中，则模块2的输入表示为

相应的模块2的输出为{y₁,y₂,...,y_P}；

上述两个模块在训练过程中学习率μ设置为0.01，迭代次数设置为50，当模型完成最后一次迭代后，HMN模型训练完成，并将其应用在测试集上实现出水NH4-N和出水TN的预测。

(5)出水NH4-N和出水TN浓度预测

本发明具有以下明显的优势和有益效果：

1HMN预测模型具有较高的计算效率，在预测出水NH4-N时(表III)，该方法的模型速度优于其他四种方法，显示了GM-RBF网络的计算效率。至于出水TN(表V)，虽然总建模时间(4.4381s)比ELM(2.4167s)和ErrCor(3.6878s)略长，但由于构建的基于HMN的预测模型是针对两个目标参数的，所以这一点是可以接受的。

2HMN预测模型具有紧凑的结构，模型的紧凑性通过RBF子网络隐含层节点个数来衡量，表III显示HMN隐含层节点个数为18，实现了出水NH4-N和出水TN的预测，与其他方法相比，具有7个隐含层节点的GM-RBF具有更高的预测性能。

3HMN具有较高的泛化性，HMN模型的泛化能力通过其在测试集上的RMSE、MAPE、R²三个指标来评价。表III和表V表明，与其他方法相比，基于HMN的预测模型具有更高的测试精度，表明该模型具有良好的泛化性能。

附图说明

图1为HMN结构图；

图2为基于HMN的出水含氮量预测模型框架；

图3为出水NH4-N和输入变量之间的相关性；

图4为出水TN和输入变量之间的相关性；

图5为HMN在测试集上出水NH4-N预测结果；

图6为HMN在测试集上出水NH4-N预测误差；

图7为HMN在测试集上出水TN预测结果；

图8为HMN在测试集上出水TN预测误差；

具体实施方式

本发明利用训练数据集建立用于出水含氮量浓度预测的HMN神经网络模型；利用测试数据集验证HMN神经网络预测模型对出水含氮量预测的准确性。

作为一种实施例，采用来自北京某污水处理厂的工业数据对本发明所提方法的有效性进行评估，工业数据集包含365个样本，共23个变量，详细描述见表I，经过预处理后，270个样本用于训练，其余90个样本用于测试，在Microsoft Windows 10.0，MATLAB 2016b环境下进行仿真。

(1)HMN模型的构建

面向城市污水处理过程应用的HMN构建包含两部分：通过特征选择确定HMN的输入和基于GM-RBF网络的子网络设计。

为了降低计算复杂度并提高准确性，将与输出高度相关的变量作为HMN的输入。采用互信息度量出水含氮量参数与其他变量之间的相关性。变量x和变量y之间的互信息由下式计算

其中P(x,y)表示变量x和变量y的联合概率分布，P(x)和P(y)表示边缘概率密度。

选择与出水含氮量相关性高的变量作为模型的输入，如图4和图5所示，因此，进水温度(T_in)，出水温度(T_ef)，进水总磷(TP_in)，混合液悬浮物(MLSS)，进水TN(TN_in)和进水NH4-N(NH4-N_in)被选为模块1的输入变量，此外，进水温度(T_in)，出水温度(T_ef)，出水NH4-N(NH4-N_ef)，进水TN(TN_in)，进水TP(TP_in)和MLSS被作为模块2的输入。确定输入后，采用训练样本构造HMN，HMN的详细构成如表II所示。

(2)HMN模型的预测性能

为了评估方法的有效性，采用均方根误差(RMSE)，平均绝对百分比误差(MAPE)和决定系数(R²)平均百分比误差对预测精度进行定量评价，计算如下：

其中y_i和

分别表示第i个测试样本的真实值和预测值，

表示所有测试样本的平均值，S表示测试样本的大小

图5为出水NH4-N的预测结果，RMSE为0.6241，MAPE为10.6320％，R²值为0.9640。出水TN预测结果如图7所示(RMSE 0.3758，MAPE 2.6535％，R2 0.9885)，HMN的预测值与实际值几乎相同，表明所提出的方法对出水含氮量具有较高的预测精度。

此外，为了验证出水NH4-N的预测值对出水TN预测性能的影响，从模块2GM-RBF神经网络输入中删除出水NH4-N的预测值，使用剩下的变量预测出水TN。结果表明输入变量中引入出水NH4-N的预测值能够提高出水TN的预测精度，表III提供了详细的对比结果。

(3)HMN模型与其他算法的对比结果

为了进一步评估所提出的HMN框架和GM-RBF网络的有效性，选择目前较为常见的算法例如广义生长和剪枝RBF(GGAP-RBF)、极限学习机(ELM)、误差修正(ErrCor)和自适应粒子群优化RBF(APSO-RBF)等算法进行对比。从建模速度、建模精度和模型紧凑性等方面对这些算法进行了比较。

①出水NH4-N预测

所有预测模型都是基于相同的训练数据建立的。模型的训练和测试结果如表IV所示。可以看出，GGAP和ELM的网络结构较为复杂。虽然ELM的建模速度比大多数其他方法快，但由于其随机性，ELM算法需要多次试验才能达到较好的精度。相比之下，ErrCor、APSO-RBF和HMN具有相对较小的架构，在这三种模型中，APSO-RBF模型的预测精度最低，而HMN则具有较高的预测精度且优于ErrCor，说明GM-RBF网络增长和合并机制的有效性。

②出水TN预测

为了说明HMN的有效性，将模块2GM-RBF神经网络输入中的出水NH4-N预测值剔除掉，五种预测模型的输入包括进水温度(T_in)、出水温度(T_ef)、进水TN(TN_in)、进水TP(TP_in)和MLSS。各个模型再训练集和测试集上的对比结果如表V所示。与出水NH4-N预测类似，GGAP、ELM和APSO-RBF的预测精度较差，模型复杂度较高。ErrCor和HMN模型的结构较为紧凑，具有较高预测精度。HMN的训练时间由两部分组成，模块1为2.3034秒，模块2为2.1367秒。尽管总建模时间比ELM和ErrCor稍长，但是构建的模型是针对两个出水参数。同理虽然基于HMN的模型需要比ErrCor多两个的RBF隐含层节点，但这些RBF节点包含用于构建模块1以获得预测出水NH4-N的节点。因此，在出水NH4-N和出水TN的在线预测问题上，基于HMN的模型通过18个RBF节点表现出优于ErrCor的预测精度。

表I输入变量描述

表II HMN结构

表III不同输入变量下出水TN的预测性能对比结果

表IV不同模型出水NH4-N预测对比结果

显然，本领域的技术人员可以对本发明进行各种改动和变形而不脱离本发明的精神和范围。应注意到的是，以上所述仅为本发明的具体实施例，并不限制本发明，凡在本发明的精神和原则之内，所做的调制和优化，皆应属本发明权利要求的涵盖范围。

Claims (1)

1.一种基于级联模块化神经网络的城市污水处理过程出水含氮量智能检测方法，其特征在于，包括如下步骤：

步骤1：建立级联模块化神经网络；

模块1：模块1由RBF神经网络建立，根据不同的任务处理不同的输入信号，模块1的输入表示为

u＝[u₁,u₂,...,u_n]^T (1)

其中

x₁,x₂,...,x_N表示影响出水含氮量的全部辅助变量，这些变量包括：进水PH(PH_in)，出水PH(PH_ef)，进水固体悬浮物浓度(SS_in)，出水固体悬浮物浓度(SS_ef)，进水生化需氧量(BOD_in)，出水生化需氧量(BOD_ef)，进水化学需氧量(COD_in)，出水化学需氧量(COD_ef)，生物池污泥沉降比(SV)，生物池混合液悬浮固体(MLSS)，生化池溶解氧(DO)，进水油类(Oil_in)，出水油类(Oil_ef)，进水氨氮(NH4-N_in)，出水氨氮(NH4-N_ef)，进水色度(Colour_in)，出水色度(Colour_ef)，进水总氮(TN_in)，出水总氮(TN_ef)，进水总磷(TP_in)，出水总磷(TP_ef)，进水水温(T_in)，出水水温(T_ef)，N表示辅助变量的总个数，u₁,u₂,...,u_n表示影响出水氨氮的辅助变量，包括：进水水温(T_in)、出水水温(T_ef)、进水总磷(TP_in)、生物池混合液悬浮固体(MLSS)、进水总氮(TN_in)和进水NH4-N(NH4-N_in)，n表示模块1中输入变量个数；之后，基于RBF神经网络建立的模块1的输出

表示为：

其中u表示输入向量，φ(·)表示径向基核函数，exp(·)表示以e为底的指数函数，c_j和σ_j为模块1中RBF神经网络第j个隐层节点的中心和宽度，w_j表示相应的输出权重，J₁为RBF神经网络的隐含层节点个数；

模块2：同样，模块2也由RBF神经网络建立，与以往模块化神经网络构造不同的是，模块2的输入除了包括来自外界环境的输入信号之外，还包括模块1的输出，因此，输入层表示为：

其中，

表示影响出水总氮的辅助变量，包括：进水水温(T_in)、出水水温(T_ef)、出水NH4-N(NH4-N_ef)、进水总氮(TN_in)、进水总磷(TP_in)和生物池混合液悬浮固体(MLSS)，m表示模块2中输入变量个数；因此模块2的输出

表示为

其中，exp(·)表示以e为底的指数函数，r表示输入向量，c_j和σ_j为模块2中RBF神经网络第j个隐层节点的中心和宽度，w_j表示相应的输出权重，J₂为RBF神经网络的隐含层节点个数；

级联模块化神经网络根据信号传播的方向构建，首先根据训练样本训练模块1，然后，将模块1的输出添加到模块2的输入中以完成子网络设计；

步骤2：基于生长和合并机制的RBF自组织结构设计方法；

为了保证子网络和级联模块化神经网络的紧凑性和泛化性，提出了一种基于生长和合并机制的RBF自组织结构设计方法，最初，RBF隐藏层中没有节点，为了消除网络输出和期望输出之间的误差，采用误差修正算法连续添加RBF隐含层节点，因此，在每次迭代中，每个RBF节点位于最高误差峰或最低误差低谷处；

其中z_p和

分别为第p个样本的期望输出和网络的实际输出，e_p表示第p个样本期望输出和实际输出之间的误差；j_max表示第j次迭代时绝对误差最大的训练样本，P表示模块1中训练样本的大小；

然后，根据第j_max个训练样本初始化第j个RBF节点对应的中心向量和连接权值：

其中

和

分别表示第j_max个样本对应的输入向量和期望输出，c_j和w_j分别表示第j个RBF节点的中心向量和连接权值；

隐含层节点的宽度根据新添加的节点和其他现有RBF节点之间的最小欧氏距离计算

σ_j＝min{dist(c_j,c_i≠j)} (9)

每次网络结构发生变化时，采用二阶算法调整所有参数，由于RBF神经网络激活函数的特殊性，其节点进行局部学习，由相应的中心向量和半径决定，因此，在参数调整过程中如果将两个RBF隐含层节点调到最近距离，这两个节点可能对某些输入信息提供大致相同的响应，因此，开发了一种合并策略以降低冗余并提高网络的紧凑性；

如果第k个节点和第l个节点满足条件(10)，那么这两个节点将合并成新的节点：

dist(c_k,c_l)<min{σ_k,σ_l},k≠l. (10)

σ_k,l＝max{σ_k,σ_l} (12)

w_k,l＝w_k+w_l (13)

其中dist(c_k,c_l)表示中心向量c_k和c_l之间的欧氏距离，c_k和c_l分别表示k个节点和第l个节点的中心向量，c_k,l表示第k个节点和第l个节点对应的中心向量的均值，σ_k和σ_l分别表示第k个节点和第l个节点的宽度，w_k和w_l分别表示第k个节点和第l个节点的连接权值，第c_k,l，σ_k,l和w_k,l分别为新添加节点的中心c，宽度σ和权值w；

步骤3：采用二阶算法对参数进行调整

为了加快收敛速度并提高HMN的训练精度，使用二阶学习算法来调整子网络的参数，包括隐含层节点的中心、宽度和连接权重，参数的更新规则由下式给出

θ_t+1＝θ_t-(Q_t+μ_tI)^-1g_t (14)

其中θ_t+1和θ_t表示t+1时刻和t时刻所有的参数，包括中心向量c，宽度和连接权值，Q_t表示t时刻海森矩阵，μ_t为t时刻学习率，I为单位矩阵，g_t为t时刻梯度向量；

为了降低计算复杂度，将类海森矩阵Q表示为p个类海森子矩阵q的和，将梯度向量g转化为p个梯度子向量η的和：

其中P为样本个数，q_p为类海森子矩阵，η_p为梯度子向量，g为梯度向量，q_p和η_p均由雅可比向量j_p获得：

其中H为需要被调整的参数的个数，包括隐含层节点的中心、宽度和连接权值，H的计算公式为H＝(n+2)*j，j表示隐含层中神经元的个数，n表示输入节点个数，j_p表示当输入为第p个样本时，子网络中隐含层神经元个数，e_p表示当输入为第p个样本时，对应的网络的实际输出和期望输出之间的误差，此外，雅可比行向量的元素可以表示为

其中，u_p为第p个输入样本，c_j，σ_j，w_j分别表示RBF隐含层中第j个神经元对应的中心向量，宽度和连接权值，e_p表示第p个输入样本对应网络的实际输出和期望输出之间的误差，

表示第p个输入样本对应网络的实际输出，φ_j(u_p)表示第p个输入样本对应RBF隐含层第j个神经元节点的输出；

步骤4：基于HMN的预测模型

基于HNM的预测模型具体实现如下所示：

①将从真实城市污水处理厂采集到的数据进行预处理后表示为D＝{(x₁,y₁),(x₂,y₂),...,(x_P+S,y_P+S)}，其中x₁,x₂,...,x_P+S表示输入样本，y₁,y₂,...,y_P+S表示输出样本，P表示训练集样本大小，S表示测试集样本大小，然后将数据集按照4：3的比例划分为训练集和测试集，训练集和测试集分别用D₁和D₂表示，则D₁＝{(x₁,y₁),(x₂,y₂),...,(x_P,y_P)}，D₂＝{(x_P+1,y_P+1),(x₂,y_P+2),...,(x_P+S,y_P+S)}；

②基于互信息分析，分别计算辅助变量和出水氨氮、出水总氮之间的相关性，实验中确定每个模块的辅助变量个数为6，将变量的相关性按照从高到低的顺序进行排序，选择排名前六的辅助变量选为模块的输入，分别确定出水NH4-N和出水TN子网络模块的输入变量，其中进水水温(T_in)、出水水温(T_ef)、进水总磷(TP_in)、生物池混合液悬浮固体(MLSS)、进水总氮(TN_in)和进水NH4-N(NH4-N_in)被选为模块1的辅助变量，进水水温(T_in)、出水水温(T_ef)、出水NH4-N(NH4-N_ef)、进水总氮(TN_in)、进水总磷(TP_in)和生物池混合液悬浮固体(MLSS)被选为模块2的辅助变量；

③用于构建模块1的输入和输出向量表示为{u₁,u₂,...,u_P}和{z₁,z₂,...,z_P}，P表示输入样本个数，然后采用基于生长和合并机制的RBF建立模块1中的子网络，模块1的输出表示为

④将模块1的预测输出添加到模块2的输入向量中，则模块2的输入表示为

其中P表示样本个数，

分别表示模块1中P个输入样本对应的网络的实际输出，r₁,r₂,...,r_P分别表示模块2中影响出水含氮量的辅助变量，这些辅助变量和模块1中子网络实际输出共同构成了模块2的输入向量对

相应的模块2的输出为{y₁,y₂,...,y_P}；

上述两个模块在训练过程中学习率μ设置为0.01，迭代次数设置为50，当模型完成最后一次迭代后，HMN模型训练完成，并将其应用在测试集上实现出水NH4-N和出水TN的预测。

Images