CN102662040A - 一种动态模块化神经网络的氨氮在线软测量方法 - Google Patents

Abstract

一种动态模块化神经网络的氨氮在线软测量方法，属于检测技术及仪表研究技术领域。本发明针对当前污水处理过程中出水水质关键参数氨氮NH3-N测量周期长，不能在线检测的问题，采用了多模型的软测量方法实现了辅助变量与NH3-N之间的映射，对NH3-N进行在线软测量。与一般的在线学习方法相比较具有更高的预测精度，是一种使用范围广，可靠性高，鲁棒性强的软测量方法；本发明克服了单模型建模学习时间长、过程匹配不佳、外推能力差、没有知识积累等缺陷。

Description

一种动态模块化神经网络的氨氮在线软测量方法

技术领域

本发明属于检测技术及仪表研究技术领域，涉及一种在线多模型软测量方法，特别涉及一种动态模块化神经网络的氨氮在线软测量方法。

背景技术

国务院在《中华人民共和国国民经济和社会发展第十二个五年规划纲要》中提出了城市污水处理率达到85％的总体目标，并对污水处理行业提出了提高污水处理率、污水排放标准等要求。这些要求在“质”和“量”的方面对污水处理行业提出了更高的要求。但目前我国污水处理厂的实际运行状况并不乐观。据环保部门统计，运行负荷不足、出水水质超标或运行异常的污水处理厂约占50％。因此国家中长期科技发展规划中明确提出要抑制异常工况发生，确保污水处理质量达标；研究并推广高效、低能耗的污水处理新技术。因此，本发明的研究成果具有广阔的应用背景。

污水处理过程是一个典型的非线性时变系统，其关键的生化反应阶段涉及复杂微生物反应过程。由于测量技术的局限，污水处理过程中的一些重要参数是无法或很难进行在线测量(如氨氮NH3-N、化学需氧量COD、生化需氧量BOD等)。这些参数对于出水指标的控制、过程的优化及故障的诊断起着重要的作用，是污水处理中必须监测的变量。其中污水出水水质参数NH3-N的测定采用蒸馏-中和测定法，其分析测定周期(经常是数个小时)所产生的明显的延迟，将导致该测量信号不能作为闭环控制系统的反馈信号加入到整个控制过程中，这对污水处理的出水水质和污水处理系统的安全运行都产生严重的影响。

近年来，为实现对污水处理的测量和控制，国内外专家提出了多种非线性软测量方法，其中以神经网络(单模型)作为软测量工具的方法研究最为活跃。然而，污水处理过程是一个运行工况范围广的复杂工业过程，经常在负荷大范围扰动的条件下运行，不同区域的样本，其扰动幅度和对象特性均不相同，采用单模型的软测量方法会导致学习时间过长、过程匹配不佳、精度和外推能力差等缺陷。其次，单模型也存在健忘问题，即单模型没有知识积累特性，使其难以跟踪污水水质的变化过程，自适应能力差，鲁棒性不强。再次，污水处理系统在运行过程中受季节天气、暴雨、工业废水的突然涌入等因素的影响常会产生缓慢的变化或突然的扰动，即会产生数据漂移现象，造成软测量模型的预测误差不断增大。另外，污水处理过程中，软测量样本集呈单个增量式增加，这就要求软测量方法最好是在线、增量式学习。

发明内容

针对现有方法存在的不足，本发明提出一种动态模块化神经网络的氨氮在线软测量方法，以达到克服单模型建模学习时间长、过程匹配不佳、外推能力差、没有知识积累等缺陷的目的。

本发明的技术方案是这样实现的：一种动态模块化神经网络的氨氮在线软测量方法，包括以下步骤：

步骤1：设计用于NH3-N在线软测量的动态模块化神经网络拓扑结构；网络分为5层：输入层、RBF层、任务分配层、子网络层、集成输出层。输入为曝气池进水水质指标，输出为出水水质NH3-N浓度；

输入层：包括n个输入节点，n为输入样本的维数，k时刻的输入样本表示为x(k)＝[x₁(k)，…，x_n(k)]^T。

RBF层：包括l个RBF神经元，每个神经元的激活函数为

在动态模块化神经网络中，激活函数Φ_i(x(k))被定义为硬限幅函数：

若满足公式‖x(k)-c_i‖≤δ_i，则Φ_i(x(k))＝1    (1)

若满足公式‖x(k)-c_i‖＞δ_i，则Φ_i(x(k))＝0

式中，c_i为第i个RBF神经元的数据中心，δ_i为第i个RBF神经元的扩展宽度；公式(1)表示在输入样本空间中以c_i为球心，以δ_i为半径作一个超球面，当输入点在该超球面内时输出为1，在超球面以外时输出为0。

任务分配层：该层的任务是根据RBF层中RBF神经元的输出和k时刻输入样本x(k)在输入样本空间中的位置，由模糊策略决定给k时刻输入样本x(k)分配不同的子网络进行学习。

子网络层：该层由子神经网络组成，其个数与RBF层中RBF神经元个数相同，且为一一对应的关系。该层的主要任务是学习由任务分配层分配来的输入样本。

集成输出层：该层的主要任务是对k时刻各子神经网络的学习结果进行集成输出，集成输出的结果Y(x(k))，公式如下：

$Y\left(x\left(k\right)\right)=\underset{i=1}{\overset{p}{\mathrm{\Σ}}}{\mathrm{\α}}_i{y}_{\mathrm{ik}}\left(x\left(k\right)\right)---\left(2\right)$

式中，p为被x(k)激活的子神经网络的个数；α_i为各子神经网络的集成权值，且有y_ik为子网络层中第i个子神经网络对k时刻的输入样本x(k)的输出，且有

y_ik(x(k))＝v_if(w_ix(k)+b1_i)+b2_i

式中，w_i为第i个子神经网络输入层到隐含层的权连接矩阵；v_i为第i个子神经网络隐含层到输出层的权连接矩阵；f(·)为子神经网络隐含层神经元的激活函数；b1_i为第i个子神经网络隐含层神经元的偏移向量；b2_i为第i个子神经网络输出层神经元的偏移向量。

步骤2：输入变量的确定及归一化处理；

确定输入变量为：污水出水水质氨氮预测模型输入样本包括入水氨氮(NH₃-N)、入水化学需氧量(COD)、入水悬浮物(SS)、入水PH值、反应池溶解氧浓度(DO)、反应池混合液可挥发性悬浮固体浓度(MLVSS)，输出样本为出水氨氮预测值。

由于上述自变量之间差异较大且量纲不同，采用在线递归中心化压缩方法进行归一化处理：

设k时刻的输入样本和输出样本对为：

Z(k)＝[x₁(k)，x₂(k)，…，x₆(k)，x₇(k)]    (3)

式中，x₁(k)，x₂(k)，...，x₆(k)表示输入样本在k时刻的值，作为k时刻神经网络的输入；x₇(k)表示k时刻氨氮浓度的目标值，作为k时刻神经网络的期望输出值；

则在线递归中心化压缩，公式为：

$Z_j\left(k\right)=\frac{Z_j\left(k\right)-{\stackrel{\‾}{Z}}_j\left(k\right)}{{\mathrm{\σ}}_j\left(k\right)}---\left(4\right)$

${\stackrel{\‾}{Z}}_j\left(k\right)=\frac{k-1}{k}{\stackrel{\‾}{Z}}_j(k-1)+\frac{1}{k}{Z}_j\left(k\right)---\left(5\right)$

${\mathrm{\σ}}_j^2\left(k\right)=\frac{k-1}{k}{\mathrm{\σ}}_j^2(k-1)+\frac{1}{k-1}{(Z_j\left(k\right)-{\stackrel{\‾}{Z}}_j\left(k\right))}^2,j=1,...,7---\left(6\right)$

其中，Z_j(k)表示k时刻输入样本的第j个分量，

表示j个分量的平均值，σ_j表示j个分量之间的标准差。

步骤3：对归一化后的k时刻输入样本x(k)，首先，在线更新RBF层RBF神经元的个数及数据中心；其次，任务分配层根据RBF层RBF神经元的输出，由模糊策略确定并激活子网络层中不同的子神经网络学习该输入样本x(k)；最后对被激活的各子神经网络的输出进行动态集成形成输出。

具体为：

①在线更新RBF层神经元的个数及各RBF神经元的数据中心

RBF层RBF神经元的个数及数据中心由在线聚类算法实现。在k时刻，假设在RBF层已存在l个RBF神经元，其数据中心为c_i(i＝1，…，l)，则需计算当前输入样本x(k)的密度值P_k(x(k))与原RBF神经元数据中心c_i的密度值P_k(c_i)，并进行比较。

k时刻输入样本x(k)的密度值P_k(x(k))递推公式如下：

$P_k\left(x\left(k\right)\right)=\frac{1}{1+\frac{1}{k-1}\underset{j=1}{\overset{k-1}{\mathrm{\Σ}}}{(x\left(k\right)-x\left(j\right))}^T(x\left(k\right)-x\left(j\right))}=\frac{k-1}{(k-1)(\mathrm{\γ}\left(k\right)+1)-2\mathrm{\η}\left(k\right)x\left(k\right)+\mathrm{\σ}\left(k\right)}---\left(7\right)$

式中，γ(k)＝x^T(k)x(k)，

其中，x(k)^T表示x(k)的转置；

k时刻聚类中心c_i密度值P_k(c_i)的递推公式如下：

$P_k\left(c_i\right)=\frac{1}{1+\frac{1}{k-1}\underset{j=1,j\≠i}{\overset{k}{\mathrm{\Σ}}}{{(c}_i-x\left(j\right))}^T(c_i-x\left(j\right))}=\frac{(k-1)P_{k-1}\left(c_i\right)}{k-2+P_{k-1}\left(c_i\right)+\mathrm{\ζ}\left(k\right)P_{k-1}\left(c_i\right)}---\left(8\right)$

式中，

其中，(c_i-x(k))^T为(c_i-x(k))的转置；

对P_k(x(k))与P_k(c_i)进行比较：

(a)如果当前输入样本x(k)与RBF层所有的RBF神经元的数据中心的距离都大于r1，并且当前输入样本x(k)的密度值P_k(x(k))大于阈值ε，则表明一个新的工况出现，应在RBF层增加一个新的RBF神经元，新增加的RBF神经元的数据中心为当前输入样本x(k)，并对应在子网络层增加一个新的子神经网络，所述的r₁的取值范围满足如下公式：

$r_1=(0.3~0.5)\×\underset{i\≠j,i,j=1,...,N}{\max }{\left|\right|x\left(i\right)-x\left(j\right)\left|\right|}_2$

所述的阈值ε的取值范围满足如下公式：

$\mathrm{\ϵ}=0.5\×\underset{i=1,...,l}{\max }{P}_{k-1}\left(c_i\right)$

(b)计算当前输入样本x(k)与RBF层所有RBF神经元数据中心的距离，找出与当前输入样本x(k)距离最小的RBF神经元，如果该RBF神经元与x(k)之间的距离小于r1，并且当前输入样本x(k)的密度值P_k(x(k))大于该RBF神经元数据中心的密度值P_k(c_t)，则表明当前输入样本x(k)比该RBF神经元数据中心具有更强的描述当前工况的能力，说明随着系统的运行，工况中心发生了漂移，此时，应当采用当前输入样本x(k)代替该RBF神经元的数据中心，使动态模块化神经网络跟踪该新工况。

(c)如果RBF层中两个RBF神经元的数据中心之间的距离小于r₂，则表明这两个RBF神经元后面的子神经网络对同样的工况数据进行处理，应该将这两个RBF神经元合并成一个RBF神经元，并将与这两个RBF神经元对应的子网络层的子神经网络合并成一个子神经网络，所述r₂的取值范围为r₂≈(0.5～0.7)r₁；

②根据RBF层RBF神经元的输出，由模糊策略确定并激活不同的子神经网络学习当前输入样本x(k)。

设c＝{c₁，c₂，...，c_m}为被当前输入样本x(k)所激活的RBF层RBF神经元的数据中心，令：

${\mathrm{dr}}_i=\left|\right|x\left(k\right)-c_i\left|\right|/{\mathrm{da}}_i,{\mathrm{da}}_i=\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\left|\right|x\left(k\right)-c_i\left|\right|---\left(9\right)$

式中，da_i为当前输入样本x(k)到被激活的RBF层RBF神经元数据中心的平均距离，dr_i为当前输入样本x(k)到被激活的RBF层RBF神经元数据中心的相对距离；

dr_i进行归一化处理后的值为u_i，公式如下：

$u_i=d{r}_i/\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{dr}}_i---\left(10\right)$

且有u_i∈[01]，∑u_i＝1；

设相对距离dr_i的模糊集A＝{VS，S，M，B}，其中，VS表示很小，S表示小，M表示中等，B表示大；模糊隶属度函数g为：

$g=e^{-{(u_i-\mathrm{\β})}^2/0.02}---\left(11\right)$

式中，e表示指数函数，β表示各模糊子集的中心，设置模糊隶属度函数g中各模糊子集{VS，S，M，B}的中心分别为：r₂/4r₁，r₂/3r₁，r₂/2r₁，r₂/r₁，且满足：

当u_i＜r₂/4r₁时，u_i∈{VS}的隶属度为1；

当u_i＞r₂/r₁时，u_i∈{B}的隶属度为1；

对于k时刻输入样本x(k)，以最大隶属度法判断u_i属于那个模糊子集，并按照从VS到B的顺序选择属于同一集合的子神经网络对x(k)进行学习，即首先选择属于VS的子神经网络学习当前时刻输入样本x(k)，不属于VS的子神经网络不参与当前时刻的学习过程；如果集合VS为空，则选择属于S的子神经网络学习当前时刻输入样本x(k)，不属于S的子神经网络不参与当前时刻的学习过程。以此类推。

③对各子神经网络的输出进行动态集成输出：

对k时刻的输入样本x(k)，设被选中的子神经网络所对应的RBF层RBF神经元的数据中心为c＝{c₁，c₂，...，c_p}，p为被选择的子神经网络个数，则动态模块化神经网络的总输出为公式(2)所示。在公式(2)中，α_i为被选择的第i个子神经网络的集成权值，为：

${\mathrm{\α}}_i=(1/d_i)/\underset{i=1}{\overset{p}{\mathrm{\Σ}}}1/d_i---\left(11\right)$

式中d_i＝‖x(k)-c_i‖，i＝1，…，p，且有α_i∈(0  1]，

步骤4：集成输出Y(k)即为k时刻出水氨氮NH3-N的软测量结果，采集下一时刻的输入数据，返回步骤2。

发明的有益效果：本发明针对当前污水处理过程中出水水质关键参数氨氮NH3-N测量周期长，不能在线检测的问题，采用了多模型的软测量方法实现了辅助变量与NH3-N之间的映射，对NH3-N进行在线软测量。与一般的在线学习方法相比较具有更高的预测精度，是一种使用范围广，可靠性高，鲁棒性强的软测量方法；本发明克服了单模型建模学习时间长、过程匹配不佳、外推能力差、没有知识积累等缺陷。与传统多模型建模方法相比较，本发明能够以污水处理过程中的实时数据为驱动，依据实时工况数据的空间分布，通过在线减法聚类自适应调整动态模块化神经网络的规模和各子神经网络的空间分布，能够有效实时跟踪复杂的污水处理过程；本发明中基于模糊策略的子网络激活机制和集成方法，能够选择不同的子神经网络对任务进行学习，既避免了集成规模过大，提高了学习效率，又能提高系统的鲁棒性和学习精度；本发明对污水处理过程出水水质氨氮进行软侧领，可推广应用与出水水质的其它指标的预测，也可以进一步应用于污水处理过程的先进控制。

附图说明

图1为本发明一种实施方式动态模块化神经网络的氨氮在线软测量方法总流程图；

图2为本发明一种实施方式动态模块化神经网络拓扑结构图；

图3为本发明一种实施方式在线预测出水氨氮NH3-N效果示意图；

图4为本发明一种实施方式在线训练过程中训练均方差RSME的情况和动态模块化神经网络在整个学习过程中子网络数动态变化示意图，其中，图(a)为在线训练过程中训练均方差RSME的情况示意图，图(b)为动态模块化神经网络在整个学习过程中子网络数动态变化情况示意图；

图5为本发明一种实施方式动态模块化神经网络在整个在线学习过程中某4个RBF神经元动态漂移示意图，4个RBF神经元动态漂移情况分别如图(a)、图(b)、图(c)和图(d)所示；

图6为本发明一种实施方式在线训练过程中实际系统输出与动态模块化神经网络在线预测输出的绝对误差示意图；

表1～表7是本发明实施方式给出的50组输入、输出数据，其中表1～表6为输入数据；表7为输出数据，即NH3-N的实测值；表8为动态模块化神经网络软测量值；表9为在线归一化的输入输出数据。

具体实施方式

下面结合附图对本发明的实施方式做进一步详细说明。

本发明的实施方式中，根据污水处理厂的处理经验及污水处理过程中可测数据，选取测量NH3-N的辅助变量。所述的辅助变量包括：入水氨氮(NH₃-N)、入水化学需氧量(COD)、入水悬浮物(SS)、入水PH值、反应池溶解氧浓度(DO)和反应池混合液可挥发性悬浮固体浓度(MLVSS)。上述各辅助变量，除入水PH值没有单位外，其它单位均为毫克/升。

整个实验数据来自某污水处理厂2008年度水质分析日报表。剔除明显不合理的数据，最终得到508组有效数据，包括3月份(春季)的污水处理数据240组和8月份(夏季)的污水处理数据268组。

下面结合上述数据，对本实施方式中的动态模块化神经网络的氨氮在线软测量方法进行详细的说明，其流程如图1所示。该过程开始于步骤101。在步骤102，本实施方式中，动态模块化神经网络分为5层：输入层、RBF层、任务分配层、子网络层和集成输出层。其中，输入层中的输入数据x(k)有6个，即x(k)＝[x₁(k)，x₂(k)，x₃(k)，x₄(k)，x₅(k)，x₆(k)]^T，如当k＝1时，x(k)＝[7.81，323，306，14.5，30.7，8.1]。

子网络层中，各子神经网络的结构设置为6-5-1，即6个输入节点，5个隐节点和1个输出节点，网络的权连接矩阵(公式(2)中的w_i和v_i)的行列值的取值范围为0～1之间的随机数；子网络层中子神经网络采用增量学习方式、学习算法采用Levenberg-Marquardt算法，来学习由任务分配层分配来的输入样本。

集成输出层的输出为Y(x(k))，即对各子神经网络的学习结果进行集成，其结果即为动态模块化神经网络对当前输入样本的软测量值。

在步骤103，本实施方式中，确定输入层的6个输入变量x₁(k)～x₆(k)的物理含义为PH、COD、SS、入水NH₃-N、DO、MLVSS，x₇(k)的物理含义为出水NH₃-N实际测量值。

对上述6个输入变量和1输出变量进行在线归一化处理：设k时刻的输入样本和输出样本对为：

Z(k)＝[x₁(k)，x₂(k)，…，x₆(k)，x₇(k)]

其中，x₁(k)，x₂(k)，…，x₆(k)表示所选定的6个输入量在k时刻的值，它们是k时刻神经网络的输入；x₇(k)表示k时刻出水氨氮浓度的目标值，即k时刻神经网络的期望输出值。如当k＝1时，Z(1)＝[7.81，323，306，14.5，30.7，8.1，0.33]。

则在线递归中心化压缩方法如下：

$Z_j\left(k\right)=\frac{Z_j\left(k\right)-{\stackrel{\‾}{Z}}_j\left(k\right)}{{\mathrm{\σ}}_j\left(k\right)}---\left(4\right)$

${\stackrel{\‾}{Z}}_j\left(k\right)=\frac{k-1}{k}{\stackrel{\‾}{Z}}_j(k-1)+\frac{1}{k}{Z}_j\left(k\right)---\left(5\right)$

${\mathrm{\σ}}_j^2\left(k\right)=\frac{k-1}{k}{\mathrm{\σ}}_j^2(k-1)+\frac{1}{k-1}{(Z_j\left(k\right)-{\stackrel{\‾}{Z}}_j\left(k\right))}^2,j=1,...,7---\left(6\right)$

其中，Z_j(k)表示k时刻输入样本的第j个分量，

表示j个分量的平均值，σ_j表示j个分量之间的标准差。归一化后的输入输出数据如表9所示。

在步骤104，对归一化后的k时刻输入向量x(k)，首先，利用在线减法聚类算法在线更新RBF层神经元的个数及数据中心，具体为：初始化在线减法算法的聚类参数r₁＝0.5，r₂＝0.25。本实施方式中，在k为1的时刻，即第一个数据样本x(k)到来的时刻，此时，数据样本x(k)的密度值、聚类中心c_i的密度值都未赋值，需要进行初始赋值：RBF层的RBF神经元的个数为l＝1，则第一个数据样本x(k)的密度设置为P_k(x(k))＝1，第一个聚类中心c_i的密度值设置为P_k(c_i)＝1。由于是第一个数据x(k)到来，所以，当前RBF神经元的数据中心就为当前数据样本x(k)，即c₁＝[0.9038，0.1102，0.1067，0.2583，0.8586，0.1147]。

在k不等于1的时刻，用公式(7)和(8)递归计算当前时刻数据密度值P_k(x(k))和数据中心密度值P_k(c_i)，并做如下比较：

(a)如果同时满足：

且P_k(x(k))＞ε，其中

即前输入样本x(k)与RBF层所有的RBF神经元的数据中心的距离都大于r₁，并且当前输入样本x(k)的密度值P_k(x(k))大于阈值ε。则表明有一个新工况出现，此时应该在动态模块化神经网络的RBF层增加一个RBF神经元，且该新增加的RBF神经元的数据中心为x(k)即：c_l+1＝x(k)，l＝l+1。

如图4所示，在本实施方式中k＝7的时刻，通过在线递归计算得到P_k(x(k))＝0.8250，ε＝0.7125，

满足条件且P_k(x(k))＞ε，此时在RBF层增加一个RBF神经元，即：c_l+1＝x(k)，l＝l+1，且该增加的RBF神经元的数据中心为：c₂＝x(7)＝[0.8175，0.1077，0.0894，0.1678，0.6437，0.1096]。

(b)如果同时满足下面两个公式：

且P_k(x(k))＞P_k(c_t)，其中

即当前输入样本x(k)和与它距离最近的RBF层RBF神经元的数据中心的距离小于r₁，且当前输入样本x(k)的数据密度值P_k(x(k))大于该RBF神经元数据中心的密度值P_k(c_i)，该情况表明随着系统的运行，工况中心发生了漂移，此时应该由当前输入样本代替与x(k)距离最近的RBF神经元的数据中心，以使动态模块化神经网络能够有效跟踪该工况。

(c)如果RBF层RBF层任意两个RBF数据中心之间的距离小于等于r₂，即

则表示这两个RBF神经元后面的子神经网络对同样的工况数据进行处理，此时，应该将这两个RBF神经元合并成一个RBF神经元，同时删除被合并的RBF神经元后面的子神经网络。

在本实施方式中，合并两个RBF神经元的操作为：c_i＝c_d，l＝l-1，其中若P_k(c_j)＞P_k(c_i)，则d＝j；否则，d＝i。即，若RBF层中第j个RBF神经元的数据中心和第i个RBF神经元的数据中心小于等于r₂，且第j个RBF神经元的数据中心的密度值P_k(c_j)大于第i个RBF神经元中心的密度值P_k(c_i)，则将RBF层中第i个RBF神经元删除，同时删除第i个RBF神经元后面的子神经网络。反之，则删除RBF层中第j个RBF神经元，同时删除第j个RBF神经元后面的子神经网络。每删除一个RBF神经元，当前RBF层中RBF神经元个数计数器l减1，即l＝l-1。

如图4所示，在本实施方式中，当k＝71的时刻，动态模块化神经网络RBF层中共有4个RBF神经元，它们的数据中心分别是：c₁＝[0.5，0.05，0.1271，0.0665，0.2138，0.1185]；c₂＝[0.8077，0.0302，0.0894，0.0367，0.3043，0.2696]；c₂＝[0.9231，0.0586，0.0502，0.2516，0.8416，0.0667]；c₄＝[0.8173，0.1158，0.1106，0.2813，0.6606，0.5481]。因此在k＝71的时刻，动态模块化神经网络中共有4个子神经网络。而在k＝72的时刻，通过计算得到c₂与c₄之间的距离小于r₂，且P_k(c₂)＝0.6317，P_k(c₄)＝0.3852，即P_k(c₂)＞P_k(c₄)。所以在本实施方式中，RBF层中第4个RBF神经元将被第2个RBF神经元合并，同时，第4个RBF神经元所对应的子网络层中的子神经网络被删除。

②根据RBF层RBF神经元的输出，由模糊策略确定并激活不同的子神经网络学习当前输入样本x(k)。

在本实施方式中k＝71的时刻，动态模块化神经网络RBF层中共有4个RBF神经元，它们的数据中心分别是：c₁＝[0.5，0.05，0.1271，0.0665，0.2138，0.1185]；

c₂＝[0.8077，0.0302，0.0894，0.0367，0.3043，0.2696]；

c₂＝[0.9231，0.0586，0.0502，0.2516，0.8416，0.0667]；

c₄＝[0.8173，0.1158，0.1106，0.2813，0.6606，0.5481]。输入样本x(k)在k＝71的时刻为：x(k)＝[0.8077，0.1077，0.0894，0.1678，0.6437，0.1096]。通过计算得到输入样本x(k)到这4个RBF神经元数据中心的距离分别为：0.6251，0.4284，0.5742，0.3736。因此在k＝71时刻，输入样本x(k)激活RBF层中第2个和第4个RBF神经元，即被当前输入样本x(k)激活的RBF神经元的数据中心为c＝{c₂，c₄}。通过式(9)、(10)计算得到归一化后的输入样本x(k)到c₂和c₄的相对距离u_i为：0.5342，0.4658。由于模糊集A＝{VS，S，M，B}，且其隶属度函数中模糊子集的中心点为：0.125，0.1667，0.25，0.5。因此通过式(11)计算得到u_i对c₂和c₄的模糊隶属度分别为：0.12，0.048。由于0.12和0.048都小于0.125(r₂/4r₁)，因此u_i∈{VS}的隶属度为1。即在k＝71时刻，当前输入样本x(k)激活RBF层中两个RBF神经元，且这两个RBF神经元对对应的子网络层中的两个子神经网络都被模糊策略选中用来学习当前输入样本x(k)。

③对各子神经网络的输出进行动态集成输出：

在本实施中k＝71时刻，由于子网络层中的两个子神经网络均被模糊策略选中来学习当前输入样本x(k)，通过式(11)计算得到这两个子神经网络的集成权值为：0.4658，0.5342。通过式(2)就可得到在k＝71时刻动态模块化神经网络对当前输入样本的输出为：Y(x(k))＝0.4658y_2k(x(k))+0.5342y_4k(x(k))，其中y_2k(x(k))表示第2个子神经网络在k＝71时刻对输入样本x(k)的输出，y_4k(x(k))表示第4个子神经网络k＝71时刻对输入样本x(k)的输出。

图3为在线预测出水氨氮NH3-N效果图，X轴：输入样本点，Y轴：出水水质氨氮预测值(毫克/升)，实线为实际系统输出值，虚线为动态模块化神经网络在线预测输出值；图4为在线训练过程中训练均方差RSME的情况和动态模块化神经网络在整个学习过程中子网络数动态变化情况；图5为动态模块化神经网络在整个在线学习过程中某4个RBF神经元动态漂移情况，X轴为进水NH3-N浓度，Y轴为进水COD浓度，Z轴为学习样本数；图6为在线训练过程中实际系统输出与动态模块化神经网络在线预测输出的绝对误差，结果证明该方法的有效性。

数据如下：

表1.入水PH值

7.81	7.83	7.81	7.9	7.88	7.71	7.85	7.72	7.82	7.8
										7.88	7.84	7.96	7.66	7.48	7.63	7.81	7.75	7.72	7.81
7.86	7.9	7.79	7.89	7.81	7.56	7.56	7.92	7.81	7.9
										7.72	7.8	7.85	7.88	7.91	7.92	7.89	7.56	7.9	7.96
7.62	7.84	7.87	7.81	7.83	7.91	7.99	7.92	7.92	7.89

表2.入水化学需氧量COD  (毫克/升)

323	312	405	312	396	306	648	182	185	154
										396	339	324	232	193	524	250	113	523	248
334	196	174	807	250	170	170	210	250	196
										182	154	648	230	397	210	807	170	196	324
405	301	377	112	335	310	343	210	807	113

表3.入水悬浮物SS  (毫克/升)

306	306	24.2	296	232	284	724	188	220	252
										232	128	208	196	348	529	356	240	532	356
284	104	252	982	356	232	232	152	356	104
										188	252	724	200	316	152	892	232	104	208
675	432	248	96	76	316	256	152	892	240

表4.入水水氨氮NH₃-N  (毫克/升)

14.5	15.9	16.8	18	17.7	16.8	16.8	9.4	8.7	8.2
										17.7	19.5	16.1	16.6	6.6	12.3	17.2	7.65	18.2	17.2
18.6	20.5	13.4	18.5	17.2	10.2	10.2	17.7	17.2	20.5
										9.4	8.2	16.8	14.2	19.5	17.7	18.5	10.2	20.5	16.1
8.1	6.3	16.5	13.6	19.9	18.7	17.1	17.7	18.5	7.65

表5.反应池溶解氧浓度DO  (毫克/升)

30.7	69.6	24.2	29	28	25.8	43.8	16.4	6	12.6
										28	31.5	24.8	24.4	14.8	21.6	30.6	13.9	45.7	30.6
30.8	25.7	20.4	39.2	30.6	13.4	13.4	28.5	30.6	25.7
										16.4	12.6	43.8	24.2	27.3	28.5	39.2	13.4	25.7	24.8
14.6	26.7	17.9	31.8	34.5	29.4	28.5	39.3	13.9	29

表6.反应池混合液可挥发性悬浮固体浓度MLVSS  (毫克/升)

8.1	2.2	2	2.6	2.4	0.7	4.2	1.55	9.13	4.34
										2.4	1.8	2.1	3.6	2.3	2.15	2.25	2.04	2.7	2.55
1.8	2.1	1.35	3.5	2.55	2.1	2.1	1.6	2.55	2.1
										1.55	4.34	4.2	2.2	1.5	2.6	3.5	2.1	2.1	2.25
2.88	2.2	1.52	1.5	1.9	2	1.6	3.5	2.04	2.1

表7.NH3-N实测值(毫克/升)

0.33

0.38

0.29

0.27

0.21

0.21

0.11

0.1

0.07

0.088

0.052	0.21	0.24	0.19	0.162	0.242	0.334	0.406	0.37	0.334
										0.21	0.15	0.124	0.43	0.334	0.389	0.389	0.36	0.334	0.15
0.07	0.052	0.1	0.181	0.59	0.36	0.43	0.387	0.16	0.13
										0.132	0.09	0.2	0.25	0.38	0.27	0.15	0.36	0.43	0.405

表8.动态模块化神经网络NH3-N软测量值(毫克/升)

0.3840	0.4019	0.2813	0.2515	0.2376	0.2008	0.1189	0.0945	0.0712	0.0971
										0.0573	0.2261	0.2484	0.1917	0.1707	0.2414	0.3323	0.4024	0.3712	0.3378
0.20669	0.1552	0.1328	0.4197	0.3248	0.3904	0.3896	0.3572	0.3487	0.1606
										0.0646	0.0540	0.0933	0.1797	0.5805	0.3489	0.4287	0.3636	0.1592	0.1306
0.1440	0.0823	0.2027	0.2605	0.3783	0.2607	0.1436	0.3752	0.4246	0.3948

表9.在线归一化的前20组数据

0.9038	0.1102	0.1067	0.2583	0.8586	0.1147	0.1102
							0.6923	0.0961	0.0674	0.2529	0.802	0.0889	0.1706
0.8846	0.1528	0.0816	0.2448	0.8416	0.1259	0.1236
							0.9904	0.1259	0.091	0.2637	0.8077	0.0963	0.0767
0.6923	0.0961	0.0674	0.2529	0.802	0.0889	0.1706
							0.8846	0.1528	0.0816	0.2448	0.8416	0.1259	0.1236
0.8077	0.1077	0.0894	0.1678	0.6437	0.1096	0.4194
							0.7308	0.2171	0.1993	0.4839	0.8699	0.1481	0.2488
0.9998	0.1158	0.0012	0.1935	0.7907	0.0963	0.1862
							0.6923	0.0961	0.0674	0.2529	0.802	0.0889	0.1706
0.8558	0.2804	0.2747	0.4583	0.7907	0.2593	0.0376
							0.7981	0.0404	0.0894	0.1421	0.5984	0.0481	0.0563
0.8173	0.1158	0.1106	0.2813	0.6606	0.5481	0.2175
							0.8365	0.1102	0.1106	0.8068	0.7398	0.1111	0.2567
0.8173	0.1573	0.0011	0.1935	0.7907	0.0963	0.1862
							0.9038	0.1102	0.1067	0.2583	0.8586	0.1407	0.1706
0.8846	0.1528	0.0816	0.2448	0.8416	0.1259	0.1236
							0.7212	0.1072	0.102	0.2151	0.7907	0.0001	0.0454

0.8558	0.2804	0.2747	0.4583	0.7907	0.2593	0.0376
							0.7308	0.0444	0.0643	0.0881	0.3722	0.0630	0.0141

虽然以上描述了本发明的具体实施方式，但是本技术领域内的熟练的技术人员应当理解，这些仅是举例说明，可以对这些实施方式做出多种变更或修改，而不背离本发明的原理和实质。本发明的范围仅由所附权利要求书限定。

Claims (4)

1.一种动态模块化神经网络的氨氮在线软测量方法，其特征在于：包括以下步骤：

步骤1：设计用于NH3-N在线软测量的动态模块化神经网络拓扑结构；网络分为5层：输入层、RBF层、任务分配层、子网络层、集成输出层；输入为曝气池进水水质指标，输出为出水水质NH3-N浓度；

输入层：包括n个输入节点，n为输入样本的维数，k时刻的输入样本表示为x(k)＝[x₁(k)，…，x_n(k)]^T；

RBF层：包括l个RBF神经元，每个神经元的激活函数为

在动态模块化神经网络中，激活函数Φ_i(x(k))被定义为硬限幅函数：

若满足公式‖x(k)-c_i‖≤δ_i，则Φ_i(x(k))＝1    (1)

若满足公式‖x(k)-c_i‖＞δ_i，则Φ_i(x(k))＝0

式中，c_i为第i个RBF神经元的数据中心，δ_i为第i个RBF神经元的扩展宽度；公式(1)表示在输入样本空间中以c_i为球心，以δ_i为半径作一个超球面，当输入点在该超球面内时输出为1，在超球面以外时输出为0；

任务分配层：该层的任务是根据RBF层中RBF神经元的输出和k时刻输入样本x(k)在输入样本空间中的位置，由模糊策略决定给k时刻输入样本x(k)分配不同的子网络进行学习；

子网络层：该层由子神经网络组成，其个数与RBF层中RBF神经元个数相同，且为一一对应的关系；该层的主要任务是学习由任务分配层分配来的输入样本；

集成输出层：该层的主要任务是对k时刻各子神经网络的学习结果进行集成输出，集成输出的结果Y(x(k))，公式如下：

$Y\left(x\left(k\right)\right)=\underset{i=1}{\overset{p}{\mathrm{\Σ}}}{\mathrm{\α}}_i{y}_{\mathrm{ik}}\left(x\left(k\right)\right)---\left(2\right)$

式中，p为被x(k)激活的子神经网络的个数；α_i为各子神经网络的集成权值，且有

y_ik为子网络层中第i个子神经网络对k时刻的输入样本x(k)的输出，且有

y_ik(x(k))＝v_if(w_ix(k)+b1_i)+b2_i

式中，w_i为第i个子神经网络输入层到隐含层的权连接矩阵；v_i为第i个子神经网络隐含层到输出层的权连接矩阵；f(·)为子神经网络隐含层神经元的激活函数；b1_i为第i个子神经网络隐含层神经元的偏移向量；b2_i为第i个子神经网络输出层神经元的偏移向量；

步骤2：输入变量的确定及归一化处理；

确定输入变量为：污水出水水质氨氮预测模型输入样本包括入水氨氮、入水化学需氧量、入水悬浮物、入水PH值、反应池溶解氧浓度、反应池混合液可挥发性悬浮固体浓度，输出样本为出水氨氮预测值；

由于上述自变量之间差异较大且量纲不同，采用在线递归中心化压缩方法进行归一化处理：

设k时刻的输入样本和输出样本对为：

Z(k)＝[x₁(k)，x₂(k)，…，x₆(k)，x₇(k)]    (3)

式中，x₁(k)，x₂(k)，...，x₆(k)表示输入样本在k时刻的值，作为k时刻神经网络的输入；x₇(k)表示k时刻氨氮浓度的目标值，作为k时刻神经网络的期望输出值；

则在线递归中心化压缩，公式为：

$Z_j\left(k\right)=\frac{Z_j\left(k\right)-{\stackrel{\‾}{Z}}_j\left(k\right)}{{\mathrm{\σ}}_j\left(k\right)}---\left(4\right)$

${\stackrel{\‾}{Z}}_j\left(k\right)=\frac{k-1}{k}{\stackrel{\‾}{Z}}_j(k-1)+\frac{1}{k}{Z}_j\left(k\right)---\left(5\right)$

${\mathrm{\σ}}_j^2\left(k\right)=\frac{k-1}{k}{\mathrm{\σ}}_j^2(k-1)+\frac{1}{k-1}{(Z_j\left(k\right)-{\stackrel{\‾}{Z}}_j\left(k\right))}^2,j=1,...,7---\left(6\right)$

其中，Z_j(k)表示k时刻输入样本的第j个分量，

表示j个分量的平均值，σ_j表示j个分量之间的标准差；

步骤3：对归一化后的k时刻输入样本x(k)，首先，在线更新RBF层RBF神经元的个数及各RBF神经元的数据中心；其次，任务分配层根据RBF层RBF神经元的输出，由模糊策略确定并激活子网络层中不同的子神经网络学习该输入样本x(k)；最后对被激活的各子神经网络的输出进行动态集成形成输出；

步骤4：集成输出Y(k)即为k时刻出水氨氮NH3-N的软测量结果，采集下一时刻的输入数据，返回步骤2。

2.根据权利要求1所述的动态模块化神经网络的氨氮在线软测量方法，其特征在于：步骤3所述的在线更新RBF层神经元的个数及各RBF神经元的数据中心，方法为：

RBF层RBF神经元的个数及数据中心由在线聚类算法实现：在k时刻，假设在RBF层已存在l个RBF神经元，其数据中心为c_i，且有i＝1，…，l，则需计算当前输入样本x(k)的密度值P_k(x(k))与原RBF神经元数据中心c_i的密度值P_k(c_i)，并进行比较；

k时刻输入样本x(k)的密度值P_k(x(k))递推公式如下：

$P_k\left(x\left(k\right)\right)=\frac{1}{1+\frac{1}{k-1}\underset{j=1}{\overset{k-1}{\mathrm{\Σ}}}{(x\left(k\right)-x\left(j\right))}^T(x\left(k\right)-x\left(j\right))}=\frac{k-1}{(k-1)(\mathrm{\γ}\left(k\right)+1)-2\mathrm{\η}\left(k\right)x\left(k\right)+\mathrm{\σ}\left(k\right)}---\left(7\right)$

式中，γ(k)＝x^T(k)x(k)，

其中，x(k)^T表示x(k)的转置；

k时刻聚类中心c_i密度值P_k(c_i)的递推公式如下：

$P_k\left(c_i\right)=\frac{1}{1+\frac{1}{k-1}\underset{j=1,j\≠i}{\overset{k}{\mathrm{\Σ}}}{{(c}_i-x\left(j\right))}^T(c_i-x\left(j\right))}=\frac{(k-1)P_{k-1}\left(c_i\right)}{k-2+P_{k-1}\left(c_i\right)+\mathrm{\ζ}\left(k\right)P_{k-1}\left(c_i\right)}---\left(8\right)$

式中，其中，(c_i-x(k))^T为(c_i-x(k))的转置；

对P_k(x(k))与P_k(c_i)进行比较：

(a)如果当前输入样本x(k)与RBF层所有的RBF神经元的数据中心的距离都大于r₁，并且当前输入样本x(k)的密度值P_k(x(k))大于阈值ε，则表明一个新的工况出现，应在RBF层增加一个新的RBF神经元，新增加的RBF神经元的数据中心为当前输入样本x(k)，并对应在子网络层增加一个新的子神经网络，所述的r₁的取值范围满足如下公式：

$r_1=(0.3~0.5)\×\underset{i\≠j,i,j=1,...,N}{\max }{\left|\right|x\left(i\right)-x\left(j\right)\left|\right|}_2$

所述的阈值ε的取值范围满足如下公式：

$\mathrm{\ϵ}=0.5\×\underset{i=1,...,l}{\max }{P}_{k-1}\left(c_i\right)$

(b)计算当前输入样本x(k)与RBF层所有RBF神经元数据中心的距离，找出与当前输入样本x(k)距离最小的RBF神经元，如果该RBF神经元与x(k)之间的距离小于r1，并且当前输入样本x(k)的密度值P_k(x(k))大于该RBF神经元数据中心的密度值P_k(c_t)，则表明当前输入样本x(k)比该RBF神经元数据中心具有更强的描述当前工况的能力，说明随着系统的运行，工况中心发生了漂移，此时，应当采用当前输入样本x(k)代替该RBF神经元的数据中心，使动态模块化神经网络跟踪该新工况；

(c)如果RBF层中两个RBF神经元的数据中心之间的距离小于r₂，则表明这两个RBF神经元后面的子神经网络对同样的工况数据进行处理，应该将这两个RBF神经元合并成一个RBF神经元，并将与这两个RBF神经元对应的子网络层的子神经网络合并成一个子神经网络，所述r₂的取值范围为r₂≈(0.5～0.7)r₁。

3.根据权利要求1所述的动态模块化神经网络的氨氮在线软测量方法，其特征在于：步骤3所述的根据RBF层RBF神经元的输出，由模糊策略确定并激活不同的子神经网络学习当前输入样本x(k)，方法为：

设c＝{c₁，c₂，...，c_m}为被当前输入样本x(k)所激活的RBF层RBF神经元的数据中心，令：

${\mathrm{dr}}_i=\left|\right|x\left(k\right)-c_i\left|\right|/{\mathrm{da}}_i,{\mathrm{da}}_i=\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\left|\right|x\left(k\right)-c_i\left|\right|---\left(9\right)$

式中，da_i为当前输入样本x(k)到被激活的RBF层RBF神经元数据中心的平均距离，dr_i为当前输入样本x(k)到被激活的RBF层RBF神经元数据中心的相对距离；

dr_i进行归一化处理后的值为u_i，公式如下：

$u_i=d{r}_i/\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{dr}}_i---\left(10\right)$

且有u_i∈[01]，∑u_i＝1；

设相对距离dr_i的模糊集A＝{VS，S，M，B}，其中，VS表示很小，S表示小，M表示中等，B表示大；模糊隶属度函数g为：

$g=e^{-{(u_i-\mathrm{\β})}^2/0.02}---\left(11\right)$

式中，e表示指数函数，β表示各模糊子集的中心，设置模糊隶属度函数g中各模糊子集{VS，S，M，B}的中心分别为：r₂/4r₁，r₂/3r₁，r₂/2r₁，r₂/r₁，且满足：

当u_i＜r₂/4r₁时，u_i∈{VS}的隶属度为1；

当u_i＞r₂/r₁时，u_i∈{B}的隶属度为1；

对于k时刻输入样本x(k)，以最大隶属度法判断u_i属于那个模糊子集，并按照从VS到B的顺序选择属于同一集合的子神经网络对x(k)进行学习，即首先选择属于VS的子神经网络学习当前时刻输入样本x(k)，不属于VS的子神经网络不参与当前时刻的学习过程；如果集合VS为空，则选择属于S的子神经网络学习当前时刻输入样本x(k)，不属于S的子神经网络不参与当前时刻的学习过程。

4.根据权利要求1所述的动态模块化神经网络的氨氮在线软测量方法，其特征在于：步骤3所述的对各子神经网络的输出进行动态集成输出，方法为：

对k时刻的输入样本x(k)，设被选中的子神经网络所对应的RBF层RBF神经元的数据中心为c＝{c₁，c₂，...，c_p}，p为被选择的子神经网络个数，则动态模块化神经网络的总输出为：

$Y\left(x\left(k\right)\right)=\underset{i=1}{\overset{p}{\mathrm{\Σ}}}{\mathrm{\α}}_i{y}_{\mathrm{ik}}\left(x\left(k\right)\right)$

式中，α_i为被选择的第i个子神经网络的集成权值，为：

${\mathrm{\α}}_i=(1/d_i)/\underset{i=1}{\overset{p}{\mathrm{\Σ}}}1/d_i---\left(11\right)$

式中，d_i＝‖x(k)-c_i‖，i＝1，…，p，且有α_i∈(01]，

Images