CN115330019A - 一种基于自组织互联模块化神经网络的出水bod预测方法 - Google Patents

Abstract

一种基于自组织互联模块化神经网络的出水BOD预测方法涉及人工智能领域，直接应用于污水处理领域。模块化神经网络是一种由“类脑”模块化属性构建的网络模型，而“类脑”模块化网络的各个模块之间存在着一定的连接，在处理复杂任务时连接或节点根据任务自适应进行调节。因此，本发明设计了一种基于自组织互联模块化神经网络的污水处理出水BOD预测方法，通过模拟“类脑”模块化处理信息的方式，实现对出水BOD浓度的精准预测。

Description

一种基于自组织互联模块化神经网络的出水BOD预测方法

技术领域：

本发明涉及人工智能领域，直接应用于污水处理领域，尤其涉及一种基于自组织互联模块化神经网络的出水BOD预测方法。

背景技术：

生化需氧量(Biochemical Oxygen Demand，BOD)是在一定条件下，微生物分解存在于水中的可生化降解有机物所进行的生物化学反应过程中所消耗的溶解氧的数量。它是反应水中有机污染物的一个重要指标。当前测量出水BOD浓度的方法有微生物电极法，稀释接种法，仪器法等。但同时伴有时间较长，精度低的缺陷。因此，如何低成本、高效率地对出水BOD浓度进行预测是污水处理过程面临的难题。

模块化神经网络是一种由“类脑”模块化属性构建的网络模型，而“类脑”模块化网络的各个模块之间存在着一定的连接，在处理复杂任务时连接或节点根据任务自适应进行调节。因此，本发明设计了一种基于自组织互联模块化神经网络的污水处理出水BOD预测方法，通过模拟“类脑”模块化处理信息的方式，实现对出水BOD浓度的精准预测。

发明内容

1、本发明需要且能够解决的技术问题。

本发明提出了一种基于自组织互联模块化神经网络的污水处理出水BOD预测方法。采用软聚类的方式将输入变量分为若干子集合，每个子集合由不同的子网络进行处理，同时，所有的子网络相互连接，并采用基于梯度的增长策略和基于阈值的修剪策略调整子网络的结构，对污水处理出水BOD进行预测，旨在提高预测精度。

2、本发明具体的技术方案：

1、一种基于自组织互联模块化神经网络的出水BOD预测方法，主要包括：

步骤1：水质变量子集划分；

采集污水处理厂实际水质变量数据，记O为出水BOD浓度,o_n为出水BOD浓度的第n个样本值，其中n＝1,2,…,N；M_f为第f个输入水质变量，其中f＝1,2,…,F；F为水质变量个数，N为水质变量的样本个数，

为第f个水质变量的第n个样本值；

步骤1.1：设定软聚类算法指标如下：

其中，u_kf为第f个变量属于第k个聚类的隶属度，α＝1.5为模糊系数，w_kn为第n个样本在第k类中的权重，v_kn为第n个样本在第k个聚类中的中心，γ＝0.5为强化参数；

步骤1.2：设定i＝1,软聚类算法最大迭代次数Maxc＝20,设定聚类总个数K＝2,随机在-1至1区间内初始化聚类中心v_kn和权重w_kn＝1/N,其中N为水质变量的样本个数，k＝1,2,…,K；n＝1,2,…,N；

步骤1.3：按照下式计算第f个水质变量对第k个聚类的隶属度u_kf：

步骤1.4：利用步骤1.3的u_kf计算第k个聚类中第n个样本的聚类中心v_kn如下：

步骤1.5：利用步骤1.3的第f个水质变量对第k个聚类的隶属度u_kf和步骤1.4的第k个聚类中第n个样本的聚类中心v_kn计算第k个聚类中第n个样本的权重w_kn如下：

其中e(·)为以e为底的指数函数；

步骤1.6：根据步骤1.3，1.4和1.5的结果计算式(1)的值,记为J(i),当i＝1时,i＝i+1返回步骤1.3，当i>1时，转为步骤1.7；

步骤1.7：当|J(i)-J(i-1)|<0.001或i>Maxc时软聚类算法结束，其中J为公式(1)定义的软聚类算法指标，执行步骤1.8，否则i＝i+1返回步骤1.3；

步骤1.8：利用迭代生成的隶属度u_kf对水质变量进行子集划分，设定划分阈值δ＝0.3,对第k个聚类，若第f个水质变量的隶属度u_kf>δ，则将该水质变量划入该聚类当中，直到所有水质变量划分完毕；

经步骤1，得到K个包含不同水质变量的子集合Z_k(k＝1,2,…,K)；

步骤2：设计预测出水BOD的互联模块化神经网络模型结构；

步骤2.1：将由步骤1获取的K个子集合Z_k中的水质变量按照公式(5)归一化至区间-1到1内，其中k＝1,2,…,K；输出变量出水BOD按照公式(6)归一化至区间0到1内：

j∈Z_k且k＝1,2,...,K(5)

其中，m_j表示集合Z_k内的第j个水质变量，O表示输出变量，x_j和d分别表示归一化后的第j个水质变量和输出变量；然后将每个子集合内的样本分为训练集，验证集，测试集三个部分；

步骤2.2：设计互联模块化神经网络的子网络结构，模型共由K个子网络构成，每个子网络采用具有双隐层的多层感知器，包含输入层，第一隐层，第二隐层及输出层四层结构。每个子网络的初始拓扑结构为z_k-H₁-H₂-1；k＝1,2,…,K,其中z_k为第k个子网络的输入神经元数量，与集合Z_k内的水质变量数量相同，H₁和H₂分别为第一隐层和第二隐层的神经元数量，输出层神经元数量为1。同时，每个子网络的第二隐层节点与其它子网络的输出节点相连；

设定稀疏率Spa＝0.3,对每个子网络所有相邻层之间的权值进行稀疏处理，初始时，输入层到第一隐层的权值数量为z_k×H₁，第一到第二隐层的权值数量为H₁×H₂。第二隐层到输出层的权值数量为H₂×K，随后分别对每个相邻层内的权值按照从小到大的顺序排序，记排序后的第r个权值作为删减阈值λ＝S_r，其中r＝层内权值数量×(1-Spa),删除本层内小于λ的权值，被删除的权值视为休眠权值。记稀疏后第k个子网络第一隐层和第二隐层被删除的节点数量分别为

和

结构为

k＝1,2,…,K，其中

和

分别为第k个子网络第一隐层和第二隐层的剩余神经元数量，并且满足

及

k＝1,2,…,K；

步骤2.3：假设对第k个子集合Z_k,k＝1,2,…,K,第n个输入样本为

n＝1,2,…,N；此时，第k个子网络的第一隐层第h₁个神经元的输出为：

其中，

为第k个子网络中输入层的第j个节点和第一隐层的第h₁个神经元的连接权重，B()子网络第h₁个隐含层神经元的激活函数，定义如公式(8)所示：

步骤2.4：计算第k个子网络第二隐层第h₂个神经元的输出：

其中，

为第k个子网络中第一隐层的第h₁个节点和第二隐层的第h₂个神经元的连接权重；

步骤2.5：计算第k个子网络的输出：

其中，

为第k个子网络中第二隐层的第h₂个节点和第k个子网络输出节点的连接权重；

步骤2.6：计算互联模块化神经网络的输出：

其中

为第k个子网络第n个样本的输出，K为子网络数量。

步骤2.7：选取均方误差函数作为互联模块化神经网络的目标函数：

其中d_n为输出变量的第n样本的期望输出；

步骤3：互联模块化神经网络结构自组织设计

步骤3.1：设定结构自组织次数l_max＝8,令l＝1；

步骤3.2：计算当前第n个样本的输出误差：

e_n＝d_n-Y_n n＝1,2,…,N (13)

步骤3.3：在当前神经网络结构下，令向量Δ包含所有子网络当中的权值：

Δ＝[Δ₁,Δ₂,...,Δ_K] (14)

其中，Δ_k为第k个子网络内的参数，包括各层之间的连接权值

和

参数更新公式如下：

Δ(t+1)＝Δ(t)-(Q(t)+μ(t)I)^-1g(t) (16)

其中，t表示迭代步数，Q为类海森矩阵，g为梯度向量，I为单位矩阵，μ为学习率。类海森矩阵及梯度向量分别根据公式(17)和(18)计算得到：

其中，e_n为第n个样本的神经网络输出误差，根据式(13)计算，j_n为对应样本的雅可比矩阵行向量，定义如下：

j_n＝[j_n,1,j_n,2,...,j_n,K] (19)

其中，j_n,k为第k个子网络的雅各比行向量，定义如下：

根据公式(7)-(11)(13)，求得：

通过公式(21)-(23)，可得到雅可比矩阵的行向量j_n,k，当将所有训练样本遍历一遍后，则可得到类海森矩阵Q和梯度向量g，进而根据更新公式(16)对向量Δ内包含的所有子网络当中的连接权值进行更新；

在训练过程中，由公式(12)计算得到t时刻与t+1时刻神经网络的训练目标函数值E_tr(t)与E_tr(t+1)，当E_tr(t+1)≤E_tr(t)时，学习率μ(t+1)＝μ(t)/10，网络内的所有权值参数保留；反之，学习率μ(t+1)＝μ(t)×10，网络内的所有权值参数恢复至其更新前，基于当前μ对神经网络参数进行更新,同时在训练时记录每个时刻神经网络在验证集上的目标函数值E_va；设最大迭代步数为T_max＝40，期望误差值为E_d＝0.08；参数学习过程经过不断迭代，当迭代步数t＝T_max时，若训练误差E_tr>E_d，跳至步骤3.4；若当前训练误差E_tr≤E_d但|E_tr-E_va|＞0.01，|·|为取绝对值，，则跳至步骤3.5；如果当前训练误差E_tr≤E_d且|E_tr-E_va|≤0.01，则训练停止；

步骤3.4：根据下式计算相邻层之间所有休眠权值的梯度：

其中,

和

此时分别代表各层神经元之间的休眠连接权值；

计算跨层神经元间的梯度，跨一层神经元的梯度为：

跨二层神经元的梯度为：

其中

代表输入层第j个输入神经元和第二隐层第h₂个神经元之间的连接权值，

代表第一隐层第h₁个输入神经元和输出层第k个神经元的连接权值；

若l>l_max跳至步骤4；若l<l_max，通过步骤3.4的计算找出所有子网络中相邻层之间休眠权值的梯度和跨层神经元间的梯度的最大值，若最大值出现在

和

当中，则将梯度最大值对应的休眠权值重新激活，并在0到1区间内赋随机值，l＝l+1,返回步骤3.2；若梯度最大值出现在

中，且第一隐层神经元数量小于

时，在第k个子网络的第一隐层内添加1个神经元，

输入权值和输出权值分别设置为0到1之间的随机数，l＝l+1,返回步骤3.2，否则如果第一隐层神经元数量等于

时，跳至步骤4；若梯度最大值出现在

中，且第二隐层神经元数量小于

时，在第k个子网络的第二隐层内添加1个神经元,

输入权值和输出权值分别设置为0到1之间的随机数，l＝l+1,返回步骤3.2，否则如果第二隐层神经元数量等于

时，跳至步骤4；

步骤3.5：设定权值删减阈值Thw＝0.1,依次判断每个子网络的各层之间的连接权值

和

是否存在小于Thw的值,若存在，则删除，l＝l+1,返回步骤3.2，否则结束。

步骤4：将测试样本数据作为训练后的自组织互联模块化神经网络的输入，得到自组织互联模块化神经网络的输出，将其进行反归一化得到出水BOD浓度的预测值。

3、本发明与现有技术相比，具有以下明显的优势和有益效果：

本发明针对当前污水处理过程出水BOD测量精度低等问题，采用软聚类算法将辅助变量划分为若干子集，提出了一种基于自组织互联模块化神经网络的出水BOD预测方法，实现了出水BOD浓度的精准测量，在一定程度上提高了出水BOD的预测精度。

附图说明：

图1为本发明的自组织互联模块化神经网络的结构示意图；

图2为本实施例自组织互联模块化神经网络的训练均方误差变化图；

图3为本实施例出水BOD预测模型的预测结果图；

图4为本实施例出水BOD测试误差图；

图5为本实施例自组织互联模块化神经网络隐层节点数量变化图；

图6为本实施例自组织互联模块化权值数量变化图；

具体实施方式：

本发明提供了一种基于自组织互联模块化神经网络的出水BOD预测方法，实现了出水BOD的精准测量，提高了城市污水处理厂出水BOD的预测精度。

本发明实例采用某污水厂2011年水质分析数据，共包含360组数据，23个水质变量，包括(1)进水PH；(2)出水PH；(3)进水固体悬浮物浓度(Suspended Solid，SS)；(4)出水SS；(5)进水BOD浓度；(6)进水化学需氧量(Chemical Oxygen Demand，COD)浓度；(7)出水COD浓度；(8)生化池污泥沉降比(Settling Velocity，SV)；(9)生化池混合液悬浮固体浓度(Mixed Liquid Suspended Solids，MLSS)；(10)生化池溶解氧浓度(Dissolved Oxygen，DO)；(11)进水油类；(12)出水油类；(13)进水氨氮浓度；(14)出水氨氮浓度；(15)进水色度；(16)出水色度；(17)进水总氮浓度；(18)出水总氮浓度；(19)进水磷酸盐浓度；(20)出水磷酸盐浓度；(21)进水水温；(22)出水水温；(23)出水BOD浓度；随机选取219组数据作为训练样本，73组数据作为测试样本，73组数据做为验证样本；

一种基于自组织互联模块化神经网络的出水BOD预测方法包括以下步骤：

步骤1：水质变量子集划分；

采集污水处理厂实际水质变量数据，记O为出水BOD浓度,o_n为出水BOD浓度的第n个样本值，其中n＝1,2,…,N；M_f为第f个输入水质变量，其中f＝1,2,…,F；F为水质变量个数，N为水质变量的样本个数，m_fn为第f个水质变量的第n个样本值；

步骤1.1：设定软聚类算法指标如下：

其中，u_kf为第f个变量属于第k个聚类的隶属度，α＝1.5为模糊系数，w_kn为第n个样本在第k类中的权重，v_kn为第n个样本在第k个聚类中的中心，γ＝0.5为强化参数；

步骤1.2：设定i＝1,软聚类算法最大迭代次数Maxc＝20,设定聚类总个数K＝2,随机在-1至1区间内初始化聚类中心v_kn和权重w_kn＝1/N,其中N为水质变量的样本个数，k＝1,2,…,K；n＝1,2,…,N；

步骤1.3：按照下式计算第f个水质变量对第k个聚类的隶属度u_kf：

步骤1.4：利用步骤1.3的u_kf计算第k个聚类中第n个样本的聚类中心v_kn如下：

步骤1.5：利用步骤1.3的第f个水质变量对第k个聚类的隶属度u_kf和步骤1.4的第k个聚类中第n个样本的聚类中心v_kn计算第k个聚类中第n个样本的权重w_kn如下：

其中e(·)为以e为底的指数函数；

步骤1.6：根据步骤1.3，1.4和1.5的结果计算式(30)的值,记为J(i),当i＝1时,i＝i+1返回步骤1.3，当i>1时，转为步骤1.7；

步骤1.7：当|J(i)-J(i-1)|<0.001或i>Maxc时软聚类算法结束，其中J为公式(30)定义的软聚类算法指标，执行步骤1.8，否则i＝i+1返回步骤1.3；

步骤1.8：利用迭代生成的隶属度u_kf对水质变量进行子集划分，设定划分阈值δ＝0.3,对第k个聚类，若第f个水质变量的隶属度u_kf>δ，则将该水质变量划入该聚类当中，直到所有水质变量划分完毕；

经步骤1，得到K个包含不同水质变量的子集合Z_k，其中k＝1,2,…,K；

本实施例中，共得到2个水质变量子集合第一个集合包括：(1)出水PH；(2)进水固体悬浮物浓度(Suspended Solid，SS)；(3)进水油类；(4)进水色度；(5)进水总氮浓度；(6)进水磷酸盐浓度；第二个集合包括：(1)进水PH；(2)出水SS；(3)进水BOD浓度；(4)进水化学需氧量(Chemical Oxygen Demand，COD)浓度；(5)出水COD浓度；(6)生化池污泥沉降比(Settling Velocity，SV)；(7)生化池混合液悬浮固体浓度(Mixed Liquid SuspendedSolids，MLSS)；(8)生化池溶解氧浓度(Dissolved Oxygen，DO)；(9)出水油类；(10)进水氨氮浓度；(11)出水氨氮浓度；(12)出水色度；(13)进水总氮浓度；(14)出水总氮浓度；(15)进水磷酸盐浓度；(16)出水磷酸盐浓度；(17)进水水温；(18)出水水温；随机选取219组数据作为训练样本，73组数据作为测试样本，73组数据做为验证样本；

步骤2：设计预测出水BOD的互联模块化神经网络模型结构；

步骤2.1：将由步骤1获取的K个子集合Z_k中的水质变量按照公式(34)归一化至区间-1到1内，其中k＝1,2,…,K；输出变量出水BOD按照公式(35)归一化至区间0到1内：

j∈Z_k且k＝1,2,...,K (34)

其中，m_j表示集合Z_k内的第j个水质变量，O表示输出变量，x_j和d分别表示归一化后的第j个水质变量和输出变量；然后将每个子集合内的样本分为训练集，验证集，测试集三个部分；

步骤2.2：设计互联模块化神经网络的子网络结构，模型共由K个子网络构成，每个子网络采用具有双隐层的多层感知器，包含输入层，第一隐层，第二隐层及输出层四层结构。每个子网络的初始拓扑结构为z_k-H₁-H₂-1；k＝1,2,…,K,其中z_k为第k个子网络的输入神经元数量，与集合Z_k内的水质变量数量相同，H₁和H₂分别为第一隐层和第二隐层的神经元数量，输出层神经元数量为1。同时，每个子网络的第二隐层节点与其它子网络的输出节点相连；

设定稀疏率Spa＝0.3,对每个子网络所有相邻层之间的权值进行稀疏处理，初始时，输入层到第一隐层的权值数量为z_k×H₁，第一到第二隐层的权值数量为H₁×H₂。第二隐层到输出层的权值数量为H₂×K，随后分别对每个相邻层内的权值按照从小到大的顺序排序，记排序后的第r个权值作为删减阈值λ＝S_r，其中r＝层内权值数量×(1-Spa),删除本层内小于λ的权值，被删除的权值视为休眠权值。记稀疏后第k个子网络第一隐层和第二隐层被删除的节点数量分别为

和

结构为

k＝1,2,…,K，其中

和

分别为第k个子网络第一隐层和第二隐层的剩余神经元数量，并且满足

及

k＝1,2,…,K；

步骤2.3：假设对第k个子集合Z_k,k＝1,2,…,K,第n个输入样本为

n＝1,2,…,N；此时，第k个子网络的第一隐层第h₁个神经元的输出为：

其中，

为第k个子网络中输入层的第j个节点和第一隐层的第h₁个神经元的连接权重，B()子网络第h₁个隐含层神经元的激活函数，定义如公式(37)所示：

步骤2.4：计算第k个子网络第二隐层第h₂个神经元的输出：

其中，

为第k个子网络中第一隐层的第h₁个节点和第二隐层的第h₂个神经元的连接权重；

步骤2.5：计算第k个子网络的输出：

其中，

为第k个子网络中第二隐层的第h₂个节点和第k个子网络输出节点的连接权重；

步骤2.6：计算互联模块化神经网络的输出：

其中

为第k个子网络第n个样本的输出，K为子网络数量。

步骤2.7：选取均方误差函数作为互联模块化神经网络的目标函数：

其中d_n为输出变量的第n样本的期望输出；

步骤3：互联模块化神经网络结构自组织设计

步骤3.1：设定结构自组织次数l_max＝8,令l＝1；

步骤3.2：计算当前第n个样本的输出误差：

e_n＝d_n-Y_n n＝1,2,…,N (42)

步骤3.3：在当前神经网络结构下，令向量Δ包含所有子网络当中的权值：

Δ＝[Δ₁,Δ₂,...,Δ_K] (43)

其中，Δ_k为第k个子网络内的参数，包括各层之间的连接权值

和

参数更新公式如下：

Δ(t+1)＝Δ(t)-(Q(t)+μ(t)I)^-1g(t) (45)

其中，t表示迭代步数，Q为类海森矩阵，g为梯度向量，I为单位矩阵，μ为学习率。类海森矩阵及梯度向量分别根据公式(46)和(47)计算得到：

其中，e_n为第n个样本的神经网络输出误差，根据式(42)计算，j_n为对应样本的雅可比矩阵行向量，定义如下：

j_n＝[j_n,1,j_n,2,...,j_n,K] (48)

其中，j_n,k为第k个子网络的雅各比行向量，定义如下：

根据公式(37)-(40)(42)，求得：

通过公式(50)-(52)，可得到雅可比矩阵的行向量j_n,k，当将所有训练样本遍历一遍后，则可得到类海森矩阵Q和梯度向量g，进而根据更新公式(45)对向量Δ内包含的所有子网络当中的连接权值进行更新；

在训练过程中，由公式(41)计算得到t时刻与t+1时刻神经网络的训练目标函数值E_tr(t)与E_tr(t+1)，当E_tr(t+1)≤E_tr(t)时，学习率μ(t+1)＝μ(t)/10，网络内的所有权值参数保留；反之，学习率μ(t+1)＝μ(t)×10，网络内的所有权值参数恢复至其更新前，基于当前μ对神经网络参数进行更新,同时在训练时记录每个时刻神经网络在验证集上的目标函数值E_va；设最大迭代步数为T_max＝40，期望误差值为E_d＝0.08；参数学习过程经过不断迭代，当迭代步数t＝T_max时，若训练误差E_tr>E_d，跳至步骤3.4；若当前训练误差E_tr≤E_d但|E_tr-E_va|＞0.01，|·|为取绝对值，，则跳至步骤3.5；如果当前训练误差E_tr≤E_d且|E_tr-E_va|≤0.01，则训练停止；

步骤3.4：根据下式计算相邻层之间所有休眠权值的梯度：

其中,

和

此时分别代表各层神经元之间的休眠连接权值；

计算跨层神经元间的梯度，跨一层神经元的梯度为：

跨二层神经元的梯度为：

其中

代表输入层第j个输入神经元和第二隐层第h₂个神经元之间的连接权值，

代表第一隐层第h₁个输入神经元和输出层第k个神经元的连接权值；

若l>l_max跳至步骤4；若l<l_max，通过步骤3.4的计算找出所有子网络中相邻层之间休眠权值的梯度和跨层神经元间的梯度的最大值，若最大值出现在

和

当中，则将梯度最大值对应的休眠权值重新激活，并在0到1区间内赋随机值，l＝l+1,返回步骤3.2；若梯度最大值出现在

中，且第一隐层神经元数量小于

时，在第k个子网络的第一隐层内添加1个神经元，

输入权值和输出权值分别设置为0到1之间的随机数，l＝l+1,返回步骤3.2，否则如果第一隐层神经元数量等于

时，跳至步骤4；若梯度最大值出现在

中，且第二隐层神经元数量小于

时，在第k个子网络的第二隐层内添加1个神经元,

输入权值和输出权值分别设置为0到1之间的随机数，l＝l+1,返回步骤3.2，否则如果第二隐层神经元数量等于

时，跳至步骤4；

步骤3.5：设定权值删减阈值Thw＝0.1,依次判断每个子网络的各层之间的连接权值

和

是否存在小于Thw的值,若存在，则删除，l＝l+1,返回步骤3.2，否则结束。

在本实施例中，出水BOD预测模型的训练均方误差(MSE)变化图如图2所示，X轴：训练总迭代次数，Y轴：训练MSE

步骤4：将测试样本数据作为训练后的自组织互联模块化神经网络的输入，得到自组织互联模块化神经网络的输出，将其进行反归一化得到出水BOD浓度的预测值。

在本实施例中，出水BOD预测模型的预测结果如图3所示，X轴：测试样本个数，单位是个，Y轴：预测出水BOD浓度值，单位是mg/L，实线为出水BOD浓度预测输出值，虚线为出水BOD浓度期望输出值；测试误差如图4所示，X轴：测试样本个数，单位是个，Y轴：出水BOD预测误差，单位是mg/L；结果表明基于自组织互联模块化神经网络的出水BOD预测方法的有效性。

Claims (1)

1.一种基于自组织互联模块化神经网络的出水BOD预测方法，其特征在于包括以下步骤：

步骤1：水质变量子集划分；

采集污水处理厂实际水质变量数据，记O为出水BOD浓度,o_n为出水BOD浓度的第n个样本值，其中n＝1,2,…,N；M_f为第f个输入水质变量，其中f＝1,2,…,F；F为水质变量个数，N为水质变量的样本个数，m_fn为第f个水质变量的第n个样本值；

步骤1.1：设定软聚类算法指标如下：

其中，u_kf为第f个变量属于第k个聚类的隶属度，α＝1.5为模糊系数，w_kn为第n个样本在第k类中的权重，v_kn为第n个样本在第k个聚类中的中心，γ＝0.5为强化参数；

步骤1.2：设定i＝1,软聚类算法最大迭代次数Maxc＝20,设定聚类总个数K＝2,随机在-1至1区间内初始化聚类中心v_kn和权重w_kn＝1/N,其中N为水质变量的样本个数，k＝1,2,…,K；n＝1,2,…,N；

步骤1.3：按照下式计算第f个水质变量对第k个聚类的隶属度u_kf：

步骤1.4：利用步骤1.3的u_kf计算第k个聚类中第n个样本的聚类中心v_kn如下：

步骤1.5：利用步骤1.3的第f个水质变量对第k个聚类的隶属度u_kf和步骤1.4的第k个聚类中第n个样本的聚类中心v_kn计算第k个聚类中第n个样本的权重w_kn如下：

其中e(·)为以e为底的指数函数；

步骤1.6：根据步骤1.3，1.4和1.5的结果计算式(1)的值,记为J(i),当i＝1时,i＝i+1返回步骤1.3，当i>1时，转为步骤1.7；

步骤1.7：当|J(i)-J(i-1)|<0.001或i>Maxc时软聚类算法结束，其中J为公式(1)定义的软聚类算法指标，执行步骤1.8，否则i＝i+1返回步骤1.3；

步骤1.8：利用迭代生成的隶属度u_kf对水质变量进行子集划分，设定划分阈值δ＝0.3,对第k个聚类，若第f个水质变量的隶属度u_kf>δ，则将该水质变量划入该聚类当中，直到所有水质变量划分完毕；

经步骤1，得到K个包含不同水质变量的子集合Z_k，其中k＝1,2,…,K；

步骤2：设计预测出水BOD的互联模块化神经网络模型结构；

步骤2.1：将由步骤1获取的K个子集合Z_k中的水质变量按照公式(5)归一化至区间-1到1内，其中k＝1,2,…,K；输出变量出水BOD按照公式(6)归一化至区间0到1内：

其中，m_j表示集合Z_k内的第j个水质变量，O表示输出变量，x_j和d分别表示归一化后的第j个水质变量和输出变量；然后将每个子集合内的样本分为训练集，验证集，测试集三个部分；

步骤2.2：设计互联模块化神经网络的子网络结构，模型共由K个子网络构成，每个子网络采用具有双隐层的多层感知器，包含输入层，第一隐层，第二隐层及输出层四层结构；每个子网络的初始拓扑结构为z_k-H₁-H₂-1；k＝1,2,…,K；其中z_k为第k个子网络的输入神经元数量，与集合Z_k内的水质变量数量相同，H₁和H₂分别为第一隐层和第二隐层的神经元数量，输出层神经元数量为1；同时，每个子网络的第二隐层节点与其它子网络的输出节点相连；

设定稀疏率Spa＝0.3,对每个子网络所有相邻层之间的权值进行稀疏处理，初始时，输入层到第一隐层的权值数量为z_k×H₁，第一到第二隐层的权值数量为H₁×H₂；第二隐层到输出层的权值数量为H₂×K，随后分别对每个相邻层内的权值按照从小到大的顺序排序，记排序后的第r个权值作为删减阈值λ＝S_r，其中r＝层内权值数量×(1-Spa),删除本层内小于λ的权值，被删除的权值视为休眠权值；记稀疏后第k个子网络第一隐层和第二隐层被删除的节点数量分别为H₁ ^dk和

结构为

其中

和

分别为第k个子网络第一隐层和第二隐层的剩余神经元数量，并且满足

及

步骤2.3：假设对第k个子集合Z_k,k＝1,2,…,K,第n个输入样本为

此时，第k个子网络的第一隐层第h₁个神经元的输出为：

其中，

为第k个子网络中输入层的第j个节点和第一隐层的第h₁个神经元的连接权重，B()子网络第h₁个隐含层神经元的激活函数，定义如公式(8)所示：

步骤2.4：计算第k个子网络第二隐层第h₂个神经元的输出：

其中，

为第k个子网络中第一隐层的第h₁个节点和第二隐层的第h₂个神经元的连接权重；

步骤2.5：计算第k个子网络的输出：

其中，

为第k个子网络中第二隐层的第h₂个节点和第k个子网络输出节点的连接权重；

步骤2.6：计算互联模块化神经网络的输出：

其中

为第k个子网络第n个样本的输出，K为子网络数量；

步骤2.7：选取均方误差函数作为互联模块化神经网络的目标函数：

其中d_n为输出变量的第n样本的期望输出；

步骤3：互联模块化神经网络结构自组织设计

步骤3.1：设定结构自组织次数l_max＝8,令l＝1；

步骤3.2：计算当前第n个样本的输出误差：

e_n＝d_n-Y_nn＝1,2,…,N (13)

步骤3.3：在当前神经网络结构下，令向量Δ包含所有子网络当中的权值：

Δ＝[Δ₁,Δ₂,...,Δ_K] (14)

其中，Δ_k为第k个子网络内的参数，包括各层之间的连接权值

和

参数更新公式如下：

Δ(t+1)＝Δ(t)-(Q(t)+μ(t)I)^-1g(t) (16)

其中，t表示迭代步数，Q为类海森矩阵，g为梯度向量，I为单位矩阵，μ为学习率；类海森矩阵及梯度向量分别根据公式(17)和(18)计算得到：

其中，e_n为第n个样本的神经网络输出误差，根据式(13)计算，j_n为对应样本的雅可比矩阵行向量，定义如下：

j_n＝[j_n,1,j_n,2,...,j_n,K] (19)

其中，j_n,k为第k个子网络的雅各比行向量，定义如下：

根据公式(7)-(11)(13)，求得：

通过公式(21)-(23)，可得到雅可比矩阵的行向量j_n,k，当将所有训练样本遍历一遍后，则可得到类海森矩阵Q和梯度向量g，进而根据更新公式(16)对向量Δ内包含的所有子网络当中的连接权值进行更新；

在训练过程中，由公式(12)计算得到t时刻与t+1时刻神经网络的训练目标函数值E_tr(t)与E_tr(t+1)，当E_tr(t+1)≤E_tr(t)时，学习率μ(t+1)＝μ(t)/10，网络内的所有权值参数保留；反之，学习率μ(t+1)＝μ(t)×10，网络内的所有权值参数恢复至其更新前，基于当前μ对神经网络参数进行更新,同时在训练时记录每个时刻神经网络在验证集上的目标函数值E_va；设最大迭代步数为T_max＝40，期望误差值为E_d＝0.08；参数学习过程经过不断迭代，当迭代步数t＝T_max时，若训练误差E_tr>E_d，跳至步骤3.4；若当前训练误差E_tr≤E_d但|E_tr-E_va|＞0.01，|·|为取绝对值，，则跳至步骤3.5；如果当前训练误差E_tr≤E_d且|E_tr-E_va|≤0.01，则训练停止；

步骤3.4：根据下式计算相邻层之间所有休眠权值的梯度：

其中,

和

此时分别代表各层神经元之间的休眠连接权值；

计算跨层神经元间的梯度，跨一层神经元的梯度为：

跨二层神经元的梯度为：

其中

代表输入层第j个输入神经元和第二隐层第h₂个神经元之间的连接权值，

代表第一隐层第h₁个输入神经元和输出层第k个神经元的连接权值；

若l>l_max跳至步骤4；若l<l_max，通过步骤3.4的计算找出所有子网络中相邻层之间休眠权值的梯度和跨层神经元间的梯度的最大值，若最大值出现在

和

当中，则将梯度最大值对应的休眠权值重新激活，并在0到1区间内赋随机值，l＝l+1,返回步骤3.2；若梯度最大值出现在

中，且第一隐层神经元数量小于

时，在第k个子网络的第一隐层内添加1个神经元，

输入权值和输出权值分别设置为0到1之间的随机数，l＝l+1,返回步骤3.2，否则如果第一隐层神经元数量等于

时，跳至步骤4；若梯度最大值出现在

中，且第二隐层神经元数量小于

时，在第k个子网络的第二隐层内添加1个神经元,

输入权值和输出权值分别设置为0到1之间的随机数，l＝l+1,返回步骤3.2，否则如果第二隐层神经元数量等于

时，跳至步骤4；

步骤3.5：设定权值删减阈值Thw＝0.1,依次判断每个子网络的各层之间的连接权值

和

是否存在小于Thw的值,若存在，则删除，l＝l+1,返回步骤3.2，否则结束；

步骤4：将测试样本数据作为训练后的自组织互联模块化神经网络的输入，得到自组织互联模块化神经网络的输出，将其进行反归一化得到出水BOD浓度的预测值。

Images