CN108319146B - 一种径向基神经网络基于离散粒子群训练的方法 - Google Patents

Abstract

本发明公开了一种径向基神经网络基于离散粒子群训练的方法，该方法结合离散粒子群自适应寻优和最优梯度下降法的特点，利用离散粒子群随机搜索功能和最优梯度法快速学习功能，弥补了传统神经网络学习陷入局部最优缺陷，实现全局域搜索功能，与传统方法相比，本发明具有较强的搜索能力，自适应调节功能及较强的稳定性。

Description

一种径向基神经网络基于离散粒子群训练的方法

技术领域

本发明属于燃煤机组协调控制和脱硝控制领域，具体涉及一种径向基神经网络基于离散粒子群训练的方法。

背景技术

我国以燃煤电站为主的电力供应格局在未来相当长的时间内不会发生根本性改变，而燃煤机组的协调优化控制和脱硝优化控制一直以来是众多专家学者研究的重点问题，特别如何能根据机组不同工况的变化自适应匹配控制器的前馈量。目前，常规的方法主要还是构建单变量前馈，这种方式只能考虑单因素的变化对控制器的作用，而如何考虑多变量的影响，并且构建自适应前馈一直以来是一个重要研究方向。

目前来说，多变量前馈构成主要采用神经网络自适应匹配的方法，然而神经网络的自学习目前仍存在诸多的问题，且学习过程往往陷入局部最优而无法实现全局最优匹配。其他的一些诸如代数几何模型和传递模型构建的前馈，其结果的准确性和模型非线性空间的匹配性仍需要进一步的发展。

发明内容

本发明的目的在于针对现有的在线辨识传递过程参数方法的RBF神经网络学习能力不足，提供了一种径向基神经网络基于离散粒子群训练的方法，具有较强的搜索能力，自适应调节功能及较强的稳定性。

为达到上述目的，本发明采用如下的技术方案予以实现：

一种径向基神经网络基于离散粒子群训练的方法，包括以下步骤：

1)构建5-N-1型径向基神经网络系统，确定系统输入变量为x(t)＝[x₁(t),x₂(t),x₃(t),x₄(t),x₅(t)]^T，中间隐含层神经元个数为N，系统输出为u(t)，被控量为y(t)；

2)通过步骤1)的输入变量x(t)构建中间隐含层神经元对输出层的激励φ(x,c_i)，同时设定输入变量对隐含层神经元的权值固定为1，隐含层神经元到输出单元之间的权值为w_i；

3)将步骤2)中的激励φ(x,c_i)和隐含层神经元到输出单元之间的权值w_i相乘，求取累积和，得到系统响应输出u(t)；

4)利用步骤3)得到的系统响应输出u(t)和系统实际输出u_m(t)，定义系统学习评价信号J(t)，驱动神经网络学习和训练；

5)利用步骤4)得到的系统评价信号J(t)，结合离散粒子群寻优和最优梯度下降方法，对激励φ(x,c_i)和权值w_i进行离线训练更新；

6)利用步骤5)中的方法，通过足够的样本训练，最后获得最终的激励和权重，完成对神经网络参数的整体训练。

本发明进一步的改进在于，步骤1)中，N为5至10之间的整数，x₁(t)～x₅(t)分别为和系统控制相关的5个变量。

本发明进一步的改进在于，步骤2)中，隐含层神经元对输出层的激励φ(x,c_i)计算如下：

其中，c_j＝[c_j1,c_j2,c_j3,c_j4,c_j5]^T为第j个隐含层神经元的径向基中心；φ(x,c_j)为第j个隐含层神经元对输出节点的响应，采用如上的高斯函数计算；σ_j为第j个隐含层神经元的节点基宽，第j个隐含层神经元对输出单元的节点权值w_i取整范围为[-1,1]。

本发明进一步的改进在于，步骤3)中，系统响应输出u(t)的计算如下；

本发明进一步的改进在于，步骤4)中，系统学习评价信号J(t)的具体表达如下：

其中，e(t)为系统实际输出u_m(t)和系统响应u(t)之间的误差。

本发明进一步的改进在于，步骤5)中，具体的计算方法如下：

由前面的论述可知，RBF神经网络中间隐含层神经元个数为N个，即记为N维，假设在每一维中第m个粒子的位置x_m为：

w_m＝{w_m1w_m2...w_mN}

其中w_m1,w_m2…w_mN为第m个粒子所携带的中间隐含层神经元对输出单元的权值；

该粒子在第t次寻优迭代后，其个体极值为：

pbest_m＝{pbest_m1pbest_m2...pbest_mN}

其中，pbest_m1pbest_m2...pbest_mN为第m个粒子在前t次迭代寻优过程中的最优权值；

所有粒子在第t次寻优迭代后，其全局极值为：

pbest_g＝{pbest₁ pbest₂...pbest_N}

其中，pbest₁ pbest₂...pbest_N为所有粒子在前t次迭代寻优过程中的最优权值；

对每个粒子在每一维的寻优节点进行离散化，设定每一维的寻优节点为xd，则每一维的寻优步长为：

xtg＝2/xd

第m个粒子的位置初始化按如下方法进行：

w_mj＝-1+(int)(rand[m][j]·2/xtg)·xtg j＝1…N

其中，(int)函数为取整函数；

第m个粒子的速度初始化按如下方法进行：

v_mj＝(int)(K_v/xtg)·xtg j＝1…N

其中K_v为速度因子，取0.6；

初始化隐含层神经元中心节点向量c_j和径向基宽σ_j；

粒子群适应度函数修正为如下形式：

其中，

为第n个粒子在第i次寻优后的适应度函数，F为训练样本总数；

取全局最小适应度函数，其计算为：

则第m个粒子在第j维的速度更新如下：

其中，ω为速度权重因子，取1.0；λ₁、λ₂和λ₃为系统参数，分别取1.5，1.7和0.5；

将上述速度更新式进一步通过偏导计算，变化为下式：

其中，μ_w为权重学习因子，取为0.1；变量上标为i则表示为前述相应变量第i次寻优迭代；

则第m个粒子的第j维权重寻优变量在i+1次的寻优更新为：

其中，m＝1,2,…P，j＝1,2…N，P为总寻优粒子数；

所有粒子在第i次寻优后，其隐含神经元的中心节点向量和径向基宽仍采用最速梯度法进行迭代更新，具体如下：

记取全局最优粒子位置信息如下：

则径向基宽的更新迭代如下：

其中，μ_σ为径向基宽学习因子，取为0.1；变量上标为i则表示为前述相应变量第i次寻优迭代；

则径向基宽的更新采用如下二阶差分方法：

其中，δ为差分残留学习因子，取为0.1；

中心节点向量的更新迭代如下：

其中，μ_c为中心节点向量学习因子，取为0.1；变量上标为i则表示为前述相应变量第i次寻优迭代，k＝1,2…5；

则中心节点向量的更新采用如下二阶差分方法：

本发明进一步的改进在于，步骤6)中，获取足够多的输入向量x(t)和足够多的系统实际输出u_m(t)，通过上述步骤1)至步骤5)的方法，获取最后的神经网络参数。

和现有技术相比较，本发明具有如下有益的技术效果：

1、本发明辨识方法基于工业过程真实数据，因此相比于其他的仿真寻优方法，其结果更具有实用价值；

2、本辨识方法采用离散粒子群和最优梯度相结合的方法寻优，其辨识数据精度高且可以全局域搜索，因此对工业过程的适应性更好；

3、本寻优学习方法基于强边界约束，寻优结果在稳定性和辨识精度上相比于其他方法有明显提高。

附图说明

图1为径向基神经网络模型示意图。

图2为自适应辨识更新机制示意图。

图3为稳态时RBF训练后，SCR系统出口NOx控制示意图。

图4为动态时RBF训练前后，SCR系统出口NOx控制示意图。

具体实施方式

以下结合附图和实施例对本发明作进一步的详细说明。

如图1所示，本发明提供的一种径向基神经网络基于离散粒子群训练的方法，包括以下步骤：

1)构建5-N-1型径向基(Radial Basis Function,RBF)神经网络系统，确定系统输入变量为x(t)＝[x₁(t),x₂(t),x₃(t),x₄(t),x₅(t)]^T，中间隐含层神经元个数为N，系统输出为u(t)，被控量为y(t)；其中，N为5至10之间的整数，x₁(t)～x₅(t)分别为和系统控制相关的5个变量。

2)通过步骤1)的输入变量x(t)构建中间隐含层神经元对输出层的激励φ(x,c_i)，同时设定输入变量对隐含层神经元的权值固定为1，隐含层神经元到输出单元之间的权值为w_i；隐含层神经元对输出层的激励φ(x,c_i)计算如下：

其中，c_j＝[c_j1,c_j2,c_j3,c_j4,c_j5]^T为第j个隐含层神经元的径向基中心；φ(x,c_j)为第j个隐含层神经元对输出节点的响应，采用如上的高斯函数计算；σ_j为第j个隐含层神经元的节点基宽，第j个隐含层神经元对输出单元的节点权值w_i取整范围为[-1,1]。

3)将步骤2)中的激励φ(x,c_i)和隐含层神经元到输出单元之间的权值w_i相乘，求取累积和，得到系统响应输出u(t)；其中，系统响应输出u(t)的计算如下；

4)利用步骤3)得到的系统响应输出u(t)和系统实际输出u_m(t)，定义系统学习评价信号J(t)，驱动神经网络学习和训练；系统学习评价信号J(t)的具体表达如下：

其中，e(t)为系统实际输出u_m(t)和系统响应u(t)之间的误差。

5)利用步骤4)得到的系统评价信号J(t)，结合离散粒子群寻优和最优梯度下降方法，对激励φ(x,c_i)和权值w_i进行离线训练更新；具体的计算方法如下：

由前面的论述可知，RBF神经网络中间隐含层神经元个数为N个，即记为N维，假设在每一维中第m个粒子的位置x_m为：

w_m＝{w_m1 w_m2…w_mN}

其中w_m1,w_m2…w_mN为第m个粒子所携带的中间隐含层神经元对输出单元的权值；

该粒子在第t次寻优迭代后，其个体极值为：

pbest_m＝{pbest_m1 pbest_m2…pbest_mN}

其中，pbest_m1 pbest_m2…pbest_mN为第m个粒子在前t次迭代寻优过程中的最优权值；

所有粒子在第t次寻优迭代后，其全局极值为：

pbest_g＝{pbest₁ pbest₂…pbest_N}

其中，pbest₁ pbest₂…pbest_N为所有粒子在前t次迭代寻优过程中的最优权值；

对每个粒子在每一维的寻优节点进行离散化，设定每一维的寻优节点为xd，则每一维的寻优步长为：

xtg＝2/xd

第m个粒子的位置初始化按如下方法进行：

w_mj＝-1+(int)(rand[m][j]·2/xtg)·xtg j＝1…N

其中，(int)函数为取整函数；

第m个粒子的速度初始化按如下方法进行：

v_mj＝(int)(K_v/xtg)·xtg j＝1…N

其中K_v为速度因子，取0.6；

初始化隐含层神经元中心节点向量c_j和径向基宽σ_j；

粒子群适应度函数修正为如下形式：

其中，

为第n个粒子在第i次寻优后的适应度函数，F为训练样本总数；

取全局最小适应度函数，其计算为：

则第m个粒子在第j维的速度更新如下：

其中，ω为速度权重因子，取1.0；λ₁、λ₂和λ₃为系统参数，分别取1.5，1.7和0.5；

将上述速度更新式进一步通过偏导计算，变化为下式：

其中，μ_w为权重学习因子，取为0.1；变量上标为i则表示为前述相应变量第i次寻优迭代；

则第m个粒子的第j维权重寻优变量在i+1次的寻优更新为：

其中，m＝1,2,…P，j＝1,2…N，P为总寻优粒子数；

所有粒子在第i次寻优后，其隐含神经元的中心节点向量和径向基宽仍采用最速梯度法进行迭代更新，具体如下：

记取全局最优粒子位置信息如下：

则径向基宽的更新迭代如下：

其中，μ_σ为径向基宽学习因子，取为0.1；变量上标为i则表示为前述相应变量第i次寻优迭代；

则径向基宽的更新采用如下二阶差分方法：

其中，δ为差分残留学习因子，取为0.1；

中心节点向量的更新迭代如下：

其中，μ_c为中心节点向量学习因子，取为0.1；变量上标为i则表示为前述相应变量第i次寻优迭代，k＝1,2…5；

则中心节点向量的更新采用如下二阶差分方法：

6)利用步骤5)中的方法，通过足够的样本训练，最后获得最终的激励和权重，完成对神经网络参数的整体训练。即获取足够多的输入向量x(t)和足够多的系统实际输出u_m(t)，通过上述步骤1)至步骤5)的方法，获取最后的神经网络参数。

实施例

本发明提供的一种径向基神经网络基于离散粒子群训练的方法，包括以下步骤：

1、建立实际脱硝控制径向基神经网络模型，以燃煤机组锅炉为例，在脱硝控制系统中，建立如图2脱硝控制RBF神经网络模型；

以脱硝控制系统为例，确定神经网络的输入层如下：

x(t)＝[x₁(t),x₂(t),x₃(t),x₄(t),x₅(t)]^T＝[y(t),z(t),L(t),r(t),T(t)]^T

其中，y(t)为SCR系统出口NOx浓度；z(t)为SCR系统入口NOx浓度；L(t)为机组负荷；r(t)为SCR系统出口NOx浓度设定值；T(t)为SCR系统入口温度；

2、将输入层对中间隐含层的权重设置为1，并初始化中间隐含层节点镜像基宽σ_j＝0.3,j＝1,2…10；初始化中心节点c_ji＝0.01,i＝1,2…5,j＝1,2…10；初始化中心节点权值w_j＝0.1,j＝1,2…10；

3、采集100组各种不同工况下的输入变量x(t)以及系统输出变量u_m(t)；通过上一步的初始化参数计算系统的每一组输出响应u(t)；

4、利用步骤4)至步骤6)的学习训练方法，将100组训练数据反复训练计算，并设置最优适应度函数阈值为0.01，即当训练过程当中的最优适应度函数小于或等于0.01时，训练停止；

5、当训练停止后，即可得到RBF神经网络各项参数，并将各项参数固化至隐含层神经网络节点中，寻优学习过程结束；

利用本发明所得到的寻优学习结果应用于脱硝控制前后的效果如图3和图4所示，通过对比，证明了本发明的适用性和准确性。

Claims (3)

1.一种径向基神经网络基于离散粒子群训练的方法，其特征在于，包括以下步骤：

1)首先建立脱硝控制径向基神经网络模型，在脱硝控制系统中，构建5-N-1型径向基神经网络系统，确定系统输入变量为x(t)＝[x₁(t),x₂(t),x₃(t),x₄(t),x₅(t)]^T，中间隐含层神经元个数为N，系统输出为u(t)，被控量为y(t)；确定神经网络的输入层如下：

x(t)＝[x₁(t),x₂(t),x₃(t),x₄(t),x₅(t)]^T＝[y(t),z(t),L(t),r(t),T(t)]^T

其中，y(t)为SCR系统出口NOx浓度；z(t)为SCR系统入口NOx浓度；L(t)为机组负荷；r(t)为SCR系统出口NOx浓度设定值；T(t)为SCR系统入口温度；N为5至10之间的整数，x₁(t)～x₅(t)分别为和系统控制相关的5个变量；

2)通过步骤1)的输入变量x(t)构建中间隐含层神经元对输出层的激励φ(x,c_i)，同时设定输入变量对隐含层神经元的权值固定为1，隐含层神经元到输出单元之间的权值为w_i；隐含层神经元对输出层的激励φ(x,c_i)计算如下：

其中，c_j＝[c_j1,c_j2,c_j3,c_j4,c_j5]^T为第j个隐含层神经元的径向基中心；φ(x,c_j)为第j个隐含层神经元对输出节点的响应，采用如上的高斯函数计算；σ_j为第j个隐含层神经元的节点基宽，第j个隐含层神经元对输出单元的节点权值w_i取整范围为[-1,1]；

3)将步骤2)中的激励φ(x,c_i)和隐含层神经元到输出单元之间的权值w_i相乘，求取累积和，得到系统响应输出u(t)；系统响应输出u(t)的计算如下；

4)利用步骤3)得到的系统响应输出u(t)和系统实际输出u_m(t)，定义系统学习评价信号J(t)，驱动神经网络学习和训练；系统学习评价信号J(t)的具体表达如下：

其中，e(t)为系统实际输出u_m(t)和系统响应u(t)之间的误差；

5)利用步骤4)得到的系统评价信号J(t)，结合离散粒子群寻优和最优梯度下降方法，对激励φ(x,c_i)和权值w_i进行离线训练更新；

6)利用步骤5)中的方法，通过足够的样本训练，最后获得最终的激励和权重，完成对神经网络参数的整体训练。

2.根据权利要求1所述的一种径向基神经网络基于离散粒子群训练的方法，其特征在于，步骤5)中，具体的计算方法如下：

由前面的论述可知，RBF神经网络中间隐含层神经元个数为N个，即记为N维，假设在每一维中第m个粒子的位置x_m为：

w_m＝{w_m1 w_m2 … w_mN}

其中w_m1,w_m2…w_mN为第m个粒子所携带的中间隐含层神经元对输出单元的权值；

该粒子在第t次寻优迭代后，其个体极值为：

pbest_m＝{pbest_m1 pbest_m2 … pbest_mN}

其中，pbest_m1 pbest_m2 … pbest_mN为第m个粒子在前t次迭代寻优过程中的最优权值；

所有粒子在第t次寻优迭代后，其全局极值为：

pbest_g＝{pbest₁ pbest₂ … pbest_N}

其中，pbest₁ pbest₂ … pbest_N为所有粒子在前t次迭代寻优过程中的最优权值；

对每个粒子在每一维的寻优节点进行离散化，设定每一维的寻优节点为xd，则每一维的寻优步长为：

xtg＝2/xd

第m个粒子的位置初始化按如下方法进行：

w_mj＝-1+(int)(rand[m][j]·2/xtg)·xtg j＝1…N

其中，(int)函数为取整函数；

第m个粒子的速度初始化按如下方法进行：

v_mj＝(int)(K_v/xtg)·xtg j＝1…N

其中K_v为速度因子，取0.6；

初始化隐含层神经元中心节点向量c_j和径向基宽σ_j；

粒子群适应度函数修正为如下形式：

其中，

为第n个粒子在第i次寻优后的适应度函数，F为训练样本总数；

取全局最小适应度函数，其计算为：

则第m个粒子在第j维的速度更新如下：

其中，ω为速度权重因子，取1.0；λ₁、λ₂和λ₃为系统参数，分别取1.5，1.7和0.5；

将上述速度更新式进一步通过偏导计算，变化为下式：

其中，μ_w为权重学习因子，取为0.1；变量上标为i则表示为前述相应变量第i次寻优迭代；

则第m个粒子的第j维权重寻优变量在i+1次的寻优更新为：

其中，m＝1,2,…P，j＝1,2…N，P为总寻优粒子数；

所有粒子在第i次寻优后，其隐含神经元的中心节点向量和径向基宽仍采用最速梯度法进行迭代更新，具体如下：

记取全局最优粒子位置信息如下：

则径向基宽的更新迭代如下：

其中，μ_σ为径向基宽学习因子，取为0.1；变量上标为i则表示为前述相应变量第i次寻优迭代；

则径向基宽的更新采用如下二阶差分方法：

其中，δ为差分残留学习因子，取为0.1；

中心节点向量的更新迭代如下：

其中，μ_c为中心节点向量学习因子，取为0.1；变量上标为i则表示为前述相应变量第i次寻优迭代，k＝1,2…5；

则中心节点向量的更新采用如下二阶差分方法：

3.根据权利要求2所述的一种径向基神经网络基于离散粒子群训练的方法，其特征在于，步骤6)中，获取足够多的输入向量x(t)和足够多的系统实际输出u_m(t)，通过上述步骤1)至步骤5)的方法，获取最后的神经网络参数。

Images