CN103530687A - 前馈网络的自适应动态协同粒子群优化方法 - Google Patents

Abstract

本发明揭示了一种前馈网络的自适应动态协同粒子群优化方法，包括：S1、对粒子进行初始化，初始化子种群；S2、记录粒子个体极值p_i，每个子种群极值p_n，全局极值p_g；S3、以每个子种群p_n优劣给子种群排序，并确定子种群的协同粒子个数；S4、子种群中的粒子向其自身极值p_i和子种群极值p_n学习；S5、随机从其它子种群中的选取协同粒子，协同粒子向其自身极值p_i和子种群极值p_n学习，并根据粒子优劣随时更新协同学习粒子的自身极值和其所在子种群的社会极值；S6、根据S4、S5依次更新粒子信息后，随机从较差子种群中选取少于两个粒子，使其成为现在较优子种群中的一员；S7、满足所有停止条件，停止计算，否则转入S2进行下一次迭代。本发明可提高网络学习能力和识别能力。

Description

前馈网络的自适应动态协同粒子群优化方法

技术领域

本发明属于模式分类领域。本文设计出一种动态自适应的协同粒子群算法优化前馈网络，在人脸识别、笑脸识别、性别识别等领域有很广泛的应用。

背景技术

神经网络以其自学习、自组织、容错特性以及模拟非线性关系的能力使其特别适合解决模式分类问题。Hornik证明三层前馈神经网络能够以任意精度模拟复杂的非线性关系[参考文献1]。神经网络上述性能的实现，依赖于在一个良好目标函数的指引下，对神经网络结构和权值的充分训练，从而实现在有限的学习样本集中获得整个种群的规律[参考文献2]。神经网络结构，目标函数和学习算法对网络性能具有决定性作用。

为了提高神经网络的学习能力，研究者先后采用BP算法[参考文献3]，遗传算法[参考文献4]和粒子群算法[参考文献5]优化前馈网络参数。但在实际应用中，算法往往易于陷入局部极值或学习效率不高等问题，导致神经网络的泛化能力不足。1992年，Moody通过证明，对于已经达到一定训练精度的神经网络，其网络的有效参数越少网络的性能越优[参考文献6]。从而为了更好的提高网络的泛化能力，研究者在网络结构中加入连接权的开关系数，同时优化网络的连接权值和开关系数，精简网络有效参数，从而进一步提高网络的泛化性能[参考文献7,8]。同时，神经网络结构复杂性对网络的性能有很大的影响[参考文献2]：规模过小神经网络，处理固有复杂问题的能力不足[参考文献9]；规模过大神经网络，虽然具有较好的学习精度[参考文献10]，但容易陷入“过拟合”[参考文献9]，而且需要较大的存储空间和计算时间[参考文献10]。对于三层前馈网络结构优化算法比较著名是隐层神经元增长型[参考文献11]、删减型[参考文献12]和遗传算法[参考文献13]。对于增长型或者删减型的神经网络结构优化算法，受初始化网络结构的影响较大，而且网络结构均朝一个方向进行寻优，容易错失最佳网络结构。同时，对于遗传算法，当其寻优到最优解附近时，收敛速度缓慢，容易陷入局部极值[参考文献14]，而且遗传算法的运行时间和计算复杂度是随问题规模呈指数增长的[参考文献15]。同遗传算法相比，粒子群算法增加了记忆功能，算法实现更简单，寻优性能更稳定，粒子群算法越来越多的应用在传统遗传算法求解问题中。文献[参考文献16]成功实现了在基本粒子群算法优化网络权值的同时，采用离散二进制粒子群算法优化网络结构。但离散二进制粒子群算法是一种间接的优化策略，没有能充分应用粒子群算法的寻优性能[参考文献17]。

同时上述算法均以训练样本均方误差作为网络的目标函数，本身就意味着：只要拟合曲线经过训练样本就可以了，导致算法有无穷多个相等的全局最小点(值为0)，但符合网络拟合曲线只有一条[参考文献18]。算法采用这种目标函数，容易陷入局部极值，从而导致网络泛化能力不足。

有鉴于此，如今迫切需要设计一种新的优化算法，以克服现有方法的上述缺陷。

发明内容

本发明所要解决的技术问题是：提供一种前馈网络的自适应动态协同粒子群优化方法，可提高网络学习能力和识别能力。

为解决上述技术问题，本发明采用如下技术方案：

一种前馈网络的自适应动态协同粒子群优化方法，其特征在于，所述方法包括如下步骤：

步骤S1、对粒子进行初始化，并由目标函数，初始化子种群；

步骤S2、记录粒子个体极值p_i，每个子种群极值p_n，全局极值p_g；

步骤S3、以每个子种群p_n优劣给子种群排序，并确定子种群的协同粒子个数；

步骤S4、子种群中的粒子向其自身极值p_i和子种群极值p_n学习；

步骤S5、随机从其它子种群中选取协同粒子，协同粒子向其自身极值p_i和子种群极值p_n学习，并根据粒子优劣随时更新协同学习粒子的自身极值和其所在子种群的社会极值；同时每一代，粒子更新之后，重新确定每个种群的社会极值，再根据子种群中社会极值的优劣，对其重新排列，之后根据P_n的优劣把一部分子种群设为较优子种群，另一部分设为较差子种群；

步骤S6、根据步骤S4、步骤S5依次更新粒子信息之后，随机从较差子种群并且其子种群规模大于二的子种群中选取少于两个粒子，使其成为现在较优子种群中的一员；

步骤S7、满足所有停止条件，停止计算，否则转入步骤S2进行下一次迭代。

作为本发明的一种优选方案，步骤S1中，随机生成F个粒子，F为种群个数，每个粒子代表优化问题的一个可行解，再根据粒子适应值按降序排列；把排序后的粒子平均分配到m个子种群中；其中，第1个粒子分入第1个子种群中，第2个粒子分入第2个子种群，第m个粒子分入第m个子种群，第m+1个粒子分入第1个子种群，依次类推，直到将所有的粒子平均分入到m个子种群；

再采用动态协同模型进行粒子飞行；假设下标为i的粒子为第j个子种群中成员；采用子种群局部极值Pn作为粒子社会学习的对象；Pnj是第j个子种群内所有粒子经历过的最佳位置；这样，可以得到：

$X^{\′}=X^{(P_i+P_{\mathrm{nj}})}$

式中j=(1,2,...,m)，X′表示粒子X向P_i和P_nj飞行后的下一个位置；第j个子种群中的每个粒子在以P_nj为社会极值学习的同时，其它子种群中的部分粒子在P_nj的吸引下，成为第j个子种群的协同粒子，以P_nj为社会经验学习，实现子种群间粒子信息的交流；每个子种群的协同粒子个数以子种群总数m为基数依次递减，即：第一子种群的协同粒子个数为m，第二子种群的协同粒子个数为m-1，依次类推；

同时每一代，粒子更新之后，重新确定每个种群的社会极值，再根据子种群中社会极值的优劣，对其重新排列，之后根据P_n的优劣把一半子种群设为较优子种群，另一半设为较差子种群；较差子种群中的非社会极值粒子会受到较优子种群的吸引，而脱离该较差子种群成为较优子种群中的粒子；

为了保证种群能协同进化，每个子种群最少粒子个数不能小于2，当较差子种群的粒子个数均为2时，粒子不脱离较差子种群；同时为了保证整个种群学习的稳定性，每代脱离较差子种群总数不能超过两个粒子。

本发明的有益效果在于：本发明提出的前馈网络的自适应动态协同粒子群优化方法，可以提高网络学习能力和识别能力。

神经网络的性能是由网络结构和权值共同确定的。本发明给出了一种动态协同粒子群算法，兼顾PSO算法全局社会结构收敛的快速性，并加强了局部社会搜索的开发性，实现了神经网络结构和权值同时优化，同时对目标函数采用“动态正则化”，使网络的寻优能力和泛化能力都有很大的提高。将该模型应用到UCI标准数据集进行仿真实验，实验结果验证了本文方法可以提高网络的学习和泛化能力。

由于神经网络在学习过程中存在冗余节点，导致神经网络的学习效率低、网络性能差。本发明算法实现了在训练神经网络权值的同时优化网络结构，同时在保证网络训练精度的情况下，实现网络参数的最简化。采用一种目标函数动态正则化的方法，使网络训练和识别相统一，提高了网络的泛化能力。为了提高算法的寻优效率，提出自适应动态协同的粒子寻优模型，扩大了粒子的搜索范围，有效避免粒子陷于局部极值的可能性，而且在保证粒子全局寻优性能的前提下，增强了算法局部搜索能力，加速了算法的收敛过程。网络结构动态优化有利于网络结构能够根据问题规模动态调整网络结构，避免神经网络对初始网络结构的依赖同时避免了网络规模冗余或过小对神经网络性能的影响。通过仿真实验有力的证明了本发明方法可以提高网络的学习和泛化能力。

附图说明

图1为粒子编码网络结构示意图。

图2(a)为网络结构X的示意图。

图2(b)为网络结构Y的示意图。

图2(c)为网络结构R的示意图。

图2(d)为网络结构W的示意图。

图2(e)为网络结构P的示意图。

图3为前馈网络的自适应动态协同粒子群优化方法的流程图。

具体实施方式

下面结合附图详细说明本发明的优选实施例。

实施例一

本发明为了提高网络学习能力和识别能力，从网络结构、目标函数和网络寻优算法出发，设计出一种能够实现网络学习和识别相统一的目标函数，以其为“指挥棒”采用一种改进的粒子群算法实现网络结构和权值同时优化，使网络能够快速从学习样本中，总结所有样本的内部规律，从而促使网络学习能力和识别能力均提高。

1前馈网络的粒子群算法优化

1.1基本PSO算法

粒子群算法是粒子向自身经验P_i和群体经验P_g不断学习，实现在解空间的寻优。假设粒子群中第i个粒子在d维空间中的位置为x_i=(x_i1，x_i2，...，x_id),飞行速度为v_i=(v_i1，v_i2，...，v_id),其经历过的最好位置为P_i=(p_i1，p_i2，...，p_id)，所有粒子经历过的最好位置为P_g=(p_g1，p_g2，...，p_gd)。每一代粒子按下式更新：

$\left\{\begin{array}{c}{v}_{\mathrm{id}}^{(t+1)}=w\·v_{\mathrm{id}}^{\left(t\right)}+c_1\·r_1\·(P_{\mathrm{id}}^{\left(t\right)}-x_{\mathrm{id}}^{\left(t\right)})+c_2\·r_2\·(P_{\mathrm{gd}}^{\left(t\right)}-x_{\mathrm{id}}^{\left(t\right)})\\ x_{\mathrm{id}}^{(t+1)}=x_{\mathrm{id}}^{\left(t\right)}+v_{\mathrm{id}}^{(t+1)}\end{array}\right.---\left(1\right)$

式中,v_id表示第i个粒子第d维速度分量，t为迭代次数，w为惯性权重，学习因子c₁=c₂=2，r₁和r₂为(0,1)之间均匀分布的随机数。

1.2粒子编码

应用PSO同时优化三层前馈网络结构和权值的关键之一，是如何将网络编码为PSO搜索空间中的一个粒子。

首先是对神经网络结构的考虑。对于三层前馈网络，网络的输入节点和输出节点数是固定的，隐层节点数的大小对网络性能有较大的影响：当隐层节点数过小时，网络实际输出和期望输出之间的拟合度不高，其处理固有复杂问题的能力不足[参考文献9]；当隐层节点数过大时，网络具有较好的学习精度[参考文献10]，但是可能会学习“不重要”的细节，导致其泛化能力较差[参考文献9]，而且需要较大的存储空间和计算时间[参考文献10]。隐层神经元数目不存在一个理想的解析式来表示，文献[参考文献19]中提出以下经验公式：

$\mathrm{hidenu}=m\sqrt{L+M}+\mathrm{\λ}---\left(2\right)$

其中hidenum为隐层节点个数，L为输入层节点个数，M为输出层节点个数，λ为1～10的整数。在公式(2)的基础上，从而确定能够满足要求的隐层神经元对应的最小规模(N_min)和最大规模(N_max):

$N_{\min }=\sqrt{L+M}+1---\left(3\right)$

$N_{\max }=\sqrt{L+M}+10---\left(4\right)$

每个粒子在[N_min，N_max]范围内随机产生一个整数Integer，再从N_max个隐层节点中，任意选取Integer个节点作为参与连接的隐层节点，从而设计一种如图1和表1网络编码方式particle(flag,u,v)(实线表示参与连接，虚线表示没有连接）

表1粒子编码

其中flag为0或1的常数，用以表示隐层神经元的连接标识符，当其为0时表示神经元没有参与连接，与其相连的权值均为0；为1时表示神经元参与连接。

其次是初始化网络各个参数。u为输入层与隐层之间的连接权值，v为隐层与输出层之间的连接权值。u和v的初始值为[0,1]之间的随机值。

1.3粒子目标函数

前馈网络优化的最终目的是提高网络的学习和泛化能力。为了提高神经网络的泛化能力，可以在网络拟合能力足够强的情况下，给训练样本增加一个合理的约束条件，避免因部分网络权值过大，导致样本的各种特点不能很好的显现出来，从而使训练目标与获得理想的确定性拟合目标相统一[参考文献18,19]，如式：

$\mathrm{MSEREG}=r\·\frac{1}{2}\·\frac{1}{\mathrm{NUM}}\underset{i=1}{\overset{\mathrm{NUM}}{\mathrm{\Σ}}}\underset{k=1}{\overset{m}{\mathrm{\Σ}}}{(Y_{\mathrm{ik}}-O_{\mathrm{ik}})}^2+(1-r)\·\frac{1}{\mathrm{num}}\underset{j=1}{\overset{\mathrm{num}}{\mathrm{\Σ}}}\left|{\mathrm{weight}}_j\right|---\left(5\right)$

其中NUM为学习样本数，Y_i为节点实际输出，O_i为节点期望输出,num为网络非零权值个数，r正则项系数，weight为网络权值。

通常，正则化系数采用固定的方式[参考文献18,19]，该方法简单易行，但是r很敏感。如果系数偏大，导致网络的惩罚项过大，权值很难优化；如果系数偏小，则对复杂系统不能起到有效的惩罚。本发明引入正则项系数线性递减的方法，即：

$r=r_{\max }-\mathrm{iter}\×\frac{r_{\max }-r_{\min }}{\mathrm{TIME}}---\left(6\right)$

式中iter为迭代次数，TIME为最大迭代次数，r_max=0.99,r_min=0.97。保证了在寻优初期，能够快速寻优到最优解附近，在算法后期，能够更有效的起到惩罚作用，从而充分提取训练样本的重要特征。

同时根据Moody准则，当网络训练精度达到一定程度时，网络有效参数越少，网络泛化能力越优[参考文献6]。从而在网络适应值MSEREG相同的情况下，选取num小的为优胜者。

1.4网络优化

传统的粒子群算法同时优化神经网络结构和权值，均采用在基本粒子群算法优化网络参数的基础上，同时采用离散二进制粒子群算法优化网络结构[参考文献16]。上述算法对网络优化有一定的作用，但是离散二进制粒子群算法是一种把速度值映射成0和1的概率值从而达到优化二进制变量，是一种间接优化策略没能充分利用粒子群优化算法的寻优性能[参考文献17]，而且网络结构的优化与网络的整体信息脱离，不利于网络优化。

因此，本发明设计了一种能够实现前馈网络结构和权值同时优化的方法，图2给出了算法示意。图2(a)为一个网络结构X；图2(b)为另一个网络结构Y，图2(c)为X不同于Y的网络结构R；对应R中每个隐层神经元随机产生一个(0,1)之间的随机数randnum，当randnum>0.5时，就选择该隐层神经元，否则不选；从而得到网络结构W，如图2(d)；图2(e)为将X与W结构相结合，同时删除R中比W多的隐层神经元且X中又连接的隐层神经元得网络结构P。粒子P是X向Y演变的过程，记为X^Y。如果一个网络结构X同时向Y和Z进化，则记为X^Y+Z，表示神经网络X分别向神经网络Y和Z进行了学习，记录其网络结构为Q。

当X结构优化后得到Q，Q中与X相同的参与连接的隐层神经元其连接权值与X相同，与X不同的隐层神经元其连接权值为零。粒子Q中隐层神经元对应flag为1的连接权值根据公式(1)向Y和Z一一对应的学习，优化网络权值。同时在每代每个粒子优化后，再根据Moody准则[参考文献6]和引入网络神经元贡献量的方法[参考文献20]，对于决对值小于0.01的网络连接权值直接赋值为零，精简网络结构。

粒子X向P_i和P_g飞行更新公式定义为公式：

$X^{\′}=X^{(P_i+P_g)}---\left(7\right)$

其中，X′表示粒子X向P_i和P_g飞行后的下一个位置。

1.5算法改进

本发明的粒子的编码方式和寻优方式方式，能够提高网络的学习能力和泛化能力，但神经网络的泛化能力还来自于对训练样本的充分训练。基本粒子群算法以P_g为全局极值进行学习，在搜索过程中粒子往往易于陷入局部极值而过早收敛，寻优速度较慢。本发明在基本粒子群算法的基础上引入协同搜索策略[参考文献17]使整个种群中拥有多个社会学习对象，加强了粒子的局部搜索能力；同时种群之间信息的交流，兼顾了全局寻优性能。

首先，引入粒子子种群的初始化。本发明随机生成F（种群个数）个粒子，每个粒子代表优化问题的一个可行解，再根据粒子适应值按降序排列；把排序后的粒子平均分配到m个子种群中。其中，第1个粒子分入第1个子种群中，第2个粒子分入第2个子种群，第m个粒子分入第m个子种群，第m+1个粒子分入第1个子种群，依次类推，直到将所有的粒子平均分入到m个子种群。

再采用动态协同模型进行粒子飞行。假设下标为i的粒子为第j个子种群中成员。通常，粒子的社会学习是通过在解空间向P_g飞行实现的，但本发明采用子种群局部极值P_n作为粒子社会学习的对象。P_nj是第j个子种群内所有粒子经历过的最佳位置。这样，公式(7)就变为：

$X^{\′}=X^{(P_i+P_{\mathrm{nj}})}---\left(11\right)$

式中j=(1,2,...,m)。第j个子种群中的每个粒子在以P_nj为社会极值学习的同时，其它子种群中的部分粒子在P_nj的吸引下，成为第j个子种群的协同粒子，以P_nj为社会经验学习，实现子种群间粒子信息的交流。每个子种群的协同粒子个数以子种群总数m为基数依次递减，即：第一子种群的协同粒子个数为m，第二子种群的协同粒子个数为m-1，依次类推。

同时每一代，粒子更新之后，重新确定每个种群的社会极值，再根据子种群中社会极值的优劣，对其重新排列，之后根据P_n的优劣把一半子种群设为较优子种群，另一半设为较差子种群。较差子种群中的非社会极值粒子会受到较优子种群的吸引，而脱离该较差子种群成为较优子种群中的粒子。当然，也可以根据P_n的优劣把一部分（如三分之一）子种群设为较优子种群，另一部分（三分之二）设为较差子种群。

为了保证种群能协同进化，每个子种群最少粒子个数不能小于2，当较差子种群的粒子个数均为2时，粒子不脱离较差子种群；同时为了保证整个种群学习的稳定性，每代脱离较差子种群总数不能超过两个粒子。动态协同社会结构的引入，保证了较优子种群的粒子数较多，兼顾了全局社会结构收敛的快速性和局部社会结构的“开发性”。

1.6本发明算法步骤

Step1对粒子进行初始化，并由目标函数，初始化子种群；

Step2记录粒子个体极值p_i，每个子种群极值p_n，全局极值p_g；

Step3以每个子种群p_n优劣给子种群排序，并确定子种群的协同粒子个数；

Step4子种群中的粒子向其自身极值p_i和子种群极值p_n学习；

Step5随机从其它子种群中的选取协同粒子，协同粒子向其自身极值p_i和子种群极值p_n学习，并根据粒子优劣随时更新协同学习粒子的自身极值和其所在子种群的社会极值；

Step6根据Step4，Step5依次更新粒子信息之后，随机从较差子种群并且其子种群规模大于二的子种群中选取少于两个粒子，使其成为现在较优子种群中的一员；

Step7满足所有停止条件，停止计算，否则转入Step2进行下一次迭代。

2仿真实验

采用UCI标准数据集Iris和Ionosphere作为的测试实例来验证本发明算法能快速寻优到较优网络。本发明算法数据为10次实验求取的平均值。

(1)验证本发明算法的学习能力

为了验证本发明算法学习能力强、寻优速度快，同[参考文献7]采用全样本进行学习，对比的测试数据见表2。

表2算法学习能力比较

表2表明算法对网络隐层神经元数的优化，更有利于网络寻找最优规模，避免了初始固定网络规模的影响。由实验结果还可以推出，本发明算法由于动态协同的提出比基本PSO算法扩大了全局搜索范围和加强了局部搜索能力其寻优速度更快，收敛精度更高。

(2)验证本发明算法学习能力和识别能力

为了证明本发明算法收敛速度快、泛化能力强，与[参考文献13]和[参考文献19]中以Iris作为测试数据集的结果作比较。实验数据：同[参考文献13]和[参考文献19]从Iris数据集每类50组数据中各随机选40组作为学习样本，其它作为识别样本；与[参考文献13]对比实验时，种群规模为100，初始子种群数为10，迭代次数为100；与[参考文献19]对比实验时，种群规模为20，初始子种群数为4，迭代次数为400。对比数据见表3。

表3Iris学习和泛化能力比较

从表3中我们可以看出，本发明算法对网络的优化验证了本发明算法可以提高网络的学习和泛化能力，同时也验证了本发明算法收敛的快速性，而且能够有效避免陷入局部极值。以上实验证明了本发明算法学习能力强，收敛速度快。

(3)验证本发明算法识别能力

为了充分验证本发明前馈网络的优化算法，能够有效的提高神经网络的泛化能力，与采用对训练数据完全正确分类的情况下的测试数据分类正确率。实验参数：同[参考文献13]中的Iris数据进行对比（同上）。算法性能对比数据于表4所示：

表4Iris分类测试数据结果比较

从表4中可以看出，本发明算法的效率比[参考文献13]算法高，同时表明由于本发明算法目标函数动态正则化方法的有效性，更有利于提取样本的内部规律，避免陷入局部极值。

另外，本发明中提到的参考文献如下：

[参考文献1]Hornik K，Stinchcombe M，White H.Multilayer feed-forward networks areuniversal approximators[J].Neural Networks，1989，2(5):359-366.

[参考文献2]魏海坤,徐嗣鑫,宋文忠.神经网络的泛化理论和泛化方法[J].自动化学报,2001,27(6):806-815.

[参考文献3]Bryson A E，Ho Y C.Applid optimal control[M].New York：Blaisdell，1969.

[参考文献4]Chen Z P，Zhao Y M，Zheng Y，etal.Neural Network Electrical Machine FaultsDiagnosis Based on Multi-population GA[C].IEEE Intermation Joint Conference,2008,3795-3798.

[参考文献5]Eberhart R，Kennedy J.A new optimizer using particke swarmtheory[C].Proceedings of the Sixth International Symposium on Micro Machine and HumanScience，1995：39-43.

[参考文献6]Moody J E.The Effective Number of Parameters:An Analysis of Generalizationand Regularization in Nonlinear Learning System.NIPS4，1992，San Mateo，CA:847-854.

[参考文献7]高海兵,高亮,周驰,喻道远.基于粒子群优化的神经网络训练算法研究[J].电子学报，2004，32(9)：1572-1574.

[参考文献8]Liang Zhao，Feng Qian.Tuning the structure and parameters of a neural networkusing cooperative binary-real particle swarm optimization[J].Expert Systems with Applications，2011，38(5)：4972–4977.

[参考文献9]L Ma,K Khorasani.New training strategies for constructive neural networks withapplication to regression problems[J].Neural Networks,2004,17(4):589-609.

[参考文献10]韩红桂,李淼,乔俊飞.基于模型输0敏感度分析的动态神经网络结构设计[J].电子学报,2010,38(3):731-736.

[参考文献11]Liang Zhao，Feng Qian.Tuning the structure and parameters of a neural networkusing cooperative binary-real particle swarm optimization[J].Expert Systems with Applications，2011，38(5)：4972–4977.

[参考文献12]Fu X J，Wang L P.Data dimensionality reduction with application to simplifyingRBF network structure and improving classification performance.IEEE Transactions on Systems，Man，and Cybernetics，Part B：Cybernetics，2003，33(3)：399-409.

[参考文献13]王改良,武妍.用入侵的自适应遗传算法训练人工神经网络[J].红外与毫米学报，2010，29(2)：136-139.

[参考文献14]Franchini M.Use of a genetic algorithm combined with a local search methodfor the automatic calibration of conceptual rainfall-runoff models[J].Hydrological Science Journal，1996，41(1)：21-39.

[参考文献15]Yang J M，Kao C Y.A robust evolutionary algorithm for training neuralnetworks[J].Neural Computing and Application，2001，10(3)：214-230.

[参考文献16]Jianbo Yu,Shijin Wang,Lifeng Xi.Evolving artificial neural networks using animproved PSO and DPSO[J].Neurocomputing,2008,71(4-6),1054–1060.

[参考文献17]周雅兰，王甲海，印鉴.一种基于分布估计的离散粒子群优化算法[J].电子学报，2008，36(6)：1242-1248.

[参考文献18]吴建生,金龙,杨善朝.一种提高前向神经网络泛化性能的新算法[J].信息与控制，2006,35(5):574-578.

[参考文献19]鲁智勇，张权，张希，唐朝京.等效分组级联BP网络模型及其应用[J].电子学报，2010,38(6):1349-1354.

[参考文献20]韩红桂，李淼，乔俊飞.基于模型输出敏感度分析的动态神经网络结构设计[J].电子学报，2010，38(3)：731-736.

综上所述，本发明提出的前馈网络的自适应动态协同粒子群优化方法，可以提高网络学习能力和识别能力。由于神经网络在学习过程中存在冗余节点，导致神经网络的学习效率低、网络性能差。本发明算法实现了在训练神经网络权值的同时优化网络结构，同时在保证网络训练精度的情况下，实现网络参数的最简化。采用一种目标函数动态正则化的方法，使网络训练和识别相统一，提高了网络的泛化能力。为了提高算法的寻优效率，提出自适应动态协同的粒子寻优模型，扩大了粒子的搜索范围，有效避免粒子陷于局部极值的可能性，而且在保证粒子全局寻优性能的前提下，增强了算法局部搜索能力，加速了算法的收敛过程。网络结构动态优化有利于网络结构能够根据问题规模动态调整网络结构，避免神经网络对初始网络结构的依赖同时避免了网络规模冗余或过小对神经网络性能的影响。通过仿真实验有力的证明了本发明方法可以提高网络的学习和泛化能力。

这里本发明的描述和应用是说明性的，并非想将本发明的范围限制在上述实施例中。这里所披露的实施例的变形和改变是可能的，对于那些本领域的普通技术人员来说实施例的替换和等效的各种部件是公知的。本领域技术人员应该清楚的是，在不脱离本发明的精神或本质特征的情况下，本发明可以以其它形式、结构、布置、比例，以及用其它组件、材料和部件来实现。在不脱离本发明范围和精神的情况下，可以对这里所披露的实施例进行其它变形和改变。

Claims (2)

1.一种前馈网络的自适应动态协同粒子群优化方法，其特征在于，所述方法包括如下步骤：

步骤S1、对粒子进行初始化，并由目标函数，初始化子种群；

步骤S2、记录粒子个体极值p_i，每个子种群极值p_n，全局极值p_g；

步骤S3、以每个子种群p_n优劣给子种群排序，并确定子种群的协同粒子个数；

步骤S4、子种群中的粒子向其自身极值p_i和子种群极值p_n学习；

步骤S5、随机从其它子种群中选取协同粒子，协同粒子向其自身极值p_i和子种群极值p_n学习，并根据粒子优劣随时更新协同学习粒子的自身极值和其所在子种群的社会极值；同时每一代，粒子更新之后，重新确定每个种群的社会极值，再根据子种群中社会极值的优劣，对其重新排列，之后根据P_n的优劣把一部分子种群设为较优子种群，另一部分设为较差子种群；

步骤S6、根据步骤S4、步骤S5依次更新粒子信息之后，随机从较差子种群并且其子种群规模大于二的子种群中选取少于两个粒子，使其成为现在较优子种群中的一员；

步骤S7、满足所有停止条件，停止计算，否则转入步骤S2进行下一次迭代。

2.根据权利要求1所述的前馈网络的自适应动态协同粒子群优化方法，其特征在于：

步骤S1中，随机生成F个粒子，F为种群个数，每个粒子代表优化问题的一个可行解，再根据粒子适应值按降序排列；把排序后的粒子平均分配到m个子种群中；其中，第1个粒子分入第1个子种群中，第2个粒子分入第2个子种群，第m个粒子分入第m个子种群，第m+1个粒子分入第1个子种群，依次类推，直到将所有的粒子平均分入到m个子种群；

再采用动态协同模型进行粒子飞行；假设下标为i的粒子为第j个子种群中成员；采用子种群局部极值P_n作为粒子社会学习的对象；P_nj是第j个子种群内所有粒子经历过的最佳位置；这样，可以得到：

$X^{\′}=X^{(P_i+P_{\mathrm{nj}})}$

式中j=(1,2,...，m)，X′表示粒子X向P_i和P_nj飞行后的下一个位置；第j个子种群中的每个粒子在以P_nj为社会极值学习的同时，其它子种群中的部分粒子在P_nj的吸引下，成为第j个子种群的协同粒子，以P_nj为社会经验学习，实现子种群间粒子信息的交流；每个子种群的协同粒子个数以子种群总数m为基数依次递减，即：第一子种群的协同粒子个数为m，第二子种群的协同粒子个数为m-1，依次类推；

同时每一代，粒子更新之后，重新确定每个种群的社会极值，再根据子种群中社会极值的优劣，对其重新排列，之后根据P_n的优劣把一半子种群设为较优子种群，另一半设为较差子种群；较差子种群中的非社会极值粒子会受到较优子种群的吸引，而脱离该较差子种群成为较优子种群中的粒子；

为了保证种群能协同进化，每个子种群最少粒子个数不能小于2，当较差子种群的粒子个数均为2时，粒子不脱离较差子种群；同时为了保证整个种群学习的稳定性，每代脱离较差子种群总数不能超过两个粒子。

Images