CN109308523A - 一种基于鸽群优化算法的多层感知器训练方法 - Google Patents

Abstract

本发明公开了一种基于鸽群优化算法的多层感知器训练方法，首先初始化鸽群算法的基本参数，随机初始化个体的位置和范围；然后在指南针算子阶段根据具体的公式更新鸽子的位子和速度，旨在扩大多层感知器的参数寻优范围；接下来在地表算子阶段利用具体的公式加快收敛速度和深入挖掘局部最优；在每次迭代中，用于评价个体的适应度值的函数是个体所携带的参数对应的多层感知器的均方误差；本发明与传统的BP算法在训练多层感知器的过程中，能够克服BP算法训练多层感知器易陷入局部最优解和寻优过程慢的特性，能够尽可能的挖掘出最优性能的多层感知器参数，提升了多层感知器的性能。

Description

一种基于鸽群优化算法的多层感知器训练方法

技术领域

本发明属于神经计算和智能优化技术领域，涉及一种多层感知器训练方法，具体涉及一种基于鸽群优化算法的多层感知器训练方法，可用于神经计算和智能优化算法领域。

背景技术

多层感知器在图像、语音、文本等多个领域都有广泛的应用，而多层感知器的主要训练方法是反向传播算法(BP算法)。研究表明，通过对多层感知器的连接权值和阈值进行调整，可以用来拟合复杂的函数，或者用来解决分类问题。要获得极高的拟合精度或者分类准确率，必须对多层感知器的参数进行调整。常用的训练方法是基于链式求导法则的BP算法，但是容易受到局部极小值和梯度弥散的困扰。因此研究学者将进化优化算法，如粒子群优化算法、遗传算法，应用到多层感知器的训练中，但是由于神经网络本身的参数复杂性，这些技术的效果并不是很理想。

通过模拟鸽群的归巢行为，段海滨教授提出鸽群优化算法，并将其用来解决无人机导航中的参数寻优问题。鸽群算法相较于粒子群算法、遗传算法具有参数较少，收敛速度较快，可以避免局部最优解等特点，并且已经获得了广泛的应用。该算法的显著特点是通过调整算法的迭代次数和个体选择方式在全局搜索能力和局部搜索能力之间调和。

发明内容

为了解决上述技术问题，加快多层感知器的训练速度，提升网络的性能，本发明提出了一种基于鸽群优化算法的多层感知器训练方法。

本发明所采用的技术方案是：一种基于鸽群优化算法的多层感知器训练方法，所述多层感知器是一种前向结构的人工神经网络，将一组输入映射为一组输出，多层感神经元相互连接；从输入到输出具体的映射关系为：

其中，表示多层感知器的第k组输入数据，y^k表示为多层感知器的第k组输出数据，w_ij表示为输入层到隐含层的连接权值，β_i表示为隐含层神经元阈值，v_i表示为隐含层到输出层的连接权值，n表示为连接到当前神经元的上一层神经元的个数，h表示为连接到输出神经元的前一层神经元个数；

tanh表示为多层感知器神经元的激活函数，具体公式如下：

其特征在于，所述方法包括以下步骤：

步骤1：初始化鸽群规模N、指南针算子迭代次数T₁和地表算子迭代次数T₂，个体向量维度D、个体位置X_i＝[X_i1,X_i2,...,X_iD]、个体速度V_i＝[V_i1,V_i2,...,V_iD]、指南针因子R、个体的搜索空间Search range；随机设置个体位置和个体速度，计算种群的适应度值；个体向量维度D表示为待求解的个数，即待求解的多层感知器的参数个数。

步骤2：在指南针算子迭代阶段，更新鸽子的位置和速度；其中，更新鸽子的位置即表示为对多层感知的参数进行更新；

步骤3：计算个体的适应度值，并更新全局最优和个体历史最优；

步骤4：判断是否达到指南针算子迭代次数；

若是，则执行下述步骤5；

若否，则回转执行步骤2；

步骤5：在地标算子阶段，更新种群数目，按照适应度值对鸽子进行排序，每次迭代中将适应度值差的那一半鸽子舍弃，然后计算剩下的鸽子的种群位置中心，所有个体朝向种群中心移动，更新鸽子位置；

步骤6：更新历史最优和全局最优；

步骤7：判断是否达到地标算子迭代次数；

若是，则执行下述步骤8；

若否，则回转执行步骤5；

步骤8：输出最优鸽子位置。

本发明的有益效果是：本发明提出一种基于鸽群优化算法的多层感知器训练方法。相较于BP算法在训练多层感知器上具有较低的计算复杂度，较快的训练速度。首先是指南针算子阶段加大搜索空间，使其不易陷入局部最优解，具有较强的全局搜索能力；然后再地标阶段具有较快的收敛速度和较强局部寻优能力，可以提高原有BP训练算法后多层感知器的性能。

附图说明

图1：本发明实施例的流程图；

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1，本发明提供的一种基于鸽群优化算法的多层感知器训练方法，包括以下步骤：

一种基于鸽群优化算法的多层感知器训练方法，所述多层感知器是一种前向结构的人工神经网络，将一组输入映射为一组输出，多层感神经元相互连接；从输入到输出具体的映射关系为：

其中，表示多层感知器的第k组输入数据，y^k表示为多层感知器的第k组输出数据，w_ij表示为输入层到隐含层的连接权值，β_i表示为隐含层神经元阈值，v_i表示为隐含层到输出层的连接权值，n表示为连接到当前神经元的上一层神经元的个数，h表示为连接到输出神经元的前一层神经元个数；

tanh表示为多层感知器神经元的激活函数，具体公式如下：

则方法包括以下步骤：

步骤1：初始化鸽群规模N、指南针算子迭代次数T₁和地表算子迭代次数T₂，个体向量维度D、个体位置X_i＝[X_i1,X_i2,...,X_iD]、个体速度V_i＝[V_i1,V_i2,...,V_iD]、指南针因子R、个体的搜索空间Search range；随机设置个体位置和个体速度，计算种群的适应度值；个体向量维度D表示为待求解的个数，即待求解的多层感知器的参数个数；

种群的适应度值即是多层感知器的性能指标，计算公式为：

其中T^k表示为第k组测试数据的输入对应的期望输出，y^k表示为第k组测试数据的实际输出，均方误差E越小越好。

步骤2：在指南针算子迭代阶段，更新鸽子的位置和速度；其中，更新鸽子的位置即表示为对多层感知的参数进行更新；

更新鸽子的位置X和速度V的具体公式为：

V_i(t)＝V_i(t-1)·e^-Rt+rand·(X_g-X_i(t-1))

X_i(t)＝X_i(t-1)+V_i(t)

式中，X_i(t)表示为第t此迭代时的个体位置，V_i(t)表示为第t次迭代时的个体速度，t表示为迭代次数；R表示指南针因子，rand表示为0到1之间的随机数，X_g表示为当前的全局最优解，通过比较当前鸽群的适应度值获得。

步骤3：计算个体的适应度值，并更新全局最优和个体历史最优；

个体的适应度值是多层感知器的性能指标，具体计算公式为：

其中，T^k表示为第k组输入数据的期望输出(所谓期望输出表示为，一组数据对应的正确的数值，进行参数更新也主要是为了不断的让模型产生的输出和真实的输出之间的差距越来越小)，y^k表示为第k组输入数据的实际输出，E表示均方误差，均方误差E越小越好。

步骤4：判断是否达到指南针算子迭代次数；

若是，则执行下述步骤5；

若否，则回转执行步骤2；

步骤5：在地标算子阶段，更新种群数目，按照适应度值对鸽子进行排序，每次迭代中将适应度值差的那一半鸽子舍弃，然后计算剩下的鸽子的种群位置中心，所有个体朝向种群中心移动，更新鸽子位置；

具体实现包括以下子步骤：

步骤5.1：在地标算子阶段，将鸽子按照适应度值进行排序，然后每次迭代时舍弃适应度差的一半，具体公式如下：

其中，N(t)表示为第t次迭代时的种群数量；

步骤5.2：选择适应度值好的另一半鸽子种群作为当前种群，然后确定当前种群位置中心，具体公式如下：

其中，Xc()表示为当前的种群位置中心，fitness()表示为鸽子个体的适应度值，即最小均方误差；X_i(t)表示为第t代的个体位置；

步骤5.3：鸽子朝向中心位置移动，更新鸽子的位置，具体公式如下：

Xi(t)＝Xi(t-1)+rand*(Xc(t)-Xi(t-1))

其中，rand表示为0到1之间的随机数。

步骤6：更新历史最优和全局最优；

历史最优，其值为均方误差最小值，然后输出当前最小均方误差最小的个体位置X，X即表示为最优值。

步骤7：判断是否达到地标算子迭代次数；

若是，则执行下述步骤8；

若否，则回转执行步骤5；

步骤8：输出最优鸽子位置。

以下是发明人提供的实施例，以对本发明的技术方案作进一步解释说明。

本实施例以cos(x)函数为例，利用多层感知器对该函数进行拟合，多层感知器的输入层有1个神经元，隐含层有10个神经元，输出层有一个神经元。本发明具体操作流程如下：

步骤1：由cos(x)函数在区间[-2π,2π]上，随机产生30组数据。i＝30，数据集为(x_i,y_i),i＝1,2,...,i，其中y_i为cos(x)在x_i上的对应值。

步骤2：初始化鸽群规模N＝30，指南针算子迭代次数T₁＝20，地标算子迭代次数T₂＝10，鸽子个体向量维度为D＝20，[x_i1,x_i2,...,x_iD]表示为个体搜索向量，随机初始化个体速度[V₁,V₂,...,V_N]。搜索空间Searchspace为[-2π,2π]，初始迭代为1，随机初始化权值向量[w_i,w₂,...w₁₀]和阈值向量[b₁,b₂,...,b₁₀]。计算多层感知器的性能，即多层感知器输出值和实际真实值的均方误差，计算公式为：

其中T^k表示为第k组输入数据的理想输出，y^k表示为第k组测试数据的实际输出，均方误差E越小越好。

步骤3：在指南针算子阶段，尽可能的进行全局搜索。记录个体的历史最优值(均方误差最小)和全局的最优值，更新鸽子的位置X和速度V的具体公式如下：

V_i(t)＝V_i(t-1)·e^-Rt+rand·(X_g-X_i(t-1))

X_i(t)＝X_i(t-1)+V_i(t)

式中，R表示指南针因子，rand表示为0到1之间的随机数，X_g表示为当前的全局最优解，可以通过比较当前鸽群的适应度值获得。

步骤4：在地标算子阶段，进行深度的局部搜索。首先将个体按照适应度值大小进行排序，即按照拟合cos(x)函数的效果进行排序，在接下来的T₂迭代时，每次减少一半的适应度差的种群。并在每次迭代中计算留下较优个体的中心，具体的计算公式如下：

其中，Xc表示为当前的种群中心位置，fitness表示为鸽子个体的适应度函数。

步骤5：更新剩余鸽子个体的位置，鸽子个体朝向当前种群中心移动，并记录自己的最优值。公式为：

Xi(t)＝Xi(t-1)+rand*(Xc(t)-Xi(t-1))

步骤6：迭代完成，训练出来的多层感知器可以较好的拟合cos(x)函数，将其与传统的BP算法训练出的多层感知器进行比较，本发明在速度和性能上更好。

本发明利用鸽群优化算法较强的寻优能力和后期较快的收敛速度等特性，将其应用到多层感知器的训练过程中，可显著加速多层感知器的训练速度，并且学习过程中具有较好的收敛性和较强的鲁棒性。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (6)

1.一种基于鸽群优化算法的多层感知器训练方法，所述多层感知器是一种前向结构的人工神经网络，将一组输入映射为一组输出，多层感神经元相互连接；从输入到输出具体的映射关系为：

其中，表示多层感知器的第k组输入数据，y^k表示为多层感知器的第k组输出数据，w_ij表示为输入层到隐含层的连接权值，β_i表示为隐含层神经元阈值，v_i表示为隐含层到输出层的连接权值，n表示为连接到当前神经元的上一层神经元的个数，h表示为连接到输出神经元的前一层神经元个数；

tanh表示为多层感知器神经元的激活函数，具体公式如下：

其特征在于，所述方法包括以下步骤：

步骤1：初始化鸽群规模N、指南针算子迭代次数T₁和地表算子迭代次数T₂，个体向量维度D、个体位置X_i＝[X_i1,X_i2,...,X_iD]、个体速度V_i＝[V_i1,V_i2,...,V_iD]、指南针因子R、个体的搜索空间Searchrange；随机设置个体位置和个体速度，计算种群的适应度值；个体向量维度D表示为待求解的个数，即待求解的多层感知器的参数个数；

步骤2：在指南针算子迭代阶段，更新鸽子的位置和速度；其中，更新鸽子的位置即表示为对多层感知的参数进行更新；

步骤3：计算个体的适应度值，并更新全局最优和个体历史最优；

步骤4：判断是否达到指南针算子迭代次数；

若是，则执行下述步骤5；

若否，则回转执行步骤2；

步骤5：在地标算子阶段，更新种群数目，按照适应度值对鸽子进行排序，每次迭代中将适应度值差的那一半鸽子舍弃，然后计算剩下的鸽子的种群位置中心，所有个体朝向种群中心移动，更新鸽子位置；

步骤6：更新历史最优和全局最优；

步骤7：判断是否达到地标算子迭代次数；

若是，则执行下述步骤8；

若否，则回转执行步骤5；

步骤8：输出最优鸽子位置。

2.根据权利要求1所述的基于鸽群优化算法的多层感知器训练方法，其特征在于：步骤1中，种群的适应度值是多层感知器的性能指标，具体计算公式为：

其中，T^k表示为第k组输入数据的期望输出，y^k表示为第k组输入数据的实际输出，E表示均方误差，均方误差E越小越好。

3.根据权利要求1所述的基于鸽群优化算法的多层感知器训练方法，其特征在于：步骤2中，更新鸽子的位置X和速度V的具体公式为：

V_i(t)＝V_i(t-1)·e^-Rt+rand·(X_g-X_i(t-1))

X_i(t)＝X_i(t-1)+V_i(t)

式中，X_i(t)表示为第t此迭代时的个体位置，V_i(t)表示为第t次迭代时的个体速度，t表示为当前迭代次数；R表示指南针因子，rand表示为0到1之间的随机数，X_g表示为当前的全局最优解，通过比较当前鸽群的适应度值获得。

4.根据权利要求1所述的基于鸽群优化算法的多层感知器训练方法，其特征在于：步骤3中，个体的适应度值是多层感知器的性能指标，具体计算公式为：

其中，T^k表示为第k组输入数据的期望输出，y^k表示为第k组输入数据的实际输出，E表示均方误差，均方误差E越小越好。

5.根据权利要求1所述的基于鸽群优化算法的多层感知器训练方法，其特征在于，步骤5的具体实现包括以下子步骤：

步骤5.1：在地标算子阶段，将鸽子按照适应度值进行排序，然后每次迭代时舍弃适应度差的一半，具体公式如下：

其中，N(t)表示为第t次迭代时的种群数量；

步骤5.2：选择适应度值好的另一半鸽子种群作为当前种群，然后确定当前种群位置中心，具体公式如下：

其中，Xc()表示为当前的种群位置中心，fitness()表示为鸽子个体的适应度值，即最小均方误差；X_i(t)表示为第t代的个体位置；

步骤5.3：鸽子朝向中心位置移动，更新鸽子的位置，具体公式如下：

Xi(t)＝Xi(t-1)+rand*(Xc(t)-Xi(t-1))

其中，rand表示为0到1之间的随机数。

6.根据权利要求1-5任意一项所述的基于鸽群优化算法的多层感知器训练方法，其特征在于：所述历史最优，其值为均方误差最小值，然后输出当前最小均方误差最小的个体位置X，X即表示为最优值。