CN104361393B - 基于粒子群优化算法改进的神经网络模型用于数据预测方法 - Google Patents
基于粒子群优化算法改进的神经网络模型用于数据预测方法 Download PDFInfo
- Publication number
- CN104361393B CN104361393B CN201410451866.4A CN201410451866A CN104361393B CN 104361393 B CN104361393 B CN 104361393B CN 201410451866 A CN201410451866 A CN 201410451866A CN 104361393 B CN104361393 B CN 104361393B
- Authority
- CN
- China
- Prior art keywords
- particle
- represent
- value
- sub
- hidden layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000002245 particle Substances 0.000 title claims abstract description 368
- 238000005457 optimization Methods 0.000 title claims abstract description 84
- 238000003062 neural network model Methods 0.000 title claims abstract description 77
- 238000000034 method Methods 0.000 title claims abstract description 32
- 210000002569 neuron Anatomy 0.000 claims abstract description 89
- 230000001537 neural effect Effects 0.000 claims abstract description 32
- 230000006870 function Effects 0.000 claims description 121
- 239000011159 matrix material Substances 0.000 claims description 20
- 239000013598 vector Substances 0.000 claims description 18
- 230000000694 effects Effects 0.000 claims description 14
- 230000019771 cognition Effects 0.000 claims description 10
- 239000012141 concentrate Substances 0.000 claims description 4
- 210000004218 nerve net Anatomy 0.000 claims description 3
- 241000208340 Araliaceae Species 0.000 claims 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 2
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 2
- 238000001514 detection method Methods 0.000 claims 2
- 235000008434 ginseng Nutrition 0.000 claims 2
- 230000005540 biological transmission Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000004883 computer application Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 4
- 241001269238 Data Species 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 239000013604 expression vector Substances 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
Abstract
本发明涉及计算机应用工程技术领域,是一种基于粒子群优化算法改进的神经网络模型用于数据预测方法,按照下述步骤进行:步骤1:数据样本的表示;步骤2:数据的预处理;步骤3:RBF神经网络参数初始化;步骤4:利用二元粒子群优化算法确定隐含层神经元的数目和隐含层径向基核函数的中心;步骤5:初始化局部粒子群优化算法的各个参数。本发明所述的基于粒子群优化算法改进的神经网络模型用于数据预测方法能够易于确定RBF神经网络模型隐含层神经元的数目,从而改善了RBF神经网络性能,提高了数据预测的精确度,同时,本发明中的基于粒子群优化算法改进的神经网络模型具有模型复杂度低,鲁棒性强,可扩展性好的特点。
Description
技术领域
本发明涉及计算机应用工程技术领域,是一种基于粒子群优化算法改进的神经网络模型用于数据预测方法。
背景技术
RBF(radial basis function)神经网络模型是一种自组织自学习的结构化的预测方法,它可以根据一段时期内的历史检测数据,通过自组织自学习的方法建立一种结构化的预测模型,该模型能够最大程度上描述并追踪数据的变化规律,并对未知的数据作出最大概率的预测。该模型由于结构简单、参数较小、性能较优等特点被广泛采用。
但是,在工程应用中,RBF神经网络模型隐含层神经元的数目对网络的性能有较大的影响,如果隐含层神经元数目过少,则网络无法学习到样本的内在规律,对数据的学习能力降低,如果隐含层神经元的数目过多则容易导致“过拟合”问题,即模型对数据的学习过于充分,以至于对噪声数据都进行了充分的学习,在实际预测时预测性能不是很好,因此根据样本的规模和维数确定最佳隐含层神经元的数目对提高网络性能至关重要。
粒子群优化算法是一种群体智能算法,它通过众多粒子之间的信息共享机制在空间中循环迭代向全局最优解无限逼近,粒子群优化算法由于模型简单、参数少被广泛的应用于非线性、不可微和多峰值的复杂问题的求解。
发明内容
本发明提供了一种基于粒子群优化算法改进的神经网络模型用于数据预测方法,克服了上述现有技术之不足,其能有效解决RBF神经网络模型隐含层神经元的数目不易确定对RBF神经网络性能有较大影响的问题。
本发明的技术方案是通过以下措施来实现的:一种基于粒子群优化算法改进的神经网络模型用于数据预测方法,按照下述步骤进行:
步骤1:数据样本的表示,使用变量表示第i个样本,使用表示第i个样本的第t个分量;
步骤2:数据的预处理,根据数据样本构建训练样本集Xtrain={x1,x2,…,xN}和测试样本集Xtest={x1,x2,…,xK};
步骤3:RBF神经网络参数初始化,根据训练样本集的维数M确定输入层神经元的数目Ninput=M,根据要预测的数据的维数确定输出层神经元的数目Noutput=P;
步骤4:利用二元粒子群优化算法确定隐含层神经元的数目和隐含层径向基核函数的中心,其中:隐含层神经元的数目用H表示,隐含层径向基核函数的表达式为i=1,2,…,H,隐含层径向基核函数的中心用ci表示;
步骤5:初始化局部粒子群优化算法的各个参数,包括粒子群数目,粒子群数目用Nl-swarm表示;粒子群的位置用表示,粒子的位置表示RBF神经网络隐含层到输出层的权值矩阵w;粒子群的速度用表示;最大迭代次数用tl-max表示;适应度函数精度用ρlpso表示;k近邻算法中k的初始值k=1;
步骤6:根据适应度函数计算各粒子的适应度值,其中:N表示训练样本集中样本的数目;β是控制系数,从[0,1]之间取随机数;wj表示隐含层和输出层的权值;yi表示第i个样本对应的期望输出值;
f(xi)表示第i个样本对应的模型实际实际输出值,其函数公式为Gi(xi,ci)为隐含层第i神经元的输出,其函数公式为其中xi为第i个输入样本向量,ci为隐含层第i个神经元径向基核函数的中心向量,||·||2表示向量的欧几里得距离;
步骤7:更新全局最优粒子的位置和个体的历史最优位置,从粒子群中选择具有最小适应度函数值的粒子为全局最优粒子pgbest,个体最优粒子pbest与初始化时粒子的位置相同;
步骤8:通过k近邻算法计算局部粒子群优化算法中各粒子的邻域最优粒子plbest;
步骤9:根据公式更新粒子的速度;其中:ω表示惯性系数,根据公式计算,其中wstart为惯性权重初始值,wend为惯性权重最终值,t表示当前的迭代次数,tmax表示最大迭代次数;表示第i个粒子第d维第t次迭代的值;c1,c2表示认知系数,取值为2;r1,r2为随机系数;表示第t次迭代,第i个粒子的个体历史最优位置第d维的值;表示第t次迭代第i个粒子位置第d维的值;表示第t次迭代第i个粒子的邻域最优粒子位置第d维的值;α为调节系数,α∈[0,1],用于调节粒子对全局最优粒子和邻域最优粒子的适应度,α的变化根据公式计算求得;
步骤10:根据公式更新粒子的位置;η是调节系数,从[0,1]之间取随机数;
步骤11:判断局部粒子群优化算法是否达到最大迭代次数tl-max或预先设定的精度ρlpso;即t>tl-max或p<plpso两者是否有一个成立,如果两者有一个成立则转到步骤12,否则返回步骤6;
步骤12:从粒子群中选择适应度函数值最小的粒子;该粒子的位置参数即作为神经网络隐含层到输出层的权值矩阵W;
步骤13:RBF神经网络模型的建立,根据得到的模型参数建立RBF神经网络模型,模型参数包括通过二元粒子群优化算法得到的隐含层神经元的数目H、隐含层径向基核函数的中心和通过局部粒子群优化算法得到的隐含层到输出层的权值矩阵W;
步骤14:利用RBF神经网络模型进行数据预测,用测试样本集作为RBF神经网络模型的输入样本,利用建立好的RBF神经网络模型,用于对未知的数据进行预测,RBF网络模型隐含层采用径向基核函数,径向基核函数公式为xi表示输入样本,ci表示隐含层第i个神经元核函数的中心,σ表示核函数的宽度,利用公式计算RBF神经网络模型的预测输出值,即对未知数据的预测值。
下面是对上述发明技术方案的进一步优化或/和改进:
上述步骤4可包括以下子步骤:
子步骤401:二元粒子群优化算法参数初始化,初始化粒子群的数目用Nswarm表示;随机初始化粒子群的位置用表示,其中t=(1,2,…,tmax},中0表示该位置没有神经元节点,1表示该位置有神经元节点,t表示当前的迭代次数,tmax表示最大迭代次数;随机初始化粒子群各粒子的速度,用表示,其中二元粒子群算法收敛的精度值,用ξ表示;
子步骤402:选取二元粒子群中的最优粒子,根据最优粒子表示的神经元数目用K-Means算法进行聚类,二元粒子群算法第一次迭代时,随机选取一个粒子作为最优粒子,从二元粒子群算法第二次开始迭代时,根据各粒子适应度函数的值选取全局最优粒子;
所述K-Means算法包括:
子步骤40201:根据二元粒子表示的神经元节点的数目k,初始化聚类中心,用表示第j个聚类中心;
子步骤40202:根据公式计算每个数据样本到聚类中心的距离,选取距离数据样本最近的聚类中心,并把该数据样本点归为该类,其中ci表示第xi样本所属的类,μj表示第j个聚类中心;
子步骤40203:根据公式计算新的聚类中心;
子步骤40204:返回子步骤40201,循环迭代,直到收敛,即聚类中心不再变化,返回误差平方和函数的值及聚类得到的k个聚类中心,误差平方和函数用SEE表示,误差平方和函数是度量聚类效果的指标;
子步骤403:根据公式fitness=γ(m/mmax)+μ·SSE计算二元粒子群各粒子适应度函数的值,其中:γ,μ∈[0,1],m表示当前神经元的数目,mmax表示隐含层神经元的最大数目;
子步骤404:根据各个粒子的适应度函数的值,选择适应度函数值最小的粒子作为全局最优粒子pgbest,并更新各粒子的历史最优值plbest;
子步骤405:根据公式计算下一次迭代时粒子的速度,其中:ω表示惯性系数,c1和c2表示认知系数,c1和c2取值为2,r1,r2表示随机系数,表示粒子的历史最优位置值,表示当前最优位置,表示的是粒子位置前后变化的汉明距离,表示粒子的全局最优位置,表示当前位置,表示全局最优粒子的位置和当前位置的汉明距离;
子步骤406:计算下一次迭代时粒子的位置,计算的值,并判断条件 是否成立,当条件成立时,则当条件不成立时,则其中:r是[0,1]之间的随机数;
子步骤407:判断二元粒子群优化算法是否达到了最大迭代次数或达到设定的收敛精度值ξ,即t>tmax是否成立或fitness<ξ是否成立,如果条件之一成立则执行步骤5,否则返回步骤402,通过二元粒子群优化算法和K-Means算法得到了RBF隐含层神经元的最佳数目K以及对应的聚类中心μj。
上述步骤8可包括以下子步骤:
子步骤801:根据k近邻算法和粒子群中粒子各维的值构建kd树;
子步骤802:根据kd树搜索原理,找到每个粒子的k个最近邻粒子即top(k)个粒子;
子步骤803:根据搜索得到的k个最近邻粒子的适应度函数值,确定每个粒子的邻域最优粒子plbest;
子步骤804:k=k+1,即下一次迭代时各粒子的邻域扩大一个粒子的范围,直到最后k的值等于粒子群的规模,k=Nl-swarm。
本发明所述的基于粒子群优化算法改进的神经网络模型用于数据预测方法能够易于确定RBF神经网络模型隐含层神经元的数目,从而改善了RBF神经网络性能,提高了数据预测的精确度,同时,本发明中的基于粒子群优化算法改进的神经网络模型具有模型复杂度低,鲁棒性强,可扩展性好的特点。
附图说明
附图1为本发明的流程示意图。
附图2为基于传统RBF神经网络模型的PM2.5浓度值的预测结果与实施例4的PM2.5浓度值的预测结果的对比图。
附图3为基于传统RBF神经网络模型的PM2.5浓度值的预测偏差与实施例4的PM2.5浓度值的预测结果的对比图。
附图4为24小时网络时延数据序列图。
附图5为基于传统RBF神经网络模型的时延预测结果与实施例5的时延预测结果的对比图。
附图6为基于传统RBF神经网络模型的时延预测偏差与实施例5的时延预测偏差的对 比图。
具体实施方式
本发明不受下述实施例的限制,可根据本发明的技术方案与实际情况来确定具体的实施方式。
下面结合实施例及附图对本发明作进一步描述:
实施例1:如附图1所示,该基于粒子群优化算法改进的神经网络模型用于数据预测方法,按照下述步骤进行:
步骤1:数据样本的表示,使用变量表示第i个样本,使用表示第i个样本的第t个分量;
步骤2:数据的预处理,根据数据样本构建训练样本集Xtrain={x1,x2,…,xN}和测试样本集Xtest={x1,x2,…,xK};
步骤3:RBF神经网络参数初始化,根据训练样本集的维数M确定输入层神经元的数目Ninput=M,根据要预测的数据的维数确定输出层神经元的数目Noutput=P;
步骤4:利用二元粒子群优化算法确定隐含层神经元的数目和隐含层径向基核函数的中心,其中:隐含层神经元的数目用H表示,隐含层径向基核函数的表达式为i=1,2,…,H,隐含层径向基核函数的中心用ci表示;
步骤5:初始化局部粒子群优化算法的各个参数,包括粒子群数目,粒子群数目用Nl-swarm表示;粒子群的位置用表示,粒子的位置表示RBF神经网络隐含层到输出层的权值矩阵w;粒子群的速度用表示;最大迭代次数用tl-max表示;适应度函数精度用ρlpso表示;k近邻算法中k的初始值k=1;
步骤6:根据适应度函数计算各粒子的适应度值,其中:N表示训练样本集中样本的数目;β是控制系数,从[0,1]之间取随机数;wj表示隐含层和输出层的权值;yi表示第i个样本对应的期望输出值;f(xi)表示第i个样本对应的模型实际实际输出值,其函数公式为Gi(xi,ci)为隐含层第i神经元的输出,其函数公式为其中xi为第i个输入样本向量,ci为隐含层第i个神经元径向基核函数的中心向量,||·||2表示向量的欧几里得距离;
步骤7:更新全局最优粒子的位置和个体的历史最优位置,从粒子群中选择具有最小适应度函数值的粒子为全局最优粒子pgbest,个体最优粒子pbest与初始化时粒子的位置相同;
步骤8:通过k近邻算法计算局部粒子群优化算法中各粒子的邻域最优粒子plbest;
步骤9:根据公式更新粒子的速度;其中:ω表示惯性系数,根据公式计算,其中wstart为惯性权重初始值,wend为惯性权重最终值,t表示当前的迭代次数,tmax表示最大迭代次数;表示第i个粒子第d维第t次迭代的值;c1,c2表示认知系数,取值为2;r1,r2为随机系数;表示第t次迭代,第i个粒子的个体历史最优位置第d维的值;表示第t次迭代第i个粒子位置第d维的值;表示第t次迭代第i个粒子的邻域最优粒子位置第d维的值;α为调节系数,α∈[0,1],用于调节粒子对全局最优粒子和邻域最优粒子的适应度,α的变化根据公式计算求得;
步骤10:根据公式更新粒子的位置;η是调节系数,从[0,1]之间取随机数;
步骤11:判断局部粒子群优化算法是否达到最大迭代次数tl-max或预先设定的精度ρlpso;即t>tl-max或p<plpso两者是否有一个成立,如果两者有一个成立则转到步骤12,否则返回步骤6;
步骤12:从粒子群中选择适应度函数值最小的粒子;该粒子的位置参数即作为神经网络隐含层到输出层的权值矩阵W;
步骤13:RBF神经网络模型的建立,根据得到的模型参数建立RBF神经网络模型,模型参数包括通过二元粒子群优化算法得到的隐含层神经元的数目H、隐含层径向基核函数的中心和通过局部粒子群优化算法得到的隐含层到输出层的权值矩阵W;
步骤14:利用RBF神经网络模型进行数据预测,用测试样本集作为RBF神经网络模型的输入样本,利用建立好的RBF神经网络模型,用于对未知的数据进行预测,RBF网络模型隐含层采用径向基核函数,径向基核函数公式为xi表示输入样本,ci表示隐含层第i个神经元核函数的中心,σ表示核函数的宽度,利用公式计算RBF神经网络模型的预测输出值,即对未知数据的预测值。实施例2:与上述实施例的不同之处在于,步骤4包括以下子步骤:
子步骤401:二元粒子群优化算法参数初始化,初始化粒子群的数目用Nswarm表示;随机初始化粒子群的位置用表示,其中t={1,2,…,tmax},0表示该位置没有神经元节点,1表示该位置有神经元节点,t表示当前的迭代次数,tmax表示最大迭代次数;随机初始化粒子群各粒子的速度,用表示,其中二元粒子群算法收敛的精度值,用ξ表示;
子步骤402:选取二元粒子群中的最优粒子,根据最优粒子表示的神经元数目用K-Means算法进行聚类,二元粒子群算法第一次迭代时,随机选取一个粒子作为最优粒子,从二元粒子群算法第二次开始迭代时,根据各粒子适应度函数的值选取全局最优粒子;
所述K-Means算法包括:
子步骤40201:根据二元粒子表示的神经元节点的数目k,初始化聚类中心,用表示第j个聚类中心;
子步骤40202:根据公式计算每个数据样本到聚类中心的距离,选取距离数据样本最近的聚类中心,并把该数据样本点归为该类,其中ci表示第xi样本所属的类,μj表示第j个聚类中心;
子步骤40203:根据公式计算新的聚类中心;
子步骤40204:返回子步骤40201,循环迭代,直到收敛,即聚类中心不再变化,返回误差平方和函数的值及聚类得到的k个聚类中心,误差平方和函数用SEE表示,误差平方和函数是度量聚类效果的指标;
子步骤403:根据公式fitness=γ(m/mmax)+μ·SSE计算二元粒子群各粒子适应度函数的值,其中:γ,μ∈[0,1],m表示当前神经元的数目,mmax表示隐含层神经元的最大数目;
子步骤404:根据各个粒子的适应度函数的值,选择适应度函数值最小的粒子作为全局最优粒子pgbest,并更新各粒子的历史最优值plbest;
子步骤405:根据公式计算下一次迭代时粒子的速度,其中:ω表示惯性系数,c1和c2表示认知系数,c1和c2取值为2,r1,r2表示随机系数,表示粒子的历史最优位置值,表示当前最优位置,表示的是粒子位置前后变化的汉明距离,表示粒子的全局最优位置,表示当前位置,表示全局最优粒子的位置和当前位置的汉明距离;
子步骤406:计算下一次迭代时粒子的位置,计算的值,并判断条件 是否成立,当条件成立时,则当条件不成立时,则其中:r是[0,1]之间的随机数;
子步骤407:判断二元粒子群优化算法是否达到了最大迭代次数或达到设定的收敛精度值ξ,即t>tmax是否成立或fitness<ξ是否成立,如果条件之一成立则执行步骤5, 否则返回步骤402,通过二元粒子群优化算法和K-Means算法得到了RBF隐含层神经元的最佳数目K以及对应的聚类中心μj。
实施例3:与上述实施例的不同之处在于,步骤8包括以下子步骤:
子步骤801:根据k近邻算法(k-nearest neighbor,k-NN)和粒子群中粒子各维的值构建kd树(k-dimensional tree);
子步骤802:根据kd树搜索原理,找到每个粒子的k个最近邻粒子即top(k)个粒子;
子步骤803:根据搜索得到的k个最近邻粒子的适应度函数值,确定每个粒子的邻域最优粒子plbest;
子步骤804:k=k+1,即下一次迭代时各粒子的邻域扩大一个粒子的范围,直到最后k的值等于粒子群的规模,k=Nl-swarm。
实施例4:采用本发明所述的基于粒子群优化算法改进的神经网络模型用于数据预测方法对某市2013年1月1号到2013年8月26号的PM2.5浓度进行预测,以SO2,NO2,PM10,CO,O3的浓度值作为PM2.5浓度的影响因素,
步骤1:数据样本的表示,在以下的集合中,从左到右各数据依次表示SO2,NO2,PM10,CO,O3的浓度值,
步骤2:数据预处理,训练样本集Xtrain,测试样本集Xtest,Xtrain的样本数为100,Xtest的样本数为100;
步骤3:RBF神经网络参数初始化,根据训练样本集的维数M=5,可以确定输入层神经元的数目Ninput=5,根据要预测的指标值的维数确定输出层神经元的数目Noutput=1;
步骤4:利用二元粒子群优化算法确定隐含层神经元的数目H和隐含层径向基核函数,隐含层径向基核函数用表示,隐含层径向基核函数的中心为ci,i=1,2,…,H;
步骤4又包括:
子步骤401:二元粒子群优化算法参数初始化,初始化粒子群的数目Nswarm=40;随机初始化粒子群的位置,其中t={1,2,…,tmax},0表示该位置没有神经元节点,1表示该位置有神经元节点,t表示当前的迭代次数,tmax=200 表示最大迭代次数为200次;随机初始化粒子群各粒子的速度二元粒子群算法收敛的精度值ξ=0.01;
子步骤402:选取二元粒子群中的最优粒子,用该粒子表示的神经元数目k,根据K-Means算法进行聚类。二元粒子群优化算法第一次迭代时随机选取一个粒子作为最优粒子,二元粒子群优化算法从第二次开始根据适应度函数的值选取全局最优粒子;
所述K-Means算法包括:
子步骤40201:根据二元粒子表示的神经元节点的数目k,初始化聚类中心,用表示第j个聚类中心;
子步骤40202:根据公式计算每个数据样本到聚类中心的距离,选取距离该数据样本最近的聚类中心,并数据样本归为该类,其中ci表示第xi样本所属的类,μj表示第j个聚类中心;
子步骤40203:根据公式计算新的聚类中心;
子步骤40204:返回子步骤40201,循环迭代,直到收敛,即聚类中心不再变化,返回误差平方和函数的值及聚类得到的k个聚类中心,误差平方和函数用SEE表示,误差平方和函数是度量聚类效果的指标;
子步骤403:根据公式fitness=γ(m/mmax)+μ·SSE计算二元粒子群各粒子适应度函数的值,其中:γ,μ∈[0,1],m表示当前神经元的数目,mmax表示隐含层神经元的最大数目100;
子步骤404:根据各个粒子的适应度函数值,选择适应度函数值最小的粒子作为全局最优粒子pgbest,并更新各粒子的历史最优值plbest;
子步骤405:根据公式计算下一次迭代时粒子的速度,其中:ω表示惯性系数,c1和c2表示认知系数,c1和c2取值为2,r1,r2表示随机系数,表示粒子的历史最优位置值,表示当前最优位置,表示的是粒子位置前后变化的汉明距离,表示粒子的全局最优位置,表示当前位置,表示全局最优粒子的位置和当前位置的汉明距离;
子步骤406:计算下一次迭代时粒子的位置,计算的值,并判断条件 是否成立,当条件成立时,则当条件不成立时,则其中:r是[0,1]之间的随机数;
子步骤407:判断二元粒子群优化算法是否达到了最大迭代次数或达到设定的收敛精度值ξ,即t>tmax是否成立或fitness<ξ是否成立,如果条件之一成立则执行步骤5,否则返回步骤402,通过二元粒子群优化算法和K-Means算法得到了RBF隐含层神经元的最佳数目K=11,聚类中心矩阵为11×5的矩阵;
步骤5:初始化局部粒子群优化算法的各个参数,包括粒子群数目,Nl-swarm=40;随机初始化粒子群的位置随机初始化粒子群的速度最大迭代次数tl-max=300;适应度函数精度ρlpso=0.01;k近邻算法中k的初始值K=1;
步骤6:根据适应度函数计算各粒子的适应度值;其中:N=100;β是控制系数,取[0,1]之间的随机数;wj表示隐含层和输出层的权值;yi表示第i个样本对应的期望输出值;f(xi)表示第i个样本对应的模型实际实际输出值,其函数公式为Gi(xi,ci)为隐含层第i神经元的输出,其函数公式为其中xi为第i个输入样本向量,ci为隐含层第i个神经元径向基核函数的中心向量,||·||2表示向量的欧几里得距离;
步骤7:从粒子群中选择具有最小适应度函数值的粒子为全局最优粒子pgbest,个体最优粒子pbest与初始化时粒子的位置相同;
步骤8:通过K近邻算法计算局部粒子群优化算法中各粒子的邻域最优粒子plbest;
所述步骤8又包括:
子步骤801:根据k近邻算法(k-nearest neighbor,k-NN)和粒子群中粒子各维的值构建kd树(k-dimensional tree);
子步骤802:根据kd树搜索原理,找到每个粒子的k个最近邻粒子即top(k)个粒子;
子步骤803:根据搜索得到的k个最近邻粒子的适应度函数值,确定每个粒子的邻域最优粒子plbest;
子步骤804:k=k+1,即下一次迭代时各粒子的邻域扩大一个粒子的范围,直到最后k的值等于粒子群的规模,k=Nl-swarm;
步骤9:根据公式更新粒子的速度,其中:ω表示惯性系数,根据公式计算,其中wstart=0.9,wend=0.2,t表示当前的迭代次数,tmax=200;表示第i个粒子第d维第t次迭代的值;c1,c2表示认知系数,通常取值为2;r1,r2为随机系数;表示第t次迭代,第i个粒子的个体历史最优位置第d维的值;表示第t次迭代第i个粒子位置第d维的值;表示第t次迭代第i个粒子的邻域最优粒子位置第d维的值;α为调节系数,α∈[0,1],用于调节粒子对全局最优粒子和邻域最优粒子的适应度α的变化根据公式计算求得;
步骤10:根据公式更新粒子的位置,η是调节系数,从[0,1]之间取随机数;
步骤11:判断局部粒子群优化算法是否达到最大迭代次数tl-max或预先设定的精度ρlpso,即t>tl-max或p<plpso两者是否有一个成立,如果两者有一个成立则转到步骤12,否则返回步骤6;
步骤12:从粒子群中选择适应度函数值最小的粒子,该粒子的位置参数即作为神经网络隐含层到输出层的权值矩阵W,
W=[-2.33,2.94,-1.18,-0.97,7.16,-2.55,-0.97,0.18,17.96,,2.04,-0.03,];
步骤13:RBF神经网络模型的建立,根据得到的模型参数建立RBF神经网络模型,模型参数包括通过二元粒子群优化算法得到的隐含层神经元的数目H=11、隐含层径向基核函数的中心和通过局部粒子群优化算法得到的隐含层到输出层的权值矩阵W;
步骤14:利用RBF神经网络模型进行数据预测,用测试样本集作为RBF神经网络模型的输入样本,利用建立好的RBF神经网络模型,用于对未知的数据进行预测,RBF网络模型隐含层采用径向基核函数,径向基核函数公式为xi表示输入样本,ci表示隐含层第i个神经元核函数的中心,σ表示核函数的宽度,利用公式 计算RBF神经网络模型的预测输出值,即为未来PM2.5的浓度值的预测值。在图2中,左图为基于传统RBF神经网络模型的PM2.5浓度值的预测结果与实际的PM2.5浓度值,右图为实施例4的PM2.5浓度值的预测结果与实际的PM2.5浓度值,通过图2可知,基于传统RBF神经网络模型和实施例4对测试样本集的拟合程度都有较好的曲线拟合,但是左图对曲线的拟合程度明显不如右图对曲线的拟合程度,即实施例4所述方法对PM2.5浓度值的曲线拟合效果(预测效果)优于基于传统RBF神经网络模型曲线拟合效果。在图3中,左图为基于传统RBF神经网络模型的PM2.5浓度值预测偏差,右图为实施例4的PM2.5浓度值预测偏差,横轴表示数据样本的下标,纵轴表示两种方法对数据进行预测的误差大小,通过图3可知,实施例4对数据的预测误差明显小于基于传统RBF神经网络模型的预测误差,而且预测误差抖动性小,说明了实施例4所述方法对数据预测的有效性,即说明实施例4所述方法能够提高数据预测的精确度。表1为基于传统RBF神经网络模型(传统模型)的PM2.5浓度值预测中训练集与测试集中的平均绝对百分误差(MAPE)、标准误差(RMSE)和隐含层神经元数目(Hidden nodes)与实施例4(本发明模型)中PM2.5浓度值预测中训练集与测试集中的平均绝对百分误差(MAPE)、标准误差(RMSE)和隐含层神经元数目(Hidden nodes),由表1可知,采用实施例4所述方法对PM2.5浓度值进行预测时,其各个参数指标在训练样本集和测试样本集上都有相比于传统RBF神经网络模型更小的误差值,而且隐含层神经元的节点数相比之下也更少,模型冗余度降低,改善了RBF神经网络性能。
实施例5:采用本发明所述的基于粒子群优化算法改进的神经网络模型用于数据预测方法对网络传输时延进行预测,本实施例以2013年8月11号到2013年8月24号期间北京市某服务器与位于香港的某服务器之间的往返时延对未来的网络传输时延进行预测,
步骤1:数据样本的表示,在本实施例中用连续11个检测值表示当前时段的时延值,样本的表示用一个11维的向量表示,这里仅列出前3个样本;
步骤2:数据预处理,将收集到的样本数据分成两部分,包括:训练样本集Xtrain和测试样本集Xtest,Xtrain的样本数为500,Xtest的样本数为500;
步骤3:RBF神经网络参数初始化,根据训练样本集的维数M=11,可以确定输入层神经元的数目Ninput=11,根据待预测的指标值的数目确定输出层神经元的数目Noutput=1;
步骤4:利用二元粒子群优化算法确定隐含层神经元的数目H和隐含层径向基核函数 的中心ci,i=1,2,…,H;
步骤4又包括:
子步骤401:二元粒子群优化算法参数初始化,初始化粒子群的数目Nswarm=80;随机初始化粒子群的位置,其中:t={1,2,…,tmax}, 0表示该位置没有神经元节点,1表示该位置有神经元节点,t表示当前的迭代次数,最大迭代次数tmax=200;随机初始化粒子群各粒子的速度二元粒子群算法收敛的精度值ξ=0.01;
子步骤402:选取二元粒子群中的最优粒子,用该粒子表示的神经元数目k,根据K-Means算法进行聚类。二元粒子群优化算法第一次迭代时随机选取一个粒子作为最优粒子,二元粒子群优化算法从第二次开始根据适应度函数的值选取全局最优粒子;
所述K-Means算法包括:
子步骤40201:根据二元粒子表示的神经元节点的数目k,初始化聚类中心,用表示第j个聚类中心;
子步骤40202:根据公式计算每个数据样本到聚类中心的距离,选取距离该数据样本最近的聚类中心,并数据样本归为该类,其中ci表示第xi样本所属的类,μj表示第j个聚类中心;
子步骤40203:根据公式计算新的聚类中心;
子步骤40204:返回子步骤40201,循环迭代,直到收敛,即聚类中心不再变化,返回误差平方和函数的值及聚类得到的k个聚类中心,误差平方和函数用SEE表示,误差平方和函数是度量聚类效果的指标;
子步骤403:根据公式fitness=γ(m/mmax)+μ·SSE计算二元粒子群各粒子适应度函数的值,其中:γ,μ∈[0,1],m表示当前神经元的数目,mmax表示隐含层神经元的最大数目500;
子步骤404:根据各个粒子的适应度函数值,选择适应度函数值最小的粒子作为全局最优粒子pgbest,并更新各粒子的历史最优值plbest;
子步骤405:根据公式计算下一次迭代时粒子的速度,其中:ω表示惯性系数,c1和c2表示认知系数,c1和c2取值为2,r1,r2表示随机系数,表示粒子的历史最优位置值,表示当前最优位置,表示的是粒子位置前后变化的汉明距离,表示粒子的全局最优位置,表示当前位置,表示全局最优粒子的位置和当前位置的汉明距离;
子步骤406:计算下一次迭代时粒子的位置,计算的值,并判断条件 是否成立,当条件成立时,则当条件不成立时,则其中:r是[0,1]之间的随机数;
子步骤407:判断二元粒子群优化算法是否达到了最大迭代次数或达到设定的收敛精度值ξ,即t>tmax是否成立或fitness<ξ是否成立,如果条件之一成立则执行步骤5,否则返回步骤402,通过二元粒子群优化算法和K-Means算法
得到了RBF隐含层神经元的最佳数目K为29,聚类中心矩阵为29×11的矩阵;
步骤5:初始化局部粒子群优化算法的各个参数,包括粒子群数目,Nl-swarm=200;随机初始化粒子群的位置随机初始化粒子群的速度最大迭代次数tl-max=300;适应度函数精度ρlpso=0.01;K近邻算法中K的初始值K=1;
步骤6:根据适应度函数计算各粒子的适应度值,其中:N=500;β是控制系数,取[0,1]之间的随机数;wj表示隐含层和输出层的权值;yi表示第i个样本对应的期望输出值;f(xi)表示第i个样本对应的模型实际实际输出值,其函数公式为Gi(xi,ci)为隐含层第i神经元的输出,其函数公式为其中xi为第i个输入样本向量,ci为隐含层第i个神经元径向基核函数的中心向量,||·||2表示向量的欧几里得距离;
步骤7:从粒子群中选择具有最小适应度函数值的粒子为全局最优粒子pgbest,个体最优粒子pbest与初始化时粒子的位置相同;
步骤8:通过k近邻算法计算局部粒子群优化算法中各粒子的邻域最优粒子plbest;
所述步骤8又包括:
子步骤801:根据k近邻算法(k-nearest neighbor,k-NN)和粒子群中粒子各维的值构建kd树(k-dimensional tree);
子步骤802:根据kd树搜索原理,找到每个粒子的k个最近邻粒子即top(k)个粒子;
子步骤803:根据搜索得到的k个最近邻粒子的适应度函数值,确定每个粒子的邻域最优粒子plbest;
子步骤804:k=k+1,即下一次迭代时各粒子的邻域扩大一个粒子的范围,直到最后k的值等于粒子群的规模,k=Nl-swarm;
步骤9:根据公式更新粒子的速度,其中:ω表示惯性系数,根据公式计算,其中wstart=0.9,wend=0.2,t表示当前的迭代次数,tmax=500;表示第i个粒子第d维第t次迭代的值;c1,c2表示认知系数,取值为2;r1,r2为随机系数;表示第t次迭代,第i个粒子的个体历史最优位置第d维的值;表示第t次迭代第i个粒子位置第d维的值;表示第t次迭代第i个粒子的邻域最优粒子位置第d维的值;α为调节系数,α∈[0,1],用于调节粒子对全局最优粒子和邻域最优粒子的适应度α的变化根据公式计算求得;
步骤10:根据公式更新粒子的位置,η是调节系数,从[0,1]之间取随机数;
步骤11:判断局部粒子群优化算法是否达到最大迭代次数tl-max或预先设定的精度ρlpso,即t>tl-max或p<plpso两者是否有一个成立,如果两者有一个成立则转到步骤12,否则返回步骤6;
步骤12:从粒子群中选择适应度函数值最小的粒子,该粒子的位置参数即作为神经网络隐含层到输出层的权值矩阵W;
W=[52.064,55.692,100.0,100.0,18.906,…,61.592,-10.0,100.0,49.329]
步骤13:RBF神经网络模型的建立,根据得到的模型参数建立RBF神经网络模型,模型参数包括通过二元粒子群优化算法得到的隐含层神经元的数目H=29、隐含层径向基核函数的中心和通过局部粒子群优化算法得到的隐含层到输出层的权值矩阵W;
步骤14:利用RBF神经网络模型进行数据预测,用测试样本集作为RBF神经网络模型的输入样本,利用建立好的RBF神经网络模型,用于对未知的数据进行预测,RBF网络模型隐含层采用径向基核函数,径向基核函数公式为xi表示输入样本,ci表示隐含层第i个神经元核函数的中心,σ表示核函数的宽度,利用公式计算RBF神经网络模型的预测输出值,即为未来Internet时延值的预测值。由图4可知,在凌晨时间段,网络负载少,拥塞程度低,网络几乎没有拥塞,在这种情况下,网络时延大多在40ms附近波动,且波动范围较小,基本稳定在40ms左右,但是在白天,网络时延序列的第6000个时延数据开始,网络时延呈上升趋势,说明随着人们对网络的利用,网络负载增多,时延也逐渐增大,到了晚上时间段达到最大值150ms左右,且时延抖动明显,说明时延序列是有一定的规律性的,即网络时延与网络的拥塞状况成一定的正比关系。在图5中,左图为基于传统RBF神经网络模型的时延预测结果,右图为实施例5的时延预测结果,通过左图可知,基于传统RBF神经网络模型的时延预测结果图虽然在一定程度上可以跟踪网络时延的变化规律,但是时延预测误差比较大,而通过右图可知,实施例5获得的时延预测结果的精度较高,即说明采用实施例5所述方法能够提高时延预测的精确度。在图6中,左图为基于传统RBF神经网络模型的时延预测偏差,右图为实施例5的时延预测偏差,通过图6可知,基于传统RBF神经网络模型的时延预测偏差大于实施例5的时延预测偏差,说明采用实施例5所述方法能够提高时延预测的精确度。表2为基于传统RBF神经网络模型(传统模型)的时延预测中训练集与测试集中的平均绝对百分误差(MAPE)、标准误差(RMSE)和隐含层神经元数目(Hidden nodes)与实施例5(本发明模型)中时延预测中训练集与测试集中的平均绝对百分误差(MAPE)、标准误差(RMSE)和隐含层神经元数目(Hidden nodes),由表2可知,基于传统RBF神经网络模型,在时延预测上,需要更多的神经元才能达到较好的预测效果,训练集的MAPE小于测试集的MAPE,训练集的RMSE小于测试集的RMSE,说明传统的RBF神经网络模型在训练集上的训练效果要比在测试集上的效果好很多;而实施例5中的RBF神经网络模型,相对于传统的RBF神经网络模型而言,需要更少的神经元,却达到了更好的预测效果,并且在训练集和测试集上的效果都很好,说明了实施例5中的RBF神经网络模型在扩展性方面得到了提升。
综上所述,本发明所述的基于粒子群优化算法改进的神经网络模型用于数据预测方法能够易于确定RBF神经网络模型隐含层神经元的数目,从而改善了RBF神经网络性能,提高了数据预测的精确度,同时,本发明中的基于粒子群优化算法改进的神经网络模型具有模型复杂度低,鲁棒性强,可扩展性好的特点。
以上技术特征构成了本发明的实施例,其具有较强的适应性和实施效果,可根据
实际需要增减非必要的技术特征,来满足不同情况的需求。表1
方法 | 训练集 | 训练集 | 测试集 | 测试集 | - |
参数 | MAPE | RMSE | MAPE | RMSE | Hidden nodes |
传统模型 | 0.0915 | 14.9921 | 0.7409 | 37.1879 | 17 |
本发明模型 | 0.0242 | 6.4148 | 0.3161 | 0.5622 | 11 |
表2
方法 | 训练集 | 训练集 | 测试集 | 测试集 | - |
参数 | MAPE | RMSE | MAPE | RMSE | Hidden nodes |
传统模型 | 0.0532 | 7.0046 | 0.0913 | 17.1023 | 65 |
本发明模型 | 0.0093 | 0.9875 | 0.0827 | 0.2809 | 29 |
Claims (6)
1.一种基于粒子群优化算法改进的神经网络模型用于PM2.5浓度预测方法,其特征在于按照下述步骤进行:
步骤1:以SO2的浓度值、NO2的浓度值、PM10的浓度值、CO的浓度值、O3的浓度值作为数据样本,数据样本的表示,使用变量Xi∈{Xi|1≤i≤N,i∈N}表示第i个样本,使用Xi,t∈{Xi,t|1≤i≤N,1≤t≤M,i,t∈N}表示第i个样本的第t个分量,以上5个数据样本在不同时间点的浓度值作为Xi,t;
步骤2:数据的预处理,根据数据样本构建训练样本集Xtrain={x1,x2,…,xN}和测试样本集Xtest={x1,x2,…,xK};
步骤3:RBF神经网络参数初始化,根据训练样本集的维数M确定输入层神经元的数目Ninput=M,神经元的数目为5,根据要预测的数据的维数确定输出层神经元的数目Noutput=P,输出层神经元的数目为1;
步骤4:利用二元粒子群优化算法确定隐含层神经元的数目和隐含层径向基核函数的中心,其中:隐含层神经元的数目用H表示,隐含层径向基核函数的表达式为隐含层径向基核函数的中心用ci表示;
步骤5:初始化局部粒子群优化算法的各个参数,包括粒子群数目,粒子群数目用Nl-swarm表示;粒子群的位置用表示,粒子的位置表示RBF神经网络隐含层到输出层的权值矩阵w;粒子群的速度用表示;最大迭代次数用tl-max表示;适应度函数精度用ρlpso表示;k近邻算法中k的初始值k=1;
步骤6:根据适应度函数计算各粒子的适应度值,其中:N表示训练样本集中样本的数目;β是控制系数,从[0,1]之间取随机数;wj表示隐含层和输出层的权值;yi表示第i个样本对应的期望输出值;f(xi)表示第i个样本对应的模型实际实际输出值,其函数公式为Gi(xi,ci)为隐含层第i神经元的输出,其函数公式为其中xi为第i个输入样本向量,ci为隐含层第i个神经元径向基核函数的中心向量,||·||2表示向量的欧几里得距离;
步骤7:更新全局最优粒子的位置和个体的历史最优位置,从粒子群中选择具有最小适应度函数值的粒子为全局最优粒子pgbest,个体最优粒子pbest与初始化时粒子的位置相同;
步骤8:通过k近邻算法计算局部粒子群优化算法中各粒子的邻域最优粒子plbest;
步骤9:根据公式更新粒子的速度;其中:ω表示惯性系数,根据公式计算,其中wstart为惯性权重初始值,wend为惯性权重最终值,t表示当前的迭代次数,tmax表示最大迭代次数;表示第i个粒子第d维第t次迭代的值;c1,c2表示认知系数,取值为2;r1,r2为随机系数;表示第t次迭代,第i个粒子的个体历史最优位置第d维的值;表示第t次迭代第i个粒子位置第d维的值;表示第t次迭代第i个粒子的邻域最优粒子位置第d维的值;α为调节系数,α∈[0,1],用于调节粒子对全局最优粒子和邻域最优粒子的适应度,α的变化根据公式计算求得;
步骤10:根据公式更新粒子的位置;η是调节系数,从[0,1]之间取随机数;
步骤11:判断局部粒子群优化算法是否达到最大迭代次数tl-max或预先设定的精度ρlpso;即t>tl-max或p<plpso两者是否有一个成立,如果两者有一个成立则转到步骤12,否则返回步骤6;
步骤12:从粒子群中选择适应度函数值最小的粒子;该粒子的位置参数即作为神经网络隐含层到输出层的权值矩阵W;
步骤13:RBF神经网络模型的建立,根据得到的模型参数建立RBF神经网络模型,模型参数包括通过二元粒子群优化算法得到的隐含层神经元的数目H、隐含层径向基核函数的中心和通过局部粒子群优化算法得到的隐含层到输出层的权值矩阵W;
步骤14:利用RBF神经网络模型进行数据预测,用测试样本集作为RBF神经网络模型的输入样本,利用建立好的RBF神经网络模型,用于对未知的数据进行预测,RBF网络模型隐含层采用径向基核函数,径向基核函数公式为xi表示输入样本,ci表示隐含层第i个神经元核函数的中心,σ表示核函数的宽度,利用公式计算RBF神经网络模型的预测输出值,即对未知数据的预测值,即对未知数据的预测值,也就是SO2的浓度值、NO2的浓度值、PM10的浓度值、CO的浓度值和O3的浓度值的预测值。
2.根据权利要求1所述的基于粒子群优化算法改进的神经网络模型用于PM2.5浓度预测方法,其特征在于步骤4包括以下子步骤:
子步骤401:二元粒子群优化算法参数初始化,初始化粒子群的数目用Nswarm表示;随机初始化粒子群的位置用表示,其中0表示该位置没有神经元节点,1表示该位置有神经元节点,t表示当前的迭代次数,tmax表示最大迭代次数;随机初始化粒子群各粒子的速度,用表示,其中二元粒子群算法收敛的精度值,用ξ表示;
子步骤402:选取二元粒子群中的最优粒子,根据最优粒子表示的神经元数目用K-Means算法进行聚类,二元粒子群算法第一次迭代时,随机选取一个粒子作为最优粒子,从二元粒子群算法第二次开始迭代时,根据各粒子适应度函数的值选取全局最优粒子;
所述K-Means算法包括:
子步骤40201:根据二元粒子表示的神经元节点的数目k,初始化聚类中心,用μj∈{μj|1≤j≤k,j∈N}表示第j个聚类中心;
子步骤40202:根据公式计算每个数据样本到聚类中心的距离,选取距离数据样本最近的聚类中心,并把该数据样本点归为该类,其中ci表示第xi样本所属的类,μj表示第j个聚类中心;
子步骤40203:根据公式计算新的聚类中心;
子步骤40204:返回子步骤40201,循环迭代,直到收敛,即聚类中心不再变化,返回误差平方和函数的值及聚类得到的k个聚类中心,误差平方和函数用SSE表示,误差平方和函数是度量聚类效果的指标;
子步骤403:根据公式fitness=γ(m/mmax)+μ·SSE计算二元粒子群各粒子适应度函数的值,其中:γ,μ∈[0,1],m表示当前神经元的数目,mmax表示隐含层神经元的最大数目;
子步骤404:根据各个粒子的适应度函数的值,选择适应度函数值最小的粒子作为全局最优粒子pgbest,并更新各粒子的历史最优值plbest;
子步骤405:根据公式计算下一次迭代时粒子的速度,其中:ω表示惯性系数,c1和c2表示认知系数,c1和c2取值为2,r1,r2表示随机系数,表示粒子的历史最优位置值,表示当前最优位置,表示的是粒子位置前后变化的汉明距离,表示粒子的全局最优位置,表示当前位置,表示全局最优粒子的位置和当前位置的汉明距离;
子步骤406:计算下一次迭代时粒子的位置,计算的值,并判断条件是否成立,当条件成立时,则当条件不成立时,则其中:r是[0,1]之间的随机数;
子步骤407:判断二元粒子群优化算法是否达到了最大迭代次数或达到设定的收敛精度值ξ,即t>tmax是否成立或fitness<ξ是否成立,如果条件之一成立则执行步骤5,否则返回步骤402,通过二元粒子群优化算法和K-Means算法得到了RBF隐含层神经元的最佳数目K以及对应的聚类中心μj。
3.根据权利要求1或2所述的基于粒子群优化算法改进的神经网络模型用于PM2.5浓度预测方法预测方法,其特征在于步骤8包括以下子步骤:
子步骤801:根据k近邻算法和粒子群中粒子各维的值构建kd树;
子步骤802:根据kd树搜索原理,找到每个粒子的k个最近邻粒子即top(k)个粒子;
子步骤803:根据搜索得到的k个最近邻粒子的适应度函数值,确定每个粒子的邻域最优粒子plbest;
子步骤804:k=k+1,即下一次迭代时各粒子的邻域扩大一个粒子的范围,直到最后k的值等于粒子群的规模,k=Nl-swarm。
4.一种基于粒子群优化算法改进的神经网络模型用于网络传输时延预测方法,其特征在于按照下述步骤进行:
步骤1:以当前时段连续11个时延检测值为数据样本,数据样本的表示,使用变量Xi∈{Xi|1≤i≤N,i∈N}表示第i个样本,使用Xi,t∈{Xi,t|1≤i≤N,1≤t≤M,i,t∈N}表示第i个样本的第t个分量,以上11个数据样本在不同时间点的时延检测值作为Xi,t;
步骤2:数据的预处理,根据数据样本构建训练样本集Xtrain={x1,x2,…,xN}和测试样本集Xtest={x1,x2,…,xK};
步骤3:RBF神经网络参数初始化,根据训练样本集的维数M确定输入层神经元的数目Ninput=M,神经元的数目为11,根据要预测的数据的维数确定输出层神经元的数目Noutput=P,输出层神经元的数目为1;
步骤4:利用二元粒子群优化算法确定隐含层神经元的数目和隐含层径向基核函数的中心,其中:隐含层神经元的数目用H表示,隐含层径向基核函数的表达式为隐含层径向基核函数的中心用ci表示;
步骤5:初始化局部粒子群优化算法的各个参数,包括粒子群数目,粒子群数目用Nl-swarm表示;粒子群的位置用表示,粒子的位置Xi t表示RBF神经网络隐含层到输出层的权值矩阵w;粒子群的速度用表示;最大迭代次数用tl-max表示;适应度函数精度用ρlpso表示;k近邻算法中k的初始值k=1;
步骤6:根据适应度函数计算各粒子的适应度值,其中:N表示训练样本集中样本的数目;β是控制系数,从[0,1]之间取随机数;wj表示隐含层和输出层的权值;yi表示第i个样本对应的期望输出值;f(xi)表示第i个样本对应的模型实际实际输出值,其函数公式为Gi(xi,ci)为隐含层第i神经元的输出,其函数公式为其中xi为第i个输入样本向量,ci为隐含层第i个神经元径向基核函数的中心向量,||·||2表示向量的欧几里得距离;
步骤7:更新全局最优粒子的位置和个体的历史最优位置,从粒子群中选择具有最小适应度函数值的粒子为全局最优粒子pgbest,个体最优粒子pbest与初始化时粒子的位置相同;
步骤8:通过k近邻算法计算局部粒子群优化算法中各粒子的邻域最优粒子plbest;
步骤9:根据公式更新粒子的速度;其中:ω表示惯性系数,根据公式计算,其中wstart为惯性权重初始值,wend为惯性权重最终值,t表示当前的迭代次数,tmax表示最大迭代次数;表示第i个粒子第d维第t次迭代的值;c1,c2表示认知系数,取值为2;r1,r2为随机系数;表示第t次迭代,第i个粒子的个体历史最优位置第d维的值;表示第t次迭代第i个粒子位置第d维的值;表示第t次迭代第i个粒子的邻域最优粒子位置第d维的值;α为调节系数,α∈[0,1],用于调节粒子对全局最优粒子和邻域最优粒子的适应度,α的变化根据公式计算求得;
步骤10:根据公式更新粒子的位置;η是调节系数,从[0,1]之间取随机数;
步骤11:判断局部粒子群优化算法是否达到最大迭代次数tl-max或预先设定的精度ρlpso;即t>tl-max或p<plpso两者是否有一个成立,如果两者有一个成立则转到步骤12,否则返回步骤6;
步骤12:从粒子群中选择适应度函数值最小的粒子;该粒子的位置参数即作为神经网络隐含层到输出层的权值矩阵W;
步骤13:RBF神经网络模型的建立,根据得到的模型参数建立RBF神经网络模型,模型参数包括通过二元粒子群优化算法得到的隐含层神经元的数目H、隐含层径向基核函数的中心和通过局部粒子群优化算法得到的隐含层到输出层的权值矩阵W;
步骤14:利用RBF神经网络模型进行数据预测,用测试样本集作为RBF神经网络模型的输入样本,利用建立好的RBF神经网络模型,用于对未知的数据进行预测,RBF网络模型隐含层采用径向基核函数,径向基核函数公式为xi表示输入样本,ci表示隐含层第i个神经元核函数的中心,σ表示核函数的宽度,利用公式计算RBF神经网络模型的预测输出值,即对未知数据的预测值,即对未知数据的预测值,也就是连续11个时延预测值。
5.根据权利要求4所述的基于粒子群优化算法改进的神经网络模型用于网络传输时延预测方法,其特征在于步骤4包括以下子步骤:
子步骤401:二元粒子群优化算法参数初始化,初始化粒子群的数目用Nswarm表示;随机初始化粒子群的位置用表示,其中0表示该位置没有神经元节点,1表示该位置有神经元节点,t表示当前的迭代次数,tmax表示最大迭代次数;随机初始化粒子群各粒子的速度,用表示,其中二元粒子群算法收敛的精度值,用ξ表示;
子步骤402:选取二元粒子群中的最优粒子,根据最优粒子表示的神经元数目用K-Means算法进行聚类,二元粒子群算法第一次迭代时,随机选取一个粒子作为最优粒子,从二元粒子群算法第二次开始迭代时,根据各粒子适应度函数的值选取全局最优粒子;
所述K-Means算法包括:
子步骤40201:根据二元粒子表示的神经元节点的数目k,初始化聚类中心,用μj∈{μj|1≤j≤k,j∈N}表示第j个聚类中心;
子步骤40202:根据公式计算每个数据样本到聚类中心的距离,选取距离数据样本最近的聚类中心,并把该数据样本点归为该类,其中ci表示第xi样本所属的类,μj表示第j个聚类中心;
子步骤40203:根据公式计算新的聚类中心;
子步骤40204:返回子步骤40201,循环迭代,直到收敛,即聚类中心不再变化,返回误差平方和函数的值及聚类得到的k个聚类中心,误差平方和函数用SSE表示,误差平方和函数是度量聚类效果的指标;
子步骤403:根据公式fitness=γ(m/mmax)+μ·SSE计算二元粒子群各粒子适应度函数的值,其中:γ,μ∈[0,1],m表示当前神经元的数目,mmax表示隐含层神经元的最大数目;
子步骤404:根据各个粒子的适应度函数的值,选择适应度函数值最小的粒子作为全局最优粒子pgbest,并更新各粒子的历史最优值plbest;
子步骤405:根据公式计算下一次迭代时粒子的速度,其中:ω表示惯性系数,c1和c2表示认知系数,c1和c2取值为2,r1,r2表示随机系数,表示粒子的历史最优位置值,表示当前最优位置,表示的是粒子位置前后变化的汉明距离,表示粒子的全局最优位置,表示当前位置,表示全局最优粒子的位置和当前位置的汉明距离;
子步骤406:计算下一次迭代时粒子的位置,计算的值,并判断条件是否成立,当条件成立时,则当条件不成立时,则其中:r是[0,1]之间的随机数;
子步骤407:判断二元粒子群优化算法是否达到了最大迭代次数或达到设定的收敛精度值ξ,即t>tmax是否成立或fitness<ξ是否成立,如果条件之一成立则执行步骤5,否则返回步骤402,通过二元粒子群优化算法和K-Means算法得到了RBF隐含层神经元的最佳数目K以及对应的聚类中心μj。
6.根据权利要求4或5所述的基于粒子群优化算法改进的神经网络模型用于网络传输时延预测方法,其特征在于步骤8包括以下子步骤:
子步骤801:根据k近邻算法和粒子群中粒子各维的值构建kd树;
子步骤802:根据kd树搜索原理,找到每个粒子的k个最近邻粒子即top(k)个粒子;
子步骤803:根据搜索得到的k个最近邻粒子的适应度函数值,确定每个粒子的邻域最优粒子plbest;
子步骤804:k=k+1,即下一次迭代时各粒子的邻域扩大一个粒子的范围,直到最后k的值等于粒子群的规模,k=Nl-swarm。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410451866.4A CN104361393B (zh) | 2014-09-06 | 2014-09-06 | 基于粒子群优化算法改进的神经网络模型用于数据预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410451866.4A CN104361393B (zh) | 2014-09-06 | 2014-09-06 | 基于粒子群优化算法改进的神经网络模型用于数据预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104361393A CN104361393A (zh) | 2015-02-18 |
CN104361393B true CN104361393B (zh) | 2018-02-27 |
Family
ID=52528651
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410451866.4A Active CN104361393B (zh) | 2014-09-06 | 2014-09-06 | 基于粒子群优化算法改进的神经网络模型用于数据预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104361393B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111458646A (zh) * | 2020-05-25 | 2020-07-28 | 安徽理工大学 | 一种基于pso-rbf神经网络的锂电池soc估算方法 |
KR102499474B1 (ko) * | 2020-12-01 | 2023-02-14 | 주식회사 마젠타컴퍼니 | 복수의 원격 사이트에 대한 통합 제어 오케스트레이션 장치 및 그 방법 |
Families Citing this family (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3282781A4 (en) * | 2015-05-22 | 2018-05-16 | Huawei Technologies Co., Ltd. | Method and device for improving positioning performance of artificial neural network |
CN104991974A (zh) * | 2015-07-31 | 2015-10-21 | 中国地质大学(武汉) | 一种基于粒子群算法的多标签分类方法 |
CN105631476B (zh) * | 2015-12-25 | 2019-06-21 | 北京工业大学 | 一种矩阵变量rbm的识别方法 |
CN105631554B (zh) * | 2016-02-22 | 2019-11-26 | 渤海大学 | 一种基于时间序列的油井油液含水率多模型预测方法 |
CN106845863A (zh) * | 2017-02-23 | 2017-06-13 | 沈阳工业大学 | 一种分布式风力发电出力与供暖负荷同步指数预测方法 |
CN106920008A (zh) * | 2017-02-28 | 2017-07-04 | 山东大学 | 一种基于改进粒子群优化bp神经网络的风电功率预测方法 |
CN107103184A (zh) * | 2017-03-28 | 2017-08-29 | 国网上海市电力公司 | 一种高压电缆接头温度预测方法 |
CN107330248B (zh) * | 2017-06-08 | 2020-06-19 | 华南理工大学 | 一种基于改进型神经网络的短期风功率预测方法 |
CN107356975B (zh) * | 2017-07-12 | 2019-08-13 | 电子科技大学 | 基于粒子群优化算法的水下二维空间主动电场定位方法 |
CN107528650B (zh) * | 2017-08-30 | 2020-12-22 | 华南师范大学 | 一种基于gcv-rbf神经网络的认知无线电网络频谱的预测方法 |
CN107590346B (zh) * | 2017-09-21 | 2020-06-16 | 河海大学 | 基于空间多重相关解集算法的降尺度校正模型 |
CN107843920B (zh) * | 2017-09-29 | 2019-04-02 | 中国石油化工股份有限公司 | 一种聚类分析优化粒子群储层属性预测方法 |
CN108229721A (zh) * | 2017-12-04 | 2018-06-29 | 西北大学 | 基于改进型bp神经网络的煤热解产物的预测方法 |
CN108182490A (zh) * | 2017-12-27 | 2018-06-19 | 南京工程学院 | 一种大数据环境下的短期负荷预测方法 |
CN110163227B (zh) * | 2018-02-26 | 2021-07-23 | 山东炎黄工业设计有限公司 | 一种基于模式识别的机场跑道道面适航性判别方法 |
CN108256696B (zh) * | 2018-03-16 | 2021-10-26 | 电子科技大学 | 一种结合状态预测和粒子群优化的组网雷达天线配置方法 |
CN109214500B (zh) * | 2018-08-06 | 2022-02-25 | 广东工业大学 | 一种基于混合智能算法的变压器故障识别方法 |
CN109308518B (zh) * | 2018-09-13 | 2021-09-10 | 北京理工大学 | 一种基于概率神经网络的监测系统及其平滑参数优化方法 |
CN109255498A (zh) * | 2018-10-22 | 2019-01-22 | 新智数字科技有限公司 | 基于神经网络的负荷预测方法及装置 |
CN109544511B (zh) * | 2018-10-25 | 2022-01-04 | 广州大学 | 基于粒子群算法优化的卷积神经网络对肺结节识别的方法 |
CN109596165A (zh) * | 2018-11-23 | 2019-04-09 | 湖南城市学院 | 一种智能地理信息动态预警布控系统及方法 |
CN109768567A (zh) * | 2018-12-20 | 2019-05-17 | 清华大学 | 一种耦合多能源互补系统的优化调度方法 |
CN110543616B (zh) * | 2018-12-26 | 2022-12-02 | 西安电子科技大学 | 基于工业大数据的smt锡膏印刷体积预测方法 |
CN111382862B (zh) * | 2018-12-27 | 2021-09-14 | 国网辽宁省电力有限公司信息通信分公司 | 一种电力系统异常数据辨识方法 |
CN110276476A (zh) * | 2019-05-27 | 2019-09-24 | 南京信息工程大学 | 一种基于pso-rbf神经网络的汽车发动机烟度预测方法 |
CN110275441B (zh) * | 2019-07-02 | 2022-04-12 | 武汉科技大学 | 一种psorbfd快速自适应解耦控制方法 |
CN110460880B (zh) * | 2019-08-09 | 2021-08-31 | 东北大学 | 基于粒子群和神经网络的工业无线流媒体自适应传输方法 |
CN110955147A (zh) * | 2019-12-16 | 2020-04-03 | 泉州华中科技大学智能制造研究院 | 一种施胶工艺参数优化方法 |
CN111160642A (zh) * | 2019-12-26 | 2020-05-15 | 哈尔滨工业大学 | 一种基于pso-bp神经网络的大型高速回转装备同轴度预测方法 |
CN111312338A (zh) * | 2020-02-10 | 2020-06-19 | 华东理工大学 | 一种芳烃异构化生产环节的产物预测方法和系统 |
CN111474490B (zh) * | 2020-04-09 | 2022-06-24 | 北方工业大学 | 一种梯次利用电池快速筛选方法 |
CN111553527B (zh) * | 2020-04-26 | 2023-09-29 | 南通理工学院 | 基于pso与神经网络串联优化的道路通行时间预测方法 |
CN111643321B (zh) * | 2020-04-30 | 2023-05-12 | 北京精密机电控制设备研究所 | 基于sEMG信号的外骨骼关节角度预测方法及系统 |
CN111640415B (zh) * | 2020-06-03 | 2023-04-07 | 吉林大学 | 一种基于粒子群算法的主动降噪算法参数优化方法 |
CN111798134B (zh) * | 2020-07-06 | 2022-04-05 | 青岛洪锦智慧能源技术有限公司 | 一种基于数据驱动模型的提高污水处理厂甲烷产量方法 |
CN111914481B (zh) * | 2020-07-27 | 2022-03-18 | 山西大学 | 基于改进的pso-rbf算法的边坡稳定性预测方法 |
CN112116160A (zh) * | 2020-09-25 | 2020-12-22 | 国网新疆电力有限公司电力科学研究院 | 一种基于优化神经网络改进元胞自动机的重要输电通道灾害监测方法 |
CN113065693B (zh) * | 2021-03-22 | 2022-07-15 | 哈尔滨工程大学 | 一种基于径向基神经网络的车流量预测方法 |
CN113051806B (zh) * | 2021-03-31 | 2023-06-27 | 浙江工业大学 | 一种基于aqpso-rbf神经网络的水质bod测量方法 |
CN113378954B (zh) * | 2021-06-23 | 2023-07-21 | 云南电网有限责任公司电力科学研究院 | 一种基于粒子群改进k均值算法的负荷曲线聚类方法及系统 |
CN113746813B (zh) * | 2021-08-16 | 2022-05-10 | 杭州电子科技大学 | 基于两阶段学习模型的网络攻击检测系统及方法 |
CN114836823B (zh) * | 2022-06-08 | 2024-03-19 | 连城凯克斯科技有限公司 | 一种单晶硅熔炉晶体生长直径预测方法 |
CN117252100A (zh) * | 2023-09-22 | 2023-12-19 | 安徽理工大学 | 一种基于药剂燃烧试验的安全气囊性能优化方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102609593A (zh) * | 2012-03-05 | 2012-07-25 | 浙江大学 | 基于多重先验知识混合模型的聚丙烯熔融指数预报方法 |
US8346712B2 (en) * | 2009-11-24 | 2013-01-01 | King Fahd University Of Petroleum And Minerals | Method for identifying hammerstein models |
CN103020434A (zh) * | 2012-11-30 | 2013-04-03 | 南京航空航天大学 | 一种基于粒子群优化的最小二乘支持向量机组合预测方法 |
CN103164742A (zh) * | 2013-04-02 | 2013-06-19 | 南京邮电大学 | 一种基于粒子群优化神经网络的服务器性能预测方法 |
-
2014
- 2014-09-06 CN CN201410451866.4A patent/CN104361393B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8346712B2 (en) * | 2009-11-24 | 2013-01-01 | King Fahd University Of Petroleum And Minerals | Method for identifying hammerstein models |
CN102609593A (zh) * | 2012-03-05 | 2012-07-25 | 浙江大学 | 基于多重先验知识混合模型的聚丙烯熔融指数预报方法 |
CN103020434A (zh) * | 2012-11-30 | 2013-04-03 | 南京航空航天大学 | 一种基于粒子群优化的最小二乘支持向量机组合预测方法 |
CN103164742A (zh) * | 2013-04-02 | 2013-06-19 | 南京邮电大学 | 一种基于粒子群优化神经网络的服务器性能预测方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111458646A (zh) * | 2020-05-25 | 2020-07-28 | 安徽理工大学 | 一种基于pso-rbf神经网络的锂电池soc估算方法 |
KR102499474B1 (ko) * | 2020-12-01 | 2023-02-14 | 주식회사 마젠타컴퍼니 | 복수의 원격 사이트에 대한 통합 제어 오케스트레이션 장치 및 그 방법 |
Also Published As
Publication number | Publication date |
---|---|
CN104361393A (zh) | 2015-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104361393B (zh) | 基于粒子群优化算法改进的神经网络模型用于数据预测方法 | |
Wang et al. | Robust big data analytics for electricity price forecasting in the smart grid | |
Xu et al. | A deep learning method based on convolutional neural network for automatic modulation classification of wireless signals | |
Kavousi-Fard | Modeling uncertainty in tidal current forecast using prediction interval-based SVR | |
Du et al. | Time series prediction using evolving radial basis function networks with new encoding scheme | |
CN109063911A (zh) | 一种基于门控循环单元网络的负荷聚合体分组预测方法 | |
CN106327357B (zh) | 一种基于改进概率神经网络的负载识别方法 | |
Wu et al. | Graphmixup: Improving class-imbalanced node classification on graphs by self-supervised context prediction | |
CN104636801A (zh) | 一种基于优化bp神经网络的预测输电线路可听噪声方法 | |
Wang et al. | Rainfall prediction using generalized regression neural network: case study Zhengzhou | |
CN113762387B (zh) | 一种基于混合模型预测的数据中心站多元负荷预测方法 | |
CN108665322A (zh) | 口粮消费量预测模型的构建方法、消费量预测方法及装置 | |
Zhang et al. | Evolving neural network classifiers and feature subset using artificial fish swarm | |
Zhang et al. | Short‐term load forecasting based on wavelet neural network with adaptive mutation bat optimization algorithm | |
CN109961173A (zh) | 一种用于分布式电源发电功率的智能预测方法 | |
CN110490234A (zh) | 基于聚类分类联合机制的分类器的构建方法以及分类方法 | |
Jin et al. | Neural networks for fitness approximation in evolutionary optimization | |
Hassim et al. | Optimizing functional link neural network learning using modified bee colony on multi-class classifications | |
CN109697531A (zh) | 一种物流园区腹地物流需求预测方法 | |
Satapathy et al. | Teaching learning based optimization for neural networks learning enhancement | |
Jafarkazemi et al. | Performance prediction of flat-plate solar collectors using MLP and ANFIS | |
Xiao et al. | Dynamic classifier ensemble selection based on GMDH | |
Subhasree et al. | Forecasting vegetable price using time series data | |
Cai et al. | EST-NAS: An evolutionary strategy with gradient descent for neural architecture search | |
Tayab et al. | Solar photovoltaic power forecasting for microgrid energy management system using an ensemble forecasting strategy |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |