CN108171322A - 一种基于粒子群优化的神经网络学习算法 - Google Patents

一种基于粒子群优化的神经网络学习算法 Download PDF

Info

Publication number
CN108171322A
CN108171322A CN201711417324.5A CN201711417324A CN108171322A CN 108171322 A CN108171322 A CN 108171322A CN 201711417324 A CN201711417324 A CN 201711417324A CN 108171322 A CN108171322 A CN 108171322A
Authority
CN
China
Prior art keywords
particle
fitness
population
group
center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711417324.5A
Other languages
English (en)
Inventor
赵景波
王代超
沈汉文
廖鹏浩
段杰
姜岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao University of Technology
Original Assignee
Qingdao University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao University of Technology filed Critical Qingdao University of Technology
Priority to CN201711417324.5A priority Critical patent/CN108171322A/zh
Publication of CN108171322A publication Critical patent/CN108171322A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于粒子群优化的神经网络学习算法。首先获取数据作为RBF神经网络的训练样本数据；对训练样本数据进行减聚类处理，确定基函数中心的数量；将粒子群进行初始化处理；对粒子群中每个粒子的适应度进行处理，将该粒子当前的适应度与历史最优适应度相比较，如果更优，则更新pid；将每个粒子的适应度与群体所经历的最好位置的适应度进行比较，如果更优，则更新pgd；调整粒子的速度和位置重复直至符合要求为止；将整个群体所经历过的最好位置的值，解码后作为RBF神经网络的参数，并进行神经网络的训练、精度验证及预测；停止运算。本发明的有益效果是通过引入神经网络改进粒子群优化算法，使得RBF神经网络性能更佳。

Description

一种基于粒子群优化的神经网络学习算法
技术领域
本发明属于神经网络算法技术领域，涉及一种基于粒子群优化的神经网络学习算法。
背景技术
粒子群优化算法是1995年由Eberhart博士和Kennedy博士提出的一种基于群体智能的演化计算方法，相比较于其它演化算法，具有简单、易于实现以及强大的全局优化能力，因此，随着社会的进步，粒子群算法得到了很大的发展，在函数优化、神经网络的训练等领域得到了广泛地应用。粒子群优化算法同遗传算法相比，不但具有全局寻优能力，而且具有优秀的局部寻优能力，是一种基于群体智能的新型优化算法，更适于计算机编程。
径向基函数(radial-basis function，RBF)神经网络，是仿生研究的结果，它是许多学者和专家通过对生物的神经网络的运作方式以及生物结构等的特点而提出的理论。它可以视为一个并行分布式处理器，有许多神经元构成，与人脑处理事情的方式有一定的共性，如可以借由从外界获得的知识及信息进行智能的分析，进而通过推理作出判断。这些使得神经网络具有自适应学习以及高容错性等优点，因此在很多领域都得到了广泛的应用。多层前馈神经网络能解决任意连续函数的逼近问题，具有很强的分类能力，因此研究神经网络的优化问题意义重大。而RBF神经网络是近几年来应用较多的一种多输入、多输出的非线性系统辨识方法，可以面向非线性系统进行模式识别和分类，适用于故障诊断。RBF神经网络的隐层基函数实现了它的非线性映射能力，基函数中心确定了它的特性。确定基函数中心的方法有很多种，如正交优选法、递推Givens变换算法、遗传算法以及K-means聚类算法等。正交优选算法能自行确定最佳隐含层节点数目和网络的输出权值，但是初始中心点数目太多，会出现数据病态现象，当所选取的正交向量超过一定数目后，进一步推选正交向量的过程将是困难的；递推Givens变换算法解决了递归最小二乘法中存在的数据病态问题，但是计算量太大；基函数中心的确定方法还有遗传算法，效果较好，但是实现相对复杂；K-means在基函数中心个数确定的前提下常常被用来确定奇函数中心点，但是可能会由于聚类算法得到的隐节点数量过多而出现过学习的现象。
粒子群优化算法同遗传算法相比，不但具有全局寻优能力，而且具有优秀的局部寻优能力，是一种基于群体智能的新型优化算法，参数调整简单易操作，更适于计算机编程。
发明内容
本发明的目的在于提供一种基于粒子群优化的神经网络学习算法。
本发明所采用的技术方案是按照以下步骤进行：
(1)获取数据作为RBF神经网络的训练样本数据；
(2)对训练样本数据进行减聚类处理，确定基函数中心的数量，基函数中心值和宽度、粒子速度和适应度都包含在粒子群中；基函数输入节点的值就是粒子群中的粒子需要遍历的位置，而粒子群的位置、粒子速度和适应度是粒子群需要优化的参数；
(3)将粒子群进行初始化处理；
(4)对粒子群中每个粒子的适应度进行处理，将该粒子当前的适应度与历史最优适应度相比较，如果更优，则更新该粒子历史最优位置pid；
(5)将每个粒子的适应度与群体所经历的最好位置的适应度进行比较，如果更优，则更新整个粒子群历史最优位置pgd；
(6)根据分析，调整粒子的速度和位置；
(7)重复过程(4)～(6)，直至符合要求为止；
(8)将整个群体所经历过的最好位置的值，解码后作为RBF神经网络的参数，并进行神经网络的训练、精度验证及预测；
(9)停止运算。
进一步，假设有m个中心，每个中心都是k维的，则所述粒子的位置为m×(k+1)维，相对应的粒子速度也为m×(k+1)维的，粒子Z的编码结构如下：
进一步，粒子的适应度为：
fi＝Ri
其中为适应度函数。
本发明的有益效果是通过引入神经网络改进粒子群优化算法，使得RBF神经网络性能更佳。
具体实施方式
下面结合具体实施方式对本发明进行详细说明。
RBF神经网络结构：
径向基函数(radial-basis function，RBF)神经网络的结构属于前馈型，它相比较于其它神经网络来说具有在整个搜索空间的全局优化性能，且具有最佳逼近的性能。因其具有这么多优势，因此在模式识别等领域得到了广泛的应用。RBF神经网络是由输入层、隐含层和输出层构成的三层结构。RBF神经网络之所以比其他神经网络具有优势，其中一个重要的原因就是它采用输入节点与中心节点的欧氏距离作为隐层节点的基函数，并用高斯函数作为激活函数。
优化神经网络算法的编码和适应度函数
在PSO算法中，粒子与可行解是一一对应的，因此，基函数中心值和宽度、粒子速度个适应度都包含在粒子群中。假设有m个中心，每个中心都是k维的，则粒子的位置为m×(k+1)维，相对应的粒子速度也为m×(k+1)维的，外加一个适应度。粒子Z的编码结构如下：
神经网络的训练主要是为了使得网络中的参数误差最小，因此适应度函数选择平均平方误差。则第i个粒子个体的适应度为：
fi＝Ri
本发明优化神经网络算法的基本步骤如下：
(1)获取数据作为RBF神经网络的训练样本数据；
(2)对训练样本数据进行减聚类处理，得到基函数中心的数量；
(3)将粒子群进行初始化处理；
(4)对每个粒子的适应度进行处理，将该粒子当前的适应度与历史最优适应度相比较，如果更优，则更新pid；
(5)将每个粒子的适应度与群体所经历的最好位置的适应度进行比较，如果更优，则更新pgd；
(6)根据分析，调整粒子的速度和位置；
(7)重复过程(4)～(6)，直至符合要求为止；
(8)将整个群体所经历过的最好位置的值，解码后作为RBF神经网络的参数，并进行神经网络的训练、精度验证及预测；
(9)停止运算。
本发明通过引入粒子群优化算法，对RBF进行优化，用于改善神经网络中基函数中心参数的训练方案，使得RBF神经网络性能更佳。
以上所述仅是对本发明的较佳实施方式而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施方式所做的任何简单修改，等同变化与修饰，均属于本发明技术方案的范围内。

Claims (3)

1.一种基于粒子群优化的神经网络学习算法，其特征在于按照以下步骤进行：
(1)获取数据作为RBF神经网络的训练样本数据；
(2)对训练样本数据进行减聚类处理，确定基函数中心的数量，基函数中心值和宽度、粒子速度和适应度都包含在粒子群中；
(3)将粒子群进行初始化处理；
(4)对粒子群中每个粒子的适应度进行处理，将该粒子当前的适应度与历史最优适应度相比较，如果更优，则更新pid；
(5)将每个粒子的适应度与群体所经历的最好位置的适应度进行比较，如果更优，则更新pgd；
(6)根据分析，调整粒子的速度和位置；
(7)重复过程(4)～(6)，直至符合要求为止；
(8)将整个群体所经历过的最好位置的值，解码后作为RBF神经网络的参数，并进行神经网络的训练、精度验证及预测；
(9)停止运算。
2.按照权利要求1所述一种基于粒子群优化的神经网络学习算法，其特征在于：假设有m个中心，每个中心都是k维的，则所述粒子的位置为m×(k+1)维，相对应的粒子速度也为m×(k+1)维的，粒子Z的编码结构如下：
3.按照权利要求1所述一种基于粒子群优化的神经网络学习算法，其特征在于：所述粒子的适应度为：
其中为适应度函数。
CN201711417324.5A 2017-12-25 2017-12-25 一种基于粒子群优化的神经网络学习算法 Pending CN108171322A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711417324.5A CN108171322A (zh) 2017-12-25 2017-12-25 一种基于粒子群优化的神经网络学习算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711417324.5A CN108171322A (zh) 2017-12-25 2017-12-25 一种基于粒子群优化的神经网络学习算法

Publications (1)

Publication Number Publication Date
CN108171322A true CN108171322A (zh) 2018-06-15

Family

ID=62520229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711417324.5A Pending CN108171322A (zh) 2017-12-25 2017-12-25 一种基于粒子群优化的神经网络学习算法

Country Status (1)

Country Link
CN (1) CN108171322A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063319A (zh) * 2018-07-27 2018-12-21 天津大学 一种基于神经网络的生物生态系统的模拟方法
CN109799765A (zh) * 2019-02-02 2019-05-24 中国民航大学 舵机电液伺服系统智能控制方法
CN110598552A (zh) * 2019-08-09 2019-12-20 吉林大学 基于改进粒子群算法优化卷积神经网络的表情识别方法
CN111412977A (zh) * 2020-03-09 2020-07-14 华南理工大学 一种机械设备振动感知数据的预处理方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063319A (zh) * 2018-07-27 2018-12-21 天津大学 一种基于神经网络的生物生态系统的模拟方法
CN109063319B (zh) * 2018-07-27 2023-04-07 天津大学 一种基于神经网络的生物生态系统的模拟方法
CN109799765A (zh) * 2019-02-02 2019-05-24 中国民航大学 舵机电液伺服系统智能控制方法
CN110598552A (zh) * 2019-08-09 2019-12-20 吉林大学 基于改进粒子群算法优化卷积神经网络的表情识别方法
CN111412977A (zh) * 2020-03-09 2020-07-14 华南理工大学 一种机械设备振动感知数据的预处理方法

Similar Documents

Publication Publication Date Title
CN108171322A (zh) 一种基于粒子群优化的神经网络学习算法
Zou et al. A modified differential evolution algorithm for unconstrained optimization problems
Rini et al. Particle swarm optimization: technique, system and challenges
Ding et al. Research on using genetic algorithms to optimize Elman neural networks
CN108090658A (zh) 基于时域特征参数融合的电弧故障诊断方法
CN111612125B (zh) 一种面向在线学习的新型htm时间池方法及其系统
Deng et al. A novel parallel hybrid intelligence optimization algorithm for a function approximation problem
CN105427241B (zh) 一种大视场显示设备的畸变校正方法
CN113259469B (zh) 智能制造中边缘服务器部署方法、系统及存储介质
Fang et al. A course control system of unmanned surface vehicle (USV) using back-propagation neural network (BPNN) and artificial bee colony (ABC) algorithm
CN112069723A (zh) 一种用于评估电力系统暂态稳定的方法及系统
Guoqiang et al. Study of RBF neural network based on PSO algorithm in nonlinear system identification
Qian et al. Mr 2DNM: A Novel Mutual Information‐Based Dendritic Neuron Model
CN108830035A (zh) 一种新型水处理混凝投药控制方法、计算机、计算机程序
Ma et al. A survey of sparse-learning methods for deep neural networks
Guo et al. Dynamic neural network structure: A review for its theories and applications
Zhang et al. Optimization of neural network based on genetic algorithm and BP
Udeogu et al. Remaining useful life prediction for supercapacitors using an optimized end-to-end deep learning approach
Santos et al. Comparing particle swarm optimization approaches for training multi-layer perceptron neural networks for forecasting
Wu et al. Multi-objective differential-based brain storm optimization for environmental economic dispatch problem
Ding et al. Neural network research progress and applications in forecast
Wang et al. A new learning algorithm for adaptive spiking neural networks
CN109002877A (zh) 多尺度协同差分进化优化方法
Li et al. Fault Diagnosis Method Based on GA-IBP Neural Network
Zhou et al. Parameter Optimization and Its Application of Support Vector Machines Based on Improved Particle Swarm Optimization Algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180615

RJ01 Rejection of invention patent application after publication