CN110852435A - 一种基于神经进化计算模型 - Google Patents
一种基于神经进化计算模型 Download PDFInfo
- Publication number
- CN110852435A CN110852435A CN201910965945.XA CN201910965945A CN110852435A CN 110852435 A CN110852435 A CN 110852435A CN 201910965945 A CN201910965945 A CN 201910965945A CN 110852435 A CN110852435 A CN 110852435A
- Authority
- CN
- China
- Prior art keywords
- network
- neural
- node
- variation
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001537 neural effect Effects 0.000 title claims abstract description 29
- 238000004364 calculation method Methods 0.000 title claims abstract description 17
- 230000035772 mutation Effects 0.000 claims abstract description 29
- 230000002068 genetic effect Effects 0.000 claims abstract description 12
- 108090000623 proteins and genes Proteins 0.000 claims description 19
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 210000000349 chromosome Anatomy 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 238000005094 computer simulation Methods 0.000 claims 1
- 238000013528 artificial neural network Methods 0.000 abstract description 10
- 230000000877 morphologic effect Effects 0.000 abstract description 2
- 238000000034 method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/12—Computing arrangements based on biological models using genetic models
- G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Physiology (AREA)
- Genetics & Genomics (AREA)
- Feedback Control In General (AREA)
Abstract
本发明属于神经进化计算技术领域，具体涉及一种基于神经进化计算模型。神经进化模型只有三层，即输入层、输出层和一个隐藏层，且输入层和输出层之间以及隐藏层各个节点之间都可以建立连接。进化算法只用到遗传算法中的变异操作，对网络结构以及连接权重进行变异，即结构变异和权重变异操作。利用进化算法更新网络的权重并自适应地改变网络结构，网络能够探索的形态结构越多,找到最优解的可能性就越大。同时，基于进化算法得到的神经网络结构通常可以得到结构简单的网络，如果要解决的问题很简单,就不需要很复杂的神经网络,网络层数多反而增加了计算时间。因此，基于神经进化计算的网络模型在优化网络结构的同时也可以提高网络的求解精度。
Description
技术领域
本发明属于神经进化计算技术领域，具体涉及一种基于神经进化计算模型。
背景技术
神经网络是当前的热点研究问题。近年来，基于神经网络的深度学习技术更是被广泛地应用于图像处理、语音识别、网络路由路径选择等众多领域。但神经网络主要由反向传播算法更新网络的权重,训练结果对初始权值非常敏感，不同的初始化条件会导致差异较大的训练结果。如果网络的隐藏层层数较多，反向传播算法会发生梯度消失现象，从而导致网络收敛速度慢，而且训练速率、学习率等有关参数的选取只能凭实验和经验来确定，一旦取值不当，就可能引起网络振荡而不能收敛。神经进化计算将进化算法与神经网络技术相结合，利用进化算法更新网络的权重参数并自适应地改变网络的结构。基于神经进化计算的网络不仅能以较大概率获得全局最优解，还可以提高网络的泛化性能。
发明内容
本发明的目的在于提供一种基于神经进化计算模型。
本发明的目的可以通过以下技术方案实现：
一种基于神经进化计算模型，神经进化模型有三层，即输入层、输出层和一个隐藏层，且输入层和输出层之间以及隐藏层各个节点之间都可以建立连接；进化算法只用到遗传算法中的变异操作，对网络结构以及连接权重进行变异，即结构变异和权重变异操作；利用进化算法更新网络的权重并自适应地改变网络结构。
基于神经进化模型主要步骤如下：
(1)建立初始网络种群；
(2)对每一个网络进行结构变异操作：在隐藏层中随机增加或删除一个节点，如果选择增加节点，则该节点与隐藏层其他节点以及输出层输出层的节点随机建立连接，并给对应的连接权重赋值；如果选择删除一个节点，则删除该节点与其他节点的所有连接。
(3)结构变异操作后得到一个新的网络结构，对该网络的每一个权重进行基因位寻优的柯西变异操作，从而生成一组新的权重。
(4)计算步骤(3)产生的网络输出值，当网络输出值与实际值得误差小于阈值或者达到预设的迭代次数时，结束进化操作并输出网络模型，否则转步骤2。
所述步骤(3)中基因位寻优的柯西概率变异方式如下:
对于第i个染色体
wi＝(wi1,wi2,...win) (5)
对于第j个基因，则第j个基因的柯西变异公式如下：
w'ij＝wij+μ*c(0,1),j＝1,2,..n (6)
其中μ为变异步长参数，c(0,1)为在t＝1时的柯西分布参数的概率，x'ij为柯西变异后的基因位。
eval[i]＝max(f[j]),j＝1,2,...n (7)
f[j]为柯西变异第j个基因位后的适应值，通过公式(6)对染色体i的每一个基因位进行柯西变异，其中适应值最大的个体作为变异后的新个体。
本发明的有益效果：
本发明提出了基于进化算法的神经网络模型；利用变异操作自适应地改变网络结构；并提出了基于基因位寻优的柯西变异算子。
一种基于神经进化计算模型，与传统的神经网络模型不同，神经进化模型只有三层，即输入层、输出层和一个隐藏层，且输入层和输出层之间以及隐藏层各个节点之间都可以建立连接。进化算法只用到遗传算法中的变异操作，对网络结构以及连接权重进行变异，即结构变异和权重变异操作。利用进化算法更新网络的权重并自适应地改变网络结构，网络能够探索的形态结构越多,找到最优解的可能性就越大。同时，基于进化算法得到的神经网络结构通常可以得到结构简单的网络，如果要解决的问题很简单,就不需要很复杂的神经网络,网络层数多反而增加了计算时间。因此，基于神经进化计算的网络模型在优化网络结构的同时也可以提高网络的求解精度。
附图说明
为了便于本领域技术人员理解，下面结合附图对本发明作进一步的说明。
图1为本发明传统的神经网络结构(a)与神经进化模型的网络(b)结构图；
图2为本发明反向传播算法(a)与遗传算更新网络权重(b)示意图；
图3为本发明神经进化计算中的结构变异过程；
具体实施方式
实施例1：
图1展示了传统的神经网络结构(图1(a))与神经进化模型的网络结构图(图1(b))。从图中可以看到，在传统的神经网络模型中，通常有一到多个隐藏层，且同一个隐藏层之间的各个节点不能有连接。而在神经进化模型的网络结构中，只有一个隐藏层，且隐藏层节点之间可以建立连接，输出层与输出层也可以建立连接。
从图2中可以看到，基于反向传播更新网络权重的方法需要从输出层开始逐层更新网络的权重，而遗传算法是对所有权重进行遗传操作，可以同时更新所有层的网络权重。当网络的隐藏层较多，结构较复杂时。反向传播算法容易陷入局部最优，而遗传算法本质上是一种并行优化算法，可以以较大的概率跳出局部最优解并向着全局最优解搜索。
结构变异：在神经进化模型中，我们先初始化N个网络模型作为初始网络种群，然后对隐藏层中的节点进行增加或删除操作；如果在隐藏层中增加了一个节点，随机指定该节点与上下层各节点的连接权重并赋值。如果在隐藏层中删除了一个节点，同时删除该节点与上下层相连的权重。具体过程见图3：
图3展示了神经进化计算中的结构变异过程。图2(a)中的左侧为初始网络，有三个输出节点，隐藏层有两个节点，输出层有一个节点。在结构变异中，当隐藏层增加一个节点7时可以得到右侧的网络结构。
权重变异：传统的变异算子(随机位变异、高斯变异、边缘变异等)具有较好的局部搜索能力，但是引导个体跳出局部次优解的能力较弱，不利于全局收敛。为避免变异操作后的种群陷入局部最优解而导致搜索停滞现象的发生，本发明采用基于基因位寻优的柯西变异操作，在增强算法全局搜索能力的同时，也提高了搜索最优解的能力。基因位寻优的柯西概率变异方式如下:
对于第i个染色体
wi＝(wi1,wi2,...win) (5)
对于第j个基因，则第j个基因的柯西变异公式如下：
w'ij＝wij+μ*c(0,1),j＝1,2,..n (6)
其中μ为变异步长参数，c(0,1)为在t＝1时的柯西分布参数的概率，x'ij为柯西变异后的基因位。
eval[i]＝max(f[j]),j＝1,2,...n (7)
f[j]为柯西变异第j个基因位后的适应值，通过公式(6)对染色体i的每一个基因位进行柯西变异，其中适应值最大的个体作为变异后的新个体。
基于神经进化模型主要步骤如下：
(1)建立初始网络种群；
(2)对每一个网络进行结构变异操作：在隐藏层中随机增加或删除一个节点，如果选择增加节点，则该节点与隐藏层其他节点以及输出层输出层的节点随机建立连接，并给对应的连接权重赋值；如果选择删除一个节点，则删除该节点与其他节点的所有连接。
(3)结构变异操作后得到一个新的网络结构，对该网络的每一个权重进行基因位寻优的柯西变异操作，从而生成一组新的权重。
(4)计算步骤3产生的网络输出值，当网络输出值与实际值得误差小于阈值或者达到预设的迭代次数时，结束进化操作并输出网络模型，否则转步骤2。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (3)
1.一种基于神经进化计算模型，其特征在于，神经进化模型有三层，即输入层、输出层和一个隐藏层，且输入层和输出层之间以及隐藏层各个节点之间都可以建立连接；进化算法只用到遗传算法中的变异操作，对网络结构以及连接权重进行变异，即结构变异和权重变异操作；利用进化算法更新网络的权重并自适应地改变网络结构。
2.根据权利要求1所述的一种基于神经进化计算模型，其特征在于，基于神经进化模型主要步骤如下：
(1)建立初始网络种群；
(2)对每一个网络进行结构变异操作：在隐藏层中随机增加或删除一个节点，如果选择增加节点，则该节点与隐藏层其他节点以及输出层输出层的节点随机建立连接，并给对应的连接权重赋值；如果选择删除一个节点，则删除该节点与其他节点的所有连接。
(3)结构变异操作后得到一个新的网络结构，对该网络的每一个权重进行基因位寻优的柯西变异操作，从而生成一组新的权重。
(4)计算步骤(3)产生的网络输出值，当网络输出值与实际值得误差小于阈值或者达到预设的迭代次数时，结束进化操作并输出网络模型，否则转步骤2。
3.根据权利要求2所述的一种基于神经进化计算模型，其特征在于，
所述步骤(3)中基因位寻优的柯西概率变异方式如下:
对于第i个染色体
wi＝(wi1,wi2,...win) (5)
对于第j个基因，则第j个基因的柯西变异公式如下：
w'ij＝wij+μ*c(0,1),j＝1,2,..n (6)
其中μ为变异步长参数，c(0,1)为在t＝1时的柯西分布参数的概率，x′ij为柯西变异后的基因位。
eval[i]＝max(f[j]),j＝1,2,...n (7)
f[j]为柯西变异第j个基因位后的适应值，通过公式(6)对染色体i的每一个基因位进行柯西变异，其中适应值最大的个体作为变异后的新个体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910965945.XA CN110852435A (zh) | 2019-10-12 | 2019-10-12 | 一种基于神经进化计算模型 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910965945.XA CN110852435A (zh) | 2019-10-12 | 2019-10-12 | 一种基于神经进化计算模型 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110852435A true CN110852435A (zh) | 2020-02-28 |
Family
ID=69597318
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910965945.XA Pending CN110852435A (zh) | 2019-10-12 | 2019-10-12 | 一种基于神经进化计算模型 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110852435A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111814946A (zh) * | 2020-03-17 | 2020-10-23 | 同济大学 | 一种基于多体进化的图像描述自动生成方法 |
| CN111861013A (zh) * | 2020-07-23 | 2020-10-30 | 长沙理工大学 | 一种电力负荷预测方法及装置 |
| CN113657040A (zh) * | 2021-08-24 | 2021-11-16 | 山东大学 | 一种基于神经进化的激光扫描焊接熔深预测方法及应用 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020174079A1 (en) * | 1999-09-01 | 2002-11-21 | Keith E. Mathias | Method for improving neural network architectures using evolutionary algorithms |
| US20080065575A1 (en) * | 2006-09-11 | 2008-03-13 | Eors Szathmary | Evolutionary neural network and method of generating an evolutionary neural network |
| CN104732274A (zh) * | 2015-03-10 | 2015-06-24 | 华南理工大学 | 一种智能计算机 |
| CN105426954A (zh) * | 2015-08-20 | 2016-03-23 | 武汉科技大学 | 一种基于多策略协同作用的粒子群优化的方法 |
| CN106650920A (zh) * | 2017-02-19 | 2017-05-10 | 郑州大学 | 一种基于优化极限学习机的预测模型 |
| CN108334949A (zh) * | 2018-02-11 | 2018-07-27 | 浙江工业大学 | 一种优化深度卷积神经网络结构的快速进化方法 |
-
2019
- 2019-10-12 CN CN201910965945.XA patent/CN110852435A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020174079A1 (en) * | 1999-09-01 | 2002-11-21 | Keith E. Mathias | Method for improving neural network architectures using evolutionary algorithms |
| US20080065575A1 (en) * | 2006-09-11 | 2008-03-13 | Eors Szathmary | Evolutionary neural network and method of generating an evolutionary neural network |
| CN104732274A (zh) * | 2015-03-10 | 2015-06-24 | 华南理工大学 | 一种智能计算机 |
| CN105426954A (zh) * | 2015-08-20 | 2016-03-23 | 武汉科技大学 | 一种基于多策略协同作用的粒子群优化的方法 |
| CN106650920A (zh) * | 2017-02-19 | 2017-05-10 | 郑州大学 | 一种基于优化极限学习机的预测模型 |
| CN108334949A (zh) * | 2018-02-11 | 2018-07-27 | 浙江工业大学 | 一种优化深度卷积神经网络结构的快速进化方法 |
Non-Patent Citations (1)
| Title |
|---|
| 高玮: "新型进化神经网络模型", 北京航空航天大学学报, vol. 30, no. 11, pages 1101 - 1105 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111814946A (zh) * | 2020-03-17 | 2020-10-23 | 同济大学 | 一种基于多体进化的图像描述自动生成方法 |
| CN111814946B (zh) * | 2020-03-17 | 2022-11-15 | 同济大学 | 一种基于多体进化的图像描述自动生成方法 |
| CN111861013A (zh) * | 2020-07-23 | 2020-10-30 | 长沙理工大学 | 一种电力负荷预测方法及装置 |
| CN111861013B (zh) * | 2020-07-23 | 2023-09-08 | 长沙理工大学 | 一种电力负荷预测方法及装置 |
| CN113657040A (zh) * | 2021-08-24 | 2021-11-16 | 山东大学 | 一种基于神经进化的激光扫描焊接熔深预测方法及应用 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | A cluster-based competitive particle swarm optimizer with a sparse truncation operator for multi-objective optimization | |
| Zhang et al. | Multi-colony ant colony optimization based on generalized jaccard similarity recommendation strategy | |
| CN110852435A (zh) | 一种基于神经进化计算模型 | |
| CN111366169B (zh) | 一种确定性移动机器人路径规划方法 | |
| WO2022068934A1 (en) | Method of neural architecture search using continuous action reinforcement learning | |
| CN114707575A (zh) | 一种基于ap聚类的sdn多控制器部署方法 | |
| CN113379536A (zh) | 一种基于引力搜索算法优化递归神经网络的违约概率预测方法 | |
| CN111353534B (zh) | 一种基于自适应分数阶梯度的图数据类别预测方法 | |
| CN115391385A (zh) | 一种基于蚁群遗传动态融合算法的数据库查询优化方法 | |
| CN116223973A (zh) | 基于改进灰狼优化算法的分布式配电网故障定位方法 | |
| CN114708479B (zh) | 一种基于图结构和特征的自适应防御方法 | |
| Wang et al. | A research on the optimal design of BP neural network based on improved GEP | |
| CN111832817A (zh) | 基于mcp罚函数的小世界回声状态网络时间序列预测方法 | |
| CN114662638A (zh) | 基于改进人工蜂群算法的移动机器人路径规划方法 | |
| Phan et al. | Efficiency enhancement of evolutionary neural architecture search via training-free initialization | |
| CN112131089B (zh) | 软件缺陷预测的方法、分类器、计算机设备及存储介质 | |
| CN113191486A (zh) | 基于参数服务器架构的图数据与参数数据的混合划分方法 | |
| CN110766072A (zh) | 一种基于结构相似性的计算图进化ai模型自动生成方法 | |
| CN115640845A (zh) | 基于生成对抗网络的图神经网络少数类别样本生成方法 | |
| CN113743012A (zh) | 一种多用户场景下的云-边缘协同模式任务卸载优化方法 | |
| CN112784948A (zh) | 一种基于章鱼学习记忆系统仿生的混合进化方法 | |
| Lei et al. | Research on optimization performance of nonlinear function based on multigroup genetic algorithm | |
| Liu et al. | A fast optimization method of using nondominated sorting genetic algorithm (NSGA-II) and 1-nearest neighbor (1NN) classifier for numerical model calibration | |
| CN116306770B (zh) | 一种基于密母神经架构搜索的软件定义网络性能预测方法 | |
| CN113065693B (zh) | 一种基于径向基神经网络的车流量预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200228 |