CN111144555A - 基于改进进化算法的循环神经网络架构搜索方法、系统及介质 - Google Patents
基于改进进化算法的循环神经网络架构搜索方法、系统及介质 Download PDFInfo
- Publication number
- CN111144555A CN111144555A CN201911410812.2A CN201911410812A CN111144555A CN 111144555 A CN111144555 A CN 111144555A CN 201911410812 A CN201911410812 A CN 201911410812A CN 111144555 A CN111144555 A CN 111144555A
- Authority
- CN
- China
- Prior art keywords
- neural network
- population
- model
- recurrent neural
- performance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 69
- 230000000306 recurrent effect Effects 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000035772 mutation Effects 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 17
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 14
- 238000003062 neural network model Methods 0.000 claims abstract description 13
- 238000005070 sampling Methods 0.000 claims abstract description 10
- 238000012360 testing method Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010200 validation analysis Methods 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 5
- 230000004913 activation Effects 0.000 description 4
- 238000001994 activation Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002028 premature Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Physiology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于改进进化算法的循环神经网络架构搜索方法、系统及介质，本发明方法包括训练多个循环神经网络子模型来更新共享权重；初始化产生种群和用于记录所有循环神经网络模型性能的历史记录表；从种群中随机采样产生样本，选取样本最优模型进行变异操作，以指定概率移除种群中最老或最差模型，将变异后的子节点加入种群和历史记录表；判断是否满足预设的结束条件，如果不满足则继续进行样本变异，否则输出历史记录表中的最优模型。本发明能够加快对循环神经网络架构进行搜索的过程，每个步骤更新种群时同时考虑到性能和搜索时间，能够极大地提高循环神经网络架构搜索的效率。
Description
技术领域
本发明涉及深度神经网络的架构设计及优化技术，具体涉及一种基于改进进化算法的循环神经网络架构搜索方法、系统及介质。
背景技术
在过去的几年中，深度神经网络在许多具有挑战性的应用中取得了巨大的成功，例如语音识别，图像识别和机器翻译。然而直到最近，大多数这些先进的神经网络架构还是由人类专家手动设计。为了加快这一过程，研究人员研究了自动化方法，这些方法现在通常称为神经网络架构搜索（NAS），传统的神经网络架构搜索方法是使用进化算法。
进化算法的基本步骤包括：首先初始化种群，然后从种群中选取最优的模型作为父亲模型进行变异操作生成子模型，之后更新种群，并将子模型加入种群。不同的进化算法主要体现在对种群的更新上。
老化进化（Aging Evolution，AE）算法是进化算法中的一种，老化进化算法丢弃了种群中年龄最大的模型来更新种群，并发现了超出手动设计性能的图像分类器。非老化进化算法则（Non-Aging Evolution，NAE）则丢弃种群中最差模型来更新种群。与NAE算法相比，AE算法可以探索更多的搜索空间，但是收敛速度较慢。NAE使搜索更快，但有过早收敛并陷入局部最优的风险。
ENAS（Efficient Neural Architecture Search）通过在所有子模型上共享参数大大减少了训练时间。实验结果表明，在Penn Treebank（PTB）数据集上，与NAS相比，ENAS方法寻找到的最优循环神经网络语言模型的困惑度要低5.8，可以达到业内最先进的性能。困惑度是自然语言处理中，评价文本数据集的重要指标。语言模型是可以用来计算一个句子概率的模型。而循环神经网络语言模型在测试集上的对句子的概率越大，语言模型的性能就越好，困惑度就越低。与原始的NAS相比，使用单个Nvidia 1080Ti的ENAS搜寻时间仅为12小时，搜索时间减少了1000倍以上。这主要是因为ENAS受到了迁移学习的启发，在子模型中共享权值，对生成的新的子模型架构不需要重新训练，仅仅通过之前架构权重参数对新生成的架构进行测试。而NAS则要对每个新生成的子模型架构重新进行训练，然后测试性能。但是，ENAS需要训练150 周期来不断更新子模型中的共享权重，并且需要训练LSTM作为控制器来搜索最佳架构，这无疑会增加搜索的时间和复杂性。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于改进进化算法的循环神经网络架构搜索方法、系统及介质，本发明能够加快对循环神经网络架构进行搜索的过程，在更新种群时采用了指定概率ε来丢弃种群中最差模型否则最老的模型以达到算法收敛和搜索更多空间的平衡，以便在每个步骤更新种群时同时考虑到性能和搜索时间，能够极大地提高循环神经网络架构搜索的效率。
为了解决上述技术问题，本发明采用的技术方案为：
一种基于改进进化算法的循环神经网络架构搜索方法，实施步骤包括：
1）训练多个循环神经网络子模型来更新共享权重ω；
2）初始化产生种群，通过共享权重ω评估种群中各个循环神经网络子模型的性能并添加到用于记录所有循环神经网络模型性能的历史记录表history；
3）从种群中随机采样产生样本，选取样本最优模型进行变异操作，以指定概率ε移除种群中最老或最差模型，将变异后的子节点加入种群和历史记录表history；判断是否满足预设的结束条件，如果不满足则跳转执行步骤3）；否则跳转执行下一步；
4）输出历史记录表history中的最优模型。
可选地，步骤2）的详细步骤包括：
2.1）产生种群population并初始化为空队列，并初始化用于记录循环神经网络模型性能的历史记录表history为空；
2.2）判断种群population的数量小于预设阈值P是否成立，如果成立则跳转执行步骤2.3）；否则，跳转执行步骤3）；
2.3）随机产生循环神经网络模型架构生成子模型model；
2.4）在预设的验证集上通过共享权重ω评估子模型model的性能；
2.5）将子模型model加入种群；
2.6）将子模型model的性能记录在历史记录表history中，跳转执行步骤2.2）。
可选地，步骤3）的详细步骤包括：
3.1）判断历史记录表history中的记录数量小于预设阈值C是否成立，如果成立则跳转执行步骤3.2）；否则，跳转执行步骤4）；
3.2）初始化建立空的样本sample；
3.3）从种群随机采样产生样本并放入样本sample中；
3.4）从样本sample中取困惑度最低的最优模型作为父亲节点；
3.5）按照突变规则更改父亲节点；
3.6）使用共享权重ω在预设的验证集上对突变后的子节点测试性能；
3.7）判断生成的概率值random (0,1)小于指定概率ε是否成立，如果成立则移除种群中困惑度最高的最差模型，否则移除种群中最左边的最老模型；
3.7）将突变后的子节点加入种群，使用历史记录表history记录变异后的子节点性能；跳转执行步骤3.1）。
此外，本实施例还提供一种基于改进进化算法的循环神经网络架构搜索系统，包括：
共享权重训练程序单元，用于训练多个循环神经网络子模型来更新共享权重ω；
种群初始化程序单元，用于初始化产生种群，通过共享权重ω评估种群中各个循环神经网络子模型的性能并添加到用于记录所有循环神经网络模型性能的历史记录表history；
变异进化程序单元，用于从种群中随机采样产生样本，选取样本最优模型进行变异操作，以指定概率ε移除种群中最老或最差模型，将变异后的子节点加入种群和历史记录表history；判断是否满足预设的结束条件，如果不满足则跳转执行变异进化程序单元；否则跳转执行输出程序单元；
输出程序单元，用于返回历史记录表history中的最优模型。
此外，本实施例还提供一种基于改进进化算法的循环神经网络架构搜索系统，包括计算机设备，该计算机设备被编程或配置以执行所述基于改进进化算法的循环神经网络架构搜索方法的步骤。
此外，本实施例还提供一种基于改进进化算法的循环神经网络架构搜索系统，包括计算机设备，该计算机设备的存储器上存储有被编程或配置以执行所述基于改进进化算法的循环神经网络架构搜索方法的计算机程序。
此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有被编程或配置以执行所述基于改进进化算法的循环神经网络架构搜索方法的计算机程序。
和现有技术相比，本发明具有下述优点：
1、与ENAS训练150周期更新共享权重不同的是，本发明仅对共享权重ω更新一次来评估所有的子模型，通过对所有生成的子模型使用共享权重ω评估性能以加快搜索过程。
2、本发明在更新种群时采用了指定概率ε (0<ε<1)来丢弃种群中最差模型，否则最老的模型以达到算法收敛和搜索更多空间的平衡，以便在每个步骤更新种群时同时考虑到性能和搜索时间，能够极大地提高循环神经网络架构搜索的效率。实验结果表明，在PTB数据集上，使用单个Nvidia 1080Ti搜索得到最佳循环神经网络架构可以达到最先进的性能，而搜索速度可以提高20倍。
附图说明
图1为本发明实施例方法的基本流程示意图。
图2为本发明实施例中的有向无环图表示的NAS搜索空间示意图。
图3为对应于图2的循环神经网络架构。
图4为本发明实施例中的两种类型的突变示意图。
图5为本发明实施例方法在PTB找到的最佳循环神经网络架构。
具体实施方式
如图1所示，本实施例基于改进进化算法的循环神经网络架构搜索方法的实施步骤包括：
1）训练多个循环神经网络子模型来更新共享权重ω；
2）初始化产生种群，通过共享权重ω评估种群中各个循环神经网络子模型的性能并添加到用于记录所有循环神经网络模型性能的历史记录表history；
3）从种群中随机采样产生样本，选取样本最优模型进行变异操作，以指定概率ε移除种群中最老或最差模型，将变异后的子节点加入种群和历史记录表history；判断是否满足预设的结束条件，如果不满足则跳转执行步骤3）；否则跳转执行下一步；
4）输出历史记录表history中的最优模型。
有向无环图（directed acyclic graph, DAG）可用于表示NAS的搜索空间，其中节点表示激活，边缘表示信息流。图2显示了一个DAG示例，在具有6个计算节点的搜索空间中,较粗的箭头定义了DAG中的一个模型。在这里，节点1是模型的输入，节点4和6是模型的输出。图2的示例的神经网络架构可以通过从DAG中提取子图来实现。这里所有黑色的箭头表示DAG搜索空间中中所有可能的连接情况，较粗的箭头表示随机产生的一个循环神经网络架构。显然，DAG是搜索空间中所有可能的子模型的组成。与使用控制器生成DAG的ENAS不同，本实施例中采用随机确定：使用哪些边，以及在DAG中的每个节点上使用哪些计算。本实施例中搜索空间为两个激活函数，Tanh和Relu。
图3显示了对应于图2的循环神经网络架构。x[t]为循环神经网络的输入（例如单词嵌入），h[t-1]为前一时间步长的输出。每个节点都有一个前节点，例如节点N的前节点可以是j（0 ≤j <N）。对于没有后继节点的节点（例如，图3中的节点4和节点6），本实施例中对其取平均作为神经网络的最终输出。对于每对节点，都有一个独立的参数矩阵。本实施例随机选择前一个索引来确定要使用的参数矩阵。因此，本实施例提出的模型中的所有神经网络架构都具有相同的权重集。参见图3，对应于图2的循环神经网络架构，在此节点4和6没有后继者，本实施例中将它们取平均作为输出。搜索空间随节点数量呈指数增长。为了说明这一点，如果循环单元有N个节点，并且本实施例使用2个激活函数（Tanh＆Relu），则搜索空间由2N ×N！，在本实施例的实验中，N = 12，这意味着搜索空间中大约有1.96×1012个模型。本实施例中，子模型的共享权重ω由表示。 对于Penn Treebank数据集的实验，本实施例中在400个随机生成的子模型中进行了训练。 训练批次大小为64，基于时间的反向传播（BackPropagation Through Time, BPTT）长度为35。训练结束后，共享权重ω是固定的，并在所有子模型（种群和突变后的父模型）之间共享，然后在验证集上进行评估，选择具有困惑度最低的作为最佳模型。
本实施例中，步骤2）的详细步骤包括：
2.1）产生种群population并初始化为空队列，并初始化用于记录循环神经网络模型性能的历史记录表history为空；
2.2）判断种群population的数量小于预设阈值P是否成立，如果成立则跳转执行步骤2.3）；否则，跳转执行步骤3）；
2.3）随机产生循环神经网络模型架构生成子模型model；
2.4）在预设的验证集上通过共享权重ω评估子模型model的性能；
2.5）将子模型model加入种群；
2.6）将子模型model的性能记录在历史记录表history中，跳转执行步骤2.2）。
本实施例中使用的改进进化方法中，种群是由具有随机架构的模型初始化的。进化算法逐周期改善了原始种群的循环。算法首先通过训练初始的400模型并在之后的所有的模型中共享权重ω。在每个周期中，本实施例从种群中随机选择模型作为样本集。之后，选择样本集中具有最低困惑度(perplexity, ppl)的模型作为父模型。然后，本实施例通过使用突变修改父模型的体系结构来重建新的子模型。突变是对网络体系结构进行简单随机的修改。本实施例中利用了图3中的两种类型的突变，即信息流突变和激活功能突变。在每个循环中仅应用这些突变之一，并在它们之间随机选择。选择子架构后，将使用共享权重ω对其进行评估，并将其添加到种群中。这个过程称为锦标赛选择。在锦标赛选择中，总体种群数量通常是固定的。 NAE 丢弃了总体中最差的模型，因此可以更快地收敛，而AE则移除了总体中最老的模型，以探索更多所有模型来找到更好架构。相比之下，本实施例每次都以指定概率ε移除最差的模型，否则删除最老的模型。这样，本实施例可以同时考虑性能和年龄，并在NAE 和AE 之间获得更好的平衡。它还使本实施例能够在搜索空间中快速并准确搜索到最佳模型。
本实施例中，步骤3）的详细步骤包括：
3.1）判断历史记录表history中的记录数量小于预设阈值C是否成立，如果成立则跳转执行步骤3.2）；否则，跳转执行步骤4）；
3.2）初始化建立空的样本sample；
3.3）从种群随机采样产生样本并放入样本sample中；
3.4）从样本sample中取困惑度最低的最优模型作为父亲节点；
3.5）按照突变规则更改父亲节点；图4记载了两种类型的突变，上方的较粗的节点表示激活突变，而下方的较粗的箭头表示信息流突变；
3.6）使用共享权重ω在预设的验证集上对突变后的子节点测试性能；
3.7）判断生成的概率值random(0,1)小于指定概率ε是否成立，如果成立则移除种群中困惑度最高的最差模型，否则移除种群中最左边的最老模型；
3.7）将突变后的子节点加入种群，使用历史记录表history记录变异后的子节点性能；跳转执行步骤3.1）。
本实施例代码在PyTorch上实现。本实施例使用了单个Nvidia 1080Ti GPU来训练并搜索最佳的循环神经网络架构。数据集是Penn Treebank，操作系统是Ubuntu，CPU 为3.6GHz Intel Core i7和内存为16 GB DDR4 2.4GHz。
本实施例首先搜索了改进进化算法的最优指定概率ε的值。在此，总的循环次数C设置为30,000，指定概率ε从0到1变化，变化幅度为0.1。
当指定概率ε等于0时，本实施例的改进进化算法等同于AE，当更新种群时，改进进化算法杀死最老的一个。当指定概率ε等于1时，本实施例的改进进化算法与NAE相同，在那里最差的人群将被消除。本实施例中种群数量 (population) 为100，样本数量（Sample）为25。本实施例将改进进化算法对循环神经网络架构搜索的模型参数大小限制为24M，以便与其他基准模型相比较。子模型的共享参数由随机梯度下降的方法训练，学习率为20.0。训练集批次大小为 64，验证集批次大小为1。
当指定概率ε等于0.4时，改进进化算法会找到最佳的循环神经网络架构，如图5所示。改进进化算法在PTB找到的最佳循环神经网络架构平均了6个节点的结果作为输出。与AE（指定概率ε= 0）和NAE（指定概率ε= 1）相比，困惑度分别降低了3.1和2.0。
结果分析：
本实施例的改进进化算法会找到最佳的循环神经网络架构困惑度为56.3，可以达到最先进的性能，同时搜索时间仅为0.6小时，与现有的ENAS 方法12小时相比，搜索速度提高了20倍。与ENAS相比，本实施例具有更快的速度原因主要有三点：首先，本实施例只训练400个模型来更新共享权重，并使用它们来评估所有子模型。尽管ENAS在每个时期仍需要训练400个模型来更新权重以训练LSTM，并且权重总共更新了150个周期（总共60000个模型）。其次，ENAS 在每个周期都会使用整个验证集评估最高奖励的模型，这会占用很多时间。而本实施例仅在所有迭代结束后，从历史记录中选择最佳模型，然后从头开始进行训练评估。第三，与必须在每个周期训练循环神经网络作为控制器生成架构的ENAS相比，本实施例只需要在一个周期内进行简单的变异和删除操作，这要简单得多。
本实施例将在PTB数据集搜到的最佳循环神经网络架构以及ENAS找到的最优循环神经网络架构迁移到WikiText-2（WT-2）上进行训练测试，并将参数量增加到33M。实验结果表明，本实施例在PTB上搜到的最优循环神经网络架构在WT-2上测试集的困惑度可以达到68.0。尽管在WT-2上的总体测试集的困惑度不如目前最先进的性能（63.3），但其在WT2上迁移能力要好于ENAS（困惑度70.1）。主要原因是本实施例搜索时使用的源数据集（PTB）和WT-2相比较小，通过直接使用改进进化算法在上WT-2搜索最优架构，可以避免可移植性问题。
此外，本实施例提供一种基于改进进化算法的循环神经网络架构搜索系统，包括：
共享权重训练程序单元，用于训练多个循环神经网络子模型来更新共享权重ω；
种群初始化程序单元，用于初始化产生种群，通过共享权重ω评估种群中各个循环神经网络子模型的性能并添加到用于记录所有循环神经网络模型性能的历史记录表history；
变异进化程序单元，用于从种群中随机采样产生样本，选取样本最优模型进行变异操作，以指定概率ε移除种群中最老或最差模型，将变异后的子节点加入种群和历史记录表history；判断是否满足预设的结束条件，如果不满足则跳转执行变异进化程序单元；否则跳转执行输出程序单元；
输出程序单元，用于返回历史记录表history中的最优模型。
此外，本实施例提供一种基于改进进化算法的循环神经网络架构搜索系统，包括计算机设备，该计算机设备被编程或配置以执行本实施例前述基于改进进化算法的循环神经网络架构搜索方法的步骤。
此外，本实施例提供一种基于改进进化算法的循环神经网络架构搜索系统，包括计算机设备，该计算机设备的存储器上存储有被编程或配置以执行本实施例前述基于改进进化算法的循环神经网络架构搜索方法的计算机程序。
此外，本实施例提供一种计算机可读存储介质，该计算机可读存储介质上存储有被编程或配置以执行本实施例前述基于改进进化算法的循环神经网络架构搜索方法的计算机程序。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (7)
1.一种基于改进进化算法的循环神经网络架构搜索方法，其特征在于实施步骤包括：
1）训练多个循环神经网络子模型来更新共享权重ω；
2）初始化产生种群，通过共享权重ω评估种群中各个循环神经网络子模型的性能并添加到用于记录所有循环神经网络模型性能的历史记录表history；
3）从种群中随机采样产生样本，选取样本最优模型进行变异操作，以指定概率ε移除种群中最老或最差模型，将变异后的子节点加入种群和历史记录表history；判断是否满足预设的结束条件，如果不满足则跳转执行步骤3）；否则跳转执行下一步；
4）输出历史记录表history中的最优模型。
2.根据权利要求1所述的基于改进进化算法的循环神经网络架构搜索方法，其特征在于，步骤2）的详细步骤包括：
2.1）产生种群population并初始化为空队列，并初始化用于记录循环神经网络模型性能的历史记录表history为空；
2.2）判断种群population的数量小于预设阈值P是否成立，如果成立则跳转执行步骤2.3）；否则，跳转执行步骤3）；
2.3）随机产生循环神经网络模型架构生成子模型model；
2.4）在预设的验证集上通过共享权重ω评估子模型model的性能；
2.5）将子模型model加入种群；
2.6）将子模型model的性能记录在历史记录表history中，跳转执行步骤2.2）。
3.根据权利要求1所述的基于改进进化算法的循环神经网络架构搜索方法，其特征在于，步骤3）的详细步骤包括：
3.1）判断历史记录表history中的记录数量小于预设阈值C是否成立，如果成立则跳转执行步骤3.2）；否则，跳转执行步骤4）；
3.2）初始化建立空的样本sample；
3.3）从种群随机采样产生样本并放入样本sample中；
3.4）从样本sample中取困惑度最低的最优模型作为父亲节点；
3.5）按照突变规则更改父亲节点；
3.6）使用共享权重ω在预设的验证集上对突变后的子节点测试性能；
3.7）判断生成的概率值random (0,1)小于指定概率ε是否成立，如果成立则移除种群中困惑度最高的最差模型，否则移除种群中最左边的最老模型；
3.7）将突变后的子节点加入种群，使用历史记录表history记录变异后的子节点性能；跳转执行步骤3.1）。
4.一种基于改进进化算法的循环神经网络架构搜索系统，其特征在于包括：
共享权重训练程序单元，用于训练多个循环神经网络子模型来更新共享权重ω；
种群初始化程序单元，用于初始化产生种群，通过共享权重ω评估种群中各个循环神经网络子模型的性能并添加到用于记录所有循环神经网络模型性能的历史记录表history；
变异进化程序单元，用于从种群中随机采样产生样本，选取样本最优模型进行变异操作，以指定概率ε移除种群中最老或最差模型，将变异后的子节点加入种群和历史记录表history；判断是否满足预设的结束条件，如果不满足则跳转执行变异进化程序单元；否则跳转执行输出程序单元；
输出程序单元，用于返回历史记录表history中的最优模型。
5.一种基于改进进化算法的循环神经网络架构搜索系统，包括计算机设备，其特征在于，该计算机设备被编程或配置以执行权利要求1～3中任意一项所述基于改进进化算法的循环神经网络架构搜索方法的步骤。
6.一种基于改进进化算法的循环神经网络架构搜索系统，包括计算机设备，其特征在于，该计算机设备的存储器上存储有被编程或配置以执行权利要求1～3中任意一项所述基于改进进化算法的循环神经网络架构搜索方法的计算机程序。
7.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有被编程或配置以执行权利要求1～3中任意一项所述基于改进进化算法的循环神经网络架构搜索方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911410812.2A CN111144555A (zh) | 2019-12-31 | 2019-12-31 | 基于改进进化算法的循环神经网络架构搜索方法、系统及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911410812.2A CN111144555A (zh) | 2019-12-31 | 2019-12-31 | 基于改进进化算法的循环神经网络架构搜索方法、系统及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111144555A true CN111144555A (zh) | 2020-05-12 |
Family
ID=70522540
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911410812.2A Pending CN111144555A (zh) | 2019-12-31 | 2019-12-31 | 基于改进进化算法的循环神经网络架构搜索方法、系统及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111144555A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111783320A (zh) * | 2020-08-03 | 2020-10-16 | 中国人民解放军国防科技大学 | 针对指定应用的类脑处理器NoC设计空间探索方法、系统及介质 |
| CN111882042A (zh) * | 2020-08-03 | 2020-11-03 | 中国人民解放军国防科技大学 | 用于液体状态机的神经网络架构自动搜索方法、系统及介质 |
| CN112116090A (zh) * | 2020-09-28 | 2020-12-22 | 腾讯科技（深圳）有限公司 | 神经网络结构搜索方法、装置、计算机设备及存储介质 |
| CN112348174A (zh) * | 2020-11-26 | 2021-02-09 | 中国人民解放军国防科技大学 | 一种可容错的循环神经网络架构搜索方法及系统 |
| CN112784949A (zh) * | 2021-01-28 | 2021-05-11 | 华东计算技术研究所（中国电子科技集团公司第三十二研究所） | 一种基于进化计算的神经网络架构搜索方法和系统 |
| CN112883642A (zh) * | 2021-02-08 | 2021-06-01 | 上海叠腾网络科技有限公司 | 能源站区域供冷设备系统参数优化方法、系统及介质 |
| CN113469078A (zh) * | 2021-07-07 | 2021-10-01 | 西安电子科技大学 | 基于自动设计长短时记忆网络的高光谱图像分类方法 |
| CN114926698A (zh) * | 2022-07-19 | 2022-08-19 | 深圳市南方硅谷半导体股份有限公司 | 基于演化博弈论的神经网络架构搜索的图像分类方法 |
| CN114997360A (zh) * | 2022-05-18 | 2022-09-02 | 四川大学 | 神经架构搜索算法的演化参数优化方法、系统及存储介质 |
-
2019
- 2019-12-31 CN CN201911410812.2A patent/CN111144555A/zh active Pending
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111882042A (zh) * | 2020-08-03 | 2020-11-03 | 中国人民解放军国防科技大学 | 用于液体状态机的神经网络架构自动搜索方法、系统及介质 |
| CN111783320A (zh) * | 2020-08-03 | 2020-10-16 | 中国人民解放军国防科技大学 | 针对指定应用的类脑处理器NoC设计空间探索方法、系统及介质 |
| CN111882042B (zh) * | 2020-08-03 | 2024-04-05 | 中国人民解放军国防科技大学 | 用于液体状态机的神经网络架构自动搜索方法、系统及介质 |
| CN112116090A (zh) * | 2020-09-28 | 2020-12-22 | 腾讯科技（深圳）有限公司 | 神经网络结构搜索方法、装置、计算机设备及存储介质 |
| CN112116090B (zh) * | 2020-09-28 | 2022-08-30 | 腾讯科技（深圳）有限公司 | 神经网络结构搜索方法、装置、计算机设备及存储介质 |
| CN112348174A (zh) * | 2020-11-26 | 2021-02-09 | 中国人民解放军国防科技大学 | 一种可容错的循环神经网络架构搜索方法及系统 |
| CN112784949B (zh) * | 2021-01-28 | 2023-08-11 | 华东计算技术研究所（中国电子科技集团公司第三十二研究所） | 一种基于进化计算的神经网络架构搜索方法和系统 |
| CN112784949A (zh) * | 2021-01-28 | 2021-05-11 | 华东计算技术研究所（中国电子科技集团公司第三十二研究所） | 一种基于进化计算的神经网络架构搜索方法和系统 |
| CN112883642A (zh) * | 2021-02-08 | 2021-06-01 | 上海叠腾网络科技有限公司 | 能源站区域供冷设备系统参数优化方法、系统及介质 |
| CN112883642B (zh) * | 2021-02-08 | 2023-10-31 | 上海叠腾网络科技有限公司 | 能源站区域供冷设备系统参数优化方法、系统及介质 |
| CN113469078A (zh) * | 2021-07-07 | 2021-10-01 | 西安电子科技大学 | 基于自动设计长短时记忆网络的高光谱图像分类方法 |
| CN114997360A (zh) * | 2022-05-18 | 2022-09-02 | 四川大学 | 神经架构搜索算法的演化参数优化方法、系统及存储介质 |
| CN114997360B (zh) * | 2022-05-18 | 2024-01-19 | 四川大学 | 神经架构搜索算法的演化参数优化方法、系统及存储介质 |
| CN114926698A (zh) * | 2022-07-19 | 2022-08-19 | 深圳市南方硅谷半导体股份有限公司 | 基于演化博弈论的神经网络架构搜索的图像分类方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111144555A (zh) | 基于改进进化算法的循环神经网络架构搜索方法、系统及介质 | |
| Liu et al. | Progressive neural architecture search | |
| CN110956260A (zh) | 神经架构搜索的系统和方法 | |
| CN109299237B (zh) | 基于行动者评论家强化学习算法的循环网络人机对话方法 | |
| CN110110862A (zh) | 一种基于适应性模型的超参数优化方法 | |
| CN112232413B (zh) | 基于图神经网络与谱聚类的高维数据特征选择方法 | |
| CN106997474A (zh) | 一种基于深度学习的图节点多标签分类方法 | |
| CN110766044A (zh) | 一种基于高斯过程先验指导的神经网络训练方法 | |
| CN112732583A (zh) | 一种基于聚类和多种群遗传算法的软件测试数据生成方法 | |
| CN113240113B (zh) | 一种增强网络预测鲁棒性的方法 | |
| CN109614611B (zh) | 一种融合生成非对抗网络与卷积神经网络的情感分析方法 | |
| Bakhshi et al. | Fast evolution of CNN architecture for image classification | |
| CN113128671A (zh) | 一种基于多模态机器学习的服务需求动态预测方法及系统 | |
| CN114548591A (zh) | 一种基于混合深度学习模型和Stacking的时序数据预测方法及系统 | |
| US11914672B2 (en) | Method of neural architecture search using continuous action reinforcement learning | |
| WO2022265573A2 (en) | Automatically and efficiently generating search spaces for neural network | |
| CN112966115B (zh) | 基于记忆损失预测和延迟训练的主动学习事件抽取方法 | |
| CN111126443A (zh) | 基于随机游走的网络表示学习方法 | |
| CN116701647A (zh) | 基于嵌入向量与迁移学习融合的知识图谱补全方法及装置 | |
| Bujok | Three steps to improve jellyfish search optimiser | |
| KR102559605B1 (ko) | 함수 최적화 방법 및 장치 | |
| CN115907775A (zh) | 基于深度学习的个人征信评级方法及其应用 | |
| CN112837739B (zh) | 基于自编码器与蒙特卡洛树的层次化特征系统发育模型 | |
| CN114298290A (zh) | 一种基于自监督学习的神经网络编码方法及编码器 | |
| JP6993250B2 (ja) | コンテンツ特徴量抽出装置、方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200512 |
|
| RJ01 | Rejection of invention patent application after publication |