CN109711040B - 一种基于搜索方向学习的智能工业设计强化学习算法 - Google Patents

一种基于搜索方向学习的智能工业设计强化学习算法 Download PDF

Info

Publication number
CN109711040B
CN109711040B CN201811589807.8A CN201811589807A CN109711040B CN 109711040 B CN109711040 B CN 109711040B CN 201811589807 A CN201811589807 A CN 201811589807A CN 109711040 B CN109711040 B CN 109711040B
Authority
CN
China
Prior art keywords
neural network
design
new
learning
relation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811589807.8A
Other languages
English (en)
Other versions
CN109711040A (zh
Inventor
张明
崔树鑫
张良
张儒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Tianfu Software Co ltd
Original Assignee
Nanjing Tianfu Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Tianfu Software Co ltd filed Critical Nanjing Tianfu Software Co ltd
Priority to CN201811589807.8A priority Critical patent/CN109711040B/zh
Publication of CN109711040A publication Critical patent/CN109711040A/zh
Application granted granted Critical
Publication of CN109711040B publication Critical patent/CN109711040B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Feedback Control In General (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种基于搜索方向学习的智能工业设计强化学习算法,通过以下几个步骤实现：步骤A：通过第一神经网络和第二神经网络分别描述设计变量
Figure DEST_PATH_IMAGE001
与目标值
Figure 967092DEST_PATH_IMAGE002
的关系F(x)、任意设计点
Figure 216808DEST_PATH_IMAGE001
与对应的最佳搜索方向
Figure DEST_PATH_IMAGE003
的关系G(x)；步骤B：系统将随机抽样，筛选抽样样本，由筛选后的样本数据构建学习数据；若两套新的神经网络未能满足强化终止条件，则继续抽样、筛选直至两套新的神经网络满足强化终止条件；步骤C：当两套新的神经网络满足强化终止条件，保留并输出当前两套神经网络模型结构。与传统方法相比，本发明的有益效果是：对于探索空间连续且空间较大的问题，本发明构建两套神经网络配合，强化学习的整个流程，本发明提高了学习的效率同时向算法收敛的方向进行。

Description

一种基于搜索方向学习的智能工业设计强化学习算法
技术领域
本发明涉及一种智能工业设计算法，尤其涉及一种基于搜索方向学习的智能工业设计强化学习算法。
背景技术
智能工业设计，即通过对工业领域的设计数据的学习，使得机器具备设计的能力，进而协助人类提高生产力,表现在提高人工设计的效率,可以代替部分繁琐的人工工作;在训练机器的过程中，可以通过学习机制探索未知的设计方案,拓展原有的有限的设计经验;在工业领域，设计过程通常需要一系列计算机辅助建模.计算机辅助仿真（或者实验）过程；在机器学习方向，这个过程对应着样本数据积累，根据具体的设计目标，有相应的学习数据生成,以及后续的学习模型建立,模型训练等过程,最终的目标是实现机器关于具体设计的认知,如可以判断具体某个设计的优劣,自动实现满足需要的设计方案等;机器学习工业设计的过程可以抽象为，机器记录设计变量与设计目标之间关系的过程，同时确定更优设计的方向，使得机器可以进行更高质量的工业设计；在具体的工业设计领域，比如泵设计，船舶设计等等，设计变量往往是连续变量，同时设计变量的数目也较多，因此组合对应的状态规模很大，使用纯概率的算法，如马尔可夫决策，或者贝叶斯图等寻找更优的方式成本很高，为此我们通过对设计点与设计方向之间建立映射，表征迁移概率函数，避免了复杂的概率计算，同时由于创建映射本身存在的一定模糊性，因此具备了一定的适应性；此外通过与强化过程结合，不断地筛选出更优设计，使得算法可以寻找更优的设计；
一般而言，强化学习面对工业设计领域，目前主要面临的难点在于，探索空间较大，即设计参数的组合情形较多；如何设计对具体状态的有效评估是一个较难处理的问题；以及处理如何使得一套由设计参数到目标的关系的描述适用性准确且更广泛的问题。
发明内容
为了解决上述所存在的问题，本发明提供了一种基于搜索方向学习的智能工业设计强化学习算法，本发明通过两套神经网络的配合，可以提高学习的效率同时向算法收敛的方向进行。
一种基于搜索方向学习的智能工业设计强化学习算法,通过以下几个步骤实现：
步骤A：首先确定工业设计中依赖的设计目标、设计变量及其取值范围；机器在通过样本数据训练的时候，通过第一神经网络和第二神经网络分别描述设计变量
Figure 710713DEST_PATH_IMAGE001
与设计目标/>
Figure 251416DEST_PATH_IMAGE002
的关系F(x)、任意设计点/>
Figure 832570DEST_PATH_IMAGE001
与对应的最佳搜索方向/>
Figure 167737DEST_PATH_IMAGE003
的关系G(x)；
步骤B：系统不断地进行随机抽样，过滤异常样本，筛选抽样样本，由筛选后的样本数据构建学习数据，并评选当前最优设计点和计算学习数据搜索方向
Figure 896658DEST_PATH_IMAGE003
，通过所述学习数据重新构建所述关系F(x)和所述关系G(x)，即重建第一神经网络和第二神经网络，得到新的第一神经网络和新的第二神经网络；/>
若新的第一神经网络和新的第二神经网络未能满足强化终止条件，则所述新的第一神经网络和新的第二神经网络继续强化训练，即新的第一神经网络和新的第二神经网络继续进行抽样、过滤、筛选、评选新的最优设计点和计算新的学习数据搜索方向
Figure 913156DEST_PATH_IMAGE003
，重新构建第一神经网络和第二神经网络，直至当前的第一神经网络和当前的第二神经网络满足强化终止条件；
所述筛选的方式为，在设计空间内随机生成一批设计点
Figure 411133DEST_PATH_IMAGE004
，按照λ的比例分为两组，其中一组通过已建立的关系G(x)的神经网络生成对应的搜索方向/>
Figure 917201DEST_PATH_IMAGE005
，过滤异常样本点，然后通过描述关系F(x)的神经网络计算F(/>
Figure 133419DEST_PATH_IMAGE006
)的结果，按照结果大小排序，取结果排序较大的设计点，与第二组设计点合并为新的样本设计点，通过实际计算获得新的样本点，并将新的样本点添加到样本集合中；对样本随机的多个方向计算梯度，如果梯度异常大，则对应样本为异常的可能性越高；
步骤C：若当前的第一神经网络和当前的第二神经网络满足强化终止条件，保留并输出当前第一神经网络和当前第二神经网络的模型结构，在第一神经网络和第二神经网络配合强化训练完成后，机器具备关系F(x)和关系G(x)后，可以进行实际的设计工作用于实际设计过程。
上述方案中，在步骤A中，所述关系F(x)用于减少对样本的依赖；所述关系G(x)用于指导新的抽样过程；两套神经网络分别描述设计变量
Figure 953607DEST_PATH_IMAGE004
与目标值/>
Figure 306091DEST_PATH_IMAGE002
的关系F(x)，以及任意设计点/>
Figure 248639DEST_PATH_IMAGE001
以及对应的最佳搜索方向/>
Figure 624257DEST_PATH_IMAGE003
的关系G(x)；
Figure DEST_PATH_IMAGE007
Figure 44874DEST_PATH_IMAGE008
其中，X为设计变量空间，Y为目标值空间，D为搜索方向空间。
在上述方案中，在步骤A中所述样本数据数量在1000—99999。
上述方案中，在步骤B中，所述学习数据为所述样本数据剔除异常样本的数据集合。
在上述方案中，在步骤B中，所述筛选的方式为，对样本随机的多个方向计算梯度，如果梯度异常大，则对应样本为异常的可能性越高：
Figure DEST_PATH_IMAGE009
；其中，H为常数值；强化学习的整个流程，包括样本的筛选方式，样本的过滤方式，两套神经网络的配合，尤其在设计变量是连续的，设计变量空间巨大的情形下，带来的收益使得机器用于工业设计能加高效。
上述方案中，在步骤B中，强化学习的整个流程，所述随机抽样的准则为，在已有的样本集中，筛选目标值较高的样本附近的设计点分别通过F(x)计算预期的目标值，再次筛选预期目标值较高的设计点进行实际的仿真计算，获得实际的设计点与目标值数据，添加到已有的样本集中，提高了学习的效率，还约束住收敛性。
上述方案中，在步骤B中，所述λ为比例因子，范围在0--1之间，根据比例因子的调节取样，扩大了优化范围，找到更好的设计方案。
上述方案中，在步骤B中，所述强化终止条件包括到达最大计算规模和到达收敛值。
上述方案中，在步骤C中，所述机器具备的关系F(x)和关系G(x)，关系F(x)可以用于直接计算某个设计点对应的目标值，关系G(x)可以用于计算某个初始设计点对应的最佳设计点；F(x)的关系本质上可以用一个多元函数表征，通过训练过程确定F(x)的具体表达；关系G(x)的构建过程需要先通过已有的样本数据，计算临时的最优搜索方向数据，然后通过临时的最优所搜方向数据构建描述完整空间的近似函数表达。
与传统方法相比，本发明的有益效果是：对于探索空间连续且空间较大的问题，本发明构建两套神经网络，一套神经网络表征设计点与最佳搜索方向的映射关系，一套神经网络表征设计点与目标值的映射关系，通过两套由数据构造的神经网络，分别描述在巨大设计变量空间上的搜索方向和目标值的计算；神经网络的建立在初始阶段具有一定的模糊性，随着强化过程的递进，不断挖掘出更优秀的设计，同时两套神经网络的构建也更加完善更加准确，指导性同时提高，算法的收敛性得到约束，使得算法可以寻找更优的设计。
说明书附图
图1 为一种基于搜索方向学习的智能工业设计强化学习算法的算法流程图。
图2 为一种基于搜索方向学习的智能工业设计强化学习算法的算法中参数变化范围图表。
图3 为一种基于搜索方向学习的智能工业设计强化学习算法的学习结果对比图表。
具体实施方法
下面结合附图，对本发明的具体实施方式作详细说明。
如图1所示，一种基于搜索方向学习的智能工业设计强化学习算法,通过以下几个步骤实现：
步骤A：首先确定工业设计中依赖的设计目标、设计变量及其取值范围；机器在通过样本数据训练的时候，通过第一神经网络和第二神经网络分别描述设计变量
Figure 455127DEST_PATH_IMAGE001
与设计目标/>
Figure 302997DEST_PATH_IMAGE002
的关系F(x)、任意设计点/>
Figure 162981DEST_PATH_IMAGE001
与对应的最佳搜索方向/>
Figure 387289DEST_PATH_IMAGE003
的关系G(x)；
步骤B：系统不断地进行随机抽样，过滤异常样本，筛选抽样样本，由筛选后的样本数据构建学习数据，并评选当前最优设计点和计算学习数据搜索方向
Figure 714365DEST_PATH_IMAGE003
，通过所述学习数据重新构建所述关系F(x)和所述关系G(x)，即重建第一神经网络和第二神经网络，得到新的第一神经网络和新的第二神经网络；
若新的第一神经网络和新的第二神经网络未能满足强化终止条件，则所述新的第一神经网络和新的第二神经网络继续强化训练，即新的第一神经网络和新的第二神经网络继续进行抽样、过滤、筛选、评选新的最优设计点和计算新的学习数据搜索方向
Figure 998716DEST_PATH_IMAGE003
，重新构建第一神经网络和第二神经网络，直至当前的第一神经网络和当前的第二神经网络满足强化终止条件；
所述筛选的方式为，在设计空间内随机生成一批设计点
Figure 348926DEST_PATH_IMAGE004
，按照λ的比例分为两组，其中一组通过已建立的关系G(x)的神经网络生成对应的搜索方向/>
Figure 111346DEST_PATH_IMAGE005
，过滤异常样本点，然后通过描述关系F(x)的神经网络计算F(/>
Figure 292928DEST_PATH_IMAGE006
)的结果，按照结果大小排序，取结果排序较大的设计点，与第二组设计点合并为新的样本设计点，通过实际计算获得新的样本点，并将新的样本点添加到样本集合中；对样本随机的多个方向计算梯度，如果梯度异常大，则对应样本为异常的可能性越高；
步骤C：若当前的第一神经网络和当前的第二神经网络满足强化终止条件，保留并输出当前第一神经网络和当前第二神经网络的模型结构，在第一神经网络和第二神经网络配合强化训练完成后，机器具备关系F(x)和关系G(x)后，可以进行实际的设计工作用于实际设计过程。
在步骤A中，所述关系F(x)用于减少对样本的依赖；所述关系G(x)用于指导新的抽样过程；由于实际工程问题中，设计变量
Figure 685863DEST_PATH_IMAGE004
和目标值/>
Figure 585686DEST_PATH_IMAGE002
之间的量化关系，以及一个初始设计/>
Figure 151797DEST_PATH_IMAGE001
与对应的最佳搜索方向/>
Figure 125569DEST_PATH_IMAGE003
的量化关系都是未知的，机器在通过数据样本训练的时候，我们通过两套神经网络分别描述设计变量/>
Figure 751722DEST_PATH_IMAGE004
与目标值/>
Figure 138841DEST_PATH_IMAGE002
的关系F(x)，以及任意设计点/>
Figure 180747DEST_PATH_IMAGE001
以及对应的最佳搜索方向/>
Figure 336922DEST_PATH_IMAGE003
的关系G(x)；
Figure 133976DEST_PATH_IMAGE007
Figure 680495DEST_PATH_IMAGE008
其中，X为设计变量空间，Y为目标值空间，D为搜索方向空间。
在步骤A中，在步骤A中所述样本数据数量在1000—99999。
在步骤B中，所述学习数据为所述样本数据剔除异常样本的数据集合。
在步骤B中，所述随机抽样的准则为，在已有的样本集中，筛选目标值较高的样本附近的设计点分别通过F(x)计算预期的目标值，再次筛选预期目标值较高的设计点进行实际的仿真计算，获得实际的设计点与目标值数据，添加到已有的样本集中。
在步骤B中，所述筛选的方式为，对样本随机的多个方向计算梯度，如果梯度异常大，则对应样本为异常的可能性越高：
Figure 853988DEST_PATH_IMAGE009
；其中，H为常数值，若H的值越大，则对应的样本异常的可能性就越高，当H的值达到e10，甚至e20时，异样的可能性极大。
在步骤B中，所述λ为比例因子，范围在0--1之间。
在步骤B中，所述强化终止条件包括到达最大计算规模和到达收敛值。
在步骤C中，所述机器具备的关系F(x)和关系G(x)，关系F(x)可以用于直接计算某个设计点对应的目标值，关系G(x)可以用于计算某个初始设计点对应的最佳设计点；F(x)的关系本质上可以用一个多元函数表征，通过训练过程确定F(x)的具体表达；关系G(x)的构建过程需要先通过已有的样本数据，计算临时的最优搜索方向数据，然后通过临时的最优所搜方向数据构建描述完整空间的近似函数表达。
具体地说，首先，确定工业设计中需要控制的参数变量，包括变量的变化范围，同时确定设计的目标；
然后，通过参数化建模，以及计算机辅助分析等一系列环节的搭建，描述具体的工业设计中由参数变量获得目标值的过程, 作为算法中采样的执行流程；
再后，选定合适的神经网络结构，调用本专利中描述的算法框架，执行训练工作；
最后，当训练结束后，输出的信息文件可用于直接的工业设计过程；
以泵设计的具体问题为例：
1.取泵设计的扬程为指标，对扬程范围进行分段划分；
对扬程50～900m等分为18份作为不同的扬程指标；
2.确定需要研究的设计变量以及对应的研究范围；
设计师罗列出可能的变化参数，并估计各个的变化范围，如图2所示；
3.根据几何元素的选取进行参数化几何建模，并对几何的效率和扬程进行计算评估；
4.根据参数化建模和评估流程进行初步的样本生成；
通过s2分析工具，对具体的几何模型进行评估；
5.根据上述信息配置强化学习流程，执行强化学习算法，不断进行抽样，样本筛选，以及两套神经网络的训练，即添加新的样本到原样本集，使用新的样本集更新神经网络，并重新训练神经网络，指导新的设计直到达到强化学习结束条件；
6.当达到强化学习终止条件后，保留并输出当前训练的神经网络模型结构，并用于实际设计过程；对学习结果进行对比（同一标号分别对应原始设计-人工智能设计），如图3所示。
在本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (8)

1.一种基于搜索方向学习的智能工业设计强化学习算法的泵的设计方法,其特征在于，通过以下几个步骤实现：
1).取泵设计的扬程为指标，对扬程范围进行分段划分；
对扬程50～900m等分为18份作为不同的扬程指标；
2).确定需要研究的设计变量以及对应的研究范围；
设计师罗列出可能的变化参数，并估计各个的变化范围；
3).根据几何元素的选取进行参数化几何建模，并对几何的效率和扬程进行计算评估；
4).根据参数化建模和评估流程进行初步的样本生成；通过s2分析工具，对具体的几何模型进行评估；
5).根据上述信息配置强化学习流程，执行强化学习算法，不断进行抽样，样本筛选，以及两套神经网络的训练，即添加新的样本到原样本集，使用新的样本集更新神经网络，并重新训练神经网络，指导新的设计直到达到强化学习结束条件；其中强化学习算法步骤如下：
步骤A：取泵设计的扬程为指标，对扬程范围进行分段划分,对扬程50～900m等分为18份作为不同的扬程指标，设计变量及其取值范围；机器在通过样本数据训练的时候，通过第一神经网络和第二神经网络分别描述设计变量
Figure FDA0004176966710000011
与设计目标/>
Figure FDA0004176966710000012
的关系F(x)、任意设计点/>
Figure FDA0004176966710000013
与对应的最佳搜索方向/>
Figure FDA0004176966710000014
的关系G(x)；步骤B：系统不断地进行随机抽样，过滤异常样本，筛选抽样样本，由筛选后的样本数据构建学习数据，并评选当前最优设计点和计算学习数据搜索方向/>
Figure FDA0004176966710000015
通过所述学习数据重新构建所述关系F(x)和所述关系G(x)，即重建第一神经网络和第二神经网络，得到新的第一神经网络和新的第二神经网络；
若新的第一神经网络和新的第二神经网络未能满足强化终止条件，则所述新的第一神经网络和新的第二神经网络继续强化训练，即新的第一神经网络和新的第二神经网络继续进行抽样、过滤、筛选、评选新的最优设计点和计算新的学习数据搜索方向
Figure FDA0004176966710000021
重新构建第一神经网络和第二神经网络，直至当前的第一神经网络和当前的第二神经网络满足强化终止条件；
所述筛选的方式为，在设计空间内随机生成一批设计点
Figure FDA0004176966710000022
按照λ的比例分为两组，其中一组通过已建立的关系G(x)的神经网络生成对应的搜索方向/>
Figure FDA0004176966710000023
过滤异常样本点，然后通过描述关系F(x)的神经网络计算/>
Figure FDA0004176966710000024
的结果，按照结果大小排序，取结果排序较大的设计点，与第二组设计点合并为新的样本设计点，通过实际计算获得新的样本点，并将新的样本点添加到样本集合中；对样本随机的多个方向计算梯度，如果梯度异常大，则对应样本为异常的可能性越高；
步骤C：若当前的第一神经网络和当前的第二神经网络满足强化终止条件，保留并输出当前第一神经网络和当前第二神经网络的模型结构，在第一神经网络和第二神经网络配合强化训练完成后，机器具备关系F(x)和关系G(x)后，可以进行实际的设计工作，用于实际设计过程；
6).当达到强化学习终止条件后，保留并输出当前训练的神经网络模型结构，并用于实际设计过程；对学习结果进行对比。
2.根据权利要求1中所述的一种基于搜索方向学习的智能工业设计强化学习算法的泵的设计方法，其特征在于，在步骤A中，所述关系F(x)用于减少对样本的依赖；所述关系G(x)用于指导新的抽样过程。
3.根据权利要求1中所述的一种基于搜索方向学习的智能工业设计强化学习算法的泵的设计方法，其特征在于，在步骤A中所述样本数据数量在1000—99999。
4.根据权利要求1中所述的一种基于搜索方向学习的智能工业设计强化学习算法的泵的设计方法，其特征在于，在步骤B中，所述学习数据为所述样本数据剔除异常样本的数据集合。
5.根据权利要求1中所述的一种基于搜索方向学习的智能工业设计强化学习算法的泵的设计方法，其特征在于，在步骤B中，所述随机抽样的准则为，在已有的样本集中，筛选目标值较高的样本附近的设计点分别通过F(x)计算预期的目标值，再次筛选预期目标值较高的设计点进行实际的仿真计算，获得实际的设计点与目标值数据，添加到已有的样本集中。
6.根据权利要求1中所述的一种基于搜索方向学习的智能工业设计强化学习算法的泵的设计方法，其特征在于，在步骤B中，所述λ为比例因子，范围在0--1之间。
7.根据权利要求1中所述的一种基于搜索方向学习的智能工业设计强化学习算法的泵的设计方法，其特征在于，在步骤B中，所述强化终止条件包括到达最大计算规模和到达收敛值。
8.根据权利要求1中所述的一种基于搜索方向学习的智能工业设计强化学习算法的泵的设计方法，其特征在于，在步骤C中，机器具备的关系F(x)和关系G(x)，所述关系F(x)可以用于直接计算某个设计点对应的目标值，关系G(x)可以用于计算某个初始设计点对应的最佳设计点。
CN201811589807.8A 2018-12-25 2018-12-25 一种基于搜索方向学习的智能工业设计强化学习算法 Active CN109711040B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811589807.8A CN109711040B (zh) 2018-12-25 2018-12-25 一种基于搜索方向学习的智能工业设计强化学习算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811589807.8A CN109711040B (zh) 2018-12-25 2018-12-25 一种基于搜索方向学习的智能工业设计强化学习算法

Publications (2)

Publication Number Publication Date
CN109711040A CN109711040A (zh) 2019-05-03
CN109711040B true CN109711040B (zh) 2023-06-02

Family

ID=66257553

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811589807.8A Active CN109711040B (zh) 2018-12-25 2018-12-25 一种基于搜索方向学习的智能工业设计强化学习算法

Country Status (1)

Country Link
CN (1) CN109711040B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112149835B (zh) * 2019-06-28 2024-03-05 杭州海康威视数字技术股份有限公司 一种网络重构方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108573303A (zh) * 2018-04-25 2018-09-25 北京航空航天大学 一种基于改进强化学习的复杂网络局部破坏的自改进恢复策略
CN108762281A (zh) * 2018-06-08 2018-11-06 哈尔滨工程大学 一种基于记忆关联强化学习的嵌入式实时水下机器人智能决策方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5750657B2 (ja) * 2011-03-30 2015-07-22 株式会社国際電気通信基礎技術研究所 強化学習装置、制御装置、および強化学習方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108573303A (zh) * 2018-04-25 2018-09-25 北京航空航天大学 一种基于改进强化学习的复杂网络局部破坏的自改进恢复策略
CN108762281A (zh) * 2018-06-08 2018-11-06 哈尔滨工程大学 一种基于记忆关联强化学习的嵌入式实时水下机器人智能决策方法

Also Published As

Publication number Publication date
CN109711040A (zh) 2019-05-03

Similar Documents

Publication Publication Date Title
CN109241291A (zh) 基于深度强化学习的知识图谱最优路径查询系统及其方法
CN110232434A (zh) 一种基于属性图优化的神经网络架构评估方法
CN110705029B (zh) 一种基于迁移学习的振荡扑翼能量采集系统流场预测方法
CN111127246A (zh) 一种输电线路工程造价的智能预测方法
CN108564326A (zh) 订单的预测方法及装置、计算机可读介质、物流系统
CN113361680A (zh) 一种神经网络架构搜索方法、装置、设备及介质
CN112163376A (zh) 一种基于天牛须搜索的极端随机树炉温预测控制方法
CN114169645A (zh) 一种智能电网短期负荷预测方法
CN113407185A (zh) 基于贝叶斯优化的编译器优化选项推荐方法
CN109711040B (zh) 一种基于搜索方向学习的智能工业设计强化学习算法
Tian et al. Automated selection of evolutionary multi-objective optimization algorithms
CN113721622B (zh) 一种机器人路径规划方法
CN114564787A (zh) 用于目标相关翼型设计的贝叶斯优化方法、装置及存储介质
Gal et al. Improvements to the bacterial memetic algorithm used for fuzzy rule base extraction
CN109074348A (zh) 用于对输入数据集进行迭代聚类的设备和迭代方法
CN113128689A (zh) 一种调控知识图谱的实体关系路径推理方法及系统
CN109740221B (zh) 一种基于搜索树的智能工业设计算法
CN117114220A (zh) 一种基于图神经网络的车辆调度算法
CN115620046A (zh) 一种基于半监督性能预测器的多目标神经架构搜索方法
Gonzalez et al. Evolving loss functions with multivariate taylor polynomial parameterizations
Yadav et al. A combined conventional and differential evolution method for model order reduction
CN114117917B (zh) 一种多目标优化的舰船磁偶极子阵列建模方法
CN113780146B (zh) 基于轻量化神经架构搜索的高光谱图像分类方法及系统
CN115169521A (zh) 一种保持预测顺序和结构依赖关系的图神经网络解释方法
CN109871953B (zh) fpRNA遗传算法的重油裂解过程小波神经网络建模方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant