CN113128771B - 一种并行差分进化算法的昂贵函数寻优方法及其装置 - Google Patents

一种并行差分进化算法的昂贵函数寻优方法及其装置 Download PDF

Info

Publication number
CN113128771B
CN113128771B CN202110444965.XA CN202110444965A CN113128771B CN 113128771 B CN113128771 B CN 113128771B CN 202110444965 A CN202110444965 A CN 202110444965A CN 113128771 B CN113128771 B CN 113128771B
Authority
CN
China
Prior art keywords
local
sub
differential evolution
evolution algorithm
individual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110444965.XA
Other languages
English (en)
Other versions
CN113128771A (zh
Inventor
钟竞辉
李怡娴
蔡文桐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sino Singapore International Joint Research Institute
Original Assignee
Sino Singapore International Joint Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sino Singapore International Joint Research Institute filed Critical Sino Singapore International Joint Research Institute
Priority to CN202110444965.XA priority Critical patent/CN113128771B/zh
Publication of CN113128771A publication Critical patent/CN113128771A/zh
Application granted granted Critical
Publication of CN113128771B publication Critical patent/CN113128771B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Genetics & Genomics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Development Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种并行差分进化算法的昂贵函数寻优方法及其装置，所述方法包括以下步骤：将种群分为N个子种群，并进行初始化，所述N个子种群进行变异和交叉，得到的新个体及其适应值互斥访问存入共享存储区域的历史库；如果历史库的个体数大于或等于M，且前M个个体发生变化，则调用代理模型；运用历史库中M个个体的基因及其适应值分别作为输入和输出的结果并构造高斯过程模型；运用基于高斯过程的代理模型进行局部最优个体预测，对N个子种群中进行选择操作；若达到终止条件则该线程和任务结束；本发明充分发挥了多核计算机的计算性能和优势，结合代理模型技术和并行差分进化算法能加快寻优过程的收敛速度，减少时间代价。

Description

一种并行差分进化算法的昂贵函数寻优方法及其装置
技术领域
本发明涉及智能计算技术领域，特别涉及一种并行差分进化算法的昂贵函数寻优方法及其装置。
背景技术
昂贵问题是指计算成本昂贵的问题，即得到运算结果需要耗费较大的时间代价。昂贵问题的优化在现阶段具有重要的意义，例如人群模型校准，电力系统的优化，大规模的优化等都为昂贵问题的优化。而加速这些昂贵问题的优化收敛速度是十分有价值的。
差分进化算法是一种强大的演化算法，该算法最早由Storn和Price于1995年首次提出，发表至今已成功应用于诸多昂贵问题的寻优和求解多维空间中整体最优解。差分进化算法可保留优秀的解，变异和交叉两个步骤保证了其在全局寻优的过程中减少陷入局部最优解的可能性。
现阶段，有许多结合差分进化算法对昂贵问题优化的研究，但差分进化算法对昂贵函数的寻优技术仍有不足。其中，代理模型辅助的差分进化算法的研究已获得广泛的认可，此类研究在加速算法的收敛速度上已取得良好的效果。但代理模型辅助的差分进化算法并没有充分利用多核计算机强大的计算性能，因此在现阶段依然存在很大的改良空间。并行差分进化算法是一种能够充分利用多核计算机性能的一种方法，现阶段虽有一系列对并行差分进化算法的研究，但并行差分进化算法结合代理模型的研究现在现阶段仍是欠缺的。而且基于多子种群并行的差分进化算法，子种群之间的数据交互技术还有待改进。
发明内容
本发明的目的在于克服现有技术中的上述缺陷，提供一种并行差分进化算法的昂贵函数寻优方法及其装置，充分发挥了多核计算机的计算性能和优势，结合代理模型技术和并行差分进化算法能加快寻优过程的收敛速度，减少时间代价。
为实现上述目的，本发明提供了一种并行差分进化算法的昂贵函数寻优方法，包括以下步骤：
步骤S1，将种群分为N个子种群，所述N个子种群执行差分进化算法的全局搜索任务，每个任务单独分配一条线程进行并行运算，代理模型作为一个单独的模块分配一条线程与N个任务并行运算；
步骤S2，对N个子种群进行初始化，得到的新个体及其适应值互斥访问并存入共享存储区域的历史库history；
步骤S3，所述N个子种群进行变异和交叉，得到的新个体及其适应值互斥访问存入历史库history；
步骤S4，如果历史库history的个体数大于或等于M，且前M个个体发生变化，则调用代理模型，进入步骤S5；否则跳转到步骤S8；
步骤S5，运用历史库history中M个个体的基因及其适应值分别作为输入和输出的结果并构造高斯过程模型；
步骤S6，将步骤S5中完成构造的高斯过程模型作为代理模型，
基于高斯过程的代理模型进行局部最优个体预测，预测得到最优个体xbest及其预测的适应度ypre，并对xbest计算适应度真实值yreal；
步骤S7，所述共享存储区域还设有存储代理模型预测搜索得到的局部最优个体的共享存储单元local_best；
如果yreal优于或小于local_best个体的适应值或local_best为空，则xbest取代或存入local_best，否则跳过；
步骤S8，某个子种群中，交叉得到的最优个体为xu_best，其适应值为yu_best；互斥访问local_best，若local_best的适应度值小于或优于xu_best，则local_best中的个体取代xu_best，且设置local_best为空；
步骤S9，对N个子种群中进行选择操作；若达到终止条件则该线程和任务结束；否则跳转至步骤S3。
作为优选的，所述历史库history用于记录历史个体数据；按适应值从小到大或从优到劣进行排序。
作为优选的，所述步骤S1中所述N个子种群的数量设置根据计算机的内核数目进行调整，所述N个子种群和代理模型在内，一共有n+1个任务并行运行。
作为优选的，所述步骤S5中选择个体的要求为距离历史最优点最近的M个点；高斯过程模型的超参数寻优算法为极大似然估计算法和差分进化算法。
作为优选的，所述步骤S4中代理模型的局部寻优算法为差分进化算法；所述步骤S6中局部搜索算法为差分进化算法；所述步骤S1、步骤S4和步骤S6中的所述差分进化算法的类型均为DE/rand/1。
作为优选的，所述步骤S6中当需要进行局部最优预测，即调用基于高斯过程的代理模型时，需要互斥访问共享存储空间并调用存储于历史库history中的个体，历史库history中不存储重复个体且存储方式为按适应值从小到大进行排列；在构造高斯过程模型时，选取离历史库history中距离最优个体最近的M个个体来构造，最短路径的计算方法为归一化算法结合曼哈顿距离进行计算。
作为优选的，所述步骤S7中当代理模型预测出新个体xbest，真实适应值为yreal且需要更新local_best时，应遵循以下准则：local_best只存储一个代理模型推荐的最优个体；各个子种群在交叉操作后可互斥访问local_best；当local_best为空，代理模型推荐值则可取代local_best；当local_best非空，则当代理模型推荐值优于local_best时，才能更新local_best。
作为优选的，所述步骤S8中各个子种群进行交叉运算后互斥访问共享存储空间，检测是否选择local_best中的个体替换自身交叉运算后得到的种群的最优个体；
上述替换的具体操作步骤如下：
步骤S81，如果local_best为空，跳过此步骤；
步骤S82，如果local_best非空，但local_best中的个体适应值大于或劣于子种群交叉后得到的最优个体，跳过此步骤；
步骤S83，如果local_best非空，并且local_best中的个体适应值小于或优于子种群交叉后得到的最优个体，替换种群中交叉运算后的最优个体，并设置local_best为空。
本发明还提供了一种并行差分进化算法的昂贵函数寻优装置，包括并行差分进化算法子种群模块、共享存储空间的数据管理模块以及基于高斯过程的代理模型模块；其中；
所述共享存储空间的数据管理模块用于对共享存储区域进行存储与修改的运算，所述共享存储区域设有存储历史个体数据的历史库history，所述共享存储区域还设有存储代理模型预测搜索得到的局部最优个体的共享存储单元local_best；
所述并行差分进化算法子种群模块用于将种群分为N个子种群，所述N个子种群执行差分进化算法的全局搜索任务，并寻找出全局最优个体；
所述代理模型模块用于高斯过程模型的构造，并推荐和做出局部最优值的个体预测；
其中，所述代理模型模块与并行差分进化算法子种群模块并行运行；
所述共享存储空间的数据管理模块用于唤醒代理模型模块，并执行代理模型模块。
与现有技术相比，本发明的有益效果在于：
本发明将种群分成N个子种群，所述N个子种群和代理模型分别分配一条线程并执行并行差分进化算法；充分发挥了多核计算机的计算性能和优势，加快收敛速度，减少时间代价；本发明还运用基于高斯过程的代理模型进行局部最优预测，进一步加快寻优的收敛速度，而且还解决了子种群间的数据交互问题，加快了对昂贵函数的寻优过程，加快寻优过程的收敛，减少时间代价。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的代理模型辅助的并行差分进化算法模块调度框架图；
图2是本发明提供的代理模型辅助的并行差分进化算法流程图。
具体实施方式
下面将结合本发明本实施方式中的附图，对本发明本实施方式中的技术方案进行清楚、完整地描述，显然，所描述的本实施方式是本发明的一种实施方式，而不是全部的本实施方式。基于本发明中的本实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他本实施方式，都属于本发明保护的范围。
实施例一
本发明实施例一提供了一种并行差分进化算法的昂贵函数寻优方法，包括以下步骤：
步骤S1，将种群分为N个子种群，所述N个子种群执行差分进化算法的全局搜索任务，每个任务单独分配一条线程进行并行运算，代理模型作为一个单独的模块分配一条线程与N个任务并行运算；同时进行并行运算可以充分发挥多核计算机的计算性能和优势，加快收敛速度，减少时间代价。
具体的，所述步骤S1中所述N个子种群的数量设置根据计算机的内核数目进行调整，所述N的取值可以根据实际需要解决的问题和计算机的性能做出合适的选择，所述N个子种群和代理模型在内，一共有n+1个任务并行运行。所述差分进化算法的类型为DE/rand/1。
步骤S2，对N个子种群进行初始化，得到的新个体及其适应值互斥访问并存入共享存储区域的历史库history。
所述历史库history用于记录历史个体数据；按适应值从小到大或从优到劣进行排序。
所述共享存储区域还设有存储代理模型预测搜索得到的局部最优个体的共享存储单元local_best。
步骤S3，所述N个子种群进行变异和交叉，得到的新个体及其适应值互斥访问存入历史库history。
步骤S4，如果历史库history的个体数大于或等于M，且前M个个体发生变化，则调用代理模型，进入步骤S5；否则跳转到步骤S8。
具体的，所述步骤S4中代理模型的局部寻优算法为差分进化算法；所述差分进化算法的类型为DE/rand/1。
步骤S5，运用历史库history中M个个体的基因及其适应值分别作为输入和输出的结果并构造高斯过程模型。
具体的，所述步骤S5中选择个体的要求为距离历史最优点最近的M个点；高斯过程模型的超参数寻优算法为极大似然估计算法和差分进化算法。
步骤S6，将步骤S5中完成构造的高斯过程模型作为代理模型，
基于高斯过程的代理模型进行局部最优个体预测，预测得到最优个体xbest及其预测的适应度ypre，并对xbest计算适应度真实值yreal。
进一步的，所述步骤S6中局部搜索算法为差分进化算法；所述差分进化算法的类型均为DE/rand/1。
更进一步的，所述步骤S6中当需要进行局部最优预测，即调用基于高斯过程的代理模型时，需要互斥访问共享存储空间并调用存储于历史库history中的个体，历史库history中不存储重复个体且存储方式为按适应值从小到大进行排列；在构造高斯过程模型时，选取离历史库history中距离最优个体最近的M个个体来构造，最短路径的计算方法为归一化算法结合曼哈顿距离进行计算。
步骤S7，所述共享存储区域还设有存储代理模型预测搜索得到的局部最优个体的共享存储单元local_best；
如果yreal优于或小于local_best个体的适应值或local_best为空，则xbest取代或存入local_best，否则跳过；
具体的，所述步骤S7中当代理模型预测出新个体xbest，真实适应值为yreal且需要更新local_best时，应遵循以下准则：local_best只存储一个代理模型推荐的最优个体；各个子种群在交叉操作后可互斥访问local_best；当local_best为空，代理模型推荐值则可取代local_best；当local_best非空，则当代理模型推荐值优于local_best时，才能更新local_best。
步骤S8，某个子种群中，交叉得到的最优个体为xu_best，其适应值为yu_best；互斥访问local_best，若local_best的适应度值小于或优于xu_best，则local_best中的个体取代xu_best，且设置local_best为空；
具体的，所述步骤S8中各个子种群进行交叉运算后互斥访问共享存储空间，检测是否选择local_best中的个体替换自身交叉运算后得到的种群的最优个体；
上述替换的具体操作步骤如下：
步骤S81，如果local_best为空，跳过此步骤；
步骤S82，如果local_best非空，但local_best中的个体适应值大于或劣于子种群交叉后得到的最优个体，跳过此步骤；
步骤S83，如果local_best非空，并且local_best中的个体适应值小于或优于子种群交叉后得到的最优个体，替换种群中交叉运算后的最优个体，并设置local_best为空。
步骤S9，对N个子种群中进行选择操作；若达到终止条件则该线程和任务结束；否则跳转至步骤S3。
本发明一共运用到三个差分进化算法，差分进化算法的类型均为DE/rand/1。三个差分进化算法的运用方法如下：其一，各个子种群的全局寻优方法为差分进化算法；其二，构造高斯过程模型时，超参数的调优运用了差分进化算法；其三，代理模型的局部寻优算法为差分进化算法。
本发明将种群分成N个子种群，并执行并行差分进化算法；充分发挥了多核计算机的计算性能和优势，加快收敛速度，减少时间代价；本发明还运用基于高斯过程的代理模型进行局部最优预测，进一步加快寻优的收敛速度，而且还解决了子种群间的数据交互问题，加快了对昂贵函数的寻优过程，加快寻优过程的收敛，减少时间代价。
实施例二
本发明实施例二提供了一种并行差分进化算法的昂贵函数寻优装置，包括并行差分进化算法子种群模块(Subpopulation Module，SM)、共享存储空间的数据管理模块(History Module，HM)以及基于高斯过程的代理模型模块(Surrogate Model Module，SMM)；其中；
所述共享存储空间的数据管理模块用于对共享存储区域进行存储与修改的运算，所述共享存储区域设有存储历史个体数据的历史库history，所述共享存储区域还设有存储代理模型预测搜索得到的局部最优个体的共享存储单元local_best；
所述并行差分进化算法子种群模块用于将种群分为N个子种群，所述N个子种群执行差分进化算法的全局搜索任务，并寻找出全局最优个体；
所述代理模型模块用于高斯过程模型的构造，并推荐和做出局部最优值的个体预测；
其中，所述代理模型模块与并行差分进化算法子种群模块并行运行；
所述共享存储空间的数据管理模块用于唤醒代理模型模块，并执行代理模型模块。
图1给出了本发明算法模块调用流程图，下面就流程图的各个模块的具体内容分步描述整个算法的具体实施方式。
共享存储空间的数据管理模块HM的数据管理具体实施方式：
共享存储空间的数据管理模块HM主要对共享存储区域进行存储与修改的运算；共享存储区有存储历史个体数据的history，存储代理模型预测得到的推荐个体local_best。
1、信号量设置
表1访问共享存储区域信号量设置
Figure GDA0003596053070000101
2、访问步骤需要访问共享存储单元时，首先要互斥访问，访问和修改完毕释放信号量，具体实现流程图如图2所示。
3、唤醒SMM
当history中存储个体的数量大于M且距离最优历史个体最近的前M个个体发生变化，或历史库中个体数目恰好等于M，HM则会唤醒SMM。
4、history及local_best的管理
共享存储区域的管理可分为对history的访问修改和对local_best的访问修改。SM涉及对history的访问、插入操作及对local_best的访问、修改操作。SMM涉及对history的访问、修改操作以及对local_best的访问、修改操作。
并行差分进化算法子种群模块SM的具体实施方式：
将种群一共分为N个子种群，每个子种群作为一个单独的任务分配一条独立的线程与其他子种群并发并行运行，单个子种群的运行方式如图2所示。下文就其中一个子种群具体实施方式进行分析。本发明运用差分进化算法(记为DE1)进行全局寻优，变异类型为DE/rand/1。
1、初始化
初始化子种群，每个子种群每代产生DE1_POPSIZE个个体。每个个体由DE1_NVARS维向量组组成，每个维度取值下限和上限分别为DE1_LBOUNDi和DE1_UBOUNDi，其中，i∈[0,DE1_NVARS-1]。子种群分别进行初始化，变异，交叉，选择操作。经历三个操作后的个体分别存于DE1_population，DE1_new_population，DE1_u_population，DE1_population中。
子种群初始化子种群初始化运算公式如下：
DE1_populationi,j＝rand(DE1_LBOUNDj,DE1_UBOUNDj),
i∈[0,DE1_POPSIZE-1],
j∈[0,DE1_NVARS-1]
2、初始化个体的适应值
适应函数根据不同的测试方案，分别对应不同的昂贵函数。本发明提出的代理模型辅助的并行差分进化算法的测试函数为常规测试函数模拟的昂贵函数和人群模型实例。
3、变异
差分进化算法中，变异运算的公式如下：
DE1_new_populationi＝DE1_populationr1+F*(DE1_populationr2-DE1_populationr3)，
其中i为当前个体，F为0.5，R1，R2，R3为random(0,DE1_POPSIZE-1)且互不相等。
4、交叉
差分进化算法的交叉运算公式如下：
DE1_u_populationi＝DE1_new_populationi,random(0,1)<CR
DE1_u_populationi＝DE1_populationi,else
其中，CR为0.5。交叉操作完成后，对新个体进行适应值计算，并互斥访问history库，存入新个体。
5、访问local_best
子种群互斥访问local_best；若local_best为空或local_best存储的个体的适应值比DE1_u_population中最优的个体的适应值差，则进行下一步骤；若local_best存储的个体的适应值比DE1_u_population中最优的个体的适应值优，则local_best中的个体取代DE1_u_population中的最优个体，且设置local_best为空。
6、选择
当交叉后的个体的适应值优于上一代个体的适应值时，选择操作公式如下：
DE1_populationi＝DE1_u_populationi
7、重复变异、交叉、访问local_best、选择的操作，评价次数达到200则结束操作。
基于高斯过程的代理模型模块SMM的具体实施方式：
SMM主要步骤为：高斯过程模型的构造；局部最优值的预测。
1、选点
互斥访问共享存储区域，选择M个距离历史最优值Pbest最近的点。考虑到高维矩阵其范围上下限不定，但其对结果或适应值的影响或许是对等的，因此本发明用到了距离的归一化处理，每个维度的归一化处理后的距离计算公式如下：
Figure GDA0003596053070000121
其选择的个体输入值为x，输出值为y。
2、高斯过程模型的构造
首先定义核函数如下，运用此核函数可构造核矩阵K。
Figure GDA0003596053070000131
则构建高斯过程模型需对超参数σf，l，f1，v寻优，其特征向量为θ，运用差分进化算法(类型为DE/rand/1，记为DE2)进行寻优，流程见图2。差分进化算法的适应度函数运用极大似然估计函数的负函数，其公式如下。
Figure GDA0003596053070000132
3、基于高斯过程的代理模型，进行局部预测
高斯过程模型构造完成后，可用此模型进行局部范围的预测。具体操作步骤如下：局部范围搜索运用差分进化算法(类型为DE/rand/1，记为DE3)；需要预测的个体作为输入值x*，预测的适应值作为输出值y*；x*与x构造的核矩阵为K*；用于局部寻优的差分进化算法适应度函数如下。
y*＝K*K-1y
运用差分进化算法寻最小或最优适应值，得到局部最优个体xbest及预测的适应度值ypre。
4、真实值计算
运用DE1的昂贵的适应度函数对xbest进行真实的适应值计算，得到真实适应值yreal。互斥访问history，若为新个体则存储到history。
5、推荐值更新
互斥访问local_best，若local_best为空或local_best个体的适应值劣于或小于yreal，则用xbest更新local_best。
为了测试和评估发明的算法框架的性能，测试问题有常用测试函数模拟的昂贵函数和人群模型校准的昂贵函数实例。以常用测试函数模拟的昂贵函数做为基础测试问题，对比只使用代理模型技术或并行技术的算法框架，实验结果表明本发明寻优的收敛速度明显加快，代价明显减少，且在测试函数上不会陷入局部最优值。以人群模型校准寻优实例作为实际测试问题，本发明的算法寻优收敛速度明显加快，时间代价明显减少。这说明采用本发明解决昂贵函数寻优问题是十分有效的。
本发明的有益效果主要分为两点：其一，充分利用了多核计算机的计算性能，本发明SMM中的代理模型和SM中的多个子种群并发并行运行，充分发挥了多核计算机的计算性能和优势；其二，SMM中推荐的局部最优个体，不仅能加快差分进化算法寻优的收敛速度，而且能解决多子种群并行的差分算法的子种群间的数据交互问题。本发明在常用测试函数以及人群模型校准实例上对比了传统的差分进化算法、多子种群并行的差分进化算法和代理模型辅助的差分进化算法，本发明提出的算法取得了良好的效果。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种并行差分进化算法的昂贵函数寻优方法，其特征在于，包括以下步骤：
步骤S1，将种群分为N个子种群，所述N个子种群执行差分进化算法的全局搜索任务，每个任务单独分配一条线程进行并行运算，代理模型作为一个单独的模块分配一条线程与N个任务并行运算；
步骤S2，对N个子种群进行初始化，得到的新个体及其适应值互斥访问并存入共享存储区域的历史库history；
步骤S3，所述N个子种群进行变异和交叉，得到的新个体及其适应值互斥访问存入历史库history；
步骤S4，如果历史库history的个体数大于或等于M，且前M个个体发生变化，则调用代理模型，进入步骤S5；否则跳转到步骤S8；
步骤S5，运用历史库history中M个个体的基因及其适应值分别作为输入和输出的结果并构造高斯过程模型；
步骤S6，将步骤S5中完成构造的高斯过程模型作为代理模型，
基于高斯过程的代理模型进行局部最优个体预测，预测得到最优个体xbest及其预测的适应度ypre，并对xbest计算适应度真实值yreal；
步骤S7，所述共享存储区域还设有存储代理模型预测搜索得到的局部最优个体的共享存储单元local_best；
如果yreal优于或小于local_best个体的适应值或local_best为空，则xbest取代或存入local_best，否则跳过；
步骤S8，某个子种群中，交叉得到的最优个体为xu_best，其适应值为yu_best；互斥访问local_best，若local_best的适应度值小于或优于xu_best，则local_best中的个体取代xu_best，且设置local_best为空；
步骤S9，对N个子种群中进行选择操作；若达到终止条件则该线程和任务结束；否则跳转至步骤S3。
2.根据权利要求1所述的一种并行差分进化算法的昂贵函数寻优方法，其特征在于，所述历史库history用于记录历史个体数据；按适应值从小到大或从优到劣进行排序。
3.根据权利要求1所述的一种并行差分进化算法的昂贵函数寻优方法，其特征在于，所述步骤S1中所述N个子种群的数量设置根据计算机的内核数目进行调整，所述N个子种群和代理模型在内，一共有n+1个任务并行运行。
4.根据权利要求1所述的一种并行差分进化算法的昂贵函数寻优方法，其特征在于，所述步骤S5中选择个体的要求为距离历史最优点最近的M个点；高斯过程模型的超参数寻优算法为极大似然估计算法和差分进化算法。
5.根据权利要求1所述的一种并行差分进化算法的昂贵函数寻优方法，其特征在于，所述步骤S4中代理模型的局部寻优算法为差分进化算法；所述步骤S6中局部搜索算法为差分进化算法；所述步骤S1、步骤S4和步骤S6中的所述差分进化算法的类型均为DE/rand/1。
6.根据权利要求1所述的一种并行差分进化算法的昂贵函数寻优方法，其特征在于，所述步骤S6中当需要进行局部最优预测，即调用基于高斯过程的代理模型时，需要互斥访问共享存储空间并调用存储于历史库history中的个体，历史库history中不存储重复个体且存储方式为按适应值从小到大进行排列；在构造高斯过程模型时，选取离历史库history中距离最优个体最近的M个个体来构造，最短路径的计算方法为归一化算法结合曼哈顿距离进行计算。
7.根据权利要求1所述的一种并行差分进化算法的昂贵函数寻优方法，其特征在于，所述步骤S7中当代理模型预测出新个体xbest，真实适应值为yreal且需要更新local_best时，应遵循以下准则：local_best只存储一个代理模型推荐的最优个体；各个子种群在交叉操作后可互斥访问local_best；当local_best为空，代理模型推荐值则可取代local_best；当local_best非空，则当代理模型推荐值优于local_best时，才能更新local_best。
8.根据权利要求1所述的一种并行差分进化算法的昂贵函数寻优方法，其特征在于，所述步骤S8中各个子种群进行交叉运算后互斥访问共享存储空间，检测是否选择local_best中的个体替换自身交叉运算后得到的种群的最优个体；
上述替换的具体操作步骤如下：
步骤S81，如果local_best为空，跳过此步骤；
步骤S82，如果local_best非空，但local_best中的个体适应值大于或劣于子种群交叉后得到的最优个体，跳过此步骤；
步骤S83，如果local_best非空，并且local_best中的个体适应值小于或优于子种群交叉后得到的最优个体，替换种群中交叉运算后的最优个体，并设置local_best为空。
9.一种并行差分进化算法的昂贵函数寻优装置，其特征在于，包括并行差分进化算法子种群模块、共享存储空间的数据管理模块以及基于高斯过程的代理模型模块；其中；
所述共享存储空间的数据管理模块用于对共享存储区域进行存储与修改的运算，所述共享存储区域设有存储历史个体数据的历史库history，所述共享存储区域还设有存储代理模型预测搜索得到的局部最优个体的共享存储单元local_best；
所述并行差分进化算法子种群模块用于将种群分为N个子种群，所述N个子种群执行差分进化算法的全局搜索任务，并寻找出全局最优个体；
所述代理模型模块用于高斯过程模型的构造，并推荐和做出局部最优值的个体预测；
其中，所述代理模型模块与并行差分进化算法子种群模块并行运行；
所述共享存储空间的数据管理模块用于唤醒代理模型模块，并执行代理模型模块。
CN202110444965.XA 2021-04-24 2021-04-24 一种并行差分进化算法的昂贵函数寻优方法及其装置 Active CN113128771B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110444965.XA CN113128771B (zh) 2021-04-24 2021-04-24 一种并行差分进化算法的昂贵函数寻优方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110444965.XA CN113128771B (zh) 2021-04-24 2021-04-24 一种并行差分进化算法的昂贵函数寻优方法及其装置

Publications (2)

Publication Number Publication Date
CN113128771A CN113128771A (zh) 2021-07-16
CN113128771B true CN113128771B (zh) 2022-06-17

Family

ID=76779627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110444965.XA Active CN113128771B (zh) 2021-04-24 2021-04-24 一种并行差分进化算法的昂贵函数寻优方法及其装置

Country Status (1)

Country Link
CN (1) CN113128771B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113976585A (zh) * 2021-10-22 2022-01-28 戴祖清 基于差分进化算法的有机垃圾最优压保值的计算方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2048604A1 (en) * 2007-10-11 2009-04-15 Honda Research Institute Europe GmbH A dual surrogate memetic framework for single/multi-objective evolutionary optimization of computatoinally expensive problems
CN110457737A (zh) * 2019-06-20 2019-11-15 中国地质大学（武汉） 一种基于神经网络对水污染源快速定位的方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110154353A1 (en) * 2009-12-22 2011-06-23 Bmc Software, Inc. Demand-Driven Workload Scheduling Optimization on Shared Computing Resources
CN109063266B (zh) * 2018-07-05 2023-05-05 西安电子科技大学 一种基于并行贝叶斯优化的蒙皮天线机电协同设计方法
CN111242270A (zh) * 2020-01-13 2020-06-05 大连理工大学 基于改进的多目标差分优化回声状态网络的时间序列预测模型
CN112365196A (zh) * 2020-12-03 2021-02-12 国网河北省电力有限公司信息通信分公司 基于Spark的分布式改进差分进化算法的电源规划方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2048604A1 (en) * 2007-10-11 2009-04-15 Honda Research Institute Europe GmbH A dual surrogate memetic framework for single/multi-objective evolutionary optimization of computatoinally expensive problems
CN110457737A (zh) * 2019-06-20 2019-11-15 中国地质大学（武汉） 一种基于神经网络对水污染源快速定位的方法

Also Published As

Publication number Publication date
CN113128771A (zh) 2021-07-16

Similar Documents

Publication Publication Date Title
Li et al. Hybrid artificial bee colony algorithm with a rescheduling strategy for solving flexible job shop scheduling problems
Stach et al. A divide and conquer method for learning large fuzzy cognitive maps
WO2022077797A1 (zh) 量子线路的确定方法、装置、设备及存储介质
Wang et al. A bi-population based estimation of distribution algorithm for the flexible job-shop scheduling problem
Pai System reliability forecasting by support vector machines with genetic algorithms
Jankov et al. Declarative recursive computation on an RDBMS: or, why you should use a database for distributed machine learning
CN116629352A (zh) 一种亿级参数寻优平台
CN113128771B (zh) 一种并行差分进化算法的昂贵函数寻优方法及其装置
CN113935235A (zh) 基于遗传算法和代理模型的工程设计优化方法及装置
CN113821983A (zh) 基于代理模型的工程设计优化方法、装置及电子设备
CN116644804A (zh) 分布式训练系统、神经网络模型训练方法、设备和介质
Yi et al. Intergroup cascade broad learning system with optimized parameters for chaotic time series prediction
CN109739897A (zh) 一种基于Spark框架的增量式频繁项集挖掘方法
Wang et al. Decomposition-based multi-objective evolutionary algorithm for virtual machine and task joint scheduling of cloud computing in data space
CN110867224B (zh) 用于大规模脑病历分割的多粒度Spark超信任模糊方法
Herz et al. Distributed dynamics in neural networks
CN107038244A (zh) 一种数据挖掘方法和装置、一种可读介质和存储控制器
Cao et al. Negative selection based immune optimization
Luo et al. Sampling-based adaptive bounding evolutionary algorithm for continuous optimization problems
CN108256694A (zh) 基于重复遗传算法的模糊时间序列预测系统、方法及装置
CN114064235A (zh) 多任务教与学优化方法、系统及设备
CN114401496A (zh) 一种基于5g边缘计算的视频信息快速处理方法
CN114528094A (zh) 基于lstm和遗传算法的分布式系统资源优化分配方法
Ma et al. A new parallel framework algorithm for solving large-scale DEA models
Li et al. Neural plasticity networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant