CN111553071A - 一种基于随机嵌入辅助模型的高维多目标演化优化方法 - Google Patents

一种基于随机嵌入辅助模型的高维多目标演化优化方法 Download PDF

Info

Publication number
CN111553071A
CN111553071A CN202010338084.5A CN202010338084A CN111553071A CN 111553071 A CN111553071 A CN 111553071A CN 202010338084 A CN202010338084 A CN 202010338084A CN 111553071 A CN111553071 A CN 111553071A
Authority
CN
China
Prior art keywords
dimensional
optimization
low
population
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010338084.5A
Other languages
English (en)
Other versions
CN111553071B (zh
Inventor
曹雨梦
候亚庆
张建新
张强
魏小鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN202010338084.5A priority Critical patent/CN111553071B/zh
Publication of CN111553071A publication Critical patent/CN111553071A/zh
Application granted granted Critical
Publication of CN111553071B publication Critical patent/CN111553071B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/006Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00Details relating to CAD techniques
    • G06F2111/06Multi-objective optimisation, e.g. Pareto optimisation using simulated annealing [SA], ant colony algorithms or genetic algorithms [GA]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明属于演化智能计算和多目标优化问题的交叉领域,涉及一种基于随机嵌入辅助模型的高维多目标演化优化方法,可以更加有效地搜寻到全局最优解集。本发明是一种基于随机嵌入辅助系统模型并行运行的双模态演化优化方法,通过这个方法来搜寻全局最优解集。本发明弥补了随机嵌入的随机性所带来的优化搜索缺陷,并利用随机嵌入的高效性,加快了整体的搜索效率。

Description

一种基于随机嵌入辅助模型的高维多目标演化优化方法
技术领域
本发明属于演化智能计算和多目标优化问题的交叉领域,涉及一种基于随 机嵌入辅助模型的高维多目标演化优化方法。
背景技术
在实际的生产生活和工程设计中,优化问题是广泛存在的,其中很多都属 于多目标优化问题的范畴。比如常见的物资车辆路径规划问题,如何规划路径 才能让最终的运输过程总路程最短,总的运输费用最低。又如工艺产品的生产 过程中需要平衡产品质量,产品成本,产品利润,产品产量等多个目标,确定 一种能同时优化多个目标从而达到最好平衡的产品设计生产流程。再比如随着 互联网行业的飞速前进发展,在很多具体的软件设计应用过程中,我们会遇到 需要同时优化多个性能指标使得最终得到一个最好的模型。以推荐系统为例, 在设计网络模型时,我们常常希望同时对多个业务目标进行优化,我们即希望 最终生成的推荐系统模型可以提高用户对各种产品的实际点击率,又希望用户 可以提高对特定产品的关注度,提高点赞行为,还希望可以提高用户在使用产 品后的评论行为。这样的多个指标需要协同考虑最终确定一种可以同时较好且 平衡地优化所有指标的问题就是我们所说的广义的多目标优化问题。多目标优 化问题相比于单目标优化问题更为的复杂与多变。在一个具体的多目标优化问 题中,最终要优化的多个目标之间的关系是不确定的,他们可以是相互协同共 同发展的关系,而更多的是相互制约抗衡的关系,所以对于多目标优化问题, 很多单纯的数学优化方法是很难涵盖和有效解决的,而多目标优化问题的最终 解决思路也并非一种,而是平衡各个目标下的一系列的解,组成一个解集,也 就是多目标优化问题中定义的帕累托解集。
随着以演化算法为代表的智能优化在优化问题领域不断进步,智能优化算 法在多目标优化领域中得到了非常广泛而普遍的应用,且在整个多目标优化领 域占据十分重要的地位。在实际生产生活和工程设计等领域被大量地使用来解 决实际具体的多目标优化问题。演化算法是一种基于种群的元启发式优化算法, 它的提出受到了达尔文生物进化理论的启发。对于多目标优化问题,经典而易 于实现的通用演化算法有多目标遗传算法(MOGA)、非支配排序算法(NSGA)、 快速非支配排序算法(NSGA2)、增强帕累托进化算法(SPEA,SPEA2)、基于分 解的多目标算法(MOEA/D)等等,都被广泛应用于求解各种多目标优化问题。
虽然演化算法具有广泛的潜在适用性,但此前的研究表明遗传算法的效率 会随着问题维度增加而逐渐降低,这主要是由于高维的问题直接带来的就是高 维度的搜索空间,在庞大的高维的搜索空间中由随机点群开始一步步搜寻全局 最优解集是十分缓慢的过程,这带来了巨大的时间消耗,而且长时间的搜寻相 应导致需要评估大量的候选解,而在很多实际工程应用问题中,对候选解的每 一次性能评估的代价都是不低的,所以减少搜寻时间和搜寻过程是很多实际问 题中急需被解集的。因此将现有的多目标进化算法扩展到高维优化问题成为了 被广泛研究的热点。其中最直接的解决思路是将维度通过降维技术进行维度缩 减,再应用多目标优化算法进行优化。在这一类方法中,基于分解和基于嵌入 的方法是目前最主要的两个技术手段。
其中,基于分解的方法已经成功应用于可分离问题,即高维的搜索空间可 以被分解成多个低维子问题(Kandasamy,Schneider,and P′oczos 2015,Friesen and Domingos(2015))。然而,由于这一技术本身的性质,它是独立地对多个低维子 问题进行单独优化,而我们考虑的整体的高维优化问题往往需要同时对所有维 度进行优化。
另一方面,考虑到在优化问题中,某些决策变量对目标问题影响并不十分 显著,可利用嵌入方法(随机投影,随机嵌入等Chen,Krause,and Castro(2012), Carpentier,Munos,and others 2012,(Wang etal.2013;Kaban,Bootkrajang,and Durrant2013,(Qian,Hu,and Yu 2016)对高维空间进行高效搜索。随机嵌入方法 对于高维优化问题来说是一种比较常用且效率较高的方法,是本发明的构造方 法的基础。
研究表明,在绝大多数的实际工程优化问题中,大多数维度的参数并不显 著影响到最终要优化的目标问题。即这些问题都具有低有效维度的特点,对于 用随机嵌入来解决这类问题的数学描述如下:目标函数f(X):X→RD有效维度为 de(de<D),如果存在一个维度为de线性子空间Ψ使得
Figure BDA0002467479020000031
f(x)=f(xe+x)=f(xe)
其中,
Figure BDA0002467479020000032
Ψ表示的是Ψ的正交补集。Ψ指f的有效子 空间,Ψ指f的常量子空间。等式表示函数f对于维度为de子空间Ψ(有效子空间) 上的变化非常敏感,但是在子空间Ψ(常量子空间)上函数值几乎没有变化。 在这个前提下,随机嵌入的方法可以解决高维度的优化问题。特别的,考虑有 效维度为de函数f(x):X→R,随机嵌入矩阵M∈RD×d,矩阵的每个元素都独立采 样于正态分布N(0,1),其中D>d≥de.因此对于任意的x∈RD一定存在一个解 y∈Rd,因此
f(x)=f(My)
对于任何极大值x*∈RD,一定存在y*∈Rd使得f(My*)=f(x*)。相应的,优 化问题f(x)的描述如下:
Figure BDA0002467479020000033
其中g(y)=f(My)。因此可以优化低维目标函数g(y),然后利用矩阵M将解映射 回高维搜索空间中。
为了使进化算法切实可行,需要进一步对低维搜索空间的边界进行定义。 对于映射回高维空间后,超出边界的点将其固定在边界上。
Figure BDA0002467479020000041
但由于随机嵌入方法的随机性,对于任意一个随机嵌入模型都具有一定的 概率是最优解没有包含在被压缩后的低维子空间中。按照随机嵌入的方法和假 设,最优解有γ(非零)的概率不会落在产生的低维子空间的边界内,因此很难 确定随机产生的低维空间是否是有效的,而且单独的使用随机嵌入方法进行优 化时,优化效果对于不同的问题很大程度上依赖于随机嵌入的低维子空间的设 计。因此将直接地将随机嵌入的方法用于高维优化问题中在很多情况下效果并 不理想,容易因困于局部最优或后期优化速率缓慢而使得算法的优化性能下降。
发明内容
为了解决上述提到的问题,本发明提出了一种通过考虑随机嵌入的辅助系 统模型结合原高维优化模型的双模态高维多目标优化改进方法,它可以更加有 效地搜寻到全局最优解集。该方法主要是基于经典的多目标优化算法NSGA2来 实现的。本发明的主要思想是一种基于随机嵌入辅助系统模型并行运行的双模 态演化优化方法,通过这个方法来搜寻全局最优解集。这个方法的设计大致分 为两个模块,具体来说分别是一个在原始的高维搜索空间中进行优化的高维优 化模块和一个在通过随机嵌入方法得到的低维搜索空间中进行优化的低维优化 模块。第一个高维优化模块主要负责对整个全局的高维搜索空间进行全局性的 搜索,提高搜索的精准度。第二个低维优化模块主要负责快速地在低维搜索空 间中搜索并确定较好的局部最优位置,并通过低维到高维的直接迁移映射把搜 寻到的好的高效的候选解集基因直接迁移传递到高维空间中辅助高维优化模块, 使得原始的高维目标任务可以在自身不断进化优化的过程中不断获得低维度优 化模块的有益信息,大大提高了其本身的搜寻效率从而达到最好的优化效果。 两个模块的优化过程是同时进行的,联合的演化搜索并可以随时由低维空间向 高维空间迁移其搜索到的更好的解集。在两个模块的优化过程中,定期地对两 个模块的优化效果进行质量评估,设计了一种基于NSGA2算法的质量评估算法, 基于每个模块的种群的帕累托前沿等级和拥挤度计算每个模块当前的质量占比, 通过占比确定两个模块的优化效果。若低维优化模块的优化效果更好,则可以 得到一定的额外的奖励优化过程,目的是加速低维模块的优化过程,最大效率地优化整个问题。若高维优化模块的效果更好,则终止对低维优化模块的继续 优化过程。另一方面,本发明设计了一种对低维优化模块的优化速率评估方法, 该方法是基于低维优化模块的种群中每一个帕累托前沿等级的优化距离的平均 值来确定其优化速率的。
本发明的目的是通过以下的技术方案来实现的:
一种基于随机嵌入辅助模型的高维多目标演化优化方法,具体如下:
(1)需要解决的多目标优化问题具体的多个目标值可用 F(x)={f1(x),f2(x),…fn(x)}表示,需要优化的所有参数可用一个长向量x表示, x的每一维对应一个待优化的参数(即优化x找到令F(x)={f1(x),f2(x),…fn(x)} 中每个目标值都尽可能小的x的值,根据具体的多目标优化问题可以计算得到 每个x对应的F(x))。
(2)采用经典的非支配排序算法NSGA2作为基本的多目标优化算法,并 结合随机嵌入方法对目标值进行优化,具体参数设置如下:
对演化算法设置相应的参数值:子任务的种群大小K、迭代停止条件为最大 迭代次数generation或最大评估次数FEVs,交叉概率PC、变异概率PM
对随机嵌入方法设置相应的参数值:高维优化问题的维度D,低维模块的维 度d,以及根据随机嵌入理论设定的整个问题有效维度de、最大并行优化代数 parallel_gen。
(3)使用随机嵌入方法在低维度上初始化一个种群大小为K的种群P, P={p1,p2,...,pK}。
(4)随机初始化随机嵌入矩阵M∈RD×d,其中D是原始高维优化问题的维 度,d是低维模块的维度,从而通过随机嵌入方法将高维度优化问题f(x),x∈RD, 转化为一个低维子问题g(y)。
(5)通过随机嵌入矩阵M将每个低维空间中的个体基因型y转化到高维空间 中,得到高维空间的个体基因型x,即x=My,并用x计算出每个个体的多个目 标值F(x)={f1(x),f2(x),…fn(x)}。
(6)在原始的高维度上随机初始化种群大小为K的种群Q,Q={q1,q2,…qK}, 并计算出每个个体的多个目标值F(x)={f1(x),f2(x),…fn(x)}。
(7)在低维空间和原始高维空间上同时使用NSGA2算法进行优化,具体 过程为:若低维模块没有停止,则同时在得到低维搜索空间y∈yd中和原始的高 维搜索空间中进行并行的搜索优化parallel_gen代。并且在低维模块优化的过程 中,根据基于NSGA2的种群优化速率评估算法来计算每一代中低维模块的优化 速率;若低维模块已经停止,则独立在原始高维空间上继续优化。
(8)基于NSGA2算法的质量评估算法来计算并行优化paraller_gen代后 两个种群Q和P的质量评估比rateQ和rateP
Figure BDA0002467479020000061
Figure BDA0002467479020000071
其中,ratep是低维模块P的质量评估,rateQ是高维模块Q的质量评估,f是 质量评估种群C中总共的帕累托前沿等级数,ri是第i个前沿等级的占比,pi是低 维模块在第i个等级中的数量占比,qi是高维模块第i个等级中的数量占比。
(9)若原始高维模块的种群Q的质量占比更大,则停止低维模块的优化, 转化为原始高维模块单独优化;反之若低维模块的种群P的质量占比更大,根据 其占比rate_P大小,令低维模块单独优化gen=(1+log(rateP)-log(0.5))* gen_sub代,充分发挥低维模块的高效搜索效率进行高效的局部搜索最优解集; 若优化过程中,低维模块的优化速率下降到其最大优化速率的0.3以下,则停止 低维模块的优化过程。
(10)将低维模块的优化种群P映射到高维空间中,与原始的高维模块的种 群Q合并,根据经典的NSGA2的算法中的帕累托前沿和拥挤度进行种群中每 个个体进行优劣排序,根据排序结果择优选取前K个个体作为新的高维任务的种 群Q。
(11)重复步骤(7)-(10),循环优化直到达到迭代停止条件,即达到设 定的最大迭代次数generation或者最大评估次数FEVs,最终得到的种群Q中的 帕累托前沿个体集即为所得的最优解集。
与已有的高维多目标优化方法相比,本发明的有益效果在于:
(1)原有的高维多目标优化算法只在一个单一的通过随机嵌入生成的低维 子空间中进行优化搜索,在很多情况下会困于局部最优而找不到全局最优解集。 本方法对于高维多目标优化问题,不仅在低维搜索空间中进行优化,还同时在 原有的高维搜索空间中进行优化,并且利用低维搜索空间中的优化结果来辅助 原高维空间中的优化过程,即合理地运用了随机嵌入的低维优化可以快速定位 局部最优解集区域的优点,由有效地避免了单独使用随机嵌入优化时容易困于 局部最优的缺点,且整体优化在理论上是找到全局最优解集的唯一方法,所以 更加有利于找到全局最优解集。
(2)单一使用随机嵌入进行低维优化来解决高维多目标优化问题时,虽然 可以在前期较快地定位到一个较好的局部最优空间,但由于映射矩阵带来的误 差,在后期对精确解的搜寻过程往往会产生搜寻效率下降的问题。本方法联合 了低维优化和高维优化两种模式,设计了对于低维优化模块的评估方式,一旦 检测到低维优化模块的效率低于优化过程中的阈值就对其进行终止,不仅有效 地解决了低维优化模块在后期优化速率下降的问题,也减少了更多的候选解评 估数量,优化了整个算法的耗时。但是因为并行地进行两个优化过程,相比单 独进行一个优化过程,本方法的优化耗时将会比单个优化过程更长。本方法弥 补了随机嵌入的随机性所带来的优化搜索缺陷,并利用随机嵌入的高效性,加 快了整体的搜索效率。
附图说明
图1为随机嵌入过程示意图。
图2为多目标优化算法优化速率的示意图。
图3为本发明的基于随机嵌入辅助模型的高维多目标优化过程流程图。
具体实施方法
以下结合附图和技术方案,进一步说明本发明的具体实施方式。
本发明是一种基于随机嵌入辅助模型的高维多目标演化优化方法,如图3 所示,具体包括以下步骤:
(1)需要解决的多目标优化问题具体的多个目标值可用 F(x)={f1(x),f2(x),…fn(x)}表示,需要优化的所有参数可用一个长向量x表示,x的每一维对应一个待优化的参数(即优化x找到令F(x)={f1(x),f2(x),…fn(x)} 中每个目标值都尽可能小的x的值,根据具体的多目标优化问题可以计算得到 每个x对应的F(x))。
(2)采用经典的非支配排序算法NSGA2作为基本的多目标优化算法,并 结合随机嵌入方法对目标值进行优化,具体参数设置如下:
对NSGA2算法设置相应的参数值:子任务的种群大小K、迭代停止条件为 最大迭代次数generation或最大评估次数FEVs,交叉概率PC、变异概率PM等参 数。
对随机嵌入方法设置相应的参数值:高维优化问题的维度D,低维模块的维 度d,以及根据随机嵌入理论设定的整个问题有效维度de、最大并行优化代数 parallel_gen。
(3)使用随机嵌入方法在低维度上初始化一个种群大小为K的种群P, P={p1,p2,...,pK}。
(4)随机初始化随机嵌入矩阵M∈RD×d,其中D是原始高维优化问题的维 度,d是低维模块的维度,从而通过随机嵌入方法将高维度优化问题f(x),x∈RD, 转化为一个低维子问题g(y)。如图1所示为随机嵌入过程的示意图:方框X表 示原始的高维搜索空间,斜线表示一个低维的搜索空间。随机嵌入方法是用优 化低维方程g(y)代替优化原始高维方程f(x),图中的“DNA”表示基因材料染色 体,也就是要优化的个体。最终将得到的低维的DNA代入演化算法进行遗传操 作进化。
(5)通过随机嵌入矩阵M将每个低维空间中的个体基因型y转化到高维空间 中,得到高维空间的个体基因型x,即x=My,并用x计算出每个个体的多个目 标值F(x)={f1(x),f2(x),…fn(x)}。
(6)在原始的高维度上随机初始化种群大小为K的种群Q,Q={q1,q2,…qK}, 并计算出每个个体的多个目标值F(x)={f1(x),f2(x),…fn(x)}。
(7)在低维空间和原始高维空间上同时使用NSGA2算法进行优化,具体 过程为:若低维模块没有停止,则同时在得到低维搜索空间y∈yd中和原始的高 维搜索空间中进行并行的搜索优化parallel_gen代。并且在低维模块优化的过程 中,根据基于NSGA2的种群优化速率评估算法来计算每一代中低维模块的优化 速率,具体的算法为:基于NSGA2的种群优化速率评估算法是对种群进化过程 中相邻两代之间计算一次种群的优化速率。具体来说,对于每一代的种群,由 于直接使用了NSGA2的进化算法进行种群优化,所以整个种群都自然地被划分 为多个帕累托前沿等级。对于每个帕累托等级中的所有个体,用它们在各个目 标上的目标值计算一个平均的目标值作为该等级的代表目标值。两代种群中的 每一个帕累托等级中都计算这样一个代表目标值。然后计算两代种群中对应的 帕累托等级的代表目标值之间的欧式距离。由于多目标优化中每个目标值的具 体范围可能相差很大,在计算欧式距离的时候,还对每个目标值进行了一次标 准化操作,具体是用该目标值上的距离除以前一代的代表目标值在该目标值上 的值得到。最后取所有等级的距离的平均值作为这两代的种群优化速率。这个 值越大,说明这次优化的速率越大,优化效果越好。如图2所示,为种群优化 速率的单个帕累托等级的欧式距离计算示意图,以二目标优化为例,纵轴为第 一个目标值,横轴为第二个目标值。上面的曲线为前一代种群中根据当前前沿 中的点可得的大致帕累托前沿,其中点A为这些点的代表目标值,下面的曲线为 后一代的同级帕累托前沿,点B为这些点的代表目标值。计算这一个帕累托前沿 等级的优化速率就是算点AB之间标准化后的距离d。每一个帕累托前沿等级的 距离的平均值即为最终所得的优化速率。
若低维模块已经停止,则独立在原始高维空间上继续优化。
(8)根据基于NSGA2算法的质量评估算法来计算并行优化paraller_gen代 后两个种群Q和P的质量评估比rateQ和rateP,具体算法为:将高维模块的当代 进化种群Q和低维模块的当代进化种群P进行合并,组成一个大的合并种群。通 过NSGA2的算法对整个合并种群进行排序,NSGA2的排序规则是先将所有的 解划分到一个个的帕累托前沿等级,第一级中的个体优于第二级中的个体,第 二级中的个体优于第三级中的个体,以此类推。对于属于同一个帕累托等级中 的个体还将进行拥挤度计算,每一个个体在自己所处的等级中拥有一个自己的 拥挤度。同一个等级中个体,拥挤度大的个体优于拥挤度小的个体。由此通过NSGA2的帕累托等级划分和拥挤度的计算就可以对整个合并种群中的每一个个 体进行优劣排序。根据排序结果对排序后的种群取其前半部分个体集(好的部 分)作为质量评估种群C进行质量评估。质量评估种群C中每一个个体或者原属 于高维模块,或者原属于低维模块。整个质量评估种群的占比是1,按照帕累托 等级,第一个帕累托前沿等级的占比是r1=r(r>0.5),第二个帕累托前沿等级 的占比是在剩余占比中占比为r,即r2=r*(1-r1),以此类推。然后统计每个 帕累托前沿等级中属于两个模块的个体的占比为各自的个体数占整个等级中个 体数的比例。最终两个模块的质量评估结果分别为
Figure BDA0002467479020000111
Figure BDA0002467479020000112
(9)若原始高维模块的种群Q的质量占比更大,则停止低维模块的优化, 转化为原始高维模块单独优化;反之若低维模块的种群P的质量占比更大,根据 其占比rate_P大小,令低维模块单独优化gen=(1+log(rateP)-log(0.5))* gen_sub代,充分发挥低维模块的高效搜索效率进行高效的局部搜索最优解集; 若优化过程中,低维模块的优化速率下降到其最大优化速率的0.3以下,则停止 低维模块的优化过程。
(10)将低维模块的优化种群P映射到高维空间中,和原始的高维模块的种 群Q合并,根据经典的NSGA2的算法中的帕累托前沿和拥挤度进行种群中每 个个体进行优劣排序,根据排序结果择优选取前K个个体为新的高维任务的种群 Q。
(11)重复步骤(7)-(10),循环优化直到达到迭代停止条件,即达到设 定的最大迭代次数generation或者最大评估次数FEVs,最终得到的种群Q中的 帕累托前沿即为所得的最优解集。
本发明针对具有低有效维数的高维多目标优化问题,提出了一种基于随机 嵌入方法降维的联合高低维模式的双模态的优化方法。该方法的有益效果是基 于随机嵌入低维辅助模型的高维多目标优化模型相比与单独使用随机嵌入进行 高维多目标优化时更容易跳出局部最优,更利于找到全局最优解集,而相对于 单独使用原始的优化算法优化效率大大提升。

Claims (1)

1.一种基于随机嵌入辅助模型的高维多目标演化优化方法,其特征在于,具体如下:
(1)需要解决的多目标优化问题具体的多个目标值可用F(x)={f1(x),f2(x),...fn(x)}表示,需要优化的所有参数可用一个长向量x表示,x的每一维对应一个待优化的参数;
(2)采用非支配排序算法NSGA2作为基本的多目标优化算法,并结合随机嵌入方法对目标值进行优化,具体参数设置如下:
对演化算法设置相应的参数值:子任务的种群大小K、迭代停止条件为最大迭代次数generation或最大评估次数FEVs,交叉概率PC、变异概率PM
对随机嵌入方法设置相应的参数值:高维优化问题的维度D,低维模块的维度d,以及根据随机嵌入理论设定的整个问题有效维度de、最大并行优化代数parallel_gen;
(3)使用随机嵌入方法在低维度上初始化一个种群大小为K的种群P,P=(p1,p2,...,pK};
(4)随机初始化随机嵌入矩阵M∈RD×d,其中D是原始高维优化问题的维度,d是低维模块的维度,通过随机嵌入方法将高维度优化问题f(x),x∈RD,转化为一个低维子问题g(y);
(5)通过随机嵌入矩阵M将每个低维空间中的个体基因型y转化到高维空间中,得到高维空间的个体基因型x,即x=My,并用x计算出每个个体的多个目标值F(x)={f1(x),f2(x),...fn(x)};
(6)在原始的高维度上随机初始化种群大小为K的种群Q,Q=(q1,q2,...qK},并计算出每个个体的多个目标值F(x)={f1(x),f2(x),...fn(x)};
(7)在低维空间和原始高维空间上同时使用NSGA2算法进行优化,具体过程为:若低维模块没有停止,则同时在得到低维搜索空间y∈yd中和原始的高维搜索空间中进行并行的搜索优化parallel_gen代;并且在低维模块优化的过程中,根据基于NSGA2的种群优化速率评估算法来计算每一代中低维模块的优化速率;若低维模块已经停止,则独立在原始高维空间上继续优化;
(8)基于NSGA2算法的质量评估算法来计算并行优化paraller_gen代后两个种群Q和P的质量评估比rateQ和rateP
Figure RE-FDA0002570190040000021
Figure RE-FDA0002570190040000022
其中,ratep是低维模块P的质量评估,rateQ是高维模块Q的质量评估,f是质量评估种群C中总共的帕累托前沿等级数,ri是第i个前沿等级的占比,pi是低维模块在第i个等级中的数量占比,qi是高维模块第i个等级中的数量占比;
(9)若原始高维模块的种群Q的质量占比更大,则停止低维模块的优化,转化为原始高维模块单独优化;反之若低维模块的种群P的质量占比更大,根据其占比rate_P大小,令低维模块单独优化gen=(1+log(rateP)-log(0.5))*gen_sub代;若优化过程中,低维模块的优化速率下降到其最大优化速率的0.3以下,则停止低维模块的优化过程;
(10)将低维模块的优化种群P映射到高维空间中,与原始的高维模块的种群Q合并,根据NSGA2的算法中的帕累托前沿和拥挤度进行种群中每个个体进行优劣排序,根据排序结果择优选取前K个个体作为新的高维任务的种群Q;
(11)重复步骤(7)-(10),循环优化直到达到迭代停止条件,即达到设定的最大迭代次数generation或者最大评估次数FEVs,最终得到的种群Q中的帕累托前沿个体集即为所得的最优解集。
CN202010338084.5A 2020-04-26 2020-04-26 一种基于随机嵌入辅助模型的高维多目标演化优化方法 Active CN111553071B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010338084.5A CN111553071B (zh) 2020-04-26 2020-04-26 一种基于随机嵌入辅助模型的高维多目标演化优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010338084.5A CN111553071B (zh) 2020-04-26 2020-04-26 一种基于随机嵌入辅助模型的高维多目标演化优化方法

Publications (2)

Publication Number Publication Date
CN111553071A true CN111553071A (zh) 2020-08-18
CN111553071B CN111553071B (zh) 2022-10-14

Family

ID=72005928

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010338084.5A Active CN111553071B (zh) 2020-04-26 2020-04-26 一种基于随机嵌入辅助模型的高维多目标演化优化方法

Country Status (1)

Country Link
CN (1) CN111553071B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104156584A (zh) * 2014-08-04 2014-11-19 中国船舶重工集团公司第七0九研究所 多目标优化差分进化算法的传感器目标分配方法及系统
CN106778832A (zh) * 2016-11-28 2017-05-31 华南理工大学 基于多目标优化的高维数据半监督集成分类方法
CN108683189A (zh) * 2018-06-22 2018-10-19 广东电网有限责任公司 基于高维多目标演化算法的配电网重构方法、装置及设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104156584A (zh) * 2014-08-04 2014-11-19 中国船舶重工集团公司第七0九研究所 多目标优化差分进化算法的传感器目标分配方法及系统
CN106778832A (zh) * 2016-11-28 2017-05-31 华南理工大学 基于多目标优化的高维数据半监督集成分类方法
CN108683189A (zh) * 2018-06-22 2018-10-19 广东电网有限责任公司 基于高维多目标演化算法的配电网重构方法、装置及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴伟林等: "基于差分演化与猫群算法融合的群体智能算法", 《计算技术与自动化》 *

Also Published As

Publication number Publication date
CN111553071B (zh) 2022-10-14

Similar Documents

Publication Publication Date Title
Zhou et al. A problem-specific non-dominated sorting genetic algorithm for supervised feature selection
Zhang et al. Binary differential evolution with self-learning for multi-objective feature selection
Xue et al. A multi-objective evolutionary algorithm with interval based initialization and self-adaptive crossover operator for large-scale feature selection in classification
Xu et al. MICHAC: Defect prediction via feature selection based on maximal information coefficient with hierarchical agglomerative clustering
Zhou et al. An evolutionary multi-objective optimization framework of discretization-based feature selection for classification
De Farias et al. A decomposition-based many-objective evolutionary algorithm updating weights when required
Fallah-Mehdipour et al. Extraction of decision alternatives in construction management projects: Application and adaptation of NSGA-II and MOPSO
US8700548B2 (en) Optimization technique using evolutionary algorithms
Arevalillo-Herráez et al. Distance-based relevance feedback using a hybrid interactive genetic algorithm for image retrieval
Sheng et al. Adaptive multisubpopulation competition and multiniche crowding-based memetic algorithm for automatic data clustering
Pandey et al. Data clustering using hybrid improved cuckoo search method
CN110119558B (zh) 一种基于差分优化算法的电路参数优化方法
Wang et al. Development of a parallel optimization method based on genetic simulated annealing algorithm
CN1571982A (zh) 存在仪器噪声和测量误差时人工神经网络模型改进的性能
Pashaei et al. Improving medical diagnosis reliability using Boosted C5. 0 decision tree empowered by Particle Swarm Optimization
CN116542382A (zh) 基于混合优化算法的污水处理溶解氧浓度预测方法
Li et al. Multi-objective particle swarm optimization for key quality feature selection in complex manufacturing processes
CN104966106A (zh) 一种基于支持向量机的生物年龄分步预测方法
Chan et al. A two-phase evolutionary algorithm for multiobjective mining of classification rules
Zhou et al. Region purity-based local feature selection: A multi-objective perspective
Wei et al. Multiobjective optimization algorithm with dynamic operator selection for feature selection in high-dimensional classification
Le et al. A hybrid surrogate model for evolutionary undersampling in imbalanced classification
Banka et al. Evolutionary biclustering of gene expressions
Zhang et al. Feature selection algorithm for high-dimensional biomedical data using information gain and improved chemical reaction optimization
Abd-el Fattah et al. A TOPSIS based method for gene selection for cancer classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Hou Yaqing

Inventor after: Cao Yumeng

Inventor after: Zhang Jianxin

Inventor after: Zhang Qiang

Inventor after: Wei Xiaopeng

Inventor before: Cao Yumeng

Inventor before: Hou Yaqing

Inventor before: Zhang Jianxin

Inventor before: Zhang Qiang

Inventor before: Wei Xiaopeng

GR01 Patent grant
GR01 Patent grant