CN110263906A - 非对称负相关搜索方法 - Google Patents

Abstract

本发明公开了一种非对称负相关搜索方法，将每一个搜索进程的搜索行为建模为概率分布，利用搜索进程搜索范围的相对大小，将搜索行为进一步划分为全局搜索行为和局部搜索行为。然后提出一种新的元启发式搜索算法，即非对称负相关搜索，它假设具有全局搜索行为的搜索进程应尽可能远离具有局部搜索行为的搜索进程。得益于搜索进程之间非对称的负相关的搜索趋势，本发明提出的算法为元启发式搜索提供了更优的探索与利用的平衡策略，拥有更好的搜索效率及更佳的整体性能。

Description

非对称负相关搜索方法

技术领域

本发明涉及复杂实值优化和元启发式搜索领域，尤其涉及一种非对称负相关搜索方法。

背景技术

在现实世界中存在许多复杂的优化问题，例如，最小化汽车流体设计的空气阻力，最小化天线阵列中的峰值傍瓣电平(Peak Side-Lobe Levels,PSLLs)，以及最优经济调度问题中电力设备的折损，等等。这些复杂优化问题都涉及实值参数空间的许多局部极值解。通常，研究人员设计专门的模拟软件来拟合复杂的优化场景，也就是说显式的优化函数和梯度信息是很难被获取的。这类优化问题被统称为多模态(非凸)实值优化问题或黑盒优化问题，由于在大多数场景下，缺少对优化函数的有效信息，因此需要采取一般的启发式假设来指导搜索解空间，所有的这些算法被归纳为元启发式搜索。研究表明，元启发式搜索在求解复杂实值优化问题时，展现了比一般遍历方法和其他近似方法更好的优化性能。其中具有代表性的元启发式搜索包括：爬山算法(Hill Climbing,HC)，模拟退火算法(SimulatedAnnealing,SA)，禁忌搜索(Tabu Search,TS)，遗传算法(Genetic Algorithms,GA)，粒子群算法(Particle Swarm Optimizer,PSO)，演化策略(Evolution Strategies,ES)，差分演化(Differential Evolution,DE)，等等。

元启发式搜索是基于一个或多个随机搜索进程以及个体或种群的迭代实现的，种群中的每个个体代表了实值优化问题的一个可行候选解。为了衡量这些解的优劣，需要通过计算实值优化问题的函数值来评估这些候选解，称得到的函数值为个体或解的适应度。适应度的大小通常被用于指导元启发式搜索的搜索方向。对于复杂实值优化问题，一方面，由于解空间的维度高、规模大，存在大量的局部极值点，任何包含有限数量搜索进程的元启发式搜索都不能保证发现全局最优解；另一方面，由于解空间的连续性和缺乏优化函数的梯度信息，采用任何随机搜索算子的搜索进程都只能在有限的搜索步骤尽可能接近局部极值点，而不能到达极值点。因此，一个元启发式搜索方法是注重解空间的探索，即探寻更多的局部极值点以发现全局更优的解，还是注重解的利用，即驱使适应度更优的解逼近周围的某个局部极值点，是设计元启发式搜索最为关键的问题之一，相关问题也被称作探索与利用问题，或多样化与集约化问题。许多元启发式搜索提出了平衡探索与利用的方法或假设，研究表明这些元启发式假设直接影响了搜索算法的性能。

特别地，基于种群的元启发式搜索算法不仅在理论方面取得了成功，而且在应用方面被认为是经验上更好的元启发式搜索。尽管有许多工作讨论了基于种群的探索与利用的平衡策略，但是可以从整体上把它们分为两类：(1)小生境技术(Niching Techniques)。诸如适应度共享和拥挤方法的小生境技术旨在选择解空间中彼此距离较远的一组候选解，然后利用这些解产生新的候选解(一般通过杂交算子)。适应度共享方法试图与邻域的个体共享适应度，并通过牺牲部分候选解的适应度来维持种群的多样化。而拥挤方法依赖于后代与其近代父母之间的竞争机制，允许调整选择压力以偏向选择相隔距离很远的个体，从而增进种群的多样化。这种方法的问题是，多样性的父母并不一定能够产生多样性的个体，小生境技术需要对父母之间的杂交策略提出严苛的要求。(2)自适应搜索步长(AdaptiveSearch Step-Size)。一方面，可以采用具有小搜索步长的搜索进程来发现更接近当前候选解的新的解，这有助于利用适应度更优的候选解。另一方面，可以采用具有大搜索步长的搜索进程来发现更远离当前候选解的新的解，这有助于解空间的探索。许多元启发式假设基于解空间的属性提出了自适应搜索步长的策略。但是，这种方法会引入另一个算法设计问题，即，应该使用何种搜索进程，以及在迭代期间何时切换具有不同搜索步长的进程以实现探索与利用之间的良好折中。

发明内容

本发明的目的是提供一种非对称负相关搜索方法，为元启发式搜索提供了更优的探索与利用的平衡策略，拥有更好的搜索效率及更佳的整体性能。

本发明的目的是通过以下技术方案实现的：

一种非对称负相关搜索方法，包括：

设定初始种群，将初始种群中的每一个体记为父代，并将每一个体建模成一个搜索进程，记录初始种群的最优解以及对应的适应度值作为历史最优解；

将个体变异算子作用于父代产生子代种群，记录子代种群的最优解以及相对应的适应度值，如果子代种群的最优解优于历史最优解的适应度，则更新历史最优解；

基于探索与利用的平衡策略考察子代种群的子代个体相对于其父代个体的相关性值，从而计算每一个体的相关性值；

将子代个体及其父代个体的适应度与相关性值做归一化处理，并基于子代个体归一化后的适应度与相关性值的关系，判断是否用子代个体替换其父代个体，从而完成初始种群的更新；

如果未满足停止条件，则利用更新后的种群产生新的子代种群，并重复以上过程来进行种群的更新；如果满足停止条件，则利用更新后的种群获得搜索结果。

由上述本发明提供的技术方案可以看出，平衡了探索解空间新区域(多样化)与实现优质解利用(集约化)之间的关系，从而提高搜索算法性能。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种非对称负相关搜索方法的流程图；

图2为本发明实施例提供的三个经典的实值优化函数在二维情况下的可视化样例；

图3为本发明实施例提供的非对称负相关搜索对搜索趋势的影响示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

现实世界中的许多应用与实值优化问题紧密相关，基于种群的元启发式搜索算法被认为是最流行的实值优化方法。在搜索解空间过程中，如何平衡探索解空间新区域(多样化)与实现优质解利用(集约化)之间的关系，是提高搜索算法性能的关键因素之一。与此同时，小生境技术和自适应搜索步长方法不能很好地满足实值优化问题对搜索性能的要求，一个更优的探索与利用的平衡策略亟待提出。

本发明实施例提供一种非对称负相关搜索方法，如图1所示，其主要包括：

1、设定初始种群，将初始种群中的每一个体记为父代，并将每一个体建模成一个搜索进程，记录初始种群的最优解以及对应的适应度值作为历史最优解。

在设定初始种群之前，首先进行了问题对象的形式化，即将问题对象形式化为实值优化问题，一个实值优化问题定义为一对(S，f)，其中非空实值域S表示实值优化问题的解空间或搜索空间，是优化问题的目标函数，用于评估解，表示实值域；求解一个实值优化问题即为在解空间或搜索空间找到一个解集，解集中的每一个元素x均为一个D维实值向量。

每一个D维实值向量可以映射到实际问题在可行域上的一个有意义的解，高维实值向量的约束构成解空间的大小。

本领域技术人员可以理解，解集是指若干解的集合，它是拟搜索到的目标解集；可行域是全部解的集合。

本领域技术人员可以理解，数学上实值向量可以形式化为一个高维数组，数组中的每个数属于实数域；技术领域上，实值向量可与优化问题相结合，比如在“最优经济调度问题中电力设备的折损”问题中，实值向量的每一个维度表示一台发电机的发电功率，实值向量表示发电机组所有发电机的发电功率。

事实上，对于实值优化问题，求解最大值或者最小值并没有严格的区别，可以通过求目标函数的相反数来转化这两种问题。特别地，对于基于种群的元启发式搜索，每个个体x的目标函数值f(x)为适应度值。

从解集选择若干个元素(候选解)，每一元素作为一个个体，从而构建初始种群，并将每一个体建模成一个搜索进程。

本领域技术人员可以理解，个体是一种数据结构，是解集中元素在算法的实例，包含两个属性，一个是向量属性，即实值向量表示，另一个是变异属性，即每个个体独立的高斯变异算子(每个个体高斯变异算子的标准差不同)；候选解是在可行域上拟被选入解集的实值向量。搜索进程是一种公认的专有数据结构，在描述个体的搜索行为时(即考察个体的变异属性时)，把个体建模成为一个搜索进程，以便强调个体的变异属性，忽略个体的向量属性，搜索进程的搜索操作由高斯变异算子实现，即用搜索的形式来表示个体的迭代更新。

图2示例性的给出了三个经典的实值优化函数在二维情况下的可视化样例，其中(a)～(c)三个部分依次对应为Shifted Rastrigin’s Function(漂移Rastrigin函数)、Shifted Rotated Weierstras Function(漂移旋转维尔思特拉斯函数)、Shifted RotatedExpanded Scaffer’s Function(漂移旋转扩展Scaffer函数)；它们是实值优化建模的经典函数，通常被用于描述最优经济调度问题中电力设备的折损等实值优化问题。

2、将个体变异算子作用于父代产生子代种群，记录子代种群的最优解以及相对应的适应度值，如果子代种群的最优解优于历史最优解的适应度，则更新历史最优解。

假定一个D维连续最小化问题的目标函数为f(x_i)，每一个候选解(种群中的个体)被表示为一个D维的实值向量。

本发明实施例中，所述个体变异算子选择高斯变异算子。

则对于一个父代个体x_i，高斯变异算子基于下式产生新的子代个体x’_i：

x'_id＝x_id+Ν(0,σ_i)

其中，x_id表示父代个体x_i的第d维分量，N(0,σ_i)表示一个均值为0且标准差为σ_i的高斯随机分布。

高斯随机分布的标准差σ_i对于不同的个体以及其在解空间不同的维度可以给出不同的值，为了保持简单的形式，在本发明实施例中默认所有个体初始化相同的高斯变异算子的参数。

3、基于探索与利用的平衡策略考察子代种群的子代个体相对于其父代个体的相关性值，从而计算每一个体的相关性值。

为了平衡探索与利用的关系，首先根据一对个体搜索范围的相对大小，将种群中的个体的搜索行为划分为全局搜索行为(搜索范围较大)和局部搜索行为(搜索范围较小)。一方面，具有全局搜索行为的个体①搜索范围大，②搜索方向不清晰，③其覆盖的区域可能存在多个局部极值点或者没有局部极值点；另一方面，具有局部搜索行为的个体①搜索范围小，②搜索方向相对清晰，③其覆盖的区域通常只有一个或少个局部极值点。区别对待具有全局搜索行为的个体与具有局部搜索行为的个体对彼此相关性的影响，并提出非对称负相关的元启发式假设：如果一对个体中存在具有全局搜索行为的个体，那么此个体应鼓励与其他个体负相关的搜索行为；也即，具有全局搜索行为的搜索进程尽可能远离具有局部搜索行为的搜索进程，具有局部搜索行为的个体不受到具有全局搜索行为的个体的影响。通过引入非对称到负相关，提供了一种平衡探索与利用的新的思路，并且可以大量节省由负相关操作产生的计算成本，从而节约算法的运行时间。

本发明实施例中，将每一个搜索进程的搜索行为建模为概率分布，即以相应个体的D维实值向量为分布的均值，高斯变异算子的标准差为分布的标准差；

根据标准差的大小来区分相应搜索行为为全局搜索行为或局部搜索行为；

如果标准差大于设定值，则认为相应搜索行为为全局搜索行为，说明其搜索方向不明显，计算对应个体与其周围个体搜索行为的巴氏距离，选择最近距离为对应个体的相关性值。

如果标准差小于设定值，则认为相应搜索行为为局部搜索行为，设置相关性值为缺省值。

对于采用高斯变异算子的一对个体x_i和x_j，个体x_i相关性值的计算公式为：

其中，det表示行列式；Σ＝(Σ_i+Σ_j)/2，Σ_i＝σ_i ²I，I是单位矩阵。

上述一对个体x_i和x_j可以是同一代种群中的个体，也可以是不同代种群的个体。

如图3所示，为二维解空间(标注了优化函数的等高线)中搜索行为的非对称负相关示例。在图3中其搜索趋势以箭头符号示意。以候选解的实值向量为圆心，高斯变异算子的标准差为半径，可视化两个搜索进程(同代或不同代均可)在二维解空间的搜索范围，即搜索进程覆盖的解空间的区域。可以发现，两个搜索进程的搜索范围覆盖了部分相同的区域。非对称负相关搜索提出：如果一对搜索进程中存在具有全局搜索行为的搜索进程，那么这个搜索进程应鼓励与另一个搜索进程负相关的搜索行为，也就是说，具有全局搜索行为的搜索进程应当远离具有局部搜索行为的搜索进程。

4、将子代个体及其父代个体的适应度与相关性值做归一化处理，并基于子代个体归一化后的适应度与相关性值的关系，判断是否用子代个体替换其父代个体，从而完成初始种群的更新。

由于个体的适应度f(x_i)和相关性值Corr(p_i)通常不在一个量级，并且个体的适应度f(x_i)可能取负值，而相关性Corr(p_i)是非负的。对于最小化问题，采取的策略是将适应度f(x_i)减去目前为止搜索算法得到的最小值，即对个体的适应度做非负化处理。再将子代个体及其父代个体的适应度与相关性值做归一化处理，使得子代个体及其父代个体的适应度之和f(x_i)+f(x’_i)、以及子代个体及其父代个体的相关性值之和Corr(p_i)+Corr(p’_i)均为1。

归一化处理之后，可以不再考虑f(x_i)和Corr(p_i)的大小，因为现在它们等于1-f(x’_i)和1-Corr(p’_i)。一个较小的f(x’_i)表示x’_i有较优的适应度，一个较大的Corr(p’_i)表示x’_i产生的子代会与那些具有局部搜索行为的个体产生的子代处于较远的距离。因此，那些f(x’_i)更小且Corr(p’_i)更大的解将会倾向于被保留。我们采用以下启发式规则判断是否用子代个体替换其父代个体：

上式中，丢弃x_i说明用子代个体替换其父代个体，丢弃x'_i则表示保留父代个体；f(x'_i)、Corr(p'_i)分别表示子代个体x’_i的适应度、相关性值；x_i表示父代个体；λ_t是一个大于0的参数，t为当前迭代的轮数。

给定x_i与x’_i，不同的λ_t值将会在保留或丢弃解上做出不同的决策。因此，λ_t值的设定将直接影响到非对称负相关搜索的搜索趋势，进而影响到非对称负相关搜索的性能。通常可以把λ_t的缺省值设定为1，表示个体的适应度和相关性同等重要。但是，对于不同的情况，一个变化的λ_t值将是更合适的。在这里，采用随迭代轮数变化的λ_t参数。具体地，在非对称负相关搜索迭代初期，x_i与x’_i的变化比较大，采用远离缺省的λ_t值；在非对称负相关搜索迭代后期，x_i与x’_i比较相似，λ_t值伴随f(x′_i)/Corr(p′_i)趋近于1；综上，从高斯分布N采样得到λ_t值，高斯分布的期望为1，标准差初始化为0.1，随后趋近于0：

上式中，T_max是非对称负相关搜索迭代的总轮数。

在前述步骤2中进行更新历史最优解可以最大化利用新产生的子代个体的适应度，换言之，在步骤4更新的种群是为了产生更好的子代，但是更新后的种群本身并不一定是最优的父代，因此要在子代成为父代之前先把适应度最优的个体筛选出来与历史最优解做比较，以免这些个体被丢弃。

5、如果未满足停止条件，则利用更新后的种群产生新的子代种群，并重复以上过程来进行种群的更新；如果满足停止条件，则利用更新后的种群获得搜索结果。

示例性的，停止条件可以设置为：当前迭代的轮数t＝T_max。

如果不满足停止条件，则更新后的种群中的个体作为父代，返回前述步骤2新的子代种群，同时，根据1/5成功准则更新高斯变异算子的标准差。否则，利用更新后的种群获得搜索结果，即获得更新后的种群所对应的历史最优解及其适应度为实值优化问题的解，并将其映射到实际问题在可行域上的一个有意义的解。

为了便于理解上述方案，下面结合两个具体的示例进行说明。

示例1：

本示例以最优经济调度问题中电力设备的折损为例，假设有D台发电机(例如D＝30)，目标是最小化电力设备的折损f(x)，x为30维实值向量，表示每台发电机的发电功率，f(x)是关于x的复杂实值优化函数，通常由多个显示函数联合建模来模拟实际折损，每一个合理的x值(每台发电机可允许的发电功率)表示可行域上一个有意义的解，最优解即为机组发电机(30台发电机)可以使电力系统设备折损最小的发电功率(也即，前述步骤5所得到的结果)。对于该示例的建模过程，个体的向量属性即为x值，个体的变异属性即为个体产生新的x’的算子(高斯变异算子)，多个个体即表示多种不同的机组发电机的发电功率，每种机组发电机的发电功率产生电力设备的折损f(x)即为该个体的适应度，我们得到的最优解即为能够使电力设备的折损最小的一种机组发电机的发电功率。

示例2：

本示例以最小化汽车流体设计的空气阻力为例，x为高维实值向量表述汽车的外型设计(可以包含汽车的高度、车面的曲率等等)，f(x)由空气环境仿真系统来模拟实际空气阻力，每一个合理的x值(汽车可以实际出场的外型设计)表示可行域上一个有意义的解，最优解即为描述汽车所受空气阻力最小的外型设计参数。对于该示例的建模过程，个体的向量属性即为x值(每个维度表示汽车的高度、车面的曲率等参数)，个体的变异属性即为个体产生新的x’的算子(高斯变异算子)，多个个体即表示多种不同的汽车外型，每种汽车外型造成汽车所受的空气阻力f(x)即为该个体的适应度，我们得到的最优解即为能够使汽车所受的空气阻力最小的一种汽车外型的设计参数。

本发明实施上述方案，将每一个搜索进程的搜索行为建模为概率分布，利用搜索进程搜索范围的相对大小，将搜索行为进一步划分为全局搜索行为和局部搜索行为。然后提出一种新的元启发式搜索算法，即非对称负相关搜索，它假设具有全局搜索行为的搜索进程应尽可能远离具有局部搜索行为的搜索进程。得益于搜索进程之间非对称的负相关的搜索趋势，本发明提出的算法为元启发式搜索提供了更优的探索与利用的平衡策略，拥有更好的搜索效率及更佳的整体性能。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (8)

1.一种非对称负相关搜索方法，其特征在于，包括：

设定初始种群，将初始种群中的每一个体记为父代，并将每一个体建模成一个搜索进程，记录初始种群的最优解以及对应的适应度值作为历史最优解；

将个体变异算子作用于父代产生子代种群，记录子代种群的最优解以及相对应的适应度值，如果子代种群的最优解优于历史最优解的适应度，则更新历史最优解；

基于探索与利用的平衡策略考察子代种群的子代个体相对于其父代个体的相关性值，从而计算每一个体的相关性值；

将子代个体及其父代个体的适应度与相关性值做归一化处理，并基于子代个体归一化后的适应度与相关性值的关系，判断是否用子代个体替换其父代个体，从而完成初始种群的更新；

如果未满足停止条件，则利用更新后的种群产生新的子代种群，并重复以上过程来进行种群的更新；如果满足停止条件，则利用更新后的种群获得搜索结果。

2.根据权利要求1所述的一种非对称负相关搜索方法，其特征在于，

将问题对象形式化为实值优化问题，一个实值优化问题定义为一对(S，f)，其中非空实值域S表示实值优化问题的解空间或搜索空间，f:是优化问题的目标函数，用于评估解，表示实值域；求解一个实值优化问题即为在解空间或搜索空间找到一个解集，解集中的每一个元素x^*均为一个D维实值向量，且有f(x^*)≤f(x)，

从解集选择若干个元素，每一元素作为一个个体，从而构建初始种群。

3.根据权利要求1所述的一种非对称负相关搜索方法，其特征在于，所述将个体变异算子作用于父代产生子代种群包括：

所述个体变异算子包括：高斯变异算子；

对于一个父代个体x_i，高斯变异算子基于下式产生新的子代个体x’_i：

x'_id＝x_id+Ν(0,σ_i)

其中，x_id表示父代个体x_i的第d维分量，N(0,σ_i)表示一个均值为0且标准差为σ_i的高斯随机分布。

4.根据权利要求1或2所述的一种非对称负相关搜索方法，其特征在于，所述基于探索与利用的平衡策略考察子代种群的子代个体相对于其父代个体的相关性值，从而计算每一个体的相关性值包括：

每一个体建模成一个搜索进程，将每一个搜索进程的搜索行为建模为概率分布，利用搜索进程搜索范围的相对大小，将搜索行为进一步划分为全局搜索行为和局部搜索行为，并假设具有全局搜索行为的搜索进程尽可能远离具有局部搜索行为的搜索进程，具有局部搜索行为的个体不受到具有全局搜索行为的个体的影响，从而计算每一个体的相关性值。

5.根据权利要求4所述的一种非对称负相关搜索方法，其特征在于，

将每一个搜索进程的搜索行为建模为概率分布，即以相应个体的D维实值向量为分布的均值，高斯变异算子的标准差为分布的标准差；

根据标准差的大小来区分相应搜索行为为全局搜索行为或局部搜索行为；

如果标准差大于设定值，则认为相应搜索行为为全局搜索行为，说明其搜索方向不明显，计算对应个体与其周围个体搜索行为的巴氏距离，选择最近距离为对应个体的相关性值；

如果标准差小于设定值，则认为相应搜索行为为局部搜索行为，设置相关性值为缺省值。

6.根据权利要求1所述的一种非对称负相关搜索方法，其特征在于，所述将子代个体及其父代个体的适应度与相关性值做归一化处理，并基于子代个体归一化后的适应度与相关性值的关系，判断是否用子代个体替换其父代个体，从而完成初始种群的更新包括：

将个体的适应度做非负化处理，再将子代个体及其父代个体的适应度与相关性值做归一化处理，使得子代个体及其父代个体的适应度之和、以及子代个体及其父代个体的相关性值之和均为1；

归一化处理后，通过下式来判断是否用子代个体替换其父代个体：

上式中，f(x'_i)、Corr(p'_i)分别表示子代个体x’_i的适应度、相关性值；x_i表示父代个体；λ_t是一个大于0的参数，t为当前迭代的轮数。

7.根据权利要求1所述的一种非对称负相关搜索方法，其特征在于，从高斯分布N采样得到λ_t值，高斯分布的期望为1，标准差初始化为0.1，随后趋近于0：

上式中，T_max是非对称负相关搜索迭代的总轮数。

8.根据权利要求2所述的一种非对称负相关搜索方法，其特征在于，所述利用更新后的种群获得搜索结果包括：

获得更新后的种群所对应的历史最优解及其适应度为实值优化问题的解，并将其映射到实际问题在可行域上的一个有意义的解。