CN105512754A - 一种基于共轭先验的单模分布估计优化方法 - Google Patents

Abstract

本发明涉及一种基于共轭先验的单模分布估计优化方法，其特征在于，包括以下内容：1)初始化Beta向量；2)通过Beta向量随机采样一个概率向量；3)利用概率向量随机采样一个种群，从种群中选取适应值较高的m个个体，利用选取的m个个利用选取的m个个体更新Beta向量将适应值最高的解作为最好解输出。本发明利用Beta分布是二项分布共轭先验这一性质，提出了基于Beta分布的两层分布估计算法，利用“分布的分布”有助于直接提高种群的多样性，并且通过限制Beta分布中参数的取值范围可以避免变量的收敛，这可以帮助已经陷入局部最优状态的算法获得改变状态的机会，可以广泛应用于作业车间调度中。

Description

一种基于共轭先验的单模分布估计优化方法

技术领域

本发明涉及计算机和工业生产相结合的技术领域，特别是关于一种基于共轭先验的单模分布估计优化方法。

背景技术

组合最优化(CombinatorialOptimization)是运筹学(OperationsResearch)的一个分支，旨在从离散的或者可以离散化的可行解中寻找最优解。组合最优化问题广泛存在于生产生活的各个领域之中，包括工业工程、计算机辅助设计、计算生物学和经济管理等。这些现实世界的问题被抽象成不同的理论问题，如最小生成树问题、背包问题、旅行商问题、车辆路径规划问题等。早期的研究主要集中在寻找这些问题的最优算法。但是计算复杂性理论的发展使人们认识到一些组合优化问题是NP(非确定多项式)完全问题，例如上述的背包问题、旅行商问题、车辆路径规划问题都是NP完全问题，这些问题可能不存在多项式时间的算法。虽然计算机自从诞生以来取得了长足的发展，计算机的计算能力不断提高。但是对于很多现实中的问题，由于没有多项式时间的算法，一旦问题规模过大，那么就无法利用已知的最优化算法在可以接受的时间内得到结果。

现代启发式算法(HeuristicAlgorithm)为处理这一类问题提供了新的思路，启发式算法主要包括模拟退火算法(SimulatedAnnealing)、禁忌搜索(TabuSearch)、遗传算法(GeneticAlgorithms)和人工神经网络(ArtificialNeuralNetworks)等方法，这一类算法与最优算法不同，并不以求得最优解为目的，而是在一个可以接受的计算花销下，得到问题的一个可行解。启发式算法有如下几个优点：第一，启发式算法一般来自于对自然界现象或者规律的抽象和模拟，其方法和原理简单，易于理解和实现。第二，启发式算法是一类计算框架，与具体问题无关。通过在算法中引入和问题相关的知识会提高算法的性能，但是这一类算法也可以作为黑盒方法直接使用。第三，启发式算法的速度较快，上述这些优点使得启发式算法得到了广泛的重视，并被应用于许多实际问题。

分布估计算法(EstimationofDistributionAlgorithms)是近年来被提出并逐步发展起来的一类演化算法(EvolutionaryAlgorithm)。与经典演化算法—遗传算法不同，分布估计算法不再使用交叉、变异等来源于生物学的概念，而是将概率模型及其演化作为算法的核心。不同的概率模型和不同的模型演化策略塑造了不同的分布估计方法。其中一类分布估计算法，使用简单的概率向量作为基本模型，例如单变量边缘分布算法(univariatemarginaldistributionalgorithm，UMDA)、紧致遗传算法(CompactGeneticAlgorithm，CGA)以及量子演化算法(Quantum-inspiredevolutionaryalgorithm，QEA)等。使用概率向量作为基本模型使得这一类算法框架简单，计算开销小，容易编码实现。但是简单的模型也存在如下两个主要问题，首先是概率向量中各个分量是相互独立的，它的使用隐含了变量是独立这一假设，因此它不能学习变量之间的关系。其次，在种群数较少的情况下，概率向量的分量易于收敛，这会导致算法陷入近优解。当前对于分布估计方法的研究主要集中在复杂概率模型的设计上。相对复杂的概率模型可以提高对问题的求解能力，但是其缺点也是显而易见的，主要体现在两个方面：首先采用复杂的模型，增加了算法的计算开销。其次，使用复杂的模型可能会削弱算法的泛化能力，即对于结构和模型相符合的问题具有较好的效果，而问题结构和模型不同时可能得不到理想的结果。

发明内容

针对上述问题，本发明的目的是提供一种能够获得更好计算效果的基于共轭先验的单模分布估计优化方法。

为实现上述目的，本发明采取以下技术方案：一种基于共轭先验的单模分布估计优化方法，其特征在于，包括以下内容：1)初始化Beta向量；2)通过Beta向量随机采样一个概率向量；3)利用概率向量随机采样一个种群，从种群中选取适应值较高的m个个体，利用选取的m个个体更新Beta向量将适应值最高的解作为最好解输出。

进一步，所述步骤3)利用概率向量随机采样一个种群，从种群中选取适应值较高的m个个体，利用选取的m个个体更新Beta向量将适应值最高的解作为最好解输出，具体过程为：①初始化迭代次数t为0；②将Beta向量中的元素都初始化为1，利用Beta向量采样得到概率向量PV；③通过采样PV得到这一轮迭代的初始种群，对每个采样得到的个体Pj，利用目标函数评价得到其适应值Fj；④使用截断选择算子从种群中选取最优秀的m个个体组成子种群S；⑤利用选取的m个个体，采用学习速率函数更新Beta向量，计算过程中的适应值最高的解最为最好解输出。

本发明由于采取以上技术方案，其具有以下优点：1、本发明利用Beta分布是二项分布共轭先验这一性质，提出了基于Beta分布的两层分布估计算法，利用“分布的分布”有助于直接提高种群的多样性，并且通过限制Beta分布中参数的取值范围可以避免变量的收敛，可以帮助已经陷入局部最优状态的算法获得改变状态的机会。2、本发明通过控制Beta向量的参数更新过程，可以很好地控制运算中全局搜索和局部搜索的侧重。3、本发明通过设计新型布估计算法框架，方便地引入了控制模型演化的方法，在车间调度问题实验表明，两层分布估计算法的性能优于其它单变量分布估计算法，并且其性能优势随着问题规模的增大而增加。本发明可以广泛应用于作业车间调度中。

附图说明

图1是本发明的方法流程示意图；

图2是本发明的使用方法示意图。

具体实施方式

以下结合附图来对本发明进行详细的描绘。然而应当理解，附图的提供仅为了更好地理解本发明，它们不应该理解成对本发明的限制。

基于共轭先验的分布估计算法与其他算法的最大区别是它采用了层次化模型，本发明算法框架是一个两层结构，第一层是从_V到PV，第二层是从PV到种群，因此本发明的算法称为两层分布估计算法一般地，分布估计算法直接利用选择的个体估计概率模型并用以产生新个体。在两层分布估计算法中，所选择出的个体用来估计一个Beta向量，其定义如下：Beta向量(BetaVector，bV)是一个由Beta分布组成的数组，每个分量包含定义在[1；+∞)区间上的两个实数，如下所示：

$\mathrm{\β}V=\[\left.\begin{array}{c}{\mathrm{\α}}_1\\ {\mathrm{\β}}_1\end{array}\right|\left.\begin{array}{c}{\mathrm{\α}}_2\\ {\mathrm{\β}}_2\end{array}\right|\left.\begin{array}{c}...\\ ...\end{array}\right|\begin{array}{c}{\mathrm{\α}}_n\\ {\mathrm{\β}}_n\end{array}\]$

式中，(α，β)确定了一个Beta分布。因此，Beta向量表示由n个Beta分布组成的概率分布数组。Beta向量中每个参数的定义域为[0；+1)，这是因为Beta分布的参数的定义域为[0；+1)，并且当参数大于等于1时，可以保证概率密度的最大值不会出现在两端。

如图1所示，本发明提出了基于共轭先验的单模分布估计优化方法，利用Beta分布是二项分布的共轭先验这一数学性质设计两层优化算法模型，包括以下内容：

1、初始化Beta向量，可以将Beta向量中的元素都初始化为1。

2、通过Beta向量随机采样一个概率向量，Beta向量的每个分量，即 $\left[\begin{array}{c}{\mathrm{\α}}_i\\ {\mathrm{\β}}_i\end{array}\right]$ 决定了一个Beta分布，通过随机采样这个Beta分布可以得到一个值，将其作为概率向量对应分量的值。

3、利用概率向量随机采样一个种群，从种群中选取适应值较高的m个个体，利用选取的m个个体更新Beta向量将适应值最高的解作为最好解输出，具体过程为：

1)初始化迭代次数t为0，更新过程中的学习速率函数将根据t确定学习的速率。算法开始时，学习速率较小，这时的算法倾向于随机搜索，随着t的增大，通过增大学习速率使模型尽可能多地进行局部搜索；

2)将Beta向量中的元素都初始化为1，利用Beta向量采样得到概率向量PV，进而采样PV得到初始种群，在这个条件下，算法采样得到初始种群是符合均匀分布的；

3)通过采样PV得到这一轮迭代的初始种群，对每个采样得到的个体Pj，利用目标函数评价得到其适应值Fj；

4)在两层分布估计算法中，使用截断选择(TruncationSelection)算子从种群中选取最优秀的m个个体组成子种群S；

5)利用选取的m个个体，采用学习速率函数更新Beta向量，计算过程中的适应值最高的解最为最好解输出，具体为：

在得到选取的种群S后，需要根据种群S更新Beta向量。Beta向量由其中的2n个参数(既 $\left[\begin{array}{c}{\mathrm{\α}}_i\\ {\mathrm{\β}}_i\end{array}\right],$ i＝1,2,…,n,)决定，这些参数通过下面两步计算得出，这样就有了新的Beta向量，进而采样新的PV，进而采样出新的种群，再选取m个优秀的个体组成S，在利用S更新Beta向量，往复迭代，S中解的质量会越来越好。

①对于每个基因为i，统计S中第i位0和1的数量，分别记为n0和n1。

②将α_i设定为1+n1×f(t),将β_i设定为1+n0×f(t)。

Beta分布的两个参数具有直观的物理意义，在贝叶斯推断中，参数表示观测结果中正例和负例出现的次数。在二进制编码条件下，可以看作是0和1的个数。因此可通过统计每个决策变量上，所有个体中0和1的个数作为Beta向量对应元素的参数。但是直接使用统计结果赋予参数并不能产生理想的结果。因此，提出学习速率函数用于显式的控制这个更新过程。学习速率函数是一个定义域为正整数，值域为实数的单调函数，记为fL(t)。在两层分布估计算法中，学习速率函数的自变量即为当前迭代的次数t。理想的演化算法应该随着计算的进行由全局搜索逐步过度到局部搜索，由Beta函数性质节可以看出，可以通过同时增加Beta分布的两个系数进而减少其方差，直接减少第一层采样的不确定性，进而增强局部搜索。因此，学习速率函数应该为单调增函数，这个性质保证算法可以随着计算的进行而逐渐加强局部搜索。

在更新过程中，首先统计所选取子种群中每个变量上0和1编码的个数。为了利用学习速率函数控制算法的搜索，将0和1的个数乘上学习速率作为对应Beta分布的参数。这样Beta分布的方差会随着计算的进行而逐步减少，算法逐渐加强局部搜索。Beta分布的参数定义域为[1；+1)，这本质是一种加一平滑(Add-oneSmoothing)方法，当n0和n1为0时，也就是对于一个决策变量，种群中所有个体都具有相同的取值。这种情况下，若不使用平滑方法，那么这个变量会收敛到一个值上。从此以后，这个变量不会发生改变，进而使算法陷入近优解而无法跳出。例如当Beta分布的一个参数为0时，不妨假设α＝0，这时Beta分布退化为一个单点分布，即P(x＝1)＝1。在随后的采样中，概率向量中对应分量只会为1，这个分量已经收敛，随后所有产生的个体都具有相同的取值。所以在参数的值要再加上1以避免这种情况的发生。通过这种限制，可以保证Beta分布是在区间[0；1]上的连续分布，且概率最大值不会出现在区间两端。在两层分布估计算法中，学习速率函数为简单的线性函数，其自变量为当前迭代次数，c是决定学习速率的系数，具体为：

6)判断是否满足设定的终止条件，如果不满足则进入步骤1)，如果满足则输出最终解，终止条件通常根据实际应用情况由用户确定，在此不再赘述。

如图2所示，本发明的算法适用于01编码问题，因此，对于一个需要优化的调度问题，需要设定一个对应的编码解码方案，即对于一个调度问题的解，需要按照编码方案将其唯一的编码为一个由0和1组成的字符串，计算完成后相对应解码优化算法得到优化后的调度方案，得到较好的结果。

上述各实施例仅用于说明本发明，其中方法的各实施步骤等都是可以有所变化的，凡是在本发明技术方案的基础上进行的等同变换和改进，均不应排除在本发明的保护范围之外。

Claims (2)

1.一种基于共轭先验的单模分布估计优化方法，其特征在于，包括以下内容：

1)初始化Beta向量；

2)通过Beta向量随机采样一个概率向量；

3)利用概率向量随机采样一个种群，从种群中选取适应值较高的m个个体，利用选取的m个个体更新Beta向量将适应值最高的解作为最好解输出。

2.如权利要求1所述的一种基于共轭先验的单模分布估计优化方法，其特征在于，所述步骤3)利用概率向量随机采样一个种群，从种群中选取适应值较高的m个个体，利用选取的m个个体更新Beta向量将适应值最高的解作为最好解输出，具体过程为：

①初始化迭代次数t为0；

②将Beta向量中的元素都初始化为1，利用Beta向量采样得到概率向量PV；

③通过采样PV得到这一轮迭代的初始种群，对每个采样得到的个体Pj，利用目标函数评价得到其适应值Fj；

④使用截断选择算子从种群中选取最优秀的m个个体组成子种群S；

⑤利用选取的m个个体，采用学习速率函数更新Beta向量，计算过程中的适应值最高的解最为最好解输出。