CN110516756A - 基于协方差矩阵特征值曲线相似度的cmaes聚类优化方法 - Google Patents

Abstract

基于协方差矩阵特征值曲线相似度的cmaes聚类优化方法，本发明针对CMAES算法在对多维数据进行协方差矩阵更新迭代时数据维度过高的缺点提出了基于协方差矩阵特征值曲线相似度的cmaes聚类优化方法，PerD‑CMAES，在CMAES算法迭代更新计算数据种群的协方差矩阵C的过程中，将C特征分解得到代表每维数据变化趋势的特征值，将离散的特征值绘制成曲线，计算曲线的斜率来表示变化率，利用皮尔逊相关系数计算出曲线的相似度，用图论的最短路径思想找出应该聚类到一起的数据，并在典型函数上分析，实验证明，该方法降低了算法更新过程中问题维数对于算法的影响，并在Robocup3D足球机器人的行走优化中得到了很好的应用。

Description

基于协方差矩阵特征值曲线相似度的cmaes聚类优化方法

技术领域

本发明涉及数据聚类优化领域，具体涉及一种基于协方差矩阵特征值曲线相似度的cmaes聚类优化方法。

背景技术

自适应协方差矩阵进化策略(cmaes)算法，是基于进化算法的一种改进算法，通过模拟生物进化过程来达到最优目的，主要用来解决非线性、非凸的优化问题。该方法从一个随机的初始搜索点开始搜索，并按照一定的概率分布产生第一个种群A，并评价其中所有个体的适应度；然后根据种群A中个体的适应度选择较好的个体更新进化策略，从而调整下一种群的进化方向，即控制下一种群的产生；每次突变后，须对比当前种群中的最优解和收敛条件，若满足则找到最优解并退出循环，否则继续迭代。该方法具有全局性能好、寻优效率高的特点，但多维数据进行协方差矩阵更新迭代时会存在数据维度过高的问题。

发明内容

本发明主要针对cmaes算法在对多维数据进行协方差矩阵更新迭代时数据维度过高的缺点，提出了一种基于协方差矩阵特征值曲线相似度的cmaes聚类优化方法，该方法降低了算法更新过程中问题维数对于算法的影响。

基于协方差矩阵特征值曲线相似度的cmaes聚类优化方法，包括如下步骤：

步骤1，给定目标函数f，设置cmaes的初始参数，如种群λ、父代个数μ、重组权重w_i，阻尼系数d_σ，协方差矩阵C的秩1和秩μ更新学习率c₁、c_μ；

步骤2，初始化问题维度N，给定均值m⁽⁰⁾(维度为N)，步长σ⁽⁰⁾，步长和协方差矩阵分别对应的进化路径C⁽⁰⁾＝I(单位矩阵)；代数g从0开始，为上述值的右上角标，即迭代次数，具体迭代次数视实际需要而定；

步骤3，cmaes循环开始，满足循环的终止条件后停止循环，并进入下一步骤；

步骤4，特征值分解，并绘制出特征值的斜率变化曲线；

步骤5，计算N维特征值斜率曲线彼此间的皮尔逊相关系数；

步骤6，聚类优化；将N维特征值斜率曲线的皮尔逊相关系数看作曲线间的距离，算出距离彼此距离最近的曲线，聚类在一起，将对应维度的优化参数带入目标函数再次带入cmaes优化，如果得到更理想的目标函数值，则结束算法，否则聚类失败。

进一步地，所述步骤3中，该cmaes循环的终止条件是满足指定问题精度，或是评价函数值不再变换，或是到达指定的迭代次数，该终止条件由用户自行设定，每次循环后迭代次数g＝g+1。

进一步地，所述步骤3中，所述cmases循环包括如下分步骤：

步骤3-1，对多元分布N(0,C^(g))进行采样，生成种群

B、D为协方差矩阵C特征分解后得到的矩阵，C＝B(D²)B^T，BB^T＝E(单位阵)，B的列向量由C的特征向量正交基组成，D的对角线由C的特征值平方根组成，在坐标轴内按比例缩放球形分布；

为第(g+1)代第k个个体；步骤3-2，均值重组，将带入f，此时，

其中

步骤3-2，步长σ更新；

E(||N(0,I)||是正态分布随机向量范数的期望长度，

步骤3-4，协方差矩阵C更新；

进一步地，所述步骤4中，所述特征值分解具体如下：

C^(g)＝B^(g)((D^(g))²)B^(g)T， 为C的特征值平方，记录下各维特征值每代的值；

进一步地，所述步骤5中，计算N维特征值斜率曲线彼此间的皮尔逊相关系数，具体计算过程如下；

其中，为第i维，第(g+1)代的特征值曲线的斜率，r(k_i,k_j)为第i维和第j维特征值斜率曲线的皮尔逊相关系数。

本发明达到的有益效果为：本发明提出的基于协方差矩阵特征值曲线相似度的cmaes聚类优化方法，降低了算法更新过程中问题维数对于算法的影响，并在Robocup3D足球机器人的行走优化中得到了很好的应用。

附图说明

图1为本发明所述基于协方差矩阵特征值曲线相似度的cmaes聚类优化方法的步骤流程图。

图2为优化前后机器人直线行走的对比图。

图3为优化前后机器人绕圈行走的对比图。

具体实施方式

下面结合说明书附图对本发明的技术方案做进一步的详细说明。

CMAES(CMA代表协方差自适应，ES表示演化策略)是用于实参数(连续域)的随机优化算法。核心思想是自适应调整搜索分布：多元正态分布N(m,C)的协方差矩阵C(C是对称正定的，它的几何意义是一个(超)椭球{x∈Rⁿ|x^TC^-1x＝1}，使其逐步逼近目标函数f的等高线，在凸二次函数上，该量近似于逆Hessian(H^-1)矩阵，从而使种群收敛于全局最优解(类似于拟牛顿法中H^-1的更新)。

协方差(正定)矩阵C具有吸引人的几何解释：它们可以用一个(超)椭球{x∈Rⁿ|x^TC^-1x＝1}唯一地识别，椭圆体的表面是分布密度相等的。椭球的主轴对应于C的特征向量，轴的长度对应于C的特征值。对C进行特征分解可得，C＝B(D²)B^T，BB^T＝E(单位阵)，B的列向量由C的特征向量正交基组成(为椭圆体定义一个新的方向，椭球的新主轴对应于B的列)，D的对角线由C的特征值平方根组成，在坐标轴内按比例缩放球形分布。N(m,C)分布可改写为：

～表示分布相等。

综上可得在用CMAES对搜索分布更新匹配目标函数的过程中，超椭球的每个轴放缩大小是由特征值决定的。随着逼近目标函数，理论上来说放缩值会越来越小。对于高维超椭球，如果在更新的过程中，某些轴的变化趋势一致，可以将这些轴的归为一类，从而降低数据维度。从数学角度来说就是分析协方差矩阵的特征值曲线，判别特征值曲线的相似度来进行分类优化。

对于曲线相似度，皮尔逊相关系数ρ用来反应变量间的线性相关度，可以作为一种衡量标准。

用于整体时，给定随机变量x,y，皮尔逊相关系数为其中cov为协方差，σx为x的方差，σy为y的方差，用于样本时ρ记为r，其中n为样本个数，和分别为样本均值，x_iy_i为各自样本的观测值。ρ∈[-1，1]。1为正相关，-1为完全负相关，0为无关。相关系数越大，表示曲线距离越近。

综上可得，在CMAES迭代更新的过程中，可以得到每代的协方差矩阵的特征值，代与代之间间隔为1，给定问题的初始维度N，可以得到N条特征值曲线，特征值曲线的趋势可以用斜率k表示。两两计算曲线间的皮尔逊相关系数ρ。如果两条特征值斜率的曲线成正相关，说明一条曲线在变化时，另外一条曲线随之做同样的变化，这两条曲线可以归为一类，看作同一个变化。

结合相关系数ρ来衡量CMAES协方差矩阵主轴变化趋势的算法，得到一种基于协方差矩阵特征值曲线相似度的cmaes聚类优化方法，为了讨论方便，记为PerD-CMAES。算法的流程图如图1，详细步骤如下：

步骤1，给定目标函数f，设置cmaes的初始参数，如种群λ、父代个数μ、重组权重w_i，阻尼系数d_σ，协方差矩阵C的秩1和秩μ更新学习率c₁、c_μ。

步骤2，初始化问题维度N，给定均值m⁽⁰⁾(维度为N)，步长σ⁽⁰⁾，步长和协方差矩阵分别对应的进化路径C⁽⁰⁾＝I(单位矩阵)；代数g从0开始，为上述值的右上角标，即迭代次数，具体迭代次数视实际需要而定。

步骤3，cmaes循环开始，满足循环的终止条件后停止循环，并进入下一步骤。

步骤3中，该cmaes循环的终止条件是满足指定问题精度，或是评价函数值不再变换，或是到达指定的迭代次数，该终止条件由用户自行设定，每次循环后迭代次数g＝g+1。

步骤3中，cmases循环包括如下分步骤：

步骤3-1，对多元分布N(0,C^(g))进行采样，生成种群

B、D为协方差矩阵C特征分解后得到的矩阵，C＝B(D²)B^T，BB^T＝E(单位阵)，B的列向量由C的特征向量正交基组成，D的对角线由C的特征值平方根组成，在坐标轴内按比例缩放球形分布。

为第(g+1)代第k个个体。

步骤3-2，均值重组，将带入f，此时，

其中

步骤3-2，步长σ更新。

E(||N(0,I)||是正态分布随机向量范数的期望长度，

步骤3-4，协方差矩阵C更新；

步骤4，特征值分解，并绘制出特征值的斜率变化曲线。

特征值分解具体如下：

C^(g)＝B^(g)((D^(g))²)B^(g)T， 为C的特征值平方，记录下各维特征值每代的值；

步骤5，计算N维特征值斜率曲线彼此间的皮尔逊相关系数。

步骤5具体计算过程如下；

其中，为第i维，第(g+1)代的特征值曲线的斜率，r(k_i,k_j)为第i维和第j维特征值斜率曲线的皮尔逊相关系数。

步骤6，聚类优化；将N维特征值斜率曲线的皮尔逊相关系数看作曲线间的距离，算出距离彼此距离最近的曲线，聚类在一起，将对应维度的优化参数带入目标函数再次带入cmaes优化，如果得到更理想的目标函数值，则结束算法，否则聚类失败。

本发明提出的聚类优化方法，可以应用于Robocup3D足球机器人的行走优化中，优化后，结果如下显示：

设置仿真平台的球场的宽为HALF_FIELDY＝10m，球场的长为HALF_FIELDX＝15m，直线行走时参照图2。设定机器人从HALF_FIELDY走到HALF_FIELDY/2后停止。聚类优化前可以看到机器人行走时间需要46.3s，途中的线是其走过的轨迹，机器人行走过程中有摔倒。优化后机器人行走稳定，没有摔倒，走到目标点时间需要26.1s。然后设置机器人以(HALF_FIELDX/2,0)为圆心，4.5m为半径走一个圆圈，进行优化前后对比，参见图3，可见机器人优化前行走多次摔倒，优化后行走稳定。算法得到了很好的应用。

以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方式为限，但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范围内。

Claims (5)

1.基于协方差矩阵特征值曲线相似度的cmaes聚类优化方法，其特征在于：包括如下步骤：

步骤1，给定目标函数f，设置cmaes的初始参数，如种群λ、父代个数μ、重组权重w_i，阻尼系数d_σ，协方差矩阵C的秩1和秩μ更新学习率c₁、c_μ；

步骤2，初始化问题维度N，给定均值m⁽⁰⁾(维度为N)，步长σ⁽⁰⁾，步长和协方差矩阵分别对应的进化路径C⁽⁰⁾＝I(单位矩阵)；代数g从0开始，为上述值的右上角标，即迭代次数，具体迭代次数视实际需要而定；

步骤3，cmaes循环开始，满足循环的终止条件后停止循环，并进入下一步骤；

步骤4，特征值分解，并绘制出特征值的斜率变化曲线；

步骤5，计算N维特征值斜率曲线彼此间的皮尔逊相关系数；

步骤6，聚类优化；将N维特征值斜率曲线的皮尔逊相关系数看作曲线间的距离，算出距离彼此距离最近的曲线，聚类在一起，将对应维度的优化参数带入目标函数再次带入cmaes优化，如果得到更理想的目标函数值，则结束算法，否则聚类失败。

2.根据权利要求1所述的基于协方差矩阵特征值曲线相似度的cmaes聚类优化方法，其特征在于：所述步骤3中，该cmaes循环的终止条件是满足指定问题精度，或是评价函数值不再变换，或是到达指定的迭代次数，该终止条件由用户自行设定，每次循环后迭代次数g＝g+1。

3.根据权利要求1所述的基于协方差矩阵特征值曲线相似度的cmaes聚类优化方法，其特征在于：所述步骤3中，所述cmases循环包括如下分步骤：

步骤3-1，对多元分布N(0,C^(g))进行采样，生成种群

B、D为协方差矩阵C特征分解后得到的矩阵，C＝B(D²)B^T，BB^T＝E(单位阵)，B的列向量由C的特征向量正交基组成，D的对角线由C的特征值平方根组成，在坐标轴内按比例缩放球形分布；

为第(g+1)代第k个个体；

步骤3-2，均值重组，将带入f，此时，

其中

步骤3-2，步长σ更新；

E(||N(0,I)||是正态分布随机向量范数的期望长度，

步骤3-4，协方差矩阵C更新；

4.根据权利要求1所述的基于协方差矩阵特征值曲线相似度的cmaes聚类优化方法，其特征在于：所述步骤4中，所述特征值分解具体如下：

C^(g)＝B^(g)((D^(g))²)B^(g)T，λ_i ²为C的特征值平方，记录下各维特征值每代的值；

5.根据权利要求1所述的基于协方差矩阵特征值曲线相似度的cmaes聚类优化方法，其特征在于：所述步骤5中，计算N维特征值斜率曲线彼此间的皮尔逊相关系数，具体计算过程如下；

其中，为第i维，第(g+1)代的特征值曲线的斜率，r(k_i,k_j)为第i维和第j维特征值斜率曲线的皮尔逊相关系数。