CN116401561B - 一种设备级运行状态序列的时间关联聚类方法 - Google Patents

Abstract

本申请涉及一种基于局部时域特征的设备级运行状态序列的时间关联聚类方法，包括对数据中心时间序列进行在线分割；分别计算设备性能时间子序列的标准差以及关联积分函数统计量；计算最优的嵌入滞时和嵌入维数；计算第i台交换机重构后三种性能序列的相空间；在重构多维性能序列对应的相空间中采用时滞法进行时间尺度上的演化；以每种性能时间序列分割后的子序列的最大Lyapunov系数作为描述不同时间演化规律的局部时域特征；计算三维性能最大Lyapunov系数空间坐标之间的距离；输出聚类集合。本申请有助于分析数据中心同质网络设备群内各器件在时间尺度上的运行状态相似性，进而为数据中心实时业务自由调度、潜在故障预测、突发故障溯源等业务的实现奠定基础。

Description

一种设备级运行状态序列的时间关联聚类方法

技术领域

本申请涉及数据挖掘领域，具体涉及一种基于局部时域特征的设备级多维运行状态序列的时间关联聚类方法。

背景技术

随着新型电力系统向高度数字化、智能化、智慧化的深入推进，亟需一个更加高效、智能的数据中心网络设备管理系统，以此来实现精准实时的信息交互监测的和高度自由的业务调度。面向电力信息系统监控的海量性能数据，需要及时发现系统中可能存在的非线性变换，即突发性的、大幅偏离预期值的无序状态变化，因此我们期望设计一种基于时间演化特征的聚类方式，以此来发现不同时间尺度上同质设备多维性能状态序列的潜在相似性，从而为系统调度、维护、管理等提供智能化的决策方案，为数据中心实时业务自由调度、潜在故障预测、突发故障溯源等业务的实现奠定基础。

考虑到传统的聚类算法不适应于多维度的时变状态序列，并且现在大部分对于多变量时间序列的聚类方法仍旧停留在对于序列本身形状特征、结构特征等呈现一定规律的、可预测的特征来进行建模，忽略了可能存在的时域混沌现象，即整个网络系统可能存在突发性的、非线性的、大幅偏移预测结果的无序现象。

发明内容

本申请实施例的目的在于提供一种基于局部时域特征的设备级多维运行状态序列的时间关联聚类方法，有效规避了突发值可能会对聚类结果产生较大影响这一弊端，有助于时间维度设备运行规律的挖掘。

为实现上述目的，本申请提供如下技术方案：

本申请实施例提供一种基于局部时域特征的设备级运行状态序列的时间关联聚类方法，包括以下具体步骤：

步骤1：对数据中心同一机房内的所有三层交换机的CPU利用率、内存利用率、Ping时延的时间序列进行在线分割，分割方法按照最大似然方法对相邻时间间隔上的序列进行分割合并，使得分割后的相邻时间上的子序列相似度较低；

步骤2：分别计算第i台设备性能时间子序列的标准差以及关联积分函数统计量

步骤3：根据关联积分函数法计算最优的嵌入滞时τ_i和嵌入维数m＝(m₁,m₂,m₃)；

步骤4：根据嵌入滞时和嵌入维数，计算第i台交换机重构后三种性能序列的相空间

步骤5：在重构多维性能序列对应的相空间中采用时滞法进行时间尺度上的演化，通过不断计算演化后数据点与其邻近点间距离 k表示滞后了k＝{k₁,k₂,k₃}个时间单元，/>表示对于第i台三层交换机取同一时间段内的CPU利用率曲线进行分割后的第t个子段的第i₁个嵌入维数；

步骤6：对于每个k₁,k₂,k₃，计算所有关于 的均值y(k₁),y(k₂),y(k₃)；并且对y(k₁),y(k₂),y(k₃)进行最小二乘回归，求出其斜率/>即为第p子段的最大Lyapunov系数；完成了对所有三层交换机，在一段时间内的CPU利用率、内存利用率、Ping时延三种性能维数的时间演化特征提取，以每种性能时间序列分割后的子序列的最大Lyapunov系数作为描述不同时间演化规律的局部时域特征；

步骤7：计算任意两台三层交换机之间的三维性能最大Lyapunov系数空间坐标之间的距离；以此作为同质设备间的关联系数。

步骤8：采用手肘法确定最优的簇数K，而后依据KMedoids算法的聚类原理，对步骤7中所提到的关联系数进行聚类，选取中位数作为簇中心，依据最小准则函数来确定簇中心的更新与否，直至停止迭代，输出聚类集合。

所述步骤1中的实时分割算法步骤如下：为多元时间序列数据建立似然函数模型，将每一时间段内数据的经验均值和经验协方差代入似然函数模型，使得似然函数只与分割点的位置有关；使用模拟退火算法迭代求解当前最优分割点的位置使得似然函数最大；计算相邻两段数据的差距，若满足合并条件，则将两段数据合并，并根据现存分段数计算分割点数，若两个差值不满足均小于设定阈值的条件，则继续往下运行；合并条件为均值和协方差的差值均小于预先设定的阈值:

其中||μ⁽ⁱ⁾-μ⁽ⁱ⁺¹⁾||₂为相邻两段数据的均值向量差值的二范数，||∑⁽ⁱ⁾-∑⁽ⁱ⁺¹⁾||_F为相邻两段数据的协方差矩阵差值的F范数，μ_thre为均值向量差值阈值，Σ_thre为协方差矩阵差值阈值，通过所述两项指标与设定阈值的比较衡量时间相邻两段数据的相似程度。

步骤3应用了关联积分法计算嵌入滞时τ_i和嵌入维数m＝(m₁,m₂,m₃)，并且应用这两个参数对多维性能指标进行相空间的重构，令此时对应的最小的t即为嵌入滞时τ_i；令/>求出此时极小值对应的t即为滞时窗宽τ_W；根据下式计算嵌入维数m＝(m₁,m₂,m₃)：

式中的int为取整函数。

步骤7中通过下式计算任意两台三层交换机不同子段之间的三维性能最大Lyapunov系数空间坐标之间的距离；以此作为同质设备间的关联系数，

式中i_k表示第i个设备的第k个子段，j_l表示第j个设备的第l个子段，

代表CPU利用率第i个设备的第k个子段的最大Lyapunov系数，代表内存利用率第i个设备的第k个子段的最大Lyapunov系数，/>代表Ping时延第i个设备的第k个子段的最大Lyapunov系数，以此来作为该子段的时变演化特征。

与现有技术相比，本发明的有益效果是：

通过建立似然函数模型，并且利用数据的经验均值和经验协方差作为相似性度量，使得算法可以实现具有相邻时间关联性的多个序列的合并，以此来实现在线多维状态序列的分割，这种方式有助于我们后续对于多维时间序列局部特征的进一步研究。

通过对分割后多维性能子序列的时间演变特征的提取，实现数据中心同质设备在时间维度上的聚类。这种聚类不拘泥于传统序列的形态特征、结构特征等线性特征，而是通过应用混沌理论中的非线性动力学方法，以每一段序列的最大Lyapunov指数作为时间演变特性进行分析，有助于应对实时运行状态可能出现突然偏离预期的无序变化的情形。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本申请实施例方法的流程图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

下面结合图1，本发明的具体实施方式为一种基于局部时域特征的设备级多维运行状态序列的时间关联聚类方法，包括以下具体步骤：

步骤1：对数据中心同一机房内的所有三层交换机的CPU利用率、内存利用率、Ping时延的时间序列进行在线分割，分割方法按照最大似然方法对相邻时间间隔上的序列进行分割合并，使得分割后的相邻时间上的子序列相似度较低。

实时分割算法步骤如下：为多元时间序列数据建立似然函数模型，将每一时间段内数据的经验均值和经验协方差代入似然函数模型，使得似然函数只与分割点的位置有关；使用模拟退火算法迭代求解当前最优分割点的位置使得似然函数最大；计算相邻两段数据的差距，若满足合并条件，则将两段数据合并，并根据现存分段数计算分割点数，若两个差值不满足均小于设定阈值的条件，则继续往下运行；合并条件为均值和协方差的差值均小于预先设定的阈值:

其中||μ⁽ⁱ⁾-μ⁽ⁱ⁺¹⁾||₂为相邻两段数据的均值向量差值的二范数，||Σ⁽ⁱ⁾-Σ⁽ⁱ⁺¹⁾||_F为相邻两段数据的协方差矩阵差值的F范数，通过所述两项指标与设定阈值的比较衡量时间相邻两段数据的相似程度。

步骤2：分别计算第i台设备性能时间子序列的标准差如下式：

分别计算第i台设备性能时间子序列的关联积分函数统计量 S_cor(t)。

上式中

ΔS(m,t)＝max{S(m,r_j,t)}-min{S(m,r_j,t)}

嵌入时间序列的关联积分函数如下：

式中d_ij＝||x(t_i)-x(t_j)||,r为半径，若x<0,θ(x)＝0，反之，θ(x)＝1。步骤3：根据关联积分函数法计算最优的嵌入滞时τ_i和嵌入维数m＝(m₁,m₂,m₃)。

应用关联积分法计算嵌入滞时τ_i和嵌入维数m＝(m₁,m₂,m₃)。并且应用这两个参数对多维性能指标进行相空间的重构。令此时对应的最小的t即为嵌入滞时τ_i；令求出此时极小值对应的t即为滞时窗宽τ_W；根据下式计算嵌入维数m＝(m₁,m₂,m₃)：

式中的int为取整函数。

步骤4：根据嵌入滞时和嵌入维数，计算第i台交换机重构后三种性能序列的相空间CPUseg(t_{reset_cpu},i),MUseg(t_{reset_mu},i),Delayseg(t_{reset_delay},i)。

对多维性能指标进行相空间的重构。过程如下：设第i台三层交换机混沌的三维性能时间序列分别为

以CPU利用率时变序列为例，设其对应的嵌入滞时为τ₁，嵌入维数为m₁，则对应的第p个CPU利用率时变子序列的重构相空间如下表示：

reset_cpu_p＝(m₁-1)τ₁+1,…,seg_num

其余的内存利用率、Ping时延时变状态序列也按照上述的方式重构相空间为CPUseg(t_{reset_cpu},i),MUseg(t_{reset_mu},i),Delayseg(t_{reset_delay},i)。

步骤5：在重构多维性能序列对应的相空间中采用时滞法进行时间尺度上的演化，通过不断计算演化后数据点与其邻近点间距离 k表示滞后了k＝{k₁,k₂,k₃}个时间单元，/>表示对于第i台三层交换机取同一时间段内的CPU利用率曲线进行分割后的第t个子段的第i₁个嵌入维数。

采用时滞法进行时间演化特征的提取，并利用小数据量法来计算多维性能时变序列的最大Lyapunov指数。下面以CPU利用率时变序列为例，进行说明。首先利用下式计算第p个时变子序列演化后数据点与最邻近点间距离

对相空间内的每个点计算滞时一定时间之后距离/>k₁表示滞后了k₁个时间单元，如下式：

步骤6：对于每个k₁,k₂,k₃，计算所有关于 的的平均值y(k₁),y(k₂),y(k₃)；并且对y(k₁),y(k₂),y(k₃)进行最小二乘回归，求出其斜率/>即为第p子段的最大Lyapunov系数。至此，我们完成了对所有三层交换机，在一段时间内的CPU利用率、内存利用率、Ping时延等三种性能维数的时间演化特征提取，以每种性能时间序列分割后的子序列的最大Lyapunov系数作为描述不同时间演化规律的局部时域特征。

对于每个k₁,k₂,k₃，计算所有关于的的平均值y(k₁),y(k₂),y(k₃)，如下式：

式中q是非零的数目。

根据下式用最小二乘回归法，求y(k₁)其斜率进而得到该子段的最大Lyapunov指数/>

式中n_p表示第p子段对应的k₁的数目。

步骤7：计算任意两台三层交换机之间的的三维性能最大Lyapunov指数空间坐标之间的距离；以此作为同质设备间的关联系数。

通过下式计算任意两台三层交换机不同子段之间的的三维性能最大Lyapunov指数空间坐标之间的距离；以此作为同质设备间的关联系数。

式中i_k表示第i个设备的第k个子段，j_l表示第j个设备的第l个子段。代表该子段的最大Lyapunov指数，以此来作为该子段的时变演化特征。

步骤8：采用手肘法确定最优的簇数K，而后依据KMedoids算法的聚类原理，对步骤7中所提到的关联系数进行聚类，选取中位数作为簇中心，依据最小准则函数来确定簇中心的更新与否，直至停止迭代，输出聚类集合。

利用手肘法确定最优的簇数K的过程如下：让K从1开始取值直到取到W我们认为合适的上限(这里我们选取上限为10)，对每一个K值进行聚类并且记下每个K值对应的SSE，直至满足为止，选取肘部对应的K作为最佳聚类数。SSE的公式如下：

其中，C_i是第i个簇，p是C_i中的样本点，m_i是C_i的质心，SSE是所有样本的聚类误差，代表了聚类效果的好坏。

在D(i_k,j_l)中选取K个位于数据中位medoids的数作为簇心；根据下式计算每个数据点到第k个质心的距离：

按照与medoids最近的原则，将其余成员分配到当前最佳的medoids代表的类中，即若|ρ-ρ’|<ζ，将该数据点分簇到该质心内，更新下一个数据点到质心的距离为ρ’

在每一类中，计算每个成员点对应的准则函数，选取准则函数最小时对应的点作为新的medoids。准则函数如下式：

E＝∑_ρ∈kρ，即当前簇中所有其他点到质心的距离之和。

重复上述过程，直到所有的medoids点不再发生变化，即没有新的质心产生，之后停止迭代，并输出当前聚类集。

相较于现有技术，本发明提出一种基于局部时域特征的设备级多维运行状态序列的时间关联聚类方法。通过将混沌理论中的非线性动力学方法应用于数据中心同一机房内的三层交换机的时间关联聚类，可以有效地解决设备在CPU利用率、内存利用率、Ping时延等实时运行状态可能出现突然偏离预期的无序变化的情形。基于多维性能的最大Lyapunov系数，计算其三维性能Lyapunov指数空间坐标距离。最后，以此距离作为聚类的特征，应用K-medoids算法进行不同设备对应多维度时间子序列的聚类，有助于分析数据中心同质网络设备群内各器件在时间尺度上的运行状态相似性，进而为数据中心实时业务自由调度、潜在故障预测、突发故障溯源等业务的实现奠定基础。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (3)

1.一种设备级运行状态序列的时间关联聚类方法，其特征在于，包括以下具体步骤：

步骤1：对数据中心同一机房内的所有三层交换机的CPU利用率、内存利用率、Ping时延的时间序列进行在线分割，分割方法按照最大似然方法对相邻时间间隔上的序列进行分割合并，使得分割后的相邻时间上的子序列相似度较低；

步骤2：分别计算第i台设备性能时间子序列的标准差以及关联积分函数统计量S_cor(t)；

步骤3：根据关联积分函数法计算最优的嵌入滞时τ_i和嵌入维数m＝(m₁,m₂,m₃)；

步骤4：根据嵌入滞时和嵌入维数，计算第i台交换机重构后三种性能序列的相空间

步骤5：在重构多维性能序列对应的相空间中采用时滞法进行时间尺度上的演化，通过不断计算演化后数据点与其邻近点间距离 k表示滞后了k＝{k₁,k₂,k₃}个时间单元，/>表示对于第i台三层交换机取同一时间段内的CPU利用率曲线进行分割后的第t个子段的第i₁个嵌入维数；

步骤6：对于每个k₁,k₂,k₃，计算所有关于 的均值y(k₁),y(k₂),y(k₃)；并且对y(k₁),y(k₂),y(k₃)进行最小二乘回归，求出其斜率/>即为第p子段的最大Lyapunov系数；完成了对所有三层交换机，在一段时间内的CPU利用率、内存利用率、Ping时延三种性能维数的时间演化特征提取，以每种性能时间序列分割后的子序列的最大Lyapunov系数作为描述不同时间演化规律的局部时域特征；

步骤7：计算任意两台三层交换机之间的三维性能最大Lyapunov系数空间坐标之间的距离；以此作为同质设备间的关联系数；

步骤8：采用手肘法确定最优的簇数K，而后依据KMedoids算法的聚类原理，对步骤7中所提到的关联系数进行聚类，选取中位数作为簇中心，依据最小准则函数来确定簇中心的更新与否，直至停止迭代，输出聚类集合；

所述步骤1中的实时分割算法步骤如下：为多元时间序列数据建立似然函数模型，将每一时间段内数据的经验均值和经验协方差代入似然函数模型，使得似然函数只与分割点的位置有关；使用模拟退火算法迭代求解当前最优分割点的位置使得似然函数最大；计算相邻两段数据的差距，若满足合并条件，则将两段数据合并，并根据现存分段数计算分割点数，若两个差值不满足均小于设定阈值的条件，则继续往下运行；合并条件为均值和协方差的差值均小于预先设定的阈值:

其中||μ⁽ⁱ⁾-μ⁽ⁱ⁺¹⁾||₂为相邻两段数据的均值向量差值的二范数，||Σ⁽ⁱ⁾-Σ⁽ⁱ⁺¹⁾||_F为相邻两段数据的协方差矩阵差值的F范数，μ_thre为均值向量差值阈值，Σ_thre为协方差矩阵差值阈值，通过两项指标与设定阈值的比较衡量时间相邻两段数据的相似程度。

2.根据权利要求1所述的一种设备级运行状态序列的时间关联聚类方法，其特征在于，步骤3应用了关联积分法计算嵌入滞时τ_i和嵌入维数m＝(m₁,m₂,m₃)，并且应用这两个参数对多维性能指标进行相空间的重构，令此时对应的最小的t即为嵌入滞时τ_i；令求出此时极小值对应的t即为滞时窗宽τ_W；根据下式计算嵌入维数m＝(m₁,m₂,m₃)：

式中的int为取整函数。

3.根据权利要求1所述的一种设备级运行状态序列的时间关联聚类方法，其特征在于，步骤7中通过下式计算任意两台三层交换机不同子段之间的三维性能最大Lyapunov系数空间坐标之间的距离；以此作为同质设备间的关联系数，

式中i_k表示第i个设备的第k个子段，j_l表示第j个设备的第l个子段，代表CPU利用率第i个设备的第k个子段的最大Lyapunov系数，/>代表内存利用率第i个设备的第k个子段的最大Lyapunov系数，/>代表Ping时延第i个设备的第k个子段的最大Lyapunov系数，以此来作为该子段的时变演化特征。