CN107133142B - 一种基于关联分析的监控数据智能采样方法 - Google Patents

Abstract

本发明公开了一种基于关联分析的监控数据智能采样方法，包括四个关键步骤：时序数据编码、关联关系挖掘、计算状态转移矩阵、状态预测。本发明方法可以根据对未来主机资源利用率的预测，动态地调整监控周期，达到在资源利用率变化平稳时减小采样频率，在资源利用率变化剧烈时增大采样频率以节约计算及存储资源的目的。与现有技术相比，本发明方法可以在机器平稳运行，增大监控周期，减小采样率；机器运行出现波动时，需要减小监控周期，增大采样率；这样获得的更多是有意义的监控数据，有效地减少无用数据的采集，防止浪费大部分计算资源在无用数据的采集和计算等处理上，提高效率，并在减少无用数据采集的同时，保持高准确率。

Description

一种基于关联分析的监控数据智能采样方法

技术领域

本发明属于智能采样技术领域，具体涉及一种基于关联分析的监控数据智能采样方法。

背景技术

随着云计算和移动互联网的进一步普及和深入应用，各类网络应用和服务正在各行各业中扮演着更为重要的角色。有些网络服务对于负载的波动有着敏感的变化，合理设计的采样率算法可以保障宿主机中网络等资源利用的低开销，同时使得监控系统后端的计算资源尤其是存储资源的压力减小，以及对于关键信息不丢失，因此是系统性能优化方向的一个关键的问题，其效率的好坏直接影响着系统优化的效率。目前采样的方式大致分为三类，即固定周期采样、可变周期采样和动态周期采样。

固定周期采样最好理解，即采样的频率是一个固定的周期，一般写在配置文件中。传统的Nagios和Ganglia以及Google Dapper就是如此。这类采样率策略优点就是实现简单，易于操作，但是如果需要修改监控周期，往往需要更改配置文件后重启系统。

可变周期采样在固定周期采样的基础上实现了系统采样周期的热更新，即修改采样周期可以在系统运行时进行热更新，而不需要重启系统，往往通过向系统发送外部命令的方式实现。优点自然是可以在系统运行时修改采样周期，缺点是采样周期的设置和修改往往需要系统管理员判断，准确率和效率都不高。

动态周期采样相比于可变周期采样再次发展而来，使得系统自身根据监控对象的运行状态自动调整采样周期，达到解决系统计算及存储资源的目的。而动态调整采样周期的算法往往基于预测，在系统运行状态平稳时，增大采样周期，减小采样率；系统运行波动时，减小采样周期，增大采样率。从而实现采集更多的有效数据，摒弃更多的无用数据的目的。

在对大规模分布式集群的性能监控中，考虑到节约计算及存储资源的目的，往往只获取监控对象的部分而非全部数据，相邻采样点的时间间隔便是监控周期，一般是通过静态或动态设定监控周期进行采样。在动态采样过程中，准确率与效率是一个相互制约的因素，通常提高准确度的同时意味着效率的下降。极端的情况便是全采样的方法，因为未作筛选所以无用数据的占比是很客观的，效率很低。

一般情况下，减小监控周期、增加采样的频率可以提高采样的准确度，但会降低采样的效率，增加无用数据的采样比率。因此在动态采样中，需要根据一定的策略在合适的时机调整监控周期，避免盲目采样。

发明内容

鉴于上述情况，本发明提出了一种基于关联分析的监控数据智能采样方法，能够在性能监控过程中动态调整监控周期。

一种基于关联分析的监控数据智能采样方法，包括如下步骤：

(1)对节点的监控数据进行归一化，并对归一化后的监控数据进行波动率标记，得到节点的波动率字符流；

(2)对同一数据中心内任一对节点组合的波动率字符流进行错位拟合标记，得到该对节点组合的错位拟合码；

(3)统计所述错位拟合码中每一模式的支持度，取支持度大于设定阈值的模式作为频繁模式，进而利用Apriori算法计算每一频繁模式的置信度；所述模式为错位拟合码中两个及两个以上连续的编码；

(4)根据步骤(2)和(3)遍历所有节点组合；对于任一节点，根据其波动率字符流并综合马尔科夫链和频繁模式置信度，预测其下一时刻的波动状态，进而动态调整该节点的监控采样周期。

所述步骤(1)中根据以下关系式对归一化后的监控数据进行波动率标记：

其中：V_i和V_i-1分别为归一化后监控数据中当前时刻和前一时刻的采样值，S_i为归一化后监控数据中当前时刻采样点的波动率字符，Threshold为设定的阈值，R、L、F对应表示高、中、低三种波动状态。

所述步骤(2)中的错位拟合标记方法为：使两个节点的波动率字符流错开一位形成对应关系，对于前后两个单独错位的波动率字符标记为X，对于中间两两对应的波动率字符根据以下标准进行标记，从而得到错位拟合码；

波动率字符R与R，则标记为0；波动率字符R与L，则标记为1；

波动率字符R与F，则标记为2；波动率字符L与R，则标记为3；

波动率字符L与L，则标记为4；波动率字符L与F，则标记为5；

波动率字符F与R，则标记为6；波动率字符F与L，则标记为7；

波动率字符F与F，则标记为8。

所述步骤(3)中模式的支持度为该模式在错位拟合码中的出现次数占错位拟合码总编码数量的比值。

所述步骤(4)中预测节点下一时刻的波动状态，具体过程如下：

4.1根据该节点最近三个时刻的波动率字符标记，建立这三个时刻的波动状态概率向量，进而根据以下公式计算下一时刻的波动状态概率向量：

其中：P(S_i)～P(S_i-2)分别为该节点对应i时刻、i-1时刻、i-2时刻的波动状态概率向量，i表示当前时刻，P(S_i+1)为该节点下一时刻的波动状态概率向量，Q为马尔科夫链状态转移矩阵(其与历史时间长度相关)；

4.2统计与该节点相关的所有频繁模式，提取这些频繁模式中对应该节点的波动率字符串；

4.3使该节点波动率字符流中的末尾字符串与步骤4.2提取得到的波动率字符串逐一进行匹配：若查找到相匹配的波动率字符串，则执行步骤4.4；若未找到相匹配的波动率字符串，则使波动状态概率向量P(S_i+1)中最大概率值所对应的波动状态作为该节点下一时刻的波动状态；

4.4使波动状态概率向量P(S_i+1)中的最大概率值与相匹配的波动率字符串所在频繁模式的置信度进行比较：若最大概率值大，则使该最大概率值所对应的波动状态作为该节点下一时刻的波动状态；若置信度大，则使该相匹配的波动率字符串中最末位字符所对应的波动状态作为该节点下一时刻的波动状态。

与现有技术相比，本发明方法可以在机器平稳运行，增大监控周期，减小采样率；机器运行出现波动时，需要减小监控周期，增大采样率；这样获得的更多是有意义的监控数据，有效地减少无用数据的采集，防止浪费大部分计算资源在无用数据的采集和计算等处理上，提高效率，并在减少无用数据采集的同时，保持高准确率。

本发明方法可以根据对未来主机资源利用率的预测，动态地调整监控周期，达到在资源利用率变化平稳时减小采样频率，在资源利用率变化剧烈时增大采样频率以节约计算及存储资源的目的。

附图说明

图1为本发明方法的步骤流程示意图。

图2为本发明中关联关系挖掘的流程示意图。

图3为马尔科夫链结合关联关系的决策流程示意图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

如图1所示，本发明基于关联分析的监控数据智能采样方法包括如下步骤：

(1)时序数据编码。

时序数据编码是将连续的、原始的数据经过指定规则的编码后可以由Apriori算法挖掘的字符流结构，具体如图2所示。

1.1数据归一化：利用如下公式对数据进行正规化，保留数据的相对大小及趋势，去除数据绝对大小对算法的影响。

其中：V_min为V的最小值，V_max为V的最大值，计算后RV_i的范围为[0,1]；这样做的主要原因是数据的相对大小是关键数据，而具体大小不需关心。

1.2粒度选择：对于数据点V_i，S_i为其符号表示，通过计算V_i相对于V_i-1的变化率并设置Threshold，将V_i作三值映射。

1.3错位拟合：对于数据流A，B，Ternary函数将符号R、L、F映射成三进制数值0、1、2，R(A～B)表示A对B错位拟合后的数据流，Decimal(X)表示数值X的十进制表示。

R_i(A～B)＝Decimal(Ternary_i(S_i(A_i))+Ternary_i(S_i+i(B_i+i)))

(2)关联规则挖掘。

错位拟合后得到的是由{0,1,…,8}组成的无规则字符串。设置支持度阈值为Threshold_support置信度阈值为Threshold_confidence，L_k表示由k个长度的频繁模式组成的集合。

2.1连接步：为找出L_k，通过将L_k-1与自身连接(自连接和右连接)产生候选k项集的集合C_k，L_k中元素采用时间顺序关系。对于(k-1)项集l_i，这意味着把项排序，使得l_i[1]＜l_i[2]＜…＜l_i[k-1]；执行连接操作其中L_k-1的元素是可连接的，如果它们前(k-2)个项相同，即L_k-1的元素l₁和l₂是可连接的，如果(l₁[1]＝l₂[1])∧(l₁[2]＝l₂[2])∧...∧(l₁[k-1]＝l₂[k-1])。

2.2剪枝步：C_k是L_k的超集，C_k的成员可以是频繁的也可以不是频繁的，但所有的频繁k项都包含在C_k中。根据任何非频繁的(k-1)项集都不是频繁k项集的子集。如果一个候选k项集的(k-1)项子集不在L_k-1中，则该候选也不可能是频繁的，从而可以从C_k中删除。

(3)计算状态转移矩阵。

状态矩阵表示任意两个状态之间转移的概率，p_ij表示第i个状态转移到第j个状态的概率。

3.1历史统计：通过对历史数据抽样统计得到状态转移矩阵。

3.2状态转移：采用1×n行向量I表示第i个状态，行向量的第i列为1，其余列为0；下一个状态为具有最大概率的转移状态。

k＝Max{I·P_k|1≤k≤n}

(4)状态预测。

4.1均值马尔科夫链预测：采用过去三个状态来预测下一个状态。

4.2关联关系预测：假设时序数据流A，B存在频繁模式(置信度为confidence)那么：

P(S_B＝S′|S_A＝S)＝confidence

4.3联合概率公式：如图3所示，对于选择具有更大概率的决策结果来作为最终输出。

其中：P(S_i)为下一时刻波动率标记的概率向量，Q为马尔科夫链状态转移矩阵。

综合了马尔科夫链和关联关系的预测结果进行下一个状态的判断，选取概率高的状态作为输出，并根据判断的状态来动态的调整监控周期。

上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims (4)

1.一种基于关联分析的监控数据智能采样方法，包括如下步骤：

(1)对节点的监控数据进行归一化，并对归一化后的监控数据进行波动率标记，得到节点的波动率字符流；

(2)对同一数据中心内任一对节点组合的波动率字符流进行错位拟合标记，得到该对节点组合的错位拟合码；

(3)统计所述错位拟合码中每一模式的支持度，取支持度大于设定阈值的模式作为频繁模式，进而利用Apriori算法计算每一频繁模式的置信度；所述模式为错位拟合码中两个及两个以上连续的编码；

(4)根据步骤(2)和(3)遍历所有节点组合；对于任一节点，根据其波动率字符流并综合马尔科夫链和频繁模式置信度，通过以下步骤预测其下一时刻的波动状态，进而动态调整该节点的监控采样周期；

4.1 根据该节点最近三个时刻的波动率字符标记，建立这三个时刻的波动状态概率向量，进而根据以下公式计算下一时刻的波动状态概率向量：

其中：P(S_i)～P(S_i-2)分别为该节点对应i时刻、i-1时刻、i-2时刻的波动状态概率向量，i表示当前时刻，P(S_i+1)为该节点下一时刻的波动状态概率向量，Q为马尔科夫链状态转移矩阵；

4.2 统计与该节点相关的所有频繁模式，提取这些频繁模式中对应该节点的波动率字符串；

4.3 使该节点波动率字符流中的末尾字符串与步骤4.2提取得到的波动率字符串逐一进行匹配：若查找到相匹配的波动率字符串，则执行步骤4.4；若未找到相匹配的波动率字符串，则使波动状态概率向量P(S_i+1)中最大概率值所对应的波动状态作为该节点下一时刻的波动状态；

4.4 使波动状态概率向量P(S_i+1)中的最大概率值与相匹配的波动率字符串所在频繁模式的置信度进行比较：若最大概率值大，则使该最大概率值所对应的波动状态作为该节点下一时刻的波动状态；若置信度大，则使该相匹配的波动率字符串中最末位字符所对应的波动状态作为该节点下一时刻的波动状态。

2.根据权利要求1所述的监控数据智能采样方法，其特征在于：所述步骤(1)中根据以下关系式对归一化后的监控数据进行波动率标记：

其中：V_i和V_i-1分别为归一化后监控数据中当前时刻和前一时刻的采样值，S_i为归一化后监控数据中当前时刻采样点的波动率字符，Threshold为设定的阈值，R、L、F对应表示高、中、低三种波动状态。

3.根据权利要求2所述的监控数据智能采样方法，其特征在于：所述步骤(2)中的错位拟合标记方法为：使两个节点的波动率字符流错开一位形成对应关系，对于前后两个单独错位的波动率字符标记为X，对于中间两两对应的波动率字符根据以下标准进行标记，从而得到错位拟合码；

波动率字符R与R，则标记为0；波动率字符R与L，则标记为1；

波动率字符R与F，则标记为2；波动率字符L与R，则标记为3；

波动率字符L与L，则标记为4；波动率字符L与F，则标记为5；

波动率字符F与R，则标记为6；波动率字符F与L，则标记为7；

波动率字符F与F，则标记为8。

4.根据权利要求1所述的监控数据智能采样方法，其特征在于：所述步骤(3)中模式的支持度为该模式在错位拟合码中的出现次数占错位拟合码总编码数量的比值。