CN104408294A - 一种基于事件关系网络的事件摘要方法 - Google Patents

Abstract

本发明提供一种基于事件关系网络的事件摘要方法，包括以下步骤：步骤1，选取有序事件序列中任意两个事件类型作为关注事件类型，根据关注事件类型构造一个子事件序列，并构造该子事件序列的到达间隔直方图；步骤2，基于最短描述长度原则编码子事件序列中的片段；步骤3，基于启发式算法对子事件序列中的片段进行划分，计算子事件序列的最短编码长度；步骤4，构造事件关系网络刻画事件模式。本发明提供的方法依据最短描述长度原则对事件到达间隔直方图及其近似直方图进行编码，表达方式直观、易于理解，克服了需要事先确定组数和频数的不足，并能识别不相交的直方图集合。

Description

一种基于事件关系网络的事件摘要方法

技术领域

本发明属于数据挖掘领域，特别是一种基于事件关系网络图的事件摘要方法。

背景技术

事件摘要是数据挖掘领域事件挖掘方向相对新的研究热点之一，可以被视为是频繁项集挖掘和频繁场景挖掘的扩展。频繁模式挖掘技术通过识别离散时间之间的相关性，能揭示一些令人感兴趣的模式，往往可以作为事件摘要的构造块。

许多系统和应用程序会产生大量的时序事件，即关联着时间戳的事件序列，例如：系统日志、HTTP请求序列、数据库请求序列和网络流量数据序列等。这些事件捕获了随着时间变化而不断改变的系统状态和行为，对于历史事件数据的挖掘是理解和优化系统行为的有效方式之一。通过审核挖掘得到的事件模式，系统管理员可以建立事件或事故管理规则以消除或者缓解系统失效风险。目前，这种方式已经成为大规模分布式系统管理的标准方法，被IBM和HP这样的IT公司应用于IT基础设施管理。

现有的大部分事件挖掘研究工作都致力于场景挖掘或频繁模式发现(R.Agrawal and R.Srikant.Mining sequential patterns.In ICDE,1995；S.Laxman andK.P.Unnikrishnan P.S.Sastryand.Discovering frequent episodes and learning hiddenmarkov models:A formal connection.IEEE Transactions on Knowledge and DataEngineering,17:1505-1517,2005；T.Li,F.Liang,S.Ma,and W.Peng.An integratedframework on mining logs files for computing system management.In KDD,2005.)。这些方法简单地产生相互独立的大量模式，而不能提供一种简要的和综合性的事件摘要以揭示数据集所蕴含的系统视图，且这些模式对于系统管理员而言难于获得将它们应用于降低系统运行风险的方法。

最新的事件挖掘研究工作不在聚焦于频繁模式发现，转而关注事件摘要。通常的方法是将事件序列划分为不相交的事件片段，而后为每一个事件片段产生一个事件模式用于描述片段中的事件。Peng提出了一种事件摘要方法，该方法从通过分析事件日志进而度量事件达到获取模式(W.Peng,C.Perng,T.Li,and H.Wang.Event summarization for system management.In KDD,2008.)；Kiernan将事件摘要建模成优化问题，主要目的是平衡摘要的准确性和局部模型的缺陷，为此提出了一种基于分片的事件摘要方法，该方法将事件序列按照事件出现的频率变化划分为若干个事件片段(J.Kiernan and E.Terzi.Constructing comprehensivesummaries of large event sequences.ACM Transactions on Knowledge Discoveryfrom Data,3:1–31,2009)。基于上述工作，Peng进一步地提出了采用隐马尔科夫模型来刻画事件序列片段之间的状态迁移过程，改进基于分片的事件摘要方法(W.Peng,H.Wang,M.Liu,and W.Wang.An algorithmic approach to eventsummarization.In SIGMOD,2010.)。然而，这些方法获得的事件摘要对于数据挖掘领域的外行而言难于理解，无法为系统管理员提供足够的帮助。

本发明中采用直方图的方式描述事件模式，并采用信息论中的位串方式对直方图进行编码。Marsland提出了一种直方图的编码方法(S.Marsland,C.J.Twining,and C.J.Taylor.A minimum description length objective function for group-wisenon-rigid image registration.In Image and Vision Computing,2008)，但该方法仅适用于有固定的组数和固定的频数的直方图，而本发明中用于事件摘要的直方图不能满足上述要求，所以不能应用于本发明。

发明内容

为克服现有技术的不足，本发明中依据最短描述长度原则对事件到达间隔直方图及其近似直方图进行编码，克服了需要事先确定组数和频数的不足，并能识别不相交的直方图集合。进一步地，采用事件网络关系模型这一直观和易于理解的表达方式表示事件模式，能帮助系统管理员掌握系统运行状态及其变化过程。

一种基于事件关系网络的事件摘要方法，包括以下步骤：

步骤1，构造事件到达间隔直方图，过程如下：

给定一个事件序列D，令S是D中最多包含两种不同事件类型e_x和e_y的子序列，且子序列S可以划分为k个不相交的片段，即S＝(S₁,S₂,...,S_p,...,S_k)，1≤p≤k；对于任意的片段S_p，根据片段S_p中事件类型为e_x和e_y的事件到达时间间隔分布情况，构造事件到达间隔直方图，记为h_xy(S_p)；

步骤2，基于最短描述长度原则编码事件片段，过程如下：

给定仅包含事件类型e_x和e_y的子序列S，对于任意的子序列S中事件片段S_p，先编码近似直方图编码长度再编码与h_xy(S_p)的距离，编码长度最后计算事件到达间隔直方图编码长度， $L\left(h_{\mathrm{xy}}\left(S_p\right)\right)=L\left({\stackrel{\‾}{h}}_{\mathrm{xy}}\left(S_p\right)\right)+L\left(h_{\mathrm{xy}}\left(S_p\right)\right|{\stackrel{\‾}{h}}_{\mathrm{xy}}\left(S_p\right));$

步骤3，基于启发式算法的最佳事件片段划分，过程如下：

给定事件序列D中仅包含事件类型e_x和e_y的子序列S，构造子序列S对应的直方图图采用最短路径算法Dijkastra查找直方图图的最短路径，路径上的k个不相交片段即为子序列S^l一个最佳划分使得子序列S^l的编码长度最短，然后按照步骤2计算S的每个划分对应的近似直方图表示事件片段蕴含的事件模式，并将该事件模式添加到事件模式集R；

步骤4，构造事件关系网络刻画事件模式，过程如下：

定义事件关系网络ERN＝(V',E')，其中顶点集V'表示事件模式集R中涉及到的所有事件类型集E'表示事件类型之间的关系；遍历事件模式集R，将每一个事件模式表示成ERN的一条边，并将事件模式的参数作为边的权重；遍历完成后产生完整的事件关系网络。

本发明与现有技术相比具有显著优点：(1)可以捕获同类型事件和两种不同类型事件之间的时序关系；(2)采用最短描述长度原则平衡摘要的准确性和简洁性；(3)以事件关系网络刻画事件序列蕴含的事件模式，使得系统管理员易于理解；

下面结合附图对本发明作进一步详细描述。

附图说明

图1基于事件关系网络的事件摘要方法；

图2事件到达间隔直方图示例；

图3事件片段的编码过程；

图4基于启发式算法的最佳事件片段划分过程。

具体实施方式

结合图1，阐述一种基于事件关系网络的事件摘要方法，包括以下步骤：

步骤1，选取有序事件序列中任意两个事件类型作为关注事件类型，根据关注事件类型构造一个子事件序列，并构造该子事件序列的到达间隔直方图，过程如下：

步骤1.1，给定一个由n个有序事件构成的事件序列D＝(＜t₁,e₁＞,...,＜t_i,e_j＞,..,＜t_n,e_m＞)，其中，＜t_i,e_j＞,1≤i≤n,1≤j≤m表示第i个事件，t_i表示第i个事件发生的时间戳，e_j∈ε＝{e₁,e₂,...,e_m}表示事件类型，ε表示事件类型的集合。

步骤1.2，获取事件序列D中仅包含事件类型e_x和e_y的子事件序列S，1≤x,y≤m。

步骤1.3，将子事件序列S划分为k个不相交的片段S＝(S₁,S₂,...,S_p,...,S_k)。

步骤1.4，记录下列参数：序列S每一个片段S_p中类型为e_x的事件到达的时间戳序列S每一个片段S_p中类型为e_x的事件到达后首次出现类型为e_y的事件的时间戳到达间隔值b_p、非空组bin_p的个数和非空组bin_p频数num_p，如图2所示。

步骤1.5，利用公式①构造片段S_p的事件到达间隔直方图h_xy(S_p)

$h_{\mathrm{xy}}\left(S_p\right)\left[b_p\right]=\left|\right\{{\mathrm{num}}_p|e_j=e_x,\mathrm{next}(t_{i_x},e_y)-t_{i_x}=b_p\}|.$   ①

步骤2，基于最短描述长度原则编码子事件序列中的片段，给定仅包含事件类型e_x和e_y的子序列S，事件摘要问题本质就是查找该事件序列的k个不相交片段的一个最佳划分S＝(S₁,S₂,...,S_p,...,S_k)，并为任意的事件片段S_p构造一个最佳的近似直方图作为S_p的事件到达间隔直方图的近似，从而使得子序列S的编码长度最短，结合图3，具体过程如下：

步骤2.1，编码到达间隔直方图h_xy(S_p)的近似直方图给定S_p及其对应的事件到达间隔直方图h_xy(S_p)，采用表示对h_xy(S_p)的近似，两者具有相同的事件到达频数，但非空组数不同，且的非空组数一般取值为1或2，小于h_xy(S_p)的非空组数；编码任意的事件片段S_p对应的近似直方图需要对描述直方图的三个要素分别进行编码，这三个要素分别是：事件类型，事件片段的边界和非空的组：

步骤2.1.1，对事件片段S_p的事件类型集进行编码，长度为

步骤2.1.2，对事件片段S_p边界进行编码，长度为B_p表示事件片段S_p的边界；

步骤2.1.3，对事件片段S_p所有非空组进行编码，长度为δ表示事件片段S_p中最大的到达间隔；

步骤2.1.4，利用公式②，编码到达间隔直方图h_xy(S_p)的近似直方图

$L\left({\stackrel{\‾}{h}}_{\mathrm{xy}}\left(S_p\right)\right)=L\left(\mathrm{\ϵ}\right)+L\left(B_p\right)+L\left(\mathrm{bins}\right).$   ②

步骤2.2，编码与h_xy(S_p)的距离表示两直方图间的距离定义为需要移动的频数之和：

步骤2.2.1，获取h_xy(S_p)的非空组数设的非空组数为

步骤2.2.2，遍历记录非空组bin'_p，若中不存在到达间隔值b_p的组，则 $L\left(h_{\mathrm{xy}}\left(S_p\right)\right|{\stackrel{\‾}{h}}_{\mathrm{xy}}\left(S_p\right))=L\left(h_{\mathrm{xy}}\left(S_p\right)\right|{\stackrel{\‾}{h}}_{\mathrm{xy}}\left(S_p\right))+{\mathrm{num}}_p;$ 若中存在到达间隔值b_p的组，则 $L\left(h_{\mathrm{xy}}\left(S_p\right)\right|{\stackrel{\‾}{h}}_{\mathrm{xy}}\left(S_p\right))=L\left(h_{\mathrm{xy}}\left(S_p\right)\right|{\stackrel{\‾}{h}}_{\mathrm{xy}}\left(S_p\right))+\left|h_{\mathrm{xy}}\left(S_p\right)\right[b_p]-{\stackrel{\‾}{h}}_{\mathrm{xy}}\left(S_p\right)[b_p\left]\right|.$

步骤2.3，计算事件到达间隔直方图h_xy(S_p)的编码长度， $L\left(h_{\mathrm{xy}}\left(S_p\right)\right)=\arg {\min }_{{\stackrel{\‾}{h}}_{\mathrm{xy}}\left(S_p\right)\∈{\stackrel{\‾}{H}}_{\mathrm{xy}}\left(S_p\right)}(L\left({\stackrel{\‾}{h}}_{\mathrm{xy}}\left(S_p\right)\right)+L\left(h_{\mathrm{xy}}\left(S_p\right)\right|{\stackrel{\‾}{h}}_{\mathrm{xy}}\left(S_p\right))),$ 其中表示事件到达间隔直方图h_xy(S_p)的所有可能的近似直方图的全集，需要从中查找最小的一个作为h_xy(S_p)的近似，计算方法如下：

步骤2.3.1，按照非空组bin_p的频数num_p大小，以降序方式对h_xy(S_p)中的所有非空组进行排序；

步骤2.3.2，初始化topn＝1；

步骤2.3.2，取h_xy(S_p)的前topn个非空组bin_p，采用步骤2.1的方法构造近似直方图，每个非空组bin_p的频数等于得到计算出 $L\left(h_{\mathrm{xy}}\left(S_p\right)\right)=L\left({\stackrel{\‾}{h}}_{\mathrm{xy}}\left(S_p\right)\right)+L\left(h_{\mathrm{xy}}\left(S_p\right)\right|{\stackrel{\‾}{h}}_{\mathrm{xy}}\left(S_p\right));$

步骤2.3.3，取前topn+1个组构造近似直方图，采用与步骤2.3.2相同的方式计算出新的L^new(h_xy(S_p))， $L^{\mathrm{new}}\left(h_{\mathrm{xy}}\left(S_p\right)\right)=L\left({\stackrel{\‾}{h}}_{\mathrm{xy}}^{\mathrm{topn}+1}\left(S_p\right)\right)+L\left(h_{\mathrm{xy}}\left(S_p\right)\right|{\stackrel{\‾}{h}}_{\mathrm{xy}}\left(S_p\right)),$ 若L^new(h_xy(S_p))大于步骤2.3.2中的L(h_xy(S_p))，则满足最短编码长度原则的近似直方图计算结束；否则，topn＝topn+1，跳转到步骤2.3.2，直到

步骤3，基于启发式算法的最佳事件片段划分，给定事件序列D中仅包含事件类型e_x和e_y的事件子序列S^l，事件摘要问题本质就是查找该事件序列的k个不相交片段的一个最佳划分从而使事件子序列S^l的编码长度最短，即 $L\left(S^l\right)=\arg {\min }_{\{S_1^l,S_2^l,..,S_p^l,...,S_k^l\}}\underset{p}{\overset{k}{\mathrm{\Σ}}}L\left(h\left(S_i^l\right)\right),$ 步骤如下：

步骤3.1，获取事件序列D中仅包含一种事件类型的m个子序列，其中m为事件类型的总个数，m＝|ε|；获取事件序列D中包含两种事件类型的m²-m个子序列，将m²个子序列构成集合SubD；对于任意一个子序列S^l,l∈[1,m²]中的事件片段S^l∈SubD，采用五元组刻画事件片段中蕴含的事件模式，其中和分别表示该模式所刻画的事件序列的开始时间戳和结束时间戳，e_x和e_y是事件模式关注的事件类型，wp是一个周期性参数，表示事件类型为e_x和e_y的事件到达间隔长度。若e_x＝e_y，则该事件模式为周期性模式，采用事件到达间隔直方图的近似表示周期性模式；否则为相关性模式，采用事件到达间隔直方图的近似表示相关性模式；

步骤3.2，初始化事件序列D蕴含的事件模式集

步骤3.3，构造子序列S^l对应的有向直方图图其中V^l是顶点集，E^l是边集；顶点集的大小其中是子序列中事件类型e_x和e_y的事件之间的到达间隔的总个数；采用事件类型为e_x的事件在子序列S的位置信息作为顶点名，用于区分不同顶点。对于任意的两个顶点和 若以顶点为起点，以顶点为终点构成事件片段按照公式②计算事件片段的事件到达间隔直方图的编码长度作为这条边的权值，添加一条边到边集E^l；

步骤3.4，采用最短路径算法Dijkastra查找直方图图上从第一顶点到第顶点的所有路径中的最短路径 1＜v₁＜v_w＜v_z＜C_xy，子序列的最佳事件片段划分为S^l＝{＜v₁,v₂＞,＜v₂,v₃＞,...,＜v_w,v_(w+1)＞,....,＜v_z,C_xy＞}，简记为其中k＝|S^l|；

步骤3.5，按照步骤2.3计算任意的子序列S^l的每个划分对应的近似直方图表示事件片段蕴含的事件模式，并将该事件模式添加到事件模式集R；

步骤3.6，SubD＝SubD-{S^l}，若SubD≠φ，转到步骤3.3，对任意的新子序列进行步骤3.3至步骤3.5的计算过程；否则结束步骤3。

步骤4，构造事件关系网络刻画事件模式，事件关系网络是一种基于图的模型，是能准确地并以易于理解的方式表达事件模式的有效方法，具体步骤为：

步骤4.1，定义事件关系网络可为ERN＝(V',E')，其中顶点集V'表示事件模式集R中涉及到的所有事件类型集E'表示事件类型之间的关系，对于任意的两个顶点e_x'∈V'和e_y'∈V'，边其中w表示边的权值；具体的构造过程如下：

步骤4.1，定义事件关系网络可为ERN＝(V',E')，其中顶点集V'表示事件模式集R中涉及到的所有事件类型集E'表示事件类型之间的关系，对于任意的两个顶点e_x'∈V'和e_y'∈V'，边其中w表示边的权值；

步骤4.2，识别事件模式集R中涉及到的所有事件类型集ε'，使得V'＝ε'；

步骤4.3，遍历事件模式集R，对于任意的事件模式ep∈R，若ep仅包含事件类型e_x∈V'，则ep是周期性模式，添加边到边集E'，其中ep.wp表示事件模式ep中事件重复出现的周期值；若ep包含事件类型e_x,e_y∈V'，且e_x≠e_y，则ep是相关性模式，添加边到边集E'，其中ep.wp表示事件模式ep中事件类型为e_x的事件出现后事件类型为e_y的事件的到达间隔；

步骤4.4 R＝R-{ep}，若则结束，否则跳转到步骤4.3。

Claims (8)

1.一种基于事件关系网络的事件摘要方法，其特征在于，包括以下步骤： 

步骤1，选取有序事件序列中任意两个事件类型作为关注事件类型，根据关注事件类型构造一个子事件序列，并构造该子事件序列的到达间隔直方图； 

步骤2，基于最短描述长度原则编码子事件序列中的片段； 

步骤3，基于启发式算法对子事件序列中的片段进行划分，计算子事件序列的最短编码长度； 

步骤4，构造事件关系网络刻画事件模式。 

2.根据权利要求1所述的基于事件关系网络的事件摘要方法，其特征在于，步骤1的直方图具体构造过程如下： 

步骤1.1，给定一个由n个有序事件构成的事件序列D＝(＜t₁,e₁＞,...,＜t_i,e_j＞,..,＜t_n,e_m＞)，其中，＜t_i,e_j＞,1≤i≤n,1≤j≤m表示第i个事件，t_i表示第i个事件发生的时间戳，e_j∈ε＝{e₁,e₂,...,e_m}表示事件类型，ε表示事件类型的集合； 

步骤1.2，获取事件序列D中仅包含事件类型e_x和e_y的子事件序列S，1≤x,y≤m； 

步骤1.3，将子事件序列S划分为k个不相交的片段S＝(S₁,S₂,...,S_p,...,S_k)； 

步骤1.4，记录下列参数：序列S每一个片段S_p中类型为e_x的事件到达的时间戳序列S每一个片段S_p中类型为e_x的事件到达后首次出现类型为e_y的事件的时间戳到达间隔值b_p、非空组bin_p的个数和非空组bin_p频数num_p； 

步骤1.5，利用公式①构造片段S_p的事件到达间隔直方图h_xy(S_p) 

    ① 。

3.根据权利要求1所述的基于事件关系网络的事件摘要方法，其特征在于，步骤2的具体过程为： 

步骤2.1，编码到达间隔直方图h_xy(S_p)的近似直方图

步骤2.2，编码与h_xy(S_p)的距离

步骤2.3，计算事件到达间隔直方图h_xy(S_p)的编码长度。 

4.根据权利要求3所述的基于事件关系网络的事件摘要方法，其特征在于，步骤2.1的具体方法为： 

步骤2.1.1，对事件片段S_p的事件类型集进行编码，长度为

步骤2.1.2，对事件片段S_p边界进行编码，长度为B_p表示事件片段S_p的边界； 

步骤2.1.3，对事件片段S_p所有非空组进行编码，长度为 δ表示事件片段S_p中最大的到达间隔； 

步骤2.1.4，利用公式②，编码到达间隔直方图h_xy(S_p)的近似直方图

    ② 。

5.根据权利要求4所述的基于事件关系网络的事件摘要方法，其特征在于，步骤2.2的具体方法为： 

步骤2.2.1，获取h_xy(S_p)的非空组数设的非空组数为

步骤2.2.2，遍历记录非空组bin'_p，若中不存在到达间隔值b_p的组，则若中存在到达间隔值b_p的组，则

6.根据权利要求5所述的基于事件关系网络的事件摘要方法，其特征在于，步骤2.3的具体方法为： 

步骤2.3.1，按照非空组bin_p的频数num_p大小，以降序方式对h_xy(S_p)中的所有非空组进行排序； 

步骤2.3.2，初始化topn＝1； 

步骤2.3.3，取h_xy(S_p)的前topn个非空组bin_p，采用步骤2.1的方法构造h_xy(S_p)的前topn个非空组bin_p的近似直方图和计算 

步骤2.3.4，取前topn+1个非空组构造近似直方图，采用与步骤2.3.3相同的方式计算出新的L^new(h_xy(S_p))，若L^new(h_xy(S_p))大于L(h_xy(S_p))，则L^new(h_xy(S_p))为事件到达间隔直方图h_xy(S_p)的编码长度，计算结束；否则，topn＝topn+1，跳转到步骤2.3.2，直到。

7.根据权利要求1所述的基于事件关系网络的事件摘要方法，其特征在于，步骤3的具体步骤为： 

步骤3.1，获取事件序列D中仅包含一种事件类型的m个子序列，其中m为事件类型的总个数；获取事件序列D中包含两种事件类型的m²-m个子序列，将m²个子序列构成集合SubD；对于任意一个子序列S^l,l∈[1,m²]中的事件片段S^l∈SubD，采用五元组刻画事件片段中蕴含的事件模式，其中和 分别表示该模式所刻画的事件序列的开始时间戳和结束时间戳，wp表示事件类型为e_x和e_y的事件到达间隔长度； 

步骤3.2，初始化事件序列D蕴含的事件模式集

步骤3.3，构造子序列S^l对应的有向直方图图其中V^l是顶点集，E^l是边集；顶点集的大小其中是子序列中事件类型e_x和e_y的事件之间的到达间隔的总个数；对于任意的两个顶点和 以顶点 为起点，以顶点为终点构成事件片段按照公式②计算事件片段的事件到达间隔直方图的编码长度作为这条边的权值，添加一条边 到边集E^l； 

步骤3.4，采用最短路径算法Dijkastra查找直方图图上从第一顶点到第 顶点的所有路径中的最短路径 则子序列的最佳事件片段划分为S^l＝{＜v₁,v₂＞,＜v₂,v₃＞,...,＜v_w,v_(w+1)＞,....,＜v_z,C_xy＞}； 

步骤3.5，按照步骤2.3计算任意的子序列S^l的每个划分对应的近似直方图表示事件片段蕴含的事件模式，并将该事件模式添加到事件模式集R； 

步骤3.6，SubD＝SubD-{S^l}，若转到步骤3.3，对任意的新子序列进行步骤3.3至步骤3.5的计算过程；否则结束步骤3。 

8.根据权利要求1所述的基于事件关系网络的事件摘要方法，其特征在于，步骤4的具体步骤为： 

步骤4.1，定义事件关系网络可为ERN＝(V',E')，其中顶点集V'表示事件模式集R中涉及到的所有事件类型集E'表示事件类型之间的关系，对于任意的两个顶点e_x'∈V'和e_y'∈V'，边其中w表示边的权值； 

步骤4.2，识别事件模式集R中涉及到的所有事件类型集ε'，使得V'＝ε'； 

步骤4.3，遍历事件模式集R，对于任意的事件模式ep∈R，若ep仅包含事件类型e_x∈V'，则ep是周期性模式，添加边到边集E'，其中ep.wp表示事件模式ep中事件重复出现的周期值；若ep包含事件类型e_x,e_y∈V'，且e_x≠e_y，则ep是相关性模式，添加边到边集E'，其中ep.wp表示事件模式ep中事件类型为e_x的事件出现后事件类型为e_y的事件的到达间隔； 

步骤4.4R＝R-{ep}，若则结束，否则跳转到步骤4.3。