CN102521347A - 基于优先级的模式匹配中间结果管理方法 - Google Patents

Abstract

本发明公开了一种基于优先级的模式匹配中间结果管理方法，通过给时间窗口内的每个中间结果赋予一个优先级权重，在中间结果缓冲区将满时，把优先级低的中间结果存储到外存以保证事件检测的完整性，将优先级高的中间结果保留在内存，使事件检测能以更大的概率搜索到对应的模式匹配中间结果，在高效利用资源的同时达到较小的复杂事件响应时间。

Description

基于优先级的模式匹配中间结果管理方法

技术领域

本发明属于数据管理技术领域，尤其涉及在数据流上进行复杂事件检测的模式匹配中间结果管理方法。

背景技术

复杂事件检测(CEP，Complex Event Processing)作为一种实时的数据分析技术，已得到广泛的应用。CEP应用中，用户通过滑动窗口(Sliding Window，SW)定义感兴趣的复杂事件模式的有效区间。当用户定义的窗口很大(如几天，几个月)且数据流的流速较快时(每秒到达处理引擎的数据量达到万条/秒)，复杂事件检测系统中将存在很多未超出时间窗口的部门模式匹配结果(中间结果)。由于这些部分匹配结果常驻内存，占用了大量的系统资源，对复杂事件检测的响应时间也造成了巨大影响，如何在系统资源有限情况下，有效地管理大滑动窗口内的大量模式匹配中间结果是CEP的重要问题。

SASE(Wu E.，Diao Y.，Rizvi S.：High-performance complex event processing overstreams.In：Surajit Chaudhuri，Vagelis Hristidis，Neoklis Polyzotis(Eds.)：Proceedings ofthe ACM SIGMOD International Conference on Management of Data，Chicago，Illinois，USA：ACM，2006，407-418.)是一个在RFID数据流上进行复杂事件处理的事件处理系统。在SASE中，复杂事件被解析为一个自动机模型，复杂事件的每个事件类型对应于自动机上的一个状态，每个状态使用实例堆栈(instance stack)存储满足定义的原始事件。当数据流中存在大量的原始事件满足模式的定义时，SASE需要建立多个实例堆栈，存储这些实例的部分匹配结果，在模式匹配结束或滑动窗口向前滑动时，这些在内存中的部分事件匹配结果都需要进行垃圾回收(garbage collection)。SASE没有考虑在内存中大滑动窗口内的模式匹配的部分结果的管理问题，即当复杂事件匹配的中间状态并未过期但部分匹配缓冲区已满(系统资源有限)时，怎样将这些中间结果进行归档到外存，以减轻系统的负载的问题。

文献(Balazinska M.，Kwon Y.，Kuchta N.，Lee D.：Moirae：History-enhancedmonitoring.In：Third Biennial Conference on Innovative Data Systems Research，Asilomar，CA，USA：Online Proceedings，www.crdrdb.org，2007，375-386.)在一个名为Moirae的连续处理引擎(CME，Continuous Monitoring Engine)中集成了实时数据流和历史数据流查询功能。在Moirae中，中间流(intermediate streams)的归档只有在用户定义之后才进行，导致Moirae中的历史数据的利用率很低因为基于大量的历史流加载、计算以构建过去的复杂事件导致了大量的系统负载。Moirae中，查询的结果是增量式产生的，用户可以根据查询的结果进行反馈以便精炼(refine)或取消某个查询。由于Moirae是一个针对流数据查询的CME，也没有考虑如何对大量的查询的中间结果进行物化(materialize)或归档等问题。

Dejavu(Dindar N.，

B.，Lau P.，Ozal A.，Soner M.，Tatbul N.：Dejavu：declarativepattern matching over live and archived streams of events.In：Ugur Cetintemel，Stanley B.Zdonik，Donald Kossmann，Nesime Tatbul：Proceedings of the ACM SIGMODInternational Conference on Management of Data，Providence，Rhode Island，USA：ACM，2009，1023-1026.)在My SQL的架构上实现了实时-归档数据流上的复杂事件处理功能。Dejavu中原始数据流通过Router分发到不同的自动机(NFA，Nondeterministic FiniteAutomata)进行实时的事件检测。由于实时流上的事件可能同时激发多个NFA的运行实例，且当这些NFA的实例达到终态的时候，归档流的请求和事件检测就被激发。为了减少归档数据流的重复计算，Dejavu采用将历史结果(historical results)进行缓存的策略来减轻系统进行归档流重复加载和计算的负载。Dejavu假设连续模式(如股票流上的tick模式“√”)的历史结果在被检测出来后就不需要进行更新，这对检测离散模式(如RFID数据流上的序列复杂事件)时是不可行的，由于离散复杂事件的子事件(sub-events)可能存在于实时事件流和历史数据流的任意位置，而缺少有效的中间结果管理导致复杂事件处理引擎可能频繁地请求历史数据进行事件检测，增加了系统的IO操作和计算负载。

发明内容

本发明针对现有复杂事件检测技术缺少有效模式匹配中间结果管理的不足，提供一种使用优先级对模式匹配中间结果管理方法，该方法通过给时间窗口内的每个中间结果赋予一个优先级权重，在中间结果缓冲区将满时，把优先级低的中间结果存储到外存以保证事件检测的完整性，将优先级高的中间结果保留在内存，使事件检测能以更大的概率搜索到对应的模式匹配中间结果，在高效利用资源的同时达到较小的复杂事件响应时间。

对于给定的复杂事件模式E、事件流S、流S中的事件e由属性(EID，OID，t，<attr_list>)构成的记录，其中EID是事件类型的标识，OID是事件本身的标识，t为事件发生的时间，<attr_list>是事件的其他属性的列表，复杂事件检测的有效范围为S上的滑动窗口W，用于在内存中存放E的中间结果PM_E的缓存区MaxBuffer。假设E中的两个相邻事件E_i和E_i+1的发生满足一定分布，即事件E_i发生后事件E_i+1的发生满足一定的概率分布P。复杂事件E的中间结果定义为PM_E能够进行复杂事件模式匹配，但还没达到输出状态的子串(substring)的集合。随着复杂事件检测的推进，MaxBuffer内的PM_E将逐渐增多以至于可能溢出中间结果最大缓存区MaxBuffer，为了保证复杂事件检测的完整性、减轻系统负载和减少复杂事件检测的响应时间，本发明所采用的基于优先级的中间结果管理方法包括以下步骤：

1.初始化模式匹配每个事件类型对应的实例堆栈空间，给中间结果缓冲MaxBuffer分配内存空间，并将实例堆栈和缓冲区设置为空；给优先级树T分配空间，并置为空；

2.从滑动窗口W内按时间顺序读取一个事件e_i，并进行如下条件的判断：(1)如在缓冲区MaxBuffer中不存在与e_i标识相同的中间结果，说明该事件为复杂事件的第一个子事件，则用e_i建立一个中间结果PM_Ei并存储于MaxBuffer中；(2)如在缓冲区MaxBuffer中存在与e_i标识相同的中间结果PM_Ei，则将e_i的类型信息添加到中间结果PM_Ei的状态列表中，如果状态列表的状态数目达到模式E中定义的事件类型个数n，则输出事件，删除对应的中间结果，如果状态列表的状态数目未达到n，说明需要重新计算该中间结果的优先级，通过优先级计算公式：W(e_i)＝t.e_i+(t.E_i+1-t.E_i)*P(E_i，E_i+1)，其中P(E_i，E_i+1)是一个随机变量，表示事件发生在E_i和E_i+1两个地方的概率，计算e_i的优先级，将W(e_i)插入到优先级树T上。

3.如果在缓冲区MaxBuffer中不存在与e_i标识相同的中间结果PM_Ei，但外存中存在e_i对应的中间结果PM_Ei：

如果MaxBuffer中的中间结果需要进行归档操作，则先将用户定义的归档区间长为R的MaxBuffer中的中间结果进行归档，在MaxBuffer中预留出从数据库需要加载的中间结果的空间；

将e_i对应的中间结果PM_Ei从数据库或文件系统中加载到MaxBuffer，并与e_i进行模式匹配，将e_i的状态信息更新到中间结果PM_Ei，判断是否达到输出状态，如达到输出状态，则输出事件，否则通过优先级计算公式：W(e_i)＝t.e_i+(t.E_i+1-t.E_i)*P(E_i，E_i+1)计算优e_i的先级并将W(e_i)插入到优先级树T上；

4.如果在缓冲区MaxBuffer与外存中都不存在e_i对应的中间结果PM_Ei：(1)如果e_i是待检测复杂事件的第一个类型的事件，则在中间结果集中新建一个PM_Ei，将e_i的信息记录到PM_Ei中，计算e_i的优先级，并将W(e_i)插入到优先级树T上；(2)否则，可判断不存在与e_i匹配的复杂事件，删除e_i；

5.进行下一个原始事件的中间结果的处理，直到当前滑动窗口内的原始事件都被处理完毕。

本发明的有益效果是：本发明全面地考虑了巨大滑动窗口上复杂事件处理存在的存储大量模式匹配中间结果于内存中带来的系统负载问题，提出了一种计算与维护代价很小的基于优先级的中间结果归档和加载的算法，使得在系统负载较大时将中间结果缓冲区中优先级较小的部分匹配结果交换于外存，同时保证后续的复杂事件模式匹配能以最大的概率命中其对应的部分匹配结果，减少从外存加载中间结果的I/O操作和复杂事件检测的平均响应时间。

下面结合附图和实施例对本发明进一步说明。

附图说明

图1为基于NFA的模式匹配示意图，模式匹配的中间结果被置于对应的活动堆栈中，不同类型的事件通过前向指针关联；

图2为优先级树和中间结果缓冲区示意图；

图3为基于优先级的中间结果管理方法流程图；

图4为基于优先级树的中间结果归档流程图。

具体实施方式

1.与本发明有关的概念。

复杂事件检测的事件对象包括简单事件(atomic event，原子事件)和复杂事件(complex event)。简单事件是不可再分割的事件，事件发生在某一个具体的时刻，可以用一个元组表示(EID，OID，t，<attr_list>)，其中EID是事件类型的标识，OID是事件本身的标识，t为事件发生的时间，<attr_list>是事件的其他属性的列表。复杂事件是通过将简单事件用事件算子(AND，OR，NOT，SEQ等)关联起来的事件。复杂事件往往发生在一个时间区间上。

对于一个复杂事件模式

(其中

为事件算子，E_i为E的第i个类型的子事件，1≤i≤n)，

1≤i≤j叫做E的中间匹配结果。直观上，复杂事件E为一个字符串，而PM_Ei是E的子串(substring)。

一个复杂事件E的响应时间(Response Time，RT)定义为：

$\mathrm{RT}=T_{\mathrm{OutputE}}-T_{E_n\mathrm{of\; E}}$

其中，

为一个复杂事件E的最后一个子事件出现的时间，T_Output E为检测到E的时间，即复杂事件的响应时间为最后一个子事件出现的时间到复杂事件输出的时间差。

复杂事件检测的平均响应时间：假设滑动窗口W内存在N个模式为E的复杂事件，则复杂事件检测的平均响应时间为：

$\mathrm{AvgRT}=\frac{\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{RT}}_i}{N}$

其中RT_i为检测第i个复杂事件实例的响应时间，由于本发明考虑模式匹配的中间结果可能不存在中间结果缓冲区中的情况，所以复杂事件检测的响应事件还包括从外存查询加载对应的中间结果的时间，由于外存的访问速度很慢，为了减少复杂事件检测的平均响应时间，本发明考虑模式匹配中间结果的时空关系，通过一个辅助的优先级树来对中间结果进行排序，将优先级高的中间结果置于内存，提高复杂事件检测的在内存中的命中率，减少外存中间结果的访问的I/O操作，从而减小复杂事件检测的平均响应时间。

中间结果优先级：对于一个给定的模式

一个类型E_i的事件e_i对应的优先级定义为：

W(e_i)＝t.e_i+(t.E_i+1-t.E_i)*P(E_i，E_i+1)

其中t.e_i为事件e_i的发生的时间，t.E_i+1-t.E_i为两个相邻的事件类型的简单事件间的时间差，P(E_i，E_i+1)为事件类型E_i与E_i+1之间的发生概率，本发明假设这个概率满足正态分布即：

$f(E_i,E_{i+1})=f\left(t\right)=\frac{1}{\sqrt{2\mathrm{\&pi;\&sigma;}}}{e}^{-\frac{{(t-\mathrm{\&mu;})}^2}{2{\mathrm{\&sigma;}}^2}}$

2.与本发明有关的一些性质。

性质1.对于一个给定的模式

和中间结果最大缓存区MaxBuffer：如n越小，E_i与E_j之间的时间跨度越小，则复杂事件检测的平均响应时间越小；如n越大，E_i与E_j之间的时间跨度越大，复杂事件检测的平均响应时间越大。

性质1表明，对于长度较小的模式，如果两个事件类型之间的时间跨度也较小，即使该模式的中间结果的优先级较低，但在中间结果缓冲区未满的情况下，它们成功进行模式匹配的概率比长度较大且事件类型间跨度大的模式更高，即它们的平均响应时间较小。而对于较长的模式，由于滑动窗口较大，且随着复杂事件检测的推进，它们对应的在中间结果缓冲区的优先级降低，且被交换于外存的概率增大，在后续的模式匹配过程中需要将外存的中间结果加载到内存进行状态更新，所以它们的平均响应时间较大。性质1的意义在于，对于相同优先级的中间结果，可以选择模式长度短，且当前中间结果和下个事件类型的时间跨度小的中间结果置于内存。

性质2.假设对于模式 $E_1=(E_A\&CirclePlus;E_B\&CirclePlus;E_C\&CirclePlus;E_D)$ 和 $E_2=(E_A\&CirclePlus;E_B\&CirclePlus;E_F\&CirclePlus;E_G),$ 当一个E_B类型事件e_i与一个E_A类型事件进行匹配后，e_i的优先级为：

W(e_i)＝t.e_i+Max(P(E_B，E_C)*(t.E_C-t.E_B)，P(E_B，E_F)*(t.E_F-t.E_B))

例如：假设对于两个序列复杂事件E₁＝SEQ(A；B；C；D)，E₂＝SEQ(A；B；F；G)，对于一个B类型的事件b_i，在完成与A类型的事件匹配后，产生中间结果SEQ(A；B)，需计算它的优先级，由于与b_i关联的事件类型分别为C和F，为了使得中间结果SEQ(A；B)不被较早地归档到外存，选择P(E_B，E_C)*(t.e_i+1-t.e_i)和P(E_B，E_F)*(t.e_i+1-t.e_i)中最大的作为SEQ(A；B)的优先级并插入到优先级树上。性质2表明对于多个具有公共子串的模式的中间结果，取这些子串的最大的优先级可以使模式匹配的中间结果最大程度地得到利用(不会被频繁地换入换出缓冲区)。

假设复杂事件检测查询一个序列模式E，数据流S，时间窗口W，中间结果缓冲区MaxBuffer，优先级函数W，中间结果归档区间R，本发明所采用的基于优先级的复杂事件中间结果管理具体流程包括如下步骤：

1.在内存中建立模式匹配堆栈、中间结果缓冲区MaxBuffer，建立优先级树T，并都置为空。

参照图1，在初始化模式匹配堆栈空间前，需要将复杂事件模式定义解析为相应的自动机，自动机的状态对应为模式定义中的事件类型，每个状态分配一个活动堆栈，用以存放满足约束的此类型事件。模式匹配过程中，中间结果实时地生成并被置于缓冲区MaxBuffer中，MaxBuffer为一个按中间结果时间顺序排列的Hash链表(Time，OID，EID_List，Attri_List)。优先级树T为一颗B+树，树的键值为事件的优先级、事件标识和事件类型标识的元组(W，OID，EID)。中间结果缓冲区和优先级树如图2所示。

2.从W中读取一个原始事件e_i，如在缓冲区MaxBuffer中存在e_i对应的中间结果PM_Ei：将e_i与PM_Ei进行模式匹配，把e_i的状态信息插入PM_Ei，如达到输出状态，则输出复杂事件，删除对应的中间结果；如没达到输出状态，则通过优先级计算公式：W(e_i)＝t.e_i+(t.e_i+1-t.e_i)*P(E_i，E_i+1)计算e_i的优先级，将(W(e_i)，e_i.OID)插入到优先级树T上。

3.如在缓冲区MaxBuffer中不存在e_i的中间结果PM_Ei，根据MaxBuffer的状态进行如下操作：(1)如MaxBuffer已达到归档上限，先将优先级树上长为R的中间结果进行归档，归档操作是一个迭代的过程，如图4所示；(2)如MaxBuffer未达到归档上限，则将e_i对应的中间结果PM_Ei从外存加载进MaxBuffer，与e_i进行模式匹配，并将e_i的状态插入PM_Ei，然后计算e_i的优先级W(e_i)＝t.e_i+(t.e_i+1-t.e_i)*P(E_i，E_i+1)，将W(e_i)插入到优先级树T上。

参照图3、4，中间结果管理包括中间结果优先级的计算、优先级树的更新及中间结果的归档。中间结果的归档通过优先级树操作辅助完成，如图4所示：对于优先级树上的记录(W，OID，EID)，通过OID可以找到对应的中间结果，通过EID可以确认当前的优先级记录是否为该中间结果的最新优先级(即EID是否为中间结果的最新状态)，如不是，则不能进行归档，将这条优先级记录从树上删除；否则将该优先级记录对应的中间结果归档到外存同时删除树上的记录。优先级树的维护代价低体现在：(1)优先级树使用(W，OID，EID)作为键值，与存储等量的具有多个属性的原始事件相比，占用的内存空间很小；(2)事件的优先级计算是数值运算，比模式匹配的字符串比较更为简单；(3)优先级树的插入和删除耗费的时间代价是对数级的。

4.如果在缓冲区MaxBuffer与外存中都不存在e_i对应的中间结果PM_Ei：(1)如果e_i是待检测复杂事件的第一个类型的事件，则在中间结果集中新建一个PM_Ei，将e_i的信息记录到PM_Ei中，计算e_i的优先级，并将W(e_i)插入到优先级树T上；(2)否则，可判断不存在与e_i匹配的复杂事件，删除e_i；

5.进行下一个事件的处理。

Claims (1)

1.一种基于优先级的模式匹配中间结果管理方法，其特征在于包括下述步骤：

1)初始化模式匹配每个事件类型对应的实例堆栈空间，给中间结果缓冲MaxBuffer分配内存空间，并将实例堆栈和缓冲区设置为空；给优先级树T分配空间，并置为空；

2)从滑动窗口W内按时间顺序读取一个事件e_i，并进行如下条件的判断：(1)如在缓冲区MaxBuffer中不存在与e_i标识相同的中间结果，则用e_i建立一个中间结果PM_Ei并存储于MaxBuffer中；(2)如在缓冲区MaxBuffer中存在与e_i标识相同的中间结果PM_Ei，则将e_i的类型信息添加到中间结果PM_Ei的状态列表中，如果状态列表的状态数目达到模式E中定义的事件类型个数n，则输出事件，删除对应的中间结果，如果状态列表的状态数目未达到n，计算e_i的优先级W(e_i)＝t.e_i+(t.E_i+1-t.E_i)*P(E_i，E_i+1)，其中P(E_i，E_i+1)是一个随机变量，表示事件发生在E_i和E_i+1两个地方的概率，将W(e_i)插入到优先级树T上；

3)如果在缓冲区MaxBuffer中不存在与e_i标识相同的中间结果PM_Ei，但外存中存在e_i对应的中间结果PM_Ei：如果MaxBuffer中的中间结果需要进行归档操作，则先将用户定义的归档区间长为R的MaxBuffer中的中间结果进行归档，在MaxBuffer中预留出从数据库需要加载的中间结果的空间；将e_i对应的中间结果PM_Ei从数据库或文件系统中加载到MaxBuffer，并与e_i进行模式匹配，将e_i的状态信息更新到中间结果PM_Ei，判断是否达到输出状态，如达到输出状态，则输出事件，否则计算e_i的优先级W(e_i)＝t.e_i+(t.E_i+1-t.E_i)*P(E_i，E_i+1)并将W(e_i)插入到优先级树T上；

4)如果在缓冲区MaxBuffer与外存中都不存在e_i对应的中间结果PM_Ei：(1)如果e_i是待检测复杂事件的第一个类型的事件，则在中间结果集中新建一个PM_Ei，将e_i的信息记录到PM_Ei中，计算e_i的优先级，并将W(e_i)插入到优先级树T上；(2)否则，可判断不存在与e_i匹配的复杂事件，删除e_i；

5)进行下一个原始事件的中间结果的处理，直到当前滑动窗口内的原始事件都被处理完毕。

Images