CN103345480A - 一种基于规则合并的数据流预测方法 - Google Patents

Abstract

本发明提出的一种基于规则合并的数据流预测方法，基于区间最小发生的数据流预测过程分为匹配和预测两个阶段，在匹配阶段通过情节规则的合并与重组，以及非确定自动机的引入，可有效降低匹配复杂度；在预测阶段，通过引入区间最小发生的概念，将最小发生与发生区间关联，并采用概率叠加的方法，预测未来情节在区间内的发生概率。本发明对含有相同的事件类型的情节规则进行合并与重组，有效降低了匹配的复杂度，将最小发生与发生区间关联，避免了最近最小非重叠发生的不精确以及最小发生的“过匹配”问题，采用概率叠加的方法，提高了预测未来情节的准确性。

Description

一种基于规则合并的数据流预测方法

技术领域

本发明属于数据挖掘技术中的数据流预测方法，涉及一种对情节数据流上进行的情节预测方法，具体涉及一种基于规则合并的数据流预测方法。

背景技术

历史流数据中蕴含着大量的信息，研究历史流数据的潜在规律并应用这些规律对未来流数据作为预测，能够为许多现实应用提供重要的决策支持，然而由于数据流具有高速、无界、连续、时变的特点，对数据流预测带来了时间复杂性、实时性、自适应性等要求。

例如情节规则γ=(<AAB>,<CD>,260,80%)是基于某图书馆Web服务器上一个历史文档阅读规则，其中<AAB>和<CD>分别是情节规则的前件情节和后件情节；260和80%分别是情节规则的支持度和置信度。当前该Web服务器的文档阅读流为DS＝＜(A,1),(A,2),(A,3),(B,4),(A,5),(B,6),(A,7),(B,8),(C,9),...＞，需要基于情节规则的匹配来预测读者未来的阅读序列。

针对这些要求，Laxman等人首先提出了基于事件序列上频繁情节构造的生成模型来预测数据流的方法。Cho等人提出了ToFel算法，但时间、空间代价都很大。为此，Cho等人又提出了一种采用后向检索规则前件策略的数据流预测算法CBS-Tree。为了提高算法CBS-Tree和ToFel的预测性能，Cho等人提出了CBS-Tree的改进算法；然后，引入了一个优化技术来避免不必要的队列维护，提出了改进算法DeMO。朱辉生等人提出了一种数据流预测算法Predictor，为每个待匹配的一般形式的情节规则分别使用了一个自动机，通过单遍扫描数据流来同时跟踪这些自动机的状态变迁，以搜索每个规则前件最近的最小且非重叠发生。这样不仅将无界的数据流映射到有限的状态空间，而且避免了对情节规则的过于匹配。另外算法预测的结果是未来多个情节的发生区间和发生概率。

上述最小发生的定义要么过紧要么过松，不能准确体现情节规则的匹配与预测，更不能很好的评判预测精度。另外，没有考虑情节规则间的关联关系，尤其是前（后）件间的重叠关系，增加了待匹配项，降低了匹配效率；没有考虑情节匹配流程之间的合并，增加了匹配流程，也降低了匹配效率。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于规则合并的数据流预测方法，提供基于规则合并的数据流预测方法，预测未来情节在区间内的发生概率。

技术方案

一种基于规则合并的数据流预测方法，其特征在于步骤如下：

步骤1、基于非确定自动机的规则合并重组：对一个含有五元组(l,r,s,c,w)的情节规则γ进行合并与重组，其中l,r,s,c,w分别称为γ的前件、后件、支持度、置信度和宽口宽度；

步骤2、搜索规则前件的区间最小发生：

步骤1）根据截止时刻减去给定的区间大小得到预测区间；

步骤2）比较状态j与规则重度r.rep的大小，如果j≤r.rep，则搜索下一个窗口，j+1；

步骤3）比较状态j与情节规则γ的前件大小|γ.l|，如果相等，则令情节规则γ的前件在数据流上出现一次最小发生的起始时间等于记录γ[1]在数据流上出现时间的循环队列的起始时间γ.ts＝γ.tq[1]；令在数据流上出现一次最小发生的终止时间等于状态i发生时间γ.te＝t_i；γ.l与γ.r串接后的情节中各事件类型的序号等于状态j,γ.ind＝j；

步骤4）继续寻找情节规则γ的下一状态，找到所有的前件状态为止；

步骤3、根据规则前件，预测未来情节的后件发生：采用概率叠加的方法，预测未来情节在多个区间内的发生概率，具体的步骤为：

步骤1）根据滑动窗口的大小找出所有区间最小发生的规则前件；

步骤2）对于每一个区间最小发生的规则前件，在规定窗口大小下，找到其对应的后件发生区间；

步骤3）在这些后件发生区间内，根据概率叠加发生，对每一个窗口下出现规则后件求其发生概率期望：

其中n_i表示窗口大小减去第i个区间最小发生的大小，m表示所有的区间最小发生的个数；

步骤4）比较截止时间以后最大的E_j所对应的窗口即为发生情节规则γ的最大概率窗口。

有益效果

本发明提出的一种基于规则合并的数据流预测方法，对含有相同的事件类型的情节规则进行合并与重组，有效降低了匹配的复杂度，将最小发生与发生区间关联，避免了最近最小非重叠发生的不精确以及最小发生的“过匹配”问题，采用概率叠加的方法，提高了预测未来情节的准确性。

附图说明

图1为基于规则合并的数据流预测方法流程图

图2为前件区间最小发生流程图

图3为采用概率叠加预测未来情节发生概率流程图

图4为DS上的数据流

图5为非确定自动机

具体实施方式

现结合实施例、附图对本发明作进一步描述：

本发明采用的技术方案为基于规则合并的数据流预测方法。基于区间最小发生的数据流预测过程分为匹配和预测两个阶段，在匹配阶段通过情节规则的合并与重组，以及非确定自动机的引入，可有效降低匹配复杂度；在预测阶段，通过引入区间最小发生的概念，将最小发生与发生区间关联，并采用概率叠加的方法，预测未来情节在区间内的发生概率。

如图1所示，基于规则合并的数据流预测方法具体的步骤为：

步骤一：基于非确定自动机的规则合并重组

一个情节规则γ是一个五元组(l,r,s,c,w)，其中l,r,s,c,w分别称为γ的前件、后件、支持度、置信度和宽口宽度。由于情节规则的前件不是单映射情节，即有可能含有相同的事件类型，即情节规则预测具有不确定性，我们需要对这些情节规则进行合并与重组。

步骤二：搜索规则前件的区间最小发生

如图2所示，寻找前件区间最小发生算法如下：

1）寻找预测区间，由截止时刻减去给定的区间大小便是预测区间；

2）比较状态j与规则重度r.rep的大小，如果j≤r.rep，则搜索下一个窗口，j+1；

3）比较状态j与情节规则γ的前件大小|γ.l|，如果相等，则令情节规则γ的前件在数据流上出现一次最小发生的起始时间等于记录γ[1]在数据流上出现时间的循环队列的起始时间γ.ts＝γ.tq[1]；令在数据流上出现一次最小发生的终止时间等于状态i发生时间γ.te＝t_i；γ.l与γ.r串接后的情节中各事件类型的序号等于状态j,γ.ind＝j；

4）寻找情节规则γ的下一状态，直到找到所有的前件状态。

步骤三：根据规则前件，预测未来情节的后件发生

根据步骤一和步骤二，通过单遍扫描数据流来跟踪这些自动机的状态变迁，同时根据滑动窗口的大小，以搜索每个规则前件的区间最小发生，根据这些规则前件，采用概率叠加的方法，预测未来情节在多个区间内的发生概率。

如图3所示，具体的算法步骤为：

1）根据滑动窗口的大小找出所有区间最小发生的规则前件；

2）对于每一个区间最小发生的规则前件，在规定窗口大小下，找到其对应的后件发生区间；

3）在这些后件发生区间内，根据概率叠加发生，对每一个窗口下出现规则后件求其发生概率期望：

其中n_i表示窗口大小减去第i个区间最小发生的大小，m表示所有的区间最小发生的个数；

4）比较截止时间以后最大的E_j所对应的窗口即为发生情节规则γ的最大概率窗口。

具体实施例如下：

事件序列ES：由若干时间按发生时间先后排序的序列，表示为

ES＝＜(E₁,t₁),(E₂,t₂),…,(E_S,t_S)＞,其中t_i＜t_j(1≤i≤j≤s)。

情节α：由若干事件类型组成的序列，表示为α=＜E₁E₂…E_k＞，其中对于所有的i和j(1≤i＜j≤k)满足E_i总是排列在E_j之前。

支持度：情节α在事件序列ES上所有最小且非重叠发生组成的最大集合的基数称为α的支持度，记为α.sup。

频繁情节：给定支持度阈值min_sup，若情节α的支持度大于等于min_sup，则α是一个频繁情节。若情节α是频繁的，且α的任何一个真超情节的支持度均不等于α的支持度，则α是一个频繁闭情节。

串接：给定情节α＝＜E₁E₂…E_m＞和β=＜E′₁-E′₂…E′_k＞，则＜E₁E₂…E_mE′₁E′₂…E′_k＞称α和β的串接，记为concat(α,β)。

投影：设

j是β在α中首次出现的结束为止，则从α中删除第1至第j个事件类型后剩余的情节称为β在α上的投影，记为project(α,β)。

非可导生成子：对于频繁闭情节α，对于每个

的界限ul_x(α)。当|α\x|是奇数的时候，ul_x(α)为α.sup的上限，表示为ux(α)，ux(α)的最小值成为α.sup的最小上限，表示为mu(α)；当|α\x|是偶数的时候，ul_x(α)为α.sup的下限，表示为lx(α)，lx(α)的最大值称为α.sup的最大下限，表示为ml(α)。如果α.sup＝ml(α)＝mu(α)，称α为可导集，反之，称α为非可导集。

情节规则：一个情节规则γ是一个五元组(l,r,s,c,w)，其中l,r,s,c,w分别称为γ的前件、后件、支持度、置信度和宽口宽度。情节规则γ的支持度用于衡量该规则在事件序列上的统计特性，它等于concat(γ.l,γ.r)的支持度；情节规则γ的置信度用于衡量该规则的可信程度，它等于concat(γ.l,γ.r)的支持度与情节γ.l的支持度比值，情节规则γ的窗口宽度用于约束该规则的前件和后件必须在这个指定的时间区间内先后发生，它等于concat(γ.l,γ.r)的所有最小发生的平均时间。

无冗余情节规则：给定情节规则γ(l,r,s,c,w),若不存在情节规则γ，(l,r,s,c,w)，使得γ.s＝γ,.s，γ.c＝γ,.c，

则称γ是一个无冗余情节规则，否则是一个冗余情节规则。

发生：给定当前数据流DS和情节α=＜E₁E₂…E_K>DS上至少存在1个事件序列ES=<(E₁，t₁)，(E₂，t₂)，…，(E_k，t_k)>，满足t_i＜t_i+1(1≤i≤k-1)，则称DS上发生（或出现）了情节α，区间[t₁,t_k]称为α在DS上的一次发生，其中，t₁和t_k分别称为该发生的起始时间和终止时间。

最小发生：设[t_s,t_e]是情节α在当前数据流DS上的一次发生，若DS上不存在α的另一次发生[t,_s,t′_e]，使得t_s＜t,_s且t′_e≤t_e或t_s≤t,_s且t′_e＜t_e，即

则称[t_s,t_e]是α在DS上的一次最小发生。

对于数据流DS如图4基于区间最小发生对其进行预测。

按照步骤一：非确定性主要反映预测的多目标性，即对于情节规则γ(l,r,s,c,w)，情节规则前件所对应的后件是不确定的，如表1中所示，对于前件＜AA＞,其对应的后件为＜B＞或是＜CE＞，我们为每个合并后的情节规则γ分别使用一个非确定的自动机简称为非确定自动机γ，表示为γ(l,＜r₁，r₂，…r_k＞，＜s₁，s₂，…s_k＞，＜c₁，c₂，…c_k＞，w)。情节规则γ的前件与后件串接后形成情节的第i个事件类型简称为γ[i]，则非确定自动机γ的第i个状态对应着事件类型γ[i]，γ.rep表示规则γ.l的重度，γ.ind表示γ.l与γ.r串接后的情节中各事件类型的序号，γ.tq表示记录γ[1]在数据流上出现时间的循环队列，其最大长度为γ.rep，γ.ts表示γ.l在数据流上出现一次最小发生的起始时间，γ.te表示γ.l在数据流上出现一次最小发生的终止时间。由于情节规则（如表1所示）的前件不是单映射情节，对于当前的数据流DS＝{＜A,1＞,＜C,2＞,＜B,3＞,＜B,4＞,＜A,5＞,＜B,6＞,＜A,7＞,＜B,8＞,＜A,9＞,＜D,10＞}，情节规则前件＜BBA＞，由表1可以看出，其所对应的后件不确定，分别为＜D＞和＜C＞，转化为非确定性自动机如图5；

表1

表1

按照步骤二：为了便于理解，下面通过一个示例来说明寻找前件区间最小发生的过程。设情节规则γ的前件为＜BBA＞,当前数据流为DS＝{＜A,1＞,＜C,2＞,＜B,3＞,＜B,4＞,＜A,5＞,＜B,6＞,＜A,7＞,＜B,8＞,＜A,9＞,＜D,10＞}，窗口大小为8。根据区间最小发生的概念，我们只对距离截止时刻为给定区间大小的预测区间感兴趣，因此，从当前数据流DS上得到预测区间为

至事件＜A,5＞时，队列γ.tq的对首元素为2，γ.ts为3，自动机γ已进入第3状态，得到＜BBA＞的第1次最小发生区间为[3,5]，此时γ.te为5；接着，从＜B,4＞继续扫描，等扫描至事件＜A,7＞时，队列γ.tq的对首元素为2，γ.ts为4，自动机γ已进入第3状态，得到＜BBA＞的第2次最小发生区间为[4,7]，此时γ.te为7；从＜B,6＞继续扫描，等扫描至事件＜A,9＞时，队列γ.tq的对首元素为2，γ.ts为4，自动机γ已进入第3状态，得到＜BBA＞的第3次最小发生区间为[6,9]，此时γ.te为9;从＜B,8＞继续扫描，发现至截止时刻再没有前件＜BBA＞发生，至此，＜BBA＞在DS上的区间最小发生都已找到。

按照步骤三：根据步骤二所得到的前件3次发生，发生区间分别为[3,5]、[4,7]、[6,9]，窗口大小为8。对于发生在区间[3,5]的规则前件＜BBA＞，其所对应的后件γ.r₁＝c发生在区间[6,10]的概率为80%，γ.r₂＝D发生在区间[6,10]的概率为60%；对于发生在区间[4,7]的规则前件＜BBA＞，其所对应的后件γ.r₁＝c发生在区间[8,11]的概率为80%，γ.r₂＝D发生在区间[8,11]的概率为60%；对于发生在区间[6,9]的规则前件＜BBA＞，其所对应的后件γ.r₁＝c发生在区间[10,13]的概率为80%，γ.r₂＝D发生在区间[8,11]的概率为60%。γ.r₁＝c发生的区间为[6,10]、[8,11]、[10,13]，根据概率叠加的方法，在[6,13]整个预测区间上，在每个窗口所求得的期望为：

$E_6=\frac{80\%/5+0+0}{3}=5.33\%,$ $E_7=\frac{80\%/5+0+0}{3}=5.33\%,$ $E_8=\frac{80\%/5+80\%/4+0}{3}=6\%,$ $E_9=\frac{80\%/5+80\%/4+0}{3}=6\%,$

$E_{10}=\frac{80\%/5+80\%/4+80\%/4}{3}=18.67\%,$ $E_{11}=\frac{0+80\%/4+80\%/4}{3}=13.33\%,$ $E_{12}=\frac{0+0+80\%/4}{3}=6.67\%,$

$E_{13}=\frac{0+0+80\%/4}{3}=6.67\%.$

由上面所求在每个窗口出现的期望可以看出，在10窗口出现C的概率最大，可是10窗口在截止时刻之内，所以我们在区间[11,13]区间上寻找，发现11窗口出现C的概率最大;同理，对于γ.r₂＝D也能得到[11,13]所求得的期望 $E_{11}=\frac{0+60\%/4+60\%/4}{3}=10\%,$ $E_{12}=\frac{0+0+60\%/4}{3}=5\%,$ $E_{13}=\frac{0+0+60\%/4}{3}=5\%,$ 发现11窗口出现D的概率最大。

Claims (1)

1.一种基于规则合并的数据流预测方法，其特征在于步骤如下：

步骤1、基于非确定自动机的规则合并重组：对一个含有五元组(l,r,s,c,w)的情节规则γ进行合并与重组，其中l,r,s,c,w分别称为γ的前件、后件、支持度、置信度和宽口宽度；

步骤2、搜索规则前件的区间最小发生：

步骤1）根据截止时刻减去给定的区间大小得到预测区间；

步骤2）比较状态j与规则重度r.rep的大小，如果j≤r.rep，则搜索下一个窗口，j+1；

步骤3）比较状态j与情节规则γ的前件大小|γ.l|，如果相等，则令情节规则γ的前件在数据流上出现一次最小发生的起始时间等于记录γ[1]在数据流上出现时间的循环队列的起始时间γ.ts＝γ.tq[1]；令在数据流上出现一次最小发生的终止时间等于状态i发生时间γ.te＝t_i；γ.l与γ.r串接后的情节中各事件类型的序号等于状态j,γ.ind＝j；

步骤4）继续寻找情节规则γ的下一状态，找到所有的前件状态为止；

步骤3、根据规则前件，预测未来情节的后件发生：采用概率叠加的方法，预测未来情节在多个区间内的发生概率，具体的步骤为：

步骤1）根据滑动窗口的大小找出所有区间最小发生的规则前件；

步骤2）对于每一个区间最小发生的规则前件，在规定窗口大小下，找到其对应的后件发生区间；

步骤3）在这些后件发生区间内，根据概率叠加发生，对每一个窗口下出现规则后件求其发生概率期望：

其中n_i表示窗口大小减去第i个区间最小发生的大小，m表示所有的区间最小发生的个数；

步骤4）比较截止时间以后最大的E_j所对应的窗口即为发生情节规则γ的最大概率窗口。

Images