CN102254034A - 一种基于bide的olap查询日志挖掘及推荐方法 - Google Patents

Abstract

本发明涉及OLAP推荐技术，特别涉及一种基于BIDE的OLAP查询日志挖掘及推荐方法，该方法将可能的下一步查询推荐给OLAP用户，简化用户浏览分析多维数据的过程。本发明的有益效果：抓住OLAP领域查询操作的特点，提取日志文件中表示OLAP操作的字段，将日志文件抽象成查询序列，简化了日志文件的表示方法；利用BIDE算法在查询序列中挖掘查询模式，在保证不降低推荐准确率的前提下，提高了后续推荐的效率；通过在查询模式上建立后缀树，使得后续模式匹配无需采用搜索算法查找查询匹配的起点，提高了模式匹配的速度；提出模糊查询模式匹配算法，提高了推荐的准确度。

Description

一种基于BIDE的OLAP查询日志挖掘及推荐方法

技术领域

本发明涉及OLAP推荐技术，特别涉及一种基于BIDE的OLAP查询日志挖掘及推荐方法。

背景技术

联机分析处理(Online Analytical Processing，OLAP)支持分析人员和决策者从多个角度对数据进行快速、一致、交互地访问。在OLAP系统中，用户可以透过多维视图，使用上卷、下钻、旋转、切片、切块等操作，从多个角度自主地进行数据分析和知识发现，从而对数据更深入了解。但是，通过OLAP操作浏览多维数据的过程非常繁琐，用户往往无法确定下一步如何操作，不断尝试无效查询操作，降低了实现业务分析目标的效率。

为了提高用户面对海量信息的快速反应力，将推荐技术引入OLAP领域。然而传统的推荐技术不能直接用于OLAP领域，究其原因，主要在于传统推荐方法推荐的是一个结果，而OLAP推荐的是用户一个查询目标中的下一步分析操作。

发明内容

本发明为克服现有技术中存在的不足之处，目的在于提供一种基于BIDE的OLAP查询日志挖掘及推荐方法，该方法将可能的下一步查询推荐给OLAP用户，简化用户浏览分析多维数据的过程，解决了现有技术中存在的问题。

本发明是通过以下技术方案达到上述目的：一种基于BIDE的OLAP查询日志挖掘及推荐方法，包括以下步骤：

1)根据OLAP服务器日志文件中的历史查询语句划分查询会话：首先，判断本条查询语句是否是最顶层的查询语句，然后通过判断后一条查询语句是否是在前一条查询语句的基础上连续上卷若干层以内形成的，作为判断前后两条查询语句是否属于同一个查询会话的标志，若是，则将本条查询语句加入当前查询会话中，若否，将本条查询语句作为新查询会话的第一条查询语句，开始划分为一个新的查询会话，从而划分查询会话；

2)通过对查询会话中前后两条查询语句的比较，用不同的标志来记录OLAP的基本操作顺序，从而在查询会话中生成查询序列；

3)在生成的查询序列中运用BIDE算法，挖掘连续的查询模式，得到历史查询模式；

4)通过将每一个查询模式，及其它的所有子查询插入到树型结构中的办法，来建立查询后缀树，使得这棵查询后缀树包含了查询模式所有可能的子查询模式；

5)根据用户的当前查询序列，运用AQPM算法，在查询后缀树中寻找匹配当前查询序列的历史查询模式，预测用户的下一步查询；

6)按照概率大小对候选查询排序，选择前五个查询推荐给用户。

作为优选，步骤1所述的通过判断后一条查询语句是否是在前一条查询语句的基础上连续上卷若干层以内形成的，作为判断前后两条查询语句是否属于同一个查询会话的标志，所述的若干层为5层。

作为优选，步骤6)所述的按照概率大小对候选查询排序基于马尔科夫模型进行。

作为优选，历史查询模式和查询后缀树根据OLAP服务器日志文件的改变动态更新。

本发明的有益效果：该方法是一种新的用于OLAP中的推荐方法，与现有的推荐方法相比，其优点在于：

1)抓住OLAP领域查询操作的特点，提取日志文件中表示OLAP操作的字段，将日志文件抽象成查询序列，简化了日志文件的表示方法；

2)利用BIDE算法在查询序列中挖掘查询模式，在保证不降低推荐准确率的前提下，提高了后续推荐的效率；

3)通过在查询模式上建立后缀树，即把所有查询模式及其后缀模式索引到一颗共享前缀的树上，使得后续模式匹配无需采用搜索算法查找查询匹配的起点，提高了模式匹配的速度。

4)提出模糊查询模式匹配(Approximate Query Pattern Matching，AQPM)算法，用于在连续查询模式中寻找匹配当前查询序列的下一步查询，提高了推荐的准确度。

附图说明

图1是本发明的系统构架示意图；

图2是基于BIDE的OLAP查询日志挖掘及推荐方法流程图；

图3是AQPM算法流程图。

具体实施方式

实施例1：下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此：

本发明系统构架由数据准备部分和实时推荐两部分组成，总体的系统架构如图1所示：在该系统中，数据准备部分负责在OLAP历史查询日志中挖掘查询模式，实时推荐部分负责获取用户当前的查询序列，在查询模式中寻找匹配的模式，从而将下一步查询推荐给用户。

本发明的总流程图，如图2所示，本实施例使用MDX语法表示OLAP查询。MDX查询语言中对多维数据集的维度和层次定义有特定语法结构：对多维数据集中的维度x下的第i层次钻取，所使用的MDX查询语句遵循“[维度x].[层次1].[层次2].[层次i].children”的规范。在一个多维数据源内，每个维度的每个层次都对应于唯一且固定的“[]”串。

根据OLAP服务器日志文件中的历史查询语句划分查询会话：首先，判断本条查询语句是否是最顶层的查询语句，然后通过判断后一条查询语句是否是在前一条查询语句的基础上连续上卷5层以内形成的，作为判断前后两条查询语句是否属于同一个查询会话的标志，若是，则将本条查询语句加入当前查询会话中，若否，将本条查询语句作为新查询会话的第一条查询语句，开始划分为一个新的查询会话，从而划分查询会话；

生成查询序列的方法是通过比较前后两条查询语句中“[]”串的异同的方法，用不同的标志来记录OLAP的基本操作顺序，从而在查询会话中生成查询序列。

1)当用户进行连续上卷或者连续下钻操作时，每次查询操作的层次变化只有一层，所以每条查询语句与上一条相比，有且只有一个“[]...[].children”串不同，通过比较前后两条查询语句中“[]...[].children”串的异同，能够处理上卷，下钻操作；

2)当用户进行切片切块旋转操作时，并不影响分析粒度，即不改变上下文查询的维度及层次，因此，表示相邻两条查询语句的“[]...[].children”，串没有变化。对于切片和切块操作，可判断MDX查询语句中的where关键串后的字符串变化，在查询序列数组中置特殊数字以区分；对于旋转操作，可判断ON COLUMNS和ON ROWS关键串前的字符串是否互换，同样在查询序列数组中置特殊数字。

生成查询序列伪代码如下所示：

seqGenerate(contents)

输入：MDX语句集合contents

输出：抽象的查询序列集合seqcontents[]

1：Seqnum＝-1；

2：last＝null；n＝null；

3：for(j＝0；j＜contents.length；j++){

4：n＝anysis(contents[j])；

5：Set setDifference＝new HashSet()；

6：setDifference＝Compare(n，last)；

7：if(last＝＝null||setDifference.size()＞5)

8：seqcontents[++seqnum]＝n；

9：else seqcontents[seqnum]+＝“$”+setDifference；

10：last＝n；}

11：for(j＝0；j＜seqcontents.length；j++){

12：filter(seqcontents[j])；

13：return seqcontents；

初始化查询序列号(第1行)，初始化两个记录日志文件中前后两个查询语句含有的“[]…[].children”串的集合(第2行)。开始循环读入日志文件中的每一条查询语句(第3行)，提取该查询语句中的“[]…[].children”串，将其映射为序号，添加到当前的集合中(第4行)，比较前后查询集合，将不同的“[]…[].children”串添加到前后查询的差集中(第5，6行)，判断是否一个新的查询会话，若是，重新开始一个查询序列，并将这个新的查询序列初始化为当前查询所含的“[]…[].children”串集合，否则，将前后查询的差集添加到当前查询序列中，并以一个特殊符号分割(第7，8，9行)，将上一个查询赋值为本次查询，作为下一个查询语句的前一个查询(第10行)，对查询序列集合进行查询误操作的判断(第11，12行)。

查询模式挖掘，首先接受历史查询序列作为输入，进而挖掘出查询序列模式，最后将这些序列模式组织成一颗查询后缀树。

运用BIDE算法，在历史查询序列中挖掘查询模式。BIDE是一种高效的双向查询频繁闭合序列挖掘算法。该算法采用序列闭合检查策略，并利用BackScan剪枝方法和Scan-Skip优化技术更深地修剪查询空间。BIDE算法在内存使用上，比其他频繁序列挖掘算法如colspan少了几个数量级，而在执行时间上快了一个数量级左右。

BIDE算法伪代码如下所示：

BIDE(SDB，FCS，w，n)

输入：序列数据库SDB，连续性限制上限u，最小支持度与序列数比值w，序列数n

输出：频繁闭序列集合FCS

1：

2：F＝frequent 1-sequences(SDB，w，n)；

3：for(each 1-sequence f in F)do

4：SDBf＝pseudoprojected_database(SDB)；

5：for(each f in F)do

6：if(！BackScan(f，SDBf))

7：BEI＝backward_extensioncheck(f，SDBf)；

8：Call qbide(SDBf，f，BEI，FCS，w，n)；

9：return FCS；

qbide(Sp_SDB，Sp，BEI，FCS，w，n)

输入：投影序列数据库Sp_SDB，前缀序列Sp，backward extension数目BEI，

最小支持度与序列数比值w，序列数n

输出：当前频繁闭序列集合FCS

10：LFI＝locallyffequentitems(Sp_SDB)；

11：FEI＝|{in LFI|z.sup＝sup(Sp)}|；

12：if((BEI+FEI)＝＝0)

13：FCS＝FCS U{Sp}；

14：for(each I in LFI)do

15：Sp＝<Sp，i>；

16：SDB＝pseudoprojecteddatabase(Sp_SDB，Sp)；

17：for(each I in LFI)do

18：if(！BackScan(Sp，SDB))

19：BEI＝backward_extensioncheck(Sp，SDB)；

20：call qbide(SDB，Sp，BEI，FCS，w，n)；

该算法先遍历数据库一次，找到频繁一项集(第2行)，对频繁一项集建立伪投影数据库(第3，4行)，把每一个频繁一项集看做一个前缀，应用backScan剪枝技术判断它是否该被剪枝(第6行)，如果不被剪枝，计算backward-extension-items数量(第7行)，调用子程序qbide(第8行)，子程序qbide递归调用自身，步骤如下：对于一个前缀S，遍历它的投影数据库S_SDB一次找到本地频繁项(第10行)，计算forward-extension-items数量(第11行)，如果没有backward-extension-items和forward-extension-items，则把Sp作为一个闭的频繁模式输出(第12，13行)，把本地频繁项加入到S中来得到一个新的前缀(第15行)，并对新的前缀建立伪投影数据库(第16行)，对每一个新的前缀，首先判断它是否被剪枝(第18行)，若否，计算backward-extension-items(第19行)并调用自身(第20行)。

为了加快后续查询模式匹配的速度，实时地为用户推荐下一个查询，采用索引查询模式的方法，即建立后缀树，把所有查询模式及其后缀模式索引到一颗共享前缀的树上。

后缀树是用于查询预测的特殊数据结构。通过给每一个查询模式的每一个后缀查询模式建立一条路径，使该后缀树包含了查询模式所有可能的子查询模式。树的每一个节点表示查询模式中的一步查询，树中任何一条从根到叶节点的路径是一条查询模式的一个后缀。

同时，历史查询模式和查询后缀树根据OLAP服务器日志文件的改变动态更新。

然后从OLAP服务器中获取当前查询日志文件，根据当前查询日志文件的变化，取得当前查询语句，加入到当前查询序列中。根据用户的当前查询序列，运用AQPM算法，在查询后缀树中寻找匹配当前查询序列的历史查询模式，预测用户的下一步查询。其中模式匹配是根据用户当前的查询序列，在后缀树中选择候选查询模式。AQPM算法的基本思想是模糊匹配，即选择一条查询序列模式，其前缀与用户当前查询序列最相似。查询模式匹配过程通过在后缀树中查找与当前查询序列匹配的子树来确定候选查询模式子集。但在现实情况中，初始输入的当前查询序列不一定能在预测树中找到与之完全对应的子树，分析其原因，可能有以下几种：

1)用户当前的查询序列可能包含一些并不代表其查询目的的误操作；

2)后缀树中是历史查询模式，即历史查询序列的抽象，即允许跳过元素个数满足连续性的查询序列，而当前查询序列是查询的一个具体事例；

3)用户当前查询包含过时查询。

根据以上三种不能完全匹配的情况，采取以下三种处理方法：

1)在查询匹配之前，对用户当前的查询序列进行去除噪声处理。起初噪声处理过滤掉下钻一层又马上上卷一层这样的查询，例如查询序列：{1，3，4，2，5，2，8}就包含了上述情况，噪声处理后的查询序列为{1，3，4，2，8}；

2)在满足连续性[0，u]限制范围内跳过查询不匹配的那些查询，继续在后缀树中查找候选模式，u为预定义的连续性的上界；

3)循环截断当前查询序列中时间点最久远的查询。

AQPM算法步骤，如图3所示：

1)对当前查询进行去噪声处理；

2)判断是否找到匹配，若是，则匹配成功，返回匹配节点，程序结束。

3)否则开始序号加1，重新匹配；

4)判断开始序号是否等于序列长度，若是，则匹配不成功，返回根节点，程序结束。

5)否则取出查询序列的下一个查询；

6)判断是否到达查询序列末尾，若是转到步骤2)；

7)若否，则判断是否找到该查询，若找到则转到步骤5)，循环匹配下一个查询；

8)如果找不到该查询，判断丢弃节点的个数是否满足连续性条件，若否，则跳转到步骤2)；

9)如果满足连续性条件，则取出下一个查询；

10)判断是否能找到该查询，若是，跳转到步骤5)，若否，跳转到步骤8)，循环丢弃查询。

在获得候选查询模式后，即可基于马尔科夫模型进行查询推荐。

假设当前查询序列(q₁，q₂，q₃，...，q_k)，则其下一步有效查询q’的概率可由下列公式计算得出：

(q’，q₁，q₂，q₃，...q_k)＝P(q’|q₁，q₂，q₃，...q_k)·P(q₁，q₂，q₃，...q_k)    (1)

由于用户当前的查询操作是确定的，所以上式可以简化为：

(q’， q₁，q₂，q₃，...q_k)＝P(q’|q₁，q₂，q₃，...q_k)    (2)

查询推荐中的概率矩阵由用户当前查询操作和候选查询模式集合决定。假设P为符合预测的候选序列模式的集合，共有j个，可得 $P(q^{\&prime;},q)=P\left(q^{\&prime;}\right|q)=\underset{i=1}{\overset{j}{\mathrm{\&Sigma;}}}P\left(q^{\&prime;}\right|q,P_i).$ 则其下一步有

效查询操作的概率矩阵M(q，P)可表示为：

$M(q,P)=\left(\begin{array}{cccc}P\left(q_1\right|q,P_1)& P\left(q_2\right|q,P_1)& ...& P\left(q_i\right|q,P_1)\\ P\left(q_1\right|q,P_2)& P\left(q_2\right|q,P_2)& ...& P\left(q_i\right|q,P_2)\\ ...& ...& ...& ...\\ P\left(q_1\right|q,P_J)& P\left(q_2\right|q,P_J)& ...& P\left(q_i\right|q,P_J)\end{array}\right)---\left(3\right)$

上述概率矩阵可简化为如下形式：

$M(q,P)=[\underset{k=1}{\overset{l}{\mathrm{\&Sigma;}}}P\left(q_1\right|q,P_k)\underset{k=1}{\overset{j}{\mathrm{\&Sigma;}}}P\left(q_2\right|q,P_k)\&CenterDot;\&CenterDot;\&CenterDot;\underset{k=1}{\overset{l}{\mathrm{\&Sigma;}}}P\left(q_i\right|q,P_k)]=[\frac{N_{q,q_1}}{N_q}\frac{N_{q,q_2}}{N_q}...\frac{N_{q,q_i}}{N_q}]---\left(4\right)$

其中

是在候选序列模式中包含从查询操作q到q_i的支持度，Nq是在候选序列模式中包含从查询操作q到其它所有操作的支持度。

根据以上概率矩阵的计算结果，将各可能的下一步有效查询按概率由大到小排序，并映射到对应的“[]…[].children”串中，从而将可能的下一步有效查询操作推荐给用户。其中：

1)以上一步的预测结果作为输入，即查询后缀树中的一个最佳匹配序列的查询结点；

2)按照概率大小对该查询的所有子结点排序；

3)概率最大的作为第一推荐，推荐给用户；概率前五的作为候选推荐，推荐给用户。

以上的所述乃是本发明的具体实施例及所运用的技术原理，若依本发明的构想所作的改变，其所产生的功能作用仍未超出说明书及附图所涵盖的精神时，仍应属本发明的保护范围。

Claims (4)

1.一种基于BIDE的OLAP查询日志挖掘及推荐方法，其特征在于包括以下步骤：1)根据OLAP服务器日志文件中的历史查询语句划分查询会话：首先，判断本条查询语句是否是最顶层的查询语句，然后通过判断后一条查询语句是否是在前一条查询语句的基础上连续上卷若干层以内形成的，作为判断前后两条查询语句是否属于同一个查询会话的标志，若是，则将本条查询语句加入当前查询会话中，若否，将本条查询语句作为新查询会话的第一条查询语句，开始划分为一个新的查询会话，从而划分查询会话；

2)通过对查询会话中前后两条查询语句的比较，用不同的标志来记录OLAP的基本操作顺序，从而在查询会话中生成查询序列；

3)在生成的查询序列中运用BIDE算法，挖掘连续的查询模式，得到历史查询模式；

4)通过将每一个查询模式，及其它的所有子查询插入到树型结构中的办法，来建立查询后缀树，使得这棵查询后缀树包含了查询模式所有可能的子查询模式；

5)根据用户的当前查询序列，运用AQPM算法，在查询后缀树中寻找匹配当前查询序列的历史查询模式，预测用户的下一步查询；

6)按照概率大小对候选查询排序，选择前五个查询推荐给用户。

2.根据权利要求1所述的一种基于BIDE的OLAP查询日志挖掘及推荐方法，其特征在于，步骤1所述的通过判断后一条查询语句是否是在前一条查询语句的基础上连续上卷若干层以内形成的，作为判断前后两条查询语句是否属于同一个查询会话的标志，所述的若干层为5层。

3.根据权利要求1所述的一种基于BIDE的OLAP查询日志挖掘及推荐方法，其特征在于，步骤6)所述的按照概率大小对候选查询排序基于马尔科夫模型进行。

4.根据权利要求1-3任一权利要求所述的一种基于BIDE的OLAP查询日志挖掘及推荐方法，其特征在于，历史查询模式和查询后缀树根据OLAP服务器日志文件的改变动态更新。

Images