CN1632793A - 一种利用缓存将关系数据发布为xml文档的优化方法 - Google Patents

Abstract

本发明属数据库技术领域，具体为一种利用缓存将一种关系数据发布为XML格式文档的优化方法。它采用存储频繁的用户发布请求以及相应的关系结果，从而加速对用户发布请求的相应速度。针对此问题提出了发布请求树，发布根子树，频繁发布根子树等概念，以及相关的两个算法，即频繁发布根子树挖掘算法FPT与基于缓存的用户发布树匹配算法TreeMatching。并且提出了利用缓存优化发布问题的系统框架。本发明可减少执行SOL查询时表连接的数目及数据量，从而缩短发布响应时间。

Description

一种利用缓存将关系数据发布为XML文档的优化方法

技术领域

本发明属于XML发布的技术领域，具体涉及一种利用缓存将关系数据发布为XML文档的优化方法。

背景技术

随着Web(网络)的发展，XML(可扩展标注语言)正逐渐成为Web上数据表示和交换的标准。然而，由于关系数据库系统技术成熟，并且具有很好的稳定性和处理性能，所以大量企业数据存放在关系数据库中。为了在Web上进行数据交换和集成，需要将关系数据发布为XML格式文档。比如企业的一个数据源节点中的数据存储在关系数据库中，当Web网络中有请求节点提出请求时，数据源节点需要将请求节点需要的数据通过网络传输给请求节点。这是一个很实际的问题。可以采用的一个策略是：数据源节点从关系数据库中获得数据，并且转换成为XML格式，通过网络传输给请求节点。

关系数据到XML文档的发布系统可被视为一个数据交换的中间件系统，它将用户提交的发布请求通过适当的规则和优化策略转换成为SQL(结构化查询语言)查询，然后使用合成后的SQL语句对关系数据源进行查询，通过一定的规则给检索得到的关系数据添加XML标记，从而生成XML文档并返回给用户。近年来，在将关系数据发布成XML文档方面，研究人员已经开展了一些工作，比如，PRATA、SilkRoute等。这些系统能够较好地满足用户的发布请求，但是发布代价较高。从系统实现的角度来看，往往只关注如何满足用户的发布请求，而忽视了如何降低发布代价，缩短响应时间。从用户的满意程度来看，对响应时间有较高的要求，因此发布代价也是关系数据发布问题中的一个重要因素。发布代价较高的一个主要原因是：对每一个单独的用户请求，系统都要到关系数据库中重新检索所有相关的数据。一方面发布问题中执行SQL查询所耗费的时间较长：尤其当关系数据库中表的规模很大并且表的数目很多的时候，SQL查询所需要做的表连接的数目及数据量都会大大增加，进一步增加了响应的时间。另一方面在实际应用中，用户的发布请求之间可能具有一定的相似性。

目前在关系数据的XML发布方面已有很多研究成果。如SilkRoute利用RXL(系统基于视图定义语言)进行关系数据的发布，但是这个系统没有考虑结果XML文档DTD(文档类型定义)。PRATA实现了以DTD为指导将关系数据发布成为XML文档，并且引入了ATG(属性转换文法)的概念，解决了由于“*”出现所引起的不确定性和由于DTD中的递归所引起的问题。从上述系统的应用背景和主要方法看，他们只考虑了一次的发布请求，而没有考虑历史发布请求。所以每次的发布工作都需要重新进行，影响了系统效率。

发明内容

本发明的目的在于提出一种发布系统的优化策略，即将关系数据发布为XML文档的优化方法，从而能够提高发布系统的发布效率，更好的满足用户的发布请求。

本发明提出利用缓存优化关系数据的XML发布，当新的发布请求发出时，利用缓存数据减少执行SQL查询时表连接的数目及数据量，进而缩短响应时间。

1、基本概念定义

发布请求树(Publishing Request Tree，记为PRT)：设PRT＝<V，E>，V是ATG顶点的集合，E是边的集合，其中边由<v₁，v₂>表示，并且v₁是v₂的父节点。每个节点v_i的标签值属于集合{“*”，“//”，tagSet}，其中tagSet是给定DTD中所有元素和属性名称的集合。

发布根子树(Publishing Rooted SubTree，记为PRST)：设PRST＝<V’，E’>，V’是顶点的集合，E’是边的集合，其中边由<v₁’，v₂’>表示，并且v₁’是v₂’的父节点。而每个节点v_i’的标签值属于集合{“*”，”//”，tagSet}，其中tagSet是给定的DTD下所有的元素和属性名称的集合。如果PRST满足条件：(1)PRST的根节点＝PRT的根节点，(2)V’V，E’E，则称其为PRT的发布根子树。并且如果PRST有K条边，那么就称此PRST为k边发布根子树，记为PRST^k。

频繁发布根子树(Frequent PRST，记为FPRST)：设PRST的出现次数为freq(PRST)，发布模式集中模式的数目为|D|，那么此PRST的支持度为supp(PRST)＝freq(PRST)/|D|。给定一个最小支持度0＜α≤1，如果supp(PRST)≥α，则此PRST为频繁发布根子树。

频繁发布根子树对应SQL(FPRST-SQL)：将FPRST映射到ATG View中，每个节点获得与其绑定的SQL语句；将所有的SQL语句合成为唯一的SQL语句，即为频繁发布根子树对应SQL。

2、优化方法及其系统框架

基于上述定义，为了使用户与关系数据库尽可能地独立，即如何从关系数据库中获得用户需要的数据和如何将关系数据转换成为XML文档对用户透明。本发明利用缓存通过预先存储用户频繁发布根子树对应的关系数据，减少用户SQL查询中连接的数目，从而减少执行用户发布请求的响应时间。系统架构中缓存频繁发布模式集和频繁发布结果集两个部分。频繁发布模式集中存储FPRST，频繁发布结果集中存储执行FPRST-SQL获得的关系数据。当用户的发布请求到来时首先到频繁发布模式集中匹配FPRST，然后到频繁发布结果集中获得对应的关系数据；用户的ATG请求对应一个SQL语句，利用对应的关系数据加速执行此SQL语句的时间进而降低发布响应时间。

本发明在PRATA系统的基础上提出基于缓存的发布系统结构，系统框架如图1所示。

系统框架分为三层：外层、中间层和最内层。其中：

(1)外层是用户层：此层由用户提交ATG形式的发布请求，定义了返回XML文档的DTD结构以及所需要使用的SQL语句；并且返回XML文档结果给用户；

(2)中间层是Cache层，包括两个部分：频繁发布模式集与频繁结果集：①频繁发布模式集：使用挖掘算法FPT挖掘用户的PRT集合，获得FPRST集合并存储在数据库中作为频繁发布模式集。②频繁结果集：执行FPRST的对应SQL语句获得查询结果并存储在关系数据库中作为频繁结果集；

(3)最内层为PRATA系统层：该层增加了ATG的视图部分，用以限定用户所能够访问的关系数据，①首先是系统以ATG的形式提供的视图层，限制了关系数据库所能提供给用户的信息，在ATG View中每个节点绑定的SQL语句定义了发布给用户的XML文档中每个元素的完全内容，即发布给用户的XML文档中的每个元素的内容是ATG View中对应元素内容的子集；②然后是物理层用以存取基本的数据信息的关系数据库；频繁发布模式集和频繁结果集的数据仍然存储在此关系数据库中。

系统主要工作流程即优化发布的方法如下：

首先是系统初始化的过程，这个过程包括两个部分。一是关系数据库的视图设定部分，在这个过程中由发布关系数据一方确定需要哪些关系数据对用户开放。二是频繁发布模式集与频繁结果集的初始化过程。利用频繁发布请求的挖掘算法从一段时间内大量的用户发布请求中获得频繁的发布请求；通过执行频繁发布请求对应的SQL语句获得需要存储的中间结果作为频繁结果集。

其次是系统执行用户的发布请求的过程。首先是将用户用ATG表示的发布请求与频繁发布模式集中的发布请求相匹配：如果利用匹配算法获得具有最大相似程度的频繁发布请求，则可以到频繁结果集中获得中间结果作为所需要的部分或全部的发布内容，从而降低执行SQL查询的时间进而加速发布响应的时间；至于频繁结果集中没有的部分可以将没有匹配的子树利用与关系数据库的ATG视图匹配获得SQL语句，执行此语句获得关系形式的结果。如果没有找到可以利用的频繁发布请求，则直接到关系数据库的ATG视图中匹配获得对应的SQL语句，执行之后获得需要发布内容的关系形式结果。下一步将需要发布内容的关系形式的结果送到XML包装器，利用从用户的发布请求中获得的XML结构信息将关系数据结果转换成为XML格式。

本发明涉及的主要流程以及算法

由于ATG节点绑定SQL语句，所以挖掘频繁发布请求与挖掘一般的频繁查询模式树不同，在挖掘频繁发布请求时需要考虑SQL语句。频繁发布请求的挖掘算法包含两个部分：频繁发布根子树抽取与获得FPRST-SQL，以获得完整的频繁用户发布请求。该挖掘算法(FPT)具体步骤如下：

算法FPT

输入：D-存储PRT的数据库

      |D|-D数据库中的PRT的数目

      minSupp-最小支持度

输出：Cache{Fi}-频繁发布模式集

1.  F₁＝{频繁一边发布根子树集合，PRST¹.count≥minSupp*|D|}

2.  for(k＝1；F_k≠；k++)do

3.  {C_k+1＝；

4.   for each PRST^kF_k do

5.     S＝包含有PRST^k的(k+1)边子树PRST^k+1集合；

6.   for each PRST^k+1S do

7.     if存在PRST^k＝PRST^k+1减掉一个叶子节点后的k边子树，并且PRST^k不在F_k中

8.     then执行剪枝操作S＝S-PRST^k+1；

9.   C_k+1＝C_k+1∪S；

10.  for each PRST^k+1C_k+1do

11.    D.count(PRST^k+1)＝0；

12.  for eachPRTD do

13.    for each PRST^k+1C_k+1do

14.      if PRST^k+1PRT

15.      then D.count(PRST^k+1)++；

16.  F_k+1＝{PRST^k+1|PRST^k+1C_k+1，D.count(PRST^k+1)≥minSupp*|D|}}；

17.return Cache{Fi|i＝1，2，...，k-1，k}

FPT有三个输入参数：用户发布模式数据库，通过检索发布模式数据库并统计PRT(发布请求树)数目获得的数据库的规模参数|D|，用于判定是否为FPRST(频繁发布根子树)的阈值参数minSupp(最小支持度)。挖掘方法是对每棵PRT(共有N条边)枚举出其PRST^k(K＝1，...，N)，并统计发布根子树在模式树中出现的数目。根据先验知识预先设定minSupp判定PRST是否为FPRST。本文算法中阈值的设定随发布根子树的层数增加而减少，因为上层出现的几率大于下层，所以层数少的发布根子树出现次数多；阈值的设定还可以参考挖掘方面其他工作确定。此算法的返回值是FPRST的集合。

首先将发布模式数据库中的一边的发布根子树枚举出来并统计出现次数，如果这个出现次数大于或等于最小支持度与发布模式树数目的乘积，那么就将这棵一边子树加入到FPRST¹中表示为F₁。计算多边的FPRST时采用迭代方法，计算K+1边频繁集的时需要使用K边频繁集：首先为K+1边候选集赋空值；接下来将频繁集中的子树增加一个叶子节点构成K+1边的子树组成一个集合S；对于S集合中的每一棵子树PRST，如果它有K边子树不属于F_k，那么就进行剪枝操作，即是从S集合中去掉此PRST。从而获得了K+1边候选集C_k+1，新的C_k+1是C_k+1的初始值与S集合的并集。随后的任务是统计K+1边候选集C_k+1中每棵子树的出现次数从而获得频繁根子树集合。对于每棵子树的计数器count赋初始值为0，如果它出现在一个PRT中，就将计数器的值增加1。统计后得到K+1边候选集C_k+1中每棵子树的出现次数，如果这个出现次数大于或等于查询模式数据库中的查询模式的数目|D|与最小支持度minSupp的乘积，那么这棵子树就在F_k+1中。

利用FPT算法挖掘出FPRST之后，到ATG View中获得FPRST-SQL。由于在ATG视图中已经为每个节点绑定SQL语句，所以可以将FPRST中的节点匹配ATG View中对应的节点，每个节点会获得一个SQL语句，将获得的SQL语句合成为唯一的SQL语句作为此FPRST对应的FPRST-SQL。首先从一段时间内用户PRT集合中挖掘出FPRST并存储在关系数据库中作为频繁发布模式集，然后将每个FPRST映射到ATG View中为每个FPRST获得一个合成的FPRST-SQL，执行所有的FPRST-SQL作为频繁结果集。

但是当执行用户的发布请求时候，会出现多个频繁发布模式与用户发布请求相匹配的情况。我们提出匹配算法TreeMatching匹配用户的发布请求与频繁发布模式集中的频繁发布模式从而获得具有最大相似程度的频繁发布模式。TreeMatching算法的中心是按树的层次从上到下与Cache中的FRST进行匹配并获得匹配FRST，然后针对匹配的每个FRST利用匹配的层次权值获得每个FRST的分数，最后选择具有最大分数的匹配FRST并且返回。匹配算法TreeMatching共有三个输入参数：缓存的FRST集合Cache，用户的待匹配的子树TargetTree，以及为匹配的层次设定的权值集合W[k]；输出则是匹配的具有最大相似度即具有最大的匹配分数的FRST：MatchedSubTree。本发明假设在上层的匹配重要性强，为上层的匹配赋予更高的分数，所以W[k]逐层递减。本发明假设FRST是TargetTree的子树时才是匹配成功。对应频繁查询模式集中的每棵子树，首先做的是层次节点数目的判断FRST是否为TargetTree的子树：如果FRST的层次数目大于TargetTree的层次数目，那么此FRST肯定是不匹配的；否则进入计算分数并选择最大相似度的FRST步骤。匹配使用Cache中每棵FRST与TargetTree进行路径字符串匹配：如果FRST的路径字符串包含在TargetTree的路径字符串中则匹配成功，否则匹配不成功。获得匹配成功的FRST之后，利用输入的各层权值与对应层的节点数目乘积的和作为此FRST的匹配分数，然后从所有匹配成功的FRST中找到分数最高的即是具有最大匹配程度的FRST作为MatchedSubTree返回。

算法TreeMatching

输入：Cache-缓存的FPRST集合

      TargetTree-用户的待匹配的子树

      W-匹配的层权值的数组

输出：MatchedSubTree-具有最大匹配度的FPRST

1.max_score＝0；

2.MatchedSubTree＝；

3.for each SubTreeCache do

4.  if(SubTree每一层节点数目≤TargetTree对应层节点数目)then

5.    {k＝0；

6.    for SubTree的每层

7.      if SubTree此层节点集合不是TargetTree对应层节点子集

8.      then SubTree不是一棵匹配子树并跳出for循环

9.      else k＝所在的层数and

10.        J[k]＝SubTree此层节点数目；

11.   if(SubTree是一棵匹配子树)then

$12.---\mathrm{current}\_\mathrm{score}=\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}J\left[i\right]*W\left[i\right];$

13.   it(current_score＞max_score)then

14.        MatchedSubTree＝SubTree；

15.        max_score＝current_score；}

16.return MatchedSubTree；

附图说明

图1为系统框架结构图示。

图2为利用一棵全局树G-PRT获得F1和C2示例。

图3为利用图2结果获得F2和C3的示例。

图4为一个PRT以及经过挖掘算法得到F1、F2和F3的示例。

图中标号：1为用户ATG发表请求集，2为XML文档结果集，3为XML包装器，4为缓存，5为缓存频繁发布模式集，6为缓冲频繁结果集，7为关系数据库ATG视图，8为XML的所有元素数据库，9为关系数据库。

具体实施方式

(1)频繁发布根子树挖掘算法实例

例如假设将PRT数据库中所有的PRT合成为一棵全局树G-PRT，如图2中，a为G-PRT，利用算法FPT获得FPRST：首先做的是枚举G-PRT的所有一边子树PRST¹，如图2中，(b)为(a)所示的G-PRT的一边子树PRST¹。然后统计每棵PRST¹的出现次数，利用预先定义的minSupp确定F₁；本文的例子中F₁不用计算出现次数确定是否频繁，因为根节点只有一个孩子节点所以必定是频繁的。再根据G-PRT从F₁获得二边候选集C₂，就是在PRST¹的基础上按照G-PRT加一个节点即可。如图2中的(c)、(d)、(e)的集合为C₂。

然后是使用算法Contains对获得的C₂中的每棵PRST²与发布模式库中的PRT进行匹配统计出现次数，利用minSupp确定是否频繁。经统计C₂中只有d是频繁的，从而确定F₂，如图3中(a)。采用获得C₂的方法获得C₃，如图3中(b)、(c)、(d)。再利用剪枝操作确定图3中(b)、(c)中包含有非频繁子树必定不是频繁的并且从C₃删除(b)、(c)。统计(d)出现次数并利用minSupp确定它是FPRST³，由此获得了F₃。以此类推反复迭代获得F_k(k＝4，...，7)从而得到频繁发布模式集并存储到数据库中。

(2)匹配算法实例

例如图4为一个用户的PRT以及经过挖掘算法得到的F₁、F₂和F₃示例。

首先用F₁、F₂和F₃与PRT逐层匹配获得图9中的四个FPRST均与图中的PRT匹配。然后为每个FPRST计算匹配分数从而得到与PRT具有最大相似度的FPRST。设第一、二、三、四层对应的匹配权重分别为0.6、0.5、0.3、0.1。F₁中的FPRST¹的匹配分数为1×0.6+1×0.5＝1.1；F₂中的FPRST²的匹配分数为1×0.6+1×0.5+1×0.3＝1.4；F₃中的(a)的匹配分数为1×0.6+1×0.5+2×0.3＝1.7，而F₃中的(b)的匹配分数为1×0.6+1×0.5+1×0.3+1×0.1＝1.5。从四个FPRST中选择匹配分数最大的即F₃中的(a)作为最大相似度FPRST。

Claims (4)

1、一种基于缓存的发布系统结构，其特征在于系统框架分为三层：外层、中间层和最内层，其中：

(1)外层是用户层：此层由用户提交ATG形式的发布请求，定义了返回XML文档的DTD结构以及所需要使用的SQL语句；并且返回XML文档结果给用户；

(2)中间层是Cache层，包括两个部分：频繁发布模式集与频繁结果集：①频繁发布模式集：使用挖掘算法FPT挖掘用户的PRT集合，获得FPRST集合并存储在数据库中作为频繁发布模式集，②频繁结果集：执行FPRST的对应SQL语句获得查询结果并存储在关系数据库中作为频繁结果集；

(3)最内层为PRATA系统层：该层增加了用以限定用户所能够访问的关系数据的ATG的视图部分，①首先是系统以ATG的形式提供视图层，限制关系数据库所能提供给用户的信息，在ATG View中每个节点绑定的SQL语句定义发布给用户的XML文档中每个元素的完全内容，②然后是物理层用以存取基本的数据信息的关系数据库，频繁发布模式集和频繁结果集的数据仍然存储在此关系数据库中；

其中XML为可扩展标注语言，ATG为属性转换文档，DTD为文档类型定义，SQL为结构化查询语言，PRT为发布请求树，FPRST为频繁发布根子树。

2、一种基于权利要求1所述的发布系统将关系数据发布为XML文档的优化方法，其特征在于具体步骤如下：

首先是系统初始化的过程，包括两个部分：一是关系数据库的视图设定部分，在这个过程中由发布关系数据一方确定需要哪些关系数据对用户开放；二是频繁发布模式集与频繁结果集的初始化过程，利用频繁发布请求的挖掘算法从一段时间内大量的用户发布请求中获得频繁的发布请求；通过执行频繁发布请求对应的SQL语句获得需要存储的中间结果作为频繁结果集；

其次是系统执行用户的发布请求的过程，首先是将用户用ATG表示的发布请求与频繁发布模式集中的发布请求相匹配：如果利用匹配算法获得具有最大相似程度的频繁发布请求，则到频繁结果集中获得中间结果作为所需要的部分或全部的发布内容，从而降低执行SQL查询的时间进而加速发布响应的时间；如果频繁结果集中没有的部分，则将没有匹配的子树利用与关系数据库的ATG视图匹配获得SQL语句，执行此语句获得关系形式的结果；如果没有找到可以利用的频繁发布请求，则直接到关系数据库的ATG视图中匹配获得对应的SQL语句，执行之后获得需要发布内容的关系形式结果；下一步将需要发布内容的关系形式的结果送到XML包装器，利用从用户的发布请求中获得的XML结构信息将关系数据结果转换成为XML格式。

3、根据权利要求2所述的优化方法，其特征在于所述的挖掘算法的具体步骤如下：

输入：D-存储PRT的数据库

      |D|-D数据库中的PRT的数目

      minSupp-最小支持度

      输出：Cache{Fi}-频繁发布模式集

(1)F₁＝{频繁一边发布根子树集合，PRST¹.count≥minSupp*|D|}

(2)for(k＝1；F_k≠；k++)do

(3){C_k+1＝；

(4)for each PRST^kF_k do

(5)S＝包含有PRST^k的(k+1)边子树PRST^k+1集合；

(6)for each PRST^k+1S do

(7)if存在PRST^k＝PRST^k+1减掉一个叶子节点后的k边子树，并且PRST^k不在F_k中

(8)then执行剪枝操作S＝S-PRST^k+1；

(9)C_k+1＝C_k+1∪S；

(10)for each PRST^k+1C_k+1 do

(11)D.count(PRST^k+1)＝0；

(12)for each PRTD do

(13)for each PRST^k+1C_k+1 do

(14)if PRST^k+1PRT

(15)then D.count(PRST^k+1)++；

(16)F_k+1＝{PRST^k+1|PRST^k+1C_k+1，D.count(PRST^k+1)≥minSupp*|D|}}；

(17)return Cache{Fi|i＝1，2，...，k-1，k}

其中，PRST^k为有K条边的发布根子树。

4、根据权利要求2所述的优化方法，其特征在于所述的匹配算法的具体步骤如下：输入：Cache-缓存的FPRST集合

TargetTree-用户的待匹配的子树

W-匹配的层权值的数组

输出：MatchedSubTree-具有最大匹配度的FPRST

(1)max_score＝0；

(2)MatchedSubTree＝；

(3)for each SubTreeCache do

(4)if(SubTree每一层节点数目≤TargetTree对应层节点数目)then

(5){k＝0；

(6)for SubTree的每层

(7)if SubTree此层节点集合不是TargetTree对应层节点子集

(8)then SubTree不是一棵匹配子树并跳出for循环

(9)else k＝所在的层数and

(10)J[k]＝SubTree此层节点数目；

(11)if(SubTree是一棵匹配子树)then

$\left(12\right)---\mathrm{current}\_\mathrm{score}=\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}J\left[i\right]*W\left[i\right]:$

(13)if(current_score＞max_score)then

(14)MatchedSubTree＝SubTree；

(15)max_score＝current_score；}

(16)return MatchedSubTree。

Images