CN1507595A - 在数据库中组织数据 - Google Patents

Abstract

提供了数据库，其中结论集(conclusion sets)(20，22，24，26，28和30)被分为一系列分等级的级别(级别1，级别2，级别3)。当结论集是完整时之前，数据在第一级别(级别1)处被附加到结论集。然后数据被从结论集(20)移动到其从属结论集(24，26)，因此由于在相对少的磁盘存取操作中移动多通道(entries)而减少了需要将数据附加到数据库的磁盘存取的数量。

Description

在数据库中组织数据

本发明涉及在数据库中组织数据的方法，以及实现这样方法的数据库。

典型的数据库，无论它们是在该申请的共同待批准的英国专利申请GB0029238.3中说明的类型，还是诸如“B-树”结构这样的其它未知的类型，它们具有决策图表或其它索引，指向保存匹配搜索标准的数据的结论集。附加的和/或二者择一的该结论集可保存指向匹配搜索键(search key)数据位置的指针。

在任何适当大小的数据库中，结论集被保存在海量存储器媒体中，这里通常是指硬盘驱动器。硬盘装置(的速度)要比半导体存储器慢得多，并且由于得对这些海量存储装置执行这些输入/输出(I/O)操作，所以数据库性能可能会受到影响。即使使用开销的最小索引，通常数据库得执行2个I/O操作，作为将数据插入到索引和结论集中的读、修改和重写循环的一部分。

根据本发明的第一方面，提供了在数据库中组织数据存储的方法，其中对数据库的结论集被以分等级的结构排列，并且在其中这样安排该结论集，以使在项(items)的数量接近对选择结论集的阈值之前在第一显著级别处将项插入到选择的结论集中，然后选择结论集的内容被移动到从属结论集，从而清空了选择结论集。

这样可以提供已修改的结论集结构，显著地减少了紧跟在决策图表输出之后的结论集数量。

进一步，也可能在决策图表中分布结论集。

优先领域数据库将具有单“层”结论集，可从决策图表中存取。插入到结论集中的新数据项将至少需要2个I/O操作来包括该数据(该数据可仅属于一个结论集，若插入的数据可属于不只一个结论集，则可能属于更多I/O操作。)

通过在分等级的结构中组织结论集，可大大减少可直接从决策图表存取的结论集的数量。当然，可以保持绝大多数分等级的，显著的，(即最高级别)快速存储器中的结论集，诸如半导体存储器。在本发明的那些实施例中，这一点尤其真实，其中通过决策图表来分布结论集。

通过保持半导体存储器中的最高级别的结论集，当将数据插入到数据库中时，没有引起I/O损耗。这样就可能在键和数据插入操作过程中提供数据库性能的显著改善。

有利的是，在这样的时间，即结论集变得完整或其中通道的数量超过了预定级别之前，高级别的结论集有效的高速缓存数据。然后，通过将结论集的内容移动到从属结论集来清空该结论集。在移动过程中，通过参考搜索标准，即搜索键将该数据分类，这样以使可期望该数据在直接从属结论集之间随机分布。可在结论集结构中对许多分等级的级别重复这个填充(filling)和移动过程。

数据的移动可能需要，实际上经常需要在一个或多个保持在海量媒体存储器中的结论集之间进行数据传递。这样就引起了磁盘读和磁盘写操作，但现在这些出现在对总体上的结论集中，而不是对在结论集中的每个单独项中，从而每通道的I/O损耗就被大大减少了。

有利的是，为了知道匹配数据是否被保存在恰当的最高级别结论集和每个从属结论集中，在键检索(key retrieval)或删除过程中，检查其决策标准匹配该搜索键的恰当最高级别结论集和每个从属结论集。这样，与优先领域数据库比较，开销的数据库查询(database query)就增加了，但在插入数量大，但查询数量较低的某些数据库结构中，这一点是可接受的。

在结论集被分布在整个决策图表中的本发明那些实施例中，可约束结论集间(inter-conclusion set)距离，以阻止结论集出现得太频繁。有利的是，结论集距离参数由整数Q定义。Q可采用比0大或等于0的数字。这样，例如，可创建数据库

Q＝0：可在每个分支节点处形成结论集。

Q＝1：可在每个其它分支节点处形成结论集。

Q＝2：可在每个第二分支节点处形成结论集。

等等。

可在获得最后Q层决策图表之前，在整个决策图表中维持这些规则。在这些层中，有关结论集之间的分等级距离的规则变得不能执行，并且因此不能严格应用。

根据本发明的第二方面，提供了数据库，其中以分等级的结构放置对该数据库的结论集，而且其中排列该结论集，这样以使在其中项的数量达到阈值之前，在第一显著级别处将项插入到选择结论集中，然后选择结论集的内容被移动到从属结论集中，从而清空选择结论集。

根据本发明的第三方面，提供用于使数据处理器依照本发明的第一方面来运行的计算机程序产品。

将通过例子，参考附图，进一步说明本发明，其中：

图1示意性的阐明了具有以传统方式放置结论集的数据库；

图2示意性的阐明了具有依照本发明放置结论集的数据库；

图3示意性的阐明了具有在决策图表中分布结论集的数据库，并组成本发明的实施例。

图1中所示的数据库具有指数2，并包含决策图表4和许多结论集6、8、10、12和14。通过一个且仅一个通过决策图表的路径来获得每个结论集。然而，接着每个结论指向数据存储16中的相关通道。

决策图表4包含许多决策节点，在那里为了定义通过决策图表应采用哪条路径，搜索键与决策标准匹配。在决策图表中该键的内在组织没有组成本发明的部分，从而不必在这里详细说明。然而，在决策图表中可利用诸如B-树索引这样的优先领域索引结构。

在图1中所示的布置中，所有的结论集6、8、10、12和14有相同的重要性，这样无结论集分等级的比任何其它的结论集更重要，并且确实可能有成百上千甚至成千上万的结论集。

在图2中所示的布置中，该结论集以分等级的结构排列。在那里阐明的布置中，具有级别1的3个级别的结论集是分等级中最重要的，而级别3是分等级中最不重要的。这样在这个布置中，由于有级别3结论集，所以仅有四分之一数量的级别1结论集，并且又在这个例子中，一个级别1结论集将该通路标记为6个其它结论集。明显的，当级别数量接着增加到在最不重要级别处的结论集的给定数量时，级别1结论集的数量就逐渐减少了。

现在假设我们想要将通路插入到数据库中。依照对该通路的插入键来操纵该决策图表，如同在优先领域数据库的情况下，以发现该通路属于哪个结论集。在图1中阐明的数据库中，这将导至唯一识别的一个结论集。然而，在本发明中，这导至识别许多级别1结论集的一个结论集20(在许多级别1结论集中仅明确显示了2个20和22)。有利的是，级别1结论集20和22也保存在快速存储器中，即快速海量媒体存储装置或更好依旧是(译者注：原文这里为still，我不确定这里应当理解为“静态的”还是“仍旧”)半导体存储器，这样以使在将数据插入到结论集20中所开销的时间相比将数据插入到传统数据库的结论集6、8、10、12和14中的一个中所需的时间而言较少。当然，若级别1结论集20和22被保持在半导体存储器中，则在向其中写时，就没有引起I/O损耗。

在时间中，当越来越多数据被插入到数据库中时，结论集20开始填充。一旦结论集20中的通道数量达到预定的数量时，相应于该结论集就完整了。结论集20中的通道被移动到直接从属结论集24和26中，其属于级别2的分等级结构。

通过继续操作存在于决策图表4中的规则，而决定其中较低级别结论集22和24从级别1结论集20接收通道的决策。这样，例如，若决策图表4具有基于以位数量的升序(排列的)单独位值的规则，则用于将数据从最高级别结论集移动到第二级别结论集24和26的规则将使用搜索键中的下一位来决定对每个数据项哪个结论集24或26应该是接受者。在这个移动过程中，结论集20被清空了。

当那里的每个结论集填补时，从第N级别移动到第N+1级别的过程出现在结论集层次的每个级别处。这样，一旦结论集26变得完整了，就依次将其数据移动到在第三级别层次上的从属结论集28和30。在这个例子中，该第三级别是最低级别的层次，并且结论集28和30不能将其数据传到从属结论集。然而，若4个或更多级别的结论集被包括在这个分等级的结构中，则当结论集28和30变得完整时，结论集28和30可真正的将其数据移动到其自己的从属结论集。我们可能期待，假设键是随机分布的，在移动过程中，结论集20中的通道的一半将转到结论集24，而另外一半将转到结论集26。在移动的每个级别处重复这个过程，这样以使所有的通路充分相等的分布在较低结论集中。

可在将数据从结论集26移动到结论集28和30的操作中阐明移动的I/O损耗。在这个过程中，必须从结论集26中读该数据，这需要来自磁盘的一次读取。较低级别结论集28和30也必须具有来自磁盘的其数据读取，这需要两次读取操作。然后，来自结论集26的数据被分类，以正确指向目的集28或30，然后更新通路，接着对两个较低级别的结论集28和30的数据被写回到磁盘，这需要两个写操作。然后结论集26被清空，这需要一个写操作。这样这就给出了每个移动的6个输入/输出操作的全部消耗。然而，这个单移动可影响成百上千的通路。也应该注意的是，来自最高级别结论集20的移动将会更少，因为它将通常驻留在存储器中，从而仅要执行两次到集24和26的读操作和到这些集24和26的写操作。

假设图2中所示的分等级结构，结论集具有S个子级别(在这种情况下，S＝2，S＝(L-1)中，L是级别数)。需要将通路移动到最底部级别(bottom mostlevel)I/O操作的数量是6S。然而，由于每个移动操作移动包含E个通路的整个(完整)结论集，所以每通道的I/O损耗由下式给出：

$I/O\cos t=\frac{6S}{E}$

因此，若E足够大和/或S足够小，则与图1中所示的优先领域系统相比较，可显著减少I/O损耗，每通道其具有2个I/O损耗。这样，通过保持100个通道的结论集，以及结论集深度8，每次插入的I/O损耗为 $6\×\frac{S}{100}=0.48.$

应该注意的是，对固定索引大小而言，当减少S增加插入吞吐量时，为了意识到益处，其也增加了得保持在存储器中的结论集的数量。

当查询对特定键的索引时，必须查询在趋向恰恰那个最不重要结论集的单路径中的每个结论集。这样，若分等级结构包含L个级别，则为了发现所有匹配该键的结果，必须查询L结论集，这是由于该键可驻留在层次中的任何级别处。这样，这个索引结构增加了吞吐量，或者通路可被加到该索引的容易程度，这是以降低查询性能为代价的。然而，在任何得接收大量的数据但不经常查询它的应用中，这个权衡是可接收的。这样应用的例子是必须载入每个事务的欺诈检测系统，但仅查询那些涉及可疑行动的事务。

这样，能通过将结论集的结构修改为分等级的结构，以提供改善的数据库性能。

发明者已经意识到不需要所有的结论集在数据库结构的最低级别处。如在上文中注意到的，在图2中所示的分布结构中，数据被插入到发现的第一结论集中，如级别1结论集，然后数据被逐渐移动到较低级别。

这样，如果结论集被分布在整个决策索引结构中，那么可进一步减少开销的插入。

图3示出了修改的数据库，结论集以分等级的结构放置，其中该结构扩展到决策图表中。

图3阐明了决策图表的部分，其中已经用结论集间距离Q＝3来构造该决策图表，这样以使允许结论集40、50和60在每个第三分支节点处。假设我们加入该数据库，那时包含其中的数据是这样以使结论集40刚刚被创建，但结论集50和60还没有被创建。

在使用中，数据被添加到数据库，而且该数据的内容是这样，以使结论集40变得完整。一旦这个情况出现，在该结论集中的数据就通过创建较低级别节点42，或者节点43被全部重新分配，而且图3中概括的示出了将该数据从结论集40分布到新的临时结论集44和45。然后在结论集40再次填充之前，继续该数据库的填充。然后，其试图将其内容重新分配到其从属结论集。这依次可使它们中的一个完整，并因此有必要将该完整临时结论集从节点42的出口路径处移除，并插入一个或多个进一步节点以及需要的附加结论集。

这可在确立结论集50为到节点46的出口这样的时间之前继续这个。此时，结论集40和50之间的结论集间距离然后相应由数据库的设计者或用户指定的距离Q，在这些条件下，我们要做检查以了解是否有中间结论集存在于在节点41和46之间扩展的决策路径中。任何在这个决策路径中的结论集被移除，并且它们的内容被移动到结论集50。

当结论集50填充满时，可在创建结论集60这样的时间之前创建新的临时结论集。这样，在不处于决策索引最低层中的结论集之间的结论集间距离就可能被保持在特定的结论集间间隔内。在图3中所示的布置中，结论集62和70代表数据库的最低层，而且当然，结论集60、62和70可代表图2中所示布置内结论集的层1、2和3。

如上所述，到较低级别结论集的结论集通路的海量重新分配导致与单独项数据的写(操作)相比较而言的减少磁盘输入/输出困难(penalty)。进一步，由于通路被插入到发现的第一结论集中，所以图3中所示到该结构中的数据通路消耗被进一步减少了。然后，每个来自完整结论集的通路被移动到由通过要移动通路设置的完整结论集得出决策图表而发现的合适的较低级别结论集。

当查询该数据库时，得操作对相应键的决策路径，使其恰巧到最低层级别的结论集，并且也必须查询在路由(route)上发现的每个结论集，这是由于该结论集可包含匹配搜索键标准的数据。

Claims (15)

1.组织数据库(2)中的数据存储方法，其特征在于，对所述数据库的结论集(20，24，26，28，30，40，50，60)被布置为分等级的结构，而且布置所述结论集，这样以使在项的数量到达所述选择结论集的阈值之前，项被插入到在第一级别重要性(级别1)处的选择结论集中，然后所述选择结论集的内容被移动到从属结论集，从而清空所述选择结论集。

2.如权利要求1中所述的方法，其特征在于每个结论(20，24，26，28，30)集具有零、一个或两个直接从属结论集。

3.如权利要求1或2中所述的方法，其特征在于，在移动过程中，为了选择通路被传递到哪个所述直接从属结论集，所述选择结论集中的数据与搜索标准相比较。

4.如权利要求3中所述的方法，其特征在于，所述数据库包括决策图表，并且搜索标准是所述决策图表的有效扩展。

5.如任何一个前述权利要求中所述的方法，其特征在于，结论集的所述分等级结构被布置为分层结构。

6.如权利要求5中所述的方法，其特征在于，所述分层结构包括L个级别，在第一到第(L-1)级别中的每个结论集分别具有在第二到第L级别中的两个直接从属结论集。

7.如权利要求6中所述的方法，其特征在于，一旦第N级别中的给定结论集其中具有预定数量的通道，其内容就被移动到其直接从属结论集，这里N是从1到(L-1)的整数。

8.如任何一个前述权利要求中所述的方法，其特征在于，在使用中，在快速存储器内保存具有在预定值上的分等级重要性的结论集。

9.如权利要求1中所述的方法，其特征在于，所述结论集(40，50，60)被分布在所述数据库的决策图表中。

10.如权利要求1或9中所述的方法，其特征在于，构造所述决策图表，以在大多数所述决策图表中维持特定结论集间距离。

11.如权利要求9或10中所述的方法，其特征在于，在移动来自结论集数据的过程中，所述数据被移动到基于所述特定数据内容的从属结论集。

12.如权利要求1、9、10或11中所述的方法，其特征在于，结论集的内容被全体移动了。

13.数据库，其特征在于，所述数据库结论集以分等级的结构布置，而且布置所述结论集，这样以使在项的数量达到对所述选择结论集的阈值之前，项被插入到在第一重要性级别处的选择结论集中，然后所述选择结论集的内容被移动到从属结论集，从而清空所述选择结论集。

14.如权利要求13中所述的数据库，其特征在于，所述结论集(40，50，60)被分布在决策图表中。

15.用于促使数据处理器实施权利要求1到12中任何一个的方法的计算机程序产品。

Images