CN103810237A - 数据管理方法和系统 - Google Patents

Abstract

本发明涉及用于数据管理的方法、系统和计算机程序产品。一个方面包括对于数据库创建的搜索索引。该搜索索引具有分别将数据与第一存储器或者第二存储器中的存储位置相关联的第一或者第二类型的参考值。响应于数据检索请求，使用参考值从第一或者第二存储器存取数据。如果存在正在在第一和第二存储器存储之间迁移的数据，则相应地重新计算并且改变搜索索引中的参考值。

Description

数据管理方法和系统

技术领域

本公开一般涉及数据库搜索和存储领域；并且本公开尤其涉及通过使用缓冲器池作为存储器驻留数据的永久存储器中的存储（in-memory storage）的混合表实施。

背景技术

很多大型数据库主要存储在磁盘上。这些基于磁盘的数据库经常使用缓冲器来检索最近存取的数据，以提高性能。基于磁盘的数据库经常共享缓冲器空间，以优化空间并且提高系统的性能。然而，缓冲器的池化产生当发送或者接收数据时的性能瓶颈，性能瓶颈经常由磁盘输入-输出（I/O）要求引起。

为了减少这种瓶颈并且避免性能问题，有时使用存储器中的数据库。在存储器中的数据库中，数据的主要位置是在物理或者永久存储器中。多数存储器中的数据库由存储器优化数据结构和存取方法来特征化。通过完全从存储器中而不是转到基于磁盘分类、存储和检索指定的数据来大大增强性能。使用存储器中的数据库允许在不需要处理提供在代码路径中的磁盘I/O瓶颈的问题的情况下，执行存取请求。然而，使用存储器中的数据库方案具有很多权衡，因为每个数据单元的存储成本对于存储器中的数据库比对于磁盘存储器方案更高。这是因为更少成本的硬盘可以替代更多的存储器。此外，用于存储器中的数据库方案的随机存取存储器（RAM）芯片不能够接近小硬盘驱动器的密度。存储器中的数据库的另一个问题是：在一些应用中，由于空间约束对于大型数据库的挖掘不能保持到存储器中的存储。一个解决方案是使用数据库的混合搜索索引，该混合搜索索引使用“d”和“m”型的数据库。

发明内容

实施例包括数据管理的方法、系统和计算机程序产品。在一个实施例中，创建数据库的搜索索引并且该搜索索引具有分别将数据与第一存储器或者第二存储器中的存储位置相关联的第一或者第二类型的参考值。响应于数据检索请求，使用参考值从第一或者第二存储器存取数据。如果数据在第一和第二存储器存储之间迁移，则重新计算并且改变搜索索引参考值。

通过本公开的技术实现附加特征和优点。这里详细描述公开的其他实施例和方法。为了更好地理解具有该优点和特征的公开，参考描述和附图。

附图说明

视为本发明的主题被具体指出并且在说明书的结论处的权利要求中清楚地要求保护。结合附图考虑，本公开的前面和其他特征以及优点从下面的详细描述中显而易见，在附图中：

图1是根据实施例的流程图示；以及

图2描绘图示根据实施例的对数据的存储器存取和缓冲器的框图。

具体实施方式

数据库的混合搜索编索引提供灵活性。混合搜索索引数据库使用存储器中的数据库和基于磁盘的数据库。在表级进行两种类型的数据位置之间的区别。表可以表示为存储器中的表（m-表），其中该表的整个内容存储在存储器中，或者替代地，表可以是基于磁盘的（d-表），其中数据主要存储在磁盘上。使用存储器中的存储和磁盘存储二者可以实现性能和成本之间的平衡。

在多数数据库中，表被建立并且用于数据检索。表是被组织为水平行和垂直列的数据元素或者值的集合，其具有在行和列交叉处的多个单元。常规地，表具有规定数量的列和任何数量的行。每个行由这样的值标识，该值出现在已经被标识为唯一键索引的特定列子集合中。为了改进数据检索操作的速度，使用数据库索引。可以使用数据库表的一个或者多个列来创建索引，以提供快速随机查找和顺序记录的有效存取二者的基础。

使用单一设置中的两种不同数据库类型的二分法造成当使用混合搜索编索引时仍然造成挑战，因为这些数据库具有不同要求。一种可能的解决方案提供其中新索引层压在另一个的顶部上（独立的m-部分和d-部分索引）的方案。但是这个解决方案还可能效率低，因为当正在存取数据时其强加两个独立表的m-部分和d-部分之间的连续切换。这可能变得资源密集并且耗费时间。此外，这种索引可能具有可以证明为对于多数存储器中的可用存储过大的足迹要求。

图1示出其中使用优化资源和搜索时间的混合数据库的一个实施例的流程图。如图1中所示，虽然使用两种类型的存储器（诸如在一个实施例中，磁盘存储存储器和存储器中），但是恒定切换不是必要的，因为使用参考值和缓冲器池的组合允许标识磁盘存储或者存储器中的存储中数据的存储。通过参考图2，可以更好地理解对缓冲器池和磁盘和/或存储器中的存储的存取。

图2图示按照可以根据图1中的流程图使用的一个实施例的框图。在图2中，经由缓冲器220的使用优化对存储数据库的存储器存取，该缓冲器220在与存储器中或者永久存储器存储240和磁盘存储器存储230的处理通信中。在图2中所示的实施例中，存储器中或者永久存储器在经由搜索引擎210与缓冲器220的处理通信中，但是在替代实施例中，可以提供直接处理存取。应当注意，可互换使用永久、物理和存储器中的存储，以意味着相同类型的存储器存储。在一个实施例中，可以经由搜索引擎210对于两个存储器存储实现存储器存取，搜索引擎210可以使用一个或者多个处理器215实现。使用搜索引擎210的数字设备可以表示各种数字设备，诸如但不限于，移动设备、个人计算机、服务器之类，或/和可以包括显示器、打印机或者本领域技术人员可以认识到的其他组件，或者可以在另外与显示器、打印机或者本领域技术人员可以认识到的其他组件的处理通信中。在其他实施例中，缓冲器220和磁盘存储230以及存储器中的存储240可以是统一设备中的一部分，并且在需要或者不需要独立搜索引擎210的情况下（如本领域技术人员可以认识到，诸如直接通过处理器或者计算机），可以直接向它们执行存取。

传统地，在物理存储器存储从一个地方移动到另一个地方的同时，缓冲器是用于临时保存数据的物理存储器存储的区域。以这样的方式，缓冲器可以保存关于从磁盘存储存取的数据的信息，但是仅仅可以以这样的方式缓冲有限量的磁盘存储数据。在图2中，缓冲器220是缓冲器池，并且在一个实施例中，可以包括缓冲器池管理器221。在以本领域技术人员可以认识到的普通方式缓冲磁盘驻留数据的同时，然后通过使用缓冲器池作为存储器驻留数据的永久存储来实现对数据库的优化存取。

使得结合图1和图2讨论的优化存取能够由本领域技术人员已知的很多类型的搜索索引结构使用。这样的示例可以是树结构，以仿真具有链接的节点的集合的分层级的树。节点可以包含值或者条件，或者表示独立数据结构，或者甚至是其本身的树。树中的每个节点具有零个或者更多子节点，子节点在树中的该节点的下面。具有子节点的节点称为子节点的父节点（或者祖先节点或者上级）。节点具有至多一个父节点。内部节点（还已知为内节点或者分支节点）是具有子节点的树的任何节点。类似地，还已知为外节点、叶节点或者终端节点的外部节点是不具有子节点的任何节点。类似地，具有二叉或者B树结构的树结构还可以与结合图1和2描述的优化存取一起使用。二叉树（B-树）数据结构保持分类的数据，并且允许在对数时间中搜索、顺序存取、插入和删除。B-树通常具有不止两个子节点并且优化用于读取并且写入大数据块的系统。

为了容易理解，图2的流程图实施例示出具有叶节点的树结构，但是如讨论的，其他搜索结构可以用在替代实施例中。参考回图1，当需要存取数据时，通过首先找到与该数据相关联的数据库来发起搜索。在数据库搜索索引中，在一个实施例中，这可以通过标识诸如行和相关联的键之类的索引的位置来开始。

返回参考图1，在一个实施例中，然后建立搜索索引表，使得如果要在表的m-部分中找到数据行（块110），则经由指针（存储在所述索引树的叶节点中）访问页面，并且通过调用缓冲器池管理器以解析磁盘地址并且发起页面缓冲器加载来存取在表的d-部分中找到的所述数据。这个概念将现在将通过检查图1的流程图的块来详细讨论。

以块110开始，该情形中的搜索索引表通过利用特定键搜索特定行来找到该情形中的入口，该特定键通过示例的方式选择取为键=x（例如，数字或者字符的串）。对索引结构的叶级执行搜索，如块120中所示。如块125中所示，然后测试对键的引用，以确定引用是页面指针还是页面磁盘地址。如果引用是页面指针，则页面指针用于存取在存储器中的存储（图2中的240）中的m-部分页面130。在块160，然后从被存取的m-部分页面检索包含匹配在搜索中使用的键的数据的行。在另一方面，如果reference（x）125是页面磁盘地址127，则可以执行另外的处理以解析磁盘地址140。此外，在块150，测试页面磁盘地址，以确定由此引用的页面是否呈现在缓冲器池中。由此，在150，如果不存在“缓冲器池丢失”（即，数据呈现在缓冲器池中），则如图在157所示，与页面磁盘地址对应的d-部分页面从缓冲器池被存取。否则，如果在150，存在缓冲器池丢失，则如在155所示，从磁盘存储器存储230（图2）存取引用页面。在一个实施例中，然后调用缓冲器池管理器，以从磁盘存储器存储向缓冲器池中传送包含引用页面的数据的块。在任一情形中，如在160所示，然后从被存取的d-部分页面实现包含匹配在搜索中使用的键的数据的行。

结合图2讨论的优化存储不迫使需要大存储器足迹。传统地，m-表索引是密集的，这意味着数据库被构建，使得对于数据文件中的每个记录存在具有键和指针对的文件。换言之，这个文件中的每个键与到分类数据文件中的记录的特定指针相关联。在利用复制键的聚类索引中，密集索引指向具有该键的第一记录。最经常的是，在索引中对于每行存在唯一键和引用。另一方面，d-表索引经常是稀疏的并且被构建，使得文件配备对于数据文件中的每个块的键和指针的对。这个文件中的每个键与到分类数据文件中的块的特定指针相关联。在稀疏索引中，键值的范围映射到单个数据页面。因为键值被聚类（相邻值位于相同页面中），所以这是可能的。

结果，在足迹尺寸方面具有稀疏数据库有多得多的优点，因为混合表的所有行的密集编索引将要求过多的空间，这对于保持单个混合表是挑战。此外，利用单个混合表，典型页面缓冲器池解决方案不得不仍然被保留用于将d-部分数据块有效加载到存储器中以进行处理。另一个挑战是便于“m”和“d”部分之间的容易数据迁移。然而，在存取作为存储器索引的m-部分中有效并且通过包括稀疏索引节约空间的单个表索引是不足的，因为m-部分和d-部分之间的移动可能仍然是消耗资源的。这是因为这种迁移要求拷贝要从m-部分物理传送到d-部分的数据。数据迁移的需要通常导致数据老化，这意味着处理较旧的数据，该较旧的数据不频繁被使用并且应当被迁移到较慢的介质。

在结合图2讨论的优化存取中，可以使用稀疏索引，并且可以通过简单改变引用的类型并且重新计算引用值来在m-部分和d-部分之间迁移数据。不需要改变页面的内容。在一个实施例中可以明确地进行迁移，或者可以替代地与类似LRU（最近最少使用）队列的页面替换机制相关联。然后最近不使用的m部分页面可以被改变为d-部分改变页面，其有效地造成迁移。这提供m-部分和d-部分之间的容易的数据迁移。此外，保留对m-表行存取的有效性并且经由存储器中的索引和存储器指针来存取表行。对m-部分行的存取可能比对d-部分行的存取更有效，因为在该情形中，缓冲器池管理器不得不被调用，以解析磁盘页面地址。通过允许缓冲器池管理器转化磁盘页面地址为页面命中和丢失并且对它们适当动作来保留d-部分的大容量。特别是在数据不适合存储器本身并且必须被分为不同类型的独立表的例子中，这解决了与使用索引表（如所讨论的，该索引表过大而不合适存储器并且灵活和低成本地搜索）相关联的很多问题。

这里使用的术语仅仅用于描述具体实施例的目的，并且不意图限制本公开。如这里使用，单一形式“一”、“一个”和“该”也意图包括复数形式，除非上下文清楚地另外指示。还将理解，当用在本说明书中时术语“包括”和/或“包含”指定存在规定特征、整数、步骤、操作、元件和/或组件，但不排除存储或者附加一个或者多个其他特征、整数、步骤、操作、元件、组件和/或其组。

对应的结构、材料、动作和下面权利要求书中的所有部件或者步骤加功能元件的等效物，意图包括用于执行结合特定要求保护的其他要求保护的要素的功能的任何结构、材料或者动作。本公开的描述已经呈现用于例示和描述的目的，但不意图穷举或者限制于公开的形式的公开。在不脱离本公开的范围和精神的情况下，很多修改和变型对于本领域的技术人员将是显而易见的。实施例被选取和描述，以最佳地解释本公开的原理和实践应用，并且使得本领域的技术人员能够理解具有各种修改的各种实施例的公开适于设想的特定使用。

所属技术领域的技术人员知道，本发明的各个方面可以实现为系统、方法或计算机程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式（包括固件、驻留软件、微代码等），或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明的各个方面还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码

可以采用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。

下面将参照根据本发明实施例的方法、装置（系统）和计算机程序产品的流程图和/或框图描述本发明。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些计算机程序指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。

也可以把这些计算机程序指令存储在计算机可读介质中，这些指令使得计算机、其它可编程数据处理装置、或其他设备以特定方式工作，从而，存储在计算机可读介质中的指令就产生出包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的指令的制造品（article of manufacture）。

可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其它可编程装置上执行的指令能够提供实现流程图和/或框图中的方框中规定的功能/操作的过程。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

Claims (16)

1.一种数据管理方法，包括：

创建数据库的搜索索引，所述搜索索引具有分别将数据与第一存储器或者第二存储器中的存储位置相关联的第一或者第二类型的参考值；

响应于数据检索请求，使用所述参考值从所述第一或者第二存储器存取数据；

基于正在在所述第一和第二存储器之间迁移的数据，重新计算并且改变所述搜索索引参考值。

2.如权利要求1所述的方法，其中，所述第一存储器是存储器中的存储，并且所述第二存储器是磁盘存储器存储。

3.如权利要求2所述的方法，还包括如果确定特定数据可以从缓冲器池存取，则使用所述第二类型的所述参考值来从所述缓冲器池存取所述特定数据。

4.如权利要求3所述的方法，其中，所述搜索索引是树结构索引。

5.如权利要求4所述的方法，其中，所述树具有叶节点。

6.如权利要求5所述的方法，其中，所述第一类型的所述参考值是到存储器中的存储的页面指针，并且所述第二类型的所述参考值是页面磁盘地址。

7.如权利要求6所述的方法，其中，根据提供的所述参考值，使用所述页面指针或者所述页面磁盘地址提供数据存取。

8.如权利要求5所述的方法，其中索引所述永久存储器中的m-数据的参考值的所述叶节点是所述缓冲器中到页面的指针，并且索引d数据的参考值的所述叶节点是磁盘地址。

9.如权利要求5所述的方法，其中，所述搜索索引是二叉（B-树）索引结构。

10.如权利要求6所述的方法，其中，所述索引具有多个行和列，并且所述行具有相关联的键。

11.如权利要求10所述的方法，其中，所述键的排序与所述行的排序对应。

12.如权利要求8所述的方法，其中，从一个组件到另一个组件的所述迁移可以在页面替换机制上完成，并且所述页面正在由所述缓冲器生成。

13.如权利要求12所述的方法，其中，从一个组件到另一个组件的所述迁移可以基于最近最少使用来完成。

14.如权利要求8所述的方法，其中，从一个组件到另一个组件的所述迁移可以基于显式完成。

15.一种数据管理系统，包括实现权利要求1-14中的方法的任何步骤的部件。

16.一种系统，包括：

存储器中的存储；

磁盘存储器存储，处于与所述存储器中的存储的处理通信中；

缓冲器，处于与所述存储器中的存储和磁盘存储器存储的处理通信中，所述缓冲器包括用于处理缓冲器池的缓冲器池管理器；

数据库搜索引擎，至少具有用于管理数据搜索索引结构的处理器，所述搜索索引具有将数据与所述存储器中的存储和磁盘存储器存储相关联的第一或者第二类型的参考值；

所述第一类型的参考值是所述缓冲器池中到存储器中的存储的页面指针，并且所述第二类型的参考值是要由所述缓冲器池处理的页面磁盘地址。

Images