CN103180835B - 用于扩展无共享系统的装置和方法 - Google Patents

Abstract

本发明涉及一种包含可执行指令的计算机可读存储介质及方法，所述可执行指令用于估计扩展的无共享数据存储配置。形成具有特定参数的数据再分布安排表。数据在扩展的无共享数据内进行再分布，所述数据根据数据再分布安排表进行存储。

Description

用于扩展无共享系统的装置和方法

技术领域

本发明总体上涉及在无共享系统中的数字数据的存储和检索。更具体地，本发明涉及一种采用最小服务中断来扩展无共享系统的技术。

背景技术

附图1中示出了本领域中已知的无共享网络100。所述无共享网络100或体系结构100包括主节点102和一组无共享节点104_A至104_H。每个无共享节点104具有它自己的专用存储器、磁盘和输入/输出设备，并独立于体系结构100中的其他节点运行。每个节点自给自足，在整个网络中无共享。因此，在整个系统中没有争论的焦点并没有共享系统资源。本体系结构的优点是它具有高扩展性。

数据库系统将数据存储在分布在无共享节点中的表中。通过将每个数据（例如，每个记录或每行）分配到节点之一来存储数据。数据通常根据两种方式之一分配给节点。一种方法是散列分布，使用散列函数映射数据到节点。另一个方法是以循环或随机方式将数据分配至节点。

散列计算得出的部分数据被称为分布键。分布键可以是复合键，也就是包含一行中的几个列。散列分布产生均匀的数据分布和具有相同分布键的协同定位记录（也就是指具有相同分布键的记录被分配至相同的节点）。协同定位数据经常被用于连接操作，连接操作中来自不同数据库表的数据被合并。在查询工作负载中，连接操作通常是成本最高的操作。通常通过选用连接列作为分布键，连接在每个节点的基础上被执行，而无需在处理步骤之间在节点中再分布数据。表的所有行都是使用相同的分布键进行分布。单独的表通常选择不同的分布键。

节点被增加至无共享系统用来容纳更多的数据或额外的查询工作负载。当新的节点加至系统，数据需要被再分布。数据再分布通常需要单个数据的审查和位置的再分配。再评估大型数据的每一行需耗费大量时间，例如再分配数千万TB字节的数据要花费数日。因此，当需要增加一个节点至无共享系统时，通常的做法就是安排几天的宕机时间。这就需要降低与扩大无共享数据存储相关的停机时间。

发明内容

一种包括可执行指令用于评估扩展无共享数据存储配置的方法和计算机可读存储介质。形成具有特定参数的数据再分布安排表。数据根据数据再分布安排表在扩展的无共享数据存储中再分布。

附图说明

结合下面详细的说明以及相关的附图，本发明能够得到更好的理解：

附图1图示了本领域中已知的无共享网络体系结构。

附图2图示了无共享网络的主节点在本发明一实施例中的应用。

附图3图示了无共享网络的无共享节点在本发明一实施例中的应用。

附图4图示了有关扩展鉴别器的处理操作在本发明一实施例中的应用。

附图5图示了安排表在本发明有关实施例中的应用。

附图6图示了依据本发明一实施例的表再分布操作的执行。

相同的标号代表多个附图中的视图的对应部分。

具体实施方式

图2示出了主节点202配置为执行本发明的操作。主节点202具有标准元件，例如一个或多个CPU210_A到210_N。所述CPU通过总线214连接到输入/输出设备212。输入/输出设备212可以包括标准元件，例如键盘、鼠标、显示器、打印机等等。网络接口电路216也连接至总线214上，使得主节点202在联网环境中进行操作。

存储器220同样连接至总线214上。存储器220用于存储执行本发明实施例的可执行指令。尤其是，存储器220存储扩展鉴别器222。所述扩展鉴别器222包括用于估计增加至无共享系统的一个或多个节点的可执行指令。基于已有的和增加的节点性能属性，扩展鉴别器222形成一个具有参数的数据再分布安排表224，存储在存储器220中。用户可以访问表224用来重新配置数据再分布任务和/或用来追踪数据再分布任务的进度。

图3示出了无共享节点304在本发明一实施例中的应用。所述无共享节点304也包括标准元件，例如一组CPU310A_到310_N连接至总线314。一组输入/输出设备312也连接至总线314。网络接口电路316同样连接至总线314，为网络提供连通性。

存储器320也连接至总线314。存储器320包括用于执行本发明的操作的数据和可执行指令。尤其是，存储器320包括具有可执行指令的再分布模块322，所述可执行指令用来在无共享数据库段324中再分布数据。所述再分布模块322根据数据再分布安排表来分布数据。

图4示出了处理操作在本发明一实施例中的应用。新的无共享数据存数配置被402估计。这可以用扩展鉴别器222执行。具有特定参数的数据再分布安排表随后形成404。这一操作同样也可以用扩展鉴别器222执行。数据随后在无共享系统406中被再分布。位于单个节点的再分布模块322可被用于执行该操作。

图5示出了根据本发明一实施例配置的数据再分布安排表500。表500包括列502用来指明需要被迁移的不同的表。表500还包括列504指明优先级，所述优先级应该被归因于表的迁移。因此，例如频繁使用的表可能被分配为高的优先级。

表500也指明了平行度506。平行度表征源表的数量，所述源表能够同时再分布。表500也可以具有一个或多个时间列508。时间列可以为数据迁移任务指示起始时间。时间列508还可以指示任务被执行的持续时间（例如，从午夜到早上六点连续几日直到完成）。

图5示出的表500中可以包括一进度列510。进度信息表征数据迁移任务完成的百分比。最终，表500还可以包括一个完成列512，用以指示数据迁移任务是否完成。

如前所述，扩展鉴别器222可以被用于形成表500。优选地，表可以被管理员进行编辑。例如，表被管理员更好地编辑以改变参数，如，优先级、平行度和时间。定期查询工具，如SQL可以被用于改变表的参数。

图6示出了被再分布模块222执行的操作。在一个实施例中，再分布模块602生成一个对应于已有表602的目标表。例如，目标表在系统的新增加的节点上被形成。目标表是原始表定义的复制，但是不包含任何数据，并且相对于其他事务处理不可见。源表随后被604锁定。这就阻止了升级，但是可读。数据从源表中读出并被再分布至目标表606中。这就使得，数据被一排排读出然后被插入目标表。当数据交换完成，源表和目标表自动交换。就是说，系统看见新的目标表替换了原始源表。

表的分布策略对要用到的分布类型进行编码，例如散列或循环。在散列分布的情形下，分布策略定义分布键。优选地，每个表的分布被记录在数据库目录中（为了简便，将表和表的部分都称为表）。在散列分布的情形下，数据（一行中的一个或多个列）被用来计算散列值。散列值映射到节点，例如基于模操作。优选地，分布策略对客户应用程序是透明的，在这种情况下，分布的数据可以被客户以相同的查询进行访问。根据应用的分布，查询处理器可以选择不同的执行方案并采用归因于散列分布的协同定位。根据查询工作负载，在有关响应时间和资源占用（例如存储）方面，其处理随机分布数据不可能和处理散列分布数据一样高效。

本发明的数据迁移可以在最小的宕机时间下执行。在一个实施例中，系统仅在初始化阶段脱机。在初始化阶段，形成数据目录，并将从已有数据库的有关所有用户表的信息定义在新的节点上。这一过程在扩展模式中为每个表获取用于状态追踪的元数据。作为初始化过程的一部分，用于所有表的策略被设置为随机分布（即散列分布策略是无效的）。在初始化完成之后，用户可以继续访问数据库，并且系统恢复联机。联机时，数据的完整性得以保障，正常运行，例如ETL作业，支持用户查询和报告。只有当表正在迁移时，每个表或表的部分不能进行写入操作，例如当表正被再分布时。

因此，本发明支持以最小的宕机时间扩展无共享数据库。本发明根据一新的映射，再分布单个表以均匀散布原有和增加的节点的数据。当数据库系统全面运转时，数据再分布可以执行。没有被再分布的数据仍然可以进行访问，尽管访问效率可能会降低。优选地，通过将每个数据保持在至少两倍，来保持在再分布过程中的系统容错。

具有特定参数的数据再分布安排表允许管理员修改数据迁移任务。例如，所述表允许管理员赋予频繁使用的表以优先级，以使得它最先被再分布。表还可以被设置为在特定时间，例如仅在高峰时段，执行数据再分布任务。平行度也可以被定义为指明一次再分布的表的数量。

本发明的一个实施例涉及一种具有计算机可读存储介质计算机存储产品，所述计算机可读存储介质上具有计算机代码用于执行不同的计算机执行操作。所述介质和计算机代码可以是那些为本发明的目的而专门设计和构造的，或者可以是对本计算机软件领域人员所熟知的可用的介质和代码。例如计算机可读介质可包括但不限于：磁性介质如硬盘、软盘和磁带；光介质如CD-ROM、DVD、和全息设备、磁光介质；以及特别配置为存储和执行程序代码的硬件设备，例如专用集成电路（ASIC），可编程逻辑设备（PLD）及ROM和RAM设备。计算机代码例如包括如编译器产生的机器代码，以及被计算机用解释器执行的包含更高级别的文件代码。例如，本发明的实施例可以使用C++或其它编程语言和开发工具。本发明的另一实施例可以以硬线电路替代或与机器可执行软件指令结合来执行。

为了说明的目的，说明书在上述中采用了特定的术语以使本发明被彻底理解。然而，明显对于本领域技术人员来讲，为了实践本发明，并不需要某些具体细节。因此，本发明上述的具体实施例的阐述只是为了说明和描述的目的。并不意图详尽或将本发明限定到公开的精密形式；显然，上述内容可能给出了很多实施例和变形的启示。本发明中选出和描述的实施例是为了最好地解释本发明及其实际应用的理论，因此可被本领域技术人员可用多种改造对本发明及其多个实施例进行充分利用。

Claims (16)

1.一种扩展无共享数据的系统，包括：

估计增加至扩展无共享数据存储的新节点的装置，所述扩展无共享数据存储具有已有节点；

利用表定义在所述新节点上生成目标表的装置，所述目标表对应于一个或多个已有节点上的源表；

形成具有特定参数的数据再分布安排表的装置，该参数识别用于再分布至所述目标表中的源表中的数据；

根据数据再分布安排表，在扩展无共享数据内再分布从所述源表至所述目标表中的数据的装置；及

当该数据再分布完成后交换所述源表和所述目标表的装置。

2.根据权利要求1中的扩展无共享数据的系统，其中所述数据再分布安排表识别源表，所述源表具有需被再分布的数据。

3.根据权利要求2中的扩展无共享数据的系统，其中所述数据再分布安排表为源表识别再分布优先级。

4.根据权利要求1中的扩展无共享数据的系统，其中所述数据再分布安排表规定了平行度，所述平行度表征能被同时再分布的源表的数量。

5.根据权利要求1中的扩展无共享数据的系统，其中所述数据再分布数据表规定了再分布源表的起始时间。

6.根据权利要求1中的扩展无共享数据的系统，其中所述数据再分布分布表规定了再分布源表的持续时间。

7.根据权利要求1中的扩展无共享数据的系统，其中所述数据在分布表显示数据再分布进程。

8.根据权利要求1中的扩展无共享数据的系统，其中所述数据再分布安排表指示数据再分布完成状态。

9.根据权利要求1中的扩展无共享数据的系统，进一步包括在初始化阶段将已有表定义复制至新的无共享系统数据存储资源的装置。

10.根据权利要求9中的扩展无共享数据的系统，进一步包括在初始化阶段用于无效散列分布策略的装置。

11.根据权利要求1中的扩展无共享数据的系统，进一步包括用于形成数据再分布状态追踪的扩展模式的装置。

12.一种扩展无共享系统的方法，包括：

估计增加至扩展无共享数据存储的新节点，所述扩展无共享数据存储具有已有节点；

利用表定义在所述新节点上生成目标表，所述目标表对应于一个或多个已有节点上的源表；

形成具有特定参数的数据再分布安排表，该参数识别用于再分布至所述目标表中的源表中的数据；根据数据再分布安排表，在扩展无共享数据内再分布从所述源表至所述目标表中的数据；及

当该数据再分布完成后交换所述源表和所述目标表。

13.根据权利要求12中的方法，其中所述数据再分布安排表识别源表，所述源表具有需被再分布的数据。

14.根据权利要求12中的方法，进一步包括在初始化阶段将已有表定义复制至新的无共享系统数据存储资源。

15.根据权利要求14中的方法，进一步包括在初始化阶段使散列分布策略无效。

16.根据权利要求12中的方法，进一步包括形成数据再分布状态追踪的扩展模式。