CN105786617A - 用于扩展无共享系统的装置和方法 - Google Patents
用于扩展无共享系统的装置和方法 Download PDFInfo
- Publication number
- CN105786617A CN105786617A CN201610094878.5A CN201610094878A CN105786617A CN 105786617 A CN105786617 A CN 105786617A CN 201610094878 A CN201610094878 A CN 201610094878A CN 105786617 A CN105786617 A CN 105786617A
- Authority
- CN
- China
- Prior art keywords
- data
- nodal point
- stored
- source
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/485—Task life-cycle, e.g. stopping, restarting, resuming execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种系统和方法,系统包括:响应于删除被增加到具有第一节点的数据存储的第二节点,用于形成数据再分布安排表的装置。数据再分布安排表存储多个参数,多个参数用于将存储在源表中的一组数据再分布至目标表中,其中:源表与第一节点相关联,目标表与所述第二节点相关联,并且多个参数包括为存储在所述源表中的一组数据再分布至目标表中指明优先级的第一参数,以及指明被同时再分布的源表的数量的平行度参数。响应于删除被增加到所述数据存储中的第二节点,依照优先级和平行度存储根据存储在数据再分布安排表中的参数将存储在源表中的一组数据再分布至目标表中的装置,其中,每个第一节点和第二节点包括各自的存储设备,独立于数据存储的其它节点的存储设备。
Description
本申请是申请日为2011年5月17日、申请号为201180036769.3、发明名称为“用于扩展无共享系统的装置和方法”的中国专利申请的分案申请。
技术领域
本发明总体上涉及在无共享系统中的数字数据的存储和检索。更具体地,本发明涉及一种采用最小服务中断来扩展无共享系统的技术。
背景技术
附图1中示出了本领域中已知的无共享网络100。所述无共享网络100或体系结构100包括主节点102和一组无共享节点104_A至104_H。每个无共享节点104具有它自己的专用存储器、磁盘和输入/输出设备,并独立于体系结构100中的其他节点运行。每个节点自给自足,在整个网络中无共享。因此,在整个系统中没有争论的焦点并没有共享系统资源。本体系结构的优点是它具有高扩展性。
数据库系统将数据存储在分布在无共享节点中的表中。通过将每个数据(例如,每个记录或每行)分配到节点之一来存储数据。数据通常根据两种方式之一分配给节点。一种方法是散列分布,使用散列函数映射数据到节点。另一个方法是以循环或随机方式将数据分配至节点。
散列计算得出的部分数据被称为分布键。分布键可以是复合键,也就是包含一行中的几个列。散列分布产生均匀的数据分布和具有相同分布键的协同定位记录(也就是指具有相同分布键的记录被分配至相同的节点)。协同定位数据经常被用于连接操作,连接操作中来自不同数据库表的数据被合并。在查询工作负载中,连接操作通常是成本最高的操作。通常通过选用连接列作为分布键,连接在每个节点的基础上被执行,而无需在处理步骤之间在节点中再分布数据。表的所有行都是使用相同的分布键进行分布。单独的表通常选择不同的分布键。
节点被增加至无共享系统用来容纳更多的数据或额外的查询工作负载。当新的节点加至系统,数据需要被再分布。数据再分布通常需要单个数据的审查和位置的再分配。再评估大型数据的每一行需耗费大量时间,例如再分配数千万TB字节的数据要花费数日。因此,当需要增加一个节点至无共享系统时,通常的做法就是安排几天的宕机时间。这就需要降低与扩大无共享数据存储相关的停机时间。
发明内容
一种包括可执行指令用于评估扩展无共享数据存储配置的方法和计算机可读存储介质。形成具有特定参数的数据再分布安排表。数据根据数据再分布安排表在扩展的无共享数据存储中再分布。
附图说明
结合下面详细的说明以及相关的附图,本发明能够得到更好的理解:
附图1图示了本领域中已知的无共享网络体系结构。
附图2图示了无共享网络的主节点在本发明一实施例中的应用。
附图3图示了无共享网络的无共享节点在本发明一实施例中的应用。
附图4图示了有关扩展鉴别器的处理操作在本发明一实施例中的应用。
附图5图示了安排表在本发明有关实施例中的应用。
附图6图示了依据本发明一实施例的表再分布操作的执行。
相同的标号代表多个附图中的视图的对应部分。
具体实施方式
图2示出了主节点202配置为执行本发明的操作。主节点202具有标准元件,例如一个或多个CPU210_A到210_N。所述CPU通过总线214连接到输入/输出设备212。输入/输出设备212可以包括标准元件,例如键盘、鼠标、显示器、打印机等等。网络接口电路216也连接至总线214上,使得主节点202在联网环境中进行操作。
存储器220同样连接至总线214上。存储器220用于存储执行本发明实施例的可执行指令。尤其是,存储器220存储扩展鉴别器222。所述扩展鉴别器222包括用于估计增加至无共享系统的一个或多个节点的可执行指令。基于已有的和增加的节点性能属性,扩展鉴别器222形成一个具有参数的数据再分布安排表224,存储在存储器220中。用户可以访问表224用来重新配置数据再分布任务和/或用来追踪数据再分布任务的进度。
图3示出了无共享节点304在本发明一实施例中的应用。所述无共享节点304也包括标准元件,例如一组CPU310A_到310_N连接至总线314。一组输入/输出设备312也连接至总线314。网络接口电路316同样连接至总线314,为网络提供连通性。
存储器320也连接至总线314。存储器320包括用于执行本发明的操作的数据和可执行指令。尤其是,存储器320包括具有可执行指令的再分布模块322,所述可执行指令用来在无共享数据库段324中再分布数据。所述再分布模块322根据数据再分布安排表来分布数据。
图4示出了处理操作在本发明一实施例中的应用。新的无共享数据存数配置被402估计。这可以用扩展鉴别器222执行。具有特定参数的数据再分布安排表随后形成404。这一操作同样也可以用扩展鉴别器222执行。数据随后在无共享系统406中被再分布。位于单个节点的再分布模块322可被用于执行该操作。
图5示出了根据本发明一实施例配置的数据再分布安排表500。表500包括列502用来指明需要被迁移的不同的表。表500还包括列504指明优先级,所述优先级应该被归因于表的迁移。因此,例如频繁使用的表可能被分配为高的优先级。
表500也指明了平行度506。平行度表征源表的数量,所述源表能够同时再分布。表500也可以具有一个或多个时间列508。时间列可以为数据迁移任务指示起始时间。时间列508还可以指示任务被执行的持续时间(例如,从午夜到早上六点连续几日直到完成)。
图5示出的表500中可以包括一进度列510。进度信息表征数据迁移任务完成的百分比。最终,表500还可以包括一个完成列512,用以指示数据迁移任务是否完成。
如前所述,扩展鉴别器222可以被用于形成表500。优选地,表可以被管理员进行编辑。例如,表被管理员更好地编辑以改变参数,如,优先级、平行度和时间。定期查询工具,如SQL可以被用于改变表的参数。
图6示出了被再分布模块222执行的操作。在一个实施例中,再分布模块602生成一个对应于已有表602的目标表。例如,目标表在系统的新增加的节点上被形成。目标表是原始表定义的复制,但是不包含任何数据,并且相对于其他事务处理不可见。源表随后被604锁定。这就阻止了升级,但是可读。数据从源表中读出并被再分布至目标表606中。这就使得,数据被一排排读出然后被插入目标表。当数据交换完成,源表和目标表自动交换。就是说,系统看见新的目标表替换了原始源表。
表的分布策略对要用到的分布类型进行编码,例如散列或循环。在散列分布的情形下,分布策略定义分布键。优选地,每个表的分布被记录在数据库目录中(为了简便,将表和表的部分都称为表)。在散列分布的情形下,数据(一行中的一个或多个列)被用来计算散列值。散列值映射到节点,例如基于模操作。优选地,分布策略对客户应用程序是透明的,在这种情况下,分布的数据可以被客户以相同的查询进行访问。根据应用的分布,查询处理器可以选择不同的执行方案并采用归因于散列分布的协同定位。根据查询工作负载,在有关响应时间和资源占用(例如存储)方面,其处理随机分布数据不可能和处理散列分布数据一样高效。
本发明的数据迁移可以在最小的宕机时间下执行。在一个实施例中,系统仅在初始化阶段脱机。在初始化阶段,形成数据目录,并将从已有数据库的有关所有用户表的信息定义在新的节点上。这一过程在扩展模式中为每个表获取用于状态追踪的元数据。作为初始化过程的一部分,用于所有表的策略被设置为随机分布(即散列分布策略是无效的)。在初始化完成之后,用户可以继续访问数据库,并且系统恢复联机。联机时,数据的完整性得以保障,正常运行,例如ETL作业,支持用户查询和报告。只有当表正在迁移时,每个表或表的部分不能进行写入操作,例如当表正被再分布时。
因此,本发明支持以最小的宕机时间扩展无共享数据库。本发明根据一新的映射,再分布单个表以均匀散布原有和增加的节点的数据。当数据库系统全面运转时,数据再分布可以执行。没有被再分布的数据仍然可以进行访问,尽管访问效率可能会降低。优选地,通过将每个数据保持在至少两倍,来保持在再分布过程中的系统容错。
具有特定参数的数据再分布安排表允许管理员修改数据迁移任务。例如,所述表允许管理员赋予频繁使用的表以优先级,以使得它最先被再分布。表还可以被设置为在特定时间,例如仅在高峰时段,执行数据再分布任务。平行度也可以被定义为指明一次再分布的表的数量。
本发明的一个实施例涉及一种具有计算机可读存储介质计算机存储产品,所述计算机可读存储介质上具有计算机代码用于执行不同的计算机执行操作。所述介质和计算机代码可以是那些为本发明的目的而专门设计和构造的,或者可以是对本计算机软件领域人员所熟知的可用的介质和代码。例如计算机可读介质可包括但不限于:磁性介质如硬盘、软盘和磁带;光介质如CD-ROM、DVD、和全息设备、磁光介质;以及特别配置为存储和执行程序代码的硬件设备,例如专用集成电路(ASIC),可编程逻辑设备(PLD)及ROM和RAM设备。计算机代码例如包括如编译器产生的机器代码,以及被计算机用解释器执行的包含更高级别的文件代码。例如,本发明的实施例可以使用C++或其它编程语言和开发工具。本发明的另一实施例可以以硬线电路替代或与机器可执行软件指令结合来执行。
为了说明的目的,说明书在上述中采用了特定的术语以使本发明被彻底理解。然而,明显对于本领域技术人员来讲,为了实践本发明,并不需要某些具体细节。因此,本发明上述的具体实施例的阐述只是为了说明和描述的目的。并不意图详尽或将本发明限定到公开的精密形式;显然,上述内容可能给出了很多实施例和变形的启示。本发明中选出和描述的实施例是为了最好地解释本发明及其实际应用的理论,因此可被本领域技术人员可用多种改造对本发明及其多个实施例进行充分利用。
Claims (18)
1.一种系统,包括:
响应于删除被增加到具有第一节点的数据存储的第二节点,用于形成数据再分布安排表的装置,所述数据再分布安排表存储多个参数,该多个参数用于将存储在源表中的一组数据再分布至目标表中,其中:
所述源表与所述第一节点相关联,
所述目标表与所述第二节点相关联,并且
所述多个参数包括为存储在所述源表中的所述一组数据再分布至所述目标表中指明优先级的第一参数,以及指明被同时再分布的源表的数量的平行度参数,以及
响应于删除被增加到所述数据存储中的所述第二节点,依照所述优先级和所述平行度根据存储在所述数据再分布安排表中的参数将存储在所述源表中的所述一组数据再分布至所述目标表中的装置,
其中,每个所述第一节点和所述第二节点包括各自的存储设备,其独立于所述数据存储的其它节点的存储设备。
2.根据权利要求1中的系统,其中所述数据存储是非共享数据存储。
3.根据权利要求1中的系统,包括用于在原子事务中将所述源表与所述目标表交换的装置。
4.根据权利要求1中的系统,其中所述源表存储在所述第一节点上,并且所述目标表存储在所述第二节点上。
5.根据权利要求4中系统,还包括:用于使能访问存储在所述第一节点上的数据的装置,同时所述源表中的所述一组数据被再分布至所述目标表。
6.根据权利要求1中的系统,其中所述参数包括指明开始时间的时间参数,并且所述系统还包括用于根据所述开始时间延迟所述一组数据的再分布的装置。
7.一种方法,包括:
响应于删除被增加到具有第一节点的数据存储的第二节点:
形成数据再分布安排表,所述数据再分布安排表存储多个参数,该多个参数用于将存储在源表中的一组数据再分布至目标表中,其中:
所述源表与所述第一节点相关联,
所述目标表与所述第二节点相关联,并且
所述多个参数包括为存储在所述源表中的所述一组数据再分布至所述目标表中指明优先级的第一参数,以及指明被同时在分布的源表的数量的平行度参数,以及
依照所述优先级和所述平行度存储根据存储在所述数据再分布安排表中的参数,将存储在所述源表中的所述一组数据再分布至所述目标表中,
其中,所述第一节点和所述第二节点中的每个包括各自的存储设备,其独立于所述数据存储的其它节点的存储设备。
8.根据权利要求7中的方法,其中所述数据存储是非共享数据存储。
9.根据权利要求7中的方法,包括在原子事务中交换所述源表与所述目标表。
10.根据权利要求7中的方法,其中所述源表存储在所述第一节点上,并且所述目标表存储在所述第二节点上。
11.根据权利要求10中方法,还包括:使能访问存储在所述第一节点上的数据,同时所述源表中的所述一组数据被再分布至所述目标表。
12.根据权利要求7中的方法,其中所述参数包括指明开始时间的时间参数,并且所述方法还包括:根据所述开始时间延迟所述一组数据的再分布。
13.一种系统,包括:
一个或多个计算机以及存储指令的一个或多个存储设备,当由所述一个或多个计算机执行时,所述指令可操作的引起所述一个或多个计算机执行以下操作,包括:
响应于删除被增加到具有第一节点的数据存储的第二节点:
形成数据再分布安排表,所述数据再分布安排表存储多个参数,该多个参数用于将存储在源表中的一组数据再分布至目标表中,其中:
所述源表与所述第一节点相关联,
所述目标表与所述第二节点相关联,并且
所述多个参数包括为存储在所述源表中的所述一组数据再分布至所述目标表中指明优先级的第一参数,以及指明被同时在分布的源表的数量的平行度参数,以及
依照所述优先级和所述平行度存储根据存储在所述数据再分布安排表中的参数,将存储在所述源表中的所述一组数据再分布至所述目标表中,
其中,每个所述第一节点和所述第二节点包括各自的存储设备,其独立于所述数据存储的其它节点的存储设备。
14.根据权利要求13中的系统,其中所述数据存储是非共享数据存储。
15.根据权利要求13中的系统,其中所述操作包括在原子事务中交换所述源表与所述目标表。
16.根据权利要求13中的系统,其中所述源表存储在所述第一节点上,并且所述目标表存储在所述第二节点上。
17.根据权利要求16中系统,所述操作还包括:使能访问存储在所述第一节点上的数据,同时所述源表中的所述一组数据被再分布至所述目标表。
18.根据权利要求13中的系统,其中所述参数包括指明开始时间的时间参数,并且还包括:根据所述开始时间延迟所述一组数据的再分布。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/788,256 | 2010-05-26 | ||
US12/788,256 US8768973B2 (en) | 2010-05-26 | 2010-05-26 | Apparatus and method for expanding a shared-nothing system |
CN201180036769.3A CN103180835B (zh) | 2010-05-26 | 2011-05-17 | 用于扩展无共享系统的装置和方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180036769.3A Division CN103180835B (zh) | 2010-05-26 | 2011-05-17 | 用于扩展无共享系统的装置和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105786617A true CN105786617A (zh) | 2016-07-20 |
CN105786617B CN105786617B (zh) | 2019-05-03 |
Family
ID=45004285
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180036769.3A Active CN103180835B (zh) | 2010-05-26 | 2011-05-17 | 用于扩展无共享系统的装置和方法 |
CN201610094878.5A Active CN105786617B (zh) | 2010-05-26 | 2011-05-17 | 用于扩展无共享系统的装置和方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180036769.3A Active CN103180835B (zh) | 2010-05-26 | 2011-05-17 | 用于扩展无共享系统的装置和方法 |
Country Status (4)
Country | Link |
---|---|
US (2) | US8768973B2 (zh) |
EP (1) | EP2628083A4 (zh) |
CN (2) | CN103180835B (zh) |
WO (1) | WO2011149712A1 (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8768973B2 (en) | 2010-05-26 | 2014-07-01 | Pivotal Software, Inc. | Apparatus and method for expanding a shared-nothing system |
US8996505B1 (en) * | 2012-03-30 | 2015-03-31 | Pivotal Software, Inc. | Data movement driven automatic data placement |
CN103714073B (zh) | 2012-09-29 | 2017-04-12 | 国际商业机器公司 | 数据查询的方法和装置 |
WO2015065468A1 (en) | 2013-11-01 | 2015-05-07 | Longsand Limited | Asset browsing and restoration over a network using pre-staging and directory storage |
WO2015065470A1 (en) * | 2013-11-01 | 2015-05-07 | Longsand Limited | Asset browsing and restoration over a network using on demand staging |
GB2521197A (en) * | 2013-12-13 | 2015-06-17 | Ibm | Incremental and collocated redistribution for expansion of an online shared nothing database |
US20160140195A1 (en) * | 2014-11-19 | 2016-05-19 | Oracle International Corporation | Custom parallization for database table loading |
US10706065B2 (en) * | 2016-04-05 | 2020-07-07 | Sap Se | Optimizing transformation of data |
US10423620B2 (en) * | 2017-04-22 | 2019-09-24 | International Business Machines Corporation | Runtime creation of remote derived sources for query offload |
US11500931B1 (en) * | 2018-06-01 | 2022-11-15 | Amazon Technologies, Inc. | Using a graph representation of join history to distribute database data |
US11397714B2 (en) | 2020-05-04 | 2022-07-26 | Salesforce.Com, Inc. | Database implementation for different application versions |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5970495A (en) * | 1995-09-27 | 1999-10-19 | International Business Machines Corporation | Method and apparatus for achieving uniform data distribution in a parallel database system |
EP1544753A1 (en) * | 2003-12-15 | 2005-06-22 | Sap Ag | Partitioned database system |
US20050154731A1 (en) * | 2004-01-09 | 2005-07-14 | Daisuke Ito | Method of changing system configuration in shared-nothing database management system |
Family Cites Families (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6321238B1 (en) | 1998-12-28 | 2001-11-20 | Oracle Corporation | Hybrid shared nothing/shared disk database system |
US6681230B1 (en) * | 1999-03-25 | 2004-01-20 | Lucent Technologies Inc. | Real-time event processing system with service authoring environment |
US6438562B1 (en) * | 1999-08-24 | 2002-08-20 | Oracle Corporation | Parallel index maintenance |
US6704782B1 (en) * | 1999-12-09 | 2004-03-09 | International Business Machines Corporation | System and methods for real time progress monitoring in a computer network |
US7185076B1 (en) * | 2000-05-31 | 2007-02-27 | International Business Machines Corporation | Method, system and program products for managing a clustered computing environment |
US20030177146A1 (en) * | 2002-03-18 | 2003-09-18 | International Business Machines Corporation | Method, system, and program product for migrating data from one data base management system to another data base management system |
US20030220935A1 (en) * | 2002-05-21 | 2003-11-27 | Vivian Stephen J. | Method of logical database snapshot for log-based replication |
JP2004318744A (ja) * | 2003-04-21 | 2004-11-11 | Hitachi Ltd | 高可用性を提供するデータベース処理方法 |
JP2005056077A (ja) * | 2003-08-01 | 2005-03-03 | Hitachi Ltd | データベース制御方法 |
US6845384B2 (en) * | 2003-08-01 | 2005-01-18 | Oracle International Corporation | One-phase commit in a shared-nothing database system |
US8234517B2 (en) * | 2003-08-01 | 2012-07-31 | Oracle International Corporation | Parallel recovery by non-failed nodes |
US7277897B2 (en) * | 2003-08-01 | 2007-10-02 | Oracle International Corporation | Dynamic reassignment of data ownership |
WO2005098655A2 (en) * | 2004-02-21 | 2005-10-20 | Datallegro, Inc. | Ultra-shared-nothing parallel database |
US7590653B2 (en) * | 2005-03-02 | 2009-09-15 | Cassatt Corporation | Automated discovery and inventory of nodes within an autonomic distributed computing system |
JP4615344B2 (ja) * | 2005-03-24 | 2011-01-19 | 株式会社日立製作所 | データ処理システム及びデータベースの管理方法 |
US7512625B2 (en) * | 2005-04-01 | 2009-03-31 | International Business Machines Corporation | Method, system and program for joining source table rows with target table rows |
JP2006293864A (ja) * | 2005-04-13 | 2006-10-26 | Hitachi Ltd | ストレージシステム、データ移動管理システム、及びデータ移動管理方法 |
KR20060117505A (ko) * | 2005-05-11 | 2006-11-17 | 인하대학교 산학협력단 | 비공유 공간 데이터베이스 클러스터에서 확장성 해싱을이용한 클러스터 로그 기반의 회복 방법 |
US7389300B1 (en) * | 2005-05-27 | 2008-06-17 | Symantec Operating Corporation | System and method for multi-staged in-memory checkpoint replication with relaxed consistency |
JP4671353B2 (ja) * | 2005-12-14 | 2011-04-13 | 株式会社日立製作所 | ストレージ装置及びその制御方法 |
US20070162506A1 (en) * | 2006-01-12 | 2007-07-12 | International Business Machines Corporation | Method and system for performing a redistribute transparently in a multi-node system |
US20080005194A1 (en) * | 2006-05-05 | 2008-01-03 | Lockheed Martin Corporation | System and method for immutably cataloging and storing electronic assets in a large scale computer system |
JP4813975B2 (ja) * | 2006-06-09 | 2011-11-09 | 株式会社日立製作所 | 無共有型データベースシステムの構成変更方法、管理サーバ及び無共有型データベースシステム |
US8156107B2 (en) | 2007-02-02 | 2012-04-10 | Teradata Us, Inc. | System and method for join-partitioning for local computability of query over shared-nothing clusters |
US8185712B2 (en) * | 2007-08-08 | 2012-05-22 | International Business Machines Corporation | System and method for intelligent storage migration |
US20090063807A1 (en) * | 2007-08-29 | 2009-03-05 | International Business Machines Corporation | Data redistribution in shared nothing architecture |
US8380951B1 (en) * | 2008-10-01 | 2013-02-19 | Symantec Corporation | Dynamically updating backup configuration information for a storage cluster |
US7949640B2 (en) * | 2008-10-31 | 2011-05-24 | Gravic, Inc. | Referential integrity, consistency, and completeness loading of databases |
US8065556B2 (en) * | 2009-02-13 | 2011-11-22 | International Business Machines Corporation | Apparatus and method to manage redundant non-volatile storage backup in a multi-cluster data storage system |
US8078825B2 (en) * | 2009-03-11 | 2011-12-13 | Oracle America, Inc. | Composite hash and list partitioning of database tables |
US8325724B2 (en) * | 2009-03-31 | 2012-12-04 | Emc Corporation | Data redistribution in data replication systems |
JP4990322B2 (ja) * | 2009-05-13 | 2012-08-01 | 株式会社日立製作所 | データ移動管理装置及び情報処理システム |
US8633838B2 (en) * | 2010-01-15 | 2014-01-21 | Neverfail Group Limited | Method and apparatus for compression and network transport of data in support of continuous availability of applications |
US8375047B2 (en) * | 2010-03-31 | 2013-02-12 | Emc Corporation | Apparatus and method for query prioritization in a shared nothing distributed database |
US8768973B2 (en) | 2010-05-26 | 2014-07-01 | Pivotal Software, Inc. | Apparatus and method for expanding a shared-nothing system |
JP5911448B2 (ja) * | 2013-05-10 | 2016-04-27 | 株式会社日立製作所 | 移行支援装置、移行支援方法およびプログラム |
-
2010
- 2010-05-26 US US12/788,256 patent/US8768973B2/en active Active
-
2011
- 2011-05-17 CN CN201180036769.3A patent/CN103180835B/zh active Active
- 2011-05-17 CN CN201610094878.5A patent/CN105786617B/zh active Active
- 2011-05-17 EP EP11787130.1A patent/EP2628083A4/en not_active Ceased
- 2011-05-17 WO PCT/US2011/036807 patent/WO2011149712A1/en active Application Filing
-
2014
- 2014-06-05 US US14/296,847 patent/US9323791B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5970495A (en) * | 1995-09-27 | 1999-10-19 | International Business Machines Corporation | Method and apparatus for achieving uniform data distribution in a parallel database system |
EP1544753A1 (en) * | 2003-12-15 | 2005-06-22 | Sap Ag | Partitioned database system |
US20050154731A1 (en) * | 2004-01-09 | 2005-07-14 | Daisuke Ito | Method of changing system configuration in shared-nothing database management system |
Also Published As
Publication number | Publication date |
---|---|
EP2628083A4 (en) | 2017-07-26 |
US20150006589A1 (en) | 2015-01-01 |
CN103180835B (zh) | 2016-03-23 |
CN103180835A (zh) | 2013-06-26 |
US8768973B2 (en) | 2014-07-01 |
WO2011149712A1 (en) | 2011-12-01 |
EP2628083A1 (en) | 2013-08-21 |
US9323791B2 (en) | 2016-04-26 |
CN105786617B (zh) | 2019-05-03 |
US20110295907A1 (en) | 2011-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103180835B (zh) | 用于扩展无共享系统的装置和方法 | |
US20070162506A1 (en) | Method and system for performing a redistribute transparently in a multi-node system | |
US9081841B2 (en) | Asynchronous distributed garbage collection for replicated storage clusters | |
TW412692B (en) | Parallel file system and method with a metadata node | |
EP2422282B1 (en) | Asynchronous distributed object uploading for replicated content addressable storage clusters | |
US8301589B2 (en) | System and method for assignment of unique identifiers in a distributed environment | |
US20130124559A1 (en) | Method and system for inserting data records into files | |
JP7133647B2 (ja) | データ処理方法、装置及びコンピュータ読み取り可能な記憶媒体 | |
CN102110121A (zh) | 一种数据处理方法及其系统 | |
Ma et al. | A classification of file placement and replication methods on grids | |
US10515228B2 (en) | Commit and rollback of data streams provided by partially trusted entities | |
Nicolae et al. | BlobSeer: How to enable efficient versioning for large object storage under heavy access concurrency | |
CN103365740A (zh) | 一种数据冷备方法及装置 | |
JP4362839B1 (ja) | 仮想単一メモリストレージ上におけるメタ情報共有型分散データベース・システム | |
Wang et al. | Deister: A light-weight autonomous block management in data-intensive file systems using deterministic declustering distribution | |
JP2015045996A (ja) | 分散クエリ処理装置、処理方法及び処理プログラム | |
Schapranow et al. | High-performance in-memory genome project: a platform for integrated real-time genome data analysis | |
WO2021004295A1 (zh) | 一种元数据的处理方法、装置及计算机可读存储介质 | |
Luo et al. | Data placement algorithm for improving I/O load balance without using popularity information | |
Meiklejohn | Riak PG: Distributed process groups on dynamo-style distributed storage | |
US8510269B2 (en) | Uninterrupted database index reorganization/movement | |
Lu et al. | Cost-aware software-defined hybrid object-based storage system | |
US8234260B1 (en) | Metadata management for scalable process location and migration | |
Amer et al. | An extended technique for data partitioning and distribution in distributed database systems (DDBSs) | |
JP6353395B2 (ja) | 配信要求分散方法、ノード、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |