CN105447112B - 一种实现关系数据库Hash分区高效扩展的方法 - Google Patents

Abstract

本发明涉及关系数据库分区存储技术领域，尤其是一种实现关系数据库Hash分区高效扩展的方法。本发明方法通过设定一个足够大的环形Hash空间，把Hash空间划分为固定大小的多个子空间，通过创建系统物理分区并与各子空间进行映射，由CRC32算法对数据进行哈希计算，从而选择子空间并映射物理空间上，当增加系统物理分区时，只需对最大的子空间进行拆分，并转移原来的物理空间上的数据记录，而不需重新计算各数据记录的Hash值，从而可快速高效地扩展数据表的分区存储空间。本发明解决了关系型数据库进行Hash分区时需要创建2的N次方的分区数量，或是增加分区时，需增加原有的1倍数量的分区，而且需重新计算关键因子的Hash值的问题，从而为大数据量的关系数据库表的分区增加提供一个高效的扩展方法，可应用于大数据量的关系数据库Hash分区上。

Description

一种实现关系数据库Hash分区高效扩展的方法

技术领域

本发明涉及关系数据库分区存储技术领域，尤其是一种实现关系数据库Hash分区高效扩展的方法。

背景技术

随着关系数据库的普及，越来越多的应用系统使用关系数据库来进行数据的存储，但随着时间的推移，关系数据库对于大数据表的反应会越来越迟缓，从而需要进行数据库表的优化、设计存储架构等；

传统的关系数据库支持为了支持对大数据表读写，经常通过对大数据表的存储通过分区，存储在多个物理分区上，从而降低对同一个文件进行读取的频率来提高数据的调取效率，分区的类型包括范围分区、列表分区、Hash分区、复合分区等，其中的Hash分区是经常使用的分区方法，通过对关键因子的Hash计算，从而把数据均衡地分布于多个物理分区上；

但是现在的数据库Hash分区方法，在分区的数量上都建议是按2的N次方进行分，在进行Hash扩展时，还需按原有的分区数量的1倍进行操作，同时增加分区时，还需对新的分区的关键因子的Hash值进行重新计算，导致应用系统需要扩展新分区时，需一次性扩展比较多的物理空间，同时还会因为Hash值的重新计算，导致耗费大量的时间。

发明内容

本发明解决的技术问题在已提供一种实现关系数据库Hash分区高效扩展的方法；使数据库物理空间的增加与删除可以根据应用系统的需要而自主定义增加或删除物理空间的数量，同时还提高了增加物理分区时的效率，从而大大提高数据库的分区管理。

本发明解决上述技术问题的技术方案是：

设定一个足够大的环形Hash空间，把Hash空间划分为固定大小的多个子空间；创建一定数量的系统物理分区，并与各子空间进行映射；在增加数据时对关键因子由CRC32算法进行哈希计算，从而选择相应的逻辑空间并映射存储到具体的物理空间上；当增加系统物理分区时，修改系统的物理分区与各子空间的映射关系，并把存储在上个拆分子空间上、按照新的映射关系需转移到新物理分区上的数据，转移到新增的物理空间上；当删除系统物理分区时，把要删除的物理分区的数据合并到邻近的物理分区上，并在逻辑分区上也进行合并，从而实现物理分区的高效快速扩展。

由程序系统中间件设定环形Hash空间，此空间满足特大数据量的存储；并把此存储空间按每500万的大小，划分为N多个逻辑子空间，用于逻辑空间的映射。

应用系统根据数据量的需要，创建N个物理分区，N个物理分区按已经分配好的逻辑子空间把足够大的环形Hash空间平均为N个逻辑分区，逻辑分区由多个逻辑子分区组成，逻辑分区、逻辑子分区、物理分区组成映射关系。

当增加数据时，中间件对数据的关键因子进行CRC32哈希计算，得出哈希值并找到对应的逻辑空间上，从而把数据存储映射到特定的物理空间上。

当增加物理分区时，中间件对原有的逻辑分区进行判断，获取逻辑子分区中最大的逻辑分区，对其进行对半拆分，同时对其映射的物理分区，通过相应的数据库语句，把存储的数据按拆分的哈希值的范围，转移到新的物理分区上；

在增加了物理分区，并对物理分区中的数据进行拆分、对逻辑分区中的逻辑子分区进行拆分后，保存相应的逻辑分区、逻辑子分区、物理分区的映射关系，从而为后续的数据读写提供保证。

当删除物理分区时，中间件对原有的逻辑分区进行分析判断，选择要删除的物理分区对应的逻辑分区相邻的逻辑分区，并通过把要删除的物理分区的数据合并到相邻的物理分区上，再把物理分区进行删除；

删除物理分区后，把要删除的物理分区映射的逻辑分区合并到对应的逻辑分区上，保存相应的逻辑分区、逻辑子分区、物理分区的映射关系，从而为后续的数据读写提供保证。

本发明方法是参考一致性Hash算法，通过设定足够大的Hash空间，再把Hash空间进行均等的分列，通过逻辑分区、逻辑子分区、物理分区的一一对应关系，从而保证在增加或删除物理分区时，只需修改逻辑分区、逻辑子分区、物理分区的映射关系，并拆分或合并物理分区上的数据，就能大致物理分区的增加或删除，也无需对Hash值进行重新计算，从而大大减少一次性操作物理分区的数量、时间，为数据库的分区管理一个方便高效的扩展方法。本发明可广泛应用于大数据量的关系数据库表一开始无法预估具体的数量、后续需不断增加物理分区的应用系统上，从而可节省扩展分区时时间与空间。

附图说明

下面结合附图对本发明进一步说明：

附图1是本发明系统逻辑图；

附图2是本发明的增加物理分区流程图；

具体实施方式

如图1、2所示，本发明是设定一个足够大的环形Hash空间，把Hash空间划分为固定大小的多个子空间；创建一定数量的系统物理分区，并与各子空间进行映射；在增加数据时对关键因子由CRC32算法进行哈希计算，从而选择相应的逻辑空间并映射存储到具体的物理空间上；当增加系统物理分区时，修改系统的物理分区与各子空间的映射关系，并把存储在上个拆分子空间上、按照新的映射关系需转移到新物理分区上的数据，转移到新增的物理空间上；当删除系统物理分区时，把要删除的物理分区的数据合并到邻近的物理分区上，并在逻辑分区上也进行合并，从而实现物理分区的高效快速扩展。

具体而言，由程序系统中间件设定环形Hash空间，此空间满足特大数据量的存储；并把此存储空间按每500万的大小，划分为N多个逻辑子空间，用于逻辑空间的映射。应用系统根据数据量的需要，创建N个物理分区，N个物理分区按已经分配好的逻辑子空间把足够大的环形Hash空间平均为N个逻辑分区，逻辑分区由多个逻辑子分区组成，逻辑分区、逻辑子分区、物理分区组成映射关系。

当增加数据时，中间件对数据的关键因子进行CRC32哈希计算，得出哈希值并找到对应的逻辑空间上，从而把数据存储映射到特定的物理空间上。

当增加物理分区时，中间件对原有的逻辑分区进行判断，获取逻辑子分区中最大的逻辑分区，对其进行对半拆分，同时对其映射的物理分区，通过相应的数据库语句，把存储的数据按拆分的哈希值的范围，转移到新的物理分区上；

在增加了物理分区，并对物理分区中的数据进行拆分、对逻辑分区中的逻辑子分区进行拆分后，保存相应的逻辑分区、逻辑子分区、物理分区的映射关系，从而为后续的数据读写提供保证。

当删除物理分区时，中间件对原有的逻辑分区进行分析判断，选择要删除的物理分区对应的逻辑分区相邻的逻辑分区，并通过把要删除的物理分区的数据合并到相邻的物理分区上，再把物理分区进行删除；

删除物理分区后，把要删除的物理分区映射的逻辑分区合并到对应的逻辑分区上，保存相应的逻辑分区、逻辑子分区、物理分区的映射关系，从而为后续的数据读写提供保证。

具体实施步骤包含以下几个步骤：

步骤一、在软件系统中间件运行前根据应用系统需要，创建N个数据库物理分区；

步骤二、把N个数据库物理分区配置到属性文件上，软件系统中间件在启动时，对整个系统的Hash空间进行平均分配，并形成N个逻辑空间，各个逻辑空间包括了多个逻辑子空间，逻辑空间与物理分区一一对应；

步骤三、当增加一条数据，软件系统中间件通过对关键因子进行CRC32算法的哈希计算，从而映射到逻辑空间上并存储在对应的物理空间上；

步骤四、当在数据库上增加一个物理分区时，在程序系统中间件上配置增加的新增的物理分区，程序系统中间件自动对占用最大的逻辑空间从逻辑上、物理上进行拆分，自动生成新的映射关系，以应对新的Hash计算结果的存储；

步骤五、当在数据库上删除上个物理空间时，需先在程序系统中间件上对要删除的物理分区进行删除，系统通过获取要删除的物理分区对应的相临的两个逻辑分区，计算数据量相对较小的分区用于合并要删除的物理分区的数据，然后再从数据库删除物理分区。

Claims (10)

1.一种实现关系数据库Hash分区高效扩展的方法，其特征在于：设定一个足够大的环形Hash空间，把Hash空间划分为固定大小的多个子空间；创建一定数量的系统物理分区，并与各子空间进行映射；在增加数据时对关键因子由CRC32算法进行哈希计算，从而选择相应的逻辑空间并映射存储到具体的物理空间上；当增加系统物理分区时，修改系统的物理分区与各子空间的映射关系，并把存储在上个拆分子空间上、按照新的映射关系需转移到新物理分区上的数据，转移到新增的物理空间上；当删除系统物理分区时，把要删除的物理分区的数据合并到邻近的物理分区上，并在逻辑分区上也进行合并，从而实现物理分区的高效快速扩展。

2.根据权利要求1所述的一种实现关系数据库Hash分区高效扩展的方法，其特征在于：由程序系统中间件设定环形Hash空间，此空间满足特大数据量的存储；并把此存储空间按每500万的大小，划分为N多个逻辑子空间，用于逻辑空间的映射。

3.根据权利要求1所述的一种实现关系数据库Hash分区高效扩展的方法，其特征在于：应用系统根据数据量的需要，创建N个物理分区，N个物理分区按已经分配好的逻辑子空间把足够大的环形Hash空间平均为N个逻辑分区，逻辑分区由多个逻辑子分区组成，逻辑分区、逻辑子分区、物理分区组成映射关系。

4.根据权利要求2所述的一种实现关系数据库Hash分区高效扩展的方法，其特征在于：应用系统根据数据量的需要，创建N个物理分区，N个物理分区按已经分配好的逻辑子空间把足够大的环形Hash空间平均为N个逻辑分区，逻辑分区由多个逻辑子分区组成，逻辑分区、逻辑子分区、物理分区组成映射关系。

5.根据权利要求1至4任一项所述的一种实现关系数据库Hash分区高效扩展的方法，其特征在于：当增加数据时，中间件对数据的关键因子进行CRC32哈希计算，得出哈希值并找到对应的逻辑空间上，从而把数据存储映射到特定的物理空间上。

6.根据权利要求1至4任一项所述的一种实现关系数据库Hash分区高效扩展的方法，其特征在于：当增加物理分区时，中间件对原有的逻辑分区进行判断，获取逻辑子分区中最大的逻辑分区，对其进行对半拆分，同时对其映射的物理分区，通过相应的数据库语句，把存储的数据按拆分的哈希值的范围，转移到新的物理分区上；

在增加了物理分区，并对物理分区中的数据进行拆分、对逻辑分区中的逻辑子分区进行拆分后，保存相应的逻辑分区、逻辑子分区、物理分区的映射关系，从而为后续的数据读写提供保证。

7.根据权利要求5所述的一种实现关系数据库Hash分区高效扩展的方法，其特征在于：当增加物理分区时，中间件对原有的逻辑分区进行判断，获取逻辑子分区中最大的逻辑分区，对其进行对半拆分，同时对其映射的物理分区，通过相应的数据库语句，把存储的数据按拆分的哈希值的范围，转移到新的物理分区上；

在增加了物理分区，并对物理分区中的数据进行拆分、对逻辑分区中的逻辑子分区进行拆分后，保存相应的逻辑分区、逻辑子分区、物理分区的映射关系，从而为后续的数据读写提供保证。

8.根据权利要求1至4任一项所述的一种实现关系数据库Hash分区高效扩展的方法，其特征在于：

当删除物理分区时，中间件对原有的逻辑分区进行分析判断，选择要删除的物理分区对应的逻辑分区相邻的逻辑分区，并通过把要删除的物理分区的数据合并到相邻的物理分区上，再把物理分区进行删除；

删除物理分区后，把要删除的物理分区映射的逻辑分区合并到对应的逻辑分区上，保存相应的逻辑分区、逻辑子分区、物理分区的映射关系，从而为后续的数据读写提供保证。

9.根据权利要求5所述的一种实现关系数据库Hash分区高效扩展的方法，其特征在于：

当删除物理分区时，中间件对原有的逻辑分区进行分析判断，选择要删除的物理分区对应的逻辑分区相邻的逻辑分区，并通过把要删除的物理分区的数据合并到相邻的物理分区上，再把物理分区进行删除；

删除物理分区后，把要删除的物理分区映射的逻辑分区合并到对应的逻辑分区上，保存相应的逻辑分区、逻辑子分区、物理分区的映射关系，从而为后续的数据读写提供保证。

10.根据权利要求6所述的一种实现关系数据库Hash分区高效扩展的方法，其特征在于：

当删除物理分区时，中间件对原有的逻辑分区进行分析判断，选择要删除的物理分区对应的逻辑分区相邻的逻辑分区，并通过把要删除的物理分区的数据合并到相邻的物理分区上，再把物理分区进行删除；

删除物理分区后，把要删除的物理分区映射的逻辑分区合并到对应的逻辑分区上，保存相应的逻辑分区、逻辑子分区、物理分区的映射关系，从而为后续的数据读写提供保证。