CN104539660B - 一种系统扩容时零数据迁移的数据分布存储方法及系统 - Google Patents

Abstract

本发明公开了一种系统扩容时零数据迁移的数据分布存储方法及系统，方法包括：通过接入层接收用户请求并将其转发至路由层；通过路由层将用户请求转发至存储层中对应的集群，并将其广播至该集群的所有机器；根据用户请求，对应集群的所有机器对数据进行相应的处理。系统包括：请求接收单元、请求广播单元和请求处理单元。本发明通过在集群内引入的广播域名和单播域名，进而对用户请求的数据进行对应的处理，从而在扩容时通过变更单播域名对应的单台机器即可轻松完成扩容工作。本发明简单便捷，在数据规模扩大需要扩容时，无需进行数据迁移，在能大大节省各类成本的同时，还能有效提高响应速度。本发明可广泛应用于分布式存储系统中。

Description

一种系统扩容时零数据迁移的数据分布存储方法及系统

技术领域

本发明涉及通信技术领域，尤其涉及一种系统扩容时零数据迁移的数据分布存储方法及系统。

背景技术

分布式存储系统，是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

但是现在的分布式存储系统的数据存储层往往采用各类哈希方法进行数据分布，在数据规模不断扩大需要扩容的时候，无论是常见的哈希方式，还是一致性哈希方式，都需要进行大规模的数据迁移，这样造成了所需的时间、带宽和人力等各类的巨大成本。

发明内容

为了解决上述技术问题，本发明的目的是提供一种实现简单，能有效节省成本的一种系统扩容时零数据迁移的数据分布存储方法及系统。

本发明所采用的技术方案是：

一种系统扩容时零数据迁移的数据分布存储方法，包括以下步骤：

A、通过接入层接收用户请求并将其转发至路由层；

B、通过路由层将用户请求转发至存储层中对应的集群，并将其广播至该集群的所有机器；

C、根据用户请求，对应集群的所有机器对数据进行相应的处理。

作为所述的一种系统扩容时零数据迁移的数据分布存储方法的进一步改进，所述步骤B包括：

B1、根据存储层内集群预设的划分规则，计算出用户请求对应的集群；

B2、判断用户请求是否是增加请求，若是，则执行步骤B3；反之，则执行步骤B4；

B3、获取用户请求对应的集群的单播域名对应的单台机器的IP，并将其增加至用户请求内；

B4、将用户请求广播至对应集群的所有机器。

作为所述的一种系统扩容时零数据迁移的数据分布存储方法的进一步改进，所述步骤C包括：

C1、判断用户请求是否是增加请求，若是，则执行步骤C5；反之，则执行步骤C2；

C2、判断用户请求是否是删除请求，若是，则执行步骤C3；反之，则执行步骤C4；

C3、根据用户请求，在本机查找对应数据的存储位置，并将其删除；

C4、根据用户请求，在本机查找和读取对应的数据，并返回读取的数据；

C5、判断用户请求内的IP是否与本机的IP一致，若是，则在本机查找添加的存储位置并将数据添加至本机；反之，则根据预设的业务要求进行对应的处理。

作为所述的一种系统扩容时零数据迁移的数据分布存储方法的进一步改进，所述执行步骤B1之前还包括有规划步骤，所述规划步骤具体包括：

BP1、根据预期后将到达的数据规模，将存储层划分为对应的集群组数；

BP2、对每组集群配备广播域名和单播域名；

BP3、解析某组集群的广播域名，得到该组集群内全部机器的IP信息；

BP4、解析某组集群的单播域名，得到该组集群内特定单台机器的IP信息。

作为所述的一种系统扩容时零数据迁移的数据分布存储方法的进一步改进，所述步骤D还包括有扩容步骤，所述扩容步骤具体包括：

E1、侦测需要扩容的集群，并对侦测到的集群新配置一台空闲机器或在该集群内选取一台空闲机器；

E2、修改该集群的单播域名对应的IP为新配置或选取的机器的IP；

E3、将新配置或选取的机器的IP添加至该集群的广播域名对应的IP列表中。

作为所述的一种系统扩容时零数据迁移的数据分布存储方法的进一步改进，所述每个用户请求均对应唯一的KEY值。

作为所述的一种系统扩容时零数据迁移的数据分布存储方法的进一步改进，所述预设的划分规则为：根据用户请求中的KEY值对集群数量值进行取模运算，得出结果即为对应的集群。

本发明所采用的另一技术方案是：

一种系统扩容时零数据迁移的数据分布存储系统，包括：

请求接收单元，用于通过接入层接收用户请求并将其转发至路由层；

请求广播单元，用于通过路由层将用户请求转发至存储层中对应的集群，并将其广播至该集群的所有机器；

请求处理单元，用于根据用户请求，对应集群的所有机器对数据进行相应的处理。

作为所述的一种系统扩容时零数据迁移的数据分布存储系统的进一步改进，所述请求广播单元包括：

计算单元，用于根据存储层内集群预设的划分规则，计算出用户请求对应的集群；

判断单元，用于判断用户请求是否是增加请求，若是，则执行IP获取单元；反之，则执行广播单元；

IP获取单元，用于获取用户请求对应的集群的单播域名对应的单台机器的IP，并将其增加至用户请求内；

广播单元，用于将用户请求广播至对应集群的所有机器。

作为所述的一种系统扩容时零数据迁移的数据分布存储系统的进一步改进，所述请求处理单元包括：

第一判断单元，用于判断用户请求是否是增加请求，若是，则执行增加请求处理单元；反之，则执行第二判断单元；

第二判断单元，用于判断用户请求是否是删除请求，若是，则执行删除请求处理单元；反之，则执行查找请求处理单元；

删除请求处理单元，用于根据用户请求，在本机查找对应数据的存储位置，并将其删除；

查找请求处理单元，用于根据用户请求，在本机查找和读取对应的数据，并返回读取的数据；

增加请求处理单元，用于判断用户请求内的IP是否与本机的IP一致，若是，则在本机查找添加的存储位置并将数据添加至本机；反之，则根据预设的业务要求进行对应的处理。

本发明的有益效果是：

本发明一种系统扩容时零数据迁移的数据分布存储方法及系统通过在集群内引入的广播域名和单播域名，进而对用户请求的数据进行对应的处理，从而在扩容时通过变更单播域名对应的单台机器即可轻松完成扩容工作。本发明简单便捷，在数据规模扩大需要扩容时，无需进行数据迁移，在能大大节省各类成本的同时，还能有效提高响应速度。

附图说明

下面结合附图对本发明的具体实施方式作进一步说明：

图1是本发明一种系统扩容时零数据迁移的数据分布存储方法的步骤流程图；

图2是本发明一种系统扩容时零数据迁移的数据分布存储方法步骤B的步骤流程图；

图3是本发明一种系统扩容时零数据迁移的数据分布存储方法步骤C的步骤流程图；

图4是本发明一种系统扩容时零数据迁移的数据分布存储系统的模块方框图。

具体实施方式

参考图1，本发明一种系统扩容时零数据迁移的数据分布存储方法，包括以下步骤：

A、通过接入层接收用户请求并将其转发至路由层；

B、通过路由层将用户请求转发至存储层中对应的集群，并将其广播至该集群的所有机器；

C、根据用户请求，对应集群的所有机器对数据进行相应的处理。

参考图2，作为所述的一种系统扩容时零数据迁移的数据分布存储方法的进一步改进，所述步骤B包括：

B1、根据存储层内集群预设的划分规则，计算出用户请求对应的集群；

B2、判断用户请求是否是增加请求，若是，则执行步骤B3；反之，则执行步骤B4；

B3、获取用户请求对应的集群的单播域名对应的单台机器的IP，并将其增加至用户请求内；

B4、将用户请求广播至对应集群的所有机器。

参考图3，作为所述的一种系统扩容时零数据迁移的数据分布存储方法的进一步改进，所述步骤C包括：

C1、判断用户请求是否是增加请求，若是，则执行步骤C5；反之，则执行步骤C2；

C2、判断用户请求是否是删除请求，若是，则执行步骤C3；反之，则执行步骤C4；

C3、根据用户请求，在本机查找对应数据的存储位置，并将其删除；

C4、根据用户请求，在本机查找和读取对应的数据，并返回读取的数据；

C5、判断用户请求内的IP是否与本机的IP一致，若是，则在本机查找添加的存储位置并将数据添加至本机；反之，则根据预设的业务要求进行对应的处理。

作为所述的一种系统扩容时零数据迁移的数据分布存储方法的进一步改进，所述执行步骤B1之前还包括有规划步骤，所述规划步骤具体包括：

BP1、根据预期后将到达的数据规模，将存储层划分为对应的集群组数；

BP2、对每组集群配备广播域名和单播域名；

BP3、解析某组集群的广播域名，得到该组集群内全部机器的IP信息；

BP4、解析某组集群的单播域名，得到该组集群内特定单台机器的IP信息。

作为所述的一种系统扩容时零数据迁移的数据分布存储方法的进一步改进，所述步骤D还包括有扩容步骤，所述扩容步骤具体包括：

E1、侦测需要扩容的集群，并对侦测到的集群新配置一台空闲机器或在该集群内选取一台空闲机器；

E2、修改该集群的单播域名对应的IP为新配置或选取的机器的IP；

E3、将新配置或选取的机器的IP添加至该集群的广播域名对应的IP列表中。

作为所述的一种系统扩容时零数据迁移的数据分布存储方法的进一步改进，所述每个用户请求均对应唯一的KEY值。

作为所述的一种系统扩容时零数据迁移的数据分布存储方法的进一步改进，所述预设的划分规则为：根据用户请求中的KEY值对集群数量值进行取模运算，得出结果即为对应的集群。

参考图4，本发明一种系统扩容时零数据迁移的数据分布存储系统，包括：

请求接收单元，用于通过接入层接收用户请求并将其转发至路由层；

请求广播单元，用于通过路由层将用户请求转发至存储层中对应的集群，并将其广播至该集群的所有机器；

请求处理单元，用于根据用户请求，对应集群的所有机器对数据进行相应的处理。

作为所述的一种系统扩容时零数据迁移的数据分布存储系统的进一步改进，所述请求广播单元包括：

计算单元，用于根据存储层内集群预设的划分规则，计算出用户请求对应的集群；

判断单元，用于判断用户请求是否是增加请求，若是，则执行IP获取单元；反之，则执行广播单元；

IP获取单元，用于获取用户请求对应的集群的单播域名对应的单台机器的IP，并将其增加至用户请求内；

广播单元，用于将用户请求广播至对应集群的所有机器。

作为所述的一种系统扩容时零数据迁移的数据分布存储系统的进一步改进，所述请求处理单元包括：

第一判断单元，用于判断用户请求是否是增加请求，若是，则执行增加请求处理单元；反之，则执行第二判断单元；

第二判断单元，用于判断用户请求是否是删除请求，若是，则执行删除请求处理单元；反之，则执行查找请求处理单元；

删除请求处理单元，用于根据用户请求，在本机查找对应数据的存储位置，并将其删除；

查找请求处理单元，用于根据用户请求，在本机查找和读取对应的数据，并返回读取的数据；

增加请求处理单元，用于判断用户请求内的IP是否与本机的IP一致，若是，则在本机查找添加的存储位置并将数据添加至本机；反之，则根据预设的业务要求进行对应的处理。

现在的网页存储系统中，所需存储的网页数达到千亿或更高数据量级，若在扩容时进行数据迁移，将带来巨大成本。通过利用本发明方案，结合引入的两类域名：广播域名和单播域名，在扩容时变更单播域名对应的单台机器即可轻松完成扩容工作。

在各类二进制数据/文本数据存储系统中，采用常见的固定取模路由方法都回避不了扩容时的大量数据迁移问题。通过利用本发明方案，结合引入的广播域名和单播域名，变更单播域名对应的单台机器即可完成扩容，能极大缩减各类成本。本发明的具体实施例流程如下：

S01、通过接入层接收用户请求并将其转发至路由层；

S02、根据存储层内集群预设的划分规则，计算出用户请求对应的集群；

S03、判断用户请求是否是增加请求，若是，则执行步骤S04；反之，则执行步骤S05；

S04、获取用户请求对应的集群的单播域名对应的单台机器的IP，并将其增加至用户请求内；

S05、将用户请求广播至对应集群的所有机器；

S06、判断用户请求是否是增加请求，若是，则执行步骤S10；反之，则执行步骤S07；

S07、判断用户请求是否是删除请求，若是，则执行步骤S08；反之，则执行步骤S09；

S08、根据用户请求，在本机查找对应数据的存储位置，并将其删除；

S09、根据用户请求，在本机查找和读取对应的数据，并返回读取的数据；

S10、判断用户请求内的IP是否与本机的IP一致，若是，则在本机查找添加的存储位置并将数据添加至本机；反之，则根据预设的业务要求进行对应的处理，例如系统若要求每条数据仅保留最新的一份，则将增加请求转为删除请求；

S11、侦测需要扩容的集群，并对侦测到的集群新配置一台空闲机器或在该集群内选取一台空闲机器；

S12、修改该集群的单播域名对应的IP为新配置或选取的机器的IP；

S13、将新配置或选取的机器的IP添加至该集群的广播域名对应的IP列表中。

从上述内容可知，本发明一种系统扩容时零数据迁移的数据分布存储方法及系统通过在集群内引入的广播域名和单播域名，进而对用户请求的数据进行对应的处理，从而在扩容时通过变更单播域名对应的单台机器即可轻松完成扩容工作。本发明简单便捷，在数据规模扩大需要扩容时，无需进行数据迁移，在能大大节省各类成本的同时，还能有效提高响应速度。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (7)

1.一种系统扩容时零数据迁移的数据分布存储方法，其特征在于，包括以下步骤：

A、通过接入层接收用户请求并将其转发至路由层；

B、通过路由层将用户请求转发至存储层中对应的集群，并将其广播至该集群的所有机器；

C、根据用户请求，对应集群的所有机器对数据进行相应的处理；

所述步骤B包括：

B1、根据存储层内集群预设的划分规则，计算出用户请求对应的集群；

B2、判断用户请求是否是增加请求，若是，则执行步骤B3；反之，则执行步骤B4；

B3、获取用户请求对应的集群的单播域名对应的单台机器的IP，并将其增加至用户请求内；

B4、将用户请求广播至对应集群的所有机器；

所述步骤C还包括有扩容步骤，所述扩容步骤具体包括：

E1、侦测需要扩容的集群，并对侦测到的集群新配置一台空闲机器或在该集群内选取一台空闲机器；

E2、修改该集群的单播域名对应的IP为新配置或选取的机器的IP；

E3、将新配置或选取的机器的IP添加至该集群的广播域名对应的IP列表中。

2.根据权利要求1所述的一种系统扩容时零数据迁移的数据分布存储方法，其特征在于：所述步骤C包括：

C1、判断用户请求是否是增加请求，若是，则执行步骤C5；反之，则执行步骤C2；

C2、判断用户请求是否是删除请求，若是，则执行步骤C3；反之，则执行步骤C4；

C3、根据用户请求，在本机查找对应数据的存储位置，并将其删除；

C4、根据用户请求，在本机查找和读取对应的数据，并返回读取的数据；

C5、判断用户请求内的IP是否与本机的IP一致，若是，则在本机查找添加的存储位置并将数据添加至本机；反之，则根据预设的业务要求进行对应的处理。

3.根据权利要求1所述的一种系统扩容时零数据迁移的数据分布存储方法，其特征在于：所述执行步骤B1之前还包括有规划步骤，所述规划步骤具体包括：

BP1、根据预期后将到达的数据规模，将存储层划分为对应的集群组数；

BP2、对每组集群配备广播域名和单播域名；

BP3、解析某组集群的广播域名，得到该组集群内全部机器的IP信息；

BP4、解析某组集群的单播域名，得到该组集群内特定单台机器的IP信息。

4.根据权利要求1所述的一种系统扩容时零数据迁移的数据分布存储方法，其特征在于：每个用户请求均对应唯一的KEY值。

5.根据权利要求1所述的一种系统扩容时零数据迁移的数据分布存储方法，其特征在于：所述预设的划分规则为：根据用户请求中的KEY值对集群数量值进行取模运算，得出结果即为对应的集群。

6.一种系统扩容时零数据迁移的数据分布存储系统，其特征在于，包括：

请求接收单元，用于通过接入层接收用户请求并将其转发至路由层；请求广播单元，用于通过路由层将用户请求转发至存储层中对应的集群，并将其广播至该集群的所有机器；

请求处理单元，用于根据用户请求，对应集群的所有机器对数据进行相应的处理；

所述请求广播单元包括：

计算单元，用于根据存储层内集群预设的划分规则，计算出用户请求对应的集群；

判断单元，用于判断用户请求是否是增加请求，若是，则执行IP获取单元；反之，则执行广播单元；

IP获取单元，用于获取用户请求对应的集群的单播域名对应的单台机器的IP，并将其增加至用户请求内；

广播单元，用于将用户请求广播至对应集群的所有机器；

所述请求处理单元还包括有扩容步骤，所述扩容步骤具体包括：

侦测需要扩容的集群，并对侦测到的集群新配置一台空闲机器或在该集群内选取一台空闲机器；

修改该集群的单播域名对应的IP为新配置或选取的机器的IP；

将新配置或选取的机器的IP添加至该集群的广播域名对应的IP列表中。

7.根据权利要求6所述的一种系统扩容时零数据迁移的数据分布存储系统，其特征在于：所述请求处理单元包括：

第一判断单元，用于判断用户请求是否是增加请求，若是，则执行增加请求处理单元；反之，则执行第二判断单元；

第二判断单元，用于判断用户请求是否是删除请求，若是，则执行删除请求处理单元；反之，则执行查找请求处理单元；

删除请求处理单元，用于根据用户请求，在本机查找对应数据的存储位置，并将其删除；

查找请求处理单元，用于根据用户请求，在本机查找和读取对应的数据，并返回读取的数据；

增加请求处理单元，用于判断用户请求内的IP是否与本机的IP一致，若是，则在本机查找添加的存储位置并将数据添加至本机；反之，则根据预设的业务要求进行对应的处理。