CN103259824A - 分布式数据存储系统中数据路由的同步方法和装置 - Google Patents

Abstract

本发明提供了分布式数据存储系统中数据路由的同步方法和装置。其中，该方法包括：按照递增原则为所述分布式数据存储系统中的路由格子分配唯一的版本号，每一路由格子用于记录所述分布式数据存储系统中数据的路由；所述分布式数据存储系统获取客户端的本地路由版本号，依据所述分布式数据存储系统中各个路由格子被分配的版本号、以及客户端的本地路由版本号确定客户端缺少的数据路由，并发送确定的所述客户端缺少的数据路由给客户端。

Description

分布式数据存储系统中数据路由的同步方法和装置

技术领域

本发明涉及数据通信技术，特别涉及分布式数据存储系统中数据路由的同步方法和装置。

背景技术

分布式数据存储系统一般会将底层存储资源划分为一个个独立的存储单元。如此，在存储数据时将该数据分布(映射)至这些存储单元上，实现分布式数据存储。而在分布式数据存储系统中，数据的分布信息比如数据分布在哪个存储单元等称为数据路由。

现有的分布式数据存储系统中，采用类似HADOOP的集中管理和查询方式进行数据路由分发和同步，具体为：将数据路由保存在一台主用服务器(Master)上，实时访问Master查询该Master记录的数据路由。

但是，实时访问Master查询该Master记录的数据路由很容易导致单点瓶颈，同时，访问Master、以及Master将自身记录的数据路由下发，这样一次往返的数据路由查询交互增加了请求延时、降低效率。

发明内容

本发明提供了分布式数据存储系统中数据路由的同步方法和装置，避免在数据路由同步过程中由于实时访问Master查询数据路由而导致的技术问题。

本发明提供的技术方案包括：

一种分布式数据存储系统中数据路由的同步方法，包括：

按照递增原则为所述分布式数据存储系统中的路由格子分配唯一的版本号，每一路由格子用于记录所述分布式数据存储系统中数据的路由；

所述分布式数据存储系统获取客户端的本地路由版本号，依据所述分布式数据存储系统中各个路由格子被分配的版本号、以及客户端的本地路由版本号确定客户端缺少的数据路由，并发送确定的所述客户端缺少的数据路由给客户端。

一种应用于分布式数据存储系统中数据路由同步的服务器，包括：

获取单元，用于获取客户端的本地路由版本号；

确定单元，用于依据所述分布式数据存储系统中各个路由格子被分配的版本号、以及客户端的本地路由版本号确定客户端缺少的数据路由；其中，每一路由格子用于记录所述分布式数据存储系统中数据的路由，其版本号是按照递增原则分配的；

发送单元，用于发送所述确定单元确定的客户端缺少的数据路由给客户端。

一种应用于分布式数据存储系统中数据路由同步的客户端，包括：

发送单元，用于发送所述客户端的本地路由版本号至所述分布式数据存储系统；

发送单元，用于发送所述客户端的本地路由版本号至所述分布式数据存储系统；

接收单元，用于接收所述分布式数据存储系统发送的数据路由，其中，所述分布式数据存储系统是依据当前系统所有路由格子被分配的版本号、以及所述发送单元发送的本地路由版本号确定客户端缺少的数据路由，并发送确定的客户端缺少的数据路由给所述接收单元，而所述路由格子用于记录所述分布式数据存储系统中数据的路由，其版本号是按照递增原则分配的。

由以上技术方案可以看出，本发明只是将客户端当前缺少的数据路由发送给客户端，并非将全部的数据路由即全局数据路由发送给客户端，而由于数据路由改动的频率不是很高，基于此，就不需要客户端像现有技术那样实时访问Master查询数据路由，这能避免数据路由同步过程中由于实时访问Master查询数据路由而导致的技术问题，并相比于现有技术能够实现简单、轻量的数据路由同步。

附图说明

图1为本发明实施例提供的流程图；

图2为本发明实施例提供的路由格子示意图；

图3为本发明实施例提供的步骤102实现流程图；

图4为本发明实施例提供的服务器结构图；

图5为本发明实施例提供的客户端结构图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

基于上面描述的，分布式数据存储系统中，数据路由由有限个路由格子组成，如此，可以得到分布式数据存储系统中的数据路由为有限数据集合。

基于此，如图1所示，本发明提供的方法主要包括以下步骤：

步骤101，按照递增原则为所述分布式数据存储系统中的路由格子分配唯一的版本号，每一路由格子用于记录所述分布式数据存储系统中数据的路由。

分布式数据存储系统将底层存储资源划分为一个个独立的存储单元存储数据。如此，本发明可针对每一存储单元建立对应的路由格子，即路由格子与存储单元之间一一对应，其中，每一路由格子用于记录其对应的存储单元上数据的路由也即数据的分布信息。其中，该数据路由主要是指该数据所在的存储单元、以及该存储单元的位置信息和/或状态信息。

步骤102，所述分布式数据存储系统获取客户端的本地路由版本号，依据所述分布式数据存储系统中各个路由格子被分配的版本号、以及客户端的本地路由版本号确定客户端缺少的数据路由，并发送确定的所述客户端缺少的数据路由给客户端。

至此，完成图1所示的流程。

在图1所示的流程中，优选地，可以针对路由格子配置对应的数据取值范围。本发明中，可根据实际情况，针对分布式数据存储系统建立一个区间范围，之后，按照不同路由格子对应不同数据取值范围、且不同路由格子对应的数据取值范围中无交集的原则将上述区间范围划分给各个路由格子。如此，当分布式数据存储系统存储数据时，依据该数据的关键字(Key)进行哈希运算得到一个哈希值，之后将该哈希值与所述区间范围中的最大值取模，得到一个计算结果，确定出该计算结果落在哪个路由格子对应的数据取值范围中，之后利用该路由格子描述的存储单元的位置信息向该存储单元存储数据。

另外，至于存储单元的位置信息，其可为存储单元所在分布式数据存储系统比如存储服务器的IP地址、服务端口号、以及该存储单元的标识(ID)。基于此，路由格子的数据结构如图2所示。需要说明的是，存储单元的位置信息还有更多的表示方式，图2示出的存储单元位置信息只是一种举例，不能限定本发明。

另外，步骤101中，在初始化时，按照单调递增的原则为路由格子分配一个索引号作为该路由格子的版本号。以路由格子数量为100万、且按照单调递增原则为路由格子分配版本号为例，则各个路由格子初始的版本号通过以下代码实现：

grid_route[i].ver＝i i＝1，2，...，100万。

基于上面描述，下面对上述步骤102进行详细描述：

参见图3，图3为本发明实施例提供的步骤102实现流程图。在该图3所示的流程中，数据路由存储在分布式数据存储系统的至少一台独立服务器上，该服务器称为数据路由服务器。基于C/S模式，则步骤103实现流程可包括以下步骤：

步骤301，客户端(Client)通过心跳(HeartBeat)机制周期性地向数据路由服务器同步本地的路由版本号，所述路由版本号可优选为客户端本地当前最大的路由版本号。

步骤302，数据路由服务器比对客户端的本地路由版本号，从当前的路由格子中找到版本号大于客户端的本地路由版本号的路由格子，并将找到的路由格子确定为客户端缺少的数据路由。

通过步骤302可以看出，数据路由服务器通过比对客户端的本地路由版本号即能知道客户端缺少哪些数据路由，该确定的数据路由相对于全量的路由格子，为增量路由信息。

其中，步骤302具体实现时可通过以下操作实现：数据路由服务器对本地有限个路由格子按路由格子的版本号进行排序，其中，该排序操作可利用目前成熟的平衡二叉树结构，如RBTree等实现；之后，数据路由服务器找到版本号比客户端的本地路由版本号大的路由格子的标识，利用该找到的路由格子的标识去获取对应的路由格子，获取的这些路由格子即为客户端缺少的数据路由，即增量路由信息。

步骤303，数据路由服务器发送确定的客户端缺少的数据路由给客户端。

本步骤303中，数据路由服务器可通过批量推送的方式发送确定的客户端缺少的数据路由给客户端。

本发明中，客户端接收到数据路由服务器发送的数据路由后，如果当前没有用于缓存数据路由的存储空间，则构建共享内存，用于缓存该接收的数据路由，否则，在用于缓存数据路由的存储空间中缓存该接收的数据路由；之后客户端定期对缓存的数据路由进行持久化存储。

其中，缓存数据路由时，可通过构建一个内存Hash表来缓存数据路由。另外，客户端定期对缓存的数据路由进行持久化可通过在本地磁盘上定时备份和增量流水的方式来实现。如此，在客户端构建了路由缓存和持久化机制后，因为数据路由本身更新不是很频繁，这会使数据路由服务器向客户端分发的数据量极大减少。

但是，在客户端的路由缓存和持久化未建立起来时，大量的客户端向数据路由服务器请求数据路由时还是可能产生流量瓶颈和CPU瓶颈，针对这种问题，可在上述步骤303中，数据路由服务器按照不引起流量瓶颈和CPU瓶颈的原则自主控制推送该确定的客户端缺少的数据路由给客户端，和/或，所述数据路由服务器生成该确定的客户端缺少的数据路由的持久化数据，通过文件将该持久化数据发送给所述客户端。

至此，完成图3所示的流程。

通过图3所示的流程可以看出，数据路由服务器只是将客户端所缺的数据路由发送给客户端，并非将全部的数据路由即全局数据路由发送给客户端，这样相比于现有技术能够实现简单、轻量的数据路由同步。

需要说明的是，本发明中，路由格子可以动态变化，该变化主要包括：增加路由格子，或者修改路由格子记录的数据路由比如该路由格子记录的其对应的存储单元的位置信息和/或状态信息。该路由格子的动态变化，会引起该路由格子的版本号发生更新。下面进行详细描述：

本发明中，为了保证路由格子动态变化时正确更新路由格子版本号，可在上述步骤101为当前所有的路由格子分配完版本号之后，进一步包括：将所有路由格子中取值最大的版本号确定为当前数据路由版本号。比如，假设当前存在100万个路由格子，其中，每个路由格子有一个版本号，这个版本号是全局唯一并且是单调递增的。基于此，当前数据路由的版本号定义为所有路由格子的版本号的最大值，即：

route_ver＝max{grid_route[i].ver|i∈[1,100万]}。

基于此，当需要新增路由格子时，该方法进一步包括：新增路由格子，并在当前数据路由版本号基础上按照递增原则为该新增的路由格子分配版本号比如将当前数据路由版本号加1，用该新增的路由格子的版本号更新当前数据路由版本号；

优选地，本发明中，在新增路由格子后，还可进一步建立对应该新增的路由格子的存储单元，并通过该新增的路由格子描述该存储单元的位置信息和/或状态信息，以实现路由格子与存储单元之间的一一对应。

而当需要修改路由格子的数据路由比如该路由格子对应的存储单元的位置信息和/或状态信息时，该方法进一步包括：在当前数据路由版本号基础上按照递增原则为该发生修改的路由格子分配版本号比如将当前数据路由版本号加1。

从上面描述可以看出，路由格子的版本号更新都是在当前数据路由版本号上递增，而当前数据路由版本号始终被赋值为所有路由格子的版本号的最大值，因此，基于路由格子的版本号总是递增比如单调递增等，并且，一般数据路由改动的频率并不是很高的基础上，可认为路由格子的版本号在运营过程中是不会发生回溯(rewind)的。优选地，本发明中，根据实际需求，且保证路由格子的版本号在运营过程中不发生回溯，可建议路由格子的版本号采用64bit整数。

以上对本发明提供的方法进行了描述，下面对本发明提供的装置进行描述：

参见图4，图4为本发明实施例提供的服务器结构图。该服务器应用于分布式数据存储系统中的数据路由同步，具体可为存储数据路由的数据路由服务器。如图4所示，该服务器可包括：

获取单元，用于获取客户端的本地路由版本号；

确定单元，用于依据所述分布式数据存储系统中各个路由格子被分配的版本号、以及客户端的本地路由版本号确定客户端缺少的数据路由；其中，每一路由格子用于记录所述分布式数据存储系统中数据的路由，其版本号是按照递增原则分配的；

发送单元，用于发送所述确定单元确定的客户端缺少的数据路由给客户端。

具体地，所述确定单元从所述分布式数据存储系统当前的路由格子中找到版本号大于客户端的本地路由版本号的路由格子，并将找到的路由格子确定为客户端缺少的数据路由。

本发明中，所述发送单元按照不引起流量瓶颈和CPU瓶颈的原则自主控制推送所述确定单元确定的客户端缺少的数据路由给客户端；和/或，

所述发送单元生成所述确定单元确定的客户端缺少的数据路由的持久化数据，通过文件将该持久化数据发送给所述客户端。

另外，本发明还提供了如图5所示的客户端。其中，该客户端应用于分布式数据存储系统中的数据路由同步，包括：

发送单元，用于发送所述客户端的本地路由版本号至所述分布式数据存储系统；

接收单元，用于接收所述分布式数据存储系统发送的数据路由，其中，所述分布式数据存储系统是依据当前系统所有路由格子被分配的版本号、以及所述发送单元发送的本地路由版本号确定客户端缺少的数据路由，并发送确定的客户端缺少的数据路由给所述接收单元，而所述路由格子用于记录所述分布式数据存储系统中数据的路由，其版本号是按照递增原则分配的。

优选地，如图5所示，该客户端进一步包括：

缓存单元，用于在当前没有用于缓存数据路由的存储空间时，构建共享内存，用于缓存所述接收单元接收的数据路由，否则，在用于缓存数据路由的存储空间中缓存所述接收单元接收的数据路由；

持久化存储单元，用于定期对所述缓存单元缓存的数据路由进行持久化存储。

至此，完成本发明提供的装置描述。

由以上技术方案可以看出，本发明只是将客户端当前缺少的数据路由发送给客户端，并非将全部的数据路由即全局数据路由发送给客户端，而由于数据路由改动的频率不是很高，基于此，就不需要客户端像现有技术那样实时访问Master查询数据路由，这能避免数据路由同步过程中由于实时访问Master查询数据路由而导致的技术问题，并相比于现有技术能够实现简单、轻量的数据路由同步。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (12)

1.一种分布式数据存储系统中数据路由的同步方法，其特征在于，该方法包括：

按照递增原则为所述分布式数据存储系统中的路由格子分配唯一的版本号，每一路由格子用于记录所述分布式数据存储系统中数据的路由；

所述分布式数据存储系统获取客户端的本地路由版本号，依据所述分布式数据存储系统中各个路由格子被分配的版本号、以及客户端的本地路由版本号确定客户端缺少的数据路由，并发送确定的所述客户端缺少的数据路由给客户端。

2.根据权利要求1所述的方法，其特征在于，所述依据分布式数据存储系统中各个路由格子被分配的版本号、以及客户端的本地路由版本号确定客户端缺少的数据路由包括：

从所述分布式数据存储系统当前的路由格子中找到版本号大于客户端的本地路由版本号的路由格子，并将找到的路由格子确定为客户端缺少的数据路由。

3.根据权利要求1或2所述的方法，其特征在于，所述分布式数据存储系统获取客户端的本地路由版本号包括：

所述客户端通过心跳(HeartBeat)机制周期性地同步本地的路由版本号至所述分布式数据存储系统。

4.根据权利要求1所述的方法，其特征在于，该方法进一步包括：

所述客户端接收到数据路由后，如果当前没有用于缓存数据路由的存储空间，则构建共享内存，用于缓存该接收的数据路由，否则，在用于缓存数据路由的存储空间中缓存该接收的数据路由；

所述客户端定期对缓存的数据路由进行持久化存储。

5.根据权利要求1所述的方法，其特征在于，所述发送确定的客户端缺少的数据路由给客户端包括：

按照不引起流量瓶颈和CPU瓶颈的原则自主控制推送该确定的客户端缺少的数据路由给客户端；和/或，

生成该确定的客户端缺少的数据路由的持久化数据，通过文件将该持久化数据发送给所述客户端。

6.根据权利要求1所述的方法，其特征在于，在为当前所有的路由格子分配完版本号之后，该方法进一步包括：将所有路由格子中取值最大的版本号确定为当前数据路由版本号；

当需要新增路由格子时，该方法进一步包括：新增路由格子，并在当前数据路由版本号基础上按照递增原则为该新增的路由格子分配版本号，并用该新增的路由格子的版本号更新当前数据路由版本号；

当需要修改路由格子记录的数据路由时，该方法进一步包括：在当前数据路由版本号基础上按照递增原则为该发生修改的路由格子分配版本号。

7.根据权利要求1、2、4、5或6所述的方法，其特征在于，所述分布式数据存储系统中的路由格子与所述分布式数据存储系统中的存储单元一一对应；每一存储单元用于存储所述分布式数据存储系统中的数据；每一路由格子用于记录其对应的存储单元存储的数据的路由，所述数据的路由至少包括：该数据所在的存储单元、该存储单元的位置信息和/或状态信息。

8.一种应用于分布式数据存储系统中数据路由同步的服务器，其特征在于，该服务器包括：

获取单元，用于获取客户端的本地路由版本号；

确定单元，用于依据所述分布式数据存储系统中各个路由格子被分配的版本号、以及客户端的本地路由版本号确定客户端缺少的数据路由；其中，每一路由格子用于记录所述分布式数据存储系统中数据的路由，其版本号是按照递增原则分配的；

发送单元，用于发送所述确定单元确定的客户端缺少的数据路由给客户端。

9.根据权利要求8所述的服务器，其特征在于，所述确定单元从所述分布式数据存储系统当前的路由格子中找到版本号大于客户端的本地路由版本号的路由格子，并将找到的路由格子确定为客户端缺少的数据路由。

10.根据权利要求8所述的服务器，其特征在于，所述发送单元按照不引起流量瓶颈和CPU瓶颈的原则自主控制推送所述确定单元确定的客户端缺少的数据路由给客户端；和/或，

所述发送单元生成所述确定单元确定的客户端缺少的数据路由的持久化数据，通过文件将该持久化数据发送给所述客户端。

11.一种应用于分布式数据存储系统中数据路由同步的客户端，其特征在于，该客户端包括：

发送单元，用于发送所述客户端的本地路由版本号至所述分布式数据存储系统；

接收单元，用于接收所述分布式数据存储系统发送的数据路由，其中，所述分布式数据存储系统是依据当前系统所有路由格子被分配的版本号、以及所述发送单元发送的本地路由版本号确定客户端缺少的数据路由，并发送确定的客户端缺少的数据路由给所述接收单元，而所述路由格子用于记录所述分布式数据存储系统中数据的路由，其版本号是按照递增原则分配的。

12.根据权利要求11所述的客户端，其特征在于，该客户端进一步包括：

缓存单元，用于在当前没有用于缓存数据路由的存储空间时，构建共享内存，用于缓存所述接收单元接收的数据路由，否则，在用于缓存数据路由的存储空间中缓存所述接收单元接收的数据路由；

持久化存储单元，用于定期对所述缓存单元缓存的数据路由进行持久化存储。

Images