CN104202435A - 数据拖取的方法和装置 - Google Patents

Abstract

本发明提供了一种数据拖取的方法和装置，该方法包括：获取在分布式存储系统集群中增加新节点的触发事件，计算新节点即将在环形存储空间上管理数据的新节点范围；查询组成新节点范围的N个子范围，其中，每个原始节点在环形存储空间上管理数据的范围被划分为多个子范围，且每个子范围的数据存储在不同的原始节点中；从存储有N个子范围的数据的原始节点中，选择为新节点提供N个子范围的数据的拖取节点；分别从选择的各个拖取节点拖取对应的N个子范围中各个子范围的数据，并将拖取的N个子范围的数据合成新节点范围的数据。本发明能够保证集群中的各原始节点负载均衡，提升了数据拖取的并发度，加快了整个Streaming的过程。

Description

数据拖取的方法和装置

技术领域

本发明涉及计算机技术领域，特别是一种数据拖取的方法和装置。

背景技术

Cassandra是依赖DHT(Distributed Hash Table，分布式哈希表)技术实现的一种典型的无中心节点的环形结构的分布式存储系统。Cassandra数据存储空间可以抽象为一个环形结构，数据就是通过hash(哈希)分散在这个环形存储空间上。每个节点负责管理这个环形存储空间上的某一块连续的Range(范围)，落在此Range空间上的数据就存储在这个节点上。

Cassandra和其他分布式存储系统类似，都是通过多副本冗余存储的机制来保证数据的可靠性。为了保证在一台或几台机器故障宕机的情况下仍能继续提供服务，分布式存储系统都会设法将多个数据副本通过一定的策略分散到多台主机上，这就是一种副本分布策略。在Cassandra以及其他分布式存储系统中往往采用的是三副本放置策略，即一份用户数据在集群的不同主机上放置三份副本。以Cassandra为例，按照Cassandra集群中节点的个数将Cassandra的环形存储空间上划分等大小的Range，每个节点负责管理一个Range的空间。由于采用了三副本放置策略，该Range的数据还会以此节点为基础，按照环结构顺时针的方向顺序选择两个节点来分别处理另外两个副本。即每个Range的数据会存储在环结构中连续的三个节点之上。如图1所示，假设一个Cassandra集群中有A、B、C、D四个节点，因而将整个环形结构平均划分成了四个Range，即r0、r1、r2、r3。节点A、B、C、D分别管理着r0、r1、r2、r3。由于Cassandra集群采用了三副本放置策略，因此每个Range也会在主节点之后按照顺时针的方向顺序选择两个节点存放副本。例如r0范围则会在其主节点A之后顺时针选择两个节点B和C存放副本。如图1所示中，data(数据)通过hash存储到r0，则按照三副本放置策略，data还会选择节点B和C存放副本。同理，r1、r2、r3范围也是如此。

由上述可知，相关技术中，Cassandra集群中Range的个数由集群节点的个数来决定，有多少个节点就会划分为多少个Range。一个Range的数据及其副本会在环形结构中按照顺时针方向选择三个连续的节点进行存储。这种分布策略比较简单，数据存储时分布也比较均匀，用户正常随机访问的情况下，各节点负载也比较均衡。然而，随着存储数据量的需求增大，Cassandra集群剩余容量不足时，则需要向环形结构中增加一些新节点进行扩容。或者，当现有的环形结构中某个数据节点因故障无法恢复时，则需要使用一个新节点顶替故障节点。无论是增加新节点进行扩容，或是增加新节点顶替故障节点，都需要从环形结构上的其他节点拖取该新节点未来负责管理的数据，即该新节点未来负责管理的某一块连续的Range的数据，从而对外提供数据访问服务，这种拖取数据的过程也称为Streaming(流)过程。而由于每个Range集中在三个连续的节点上存储的原因，因而在拖取某个Range时，只能从这三个连续的节点中选择一个节点进行拖取，从而导致该节点负载过高，网卡带宽、CPU(CentralProcessing Unit，中央处理器)资源开销过大，进而影响到整个线上数据访问的稳定性。以新节点顶替故障节点为例，如图2所示，集群总节点B主机故障无法启动，一台新节点X去顶替节点B。节点B根据现有的副本分布策略(即三副本放置策略)，它管理的Range范围有r7、r0、r1。因此在新节点X顶替节点B并提供数据服务前，就需要从其他原始节点上拖取r7、r0、r1范围所对应的副本数据。新节点X可以发现，r7的数据副本分布在节点H、A、B上，r0的数据副本分布在A、B、C上，r1的数据副本分布在B、C、D上。因此最终它做出决策，从节点H、A、C上分别拖取r7、r0、r1范围所对应的数据。由图2可见，数据拖取只会导致H、A、C这三个节点的负载严重高于其他节点，严重影响到这三个节点对外提供的数据访问服务。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的数据拖取的方法和相应的装置。

依据本发明的一个方面，提供了一种数据拖取的方法，应用于分布式存储系统集群，所述分布式存储系统集群包括多个原始节点，且所述多个原始节点在环形存储空间上管理数据，包括：获取在所述分布式存储系统集群中增加新节点的触发事件，计算所述新节点即将在所述环形存储空间上管理数据的新节点范围；查询组成所述新节点范围的N个子范围，其中，每个原始节点在所述环形存储空间上管理数据的范围被划分为多个子范围，且每个子范围的数据存储在不同的原始节点中；从存储有所述N个子范围的数据的原始节点中，选择为所述新节点提供所述N个子范围的数据的拖取节点；分别从选择的各个所述拖取节点拖取对应的所述N个子范围中各个子范围的数据，并将拖取的所述N个子范围的数据合成所述新节点范围的数据。

可选地，每个原始节点在所述环形存储空间上管理数据的范围被划分为多个子范围，且每个子范围的数据存储在不同的原始节点中，包括：按照预设的副本存储策略，将每个原始节点各自对应的多个子范围的数据副本分别存储至除自身以外的其他原始节点。

可选地，按照预设的副本存储策略，将每个原始节点各自对应的多个子范围的数据副本分别存储至除自身以外的其他原始节点，包括：针对每个原始节点，确定该原始节点对应的多个子范围各自的位置序号；针对该原始节点对应的多个子范围中的每个子范围，从该原始节点开始按照预设方向数过该子范围的位置序号对应的个数节点作为基准节点，并以该基准节点为基准按照所述预设方向顺序选择连续的两个节点作为存储的该子范围的数据副本的存储节点，并进行存储操作，其中，所述预设方向包括顺时针方向或逆时针方向。

可选地，分别从选择的各个所述拖取节点拖取对应的所述N个子范围中各个子范围的数据，包括：在所述新节点与选择的各个所述拖取节点之间建立长连接；分别向各个所述拖取节点发送拖取对应的所述N个子范围中各个子范围的数据的拖取请求，其中，所述拖取请求中携带有对应的所述N个子范围中各个子范围；接收各个所述拖取节点返回的、对应所述N个子范围中各个子范围的数据。

可选地，分别从选择的各个所述拖取节点拖取对应的所述N个子范围中各个子范围的数据之后，还包括：分别判断从选择的各个所述拖取节点拖取的、对应所述N个子范围中各个子范围的数据是否存在错误；若是，重新从该拖取节点拖取对应的子范围的数据；若否，记录该子范围的标识，以表明已从该拖取节点拖取该标识的子范围的数据。

可选地，分别从选择的各个所述拖取节点拖取对应的所述N个子范围中各个子范围的数据，包括：从选择的各个所述拖取节点并发地拖取对应的所述N个子范围中各个子范围的数据。

可选地，所述触发事件包括：在所述分布式存储系统集群中增加新节点以对所述分布式存储系统集群进行扩容；或者在所述分布式存储系统集群中增加新节点以顶替所述分布式存储系统集群的原始节点中的故障节点。

可选地，计算所述新节点即将在所述环形存储空间上管理数据的新节点范围，包括：对所述新节点分配令牌token；根据所述token计算所述新节点即将在所述环形存储空间上管理数据的新节点范围。

可选地，所述分布式存储系统为Cassandra系统。

依据本发明的另一个方面，还提供了一种数据拖取的装置，应用于分布式存储系统集群，所述分布式存储系统集群包括多个原始节点，且所述多个原始节点在环形存储空间上管理数据，包括：

计算模块，适于获取在所述分布式存储系统集群中增加新节点的触发事件，计算所述新节点即将在所述环形存储空间上管理数据的新节点范围；

查询模块，适于查询组成所述新节点范围的N个子范围，其中，每个原始节点在所述环形存储空间上管理数据的范围被划分为多个子范围，且每个子范围的数据存储在不同的原始节点中；

选择模块，适于从存储有所述N个子范围的数据的原始节点中，选择为所述新节点提供所述N个子范围的数据的拖取节点；

拖取模块，适于分别从选择的各个所述拖取节点拖取对应的所述N个子范围中各个子范围的数据，并将拖取的所述N个子范围的数据合成所述新节点范围的数据。

可选地，所述装置还包括存储模块，适于：按照预设的副本存储策略，将每个原始节点各自对应的多个子范围的数据副本分别存储至除自身以外的其他原始节点。

可选地，所述存储模块还适于：针对每个原始节点，确定该原始节点对应的多个子范围各自的位置序号；针对该原始节点对应的多个子范围中的每个子范围，从该原始节点开始按照预设方向数过该子范围的位置序号对应的个数节点作为基准节点，并以该基准节点为基准按照所述预设方向顺序选择连续的两个节点作为存储的该子范围的数据副本的存储节点，并进行存储操作，其中，所述预设方向包括顺时针方向或逆时针方向。

可选地，所述拖取模块还适于：在所述新节点与选择的各个所述拖取节点之间建立长连接；分别向各个所述拖取节点发送拖取对应的所述N个子范围中各个子范围的数据的拖取请求，其中，所述拖取请求中携带有对应的所述N个子范围中各个子范围；接收各个所述拖取节点返回的、对应所述N个子范围中各个子范围的数据。

可选地，在所述拖取模块分别从选择的各个所述拖取节点拖取对应的所述N个子范围中各个子范围的数据之后，所述拖取模块还适于：分别判断从选择的各个所述拖取节点拖取的、对应所述N个子范围中各个子范围的数据是否存在错误；若是，重新从该拖取节点拖取对应的子范围的数据；若否，记录该子范围的标识，以表明已从该拖取节点拖取该标识的子范围的数据。

可选地，所述拖取模块还适于：从选择的各个所述拖取节点并发地拖取对应的所述N个子范围中各个子范围的数据。

可选地，所述触发事件包括：在所述分布式存储系统集群中增加新节点以对所述分布式存储系统集群进行扩容；或者在所述分布式存储系统集群中增加新节点以顶替所述分布式存储系统集群的原始节点中的故障节点。

可选地，所述计算模块还适于：对所述新节点分配令牌token；根据所述token计算所述新节点即将在所述环形存储空间上管理数据的新节点范围。

可选地，所述分布式存储系统为Cassandra系统。

依据本发明提供的技术方案，通过查询到组成新节点范围的N个子范围，进而从存储有N个子范围的数据的原始节点中，选择为新节点提供N个子范围的数据的拖取节点，随后分别从选择的各个拖取节点拖取对应的N个子范围中各个子范围的数据，并将拖取的N个子范围的数据合成新节点范围的数据。由此可见，在新节点Streaming过程中，集群中的所有原始节点都能够参与进来，为新节点提供部分范围的数据，从而解决了相关技术中节点负载过高，网卡带宽、CPU资源开销过大，进而影响到整个线上数据访问的稳定性的问题。综上，本发明提供的技术方案，在保证原有副本分布策略的数据可靠性的前提下，使得集群在新增节点或顶替节点的Streaming过程中能够保证集群中的各原始节点负载均衡，避免Streaming过程导致集群局部负载过重，对线上业务产生巨大的负面影响。并且，在Streaming过程中，集群中的所有原始节点都能够参与进来，为新节点提供部分范围的数据，从而提升了数据拖取的并发度，也加快了整个Streaming的过程。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了相关技术中数据副本的分布策略的示意图；

图2示出了相关技术中新节点顶替故障节点的数据拖取的示意图；

图3示出了根据本发明一个实施例的数据拖取的方法的流程图；

图4示出了本发明数据副本的分布策略r0范围的副本分布示意图；

图5示出了本发明数据副本的分布策略r7范围的副本分布示意图；

图6示出了本发明数据副本的分布策略r1范围的副本分布示意图；

图7示出了根据本发明一个实施例的数据拖取的装置的一种结构示意图；以及

图8示出了根据本发明一个实施例的数据拖取的装置的另一种结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

为解决上述技术问题，本发明实施例提供了一种数据拖取的方法，应用于分布式存储系统集群，分布式存储系统集群包括多个原始节点，且多个原始节点在环形存储空间上管理数据。图3示出了根据本发明一个实施例的数据拖取的方法的流程图。如图3所示，该方法至少包括以下步骤S302至步骤S308。

步骤S302、获取在分布式存储系统集群中增加新节点的触发事件，计算新节点即将在环形存储空间上管理数据的新节点范围。

步骤S304、查询组成新节点范围的N个子范围，其中，每个原始节点在环形存储空间上管理数据的范围被划分为多个子范围，且每个子范围的数据存储在不同的原始节点中。

步骤S306、从存储有N个子范围的数据的原始节点中，选择为新节点提供N个子范围的数据的拖取节点。

步骤S308、分别从选择的各个拖取节点拖取对应的N个子范围中各个子范围的数据，并将拖取的N个子范围的数据合成新节点范围的数据。

依据本发明提供的技术方案，通过查询到组成新节点范围的N个子范围，进而从存储有N个子范围的数据的原始节点中，选择为新节点提供N个子范围的数据的拖取节点，随后分别从选择的各个拖取节点拖取对应的N个子范围中各个子范围的数据，并将拖取的N个子范围的数据合成新节点范围的数据。由此可见，在新节点Streaming过程中，集群中的所有原始节点都能够参与进来，为新节点提供部分范围的数据，从而解决了相关技术中节点负载过高，网卡带宽、CPU资源开销过大，进而影响到整个线上数据访问的稳定性的问题。综上，本发明提供的技术方案，在保证原有副本分布策略的数据可靠性的前提下，使得集群在新增节点或顶替节点的Streaming过程中能够保证集群中的各原始节点负载均衡，避免Streaming过程导致集群局部负载过重，对线上业务产生巨大的负面影响。并且，在Streaming过程中，集群中的所有原始节点都能够参与进来，为新节点提供部分范围的数据，从而提升了数据拖取的并发度，也加快了整个Streaming的过程。

本发明实施例中的分布式存储系统是一种分布式非关系型数据系统，可以是Cassandra系统，还可以是其他分布式非关系型数据系统。

前文步骤S302提及的触发事件可以是节点增加或减少的任意事件，例如，在分布式存储系统集群中增加新节点以对分布式存储系统集群进行扩容，在分布式存储系统集群中增加新节点以顶替分布式存储系统集群的原始节点中的故障节点，等等。进一步地，步骤S302中计算新节点即将在分布式存储系统的环形存储空间上管理数据的第一范围，本发明实施例提供了一种新节点管理数据的优选的手段，在该手段中可以对新节点分配token(令牌)，进而根据token计算新节点在分布式存储系统的环形存储空间上管理数据的第一范围。这里的token决定了节点在环中的位置，从而也决定了节点负责管理数据的范围。当然，本发明还可以采用其他手段实现新节点的管理。

步骤S304中每个原始节点在环形存储空间上管理数据的范围被划分为多个子范围，且每个子范围的数据存储在不同的原始节点中，可以按照预设的副本存储策略，将每个原始节点各自对应的多个子范围的数据副本分别存储至除自身以外的其他原始节点。进一步地，针对每个原始节点，确定该原始节点对应的多个子范围各自的位置序号，进而针对该原始节点对应的多个子范围中的每个子范围，从该原始节点开始按照预设方向数过该子范围的位置序号对应的个数节点作为基准节点，并以该基准节点为基准按照预设方向顺序选择连续的两个节点作为存储的该子范围的数据副本的存储节点，并进行存储操作，其中，预设方向包括顺时针方向或逆时针方向。如图4所示，以Range为r0范围的副本分布为例，在本发明实施例提供的新的副本分布策略中，首先，将r0划分为更细粒度的子范围，例如这里平均划分为r00，r01，r02，r03四个细粒度的子范围。在存放r0范围数据的主节点的选择上，策略和原有分布策略保持一致，即r0范围的主节点仍然是节点A，也就是说在节点A上存放有r00，r01，r02，r03四个子范围的数据。然后，依次分别对r00，r01，r02，r03选择其另外两个副本所要放置的存储节点。按照新策略，这四个的副本存储的节点将分散到系统中的其他各原始节点上，而不再是像原有策略那样会集中在主节点之后的另外两个节点之上。以子范围r01的副本节点的分布为例，r01在r0范围的划分集合中的位置序号是1，因此它将从其主节点A开始顺时针方向数过1个节点(即节点B)，再以节点B为基准按照顺时针方向选取其后的连续的两个节点(节点C、D)作为存储r01范围另外两个副本的存储节点。这样，子范围r01的数据将会被分布在节点A、C、D上。同理，子范围r00的数据将会被分布在节点A、B、C上；r02的数据将会被分布在节点A、D、E上；r03的数据将会被分布在节点A、E、F上。当然，也可以将r0划分其它数目的细粒度的子范围，粒度划分越细，则副本在整个集群的节点上的分布就越分散，在Streaming过程中负载就更为均衡。

在步骤S306从存储有N个子范围的数据的原始节点中，选择为新节点提供N个子范围的数据的拖取节点之后，步骤S308分别从选择的各个拖取节点拖取对应的N个子范围中各个子范围的数据，可以在新节点与选择的各个拖取节点之间建立长连接，进而分别向各个拖取节点发送拖取对应的N个子范围中各个子范围的数据的拖取请求，其中，拖取请求中携带有对应的N个子范围中各个子范围，随后接收各个拖取节点返回的、对应N个子范围中各个子范围的数据。此外，可以从选择的各个拖取节点并发地拖取对应的N个子范围中各个子范围的数据，通过并发地拖取加快整个Streaming的过程。

进一步地，分别从选择的各个拖取节点拖取对应的N个子范围中各个子范围的数据之后，分别判断从选择的各个拖取节点拖取的、对应N个子范围中各个子范围的数据是否存在错误，若存在错误，重新从该拖取节点拖取对应的子范围的数据；反之，记录该子范围的标识，以表明已从该拖取节点拖取该标识的子范围的数据。这样，一方面保证了数据传输的准确性，另一方面可以根据记录的子范围的标识知道哪些子范围对应的数据已从拖取节点拖取或者还未从拖取节点拖取，即能够获知Streaming进度。如果拖取数据的过程中发生机器故障、网络异常等情况，导致新节点与拖取节点之间的长连接断开，那么在重新建立新节点与拖取节点之间的长连接后，可以根据记录的子范围的标识确定哪些子范围对应的数据还未从拖取节点拖取，进而从各个拖取节点拖取未被拖取的子范围对应的数据，无需从头开始Streaming，可以节约时间资源，提高Streaming的效率。

以上介绍了图3所示的实施例中各环节的多种实现方式，下面通过具体的优选实施例对本发明实施例提供的数据拖取的方法做进一步说明。

如前文介绍的，相关技术如图2所示的集群总节点B主机故障无法启动，由新节点X去顶替节点B，新节点X只能从附近的三个原始节点上拖取它即将管理新节点范围的副本数据，这样会导致这三个原始节点的负载严重高于其他节点，严重影响到这三个节点对外提供的数据访问服务。

本发明实施例提供的数据拖取的方法解决了上述的技术问题，例如，新节点X去顶替节点B时，需要从其他原始节点上拖取r7、r0、r1范围所对应的副本数据。根据本发明提供的技术方案，如图5所示，将r7划分为更细粒度的子范围，例如这里平均划分为r70，r71，r72，r73四个细粒度的子范围。在存放r7范围数据的主节点的选择上，策略和原有分布策略保持一致，即r7范围的主节点仍然是节点H，也就是说在节点H上存放有r70，r71，r72，r73四个子范围的数据。然后，依次分别对r70，r71，r72，r73选择其另外两个副本所要放置的存储节点。按照新策略，子范围r70的数据将会被分布在节点H、A、B上；子范围r71的数据将会被分布在节点H、B、C上；子范围r72的数据将会被分布在节点H、C、D上；子范围r73的数据将会被分布在节点H、D、E上。

同样地，根据本发明提供的技术方案，如图6所示，将r1划分为更细粒度的子范围，例如这里平均划分为r10，r11，r12，r13四个细粒度的子范围。在存放r1范围数据的主节点的选择上，策略和原有分布策略保持一致，即r1范围的主节点仍然是节点B，也就是说在节点B上存放有r10，r11，r12，r13四个子范围的数据。然后，依次分别对r10，r11，r12，r13选择其另外两个副本所要放置的存储节点。按照新策略，子范围r10的数据将会被分布在节点B、C、D上；子范围r11的数据将会被分布在节点B、D、E上；子范围r12的数据将会被分布在节点B、E、F上；子范围r13的数据将会被分布在节点B、F、G上。当然，也可以将r7或r1划分其它数目的细粒度的子范围，粒度划分越细，则副本在整个集群节点上的分布就越分散，在Streaming过程中负载就更为均衡。

因而，由图4、图5以及图6可知，本发明提供的技术方案可以从更多的节点上并发地拖取子范围(即r70，r71，r72，r73；r00，r01，r02，r03；r10，r11，r12，r13)的数据，进而合成新节点范围(即r7、r0、r1范围)的数据。在图4中，可以并发地从节点C、D、E、F上分别拖取r00，r01，r02，r03子范围的数据。在图5中，可以并发地从节点B、C、D、E上分别拖取r70，r71，r72，r73子范围的数据。在图6中，可以并发地从节点D、E、F、G上分别拖取r10，r11，r12，r13子范围的数据。由此可见，在Streaming过程中，集群中的所有节点都能够参与进来，为新节点提供部分范围的数据，从而提升了数据拖取的并发度，加快了整个Streaming的过程。

需要说明的是，实际应用中，上述所有可选实施方式可以采用结合的方式任意组合，形成本发明的可选实施例，在此不再一一赘述。

基于同一发明构思，本发明实施例还提供了一种数据拖取的装置，以实现上述数据拖取的方法。

图7示出了根据本发明一个实施例的数据拖取的装置的一种结构示意图。该装置应用于分布式存储系统集群，分布式存储系统集群包括多个原始节点，且多个原始节点在环形存储空间上管理数据。参见图7，该装置至少包括：计算模块710、查询模块720、选择模块730以及拖取模块740。

现介绍本发明实施例的数据拖取的装置的各组成或器件的功能以及各部分间的连接关系：

计算模块710，适于获取在分布式存储系统集群中增加新节点的触发事件，计算新节点即将在环形存储空间上管理数据的新节点范围；

查询模块720，与计算模块710相耦合，适于查询组成新节点范围的N个子范围，其中，每个原始节点在环形存储空间上管理数据的范围被划分为多个子范围，且每个子范围的数据存储在不同的原始节点中；

选择模块730，与查询模块720相耦合，适于从存储有N个子范围的数据的原始节点中，选择为新节点提供N个子范围的数据的拖取节点；

拖取模块740，与选择模块730相耦合，适于分别从选择的各个拖取节点拖取对应的N个子范围中各个子范围的数据，并将拖取的N个子范围的数据合成新节点范围的数据。

图8示出了根据本发明一个实施例的数据拖取的装置的另一种结构示意图。如图8所示，上述图7展示的装置还可以包括存储模块750，与查询模块720相耦合，适于：按照预设的副本存储策略，将每个原始节点各自对应的多个子范围的数据副本分别存储至除自身以外的其他原始节点。

在一个实施例中，上述存储模块750还适于：针对每个原始节点，确定该原始节点对应的多个子范围各自的位置序号；针对该原始节点对应的多个子范围中的每个子范围，从该原始节点开始按照预设方向数过该子范围的位置序号对应的个数节点作为基准节点，并以该基准节点为基准按照预设方向顺序选择连续的两个节点作为存储的该子范围的数据副本的存储节点，并进行存储操作，其中，预设方向包括顺时针方向或逆时针方向。

在一个实施例中，上述拖取模块740还适于：在新节点与选择的各个拖取节点之间建立长连接；分别向各个拖取节点发送拖取对应的N个子范围中各个子范围的数据的拖取请求，其中，拖取请求中携带有对应的N个子范围中各个子范围；接收各个拖取节点返回的、对应N个子范围中各个子范围的数据。

在一个实施例中，在拖取模块740分别从选择的各个拖取节点拖取对应的N个子范围中各个子范围的数据之后，拖取模块740还适于：分别判断从选择的各个拖取节点拖取的、对应N个子范围中各个子范围的数据是否存在错误；若是，重新从该拖取节点拖取对应的子范围的数据；若否，记录该子范围的标识，以表明已从该拖取节点拖取该标识的子范围的数据。

在一个实施例中，上述拖取模块740还适于：从选择的各个拖取节点并发地拖取对应的N个子范围中各个子范围的数据。

在一个实施例中，触发事件包括：在分布式存储系统集群中增加新节点以对分布式存储系统集群进行扩容；或者在分布式存储系统集群中增加新节点以顶替分布式存储系统集群的原始节点中的故障节点。

在一个实施例中，上述计算模块710还适于：对新节点分配令牌token；根据token计算新节点即将在环形存储空间上管理数据的新节点范围。

在一个实施例中，分布式存储系统为Cassandra系统。

根据上述任意一个优选实施例或多个优选实施例的组合，本发明实施例能够达到如下有益效果：

依据本发明提供的技术方案，通过查询到组成新节点范围的N个子范围，进而从存储有N个子范围的数据的原始节点中，选择为新节点提供N个子范围的数据的拖取节点，随后分别从选择的各个拖取节点拖取对应的N个子范围中各个子范围的数据，并将拖取的N个子范围的数据合成新节点范围的数据。由此可见，在新节点Streaming过程中，集群中的所有原始节点都能够参与进来，为新节点提供部分范围的数据，从而解决了相关技术中：由于每个Range集中在三个连续的节点上存储的原因，因而在拖取某个Range时，只能从这三个连续的节点中选择一个节点进行拖取，从而导致该节点负载过高，网卡带宽、CPU资源开销过大，进而影响到整个线上数据访问的稳定性的问题。综上，本发明提供的技术方案，在保证原有副本分布策略的数据可靠性的前提下，使得集群在新增节点或顶替节点的Streaming过程中能够保证集群中的各原始节点负载均衡，避免Streaming过程导致集群局部负载过重，对线上业务产生巨大的负面影响。并且，在Streaming过程中，集群中的所有原始节点都能够参与进来，为新节点提供部分范围的数据，从而提升了数据拖取的并发度，也加快了整个Streaming的过程。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的数据拖取的装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

本发明还公开A1、一种数据拖取的方法，应用于分布式存储系统集群，所述分布式存储系统集群包括多个原始节点，且所述多个原始节点在环形存储空间上管理数据，包括：

获取在所述分布式存储系统集群中增加新节点的触发事件，计算所述新节点即将在所述环形存储空间上管理数据的新节点范围；

查询组成所述新节点范围的N个子范围，其中，每个原始节点在所述环形存储空间上管理数据的范围被划分为多个子范围，且每个子范围的数据存储在不同的原始节点中；

从存储有所述N个子范围的数据的原始节点中，选择为所述新节点提供所述N个子范围的数据的拖取节点；

分别从选择的各个所述拖取节点拖取对应的所述N个子范围中各个子范围的数据，并将拖取的所述N个子范围的数据合成所述新节点范围的数据。

A2、根据A1所述的方法，其中，每个原始节点在所述环形存储空间上管理数据的范围被划分为多个子范围，且每个子范围的数据存储在不同的原始节点中，包括：

按照预设的副本存储策略，将每个原始节点各自对应的多个子范围的数据副本分别存储至除自身以外的其他原始节点。

A3、根据A2所述的方法，其中，按照预设的副本存储策略，将每个原始节点各自对应的多个子范围的数据副本分别存储至除自身以外的其他原始节点，包括：

针对每个原始节点，确定该原始节点对应的多个子范围各自的位置序号；

针对该原始节点对应的多个子范围中的每个子范围，从该原始节点开始按照预设方向数过该子范围的位置序号对应的个数节点作为基准节点，并以该基准节点为基准按照所述预设方向顺序选择连续的两个节点作为存储的该子范围的数据副本的存储节点，并进行存储操作，其中，所述预设方向包括顺时针方向或逆时针方向。

A4、根据A1至A3任一项所述的方法，其中，分别从选择的各个所述拖取节点拖取对应的所述N个子范围中各个子范围的数据，包括：

在所述新节点与选择的各个所述拖取节点之间建立长连接；

分别向各个所述拖取节点发送拖取对应的所述N个子范围中各个子范围的数据的拖取请求，其中，所述拖取请求中携带有对应的所述N个子范围中各个子范围；

接收各个所述拖取节点返回的、对应所述N个子范围中各个子范围的数据。

A5、根据A1至A4任一项所述的方法，其中，分别从选择的各个所述拖取节点拖取对应的所述N个子范围中各个子范围的数据之后，还包括：

分别判断从选择的各个所述拖取节点拖取的、对应所述N个子范围中各个子范围的数据是否存在错误；

若是，重新从该拖取节点拖取对应的子范围的数据；

若否，记录该子范围的标识，以表明已从该拖取节点拖取该标识的子范围的数据。

A6、根据A1至A5任一项所述的方法，其中，分别从选择的各个所述拖取节点拖取对应的所述N个子范围中各个子范围的数据，包括：

从选择的各个所述拖取节点并发地拖取对应的所述N个子范围中各个子范围的数据。

A7、根据A1至A6任一项所述的方法，其中，所述触发事件包括：

在所述分布式存储系统集群中增加新节点以对所述分布式存储系统集群进行扩容；或者

在所述分布式存储系统集群中增加新节点以顶替所述分布式存储系统集群的原始节点中的故障节点。

A8、根据A1至A7任一项所述的方法，其中，计算所述新节点即将在所述环形存储空间上管理数据的新节点范围，包括：

对所述新节点分配令牌token；

根据所述token计算所述新节点即将在所述环形存储空间上管理数据的新节点范围。

A9、根据A1至A8任一项所述的方法，其中，所述分布式存储系统为Cassandra系统。

B10、一种数据拖取的装置，应用于分布式存储系统集群，所述分布式存储系统集群包括多个原始节点，且所述多个原始节点在环形存储空间上管理数据，包括：

计算模块，适于获取在所述分布式存储系统集群中增加新节点的触发事件，计算所述新节点即将在所述环形存储空间上管理数据的新节点范围；

查询模块，适于查询组成所述新节点范围的N个子范围，其中，每个原始节点在所述环形存储空间上管理数据的范围被划分为多个子范围，且每个子范围的数据存储在不同的原始节点中；

选择模块，适于从存储有所述N个子范围的数据的原始节点中，选择为所述新节点提供所述N个子范围的数据的拖取节点；

拖取模块，适于分别从选择的各个所述拖取节点拖取对应的所述N个子范围中各个子范围的数据，并将拖取的所述N个子范围的数据合成所述新节点范围的数据。

B11、根据B10所述的装置，其中，还包括存储模块，适于：

按照预设的副本存储策略，将每个原始节点各自对应的多个子范围的数据副本分别存储至除自身以外的其他原始节点。

B12、根据B11所述的装置，其中，所述存储模块还适于：

针对每个原始节点，确定该原始节点对应的多个子范围各自的位置序号；

针对该原始节点对应的多个子范围中的每个子范围，从该原始节点开始按照预设方向数过该子范围的位置序号对应的个数节点作为基准节点，并以该基准节点为基准按照所述预设方向顺序选择连续的两个节点作为存储的该子范围的数据副本的存储节点，并进行存储操作，其中，所述预设方向包括顺时针方向或逆时针方向。

B13、根据B10至B12任一项所述的装置，其中，所述拖取模块还适于：

在所述新节点与选择的各个所述拖取节点之间建立长连接；

分别向各个所述拖取节点发送拖取对应的所述N个子范围中各个子范围的数据的拖取请求，其中，所述拖取请求中携带有对应的所述N个子范围中各个子范围；

接收各个所述拖取节点返回的、对应所述N个子范围中各个子范围的数据。

B14、根据B10至B13任一项所述的装置，其中，在所述拖取模块分别从选择的各个所述拖取节点拖取对应的所述N个子范围中各个子范围的数据之后，所述拖取模块还适于：

分别判断从选择的各个所述拖取节点拖取的、对应所述N个子范围中各个子范围的数据是否存在错误；

若是，重新从该拖取节点拖取对应的子范围的数据；

若否，记录该子范围的标识，以表明已从该拖取节点拖取该标识的子范围的数据。

B15、根据B10至B14任一项所述的装置，其中，所述拖取模块还适于：

从选择的各个所述拖取节点并发地拖取对应的所述N个子范围中各个子范围的数据。

B16、根据B10至B15任一项所述的装置，其中，所述触发事件包括：

在所述分布式存储系统集群中增加新节点以对所述分布式存储系统集群进行扩容；或者

在所述分布式存储系统集群中增加新节点以顶替所述分布式存储系统集群的原始节点中的故障节点。

B17、根据B10至B16任一项所述的装置，其中，所述计算模块还适于：

对所述新节点分配令牌token；

根据所述token计算所述新节点即将在所述环形存储空间上管理数据的新节点范围。

B18、根据B10至B17任一项所述的装置，其中，所述分布式存储系统为Cassandra系统。

Claims (10)

1.一种数据拖取的方法，应用于分布式存储系统集群，所述分布式存储系统集群包括多个原始节点，且所述多个原始节点在环形存储空间上管理数据，包括：

获取在所述分布式存储系统集群中增加新节点的触发事件，计算所述新节点即将在所述环形存储空间上管理数据的新节点范围；

查询组成所述新节点范围的N个子范围，其中，每个原始节点在所述环形存储空间上管理数据的范围被划分为多个子范围，且每个子范围的数据存储在不同的原始节点中；

从存储有所述N个子范围的数据的原始节点中，选择为所述新节点提供所述N个子范围的数据的拖取节点；

分别从选择的各个所述拖取节点拖取对应的所述N个子范围中各个子范围的数据，并将拖取的所述N个子范围的数据合成所述新节点范围的数据。

2.根据权利要求1所述的方法，其中，每个原始节点在所述环形存储空间上管理数据的范围被划分为多个子范围，且每个子范围的数据存储在不同的原始节点中，包括：

按照预设的副本存储策略，将每个原始节点各自对应的多个子范围的数据副本分别存储至除自身以外的其他原始节点。

3.根据权利要求2所述的方法，其中，按照预设的副本存储策略，将每个原始节点各自对应的多个子范围的数据副本分别存储至除自身以外的其他原始节点，包括：

针对每个原始节点，确定该原始节点对应的多个子范围各自的位置序号；

针对该原始节点对应的多个子范围中的每个子范围，从该原始节点开始按照预设方向数过该子范围的位置序号对应的个数节点作为基准节点，并以该基准节点为基准按照所述预设方向顺序选择连续的两个节点作为存储的该子范围的数据副本的存储节点，并进行存储操作，其中，所述预设方向包括顺时针方向或逆时针方向。

4.根据权利要求1至3任一项所述的方法，其中，分别从选择的各个所述拖取节点拖取对应的所述N个子范围中各个子范围的数据，包括：

在所述新节点与选择的各个所述拖取节点之间建立长连接；

分别向各个所述拖取节点发送拖取对应的所述N个子范围中各个子范围的数据的拖取请求，其中，所述拖取请求中携带有对应的所述N个子范围中各个子范围；

接收各个所述拖取节点返回的、对应所述N个子范围中各个子范围的数据。

5.根据权利要求1至4任一项所述的方法，其中，分别从选择的各个所述拖取节点拖取对应的所述N个子范围中各个子范围的数据之后，还包括：

分别判断从选择的各个所述拖取节点拖取的、对应所述N个子范围中各个子范围的数据是否存在错误；

若是，重新从该拖取节点拖取对应的子范围的数据；

若否，记录该子范围的标识，以表明已从该拖取节点拖取该标识的子范围的数据。

6.根据权利要求1至5任一项所述的方法，其中，分别从选择的各个所述拖取节点拖取对应的所述N个子范围中各个子范围的数据，包括：

从选择的各个所述拖取节点并发地拖取对应的所述N个子范围中各个子范围的数据。

7.根据权利要求1至6任一项所述的方法，其中，所述触发事件包括：

在所述分布式存储系统集群中增加新节点以对所述分布式存储系统集群进行扩容；或者

在所述分布式存储系统集群中增加新节点以顶替所述分布式存储系统集群的原始节点中的故障节点。

8.根据权利要求1至7任一项所述的方法，其中，计算所述新节点即将在所述环形存储空间上管理数据的新节点范围，包括：

对所述新节点分配令牌token；

根据所述token计算所述新节点即将在所述环形存储空间上管理数据的新节点范围。

9.根据权利要求1至8任一项所述的方法，其中，所述分布式存储系统为Cassandra系统。

10.一种数据拖取的装置，应用于分布式存储系统集群，所述分布式存储系统集群包括多个原始节点，且所述多个原始节点在环形存储空间上管理数据，包括：

计算模块，适于获取在所述分布式存储系统集群中增加新节点的触发事件，计算所述新节点即将在所述环形存储空间上管理数据的新节点范围；

查询模块，适于查询组成所述新节点范围的N个子范围，其中，每个原始节点在所述环形存储空间上管理数据的范围被划分为多个子范围，且每个子范围的数据存储在不同的原始节点中；

选择模块，适于从存储有所述N个子范围的数据的原始节点中，选择为所述新节点提供所述N个子范围的数据的拖取节点；

拖取模块，适于分别从选择的各个所述拖取节点拖取对应的所述N个子范围中各个子范围的数据，并将拖取的所述N个子范围的数据合成所述新节点范围的数据。