CN107943615A - 基于分布式集群的数据处理方法与系统 - Google Patents

Abstract

本发明涉及基于分布式集群的数据处理方法与系统，同个数据分区下的所有数据块的各个备份数据中，以数据分区为单位，第一个备份数据存储在所在的数据节点内，其他各备份数据分别存储在其他数据节点中数据分区最少的两个数据节点内，分别称为第一和第二备份节点；当数据分区服务器发生宕机或不提供服务时，转移数据分区到数据分区较少的数据节点内。在发生节点故障导致分区转移后，为转移后的分区提供服务的分区服务器仍从本地获取数据，而不从通过网络从其他节点获取数据，实现数据分区不通过网络仍能访问数据，提高分区服务器节点故障后的分布式数据库的访问效率，解决了分布式数据库除了主压缩方法以外缺乏提高本地化率手段的问题。

Description

基于分布式集群的数据处理方法与系统

技术领域

本发明涉及基于分布式集群的数据处理方法与系统。

背景技术

随着大数据技术的飞速发展，分布式集群的规模被不断的扩展，集群中的数据节点也在不断的增多，集群中发生故障转移的概率也就越来越大。如何确保在发生故障转移后集群能够快速且高效的继续提供服务成为分布式集群工作者所关注的重要方面。同样在故障转移之后能够保证集群提供的服务性能也是亟待解决的问题。

分布式数据库采用数据分区来管理智能电表中的数据，数据分区底层使用分布式文件系统来存储数据。通常情况下，一个节点包括有若干个数据分区，每个数据分区中包括有若干个数据块。分布式文件系统默认每个数据块有三个备份，由于分布式文件系统客户端本身的特性问题，数据分区所在的节点作为一个分布式文件系统客户端存放数据，所以第一份备份的所有文件都在本节点存储，这样也就能保证初始创建的数据分区的本地化率属性为1。但是第二和第三份备份的所有块是散乱的存放在不同的节点上，一旦数据分区发生了转移，数据分区访问本身数据的时候大部分的数据将会通过网络传输从其他节点获取。虽然数据分区所在的节点上发生故障之后，能够快速的转移，从而不影响集群服务的正常运行。这种目前比较完善的故障转移有赖于分布式数据文件的备份机制以及数据分区的迁移策略。但目前的故障转移策略发生之后，仍然存在以下问题：数据写入时，数据块存储策略优先写本地，保证本地化率为1，宕机后数据分区转移，由于数据块随机散乱的存储，本地化率下降。且在主压缩定时任务完成之前，无法恢复到最初为1的状态。这样也就导致分区服务器获取数据不再通过本地就能获取所有的分区数据，增加网络传输的负载，从而访问效率下降。

发明内容

本发明的目的是提供一种基于分布式集群的数据处理方法，用以解决分区服务器节点故障后，数据分区转移导致数据本地化率降低的问题。本发明同时提供一种基于分布式集群的数据处理系统。

为实现上述目的，本发明的方案包括一种基于分布式集群的数据处理方法，同个数据分区下的所有数据块的各个备份数据中，以数据分区为单位，第一个备份数据存储在所在的数据节点内，其他各备份数据分别存储在其他数据节点中数据分区最少的两个数据节点内，分别称为第一备份节点和第二备份节点；当数据分区服务器发生宕机或不提供服务时，转移数据分区到第一备份节点和第二备份节点中数据分区较少的数据节点内。

首先，除了第一个备份数据存储在所在的数据节点内，其他各备份数据分别存储在其他数据节点中数据分区最少的两个数据节点内，把数据分区中各备份数据完整不发散地对应存储在不同的数据节点上，能够在发生故障转移之后各节点的数据负载尽量均衡。并且，当数据分区服务器发生宕机或不提供服务时，转移数据分区到第一备份节点和第二备份节点中数据分区较少的数据节点内，即选择其中一个数据分区较少的节点作为迁移目标，保证迁移之后本地化率仍然为1，在发生节点故障导致分区转移后，为转移后的分区提供服务的分区服务器仍从本地获取数据，而不从通过网络从其他节点获取数据，实现数据分区不通过网络仍能访问数据，提高分区服务器节点故障后的分布式数据库的访问效率，解决了分布式数据库除了主压缩方法以外缺乏提高本地化率手段的问题。

在数据分区转移之后，在没有当前数据分区备份数据的各数据节点中找到数据分区最少的数据节点，作为补全目标节点，以数据分区为单位将当前数据分区的所有数据块的备份数据存储到所述补全目标节点内。

如果在其他数据节点中找不到数据分区最少的两个数据节点，那么，在其他数据节点中随机选择两个数据节点。

本发明还提供一种基于分布式集群的数据处理系统，包括用于执行以下处理策略的处理模块：同个数据分区下的所有数据块的各个备份数据中，以数据分区为单位，第一个备份数据存储在所在的数据节点内，其他各备份数据分别存储在其他数据节点中数据分区最少的两个数据节点内，分别称为第一备份节点和第二备份节点；当数据分区服务器发生宕机或不提供服务时，转移数据分区到第一备份节点和第二备份节点中数据分区较少的数据节点内。

在数据分区转移之后，在没有当前数据分区备份数据的各数据节点中找到数据分区最少的数据节点，作为补全目标节点，以数据分区为单位将当前数据分区的所有数据块的备份数据存储到所述补全目标节点内。

如果在其他数据节点中找不到数据分区最少的两个数据节点，那么，在其他数据节点中随机选择两个数据节点。

附图说明

图1是分布式数据库数据块存储流程示意图；

图2是分区服务器上各数据分区的三个备份数据在分布式文件系统中的块分布图；

图3是分布式数据库的分区服务器宕机后数据分区的迁移流程图。

具体实施方式

基于分布式集群的数据处理方法实施例

图1所示是分布式数据库数据块存储流程示意图，也就是基于分布式集群的数据处理方法流程示意图。通常情况下，各数据块具有三个备份数据，因此，本实施例以三个备份数据为例。其中，副本是指备份数据文件，首个副本指第一个备份数据，第二个副本指第二个备份数据，第三个副本指第三个备份数据。

在底层分布式文件系统存储上，根据分布式数据库的实际需求，重新定义了一种新的块备份规则：同个数据分区下的所有数据块的三份备份数据以数据分区为单位完整不发散地存储到三个数据节点上。

所以，同个数据分区下的所有数据块的各个备份数据中，以数据分区为单位，第一个备份数据存储在该数据分区所在的数据节点内。除了该数据分区所在的数据节点的其他数据节点中，找到数据分区最少的两个数据节点，将这两个数据节点称为第一备份节点和第二备份节点，那么，其他各备份数据，即第二个备份数据和第三个备份数据分别存储在第一备份节点和第二备份节点内。以数据分区为单位的含义为：同属于一个数据分区的所有的数据块的第一个备份数据作为一个整体，存储在该数据分区所在的数据节点内；同属于一个数据分区的所有的数据块的第二个备份数据和第三个备份数据也分别作为一个整体，分别存储在第一备份节点和第二备份节点内。另外，如果在其他数据节点中找不到数据分区最少的两个数据节点，那么，只有在这些其他数据节点中随机选择两个数据节点作为第一备份节点和第二备份节点。

因此，分布式文件系统上的数据的三个备份数据存储到所有数据节点中数据分区较少的节点上，在发生故障转移之后各数据节点的数据负载能够尽量均衡。

当数据分区服务器发生宕机或不提供服务时，在其他两个完整备份的节点中，即在第一备份节点和第二备份节点中选择一个数据分区较少的数据节点，作为迁移目标。转移数据分区到第一备份节点和第二备份节点中数据分区较少的数据节点内。

由于第一备份节点和第二备份节点中数据分区较少的数据节点上保存有完整的数据分区文件，则本地化率保持为1，因此，这种处理方式能够保证迁移之后本地化率仍然为1，实现数据分区不通过网络仍能访问数据，提高数据访问效率，解决了分布式数据库除了主压缩方法以外缺乏提高本地化率手段的问题。

进一步地，在数据分区转移之后，在没有当前数据分区备份数据的各数据节点中找到数据分区最少的数据节点，作为补全目标节点，以数据分区为单位将当前数据分区的所有数据块的备份数据存储到补全目标节点内。上述过程为损失数据块补全的过程，所补全的块的备份以数据分区为单位完整的存储在所选择的补全目标节点上。

基于上述技术方案的实施过程，以下给出一种具体的应用实例。

如图2所示，集群中有1、2、3、4、5五个节点，每个节点都装有分布式文件系统数据节点和分布式数据库的分区服务器。节点1上有一个数据分区region 1，其中的缓存数据持久化成数据文件Hfile1后，在文件系统中将会有三个备份数据，分别为Block1-Hfile1、Block2-Hfile1和Block3-Hfile1。

Block1-Hfile1首选存放在本地，所以存储在节点1上。Block2-Hfile1和Block3-Hfile1默认存储在已经选好的备选节点上。查询备选节点是否已经定义，若发现备选节点没有定义，则查找当前集群中所有分区服务器中负载最少的两个节点，即数据分区最少的两个节点，若不能找到负载最少的节点，则在剩余节点中随机选择。如图2表示，节点2和节点4为备选节点，则Block2-Hfile1和Block3-Hfile1存放在了节点2和节点4上。

当分区服务器所在的节点1发生宕机后，数据分区迁移任务被触发，查找保存有被转移分区完整数据的两个节点，发现节点2和节点4符合条件，同时节点2和节点4中，节点2负载较低，那么，转移数据分区到节点2。由于节点2上保存有完整的数据分区文件，本地化率保持为1。

数据分区转移之后，在没有当前分区备份数据的节点3和节点5当中，查找负载较小的节点作为补全目标节点，补全当前分区的完整块到目标节点。分布式数据库的分区服务器宕机后数据分区的迁移流程如图3所示。

以上给出了具体的实施方式，但本发明不局限于所描述的实施方式。比如本发明所处理的数据范围并不局限于智能电表数据，上述实施例只是根据智能电表数据来说明真正需要保护的技术方案。因此，本发明的基本思路在于上述基本方案，对本领域普通技术人员而言，根据本发明的教导，设计出各种变形的模型、公式、参数并不需要花费创造性劳动。在不脱离本发明的原理和精神的情况下对实施方式进行的变化、修改、替换和变型仍落入本发明的保护范围内。

基于分布式集群的数据处理系统实施例

本实施例提供一种基于分布式集群的数据处理系统，发明点在于内部包括一个处理模块，该处理模块可以是软件模块，本质上是一种软件程序，也可以是一个硬件控制芯片，内部加载有相应的软件程序。不管是软件模块还是硬件控制芯片，其发明点均在于内部涉及到的软件程序，即下述的分布式数据库数据分区故障处理策略：同个数据分区下的所有数据块的各个备份数据中，以数据分区为单位，第一个备份数据存储在所在的数据节点内，其他各备份数据分别存储在其他数据节点中数据分区最少的两个数据节点内，分别称为第一备份节点和第二备份节点；当数据分区服务器发生宕机或不提供服务时，转移数据分区到第一备份节点和第二备份节点中数据分区较少的数据节点内。由于该处理策略在上述处理方法实施例中已给出了详细地说明，本实施例就不再具体介绍。

Claims (6)

1.一种基于分布式集群的数据处理方法，其特征在于，同个数据分区下的所有数据块的各个备份数据中，以数据分区为单位，第一个备份数据存储在所在的数据节点内，其他各备份数据分别存储在其他数据节点中数据分区最少的两个数据节点内，分别称为第一备份节点和第二备份节点；当数据分区服务器发生宕机或不提供服务时，转移数据分区到第一备份节点和第二备份节点中数据分区较少的数据节点内。

2.根据权利要求1所述的基于分布式集群的数据处理方法，其特征在于，在数据分区转移之后，在没有当前数据分区备份数据的各数据节点中找到数据分区最少的数据节点，作为补全目标节点，以数据分区为单位将当前数据分区的所有数据块的备份数据存储到所述补全目标节点内。

3.根据权利要求1或2所述的基于分布式集群的数据处理方法，其特征在于，如果在其他数据节点中找不到数据分区最少的两个数据节点，那么，在其他数据节点中随机选择两个数据节点。

4.一种基于分布式集群的数据处理系统，其特征在于，包括用于执行以下处理策略的处理模块：同个数据分区下的所有数据块的各个备份数据中，以数据分区为单位，第一个备份数据存储在所在的数据节点内，其他各备份数据分别存储在其他数据节点中数据分区最少的两个数据节点内，分别称为第一备份节点和第二备份节点；当数据分区服务器发生宕机或不提供服务时，转移数据分区到第一备份节点和第二备份节点中数据分区较少的数据节点内。

5.根据权利要求4所述的基于分布式集群的数据处理系统，其特征在于，在数据分区转移之后，在没有当前数据分区备份数据的各数据节点中找到数据分区最少的数据节点，作为补全目标节点，以数据分区为单位将当前数据分区的所有数据块的备份数据存储到所述补全目标节点内。

6.根据权利要求4或5所述的基于分布式集群的数据处理系统，其特征在于，如果在其他数据节点中找不到数据分区最少的两个数据节点，那么，在其他数据节点中随机选择两个数据节点。