CN109992575B - 大数据的分布式存储系统 - Google Patents

Abstract

本发明公开了一种大数据的分布式存储系统，该大数据的分布式存储系统包括名字服务节点、任务派发节点和数据服务节点，任务派发节点接收客户端发送的数据读写命令，并将接收到的数据读写命令、访问信息以及文件的全局路径信息发送至名字服务节点；名字服务节点根据访问信息和全局路径信息从对应的树结构中获取数据服务节点对应的访问信息，并向数据服务节点发送读写操作命令；数据服务节点根据读写操作命令读或者写存储在对应数据服务节点上的文件数据，并将执行结果数据返回至任务派发节点，由任务派发节点将执行结果数据返回至对应的客户端，解决了对大数据的分布式存储系统中的任意数据的快速读写问题，提高了数据读写效率，节约了时间。

Description

大数据的分布式存储系统

技术领域

本发明涉及数据存储技术领域，特别涉及一种大数据的分布式存储系统。

背景技术

随着信息的爆炸式增长，人们日常工作和生活以及各行各业均产生了海量的需要进行存储和管理的数据，且随着每时每刻信息的不间断产生，各种各样的数据将越来越多，数据量也越来越大，这对数据读写的要求也越来越高，大数据的分布式存储系统已经成为大数据系统必不可少的部分。目前，由于数据量较大且对已存储数据的读写要求日益提高，因此，在大数据的分布式存储系统上稳定快速地对任意数据的读写成为了一种挑战，如何解决对大数据的分布式存储系统中的任意数据的快速读写成为目前亟待解决的问题之一。

发明内容

本发明提供一种大数据的分布式存储系统，旨在解决对大数据的分布式存储系统中的任意数据的快速读写问题。

本发明提供了一种大数据的分布式存储系统，所述大数据的分布式存储系统包括：名字服务节点、任务派发节点和数据服务节点，所述名字服务节点、任务派发节点和数据服务节点在所述大数据的分布式存储系统内通信连接；其中：

所述任务派发节点接收客户端发送的数据读写命令并解析，获取所述数据读写命令对应的访问信息，并将接收到的所述数据读写命令、访问信息以及文件的全局路径信息发送至所述名字服务节点；

所述名字服务节点根据所述访问信息和全局路径信息从对应的树结构中获取所述数据服务节点对应的访问信息，并向所述数据服务节点发送读写操作命令；

所述数据服务节点根据所述读写操作命令读或者写存储在对应数据服务节点上的文件数据，并将执行结果数据返回至所述任务派发节点，由所述任务派发节点将所述执行结果数据返回至对应的客户端。

进一步地，所述大数据的分布式存储系统中的树结构采用：双哈希定位的B-树结构即DHB-树结构；

若需创建一个新文件，则在所述DHB-树上对应插入一个结点；

若需删除一个文件，则在所述DHB-树上删除该文件对应的结点。

进一步地，所述DHB-树结构包括：

根据文件名称的哈希值和除了文件名称之外的文件路径哈希值，利用所述文件名称的哈希值x₁和文件路径哈希值x₂构成所述DHB-树的前置索引X，其中：

X＝(x₁，x₂)；

在进行读或者写的数据访问时，通过前置索引X在二维哈希表中寻找所述DHB-树的访问入口，再根据找到的所述访问入口，访问对应的文件信息。

进一步地，所述DHB-树中，若每个结点都存在，则高度为h的DHB-树存在结点数量n为：

n＝m^h+1-1：

其中，所述m为DHB-树中一个结点能拥有的最多的子结点的数量值；

当所述DHB-树的所有结点都存储有相应的数据时，所述DHB-树的高度h与结点数量n和子结点数量m的关系为：

若所述DHB-树能包含的最小数量的孩子结点数量为d，且

则所述DHB-树的高度h与结点数量n和子结点数量m的关系为：

此时，m为所述DHB-树能拥有的子结点的数量；

其中，所述DHB-树的非叶结点保存访问文件的路径信息，所述DHB-树的叶结点保存除文件路径信息之外的其他文件信息。

进一步地，所述名字服务节点提供被访问文件的目录服务，通过所述二维哈希表定位文件目录对应的DHB-树，获取对应的文件信息；

其中，获取的所述文件信息包括：文件大小以及文件所在的数据服务节点。

进一步地，所述名字服务节点接收客户端发送的访问文件的路径信息，并根据所述路径信息，向所述数据服务节点发送数据请求以便通知所述数据服务节点进行数据操作的准备；

数据服务节点根据所述名字服务节点发送的数据请求，与所述客户端建立连接并供所述客户端访问存储在所述数据服务节点上的相关数据。

进一步地，所述数据服务节点不能有效提供服务，导致所述任务派发节点不能从该数据服务节点获取有效的返回信息时，所述任务派发节点向系统管理员发送报警提示信息。

进一步地，所述数据服务节点对文件进行多次备份；

所述任务派发节点若发现所述数据服务节点不可用，则自动选择可用的数据服务节点继续提供数据访问操作。

进一步地，所述任务派发节点接收来自不同客户端的数据服务请求，当所述数据服务请求有多个时，所述任务派发节点根据优先级对所述数据服务请求进行排队，并按照排队结果，与所述名字服务节点进行通信，向所述名字服务节点发送需访问的文件信息。

进一步地，所述大数据的分布式存储系统中读写服务等待概率P₀为：

其中，λ为客户单位时间内的平均服务请求达到率；

μ为所述大数据的分布式存储系统单位时间能提供的平均服务率；

z为所述大数据的分布式存储系统正在提供服务的读写请求个数；

i为等待执行读写操作的服务。

本发明一种大数据的分布式存储系统可以达到如下有益效果：

包括名字服务节点、任务派发节点和数据服务节点，所述任务派发节点接收客户端发送的数据读写命令并解析，获取所述数据读写命令对应的访问信息，并将接收到的所述数据读写命令、访问信息以及文件的全局路径信息发送至所述名字服务节点；所述名字服务节点根据所述访问信息和全局路径信息从对应的树结构中获取所述数据服务节点对应的访问信息，并向所述数据服务节点发送读写操作命令；所述数据服务节点根据所述读写操作命令读或者写存储在对应数据服务节点上的文件数据，并将执行结果数据返回至所述任务派发节点，由所述任务派发节点将所述执行结果数据返回至对应的客户端，解决了对大数据的分布式存储系统中的任意数据的快速读写问题，提高了数据读写效率，节约了时间。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所指出的内容来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明大数据的分布式存储系统的一种实施方式的体系结构示意图；

图2是本发明大数据的分布式存储系统的一种实施方式的工作流程示意图；

图3是本发明大数据的分布式存储系统中DHB-树的一种实施方式的结构示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

本发明提供了一种用于进行数据存储的大数据的分布式存储系统，解决了对大数据的分布式存储系统中的任意数据的快速读写问题，提高了数据读写的效率。

本发明描述的大数据的分布式存储系统，从功能上可以把该大数据的分布式存储系统内的节点划分为名字服务节点、任务派发节点和数据服务节点，所述名字服务节点、任务派发节点和数据服务节点在所述大数据的分布式存储系统内通信连接；如图1所示，图1是本发明大数据的分布式存储系统的一种实施方式的体系结构示意图；图1所示的大数据的分布式存储系统采用分布式结构，该大数据的分布式存储系统中，名字服务节点提供被访问文件的目录服务，通过二维哈希表定位具体的文件目录树，然后根据定位的文件目录树获取对应的文件信息；其中，获取的所述文件信息包括但不限于：文件大小、文件所在的数据服务节点等。

任务派发节点的主要任务是，接收来自客户端的读和/或写操作。任务派发节点把读和/或写命令以及文件的全局路径发送至名字服务节点，名字服务节点根据路径及文件名信息从文件目录树对应的树结构中，获取数据服务节点对应的访问信息；所述数据服务节点对应的访问信息包括但不限于：IP地址、端口号、数据服务节点本地目录结构等。与此同时，名字服务节点也向数据服务节点发送读或写操作命令，数据服务节点根据名字服务节点发送的读或写操作命令，执行对应的读或写操作，比如读或写存储在数据服务节点上的文件数据，并将执行读或写操作得到的执行结果数据会返回至任务派发节点处，由任务派发节点将对应的执行结果数据返回至客户端。

数据服务节点主要用于存储数据，每个数据服务节点均保存文件至该数据服务节点对应的本地文件系统中。由于大数据的分布式存储系统对应的数据平台要求很强的鲁棒性，也就是说数据不应该轻易丢失，因此数据服务节点直接可以对文件进行多次备份，也就是说一个文件可以拥有多个副本。所以，当所述任务派发节点发现对应的数据服务节点不可用时，可自动选择可用的数据服务节点继续提供数据访问操作。

进一步地，在一个实施例中，若所述数据服务节点不能有效提供服务，导致所述任务派发节点不能从该数据服务节点获取有效的返回信息时，所述任务派发节点向系统管理员发送报警提示信息，从而便于系统管理员针对该大数据的分布式存储系统可能发生的特殊情况或者可能发生的异常进行及时处理。

本发明大数据的分布式存储系统的一般工作流程可参照图2，图2是本发明大数据的分布式存储系统的一种实施方式的工作流程示意图；如图2所示，本发明大数据的分布式存储系统的工作流程可以实施为如下描述的步骤S10-S30：

步骤S10、所述任务派发节点接收客户端发送的数据读写命令并解析，获取所述数据读写命令对应的访问信息，并将接收到的所述数据读写命令、访问信息以及文件的全局路径信息发送至所述名字服务节点；

步骤S20、所述名字服务节点根据所述访问信息和全局路径信息从对应的树结构中获取所述数据服务节点对应的访问信息，并向所述数据服务节点发送读写操作命令；

步骤S30、所述数据服务节点根据所述读写操作命令读或者写存储在对应数据服务节点上的文件数据，并将执行结果数据返回至所述任务派发节点，由所述任务派发节点将所述执行结果数据返回至对应的客户端。

在一个具体的应用场景中，当客户端需要从该分布式数据存储系统中读取对应的文件时，客户端首先发送读取命令至任务派发节点；由于任务派发节点与客户端的对应关系不是一一对应的，一个任务派发节点可能对应多个客户端，因此，任务派发节点会对来自不同的客户端的服务请求进行排队；进一步地，在一个应用场景中，所述任务派发节点接收来自不同客户端的数据服务请求，当所述数据服务请求有多个时，所述任务派发节点根据优先级对所述数据服务请求进行排队，并按照排队结果，与所述名字服务节点进行通信，向所述名字服务节点发送需访问的文件信息；即所述任务派发节点与名字服务节点进行通信并告知名字服务节点所要访问的文件信息。

当名字服务节点获取了所要访问的文件信息时，名字服务节点向数据服务节点发送文件操作指令，数据服务节点将该文件操作指令对应的执行结果数据返回至任务派发节点，任务派发节点再转发执行结果数据至发送请求的相应客户端。

由于名字服务节点为读写文件提供文件与位置的对应关系，因此，当要访问一个文件的时候，客户端首先向名字服务节点提供访问文件的路径信息，由名字服务节点向相关数据服务节点发送请求告知相关数据服务节点准备好数据操作，然后客户端即可与数据服务节点建立连接并访问相关数据。

进一步地，本发明大数据的分布式存储系统中，名字服务节点对访问数据的组织形式采用的是双哈希结构的B-树结构即DHB-树(即Double Hash B-tree)结构；如图3所示，图3是本发明大数据的分布式存储系统中DHB-树的一种实施方式的结构示意图；图3所述实施例中，所述DHB-树结构包括：根据文件名称的哈希值和除了文件名称之外的文件路径哈希值，利用所述文件名称的哈希值x₁和文件路径哈希值x₂构成所述DHB-树的前置索引X，其中：

X＝(x₁，x₂)；

在进行读或者写的数据访问时，通过前置索引X在二维哈希表中寻找所述DHB-树的访问入口，再根据找到的所述访问入口，访问对应的文件信息。

即：由于DHB-树与传统的B-树的不同主要体现在访问方式上，DHB-树要使用的两个哈希值，一个是根据文件名哈希值，另外一个是根据文件除了文件名称之外的路径哈希，那么这两个哈希值构成DHB-树的前置索引X，且满足：X＝(x₁，x₂)，通过X在T×T的表中寻找DHB-树的访问入口，然后再访问对应的文件信息；其中，T表示二维哈希表的每个维度的大小，如图3所示。

这样做的目的是：因为是大数据存储，数据量巨大，如果用一颗传统的B-树构建文件索引结构，势必让B-树变得非常庞大从而降低了访问效率。但如果使用DHB-树结构，大数据的分布式存储系统可以根据设系统置需求来设定T×T棵B-树，访问效率将提高很多，是这种方式在实际的应用场景中是真实有效且容易实现的，如图3给出了在一种应用场景下的DHB-树结构。

进一步地，在本发明实施例中，所述DHB-树具备如下特性：

例如：对于每个哈希表入口的DHB-树而言每个节点最多有m个孩子；每个非叶结点至少有

子结点；如果根不是叶结点，则根至少有两个子结点；具有k个子节点的非叶结点包含(k-1)个键，且所有叶子都出现在同一水平。因此，对DHB-树的增加、删除和修改操作是容易实现的，比如，当要创建一个新文件，则直接在DHB-树上插入一个结点即可；当要删除一个文件，则在该DHB-树上删除该文件对应的结点即可。

如果所述DHB-树的每个结点都存在，则高度为h的DHB-树存在结点数量n为：

n＝m^h+1-1；

其中，所述m为DHB-树中一个结点能拥有的最多的子结点的数量值；

当所述DHB-树的所有结点都存储有相应的数据时，所述DHB-树的高度h与结点数量n和子结点数量m的关系为：

若所述DHB-树能包含的最小数量的孩子结点数量为d，且

则所述DHB-树的高度h与结点数量n和子结点数量m的关系为：

此时，m为所述DHB-树能拥有的子结点的数量；

其中，所述DHB-树的非叶结点保存访问文件的路径信息，所述DHB-树的叶结点保存除文件路径信息之外的其他文件信息，例如文件的大小、文件数据的分块信息、文件块与数据服务节点的对应关系等，便于数据的访问。

进一步地，本发明大数据的分布式存储系统中，由于一个任务派发节点可能同时对应多个客户端，因此，所述任务派发节点可能会接收到来自不同客户端的数据服务请求，当所述数据服务请求有多个时，假设客户单位时间内的平均服务请求达到率是λ，该分布式大数据的分布式存储系统单位时间能提供的平均服务率是μ，使用z表示大数据的分布式存储系统正在提供服务的读写请求个数，用P_z表示大数据的分布式存储系统有z个等待读写服务进行操作的概率。与此同时，假设大数据的分布式存储系统的状态有m个，对于任何一个状态用E_m表示，使用L_m表示处于状态m的次数。

当该大数据的分布式存储系统达到稳定状态时，其读写请求达到率与服务率应该相等，从而达到系统平衡。针对平衡的状态的不同情况，分别描述如下：

μ₁P₁＝λ₀P₀；

在情况0时，此时大数据的分布式存储系统里有0个等候读写操作的概率是P₀，同时平均到达读写请求率是λ₀时，当大数据的分布式存储系统服务队列到达平衡时，λ₀P₀等于大数据的分布式存储系统中有一个读写请求等待时候的平均服务率μ₁，同时大数据的分布式存储系统有一个读写服务操作正在等待操作的概率是P₁的乘积。如此即表达了一种平衡情况。

还有其他平衡情况，例如情况2，此时满足：

λ₀P₀+μ₂P₂＝P₁(λ₁+μ₁)；

在情况2时，此时大数据的分布式存储系统里有1个等候读写操作的概率是P₁，同时当系统有1个读写请求在队列的时候平均到达读写请求率是λ₁的时候，μ₂表示有2个读写请求在队列的时候的平均服务时间，P₂表示大数据的分布式存储系统有2个等待读写服务进行操作的概率。以此类推，可以同样可以得到情况z时满足：

λ_z-1P_z-1+μ_z+1P_z+1＝P_z(λ_z+μ_z)。

在情况z时，此时大数据的分布式存储系统里有z-1个等候读写操作的概率是P_z-1，当系统有z-1个读写请求在队列时，平均到达读写请求率是λ_z-1；同时，当系统中有z个读写请求在队列、平均到达读写请求率是λ_z时，μ_z表示有z个读写请求在队列时的平均服务时间，P_z表示大数据的分布式存储系统有z个等待读写服务进行操作的概率。

当大数据的分布式存储系统中有z+1个读写请求在队列且平均到达读写请求率为λ_z+1时，μ_z+1表示：有z+1个读写请求在队列时的平均服务时间，P_z+1表示大数据的分布式存储系统有z+1个等待读写服务进行操作的概率。

根据以上描述和多个方程表达式可以推导得出：

依次类推，得到：

由于所以必然得到：

从而可以求出大数据的分布式存储系统中读写服务等待概率P₀为：

其中，λ为客户单位时间内的平均服务请求达到率；

μ为所述大数据的分布式存储系统单位时间能提供的平均服务率；

z为所述大数据的分布式存储系统正在提供服务的读写请求个数；

i为等待执行读写操作的服务。

根据上述公式，即可确定大数据的分布式存储系统读写服务等待的概率，从而可以预测该大数据的分布式存储系统的性能。

本发明大数据的分布式存储系统包括名字服务节点、任务派发节点和数据服务节点，所述任务派发节点接收客户端发送的数据读写命令并解析，获取所述数据读写命令对应的访问信息，并将接收到的所述数据读写命令、访问信息以及文件的全局路径信息发送至所述名字服务节点；所述名字服务节点根据所述访问信息和全局路径信息从对应的树结构中获取所述数据服务节点对应的访问信息，并向所述数据服务节点发送读写操作命令；所述数据服务节点根据所述读写操作命令读或者写存储在对应数据服务节点上的文件数据，并将执行结果数据返回至所述任务派发节点，由所述任务派发节点将所述执行结果数据返回至对应的客户端，解决了对大数据的分布式存储系统中的任意数据的快速读写问题，提高了数据读写效率，节约了时间。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种大数据的分布式存储系统，其特征在于，所述大数据的分布式存储系统包括：名字服务节点、任务派发节点和数据服务节点，所述名字服务节点、任务派发节点和数据服务节点在所述大数据的分布式存储系统内通信连接；其中：

所述任务派发节点接收客户端发送的数据读写命令并解析，获取所述数据读写命令对应的访问信息，并将接收到的所述数据读写命令、访问信息以及文件的全局路径信息发送至所述名字服务节点；

所述名字服务节点根据所述访问信息和全局路径信息从对应的树结构中获取所述数据服务节点对应的访问信息，并向所述数据服务节点发送读写操作命令；

所述数据服务节点根据所述读写操作命令读或者写存储在对应数据服务节点上的文件数据，并将执行结果数据返回至所述任务派发节点，由所述任务派发节点将所述执行结果数据返回至对应的客户端；

所述大数据的分布式存储系统中的树结构采用：双哈希定位的B-树结构即DHB-树结构；

若需创建一个新文件，则在所述DHB-树上对应插入一个结点；

若需删除一个文件，则在所述DHB-树上删除该文件对应的结点；

所述DHB-树结构包括：

根据文件名称的哈希值和除了文件名称之外的文件路径哈希值，利用所述文件名称的哈希值x₁和文件路径哈希值x₂构成所述DHB-树的前置索引X，其中：

X＝(x₁，x₂)；

在进行读或者写的数据访问时，通过前置索引X在二维哈希表中寻找所述DHB-树的访问入口，再根据找到的所述访问入口，访问对应的文件信息。

2.如权利要求1所述的大数据的分布式存储系统，其特征在于，所述DHB-树中，若每个结点都存在，则高度为h的DHB-树存在结点数量n为：

n＝m^h+1-1；

其中，所述m为DHB-树中一个结点能拥有的最多的子结点的数量值；

当所述DHB-树的所有结点都存储有相应的数据时，所述DHB-树的高度h与结点数量n和子结点数量m的关系为：

若所述DHB-树能包含的最小数量的孩子结点数量为d，且

则所述DHB-树的高度h与结点数量n和子结点数量m的关系为：

此时，m为所述DHB-树能拥有的子结点的数量；

其中，所述DHB-树的非叶结点保存访问文件的路径信息，所述DHB-树的叶结点保存除文件路径信息之外的其他文件信息。

3.如权利要求1至2任一项所述的大数据的分布式存储系统，其特征在于，所述名字服务节点提供被访问文件的目录服务，通过所述二维哈希表定位文件目录对应的DHB-树，获取对应的文件信息；

其中，获取的所述文件信息包括：文件大小以及文件所在的数据服务节点。

4.如权利要求3所述的大数据的分布式存储系统，其特征在于，所述名字服务节点接收客户端发送的访问文件的路径信息，并根据所述路径信息，向所述数据服务节点发送数据请求以便通知所述数据服务节点进行数据操作的准备；

数据服务节点根据所述名字服务节点发送的数据请求，与所述客户端建立连接并供所述客户端访问存储在所述数据服务节点上的相关数据。

5.如权利要求1至2任一项所述的大数据的分布式存储系统，其特征在于，所述数据服务节点不能有效提供服务，导致所述任务派发节点不能从该数据服务节点获取有效的返回信息时，所述任务派发节点向系统管理员发送报警提示信息。

6.如权利要求1至2任一项所述的大数据的分布式存储系统，其特征在于，所述数据服务节点对文件进行多次备份；

所述任务派发节点若发现所述数据服务节点不可用，则自动选择可用的数据服务节点继续提供数据访问操作。

7.如权利要求1至2任一项所述的大数据的分布式存储系统，其特征在于，所述任务派发节点接收来自不同客户端的数据服务请求，当所述数据服务请求有多个时，所述任务派发节点根据优先级对所述数据服务请求进行排队，并按照排队结果，与所述名字服务节点进行通信，向所述名字服务节点发送需访问的文件信息。

8.如权利要求1至2任一项所述的大数据的分布式存储系统，其特征在于，所述大数据的分布式存储系统中读写服务等待概率P₀为：

其中，λ为客户单位时间内的平均服务请求达到率；

μ为所述大数据的分布式存储系统单位时间能提供的平均服务率；

z为所述大数据的分布式存储系统正在提供服务的读写请求个数；

i为等待执行读写操作的服务。

Images