CN109298949B - 一种分布式文件系统的资源调度系统 - Google Patents

Abstract

本发明公开了一种分布式文件系统的资源调度系统，包括：资源管理节点(1)、与资源管理节点(1)通讯相连的呈分布式布置的多个资源请求器(2)，以及与资源管理节点(1)通讯相连呈分布式布置的多个资源提供节点(3)；资源提供节点(3)定期向资源管理节点(1)发送其所在服务器的资源信息；资源管理节点(1)通过资源分配算法确定将资源提供节点(3)发送的资源信息分配给哪个资源请求器(2)；资源请求器(2)筛选分配到的资源信息，最终使每个任务对应一个资源信息，也对应一个资源提供节点(3)；资源提供节点(3)内部设置任务执行器(3a)，任务执行器(3a)用于执行其所在的资源提供节点(3)所对应的任务。

Description

一种分布式文件系统的资源调度系统

技术领域

本发明涉及计算机技术领域，更具体地说，涉及一种以资源管理节点为核心的分布式文件系统的资源调度系统。

背景技术

目前的分布式文件系统主要采用两种结构，主从结构和非主从结构。主从结构的分布式文件系统通常包括主控服务器和多个数据服务器。非主从结构的分布式文件系统中所有节点的地位相同，完成一样的工作，通过一致性哈希算法实现数据在各个节点的分布。非主从结构由于每个节点的功能地位相同，因此随着大数据量的增加，必须通过扩展每个节点的存储量才能满足需要，造成硬件投资增加；主从结构能够将数据分别存储在不同节点上进行统一管理，减少了对存储资源的依赖，但是在面对大量资源请求是会造成运行速度降低的问题。

发明内容

本发明要解决的技术问题是：在主从结构的基础上，建立一种以资源管理节点为核心的分布式文件系统的资源调度系统，使分布式文件系统能够合理的进行资源分配，通过对资源的合理调度，实现性能的最优化。

为了达到上述目的，本发明提供一种分布式文件系统的资源调度系统，包括：资源管理节点、与所述资源管理节点通讯相连的呈分布式布置的多个资源请求器，以及与所述资源管理节点通讯相连呈分布式布置的多个资源提供节点。

所述资源提供节点，用于定期向资源管理节点发送其所在服务器的资源信息。

所述资源管理节点内部设置资源分配器，所述资源分配器内置有资源分配算法，并通过所述资源分配算法确定将所述资源提供节点发送的资源信息分配给哪个所述资源请求器；

所述资源请求器，用于约束每个任务执行时所需要的资源，所述资源请求器筛选分配到的资源信息，以选择接受或者拒绝资源，最终使每个任务对应一个资源信息，也对应一个所述资源提供节点。

所述资源提供节点内部设置任务执行器，所述任务执行器用于执行其所在的所述资源提供节点所对应的任务。

上述分布式文件系统的资源调度系统，优选方式下，所述资源提供节点为文件存储服务器或存储设备，用于接收并执行来自所述资源管理节点的命令，同时管理在所述资源提供节点上运行的任务，并为各个任务分配资源。

上述分布式文件系统的资源调度系统，优选方式下，所述资源请求器为客户终端或外部的应用系统，所述资源请求器部署的程序中包含一个资源调度模块，所述资源调度模块用于接收所述资源管理节点分配的资源，以及管理自身内部的任务资源分配。

上述分布式文件系统的资源调度系统，优选方式下，所述资源分配器内置的资源分配算法为RDF算法和哈希算法。

本发明的优点在于：通过构建分布式系统上的资源调度系统，可以实现对整个分布式集群底层资源的统一管理和使用，可以实时的了解到各个分布式节点的性能数据，依靠资源的分配算法和任务的调度，实现对集群节点性能的自动识别和依靠数据自动调整集群的任务执行。

附图说明

图1是本发明的整体结构示意图；

1、资源管理节点，2、资源请求器，3、资源提供节点，1a、资源分配器，3a、任务执行器，4、备用资源管理节点。

具体实施方式

如图1所示，本发明是一种分布式文件系统的资源调度系统，包括：资源管理节点1、与所述资源管理节点1通讯相连的呈分布式布置的多个资源请求器2，以及与所述资源管理节点1通讯相连呈分布式布置的多个资源提供节点3。

所述资源提供节点3，用于定期向资源管理节点1发送其所在服务器的资源信息。

所述资源管理节点1内部设置资源分配器1a，所述资源分配器1a内置有资源分配算法，并通过所述资源分配算法确定将所述资源提供节点3发送的资源信息分配给哪个所述资源请求器2。

所述资源请求器2，用于约束每个任务执行时所需要的资源，所述资源请求器2筛选分配到的资源信息，以选择接受或者拒绝资源，最终使每个任务对应一个资源信息，也对应一个所述资源提供节点3。

所述资源提供节点3内部设置任务执行器3a，所述任务执行器3a用于执行其所在的所述资源提供节点3所对应的任务。

所述资源提供节点3为文件存储服务器或存储设备，用于接收并执行来自所述资源管理节点1的命令，同时管理在所述资源提供节点3上运行的任务，并为各个任务分配资源。

所述资源请求器2为客户终端或外部的应用系统，所述资源请求器2部署的程序中包含一个资源调度模块，所述资源调度模块用于接收所述资源管理节点1分配的资源，以及管理自身内部的任务资源分配。

所述资源分配器1a内置的资源分配算法为RDF算法和哈希算法。

如图1所示，本专利所述的分布式文件系统的资源调度系统主要由以下几个部分构成：资源管理节点1，资源提供节点3，资源请求器2，任务执行器3a等组件构成。另外还设置了备用资源管理节点4，其功能与资源管理节点1完全相同，若资源管理节点1故障，则换用备用资源管理节点4。

资源管理节点1即分布式文件系统的管理服务器，是系统的核心，负责管理接入的各个资源请求器和资源提供节点，并将各个资源提供节点上的资源按照“某种策略”分配给资源请求器，其中所述的“某种策略”为由RDF算法和哈希算法共同构成的资源分配算法。

采用哈希算法决定如何将资源提供节点上的资源分配给资源请求器。哈希方式是最常见的数据分布方式。

资源提供节点3即文件存储服务器或存储设备，负责接收并执行来自资源管理节点1的命令，管理在资源提供节点3上运行的任务，并且为各个任务分配资源。资源提供节点3将自己的资源信息发送给资源管理节点1，由资源管理节1点决定将资源分配给哪个资源请求器2，涉及的资源包括CPU，内存，磁盘IO，磁盘容量，网络带宽等。

资源请求器2即客户终端或外部的应用系统，其部署的程序中包含一个资源调度模块，可以接受资源管理节点1分配的资源，也可以管理自己内部的任务资源分配。程序部署即指在终端上安装的一个软件，该软件中包含资源调度模块。

其中，上述外部的应用系统是指：需要使用资源的应用程序，也可看做是客户终端上运行的程序或服务器上运行的程序。

任务执行器是指，部署在资源提供节点3上的程序，用于执行资源管理节点1分配的任务。

资源调度架构：

使用基于资源量的调度机制，资源提供节点3将自己的资源信息发送给资源管理节点1，由资源管理节点1按照资源分配算法决定将资源分配给哪个资源请求器2。资源请求器2可以根据是否符合任务对资源的需求，接受或者拒绝资源管理节点1提供的资源，一旦资源被接受，资源请求器2和资源提供节点3将协作调度任务，并在相应的资源提供节点3运行任务。

本系统的整个运行过程为：

资源提供节点3定期向资源管理节点1报告所在服务器的资源情况；

资源管理节点1上的资源分配器根据资源分配算法决定要将资源分配给哪个资源请求器，并将资源信息发送过去；

资源请求器2约束了每个任务执行时需要的资源，资源请求器2根据约束筛选分配到的资源信息，可以选择接受或者拒绝。

每个任务对应一个资源信息，也对应一个资源提供节点3，对应的任务会被资源提供节点3上的任务执行器3执行，为了隔离资源，还可以使用容器技术；

容器技术是一个成熟的技术虚拟化技术，简单说就是将一个硬盘临时虚拟成多个硬盘，每个虚拟硬盘就是一个容器，用于临时存储数据。

任务就是资源请求器2需要读取的资源(数据)。此处“需要的资源”即占用多少内存、CUP占用率、数据包大小等。

资源分配算法：

如何做出资源分配的决定是由资源分配器1a实现的，资源分配器1a存在于资源管理节点1之中。资源分配器1a确定资源请求器2接受资源信息的顺序，与此同时，确保(是对资源进行分段，保证每一段的大小基本相同。)在资源利用最大化的条件下公平地共享资源。在调度资源并且是异构的资源需求时，资源分配相比普通调度将会更加困难，因此采用DRF(主导资源公平算法Dominant Resource Fairness)进行平衡。DRF的目标是确保每一个用户，即资源请求器2，在异构环境中能够接收到其最需要的资源的公平份额。资源请求器2拥有的全部资源类型份额中占最高百分比的就是资源请求器2的主导份额。DRF算法会使用所有已知的资源请求器来计算主导份额，以确保每个资源请求器能接收到其主导资源的公平份额。

哈希算法得出的结果是一个将资源请求器2所需要的资源与不同资源提供节点3的对应表。例如，资源请求器2需要读取一段数据(123456789)，通过哈希算法计算，分配第一资源提供节点提供(123)，第二资源提供节点提供(45)，第三资源提供节点提供(678)，第四资源提供节点提供(9)。

异构资源是指不同数据类型的资源。例如，一个word文档，他的数据格式是一致的，因此在分段时只需要按照数据大小进行分段；而一个压缩文件，其中可能包含图片、word、视频等不同数据，对这类数据的分段不能仅仅按照大小进行分段。

哈希方式是最常见的数据分布方式，其方法是按照数据的某一特征(如服务器数量值、数据大小排序值)计算哈希值，并将哈希值与机器中的机器组的编号。下图给出了哈希方式分数据的一个例子，将数据按哈希值分配到4个节点上器建立映射关系，从而将不同哈希值的数据分布到不同的机器上。例如，一种常见的哈希方式是按服务器数量的编码计算哈希值，集群中的服务器按0到服务器数量减1编号，哈希值除以服务器的个数，结果的余数作为处理该数据的服务器编号。工程中，往往需要考虑服务器的副本冗余，将每数台服务器组成一组，用哈希值除以总的组数，其余数为服务。

可以将哈希方式想象为一个大的哈希表，每台(组)机器就是一个哈希表中的桶，数据根据哈希值被分布到各个桶上面。

只要哈希函数的散列特性较好，哈希方式可以较为均匀的将数据分布到集群中去。哈希方式需要记录的元信息也非常简单，任何时候，任何节点只需要知道哈希函数的计算方式及模的服务器总数就可以计算出处理具体数据的机器是哪台。

一个分布式文件系统在某一时刻，有多个资源请求器发出资源请求，系统会根据资源提供节点定期向资源管理节点报告的资源情况获知所，哪些资源提供节点能够为资源请求器提供资源，通过平衡算法分配为资源请求器提供资源的资源提供节点，然后再分配资源提供节点提供哪些数据段，最终完成资源请求器的请求。例如：有a、b两个资源请求器发出资源请求，如果a、b所需资源分别在不同的资源提供节点上，则系统将直接分配任务；如果a、b所需资源在同一个资源提供节点上，则采用平衡算法进行平衡。

其核心做法是比较资源请求所需占用资源(占用资源量是指占用计算机性能资源)的大小，首先选取占用资源最小的资源请求所占用的资源量设为S_i，将资源提供节点的资源剩余量(是指计算机性能的剩余量)设为R_m，对S_i/ΣR_m的值进行比较，最终确定由哪些资源提供节点提供资源。

具体实例如下：如果a所需资源在资源提供节点1、2、3、4上，b所需资源在资源提供节点5、6、7上，则系统将直接下达两个任务，由1、2、3、4为a提供资源，由5、6、7为b提供资源；如果a所需资源在1、2、3、4上，b所需资源在3、4、5、6上，系统对资源提供节点进行平衡，具体步骤如下：评估a、b所需占用的资源量S_a和S_b，获取资源提供节点1-6的剩余资源量R₁-R₆；若S_a/(R₁+R₂)<＝S_b/(R₃+R₄+R₅+R₆)，则1、2资源提供节点为a提供资源，若S_a/(R₁+R₂)>S_b/(R₃+R₄+R₅+R₆)，则比较S_a/(R₁+R₂+R₃)与S_b/(R₄+R₅+R₆)，若S_a/(R₁+R₂+R₃)<＝S_b/(R₄+R₅+R₆)，则1、2、3资源提供节点为a提供资源，若S_a/(R₁+R₂+R₃)>S_b/(R₄+R₅+R₆)，则1、2、3、4资源提供节点为a提供资源，5、6资源提供节点为b提供资源。如果a和b的所需资源都在资源提供节点1、2、3、4，则从S_a/R₁<＝S_b/(R₂+R₃+R₄+R₅+R₆)开始进行比较。

系统确定为资源请求器提供资源的资源提供节点后，系统将进行数据分配计算。具体步骤如下：若资源请求共含有n个数据段。首先系统对m个资源提供节点(A)的资源剩余量按照从大到小进行排序，资源剩余量最大的资源提供节点编号A₀，依次往下至A_m-1。对n个数据段(B)的大小按照从大到小进行排序，依次编号B₀至B_n-1。

将(n-1)/m，所得余数即为提供该数据段的资源提供节点编号。例如n＝15，m＝6，对资源提供节点的编号为0-5，对数据段的编号为0-14；根据算法，0/6余数为0，则B₀数据段分配的资源提供节点为A₀；B₁数据段的资源提供节点为A₁；依次类推，B₆数据段的资源提供节点为A₀；B₁₄数据段的资源提供节点为A₂。

分布式文件系统的资源调度系统拥有10个资源提供节点。

第一资源请求器a、第二资源请求器b、第三资源请求器c同时向资源管理节点1发出资源请求。

资源管理节点1根据资源提供节点所报告的资源情况，了解到在0-9号资源提供节点上均有该资源。

资源管理节点1通过RDF算法，分配第一资源请求器a从0-3号资源提供节点上获取资源；第二资源请求器b从4-5号资源提供节点上获取资源；第三资源请求器c从6-9号资源提供节点上获取资源。

资源管理节点1通过哈希算法，将第一资源请求器a所需要资源分为10(1-10)段，由0号资源提供节点提供1-2段，1号资源提供节点提供3-5段，2号资源提供节点提供6-9段，3号资源提供节点提供10段；将第二资源请求器b所需资源分为5(1-5)段，由4号资源提供节点提供1-2段，由5号资源提供节点提供3-5段；将第三资源请求器c所需资源分为4(1-4)段，由6号资源提供节点提供1段，7号资源提供节点提供2段，8号资源提供节点提供3段，9号资源提供节点提供4段。

资源管理节点1完成分配后向资源提供节点发送资源信息，资源提供节点收到信息后向资源请求器发送指定的资源数据。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种分布式文件系统的资源调度系统，其特征在于，包括：

资源管理节点(1)、与所述资源管理节点(1)通讯相连的呈分布式布置的多个资源请求器(2)，以及与所述资源管理节点(1)通讯相连呈分布式布置的多个资源提供节点(3)；

所述资源提供节点(3)，用于定期向资源管理节点(1)发送其所在服务器的资源信息；

所述资源管理节点(1)内部设置资源分配器(1a)，所述资源分配器(1a)内置有资源分配算法，并通过所述资源分配算法确定将所述资源提供节点(3)发送的资源信息分配给哪个所述资源请求器(2)；

所述资源请求器(2)，用于约束每个任务执行时所需要的资源，所述资源请求器(2)筛选分配到的资源信息，以选择接受或者拒绝资源，最终使每个任务对应一个资源信息，也对应一个所述资源提供节点(3)；

所述资源提供节点(3)内部设置任务执行器(3a)，所述任务执行器(3a)用于执行其所在的所述资源提供节点(3)所对应的任务；

其中，所述资源分配算法能够实现如下步骤：

S1、判断多个所述资源请求器(2)发出的资源请求所需资源是否分别在不同的所述资源提供节点(3)上；若分别在不同的所述资源提供节点(3)上，则系统直接将任务分配给不同的所述资源提供节点(3)；若所需资源在同一资源提供节点上，则进行步骤S2；

S2、比较所述资源请求器(2)发出的资源请求所占用资源的大小，具体为：首先选取占用资源最小的资源请求所占用的资源量设为Si，将所述资源提供节点(3)的资源剩余量设为Rm，分别求取所述资源提供节点(3)多种组合下的Si/ΣRm的值并进行比较，并根据比较结果最终确定由哪些所述资源提供节点(3)提供资源；

S3、具体的确定方法为：设被执行的两个任务分别为a、b，评估其所占用的资源量分别为Sa和Sb，获取1~m号所述资源提供节点(3)的剩余资源量R1、R2、R3……Rm；若Sa/（R1+R2）<=Sb/（R3+R4+R5+R6+……+Rm），则1、2资源提供节点为a提供资源；

若Sa/（R1+R2）>Sb/（R3+R4+R5+R6+……+Rm），则比较Sa/（R1+R2+R3）与Sb/（R4+R5+R6+……+Rm）；若Sa/（R1+R2+R3）<=Sb/（R4+R5+R6+……+Rm），则1、2、3资源提供节点为a提供资源，若Sa/（R1+R2+R3）>Sb/（R4+R5+R6），则1、2、3、4资源提供节点为a提供资源，其余资源提供节点为b提供资源；如果a和b的所需资源都在资源提供节点1、2、3、4，则从Sa/R1<=Sb/（R2+R3+R4+R5+R6+……+Rm）开始进行比较，依次类推。

2.根据权利要求1所述分布式文件系统的资源调度系统，其特征在于，所述资源提供节点(3)为文件存储服务器或存储设备，用于接收并执行来自所述资源管理节点(1)的命令，同时管理在所述资源提供节点(3)上运行的任务，并为各个任务分配资源。

3.根据权利要求1所述分布式文件系统的资源调度系统，其特征在于，所述资源请求器(2)为客户终端或外部的应用系统，所述资源请求器(2)部署的程序中包含一个资源调度模块，所述资源调度模块用于接收所述资源管理节点(1)分配的资源，以及管理自身内部的任务资源分配。

4.根据权利要求1所述分布式文件系统的资源调度系统，其特征在于，所述资源分配器(1a)内置的资源分配算法为RDF算法和哈希算法。

Images