CN102111438A - 参数调整方法、装置和分布式计算平台系统 - Google Patents

Abstract

本发明实施例公开了一种参数调整方法、装置和分布式计算平台系统，其中方法包括：当任务队列发生变化时，根据任务队列信息、分布式文件系统的数据块信息和调整策略生成调整策略；根据所述调整策略对分布式文件系统中的各数据块的副本数量进行调整。装置包括：指令生成模块，用于当任务队列发生变化时，根据任务队列信息、分布式文件系统的数据块信息和调整策略生成调整策略；调整模块，用于根据所述调整策略对分布式文件系统中的各数据块的副本数量进行调整。本实施例还提供了一种分布式计算平台系统。本实施例能够及时准确地解决多个任务同时访问同一数据块导致的数据热点问题。

Description

参数调整方法、装置和分布式计算平台系统

技术领域

本发明实施例涉及通信技术和计算机领域，尤其涉及一种参数调整方法、装置和分布式计算平台系统。

背景技术

数据密集型分布式计算平台通常由分布式计算框架和分布式文件系统组成，其中，分布式计算框架中包含一个任务队列，如图1所示为现有技术的分布式计算框架中的任务调度示意图，用户提交的任务先进入该队列中，系统根据计算资源的繁忙情况对任务进行调度，并下发给计算节点进行运算；分布式文件系统为一种基于廉价计算机节点进行本地存储构建的分布式存储系统，其通过将不同服务器上的共享文件夹组织在一起构建成一个目录树，则用户只需访问一个共享的根目录便可访问分布在网络上的文件或文件夹。图2所示为现有技术的分布式文件系统中的数据块操作示意图，分布式系统通常由元数据服务器节点和多个数据块节点组成；其中，元数据服务器节点用于保存各个文件的数据分块情况、各个数据块所在的数据块节点的名称以及每个数据块节点上所包含的数据块信息等；数据块节点用于保存实际的数据块。当客户端软件需要对分布式文件系统进行数据存取访问时，先通过元数据服务器节点获取或建立文件的数据块的位置，再直接与相应数据块所在的数据块节点进行通信。

为了提高系统可靠性和数据可用性，分布式文件系统通常采用固定数量的多副本方式来保存数据块，如对于同一个数据块，可以在不同数据块节点保存对应的三个副本。而这种方式只考虑了数据的可用性而未考虑不同数据访问的性能参数的不同要求，不同数据的性能参数随时间发生变化，而当出现某些数据的访问频率升高或响应时间下降等情况时，固定数量的数据块副本不能满足高性能要求，导致数据块的响应时间增加。如当集群中节点数量较多，且并发运行的任务数量也较大时，容易出现数据热点问题，如图3所示为现有技术的分布式文件系统中数据热点的示意图，即很多任务同时访问同一份数据，导致访问速度明显下降。

在现有技术中，为了解决上述由于固定数量的数据块副本而导致容易产生数据热点的问题，一种方法为管理员根据经验手动调整某些文件的数据块副本数量；另一种方法为通过统计数据块副本的性能参数获得实际性能参数，根据实际性能参数来在数据块节点中增加或删除数据块副本。

发明人在实现本发明的过程中，发现现有技术至少存在以下缺点：

现有技术中的第一种调整方法对管理员要求较高，且调整的准确度和及时性不高；第二种调整方法则属于事后调整，具有一定的延后期，不能及时解决数据热点问题。

发明内容

本发明实施例在于提供一种参数调整方法、装置和分布式计算平台系统，实现对数据块副本数量的预先自动调整，及时准确地解决多个任务同时访问同一数据块导致的数据热点问题。

为了实现上述目的，本发明实施例提供了一种参数调整方法，包括：

当任务队列发生变化时，根据任务队列信息、分布式文件系统的数据块信息和调整策略生成调整策略；其中，所述调整策略为调整数据块的副本数量，使得各数据块被访问的任务总数与对应的所述各数据块的当前副本所能支撑的任务总数达到平衡；

根据所述调整策略对分布式文件系统中的各数据块的副本数量进行调整。

本发明实施例提供了一种参数调整装置，包括：

指令生成模块，用于当任务队列发生变化时，根据任务队列信息、分布式文件系统的数据块信息和调整策略生成调整策略；其中，所述调整策略为调整数据块的副本数量，使得各数据块被访问的任务总数与对应的所述各数据块的当前副本所能支撑的任务总数达到平衡；

调整模块，用于根据所述调整策略对分布式文件系统中的各数据块的副本数量进行调整。

本发明实施例提供了一种分布式计算平台系统，包括分布式计算框架和分布式文件系统，所述分布式计算框架包括计算管理节点和多个计算节点，所述分布式文件系统包括元数据服务器节点和多个数据节点，所述计算管理节点包括用户任务管理模块和任务调度模块；所述分布式计算框架用于接收用户提交的任务，并对任务队列中的任务进行管理和调度，所述分布式文件系统用于保存数据块信息，所述计算管理节点用于对任务队列中的各个任务进行管理和调度，所述计算节点用于对数据块进行计算处理，所述元数据服务器节点用于保存各文件的数据分块情况、各数据块所在的数据节点信息以及各数据节点包含的数据块信息，所述数据节点用于保存实际的数据块；所述分布式计算平台系统还包括上述参数调整装置。

本发明实施例提供的一种参数调整方法、装置和分布式计算平台系统，通过当任务队列发生变化时，根据任务队列信息、分布式文件系统的数据块信息和调整策略生成调整策略，根据该调整策略来对分布式文件系统中的各数据块的副本数量进行调整，由于本实施例基于任务队列的变化来生成调整策略，则实现了对数据块副本数量的预先自动调整，能够及时准确地解决多个任务同时访问同一数据块导致的数据热点问题，从而提高了分布式计算平台的处理性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术的分布式计算框架中的任务调度示意图；

图2为现有技术的分布式文件系统中的数据块操作示意图；

图3为现有技术的分布式文件系统中数据热点的示意图；

图4为本发明参数调整方法实施例一的流程图；

图5为本发明参数调整方法实施例二的流程图；

图6为本发明参数调整方法实施例二中分布式计算平台的系统架构图；

图7为本发明参数调整装置实施例一的结构示意图；

图8为本发明参数调整装置实施例二的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图4为本发明参数调整方法实施例一的流程图，如图4所示，本实施例提供了一种参数调整方法，可以具体包括如下步骤：

步骤401，当任务队列发生变化时，根据获取的任务队列信息、分布式文件系统的数据块信息和调度策略生成调整策略。

本实施例可以具体应用于计算机服务器上的数据密集型分布式计算平台中，而这种分布式计算平台的应用场景包括很多，如搜索网站的海量网页处理和搜索建立、商业智能分析、海量目志分析等等，在电信领域中的应用可以为海量话单统计、告警分析、内容分发网络(Content Delivery Network；以下简称：CDN)等。本实施例主要解决分布式计算平台中多个任务同时访问同一个数据块所容易出现的数据热点问题，就是说同时运行的计算任务大于同一个数据块的副本个数时，此处以海量话单统计应用为例来说明数据热点问题的产生。例如，如果分布式文件系统按照省份(广东)/市(深圳)/区(龙岗)/镇(坂田)等统计所有用户的话单信息，则这些数据的规模将是海量的；可以根据不同的需求进行以下方式的统计：(1)深圳所有用户的在网时间、(2)龙岗地区所有用户的花费清单、(3)坂田地区用户欠费情况，则此时坂田地区的用户话单信息被多种情况统计使用，则形成了数据热点问题。

在本实施例中，为了解决数据热点问题，对数据块的副本数量进行自适应调整，具体在任务队列发生变化时触发数据块的副本数量的调整。本步骤为在任务队列发生变化时，根据获取的任务队列信息、分布式文件系统的数据块信息和调度策略来生成调整策略。其中，任务队列信息为分布式计算平台中任务队列中的任务信息，其可以当前任务队列中所包含的各任务的属性信息等，如该任务为读任务或写任务、该任务将要访问哪个数据块等；分布式文件系统的数据块信息可以为分布式文件系统当前的相关信息，可以包括数据节点中各数据块当前的副本数量、分布式文件系统的空间容量等；调度策略为调度任务队列中各任务所采用的策略，可以为并行调度策略，也可以为分组调度策略等等，不同的调度策略所生成的本实施例中的调整策略可以是不同的。本步骤中生成的调整策略的原则为通过调整数据块的副本数量，使得各数据块被访问的任务总数与对应的所述各数据块的当前副本所能支撑的任务总数达到平衡。

本步骤可以根据上述获取的各个信息来生成具体的调整策略，即本实施例中生成调整策略的过程为自适应的过程，具体根据任务队列变化的不同时刻获取的不同信息来调整，无需管理员进行手工调整。另外，由于分布式计算平台中存在一个任务队列，用户提交的任务先进入任务队列中，再根据计算资源的繁忙情况按照预设的顺序对任务队列中的各任务进行调度，以下发给各计算节点进行运算。其中，当任务被添加到任务队列中后，便已确定各任务所要访问的数据块信息，则本实施例基于任务队列来确定调整策略时，可以在任务真正运行之前便可以获知其所访问的哪些数据块，从而可以事前生成相应的调整策略。本实施例之所以在任务队列发生变化时触发生成调整策略，是由于当任务队列中新增任务或任务被删除时，分布式文件系统中后续被访问的数据块会发生变化，可能导致某个数据块出现数据热点问题，也可能之前出现数据热点问题的数据块恢复为正常。因此，每当任务队列发生变化时，便生成相应的调整策略，这样可以更加准确及时地解决数据热点问题。

步骤402，根据调整策略对分布式文件系统中的各数据块的副本数量进行调整。

在经过上述步骤完成调整策略的生成后，本步骤根据生成的调整策略实时地对分布式文件系统中各数据块的副本数量进行调整。当然，上述生成的调整策略对于不同的数据块可能各不相同，调整策略可以为增加数据块的副本数量，也可以为减少数据块的副本数量，还可以为不对数据块的副本数量进行调整。本实施例在任务执行之前便事先调整好数据块的副本数量，后续则可以根据调整后的数据块的副本数量来执行任务队列中的各任务，因此，当任务队列中的任务开始执行时，则已有足够的数据块副本供其使用，从而可以避免数据热点问题。

本实施例提供了一种参数调整方法，通过当任务队列发生变化时，根据任务队列信息、分布式文件系统的数据块信息和调度策略生成调整策略，根据该调整策略来对分布式文件系统中的各数据块的副本数量进行调整，由于本实施例基于任务队列的变化来生成调整策略，则实现了对数据块副本数量的预先自动调整，能够及时准确地解决多个任务同时访问同一数据块导致的数据热点问题，从而提高了分布式计算平台的处理性能。

图5为本发明参数调整方法实施例二的流程图，如图5所示，本实施例提供了一种参数调整方法，可以具体包括如下步骤：

步骤501，当任务队列发生变化时，根据变化后的任务队列获取任务队列信息和该任务队列信息对应的数据块信息。

当检测到任务队列发生变化时，根据变化后的任务队列可以获取到任务队列信息，即获取到当前任务队列中所包含的队列信息，根据该任务队列信息获取其对应的数据块信息，即获取到变化后的任务队列中各任务所访问的数据块信息。此处的任务队列的变化可以包括任务队列中新增任务、删除原任务、以及原任务所访问的数据块发生变化。如变化后的任务队列中包含任务1、任务2、任务3和任务4，其中，任务4为新增任务，任务1正在访问数据块1，任务2正在访问数据块3，且任务将要访问数据块2和数据块3，任务3正在访问数据块2和数据块4，任务4将要访问数据块3。则此时可以获取到任务队列信息为任务1、任务2、任务3和任务4，任务队列信息对应的数据块信息则为上述各任务所访问的数据块信息。图6为本发明参数调整方法实施例二中分布式计算平台的系统架构图，如图6所示，具体地，本步骤可以具体由图6中分布式计算平台中的用户任务管理模块来执行，当有新的任务进入分布式计算平台中时，该任务先发送到该用户任务管理模块，由用户任务管理模块将其保存在任务队列中，并当任务队列发生变化时，获取任务队列信息和该任务队列信息对应的数据块信息。

步骤502，根据任务队列信息和任务队列信息对应的数据块信息获取任务队列中所有任务正在访问和将要访问的数据块集合，并统计数据块集合中各数据块将被访问的任务数量和各数据块正在被访问的任务数量。

根据上述获取的任务队列信息和任务队列信息对应的数据块信息，获取当前任务队列中所有任务正在访问的数据块和将要访问的数据块的集合，此处可以假设该集合为D，其中，D_n表示该集合中的一个数据块，即D_n∈D，n＝[0，N]，N为D中所包含的数据块的数量。仍以上述举例为例，根据任务队列信息和任务队列信息对应的数据块信息可以获取到当前任务队列中所有任务正在访问和将要访问的数据块集合为：数据块1、数据块2、数据块3和数据块4。本步骤在获取到数据块集合D后，对数据块集合中各数据块D_n进行统计，统计数据块集合中各数据块将被访问的任务数量A_n和各数据块正在被访问的任务数量A_n′。此时统计得到数据块1正在被任务1访问，且没有任务将访问数据块1，则数据块1将被访问的任务数量为0，数据块1正在被访问的任务数量为1；数据块2正在被任务3访问，且将被任务2访问，则数据块2将被访问的任务数量为1，数据块2正在被访问的任务数量为1；数据块3正在被任务2访问，且将被任务2和任务4访问，则数据块3将被访问的任务数量为2，数据块4正在被访问的任务数量为1；数据块4正在被任务3访问，且没有任务将要访问数据块4，则数据块4将被访问的任务数量为0，数据块4正在被访问的任务数量为1。继续参照上述图6，具体地，本步骤也可以具体由图6中分布式计算平台中的用户任务管理模块来执行，该用户任务管理模块根据任务队列信息和任务队列信息对应的数据块信息获取任务队列中所有任务正在访问和将要访问的数据块集合，并统计数据块集合中各数据块将被访问的任务数量和各数据块正在被访问的任务数量。用户任务管理模块可以将获取到的各数据块将被访问的任务数量A_n和各数据块正在被访问的任务数量A_n′发送到图6中的指令生成模块中。

步骤503，获取分布式文件系统的数据块信息，分布式文件系统的数据块信息包括数据块集合中各数据块当前的副本数量和分布式文件系统的剩余空间量。

本步骤为获取分布式文件系统的数据块信息，该分布式文件系统的数据块信息包括数据块集合中各数据块当前的副本数量和分布式文件系统的剩余空间量，在根据上述步骤获取当前数据块集合中的各数据块后，可以直接根据数据块自身的信息获知该数据块当前已有的副本数量，也可以直接获取到分布式文件系统的剩余空间量。具体地，可以具体为从图6中的元数据服务器节点获取分布式文件系统的数据块信息，此处的分布式文件系统的数据块信息可以包括上述步骤中统计的数据块集合中各数据块D_n当前的副本数量R_n和分布式文件系统的剩余空间量F，将各数据块当前的副本数量R_n和分布式文件系统的剩余空间量F发送到图6中的指令生成模块中。

步骤504，根据各数据块将被访问的任务数量、各数据块正在被访问的任务数量、各数据块当前的副本数量、预设的参考性能参数和调度策略计算各数据块对应的副本数量的调整参数。

在获取到各数据块将被访问的任务数量A_n、各数据块正在被访问的任务数量A_n′、各数据块当前的副本数量R_n，再进一步获取到预设的参考性能参数R_ref，该参考性能参数R_ref用于表示每个数据块副本所能支撑的并发访问的任务数量，其可以结合实际应用场景和存储集群规模自适应地动态调整。同时，本实施例中在计算调整参数时，还根据获取到的当前的调度策略，可以具体从图6中的任务调度模块来获取。本步骤可以为根据各数据块将被访问的任务数量A_n、各数据块正在被访问的任务数量A_n′、各数据块当前的副本数量R_n、参考性能参数R_ref和调度策略来分别计算各数据块对应的副本数量的调整参数，此处可以假设数据块D_n对应的副本数量的调整参数为x_n。本实施例中的计算得到的副本数量的调整参数具体用于后续步骤中副本数量的调整过程。具体地，本步骤可以具体由图6中的指令生成模块来执行，指令生成模块根据获取的各数据块将被访问的任务数量、各数据块正在被访问的任务数量、各数据块当前的副本数量、预设的参考性能参数和调度策略计算各数据块对应的副本数量的调整参数。

当调度策略为并行调度策略时，可以具体采用下述公式(1)来计算：

R_ref＝Function1(A_n，A′_n，x_n，R_n)               (1)

由此计算得到数据块D_n对应的副本数量的调整参数x_n如下公式(2)所示：

x_n＝Function2(R_ref，R_n，A_n，A′_n)               (2)

例如，本实施例可以具体采用下述公式(3)来计算各数据块对应的副本数量的调整参数：

R_ref＝(A_n+A′_n+x_n)/R_n                           (3)

进而得到数据块D_n对应的副本数量的调整参数x_n如下公式(4)所示：

x_n＝R_ref×R_n-A_n-A′_n                        (4)

当然，上述计算公式(3)只是一个示例，本领域技术人员可以根据实际情况采用其他不同的计算公式来得到调整参数。

当调度策略为分组调度策略时，每个任务组中的所有任务为并行调度，而任务组与任务组之间保持串行调度，例如，任务队列中有A和B两个任务组，在进行任务调度时，先并行执行A任务组中的所有任务，当其所有任务均执行完成后，再并行执行B任务组中的所有任务。此时，可以采用上述公式(1)的公式，具体可以采用上述公式(3)来分别获取A任务组和B任务组对应的各数据块对应的副本数量的调整参数，再根据一定的策略为每个数据块选择一个调整参数。此处假设A任务组和B任务组均各自包括三个任务，A任务组中各任务所访问的数据块集合为{(a，b，c)(a，b)(a，b)}，B任务组中各任务所访问的数据块集合为{(a，b，c)(b)(a)}，其中，根据上述公式获取到的A任务组对应的数据块a对应的调整参数为2，A任务组对应的数据块b对应的调整参数为2，获取到的B任务组对应的数据块a对应的调整参数为1，B任务组对应的数据块b对应的调整参数为1。在选择各数据块对应的调整参数时，具体地，可以将之前获取到的A任务组和B任务组对应的同一数据块对应的副本数量的调整参数的最大值或最小值作为该数据块对应的副本数量的调整参数，即可以取调整参数2作为数据块a的最终调整参数；或者，也可以在具体执行某一个任务组时，采用之前获取到的该任务组对应的各数据块的副本数量的调整参数；或者，也可以在具体执行某一任务组时，采用之前获取到的该任务组的下一任务组对应的各数据块的副本数量的调整参数。

需要指出的是，上述仅以并行调度策略和分组调度策略为例来说明根据调度策略的调整参数的获取方法，此处也不可能穷尽所有调度策略，本领域技术人员可以理解，对于所采用过的其他调度策略来说，其获取调整参数的方法是类似的，其均包含在本发明所保护的范围之内。

步骤505，根据各数据块对应的副本数量的调整参数、上调参考阈值、下调参考阈值、单位副本占用空间量和所述分布式文件系统的剩余空间量生成各数据块对应的调整策略。

在计算生成各数据块对应的副本数量的调整参数x_n后，本步骤可以根据该调整参数来生成对应的调整策略，可以先设定一个上调参考阈值和一个下调参考阈值，即根据上述两个参考阈值来具体生成对应的调整策略。其中，此处的上调参考阈值可以采用F_ref来表示，该值可以结合实际应用场景和存储集群规模自适应动态调整，用于表示文件系统的剩余空间达到多少时才允许上调副本数量；下调参考阈值可以采用F_ref来表示，该值也可以结合实际应用场景和存储集群规模自适应动态调整，用于表示文件系统的剩余空间低于多少时，才允许下调副本数量，若剩余空间充足，则可以先不用马上下调副本数量。本步骤还根据实际情况来设定单位副本占用空间量，此处可以由S来表示，即一个数据块副本所占的空间量。本步骤也可以具体由图6中的指令生成模块来执行，指令生成模块根据获取的各数据块D_n对应的副本数量的调整参数x_n、上调参考阈值F_ref、下调参考阈值F’_ref、单位副本占用空间量S和上述步骤中获取到的分布式文件系统的剩余空间量F来生成各数据块D_n对应的调整策略。此处的调整策略可以为无需调整副本数量、增加副本数量或减少副本数量。

具体地，上述调整策略的生成可以具体为：若ConditionA(x_n，F，F_ref，F′_ref，S)成立，则对应的调整策略为无需调整该数据块的副本数量；若ConditionB(x_n，F，F_ref，F′_ref，S)成立，则对应的调整策略为增加该数据块的副本数量；若ConditionC(x_n，F，F_ref，F′_ref，S)成立，则对应的调整策略为减少该数据块的副本数量。以下将对上述ConditionA(x_n，F，F_ref，F′_ref，S)、ConditionB(x_n，F，F_ref，F′_ref，S)和ConditionC(x_n，F，F_ref，F′_ref，S)进行举例具体说明。

其中，ConditionA(x_n，F，F_ref，F′_ref，S)可以具体为获取到的数据块D_n对应的副本数量的调整参数x_n为零，此时则该数据块对应的调整策略为无需对该数据块的副本数量进行调整。

ConditionB(x_n，F，F_ref，F′_ref，S)可以具体为：数据块对应的副本数量的调整参数x_n大于零，且分布式文件系统的剩余空间量F大于上调参考阈值F_ref，此时表明当前应增加该数据块的副本数量，且分布式文件系统的剩余空间满足上调的条件。如果数据块对应的副本数量的调整参数x_n大于零，但分布式文件系统的剩余空间量F小于上调参考阈值F_ref，则表明当前剩余空间较小，可以不增加该数据块对应的副本数量。当满足上述条件ConditionB(x_n，F，F_ref，F′_ref，S)时，可以再判断分布式文件系统的剩余空间量F是否大于数据块D_n对应的副本数量的调整参数x_n的绝对值与单位副本占用空间量S之积，如果F＞(|x_n|×S)，则此时生成的该数据块的待调整的副本数量为|x_n|，进而直接在该数据块当前的副本数量上增加|x_n|个副本，即当满足条件(x_n＞0&F＞F_ref&F＞(|x_n|×S))时，生成的数据块D_n对应的调整策略为增加|x_n|个副本。否则如果F＜(|x_n|×S)时，可以先根据数据块D_n对应的副本数量的调整参数x_n、单位副本占用空间量S和分布式文件系统的剩余空间量F来具体计算该数据块的待调整的副本数量，即计算分布式文件系统的当前剩余空间量可以满足增加多少个副本，此处计算得到的该数据块的待调整的副本数量可以具体为mod(F/S)，再根据该待调整的副本数量来生成对应的调整策略具体为将该数据块的副本数量调整为该数据块的当前副本数量与待调整的副本数量之和，即上调mod(F/S)个副本。

ConditionC(x_n，F，F_ref，F′_ref，S)可以具体为：数据块对应的副本数量的调整参数x_n小于零，且分布式文件系统的剩余空间量F小于下调参考阈值F′_ref，此时表明当前应减少该数据块的副本数量，且分布式文件系统的剩余空间满足下调的条件。如果数据块对应的副本数量的调整参数x_n小于零，但分布式文件系统的剩余空间量F大于下调参考阈值F_ref，则表明当前仍有足够的空间，可以先不急于下调该数据块对应的副本数量。当满足上述条件ConditionC(x_n，F，F_ref，F′_ref，S)，可以生成该数据块对应的调整策略为将该数据块的副本数量调整为当前副本数量与调整参数的绝对值之差，即满足条件(x_n＜0&F＜F_ref′)时，将该数据块的副本数量调整为当前副本数量与调整参数的绝对值之差，即下调|x_n|个副本。

步骤506，将调整策略从分布式计算框架发送到分布式文件系统。

继续参见上述图6，在经过上述步骤生成各数据块对应的调整策略后，可以将调整策略从分布式计算框架发送到分布式文件系统中，具体将调整策略由分布式计算框架中的指令生成模块发送到分布式文件系统中的元数据服务器节点。

步骤507，由分布式文件系统中的元数据服务器节点根据调整策略对相应的数据节点中的数据块的副本数量进行调整。

分布式文件系统中的元数据服务器节点在接收到调整策略后，根据调整策略对相应的数据节点中的数据块的副本数量进行调整。具体地，当数据块对应的调整策略为不调整策略时，元数据服务器节点无需对对应的数据块的副本数量进行调整；当数据块对应的调整策略为上调指令时，将对应的数据块的副本数量调整为该数据块的当前副本数量与待调整的副本数量之和；当数据块对应的调整策略为下调指令时，将对应的数据块的副本数量调整为该当前副本数量与调整参数的绝对值之差。完成对各数据块的副本数量的调整后，便可以根据调整后的副本数量来执行变化后的任务队列中的各任务。

参见上述6，本实施例在现有的数据密集型分布式计算平台的基础之上，增加一个指令生成模块，该指令生成模块可以位于分布式计算框架中的计算管理节点上，其与计算管理节点上的用户任务管理模块和分布式文件系统中的元数据服务器节点相连，进行数据通信。从图中可以看出，当有新的任务提交时，该任务先被发送到用户任务管理模块，由用户任务管理模块将任务添加到任务队列中进行管理，用户任务管理模块可以根据任务队列的变化来获取任务队列信息和任务队列信息对应的数据块信息，并统计所述数据块集合中各数据块将被访问的任务数量和所述各数据块正在被访问的任务数量，指令生成模块从用户任务管理模块获取数据块集合中各数据块将被访问的任务数量和各数据块正在被访问的任务数量。指令生成模块从元数据服务器节点获取数据块集合中各数据块当前的副本数量和分布式文件系统的剩余空间量。指令生成模块根据各数据块将被访问的任务数量、各数据块正在被访问的任务数量、各数据块当前的副本数量和分布式文件系统的剩余空间量生成调整策略，将调整策略再发送到元数据服务器节点，由元数据服务器节点具体对分布式文件系统中的各数据块的副本数量进行调整。另外，计算管理节点上还设置有任务调度模块，在开始任务的执行时，用户任务管理模块将任务队列中的任务发送到任务调度模块，由任务调度模块根据各任务的实际情况将任务调度到分布式计算框架中的各计算节点上，计算节点则对分布式文件系统中的相应的数据节点中的数据块进行读取等操作。其中，数据节点来源于数据采集节点/集群，其从各服务器上采集数据。

本实施例提供了一种参数调整方法，通过当任务队列发生变化时，根据任务队列信息、分布式文件系统的数据块信息和调度策略生成调整策略，根据该调整策略来对分布式文件系统中的各数据块的副本数量进行调整，由于本实施例基于任务队列的变化来生成调整策略，则实现了对数据块副本数量的预先自动调整，能够及时准确地解决多个任务同时访问同一数据块导致的数据热点问题，从而提高了分布式计算平台的处理性能。本实施例与现有技术中的方案相比具有简易性、高效性，且本实施例可以根据实际情况下调数据块的副本数量，以降低磁盘占用空间，进一步提高分布式计算平台的处理性能。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

图7为本发明参数调整装置实施例一的结构示意图，如图7所示，本实施例提供了一种参数调整装置，可以具体执行上述方法实施例一中的各个步骤，此处不再赘述。本实施例提供的参数调整装置可以具体包括指令生成模块701和调整模块702。其中，指令生成模块701用于当任务队列发生变化时，根据任务队列信息、分布式文件系统的数据块信息和调度策略生成调整策略。调整模块702用于根据所述调整策略对分布式文件系统中的各数据块的副本数量进行调整。其中，所述调整策略为调整数据块的副本数量将各数据块被访问的任务总数与对应的所述各数据块的当前副本所能支撑的任务总数达到平衡。

图8为本发明参数调整装置实施例二的结构示意图，如图8所示，本实施例提供了一种参数调整装置，可以具体执行上述方法实施例二中的各个步骤，此处不再赘述。本实施例提供的参数调整装置在上述图7所示的基础之上，还可以包括获取模块801和统计模块802。其中，获取模块801用于根据变化后的任务队列获取任务队列信息和所述任务队列信息对应的数据块信息。统计模块802用于根据所述任务队列信息和所述任务队列信息对应的数据块信息获取所述任务队列中所有任务正在访问和将要访问的数据块集合，并统计所述数据块集合中各数据块将被访问的任务数量和所述各数据块正在被访问的任务数量。

具体地，本实施例中的指令生成模块701可以具体包括获取子模块711和生成子模块721。其中，获取子模块711用于获取所述数据块集合中各数据块将被访问的任务数量和所述各数据块正在被访问的任务数量，获取所述分布式文件系统的数据块信息，所述分布式文件系统的数据块信息包括所述数据块集合中各数据块当前的副本数量和分布式文件系统的剩余空间量。生成子模块721用于根据所述各数据块将被访问的任务数量、所述各数据块正在被访问的任务数量、所述各数据块当前的副本数量、分布式文件系统的剩余空间量和调度策略生成调整策略。

具体地，本实施例中的生成子模块721可以具体包括计算单元7211和生成单元7212。其中，计算单元7211用于根据所述各数据块将被访问的任务数量、所述各数据块正在被访问的任务数量、所述各数据块当前的副本数量和预设的参考性能参数计算所述各数据块对应的副本数量的调整参数。生成单元7212用于根据所述各数据块对应的副本数量的调整参数、上调参考阈值、下调参考阈值、单位副本占用空间量、所述分布式文件系统的剩余空间量和调度策略生成所述各数据块对应的调整策略。

具体地，本实施例中的生成单元7212可以具体包括第一生成子单元72121、第二生成子单元72122和第三生成子单元72123。其中，第一生成子单元72121用于当数据块对应的副本数量的调整参数的值为零时，生成所述数据块对应的调整策略为不调整所述数据块的副本数量。第二生成子单元72122用于当数据块对应的副本数量的调整参数的值大于零，且所述分布式文件系统的剩余空间量大于所述上调参考阈值时，根据所述数据块对应的副本数量的调整参数、所述单位副本占用空间量和所述分布式文件系统的剩余空间量计算所述数据块的待调整的副本数量，并生成所述数据块对应的调整策略为将所述数据块的副本数量调整为所述数据块的当前副本数量与所述待调整的副本数量之和。第三生成子单元72123用于当数据块对应的副本数量的调整参数的值小于零，且所述分布式文件系统的剩余空间量小于所述下调参考阈值时，生成所述数据块对应的调整策略为将所述数据块的副本数量调整为所述数据块的当前副本数量与所述调整参数的绝对值之差。

进一步地，本实施例中的调整模块702可以具体包括发送子模块712和调整子模块722。其中，发送子模块712用于将所述调整策略从分布式计算框架发送到分布式文件系统。调整子模块722用于由所述分布式文件系统中的元数据服务器节点根据所述调整策略对相应的数据节点中的数据块的副本数量进行调整。

本实施例提供了一种参数调整装置，通过当任务队列发生变化时，根据任务队列信息、分布式文件系统的数据块信息和调度策略生成调整策略，根据该调整策略来对分布式文件系统中的各数据块的副本数量进行调整，由于本实施例基于任务队列的变化来生成调整策略，则实现了对数据块副本数量的预先自动调整，能够及时准确地解决多个任务同时访问同一数据块导致的数据热点问题，从而提高了分布式计算平台的处理性能。本实施例与现有技术中的方案相比具有简易性、高效性，且本实施例可以根据实际情况下调数据块的副本数量，以降低磁盘占用空间，进一步提高分布式计算平台的处理性能。

本实施例还提供了一种分布式计算平台系统，继续参见上述图6，该分布式计算平台系统可以包括分布式计算框架和分布式文件系统，分布式计算框架可以包括计算管理节点和多个计算节点，分布式文件系统包括元数据服务器节点和多个数据节点，计算管理节点可以包括用户任务管理模块和任务调度模块。其中，分布式计算框架用于接收用户提交的任务，并对任务队列中的任务进行管理和调度；分布式文件系统用于保存数据块信息；述计算管理节点用于对任务队列中的各个任务进行管理和调度；计算节点用于对数据块进行计算处理；元数据服务器节点用于保存各文件的数据分块情况、各数据块所在的数据节点信息以及各数据节点包含的数据块信息；数据节点用于保存实际的数据块。本实施例中的分布式计算平台系统还包括上述图7或图8所示的参数调整装置，关于参数调整装置的结构此处不再赘述。其中，参数调整装置中的获取模块和统计模块可以位于用户任务管理模块中，参数调整装置中的调整模块可以位于元数据服务器节点中。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (12)

1.一种参数调整方法，其特征在于，包括：

当任务队列发生变化时，根据任务队列信息、分布式文件系统的数据块信息和调度策略生成调整策略；其中，所述调整策略为调整数据块的副本数量，使得各数据块被访问的任务总数与对应的所述各数据块的当前副本所能支撑的任务总数达到平衡；

根据所述调整策略对分布式文件系统中的各数据块的副本数量进行调整。

2.根据权利要求1所述的方法，其特征在于，还包括：

根据变化后的任务队列获取任务队列信息和所述任务队列信息对应的数据块信息；

根据所述任务队列信息和所述任务队列信息对应的数据块信息获取所述任务队列中所有任务正在访问和将要访问的数据块集合，并统计所述数据块集合中各数据块将被访问的任务数量和所述各数据块正在被访问的任务数量。

3.根据权利要求2所述的方法，其特征在于，所述当任务队列发生变化时，根据任务队列信息、分布式文件系统的数据块信息和调度策略生成调整策略包括：

获取所述数据块集合中各数据块将被访问的任务数量和所述各数据块正在被访问的任务数量，获取所述分布式文件系统的数据块信息，所述分布式文件系统的数据块信息包括所述数据块集合中各数据块当前的副本数量和分布式文件系统的剩余空间量；

根据所述各数据块将被访问的任务数量、所述各数据块正在被访问的任务数量、所述各数据块当前的副本数量、分布式文件系统的剩余空间量和调度策略生成调整策略。

4.根据权利要求3所述的方法，其特征在于，所述根据所述各数据块将被访问的任务数量、所述各数据块正在被访问的任务数量、所述各数据块当前的副本数量、分布式文件系统的剩余空间量和调度策略生成调整策略包括：

根据所述各数据块将被访问的任务数量、所述各数据块正在被访问的任务数量、所述各数据块当前的副本数量、预设的参考性能参数和调度策略计算所述各数据块对应的副本数量的调整参数；

根据所述各数据块对应的副本数量的调整参数、上调参考阈值、下调参考阈值、单位副本占用空间量和所述分布式文件系统的剩余空间量生成所述各数据块对应的调整策略。

5.根据权利要求4所述的方法，其特征在于，所述根据所述各数据块对应的副本数量的调整参数、上调参考阈值、下调参考阈值、单位副本占用空间量和所述分布式文件系统的剩余空间量生成所述各数据块对应的调整策略包括：

当数据块对应的副本数量的调整参数的值为零时，生成所述数据块对应的调整策略为不调整所述数据块的副本数量；

当数据块对应的副本数量的调整参数的值大于零，且所述分布式文件系统的剩余空间量大于所述上调参考阈值时，根据所述数据块对应的副本数量的调整参数、所述单位副本占用空间量和所述分布式文件系统的剩余空间量计算所述数据块的待调整的副本数量，并生成所述数据块对应的调整策略为将所述数据块的副本数量调整为所述数据块的当前副本数量与所述待调整的副本数量之和；

当数据块对应的副本数量的调整参数的值小于零，且所述分布式文件系统的剩余空间量小于所述下调参考阈值时，生成所述数据块对应的调整策略为将所述数据块的副本数量调整为所述数据块的当前副本数量与所述调整参数的绝对值之差。

6.根据权利要求1-5中任一项所述的方法，其特征在于，所述根据所述调整策略对分布式文件系统中的各数据块的副本数量进行调整包括：

将所述调整策略从分布式计算框架发送到分布式文件系统；

由所述分布式文件系统中的元数据服务器节点根据所述调整策略对相应的数据节点中的数据块的副本数量进行调整。

7.一种参数调整装置，其特征在于，包括：

指令生成模块，用于当任务队列发生变化时，根据任务队列信息、分布式文件系统的数据块信息和调度策略生成调整策略；其中，所述调整策略为调整数据块的副本数量，使得各数据块被访问的任务总数与对应的所述各数据块的当前副本所能支撑的任务总数达到平衡；

调整模块，用于根据所述调整策略对分布式文件系统中的各数据块的副本数量进行调整。

8.根据权利要求7所述的装置，其特征在于，还包括：

获取模块，用于根据变化后的任务队列获取任务队列信息和所述任务队列信息对应的数据块信息；

统计模块，用于根据所述任务队列信息和所述任务队列信息对应的数据块信息获取所述任务队列中所有任务正在访问和将要访问的数据块集合，并统计所述数据块集合中各数据块将被访问的任务数量和所述各数据块正在被访问的任务数量。

9.根据权利要求8所述的装置，其特征在于，所述指令生成模块包括：

获取子模块，用于获取所述数据块集合中各数据块将被访问的任务数量和所述各数据块正在被访问的任务数量，获取所述分布式文件系统的数据块信息，所述分布式文件系统的数据块信息包括所述数据块集合中各数据块当前的副本数量和分布式文件系统的剩余空间量；

生成子模块，用于根据所述各数据块将被访问的任务数量、所述各数据块正在被访问的任务数量、所述各数据块当前的副本数量、分布式文件系统的剩余空间量和调度策略生成调整策略。

10.根据权利要求9所述的装置，其特征在于，所述生成子模块包括：

计算单元，用于根据所述各数据块将被访问的任务数量、所述各数据块正在被访问的任务数量、所述各数据块当前的副本数量、预设的参考性能参数和调度策略计算所述各数据块对应的副本数量的调整参数；

生成单元，用于根据所述各数据块对应的副本数量的调整参数、上调参考阈值、下调参考阈值、单位副本占用空间量和所述分布式文件系统的剩余空间量生成所述各数据块对应的调整策略。

11.根据权利要求10所述的装置，其特征在于，所述生成单元包括：

第一生成子单元，用于当数据块对应的副本数量的调整参数的值为零时，生成所述数据块对应的调整策略为不调整所述数据块的副本数量；

第二生成子单元，用于当数据块对应的副本数量的调整参数的值大于零，且所述分布式文件系统的剩余空间量大于所述上调参考阈值时，根据所述数据块对应的副本数量的调整参数、所述单位副本占用空间量和所述分布式文件系统的剩余空间量计算所述数据块的待调整的副本数量，并生成所述数据块对应的调整策略为将所述数据块的副本数量调整为所述数据块的当前副本数量与所述待调整的副本数量之和；

第三生成子单元，用于当数据块对应的副本数量的调整参数的值小于零，且所述分布式文件系统的剩余空间量小于所述下调参考阈值时，生成所述数据块对应的调整策略为将所述数据块的副本数量调整为所述数据块的当前副本数量与所述调整参数的绝对值之差。

12.一种分布式计算平台系统，包括分布式计算框架和分布式文件系统，所述分布式计算框架包括计算管理节点和多个计算节点，所述分布式文件系统包括元数据服务器节点和多个数据节点，所述计算管理节点包括用户任务管理模块和任务调度模块；所述分布式计算框架用于接收用户提交的任务，并对任务队列中的任务进行管理和调度，所述分布式文件系统用于保存数据块信息，所述计算管理节点用于对任务队列中的各个任务进行管理和调度，所述计算节点用于对数据块进行计算处理，所述元数据服务器节点用于保存各文件的数据分块情况、各数据块所在的数据节点信息以及各数据节点包含的数据块信息，所述数据节点用于保存实际的数据块；其特征在于，所述分布式计算平台系统还包括上述权利要求7-11中任一项所述的参数调整装置。

Images