CN103617083B - 存储调度方法和系统、作业调度方法和系统及管理节点 - Google Patents

Abstract

本发明提出了一种根据路径可用带宽进行调度的存储调度方法和作业调度方法，还提出了与之相对应的管理节点、存储调度系统和作业调度系统。本发明根据存储调度算法将数据块存储在路径可用带宽加权均值最大的数据节点列表，避免了网络拥塞并缩短了数据块存储的网络传输时间。本发明根据路径可用带宽信息为数据节点分配优选作业进行处理，提升了作业的本地化概率，并且减少了作业总完成时间。

Description

存储调度方法和系统、作业调度方法和系统及管理节点

技术领域

本发明涉及云计算技术领域，尤其涉及一种云计算任务调度中的存储调度方法和系统、作业调度方法和系统及管理节点。

背景技术

随着搜索引擎、社交网站、电子商务等数据密集型互联网应用的迅猛发展，基于分布式基础架构的海量数据处理平台（如Hadoop、MapReduce、分布式文件系统、数据定义存储等）被广泛关注。在这些平台上，不仅需要支持大容量文件（TB级、PB级）存储/下载、快速检索，还需要执行机器学习、数据挖掘、数据分析等大规模数据处理作业，还需要快速响应交互式用户请求，因此，云计算平台需要分发执行多个数据密集型的并行作业。当前作业调度算法往往从保证作业间公平分享数据中心计算资源存储的同时，通过加强作业的数据本地性（即把任务调度于输入数据所在的数据节点以减少网络传输开销）来提升系统性能和作业吞吐率。

这类任务调度算法存在如下缺点：1、远程数据存储和读取过程中，分布式文件系统因未感知平台内的网络路径可用带宽信息，任务调度算法为作业所选择的数据节点可能会因网络质量差，导致数据存取时间延长，用户体验很差；2、数据中心工作负荷、网络负荷等环境因素随时可能变化，而现有的延迟调度算法的等待时间阈值是用户提交作业时设定的，不能适应数据中心负荷的变化，虽有改进的算法，如时间阈值动态变化，但计算公式复杂，计算负荷较大，不适合大容量分布式系统，导致实用性降低。

发明内容

本发明的目的是提出一种云计算任务调度中的存储调度方法和系统、作业调度方法和系统及管理节点，够提高云计算系统的执行性能。

为了达到上述目的，本发明提出了一种存储调度方法，包括：

管理节点获取网络节点各端口的网络流量统计信息，并换算出各数据节点的路径可用带宽；

当管理节点接收到来自客户端的数据块存储请求时，根据存储调度算法预选出n组数据节点，每组数据节点中包括m个数据节点，其中，n、m为预先设定的整数；

管理节点根据获得的各数据节点的路径可用带宽，分别计算每组数据节点的路径可用带宽加权均值；

并将计算得到的路径可用带宽加权均值最大的一组数据节点作为发起数据块存储请求的数据块的存储节点。

优选地，所述m为3，每组数据节点中，包括第二数据节点、第三数据节点和第四数据节点，第三数据节点和第四数据节点处于同一机架，第二数据节点与第三数据节点处于不同机架；

所述管理节点根据获得的各数据节点的路径可用带宽，分别计算每组数据节点的路径可用带宽加权均值包括：

计算每组数据节点中所述客户端到所述第二数据节点之间的第一网络路径的路径可用带宽；

计算每组数据节点中所述第二数据节点到第三数据节点之间的第二网络路径的路径可用带宽；

计算每组数据节点中所述第三数据节点到第四数据节点之间的第三网络路径的路径可用带宽；

将每组数据节点中三条网络路径的路径可用带宽进行加权平均计算路径可用带宽加权均值。

优选地，所述每组数据节点中所述第一网络路径和所述第二网络路径的加权系数均为0.4，所述第三网络路径的加权系数为0.2。

本发明还提出一种作业调度方法，包括：

管理节点获取网络节点各端口的网络流量统计信息，并换算出各数据节点的路径可用带宽；

当第一数据节点空闲并向管理节点请求新任务时，管理节点选择一个作业；

当所选择的作业中没有尚未处理的数据块存储在所述第一数据节点的任务，但有尚未处理的数据块存储的数据节点与所述第一数据节点处于同一机架的任务时，

管理节点根据获得的各数据节点的路径可用带宽，计算第一数据节点所在的机架内含有所述选择的作业所需数据块的第一待选数据节点和第一数据节点间的路径可用带宽均值B_temp，并计算路径可用带宽比值γ；所述第一待选数据节点为一个或一个以上。

优选地，所述第一待选数据节点和所述第一数据节点的路径可用带宽均值B_temp为：

其中，n为所述第一待选数据节点的个数；i表示机架；j表示端口；B_i，j1，B_i，j2，……，B_i，jn为所述第一待选数据节点的路径可用带宽；

所述路径可用带宽比值γ为：

其中B_port为所述第一数据节点所在机架的机架交换机入口与服务器的端口带宽标称值。

优选地，当所述选择的作业的轮空次数满足第一条件时，该方法还包括：

所述管理节点选择所述第一待选数据节点中路径可用带宽最大的数据节点作为所述第一数据节点的数据源；

设置所述选择的作业的轮空次数为0；

所述管理节点将所述路径可用带宽最大的数据节点作为数据源的任务返回给所述第一数据节点执行；

其中，第一条件为：Count_k≥(1-γ)x₁；

其中，Count_k为所述选择的作业的轮空次数，x₁为所述第一数据节点可以申请到数据块存储在所述第一数据节点的任务的概率为时的申请次数，R为文件分块的备份数，M为物理机集群数。

优选地，当所选择出的作业中有尚未处理的数据块存储在第一数据节点的任务时，该方法还包括：

所述管理节点将所述任务返回给所述第一数据节点执行。

优选地，当所述选择的作业中没有尚未处理的数据块存储在所述第一数据节点所在的机架内的任务，且所述选择的作业的轮空次数满足第二条件时，该方法还包括：

所述管理节点选择其他机架中含有所述选择的作业所需数据块所在的第二待选数据节点的路径中路径可用带宽最大的数据节点作为所述第一数据节点的数据源；

设置所述选择的作业的轮空次数为0；

所述管理节点将所述路径可用带宽最大的数据节点作为数据源的任务返回给所述第一数据节点执行；

其中，第二条件为：Count_k≥x₂；

其中，x₂为所述第一数据节点可以申请到数据块存储在所述第一数据节点的任务的概率为时的申请次数，N为所述选择的作业中尚未处理的任务数，R为文件分块的备份数，M为物理机集群数。

优选地，当所述选择的作业中有尚未处理的数据块存储的数据节点与所述第一数据节点处于同一机架的任务，且所述选择的作业的轮空次数不满足第一条件；或者当所述选择的作业中没有尚未处理的数据块存储在所述第一数据节点所在的机架内的任务，且所述选择的作业的轮空次数不满足第二条件时，该方法还包括：

所述管理节点将所述选择的作业的轮空次数加1。

优选地，所述管理节点选择一个作业的方法包括：

所述管理节点根据各作业在系统中运行的任务数对作业进行升序排列；

所述管理节点在作业队列中查找第一个含有尚未处理的数据块存储在所述第一数据节点的任务的作业，将该作业调整至同一级别的最高位置；

所述管理节点从作业队列中由上到下选择一个作业。

本发明还提出了一种管理节点，至少包括：

获取模块，用于获取网络节点各端口的网络流量统计信息，并换算出各数据节点的路径可用带宽；

预选模块，用于当接收到来自客户端的数据块存储请求时，根据存储调度算法预选出n组数据节点，每组数据节点中包括m个数据节点，其中，m、n为预先设定的整数；

计算模块，用于根据获得的各数据节点的路径可用带宽，分别计算每组数据节点的路径可用带宽加权均值；将计算得到的路径可用带宽均值最大的一组数据节点作为发起数据块存储请求的数据块的存储节点。

本发明还提出了一种管理节点，至少包括：

获取模块，用于获取网络节点各端口的网络流量统计信息，并换算出各数据节点的路径可用带宽；

选择模块，用于当接收到来自第一数据节点的新任务请求时，选择一个作业；

返回模块，用于当所述选择的作业中没有尚未处理的数据块存储在所述第一数据节点的任务，但有尚未处理的数据块存储的数据节点与所述第一数据节点处于同一机架的任务时，根据获得的各数据节点的路径可用带宽，计算所述数据节点所在的机架内含有所述作业所需数据块的第一待选数据节点和所述第一数据节点的路径可用带宽均值B_temp，并计算路径可用带宽比值γ，所述第一待选数据节点为一个或一个以上。

优选地，当所述选择的作业的轮空次数满足第一条件时，所述返回模块，还用于：

选择所述第一待选数据节点中路径可用带宽最大的数据节点作为所述第一数据节点的数据源；

设置所述选择的作业的轮空次数为0；

将所述路径可用带宽最大的数据节点作为数据源的任务返回给所述第一数据节点执行；

其中，第一条件为：Count_k≥(1-γ)x₁；

其中，Count_k为所述选择的作业的轮空次数，x₁为所述第一数据节点可以申请到数据块存储在所述第一数据节点的任务的概率为时的申请次数，R为文件分块的备份数，M为物理机集群数。

优选地，当所选择的作业中有尚未处理的数据块存储在所述第一数据节点的任务时，所述返回模块，还用于：

将所述任务返回给所述第一数据节点执行。

优选地，当所述选择的作业中没有尚未处理的数据块存储在所述第一数据节点所在的机架内的任务，且所述选择的作业的轮空次数满足第二条件时，所述返回模块，还用于：

选择其他机架中含有所述选择的作业所需数据块所在的各数据节点的路径中路径可用带宽最大的第二待选数据节点作为所述第一数据节点的数据源；

设置所述选择的作业的轮空次数为0；

将所述路径可用带宽最大的数据节点作为数据源的任务返回给所述第一数据节点执行；

其中，第二条件为：Count_k≥x₂；

其中，x₂为所述第一数据节点可以申请到数据块存储在所述第一数据节点的任务的概率为时的申请次数，N为所述选择的作业中尚未处理的任务数，R为文件分块的备份数，M为物理机集群数。

优选地，当所述选择的作业中有尚未处理的数据块存储的数据节点与所述第一数据节点处于同一机架的任务，且所述选择的作业的轮空次数不满足第一条件；或者当所述选择的作业中没有尚未处理的数据块存储在所述第一数据节点所在的机架内的任务，且所述选择的作业的轮空次数不满足第二条件时，所述返回模块，还用于：

将所述选择的作业的轮空次数加1。

优选地，所述选择模块，还用于：

当接收到来自所述第一数据节点的新任务请求时，根据各作业在系统中运行的任务数对作业进行升序排列；

在作业队列中查找第一个含有尚未处理的数据块存储在第一数据节点的任务的作业，将该作业调整至同一级别的最高位置；

从作业队列中由上到下选择一个作业。

优选地，还包括：

预选模块，用于当接收到来自客户端的数据块存储请求时，根据存储调度算法预选出n组数据节点，每组数据节点中包括m个数据节点，其中，m、n为预先设定的整数；

计算模块，用于根据获得的各数据节点的路径可用带宽，分别计算每组数据节点的路径可用带宽加权均值；将计算得到的路径可用带宽均值最大的一组数据节点作为发起数据块存储请求的数据块的存储节点。

本发明还提出了一种存储调度系统，至少包括：

管理节点，用于获取网络节点各端口的网络流量统计信息，并换算出各数据节点的路径可用带宽；；当接收到来自客户端的数据块存储请求时，根据存储调度算法预选出n组数据节点，每组数据节点中包括m个数据节点，其中，n、m为预先设定的整数；根据获得的各数据节点的路径可用带宽，分别计算每组数据节点的路径可用带宽加权均值；将计算得到的路径可用带宽加权均值最大的一组数据节点作为发起数据块存储请求的数据块的存储节点；

至少一个数据节点，用于存储来自客户端的数据块。

本发明还提出了一种作业调度系统，至少包括：

管理节点，用于获取网络节点各端口的网络流量统计信息，并换算出各数据节点的路径可用带宽；；用于当接收到来自第一数据节点的新任务请求时，选择一个作业；当所选择的作业中没有尚未处理的数据块存储在所述第一数据节点的任务，但有尚未处理的数据块存储的数据节点与所述第一数据节点处于同一机架的任务时，根据获得的各数据节点的路径可用带宽，计算所述第一数据节点所在的机架内含有所述作业所需数据块的第一待选数据节点和所述第一数据节点的路径可用带宽均值B_temp，并根据计算路径可用带宽比值γ，所述第一待选数据节点为一个或一个以上；

至少一个数据节点，用于向所述管理节点请求新任务。

优选地，当所述选择的作业的轮空次数满足第一条件时，所述管理节点，还用于：

选择所述第一待选数据节点中路径可用带宽最大的数据节点作为所述第一数据节点的数据源；

设置所述选择的作业的轮空次数为0；

将所述路径可用带宽最大的数据节点作为数据源的任务返回给所述第一数据节点执行；

其中，第一条件为：Count_k≥(1-γ)x₁；

其中，Count_k为所述选择的作业的轮空次数，x₁为所述第一数据节点可以申请到数据块存储在所述第一数据节点的任务的概率为时的申请次数，R为文件分块的备份数，M为物理机集群数；

所述至少一个数据节点，还用于执行所述管理节点返回的任务。

优选地，当所选择出的作业中有尚未处理的数据块存储在第一数据节点的任务时，所述管理节点，还用于：

将所述任务返回给所述第一数据节点执行。

优选地，当所述选择的作业中没有尚未处理的数据块存储在所述第一数据节点所在的机架内的任务，且所述选择的作业的轮空次数满足第二条件时，所述管理节点还用于：

选择其他机架中含有所述选择的作业所需数据块所在的第二待选数据节点的路径中路径可用带宽最大的数据节点作为所述第一数据节点的数据源；

设置所述选择的作业的轮空次数为0；

将所述路径可用带宽最大的数据节点作为数据源的任务返回给所述第一数据节点；

其中，第二条件为：Count_k≥x₂；

其中，x₂为所述第一数据节点可以申请到数据块存储在所述第一数据节点的任务的概率为时的申请次数，N为所述选择的作业中尚未处理的任务数，R为文件分块的备份数，M为物理机集群数。

优选地，当所述选择的作业中有尚未处理的数据块存储的数据节点与所述第一数据节点处于同一机架的任务，且所述选择的作业的轮空次数不满足第一条件；或者当所述选择的作业中没有尚未处理的数据块存储在所述第一数据节点所在的机架内的任务，且所述选择的作业的轮空次数不满足第二条件时，所述管理节点还用于：

将所述选择的作业的轮空次数加1。

优选地，所述管理节点还用于：

当接收到来自所述第一据数据节点的新任务请求时，根据各作业在系统中运行的任务数对作业进行升序排列；

在作业队列中查找第一个含有尚未处理的数据块存储在所述第一数据节点的任务的作业，将该作业调整至同一级别的最高位置；

从作业队列中由上到下选择一个作业。

本发明根据存储调度算法将数据块存储在路径可用带宽加权均值最大的数据节点列表，避免了网络拥塞并缩短了数据块存储的网络传输时间。

本发明根据路径可用带宽信息为数据节点分配优选作业进行处理，提升了作业的本地化概率，并且减少了作业总完成时间。

附图说明

下面对本发明实施例中的附图进行说明，实施例中的附图是用于对本发明的进一步理解，与说明书一起用于解释本发明，并不构成对本发明保护范围的限制。

图1为本发明的实施例中云计算系统的网络拓扑结构图；

图2为本发明的实施例中存储调度方法流程图；

图3为本发明的实施例中管理节点获取各数据节点的网络流量统计信息的流程示意图；

图4为本发明的实施例中客户端存储数据块的流程示意图；

图5为图2为本发明的实施例中作业调度方法流程图；

图6为本发明的实施例中提出的一种管理节点的结构组成图；

图7为本发明的实施例中提出的另一种管理节点的结构组成图；

图8为本发明的实施例中提出的结合图6和图7两种管理节点的结构组成图。

具体实施方式

为了便于本领域技术人员的理解，下面结合附图对本发明作进一步的描述，并不能用来限制本发明的保护范围。

参见图1，本发明中云计算系统包括管理节点、机架，其中机架包括机架交换机和数据节点。其中，数据节点与机架交换机相连，管理节点和机架交换机与数据节点相连。数据节点负载数据块存储和任务执行，管理节点负责将用户提交的作业分解成若干子任务，并将这些任务返回给各数据节点执行。

当机架数量较大时，机架之间通过核心交换机相连，管理节点通过核心交换机和机架交换机与数据节点相连。核心交换机负责机架信息的汇总。

参见图2，为了提高云计算系统的执行性能，本发明的一个实施例提出了一种存储调度方法，包括：

步骤200、管理节点获取网络节点各端口的网络流量统计信息，并换算出各数据节点的路径可用带宽；

步骤201、当管理节点接收到来自客户端的数据块存储请求时，根据存储调度算法预选出n组数据节点，每组数据节点中包括m个数据节点，其中，n、m为预先设定的整数；

步骤202、管理节点根据获得的各数据节点的路径可用带宽，分别计算每组数据节点的路径可用带宽加权均值；

步骤203、管理节点将计算得到的路径可用带宽加权均值最大的一组数据节点作为发起数据块存储请求的数据块的存储节点。

参见图3，步骤200中管理节点获取网络节点各端口的网络流量统计信息包括：

管理节点下发网络信息统计指令，要求平台内的各级交换机统计各端口的流量，管理节点定期（如3s）轮询获取这些信息；

管理节点根据统计的各端口的流量换算每个端口的路径可用带宽，即流量统计的时间平均值，并计算预设时间内（如最近1分钟）机架交换机i端口j的路径可用带宽均值B_i，j，机架交换机i所对应的核心交换机端口的路径可用带宽均值B_Core，i和客户端的路径可用带宽均值B_a，b，其中，客户端连接于机架a的端口b。

除此之外，管理节点还获取并存储分布式基础架构的网络拓扑信息。

管理节点可以通过网络控制器（如SDN控制器）来获取各数据节点的网络流量统计信息。

步骤201中，管理节点如何根据存储调度算法预选出n组数据节点为现有技术，不在本发明的保护范围之内。

参见图4，步骤202中，每组数据节点包括三个数据节点，存储调度算法依据存储负荷分担、存储安全的原则，对每个数据块进行3份备份，总有两份存在同一机架上，另外一份则必须放在另一个机架上。其中每组数据节点中，包括第二数据节点、第三数据节点和第四数据节点，第三数据节点和第四数据节点处于同一机架，第二数据节点和第三数据节点处于不同机架。

那么，步骤202中，管理节点根据获得的各数据节点的网络流量统计信息，分别计算每组数据节点的路径可用带宽加权均值包括：

步骤400、计算每组数据节点中所述客户端到第二数据节点之间的第一网络路径的路径可用带宽；

步骤401、计算每组数据节点中第二数据节点到第三数据节点之间的第二网络路径的路径可用带宽；

步骤402、计算每组数据节点中第三数据节点到第四数据节点之间的第三网络路径的路径可用带宽；

步骤403、将每组数据节点中三条网络路径的路径可用带宽进行加权平均计算路径可用带宽加权均值。

假设每组数据节点中的三个数据节点表示为（D_i1，j1，D_i2，j2，D_i3，j3），那么，客户端到数据节点D_i1，j1之间的网络路径的路径可用带宽可表示为：B₁=min（B_a，b，B_Core，a，B_Core，i1，B_i1，j1）；如果客户端与数据节点D_i1，j1位于同一机架，那么B₁=min（B_a，b，B_i1，j1）；

数据节点D_i1，j1到数据节点D_i2，j2之间的网络路径的路径可用带宽可表示为：B₂=min（B_i1，j1，B_Core，i1，B_Core，i2，B_i2，j2）；

数据节点D_i2，j2到数据节点D_i3，j3之间的网络路径的路径可用带宽可表示为：B₃=min（B_i2，j2，B_i2，j3）；

三条网络路径的路径可用带宽加权均值为：

其中，α为加权系数。

加权系数可根据实际情况确定，鉴于机架间网络传输比机架内网络传输影响更大，可取α₁=α₂=0.4，α₃=0.2。

采用上述方法对n套数据节点列表进行计算得到

例如，数据中心有5个机架，每个机架20台数据节点，数据节点总数M=100台，客户端位于第5个机架的第一台物理机（D_5,1）,机架交换机的端口是千兆网接口，核心交换机是万兆网接口，文件中的任何一个数据块的副本数R=3。管理节点接收到客户端提交的第n块数据块存储请求后，预选出3套数据节点列表（D_1，1，D_2，1，D_2，3），（D_2，4，D_4，1，D_4，5），（D_5，5，D_3，2，D_3，3）；管理节点根据网络控制设备获取的当前网络统计数据而获取的各机架路径可用带宽分别为：（300，400，500，600，700），预选的3套数据节点列表的各数据节点路径可用带宽分别为（300，400，500），（500，400，300），（600，500，400），客户端所在的数据节点路径可用带宽为600，则：

第一组数据节点:B₁=300，B₂=300，B₃=400，

第二组数据节点:B₁=400，B₂=400，B₃=300，

第一组数据节点:B₁=600，B₂=500，B₃=400，

根据路径可用带宽加权均值对比，将第三组数据节点（D_5，5，D_3，2，D_3，3）作为该数据块的最终存储位置。

参见图5，本发明的实施例还提出了一种作业调度方法，包括：

步骤500、管理节点获取网络节点各端口的网络流量统计信息，并换算出各数据节点的路径可用带宽；

步骤501、当第一数据节点向管理节点请求新任务时，管理节点选择一个作业；

步骤502、当所选择出的作业中没有尚未处理的数据块存储在第一数据节点的任务，但有数据块存储的数据节点与第一数据节点处于同一机架的任务时，管理节点根据获得的各数据节点的路径可用带宽，计算第一数据节点所在的机架内含有所选择的作业所需数据块的第一待选数据节点和第一数据节点的路径可用带宽均值B_temp，并计算路径可用带宽比值γ，第一待选数据节点为一个或一个以上。

路径可用带宽均值B_temp为：

其中，n为第一待选数据节点的个数；i表示机架；j表示端口；B_i，j1，B_i，j2，……，B_i，jn为第一待选数据节点的路径可用带宽；

路径可用带宽比值γ为：

其中，B_port为第一数据节点所在机架的机架交换机入口与服务器的端口带宽标称值。

步骤501中，管理节点选择一个作业的方法包括：

管理节点根据各作业在系统中运行的任务数对作业进行升序排列；

管理节点在作业队列中查找第一个含有数据块存储在第一数据节点的任务的作业，将该作业调整至同一级别的最高位置；

管理节点从作业队列中由上到下选择一个作业。

步骤502中，当所选择的作业的轮空次数满足第一条件时，管理节点选择第一数据节点所在的机架中含有所选择的作业所需数据块所在的数据节点中路径可用带宽最大的数据节点作为第一数据节点的数据源；

设置所选择的作业的轮空次数为0；

管理节点将路径可用带宽最大的数据节点作为数据源的任务返回给第一数据节点执行；

其中，第一条件为：Count_k≥(1-γ)x₁；

其中，Count_k为所选择的作业的轮空次数，x₁为第一数据节点可以申请到数据块存储在第一数据节点的任务的概率为时的申请次数，R为文件分块的备份数，M为物理机集群数。

本发明提出的作业处理方法中，当所选择出的作业中有尚未处理的数据块存储在第一数据节点的任务时，还包括以下步骤：

步骤503、管理节点将任务返回给第一数据节点执行。

本发明提出的作业处理方法中，当所选择的作业中没有尚未处理的数据块存储在第一数据节点所在的机架内的任务，且所选择的作业的轮空次数满足第二条件时，还可以包括以下步骤：

步骤504、管理节点选择其他机架中含有所选择的作业所需数据块所在的第二待选数据节点的路径中路径可用带宽最大的数据节点作为第一数据节点的数据源；

设置所选择的作业的轮空次数为0；

管理节点将路径可用带宽最大的数据节点作为数据源的任务返回给第一数据节点执行；

其中，第二条件为：Count_k≥x₂；

其中，x₂为所述请求新任务的数据节点可以申请到数据块存储在所述请求新任务的数据节点的任务的概率为时的申请次数，N为所选择的作业中尚未处理的任务数，R为文件分块的备份数，M为物理机集群数。

步骤503和步骤504中，基于网络感知的延迟调度算法模型如下：

假定：分布式文件系统有M台物理机集群，每个文件的数据块有R个备份，当前所有物理机都处于忙状态，所选择的作业尚未处理的任务数为N。当某台物理机完成任务后，可申请到新的数据块存储在该台物理机中的任务的概率P_k为：

那么，该物理机经过x次申请可以申请到数据块存储在该台物理机中的任务的概率P_k的取值范围为

设定P_k值，分别求解和

例如，取M=100，R=3，N=5，P_k=0.9，那么，可求得x₁=14.16，x₂=76.75。

如果从概率角度看，所选择的作业的数据块分布于每个物理主机的概率无限接近于1，因此设定x₂=20。

本发明提出的作业处理方法中，当所选择的作业中有尚未处理的数据块存储的数据节点与第一数据节点处于同一机架的任务，且所选择的作业的轮空次数不满足第一条件；或者当所选择的作业中没有尚未处理的数据块存储在第一数据节点所在的机架内的任务，且所选择的作业的轮空次数不满足第二条件时，还可以包括以下步骤：

步骤505、管理节点将所选择的作业的轮空次数加1。

本发明提出的作业调度方法中，在进行作业调度之前还可以采用本发明提出的存储调度方法进行数据块存储。

参见图6，本发明的实施例提出了一种管理节点，至少包括：

获取模块，用于获取网络节点各端口的网络流量统计信息，并换算出各数据节点的路径可用带宽；

预选模块，用于当接收到来自客户端的数据块存储请求时，根据存储调度算法预选出n组数据节点，每组数据节点中包括m个数据节点，其中，n、m为预先设定的整数；

计算模块，用于根据获得的各数据节点的路径可用带宽，分别计算每组数据节点的路径可用带宽加权均值；将计算得到的路径可用带宽加权均值最大的一组数据节点作为发起数据块存储请求的数据块的存储节点。

参见图7，本发明的实施例还提出了另一种管理节点，至少包括：

获取模块，用于获取网络节点各端口的网络流量统计信息，并换算出各数据节点的路径可用带宽；

选择模块，用于当第一数据节点向管理节点请求新任务时，选择一个作业；

返回模块，用于当所选择的作业中没有尚未处理的数据块存储在第一数据节点的任务，但有数据块存储的数据节点与第一数据节点处于同一机架的任务时，计算第一数据节点所在的机架内含有所选择的作业所需数据块的第一待选数据节点和第一数据节点的路径可用带宽均值B_temp，并计算路径可用带宽比值γ，第一待选数据节点为一个或一个以上。

当所选择的作业的轮空次数满足第一条件时，返回模块，还用于：

选择第一待选数据节点中路径可用带宽最大的数据节点作为第一数据节点的数据源；

设置所选择的作业的轮空次数为0；

将路径可用带宽最大的数据节点作为数据源的任务返回给第一数据节点执行；

其中，第一条件为：Count_k≥(1-γ)x₁；

其中，Count_k为作业的轮空次数，x₁为第一数据节点可以申请到数据块存储在第一数据节点的任务的概率为时的申请次数，R为文件分块的备份数，M为物理机集群数。

当所选择出的作业中有尚未处理的数据块存储在第一数据节点的任务时，返回模块还用于：将该任务返回给第一数据节点执行。

当所选择的作业中没有尚未处理的数据块存储在第一数据节点所在的机架内的任务，且所选择的作业的轮空次数满足第二条件时，返回模块，还用于：

选择其他机架中含有所选择的作业所需数据块所在的第二待选数据节点的路径中路径可用带宽最大的数据节点作为第一数据节点的数据源；

设置所选择的作业的轮空次数为0；

将路径可用带宽最大的数据节点作为数据源的任务返回给请求新任务的数据节点执行；

其中，第二条件为：Count_k≥x₂；

其中，x₂为第一数据节点可以申请到数据块存储在第一数据节点的任务的概率为时的申请次数，N为所选择的作业中尚未处理的任务数，R为文件分块的备份数，M为物理机集群数。

当所选择的作业中有尚未处理的数据块存储的数据节点与第一数据节点处于同一机架的任务，且所选择的作业的轮空次数不满足第一条件；或者当所选择的作业中没有数据块存储在第一数据节点所在的机架内的任务，且所选择的作业的轮空次数不满足第二条件时，返回模块，还用于：

将所选择的作业的轮空次数加1。

选择模块，还用于：

当接收到来自第一数据节点的新任务请求时，根据各作业在系统中运行的任务数对作业进行升序排列；

在作业队列中查找第一个含有数据块存储在第一数据节点的任务的作业，将该作业调整至同一级别的最高位置；

从作业队列中由上到下选择一个作业。

参见图8，另一种管理节点，在进行作业调度之前，还包括：

预选模块，用于当接收到来自客户端的数据块存储请求时，根据存储调度算法预选出n组数据节点，每组数据节点中包括m个数据节点，其中，n、m为预先设定的整数；

计算模块，用于根据获得的各数据节点的路径可用带宽，分别计算每组数据节点的路径可用带宽加权均值；将计算得到的路径可用带宽加权均值最大的一组数据节点作为发起数据块存储请求的数据块的存储节点。

本发明还提出了一种存储调度系统，至少包括：

管理节点，用于获取网络节点各端口的网络流量统计信息，并换算出各数据节点的路径可用带宽；当接收到来自客户端的数据块存储请求时，根据存储调度算法预选出n组数据节点，每组数据节点中包括m个数据节点，其中，n、m为预先设定的整数；根据获得的各数据节点的路径可用带宽，分别计算每组数据节点的路径可用带宽加权均值；将计算得到的路径可用带宽加权均值最大的一组数据节点作为发起数据块存储请求的数据块的存储节点；

至少一个数据节点，用于存储来自客户端的数据块。

本发明还提出了一种作业调度系统，至少包括：

管理节点，用于获取网络节点各端口的网络流量统计信息，并换算出各数据节点的路径可用带宽；当接收到来自第一数据节点的新任务请求时，选择一个作业；当所选择的作业中没有尚未处理的数据块存储在第一数据节点的任务，但有尚未处理的数据块存储的数据节点与第一数据节点处于同一机架的任务时，根据获得的各数据节点的路径可用带宽，计算第一数据节点所在的机架内含有所选择的作业所需数据块的第一待选数据节点和第一数据节点的路径可用带宽均值，并计算路径可用带宽比值；

至少一个数据节点，用于向管理节点请求新任务。

本发明提出的作业调度系统中，当所述选择的作业的轮空次数满足第一条件时，管理节点还用于：

选择第一待选数据节点路径可用带宽最大的数据节点作为第一数据节点的数据源；

设置所选择的作业的轮空次数为0；

将路径可用带宽最大的数据节点作为数据源的任务返回给第一数据节点执行；

其中，第一条件为：Count_k≥(1-γ)x₁；

其中，Count_k为所选择作业的轮空次数，x₁为第一数据节点可以申请到数据块存储在第一数据节点的任务的概率为时的申请次数，R为文件分块的备份数，M为物理机集群数；

至少一个数据节点，还用于执行管理节点返回的任务。

本发明提出的作业处理系统中，当所选择的作业中有尚未处理的数据块存储在第一数据节点的任务时，管理节点还用于将该任务返回给所述数据节点执行；

本发明提出的作业处理系统中，当所选择的作业中没有尚未处理的数据块存储在第一数据节点所在的机架内的任务，且所选择的作业的轮空次数满足第二条件时，管理节点还用于：

选择其他机架中含有所选择的作业所需数据块所在的第二待选数据节点的路径中路径可用带宽最大的数据节点作为第一数据节点的数据源；

设置所选择的作业的轮空次数为0；

将路径可用带宽最大的数据节点作为数据源的任务返回给第一数据节点；

其中，第二条件为：Count_k≥x₂；

其中，x₂为第一数据节点可以申请到数据块存储在第一数据节点的任务的概率为时的申请次数，N为所选择的作业中尚未处理的任务数，R为文件分块的备份数，M为物理机集群数。

本发明提出的作业处理系统中，当所选择的作业中有尚未处理的数据块存储的数据节点与第一数据节点处于同一机架的任务，且所选择的作业的轮空次数不满足第一条件；或者当所选择的作业中没有尚未处理的数据块存储在第一数据节点所在的机架内的任务，且所选择的作业的轮空次数不满足第二条件时，管理节点还用于：

将所选择的作业的轮空次数加1。

本发明提出的作业处理系统中，管理节点还用于：

当接收到来自第一数据节点的新任务请求时，根据各作业在系统中运行的任务数对作业进行升序排列；

在作业队列中查找第一个含有数据块存储在第一数据节点的任务的作业，将该作业调整至同一级别的最高位置；

从作业队列中由上到下选择一个作业。

本发明提出的作业调度系统中，在进行作业调度之前，管理节点还用于：

获取网络节点各端口的网络流量统计信息，并换算出各数据节点的路径可用带宽；当接收到来自客户端的数据块存储请求时，根据存储调度算法预选出n组数据节点，每组数据节点中包括m个数据节点，其中，n、m为预先设定的整数；根据获得的各数据节点的路径可用带宽，分别计算每组数据节点的路径可用带宽加权均值；将计算得到的路径可用带宽加权均值最大的一组数据节点作为发起数据块存储请求的数据块的存储节点；

至少一个数据节点，还用于存储来自客户端的数据块。

本发明根据存储调度算法将数据块存储在路径可用带宽均值最大的数据节点列表，避免了网络拥塞并缩短了数据块存储的网络传输时间。

本发明根据路径可用带宽信息为数据节点分配优选作业进行处理，提升了作业的本地化概率，并且减少了作业总完成时间。

需要说明的是，以上所述的实施例仅是为了便于本领域的技术人员理解而已，并不用于限制本发明的保护范围，在不脱离本发明的发明构思的前提下，本领域技术人员对本发明所做出的任何显而易见的替换和改进等均在本发明的保护范围之内。

Claims (19)

1.一种存储调度方法，其特征在于，包括：

管理节点获取网络节点各端口的网络流量统计信息，并换算出各数据节点的路径可用带宽；

当管理节点接收到来自客户端的数据块存储请求时，根据存储调度算法预选出n组数据节点，每组数据节点中包括m个数据节点，其中，n、m为预先设定的整数；

管理节点根据获得的各数据节点的路径可用带宽，分别计算每组数据节点的路径可用带宽加权均值；

并将计算得到的路径可用带宽加权均值最大的一组数据节点作为发起数据块存储请求的数据块的存储节点。

2.如权利要求1所述的存储调度方法，其特征在于，所述m为3，每组数据节点中，包括第二数据节点、第三数据节点和第四数据节点，第三数据节点和第四数据节点处于同一机架，第二数据节点与第三数据节点处于不同机架；

所述管理节点根据获得的各数据节点的路径可用带宽，分别计算每组数据节点的路径可用带宽加权均值包括：

计算每组数据节点中所述客户端到所述第二数据节点之间的第一网络路径的路径可用带宽；

计算每组数据节点中所述第二数据节点到第三数据节点之间的第二网络路径的路径可用带宽；

计算每组数据节点中所述第三数据节点到第四数据节点之间的第三网络路径的路径可用带宽；

将每组数据节点中三条网络路径的路径可用带宽进行加权平均计算路径可用带宽加权均值。

3.如权利要求2所述的存储调度方法，其特征在于，所述每组数据节点中所述第一网络路径和所述第二网络路径的加权系数均为0.4，所述第三网络路径的加权系数为0.2。

4.一种作业调度方法，其特征在于，包括：

管理节点获取网络节点各端口的网络流量统计信息，并换算出各数据节点的路径可用带宽；

当第一数据节点空闲并向管理节点请求新任务时，管理节点选择一个作业；

当所选择的作业中没有尚未处理的数据块存储在所述第一数据节点的任务，但有尚未处理的数据块存储的数据节点与所述第一数据节点处于同一机架的任务时，

管理节点根据获得的各数据节点的路径可用带宽，计算第一数据节点所在的机架内含有所述选择的作业所需数据块的第一待选数据节点和第一数据节点间的路径可用带宽均值B_temp，并计算路径可用带宽比值γ；所述第一待选数据节点为一个或一个以上；

当所述选择的作业的轮空次数满足第一条件时，该方法还包括：

所述管理节点选择所述第一待选数据节点中路径可用带宽最大的数据节点作为所述第一数据节点的数据源；

设置所述选择的作业的轮空次数为0；

所述管理节点将所述路径可用带宽最大的数据节点作为数据源的任务返回给所述第一数据节点执行；

其中，第一条件为：Count_k≥(1-γ)x₁；

其中，Count_k为所述选择的作业的轮空次数，x₁为所述第一数据节点可以申请到数据块存储在所述第一数据节点的任务的概率为时的申请次数，R为文件分块的备份数，M为物理机集群数；

或者，当所述选择的作业中没有尚未处理的数据块存储在所述第一数据节点所在的机架内的任务，且所述选择的作业的轮空次数满足第二条件时，该方法还包括：

所述管理节点选择其他机架中含有所述选择的作业所需数据块所在的第二待选数据节点的路径中路径可用带宽最大的数据节点作为所述第一数据节点的数据源；

设置所述选择的作业的轮空次数为0；

所述管理节点将所述路径可用带宽最大的数据节点作为数据源的任务返回给所述第一数据节点执行；

其中，第二条件为：Count_k≥x₂；

其中，x₂为所述第一数据节点可以申请到数据块存储在所述第一数据节点的任务的概率为时的申请次数，N为所述选择的作业中尚未处理的任务数，R为文件分块的备份数，M为物理机集群数。

5.如权利要求4所述的作业调度方法，其特征在于，所述第一待选数据节点和所述第一数据节点的路径可用带宽均值B_temp为：

其中，n为所述第一待选数据节点的个数；i表示机架；j表示端口；B_i，j1，B_i，j2，……，B_i，jn为所述第一待选数据节点的路径可用带宽；

所述路径可用带宽比值γ为：

其中B_port为所述第一数据节点所在机架的机架交换机入口与服务器的端口带宽标称值。

6.如权利要求4所述的作业调度方法，其特征在于，当所选择出的作业中有尚未处理的数据块存储在第一数据节点的任务时，该方法还包括：

所述管理节点将所述任务返回给所述第一数据节点执行。

7.如权利要求4所述的作业调度方法，其特征在于，当所述选择的作业中有尚未处理的数据块存储的数据节点与所述第一数据节点处于同一机架的任务，且所述选择的作业的轮空次数不满足第一条件；或者当所述选择的作业中没有尚未处理的数据块存储在所述第一数据节点所在的机架内的任务，且所述选择的作业的轮空次数不满足第二条件时，该方法还包括：

所述管理节点将所述选择的作业的轮空次数加1。

8.根据权利要求4～7任意一项所述的作业调度方法，所述管理节点选择一个作业的方法包括：

所述管理节点根据各作业在系统中运行的任务数对作业进行升序排列；

所述管理节点在作业队列中查找第一个含有尚未处理的数据块存储在所述第一数据节点的任务的作业，将该作业调整至同一级别的最高位置；

所述管理节点从作业队列中由上到下选择一个作业。

9.一种管理节点，其特征在于，至少包括：

获取模块，用于获取网络节点各端口的网络流量统计信息，并换算出各数据节点的路径可用带宽；

预选模块，用于当接收到来自客户端的数据块存储请求时，根据存储调度算法预选出n组数据节点，每组数据节点中包括m个数据节点，其中，m、n为预先设定的整数；

计算模块，用于根据获得的各数据节点的路径可用带宽，分别计算每组数据节点的路径可用带宽加权均值；将计算得到的路径可用带宽均值最大的一组数据节点作为发起数据块存储请求的数据块的存储节点。

10.一种管理节点，其特征在于，至少包括：

获取模块，用于获取网络节点各端口的网络流量统计信息，并换算出各数据节点的路径可用带宽；

选择模块，用于当接收到来自第一数据节点的新任务请求时，选择一个作业；

返回模块，用于当所述选择的作业中没有尚未处理的数据块存储在所述第一数据节点的任务，但有尚未处理的数据块存储的数据节点与所述第一数据节点处于同一机架的任务时，根据获得的各数据节点的路径可用带宽，计算所述数据节点所在的机架内含有所述作业所需数据块的第一待选数据节点和所述第一数据节点的路径可用带宽均值B_temp，并计算路径可用带宽比值γ，所述第一待选数据节点为一个或一个以上；

当所述选择的作业的轮空次数满足第一条件时，所述返回模块，还用于：

选择所述第一待选数据节点中路径可用带宽最大的数据节点作为所述第一数据节点的数据源；

设置所述选择的作业的轮空次数为0；

将所述路径可用带宽最大的数据节点作为数据源的任务返回给所述第一数据节点执行；

其中，第一条件为：Count_k≥(1-γ)x₁；

其中，Count_k为所述选择的作业的轮空次数，x₁为所述第一数据节点可以申请到数据块存储在所述第一数据节点的任务的概率为时的申请次数，R为文件分块的备份数，M为物理机集群数；

或者，当所述选择的作业中没有尚未处理的数据块存储在所述第一数据节点所在的机架内的任务，且所述选择的作业的轮空次数满足第二条件时，所述返回模块，还用于：

选择其他机架中含有所述选择的作业所需数据块所在的各数据节点的路径中路径可用带宽最大的第二待选数据节点作为所述第一数据节点的数据源；

设置所述选择的作业的轮空次数为0；

将所述路径可用带宽最大的数据节点作为数据源的任务返回给所述第一数据节点执行；

其中，第二条件为：Count_k≥x₂；

其中，x₂为所述第一数据节点可以申请到数据块存储在所述第一数据节点的任务的概率为时的申请次数，N为所述选择的作业中尚未处理的任务数，R为文件分块的备份数，M为物理机集群数。

11.根据权利要求10所述的管理节点，当所选择的作业中有尚未处理的数据块存储在所述第一数据节点的任务时，所述返回模块，还用于：

将所述任务返回给所述第一数据节点执行。

12.根据权利要求10所述的管理节点，当所述选择的作业中有尚未处理的数据块存储的数据节点与所述第一数据节点处于同一机架的任务，且所述选择的作业的轮空次数不满足第一条件；或者当所述选择的作业中没有尚未处理的数据块存储在所述第一数据节点所在的机架内的任务，且所述选择的作业的轮空次数不满足第二条件时，所述返回模块，还用于：

将所述选择的作业的轮空次数加1。

13.根据权利要求10～12任意一项所述的管理节点，所述选择模块，还用于：

当接收到来自所述第一数据节点的新任务请求时，根据各作业在系统中运行的任务数对作业进行升序排列；

在作业队列中查找第一个含有尚未处理的数据块存储在第一数据节点的任务的作业，将该作业调整至同一级别的最高位置；

从作业队列中由上到下选择一个作业。

14.根据权利要求10～12任意一项所述的管理节点，还包括：

预选模块，用于当接收到来自客户端的数据块存储请求时，根据存储调度算法预选出n组数据节点，每组数据节点中包括m个数据节点，其中，m、n为预先设定的整数；

计算模块，用于根据获得的各数据节点的路径可用带宽，分别计算每组数据节点的路径可用带宽加权均值；将计算得到的路径可用带宽均值最大的一组数据节点作为发起数据块存储请求的数据块的存储节点。

15.一种存储调度系统，其特征在于，至少包括：

管理节点，用于获取网络节点各端口的网络流量统计信息，并换算出各数据节点的路径可用带宽；当接收到来自客户端的数据块存储请求时，根据存储调度算法预选出n组数据节点，每组数据节点中包括m个数据节点，其中，n、m为预先设定的整数；根据获得的各数据节点的路径可用带宽，分别计算每组数据节点的路径可用带宽加权均值；将计算得到的路径可用带宽加权均值最大的一组数据节点作为发起数据块存储请求的数据块的存储节点；

至少一个数据节点，用于存储来自客户端的数据块。

16.一种作业调度系统，其特征在于，至少包括：

管理节点，用于获取网络节点各端口的网络流量统计信息，并换算出各数据节点的路径可用带宽；用于当接收到来自第一数据节点的新任务请求时，选择一个作业；当所选择的作业中没有尚未处理的数据块存储在所述第一数据节点的任务，但有尚未处理的数据块存储的数据节点与所述第一数据节点处于同一机架的任务时，根据获得的各数据节点的路径可用带宽，计算所述第一数据节点所在的机架内含有所述作业所需数据块的第一待选数据节点和所述第一数据节点的路径可用带宽均值B_temp，并根据计算路径可用带宽比值γ，所述第一待选数据节点为一个或一个以上；

至少一个数据节点，用于向所述管理节点请求新任务；

当所述选择的作业的轮空次数满足第一条件时，所述管理节点，还用于：

选择所述第一待选数据节点中路径可用带宽最大的数据节点作为所述第一数据节点的数据源；

设置所述选择的作业的轮空次数为0；

将所述路径可用带宽最大的数据节点作为数据源的任务返回给所述第一数据节点执行；

其中，第一条件为：Count_k≥(1-γ)x₁；

其中，Count_k为所述选择的作业的轮空次数，x₁为所述第一数据节点可以申请到数据块存储在所述第一数据节点的任务的概率为时的申请次数，R为文件分块的备份数，M为物理机集群数；

所述至少一个数据节点，还用于执行所述管理节点返回的任务；

或者，当所述选择的作业中没有尚未处理的数据块存储在所述第一数据节点所在的机架内的任务，且所述选择的作业的轮空次数满足第二条件时，所述管理节点还用于：

选择其他机架中含有所述选择的作业所需数据块所在的第二待选数据节点的路径中路径可用带宽最大的数据节点作为所述第一数据节点的数据源；

设置所述选择的作业的轮空次数为0；

将所述路径可用带宽最大的数据节点作为数据源的任务返回给所述第一数据节点；

其中，第二条件为：Count_k≥x₂；

其中，x₂为所述第一数据节点可以申请到数据块存储在所述第一数据节点的任务的概率为时的申请次数，N为所述选择的作业中尚未处理的任务数，R为文件分块的备份数，M为物理机集群数。

17.根据权利要求16所述的作业调度系统，其特征在于，当所选择出的作业中有尚未处理的数据块存储在第一数据节点的任务时，所述管理节点，还用于：

将所述任务返回给所述第一数据节点执行。

18.根据权利要求16所述的作业调度系统，当所述选择的作业中有尚未处理的数据块存储的数据节点与所述第一数据节点处于同一机架的任务，且所述选择的作业的轮空次数不满足第一条件；或者当所述选择的作业中没有尚未处理的数据块存储在所述第一数据节点所在的机架内的任务，且所述选择的作业的轮空次数不满足第二条件时，所述管理节点还用于：

将所述选择的作业的轮空次数加1。

19.根据权利要求16～18任意一项所述的作业调度系统，所述管理节点还用于：

当接收到来自所述第一数据节点的新任务请求时，根据各作业在系统中运行的任务数对作业进行升序排列；

在作业队列中查找第一个含有尚未处理的数据块存储在所述第一数据节点的任务的作业，将该作业调整至同一级别的最高位置；

从作业队列中由上到下选择一个作业。