CN103118134A - 一种面向任务级的大数据分发质量保障方法及装置 - Google Patents

Abstract

本发明实施例公开了一种面向任务级的大数据分发质量保障方法及装置，其中方法实例中，包括以下步骤：数据分发协作服务器处理创建分发任务请求；依据当前正在运行的分发任务对聚合带宽进行划分调整；将对任务的带宽调整指令转发至负责该分发任务的带宽控制服务器；调整该任务数据接收速率至命令要求的设置带宽；将创建任务指令发送到该任务指定带宽控制服务器；向数据分发协作服务器发送任务完成指令；修改该任务状态为已完成，并依据重新计算正在运行各分发任务占用带宽。本发明能够在网络上分发大数据时定制和分配不同优先级分发任务的带宽资源分配，同时具备动态调整的能力，保障分发任务的带宽资源和传输速度。

Description

一种面向任务级的大数据分发质量保障方法及装置

技术领域

本发明属于网络数据传输服务质量保障技术领域，特别地涉及一种面向任务级的大数据分发质量保障方法及装置。

背景技术

随着媒体信息的不断丰富，作为保存信息内容媒介的数字文件也在快速膨胀。面向频繁的用户文件交换需求，计算机网络已经成为了文件传输的主要途径。在海量大数据传输的计算机网络中，由于传统计算机网络尽力而为的服务机制，容易导致以下问题的发生：

丢失数据包：当数据包到达一个缓冲区(buffer)已满的路由器时，则代表此次的发送失败，路由器会依据网络的状况决定是否丢弃一部份或者是所有的数据包，接收端的应用程序必须请求重新传送，可能造成总体传输严重的延迟；

延迟：不可预料数据包传送到终点的耗时，因为数据包会被路由缓存队列迟滞，或需要运用间接路由以避免阻塞；

传输顺序出错：当一组相关的数据包路由经过因特网时，不同的数据包可能选择不同的路由器，这会导致每个数据包有不同的延迟时间。最后数据包到达目的地的顺序会和数据包从发送端发送出去的顺序不一致，这个问题必须要有特殊额外的协议负责刷新失序的数据包；

出错：有些时候，数据包在被运送的途中会发生跑错路径、被合并甚至是毁坏的情况，这时接收端必须能够侦测出这些情况，并将它们判别为已遗失的数据包，再请求发送端再送一份同样的数据包。

由于以上情况的频繁发生，数据接收端的数据接收速率往往无法得到保障，且由于不同接收端之间的恶性竞争，有可能导致某些接收端的带宽资源被抢占。在专用大数据分发系统中，需要保证用户提交分发任务的数据分发速率，从而保证分发服务的有效性和可靠性。服务质量保障技术是解决上述问题的途径之一。

服务质量(Quality of Service，QoS)是网络的一种安全机制，是用来解决网络延迟和阻塞等问题的一种技术。在正常情况下，如果网络只用于特定的无时间限制的应用系统，并不需要QoS，比如Web应用，或E-mail设置等。但是对多媒体和大数据传输应用就十分必要。当网络过载或拥塞时，QoS能确保重要业务量不受延迟或丢弃，同时保证网络的高效运行。

传统服务质量保障技术采用与硬件绑定的形式，将QoS功能植入路由器等硬件设施，通过IP(Intemet Protocol，网络之间互连的协议)绑定带宽的形式进行质量保证服务。随着宽带网络的发展和应用的增长，传统服务质量保障技术存在较大的局限性，包括仅提供物理地址级别服务而无法针对应用任务级别服务，无法动态调整带宽的占用、无法保障带宽利用的优化。同时传统服务质量保障技术高度依赖人工参与，因此在人力成本和扩展性上都存在缺陷。

发明内容

为解决上述问题，本发明的目的在于针对传统服务质量保障技术无法实现面向任务级别的数据分发应用需求的带宽资源保障和动态调整能力，提供一种能实现预定数据接收端的分发带宽资源、选择数据传输端为接收端服务、数据接收端分发速率的动态调整的面向任务级别的大数据分发服务质量保障方法。

本发明的另一目的在于提供一种面向任务级别的大数据分发服务质量保障装置，该装置能够协调数据分发任务的分发速率。

为实现上述目的，本发明的技术方案为：

一种面向任务级的大数据分发质量保障方法，包括以下步骤：

步骤1，数据分发协作服务器处理创建分发任务请求，创建该任务并获取其优先级参数，其中优先级包含高、中、低三个等级；

步骤2，数据分发协作服务器依据当前正在运行的分发任务对聚合带宽进行划分调整；

步骤3，得出每个任务调整后分配的带宽，数据分发协作服务器将对任务的带宽调整指令转发至负责该分发任务的带宽控制服务器；

步骤4，带宽控制服务器接收任务带宽调整命令后，调整该任务数据接收速率至命令要求的设置带宽；

步骤5，数据分发协作服务器将创建任务指令发送到该任务指定带宽控制服务器；

步骤6，带宽控制服务器完成数据传输后，向数据分发协作服务器发送任务完成指令；

步骤7，数据分发协作服务器接收到任务完成指令后，修改该任务状态为已完成，并依据步骤2重新计算正在运行各分发任务占用带宽；

步骤8，数据分发协作服务器向负责各分发任务的带宽控制服务器发送任务带宽调整指令；

步骤9，带宽控制服务器接收到任务带宽调整指令后，重新调整属于该客户服务器的分发任务的带宽。

优选地，步骤2中，数据分发协作服务器将定时对当前带宽占用资源信息进行统计，若带宽资源利用率不足带宽资源总量的70％，且当前没有新建分发任务请求，则重新划分当前所有任务带宽资源，并通知所有带宽控制服务器调整其负责的分发任务的传输速率。

优选地，所述步骤2中具体的划分调整方法如下：

设当前聚合带宽为D_total，高优先级任务带宽分配为D_high，中优先级任务带宽分配为D_mid，低优先级任务分配带宽为D_low，则满足以下关系：

D_total＝D_high+D_mid+D_low其中D_total，D_high，D_mid，D_low∈N，

设当前高优先级任务数目为N_high，中优先级任务数目为N_mid，低优先级任务数目为N_low，则各优先级任务所分配带宽满足以下关系：

D_high＝N_high×T_high

D_mid＝N_mid×T_mid

D_low＝N_low×T_low

高优先级、中优先级及低优先级任务分配带宽满足以下比例关系：

T_high∶T_mid∶T_low＝P_high∶P_mid∶P_low

其中P_high＝4，P_mid＝2，P_low＝1，T_high为每个高优先级任务的分配带宽，T_mid为每个中优先级任务的分配带宽，T_low为每个的低优先级任务的分配带宽，

由以上所述关系可得高、中、低优先级任务所分配带宽分别如下：

$T_{\mathrm{high}}=\frac{P_{\mathrm{high}}{D}_{\mathrm{total}}}{N_{\mathrm{high}}{P}_{\mathrm{high}}+N_{\mathrm{mid}}{P}_{\mathrm{mid}}+N_{\mathrm{low}}{P}_{\mathrm{low}}}$

$T_{\mathrm{mid}}=\frac{P_{\mathrm{mid}}{D}_{\mathrm{total}}}{N_{\mathrm{high}}{P}_{\mathrm{high}}+N_{\mathrm{mid}}{P}_{\mathrm{mid}}+N_{\mathrm{low}}{P}_{\mathrm{low}}}$

$T_{\mathrm{low}}=\frac{P_{\mathrm{low}}{D}_{\mathrm{total}}}{N_{\mathrm{high}}{P}_{\mathrm{high}}+N_{\mathrm{mid}}{P}_{\mathrm{mid}}+N_{\mathrm{low}}{P}_{\mathrm{low}}}.$

优选地，步骤4中调整该任务数据接收速率至命令要求的设置带宽具体为，若该任务当前传输任务实际传输速率小于等于设置带宽V，则仅设置该任务的带宽上限为V，对该任务不做任何调整措施，否则，削减任务占用带宽。

优选地，若该任务当前传输任务实际传输速率小于等于设置带宽V，则仅设置该任务的带宽上限为V，对该任务不做任何调整措施具体为，

设负责该分发任务的带宽控制服务器为C，该任务从n台数据传输服务器请求数据，其中n≥1，记为Ti其中i∈[1，n]，从每个数据传输服务器请求数据的传输速率记为Vi其中i∈[1，n]，因此该任务的数据传输速率为：

$V=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{V}_i$

每个任务都拥有其任务带宽上限，记为L，且满足以下关系：

V≤L

即每个任务的实际数据传输速率不得高于指定任务带宽上限；

设带宽控制服务器接收的数据分发协作协调服务器指定调整带宽为U，若V＝U，则仅将该任务带宽上限更新为U，此时L＝U，操作结束即可；

若V＜U，按以下步骤所述进行操作：

S301，设数据传输服务器Ti对外数据传输速率为Wi其中i∈[1，n]，Ti拥有对外带宽为Di其中i∈[1，n]，则计算Ti当前剩余带宽为R_i＝D_i-W_i，记分发任务所拥有的数据传输服务器集合S＝{T_i|i∈[1，n]}；

S302，计算该任务当前所有数据传输服务器的剩余带宽总和，记为R：

$R=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{D}_i-W_i$

S303，计算当前任务需要增加的带宽ΔV＝U-V，若ΔV＞R，则转向步骤S304，否则转向步骤S305；

S304，从全局剩余的数据传输服务器中寻找剩余带宽容量最大的一台数据传输服务器T_k，将其加入集合S，同时将其剩余带宽加入任务当前所有数据传输服务器的剩余带宽总和，即将该数据传输服务器作为任务添加数据来源的备选方案，

$T_k=T_i\left(\max \right\{R_i|T_i\∉S\})$

S＝S∪{T_k}

若分发任务当前所拥有的数据传输服务器的剩余带宽总和R＞ΔV，则转向步骤305，否则重新转向步骤304；

S305，在集合S中找出剩余带宽最多的一台数据传输服务器记为T_j，分发任务从T_j获取数据速率为V_j：

T_j＝T_i(max{(D_i-W_i|T_i∈S)})

S306，令ΔV＝ΔV-V_j，且S＝S-T_j，即选择数据传输服务器T_j作为传输速率增量服务器，且增加该数据传输服务器对该任务的传输速率贡献，若此时ΔV≤0则转向步骤S307，否则重新转向步骤S305；

S307，设置该任务带宽上限为U，此时L＝U，结束流程。

优选地，削减任务占用带宽具体步骤为，

步骤201，设数据传输服务器T_i对外数据传输速率为Wi其中i∈[1，n]，T_i拥有对外带宽为Di其中i∈[1，n]，则计算T_i当前剩余带宽为R_i＝D_i-W_i，设任务接收数据传输服务器集合为S＝{T_i|i∈[1，n]}；

步骤202，在集合S中找出剩余带宽最少的一台数据传输服务器记为T_j，任务从T_j获取数据速率为V_j：T_j＝T_i(min{R_i|Ti∈S})；

步骤203，得出当前任务需要削减的带宽ΔV＝U-V，若ΔV＜V_j，则转向步骤S204，否则转向步骤S205；

步骤204，令V_j＝V_j-ΔV，即将该任务对数据传输服务器的传输速度下调ΔV，转向步骤S206；

步骤205，令ΔV＝ΔV-V_j，且S＝S-T_j，即撤销该数据传输服务器为该任务的数据来源，且削减带宽减少该数据传输服务器对该任务的传输速率贡献，若此时ΔV≤0则转向步骤S206，否则重新转向步骤S202；

步骤206，设置该任务带宽上限为U，结束流程L＝U。

一种面向任务级的大数据分发质量保障装置，包括一台数据分发协作服务器、若干数据传输服务器及若干带宽控制服务器，以上服务器均采用万兆以太网链路连接，使用万兆交换机直连，

所述数据分发协作服务器包括分发任务管理单元和分发任务协作单元，所述分发任务管理单元用于接收外界创建或撤销分发任务请求，维护分发任务元数据；所述分发任务协作单元负责分发任务的质量保障服务，协调不同优先级任务间的带宽资源占用比例；

所述数据传输服务器用于对外提供数据传输服务，数据传输服务采用拉模式，由带宽控制服务器发起分发请求，从数据传输服务器端抓取数据，每个数据传输服务器维护相同的数据目录，从而为数据分发接收服务器提供并行传输保障，数据传输服务器发布数据服务可采用ftp、http、sftp等文件访问协议；

所述带宽控制服务器包括数据分片单元、数据传输单元和数据接收调度单元，所述数据分片单元负责接收数据分块从而实现并行传输，所述数据传输单元负责具体数据传输协议的接收任务及数据接收速率的调整，所述数据接收调度单元负责选择数据传输服务器及响应数据分发协作服务器下达的指令。

与现有技术相比，本发明的有益效果如下：

(1)本发明实施例提供数据分发任务级别质量保障服务，相较于传统质量保障服务技术仅针对某台物理设备的服务而言控制粒度更加精细，更能满足当前数据分发业务的特定需求。

(2)本发明实施例根据新加入的任务或已完成的任务动态调整其余任务的分发速率，相较于现有技术依赖人为调整带宽资源提升了装置的自动性和灵活性，减少人工干预，有效的利用带宽资源。

附图说明

图1为本发明实施例的面向任务级的大数据分发质量保障装置的结构图；

图2为本发明实施例的面向任务级的大数据分发质量保障装置的系统架构图；

图3为本发明实施例的面向任务级的大数据分发质量保障方法的流程图；

图4为本发明实施例的面向任务级的大数据分发质量保障方法的分发任务带宽动态缩减流程图；

图5为本发明实施例的面向任务级的大数据分发质量保障方法的分发任务带宽动态增加流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。

参考图1与图2，所示为本发明实施例的面向任务级的大数据分发质量保障装置的系统部署图和系统架构图。如图1所示，包含一台数据分发协作服务器X₁，N台数据传输服务器T₁～T_m及M台带宽控制服务器C₁～C_m(采用ftp协议作为数据传输协议)，数据传输服务器均使用相同的数据目录。以上服务器均采用万兆以太网链路连接，使用万兆交换机直连，从而采用的是扁平的网络拓扑结构。数据分发协作服务器包括分发任务管理单元和分发任务协作单元，分发任务管理单元用于接收外界创建或撤销分发任务请求，维护分发任务元数据；分发任务协作单元负责分发任务的质量保障服务，协调不同优先级任务间的带宽资源占用比例；数据传输服务器用于对外提供数据传输服务，数据传输服务采用拉模式，由带宽控制服务器发起分发请求，从数据传输服务器端抓取数据，每个数据传输服务器维护相同的数据目录，从而为数据分发接收服务器提供并行传输保障，数据传输服务器发布数据服务可采用ftp、http、sftp等文件访问协议；带宽控制服务器包括数据分片单元、数据传输单元和数据接收调度单元，数据分片单元负责接收数据分块从而实现并行传输，数据传输单元负责具体数据传输协议的接收任务及数据接收速率的调整，数据接收调度单元负责选择数据传输服务器及响应数据分发协作服务器下达的指令。如图2所示，该装置采用三层架构：顶层数据分发协作服务器负责分发任务的分配调度和维护；底层数据传输服务器负责数据文件的存储和对外发布(采用ftp等传输协议)；中层的带宽控制服务器肩负数据下载客户端职责，负责数据下载和带宽控制，该服务器从底层的数据传输服务器获得数据流，同时从上层的数据分发协作服务器接收分发控制指令，包括分发任务分配和下载速度调整等。

在以上装置的架构基础上，本发明实施例同时提供了一种面向任务级的大数据分发质量保障方法，参见图3，其包括以下步骤：

S101，数据分发协作服务器处理创建分发任务请求，创建该任务并获取其优先级参数，其中优先级包含高、中、低三个等级；

S102，数据分发协作服务器依据当前正在运行的分发任务对聚合带宽进行划分调整；

具体地，划分调整方法如下：

设当前总体带宽为D_total，高优先级任务带宽分配为D_high，中优先级任务带宽分配为D_mid，低优先级任务分配带宽为D_low，则满足以下关系：

D_total＝D_high+D_mid+D_low

D_total，D_high，D_mid，D_low∈N

设当前高优先级任务数目为N_high，中优先级任务数目为N_mid，低优先级任务数目为N_low，则各优先级任务所分配带宽满足以下关系：

D_high＝N_high×T_high

D_mid＝N_mid×T_mid

D_low＝N_low×T_low

高优先级、中优先级及低优先级任务分配带宽满足以下比例关系：

T_high∶T_mid∶T_low＝P_high∶P_mid∶P_low

其中P_high＝4，P_mid＝2，P_low＝1，T_high为每个高优先级任务的分配带宽，T_mid为每个中优先级任务的分配带宽，T_low为每个的低优先级任务的分配带宽。

由以上所述关系可得高、中、低优先级任务所分配带宽分别如下：

$T_{\mathrm{high}}=\frac{P_{\mathrm{high}}{D}_{\mathrm{total}}}{N_{\mathrm{high}}{P}_{\mathrm{high}}+N_{\mathrm{mid}}{P}_{\mathrm{mid}}+N_{\mathrm{low}}{P}_{\mathrm{low}}}$

$T_{\mathrm{mid}}=\frac{P_{\mathrm{mid}}{D}_{\mathrm{total}}}{N_{\mathrm{high}}{P}_{\mathrm{high}}+N_{\mathrm{mid}}{P}_{\mathrm{mid}}+N_{\mathrm{low}}{P}_{\mathrm{low}}}$

$T_{\mathrm{low}}=\frac{P_{\mathrm{low}}{D}_{\mathrm{total}}}{N_{\mathrm{high}}{P}_{\mathrm{high}}+N_{\mathrm{mid}}{P}_{\mathrm{mid}}+N_{\mathrm{low}}{P}_{\mathrm{low}}}.$

S103，得出每个任务调整后分配的带宽，数据分发协作服务器将对任务的带宽调整指令转发至负责该分发任务的带宽控制服务器；

S104，带宽控制服务器接收任务带宽调整命令后，调整该任务数据接收速率至命令要求的设置带宽，协调方式如下：若该任务当前传输任务实际传输速率小于等于设置带宽V，则仅设置该任务的带宽上限为V，对该任务不做任何调整措施，否则，削减任务占用带宽。

优选地，若该任务当前传输任务实际传输速率小于等于设置带宽V，则仅设置该任务的带宽上限为V，对该任务不做任何调整措施具体为，

设负责该分发任务的带宽控制服务器为C，该任务从n(n≥1)台数据传输服务器请求数据，记为Ti(i∈[1，n])，从每个数据传输服务器请求数据的传输速率记为Vi(i∈[1，n])，因此该任务的数据传输速率为：

$V=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{V}_i$

每个任务都拥有其任务带宽上限，记为L，且满足以下关系：

V≤L

即每个任务的实际数据传输速率不得高于指定任务带宽上限；

设带宽控制服务器接收的数据分发协作协调服务器指定调整带宽为U，若V＝U，则仅将该任务带宽上限更新为U，此时L＝U，操作结束即可；

若V＜U，按以下步骤所述进行操作：

S301，设数据传输服务器Ti对外数据传输速率为Wi(i∈[1，n])，Ti拥有对外带宽为Di(i∈[1，n])，则计算Ti当前剩余带宽为R_i＝D_i-W_i，记分发任务所拥有的数据传输服务器集合S＝{T_i|i∈[1，n]}；

S302，计算该任务当前所有数据传输服务器的剩余带宽总和，记为R：

$R=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{D}_i-W_i$

S303，计算当前任务需要增加的带宽ΔV＝U-V，若ΔV＞R，则转向步骤S304，否则转向步骤S305；

S304，从全局剩余的数据传输服务器中寻找剩余带宽容量最大的一台数据传输服务器T_k，将其加入集合S，同时将其剩余带宽加入任务当前所有数据传输服务器的剩余带宽总和，即将该数据传输服务器作为任务添加数据来源的备选方案，

S＝S∪{T_k}

若分发任务当前所拥有的数据传输服务器的剩余带宽总和R＞ΔV，则转向步骤305，否则重新转向步骤304；

S305，在集合S中找出剩余带宽最多的一台数据传输服务器记为Tj，分发任务从Tj获取数据速率为Vj：

T_j＝T_i(max{(D_i-W_i|T_i∈S)})

S306，令ΔV＝ΔV-V_j，且S＝S-T_j，即选择数据传输服务器T_j作为传输速率增量服务器，且增加该数据传输服务器对该任务的传输速率贡献，若此时ΔV≤0则转向步骤S307，否则重新转向步骤S305；

S307，设置该任务带宽上限为U(L＝U)，结束流程。

优选地，参见图削减任务占用带宽具体步骤为，

步骤201，设数据传输服务器Ti对外数据传输速率为Wi(i∈[1，n])，Ti拥有对外带宽为Di(i∈[1，n])，则计算Ti当前剩余带宽为R_i＝D_i-W_i，设任务接收数据传输服务器集合为S＝{T_i|i∈[1，n]}；

步骤202，在集合S中找出剩余带宽最少的一台数据传输服务器记为Tj，任务从T_j获取数据速率为V_j：T_j＝T_i(min{R_i|Ti∈S})；

步骤203，得出当前任务需要削减的带宽ΔV＝U-V，若ΔV＜V_j，则转向步骤S204，否则转向步骤S205；

步骤204，令V_j＝V_j-ΔV，即将该任务对数据传输服务器的传输速度下调ΔV，转向步骤S206；

步骤205，令ΔV＝ΔV-V_j，且S＝S-T_j，即撤销该数据传输服务器为该任务的数据来源，且削减带宽减少该数据传输服务器对该任务的传输速率贡献，若此时ΔV≤0则转向步骤S206，否则重新转向步骤S202；

步骤206，设置该任务带宽上限为U，结束流程L＝U。

S105，数据分发协作服务器将创建任务指令发送到该任务指定带宽控制服务器；

具体应用实例中，该带宽控制服务器将按以下方法选择数据传输服务器进行数据传输：数据接收协调单元选择3台分发带宽占用最少的数据传输服务器(不足则全部使用)，数据分片单元将数据进行分片，数据传输单元依照S102所计算的任务占用带宽进行数据并行传输。若3台数据传输服务器无法保障预定带宽资源，则进行分发任务带宽动态调整流程进行调整。

S106，带宽控制服务器完成数据传输后，向数据分发协作服务器发送任务完成指令；

S107，数据分发协作服务器接收到任务完成指令后，修改该任务状态为已完成，并依据S102重新计算正在运行各分发任务占用带宽；

S108，数据分发协作服务器向负责各分发任务的带宽控制服务器发送任务带宽调整指令；

S109，带宽控制服务器接收到任务带宽调整指令后，重新调整属于该客户服务器的分发任务的带宽。

优选的，数据分发协作服务器将定时(每隔10秒钟)对当前带宽占用资源信息进行统计，若带宽资源利用率不足带宽资源总量的70％，且当前没有新建分发任务请求，则重新划分当前所有任务带宽资源，并通知所有带宽控制服务器调整其负责的分发任务的传输速率从而实现对带宽的有效利用。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种面向任务级的大数据分发质量保障方法，其特征在于，包括以下步骤：

步骤1，数据分发协作服务器处理创建分发任务请求，创建该任务并获取其优先级参数，其中优先级包含高、中、低三个等级；

步骤2，数据分发协作服务器依据当前正在运行的分发任务对聚合带宽进行划分调整；

步骤3，得出每个任务调整后分配的带宽，数据分发协作服务器将对任务的带宽调整指令转发至负责该分发任务的带宽控制服务器；

步骤4，带宽控制服务器接收任务带宽调整命令后，调整该任务数据接收速率至命令要求的设置带宽；

步骤5，数据分发协作服务器将创建任务指令发送到该任务指定带宽控制服务器；

步骤6，带宽控制服务器完成数据传输后，向数据分发协作服务器发送任务完成指令；

步骤7，数据分发协作服务器接收到任务完成指令后，修改该任务状态为已完成，并依据步骤2重新计算正在运行各分发任务占用带宽；

步骤8，数据分发协作服务器向负责各分发任务的带宽控制服务器发送任务带宽调整指令；

步骤9，带宽控制服务器接收到任务带宽调整指令后，重新调整属于该客户服务器的分发任务的带宽。

2.根据权利要求1所述的一种面向任务级的大数据分发质量保障方法，其特征在于，步骤2中，数据分发协作服务器将定时对当前带宽占用资源信息进行统计，若带宽资源利用率不足带宽资源总量的70％，且当前没有新建分发任务请求，则重新划分当前所有任务带宽资源，并通知所有带宽控制服务器调整其负责的分发任务的传输速率。

3.根据权利要求1所述的一种面向任务级的大数据分发质量保障方法，其特征在于，所述步骤2中具体的划分调整方法如下：

设当前聚合带宽为D_total，高优先级任务带宽分配为D_high，中优先级任务带宽分配为D_mid，低优先级任务分配带宽为D_low，则满足以下关系：

D_total＝D_high+D_mid+D_low其中D_total，D_high，D_mid，D_low∈N，

设当前高优先级任务数目为N_high，中优先级任务数目为N_mid，低优先级任务数目为N_low，则各优先级任务所分配带宽满足以下关系：

D_high＝N_high×T_high

D_mid＝N_mid×T_mid

D_low＝N_low×T_low

高优先级、中优先级及低优先级任务分配带宽满足以下比例关系：

T_high∶T_mid∶T_low＝P_high∶P_mid∶P_low

其中P_high＝4，P_mid＝2，P_low＝1，T_high为每个高优先级任务的分配带宽，T_mid为每个中优先级任务的分配带宽，T_low为每个的低优先级任务的分配带宽，

由以上所述关系可得高、中、低优先级任务所分配带宽分别如下：

$T_{\mathrm{high}}=\frac{P_{\mathrm{high}}{D}_{\mathrm{total}}}{N_{\mathrm{high}}{P}_{\mathrm{high}}+N_{\mathrm{mid}}{P}_{\mathrm{mid}}+N_{\mathrm{low}}{P}_{\mathrm{low}}}$

$T_{\mathrm{mid}}=\frac{P_{\mathrm{mid}}{D}_{\mathrm{total}}}{N_{\mathrm{high}}{P}_{\mathrm{high}}+N_{\mathrm{mid}}{P}_{\mathrm{mid}}+N_{\mathrm{low}}{P}_{\mathrm{low}}}$

$T_{\mathrm{low}}=\frac{P_{\mathrm{low}}{D}_{\mathrm{total}}}{N_{\mathrm{high}}{P}_{\mathrm{high}}+N_{\mathrm{mid}}{P}_{\mathrm{mid}}+N_{\mathrm{low}}{P}_{\mathrm{low}}}.$

4.根据权利要求1所述的一种面向任务级的大数据分发质量保障方法，其特征在于，步骤4中调整该任务数据接收速率至命令要求的设置带宽具体为，若该任务当前传输任务实际传输速率小于等于设置带宽V，则仅设置该任务的带宽上限为V，对该任务不做任何调整措施，否则，削减任务占用带宽。

5.根据权利要求4所述的一种面向任务级的大数据分发质量保障方法，其特征在于，若该任务当前传输任务实际传输速率小于等于设置带宽V，则仅设置该任务的带宽上限为V，对该任务不做任何调整措施具体为，

设负责该分发任务的带宽控制服务器为C，该任务从n台数据传输服务器请求数据，其中n≥1，记为Ti其中i∈[1，n]，从每个数据传输服务器请求数据的传输速率记为Vi其中i∈[1，n]，因此该任务的数据传输速率为：

$V=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{V}_i$

每个任务都拥有其任务带宽上限，记为L，且满足以下关系：

V≤L

即每个任务的实际数据传输速率不得高于指定任务带宽上限；

设带宽控制服务器接收的数据分发协作协调服务器指定调整带宽为U，若V＝U，则仅将该任务带宽上限更新为U，此时L＝U，操作结束即可；

若V＜U，按以下步骤所述进行操作：

S301，设数据传输服务器Ti对外数据传输速率为Wi其中i∈[1，n]，Ti拥有对外带宽为Di其中i∈[1，n]，则计算Ti当前剩余带宽为R_i＝D_i-W_i，记分发任务所拥有的数据传输服务器集合S＝{T_i|i∈[1，n]}；

S302，计算该任务当前所有数据传输服务器的剩余带宽总和，记为R：

$R=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{D}_i-W_i$

S303，计算当前任务需要增加的带宽ΔV＝U-V，若ΔV＞R，则转向步骤S304，否则转向步骤S305；

S304，从全局剩余的数据传输服务器中寻找剩余带宽容量最大的一台数据传输服务器T_k，将其加入集合S，同时将其剩余带宽加入任务当前所有数据传输服务器的剩余带宽总和，即将该数据传输服务器作为任务添加数据来源的备选方案，

$T_k=T_i\left(\max \right\{R_i|T_i\∉S\})$

S＝S∪{T_k}

若分发任务当前所拥有的数据传输服务器的剩余带宽总和R＞ΔV，则转向步骤305，否则重新转向步骤304；

S305，在集合S中找出剩余带宽最多的一台数据传输服务器记为T_j，分发任务从T_j获取数据速率为V_j：

T_j＝T_i(max{(D_i-W_i|T_i∈S)})

S306，令ΔV＝ΔV-V_j，且S＝S-T_j，即选择数据传输服务器T_j作为传输速率增量服务器，且增加该数据传输服务器对该任务的传输速率贡献，若此时ΔV≤0则转向步骤S307，否则重新转向步骤S305；

S307，设置该任务带宽上限为U，此时L＝U，结束流程。

6.根据权利要求4所述的一种面向任务级的大数据分发质量保障方法，其特征在于，削减任务占用带宽具体步骤为，

步骤201，设数据传输服务器T_i对外数据传输速率为Wi其中i∈[1，n]，T_i拥有对外带宽为Di其中i∈[1，n]，则计算T_i当前剩余带宽为R_i＝D_i-W_i，设任务接收数据传输服务器集合为S＝{T_i|i∈[1，n]}；

步骤202，在集合S中找出剩余带宽最少的一台数据传输服务器记为T_j，任务从T_j获取数据速率为V_j：T_j＝T_i(min{R_i|Ti∈S})；

步骤203，得出当前任务需要削减的带宽ΔV＝U-V，若ΔV＜V_j，则转向步骤S204，否则转向步骤S205；

步骤204，令V_j＝V_j-ΔV，即将该任务对数据传输服务器的传输速度下调ΔV，转向步骤S206；

步骤205，令ΔV＝ΔV-V_j，且S＝S-T_j，即撤销该数据传输服务器为该任务的数据来源，且削减带宽减少该数据传输服务器对该任务的传输速率贡献，若此时ΔV≤0则转向步骤S206，否则重新转向步骤S202；

步骤206，设置该任务带宽上限为U，结束流程L＝U。

7.一种面向任务级的大数据分发质量保障装置，其特征在于，包括一台数据分发协作服务器、若干数据传输服务器及若干带宽控制服务器，以上服务器均采用万兆以太网链路连接，使用万兆交换机直连，

所述数据分发协作服务器包括分发任务管理单元和分发任务协作单元，所述分发任务管理单元用于接收外界创建或撤销分发任务请求，维护分发任务元数据；所述分发任务协作单元负责分发任务的质量保障服务，协调不同优先级任务间的带宽资源占用比例；

所述数据传输服务器用于对外提供数据传输服务，数据传输服务采用拉模式，由带宽控制服务器发起分发请求，从数据传输服务器端抓取数据，每个数据传输服务器维护相同的数据目录，从而为数据分发接收服务器提供并行传输保障，数据传输服务器发布数据服务可采用ftp、http、sftp等文件访问协议；

所述带宽控制服务器包括数据分片单元、数据传输单元和数据接收调度单元，所述数据分片单元负责接收数据分块从而实现并行传输，所述数据传输单元负责具体数据传输协议的接收任务及数据接收速率的调整，所述数据接收调度单元负责选择数据传输服务器及响应数据分发协作服务器下达的指令。

Images