CN103118134B - 一种面向任务级的大数据分发质量保障方法及装置 - Google Patents
一种面向任务级的大数据分发质量保障方法及装置 Download PDFInfo
- Publication number
- CN103118134B CN103118134B CN201310062994.5A CN201310062994A CN103118134B CN 103118134 B CN103118134 B CN 103118134B CN 201310062994 A CN201310062994 A CN 201310062994A CN 103118134 B CN103118134 B CN 103118134B
- Authority
- CN
- China
- Prior art keywords
- bandwidth
- task
- data
- server
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000005540 biological transmission Effects 0.000 claims abstract description 55
- 230000008569 process Effects 0.000 claims abstract description 11
- 238000012546 transfer Methods 0.000 claims description 95
- 238000009826 distribution Methods 0.000 claims description 26
- 238000000275 quality assurance Methods 0.000 claims description 15
- 238000013467 fragmentation Methods 0.000 claims description 7
- 238000006062 fragmentation reaction Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 3
- 230000003750 conditioning effect Effects 0.000 abstract description 3
- 238000013468 resource allocation Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明实施例公开了一种面向任务级的大数据分发质量保障方法及装置,其中方法实例中,包括以下步骤:数据分发协作服务器处理创建分发任务请求;依据当前正在运行的分发任务对聚合带宽进行划分调整;将对所述分发任务的带宽调整指令转发至负责所述分发任务的带宽控制服务器;调整所述分发任务数据接收速率至命令要求的设置带宽;将创建任务指令发送到所述分发任务指定带宽控制服务器;向数据分发协作服务器发送任务完成指令;修改该任务状态为已完成,并依据重新计算正在运行各分发任务占用带宽。本发明能够在网络上分发大数据时定制和分配不同优先级分发任务的带宽资源分配,同时具备动态调整的能力,保障分发任务的带宽资源和传输速度。
Description
技术领域
本发明属于网络数据传输服务质量保障技术领域,特别地涉及一种面向任务级的大数据分发质量保障方法及装置。
背景技术
随着媒体信息的不断丰富,作为保存信息内容媒介的数字文件也在快速膨胀。面向频繁的用户文件交换需求,计算机网络已经成为了文件传输的主要途径。在海量大数据传输的计算机网络中,由于传统计算机网络尽力而为的服务机制,容易导致以下问题的发生:
丢失数据包:当数据包到达一个缓冲区(buffer)已满的路由器时,则代表此次的发送失败,路由器会依据网络的状况决定是否丢弃一部份或者是所有的数据包,接收端的应用程序必须请求重新传送,可能造成总体传输严重的延迟;
延迟:不可预料数据包传送到终点的耗时,因为数据包会被路由缓存队列迟滞,或需要运用间接路由以避免阻塞;
传输顺序出错:当一组相关的数据包路由经过因特网时,不同的数据包可能选择不同的路由器,这会导致每个数据包有不同的延迟时间。最后数据包到达目的地的顺序会和数据包从发送端发送出去的顺序不一致,这个问题必须要有特殊额外的协议负责刷新失序的数据包;
出错:有些时候,数据包在被运送的途中会发生跑错路径、被合并甚至是毁坏的情况,这时接收端必须能够侦测出这些情况,并将它们判别为已遗失的数据包,再请求发送端再送一份同样的数据包。
由于以上情况的频繁发生,数据接收端的数据接收速率往往无法得到保障,且由于不同接收端之间的恶性竞争,有可能导致某些接收端的带宽资源被抢占。在专用大数据分发系统中,需要保证用户提交分发任务的数据分发速率,从而保证分发服务的有效性和可靠性。服务质量保障技术是解决上述问题的途径之一。
服务质量(Quality of Service,QoS)是网络的一种安全机制,是用来解决网络延迟和阻塞等问题的一种技术。在正常情况下,如果网络只用于特定的无时间限制的应用系统,并不需要QoS,比如Web应用,或E-mail设置等。但是对多媒体和大数据传输应用就十分必要。当网络过载或拥塞时,QoS能确保重要业务量不受延迟或丢弃,同时保证网络的高效运行。
传统服务质量保障技术采用与硬件绑定的形式,将QoS功能植入路由器等硬件设施,通过IP(Internet Protocol,网络之间互连的协议)绑定带宽的形式进行质量保证服务。随着宽带网络的发展和应用的增长,传统服务质量保障技术存在较大的局限性,包括仅提供物理地址级别服务而无法针对应用任务级别服务,无法动态调整带宽的占用、无法保障带宽利用的优化。同时传统服务质量保障技术高度依赖人工参与,因此在人力成本和扩展性上都存在缺陷。
发明内容
为解决上述问题,本发明的目的在于针对传统服务质量保障技术无法实现面向任务级别的数据分发应用需求的带宽资源保障和动态调整能力,提供一种能实现预定数据接收端的分发带宽资源、选择数据传输端为接收端服务、数据接收端分发速率的动态调整的面向任务级别的大数据分发服务质量保障方法。
本发明的另一目的在于提供一种面向任务级别的大数据分发服务质量保障装置,该装置能够协调数据分发任务的分发速率。
为实现上述目的,本发明的技术方案为:
一种面向任务级的大数据分发质量保障方法,包括以下步骤:
步骤1,数据分发协作服务器处理创建分发任务请求,创建所述任务并获取其优先级参数,其中优先级包含高、中、低三个等级;
步骤2,数据分发协作服务器依据当前正在运行的所述分发任务对聚合带宽进行划分调整;
步骤3,得出所述分发任务调整后分配的带宽,数据分发协作服务器将对任务的带宽调整指令转发至负责所述分发任务的带宽控制服务器;
步骤4,带宽控制服务器接收任务带宽调整命令后,调整所述分发任务数据接收速率至命令要求的设置带宽;
步骤5,数据分发协作服务器将创建任务指令发送到所述分发任务指定带宽控制服务器;
步骤6,带宽控制服务器完成数据传输后,向数据分发协作服务器发送任务完成指令;
步骤7,数据分发协作服务器接收到任务完成指令后,修改所述分发任务状态为已完成,并依据步骤2重新计算正在运行各所述分发任务占用带宽;
步骤8,数据分发协作服务器向负责各所述分发任务的带宽控制服务器发送任务带宽调整指令;
步骤9,带宽控制服务器接收到任务带宽调整指令后,重新调整所述分发任务的带宽。
优选地,步骤2中,数据分发协作服务器将定时对当前带宽占用资源信息进行统计,若带宽资源利用率不足带宽资源总量的70%,且当前没有新建分发任务请求,则重新划分当前所有任务带宽资源,并通知所有带宽控制服务器调整其负责的分发任务的传输速率。
优选地,所述步骤2中具体的划分调整方法如下:
设当前聚合带宽为Dtotal,高优先级任务带宽分配为Dhigh,中优先级任务带宽分配为Dmid,低优先级任务分配带宽为Dlow,则满足以下关系:
Dtotal=Dhigh+Dmid+Dlow其中Dtotal,Dhigh,Dmid,Dlow∈N,
设当前高优先级任务数目为Nhigh,中优先级任务数目为Nmid,低优先级任务数目为Nlow,则各优先级任务所分配带宽满足以下关系:
Dhigh=Nhigh×Thigh
Dmid=Nmid×Tmid
Dlow=Nlow×Tlow
高优先级、中优先级及低优先级任务分配带宽满足以下比例关系:
Thigh:Tmid:Tlow=Phigh:Pmid:Plow
其中Phigh=4,Pmid=2,Plow=1,Thigh为每个高优先级任务的分配带宽,Tmid为每个中优先级任务的分配带宽,Tlow为每个的低优先级任务的分配带宽,
由以上所述关系可得高、中、低优先级任务所分配带宽分别如下:
优选地,步骤4中调整该任务数据接收速率至命令要求的设置带宽具体为,若该任务当前传输任务实际传输速率小于等于设置带宽V,则仅设置该任务的带宽上限为V,对该任务不做任何调整措施,否则,削减任务占用带宽。
优选地,若该任务当前传输任务实际传输速率小于等于设置带宽V,则仅设置该任务的带宽上限为V,对该任务不做任何调整措施具体为,
设负责该分发任务的带宽控制服务器为C,该任务从n台数据传输服务器请求数据,其中n≥1,记为Ti其中i∈[1,n],从每个数据传输服务器请求数据的传输速率记为Vi其中i∈[1,n],因此该任务的数据传输速率为:
每个任务都拥有其任务带宽上限,记为L,且满足以下关系:
V≤L
即每个任务的实际数据传输速率不得高于指定任务带宽上限;
设带宽控制服务器接收的数据分发协作协调服务器指定调整带宽为U,若V=U,则仅将该任务带宽上限更新为U,此时L=U,操作结束即可;
若V<U,按以下步骤所述进行操作:
S301,设数据传输服务器Ti对外数据传输速率为Wi其中i∈[1,n],Ti拥有对外带宽为Di其中i∈[1,n],则计算Ti当前剩余带宽为Ri=Di-Wi,记分发任务所拥有的数据传输服务器集合S={Ti|i∈[1,n]};
S302,计算该任务当前所有数据传输服务器的剩余带宽总和,记为R:
S303,计算当前任务需要增加的带宽ΔV=U-V,若ΔV>R,则转向步骤S304,否则转向步骤S305;
S304,从全局剩余的数据传输服务器中寻找剩余带宽容量最大的一台数据传输服务器Tk,将其加入集合S,同时将其剩余带宽加入任务当前所有数据传输服务器的剩余带宽总和,即将该数据传输服务器作为任务添加数据来源的备选方案,
S=S∪{Tk}
若分发任务当前所拥有的数据传输服务器的剩余带宽总和R>ΔV,则转向步骤305,否则重新转向步骤304;
S305,在集合S中找出剩余带宽最多的一台数据传输服务器记为Tj,分发任务从Tj获取数据速率为Vj:
Tj=Ti(max{(Di-Wi|Ti∈S)})
S306,令ΔV=ΔV-Vj,且S=S-Tj,即选择数据传输服务器Tj作为传输速率增量服务器,且增加该数据传输服务器对该任务的传输速率贡献,若此时ΔV≤0则转向步骤S307,否则重新转向步骤S305;
S307,设置该任务带宽上限为U,此时L=U,结束流程。
优选地,削减任务占用带宽具体步骤为,
步骤201,设数据传输服务器Ti对外数据传输速率为Wi其中i∈[1,n],Ti拥有对外带宽为Di其中i∈[1,n],则计算Ti当前剩余带宽为Ri=Di-Wi,设任务接收数据传输服务器集合为S={Ti|i∈[1,n]};
步骤202,在集合S中找出剩余带宽最少的一台数据传输服务器记为Tj,任务从Tj获取数据速率为Vj:Tj=Ti(min{Ri|Ti∈S});
步骤203,得出当前任务需要削减的带宽ΔV=U-V,若ΔV<Vj,则转向步骤S204,否则转向步骤S205;
步骤204,令Vj=Vj-ΔV,即将该任务对数据传输服务器的传输速度下调ΔV,转向步骤S206;
步骤205,令ΔV=ΔV-Vj,且S=S-Tj,即撤销该数据传输服务器为该任务的数据来源,且削减带宽减少该数据传输服务器对该任务的传输速率贡献,若此时ΔV≤0则转向步骤S206,否则重新转向步骤S202;
步骤206,设置该任务带宽上限为U,结束流程L=U。
一种面向任务级的大数据分发质量保障装置,包括一台数据分发协作服务器、若干数据传输服务器及若干带宽控制服务器,以上服务器均采用万兆以太网链路连接,使用万兆交换机直连,
所述数据分发协作服务器包括分发任务管理单元和分发任务协作单元,所述分发任务管理单元用于接收外界创建或撤销分发任务请求,维护分发任务元数据;所述分发任务协作单元负责分发任务的质量保障服务,协调不同优先级任务间的带宽资源占用比例;
所述数据传输服务器用于对外提供数据传输服务,数据传输服务采用拉模式,由带宽控制服务器发起分发请求,从数据传输服务器端抓取数据,每个数据传输服务器维护相同的数据目录,从而为数据分发接收服务器提供并行传输保障,数据传输服务器发布数据服务可采用文件访问协议,文件协议的种类包括ftp、http、sftp协议;
所述带宽控制服务器包括数据分片单元、数据传输单元和数据接收调度单元,所述数据分片单元负责接收数据分块从而实现并行传输,所述数据传输单元负责具体数据传输协议的接收任务及数据接收速率的调整,所述数据接收调度单元负责选择数据传输服务器及响应数据分发协作服务器下达的指令。
与现有技术相比,本发明的有益效果如下:
(1)本发明实施例提供数据分发任务级别质量保障服务,相较于传统质量保障服务技术仅针对某台物理设备的服务而言控制粒度更加精细,更能满足当前数据分发业务的特定需求。
(2)本发明实施例根据新加入的任务或已完成的任务动态调整其余任务的分发速率,相较于现有技术依赖人为调整带宽资源提升了装置的自动性和灵活性,减少人工干预,有效的利用带宽资源。
附图说明
图1为本发明实施例的面向任务级的大数据分发质量保障装置的结构图;
图2为本发明实施例的面向任务级的大数据分发质量保障装置的系统架构图;
图3为本发明实施例的面向任务级的大数据分发质量保障方法的流程图;
图4为本发明实施例的面向任务级的大数据分发质量保障方法的分发任务带宽动态缩减流程图;
图5为本发明实施例的面向任务级的大数据分发质量保障方法的分发任务带宽动态增加流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
相反,本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步,为了使公众对本发明有更好的了解,在下文对本发明的细节描述中,详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。
参考图1与图2,所示为本发明实施例的面向任务级的大数据分发质量保障装置的系统部署图和系统架构图。如图1所示,包含一台数据分发协作服务器X1,N台数据传输服务器T1~Tm及M台带宽控制服务器C1~Cm(采用ftp协议作为数据传输协议),数据传输服务器均使用相同的数据目录。以上服务器均采用万兆以太网链路连接,使用万兆交换机直连,从而采用的是扁平的网络拓扑结构。数据分发协作服务器包括分发任务管理单元和分发任务协作单元,分发任务管理单元用于接收外界创建或撤销分发任务请求,维护分发任务元数据;分发任务协作单元负责分发任务的质量保障服务,协调不同优先级任务间的带宽资源占用比例;数据传输服务器用于对外提供数据传输服务,数据传输服务采用拉模式,由带宽控制服务器发起分发请求,从数据传输服务器端抓取数据,每个数据传输服务器维护相同的数据目录,从而为数据分发接收服务器提供并行传输保障,数据传输服务器发布数据服务可采用ftp、http、sftp等文件访问协议;带宽控制服务器包括数据分片单元、数据传输单元和数据接收调度单元,数据分片单元负责接收数据分块从而实现并行传输,数据传输单元负责具体数据传输协议的接收任务及数据接收速率的调整,数据接收调度单元负责选择数据传输服务器及响应数据分发协作服务器下达的指令。如图2所示,该装置采用三层架构:顶层数据分发协作服务器负责分发任务的分配调度和维护;底层数据传输服务器负责数据文件的存储和对外发布(采用ftp等传输协议);中层的带宽控制服务器肩负数据下载客户端职责,负责数据下载和带宽控制,该服务器从底层的数据传输服务器获得数据流,同时从上层的数据分发协作服务器接收分发控制指令,包括分发任务分配和下载速度调整等。
在以上装置的架构基础上,本发明实施例同时提供了一种面向任务级的大数据分发质量保障方法,参见图3,其包括以下步骤:
S101,数据分发协作服务器处理创建分发任务请求,创建该任务并获取其优先级参数,其中优先级包含高、中、低三个等级;
S102,数据分发协作服务器依据当前正在运行的分发任务对聚合带宽进行划分调整;
具体地,划分调整方法如下:
设当前总体带宽为Dtotal,高优先级任务带宽分配为Dhigh,中优先级任务带宽分配为Dmid,低优先级任务分配带宽为Dlow,则满足以下关系:
Dtotal=Dhigh+Dmid+Dlow
Dtotal,Dhigh,Dmid,Dlow∈N
设当前高优先级任务数目为Nhigh,中优先级任务数目为Nmid,低优先级任务数目为Nlow,则各优先级任务所分配带宽满足以下关系:
Dhigh=Nhigh×Thigh
Dmid=Nmid×Tmid
Dlow=Nlow×Tlow
高优先级、中优先级及低优先级任务分配带宽满足以下比例关系:
Thigh:Tmid:Tlow=Phigh:Pmid:Plow
其中Phigh=4,Pmid=2,Plow=1,Thigh为每个高优先级任务的分配带宽,Tmid为每个中优先级任务的分配带宽,Tlow为每个的低优先级任务的分配带宽。
由以上所述关系可得高、中、低优先级任务所分配带宽分别如下:
S103,得出每个任务调整后分配的带宽,数据分发协作服务器将对任务的带宽调整指令转发至负责该分发任务的带宽控制服务器;
S104,带宽控制服务器接收任务带宽调整命令后,调整该任务数据接收速率至命令要求的设置带宽,协调方式如下:若该任务当前传输任务实际传输速率小于等于设置带宽V,则仅设置该任务的带宽上限为V,对该任务不做任何调整措施,否则,削减任务占用带宽。
优选地,若该任务当前传输任务实际传输速率小于等于设置带宽V,则仅设置该任务的带宽上限为V,对该任务不做任何调整措施具体为,
设负责该分发任务的带宽控制服务器为C,该任务从n(n≥1)台数据传输服务器请求数据,记为Ti(i∈[1,n]),从每个数据传输服务器请求数据的传输速率记为Vi(i∈[1,n]),因此该任务的数据传输速率为:
每个任务都拥有其任务带宽上限,记为L,且满足以下关系:
V≤L
即每个任务的实际数据传输速率不得高于指定任务带宽上限;
设带宽控制服务器接收的数据分发协作协调服务器指定调整带宽为U,若V=U,则仅将该任务带宽上限更新为U,此时L=U,操作结束即可;
若V<U,按以下步骤所述进行操作:
S301,设数据传输服务器Ti对外数据传输速率为Wi(i∈[1,n]),Ti拥有对外带宽为Di(i∈[1,n]),则计算Ti当前剩余带宽为Ri=Di-Wi,记分发任务所拥有的数据传输服务器集合S={Ti|i∈[1,n]};
S302,计算该任务当前所有数据传输服务器的剩余带宽总和,记为R:
S303,计算当前任务需要增加的带宽ΔV=U-V,若ΔV>R,则转向步骤S304,否则转向步骤S305;
S304,从全局剩余的数据传输服务器中寻找剩余带宽容量最大的一台数据传输服务器Tk,将其加入集合S,同时将其剩余带宽加入任务当前所有数据传输服务器的剩余带宽总和,即将该数据传输服务器作为任务添加数据来源的备选方案,
S=S∪{Tk}
若分发任务当前所拥有的数据传输服务器的剩余带宽总和R>ΔV,则转向步骤305,否则重新转向步骤304;
S305,在集合S中找出剩余带宽最多的一台数据传输服务器记为Tj,分发任务从Tj获取数据速率为Vj:
Tj=Ti(max{(Di-Wi|Ti∈S)})
S306,令ΔV=ΔV-Vj,且S=S-Tj,即选择数据传输服务器Tj作为传输速率增量服务器,且增加该数据传输服务器对该任务的传输速率贡献,若此时ΔV≤0则转向步骤S307,否则重新转向步骤S305;
S307,设置该任务带宽上限为U(L=U),结束流程。
优选地,参见图削减任务占用带宽具体步骤为,
步骤201,设数据传输服务器Ti对外数据传输速率为Wi(i∈[1,n]),Ti拥有对外带宽为Di(i∈[1,n]),则计算Ti当前剩余带宽为Ri=Di-Wi,设任务接收数据传输服务器集合为S={Ti|i∈[1,n]};
步骤202,在集合S中找出剩余带宽最少的一台数据传输服务器记为Tj,任务从Tj获取数据速率为Vj:Tj=Ti(min{Ri|Ti∈S});
步骤203,得出当前任务需要削减的带宽ΔV=U-V,若ΔV<Vj,则转向步骤S204,否则转向步骤S205;
步骤204,令Vj=Vj-ΔV,即将该任务对数据传输服务器的传输速度下调ΔV,转向步骤S206;
步骤205,令ΔV=ΔV-Vj,且S=S-Tj,即撤销该数据传输服务器为该任务的数据来源,且削减带宽减少该数据传输服务器对该任务的传输速率贡献,若此时ΔV≤0则转向步骤S206,否则重新转向步骤S202;
步骤206,设置该任务带宽上限为U,结束流程L=U。
S105,数据分发协作服务器将创建任务指令发送到该任务指定带宽控制服务器;
具体应用实例中,该带宽控制服务器将按以下方法选择数据传输服务器进行数据传输:数据接收协调单元选择3台分发带宽占用最少的数据传输服务器(不足则全部使用),数据分片单元将数据进行分片,数据传输单元依照S102所计算的任务占用带宽进行数据并行传输。若3台数据传输服务器无法保障预定带宽资源,则进行分发任务带宽动态调整流程进行调整。
S106,带宽控制服务器完成数据传输后,向数据分发协作服务器发送任务完成指令;
S107,数据分发协作服务器接收到任务完成指令后,修改该任务状态为已完成,并依据S102重新计算正在运行各分发任务占用带宽;
S108,数据分发协作服务器向负责各分发任务的带宽控制服务器发送任务带宽调整指令;
S109,带宽控制服务器接收到任务带宽调整指令后,重新调整属于该客户服务器的分发任务的带宽。
优选的,数据分发协作服务器将定时(每隔10秒钟)对当前带宽占用资源信息进行统计,若带宽资源利用率不足带宽资源总量的70%,且当前没有新建分发任务请求,则重新划分当前所有任务带宽资源,并通知所有带宽控制服务器调整其负责的分发任务的传输速率从而实现对带宽的有效利用。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种面向任务级的大数据分发质量保障方法,其特征在于,包括以下步骤:
步骤1,数据分发协作服务器处理创建分发任务请求,创建分发任务并获取其优先级参数,其中优先级包含高、中、低三个等级;
步骤2,数据分发协作服务器依据当前正在运行的分发任务对聚合带宽进行划分调整;
步骤3,得出所述分发任务调整后分配的带宽,数据分发协作服务器将对任务的带宽调整指令转发至负责所述分发任务的带宽控制服务器;
步骤4,带宽控制服务器接收任务带宽调整命令后,调整所述分发任务数据接收速率至命令要求的设置带宽;
步骤5,数据分发协作服务器将创建任务指令发送到所述分发任务指定带宽控制服务器;
步骤6,带宽控制服务器完成数据传输后,向数据分发协作服务器发送任务完成指令;
步骤7,数据分发协作服务器接收到任务完成指令后,修改该任务状态为已完成,并依据步骤2重新计算正在运行各分发任务占用带宽;
步骤8,数据分发协作服务器向负责各分发任务的带宽控制服务器发送任务带宽调整指令;
步骤9,带宽控制服务器接收到任务带宽调整指令后,重新调整分发任务的带宽。
2.根据权利要求1所述的一种面向任务级的大数据分发质量保障方法,其特征在于,步骤2中,数据分发协作服务器将定时对当前带宽占用资源信息进行统计,若带宽资源利用率不足带宽资源总量的70%,且当前没有新建分发任务请求,则重新划分当前所有任务带宽资源,并通知所有带宽控制服务器调整其负责的分发任务的传输速率。
3.根据权利要求1所述的一种面向任务级的大数据分发质量保障方法,其特征在于,所述步骤2中具体的划分调整方法如下:
设当前聚合带宽为Dtotal,高优先级任务带宽分配为Dhigh,中优先级任务带宽分配为Dmid,低优先级任务分配带宽为Dlow,则满足以下关系:
Dtotal=Dhigh+Dmid+Dlow其中Dtotal,Dhigh,Dmid,Dlow∈N,
设当前高优先级任务数目为Nhigh,中优先级任务数目为Nmid,低优先级任务数目为Nlow,则各优先级任务所分配带宽满足以下关系:
Dhigh=Nhigh×Thigh
Dmid=Nmid×Tmid
Dlow=Nlow×Tlow
高优先级、中优先级及低优先级任务分配带宽满足以下比例关系:
Thigh:Tmid:Tlow=Phigh:Pmid:Plow
其中Phigh=4,Pmid=2,Plow=1,Thigh为每个高优先级任务的分配带宽,Tmid为每个中优先级任务的分配带宽,Tlow为每个的低优先级任务的分配带宽,
由以上所述关系可得高、中、低优先级任务所分配带宽分别如下:
4.根据权利要求1所述的一种面向任务级的大数据分发质量保障方法,其特征在于,步骤4中调整该任务数据接收速率至命令要求的设置带宽具体为,若该任务当前传输任务实际传输速率小于等于设置带宽V,则仅设置该任务的带宽上限为V,对该任务不做任何调整措施,否则,削减任务占用带宽。
5.根据权利要求4所述的一种面向任务级的大数据分发质量保障方法,其特征在于,若该任务当前传输任务实际传输速率小于等于设置带宽V,则仅设置该任务的带宽上限为V,对该任务不做任何调整措施具体为,
设负责该分发任务的带宽控制服务器为C,该任务从n台数据传输服务器请求数据,其中n≥1,记为Ti其中i∈[1,n],从每个数据传输服务器请求数据的传输速率记为Vi其中i∈[1,n],因此该任务的数据传输速率为:
每个任务都拥有其任务带宽上限,记为L,且满足以下关系:
V≤L
即每个任务的实际数据传输速率不得高于指定任务带宽上限;
设带宽控制服务器接收的数据分发协作协调服务器指定调整带宽为U,若V=U,则仅将该任务带宽上限更新为U,此时L=U,操作结束即可;
若V<U,按以下步骤所述进行操作:
S301,设数据传输服务器Ti对外数据传输速率为Wi其中i∈[1,n],Ti拥有对外带宽为Di其中i∈[1,n],则计算Ti当前剩余带宽为Ri=Di-Wi,记分发任务所拥有的数据传输服务器集合S={Ti|i∈[1,n]};
S302,计算该任务当前所有数据传输服务器的剩余带宽总和,记为R:
S303,计算当前任务需要增加的带宽△V=U-V,若△V>R,则转向步骤S304,否则转向步骤S305;
S304,从全局剩余的数据传输服务器中寻找剩余带宽容量最大的一台数据传输服务器Tk,将其加入集合S,同时将其剩余带宽加入任务当前所有数据传输服务器的剩余带宽总和,即将该数据传输服务器作为任务添加数据来源的备选方案,
S=S∪{Tk}
若分发任务当前所拥有的数据传输服务器的剩余带宽总和R>△V,则转向步骤305,否则重新转向步骤304;
S305,在集合S中找出剩余带宽最多的一台数据传输服务器记为Tj,分发任务从Tj获取数据速率为Vj:
Tj=Ti(max{(Di-Wi|Ti∈S)})
S306,令△V=△V-Vj,且S=S-Tj,即选择数据传输服务器Tj作为传输速率增量服务器,且增加该数据传输服务器对该任务的传输速率贡献,若此时△V≤0则转向步骤S307,否则重新转向步骤S305;
S307,设置该任务带宽上限为U,此时L=U,结束流程。
6.根据权利要求4所述的一种面向任务级的大数据分发质量保障方法,其特征在于,削减任务占用带宽具体步骤为,
步骤201,设数据传输服务器Ti对外数据传输速率为Wi其中i∈[1,n],Ti拥有对外带宽为Di其中i∈[1,n],则计算Ti当前剩余带宽为Ri=Di-Wi,设任务接收数据传输服务器集合为S={Ti|i∈[1,n]};
步骤202,在集合S中找出剩余带宽最少的一台数据传输服务器记为Tj,任务从Tj获取数据速率为Vj:Tj=Ti(min{Ri|Ti∈S});
步骤203,得出当前任务需要削减的带宽△V=U-V,若△V<Vj,则转向步骤S204,否则转向步骤S205;
步骤204,令Vj=Vj-△V,即将该任务对数据传输服务器的传输速度下调△V,转向步骤S206;
步骤205,令△V=△V-Vj,且S=S-Tj,即撤销该数据传输服务器为该任务的数据来源,且削减带宽减少该数据传输服务器对该任务的传输速率贡献,若此时△V≤0则转向步骤S206,否则重新转向步骤S202;
步骤206,设置该任务带宽上限为U,结束流程L=U。
7.一种面向任务级的大数据分发质量保障装置,其特征在于,包括一台数据分发协作服务器、若干数据传输服务器及若干带宽控制服务器,以上服务器均采用万兆以太网链路连接,使用万兆交换机直连,
所述数据分发协作服务器包括分发任务管理单元和分发任务协作单元,所述分发任务管理单元用于接收外界创建或撤销分发任务请求,维护分发任务元数据;所述分发任务协作单元负责分发任务的质量保障服务,协调不同优先级任务间的带宽资源占用比例;
所述数据传输服务器用于对外提供数据传输服务,数据传输服务采用拉模式,由带宽控制服务器发起分发请求,从数据传输服务器端抓取数据,每个数据传输服务器维护相同的数据目录,从而为数据分发接收服务器提供并行传输保障,数据传输服务器发布数据服务可采用文件访问协议,文件协议的种类包括ftp、http、sftp协议;
所述带宽控制服务器包括数据分片单元、数据传输单元和数据接收调度单元,所述数据分片单元负责接收数据分块从而实现并行传输,所述数据传输单元负责具体数据传输协议的接收任务及数据接收速率的调整,所述数据接收调度单元负责选择数据传输服务器及响应数据分发协作服务器下达的指令。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310062994.5A CN103118134B (zh) | 2013-02-28 | 2013-02-28 | 一种面向任务级的大数据分发质量保障方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310062994.5A CN103118134B (zh) | 2013-02-28 | 2013-02-28 | 一种面向任务级的大数据分发质量保障方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103118134A CN103118134A (zh) | 2013-05-22 |
CN103118134B true CN103118134B (zh) | 2015-09-02 |
Family
ID=48416404
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310062994.5A Active CN103118134B (zh) | 2013-02-28 | 2013-02-28 | 一种面向任务级的大数据分发质量保障方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103118134B (zh) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103336720B (zh) * | 2013-06-17 | 2016-07-06 | 湖南大学 | 一种基于slurm的具有数据依赖关系的作业执行方法 |
CN103414756B (zh) * | 2013-07-18 | 2016-08-24 | 华为技术有限公司 | 一种任务分发方法、分发节点及系统 |
CN104468697B (zh) * | 2014-10-10 | 2018-05-04 | 浙江广播电视集团 | 一种电台数据传输负载分配方法 |
CN104639466B (zh) * | 2015-03-05 | 2018-04-10 | 北京航空航天大学 | 一种基于Storm实时流计算框架的应用网络带宽动态优先级保障方法 |
CN105227488B (zh) * | 2015-08-25 | 2018-05-08 | 上海交通大学 | 一种用于分布式计算机平台的网络流组调度方法 |
CN107979476B (zh) * | 2016-10-21 | 2020-11-27 | 中国电信股份有限公司 | 带宽分配方法和装置 |
CN106648674A (zh) * | 2016-12-28 | 2017-05-10 | 北京奇艺世纪科技有限公司 | 一种大数据计算管理方法及系统 |
CN110086724B (zh) | 2018-01-26 | 2020-11-27 | 北京金山云网络技术有限公司 | 带宽调整方法、装置、电子设备及计算机可读存储介质 |
CN108901073B (zh) * | 2018-05-24 | 2021-08-17 | 电子科技大学 | 一种面向任务的低功耗无线网络的可靠信道分配方法 |
CN109164758B (zh) * | 2018-09-13 | 2021-03-02 | 泉州市信贵机械设备有限公司 | 基于物联网的智能数控机床控制方法及系统 |
CN110868461B (zh) * | 2019-11-05 | 2020-10-27 | 北京理工大学 | 一种Gaia集群中面向节点间异构带宽的数据分发方法 |
CN113285891B (zh) * | 2020-02-20 | 2022-10-28 | 瑞昱半导体股份有限公司 | 用于过载式网络交换的带宽分配装置与相关网络交换装置 |
CN111447100B (zh) * | 2020-02-26 | 2023-06-06 | 平安科技(深圳)有限公司 | 用户带宽控制方法、装置、计算机设备及存储介质 |
CN111711582B (zh) * | 2020-06-16 | 2023-09-26 | 北京百度网讯科技有限公司 | 基于机房系统的传输机处理方法、系统和存储介质 |
CN111698024B (zh) * | 2020-06-22 | 2022-05-06 | 泰州市柯普尼通讯设备有限公司 | 船舶卫星vsat视频带宽分配信息传输系统及方法 |
CN113965465A (zh) * | 2020-06-29 | 2022-01-21 | 中兴通讯股份有限公司 | 一种带宽控制方法、装置、设备和存储介质 |
CN112200979A (zh) * | 2020-09-28 | 2021-01-08 | 深圳市智莱科技股份有限公司 | 网络共享方法、快递柜及可读存储介质 |
CN114039855B (zh) * | 2021-11-04 | 2024-05-14 | 中国通信建设第三工程局有限公司 | 一种基于大数据的网络下载速度自动调整系统及方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1076275A2 (en) * | 1999-08-12 | 2001-02-14 | Rockwell Technologies, LLC | Distributed real-time operating system |
CN1484403A (zh) * | 2002-09-20 | 2004-03-24 | 华为技术有限公司 | 网络系统中内容分发的方法 |
CN101212269A (zh) * | 2007-12-20 | 2008-07-02 | 深圳市同洲电子股份有限公司 | 一种基于单向网络的信息推送、接收方法与装置 |
-
2013
- 2013-02-28 CN CN201310062994.5A patent/CN103118134B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1076275A2 (en) * | 1999-08-12 | 2001-02-14 | Rockwell Technologies, LLC | Distributed real-time operating system |
CN1484403A (zh) * | 2002-09-20 | 2004-03-24 | 华为技术有限公司 | 网络系统中内容分发的方法 |
CN101212269A (zh) * | 2007-12-20 | 2008-07-02 | 深圳市同洲电子股份有限公司 | 一种基于单向网络的信息推送、接收方法与装置 |
Non-Patent Citations (1)
Title |
---|
傅饶,蒲静,陈华月.面向CDN网络的高效海量数据分发机制研究.《计算机工程与应用》.2010,第126-128页. * |
Also Published As
Publication number | Publication date |
---|---|
CN103118134A (zh) | 2013-05-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103118134B (zh) | 一种面向任务级的大数据分发质量保障方法及装置 | |
TW201145040A (en) | System and method for providing quality of service in wide area messaging fabric | |
RU2019103093A (ru) | Способы и системы динамического управления направлением трафика на основе политик по нескольким сетям доступа | |
US9043468B2 (en) | Method and arrangement for network resource management | |
CN101789895B (zh) | 一种发送/接收数据报文的方法及装置 | |
CN109040865A (zh) | 一种卫星光突发交换冲突消解调度实现系统及方法 | |
CN106789661B (zh) | 一种信息转发方法及天基信息网络系统 | |
JP2023500143A (ja) | サービストラフィック調整方法及び装置 | |
CN109495593A (zh) | 地址分配方法及系统 | |
De Rango et al. | DTN architecture with resource-aware rate adaptation for multiple bundle transmission in interplanetary networks | |
CN113556295B (zh) | 一种基于发布/订阅模式的时间敏感网络增量调度方法 | |
Huang et al. | Load balancing strategy and its lookup-table enhancement in deterministic space delay/disruption tolerant networks | |
Farrell | Endpoint discovery and contact graph routing in space and terrestrial DTNs | |
CN105187518A (zh) | 一种cdn内容分发方法及系统 | |
US8218474B2 (en) | Bandwidth allocation in satellite communication networks | |
Bocquillon et al. | Data transfer in delay-tolerant networks | |
Chaitanya et al. | A new queuing technique in adaptive multipath routing for congestion control with packet priority in wired data networks | |
Chisci et al. | Multi-terminal dynamic bandwidth allocation in GEO Satellite Networks | |
US20080107127A1 (en) | Aggregation of Inter-Domain Resource Signaling | |
CN103685069B (zh) | 一种跨板流量控制方法、系统及调度器、线路板和路由器 | |
CN102668470A (zh) | 用于在通信网络中分配通信管道的方法和分配单元 | |
Alkandari et al. | A hybrid resource allocation approach for 5G IOT applications | |
CN117811997A (zh) | 基于同向并包策略的最优化全流量协同调度方法及系统 | |
Chang et al. | Intelligent routing for global broadband satellite internet | |
Zou et al. | Performance evaluation of subflow capable SCTP |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |