CN106034153A - 带宽资源分配方法、数据传输方法、装置及系统 - Google Patents

带宽资源分配方法、数据传输方法、装置及系统 Download PDF

Info

Publication number
CN106034153A
CN106034153A CN201510113350.3A CN201510113350A CN106034153A CN 106034153 A CN106034153 A CN 106034153A CN 201510113350 A CN201510113350 A CN 201510113350A CN 106034153 A CN106034153 A CN 106034153A
Authority
CN
China
Prior art keywords
bandwidth resources
bandwidth
unit
business unit
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510113350.3A
Other languages
English (en)
Other versions
CN106034153B (zh
Inventor
何乐
徐凯
尹小明
罗李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201510113350.3A priority Critical patent/CN106034153B/zh
Publication of CN106034153A publication Critical patent/CN106034153A/zh
Application granted granted Critical
Publication of CN106034153B publication Critical patent/CN106034153B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本申请提供了带宽资源分配、数据传输方法、装置及系统,其中带宽资源分配方法应用于数据处理系统中的服务器,且服务器与每个业务单元相连,其中一种带宽资源分配方法包括:响应于所有业务单元发送带宽资源请求,在所有带宽资源请求指示的多个数据传输方向中选择一个数据传输方向作为目标数据传输方向;将所有业务单元在所述目标数据传输方向上已使用的带宽资源的和值,确定为第一带宽资源总和;判断所述第一带宽资源总和是否小于预设带宽阈值;如果是,则为目标业务单元分配带宽资源。本申请服务器能够站在全局角度,合理地为目标业务单元合理分配的带宽资源,以便目标业务单元能够利用分配的带宽资源高效进行数据传输。

Description

带宽资源分配方法、数据传输方法、装置及系统
技术领域
本申请涉及计算机技术领域,尤其涉及带宽资源分配、数据传输方法、装置及系统。
背景技术
一个支持跨地域的大型分布式数据处理系统,其内的数据量是巨大的,这些数据可能位于不同地域的数个集群内。如图1所示为一个数据处理系统,该系统包括集群A、集群B和集群C,每个集群的数据分为三个层级:商业数据层、中间数据层和原始数据层。
数据处理系统中不同集群之间的数据存在依赖关系,且同一集群中不同层次上的数据也存在依赖关系,为了避免集群之间跨地域远程访问所依赖的数据,需将存在依赖关系的数据复制到不同地域的集群上。例如:集群B和集群C对集群A的数据存在依赖关系,为了避免集群B和集群C跨地域远程访问集群A的数据,将集群A的数据复制到集群B和集群C上。
由于数据处理系统中集群间的带宽资源有限,因此如何在各个集群间合理分配带宽资源,以便高效利用有限带宽资源传输数据,是现在需要解决的问题。
发明内容
本申请提供了一种带宽资源分配、数据传输方法、装置及系统,本申请能够在集群间合理分配带宽资源,以有效利用有限带宽资源高效传输数据。
为了解决上述问题,本申请提供下述技术手段:
一种带宽资源分配方法,应用于数据处理系统中的服务器,所述数据处理系统还包括多个集群,每个集群包含至少一个业务单元,所述服务器与多个集群中每个业务单元相连;所述方法包括:
响应于所有业务单元发送带宽资源请求,在所有带宽资源请求指示的多个数据传输方向中选择一个数据传输方向作为目标数据传输方向;其中,所述带宽资源请求中包含数据传输方向;
将所有业务单元在所述目标数据传输方向上已使用的带宽资源的和值,确定为第一带宽资源总和;
判断所述第一带宽资源总和是否小于预设带宽阈值;其中,所述预设带宽阈值为:所述目标数据传输方向上所有业务单元所能使用的最高带宽阈值;
如果是,则为目标业务单元分配带宽资源;所述目标业务单元为:包括所述目标数据传输方向的带宽资源请求所对应的业务单元。
本申请还提供了一种数据传输方法,应用于数据处理系统中的任意一个业务单元,所述数据处理系统还包括多个集群及服务器,每个集群包含至少一个业务单元,所述服务器与每个集群中每个业务单元相连;所述方法包括:
在与其它业务单元进行数据传输之前,任意一个当前业务单元向所述服务器发送带宽资源请求;
接收所述服务器按照上述带宽资源分配方法的方式分配的带宽资源;
利用所述分配的带宽资源与其它业务单元进行数据传输。
本申请提供一种带宽资源分配装置,应用于数据处理系统中的服务器,所述数据处理系统还包括多个集群,每个集群包含至少一个业务单元,所述服务器与多个集群中每个业务单元相连;所述装置包括:
选择单元,用于响应于所有业务单元发送带宽资源请求,在所有带宽资源请求指示的多个数据传输方向中选择一个数据传输方向作为目标数据传输方向;其中,所述带宽资源请求中包含数据传输方向;
第一确定单元,用于将所有业务单元在所述目标数据传输方向上已使用的带宽资源的和值,确定为第一带宽资源总和;
第一判断单元,用于判断所述第一带宽资源总和是否小于预设带宽阈值;其中,所述预设带宽阈值为:所述目标数据传输方向上所有业务单元所能使用的最高带宽阈值;
分配单元,用于在第一带宽资源总和小于预设带宽阈值情况下,为目标业务单元分配带宽资源;所述目标业务单元为:包括所述目标数据传输方向的带宽资源请求所对应的业务单元。
本申请提供一种数据传输装置,应用于数据处理系统中的任意一个业务单元,所述数据处理系统还包括多个集群及服务器,每个集群包含至少一个业务单元,所述服务器与每个集群中每个业务单元相连;所述装置包括:
发送单元,用于在与其它业务单元进行数据传输之前,任意一个当前业务单元向所述服务器发送带宽资源请求;
接收单元,用于接收所述服务器按照权利要求1的方式分配的带宽资源;
传输单元,用于利用所述分配的带宽资源与其它业务单元进行数据传输。
本申请提供一种数据处理系统,包括:
多个集群以及服务器,每个集群中包含至少一个业务单元,所述服务器与多个集群中每个业务单元相连;
所述服务器用于执行带宽资源分配的方法;
任意一个业务单元,用于执行数据传输的方法。
与现有技术相比,本申请具有以下优点:
本申请提供的实施例应用于与所有业务单元相连的服务器,服务器能够综合目标数据传输方向上所有业务单元已使用的带宽资源和目标业务单元请求分配的带宽资源,判断是否应该为目标业务单元分配带宽资源。所以服务器能够站在全局角度,合理地为目标业务单元合理分配的带宽资源。并且,服务器中设有每个数据传输方向上能够使用的最高带宽阈值(预设带宽阈值),因此,服务器可以控制每个数据传输方向上带宽资源的使用量,防止某个数据传输方向过度使用整体的带宽资源,引发带宽资源分配不均匀;还可以在已使用的带宽资源总和大于最高带宽阈值时,服务器不为目标业务单元分配带宽资源。所以本申请实施例能够提前防止业务单元过度使用带宽资源,而导致带宽资源拥塞问题。
当然,实施本申请的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为现有技术数据处理系统的结构示意图;
图2为本申请实施例公开的数据处理系统的结构示意图;
图3为本申请实施例公开的带宽资源分配方法的流程图;
图4为本申请实施例公开的带宽资源分配方法中为分配带宽资源的流程图;
图5为本申请实施例公开的带宽资源分配方法中按优先级分配带宽资源的流程图;
图6为本申请实施例公开的带宽资源分配方法中为业务单元分配带宽资源的流程图;
图7为本申请实施例公开的数据传输方法的流程图;
图8为本申请实施例公开的数据传输方法中业务单元判定是否发送带宽资源请求的流程图;
图9为本申请实施例公开的带宽资源分配装置的结构示意图;
图10为本申请实施例公开的带宽资源分配装置中分配单元的结构示意图;
图11为本申请实施例公开的带宽资源分配装置的分配单元中第二分配单元的结构示意图;
图12为本申请实施例公开的带宽资源分配装置的分配单元中第三分配单元的结构示意图;
图13为本申请实施例公开的数据传输装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
如图2所示,在介绍本申请实施例之前首先介绍一种数据处理系统,以方便本领域技术人员更容易理解本申请实施例的应用场景。其中,数据处理系统包括多个集群100以及服务器200,每个集群中包含至少一个业务单元101,所述服务器200与多个集群100中每个业务单元相连。其中多个集群分别采用:集群1、集群2……集群N表示,N为非零自然数。
一个业务单元可以同时向多个集群传输数据,所以一个业务单元的数据传输方向可以有多个,对应的带宽资源请求中也可以有多个数据传输方向。集群间有多个数据传输方向,如图1所示,集群间的数据传输方向有:集群A至集群B、集群B至集群C和集群C至集群A等。
但集群间的带宽资源在硬件结构确定后,便是固定的且是有限的,所有数据传输方向共同使用集群间的带宽资源进行数据传输,为了防止一个数据传输方向过度占用集群间的带宽资源,为每个数据传输方向设定一个预设带宽阈值。所有业务单元在一个数据传输方向上占用的带宽资源,不能超过该数据传输方向规定的预设带宽阈值;即预设带宽阈值为该数据传输方向上所有业务单元所能使用的带宽资源的最大值。
每个数据传输方向的设定的预设带宽阈值可以一致,可以不一致。当某一个数据传输方向对带宽资源的需求量较大,则可以将对应的预设带宽阈值设置较大;当某一个数据传输方向对带宽资源的需求量较小,则可以将对应的预设带宽阈值设置的较小;还可以根据实际情况动态调整每个数据传输方向对应的预设带宽阈值。具体情况可以依据实际情况而定,在此不做限定。
基于上述数据处理系统,本申请实施例主要利用与所有业务单元相连的服务器,统一管理所有业务单元的带宽资源请求,以达到对所有业务单元合理分配带宽资源的目的。
在图2所示的数据处理系统的基础上,本申请提供一种带宽资源分配方法的实施例,应用于数据处理系统中的服务器;如图3所示,所述方法包括步骤S301~步骤S305:
步骤S301:响应于所有业务单元发送带宽资源请求,在所有带宽资源请求指示的多个数据传输方向中选择一个数据传输方向作为目标数据传输方向;其中,所述带宽资源请求中包含数据传输方向。
在本实施例中,每个集群中的每个业务单元都定时向服务器发送心跳信息,心跳信息中包含业务单元当前进行数据传输的多个数据传输方向,以及在每个数据传输方向上已使用的带宽资源。在业务单元与其它业务单元进行数据传输之前,向服务器发送带宽资源请求,其中,业务单元可以单独向服务器发送带宽资源请求,还可以将带宽资源请求附带在心跳信息中,一并发送至服务器。带宽资源请求中可以包含:一个或多个数据传输方向。
在同一时刻,可以有多个业务单元向服务器发送带宽资源请求,不同带宽资源请求中的数据传输方向可以一致,也可以不一致。所有业务单元的带宽资源请求汇集到服务器后,服务器会逐一处理每个数据传输方向的带宽资源请求。
因此,服务器在所有带宽资源请求指示的多个数据传输方向中选择任意一个数据传输方向,作为目标数据传输方向开始处理,其余数据传输方向上的执行方法与目标数据传输方向一致。因此,本申请实施例主要对服务器如何在目标数据传输方向上进行带宽资源分配的过程进行详细说明。
步骤S302:将所有业务单元在所述目标数据传输方向上已使用的带宽资源的和值,确定为第一带宽资源总和。
为了后续可以判断目标数据传输方向上是否有可分配的带宽资源,本步骤首先计算所有业务单元在目标数据传输方向上已经使用的带宽资源总和。具体的计算过程可以为:从所有业务单元的心跳信息中,获得所有业务单元在目标数据传输方向上已使用的带宽资源,将目标数据传输方向上所有业务单元已使用的带宽资源进行累加求和,并将和值作为第一带宽资源总和。该第一带宽资源总和用于指示目标数据传输方向上所有业务单元已使用的带宽资源的总和。
步骤S303:判断所述第一带宽资源总和是否小于预设带宽阈值;其中,所述预设带宽阈值为:所述目标数据传输方向上所有业务单元所能使用的最高带宽阈值;若是则进入步骤S304,否则进入步骤S305。
在服务器内部的数据库中获得与目标数据传输方向对应的预设带宽阈值,然后将步骤S302中获得的第一带宽资源总和与预设带宽阈值进行对比。对比后有两种结果:
第一种:第一带宽资源总和小于预设带宽阈值;此结果表示所有业务单元所使用的带宽资源小于目标数据传输方向上最高带宽资源阈值,即目标数据传输方向上还有可分配的带宽资源。
第二种:第一带宽资源总和不小于预设带宽阈值;此结果表示目标数据传输方向上可用的带宽资源均已经分配,目前已无可分配的带宽资源。
步骤S304:为目标业务单元分配带宽资源;所述目标业务单元为:包括所述目标数据传输方向的带宽资源请求所对应的业务单元。
在第一带宽资源总和小于预设带宽阈值的情况下,服务器便可以为请求分配带宽资源的业务单元分配带宽资源。具体分配带宽资源过程详见图4-图6。
步骤S305:结束当前流程。
在第一带宽资源总和不小于预设带宽阈值的情况下,表示此时目标数据传输方向上已经没有可分配的带宽资源,结束在所述目标数据传输方向上分配带宽资源的过程。
在执行完步骤S301~步骤S305之后,服务器可以选择另一个还未分配带宽资源的数据传输方向作为目标数据传输方向来为其分配带宽资源,详细分配过程与目标数据传输方向上分配过程一致,在此不再赘述。
与现有技术相比,本申请具有以下优点:
本申请提供的实施例应用于与所有业务单元相连的服务器,服务器能够得知所有业务单元已使用的带宽资源,因此能够站在全局角度,在有限的带宽资源中为每个业务单元合理分配的带宽资源。与现有技术着重关注控制局部带宽资源而言,本申请能够站在全局角度,合理为每个业务单元分配带宽资源。提前预防网络出现拥堵。
本申请中服务器在已使用的带宽资源总和小于最高带宽阈值时,才确认带宽资源请求,在已使用的带宽资源总和大于最高带宽阈值时,否决带宽资源请求;即通过这种申请-确认/否决的方式(事前控制)能够提前防止业务单元过度使用带宽资源。与现有技术检测到网络出现拥塞才进行干预而言(事后控制),能够提前防止过度分配带宽资源,更加有效的对网络资源进行合理分配。
下面对图3中步骤S304的一种具体执行过程进行介绍,如图4所示,包括步骤S401~步骤S405:
步骤S401:将所有业务单元在所述目标数据传输方向上请求分配的带宽资源的和值,确定为第二带宽资源总和。
由于同一时刻有一个或多个业务单元,在目标数据传输方向请求分配带宽资源,服务器首先判断能否满足所有的业务单元的带宽资源请求。为此,计算目标数据传输方向上所有业务单元请求分配的带宽资源总和,然后再综合考虑请求分配的带宽资源和目标传输方向上可分配的带宽资源,为目标业务单元分配带宽资源。
计算第二带宽资源总和的具体过程包括:在业务单元发送的心跳信息或者带宽资源请求中,获取所有业务单元在目标数据传输方向上请求分配的带宽资源,将目标数据传输方向上所有业务单元请求分配的带宽资源加和,将和值作为第二带宽资源总和。第二带宽资源总和表示目标数据传输方向上,所有业务单元请求分配的带宽资源总和。
步骤S402:将所述第一带宽资源总和与所述第二带宽资源总和的和值,确定为第三带宽资源总和。
将所有业务单元在目标数据传输方向上已经使用的第一带宽资源总和,与,所有业务单元在目标数据传输方向上请求分配的第二带宽资源总和加和,得到第三带宽资源总和。第三带宽资源总和表示服务器在满足所有业务单元的带宽资源请求后,即将达到带宽资源总和。
步骤S403:判断所述第三带宽资源总和是否大于所述预设带宽阈值;若不大于则进入步骤S404,否则进入步骤S405。
由于目标数据传输方向上所分配的带宽资源总和不能大于预设带宽阈值,所以判断第三带宽资源总和是否大于所述预设带宽阈值,结果有两种情况:
第一种情况:第三带宽资源总和不大于预设带宽阈值;此结果表示即使为所有发送带宽资源请求的业务单元分配带宽资源后,也达到目标数据传输方向上规定的预设带宽阈值,所以便可为一次性为发送带宽资源请求的所有业务单元,分配带宽资源(详见步骤S404)。
第二种情况:第三带宽资源总和大于预设带宽阈值;此结果表示当为所有发送带宽资源请求的业务单元分配带宽资源后,便会超过目标数据传输方向上规定的预设带宽阈值,所以可以逐一为业务单元分配带宽资源(详见步骤S405)。
步骤S404:为所有目标业务单元分配带宽资源。
在第三带宽资源总和不大于预设带宽阈值的情况下,服务器为所有目标业务单元分配带宽资源,为业务单元分配的带宽资源不能大于该业务单元请求的带宽资源,优选的,为每个目标业务单元分配其请求分配的带宽资源。
步骤S405:按所有带宽资源请求中优先级级别的高低顺序,逐个向所述目标业务单元分配带宽资源,直到满足预设条件;所述预设条件包括在所述目标数据传输方向上所有业务单元已使用的带宽资源总和大于所述预设带宽阈值。
下面对步骤S405的一种具体执行过程进行详细介绍,如图5所示,步骤S405可以包括步骤501~步骤504:
步骤S501:将所有带宽资源请求中优先级级别最高的带宽资源请求,确定为目标带宽资源请求。
在本执行过程中,带宽资源请求中可以包含:一个或多个数据传输方向,在每个数据传输方向上请求分配的带宽资源,以及,带宽资源请求的优先级级别。在第三带宽资源总和大于预设带宽阈值的情况下,目标数据传输方向上剩余的带宽资源不足以为每个业务单元分配带宽资源,所以本申请从优先级级别最高的业务单元开始,逐一为业务单元分配带宽资源。
首先,在本步骤中获得所有带宽资源请求的优先级级别,对优先级级别进行排序后,得到优先级级别最高的带宽资源请求,将该带宽资源请求作为目标带宽资源请求。目标带宽资源请求中携带有请求分配的目标带宽资源。
步骤S502:判断第一带宽资源总和是否大于所述预设带宽阈值;如果是,则步骤S503,否则进入步骤S504。
本步骤接着判断所有业务单元已经使用的第一带宽资源总和是否大于预设带宽阈值,如果第一带宽资源总和不大于预设带宽阈值,则说明还有剩余带宽资源可分配;如果第一带宽资源总和大于预设带宽阈值,则说明没有剩余带宽资源可分配。
步骤S503:结束在所述目标数据传输方向上分配带宽资源的流程。
在第一带宽资源总和大于预设带宽阈值的情况下,说明没有剩余带宽资源可分配,此时可以结束在所述目标数据传输方向上分配带宽资源的过程。
步骤S504:向所述目标带宽资源请求对应的业务单元分配带宽资源,并将该分配的带宽资源添加至所述第一带宽资源总和内,以及,在删除该目标带宽资源请求;进入步骤S501。
如果此时还有剩余的带宽资源可分配,则为优先级级别最高带宽资源请求对应的目标业务单元分配带宽资源。然后将为其分配的带宽资源添加至第一带宽资源总和中,以便下次使用最新的第一带宽资源总和;在为目标业务单元分配带宽资源后,在所有带宽资源请求中删除目标业务单元对应的带宽资源请求,以便为其他带宽资源请求分配带宽资源。
在本次为目标业务单元分配带宽资源后,进入步骤S501,重新为下一个业务单元分配带宽资源。
在进行数据传输时,由于每个业务单元的在不同时刻的数据传输需求是变化的,比如业务单元在正常工作时段时,要求带宽资源请求的优先级要求较高;在业务迁移时段时,要求带宽资源请求的优先级要求较低。
所以本申请在所有带宽资源请求中携带有优先级,这样可以针对带宽资源请求优先级的高低,为业务单元分配带宽资源。与现有技术中将业务单元固定在一个优先级上而言,本申请能够灵活地根据实际的带宽资源请求来合理分配带宽资源。
下面对步骤S504中向所述目标带宽资源请求对应的业务单元分配带宽资源的步骤进行详细介绍,如图6所示,包括以下步骤S601~步骤S605:
步骤S601:获取所述目标带宽资源请求中请求分配的目标带宽资源。
为了确定应该为目标业务单元所分配的带宽资源,获取目标带宽资源请求中的而目标带宽资源。由于不确定目标带宽资源请求与目标数据传输方向上所剩余的带宽资源的大小,如果为目标业务单元分配目标带宽资源请求,可能出现目标数据传输方向已分配的带宽资源大于预设带宽阈值的情况,即超过分配额度的情况。所以需要判断是否能够为目标业务单元分配目标带宽资源。
步骤S602:将所述第一带宽资源总和与所述目标带宽资源的和值,确定为目标带宽资源总和。
为了防止出现超过分配额度的情况,计算所有业务单元在目标数据传输方向上已使用的第一带宽资源总和与即将分配的目标带宽资源的和值,作为目标带宽资源总和。
步骤S603:判断所述目标带宽资源总和是否大于所述预设带宽阈值;若是,则进入步骤S604,否则进入步骤S605。
为了判定能够为目标业务单元分配的带宽资源,判断所述目标带宽资源总和是否预设带宽阈值,如果目标带宽资源总和大于预设带宽阈值,则表示为目标业务单元分配目标带宽资源后,将会出现超过分配额度的情况。否则表示为目标业务单元分配目标带宽资源后,不会出现超过分配额度的情况。
步骤S604:将所述预设带宽阈值与所述第一带宽资源总和的带宽资源差值,分配至所述目标带宽资源请求对应的业务单元。
在可能出现超过分配额度的情况下,仅为目标业务单元分为预设带宽阈值与第一带宽资源总和的带宽资源差值,将带宽资源差值分配至目标业务单元,这样便不会出现超出分配额度的情况。
步骤S605:将所述目标带宽资源分配至所述目标带宽资源请求对应的业务单元。
在不会出现超过分配额度的情况,为了满足目标业务单元的带宽资源请求,将目标带宽资源分配至目标业务单元。
上述内容详细介绍了服务器合理为业务单元分配带宽资源的过程,下面讲述在每个业务单元层次上合理分配带宽资源的过程。在本实施例执行之前,预先为每个业务单元设定一个最高带宽资源阈值,即为第二带宽资源阈值。
如图7所示,本发明提供了一种数据传输方法的实施例,应用于图2所示的数据处理系统中的任意一个业务单元,所述方法包括步骤S701~步骤S703:
步骤S701:在与其它业务单元进行数据传输之前,任意一个当前业务单元向所述服务器发送带宽资源请求。
在任意一个当前业务单元向所述服务器发送带宽资源请求之前,如图8所示,本实施例还包括步骤S801~步骤S804:
步骤S801:计算所述当前业务单元在所有数据传输方向上已使用的业务带宽资源。
为了防止某个业务单元过度占用带宽资源,在当前业务单元向服务器发送带宽资源请求之前,当前业务单元先判断自身已占用的带宽资源是否已超过规定的阈值。
一个业务单元可以向多个数据传输方向传输数据,所以当前业务单元可以计算自身在所有数据传输方向所占用的带宽资源的总和,作为当前业务单元的业务带宽资源。
步骤S802:判断所述业务带宽资源是否小于第二预设带宽阈值,其中,所述第二预设带宽阈值表示所述当前业务单元所能使用的最高带宽阈值;若小于则进入步骤S803,否则进入步骤S804。
当前业务单元判断自身已占用的业务带宽资源是否小于规定的第二预设带宽阈值,若小于则表示当前业务单元已占用的带宽资源,没有超过规定的阈值,还可以继续向服务器申请带宽资源;若大于,则表示当前业务单元占用的带宽资源已经达到规定的阈值,为了防止当前业务单元过度占用带宽资源,暂时不允许其相服务器申请带宽资源。
步骤S803:执行向所述服务器发送的带宽资源请求的步骤。
在业务带宽资源小于第二预设带宽阈值的情况下,当前业务单元可有继续向服务器发送带宽资源请求。
步骤S804:延迟预设时间后再执行向所述服务器发送的带宽资源请求的步骤。
在业务带宽资源不小于第二预设带宽阈值的情况下,会延迟预设时间在当前业务单元自身已占用的带宽资源小于第二预设带宽阈值后,再向服务器发送带宽资源请求。
接着返回图7,进入步骤S702:接收服务器按带宽资源分配方法的实施例分配的带宽资源。
步骤S703:利用所述分配的带宽资源与其它业务单元进行数据传输。
在本申请实施例中,既在业务单元层次进行带宽资源控制,又在服务器层次进行带宽资源控制,通过双层控制机制合理为每个业务单元分配带宽资源,使得业务单元可以高效利用分配的带宽资源进行数据传输。
与上述本申请图3所示的带宽资源分配方法的实施例相对应,如图9所示,本申请还提供了一种带宽资源分配装置,应用于图2所示的数据处理系统中的服务器,所述装置包括:
选择单元91,用于响应于所有业务单元发送带宽资源请求,在所有带宽资源请求指示的多个数据传输方向中选择一个数据传输方向作为目标数据传输方向;其中,所述带宽资源请求中包含数据传输方向;
第一确定单元92,用于将所有业务单元在所述目标数据传输方向上已使用的带宽资源的和值,确定为第一带宽资源总和;
第一判断单元93,用于判断所述第一带宽资源总和是否小于预设带宽阈值;其中,所述预设带宽阈值为:所述目标数据传输方向上所有业务单元所能使用的最高带宽阈值;
分配单元94,用于在第一带宽资源总和小于预设带宽阈值情况下,为目标业务单元分配带宽资源;所述目标业务单元为:包括所述目标数据传输方向的带宽资源请求所对应的业务单元。
其中,所述带宽资源请求中还包含请求分配的带宽资源和优先级级别;
如图10所示,所述为分配单元94具体包括:
第二确定单元101,用于将所有业务单元在所述目标数据传输方向上请求分配的带宽资源的和值,确定为第二带宽资源总和;将所述第一带宽资源总和与所述第二带宽资源总和的和值,确定为第三带宽资源总和;
第二判断单元102,用于判断所述第三带宽资源总和是否大于所述预设带宽阈值;
第一分配单元103,用于在所述第三带宽资源总和大于所述预设带宽阈值的情况下,则为所有目标业务单元分配带宽资源;
第二分配单元104,用于在所述第三带宽资源总和不大于所述预设带宽阈值的情况下,则按所有带宽资源请求中优先级级别的高低顺序,逐个向所述目标业务单元分配带宽资源,直到在所述目标数据传输方向上所有业务单元已使用的带宽资源总和大于所述预设带宽阈值。
如图11所示,所述第二分配单元104包括:
第三确定单元111,用于将所有带宽资源请求中优先级级别最高的带宽资源请求,确定为目标带宽资源请求;
第三判断单元112,用于判断第一带宽资源总和是否大于所述预设带宽阈值;
第三分配单元113,用于在第一带宽资源总和不大于所述预设带宽阈值情况下,则向所述目标带宽资源请求对应的业务单元分配带宽资源;
添加单元114,用于将所述第三分配的带宽资源添加至所述第一带宽资源总和内;
触发单元115,用于在删除目标带宽资源请求后,触发所述第三确定单元;
结束单元116,用于在第一带宽资源总和大于所述预设带宽阈值情况下,则结束在所述目标数据传输方向上分配带宽资源的流程。
如图12所示,上述图11中的所述第三分配单元113包括:
获取单元121,用于获取所述目标带宽资源请求中请求分配的目标带宽资源;
第三确定单元122,用于将所述第一带宽资源总和与所述目标带宽资源的和值,确定为目标带宽资源总和;
第四判断单元123,用于判断所述目标带宽资源总和是否大于所述预设带宽阈值;
第四分配单元124,用于在所述目标带宽资源总和大于所述预设带宽阈值的情况下,则将所述预设带宽阈值与所述第一带宽资源总和的带宽资源差值,分配至所述目标带宽资源请求对应的业务单元;
第五分配单元125,用于在所述目标带宽资源总和不大于所述预设带宽阈值的情况下,则将所述目标带宽资源分配至所述目标带宽资源请求对应的业务单元。
本申请提供的实施例应用于与所有业务单元相连的服务器,服务器能够综合目标数据传输方向上所有业务单元已使用的带宽资源和目标业务单元请求分配的带宽资源,判断是否应该为目标业务单元分配带宽资源。所以服务器能够站在全局角度,合理地为目标业务单元合理分配的带宽资源。
并且,服务器中设有每个数据传输方向上能够使用的最高带宽阈值(预设带宽阈值),其目的在于:(1)控制每个数据传输方向上带宽资源的使用量,防止某个数据传输方向过度使用整体的带宽资源,引发带宽资源分配不均匀;(2)在已使用的带宽资源总和大于最高带宽阈值时,服务器不为目标业务单元分配带宽资源。所以本方式能够提前防止业务单元过度使用带宽资源,而导致带宽资源拥塞问题。
与本申请图7提供的一种数据传输方法的实施例相对应,如图13所示,本申请提供了一种数据传输装置,应用于图2所示的数据处理系统中的任意一个业务单元,所述装置包括:
发送单元131,用于在与其它业务单元进行数据传输之前,任意一个当前业务单元向所述服务器发送带宽资源请求;
接收单元132,用于接收所述服务器按照权利要求1的方式分配的带宽资源;
传输单元133,用于利用所述分配的带宽资源与其它业务单元进行数据传输。
本申请提供的一种数据传输装置还包括:
处理单元134,用于计算所述当前业务单元在所有数据传输方向上已使用的业务带宽资源;判断所述业务带宽资源是否小于第二预设带宽阈值,其中,所述第二预设带宽阈值表示所述当前业务单元所能使用的最高带宽阈值;如果是,则执行向所述服务器发送的带宽资源请求的步骤;如果否,则延迟预设时间后再执行向所述服务器发送的带宽资源请求的步骤。
在本申请实施例中,既在业务单元层次进行带宽资源控制,又在服务器层次进行带宽资源控制,通过双层控制机制合理为每个业务单元分配带宽资源,使得业务单元可以高效利用分配的带宽资源进行数据传输。
如图2所示,本申请提供了一种数据处理系统,包括:
多个集群以及服务器,每个集群中包含至少一个业务单元,所述服务器与多个集群中每个业务单元相连;
所述服务器,用于执行带宽资源分配方法的实施例;
任意一个业务单元,用于执行数据传输方法的实施例。
在本申请实施例中,既在业务单元层次进行带宽资源控制,又在服务器层次进行带宽资源控制,通过双层控制机制合理为每个业务单元分配带宽资源,使得业务单元可以高效利用分配的带宽资源进行数据传输。
本实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算设备可读取存储介质中。基于这样的理解,本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一台计算设备(可以是个人计算机,服务器,移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (13)

1.一种带宽资源分配方法,其特征在于,应用于数据处理系统中的服务器,所述数据处理系统还包括多个集群,每个集群包含至少一个业务单元,所述服务器与多个集群中每个业务单元相连;所述方法包括:
响应于所有业务单元发送带宽资源请求,在所有带宽资源请求指示的多个数据传输方向中选择一个数据传输方向作为目标数据传输方向;其中,所述带宽资源请求中包含数据传输方向;
将所有业务单元在所述目标数据传输方向上已使用的带宽资源的和值,确定为第一带宽资源总和;
判断所述第一带宽资源总和是否小于预设带宽阈值;其中,所述预设带宽阈值为:所述目标数据传输方向上所有业务单元所能使用的最高带宽阈值;
如果是,则为目标业务单元分配带宽资源;所述目标业务单元为:包括所述目标数据传输方向的带宽资源请求所对应的业务单元。
2.如权利要求1所述的方法,其特征在于,所述带宽资源请求中还包含请求分配的带宽资源和优先级级别;则所述为目标业务单元分配带宽资源,包括:
将所有业务单元在所述目标数据传输方向上请求分配的带宽资源的和值,确定为第二带宽资源总和;
将所述第一带宽资源总和与所述第二带宽资源总和的和值,确定为第三带宽资源总和;
判断所述第三带宽资源总和是否大于所述预设带宽阈值;
如果否,则为所有目标业务单元分配带宽资源;
如果是,则按所有带宽资源请求中优先级级别的高低顺序,逐个向所述目标业务单元分配带宽资源,直到在所述目标数据传输方向上所有业务单元已使用的带宽资源总和大于所述预设带宽阈值。
3.如权利要求2所述的方法,其特征在于,所述按所有带宽资源请求中优先级级别的高低顺序,逐个向所述目标业务单元分配带宽资源,直到在所述目标数据传输方向上所有业务单元已使用的带宽资源总和大于所述预设带宽阈值,包括:
将所有带宽资源请求中优先级级别最高的带宽资源请求,确定为目标带宽资源请求;
判断第一带宽资源总和是否大于所述预设带宽阈值;
如果否,则向所述目标带宽资源请求对应的业务单元分配带宽资源,并将该分配的带宽资源添加至所述第一带宽资源总和内,以及,在删除该目标带宽资源请求后,执行将所有带宽资源请求中优先级级别最高的带宽资源请求,确定为目标带宽资源请求的步骤;
如果是,则结束在所述目标数据传输方向上分配带宽资源的流程。
4.如权利要求3所述的方法,其特征在于,所述向所述目标带宽资源请求对应的业务单元分配带宽资源,包括:
获取所述目标带宽资源请求中请求分配的目标带宽资源;
将所述第一带宽资源总和与所述目标带宽资源的和值,确定为目标带宽资源总和;
判断所述目标带宽资源总和是否大于所述预设带宽阈值;
如果是,则将所述预设带宽阈值与所述第一带宽资源总和的带宽资源差值,分配至所述目标带宽资源请求对应的业务单元;
如果否,则将所述目标带宽资源分配至所述目标带宽资源请求对应的业务单元。
5.一种数据传输方法,其特征在于,应用于数据处理系统中的任意一个业务单元,所述数据处理系统还包括多个集群及服务器,每个集群包含至少一个业务单元,所述服务器与每个集群中每个业务单元相连;所述方法包括:
在与其它业务单元进行数据传输之前,任意一个当前业务单元向所述服务器发送带宽资源请求;
接收所述服务器按照权利要求1的方式分配的带宽资源;
利用所述分配的带宽资源与其它业务单元进行数据传输。
6.如权利要求5所述的方法,其特征在于,在任意一个当前业务单元向所述服务器发送带宽资源请求之前,还包括:
计算所述当前业务单元在所有数据传输方向上已使用的业务带宽资源;
判断所述业务带宽资源是否小于第二预设带宽阈值,其中,所述第二预设带宽阈值表示所述当前业务单元所能使用的最高带宽阈值;
如果是,则执行向所述服务器发送的带宽资源请求的步骤;
如果否,则延迟预设时间后再执行向所述服务器发送的带宽资源请求的步骤。
7.一种带宽资源分配装置,其特征在于,应用于数据处理系统中的服务器,所述数据处理系统还包括多个集群,每个集群包含至少一个业务单元,所述服务器与多个集群中每个业务单元相连;所述装置包括:
选择单元,用于响应于所有业务单元发送带宽资源请求,在所有带宽资源请求指示的多个数据传输方向中选择一个数据传输方向作为目标数据传输方向;其中,所述带宽资源请求中包含数据传输方向;
第一确定单元,用于将所有业务单元在所述目标数据传输方向上已使用的带宽资源的和值,确定为第一带宽资源总和;
第一判断单元,用于判断所述第一带宽资源总和是否小于预设带宽阈值;其中,所述预设带宽阈值为:所述目标数据传输方向上所有业务单元所能使用的最高带宽阈值;
分配单元,用于在第一带宽资源总和小于预设带宽阈值情况下,为目标业务单元分配带宽资源;所述目标业务单元为:包括所述目标数据传输方向的带宽资源请求所对应的业务单元。
8.如权利要求7所述的装置,其特征在于,所述带宽资源请求中还包含请求分配的带宽资源和优先级级别;则所述为分配单元包括:
第二确定单元,用于将所有业务单元在所述目标数据传输方向上请求分配的带宽资源的和值,确定为第二带宽资源总和;将所述第一带宽资源总和与所述第二带宽资源总和的和值,确定为第三带宽资源总和;
第二判断单元,用于判断所述第三带宽资源总和是否大于所述预设带宽阈值;
第一分配单元,用于在所述第三带宽资源总和大于所述预设带宽阈值的情况下,则为所有目标业务单元分配带宽资源;
第二分配单元,用于在所述第三带宽资源总和不大于所述预设带宽阈值的情况下,则按所有带宽资源请求中优先级级别的高低顺序,逐个向所述目标业务单元分配带宽资源,直到在所述目标数据传输方向上所有业务单元已使用的带宽资源总和大于所述预设带宽阈值。
9.如权利要求8所述的装置,其特征在于,所述第二分配单元包括:
第三确定单元,用于将所有带宽资源请求中优先级级别最高的带宽资源请求,确定为目标带宽资源请求;
第三判断单元,用于判断第一带宽资源总和是否大于所述预设带宽阈值;
第三分配单元,用于在第一带宽资源总和不大于所述预设带宽阈值情况下,则向所述目标带宽资源请求对应的业务单元分配带宽资源;
添加单元,用于将所述第三分配单元分配的带宽资源添加至所述第一带宽资源总和内;
触发单元,用于在删除目标带宽资源请求后,触发所述第三确定单元;
结束单元,用于在第一带宽资源总和大于所述预设带宽阈值情况下,则结束在所述目标数据传输方向上分配带宽资源的流程。
10.如权利要求9所述的装置,其特征在于,所述第三分配单元包括:
获取单元,用于获取所述目标带宽资源请求中请求分配的目标带宽资源;
第三确定单元,用于将所述第一带宽资源总和与所述目标带宽资源的和值,确定为目标带宽资源总和;
第四判断单元,用于判断所述目标带宽资源总和是否大于所述预设带宽阈值;
第四分配单元,用于在所述目标带宽资源总和大于所述预设带宽阈值的情况下,则将所述预设带宽阈值与所述第一带宽资源总和的带宽资源差值,分配至所述目标带宽资源请求对应的业务单元;
第五分配单元,用于在所述目标带宽资源总和不大于所述预设带宽阈值的情况下,则将所述目标带宽资源分配至所述目标带宽资源请求对应的业务单元。
11.一种数据传输装置,其特征在于,应用于数据处理系统中的任意一个业务单元,所述数据处理系统还包括多个集群及服务器,每个集群包含至少一个业务单元,所述服务器与每个集群中每个业务单元相连;所述装置包括:
发送单元,用于在与其它业务单元进行数据传输之前,任意一个当前业务单元向所述服务器发送带宽资源请求;
接收单元,用于接收所述服务器按照权利要求1的方式分配的带宽资源;
传输单元,用于利用所述分配的带宽资源与其它业务单元进行数据传输。
12.如权利要求11所述的装置,其特征在于,还包括:
处理单元,用于计算所述当前业务单元在所有数据传输方向上已使用的业务带宽资源;判断所述业务带宽资源是否小于第二预设带宽阈值,其中,所述第二预设带宽阈值表示所述当前业务单元所能使用的最高带宽阈值;如果是,则执行向所述服务器发送的带宽资源请求的步骤;如果否,则延迟预设时间后再执行向所述服务器发送的带宽资源请求的步骤。
13.一种数据处理系统,其特征在于,包括:
多个集群以及服务器,每个集群中包含至少一个业务单元,所述服务器与多个集群中每个业务单元相连;
所述服务器用于执行如权利要求1-4任一项所述的方法;
任意一个业务单元,用于执行如权利要求5或6所述的方法。
CN201510113350.3A 2015-03-16 2015-03-16 带宽资源分配方法、数据传输方法、装置及系统 Active CN106034153B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510113350.3A CN106034153B (zh) 2015-03-16 2015-03-16 带宽资源分配方法、数据传输方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510113350.3A CN106034153B (zh) 2015-03-16 2015-03-16 带宽资源分配方法、数据传输方法、装置及系统

Publications (2)

Publication Number Publication Date
CN106034153A true CN106034153A (zh) 2016-10-19
CN106034153B CN106034153B (zh) 2019-06-28

Family

ID=57150718

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510113350.3A Active CN106034153B (zh) 2015-03-16 2015-03-16 带宽资源分配方法、数据传输方法、装置及系统

Country Status (1)

Country Link
CN (1) CN106034153B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108683614A (zh) * 2018-05-15 2018-10-19 国网江苏省电力有限公司苏州供电分公司 基于门限残差网络的虚拟现实设备集群带宽分配装置
CN108769162A (zh) * 2018-05-16 2018-11-06 上海携程商务有限公司 分布式消息均衡处理方法、装置、电子设备、存储介质
CN109152037A (zh) * 2017-06-16 2019-01-04 华为技术有限公司 带宽资源配置方法、装置和系统
CN110662216A (zh) * 2018-06-28 2020-01-07 视联动力信息技术股份有限公司 一种数据的传输方法和装置
CN111585940A (zh) * 2019-02-18 2020-08-25 华为技术有限公司 一种资源管理方法及其相关设备
CN114189448A (zh) * 2021-12-14 2022-03-15 中国建设银行股份有限公司 数据处理方法、装置和设备
CN115174411A (zh) * 2022-07-29 2022-10-11 北京达佳互联信息技术有限公司 跨地域带宽的确定方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101217484A (zh) * 2008-01-21 2008-07-09 中兴通讯股份有限公司 资源分配方法及系统
CN101232449A (zh) * 2008-02-27 2008-07-30 福建星网锐捷网络有限公司 一种带宽分配方法及装置
CN102104874A (zh) * 2009-12-21 2011-06-22 中兴通讯股份有限公司 网络传输资源的分配方法及相关装置
US8320240B2 (en) * 2004-11-30 2012-11-27 Broadcom Corporation Rate limiting and minimum and maximum shaping in a network device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8320240B2 (en) * 2004-11-30 2012-11-27 Broadcom Corporation Rate limiting and minimum and maximum shaping in a network device
CN101217484A (zh) * 2008-01-21 2008-07-09 中兴通讯股份有限公司 资源分配方法及系统
CN101232449A (zh) * 2008-02-27 2008-07-30 福建星网锐捷网络有限公司 一种带宽分配方法及装置
CN102104874A (zh) * 2009-12-21 2011-06-22 中兴通讯股份有限公司 网络传输资源的分配方法及相关装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109152037A (zh) * 2017-06-16 2019-01-04 华为技术有限公司 带宽资源配置方法、装置和系统
US11265868B2 (en) 2017-06-16 2022-03-01 Huawei Technologies Co., Ltd. Bandwidth resource configuration method, apparatus, and system
CN109152037B (zh) * 2017-06-16 2022-07-29 华为技术有限公司 带宽资源配置方法、装置和系统
CN108683614A (zh) * 2018-05-15 2018-10-19 国网江苏省电力有限公司苏州供电分公司 基于门限残差网络的虚拟现实设备集群带宽分配装置
CN108683614B (zh) * 2018-05-15 2021-11-09 国网江苏省电力有限公司苏州供电分公司 基于门限残差网络的虚拟现实设备集群带宽分配装置
CN108769162A (zh) * 2018-05-16 2018-11-06 上海携程商务有限公司 分布式消息均衡处理方法、装置、电子设备、存储介质
CN108769162B (zh) * 2018-05-16 2021-01-12 上海携程商务有限公司 分布式消息均衡处理方法、装置、电子设备、存储介质
CN110662216A (zh) * 2018-06-28 2020-01-07 视联动力信息技术股份有限公司 一种数据的传输方法和装置
CN111585940A (zh) * 2019-02-18 2020-08-25 华为技术有限公司 一种资源管理方法及其相关设备
CN114189448A (zh) * 2021-12-14 2022-03-15 中国建设银行股份有限公司 数据处理方法、装置和设备
CN115174411A (zh) * 2022-07-29 2022-10-11 北京达佳互联信息技术有限公司 跨地域带宽的确定方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN106034153B (zh) 2019-06-28

Similar Documents

Publication Publication Date Title
CN106034153A (zh) 带宽资源分配方法、数据传输方法、装置及系统
US10572290B2 (en) Method and apparatus for allocating a physical resource to a virtual machine
EP2710470B1 (en) Extensible centralized dynamic resource distribution in a clustered data grid
CN105072182A (zh) 一种负载均衡方法、负载均衡器和用户终端
CN105897836A (zh) 一种回源请求处理方法及装置
CN105373429A (zh) 任务调度方法、装置及系统
JP6886964B2 (ja) 負荷平衡方法及び装置
CN106603692B (zh) 一种分布式存储系统中的数据存储方法及装置
CN110244901B (zh) 任务分配方法及装置、分布式存储系统
EP3280094B1 (en) Disaster recovery method, device, and system
CN107239347B (zh) 一种虚拟化场景下的设备资源分配方法和装置
CN110069210B (zh) 一种存储系统、存储资源的分配方法及装置
CN105227489A (zh) 一种带宽管理方法及电子设备
CN103731883A (zh) 一种负载均衡的方法及装置
US20120233313A1 (en) Shared scaling server system
CN105677441A (zh) 虚拟机迁移方法、虚拟设施管理器及协调器
CN106101276A (zh) 一种集群负载均衡方法及装置
CN106059940B (zh) 一种流量控制方法及装置
WO2018137611A1 (zh) 任务处理方法、节点、介质、设备及内容分发网络
JP2008108261A (ja) 予備計算容量の追加を選択的に制御するシステム及び方法
CN103617024B (zh) 一种并发数据处理方法、装置和系统
WO2021213365A1 (zh) 基于基站群的数据处理方法、基站、基站系统及计算机可读介质
JP2018511209A5 (zh)
CN107645396B (zh) 一种集群扩容方法及装置
CN110515564B (zh) 一种输入/输出i/o路径的确定方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1229966

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant