CN112600761B - 一种资源分配的方法、装置及存储介质 - Google Patents
一种资源分配的方法、装置及存储介质 Download PDFInfo
- Publication number
- CN112600761B CN112600761B CN202011459935.8A CN202011459935A CN112600761B CN 112600761 B CN112600761 B CN 112600761B CN 202011459935 A CN202011459935 A CN 202011459935A CN 112600761 B CN112600761 B CN 112600761B
- Authority
- CN
- China
- Prior art keywords
- resources
- token bucket
- rate
- data processing
- outflow rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003860 storage Methods 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000013468 resource allocation Methods 0.000 title claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 192
- 238000012546 transfer Methods 0.000 claims description 7
- 238000011217 control strategy Methods 0.000 claims description 3
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 11
- 238000005516 engineering process Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 8
- 238000004519 manufacturing process Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000002955 isolation Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000007493 shaping process Methods 0.000 description 2
- 238000012384 transportation and delivery Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/215—Flow control; Congestion control using token-bucket
Abstract
本申请提供一种资源分配的方法、装置及存储介质,用以避免资源的雪崩效应,减少处理时延。针对各个资源类型分别设置第一令牌桶和第二令牌桶,针对资源类型,执行:在资源类型对应的第一令牌桶中,按照预设的流入速率保存资源;确定资源类型对应的第二令牌桶中的剩余资源数目未达到预设的第二上限值,按照第一流出速率不小于流入速率的方式,将第一令牌桶中已保存的资源转存至第二令牌桶中;第二令牌桶中的资源,用于分配给接收到的数据处理请求。接收到大量数据处理请求时,消耗第二令牌桶中的资源,发送部分数据处理请求,之后按照不小于流入速率的第一流出速率为第二令牌桶转发资源,减少处理时延,平衡资源分配,避免资源的雪崩效应。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种资源分配的方法、装置及存储介质。
背景技术
目前,为了保护共享资源以及实现多租户间的资源隔离,使用资源分配算法在多租户间合理的分配共享资源。但是多租户间通常存在一定的突发请求,此时若将租户所能分配的资源限定较小,将导致租户的突发请求对应的任务不能及时完成,影响租户的使用体验;若将租户所能分配的资源限定较大,在为多租户进行资源分配时,则多租户同时所需的资源总量将大于共享资源,容易引发共享资源的雪崩效应。
因此,现有技术中提出了通过令牌桶算法进行共享资源分配,以合理的向各个租户分配资源,解决针对突发资源进行资源分配时所产生的问题。
采用令牌桶算法进行资源分配时,用于处理突发请求对应的任务的资源的多少取决与令牌桶的容量。当出现突发请求,在处理突发请求对应的任务时,可以消耗掉令牌桶中所有的资源,未处理完的突发请求对应的任务,则需要以令牌桶生产资源的速率为限逐步处理,出现大量的突发请求时,处理延时较长。
因此通过增加令牌桶的容量,减少处理时延,但瞬间消耗掉过多的资源,将超过总资源的承受能力,导致资源的雪崩效应。
发明内容
本申请提供一种资源分配的方法、装置及存储介质,用以动态分配共享资源,避免共享资源的雪崩效应,减少处理时延。
第一方面,本申请实施例提供一种资源分配的方法,该方法包括:
在资源类型对应的第一令牌桶中,按照预设的流入速率保存最新生成的资源;
在确定资源类型对应的第二令牌桶中的剩余资源数目未达到预设的第二上限值时,按照第一流出速率,将第一令牌桶中已保存的资源转存至相应的第二令牌桶中,第一流出速率不小于流入速率;
其中,第二令牌桶中保存的资源,用于分配给接收到的数据处理资源,数据处理请求所需的目标资源符合资源类型。
第二方面,本申请实施例提供一种资源分配的装置,该装置包括:
保存模块,用于在资源类型对应的第一令牌桶中,按照预设的流入速率保存最新生成的资源;
转存模块,用于在确定资源类型对应的第二令牌桶中的剩余资源数目未达到预设的第二上限值时,按照第一流出速率,将第一令牌桶中已保存的资源转存至相应的第二令牌桶中,第一流出速率不小于流入速率;
其中,第二令牌桶中保存的资源,用于分配给接收到的数据处理请求,数据处理请求所需的目标资源符合资源类型。
在一种可能的实现方式中,转存模块还用于:在资源类型对应的第一令牌桶中,按照预设的流入速率保存最新生成的资源之后,在确定资源类型对应的第二令牌桶中的剩余资源数目已达到预设的第二上限值时,按照第二流出速率,将第一令牌桶中已保存的资源转存至相应的第二令牌桶中,第二流出速率小于流入速率。
在一种可能的实现方式中,转存模块还用于:在确定资源类型对应的第二令牌桶中的剩余资源数目未达到预设的第二上限值之后,在按照第一流出速率,将第一令牌桶中已保存的资源转存至相应的第二令牌桶中之前,基于流入速率,从预设的第一流出速率区间中,选取不小于流入速率的一个流出速率,作为第一流出速率。
在一种可能的实现方式中,转存模块还用于:在确定资源类型对应的第二令牌桶中的剩余资源数目已达到预设的第二上限值之后,在按照第二流出速率,将第一令牌桶中已保存的资源转存至相应的第二令牌桶中之前,基于流入速率,从预设的第二流出速率区间中,选取小于流入速率的一个流出速率,作为第二流出速率。
在一种可能的实现方式中,第一流出速率区间和第二流出速率区间为相同区间,或者,为不同区间;
第一流出速率区间以及第二流出速率区间是流控系统预先配置的。
在一种可能的实现方式中,转存模块具体用于:
若第二令牌桶中的剩余资源数目未达到预设的第二上限值,且第一令牌桶中的剩余资源数目不为零,则按照第一流出速率大于流入速率的方式,将第一令牌桶中已保存的资源转存至相应的第二令牌桶中;
若第二令牌桶中的剩余资源数目未达到预设的第二上限值,且第一令牌桶中的剩余资源数目为零,则按照第一流出速率等于流入速率的方式,将第一令牌桶中已保存的资源转存至相应的第二令牌桶中。
在一种可能的实现方式中,转存模块还用于:
将第一令牌桶中已保存的资源转存至相应的第二令牌桶中之后,接收到客户端发送的数据处理请求时,基于数据处理请求所需的目标资源的资源类型,确定目标资源关联的第二令牌桶中的剩余资源数目;
若确定第二令牌桶中的剩余资源数目不小于发送数据处理请求所需的目标资源数目,则从第二令牌桶中的剩余资源中,获取符合目标资源数目的一批资源;
将一批资源分配给数据处理请求,并发送数据处理请求。
第三方面,本申请实施例提供一种资源分配的设备,包括:存储器和处理器,其中,存储器,用于存储计算机指令;处理器,用于执行计算机指令以实现本申请实施例提供的资源分配的方法。
第四方面,本申请实施例提供一种计算机可读存储介质,计算机可读存储介质存储有计算机指令,计算机指令被处理器执行时实现本申请实施例提供的资源分配的方法。
本申请有益效果如下:
本申请实施例提供一种资源分配的方法、装置及存储介质;针对各个资源类型分别设置对应的第一令牌桶和第二令牌桶,且针对资源类型,执行:在资源类型对应的第一令牌桶中,按照预设的流入速率保存资源;并根据第二令牌桶中的剩余资源数目,确定将第一令牌桶中已保存的资源转存至相应的第二令牌桶中的速率。当确定第二令牌桶中的剩余资源数目未达到预设的第二上限值时,按照不小于流入速率的第一流出速率,将第一令牌桶中已保存的资源转存至相应的第二令牌桶中,第二令牌桶中保存的资源用于分配给接收到数据处理请求,数据处理请求所需的目标资源符合资源类型。因此,当接收到数据处理请求时,确定数据处理请求所需的目标资源,根据目标资源确定关联的第二令牌桶,消耗第二令牌桶中的资源发送数据处理请求,当接收到小量突发的数据处理请求时,通过消耗第二令牌桶中的所有资源,可及时发送数据处理请求;当接收到大量突发的数据处理请求时,可先消耗第二令牌桶中的所有资源,及时发送部分数据处理请求,之后按照不小于流入速率的第一流出速率及时为第二令牌桶转发资源,以继续发送剩余部分数据处理请求,支持以不小于流入速率的第一流出速率处理突发的数据处理请求,减少处理时延,且平衡共享资源的分配,避免共享资源的雪崩效应。
本申请的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为相关技术中进行资源分配的示意图;
图2为本申请实施例提供的一种应用场景示意图;
图3为本申请实施例提供的一种针对资源类型设置第一令牌桶和第二令牌桶的示意图;
图4为本申请实施例提供的一种资源分配的方法流程图;
图5为本申请实施例提供的一种存储系统的示意图;
图6为本申请实施例提供的一种发送数据处理请求的时延曲图;
图7为本申请实施例提供的一种资源分配的装置结构图;
图8为本申请实施例提供的一种计算装置结构图。
具体实施方式
为了使本申请的目的、技术方案及有益效果更加清楚明白,以下将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,并不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
以下对本申请实施例中的部分用语进行解释说明,以便于本领域技术人员理解。
1、“第一”、“第二”仅用于描述目的,而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数目。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征,在本申请实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
2、多租户简单来说是指一个单独的实例可以为多个组织服务。多租户技术为共用的数据中心内如何以单一系统架构与服务提供多数客户端相同甚至可定制化的服务,并且仍然可以保障客户的数据隔离。
多租户技术(multi-tenancy technology)或称多重租赁技术,是一种软件架构技术,它是在探讨与实现如何于多用户的环境下共用相同的系统或程序组件,并且仍可确保各用户间数据的隔离性。租户(tenant)是指使用系统或电脑运算资源的用户。
3、令牌桶算法是网络流量整形(Traffic Shaping)和速率限制(Rate Limiting)中最常使用的一种算法。典型情况下,令牌桶算法用来控制发送到网络上的数据的数目,并允许突发请求的发送。
令牌桶算法采用恒定的速率源源不断地产生资源。如果资源不被消耗,或者被消耗资源的速率小于产生资源的速率,令牌桶中的资源就会不断增多,持续累积直至令牌桶中的资源数目达到上限值。当令牌桶中的资源数目达到上限值后,新产生的资源,将从令牌桶中溢出,则将令牌桶中的资源丢弃。
4、云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术。
云技术(Cloud technology)基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称,可以组成资源池,按需所用,灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源,如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用,将来每个物品都有可能存在自己的识别标志,都需要传输到后台系统进行逻辑处理,不同程度级别的数据将会分开处理,各类行业数据皆需要强大的系统后盾支撑,只能通过云计算来实现。
下面对本申请实施例的设计构思进行简要介绍。
本申请是针对多租户共享资源的场景下,进行资源分配的;目前,在多租户共享资源的场景下,为了保证共享资源以及实现多租户间的资源隔离,通常使用资源分配算法为多租户进行资源分配。但是租户间通常存在一定程度的突发请求,如果将租户所能分配的资源限定过小,将导致租户的突发请求不能及时处理;若果将租户所能分配的资源限定过大,将导致多个租户同时需要资源的总量大于共享资源的总量,引发共享资源的雪崩效应,比如网络拥堵。
针对资源分配算法无法合理为各个租户进行资源分配的问题,相关技术中又给出通过令牌桶算法进行资源分配的方式,通过令牌桶算法进行资源分配时支持一定程度上的突发请求,但能处理的突发请求的多少取决于令牌桶的容量。当出现突发请求时,为处理突发请求瞬间消耗掉令牌桶中剩余的所有资源,但还可能存在未处理的突发请求,针对未处理的突发请求,则需要以资源的生产速率为限逐步处理。
因此,当出现大量的突发请求时,由于令牌桶的容量有限,消耗掉令牌桶中剩余的所有资源也无法处理完所有突发请求,剩余的未处理的突发请求则需要根据令牌桶对应的资源的生产速率对未处理的突发请求进行处理,导致处理时延过高。
图1示例性的给出了相关技术中一种资源分配的方法,令牌桶算法采用恒定的生产速率产生资源,并将产生的资源放入到令牌桶中,令牌桶有固定的容量,当令牌桶中的资源数目超过令牌桶容量时,新增的资源将从令牌桶中溢出,即丢弃新增的资源;当租户需要使用资源时,将从令牌桶中获取资源。
因此,通过增加令牌桶的容量可以解决处理大量突发请求带来的处理时延过高的问题。但是通过增加令牌桶的容量,瞬间消耗掉过多的资源,有可能超过总资源的承受能力,导致共享资源的雪崩效应。
有鉴于此,本申请实施例提供一种支持突发请求的资源分配方法,该资源分配方法基于对各个资源类型设置两个令牌桶,即第一令牌桶和第二令牌桶,并通过令牌桶算法进行资源的动态分配,避免共享的雪崩效应,降低处理时延。
在本申请中,消耗第二资源中的资源发送数据处理请求,因此针对小量的突发请求,通过消耗第二令牌桶中的剩余资源及时处理,针对大量的突发请求,按照不小于流入第一令牌桶中的资源流入速率的流出速率,将第一令牌桶中保存的资源转存至第二令牌桶中,并支持按时间递减的梯度控制策略。
在第一时间段内瞬间消耗第二令牌桶中的剩余资源处理突发请求,即在第一时间内以最大速率及时处理突发请求;
在第二时间段内以大于流入第一令牌桶中的资源对应的流入速率的流出速率,从第一令牌桶中获取资源,并通过消耗获取的资源处理突发请求,因此在第二时间段内处理突发请求的速率与大于流入速率的流出速率成正比,即处理突发请求的时间与大于流入速率的流出速率成正比;
在第三时间段内以等于流入第一令牌桶中的资源对应的流入速率的流出速率,从第一令牌桶中获取资源,并通过消耗获取的资源处理突发请求,因此在第三时间段内处理突发请求的速率与等于流入速率的流出速率成正比,即处理突发请求的时间与等于流入速率的流出速率成正比。
因此,本申请中不会一次性分配处理大量突发请求所需的资源,而是按照梯度式流出速率将第一令牌桶中的资源转存至第二令牌桶中,能够较好的平衡共享资源的分配,避免共享资源的雪崩响应;且针对大量突发请求的情况,消耗第二令牌桶中的资源及时处理部分突发请求后,剩余的未处理的突发请求则按照大于第一令牌桶对应的资源的生产速率对未处理的突发请求进行处理,资源生产速率增加,突发请求等待时间减少,因此降低处理时延。
在介绍完本申请实施例的设计思想之后,下面对本申请实施例的技术方案能够适用的应用场景做一些简单介绍。需要说明的是,以下介绍的应用场景仅用于说明本申请实施例而非限定。在具体实施过程中,可以根据实际需要灵活地应用本申请实施例提供的技术方案。
图2示例性的提供了本申请实施例的一种应用场景示意图,该应用场景中包括终端设备20和服务器21。
其中,终端设备20中安装运行有各种客户端,针对各个客户端可以接收用户触发的数据处理请求,终端设备20为用户使用的电子设备,该电子设备可以是个人计算机、手机、平板电脑、笔记本、电子书阅读器等具有一定计算能力并且运行有即时通信类软件及网站或者社交类软件及网站的计算机设备。
服务器21可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
在一种可选的实施方式中,终端设备20与服务器21之间可以通过通信网络进行通信。通信网络是有线网络或无线网络。终端设备20以及服务器21可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
在一种可能的实现方式中,接收到用户针对一个客户端触发的数据处理请求,当发送该数据处理请求时,为该数据处理请求分配所需的资源,以使数据处理请求顺利发送到服务器。
在一种可能的实现方式中,本申请采用云计算方式为终端设备20提供服务。云计算(cloud computing)是一种计算模式,它将计算请求分布在大量计算机构成的资源池上,其中每个计算机可以作为一个服务器,使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的,并且可以随时获取,按需使用,随时扩展,按使用付费。
采用云存储的方式存储服务器中的数据。云存储(cloud storage)是在云计算概念上延伸和发展出来的一个新的概念,分布式云存储系统(以下简称存储系统)是指通过集群应用、网格技术以及分布存储文件系统等功能,将网络中大量各种不同类型的存储设备(存储设备也称之为存储节点)通过应用软件或应用接口集合起来协同工作,共同对外提供数据存储和业务访问功能的一个存储系统。
目前,存储系统的存储方法为:创建逻辑卷,在创建逻辑卷时,就为每个逻辑卷分配物理存储空间,该物理存储空间可能是某个存储设备或者某几个存储设备的磁盘组成。客户端在某一逻辑卷上存储数据,也就是将数据存储在文件系统上,文件系统将数据分成许多部分,每一部分是一个对象,对象不仅包含数据而且还包含数据标识(IDentity,ID)等额外的信息,文件系统将每个对象分别写入该逻辑卷的物理存储空间,且文件系统会记录每个对象的存储位置信息,从而当客户端请求访问数据时,文件系统能够根据每个对象的存储位置信息让客户端对数据进行访问。
存储系统为逻辑卷分配物理存储空间的过程,具体为:按照对存储于逻辑卷的对象的容量估量(该估量往往相对于实际要存储的对象的容量有很大余量)和独立冗余磁盘阵列(Redundant Array ofIndependent Disk,RAID)的组别,预先将物理存储空间划分成分条,一个逻辑卷可以理解为一个分条,从而为逻辑卷分配了物理存储空间。
基于图2的应用场景,下面对本申请实施例中涉及的资源分配的方法进行示例说明。
在本申请实施例中,为了保证多租户间的资源隔离,针对各个租户对应的各个资源类型分别设置对应的第一令牌桶和第二令牌桶。如图3所示,图3示例性的提供了本申请实施例中针对任一资源类型设置第一令牌桶和第二令牌桶的示意图。
其中,第一令牌桶和第二令牌桶中保存的资源是相同的。
需要说明的是,资源类型包括但不限于带宽资源对应的资源类型、每秒流入流出操作数(Input/Output Oprations Per Second,IOPS)资源对应的资源类型中的至少一种;本申请中的资源包括但不限于存储资源、网络资源中的至少一种。
在一种可能的实现方式中,为各个资源类型设置了对应的第一令牌桶和第二令牌桶后,就需要向第一令牌桶和第二令牌桶中分配资源,以消耗资源发送数据处理请求。
下面,以一个资源类型为例,进行举例说明。
请参照图4,图4示例性提供了本申请实施例的针对资源类型进行资源分配的方法,该方法应用于各种需要共享资源分配的场景中,该方法包括如下步骤:
步骤S400,在资源类型对应的第一令牌桶中,按照预设的流入速率保存最新生成的资源。
结合图3进行说明,设针对带宽资源设置了第一令牌桶和第二令牌桶,且按照Rtoken/s的流入速率持续产生带宽资源,并流入到带宽资源对应的第一令牌桶中,R为正整数。
其中,流入速率就是生产资源的生产速率,是由流控系统通过限制存储性能参数决定的;存储性能参数包括但不限于带宽、IOPS、吞吐量中的至少一种。
需要说明的是,令牌桶中的资源也可以称为资源。
步骤S401,在确定资源类型对应的第二令牌桶中的剩余资源数目未达到预设的第二上限值时,按照第一流出速率,将第一令牌桶中已保存的资源转存至相应的第二令牌桶中,第一流出速率不小于流入速率。
结合图3进行说明,按照B token/s的流出速率,将第一令牌桶中已保存的带宽资源转存至相应的第二令牌桶中。即流出速率是资源流出第一令牌桶中的流出速率,在本申请中流出速率作为资源流入第二令牌桶中的流入速率,第二令牌桶的容量小于第一令牌桶的容量。
由于在发送数据处理请求中,消耗第二资源中的资源,因此第二令牌桶中的剩余资源数目会一直小于预设的第二上限值,且为了降低数据处理请求的时延,需要保证资源流入第二令牌桶中的速率大于等于资源流入第一令牌桶的速率,即需要保证第一令牌桶的流出速率大于等于第一令牌桶的流入速率。
在一种可能的实现方式中,在资源流出第一令牌桶的流出速率不小于资源流入第一令牌桶的流入速率的情况下,当消耗资源的速率小于资源流入第一令牌桶中的流入速率时,消耗资源的速率也小于流出第一令牌桶的流出速率,此时流出速率大于流入速率大于消耗资源的消耗速率,即减少消耗第二令牌桶中的资源数目,因此若继续采用不小于流入速率的第一流出速率持续将第一令牌桶中的资源转存至第二令牌桶中,则一定时间后第二令牌桶中的资源达到上限,继续转存到第二令牌桶中的资源将从第二令牌桶中溢出,即继续转存至第二资源中的资源丢弃,且此时第一令牌桶也不会达到预设的第一上限值,最终造成资源浪费;
因此,在第一令牌桶中的资源转存至第二令牌桶中时,在确定资源类型对应的第二令牌桶中的剩余资源数目已达到预设的第二上限值时,为了避免资源浪费,按照第二流出速率,将第一令牌桶中已保存的资源转存至相应的第二令牌桶中,第二流出速率小于流入速率。
因此,本申请实施例中,资源从第一令牌桶中的流出速率与第二令牌桶中的剩余资源数目相关,包括如下情况:
情况一:在第二令牌桶中的剩余资源数目未达到预设的第二上限值时。
由于发送数据处理请求时,消耗第二令牌桶中的资源,因此在确定资源类型对应的第二令牌桶中的剩余资源数目未达到预设的第二上限值之后,为了降低处理数据处理请求的时间,需要保证以较大的速率将第一令牌桶中的资源转存至第二令牌桶中,即保证资源流出第一令牌桶中的流出速率要大于等于资源流入第一令牌桶中的流入速率。
也就是说,获取资源的速率较大,获取发送数据处理请求的目标资源的资源总量的时间减少,因此消耗发送数据处理请求的时间降低。
由于流入速率是流控系统基于存储性能参数进行设置的,是固定不变的,因此需要根据流入速率,确定不小于流入速率的流出速率。
此时基于流入速率,从预设的第一流出速率区间中,选取不小于流入速率的一个流出速率,作为所述第一流出速率;并按照第一流出速率,将第一令牌桶中已保存的资源转存至相应的第二令牌桶中。
其中,第一流出速率区间是由流控系统预先设置的,第一流出速率区间的上限值大于资源流入第一令牌桶中的流入速率对应的速率值,因此在第一流出速率区间中查找任一大于等于流入速率对应的速率值的流出速率作为第一流出速率。
需要说明的是,本申请中第一流出速率区间的下限值可以为0,可以为小于流入速率对应的速率值的正整数,可以为流入速率对应的速率值。
在本申请实施例中,第一流出速率与第一令牌桶中的剩余资源数目相关。
当第一令牌桶中的剩余资源数目不为零时:
由于第一令牌桶中的剩余资源数目不为零,为了加快处理数据处理请求,应提升将第一令牌桶中的资源转存至第二令牌桶中的速率,即按照第一流出速率大于流入速率的方式,将第一令牌桶中已保存的资源转存至相应的第二令牌桶中;
也就是说,当第一令牌桶中有资源剩余时,在第一令牌桶中新增资源的同时将第一令牌桶中的资源转存至第二令牌桶中,此时不仅可以将新增数目的资源全部转存至第二令牌桶中,还可以额外增加令牌桶中剩余的资源,即第一流出速率大于流入速率;
为了更快处理数据处理请求,优选的,将第一流出速率区间中的上限对应的流出速率作为第一流出速率。
当第一令牌桶中的剩余资源数目为零:
按照第一流出速率等于流入速率的方式,将第一令牌桶中已保存的资源转存至相应的第二令牌桶中;
由于第一令牌桶中的剩余资源数目为零,为了加快处理数据处理请求,最快将第一令牌桶中的资源转存至第二令牌桶中的方式为,第一令牌桶中新增了多少资源,就将新增的资源转存至第二令牌桶中,也就是说第一流出速率等于流入速率。
举例说明:
设流入第一令牌桶的流入速率为5资源/秒,第一令牌桶中的剩余资源数目处于达到预设的第一上限值设100资源,第一流出速率区间为[0,10],第二令牌桶中的剩余资源数目达到预设的第二上限值50资源;
当有大量数据处理请求需要发送时,设发送大量数据处理请求的总共所需的资源为260资源时,最先消耗第二令牌桶中的50资源处理部分数据处理请求,之后从第一流出速率区间中选择最大的流出速率10资源/秒作为第一流出速率将第一令牌桶中的100资源转存至第二令牌桶中,在将第一令牌桶中的资源转存到第二令牌桶中的同时,第一令牌桶还按照5资源/秒的流入速率生成令牌,因此可以按照10资源/秒将第一令牌桶中的资源转存至第二令牌桶中的时间为19秒,此时第一令牌桶中的剩余资源为0,按照10资源/秒转存到第二令牌桶中的资源总共有190资源,此时发送数据处理请求一共消耗了240资源,此时并为将所有数据处理请求发送,剩余的20资源,将按照资源流入第一令牌桶中的流入速率5资源/秒将第一令牌桶中最新生成的资源转存至第二令牌桶中。
情况二:在第二令牌桶中的剩余资源数目已达到预设的第二上限值时。
在本申请实施例中,在资源流出第一令牌桶的流出速率不小于资源流入第一令牌桶的流入速率的情况下,消耗第二令牌桶中的消耗速率小于资源流入第一令牌桶中的流入速率时:
由于资源流入第二令牌桶的流入速率等于资源流出第一令牌桶中的流出速率,资源流出第一令牌桶的流出速率不小于资源流入第一令牌桶的流入速率,因此流入第二令牌桶中的流入速率大于流出第二令牌桶中的流出速率,按照此情况,持续一定时间后第二令牌桶中的资源将达到预设的第二上限值。
由于令牌桶算法的特性,当第二令牌桶中的剩余资源数目达到预设的第二上限值时,若继续采用资源流出第一令牌桶中的流出速率不小于资源流入第一令牌桶的流入速率,则继续从第一令牌桶中转存的资源将从第二令牌桶中溢出,将无法继续在第二令牌桶中保存,而是将继续保存的资源丢弃,导致第二令牌桶中新增的资源浪费,且第一令牌桶的资源无法达到预设的第一上限值。
此时为了保证资源不被浪费,以及在消耗资源的消耗流速突然增加时,可及时发送数据处理请求,降低处理时延,本申请实施例中,在第二令牌桶中的剩余资源数目已达到预设的第二上限值后,对第一令牌桶中的资源进行累积,此时可以控制资源流出第一令牌桶的第二流出速率小于资源流入第一令牌桶的流入速率,由于流出速率小于流入速率,持续一定时间后,第一令牌桶的剩余资源数目也可以达到预设的第一上限值。
因此,消耗第二令牌桶中的消耗速率小于资源流入第一令牌桶中的流入速率时,在确定资源类型对应的第二令牌桶中的剩余资源数目已达到所述预设的第二上限值之后,基于流入速率,从预设的第二流出速率区间中,选取小于流入速率的一个流出速率,作为第二流出速率,并按照第二流出速率,将所述第一令牌桶中已保存的资源转存至相应的第二令牌桶中。
其中,第二流出速率区间是由流控系统预先设置的,第二流出速率区间的下限值小于资源流入第一令牌桶中的流入速率对应的速率值,因此在第二流出速率区间中查找任一小于流入速率对应的速率值的流出速率作为第二流出速率。
需要说明的是,为了加快第一令牌桶中的剩余资源数目达到预设的第一上限值的时间,在第二令牌桶中的剩余资源数目达到预设的第二上限值时,优选的将第二流出速率控制为0,即不向第二令牌桶中转发资源。
继针对在第二令牌桶中的剩余资源数目未达到预设的第二上限值时的例子进行说明:
设当大量的数据处理请求全部发送后,未有数据处理请求到达,此时不需要消耗第二令牌桶中的资源,因此消耗资源的速率为0资源/秒。且当前第一令牌桶中的剩余资源数目为0,第二令牌桶中的资源数目为0,资源按照5资源/秒的流入速度将生成的资源保存到第一令牌桶中。由于消耗第二令牌桶中的资源发送数据处理请求,因此需要保证第二令牌桶中存有剩余资源,故继续按照5资源/秒的第一流出速率将第一令牌桶中最新生成的资源转存至第二令牌桶中,当10秒后,第二令牌桶中的剩余资源数目达到预设的第二上限值50资源,继续转存至第二令牌桶中的资源将被丢弃,且第一令牌桶中剩余资源数目为0。
从针对在第二令牌桶中的剩余资源数目未达到预设的第二上限值时的例子可知,第一令牌桶中存有剩余资源时处理数据处理请求的时延,相比较第一令牌桶中没有剩余资源时处理数据处理请求的时延小,因此为了加快处理时延以及避免资源浪费,将对第一令牌桶中的资源进行累积,要保证第一令牌桶中有资源剩余,需要保证流入速率大于第二流出速率,为了更快的使第一令牌桶中的剩余资源数目达到预设的第一上限值,优选的第二流出速率为0资源/秒,即没有资源流出第一令牌桶。
需要说明的是,第一令牌桶对应的预设的第二上限值、第二令牌桶对应的预设的第二上限值、第一流出速率区间以及第二速率流出区间都是通过流控系统进行设置的,且第一流出速率区间和第二流出速率区间为相同区间,或者,为不同区间。
在一种可能的实现方式中,第一令牌桶对应的预设的第二上限值、第二令牌桶对应的预设的第二上限值、流入速率、第一流出速率区间以及第二速率流出区间由存储系统通过流控系统进行设置。
下面,以存储系统为云硬盘(Cloud Block Storage,CBS)存储系统为例,图5示例性提供了本申请实施例中一种CBS存储系统示意图;
从图5中可知,CBS云硬盘是一种在云上广泛使用的分布是存储系统,单个存储集群的云盘数目超过1万块,且云盘中的资源是存储节点分配的,且云存储系统通过流控系统限制每块云盘的带宽、IOPS和吞吐量等性能参数,因此流控系统间接限制了流入速率、第一流出速率区间以及第二速率流出区间,流控系统还限制了第一令牌桶对应的第一上限值和第二令牌桶对应的第二上限值。
在本申请实施例中,将第一令牌桶中已保存的资源转存至相应的第二令牌桶中之后,第二令牌桶中保存的资源用于发送数据处理请求时使用。
因此接收到客户端发送的数据处理请求时,基于数据处理请求确定发送数据处理请求时所需的目标资源,并确定目标资源的资源类型,进一步确定数据处理请求所需的目标资源关联的第二令牌桶中的剩余资源数目。
在确定了第二令牌桶中的剩余资源数目后,将第二令牌桶中的剩余资源数目与发送数据处理请求所需的目标资源数目进行比较,确定第二令牌桶中的剩余资源数目是否不小于发送数据处理资源所需的目标资源数目,即确定第二令牌桶中的剩余资源数目是否满足发送数据处理资源。
确定第二令牌桶中的剩余资源数目不小于发送数据处理资源所需的目标资源数目:
在确定第二令牌桶中的剩余资源数目不小于发送数据处理资源所需的目标资源数目后,将从第二令牌桶中的剩余资源中,获取符合目标资源数目的一批资源,并将一批资源分配给数据处理资源,以通过消耗一批资源发送数据处理资源。
比如,发送数据处理请求所需100M带宽,此时带宽对应的第二令牌桶中的剩余带宽为200M,因此将从第二令牌桶中获取100M带宽分配给数据处理请求,以发送数据处理请求。
确定第二令牌桶中的剩余资源数目小于发送数据处理资源所需的目标资源数目:
在确定第二令牌桶中的剩余资源数目小于发送数据处理资源所需的目标资源数目后,此时消耗第二令牌桶中的剩余的所有资源,也无法发送数据处理请求,因此需要等待第二令牌桶中的剩余资源数目不小于发送数据处理资源所需的目标资源数目,并从第二令牌桶中的剩余资源中,获取符合目标资源数目的一批资源,并将一批资源分配给数据处理资源,以通过消耗一批资源发送数据处理资源。
比如,发送数据处理请求所需100M带宽,此时带宽对应的第二令牌桶中的剩余带宽为50M,因此需要从第一令牌桶中转存50M带宽至第二令牌桶中后,第二令牌桶中的剩余资源不小于100M带宽时,将从第二令牌桶中获取100M带宽分配给数据处理请求,以发送数据处理请求。
在本申请实施例中,处理数据处理请求的时间即等待第二令牌桶中的剩余资源数目不小于发送数据处理请求所需的目标资源数目的时间,是由第一令牌桶中的剩余资源数目和第二令牌桶中剩余资源数目决定的;
当接收到大量的数据处理请求时,处理接收到的各个数据处理请求时,针对任一数据处理请求,将数据处理请求所需的目标资源数目与第二令牌桶中的剩余资源数目进行比较,并根据比较结果发送数据处理请求。
当第二令牌桶中的剩余资源数目不小于发送数据处理资源所需的目标资源数目时,可以直接从第二令牌桶中获取目标资源数目的一批资源分配给数据处理请求,并发送数据处理资源。
当第二令牌桶中的剩余资源数目小于发送数据处理资源所需的目标资源数目,且第一令牌桶中保存的剩余资源数目不为零,此时按照大于流入速率的第一流出速率,将第一令牌桶中已保存的资源转存至第二令牌桶中,直至第二令牌桶中的剩余资源数目不小于数据处理请求所需的资源数目时,获取符合目标资源数目的一批资源分配给数据处理请求,并发送数据处理资源;
根据从第一令牌桶中获取资源的速率,可以确定发送数据处理请求的等待时间,因此可以确定出发送数据处理请求的速率,以及时长。
当第二令牌桶中的剩余资源数目小于发送数据处理资源所需的目标资源数目,且第一令牌桶中保存的剩余资源数目为零,此时按照等于流入速率的第一流出速率,将第一令牌桶中已保存的资源转存至第二令牌桶中,直至第二令牌桶中的剩余资源数目不小于数据处理请求所需的资源数目时,获取符合目标资源数目的一批资源分配给数据处理请求,并发送数据处理资源;
根据从第一令牌桶中获取资源的速率,可以确定发送数据处理请求的等待时间,因此可以确定出发送数据处理请求的速率,以及时长。
如图6所示,图6示例性提供了本申请实施例中一种发送大量数据处理资源的时延曲图。
采用极端的方式对图6进行理解,可以理解为:
第一令牌桶和第二令牌桶中的剩余资源都已达到上限,当接收到大量的数据处理请求时,首先消耗了第二令牌桶中剩余的所有资源,发送数据处理请求中第一部分数据处理请求,即立即发送第一部分数据处理请求,因此发送第一部分数据处理请求的时延最短,速率P token/s最大。
发送第一部分数据处理请求后,当接收到的数据处理请求仍存在未发送的数据处理请求时,由于第一令牌桶中的剩余资源数目不为零,按照大于流入速率的第一流出速率将第一令牌桶中的资源转存至第二令牌桶中,转存至第二令牌桶中的资源用于发送数据处理请求中第二部分数据处理请求。因此发送第二部分数据处理请求相比较第一部分数据处理请求需要等待资源符合发送数据处理请求所需的资源后,才可发送数据处理请求,需要等待时间,因此发送第二部分数据处理请求的时延Yms相比发送第一部分数据处理请求的时延Xms,处理时延增加,发送第二部分数据处理请求的速率Q token/s相对第一部分数据处理请求降低;
需要说明的是,发送第二部分数据处理请求的速率Q token/s,即第二令牌桶的流入速率,第二令牌桶的流入速率大于第一令牌桶的流入速率,此时Q token/s大于B token/s。
发送第二部分数据处理请求后,当接收到的数据处理请求仍存在未发送的数据处理请求时,由于第一令牌桶中的剩余资源数目为零,按照等于流入速率的第一流出速率将第一令牌桶中的资源转存至第二令牌桶中,转存至第二令牌桶中的资源用于发送数据处理请求中第三部分数据处理请求。由于转发资源的速率降低,因此发送第三部分数据处理请求的时延Zms相比较发送第二部分数据处理请求的时延Yms,处理时延增加,发送第三部分数据处理请求的速率N token/s相对第二部分数据处理请求降低;
需要说明的是,发送第三部分数据处理请求的速率N token/s,即第二令牌桶的流入速率,第二令牌桶的流入速率等于第一令牌桶的流入速率,此时N token/s等于B token/s。
在本申请实施例中,当第三部分数据处理请求未发送完之前,接收到新的数据处理请求,则采用N token/s的速率处理数据处理请求的时延将持续延长。
需要说明的是,第一部分数据处理请求、第二部分数据处理请求、第三部分数据处理请求的总和为接收到的大量数据处理请求。
在本申请中,当接收到数据处理资源时,消耗第二令牌桶中的资源发送数据处理资源,当接收到小量突发的数据处理资源时,可以通过消耗第二令牌桶中的所有资源,及时发送数据处理资源;当接收到大量突发的数据处理资源时,可以先消耗第二令牌桶中的所有资源,及时发送数据处理资源,同时按照不小于流入速率的第一流出速率及时为第二令牌桶转发资源,支持以不小于流入速率的第一流出速率处理突发的数据处理资源,减少处理时延,且能够较好的平衡共享资源的分配,避免共享资源的雪崩效应。
基于同一发明构思,本申请实施例还提供了一种资源分配的装置700,如图7所示,该装置700包括:保存模块701,以及转存模块702;其中:
保存模块701,用于在资源类型对应的第一令牌桶中,按照预设的流入速率保存最新生成的资源;
转存模块702,用于在确定资源类型对应的第二令牌桶中的剩余资源数目未达到预设的第二上限值时,按照第一流出速率,将第一令牌桶中已保存的资源转存至相应的第二令牌桶中,第一流出速率不小于流入速率;
其中,第二令牌桶中保存的资源,用于分配给接收到的数据处理请求,数据处理请求所需的目标资源的资源类型包括资源类型。
在一种可能的实现方式中,转存模块702还用于:
在资源类型对应的第一令牌桶中,按照预设的流入速率保存最新生成的资源之后,在确定资源类型对应的第二令牌桶中的剩余资源数目已达到预设的第二上限值时,按照第二流出速率,将第一令牌桶中已保存的资源转存至相应的第二令牌桶中,第二流出速率小于流入速率。
在一种可能的实现方式中,转存模块702还用于:
在确定资源类型对应的第二令牌桶中的剩余资源数目未达到预设的第二上限值之后,在按照第一流出速率,将第一令牌桶中已保存的资源转存至相应的第二令牌桶中之前,基于流入速率,从预设的第一流出速率区间中,选取不小于流入速率的一个流出速率,作为第一流出速率。
在一种可能的实现方式中,转存模块702还用于:
在确定资源类型对应的第二令牌桶中的剩余资源数目已达到预设的第二上限值之后,在按照第二流出速率,将第一令牌桶中已保存的资源转存至相应的第二令牌桶中之前,基于流入速率,从预设的第二流出速率区间中,选取小于流入速率的一个流出速率,作为第二流出速率。
在一种可能的实现方式中,第一流出速率区间和第二流出速率区间为相同区间,或者,为不同区间;
第一流出速率区间以及第二流出速率区间是流控系统预先配置的。
在一种可能的实现方式中,转存模块702具体用于:
若第二令牌桶中的剩余资源数目未达到预设的第二上限值,且第一令牌桶中的剩余资源数目不为零,则按照第一流出速率大于流入速率的方式,将第一令牌桶中已保存的资源转存至相应的第二令牌桶中;
若第二令牌桶中的剩余资源数目未达到预设的第二上限值,且第一令牌桶中的剩余资源数目为零,则按照第一流出速率等于流入速率的方式,将第一令牌桶中已保存的资源转存至相应的第二令牌桶中。
在一种可能的实现方式中,转存模块702还用于:
接收到客户端发送的数据处理请求时,基于数据处理请求所需的目标资源的资源类型,确定目标资源关联的第二令牌桶中的剩余资源数目;
若确定第二令牌桶中的剩余资源数目不小于发送数据处理请求所需的目标资源数目,则从第二令牌桶中的剩余资源中,获取符合所述目标资源数目的一批资源;
将一批资源分配给所述数据处理请求,并发送数据处理请求。
为了描述的方便,以上各部分按照功能划分为各单元(或模块)分别描述。当然,在实施本申请时可以把各单元(或模块)的功能在同一个或多个软件或硬件中实现。
在介绍了本申请示例性实施方式的资源分配的方法及装置后,接下来介绍本申请的另一示例性实施方式的资源分配的计算设备。
所属技术领域的技术人员能够理解,本申请的各个方面可以实现为系统、方法或程序产品。因此,本申请的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
在一种可能的实现方式中,本申请实施例提供的资源分配计算设备可以至少包括处理器和存储器。其中,存储器存储有程序代码,当程序代码被处理器执行时,使得处理器执行本申请中各种示例性实施方式的资源分配方法中的任一步骤。
下面参照图8来描述根据本申请的这种实施方式的资源分配计算设备800。如图8的资源分配计算设备800仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图8所示,计算设备800的组件可以包括但不限于:上述至少一个处理器801、上述至少一个存储器802、连接不同系统组件(包括存储器802和处理器801)的总线803。
总线803表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储器802可以包括易失性存储器形式的可读介质,例如随机存取存储器(RAM)8021和/或高速缓存存储器8022,还可以进一步包括只读存储器(ROM)8023。
存储器802还可以包括具有一组(至少一个)程序模块8024的程序/实用工具8025,这样的程序模块8024包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
计算设备800也可以与一个或多个外部设备804(例如键盘、指向设备等)通信,还可与一个或者多个使得用户能与计算设备800交互的设备通信,和/或与使得该计算设备800能与一个或多个其它计算装置进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/流出(I/O)接口805进行。并且,计算设备800还可以通过网络适配器806与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图8所示,网络适配器806通过总线803与用于计算设备800的其它模块通信。应当理解,尽管图8中未示出,可以结合计算设备800使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
在一些可能的实施方式中,本申请提供的资源分配的方法的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在计算机设备上运行时,程序代码用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的资源分配的方法中的步骤。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请的实施方式的短信息的发送控制的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在计算装置上运行。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由命令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。
应当注意,尽管在上文详细描述中提及了装置的若干单元或子单元,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之,上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外,尽管在附图中以特定顺序描述了本申请方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (8)
1.一种资源分配的方法,其特征在于,该方法包括:
在资源类型对应的第一令牌桶中,按照预设的流入速率保存最新生成的资源,任一资源类型设置有对应的第一令牌桶和第二令牌桶,其中,第一令牌桶和第二令牌桶中保存的资源是相同的;
在确定所述资源类型对应的第二令牌桶中的剩余资源数目未达到预设的第二上限值时,按照第一流出速率,将所述第一令牌桶中已保存的资源转存至相应的第二令牌桶中,所述第一流出速率不小于所述流入速率;其中,所述第二令牌桶中保存的资源,用于分配给接收到的数据处理请求,所述数据处理请求所需的目标资源的资源类型包括所述资源类型;以使针对大量的突发请求,按照不小于流入第一令牌桶中的资源流入速率的流出速率,将所述第一令牌桶中保存的资源转存至所述第二令牌桶中;
在确定所述资源类型对应的第二令牌桶中的剩余资源数目已达到所述预设的第二上限值时,按照第二流出速率,将所述第一令牌桶中已保存的资源转存至相应的第二令牌桶中,所述第二流出速率小于所述流入速率;以使针对小量的突发请求,通过消耗所述第二令牌桶中的剩余资源及时处理,形成按时间递减的梯度控制策略。
2.如权利要求1所述的方法,其特征在于,所述在确定所述资源类型对应的第二令牌桶中的剩余资源数目未达到预设的第二上限值之后,在按照第一流出速率,将所述第一令牌桶中已保存的资源转存至相应的第二令牌桶中之前,还包括:
基于所述流入速率,从预设的第一流出速率区间中,选取不小于所述流入速率的一个流出速率,作为所述第一流出速率;
在确定所述资源类型对应的第二令牌桶中的剩余资源数目已达到所述预设的第二上限值之后,在按照第二流出速率,将所述第一令牌桶中已保存的资源转存至相应的第二令牌桶中之前,还包括:
基于所述流入速率,从预设的第二流出速率区间中,选取小于所述流入速率的一个流出速率,作为所述第二流出速率。
3.如权利要求2所述的方法,其特征在于,所述第一流出速率区间和所述第二流出速率区间为相同区间,或者,为不同区间;
所述第一流出速率区间以及所述第二流出速率区间是流控系统预先配置的。
4.如权利要求1所述的方法,其特征在于,所述在确定所述资源类型对应的第二令牌桶中的剩余资源数目未达到预设的第二上限值时,按照第一流出速率,将所述第一令牌桶中已保存的资源转存至相应的第二令牌桶中,具体包括:
若所述第二令牌桶中的剩余资源数目未达到预设的第二上限值,且所述第一令牌桶中的剩余资源数目不为零,则按照所述第一流出速率大于所述流入速率的方式,将所述第一令牌桶中已保存的资源转存至相应的第二令牌桶中;
若所述第二令牌桶中的剩余资源数目未达到预设的第二上限值,且所述第一令牌桶中的剩余资源数目为零,则按照所述第一流出速率等于所述流入速率的方式,将所述第一令牌桶中已保存的资源转存至相应的第二令牌桶中。
5.如权利要求1所述的方法,其特征在于,所述将所述第一令牌桶中已保存的资源转存至相应的第二令牌桶中之后,还包括:
接收到客户端发送的数据处理请求时,基于所述数据处理请求所需的目标资源的资源类型,确定所述目标资源关联的第二令牌桶中的剩余资源数目;
若确定所述第二令牌桶中的剩余资源数目不小于发送所述数据处理请求所需的目标资源数目,则从所述第二令牌桶中的剩余资源中,获取符合所述目标资源数目的一批资源;
将所述一批资源分配给所述数据处理请求,并发送所述数据处理请求。
6.一种资源分配的装置,其特征在于,该装置包括:
保存模块,用于在资源类型对应的第一令牌桶中,按照预设的流入速率保存最新生成的资源,任一资源类型设置有对应的第一令牌桶和第二令牌桶,其中,第一令牌桶和第二令牌桶中保存的资源是相同的;
转存模块,用于在确定所述资源类型对应的第二令牌桶中的剩余资源数目未达到预设的第二上限值时,按照第一流出速率,将所述第一令牌桶中已保存的资源转存至相应的第二令牌桶中,所述第一流出速率不小于所述流入速率;以使针对大量的突发请求,按照不小于流入第一令牌桶中的资源流入速率的流出速率,将所述第一令牌桶中保存的资源转存至所述第二令牌桶中;
其中,所述第二令牌桶中保存的资源,用于分配给接收到的数据处理请求,所述数据处理请求所需的目标资源符合所述资源类型;
所述转存模块还用于:
在所述资源类型对应的第一令牌桶中,按照预设的流入速率保存最新生成的资源之后,在确定所述资源类型对应的第二令牌桶中的剩余资源数目已达到所述预设的第二上限值时,按照第二流出速率,将所述第一令牌桶中已保存的资源转存至相应的第二令牌桶中,所述第二流出速率小于所述流入速率;以使针对小量的突发请求,通过消耗所述第二令牌桶中的剩余资源及时处理,形成按时间递减的梯度控制策略。
7.一种资源分配的设备,其特征在于,该设备包括:存储器和处理器,其中,存储器,用于存储计算机指令;处理器,用于执行计算机指令以实现如权利要求1-5任一所述的方法。
8.一种计算机可读存储介质,其特征在于,计算机可读存储介质存储有计算机指令,计算机指令被处理器执行时实现如权利要求1-5任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011459935.8A CN112600761B (zh) | 2020-12-11 | 2020-12-11 | 一种资源分配的方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011459935.8A CN112600761B (zh) | 2020-12-11 | 2020-12-11 | 一种资源分配的方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112600761A CN112600761A (zh) | 2021-04-02 |
CN112600761B true CN112600761B (zh) | 2024-04-09 |
Family
ID=75192573
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011459935.8A Active CN112600761B (zh) | 2020-12-11 | 2020-12-11 | 一种资源分配的方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112600761B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115378878B (zh) * | 2021-05-21 | 2023-11-14 | 北京字跳网络技术有限公司 | Cdn的调度方法、装置、设备及存储介质 |
CN113839996B (zh) * | 2021-09-10 | 2024-04-09 | 北京星辰天合科技股份有限公司 | 对象存储分布式质量服务的方法及装置 |
CN114401226B (zh) * | 2022-02-21 | 2024-02-27 | 李超 | 一种流媒体数据的路由流量控制方法及系统 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101309219A (zh) * | 2008-06-27 | 2008-11-19 | 华为技术有限公司 | 一种分片报文的流量限制方法和装置 |
CN101646259A (zh) * | 2009-09-04 | 2010-02-10 | 杭州华三通信技术有限公司 | 一种无线局域网空口限速方法和一种无线网络设备 |
CN102664807A (zh) * | 2012-04-27 | 2012-09-12 | 华为技术有限公司 | 流量控制的方法与装置 |
CN105409171A (zh) * | 2013-06-25 | 2016-03-16 | 亚马逊科技公司 | 突发模式控制 |
US9413680B1 (en) * | 2012-09-26 | 2016-08-09 | Amazon Technologies, Inc. | Multi-tenant throttling approaches |
US9703602B1 (en) * | 2015-03-31 | 2017-07-11 | Amazon Technologies, Inc. | Burst throttling for multi-tenant storage services |
CN110198272A (zh) * | 2018-10-12 | 2019-09-03 | 腾讯科技(深圳)有限公司 | 一种流量控制方法及装置、存储介质 |
CN110932994A (zh) * | 2019-12-31 | 2020-03-27 | 深圳云天励飞技术有限公司 | 一种数据流量处理方法、装置、电子设备及存储介质 |
CN110971937A (zh) * | 2018-09-30 | 2020-04-07 | 武汉斗鱼网络科技有限公司 | 针对截图服务的调控方法、存储介质、电子设备及系统 |
CN111158878A (zh) * | 2019-12-30 | 2020-05-15 | 北京三快在线科技有限公司 | 资源转移请求线程控制方法、装置及存储介质 |
CN111385220A (zh) * | 2018-12-29 | 2020-07-07 | 北京华为数字技术有限公司 | 传输报文的方法和装置 |
CN111447150A (zh) * | 2020-02-29 | 2020-07-24 | 中国平安财产保险股份有限公司 | 访问请求限流方法、服务器及存储介质 |
CN111913885A (zh) * | 2020-08-07 | 2020-11-10 | 腾讯科技(深圳)有限公司 | 日志处理方法、装置、计算机可读存储介质及设备 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7289447B2 (en) * | 2003-10-21 | 2007-10-30 | Comcast Cable Holdings, Llc | Method and packet-level device for traffic regulation in a data network |
US7760641B2 (en) * | 2006-07-10 | 2010-07-20 | International Business Machines Corporation | Distributed traffic shaping across a cluster |
US8379630B2 (en) * | 2010-06-15 | 2013-02-19 | Qualcomm Incorporated | Methods and apparatus related to controlling access to communications resources |
US9178827B2 (en) * | 2013-08-05 | 2015-11-03 | Globalfoundries U.S. 2 Llc | Rate control by token buckets |
-
2020
- 2020-12-11 CN CN202011459935.8A patent/CN112600761B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101309219A (zh) * | 2008-06-27 | 2008-11-19 | 华为技术有限公司 | 一种分片报文的流量限制方法和装置 |
CN101646259A (zh) * | 2009-09-04 | 2010-02-10 | 杭州华三通信技术有限公司 | 一种无线局域网空口限速方法和一种无线网络设备 |
CN102664807A (zh) * | 2012-04-27 | 2012-09-12 | 华为技术有限公司 | 流量控制的方法与装置 |
US9413680B1 (en) * | 2012-09-26 | 2016-08-09 | Amazon Technologies, Inc. | Multi-tenant throttling approaches |
CN105409171A (zh) * | 2013-06-25 | 2016-03-16 | 亚马逊科技公司 | 突发模式控制 |
US9703602B1 (en) * | 2015-03-31 | 2017-07-11 | Amazon Technologies, Inc. | Burst throttling for multi-tenant storage services |
CN110971937A (zh) * | 2018-09-30 | 2020-04-07 | 武汉斗鱼网络科技有限公司 | 针对截图服务的调控方法、存储介质、电子设备及系统 |
CN110198272A (zh) * | 2018-10-12 | 2019-09-03 | 腾讯科技(深圳)有限公司 | 一种流量控制方法及装置、存储介质 |
CN111385220A (zh) * | 2018-12-29 | 2020-07-07 | 北京华为数字技术有限公司 | 传输报文的方法和装置 |
CN111158878A (zh) * | 2019-12-30 | 2020-05-15 | 北京三快在线科技有限公司 | 资源转移请求线程控制方法、装置及存储介质 |
CN110932994A (zh) * | 2019-12-31 | 2020-03-27 | 深圳云天励飞技术有限公司 | 一种数据流量处理方法、装置、电子设备及存储介质 |
CN111447150A (zh) * | 2020-02-29 | 2020-07-24 | 中国平安财产保险股份有限公司 | 访问请求限流方法、服务器及存储介质 |
CN111913885A (zh) * | 2020-08-07 | 2020-11-10 | 腾讯科技(深圳)有限公司 | 日志处理方法、装置、计算机可读存储介质及设备 |
Non-Patent Citations (2)
Title |
---|
QoS技术中令牌桶算法实现方式比较;李晓利;郭宇春;;中兴通讯技术;20070610(第03期);全文 * |
一个基于令牌桶的带宽动态分配研究;骆建歆;梁伟;刘超;;广东通信技术;20090315(第03期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112600761A (zh) | 2021-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112600761B (zh) | 一种资源分配的方法、装置及存储介质 | |
CN108509276B (zh) | 一种边缘计算环境中的视频任务动态迁移方法 | |
US10394477B2 (en) | Method and system for memory allocation in a disaggregated memory architecture | |
US20190324819A1 (en) | Distributed-system task assignment method and apparatus | |
US10680892B2 (en) | Managing servers with quality of service assurances | |
JP6290462B2 (ja) | ネットワーク・アクセス可能なブロック・ストレージのための協調アドミッション制御 | |
US8725875B2 (en) | Native cloud computing via network segmentation | |
US10609118B2 (en) | Adaptive communication control device | |
US8898674B2 (en) | Memory databus utilization management system and computer program product | |
US10671303B2 (en) | Controlling a storage system | |
US9940020B2 (en) | Memory management method, apparatus, and system | |
US20120297216A1 (en) | Dynamically selecting active polling or timed waits | |
US10411977B2 (en) | Visualization of workload distribution on server resources | |
US11907766B2 (en) | Shared enterprise cloud | |
US11470144B1 (en) | Optimization-based pool protection for a cloud provider network | |
WO2024016596A1 (zh) | 容器集群调度的方法、装置、设备及存储介质 | |
US9710302B2 (en) | Dynamic timeout period adjustment of service requests | |
US11709707B2 (en) | Low latency distributed counters for quotas | |
Anan et al. | SLA-based optimization of energy efficiency for green cloud computing | |
Xing et al. | Geographic-based service request scheduling model for mobile cloud computing | |
US11616725B1 (en) | Hierarchical token buckets | |
US11442629B2 (en) | I/O performance in a storage system | |
US10887381B1 (en) | Management of allocated computing resources in networked environment | |
US11233847B1 (en) | Management of allocated computing resources in networked environment | |
US20210044497A1 (en) | Hybrid approach for rate limiting in distributed systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40042985 Country of ref document: HK |
|
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |