CN114760327B - 云盘资源配置的调整方法及装置 - Google Patents
云盘资源配置的调整方法及装置 Download PDFInfo
- Publication number
- CN114760327B CN114760327B CN202210334260.7A CN202210334260A CN114760327B CN 114760327 B CN114760327 B CN 114760327B CN 202210334260 A CN202210334260 A CN 202210334260A CN 114760327 B CN114760327 B CN 114760327B
- Authority
- CN
- China
- Prior art keywords
- token
- cloud disk
- token bucket
- target cloud
- bucket
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000013468 resource allocation Methods 0.000 title claims description 25
- 238000012544 monitoring process Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims description 51
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000010485 coping Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000002699 waste material Substances 0.000 description 3
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/215—Flow control; Congestion control using token-bucket
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/104—Peer-to-peer [P2P] networks
- H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本说明书一个或多个实施例提供一种云盘资源配置的调整方法及装置,应用于服务器,所述服务器上针对部署的云盘设置有相应的令牌桶,所述令牌桶生成的令牌用于分配至针对相应云盘的IO请求,所述方法包括:监控目标云盘对应的令牌桶的令牌消耗情况,所述令牌消耗情况用于表明该令牌桶的令牌消耗速度是否超出相应的令牌发放速度;在云盘资源充足的情况下,根据所述令牌消耗情况,调整令牌发放速度,以调整针对所述目标云盘的资源配置。
Description
技术领域
本说明书一个或多个实施例涉及网络存储技术领域,尤其涉及一种云盘资源配置的调整方法及装置。
背景技术
在云存储服务发展迅速的现今,用户可以利用云盘通过网络存储和访问属于自己的数据,云存储服务将存储资源的管理等任务交由云存储服务提供者完成,使得用户无需关心存储硬件设备等条件,只需通过网络环境即可轻松便捷地访问属于自己的数据。用户根据需求选择不同级别的云存储,云储存服务提供者为用户提供具有相应资源配置的云盘。但是当有突发的针对云盘的数据访问需求时,IO请求的流量可能超出相应云盘的资源配置所能处理的范围,导致云盘所属服务器无法及时且成功地处理IO请求。
发明内容
有鉴于此,本说明书一个或多个实施例提供一种云盘资源配置的方法及装置。
为实现上述目的,本说明书一个或多个实施例提供技术方案如下:
根据本说明书一个或多个实施例的第一方面,提出了一种云盘资源配置的调整方法,应用于服务器,所述服务器上针对部署的云盘设置有相应的令牌桶,所述令牌桶生成的令牌用于分配至针对相应云盘的IO请求,所述方法包括:
监控目标云盘对应的令牌桶的令牌消耗情况,所述令牌消耗情况用于表明该令牌桶的令牌消耗速度是否超出相应的令牌发放速度;
在云盘资源充足的情况下,根据所述令牌消耗情况,调整令牌发放速度,以调整针对所述目标云盘的资源配置。
根据本说明书一个或多个实施例的第二方面,提出了一种云盘资源配置的调整装置,应用于服务器,所述服务器上针对部署的云盘设置有相应的令牌桶,所述令牌桶生成的令牌用于分配至针对相应云盘的IO请求,所述装置包括:
监控单元,用于监控目标云盘对应的令牌桶的令牌消耗情况,所述令牌消耗情况用于表明该令牌桶的令牌消耗速度是否超出相应的令牌发放速度;
调整单元,用于在云盘资源充足的情况下,根据所述令牌消耗情况,调整令牌发放速度,以调整针对所述目标云盘的资源配置。
根据本说明书一个或多个实施例的第三方面,提供了一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如第一方面所述的方法的步骤。
根据本说明书一个或多个实施例的第四方面,提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如第一方面所述的方法的步骤。
在本说明书所提供的技术方案中,在云盘资源充足的情况下,实现云盘资源的弹性分配,根据目标云盘对应的令牌桶中令牌的消耗情况,获取针对该目标云盘的数据访问情况,从而适应性调整针对该目标云盘的资源配置,以满足针对该目标云盘的数据访问需求。通过上述方法可以在云盘资源充足的情况下,将云盘资源弹性分配至存在突发的数据访问需求的目标云盘,以提高对应的目标云盘的IO请求的处理效率,避免因IO请求过多超出目标云盘原有资源配置的处理能力而导致的数据损失,同时提高资源的利用率,减少资源的浪费。
附图说明
图1是本说明书一示例性实施例提供的一种云盘资源配置的调整设备的架构示意图;
图2是本说明书一示例性实施例提供的一种云盘资源配置的调整方法的流程示意图;
图3是本说明书一示例性实施例提供的一种云盘所属服务器的部署结构示意图;
图4是本说明书一示例性实施例提供的一种具有多级令牌桶的云盘的资源配置示意图;
图5是本说明书一示例性实施例提供的一种电子设备的结构示意图;
图6是本说明书一示例性实施例提供的一种云盘资源配置的调整装置示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。
需要说明的是:在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中,其方法所包括的步骤可以比本说明书所描述的更多或更少。此外,本说明书中所描述的单个步骤,在其他实施例中可能被分解为多个步骤进行描述;而本说明书中所描述的多个步骤,在其他实施例中也可能被合并为单个步骤进行描述。
图1是本说明书示出的一云盘资源配置的调整设备的架构示意图。如图1所示,可以包括服务器11、服务器上部署的云盘12及与云盘12相应的令牌桶13、服务器上部署的云盘14及与云盘14相应的令牌桶15、网络16和电子设备17、电子设备18。
服务器11可以为包含一独立主机的物理服务器,或者,该服务器11也可以为主机集群承载的虚拟服务器。该服务器11上部署有云盘12、云盘14、令牌桶13以及令牌桶15,其中令牌桶生成的令牌用于分配至针对相应云盘的IO请求。在运行过程中,服务器11可以配置有云盘资源配置的调整装置,该装置可以采用软件和/或硬件的方式实现,以监控令牌桶13及令牌桶15的令牌消耗情况,在云盘资源充足的情况下,根据对应令牌桶中令牌的消耗情况调整对应云盘的资源配置。
电子设备17、电子设备18是指用户可以使用的一种类型的电子设备。实际上,用户显然还可以使用诸如下述类型的电子设备:手机、平板设备、笔记本电脑、掌上电脑(PDAs,Personal Digital Assistants)、可穿戴设备(如智能眼镜、智能手表等)等,本说明书一个或多个实施例并不对此进行限制。在运行过程中,电子设备17可以供用户向其对应的云盘12下发IO请求,该针对云盘12的IO请求需要消耗令牌桶13的令牌,服务器11监控该令牌桶13的令牌消耗情况,并根据消耗情况调整云盘12的资源配置。用户通过电子设备18向其对应的云盘14下发IO请求的过程与上述过程相类似。
而对于电子设备17、电子设备18与服务器11之间进行交互的网络16,可以包括多种类型的有线或无线网络。在一实施例中,该网络16可以包括公共交换电话网络(PublicSwitched Telephone Network,PSTN)和因特网。
用户在使用云盘的云存储服务时,通常需要根据需求选择不同级别的云存储服务,云存储服务提供者根据用户的选择为用户具有不同资源配置的云盘。当针对目标云盘存在突发的数据访问需求,若该云盘现有的资源配置无法提供应对该突发的数据访问需求的能力,则可能会导致对该部分突发数据访问需求相关的IO请求的处理失败,从而造成数据的损失。若云盘的资源配置较高,则在没有突发的数据访问需求时,云盘的资源并全部用于针对云盘的IO请求的处理,会造成资源的浪费。为了避免上述问题,本说明书提供一种云盘资源配置的调整方法,在云盘资源充足的情况下,实现云盘资源的弹性分配,根据目标云盘对应的令牌桶中令牌的消耗情况,获取针对该目标云盘的数据访问情况,从而适应性调整针对该目标云盘的资源配置,以满足针对该目标云盘的数据访问需求。通过上述方法可以在云盘资源充足的情况下,将云盘资源弹性分配至存在突发的数据访问需求的目标云盘,以提高对应的目标云盘的IO请求的处理效率,避免因IO请求过多超出目标云盘原有资源配置的处理能力而导致的数据损失,同时提高资源的利用率,减少资源的浪费。
下面结合图2对本说明书提出的一种云盘资源配置的调整方法进行具体说明。其中,图2为本说明书一示例性实施例提供的一种云盘资源配置的调整方法的流程示意图。该方法可以应用于如图3所示的服务器31,该服务器31上部署有云盘311,且在该服务器31中还设置有针对云盘311的令牌桶312。当云盘311的用户1针对云盘311发送IO请求时,该IO请求需要从云盘311对应的令牌桶312中获取相应的令牌用以传输数据。上述方法主要可以包括如下步骤:
S201,监控目标云盘对应的令牌桶的令牌消耗情况,所述令牌消耗情况用于表明该令牌桶的令牌消耗速度是否超出相应的令牌发放速度。
假设如图3所示的云盘311即为目标云盘,则服务器31需要监控目标云盘311对应的令牌桶312的令牌消耗情况。该令牌桶预设有一定的容量,且以一定的预设速度生成令牌。当令牌桶312中的部分令牌被取出用于完成对应的IO请求数据传输时,令牌桶312以该预设速度重新生成令牌填补令牌桶312中被消耗的部分令牌。若在某一时间段内IO请求数量多,且IO请求的报文长度需要较多数量的对应令牌进行数据的传输,可能导致令牌桶312中的令牌消耗速度超出令牌的发放速度,此时,令牌桶中令牌可能被消耗空,导致无法获得相应令牌的IO请求无法进行数据传输。在这种情况下,证明针对云盘311的数据访问需求已经超过云盘311的资源配置所能处理的范围,若想处理超出部分的IO请求,则需要调整针对云盘311的资源配置,为云盘311分配额外的资源。
S202,在云盘资源充足的情况下,根据所述令牌消耗情况,调整令牌发放速度,以调整针对所述目标云盘的资源配置。
在本说明书一示例性实施例中,可以以周期性获取令牌消耗情况的方式监控云盘311对应的令牌桶312的令牌消耗情况。例如,每100ms间隔时间获取一次令牌桶312的令牌消耗情况。当上述令牌消耗情况出现超出预设幅度的明显变化时,根据每周期内的变化幅度计算IO请求消耗令牌的速度,并将其与预设的令牌发放速度进行比较,根据比较的结果,对云盘311的资源配置进行相应地调整。
在本说明书一示例性实施例中,服务器同时还需要监控自身的云盘资源的消耗情况,在云盘资源充足的情况下,调整目标云盘的资源配置。其中,云盘资源为服务器为其上部署的云盘提供的资源,所述云盘资源可以包括:服务器中部署的云盘对应的令牌桶、IO请求处理队列和IO请求的服务线程、服务器的存储空间等。例如,假设目标云盘为如图3所示的云盘311。则除监控该云盘311对应的令牌桶312的令牌消耗情况外,还需监控服务器31的云盘资源的消耗情况,例如,该服务器的剩余存储空间、剩余IO请求处理队列数、剩余IO请求的服务线程数等。在服务器31的云盘资源充足的情况下,根据令牌桶312中令牌消耗情况,调整云盘311的资源配置。其中,针对目标云盘的资源配置包括:目标云盘对应的令牌桶中令牌的发放速度、用于处理针对目标云盘的IO请求的处理队列数和服务线程数等。
综合考虑服务器的云盘资源消耗情况,以及目标云盘对应的令牌桶中令牌的消耗情况,可以在监控目标云盘的资源消耗的同时,对该目标云盘所属的服务器的云盘资源的消耗情况进行掌握,便于进行资源的合理分配,避免将过多资源分配给目标云盘导致该目标云盘所处的服务器中部署的其他云盘的数据访问受到影响。在云盘资源充足的情况下,可以实现云盘资源的弹性分配,根据目标云盘对应的令牌桶中令牌的消耗情况,获取针对该目标云盘的数据访问情况,从而适应性调整针对该目标云盘的资源配置,以满足针对该目标云盘的数据访问需求。
在本说明书一示例性实施例中,当服务器中存在未被占用的剩余资源可以分配时,则可以认为该服务器的云盘资源充足。或者,云盘资源是否充足还可以根据云盘资源的消耗是否超过预设阈值来表征,当云盘资源的消耗未超过预设阈值时,云盘资源充足;当云盘资源消耗超过预设阈值时,云盘资源不充足。其中,预设阈值可以根据经验确定,该预设阈值可以为一个比例,例如,被消耗资源占据云盘资源的比例小于80%,证明云盘资源尚充足。当然,该预设阈值也可以为一组确定的数据,例如,可以规定,当云盘资源中未被占用的IO请求处理队列数量大于1且剩余IO请求服务线程数大于3时,可以认为云盘资源充足。
在云盘资源充足的情况下,可以根据目标云盘对应的令牌桶中令牌的消耗情况对目标云盘的资源配置进行如下的调整:
在目标云盘的令牌桶中令牌消耗速度超出令牌的发放速度,通过增加令牌发放速度的方式,增加针对所述目标云盘的资源配置。
假设目标云盘为如图3所示的云盘311,若根据监控情况获知,服务器31的云盘资源充足。例如,假设服务器31除部署于其上的各个云盘占用的资源外还存在可分配的剩余资源,则可以认为此时该服务器31的云盘资源尚处于充足状态。当针对云盘311的IO请求消耗令牌的速度超出其令牌的发放速度时,证明此时针对云盘311的突发的数据访问需求超出该云盘311原有的资源配置所能处理的范围。为了可以即时处理超出部分的数据访问需求,可以通过增加令牌桶312的令牌发放速度,为目标云盘——云盘311增加资源配置。由于令牌桶312中令牌的发放速度限制了针对云盘311的IO请求的处理速度,因此,当提高令牌的发放速度后,针对云盘311的IO请求的处理速度也相应提高。通过提高云盘311对应的令牌桶312的令牌发放速度可以增加针对所述目标云盘311的资源配置,以满足突发的数据访问需求。
在云盘资源充足的情况下,若目标云盘的令牌桶中令牌消耗速度低于令牌的发放速度,则不改变令牌的发放速度。此时,目标云盘所属服务器的云盘资源处于充足状态,不改变令牌的发放速度并不会影响部署于该服务器上的其他云盘的正常数据访问,因此,无须改变针对目标云盘的资源配置。
当然,在本说明书一示例性实施例中,在云盘资源不充足的情况下,可以进行如下的处理:
例如,在云盘资源不充足,且目标云盘的令牌桶中令牌消耗速度超出令牌的发放速度的情况下,可以考虑增加云盘资源,或者,迁移目标云盘至其他服务器。
例如,假设服务器31的云盘资源不充足。当针对云盘311的IO请求超出其令牌的发放速度时,虽然此时针对云盘311的突发的数据访问需求已经超出该云盘311原有的资源配置所能处理的范围,但是,由于该云盘311所属服务器31的云盘资源消耗情况导致没有可以为该云盘311分配的额外资源,因此,为了可以即时处理超出部分的数据访问请求,可以增加总体的云盘资源。例如,为该服务器31扩容,或者在所述服务器31为由集群承载的虚拟服务器时,可以为该服务器增加节点,以增加其可分配资源。对于增加目标云盘所属服务器的云盘资源,还可以通过其他的方法,在本说明书中,不做具体限制。
如果无法增加目标云盘的云盘资源,或者由于成本等其他因素,导致增加目标云盘的云盘资源困难,则可以考虑将云盘311转移至其他服务器,由其他云盘资源富足的服务器负责处理针对云盘311的数据访问请求。或者将该服务器31上部署的部分其他云盘转移至其他服务器。此时,原本由其他云盘占用的部分资源转化为剩余资源,该部分剩余资源可以分配给目标云盘311用以处理超出部分的数据访问请求。
但是若在云盘资源不充足的情况下,目标云盘的令牌桶中令牌消耗速度低于令牌的发放速度,可以减少针对目标云盘的资源配置。由于目标云盘的令牌桶中令牌消耗速度低于令牌的发放速度,则目标云盘的资源配置对于针对目标云盘的IO请求的处理能力有溢出,在整体资源争抢的情况下,可以将溢出部分资源从目标云盘处调配至其他需要额外资源的云盘进行IO请求的处理,并不会影响目标云盘的IO请求的处理,此种做法节省了云盘资源的消耗,在保证针对目标云盘的IO请求的处理能力的同时,可以为其他云盘提供了应对突发IO请求的资源,可以更加有效地利用云盘资源。
在本说明书一示例性实施例中,上述调整针对所述目标云盘的资源配置还可以包括:调整所述IO请求的处理队列数和\或所述IO请求的服务线程数。例如,假设目标云盘为如图3所示的云盘311,若根据监控情况获知,服务器31的云盘资源充足,服务器31还存在可分配的剩余资源,假设该剩余资源包括1个IO请求处理队列、3个IO请求的服务线程。此时若监测到令牌桶312的令牌消耗速度超过其令牌的发放速度,则证明针对云盘311的IO请求消耗令牌的速度大于令牌的发放速度,目标云盘——云盘311需要更多的资源以处理上述IO请求。因此,可以增加令牌桶312的令牌发放速度,同时增加针对云盘311的IO请求的处理队列数以及IO请求的服务线程数,将剩余资源中的1个IO请求处理队列以及3个IO请求的服务线程全部分配至云盘311。通过调整上述资源配置,当接收到针对云盘311的IO请求时,该IO请求可以快速从令牌桶312中获取对应的令牌并被下发至新增的IO请求处理队列,等待新增的IO请求服务线程执行该针对目标云盘311的IO请求。在本说明书另一示例性实施例中,可以根据目标云盘的IO请求处理情况决定具体调配的IO请求处理队列的数量和IO请求服务线程的数量。在目标云盘的IO请求处理队列及IO请求服务线程数量充足情况下,可以仅通过提高目标云盘的令牌桶的令牌发放速度的方式,使得目标云盘的IO请求处理队列及IO请求服务线程的处理能力得到充分利用。
由于被分配至云盘311的剩余资源为服务器的云盘资源中未被占用的资源,因此,使用该部分资源处理针对目标云盘的突发性的IO请求不会影响部署于服务器31上的其他云盘的正常功能。在云盘资源充足的情况下,将剩余资源弹性分配给具有突发性数据访问需求的云盘,可以在不影响其他云盘的正常功能的情况下,避免因数据访问需求超出目标云盘的资源配置处理能力导致数据损失的同时,有效提高云盘资源的利用率。
在本说明书一示例性实施例中,目标云盘对应于分别具有不同优先级的多个令牌桶,向针对目标云盘的IO请求优先分配具有较高优先级的令牌桶中的令牌,并优先处理所分配令牌的优先级相对更高的IO请求。
例如,假设目标云盘为如图3所示部署于服务器31中的云盘313,该云盘对应设置有两个令牌桶,分别为第一令牌桶314和第二令牌桶315,其中,第一令牌桶314具有较高的优先级,第二令牌桶315具有较低优先级。第一令牌桶314和第二令牌桶315均设置有固定的容量,且以确定的速度发放相应的令牌。针对云盘313的IO请求优先消耗第一令牌桶314中的令牌,当第一令牌桶314中的令牌被消耗空后,再消耗第二令牌桶315中的令牌。当针对云盘313的IO请求从令牌桶中获取相应数量的令牌时,同时也获取到相应的优先级。其中第一令牌桶314为该云盘对应的基础令牌桶,该令牌桶的令牌发放速度、容量对应于该云盘313的用户购买的云存储服务等级,用于满足云盘313正常的数据访问需求。第二令牌桶315为服务器提供的应对针对目标云盘313的突发数据访问流量的令牌桶。因此,可以将具有最高优先级的令牌桶称为基础令牌桶。而将其他除基础令牌桶外的令牌桶称为突发令牌桶。
当具有与令牌桶相对应的优先级的IO请求被下发至IO请求处理队列时,会根据优先级进行排序,并将IO请求下发至IO请求服务线程进行处理。此时,优先处理从基础令牌桶中获取令牌的IO请求,上述做法可以在保证该服务器中部署的云盘的基础令牌桶中IO请求被优先处理,既保证了服务器上部署的云盘的正常的数据访问需求被满足,又可以为部署有额外令牌桶的云盘提供应对超出正常数据访问流量范围的突发数据访问流量的资源配置。在本说明书一示例性实施例中,当监控到上述多级令牌桶中的令牌消耗速度超过其令牌发放速度时,调整除基础令牌桶外其他令牌桶的令牌发放速度。
当然,在本说明书一示例性实施例中,还可以为云盘提供数据大于2的令牌桶,以应对更大流量的突发性数据访问。通过分优先级设置对应的多个令牌桶可以提供应对不同级别的突发数据访问流量的资源配置,有效地防止由于突发数据访问导致的数据损失,提高云盘应对突发数据访问流量的处理能力。
在本说明书一示例性实施例中,服务器可以用于监视目标云盘的运行状态,获取其运行状态参数。可以根据经验针对每个运行状态参数预定义一个预警范围,当该运行状态参数的取值落入此预警范围内时,证明云盘的运行状态出现问题,此时开启对目标云盘对应的令牌桶的令牌消耗情况的监控。必要时,根据令牌消耗情况,调整针对目标云盘的资源配置。其中,调整针对目标云盘的资源配置的方法如上文中的实施例所述。
在本说明书一示例性实施例中,上述运行状态参数可以包括IO请求的延迟、处理IO请求的成功率、单位时间内的IO请求数量等参数。
例如,假设目标云盘为如图3所述的云盘311,对于该目标云盘的运行状态参数之一:IO请求的延迟,假设其预警范围为大于100微秒。此时,若检测到该云盘311的IO请求延迟为200微秒,由于其大于100微秒,因此,针对该云盘311的IO请求延迟落入其预警范围,则直接开启对云盘311对应的令牌桶312的令牌消耗情况的监控。并根据对监控获取的监控结果的分析,有针对性地调整该云盘的资源配置。具体的调整方法可以参考上文中的实施例。
IO请求延迟表明针对云盘311的IO请求的处理可能存在问题,例如,该云盘311对应的令牌桶312的令牌消耗速度高于令牌发放速度,或者,针对该云盘的IO请求的服务线程数少,导致大量IO请求处于IO请求处理队列中无法被下发至IO请求的服务线程进行处理。在本说明书一示例性实施例中,也可以在监测到目标云盘的IO请求延迟落入预定义的预警范围时,根据延迟情况对针对目标云盘的资源配置进行调整。
或者,也可以在感知到其他状态运行参数落入预定义的预警范围时对目标云盘的资源配置进行调整。
为便于理解,本说明书提供如下的具体实施例。应用于如图4所示的服务器41中,目标云盘部署于该服务器中。该目标云盘对应设置有两个令牌桶,其中第一令牌桶411具有较高的优先级,为基础令牌桶,第二令牌桶412具有较低的优先级,为突发令牌桶。假设服务器上运行的监控评估器413负责以100毫秒为周期获取目标云盘的令牌桶的令牌消耗情况。且该监控评估器可以由软件和\或硬件实现,该监控评估器还负责监控服务器41的云盘资源的消耗情况。同时,该服务器上还设置有IO请求限制器414(IO Limiter)用以接收针对云盘的IO请求,并从云盘对应的令牌桶中获取与IO请求相应数量的令牌,进行数据传输,将获取令牌后的IO请求下发至IO请求处理队列415,等待IO请求服务线程对IO请求处理队列415中的IO请求依序进行处理。
假设,在某一时刻,该监控评估软件获取的令牌消耗情况显示,目标云盘的第一令牌桶411中的令牌已经被消耗空,且第二令牌桶412中的令牌已被消耗二分之一,此时服务器41的云盘资源充足。为避免因令牌桶中被消耗空导致针对目标云盘的IO请求无法被处理,可以调整令牌桶中令牌的发放速度。在本说明书一示例性实施例中,仅调整突发令牌桶——第二令牌桶412中的令牌发放速度,以调整目标云盘的资源配置。在增加令牌发放速度的同时,还可以增加针对目标云盘的IO请求的处理队列数以及IO请求的服务线程数,例如,将剩余资源中的1个IO请求处理队列和2个IO请求服务线程分配至目标云盘。
若在某一时刻监控到目标云盘消耗第一令牌桶中的令牌的消耗速度小于令牌的发放速度,且此时服务器41的云盘资源充足。则无需改变目标云盘的突发令牌桶的令牌发放速度。
若服务器41的云盘资源不充足,且令牌的消耗速度小于其发放速度,则可以减小第二令牌桶412中令牌发放速度,并减少针对云盘的IO请求的处理队列数和IO请求的服务线程数。此时,可以将减少的IO请求处理队列和部分线程用于处理针对其他云盘的IO请求。若云盘资源不充足,且令牌的消耗速度大于其发放速度,此时由于云盘资源均被占用,服务器41不能为目标云盘提供额外资源用以处理针对目标云盘的IO请求,可以将目标云盘迁移至其他的服务器,由该其他服务器分配目标云盘相应的资源用以处理针对目标云盘的IO请求。
图5是本说明书一示例性实施例的一种电子设备的结构示意图。请参考图5,在硬件层面,该设备包括处理器502、内部总线504、网络接口506、内存508及非易失性存储器510。当然还可能包括其他功能所需要的硬件。处理器502从非易失性存储器510中读取对应的计算机程序到内存508中然后运行,在逻辑层面上形成一种云盘资源配置的调整装置。当然,除了软件实现方式之外,本说明书一个或多个实施例并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
相应于上述方法的实施例,本说明书还提供一种云盘资源配置的调整装置,如图6所示,应用于服务器,所述服务器上针对部署的云盘设置有相应的令牌桶,所述令牌桶生成的令牌用于分配至针对相应云盘的IO请求,所述装置包括:
监控单元610,用于监控目标云盘对应的令牌桶的令牌消耗情况,所述令牌消耗情况用于表明该令牌桶的令牌消耗速度是否超出相应的令牌发放速度;
调整单元620,用于在云盘资源充足的情况下,根据所述令牌消耗情况,以调整令牌发放速度,调整针对所述目标云盘的资源配置。
可选地,所述调整单元620可以具体用于:
在所述令牌消耗速度超出相应的令牌发放速度的情况下,增加所述令牌的发放速度;
在所述令牌消耗速度低于相应的令牌发放速度的情况下,不改变所述令牌的发放速度。
可选地,所述云盘资源配置的调整装置还可以包括:
第二调整单元630,用于在云盘资源充足的情况下,调整所述IO请求的处理队列数和\或所述IO请求的服务线程数,以调整针对所述目标云盘的资源配置。
可选地,所述监控单元610可以具体用于:
在所述目标云盘的运行状态参数的取值落入预定义的预警范围的情况下,监控目标云盘对应的令牌桶的令牌的消耗情况。
可选地,所述运行状态参数包括:IO请求的延迟、处理IO请求的成功率、单位时间内的IO请求数量。
可选地,所述目标云盘对应于分别具有不同优先级的多个令牌桶,所述云盘资源配置的调整装置还可以包括:
分配单元640,用于向针对所述目标云盘的IO请求优先分配具有较高优先级的令牌桶中的令牌;
处理单元650,用于优先处理所分配令牌的优先级相对更高的IO请求。
可选地,具有最高优先级的令牌桶为基础令牌桶,具有其他优先级的令牌桶为突发令牌桶,所述调整单元620可以具体用于:
调整突发令牌桶的令牌发放速度。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
在一个典型的配置中,计算机包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带、磁盘存储、量子存储器、基于石墨烯的存储介质或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
在本说明书一个或多个实施例中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
在本说明书一个或多个实施例使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书一个或多个实施例可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
以上所述仅为本说明书一个或多个实施例的较佳实施例而已,并不用以限制本说明书一个或多个实施例,凡在本说明书一个或多个实施例的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本说明书一个或多个实施例保护的范围之内。
Claims (8)
1.一种云盘资源配置的调整方法,其特征在于,应用于服务器,所述服务器上针对部署的云盘设置有相应的令牌桶,所述令牌桶生成的令牌用于分配至针对相应云盘的IO请求,所述方法包括:
监控目标云盘对应的令牌桶的令牌消耗情况,所述令牌消耗情况用于表明该令牌桶的令牌消耗速度是否超出相应的令牌发放速度;其中,所述目标云盘对应于分别具有不同优先级的多个令牌桶,具有最高优先级的令牌桶为基础令牌桶,具有其他优先级的令牌桶为突发令牌桶;
向针对所述目标云盘的IO请求优先分配具有较高优先级的令牌桶中的令牌;
优先处理所分配令牌的优先级相对更高的IO请求;
在云盘资源充足的情况下,根据所述令牌消耗情况,调整突发令牌桶的令牌发放速度,以调整针对所述目标云盘的资源配置。
2.如权利要求1所述的方法,其特征在于,所述调整令牌发放速度,包括:
在所述令牌消耗速度超出相应的令牌发放速度的情况下,增加所述令牌的发放速度;
在所述令牌消耗速度低于相应的令牌发放速度的情况下,不改变所述令牌的发放速度。
3.如权利要求1所述的方法,其特征在于,还包括:
在云盘资源充足的情况下,调整所述IO请求的处理队列数和\或所述IO请求的服务线程数,以调整针对所述目标云盘的资源配置。
4.如权利要求1所述的方法,其特征在于,所述监控目标云盘对应的令牌桶的令牌消耗情况,包括:
在所述目标云盘的运行状态参数的取值落入预定义的预警范围的情况下,监控目标云盘对应的令牌桶的令牌消耗情况。
5.如权利要求4所述的方法,其特征在于,所述运行状态参数包括:IO请求的延迟、处理IO请求的成功率、单位时间内的IO请求数量。
6.一种云盘资源配置的调整装置,其特征在于,应用于服务器,所述服务器上针对部署的云盘设置有相应的令牌桶,所述令牌桶生成的令牌用于分配至针对相应云盘的IO请求,所述装置包括:
监控单元,用于监控目标云盘对应的令牌桶的令牌消耗情况,所述令牌消耗情况用于表明该令牌桶的令牌消耗速度是否超出相应的令牌发放速度;其中,所述目标云盘对应于分别具有不同优先级的多个令牌桶,具有最高优先级的令牌桶为基础令牌桶,具有其他优先级的令牌桶为突发令牌桶;
分配单元,用于向针对所述目标云盘的IO请求优先分配具有较高优先级的令牌桶中的令牌;
处理单元,用于优先处理所分配令牌的优先级相对更高的IO请求;
调整单元,用于在云盘资源充足的情况下,根据所述令牌消耗情况,调整突发令牌桶的令牌发放速度,以调整针对所述目标云盘的资源配置。
7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现权利要求1-5中任意一项所述方法的步骤。
8.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-5中任意一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210334260.7A CN114760327B (zh) | 2022-03-30 | 2022-03-30 | 云盘资源配置的调整方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210334260.7A CN114760327B (zh) | 2022-03-30 | 2022-03-30 | 云盘资源配置的调整方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114760327A CN114760327A (zh) | 2022-07-15 |
CN114760327B true CN114760327B (zh) | 2024-03-26 |
Family
ID=82329548
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210334260.7A Active CN114760327B (zh) | 2022-03-30 | 2022-03-30 | 云盘资源配置的调整方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114760327B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104079499A (zh) * | 2014-07-18 | 2014-10-01 | 福建星网锐捷网络有限公司 | 基于令牌桶的报文处理方法及装置 |
CN105515880A (zh) * | 2016-01-25 | 2016-04-20 | 重庆邮电大学 | 一种适合融合网络的令牌桶流量整形方法 |
CN107579926A (zh) * | 2017-10-20 | 2018-01-12 | 南京易捷思达软件科技有限公司 | 基于令牌桶算法的Ceph云存储系统的QoS设置方法 |
CN109861920A (zh) * | 2019-01-16 | 2019-06-07 | 深圳市融汇通金科技有限公司 | 一种弹性限流的方法及装置 |
CN110891089A (zh) * | 2019-11-29 | 2020-03-17 | 中经社控股有限公司 | 一种基于令牌桶算法的Ceph块存储镜像同步QoS优化方法 |
CN110932994A (zh) * | 2019-12-31 | 2020-03-27 | 深圳云天励飞技术有限公司 | 一种数据流量处理方法、装置、电子设备及存储介质 |
CN113315671A (zh) * | 2021-07-28 | 2021-08-27 | 阿里云计算有限公司 | 流量限速与信息配置方法、路由节点、系统及存储介质 |
CN113381944A (zh) * | 2021-06-09 | 2021-09-10 | 中国工商银行股份有限公司 | 系统限流方法、装置、电子设备、介质和程序产品 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102148830B (zh) * | 2011-03-31 | 2014-03-26 | 杭州华三通信技术有限公司 | 控制认证服务器流量的方法及认证接入设备 |
CN109725829B (zh) * | 2017-10-27 | 2021-11-05 | 伊姆西Ip控股有限责任公司 | 用于数据存储系统的端到端QoS解决方案的系统和方法 |
US10951532B2 (en) * | 2018-07-18 | 2021-03-16 | Huawei Technologies Co., Ltd. | Method and system for cluster rate limiting in a cloud computing system |
-
2022
- 2022-03-30 CN CN202210334260.7A patent/CN114760327B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104079499A (zh) * | 2014-07-18 | 2014-10-01 | 福建星网锐捷网络有限公司 | 基于令牌桶的报文处理方法及装置 |
CN105515880A (zh) * | 2016-01-25 | 2016-04-20 | 重庆邮电大学 | 一种适合融合网络的令牌桶流量整形方法 |
CN107579926A (zh) * | 2017-10-20 | 2018-01-12 | 南京易捷思达软件科技有限公司 | 基于令牌桶算法的Ceph云存储系统的QoS设置方法 |
CN109861920A (zh) * | 2019-01-16 | 2019-06-07 | 深圳市融汇通金科技有限公司 | 一种弹性限流的方法及装置 |
CN110891089A (zh) * | 2019-11-29 | 2020-03-17 | 中经社控股有限公司 | 一种基于令牌桶算法的Ceph块存储镜像同步QoS优化方法 |
CN110932994A (zh) * | 2019-12-31 | 2020-03-27 | 深圳云天励飞技术有限公司 | 一种数据流量处理方法、装置、电子设备及存储介质 |
CN113381944A (zh) * | 2021-06-09 | 2021-09-10 | 中国工商银行股份有限公司 | 系统限流方法、装置、电子设备、介质和程序产品 |
CN113315671A (zh) * | 2021-07-28 | 2021-08-27 | 阿里云计算有限公司 | 流量限速与信息配置方法、路由节点、系统及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114760327A (zh) | 2022-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109218355B (zh) | 负载均衡引擎,客户端,分布式计算系统以及负载均衡方法 | |
CN110858161B (zh) | 资源分配方法、装置、系统、设备和介质 | |
US9405572B2 (en) | Optimized resource allocation and management in a virtualized computing environment | |
US8424007B1 (en) | Prioritizing tasks from virtual machines | |
US9183016B2 (en) | Adaptive task scheduling of Hadoop in a virtualized environment | |
US10191771B2 (en) | System and method for resource management | |
EP3117335B1 (en) | Coordinated admission control for network-accessible block storage | |
US8195784B2 (en) | Linear programming formulation of resources in a data center | |
CN107018091B (zh) | 资源请求的调度方法和装置 | |
US11265264B2 (en) | Systems and methods for controlling process priority for efficient resource allocation | |
US10250673B1 (en) | Storage workload management using redirected messages | |
KR101356033B1 (ko) | 하이브리드 주메모리 시스템 및 이를 위한 태스크 스케줄링 방법 | |
US9379903B1 (en) | Distributed scheduler | |
CN111104227B (zh) | 一种K8s平台的资源控制方法、装置及相关组件 | |
CN109739627B (zh) | 任务的调度方法、电子设备及介质 | |
CN115269190A (zh) | 内存分配方法、装置、电子设备、存储介质及产品 | |
US20110154357A1 (en) | Storage Management In A Data Processing System | |
KR20080112093A (ko) | 멀티 프로세서 환경에서 효율적인 데이터 전송을 위한 방법및 시스템 | |
CN113760549B (zh) | 一种pod部署方法及装置 | |
US20130007281A1 (en) | Dynamically tuning server placement | |
CN114760327B (zh) | 云盘资源配置的调整方法及装置 | |
CN108628551A (zh) | 一种数据处理方法及装置 | |
CN115202842A (zh) | 任务调度方法及装置 | |
CN113535378A (zh) | 一种资源调配方法、存储介质及终端设备 | |
CN110955644A (zh) | 一种存储系统的io控制方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |