CN114968552A - 缓存分配方法、装置、设备、存储介质和程序产品 - Google Patents
缓存分配方法、装置、设备、存储介质和程序产品 Download PDFInfo
- Publication number
- CN114968552A CN114968552A CN202210262399.5A CN202210262399A CN114968552A CN 114968552 A CN114968552 A CN 114968552A CN 202210262399 A CN202210262399 A CN 202210262399A CN 114968552 A CN114968552 A CN 114968552A
- Authority
- CN
- China
- Prior art keywords
- memory
- time
- tenant
- memory usage
- cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
- G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Memory System Of A Hierarchy Structure (AREA)
Abstract
本公开提供了一种缓存分配方法,可以应用于云计算技术领域。该缓存分配方法包括:定时获取各租户的实时运行数据,所述实时运行数据包括数据平均失效时间、内存使用率、预设时间内存使用量和集群内存总容量;根据所述实时运行数据确定目标差值、内存预计写满时间和内存使用量变化趋势,其中所述目标差值是所述数据平均失效时间和所述内存预计写满时间的差值;根据所述目标差值、所述内存预计写满时间和所述内存使用量变化趋势确定用于所述各租户的扩容或缩容策略;以及执行所述各租户的扩容或缩容策略以进行缓存的分配。本公开还提供了一种缓存分配装置、设备、存储介质和程序产品。
Description
技术领域
本公开涉及云计算技术领域,具体涉及性能容量动态管理技术领域,更具体地涉及一种缓存分配方法、装置、设备、存储介质和程序产品。
背景技术
随着互联网技术的发展,许多传统业务逐步由线下转为线上,互联网应用的用户数量也随之大量增长。用户增长带来的交易量的与日俱增,对应用系统的能够提供快速高效和稳定的响应的要求也越来越高,尤其是对底层支撑平台系统的压力尤为明显。业务系统的交易量通常与用户业务操作行为之间是密切相关的,但是除了像类似于“双十一”这种计划性的抢购活动的用户行为是基本可预知和可掌握的之外,其他日常中的用户行为是很难去预知的。
因此在实际生产环境中,为了应对不可预知且突如其来的高并发业务场景,底层支撑平台系统尤其缓存系统会预备大量的冗余资源用以应对这种场景。但是在业务量平稳的时候,系统的资源使用率一直处于低位,尤其对于基于内存的缓存系统来说,无疑是一种巨大的浪费。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
鉴于上述问题,本公开提供了缓存分配方法、装置、设备、存储介质和程序产品。
根据本公开的第一个方面,提供了一种缓存分配方法,包括:
定时获取各租户的实时运行数据,所述实时运行数据包括数据平均失效时间、内存使用率、预设时间内存使用量和集群内存总容量;
根据所述实时运行数据确定目标差值、内存预计写满时间和内存使用量变化趋势,其中所述目标差值是所述数据平均失效时间和所述内存预计写满时间的差值;
根据所述目标差值、所述内存预计写满时间和所述内存使用量变化趋势确定用于所述各租户的扩容或缩容策略;以及
执行所述各租户的扩容或缩容策略以进行缓存的分配。
根据本公开的实施例,所述根据所述实时运行数据确定目标差值、内存预计写满时间和内存使用量变化趋势包括:
根据所述预设时间内存使用量、所述内存使用率和所述集群内存总容量确定所述内存预计写满时间;
根据所述数据平均失效时间和所述内存预计写满时间确定所述目标差值;以及
根据所述预设时间内存使用量确定所述内存使用量变化趋势。
根据本公开的实施例,所述根据所述预设时间内存使用量确定所述内存使用量变化趋势包括:
当确定预设时间内存使用量增长时,确定所述内存使用量变化趋势为上升趋势;以及
当确定预设时间内存使用量减少时,确定所述内存使用量变化趋势为下降趋势。
根据本公开的实施例,所述根据所述目标差值、所述内存预计写满时间和所述内存使用量变化趋势确定用于所述各租户的扩容或缩容策略包括:
当所述内存预计写满时间大于第一预设阈值且小于第二预设阈值,且第一预设时间内所述目标差值大于0,且所述内存使用量变化趋势为上升趋势,则对多租户集群执行扩容策略;以及
当所述内存预计写满时间小于第一预设阈值,则立即对多租户集权执行扩容策略。
根据本公开的实施例,所述根据所述目标差值、所述内存预计写满时间和所述内存使用量变化趋势确定用于所述各租户的扩容或缩容策略还包括:
当第二预设时间内所述目标差值小于0,且所述内存使用量变化趋势为下降趋势,则对多租户集群执行缩容策略。
根据本公开的实施例,所述执行所述各租户的扩容或缩容策略以进行缓存的分配包括:
根据内存使用量变化率确定待扩容节点数量;
从资源池选取所述待扩容节点数量的节点进行扩容操作;以及
对内存中数据进行重新分片。
根据本公开的实施例,所述执行所述各租户的扩容或缩容策略以进行缓存的分配还包括:
对内存中的数据进行重新分片;
将集群冗余节点剔出集群中;以及
将所述集群冗余节点进行初始化并加入资源池中。
根据本公开的实施例,所述方法还包括:
在执行完成一次扩容或缩容策略后,将租户使用的集群节点数量注册至集群注册中心。
根据本公开的第二个方面,提供了一种缓存分配装置,包括:
获取模块,用于定时获取各租户的实时运行数据,所述实时运行数据包括数据平均失效时间、内存使用率、预设时间内存使用量和集群内存总容量;
第一确定模块,用于根据所述实时运行数据确定目标差值、内存预计写满时间和内存使用量变化趋势,其中所述目标差值是所述数据平均失效时间和所述内存预计写满时间的差值;
第二确定模块,用于根据所述目标差值、所述内存预计写满时间和所述内存使用量变化趋势确定用于所述各租户的扩容或缩容策略;以及
执行模块,用于执行所述各租户的扩容或缩容策略以进行缓存的分配。
本公开的第三方面提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得一个或多个处理器执行上述缓存分配方法。
本公开的第四方面还提供了一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行上述缓存分配方法。
本公开的第五方面还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述缓存分配方法。
通过本公开实施例提供的缓存分配方法,根据租户的实时运行数据确定目标差值、内存预计写满时间和内存使用量变化趋势,进而根据上述数据指标判断是否对集群节点执行扩容或缩容,实现多租户集群缓存自动动态分配,使得在面对不可预知且突如其来的高并发业务场景时,无需预备大量冗余资源,提高资源的利用率。
附图说明
通过以下参照附图对本公开实施例的描述,本公开的上述内容以及其他目的、特征和优点将更为清楚,在附图中:
图1示意性示出了根据本公开实施例的多租户集群分配流程图;
图2示意性示出了根据本公开实施例的缓存分配方法、装置、设备、存储介质和程序产品的应用场景;
图3示意性示出了根据本公开实施例的一种缓存分配方法的流程图;
图4示意性示出了根据本公开实施例的实时运行数据的处理方法的流程图;
图5示意性示出了根据本公开实施例的扩容或缩容策略判断方法的流程图;
图6示意性示出根据本公开实施例提供的扩容策略执行方法的流程图;
图7示意性示出根据本公开实施例提供的缩容策略执行方法的流程图;
图8a示意性示出了根据本公开实施例的缓存分配装置的结构框图;
图8b示意性示出了根据本公开实施例的第一确定模块的结构框图;
图8c示意性示出了根据本公开实施例的第二确定模块的结构框图;以及
图9示意性示出了根据本公开实施例的适于实现缓存分配方法的电子设备的方框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本公开实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
首先对本公开实施例出现的术语进行解释:
租户:租户表示数据库的“用户”,租用了数据库的部分资源。
多租户:在云计算时代,将无数分开的服务器、分开的计算资源集中到一起,让原来的用户都到云上来共享这些计算资源、存储资源,多租户技术是一种软件架构技术,是实现如何在多用户环境下共用相同的系统或程序组件,并且可确保各用户间数据的隔离性。例如:在一台服务器上运行单个应用实例,为多个租户提供服务。
redis:Remote Dictionary Server,远程字典服务,是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,
redis集群:Redis集群实现了对Redis的水平扩容,即启动N个redis节点,将整个数据库分布式存储在这N个节点中,每个节点存储总数据的1/N,Redis集群通过分区提供一定程度的可用性。
数据平均失效时间:Redis每个key都有一个数据过期时间,一旦过期自动删除数据。
基于上述技术问题,本公开的实施例提供了一种缓存分配方法,应用于多租户集群,所述多租户集群包括多个节点,包括:定时获取各租户的实时运行数据,所述实时运行数据包括数据平均失效时间、内存使用率、预设时间内存使用量和集群内存总容量;根据所述实时运行数据确定目标差值、内存预计写满时间和内存使用量变化趋势,其中所述目标差值是所述数据平均失效时间和所述内存预计写满时间的差值;根据所述目标差值、所述内存预计写满时间和所述内存使用量变化趋势确定用于所述各租户的扩容或缩容策略;以及执行所述各租户的扩容或缩容策略以进行缓存的分配。
图1示意性示出了根据本公开实施例的多租户集群分配流程图,图2示意性示出了根据本公开实施例的缓存分配方法、装置、设备、存储介质和程序产品的应用场景图。
如图1所示,本公开实施例的redis集群分配流程包括统计分析模块获取租户Redis集群的源数据,管理调度模块根据统计分析的源数据进行判断是否对redis集群进行扩容或缩容,在完成一次扩容或缩容之后,将租户使用的redis集群的节点数量注册在集群注册中心,完成一次redis集群节点分配的闭环。
如图2所示,根据该实施例的应用场景100可以包括多租户集群节点分配场景。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器,例如对用户利用终端设备101、102、103所浏览的网站提供数据支持的数据库服务器(仅为示例)。数据库服务器部署有redis集群,可以对接收到的用户数据访问或写入等请求进行处理,例如可以是根据用户访问量动态调整redis集群节点数量以完成扩容或缩容。
需要说明的是,本公开实施例所提供的缓存分配方法一般可以由服务器105执行。相应地,本公开实施例所提供的缓存分配装置一般可以设置于服务器105中。本公开实施例所提供的缓存分配方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地,本公开实施例所提供的缓存分配装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
需要说明的是,本公开确定的缓存分配方法和装置可用于云计算技术领域与金融领域,也可用于除金融领域之外的任意领域,本公开缓存分配的方法和装置的应用领域不做限定。
以下将通过图3~图7对公开实施例的缓存分配方法进行详细描述。
图3示意性示出了根据本公开实施例的一种缓存分配方法的流程图。如图3所示,该实施例的缓存分配方法包括操作S210~操作S240。
本公开实施例针对的是短期内大量缓存数据写入的业务场景的处理方式,常用的缓存系统中对数据的失效处理原则是共通的,以redis集群为例对本公开实施例进行阐述,redis集群包括多个redis节点,租户作为redis集群的使用者。
大量数据的写入往往是难以预测和处理的,如果对缓存设置限流保护缓存系统,则会对数据库造成巨大压力,引起缓存雪崩,造成这种情况的业务场景也是多种多样的,无法从调用量或其他系统指标体现出来。redis集群在没有任何其他表现的时候出现了内存使用到达阈值的告警,等到人工介入或者自动触发扩容的时候往往已经出现redis OOM的报错造成缓存访问失败的情况。因此本公开实施例通过获取系统实时运行数据,与预设阈值进行对比来判断是否需要扩容或缩容节点。
在操作S210,定时获取各租户的实时运行数据。
根据本公开实施例,所述实时运行数据包括数据平均失效时间、内存使用率、预设时间内存使用量和集群内存总容量。
一个示例中,由于redis缓存中存放的数据为高频的热点数据,这类数据通常会设置一个失效时间,即key的失效时间,每个key都对应一个失效时间,根据这些失效时间确定数据平均失效时间,定时执行检测任务获取各租户的实时运行数据,在本公开实施例中,检测频率为1分钟,检测频率可根据实际业务需要进行调整。具体的,通过info指令获取redis的运行状态,包括各租户对应的redis集群状态信息,例如key的失效时间、内存使用率、预设时间内存使用量和集群内存总容量。通过获取各租户的实时运行数据,对各租户的运行情况进行监控,以便之后对租户的节点进行动态调整。
在操作S220,根据所述实时运行数据确定目标差值、内存预计写满时间和内存使用量变化趋势。
将操作S210获取的实时运行数据进行计算处理得到目标差值、内存预计写满时间和内存使用量变化趋势,其中目标差值表征数据平均失效时间与内存预计写满时间的差值,当数据平均失效时间大于内存预计写满时间时,则表征内存使用量变化趋势呈上升趋势,即对应大量缓存数据写入的业务场景,需要对redis集群进行扩容,增加redis节点,以缓解数据库的压力,避免缓存雪崩导致服务不可用。当数据平均失效时间小于内存预计写满时间时,则表征内存使用量变化趋势呈下降趋势,即当前业务量趋于平稳,存在冗余资源,需要对redis集群进行缩容,减少redis节点,进行资源回收,避免资源的浪费。目标差值、内存预计写满时间和内存使用量变化趋势的具体确定方法可参见图4所示的操作S221~操作S223。
在操作S230,根据所述目标差值、所述内存预计写满时间和所述内存使用量变化趋势确定用于所述各租户的扩容或缩容策略。在操作S240,执行所述各租户的扩容或缩容策略以进行缓存的分配。
一个示例中,在操作S220之后,根据所述目标差值、内存预计写满时间和内存使用量变化趋势确定当前redis集群运行状态,以及预设时间内redis集群的运行状态,从而确定应当执行哪种策略,即扩容策略或缩容策略。扩容或缩容策略的确定过程可参见图5所示的操作S231~操作S233。扩容或缩容策略的执行过程可参见图6和图7。在此不再赘述。
通过本公开实施例提供的缓存分配方法,通过定时获取各租户的redis集群的运行情况,根据各租户的各项数值判断是否需要对redis集群节点进行扩容或缩容,从而实现对redis集群节点的动态分配,即实现多租户集群缓存自动动态分配,使得在面对不可预知且突如其来的高并发业务场景时,无需预备大量冗余资源,提高redis集群的可靠性和提高资源的利用率。
图4示意性示出了根据本公开实施例的实时运行数据的处理方法的流程图。如图4所示,操作S220包括操作S221~操作S223。
在操作S221,根据所述预设时间内存使用量、所述内存使用率和所述集群内存总容量确定所述内存预计写满时间。在操作S222,根据所述数据平均失效时间和所述内存预计写满时间确定所述目标差值。在操作S223,根据所述预设时间内存使用量确定所述内存使用量变化趋势。
根据本公开实施例,当确定预设时间内存使用量增长时,确定所述内存使用量变化趋势为上升趋势;以及当确定预设时间内存使用量减少时,确定所述内存使用量变化趋势为下降趋势。
一个示例中,根据内存使用率和集群内存总容量确定当前redis集群空闲内存,根据当前redis集群空闲内存和预设时间内存使用量确定内存预计写满时间,需要说明的是,内存预计写满时间是根据前一分钟内存的使用情况计算预测的数值,并非准确的数值。当预设时间内存使用量增长时,则表征业务数据访问量正在增加,内存使用量变化趋势为上升趋势,可能存在大量缓存数据写入的业务场景;当确定预设时间内存使用量减少时,则表征当前业务数据访问量正在减少,内存使用量变化趋势为下降趋势,业务趋于平稳。
当确定内存预计写满时间、目标差值和内存使用量变化趋势后,需要根据上述指标与预设阈值进行对比,进一步确定是否执行扩容或缩容策略,接下来将结合图5对扩容或缩容策略判断流程进行介绍。
图5示意性示出了根据本公开实施例的扩容或缩容策略判断方法的流程图。如图5所示,操作S230包括操作S231~操作S233。
在操作S231,当所述内存预计写满时间大于第一预设阈值且小于第二预设阈值,且第一预设时间内所述目标差值大于0,且所述内存使用量变化趋势为上升趋势,则对多租户集群执行扩容策略。在操作S232,当所述内存预计写满时间小于第一预设阈值,则立即对多租户集群执行扩容策略。
一个示例中,当内存预计写满时间大于第一预设阈值小于第二预设阈值时,则确定内存即将写满,需要对redis集群进行扩容,然而在实际业务场景中,由于下一时刻的数据请求是不可预知且波动的,因此还需满足第一预设时间内目标差值均大于0,其表征在一段时间内内存使用率一直呈上升趋势,即内存使用量变化趋势为上升趋势,为了保证redis集群的稳定性,避免缓存问题导致服务不可用的问题,需对redis节点执行扩容策略。其中,为了第一预设阈值、第二预设阈值和第一预设时间均为经过压力测试结合专家经验得出的阈值,可根据实际业务场景进行调整,在本实施例中,作为优选的,第一预设阈值为3分钟,第二预设阈值为10分钟,第一预设时间为3分钟。
当内存预计写满时间小于第一预设阈值时,则表征当前内存使用量上升过快,此时不再将目标差值大于0的时间作为必要条件,需立即对redis集群执行扩容策略,以缓解数据访问压力。
在操作S233,当第二预设时间内所述目标差值小于0,且所述内存使用量变化趋势为下降趋势,则对多租户集群执行缩容策略。
一个示例中,第二预设时间可以是10分钟,当确定当前10分钟内目标差值均小于0,则表征内存使用量变化趋势为下降趋势,业务趋于平稳,为了避免资源浪费,需要对redis集群节点进行缩容策略。
图6示意性示出根据本公开实施例提供的扩容策略执行方法的流程图。如图6所示,包括操作S310~操作S330。
在操作S310,根据内存使用量变化率确定待扩容节点数量。
一个示例中,内存使用量变化率与内存预计写满时间大小存在一定的对应关系,可以根据内存使用量变化率的大小确定待扩容节点数量,内存使用量变化率越大,例如大于某预设阈值,表征当前业务并发量越大,内存使用量增长越快,则确定待扩容节点数量为当前节点数量的70%;否则确定带扩容节点数量为当前节点数量的50%(向上取整)。
在操作S320,从资源池选取所述待扩容节点数量的节点进行扩容操作。在操作S330,对内存中数据进行重新分片。
一个示例中,集群管理调度模块则对租户使用的redis集群发出扩容指令,使用redis源码自带脚本redis-trib.rb对集群进行扩容操作,将操作S310确定的空闲redis节点加入原有集群中,对内存中数据进行重分片,在执行完成一次扩容后,将租户使用的redis集群节点数量注册至集群注册中心。
图7示意性示出根据本公开实施例提供的缩容策略执行方法的流程图。如图7所示,包括操作S410~操作S430。
在操作S410,对内存中的数据进行重新分片。在操作S420,将集群冗余节点剔出集群中。在操作S430,将所述集群冗余节点进行初始化并加入资源池中。
一个示例中,先使用脚本redis-trib.rb对内存中数据进行重新分片,分片完成后再对集群冗余节点剔出集群中,对节点进行初始化(清除冗余内存数据,并对redis进程重启)并加入redis资源池中。在执行完成一次缩容后,将租户使用的redis集群节点数量注册至集群注册中心。
基于上述缓存分配方法,本公开还提供了一种缓存分配装置。以下将结合图8a~图8c对该装置进行详细描述。
图8a示意性示出了根据本公开实施例的缓存分配装置的结构框图。图8b示意性示出了根据本公开实施例的第一确定模块的结构框图。图8c示意性示出了根据本公开实施例的第二确定模块的结构框图。
如图8a所示,该实施例的缓存分配装置800包括获取模块810、第一确定模块820、第二确定模块830和执行模块840。
获取模块810用于定时获取各租户的实时运行数据,所述实时运行数据包括key的平均失效时间、内存使用率、预设时间内存使用量和集群内存总容量。在一实施例中,获取模块810可以用于执行前文描述的操作S210,在此不再赘述。
第一确定模块820用于根据所述实时运行数据确定目标差值、内存预计写满时间和内存使用量变化趋势。在一实施例中,第一确定模块820可以用于执行前文描述的操作S220,在此不再赘述。
第二确定模块830用于根据所述目标差值、所述内存预计写满时间和所述内存使用量变化趋势确定扩容或缩容策略。在一实施例中,第二确定模块830可以用于执行前文描述的操作S230,在此不再赘述。
执行模块840用于用于执行所述各租户的扩容或缩容策略以进行缓存的分配。在一实施例中,执行模块840可以用于执行前文描述的操作S240,在此不再赘述。
如图8b所示,根据本公开实施例,第一确定模块820包括第一确定子模块821、第二确定子模块822和第三确定子模块823。
第一确定子模块821用于根据所述预设时间内存使用量、所述内存使用率和所述集群内存总容量确定所述内存预计写满时间。在一实施例中,第一确定子模块821可以用于执行前文描述的操作S221,在此不再赘述。
第二确定子模块822用于根据所述key的平均失效时间和所述内存预计写满时间确定所述目标差值。在一实施例中,第二确定子模块822可以用于执行前文描述的操作S222,在此不再赘述。
第三确定子模块823用于根据所述目标差值确定所述内存使用量变化趋势。在一实施例中,第三确定子模块823可以用于执行前文描述的操作S223,在此不再赘述。
如图8c所示,根据本公开实施例,第二确定模块830包括第一扩容子模块831、第二扩容子模块832和缩容子模块833。
第一扩容子模块831用于当所述内存预计写满时间大于第一预设阈值且小于第二预设阈值,且第一预设时间内所述目标差值大于0,且所述内存使用量变化趋势为上升趋势,则对redis集群执行扩容策略。在一实施例中,第一扩容子模块831可以用于执行前文描述的操作S231,在此不再赘述。
第二扩容子模块832用于当所述内存预计写满时间小于第一预设阈值,则立即对redis集群执行扩容策略。在一实施例中,第二扩容子模块832可以用于执行前文描述的操作S232,在此不再赘述。
缩容子模块833用于当第二预设时间内所述目标差值小于0,且所述内存使用量变化趋势为下降趋势,则对redis集群执行缩容策略。在一实施例中,缩容子模块833可以用于执行前文描述的操作S233,在此不再赘述。
根据本公开的实施例,获取模块810、第一确定模块820、第二确定模块830和执行模块840中的任意多个模块可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。根据本公开的实施例,获取模块810、第一确定模块820、第二确定模块830和执行模块840中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,获取模块810、第一确定模块820、第二确定模块830和执行模块840中的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
图9示意性示出了根据本公开实施例的适于实现缓存分配方法的电子设备的方框图。
如图9所示,根据本公开实施例的电子设备900包括处理器901,其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。处理器901例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC))等等。处理器901还可以包括用于缓存用途的板载存储器。处理器901可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 903中,存储有电子设备900操作所需的各种程序和数据。处理器901、ROM902以及RAM 903通过总线904彼此相连。处理器901通过执行ROM 902和/或RAM 903中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意,所述程序也可以存储在除ROM 902和RAM 903以外的一个或多个存储器中。处理器901也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例,电子设备900还可以包括输入/输出(I/O)接口905,输入/输出(I/O)接口905也连接至总线904。电子设备900还可以包括连接至I/O接口905的以下部件中的一项或多项:包括键盘、鼠标等的输入部分906;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907;包括硬盘等的存储部分908;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器910上,以便于从其上读出的计算机程序根据需要被安装入存储部分908。
本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的;也可以是单独存在,而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本公开实施例的方法。
根据本公开的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质,例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如,根据本公开的实施例,计算机可读存储介质可以包括上文描述的ROM 902和/或RAM 903和/或ROM 902和RAM 903以外的一个或多个存储器。
本公开的实施例还包括一种计算机程序产品,其包括计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时,该程序代码用于使计算机系统实现本公开实施例所提供的缓存分配方法。
在该计算机程序被处理器901执行时执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例,上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
在一种实施例中,该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中,该计算机程序也可以在网络介质上以信号的形式进行传输、分发,并通过通信部分909被下载和安装,和/或从可拆卸介质911被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
在这样的实施例中,该计算机程序可以通过通信部分909从网络上被下载和安装,和/或从可拆卸介质911被安装。在该计算机程序被处理器901执行时,执行本公开实施例的系统中限定的上述功能。根据本公开的实施例,上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
根据本公开的实施例,可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码,具体地,可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java,C++,python,“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合,即使这样的组合或结合没有明确记载于本公开中。特别地,在不脱离本公开精神和教导的情况下,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是,这些实施例仅仅是为了说明的目的,而并非为了限制本公开的范围。尽管在以上分别描述了各实施例,但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围,本领域技术人员可以做出多种替代和修改,这些替代和修改都应落在本公开的范围之内。
Claims (12)
1.一种缓存分配方法,应用于多租户集群,所述多租户集群包括多个节点,其特征在于,包括:
定时获取各租户的实时运行数据,所述实时运行数据包括数据平均失效时间、内存使用率、预设时间内存使用量和集群内存总容量;
根据所述实时运行数据确定目标差值、内存预计写满时间和内存使用量变化趋势,其中所述目标差值是所述数据平均失效时间和所述内存预计写满时间的差值;
根据所述目标差值、所述内存预计写满时间和所述内存使用量变化趋势确定用于所述各租户的扩容或缩容策略;以及
执行所述各租户的扩容或缩容策略以进行缓存的分配。
2.根据权利要求1所述的方法,其特征在于,所述根据所述实时运行数据确定目标差值、内存预计写满时间和内存使用量变化趋势包括:
根据所述预设时间内存使用量、所述内存使用率和所述集群内存总容量确定所述内存预计写满时间;
根据所述数据平均失效时间和所述内存预计写满时间确定所述目标差值;以及
根据所述预设时间内存使用量确定所述内存使用量变化趋势。
3.根据权利要求2所述的方法,其特征在于,所述根据所述预设时间内存使用量确定所述内存使用量变化趋势包括:
当确定预设时间内存使用量增长时,确定所述内存使用量变化趋势为上升趋势;以及
当确定预设时间内存使用量减少时,确定所述内存使用量变化趋势为下降趋势。
4.根据权利要求3所述的方法,其特征在于,所述根据所述目标差值、所述内存预计写满时间和所述内存使用量变化趋势确定用于所述各租户的扩容或缩容策略包括:
当所述内存预计写满时间大于第一预设阈值且小于第二预设阈值,且第一预设时间内所述目标差值大于0,且所述内存使用量变化趋势为上升趋势,则对多租户集群执行扩容策略;以及
当所述内存预计写满时间小于第一预设阈值,则立即对多租户集权执行扩容策略。
5.根据权利要求3所述的方法,其特征在于,所述根据所述目标差值、所述内存预计写满时间和所述内存使用量变化趋势确定用于所述各租户的扩容或缩容策略还包括:
当第二预设时间内所述目标差值小于0,且所述内存使用量变化趋势为下降趋势,则对多租户集群执行缩容策略。
6.根据权利要求1所述的方法,其特征在于,所述执行所述各租户的扩容或缩容策略以进行缓存的分配包括:
根据内存使用量变化率确定待扩容节点数量;
从资源池选取所述待扩容节点数量的节点进行扩容操作;以及
对内存中数据进行重新分片。
7.根据权利要求1所述的方法,其特征在于,所述执行所述各租户的扩容或缩容策略以进行缓存的分配还包括:
对内存中的数据进行重新分片;
将集群冗余节点剔出集群中;以及
将所述集群冗余节点进行初始化并加入资源池中。
8.根据权利要求1至7任一项所述的方法,其特征在于,所述方法还包括:
在执行完成一次扩容或缩容策略后,将租户使用的集群节点数量注册至集群注册中心。
9.一种缓存分配装置,包括:
获取模块,用于定时获取各租户的实时运行数据,所述实时运行数据包括数据平均失效时间、内存使用率、预设时间内存使用量和集群内存总容量;
第一确定模块,用于根据所述实时运行数据确定目标差值、内存预计写满时间和内存使用量变化趋势,其中所述目标差值是所述数据平均失效时间和所述内存预计写满时间的差值;
第二确定模块,用于根据所述目标差值、所述内存预计写满时间和所述内存使用量变化趋势确定用于所述各租户的扩容或缩容策略;以及
执行模块,用于执行所述各租户的扩容或缩容策略以进行缓存的分配。
10.一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器执行根据权利要求1~8中任一项所述的方法。
11.一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行根据权利要求1~8中任一项所述的方法。
12.一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现根据权利要求1~8中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210262399.5A CN114968552A (zh) | 2022-03-16 | 2022-03-16 | 缓存分配方法、装置、设备、存储介质和程序产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210262399.5A CN114968552A (zh) | 2022-03-16 | 2022-03-16 | 缓存分配方法、装置、设备、存储介质和程序产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114968552A true CN114968552A (zh) | 2022-08-30 |
Family
ID=82975678
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210262399.5A Pending CN114968552A (zh) | 2022-03-16 | 2022-03-16 | 缓存分配方法、装置、设备、存储介质和程序产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114968552A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116450361A (zh) * | 2023-05-23 | 2023-07-18 | 南京芯驰半导体科技有限公司 | 一种内存预测方法、装置及存储介质 |
-
2022
- 2022-03-16 CN CN202210262399.5A patent/CN114968552A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116450361A (zh) * | 2023-05-23 | 2023-07-18 | 南京芯驰半导体科技有限公司 | 一种内存预测方法、装置及存储介质 |
CN116450361B (zh) * | 2023-05-23 | 2023-09-29 | 南京芯驰半导体科技有限公司 | 一种内存预测方法、装置及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11163481B2 (en) | Monitoring storage systems for performance | |
US10270668B1 (en) | Identifying correlated events in a distributed system according to operational metrics | |
US10785320B2 (en) | Managing operation of instances | |
US20220413917A1 (en) | Autonomous application management for distributed computing systems | |
US10838798B2 (en) | Processing system for performing predictive error resolution and dynamic system configuration control | |
US11449482B2 (en) | Dynamic log level with automatic reset | |
US9374417B1 (en) | Dynamic specification auditing for a distributed system | |
US20190377623A1 (en) | Processing System For Performing Predictive Error Resolution and Dynamic System Configuration Control | |
CN112181948B (zh) | 数据库操作语句的处理方法、装置、电子设备和介质 | |
CN114968552A (zh) | 缓存分配方法、装置、设备、存储介质和程序产品 | |
CN113076224B (zh) | 数据备份方法、数据备份系统、电子设备及可读存储介质 | |
CN117118698A (zh) | 一种元数据服务器的访问限流方法、装置及设备 | |
CN115760013A (zh) | 运维模型的构建方法、装置、电子设备及存储介质 | |
CN114281586A (zh) | 故障确定方法及装置、电子设备和计算机可读存储介质 | |
CN114546786A (zh) | 基于多级缓存的异常监控方法 | |
CN113992593A (zh) | 服务资源调用方法、装置、电子设备及存储介质 | |
CN115065685B (zh) | 云计算资源调度方法、装置、设备及介质 | |
CN115484149B (zh) | 网络切换方法、网络切换装置、电子设备及存储介质 | |
CN113347250B (zh) | 数据访问方法、数据访问装置、电子设备及可读存储介质 | |
US11513862B2 (en) | System and method for state management of devices | |
CN110321250B (zh) | 一种针对应用的容灾方法及装置 | |
US20240160517A1 (en) | Alert aggregation and health issues processing in a cloud environment | |
US11121981B1 (en) | Optimistically granting permission to host computing resources | |
US20230221986A1 (en) | Working memory management | |
CN115757417A (zh) | HBase表的运维方法、装置、设备、存储介质和程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |