CN113158105A - 缓存配置管理方法、装置、设备、系统和存储介质 - Google Patents
缓存配置管理方法、装置、设备、系统和存储介质 Download PDFInfo
- Publication number
- CN113158105A CN113158105A CN202110373734.4A CN202110373734A CN113158105A CN 113158105 A CN113158105 A CN 113158105A CN 202110373734 A CN202110373734 A CN 202110373734A CN 113158105 A CN113158105 A CN 113158105A
- Authority
- CN
- China
- Prior art keywords
- cache
- module
- configuration
- data
- hit information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007726 management method Methods 0.000 title claims abstract description 112
- 238000012544 monitoring process Methods 0.000 claims description 21
- 238000000034 method Methods 0.000 abstract description 15
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- RYYVLZVUVIJVGH-UHFFFAOYSA-N caffeine Chemical compound CN1C(=O)N(C)C(=O)C2=C1N=CN2C RYYVLZVUVIJVGH-UHFFFAOYSA-N 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- LPHGQDQBBGAPDZ-UHFFFAOYSA-N Isocaffeine Natural products CN1C(=O)N(C)C(=O)C2=C1N(C)C=N2 LPHGQDQBBGAPDZ-UHFFFAOYSA-N 0.000 description 1
- 241000508269 Psidium Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 229960001948 caffeine Drugs 0.000 description 1
- VJEONQKOZGKCAK-UHFFFAOYSA-N caffeine Natural products CN1C(=O)N(C)C(=O)C2=C1C=CN2C VJEONQKOZGKCAK-UHFFFAOYSA-N 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/957—Browsing optimisation, e.g. caching or content distillation
- G06F16/9574—Browsing optimisation, e.g. caching or content distillation of access to content, e.g. by caching
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种缓存配置管理方法、装置、设备、系统和存储介质,该方法包括:当应用服务向缓存模块获取数据时,确定对应的缓存命中信息,所述缓存模块包括本地缓存单元和分布式缓存单元;根据所述缓存命中信息确定对应的缓存配置数据;根据所述缓存配置数据对所述缓存模块进行配置更新。本方案,优化了对缓存的管理配置,实现了灵活的动态配置管理,提高了缓存处理效率。
Description
技术领域
本申请实施例涉及计算机领域,尤其涉及一种缓存配置管理方法、装置、设备、系统和存储介质。
背景技术
随着互联网大数据的发展,对设备数据处理量和处理速度的要求也越来越高。缓存机制是一种很好的提升数据处理性能的方法,如在数据的访问、处理过程中,采用设置本地缓存或分布式缓存的方式。
通常情况下,通过分布式缓存的使用可以满足大部分的业务要求。但是,对于性能的进一步提升以及高可用性的保障程度上而言,仅仅使用分布式缓存进行数据处理是不够的。同样,如果仅仅使用本地缓存,则不利于数据的更新同步,因此需要一种新的缓存处理框架,以及高效的缓存配置管理方法。
发明内容
本发明实施例提供了一种缓存配置管理方法、装置、设备、系统和存储介质,优化了对缓存的管理配置,实现了灵活的动态配置管理,提高了缓存处理效率。
第一方面,本发明实施例提供了一种缓存配置管理方法,该方法包括:
当应用服务向缓存模块获取数据时,确定对应的缓存命中信息,所述缓存模块包括本地缓存单元和分布式缓存单元;
根据所述缓存命中信息确定对应的缓存配置数据;
根据所述缓存配置数据对所述缓存模块进行配置更新。
第二方面,本发明实施例还提供了一种缓存配置管理装置,该装置包括:
缓存信息确定模块,用于当应用服务向缓存模块获取数据时,确定对应的缓存命中信息,所述缓存模块包括本地缓存单元和分布式缓存单元;
配置数据确定模块,用于根据所述缓存命中信息确定对应的缓存配置数据;
配置数据更新模块,用于根据所述缓存配置数据对所述缓存模块进行配置更新。
第三方面,本发明实施例还提供了一种缓存配置管理设备,该设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明实施例所述的缓存配置管理方法。
第四方面,本发明实施例还提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行本发明实施例所述的缓存配置管理方法。
第五方面,本发明实施例还提供了一种缓存配置管理系统,包括:
缓存管理模块、缓存模块以及缓存配置模块,所述缓存模块包括本地缓存单元和分布式缓存单元,其中,
所述缓存管理模块,用于当应用服务向所述缓存模块获取数据时,确定对应的缓存命中信息;
所述缓存配置模块,用于根据所述缓存命中信息确定对应的缓存配置数据;
所述缓存管理模块,还用于根据所述缓存配置数据对所述缓存模块进行配置更新。
本发明实施例中,当应用服务向缓存模块获取数据时,确定对应的缓存命中信息,根据缓存命中信息确定对应的缓存配置数据,再根据缓存配置数据对缓存模块进行配置更新,其中,缓存模块包括本地缓存单元和分布式缓存单元。通过该种缓存管理配置的方式,实现了对本地缓存加分布式缓存架构下缓存模块的配置优化,能够灵活的进行缓存配置,提升了缓存性能,提高数据处理效率。
附图说明
图1为本发明实施例提供的一种缓存配置管理方法的流程图;
图2为本发明实施例提供的另一种缓存配置管理方法的流程图;
图3为本发明实施例提供的另一种缓存配置管理方法的流程图;
图4为本发明实施例提供的另一种缓存配置管理方法的流程图;
图5为本发明实施例提供的另一种缓存配置管理方法的流程图;
图6为本发明实施例提供的另一种缓存配置管理方法的流程图;
图7为本发明实施例提供的一种缓存配置管理系统的系统框图;
图8为本发明实施例提供的一种缓存配置管理装置的结构框图;
图9为本发明实施例提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明实施例作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明实施例,而非对本发明实施例的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明实施例相关的部分而非全部结构。
图1为本发明实施例提供的一种缓存配置管理方法的流程图,本实施例可适用于对缓存进行灵活配置,具体包括如下步骤:
步骤S101、当应用服务向缓存模块获取数据时,确定对应的缓存命中信息,所述缓存模块包括本地缓存单元和分布式缓存单元。
其中,应用服务可以是系统提供的任意功能运行的服务程序,该应用服务进行数据查询时,对缓存模块进行访问以获取相应数据。该应用服务还可以是跨系统的查询服务,或者任意的有缓存数据查询、获取功能的程序,也可以是针对缓存模块的查询调用所配置的特定的服务。
在一个实施例中,该缓存模块使用本地缓存单元加分布式缓存单元组合的方式部署。示例性的,本地缓存单元可采用Guava框架或Caffeine框架等,分布式缓存单元采用Redis或memcached等,也可采用自定义的框架,具体不做限定。该种本地缓存和分布式缓存级联的缓存架构方式既能体现分布式缓存便于数据同步更新的优点,也具备了本地缓存数据查询速率快的优点。
其中,缓存命中信息用于表征应用服务在向缓存模块获取数据时,数据的获取情况,如缓存命中率。其中,该缓存命中信息可以是以设定的时间间隔进行统计的信息,也可以是按照应用服务查询次数进行统计的信息。
具体的,在一个实施例中,应用服务优先从本地缓存单元进行数据获取,如果没有查询命中数据,则进一步从分布式缓存单元进行数据获取,如果依然未命中,则从原始数据库中进行数据获取。当然,如果在本地缓存单元或分布式缓存单元中查询命中数据,则相应的反馈数据结果而无需进行后续查询。可选的,该缓存命中信息可以是本地缓存单元和分布式缓存单元查询过程中的综合信息,也可以单独包括查询本地缓存单元的本地缓存命中信息,以及单独查询分布式缓存单元的分布式缓存命中信息。
步骤S102、根据所述缓存命中信息确定对应的缓存配置数据。
在一个实施例中,缓存配置数据为对缓存模块进行相关配置的数据,如缓存的更新时间。通过对该更新时间的配置以使得缓存模块在相应时间点进行数据更新,如将原始数据库中的数据更新至缓存模块。在另一个实施例中,该缓存配置数据还可以是对缓存模块架构的配置,如指定在某个时间点仅使用本地缓存单元,或在某个时间点仅使用分布式缓存单元等。还可以是针对本地缓存单元或者分布式缓存单元的具体使用的框架或数据类型的配置等。
示例性的,以缓存命中信息包含缓存命中率为例,当该缓存命中率如果低于设定的阈值(如90%)则调整缓存的更新时间,将更新时间缩短,以提高缓存模块数据和数据库数据进行同步的频率,来提升缓存命中率。反之,如果缓存命中率持续高于设定的阈值则将更新时间进行延长,在保证应用服务数据获取效率的同时降低数据同步造成的资源消耗。
步骤S103、根据所述缓存配置数据对所述缓存模块进行配置更新。
在一个实施例中,在根据缓存命中信息确定出对应的缓存配置数据后,根据该确定出的缓存配置数据对原有的缓存模块的配置进行更新处理。示例性的,以缓存命中信息包含缓存命中率为例,当该缓存命中率如果低于设定的阈值(如90%)则调整缓存的更新时间,如原有的缓存更新时间为30分钟,则调整缓存更新时间为15分钟,相应的将缓存模块关联配置的更新时间设置为15分钟。即每过15分钟进行一次缓存模块数据和数据库数据的同步。
当该缓存命中率如果高于设定的阈值(如95%)则调整缓存的更新时间,如原有的缓存更新时间为30分钟,则调整缓存更新时间为45分钟,相应的将缓存模块关联配置的更新时间设置为45分钟。即每过45分钟进行一次缓存模块数据和数据库数据的同步。
在另一个实施例中,如果确定出缓存命中率如果低于设定的阈值(如50%)时,则生成立即更新缓存信息的指令,将该指令作为缓存配置数据,在执行该缓存配置数据时,直接对缓存模块数据进行更新。
由上述方案可知,在应用服务进行数据获取时,确定其缓存命中信息,根据该缓存命中信息动态的确定对应的缓存配置数据,并相应的进行缓存配置数据的动态更新,实现了对缓存模块实时、灵活的动态配置,优化了缓存模块的整体性能,能够为缓存模块适配最有的配置数据,提高了缓存处理效率。
图2为本发明实施例提供的另一种缓存配置管理方法的流程图,系统配置有缓存管理模块以及缓存配置模块。如图2所示,技术方案具体如下:
步骤S201、当应用服务向缓存模块获取数据时,缓存管理模块确定对应的缓存命中信息,所述缓存模块包括本地缓存单元和分布式缓存单元。
示例性的,缓存管理模块在应用服务向缓存模块进行数据获取时,对相应的缓存命中信息进行统计。如应用服务在5分钟内向缓存模块读取了300条数据,其中,通过查询缓存单元命中280条,通过查询数据库得到反馈结果的为20条,则相应确定出的缓存命中率为93.3%。在一个实施例中,该缓存管理模块可以集成在各个应用服务中,也可单独设置。
在一个实施例中,分别对本地缓存单元的命中率以及分布式缓存单元的命中率进行单独统计。示例性的,以应用服务优先从本地缓存单元获取数据,如果获取失败则向分布式缓存单元获取数据,如果再失败则向数据库获取数据为例。在5分钟内,应用服务总共发起了200次数据查询,其中优先进行本地缓存单元的数据查询,查询命中100次,当本地缓存单元查询未命中时查询分布式缓存单元,该100次查询中命中80次,则本地缓存单元的缓存命中率为50%,分布式缓存单元的缓存命中率为80%。需要说明的是,在另一个实施例中应用服务还可以是优先从分布式缓存中进行数据获取,如果获取失败则从本地缓存单元中进行数据获取,其根据实际业务需要该多级缓存的数据获取机制可以灵活变动。
步骤S202、缓存管理模块将所述缓存命中信息上报至缓存配置模块,所述缓存配置模块根据预设的配置条件以及所述缓存命中信息确定对应的缓存配置数据。
在一个实施例中,缓存配置模块记录有不同的缓存命中信息对应的缓存配置数据,即根据缓存命中信息的不同设置有多个预设的配置条件。以缓存命中率的不同为例,如下表所示:
缓存命中率 | 小于0.8 | 0.8-0.9 | 0.9-0.95 | 大于0.95 |
缓存更新时间 | T1 | T2 | T3 | T4 |
其中,在缓存配置模块中可设置以最小命中率阈值(如75%),当检测到缓存命中率小于该最小命中率阈值时立即强制执行缓存数据更新。
在另一个实施例中,缓存管理模块对本地缓存单元的缓存命中率以及分布式缓存单元的缓存命中率进行单独统计,相应的,缓存配置模块根据不同的本地缓存单元的缓存命中率以及分布式缓存单元的缓存命中率设置有不同的缓存配置数据。示例性的,以应用服务优先从本地缓存单元获取数据,如果获取失败则向分布式缓存单元获取数据,如果再失败则向数据库获取数据为例。在5分钟内,应用服务总共发起了200次数据查询,其中优先进行本地缓存单元的数据查询,查询命中180次,当本地缓存单元查询未命中时查询分布式缓存单元,该20次查询中命中5次,则本地缓存单元的缓存命中率为90%,分布式缓存单元的缓存命中率为25%;对应的缓存配置数据可以是暂时停用分布式缓存单元,其针对当前缓存查询模式下,设置的条件可以是本地缓存单元的缓存命中率大于85%,分布式缓存单元的缓存命中率小于50%。即根据不同的缓存命中信息确定是否开启或停用本地缓存单元和/或分布式缓存单元。
在另一个实施例中,通过配置单独的缓存配置模块以管理相应的配置信息。其中,该缓存配置模块可以以图形界面的形式进行界面显示,以提供给操作员进行操作,操作人员通过该显示界面可以手动进行缓存配置数据的调配。当缓存配置模块接收到具体的缓存配置数据后,将其同步发送至缓存管理模块以将缓存配置数据进行更新。
步骤S203、缓存管理模块根据所述缓存配置数据对所述缓存模块进行配置更新。
由上述方案可知,通过缓存管理模块对应用服务进行缓存数据获取情况进行统计得到缓存命中信息,缓存配置模块根据不同的缓存配置信息确定对应的缓存配置数据以完成对缓存模块配置的更改,实现了动态的对缓存模块的配置,能够优化缓存配置架构同时可以控制缓存更新时间,显著提高了缓存处理效率。
图3为本发明实施例提供的另一种缓存配置管理方法的流程图,给出了一种具体的进行缓存配置更新的过程。如图3所示,技术方案具体如下:
步骤S301、当应用服务向缓存模块获取数据时,缓存管理模块确定对应的缓存命中信息,所述缓存模块包括本地缓存单元和分布式缓存单元。
步骤S302、缓存管理模块将所述缓存命中信息上报至缓存配置模块,所述缓存配置模块根据预设的配置条件以及所述缓存命中信息确定对应的缓存配置数据。
步骤S303、缓存管理模块基于长轮询的方式定期对所述缓存配置模块中的缓存配置数据进行轮询,当检测到新的缓存配置数据时,对所述缓存模块进行配置更新。
在一个实施例中,缓存管理模块采用长轮询的方式发送请求指令至缓存配置模块。其中,长轮询的方式为当缓存配置模块没有需要立即反馈的缓存配置数据时不是立即返回一个空结果,而是继续进行等待,在等待最大时间间隔内如果确定出存在缓存配置数据则进行反馈,由此实现了缓存配置模块数据的实时反馈,保证了缓存模块中缓存配置数据更新的实时性。
具体的,在时刻1时,缓存管理模块发出了基于长轮询模式的数据查询获取请求至缓存配置模块,此时缓存配置模块并没有更新的缓存配置数据,针对该请求指令并不立即反馈消息,而是处于等待状态;在时刻2时(时刻2晚于时刻1,且时刻1和时刻2的时间间隔小于轮询最大等待时间),操作人员通过缓存配置模块显示的界面进行了缓存配置数据的设置,当新的缓存配置数据设置完毕后,缓存配置模块响应于缓存管理模块之前发送的数据查询获取请求,将设置后的缓存配置数据发送至缓存管理模块。
在一个实施例中,缓存配置模块接收到缓存配置数据后,对该缓存配置数据的配置内容进行识别,如果识别出预设项的缓存配置数据,则缓存配置模块主动发送缓存配置数据至缓存管理模块以进行缓存模块的缓存配置数据的更新。示例性的,预设项包括本地缓存单元和分布式缓存单元的开启和/或停用项。
在另一个实施例中,缓存管理模块定期(如每隔固定的时间间隔5分钟)基于长轮询的方式对,对缓存配置模块中的缓存配置数据进行轮询,还可以时在根据缓存命中信息确定的时间节点,基于长轮询的方式对,对缓存配置模块中的缓存配置数据进行轮询。
由上述方案可知,缓存管理模块基于长轮询的方式定期对缓存配置模块中的缓存配置数据进行轮询,当检测到新的缓存配置数据时,对缓存模块进行配置更新,保证了缓存配置数据更新的实时性,可以在第一时间对缓存模块进行配置。
图4为本发明实施例提供的另一种缓存配置管理方法的流程图,给出了一种具体的对缓存模块进行配置的方式。如图4所示,技术方案具体如下:
步骤S401、当应用服务向缓存模块获取数据时,缓存管理模块确定对应的缓存命中信息,所述缓存模块包括本地缓存单元和分布式缓存单元。
步骤S402、缓存管理模块将所述缓存命中信息上报至缓存配置模块,所述缓存配置模块根据预设的配置条件以及所述缓存命中信息确定对应的缓存配置数据。
在一个实施例中,该缓存配置数据包括对本地缓存单元的配置数据以及对分布式缓存单元的配置数据。即可根据不同的缓存命中信息以确定对应的本地缓存单元和分布式缓存单元的设置数据。
步骤S403、缓存管理模块基于长轮询的方式定期对所述缓存配置模块中的缓存配置数据进行轮询。
步骤S404、当检测到本地缓存单元以及分布式缓存单元的设置数据时,根据该设置数据对所述本地缓存单元以及所述分布式缓存单元进行设置。
在另一个实施例中,除了前述根据缓存命中信息确定缓存配置数据外,还可以是缓存配置模块接收设置的缓存配置数据,如操作员设置的对本地缓存单元以及分布式缓存单元的设置。其中,对本地缓存单元以及分布式缓存单元的设置包括缓存单元的可用性设置、类型设置和数量设置中的任意一种或多种。其中,可用性设置包括对缓存单元的启用或暂停的设置,类型设置可以是对缓存单元使用的不同架构的配置,数量设置可以是对缓存单元的数量个数的设置。
由上述方案可知,本方案实现了针对本地缓存单元结合分布式缓存单元架构下,对缓存单元的灵活配置,优化了对缓存的管理配置,提高了缓存处理效率。
图5为本发明实施例提供的另一种缓存配置管理方法的流程图,给出了一种对缓存命中情况进行监控的方法。如图5所示,技术方案具体如下:
步骤S501、当应用服务向缓存模块获取数据时,缓存管理模块确定对应的缓存命中信息,所述缓存模块包括本地缓存单元和分布式缓存单元。
步骤S502、缓存管理模块将所述缓存命中信息上报至监控服务模块,所述监控服务模块确定出所述缓存命中信息满足设置的告警条件时,执行告警处理。
在一个实施例中,设置有一监控服务模块用于对缓存命中信息进行监控。示例性的,如对缓存命中信息进行实时显示。当监控服务模块确定出缓存命中信息满足设置的告警条件时,执行告警处理。该告警条件可有缓存配置模块进行配置,示例性的,该告警条件可以是缓存命中信息中缓存命中率低于70%,具体的告警处理方式可以是显示或弹出一告警窗口或发出告警提示音等。在一个实施例中对本地缓存以及分布式缓存的命中情况进行分级单独显示,便于操作人员了解不同缓存单元的缓存命中情况,为其进行后续的缓存配置数据的调整提供依据。
其中,缓存管理模块将缓存命中信息上报至监控服务模块的方式可以是:缓存管理模块通过使用protobuf协议中的rpc协议向监控服务模块上报缓存命中率,该种上报方式上报效率更高,兼容性更强。
步骤S503、缓存管理模块将所述缓存命中信息上报至缓存配置模块,所述缓存配置模块根据预设的配置条件以及所述缓存命中信息确定对应的缓存配置数据。
步骤S504、缓存管理模块基于长轮询的方式定期对所述缓存配置模块中的缓存配置数据进行轮询,当检测到新的缓存配置数据时,对所述缓存模块进行配置更新。
由上述方案可知,通过监控服务模块可以对缓存模块的相关情况进行监控,对缓存系统进行了优化,通过利用该监控功能,可以方便的查看缓存单元的命中率,方便使用者灵活的对缓存的使用进行调整,实现了缓存的充分利用。
图6为本发明实施例提供的另一种缓存配置管理方法的流程图,给出了一种对缓存配置数据进行同步的方法。如图6所示,技术方案具体如下:
步骤S601、当应用服务向缓存模块获取数据时,缓存管理模块确定对应的缓存命中信息,所述缓存模块包括本地缓存单元和分布式缓存单元。
步骤S602、缓存管理模块将所述缓存命中信息上报至监控服务模块,所述监控服务模块确定出所述缓存命中信息满足设置的告警条件时,执行告警处理。
步骤S603、缓存管理模块将所述缓存命中信息上报至缓存配置模块,所述缓存配置模块根据预设的配置条件以及所述缓存命中信息确定对应的缓存配置数据。
步骤S604、缓存管理模块基于长轮询的方式定期对所述缓存配置模块中的缓存配置数据进行轮询,当检测到新的缓存配置数据时,对所述缓存模块进行配置更新。
步骤S605、缓存管理模块将所述缓存配置数据发送至集群中的其它节点,用于其它节点根据所述缓存配置数据进行缓存模块的配置更新。
在一个实施例中,在进行本地的缓存配置数据的更新后,还包括将缓存配置数据发送至集群中的其它节点,以使其它节点根据缓存配置数据进行缓存模块的配置更新。示例性的,在缓存配置数据调整过程中,当某个节点需要进行数据库数据更新时(即对本地缓存单元以及分布式缓存单元中存储的数据进行更新),可同步下发消息至集群中的其它节点,如通过kafka下发消息至其它节点的配置管理模块,以实现各个节点的数据同步更新。其中,针对其它节点的数据同步可以是单独针对本地缓存单元或分布式缓存单元的数据更新。
由上述方案可知,缓存管理模块将缓存配置数据发送至集群中的其它节点,用于其它节点根据缓存配置数据进行缓存模块的配置更新,提升了缓存系统配置的整体效率,进一步优化了缓存处理机制。
图7为本发明实施例提供的一种缓存配置管理系统的系统框图。如图7所示,该系统包括:缓存管理模块701、缓存模块702以及缓存配置模块703,所述缓存模块702包括本地缓存单元7021和分布式缓存单元7022,其中,
所述缓存管理模块701,用于当应用服务向所述缓存模块702获取数据时,确定对应的缓存命中信息;所述缓存配置模块703,用于根据所述缓存命中信息确定对应的缓存配置数据;所述缓存管理模块701,还用于根据所述缓存配置数据对所述缓存模块进行配置更新。
其中,缓存管理模块701可以将缓存命中信息上报至缓存配置模块703,同时还将该缓存命中信息上报至监控服务模块704,该监控模块704用于确定出缓存命中信息满足设置的告警条件时,执行告警处理。
其中,缓存管理模块701基于长轮询的方式定期对所述缓存配置模块703中的缓存配置数据进行轮询,当检测到新的缓存配置数据时,对所述缓存模块702进行配置更新。
其中,所述缓存配置数据包括对所述本地缓存单元以及所述分布式缓存单元的设置数据,所述缓存管理模块703具体用于:
根据所述本地缓存单元以及所述分布式缓存单元的设置数据,对所述本地缓存单元以及所述分布式缓存单元进行设置,所述设置数据包括可用性设置、类型设置和数量设置中的任意一种或多种。
在一个实施例中,所述缓存配置模块703以及所述监控服务模块704采用多个实例进行部署,即采用微服务化的方式,当某个实例下线或不可用时,不影响缓存管理系统的整体使用。
由上述方案可知,本方案提供的缓存配置管理系统,实现了对本地缓存加分布式缓存架构下缓存模块的配置优化,能够灵活的进行缓存配置,提升了缓存性能,提高数据处理效率。同时,缓存管理模块基于长轮询的方式定期对缓存配置模块中的缓存配置数据进行轮询,当检测到新的缓存配置数据时,对缓存模块进行配置更新,保证了缓存配置数据更新的实时性,可以在第一时间对缓存模块进行配置;通过监控服务模块可以对缓存模块的相关情况进行监控,对缓存系统进行了优化,通过利用该监控功能,可以方便的查看缓存单元的命中率,方便使用者灵活的对缓存的使用进行调整,实现了缓存的充分利用。
图8为本发明实施例提供的一种缓存配置管理装置的结构框图,该装置用于执行上述实施例提供的缓存配置管理方法,具备执行方法相应的功能模块和有益效果。如图8所示,该装置具体包括:缓存信息确定模块101、配置数据确定模块102和配置数据更新模块103,其中,
缓存信息确定模块101,用于当应用服务向缓存模块获取数据时,确定对应的缓存命中信息,所述缓存模块包括本地缓存单元和分布式缓存单元;
配置数据确定模块102,用于根据所述缓存命中信息确定对应的缓存配置数据;
配置数据更新模块103,用于根据所述缓存配置数据对所述缓存模块进行配置更新。
由上述方案可知,当应用服务向缓存模块获取数据时,确定对应的缓存命中信息,根据缓存命中信息确定对应的缓存配置数据,再根据缓存配置数据对缓存模块进行配置更新,其中,缓存模块包括本地缓存单元和分布式缓存单元。通过该种缓存管理配置的方式,实现了对本地缓存加分布式缓存架构下缓存模块的配置优化,可以提升缓存性能,提高数据处理效率。
在一个可能的实施例中,所述缓存配置数据包括缓存更新信息,所述配置数据确定模块102具体用于:
根据所述缓存命中信息以及设置的缓存命中率阈值确定对应的缓存更新信息;
所述配置数据更新模块103具体用于:
根据确定出的缓存更新信息,对所述缓存模块存储的数据进行更新。
在一个可能的实施例中,所述配置数据更新模块103还用于:
在根据所述缓存配置数据对所述缓存模块进行配置更新之后,将所述缓存配置数据发送至集群中的其它节点,用于其它节点根据所述缓存配置数据进行缓存模块的配置更新。
图9为本发明实施例提供的一种缓存配置管理设备的结构示意图,如图9所示,该设备包括处理器201、存储器202、输入装置203和输出装置204;设备中处理器201的数量可以是一个或多个,图9中以一个处理器201为例;设备中的处理器201、存储器202、输入装置203和输出装置204可以通过总线或其他方式连接,图9中以通过总线连接为例。存储器202作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的缓存配置管理方法对应的程序指令/模块。处理器201通过运行存储在存储器202中的软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述的缓存配置管理方法。输入装置203可用于接收输入的数字或字符信息,以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置204可包括显示屏等显示设备。
本发明实施例还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种缓存配置管理方法,该方法包括:
当应用服务向缓存模块获取数据时,确定对应的缓存命中信息,所述缓存模块包括本地缓存单元和分布式缓存单元;
根据所述缓存命中信息确定对应的缓存配置数据;
根据所述缓存配置数据对所述缓存模块进行配置更新。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明实施例可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。上述缓存配置管理装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明实施例的保护范围。
注意,上述仅为本发明实施例的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明实施例不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明实施例的保护范围。因此,虽然通过以上实施例对本发明实施例进行了较为详细的说明,但是本发明实施例不仅仅限于以上实施例,在不脱离本发明实施例构思的情况下,还可以包括更多其他等效实施例,而本发明实施例的范围由所附的权利要求范围决定。
Claims (13)
1.缓存配置管理方法,其特征在于,包括:
当应用服务向缓存模块获取数据时,确定对应的缓存命中信息,所述缓存模块包括本地缓存单元和分布式缓存单元;
根据所述缓存命中信息确定对应的缓存配置数据;
根据所述缓存配置数据对所述缓存模块进行配置更新。
2.根据权利要求1所述的缓存配置管理方法,其特征在于,所述根据所述缓存命中信息确定对应的缓存配置数据,包括:
缓存管理模块将所述缓存命中信息上报至缓存配置模块;
所述缓存配置模块根据预设的配置条件以及所述缓存命中信息确定对应的缓存配置数据。
3.根据权利要求2所述的缓存配置管理方法,其特征在于,所述根据所述缓存配置数据对所述缓存模块进行配置更新,包括:
缓存管理模块基于长轮询的方式定期对所述缓存配置模块中的缓存配置数据进行轮询,当检测到新的缓存配置数据时,对所述缓存模块进行配置更新。
4.根据权利要求3所述的缓存配置管理方法,其特征在于,所述缓存配置数据包括对所述本地缓存单元以及所述分布式缓存单元的设置数据,所述对所述缓存模块进行配置更新,包括:
根据所述本地缓存单元以及所述分布式缓存单元的设置数据,对所述本地缓存单元以及所述分布式缓存单元进行设置,所述设置数据包括可用性设置、类型设置和数量设置中的任意一种或多种。
5.根据权利要求1所述的缓存配置管理方法,其特征在于,在确定对应的缓存命中信息之后,还包括:
缓存管理模块将所述缓存命中信息上报至监控服务模块;
所述监控服务模块确定出所述缓存命中信息满足设置的告警条件时,执行告警处理。
6.根据权利要求1-5中任一项所述的缓存配置管理方法,其特征在于,所述缓存配置数据包括缓存更新信息,所述根据所述缓存命中信息确定对应的缓存配置数据,包括:
根据所述缓存命中信息以及设置的缓存命中率阈值确定对应的缓存更新信息;
相应的,所述根据所述缓存配置数据对所述缓存模块进行配置更新,包括:
根据确定出的缓存更新信息,对所述缓存模块存储的数据进行更新。
7.根据权利要求1-5中任一项所述的缓存配置管理方法,其特征在于,在根据所述缓存配置数据对所述缓存模块进行配置更新之后,还包括:
将所述缓存配置数据发送至集群中的其它节点,用于其它节点根据所述缓存配置数据进行缓存模块的配置更新。
8.缓存配置管理系统,其特征在于,包括:
缓存管理模块、缓存模块以及缓存配置模块,所述缓存模块包括本地缓存单元和分布式缓存单元,其中,
所述缓存管理模块,用于当应用服务向所述缓存模块获取数据时,确定对应的缓存命中信息;
所述缓存配置模块,用于根据所述缓存命中信息确定对应的缓存配置数据;
所述缓存管理模块,还用于根据所述缓存配置数据对所述缓存模块进行配置更新。
9.根据权利要求8所述的缓存配置管理系统,其特征在于,还包括:
监控服务模块,用于接收所述缓存管理模块上报的缓存命中信息,当确定出所述缓存命中信息满足设置的告警条件时,执行告警处理。
10.根据权利要求9所述的缓存配置管理系统,其特征在于,所述缓存配置模块以及所述监控服务模块采用多个实例进行部署。
11.缓存配置管理装置,其特征在于,包括:
缓存信息确定模块,用于当应用服务向缓存模块获取数据时,确定对应的缓存命中信息,所述缓存模块包括本地缓存单元和分布式缓存单元;
配置数据确定模块,用于根据所述缓存命中信息确定对应的缓存配置数据;
配置数据更新模块,用于根据所述缓存配置数据对所述缓存模块进行配置更新。
12.一种缓存配置管理设备,所述设备包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一项所述的缓存配置管理方法。
13.一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一项所述的缓存配置管理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110373734.4A CN113158105B (zh) | 2021-04-07 | 2021-04-07 | 缓存配置管理方法、装置、设备、系统和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110373734.4A CN113158105B (zh) | 2021-04-07 | 2021-04-07 | 缓存配置管理方法、装置、设备、系统和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113158105A true CN113158105A (zh) | 2021-07-23 |
CN113158105B CN113158105B (zh) | 2024-02-13 |
Family
ID=76888910
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110373734.4A Active CN113158105B (zh) | 2021-04-07 | 2021-04-07 | 缓存配置管理方法、装置、设备、系统和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113158105B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106506704A (zh) * | 2016-12-29 | 2017-03-15 | 北京奇艺世纪科技有限公司 | 一种缓存更新方法及装置 |
CN107071059A (zh) * | 2017-05-25 | 2017-08-18 | 腾讯科技(深圳)有限公司 | 分布式缓存服务实现方法、装置、终端、服务器及系统 |
CN108132958A (zh) * | 2016-12-01 | 2018-06-08 | 阿里巴巴集团控股有限公司 | 一种多级缓存数据存储、查询、调度以及处理方法及装置 |
CN110287217A (zh) * | 2019-06-10 | 2019-09-27 | 天翼电子商务有限公司 | 基于分布式业务系统的缓存控制方法、系统、及电子设备 |
CN110753099A (zh) * | 2019-10-12 | 2020-02-04 | 平安健康保险股份有限公司 | 分布式缓存系统以及缓存数据更新方法 |
CN111737168A (zh) * | 2020-06-24 | 2020-10-02 | 华中科技大学 | 一种缓存系统、缓存处理方法、装置、设备及介质 |
-
2021
- 2021-04-07 CN CN202110373734.4A patent/CN113158105B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108132958A (zh) * | 2016-12-01 | 2018-06-08 | 阿里巴巴集团控股有限公司 | 一种多级缓存数据存储、查询、调度以及处理方法及装置 |
CN106506704A (zh) * | 2016-12-29 | 2017-03-15 | 北京奇艺世纪科技有限公司 | 一种缓存更新方法及装置 |
CN107071059A (zh) * | 2017-05-25 | 2017-08-18 | 腾讯科技(深圳)有限公司 | 分布式缓存服务实现方法、装置、终端、服务器及系统 |
CN110287217A (zh) * | 2019-06-10 | 2019-09-27 | 天翼电子商务有限公司 | 基于分布式业务系统的缓存控制方法、系统、及电子设备 |
CN110753099A (zh) * | 2019-10-12 | 2020-02-04 | 平安健康保险股份有限公司 | 分布式缓存系统以及缓存数据更新方法 |
CN111737168A (zh) * | 2020-06-24 | 2020-10-02 | 华中科技大学 | 一种缓存系统、缓存处理方法、装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113158105B (zh) | 2024-02-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109660607B (zh) | 一种业务请求分发方法、接收方法、装置及服务器集群 | |
CN107846295B (zh) | 微服务配置装置及方法 | |
US20210058320A1 (en) | Time-Series Data Monitoring With Sharded Server | |
CN108804237A (zh) | 数据实时统计方法、装置、存储介质和电子设备 | |
AU2014209697B2 (en) | Method and system for using a recursive event listener on a node in hierarchical data structure | |
CN106789377B (zh) | 网元集群的服务参数更新方法 | |
US10944655B2 (en) | Data verification based upgrades in time series system | |
EP3457278B1 (en) | Distributed processing system, data processing method, and control node apparatus | |
CN111949402A (zh) | 数据库请求处理方法、装置、计算机设备及存储介质 | |
US20180307716A1 (en) | Data Access Method, Apparatus, and System | |
CN116088892A (zh) | 分布式业务系统配置变更方法、装置、计算机设备及介质 | |
CN102075964A (zh) | 网管系统获取性能数据的方法和设备 | |
CN111339466A (zh) | 接口管理方法、装置、电子设备及可读存储介质 | |
CN114281524A (zh) | 一种智能电缆业务处理系统管理方法及装置 | |
CN113158105B (zh) | 缓存配置管理方法、装置、设备、系统和存储介质 | |
CN112506926A (zh) | 监控数据存储、查询方法及其相应的装置、设备、介质 | |
CN111444249A (zh) | 基于热数据的用户画像生成方法、装置、设备及存储介质 | |
CN112068940A (zh) | 实时任务调度方法、装置、调度系统及存储介质 | |
CN111274032A (zh) | 任务处理系统及方法、存储介质 | |
CN114201449A (zh) | 一种日志监控方法、装置、计算机设备及存储介质 | |
CN116049285A (zh) | 一种基于流数据的实时指标计算方法、系统、设备及介质 | |
US20160125330A1 (en) | Rolling upgrade of metric collection and aggregation system | |
CN112685486B (zh) | 数据库集群的数据管理方法、装置、电子设备及存储介质 | |
CN114615073A (zh) | 访问流量控制方法及其装置、设备、介质 | |
CN111078736A (zh) | 一种数据聚合处理方法、装置、终端及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |