CN111090675B - 多入口数据缓存方法及存储介质 - Google Patents
多入口数据缓存方法及存储介质 Download PDFInfo
- Publication number
- CN111090675B CN111090675B CN201911154529.8A CN201911154529A CN111090675B CN 111090675 B CN111090675 B CN 111090675B CN 201911154529 A CN201911154529 A CN 201911154529A CN 111090675 B CN111090675 B CN 111090675B
- Authority
- CN
- China
- Prior art keywords
- data
- key
- cache
- name space
- version number
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种多入口数据缓存方法及存储介质,其中方法包括如下步骤,拦截原缓存调用请求,根据该缓存调用请求生成密钥KEY,所述密钥KEY的生成规则为:入口平台代码+命名空间+类名+命名空间版本号+识别码;使用上述密钥在缓存服务器中进行数据调用,若获取的到数据,则将数据返回,若未命中数据,则直接使用原缓存调用请求获取数据库中数据,并将该数据及对应的密钥KEY存储在缓存服务器中。本发明通过对数据调用的请求进行拦截,然后在缓存服务器中创建识别KEY及对应数据的方式,使得多入口分次调用相同数据的请求不用再多次访问数据库,减少了数据库的代码侵入,并进一步地提高了入口数据调用的效率。
Description
技术领域
本发明涉及数据存储领域,尤其涉及一种加快多平台互通的数据缓存方法。
背景技术
缓存技术是加快数据读取的一种常用技术,常常被用于各种各样的软件系统中,其作用是帮助系统更快地运行。目前存在诸多缓存系统包括mencached、redis、ehcache等,对各种各样缓存系统的访问和使用需要根据不同的要求来实现,没有一个统一的方式,难以实现对缓存系统进行快捷访问和管理。
目前广泛运用的缓存处理方法包括直接调用各种各样缓存系统的SDK进行直接缓存操作,还有使用AOP进行缓存处理的方法,其中基于AOP缓存处理的方法能够减少代码的侵入,但是仍然无法解决各个缓存系统之间快速切换的问题。
现有技术中还存在一些缓存服务实现方法,该方法将缓存划分为私有缓存和公共缓存,并对缓存key设置一个前缀,同时,框架提供一套规范来管理缓存key,以防止缓存key发生冲突,该方法主要应用于解决公共缓存和私有缓存的权限访问问题,对于缓存系统的快速切换以及代码侵入性都未能够很好解决,其中原始数据直接存入缓存系统会有数据异常问题。
发明内容
为此,需要提供一种能够兼容多平台入口并缓存实现方法,用以实现减小代码侵入及统一的缓存快速切换和管理中介;
为实现上述目的,发明人提供了一种多入口数据缓存方法,包括如下步骤,拦截原缓存调用请求,根据该缓存调用请求生成密钥KEY,
所述密钥KEY的生成规则为:入口平台代码+命名空间+类名+命名空间版本号+识别码;
使用上述密钥在缓存服务器中进行数据调用,若获取得到数据,则将数据返回,若未命中数据,则直接使用原缓存调用请求获取数据库中数据,并将该数据及对应的密钥KEY存储在缓存服务器中。
具体地,还包括步骤,将该数据及对应的密钥KEY进行序列化后存储在缓存服务器中。
具体地,还包括步骤,判断密钥KEY中的版本号是否存在于缓存服务器,当判定为不存在于缓存服务器中时,进行步骤,直接使用原缓存调用请求获取数据库中数据。
具体地,还包括步骤,拦截对数据库中数据的操作,将变动数据的在缓存服务器中对应的命名空间版本号更新。
一种多入口数据缓存存储介质,存储有计算机程序,所述计算机程序在被运行时执行包括如下步骤,拦截原缓存调用请求,根据该缓存调用请求生成密钥KEY,
所述密钥KEY的生成规则为:入口平台代码+命名空间+类名+命名空间版本号+识别码;
使用上述密钥在缓存服务器中进行数据调用,若获取的到数据,则将数据返回,若未命中数据,则直接使用原缓存调用请求获取数据库中数据,并将该数据及对应的密钥KEY存储在缓存服务器中。
具体地,所述计算机程序在被运行时还执行包括步骤,将该数据及对应的密钥KEY进行序列化后存储在缓存服务器中。
具体地,所述计算机程序在被运行时还执行包括步骤,判断密钥KEY中的版本号是否存在于缓存服务器,当判定为不存在于缓存服务器中时,进行步骤,直接使用原缓存调用请求获取数据库中数据。
具体地,所述计算机程序在被运行时还执行包括步骤,拦截对数据库中数据的操作,将变动数据的在缓存服务器中对应的命名空间版本号更新。
区别于现有技术,本发明通过对数据调用的请求进行拦截,然后在缓存服务器中创建识别KEY及对应数据的方式,使得多入口分次调用相同数据的请求不用再多次访问数据库,减少了数据库的访问压力,并进一步地提高了入口数据调用的效率,同时减少了对业务系统的代码侵入。
附图说明
图1为本发明一实施方式涉及的流程图;
具体实施方式
为详细说明技术方案的技术内容、构造特征、所实现目的及效果,以下结合具体实施例并配合附图详予说明。
请参阅图1,为本发明方案的流程图,具体工作原理如下:
一种多入口数据缓存方法,包括如下步骤,拦截原缓存调用请求,根据该缓存调用请求生成密钥KEY,
所述密钥KEY的生成规则为:入口平台代码+命名空间+类名+命名空间版本号+识别码;
使用上述密钥在缓存服务器中进行数据调用,若获取得到数据,则将数据返回,若未命中数据,则直接使用原缓存调用请求获取数据库中数据,并将该数据及对应的密钥KEY存储在缓存服务器中。
还包括步骤,将该数据及对应的密钥KEY进行序列化后存储在缓存服务器中。
具体地,还包括步骤,判断密钥KEY中的版本号是否存在于缓存服务器,当判定为不存在于缓存服务器中时,进行步骤,直接使用原缓存调用请求获取数据库中数据。
具体地,请参见图1,S100用户发起请求到控制层、控制层接受请求并调用服务层进行处理,AOP对服务层上的请求和或注解进行拦截,根据该请求和或注解生成(nameSpace命名空间)到缓存服务器获取版本号,获取到版本号后,系统判断版本号是否正确。
S102如果为正确版本号,即在缓存服务器中存放有相关的命名空间的版本号,则系统按预设规则生成密钥KEY,并使用上述密钥在缓存服务器中进行数据调用,判断缓存是否命中,即是否可以根据上述密钥在缓存服务器中读取相应数据。如果缓存命中,即根据上述密钥在缓存服务器中读取相应数据,则直接就从缓存服务器获取数据并返回给前端,如果未命中则为缓存穿透,即调用原被拦截的上层请求和或注解到数据库中获取数据,同时把该数据以及按上述请求、注解生成的KEY存入缓存中。
S104如果为非正常版本号,表明命名空间中没有数据即缓存被穿透,调用原被拦截的请求和或注解直接访问数据库,并直接从数据库中获取数据,并按既定的规则将请求对应的KEY一并存入缓存服务器中。
S106对存入缓存数据库中的数据进行序列化,对于直接从缓存系统中获取到的数据,同样进行反序列化。这里的序列化和反序列化,即通用字符与编程语言对向之间的转换。在某些实施例中,我们可以使用fastjosn对java对象进行转换,序列化为把java对象转换为文本类型的json串的变化,反序列化为把文本类型的json串重新恢复为java对象的变化。在实际应用中,用户可能通过多种平台入口调用数据,缓存服务器的数据存储方式也各不相同,造成直接使用编程语言如java对象存入缓存服务器的数据在切换缓存服务器的时候会出现数据异常,即无法在多个缓存服务器中均被识别。这一实施例中,则通过序列化与反序列化能够提高本发明方法的普适性,解决多缓存服务器的兼容问题。
在具体的实施例中,还进行步骤,缓存删除:对于后台有变动的操作,包括调用外部接口或直接从数据库获取数据的操作,如果操作该方法被AOP拦截,则按照平台、命名空间对计数器进行增加,其中计数器增加变相的就是对存储在缓存中的KEY的命名空间值进行变更操作,使得在按照原来的KEY获取命名空间中数据缓存的KEY的集合失活,从而造成按命名生成的KEY无法从缓存系统中获取到数据形成缓存穿透,原来的缓存按照时间或LRU(缓存系统内部自带的缓存淘汰算法,主要依据,最久未被使用的进行淘汰缓存)被清除,最终达到删除缓存中失活的数据的目的。
在进一步的实施例中,我们可以以Spring语言为例,如何应用上述方案达成相应的效果,首先配置springAOP对需要缓存的方法进行拦截。对服务层和ReadThroughCache(添加读取缓存:@ReadThroughCache注解,)、ClearCacheThroughNSpace(通过命名空间清除缓存:@ClearCacheThroughNSpace注解)两个注解(annotation)进行拦截。
还进行步骤,根据SpringAOP的特性,在需要使用缓存的方法上添加ReadThroughCache注解,在这一注解中,我们可以按上述key的生成规则设置平台入口名,命名空间,(不设置时,系统给统一的默认平台和命名空间)、以及缓存过期时间等,这样在调用数据库中的数据时,达到第一次缓存被穿透,第二次直接从缓存系统获取数据的目的。
还进行步骤,根据SpringAOP的特性,在对数据有变化操作的方法上添加ClearCacheThroughNSpace注解,并按上述key的生成规则设置平台入口名、命名空间(不设置时,系统给统一的默认的平台和命名空间)其中未设置命名空间时系统给予统一的命名空间,当后端接口或数据库发送变化且被AOP所拦截,系统即根据统一的名命名空间对计数器进行曾加,由于计数器增加,用户请求系统后,无法获取命名空间中KEY的集合,造成所有使用该命名空间生成的KEY都无法获取到数据,达到缓存穿透的目的,达到根据平台或命名空间清除缓存集的效果。
在应用了本方法的一具体实施例中,外部接口或数据库中存有数据:20191119;
第一入口第一次请求,业务系统首先到缓存中获取缓存动作KEY(命名空间)
系统会先往缓存系统中存入一个以命名空间为KEY,以0为数据的缓存,例如命名空间为common即缓存的KEY为common,缓存的版本号为0,系统再次以KEY的生成方式组合成WX-COMMON-XXX-0-YYYY分别代表(平台-命名空间-类名-命名空间版本号-识别码),并按照这个KEY到缓存系统中获取数据,由于第一次请求,无法获取到数据。
系统将从接口或数据库中获取数据(20191119)并存入缓存系统中,缓存系统中存储的内容KEY为WX-COMMON-XXX-0-YYYY缓存内容为20191119;
系统再次受到请求(无论是第一入口或者是其他如第二入口),业务系统按照命名空间common作为key到缓存系统中获取到版本号为0并按KEY的生成规则生成KEY为WX-COMMON-XXX-0-YYYY从缓存系统中获取到数据。通过上述缓存方案,能够使得多用户原本要从数据库中调用内容的操作(需要浪费很多数据库访问时间,并且使得数据库安全性下降)变得可以在缓存系统中就完成调用,节省了常用数据调用的时间,提高了整个系统的数据管理效率。
而进一步的,还包括步骤,拦截对数据库中数据的操作,将变动数据的在缓存服务器中对应的命名空间版本号更新。当权限人员,如管理员或后台操作人员,通过第三入口对数据库进行处理,更改上述数据(20191119),则该更改操作对数据表的注解设置的命名空间为common。
系统拦截到对于(20191119)的更改操作,对命名空间common存储在缓存中的版本号进行计数累加0+1累加后的版本号为1并存入缓存系统,现缓存系统中存储命名空间common的KEY为common的版本号1,而后台数据库中的数据(20191119)可能已经被修改为(20191120)。用户再次请求调用上述命名空间内的数据,则我们不希望他从缓存中获取,因为缓存中记录的版本已经跟数据库中的内容不同,业务系统再次收获取到版本号为0并按KEY的生成规则生成KEY为WX-COMMON-XXX-0-YYYY的请求;按照该KEY到缓存系统中无法获取到数据,缓存穿透之后只能再向数据库中调取命名空间common中的数据为(20191120)。实现不同入口的更改数据操作能够无效化缓存中记录,最终结合前述清除操作能够清除前端缓存的目的。
一种多入口数据缓存存储介质,存储有计算机程序,所述计算机程序在被运行时执行包括如下步骤,拦截原缓存调用请求,根据该缓存调用请求生成密钥KEY,
所述密钥KEY的生成规则为:入口平台代码+命名空间+类名+命名空间版本号+识别码;
使用上述密钥在缓存服务器中进行数据调用,若获取得到数据,则将数据返回,若未命中数据,则直接使用原缓存调用请求获取数据库中数据,并将该数据及对应的密钥KEY存储在缓存服务器中。
具体地,所述计算机程序在被运行时还执行包括步骤,将该数据及对应的密钥KEY进行序列化后存储在缓存服务器中。
具体地,所述计算机程序在被运行时还执行包括步骤,判断密钥KEY中的版本号是否存在于缓存服务器,当判定为不存在于缓存服务器中时,进行步骤,直接使用原缓存调用请求获取数据库中数据。
具体地,所述计算机程序在被运行时还执行包括步骤,拦截对数据库中数据的操作,将变动数据的在缓存服务器中对应的命名空间版本号更新。
需要说明的是,尽管在本文中已经对上述各实施例进行了描述,但并非因此限制本发明的专利保护范围。因此,基于本发明的创新理念,对本文所述实施例进行的变更和修改,或利用本发明说明书及附图内容所作的等效结构或等效流程变换,直接或间接地将以上技术方案运用在其他相关的技术领域,均包括在本发明的专利保护范围之内。
Claims (6)
1.一种多入口数据缓存方法,其特征在于,包括如下步骤:
拦截原缓存调用请求;
根据该缓存调用请求生成密钥KEY:根据缓存调用请求,生成命名空间;按照命名空间到缓存系统中获取命名空间版本号,并按密钥KEY的生成规则生成密钥KEY;所述密钥KEY的生成规则为:入口平台代码+命名空间+类名+命名空间版本号+识别码;
使用上述密钥在缓存服务器中进行数据调用,若获取得到数据,则将数据返回,若未命中数据,则直接使用原缓存调用请求获取数据库中数据,并将该数据及对应的密钥KEY存储在缓存服务器中;
当后台有变动操作时,若所述操作被AOP拦截,则按照平台、命名空间对计数器进行增加,将变动数据的在缓存服务器中对应的命名空间版本号更新,原缓存按照时间或LRU被清除。
2.根据权利要求1所述的多入口数据缓存方法,其特征在于,还包括步骤,将该数据及对应的密钥KEY进行序列化后存储在缓存服务器中。
3.根据权利要求1所述的多入口数据缓存方法,其特征在于,还包括步骤,判断密钥KEY中的版本号是否存在于缓存服务器,当判定为不存在于缓存服务器中时,进行步骤,直接使用原缓存调用请求获取数据库中数据。
4.一种多入口数据缓存存储介质,其特征在于,存储有计算机程序,所述计算机程序在被运行时执行包括如下步骤:
拦截原缓存调用请求;
根据该缓存调用请求生成密钥KEY:根据缓存调用请求,生成命名空间;按照命名空间到缓存系统中获取命名空间版本号,并按密钥KEY的生成规则生成密钥KEY;所述密钥KEY的生成规则为:入口平台代码+命名空间+类名+命名空间版本号+识别码;
使用上述密钥在缓存服务器中进行数据调用,若获取得到数据,则将数据返回,若未命中数据,则直接使用原缓存调用请求获取数据库中数据,并将该数据及对应的密钥KEY存储在缓存服务器中;
当后台有变动操作时,若所述操作被AOP拦截,则按照平台、命名空间对计数器进行增加,将变动数据的在缓存服务器中对应的命名空间版本号更新,原缓存按照时间或LRU被清除。
5.根据权利要求4所述的多入口数据缓存存储介质,其特征在于,所述计算机程序在被运行时还执行包括步骤,将该数据及对应的密钥KEY进行序列化后存储在缓存服务器中。
6.根据权利要求4所述的多入口数据缓存存储介质,其特征在于,所述计算机程序在被运行时还执行包括步骤,判断密钥KEY中的版本号是否存在于缓存服务器,当判定为不存在于缓存服务器中时,进行步骤,直接使用原缓存调用请求获取数据库中数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911154529.8A CN111090675B (zh) | 2019-11-22 | 2019-11-22 | 多入口数据缓存方法及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911154529.8A CN111090675B (zh) | 2019-11-22 | 2019-11-22 | 多入口数据缓存方法及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111090675A CN111090675A (zh) | 2020-05-01 |
CN111090675B true CN111090675B (zh) | 2022-12-02 |
Family
ID=70393635
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911154529.8A Active CN111090675B (zh) | 2019-11-22 | 2019-11-22 | 多入口数据缓存方法及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111090675B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113590665B (zh) * | 2021-08-12 | 2023-11-17 | 新疆北斗同创信息科技有限公司 | 缓存监控管理方法、装置、系统、设备和存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101090401A (zh) * | 2007-05-25 | 2007-12-19 | 金蝶软件(中国)有限公司 | 一种群集环境下的数据缓存方法及系统 |
CN102622361A (zh) * | 2011-01-28 | 2012-08-01 | 天脉聚源(北京)传媒科技有限公司 | 一种数据库查询方法 |
CN105608197A (zh) * | 2015-12-25 | 2016-05-25 | Tcl集团股份有限公司 | 一种高并发下Memcache数据的获取方法及系统 |
CN106874465A (zh) * | 2017-02-15 | 2017-06-20 | 浪潮软件集团有限公司 | 一种基于数据版本的高效管理缓存的方法 |
CN109033292A (zh) * | 2018-07-13 | 2018-12-18 | 南京邮电大学 | 一种数据库分布式缓存系统及方法 |
CN109710639A (zh) * | 2018-11-26 | 2019-05-03 | 厦门市美亚柏科信息股份有限公司 | 一种基于双缓存机制的检索方法、装置及存储介质 |
WO2019192258A1 (zh) * | 2018-04-04 | 2019-10-10 | 阿里巴巴集团控股有限公司 | 一种数据同步的方法、装置及设备 |
CN110362505A (zh) * | 2019-07-10 | 2019-10-22 | 政采云有限公司 | 一种使用缓存拦截器进行读写缓存的方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10942938B2 (en) * | 2017-08-31 | 2021-03-09 | Sap Se | Caching for query processing systems |
-
2019
- 2019-11-22 CN CN201911154529.8A patent/CN111090675B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101090401A (zh) * | 2007-05-25 | 2007-12-19 | 金蝶软件(中国)有限公司 | 一种群集环境下的数据缓存方法及系统 |
CN102622361A (zh) * | 2011-01-28 | 2012-08-01 | 天脉聚源(北京)传媒科技有限公司 | 一种数据库查询方法 |
CN105608197A (zh) * | 2015-12-25 | 2016-05-25 | Tcl集团股份有限公司 | 一种高并发下Memcache数据的获取方法及系统 |
CN106874465A (zh) * | 2017-02-15 | 2017-06-20 | 浪潮软件集团有限公司 | 一种基于数据版本的高效管理缓存的方法 |
WO2019192258A1 (zh) * | 2018-04-04 | 2019-10-10 | 阿里巴巴集团控股有限公司 | 一种数据同步的方法、装置及设备 |
CN109033292A (zh) * | 2018-07-13 | 2018-12-18 | 南京邮电大学 | 一种数据库分布式缓存系统及方法 |
CN109710639A (zh) * | 2018-11-26 | 2019-05-03 | 厦门市美亚柏科信息股份有限公司 | 一种基于双缓存机制的检索方法、装置及存储介质 |
CN110362505A (zh) * | 2019-07-10 | 2019-10-22 | 政采云有限公司 | 一种使用缓存拦截器进行读写缓存的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111090675A (zh) | 2020-05-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11194721B2 (en) | Invalidation and refresh of multi-tier distributed caches | |
US10061852B1 (en) | Transparent proxy tunnel caching for database access | |
US8112434B2 (en) | Performance of an enterprise service bus by decomposing a query result from the service registry | |
CN106603713B (zh) | 会话管理方法和系统 | |
US10747670B2 (en) | Reducing latency by caching derived data at an edge server | |
DE202014010930U1 (de) | Zugriff auf Objekte in ausgelagerten Speichern | |
US20140344520A1 (en) | System for caching data | |
US10645192B2 (en) | Identifying content files in a cache using a response-based cache index | |
US20130124667A1 (en) | System and method for managing dedicated caches | |
WO2021031905A1 (zh) | 数据管理方法、装置、设备、系统及计算机可读存储介质 | |
CN107463378A (zh) | 一种基于注解的本地缓存实现方法、存储设备及电子设备 | |
WO2020211554A1 (zh) | 缓存处理方法、装置、设备及计算机可读存储介质 | |
CN107967270A (zh) | 实现多功能缓存的方法和系统 | |
US20230049797A1 (en) | Optimization of Database Write Operations By Combining and Parallelizing Operations Based on a Hash Value of Primary Keys | |
CN116226200A (zh) | 一种基于bff架构的服务接口数据缓存方法、装置及设备 | |
US8069313B2 (en) | Method and system for managing cache invalidation | |
CN111090675B (zh) | 多入口数据缓存方法及存储介质 | |
CN112818038A (zh) | 基于区块链和ipfs组合的数据管理方法及相关设备 | |
Iyengar | Providing enhanced functionality for data store clients | |
CN112685451B (zh) | 数据查询处理方法、装置、计算机设备及存储介质 | |
US11546324B1 (en) | Single use execution environment with scoped credentials for on-demand code execution | |
US8719822B2 (en) | Method and system for storing and referencing partial complex resources using object identifiers in a printing system | |
CN110866034B (zh) | 服务端节流的方法、存储介质 | |
US20240089339A1 (en) | Caching across multiple cloud environments | |
CN111131549B (zh) | 客户端预取数据的方法、存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |