CN114281269A - 数据缓存方法以及装置、存储介质、电子装置 - Google Patents

数据缓存方法以及装置、存储介质、电子装置 Download PDF

Info

Publication number
CN114281269A
CN114281269A CN202111665937.7A CN202111665937A CN114281269A CN 114281269 A CN114281269 A CN 114281269A CN 202111665937 A CN202111665937 A CN 202111665937A CN 114281269 A CN114281269 A CN 114281269A
Authority
CN
China
Prior art keywords
cache
data
write
service
main
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111665937.7A
Other languages
English (en)
Other versions
CN114281269B (zh
Inventor
姜勇
杨雷
石京豪
王明志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongqi Scc Beijing Finance Information Service Co ltd
Original Assignee
Zhongqi Scc Beijing Finance Information Service Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongqi Scc Beijing Finance Information Service Co ltd filed Critical Zhongqi Scc Beijing Finance Information Service Co ltd
Priority to CN202111665937.7A priority Critical patent/CN114281269B/zh
Publication of CN114281269A publication Critical patent/CN114281269A/zh
Application granted granted Critical
Publication of CN114281269B publication Critical patent/CN114281269B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据缓存方法以及装置、存储介质、电子装置。该方法包括根据配置信息对业务线中的写缓存数据拆分并映射至对应的存储单元,其中所述配置信息至少包括:主缓存配置信息、从缓存配置信息,所述主缓存配置信息用于作为主缓存服务器写或读主缓存数据的位置,所述从缓存配置信息用于作为从缓存服务器写或读从缓存数据的位置;基于映射组件,确定所述写缓存数据的所述主缓存服务器的位置以及所述从缓存服务器的位置并写入所述写缓存数据,其中所述映射组件在所述业务线与写缓存数据两者之间建立映射关系本申请解决了根据业务划分的数据缓存方式会影响业务正常使用以及性能升级较为复杂的技术问题。

Description

数据缓存方法以及装置、存储介质、电子装置
技术领域
本申请涉及数据处理领域,具体而言,涉及一种数据缓存方法以及装置、存储介质、电子装置。
背景技术
缓存器/服务,是根据业务系统提前定义业务编号然后根据业务编号进行分区规划的存储方式。
不同的缓存服务在随着业务系统的领域进行划分时,会出现混乱,从而影响正常使用。
针对相关技术中根据业务划分的数据缓存方式会影响业务正常使用以及性能升级较为复杂的问题,目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种数据缓存方法以及装置、存储介质、电子装置,以解决根据业务划分的数据缓存方式会影响业务正常使用以及性能升级较为复杂的问题。
为了实现上述目的,根据本申请的一个方面,提供了一种数据缓存方法。
根据本申请的数据缓存方法包括:根据配置信息对业务线中的写缓存数据拆分并映射至对应的存储单元,其中所述配置信息至少包括:主缓存配置信息、从缓存配置信息,所述主缓存配置信息用于作为主缓存服务器写或读主缓存数据的位置,所述从缓存配置信息用于作为从缓存服务器写或读从缓存数据的位置,所述主缓存服务器至少包括一个,所述从缓存服务器包括多个;基于映射组件,确定所述写缓存数据的所述主缓存服务器的位置以及所述从缓存服务器的位置并写入所述写缓存数据,其中所述映射组件在所述业务线与写缓存数据两者之间建立映射关系。
进一步地,所述根据配置信息对业务线中的写缓存数据拆分并映射至对应的存储单元,包括:基于不同的所述业务线之间的缓存服务解耦状态,根据所述配置信息对所述业务线中的写缓存数据拆分并映射至对应的存储单元的缓存服务。
进一步地,所述确定所述写缓存数据的所述主缓存服务器的位置以及所述从缓存服务器的位置并写入所述写缓存数据包括:根据所述业务线中的业务数据特征选择对应的所述主缓存服务器的磁盘以及空间、所述从缓存服务器中的磁盘以及空间;缓存所述写主缓存数据至对应的所述主缓存服务器的磁盘和空间以及缓存所述写主缓存数据至对应的所述从缓存服务器的磁盘和空间。
进一步地,所述确定待缓存数据的所述主缓存服务器以及所述从缓存服务器之后,缓存所述待缓存数据,还包括:当所述主缓存服务器或者所述从缓存服务器的磁盘空间不足时,确定对应的所述业务线;根据所述业务线中的业务区分,扩展主缓存服务器以及所述从缓存服务器的资源。
进一步地,还包括:根据所述业务线的主编号与服务器资源之间的映射关系表,在所述服务资源发出告警或者发生异常提示信息的情况下,确定出所述业务线的主编号并处理。
进一步地,所述按照所述主缓存配置信息、所述从缓存配置信息,基于所述存储单元的映射组件,确定所述写缓存数据的所述主缓存服务器的位置以及所述从缓存服务器的位置并写入所述写缓存数据,包括:基于所述映射组件获取请求头中的缓存类型,进行任务的读写分发;在所述缓存类型为写标记的情况下,将写请求转发至写应用中,其中,所述写请求通过请求业务编号查找对应的主缓存服务,并将写请求转至相应的所述主缓存服务器。
进一步地,所述基于所述映射组件获取请求头中的缓存类型,进行任务的读写分发,还包括:在所述缓存类型为读标记的情况下,将读请求通过预设分配算法转至缓存服务器,其中所述预设分配算法至少包括如下之一:加权轮询、随机轮询。
为了实现上述目的,根据本申请的另一方面,提供了一种数据缓存装置。
根据本申请的数据缓存装置包括:配置模块,用于根据预先配置信息对业务线中的缓存数据拆分并映射至对应的存储单元,其中所述预先配置信息包括主缓存位置、缓存所需副本数量,所述主缓存位置,用于作为主缓存服务器缓存数据的位置,所述缓存所需副本数量用于作为从缓存服务器的个数;存储模块,用于按照所述主缓存位置以及所述缓存所需副本数量,基于所述存储单元的映射组件,确定待缓存数据的所述主缓存服务器以及所述从缓存服务器之后,缓存所述待缓存数据。
为了实现上述目的,根据本申请的又一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行所述方法。
为了实现上述目的,根据本申请的再一方面,提供了一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行所述的方法。
在本申请实施例中数据缓存方法以及装置、存储介质、电子装置,采用根据配置信息对业务线中的写缓存数据拆分并映射至对应的存储单元的方式,通过基于映射组件,确定所述写缓存数据的所述主缓存服务器的位置以及所述从缓存服务器的位置并写入所述写缓存数据,达到了业务缓存的集中灵活管理以及业务线与缓存服务解耦合目的,从而实现了优化数据缓存的技术效果,进而解决了根据业务划分的数据缓存方式会影响业务正常使用以及性能升级较为复杂的技术问题。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的数据缓存方法的硬件结构示意图;
图2是根据本申请实施例的数据缓存方法的流程示意图;
图3是根据本申请实施例的数据缓存装置示意图;
图4是根据本申请实施例的数据缓存方法的实现原理示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中,术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例,并非用于限定所指示的装置、元件或组成部分必须具有特定方位,或以特定方位进行构造和操作。
并且,上述部分术语除了可以用于表示方位或位置关系以外,还可能用于表示其他含义,例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言,可以根据具体情况理解这些术语在本申请中的具体含义。
此外,术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如,可以是固定连接,可拆卸连接,或整体式构造;可以是机械连接,或电连接;可以是直接相连,或者是通过中间媒介间接相连,又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言,可以根据具体情况理解上述术语在本申请中的具体含义。
缓存器是根据业务系统提前定义业务编号然后根据业务编号进行分区规划,将REDIS灵活集群部署的一套方案,并且可以根据服务的负载状态进行灵活扩展的一套存储器。
发明人发现:如果根据业务系统随着领域的拆分,导致不同业务之间由于缓存数据可大可小以及不同缓存系统之前可能会出现混乱交叉的状态,从而影响业务的正常使用。此外,当某个服务因为缓存使用不当导致缓存服务出现问题进而影响共同使用该缓存的服务。
进一步,发明人还发现,如果当某个业务因为数据量过大需要扩充缓存时,由于加载太多其他业务系统的数据,导致复杂度升级。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
如图1所示是本申请实施例的数据缓存方法的硬件结构示意图,其中包括:第一从缓存服务器101、第二从缓存服务器102、第三从缓存服务器103、主缓存服务器200、读/写缓存服务300。可以根据实际业务系统编号提前规划好主缓存服务器200,以及需要的副本数量即第一从缓存服务器101、第二从缓存服务器102、第三从缓存服务器103。需要注意的是,所述第一从缓存服务器101、所述第二从缓存服务器102、所述第三从缓存服务器103仅为示例,并不用于限定本申请的保护范围。由于在业务线之间缓存做了拆分会映射到不同的存储磁盘上,所以当其中的后台服务出现问题时不会影响其他业务的使用。
如图2所示,该方法包括如下的步骤S201至步骤S202:
步骤S201,根据配置信息对业务线中的写缓存数据拆分并映射至对应的存储单元,其中所述配置信息至少包括:主缓存配置信息、从缓存配置信息,所述主缓存配置信息用于作为主缓存服务器写或读主缓存数据的位置,所述从缓存配置信息用于作为从缓存服务器写或读从缓存数据的位置,所述主缓存服务器至少包括一个,所述从缓存服务器包括多个;
步骤S202,基于映射组件,确定所述写缓存数据的所述主缓存服务器的位置以及所述从缓存服务器的位置并写入所述写缓存数据,其中所述映射组件在所述业务线与写缓存数据两者之间建立映射关系。
从以上的描述中,可以看出,本申请实现了如下技术效果:
采用根据配置信息对业务线中的写缓存数据拆分并映射至对应的存储单元的方式,通过基于映射组件,确定所述写缓存数据的所述主缓存服务器的位置以及所述从缓存服务器的位置并写入所述写缓存数据,达到了业务缓存的集中灵活管理以及业务线与缓存服务解耦合目的,从而实现了优化数据缓存的技术效果,进而解决了根据业务划分的数据缓存方式会影响业务正常使用以及性能升级较为复杂的技术问题。
上述步骤S201中根据所述配置信息对业务线中的写缓存数据拆分并映射至对应的存储单元,可以理解,所述存储单元即缓存器。将写缓存数据拆分之后映射至对应的缓存器。
需要注意的是,所述配置信息主要指对于缓存服务的配置,可以包括位置、副本数量等。
在一种具体实施方式中,所述配置信息至少包括:主缓存配置信息、从缓存配置信息,所述主缓存配置信息用于作为主缓存服务器写或读主缓存数据的位置,所述从缓存配置信息用于作为从缓存服务器写或读从缓存数据的位置。通过所述主缓存配置信息确定主缓存服务器写或读主缓存数据的位置,以及通过所述从缓存配置信息确定从缓存服务器写或读从缓存数据的位置。
在一种具体实施方式中,所述主缓存服务器至少包括一个,所述从缓存服务器包括多个。需要注意的是,主缓存服务器可以提供基于业务的主服务,比如支付服务的主服务、记账服务的主服务、开立服务的主服务等。
上述步骤S202中基于映射组件,确定所述写缓存数据的所述主缓存服务器的位置以及所述从缓存服务器的位置并写入所述写缓存数据,所述映射组件即是缓存与业务主线的映射组件。所述写缓存数据包括了写主缓存以及写从缓存。
在一种具体实施方式中,所述映射组件在所述业务线与写缓存数据两者之间建立映射关系。
在一种具体实施方式中,每个业务主线的写主缓存会是单独的服务器资源,其余的会作为从服务器。
作为本实施例中的优选,所述根据配置信息对业务线中的写缓存数据拆分并映射至对应的存储单元,包括:基于不同的所述业务线之间的缓存服务解耦状态,根据所述配置信息对所述业务线中的写缓存数据拆分并映射至对应的存储单元的缓存服务。
具体实施时,通过基于不同的所述业务线之间的缓存服务解耦状态,根据所述配置信息对所述业务线中的写缓存数据拆分并映射至对应的存储单元的缓存服务。由于业务线之间的(写/读)缓存服务是解耦状态,当某各业务线服务出现问题时不会影响其他业务线。
作为本实施例中的优选,所述确定所述写缓存数据的所述主缓存服务器的位置以及所述从缓存服务器的位置并写入所述写缓存数据包括:根据所述业务线中的业务数据特征选择对应的所述主缓存服务器的磁盘以及空间、所述从缓存服务器中的磁盘以及空间;缓存所述写主缓存数据至对应的所述主缓存服务器的磁盘和空间以及缓存所述写主缓存数据至对应的所述从缓存服务器的磁盘和空间。
具体实施时,根据所述业务线中的业务数据特征选择对应的所述主缓存服务器的磁盘以及空间、所述从缓存服务器中的磁盘以及空间,每个业务使用缓存的方式会有差异比如磁盘空间大小和使用频率等,所以可以根据业务特点选择合适的磁盘和空间。进一步地,缓存所述写主缓存数据至对应的所述主缓存服务器的磁盘和空间以及缓存所述写主缓存数据至对应的所述从缓存服务器的磁盘和空间。
作为本实施例中的优选,所述确定待缓存数据的所述主缓存服务器以及所述从缓存服务器之后,缓存所述待缓存数据,还包括:当所述主缓存服务器或者所述从缓存服务器的磁盘空间不足时,确定对应的所述业务线;根据所述业务线中的业务区分,扩展主缓存服务器以及所述从缓存服务器的资源。
具体实施时,当所述主缓存服务器或者所述从缓存服务器的磁盘空间不足时,确定对应的所述业务线,然后根据所述业务线中的业务区分,扩展主缓存服务器以及所述从缓存服务器的资源。当磁盘不够用时能够及时定位是哪个业务线,能够根据业务区分及时扩展服务器资源,当有新业务进入时也可以灵活配置REDIS集群,不会影响其他业务线的使用。
作为本实施例中的优选,还包括:根据所述业务线的主编号与服务器资源之间的映射关系表,在所述服务资源发出告警或者发生异常提示信息的情况下,确定出所述业务线的主编号并处理。
具体实施时,根据所述业务线的主编号与服务器资源之间的映射关系表,在所述服务资源发出告警或者发生异常提示信息的情况下,确定出所述业务线的主编号并处理。
业务缓存的集中灵活管理,可以管理整个业务线的缓存服务,当磁盘空间超过80%会提前发出预警告知管理人员进行及时的资源扩充。由于业务线之间的缓存服务是解耦状态,当某各业务线服务出现问题时不会影响其他业务线。
作为本实施例中的优选,所述按照所述主缓存配置信息、所述从缓存配置信息,基于所述存储单元的映射组件,确定所述写缓存数据的所述主缓存服务器的位置以及所述从缓存服务器的位置并写入所述写缓存数据,包括:基于所述映射组件获取请求头中的缓存类型,进行任务的读写分发;在所述缓存类型为写标记的情况下,将写请求转发至写应用中,其中,所述写请求通过请求业务编号查找对应的主缓存服务,并将写请求转至相应的所述主缓存服务器。
具体实施时,基于所述映射组件获取请求头中的缓存类型,进行任务的读写分发;在所述缓存类型为写标记的情况下,将写请求转发至写应用中。
需要注意的是,所述写请求通过请求业务编号查找对应的主缓存服务,并将写请求转至相应的所述主缓存服务器。
在业务主线和缓存会有一个映射组件,请求头中会包含CacheType,通过CacheDispacherController进行任务的读写分发,如果CacheType为写标记CacheDispacherController会将此请求转发的写应用中,写请求通过请求业务编号找到相应的主缓存服务,写请求会直接到达相应的主缓存服务器。
作为本实施例中的优选,所述基于所述映射组件获取请求头中的缓存类型,进行任务的读写分发,还包括:在所述缓存类型为读标记的情况下,将读请求通过预设分配算法转至缓存服务器,其中所述预设分配算法至少包括如下之一:加权轮询、随机轮询。
具体实施时,如果CacheType是读标记那么此请求会根据加权轮询算法请求从服务器的,也可以选择随机轮询方式达到相应的从读服务器上。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
根据本申请实施例,还提供了一种用于实施上述方法的数据缓存装置,如图3所示,该装置包括:
配置模块301,用于根据预先配置信息对业务线中的缓存数据拆分并映射至对应的存储单元,其中所述预先配置信息包括主缓存位置、缓存所需副本数量,所述主缓存位置,用于作为主缓存服务器缓存数据的位置,所述缓存所需副本数量用于作为从缓存服务器的个数;
存储模块302,用于按照所述主缓存位置以及所述缓存所需副本数量,基于所述存储单元的映射组件,确定待缓存数据的所述主缓存服务器以及所述从缓存服务器之后,缓存所述待缓存数据。
本申请实施例的所述配置模块301中根据所述配置信息对业务线中的写缓存数据拆分并映射至对应的存储单元,可以理解,所述存储单元即缓存器。将写缓存数据拆分之后映射至对应的缓存器。
需要注意的是,所述配置信息主要指对于缓存服务的配置,可以包括位置、副本数量等。
在一种具体实施方式中,所述配置信息至少包括:主缓存配置信息、从缓存配置信息,所述主缓存配置信息用于作为主缓存服务器写或读主缓存数据的位置,所述从缓存配置信息用于作为从缓存服务器写或读从缓存数据的位置。通过所述主缓存配置信息确定主缓存服务器写或读主缓存数据的位置,以及通过所述从缓存配置信息确定从缓存服务器写或读从缓存数据的位置。
在一种具体实施方式中,所述主缓存服务器至少包括一个,所述从缓存服务器包括多个。需要注意的是,主缓存服务器可以提供基于业务的主服务,比如支付服务的主服务、记账服务的主服务、开立服务的主服务等。
本申请实施例的所述存储模块302中基于映射组件,确定所述写缓存数据的所述主缓存服务器的位置以及所述从缓存服务器的位置并写入所述写缓存数据,所述映射组件即是缓存与业务主线的映射组件。所述写缓存数据包括了写主缓存以及写从缓存。
在一种具体实施方式中,所述映射组件在所述业务线与写缓存数据两者之间建立映射关系。
在一种具体实施方式中,每个业务主线的写主缓存会是单独的服务器资源,其余的会作为从服务器。
显然,本领域的技术人员应该明白,上述的本申请的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本申请不限制于任何特定的硬件和软件结合。
为了更好的理解上述数据缓存方法流程,以下结合优选实施例对上述技术方案进行解释说明,但不用于限定本发明实施例的技术方案。
本申请实施例中的数据缓存方法,实现对业务缓存的集中灵活管理,可以管理整个业务线的缓存服务,当磁盘空间超过80%会提前发出预警告知管理人员进行及时的资源扩充。此外,由于业务线之间的缓存服务是解耦状态,当某各业务线服务出现问题时不会影响其他业务线。
如图4所示,是本申请实施例中数据缓存方法的流程示意图,业务服务包括但不限于支付服务的主服务、记账服务的主服务、开立服务的主服务以及其他服务,实现的具体过程包括如下步骤:
S1,现在的缓存器是根据业务主线划分主服务器。比如,有N个主业务线,则会有N+3N台服务资源,每个业务主线的写主缓存会是单独的服务器资源,其余的三台会从服务器。
S2,业务主线编号会和服务器资源之间有一张映射关系表,当服务资源发出告警或者异常提示信息时能够及时处理。
S3,每个业务使用缓存的方式会有差异比如磁盘空间大小和使用频率等,所以可以根据业务特点选择合适的磁盘和空间。
S4,业务主线和缓存会有一个映射组件,请求头中会包含CacheType,通过CacheDispacherController进行任务的读写分发,如果CacheType为写标记CacheDispacherController会将此请求转发的写应用中,写请求通过请求业务编号找到相应的主缓存服务,写请求会直接到达相应的主缓存服务器,相似的cacheType是读标记那么此请求会根据加权轮询算法请求从服务器的,也可以选择随机轮询方式达到相应的从读服务器上。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种数据缓存方法,其特征在于,包括:
根据配置信息对业务线中的写缓存数据拆分并映射至对应的存储单元,其中所述配置信息至少包括:主缓存配置信息、从缓存配置信息,所述主缓存配置信息用于作为主缓存服务器写或读主缓存数据的位置,所述从缓存配置信息用于作为从缓存服务器写或读从缓存数据的位置,所述主缓存服务器至少包括一个,所述从缓存服务器包括多个;
基于映射组件,确定所述写缓存数据的所述主缓存服务器的位置以及所述从缓存服务器的位置并写入所述写缓存数据,其中所述映射组件在所述业务线与写缓存数据两者之间建立映射关系。
2.根据权利要求1所述的方法,其特征在于,所述根据配置信息对业务线中的写缓存数据拆分并映射至对应的存储单元,包括:
基于不同的所述业务线之间的缓存服务解耦状态,根据所述配置信息对所述业务线中的写缓存数据拆分并映射至对应的存储单元的缓存服务。
3.根据权利要求2所述的方法,其特征在于,所述确定所述写缓存数据的所述主缓存服务器的位置以及所述从缓存服务器的位置并写入所述写缓存数据包括:
根据所述业务线中的业务数据特征选择对应的所述主缓存服务器的磁盘以及空间、所述从缓存服务器中的磁盘以及空间;
缓存所述写主缓存数据至对应的所述主缓存服务器的磁盘和空间以及缓存所述写主缓存数据至对应的所述从缓存服务器的磁盘和空间。
4.根据权利要求2所述的方法,其特征在于,所述确定待缓存数据的所述主缓存服务器以及所述从缓存服务器之后,缓存所述待缓存数据,还包括:
当所述主缓存服务器或者所述从缓存服务器的磁盘空间不足时,确定对应的所述业务线;
根据所述业务线中的业务区分,扩展主缓存服务器以及所述从缓存服务器的资源。
5.根据权利要求1所述的方法,其特征在于,还包括:
根据所述业务线的主编号与服务器资源之间的映射关系表,在所述服务资源发出告警或者发生异常提示信息的情况下,确定出所述业务线的主编号并处理。
6.根据权利要求1所述的方法,其特征在于,所述按照所述主缓存配置信息、所述从缓存配置信息,基于所述存储单元的映射组件,确定所述写缓存数据的所述主缓存服务器的位置以及所述从缓存服务器的位置并写入所述写缓存数据,包括:
基于所述映射组件获取请求头中的缓存类型,进行任务的读写分发;
在所述缓存类型为写标记的情况下,将写请求转发至写应用中,其中,所述写请求通过请求业务编号查找对应的主缓存服务,并将写请求转至相应的所述主缓存服务器。
7.根据权利要求6所述的方法,其特征在于,所述基于所述映射组件获取请求头中的缓存类型,进行任务的读写分发,还包括:
在所述缓存类型为读标记的情况下,将读请求通过预设分配算法转至缓存服务器,其中所述预设分配算法至少包括如下之一:加权轮询、随机轮询。
8.一种数据缓存装置,其特征在于,包括:
配置模块,用于根据预先配置信息对业务线中的缓存数据拆分并映射至对应的存储单元,其中所述预先配置信息包括主缓存位置、缓存所需副本数量,所述主缓存位置,用于作为主缓存服务器缓存数据的位置,所述缓存所需副本数量用于作为从缓存服务器的个数;
存储模块,用于按照所述主缓存位置以及所述缓存所需副本数量,基于所述存储单元的映射组件,确定待缓存数据的所述主缓存服务器以及所述从缓存服务器之后,缓存所述待缓存数据。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行所述权利要求1至7任一项所述的方法。
10.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行所述权利要求1至7任一项所述的方法。
CN202111665937.7A 2021-12-31 2021-12-31 数据缓存方法以及装置、存储介质、电子装置 Active CN114281269B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111665937.7A CN114281269B (zh) 2021-12-31 2021-12-31 数据缓存方法以及装置、存储介质、电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111665937.7A CN114281269B (zh) 2021-12-31 2021-12-31 数据缓存方法以及装置、存储介质、电子装置

Publications (2)

Publication Number Publication Date
CN114281269A true CN114281269A (zh) 2022-04-05
CN114281269B CN114281269B (zh) 2023-08-15

Family

ID=80879294

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111665937.7A Active CN114281269B (zh) 2021-12-31 2021-12-31 数据缓存方法以及装置、存储介质、电子装置

Country Status (1)

Country Link
CN (1) CN114281269B (zh)

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040103244A1 (en) * 2002-11-26 2004-05-27 Hitachi, Ltd. System and Managing method for cluster-type storage
EP1533704A2 (en) * 2003-11-21 2005-05-25 Hitachi, Ltd. Read/write protocol for cache control units at switch fabric, managing caches for cluster-type storage
CN101630291A (zh) * 2009-08-03 2010-01-20 中国科学院计算技术研究所 虚拟存储系统和方法
US20100199007A1 (en) * 2009-02-02 2010-08-05 Kapelner Jordan S Direct Slave-to-Slave Data Transfer on a Master-Slave Bus
CN102103544A (zh) * 2009-12-16 2011-06-22 腾讯科技(深圳)有限公司 一种分布式缓存的实现方法及装置
CN102193874A (zh) * 2010-03-18 2011-09-21 马维尔国际贸易有限公司 用于管理存储器的缓存管理器和方法
CN103370709A (zh) * 2011-02-07 2013-10-23 阿尔卡特朗讯公司 用于分段多媒体的缓存管理器以及用于缓存管理的相应方法
CN104572860A (zh) * 2014-12-17 2015-04-29 北京皮尔布莱尼软件有限公司 一种数据处理方法和系统
US20150370711A1 (en) * 2014-06-18 2015-12-24 International Business Machines Corporation Method and apparatus for cache memory data processing
US20160210044A1 (en) * 2015-01-15 2016-07-21 Commvault Systems, Inc. Intelligent hybrid drive caching
WO2017128764A1 (zh) * 2016-01-29 2017-08-03 华为技术有限公司 基于缓存集群的缓存方法和系统
US20180121304A1 (en) * 2016-10-27 2018-05-03 Machine Zone, Inc. System and method for managing a cluster of cache servers (trask)
CN108733313A (zh) * 2017-04-17 2018-11-02 伊姆西Ip控股有限责任公司 利用预备盘建立多级闪速缓存的方法、设备和计算机可读介质
CN109408751A (zh) * 2018-09-27 2019-03-01 腾讯科技(成都)有限公司 一种数据处理方法、终端、服务器及存储介质
CN109714430A (zh) * 2019-01-16 2019-05-03 深圳壹账通智能科技有限公司 分布式缓存方法、装置、计算机系统及存储介质
CN110505277A (zh) * 2019-07-18 2019-11-26 北京奇艺世纪科技有限公司 一种数据缓存方法、装置及客户端
CN113064553A (zh) * 2021-04-02 2021-07-02 重庆紫光华山智安科技有限公司 数据存储方法、装置、设备及介质
CN113220650A (zh) * 2021-04-27 2021-08-06 北京百度网讯科技有限公司 数据存储方法、装置、设备、存储介质及程序

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040103244A1 (en) * 2002-11-26 2004-05-27 Hitachi, Ltd. System and Managing method for cluster-type storage
EP1533704A2 (en) * 2003-11-21 2005-05-25 Hitachi, Ltd. Read/write protocol for cache control units at switch fabric, managing caches for cluster-type storage
US20100199007A1 (en) * 2009-02-02 2010-08-05 Kapelner Jordan S Direct Slave-to-Slave Data Transfer on a Master-Slave Bus
CN101630291A (zh) * 2009-08-03 2010-01-20 中国科学院计算技术研究所 虚拟存储系统和方法
CN102103544A (zh) * 2009-12-16 2011-06-22 腾讯科技(深圳)有限公司 一种分布式缓存的实现方法及装置
CN102193874A (zh) * 2010-03-18 2011-09-21 马维尔国际贸易有限公司 用于管理存储器的缓存管理器和方法
CN103370709A (zh) * 2011-02-07 2013-10-23 阿尔卡特朗讯公司 用于分段多媒体的缓存管理器以及用于缓存管理的相应方法
US20150370711A1 (en) * 2014-06-18 2015-12-24 International Business Machines Corporation Method and apparatus for cache memory data processing
CN104572860A (zh) * 2014-12-17 2015-04-29 北京皮尔布莱尼软件有限公司 一种数据处理方法和系统
US20160210044A1 (en) * 2015-01-15 2016-07-21 Commvault Systems, Inc. Intelligent hybrid drive caching
WO2017128764A1 (zh) * 2016-01-29 2017-08-03 华为技术有限公司 基于缓存集群的缓存方法和系统
US20180121304A1 (en) * 2016-10-27 2018-05-03 Machine Zone, Inc. System and method for managing a cluster of cache servers (trask)
CN108733313A (zh) * 2017-04-17 2018-11-02 伊姆西Ip控股有限责任公司 利用预备盘建立多级闪速缓存的方法、设备和计算机可读介质
CN109408751A (zh) * 2018-09-27 2019-03-01 腾讯科技(成都)有限公司 一种数据处理方法、终端、服务器及存储介质
CN109714430A (zh) * 2019-01-16 2019-05-03 深圳壹账通智能科技有限公司 分布式缓存方法、装置、计算机系统及存储介质
CN110505277A (zh) * 2019-07-18 2019-11-26 北京奇艺世纪科技有限公司 一种数据缓存方法、装置及客户端
CN113064553A (zh) * 2021-04-02 2021-07-02 重庆紫光华山智安科技有限公司 数据存储方法、装置、设备及介质
CN113220650A (zh) * 2021-04-27 2021-08-06 北京百度网讯科技有限公司 数据存储方法、装置、设备、存储介质及程序

Also Published As

Publication number Publication date
CN114281269B (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
US10154089B2 (en) Distributed system and data operation method thereof
CN101594309B (zh) 集群系统中内存资源的管理方法、设备及网络系统
US9135041B2 (en) Selecting provisioning targets for new virtual machine instances
EP0690384A2 (en) Multiprocessor system for locally managing address translation table
US20050080810A1 (en) Data management apparatus
WO2014007249A1 (ja) I/oノード及び複数の計算ノードに備えられたキャッシュメモリの制御方法
JP2016507814A (ja) 記憶リソースを共有する方法およびシステム
CN104935654A (zh) 一种服务器集群系统中的缓存方法、写入点客户端和读客户端
CN101984632A (zh) 一种分布式缓存系统中负荷分配方法、装置及服务器
CN105988874A (zh) 资源处理方法及装置
CN103312624A (zh) 一种消息队列服务系统和方法
CN109117088B (zh) 一种数据处理方法及系统
CN102567227A (zh) 共享缓存设备的双控制器存储系统和方法
CN110109868A (zh) 用于索引文件的方法、装置和计算机程序产品
US20050044190A1 (en) Configuration information management system, method, program, and program storage device
CN114238518A (zh) 数据处理方法、装置、设备及存储介质
US10897429B2 (en) Managing multiple cartridges that are electrically coupled together
US7536422B2 (en) Method for process substitution on a database management system
JPH11143779A (ja) 仮想記憶装置におけるページング処理システム
CN114281269B (zh) 数据缓存方法以及装置、存储介质、电子装置
US20060031634A1 (en) Management method for cache memory, storage apparatus, and computer system
CN114840148B (zh) 在Kubernetes中基于linux内核bcache技术实现磁盘加速的方法
CN106326143A (zh) 一种缓存分配、数据访问、数据发送方法、处理器及系统
CN109343928B (zh) 虚拟化集群中虚拟机的虚拟内存文件重定向方法及其系统
CN105095105A (zh) 一种Cache分区的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant