CN114968845A - 一种缓存处理的方法、系统、设备和存储介质 - Google Patents

一种缓存处理的方法、系统、设备和存储介质 Download PDF

Info

Publication number
CN114968845A
CN114968845A CN202210595402.5A CN202210595402A CN114968845A CN 114968845 A CN114968845 A CN 114968845A CN 202210595402 A CN202210595402 A CN 202210595402A CN 114968845 A CN114968845 A CN 114968845A
Authority
CN
China
Prior art keywords
data
cache
level
access
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210595402.5A
Other languages
English (en)
Inventor
周磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202210595402.5A priority Critical patent/CN114968845A/zh
Publication of CN114968845A publication Critical patent/CN114968845A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0811—Multiuser, multiprocessor or multiprocessing cache systems with multilevel cache hierarchies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0866—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches for peripheral storage systems, e.g. disk cache
    • G06F12/0871—Allocation or management of cache space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0893—Caches characterised by their organisation or structure
    • G06F12/0897—Caches characterised by their organisation or structure with two or more cache hierarchy levels
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种缓存处理的方法、系统、设备和存储介质，方法包括：按照缓存速度将缓存空间划分成多个缓存级别，并在各个缓存级别的缓存空间内按照资源池的模式进行业务运作；响应于接收到用户的访问申请，判断访问申请对应的数据是否属于高频访问数据；响应于访问申请对应的数据不属于高频访问数据，将数据附带重新定义的标识加载到一级缓存内，并按照缓存块加指针块的大小存入缓存资源池的指定分块内；响应于访问申请对应的数据属于高频访问数据，将数据从一级缓存提升到二级缓存，并重新定义位置信息；以及根据访问申请从缓存数据的标识确定数据的存储位置，并将数据加载给用户。本发明保证了数据的可靠性和及时有效性。

Description

一种缓存处理的方法、系统、设备和存储介质
技术领域
本发明涉及缓存领域，更具体地，特别是指一种缓存处理的方法、系统、设备和存储介质。
背景技术
如果缓存集中在一段时间内失效，引发大量缓存穿透，所有的查询都落在数据库上，造成缓存雪崩，由于原有缓存失效，新缓存未到期间所有原本访问缓存的都去访问了数据库，而对数据库cpu和内存造成巨大压力，从而引发宕机。当缓存雪崩发生后，会对核心业务造成很大影响，在关键应用上，可能导致服务响应不及时，甚至可能因为缓存雪崩导致业务数据不能及时同步，对客户的业务和应用服务造成极大的损失。在硬件层面，当缓存击穿后，可能导致硬件过度使用，导致功耗异常、硬件损坏、甚至服务器大面积宕机。
目前常用的解决方案实现方式如下：
1、数据预热
数据预热就是系统上线后，将相关的缓存数据直接加载到缓存系统，这样就可以避免在用户请求的时候先查询数据库。
2、双层缓存策略
C1为原始缓存，C2为拷贝缓存，C1失效时可以访问C2，C1缓存失效时间设置为短期，C2缓存失效时间设置为长期。
3、定时更新缓存策略
失效性要求不高的缓存，容器启动初始化加载，采用定时任务更新或移除缓存。
4、缓存失效时间分布均匀
设置不同的过期时间，让缓存失效的时间尽量分布均匀。
目前的解决方案主要从软件层面解决，没有应用到硬件的调度，缓存过期的原则定义不清晰，并且对长时间多次占用的缓存资源也定时失效，释放后再次使用仍需通过数据库查询，增加出现新的缓存击穿及雪崩的风险。
发明内容
有鉴于此，本发明实施例的目的在于提出一种缓存处理的方法、系统、计算机设备及计算机可读存储介质，本发明基于数据的分块、分级缓存存储和流动原则，使数据库系统具有极高的可靠性，在重要核心业务上可以间接保证不会丢失核心数据，链式缓存数据的处理方式可以实现关键数据存储流动的准确性保证，有益于基于硬件系统的缓存数据存储模式部署，以保证数据的可靠性和及时有效性。
基于上述目的，本发明实施例的一方面提供了一种缓存处理的方法，包括如下步骤：按照缓存速度将缓存空间划分成多个缓存级别，并在各个缓存级别的缓存空间内按照资源池的模式进行业务运作；响应于接收到用户的访问申请，判断所述访问申请对应的数据是否属于高频访问数据；响应于所述访问申请对应的数据不属于高频访问数据，将所述数据附带重新定义的标识加载到一级缓存内，并按照缓存块加指针块的大小存入缓存资源池的指定分块内；响应于所述访问申请对应的数据属于高频访问数据，将所述数据从一级缓存提升到二级缓存，并重新定义位置信息；以及根据所述访问申请从缓存数据的标识确定所述数据的存储位置，并将所述数据加载给用户。
在一些实施方式中，所述在各个缓存级别的缓存空间内按照资源池的模式进行业务运作包括：响应于缓存数据进行对应缓存级别的缓存空间，按照顺序分别对数据进行存储，并对每个数据分配预设空间以存储对应的标识。
在一些实施方式中，所述在各个缓存级别的缓存空间内按照资源池的模式进行业务运作包括：响应于业务需要访问数据，由业务的指针寻找存储设备中对应的数据块，并由指针携带数据块本身内容进入一级缓存空间。
在一些实施方式中，所述按照缓存块加指针块的大小存入缓存资源池的指定分块内包括：在物理层的缓存介质上，由实际业务需求将数据进行模块的划分，并根据模块的预估大小和模块对应的指针占用的数据大小进行池化资源的存储分块。
在一些实施方式中，所述方法还包括：响应于数据存储块的容量超过第一阈值，将最早存入的缓存数据失效，并使用最新存入的缓存数据代替失效的缓存数据。
在一些实施方式中，所述方法还包括：响应于数据在预设时间内被访问的次数达到第二阈值，将所述数据升级为高频访问数据；以及响应于高频访问数据在第二预设时间内未被访问，将所述高频访问数据做过期处理。
在一些实施方式中，所述方法还包括：响应于缓存数据发生变化，在原先的缓存数据之后存储本次变化的时间戳和变化内容，并与原先的缓存数据共用标识。
本发明实施例的另一方面，提供了一种缓存处理的系统，包括：划分模块，配置用于按照缓存速度将缓存空间划分成多个缓存级别，并在各个缓存级别的缓存空间内按照资源池的模式进行业务运作；判断模块，配置用于响应于接收到用户的访问申请，判断所述访问申请对应的数据是否属于高频访问数据；第一处理模块，配置用于响应于所述访问申请对应的数据不属于高频访问数据，将所述数据附带重新定义的标识加载到一级缓存内，并按照缓存块加指针块的大小存入缓存资源池的指定分块内；第二处理模块，配置用于响应于所述访问申请对应的数据属于高频访问数据，将所述数据从一级缓存提升到二级缓存，并重新定义位置信息；以及加载模块，配置用于根据所述访问申请从缓存数据的标识确定所述数据的存储位置，并将所述数据加载给用户。
本发明实施例的又一方面，还提供了一种计算机设备，包括：至少一个处理器；以及存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现如上方法的步骤。
本发明实施例的再一方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有被处理器执行时实现如上方法步骤的计算机程序。
本发明具有以下有益技术效果：系统架构上利用硬件资源协调缓存资源，实现数据库的高效运转；设置数据的过期和溢出模式，保证系统资源的高效利用；分级缓存运转，极大提升缓存处理存储能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本发明提供的缓存处理的方法的实施例的示意图；
图2为本发明提供的缓存处理的系统的实施例的示意图；
图3为本发明提供的缓存处理的计算机设备的实施例的硬件结构示意图；
图4为本发明提供的缓存处理的计算机存储介质的实施例的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
本发明实施例的第一个方面，提出了一种缓存处理的方法的实施例。图1示出的是本发明提供的缓存处理的方法的实施例的示意图。如图1所示，本发明实施例包括如下步骤：
S1、按照缓存速度将缓存空间划分成多个缓存级别，并在各个缓存级别的缓存空间内按照资源池的模式进行业务运作；
S2、响应于接收到用户的访问申请，判断所述访问申请对应的数据是否属于高频访问数据；
S3、响应于所述访问申请对应的数据不属于高频访问数据，将所述数据附带重新定义的标识加载到一级缓存内，并按照缓存块加指针块的大小存入缓存资源池的指定分块内；
S4、响应于所述访问申请对应的数据属于高频访问数据，将所述数据从一级缓存提升到二级缓存，并重新定义位置信息；以及
S5、根据所述访问申请从缓存数据的标识确定所述数据的存储位置，并将所述数据加载给用户。
按照缓存速度将缓存空间划分成多个缓存级别，并在各个缓存级别的缓存空间内按照资源池的模式进行业务运作。内存硬件作为速度远高于硬盘的一级缓存，其存储空间多于CPU的自带缓存，少于硬盘存储空间。高频数据由数据库从硬盘的存储层寻址加载，加载后放置在内存一级缓存内，对于这些数据建立软连接到硬件存储设备上，并对其地址进行Flag(标识)编号，编号原则按照业务运行软件进行区分，因此将内存作为一级缓存。CPU设备本身有自带的L1-L2-L3缓存，其运行和寻址速度逐次降低，存储空间逐次增加，由于CPU本身的如上特性，将其区分为缓存系统的二三级缓存，CPU L3缓存定义为二级缓存，L1缓存和L2缓存定义为三级缓存。缓存数据在不同的缓存级间传递时，其指针按照所在物理层的寄存器存储方式进行重定向。
在一些实施方式中，所述在各个缓存级别的缓存空间内按照资源池的模式进行业务运作包括：响应于缓存数据进行对应缓存级别的缓存空间，按照顺序分别对数据进行存储，并对每个数据分配预设空间以存储对应的标识。缓存数据空间池化的原则，定义为整个物理层分配给业务的实际缓存空间，其作为整体进行运作，当缓存数据进入该级别的物理层后，按照顺序的原则分别对数据进行存储，每个数据占用一定字节的空间用作其位置的Flag存储，便于业务在缓存内进行快速寻址。
在一些实施方式中，所述在各个缓存级别的缓存空间内按照资源池的模式进行业务运作包括：响应于业务需要访问数据，由业务的指针寻找存储设备中对应的数据块，并由指针携带数据块本身内容进入一级缓存空间。当业务需要访问数据时，由业务的指针寻找存储设备中的对应数据块，指针携带数据块本身内容进入一级缓存空间，指针的指向及指针自身的编号将由业务需求进行编号和定义。
数据在使用时，其热点类型决定运行缓存的级别，对于用户查询的非高频数据，其就固定存储在一级缓存上，在一定时间后缓存数据过期，过期的数据即从缓存空间释放。对于一定时间内访问热点的数据，按照访问次数提升其在物理层的缓存级别，按照二级缓存-再到三级缓存的原则升级缓存空间的级别，提升数据的访问速度，减少对缓存物理层的损害。
响应于接收到用户的访问申请，判断所述访问申请对应的数据是否属于高频访问数据。
为避免数据库在运行时的恶意侵入，保障数据库的正常运行和数据安全性，需要对用户行为做出一定控制。首先，为避免同时大量的缓存访问导致缓存雪崩，用户的区分不能按照IP进行，而需要改为USER ID对用户进行区分。每个USER ID在指定时间(如五秒钟内)按照业务的紧急程度限制数据访问次数。缓存数据的定向由虚拟指针定向到缓存资源池内该大小块的数据，每一次的缓存访问不再从硬存储设备中重新加载，针对高频数据，减少其缓存加载的时间和次数。
另外，为避免恶意访问导致的同一时间大量数据过期，系统从硬件重新大量加载数据，导致缓存雪崩的情况，对于同一IP的访问需求，在用户行为的控制上加载一个访问时间锁，该IP在一定的时间如一秒钟内，只能提交一次访问申请，超出访问次数，则限制该用户的访问申请，直到新的访问允许时间来临。
响应于所述访问申请对应的数据不属于高频访问数据，将所述数据附带重新定义的标识加载到一级缓存内，并按照缓存块加指针块的大小存入缓存资源池的指定分块内。对于非高频次的缓存资源，在收到用户的访问申请后，数据带着其重新定义的Flag加载到一级缓存内，并按照其缓存块加指针块的大小按照预定的规则存入缓存资源池的指定分块内。
在一些实施方式中，所述方法还包括：响应于数据存储块的容量超过第一阈值，将最早存入的缓存数据失效，并使用最新存入的缓存数据代替失效的缓存数据。
由于按照固定时间定义缓存失效的方案在遭受到恶意访问时，同时大量数据在一个时间点失效有很大的风险，因此还提供另一种缓存数据失效的定义方法。在缓存数据较多的时候，系统识别到数据量增大，自动切换为满栈数据堆叠的模式。具体来说，对于每个容量的数据存储块，新来的缓存数据由Flag的编号定义其存入的顺序，当这一个容量的数据存储块存满时，最早的缓存数据直接失效，新来的缓存数据代替失效的缓存数据，以此实现数据空间的高效利用。在物理层面上，数据的存储方式不一定按照线性存储，因为每一个数据均带有标识其位置的Flag数块，对数据的定位已经提升了很高，并不需要严格线性存储。但其先入先出，后入后出的存储方式符合堆栈数据的运作模式。
在一些实施方式中，所述按照缓存块加指针块的大小存入缓存资源池的指定分块内包括：在物理层的缓存介质上，由实际业务需求将数据进行模块的划分，并根据模块的预估大小和模块对应的指针占用的数据大小进行池化资源的存储分块。
缓存数据依赖于实际业务的需求，基于此，其数据块大小将由实际需要缓存的数据块大小决定。而在高可靠性的系统中，数据作为重要的传递内容，通常存在不可分割的情况，这将严重降低缓存空间的利用效率，尤其是在数据进行池化运作的状态下。因此，对数据块按照大小进行分块存储是十分必要的。进一步地，在物理层的缓存介质上，由实际业务需求将数据进行模块的划分，并根据数据模块的预估大小加其指针占用的数据大小进行池化资源的存储分块。
当业务需要调用缓存资源池中的数据，或数据有传递需求时，由需求指针在对应的数据块大小存储空间内进行寻址，并按照寻址结果调用其对应的数据。虽然增加了数据需求块大小的判断，但数据在缓存内部的寻址不再需要在整个缓存物理层进行，只需要在所需大小的数据块存储空间内进行，这大大降低了缓存数据的寻址时间，减少了缓存被击穿继而引发缓存雪崩的风险。
响应于所述访问申请对应的数据属于高频访问数据，将所述数据从一级缓存提升到二级缓存，并重新定义位置信息。
在一些实施方式中，所述方法还包括：响应于数据在预设时间内被访问的次数达到第二阈值，将所述数据升级为高频访问数据；以及响应于高频访问数据在第二预设时间内未被访问，将所述高频访问数据做过期处理。
在普通缓存数据处理中，当一个数据在短时间内多次访问，其就可定义为一个高频缓存资源，数据的缓存位置就可按照预定的原则重新定义位置信息，并提升其到二级缓存的物理存储空间内。相反地，一个高频数据若在一定时间内不再被访问，该数据不会返回一级缓存，而是直接过期，数据链若出现变化，则将数据链的最终状态返回输入到硬件存储设备之中。
由于二三级缓存空间比一级缓存小得多，因此二三级缓存内的数据更迭速度更快，以便于高频缓存数据的加载和处理。另外，在二三级缓存空间内，堆栈型数据处理方式、分块存储等数据的运作模式与在普通低频的一级缓存内一致。
根据所述访问申请从缓存数据的标识确定所述数据的存储位置，并将所述数据加载给用户。在用户提出访问申请后，从缓存数据的flag找到该数据的存储位置，并将其加载给客户呈现。
在一些实施方式中，所述方法还包括：响应于缓存数据发生变化，在原先的缓存数据之后存储本次变化的时间戳和变化内容，并与原先的缓存数据共用标识。
无论是一级缓存，还是二三级缓存，在用户访问和处理的过程中多次变化是存在可能的，而在高可靠性的系统内，数据在变化时的实时状态远比加载速度更加重要。在缓存数据处理完毕后，这些运行在易失性存储空间上的数据也必须重新存储到非易失性的介质，即硬盘上，以便于数据的永久保存，和下一次数据加载的准确性。
基于此，缓存数据在流动变化时，有部分中间数据如数据变更的时间戳等并不需要进行永久性存储，而有一些关键数据，即使不是最终状态，也需要在硬盘内记录。而缓存数据在运行和流转时，即时处理数据是不现实的。因此，缓存数据在有变化时，其结构变化按照链式进行存储、转移和流动。
具体的，缓存数据在用户操作导致变化时，在原先的缓存数据之后存储本次变化的时间戳、变化内容等需要进行记录的信息，这些数据与原始数据共用原本的Flag信息。在数据二次、多次再变化时，这部分新的数据继续在已有的数据块后存储。而这种链式的内容存储，最直接的就是导致数据块大小会发生变化。基于前文所述的数据块按照占用空间大小存储的原则，数据块大小变化时，将数据迁移到新的存储块内进行缓存的存放。
进一步的，数据在流动时，无论是在同一级缓存空间内的不同存储块间流动，还是在不同的缓存级间流动，其定位的Flag均按照流入的空间的原则进行重编号。而当数据过期，或基于堆栈溢出时，再转存入非易失性的硬盘存储空间内。
在向硬盘进行数据存储时，该数据链的开始、最终和中间关键状态由应用程序识别，并提取出这些数据按照预定的规则存入硬盘空间。
需要特别指出的是，上述缓存处理的方法的各个实施例中的各个步骤均可以相互交叉、替换、增加、删减，因此，这些合理的排列组合变换之于缓存处理的方法也应当属于本发明的保护范围，并且不应将本发明的保护范围局限在实施例之上。
基于上述目的，本发明实施例的第二个方面，提出了一种缓存处理的系统。如图2所示，系统200包括如下模块：划分模块，配置用于按照缓存速度将缓存空间划分成多个缓存级别，并在各个缓存级别的缓存空间内按照资源池的模式进行业务运作；判断模块，配置用于响应于接收到用户的访问申请，判断所述访问申请对应的数据是否属于高频访问数据；第一处理模块，配置用于响应于所述访问申请对应的数据不属于高频访问数据，将所述数据附带重新定义的标识加载到一级缓存内，并按照缓存块加指针块的大小存入缓存资源池的指定分块内；第二处理模块，配置用于响应于所述访问申请对应的数据属于高频访问数据，将所述数据从一级缓存提升到二级缓存，并重新定义位置信息；以及加载模块，配置用于根据所述访问申请从缓存数据的标识确定所述数据的存储位置，并将所述数据加载给用户。
在一些实施方式中，所述划分模块配置用于：响应于缓存数据进行对应缓存级别的缓存空间，按照顺序分别对数据进行存储，并对每个数据分配预设空间以存储对应的标识。
在一些实施方式中，所述划分模块配置用于：响应于业务需要访问数据，由业务的指针寻找存储设备中对应的数据块，并由指针携带数据块本身内容进入一级缓存空间。
在一些实施方式中，所述第一处理模块配置用于：在物理层的缓存介质上，由实际业务需求将数据进行模块的划分，并根据模块的预估大小和模块对应的指针占用的数据大小进行池化资源的存储分块。
在一些实施方式中，所述系统还包括替换模块，配置用于：响应于数据存储块的容量超过第一阈值，将最早存入的缓存数据失效，并使用最新存入的缓存数据代替失效的缓存数据。
在一些实施方式中，所述系统还包括转换模块，配置用于：响应于数据在预设时间内被访问的次数达到第二阈值，将所述数据升级为高频访问数据；以及响应于高频访问数据在第二预设时间内未被访问，将所述高频访问数据做过期处理。
在一些实施方式中，所述系统还包括变化模块，配置用于：响应于缓存数据发生变化，在原先的缓存数据之后存储本次变化的时间戳和变化内容，并与原先的缓存数据共用标识。
基于上述目的，本发明实施例的第三个方面，提出了一种计算机设备，包括：至少一个处理器；以及存储器，存储器存储有可在处理器上运行的计算机指令，指令由处理器执行以实现如下步骤：S1、按照缓存速度将缓存空间划分成多个缓存级别，并在各个缓存级别的缓存空间内按照资源池的模式进行业务运作；S2、响应于接收到用户的访问申请，判断所述访问申请对应的数据是否属于高频访问数据；S3、响应于所述访问申请对应的数据不属于高频访问数据，将所述数据附带重新定义的标识加载到一级缓存内，并按照缓存块加指针块的大小存入缓存资源池的指定分块内；S4、响应于所述访问申请对应的数据属于高频访问数据，将所述数据从一级缓存提升到二级缓存，并重新定义位置信息；以及S5、根据所述访问申请从缓存数据的标识确定所述数据的存储位置，并将所述数据加载给用户。
在一些实施方式中，所述在各个缓存级别的缓存空间内按照资源池的模式进行业务运作包括：响应于缓存数据进行对应缓存级别的缓存空间，按照顺序分别对数据进行存储，并对每个数据分配预设空间以存储对应的标识。
在一些实施方式中，所述在各个缓存级别的缓存空间内按照资源池的模式进行业务运作包括：响应于业务需要访问数据，由业务的指针寻找存储设备中对应的数据块，并由指针携带数据块本身内容进入一级缓存空间。
在一些实施方式中，所述按照缓存块加指针块的大小存入缓存资源池的指定分块内包括：在物理层的缓存介质上，由实际业务需求将数据进行模块的划分，并根据模块的预估大小和模块对应的指针占用的数据大小进行池化资源的存储分块。
在一些实施方式中，所述步骤还包括：响应于数据存储块的容量超过第一阈值，将最早存入的缓存数据失效，并使用最新存入的缓存数据代替失效的缓存数据。
在一些实施方式中，所述步骤还包括：响应于数据在预设时间内被访问的次数达到第二阈值，将所述数据升级为高频访问数据；以及响应于高频访问数据在第二预设时间内未被访问，将所述高频访问数据做过期处理。
在一些实施方式中，所述步骤还包括：响应于缓存数据发生变化，在原先的缓存数据之后存储本次变化的时间戳和变化内容，并与原先的缓存数据共用标识。
如图3所示，为本发明提供的上述缓存处理的计算机设备的一个实施例的硬件结构示意图。
以如图3所示的装置为例，在该装置中包括一个处理器301以及一个存储器302。
处理器301和存储器302可以通过总线或者其他方式连接，图3中以通过总线连接为例。
存储器302作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的缓存处理的方法对应的程序指令/模块。处理器301通过运行存储在存储器302中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现缓存处理的方法。
存储器302可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据缓存处理的方法的使用所创建的数据等。此外，存储器302可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器302可选包括相对于处理器301远程设置的存储器，这些远程存储器可以通过网络连接至本地模块。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个缓存处理的方法对应的计算机指令303存储在存储器302中，当被处理器301执行时，执行上述任意方法实施例中的缓存处理的方法。
执行上述缓存处理的方法的计算机设备的任何一个实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。
本发明还提供了一种计算机可读存储介质，计算机可读存储介质存储有被处理器执行时执行缓存处理的方法的计算机程序。
如图4所示，为本发明提供的上述缓存处理的计算机存储介质的一个实施例的示意图。以如图4所示的计算机存储介质为例，计算机可读存储介质401存储有被处理器执行时执行如上方法的计算机程序402。
最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，缓存处理的方法的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，程序的存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。上述计算机程序的实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。
上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims (10)

1.一种缓存处理的方法，其特征在于，包括如下步骤：
按照缓存速度将缓存空间划分成多个缓存级别，并在各个缓存级别的缓存空间内按照资源池的模式进行业务运作；
响应于接收到用户的访问申请，判断所述访问申请对应的数据是否属于高频访问数据；
响应于所述访问申请对应的数据不属于高频访问数据，将所述数据附带重新定义的标识加载到一级缓存内，并按照缓存块加指针块的大小存入缓存资源池的指定分块内；
响应于所述访问申请对应的数据属于高频访问数据，将所述数据从一级缓存提升到二级缓存，并重新定义位置信息；以及
根据所述访问申请从缓存数据的标识确定所述数据的存储位置，并将所述数据加载给用户。
2.根据权利要求1所述的方法，其特征在于，所述在各个缓存级别的缓存空间内按照资源池的模式进行业务运作包括：
响应于缓存数据进行对应缓存级别的缓存空间，按照顺序分别对数据进行存储，并对每个数据分配预设空间以存储对应的标识。
3.根据权利要求2所述的方法，其特征在于，所述在各个缓存级别的缓存空间内按照资源池的模式进行业务运作包括：
响应于业务需要访问数据，由业务的指针寻找存储设备中对应的数据块，并由指针携带数据块本身内容进入一级缓存空间。
4.根据权利要求1所述的方法，其特征在于，所述按照缓存块加指针块的大小存入缓存资源池的指定分块内包括：
在物理层的缓存介质上，由实际业务需求将数据进行模块的划分，并根据模块的预估大小和模块对应的指针占用的数据大小进行池化资源的存储分块。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应于数据存储块的容量超过第一阈值，将最早存入的缓存数据失效，并使用最新存入的缓存数据代替失效的缓存数据。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应于数据在预设时间内被访问的次数达到第二阈值，将所述数据升级为高频访问数据；以及
响应于高频访问数据在第二预设时间内未被访问，将所述高频访问数据做过期处理。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应于缓存数据发生变化，在原先的缓存数据之后存储本次变化的时间戳和变化内容，并与原先的缓存数据共用标识。
8.一种缓存处理的系统，其特征在于，包括：
划分模块，配置用于按照缓存速度将缓存空间划分成多个缓存级别，并在各个缓存级别的缓存空间内按照资源池的模式进行业务运作；
判断模块，配置用于响应于接收到用户的访问申请，判断所述访问申请对应的数据是否属于高频访问数据；
第一处理模块，配置用于响应于所述访问申请对应的数据不属于高频访问数据，将所述数据附带重新定义的标识加载到一级缓存内，并按照缓存块加指针块的大小存入缓存资源池的指定分块内；
第二处理模块，配置用于响应于所述访问申请对应的数据属于高频访问数据，将所述数据从一级缓存提升到二级缓存，并重新定义位置信息；以及
加载模块，配置用于根据所述访问申请从缓存数据的标识确定所述数据的存储位置，并将所述数据加载给用户。
9.一种计算机设备，其特征在于，包括：
至少一个处理器；以及
存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现权利要求1-4任意一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-4任意一项所述方法的步骤。
CN202210595402.5A 2022-05-29 2022-05-29 一种缓存处理的方法、系统、设备和存储介质 Pending CN114968845A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210595402.5A CN114968845A (zh) 2022-05-29 2022-05-29 一种缓存处理的方法、系统、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210595402.5A CN114968845A (zh) 2022-05-29 2022-05-29 一种缓存处理的方法、系统、设备和存储介质

Publications (1)

Publication Number Publication Date
CN114968845A true CN114968845A (zh) 2022-08-30

Family

ID=82958242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210595402.5A Pending CN114968845A (zh) 2022-05-29 2022-05-29 一种缓存处理的方法、系统、设备和存储介质

Country Status (1)

Country Link
CN (1) CN114968845A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116450053A (zh) * 2023-06-13 2023-07-18 苏州浪潮智能科技有限公司 数据存储方法、装置、系统、电子设备和存储介质
CN117041343A (zh) * 2023-07-05 2023-11-10 中关村科学城城市大脑股份有限公司 请求处理方法、装置、电子设备和计算机可读介质
CN117951044A (zh) * 2024-03-27 2024-04-30 江西曼荼罗软件有限公司 一种缓存识别与更新的方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9323680B1 (en) * 2007-09-28 2016-04-26 Veritas Us Ip Holdings Llc Method and apparatus for prefetching data
WO2017036428A2 (zh) * 2015-09-06 2017-03-09 中兴通讯股份有限公司 容量变更建议方法及装置
CN111598759A (zh) * 2020-05-22 2020-08-28 浙江莱尚信息科技有限公司 一种城市资源整合系统及城市资源整合方法
CN112015674A (zh) * 2020-08-27 2020-12-01 平安科技（深圳）有限公司 基于多层级的缓存资源访问方法、装置和计算机设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9323680B1 (en) * 2007-09-28 2016-04-26 Veritas Us Ip Holdings Llc Method and apparatus for prefetching data
WO2017036428A2 (zh) * 2015-09-06 2017-03-09 中兴通讯股份有限公司 容量变更建议方法及装置
CN111598759A (zh) * 2020-05-22 2020-08-28 浙江莱尚信息科技有限公司 一种城市资源整合系统及城市资源整合方法
CN112015674A (zh) * 2020-08-27 2020-12-01 平安科技（深圳）有限公司 基于多层级的缓存资源访问方法、装置和计算机设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
金国刚;冉亮;张华峰;: "软硬件资源池化设计与系统验证", 电力信息与通信技术, no. 09, 15 September 2015 (2015-09-15), pages 27 - 31 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116450053A (zh) * 2023-06-13 2023-07-18 苏州浪潮智能科技有限公司 数据存储方法、装置、系统、电子设备和存储介质
CN116450053B (zh) * 2023-06-13 2023-09-05 苏州浪潮智能科技有限公司 数据存储方法、装置、系统、电子设备和存储介质
CN117041343A (zh) * 2023-07-05 2023-11-10 中关村科学城城市大脑股份有限公司 请求处理方法、装置、电子设备和计算机可读介质
CN117041343B (zh) * 2023-07-05 2024-02-23 中关村科学城城市大脑股份有限公司 请求处理方法、装置、电子设备和计算机可读介质
CN117951044A (zh) * 2024-03-27 2024-04-30 江西曼荼罗软件有限公司 一种缓存识别与更新的方法及系统
CN117951044B (zh) * 2024-03-27 2024-05-31 江西曼荼罗软件有限公司 一种缓存识别与更新的方法及系统

Similar Documents

Publication Publication Date Title
CN114968845A (zh) 一种缓存处理的方法、系统、设备和存储介质
CN112380149B (zh) 基于节点内存的数据处理方法、装置、设备以及介质
CN110808910A (zh) 一种支持QoS的OpenFlow流表节能存储架构及其应用
CN111198856B (zh) 文件管理方法、装置、计算机设备和存储介质
CN106357778A (zh) 一种会话信息的共享方法、装置及系统
CN108111325B (zh) 一种资源分配方法及装置
WO2022057231A1 (zh) 访问服务器的方法、装置、设备及存储介质
CN105376269B (zh) 虚拟机存储系统及其实现方法和装置
WO2024045817A1 (zh) 用于调度simt架构处理器的返回数据的方法及相应处理器
US20200409566A1 (en) Key Value Store Using Progress Verification
CN111198845A (zh) 一种数据迁移方法、可读存储介质及计算设备
CN105320676A (zh) 一种客户数据查询服务方法及装置
US20200311029A1 (en) Key value store using generation markers
CN114036195A (zh) 一种数据请求处理方法、装置、服务器和存储介质
CN114003562A (zh) 一种目录遍历方法、装置、设备及可读存储介质
CN111459913B (zh) 分布式数据库的容量扩展方法、装置及电子设备
CN111694806B (zh) 一种事务日志的缓存方法、装置、设备和存储介质
WO2015015727A1 (ja) ストレージ装置、データアクセス方法およびプログラム記録媒体
JPH11143779A (ja) 仮想記憶装置におけるページング処理システム
CN111752861A (zh) 应用多级缓存方法、装置、客户端及存储介质
CN113849119A (zh) 存储方法、存储装置和计算机可读存储介质
US11334623B2 (en) Key value store using change values for data properties
CN107967306B (zh) 一种存储系统中关联块的快速挖掘方法
CN114490039A (zh) Cpu负载均衡的网卡流量二次分派方法、系统、设备及介质
CN112269820A (zh) 一种基于cmsp实现数据批次同步的方法及平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination