CN111857597A - 一种热点数据缓存方法、系统及相关装置 - Google Patents

一种热点数据缓存方法、系统及相关装置 Download PDF

Info

Publication number
CN111857597A
CN111857597A CN202010724366.9A CN202010724366A CN111857597A CN 111857597 A CN111857597 A CN 111857597A CN 202010724366 A CN202010724366 A CN 202010724366A CN 111857597 A CN111857597 A CN 111857597A
Authority
CN
China
Prior art keywords
data
hot spot
queue
hotspot
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010724366.9A
Other languages
English (en)
Inventor
谢有权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN202010724366.9A priority Critical patent/CN111857597A/zh
Publication of CN111857597A publication Critical patent/CN111857597A/zh
Priority to PCT/CN2021/076978 priority patent/WO2022016861A1/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0625—Power saving in storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements

Abstract

本申请提供一种热点数据缓存方法，包括：接收读写请求，并确认所述读写请求对应请求数据；所述请求数据的访问次数加一，并根据当前访问次数判断所述请求数据是否为热点数据；若是，将所述热点数据添加至热点队列，并为所述热点队列中的热点数据添加热点标记；将所述热点队列中的热点数据缓存至集群本地存储。本申请降低了客户端缓存热点数据带来的资源消耗，提高客户端的服务性能，确保各客户端享用一致性缓存，进一步提高了分布式共享存储系统下的缓存性能。本申请还提供一种热点数据缓存方法、系统、计算机可读存储介质和服务器，具有上述有益效果。

Description

一种热点数据缓存方法、系统及相关装置
技术领域
本申请涉及数据处理领域，特别涉及一种热点数据缓存方法、系统及相关装置。
背景技术
随着分布式共享存储系统的快速发展，其性能和安全性越来越关注。在多分布式客户端共享一个卷场景下一般不使用客户端缓存，由于客户端之间不存在通信，导致单个客户端缓存数据的时候，无法感知到其他客户端时候对该部分数据进行修改操作，所以会导致数据不一致；所以一般的解决方法是客户端之间建立通信，如果客户端的数据较多，必将导致网络的繁忙，同时也会因保证数据一致性造成正常业务的阻塞问题，导致客户端业务性能的下降；此外多分布式客户端可能缓存重复的数据，造成资源的浪费，而且客户端的资源本身有限，容易影响客户端的正常运行。
因此，如何实现分布式共享存储系统下的有效缓存是本领域技术人员亟需解决的技术问题。
发明内容
本申请的目的是提供一种热点数据缓存方法、系统、计算机可读存储介质和服务器，提高了在共享卷场景下的缓存性能。
为解决上述技术问题，本申请提供一种热点数据缓存方法，具体技术方案如下：
接收读写请求，并确认所述读写请求对应请求数据；
所述请求数据的访问次数加一，并根据当前访问次数判断所述请求数据是否为热点数据；
若是，将所述热点数据添加至热点队列，并为所述热点队列中的热点数据添加热点标记；
将所述热点队列中的热点数据缓存至集群本地存储。
可选的，根据当前访问次数判断所述请求数据是否为热点数据包括：
根据当前访问次数利用最近最少使用策略判断所述请求数据是否为热点数据。
可选的，将所述热点数据添加至热点队列之后，还包括：
根据所述热点队列中各所述热点数据的热点度进行排序；
其中，所述热点队列的队尾为所述热点度最低的热点数据。
可选的，当所述热点队列满载，将所述热点数据添加至热点队列时包括：
将所述热点队列队尾的热点数据移至老化队列后，将所述热点数据添至所述热点队列；
将所述老化队列中各热点数据的热点标记变更为热点老化标记。
并将所述老化队列中各热点数据的热点标记变更为热点老化标记之后，还包括：
获取所述热点数据单位周期内的访问次数；
根据预设公式计算所述热点数据的老化参数；
判断所述热点数据的老化参数与单位周期内访问次数之差是否小于剔除阈值；
若否，则将所述热点数据从所述集群本地存储中移除；
其中，所述预设公式为：
Figure BDA0002601137840000021
其中，D＝t-t1，β为老化参数，D为时间访问间隔，t为当前时间，t1为所述热点数据的热点标记时间，δ为预设衰减因子，T为单位周期。
可选的，当接收到热点数据的读操作请求时，还包括：
判断所述读操作对应的热点数据是否均位于所述集群本地存储中；
若否，从所述集群本地存储中获取所述请求数据的第一部分数据，从磁盘获取所述请求数据的第二部分数据；
将所述第一部分数据和所述第二部分数据合并后返回至所述读操作的请求方。
可选的，将所述热点队列中的热点数据缓存至集群本地存储包括：
确认包括所述热点标记的热点数据所在的块对象ID；
将所述热点数据和对应的块对象ID缓存至集群本地存储。
本申请还提供一种热点数据缓存系统，包括：
接收模块，用于接收读写请求，并确认所述读写请求对应请求数据；
判断模块，用于所述请求数据的访问次数加一，并根据当前访问次数判断所述请求数据是否为热点数据；
热点标记模块，用于所述判断模块的判断结果为是时，将所述热点数据添加至热点队列；
缓存模块，用于为所述热点队列中的热点数据添加热点标记，将所述热点队列中的热点数据缓存至集群本地存储。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法的步骤。
本申请还提供一种服务器，包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如上所述的方法的步骤。
本申请提供一种热点数据缓存方法，包括：接收读写请求，并确认所述读写请求对应请求数据；所述请求数据的访问次数加一，并根据当前访问次数判断所述请求数据是否为热点数据；若是，将所述热点数据添加至热点队列，并为所述热点队列中的热点数据添加热点标记；将所述热点队列中的热点数据缓存至集群本地存储。
本申请利用客户端识别出热点数据，将热点数据通过热点队列保存至分布式存储集群底层的集群本地存储，由集群底层本地存储引擎保证各客户端缓存数据的一致性，同时由分布式存储集群负责热点数据所占用的资源，降低了客户端缓存热点数据带来的资源消耗，提高客户端的服务性能，确保各客户端享用一致性缓存，进一步提高了分布式共享存储系统下的缓存性能。
本申请还提供一种热点数据缓存方法、系统、计算机可读存储介质和服务器，具有上述有益效果，此处不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种热点数据缓存方法的流程图；
图2为本申请实施例所提供的一种热点数据缓存系统结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参考图1，图1为本申请实施例所提供的一种热点数据缓存方法的流程图，具体技术方案如下：
S101：接收读写请求，并确认所述读写请求对应请求数据；
本步骤中，客户端接收读写请求，并确认对应的请求数据。具体的，可以根据读操作的偏移和长度找到对应的对象。
S102：所述请求数据的访问次数加一，并根据当前访问次数判断所述请求数据是否为热点数据；若是，进入S103；
由于读写请求针对访问请求数据，此时请求数据的访问次数增加，并判断该请求数据是否满足热点数据条件，即是否成为热点数据。在此对于如何判断请求数据是否为热点数据不作具体限定，可以根据当前访问次数利用最近最少使用策略判断所述请求数据是否为热点数据。所谓最近最少策略即LRU(Least Recently Used)策略，其实质为一种缓存淘汰策略，主要根据数据的访问频率判定其是否为热点数据。当然本领域技术人员还可以采用其他方式判断请求数据是否为热点数据，在此不一一举例限定。
S103：将所述热点数据添加至热点队列，并为所述热点队列中的热点数据添加热点标记；
若请求数据为热点数据，将该热点数据添加至热点队列，为热点数据添加热点标记，用于标识该数据已经成为热点数据。需要注意的是，热点队列可以为存储设备中的一条存储队列，也可以仅作为热点数据所在的集合，而不具备实际存储结构，例如可以将热点队列作为属性添加至热点数据，以示热点数据已添加至热点队列。
作为本步骤的一种优选的执行方式，在将热点数据添加至热点队列后，还可以根据所述热点队列中各所述热点数据的热点度进行排序，使得热点队列的队尾为热点度最低的热点数据。在此对于如何计算热点数据的热点度不做具体限定，通常可以根据各热点数据在单位时间内的访问频率确定，该单位时间可以为预设周期，例如一天、一周或一个月等。此外，若存在单位时间内的访问频率相同的热点数据，可以进一步根据最后访问时间确定热点度，即最后访问时间距当前时间越近，其热点度越高。
S104：将所述热点队列中的热点数据缓存至集群本地存储。
本步骤旨在将热点数据缓存至集群本地存储。需要注意的是，本步骤默认由客户端将热点队列发送至分布式存储集群的主节点，再由主节点将热点队列中的热点数据缓存至集群本地存储。集群本地存储位于分布式存储集群的底层，可以被集群中的所有客户端所访问，则此时可以实现各客户端之间的缓存一致性。具体的，还需要根据步骤S103中的热点标记区分热点数据和非热点数据。
需要注意的是，整个分布式存储集群中只需存在一个热点队列，而每个客户端都可以根据自身数据的读写状态确定相应的热点数据，并反馈至集群中的热点队列。
在此对于如何缓存热点数据不作具体限定，可以先确认包括热点标记的热点数据所在的块对象ID，再将热点数据和对应的块对象ID缓存至集群本地存储。为了便于管理，对分布式存储集群中的共享卷进行划分，即按照预设大小均分成若干块对象，则任何一个数据都有所属的块对象。通过对共享卷进行划分，便于提高缓存中热点数据的查找效率，即相当于为各数据建立索引。则在执行本步骤时，可以先确定热点数据所在的块对象ID，在缓存热点数据时同步将对应的块对象ID存储至集群本地存储。需要注意的是，并不直接将块对象全部缓存，由于块对象中可能包含非热点数据，因此在执行缓存时，仅保存块对象中的热点数据。
容易理解的是，本实施例可以在客户端每接收到一次读写请求时执行一次，若请求数据已经在执行访问次数加一前已经为热点数据，则此时访问次数加一意味着该请求数据对应的热点度上升，此时其位于热点队列中位置可以更加接近队首。且请求数据已经为热点数据时，可以直接从集群本地存储中调取相应的热点数据并回复请求。
本申请实施例利用客户端识别出热点数据，将热点数据通过热点队列保存至分布式存储集群底层的集群本地存储，由集群底层本地存储引擎保证各客户端缓存数据的一致性，同时由分布式存储集群负责热点数据所占用的资源，降低了客户端缓存热点数据带来的资源消耗，提高客户端的服务性能，确保各客户端享用一致性缓存，进一步提高了分布式共享存储系统下的缓存性能。
基于上述实施例，作为优选的实施例，为了保证热点数据的数量相对稳定，即热点数据不能无限制增加，为此当热点队列满载时，还可以执行如下步骤：
将热点队列队尾的热点数据移至老化队列，并将所述老化队列中各热点数据的热点标记变更为热点老化标记。
当热点队列满载时，若此时存在新的热点数据，将热点队列队尾的热点数据移除，并添加至老化队列。当然，此时默认热点队列已经按照各热点数据的热点度进行排序，即队尾的热点数据为当前热点度最低的热点数据。需要注意的是，通常新的热点数据与热点队列中队尾的热点数据的访问频率相同或者相近，但由于新的热点数据其最后访问时间显然短于已经位于热点队列中的热点数据，因此可以无条件执行队尾的热点数据移除。
需要注意的是，老化队列旨在承载被替换掉的热点数据，并不意味着位于老化队列中的数据已经不再属于热点数据，因此并非针对老化队列中的所有数据进行缓存移除，还需要进一步判断包括热点老化标记的数据是否真的需要被移出缓存。
在此对于如何执行热点数据移除不作具体限定，作为本实施例的一种优选的执行方式，可以执行如下步骤：
S201：获取热点数据单位周期内的访问次数；
S202：根据预设公式计算热点数据的老化参数；
S203：判断热点数据的老化参数与单位周期内访问次数之差是否小于剔除阈值；若否，进入S204；
S204：则将热点数据从集群本地存储中移除；
其中，预设公式为：
Figure BDA0002601137840000071
其中，D＝t-t1，β为老化参数，D为时间访问间隔，t为当前时间，t1为热点标记的标记时间，δ为预设衰减因子，T为单位周期。
在此对于剔除阈值和预设衰减因子均不作具体限定，可以由本领域技术人员根据实际剔除需求设定。此外，步骤S201和步骤S202的执行过程相互独立，并无既定的执行顺序，只需在执行S203的判断过程之间完成即可。容易理解的是，上述过程仅为本实施例提供的一种剔除老化队列中热点数据的详细过程，本领域技术人员还可以针对上述过程做任何改进，均应在本申请的保护范围内。
需要注意的是，本实施例的执行主体并不必须为客户端，由于热点队列为分布式存储集群中服务端所持有，因此，执行本实施例中热点数据老化的过程也可以由服务端执行，即降低客户端的热点数据处理压力，同时避免不同客户端之间的重复操作，减少了资源的额外浪费。同时，本实施例通过设置老化队列，能够确保热点队列中的热点数据为分布式存储集群中当下的最热数据，有利于提高集群缓存利用效率。
基于上述实施例，作为优选的实施例，当接收到热点数据的读操作请求时，还可以包括如下步骤：
S301：判断读操作对应的热点数据是否均位于集群本地存储中；若否，进入S302；
S302：从集群本地存储中获取请求数据的第一部分数据，从磁盘获取请求数据的第二部分数据；
S303：将第一部分数据和第二部分数据合并后返回至读操作的请求方。
容易理解的是，由于服务端和客户端之间存在消息滞后性，或者由于数据状态更新过快，即客户端所发出的热点数据的读操作请求实际针对的数据并不一定均为当前分布式存储系统中集群本地存储实际缓存的热点数据。即读操作请求所对应的部分数据可能已经成为包括热点老化标记的老化数据，也可能由于执行共享卷划分时的划分粒度过大，导致每个块对象较大，使得执行热点数据缓存时，某个块对象的热点数据并未完全缓存等情况，此时可以根据读操作请求所请求的实际数据所在位置进行获取，即于集群本地存储中缓存的第一部分数据则直接从缓存中读取，而另一部分则需要调用磁盘执行相应的IO操作以获取第二部分数据，最后返回至请求方的数据应包含第一部分数据和第二部分数据。
下面对本申请实施例提供的一种热点数据缓存系统进行介绍，下文描述的热点数据缓存系统与上文描述的一种热点数据缓存方法可相互对应参照。
参见图2，图2为本申请实施例所提供的一种热点数据缓存系统结构示意图，本申请还提供一种热点数据缓存系统，包括：
接收模块100，用于接收读写请求，并确认所述读写请求对应请求数据；
判断模块200，用于所述请求数据的访问次数加一，并根据当前访问次数判断所述请求数据是否为热点数据；
热点标记模块300，用于所述判断模块的判断结果为是时，将所述热点数据添加至热点队列；
缓存模块400，用于为所述热点队列中的热点数据添加热点标记，将所述热点队列中的热点数据缓存至集群本地存储。
基于上述实施例，作为优选的实施例，判断模块200包括：
判断单元，用于根据当前访问次数利用最近最少使用策略判断所述请求数据是否为热点数据。
基于上述实施例，作为优选的实施例，还可以包括：
热点排序模块，用于根据所述热点队列中各所述热点数据的热点度进行排序；
其中，所述热点队列的队尾为所述热点度最低的热点数据。
基于上述实施例，作为优选的实施例，还可以包括：
老化处理模块，用于当所述热点队列满载时，将所述热点队列队尾的热点数据移至老化队列，并将所述老化队列中各热点数据的热点标记变更为热点老化标记。
进一步的，该老化处理模块可以包括：
老化处理单元，用于获取所述热点数据单位周期内的访问次数；根据预设公式计算所述热点数据的老化参数；判断所述热点数据的老化参数与单位周期内访问次数之差是否小于剔除阈值；若否，则将所述热点数据从所述集群本地存储中移除；
其中，所述预设公式为：
Figure BDA0002601137840000091
其中，D＝t-t1，β为老化参数，D为时间访问间隔，t为当前时间，t1为所述热点数据的热点标记时间，δ为预设衰减因子，T为单位周期。
基于上述实施例，作为优选的实施例，还包括：
数据检索模块，用于判断所述读操作对应的热点数据是否均位于所述集群本地存储中；若否，从所述集群本地存储中获取所述请求数据的第一部分数据，从磁盘获取所述请求数据的第二部分数据；将所述第一部分数据和所述第二部分数据合并后返回至所述读操作的请求方。
基于上述实施例，作为优选的实施例，缓存模块400包括：
确认单元，用于确认包括所述热点标记的热点数据所在的块对象ID；
缓存单元，用于将所述热点数据和对应的块对象ID缓存至集群本地存储。
本申请还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请还提供了一种服务器，可以包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然所述服务器还可以包括各种网络接口，电源等组件。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例提供的系统而言，由于其与实施例提供的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种热点数据缓存方法，其特征在于，包括：
接收读写请求，并确认所述读写请求对应请求数据；
所述请求数据的访问次数加一，并根据当前访问次数判断所述请求数据是否为热点数据；
若是，将所述热点数据添加至热点队列，并为所述热点队列中的热点数据添加热点标记；
将所述热点队列中的热点数据缓存至集群本地存储。
2.根据权利要求1所述的热点数据缓存方法，其特征在于，根据当前访问次数判断所述请求数据是否为热点数据包括：
根据当前访问次数利用最近最少使用策略判断所述请求数据是否为热点数据。
3.根据权利要求1所述的热点数据缓存方法，其特征在于，将所述热点数据添加至热点队列之后，还包括：
根据所述热点队列中各所述热点数据的热点度进行排序；
其中，所述热点队列的队尾为所述热点度最低的热点数据。
4.根据权利要求3所述的热点数据缓存方法，其特征在于，当所述热点队列满载，将所述热点数据添加至热点队列时包括：
将所述热点队列队尾的热点数据移至老化队列后，将所述热点数据添至所述热点队列；
将所述老化队列中各热点数据的热点标记变更为热点老化标记。
5.根据权利要求4所述的热点数据缓存方法，其特征在于，并将所述老化队列中各热点数据的热点标记变更为热点老化标记之后，还包括：
获取所述热点数据单位周期内的访问次数；
根据预设公式计算所述热点数据的老化参数；
判断所述热点数据的老化参数与单位周期内访问次数之差是否小于剔除阈值；
若否，则将所述热点数据从所述集群本地存储中移除；
其中，所述预设公式为：
Figure FDA0002601137830000021
其中，D＝t-t1，β为老化参数，D为时间访问间隔，t为当前时间，t1为所述热点标记的标记时间，δ为预设衰减因子，T为单位周期。
6.根据权利要求1所述的热点数据缓存方法，其特征在于，当接收到热点数据的读操作请求时，还包括：
判断所述读操作对应的热点数据是否均位于所述集群本地存储中；
若否，从所述集群本地存储中获取所述请求数据的第一部分数据，从磁盘获取所述请求数据的第二部分数据；
将所述第一部分数据和所述第二部分数据合并后返回至所述读操作的请求方。
7.根据权利要求1所述的热点数据缓存方法，其特征在于，将所述热点队列中的热点数据缓存至集群本地存储包括：
确认包括所述热点标记的热点数据所在的块对象ID；
将所述热点数据和对应的块对象ID缓存至集群本地存储。
8.一种热点数据缓存系统，其特征在于，包括：
接收模块，用于接收读写请求，并确认所述读写请求对应请求数据；
判断模块，用于所述请求数据的访问次数加一，并根据当前访问次数判断所述请求数据是否为热点数据；
热点标记模块，用于所述判断模块的判断结果为是时，将所述热点数据添加至热点队列；
缓存模块，用于为所述热点队列中的热点数据添加热点标记，将所述热点队列中的热点数据缓存至集群本地存储。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的方法的步骤。
10.一种服务器，其特征在于，包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如权利要求1-7任一项所述的方法的步骤。
CN202010724366.9A 2020-07-24 2020-07-24 一种热点数据缓存方法、系统及相关装置 Withdrawn CN111857597A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010724366.9A CN111857597A (zh) 2020-07-24 2020-07-24 一种热点数据缓存方法、系统及相关装置
PCT/CN2021/076978 WO2022016861A1 (zh) 2020-07-24 2021-02-20 一种热点数据缓存方法、系统及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010724366.9A CN111857597A (zh) 2020-07-24 2020-07-24 一种热点数据缓存方法、系统及相关装置

Publications (1)

Publication Number Publication Date
CN111857597A true CN111857597A (zh) 2020-10-30

Family

ID=72950077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010724366.9A Withdrawn CN111857597A (zh) 2020-07-24 2020-07-24 一种热点数据缓存方法、系统及相关装置

Country Status (2)

Country Link
CN (1) CN111857597A (zh)
WO (1) WO2022016861A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112269837A (zh) * 2020-11-17 2021-01-26 珠海大横琴科技发展有限公司 一种数据处理的方法和装置
CN112732190A (zh) * 2021-01-07 2021-04-30 苏州浪潮智能科技有限公司 一种数据存储结构优化的方法、系统及介质
CN113687781A (zh) * 2021-07-30 2021-11-23 济南浪潮数据技术有限公司 一种热数据的上拉方法、装置、设备及介质
CN113727128A (zh) * 2021-08-31 2021-11-30 上海哔哩哔哩科技有限公司 热点流量处理方法及系统
WO2022016861A1 (zh) * 2020-07-24 2022-01-27 浪潮电子信息产业股份有限公司 一种热点数据缓存方法、系统及相关装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115996227A (zh) * 2022-12-23 2023-04-21 中国联合网络通信集团有限公司 数据共享方法、装置、系统、服务器及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109120709A (zh) * 2018-09-03 2019-01-01 杭州云创共享网络科技有限公司 一种缓存方法、装置、设备及介质
CN111125247A (zh) * 2019-12-06 2020-05-08 北京浪潮数据技术有限公司 一种redis客户端缓存方法、装置、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103177005B (zh) * 2011-12-21 2016-08-03 深圳市腾讯计算机系统有限公司 一种数据访问的处理方法和系统
WO2018113580A1 (zh) * 2016-12-19 2018-06-28 腾讯科技（深圳）有限公司 一种数据管理方法及服务器
CN109992597A (zh) * 2019-03-11 2019-07-09 福建天泉教育科技有限公司 一种热点数据的存储方法及终端
CN111857597A (zh) * 2020-07-24 2020-10-30 浪潮电子信息产业股份有限公司 一种热点数据缓存方法、系统及相关装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109120709A (zh) * 2018-09-03 2019-01-01 杭州云创共享网络科技有限公司 一种缓存方法、装置、设备及介质
CN111125247A (zh) * 2019-12-06 2020-05-08 北京浪潮数据技术有限公司 一种redis客户端缓存方法、装置、设备及存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022016861A1 (zh) * 2020-07-24 2022-01-27 浪潮电子信息产业股份有限公司 一种热点数据缓存方法、系统及相关装置
CN112269837A (zh) * 2020-11-17 2021-01-26 珠海大横琴科技发展有限公司 一种数据处理的方法和装置
CN112732190A (zh) * 2021-01-07 2021-04-30 苏州浪潮智能科技有限公司 一种数据存储结构优化的方法、系统及介质
CN112732190B (zh) * 2021-01-07 2023-01-10 苏州浪潮智能科技有限公司 一种数据存储结构优化的方法、系统及介质
CN113687781A (zh) * 2021-07-30 2021-11-23 济南浪潮数据技术有限公司 一种热数据的上拉方法、装置、设备及介质
CN113727128A (zh) * 2021-08-31 2021-11-30 上海哔哩哔哩科技有限公司 热点流量处理方法及系统

Also Published As

Publication number Publication date
WO2022016861A1 (zh) 2022-01-27

Similar Documents

Publication Publication Date Title
CN111857597A (zh) 一种热点数据缓存方法、系统及相关装置
CN109614377B (zh) 分布式文件系统的文件删除方法、装置、设备及存储介质
US8583756B2 (en) Dynamic configuration and self-tuning of inter-nodal communication resources in a database management system
CN110018899B (zh) 回收内存的方法及装置
CN107341114B (zh) 一种目录管理的方法、节点控制器和系统
US11681447B2 (en) Method, device and computer program product of balance of storage space for file system
EP3958122A1 (en) Memory management method, apparatus, and system
CN102063338A (zh) 一种请求独占资源的方法及装置
CN111309644B (zh) 一种内存分配方法、装置和计算机可读存储介质
CN111737168A (zh) 一种缓存系统、缓存处理方法、装置、设备及介质
CN113094183B (zh) Ai训练平台的训练任务创建方法、装置、系统及介质
CN110727517A (zh) 一种基于分区设计的内存分配方法和装置
CN112148690A (zh) 一种文件缓存方法、文件访问请求处理方法及装置
CN114827145A (zh) 服务器集群系统、元数据的访问方法及装置
CN113687781A (zh) 一种热数据的上拉方法、装置、设备及介质
CN110245129B (zh) 一种分布式全局数据去重方法和装置
CN113961378B (zh) 基于共享内存的进程间通信方法、装置及电子设备
EP3249539B1 (en) Method and device for accessing data visitor directory in multi-core system
CN109977074B (zh) 一种基于hdfs的lob数据处理方法及装置
CN114327862B (zh) 一种内存分配方法、装置、电子设备及存储介质
CN111143288A (zh) 一种数据存储方法、系统及相关装置
CN107196962B (zh) 一种用户访问控制方法及系统
CN116431327B (zh) 一种任务限流处理方法及堡垒机
CN116414620A (zh) 一种数据备份方法、系统、装置及电子设备
CN115408098A (zh) 一种资源调度方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20201030