CN115167778A - 存储的管理方法、系统及服务器 - Google Patents

存储的管理方法、系统及服务器 Download PDF

Info

Publication number
CN115167778A
CN115167778A CN202210891254.1A CN202210891254A CN115167778A CN 115167778 A CN115167778 A CN 115167778A CN 202210891254 A CN202210891254 A CN 202210891254A CN 115167778 A CN115167778 A CN 115167778A
Authority
CN
China
Prior art keywords
data
area
read
write request
access frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210891254.1A
Other languages
English (en)
Inventor
张云浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Inspur Data Technology Co Ltd
Original Assignee
Jinan Inspur Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Inspur Data Technology Co Ltd filed Critical Jinan Inspur Data Technology Co Ltd
Priority to CN202210891254.1A priority Critical patent/CN115167778A/zh
Publication of CN115167778A publication Critical patent/CN115167778A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本发明公开了一种存储的管理方法、系统及服务器，应用于存储领域，将数据按照访问频次依次存储至缓存中对应的区域，存储访问频次最低的数据的区域与存储器连接。在读写请求发生时，以访问频次由高至低的顺序从缓存的区域中查找读写请求访问的数据；在缓存中无读写请求访问的数据时，从存储器中查找读写请求的数据。将数据按照访问频次存放，同时访问顺序以访问频次由高至低的顺序，使得在读写请求进行的过程中，缩短读写请求的时间。

Description

存储的管理方法、系统及服务器
技术领域
本发明涉及存储领域，特别是涉及一种存储的管理方法、系统及服务器。
背景技术
分布式存储是一种通过网络容纳管理多个存储节点，通过运行在服务器上的软件管理将所有节点的存储统一提供给客户端的存储技术，分布式存储技术已经是较为成熟的技术，因为其扩展性强，可靠性高等有点已经在众多商业系统中有广泛应用。但在性能方面，分布式存储相较于传统的存储并无优势，存储容量较大，但存储性能差，存储性能包括每秒能处理的读写操作。
发明内容
本发明的目的是提供一种存储的管理方法、系统及服务器，将数据按照访问频次存放，同时访问顺序以访问频次由高至低的顺序，使得在读写请求进行的过程中，缩短读写请求的时间。
为解决上述技术问题，本发明提供了一种存储的管理方法，包括：
将数据按照访问频次依次存储至缓存中对应的区域，存储所述访问频次最低的数据的区域与存储器连接；
在读写请求发生时，以访问频次由高至低的顺序从所述缓存的区域中查找所述读写请求访问的数据；
在所述缓存中无所述读写请求访问的数据时，从所述存储器中查找所述读写请求的数据。
优选的，将数据按照访问频次依次存储至缓存中对应的区域，存储所述访问频次最低的数据的区域与存储器连接之前，还包括：
将所述服务器的缓存划分为一个待淘汰数据区域及若干个访问数据区域，所述待淘汰数据区域与所述存储器连接，所述待淘汰数据区域中存储访问频次最低的数据。
优选的，在读写请求发生时，以访问频次由高至低的顺序从所述缓存的区域中查找所述读写请求访问的数据之后，还包括：
在所述读写请求访问的数据在所述访问数据区域时，且所述数据在预设时间内的访问次数达到预设次数，将所述数据拉入所处访问频次等级的上一个等级的区域的头部；
在所述读写请求访问的数据在所述待淘汰数据区域时，且所述数据在预设时间的访问次数达到预设次数，将所述数据拉入最低访问频次的所述访问数据区域的头部；
在所述读写请求访问的数据在所述存储器中时，将所述数据拉入所述待淘汰数据区域。
优选的，在读写请求发生时，以访问频次由高至低的顺序从所述缓存的区域中查找所述读写请求访问的数据之后，还包括：
在所述读写请求访问的数据在所述访问数据区域时，且所述数据在预设时间的访问次数未达到预设次数，将所述数据调整至所处区域的头部；
在所述读写请求访问的数据在所述待淘汰数据区域时，且所述数据在预设时间的访问次数未达到预设次数，不改变所述数据的位置。
优选的，将每个等级的数据依次存储至所述缓存中对应的区域，包括：
将所述数据以双向链表的形式存储至所述缓存中对应的区域；
建立哈希表存储所述数据的哈希值及所述数据的位置的对应关系；
从所述缓存的区域中查找所述读写请求访问的数据，包括：
获取所述数据的哈希值，根据所述数据的哈希值及所述数据的位置的对应关系从所述缓存的区域中查找所述读写请求访问的数据。
优选的，还包括：
在所述缓存的使用率达到第一阈值时，将所述缓存中的各个区域的尾端的数据下刷至下一等级的访问频次的区域中；存储所述访问频次最低的数据的区域不进行数据下刷；
在所述缓存的使用率低于第一阈值时，停止下刷所述数据。
优选的，还包括：
在所述缓存的使用率达到第二阈值时，删除存储所述访问频次最低的数据的区域的尾端数据，所述第二阈值大于所述第一阈值；
在所述缓存的使用率低于第二阈值时，停止删除所述数据。
优选的，删除存储所述访问频次最低的数据的区域的尾端数据，包括：
在所述数据为被写操作过的数据时，将所述数据保存至所述存储器后再删除。
为解决上述技术问题，本发明还提供了一种存储的管理系统，包括：
存储单元，用于将数据按照访问频次依次存储至缓存中对应的区域，存储所述访问频次最低的数据的区域与存储器连接；
查找单元，用于在读写请求发生时，以访问频次由高至低的顺序从所述缓存的区域中查找所述读写请求访问的数据；在所述缓存中无所述读写请求访问的数据时，从所述存储器中查找所述读写请求的数据。
为解决上述技术问题，本发明还提供了一种服务器，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现上述存储的管理方法的步骤。
本申请提供了一种存储的管理方法、系统及服务器，应用于存储领域，将数据按照访问频次依次存储至缓存中对应的区域，存储访问频次最低的数据的区域与存储器连接。在读写请求发生时，以访问频次由高至低的顺序从缓存的区域中查找读写请求访问的数据；在缓存中无读写请求访问的数据时，从存储器中查找读写请求的数据。将数据按照访问频次存放，同时访问顺序以访问频次由高至低的顺序，使得在读写请求进行的过程中，缩短读写请求的时间。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种存储的管理方法的流程图；
图2为本发明提供的一种缓存与存储器的结构示意图；
图3为本发明提供的一种数据转移的示意图；
图4为本发明提供的另一种数据转移的示意图；
图5为本发明提供的另一种数据转移的示意图；
图6为本发明提供的另一种数据转移的示意图；
图7为本发明提供的一种数据存放的示意图；
图8为本发明提供的一种存储的管理系统的结构示意图；
图9为本发明提供的一种服务器的结构示意图。
具体实施方式
本发明的核心是提供一种存储的管理方法、系统及服务器，将数据按照访问频次存放，同时访问顺序以访问频次由高至低的顺序，使得在读写请求进行的过程中，缩短读写请求的时间。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明提供的一种存储的管理方法的流程图，该存储的管理方法，包括：
S11：将数据按照访问频次依次存储至缓存中对应的区域，存储访问频次最低的数据的区域与存储器连接；
分布式存储是一种通过网络容纳管理多个存储节点，通过运行在服务器上的软件管理将所有节点的存储统一提供给客户端的存储技术，分布式存储技术已经是较为成熟的技术，因为其扩展性强，可靠性高等有点已经在众多商业系统中有广泛应用。但在性能方面，分布式存储相较于传统的存储并无优势，存储容量较大，但存储性能差，存储性能包括每秒能处理的读写操作。
为改善存储性能，在每个分布式存储节点增加缓存，将数据按照访问的频次存储至缓存中，由于缓存的读写性能比存储强，所以提高了读写速度，使得分布式存储的性能更好。
具体的，为每个分布式存储节点加入一块或多块SSD(Solid State Drives，固态硬盘)或NVME(Non-Volatile Memory express，非易失性存储器)作为缓存。
S12：在读写请求发生时，以访问频次由高至低的顺序从缓存的区域中查找读写请求访问的数据；
S13：在缓存中无读写请求访问的数据时，从存储器中查找读写请求的数据。
在读写请求发生时，读写请求需要访问的数据的位置不确定，需要从该分布式存储节点中寻找。将数据按照访问频次存储至缓存中，具体的，由高至低排列，存储访问频次最低的数据的区域与存储器连接。所以在查找数据时，从访问频次最高的区域开始查找，在缓存中没有速写请求需要访问的数据时，从存储器中查找读写请求的数据。
综上，本申请提供了一种存储的管理方法，应用于存储领域，将数据按照访问频次依次存储至缓存中对应的区域，存储访问频次最低的数据的区域与存储器连接。在读写请求发生时，以访问频次由高至低的顺序从缓存的区域中查找读写请求访问的数据；在缓存中无读写请求访问的数据时，从存储器中查找读写请求的数据。将数据按照访问频次存放，同时访问顺序以访问频次由高至低的顺序，使得在读写请求进行的过程中，缩短读写请求的时间。
在上述实施例的基础上：
图2为本发明提供的一种缓存与存储器的结构示意图；
作为一种优选的实施例，将数据按照访问频次依次存储至缓存中对应的区域，存储访问频次最低的数据的区域与存储器连接之前，还包括：
将服务器的缓存划分为一个待淘汰数据区域及若干个访问数据区域，待淘汰数据区域与存储器连接，待淘汰数据区域中存储访问频次最低的数据。
缓存中划分的区域由上至下的访问频次为由高至低，具体的将缓存划分为三个区域，访问频次最高的访问数据区域为热数据区域，访问频次较高的访问数据区域为预热数据区域，访问频次最低的为待淘汰数据区域，待淘汰数据区域与存储器连接。
需要说明的是，数据可以在相邻的区域转移，热数据区域中的数据可以转移至预热数据区域，预热数据区域中的数据可以转移至热数据区域以及待淘汰数据区域，待淘汰数据区域中的数据可以转移至预设数据区域及存储器，存储器中的数据可以转移至待淘汰数据区域。
此外，划分的区域包括但不限于三个，只需要将存储访问频次最低的数据的区域与存储器连接即可，本申请在此处不做过多限定。
通过将数据按照访问频次划分为多个等级后存储至缓存的空间中，使得在读写请求访问数据时可以更加快捷的寻找数据。
作为一种优选的实施例，在读写请求发生时，以访问频次由高至低的顺序从缓存的区域中查找读写请求访问的数据之后，还包括：
在读写请求访问的数据在访问数据区域时，且数据在预设时间内的访问次数达到预设次数，将数据拉入所处访问频次等级的上一个等级的区域的头部；
在读写请求访问的数据在待淘汰数据区域时，且数据在预设时间的访问次数达到预设次数，将数据拉入最低访问频次的访问数据区域的头部；
在读写请求访问的数据在存储器中时，将数据拉入待淘汰数据区域。
请参照图3，图3为本发明提供的一种数据转移的示意图；待淘汰数据区域中存放的数据为A、B及C，预热数据区域中存放的数据为D、E及F，热数据区域中存放的数据为H、I及J。
当读写请求访问的数据X不在缓存中，而是在存储器中，则将数据X从存储器中拉入待淘汰数据区域，并将数据X保存至待淘汰数据区域的头部。
请参照图4，图4为本发明提供的另一种数据转移的示意图；待淘汰数据区域中存放的数据为X、A、B及C，预热数据区域中存放的数据为D、E及F，热数据区域中存放的数据为H、I及J。
当读写请求访问的数据X在待淘汰数据区域中时，且在预设时间内被访问了K次，则将数据X拉入预设数据区域的头部。
请参照图5，图5为本发明提供的另一种数据转移的示意图；待淘汰数据区域中存放的数据为A、B及C，预热数据区域中存放的数据为X、D、E及F，热数据区域中存放的数据为H、I及J。
当读写请求访问的数据X在预热数据区域中时，且在预设时间内被访问了K次，则将数据X拉入热数据区域的头部。
需要说明的是，预设时间及K的具体数值根据实际需要进行设置即可，本申请在此处不做过多限定。
在预设时间内数据被访问了预设次数后，即可将数据转移位置，拉入访问频次更高的区域，不断地调整数据的位置，便于后续对数据的访问，提高对数据的访问速度。
作为一种优选的实施例，在读写请求发生时，以访问频次由高至低的顺序从缓存的区域中查找读写请求访问的数据之后，还包括：
在读写请求访问的数据在访问数据区域时，且数据在预设时间的访问次数未达到预设次数，将数据调整至所处区域的头部；
在读写请求访问的数据在待淘汰数据区域时，且数据在预设时间的访问次数未达到预设次数，不改变数据的位置。
请参照图6，图6为本发明提供的另一种数据转移的示意图；待淘汰数据区域中存放的数据为A、B及C，预热数据区域中存放的数据为D、E及F，热数据区域中存放的数据为H、I及J。
当读写请求访问的数据F在预热数据区域中时，且在预设时间内未被访问了K次，则将数据F拉至热数据区域的头部。
需要说明的是，待淘汰数据区域为FIFO(First Input First Output，先入先出队列)，预热数据区域及热数据区域为LRU(Least Recently Used，最近最少使用)。所以待淘汰数据区域中的数据被访问且预设时间未达到预设次数时不调整位置，预热数据区域及热数据区域中的数据被访问且预设时间未达到预设次数时将其调整至区域的头部。
通过对待淘汰数据区域、预设数据区域及热数据区域的队列设置，使得数据的位置更加便于提高读取速度。
作为一种优选的实施例，将每个等级的数据依次存储至缓存中对应的区域，包括：
将数据以双向链表的形式存储至缓存中对应的区域；
建立哈希表存储数据的哈希值及数据的位置的对应关系；
从缓存的区域中查找读写请求访问的数据，包括：
获取数据的哈希值，根据数据的哈希值及数据的位置的对应关系从缓存的区域中查找读写请求访问的数据。
考虑到数据以双向链表的方式存储至缓存中，但是双向链表中的数据在查找的过程中仅能从数据头至数据尾或从数据尾至数据头，在查找的过程中会浪费较多时间。
请参照图7，图7为本发明提供的一种数据存放的示意图；哈希表中存放数据的哈希值以及指针。
数据1的哈希值为key2，数据2的哈希值为key3，数据3的哈希值为key1，在搜索。在访问数据2时，计算数据2的哈希值，得到key3，根据key3对应的指针，即可搜索到数据2。
通过哈希表以及双向链表，数据的索引变得更加方便快捷，数据的处理速度更快。
作为一种优选的实施例，还包括：
在缓存的使用率达到第一阈值时，将缓存中的各个区域的尾端的数据下刷至下一等级的访问频次的区域中；存储访问频次最低的数据的区域不进行数据下刷；
在缓存的使用率低于第一阈值时，停止下刷数据。
考虑到缓存的容量达到第一阈值时，会影响数据的处理速度，所以需要将数据进行下刷。
具体的，热数据区域将尾部数据下刷至预热数据区域的头部，预热数据区域将尾部数据下刷至待淘汰数据区域，待淘汰数据区域不进行数据下刷。数据下刷会持续进行，直至缓存的使用率低于第一阈值。
需要说明的是，第一阈值为50％，此时缓存可以维持正常工作，无需进行数据的淘汰，仅需要减少热数据区域和与热数据区域的数据即可。第一阈值的具体数值本申请在此处不做过多限定。
作为一种优选的实施例，还包括：
在缓存的使用率达到第二阈值时，删除存储访问频次最低的数据的区域的尾端数据，第二阈值大于第一阈值；
在缓存的使用率低于第二阈值时，停止删除数据。
考虑到缓存的容量达到第二阈值时，缓存的容量即将被占满，容易使得未在缓存中的数据访问时间过长，导致存储性能下降，所以在缓存的容量达到第二阈值时，需要进行数据删除。
具体的，待淘汰数据区域的尾部数据开始进行删除，直至缓存的容量低于第二阈值停止。
需要说明的是，第二阈值为80％。第二阈值的具体数值本申请在此处不做过多限定。
作为一种优选的实施例，删除存储访问频次最低的数据的区域的尾端数据，包括：
在数据为被写操作过的数据时，将数据保存至存储器后再删除。
考虑到写操作只在缓存中进行，所以待淘汰数据中的部分数据可能被写操作过，为了保证数据不丢失，需要将数据保存至存储器之后再删除。
将进行过写操作的数据保存至存储器后再删除，可以使得数据不丢失，保证了数据一致性。
图8为本发明提供的一种存储的管理系统的结构示意图，该存储的管理系统包括：
存储单元81，用于将数据按照访问频次依次存储至缓存中对应的区域，存储访问频次最低的数据的区域与存储器连接；
查找单元82，用于在读写请求发生时，以访问频次由高至低的顺序从缓存的区域中查找读写请求访问的数据；在缓存中无读写请求访问的数据时，从存储器中查找读写请求的数据。
分布式存储是一种通过网络容纳管理多个存储节点，通过运行在服务器上的软件管理将所有节点的存储统一提供给客户端的存储技术，分布式存储技术已经是较为成熟的技术，因为其扩展性强，可靠性高等有点已经在众多商业系统中有广泛应用。但在性能方面，分布式存储相较于传统的存储并无优势，存储容量较大，但存储性能差，存储性能包括每秒能处理的读写操作。
为改善存储性能，在每个分布式存储节点增加缓存，将数据按照访问的频次存储至缓存中，由于缓存的读写性能比存储强，所以提高了读写速度，是的分布式存储的性能更好。
具体的，为每个分布式存储节点加入一块或多块SSD(Solid State Drives，固态硬盘)或NVME(Non-Volatile Memory express，非易失性存储器)作为缓存。
在读写请求发生时，读写请求需要访问的数据的位置不确定，需要从该分布式存储节点中寻找。将数据按照访问频次存储至缓存中，具体的，由高至低排列，存储访问频次最低的数据的区域与存储器连接。所以在查找数据时，从访问频次最高的区域开始查找，在缓存中没有速写请求需要访问的数据时，从存储器中查找读写请求的数据。
本申请提供的一种存储的管理系统还包括：
划分单元，用于将服务器的缓存划分为一个待淘汰数据区域及若干个访问数据区域，待淘汰数据区域与存储器连接，待淘汰数据区域中存储访问频次最低的数据；
数据转移单元，用于在读写请求访问的数据在访问数据区域时，且数据在预设时间内的访问次数达到预设次数，将数据拉入所处访问频次等级的上一个等级的区域的头部；
在读写请求访问的数据在待淘汰数据区域时，且数据在预设时间的访问次数达到预设次数，将数据拉入最低访问频次的访问数据区域的头部；
在读写请求访问的数据在存储器中时，将数据拉入待淘汰数据区域；
在读写请求访问的数据在访问数据区域时，且数据在预设时间的访问次数未达到预设次数，将数据调整至所处区域的头部；
在读写请求访问的数据在待淘汰数据区域时，且数据在预设时间的访问次数未达到预设次数，不改变数据的位置；
存储单元，用于将数据以双向链表的形式存储至缓存中对应的区域；
建立哈希表存储数据的哈希值及数据的位置的对应关系；
从缓存的区域中查找读写请求访问的数据，包括：
获取数据的哈希值，根据数据的哈希值及数据的位置的对应关系从缓存的区域中查找读写请求访问的数据；
数据下刷单元，用于在缓存的使用率达到第一阈值时，将缓存中的各个区域的尾端的数据下刷至下一等级的访问频次的区域中；存储访问频次最低的数据的区域不进行数据下刷；
在缓存的使用率低于第一阈值时，停止下刷数据；
数据删除单元，用于在缓存的使用率达到第二阈值时，删除存储访问频次最低的数据的区域的尾端数据，第二阈值大于第一阈值；
在缓存的使用率低于第二阈值时，停止删除数据；
在数据为被写操作过的数据时，将数据保存至存储器后再删除。
综上，本申请提供了一种存储的管理系统，应用于存储领域，将数据按照访问频次依次存储至缓存中对应的区域，存储访问频次最低的数据的区域与存储器连接。在读写请求发生时，以访问频次由高至低的顺序从缓存的区域中查找读写请求访问的数据；在缓存中无读写请求访问的数据时，从存储器中查找读写请求的数据。将数据按照访问频次存放，同时访问顺序以访问频次由高至低的顺序，使得在读写请求进行的过程中，缩短读写请求的时间。
本申请提供的存储的管理系统的介绍请参照上述实施例，在此处不再赘述。
图9为本发明提供的一种服务器的结构示意图，该服务器包括：
存储器91，用于存储计算机程序；
处理器92，用于执行计算机程序时实现上述存储的管理方法的步骤。
具体的，处理器执行的步骤如下：
将数据按照访问频次依次存储至缓存中对应的区域，存储所述访问频次最低的数据的区域与存储器连接；
在读写请求发生时，以访问频次由高至低的顺序从所述缓存的区域中查找所述读写请求访问的数据；
在所述缓存中无所述读写请求访问的数据时，从所述存储器中查找所述读写请求的数据。
将数据按照访问频次依次存储至缓存中对应的区域，存储所述访问频次最低的数据的区域与存储器连接之前，还包括：
将所述服务器的缓存划分为一个待淘汰数据区域及若干个访问数据区域，所述待淘汰数据区域与所述存储器连接，所述待淘汰数据区域中存储访问频次最低的数据。
在读写请求发生时，以访问频次由高至低的顺序从所述缓存的区域中查找所述读写请求访问的数据之后，还包括：
在所述读写请求访问的数据在所述访问数据区域时，且所述数据在预设时间内的访问次数达到预设次数，将所述数据拉入所处访问频次等级的上一个等级的区域的头部；
在所述读写请求访问的数据在所述待淘汰数据区域时，且所述数据在预设时间的访问次数达到预设次数，将所述数据拉入最低访问频次的所述访问数据区域的头部；
在所述读写请求访问的数据在所述存储器中时，将所述数据拉入所述待淘汰数据区域。
在读写请求发生时，以访问频次由高至低的顺序从所述缓存的区域中查找所述读写请求访问的数据之后，还包括：
在所述读写请求访问的数据在所述访问数据区域时，且所述数据在预设时间的访问次数未达到预设次数，将所述数据调整至所处区域的头部；
在所述读写请求访问的数据在所述待淘汰数据区域时，且所述数据在预设时间的访问次数未达到预设次数，不改变所述数据的位置。
将每个等级的数据依次存储至所述缓存中对应的区域，包括：
将所述数据以双向链表的形式存储至所述缓存中对应的区域；
建立哈希表存储所述数据的哈希值及所述数据的位置的对应关系；
从所述缓存的区域中查找所述读写请求访问的数据，包括：
获取所述数据的哈希值，根据所述数据的哈希值及所述数据的位置的对应关系从所述缓存的区域中查找所述读写请求访问的数据。
还包括：
在所述缓存的使用率达到第一阈值时，将所述缓存中的各个区域的尾端的数据下刷至下一等级的访问频次的区域中；存储所述访问频次最低的数据的区域不进行数据下刷；
在所述缓存的使用率低于第一阈值时，停止下刷所述数据。
还包括：
在所述缓存的使用率达到第二阈值时，删除存储所述访问频次最低的数据的区域的尾端数据，所述第二阈值大于所述第一阈值；
在所述缓存的使用率低于第二阈值时，停止删除所述数据。
删除存储所述访问频次最低的数据的区域的尾端数据，包括：
在所述数据为被写操作过的数据时，将所述数据保存至所述存储器后再删除。
本申请提供的服务器的介绍请参照上述实施例，在此处不再赘述。
本申请提供了一种服务器，应用于存储领域，将数据按照访问频次依次存储至缓存中对应的区域，存储访问频次最低的数据的区域与存储器连接。在读写请求发生时，以访问频次由高至低的顺序从缓存的区域中查找读写请求访问的数据；在缓存中无读写请求访问的数据时，从存储器中查找读写请求的数据。将数据按照访问频次存放，同时访问顺序以访问频次由高至低的顺序，使得在读写请求进行的过程中，缩短读写请求的时间。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种存储的管理方法，其特征在于，包括：
将数据按照访问频次依次存储至缓存中对应的区域，存储所述访问频次最低的数据的区域与存储器连接；
在读写请求发生时，以访问频次由高至低的顺序从所述缓存的区域中查找所述读写请求访问的数据；
在所述缓存中无所述读写请求访问的数据时，从所述存储器中查找所述读写请求的数据。
2.如权利要求1所述的存储的管理方法，其特征在于，将数据按照访问频次依次存储至缓存中对应的区域，存储所述访问频次最低的数据的区域与存储器连接之前，还包括：
将所述服务器的缓存划分为一个待淘汰数据区域及若干个访问数据区域，所述待淘汰数据区域与所述存储器连接，所述待淘汰数据区域中存储访问频次最低的数据。
3.如权利要求2所述的存储的管理方法，其特征在于，在读写请求发生时，以访问频次由高至低的顺序从所述缓存的区域中查找所述读写请求访问的数据之后，还包括：
在所述读写请求访问的数据在所述访问数据区域时，且所述数据在预设时间内的访问次数达到预设次数，将所述数据拉入所处访问频次等级的上一个等级的区域的头部；
在所述读写请求访问的数据在所述待淘汰数据区域时，且所述数据在预设时间的访问次数达到预设次数，将所述数据拉入最低访问频次的所述访问数据区域的头部；
在所述读写请求访问的数据在所述存储器中时，将所述数据拉入所述待淘汰数据区域。
4.如权利要求3所述的存储的管理方法，其特征在于，在读写请求发生时，以访问频次由高至低的顺序从所述缓存的区域中查找所述读写请求访问的数据之后，还包括：
在所述读写请求访问的数据在所述访问数据区域时，且所述数据在预设时间的访问次数未达到预设次数，将所述数据调整至所处区域的头部；
在所述读写请求访问的数据在所述待淘汰数据区域时，且所述数据在预设时间的访问次数未达到预设次数，不改变所述数据的位置。
5.如权利要求1所述的存储的管理方法，其特征在于，将每个等级的数据依次存储至所述缓存中对应的区域，包括：
将所述数据以双向链表的形式存储至所述缓存中对应的区域；
建立哈希表存储所述数据的哈希值及所述数据的位置的对应关系；
从所述缓存的区域中查找所述读写请求访问的数据，包括：
获取所述数据的哈希值，根据所述数据的哈希值及所述数据的位置的对应关系从所述缓存的区域中查找所述读写请求访问的数据。
6.如权利要求1至5任一项所述的存储的管理方法，其特征在于，还包括：
在所述缓存的使用率达到第一阈值时，将所述缓存中的各个区域的尾端的数据下刷至下一等级的访问频次的区域中；存储所述访问频次最低的数据的区域不进行数据下刷；
在所述缓存的使用率低于第一阈值时，停止下刷所述数据。
7.如权利要求6所述的存储的管理方法，其特征在于，还包括：
在所述缓存的使用率达到第二阈值时，删除存储所述访问频次最低的数据的区域的尾端数据，所述第二阈值大于所述第一阈值；
在所述缓存的使用率低于第二阈值时，停止删除所述数据。
8.如权利要求6所述的存储的管理方法，其特征在于，删除存储所述访问频次最低的数据的区域的尾端数据，包括：
在所述数据为被写操作过的数据时，将所述数据保存至所述存储器后再删除。
9.一种存储的管理系统，其特征在于，包括：
存储单元，用于将数据按照访问频次依次存储至缓存中对应的区域，存储所述访问频次最低的数据的区域与存储器连接；
查找单元，用于在读写请求发生时，以访问频次由高至低的顺序从所述缓存的区域中查找所述读写请求访问的数据；在所述缓存中无所述读写请求访问的数据时，从所述存储器中查找所述读写请求的数据。
10.一种服务器，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至8任一项所述存储的管理方法的步骤。
CN202210891254.1A 2022-07-27 2022-07-27 存储的管理方法、系统及服务器 Pending CN115167778A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210891254.1A CN115167778A (zh) 2022-07-27 2022-07-27 存储的管理方法、系统及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210891254.1A CN115167778A (zh) 2022-07-27 2022-07-27 存储的管理方法、系统及服务器

Publications (1)

Publication Number Publication Date
CN115167778A true CN115167778A (zh) 2022-10-11

Family

ID=83496312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210891254.1A Pending CN115167778A (zh) 2022-07-27 2022-07-27 存储的管理方法、系统及服务器

Country Status (1)

Country Link
CN (1) CN115167778A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116560585A (zh) * 2023-07-05 2023-08-08 支付宝(杭州)信息技术有限公司 一种数据分级存储方法和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116560585A (zh) * 2023-07-05 2023-08-08 支付宝(杭州)信息技术有限公司 一种数据分级存储方法和系统
CN116560585B (zh) * 2023-07-05 2024-04-09 支付宝(杭州)信息技术有限公司 一种数据分级存储方法和系统

Similar Documents

Publication Publication Date Title
US11853549B2 (en) Index storage in shingled magnetic recording (SMR) storage system with non-shingled region
US6490666B1 (en) Buffering data in a hierarchical data storage environment
US8868831B2 (en) Caching data between a database server and a storage system
JP2910985B2 (ja) キャッシュ管理方法
CN110555001B (zh) 数据处理方法、装置、终端及介质
CN109800185B (zh) 一种数据存储系统中的数据缓存方法
CN107888687B (zh) 一种基于分布式存储系统的代理客户端存储加速方法及系统
JP2021501389A (ja) データ階層記憶及び階層探索方法及び装置
WO2017113213A1 (zh) 访问请求处理方法、装置及计算机系统
US20130290636A1 (en) Managing memory
CN108089825B (zh) 一种基于分布式集群的存储系统
US11347711B2 (en) Sparse infrastructure for tracking ad-hoc operation timestamps
WO2020125630A1 (zh) 文件读取
CN111159176A (zh) 一种海量流数据的存储和读取的方法和系统
CN112632069A (zh) 哈希表数据存储管理方法、装置、介质和电子设备
CN113360098A (zh) 一种数据写入方法、装置、系统、电子设备及存储介质
US10210067B1 (en) Space accounting in presence of data storage pre-mapper
US10289345B1 (en) Contention and metadata write amplification reduction in log structured data storage mapping
CN115167778A (zh) 存储的管理方法、系统及服务器
CN113094392A (zh) 数据缓存的方法和装置
US8732404B2 (en) Method and apparatus for managing buffer cache to perform page replacement by using reference time information regarding time at which page is referred to
CN110413689B (zh) 一种内存数据库的多节点数据同步方法与装置
CN112463073A (zh) 一种对象存储分布式配额方法、系统、设备和存储介质
CN115878625A (zh) 数据处理方法和装置及电子设备
JPH07239808A (ja) 分散データ管理方式

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination