CN111124270B - 缓存管理的方法、设备和计算机程序产品 - Google Patents

缓存管理的方法、设备和计算机程序产品 Download PDF

Info

Publication number
CN111124270B
CN111124270B CN201811291308.0A CN201811291308A CN111124270B CN 111124270 B CN111124270 B CN 111124270B CN 201811291308 A CN201811291308 A CN 201811291308A CN 111124270 B CN111124270 B CN 111124270B
Authority
CN
China
Prior art keywords
cache page
cache
target
page
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811291308.0A
Other languages
English (en)
Other versions
CN111124270A (zh
Inventor
张明
吕烁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EMC Corp
Original Assignee
EMC IP Holding Co LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EMC IP Holding Co LLC filed Critical EMC IP Holding Co LLC
Priority to CN201811291308.0A priority Critical patent/CN111124270B/zh
Priority to US16/585,607 priority patent/US11210228B2/en
Publication of CN111124270A publication Critical patent/CN111124270A/zh
Application granted granted Critical
Publication of CN111124270B publication Critical patent/CN111124270B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0877—Cache access modes
    • G06F12/0882—Page mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0804—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches with main memory updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/023—Free address space management
    • G06F12/0238—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory
    • G06F12/0246—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory in block erasable memory, e.g. flash memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0864—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches using pseudo-associative means, e.g. set-associative or hashing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/12—Replacement control
    • G06F12/121—Replacement control using replacement algorithms
    • G06F12/123—Replacement control using replacement algorithms with age lists, e.g. queue, most recently used [MRU] list or least recently used [LRU] list
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0866—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches for peripheral storage systems, e.g. disk cache
    • G06F12/0871—Allocation or management of cache space

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本公开的实施例涉及用于缓存管理的方法、设备和计算机程序产品。该方法包括：获取缓存中待冲刷的第一缓存页，第一缓存页与存储设备中的目标存储块相关联；从缓存中确定待冲刷的目标缓存页集合，目标缓存页集合中的每个缓存页与目标存储块相关联；以及将第一缓存页中的数据和目标缓存页集合中各缓存页中的数据同时写入到目标存储块中。

Description

缓存管理的方法、设备和计算机程序产品
技术领域
本公开的实施例涉及存储技术领域，并且更具体地，涉及缓存管理的方法、设备和计算机程序产品。
背景技术
随着数据存储技术的发展，各种数据存储设备已经能够向用户提供越来越高的数据存储能力，并且数据访问速度也有了很大程度的提高。在提高数据存储能力的同时，用户对于数据可靠性和存储系统的响应时间也提出了越来越高的需求。
目前，已经开发出了基于具有不同访问速度的多级存储介质来建立存储系统的技术方案。例如，可以将被频繁使用的数据从具有较低访问速度的存储设备加载至具有较高访问速度的缓存设备中，进而由该缓存设备来响应于来自存储系统外部的访问请求。此技术方案可以一定程度上提高对于访问请求的响应效率。因而，如何有效管理缓存设备以提高效率成为一个关注焦点。
发明内容
本公开的实施例提供一种缓存管理的方案。
根据本公开的第一方面，提出了一种缓存管理的方法。该方法包括：获取缓存中待冲刷的第一缓存页，第一缓存页与存储设备中的目标存储块相关联；从缓存中确定待冲刷的目标缓存页集合，目标缓存页集合中的每个缓存页与目标存储块相关联；以及将第一缓存页中的数据和目标缓存页集合中各缓存页中的数据同时写入到目标存储块中。
根据本公开的第二方面，提出了一种用于缓存管理的设备。该设备包括：至少一个处理单元；至少一个存储器，该至少一个存储器被耦合到该至少一个处理单元并且存储用于由该至少一个处理单元执行的指令，该指令当由该至少一个处理单元执行时，使得该设备执行动作，该动作包括：获取缓存中待冲刷的第一缓存页，第一缓存页与存储设备中的目标存储块相关联；从缓存中确定待冲刷的目标缓存页集合，目标缓存页集合中的每个缓存页与目标存储块相关联；以及将第一缓存页中的数据和目标缓存页集合中各缓存页中的数据同时写入到目标存储块中。
在本公开的第三方面，提供了一种计算机程序产品。该计算机程序产品被存储在非瞬态计算机存储介质中并且包括机器可执行指令，该机器可执行指令在设备中运行时使该设备执行根据本公开的第一方面所描述的方法的任意步骤。
提供发明内容部分是为了以简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的关键特征或必要特征，也无意限制本公开的范围。
附图说明
通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施例中，相同的参考标号通常代表相同部件。
图1图示了本公开实施例可以在其中执行的存储系统的架构图；
图2图示了根据本公开实施例的缓存管理的方法的流程图；
图3图示了根据本公开实施例的多核缓存管理架构的示意图；
图4图示了根据本公开实施例的确定目标缓存页集合的方法的流程图；
图5图示了根据本公开实施例的确定候选缓存页集合的示意图；
图6图示了根据本公开实施例的确定候选缓存页列表集合的方法的流程图；以及
图7图示了可以用来实施本公开内容的实施例的示例设备的示意性框图。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
如上文所述，已经开发出了基于具有不同访问速度的多级存储介质来建立存储系统的技术方案。图1示出了本公开实施例可以在其中执行的存储系统100。如图1所示，存储系统100可以包括缓存110和存储设备130，其中缓存110包括多个缓存页面120-1至120-10(统称为或单独称为缓存页面120)，存储设备140可以包括多个存储块140。
在一些情况中，缓存110中的最小单元可能与存储设备130中的最小单元大小不同。例如，在一个示例中，缓存110中可处理的最小单元为单个缓存页120(例如，8KB)，存储设备140中可处理的最小单元为单个存储块140(例如，64KB)。在这种情形下，在将缓存110中的数据冲刷到存储设备130的过程中，可能出现由于最小单元大小不一致导致的性能下降。例如，当需要将8KB的缓存页面120-1中数据写入到64KB的存储块140中时，虽然仅需要修改8KB数据，但需要锁定整个64KB大小的存储块140，从而影响冲刷的性能。相反，例如缓存页面120-5和120-7都与存储块140相关联，且指向不同的8KB地址，此时存在同时冲刷缓存页面120-1、120-5和120-7的可能性。
根据本公开的实施例，提出了一种用于缓存的方案。在该方案中，获取缓存中待冲刷的第一缓存页，其中第一缓存页与存储设备中的目标存储块相关联。随后可以从缓存中确定待冲刷的目标缓存页集合，其中目标缓存页集合中的每个缓存页与目标存储块相关联。由于目标缓存页均与同一目标存储块相关联，随后将第一缓存页中的数据和目标缓存页集合中各缓存页中的数据同时写入到目标存储块中。基于这样的方式，可以充分利用不同缓存页冲刷的并行性，从而提高缓存的效率。
图2图示了根据本公开实施例的缓存管理的方法200的流程图。方法200可以被由存储系统100中的缓存110实施。以下将结合图1所示的存储系统100来描述方法200中所涉及的动作。
在框202，缓存110获取缓存中待冲刷的缓存页(为了方便描述，成为第一缓存页)，第一缓存页与存储设备130中的目标存储块相关联。以图1作为示例，缓存110可以获取待冲刷的缓存页120-1，其与目标存储块140相关联。
在一些实施例中，方法200还可以考虑多核的场景。例如，图3示出了根据本公开实施例的多核缓存管理架构300。如图3所示，在架构300中设置了同步列表310和写入列表340，其中同步列表310可以包括与不同处理器核相关联的先进先出FIFO队列312、314、316和318。其中每个FIFO队列可以包括按时间排列的多个页302，其中页302包括与写入到缓存110中的各个请求相关联的缓存页地址，以指示相对应的缓存页，因此，在本文中“页”和“缓存页”可以互换地使用，FIFO队列可以理解为由缓存页构成的集合。
此外，架构300还设置了写入队列340，该写入请求340可以包括与各个处理器相关联的先进先出FIFO队列342、344、346和348，其中每个FIFO队列可以包括与该处理器核相关联的按时间排序的多个页304。不同处理器核的插入线程352、354、356和358新写入的数据将被添加到与各处理核相关联的FIFO队列的尾部。在一些实施例中，缓存110可以定时地将写入列表340中的各个页添加到同步列表310中的对应队列中。在一些实施例中，当缓存110中的可用页面不足，缓存110也可以主动地将写入列表340中的各个页添加到同步列表310中的对应队列中，从而主动地释放被使用的缓存页。
在如图3所示的多核的场景下，缓存110可以从多个FIFO队列312、314、316和318中的多个页中确定时间戳最早的页(例如，页302)，并确定由该页302中的缓存页地址所指示的缓存页，从而保证多核FIFO队列优先选择需要被冲刷的最早的缓存页。在一些实施例中，架构300可以包括调度堆320，其是由多个FIFO队列312、314、316和318中的最早页按照时间顺序构建堆结构，基于该调度堆320，缓存110可以获取调度堆320中的堆首页(例如，页302)，并确定由该页302中的缓存页地址所指示的缓存页。基于这样的防水，缓存110可以更为快速地确定多个FIFO队列中待冲刷的最早的缓存页。
继续参考图2，在框204，缓存110从缓存110中确定待冲刷的目标缓存页集合，目标缓存页集合中的每个缓存页与目标存储块相关联。在一些实施例中，每个缓存页120记录有相关联的目标存储块的信息，缓存110可以遍历缓存页120以确定同样与目标存储块140相关联的目标缓存页结合。对于图1的一般场景，缓存110可以从多个缓存页中确定待冲刷缓存页集合(缓存页120-5和缓存页120-7)。
以下将结合图4至图6描述在多核场景中如何确定目标缓存页集合。图4示出了根据本公开实施例的确定目标缓存页集合的方法400的流程图。
在框402，基于与多个处理器核相关联的多个待冲刷缓存页列表中的特定缓存页，缓存110从多个待冲刷缓存页列表中确定候选缓存页列表集合。在一些实施例中，特定缓存页可以是待冲刷缓存页列表中的列表中第一个缓存页，最后一个缓存页，或者列表中随机抽取的缓存页。缓存110可以根据这些特定缓存页是否与目标存储块相关联而确定是否将该列表添加到候选缓存页列表集合，从而可以减少寻找目标缓存页的计算量。在一些实施例中，缓存110还可以考虑需要优先写入时间更早的缓存页，此时特定缓存页可以是待冲刷缓存页列表中最早的缓存页。
在一些实施例中，如图3所示，与不同的处理器核相关联的多个待重构刷缓存页列表可以被构建为与不同处理器核相关联的多个FIFO队列312、314、316和318。图5图示了根据本公开实施例的确定候选缓存页集合的示意图500，图6图示了根据本公开实施例的确定候选缓存页列表集合的方法600的流程图。
在一些实施例中，如图5所示，调度堆510可以包括多个节点512-1至512-10(统称为或单独称为节点512)，每个节点512可以与不同的处理器核相关联，并且具有相对应的FIFO队列532-1至532-10(统称为或单独称为FIFO队列532)。多个节点512按照其对应的FIFO队列532的队首的页的时间戳按序排列，并根据在堆中的顺序按需存储在堆数组520中。如图5所示，例如节点512-1可以与FIFO队列532-1相关联，并且页532-1具有最早的时间戳，因此其对应的缓存页即为待冲刷的缓存页。以下将结合图6描下确定候选缓存页列表集合的方法600。
在框602，缓存110获取多个待冲刷缓存列表中的第一待冲刷缓存页列表中修改时间最早的缓存页(为了方便，下文称为第二缓存页)。在一些实施例中，如图5所示，待重构刷缓存列表被组织成多个FIFO队列530，因此各FIFO队列530中修改时间最早的缓存页即为FIFO队列530队首的页。在一些实施例中，待冲刷缓存列表也可以被组织成带有时间戳的其他数据结构，缓存110可以在待冲刷缓存列表中确定具有最早的时间戳的缓存页。
在框604，缓存110确定第二缓存页是否与目标存储块相关联。在一些实施例中，缓存110可以根据第二缓存页所对应的存储块的地址来确定第二缓存页是否与目标存储块相关联。在一些实施例中，缓存110可以按照调度堆510的顺序依次判断调度堆510中的各个节点512是否与目标存储块相关联。如图5所示，缓存110可以确定节点512-3、节点512-4、节点512-8、节点512-9和节点512-10与目标存储块相关联。
响应于在框604确定第二缓存页与目标存储块相关联，则方法600进行到框606，即将第一待冲刷缓存页列表添加到候选缓存页列表集合。在一些实施例中，如图5所示，当缓存110确定调度堆510中的节点512-3、节点512-4、节点512-8、节点512-9和节点512-10与目标存储块相关联后，缓存110可以将与这些节点相对应的FIFO队列(532-3、532-4、532-8、532-9和532-10)添加到候选缓存列表集合。
继续参考图4，在框404，缓存110从候选缓存页列表集合中确定与目标存储块相关联的至少一个缓存页，以作为目标缓存页集合。在一些实施例中，缓存110可以遍历缓存页列表中的全部缓存页来确定与目标存储块相关联的缓存页，以作为目标缓存页集合。
在一些实施例中，进一步为了优先考虑先写入的缓存页，缓存110也可以按照列表的顺序依次确定第二缓存页列表中的缓存页与目标存储块的相关性直至发现不相关的缓存页，并将其中与存储块相关联的缓存页添加到目标缓存页集合。具体地，在图5的示例中，以FIFO队列532-1作为示例，缓存110可以依次查找列表中的下一个缓存页是否与目标存储块相关联，例如，缓存110可以确定页534-2与目标存储块相关联，而页534-3与目标存储块无关。基于页534-3与目标存储块无关，缓存110可以停止确定下一个页534-4是否与目标存储块相关，并完成对FIFO队列532-1的检查。在一些实施例中，不同的FIFO队列的处理可以由对应的处理器核并行地执行。基于类似的方式，缓存110可以从候选缓存页列表集合中确定多个与目标存储块相关联的缓存页(如图5中的左划线所示的多个页)以作为可以与页534-1一起被写入到存储设备的目标缓存页集合。
在一些实施例中，在确定目标缓存页集合后，缓存110可以将各个FIFO队列532的新的队首也作为节点按照时间戳的顺序形成新的调度堆，并选择该调度堆中的堆首节点作为下一个待重构刷的新的页。
在一些实施例中，如图5所示，缓存110还可以利用去重位图430来聚合第一缓存页以及目标缓存页集合。具体地，如图5所示，去重位图540中的包括一个或多个位542-1至542-8(统称为或单独称为位542)，其中每个位542表示目标存储块中对应的存储空间是否需要被修改。例如，每个542可以表示8KB大小，从而与单个缓存页中的大小一致。如图5所示，位524-7指示从FIFO队列532-9中确定的两个缓存页与相同的位相对应，因此只需要执行一次刷新；位542-5指示不需要对目标存储块中的对应存储空间进行修改。基于这样的方式，可以避免根据写入请求重复地多次刷新同一个目标地址的数据。
在一些实施例中，如图2所示，架构300还可以包括哈希桶330。哈希桶330包括多个桶332，每个桶的索引值可以为文件系统的编号以及目标存储空间的范围作为哈希索引的键值，也即相同的文件系统中相同存储空间将被映射到同一个桶中。在一些实施例中，可以尽可能让哈希桶330中桶的数目足够大，从而减少不同存储空间对于相同桶的竞争。在这种情况下，也可以利用哈希桶330来确定目标缓存页集合。
在一些实施例中，缓存110可以基于目标存储块，从哈希桶中确定与目标存储块相关联的待冲刷缓存页列表，哈希桶存储与不同的存储空间相对应的待冲刷缓存页列表。如图3所示，缓存110可以从哈希桶330中确定出与待重刷缓存页相对应的桶332。随后，缓存110可以从待冲刷缓存页列表中确定与目标存储块相关联的至少一个缓存页，以作为目标缓存页集合。具体地，缓存110可以遍历桶332中的全部缓存页，从而确定出与目标存储块相关联的缓存页。基于这样的方式，缓存110利用较大的开销可以获得更多的与目标存储块相关联的目标刷缓存页。
在一些实施例中，缓存110也可以将以上两种聚合方式进行结合，即首先确定基于不同FIFO列表的聚合所获得的目标缓存页集合中的页的数目是否达到了预定阈值。在确定该数目未达到预定阈值的情况下，缓存110再执行利用哈希桶的聚合过程。通过这种二级聚合的方式，缓存110可以尽可能地使用计算消耗更小的基于FIFO列表的聚合来获取可以一起冲刷的缓存页，避免由聚合导致的过高的消耗。此外，缓存110可以在基于FIFO列表的聚合无法获得足够的可聚合缓存页的情况下，采用消耗相对更大的基于哈希桶的聚合方式来保证有足够的可聚合的缓存页，从而提高缓存冲刷的效率。
继续参考图2，在框206，缓存110将第一缓存页中的数据和目标缓存页集合中各缓存页中的数据同时写入到目标存储块中。继续图1的示例，由于缓存页120-5和缓存页120-7均与目标存储块140相关联，因此缓存110可以同时将缓存页120-1、缓存页120-5和缓存页120-7的数据同时写入到目标存储块140，从而减轻由于缓存110的最小单元与存储设备130的最小单元之间的差异而带来的影响，提高缓存的效率。类似地，在图3和图5所示的示例中，缓存110可以将第一缓存页中的数据与目标缓存页集合中至少一个缓存页中的数据一起写入到目标存储块中，从而避免对单个目标存储块的多次写入和锁定。
基于以上的方式，本公开的方案既可以解决缓存最小单元与存储设备最小单元尺寸不一致的问题，提高缓存冲刷的效率，此外该方案还更为适配多核的缓存冲刷的架构，减少对于同步FIFO队列的冲突，进而提高对缓存页聚合的效率。
图7示出了可以用来实施本公开内容的实施例的示例设备700的示意性框图。例如，如图1所示的存储系统100中执行管理功能的计算设备可以由设备700来实施。如图所示，设备700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的计算机程序指令或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序指令，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。CPU 701、ROM702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的各个过程和处理，例如方法200、方法400和/或方法600，可由处理单元701执行。例如，在一些实施例中，方法200、方法400和/或方法600可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序被加载到RAM 703并由CPU 701执行时，可以执行上文描述的方法200、方法400和/或方法600的一个或多个动作。
本公开可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施方式，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施方式。在不偏离所说明的各实施方式的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施方式的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文披露的各实施方式。

Claims (12)

1.一种缓存管理的方法，包括：
获取所述缓存中待冲刷的第一缓存页，所述第一缓存页与存储设备中的目标存储块相关联；
从所述缓存中确定待冲刷的目标缓存页集合，所述目标缓存页集合中的每个缓存页与所述目标存储块相关联；以及
将所述第一缓存页中的数据和所述目标缓存页集合中各缓存页中的数据同时写入到所述目标存储块中；并且
其中确定所述目标缓存页集合包括：
基于与多个处理器核相关联的多个待冲刷缓存页列表中的特定缓存页，从所述多个待冲刷缓存页列表中确定候选缓存页列表集合；以及
从所述候选缓存页列表集合中确定与所述目标存储块相关联的至少一个缓存页，以作为所述目标缓存页集合；并且
其中确定所述候选缓存页列表集合包括：
获取所述多个待冲刷缓存页列表中的第一待冲刷缓存页列表中修改时间最早的第二缓存页；
确定所述第二缓存页是否与所述目标存储块相关联；以及
响应于确定所述第二缓存页与所述目标存储块相关联，将所述第一待冲刷缓存页列表添加到所述候选缓存页列表集合。
2.根据权利要求1所述的方法，其中所述待冲刷缓存页列表为先进先出FIFO队列，其中所述特定缓存页为位于所述FIFO队列中队首的起始缓存页，
其中确定所述候选缓存页列表集合包括从所述多个待冲刷缓存页列表中确定一个或多个候选缓存页列表，所述候选缓存页列表的所述起始缓存页与所述目标存储块相关联。
3.根据权利要求2所述的方法，其中从所述候选缓存页列表集合中确定所述至少一个缓存页包括：
对于所述候选缓存页列表集合中的第二缓存页列表，按照列表的顺序依次确定所述第二缓存页列表中的缓存页与所述目标存储块的相关性直至发现不相关的缓存页；以及
将与所述目标存储块相关的缓存页添加到所述目标缓存页集合。
4.根据权利要求1所述的方法，其中确定待冲刷的目标缓存页集合包括：
基于所述目标存储块，从哈希桶中确定与所述目标存储块相关联的待冲刷缓存页列表，所述哈希桶存储与不同的存储空间相对应的待冲刷缓存页列表；
从所述待冲刷缓存页列表中确定与所述目标存储块相关联的至少一个缓存页，以作为所述目标缓存页集合。
5.一种用于缓存管理的设备，包括：
至少一个处理单元；
至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令当由所述至少一个处理单元执行时，使得所述设备执行动作，所述动作包括：
获取所述缓存中待冲刷的第一缓存页，所述第一缓存页与存储设备中的目标存储块相关联；
从所述缓存中确定待冲刷的目标缓存页集合，所述目标缓存页集合中的每个缓存页与所述目标存储块相关联；以及
将所述第一缓存页中的数据和所述目标缓存页集合中各缓存页中的数据同时写入到所述目标存储块中；
其中确定所述目标缓存页集合包括：
基于与多个处理器核相关联的多个待冲刷缓存页列表中的特定缓存页，从所述多个待冲刷缓存页列表中确定候选缓存页列表集合；以及
从所述候选缓存页列表集合中确定与所述目标存储块相关联的至少一个缓存页，以作为所述目标缓存页集合；并且
其中确定所述候选缓存页列表集合包括：
获取所述多个待冲刷缓存页列表中的第一待冲刷缓存页列表中修改时间最早的第二缓存页；
确定所述第二缓存页是否与所述目标存储块相关联；以及
响应于确定所述第二缓存页与所述目标存储块相关联，将所述第一待冲刷缓存页列表添加到所述候选缓存页列表集合。
6.根据权利要求5所述的设备，其中所述待冲刷缓存页列表为先进先出FIFO队列，其中所述特定缓存页为位于所述FIFO队列中队首的起始缓存页，
其中确定所述候选缓存页列表集合包括从所述多个待冲刷缓存页列表中确定一个或多个候选缓存页列表，所述候选缓存页列表的所述起始缓存页与所述目标存储块相关联。
7.根据权利要求6所述的设备，其中从所述候选缓存页列表集合中确定所述至少一个缓存页包括：
对于所述候选缓存页列表集合中的第二缓存页列表，按照列表的顺序依次确定所述第二缓存页列表中的缓存页与所述目标存储块的相关性直至发现不相关的缓存页；以及
将与所述目标存储块相关的缓存页添加到所述目标缓存页集合。
8.根据权利要求5所述的设备，其中确定待冲刷的目标缓存页集合包括：
基于所述目标存储块，从哈希桶中确定与所述目标存储块相关联的待冲刷缓存页列表，所述哈希桶存储与不同的存储空间相对应的待冲刷缓存页列表；
从所述待冲刷缓存页列表中确定与所述目标存储块相关联的至少一个缓存页，以作为所述目标缓存页集合。
9.一种计算机可读存储介质，存储有机器可执行指令，所述机器可执行指令在设备中运行时使所述设备执行动作，所述动作包括：
获取缓存中待冲刷的第一缓存页，所述第一缓存页与存储设备中的目标存储块相关联；
从所述缓存中确定待冲刷的目标缓存页集合，所述目标缓存页集合中的每个缓存页与所述目标存储块相关联；以及
将所述第一缓存页中的数据和所述目标缓存页集合中各缓存页中的数据同时写入到所述目标存储块中；并且
其中确定所述目标缓存页集合包括：
基于与多个处理器核相关联的多个待冲刷缓存页列表中的特定缓存页，从所述多个待冲刷缓存页列表中确定候选缓存页列表集合；以及
从所述候选缓存页列表集合中确定与所述目标存储块相关联的至少一个缓存页，以作为所述目标缓存页集合；并且
其中确定所述候选缓存页列表集合包括：
获取所述多个待冲刷缓存页列表中的第一待冲刷缓存页列表中修改时间最早的第二缓存页；
确定所述第二缓存页是否与所述目标存储块相关联；以及
响应于确定所述第二缓存页与所述目标存储块相关联，将所述第一待冲刷缓存页列表添加到所述候选缓存页列表集合。
10.根据权利要求9所述的计算机可读存储介质，其中所述待冲刷缓存页列表为先进先出FIFO队列，其中所述特定缓存页为位于所述FIFO队列中队首的起始缓存页，
其中确定所述候选缓存页列表集合包括从所述多个待冲刷缓存页列表中确定一个或多个候选缓存页列表，所述候选缓存页列表的所述起始缓存页与所述目标存储块相关联。
11.根据权利要求10所述的计算机可读存储介质，其中从所述候选缓存页列表集合中确定所述至少一个缓存页包括：
对于所述候选缓存页列表集合中的第二缓存页列表，按照列表的顺序依次确定所述第二缓存页列表中的缓存页与所述目标存储块的相关性直至发现不相关的缓存页；以及
将与所述目标存储块相关的缓存页添加到所述目标缓存页集合。
12.根据权利要求9所述的计算机可读存储介质，其中确定待冲刷的目标缓存页集合包括：
基于所述目标存储块，从哈希桶中确定与所述目标存储块相关联的待冲刷缓存页列表，所述哈希桶存储与不同的存储空间相对应的待冲刷缓存页列表；
从所述待冲刷缓存页列表中确定与所述目标存储块相关联的至少一个缓存页，以作为所述目标缓存页集合。
CN201811291308.0A 2018-10-31 2018-10-31 缓存管理的方法、设备和计算机程序产品 Active CN111124270B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811291308.0A CN111124270B (zh) 2018-10-31 2018-10-31 缓存管理的方法、设备和计算机程序产品
US16/585,607 US11210228B2 (en) 2018-10-31 2019-09-27 Method, device and computer program product for cache management

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811291308.0A CN111124270B (zh) 2018-10-31 2018-10-31 缓存管理的方法、设备和计算机程序产品

Publications (2)

Publication Number Publication Date
CN111124270A CN111124270A (zh) 2020-05-08
CN111124270B true CN111124270B (zh) 2023-10-27

Family

ID=70327130

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811291308.0A Active CN111124270B (zh) 2018-10-31 2018-10-31 缓存管理的方法、设备和计算机程序产品

Country Status (2)

Country Link
US (1) US11210228B2 (zh)
CN (1) CN111124270B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110413210B (zh) 2018-04-28 2023-05-30 伊姆西Ip控股有限责任公司 用于处理数据的方法、设备和计算机程序产品
US11163449B2 (en) 2019-10-17 2021-11-02 EMC IP Holding Company LLC Adaptive ingest throttling in layered storage systems
CN112822494A (zh) * 2020-12-30 2021-05-18 稿定（厦门）科技有限公司 双缓冲编码系统及其控制方法
US11663080B1 (en) 2022-01-20 2023-05-30 Dell Products L.P. Techniques for performing live rebuild in storage systems that operate a direct write mode
US20240134801A1 (en) * 2022-10-19 2024-04-25 Samsung Electronics Co., Ltd. Methods and system for efficient access to solid state drive
CN116340214B (zh) * 2023-02-28 2024-01-02 中科驭数（北京）科技有限公司 缓存数据存读方法、装置、设备和介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105814549A (zh) * 2014-10-08 2016-07-27 上海兆芯集成电路有限公司 具有主高速缓存器和溢出fifo高速缓存器的高速缓存器系统
CN108228482A (zh) * 2016-12-21 2018-06-29 伊姆西Ip控股有限责任公司 用于管理存储系统中的缓存设备的方法和系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8327076B2 (en) 2009-05-13 2012-12-04 Seagate Technology Llc Systems and methods of tiered caching
US8516219B2 (en) 2009-07-24 2013-08-20 Apple Inc. Index cache tree
US8688894B2 (en) 2009-09-03 2014-04-01 Pioneer Chip Technology Ltd. Page based management of flash storage
JP5434738B2 (ja) 2010-03-26 2014-03-05 日本電気株式会社 ディスク装置
WO2012166050A1 (en) * 2011-05-30 2012-12-06 Agency For Science, Technology And Research Buffer management apparatus and method
US9213633B2 (en) 2013-04-30 2015-12-15 Seagate Technology Llc Flash translation layer with lower write amplification
US10108552B2 (en) * 2015-08-21 2018-10-23 International Business Machines Corporation Using cache lists for processors to determine tracks to demote from a cache
US20180173637A1 (en) * 2016-12-21 2018-06-21 Intel Corporation Efficient memory aware cache management
US11561906B2 (en) * 2017-12-12 2023-01-24 Advanced Micro Devices, Inc. Rinsing cache lines from a common memory page to memory

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105814549A (zh) * 2014-10-08 2016-07-27 上海兆芯集成电路有限公司 具有主高速缓存器和溢出fifo高速缓存器的高速缓存器系统
CN108228482A (zh) * 2016-12-21 2018-06-29 伊姆西Ip控股有限责任公司 用于管理存储系统中的缓存设备的方法和系统

Also Published As

Publication number Publication date
US20200133870A1 (en) 2020-04-30
CN111124270A (zh) 2020-05-08
US11210228B2 (en) 2021-12-28

Similar Documents

Publication Publication Date Title
CN111124270B (zh) 缓存管理的方法、设备和计算机程序产品
US10705974B2 (en) Data processing method and NVME storage device
CN109213694B (zh) 用于缓存管理的方法和设备
CN111124267B (zh) 数据写入的方法、设备和计算机程序产品
CN110109915B (zh) 用于管理哈希表的方法、设备和计算机程序产品
US10649905B2 (en) Method and apparatus for storing data
US11586388B2 (en) Method, device, and computer program product for managing storage system
CN110765036B (zh) 在控制设备处管理元数据的方法和设备
CN110119304B (zh) 一种中断处理方法、装置及服务器
CN111857539B (zh) 用于管理存储系统的方法、设备和计算机可读介质
US11032371B2 (en) Data migration using read function triggers
CN109213691B (zh) 用于缓存管理的方法和设备
CN112764662B (zh) 用于存储管理的方法、设备和计算机程序产品
CN111857556B (zh) 管理存储对象的元数据的方法、装置和计算机程序产品
WO2023040348A1 (zh) 分布式系统中数据处理的方法以及相关系统
CN116226151A (zh) 一种数据存储、读取和删除的方法和装置
CN116303126A (zh) 缓存、数据的处理方法及电子设备
US11663127B2 (en) Method, electronic device and computer program product for managing storage system
CN111213130B (zh) 基于分散位置的去重的性能改进
CN110109879B (zh) 在多核系统中冲刷元数据的方法、设备和计算机可读介质
CN113051244A (zh) 数据访问方法和装置、数据获取方法和装置
WO2018188416A1 (zh) 一种数据搜索的方法、装置和相关设备
US20240028519A1 (en) Data processing method, electronic device and computer program product
US11941074B2 (en) Fetching a query result using a query filter
US20230128416A1 (en) Method, electronic device, and computer program product for flushing data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant