CN113448877A - 用于数据存储的方法、设备和计算机程序 - Google Patents

用于数据存储的方法、设备和计算机程序 Download PDF

Info

Publication number
CN113448877A
CN113448877A CN202010225026.1A CN202010225026A CN113448877A CN 113448877 A CN113448877 A CN 113448877A CN 202010225026 A CN202010225026 A CN 202010225026A CN 113448877 A CN113448877 A CN 113448877A
Authority
CN
China
Prior art keywords
stream
metadata
data
selecting
streams
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010225026.1A
Other languages
English (en)
Inventor
吕烁
张雷虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EMC Corp
Original Assignee
EMC IP Holding Co LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EMC IP Holding Co LLC filed Critical EMC IP Holding Co LLC
Priority to CN202010225026.1A priority Critical patent/CN113448877A/zh
Priority to US17/025,306 priority patent/US11709596B2/en
Publication of CN113448877A publication Critical patent/CN113448877A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0616—Improving the reliability of storage systems in relation to life time, e.g. increasing Mean Time Between Failures [MTBF]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/023—Free address space management
    • G06F12/0253—Garbage collection, i.e. reclamation of unreferenced memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/023—Free address space management
    • G06F12/0238—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory
    • G06F12/0246—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory in block erasable memory, e.g. flash memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/72—Details relating to flash memory management
    • G06F2212/7201—Logical to physical mapping or translation of blocks or pages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/72—Details relating to flash memory management
    • G06F2212/7205—Cleaning, compaction, garbage collection, erase control

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开的实施例涉及用于数据存储的方法、设备和计算机程序。该方法包括：从具有各自的更新频率的多个流中选择一个流，所选择的流所具有的更新频率与待写入数据的更新频率相匹配；基于所选择的流的标签，确定所述数据的标签；以及向存储系统发送针对所述数据的写请求，所述写请求包括所述数据的标签，使得所述存储系统基于所述标签所标识的流来执行针对所述数据的写操作。根据本公开的实施例，可以降低写放大因子，从而增加存储设备的有效寿命并提升存储系统的读写性能。

Description

用于数据存储的方法、设备和计算机程序
技术领域
本公开的实施例一般地涉及存储系统，并且更特别地涉及用于数据存储的方法、设备和计算机程序。
背景技术
随着对读写性能的要求越来越高，NAND闪存等固态存储设备(SSD)得到了广泛的应用。然而，SSD中通常存在写放大的问题，导致SSD的寿命受到影响。另外，还需要对SSD进行垃圾收集(GC)操作，这将带来额外的开销，从而降低系统性能。这种问题也可能存在于SSD之外的其他类型的存储设备中。
发明内容
本公开的实施例提供了一种用于数据存储的方法、设备、计算机可读存储介质和计算机程序产品。
在第一方面，提供了一种用于数据存储的方法。所述方法包括：从具有各自的更新频率的多个流中选择一个流，所选择的流所具有的更新频率与待写入数据的更新频率相匹配；基于所选择的流的标签，确定所述数据的标签；以及向存储系统发送针对所述数据的写请求，所述写请求包括所述数据的标签，使得所述存储系统基于所述标签所标识的流来执行针对所述数据的写操作。
在第二方面，提供了一种电子设备。所述电子设备包括：处理器；以及存储器，耦合至所述处理器并且包括存储于其上的指令，所述指令在由所述处理器执行时使所述电子设备执行动作，所述动作包括：从具有各自的更新频率的多个流中选择一个流，所选择的流所具有的更新频率与待写入数据的更新频率相匹配；基于所选择的流的标签，确定所述数据的标签；以及向存储系统发送针对所述数据的写请求，所述写请求包括所述数据的标签，使得所述存储系统基于所述标签所标识的流来执行针对所述数据的写操作。
在第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有机器可执行指令，当所述机器可执行指令在被至少一个处理器执行时，使得所述至少一个处理器实现根据第一方面所述的方法。
在第四方面，提供了一种计算机程序产品，所述计算机程序产品被存储在计算机可读介质上并且包括机器可执行指令，所述机器可执行指令在被执行时使机器执行根据第一方面所述的方法。
在第五方面，提供了一种计算机程序，所述计算机程序在被至少一个处理器执行时，使得所述至少一个处理器实现执行根据第一方面所述的方法。
提供发明内容部分是为了以简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的关键特征或主要特征，也无意限制本公开的范围。
附图说明
通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显，其中，在本公开示例性实施例中，相同的参考标号通常代表相同部件。
图1示出了在存储系统中执行常规写操作的示意性框图；
图2示出了在存储系统中执行多流写操作的示意性框图；
图3示出了根据本公开的一些实施例的用于数据存储的方法的流程图；以及
图4示出了根据本公开的一些实施例的可以用来实施本公开的实施例的示例设备的示意性框图。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
仅仅为了方便描述，本公开的某些实施例将在SDD环境中加以描述。然而应当理解的是，这无意以任何方式限制本公开的范围。在此描述的原理和思想可以适用于目前已知或者将来开发的其他适当技术或环境。
如上所述，SSD中存在写放大的问题。现在将对这一问题进行详细说明。SSD中写操作的单元为页面，页面的大小通常为2-64KB。NAND闪存在对页面进行写操作之前，必须对页面执行擦除操作。然而，擦除操作的单元为块，一个块通常包含32-256个页面。
由于擦除操作相对耗时，因而在对某个页面进行修改操作时，通常将修改的数据直接写入一个新的已经擦除过的页面，而将原来的旧的页面设置为无效状态，此时该页面的修改操作就算完成了。之后SSD的闪存转换层(FTL)会执行垃圾回收(GC)算法，回收处于无效状态的页面。
FTL需要对无效页面执行擦除操作以回收这些无效页面，而擦除操作的单位为块，一个块中包含多个页面，其中既包含无效页面，同时也包含有效页面。因而当FTL需要回收块A中的无效页面时，就必须先将块A中的有效页面先拷贝到其他新的块(例如块B)中，并将块A中的有效页面设置为无效状态，此时块A中的所有页面均为无效状态，FTL可以安全地对块A执行擦除操作。
在以上操作过程中，FTL需要对回收的块中的有效页面进行额外的拷贝操作，从而使得设备实际执行的IO数目大于用户提交的IO数目，这一特性称为“写放大”。
在诸如SSD等技术中，使用“写放大因子”(WAF)来描述这一特性，该参数的值被设置为提交给闪存的写操作数目与来自主机的写操作数目的比。由于FTL需要对有效页面进行额外的拷贝操作，WAF参数的值通常大于1。
WAF参数会影响SSD的寿命。一般而言，WAF的值越大，SSD的实际有效寿命越短。另外，WAF参数还会影响SSD读写操作的性能，垃圾回收操作通常在后台运行，因而当负载较轻时，垃圾回收操作一般不会对读写操作造成影响；然而当负载较重时，写操作需要等待垃圾回收算法释放空闲页面，从而降低写性能；同时读操作会与垃圾回收操作并行运行而竞争资源，从而增大读延时。
图1示出了在存储系统中执行常规写操作的示意性框图。在该示例中，假设当前存在两种数据热数据(H)和冷数据(C)，其中热数据比冷数据更新更加频繁。换言之，热数据的生命周期比冷数据的生命周期要短。
在常规SSD FTL实现中，操作系统向SSD提交写操作请求后，FTL会将操作系统提交的数据依次写入可用的块中。例如，图1所示，操作系统提交写操作序列101，包括H1、C1、H2、C2、C3、H3、H4、C4。FTL将这些数据依次写到块102、块103中(假设一个块包含4个页面)。
然后，操作系统提交写操作序列104，对热数据H1、H2、H3、H4进行修改时，必须将修改后的数据写到块107中，并将块102中的H1、H2页面，块103中的H3、H4页面设置为无效，表示为块105和106。然后，当垃圾收集需要回收块105、106(即，块102、103)时，需要对其中的有效页面C1、C2、C3、C4执行额外的拷贝。
图2示出了在存储系统中执行多流写操作的示意图框图。当SSD FTL支持多流写技术时，操作系统可以将写入的数据与某个流相绑定，例如将热数据(H)与流x绑定，将冷数据(C)与流y绑定，此时FTL在受理操作系统提交的写请求时，将不同流的数据分别写到不同的块。例如，如图2所示，对于写操作序列201，将流x(热数据)全部写到块202，将流y(冷数据)全部写到块203。
然后，在操作系统提交写操作序列204，对H1、H2、H3、H4进行修改时，FTL将修改后的数据写到块207中，此时块202不包含任何有效页面，表示为块205，另外块203保持不变，表示为块206。然后，垃圾收集就可以直接对块205执行擦除操作，而不会带来额外的拷贝操作。
通过多流写技术，将不同更新频率的数据写到不同的块中，从而尽可能地减小垃圾收集中引入的额外的数据拷贝操作，从而提高SSD的有效寿命，并提升写性能。
多流写技术的本质是针对闪存等固态存储设备特殊的写特性，提供一种机制，使得不同更新频率的数据写到不同的块中。多流机制中使用流来抽象不同更新频率的数据，并使用流标识(ID)来标识不同的流。
存储设备(例如，SSD)本身掌握的信息很少，其对数据的更新频率基本没有概念，只有数据的生产者即上层软件(包括用户程序、操作系统)才了解数据的更新频率，因而上层软件负责写入的数据与流ID的映射，接口协议负责将数据与流ID传递给SSD设备，而SSDFTL只负责将不同流ID的数据写入不同的块。
SSD设备支持多种接口协议，目前小型计算机接口SCSI(T10(SCSI)标准)与快速非易失性存储器NVMe(例如，NVMe 1.3)已经正式支持多流特性。例如，SSD的FTL可以负责操作系统使用的逻辑块地址(LBA)与SSD内部使用的物理地址之间的映射。
传统的不支持多流机制的SSD FTL通常只维护一个记录结构(log structure)，它只会根据操作系统提交的IO请求的先后顺序，将这些IO请求依次存储到可用的存储空间中。
支持多流机制的SSD FTL则会维护多个日志结构，其中为每个流维护一个单独的日志结构，FTL以流粒度大小(SGS)为单位分配存储空间，即FTL一开始会为每个流预先分配SGS大小的存储块，之后该流的数据都会存储到这一预分配的SGS大小的存储块中。当这一存储块的空间用尽时，FTL则再次分配一个SGS大小的存储块。流的日志结构会维护该流分配的所有存储块，而正是所有的这些SGS大小的存储块构成了一个流。例如，可以通过以指令(directive)的形式支持多流机制，指令机制用于实现SSD设备与上层软件之间的信息沟通，流只是指令的一个子集。
图3示出了根据本公开的一个实施例的用于数据存储的方法300的流程图。例如，方法300可以应用于如图2所示的多流写操作。
在框302，从具有各自的更新频率的多个流中选择一个流，所选择的流所具有的更新频率与待写入数据的更新频率相匹配。例如，在如图2所示的示例中，如果一个数据为热数据，则从流x和y中选择流x。
在一些实施例中，这些数据可以包括元数据。由于不同类型的元数据可以与其更新频率或生命周期相关联，因此，可以通过元数据的类型来对流进行选择。例如，可以定义4个流，其中每一个流具有相应的更新频率或元数据的类型。例如，第一流对应于日志，第二流对应于虚拟块映射(VBM)，第三流对应于间接块(IB)，并且第四流对应于超块、位图或每块元数据(BMD)。从第一流至第四流，更新频率依次增加。例如，可以将第一流至第四流的流ID分别定义为1-4。
在框304，基于所选择的流的标签，确定所述数据的标签。例如，如果流x的标签为x或1，可以将待写入数据的标签确定为x或1。在如上所述的元数据的示例中，流的标签可以是流ID，也可以是对应于流ID的变量。
在框306，向存储系统发送针对所述数据的写请求，所述写请求包括所述数据的标签，使得所述存储系统基于所述标签所标识的流来执行针对所述数据的写操作。存储系统支持多流写技术，例如可以是SSD，特别是NVMe接口的SSD。如果存储系统基于数据中的标签可以执行相应流的操作。例如，可以将同一个流的数据存储在相同的区域中，从而降低数据拷贝的频率并因而降低写放大因子。以这种方式，可以提升存储系统的寿命和性能。
以下将结合共同块文件系统(CBFS)来描述本公开的示例实施例。在示例实施例中，将CBFS中的各种元数据和文件数据映射到不同的流ID，从而不同的数据在SSD(例如，NVMe SSD)中分开存储。例如，可以将不同类型的元数据和文件数据与不同的流ID绑定，以实现这种分开存储。
CBFS文件系统中的元数据包括：超块、i节点(inode)、数据块位图、i节点位图、间接块(IB)、虚拟块映射(VBM)、每块元数据(BMD)和日志(journal)。可以根据存储设备支持的流的数目(例如，4或者任何其他适当数值)将这些元数据的更新频率分为相应数目的等级。例如，在一个具体示例中，存储设备至少支持4个流，则可以将这些元数据的更新频率分为四个等级，即：
流 数据
日志流 日志
IB流 IB
VBM流 VBM
其他流 超块、i节点、块位图、BMD
其中，日志流对应于短(SHORT)等级，IB流对应于中(MEDIUM)等级，VBM流对应于长(LONG)等级，并且其他流对应于极长(EXTREME)等级。此外，SHORT对应流ID 1，MEDIUM对应流ID 2，LONG对应流ID 3，EXTREME对应流ID 4。当用户未显式指定数据的更新频率时，其最终默认使用流ID 0。
文件系统使用块缓冲器作为接口来管理元数据和文件数据的IO请求。因此，可以在块缓冲器中增加一个字段来描述与块缓冲器中缓冲的数据对应的生命周期。该字段的初始值设置为0，即，使用流ID 0。当将修改后的元数据写入存储设备时，设置对应的缓冲器的这一字段，以将CBFS文件系统的各种元数据映射到之前描述的四个等级。
文件系统可以将数据及其等级发送至底层的存储驱动器，存储驱动器将数据的更新频率的等级映射到相应的流ID，并将流ID保存在相应字段中，以用于将写请求传送给存储设备进行处理。
在一些实施例中，在文件系统和存储驱动器之间还包括其他多层结构。例如，CBFS将数据及其等级传递给下一层中的多核缓存(MCC)。然后，MCC再将数据发送到独立冗余盘阵列(RAID)，例如，映射RAID。在映射RAID中填充其他数据包信息，例如，开始LBA地址、长度、标志(包括数据标志)，然后向底层的存储驱动器发送写请求。然后，存储驱动器(例如，NVMe驱动器)将各个数据的等级映射到相应的流ID，并将流ID保存在写命令的指令特定字段中，并将写命令传递给存储设备，以进行处理。然后，由存储设备上的FTL执行后续处理。
以上结合CBFS文件系统和NVMe存储器介绍了本公开的具体实施例。通过本公开的实施例，可以降低WAF参数，从而增加存储设备的有效寿命。另外，由于WAF参数还会影响读写操作的性能，因此，降低WAF参数还提高了存储系统的读写性能。
图4示出了一个可以用来实施本公开的实施例的设备400的示意性框图。如图4所示，设备400包括中央处理单元(CPU)401，其可以根据存储在只读存储器(ROM)402中的计算机程序指令或者从存储单元408加载到随机访问存储器(RAM)403中的计算机程序指令，来执行各种适当的动作和处理。在RAM 403中，还可存储设备400操作所需的各种程序和数据。CPU 401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
设备400中的多个部件连接至I/O接口405，包括：输入单元406，例如键盘、鼠标等；输出单元407，例如各种类型的显示器、扬声器等；存储单元408，例如磁盘、光盘等；以及通信单元409，例如网卡、调制解调器、无线通信收发机等。通信单元409允许设备400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的各个过程和处理，例如方法300，可由处理单元401执行。例如，在一些实施例中，方法300可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元408。在一些实施例中，计算机程序的部分或者全部可以经由ROM 402和/或通信单元409而被载入和/或安装到设备400上。当计算机程序被加载到RAM 403并由CPU 401执行时，可以执行上文描述的方法300的一个或多个步骤。
本公开可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (15)

1.一种用于数据存储的方法，包括：
从具有各自的更新频率的多个流中选择一个流，所选择的流所具有的更新频率与待写入数据的更新频率相匹配；
基于所选择的流的标签，确定所述数据的标签；以及
向存储系统发送针对所述数据的写请求，所述写请求包括所述数据的标签，使得所述存储系统基于所述标签所标识的流来执行针对所述数据的写操作。
2.根据权利要求1所述的方法，其中所述数据包括元数据，并且从所述多个流中选择所述流包括：
基于所述元数据的类型来选择所述流，其中所述元数据的类型与所述元数据的更新频率相关联。
3.根据权利要求2所述的方法，其中从所述多个流中选择所述流包括：
响应于确定所述元数据的类型为日志，选择所述多个流中的第一流作为所述流；
响应于确定所述元数据的类型为虚拟块映射(VBM)，选择所述多个流中的第二流作为所述流；
响应于确定所述元数据的类型为间接块(IB)，选择所述多个流中的第三流作为所述流；以及
响应于确定所述元数据的类型为超块、位图或每块元数据(BMD)，选择所述多个流中的第四流作为所述流。
4.根据权利要求1所述的方法，其中所述存储系统包括固态存储设备。
5.根据权利要求4所述的方法，其中所述固态存储设备包括快速非易失性存储器(NVMe)固态存储设备。
6.一种电子设备，包括：
处理器；以及
存储器，耦合至所述处理器并且包括存储于其上的指令，所述指令在由所述处理器执行时使所述电子设备执行动作，所述动作包括：
从具有各自的更新频率的多个流中选择一个流，所选择的流所具有的更新频率与待写入数据的更新频率相匹配；
基于所选择的流的标签，确定所述数据的标签；以及
向存储系统发送针对所述数据的写请求，所述写请求包括所述数据的标签，使得所述存储系统基于所述标签所标识的流来执行针对所述数据的写操作。
7.根据权利要求6所述的电子设备，其中所述数据包括元数据，并且从所述多个流中选择所述流包括：
基于所述元数据的类型来选择所述流，其中所述元数据的类型与所述元数据的更新频率相关联。
8.根据权利要求7所述的电子设备，其中从所述多个流中选择所述流包括：
响应于确定所述元数据的类型为日志，选择所述多个流中的第一流作为所述流；
响应于确定所述元数据的类型为虚拟块映射(VBM)，选择所述多个流中的第二流作为所述流；
响应于确定所述元数据的类型为间接块(IB)，选择所述多个流中的第三流作为所述流；以及
响应于确定所述元数据的类型为超块、位图或每块元数据(BMD)，选择所述多个流中的第四流作为所述流。
9.根据权利要求6所述的电子设备，其中所述存储系统包括固态存储设备。
10.根据权利要求9所述的电子设备，其中所述固态存储设备包括快速非易失性存储器(NVMe)固态存储设备。
11.一种计算机程序，所述计算机程序在被至少一个处理器执行时，使得所述至少一个处理器实现执行动作，所述动作包括：
从具有各自的更新频率的多个流中选择一个流，所选择的流所具有的更新频率与待写入数据的更新频率相匹配；
基于所选择的流的标签，确定所述数据的标签；以及
向存储系统发送针对所述数据的写请求，所述写请求包括所述数据的标签，使得所述存储系统基于所述标签所标识的流来执行针对所述数据的写操作。
12.根据权利要求11所述的计算机程序，其中所述数据包括元数据，并且从所述多个流中选择所述流包括：
基于所述元数据的类型来选择所述流，其中所述元数据的类型与所述元数据的更新频率相关联。
13.根据权利要求12所述的计算机程序，其中从所述多个流中选择所述流包括：
响应于确定所述元数据的类型为日志，选择所述多个流中的第一流作为所述流；
响应于确定所述元数据的类型为虚拟块映射(VBM)，选择所述多个流中的第二流作为所述流；
响应于确定所述元数据的类型为间接块(IB)，选择所述多个流中的第三流作为所述流；以及
响应于确定所述元数据的类型为超块、位图或每块元数据(BMD)，选择所述多个流中的第四流作为所述流。
14.根据权利要求11所述的计算机程序，其中所述存储系统包括固态存储设备。
15.根据权利要求14所述的计算机程序，其中所述固态存储设备包括快速非易失性存储器(NVMe)固态存储设备。
CN202010225026.1A 2020-03-26 2020-03-26 用于数据存储的方法、设备和计算机程序 Pending CN113448877A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010225026.1A CN113448877A (zh) 2020-03-26 2020-03-26 用于数据存储的方法、设备和计算机程序
US17/025,306 US11709596B2 (en) 2020-03-26 2020-09-18 Method, device and computer program for data storage

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010225026.1A CN113448877A (zh) 2020-03-26 2020-03-26 用于数据存储的方法、设备和计算机程序

Publications (1)

Publication Number Publication Date
CN113448877A true CN113448877A (zh) 2021-09-28

Family

ID=77807595

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010225026.1A Pending CN113448877A (zh) 2020-03-26 2020-03-26 用于数据存储的方法、设备和计算机程序

Country Status (2)

Country Link
US (1) US11709596B2 (zh)
CN (1) CN113448877A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114048223A (zh) * 2021-11-26 2022-02-15 武汉联影生命科学仪器有限公司 数据读写方法、装置、电子设备和系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815313A (zh) * 2016-12-21 2017-06-09 上海数据交易中心有限公司 数据流通系统及方法
US20170242788A1 (en) * 2016-02-19 2017-08-24 International Business Machines Corporation Regrouping data during relocation to facilitate write amplification reduction
US20180113631A1 (en) * 2016-10-26 2018-04-26 ScaleFlux, Inc. Enhancing flash translation layer to improve performance of databases and filesystems
CN108140100A (zh) * 2015-10-28 2018-06-08 赫尔实验室有限公司 维护计算机存储器中的对象的安全标签和引用计数的系统和方法
US20190034120A1 (en) * 2017-12-29 2019-01-31 Intel Corporation Stream classification based on logical regions
US20190205062A1 (en) * 2018-01-04 2019-07-04 Western Digital Technologies, Inc. Solid state drive stream allocation and mapping
CN110058787A (zh) * 2018-01-18 2019-07-26 伊姆西Ip控股有限责任公司 用于写入数据的方法、设备和计算机程序产品
US20190265910A1 (en) * 2018-02-26 2019-08-29 Toshiba Memory Corporation Memory system
CN110196687A (zh) * 2019-05-20 2019-09-03 杭州宏杉科技股份有限公司 数据读写方法、装置、电子设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8433854B2 (en) * 2008-06-25 2013-04-30 Intel Corporation Apparatus and method for cache utilization
US9904480B1 (en) * 2014-12-18 2018-02-27 EMC IP Holding Company LLC Multiplexing streams without changing the number of streams of a deduplicating storage system
CN105893337B (zh) 2015-01-04 2020-07-10 伊姆西Ip控股有限责任公司 用于文本压缩和解压缩的方法和设备
CN105893387B (zh) 2015-01-04 2021-03-23 伊姆西Ip控股有限责任公司 智能多媒体处理方法和系统
US9799402B2 (en) * 2015-06-08 2017-10-24 Samsung Electronics Co., Ltd. Nonvolatile memory device and program method thereof
US10656838B2 (en) * 2015-07-13 2020-05-19 Samsung Electronics Co., Ltd. Automatic stream detection and assignment algorithm
US10809932B1 (en) * 2016-09-30 2020-10-20 EMC IP Holding Company LLC Managing data relocations in storage systems
US10108345B2 (en) * 2016-11-02 2018-10-23 Samsung Electronics Co., Ltd. Victim stream selection algorithms in the multi-stream scheme
KR20180123265A (ko) * 2017-05-08 2018-11-16 에스케이하이닉스 주식회사 메모리 시스템 및 메모리 시스템의 동작 방법
JP2019016320A (ja) * 2017-07-11 2019-01-31 富士通株式会社 ストレージ制御装置およびストレージ制御プログラム
CN107908366A (zh) * 2017-11-14 2018-04-13 郑州云海信息技术有限公司 一种智能数据存取方法、装置及设备
CN109976664B (zh) * 2017-12-28 2024-01-19 北京忆恒创源科技股份有限公司 固态存储设备的日志数据组织

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108140100A (zh) * 2015-10-28 2018-06-08 赫尔实验室有限公司 维护计算机存储器中的对象的安全标签和引用计数的系统和方法
US20170242788A1 (en) * 2016-02-19 2017-08-24 International Business Machines Corporation Regrouping data during relocation to facilitate write amplification reduction
US20180113631A1 (en) * 2016-10-26 2018-04-26 ScaleFlux, Inc. Enhancing flash translation layer to improve performance of databases and filesystems
CN106815313A (zh) * 2016-12-21 2017-06-09 上海数据交易中心有限公司 数据流通系统及方法
US20190034120A1 (en) * 2017-12-29 2019-01-31 Intel Corporation Stream classification based on logical regions
US20190205062A1 (en) * 2018-01-04 2019-07-04 Western Digital Technologies, Inc. Solid state drive stream allocation and mapping
CN110058787A (zh) * 2018-01-18 2019-07-26 伊姆西Ip控股有限责任公司 用于写入数据的方法、设备和计算机程序产品
US20190265910A1 (en) * 2018-02-26 2019-08-29 Toshiba Memory Corporation Memory system
CN110196687A (zh) * 2019-05-20 2019-09-03 杭州宏杉科技股份有限公司 数据读写方法、装置、电子设备

Also Published As

Publication number Publication date
US11709596B2 (en) 2023-07-25
US20210303153A1 (en) 2021-09-30

Similar Documents

Publication Publication Date Title
KR102240557B1 (ko) 데이터 저장 방법, 장치 및 시스템
CN107870728B (zh) 用于移动数据的方法和设备
US11010300B2 (en) Optimized record lookups
US11126353B2 (en) Method and apparatus for data copy
CN107533507B (zh) 管理存储装置中的数据的方法和系统
US9996542B2 (en) Cache management in a computerized system
CN110413199B (zh) 用于管理存储系统的方法、设备和计算机可读存储介质
CN110109915B (zh) 用于管理哈希表的方法、设备和计算机程序产品
CN107526743B (zh) 用于压缩文件系统元数据的方法和设备
CN109697016B (zh) 用于改进容器的存储性能的方法和装置
CN111949605A (zh) 用于实现文件系统的方法、设备和计算机程序产品
US9916249B2 (en) Space allocation in a multi-grained writeback cache
US20220083281A1 (en) Reading and writing of distributed block storage system
CN109918352B (zh) 存储器系统和存储数据的方法
CN110737399A (zh) 用于管理存储系统的方法、设备和计算机程序产品
US10795579B2 (en) Methods, apparatuses, system and computer program products for reclaiming storage units
US9817757B2 (en) Scalable metadata management in a multi-grained caching framework
CN111857557B (zh) Raid类型转换的方法、设备和计算机程序产品
US11093389B2 (en) Method, apparatus, and computer program product for managing storage system
US11287993B2 (en) Method, device, and computer program product for storage management
US20210374048A1 (en) Method, electronic device, and computer program product for storage management
CN113448877A (zh) 用于数据存储的方法、设备和计算机程序
US11520818B2 (en) Method, apparatus and computer program product for managing metadata of storage object
CN110737397B (zh) 用于管理存储系统的方法、设备和计算机程序产品
CN114385069B (zh) 存储管理的方法、设备和计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination