CN110134618A - 存储控制装置、存储控制方法和记录介质 - Google Patents

存储控制装置、存储控制方法和记录介质 Download PDF

Info

Publication number
CN110134618A
CN110134618A CN201910092283.XA CN201910092283A CN110134618A CN 110134618 A CN110134618 A CN 110134618A CN 201910092283 A CN201910092283 A CN 201910092283A CN 110134618 A CN110134618 A CN 110134618A
Authority
CN
China
Prior art keywords
data
data block
write
storage
header
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910092283.XA
Other languages
English (en)
Inventor
铃木悠介
仓泽祐辅
久保田典秀
绀田与志仁
梶山真理乃
田中勇至
伊贺敏雄
武田和也
渡边岳志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN110134618A publication Critical patent/CN110134618A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/0292—User address space allocation, e.g. contiguous or non contiguous base addressing using tables or multilevel address translation means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/023—Free address space management
    • G06F12/0238—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory
    • G06F12/0246—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory in block erasable memory, e.g. flash memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/06—Addressing a physical block of locations, e.g. base addressing, module addressing, memory dedication
    • G06F12/0646—Configuration or reconfiguration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/10—Address translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0688—Non-volatile semiconductor memory arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1016—Performance improvement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/46—Caching storage objects of specific type in disk cache
    • G06F2212/466—Metadata, control data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/72—Details relating to flash memory management
    • G06F2212/7201—Logical to physical mapping or translation of blocks or pages

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开涉及存储控制装置、存储控制方法和记录介质。存储控制装置包括存储器和处理器。存储器被配置成存储元信息和映射信息，元信息将逻辑地址与数据块标识符和索引相关联，逻辑地址用于标识来自使用存储装置的信息处理装置的数据，数据块标识符用于标识数据块，索引指示数据的附加写入的顺序，数据块用于数据在存储装置上的布置并且包括报头区域和有效载荷区域，映射信息将数据块标识符与指示存储装置上的物理位置的物理标识符相关联。处理器基于物理标识符和索引指定数据块和有效载荷区域中的写入位置，将数据写入所指定的数据块中以及执行写入控制，写入控制用于在索引所指定的位置处写入包括偏移和数据长度的数据单元报头。

Description

存储控制装置、存储控制方法和记录介质
技术领域
本文讨论的实施方式涉及存储控制装置、存储控制方法和存储控制程序。
背景技术
近来，存储装置的存储介质已经从硬盘驱动器(HDD)转变为具有更高访问速度的诸如固态驱动器(SSD)的闪存。SSD使得不可能直接在存储单元上执行重写，以及例如，使得在以1兆字节(MB)大小块为单位擦除数据之后来写入数据。
因此，在更新块中的部分数据的情况下，保存块中的其他数据，擦除块，并且然后写入保存的数据和更新数据。因此，更新与块的大小相比的小的数据的处理较慢。SSD在写入次数上具有上限。因此，SSD期望尽可能地避免更新与块的大小相比的小的数据。因此，在更新块中的部分数据的情况下，块中的其他数据和更新数据被写入新块中。
在日本公开特许公报No.2016-21246和国际公布手册No.WO2016/185573中公开了相关技术。
在更新块中的部分数据的情况下，使用SSD的存储装置需要以下的数据结构，该数据结构不仅能够通过将块中其他数据以及更新数据写入新块中来减少写入的次数，而且还能进一步减少写入的次数。
可以提供能够减少写入的次数的数据结构。
发明内容
根据实施方式的一方面，一种存储控制装置包括存储器和处理器。存储器被配置成存储元信息和映射信息，其中，元信息将逻辑地址与数据块标识符和索引相关联，逻辑地址用于标识来自使用存储装置的信息处理装置的数据，数据块标识符用于标识数据块，索引指示数据在数据块中的附加写入的顺序，数据块用于数据在存储装置上的布置，并且数据块包括报头区域和有效载荷区域，报头区域具有用于存储与对应于多个索引的数据有关的报头信息的容量，有效载荷区域具有用于存储对应于所述多个索引的数据的容量，其中，映射信息将数据块标识符与指示数据块在存储装置上的物理位置的物理标识符相关联。处理器被配置成：基于数据块的物理标识符和索引来指定数据块和数据块的有效载荷区域中的写入位置；将数据写入所指定的数据块中；以及执行写入控制，写入控制用于在报头区域中的索引所指定的位置处写入数据单元报头，数据单元报头包括指示在数据块中的写入位置的偏移和指示数据的长度的数据长度。
根据实施方式的另一方面，一种存储控制方法，包括：在存储器中存储元信息，元信息将逻辑地址与数据块标识符和索引相关联，逻辑地址用于标识来自使用存储装置的信息处理装置的数据，数据块标识符用于标识数据块，索引指示数据在数据块中的附加写入的顺序，数据块用于数据在存储装置上的布置，并且数据块包括报头区域和有效载荷区域，报头区域具有用于存储与对应于多个索引的数据有关的报头信息的容量，有效载荷区域具有用于存储对应于所述多个索引的数据的容量；在存储器中存储映射信息，映射信息将数据块标识符与指示数据块在存储装置上的物理位置的物理标识符相关联；基于数据块的物理标识符和索引来指定数据块和在数据块的有效载荷区域中的写入位置；将数据写入所指定的数据块中；以及执行写入控制，写入控制用于在报头区域中的索引所指定的位置处写入数据单元报头，数据单元报头包括指示在数据块中的写入位置的偏移和指示数据的长度的数据长度。
根据实施方式的又一方面，一种记录有存储控制程序的非暂态计算机可读记录介质，存储控制程序用于使计算机执行处理，该处理包括：在存储器中存储元信息，元信息将逻辑地址与数据块标识符和索引相关联，逻辑地址用于标识来自使用存储装置的信息处理装置的数据，数据块标识符用于标识数据块，索引指示数据在数据块中的附加写入的顺序，数据块用于数据在存储装置上的布置，并且数据块包括报头区域和有效载荷区域，报头区域具有用于存储与对应于多个索引的数据有关的报头信息的容量，有效载荷区域具有用于存储对应于所述多个索引的数据的容量；在存储器中存储映射信息，映射信息将数据块标识符与指示数据块在存储装置上的物理位置的物理标识符相关联；基于数据块的物理标识符和索引来指定数据块和在数据块的有效载荷区域中的写入位置；将数据写入所指定的数据块中；以及执行写入控制，写入控制用于在报头区域中的索引所指定的位置处写入数据单元报头，数据单元报头包括指示在数据块中的写入位置的偏移和指示数据的长度的数据长度。
附图说明
图1是示出根据实施方式的存储装置的存储配置的图；
图2是用于说明根据实施方式的由存储控制装置使用的元数据的图；
图3是用于说明数据块的图；
图4是用于说明数据块映射的图；
图5是用于说明物理区域的图；
图6是用于说明RAID单元的附加写入的图；
图7是用于说明RAID单元的全体(collective)写入的图；
图8A是示出逻辑物理元的格式的图；
图8B是示出数据单元报头的格式的图；
图8C是示出数据块报头的格式的图；
图9是示出逻辑物理元、数据单元报头和引用信息之间的关系的图；
图10A和图10B是用于说明容量效率的改进的图；
图11是示出根据实施方式的信息处理系统的配置的图；
图12是示出写入没有重复(duplication)的数据的处理序列的图；
图13是示出用于确定附加写入位置的处理流程的流程图；
图14是示出更新数据单元报头和数据块报头的处理流程的流程图；
图15是示出写入具有重复的数据的处理序列的图；
图16是示出读取处理序列的图；以及
图17是示出根据实施方式的执行存储控制程序的存储控制装置的硬件配置的图。
具体实施方式
在下文中，将参照附图详细描述本申请所公开的存储控制装置、存储控制方法和存储控制程序的实施方式。实施方式不限制所公开的技术。
[实施方式]
首先，将描述根据实施方式的存储装置的存储配置。图1是示出根据实施方式的存储装置的存储配置的图。如图1所示，根据实施方式的存储装置使用多个SSD 3d来基于廉价磁盘冗余阵列(RAID)管理池3a。根据实施方式的存储装置包括多个池3a。
池3a包括虚拟池和分层池。虚拟池包括一个层(tier)3b，而分层池包括两个或更多个层3b。层3b包括一个或更多个驱动器组3c。驱动器组3c中的每一个是一组SSD 3d并且包括6到24个SSD 3d。例如，存储一个条带(stripe)的六个SSD 3d中的三个用于存储用户数据(下文中简称为“数据”)，两个用于奇偶校验存储，以及一个用于热备用。驱动器组3c中的每一个可以包括25个或更多个SSD 3d。
接下来，将描述由根据实施方式的存储控制装置使用的元数据。此处，元数据是由存储控制装置使用以管理存储装置中存储的数据的数据。
图2是用于说明根据实施方式的由存储控制装置使用的元数据的图。如图2所示，元数据包括逻辑物理元、数据块映射和引用信息。
逻辑物理元是将逻辑号与数据块号和索引相关联的信息。逻辑号是用于由使用存储装置的信息处理装置识别数据的逻辑地址，并且逻辑号是逻辑单元号(LUN)和逻辑块地址(LBA)的组合。逻辑块的大小为8KB(千字节)，其是去重(deduplication)的单位大小。由从信息处理装置(主机)到存储装置的命令进行的处理是以512字节为单位。因此，在本实施方式中，为了使去重更有效率，此处假设对应于512字节的整数倍的一组8KB(8192字节)块是一个逻辑块。数据块号是用于标识存储由逻辑号标识的8KB数据的数据块的号。索引是数据块中的数据号。
图3是用于说明数据块的图。在图3中，数据块号(DB#)是“101”。如图3所示，数据块的大小是384KB。数据块的报头区域是8KB并且有效载荷区域是376KB。有效载荷区域具有作为用于存储压缩数据的区域的数据单元。该数据单元被附加地写入有效载荷区域中。
报头区域包括192字节的数据块报头以及200个或更少的40字节的数据单元报头。数据块报头是用于存储关于数据块的信息的区域。例如，数据块报头包括关于是否可以进行数据单元的附加写入的信息、被附加地写入的数据单元的数目、以及接下来要被附加写入数据单元的位置。
数据单元报头对应于有效载荷区域中包括的数据单元。数据单元报头处于与相应数据单元中存储的数据的索引对应的位置处。数据单元报头包括偏移、长度和循环冗余校验(CRC)。偏移指示相应数据单元的数据块中的写入起始位置(头部位置)。长度指示相应数据单元的长度。CRC是在相应数据单元的压缩之前的错误检测码。
在图2的逻辑物理元中，例如，具有逻辑号“1-1”的数据首先存储在具有数据块号“B1”的数据块中。此处，“1-1”指示LUN为1并且LBA为1。由于去重，相同的数据具有相同的数据块号和相同的索引。在图2中，由“1-2”、“2-1”和“2-4”标识的数据片彼此相同。因此，“1-2”、“2-1”和“2-4”与数据块号“B2”和索引“2”相关联。
数据块映射是用于将数据块号与物理号相关联的表。物理号是用于标识驱动器组(DG)3c的DG号(DG#)、用于标识RAID单元(RU)的RU号(RU#)和用于标识槽(槽#)的槽号的组合。RAID单元(全体写入单元区域)是在将数据写入存储装置的情况下在主存储器上缓冲的全体写入单元区域，并且可以将多个数据块布置在RAID单元中。以RAID单元为单位收集数据并且将数据附加地写入存储装置中。例如，RAID单元的大小为24兆字节(MB)。在RAID单元中，使用槽(slot)来管理每个数据块。
图4是用于说明数据块映射的图。图4示出了关于具有DG号“1”(DG#1)和RU号“1”(RU#1)的RAID单元的数据块映射。如图4所示，RAID单元的大小为24MB，数据块的大小为384KB。因此，槽的数目是64。
图4示出了按照数据块的地址的升序将数据块分配给每个槽的示例。数据块#101存储在槽#1中，数据块#102存储在槽#2中，...，并且数据块#164存储在槽#64中。
例如，在图2的数据块映射中，数据块号“B1”与物理号“1-1-1”相关联。数据块号为“B1”的数据被压缩和存储在以下的槽中：该槽为池3a的驱动器组#1中的具有RU号“1”的RAID单元中的具有槽号“1”的槽。在图2的池3a中，省略了层3b及其槽。
引用信息将索引、物理号和引用计数器彼此相关联。引用计数器是由索引和物理号标识的数据的重复的数目。在图2中，索引可以被包括在物理号中。
图5是用于说明物理区域的图。如图5所示，逻辑物理元存储在主存储器和存储装置中。仅部分逻辑物理元存储在主存储器中。对于逻辑物理元，针对主存储器中的每个LUN仅存储一页(4KB)。在与LUN和LBA的组合对应的页不在主存储器上的情况下，将LUN的页进行页出，并且将与LUN和LBA的组合对应的页从存储装置读取到主存储器中。
在存储装置中，对于每个4太字节(TB)的卷，存储32GB的逻辑物理元区域(存储逻辑物理元的区域)3e。逻辑物理元区域3e是从动态区域分配的，并且在创建LUN时变成固定区域。此处，动态区域是从池3a动态分配的区域。逻辑物理元区域3e不经历垃圾收集(GC)。当在存储装置中附加地写入数据时，从动态区域分配RAID单元。实际上，在将数据附加地写入写入缓冲区(write buffer)中时分配RAID单元，其中写入缓冲区在将数据写入存储装置之前临时存储数据。存储RAID单元的数据单元区域3f经历GC。
图6是用于说明RAID单元的附加写入的图。如图6所示，当在LUN#1中接收到8KB的写入I/O(存储装置中写入数据的指令)时，数据单元报头被写入写入缓冲区上的数据块的报头区域中，数据被压缩并且被写入有效载荷区域中，并且数据块报头被更新。此后，当在LUN#2中接收到8KB的写入I/O时，在图6的示例中，数据单元报头被附加地写入同一数据块的报头区域中，数据被压缩并且被附加地写入有效载荷中，并且数据块报头被更新。
然后，在与写入缓冲区中保护的数据块的容量对应的存储区域中，当数据块中的报头区域或有效载荷区域变满(不存在可用的空区域)时，此后数据不会被附加地写入数据块中。然后，当写入缓冲区中的RAID单元的所有数据块变满(不存在可用的空区域)时，写入缓冲区的内容被写入存储装置中。此后，释放分配给RAID单元的写入缓冲区的存储区域。在
图6中，DG#1和RU#15的RAID单元是从动态区域分配的。
至LUN#1的写入I/O反映在与逻辑物理元的LUN#1对应的区域上，并且至LUN#2的写入I/O反映在与逻辑物理元的LUN#2对应的区域上。更新关于写入I/O的数据的引用计数，并且将写入I/O反映在引用信息上。
更新关于RU#15的RU信息#15中包括的总数据单元计数(TDUC)和GC数据单元计数(GDUC)，并且将写入I/O反映在垃圾计上。此处，垃圾计是RU信息中包括的GC相关信息。TDUC是RU中的数据单元的总数目，并在写入数据单元时更新TDUC。GDUC是RU中无效数据单元的数目，并在更新引用计数器时更新GDUC。
在数据块映射中，DG#1、RU#15和槽#1与DB#101相关联，并且写入I/O被反映在数据块映射上。
图7是用于说明RAID单元的全体写入的图。如图7所示，数据块被缓冲在写入缓冲区中，以RAID单元为单位被收集，并且被写入存储装置中。例如，数据块#1被写入存储一个条带的六个SSD 3d中。在图7中，P和Q各表示奇偶校验，而H表示热备用。对于每128个字节，数据块#1被写入图7中的“0”、“1”、...和“14”的区域中。
图8A是示出逻辑物理元的格式的图。如图8A所示，32字节的逻辑物理元包括1字节的状态、1字节的数据单元索引、2字节的校验和、2字节的节点编号和6字节的BID。32字节的逻辑物理元还包括8字节的数据块编号。
状态指示逻辑物理元的状态。存在有效状态和无效状态。有效状态意味着逻辑物理元已经被分配给相应的LBA。无效状态意味着逻辑物理元尚未被分配给相应的LBA。数据单元索引是索引。校验和是相应数据的错误码检测值。节点编号是用于标识存储装置(节点)的号。BID是块ID(位置信息)，即LBA。数据块编号是数据块号。保留指示对于未来的扩展所有位都为0。
图8B是示出数据单元报头的格式的图。如图8B所示，40字节的数据单元报头包括1字节的数据单元状态、2字节的校验和、以及2字节的偏移块计数。40字节的数据单元报头还包括2字节的压缩字节大小和32字节的CRC。
数据单元状态指示是否可以进行数据单元的附加写入。在不存在对应于数据单元报头的数据单元的情况下，可以进行附加写入。在存在对应于数据单元报头的数据单元的情况下，不可以进行附加写入。校验和是相应数据单元的错误码检测值。
偏移块计数是距相应数据单元的有效载荷区域的头部的偏移。偏移块计数由块的数目来表示。然而，此处的块不是SSD的擦除单元的块，而是512字节的块。在下文中，将512字节的块称为小块，以便将512字节的块与SSD的擦除单元的块区分开。压缩字节大小是压缩后相应数据的大小。CRC是相应数据单元的错误检测码。
图8C是示出数据块报头的格式的图。如图8C所示，192字节的数据块报头包括1字节的数据块满标志和1字节的写入数据单元计数。192字节的数据块报头包括1字节的下一数据单元报头索引、8字节的下一写入块偏移和8字节的数据块编号。
数据块满标志是指示是否可以进行数据单元的附加写入的标志。在数据块的剩余写入容量是阈值或更大并且存在足够的空容量用于附加地写入数据单元的情况下，可以进行数据单元的附加写入。同时，在数据块的剩余写入容量小于阈值并且不存在足够的空容量用于附加地写入数据单元的情况下，不可以进行数据单元的附加写入。
写入数据单元计数是已经附加地写入数据块的数据单元的数目。下一数据单元报头索引是接下来要写入的数据单元报头的索引。下一写入块偏移是距接下来要写入的数据单元的有效载荷区域的头部的偏移位置。单位是小块的数目。数据块编号是分配给槽(slot)的数据块号。
图9、图10A和图10B是用于说明根据实施方式的元数据系统的特性的图。图9是示出逻辑物理元、数据单元报头和引用信息之间的关系的图。如图9所示，在根据实施方式的元数据系统中，使用逻辑物理元、数据单元报头和引用信息。数据单元报头的存储位置由逻辑物理元的DB#和索引来指定。数据块中的数据单元的位置根据数据单元报头的偏移和长度被指定。
在逻辑物理元中存储多个相同数据片的情况下，通过去重功能将所述多个相同数据片收集到一个中，并且将重复数目计为引用计数器(RC)。在图9中，从两个位置引用存储在DG#1的RU#2中的DB#102的索引“1”和索引“2”中每一个的数据。此时，索引“1”和索引“2”中每一个的引用计数器是“2”。索引“1”和索引“2”的数据是有效数据。由于具有引用计数器“0”，所以索引“3”和索引“4”的数据是无效数据。
图10A和图10B是用于说明容量效率的改进的图。图10A和10B示出了在不进行压缩的情况下写入8KB数据的情况。由LUN/LBA指定的数据以小块为单位被写入数据单元中。因此，图10A示出了非压缩数据和CRC被打包在有效载荷区域中并且16个小块被打包在数据单元中的情况。数据单元报头不包括CRC，因此大小为32字节。整个数据块的存储容量为384KB，报头区域为2KB，并且有效载荷区域为382KB。
在这种情况下，在非压缩的情况下有效载荷区域的使用容量是512字节×由LUN/LBA指定的16个小块+CRC 32字节＝8224字节。然而，用于SSD的命令是由512字节的1整数倍或更大整数倍来指定的。因此，用于读出8224字节的命令是512字节×17小块＝8704字节。一个数据单元的有效载荷区域最大设置为8704字节。也就是说，例如，未使用并且浪费了8704-8224＝480字节的存储区域。随着非压缩数据单元的数目的增加，浪费了480字节的整数倍的存储区域。
同时，如图10B所示，如果CRC被包括在数据单元报头中，则512字节×16小块＝8192字节的数据被布置在有效载荷区域中。即，例如，一个数据单元的有效载荷区域可以最大被设置为8192个字节。因此，可以避免上述480字节的浪费。另外，可以减少对第17小块的不必要的写入，这可以促成减少写入次数的效果。由于整个数据块的384KB的存储容量是固定的，因此报头区域是8KB，而有效载荷区域是376KB。因此，即使在非压缩的情况下，根据实施方式的元数据系统也可以充分利用有效载荷区域。另外，可以有效地打包非压缩数据和压缩数据。
接下来，将描述根据实施方式的信息处理系统的配置。图11是示出根据实施方式的信息处理系统的配置的图。如图11所示，根据实施方式的信息处理系统1包括存储装置1a和服务器1b。存储装置1a存储由服务器1b使用的数据。服务器1b是执行诸如信息处理的处理的信息处理装置。存储装置1a和服务器1b通过光纤通道(FC)和因特网小型计算机系统接口(iSCSI)彼此连接。
存储装置1a包括控制存储装置1a的存储控制装置2和存储数据的存储器(存储装置)3。此处，存储装置3是一组多个SSD 3d。
在图11中，存储装置1a包括由存储控制装置#0和存储控制装置#1表示的两个存储控制装置2。然而，存储装置1a可以包括三个或更多个存储控制装置2。在图11中，信息处理系统1包括一个服务器1b。然而，信息处理系统1可以包括两个或更多个服务器1b。
存储控制装置2共享和管理存储装置3并且对一个或更多个池3a负责。存储控制装置2包括上连接单元21、缓存管理单元22、重复管理单元23、元管理单元24、附加写入单元25和IO单元26。
上连接单元21在FC驱动器和iSCSI驱动器中的每一个与缓存管理单元22之间交换信息。缓存管理单元22管理缓存存储器上的数据。重复管理单元23通过控制数据去重/数据恢复来管理存储装置1a中存储的独特数据。
元管理单元24管理逻辑物理元、数据块映射和引用计数。另外，元管理单元24使用逻辑物理元数据和数据块映射来转换用于标识虚拟卷中的数据的逻辑地址和指示SSD 3d中的数据存储于的位置的物理地址。此处，物理地址是数据块号和索引的组合。
元管理单元24包括逻辑物理元存储单元24a、DBM存储单元24b和引用存储单元24c。逻辑物理元存储单元24a存储逻辑物理元。DBM存储单元24b存储数据块映射。引用存储单元24c存储引用信息。
附加写入单元25利用连续数据单元来管理数据，并且以RAID单元为单位将数据附加地且全体地写入SSD 3d中。附加写入单元25压缩和解压缩数据。附加写入单元25将写入数据累积在作为主存储器上的缓冲区的写入缓冲区中，并且每当将写入数据写入写入缓冲区中时判断写入缓冲区的空区域是否已经变成特定阈值或更小。然后，当写入缓冲区的空区域变成特定阈值或更小时，附加写入单元25对SSD 3d中的写入缓冲区进行写入。附加写入单元25管理池3a的物理空间并且布置RAID单元。IO单元26对存储装置3中的RAID单元进行写入。
上连接单元21控制数据去重/数据恢复，以及附加写入单元25压缩和解压缩数据。因此，存储控制装置2可以减少写入数据，并且可以进一步减少写入的次数。
接下来，将描述写入处理序列。图12是示出写入没有重复的数据的处理序列的图。图15是示出写入具有重复的数据的处理序列的图。
在写入没有重复的数据的处理中，如图12所示，缓存管理单元22请求重复管理单元23写回数据(t1)。然后，重复管理单元23进行数据的重复判断并且不存在重复(t2)。因此，重复管理单元23请求附加写入单元25写入新数据单元(t3)。
然后，附加写入单元25获取写入缓冲区(t4)，并且当RU#未被分配给写入缓冲区时请求IO单元26分配RU#(t5)。然后，附加写入单元25接收由IO单元26分配的RU#(t6)。当RU#被分配给写入缓冲区时，省略对t5和t6的处理。
然后，附加写入单元25确定附加写入位置(t7)、压缩数据并且附加地写入数据(t8)。然后，附加写入单元25更新数据单元报头和数据块报头(t9)，并且进行全体写入判断(t10)。然后，当附加写入单元25判断写入缓冲区已满并且全体写入是可取的时，附加写入单元25请求IO单元26对写入缓冲区进行全体写入。然后，附加写入单元25向重复管理单元23发送完成响应(t11)。
然后，重复管理单元23请求元管理单元24更新引用计数器(t12)，并且元管理单元24更新引用计数器(t13)。具体地，例如，元管理单元24使被写数据的引用计数器递增。当数据被重写时，元管理单元24使重写之前的数据的引用计数器递减。
然后，元管理单元24向重复管理单元23发送更新完成响应(t14)，并且请求IO单元26更新数据片(pieces of data)的有效数目(t15)。此处，数据片的有效数目是指TDLC和GDLC。IO单元26使被写数据的TDLC递增。在重写数据的情况下，当重写之前的数据的RC变为0时，IO单元26使其中存储了重写之前的数据的RU的GLDC递减。然后，IO单元26向元管理单元24发送数据片的有效数目的更新完成响应(t16)。
然后，重复管理单元23请求元管理单元24更新逻辑物理元(t17)。然后，元管理单元24更新逻辑物理元(t18)，并且向重复管理单元23发送更新完成响应(t19)。然后，重复管理单元23向缓存管理单元22发送写回完成响应(t20)。缓存管理单元22释放写缓冲区。
以这种方式，附加写入单元25确定附加写入位置、压缩数据并且将数据附加地写入数据块中、以及更新数据单元报头和数据块报头。因此，可以在存储装置3中写入没有重复的数据。对数据的压缩/非压缩的切换是可能的，并且可以在附加写入单元25中被选择性地设置。
图13是示出用于确定附加写入位置的处理流程的流程图。图13中所示的处理对应于图12中的t7的处理。如图13所示，附加写入单元25从写入缓冲区的头部处的数据块顺序地判断数据块中是否可以进行附加写入(步骤S1)。附加写入单元25检查数据块报头的数据块满标志，以判断数据块中是否可以进行附加写入。当在写入缓冲区中不可以进行附加写入时，准备新的写入缓冲区。因此，可以在写入缓冲区中找到其中可以进行附加写入的数据块。
然后，当找到其中可以进行附加写入的数据块时，附加写入单元25判断是否未分配数据块号(步骤S2)。如果未分配数据块号，则附加写入单元25请求元管理单元24分配数据块号(步骤S3)。元管理单元24分配数据块号并且在数据块映射中将物理号与数据块号相互关联。
然后，附加写入单元25使用下一数据单元报头索引来指定数据单元报头的索引(步骤S4)，并且将数据块号和数据单元报头的索引确定为附加写入位置。
以这种方式，附加写入单元25可以使用数据块报头和数据单元报头来确定数据的附加写入位置。
图14是示出更新数据单元报头和数据块报头的处理流程的流程图。图14中所示的处理对应于图12中的t9的处理。如图14所示，附加写入单元25更新与被写数据对应的数据单元报头(步骤S11)。具体地，例如，附加写入单元25更新数据单元状态，使得不可以进行附加写入。
然后，附加写入单元25更新其中写入数据的数据块的数据块报头(步骤S12)。具体地，例如，附加写入单元25更新写入数据单元计数、下一数据单元报头索引和下一写入块偏移。
然后，附加写入单元25判断数据块中是否仍可以进行附加写入(步骤S13)。附加写入单元25基于下一写入块偏移是否是阈值或更小来判断是否可以进行附加写入。有效载荷区域的大小是376KB，并且在非压缩的情况下，8KB的空区域对于附加写入会是可取的。因此，如果满足376KB-8KB＝368KB≈736个小块(736×512字节)并且满足下一写入块偏移>736，则不可以进行附加写入。
然后，如果在数据块中不可以进行附加写入，则附加写入单元25将数据块报头的数据块满标志更新为意味着不可以进行附加写入的值(步骤S14)。
以这种方式，通过在写入数据时更新数据单元报头和数据块报头，附加写入单元25可以在接下来写入数据时使用数据块报头和数据单元报头来确定数据的附加写入位置。
在写入具有重复的数据的处理中，如图15所示，缓存管理单元22请求重复管理单元23写回数据(t31)。然后，重复管理单元23进行数据的重复判断并且存在重复(t32)。因此，重复管理单元23指定用于存储数据的数据块的号及其索引，并且请求元管理单元24执行DB→RU转换(t33)。此处，DB→RU转换是将数据块号转换为物理号。
然后，元管理单元24执行DB→RU转换(t34)并且向重复管理单元23发送物理号响应(t35)。然后，重复管理单元23请求元管理单元24更新与物理号和索引对应的引用计数器(t36)，以及元管理单元24更新引用计数器(t37)。
然后，元管理单元24请求IO单元26更新数据片的有效数目(t38)。然后，IO单元26更新数据片的有效数目，并且向元管理单元24发送数据片的有效数目的更新完成响应(t39)。然后，元管理单元24向重复管理单元23发送引用计数器的更新完成响应(t40)。
然后，重复管理单元23请求元管理单元24更新逻辑物理元(t41)。然后，元管理单元24更新逻辑物理元(t42)，并且向重复管理单元23发送更新完成响应(t43)。然后，重复管理单元23向缓存管理单元22发送写回完成响应(t44)。
以这种方式，重复管理单元23可以通过请求元管理单元24更新引用计数器和更新逻辑物理元来执行写入具有重复的数据的处理。
接下来，将描述读取处理序列。图16是示出读取处理序列的图。如图16所示，缓存管理单元22请求重复管理单元23使用逻辑地址来执行数据的暂存(staging)(t51)。然后，重复管理单元23请求元管理单元24获取与逻辑地址对应的逻辑物理元(t52)。
然后，元管理单元24请求IO单元26读取逻辑物理元(t53)。如果相应的逻辑物理元不在缓存上，则将缓存上LUN和LBA指定的页进行页出，并且将与相应的逻辑物理元对应的页进行页入。然后，IO单元26向元管理单元24发送读取的逻辑物理元的响应(t54)。元管理单元24向重复管理单元23发送所获取的逻辑物理元的响应(t55)。
然后，重复管理单元23请求元管理单元24对获取的逻辑物理元中包括的数据块号执行DB→RU转换(t56)。元管理单元24执行DB→RU转换(t57)，并且向重复管理单元23发送物理号响应(t58)。然后，重复管理单元23请求附加写入单元25使用所发送的物理号和逻辑物理元中包括的索引来读取数据单元(t59)。
然后，附加写入单元25请求IO单元26读取与所请求的数据单元对应的数据单元报头(t60)，并且从IO单元26接收数据单元报头(t61)。然后，附加写入单元25从所接收的数据单元报头获取数据单元的偏移位置(t62)，并且请求IO单元26读取所获取的偏移位置处的数据单元(t63)。
然后，附加写入单元25从IO单元26接收数据单元(t64)并且对压缩数据进行解压缩(t65)。然后，附加写入单元25向重复管理单元23发送解压缩数据响应(t66)。重复管理单元23接收数据并且向缓存管理单元22发送数据响应(t67)。
以这种方式，重复管理单元23获取与逻辑地址对应的逻辑物理元、将所获取的逻辑物理元中包括的数据块号转换为物理号、指定所获取的逻辑物理元中包括的索引和物理号、以及请求附加写入单元25读取数据单元。因此，重复管理单元23可以从存储装置3读出由缓存管理单元22请求的数据。
如上所述，在实施方式中，逻辑物理元存储单元24a存储逻辑物理元，该逻辑物理元将数据的逻辑地址与用于存储数据的数据块号和指示数据在数据块中的位置的索引相关联。DBM存储单元24b存储数据块映射，该数据块映射将数据块号与指示存储装置3中的数据块的存储位置的物理号相关联。该数据块具有用于存储数据单元报头的报头区域以及用于存储数据的有效载荷区域，该数据单元报头包括指示在数据块中的位置的偏移和要存储在由索引指定的位置处的每片数据的数据长度。因此，通过使用逻辑物理元存储单元24a、DBM存储单元24b和报头区域在有效载荷区域中附加地写入数据，存储控制装置2可以减少在存储装置3中写入的次数。
在实施方式中，以用于作为单位对存储装置3进行读写的单位长度的整数倍的大小来存储数据，并且将数据的CRC存储在数据单元报头中。因此，在未压缩数据的情况下，可以有效地使用有效载荷区域。
在实施方式中，引用存储单元24c存储指示与物理号和索引相关联的数据的重复数目的引用计数器。因此，存储控制装置2可以执行去重。
在实施方式中，包括要存储在数据块中的数据片的数目、接下来要被写的数据的索引以及接下来要被写的数据的偏移的数据块报头存储在报头区域中。因此，存储控制装置2可以有效地在有效载荷区域中写入数据。
在实施方式中，存储控制装置2使用驱动器组3c的号、RAID单元号的号和槽的号作为物理号，因此可以唯一地指定存储装置3中的数据块的存储位置。
在实施方式中，附加写入单元25与元管理单元24和IO单元26协作以在存储装置3中附加地且全体地写入数据。因此，可以减少在存储装置3中写入的次数。
已经在实施方式中描述了存储控制装置2。然而，可以通过利用软件实现存储控制装置2的配置来获得具有类似功能的存储控制程序。因此，将描述执行存储控制程序的存储控制装置2的硬件配置。
图17是示出根据实施方式的执行存储控制程序的存储控制装置2的硬件配置的图。如图17所示，存储控制装置2包括主存储器41、处理器42、主机I/F 43、通信I/F 44和连接I/F 45。
主存储器41是存储程序、执行程序的中间结果等的随机存取存储器(RAM)。处理器42是从主存储器41读出程序并且执行该程序的处理装置。
主机I/F 43是与服务器1b的接口。通信I/F 44是用于与另一存储控制装置2通信的接口。连接I/F 45是与存储装置3的接口。
在处理器42中执行的存储控制程序存储在便携式记录介质51中并且读入到主存储器41中。替选地，存储控制程序存储在经由通信I/F 44连接的计算机系统的数据库等中，从数据库读出，以及读入主存储器41中。
在实施方式中，已经描述了使用SSD 3d作为非易失性存储介质的情况。然而，实施方式不限于此，并且也可以应用于使用像SSD 3d那样具有写入次数限制的另一非易失性存储介质的情况。

Claims (17)

1.一种存储控制装置，包括：
存储器，其被配置成存储元信息和映射信息，其中，所述元信息将逻辑地址与数据块标识符和索引相关联，所述逻辑地址用于标识来自使用存储装置的信息处理装置的数据，所述数据块标识符用于标识数据块，所述索引指示所述数据在所述数据块中的附加写入的顺序，所述数据块用于所述数据在所述存储装置上的布置，并且所述数据块包括报头区域和有效载荷区域，所述报头区域具有用于存储与对应于多个索引的数据有关的报头信息的容量，所述有效载荷区域具有用于存储对应于所述多个索引的数据的容量，其中，所述映射信息将所述数据块标识符与指示所述数据块在所述存储装置上的物理位置的物理标识符相关联；以及
处理器，其被配置成：
基于所述数据块的所述物理标识符和所述索引来指定所述数据块和在所述数据块的有效载荷区域中的写入位置；
将所述数据写入所指定的数据块中；以及
执行写入控制，所述写入控制用于在所述报头区域中的所述索引所指定的位置处写入数据单元报头，所述数据单元报头包括指示在所述数据块中的所述写入位置的偏移和指示所述数据的长度的数据长度。
2.根据权利要求1所述的存储控制装置，其中，
所述处理器被配置成：
将所述数据写入缓冲区上的相应数据块中；以及
对于每次写入来判断在全体写入单元区域中是否存在可用的空区域，所述全体写入单元区域对应于其中在所述缓冲区上布置多个数据块的容量；以及
根据判断结果在所述存储装置中执行全体写入。
3.根据权利要求1所述的存储控制装置，其中，所述写入控制包括用于在所述数据单元报头中写入检测所述数据的错误的码的控制。
4.根据权利要求1所述的存储控制装置，其中，所述写入控制包括用于在所述报头区域中写入数据块报头的控制，所述数据块报头包括要存储在所述数据块中的数据片的数目、接下来要写入的数据的索引、以及接下来要写入的所述数据的偏移。
5.根据权利要求1所述的存储控制装置，其中，所述物理标识符包括：
DG标识符，其标识通过对多个存储介质进行分组而获得的驱动器组；
RU标识符，其标识全体写入单元区域，所述全体写入单元区域是用于对所述存储装置中的所述数据块进行全体写入的单元；以及
槽标识符，其标识所述全体写入单元区域中存储所述数据块的槽。
6.根据权利要求1所述的存储控制装置，其中，
所述处理器被配置成：
当存在数据重复时，将所述元信息中的数据块标识符和索引设置成与引用中的数据块标识符和索引相同；并且
存储引用信息，所述引用信息将指示所述数据的重复数目的引用计数与所述存储器中的所述数据相关联，以及
当不存在数据重复时，压缩数据。
7.根据权利要求1所述的存储控制装置，其中，所述存储装置使用对写入次数具有限制的存储介质。
8.一种存储控制方法，包括：
在存储器中存储元信息，所述元信息将逻辑地址与数据块标识符和索引相关联，所述逻辑地址用于标识来自使用存储装置的信息处理装置的数据，所述数据块标识符用于标识数据块，所述索引指示所述数据在所述数据块中的附加写入的顺序，所述数据块用于所述数据在所述存储装置上的布置，并且所述数据块包括报头区域和有效载荷区域，所述报头区域具有用于存储与对应于多个索引的数据有关的报头信息的容量，所述有效载荷区域具有用于存储对应于所述多个索引的数据的容量；
在所述存储器中存储映射信息，所述映射信息将所述数据块标识符与指示所述数据块在所述存储装置上的物理位置的物理标识符相关联；
基于所述数据块的所述物理标识符和所述索引来指定所述数据块和在所述数据块的有效载荷区域中的写入位置；
将所述数据写入所指定的数据块中；以及
执行写入控制，所述写入控制用于在所述报头区域中的所述索引所指定的位置处写入数据单元报头，所述数据单元报头包括指示在所述数据块中的所述写入位置的偏移和指示所述数据的长度的数据长度。
9.根据权利要求8所述的存储控制方法，还包括：
将所述数据写入缓冲区上的相应数据块中；以及
对于每次写入来判断在全体写入单元区域中是否存在可用的空区域，所述全体写入单元区域对应于其中在所述缓冲区上布置多个数据块的容量；以及
根据判断结果在所述存储装置中执行全体写入。
10.根据权利要求8所述的存储控制方法，其中，所述写入控制包括用于在所述数据单元报头中写入检测所述数据的错误的码的控制。
11.根据权利要求8所述的存储控制方法，其中，所述写入控制包括用于在所述报头区域中写入数据块报头的控制，所述数据块报头包括要存储在所述数据块中的数据片的数目、接下来要写入的数据的索引、以及接下来要写入的所述数据的偏移。
12.根据权利要求8所述的存储控制方法，其中，所述存储装置使用对写入次数具有限制的存储介质。
13.一种记录有存储控制程序的非暂态计算机可读记录介质，所述存储控制程序用于使计算机执行处理，所述处理包括：
在存储器中存储元信息，所述元信息将逻辑地址与数据块标识符和索引相关联，所述逻辑地址用于标识来自使用存储装置的信息处理装置的数据，所述数据块标识符用于标识数据块，所述索引指示所述数据在所述数据块中的附加写入的顺序，所述数据块用于所述数据在所述存储装置上的布置，并且所述数据块包括报头区域和有效载荷区域，所述报头区域具有用于存储与对应于多个索引的数据有关的报头信息的容量，所述有效载荷区域具有用于存储对应于所述多个索引的数据的容量；
在所述存储器中存储映射信息，所述映射信息将所述数据块标识符与指示所述数据块在所述存储装置上的物理位置的物理标识符相关联；
基于所述数据块的所述物理标识符和所述索引来指定所述数据块和在所述数据块的有效载荷区域中的写入位置；
将所述数据写入所指定的数据块中；以及
执行写入控制，所述写入控制用于在所述报头区域中的所述索引所指定的位置处写入数据单元报头，所述数据单元报头包括指示在所述数据块中的所述写入位置的偏移和指示所述数据的长度的数据长度。
14.根据权利要求13所述的非暂态计算机可读记录介质，还包括：
将所述数据写入缓冲区上的相应数据块中；以及
对于每次写入来判断在全体写入单元区域中是否存在可用的空区域，所述全体写入单元区域对应于其中在所述缓冲区上布置多个数据块的容量；以及
根据判断结果在所述存储装置中执行全体写入。
15.根据权利要求13所述的非暂态计算机可读记录介质，其中，所述写入控制包括用于在所述数据单元报头中写入检测所述数据的错误的码的控制。
16.根据权利要求13所述的非暂态计算机可读记录介质，其中，所述写入控制包括用于在所述报头区域中写入数据块报头的控制，所述数据块报头包括要存储在所述数据块中的数据片的数目、接下来要写入的数据的索引、以及接下来要写入的所述数据的偏移。
17.根据权利要求13所述的非暂态计算机可读记录介质，其中，所述存储装置使用对写入次数具有限制的存储介质。
CN201910092283.XA 2018-02-02 2019-01-30 存储控制装置、存储控制方法和记录介质 Pending CN110134618A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-017655 2018-02-02
JP2018017655A JP6443572B1 (ja) 2018-02-02 2018-02-02 ストレージ制御装置、ストレージ制御方法及びストレージ制御プログラム

Publications (1)

Publication Number Publication Date
CN110134618A true CN110134618A (zh) 2019-08-16

Family

ID=64899534

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910092283.XA Pending CN110134618A (zh) 2018-02-02 2019-01-30 存储控制装置、存储控制方法和记录介质

Country Status (4)

Country Link
US (1) US10866743B2 (zh)
JP (1) JP6443572B1 (zh)
KR (1) KR102245113B1 (zh)
CN (1) CN110134618A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112181732A (zh) * 2020-10-29 2021-01-05 第四范式（北京）技术有限公司 参数服务器节点的恢复方法和恢复系统
CN112559388A (zh) * 2020-12-14 2021-03-26 杭州宏杉科技股份有限公司 数据缓存方法及装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111752466B (zh) * 2019-03-27 2024-02-13 深圳市茁壮网络股份有限公司 一种数据存储方法及装置
CN112114753B (zh) * 2020-09-17 2022-09-30 杭州海康威视系统技术有限公司 一种数据写入方法、装置及设备
CN114442903B (zh) * 2020-10-30 2024-07-05 伊姆西Ip控股有限责任公司 管理存储系统的方法、电子设备和计算机程序产品
KR102486980B1 (ko) * 2021-01-08 2023-01-11 주식회사 앤다스 블록 데이터 스토리지 시스템, 블록 데이터 스토리지 방법 및 기록 매체에 저장된 프로그램
CN114356232B (zh) * 2021-12-30 2024-04-09 西北工业大学 数据读写方法和装置
CN117891414A (zh) * 2024-03-14 2024-04-16 支付宝(杭州)信息技术有限公司 一种基于完美哈希的数据存储方法及相关设备

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6721316B1 (en) * 2000-02-14 2004-04-13 Cisco Technology, Inc. Flexible engine and data structure for packet header processing
US20040083332A1 (en) * 2002-10-22 2004-04-29 International Business Machines Corp. Water marking in a data interval gap
US20060010227A1 (en) * 2004-06-01 2006-01-12 Rajeev Atluri Methods and apparatus for accessing data from a primary data storage system for secondary storage
US20060120372A1 (en) * 2004-12-08 2006-06-08 Intel Corporation Method and apparatus to generate a data descriptor
WO2008057833A2 (en) * 2006-11-08 2008-05-15 Sicortex, Inc. System and method for remote direct memory access without page locking by the operating system
US20110219205A1 (en) * 2010-03-05 2011-09-08 Solidfire, Inc. Distributed Data Storage System Providing De-duplication of Data Using Block Identifiers
US20140281217A1 (en) * 2013-03-12 2014-09-18 Netapp, Inc. Technique for rapidly converting between storage representations in a virtualized computing environment
CN104115109A (zh) * 2012-02-08 2014-10-22 株式会社日立制作所 具有多个非易失性半导体存储单元的存储装置及其用于在具有较高残留寿命长度的存储单元中放置热数据而在具有较低残留寿命长度的存储单元中放置冷数据的控制方法
US8874850B1 (en) * 2012-05-10 2014-10-28 Netapp, Inc. Hierarchically tagged cache
US20150058554A1 (en) * 2013-08-21 2015-02-26 Netapp, Inc. Systems, Methods, and Computer Program Products Implementing Hybrid File Structures for Data Storage
US20150242309A1 (en) * 2014-02-24 2015-08-27 Fusion-Io, Inc. Systems and methods for storage compression
US20150301934A1 (en) * 2014-04-21 2015-10-22 Lsi Corporation Flash-based data storage with dual map-based serialization
US20150347310A1 (en) * 2014-05-30 2015-12-03 Lsi Corporation Storage Controller and Method for Managing Metadata in a Cache Store
US20160054920A1 (en) * 2014-08-21 2016-02-25 Datrium, Inc. Distributed Data Storage System with Key-Based Addressing
US20160055054A1 (en) * 2014-08-21 2016-02-25 Datrium, Inc. Data Reconstruction in Distributed Data Storage System with Key-Based Addressing
US20170308303A1 (en) * 2016-04-21 2017-10-26 Netapp, Inc. Systems, Methods, and Computer Readable Media Providing Arbitrary Sizing of Data Extents
US20170364307A1 (en) * 2013-04-17 2017-12-21 Apeiron Data Systems Switched direct attached shared storage architecture

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3954698B2 (ja) * 1997-08-29 2007-08-08 パナソニック コミュニケーションズ株式会社 メモリー制御装置
KR101398403B1 (ko) * 2005-11-22 2014-05-26 샌디스크 테크놀로지스, 인코포레이티드 레거시 호스트들을 위한 방법 및 메모리 시스템
JP5399094B2 (ja) * 2009-02-25 2014-01-29 株式会社日立情報通信エンジニアリング 補助記憶装置用フィルタドライバ手段を備えた電子計算機、補助記憶装置用フィルタドライバプログラム、及び、補助記憶装置用フィルタドライバプログラムの記録媒体
JP2011209973A (ja) * 2010-03-30 2011-10-20 Hitachi Ltd ディスクアレイ構成プログラム、計算機、計算機システム
JP5485846B2 (ja) * 2010-09-17 2014-05-07 富士通テン株式会社 情報記録装置
JP5586718B2 (ja) 2012-06-19 2014-09-10 株式会社東芝 制御プログラム、ホスト装置の制御方法、情報処理装置およびホスト装置
JP5802804B2 (ja) 2012-06-19 2015-11-04 株式会社東芝 制御プログラム、ホスト装置の制御方法、情報処理装置およびホスト装置
JP5978259B2 (ja) * 2013-08-16 2016-08-24 エルエスアイ コーポレーション 順次読み出し最適化可変サイズフラッシュトランスレーションレイヤ
KR101842621B1 (ko) * 2013-09-26 2018-03-27 인텔 코포레이션 지속 메모리에 대한 블록 저장 애퍼처들
WO2015118630A1 (ja) * 2014-02-05 2015-08-13 株式会社日立製作所 ストレージシステムおよびストレージシステム用キャッシュ制御装置
WO2015162766A1 (ja) * 2014-04-24 2015-10-29 株式会社日立製作所 ストレージシステム及び半導体記憶装置
WO2016185573A1 (ja) 2015-05-20 2016-11-24 株式会社日立製作所 重複排除ストレージにおけるボリュームバックアップ・リストア方法

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6721316B1 (en) * 2000-02-14 2004-04-13 Cisco Technology, Inc. Flexible engine and data structure for packet header processing
US20040083332A1 (en) * 2002-10-22 2004-04-29 International Business Machines Corp. Water marking in a data interval gap
US20060010227A1 (en) * 2004-06-01 2006-01-12 Rajeev Atluri Methods and apparatus for accessing data from a primary data storage system for secondary storage
US20060120372A1 (en) * 2004-12-08 2006-06-08 Intel Corporation Method and apparatus to generate a data descriptor
WO2008057833A2 (en) * 2006-11-08 2008-05-15 Sicortex, Inc. System and method for remote direct memory access without page locking by the operating system
US20110219205A1 (en) * 2010-03-05 2011-09-08 Solidfire, Inc. Distributed Data Storage System Providing De-duplication of Data Using Block Identifiers
CN104115109A (zh) * 2012-02-08 2014-10-22 株式会社日立制作所 具有多个非易失性半导体存储单元的存储装置及其用于在具有较高残留寿命长度的存储单元中放置热数据而在具有较低残留寿命长度的存储单元中放置冷数据的控制方法
US8874850B1 (en) * 2012-05-10 2014-10-28 Netapp, Inc. Hierarchically tagged cache
US20140281217A1 (en) * 2013-03-12 2014-09-18 Netapp, Inc. Technique for rapidly converting between storage representations in a virtualized computing environment
US20170364307A1 (en) * 2013-04-17 2017-12-21 Apeiron Data Systems Switched direct attached shared storage architecture
US20150058554A1 (en) * 2013-08-21 2015-02-26 Netapp, Inc. Systems, Methods, and Computer Program Products Implementing Hybrid File Structures for Data Storage
US20150242309A1 (en) * 2014-02-24 2015-08-27 Fusion-Io, Inc. Systems and methods for storage compression
US20150301934A1 (en) * 2014-04-21 2015-10-22 Lsi Corporation Flash-based data storage with dual map-based serialization
US20150347310A1 (en) * 2014-05-30 2015-12-03 Lsi Corporation Storage Controller and Method for Managing Metadata in a Cache Store
US20160054920A1 (en) * 2014-08-21 2016-02-25 Datrium, Inc. Distributed Data Storage System with Key-Based Addressing
US20160055054A1 (en) * 2014-08-21 2016-02-25 Datrium, Inc. Data Reconstruction in Distributed Data Storage System with Key-Based Addressing
US20170308303A1 (en) * 2016-04-21 2017-10-26 Netapp, Inc. Systems, Methods, and Computer Readable Media Providing Arbitrary Sizing of Data Extents

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112181732A (zh) * 2020-10-29 2021-01-05 第四范式（北京）技术有限公司 参数服务器节点的恢复方法和恢复系统
CN112559388A (zh) * 2020-12-14 2021-03-26 杭州宏杉科技股份有限公司 数据缓存方法及装置
CN112559388B (zh) * 2020-12-14 2022-07-12 杭州宏杉科技股份有限公司 数据缓存方法及装置

Also Published As

Publication number Publication date
US10866743B2 (en) 2020-12-15
KR20190094108A (ko) 2019-08-12
JP2019133601A (ja) 2019-08-08
KR102245113B1 (ko) 2021-04-26
US20190243563A1 (en) 2019-08-08
JP6443572B1 (ja) 2018-12-26

Similar Documents

Publication Publication Date Title
CN110134618A (zh) 存储控制装置、存储控制方法和记录介质
US9916248B2 (en) Storage device and method for controlling storage device with compressed and uncompressed volumes and storing compressed data in cache
JP4440803B2 (ja) 記憶装置、その制御方法及びプログラム
CN107122131B (zh) 自动精简配置的方法及装置
US7584229B2 (en) Method and system for priority-based allocation in a storage pool
KR101965549B1 (ko) 고체 상태 드라이브에서 자유 공간 어카운트와 함께 재구축되는 2 스테이지 파워 온 맵을 위한 방법들, 디바이스들, 및 시스템들
US6865650B1 (en) System and method for hierarchical data storage
US8918619B2 (en) Virtualized storage system and method of operating thereof
KR102603070B1 (ko) 메모리 시스템, 메모리 시스템에 데이터를 기록하는 방법 및 메모리 시스템으로부터 데이터를 판독하는 방법
US20140164684A1 (en) Storage array controller
JP6429963B2 (ja) ストレージ装置及びストレージ装置の制御方法
KR20070060070A (ko) 최적화된 순차적인 클러스터 관리용 에프에이티 분석
JPH08511369A (ja) レードディスクサブシステムを備えた、ファイルシステムのファイル割り当て方法
US20080104355A1 (en) Method and system for reallocating blocks in a storage pool
JP6443571B1 (ja) ストレージ制御装置、ストレージ制御方法及びストレージ制御プログラム
US11334276B2 (en) Using segment pre-allocation to support large segments
US20150121003A1 (en) Storage controllers
US6611852B1 (en) System and method for cleaning a log structure
US11704053B1 (en) Optimization for direct writes to raid stripes
US6507890B1 (en) System and method for expanding a log structure in a disk array
JP2018181202A (ja) ストレージ制御装置、ストレージ制御方法及びストレージ制御プログラム
US11868248B2 (en) Optimization for garbage collection in a storage system
US11579786B2 (en) Architecture utilizing a middle map between logical to physical address mapping to support metadata updates for dynamic block relocation
WO2014170936A1 (ja) ストレージ装置及びストレージ装置の制御方法
US11288006B2 (en) Storage system and volume copying method where changes to address conversion table is rolled back

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20230407