CN107391774B - 基于重复数据删除的日志文件系统的垃圾回收方法 - Google Patents

基于重复数据删除的日志文件系统的垃圾回收方法 Download PDF

Info

Publication number
CN107391774B
CN107391774B CN201710834662.2A CN201710834662A CN107391774B CN 107391774 B CN107391774 B CN 107391774B CN 201710834662 A CN201710834662 A CN 201710834662A CN 107391774 B CN107391774 B CN 107391774B
Authority
CN
China
Prior art keywords
data
data block
journey
file system
over journey
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710834662.2A
Other languages
English (en)
Other versions
CN107391774A (zh
Inventor
吴素贞
栾华高
毛波
饶辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN201710834662.2A priority Critical patent/CN107391774B/zh
Publication of CN107391774A publication Critical patent/CN107391774A/zh
Application granted granted Critical
Publication of CN107391774B publication Critical patent/CN107391774B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1847—File system types specifically adapted to static storage, e.g. adapted to flash memory or SSD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system
    • G06F16/1748—De-duplication implemented within the file system, e.g. based on file segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/185—Hierarchical storage management [HSM] systems, e.g. file migration or policies thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G06F3/0641—De-duplication techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

基于重复数据删除的日志文件系统的垃圾回收方法，涉及计算机数据存储方法。由初始化、并行的数据处理、垃圾回收和结束步骤。根据重复数据删除技术得到的数据块的引用值，将数据分为强数据和弱数据，然后在日志文件系统进行垃圾回收时将强数据块和弱数据块分别迁移到不同的数据段中，从而实现强弱数据的分开存储。对于强数据段，段内数据块的失效率低，进行垃圾回收的次数就少，对于弱数据段，段内数据块的失效率高，进行垃圾回收时需要迁移的有效数据块就少。因此，这种基于重复数据删除的日志文件系统的垃圾回收方法可以有效地减少日志文件系统中垃圾回收时迁移数据块的次数，进而可以提高闪存存储系统的性能和可靠性。

Description

基于重复数据删除的日志文件系统的垃圾回收方法
技术领域
本发明涉及计算机数据存储方法，尤其是涉及一种基于重复数据删除的日志文件系统的垃圾回收方法。
背景技术
近年来，随着闪存存储介质的快速发展，基于闪存的固态盘被广泛使用于企业级存储系统及数据中心中。为了充分发挥闪存固态盘的高顺序写性能，基于闪存固态盘的存储系统越来越多地采用日志文件系统。
日志文件系统在存储管理单位上主要分两个粒度：数据段和数据块。其中，数据块是读、写和删除操作的基本单位，数据段是垃圾回收操作的基本单位，一个数据段由多个数据块组成。日志文件系统具有两个显著的特点：顺序写及异地更新。所谓顺序写是指在当前已分配的数据段中，所有写请求都是一个接一个顺序地往地址增长的数据块里写入内容；而所谓的异地更新是指更新数据块时，将原数据块的数据置为无效，将新数据写入到其他空闲数据块中。
由于闪存存储介质的异地更新特性，闪存存储介质需要擦除后才能再次存储数据，擦除的单位是闪存数据块(逻辑上对应日志文件系统的一个数据段)，一个闪存数据块包括多个闪存数据页(逻辑上对应日志文件系统的一个数据块)，在闪存固态盘内部进行垃圾回收操作时，需要先将选中要擦除的闪存数据块中的有效数据页迁移到空闲数据块中。同样地，由于日志文件系统的异地更新特性，随着系统运行时间的增长，系统中的无效数据块会越来越多，而空闲数据块会越来越少。因此，需要回收系统中的无效数据块使之成为空闲数据块，这一过程称为日志文件系统的垃圾回收。虽然，日志文件系统的垃圾回收操作不需要擦除数据段，但是为了保证数据段内顺序写的特性，日志文件系统也需要先将选中做垃圾回收的数据段中的有效数据块迁移到空闲数据段中，然后回收整个数据段的存储空间。
虽然在日志文件系统的垃圾回收过程中，数据迁移是在文件系统的层次进行，然而该操作会反映到底层闪存设备上，因此日志文件系统的数据迁移实际上会导致闪存内部的数据迁移，大大增加了闪存内部的数据迁移次数和垃圾回收时的擦除次数，对闪存的访问性能和寿命都会有很大的负面影响。因此，减少日志文件系统的垃圾回收过程中迁移的数据块，可以提高闪存存储系统的性能和可靠性。
另一方面，重复数据删除技术将文件分块，然后根据数据块计算的指纹值删除重复的数据块。因此，在重复数据删除存储系统中，存储在设备上的数据块往往是唯一的、非重复数据块。其中，有些数据块可能被多个文件所共享，对于这样的数据块，若要使之失效，必须对所有共享它的文件进行操作。因此，我们认为同时被多个文件共享的数据块的失效概率低，在本发明中将其称为强数据；相对地，同时被较少文件共享的数据块的失效概率高，称为弱数据。
目前，已经有不少将重复数据删除技术实现到日志文件系统的研究。
参考文献：
[1]Changman Lee,Dongho Sim,Joo-Young Hwang,and Sangyeun Cho.F2FS:ANew File System for Flash Storage.Proceedings of the 13th USENIX Conferenceon File and Storage Technologies(FAST’15).Santa Clara,CA,USA.February 16–19,2015.
发明内容
本发明的目的在于提供针对基于重复数据删除的日志文件系统，减少日志文件系统中垃圾回收时迁移数据块的次数，进而提高闪存存储系统的性能和可靠性的基于重复数据删除的日志文件系统的垃圾回收方法。
本发明包括以下步骤：
1)初始化步骤，包括以下过程：
(1)根据用户指令挂载日志文件系统，初始化模块判断指纹索引表是否存在，若是，则转过程(2)，否则转过程(4)；
(2)从固态盘的超级块读取指纹索引表、强数据段指针及弱数据段指针到内存，转过程(3)；
(3)从固态盘的超级块获取用来区分强数据和弱数据的引用值的阈值(当数据的引用值大于阈值时说明该数据为强数据，当数据的引用值小于阈值时说明该数据为弱数据)，转并行的步骤2)和步骤3)；
(4)在内存中创建指纹索引表、强数据段指针及弱数据段指针并初始化，转过程(5)；
(5)设置用于区分强数据和弱数据的引用值的阈值，转并行的步骤2)和步骤3)；
2)数据处理步骤，包括以下过程：
(1)等待上层用户请求操作，数据处理模块判断该操作是否为读操作，若是，则转过程(2)，否则判断该操作是否为写操作，若是，则转过程(3)，否则表示该操作为删除操作，转过程(6)；
(2)根据用户指令中待读取数据块的地址，从固态盘上读取数据块返回上层用户，转过程(1)；
(3)计算待写入数据块的指纹值，在指纹索引表中查找是否存在相同的指纹值，若是，则表示该数据块为重复的数据块，转过程(4)，否则表示该数据块为非重复的数据块，转过程(5)；
(4)将该数据块的引用值加1，转过程(9)；
(5)分配新的空闲数据块存储该数据块，在指纹索引表中添加对应的指纹表项，并置该数据块的引用值为1，转过程(9)；
(6)根据待删除数据块的地址查找指纹索引表，判断该数据块的引用值是否大于1，若是，则转过程(7)，否则转过程(8)；
(7)将该数据块的引用值减1，转过程(9)；
(8)将指索引表中该数据块对应的表项置空，将该数据块标志为无效数据块，转过程(9)；
(9)更新日志文件系统的元数据，转过程(1)；
3)垃圾回收步骤，包括以下过程：
(1)垃圾回收控制模块根据日志文件系统状态或用户请求，判断日志文件系统是否需要进行垃圾回收，若是，则转过程(2)，否则转过程(1)；
(2)选择需要进行垃圾回收的数据段；
(3)判断该数据段是否包含需要迁移的有效数据块，若是，则转过程(4)，否则转过程(13)；
(4)读取该数据段内的一个有效数据块及其对应的元数据，转过程(5)；
(5)根据数据地址查找该数据块对应的指纹表项，判断该数据块的引用值是否大于阈值，若是，则转过程(6)，否则转过程(9)；
(6)判断当前强数据段是否有空闲的数据块，若是，则转过程(7)，否则转过程(8)；
(7)将该数据块写入到当前强数据段中，转过程(12)；
(8)挑选一个空闲段作为新的强数据段，将该数据块写入到该强数据段中，转过程(12)；
(9)判断当前弱数据段是否有空闲的数据块，若是，则转过程(10)，否则转过程(11)；
(10)将该数据块写入到当前弱数据段中，转过程(12)；
(11)挑选一个空闲段作为新的弱数据段，将该数据块写入到该弱数据段中，转过程(12)；
(12)将该数据块置为无效并更新对应的元数据，转过程(3)；
(13)擦除当前进行垃圾回收的数据段，更新日志文件系统的元数据，转过程(1)；
4)结束步骤，当用户发出卸载文件系统指令时，顺序进行以下过程：
(1)结束模块将指纹索引表、强数据段指针、弱数据段指针及区分强数据和弱数据的引用值的阈值写回固态盘的超级块中；
(2)卸载文件系统，释放相关资源。
所述指纹索引表可包括M条索引信息，每条索引信息由3个数据项构成：指纹值、数据块地址和引用值，M为大于等于0的自然数。
本发明由初始化步骤、并行的数据处理步骤、垃圾回收步骤、结束步骤组成，系统主要包括初始化模块、数据处理模块和垃圾回收模块。
本发明根据重复数据删除技术得到的数据块的引用值，将数据分为强数据和弱数据，然后在日志文件系统进行垃圾回收时将强数据块和弱数据块分别迁移到不同的数据段中，从而实现强弱数据的分开存储。对于强数据段，段内数据块的失效率低，进行垃圾回收的次数就少，对于弱数据段，段内数据块的失效率高，进行垃圾回收时需要迁移的有效数据块就少。因此，这种基于重复数据删除的日志文件系统的垃圾回收方法可以有效地减少日志文件系统中垃圾回收时迁移数据块的次数，进而可以提高闪存存储系统的性能和可靠性。
附图说明
图1为本发明实施例的各步骤关系示意图；
图2为指纹索引表中一条表项的示意图；
图3为本发明的初始化步骤过程示意图；
图4为本发明的数据处理步骤过程示意图；
图5为本发明的垃圾回收步骤过程示意图；
图6为本发明的结束步骤过程示意图。
具体实施方式
下面结合附图对本发明进一步详细说明。
图1为本发明各步骤关系示意图，初始化步骤完成后，进入并行的数据处理步骤和垃圾回收步骤，当用户发出卸载文件系统指令时，进入结束步骤。
图2为指纹索引表中一条表项的示意图，指纹索引表中，每条表项由3个数据项构成：数据块的指纹值、数据块地址和引用值。
图3为本发明的初始化步骤过程示意图，进行下述操作：
根据用户指令挂载日志文件系统，初始化模块判断指纹索引表是否存在，若是，则从固态盘的超级块读取指纹索引表、强数据段指针及弱数据段指针到内存，并从固态盘的超级块获取用来区分强数据和弱数据的引用值的阈值(当数据的引用值大于阈值时说明该数据为强数据，当数据的引用值小于阈值时说明该数据为弱数据)；否则在内存中创建指纹索引表、强数据段指针及弱数据段指针，并设置用来区分强数据和弱数据的引用值的阈值。
图4为本发明的数据处理阶段过程示意图，进行下述步骤：
数据处理模块等待上层用户请求操作，判断该操作是否为读操作，若是，则根据用户指令中待读取数据块的地址，从固态盘上读取数据块返回上层用户；否则判断该操作是否为写操作，若是，则计算待写入数据块的指纹值，在指纹索引表中查找是否存在相同的指纹值，若是，则表示该数据块为重复的数据块，将该数据块的引用值加1，更新日志文件系统的元数据，否则表示该数据块为非重复的数据块，分配新的空闲数据块存储该数据块，在指纹索引表中添加对应的指纹表项，并置该数据块的引用值为1，更新日志文件系统的元数据；否则表示该操作为删除操作，根据待删除数据块的地址查找指纹索引表，判断该数据块的引用值是否大于1，若是，则将该数据块的引用值减1，更新日志文件系统的元数据，否则将指索引表中该数据块对应的表项置空，将该数据块标志为无效数据块，更新日志文件系统的元数据。
图5为本发明的垃圾回收步骤过程示意图，进行下述操作：
垃圾回收控制模块根据日志文件系统状态或用户请求，判断日志文件系统是否需要进行垃圾回收，若日志文件系统不需要进行垃圾回收，则重新检测日志文件系统状态或用户请求，判断日志文件系统是否需要进行垃圾回收；否则选择需要进行垃圾回收的数据段，判断该数据段是否包含需要迁移的有效数据块，若该数据段不包含需要迁移的有效数据块，则擦除当前进行垃圾回收的数据段，更新日志文件系统的元数据；否则读取该数据段内的一个有效数据块及其对应的元数据，判断该数据块对应指纹表项的引用值是否大于阈值，若该数据块对应指纹表项的引用值大于阈值，则判断当前强数据段是否有空闲的数据块，若是，则将该数据块写入到当前强数据段中，将该数据块置为无效并更新对应的元数据，否则挑选一个空闲段作为新的强数据段，将该数据块写入到该强数据段中，将该数据块置为无效并更新对应的元数据；若该数据块对应指纹表项的引用值不大于阈值，则判断当前弱数据段是否有空闲的数据块，若是，则将该数据块写入到当前弱数据段中，将该数据块置为无效并更新对应的元数据，否则挑选一个空闲段作为新的弱数据段，将该数据块写入到该弱数据段中，将该数据块置为无效并更新对应的元数据。
图6为本发明的结束步骤过程示意图，进行下述操作：
结束模块将指纹索引表、强数据段指针、弱数据段指针及区分强数据和弱数据的引用值的阈值写回固态盘的超级块中，然后卸载文件系统，释放相关资源。
本发明充分利用重复数据删除技术的数据块引用特性来减少日志文件系统中垃圾回收时迁移数据块的次数，进而可以提高闪存存储系统的性能和可靠性。本发明由初始化步骤、并行的数据处理步骤、垃圾回收步骤、结束步骤组成。系统主要包括初始化模块、数据处理模块和垃圾回收模块。根据重复数据删除技术得到的数据块的引用值，将数据块区分为强数据和弱数据，然后在日志文件系统进行垃圾回收时将强数据块和弱数据块分别迁移到不同的数据段中，从而实现强弱数据的分离存储。对于强数据段，段内数据块的失效率低，进行垃圾回收的次数就少，而对于弱数据段，段内数据块的失效率高，进行垃圾回收时需要迁移的有效数据块就少。

Claims (3)

1.基于重复数据删除的日志文件系统的垃圾回收方法，其特征在于包括以下步骤：
1)初始化步骤，包括以下过程：
(1)根据用户指令挂载日志文件系统，初始化模块判断指纹索引表是否存在，若是，则转过程(2)，否则转过程(4)；
(2)从固态盘的超级块读取指纹索引表、强数据段指针及弱数据段指针到内存，转过程(3)；
(3)从固态盘的超级块获取用来区分强数据和弱数据的引用值的阈值，转并行的步骤2)和步骤3)；
(4)在内存中创建指纹索引表、强数据段指针及弱数据段指针并初始化，转过程(5)；
(5)设置用于区分强数据和弱数据的引用值的阈值，转并行的步骤2)和步骤3)；
2)数据处理步骤，包括以下过程：
(1)等待上层用户请求操作，数据处理模块判断该操作是否为读操作，若是，则转过程(2)，否则判断该操作是否为写操作，若是，则转过程(3)，否则表示该操作为删除操作，转过程(6)；
(2)根据用户指令中待读取数据块的地址，从固态盘上读取数据块返回上层用户，转过程(1)；
(3)计算待写入数据块的指纹值，在指纹索引表中查找是否存在相同的指纹值，若是，则表示该数据块为重复的数据块，转过程(4)，否则表示该数据块为非重复的数据块，转过程(5)；
(4)将该数据块的引用值加1，转过程(9)；
(5)分配新的空闲数据块存储该数据块，在指纹索引表中添加对应的指纹表项，并置该数据块的引用值为1，转过程(9)；
(6)根据待删除数据块的地址查找指纹索引表，判断该数据块的引用值是否大于1，若是，则转过程(7)，否则转过程(8)；
(7)将该数据块的引用值减1，转过程(9)；
(8)将指索引表中该数据块对应的表项置空，将该数据块标志为无效数据块，转过程(9)；
(9)更新日志文件系统的元数据，转过程(1)；
3)垃圾回收步骤，包括以下过程：
(1)垃圾回收控制模块根据日志文件系统状态或用户请求，判断日志文件系统是否需要进行垃圾回收，若是，则转过程(2)，否则转过程(1)；
(2)选择需要进行垃圾回收的数据段；
(3)判断该数据段是否包含需要迁移的有效数据块，若是，则转过程(4)，否则转过程(13)；
(4)读取该数据段内的一个有效数据块及其对应的元数据，转过程(5)；
(5)根据数据地址查找该数据块对应的指纹表项，判断该数据块的引用值是否大于阈值，若是，则转过程(6)，否则转过程(9)；
(6)判断当前强数据段是否有空闲的数据块，若是，则转过程(7)，否则转过程(8)；
(7)将该数据块写入到当前强数据段中，转过程(12)；
(8)挑选一个空闲段作为新的强数据段，将该数据块写入到该强数据段中，转过程(12)；
(9)判断当前弱数据段是否有空闲的数据块，若是，则转过程(10)，否则转过程(11)；
(10)将该数据块写入到当前弱数据段中，转过程(12)；
(11)挑选一个空闲段作为新的弱数据段，将该数据块写入到该弱数据段中，转过程(12)；
(12)将该数据块置为无效并更新对应的元数据，转过程(3)；
(13)擦除当前进行垃圾回收的数据段，更新日志文件系统的元数据，转过程(1)；
4)结束步骤，当用户发出卸载文件系统指令时，顺序进行以下过程：
(1)结束模块将指纹索引表、强数据段指针、弱数据段指针及区分强数据和弱数据的引用值的阈值写回固态盘的超级块中；
(2)卸载文件系统，释放相关资源。
2.如权利要求1所述基于重复数据删除的日志文件系统的垃圾回收方法，其特征在于在步骤1)第(3)部分中，所述从固态盘的超级块获取用来区分强数据和弱数据的引用值的阈值的具体方法为：当数据的引用值大于阈值时说明该数据为强数据，当数据的引用值小于阈值时说明该数据为弱数据。
3.如权利要求1所述基于重复数据删除的日志文件系统的垃圾回收方法，其特征在于所述指纹索引表包括M条索引信息，每条索引信息由3个数据项构成：指纹值、数据块地址和引用值，M为大于等于0的自然数。
CN201710834662.2A 2017-09-15 2017-09-15 基于重复数据删除的日志文件系统的垃圾回收方法 Active CN107391774B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710834662.2A CN107391774B (zh) 2017-09-15 2017-09-15 基于重复数据删除的日志文件系统的垃圾回收方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710834662.2A CN107391774B (zh) 2017-09-15 2017-09-15 基于重复数据删除的日志文件系统的垃圾回收方法

Publications (2)

Publication Number Publication Date
CN107391774A CN107391774A (zh) 2017-11-24
CN107391774B true CN107391774B (zh) 2019-11-19

Family

ID=60350120

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710834662.2A Active CN107391774B (zh) 2017-09-15 2017-09-15 基于重复数据删除的日志文件系统的垃圾回收方法

Country Status (1)

Country Link
CN (1) CN107391774B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090168B (zh) * 2017-12-14 2021-01-12 厦门市美亚柏科信息股份有限公司 一种通用f2fs文件系统解析方法、终端设备及存储介质
CN108052644B (zh) * 2017-12-22 2019-05-21 深圳大普微电子科技有限公司 数据模式日志文件系统的数据写入方法及系统
CN110851398B (zh) * 2018-08-20 2023-05-09 阿里巴巴集团控股有限公司 垃圾数据的回收处理方法、装置及电子设备
CN109445681B (zh) 2018-08-27 2021-05-11 华为技术有限公司 数据的存储方法、装置和存储系统
CN116166570A (zh) * 2019-07-31 2023-05-26 华为技术有限公司 一种垃圾回收方法及装置
CN110908966B (zh) * 2019-11-15 2022-06-10 浪潮电子信息产业股份有限公司 一种重删率计算方法、装置、设备及可读存储介质
CN112783656B (zh) * 2021-01-29 2024-04-30 杭州网易智企科技有限公司 内存管理方法、介质、装置和计算设备
CN114780489B (zh) * 2022-06-17 2022-10-04 苏州思萃工业互联网技术研究所有限公司 一种实现分布式块存储底层gc的方法及装置
CN114942908B (zh) * 2022-07-19 2023-01-17 阿里巴巴（中国）有限公司 索引系统、数据处理方法、电子设备及介质
TWI808011B (zh) * 2022-09-26 2023-07-01 慧榮科技股份有限公司 資料處理方法及對應之資料儲存裝置
CN117435135B (zh) * 2023-10-27 2024-04-02 广州鼎甲计算机科技有限公司 关于重复数据删除的存储空间回收的方法、装置和系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102508788B (zh) * 2011-09-28 2014-12-10 华为数字技术（成都）有限公司 Ssd及ssd垃圾回收方法和装置
CN102799535A (zh) * 2012-06-29 2012-11-28 记忆科技(深圳)有限公司 固态硬盘的数据处理方法及固态硬盘
CN103412826A (zh) * 2013-07-18 2013-11-27 记忆科技(深圳)有限公司 固态硬盘的垃圾回收方法及系统
CN103530237B (zh) * 2013-10-31 2016-02-17 厦门大学 一种固态盘阵列的垃圾回收方法
CN104933153B (zh) * 2015-06-24 2018-04-10 华中科技大学 一种基于协作的固态盘存储系统性能提高方法

Also Published As

Publication number Publication date
CN107391774A (zh) 2017-11-24

Similar Documents

Publication Publication Date Title
CN107391774B (zh) 基于重复数据删除的日志文件系统的垃圾回收方法
CN113168408B (zh) 利用压缩的键值存储树数据块溢出
CN104978151B (zh) 基于应用感知的重复数据删除存储系统中的数据重构方法
US11301379B2 (en) Access request processing method and apparatus, and computer device
US10402091B1 (en) Managing data in log-structured storage systems
US11347443B2 (en) Multi-tier storage using multiple file sets
KR100843543B1 (ko) 플래시 메모리 장치를 포함하는 시스템 및 그것의 데이터복구 방법
CN108733306B (zh) 一种文件合并方法及装置
KR102050723B1 (ko) 컴퓨팅 시스템 및 그 데이터 관리 방법
CN109697016B (zh) 用于改进容器的存储性能的方法和装置
CN112395212B (zh) 减少键值分离存储系统的垃圾回收和写放大的方法及系统
CN107239526B (zh) 文件系统实现方法、碎片整理方法、操作位置定位方法
CN105868122A (zh) 快闪存储设备的数据处理方法及装置
CN109671458A (zh) 管理闪存模块的方法及相关的闪存控制器
KR20120090965A (ko) 고체-상태 저장 디바이스 상에서 데이터를 캐싱하는 장치, 시스템, 및 방법
CN108628542B (zh) 一种文件合并方法及控制器
KR101933766B1 (ko) 플래시 메모리 플러싱을 개선하는 방법 및 시스템
JP2017079053A (ja) ストレージジャーナリングを改善する方法およびシステム
US9183127B2 (en) Sequential block allocation in a memory
US20170160940A1 (en) Data processing method and apparatus of solid state disk
CN111324303A (zh) Ssd垃圾回收方法、装置、计算机设备及存储介质
CN105917303A (zh) 一种控制器、识别数据块稳定性的方法和存储系统
CN108431784B (zh) 访问请求处理方法、装置及计算机系统
CN101154447B (zh) 一种闪存控制方法及闪存
CN113253926A (zh) 提升新型存储器的查询和存储性能的存储内索引构建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant