CN109376100A - 一种缓存写入方法、装置、设备及可读存储介质 - Google Patents

一种缓存写入方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN109376100A
CN109376100A CN201811307850.0A CN201811307850A CN109376100A CN 109376100 A CN109376100 A CN 109376100A CN 201811307850 A CN201811307850 A CN 201811307850A CN 109376100 A CN109376100 A CN 109376100A
Authority
CN
China
Prior art keywords
file
target stripe
ssd
caching
hdd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201811307850.0A
Other languages
English (en)
Inventor
冯龙
康运风
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN201811307850.0A priority Critical patent/CN109376100A/zh
Publication of CN109376100A publication Critical patent/CN109376100A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/12—Replacement control
    • G06F12/121—Replacement control using replacement algorithms
    • G06F12/123—Replacement control using replacement algorithms with age lists, e.g. queue, most recently used [MRU] list or least recently used [LRU] list
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1016—Performance improvement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1016—Performance improvement
    • G06F2212/1024—Latency reduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/20—Employing a main memory using a specific memory technology
    • G06F2212/202—Non-volatile memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/21—Employing a record carrier using a specific recording technology
    • G06F2212/214—Solid state disk

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种缓存写入方法，该方法包括以下步骤：按照LRU表中的文件索引排列顺序，从SSD中读取缓存的目标条带文件；判断目标条带文件的文件片段数量是否大于预设阈值；如果是，则对目标条带文件进行聚合，获得一个聚合数据块；将聚合数据块通过一个IO一次性写入HDD中，并将目标条带文件从SSD中删除。相较于目前对每一个文件片段均通过一次IO写入HDD的方式，本发明实施例所提供的方法，可充分利用SSD的快速读写性能，可提高存储系统的写性能，改善用户体验。本发明还公开了一种缓存写入装置、设备及可读存储介质，具有相应的技术效果。

Description

一种缓存写入方法、装置、设备及可读存储介质
技术领域
本发明涉及存储技术领域，特别是涉及一种缓存写入方法、装置、设备及可读存储介质。
背景技术
由于固态硬盘(如SATA SSD和NVMe SSD)具有非常高的IOPS。在现代存储系统中，通常使用这类快速存储介质作为机械硬盘HDD的缓存介质。即，写请求首先写入快速存储介质SSD上，并向客户端返回写完成标志，随后根据一定的策略将SSD上的数据下刷(写入)到机械硬盘上，最终完成数据写入机械硬盘HDD。
要在HDD中写入数据，必须要磁头找到对应的磁道和扇区(对于多碟的机械硬盘首先需要确定柱面)，这全部依靠磁头的驱动马达来驱动(磁头本身是依靠盘片旋转产生的气流来悬浮的)。而马达这类机械装置的反应速度较低，所以机械硬盘会浪费大量的时间用于寻道操作(每次寻道大约10ms左右)。反应在HDD的IOPS上，则表现为IOPS较小，HDD的IOPS与SSD的IOPS相比则小得多，尤其是小IO场景中。如，在HDD中8KB的随机写IO每秒最多可以处理200个左右，128KB的随机写IO每秒也处理200个左右。
由于SSD读写性能，尤其是在小IO场景中的读写性能远好于HDD，具有SSD缓存的存储系统能够更快地完成写操作。同时当读请求命中SSD上的数据时，还具有读优化的作用。但是，由于SSD昂贵的成本，通常作为缓存的SSD的容量会比远远小于HDD的容量，当SSD上的空间被写满之后，SSD上的数据就不得不尽快向HDD上下刷，以释放SSD空间。因此，客户端的写性能最终会与SSD向HDD下刷的速度基本一致，而受到IO的限制，使得HDD的带宽未能充分利用。此时，写SSD缓存仅仅具有中转功能和读命中的加速功能，写优化，尤其是小IO写优化的意义就变得微乎其微。
综上所述，如何有效地提高存储系统的写性能等问题，是目前本领域技术人员急需解决的技术问题。
发明内容
本发明的目的是提供一种缓存写入方法、装置、设备及可读存储介质，以提高存储系统的写性能。
为解决上述技术问题，本发明提供如下技术方案：
一种缓存写入方法，包括：
按照LRU表中的文件索引排列顺序，从SSD中读取缓存的目标条带文件；
判断所述目标条带文件的文件片段数量是否大于预设阈值；
如果是，则对所述目标条带文件进行聚合，获得一个聚合数据块；
将所述聚合数据块通过一个IO一次性写入HDD中，并将所述目标条带文件从所述SSD中删除。
优选地，将所述目标条带文件从所述SSD中删除，包括：
判断所述目标条带文件是否存在写入更新；
如果是，则将所述目标条带文件对应的所述文件索引重新加入所述LRU表中；
如果否，则将所述目标条带文件从所述SSD中删除。
优选地，对所述目标条带文件进行聚合，获得一个聚合数据块，包括：
确定所述目标条带文件中的各个文件片段分别对应的偏移量区间，以及所述目标条带文件的空洞列表；
利用所述偏移量区间和所述空洞列表，创建数据块；
将各个所述文件片段的数据插入所述数据块中，获得聚合数据块。
优选地，利用所述偏移量区间和所述空洞列表，创建数据块，包括：
计算所述偏移区间与所述空洞列表中的空洞区间的区间总和；
创建覆盖所述区间总和的数据块。
优选地，判断所述目标条带文件的文件片段数量是否大于预设阈值之后，还包括：
如果否，则将所述目标条带文件的各个所述文件片段分别通过不同的IO写入HDD中，并将所述目标条带文件从所述SSD中删除。
优选地，还包括：
在将写请求对应的数据写入所述SSD时，记录所述写请求对应的条带文件和偏移量；
将所述偏移量相邻或重合的文件片段合并为一个文件片段。
优选地，在所述从SSD中读取缓存的目标条带文件之后，还包括：
判断所述目标条带文件中的各个所述文件片段之间的空洞区间是否均小于预设区间阈值；
如果是，则执行所述判断所述目标条带文件的文件片段数量是否大于预设阈值的步骤；
如果否，则将所述目标条带文件的各个所述文件片段分别通过不同的IO写入HDD中，并将所述目标条带文件从所述SSD中删除。
一种缓存写入装置，包括：
文件分析模块，用于按照LRU表中的文件索引排列顺序，从SSD中读取缓存的目标条带文件，判断所述目标条带文件的文件片段数量是否大于预设阈值；
聚合模块，用于如果是，则对所述目标条带文件进行聚合，获得一个聚合数据块；
下刷模块，用于将所述聚合数据块通过一个IO一次性写入HDD中；
空间回收模块，用于将所述目标条带文件从所述SSD中删除。
一种缓存写入设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现上述缓存写入方法的步骤。
一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述缓存写入方法的步骤。
应用本发明实施例所提供的方法，按照LRU表中的文件索引排列顺序，从SSD中读取缓存的目标条带文件；判断目标条带文件的文件片段数量是否大于预设阈值；如果是，则对目标条带文件进行聚合，获得一个聚合数据块；将聚合数据块通过一个IO一次性写入HDD中，并将目标条带文件从SSD中删除。
由于在将SSD中的缓存数据下刷至HDD时，需优先下刷冷数据。又因，LRU(LeastRecently Used，最近最少使用)表的作用是将冷数据放置在队尾，热数据放置在表的开头。因此，可按照LRU表中的文件索引排列顺序，从SSD中读取缓存的目标条带文件。然后，判断目标条带文件中的文件片段数量是否大于预设阈值，如果是，则对目标条带文件进行聚合，获得一个聚合数据块。在写入(下刷)目标条带文件至HDD时，则可将聚合数据块通过一个IO一次性写入HDD中，并将目标条带文件从SSD中删除。如此，便可完成将SSD中缓存的数据下刷至HDD中。由于在目标条带文件的文件片段数量大于预设阈值时，将目标条带文件聚合成可通过一次IO写入HDD的聚合数据块，相较于目前对每一个文件片段均通过一次IO写入HDD的方式，本发明实施例所提供的方法，减少HDD的IO数量，减少寻址时间，加快数据写入速度，可充分利用HDD的带宽，使SSD中的缓存数据可快速下刷至HDD中，即可充分利用SSD的快速读写性能，可提高存储系统的写性能，改善用户体验。
相应地，本发明实施例还提供了与上述缓存写入方法相对应的缓存写入装置、设备和可读存储介质，具有上述技术效果，在此不再赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种缓存写入方法的实施流程图；
图2为本发明实施例中一种目标条带文件聚合示意图；
图3为本发明实施例中一种缓存写入装置的结构示意图；
图4为本发明实施例中一种缓存写入设备的结构示意图；
图5为本发明实施例中一种缓存写入设备的具体结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：
请参考图1，图1为本发明实施例中一种缓存写入方法的流程图，该方法可应用于分布式块存储系统中。该方法包括以下步骤：
S101、按照LRU表中的文件索引排列顺序，从SSD中读取缓存的目标条带文件。
其中，LRU是Least Recently Used的缩写，即最近最少使用；其用途是将冷数据排在队尾，热数据排在表的开头。其中冷热数据之分，可根据数据的访问热度而定。在分布式块存储系统中，通常将块以4MB的条带大小进行划分，此时，每个文件的大小为4MB，在下刷(本文中的下刷即指将SSD中的缓存数据写入HDD中)时，根据文件被访问的先后顺序组成的LRU表进行下刷，最近被访问的数据最晚下刷，即将较热的数据尽可能晚的下刷到HDD上。按照LRU表中的文件索引排列顺序，从SSD中读取缓存的目标条带文件即为冷数据。
S102、判断目标条带文件的文件片段数量是否大于预设阈值。
需要说明的是，现有技术中，对待下刷至HDD的条带文件的下刷方式：根据LRU表对指定的条带文件进行下刷时，原有的下刷流程是获取这个4MB文件在SSD上的IO片段，依次将这些IO片段从SSD上写入到HDD中，当这些IO片段成功写入到HDD后，即可将SSD上该文件对应的数据删除，实现对SSD空间的回收。例如，在客户端业务为随机小IO的时候，该4MB的文件在SSD上可能有几个甚至数十个几KB的小IO片段，即在下刷这4MB的文件时，需占用HDD上几个甚至数十几个IO数量。
在本发明实施例中，可预先设置一个阈值，用于判断条带文件是否属于碎片密集型文件。该阈值的具体数值可为大于2的任意正整数，如4、6、7、10等数值。判断目标条带文件的文件片段数量是否大于预设阈值。如果是，则表明该目标条带文件是碎片密集型文件，如果否则表明该目标条带文件非碎片密集型文件。如果是，则可执行步骤S103的操作，如果否可执行步骤S105的操作。
S103、对目标条带文件进行聚合，获得一个聚合数据块。
当目标条带文件为碎片密集型文件时，则表明目标条带文件中的文件片段的数量大于预设阈值，此时若直接将目标条带文件下刷至HDD中，显然会占用HDD的大量IO。为减少占用HDD的IO量，可对目标条带文件进行聚合，完成聚合后，可获得一个聚合数据块。
具体的，在对目标条带文件进行聚合，获得一个聚合数据块的过程包括：
步骤一、确定目标条带文件中的各个文件片段分别对应的偏移量区间，以及目标条带文件的空洞列表；
步骤二、利用偏移量区间和空洞列表，创建数据块；
具体可为计算偏移区间与空洞列表中的空洞区间的区间总和，创建覆盖区间总和的数据块。
步骤三、将各个文件片段的数据插入数据块中，获得聚合数据块。
为便于描述，下面将上述三个步骤结合起来进行说明。
首先，获取这些文件片段间隔的空洞列表，然后一次性从HDD上将这些空洞对应的偏移长度的数据读取出来，将这些SSD上的小文件片段与从HDD读出来的空洞数据进行聚合，获取一个完整的数据段，该数据段既包括SSD上的最新数据，同时又不会覆盖HDD的已有数据。
下面以预设阈值为4，目标条带文件如图2所示的文件为例，对上述步骤进行详细说明。
目标条带文件(图示201)在SSD上有a、b、c、d、e五个文件片段，文件片段的数量大于4，目标条带文件属于碎片密集型文件。目标条带文件对应在4MB大小的文件上的偏移量区间为[0，4k]，[8k，16k]，[20k，30k]，[32k，42k]，[44k，72k]，则对应的空洞列表为[4k，8k]，[16k，20k]，[30，32k]，[42k，44k]。所以，空洞的总偏移量区间为[4k，44k]，要下刷的总长度为60k。
在对目标条带文件进行聚合时，首先，从SSD读取a、b、c、d、e五个文件片段的数据块，从HDD读取[4k,44k]的空洞数据；然后构造一个[0，72k]的数据块，称为聚合数据块，将HDD读取到的空洞数据插入到该聚合数据块)(图示202)，再将a、b、c、d、e五个片段数据块的数据插入到该聚合数据块，即可完成IO碎片的聚合。
S104、将聚合数据块通过一个IO一次性写入HDD中，并将目标条带文件从SSD中删除。
在将目标条带文件聚合为一个聚合数据块之后，则可通过一个IO将聚合数据块一次性写入HDD中。相较于一个文件片段即通过一个IO写入HDD中，将属于碎片密集型文件的目标条带文件进行聚合之后，可减少占用HDD的IO。例如，当目标条带文件为如图2的条带文件，通过聚合之后，通过一个IO便可将目标条带文件写入HDD中，相较于现有的一个文件片段使用一个ID而言，可减少占用HDD的4个IO。显然，当目标条带文件中文件片段越多，则可减少占用更多的HDD的IO。
在将聚合数据块写入HDD中后，可将目标条带文件从SSD中删除。即在SSD中回收空间，以便快速处理后续写请求。
S105、将目标条带文件的各个文件片段分别通过不同的IO写入HDD中，并将目标条带文件从SSD中删除。
当目标条带文件的文件片段数量未达到预设阈值时，则可直接将目标条带文件的各个文件片段分别通过不同的IO写入HDD中。即写入一个文件片段至HDD中，即占用HDD的一个IO。在将目标条带文件写入HDD中后，可将目标条带文件从SSD中删除。即在SSD中回收空间，以便快速处理后续写请求。
应用本发明实施例所提供的方法，按照LRU表中的文件索引排列顺序，从SSD中读取缓存的目标条带文件；判断目标条带文件的文件片段数量是否大于预设阈值；如果是，则对目标条带文件进行聚合，获得一个聚合数据块；将聚合数据块通过一个IO一次性写入HDD中，并将目标条带文件从SSD中删除。
由于在将SSD中的缓存数据下刷至HDD时，需优先下刷冷数据。又因，LRU(LeastRecently Used，最近最少使用)表的作用是将冷数据放置在队尾，热数据放置在表的开头。因此，可按照LRU表中的文件索引排列顺序，从SSD中读取缓存的目标条带文件。然后，判断目标条带文件中的文件片段数量是否大于预设阈值，如果是，则对目标条带文件进行聚合，获得一个聚合数据块。在写入(下刷)目标条带文件至HDD时，则可将聚合数据块通过一个IO一次性写入HDD中，并将目标条带文件从SSD中删除。如此，便可完成将SSD中缓存的数据下刷至HDD中。由于在目标条带文件的文件片段数量大于预设阈值时，将目标条带文件聚合成可通过一次IO写入HDD的聚合数据块，相较于目前对每一个文件片段均通过一次IO写入HDD的方式，本发明实施例所提供的方法，减少HDD的IO数量，减少寻址时间，加快数据写入速度，可使SSD中的缓存数据可快速下刷至HDD中，即可充分利用SSD的快速读写性能，可提高存储系统的写性能，改善用户体验。
需要说明的是，基于上述实施例，本发明实施例还提供了相应的改进方案。在优选/改进实施例中涉及与上述实施例中相同步骤或相应步骤之间可相互参考，相应的有益效果也可相互参照，在本文的优选/改进实施例中不再一一赘述。
优选地，在将目标条带文件下刷至HDD后，为提高读请求命中SSD上的缓存数据，即使SSD起到读优化的作用。在回收SSD的空间时，可执行以下操作：
步骤一、判断目标条带文件是否存在写入更新；
步骤二、如果是，则将目标条带文件对应的文件索引重新加入LRU表中；
步骤三、如果否，则将目标条带文件从SSD中删除。
为便于描述，下面将上述三个步骤结合起来进行说明。
判断目标条带文件是否存在写入更新，如果是，则表明目标条带文件属于热数据，用户访问可能性较大，此时可将目标条带文件对应的文件索引重新加入LRU表中；如果否，则表明目标条带文件暂时无人访问，为了减少占用SSD的空间，可将目标条带文件从SSD中删除。具体的，即将目标条带文件对应的数据从SSD中删除。
优选地，由于实际应用中，可能存在两个文件片段存在相邻或重合的情况，在这种情况下，文件片段对应的条带文件内的文件判断数量小于预设阈值，即在下刷至HDD时，仍然采用两个IO下刷至HDD中，显然是很浪费HDD的IO的处理方式。为减少占用HDD的IO，提出如下过程的解决方式：
步骤一、在将写请求对应的数据写入SSD时，记录写请求对应的条带文件和偏移量；
步骤二、将偏移量相邻或重合的文件片段合并为一个文件片段。
即，在将写请求对应的数据写入到SSD时，记录写请求对应的条带文件和偏移量，然后将偏移量相邻或重合的文件片段合并为一个文件片段。其中，如此，便可减少文件片段，进一步减少在下刷至HDD时的IO数。其中，文件片段重合是覆盖写，文件片段相邻是指IO连在一起了。例如，一个IO写到[0，8k]区间，另一个新的IO写到[6K，14K]区间，则里面[6k，8k]区间的旧数据就被覆盖了，这时候相当于组成了一个[0，14K]的区间，如此，下刷的时候只需要把[0,14K]的数据一次性下刷就可以了。当然，在对目标条带文件进行聚合时，也可先将相邻或重合的文件片段先合并为一个文件片段。
优选地，由于在聚合目标条带文件时，还需读取空洞数据，为减少读取空洞数据，还可在确定是否进行聚合之前，通过判断空洞区间是否小于预设区间阈值。具体的，即在从SSD中读取缓存的目标条带文件之后，还包括：
判断目标条带文件中的各个文件片段之间的空洞区间是否均小于预设区间阈值；
如果是，则执行判断目标条带文件的文件片段数量是否大于预设阈值的步骤；
如果否，则将目标条带文件的各个文件片段分别通过不同的IO写入HDD中，并将目标条带文件从SSD中删除。
即，如果目标条带文件中的各个文件片段之间的空洞区间均小于预设区间阈值，则执行步骤S102；如果目标条带文件中的各个文件片段之间的空洞区间不满足均小于预设区间阈值的条件，则执行步骤S105。
实施例二：
相应于上面的方法实施例，本发明实施例还提供了一种缓存写入装置，下文描述的缓存写入装置与上文描述的缓存写入方法可相互对应参照。
参见图3所示，该装置包括以下模块：
文件分析模块101，用于按照LRU表中的文件索引排列顺序，从SSD中读取缓存的目标条带文件，判断目标条带文件的文件片段数量是否大于预设阈值；
聚合模块102，用于如果是，则对目标条带文件进行聚合，获得一个聚合数据块；
下刷模块103，用于将聚合数据块通过一个IO一次性写入HDD中；
空间回收模块104，用于将目标条带文件从SSD中删除。
应用本发明实施例所提供的装置，按照LRU表中的文件索引排列顺序，从SSD中读取缓存的目标条带文件；判断目标条带文件的文件片段数量是否大于预设阈值；如果是，则对目标条带文件进行聚合，获得一个聚合数据块；将聚合数据块通过一个IO一次性写入HDD中，并将目标条带文件从SSD中删除。
由于在将SSD中的缓存数据下刷至HDD时，需优先下刷冷数据。又因，LRU(LeastRecently Used，最近最少使用)表的作用是将冷数据放置在队尾，热数据放置在表的开头。因此，可按照LRU表中的文件索引排列顺序，从SSD中读取缓存的目标条带文件。然后，判断目标条带文件中的文件片段数量是否大于预设阈值，如果是，则对目标条带文件进行聚合，获得一个聚合数据块。在写入(下刷)目标条带文件至HDD时，则可将聚合数据块通过一个IO一次性写入HDD中，并将目标条带文件从SSD中删除。如此，便可完成将SSD中缓存的数据下刷至HDD中。由于在目标条带文件的文件片段数量大于预设阈值时，将目标条带文件聚合成可通过一次IO写入HDD的聚合数据块，相较于目前对每一个文件片段均通过一次IO写入HDD的方式，本发明实施例所提供的装置，减少HDD的IO数量，减少寻址时间，加快数据写入速度，可使SSD中的缓存数据可快速下刷至HDD中，即可充分利用SSD的快速读写性能，可提高存储系统的写性能，改善用户体验。
在本发明的一种具体实施方式中，空间回收模块104，具体用于判断目标条带文件是否存在写入更新；如果是，则将目标条带文件对应的文件索引重新加入LRU表中；如果否，则将目标条带文件从SSD中删除。
在本发明的一种具体实施方式中，聚合模块102，具体用于确定目标条带文件中的各个文件片段分别对应的偏移量区间，以及目标条带文件的空洞列表；利用偏移量区间和空洞列表，创建数据块；将各个文件片段的数据插入数据块中，获得聚合数据块。
在本发明的一种具体实施方式中，聚合模块102，具体用于计算偏移区间与空洞列表中的空洞区间的区间总和；创建覆盖区间总和的数据块。
在本发明的一种具体实施方式中，下刷模块103，具体用于判断目标条带文件的文件片段数量是否大于预设阈值之后，如果否，则将目标条带文件的各个文件片段分别通过不同的IO写入HDD中，并将目标条带文件从SSD中删除。
在本发明的一种具体实施方式中，还包括：
文件判断合并模块，用于在将写请求对应的数据写入SSD时，记录写请求对应的条带文件和偏移量；将偏移量相邻或重合的文件片段合并为一个文件片段。
在本发明的一种具体实施方式中，文件分析模块101，具体用于在从SSD中读取缓存的目标条带文件之后，判断目标条带文件中的各个文件片段之间的空洞区间是否均小于预设区间阈值；如果是，则执行判断目标条带文件的文件片段数量是否大于预设阈值的步骤；如果否，则将目标条带文件的各个文件片段分别通过不同的IO写入HDD中，并将目标条带文件从SSD中删除。
实施例三：
相应于上面的方法实施例，本发明实施例还提供了一种缓存写入设备，下文描述的一种缓存写入设备与上文描述的一种缓存写入方法可相互对应参照。
参见图4所示，该缓存写入设备包括：
存储器D1，用于存储计算机程序；
处理器D2，用于执行计算机程序时实现上述方法实施例的缓存写入方法的步骤。
具体的，请参考图5，为本实施例提供的一种缓存写入设备的具体结构示意图，该缓存写入设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)322(例如，一个或一个以上处理器)和存储器332，一个或一个以上存储应用程序342或数据344的存储介质330(例如一个或一个以上海量存储设备)。其中，存储器332和存储介质330可以是短暂存储或持久存储。存储在存储介质330的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对数据处理设备中的一系列指令操作。更进一步地，中央处理器322可以设置为与存储介质330通信，在缓存写入设备301上执行存储介质330中的一系列指令操作。
缓存写入设备301还可以包括一个或一个以上电源326，一个或一个以上有线或无线网络接口350，一个或一个以上输入输出接口358，和/或，一个或一个以上操作系统341。例如，Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等。
上文所描述的缓存写入方法中的步骤可以由缓存写入设备的结构实现。
实施例四：
相应于上面的方法实施例，本发明实施例还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的一种缓存写入方法可相互对应参照。
一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的缓存写入方法的步骤。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

Claims (10)

1.一种缓存写入方法，其特征在于，包括：
按照LRU表中的文件索引排列顺序，从SSD中读取缓存的目标条带文件；
判断所述目标条带文件的文件片段数量是否大于预设阈值；
如果是，则对所述目标条带文件进行聚合，获得一个聚合数据块；
将所述聚合数据块通过一个IO一次性写入HDD中，并将所述目标条带文件从所述SSD中删除。
2.根据权利要求1所述的缓存写入方法，其特征在于，将所述目标条带文件从所述SSD中删除，包括：
判断所述目标条带文件是否存在写入更新；
如果是，则将所述目标条带文件对应的所述文件索引重新加入所述LRU表中；
如果否，则将所述目标条带文件从所述SSD中删除。
3.根据权利要求1所述的缓存写入方法，其特征在于，对所述目标条带文件进行聚合，获得一个聚合数据块，包括：
确定所述目标条带文件中的各个文件片段分别对应的偏移量区间，以及所述目标条带文件的空洞列表；
利用所述偏移量区间和所述空洞列表，创建数据块；
将各个所述文件片段的数据插入所述数据块中，获得聚合数据块。
4.根据权利要求3所述的缓存写入方法，其特征在于，利用所述偏移量区间和所述空洞列表，创建数据块，包括：
计算所述偏移区间与所述空洞列表中的空洞区间的区间总和；
创建覆盖所述区间总和的数据块。
5.根据权利要求1所述的缓存写入方法，其特征在于，判断所述目标条带文件的文件片段数量是否大于预设阈值之后，还包括：
如果否，则将所述目标条带文件的各个所述文件片段分别通过不同的IO写入HDD中，并将所述目标条带文件从所述SSD中删除。
6.根据权利要求1所述的缓存写入方法，其特征在于，还包括：
在将写请求对应的数据写入所述SSD时，记录所述写请求对应的条带文件和偏移量；
将所述偏移量相邻或重合的文件片段合并为一个文件片段。
7.根据权利要求1至6任一项所述的缓存写入方法，其特征在于，在所述从SSD中读取缓存的目标条带文件之后，还包括：
判断所述目标条带文件中的各个所述文件片段之间的空洞区间是否均小于预设区间阈值；
如果是，则执行所述判断所述目标条带文件的文件片段数量是否大于预设阈值的步骤；
如果否，则将所述目标条带文件的各个所述文件片段分别通过不同的IO写入HDD中，并将所述目标条带文件从所述SSD中删除。
8.一种缓存写入装置，其特征在于，包括：
文件分析模块，用于按照LRU表中的文件索引排列顺序，从SSD中读取缓存的目标条带文件，判断所述目标条带文件的文件片段数量是否大于预设阈值；
聚合模块，用于如果是，则对所述目标条带文件进行聚合，获得一个聚合数据块；
下刷模块，用于将所述聚合数据块通过一个IO一次性写入HDD中；
空间回收模块，用于将所述目标条带文件从所述SSD中删除。
9.一种缓存写入设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述缓存写入方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述缓存写入方法的步骤。
CN201811307850.0A 2018-11-05 2018-11-05 一种缓存写入方法、装置、设备及可读存储介质 Withdrawn CN109376100A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811307850.0A CN109376100A (zh) 2018-11-05 2018-11-05 一种缓存写入方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811307850.0A CN109376100A (zh) 2018-11-05 2018-11-05 一种缓存写入方法、装置、设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN109376100A true CN109376100A (zh) 2019-02-22

Family

ID=65397272

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811307850.0A Withdrawn CN109376100A (zh) 2018-11-05 2018-11-05 一种缓存写入方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN109376100A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110941595A (zh) * 2019-11-19 2020-03-31 北京奇艺世纪科技有限公司 一种文件系统访问方法及装置
CN111159124A (zh) * 2019-12-30 2020-05-15 浪潮电子信息产业股份有限公司 Linux内核文件系统异步写缓存方法、装置及介质
CN111176571A (zh) * 2019-12-27 2020-05-19 浪潮电子信息产业股份有限公司 一种本地对象的管理方法、装置、设备及介质
CN112486404A (zh) * 2019-09-12 2021-03-12 伊姆西Ip控股有限责任公司 用于管理存储块的方法、设备和计算机程序产品
CN112631520A (zh) * 2020-12-25 2021-04-09 北京百度网讯科技有限公司 分布式块存储系统、方法、装置、设备和介质
CN112817544A (zh) * 2021-03-05 2021-05-18 北京星网锐捷网络技术有限公司 一种数据处理方法、存储系统及存储设备
CN113806087A (zh) * 2021-09-10 2021-12-17 济南浪潮数据技术有限公司 一种基于下刷速度调整业务速度的方法和装置
CN114995770A (zh) * 2022-08-02 2022-09-02 苏州浪潮智能科技有限公司 一种数据处理方法、装置、设备、系统及可读存储介质
CN115543871A (zh) * 2022-11-29 2022-12-30 苏州浪潮智能科技有限公司 数据存储方法及相关设备
CN117539407A (zh) * 2024-01-04 2024-02-09 浙江大华技术股份有限公司 数据存储方法、电子设备及计算机可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150347022A1 (en) * 2014-05-28 2015-12-03 International Business Machines Corporation Reading and writing via file system for tape recording system
CN105224237A (zh) * 2014-05-26 2016-01-06 华为技术有限公司 一种数据存储方法及装置
CN105574104A (zh) * 2015-12-11 2016-05-11 上海爱数信息技术股份有限公司 一种基于ObjectStore的LogStructure存储系统及其数据写入方法
CN107066505A (zh) * 2017-01-10 2017-08-18 郑州云海信息技术有限公司 一种性能优化的小文件存储访问的系统及方法
CN107066592A (zh) * 2017-04-18 2017-08-18 广东浪潮大数据研究有限公司 一种用于文件系统的文件碎片整理方法及系统
CN107145301A (zh) * 2016-03-01 2017-09-08 深圳市深信服电子科技有限公司 基于混合磁盘的数据存取方法及装置
CN107729558A (zh) * 2017-11-08 2018-02-23 郑州云海信息技术有限公司 文件系统碎片整理的方法、系统、装置及计算机存储介质
CN108491402A (zh) * 2018-01-17 2018-09-04 艾体威尔电子技术(北京)有限公司 一种轻量级文件系统的实现方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105224237A (zh) * 2014-05-26 2016-01-06 华为技术有限公司 一种数据存储方法及装置
US20150347022A1 (en) * 2014-05-28 2015-12-03 International Business Machines Corporation Reading and writing via file system for tape recording system
CN105574104A (zh) * 2015-12-11 2016-05-11 上海爱数信息技术股份有限公司 一种基于ObjectStore的LogStructure存储系统及其数据写入方法
CN107145301A (zh) * 2016-03-01 2017-09-08 深圳市深信服电子科技有限公司 基于混合磁盘的数据存取方法及装置
CN107066505A (zh) * 2017-01-10 2017-08-18 郑州云海信息技术有限公司 一种性能优化的小文件存储访问的系统及方法
CN107066592A (zh) * 2017-04-18 2017-08-18 广东浪潮大数据研究有限公司 一种用于文件系统的文件碎片整理方法及系统
CN107729558A (zh) * 2017-11-08 2018-02-23 郑州云海信息技术有限公司 文件系统碎片整理的方法、系统、装置及计算机存储介质
CN108491402A (zh) * 2018-01-17 2018-09-04 艾体威尔电子技术(北京)有限公司 一种轻量级文件系统的实现方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112486404A (zh) * 2019-09-12 2021-03-12 伊姆西Ip控股有限责任公司 用于管理存储块的方法、设备和计算机程序产品
CN110941595A (zh) * 2019-11-19 2020-03-31 北京奇艺世纪科技有限公司 一种文件系统访问方法及装置
CN111176571A (zh) * 2019-12-27 2020-05-19 浪潮电子信息产业股份有限公司 一种本地对象的管理方法、装置、设备及介质
CN111159124A (zh) * 2019-12-30 2020-05-15 浪潮电子信息产业股份有限公司 Linux内核文件系统异步写缓存方法、装置及介质
CN111159124B (zh) * 2019-12-30 2022-04-22 浪潮电子信息产业股份有限公司 Linux内核文件系统异步写缓存方法、装置及介质
CN112631520B (zh) * 2020-12-25 2023-09-22 北京百度网讯科技有限公司 分布式块存储系统、方法、装置、设备和介质
CN112631520A (zh) * 2020-12-25 2021-04-09 北京百度网讯科技有限公司 分布式块存储系统、方法、装置、设备和介质
CN112817544A (zh) * 2021-03-05 2021-05-18 北京星网锐捷网络技术有限公司 一种数据处理方法、存储系统及存储设备
CN113806087A (zh) * 2021-09-10 2021-12-17 济南浪潮数据技术有限公司 一种基于下刷速度调整业务速度的方法和装置
CN113806087B (zh) * 2021-09-10 2023-12-26 济南浪潮数据技术有限公司 一种基于下刷速度调整业务速度的方法和装置
CN114995770B (zh) * 2022-08-02 2022-12-27 苏州浪潮智能科技有限公司 一种数据处理方法、装置、设备、系统及可读存储介质
CN114995770A (zh) * 2022-08-02 2022-09-02 苏州浪潮智能科技有限公司 一种数据处理方法、装置、设备、系统及可读存储介质
CN115543871A (zh) * 2022-11-29 2022-12-30 苏州浪潮智能科技有限公司 数据存储方法及相关设备
CN117539407A (zh) * 2024-01-04 2024-02-09 浙江大华技术股份有限公司 数据存储方法、电子设备及计算机可读存储介质
CN117539407B (zh) * 2024-01-04 2024-03-29 浙江大华技术股份有限公司 数据存储方法、电子设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN109376100A (zh) 一种缓存写入方法、装置、设备及可读存储介质
CN103186350B (zh) 混合存储系统及热点数据块的迁移方法
US10303600B2 (en) Method and storage device for collecting garbage data
CN103064797B (zh) 数据处理方法和虚拟机管理平台
JP7482905B2 (ja) ストレージシステム、メモリ管理方法、および管理ノード
TW201122812A (en) Page based management of flash storage
CN104503703B (zh) 缓存的处理方法和装置
KR20100037319A (ko) 플래시 메모리 장치를 위한 가변 공간 페이지 사상 방법 및그 장치
US20200183831A1 (en) Storage system and system garbage collection method
CN106527973A (zh) 一种数据重复删除的方法及装置
EP4030273A1 (en) Data storage method and device
CN113342279B (zh) 一种磁盘阵列访问方法、装置、设备及存储介质
CN111158602A (zh) 数据分层存储方法、读取方法、存储主机及存储系统
CN110147331A (zh) 缓存数据处理方法、系统及可读存储介质
CN113138945A (zh) 一种数据缓存方法、装置、设备及介质
CN109375868B (zh) 一种数据存储方法、调度装置、系统、设备及存储介质
US10585592B2 (en) Disk area isolation method and device
CN112799590A (zh) 一种针对在线主存储重删的差异化缓存方法
CN116755625A (zh) 一种数据处理方法、装置、设备及可读存储介质
WO2023082902A1 (zh) 索引的创建方法、计算设备及存储介质
CN101911198B (zh) 用于管理和编辑文件系统中文件的方法和装置
CN109960463B (zh) 一种磁盘管理方法、装置及存储介质
CN107015764B (zh) Nand flash的数据处理方法、装置和一种Nand flash
Zeng et al. CosaFS: A cooperative shingle-aware file system
CN114741028A (zh) 一种基于ocssd的持久键值存储方法、设备及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20190222

WW01 Invention patent application withdrawn after publication