CN113821459A - 一种缓存设备的数据下刷方法和系统 - Google Patents

Abstract

本发明公开一种缓存设备的数据下刷方法和系统，其中，缓存设备的数据下刷方法包括：当缓存设备需要下刷数据时，根据所述缓存设备的LRU队列提取数据对象；按照所述数据对象在所述缓存设备的逻辑区块地址，对所述数据对象进行排序；将排序后的所述数据对象依次插入在所述缓存设备的下刷工作队列中，以下刷至主存设备。本发明的技术方案能解决现有技术中缓存设备读写性能不佳的问题。

Description

一种缓存设备的数据下刷方法和系统

技术领域

本发明涉及分布式存储技术领域，尤其涉及一种缓存设备的数据下刷方法和系统。

背景技术

分布式存储系统中通常存在两种存储介质：一种是存储容量大、价格便宜的机械硬盘HDD；存储容量较小但存取速度较快、随机且并发性能更好的固态硬盘SSD。如图1所示，分布式存储系统通常以SSD作为缓存设备100，以HDD作为主存设备200，在数据写入到缓存设备100后就返回读写成功消息，之后再将缓存设备100(即SSD)中的数据异步下刷到主存设备200上，这样就可以提升读写请求的响应时间，兼顾成本和性能两方面的需求。

然而缓存设备(即SSD)的容量有限，当缓存设备空间不足时就需要下刷缓存设备中的数据来释放空间，缓存设备的数据下刷速度不高又会反过来影响数据请求的响应时延。缓存设备的数据下刷速度与主存设备的读写速度相关，作为主存设备的HDD，其读写速度则很大程度上受到其物理构造影响。当HDD顺序执行读写请求时，会按照扇区、磁头和柱面三层的层级顺序在物理介质上操作，以进行数据的获取/写入操作。然而，在柱面切换时磁盘必须进行磁头位置的机械切换，移动悬臂将磁头移动到数据位置对应的磁道上，这种方式即寻道操作。寻道操作是磁盘读写流程中最耗时的部分，远超其他诸如磁盘旋转延迟、数据存取和数据传输等过程消耗的时间。当HDD执行随机的读写请求时，需要更加频繁的进行寻道操作，因此性能较顺序读写相差很大。

在分布式存储系统中，缓存设备中数据的下刷常采用最近最少使用策略LRU算法，这种算法在下刷时选择LRU队列中活跃度最低的数据对象出队写入主存设备。因为下刷的冷数据往往并无相关性，这样就可能导致主存设备面临大量的随机写请求，大量时间都浪费在磁盘执行换道操作上，从而导致读写性能不佳。

发明内容

本发明提供了一种缓存设备的数据下刷方法和系统，旨在解决现有技术中LRU算法下刷数据对象，导致数据读写性能不佳的问题。

根据本发明的第一方面，本发明提供了一种缓存设备的数据下刷方法，包括：

当缓存设备需要下刷数据时，根据缓存设备的LRU队列提取数据对象；

按照数据对象在缓存设备的逻辑区块地址，对数据对象进行排序；

将排序后的数据对象依次插入在缓存设备的下刷工作队列中，以下刷至主存设备。

优选地，上述根据缓存设备的LRU队列提取数据对象的步骤，包括：

获取LRU队列中尾部预定数量的对象指针；

从下刷工作队列中，提取预定数量的对象指针对应的数据对象。

优选地，上述按照数据对象在缓存设备的逻辑区块地址，对数据对象进行排序的步骤，包括：

获取数据对象在缓存设备的数据逻辑区间内的逻辑区块地址；

按照逻辑区块地址线性递增的规律，对数据对象依次排序。

优选地，上述按照逻辑区块地址线性递增的规律，对数据对象进行排序的步骤，包括：

获取逻辑区块地址映射的数据对象的物理地址；

按照物理地址的前后顺序对数据对象的逻辑区块地址重新依次排序。

优选地，上述缓存设备的数据下刷方法，还包括：

下刷数据对象的逻辑区块地址信息，以使主存设备根据逻辑区块地址信息中的逻辑区块地址与CHS地址的对应关系，查找并读取数据对象。

优选地，上述缓存设备的数据下刷方法，还包括：

当数据对象下刷至主存设备后，将数据对象的对象指针从LRU队列中删除。

根据本发明的第二方面，本发明还提供了一种缓存设备的数据下刷系统，包括：

对象提取模块，用于当缓存设备需要下刷数据时，根据缓存设备的LRU队列提取数据对象；

对象排序模块，用于按照数据对象在缓存设备的逻辑区块地址，对数据对象进行排序；

对象插入模块，用于将排序后的数据对象依次插入在缓存设备的下刷工作队列中，以下刷至主存设备。

优选地，所述对象提取模块，包括：

指针获取子模块，用于获取LRU队列中尾部预定数量的对象指针；

对象获取子模块，用于从下刷工作队列中，提取预定数量的对象指针对应的数据对象。

优选地，所述对象排序模块，包括：

地址获取子模块，用于获取数据对象在缓存设备的数据逻辑区间内的逻辑区块地址；

数据排序子模块，用于按照逻辑区块地址线性递增的规律，对数据对象依次排序。

优选地，所述缓存设备的数据下刷系统，还包括：

指针删除模块，用于当数据对象下刷至主存设备后，将数据对象的对象指针从LRU队列中删除。

本申请提供的缓存设备的数据下刷方案，通过根据缓存设备的LRU队列从缓存设备中提取数据对象，然后按照数据对象在缓存设备的逻辑区块地址，排列上述数据对象，将排序后的数据对象依次插入到缓存设备的下刷工作队列中，从而下刷至主存设备。因为主存设备的寻址方式CHS寻址，是按照主存设备的柱面、磁头和扇区对数据对象寻址的，而CHS寻址与缓存设备的逻辑区块地址存在映射关系，因此按照数据对象在缓存设备的逻辑区块地址排序后，主存设备能够快速读取该数据对象，缓存设备的写数据速度是与主存设备的读对象速度正相关的，并且因为缓存设备内数据对象已被下刷，存储空间得到释放，这样缓存设备下刷速度将会大大提高，从而提升存储系统的读写性能和稳定性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1是本发明实施例提供的一种分布式存储系统的架构示意图；

图2是本发明实施例提供的第一种缓存设备的数据下刷方法的流程示意图；

图3是图2所示实施例提供的一种数据对象提取方法的流程示意图；

图4是图2所示实施例提供的一种数据对象排序方法的流程示意图；

图5是图4所示实施例提供的一种数据对象依次排序方法的流程示意图；

图6是本发明实施例提供的第二种缓存设备的数据下刷方法的流程示意图；

图7是本发明实施例提供的第三种缓存设备的数据下刷方法的流程示意图；

图8是本发明实施例提供的第一种缓存设备的数据下刷系统的结构示意图；

图9是图8所示实施例提供的一种对象提取模块的结构示意图；

图10是图8所示实施例提供的一种对象排序模块的结构示意图；

图11是本发明实施例提供的第二种缓存设备的数据下刷系统的结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

标号	名称	标号	名称
				100	缓存设备	200	主存设备

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的主要技术问题如下：

在分布式存储系统中，缓存设备中数据的下刷常采用最近最少使用策略LRU算法，这种算法在下刷时选择LRU队列中活跃度最低的数据对象出队写入主存设备。因为下刷的冷数据往往并无相关性，这样就可能导致主存设备面临大量的随机写请求，大量时间都浪费在磁盘执行换道操作上，从而导致读写性能不佳。

为了解决上述问题，具体参见图2，图2为本发明实施例提供的一种缓存设备的数据下刷方法的流程示意图，如图2所示，该根据本发明的第一方面，本发明提供了一种缓存设备的数据下刷方法，包括：

S110：当缓存设备需要下刷数据时，根据缓存设备的LRU队列提取数据对象；通常在缓存设备下刷数据时，数据对象存储在缓存设备的下刷工作队列中，而LRU队列存储有数据对象的对象指针，这样通过查找LRU队列中的数据对象的对象指针就能够查找到下刷工作队列中的数据对象的位置。

作为一种优选的实施例，如图3所示，上述根据缓存设备的LRU队列提取数据对象的步骤具体包括：

S111：获取LRU队列中尾部预定数量的对象指针。LRU队列是维护数据冷热度的容器，通常情况下LRU队列的尾部的对象指针对应的数据对象，其热度较低，这样如果能够将该热度较低的冷数据对象首先下刷至主存设备HDD，则能够空出缓存设备的存储空间，提高缓存设备的下刷效率。

S112：从下刷工作队列中，提取上述预定数量的对象指针对应的数据对象。通过提取下刷工作队列中上述预定数量的对象指针对应的数据对象，将该数据对象按照逻辑区块地址进行重新排序，并下刷至主存设备中，能够使得主存设备通过CHS寻址方式快速高效地读写上述数据对象，这样就能够进一步提高缓存设备的下刷效率。

如图2所示，上述一种缓存设备的数据下刷方法在步骤S110之后还包括以下步骤：

S120：按照数据对象在缓存设备的逻辑区块地址，对数据对象进行排序；逻辑区块地址与数据对象在缓存设备中的物理地址相对应，当按照数据对象在缓存设备的逻辑区块地址，即按照物理地址排序时，能够得到一定顺序的数据对象，例如线性递增顺序的数据地址，因为逻辑区块地址与主存设备的CHS寻址方式存在映射关系，因此在按照逻辑区块地址对数据对象排序后，主存设备能够按照扇区、磁头和柱面三层有规律地使用CHS寻址，不需要频繁进行磁头位置的机械切换。

具体地，作为一种优选的实施例，如图4所示，该按照数据对象在缓存设备的逻辑区块地址，对数据对象进行排序的步骤具体包括：

S121：获取数据对象在缓存设备的数据逻辑区间内的逻辑区块地址。逻辑区块地址位于缓存设备的数据逻辑区间内，该数据逻辑区间包含有大量数据对象的逻辑区块地址，通过查询数据逻辑区间的逻辑区块地址，就能够获知数据对象在缓存设备中的物理地址。

S122：按照逻辑区块地址线性递增的规律，对数据对象依次排序。

作为一种优选的实施例，如图5所示，上述按照逻辑区块地址线性递增的规律，对数据对象进行排序的步骤，包括：

S1221：获取逻辑区块地址映射的数据对象的物理地址；

S1222：按照物理地址的前后顺序对数据对象的逻辑区块地址重新依次排序。

逻辑区块地址LBA与数据对象在缓存设备中的物理地址相对应，这样按照逻辑区块地址线性递增的规律，即按照数据对象的物理地址线性递增的规律，就能够对数据对象按照物理地址依次递增排序，因为逻辑区块地址与主存设备的CHS寻址方式对应，因此主存设备能够有规律地读取上述缓存设备写入的数据对象，从而提高主存设备的读写速度，进而提高缓存设备的数据下刷速度。

如图2所示，上述一种缓存设备的数据下刷方法在步骤S120之后还包括以下步骤：

S130：将排序后的数据对象依次插入在缓存设备的下刷工作队列中，以下刷至主存设备。

本申请提供的缓存设备的数据下刷方法，通过根据缓存设备的LRU队列从缓存设备中提取数据对象，然后按照数据对象在缓存设备的逻辑区块地址，排列上述数据对象，将排序后的数据对象依次插入到缓存设备的下刷工作队列中，从而下刷至主存设备。因为主存设备的寻址方式CHS寻址，是按照主存设备的柱面、磁头和扇区对数据对象寻址的，而CHS寻址与缓存设备的逻辑区块地址存在映射关系，因此按照数据对象在缓存设备的逻辑区块地址排序后，主存设备能够快速读取该数据对象，缓存设备的写数据速度是与主存设备的读对象速度正相关的，并且因为缓存设备内数据对象已被下刷，存储空间得到释放，这样缓存设备下刷速度将会大大提高，从而提升存储系统的读写性能和稳定性。

作为一种优选的实施例，如图6所示，本申请实施例提供的缓存设备的数据下刷方法除了上述步骤外还包括：

S210：下刷数据对象的逻辑区块地址信息，以使主存设备根据逻辑区块地址信息中的逻辑区块地址与CHS地址的对应关系，查找并读取数据对象。

因为逻辑区块地址信息包含有下刷的各个数据对象的逻辑区块地址，并为因为逻辑区块地址与主存设备的CHS地址相对应，因此主存设备能够根据上述对应关系，查找并读取上述数据对象，提高数据对象的读取效率，进而提高缓存设备的下刷速度。

具体地，LBA与CHS寻址方式的映射关系如下：

CHS地址能够用以下公式转成LBA：

#lba＝(#c*H+#h)*S+#s-1。

LBA地址能够用以下公式对应到CHS地址：

#chs＝#lba/(S*H)#h＝(#lba/S)％H#s＝(#lba％S)+1。

其中，#c、#h、#s分别是柱面、磁头、扇区的编号；

#lba是逻辑区块编号；

H＝heads per cylinder，每个磁柱的磁头(盘面)数；

S＝sectors per track，每磁道的扇区数。

作为一种优选的实施例，如图7所示，本申请实施例提供的缓存设备的数据下刷方法除了上述步骤外还包括以下步骤：

S310：当数据对象下刷至主存设备后，将数据对象的对象指针从LRU队列中删除。

本申请实施例提供的技术方案中，在数据对象下刷至主存设备后，将数据对象的对象指针从LRU队列中删除，能够避免下次下刷寻址时，错误查找已经下刷后的数据对象，并且释放缓存设备的空间，提高缓存设备的下刷效率。

另外，基于上述方法实施例的同一构思，本发明实施例还提供了缓存设备的数据下刷系统，用于实现本发明的上述方法，由于该系统实施例解决问题的原理与上述方法相似，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。

参见图8，图8为本发明实施例提供的一种缓存设备的数据下刷系统的结构示意图，如图8所示，该缓存设备的数据下刷系统包括：

对象提取模块110，用于当缓存设备需要下刷数据时，根据缓存设备的LRU队列提取数据对象；

对象排序模块120，用于按照数据对象在缓存设备的逻辑区块地址，对数据对象进行排序；

对象插入模块130，用于将排序后的数据对象依次插入在缓存设备的下刷工作队列中，以下刷至主存设备。

本申请提供的缓存设备的数据下刷系统，通过根据缓存设备的LRU队列从缓存设备中提取数据对象，然后按照数据对象在缓存设备的逻辑区块地址，排列上述数据对象，将排序后的数据对象依次插入到缓存设备的下刷工作队列中，从而下刷至主存设备。因为主存设备的寻址方式CHS寻址，是按照主存设备的柱面、磁头和扇区对数据对象寻址的，而CHS寻址与缓存设备的逻辑区块地址存在映射关系，因此按照数据对象在缓存设备的逻辑区块地址排序后，主存设备能够快速读取该数据对象，缓存设备的写数据速度是与主存设备的读对象速度正相关的，并且因为缓存设备内数据对象已被下刷，存储空间得到释放，这样缓存设备下刷速度将会大大提高，从而提升存储系统的读写性能和稳定性。

作为一种优选的实施例，如图9所示，上述对象提取模块110包括：

指针获取子模块111，用于获取LRU队列中尾部预定数量的对象指针；

对象获取子模块112，用于从下刷工作队列中，提取预定数量的对象指针对应的数据对象。

作为一种优选的实施例，如图10所示，上述对象排序模块120包括：

地址获取子模块121，用于获取数据对象在缓存设备的数据逻辑区间内的逻辑区块地址；

数据排序子模块122，用于按照逻辑区块地址线性递增的规律，对数据对象依次排序。

作为一种优选的实施例，如图11所示，上述缓存设备的数据下刷系统，还包括：

指针删除模块140，用于当数据对象下刷至主存设备后，将数据对象的指针从LRU队列中删除。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种缓存设备的数据下刷方法，其特征在于，包括：

当缓存设备需要下刷数据时，根据所述缓存设备的LRU队列提取数据对象；

按照所述数据对象在所述缓存设备的逻辑区块地址，对所述数据对象进行排序；

将排序后的所述数据对象依次插入在所述缓存设备的下刷工作队列中，以下刷至主存设备。

2.根据权利要求1所述的缓存设备的数据下刷方法，其特征在于，所述根据缓存设备的LRU队列提取数据对象的步骤，包括：

获取所述LRU队列中尾部预定数量的对象指针；

从所述下刷工作队列中，提取所述预定数量的对象指针对应的数据对象。

3.根据权利要求1所述的缓存设备的数据下刷方法，其特征在于，所述按照数据对象在所述缓存设备的逻辑区块地址，对所述数据对象进行排序的步骤，包括：

获取所述数据对象在所述缓存设备的数据逻辑区间内的逻辑区块地址；

按照逻辑区块地址线性递增的规律，对所述数据对象依次排序。

4.根据权利要求3所述的缓存设备的数据下刷方法，其特征在于，所述按照逻辑区块地址线性递增的规律，对所述数据对象进行排序的步骤，包括：

获取所述逻辑区块地址映射的数据对象的物理地址；

按照所述物理地址的前后顺序对所述数据对象的逻辑区块地址重新依次排序。

5.根据权利要求3所述的缓存设备的数据下刷方法，其特征在于，还包括：

下刷所述数据对象的逻辑区块地址信息，以使主存设备根据所述逻辑区块地址信息中的逻辑区块地址与CHS地址的对应关系，查找并读取所述数据对象。

6.根据权利要求1所述的缓存设备的数据下刷方法，其特征在于，还包括：

当所述数据对象下刷至主存设备后，将所述数据对象的对象指针从所述LRU队列中删除。

7.一种缓存设备的数据下刷系统，其特征在于，包括：

对象提取模块，用于当缓存设备需要下刷数据时，根据所述缓存设备的LRU队列提取数据对象；

对象排序模块，用于按照所述数据对象在所述缓存设备的逻辑区块地址，对所述数据对象进行排序；

对象插入模块，用于将排序后的所述数据对象依次插入在所述缓存设备的下刷工作队列中，以下刷至主存设备。

8.根据权利要求7所述的缓存设备的数据下刷系统，其特征在于，所述对象提取模块，包括：

指针获取子模块，用于获取所述LRU队列中尾部预定数量的对象指针；

对象获取子模块，用于从所述下刷工作队列中，提取所述预定数量的对象指针对应的数据对象。

9.根据权利要求7所述的缓存设备的数据下刷系统，其特征在于，对象排序模块，包括：

地址获取子模块，用于获取所述数据对象在所述缓存设备的数据逻辑区间内的逻辑区块地址；

数据排序子模块，用于按照逻辑区块地址线性递增的规律，对所述数据对象依次排序。

10.根据权利要求7所述的缓存设备的数据下刷系统，其特征在于，还包括：

指针删除模块，用于当所述数据对象下刷至主存设备后，将所述数据对象的对象指针从所述LRU队列中删除。

Images