CN109783020B - 一种基于ssd-smr混合键值存储系统的垃圾回收方法 - Google Patents

Abstract

本发明公开了一种基于SSD‑SMR混合键值存储系统的垃圾回收方法，根据SSD或SMR中空闲空间比例采用两级阈值把垃圾回收操作划分为主动式垃圾回收操作和被动式垃圾回收操作；当SSD或SMR需要进行垃圾回收时，根据其权值或有效数据比例，选择相应回收块或回收带；根据对垃圾回收时数据的冷热判断和垃圾回收的模式，选择回收块或回收带内有效数据的迁移目标；当数据为热数据时，把有效数据迁移到SSD块中，当数据为冷数据时，迁移到SMR带中；当垃圾回收完成时，对回收块或回收带中的信息进行更新，同时更新键值映射表信息，完成垃圾回收。本发明提高系统效率减少了系统资源消耗，对系统性能全面优化提升，为构建经济高效的存储系统提高了一种新的方案。

Description

一种基于SSD-SMR混合键值存储系统的垃圾回收方法

技术领域

本发明属于计算机存储技术领域，具体涉及一种基于SSD-SMR混合键值存储系统的垃圾回收方法。

背景技术

考虑到NAND Flash存储介质的固有特性，即读写操作是以数据页为单位，擦除操作是以数据块为单位，因此在对SSD进行写操作前需要对其数据块进行擦除操作，由此会带来写放大问题。SMR叠瓦式磁记录盘是一种采用新型磁存储技术的高容量磁盘。SMR磁盘保持现有HDD磁盘的磁头和介质技术不变，将盘片上的数据磁道部分重叠，使其相比传统磁盘在同样的面积下存储密度方面大幅提升，从而提升了整体的容量。该技术在制造工艺方面的变动非常微小，但却可以大幅提高磁盘存储密度。SMR磁盘这一特性导致SMR在随机写时会覆盖其他若干相邻磁道上的数据，导致写放大现象，因此SMR把若干磁道组织成以带(Band)为大小的存储单位，使得写放大的影响局限于各个带内。

基于SSD和SMR磁盘(简称SSD-SMR)组建混合键值存储系统是为应对大数据时代数据量飞速增长而带来的大数据存储和性能挑战而提出的一种异质存储介质的混合存储系统，该混合存储系统是融合了SSD读写速度快和SMR的大容量特性而产生，以此来提供大容量和较高读写性能的收益，使得SSD和SMR磁盘的集成可以发挥各自的优势，扬长避短，能显著地扩大需求覆盖范围，符合了高容量、高性能和低成本的市场需求。

在SSD-SMR混合的键值存储中，为了减弱写放大的影响，键(Key)和值(Value)的存储是隔离的，这种存储方式是在SSD中存储键值元组信息，键值元组信息包括Key值和Key值所对应Value存储在SMR中的地址指针，在SMR中存储Value。Key索引表、Key-Value映射表和部分热数据的Key-Value数据存储在SSD中，以提供高速的键值索引和热数据的读写服务，冷数据的Value则存储在SMR磁盘中。其键值对映射表项以元组<key，value-address，value-offset，value-size>形式存储在SSD中，key是全局唯一的，是Value的标识符，Value在SMR磁盘中以日志数据的方式存储，value-address和value-offset分别指向日志数据的地址和偏移值，value-size表示Value值大小。

SSD-SMR混合的键值存储系统垃圾回收需要综合考虑不同存储介质的回收策略和不同存储介质间的协同式垃圾回收操作方式。现有的混合存储系统在垃圾回收过程中，没有考虑到混合存储介质的特点，以及对上层应用的读写请求的影响，只是针对垃圾回收的时间点或者是回收对象的选择进行的优化，例如忽视了介质的擦除寿命等固有的特点，并且在数据迁移的过程中缺乏对冷热数据的判断，造成无效的迁移，尤其是在针对SSD-SMR组成混合存储系统，缺乏二者协同作业的垃圾回收策略，因此降低了系统整体的垃圾回收的效率。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于SSD-SMR混合键值存储系统的垃圾回收方法，以实现该混合存储系统的性能稳定性。

本发明采用以下技术方案：

一种基于SSD-SMR混合键值存储系统的垃圾回收方法，根据SSD或SMR中空闲空间比例采用两级阈值把垃圾回收操作划分为主动式垃圾回收操作和被动式垃圾回收操作；当SSD或SMR需要进行垃圾回收时，根据其权值或有效数据比例，选择相应回收块或回收带；根据对垃圾回收时数据的冷热判断和垃圾回收的模式，选择回收块或回收带内有效数据的迁移目标；当数据为热数据时，把有效数据迁移到SSD块中，当数据为冷数据时，迁移到SMR中；当垃圾回收完成时，对回收块或回收带中的信息进行更新，同时更新键值映射表信息，完成垃圾回收。

具体的，采用被动回收阈值H和主动回收阈值T把垃圾回收操作分为主动式垃圾回收操作和被动式垃圾回收操作。

进一步的，当SSD中空闲空间比例FP_ssd或SMR中磁盘空闲空间比例FP_smr低于被动回收阈值H时，进入被动模式的垃圾回收操作，垃圾回收操作不可被中断，期间拒绝所有IO请求操作；

S102、当FP_ssd或FP_smr高于主动阈值T，不会触发垃圾回收操作；

S103、当FP_ssd或FP_smr在H和T之间时，运行主动模式的垃圾回收模式，期间可以接受部分IO请求操作。

具体的，SSD选择由块内有效数据比例和块擦除次数计算出的权值最小的块作为回收块。

进一步的，回收区块weight_i计算如下：

其中，C_valid(i)，C_erase(i)分别表示数据块i上有效数据页的个数和该块的擦写次数，total，max分别表示SSD块中数据页的个数和最大擦写次数，α表示有效页比例对权值的影响因子，1-α表示磨损程度对权重的影响因子。

具体的，SSD中一个块内数据的所有有效数据页的读写次数平均值超过设定阈值时为热数据，反之为冷数据。

进一步的，当有效数据为冷数据时，迁移到SMR磁盘，追加写到SMR当前写指针所指地址；当有效数据为热数据时，迁移到SSD迁移目标块中，选择SSD空闲链表中第一个块作为目标块，擦除回收块，把块擦除计数变量加1，数据页读写变量置0，并根据擦除次数添加到SSD空白链表的相应位置，更新SSD中的键值对映射信息表数据。

具体的，SMR选择有效数据比例最小的带作为回收带，在SMR磁盘中，数据带中的数据段对应的变量t_b记录该数据段的读写操作次数，当t_b超过设定阈值时，为热数据，反之为冷数据。

进一步的，当有效数据为热数据时，选择SSD空闲块链表中的第一个数据块作为目标块，把有效数据迁移到SSD目标块中；当有效数据为冷数据时，把有效数据追加写入SMR当前写指针所指地址处；把回收带标记为空闲带并将其插入空白带链表的表头位置，更新SMR磁盘管理区信息表和SSD中的键值对映射信息表数据。

具体的，通过对SSD块的擦除次数标记，选择磨损程度最低的块作为有效数据迁移目标块，以实现垃圾回收时SSD磨损均衡。

与现有技术相比，本发明至少具有以下有益效果：

本发明一种基于SSD-SMR混合键值存储系统的垃圾回收方法，根据混合存储介质固有的特性，考虑到上层请求的响应时延，针对目前现有垃圾回收方法存在的问题，提出了一种基于SSD-SMR组成的混合键值存储系统协同式垃圾回收策略，通过对数据分类存放，设置合适的垃圾清理时间点，来提高垃圾回收的效率。

进一步的，由于在一般的垃圾回收过程中无法响应上层应用发来的读写请求，尤其是在面对读写密集型的负载的情况下，会造成严重的IO延迟，因此，设置不同的阈值，表示不同情况下剩余的存储空间容量，通过对阈值的设立，来确立垃圾回收的紧张程度，分别是，主动式垃圾回收操作和被动式垃圾回收操作，进而选择合适的回收模式以应对在垃圾回收期间可能到来的上层应用请求。

进一步的，由于在SSD中，对数据块的修改需要先擦除后写入，而不同类型的闪存芯片也有不同的擦除次数的寿命限制，为尽力延长SSD的寿命，在对数据写入时，需要对新旧程度不同的块进行选择，以实现磨损均衡，在垃圾回收时通过对读写次数和擦除次数进行综合计算，选择权重最低的块最为回收对象，来实现SSD使用寿命的延长和介质的合理利用。

进一步的，为利用SSD读写速度快的特点，和SMR大容量低成本的特点，进而对数据进行分类，将读写次数频繁的热数据存放在SSD中，将读写不频繁的冷数据存放在SMR中，实现数据的的合理分配，同时，通过将相同热度的数据存放在一起，因为热度相同数据失效速率也大致一样，以此来提高垃圾回收的效率。

进一步的，对于SMR中冷热数据的判断主要是针对带中数据段的读写次数，以此来实现对SMR中冷热数据的识别。

进一步的，由于SSD存在磨损均衡的问题，因此，SSD的空闲链表的排序是按照擦除次数升序排列，为此，在数据迁移时优先写入链表的头结点，以实现SSD的使用寿命延长。

综上所述，本发明通过对数据的类型进行归类放置，建立两级阈值确立垃圾回收的紧急程度，并选择恰当的回收对象，最后制定合适的数据迁移策略来实现SSD-SMR混合键值存储系统的高效的协同式垃圾回收，提高系统效率减少了系统资源消耗，对系统性能全面优化提升，为构建经济高效的存储系统提高了一种新的方案。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明在SSD-SMR混合的键值存储系统数据分布示意图；

图2为本发明垃圾回收类型判别流程图；

图3为本发明垃圾回收的整体处理流程逻辑图；

图4为本发明在垃圾回收时的具体操作流程图。

具体实施方式

本发明提供了一种基于SSD-SMR混合键值存储系统的垃圾回收方法，根据SSD或SMR中空闲空间比例采用两级阈值把垃圾回收操作划分为主动式垃圾回收操作和被动式垃圾回收操作；当SSD或SMR需要进行垃圾回收时，根据其权值或有效数据比例，选择相应回收块或回收带；其中，SSD选择由块内有效数据比例和块擦除次数计算出的权值最小的块作为回收块，SMR选择有效数据比例最小的带作为回收带；根据对垃圾回收时数据的冷热判断和垃圾回收的模式，选择回收块内有效数据的迁移目标；当数据为热数据时，把有效数据迁移到SSD中，当数据为冷数据时，则将其迁移到SMR中；当垃圾回收完成时，对回收块或回收带中的信息进行更新，同时更新键值映射表信息，完成垃圾回收。

请参阅图1，本发明基于SSD-SMR混合键值存储系统的数据组织方式的键值数据信息分布在SSD和SMR两种不同的存储介质中。键数据信息和部分值数据信息存储在SSD中，以发挥SSD更高的读写性能；而大多数值数据信息则存储SMR中，以获取SMR的大容量收益。

本发明一种基于SSD-SMR混合键值存储系统的垃圾回收方法，包括以下步骤：

S1、垃圾回收类型判别，考虑SSD或SMR中空闲空间比例，采用被动回收阈值H和主动回收阈值T把垃圾回收操作分为主动式垃圾回收操作和被动式垃圾回收操作；

S101、当SSD中空闲空间比例FP_ssd或SMR中磁盘空闲空间比例FP_smr低于被动回收阈值H时，进入被动模式的垃圾回收操作，垃圾回收操作不可被中断，期间拒绝所有IO请求操作；

S102、当FP_ssd或FP_smr高于主动阈值T，不会触发垃圾回收操作；

S103、当FP_ssd或FP_smr在H和T之间时，运行主动模式的垃圾回收模式，期间可以接受部分IO请求操作。

S2、根据SSD及SMR磁盘的特征，确定垃圾回收的回收区块和回收带；

为了保证SSD的使用寿命和回收效率，考虑块中无效页的数量和磨损均衡两个条件来计算SSD的回收权重，在对SSD回收块的权重进行计算时，选择权重值最低的块weight_i为回收区块，其计算公式如下：

其中，C_valid(i)，C_erase(i)分别表示数据块i上有效数据页的个数和该块的擦写次数，total，max分别表示SSD块中数据页的个数和最大擦写次数，α表示有效页比例对权值的影响因子，1-α表示磨损程度对权重的影响因子。

SMR磁盘中数据存储和垃圾回收都是以多个磁道组成的固定数据带为单位，回收区块的选择采用贪婪算法，选择具有最少有效数据的数据带作为回收带。

S3、通过对回收块或回收带里的数据进行冷热判断，实现数据在SSD-SMR混合的键值存储系统中的合理分配；

在SSD中每一个数据块都对应一个计数变量t_c记录其擦除次数以表示块的磨损程度，块内的每个数据页都对应一个计数变量t_p记录此数据页的读写次数。

一个块内数据的冷热程度是由块内所有有效数据页的读写次数平均值决定，当平均值超过一个设定阈值时，即可判断为热数据，反之为冷数据。

同理，在SMR磁盘中，数据带中的数据段都有对应的变量t_b记录该数据段的读写操作次数，当t_b超过设定阈值时，即判断为热数据。

S4、通过对SSD块的擦除次数标记，选择磨损程度最低的块作为有效数据迁移目标块，以实现垃圾回收时SSD磨损均衡；

在SSD中对块进行擦除操作时，对该块的擦除计数变量t_c进行加1操作，对块内数据页的读写计数变量进行清零操作，表明擦除块的磨损程度和该块内无冷热数据的事实。擦除后的块根据其t_c变量值插入到空闲块链表的相应位置，在空闲链表中的块按擦除次数升序排列。在进行数据迁移时，选择空闲链表中第一个块作为目标迁移块，此块擦除次数最少。

S5、根据SSD和SMR两者之间的相关性设计依赖性垃圾回收方案。

当键值对分别存储在SSD、SMR磁盘时，需要同时获取到SSD上的Key值以及SMR磁盘上的Value值才算一次完整的请求。SMR磁盘进行垃圾回收时，SSD即使马上获取对应的Key值也需要等待该SMR磁盘的垃圾回收操作完成，此时SSD如果提前垃圾回收能提供更多可用存储空间。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图2，当写请求A到达时，根据当前SSD或SMR空闲容量所占其总容量的比例，分别进入主动式垃圾回收操作和被动式垃圾回收操作。

当进入主动式垃圾回收时，查询是否有IO请求到达，若有IO请求，则暂停垃圾回收操作，响应IO请求，待IO请求完成时，再次进入垃圾回收方式的判定，具体如图3所示。

在进行垃圾回收时，对SSD和SMR进行协同式垃圾回收具体操作如图4所示，通过计算存储介质待回收单元的权值：即对SSD或SMR中对应的待回收块或待回收带进行权值计算，确定需要回收的数据块或数据带。

在SMR中进行垃圾回收时，首先根据SMR待回收带中有效数据的比例，选择有效数据比例最小的带作为回收带，减少垃圾回收时有效数据迁移量。

根据带中有效数据的冷热(读写操作次数)来确定是否把数据迁移到SSD中：当有效数据为热数据时，选择SSD空闲块链表中的第一个数据块(擦除次数最少的块)作为目标块，把有效数据迁移到SSD目标块中；当有效数据为冷数据时，把有效数据追加写入SMR当前写指针所指地址处。

把回收带标记为空闲带并将其插入空白带链表的表头位置，更新SMR磁盘管理区信息表和SSD中的键值对映射信息表数据。

在SSD中进行垃圾回收时，首先根据待回收数据块中有效页所占数据块容量比例和数据块擦除次数计算权值，权值是由块中有效数据比例和磨损次数比例决定的，选择权值最小的块作为垃圾回收块，权值越小说明有效数据比例和磨损次数比例较小，此块的垃圾回收收益最大。

根据回收块中有效数据页读写信息，选择有效数据的迁移策略：如果是冷数据，则把冷数据迁移到SMR磁盘，追加写到SMR当前写指针所指地址；如果是热数据则把数据迁移到SSD迁移目标块中，选择SSD空闲链表中第一个块作为目标块，此块擦除次数最小。

最后擦除回收块，把块擦除计数变量加1，数据页读写变量置0，并根据擦除次数添加到SSD空白链表的相应位置，更新SSD中的键值对映射信息表数据。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (5)

1.一种基于SSD-SMR混合键值存储系统的垃圾回收方法，其特征在于，根据SSD或SMR中空闲空间比例采用两级阈值把垃圾回收操作划分为主动式垃圾回收操作和被动式垃圾回收操作，采用被动回收阈值H和主动回收阈值T把垃圾回收操作分为主动式垃圾回收操作和被动式垃圾回收操作，当FP_ssd或FP_smr高于主动阈值T，不会触发垃圾回收操作；当FP_ssd或FP_smr在H和T之间时，运行主动模式的垃圾回收模式，期间可以接受部分IO请求操作，当SSD中空闲空间比例FP_ssd或SMR中磁盘空闲空间比例FP_smr低于被动回收阈值H时，进入被动模式的垃圾回收操作，垃圾回收操作不可被中断，期间拒绝所有IO请求操作；

当SSD或SMR需要进行垃圾回收时，根据其权值或有效数据比例，选择相应回收块或回收带；

SSD选择由块内有效数据比例和块擦除次数计算出的权值最小的块作为回收块，回收区块权值weight_i计算如下：

其中，C_valid(i)，C_erase(i)分别表示数据块i上有效数据页的个数和该块的擦写次数，total，max分别表示SSD块中数据页的个数和最大擦写次数，α表示有效页比例对权值的影响因子，1-α表示磨损程度对权重的影响因子；

SMR选择有效数据比例最小的带作为回收带，在SMR磁盘中，数据带中的数据段对应的变量t_b记录该数据段的读写操作次数，当t_b超过设定阈值时，为热数据，反之为冷数据；

根据对垃圾回收时数据的冷热判断和垃圾回收的模式，选择回收块或回收带内有效数据的迁移目标；当数据为热数据时，把有效数据迁移到SSD块中，当数据为冷数据时，迁移到SMR中；当垃圾回收完成时，对回收块或回收带中的信息进行更新，同时更新键值映射表信息，完成垃圾回收。

2.根据权利要求1所述的基于SSD-SMR混合键值存储系统的垃圾回收方法，其特征在于，SSD中一个块内数据的所有有效数据页的读写次数平均值超过设定阈值时为热数据，反之为冷数据。

3.根据权利要求1所述的基于SSD-SMR混合键值存储系统的垃圾回收方法，其特征在于，当有效数据为冷数据时，迁移到SMR磁盘，追加写到SMR当前写指针所指地址；当有效数据为热数据时，迁移到SSD迁移目标块中，选择SSD空闲链表中第一个块作为目标块，擦除回收块，把块擦除计数变量加1，数据页读写变量置0，并根据擦除次数添加到SSD空白链表的相应位置，更新SSD中的键值对映射信息表数据。

4.根据权利要求1所述的基于SSD-SMR混合键值存储系统的垃圾回收方法，其特征在于，当有效数据为热数据时，选择SSD空闲块链表中的第一个数据块作为目标块，把有效数据迁移到SSD目标块中；当有效数据为冷数据时，把有效数据追加写入SMR当前写指针所指地址处；把回收带标记为空闲带并将其插入空白带链表的表头位置，更新SMR磁盘管理区信息表和SSD中的键值对映射信息表数据。

5.根据权利要求1所述的基于SSD-SMR混合键值存储系统的垃圾回收方法，其特征在于，通过对SSD块的擦除次数标记，选择磨损程度最低的块作为有效数据迁移目标块，以实现垃圾回收时SSD磨损均衡。

Images