CN107102954A - 一种基于失效概率的固态存储分级管理方法及系统 - Google Patents

Abstract

本发明公开了一种基于失效概率的固态存储分级管理方法及系统，属于存储控制技术领域。本发明方法根据物理页索引次数，并综合数据冷热程度，提出物理页失效概率这一概念，将通过计算得到失效概率相近的页聚集一起，进行分级管理，减少垃圾回收对性能的影响和减少写放大。本发明还实现了一种基于失效概率的固态存储分级管理系统。本发明在固态存储垃圾回收触发后进行合理的数据分级管理，减少后续垃圾回收的反复迁移数据，进而提高响应性能和使用寿命。

Description

一种基于失效概率的固态存储分级管理方法及系统

技术领域

本发明属于存储控制技术领域，更具体地，涉及一种基于失效概率的固态存储分级管理方法及系统。

背景技术

近年来，基于NAND Flash的固态硬盘由于性能高、功耗低、抗震性好等诸多优点获得广泛的应用。由于NAND闪存异地更新的特点，写更新产生的无效页需经由垃圾回收操作重新成为可用页，这会造成严重的写放大，对SSD的读写性能和寿命都有很大的影响。减少SSD垃圾产生、垃圾回收时选择无效页最多的块、冷热数据分离等可以有效减少写入数据的放大系数；考虑各块磨损情况的页面分配则能延长SSD的使用寿命。最直接的办法是减少写入到SSD中的数据，这样可以有效提高SSD的性能和寿命。

研究人员分析了多种存储系统，发现其中广泛存在重复数据。例如，微软的研究人员发现个人电脑普遍存在40％左右的重复数据；EMC的研究者发现备份存储系统的重复数据高达90％；德国研究者发现数据中心存在15-30％的重复数据。这些重复数据不仅增加了存储成本，且占用了存储设备的写入带宽，因此通过减少重复数据可以有效提高存储设备的利用率。特别对于SSD而言，减少重复数据还能提高SSD使用寿命。

因此数据去重技术正逐步应用于SSD设备及其组建的系统中，如CAFTL算法、△FTL算法、NF-Dedup策略等。但是数据去重在减少冗余数据同时，也带来了一个新的问题：经过去重处理的部分数据会被多次索引(多被引数据)，和单次索引数据相比，这些数据更不容易失效，可能经历多次不必要的迁移。如图1所示，数据页A，B，E多次作为有效数据被迁移到新的数据块，所涉及的数据页读和写操作带来了不可忽视的开销。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于失效概率的固态存储分级管理方法及系统，其目的在于在数据冷热分离的基础上，结合物理页索引次数，提出物理页失效概率这一概念，将失效概率相近的页聚集一起，进行分级管理，由此减少垃圾回收对性能的影响和减少写放大。

为实现上述目的，按照本发明的一个方面，提供了一种基于失效概率的固态存储分级管理方法，该方法包括：

(1)评估失效概率：根据垃圾回收中将迁移物理页的索引次数和该物理页对应逻辑页的冷热程度综合评估该物理页的失效概率；

(2)数据分级管理：按失效概率的大小将物理页迁移到相应级别的数据块中；数据块的级别按预定的失效概率划分；

(3)管理元数据：当数据页写入、数据页更新或垃圾回收时更改数据所在物理页的索引次数和索引信息。

进一步地，所述物理页失效概率具体计算公式为：

其中，Tem_LPN为逻辑页的温度；luc为最近写访问次数；ct为系统的当前时间；lts为最近访问时间戳；Δu为最近访问的时间间隔门限，预设值；FP_PPN为物理页的失效概率；N为物理页的索引次数；α为系数，预设值。

进一步地，所述步骤(3)具体包括：

(31)判断：判断若是数据页写入进入步骤(32)，若是数据页更新时进入步骤(33)，若是垃圾回收操作进入步骤(34)；

(32)写入数据页：通过去重写技术，判断写入数据是否已存在，若不存在，则新建逻辑页条目和物理页条目，逻辑页条目包括新分配的物理页地址和标为有效的状态，逻辑地址对应到新建的逻辑页条目，逻辑页条目通过其中的物理页地址对应一个物理页条目，物理页条目包括数据指纹、置为1的物理页索引次数和映射的逻辑地址集合；若存在，则建立逻辑地址到已存在物理页地址所在逻辑页条目的对应关系，并将该逻辑地址添加到对应物理页条目的逻辑地址集合中，物理页索引次数加1，结束；

(33)更新数据页：将逻辑地址对应的逻辑页条目中状态置为无效，并判断对应物理页条目中物理页索引用次数是否为1，若是则将该物理页条目删除；否则将逻辑地址从对应物理页条目中逻辑地址集合中删除，并且物理页索引次数减1；进入步骤(32)；

(34)数据块删除：判断该数据块中各物理页是否为有效页，若是有效页，则通过物理页条目中映射的逻辑地址集合，找到对应的逻辑地址条目，将它们依次重新对应到新迁移后的物理页地址，再删除原物理页条目，并新建迁移后的物理页条目，直至完成该块中所有有效页的迁移操作，再擦除数据块，成为一个空闲块；否则直接擦除数据块。

按照本发明的另一方面，提供了一种基于失效概率的固态存储分级管理系统，该系统包括：

失效概率评估模块，用于根据垃圾回收中将迁移物理页的索引次数和该物理页对应逻辑页的冷热程度综合评估该物理页的失效概率；

数据分级管理模块，用于按失效概率的大小将物理页迁移到相应级别的数据块中；数据块的级别按预定的失效概率划分；

元数据管理模块，用于当数据页写入、数据页更新或垃圾回收时更改数据所在物理页的索引次数和索引信息。

进一步地，所述物理页失效概率具体计算公式为：

其中，Tem_LPN为逻辑页的温度；luc为最近写访问次数；ct为系统的当前时间；lts为最近访问时间戳；Δu为最近访问的时间间隔门限，预设值；FP_PPN为物理页的失效概率；N为物理页的索引次数；α为系数，预设值。

进一步地，所述元数据管理模块具体包括：

判断单元，用于判断若是数据页写入进入数据页写入单元，若是数据页更新时进入数据页更新单元，若是垃圾回收操作进入数据块删除单元；

数据页写入单元，用于通过去重写技术，判断写入数据是否已存在，若不存在，则新建逻辑页条目和物理页条目，逻辑页条目包括新分配的物理页地址和标为有效的状态，逻辑地址对应到新建的逻辑页条目，逻辑页条目通过其中的物理页地址对应一个物理页条目，物理页条目包括数据指纹、置为1的物理页索引次数和映射的逻辑地址集合；若存在，则建立逻辑地址到已存在物理页地址所在逻辑页条目的对应关系，并将该逻辑地址添加到对应物理页条目的逻辑地址集合中，物理页索引次数加1，结束；

数据页更新单元，用于将逻辑地址对应的逻辑页条目状态置为无效，并判断对应物理页条目中物理页索引用次数是否为1，若是则将该物理页条目删除；否则将逻辑地址从对应物理页条目中逻辑地址集合中删除，并且物理页索引次数减1；进入数据页写入单元；

数据块删除单元，用于判断该数据块中各物理页是否为有效页，若是有效页，则通过物理页条目中映射的逻辑地址集合，找到对应的逻辑地址条目，将它们依次重新对应到新迁移后的物理页地址，再删除原物理页条目，并新建迁移后的物理页条目，直至完成该块中所有有效页的迁移操作，再擦除，成为一个空闲块。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下技术特征及有益效果：

本发明针对现有固态存储系统存储多被引数据带来的有效数据被反复无效的迁移这一问题，提出一种基于失效概率的固态存储分级管理技术，本技术方案提出物理页的失效概率这一概念，并在垃圾回收的有效数据迁移时，根据该物理页被索引次数和所对应逻辑页的冷热程度来综合计算得出其失效概率，进行合理的数据分级管理，减少后续垃圾回收的反复迁移数据，进而提高响应性能和使用寿命。

附图说明

图1是现有固态存储系统垃圾回收的数据迁移情况示意图；

图2是本发明方法的整体流程图；

图3是本发明实施例中的数据分级管理示意图；

图4是数据分级管理过程的流程图；

图5是本发明实施例中元数据结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图2所示，本发明方法实施例包括以下主要步骤：

(1)评估失效概率：根据垃圾回收中将迁移物理页的索引次数和该物理页对应逻辑页的冷热程度综合评估该物理页的失效概率；

所述物理页失效概率具体计算公式为：

其中，Tem_LPN为逻辑页的温度；luc为最近写访问次数，取实际值；ct为系统的当前时间，取实际值；lts为最近访问时间戳，取实际值；Δu为最近访问的时间间隔门限，优选预设1小时；FP_PPN为物理页的失效概率；N为物理页的索引次数，取实际值；α为系数，优选预设0.9。

本步骤除了考虑冷数据较热数据不易失效，更考虑到去重后数据特性发生了改变，即被多次引用的物理页相对于单次引用的物理页更不易失效。通过对数据特性的分析，根据物理页索引次数，综合冷热程度，在垃圾回收时计算待迁移有效页的失效概率。

(2)数据分级管理：按失效概率的大小将物理页迁移到相应级别的数据块中；数据块的级别按预定的失效概率划分；

为了减少垃圾回收操作造成的多被引有效数据反复被迁移和提升回收效率，本发明采用数据分级管理方式，级别越高的块越不易失效。在固态盘刚开始使用时，所有新到来的数据页的级别均默认为最低级，存放到一级的物理块上，数据的级别只有在垃圾回收迁移时发生重新计算；

如图3所示，本实施例中以闪存块为基本单元进行3级管理；一级和二级的分界阈值TFP，推荐取值0.8，二级和三级的分界阈值HFP，推荐取值0.3；垃圾回收时先根据物理页的失效概率FP确定其所处级别，再将其迁移到相应级别的物理块上。如图4所示，实施例中本步骤具体包括以下子步骤：

(21)读取数据块中物理页，判断物理页是否为有效页，若不是则迁移该物理页到待删除数据块；若是则进入步骤(22)；

(22)判断该物理页FP属于[TFP，∞]、[HFP，TFP]或[0，HFP]哪一区间，并将该物理页迁移到所属区间对应的数据块队列中，若数据块队列中没有空闲空间，则从空闲池中获取一块空闲数据块挂在在队列上，再将该物理页迁移到空闲数据块中；否则直接将该物理页迁移到空闲数据块中。

(3)管理元数据：当数据页写入、数据页更新或垃圾回收时更改数据所在物理页的索引次数和索引信息。

由于固态存储设备的物理特性，文件系统的逻辑地址不能直接计算得到物理地址，需要元数据管理模块对其映射关系进行管理。元数据管理模块包括指纹库和映射表，以及针对它们的增、删、查、改操作，如图5所示为元数据的映射表结构，逻辑地址通过映射对应到一个逻辑页地址条目，该逻辑页地址条目包括对应的物理页地址以及状态；再通过物理页地址查找到一个物理页条目，物理页条目包括指纹、索引次数和对应的逻辑页地址集合。映射信息等元数据管理主要分为添加信息和删除信息时的操作，具体包括以下步骤：

(31)判断：判断若是数据页写入进入步骤(32)，若是数据页更新时进入步骤(33)，若是垃圾回收操作进入步骤(34)；

(32)写入数据页：通过去重写技术，判断写入数据是否已存在，若不存在，则新建逻辑页条目和物理页条目，逻辑页条目包括新分配的物理页地址和标为有效的状态，逻辑地址对应到新建的逻辑页条目，逻辑页条目通过其中的物理页地址对应一个物理页条目，物理页条目包括数据指纹、置为1的物理页索引次数和映射的逻辑地址集合；若存在，则建立逻辑地址到已存在物理页地址所在逻辑页条目的对应关系，并将该逻辑地址添加到对应物理页条目的逻辑地址集合中，物理页索引次数加1，结束；

(33)更新数据页：将逻辑地址对应的逻辑页条目状态置为无效，并判断对应物理页条目中物理页索引用次数是否为1，若是则将该物理页条目删除；否则将逻辑地址从对应物理页条目中逻辑地址集合中删除，并且物理页索引次数减1；进入步骤(32)；

(34)数据块管理：判断该数据块中各物理页是否为有效页，若是有效页，则通过物理页条目中映射的逻辑地址集合，找到对应的逻辑地址条目，将它们依次重新对应到新迁移后的物理页地址，再删除原物理页条目，并新建迁移后的物理页条目，直至完成该块中所有有效页的迁移操作，再擦除，成为一个空闲块。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于失效概率的固态存储分级管理方法，其特征在于，该方法包括以下步骤：

(1)评估失效概率：根据垃圾回收中将迁移物理页的索引次数和该物理页对应逻辑页的冷热程度综合评估该物理页的失效概率；

(2)数据分级管理：按失效概率的大小将物理页迁移到相应级别的数据块中；数据块的级别按预定的失效概率划分；

(3)管理元数据：当数据页写入、数据页更新或垃圾回收时更改数据所在物理页的索引次数和索引信息。

2.根据权利要求1所述的一种基于失效概率的固态存储分级管理方法，其特征在于，所述物理页失效概率具体计算公式为：

<mrow> <mi>T</mi> <mi>e</mi> <mi>m</mi> <mo>_</mo> <mi>L</mi> <mi>P</mi> <mi>N</mi> <mo>=</mo> <mi>l</mi> <mi>u</mi> <mi>c</mi> <mo>-</mo> <mfrac> <mrow> <mi>c</mi> <mi>t</mi> <mo>-</mo> <mi>l</mi> <mi>t</mi> <mi>s</mi> </mrow> <mrow> <mi>&amp;Delta;</mi> <mi>u</mi> </mrow> </mfrac> </mrow>

<mrow> <mi>F</mi> <mi>P</mi> <mo>_</mo> <mi>P</mi> <mi>P</mi> <mi>N</mi> <mo>=</mo> <mi>&amp;alpha;</mi> <mfrac> <mn>1</mn> <mi>N</mi> </mfrac> <mo>+</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>&amp;alpha;</mi> <mo>)</mo> </mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mi>T</mi> <mi>e</mi> <mi>m</mi> <mo>_</mo> <msub> <mi>LPN</mi> <mi>i</mi> </msub> </mrow>

其中，Tem_LPN为逻辑页的温度；luc为最近写访问次数；ct为系统的当前时间；lts为最近访问时间戳；Δu为最近访问的时间间隔门限，预设值；FP_PPN为物理页的失效概率；N为物理页的索引次数；α为系数，预设值。

3.根据权利要求1所述的一种基于失效概率的固态存储分级管理方法，其特征在于，所述步骤(3)具体包括：

(31)判断：判断若是数据页写入进入步骤(32)，若是数据页更新时进入步骤(33)，若是垃圾回收操作进入步骤(34)；

(32)写入数据页：通过去重写技术，判断写入数据是否已存在，若不存在，则新建逻辑页条目和物理页条目，逻辑页条目包括新分配的物理页地址和标为有效的状态，逻辑地址对应到新建的逻辑页条目，逻辑页条目通过其中的物理页地址对应一个物理页条目，物理页条目包括数据指纹、置为1的物理页索引次数和映射的逻辑地址集合；若存在，则建立逻辑地址到已存在物理页地址所在逻辑页条目的对应关系，并将该逻辑地址添加到对应物理页条目的逻辑地址集合中，物理页索引次数加1，结束；

(33)更新数据页：将逻辑地址对应的逻辑页条目中状态置为无效，并判断对应物理页条目中物理页索引用次数是否为1，若是则将该物理页条目删除；否则将逻辑地址从对应物理页条目中逻辑地址集合中删除，并且物理页索引次数减1；进入步骤(32)；

(34)数据块删除：判断该数据块中各物理页是否为有效页，若是有效页，则通过物理页条目中映射的逻辑地址集合，找到对应的逻辑地址条目，将它们依次重新对应到新迁移后的物理页地址，再删除原物理页条目，并新建迁移后的物理页条目，直至完成该块中所有有效页的迁移操作，再擦除数据块，成为一个空闲块；否则直接擦除数据块。

4.一种基于失效概率的固态存储分级管理系统，其特征在于，所述系统包括：

失效概率评估模块，用于根据垃圾回收中将迁移物理页的索引次数和该物理页对应逻辑页的冷热程度综合评估该物理页的失效概率；

数据分级管理模块，用于按失效概率的大小将物理页迁移到相应级别的数据块中；数据块的级别按预定的失效概率划分；

元数据管理模块，用于当数据页写入、数据页更新或垃圾回收时更改数据所在物理页的索引次数和索引信息。

5.根据权利要求4所述的一种基于失效概率的固态存储分级管理系统，其特征在于，所述物理页失效概率具体计算公式为：

<mrow> <mi>T</mi> <mi>e</mi> <mi>m</mi> <mo>_</mo> <mi>L</mi> <mi>P</mi> <mi>N</mi> <mo>=</mo> <mi>l</mi> <mi>u</mi> <mi>c</mi> <mo>-</mo> <mfrac> <mrow> <mi>c</mi> <mi>t</mi> <mo>-</mo> <mi>l</mi> <mi>t</mi> <mi>s</mi> </mrow> <mrow> <mi>&amp;Delta;</mi> <mi>u</mi> </mrow> </mfrac> </mrow>

<mrow> <mi>F</mi> <mi>P</mi> <mo>_</mo> <mi>P</mi> <mi>P</mi> <mi>N</mi> <mo>=</mo> <mi>&amp;alpha;</mi> <mfrac> <mn>1</mn> <mi>N</mi> </mfrac> <mo>+</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>&amp;alpha;</mi> <mo>)</mo> </mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mi>T</mi> <mi>e</mi> <mi>m</mi> <mo>_</mo> <msub> <mi>LPN</mi> <mi>i</mi> </msub> </mrow>

其中，Tem_LPN为逻辑页的温度；luc为最近写访问次数；ct为系统的当前时间；lts为最近访问时间戳；Δu为最近访问的时间间隔门限，预设值；FP_PPN为物理页的失效概率；N为物理页的索引次数；α为系数，预设值。

6.根据权利要求4所述的一种基于失效概率的固态存储分级管理系统，其特征在于，所述元数据管理模块具体包括：

判断单元，用于判断若是数据页写入进入数据页写入单元，若是数据页更新时进入数据页更新单元，若是垃圾回收操作进入数据块删除单元；

数据页写入单元，用于通过去重写技术，判断写入数据是否已存在，若不存在，则新建逻辑页条目和物理页条目，逻辑页条目包括新分配的物理页地址和标为有效的状态，逻辑地址对应到新建的逻辑页条目，逻辑页条目通过其中的物理页地址对应一个物理页条目，物理页条目包括数据指纹、置为1的物理页索引次数和映射的逻辑地址集合；若存在，则建立逻辑地址到已存在物理页地址所在逻辑页条目的对应关系，并将该逻辑地址添加到对应物理页条目的逻辑地址集合中，物理页索引次数加1，结束；

数据页更新单元，用于将逻辑地址对应的逻辑页条目状态置为无效，并判断对应物理页条目中物理页索引用次数是否为1，若是则将该物理页条目删除；否则将逻辑地址从对应物理页条目中逻辑地址集合中删除，并且物理页索引次数减1；进入数据页写入单元；

数据块删除单元，用于判断该数据块中各物理页是否为有效页，若是有效页，则通过物理页条目中映射的逻辑地址集合，找到对应的逻辑地址条目，将它们依次重新对应到新迁移后的物理页地址，再删除原物理页条目，并新建迁移后的物理页条目，直至完成该块中所有有效页的迁移操作，再擦除，成为一个空闲块。