CN109918317A - 一种基于磨损感知的nvm条间磨损均衡方法 - Google Patents

Abstract

本发明涉及一种基于磨损感知的NVM条间磨损均衡方法。在有多核多NVM条的系统中，通过每个CPU维护每个NVM的私有写次数计数器和私有的空闲链表实现对多个NVM条的带有条间磨损程度感知的管理，将多个CPU和多个NVM条解耦合以实现无锁结构提高并行处理性能。使用每个CPU私有的计数器和空闲空间链表(freelist)来管理多个NVM条。当上层应用下发NVM空间分配请求后，设计的NVM管理策略首先依据记录的CPU对每个NVM条的写次数找到写次数最少的那个NVM条，然后按照LUFO(least used first out)算法找到最近最少使用的NVM页，进而实现对多个NVM条的空间分配。当上层应用对NVM进行写操作时，每个CPU只需要更新各自私有的NVM写次数计数器，每个一段时间将写次数计数器信息刷回到NVM上，进而将NVM写次数信息持久化以免系统崩溃或是掉电。该磨损均衡方法通过数据结构的设计和相应算法最大限度地使NVM条间的磨损程度保持均衡，并提高在高并发环境下的性能。

Description

一种基于磨损感知的NVM条间磨损均衡方法

技术领域

本发明涉及系统存储技术领域，尤其涉及一种基于磨损感知的NVM条间磨损均衡方法。

近年来，随着晶体管技术的发展，CPU的性能逐年持续提升。由于晶体管制造工艺的限制，现在CPU很难通过在一个CPU上大量集成晶体管来提升性能，摩尔定律已经失效了，CPU技术的发展已经达到瓶颈期。然而相对于CPU而言，存储器发展却比较缓慢。存储器技术的发展没有赶上CPU的发展，造成了CPU速度和存储器的速度之间存在较大的差距。在CPU的性能难以继续提高的情况下，通过提高存储器的性能来提高系统性能是现在计算机体系结构的发展的大趋势。

非易失性存储器(NVM)作为一种新兴的存储器技术，是近年来存储技术领域的研究热点，有许多研究是围绕着NVM技术而展开的。NVM有很多优点让其备受青睐。NVM的存储密度比较高，与常见的随机访问存储器(DRAM)类似，一个NVM条能够存储32GB的数据。随着NVM技术继续发展，未来能够制造更大存储密度的NVM硬件。相对于昂贵的随机访问存储器(DRAM)而言，NVM的成本要低得多，具有低成本的特点。此外，相对于RAM而言，它不仅能够像RAM那样按字节寻址，还有非易失的特性。由于NVM的非易失性，在系统崩溃或是掉电之后存储在NVM上的信息不会丢失。这样的特性能够将大大地增加系统的可靠性，使系统容易在崩溃后恢复。通过在计算机系统中集成NVM，能够显著地提升系统的整体性能。

目前存在有多种NVM实现技术，如STT-RAM,PCM,3D-XPOINT等。它们都有一个共同的缺点，那就是对于NVM上的每一个块，都有一定的写次数限制，当这个块上的写次数超过这个限制之后，这个块就不能继续被写入数据了。所以，在使用NVM时，有必要考虑将写操作平均分配到所有的NVM块上去，避免一个块因为写次数过多而不能使用。

由于NVM有高密度，低成本，非易失性和可按字节寻址的特性，研究人员广泛地将NVM集成在存储系统中来加速存储系统的速度以优化I/O性能。由于NVM可以直接连接到内存总线上并通过读/写指令访问，因此它提供了多种多样的存储数据的方式。现在，有许多研究工作提出了多种将NVM集成到计算机存储系统中的方法。这些研究工作中使用NVM一般来说有3种方法。一种是将DRAM直接替换成NVM来增加存储器的容量。第二种是将NVM用作HDD(磁盘)或是SSD(固态硬盘)的缓存。还有一种是将NVM和DRAM安装在内存地址总线上，用统一的地址空间来访问NVM和DRAM。

由于NVM的特殊性，现有的文件系统需要重新设计以最大化地发挥NVM的作用。最近的研究主要从两个方面来将NVM集成在系统中：1)使用NVM作为文件系统的持久存储；2)使用NVM作为传统存储器。例如，SIMFS，NOVA，PMFS是在NVM的基础上设计的全新新的非易失性内存文件系统。这些文件系统利用了NVM的特点，并显着提高了I/O性能。这些内存文件系统具有以下优点：1)打破传统文件系统I/O性能瓶颈，读写文件性能有显著的提高。2)通过CPU读/写指令访问文件数据，具有较低的延迟。这些新兴的内存文件系统使用户应用程序能够更可靠，更快速地访问文件系统。这些文件系统的性能相对于传统的磁盘文件系统都有显著的提升。

现有的NVM磨损均衡策略包括两个方面，一方面是硬件层面的磨损均衡，它通过在硬件中集成控制器来达到硬件层面的磨损均衡。另一方面是软件层面的磨损均衡，他是在软件层面管理NVM的空间来达到磨损均衡的目的。然而，现有的NVM磨损均衡方法主要是考虑在单个NVM条内部的磨损均衡而没有考虑在多个NVM条之间的磨损均衡。为了解决这一问题，本文提出了一种基于磨损感知的NVM条间磨损均衡方法。该方法的目的通过软件层面的算法和设计来实现磨损均衡，与此同时，还保证了系统的高性能。

发明内容

本发明旨在通过软件层面的算法和设计来实现NVM条间磨损均衡和提高文件系统性能的目的。本发明提供一种基于磨损感知的NVM条间磨损均衡方法，解决了在有多个NVM条的系统中NVM条间磨损均衡的问题，通过这种方法还能显著地提高文件系统的性能。

本发明的设计目的有两个方面，一方面是在多核系统中保证优异的性能，另一方面是维持NVM的条间磨损均衡和NVM的条内磨损均衡。为了达到这两个目的，我们设计了如附图1所示的整体架构。如附图1所示，系统中存在M个CPU以及N个NVM条，我们分别将它们以CPU1、CPU2…CPUM和NVM1、NVM2…NVMN来表示。每一个CPU存在各自的私有数据结构来管理NVM，分别是Counters-Group和FreeLists-Group，每个CPU的Counters-Group和FreeLists-Group互相独立，没有依赖关系。其中，Counters-Group由N个计数器组成，表示该CPU向1-N这个N个NVM的写次数，它的作用是用于记录该CPU向N个NVM条的写次数以配合LUFO(leastuse first out)找到磨损次数少的NVM数据块。FreeLists-Group有N个freelist组成，分别表示并管理N个NVM上的空闲空间。每个freelist由一个链表组成，每一个链表节点记录着该freelist对应的NVM条上的空闲区域。FreeLists-Group的作用是管理分配给该CPU的所有可用NVM空间，这些NVM空间分布在N个NVM上。

基于磨损感知的NVM条间磨损均衡方法主要在文件系统空间分配和写操作的两个方面来进行磨损均衡和提高性能：

1.空间分配。如附图2所示，当CPU接收到一个分配NVM请求时，会按照以下步骤进行处理：

a)CPU首先根据Counters-Group找到对该CPU而言写的次数最少的NVM条。

b)在找到对该CPU而言写次数最少的NVM条之后，从FreeLists-Group中找到对应于该NVM条的FreeList。

c)从该FreeList按照LUFO(least use first out)算法找到最近最少使用的NVM区域来分配NVM空间来满足请求。LUFO算法是以NVM区域最近使用时间为标准对所有NVM区域进行从小到大排序，然后选择那个最近使用时间最大的那个NVM区域。

d)最后，将选择得到的那个NVM区域返回给请求。

2.写操作。如附图3所示，当系统向NVM中写数据时，会按照以下步骤进行处理：

a)首先，识别并记录当前是在向哪一个NVM条进行写操作。

b)然后更新Counters-Group中记录的CPU向该NVM条的写次数。

c)为了防止系统崩溃或是掉电导致Counters-Group信息丢失，需要每个一段时间将每个NVM的写次数写到NVM上，以持久化写次数信息。如果当前的写操作满足强制将Counters-Group刷回NVM的条件，就需要将Counters-Group信息写回到NVM上去。

d)每个NVM的写次数等于所有CPU对于该NVM的写次数之和。所需要每个一段时间将所有CPU的Counters-Group信息进行累计，写回到NVM中特定记录区域中去。这一步首先读取CPU1，CPU2…CPUM的私有Counters-Group记录，分别表示为CPU1-NVM1，CPU1-NVM2…CPU1-NVMN…CPU2-NVM1，CPU2-NVM2…CPU2-NVMN…CPUM-NVM1,CPUM-NVM2…CPUM-NVMN。对于NVM1，将CPU1-NVM1，CPU2-NVM1…CPUM-NVM1累加，就得到所有CPU向NVM1的总的写次数。然后将这个总的写次数写回到NVM的固定区域以持久化该NVM条的写次数信息。对于所有的NVM条都进行相同的处理，就能够将所有的NVM条的写次数信息持久化。

附图说明

图1是基于磨损感知的NVM条间磨损均衡方法中的freelist的LUFO架构

图2是基于磨损感知的NVM条间磨损均衡方法中的CPU私有计数器组架构

图3是基于磨损感知的NVM条间磨损均衡方法中的CPU私有freelist组架构

图4是在SIMFS文件系统中，使用了该方法和没有使用该方法的NVM寿命对比

图5是在SIMFS文件系统中，使用该方法和未使用该方法的文件系统写吞吐量对比

具体实施方法

为使本技术领域的人员对本发明的目的、技术方案和优点理解更加清楚，下面将结合附图和实施例对本发明实施方式做进一步的描述，该实施例不构成对本发明实施例的限定。

实施例:

本发明提供了一种基于磨损感知的NVM条间磨损均衡方法来使多NVM系统中的各NVM条磨损均衡，并提高系统的总体性能。该方法具有通用性，能够在构建于Intel x86架构的服务器或ARM服务器上的有多个NVM条的文件系统中实现，支持当前主流的内存文件系统和NVM条，同时也实现了发明中提高的算法并将发明中的方法适配到了内存文件系统中进行了具体的实现。下面以在部署有多个NVM条的Intel x86架构的服务器上的文件系统中实施实现本发明的基于磨损感知的NVM条间磨损均衡方法为例作进一步的详细描述。

该Intel x86架构服务器的硬件配置包括：1个4核8线程CPU，其型号为i5-7500，主频为3.4GHz；内存容量为16GB，频率为2133MHz。系统的操作系统是Ubuntu 16.04，使用的linux内核版本是4.4.4。NVM的总空间为8GB，有4个NVM条，每个NVM条的存储空间为2GB；系统中使用的内存文件系统是SIMFS。

首先，对CPU的私有数据结构进行初始化。如图1所示，这一部分包括对每个CPU的Counters-Group和FreeLists-Group的初始化。对CPU的Counters-Group的具体初始化步骤如下：

S1.从4个NVM条上的保存计数器的区域中读出当前每个NVM条的总的写次数，记为W1，W2，W3，W4。

S2.将每个NVM条对应的写次数平均分配到每个CPU上。CPU1，CPU2…CPU8对应NVM1的写次数都是是W1/8。CPU1，CPU2…CPU8对应NVM2的写次数都是是W2/8。以此类推，CPU1，CPU2…CPU8对应NVM4的写次数都是是W4/8。将这些数据写入到4个CPU各自私有的NVM写次数计数器中。

对每个CPU的FreeLists-Group的具体初始化步骤如下：

S1.如果NVM还没有初始化，就将NVM的空间按照4KB为大小的页划分成很多个页。对应于4个NVM条，每个NVM条上有524288个页。将这些NVM页用链表串联起来，每一个链表节点保存的是空闲页的起始地址和空闲页的结束地址。这就就形成一个freelist。

S2.然后将每个NVM的freelist平均分配给每个CPU。将每个NVM的freelist分成8等份，每一个子freelist记录并管理65536个页。

S3.将每个NVM的这8个子freelist分配给8个CPU。每个CPU保存有4个NVM的一个子freelist。一共存在有32个子freelist。

在对CPU的私有数据结构初始化完毕之后，就可以进行其他的操作了，包括NVM数据区域的分配和对NVM条的写操作。对NVM的写操作的步骤如下：

S1.首先，识别并记录当前CPU是在向哪一个NVM条进行写操作。

S2.然后更新CPU私有数据结构中Counters-Group中记录的CPU向该NVM条的写次数。

S3.记录对应NVM页的写时间信息。

S4.为了防止系统崩溃或是掉电导致Counters-Group信息丢失，需要每个一段时间将Counters-Group中CPU对每个NVM的写次数写回到NVM上，以持久化写次数信息。如果当前时间不需要将CPU对每个NVM的写次数写回到NVM中，那这个写操作就完成并且返回。

S5.如果当前时间满足强制将Counters-Group刷回NVM的条件，就需要将Counters-Group信息写回到NVM上去。

S6.每个NVM的写次数等于所有CPU对于该NVM的写次数之和。所需要每个一段时间将所有CPU的Counters-Group信息进行累计，写回到NVM中特定记录区域中去。这一步首先读取CPU1，CPU2…CPU8的私有Counters-Group记录，分别表示为CPU1-NVM1，CPU1-NVM2，CPU1-NVM3，CPU1-NVM4…CPU2-NVM1，CPU2-NVM2，CPU2-NVM3，CPU2-NVM4…CPU8-NVM1,CPU8-NVM2，CPU8-NVM3，CPU8-NVM4。对于NVM1，将CPU1-NVM1，CPU2-NVM1…CPU8-NVM1累加，就得到这8个CPU向NVM1的总的写次数。然后将这个总的写次数写回到NVM1的固定区域以持久化该NVM条的写次数信息。对于所有的4个NVM条都进行相同的处理，就能够将所有的NVM条的写次数信息持久化。

当CPU接收到一个分配NVM请求时，对NVM的数据分配的步骤如下：

S1.对于每一个CPU，首先根据Counters-Group找到对该CPU而言写的次数最少的NVM条。

S2.在找到对该CPU而言写次数最少的NVM条之后，从FreeLists-Group中找到对应于该NVM条的FreeList。

S3.从该FreeList按照LUFO(least use first out)算法找到最近最少使用的NVM页来分配NVM空间来满足请求。LUFO算法是以NVM区域最近使用时间为标准对所有NVM区域进行从小到大排序，然后选择那个最近使用时间最大的那个NVM区域。

S4.最后，将选择得到的那个NVM页返回给请求者并完成NVM数据分配操作。

本发明在文件系统顺序写性能和NVM寿命两个方面都有显著的性能提升：

1. 8线程的顺序写性能提升了20％；

2.NVM的寿命提升为2.5倍到3.5倍；

通过使用本发明描述的基于磨损感知的NVM条间磨损均衡方法能够解决在有多个NVM条的系统中NVM条间磨损均衡的问题。通过磨损均衡和适用于高并发系统环境的数据结构和设计，解决了数据分配中存在的瓶颈，显著提高了文件系统的数据分配和写性能，延长了NVM的整体寿命。

以上所述实施例并不用以限制本发明，凡在本发明的原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (5)

1.一种基于磨损感知的NVM条间磨损均衡方法，其特征在于：在有多核多NVM条的系统中，通过每个CPU维护每个NVM的私有写次数计数器和私有的空闲链表实现对多个NVM条的带有条间磨损程度感知的管理，将多个CPU和多个NVM条解耦合以实现无锁结构提高并行处理性能，以达到条间磨损均衡和在高并发环境下提高性能的目的。

2.一种基于磨损感知的NVM条间磨损均衡方法，其特征在于：使用每个CPU私有的计数器和空闲空间链表(freelist)来管理多个NVM条。当上层应用下发NVM空间分配请求后，设计的NVM管理策略首先依据记录的CPU对每个NVM条的写次数找到写次数最少的那个NVM条，然后按照LUFO(least used first out)算法找到最近最少使用的NVM页，进而实现对多个NVM条的空间分配。当上层应用对NVM进行写操作时，每个CPU只需要更新各自私有的NVM写次数计数器，每个一段时间将写次数计数器信息刷回到NVM上，进而将NVM写次数信息持久化以免系统崩溃或是掉电。

3.一种实施权利要求1、2所述的管理多个NVM条的数据结构的方法，其特征是，包括以下操作：

a)每一个CPU有各自私有的数据结构来管理多个NVM条，它们互相没有依赖关系。

b)每一个NVM条的写次数有多个CPU各自的私有的写次数计数器来记录，所有CPU的对该NVM的写次数记录器之和是该NVM条的总的写次数。

c)每一个CPU有各自私有的空闲链表(freelist)来管理和记录所有NVM条上分配给该CPU的空闲NVM空间。

d)每一个NVM条有一个空闲链表来管理和记录该NVM条上的空闲空间。将每个NVM的总的空闲链表平均分成N个子空闲链表(其中N是系统中CPU的数量)，将这N个子空闲链表分配给这N个CPU。

4.一种实施权利要求1、2所述的分配NVM空间的空间分配策略的方法，其特征是，包括以下操作：

a)当上层应用下发NVM空间分配请求后，首先依据该CPU私有的NVM写次数计数器找到写次数最少的那个NVM条。

b)然后按照LUFO(least used first out)算法找到离上次使用时间最远的NVM页。

5.一种实施权利要求1、2所述的持久化NVM写次数的方法，其特征是，包括以下操作：

a)当上层应用对NVM进行写操作时，首先识别当前CPU是在向哪一个NVM条进行写操作。

b)更新对应NVM条在该CPU中私有的写次数计数器。

c)记录对应NVM页的写时间。

d)每隔一段时间，将CPU中私有的NVM写次数计数器写回到NVM中。对于每个NVM，将该NVM在所有CPU中的写次数计数器累加，写回到NVM中记录总写次数的区域。