CN102298555B - 基于nand技术的模块化闪存管理系统 - Google Patents

Abstract

本发明公开了一种基于NAND技术的模块化闪存管理系统。主要包括：一用来抽象并管理NAND设备的MTD模块；一用来管理flash的block资源，并做坏块处理和磨损平衡的UBI模块；一用来管理flash的page资源，用页映射的方式，实现页资源的分配和回收的FTL模块；一用来管理SRAM内存的分配，并在SRAM中把相邻连续的sector收集成page的BUF模块；所述BUF模块首先把相邻逻辑地址的sector收集成一个page，所述FTL模块将page的逻辑页地址映射到逻辑块地址和块内页偏移，所述UBI模块将逻辑块地址映射到物理块地址，所述MTD模块将数据写入物理块的物理页中，完成实际的对NAND设备的写操作。

Description

基于NAND技术的模块化闪存管理系统

技术领域：

本发明涉及数据存储与NAND闪存技术领域，特别涉及一种基于NAND技术的模块化闪存管理系统。

背景技术：

众所周知，NAND闪存在消费电子、工业控制、数据处理等方面已经成为一种重要的存储介质。究其原因是因为NAND闪存有很多优异的特性，譬如：耗电低、抗震动、读写无需寻道时间等。这些特性让NAND技术可以替代或改善机械硬盘。

但是，NAND闪存技术在某些方面也存在限制和不足，譬如：在对一个页(page)执行写入(program)操作前，一定要先擦除(erase)该页所在的块(block)。每个块的擦除次数(EraseCount，EC)有一定的限制，而且页和块的大小并不一致。这些特点使得我们不可能像硬盘那样直接读写和修改NAND闪存上的数据。

发明内容：

鉴于上述技术问题，本发明提供一种基于NAND技术的模块化闪存管理系统。目的是通过在NAND之上设立一个闪存管理系统(闪存转译层，FTL)，来管理NAND闪存，这样从技术上利用NAND的优势，屏蔽其不足，并提供一个sector层次的读写接口，使得NAND设备可以像硬盘那样读写和修改任意sector的数据。

为了实现上述本发明目的的具体技术方案如下：

基于NAND技术的模块化闪存管理系统，主要包括：

一用来抽象并管理NAND设备的MTD模块；

一用来管理flash的block资源，并做坏块处理和磨损平衡的UBI模块；

一用来管理flash的page资源，用页映射的方式，实现页资源的分配和回收的FTL模块；

一用来管理SRAM内存的分配，并在SRAM中把相邻连续的sector收集成page的BUF模块；

所述BUF模块首先把相邻逻辑地址的sector收集成一个page，所述FTL模块将page的逻辑页地址映射到逻辑块地址和块内页偏移，所述UBI模块将逻辑块地址映射到物理块地址，所述MTD模块将数据写入物理块的物理页中，完成实际的对NAND设备的写操作。

上述方案中，所述系统在外部接口和NAND闪存介质之间还设有一个双端口的SRAM，通过DMA，数据可以并行地在两个端口上传送，形成数据流的两段流水线。

本发明系统支持完全的掉电恢复、坏块处理和负载平衡，提供各种错误恢复机制，形成一个健壮的高可靠性系统。页映射算法可以减小垃圾回收带来的开销，减小写入放大比，进一步提高性能和可靠性。

附图说明：

以下结合附图和具体实施方式来进一步说明本发明。

图1为本发明所述的模块化闪存管理系统的硬件系统结构框图。

图2为本发明所述的模块化闪存管理系统中四个主要功能模块的结构图。

具体实施方式：

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。

如图1和图2所示，本发明所述的基于NAND技术的模块化、高性能、高可靠性的模块化闪存管理系统，其核心分为四个模块：MTD模块，抽象并管理闪存设备；UBI模块，管理闪存的物理块资源，提供抽象的逻辑块操作的接口，并执行坏块处理和磨损平衡操作；FTL模块，管理闪存的物理页资源，采用页映射机制，实现物理页资源的分配和回收，并维护逻辑页到物理页的映射；BUF模块，管理内存的分配，将内存分配给不同的逻辑页，用于缓存用户数据，并在内存中把相邻的连续的数据拼接成单个逻辑页的数据。

在写入数据时，BUF模块首先把相邻逻辑地址的数据拼接成一个逻辑页的数据。FTL模块将分配物理页资源，并记录逻辑页地址到物理页地址的映射关系。物理页地址分成逻辑块地址和块内物理叶偏移两部分。UBI模块将逻辑块地址映射到物理块地址，并通过MTD模块将数据写入物理块的物理页便宜中，从而完成实际的对闪存设备的写操作。

在读取数据时，BUF模块通过FTL模块读取一个逻辑页地址的数据。FTL模块将逻辑页地址映射到物理页地址，同样包括逻辑块地址和物理页偏移两部分。UBI模块将逻辑块地址映射到物理块地址，并通过MTD模块读取该物理块的物理页偏移上的数据，从而完成实际的对闪存设备的读操作。

用不同的模块来管理内存和闪存的设备、块、页等不同的资源，有利于模块和抽象封装的设计和实现，方便系统的调试和测试，最终提高了闪存管理系统的质量和可靠性。

另外，数据通过外部接口，如SD、USB等，写入系统。为提高数据读写的性能，在外部接口和NAND闪存控制器(NFC)之间，设立一个双端口的SRAM，并通过DMA，并行地在两个端口上传送数据，形成数据流的两段流水线。uC不能直接访问该SRAM，而是通过DMA来控制外部接口、双端口SRAM和NAND介质之间的数据流。在uC上运行的代码存放在ROM上，也可以使用Flash，以支持代码升级。RAM为代码运行提供内存空间。

NAND介质被连接到不同的通道，每个通道有独立的NAND闪存控制器(NFC)，向该通道上的多个芯片发送命令和数据。数据的读写可以在该通道上的多个芯片上面同时发生，以提高NFC带宽的利用效率。理论上，每个通道的NAND芯片数目为(NFC通道的带宽÷NAND芯片的写入速度)。NFC数据的传递也可以同时在多个通道上面同时发生，以提高外部总线带宽的利用效率。理论上，NFC通道数目为(外部总线的带宽÷每个NFC通道的带宽)。这样的配置可以最大化系统的读写性能。

以下为本发明系统中各功能模块以及运行过程的具体介绍：

(一)BUF模块；

BUF模块管理双端口数据内存SRAM的空间分配和回收，以逻辑页为单位存放读写的数据。

在接受数据之前，BUF模块先从数据内存中分配一个逻辑页大小的内存。若没有足够数据内存可用，则向外部接口返回拒绝命令，直到有足够的数据内存被释放。

如果将要写入的数据不是页边界对齐并完整的，BUF模块先通过FTL读出该逻辑页的数据，然后用新的数据覆盖，最后再通过FTL写入该页。

在确认写入成功之前，数据保存在BUF模块管理的数据内存中，直到确认写入成功后释放。若写入失败，UBI模块负责坏块替换和数据拷贝，并将保存在数据内存中的数据再次尝试写入闪存。

在读取数据时，可以根据历史情况，尝试读取下一个有可能被访问的逻辑页的数据，提高闪存系统的响应速度。

需要设置足够大的数据内存，使得所有的通道和芯片可以并行工作，避免因等待数据内存释放而影响读写性能。

(二)FTL模块；

FTL模块工作在UBI模块之上。FTL模块实现了页映射算法，负责物理页资源的分配和回收，并记录逻辑页到物理页的映射关系。

FTL模块包含HDI、PMT、DBT、ROOT、日志、数据等子模块。每个子模块都使用一个或若干连续的逻辑块来保存管理数据或用户数据。

HDI子模块负责区分热数据和冷数据。将热数据和冷数据写入不同的逻辑块，可以提高脏页的集中程度，从而提高页空间回收的效率。所谓脏页，就是对于逻辑页空间上的数据被修改的页，其数据已经不是最新的有效数据。

PMT子模块记录逻辑页地址到物理页地址的映射关系。PMT子模块将全部的映射记录通过B+树记录在闪存中，B+树可以有若干层，每层有若干个节点，需要占用若干逻辑块空间。PMT子模块同时在内存中缓存部分B+树的节点，以提高访问和修改B+树的性能。提交缓存时，按照从低向上，最后写入根节点的次序，将所有缓存节点写入闪存。

通过记录其实地址和页数目，可以减小连续写形成的连续分配的逻辑页空间的映射记录，减小B+树的节点数，减少PMT子模块的提交操作。

DBT子模块记录每个逻辑块包含的脏页数目。当所有日志块被写满后，DBT子模块挑选最脏的块进行页资源回收。这样需要拷贝有效页数据的数量最小，有效减小了写入放大比，提高了性能和可靠性。

ROOT子模块记录所有其他子模块的管理数据的地址，包括：PMT，BDT，HDI，热数据日志，冷数据日志，回收数据日志。在任何更新操作中，ROOT子模块的数据最后被写入闪存。若在此之前任意时刻掉电，初始化时，可根据闪存中的ROOT数据恢复出一个掉电前的完整一致的管理数据。结合其他模块中的数据，也可尝试继续掉电前的操作，向后更新到一致的状态。

保留三个日志，分别用于存放冷数据、热数据，以及回收数据。每个日志可以由若干个逻辑块组成。逻辑块越多，所需提交B+树缓存节点的次数越少，有利于提高写入性能；但同时也会增加初始化扫描的时间。所有待写入的逻辑页都在日志内分配物理页资源，一般在可用的空闲的逻辑块中分配物理页资源。分配后，将逻辑页地址到物理页地址(包括逻辑块地址和块内物理页偏移量)的映射关系更新到PMT子模块。

更新PMT子模块里的映射关系时，先在节点缓存里查找对应节点并更新映射关系。当节点缓存没有命中，则读入新的B+树中的节点。若无法获得空闲缓存空间时，则执行提交动作，并释放所有缓存。

在缓存中更新每次页分配的映射关系，在提交时将节点批量写入闪存，可以显著减少写闪存的次数。PMT所管理的所有逻辑块都写满时，执行资源回收操作。PMT空间的资源回收操作类似于在数据空间的资源回收操作。

向日志中写入一页数据时，在该页的OOB区域一并写入逻辑页地址和序列号，并在节点缓存中更新映射关系。响应TRIM指令时，也更新PMT子模块的数据。

若在提交PMT节点缓存之前掉电，在初始化时，无法从PMT的B+树中找到最新的数据。这时需要遍历日志中所有的页，根据OOB区域中的序列号按序重复掉电前的页分配动作，并更新逻辑页地址到物理页地址的映射关系，使得PMT子模块的状态达到和掉电前的状态一致，避免因掉电带来的数据丢失。

冷数据日志或热数据日志被写满后，也执行B+树缓存节点的提交操作，并挑选若干全脏的逻辑块，擦除后作为新的冷数据日志或热数据日志。若没有全脏块，执行数据空间的资源回收操作。

在回收操作时，先从DBT挑选最脏的若干个逻辑块，将这些逻辑块中的有效数据拷贝至回收数据日志，并将回收数据日志作为新的冷数据日志或者热数据日志，而被回收的块在擦除后作为新的回收数据日志。

在拷贝有效数据时，需要判断物理页A是否包含有效数据。先获得该页A的逻辑页地址L，并在PMT子模块中找到该逻辑页地址L对应的物理页地址B。若A和B相等，则该物理页A包含了逻辑页L的有效数据，是需要拷贝到回收数据日志的有效页。反之，则不是有效页，不需要拷贝该页数据。垃圾回收后，需要更新PMT和BDT子模块，并提交至闪存。

如果数据过于零碎，会导致PMT子模块维护的B+树的节点过多，影响系统的效率。可以在资源回收的时候，也拷贝非待回收逻辑块中的数据，以形成一个连续的逻辑页空间，减小PMT子模块维护的管理数据。

若资源回收过程中任意时刻掉电，则初始化时所得根节点形成的B+树和其他管理数据维护的是资源回收前的映射关系。这样的映射关系也是一致的，所以不需要做任何掉电恢复操作，只需要检查是否有任何日志已满，并重新执行资源回收操作。

在拷贝完部分有效数据后，若还没有完成所有的有效数据拷贝，也先退出回收操作。闪存管理系统接收新的写数据请求，并将数据写入回收日志，然后继续尚未完成的回收操作。这样可以提高系统的响应速度，满足一定的实时性需求。

在日志的每个逻辑块的最后一个物理页里，写入该逻辑块中所有物理页的逻辑页地址和序列号，可以避免在资源回收和掉电恢复操作时读所有物理页的OOB区域，提高系统性能。或者，在每个逻辑块的最后一个物理页里，写入该逻辑块中所有物理页的奇偶校验码，当读取某个物理页时ECC错误过多而无法纠错时，可以根据奇偶校验码和该逻辑块的所有其他物理页数据，恢复该读取失败的物理页的数据，并进行坏块替换操作。

在闪存管理系统关闭前执行提交操作，可以避免下次初始化时遍历日志中的所有页，减少系统初始化的时间。

(三)UBI模块；

UBI模块管理逻辑块到物理块的映射，并处理坏块恢复和磨损平衡操作。当写入逻辑块成功，则数据一定被成功写入到物理闪存上。

每个逻辑块包含若干来自不同通道和芯片的物理块，以提高顺序读写的性能，并减少页映射记录维护的开销。

所有物理块被分为若干区域(area)，每个区域有一个区域表，维护这部分区域中逻辑块对应的物理块地址。区域表保存在内存中，同时在闪存中保存区域记录。区域记录保存在区域块上，并从上往下依次使用块中的每个页来更新区域记录。在初始化时，可以用二分法查找到最新的区域记录。

所有的区域块的地址由索引(index)表维护，同时在闪存中保存索引记录。索引表也维护一组空闲块的地址和擦除次数。需要新的空物理块时，从索引表中获得空闲块的地址。

锚定(anchor)表维护索引块的物理地址，同时在闪存中保存锚定记录。锚定块占用闪存设备起始的若干个块。

假设每个物理块有p个页。每次更新逻辑块时，会更新区域记录，并更新到区域块中；也会更新空闲块记录，并更新索引块。每次更新逻辑块会引起一次物理块的擦除动作。p次更新后，区域块满，索引块也满，导致锚定记录更新并写一次锚定块。p*p次更新后，锚定块写满，引起执行一次锚定块的擦除操作。所以，数据物理块的p*p次擦除操作会导致1次锚定块的擦除操作。为保证整个闪存物理块空间的磨损平衡，锚定块的数目至少为所有物理块数目的(p*p)分之一。通常p为64～256，所以只需少量锚定块，就可以保证锚定记录在整个闪存设备失效前也是稳定的，从而保证整个系统的磨损和可靠性在所有物理块上是一致的。

为进一步提高可靠性，所有管理数据可以在闪存中存放两份记录，读取出错时可进行错误恢复。

上电时，依次读所有锚定块的第一个物理页，找出被写过的物理块，再找出最后写入的物理页，得到有效的锚定记录。通过锚定记录找到索引记录，通过索引记录找到所有区域记录。这样，形成整个物理块空间的管理结构。索引表常驻内存，区域表只在内存中保留一份当前使用区域表的拷贝。当内存中的区域表不是将要访问的区域，则换入新的区域表。所有管理数据记录的块映射关系，既包括物理块地址，也包括该物理块的擦除次数。

空闲表维护若干预留的空物理块，当需要替换被写满的块，或者有坏块出现时，从空闲表中取得擦除次数最小的物理块。被替换的物理块会再次放入空闲表中，按照擦除次数排序插入，等待以后使用。

空闲表是索引表的一部分，占用一个物理页空间。更新块映射关系时，先在内存中更新区域表、索引表和空闲表，然后所有管理数据一起提交到闪存中。先写入索引记录，包含索引表和空闲表。由于区域表的更新只涉及到唯一的物理块，可以将此区域更新信息(新旧物理块地址及其擦除次数)一起随索引记录提交到闪存。然后再提交更新后的区域记录。若两次写中间发生掉电，初始化时可根据索引记录中的区域更新信息，恢复并提交更新后的区域记录。

索引块写满后，更新锚定块。锚定块占用闪存设备起始的若干个物理块，可以通过初始化时的扫描，进行掉电恢复和坏块识别。

查找一个逻辑块所对应的物理块时，通过位移操作，取高m位为区域地址，低n位为区域内的物理块偏移量。在对应区域表中可以找到该逻辑块的物理块地址和擦除次数。

一个索引块、区域块或者数据块被写满后，从空闲表中取得擦除次数最小的物理块，用于替换写满的物理块，并更新块映射关系。被替换的块重新放入空闲表，作为一个新的空物理块，等待后续使用。这样可以实现动态磨损平衡。

从空闲表中获取一个物理块时，先执行擦除操作。若擦除操作失败，可以丢弃该物理块，也可以增加其擦除次数的记录后放回空闲表，等待以后再次被使用时再次尝试擦除，这样可以增加物理块的使用寿命。由于该闪存管理系统会进行完整的坏块处理，即便以后发生写入失败，也不会带来数据丢失等后果。

坏块处理发生在物理块上的编程失败之后。先从空闲表中得到一个擦除次数最小的物理块b，将坏块a里写失败之前的所有物理页的数据拷贝至物理块b，并再次尝试将写失败的数据写入物理块b。若依旧失败，重复前面的操作。写入成功后，提交索引记录、空闲块记录和区域记录到闪存。

读物理页时，若发现ECC错误位数大于某个阀值，则要求在下次静态磨损平衡处理时，优先处理该物理块。通过刷新数据到新的物理块，避免后续可能的读失败。若ECC错误的位数超过ECC纠错的能力，可以通过最后块内最后一个页的奇偶校验码来尝试恢复数据。

在设备空闲一段时间后，启动静态磨损平衡。挑选所有区域中擦除次数总和最小的区域，在该区域的区域表中挑选擦除次数最小的物理块a。在空闲表中挑选擦除次数最大的物理块b，其对应逻辑块为l。若物理块a和物理块b的擦除次数的差值大于某个阀值，将物理块a所有数据拷贝到物理块b，并修改映射记录，提交索引表、空闲表和区域表到闪存。若发生掉电，由于映射记录最后提交，初始化时物理块a依然为逻辑块l对应的有效物理块。物理块b的部分页可能被写，但在下次物理块b被从空闲表中取出时，依然会执行擦除操作，所以不会有任何副作用产生，因此无需做掉电恢复处理。

在静态磨损平衡中，擦除次数少的物理块a被交换到空闲表中，而其数据被写到擦除次数较多的物理块b中。这样，物理块b的数据有较小的可能性被更新，而后续的写入操作可以放到物理块a上执行，这样保证了所有物理块的损耗平衡。

上电时，若锚定块为全空，则表明该闪存设备没有使用过，需要执行低级格式化操作，将所有UBI模块和FTL模块的初始的管理数据写入闪存。

(四)MTD模块；

MTD模块提供一组抽象的闪存操作的接口(包括读、编程和擦除等)，屏蔽各个厂商的不同型号的闪存的差异性。

MTD模块也在该接口下提供一个模拟闪存的实现。通过模拟闪存，可以在计算机上使用全软件的方式来调试和测试闪存管理系统，包括掉电恢复和坏块处理操作。模拟环境下的调试和测试可以增加系统实现的可靠性，减少硬件环境下调试和测试的成本。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (1)

1.基于NAND技术的模块化闪存管理系统，包括：

一用来抽象并管理NAND设备的MTD模块；

一用来管理flash的block资源，并做坏块处理和磨损平衡的UBI模块；

一用来管理SRAM内存的分配，并在SRAM中把相邻连续的sector收集成page的BUF模块；

其特征在于，还包括一用来管理flash的page资源，用页映射的方式，实现页资源的分配和回收的FTL模块；

所述BUF模块首先把相邻逻辑地址的sector收集成一个page，所述FTL模块将page的逻辑页地址映射到逻辑块地址和块内页偏移，所述UBI模块将逻辑块地址映射到物理块地址，所述MTD模块将数据写入物理块的物理页中，完成实际的对NAND设备的写操作，所述系统在外部接口和NAND闪存介质之间还设有一个双端口的SRAM，通过DMA，数据可以并行地在两个端口上传送，形成数据流的两段流水线；

NAND介质被连接到不同的通道，每个通道有独立的NAND闪存控制器NFC，向该通道上的多个芯片发送命令和数据，数据的读写在该通道上的多个芯片上面同时发生，每个通道的NAND芯片数目为：NFC通道的带宽÷NAND芯片的写入速度；NFC数据的传递也同时在多个通道上面同时发生，NFC通道数目为：外部总线的带宽÷每个NFC通道的带宽。