CN103984736A - 一种高效的nand闪存数据库系统的缓存管理方法 - Google Patents

Abstract

一种高效的NAND闪存数据库系统的缓存管理方法，数据库缓冲区由三个链表管理，三个链表都是根据最近最少使用原则来组织存储数据对应的逻辑页号，三个链表分别为冷干净队列链表LCC、冷脏页队列链表LDC、混合队列链表LM，当CPU处理数据库系统上的数据I/O操作请求时，首先检查此数据是否在数据库缓冲区中，如果数据在缓冲区中命中，则将该数据在对应的队列链表上的节点调整到混合队列链表LM的头部MRU，设置它的有效冷热标识位为热标识；然后检查混合链表LM长度是否已经超过预定的阈值，启动相应操作；如果数据未在缓冲区命中，则检查缓冲区是否有空余位置，本发明能够获得较高的命中率，以及整体的存储系统性能，特别适用于对实时性要求较高的场景。

Description

一种高效的NAND闪存数据库系统的缓存管理方法

技术领域

本发明涉及计算机存储设备的缓存技术领域，尤其涉及一种高效的NAND闪存数据库系统的缓存管理方法。 

背景技术

计算机存储设备的缓存模块能够优化I/O顺序，减少对存储设备的访问次数，一种良好的缓存管理方法能够获得更高的命中率，能够在整体上提高存储系统的性能。因为缓存替换策略的性能依赖于数据的访问特性，所以一种缓存替换方案在不同的数据访问特征下很难都获得较好的性能。 

闪存是一种非易失性的存储器。它在断电情况下仍然能够保持存储的数据信息。另外它的随机访问特性、抗震能力强、低能耗、易移动性等多方面特色使得其被广泛用于移动存储卡和固态硬盘等多方面。NAND闪存的读写速度不对称性使得在该介质上的缓存替换方法也需要重新设计才能整体达到更好的性能。 

当CPU处理数据库系统上的数据I/O操作请求时，缓存替换算法都需要经过以下步骤： 

(1)查找请求的数据是否在缓冲区中。 

(2)命中，则返回结果。 

(3)未命中，检查缓冲区中是否有空余空间。 

(4)有空余空间，那么启动I/O操作将数据读入缓冲区中，结束。 

(5)没有空余空间，根据替换策略选择被置换的数据。 

(6)检查被置换的数据是干净还是脏数据。 

(7)如果是脏数据，写回外存，再启动I/O操作将数据读入缓冲区，结束。 

(8)如果是干净数据，直接启动I/O操作将数据读入缓冲区，结束。 

现有的缓存替换策略可分为以下四种类型： 

一、根据访问时间决定数据替换。这一类型中会维护一个队列，队列中的缓存项按照每个数据的最后被访问时间来排序。比如，在具有高局部性的数据访问模式下，替换时一般按照最近最少使用策略（LRU）选择数据项替换出去。 

二、根据访问频率决定数据替换。这一类型中会缓存数据页的访问频率。替换时按照一定优先策略，比如最近最小频率策略（LFU）、2Q等选择数据项替换出去。 

三、综合访问时间和频率决定数据替换。结合上面两种类型的优缺点，比如LRFU替换策略。 

四、根据特定的数据访问模式决定数据替换。 

目前基于NAND闪存的缓存管理方法也有一些，比如CFLRU替换策略。该策略在预定窗口内首先替换干净页，如果预定窗口内没有干净页，则在预定窗口内替换脏页。再比如LRU-WSR策略，它对脏页采用二次选择机会使得脏页不常驻缓冲区中。但它们各有优劣，只在某些I/O访问场景中效果好。 

发明内容

为了克服上述现有技术存在的问题，本发明的目的在于提供一种高效的NAND闪存数据库系统的缓存管理方法，能够获得较高的命中率，以及整体的存储系统性能。 

为实现上述目的，本发明的采取的技术方案为： 

一种高效的NAND闪存数据库系统的缓存管理方法，包括以下步骤： 

第一步，数据库缓冲区由三个链表管理，三个链表都是根据最近最少使用原则来组织存储数据对应的逻辑页号，三个链表分别为冷干净队列链表LCC、冷脏页队列链表LDC、混合队列链表LM，冷干净队列链表LCC上存储的是被访问一次或者没有被访问的冷干净数据信息；冷脏页队列链表LDC上存储的是被访问一次或者没有被访问的是冷脏数据信息；冷干净队列链表LCC和冷脏页队列链表LDC都属于冷区；混合队列链表LM上存储的是至少被访问两次的数据信息，包括热干净数据和热脏数据，属于热区； 

第二步，当CPU处理数据库系统上的数据I/O操作请求时，首先检查此数据是否在数据库缓冲区中，先启动三个线程同时在三个链表上查找该数据，如果数据在缓冲区中命中，则将该数据在对应的队列链表上的节点调整到混合队列链表LM的头部MRU，设置它的有效冷热标识位为热标识；然后检查混合链表LM长度是否已经超过预定的阈值，如果超过预定的阈值，则先执行LRU-WSR算法移除一个热区节点到冷区中，然后判断数据I/O操作；否则直接判断数据I/O操作类型，当数据I/O操作类型为输入操作，启动I/O操作返回缓冲区中的此数据；当数据I/O操作类型为输出操作，启动I/O操作更新缓冲区中数据； 

第三步，如果数据未在缓冲区命中，则检查缓冲区是否有空余位置，如果缓存区有空余位置，则启动I/O操作将数据读入缓冲区中的冷干净队列链表LCC的头部MRU； 

第四步，如果缓冲区中无空余位置，则从缓冲区中三个链表上选择一个链表的一个节点作为被替换节点从链表上删除，首先检查冷干净队列链表LCC长度是否超过预定的下限比例阈值，如果超过此阈值，则从冷干净队列链表LCC的尾部选择一个节点作为被替换节点从链表上删除，然后启动I/O操作将数据读入缓冲区中的冷干净队列链表LCC的头部MRU； 

第五步，如果冷干净队列链表LCC长度低于预定的下限比例阈值，则从冷脏页队列链表LDC和混合队列链表LM中按照概率替换机制选择一个节点作为被替换节点从链表上删除，计算替换概率来决定替换是否为冷脏数据，如果是替换冷脏数据，则从冷脏页队列链表LDC的尾部上选择一个节点作为被替换节点从链表上删除，然后将被替换节点对应的冷脏数据写回闪存存储区中，再启动I/O操作将数据读入缓冲区中的冷干净队列链表LCC的头部MRU；否则从混合队列链表LM的尾部开始向前选择出第一个热干净页节点作为被替换节点从链表上删除，然后启动I/O操作将数据读入缓冲区中的冷干净队列链表LCC的头部MRU。 

本发明通过重新考虑NAND闪存的缓存系统中存储介质读写不对称的特性 而设计出一种高效的三链表管理模式，能够在大部分场景下适用，能够获得较高的命中率，以及整体的存储系统性能，特别适用于对实时性要求较高的场景。 

附图说明

图1是本发明的流程图。 

图2是本发明的三链表结构示意图。 

图3是本发明的缓存替换方法的详细流程图。 

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步地详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明的基本构想，并不用于限定本发明。本领域技术人员可由本说明书所表述的内容了解本发明的其它优点与功效。本发明还可以有其它不同的具体实施方式加以实施或应用，本说明书的各项细节也可以有基于不同观点与应用，在没有违背本发明精神下可以进行各种修饰或改变。 

参照图1，一种高效的NAND闪存数据库系统的缓存管理方法，包括以下步骤： 

第一步，参照图2，数据库缓冲区由三个链表管理，三个链表都是根据最近最少使用原则来组织存储数据对应的逻辑页号，三个链表分别为冷干净队列链表LCC、冷脏页队列链表LDC、混合队列链表LM，冷干净队列链表LCC上存储的是被访问一次或者没有被访问的冷干净数据信息；冷脏页队列链表LDC上存储的是被访问一次或者没有被访问的是冷脏数据信息；冷干净队列链表LCC和冷脏页队列链表LDC都属于冷区；混合队列链表LM上存储的是至少被访问两次的数据信息，包括热干净数据和热脏数据，属于热区； 

第二步，当CPU处理数据库系统上的数据I/O操作请求时，首先检查此数据是否在数据库缓冲区中，先启动三个线程同时在三个链表上查找该数据，如果是在缓冲区中冷干净队列LCC链表上命中，则将该冷干净页调整为热干净页，即调整该数据对应在冷干净队列LCC链表上的节点到混合队列链表LM链表的 MRU位置，设置它的有效冷热标识位为热标识，例如设置cold-flag为0，表示为热数据，调整链表后需要判断混合队列链表LM长度是否超过预定的阈值Threshold，比如通过帕雷托法则确定混合链表长度阈值Threshold取值为0.2，如果超过此数值，则执行LRU-WSR策略移除一个热区节点到冷区； 

如果是在冷脏页队列LDC链表上命中，则将该冷脏页调整为热脏页，即从冷脏页队列LDC链表将该节点调整到混合队列链表LM链表的MRU位置，设置它的有效冷热标识位为热标识，比如设置cold-flag为0，表示为热数据，调整链表后需要判断混合队列链表LM链表长度是否超过预定的阈值Threshold，如果超过此阈值，那么执行LRU-WSR策略移除一个热区节点到冷区； 

如果是在混合队列链表LM上命中，将该数据页节点调整到混合队列链表LM的MRU位置； 

第三步，如果请求数据没有在缓冲区中命中，则检查缓冲区是否有空余位置，如果缓冲区有空余位置，则启动I/O操作将数据读入缓冲区中冷干净队列链表LCC的MRU位置； 

第四步，如果缓冲区没有空余位置，则从缓冲区中三个链表上选择一个链表的一个节点作为被替换节点从链表上删除腾出一块缓存空间，如图3所示，如果冷干净队列链表LCC链表长度与缓冲区中数据个数之比大于预定的下限比例阈值，则选择冷干净队列链表LCC链表的LRU位置的数据作为被替换数据从链表上删除，然后再启动I/O操作将数据读入缓冲区中的冷干净队列链表LCC的MRU位置； 

第五步，如果冷干净队列链表LCC长度占整体长度的比值低于预定的下限比例阈值，则计算替换概率replace-page来决定替换的数据页，比如已知读数据的平均代价为p.RCost，写数据的平均代价为p.WCost，那么一种替换概率的计算公式为Pro=p.RCost/(p.RCost+p.WCost)，如果当产生从0到1区间内的随机数小于Pro时，设置replace-page为1，则替换冷脏页，即替换冷脏队列链表LDC的LRU位置的冷脏页；否则replace-page为0，替换热干净页，即替 换混合队列链表LM上LRU位置开始向前的第一个热干净页，被替换出来的数据页，如果是脏页，那么写回存储介质，否则直接选择被替换节点从链表上删除，然后再启动I/O操作将数据读入缓冲区中的冷干净队列链表LCC的MRU位置。 

另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序指令来完成，该发明能够在命中率以及读写代价比上进行权衡来提高整体的缓存替换效果。 

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。 

Claims (1)

1.一种高效的NAND闪存数据库系统的缓存管理方法，其特征在于，包括以下步骤：

第一步，数据库缓冲区由三个链表管理，三个链表都是根据最近最少使用原则来组织存储数据对应的逻辑页号，三个链表分别为冷干净队列链表LCC、冷脏页队列链表LDC、混合队列链表LM，冷干净队列链表LCC上存储的是被访问一次或者没有被访问的冷干净数据信息；冷脏页队列链表LDC上存储的是被访问一次或者没有被访问的是冷脏数据信息；冷干净队列链表LCC和冷脏页队列链表LDC都属于冷区；混合队列链表LM上存储的是至少被访问两次的数据信息，包括热干净数据和热脏数据，属于热区；

第二步，当CPU处理数据库系统上的数据I/O操作请求时，首先检查此数据是否在数据库缓冲区中，先启动三个线程同时在三个链表上查找该数据，如果数据在缓冲区中命中，则将该数据在对应的队列链表上的节点调整到混合队列链表LM的头部MRU，设置它的有效冷热标识位为热标识；然后检查混合链表LM长度是否已经超过预定的阈值，如果超过预定的阈值，则先执行LRU-WSR算法移除一个热区节点到冷区中，然后判断数据I/O操作；否则直接判断数据I/O操作类型，当数据I/O操作类型为输入操作，启动I/O操作返回缓冲区中的此数据；当数据I/O操作类型为输出操作，启动I/O操作更新缓冲区中数据；

第三步，如果数据未在缓冲区命中，则检查缓冲区是否有空余位置，如果缓存区有空余位置，则启动I/O操作将数据读入缓冲区中的冷干净队列链表LCC的头部MRU；

第四步，如果缓冲区中无空余位置，则从缓冲区中三个链表上选择一个链表的一个节点作为被替换节点从链表上删除，首先检查冷干净队列链表LCC长度是否超过预定的下限比例阈值，如果超过此阈值，则从冷干净队列链表LCC的尾部选择一个节点作为被替换节点从链表上删除，然后启动I/O操作将数据读入缓冲区中的冷干净队列链表LCC的头部MRU；

第五步，如果冷干净队列链表LCC长度低于预定的下限比例阈值，则从冷脏页队列链表LDC和混合队列链表LM中按照概率替换机制选择一个节点作为被替换节点从链表上删除，计算替换概率来决定替换是否为冷脏数据，如果是替换冷脏数据，则从冷脏页队列链表LDC的尾部上选择一个节点作为被替换节点从链表上删除，然后将被替换节点对应的冷脏数据写回闪存存储区中，再启动I/O操作将数据读入缓冲区中的冷干净队列链表LCC的头部MRU；否则从混合队列链表LM的尾部开始向前选择出第一个热干净页节点作为被替换节点从链表上删除，然后启动I/O操作将数据读入缓冲区中的冷干净队列链表LCC的头部MRU。