CN103309820A - 磁盘阵列缓存的实现方法 - Google Patents

Abstract

本发明提供了一种磁盘阵列缓存的实现方法，包括以下步骤：从待处理队列中获取数据请求；根据数据请求在缓存树中进行相应的读数据操作或写数据操作；以及将缓存树中的数据写入底层磁盘阵列中。利用本发明的方法可以在磁盘阵列缓存中实现大部分的读写数据操作，从而不需要每次读写操作都与底层磁盘阵列进行交互，从而大幅提高了读写速度，提高了工作效率。此外提供了数据写回机制，从而确保暂存在磁盘阵列缓存中的数据能够及时地进行备份，所以在系统崩溃时，也不会使读写数据完全丢失。从而提高了系统性能和数据安全性。

Description

磁盘阵列缓存的实现方法

技术领域

本发明一般地涉及计算机技术领域，更具体地来说，涉及一种磁盘阵列缓存的实现方法。

背景技术

Cache(即，缓存)存在于计算机内部的高速部件和低速部件之间，成为弥补速度差距的重要手段。将Cache技术引入存储系统，用以减少存储访问请求的等待时间，从而加快存储访问速度。从一定程度上弥补了存储设备I/O处理速度和CPU处理速度的差距。

在现有技术中，在Linux系统上对磁盘数据的操作分为两类：Direct IO和Buffered IO，前者是一种不用内核缓存的IO，它可以做到直接将用户空间的内存写入磁盘或者将磁盘数据直接读到用户空间的缓存区，这种策略就是不用内核的缓存而使用用户自己设计的缓存，这通常用于数据库系统中；后者则是使用最多的一种，用户对磁盘数据的访问都必须先经过内核的缓存，读数据时如果数据在内核中有缓存则直接从内核内存中读出即可，速度远超过从慢速的磁盘上读取，而写数据时也是先在内核中分配一段内存空间，然后将数据写入此空间，以后在合适的时间再写入到磁盘中去。这两种缓存在一定程度上提高了对磁盘数据的读写操作速度。

然而，用户希望写入磁盘的数据实际上并未真正的写入到磁盘中，而只是在内核空间中暂存，所以在系统崩溃的时候暂存在内存中的磁盘数据会全部丢失，不但给用户带来不必要的损失，还浪费了大量的工作时间，降低了工作效率。因此，需要一种能够在性能和数据安全性方面都符合要求的缓存。

发明内容

针对现有技术中在系统崩溃的时候暂存在内存中的磁盘数据会全部丢失等的缺陷，本发明提出了能够解决上述缺陷的磁盘阵列缓存的实现方法。

本发明提供了一种磁盘阵列缓存的实现方法，包括以下步骤：从待处理队列中获取数据请求；根据数据请求在缓存树中进行相应的读数据操作或写数据操作；以及将缓存树中的数据写入底层磁盘阵列中。

优选地，当数据请求为写数据请求时，根据写数据请求将数据写入缓存树的写空闲页中并且将写空闲页的标记设置为脏页。

优选地，当数据请求为读数据请求时，根据读数据请求在缓存树的所有页面中查找需要读取的数据。

优选地，当在缓存树的页面中查找到需要读取的数据时，读取需要读取的数据并将需要读取的数据提供给用户。

优选地，当在缓存树的所有页面中都没有查找到需要读取的数据时，访问底层磁盘阵列并在底层磁盘阵列中查找到需要读取的数据；以及将查找到的需要读取的数据复制到缓存树的空闲页中并将空闲页的标志设置为有效，同时将需要读取的数据提供给用户。

优选地，当缓存树中的脏页的数量与缓存树的页面的总数量的比率为80％时，将缓存树中的脏数据写入底层磁盘阵列中并相应地将脏页的标志设置为有效。

优选地，定时地或者在系统空闲时，将缓存树中的脏数据写入底层磁盘阵列中并相应地将脏页的标志设置为有效。

优选地，当缓存树中的读空闲页不足时，根据最近最少使用替换算法释放缓存树中的访问次数最少的读页的存储空间并且将读页的标志设置为空闲页。

优选地，当缓存树中的写空闲页不足时，根据最近最少使用替换算法将所述缓存树中访问次数最少的脏页的脏数据写入底层磁盘阵列中并且释放所述脏页的存储空间，同时将脏页的标志设置为空闲页。

优选地，当接收到用户的数据请求时，将数据请求添加至待处理队列中。

本发明的磁盘阵列缓存的实现方法克服了现有技术的缺陷，在缓存中进行读写操作，从而大幅提高了读写操作速率。此外，系统能够将存储在缓存中的数据及时地写入底层磁盘阵列中，所以即使在系统崩溃时，暂存在缓存中的数据已经写入底层磁盘阵列中，因而不会造成数据的完全丢失。因此，不需要重复进行读写操作，大幅减少了工作时间，相应地提高了用户的工作效率。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。在附图中：

图1为总体缓存结构的示意图；

图2为根据本发明的实施例的磁盘阵列缓存的实现方法的总体流程图；以及

图3为根据本发明的实施例的磁盘阵列缓存的实现方法中的读数据操作的具体流程图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

图1为总体缓存结构的示意图。总体缓存结构包括两种类型的缓存，即，内核文件缓存104和磁盘阵列缓存106、108和110。linux的缓存是基于虚拟文件系统的，即，对每一个文件设置一个缓存，本文中未对其进行详细描述。本发明是对底层磁盘阵列的缓存，即，对于每个磁盘阵列都维护一个磁盘阵列缓存，下文中，将对其进行详细描述。首先根据用户的数据请求102在内核文件缓存104中进行相应的数据处理；当该用户的数据请求102在内核文件缓存104中无法完成时，进入下一层的磁盘阵列缓存106、108和110，并在磁盘阵列缓存中进行数据处理。当该用户的数据请求102在磁盘阵列缓存106、108和110中也无法完成时，直接与磁盘阵列112、114和116进行信息交互。具体地，用户数据经过文件缓存后，如果数据无法在文件缓存中处理完，则数据进入到下一层磁盘阵列的缓存，如果数据无法在磁盘阵列的缓存中处理完，则最后通过与底层磁盘进行交互。利用该总体缓存结构，读写速度显然比Direct IO和Buffered IO都快。

下文中，将参照图2和图3对磁盘阵列缓存进行详细描述。

图2为根据本发明的实施例的磁盘阵列缓存的实现方法200的总体流程图。磁盘阵列缓存的实现方法200包括以下步骤。在步骤S202中，从待处理队列中获取数据请求。当接收到用户的数据请求时，将数据请求添加至待处理队列中。具体地，当接收到来自内核文件缓存的用户的数据请求时，首先，将该数据请求添加至待处理队列中作为等待处理的数据请求。内核线程负责从该待处理队列中取出该数据请求。在步骤S204中，根据数据请求在缓存树中进行相应的读数据操作或写数据操作。具体地，内核线程根据获取的数据请求，在缓存树(即，磁盘阵列缓存)中进行相应的读数据操作或写数据操作。在步骤S206中，将缓存树中的数据写入底层磁盘阵列中。具体地，刷新线程负责将缓存树的脏页中的数据写回底层磁盘阵列中。

利用本发明的实施例的磁盘阵列缓存的实现方法，能够在磁盘阵列缓存中实现大部分的读写数据操作，从而不需要每次读写操作都与底层磁盘阵列进行交互，从而大幅提高了读写速度，提高了工作效率。此外提供了适当的数据写回机制，从而确保暂存在磁盘阵列缓存中的数据能够及时地进行备份，所以即使在系统崩溃时，也不会使磁盘阵列缓存中的数据完全丢失。从而提高了系统性能和数据安全性。

下文中，将对磁盘阵列缓存的实现方法的读操作和写操作进行详细描述。

当数据请求为写数据请求时，根据写数据请求将数据写入缓存树的写空闲页中并且将写空闲页的标记设置为脏页。其中，写空闲页的大小为4096字节，由于仅能对底层磁盘阵列的块(4096字节)进行定位，而不能精确到一个扇区(512字节)的大小，所以仅能按照4096字节对脏块进行处理，即，一个内存页的大小。因此，本文中，将在缓存树中进行数据操作的基本单位称为页，即，写空闲页、读空闲页、空闲页或脏页。具体地，内核线程在获取数据请求以后，首先确认该数据请求为读数据请求还是写数据请求。当该数据请求为写数据请求时，内核线程在缓存树中查找写空闲页，当写空闲页的存储空间充足时，将需要写入的数据写入缓存树的写空闲页中，然后，将已经写入数据的写空闲页的标记设置为脏页(即，仅在磁盘阵列缓存中存在数据，而底部磁盘阵列中不存在该数据时，标志为脏页)。此外，当缓存树中的写空闲页不足时，根据最近最少使用替换算法将缓存树中访问次数最少的脏页的脏数据写入底层磁盘阵列中并且释放这些脏页的存储空间，同时将脏页的标志设置为空闲页。具体地，当缓存树中的写空闲页的存储空间不足时，首先，根据最近最少使用替换算法将缓存树中访问次数最少的脏页的脏数据写入底层磁盘阵列中并且将缓存树中的访问次数最少的脏页释放回写存储池中，同时将被释放的脏页的标志设置为空闲页，以便能够继续使用。然后，再根据写数据请求将数据写入缓存树的写空闲页中并且将写空闲页的标记设置为脏页。

能够在磁盘阵列缓存中实现写数据操作，从而不需要每次写操作都与底层磁盘阵列进行交互，从而大幅提高了写速度，提高了工作效率。此外，在写空闲页不足时，释放缓存树中暂时不用的脏页，从而保证写数据操作顺利进行。

图3为根据本发明的实施例的磁盘阵列缓存的实现方法中的读数据操作的具体流程图。读数据操作300包括以下步骤。在步骤S302中，当数据请求为读数据请求时，根据读数据请求在缓存树的所有页面中查找需要读取的数据。具体地，内核线程在获取数据请求以后，首先确认该数据请求为读数据请求还是写数据请求。当内核线程确定数据请求为读数据请求时，根据该读数据请求，在缓存树所具有的所有页面中查找用户要读取的数据。

在步骤S304中，内核线程确定查找到需要读取的数据了吗？当内核线程确定在缓存树的页面中查找到用户需要读取的数据时，读数据操作前进至步骤S306，否则前进至步骤S308。

在步骤S306中，当在缓存树的页面中查找到需要读取的数据时，读取需要读取的数据并将需要读取的数据提供给用户。具体地，当内核线程确定在缓存树的一个或一些页面中查找到需要读取的数据时，从这一个或一些页面中读取需要读取的数据，并且将需要读取的数据通过内核文件缓存提供给用户。

相反，当内核线程确定在缓存树的所有页面中都没有查找到用户需要读取的数据时，读数据操作前进至步骤S308。在步骤S308中，当在缓存树的所有页面中都没有查找到需要读取的数据时，访问底层磁盘阵列并在底层磁盘阵列中查找到需要读取的数据。具体地，当内核线程确定在缓存树的所有页面中都没有查找到需要读取的数据时，内核线程直接访问底层磁盘阵列，并且在与磁盘阵列缓存相对应的底层磁盘阵列中查找到需要读取的数据。

在步骤S310中，将查找到的需要读取的数据复制到缓存树的空闲页中并将空闲页的标志设置为有效，同时将需要读取的数据提供给用户。具体地，当内核线程在底层磁盘阵列中查找到需要读取的数据时，将在底层磁盘阵列中查找到的数据复制到缓存树的空闲页中并将该缓存树的空闲页的标志设置为有效(即，底部磁盘阵列和磁盘阵列缓存中都具有相同的该数据时，标志为有效)同时将需要读取的数据通过内核文件缓存提供给用户。此外，当缓存树中的读空闲页不足时，根据最近最少使用替换算法释放缓存树中的访问次数最少的读页的存储空间并且将读页的标志设置为空闲页。具体地，当缓存树中的读空闲页的存储空间不足时，根据最近最少使用替换算法将缓存树中的访问次数最少的读页释放回读存储池中并且将被释放的读页的标志设置为空闲页(即，仅在底部磁盘阵列中具有数据，而在磁盘阵列缓存中不存在该数据时，标志为空闲页)。然后，将在底层磁盘阵列中查找到的数据复制到缓存树的空闲页中并将该缓存树的空闲页的标志设置为有效，同时将需要读取的数据通过内核文件缓存提供给用户。

能够在磁盘阵列缓存中实现大部分读数据操作，从而只要在磁盘阵列缓存中查找到需要读取的数据，就不再与底层磁盘阵列直接进行信息交互，从而大幅提高了读取速度，相应地提高了工作效率。此外，在读空闲页不足时，释放缓存树中暂时不用的读页，从而保证读数据操作顺利进行。

由于写操作和读操作的数据都位于磁盘阵列缓存中，所以刷新线程负责将缓存树中的数据写入底层磁盘阵列中。当缓存树中的脏页的数量与缓存树的页面的总数量的比率为80％时，将缓存树中的脏数据写入底层磁盘阵列中并相应地将脏页的标志设置为有效。具体地，当刷新线程确定缓存树中的脏页的数量已经超过缓冲树的总页数的80％时，刷新线程在缓存树中根据脏页标志进行搜索，并且将脏页中的脏数据写回底层磁盘阵列中并且将相应的脏页的标志设置为有效。此外，定时地或者在系统空闲时，将缓存树中的脏数据写入底层磁盘阵列中并相应地将脏页的标志设置为有效。刷新线程也可以定时地在缓存树中根据脏页标志进行搜索并且将脏页中的脏数据写回底层磁盘阵列中，或者刷新线程检测到系统空闲时，在缓存树中根据脏页标志进行搜索并且将脏页中的脏数据写回底层磁盘阵列中。本发明的磁盘阵列缓存的实现方法提供了多种数据写回机制，所以只要满足缓存树中的脏页的数量与缓存树的页面的总数量的比率为80％、计时时间到和系统空闲的这三个条件之一时，就自动将缓存树中的数据写回到底层磁盘阵列中，从而保证即使在系统崩溃时，已经将暂存在磁盘阵列缓存中的数据写回底层磁盘阵列中，不会导致数据完全消失，所以不需要重复先前的读写数据操作，相应地减少了用户的工作时间，提高了工作效率。

利用本发明的实施例的磁盘阵列缓存的实现方法，能够在磁盘阵列缓存中实现大部分的读写数据操作，从而不需要每次读写操作都与底层磁盘阵列进行交互，从而大幅提高了读写速度，提高了工作效率。此外提供了多种数据写回机制，从而确保暂存在磁盘阵列缓存中的数据能够及时地写回底层磁盘阵列中，所以当系统崩溃时，磁盘阵列缓存中的数据已经进行了备份，因而不会影响数据的安全性。相应地，提高了系统性能和数据安全性。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种磁盘阵列缓存的实现方法，其特征在于，包括以下步骤：

从待处理队列中获取数据请求；

根据所述数据请求在缓存树中进行相应的读数据操作或写数据操作；以及

将所述缓存树中的数据写入底层磁盘阵列中。

2.根据权利要求1所述的实现方法，其特征在于，当所述数据请求为写数据请求时，根据所述写数据请求将所述数据写入所述缓存树的写空闲页中并且将所述写空闲页的标记设置为脏页。

3.根据权利要求1所述的实现方法，其特征在于，当所述数据请求为读数据请求时，根据所述读数据请求在所述缓存树的所有页面中查找需要读取的数据。

4.根据权利要求3所述的实现方法，其特征在于，当在所述缓存树的页面中查找到所述需要读取的数据时，读取所述需要读取的数据并将所述需要读取的数据提供给用户。

5.根据权利要求3所述的实现方法，其特征在于，当在所述缓存树的所有页面中都没有查找到所述需要读取的数据时，

访问所述底层磁盘阵列并在所述底层磁盘阵列中查找到所述需要读取的数据；以及

将查找到的所述需要读取的数据复制到所述缓存树的空闲页中并将所述空闲页的标志设置为有效，同时将所述需要读取的数据提供给用户。

6.根据权利要求1所述的实现方法，其特征在于，当所述缓存树中的脏页的数量与所述缓存树的页面的总数量的比率为80％时，将所述缓存树中的脏数据写入底层磁盘阵列中并相应地将所述脏页的标志设置为有效。

7.根据权利要求1所述的实现方法，其特征在于，定时地或者在系统空闲时，将所述缓存树中的脏数据写入底层磁盘阵列中并相应地将脏页的标志设置为有效。

8.根据权利要求1所述的实现方法，其特征在于，当所述缓存树中的读空闲页不足时，根据最近最少使用替换算法释放所述缓存树中的访问次数最少的读页的存储空间并且将所述读页的标志设置为空闲页。

9.根据权利要求1所述的实现方法，其特征在于，当所述缓存树中的写空闲页不足时，根据最近最少使用替换算法将所述缓存树中访问次数最少的脏页的脏数据写入底层磁盘阵列中并且释放所述脏页的存储空间，同时将所述脏页的标志设置为空闲页。

10.根据权利要求1所述的实现方法，其特征在于，当接收到用户的所述数据请求时，将所述数据请求添加至所述待处理队列中。

Images