CN107305477A - 一种flashcache混合存储系统的缓存读写操作方法及系统 - Google Patents

Abstract

本发明提供一种flashcache混合存储系统的缓存读写操作方法，缓存中与每个缓存块对应的元数据结构中设置有读写锁，所述方法包括：判断操作请求为读操作或写操作；若为读操作，则向操作请求指向的缓存块所对应的元数据结构请求读者锁并进行读操作，在读者锁加锁状态，拒绝对该缓存块的写操作；若为写操作，则向操作请求指向的缓存块所对应的元数据结构请求写者锁并进行写操作，在写者锁加锁状态，拒绝对该缓存块的读操作和其他写操作。该方法实现了缓存的并行操作，提高了缓存的读写效率。

Description

一种flashcache混合存储系统的缓存读写操作方法及系统

技术领域

本发明涉及存储系统领域，特别涉及一种flashcache混合存储系统的缓存读写操作方法及系统。

背景技术

随着互联网行业的迅速发展，云计算、大数据等技术的兴起让存储系统的处理速度变得越来越重要。机械硬盘(Hard Disk Drive，HDD)是目前大容量存储的主要方式，其容量可以不断的增大，但处理速度却难以增长，这成为制约存储系统速度提高的重要因素。固态硬盘(Solid State Drives，SSD)由固态电子存储芯片阵列而制成，非常适合处理大量的读写访问，但其价格昂贵，寿命有限，因此，基于机械硬盘和固态硬盘这两种存储介质的数据混合存储方案应运而生。

目前，一种主存-固态硬盘-机械硬盘的混合存储结构为其中一种混合存储方案的应用，该混合存储结构中，固态硬盘作为机械硬盘的缓存，flashcache混合存储系统便是这种混合存储结构，flashcache是基于Linux设备映射层框架之上的内核模块，用于接受来自上层下发的读写操作(I/O)请求，并根据请求将热数据调度到固态硬盘作为缓存，进而实现机械硬盘的读写。

在flashcache混合存储系统中，在进行缓存的读写操作的方法中，在接收到上层的读写操作请求后，先进行自旋锁的操作，当返回可操作的访问值之后，才可以进行相应的读写操作，该自旋锁为整个缓存共用，这样，每次只能有一个读写操作请求可以执行对缓存的操作，相当于缓存进行的是串行化操作，缓存的读写效率低。

发明内容

有鉴于此，本发明的目的在于提供一种flashcache混合存储系统的缓存读写操作方法及系统，实现读写并行操作，提高缓存的读写效率。

为实现上述目的，本发明有如下技术方案：

一种flashcache混合存储系统的缓存读写操作方法，缓存中与每个缓存块对应的元数据结构中设置有读写锁，所述方法包括：

判断操作请求为读操作或写操作；

若为读操作，则向操作请求指向的缓存块所对应的元数据结构请求读者锁并进行读操作，在读者锁加锁状态，拒绝对该缓存块的写操作；

若为写操作，则向操作请求指向的缓存块所对应的元数据结构请求写者锁并进行写操作，在写者锁加锁状态，拒绝对该缓存块的读操作和其他写操作。

可选的，还包括：建立线程池，线程池中包括多条处于等待状态的线程；则

在进行读操作或写操作时，使用线程池中的空闲线程执行操作任务。

可选的，还包括：

接收卸载请求后，将终止请求发送至线程池，线程池处理完所有线程后，销毁线程池。

可选的，缓存中还设置有自旋锁，还包括：

判断操作请求是否为更新元数据结构中的成员变量，若是，则请求自旋锁并进行元数据结构中的成员变量的更新操作，在自旋锁加锁状态，缓存拒绝任何其他的操作。

此外，本发明还提供一种flashcache混合存储系统的缓存读写操作系统，其特征在于，缓存中与每个缓存块对应的元数据结构中设置有读写锁，所述系统包括：

判断单元，用于判断操作请求为读操作或写操作；

读操作单元，用于在操作请求为读操作时，向操作请求指向的缓存块所对应的元数据结构请求读者锁并进行读操作，在读者锁加锁状态，拒绝对该缓存块的写操作；

写操作单元，用于在操作请求为写操作时，向操作请求指向的缓存块所对应的元数据结构请求写者锁并进行写操作，在写者锁加锁状态，拒绝对该缓存块的读操作和其他写操作。

可选的，还包括：

线程池建立单元，用于建立线程池，线程池中包括多条处于等待状态的线程；则，

在读操作单元和写操作单元中，在进行读操作或写操作时，使用线程池中的空闲线程执行操作任务。

可选的，还包括：

线程池销毁单元，用于在接收卸载请求后，将终止请求发送至线程池，线程池处理完所有线程后，销毁线程池。

可选的，缓存中还设置有自旋锁，判断单元还用于判断操作请求是否为更新元数据结构中的成员变量；

所述系统还包括更新单元，用于操作请求为更新元数据结构中的成员变量时，请求自旋锁并进行元数据结构中的成员变量的更新操作，在自旋锁加锁状态，缓存拒绝任何其他的操作。

本发明实施例提供的flashcache混合存储系统的缓存读写操作方法及系统，缓存中与每个缓存块对应的元数据结构中都设置有读写锁，读写锁中具有读者锁和写者锁的状态，通过读写锁可以对每个缓存块进行读写管理，这样，在接收到上层的操作请求之后，若为读操作的请求，则向相应的元数据结构请求读者锁并进行读操作，在读者锁加锁状态，拒绝对该缓存块的写操作，若为写操作的请求，则向相应的元数据结构请求写者锁并进行写操作，在写者锁加锁状态，拒绝对该缓存块的任何其他操作。由于在元数据结构中添加了读写锁，将锁粒度降低到以缓存块为单位，这样，在接收到操作请求时，可以分别对不同的缓存块执行操作，实现了缓存的并行操作，提高了缓存的读写效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据本发明实施例的flashcache混合存储系统的缓存读写操作方法的流程图；

图2示出了本发明实施例的混合存储系统中固态硬盘的缓存数据布局结构示意图；

图3示出了本发明实施例的混合存储系统中固态硬盘与机械硬盘的映射关系示意图；

图4示出了本发明实施例的缓存读写操作中读写锁状态示意图；

图5示出了根据flashcache混合存储系统的缓存读写操作系统的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

本发明提出了一种flashcache混合存储系统的缓存读写操作方法，缓存中与每个缓存块对应的元数据结构中设置有读写锁，所述方法包括：

S01，判断操作请求为读操作或写操作；

S02，若为读操作，则向操作请求指向的缓存块所对应的元数据结构请求读者锁并进行读操作，在读者锁加锁状态，拒绝对该缓存块的写操作；

S03，若为写操作，则向操作请求指向的缓存块所对应的元数据结构请求写者锁并进行写操作，在写者锁加锁状态，拒绝对该缓存块的读操作和其他写操作。

其中，混合存储系统是以主存-固态硬盘-机械硬盘组成的存储结构，固态硬盘作为机械硬盘的缓存，flashcache是基于Linux设备映射层框架之上的内核模块，用于接受来自上层下发的读写操作(I/O)请求，并将热数据调度到固态硬盘作为缓存，进而实现机械硬盘的读写。本发明中，缓存调度方法中的缓存为固态硬盘，该缓存调度方法基于flashcache的内核模块完成。

为了便于理解，先介绍混合存储系统中固态硬盘的缓存数据布局结构，参考图2所示，在固态硬盘中，主要包括三个区域：超级块、元数据块以及缓存块，缓存块中存储数据，元数据块中存储了缓存块缓存数据的元数据结构，每个元数据块与缓存块顺序对应，一个元数据块上包含多个元数据结构，每个缓存块对应与该缓存块相应的元数据结构，或称元数据结构体，元数据块用于管理存储实际数据的缓存块，通常地，元数据块中的元数据结构通常包括有缓存块状态、因缓存块上还有操作而等待的任务数、将缓存块元数据链入各个链表连接件、缓存块所缓存数据对应的磁盘块地址等，在本发明实施例中，元数据块中还包括有设置有读写锁的元数据结构，读写锁中具有读者锁和写者锁的状态，通过读写锁可以对每个缓存块分别进行读写管理。

由于缓存中与每个缓存块对应的元数据结构中都设置有读写锁，读写锁中具有读者锁和写者锁的状态，通过读写锁可以对每个缓存块进行读写管理。由于在元数据结构中添加了读写锁，将锁粒度降低到以缓存块为单位，这样，在接收到操作请求时，可以分别对不同的缓存块执行操作，实现了缓存的并行操作，提高了缓存的读写效率。

为了更好的理解本发明的技术方案和技术效果，以下将结合流程图对具体的实施例进行详细的描述。

首先，判断操作请求为读操作或写操作。

对于混合存储系统，操作请求(I/O请求)来自上层，通过操作请求携带的内容可以直接或间接的判断出请求为读操作或写操作以及所需操作的缓存块。

参考图3所示，为作为缓存的固态硬盘与机械硬盘之间的映射关系示意图，通常地，固态硬盘和机械硬盘都划分为大小相同的块，例如默认的大小为4KB，固态硬盘中的每一个块为一个缓存块，每512个缓存块划分为一个组，机械硬盘与固态硬盘采用多路组相连的映射方式，即机械硬盘中的多个组指向固态硬盘中的一个组。在机械硬盘上，块地址为以扇区为单位的磁盘块号(Disk Block Number，DBN)。在上层对机械硬盘进行读写操作(I/O)请求后，该请求中的内容直接或间接转化为一个具体的磁盘块号，该磁盘块号可以直接映射到机械硬盘上的一个具体的组，可以通过线性哈希探测映射到缓存固态硬盘组里的某一个缓存块。

在判断完读写操作之后，若是读操作，则向操作请求指向的缓存块所对应的元数据结构请求读者锁并进行读操作，在读者锁加锁状态，拒绝对该缓存块的写操作。

在操作请求中的磁盘块号对应到缓存中的一个具体的缓存块，该缓存块对应自己的元数据结构，元数据结构中存在对该缓存块的操作进行管理的读写锁，读写锁中包含有读者锁和写者锁的状态。对于读操作，读操作先向元数据结构请求读者锁，在获取读者锁后，进行读操作，参考图4所示，在读者锁加锁的状态，其他的读操作请求仍可以申请该读者锁并对该缓存块进行读操作，而写操作会被拒绝，即对该缓存块的写操作被挂起，直到释放该读者锁之后，才可以进行写操作。

在判断完读写操作之后，若是写操作，则向操作请求指向的缓存块所对应的元数据结构请求写者锁并进行写操作，在写者锁加锁状态，拒绝对该缓存块的读操作和其他写操作。

对于写操作，写操作先向元数据结构请求写者锁，在获取写者锁之后，进行写操作，参考图4所示，在写者锁加锁的状态，其他的后续的任何请求均会被拒绝，包括后续任何对该缓存块的读操作和其他写操作均会被挂起，这样，可以保证写操作的正确性，避免其他操作破坏数据一致性。

以上是操作请求为读操作或写操作的情况，将锁粒度降低到以缓存块为单位，通过在每个元数据结构中设置读写锁，在读写操作时通过向相应的元数据结构请求读者锁或写者锁进行相应的操作，缓存块间为并行操作，提高了缓存的读写效率。

此外，除了读写操作的数据传输的操作之外，还会有其他的操作请求，例如更新元数据结构中的成员变量，对于此类请求，还可以设置缓存级别的自旋锁，在判断出读写操作为更新元数据结构中的成员变量时，去请求缓存的自旋锁，在获取自旋锁之后，进行相应的更新操作，在自旋锁加锁状态，缓存拒绝任何其他的操作，直到释放自旋锁。这样，在进行该类的操作时，将后续的其他对缓存的操作都挂起，形成操作互斥，易于保证数据的一致性。

对于上述的操作请求的执行，通常都是通过线程来实现，上述的操作方法为并行操作，需要多线程来执行，一般地，在由操作请求要执行时，进行相应的线程的创建，而在操作请求执行完毕后，进行线程的销毁，反复的创建和销毁线程会对内存带来额外的开支，降低系统的性能。

在本发明优选的实施例中，通过线程池来实现多线程执行和切换，在进行缓存操作之前，预先建立缓存池，刚建立好的缓存池中为多条进入等待状态的线程，这些线程用于读操作或写操作时，执行这些操作任务。在线程池建立好之后，就有一定数目的线程处于就绪状态，等待操作任务进行处理。在具体的进行读操作或写操作时，当操作请求到来时，创建该操作请求对应的任务，将该任务以及对应的处理函数封装成结构体(worker)，然后将该结构体添加到线程池中，以链表的形式管理起来，而后，检查线程池中是否有空闲线程，若有，则唤醒线程来执行任务，执行完该操作请求的任务之后，则删除该结构体(worker)，但不销毁该线程，使线程进入睡眠状态，成为空闲线程；而当没有空闲线程时，该操作请求的任务处于等待状态，直到有空闲线程出现，再执行任务。在缓存的整个操作过程中，线程处于执行任务或空闲状态，并不会随着任务进行创建和销毁，减小了内存的开支，提高了系统的性能。对于线程池，可以在接收到卸载请求之后，如整个flashcache模块需要卸载时，将终止请求发送至线程池，线程池在处理完正在处理的所有线程之后，销毁线程池，也就是说，线程池并不随时的建立和销毁，减小系统的开支。

以上对本发明实施例的flashcache混合存储系统的缓存读写操作方法进行了详细的描述，此外，本发明还提供了实现上述方法的flashcache混合存储系统的缓存读写操作系统，缓存中与每个缓存块对应的元数据结构中设置有读写锁，参考图5所示，包括：

判断单元100，用于判断操作请求为读操作或写操作；

读操作单元110，用于在操作请求为读操作时，向操作请求指向的缓存块所对应的元数据结构请求读者锁并进行读操作，在读者锁加锁状态，拒绝对该缓存块的写操作；

写操作单元120，用于在操作请求为写操作时，向操作请求指向的缓存块所对应的元数据结构请求写者锁并进行写操作，在写者锁加锁状态，拒绝对该缓存块的读操作和其他写操作。

进一步的，还包括：

线程池建立单元，用于建立线程池，线程池中包括多条处于等待状态的线程；则，

在读操作单元110和写操作单元120中，在进行读操作或写操作时，使用线程池中的空闲线程执行操作任务。

进一步的，还包括：

线程池销毁单元，用于在接收卸载请求后，将终止请求发送至线程池，线程池处理完所有线程后，销毁线程池。

进一步的，缓存中还设置有自旋锁，判断单元还用于判断操作请求是否为更新元数据结构中的成员变量；

所述系统还包括更新单元，用于操作请求为更新元数据结构中的成员变量时，请求自旋锁并进行元数据结构中的成员变量的更新操作，在自旋锁加锁状态，缓存拒绝任何其他的操作。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的模块或单元可以是或者也可以不是物理上分开的，作为模块或单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅是本发明的优选实施方式，虽然本发明已以较佳实施例披露如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何的简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (8)

1.一种flashcache混合存储系统的缓存读写操作方法，其特征在于，缓存中与每个缓存块对应的元数据结构中设置有读写锁，所述方法包括：

判断操作请求为读操作或写操作；

若为读操作，则向操作请求指向的缓存块所对应的元数据结构请求读者锁并进行读操作，在读者锁加锁状态，拒绝对该缓存块的写操作；

若为写操作，则向操作请求指向的缓存块所对应的元数据结构请求写者锁并进行写操作，在写者锁加锁状态，拒绝对该缓存块的读操作和其他写操作。

2.根据权利要求1所述的方法，其特征在于，还包括：建立线程池，线程池中包括多条处于等待状态的线程；则

在进行读操作或写操作时，使用线程池中的空闲线程执行操作任务。

3.根据权利要求2所述的方法，其特征在于，还包括：

接收卸载请求后，将终止请求发送至线程池，线程池处理完所有线程后，销毁线程池。

4.根据权利要求1所述的方法，其特征在于，缓存中还设置有自旋锁，还包括：

判断操作请求是否为更新元数据结构中的成员变量，若是，则请求自旋锁并进行元数据结构中的成员变量的更新操作，在自旋锁加锁状态，缓存拒绝任何其他的操作。

5.一种flashcache混合存储系统的缓存读写操作系统，其特征在于，缓存中与每个缓存块对应的元数据结构中设置有读写锁，所述系统包括：

判断单元，用于判断操作请求为读操作或写操作；

读操作单元，用于在操作请求为读操作时，向操作请求指向的缓存块所对应的元数据结构请求读者锁并进行读操作，在读者锁加锁状态，拒绝对该缓存块的写操作；

写操作单元，用于在操作请求为写操作时，向操作请求指向的缓存块所对应的元数据结构请求写者锁并进行写操作，在写者锁加锁状态，拒绝对该缓存块的读操作和其他写操作。

6.根据权利要求5所述的系统，其特征在于，还包括：

线程池建立单元，用于建立线程池，线程池中包括多条处于等待状态的线程；则，

在读操作单元和写操作单元中，在进行读操作或写操作时，使用线程池中的空闲线程执行操作任务。

7.根据权利要求6所述的系统，其特征在于，还包括：

线程池销毁单元，用于在接收卸载请求后，将终止请求发送至线程池，线程池处理完所有线程后，销毁线程池。

8.根据权利要求5所述的系统，其特征在于，缓存中还设置有自旋锁，判断单元还用于判断操作请求是否为更新元数据结构中的成员变量；

所述系统还包括更新单元，用于操作请求为更新元数据结构中的成员变量时，请求自旋锁并进行元数据结构中的成员变量的更新操作，在自旋锁加锁状态，缓存拒绝任何其他的操作。