CN102387204A - 维护集群缓存一致性的方法及系统 - Google Patents

Abstract

本发明提供了维护集群缓存一致性的方法和系统。其中将共享相同存储空间的多个缓存节点组成自治组，当一个自治组中的任一节点进行缓存更新时，自动将该更新同步镜像到同一自治组中的其它缓存节点。这样可以保证各缓存成员空间的数据处于最新视图，从而增强了缓存集群的一致性语义。而且，对于自治组的上层应用和下层存储来说，是完全透明的，使得缓存集群更容易扩展，也有利于整个存储系统的扩展。

Description

维护集群缓存一致性的方法及系统

技术领域

本发明属于信息技术领域，尤其涉及集群缓存的一致性技术。

背景技术

数据缓存技术作为一种重要的输入输出(Input&Output，IO)性能优化手段被广泛应用于集群存储系统中，它将未来可能被访问的数据保存在主存中，利用应用IO负载中普遍存在的数据访问局部性原理来加速存储系统的IO性能，屏蔽慢速磁盘设备对应用性能的影响。但是，在集群存储系统中，当一个应用部署在不同缓存节点上并行运行时，每个缓存节点都是单独管理缓存。这样就很容易导致不同节点上缓存内容出现版本上的不一致。

现有维护缓存集群数据一致性的方法大致有以下三种：主动更新，回调，租约。对于主动更新，每次访问都需要与存储节点同步，降低了缓存的有效性。对于回调，需要存储节点额外记住所有客户端读取的数据，负担过重。对于租约，需要缓存节点与存储节点的协调，协商协议往往比较复杂。

发明内容

因此，本发明的目的在于克服上述问题，提供一种集群缓存一致性方法，来有效地维护集群节点之间的缓存一致性。

本发明的目的是通过以下技术方案实现的：

一方面，本发明提供了一种维护集群缓存一致性的方法，该方法在一个自治组中的任一节点进行缓存更新时，自动将该更新同步镜像到同一自治组中的其它缓存节点，所述自治组由共享相同存储空间的多个缓存节点组成。

上述方法中，包括以下步骤：

步骤1)当缓存节点收到来自应用服务器的写请求时，将该写请求的数据写入自身缓存，同时复制该写请求并且将所复制的写请求发送给同一自治组中的其它缓存节点；

步骤2)同一自治组中的其它缓存节点在收到所复制的写请求时，将其中的数据写入自身缓存，并向发送该请求的缓存节点发送应答；

步骤3)当同一自治组中的所有缓存节点完成对缓存中数据的更新后，收到来自应用服务器的写请求的缓存节点发送写应答给应用服务器。

上述方法中，每个自治组所共享的存储空间包括多个关联区域，每个缓存节点各自维持一张关联区域锁状态表，在该状态表中，每个表项对应一个关联区域，该表项记录了关联区域当前的锁状态。

上述方法中，在步骤1)和步骤2)中还包括以下步骤：

对于进入缓存节点的写请求，检查其要访问的关联区域是否处于加锁状态，若处于加锁状态，则立刻回退到发送该写请求的缓存节点，将产生冲突的请求加入等待重发队列，随机的等待一段时间T_rand，重新启动更新操作；否则，对该关联区域进行加锁。

上述方法中，所述等待时间T_rand以如下公式进行计算：

T_rand＝rand*ΔT*n；

其中，rand为一定范围内的随机整数，n为请求累计发送次数，ΔT为一个网络请求从发送到收到回复的最大时间消耗。

上述方法中，在步骤1)和步骤2)中，还包括对写请求所访问的关联区域进行解锁的步骤。

上述方法中，每个关联区域的大小可以为128K。

又一方面，本发明提供了一种维护集群缓存一致性的系统，该系统包括一个或多个自治组，所述自治组是由共享相同存储空间的多个缓存节点组成的，自治组中的每个缓存节点上包括缓存一致性模块，其用于将来自应用服务器的写请求的数据写入自身缓存，同时对该数据进行复制并发送给同一自治组中的其它缓存节点，以及在同一自治组中的所有缓存节点完成对缓存中数据的更新后，发送写应答给应用服务器；以及用于将从同一自治组中的其它缓存节点的接收的写请求的数据写入自身缓存，并发送应答给发送该写请求的缓存节点。

上述系统中，每个自治组所共享的存储空间包括多个关联区域，每个缓存节点各自维持一张关联区域锁状态表，在该状态表中，每个表项对应一个关联区域，该表项记录了关联区域当前的锁状态。

上述系统中，每个缓存节点还包括缓存并发控制模块，该模块用于对于进入缓存节点的写请求，检查其要访问的关联区域是否处于加锁状态，若处于加锁状态，则立刻回退到发送该写请求的缓存节点，将产生冲突的请求加入等待重发队列，随机的等待一段时间T_rand，重新启动更新操作；否则，对该关联区域进行加锁；以及用于在将写请求的数据写入到该关联区域后，对该关联区域进行解锁。

上述系统中，所述等待时间T_rand以如下公式进行计算：

T_rand＝rand*ΔT*n；

其中，rand为一定范围内的随机整数，n为请求累计发送次数，ΔT为一个网络请求从发送到收到回复的最大时间消耗。

上述系统中，每个关联区域的大小可以为128K。

与现有技术相比，本发明的优点在于：

共享相同存储空间的多个缓存节点组成一个自治组，对于组中的任一节点的缓存更新，会自动的同步镜像到组中的其它成员。这样可以保证各缓存成员空间的数据处于最新视图，从而增强了缓存集群的一致性语义。而且，无需应用节点或者存储节点的参与，对于自治组的上层应用和下层存储来说，是完全透明的。对于自治组中的任一节点更新，都会由它自身负责其它组内成员的更新，而无需类似与回调或租约的集中协调，使得缓存集群更容易扩展，也有利于整个存储系统的扩展。

附图说明

以下参照附图对本发明实施例作进一步说明，其中：

图1为采用数据缓存技术的集群存储系统的架构示意图；

图2(a)、(b)和(c)为在集群存储系统中的缓存一致性问题示意图；

图3为根据本发明实施例的缓存同步更新示意图；

图4为根据本发明实施例的同步更新缓存的方法的流程示意图。

图5(a)和5(b)为发送请求冲突的示意图；

图6为根据本发明实施例缓存一致性系统的架构示意图。

具体实施方式

为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1所示的采用数据缓存技术的集群存储系统的架构示意图，其中应用通过多条数据通路并行访问后端共享存储，在关键数据通路上的IO节点提供缓存服务，这些位于IO节点上的数据缓存资源，对上层应用的性能有重要的影响。为了表述方便，可以将这些IO节点统称为缓存节点，多个缓存节点形成的松散集群，也可以称为缓存集群。

图2为在集群存储系统中的缓存一致性问题示意图。其中，一个节点上修改了数据只会影响到本地的缓存，但不会通知其他节点，导致其他节点的缓存数据实际已经失效。如图2(a)所示，两个缓存节点通过网络与后端共享存储相连，假设当前两个缓存节点都存在数据块A。若此时缓存节点2对数据A进行了更新，则可能存在图2(b)和图2(c)两种情况。对于图2(b)，缓存节点2中的数据A’为最新版本，而缓存节点1和共享存储中仍然为数据A的过时版本。对于图2(c)，缓存节点2对后端存储进行了更新，结果缓存节点2和共享存储中的数据皆为最新的数据版本A’，而缓存节点1中仍为过时数据A。因此，缓存节点之间、缓存节点与后端存储之间存在缓存一致性的问题。

图3所示的是根据本发明一个实施例的对多个缓存节点进行同步更新的示意图。其中，将缓存集群中共享相同存储空间的缓存节点组成一个自治组，在自治组内的多个缓存节点需要维护缓存一致性，而在自治组间由于不存在共享存储，所以不存在维护缓存一致性问题。同一自治组内的缓存节点之间是相互可见的。对于自治组中的任一节点的缓存更新，自动的同步镜像到组中的其它缓存节点，而无需应用节点或者存储节点的参与。对于自治组中的任一节点更新，都会由它自身负责其它组内成员的更新，而无需类似与回调或租约的集中协调。对于缓存自治组中的更新，通过高速数据通道对其它成员的缓存空间进行同步。这样可以保证各缓存成员空间的数据处于最新视图，从而增强了缓存集群的一致性语义。

一个缓存集群中可允许存在的自治组数量是由共享的后端存储区域数量决定的，没有理论上限，而且对于同一应用自治组的规模是可以动态调节的。

图4所示的是进行缓存的同步更新的方法的一个实施例的流程图。如图4所示，以两个缓存节点的情况为例进行说明。当应用服务器进行写数据时，通常情况下包括以下步骤：

(1)应用服务器发送写请求给缓存节点(可以将接收到来自应用服务器的写请求的缓存节点简称为主缓存节点)；

(2)主缓存节点进行冲突检测；若无冲突，将写请求的数据写入自身缓存；同时对该数据进行复制并通过网络以组播的方式同步发送给同一自治组中的其它缓存节点；否则，进行冲突解决；

(3)同一自治组中的其它缓存节点进行冲突检测；若无冲突，将接收到的数据写入缓存，并发送应答给主缓存节点；否则，进行冲突解决；

(4)主缓存节点与同一自治组中的其它缓存节点皆更新完成后，主缓存节点发送写应答给应用服务器。

需要注意(2)与(3)是并行关系，通过对访问路径上的各缓存进行更新，对于上层应用来说，各缓存节点具有最新的数据视图，各缓存节点的数据副本一致，从而保证了缓存集群的数据一致性。

在上述同步更新过程中，随时可能发生请求冲突，从节点自身角度来讲，请求冲突包括两种情况：自身更新请求与其它节点的镜像更新请求冲突，自身的镜像更新请求与其它节点的更新请求冲突。如图5(a)所示，处于同一自治组中的缓存节点1与缓存节点2当前都存在数据块A，其版本为v1。此时，缓存节点1对数据块A进行更新操作，设其版本为v2；缓存节点2对数据块A也进行更新操作，设其版本为v3。两个节点对同一数据的并发同步镜像更新，很难保证两个镜像更新的顺序一致；可能出现图5(b)所示的数据不一致的情况，具体来说：缓存节点1上的数据块A的更新顺序是v1→v2→v3，缓存节点2上的数据块A的更新顺序是v1→v3→v2。从而产生了更新请求冲突。此问题的根本原因在于，由于并发镜像更新请求顺序的无协调性，导致无法保证一个镜像更新请求的原子性。对于上面的例子来说，同一数据的更新包括对本端节点缓存空间的更新和对组成员的同步镜像更新，由于本地缓存数据的更新与网络镜像更新存在时间差(主要为网络延迟)，如果在这个时间差内其它节点产生的镜像更新请求到达，就会产生请求冲突，破坏当前更新请求的原子性。

可以采用下面的方法来检测冲突：将多个节点在某一短时间内对同一存储区域的多次更新请求称为关联性请求，将关联请求要访问的存储区域称为关联区域。一个自治组所共享的存储空间可以以关联区域的粒度为基本单位而被划分为多个关联区域。经过发明人的实验得出当关联区域粒度为128K时性能最佳。上层应用的访问请求对应一个或多个关联区域。

每个节点各自维持一张关联区域锁状态表(lock status table)，在该状态表，每一个关联区域都对应一个表项，该表项记录了当前关联区域的锁状态。对于进入缓存节点的请求，首先检查其要访问的关联区域是否处于加锁状态。若是，则表明关联区域正在被访问，即产生请求冲突。具体的步骤为：

步骤11：对于进入缓存节点的请求，首先检查其操纵区域是否处于加锁状态；

步骤12：若是，则表明关联区域正在被访问，即产生请求冲突；转步骤14；

步骤13：对操纵的关联区域进行加锁，以及在完成对该区域的缓存数据更新后，对操纵的关联区域解锁；

步骤14：检测完毕；

对于任一种请求冲突，都需要进行冲突解决。可以通过下面的方法来解决冲突，具体步骤包括：

步骤21：当检测到请求冲突，立刻回退到主缓存节点；

步骤22：将产生冲突的请求加入等待重发队列；

步骤23：随机的等待一段时间T_rand，重新启动更新操作；其中随机时间T_rand定义为：

T_rand＝rand*ΔT*n；

其中rand为一定范围内的随机整数，n为请求累计发送次数，ΔT为一个网络请求从发送到收到回复的最大时间消耗。

采用上述并发控制的优点为：

完全分布：锁操作在各缓存节点上独立完成，不存在集中的锁管理器，对于占有请求比例大的非关联请求的锁操作并不会造成性能瓶颈。

原子性：对于一次更新操作，试图获得所有成员节点的关联区域锁。如果失败，则释放所有已获得锁；这样可以有效避免死锁和活锁。

图6所示的是集群缓存的一致性系统的一个实施例的示意图。在该系统中将共享相同存储空间的多个缓存节点组成自治组，在自治组内的每个缓存节点上包括缓存管理模块、缓存一致性模块、缓存并发控制模块。其中，缓存管理模块包括缓存空间管理和缓存资源管理，其主要承载着应用的读写缓存需求，为应用的读写数据分配缓存资源；以及在资源紧张时，进行读缓存资源的回收。缓存一致性模块，负责对数据更新请求进行复制，通过网络同步更新到目的节点的缓存空间。所述缓存并发控制模块，负责对数据更新请求的冲突检测和冲突解决。在各缓存节点上各个模块具有完全对称的功能结构。

下面结合图6所示的两个缓存节点的情况为例来对上述各功能模块进行更详细的描述。

缓存一致性模块：对应用的写请求数据进行复制，通过本地写缓存接口(write_request)和远程写缓存接口(remote_write_request)将数据同步的写入主缓存节点和其它缓存节点。如图6所示，当缓存节点1的接收到应用的写请求时，该节点上的缓存一致性模块将源写请求通过本地写缓存接口发送到所在节点的缓存管理模块，并通过远程写缓存接口将复制的数据通过网络发送到缓存节点2。为了性能考虑，远程写缓存可以通过高性能网络完成。

缓存管理模块，包括缓存空间管理和缓存资源管理两个子模块。其中，缓存空间管理子模块为应用提供相应的缓存服务，对应用的读写请求进行响应；并可以采用的替换算法如LRU(Least Recently Used)、LFU(LeastFrequently Used)等，进行缓存空间的管理。缓存资源管理子模块通过共享缓存池的方式统一管理系统中的空闲缓存资源，以满足应用缓存空间的资源分配需求。具体来说，当缓存空间需要空闲块时，向缓存资源管理子模块进行申请(allocate)，新分配的缓存块由管理该缓存空间的缓存替换算法加入到缓存空间中；当共享缓存池中资源不足时，缓存资源管理子模块进行资源回收(deallocate)。

缓存并发控制模块，负责检测请求冲突和冲突解决，例如该模块可以采用上文接收的检测冲突和解决冲突的方法来进行冲突检测和解决。

虽然本发明已经通过优选实施例进行了描述，然而本发明并非局限于这里所描述的实施例，在不脱离本发明范围的情况下还包括所作出的各种改变以及变化。

Claims (12)

1.一种维护集群缓存一致性的方法，所述方法包括：

当一个自治组中的任一节点进行缓存更新时，自动将该更新同步镜像到同一自治组中的其它缓存节点，所述自治组由共享相同存储空间的多个缓存节点组成。

2.根据权利要求1所述的方法，所述方法包括：

步骤1)当缓存节点收到来自应用服务器的写请求时，将该写请求的数据写入自身缓存，同时复制该写请求并且将所复制的写请求发送给同一自治组中的其它缓存节点；

步骤2)同一自治组中的其它缓存节点在收到所复制的写请求时，将其中的数据写入自身缓存，并向发送该请求的缓存节点发送应答；

步骤3)当同一自治组中的所有缓存节点完成对缓存中数据的更新后，收到来自应用服务器的写请求的缓存节点发送写应答给应用服务器。

3.根据权利要求2所述的方法，其中，每个自治组所共享的存储空间包括多个关联区域，每个缓存节点各自维持一张关联区域锁状态表，在该状态表中，每个表项对应一个关联区域，该表项记录了关联区域当前的锁状态。

4.根据权利要求2所述的方法，在步骤1)和步骤2)中还包括以下步骤：

对于进入缓存节点的写请求，检查其要访问的关联区域是否处于加锁状态，若处于加锁状态，则立刻回退到发送该写请求的缓存节点，将产生冲突的请求加入等待重发队列，随机的等待一段时间T_rand，重新启动更新操作；否则，对该关联区域进行加锁。

5.根据权利要求4所述的方法，所述等待时间T_rand以如下公式进行计算：

T_rand＝rand*ΔT*n；

其中，rand为一定范围内的随机整数，n为请求累计发送次数，ΔT为一个网络请求从发送到收到回复的最大时间消耗。

6.根据权利要求4所述的方法，在步骤1)和步骤2)中，还包括对写请求所访问的关联区域进行解锁的步骤。

7.根据权利要求3、4、5或6所述的方法，其中每个关联区域的大小为128K。

8.一种维护集群缓存一致性的系统，所述系统中包括一个或多个自治组，所述自治组是由共享相同存储空间的多个缓存节点组成的，自治组中的每个缓存节点上包括缓存一致性模块，其用于将来自应用服务器的写请求的数据写入自身缓存，同时对该数据进行复制并发送给同一自治组中的其它缓存节点，以及在同一自治组中的所有缓存节点完成对缓存中数据的更新后，发送写应答给应用服务器；以及用于将从同一自治组中的其它缓存节点的接收的写请求的数据写入自身缓存，并发送应答给发送该写请求的缓存节点。

9.根据权利要求8所述的系统，其中，每个自治组所共享的存储空间包括多个关联区域，每个缓存节点各自维持一张关联区域锁状态表，在该状态表中，每个表项对应一个关联区域，该表项记录了关联区域当前的锁状态。

10.根据权利要求9所述的系统，其中每个缓存节点还包括缓存并发控制模块，该模块用于对于进入缓存节点的写请求，检查其要访问的关联区域是否处于加锁状态，若处于加锁状态，则立刻回退到发送该写请求的缓存节点，将产生冲突的请求加入等待重发队列，随机的等待一段时间T_rand，重新启动更新操作；否则，对该关联区域进行加锁；以及用于在将写请求的数据写入到该关联区域后，对该关联区域进行解锁。

11.根据权利要求10所述的系统，所述等待时间T_rand以如下公式进行计算：

T_rand＝rand*ΔT*n；

其中，rand为一定范围内的随机整数，n为请求累计发送次数，ΔT为一个网络请求从发送到收到回复的最大时间消耗。

12.根据权利要求9、10或11所述的系统，其中每个关联区域的大小为128K。

Images