CN107566434A - 一种分布式系统中缓存数据读写方法及系统 - Google Patents

Abstract

本发明提供一种分布式系统中缓存数据读写方法及系统，方法对于分布式系统中的任意一个节点，设定该节点的数据清空时刻，当该节点收到一请求时，判断是否到达该数据清空时刻，如果是，则对该节点中的缓存数据进行清空，然后再次设定该节点的数据清空时刻，否则，根据请求对节点中的缓存数据进行读写。本发明保证各节点中的数据能定时地保持一致性，从而令分布式系统能够轻松使用缓存数据来提高源利用率与系统响应性能。

Description

一种分布式系统中缓存数据读写方法及系统

技术领域

本发明属于计算机技术领域，尤其涉及一种分布式系统中缓存数据读写方法及系统。

背景技术

当分布式的业务系统在面临大规模流量冲击时，分布式系统一般会对热点数据进行缓存，提高响应效率。但是在分布式系统下本地缓存会存在由于数据更新而无法及时同步，导致数据差异影响业务性能。另外，大部分分布式系统还会选择牺牲部分性能采用集中式的缓存插件(如：redis)来解决运行效率与数据一致性问题，这在高并发请求下对集中缓存压力较大，并且存在网络消耗、性能受影响。

发明内容

(一)要解决的技术问题

本发明的目的在于，提供一种分布式系统中缓存数据读写方法及系统，使得分布式系统中的各节点在读写缓存数据时能保持数据一致性，从而令分布式系统能够轻松使用缓存数据来提高源利用率与系统响应性能。

(二)技术方案

本发明一方面提供一种分布式系统中缓存数据读写方法，用于对分布式系统中各个节点中的缓存数据进行读写，对于分布式系统中的任意一个节点，方法包括：

S1，设定节点的数据清空时刻；

S2，当节点收到一请求时，判断是否到达数据清空时刻，如果是，则对该节点中的缓存数据进行清空，然后重新设定该节点的数据清空时刻，否则，根据请求对节点中的缓存数据进行读写。

进一步，步骤S2中，对该节点中的缓存数据进行清空之后，若该请求为读请求，则向请求发送方返回空值，若该请求为写请求，则向该节点中写入相应的数据，然后重新设定该节点的数据清空时刻。

进一步，步骤S2中，对该节点中的缓存数据进行清空之后，若该请求为读请求，则向请求发送方返回空值，并从外部获取该读请求所对应的数据，并作为缓存数据存储。

进一步，步骤S2中，从外部获取该读请求所对应的数据，包括：从远程数据库、缓存插件、本地磁盘中的一者中获取该读请求所对应的数据。

进一步，步骤S2中，判断是否到达数据清空时刻，包括：获取该节点的系统当前时刻，若系统当前时刻大于等于数据清空时刻，则判定到达数据清空时刻，否则判定未到达数据清空时刻。

进一步，在步骤S1之前，还包括，同步所有节点的系统当前时刻。

本发明一方面提供一种分布式系统中缓存数据读写系统，用于对分布式系统中各个节点中的缓存数据进行读写，对于分布式系统中的任意一个节点，系统包括设定模块和执行模块，其中：设定模块用于设定该节点的数据清空时刻，当该节点收到一请求时，执行模块判断是否到达该数据清空时刻，如果是，则对节点中的缓存数据进行清空，然后设定模块重新设定节点的数据清空时刻，否则，根据请求对节点中的缓存数据进行读写。

进一步，执行模块对该节点中的缓存数据进行清空之后，若请求为读请求，则向请求发送方返回空值，若请求为写请求，则向该节点中写入相应的数据，然后设定模块重新设定该节点的数据清空时刻。

进一步，执行模块对该节点中的缓存数据进行清空之后，若请求为读请求，则向请求发送方返回空值，并从外部获取该读请求所对应的数据，并作为缓存数据存储。

进一步，执行模块从外部获取该读请求所对应的数据，包括：从远程数据库、缓存插件、本地磁盘中的一者中获取该读请求所对应的数据。

进一步，执行模块判断是否到达该数据清空时刻，包括：获取该节点的系统当前时刻，若系统当前时刻大于等于数据清空时刻，则判定到达数据清空时刻，否则判定未到达数据清空时刻。

进一步，系统还包括一同步模块，用于同步所有节点的系统当前时刻。

(三)有益效果

本发明提供的分布式系统中缓存数据读写方法及系统，通过设定数据清空时刻，能定时对各节点中的缓存数据进行清空，并且在本次清空缓存数据后立即设定下一次的数据清空时刻，再向节点中进行数据的读写，这样保证各节点中的数据能定时地保持一致性，从而令分布式系统能够轻松使用缓存数据来提高源利用率与系统响应性能。

附图说明

图1是本发明提供的分布式系统中缓存数据读写方法的流程图。

图2是本发明第一实施例的流程图。

图3是本发明第二实施例的流程图。

具体实施方式

本发明提供一种分布式系统中缓存数据读写方法及系统，方法对于分布式系统中的任意一个节点，设定该节点的数据清空时刻，当该节点收到一请求时，判断是否到达该数据清空时刻，如果是，则对该节点中的缓存数据进行清空，然后再次设定该节点的数据清空时刻，否则，根据请求对节点中的缓存数据进行读写。本发明保证各节点中的数据能定时地保持一致性，从而令分布式系统能够轻松使用缓存数据来提高源利用率与系统响应性能。

图1是本发明提供的分布式系统中缓存数据读写方法的流程图，其中，分布式系统可以是各自分布式集群，例如服务器集群，集群中的各个服务器可表示一个节点，如图1所示，方法包括：

S1，设定节点的数据清空时刻。

S2，当节点收到一请求时，判断是否到达数据清空时刻，如果是，则对该节点中的缓存数据进行清空，然后以系统当前时刻为基准，解析CRON表达式规则，得到下一次数据清空操作的时间，并设定数据清空时刻，否则，根据请求对节点中的缓存数据进行读写。

本发明在优选的实施方式中，采用cron表达式进行数据清空时刻的设定和清空操作的执行，cron表达式是一种以文本描述在特定时间执行的时间表达式，最小可精确到秒，本发明在各个节点中采用如下封装后的代码创建本地缓存对象并静态化：

LruCache<T>(int cacheCount，String cron)

cacheCount：缓存数据的容量

cron：数据清空时刻

通过实例化本地缓存对象，以设定数据清空时刻，另外，还可指定将要清空的缓存数据的容量，以控制节点中的内存增长。例如，实例化本地缓存对象为LruCache<T>(M，T)，表示在到达T时刻时，执行cron表达式时，以清空M大小的缓存数据。

根据本发明的一种实施方式，获取该节点的系统当前时刻，若系统当前时刻大于等于数据清空时刻，则判定到达数据清空时刻，否则判定未到达数据清空时刻。例如，节点当前设定的数据清空时刻为10:30，收到请求时的系统当前时刻为10:32，此时判定系统当前时刻大于数据清空时刻，进而执行该节点的清空操作，与此同时，还要设定下一次的数据清空时刻，比如设定为10:35，这样，在下一个请求到来时，系统当前时刻就会与10:35进行比较，以判断是否还要进行清空操作。

需要说明的是，为了保证各个节点中系统当前时刻是一致的，需要定时地对所有节点的系统当前时刻进行同步。例如，对于分布式服务器集群，对各个服务器的系统时间进行同步时，可以在机房设定一个时间服务器，专门为各个服务器的系统时间进行同步。

根据本发明的一种实施方式，步骤S2中，对该节点中的缓存数据进行清空之后，若该请求为读请求，则向请求发送方返回空值，并从外部获取该读请求所对应的数据，并作为缓存数据存储，其中，外部可以是远程数据库、缓存插件(redis)、本地磁盘。具体的，对该节点中的缓存数据进行清空之后，由于并不存在读请求所对应的数据，故节点向请求方返回一个空值，以表示读请求失败，此时，节点可以通过IO从本地磁盘获取该读请求所对应的数据，也可以通过网络请求从远程数据库中获取该读请求所对应的数据。获取的数据作为缓存数据存储在节点中，请求方收到节点返回的空值后，可以立马发出一个同样的读请求，这时就可从节点正确地读取相应的数据了。

根据本发明的一种实施方式，步骤S2中，对该节点中的缓存数据进行清空之后，若该请求为写请求，则向该节点中写入相应的数据。

需要说明的是，在分布式系统中，缓存数据一般是存储在各个节点内存中。以商品信息为例，外部用户请求获取商品信息最终只会落到一个节点上响应，如果该节点的商品信息达到了过期要求，则需要执行情况重新加载策略，这时对于外部就获取到了新的商品信息，但是在分布式系统中的各个节点中，只有获得请求的节点才会更新相应的商品信息，其他未收到请求的节点其实并未更新商品信息，其他节点只有在外部再次请求并且该请求被负载到其它节点上时才会马上执行更新操作，但这时也同样响应了最新数据。由此说明虽然外部请求获取到的数据是最新且一致的，但是集群节点之间由于负载均衡的原因没有同时在同一时刻更新各自缓存，所以他们内部的数据虽然不一致但是更新策略一致也可以保证外部请求的数据一致性。

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

在本发明中，术语“包括”和“含有”及其派生词意为包括而非限制；术语“或”是包含性的，意为和/或。

在本说明书中，下述用于描述本发明原理的各种实施例只是说明，不应该以任何方式解释为限制发明的范围。参照附图的下述描述用于帮助全面理解由权利要求及其等同物限定的本发明的示例性实施例。下述描述包括多种具体细节来帮助理解，但这些细节应认为仅仅是示例性的。因此，本领域普通技术人员应认识到，在不背离本发明的范围和精神的情况下，可以对本文中描述的实施例进行多种改变和修改。此外，为了清楚和简洁起见，省略了公知功能和结构的描述。此外，贯穿附图，相同参考数字用于相似功能和操作。

实施例一

图2是本发明第一实施例的流程图，第一实施例用于描述对分布式系统中节点进行写数据，如图2所示，其过程如下：

S101，在初始化的阶段，为每个节点设定一个数据清空时刻，该时刻达到时可通过执行cron表达式，以清空节点中缓存数据。本实施例中，初始化设定一个节点的数据清空时刻为10:30。

S102，外部向分布式系统发生一个写请求时，如果分布式系统处理后将该写请求转发到该节点上处理时，由该节点接收并处理该写请求。

S103，节点接收到此写请求后，立即获取该节点的系统当前时刻，如果系统当前时刻为10:28，则判定未到达数据清空时刻，直接进入步骤S106。如果系统当前时刻为10:30，则判定为到达数据清空时刻，如果系统当前时刻为10:32，也判定为到达数据清空时刻，进入步骤S104。

S104，执行cron表达式，以对该节点中的缓存数据进行清空。

S105，在清空该节点的缓存数据后，立即设定该节点下一次的数据清空时刻，例如，可设定为10:35。需进一步说明的是，相邻两个数据清空时刻可以是固定值，例如5分钟清空一次，也可以是非固定值。

S106，根据写请求，将相应的数据写入该节点中作为缓存数据。

根据以上方案，多个节点接收到写请求时，可定时地对各个节点中已有的缓存数据进行清空，然后再将写请求相应的数据进行写入，这样每个收到该写请求的节点在处理完该写请求后，数据是一致的。

实施例二

图3是本发明第二实施例的流程图，第二实施例用于描述对分布式系统中节点进行读数据，如图3所示，其过程如下：

S201，在初始化的阶段，为每个节点设定一个数据清空时刻，该时刻达到时可通过执行cron表达式，以清空节点中缓存数据。本实施例中，初始化设定一个节点的数据清空时刻为10:30。

S202，外部向分布式系统发生一个读请求时，如果分布式系统处理后将该写请求转发到该节点上处理时，由该节点接收并处理该读请求。

S203，节点接收到此读请求后，立即获取该节点的系统当前时刻，如果系统当前时刻为10:28，则判定未到达数据清空时刻，直接进入步骤S208。如果系统当前时刻为10:30，则判定为到达数据清空时刻，如果系统当前时刻为10:32，也判定为到达数据清空时刻，进入步骤S204。

S204，执行cron表达式，以对该节点中的缓存数据进行清空。

S205，在清空该节点的缓存数据后，立即设定该节点下一次的数据清空时刻，例如，可设定为10:35。需进一步说明的是，相邻两个数据清空时刻可以是固定值，例如5分钟清空一次，也可以是非固定值。

S206，由于节点清空后并不存在读请求所需读取的数据，故当前该节点返回空值给请求方。

S207，根据该读请求，向外部获取相应的数据，外部可以是远程数据库、缓存插件(redis)、本地磁盘，例如，节点可以通过IO从本地磁盘获取该读请求所对应的数据。需要说明的是，在S207之后，外部立即再发送一个相同的读请求时，由于还没到达下一次的数据清空时刻，故节点可成功返回相应的数据。

S208，当未到达数据清空时刻时，由于节点中的缓存数据未被清空，所以可返回相应的数据。

根据以上方案，多个节点接收到读请求时，可定时地对各个节点中已有的缓存数据进行清空，然后再从外部获取相应，这样每个收到该读请求的节点在处理完该读请求后，数据是一致的。

本发明提供的分布式系统中缓存数据读写方法及系统，通过设定数据清空时刻，能定时对各节点中的缓存数据进行清空，并且在本次清空缓存数据后立即设定下一次的数据清空时刻，再向节点中进行数据的读写，这样保证各节点中的数据能定时地保持一致性，从而令分布式系统能够轻松使用缓存数据来提高源利用率与系统响应性能。

根据本发明各实施例的上述方法、设备和/或装置可以通过有计算能力的电子设备执行包含计算机指令的软件来实现。所述有计算能力的电子设备可以是通用处理器、数字信号处理器、专用处理器、可重新配置处理器等，但不限于此。执行这样的指令使得电子设备被配置为执行根据本发明的上述各项操作。上述各设备和/或部件可以在一个电子设备中实现，也可以在不同电子设备中实现。这些软件可以存储在计算机可读存储介质中。计算机可读存储介质存储一个或多个程序(软件模块)，所述一个或多个程序包括指令，当电子设备中的一个或多个处理器执行所述指令时，所述指令使得电子设备执行本发明的方法。

这些软件可以存储为易失性存储器或非易失性存储装置的形式(比如类似ROM等存储设备)，不论是可擦除的还是可重写的，或者存储为存储器的形式(例如RAM、存储器芯片、设备或集成电路)，或者被存储在光可读介质或磁可读介质上(比如，CD、DVD、磁盘或磁带等等)。应该意识到，存储设备和存储介质是适于存储一个或多个程序的机器可读存储装置的实施例，所述一个程序或多个程序包括指令，当所述指令被执行时，实现本发明的实施例。实施例提供程序和存储这种程序的机器可读存储装置，所述程序包括用于实现本发明的任何一项权利要求所述的装置或方法的代码。此外，可以经由任何介质(比如，经由有线连接或无线连接携带的通信信号)来电传递这些程序，多个实施例适当地包括这些程序。

根据本发明各实施例的方法、设备和/或装置还可以使用例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)或可以以用于对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式的适当组合来实现。在以这些方式实现时，所使用的的软件、硬件和/或固件被编程或设计为执行根据本发明的相应上述方法、步骤和/或功能。本领域技术人员可以根据实际需要来适当地将这些系统和模块中的一个或多个，或其中的一部分或多个部分使用不同的上述实现方式来实现。这些实现方式均落入本发明的保护范围。

尽管已经参照本发明的特定示例性实施例示出并描述了本发明，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本发明的精神和范围的情况下，可以对本发明进行形式和细节上的多种改变。因此，本发明的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。

Claims (12)

1.一种分布式系统中缓存数据读写方法，用于对分布式系统中各个节点中的缓存数据进行读写，其特征在于，对于分布式系统中的任意一个节点，方法包括：

S1，设定该节点的数据清空时刻；

S2，当该节点收到一请求时，判断是否到达该数据清空时刻，如果是，则对该节点中的缓存数据进行清空，然后重新设定该节点的数据清空时刻，否则，根据该请求对该节点中的缓存数据进行读写。

2.根据权利要求1所述的分布式系统中缓存数据读写方法，其特征在于，所述步骤S2中，对该节点中的缓存数据进行清空之后，若该请求为读请求，则向请求发送方返回空值，若该请求为写请求，则向该节点中写入相应的数据，然后重新设定该节点的数据清空时刻。

3.根据权利要求2所述的分布式系统中缓存数据读写方法，其特征在于，所述步骤S2中，对该节点中的缓存数据进行清空之后，若该请求为读请求，则向请求发送方返回空值，并从外部获取该读请求所对应的数据，并作为缓存数据存储。

4.根据权利要求3所述的分布式系统中缓存数据读写方法，其特征在于，所述步骤S2中，从外部获取该读请求所对应的数据，包括：

从远程数据库、缓存插件、本地磁盘中的一者中获取该读请求所对应的数据。

5.根据权利要求1所述的分布式系统中缓存数据读写方法，其特征在于，所述步骤S2中，判断是否到达该数据清空时刻，包括：

获取该节点的系统当前时刻，若系统当前时刻大于等于数据清空时刻，则判定到达数据清空时刻，否则判定未到达数据清空时刻。

6.根据权利要求5所述的分布式系统中缓存数据读写方法，其特征在于，在所述步骤S1之前，还包括，同步所有节点的系统当前时刻。

7.一种分布式系统中缓存数据读写系统，用于对分布式系统中各个节点中的缓存数据进行读写，其特征在于，对于分布式系统中的任意一个节点，系统包括设定模块和执行模块，其中：

设定模块用于设定该节点的数据清空时刻，当该节点收到一请求时，执行模块判断是否到达该数据清空时刻，如果是，则对该节点中的缓存数据进行清空，然后设定模块重新设定该节点的数据清空时刻，否则，根据该请求对该节点中的缓存数据进行读写。

8.根据权利要求7所述的分布式系统中缓存数据读写系统，其特征在于，所述执行模块对该节点中的缓存数据进行清空之后，若该请求为读请求，则向请求发送方返回空值，若该请求为写请求，则向该节点中写入相应的数据，然后设定模块重新设定该节点的数据清空时刻。

9.根据权利要求7所述的分布式系统中缓存数据读写系统，其特征在于，所述执行模块对该节点中的缓存数据进行清空之后，若该请求为读请求，则向请求发送方返回空值，并从外部获取该读请求所对应的数据，并作为缓存数据存储。

10.根据权利要求9所述的分布式系统中缓存数据读写系统，其特征在于，所述执行模块从外部获取该读请求所对应的数据，包括：

从远程数据库、缓存插件、本地磁盘中的一者中获取该读请求所对应的数据。

11.根据权利要求7所述的分布式系统中缓存数据读写系统，其特征在于，所述执行模块判断是否到达该数据清空时刻，包括：

获取该节点的系统当前时刻，若系统当前时刻大于等于数据清空时刻，则判定到达数据清空时刻，否则判定未到达数据清空时刻。

12.根据权利要求11所述的分布式系统中缓存数据读写系统，其特征在于，还包括一同步模块，用于同步所有节点的系统当前时刻。