CN103500120A - 基于多线程异步双写的分布式缓存高可用处理方法及系统 - Google Patents

Abstract

本发明涉及基于多线程异步双写的分布式缓存高可用处理方法及系统，包括应用端将产生的操作命令发送给分布式缓存客户端；分布式缓存客户端判断操作命令的类型，如果是插入、删除或更新中的任一种，则在第一服务器集群和第二服务器集群中均执行该操作命令，保证了数据的安全性；在服务器集群处理操作命令时，先用命令队列存储操作命令，再启动多个线程处理队列中的操作命令；分布式缓存客户端向命令队列中放入命令与服务器集群处理命令队列中的命令是异步执行的，提高了数据处理效率；如果是查询命令，则默认在第一服务器集群中执行该操作命令，当在第一服务器集群中执行失败时，在第二服务器集群中执行该命令；保证业务的不间断性和高可用性。

Description

基于多线程异步双写的分布式缓存高可用处理方法及系统

技术领域

本发明涉及分布式缓存系统及云计算领域，尤其涉及一种基于多线程异步双写的分布式缓存高可用处理方法及系统。

背景技术

在互联网、电信等许多关键领域，随着企业业务的不断发展，企业的I/T环境也在不断进行演变，单个缓存已经很难满足大量数据的存储、高并发和高效率的访问数据，分布式缓存的出现成为必然，分布式缓存能够有效的解决并发问题，通过一致性哈希将数据切合到缓存集群中不同的节点上，有效的缓解了大量数据存储和高效率的访问。但是单个分布式缓存集群无法保障数据的安全性，不能保证大量并发写入数据和删除数据的性能，如何保障缓存中数据的安全和高可用成为分布式缓存系统需要面对的问题。

现有分布式缓存系统虽然支持分布式部署，多台服务器构成集群，集群作为一个逻辑上整体的缓存服务器，但是内部单个缓存服务器节点上存储的数据没有允余，如果该节点发生故障则会导致应用程序无法查询数据，导致业务中断或者错误。当然，也有解决这个问题的一些方案，如快照，数据持久化等，这些方案由于备份时间的差异，会导致数据的不一致性或者导致数据的丢失。

现有系统存在以下问题：

1.应用程序通过客户端执行数据存入和删除等操作是同步的，及应用程序要等待服务端返回操作的状态才算操作结束，这其中就包括网络连接时间，操作时间等，花费时间较长。

2.服务器集群中各节点根据一致性Hash标示，所以各节点上存储的数据各不一致，没有数据备份，如果某个数据节点发生故障即导致该节点数据丢失，应用程序中断或者错误。

3.应用程序读取数据一致在一个集群中进行，倘若多次查询同一数据，则某个节点负载较大，操作等待时间较长。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供一种基于多线程异步双写的分布式缓存高可用处理方法及系统。

本发明解决上述技术问题的技术方案如下：基于多线程异步双写的分布式缓存高可用处理方法，包括如下步骤：

步骤1：每个应用端产生一个操作命令；

步骤2：应用端将操作命令发送给分布式缓存客户端；

步骤3：分布式缓存客户端解析操作命令，判断操作命令的类型，如果是插入、删除或更新中的任一种，则进入步骤4；如果是查询命令，则进入步骤5；

步骤4：在第一服务器集群和第二服务器集群中均执行该操作命令，结束；

步骤5：默认在第一服务器集群中执行该操作命令，当在第一服务器集群中执行失败时，在第二服务器集群中执行该命令，结束。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述步骤4具体步骤如下：

步骤4.1：分布式缓存客户端将接收的操作命令分别发送给第一服务器集群的第一命令队列和第二服务器集群的第二命令队列；

步骤4.2：判断第一命令队列和第二命令队列是否已满，如果已满，则等待，待有空位时，将操作命令则放入第一命令队列和第二命令队列进行存储，同时向应用程序返回成功标识；如果未满，则直接将操作命令放入第一命令队列和第二命令队列进行存储，同时向应用程序返回成功标识；

步骤4.3：第一服务器集群和第二服务器集群对各自存储的操作命令进行多线程处理，结束。

进一步，步骤4.1与步骤4.3是异步执行的。

进一步，步骤4.3的具体步骤如下：

进一步，步骤4.3中第一服务器集群执行操作命令的具体步骤如下：

步骤4.3.1：第一服务器集群的第一多线程操作模块从第一命令队列中获取若干个操作命令；

步骤4.3.2：并将获取的操作命令发送给相应的服务器进行处理；

步骤4.3.3：判断每个服务器是否执行成功，执行成功的服务器向第一多线程操作模块返回成功标识,进入步骤4.3.4；执行失败的服务器向多线程操作模块返回失败标识，进入步骤4.3.5；

步骤4.3.4:第一多线程操作模块继续从第一命令队列中获取操作命令，返回步骤4.3.2；

步骤4.3.5：第一多线程操作模块将处理失败的命令重新放入第一命令队列中，返回步骤4.3.1。

进一步，步骤4.3中第二服务器集群执行操作命令的具体步骤如下：

步骤4.3.1’：第二服务器集群的第二多线程操作模块从第二命令队列中获取若干个操作命令；

步骤4.3.2’：并将获取的操作命令发送给相应的服务器进行处理；

步骤4.3.3’：判断每个服务器是否执行成功，执行成功的服务器向第二多线程操作模块返回成功标识,进入步骤4.3.4’；执行失败的服务器向多线程操作模块返回失败标识，进入步骤4.3.5’；

步骤4.3.4’:第二多线程操作模块继续从第二命令队列中获取操作命令，返回步骤4.3.2’；

步骤4.3.5’：第二多线程操作模块将处理失败的命令重新放入第二命令队列中，返回步骤4.3.1’。

进一步，步骤5的具体步骤如下：

步骤5.1：分布式缓存客户端将接收的操作命令直接发送给第一服务器集群中相应的服务器；

步骤5.2：相应的服务器执行查找操作，如果查找成功则通过分布式缓存客户端向应用端返回成功标识和查询结果，结束；否则向分布式缓存客户端返回失败标识，进入步骤5.3；

步骤5.3：分布式缓存客户端向第二服务器集群中相应的服务器发送该操作命令；

步骤5.4：相应的服务器执行查找操作，如果查找成功则通过分布式缓存客户端向用于程序模块返回成功标识和查询结果，结束；否则向分布式缓存客户端返回失败标识，结束。

本发明解决上述技术问题的另一技术方案如下：基于多线程异步双写的分布式缓存高可用处理系统，包括若干个应用端、分布式缓存客户端、第一服务器集群和第二服务器集群；

所述应用端，其用于产生操作命令并发送给分布式缓冲客户端；

所述分布式缓存客户端，其用于解析接收的操作命令，并判断操作命令的类型，根据操作命令的类型将操作命令发送给第一服务器集群的第一命令队列和第二服务器集群的第二命令队列，或直接发送给第一服务器集群中相应的服务器；

所述第一服务器集群和第二服务器集群，其用于存储接收的操作命令，并根据操作命令执行相应的操作。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述第一服务器集群包括第一命令队列、第一多线程操作模块和若干个服务器；第二服务器集群分别包括第二命令队列、第二多线程操作模块和若干个服务器；

所述第一命令队列和第二命令队列，其用于存储分布式缓存客户端发送的操作命令；

所述第一多线程操作模块、其用于获取第一命令队列中的操作命令，并根据操作命令中的参数将操作命令发送给第一服务器集群中相应的服务器；

第二多线程操作模块，其用于获取第二命令队列中的操作命令，并根据操作命令中的参数将操作命令发送给第二服务器集群中相应的服务器；

所述服务器，其用于对接收的操作命令进行处理，并返回执行结果。

本发明的有益效果是：应用程序模将产生的操作命令发送给分布式缓存客户端；分布式缓存客户端判断操作命令的类型，如果是插入、删除或更新中的任一种，则在第一服务器集群和第二服务器集群中均执行该操作命令，对数据备份，保证了数据的安全性；并且在第一服务器集群和第二服务器处理操作命令时，先用命令队列存储操作命令，再启动多个线程处理队列中的操作命令；其中分布式缓存客户端向命令队列中放入命令与服务器集群处理命令队列中的命令是异步执行的，提高了数据插入、删除和更新的效率；如果是查询命令，则默认在第一服务器集群中执行该操作命令，当在第一服务器集群中执行失败时，在第二服务器集群中执行该命令；保证业务的不间断性和高可用性。

附图说明

图1为本发明所述基于多线程异步双写的分布式缓存高可用处理系统的框图；

图2为本发明基于多线程异步双写的分布式缓存高可用处理方法的流程图；

图3为本发明所述步骤4的具体流程图；

图4为本发明所述步4.3的具体流程图；

图5为本发明所述步骤5的具体流程图；

图6为本发明实施例1的流程示意图；

图7为本发明实施例2的流程示意图。。

附图中，各标号所代表的部件列表如下：

1、应用端，2、分布式缓存客户端，3、第一服务器集群，4、第二服务器集群，3-1、第一命令队列，3-2、第一多线程处理模块，3-3（4-3）、服务器，4-1第二命令队列，4-2、第二多线程处理模块。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，基于多线程异步双写的分布式缓存高可用处理系统，包括若干个应用端1、分布式缓存客户端2、第一服务器集群3和第二服务器集群4；

所述应用端1，其用于产生操作命令并发送给分布式缓冲客户端；

所述分布式缓存客户端2，其用于解析接收的操作命令，并判断操作命令的类型，根据操作命令的类型将操作命令发送给第一服务器集群的第一命令队列和第二服务器集群的第二命令队列，或直接发送给第一服务器集群中相应的服务器；

所述第一服务器集群3和第二服务器集群4，分别用于存储接收的操作命令，并根据操作命令执行相应的操作。

其中，所述第一服务器集群3包括第一命令队列3-1、第一多线程操作模块3-2和若干个服务器3-3；第二服务器集群4分别包括第二命令队列4-1、第二多线程操作模块4-2和若干个服务器4-3；

所述第一命令队列3-1和第二命令队列（4-1），分别用于存储分布式缓存客户端发送的操作命令；

所述第一多线程操作模块3-2、其用于获取第一命令队列中的操作命令，并根据操作命令中的参数将操作命令发送给第一服务器集群3中相应的服务器；

第二多线程操作模块4-2，其用于获取第二命令队列中的操作命令，并根据操作命令中的参数将操作命令发送给第二服务器集群4中相应的服务器；

所述服务器3-3（4-3），其用于对接收的操作命令进行处理，并返回执行结果。

如图2所示，基于多线程异步双写的分布式缓存高可用处理方法，包括如下步骤：

步骤1：每个应用端产生一个操作命令；

步骤2：应用端将操作命令发送给分布式缓存客户端；

步骤3：分布式缓存客户端解析操作命令，判断操作命令的类型，如果是插入、删除或更新中的任一种，则进入步骤4；如果是查询命令，则进入步骤5；

步骤4：在第一服务器集群和第二服务器集群中均执行该操作命令，结束；

步骤5：默认在第一服务器集群中执行该操作命令，当在第一服务器集群中执行失败时，在第二服务器集群中执行该命令，结束。

如图3所示，所述步骤4具体步骤如下：

步骤4.1：分布式缓存客户端将接收的操作命令分别发送给第一服务器集群的第一命令队列和第二服务器集群的第二命令队列；

步骤4.2：判断第一命令队列和第二命令队列是否已满，如果已满，则等待，待有空位时，将操作命令则放入第一命令队列和第二命令队列进行存储，同时向应用程序返回成功标识；如果未满，则直接将操作命令放入第一命令队列和第二命令队列进行存储，同时向应用程序返回成功标识；

步骤4.3：第一服务器集群和第二服务器集群对各自存储的操作命令进行多线程处理，结束。

其中，步骤4.1与步骤4.3是异步执行的。

如图4所示，步骤4.3中第一服务器集群执行操作命令的具体步骤如下：

步骤4.3.1：第一服务器集群的第一多线程操作模块从第一命令队列中获取若干个操作命令；

步骤4.3.2：并将获取的操作命令发送给相应的服务器进行处理；

步骤4.3.3：判断每个服务器是否执行成功，执行成功的服务器向第一多线程操作模块返回成功标识,进入步骤4.3.4；执行失败的服务器向多线程操作模块返回失败标识，进入步骤4.3.5；

步骤4.3.4:第一多线程操作模块继续从第一命令队列中获取操作命令，返回步骤4.3.2；

步骤4.3.5：第一多线程操作模块将处理失败的命令重新放入第一命令队列中，返回步骤4.3.1。

步骤4.3中第二服务器集群执行操作命令的具体步骤如下：

步骤4.3.1’：第二服务器集群的第二多线程操作模块从第二命令队列中获取若干个操作命令；

步骤4.3.2’：并将获取的操作命令发送给相应的服务器进行处理；

步骤4.3.3’：判断每个服务器是否执行成功，执行成功的服务器向第二多线程操作模块返回成功标识,进入步骤4.3.4’；执行失败的服务器向多线程操作模块返回失败标识，进入步骤4.3.5’；

步骤4.3.4’:第二多线程操作模块继续从第二命令队列中获取操作命令，返回步骤4.3.2’；

步骤4.3.5’：第二多线程操作模块将处理失败的命令重新放入第二命令队列中，返回步骤4.3.1’。

如图5所示，步骤5的具体步骤如下：

步骤5.1：分布式缓存客户端将接收的操作命令直接发送给第一服务器集群中相应的服务器；

步骤5.2：相应的服务器执行查找操作，如果查找成功则通过分布式缓存客户端向应用端返回成功标识和查询结果，结束；否则向分布式缓存客户端返回失败标识，进入步骤5.3；

步骤5.3：分布式缓存客户端向第二服务器集群中相应的服务器发送该操作命令；

步骤5.4：相应的服务器执行查找操作，如果查找成功则通过分布式缓存客户端向用于程序模块返回成功标识和查询结果，结束；否则向分布式缓存客户端返回失败标识，结束。

本发明具有以下特点：

1.主主双写。同时启动两个服务器集群，当执行插入数据、删除数据或者更新过期数据等操作时，将会在两个服务器集群上均执行，为数据备份，保障数据的安全性。

2.多线程异步处理。当执行插入数据、删除数据或更新数据操作时，两个服务器集群均使用命令队列存储来自分布式缓存客户端的操作命令，只要将操作命令和参数放入命令队列并且记录日志，分布式缓存客户端即向应用程序返回成功标识，不必等到操作命令执行完成才返回成功标识；保障了数据插入、删除和更新的高效性。

每个服务器集群中的多线程操作模块启动多个线程，从本服务器集群的命令队列中操作命令，发生给相应的服务器进行处理，每个线程取命令队列中的一个操作命令，发送给相应服务器进行执行，如果执行成功则继续从命令队列中取一个操作命令，发给相应服务器进行执行；如果执行失败则将该操作命令重新存入命令队列，等待处理；当命令队列为空，则等待，待命令队列中有操作命令后再进行处理，这样提高了数据插入删除等操作的反应效率和操作性能，保证操作成功完成。

3.高可用。由于数据同时写入了两个集群，则当一个集群故障或者负载太高的时候，另一个集群将为应用程序提供服务，保证了业务的不间断和高可用。

如图6所示，为本发明实施例1中处理插入、删除或更新数据的流程示意图：

1.某个应用端产生操作命令，并将产生的操作命令（本实施例中操作命令为插入数据、删除数据或更新数据）发送给分布式缓存客户端；

2.分布式缓存客户端放入第一服务器集群的第一命令队列和第二服务器集群的第二命令队列（本实施例以在第一服务器集群中的处理过程为例进行详细说明，在第二服务器集群中的处理过程与第一服务器集群中的处理过程相同）；

3.分布式缓存客户端向产生该操作命令的应用端返回成功标识；

4.第一多线程操作模块启动多个线程，从第一命令队列中获取多个操作命令，将每个命令发送给相应的服务器进行处理；

5.服务器向第一多线程操作模块返回执行结果，如果执行成功，则第一多线程操作模块继续从第一命令队列中获取操作命令，并发送给相应的服务器进行处理；如果执行失败，第一多线程处理模块将该操作命令重新放回命令队列中，等待处理。

这样为数据备份，保障数据的安全性；采用队列存储操作命令，多线程对队列中的命令进行处理，提高了数据插入删除等操作的反应效率和操作性能，保证操作成功完成。

如图7所示，为本发明实施例2中查询数据的流程示意图：

1.某应用端产生查询某服务器上的数据的操作命令；

2.将操作命令发送给分布式缓存客户端；

3.分布式缓存客户端根据命令的内容直接将命令发送给第一服务器集群中相应的服务器；

4.在第一服务器集群中相应服务器上查询数据，如果查找到相应数据，则将数据通过分布式缓存客户端反馈给相应的应用端；

5.如果第一服务器集群上该服务器发生故障或该服务器的访问量高出预设访问量阈值，分布式缓存客户端向第二服务器集群中相应的服务器发送该查询命令，

6.在第二服务器集群中相应服务器中查找相应数据，如果找到数据，则将数据通过分布式缓存客户端反馈给相应的应用端；否则通过分布式缓存客户端向相应的应用端发送查询失败信息。

这样就保障业务不会因一个服务器集群的故障而中断，保证了系统的安全性和高可用性。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.基于多线程异步双写的分布式缓存高可用处理方法，其特征在于，包括如下步骤：

步骤1：每个应用端产生一个操作命令；

步骤2：应用端将操作命令发送给分布式缓存客户端；

步骤3：分布式缓存客户端解析操作命令，判断操作命令的类型，如果是插入、删除或更新中的任一种，则进入步骤4；如果是查询命令，则进入步骤5；

步骤4：在第一服务器集群和第二服务器集群中均执行该操作命令，结束；

步骤5：默认在第一服务器集群中执行该操作命令，当在第一服务器集群中执行失败时，在第二服务器集群中执行该命令，结束。

2.根据权利要求1所述基于多线程异步双写的分布式缓存高可用处理方法，其特征在于，所述步骤4具体步骤如下：

步骤4.1：分布式缓存客户端将接收的操作命令分别发送给第一服务器集群的第一命令队列和第二服务器集群的第二命令队列；

步骤4.2：判断第一命令队列和第二命令队列是否已满，如果已满，则等待，待有空位时，将操作命令则放入第一命令队列和第二命令队列进行存储，同时向应用程序返回成功标识；如果未满，则直接将操作命令放入第一命令队列和第二命令队列进行存储，同时向应用程序返回成功标识；

步骤4.3：第一服务器集群和第二服务器集群对各自存储的操作命令进行多线程处理，结束。

3.根据权利要求2所述基于多线程异步双写的分布式缓存高可用处理方法，其特征在于，步骤4.1与步骤4.3是异步执行的。

4.根据权利要求2所述基于多线程异步双写的分布式缓存高可用处理方法，其特征在于，步骤4.3中第一服务器集群执行操作命令的具体步骤如下：

步骤4.3.1：第一服务器集群的第一多线程操作模块从第一命令队列中获取若干个操作命令；

步骤4.3.2：并将获取的操作命令发送给相应的服务器进行处理；

步骤4.3.3：判断每个服务器是否执行成功，执行成功的服务器向第一多线程操作模块返回成功标识,进入步骤4.3.4；执行失败的服务器向多线程操作模块返回失败标识，进入步骤4.3.5；

步骤4.3.4:第一多线程操作模块继续从第一命令队列中获取操作命令，返回步骤4.3.2；

步骤4.3.5：第一多线程操作模块将处理失败的命令重新放入第一命令队列中，返回步骤4.3.1。

5.根据权利要求2所述基于多线程异步双写的分布式缓存高可用处理方法，其特征在于，步骤4.3中第二服务器集群执行操作命令的具体步骤如下：

步骤4.3.1’：第二服务器集群的第二多线程操作模块从第二命令队列中获取若干个操作命令；

步骤4.3.2’：并将获取的操作命令发送给相应的服务器进行处理；

步骤4.3.3’：判断每个服务器是否执行成功，执行成功的服务器向第二多线程操作模块返回成功标识,进入步骤4.3.4’；执行失败的服务器向多线程操作模块返回失败标识，进入步骤4.3.5’；

步骤4.3.4’:第二多线程操作模块继续从第二命令队列中获取操作命令，返回步骤4.3.2’；

步骤4.3.5’：第二多线程操作模块将处理失败的命令重新放入第二命令队列中，返回步骤4.3.1’。

6.根据权利要求1所述基于多线程异步双写的分布式缓存高可用处理方法，其特征在于，步骤5的具体步骤如下：

步骤5.1：分布式缓存客户端将接收的操作命令直接发送给第一服务器集群中相应的服务器；

步骤5.2：相应的服务器执行查找操作，如果查找成功则通过分布式缓存客户端向应用端返回成功标识和查询结果，结束；否则向分布式缓存客户端返回失败标识，进入步骤5.3；

步骤5.3：分布式缓存客户端向第二服务器集群中相应的服务器发送该操作命令；

步骤5.4：相应的服务器执行查找操作，如果查找成功则通过分布式缓存客户端向用于程序模块返回成功标识和查询结果，结束；否则向分布式缓存客户端返回失败标识，结束。

7.基于多线程异步双写的分布式缓存高可用处理系统，其特征在于，包括若干个应用端、分布式缓存客户端、第一服务器集群和第二服务器集群；

所述应用端，其用于产生操作命令并发送给分布式缓冲客户端；

所述分布式缓存客户端，其用于解析接收的操作命令，并判断操作命令的类型，根据操作命令的类型将操作命令发送给第一服务器集群的第一命令队列和第二服务器集群的第二命令队列，或直接发送给第一服务器集群中相应的服务器；

所述第一服务器集群和第二服务器集群，分别用于存储接收的操作命令，并根据操作命令执行相应的操作。

8.根据权利要求5所述基于多线程异步双写的分布式缓存高可用处理系统，其特征在于，所述第一服务器集群包括第一命令队列、第一多线程操作模块和若干个服务器；第二服务器集群分别包括第二命令队列、第二多线程操作模块和若干个服务器；

所述第一命令队列和第二命令队列，分别用于用于存储分布式缓存客户端发送的操作命令；

所述第一多线程操作模块、其用于获取第一命令队列中的操作命令，并根据操作命令中的参数将操作命令发送给第一服务器集群中相应的服务器；

第二多线程操作模块，其用于获取第二命令队列中的操作命令，并根据操作命令中的参数将操作命令发送给第二服务器集群中相应的服务器；

所述服务器，其用于对接收的操作命令进行处理，并返回执行结果。

Images