CN103297485B - 分布式缓存自动管理系统和分布式缓存自动管理方法 - Google Patents

Abstract

本发明提出了一种用于数据并行的并行计算的分布式缓存自动管理方案，其中，将客户端的数据集对象的生存期和对应的分布式数据集的生存期绑定起来，即，当在客户端中创建或销毁数据集对象时，在缓存服务器集群中相应地创建或销毁对应的分布式数据集。减轻了程序员的负担，降低了出现错误的可能性。而且，简化了缓存管理协议。

Description

分布式缓存自动管理系统和分布式缓存自动管理方法

技术领域

本发明涉及分布式缓存自动管理，具体地，涉及一种用于数据并行的并行计算的分布式缓存自动管理方案。

背景技术

随着互联网的飞速发展，互联网数据也取得了爆炸式增长。对这些数据的分析、处理和挖掘，对于互联网服务商和相关领域的传统行业都有着巨大的意义。然而，由于这些数据规模巨大，如何有效地处理这些数据成为一个巨大的挑战。

为了处理巨大的网页数据，已开发了被命名为“MAP-REDUCE”的并行计算平台。MAP-REDUCE平台可以高效地处理数据并行的并行计算业务。在MAP-REDUCE系统得到广泛应用，并取得巨大成功之后，一个参考了MAP-REDUCE设计的开源项目HADOOP计算平台发布，也迅速在业界取得了巨大成功，被用于很多大型互联网企业的很多关键业务。然而，HADOOP计算平台在处理迭代式任务时不够高效。这类迭代式业务通常由多个MAP-REDUCE任务串联实现，后继MAP-REDUCE任务依赖前一MAP-REDUCE任务的运算结果，这些中间结果通过分布式文件系统进行传递。这种串联方式需要重复读写分布式文件系统，从而导致性能的巨大损失。

为了解决这个问题，开发了一种新的计算平台——“SPARK”。SPARK平台提出了被称作“弹性分布式数据集”的概念。图1是用于说明分布式数据集的示意图。如图1所示，一个完整的数据集被切分成多块，然后存储在缓存服务器集群上。客户端通过分布式数据集的处理器(handler)来访问对应的数据。SPARK平台利用分布式数据集来对大规模数据进行操作，并通过缓存中间结果，来避免重复读写分布式文件系统，从而大幅度提高性能。实验数据表明，SPARK平台处理大规模数据的性能可达HADOOP的20倍。

在SPARK平台中，分布式数据集即分布式缓存。在SPARK计算平台的客户端中，有一个数据集(Dataset)对象和一个分布式数据集对应。程序员通过操作Dataset对象来操作分布式数据集。程序员需要自己管理分布式数据集，比如，对数据进行缓存或丢弃缓存。这也就意味着Dataset对象和它对应的分布式数据集的生存期并不一致。这一方面给程序员带来了额外负担，一方面也容易造成潜在的程序缺陷。

此外，这种相对复杂的缓存管理方式，给缓存管理协议也带来了一定的复杂性。

发明内容

本发明提出了一种用于数据并行的并行计算的分布式缓存自动管理方案，其中，将客户端的数据集对象的生存期和对应的分布式数据集的生存期绑定起来，即，当在客户端中创建或销毁数据集对象时，在缓存服务器集群中相应地创建或销毁对应的分布式数据集。减轻了程序员的负担，降低了出现错误的可能性。而且，简化了缓存管理协议。

根据本发明的第一方案，提出了一种分布式缓存自动管理系统，包括：客户端，用于在本地创建或销毁数据集对象，并触发相应的对于存储在缓存服务器集群上的分布式数据集的创建或销毁请求；主控端，用于根据来自客户端的分布式数据集创建或销毁请求，对缓存在缓存服务器集群上的分布式数据集的数据分片进行管理；以及缓存服务器，用于根据来自主控端的请求，保存数据分片到缓存器中，或从缓存器中丢弃数据分片。所述客户端可以包括：客户端开发库，用作提供给应用程序员的开发库；以及数据集接口，用作访问所述客户端开发库的接口。所述客户端开发库可以包括：数据集模块，用于创建、销毁和访问数据集对象；数据集监控器，用于监控数据集对象的创建和销毁，并触发相应的对于存储在缓存服务器集群上的分布式数据集的创建和销毁请求。

所述主控端可以包括：缓存跟踪器，用于记录分布式数据集中的数据分片在缓存服务器集群中的具体存放位置，即缓存服务器的标识信息；以及调度器，用于在创建分布式数据集时，选择相应的缓存服务器集群来存放数据分片，其中，根据数据集大小和当前缓存服务器的使用情况来对数据集进行分片。

所述缓存服务器可以包括：缓存器，用于存放数据分片；以及处理器，用于根据来自主控端的请求，保存数据分片到缓存器中，或从缓存器中丢弃数据分片。

根据本发明的第二方案，提出了一种分布式缓存自动管理方法，包括以下步骤：客户端在本地创建或销毁数据集对象，并触发相应的对于存储在缓存服务器集群上的分布式数据集的创建或销毁请求；主控端根据来自客户端的分布式数据集创建或销毁请求，对缓存在缓存服务器集群上的分布式数据集的数据分片进行管理；以及缓存服务器根据来自主控端的请求，保存数据分片到缓存器中，或从缓存器中丢弃数据分片。在所述客户端创建或销毁数据集对象时，通过数据集接口，调用客户端开发库中的数据集模块，创建或销毁数据集对象；创建或销毁数据集对象的事件触发客户端开发库中的数据集监控器，数据集监控器调用协议模块，利用与分布式数据集对应的数据编码数据集创建消息或数据集销毁消息；将数据集创建消息或数据集销毁消息发送给主控端；以及从主控端接收成功确认消息。

在所述主控端接收到数据集创建消息时，解码来自所述客户端的数据集创建消息，获得数据集数据；根据调度器的决策，对数据集数据进行切分，得到数据分片，选择用于缓存数据分片的缓存服务器集群；根据每一数据分片，编码一条分片创建消息，将分片创建消息发送给缓存服务器集群中对应的缓存服务器；从缓存服务器接收成功确认消息；利用缓存跟踪器，记录各个数据分片的位置，即相应缓存服务器的标识信息；以及向客户端返回成功确认消息。

在所述缓存服务器接收到分片创建消息时，解码来自所述主控端的分片创建消息，获得数据分片；通过处理器，把数据放入缓存器中；以及向所述主控端返回成功确认消息。

在所述主控端接收到数据集销毁消息时，解码来自所述客户端的数据集销毁消息，获得将要销毁的数据集的标识信息；利用缓存跟踪器，获得用于缓存所述数据集的各个数据分片的缓存服务器集群中的各个缓存服务器的标识信息；根据每一数据分片，编码一条分片销毁消息，将分片销毁消息发送给缓存服务器集群中对应的缓存服务器；从缓存服务器接收成功确认消息；利用缓存跟踪器，清除所述数据集的各个数据分片的记录；以及向客户端返回成功确认消息。

在所述缓存服务器接收到分片销毁消息时，解码来自所述主控端的分片销毁消息，获得将要销毁的数据分片的标识信息；通过处理器，从缓存器中删除所述数据分片；以及向主控端返回成功确认消息。

根据本发明，将客户端的Dataset对象的生存期和对应的分布式数据集的生存期绑定起来，即，当在客户端中创建或销毁Dataset对象时，在缓存服务器(CacheServer)集群中相应地创建或销毁对应的分布式数据集。这样，程序员只需要考虑Dataset对象的生存期管理。或者，利用一些高级的编程语言特性，程序员可以将Dataset对象的生存期交由编译系统管理。这样，可以进一步减轻程序员的负担和出现错误的可能性。随之而来的另外一个优势在于缓存管理协议的简化。

本发明的这种机制保证了Dataset对象和对应分布式数据集的生存期的一致性，从而让程序员能够通过简单的方式操作分布式缓存，降低了程序员编写稳定高效的分布式程序的难度。

此外，缓存管理协议的简化也让平台本身的实现变得相对简单。

附图说明

通过下面结合附图说明本发明的优选实施例，将使本发明的上述及其它目的、特征和优点更加清楚，其中：

图1是用于说明分布式数据集的示意图；

图2是用于说明根据本发明的分布式缓存自动管理系统200的示意图；

图3和图4是用于说明根据本发明的分布式缓存自动管理方法的操作顺序图；以及

图5～图7是用于说明本发明的具体实施实例的示意图。

在本发明的所有附图中，相同或相似的结构和步骤均以相同或相似的附图标记标识。

具体实施方式

下面参照附图对本发明的优选实施例进行详细说明，在描述过程中省略了对于本发明来说是不必要的细节和功能，以防止对本发明的理解造成混淆。

图2是用于说明根据本发明的分布式缓存自动管理系统200的示意图。

如图2所示，分布式缓存自动管理系统200包含三部分：客户端(Client)210、主控端(Master)220和缓存服务器集群(CacheServers)230(为了简化描述，图2中仅示出了两个缓存服务器230₁和230₂，但本发明并不局限于缓存服务器的具体数目，可以根据需要布置任意数目的缓存服务器230₁～230_N)。客户端210上运行程序是由应用程序员编写。客户端210通过创建和操作一个或者多个数据集(Dataset)对象，来操作一个或者多个分布式数据集。实际的数据被分发到多个缓存服务器230(例如，230₁和230₂)上缓存起来。主控端220负责对大数据进行切分，选择合适的缓存服务器集群230(例如，230₁和230₂)来缓存数据，并对这些缓存服务器(例如，230₁和230₂)上的缓存数据进行跟踪管理。缓存服务器(例如，230₁和230₂)只负责接收主控端220的指令，对数据进行缓存或者丢弃。

如图2所示，客户端210、主控端(Master)220和缓存服务器230上的通讯模块2110、2210和2310负责系统各部分之间的网络通讯。客户端210、主控端(Master)220和缓存服务器230上的协议模块2120、2220和2320负责对通讯的数据内容进行编码/解码。

客户端210还包括：客户端开发库2130，作为提供给应用程序员的开发库；数据集接口2140，作为对客户端开发库2130的编程接口。客户端开发库2130包括：数据集模块2131，负责Dataset对象的创建、销毁、和数据集访问操作；数据集监控器2132，负责监控Dataset对象的创建和销毁，并触发相应的对于分布式数据集的创建和销毁请求。

主控端220还包括：缓存跟踪器2230，主要用于记录分布式数据集中的数据分片在缓存服务器集群230中的具体存放位置；调度器2240，用于在创建分布式数据集时，选择合适的缓存服务器集群230来存放数据分片。在主控端220收到客户端210请求创建一个分布式数据集时，调度器2240根据数据集大小和当前缓存服务器集群230中各缓存服务器(例如，230₁和230₂)的使用情况来对数据集进行分片，以实现数据分片的调度。例如，当需要创建一个由100,000个日志文件组成的数据集，当前有N＝100个可用的性能相同的缓存服务器时，该数据集会被分成100份，每份由1,000个日志文件组成，每份由一个缓存服务器保存。

缓存服务器230还包括：处理器(handler)2330，用于根据来自主控端220的请求，来保存数据分片到缓存器2340中，或从缓存器2340中丢弃数据分片。缓存器2340是用来存放数据分片的容器。

图3和图4是用于说明根据本发明的分布式缓存自动管理方法的操作顺序图。图3示出了分布式数据集创建过程；以及图4示出了分布式数据集销毁过程。在本发明中，当在客户端210中创建或销毁Dataset对象时，在缓存服务器集群230(例如，230₁和230₂)中相应地创建或销毁对应的分布式数据集，从而实现了客户端的Dataset对象的生存期和对应的分布式数据集的生存期的绑定。

如图3所示，在分布式数据集创建过程中，首先，客户端210通过数据集接口2140调用数据集模块2131创建一个Dataset对象(步骤S3110)。这个创建Dataset对象的事件触发数据集监控器2132，数据集监控器2132调用协议模块2120，利用Dataset对应的数据编码一条dataset_create消息(步骤S3120)，并通过通讯模块2110发送给主控端220(步骤S3130)。

主控端220从自己的通讯模块2210收到来自客户端210的dataset_create消息，利用协议模块2220解码该dataset_create消息(步骤S3210)。接着，主控端220根据调度器2240的决策对该数据进行切分，并选择合适的缓存服务器集群(步骤S3220)。然后，主控端220根据切分后的数据分片，通过协议模块2220编码若干条slice_create消息(步骤S3230)，并通过通讯模块2210将slice_create消息发送给对应的缓存服务器230(步骤S3240)。

缓存服务器230从自己的通讯模块2310收到slice_create消息后，利用协议模块2320对slice_create消息进行解码(步骤S3310)。然后，缓存服务器230取出实际的数据内容，并通过处理器2330把数据放入缓存器2340(步骤S3320)。之后，缓存服务器230通过协议模块2320编码一条success消息(步骤S3330)，并通过通讯模块2310将success消息发送给主控端220(步骤S3340)。

主控端220从通讯模块2210收到success消息，通过协议模块2220解码(步骤S3250)。缓存跟踪器2230记录该数据分片缓存的位置，也就是缓存服务器ID(步骤S3260)。之后，主控端220通过协议模块2220编码一条success消息(步骤S3270)，并通过通讯模块2210将success消息发送给客户端210(步骤S3280)。

客户端210从通讯模块2110收到success消息，通过协议模块2120解码(步骤S3150)。分布式数据集创建过程完成。

如图4所示，在分布式数据集销毁过程中，客户端210通过数据集接口2140调用数据集模块2131销毁一个Dataset对象(步骤S4110)。这个创建Dataset对象的事件触发数据集监控器2132，数据集监控器2132调用协议模块2120，编码一条dataset_destroy消息(步骤S4120)，并通过通讯模块2110发送给主控端220(步骤S4130)。

主控端220从自己的通讯模块2210收到来自客户端210的dataset_destroy消息，利用协议模块2220解码该dataset_destroy消息(步骤S4210)。然后，缓存跟踪器2230获得对应的缓存服务器ID(步骤S4220)，利用协议模块2220编码若干条drop_slice消息(步骤S4230)，然后，通过通讯模块2210将drop_slice消息发给对应的缓存服务器230(步骤S4240)。

缓存服务器230从自己的通讯模块2310收到drop_slice消息后，通过协议模块2320解码该drop_slice消息(步骤S4310)，然后，通过处理器2330删除缓存器2340中的对应缓存(步骤S4320)。之后，缓存服务器通过协议模块2320编码一条success消息(步骤S4330)，并通过通讯模块2310将success消息发送给主控端220(步骤S4340)。

主控端220从通讯模块2210收到success消息，使用协议模块2220解码该success消息(步骤S4250)。然后，缓存跟踪器2230清除对应的记录(步骤S4260)。之后，主控端220通过协议模块2220编码一条success消息(步骤S4270)，并通过通讯模块2210将success消息发送给客户端210(步骤S4280)。

客户端210从通讯模块2110收到success消息，通过协议模块2120解码(步骤S4150)。分布式数据集销毁过程完成。

[具体实施实例]

下面，以本发明的日志分析应用为例，详细描述Dataset对象和分布式数据集的生存期的一致性。经常需要从日志数据中提取出错误日志和警告日志进行分析。下面的例子，展示了在处理这些日志的过程中，客户端210和缓存服务器集群230的存储情况。

图5所示为客户端210创建原始日志数据集后的情况。原始日志的Dataset对象存在于客户端210中，原始日志的数据分片存放于缓存服务器集群230中。原始日志的Dataset对象和原始日志的数据分片是根据本发明的分布式数据集创建过程(例如，图3)创建的。

图6所示为从原始日志数据集中分析得到错误日志后的情况。通过日志分析，从原始日志中提取出错误日志，因为错误日志是原始日志的一部分，因而，同样地，错误日志的Dataset对象存在于客户端210中，而错误日志的数据分片存放于缓存服务器集群230中。此外，独立于原始日志，错误日志的Dataset对象和错误日志的数据分片同样是根据本发明的分布式数据集创建过程(例如，图3)创建的。

图7所示为客户端210销毁了错误日志的Dataset对象后的情况。因为客户端210基于日志分析，已销毁了错误日志的Dataset对象，缓存服务器集群230中对应的错误日志分片也被缓存服务器集群230丢弃。错误日志的Dataset对象和错误日志的数据分片是根据本发明的分布式数据集销毁过程(例如，图4)销毁的。

这里所公开的本发明实施例的其他设置包括执行在先概述并随后详述的方法实施例的步骤和操作的软件程序。更具体地，计算机程序产品是如下的一种实施例：具有计算机可读介质，计算机可读介质上编码有计算机程序逻辑，当在计算设备上执行时，计算机程序逻辑提供相关的操作，从而提供上述分布式缓存自动管理方案。当在计算系统的至少一个处理器上执行时，计算机程序逻辑使得处理器执行本发明实施例所述的操作(方法)。本发明的这种设置典型地提供为设置或编码在例如光介质(例如CD-ROM)、软盘或硬盘等的计算机可读介质上的软件、代码和/或其他数据结构、或者诸如一个或多个ROM或RAM或PROM芯片上的固件或微代码的其他介质、或专用集成电路(ASIC)、或一个或多个模块中的可下载的软件图像、共享数据库等。软件或固件或这种配置可安装在计算设备上，以使得计算设备中的一个或多个处理器执行本发明实施例所述的技术。结合诸如一组数据通信设备或其他实体中的计算设备进行操作的软件过程也可以提供根据本发明的节点和主机。根据本发明的节点和主机也可以分布在多个数据通信设备上的多个软件过程、或者在一组小型专用计算机上运行的所有软件过程、或者单个计算机上运行的所有软件过程之间。

应该理解，严格地讲，本发明的实施例可以实现为数据处理设备上的软件程序、软件和硬件、或者单独的软件和/或单独的电路。

至此已经结合优选实施例对本发明进行了描述。应该理解，本领域技术人员在不脱离本发明的精神和范围的情况下，可以进行各种其它的改变、替换和添加。因此，本发明的范围不局限于上述特定实施例，而应由所附权利要求所限定。

Claims (8)

1.一种分布式缓存自动管理系统，包括：

客户端，用于在本地创建或销毁数据集对象，并触发相应的对于存储在缓存服务器集群上的分布式数据集的创建或销毁请求；

主控端，用于根据来自客户端的分布式数据集创建或销毁请求，对缓存在缓存服务器集群上的分布式数据集的数据分片进行管理；以及

缓存服务器，用于根据来自主控端的请求，保存数据分片到缓存器中，或从缓存器中丢弃数据分片，

其中，所述客户端包括数据集接口、数据集模块和数据集监控器：

所述数据集接口用作访问所述数据集模块和所述数据集监控器的接口；

所述数据集模块用于创建、销毁和访问数据集对象；

所述数据集监控器用于监控数据集对象的创建和销毁，并触发相应的对于存储在缓存服务器集群上的分布式数据集的创建和销毁请求。

2.根据权利要求1所述的分布式缓存自动管理系统，其中，所述主控端包括：

缓存跟踪器，用于记录分布式数据集中的数据分片在缓存服务器集群中的具体存放位置，即缓存服务器的标识信息；以及

调度器，用于在创建分布式数据集时，选择相应的缓存服务器集群来存放数据分片，其中，根据数据集大小和当前缓存服务器的使用情况来对数据集进行分片。

3.根据权利要求1或2所述的分布式缓存自动管理系统，其中，所述缓存服务器包括：

缓存器，用于存放数据分片；以及

处理器，用于根据来自主控端的请求，保存数据分片到缓存器中，或从缓存器中丢弃数据分片。

4.一种分布式缓存自动管理方法，包括以下步骤：

客户端在本地创建或销毁数据集对象，并触发相应的对于存储在缓存服务器集群上的分布式数据集的创建或销毁请求；

主控端根据来自客户端的分布式数据集创建或销毁请求，对缓存在缓存服务器集群上的分布式数据集的数据分片进行管理；以及

缓存服务器根据来自主控端的请求，保存数据分片到缓存器中，或从缓存器中丢弃数据分片，

其中，在所述客户端创建或销毁数据集对象时，

通过数据集接口，调用所述客户端中的数据集模块，创建或销毁数据集对象；

创建或销毁数据集对象的事件触发所述客户端中的数据集监控器，数据集监控器调用协议模块，利用与分布式数据集对应的数据编码数据集创建消息或数据集销毁消息；

将数据集创建消息或数据集销毁消息发送给主控端；以及

从主控端接收成功确认消息。

5.根据权利要求4所述的分布式缓存自动管理方法，在所述主控端接收到数据集创建消息时，还包括：

在所述主控端，

解码来自所述客户端的数据集创建消息，获得数据集数据；

根据调度器的决策，对数据集数据进行切分，得到数据分片，选择用于缓存数据分片的缓存服务器集群；

根据每一数据分片，编码一条分片创建消息，将分片创建消息发送给缓存服务器集群中对应的缓存服务器；

从缓存服务器接收成功确认消息；

利用缓存跟踪器，记录各个数据分片的位置，即相应缓存服务器的标识信息；以及

向客户端返回成功确认消息。

6.根据权利要求5所述的分布式缓存自动管理方法，在所述缓存服务器接收到分片创建消息时，还包括：

在所述缓存服务器，

解码来自所述主控端的分片创建消息，获得数据分片；

通过处理器，把数据放入缓存器中；以及

向所述主控端返回成功确认消息。

7.根据权利要求4所述的分布式缓存自动管理方法，在所述主控端接收到数据集销毁消息时，还包括：

在所述主控端，

解码来自所述客户端的数据集销毁消息，获得将要销毁的数据集的标识信息；

利用缓存跟踪器，获得用于缓存所述数据集的各个数据分片的缓存服务器集群中的各个缓存服务器的标识信息；

根据每一数据分片，编码一条分片销毁消息，将分片销毁消息发送给缓存服务器集群中对应的缓存服务器；

从缓存服务器接收成功确认消息；

利用缓存跟踪器，清除所述数据集的各个数据分片的记录；以及

向客户端返回成功确认消息。

8.根据权利要求7所述的分布式缓存自动管理方法，在所述缓存服务器接收到分片销毁消息时，还包括：

在所述缓存服务器，

解码来自所述主控端的分片销毁消息，获得将要销毁的数据分片的标识信息；

通过处理器，从缓存器中删除所述数据分片；以及

向主控端返回成功确认消息。