CN107634853A - 一种基于对象存储的可定制化分布式缓存方法 - Google Patents

Abstract

本发明公开了一种基于对象存储的可定制化分布式缓存方法，其采用R个对象存储节点的架构；具体包括：预先在所述对象存储节点中设置可定制化的缓存方案；接收访问请求，并根据预先设置的映射关系表判断访问请求内容所在的对象存储节点；若判断为本地则通过缓存抽象层接口调用访问请求内容，若判断为非本地则将所述访问请求转发至相应的对象存储节点，并通过缓存抽象层接口调用访问请求内容。本发明在对象存储系统的高可扩展架构上，通过映射关系表和Paxos算法，继承了其高可扩展的架构，无需在对象存储系统之外提供额外的物理节点，使缓存系统可故障自动切换；并且预留有业务定制化接口，使得对象存储的应用更加广泛。

Description

一种基于对象存储的可定制化分布式缓存方法

技术领域

本发明涉及信息存储技术领域，尤其涉及的是一种基于对象存储的可定制化分布式缓存方法。

背景技术

在存储行业，传统网络存储架构主要有两种：存储局域网(SAN)和网络附加存储(NAS)，而对象存储则是区别于这两种架构新的网络存储架构。对象存储结合了SAN和NAS的优点，同具有SAN的高速直接访问和NAS的分布式数据共享的优势，提供具有高可扩展性、高性能、高可靠性、跨平台以及安全的数据共享的存储体系结构。

目前主要的对象存储系统Amazon S3, OpenStack Swift, Ceph RGW等，都是通过RESTful(基于HTTP协议实现)接口访问。

基于HTTP的访问接口，读写都是以对象为单位，对于传统的流式数据，难以使用对象存储系统。对于近期较流行的云应用，往往需要修改对象的部分数据，但对象存储都是以整个对象为单位读写，造成明显的写入放大效应，消耗大量无用的磁盘IO和网络IO。

基于对象存储系统的缓存系统目前有相关的缓存方案：

1.分布式多级缓存系统，零级缓存用于缓存元数据，一级缓存用于缓存客户端数据，二级缓存用于缓存对象存储节点数据。

2.零级缓存管理模块负责零级缓存中元数据的查找、替换和安装网络访问控制协议进行元数据访问。

3.一级缓存管理模块负责共享内存空间的申请、分配、回收以及缓存单元的置换。

4.二级缓存管理模块负责对象存储节点间二级缓存进行多队列统一置换。

现有技术的缺点：

1.该技术缓存方案没有实现分布式架构，本地的数据只能缓存在本地，没有考虑到缓存节点的增加，减少的情况。

2.缓存系统不是存在于对象存储节点，而是存在于客户端上。对于瘦客户端可能无法提供该技术所需要的资源。

3.使用多级缓存系统，架构复杂，并且难以针对某种特殊的应用定制缓存，无法得到真正意义上的提高可用性和性能。

因此，现有技术还有待于改进和发展。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于对象存储的可定制化分布式缓存方法，旨在保证分布式缓存的高可扩展性的同时，且制定有业务定制化接口，使得对象存储能够应用更加广泛。

本发明解决技术问题所采用的技术方案如下：

一种基于对象存储的可定制化分布式缓存方法，所述可定制化分布式缓存方法采用R个对象存储节点的架构；具体步骤包括：

A、预先在所述对象存储节点中设置可定制化的缓存方案，根据所述缓存方案将对象存储节点中的数据读入缓存空间；

B、接收访问请求，并根据预先设置的映射关系表判断访问请求内容所在的对象存储节点；若判断为本地则通过缓存抽象层接口调用访问请求内容，若判断为非本地则将所述访问请求转发至相应的对象存储节点，并通过缓存抽象层接口调用访问请求内容。

所述可定制化分布式缓存方法，其中，所述可定制化的缓存方案具体为：

用户可根据业务需求，对缓存方案进行添加或删除，以定制适合的缓存算法。

所述可定制化分布式缓存方法，其中，所述缓存空间包括块设备缓存空间和内存缓存空间。

所述可定制化分布式缓存方法，其中，所述块设备缓存空间和内存缓存空间设置有一缓存抽象层，用于统一缓存空间的访问接口。

所述可定制化分布式缓存方法，其中，所述步骤B具体包括：

客户端，用于与其他对象存储节点的连接管理层建立连接，发送访问请求；

连接管理层，用于与客户端建立连接，并将连接添加到分发层，管理各个连接的连接状态；

分发层：基于IO多路复用或异步IO技术，对访问请求进行指派和分发；

定位处理层：根据访问请求定位访问请求内容所在的对象存储节点，若判断为本地则通过缓存抽象层接口调用访问请求内容，若判断为非本地则将所述访问请求转发至相应的对象存储节点，并通过缓存抽象层接口调用访问请求内容。

所述可定制化分布式缓存方法，其中，根据访问请求定位访问请求内容所在的对象存储节点，若判断为非本地对象存储节点，则通过所述客户端将所述访问请求发送至相应的对象存储节点的连接管理层。

所述可定制化分布式缓存方法，其中，所述‘根据访问请求定位访问请求内容所在的对象存储节点’通过映射关系表与Paxos算法实现，具体为：

构建N个虚拟节点，虚拟节点从0开始顺序编号至N-1，将对象存储节点设为真实节点，真实节点从0开始顺序编号至R-1；

虚拟节点N-1大于真实节点R-1，在映射关系表中，保存了虚拟节点到真实节点的映射，数据存储流程如下：

S1、根据访问请求，客户端请求对象A，对象A的id进行hash运算，并对其计算结果进行取模，得到对象A对应的虚拟节点编号；

S2、通过查找映射关系表，获得对象A的真实节点编号，将访问请求转发至对应的真实节点。

所述可定制化分布式缓存方法，其中，所述步骤B还包括：

心跳模块，用于与其他对象存储节点进行心跳，当对象存储节点发生故障时，发起Paxos提议，维持R个对象存储节点的数据一致性。

所述可定制化分布式缓存方法，其中，当真实节点发生故障时，处理方法如下：

临时性故障：将内存中的映射关系表副本进行修改，获取故障真实节点所拥有的虚拟节点，将获取到的虚拟节点分配至其他虚拟节点，当故障真实节点恢复后，则重新按照磁盘中的映射表进行数据分布；

永久性故障：当真实节点故障不能恢复时，则将内存中的映射关系表副本同步到磁盘中。

本发明的有益效果：本发明在对象存储系统的高可扩展架构上，通过映射关系表和Paxos算法，继承了其高可扩展的架构，无需在对象存储系统之外提供额外的物理节点，使缓存系统可故障自动切换；并且预留有业务定制化接口，使得对象存储的应用更加广泛。

附图说明

图1是本发明一种基于对象存储的可定制化分布式缓存方法较佳实施例的流程图。

图2是本发明一种基于对象存储的可定制化分布式缓存方法较佳实施例的总体架构框图。

图3是本发明一种基于对象存储的可定制化分布式缓存方法较佳实施例的具体实施流程图。

图4是本发明一种基于对象存储的可定制化分布式缓存方法较佳实施例的映射关系表。

图5是本发明一种基于对象存储的可定制化分布式缓存方法较佳实施例的映射关系表故障自动切换图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例提供了一种基于对象存储的可定制化分布式缓存方法，请参见图2，如图所示，其采用3个对象存储节点的处理架构。

请参加图1，图1为本发明一种基于对象存储的可定制化分布式缓存方法较佳实施例的流程图，如图所示，具体步骤包括：

100、预先在所述对象存储节点中设置可定制化的缓存方案，根据所述缓存方案将对象存储节点中的数据读入缓存空间。

具体实施例中，所述可定制化的缓存方案具体为：用户可根据业务需求，对缓存方案进行添加或删除，以定制适合的缓存算法。l本发明自定义缓存空间管理，缓存抽象层定义一组接口，统一缓存空间的访问接口，如缓存软件中实现了通用的块设备缓存管理和内存缓存管理。

用户可根据自身业务特点，定制适合的缓存算法。如针对视频流的帧，虚拟机的磁盘访问(连续4K的小IO)，图片缩略图等应用，可以定制固定大小的缓存方案，提升缓存IO效率。

定制热点，数据热点往往与业务有着紧密的关系，很难有一套通用的热点数据判断方法。在定位处理的本地API可注册热点数据判断的回调函数。比如可根据发布时间判断热点：门户网站，新闻网站，图片网站等；根据点击量判断热点：论坛，电子商务等；具体的热点判断实现方法，可由用户根据自身业务定制。

流式数据写入(摄像头IPC直存)：对象存储接受整个对象一起深入，对于流式数据写入问题，则先将数据存在预先分配的缓存空间，当缓存一定数据后，将其整个写入对象存储系统中，由定制化的缓存管理实现。

随着云存储的流行，在云端处理数据也越来越受欢迎，基于本发明的分布式缓存系统，可在缓存之上轻易开发在线数据应用，而不用直接与对象存储系统通信（HTTP）,而是直接访问缓存(本地API)。

所述缓存空间包括块设备缓存空间和内存缓存空间；所述块设备缓存空间和内存缓存空间设置有一缓存抽象层，用于统一缓存空间的访问接口。

具体实施例中，块设备缓存管理快速块设备(SSD, SAS)的缓存空间，并提供访问接口，实现缓存空间的分配，释放，整理，统计；缓存内容的搜索。

内存缓存管理内存的缓存空间，并提供访问接口，实现缓存空间的分配，释放，整理，统计；缓存内容的搜索。

200、接收访问请求，并根据预先设置的映射关系表判断访问请求内容所在的对象存储节点；若判断为本地则通过缓存抽象层接口调用访问请求内容，若判断为非本地则将所述访问请求转发至相应的对象存储节点，并通过缓存抽象层接口调用访问请求内容。

请参加图3，如图所示，所述步骤200具体包括：

请求接收层：所述请求接收层包括客户端与连接管理层；所述客户端用于与其他对象存储节点的连接管理层建立连接，发送访问请求；所述连接管理层用于与客户端建立连接，并将连接添加到分发层，管理各个连接的连接状态。

分发层：基于IO多路复用或异步IO技术，对访问请求进行指派和分发。

定位处理层：根据访问请求定位访问请求内容所在的对象存储节点，若判断为本地则通过缓存抽象层接口调用访问请求内容，若判断为非本地则将所述访问请求转发至相应的对象存储节点，并通过缓存抽象层接口调用访问请求内容。

具体实施例中，缓存抽象层：提供接口函数指针供下层具体实现注册，统一基于块设备，内存缓存，自定义缓存的访问接口，方便上层调用。

定位处理层：根据访问请求（直接调用本地API和分发层下发的通过网络访问的请求）定位该请求内容的所在节点，如果是在本地直接则调用缓存抽象层接口，如果是在其他节点，通过客户端转发到相应的节点。等待本地或其他节点的响应结果，并将结果返回给请求者。

分发层：基于IO多路复用或异步IO技术，对网络请求进行指派和分发。

连接管理层：实现TCP Server端，负责与客户端建立链接，并将连接添加到分发层，管理各个连接的状态。

客户端：实现TCP Client端，用于与其他节点的连接管理层建立连接，发送请求。

心跳模块：与其他节点进行心跳，如果发现有节点发生故障，发起Paxos提议，维持分布式系统一致性。

Paxos模块，实现Paxos算法，提供接口，维持系统的一致性。可以用开源paxos实现。

进一步的，请参加图4与图5，，所述定位处理层具体为：

构建N个虚拟节点，虚拟节点从0开始顺序编号至N-1，将对象存储节点设为真实节点，真实节点从0开始顺序编号至R-1；

虚拟节点N-1大于真实节点R-1，在映射关系表中，保存了虚拟节点到真实节点的映射，数据存储流程如下：

S1、根据访问请求，客户端请求对象A，对象A的id进行hash运算，并对其计算结果进行取模，得到对象A对应的虚拟节点编号；

S2、通过查找映射关系表，获得对象A的真实节点编号，将访问请求转发至对应的真实节点。

当真实节点发生故障时，处理方法如下：

临时性故障：将内存中的映射关系表副本进行修改，获取故障真实节点所拥有的虚拟节点，将获取到的虚拟节点分配至其他虚拟节点，当故障真实节点恢复后，则重新按照磁盘中的映射表进行数据分布；

永久性故障：当真实节点故障不能恢复时，则将内存中的映射关系表副本同步到磁盘中。

具体实施例中，所述定位处理层主要的工作是确定请求的对象具体在哪个对象存储节点上。即是各个对象存储节点上的定位处理层都能够判断具体对象的位置。其可通过映射关系表(CacheMap)和Paxos算法实现。根据映射关系表可以计算请求内容所在的节点。

映射关系表(CacheMap)在每个对象存储节点上都保存一份，各个节点可以自行修改该映射表，并通过Paxos模块将修改的内容同步到各个节点，使得整个分布式缓存系统达成一致，即各个对象存储节点的映射关系表相同。

映射关系表结构，虚拟节点编号从0~N-1。

虚拟节点数量远远大于真实节点的数量，在映射关系表中，保存了虚拟节点到真实节点的映射。数据存储流程如下：

1.客户端请求对象A，对象A的id进行hash运算，并对其计算结果取模，得到该对象对应的虚拟节点编号。

2.查找映射关系表，获得其真实节点编号。

3.将请求转发到真实节点处理。

在有真实节点发生故障时，处理情况分两种：

临时性故障：暂时将映射关系表在内存中的副本修改，收集真实节点所拥有的虚拟节点编号，将这些虚拟节点重新分配给其他节点。当故障节点恢复后，按照磁盘中的映射表进行数据分布。

永久性故障：当节点故障长时间不能恢复，缓存系统将内存中的映射关系表同步到磁盘中。

综上所述，本发明公开了一种基于对象存储的可定制化分布式缓存方法，其采用R个对象存储节点的架构；具体包括：预先在所述对象存储节点中设置可定制化的缓存方案；接收访问请求，并根据预先设置的映射关系表判断访问请求内容所在的对象存储节点；若判断为本地则通过缓存抽象层接口调用访问请求内容，若判断为非本地则将所述访问请求转发至相应的对象存储节点，并通过缓存抽象层接口调用访问请求内容。本发明在对象存储系统的高可扩展架构上，通过映射关系表和Paxos算法，继承了其高可扩展的架构，无需在对象存储系统之外提供额外的物理节点，使缓存系统可故障自动切换；并且预留有业务定制化接口，使得对象存储的应用更加广泛。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (9)

1.一种基于对象存储的可定制化分布式缓存方法，其特征在于，所述可定制化分布式缓存方法采用R个对象存储节点的架构；具体步骤包括：

A、预先在所述对象存储节点中设置可定制化的缓存方案，根据所述缓存方案将对象存储节点中的数据读入缓存空间；

B、接收访问请求，并根据预先设置的映射关系表判断访问请求内容所在的对象存储节点；若判断为本地则通过缓存抽象层接口调用访问请求内容，若判断为非本地则将所述访问请求转发至相应的对象存储节点，并通过缓存抽象层接口调用访问请求内容。

2.根据权利要求1所述的可定制化分布式缓存方法，其特征在于，所述可定制化的缓存方案具体为：

用户可根据业务需求，对缓存方案进行添加或删除，以定制适合的缓存算法。

3.根据权利要求1所述的可定制化分布式缓存方法，其特征在于，所述缓存空间包括块设备缓存空间和内存缓存空间。

4.根据权利要求3所述的可定制化分布式缓存方法，其特征在于，所述块设备缓存空间和内存缓存空间设置有一缓存抽象层，用于统一缓存空间的访问接口。

5.根据权利要求1所述的可定制化分布式缓存方法，其特征在于，所述步骤B具体包括：

客户端，用于与其他对象存储节点的连接管理层建立连接，发送访问请求；

连接管理层，用于与客户端建立连接，并将连接添加到分发层，管理各个连接的连接状态；

分发层：基于IO多路复用或异步IO技术，对访问请求进行指派和分发；

定位处理层：根据访问请求定位访问请求内容所在的对象存储节点，若判断为本地则通过缓存抽象层接口调用访问请求内容，若判断为非本地则将所述访问请求转发至相应的对象存储节点，并通过缓存抽象层接口调用访问请求内容。

6.根据权利要求5所述的可定制化分布式缓存方法，其特征在于，根据访问请求定位访问请求内容所在的对象存储节点，若判断为非本地对象存储节点，则通过所述客户端将所述访问请求发送至相应的对象存储节点的连接管理层。

7.根据权利要求5所述的可定制化分布式缓存方法，其特征在于，所述‘根据访问请求定位访问请求内容所在的对象存储节点’通过映射关系表与Paxos算法实现，具体为：

构建N个虚拟节点，虚拟节点从0开始顺序编号至N-1，将对象存储节点设为真实节点，真实节点从0开始顺序编号至R-1；

虚拟节点N-1大于真实节点R-1，在映射关系表中，保存了虚拟节点到真实节点的映射，数据存储流程如下：

S1、根据访问请求，客户端请求对象A，对象A的id进行hash运算，并对其计算结果进行取模，得到对象A对应的虚拟节点编号；

S2、通过查找映射关系表，获得对象A的真实节点编号，将访问请求转发至对应的真实节点。

8.根据权利要求5所述的可定制化分布式缓存方法，其特征在于，所述步骤B还包括：

心跳模块，用于与其他对象存储节点进行心跳，当对象存储节点发生故障时，发起Paxos提议，维持R个对象存储节点的数据一致性。

9.根据权利要求7所述的可定制化分布式缓存方法，其特征在于，当真实节点发生故障时，处理方法如下：

临时性故障：将内存中的映射关系表副本进行修改，获取故障真实节点所拥有的虚拟节点，将获取到的虚拟节点分配至其他虚拟节点，当故障真实节点恢复后，则重新按照磁盘中的映射表进行数据分布；

永久性故障：当真实节点故障不能恢复时，则将内存中的映射关系表副本同步到磁盘中。