CN109947363B - 一种分布式存储系统的数据缓存方法 - Google Patents

Abstract

本发明提供一种分布式存储系统的数据缓存方法，该方法包括：将分布式存储系统中下发到每个缓存单元请求缓存的数据按照不同的维度进行分类，定义每一数据类型的标签，并使得所述数据携带该标签；识别请求存储数据的标签，获得所述请求存储数据的数据类型；根据所述数据类型和预先设置的存储策略进行数据缓存。本发明可以大大提高刷盘效率，优化缓存资源的使用，避免缓存污染，通过缓存技术提高了整个分布式存储系统的服务质量。

Description

一种分布式存储系统的数据缓存方法

技术领域

本发明涉及分布式存储领域，尤其涉及一种分布式存储系的统数据缓存方法。

背景技术

公开号为：CN103279429A的专利公开了一种应用感知的分布式全局共享缓存分区方法，基于应用对缓存资源进行分区管理，每个独立的缓存分区根据应用负载特征选择合适的数据块大小来提高缓存资源利用率和命中率，并且缓存分区可在系统运行中通过应用感知的缓存回收策略来回收缓存资源，从而实现应用级的缓存区分服务，对关键的应用分配更多的缓存资源，按需分配和按优先级回收相结合的缓存分配机制使得对不同的应用使用不同的缓存分区大小成为可能。该方案强调的是针对不同应用分配不同的缓存分区，也即对不同的应用分配不同的数据块，而不是对缓存策略作出定义，以及对刷盘策略作出改变，在分布式存储系统中，数据被打散存放到多个服务器的多块硬盘上，应用数据可能被拆分，针对应用模型来选取不同数据块大小的策略可能并不准确，而且不能解决分布式存储系统中部分类型的数据(如冗余数据，或副本数据)造成缓存污染的问题。

发明内容

本发明所要解决的技术问题在于，提供一种分布式存储系统数据缓存方法，该方法使得数据在进入缓存层之前携带代表数据类型的标签，缓存单元能够识别该数据标签，并根据预先设定的存储策略对数据进行存储和刷盘，从而通过提高缓存来控制服务质量的目的。

为了解决上述技术问题，本发明提供一种分布式存储系统数据缓存方法，包括如下步骤：

将分布式存储系统中下发到每个缓存单元请求缓存的数据按照不同的维度进行分类，定义每一数据类型的标签，并使得所述数据携带该标签；

识别请求存储数据的标签，获得所述请求存储数据的数据类型；

根据所述数据类型和预先设置的存储策略进行数据缓存。

其中，所述方法还包括：

当分布式存储系统的缓存单元的刷盘机制运行时，按照预先设定的刷盘策略将部分脏数据刷成净数据，并回收所述净数据的缓存空间。

其中，所述数据类型包括：

集群元数据、集群恢复或扩展时产生的重构数据、预设的优先级类数据、副本类数据。

其中，所述根据所述识别的数据类型和预先设置的存储策略进行数据存储具体包括：

S31、判断所述数据类型是否是集群元数据，如果是，则根据集群元数据的存储策略进行存储；否则，进入S32；

S32、判断所述数据类型是否是重构数据，如果是，则根据重构数据的存储策略进行存储，否则，进入S33；

S33、判断所述数据类型是否是优先级数据，如果是，则根据优先级类数据的存储策略进行数据存储，否则，进入S34；

S34、判断所述数据类型是否是副本类数据，如果是，则根据副本类数据的存储策略进行数据存储，否则，根据缓存空间状态进行存储。

其中，所述集群元数据的存储策略具体包括：

获取所述集群元数据的配置，若其配置为不缓存，则将所述集群元数据直接写入机械硬盘；若其配置为缓存，则判断缓存单元中是否有存储空间，若有存储空间，则将所述集群元数据写入所述缓存单元，若没有存储空间，则将缓存单元中的部分脏数据刷盘变为净数据，回收所述净数据的缓存空间，将所述集群元数据写入所述缓存单元中。

其中，所述重构数据的存储策略具体包括：

获取所述重构数据的配置，若其配置为不缓存，则将所述重构数据直接写入机械硬盘；若其配置为缓存，则判断缓存单元中是否有存储空间，若有存储空间，则将所述重构数据写入所述缓存单元中，若没有存储空间，则将所述应用的写请求数据重构数据写入所述机械硬盘。

其中，所述预设的优先级类数据包括：预设的高优先级数据和预设的低优先级数据。

其中，所述优先级类数据的存储策略具体包括：

判断所述优先级类数据是否是高优先级数据，若是，则根据所述高优先级数据是主本数据或副本数据确定所述高优先级数据的存储；若不是，则将所述优先级类数据写入机械硬盘中。

其中，所述根据所述高优先级数据是主本数据或副本数据确定所述高优先级数据的存储具体包括：

若所述高优先级数据为主本数据，判断缓存单元中是否有存储空间，若有存储空间，则将高优先级主本数据写入缓存单元中，若没有存储空间，则将缓存单元中的部分脏数据刷盘变为净数据，回收所述净数据的缓存空间，将高优先级副本数据写入所述缓存单元中。

其中，所述副本类数据的存储策略具体包括：

获取所述副本类数据的配置，若其配置为不缓存，则将所述副本类数据写入机械硬盘中，若为缓存，判断是否具有缓存空间，如果有缓存空间，则将所述副本类数据写入缓存中，若没有缓存空间，则将所述副本类数据写入机械硬盘中。

其中，所述刷盘策略具体包括：

获取脏数据的数据类型以及每一数据类型的脏数据的刷盘时间；

按照预先设定的数据类型的刷盘顺序对每一类型的脏数据按照其对应的刷盘时间进行刷盘。

本发明实施例的有益效果在于：本发明将分布式存储系统中下发到每个存储单元准备缓存的数据，按照不同的维度进行分类，并针对每一类定义数据类型标签，并在进入缓存单元之前携带标签，通过识别数据标签并根据设定的存储策略以及刷盘策略来进行数据存储和刷盘，可以大大提高刷盘效率，优化缓存资源的使用，避免缓存污染，通过缓存技术提高了整个分布式存储系统的服务质量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一种分布式存储系统的数据缓存方法的流程示意图。

图2是本发明实施例的设定的缓存策略的流程示意图。

图3是本发明实施例的设定的刷盘策略的流程示意图。

具体实施方式

以下各实施例的说明是参考附图，用以示例本发明可以用以实施的特定实施例。

在存储系统中，为了加快性能，经常需要使用高速缓存技术，缓存技术广泛存在于各种计算机系统中，例如计算机CPU与内存之间，内存和外部硬盘之间等。缓存的容量一般比较小，但速度高于低速设备，在系统中设置缓存可以提高低速设备的数据读写速度，提高整个系统的性能。

因为缓存的容量是远远小于低速设备的，故必然需要对缓存中的数据进行换入换出处理。以HDD作为低速设备，少量SSD作为缓存为例，从HDD中读取并存入SSD的数据和HDD上存储的数据相同，称之为净数据；从外部新写入SSD的数据或者从HDD读取到SSD后又被修改的数据称为脏数据。对于净数据，可以直接回收其所占的缓存资源；而对于脏数据，需要将其先写到HDD中后，使其转变为净数据后，再回收其所占的缓存资源，否则会造成数据丢失。将脏数据写入HDD的过程称为刷盘，刷盘的性能直接影响整个系统的IO性能，因此缓存软件应尽量提高刷盘效率，提高刷盘效率的方法常见的有合并多个脏数据块为一个大的脏数据块、将脏数据按照其在HDD盘上的地址顺序进行排序后刷盘等。

目前，在分布式存储系统中，使用SSD缓存技术来加速数据存取已是成熟的方案，此方案会将集群中每台服务器配置少量SSD盘，将SSD盘与集群中作为主存的机械硬盘(HDD)组成缓存关系，通过缓存软件将SSD与HDD组成“混合盘”，在混合盘之上运行集群中本地硬盘的管理单元OSD组件或Datanode服务。

通过这种缓存方式，可以将缓存技术与分布式存储系统的其它服务解耦，缓存技术以单块HDD为单位，根据上层下发到每块HDD上的数据来区分冷热，自动将热点数据缓存到SSD，冷数据下沉到HDD。

以下参照图1所示，本发明提供一种分布式存储系统的数据缓存方法，该方法包括如下步骤：

S1、将分布式存储系统中下发到每个存储单元请求缓存的数据按照不同的维度进行分类，定义每一数据类型的标签，并使得所述数据携带该标签。

具体地，将分布式存储集群中的各种数据分为不同的类型，针对不同的数据类型定义不同的标签，并且在数据进入缓存层之携带这些标签。

在分布式存储系统中，当逻辑卷的IO请求从客户端下发到系统中后，会经过元数据管理模块、分布式RAID等数据路由服务，将请求IO拆分下发到底层的存储单元(在Ceph中是OSD模块，一个存储单元负责一个物理硬盘的数据读写服务)。根据分布式存储系统以上的特点，可将存储系统中下发到为每个存储单元准备的缓存资源的数据，按照不同的维度，定义为以下几个种类：

集群元数据、重构数据、高优先级用户数据，中优先级用户数据，低优先级用户数据，主本数据，副本数据，其中高优先级用户数据、中优先级用户数据，低优先级用户数据统称为优先级类数据。

数据为集群元数据：集群中的元数据一般指的是用来实现最终数据寻址作用的持久化的管理数据，在大部分存储系统中，几乎每个读写IO请求都会产生对元数据的请求，因此元数据的存储速度对提高整个系统的数据IO请求速度有着决定性的影响。当写请求的数据到达缓存时，缓存软件可根据该标签区分该数据为集群的元数据或用户数据，假设预设的策略为元数据尽量缓存，那么从集群角度来看，由于元数据尽量得到缓存(暂不考虑缓存太小导致元数据无法全部缓存的情况)，可以加速数据查找的速度，提高绝大部分场景下的数据读写性能。

数据为应用的写请求数据或者集群恢复或扩展时产生的重构数据：当写请求的数据到达缓存时，缓存软件可根据该标签区分该数据为普通的应用数据或集群发生故障或扩展时产生的重构数据，假设预设的策略为重构数据不缓存，则可以实现重构流量不经过缓存资源直接落入HDD盘的效果，此场景适合于对重构速度要求不高，优先保证业务对于缓存资源的使用的情况。

优先级类数据：当写请求的数据到达缓存时，缓存软件可根据该标签区分该数据为预设的高优先级的LUN的数据，或低优先级的LUN的数据，对于前者，缓存软件会尽量寻找缓存空间进行缓存，对于后者，缓存软件对其作不缓存处理，直接落入HDD盘。即从集群角度来看，将缓存资源全部预留给高优先级的LUN，对于同一个分布式存储集群上运行多种业务时，如数据库业务、备份存储业务等，将数据库业务挂载的LUN定为高优先级，备份存储业务挂载的LUN指定为低优先级，可以达到保证数据库业务服务质量，更加合理地利用缓存资源的效果。

主、副本类数据：分布式存储系统中较多采用的数据冗余策略为副本策略，常用的有2副本或3副本策略，以Ceph为例，只有一份数据为主本数据，其它的数据称为副本数据，并且读请求一般都只会通过读取主本数据返回给应用层。当写请求的数据到达缓存时，缓存软件可根据该标签区分该数据为主本数据或副本数据。

S2、识别请求存储数据的标签，获得所述请求存储数据的数据类型。

具体地，对缓存数据IO引入标签感知的能力，当数据经过分布式存储系统的处理到达缓存时，缓存模块通过数据所携带的标签来识别本次请求存储的数据的数据类型。

步骤S3、根据所述数据类型和预先设置的存储策略进行数据缓存。

参照图2所示，所述存储单元根据所述识别的数据类型和预先设置的存储策略进行数据存储具体包括：

所述根据所述识别的数据类型和预先设置的存储策略进行数据存储具体包括：

S31、判断所述数据类型是否是集群元数据，如果是，则根据集群元数据的存储策略进行存储；否则，进入S32；

S32、判断所述数据类型是否是重构数据，如果是，则根据重构数据的存储策略进行存储，否则，进入S33；

S33、判断所述数据类型是否是优先级数据，如果是，则根据优先级类数据的存储策略进行数据存储，否则，进入S34；

S34、判断所述数据类型是否是副本类数据，如果是，则根据副本类数据的存储策略进行数据存储，否则，根据缓存单元是否具有缓存空间进行存储。

其中，所述集群元数据的存储策略具体包括：

获取所述集群元数据的配置，若其配置为不缓存，则将所述集群元数据直接写入机械硬盘；若其配置为缓存，则判断缓存单元中是否有存储空间，若有存储空间，则将所述集群元数据写入所述缓存单元，若没有存储空间，则将缓存单元中的部分脏数据按照刷盘策略刷盘变为净数据，回收所述净数据的缓存空间，将所述集群元数据写入所述缓存单元中。

其中，所述重构数据的存储策略具体包括：

获取所述重构数据的配置，若其配置为不缓存，则将所述重构数据直接写入机械硬盘；若其配置为缓存，则判断缓存单元中是否有存储空间，若有存储空间，则将所述重构数据写入所述缓存单元中，若没有存储空间，则将所述应用的写请求数据重构数据写入所述机械硬盘。

其中，所述预设的优先级类数据包括：预设的高优先级数据和预设的低优先级数据。

其中，所述优先级类数据的存储策略具体包括：

判断所述优先级类数据是否是高优先级数据，若是，则根据所述高优先级数据是主本数据或副本数据确定所述高优先级数据的存储；若不是，则将所述优先级类数据写入机械硬盘中。

其中，所述根据所述高优先级数据是主本数据或副本数据确定所述高优先级数据的存储具体包括：

若所述高优先级数据为主本数据，判断缓存单元中是否有存储空间，若有存储空间，则将高优先级主本数据写入缓存单元中，若没有存储空间，则将缓存单元中的部分脏数据按照刷盘策略刷盘变为净数据，回收所述净数据的缓存空间，将高优先级副本数据写入所述缓存单元中。

其中，所述副本类数据的存储策略具体包括：

获取所述副本类数据的配置，若其配置为不缓存，则将所述副本类数据写入机械硬盘中，若为缓存，判断是否具有缓存空间，如果有缓存空间，则将所述副本类数据写入缓存中，若没有缓存空间，则将所述副本类数据写入机械硬盘中。

具体地，本实施例对脏数据进行刷盘时，按照副本类数据、中等用户优先级数据、非元数据类型数据、集群元数据类数据进行刷盘，具体操作为：

如图3所示，当缓存模块的刷盘机制在运行时，首先，扫描所有脏数据，选出其标记类型为副本类数据的脏数据，查找针对副本类数据的刷盘时间片，假设记为t1，对所有类型为副本类数据的脏数据进行刷盘，刷盘时结合传统的合并及排序刷盘法对其处理后刷盘，并记录刷盘时间，达到定时时间后，继续进行下一个数据类型的脏数据刷盘过程。

接着再次扫描所有脏数据，选出其标记类型为中等用户优先级的脏数据，查找针对中等用户优先级数据的刷盘时间片，刷盘时间记为t2，对所有类型为中等用户优先级的脏数据进行刷盘，刷盘时结合传统的合并及排序刷盘法对其处理后刷盘，并记录刷盘时间，达到定时时间后，继续进行下一个数据类型的脏数据刷盘过程。

扫描所有脏数据，选出其标记类型为非元数据类型的脏数据，其中非元数据类型的脏数据包括：重构数据类型与高用户优先级类型等，查找针对非元数据类型数据的刷盘时间片，刷盘时间记为t3，对选出的非元数据类型的脏数据进行刷盘，刷盘时结合传统的合并及排序刷盘法对其处理后刷盘，并记录刷盘时间，达到定时时间后，继续进行下一个数据类型的脏数据刷盘过程。

扫描所有脏数据，选出其标记类型为元数据类型的脏数据，查找针对元数据类型数据的刷盘时间片，刷盘时间记为t4，对选出的元数据类型的脏数据进行刷盘，刷盘时结合传统的合并及排序刷盘法对其处理后刷盘，并记录刷盘时间，达到定时时间后，重新进行下一轮的刷盘处理过程。

上述刷盘流程中，几个数据类型的刷盘时间片建议大小为：t1>t2>t3>t4>0。

本发明将分布式存储系统中下发到每个存储单元准备的缓存资源的数据，按照不同的维度进行分类，并针对每一类定义数据类型标签，并在进入缓存单元之前携带标签，通过识别数据标签，并根据设定的存储策略以及刷盘策略来进行数据存储和刷盘，可以大大提高刷盘效率，优化缓存资源的使用，避免缓存污染，通过缓存技术提高了整个分布式存储系统的服务质量。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (7)

1.一种分布式存储系统的数据缓存方法，其特征在于，包括如下步骤：

将分布式存储系统中下发到每个缓存单元请求缓存的数据按照不同的维度进行分类，定义每一数据类型的标签，并使得所述数据携带该标签，所述数据类型包括：集群元数据、集群恢复或扩展时产生的重构数据、预设的优先级类数据、副本类数据；

识别请求存储数据的标签，获得所述请求存储数据的数据类型；

根据所述数据类型和预先设置的存储策略进行数据缓存，具体包括：

S31、判断所述数据类型是否是集群元数据，如果是，则根据集群元数据的存储策略进行存储；否则，进入S32；

S32、判断所述数据类型是否是重构数据，如果是，则根据重构数据的存储策略进行存储，否则，进入S33；

S33、判断所述数据类型是否是优先级数据，如果是，则根据优先级类数据的存储策略进行数据存储，否则，进入S34；

S34、判断所述数据类型是否是副本类数据，如果是，则根据副本类数据的存储策略进行数据存储，否则，根据缓存单元是否具有缓存空间进行存储；

所述方法还包括：

当分布式存储系统的缓存单元的刷盘机制运行时，按照预先设定的刷盘策略将脏数据刷成净数据，并回收所述净数据的缓存空间，其中，所述刷盘策略具体包括：

获取脏数据的数据类型以及每一数据类型的脏数据的刷盘时间；

按照预先设定的数据类型的刷盘顺序对每一类型的脏数据按照其对应的刷盘时间进行刷盘。

2.根据权利要求1所述的方法，其特征在于，所述集群元数据的存储策略具体包括：

获取所述集群元数据的配置，若其配置为不缓存，则将所述集群元数据直接写入机械硬盘；若其配置为缓存，则判断缓存单元中是否有存储空间，若有存储空间，则将所述集群元数据写入所述缓存单元，若没有存储空间，则将缓存单元中的部分脏数据按照刷盘策略刷盘变为净数据，回收所述净数据的缓存空间，将所述集群元数据写入所述缓存单元中。

3.根据权利要求1所述的方法，其特征在于，所述重构数据的存储策略具体包括：

获取所述重构数据的配置，若其配置为不缓存，则将所述重构数据直接写入机械硬盘；若其配置为缓存，则判断缓存单元中是否有存储空间，若有存储空间，则将所述重构数据写入所述缓存单元中，若没有存储空间，则将应用的写请求数据重构数据写入所述机械硬盘。

4.根据权利要求1所述的方法，其特征在于，所述预设的优先级类数据包括：预设的高优先级数据和预设的低优先级数据。

5.根据权利要求4所述的方法，其特征在于，所述优先级类数据的存储策略具体包括：

判断所述优先级类数据是否是高优先级数据，若是，则根据所述高优先级数据是主本数据或副本数据确定所述高优先级数据的存储；若不是，则将所述优先级类数据写入机械硬盘中。

6.根据权利要求5所述的方法，其特征在于，所述根据所述高优先级数据是主本数据或副本数据确定所述高优先级数据的存储具体包括：

若所述高优先级数据为主本数据，判断缓存单元中是否有存储空间，若有存储空间，则将高优先级主本数据写入缓存单元中，若没有存储空间，则将缓存单元中的部分脏数据按照刷盘策略刷盘变为净数据，回收所述净数据的缓存空间，将高优先级副本数据写入所述缓存单元中。

7.根据权利要求6所述的方法，其特征在于，所述副本类数据的存储策略具体包括：

获取所述副本类数据的配置，若其配置为不缓存，则将所述副本类数据写入机械硬盘中，若为缓存，判断是否具有缓存空间，如果有缓存空间，则将所述副本类数据写入缓存中，若没有缓存空间，则将所述副本类数据写入机械硬盘中。

Images