CN105095495A - 一种分布式文件系统缓存管理方法和系统 - Google Patents

Abstract

本发明实施例提供一种分布式文件系统缓存管理方法和系统，其中，方包括：元数据服务器MDS对缓存集合进行检索，确定所述缓存集合中缓存的数目；判断所述缓存的数目是否大于预设最大缓存数，若大于，则向客户端发送缓存释放请求；所述客户端接收到所述缓存释放请求后，根据栈算法将所述缓存集合中当前不使用节点的缓存清除。当MDS判定缓存集合内缓存数目超过最大缓存数时，向客户端发送缓存释放请求，使客户端得知系统对缓存资源的使用情况，并针对当前缓存资源的使用情况做出响应，根据栈算法将缓存集合中当前不使用节点的缓存清除，实现对缓存集合内缓存的有效管理。

Description

一种分布式文件系统缓存管理方法和系统

技术领域

本发明涉及分布式文件技术领域，特别是涉及一种分布式文件系统缓存管理方法和系统。

背景技术

在分布式文件系统中，对于元数据的操作非常频繁，如果每次读写元数据的操作都从磁盘获取，这种I/O访问会严重降低系统的性能，导致系统性能降低或无法正常运行，同时影响到存储设备性能的提升。而若使用缓存，通过使用高速的存储设备缓存读写应用请求的数据，减少对底层低速存储设备的次数，则可以有效地提高系统的I/O性能，提高系统的运行效率，使系统一直处于一种良好的状态运转下去，防止因内存消耗过大而导致系统性能降低或无法正常运行的问题发生，同时有效地弥补存储设备难以大幅提升性能的缺陷。而现有技术中，由客户端自行申请缓存资源，对缓存资源的使用不可控制，客户端无法得知系统使用了多少缓存资源，更不能针对当前的缓存资源使用情况做出合理的响应，无法对缓存进行有效地管理。

发明内容

有鉴于此，本发明实施例提供一种分布式文件系统缓存管理方法，以解决现有技术中客户端无法得知系统使用了多少缓存资源，更不能针对当前的缓存资源使用情况做出合理的响应，无法对缓存进行有效地管理的问题。

为实现上述目的，本发明实施例提供如下技术方案：

一种分布式文件系统缓存管理方法，包括：

元数据服务器MDS对缓存集合进行检索，确定所述缓存集合中缓存的数目；

判断所述缓存的数目是否大于预设最大缓存数，若大于，则向客户端发送缓存释放请求；

所述客户端接收到所述缓存释放请求后，根据栈算法将所述缓存集合中当前不使用节点的缓存清除。

其中，所述根据栈算法将所述缓存集合中当前不使用节点的缓存清除后还包括：所述客户端向所述MDS发送缓存释放反馈信息。

其中，所述根据栈算法将所述缓存集合中当前不使用节点的缓存清除后还包括：根据所述缓存集合中各节点的使用信息，每隔预定时间间隔对所述预设的最大的缓存数的数值进行更改。

其中，所述根据栈算法将所述缓存集合中当前不使用节点的缓存清除包括：

根据所述栈算法确定所述缓存集合中的所有当前不使用节点；

将所述所有当前不使用节点内的缓存全部清除。

其中，所述判断所述缓存的数目是否大于预设的最大缓存数前还包括：

判断所述MDS中是否存在预设的最大缓存数；

若不存在，则对所述MDS设置最大缓存数。

其中，所述栈算法为近期最少使用LRU算法。

一种分布式文件系统缓存管理系统，包括：MDS和客户端；其中，

所述MDS，用于对缓存集合进行检索，确定所述缓存集合中缓存的数目；判断所述缓存的数目是否大于预设的最大缓存数，若大于，则向客户端发送缓存释放请求；

所述客户端，用于接收到所述缓存释放请求后，根据栈算法将所述缓存集合中当前不使用节点的缓存清除。

其中，所述MDS包括：检索模块和第一判断模块；其中，

所述检索模块，用于对缓存集合进行检索，确定所述缓存集合中缓存的数目；

所述请求模块，用于判断所述缓存的数目是否大于预设的最大缓存数，若大于，则向客户端发送缓存释放请求；

所述MDS还包括：第二判断模块，用于判断所述MDS中是否存在预设的最大缓存数；若不存在，则对所述MDS设置最大缓存数。

其中，所述客户端包括：缓存清除模块，用于接收到所述缓存释放请求后，根据栈算法将所述缓存集合中当前不使用节点的缓存清除；

所述客户端还包括：反馈模块，用于向所述MDS发送缓存释放反馈信息。

其中，所述缓存清除模块包括：计算单元和清除单元；其中，

所述计算单元，用于根据所述栈算法确定所述缓存集合中的所有当前不使用节点；

所述清除单元，用于将所述所有当前不使用节点内的缓存全部清除。

基于上述技术方案，本发明实施例提供的分布式文件系统缓存管理方法，元数据服务器MDS对缓存集合进行检索，确定该缓存集合中缓存的数目，然后判断该缓存集合中缓存的数目是否大于预设的最大缓存数，若大于，则向客户端发送缓存释放请求，客户端在接收到缓存释放请求后，根据栈算法将缓存集合中当前不使用节点的缓存清除。由MDS对缓存集合进行检索，确定缓存集合内缓存的数据，并在判定缓存集合内缓存数目过多而超过最大缓存数时，向客户端发送缓存释放请求，告知客户端缓存集合内的缓存数目已经超过最大缓存数，使客户端得知系统对缓存资源的使用情况，并针对当前缓存资源的使用情况做出响应，根据栈算法将缓存集合中当前不使用节点的缓存进行清除，实现对缓存集合内缓存的有效管理。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的分布式文件系统缓存管理方法的流程图；

图2为本发明实施例提供的分布式文件系统缓存管理方法中根据栈算法将缓存集合中当前不使用节点的缓存清除的方法流程图；

图3为本发明实施例提供的分布式文件系统缓存管理方法中设置最大缓存数的方法流程图；

图4为本发明实施提供的分布式文件系统缓存管理系统的系统框图；

图5为本发明实施提供的分布式文件系统缓存管理系统中的MDS的系统框图；

图6为本发明实施提供的分布式文件系统缓存管理系统中的客户端的系统框图；

图7为本发明实施提供的分布式文件系统缓存管理系统中的缓存清除模块的系统框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的分布式文件系统缓存管理方法的流程图，实现对缓存集合内缓存的有效管理，参照图1，该分布式文件系统缓存管理方法可以包括：

步骤S100：元数据服务器MDS对缓存集合进行检索，确定所述缓存集合中缓存的数目；

可选的，MDS可以每隔预定时间间隔对缓存集合内的缓存数目进行检索，也可以是在接收到检索指令后对缓存集合内缓存数目进行检索。其中，缓存集合是指一个存储有大量缓存的数据存储空间。

MDS对缓存集合进行检索后，将确定该缓存集合中已经拥有的缓存的数目。

步骤S110：判断所述缓存的数目是否大于预设最大缓存数；

最大缓存数是指缓存集合内允许拥有的最大的缓存数，当缓存集合内的缓存数未超过该最大缓存数时，若该缓存空间继续存储缓存，将不会影响到系统的工作性能，而当缓存集合内的缓存数已经超过该最大缓存数时，若该缓存空间继续存储缓存，将影响到系统的工作性能。

可选的，可以根据集群节点的硬件配置和软件使用状况等情况来向MDS配置该最大缓存数的数字。

若MDS判定缓存集合内缓存的数目大于预设最大缓存数，则说明该缓存集合内已经不可再存储缓存，若继续向该缓存空间存储缓存，将影响到系统的工作性能，需要该缓存空间将目前暂时不使用的一些缓存进行释放删除，使该缓存空间可以继续存储缓存。

可选的，在判断缓存集合内缓存的数目是否大于预设的最大缓存数前，还可以先判断该MDS中是否存在预设最大缓存数。

若该MDS中不存在预设最大缓存数，则说明该MDS中还未设置最大缓存数，或该MDS内设置的最大缓存数丢失或损坏，需要对该MDS设置最大缓存数，将该设置的最大缓存数作为用来进行判断的预设最大缓存数；若该MDS中存在预设最大缓存数，则不需要再在MDS中再设置最大缓存数。

步骤S130：所述客户端接收到所述缓存释放请求后，根据栈算法将所述缓存集合中当前不使用节点的缓存清除。

客户端在接收到MDS发送来的缓存释放请求后，将根据栈算法将缓存集合中当前不使用节点的缓存清除。其中，当前不使用节点是指，在客户端接收到缓存释放请求这一时间点前的某段预定时间段内，一直未被进行使用的节点。

可选的，客户端在根据栈算法将缓存集合中当前不使用节点的缓存清除后，还可以向该MDS发送缓存释放反馈信息，告知该MDS缓存集合内的缓存已经释放，使MDS进行相应的回收处理。

可选的，若缓存集合内的缓存没有清除成功，则可以控制MDS向该缓存集合进行再次检索，确定该缓存集合中缓存的数目，向客户端再次发送缓存释放请求。

可选的，在客户端根据栈算法将缓存集合中当前不使用节点的缓存清除后,还可以根据改缓存集合中各节点的使用信息，每隔预定时间间隔对MDS内预设的最大缓存数的数值进行更改，实时根据各节点的情况来更正该最大换存数的数值，使对缓存集合内缓存进行更为有效地管理。

可选的，可以通过根据栈算法确定缓存集合中的所有当前不使用节点后，在将确定的所有当前不使用节点内的缓存全部清除的方法，来将缓存集合中当前不使用节点的缓存清除。

可选的，用来确定缓存集合中所有当前不使用节点的栈算法可以是LRU算法，即近期最少使用算法。

基于上述技术方案，本发明实施例提供的分布式文件系统缓存管理方法，元数据服务器MDS对缓存集合进行检索，确定该缓存集合中缓存的数目，然后判断该缓存集合中缓存的数目是否大于预设的最大缓存数，若大于，则向客户端发送缓存释放请求，客户端在接收到缓存释放请求后，根据栈算法将缓存集合中当前不使用节点的缓存清除。由MDS对缓存集合进行检索，确定缓存集合内缓存的数据，并在判定缓存集合内缓存数目过多而超过最大缓存数时，向客户端发送缓存释放请求，告知客户端缓存集合内的缓存数目已经超过最大缓存数，使客户端得知系统对缓存资源的使用情况，并针对当前缓存资源的使用情况做出响应，根据栈算法将缓存集合中当前不使用节点的缓存进行清除，实现对缓存集合内缓存的有效管理。

可选的，图2示出了本发明实施提供的分布式文件系统缓存管理方法中根据栈算法将缓存集合中当前不使用节点的缓存清除的方法流程图，参照图2，该根据栈算法将缓存集合中当前不使用节点的缓存清除的方法可以包括：

步骤S200：根据所述栈算法确定所述缓存集合中的所有当前不使用节点；

根据栈算法可找到存集合中的所有当前不使用节点，即可找到在客户端接收到缓存释放请求这一时间点前的某段预定时间段内，一直未被使用的节点。

可选的，用来确定缓存集合中所有当前不使用节点的栈算法可以是LRU(LeastRecentlyUsed，近期最少使用)算法，其中，LRU算法是一种为虚拟页式存储管理服务的页面置换算法。

步骤S210：将所述所有当前不使用节点内的缓存全部清除。

在根据栈算法确定缓存集合中的所有当前不使用节点后，将所有确定的当前不使用节点内的缓存全部清除，即可完成对缓存集合内缓存的释放，使缓存集合可再次存储缓存还不影响到系统的工作性能。

可选的，图3示出了本发明实施提供的分布式文件系统缓存管理方法中设置最大缓存数的方法流程图，参照图3，该设置最大缓存数的方法可以包括：

步骤S300：判断所述MDS中是否存在预设最大缓存数；

在不确定MDS内是否设置有预设最大缓存数，或是不确定MDS内预设最大缓存数是否可用时，可在判断换存集合内缓存的数目是否大于预设的最大缓存数前，先判断该MDS中是否存在预设最大缓存数，当确定MDS内设置有预设最大缓存数，且MDS内预设最大缓存数可用时，可判定该MDS中存在预设最大缓存数。

步骤S310：若不存在，则对所述MDS设置最大缓存数。

若该MDS中不存在预设最大缓存数，则说明该MDS中还未设置最大缓存数，或该MDS内设置的最大缓存数丢失或损坏，需要对该MDS设置最大缓存数，将该设置的最大缓存数作为用来进行判断的预设最大缓存数；若该MDS中存在预设最大缓存数，则不需要再在MDS中再设置最大缓存数。

可选的，MDS内最大缓存数的数字可根据集群节点的硬件配置和软件使用状况等情况来配置。

可选的，在客户端根据栈算法将缓存集合中当前不使用节点的缓存清除后,还可以根据改缓存集合中各节点的使用信息，每隔预定时间间隔对MDS内预设的最大缓存数的数值进行更改，实时根据各节点的情况来更正该最大换存数的数值，使对缓存集合内缓存进行更为有效地管理。

本发明实施提供的分布式文件系统缓存管理方法，由MDS对缓存集合进行检索，确定缓存集合内缓存的数据，并在判定缓存集合内缓存数目过多而超过最大缓存数时，向客户端发送缓存释放请求，告知客户端缓存集合内的缓存数目已经超过最大缓存数，使客户端得知系统对缓存资源的使用情况，并针对当前缓存资源的使用情况做出响应，根据栈算法将缓存集合中当前不使用节点的缓存进行清除，实现对缓存集合内缓存的有效管理。

下面对本发明实施例提供的分布式文件系统缓存管理系统进行介绍，下文描述的文件系统缓存管理系统与上文描述的文件系统缓存管理系统可相互对应参照。

图4为本发明实施提供的分布式文件系统缓存管理系统的系统框图，参照图4，该分布式文件系统缓存管理系统可以包括：MDS100和客户端200；其中，

MDS100，用于对缓存集合进行检索，确定所述缓存集合中缓存的数目；判断所述缓存的数目是否大于预设的最大缓存数，若大于，则向客户端发送缓存释放请求；

客户端200，用于接收到所述缓存释放请求后，根据栈算法将所述缓存集合中当前不使用节点的缓存清除。

可选的，图5示出了本发明实施提供的分布式文件系统缓存管理系统中的MDS100的系统框图，参照图5，该MDS100可以包括：检索模块110和第一判断模块120；其中，

检索模块110，用于对缓存集合进行检索，确定所述缓存集合中缓存的数目；

第一判断模块120，用于判断所述缓存的数目是否大于预设的最大缓存数，若大于，则向客户端发送缓存释放请求；

可选的，参照图5，该MDS100还包括：第二判断模块130；其中，

第二判断模块130，用于判断MDS100中是否存在预设的最大缓存数；若不存在，则对MDS100设置最大缓存数。

可选的，图6示出了本发明实施提供的分布式文件系统缓存管理系统中的客户端200的系统框图，参照图6，该客户端200可以包括：缓存清除模块210；其中，

缓存清除模块210，用于接收到所述缓存释放请求后，根据栈算法将所述缓存集合中当前不使用节点的缓存清除。

可选的，参照图6，该客户端200还包括：反馈模块220；其中，

反馈模块220，用于向MDS100发送缓存释放反馈信息。。

可选的，图7示出了本发明实施提供的分布式文件系统缓存管理系统中的缓存清除模块210的系统框图，参照图7，该缓存清除模块210可以包括：计算单元211和清除单元212；其中，

计算单元211，用于根据所述栈算法确定所述缓存集合中的所有当前不使用节点；

清除单元212，用于将所述所有当前不使用节点内的缓存全部清除。

本发明实施提供的分布式文件系统缓存管理系统，由MDS对缓存集合进行检索，确定缓存集合内缓存的数据，并在判定缓存集合内缓存数目过多而超过最大缓存数时，向客户端发送缓存释放请求，告知客户端缓存集合内的缓存数目已经超过最大缓存数，使客户端得知系统对缓存资源的使用情况，并针对当前缓存资源的使用情况做出响应，根据栈算法将缓存集合中当前不使用节点的缓存进行清除，实现对缓存集合内缓存的有效管理

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种分布式文件系统缓存管理方法，其特征在于，包括：

元数据服务器MDS对缓存集合进行检索，确定所述缓存集合中缓存的数目；

判断所述缓存的数目是否大于预设最大缓存数，若大于，则向客户端发送缓存释放请求；

所述客户端接收到所述缓存释放请求后，根据栈算法将所述缓存集合中当前不使用节点的缓存清除。

2.根据权利要求1所述的分布式文件系统缓存管理方法，其特征在于，所述根据栈算法将所述缓存集合中当前不使用节点的缓存清除后还包括：所述客户端向所述MDS发送缓存释放反馈信息。

3.根据权利要求1所述的分布式文件系统缓存管理方法，其特征在于，所述根据栈算法将所述缓存集合中当前不使用节点的缓存清除后还包括：根据所述缓存集合中各节点的使用信息，每隔预定时间间隔对所述预设最大缓存数的数值进行更改。

4.根据权利要求1所述的分布式文件系统缓存管理方法，其特征在于，所述根据栈算法将所述缓存集合中当前不使用节点的缓存清除包括：

根据所述栈算法确定所述缓存集合中的所有当前不使用节点；

将所述所有当前不使用节点内的缓存全部清除。

5.根据权利要求1所述的分布式文件系统缓存管理方法，其特征在于，所述判断所述缓存的数目是否大于预设的最大缓存数前还包括：

判断所述MDS中是否存在预设最大缓存数；

若不存在，则对所述MDS设置最大缓存数，将所述最大缓存数作为所述预设最大缓存数。

6.根据权利要求1所述的分布式文件系统缓存管理方法，其特征在于，所述栈算法为近期最少使用LRU算法。

7.一种分布式文件系统缓存管理系统，其特征在于，包括：MDS和客户端；其中，

所述MDS，用于对缓存集合进行检索，确定所述缓存集合中缓存的数目；判断所述缓存的数目是否大于预设的最大缓存数，若大于，则向客户端发送缓存释放请求；

所述客户端，用于接收到所述缓存释放请求后，根据栈算法将所述缓存集合中当前不使用节点的缓存清除。

8.根据权利要求7所述的分布式文件系统缓存管理系统，其特征在于，

所述MDS包括：检索模块和第一判断模块；其中，

所述检索模块，用于对缓存集合进行检索，确定所述缓存集合中缓存的数目；

所述第一判断模块，用于判断所述缓存的数目是否大于预设的最大缓存数，若大于，则向客户端发送缓存释放请求；

所述MDS还包括：第二判断模块，用于判断所述MDS中是否存在预设的最大缓存数；若不存在，则对所述MDS设置最大缓存数。

9.根据权利要求7所述的分布式文件系统缓存管理系统，其特征在于，

所述客户端包括：缓存清除模块，用于接收到所述缓存释放请求后，根据栈算法将所述缓存集合中当前不使用节点的缓存清除；

所述客户端还包括：反馈模块，用于向所述MDS发送缓存释放反馈信息。

10.根据权利要求9所述的分布式文件系统缓存管理系统，其特征在于，所述缓存清除模块包括：计算单元和清除单元；其中，

所述计算单元，用于根据所述栈算法确定所述缓存集合中的所有当前不使用节点；

所述清除单元，用于将所述所有当前不使用节点内的缓存全部清除。