CN105701158A - 一种文件系统读写优化方法及框架 - Google Patents

Abstract

本申请公开了一种文件系统读写优化方法及框架，该方法包括：接收客户端发送的文件访问请求；判断文件访问请求的类型；当文件访问请求为文件读取请求，则在元数据模块上对文件读取请求中的所有读取请求进行并发响应，以通过元数据模块将文件读取请求中的所有读取请求并行发送至数据模块；并将数据模块对所有读取请求进行并行响应后得到的文件读取内容返回至客户端。本申请实现了在保证不发生文件访问冲突的前提下，提高文件系统整体的请求响应速度的目的。

Description

一种文件系统读写优化方法及框架

技术领域

本发明涉及文件系统存储技术领域，特别涉及一种文件系统读写优化方法及框架。

背景技术

在现有的分布式文件系统中，服务器端通常包括元数据模块和数据模块，向外界多个客户端提供服务。为了避免多客户端之间发生冲突，在接收到客户端发过来的所有请求后，元数据模块都需要用一把全局锁进行锁保护，此时元数据模块对所有请求均进行串发响应，也即，每次只能对一个请求(文件读取请求或文件写入请求)进行响应，这样虽然保证了多客户端在进行文件读写操作时不会发生读写冲突，但是，由于在元数据模块上每次只能对一个请求进行响应，显然会造成文件读写请求的响应速度较低，从而影响了文件系统整体的文件访问性能。

综上所述可以看出，如何在保证不发生文件访问冲突的前提下，提高文件系统整体的请求响应速度是目前亟待解决的问题。

发明内容

有鉴于此，本发明的目的在于提供一种文件系统读写优化方法及框架，实现了在保证不发生文件访问冲突的前提下，提高文件系统整体的请求响应速度的目的。其具体方案如下：

一种文件系统读写优化方法，应用于分布式文件系统；所述分布式文件系统包括元数据模块和数据模块；所述方法包括：

接收客户端发送的文件访问请求；

判断所述文件访问请求的类型；

当所述文件访问请求为文件读取请求，则在所述元数据模块上对所述文件读取请求中的所有读取请求进行并发响应，以通过所述元数据模块将所述文件读取请求中的所有读取请求并行发送至所述数据模块；并将所述数据模块对所述所有读取请求进行并行响应后得到的文件读取内容返回至所述客户端。

优选的，所述方法，还包括：

当所述文件访问请求为文件写入请求，则在所述元数据模块上对所述文件写入请求中的所有写入请求进行串发响应。

优选的，所述在所述元数据模块上对所述文件写入请求中的所有写入请求进行串发响应的过程，包括：

在所述元数据模块上添加全局锁，以通过所述元数据模块对所述文件写入请求中的所有写入请求进行串发响应。

优选的，所述在所述元数据模块上对所述文件读取请求中的所有读取请求进行并发响应的过程，包括：

在所述元数据模块上添加读写锁，以通过所述元数据模块对所述文件读取请求中的所有读取请求进行并发响应。

优选的，所述判断所述文件访问请求的类型的过程，包括：

提取所述文件访问请求中携带的接口字段标识，通过所述接口字段标识，判断所述文件访问请求的类型；其中，所述接口字段标识包括文件读取标识或文件写入标识。

本发明还公开了一种文件系统读写优化框架，应用于分布式文件系统；所述分布式文件系统包括元数据模块和数据模块；所述框架包括：

请求接收模块，用于接收客户端发送的文件访问请求；

类型判断模块，用于判断所述文件访问请求的类型；

并发响应控制模块，用于当所述文件访问请求为文件读取请求，则在所述元数据模块上对所述文件读取请求中的所有读取请求进行并发响应，以通过所述元数据模块将所述文件读取请求中的所有读取请求并行发送至所述数据模块；并将所述数据模块对所述所有读取请求进行并行响应后得到的文件读取内容返回至所述客户端。

优选的，所述框架，还包括：

串发响应控制模块，用于当所述文件访问请求为文件写入请求，则在所述元数据模块上对所述文件写入请求中的所有写入请求进行串发响应。

优选的，所述串发响应控制模块，具体用于在所述元数据模块上添加全局锁，以通过所述元数据模块对所述文件写入请求中的所有写入请求进行串发响应。

优选的，所述并发响应控制模块，具体用于在所述元数据模块上添加读写锁，以通过所述元数据模块对所述文件读取请求中的所有读取请求进行并发响应。

优选的，所述类型判断模块包括：

标识提取单元，用于提取所述文件访问请求中携带的接口字段标识；

类型判断单元，用于通过所述接口字段标识，判断所述文件访问请求的类型；其中，所述接口字段标识包括文件读取标识或文件写入标识。

本发明中，文件系统读写优化方法包括：接收客户端发送的文件访问请求；判断文件访问请求的类型；当文件访问请求为文件读取请求，则在元数据模块上对文件读取请求中的所有读取请求进行并发响应，以通过元数据模块将文件读取请求中的所有读取请求并行发送至数据模块；并将数据模块对所有读取请求进行并行响应后得到的文件读取内容返回至客户端。可见，本发明在元数据模块上对文件读取请求中的所有读取请求进行并发响应，而不是进行串发响应，这样，在元数据模块上可以对多个读取请求同时进行响应，从而大幅提升文件系统对文件读取请求的响应速度，进而提高了文件系统整体的请求响应速度，并且由于在对读取请求进行响应时，仅需要对文件系统中以保存的相应文件进行读取操作，而不会改变现有文件的内容，从而不会引起文件访问冲突，综上可知，本发明实现了在保证不发生文件访问冲突的前提下，提高文件系统整体的请求响应速度的目的。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例公开的一种文件系统读写优化方法流程图；

图2为本发明实施例公开的一种文件系统读写优化框架应用结构示意图；

图3为本发明实施例公开的一种具体的文件系统读写优化框架应用结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种文件系统读写优化方法，应用于分布式文件系统；分布式文件系统包括元数据模块和数据模块；参见图1所示，该方法包括：

步骤S11：接收客户端发送的文件访问请求；

步骤S12：判断文件访问请求的类型；

步骤S13：当文件访问请求为文件读取请求，则在元数据模块上对文件读取请求中的所有读取请求进行并发响应，以通过元数据模块将文件读取请求中的所有读取请求并行发送至数据模块；

步骤S14：将数据模块对所有读取请求进行并行响应后得到的文件读取内容返回至客户端。

本发明实施例中，文件系统读写优化方法包括：接收客户端发送的文件访问请求；判断文件访问请求的类型；当文件访问请求为文件读取请求，则在元数据模块上对文件读取请求中的所有读取请求进行并发响应，以通过元数据模块将文件读取请求中的所有读取请求并行发送至数据模块；并将数据模块对所有读取请求进行并行响应后得到的文件读取内容返回至客户端。

可见，本发明实施例在元数据模块上对文件读取请求中的所有读取请求进行并发响应，而不是进行串发响应，这样，在元数据模块上可以对多个读取请求同时进行响应，从而大幅提升文件系统对文件读取请求的响应速度，进而提高了文件系统整体的请求响应速度，并且由于在对读取请求进行响应时，仅需要对文件系统中以保存的相应文件进行读取操作，而不会改变现有文件的内容，从而不会引起文件访问冲突，综上可知，本发明实施例实现了在保证不发生文件访问冲突的前提下，提高文件系统整体的请求响应速度的目的。

本发明实施例公开了一种具体的文件系统读写优化方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：

可以理解的是，本实施例中的方法还包括：

步骤S15：当文件访问请求为文件写入请求，则在元数据模块上对文件写入请求中的所有写入请求进行串发响应。

其中，上述步骤S15具体可以包括：在元数据模块上添加全局锁，以通过元数据模块对文件写入请求中的所有写入请求进行串发响应。

另外，上一实施例步骤S13中，在元数据模块上对文件读取请求中的所有读取请求进行并发响应的过程，具体包括在元数据模块上添加读写锁，以通过元数据模块对文件读取请求中的所有读取请求进行并发响应。

进一步的，上一实施例步骤S12的具体过程包括：提取文件访问请求中携带的接口字段标识，通过接口字段标识，判断文件访问请求的类型；其中，接口字段标识包括文件读取标识或文件写入标识。

本发明实施例还公开了一种文件系统读写优化框架，应用于分布式文件系统；分布式文件系统包括元数据模块和数据模块；参见图2所示，上述框架包括：

请求接收模块21，用于接收客户端发送的文件访问请求；

类型判断模块22，用于判断文件访问请求的类型；

并发响应控制模块23，用于当文件访问请求为文件读取请求，则在元数据模块上对文件读取请求中的所有读取请求进行并发响应，以通过元数据模块将文件读取请求中的所有读取请求并行发送至数据模块；并将数据模块对所有读取请求进行并行响应后得到的文件读取内容返回至客户端。

其中，参见图3所示，本实施例中的框架还包括：串发响应控制模块24，用于当文件访问请求为文件写入请求，则在元数据模块上对文件写入请求中的所有写入请求进行串发响应。

其中，上述串发响应控制模块24，具体用于在元数据模块上添加全局锁，以通过元数据模块对文件写入请求中的所有写入请求进行串发响应。

另外，本实施例中的并发响应控制模块23，具体用于在元数据模块上添加读写锁，以通过元数据模块对文件读取请求中的所有读取请求进行并发响应。

进一步的，上述类型判断模块22具体包括标识提取单元221和类型判断单元222；其中，

标识提取单元221，用于提取文件访问请求中携带的接口字段标识；

类型判断单元222，用于通过接口字段标识，判断文件访问请求的类型；其中，接口字段标识包括文件读取标识或文件写入标识。

可见，本发明实施例在元数据模块上对文件读取请求中的所有读取请求进行并发响应，而不是进行串发响应，这样，在元数据模块上可以对多个读取请求同时进行响应，从而大幅提升文件系统对文件读取请求的响应速度，进而提高了文件系统整体的请求响应速度，并且由于在对读取请求进行响应时，仅需要对文件系统中以保存的相应文件进行读取操作，而不会改变现有文件的内容，从而不会引起文件访问冲突，综上可知，本发明实施例实现了在保证不发生文件访问冲突的前提下，提高文件系统整体的请求响应速度的目的。

最后，还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种文件系统读写优化方法及框架进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种文件系统读写优化方法，其特征在于，应用于分布式文件系统；所述分布式文件系统包括元数据模块和数据模块；所述方法包括：

接收客户端发送的文件访问请求；

判断所述文件访问请求的类型；

当所述文件访问请求为文件读取请求，则在所述元数据模块上对所述文件读取请求中的所有读取请求进行并发响应，以通过所述元数据模块将所述文件读取请求中的所有读取请求并行发送至所述数据模块；并将所述数据模块对所述所有读取请求进行并行响应后得到的文件读取内容返回至所述客户端。

2.根据权利要求1所述的文件系统读写优化方法，其特征在于，还包括：

当所述文件访问请求为文件写入请求，则在所述元数据模块上对所述文件写入请求中的所有写入请求进行串发响应。

3.根据权利要求2所述的文件系统读写优化方法，其特征在于，所述在所述元数据模块上对所述文件写入请求中的所有写入请求进行串发响应的过程，包括：

在所述元数据模块上添加全局锁，以通过所述元数据模块对所述文件写入请求中的所有写入请求进行串发响应。

4.根据权利要求1所述的文件系统读写优化方法，其特征在于，所述在所述元数据模块上对所述文件读取请求中的所有读取请求进行并发响应的过程，包括：

在所述元数据模块上添加读写锁，以通过所述元数据模块对所述文件读取请求中的所有读取请求进行并发响应。

5.根据权利要求1至4任一项所述的文件系统读写优化方法，其特征在于，所述判断所述文件访问请求的类型的过程，包括：

提取所述文件访问请求中携带的接口字段标识，通过所述接口字段标识，判断所述文件访问请求的类型；其中，所述接口字段标识包括文件读取标识或文件写入标识。

6.一种文件系统读写优化框架，其特征在于，应用于分布式文件系统；所述分布式文件系统包括元数据模块和数据模块；所述框架包括：

请求接收模块，用于接收客户端发送的文件访问请求；

类型判断模块，用于判断所述文件访问请求的类型；

并发响应控制模块，用于当所述文件访问请求为文件读取请求，则在所述元数据模块上对所述文件读取请求中的所有读取请求进行并发响应，以通过所述元数据模块将所述文件读取请求中的所有读取请求并行发送至所述数据模块；并将所述数据模块对所述所有读取请求进行并行响应后得到的文件读取内容返回至所述客户端。

7.根据权利要求6所述的文件系统读写优化框架，其特征在于，还包括：

串发响应控制模块，用于当所述文件访问请求为文件写入请求，则在所述元数据模块上对所述文件写入请求中的所有写入请求进行串发响应。

8.根据权利要求7所述的文件系统读写优化框架，其特征在于，所述串发响应控制模块，具体用于在所述元数据模块上添加全局锁，以通过所述元数据模块对所述文件写入请求中的所有写入请求进行串发响应。

9.根据权利要求6所述的文件系统读写优化框架，其特征在于，所述并发响应控制模块，具体用于在所述元数据模块上添加读写锁，以通过所述元数据模块对所述文件读取请求中的所有读取请求进行并发响应。

10.根据权利要求6至9任一项所述的文件系统读写优化框架，其特征在于，所述类型判断模块包括：

标识提取单元，用于提取所述文件访问请求中携带的接口字段标识；

类型判断单元，用于通过所述接口字段标识，判断所述文件访问请求的类型；其中，所述接口字段标识包括文件读取标识或文件写入标识。