CN105653684B

CN105653684B - 分布式文件系统的预读方法和装置

Info

Publication number: CN105653684B
Application number: CN201511020316.8A
Authority: CN
Inventors: 袁清波
Original assignee: Shuguang Cloud Computing Group Co Ltd; Dawning Information Industry Beijing Co Ltd; Dawning Information Industry Co Ltd
Current assignee: Shuguang Information Industry Co., Ltd; Dawning Information Industry Beijing Co Ltd
Priority date: 2015-12-29
Filing date: 2015-12-29
Publication date: 2020-03-03
Anticipated expiration: 2035-12-29
Also published as: CN105653684A

Abstract

本发明公开了一种分布式文件系统的预读方法和装置，该方法包括：在客户端接收到对目标数据的读请求后，客户端判断服务端缓存的对应读请求的数据量是否满足第一预定最优缓存量；在服务端缓存的对应读请求的数据量不满足第一预定最优缓存量的情况下，客户端向服务端发起第一预读请求；客户端在客户端缓存中查找对应读请求的目标数据，在查找到目标数据的情况下，从客户端缓存中读取目标数据；客户端判断客户端缓存的对应读请求的数据量是否满足第二预定最优缓存量；在客户端缓存的对应读请求的数据量不满足第二预定最优缓存量的情况下，客户端向服务端发起异步预读请求。

Description

分布式文件系统的预读方法和装置

技术领域

本发明涉及分布式文件系统领域，具体来说，涉及一种分布式文件系统的预读方法和装置。

背景技术

文件系统最初是用来管理本地磁盘，提供用户访问接口。某些数据的集合叫做一个“文件”，并赋予每一个文件一定的属性以标识该数据集合的某些属性。文件按照树结构层次进行管理和检索。分布式文件系统向用户提供和本地文件系统相同的访问接口，却可以让用户访问和管理远程的数据。分布式文件系统中的应用可能来自很多不同的节点，它所管理的数据也可能存储在不同的节点上，同时系统中可能存在多个提供元数据操作的元数据服务器，这些都视具体实现而定。分布式文件系统中有很多设计和实现与本地文件系统存在巨大的差别，也是巨大的挑战，这主要是数据、管理的物理分布和逻辑分布造成的。

常见的Linux VFS文件系统提供读写缓存机制，其预读算法的具体过程是这样的：对于每个文件的第一个读请求，系统读入所请求的页面并读入紧随其后的少数几个页面(不少于一个页面，通常是三个页面)，这时的预读称为同步预读。对于第二次读请求，如果所读页面不在缓存(Cache)中，即不在前次预读的组(group)中，则表明文件访问不是顺序访问，系统继续采用同步预读；如果所读页面在Cache中，则表明前次预读命中，操作系统把预读group扩大一倍，并让底层文件系统读入group中剩下尚不在Cache中的文件数据块，这时的预读称为异步预读。无论第二次读请求是否命中，系统都要更新当前预读group的大小。此外，系统中定义了一个window，它包括前一次预读的group和本次预读的group。任何接下来的读请求都会处于两种情况之一：第一种情况是所请求的页面处于预读window中，这时继续进行异步预读并更新相应的window和group；第二种情况是所请求的页面处于预读window之外，这时系统就要进行同步预读并重置相应的window和group。

Linux内核中文件Cache替换的具体过程是这样的：刚刚分配的Cache项链入到inactive_list头部，并将其状态设置为active，当内存不够需要回收Cache时，系统首先从尾部开始反向扫描active_list并将状态不是referenced的项链入到inactive_list的头部，然后系统反向扫描inactive_list，如果所扫描的项的处于合适的状态就回收该项，直到回收了足够数目的Cache项。

分布式文件系统客户端读取的数据需要经过网络从服务端获取，这时需要的数据可能不在服务端的缓存中，那么就需要从磁盘中读出，而磁盘是延迟非常大的慢速设备，等待时间比较长。对于延迟敏感性应用，这种等待往往无法忍受。而类似Linux文件系统的预读算法，只会根据用户请求的数据从后端取出一部分数据，当系统压力大的时候不可避免地需要等待后端从磁盘上读出数据，这大大延长了用户的读时间。

针对相关技术中的上述问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的上述问题，本发明提出一种分布式文件系统的预读方法和装置，能够抵抗网络带来的抖动，缩短用户读取数据的时间。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种分布式文件系统的预读方法。

该预读方法包括：

在客户端接收到对目标数据的读请求后，客户端判断服务端缓存的对应读请求的数据量是否满足第一预定最优缓存量；

在服务端缓存的对应读请求的数据量不满足第一预定最优缓存量的情况下，客户端向服务端发起第一预读请求；

客户端在客户端缓存中查找对应读请求的目标数据，在查找到目标数据的情况下，从客户端缓存中读取目标数据；

客户端判断客户端缓存的对应读请求的数据量是否满足第二预定最优缓存量；

在客户端缓存的对应读请求的数据量不满足第二预定最优缓存量的情况下，客户端向服务端发起异步预读请求。

其中，在服务端缓存的对应读请求的数据量不满足第一预定最优缓存量的情况下，客户端向服务端发起第一预读请求时，客户端可通过服务端提供的预读接口发出以服务端缓存的数据量的尾地址为首地址，并按照第一预读长度的预读量的第一预读请求；

服务端响应第一预读请求，从磁盘读入数据至服务端缓存；

客户端更新服务端缓存的数据量的尾地址。

此外，该预读方法进一步包括：

在客户端在客户端缓存中未查找对应读请求的目标数据的情况下，所述客户端向所述服务端发起同步预读请求并等待数据的返回。

另外，在客户端缓存的对应读请求的数据量不满足第二预定最优缓存量的情况下，客户端向服务端发起异步预读请求时，客户端可向服务端发起以客户端缓存的数据量的尾地址为首地址，并按照第二预读长度的预读量的第二预读请求；

服务端响应第二预读请求，从服务端缓存中读取对应第二预读请求的数据并发送至客户端缓存；

客户端更新客户端缓存的数据量的尾地址。

根据本发明的另一方面，提供了一种分布式文件系统的预读装置。

该预读装置包括：

第一判断模块，用于在客户端接收到对目标数据的读请求后，判断服务端缓存的对应读请求的数据量是否满足第一预定最优缓存量；

第一预读模块，用于在服务端缓存的对应读请求的数据量不满足第一预定最优缓存量的情况下，向服务端发起第一预读请求；

读取模块，用于在客户端缓存中查找对应读请求的目标数据，在查找到目标数据的情况下，从客户端缓存中读取目标数据；

第二判断模块，用于判断客户端缓存的对应读请求的数据量是否满足第二预定最优缓存量；

异步预读模块，用于在客户端缓存的对应读请求的数据量不满足第二预定最优缓存量的情况下，向服务端发起异步预读请求。

其中，第一预读模块包括：

第一预读请求模块，用于通过服务端提供的预读接口发出以服务端缓存的数据量的尾地址为首地址，并按照第一预读长度的预读量的第一预读请求；

第一响应读取模块，用于响应第一预读请求，从磁盘读入数据至服务端缓存；

第一更新模块，用于更新服务端缓存的数据量的尾地址。

此外，该预读装置进一步包括：

同步预读模块，用于在客户端缓存中未查找对应读请求的目标数据的情况下，向服务端发起同步预读请求并等待数据的返回。

另外，异步预读模块包括：

第二预读模块，用于向服务端发起以客户端缓存的数据量的尾地址为首地址，并按照第二预读长度的预读量的第二预读请求；

第二响应读取模块，用于响应第二预读请求，从服务端缓存中读取对应第二预读请求的数据并发送至客户端缓存；

第二更新模块，用于更新客户端缓存的数据量的尾地址。

本发明通过两级预读使客户端和服务端都缓存一定数量的数据，使得客户端缓存可以抵抗网络带来的抖动，特别是在压力大时，网络延迟比较长时，通过在客户端缓存大量的数据使得应用程序在一定范围内不受影响，缩短用户读取数据的时间。另一方面，服务端缓存的数据可以抵御磁盘带来的抖动，对于个别延迟大的访问磁盘操作也不会影响客户端的访问。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的分布式文件系统的预读方法的流程图；

图2是根据本发明另一实施例的分布式文件系统的预读方法的流程图；

图3是根据本发明实施例的两级预读方法的流程图；

图4是根据本发明实施例的分布式文件系统的预读装置的框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的实施例，提供了一种分布式文件系统的预读方法。

如图1所示，根据本发明实施例的预读方法包括：

步骤S101，在客户端接收到对目标数据的读请求后，客户端判断服务端缓存的对应读请求的数据量是否满足第一预定最优缓存量；

步骤S103，在服务端缓存的对应读请求的数据量不满足第一预定最优缓存量的情况下，客户端向服务端发起第一预读请求；

步骤S105，客户端在客户端缓存中查找对应读请求的目标数据，在查找到目标数据的情况下，从客户端缓存中读取目标数据；

步骤S107，客户端判断客户端缓存的对应读请求的数据量是否满足第二预定最优缓存量；

步骤S109，在客户端缓存的对应读请求的数据量不满足第二预定最优缓存量的情况下，客户端向服务端发起异步预读请求。

为了更好的理解本发明的上述实施例，下面结合图2和图3来对本发明的上述技术方案进行详细阐述。

本发明采用客户端和服务端两级相配合的预读机制，不同于传统的各自预读各自的方式，这里的两级预读是协同工作的。其中，服务端提供预读接口，客户端在合适的时候通过调用这个接口来指挥服务端预读磁盘上的数据到对应的服务端的页高速缓冲存储器(page cache)中，这些数据当时并不需要传输到客户端，之后应用发出真实读操作时才由客户端通过正常的读接口获取数据。由于这些数据已经提前进入服务端的page cache，所以响应时间非常快。

从应用程序发出读操作直到磁盘的整个流程如图2所示，客户端在收到读请求后查询客户端的page cache是否命中，如果命中直接读取即可，如果不命中则通过网络向服务端发出一次预读，这次预读的量可能超过本次应用所实际需要的量；服务端收到客户端发来的读操作后查询服务端的page cache是否命中，如果命中直接读取，否则从磁盘读入服务端page cache再返回给客户端；客户端收到数据后放入自己的客户端page cache再拷贝到应用程序对应的内存中，整个读流程结束。

本发明提出了一种两级预读机制来优化上述标准流程，使得整个读过程健壮性更好，可以抵抗较大幅度的抖动，无论是网络还是磁盘的在一定范围内的故障都可以平滑掉，使得应用程序能以平稳的速度从存储系统中读出数据。如图3所示，本发明采取两个可定制的buffer来实现两级预读：ra buffer(即第二预定最优缓存量)和dra buffer(即第一预定最优缓存量)，本发明中page cache表示所有的buffer集合，提到buffer则指的是具体某个文件的缓存。下一次需要预读的偏移分别用ra offset(已缓存数据的尾地址)和draoffset(已缓存数据的尾地址)表示，两者减去应用当前的offset可以达到各自已经缓存的数据量。这个量达到buffer大小时停止各自的预读，考虑到各自的压力情况，各个层次的预读都不能一次发出很多，所以两个buffer是缓慢平滑地变大的，经过一定时间buffer会被数据填充满。随着应用不断读取这个buffer的数量不断减少，这会触发两级预读不断进行，从而达到一种平衡。本发明处理流程如下：

1)应用程序发出位置为offset、长度为len的读请求；

2)判断dra_offset-offset是否大于等于第一预定最优缓存量dra_buffer

a)如果是表示服务端缓存充足，继续下阶段流程；

b)否则，通过服务端提供的预读接口发出从dra_offset(即服务端缓存的数据量的尾地址)开始的预读(即第一预读请求)，预读量是固定的dra_size(即第一预读长度)；

c)服务端告知客户端收到第一预读请求并响应，将数据从磁盘读入服务端pagecache；

d)由于客户端不需要等待实际的读过程，所以很快可以完成进入下阶段流程；

e)客户端修正服务端缓存的数据量的尾地址dra_offset为dra_offset+dra_size；

3)客户端遍历offset开始的每一个页面，如果不在客户端的page cache中，则发出从offset开始的同步预读请求，数据量为ra_size(即第二预读长度)并等待数据的返回；

4)如果在客户端的page cache中，则从page cache中读取目标数据并拷贝到用户空间中，同时判断客户端缓存的对应读请求的数据量ra_offset-offset是否大于第二预定最优缓存量ra_buffer；

a)如果是表示客户端缓存充足；

b)否则，向服务端发出从ra_offset(即客户端缓存的数据量的尾地址)开始的，并按照第二预读长度ra_size的预读量的第二预读请求，服务端响应第二预读请求，从服务端缓存中读取对应第二预读请求的数据并最终放入客户端的page cache中；

c)客户端修正客户端缓存的数据量的尾地址ra_offset为ra_offset+ra_size；

5)以上过程需要确保dra_offset永远大于等于ra_offset。

借助于本发明的上述技术方案能够在客户端接收到对目标数据的读请求后，客户端判断服务端缓存的本文件的数据量是否足够，如果不够发起服务端预读请求；然后在客户端缓存中查找是否存在请求的数据，如果不存在，则发起客户端的同步预读请求并等待返回；本次请求的数据都在客户端缓存中后判断客户端缓存针对本文件的缓存量是否足够，如果不够，发起客户端的异步预读请求，这个请求发出去即可，不必等待；最后将客户端缓存中的数据拷贝到用户内存中，读请求结束。

根据本发明的实施例，还提供了一种分布式文件系统的预读装置。

如图4所示，根据本发明实施例的预读装置包括：

第一判断模块41，用于在客户端接收到对目标数据的读请求后，判断服务端缓存的对应读请求的数据量是否满足第一预定最优缓存量；

第一预读模块42，用于在服务端缓存的对应读请求的数据量不满足第一预定最优缓存量的情况下，向服务端发起第一预读请求；

读取模块43，用于在客户端缓存中查找对应读请求的目标数据，在查找到目标数据的情况下，从客户端缓存中读取目标数据；

第二判断模块44，用于判断客户端缓存的对应读请求的数据量是否满足第二预定最优缓存量；

异步预读模块45，用于在客户端缓存的对应读请求的数据量不满足第二预定最优缓存量的情况下，向服务端发起异步预读请求。

其中，在一个实施例中，根据本发明实施例的第一预读模块42包括：

第一预读请求模块(未示出)，用于通过服务端提供的预读接口发出以服务端缓存的数据量的尾地址为首地址，并按照第一预读长度的预读量的第一预读请求；

第一响应读取模块(未示出)，用于响应第一预读请求，从磁盘读入数据至服务端缓存；

第一更新模块(未示出)，用于更新服务端缓存的数据量的尾地址。

此外，在一个实施例中，根据本发明实施例的预读装置进一步包括：

同步预读模块(未示出)，用于在客户端缓存中未查找对应读请求的目标数据的情况下，向服务端发起同步预读请求并等待数据的返回。

另外，在一个实施例中，根据本发明实施的异步预读模块45包括：

第二预读模块(未示出)，用于向服务端发起以客户端缓存的数据量的尾地址为首地址，并按照第二预读长度的预读量的第二预读请求；

第二响应读取模块(未示出)，用于响应第二预读请求，从服务端缓存中读取对应第二预读请求的数据并发送至客户端缓存；

第二更新模块(未示出)，用于更新客户端缓存的数据量的尾地址。

综上所述，借助于本发明的上述技术方案，通过两级联动预取机制，确保每次读操作不访问磁盘，并通过动态调整预读的数据量，大大提高了应用读取的稳定性。并且通过两级预读，客户端和服务端都缓存了一定数量的数据，客户端缓存马上要使用的数据，服务端缓存将来要使用的数据。这样，客户端缓存可以抵抗网络带来的抖动，特别是在压力大时，网络延迟有时候会比较长，通过缓存大量的数据使得应用程序在一定范围内不受影响。另一方面，服务端缓存的数据可以抵御磁盘带来的抖动，对于个别延迟大的访问磁盘操作也不会影响客户端的访问。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种分布式文件系统的预读方法，其特征在于，包括：

在客户端接收到对目标数据的读请求后，客户端判断服务端缓存的对应所述读请求的数据量是否满足第一预定最优缓存量；

在所述服务端缓存的对应所述读请求的数据量不满足所述第一预定最优缓存量的情况下，所述客户端向所述服务端发起第一预读请求；

所述客户端在客户端缓存中查找对应所述读请求的目标数据，在查找到所述目标数据的情况下，从所述客户端缓存中读取所述目标数据；

所述客户端判断客户端缓存的对应所述读请求的数据量是否满足第二预定最优缓存量；

在客户端缓存的对应所述读请求的数据量不满足所述第二预定最优缓存量的情况下，所述客户端向所述服务端发起异步预读请求；

其中，在客户端缓存的对应所述读请求的数据量不满足所述第二预定最优缓存量的情况下，所述客户端向所述服务端发起异步预读请求包括：

所述客户端向所述服务端发起以所述客户端缓存的数据量的尾地址为首地址，并按照第二预读长度的预读量的第二预读请求；

所述服务端响应所述第二预读请求，从服务端缓存中读取对应所述第二预读请求的数据并发送至所述客户端缓存；

所述客户端更新所述客户端缓存的数据量的尾地址。

2.根据权利要求1所述的预读方法，其特征在于，在所述服务端缓存的对应所述读请求的数据量不满足所述第一预定最优缓存量的情况下，所述客户端向所述服务端发起第一预读请求包括：

所述客户端通过所述服务端提供的预读接口发出以所述服务端缓存的数据量的尾地址为首地址，并按照第一预读长度的预读量的第一预读请求；

所述服务端响应所述第一预读请求，从磁盘读入数据至服务端缓存；

所述客户端更新所述服务端缓存的数据量的尾地址。

3.根据权利要求1所述的预读方法，其特征在于，进一步包括：

在所述客户端在客户端缓存中未查找对应所述读请求的目标数据的情况下，所述客户端向所述服务端发起同步预读请求并等待数据的返回。

4.一种分布式文件系统的预读装置，其特征在于，包括：

第一判断模块，用于在客户端接收到对目标数据的读请求后，判断服务端缓存的对应所述读请求的数据量是否满足第一预定最优缓存量；

第一预读模块，用于在所述服务端缓存的对应所述读请求的数据量不满足所述第一预定最优缓存量的情况下，向所述服务端发起第一预读请求；

读取模块，用于在客户端缓存中查找对应所述读请求的目标数据，在查找到所述目标数据的情况下，从所述客户端缓存中读取所述目标数据；

第二判断模块，用于判断客户端缓存的对应所述读请求的数据量是否满足第二预定最优缓存量；

异步预读模块，用于在客户端缓存的对应所述读请求的数据量不满足所述第二预定最优缓存量的情况下，向所述服务端发起异步预读请求；

其中，所述异步预读模块包括：

第二预读模块，用于向所述服务端发起以所述客户端缓存的数据量的尾地址为首地址，并按照第二预读长度的预读量的第二预读请求；

第二响应读取模块，用于响应所述第二预读请求，从服务端缓存中读取对应所述第二预读请求的数据并发送至所述客户端缓存；

第二更新模块，用于更新所述客户端缓存的数据量的尾地址。

5.根据权利要求4所述的预读装置，其特征在于，所述第一预读模块包括：

第一预读请求模块，用于通过所述服务端提供的预读接口发出以所述服务端缓存的数据量的尾地址为首地址，并按照第一预读长度的预读量的第一预读请求；

第一响应读取模块，用于响应所述第一预读请求，从磁盘读入数据至服务端缓存；

第一更新模块，用于更新所述服务端缓存的数据量的尾地址。

6.根据权利要求4所述的预读装置，其特征在于，进一步包括：

同步预读模块，用于在客户端缓存中未查找对应所述读请求的目标数据的情况下，向所述服务端发起同步预读请求并等待数据的返回。