CN110334073A - 一种元数据预取方法、装置、终端、服务器及存储介质 - Google Patents

Abstract

本申请提供一种元数据预取方法，所述方法包括：接收元数据访问请求，所述元数据包括至少一个目录项；基于所述访问请求，获取每个目录项的时间戳队列；基于所述每个目录项的时间戳队列的长度，确定与所述访问请求对应的热点目录项；将所述热点目录项发送至所述服务器，以使所述服务器基于所述热点目录项的属性信息，从与所述热点目录项对应的父目录分片和/或子目录分片中确定出目标目录分片，以及将所述目标目录分片中包括的至少一个目标目录项确定为与所述访问请求对应的预取对象；接收所述服务器发送的所述预取对象；对所述预取对象进行缓存。本申请以目录分片作为预取粒度，且考虑时间局部性和空间局部性，提升元数据的访问性能。

Description

一种元数据预取方法、装置、终端、服务器及存储介质

技术领域

本申请属于计算机技术领域，具体涉及一种元数据预取方法、装置、终端、服务器及存储介质。

背景技术

文件系统的数据分为元数据和数据。数据为普通文件中的实际数据，元数据是用来描述一个文件的特征的系统数据，主要指目录、目录项、文件的索引节点信息。在分布式文件系统中，在每次访问数据前需要先访问元数据，通过元数据找到要操作的文件数据存储在什么位置，然后根据这些信息访问数据，因此元数据访问性能差会导致整个文件系统的性能变差。

现有文件系统的预取算法一般是预取文件数据，而且通过空间局部性原理，预取位置相邻的数据来提高文件系统的吞吐量，比如，客户端接收到访问数据的请求，如果本地缓存中没有找到该数据，则将该数据请求发送至服务器，服务器将该数据以及与该数据位置邻近的数据一起读取出来返回给客户端。但现有预取方法的是基于空间局部性原理，没有考虑时间局部性，这样不能识别出热点数据，预取的效果并不好，且现有的预取是基于文件数据的预取，但对于高性能的固态盘，文件元数据的访问对系统性能造成的影响远远大于文件数据的访问对系统造成的影响。

发明内容

为了提升文件元数据的访问性能，从而提高分布式文件系统的整体性能，本申请提出一种元数据预取方法、装置、终端、服务器及存储介质。

一方面，本申请提出了一种元数据预取方法，所述方法包括：

接收元数据访问请求，所述元数据包括至少一个目录项；

基于所述访问请求，获取每个目录项的时间戳队列；

基于所述每个目录项的时间戳队列的长度，确定与所述访问请求对应的热点目录项；

将所述热点目录项发送至服务器，以使所述服务器基于所述热点目录项的属性信息，从与所述热点目录项对应的父目录分片和/或子目录分片中确定出目标目录分片，以及将所述目标目录分片中包括的至少一个目标目录项确定为与所述访问请求对应的预取对象；

接收所述服务器发送的所述预取对象；

对所述预取对象进行缓存。

另一方面，本申请提出了一种元数据预取方法，所述方法包括：

接收客户端发送的热点目录项，所述热点目录项由所述客户端基于元数据访问请求，并根据所述元数据包括的目录项的时间戳队列的长度确定出；

基于所述热点目录项的属性信息，从与所述热点目录项对应的父目录分片和/或子目录分片中确定出目标目录分片；

将所述目标目录分片中包括的至少一个目标目录项确定为与所述访问请求对应的预取对象；

将所述预取对象发送至所述客户端，以使所述客户端对所述预取对象进行缓存。

另一方面，本申请提出了一种元数据预取装置，所述装置包括：

访问请求接收模块，用于接收元数据访问请求，所述元数据包括至少一个目录项；

时间戳队列获取模块，用于基于所述访问请求，获取每个目录项的时间戳队列；

热点目录项确定模块，用于基于所述每个目录项的时间戳队列的长度，确定与所述访问请求对应的热点目录项；

热点目录项发送模块，用于将所述热点目录项发送至服务器，以使所述服务器基于所述热点目录项的属性信息，从与所述热点目录项对应的父目录分片和/或子目录分片中确定出目标目录分片，以及将所述目标目录分片中包括的至少一个目标目录项确定为与所述访问请求对应的预取对象；

预取对象接收模块，用于接收所述服务器发送的所述预取对象；

缓存模块，用于对所述预取对象进行缓存。

另一方面，本申请提出了一种原数据预取装置，所述装置包括：

热点目录项接收模块，用于接收客户端发送的热点目录项，所述热点目录项由所述客户端基于元数据访问请求，并根据所述元数据包括的目录项的时间戳队列的长度确定出；

目标目录分片确定模块，用于基于所述热点目录项的属性信息，从与所述热点目录项对应的父目录分片和/或子目录分片中确定出目标目录分片；

预取对象确定模块，用于将所述目标目录分片中包括的至少一个目标目录项确定为与所述访问请求对应的预取对象；

预取对象发送模块，用于将所述预取对象发送至所述客户端，以使所述客户端对所述预取对象进行缓存。

另一方面，本申请提出了一种终端，所述终端包括：处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述所述的元数据预取方法。

另一方面，本申请提出了一种服务器，所述服务器包括：处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述所述的元数据预取方法。

另一方面，本申请提出了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述所述的元数据预取方法。

本申请提出的一种元数据预取方法、装置、终端、服务器及存储介质，通过客户端获取元数据中的每个目录项的时间戳队列，基于该时间戳队列的长度，确定出热点目录项，实现了基于时间局部性的热点目录项的识别，接着客户端将热点目录项发送给服务器，由服务器根据热点目录项的属性信息，比如类型，从与热点目录项对应的父目录分片和/或子目录分片中确定出目标目录分片，并将所述目标目录分片中包括的至少一个目标目录项确定为与所述访问请求对应的预取对象，实现了通过空间局部性预取元数据且以目录分片作为元数据预取粒度。综上，本申请以目录分片作为元数据的预取粒度，且充分考虑时间局部性和空间局部性，能够有效提高文件元数据的访问性能，从而提高分布式文件系统的整体性能。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本申请实施例提供的一种元数据预取系统的示意图。

图2是本申请实施例提供的一种元数据预取系统的架构图。

图3是本申请实施例提供的一种元数据预取方法的流程示意图。

图4是本申请实施例提供的一种客户端基于所述访问请求，获取每个目录项的时间戳队列的流程示意图。

图5是本申请实施例提供的一种客户端基于所述每个目录项的时间戳队列的长度，确定与所述访问请求对应的热点目录项的流程示意图。

图6是本申请实施例提供的一种通过目录项统计单元识别热目录项的结构示意图。

图7是本申请实施例提供的目录、目录项和索引节点之间的关系示意图。

图8是本申请实施例提供的目录分片树的结构示意图。

图9是本申请实施例提供的一种根据热点目录项确定目标目录分片的一种结构示意图。

图10是本申请实施例提供的另一种根据热点目录项确定目标目录分片的结构示意图。

图11是本申请实施例提供的另一种元数据预取方法的流程示意图。

图12是本申请实施例提供的另一种元数据预取方法的流程示意图。

图13是本申请实施例提供的一种元数据预取装置的结构示意图。

图14是本申请实施例提供的另一种元数据预取装置的结构示意图。

图15是本申请实施例提供的一种服务器的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

请参阅图1，图1是本发明实施例提供的一种元数据预取系统的示意图，如图1所示，该元数据预取系统可以至少包括服务器01和客户端02，所述服务器01和客户端02通信连接，以通过网络实现服务器01和客户端02之间的数据传输。例如，所传输的数据包括热点目录项和元数据预取对象。

具体的，本说明书实施例中，客户端02可以包括智能手机、台式电脑、平板电脑、笔记本电脑、数字助理、智能可穿戴设备、车载、音箱、电视、机器人等类型的实体设备，也可以包括运行于实体设备中的软体，例如虚拟机等。具体地，所述客户端02可以用于接收用户触发的元数据访问请求，并响应该访问请求。

具体的，本说明书实施例中，所述服务器01可以包括一个独立运行的服务器，或者分布式服务器，或者由多个服务器组成的服务器集群。服务器01可以包括有网络通信单元、处理器和存储器等。具体地，所述服务器01可以用于对需要预取的对象进行预取。

本说明书实施例中，通过服务器01和客户端02的交互，客户端02将向服务器01发送元数据访问请求，进而由服务器01提供预取对象，将预取对象发送至客户端02，以使客户端02缓存该预取对象。

请参阅图2，图2所示为本申请实施例提供的一种元数据预取系统的架构图，所述元数据预取系统可以作为元数据预取方法的实施环境。如图2所示，该元数据预取系统的架构图可以至少包括：文件系统、客户端02和服务器01，所述服务器01又可以进一步包括元数据服务器集群(MDS)011和数据服务器集群(OSD)012。

本说明书实施例中，所述文件系统可以为分布式文件系统，具体地，其可以为Cephfs，Cephfs是一种使用Ceph存储集群来存储数据的文件系统，其中，Ceph是一种为提供优秀的性能、可靠性和可扩展性而设计的统一的、分布式存储系统。在实际应用中，Cephfs可以要求Ceph存储集群内至少包括一个MDS。

本说明书实施例中，所述客户端02中可以设置有缓存模块(Cache模块)、数据访问模块(OSDC模块)和元数据访问模块(MDSC模块)、预取模块(prefetch模块)，其中Cache模块可以用于对以前访问过的元数据信息进行缓存，包括目录、目录项和索引节点三种元数据信息，构建部分目录树，加快元数据访问，OSDC模块可以用于与OSD集群的通信，访问文件数据，MDSC模块可以用于与MDS集群通信，访问文件元数据，prefetch模块可以用于缓存预取MDS元数据服务器中的元数据，来提高元数据的访问请求。

在实际应用中，当Cephfs使用用户空间文件系统(Filesystem in Userspace，FUSE)进行用户态文件系统挂载时，系统的性能比较低，吞吐量不是很高，其中，FUSE是用于挂载某些网站空间到本地文件系统中的模块，是完全在用户态实现的文件系统。基于此，本说明书实施例提供了一种元数据预取方法，以此提升Cephfs元数据访问的性能。图3是本申请实施例提供的一种元数据预取方法的流程示意图，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图3所示，所述方法可以包括：

S301：客户端接收元数据访问请求，所述元数据包括至少一个目录项。

本说明书实施例中，当用户需要对元数据进行访问时，可以触发客户端以生成元数据访问请求，客户端在接收到用户触发的访问请求之后，便会进行后续识别热点目录项的操作。

本说明书实施例中，在分布式文件系统中，无论是客户端缓存还是服务器端缓存，其缓存管理的都是元数据目录项，目录项处于目录和索引节点之间，其中存储的是元数据信息，所以通过目录项可以很方便地找到元数据信息，因此，可以通过元数据目录项预取元数据信息。

S303：所述客户端基于所述访问请求，获取每个目录项的时间戳队列。

在一个可行的实施例中，如图4所示，所述客户端基于所述访问请求，获取每个目录项的时间戳队列，可以包括：

S401：所述客户端基于每个目录项的名称和所述目录项的存储地址信息，得到所述目录项的标识信息。

S403：所述客户端基于得到的每个目录项的标识信息，记录所述目录项创建的创建时间点以及被访问的多个访问时间点。

S405：所述客户端将每个目录项的创建时间点以及多个访问时间点按照时间的先后顺序进行排列，得到与所述目录项对应的时间戳队列。

在一个可行的实施例中，所述客户端在接收到访问请求之后，会进行热点目录项识别，为了识别出热点目录项，可以在客户端增加一个目录项统计系统，该目录项统计系统以目录项为统计单元，为了便于统计可以给每个目录项一个唯一的标识，由于全局命名空间中目录名可能存在重名问题，为了避免重名问题，提高统计准确率，可以使用目录项的名字和目录项对象的存储地址信息(比如内存地址)两者作为目录项的唯一标识，记为dtag，目录项统计系统中记录目录项创建和每次目录项被访问的时间戳。目录项统计系统为每一个目录项维护一条时间戳队列，队列把时间戳按照时间先后顺序进行排序，时间久的目录项在队列头，时间新的目录项在队列尾，通过某一时刻统计队列的长度，即可获得某一时间段内目录项的访问频率。

S305：所述客户端基于所述每个目录项的时间戳队列的长度，确定与所述访问请求对应的热点目录项。

在一个可行的实施例中，如图5所示，所述客户端基于所述每个目录项的时间戳队列的长度，确定与所述访问请求对应的热点目录项，可以包括：

S501：所述客户端比较每个目录项的时间戳队列的长度与第一阈值的大小。

S503：所述客户端将所述时间戳队列的长度大于所述第一阈值的目录项，确定为与所述访问请求对应的热点目录项。

在一个可行的实施例中，为了标识出某一时间段内的热点目录项，需要设定一个门限值，即第一阈值，比如10。在每次访问元数据，通过缓存查找目录项时，如果某一目录项的时间戳队列的长度达到这一门限值，就标识这个目录项为热点目录项，图6所示为通过目录项统计单元识别热目录项的结构示意图，其中，dtag0、dtag1、dtag2、dtag3……表示不同的目录项，time0表示该目录项创建时间点，time1表示该目录项第一次被访问的时间点，time2……表示该目录项第二次被访问的时间点……。

本说明书实施例中，分布式文件系统中的元数据可以包括目录、目录项和索引节点，其中，目录、目录项和索引节点之间的关系图可以如图7所示，从图7中可以看出，目录项是将目录和索引节点连接起来的中间点，因此以目录项为统计单元，可以视为将目录和索引节点一起进行统计，统计具有与一定的代表性，可信度较高，有利于提高热点目录项识别的准确性。

本说明书实施例中，以每个目录项的时间戳队列的长度确定与所述访问请求对应的热点目录项，充分考虑了时间局部性，实现了基于时间局部性的热点目录项的识别，不仅可以提高元数据预取效果，还可以使本申请的元数据预取方法应用于多种场景中。

S307：所述客户端将所述热点目录项发送至所述服务器。

本说明书实施例中，所述客户端在统计出热点目录项之后，可以将该热点目录项发送给服务器，以使服务器基于热点目录项进行元预取操作。其中，预取指的是预先读取的意思，即将可能被访问到的数据预先读取出来。

在一个可行的实施例中，为了提高预取的准确率和效率，可以采用目录分片作为元数据预取粒度。在Cephfs中，目录分片主要是用于在负载不均衡时，进行子树迁移的基本单元。元数据集群全局命名空间使用基于目录分片的树进行管理。图8所述为元数据集群中的目录分片树的结构示意图，A、B、C、D分别为目录分片树中的不同节点，00/2，表示标识(比如前缀等)为00的目录分片所占的比特位为2，01/2表示标识为01的目录分片所占的比特位为2，100/3表示标识为100的目录分片所占的比特位为3，101/3表示标识为101的目录分片所占的比特位为3，1100/4表示标识为1100的目录分片所占的比特位为4，1101/4表示标识为1101的目录分片所占的比特位为4，111/3表示标识为111的目录分片所占的比特位为3。其中，每个目录分片中均包括至少一个目录项。

在一个可行的实施例中，所述目录分片可以根据目录的存储容量来拆分而得到，将目录拆分为多个目录分片之后，在文件访问时，只需要缓存待访问文件所在目录分片的文件，这在一定程度上提高了文件系统的访问性能。比如，最开始的时候只有一个完整的目录A，如果这个目录A中文件存储容量达到一定阈值，比如超过10万个文件，则就会对该目录A进行拆分，将该目录A拆分为目录分片b和目录分片c，然后将原来的10万个文件按照一定的比例或根据实际情况划分到目录分片b和目录分片c中，比如将4万个文件划分到目录分片b中，将6万个文件划分到目录分片c，同时为目录分片b和目录分片c设置标识，比如目录分片b的标识为00，目录分片c的标识为01，依次类推，就会形成多个具有特定标识和比特位的目录分片。在实际应用中，为了便于查找每个目录项所在的目录分片，可以为每个目录片设置一个与其所处的目录分片相同的标识，比如可以将目录分片b中包含的4万个文件均设置00的标识，这样就可以根据每个目录项的标识，找到每个目录项所在的目录分片。

在一个可行的实施例中，目录分片还可以根据目录的访问热度进行拆分而得到，当检测到某个目录的热度较高，但是文件的存储容量还没有达到一定阈值时，也可以将该目录进行拆分，即目录拆分的条件是存储的文件数量达到一定阈值或者是目录文件访问热度较高，二者只要满足任何一个，都可以对目录进行拆分从而得到目录分片。

在一个可行的实施例中，考虑到如果同一个目录拆分的各个目录分片中，文件的数量相差很大，可能会造成某个目录分片热度过高，而其他目录分片热度较低的情况，也还是会对该目录分片中的文件的访问带来影响。为了避免这种情况，可以将目录A下的10万个文件通过Hash算法存储在各个目录分片中，或以轮询的方式分配，或预先计算好总文件量和分片数量，确定均分后各个目录分片中的文件的大概的数量，其中，Hash算法具有平均性的特性，能够保证各个目录分片中的文件数量大致相等。

因为以整个目录作为预取目标，预取的内容会比较多，预取粒度会比较大，而以某个目录相互周边的几个作为目标，预取的内容会比较少，预取粒度会比较小，因此，本说明书实施例中，选择目录分片作为预取粒度，相比于以整个目录作为预取目标以及以某个目录项周边的几个作为目标，预取粒度比较适中，预取效率和准确率均较高。

S309：所述服务器基于所述热点目录项的属性信息，从与所述热点目录项对应的父目录分片和/或子目录分片中确定出目标目录分片。

本说明书实施例中，文件系统中的元数据主要分为文件元数据和目录元数据，因此可以根据识别出的热点目录项的属性信息，比如类型信息等，通过不同的方式来预取对象。

在一个可行的实施例中，当热点目录项指代的是文件时，需要找出此文件所在上层父目录分片，该上层父目录分片即为所要预取的目标目录分片。如图9所示，图9所示中的/usr/1表示文件1，/usr/2表示文件2，/usr/3表示文件3，/usr/4表示文件4……/usr/12表示文件12，/usr/13表示文件13。如果/usr/13是热点目录项，则查找与/usr/13对应的上层父目录项，并将该上层父目录分片确定为需要预取的目标目录分片。

具体地，所述服务器基于所述热点目录项的属性信息，从与所述热点目录项对应的父目录分片和/或子目录分片中确定出目标目录分片，可以包括：

当所述热点目录项表征的是文件元数据，则所述服务器确定所述热点目录项所在的热点目录分片。

在实际应用中，可以根据热点目录项的标识，找到与其具有相同标识的目录分片，该目录分片即为该热点目录项所在的目录分片。

所述服务器获取与所述热点目录分片对应的父目录分片，并将所述父目录分片确定为所述目标目录分片；其中，所述父目录分片中包括至少一个父目录项。

在一个可行的实施例中，当热点目录项指代的是子目录，即热点目录项为一个文件夹时，则不仅可以预取这个目录的上层父目录分片，还可以预取这个目录下的内容。如图10所示，图10中的/usr/local是热点目录项，则查找与/usr/local对应的上层父目录项和下层目录分片，并将该上层父目录分片和下层目录分片确定为所要预取的目标目录分片。

具体地，所述服务器基于所述热点目录项的属性信息，从与所述热点目录项对应的父目录分片和/或子目录分片中确定出目标目录分片，可以包括：

当所述热点目录项表征的是目录元数据，则所述服务器确定所述热点目录项所在的热点目录分片。

所述服务器获取与所述热点目录项对应的父目录分片和子目录分片，并将所述父目录分片和所述子目录分片确定为所述目标目录分片；其中，所述父目录分片中包括至少一个父目录项，所述子目录分片包括至少一个子目录项。

S3011：所述服务器将所述目标目录分片中包括的至少一个目标目录项确定为与所述访问请求对应的预取对象。

本说明书实施例中，当所述热点目录项表征的是文件元数据，则所述服务器将所述目标目录分片中包括的至少一个目标目录项确定为与所述访问请求对应的预取对象，包括：

所述服务器将所述至少一个父目录项确定为与所述访问请求对应的预取对象。

当所述热点目录项表征的是目录元数据，所述服务器将所述目标目录分片中包括的至少一个目标目录项确定为与所述访问请求对应的预取对象，包括：

所述服务器将所述至少一个父目录项和所述至少一个子目录项确定为与所述访问请求对应的预取对象。

在一个可行的实施例中，在预取子目录下的目录分片时，由于不知道其下目录分片的热度情况，为了尽量减少错误的预取操作所带来的开销，提高预取精度，可以预取容量值最小的子目录分片。

具体地，所述服务器获取与所述热点目录项对应的父目录分片和子目录分片，并将所述父目录分片和所述子目录分片确定为所述目标目录分片，包括：

所述服务器获取与所述热点目录项对应的父目录分片和多个子目录分片；

所述服务器比较每个子目录分片的容量值与第二阈值的大小；

所述服务器将所述父目录分片和所述容量值小于第二阈值的子目录分片确定为所述目标目录分片。

S3013：所述服务器将所述预取对象发送至所述客户端。

本说明书实施例中，所述服务器在得到预取对象之后，将该预取对象发送至客户端。

S3015：所述客户端缓存所述预取对象。

本说明书实施例中，所述客户端在接收到该预取对象之后，会对该预取对象进行缓存在本地cache中，以便下次接收到用户访问相应数据请求的时候，直接将缓存在本地cache中响应给用户。

由以上可见，本说明书实施例中以目录项为统计单元，根据每个目录项的时间戳队列的长度识别出热点目录项，实现了基于时间局部性的热点目录项的识别，识别可信度较高，同时以目录分片作为预取粒度，且预取过程遵循空间局部性原理，预取准确率和效率较高，能够有效提高文件元数据的访问性能，从而提高分布式文件系统的整体性能。比如，通过客户端元数据预取，在通过虚拟机访问共享存储的应用场景中，响应时间减少了6％左右。此外，元数据访问性能提升对于小文件访问也有显著改善。

需要说明的是，本说明书实施例中的时间局部性指的是如果一个文件正在被访问，那么在近期它很可能还会被再次访问，空间局部性指的是如果一个文件被访问的比较频繁，那它周围的文件或者目录也会经常被访问。

以下以客户端为执行主体介绍本发明的一种元数据预取方法，如图11所示，所述方法可以包括：

S1101：接收元数据访问请求，所述元数据包括至少一个目录项。

S1103：基于所述访问请求，获取每个目录项的时间戳队列。

在一个可行的实施例中，所述基于所述访问请求，获取每个目录项的时间戳队列，可以包括：

基于每个目录项的名称和所述目录项的存储地址信息，得到所述目录项的标识信息；

基于得到的每个目录项的标识信息，记录所述目录项创建的创建时间点以及被访问的多个访问时间点；

将每个目录项的创建时间点以及多个访问时间点按照时间的先后顺序进行排列，得到与所述目录项对应的时间戳队列。

S1105：基于所述每个目录项的时间戳队列的长度，确定与所述访问请求对应的热点目录项。

在一个可行的实施例中，所述基于所述每个目录项的时间戳队列的长度，确定与所述访问请求对应的热点目录项，可以包括：

比较每个目录项的时间戳队列的长度与第一阈值的大小；

将所述时间戳队列的长度大于所述第一阈值的目录项，确定为与所述访问请求对应的热点目录项。

S1107：将所述热点目录项发送至所述服务器，以使所述服务器基于所述热点目录项的属性信息，从与所述热点目录项对应的父目录分片和/或子目录分片中确定出目标目录分片，以及将所述目标目录分片中包括的至少一个目标目录项确定为与所述访问请求对应的预取对象。

S1109：接收所述服务器发送的所述预取对象。

S11011：对所述预取对象进行缓存。

以下以服务器为执行主体介绍本发明的一种元数据预取方法，如图12所示，所述方法可以包括：

S1201：接收客户端发送的热点目录项，所述热点目录项由所述客户端基于元数据访问请求，并根据所述元数据包括的目录项的时间戳队列的长度确定出。

S1203：基于所述热点目录项的属性信息，从与所述热点目录项对应的父目录分片和/或子目录分片中确定出目标目录分片。

S1205：将所述目标目录分片中包括的至少一个目标目录项确定为与所述访问请求对应的预取对象。

在一个可行的实施例中，所述基于所述热点目录项的属性信息，从与所述热点目录项对应的父目录分片和/或子目录分片中确定出目标目录分片，可以包括：

当所述热点目录项表征的是文件元数据，则确定所述热点目录项所在的热点目录分片。

获取与所述热点目录分片对应的父目录分片，并将所述父目录分片确定为所述目标目录分片；其中，所述父目录分片中包括至少一个父目录项。

相应地，所述将所述目标目录分片中包括的至少一个目标目录项确定为与所述访问请求对应的预取对象，可以包括：

将所述至少一个父目录项确定为与所述访问请求对应的预取对象。

在一个可行的实施例中，所述基于所述热点目录项的属性信息，从与所述热点目录项对应的父目录分片和/或子目录分片中确定出目标目录分片，可以包括：

当所述热点目录项表征的是目录元数据，则确定所述热点目录项所在的热点目录分片。

获取与所述热点目录项对应的父目录分片和子目录分片，并将所述父目录分片和所述子目录分片确定为所述目标目录分片；其中，所述父目录分片中包括至少一个父目录项，所述子目录分片包括至少一个子目录项。

相应地，所述将所述目标目录分片中包括的至少一个目标目录项确定为与所述访问请求对应的预取对象，可以包括：

将所述至少一个父目录项和所述至少一个子目录项确定为与所述访问请求对应的预取对象。

在一个可行的实施例中，所述获取与所述热点目录项对应的父目录分片和子目录分片，并将所述父目录分片和所述子目录分片确定为所述目标目录分片，可以包括：

获取与所述热点目录项对应的父目录分片和多个子目录分片。

比较每个子目录分片的容量值与第二阈值的大小。

将所述父目录分片和所述容量值小于第二阈值的子目录分片确定为所述目标目录分片。

S1207：将所述预取对象发送至所述客户端，以使所述客户端对所述预取对象进行缓存。

本申请实施例还提供了一种元数据预取装置，如图13所示，所述装置可以包括：

访问请求接收模块1301，可以用于接收元数据访问请求，所述元数据包括至少一个目录项。

时间戳队列获取模块1303，可以用于基于所述访问请求，获取每个目录项的时间戳队列。

热点目录项确定模块1305，可以用于基于所述每个目录项的时间戳队列的长度，确定与所述访问请求对应的热点目录项。

热点目录项发送模块1307，可以用于将所述热点目录项发送至所述服务器，以使所述服务器基于所述热点目录项的属性信息，从与所述热点目录项对应的父目录分片和/或子目录分片中确定出目标目录分片，以及将所述目标目录分片中包括的至少一个目标目录项确定为与所述访问请求对应的预取对象。

预取对象接收模块1309，可以用于接收所述服务器发送的所述预取对象。

缓存模块13011，可以用于对所述预取对象进行缓存。

在一个可行的实施例中，所述时间戳队列获取模块1303可以包括：

目录项标识信息获取单元，可以用于基于每个目录项的名称和所述目录项的存储地址信息，得到所述目录项的标识信息。

时间点获取单元，可以用于基于得到的每个目录项的标识信息，记录所述目录项创建的创建时间点以及被访问的多个访问时间点。

排列单元，可以用于将每个目录项的创建时间点以及多个访问时间点按照时间的先后顺序进行排列，得到与所述目录项对应的时间戳队列。

在一个可行的实施例中，热点目录项确定模块1305可以包括：

比较单元，可以用于比较每个目录项的时间戳队列的长度与第一阈值的大小。

热点目录项获取单元，可以用于将所述时间戳队列的长度大于所述第一阈值的目录项，确定为与所述访问请求对应的热点目录项。

本申请实施例还提供了一种元数据预取装置，如图14所示，所述装置可以包括：

热点目录项接收模块1401，可以用于接收客户端发送的热点目录项，所述热点目录项由所述客户端基于元数据访问请求，并根据所述元数据包括的目录项的时间戳队列的长度确定出。

目标目录分片确定模块1403，可以用于基于所述热点目录项的属性信息，从与所述热点目录项对应的父目录分片和/或子目录分片中确定出目标目录分片。

预取对象确定模块1405，可以用于将所述目标目录分片中包括的至少一个目标目录项确定为与所述访问请求对应的预取对象。

在一个可行的实施例中，所述目标目录分片确定模块1403可以包括：

热点目录分片确定单元，可以用于当所述热点目录项表征的是文件元数据，则确定所述热点目录项所在的热点目录分片。

父目录分片获取单元，可以用于获取与所述热点目录分片对应的父目录分片，并将所述父目录分片确定为所述目标目录分片；其中，所述父目录分片中包括至少一个父目录项。

相应地，所述预取对象确定模块1405可以用于将所述至少一个父目录项确定为与所述访问请求对应的预取对象。

在一个可行的实施例中，所述目标目录分片确定模块1403可以包括：

热点目录分片确定单元，可以用于当所述热点目录项表征的是目录元数据，则确定所述热点目录项所在的热点目录分片。

父目录分片和子目录分片获取单元，可以用于获取与所述热点目录项对应的父目录分片和子目录分片，并将所述父目录分片和所述子目录分片确定为所述目标目录分片；其中，所述父目录分片中包括至少一个父目录项，所述子目录分片包括至少一个子目录项。

相应地，所述预取对象确定模块1405可以用于将所述至少一个父目录项和所述至少一个子目录项确定为与所述访问请求对应的预取对象。

在一个可行的实施例中，所述父目录分片和子目录分片获取单元可以包括：

父目录分片和多个子目录分片获取子单元，可以用于获取与所述热点目录项对应的父目录分片和多个子目录分片。

容量值比较子单元，可以用于比较每个子目录分片的容量值与第二阈值的大小；

目标目录分片获取子单元，可以用于将所述父目录分片和所述容量值小于第二阈值的子目录分片确定为所述目标目录分片。

预取对象发送模块1407，可以用于将所述预取对象发送至所述客户端，以使所述客户端对所述预取对象进行缓存。

本申请实施例还提供了一种元数据预取终端，该终端包括处理器和存储器，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现如上述方法实施例所提供的元数据预取方法。

本申请实施例还提供了一种元数据预取服务器，该服务器包括处理器和存储器，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现如上述方法实施例所提供的元数据预取方法。

本申请的实施例还提供了一种存储介质，所述存储介质可设置于终端之中以保存用于实现方法实施例中一种元数据预取方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述方法实施例提供的元数据预取方法。

可选地，在本说明书实施例中，存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书实施例所述存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。

本申请实施例所提供的元数据预取方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例，图15是本申请实施例提供的一种元数据预取方法的服务器的硬件结构框图。如图15所示，该服务器1500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(Central ProcessingUnits，CPU)1510(处理器1210可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器1530，一个或一个以上存储应用程序1523或数据1522的存储介质1520(例如一个或一个以上海量存储设备)。其中，存储器1530和存储介质1520可以是短暂存储或持久存储。存储在存储介质1520的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1510可以设置为与存储介质1520通信，在服务器1500上执行存储介质1520中的一系列指令操作。服务器1500还可以包括一个或一个以上电源1560，一个或一个以上有线或无线网络接口1550，一个或一个以上输入输出接口1540，和/或，一个或一个以上操作系统1521，例如WindowsServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等等。

输入输出接口1540可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器1500的通信供应商提供的无线网络。在一个实例中，输入输出接口1540包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口1540可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。

本领域普通技术人员可以理解，图15所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，服务器1500还可包括比图15中所示更多或者更少的组件，或者具有与图15所示不同的配置。

由上述本申请提供的方法、装置、设备及存储介质，。

需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和服务器实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种元数据预取方法，其特征在于，所述方法包括：

接收元数据访问请求，所述元数据包括至少一个目录项；

基于所述访问请求，获取每个目录项的时间戳队列；

基于所述每个目录项的时间戳队列的长度，确定与所述访问请求对应的热点目录项；

将所述热点目录项发送至服务器，以使所述服务器基于所述热点目录项的属性信息，从与所述热点目录项对应的父目录分片和/或子目录分片中确定出目标目录分片，以及将所述目标目录分片中包括的至少一个目标目录项确定为与所述访问请求对应的预取对象；

接收所述服务器发送的所述预取对象；

对所述预取对象进行缓存。

2.根据权利要求1所述的元数据预取方法，其特征在于，所述基于所述访问请求，获取每个目录项的时间戳队列，包括：

基于每个目录项的名称和所述目录项的存储地址信息，得到所述目录项的标识信息；

基于得到的每个目录项的标识信息，记录所述目录项创建的创建时间点以及被访问的多个访问时间点；

将每个目录项的创建时间点以及多个访问时间点按照时间的先后顺序进行排列，得到与所述目录项对应的时间戳队列。

3.根据权利要求1所述的元数据预取方法，其特征在于，所述基于所述每个目录项的时间戳队列的长度，确定与所述访问请求对应的热点目录项，包括：

比较每个目录项的时间戳队列的长度与第一阈值的大小；

将所述时间戳队列的长度大于所述第一阈值的目录项，确定为与所述访问请求对应的热点目录项。

4.一种元数据预取方法，其特征在于，所述方法包括：

接收客户端发送的热点目录项，所述热点目录项由所述客户端基于元数据访问请求，并根据所述元数据包括的目录项的时间戳队列的长度确定出；

基于所述热点目录项的属性信息，从与所述热点目录项对应的父目录分片和/或子目录分片中确定出目标目录分片；

将所述目标目录分片中包括的至少一个目标目录项确定为与所述访问请求对应的预取对象；

将所述预取对象发送至所述客户端，以使所述客户端对所述预取对象进行缓存。

5.根据权利要求4所述的元数据预取方法，其特征在于，

所述基于所述热点目录项的属性信息，从与所述热点目录项对应的父目录分片和/或子目录分片中确定出目标目录分片，包括：

当所述热点目录项表征的是文件元数据，则确定所述热点目录项所在的热点目录分片；

获取与所述热点目录分片对应的父目录分片，并将所述父目录分片确定为所述目标目录分片；其中，所述父目录分片中包括至少一个父目录项；

相应地，所述将所述目标目录分片中包括的至少一个目标目录项确定为与所述访问请求对应的预取对象，包括：

将所述至少一个父目录项确定为与所述访问请求对应的预取对象。

6.根据权利要求4所述的元数据预取方法，其特征在于，

所述基于所述热点目录项的属性信息，从与所述热点目录项对应的父目录分片和/或子目录分片中确定出目标目录分片，包括：

当所述热点目录项表征的是目录元数据，则确定所述热点目录项所在的热点目录分片；

获取与所述热点目录项对应的父目录分片和子目录分片，并将所述父目录分片和所述子目录分片确定为所述目标目录分片；其中，所述父目录分片中包括至少一个父目录项，所述子目录分片包括至少一个子目录项；

相应地，所述将所述目标目录分片中包括的至少一个目标目录项确定为与所述访问请求对应的预取对象，包括：

将所述至少一个父目录项和所述至少一个子目录项确定为与所述访问请求对应的预取对象。

7.根据权利要求6所述的元数据预取方法，其特征在于，所述获取与所述热点目录项对应的父目录分片和子目录分片，并将所述父目录分片和所述子目录分片确定为所述目标目录分片，包括：

获取与所述热点目录项对应的父目录分片和多个子目录分片；

比较每个子目录分片的容量值与第二阈值的大小；

将所述父目录分片和所述容量值小于第二阈值的子目录分片确定为所述目标目录分片。

8.一种元数据预取装置，其特征在于，所述装置包括：

访问请求接收模块，用于接收元数据访问请求，所述元数据包括至少一个目录项；

时间戳队列获取模块，用于基于所述访问请求，获取每个目录项的时间戳队列；

热点目录项确定模块，用于基于所述每个目录项的时间戳队列的长度，确定与所述访问请求对应的热点目录项；

热点目录项发送模块，用于将所述热点目录项发送至服务器，以使所述服务器基于所述热点目录项的属性信息，从与所述热点目录项对应的父目录分片和/或子目录分片中确定出目标目录分片，以及将所述目标目录分片中包括的至少一个目标目录项确定为与所述访问请求对应的预取对象；

预取对象接收模块，用于接收所述服务器发送的所述预取对象；

缓存模块，用于对所述预取对象进行缓存。

9.一种元数据预取装置，其特征在于，

热点目录项接收模块，用于接收客户端发送的热点目录项，所述热点目录项由所述客户端基于元数据访问请求，并根据所述元数据包括的目录项的时间戳队列的长度确定出；

目标目录分片确定模块，用于基于所述热点目录项的属性信息，从与所述热点目录项对应的父目录分片和/或子目录分片中确定出目标目录分片；

预取对象确定模块，用于将所述目标目录分片中包括的至少一个目标目录项确定为与所述访问请求对应的预取对象；

预取对象发送模块，用于将所述预取对象发送至所述客户端，以使所述客户端对所述预取对象进行缓存。

10.一种终端，其特征在于，所述终端包括：处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1-3任一所述的元数据预取方法。

11.一种服务器，其特征在于，所述服务器包括：处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求4-7任一所述的元数据预取方法。

12.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1-7任一所述的元数据预取方法。