CN110647514A - 一种元数据更新方法、装置及元数据服务器 - Google Patents

Abstract

本申请公开了一种元数据更新方法、装置、元数据服务器及可读存储介质，方案包括：获取本地记录的目标文件的文件大小以及为目标文件分配的可写范围区段；利用二分查找法根据本地记录的文件大小和可写范围区段，从数据管理模块查找目标文件的最后写入的对象；根据最后写入的对象，确定目标文件的真实文件大小，并更新本地记录的文件大小。可见，该方案根据元数据服务器上记录的目标文件的文件大小以及为目标文件分配的可写范围区段，利用二分查找法查找目标文件的最后写入的对象，避免了传统方案逐个查找导致耗时过长的问题，显著提升了文件元数据恢复的效率。

Description

一种元数据更新方法、装置及元数据服务器

技术领域

本申请涉及存储领域，特别涉及一种元数据更新方法、装置、元数据服务器及可读存储介质。

背景技术

在分布式文件系统使用过程中，客户端向集群中的文件写入数据的时候，写数据和写元数据会异步分离，即通过数据管理模块写入文件数据，写完后在后续时间里，客户端会使用异步更新元数据的方法，将缓存在内存中的文件大小等元数据信息更新到MDS。

但是，异步更新元数据在提升性能的同时也可能导致文件元数据大小不正确的问题，比如数据已经写入到数据管理模块，但是客户端还没有将新的大小信息更新到MDS，客户端所在的节点因发生断电或宕机导致其缓存的文件元数据信息丢失。

文件元数据丢失的情况下，需要进行文件元数据恢复。在恢复过程中，需要从数据管理模块遍历所有的对象，找到最后一个对象，据此确定文件的实际大小。这个过程会从MDS分配的“可写范围”最大值开始处理，假设“可写范围”是0～2G，文件实际大小是1G，从2G开始一直遍历到0，每个对象大小是4M，遍历过程就需要512次操作，导致单个文件恢复耗时就可能达到几十秒以上，效率极低。

可见，如何提升文件元数据恢复效率，是亟待本领域技术人员解决的问题。

发明内容

本申请的目的是提供一种元数据更新方法、装置、元数据服务器及可读存储介质，用以解决传统的文件元数据恢复方案效率低下的问题。具体方案如下：

第一方面，本申请提供了一种元数据更新方法，应用于分布式文件系统的元数据服务器，包括：

获取本地记录的目标文件的文件大小以及为所述目标文件分配的可写范围区段；

利用二分查找法根据所述本地记录的文件大小和所述可写范围区段，从数据管理模块查找所述目标文件的最后写入的对象；

根据所述最后写入的对象，确定所述目标文件的真实文件大小，并更新所述本地记录的文件大小。

优选的，所述利用二分法根据所述本地记录的文件大小和所述可写范围区段，从数据管理模块查找所述目标文件的最后写入的对象，包括：

将所述可写范围区段中最大值对应的偏移位置作为起点，所述本地记录的文件大小对应的偏移位置作为终点，确定所述起点和所述终点的中间点；

在数据管理模块中，判断所述中间点上是否存在所述目标文件的对象；

若所述中间点上存在所述目标文件的对象，判断该对象是否为所述目标文件的最后写入的对象；

若是，则确认查找得到所述最后写入的对象，否则将所述终点更新为当前的中间点，并重复查找过程。

优选的，所述判断该对象是否为所述目标文件的最后写入的对象，包括：

确定从所述中间点起沿着偏移量增大的方向与所述中间点相隔一个对象大小的偏移位置，判断该偏移位置是否为所述起点；若是，则确认该对象为所述目标文件的最后写入的对象，否则确认该对象不为所述目标文件的最后写入的对象。

优选的，所述根据所述最后写入的对象，确定所述目标文件的真实文件大小，包括：

根据所述最后写入的对象，确定所述目标文件的真实文件大小为所述起点对应的文件大小。

优选的，在所述判断所述中间点上是否存在所述目标文件的对象之后，还包括：

若所述中间点上不存在所述目标文件的对象，确定从所述中间点起沿着偏移量减小的方向与所述中间点相隔一个向量大小的偏移位置，判断该偏移位置上是否存在所述目标文件的最后写入的对象；

若存在，则确认查找得到所述最后写入的对象，否则将所述起点更新为当前的中间点，并重复查找过程。

优选的，所述根据所述最后写入的对象，确定所述目标文件的真实文件大小，包括：

根据所述最后写入的对象，确定所述目标文件的真实文件大小为所述中间点对应的文件大小。

优选的，在所述获取本地记录的目标文件的文件大小以及为所述目标文件分配的可写范围区段之前，还包括：

在所述分布式文件系统的存储节点重启后，确定存储节点重启前在数据管理模块中正在执行写操作的未关闭的文件，以作为目标文件。

第二方面，本申请提供了一种元数据更新装置，应用于分布式文件系统的元数据服务器，包括：

数据获取模块：用于获取本地记录的目标文件的文件大小以及为所述目标文件分配的可写范围区段；

对象查找模块：用于利用二分查找法根据所述本地记录的文件大小和所述可写范围区段，从数据管理模块查找所述目标文件的最后写入的对象；

更新模块：用于根据所述最后写入的对象，确定所述目标文件的真实文件大小，并更新所述本地记录的文件大小。

第三方面，本申请提供了一种元数据服务器，其特征在于，包括：

存储器：用于存储计算机程序；

处理器：用于执行所述计算机程序以实现如上所述的一种元数据更新方法的步骤。

第四方面，本申请提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如上所述的一种元数据更新方法的步骤。

本申请所提供的一种元数据更新方法、装置、元数据服务器及可读存储介质，应用于分布式文件系统，方案包括：获取本地记录的目标文件的文件大小以及为目标文件分配的可写范围区段；利用二分查找法根据本地记录的文件大小和可写范围区段，从数据管理模块查找目标文件的最后写入的对象；根据最后写入的对象，确定目标文件的真实文件大小，并更新本地记录的文件大小。

可见，该方案根据元数据服务器上记录的目标文件的文件大小以及为目标文件分配的可写范围区段，利用二分查找法查找目标文件的最后写入的对象，避免了传统方案逐个查找导致耗时过长的问题，显著提升了文件元数据恢复的效率。

附图说明

为了更清楚的说明本申请实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请所提供的一种元数据更新方法实施例一的实现流程图；

图2为本申请所提供的一种元数据更新方法实施例二的实现流程图；

图3为本申请所提供的一种元数据更新装置实施例的功能框图。

具体实施方式

本申请的核心是提供一种元数据更新方法、装置、元数据服务器及可读存储介质，通过二分查找法查找目标文件最后写入的对象，显著提升了文件元数据恢复的效率。

为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

首先，对本申请实施例的应用场景进行介绍：在分布式文件系统使用过程中，客户端向集群中的文件写入数据时，写数据和写元数据会异步分离，即客户端通过数据管理模块写入文件数据，写完后在后续时间里，客户端会使用异步更新元数据的方法，将缓存在内存中的文件大小等元数据信息更新到元数据服务器。因此，当客户端所在的节点因发生断电或宕机时，数据已经写入到数据管理模块，但是客户端还没有将新的大小信息更新到元数据，导致缓存的文件元数据信息丢失。本实施例的目的在于恢复文件元数据，更具体的，目的在于恢复文件的文件大小。

下面对本申请提供的一种元数据更新方法实施例一进行介绍，参见图1，实施例一应用于分布式文件系统的元数据服务器，包括：

S101、获取本地记录的目标文件的文件大小以及为所述目标文件分配的可写范围区段；

S102、利用二分查找法根据所述本地记录的文件大小和所述可写范围区段，从数据管理模块查找所述目标文件的最后写入的对象；

S103、根据所述最后写入的对象，确定所述目标文件的真实文件大小，并更新所述本地记录的文件大小。

本实施例所提及的文件是指文件的真实数据，即用户往文件中真正写入或修改的数据。元数据不是用户写入的数据，而是用于系统内部描述一个文件构成的一组结构，比如文件的标识号，文件大小、访问时间、修改时间、访问权限等信息。本实施例的主要目的在于更新目标文件的文件大小。

如上所述，本实施例应用于分布式文件系统，分布式文件系统设置有元数据服务器，简称MDS，用于缓存文件系统元数据，记录客户端写入或修改的文件的元数据信息。分布式文件系统还设置有数据管理模块，用于管理数据，例如接收客户端向文件写入的数据。分布式文件系统在客户端为用户提供访问接口，用户通过客户端的接口，可以访问集群中的文件，实现文件的修改或写入操作。分布式文件系统包括多个文件存储节点服务器，支持一份数据存储在多个存储节点上，每个存储节点通过节点间通信都可以获取到完整的数据。

在分布式文件系统恢复后，元数据服务器会对文件的元数据进行恢复，这里需要说明的是：客户端在文件写入过程中，会首先向元数据服务器申请分配可写范围区段，例如客户端可以在0～32M范围自由写入；当客户端即将写满当前的可写范围时，会向元数据服务器做同步更新元数据操作，并申请新的可写范围区段；元数据服务器会首先更新文件的元数据，然后重新分配可写范围区段给客户端。文件关闭时，则再次对文件的元数据进行更新，例如文件大小等信息，并将可写范围设置为0。因此，对于尚未关闭的文件，元数据服务器中记录着该文件申请的可写范围区段以及该文件申请最新的可写范围区段之前的文件大小。

特别说明的是，大文件在分布式文件系统中会拆分成多个对象，一般为4M大小，并将各个对象按照顺序存储在数据管理模块中。因此，根据文件的最后写入的对象即可确定该文件的文件大小，具体的，根据最后写入的对象的偏移位置确定该文件的文件大小。

本实施例中目标文件是指待进行元数据恢复的文件，基于上述两点，为了确定目标文件的真实大小，本实施例首先获取在元数据服务器本地记录的目标文件的文件大小以及元数据服务器为目标文件分配的可写范围区段，可以理解的是，这里获取的文件大小以及可写范围区段是指在数据恢复之前最新记录或最新分配的数值。根据本地记录的文件大小和可写范围区段确定查找范围，并利用二分查找法在该查找范围内查找目标文件的最后写入的对象，最终根据最后写入的对象确定目标文件的实际大小。

综上，本实施例所提供一种元数据更新方法，应用于分布式文件系统的元数据服务器，方案包括：获取本地记录的目标文件的文件大小以及为目标文件分配的可写范围区段；利用二分查找法根据本地记录的文件大小和可写范围区段，从数据管理模块查找目标文件的最后写入的对象；根据最后写入的对象，确定目标文件的真实文件大小，并更新本地记录的文件大小。可见，该方案根据元数据服务器上记录的目标文件的文件大小以及为目标文件分配的可写范围区段，利用二分查找法查找目标文件的最后写入的对象，避免了传统方案逐个查找导致耗时过长的问题，显著提升了文件元数据恢复的效率。

下面开始详细介绍本申请提供的一种元数据更新方法实施例二，实施例二基于前述实施例一实现，并在实施例一的基础上进行了一定程度上的拓展。

参见图2，实施例二应用于分布式文件系统的元数据服务器，包括：

S201、在所述分布式文件系统的存储节点重启后，确定存储节点重启前在数据管理模块中正在执行写操作的未关闭的文件，以作为目标文件；

S202、获取本地记录的目标文件的文件大小以及为所述目标文件分配的可写范围区段；

S203、将所述可写范围区段中最大值对应的偏移位置作为起点，所述本地记录的文件大小对应的偏移位置作为终点，确定所述起点和所述终点的中间点；

S204、在数据管理模块中，判断所述中间点上是否存在所述目标文件的对象；若存在，进入S205，否则跳转至S207；

S205、判断该对象是否为所述目标文件的最后写入的对象；若是，跳转至S206，否则将所述终点更新为当前的中间点，并跳转至S203；

上述判断该对象是否为所述目标文件的最后写入的对象，具体包括：确定从所述中间点起沿着偏移量增大的方向与所述中间点相隔一个对象大小的偏移位置，判断该偏移位置是否为所述起点；若是，则确认该对象为所述目标文件的最后写入的对象，否则确认该对象不为所述目标文件的最后写入的对象。

S206、确认查找得到所述最后写入的对象，根据所述最后写入的对象，确定所述目标文件的真实文件大小为所述起点对应的文件大小；

S207、确定从所述中间点起沿着偏移量减小的方向与所述中间点相隔一个向量大小的偏移位置，判断该偏移位置上是否存在所述目标文件的最后写入的对象；若存在，跳转至S208，否则将所述起点更新为当前的中间点，并跳转至S203；

S208、确认查找得到所述最后写入的对象，根据所述最后写入的对象，确定所述目标文件的真实文件大小为所述中间点对应的文件大小。

作为一种具体的实施方式，本实施例在确定目标文件之后，查找最后写入的对象的过程具体为：元数据服务器从数据管理模块获取目标文件的可写范围和记录的文件大小size，确定可写范围的最大值max_size；查找位置范围的起点记为begin＝max_size，终点记为end＝size，计算中间点mid＝(begin+end)/2，设置查找位置为off＝mid，即查找位置mid，长度为4M的对象信息；查找对象；如果对象存在，判断该对象是否最后一个对象，即off+对象大小＝begin；如果是，则确认目标文件的实际大小为begin，结束流程；如果否，则更新终点end＝off，即重新查找范围为(begin,off)；如果对象不存在，首先判断中间点是否为在最后一个对象之后与其相隔一个对象大小的位置，即off＝end+对象大小；如果是，则确认目标文件的实际大小为off，结束流程；如果否，则更新起点begin＝off，即重新查找范围为(off,end)。

本实施例所提供一种元数据更新方法，应用于分布式文件系统的元数据服务器，在分布式文件系统中大文件的文件大小追加写场景下，提供一种兼顾性能和可靠性的方法，由于大文件追加写在数据管理模块存储的对象是顺序的，通过快速定位可写范围区段中最后一个有实际大小的对象，即可根据该对象的偏移位置确定目标文件的实际大小。在查找过程中，查找范围为可写范围区段的最大值对应的偏移位置与本地记录的文件大小对应的偏移位置之间，采用二分查找算法，使得顺序几百次的查找次数缩短到个位数，减少对数据管理模块的访问压力，提高文件元数据的恢复速度，进而提高集群系统的性能和可靠性。

下面对本申请实施例提供的一种元数据更新装置进行介绍，下文描述的一种元数据更新装置与上文描述的一种元数据更新方法可相互对应参照。

如图3所示，该元数据更新装置应用于分布式文件系统的元数据服务器，包括：

数据获取模块301：用于获取本地记录的目标文件的文件大小以及为所述目标文件分配的可写范围区段；

对象查找模块302：用于利用二分查找法根据所述本地记录的文件大小和所述可写范围区段，从数据管理模块查找所述目标文件的最后写入的对象；

更新模块303：用于根据所述最后写入的对象，确定所述目标文件的真实文件大小，并更新所述本地记录的文件大小。

本实施例的元数据更新装置用于实现前述的元数据更新方法，因此该装置中的具体实施方式可见前文中的元数据更新方法的实施例部分，例如，数据获取模块301、对象查找模块302、更新模块303，分别用于实现上述元数据更新方法中步骤S101，S102，S103。所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再展开介绍。

另外，由于本实施例的元数据更新装置用于实现前述的元数据更新方法，因此其作用与上述方法的作用相对应，这里不再赘述。

此外，本申请还提供了一种元数据服务器，包括：

存储器：用于存储计算机程序；

处理器：用于执行所述计算机程序以实现如前文所述的一种元数据更新方法的步骤。

最后，本申请提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现前文所述的一种元数据更新方法的步骤。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的方案进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种元数据更新方法，其特征在于，应用于分布式文件系统的元数据服务器，包括：

获取本地记录的目标文件的文件大小以及为所述目标文件分配的可写范围区段；

利用二分查找法根据所述本地记录的文件大小和所述可写范围区段，从数据管理模块查找所述目标文件的最后写入的对象；

根据所述最后写入的对象，确定所述目标文件的真实文件大小，并更新所述本地记录的文件大小。

2.如权利要求1所述的方法，其特征在于，所述利用二分法根据所述本地记录的文件大小和所述可写范围区段，从数据管理模块查找所述目标文件的最后写入的对象，包括：

将所述可写范围区段中最大值对应的偏移位置作为起点，所述本地记录的文件大小对应的偏移位置作为终点，确定所述起点和所述终点的中间点；

在数据管理模块中，判断所述中间点上是否存在所述目标文件的对象；

若所述中间点上存在所述目标文件的对象，判断该对象是否为所述目标文件的最后写入的对象；

若是，则确认查找得到所述最后写入的对象，否则将所述终点更新为当前的中间点，并重复查找过程。

3.如权利要求2所述的方法，其特征在于，所述判断该对象是否为所述目标文件的最后写入的对象，包括：

确定从所述中间点起沿着偏移量增大的方向与所述中间点相隔一个对象大小的偏移位置，判断该偏移位置是否为所述起点；若是，则确认该对象为所述目标文件的最后写入的对象，否则确认该对象不为所述目标文件的最后写入的对象。

4.如权利要求3所述的方法，其特征在于，所述根据所述最后写入的对象，确定所述目标文件的真实文件大小，包括：

根据所述最后写入的对象，确定所述目标文件的真实文件大小为所述起点对应的文件大小。

5.如权利要求2所述的方法，其特征在于，在所述判断所述中间点上是否存在所述目标文件的对象之后，还包括：

若所述中间点上不存在所述目标文件的对象，确定从所述中间点起沿着偏移量减小的方向与所述中间点相隔一个向量大小的偏移位置，判断该偏移位置上是否存在所述目标文件的最后写入的对象；

若存在，则确认查找得到所述最后写入的对象，否则将所述起点更新为当前的中间点，并重复查找过程。

6.如权利要求5所述的方法，其特征在于，所述根据所述最后写入的对象，确定所述目标文件的真实文件大小，包括：

根据所述最后写入的对象，确定所述目标文件的真实文件大小为所述中间点对应的文件大小。

7.如权利要求1-6任意一项所述的方法，其特征在于，在所述获取本地记录的目标文件的文件大小以及为所述目标文件分配的可写范围区段之前，还包括：

在所述分布式文件系统的存储节点重启后，确定存储节点重启前在数据管理模块中正在执行写操作的未关闭的文件，以作为目标文件。

8.一种元数据更新装置，其特征在于，应用于分布式文件系统的元数据服务器，包括：

数据获取模块：用于获取本地记录的目标文件的文件大小以及为所述目标文件分配的可写范围区段；

对象查找模块：用于利用二分查找法根据所述本地记录的文件大小和所述可写范围区段，从数据管理模块查找所述目标文件的最后写入的对象；

更新模块：用于根据所述最后写入的对象，确定所述目标文件的真实文件大小，并更新所述本地记录的文件大小。

9.一种元数据服务器，其特征在于，包括：

存储器：用于存储计算机程序；

处理器：用于执行所述计算机程序以实现如权利要求1-7任意一项所述的一种元数据更新方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如权利要求1-7任意一项所述的一种元数据更新方法的步骤。

Images