CN109241004A - 元数据文件大小恢复方法、系统、装置及可读存储介质 - Google Patents

Abstract

本申请公开了一种元数据文件大小恢复方法、系统、装置及计算机可读存储介质，在发生分布式文件管理系统集群故障后，利用在客户端更新文件时生成的事件记录日志，判断事件记录日志中是否存在用于反映客户端更新文件后未更新元数据的情况的文件更新标记，来得知是哪个文件在更新过程中未能及时更新，再利用文件更新标记生成文件大小查询指令发送至数据管理服务器，以利用数据管理服务器获取目标文件的实际大小信息，得到目标文件的实际大小信息后，便更新目标文件的元数据文件大小信息，从而保证了目标文件的元数据文件大小信息与目标文件的实际大小信息一致，避免了因故障导致的文件数据丢失，提高了分布式文件系统的可靠性和稳定性。

Description

元数据文件大小恢复方法、系统、装置及可读存储介质

技术领域

本发明涉及分布式文件存储领域，特别涉及一种元数据文件大小恢复方法、系统、装置及计算机可读存储介质。

背景技术

在分布式文件系统集群中，客户端向分布式文件系统集群中的文件更新数据的时候，出于性能考虑，一般是更新数据和更新元数据异步分离，即先将数据更新至数据管理服务器，在更新完后即认为数据已经更新成功，在后续时间里，客户端会使用异步更新元数据的方法，将缓存在内存中的文件的大小等元数据信息更新到元数据管理服务器；但是，异步更新元数据在提升性能的同时也可能导致文件元数据大小不正确的问题，比如数据已经更新到数据管理服务器，但是客户端还没有将新的大小信息更新到元数据管理服务器，客户端所在的节点因发生断电或宕机导致客户端缓存的文件元数据信息永久丢失。

为此，为提高分布式文件系统集群的稳定性和可靠性，需要一种元数据文件大小恢复方法。

发明内容

有鉴于此，本发明的目的在于提供一种元数据文件大小恢复方法、系统、装置及计算机可读存储介质，能够在故障后恢复元数据文件大小，提高分布式文件系统集群的稳定性和可靠性。其具体方案如下：

一种元数据文件大小恢复方法，包括：

判断事件记录日志中是否存在文件更新标记；

如果存在，则利用所述文件更新标记生成文件大小查询指令发送至数据管理服务器，以令所述数据管理服务器得到与所述文件更新标记对应的目标文件的实际大小信息；

接收并利用所述数据管理服务器发送的所述目标文件的实际大小信息，更新所述目标文件的元数据文件大小信息；

其中，所述事件记录日志中的所述文件更新标记为客户端更新所述目标文件时生成的。

可选的，所述利用所述文件更新标记生成文件大小查询指令发送至数据管理服务器的过程，包括：

利用所述文件更新标记中记录的所述目标文件的更新范围区段和与所述目标文件对应的目标iNode，生成所述文件大小查询指令；

将所述文件大小查询指令发送至所述数据管理服务器；

其中，所述目标文件的更新范围区段为所述客户端更新所述目标文件时分配的。

可选的，所述判断事件记录日志中是否存在文件更新标记之前，还包括：

接收所述客户端对所述目标文件的更新请求；

利用所述更新请求，生成一个与所述目标文件对应的所述文件更新标记；

将所述文件更新标记保存至所述事件记录日志中；

发送所述文件更新标记至所述客户端，以允许所述客户端对所述目标文件进行更新。

可选的，所述利用所述更新请求，生成一个与所述目标文件对应的所述文件更新标记的过程，包括：

利用所述更新请求，生成一个与所述目标文件对应的更新范围区段。

本发明还公开了一种元数据文件大小恢复系统，包括：

标记判断模块，用于判断事件记录日志中是否存在文件更新标记；

大小查询模块，用于当所述标记判断模块判定所述文件更新标记存在，则利用所述文件更新标记生成文件大小查询指令发送至数据管理服务器，以令所述数据管理服务器得到与所述文件更新标记对应的目标文件的实际大小信息；

大小更新模块，用于接收并利用所述数据管理服务器发送的所述目标文件的实际大小信息，更新所述目标文件的元数据文件大小信息；

其中，所述事件记录日志中的所述文件更新标记为客户端更新所述目标文件时生成的。

可选的，所述大小查询模块，包括：

指令生成单元，用于利用所述文件更新标记中记录的所述目标文件的更新范围区段和与所述目标文件对应的目标iNode，生成所述文件大小查询指令；

指令发送单元，用于将所述文件大小查询指令发送至所述数据管理服务器；

其中，所述目标文件的更新范围区段为所述客户端更新所述目标文件时分配的。

可选的，还包括：

请求接收模块，用于接收所述客户端对所述目标文件的更新请求；

标记生成模块，用于利用所述更新请求，生成一个与所述目标文件对应的所述文件更新标记；

标记保存模块，用于将所述文件更新标记保存至所述事件记录日志中；

标记发送模块，用于发送所述文件更新标记至所述客户端，以允许所述客户端对所述目标文件进行更新。

可选的，所述标记生成模块，具体用于利用所述更新请求，生成一个与所述目标文件对应的更新范围区段。

本发明还公开了一种元数据文件大小恢复装置，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序以实现如前述的元数据文件大小恢复方法。

本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前述元数据文件大小恢复方法的步骤。

本发明中，元数据文件大小恢复方法，包括：判断事件记录日志中是否存在文件更新标记；如果存在，则利用文件更新标记生成文件大小查询指令发送至数据管理服务器，以令数据管理服务器得到与文件更新标记对应的目标文件的实际大小信息；接收并利用数据管理服务器发送的目标文件的实际大小信息，更新目标文件的元数据文件大小信息；其中，事件记录日志中的文件更新标记为客户端更新目标文件时生成的。

本发明在发生分布式文件管理系统集群故障后，利用在客户端更新文件时生成的事件记录日志，判断事件记录日志中是否存在用于反映客户端更新文件后未更新元数据的情况的文件更新标记，来得知是哪个文件在更新过程中未能及时更新，再利用文件更新标记生成文件大小查询指令发送至数据管理服务器，以利用数据管理服务器获取目标文件的实际大小信息，得到目标文件的实际大小信息后，便更新目标文件的元数据文件大小信息，能够在故障后恢复元数据文件大小信息，从而保证了目标文件的元数据文件大小信息与目标文件的实际大小信息一致，避免了因故障导致的文件数据丢失，提高了分布式文件系统的可靠性和稳定性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例公开的一种元数据文件大小恢复方法流程示意图；

图2为本发明实施例公开的一种元数据文件大小恢复系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种元数据文件大小恢复方法，参见图1所示，该方法包括：

需要说明的是，在客户端需要向目标文件更新数据时，例如，客户端向目标文件写入新数据或删除目标文件中的旧数据时，元数据管理服务器会接收客户端对目标文件的更新请求，元数据管理服务器利用更新请求将该更新事件记录在事件记录日志中，同时会利用更新请求，生成一个与目标文件对应的文件更新标记，并保存至事件记录日志中，用于表明目标文件正在被客户端更新，元数据管理服务器将发送该文件更新标记至客户端，以允许客户端对目标文件进行更新，当客户端关闭文件后，后续客户端通过后台线程异步将文件大小更新到元数据管理服务器，令元数据管理服务器接收到客户端发送的更新信息，元数据管理服务器利用更新信息在更新的同时消除事件记录日志中目标文件的文件更新标记，表明目标文件已被客户端更新完毕。

S11：判断事件记录日志中是否存在文件更新标记。

具体的，在实际应用过程中，若分布式文件管理系统集群发生故障，则进入事件记录日志进行查找是否存在文件更新标记，如果存在，则表明在故障发生时，存在客户端更新文件后未更新元数据的情况。

可以理解的是，在同一时间可能存在多个客户端分别更新多个不同的文件的情况，因此，事件记录日志中同样可以记录多个属于不同文件的文件更新标记，针对多个属于不同文件的文件更新标记采取的元数据文件大小恢复流程均相同。

S12：如果存在，则利用文件更新标记生成文件大小查询指令发送至数据管理服务器，以令数据管理服务器得到与文件更新标记对应的目标文件的实际大小信息。

具体的，由于文件更新标记对应目标文件，因此，利用文件更新标记可以得到目标文件的特征信息，所以利用文件更新标记生成的文件大小查询指令中包括目标文件的特征信息，因此，数据管理服务器在接收到文件大小查询指令后，便可以利用目标文件的特征信息查找到目标文件，并对目标文件的文件对象进行查询，得到目标文件的实际大小信息。

可以理解的是，如果不存在，则表明在故障期间没有客户端对文件进行更新，因此，不会出现数据丢失的情况，所以无需进行恢复，不采取动作。

S13：接收并利用数据管理服务器发送的目标文件的实际大小信息，更新目标文件的元数据文件大小信息。

具体的，接收数据管理服务器发送的目标文件的实际大小信息，便可以更新目标文件的元数据文件大小信息，从而在分布式文件管理系统集群发生故障后，能够自动恢复文件的元数据文件大小信息，避免了数据的丢失。

可见，本发明实施例在发生分布式文件管理系统集群故障后，利用在客户端更新文件时生成的事件记录日志，判断事件记录日志中是否存在用于反映客户端更新文件后未更新元数据的情况的文件更新标记，来得知是哪个文件在更新过程中未能及时更新，再利用文件更新标记生成文件大小查询指令发送至数据管理服务器，以利用数据管理服务器获取目标文件的实际大小信息，得到目标文件的实际大小信息后，便更新目标文件的元数据文件大小信息，能够在故障后恢复元数据文件大小信息，从而保证了目标文件的元数据文件大小信息与目标文件的实际大小信息一致，避免了因故障导致的文件数据丢失，提高了分布式文件系统的可靠性和稳定性。

本发明实施例公开了一种具体的元数据文件大小恢复方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：

在实际应用中，由于文件在数据管理服务器中以多个文件对象的形式进行保存，而文件的文件对象数量巨大，因此，数据管理服务器在查找目标文件的实际文件大小时，需要遍历大量的目标文件的文件对象，来查找到最后一个有效的文件对象，从而确定出目标文件的实际文件大小，耗时较大，效率低，因此，为提高效率在文件更新标记中记载目标文件的更新范围区段。

需要说明的是，在客户端需要向目标文件更新数据前，需要向元数据管理服务器请求分配一个目标文件的更新范围区段，元数据管理服务器利用更新请求，生成并分配给客户端一个目标文件的更新范围区段，例如，当客户端需要向目标文件写入数据时，向元数据管理服务器申请目标文件的更新范围区段，则元数据管理服务器分配一个目标文件的0M-16M的更新范围区段，表示客户端可以在目标文件的这个区段内自由写入，当客户端需要对目标文件缩减时，元数据管理服务器可以分配一个16M-32M更新范围区段，以供客户端对目标文件进行缩减，客户端在目标文件的更新范围区段内的更新操作，遵循异步更新规则，即只需将数据更新至数据管理服务器，就认为更新成功，后续客户端通过后台线程异步将文件大小更新到元数据管理服务器，当客户端对一个更新范围区段使用完或即将使用完时，做一次同步更新元数据的操作，元数据管理服务器将目标文件更新到正确的大小，并向元数据管理服务器申请新的更新范围区段，元数据管理服务器则再分配新的更新范围区段，例如，客户端写入时，上述目标文件的0M-16M的更新范围区段已写完，则元数据管理服务器再分配目标文件的16M-32M的更新范围区段供客户端写入，客户端缩减时，上述目标文件的16M-32M的更新范围区段已缩减完，则元数据管理服务器再分配目标文件的0M-16M的更新范围区段供客户端缩减。

其中，对文件的缩减指的是删除文件中的旧数据。

同时，在客户端对目标文件进行更新时，元数据管理服务器会将该更新事件记录在事件记录日志中，同时会存储目标文件当前的更新范围区段，例如，元数据管理服务器第一次向目标文件分配0M-16M的更新范围区段，则事件记录日志中记载目标文件的更新范围区段为0M-16M，当元数据管理服务器第二次向目标文件分配16M-32M的更新范围区段后，则事件记录日志中记载目标文件的更新范围区段为16M-32M，当客户端关闭目标文件时，进行一次同步更新元数据的操作，同时，元数据管理服务器收到关闭文件的请求后，将文件的大小更新的正确大小，并将事件记录日志中目标文件的更新范围区段设置为无，例如，0。

具体的，上述S12利用文件更新标记生成文件大小查询指令发送至数据管理服务器的过程，可以具体包括S121和S122：

S121：利用文件更新标记中记录的目标文件的更新范围区段和与目标文件对应的目标iNode，生成文件大小查询指令；

S122：将文件大小查询指令发送至数据管理服务器。

具体的，文件更新标记中可以记录目标文件的目标iNode作为目标文件的特征信息，数据管理服务器可以利用目标iNode查找到目标文件，同时，数据管理服务器可以利用更新范围区段，缩小对目标文件的文件对象的查找范围，极大的提高了查询速度，因此，数据管理服务器在接收到包括目标文件的目标iNode和更新范围区段后，利用目标iNode快速确定被查询的文件为目标文件，利用更新范围区段，在目标文件的多个文件对象中，快速缩减查找范围，从而快速的查找到目标文件最后一个有效的文件对象，得到目标文件的实际大小信息，例如，目标文件包括1024个文件对象，更新范围区段限定最后一个有效的文件对象在第356个文件对象至第578个文件对象之间，则查询范围从1024个缩减到了222个，极大的提高了查询速度和工作效率。

相应的，本发明实施例还公开了一种元数据文件大小恢复系统，参见图2所示，该系统包括：

标记判断模块11，用于判断事件记录日志中是否存在文件更新标记；

大小查询模块12，用于当标记判断模块11判定文件更新标记存在，则利用文件更新标记生成文件大小查询指令发送至数据管理服务器，以令数据管理服务器得到与文件更新标记对应的目标文件的实际大小信息；

大小更新模块13，用于接收并利用数据管理服务器发送的目标文件的实际大小信息，更新目标文件的元数据文件大小信息；

其中，事件记录日志中的文件更新标记为客户端更新目标文件时生成的。

具体的，上述大小查询模块12，可以包括指令生成单元和指令发送单元；其中，

指令生成单元，用于利用文件更新标记中记录的目标文件的更新范围区段和与目标文件对应的目标iNode，生成文件大小查询指令；

指令发送单元，用于将文件大小查询指令发送至数据管理服务器；

其中，目标文件的更新范围区段为客户端更新目标文件时分配的。

进一步的，元数据文件大小恢复系统，还可以包括请求接收模块、标记生成模块、标记保存模块、标记发送模块和标记清除模块；其中，

请求接收模块，用于接收客户端对目标文件的更新请求；

标记生成模块，用于利用更新请求，生成一个与目标文件对应的文件更新标记；

标记保存模块，用于将文件更新标记保存至事件记录日志中；

标记发送模块，用于发送文件更新标记至客户端，以允许客户端对目标文件进行更新。

具体的，上述标记生成模块，可以具体用于利用更新请求，生成一个与目标文件对应的更新范围区段。

此外，本发明实施例还公开了一种元数据文件大小恢复装置，包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序以实现如前述的元数据文件大小恢复方法。

关于前述的元数据文件大小恢复方法的具体内容，可以参考前述实施例中公开的相应内容，在此不再进行赘述。

另外，本发明实施例还公开了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如前述元数据文件大小恢复方法的步骤。

关于前述的元数据文件大小恢复方法的具体内容，可以参考前述实施例中公开的相应内容，在此不再进行赘述。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

以上对本发明所提供的一种元数据文件大小恢复方法、系统、装置及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种元数据文件大小恢复方法，其特征在于，包括：

判断事件记录日志中是否存在文件更新标记；

如果存在，则利用所述文件更新标记生成文件大小查询指令发送至数据管理服务器，以令所述数据管理服务器得到与所述文件更新标记对应的目标文件的实际大小信息；

接收并利用所述数据管理服务器发送的所述目标文件的实际大小信息，更新所述目标文件的元数据文件大小信息；

其中，所述事件记录日志中的所述文件更新标记为客户端更新所述目标文件时生成的。

2.根据权利要求1所述的元数据文件大小恢复方法，其特征在于，所述利用所述文件更新标记生成文件大小查询指令发送至数据管理服务器的过程，包括：

利用所述文件更新标记中记录的所述目标文件的更新范围区段和与所述目标文件对应的目标iNode，生成所述文件大小查询指令；

将所述文件大小查询指令发送至所述数据管理服务器；

其中，所述目标文件的更新范围区段为所述客户端更新所述目标文件时分配的。

3.根据权利要求1或2所述的元数据文件大小恢复方法，其特征在于，所述判断事件记录日志中是否存在文件更新标记之前，还包括：

接收所述客户端对所述目标文件的更新请求；

利用所述更新请求，生成一个与所述目标文件对应的所述文件更新标记；

将所述文件更新标记保存至所述事件记录日志中；

发送所述文件更新标记至所述客户端，以允许所述客户端对所述目标文件进行更新。

4.根据权利要求3所述的文件更新方法，其特征在于，所述利用所述更新请求，生成一个与所述目标文件对应的所述文件更新标记的过程，包括：

利用所述更新请求，生成一个与所述目标文件对应的更新范围区段。

5.一种元数据文件大小恢复系统，其特征在于，包括：

标记判断模块，用于判断事件记录日志中是否存在文件更新标记；

大小查询模块，用于当所述标记判断模块判定所述文件更新标记存在，则利用所述文件更新标记生成文件大小查询指令发送至数据管理服务器，以令所述数据管理服务器得到与所述文件更新标记对应的目标文件的实际大小信息；

大小更新模块，用于接收并利用所述数据管理服务器发送的所述目标文件的实际大小信息，更新所述目标文件的元数据文件大小信息；

其中，所述事件记录日志中的所述文件更新标记为客户端更新所述目标文件时生成的。

6.根据权利要求5所述的元数据文件大小恢复系统，其特征在于，所述大小查询模块，包括：

指令生成单元，用于利用所述文件更新标记中记录的所述目标文件的更新范围区段和与所述目标文件对应的目标iNode，生成所述文件大小查询指令；

指令发送单元，用于将所述文件大小查询指令发送至所述数据管理服务器；

其中，所述目标文件的更新范围区段为所述客户端更新所述目标文件时分配的。

7.根据权利要求5或6所述的元数据文件大小恢复系统，其特征在于，还包括：

请求接收模块，用于接收所述客户端对所述目标文件的更新请求；

标记生成模块，用于利用所述更新请求，生成一个与所述目标文件对应的所述文件更新标记；

标记保存模块，用于将所述文件更新标记保存至所述事件记录日志中；

标记发送模块，用于发送所述文件更新标记至所述客户端，以允许所述客户端对所述目标文件进行更新。

8.根据权利要求7所述的元数据文件大小恢复系统，其特征在于，所述标记生成模块，具体用于利用所述更新请求，生成一个与所述目标文件对应的更新范围区段。

9.一种元数据文件大小恢复装置，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序以实现如权利要求1至4任一项所述的元数据文件大小恢复方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述元数据文件大小恢复方法的步骤。