CN113886352A - 分布式文件系统的元数据恢复方法、装置、设备及介质 - Google Patents

Abstract

本申请公开了一种分布式文件系统的元数据恢复方法、装置、设备及介质，包括：当监测到元数据更新故障事件，则获取目标文件在本地中对应的当前已保存元数据，所述当前已保存元数据为用于记录文件存储位置信息以及文件大小的元数据；基于所述当前已保存元数据中的文件存储位置信息以及第一文件存储池和/或第二文件存储池中与所述目标文件对应的数据，确定出所述目标文件的实际元数据；利用所述实际元数据对所述当前已保存元数据进行更新恢复。通过本申请的上述技术方案，保证了目标文件中的元数据存储位置信息以及文件大小与实际元数据一致，避免了因故障导致的数据不准确，提高了分布式文件系统的稳定性和可靠性。

Description

分布式文件系统的元数据恢复方法、装置、设备及介质

技术领域

本发明涉及分布式存储集群领域，特别涉及一种分布式文件系统的元数据恢复方法、装置、设备及介质。

背景技术

MDS(Metadata Server，元数据服务器)，用于缓存文件系统元数据，提供元数据的各种访问操作。在分布式存储集群中，文件写数据和更新元数据异步分离，即写完数据之后不立即更新元数据，而是异步更新。当客户端没有将新的文件大小等元数据信息及时更新到元数据服务器时，如果客户端模块所在的节点发生断电或宕机，此时会导致元数据服务器记录的文件大小等元数据信息不准确，系统可靠性低。

综上可见，如何提高分布式文件系统的稳定性和可靠性是目前有待解决的问题。

发明内容

有鉴于此，本发明的目的在于提供一种分布式文件系统的元数据恢复方法、装置、设备及介质，能够提高分布式文件系统的稳定性和可靠性。其具体方案如下：

第一方面，本申请公开了一种分布式文件系统的元数据恢复方法，应用于元数据服务器，包括：

当监测到元数据更新故障事件，则获取目标文件在本地中对应的当前已保存元数据；所述当前已保存元数据为用于记录文件存储位置信息以及文件大小的元数据，并且，所述目标文件为预先已保存在所述分布式文件系统的第一文件存储池和/或第二文件存储池中的文件，其中，若所述目标文件的文件大小类型在文件写入前已被确定为大文件类型，则通过所述第一文件存储池保存所述目标文件，并将相应的元数据异步更新至所述元数据服务器，若所述目标文件的文件大小类型在文件写入前无法被确定，则利用所述第二文件存储池中的预设存储空间对所述目标文件进行保存，如果所述预设存储空间不足，则将所述目标文件的剩余文件部分保存至所述第一文件存储池，并将相应的元数据异步更新至所述元数据服务器；

基于所述当前已保存元数据中的文件存储位置信息以及所述第一文件存储池和/或所述第二文件存储池中与所述目标文件对应的数据，确定出所述目标文件的实际元数据；

利用所述实际元数据对所述当前已保存元数据进行更新恢复。

可选的，所述基于所述当前已保存元数据中的文件存储位置信息以及所述第一文件存储池和/或所述第二文件存储池中与所述目标文件对应的数据，确定出所述目标文件的实际元数据；利用所述实际元数据对所述当前已保存元数据进行更新恢复，包括：

如果所述当前已保存元数据中的所述文件存储位置信息表征所述目标文件对应的文件存储池数量为1个，则对所述第一文件存储池进行数据读取以确定所述目标文件的实际文件大小；

判断所述当前已保存元数据中的文件大小是否与所述目标文件的实际文件大小一致，如果否则利用所述目标文件的实际文件大小对所述当前已保存元数据中的文件大小进行更新恢复。

可选的，所述基于所述当前已保存元数据中的文件存储位置信息以及所述第一文件存储池和/或所述第二文件存储池中与所述目标文件对应的数据，确定出所述目标文件的实际元数据；利用所述实际元数据对所述当前已保存元数据进行更新恢复，包括：

如果所述当前已保存元数据中的所述文件存储位置信息表征所述目标文件对应的文件存储池数量为2个，则判断所述分布式文件系统的第二文件存储池中是否存在与所述目标文件对应的数据；

如果所述第二文件存储池中存在与所述目标文件对应的数据，则对所述第二文件存储池进行数据读取以确定所述目标文件在所述第二文件存储池中的文件部分的第一实际文件大小，并判断所述第一实际文件大小是否小于预设存储空间的大小；

如果所述第一实际文件大小小于所述预设存储空间的大小，则判断所述当前已保存元数据中的文件大小是否与所述第一实际文件大小一致，如果否则利用所述第一实际文件大小对所述当前已保存元数据中的文件大小进行更新恢复。

可选的，所述基于所述当前已保存元数据中的文件存储位置信息以及所述第一文件存储池和/或所述第二文件存储池中与所述目标文件对应的数据，确定出所述目标文件的实际元数据；利用所述实际元数据对所述当前已保存元数据进行更新恢复，包括：

如果所述当前已保存元数据中的所述文件存储位置信息表征所述目标文件对应的文件存储池数量为2个，则判断所述分布式文件系统的第二文件存储池中是否存在与所述目标文件对应的数据；

如果所述第二文件存储池中存在与所述目标文件对应的数据，则对所述第二文件存储池进行数据读取以确定所述目标文件在所述第二文件存储池中的文件部分的第一实际文件大小，并判断所述第一实际文件大小是否小于预设存储空间的大小；

如果所述第一实际文件大小不小于所述预设存储空间的大小，则对所述第一文件存储池进行数据读取以确定所述目标文件在所述第一文件存储池中的文件部分的第二实际文件大小，并基于所述第一实际文件大小和所述第二实际文件大小对所述当前已保存元数据中的文件大小进行更新恢复。

可选的，所述基于所述当前已保存元数据中的文件存储位置信息以及所述第一文件存储池和/或所述第二文件存储池中与所述目标文件对应的数据，确定出所述目标文件的实际元数据；利用所述实际元数据对所述当前已保存元数据进行更新恢复，包括：

如果所述当前已保存元数据中的所述文件存储位置信息表征所述目标文件对应的文件存储池数量为2个，则判断所述分布式文件系统的第二文件存储池中是否存在与所述目标文件对应的数据；

如果所述第二文件存储池中不存在与所述目标文件对应的数据，则判断所述第一文件存储池中是否存在与所述目标文件对应的数据；

如果所述第一文件存储池中存在与所述目标文件对应的数据，则对所述第一文件存储池进行数据读取以确定所述目标文件的实际文件大小，并判断所述当前已保存元数据中的文件大小是否与所述目标文件的实际文件大小一致，如果否则利用所述目标文件的实际文件大小对所述当前已保存元数据中的文件大小进行更新恢复，以及对所述当前已保存元数据中的文件存储位置信息进行更新，以使得更新后的文件存储位置信息用于表征所述目标文件对应的文件存储池数量为1个以及所述目标文件对应的文件存储池类型为所述第一文件存储池。

可选的，所述基于所述当前已保存元数据中的文件存储位置信息以及所述第一文件存储池和/或所述第二文件存储池中与所述目标文件对应的数据，确定出所述目标文件的实际元数据；利用所述实际元数据对所述当前已保存元数据进行更新恢复，包括：

如果所述当前已保存元数据中的所述文件存储位置信息表征所述目标文件对应的文件存储池数量为2个，则判断所述分布式文件系统的第二文件存储池中是否存在与所述目标文件对应的数据；

如果所述第二文件存储池中不存在与所述目标文件对应的数据，则判断所述第一文件存储池中是否存在与所述目标文件对应的数据；

如果所述第一文件存储池中不存在与所述目标文件对应的数据，则将所述当前已保存元数据中的文件大小更新为零。

可选的，所述当前已保存元数据中记录的文件存储位置信息包括文件存储池数量以及文件存储池类型，所述文件存储池类型包括由机械硬盘构建的所述第一文件存储池的类型以及由固态硬盘构建的所述第二文件存储池的类型。

第二方面，本申请公开了一种分布式文件系统的元数据恢复装置，应用于元数据服务器，包括：

元数据获取模块，用于当监测到元数据更新故障事件，则获取目标文件在本地中对应的当前已保存元数据；所述当前已保存元数据为用于记录文件存储位置信息以及文件大小的元数据，并且，所述目标文件为预先已保存在所述分布式文件系统的第一文件存储池和/或第二文件存储池中的文件，其中，若所述目标文件的文件大小类型在文件写入前已被确定为大文件类型，则通过所述第一文件存储池保存所述目标文件，并将相应的元数据异步更新至所述元数据服务器，若所述目标文件的文件大小类型在文件写入前无法被确定，则利用所述第二文件存储池中的预设存储空间对所述目标文件进行保存，如果所述预设存储空间不足，则将所述目标文件的剩余文件部分保存至所述第一文件存储池，并将相应的元数据异步更新至所述元数据服务器；

元数据确定模块，用于基于所述当前已保存元数据中的文件存储位置信息以及所述第一文件存储池和/或所述第二文件存储池中与所述目标文件对应的数据，确定出所述目标文件的实际元数据；

更新恢复模块，用于利用所述实际元数据对所述当前已保存元数据进行更新恢复。

第三方面，本申请公开了一种电子设备，包括：

存储器，用于保护计算机程序；

处理器，用于执行所述计算机程序，以实现前述的分布式文件系统的元数据恢复方法。

第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中所述计算机程序被处理器执行时实现前述的分布式文件系统的元数据恢复方法。

本申请中，当监测到元数据更新故障事件，则获取目标文件在本地中对应的当前已保存元数据；所述当前已保存元数据为用于记录文件存储位置信息以及文件大小的元数据，并且，所述目标文件为预先已保存在所述分布式文件系统的第一文件存储池和/或第二文件存储池中的文件，其中，若所述目标文件的文件大小类型在文件写入前已被确定为大文件类型，则通过所述第一文件存储池保存所述目标文件，并将相应的元数据异步更新至所述元数据服务器，若所述目标文件的文件大小类型在文件写入前无法被确定，则利用所述第二文件存储池中的预设存储空间对所述目标文件进行保存，如果所述预设存储空间不足，则将所述目标文件的剩余文件部分保存至所述第一文件存储池，并将相应的元数据异步更新至所述元数据服务器；基于所述当前已保存元数据中的文件存储位置信息以及所述第一文件存储池和/或所述第二文件存储池中与所述目标文件对应的数据，确定出所述目标文件的实际元数据；利用所述实际元数据对所述当前已保存元数据进行更新恢复。可见，本申请基于所述目标文件的写入方式，将所述大文件写入第一文件存储池，高效利用第二文件存储池的高速高成本介质，并利用所述实际元数据对所述当前已保存元数据进行更新恢复，保证了目标文件中的元数据存储位置信息以及文件大小与实际元数据一致，避免了因故障导致的数据不准确，提高了分布式文件系统的稳定性和可靠性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请公开的一种分布式文件系统的元数据恢复方法流程图；

图2为本申请公开的一种具体的分布式文件系统的元数据恢复方法流程图；

图3为本申请公开的一种具体的分布式文件系统的元数据恢复方法流程图；

图4为本申请公开的一种具体的分布式文件系统的元数据恢复方法流程图；

图5为本申请公开的一种具体的分布式文件系统的元数据恢复方法示意图；

图6为本申请公开的一种分布式文件系统的元数据恢复装置结构示意图；

图7为本申请公开的一种电子设备结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

当前，在分布式存储集群中，客户端向元数据服务器异步更新数据时，如果客户端模块所在的节点发生断电或宕机，此时会导致元数据服务器记录的文件大小等元数据信息不准确的问题。

为此，本申请提供了一种分布式文件系统的元数据恢复方案，能够提高分布式文件系统的稳定性和可靠性。

本发明实施例公开了一种分布式文件系统的元数据恢复方法，参见图1所示，该方法包括：

步骤S11：当监测到元数据更新故障事件，则获取目标文件在本地中对应的当前已保存元数据。

本实施例中，当监测到元数据更新故障事件后，可能存在元数据信息不准确的情况，此时需要利用所述实际元数据对所述当前已保存元数据进行更新恢复，所以首先要获取目标文件在本地中对应的当前已保存元数据。可以理解的是，所述当前已保存元数据为用于记录文件存储位置信息以及文件大小的元数据；其中，所述当前已保存元数据中记录的文件存储位置信息包括文件存储池数量以及文件存储池类型，所述文件存储池类型包括由机械硬盘(Hard Disk Drive，简称HDD)构建的所述第一文件存储池的类型以及由固态硬盘(Solid State Drive，简称SSD)构建的所述第二文件存储池的类型。本实施例中，文件默认写入由固态硬盘构建的第二文件存储池。

本实施例中，所述目标文件为预先已保存在所述分布式文件系统的第一文件存储池和/或第二文件存储池中的文件，可以有多个，不同的目标文件所记录的所述当前已保存元数据可能相同或不同。由于在现有技术中，客户端写时识别大文件是不准确的，受限于不同客户端传输块大小等，目前还没有100％识别大文件的算法，只能采用根据首次写的大小等简单方式识别大文件，所以会出现大文件识别不准问题，所以，需要确定客户端写时初步判断一下文件类型，其中，若所述目标文件的文件大小类型在文件写入前已被确定为大文件类型，则通过所述第一文件存储池保存所述目标文件，并将相应的元数据异步更新至所述元数据服务器，若所述目标文件的文件大小类型在文件写入前无法被确定，则利用所述第二文件存储池中的预设存储空间对所述目标文件进行保存，如果所述预设存储空间不足，则将所述目标文件的剩余文件部分保存至所述第一文件存储池，并将相应的元数据异步更新至所述元数据服务器。上述基于文件大小类型进行文件存储的过程便体现了大小文件分离存储的思想，也即，让大文件存储在所述第一文件存储池，小文件存储在所述第二文件存储池，高效利用所述第二文件存储池中的高速高成本介质。

需要说明的是，客户端在文件写入过程中，会首先向元数据服务器申请分配可写范围区段，例如客户端可以在0～32M范围自由写入，当客户端即将写满“可写范围”的一半时，会向元数据服务器做同步更新元数据操作，并申请更大的可写范围区段，元数据服务器会重新分配可写范围区段给客户端，假设可写范围区段的最大值为max_size，即文件的大小最大是max_size。其中，在进行文件写入时，在所述可写范围区段中可以连续写入文件数据，也可以间断写入文件数据，也即，两段文件数据中间存在空闲区段。

具体的，当监测到元数据更新故障事件时，可能会导致元数据服务器记录的文件大小不正确，此时文件的实际大小范围是size到max_size，即元数据服务器已经保存的大小是文件大小的最小值，max_size是文件大小的最大值，元数据服务器恢复时从max_size开始读，因为max_size是最大值，可能没有数据，所以继续向size开始读，直到读完然后恢复出文件大小。

步骤S12：基于所述当前已保存元数据中的文件存储位置信息以及所述第一文件存储池和/或所述第二文件存储池中与所述目标文件对应的数据，确定出所述目标文件的实际元数据。

本申请实施例中，步骤S11中所提到的文件在存储时是基于大小文件进行分离存储的，因此，所述目标文件可以只存在于所述第一文件存储池，也可以只存在于所述第二文件存储池，还可以在两个存储池中同时存在，此外，在恢复所述目标文件的实际元数据时，也是根据所述目标文件的存储方式来确定制定不同的读取方法。

需要说明的是，为了高效利用第二文件存储池高速高成本介质，采用大小文件分离存储的方法，文件默认写入第二文件存储池，因为文件本身记录两个存储池，即由机械硬盘构建的第一文件存储池和由固态硬盘构建的第二文件存储池，文件在写的时候识别大文件，识别出的大文件直接存入第一存储池，此时需要修改文件记录的存储池为第一存储池，不需要再记录两个存储池，文件所有数据都存在于第一存储池，即同样是异步方式向元数据服务器更新存储池，如果此时未及时更新存储池到元数据服务器，即由第一存储池变更为第二存储池，此时发生故障，同样也会出现文件记录的存储池不正确问题，即文件实际数据在第一存储池中，文件记录的存储池是第一存储池和第二存储池，文件在读的时候也会读第二存储池，第二存储池没有数据，读取报错，所以此时元数据服务器也需要更新恢复出文件的实际存储池。

步骤S13：利用所述实际元数据对所述当前已保存元数据进行更新恢复。

本申请实施例中，当确定出所述目标文件的实际元数据后，需要利用所述实际元数据对所述当前已保存元数据进行更新恢复。

可以理解的是，在分布式文件系统中，文件切块存储，以对象为基本单位，支持一份数据存储在多个节点上，每个节点通过节点间通信都可以获取到完整的数据，当节点出现宕机时，针对多个节点属于不同文件的元数据恢复流程均相同。

可见，本申请实施例中，当监测到元数据更新故障事件，则获取目标文件在本地中对应的当前已保存元数据；所述当前已保存元数据为用于记录文件存储位置信息以及文件大小的元数据，并且，所述目标文件为预先已保存在所述分布式文件系统的第一文件存储池和/或第二文件存储池中的文件，其中，若所述目标文件的文件大小类型在文件写入前已被确定为大文件类型，则通过所述第一文件存储池保存所述目标文件，并将相应的元数据异步更新至所述元数据服务器，若所述目标文件的文件大小类型在文件写入前无法被确定，则利用所述第二文件存储池中的预设存储空间对所述目标文件进行保存，如果所述预设存储空间不足，则将所述目标文件的剩余文件部分保存至所述第一文件存储池，并将相应的元数据异步更新至所述元数据服务器；基于所述当前已保存元数据中的文件存储位置信息以及所述第一文件存储池和/或所述第二文件存储池中与所述目标文件对应的数据，确定出所述目标文件的实际元数据；利用所述实际元数据对所述当前已保存元数据进行更新恢复。本申请基于所述目标文件的写入方式，将所述大文件写入第一文件存储池，高效利用第二文件存储池的高速高成本介质，并利用所述实际元数据对所述当前已保存元数据进行更新恢复，保证了目标文件中的元数据存储位置信息以及文件大小与实际元数据一致，避免了因故障导致的数据不准确，提高了分布式文件系统的稳定性和可靠性。

本申请实施例公开了一种具体的分布式文件系统的元数据恢复方法，参见图2所示，该方法包括：

步骤S21：当监测到元数据更新故障事件，则获取目标文件在本地中对应的当前已保存元数据。

其中，关于步骤S21更加具体的处理过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

步骤S22：如果所述当前已保存元数据中的文件存储位置信息表征所述目标文件对应的文件存储池数量为1个，则对第一文件存储池进行数据读取以确定所述目标文件的实际文件大小。

本申请实施例中，文件本身记录2个存储池，即由机械硬盘构建的第一文件存储池和由固态硬盘构建的第二文件存储池，若所述目标文件的文件大小类型在文件写入前已被确定为大文件类型，则通过所述第一文件存储池保存所述目标文件，在监测到元数据更新故障事件后，只需要恢复出实际文件的大小，即对第一文件存储池进行数据读取，并将相应的元数据异步更新至所述元数据服务器。

步骤S23：判断所述当前已保存元数据中的文件大小是否与所述目标文件的实际文件大小一致。

步骤S24：如果否则利用所述目标文件的实际文件大小对所述当前已保存元数据中的文件大小进行更新恢复。

可以理解的是，在对所述当前已保存元数据中的文件大小进行更新恢复之前，需要判断所述当前已保存元数据中的文件大小是否与所述目标文件的实际文件大小一致，如果所述当前已保存元数据中的文件大小与所述目标文件的实际文件大小一致，一种情况说明所述目标文件在客户端更新后没有继续写入数据，进一步也就说明，所述当前已保存元数据中的文件大小是正确的，因此，不会出现数据不准确的情况，所以不需要进行更新恢复；另一种情况说明当前的目标文件不存在更新故障事件，不需要进行更新恢复操作。如果所述当前已保存元数据中的文件大小与所述目标文件的实际文件大小不一致，则利用所述目标文件的实际文件大小对所述当前已保存元数据中的文件大小进行更新恢复。

可见，本申请实施例中，当监测到元数据更新故障事件，则获取目标文件在本地中对应的当前已保存元数据；如果所述当前已保存元数据中的文件存储位置信息表征所述目标文件对应的文件存储池数量为1个，则对第一文件存储池进行数据读取以确定所述目标文件的实际文件大小；判断所述当前已保存元数据中的文件大小是否与所述目标文件的实际文件大小一致；如果否则利用所述目标文件的实际文件大小对所述当前已保存元数据中的文件大小进行更新恢复。对于在文件写入前已被确定为大文件类型的文件，保证了目标文件中的元数据的文件大小与实际元数据一致，避免了因故障导致的文件大小不准确，提高了分布式文件系统的稳定性和可靠性。

本申请实施例公开了一种具体的分布式文件系统的元数据恢复方法，参见图3所示，该方法包括：

步骤S31：当监测到元数据更新故障事件，则获取目标文件在本地中对应的当前已保存元数据。

其中，关于步骤S31更加具体的处理过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

步骤S32：如果所述当前已保存元数据中的文件存储位置信息表征所述目标文件对应的文件存储池数量为2个，则判断分布式文件系统的第二文件存储池中是否存在与所述目标文件对应的数据。

本申请实施例中，如果所述目标文件的文件大小类型在文件写入前无法被确定，而文件本身记录2个存储池，如果在未及时更新的情况下监测到故障事件，会出现文件记录的存储位置信息以及文件大小均不正确的问题，此时，当前已保存元数据中的文件存储位置信息表征所述目标文件对应的文件存储池数量为2个，这时，需要判断分布式文件系统的第二文件存储池中是否存在与所述目标文件对应的数据。

步骤S33：如果所述第二文件存储池中存在与所述目标文件对应的数据，则对所述第二文件存储池进行数据读取以确定所述目标文件在所述第二文件存储池中的文件部分的第一实际文件大小，并判断所述第一实际文件大小是否小于预设存储空间的大小。

本申请实施例中，如果当前已保存元数据中的文件存储位置信息表征所述目标文件对应的文件存储池数量为2个，则判断分布式文件系统的第二文件存储池中是否存在与所述目标文件对应的数据；如果所述第二文件存储池中存在与所述目标文件对应的数据，则对所述第二文件存储池进行数据读取以确定所述目标文件在所述第二文件存储池中的文件部分的第一实际文件大小，并判断所述第一实际文件大小是否小于预设存储空间的大小。

可以理解的是，因为文件默认写入第二存储池，所以当确定出当前已保存元数据中的文件存储位置信息表征所述目标文件对应的文件存储池数量为2个时，且第二文件存储池中存在与所述目标文件对应的数据，则第二文件存储池中存在第一实际文件，此时，需要判断第一实际文件大小是否小于预设存储空间的大小。

需要说明的是，在第一实际文件写入第二存储池时，采用前4M写入第二存储池，其余数据写入第一存储池。所以预设存储空间的大小为4M，当然预设存储空间的大小也可以根据实际情况来设置，例如设置为8M、16M等，本申请实施例中，设置为4M可以产生较优的效果，所以设置预设存储空间大小为4M。

步骤S34：如果所述第一实际文件大小小于所述预设存储空间的大小，则判断所述当前已保存元数据中的文件大小是否与所述第一实际文件大小一致。

步骤S35：如果否则利用所述第一实际文件大小对所述当前已保存元数据中的文件大小进行更新恢复。

本申请实施例中，在对已保存的元数据进行更新恢复时，首先从第二存储池读取数据，如果第二存储池的数据小于4M，则可以确定是小文件，所有的数据都在第二存储池，可以理解的是，在对所述当前已保存元数据中的文件大小进行更新恢复之前，需要判断所述当前已保存元数据中的文件大小是否与所述目标文件的实际文件大小一致，如果所述当前已保存元数据中的文件大小与所述目标文件的实际文件大小一致，则表明在故障期间没有客户端对文件进行更新，因此，不会出现数据不准确的情况，所以不需要进行更新恢复，不采取动作。如果所述当前已保存元数据中的文件大小与所述目标文件的实际文件大小不一致，则利用第一实际文件大小对所述当前已保存元数据中的文件大小进行更新恢复。

步骤S36：如果所述第一实际文件大小不小于所述预设存储空间的大小，则对第一文件存储池进行数据读取以确定所述目标文件在所述第一文件存储池中的文件部分的第二实际文件大小，并基于所述第一实际文件大小和所述第二实际文件大小对所述当前已保存元数据中的文件大小进行更新恢复。

本申请实施例中，在第二存储池读取数据时，如果第二存储池的数据不小于4M，则继续读取第一文件存储池，从第一文件存储池恢复出实际文件大小，文件数据存在于第一文件存储池和第二文件存储池。

需要说明的是，在一种具体实施方式中，基于所述第一实际文件大小和所述第二实际文件大小对所述当前已保存元数据中的文件大小进行更新恢复，最终文件大小为两个存储池的最大值。在另一种具体实施方式中，最终文件大小为两个存储池中的所述第一实际文件大小与所述第二实际文件大小的和。

可见，本申请实施例中，当监测到元数据更新故障事件，则获取目标文件在本地中对应的当前已保存元数据；如果所述当前已保存元数据中的文件存储位置信息表征所述目标文件对应的文件存储池数量为2个，元数据服务器需要从两个存储池中读取数据，以此来准确确定文件的存储位置信息和文件大小，同时根据文件记录2个存储池，不是第一文件存储池和第二文件存储池都读取全部数据，为了提升元数据更新恢复的效率，在第二文件存储池时只需要读取4M数据，第一文件存储池从max_size向小读取实际数据，最终就可确定存储池和文件实际大小。保证了目标文件中的元数据存储位置信息以及文件大小与实际元数据一致，避免了因故障导致的数据不准确，提高了分布式文件系统的稳定性和可靠性。

本申请实施例公开了一种具体的分布式文件系统的元数据恢复方法，参见图4所示，该方法包括：

步骤S41：当监测到元数据更新故障事件，则获取目标文件在本地中对应的当前已保存元数据。

步骤S42：如果所述当前已保存元数据中的文件存储位置信息表征所述目标文件对应的文件存储池数量为2个，则判断分布式文件系统的第二文件存储池中是否存在与所述目标文件对应的数据。

其中，关于步骤S41、S42更加具体的处理过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

步骤S43：如果所述第二文件存储池中不存在与所述目标文件对应的数据，则判断第一文件存储池中是否存在与所述目标文件对应的数据。

本申请实施例中，如果当前已保存元数据中的文件存储位置信息表征所述目标文件对应的文件存储池数量为2个，则判断分布式文件系统的第二文件存储池中是否存在与所述目标文件对应的数据；如果所述第二文件存储池中不存在与所述目标文件对应的数据，这时需要判断第一文件存储池中是否存在与所述目标文件对应的数据。

步骤S44：如果所述第一文件存储池中存在与所述目标文件对应的数据，则对所述第一文件存储池进行数据读取以确定所述目标文件的实际文件大小，并判断所述当前已保存元数据中的文件大小是否与所述目标文件的实际文件大小一致。

步骤S45：如果否则利用所述第一实际文件大小对所述当前已保存元数据中的文件大小进行更新恢复，以及对所述当前已保存元数据中的文件存储位置信息进行更新，以使得更新后的文件存储位置信息用于表征所述目标文件对应的文件存储池数量为1个以及所述目标文件对应的文件存储池类型为所述第一文件存储池。

本申请实施例中，如果第二文件存储池中不存在与所述目标文件对应的数据，且第一文件存储池中存在与目标文件对应的数据，说明文件在写时被识别出是大文件但未更新存储池，识别出的大文件直接存入第一文件存储池，此时需要将文件记录的存储池更新为第一文件存储池，同时从第一文件存储池中恢复出实际文件大小。

可以理解的是，在对所述当前已保存元数据中的文件大小进行更新恢复之前，需要判断所述当前已保存元数据中的文件大小是否与所述目标文件的实际文件大小一致，如果所述当前已保存元数据中的文件大小与所述目标文件的实际文件大小一致，则表明在故障期间没有客户端对文件进行更新，因此，不会出现数据不准确的情况，所以不需要进行更新恢复，不采取动作。如果所述当前已保存元数据中的文件大小与所述目标文件的实际文件大小不一致，则将更新后的文件存储位置信息用于表征所述目标文件对应的文件存储池数量更新为1个，以及将目标文件对应的文件存储池类型更新为第一文件存储池。

步骤S46：如果所述第一文件存储池中不存在与所述目标文件对应的数据，则将所述当前已保存元数据中的文件大小更新为零。

可以理解的是，如果当前已保存元数据中的文件存储位置信息表征所述目标文件对应的文件存储池数量为2个，且第一文件存储池和第二文件存储池都不存在与所述目标文件对应的数据，则文件大小为零，此时将当前已保存元数据中的文件大小更新为零。

图5为一种具体的分布式文件系统的元数据恢复方法示意图，如果文件只有1个存储池，则读取该存储池的实际数据，只恢复出文件大小；如果文件记录2个存储池：首先从第二文件存储池读取4M数据，如果读取到数据，并且实际读取到的数据大小小于4M，则可确定是小文件数据只存在于第二文件存储池场景，数据池确定，大小确定；如果数据等于4M，则继续读取第一文件存储池，恢复出实际文件大小，最终文件大小为两个存储池的最大值；如果第二文件存储池没有数据，则继续读取第一文件存储池，如果第一文件存储池有数据，则可确定是大文件已识别出来但未更新元数据场景，数据都存在于第一文件存储池，此时需要修改文件的存储池为第一文件存储池，根据第一文件存储池的实际数据大小恢复出实际文件大小；如果第一文件存储池也没有数据，则文件大小为零。

可见，本申请通过利用所述实际元数据对所述当前已保存元数据进行更新恢复，保证了目标文件中的元数据存储位置信息以及文件大小与实际元数据一致，避免了因故障导致的数据不准确，提高了分布式文件系统的稳定性和可靠性。

相应的，本申请实施例还公开了一种分布式文件系统的元数据恢复装置，参见图6所示，该装置包括：

元数据获取模块11，用于当监测到元数据更新故障事件，则获取目标文件在本地中对应的当前已保存元数据；所述当前已保存元数据为用于记录文件存储位置信息以及文件大小的元数据，并且，所述目标文件为预先已保存在所述分布式文件系统的第一文件存储池和/或第二文件存储池中的文件，其中，若所述目标文件的文件大小类型在文件写入前已被确定为大文件类型，则通过所述第一文件存储池保存所述目标文件，并将相应的元数据异步更新至所述元数据服务器，若所述目标文件的文件大小类型在文件写入前无法被确定，则利用所述第二文件存储池中的预设存储空间对所述目标文件进行保存，如果所述预设存储空间不足，则将所述目标文件的剩余文件部分保存至所述第一文件存储池，并将相应的元数据异步更新至所述元数据服务器；

元数据确定模块12，用于基于所述当前已保存元数据中的文件存储位置信息以及所述第一文件存储池和/或所述第二文件存储池中与所述目标文件对应的数据，确定出所述目标文件的实际元数据；

更新恢复模块13，用于利用所述实际元数据对所述当前已保存元数据进行更新恢复。

其中，关于上述各个模块更加具体的工作过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

可见，本申请实施例中，当监测到元数据更新故障事件，则获取目标文件在本地中对应的当前已保存元数据；所述当前已保存元数据为用于记录文件存储位置信息以及文件大小的元数据，并且，所述目标文件为预先已保存在所述分布式文件系统的第一文件存储池和/或第二文件存储池中的文件，其中，若所述目标文件的文件大小类型在文件写入前已被确定为大文件类型，则通过所述第一文件存储池保存所述目标文件，并将相应的元数据异步更新至所述元数据服务器，若所述目标文件的文件大小类型在文件写入前无法被确定，则利用所述第二文件存储池中的预设存储空间对所述目标文件进行保存，如果所述预设存储空间不足，则将所述目标文件的剩余文件部分保存至所述第一文件存储池，并将相应的元数据异步更新至所述元数据服务器；基于所述当前已保存元数据中的文件存储位置信息以及所述第一文件存储池和/或所述第二文件存储池中与所述目标文件对应的数据，确定出所述目标文件的实际元数据；利用所述实际元数据对所述当前已保存元数据进行更新恢复。本申请基于所述目标文件的写入方式，将所述大文件写入第一文件存储池，高效利用第二文件存储池的高速高成本介质，并利用所述实际元数据对所述当前已保存元数据进行更新恢复，保证了目标文件中的元数据存储位置信息以及文件大小与实际元数据一致，避免了因故障导致的数据不准确，提高了分布式文件系统的稳定性和可靠性。

进一步的，本申请实施例还公开了一种电子设备，图7是根据一示例性实施例示出的电子设备20结构图，图中内容不能认为是对本申请的使用范围的任何限制。

图7为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的分布式文件系统的元数据恢复方法中的相关步骤。另外，本实施例中的电子设备20具体可以为元数据服务器。

本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。

另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作系统221、计算机程序222及数据223等，数据223可以包括各种各样的数据。存储方式可以是短暂存储或者永久存储。

其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的分布式文件系统的元数据恢复方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。

进一步的，本申请还公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的分布式文件系统的元数据恢复方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种分布式文件系统的元数据恢复方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种分布式文件系统的元数据恢复方法，其特征在于，应用于元数据服务器，包括：

当监测到元数据更新故障事件，则获取目标文件在本地中对应的当前已保存元数据；所述当前已保存元数据为用于记录文件存储位置信息以及文件大小的元数据，并且，所述目标文件为预先已保存在所述分布式文件系统的第一文件存储池和/或第二文件存储池中的文件，其中，若所述目标文件的文件大小类型在文件写入前已被确定为大文件类型，则通过所述第一文件存储池保存所述目标文件，并将相应的元数据异步更新至所述元数据服务器，若所述目标文件的文件大小类型在文件写入前无法被确定，则利用所述第二文件存储池中的预设存储空间对所述目标文件进行保存，如果所述预设存储空间不足，则将所述目标文件的剩余文件部分保存至所述第一文件存储池，并将相应的元数据异步更新至所述元数据服务器；

基于所述当前已保存元数据中的文件存储位置信息以及所述第一文件存储池和/或所述第二文件存储池中与所述目标文件对应的数据，确定出所述目标文件的实际元数据；

利用所述实际元数据对所述当前已保存元数据进行更新恢复。

2.根据权利要求1所述的分布式文件系统的元数据恢复方法，其特征在于，所述基于所述当前已保存元数据中的文件存储位置信息以及所述第一文件存储池和/或所述第二文件存储池中与所述目标文件对应的数据，确定出所述目标文件的实际元数据；利用所述实际元数据对所述当前已保存元数据进行更新恢复，包括：

如果所述当前已保存元数据中的所述文件存储位置信息表征所述目标文件对应的文件存储池数量为1个，则对所述第一文件存储池进行数据读取以确定所述目标文件的实际文件大小；

判断所述当前已保存元数据中的文件大小是否与所述目标文件的实际文件大小一致，如果否则利用所述目标文件的实际文件大小对所述当前已保存元数据中的文件大小进行更新恢复。

3.根据权利要求1所述的分布式文件系统的元数据恢复方法，其特征在于，所述基于所述当前已保存元数据中的文件存储位置信息以及所述第一文件存储池和/或所述第二文件存储池中与所述目标文件对应的数据，确定出所述目标文件的实际元数据；利用所述实际元数据对所述当前已保存元数据进行更新恢复，包括：

如果所述当前已保存元数据中的所述文件存储位置信息表征所述目标文件对应的文件存储池数量为2个，则判断所述分布式文件系统的第二文件存储池中是否存在与所述目标文件对应的数据；

如果所述第二文件存储池中存在与所述目标文件对应的数据，则对所述第二文件存储池进行数据读取以确定所述目标文件在所述第二文件存储池中的文件部分的第一实际文件大小，并判断所述第一实际文件大小是否小于预设存储空间的大小；

如果所述第一实际文件大小小于所述预设存储空间的大小，则判断所述当前已保存元数据中的文件大小是否与所述第一实际文件大小一致，如果否则利用所述第一实际文件大小对所述当前已保存元数据中的文件大小进行更新恢复。

4.根据权利要求1所述的分布式文件系统的元数据恢复方法，其特征在于，所述基于所述当前已保存元数据中的文件存储位置信息以及所述第一文件存储池和/或所述第二文件存储池中与所述目标文件对应的数据，确定出所述目标文件的实际元数据；利用所述实际元数据对所述当前已保存元数据进行更新恢复，包括：

如果所述当前已保存元数据中的所述文件存储位置信息表征所述目标文件对应的文件存储池数量为2个，则判断所述分布式文件系统的第二文件存储池中是否存在与所述目标文件对应的数据；

如果所述第二文件存储池中存在与所述目标文件对应的数据，则对所述第二文件存储池进行数据读取以确定所述目标文件在所述第二文件存储池中的文件部分的第一实际文件大小，并判断所述第一实际文件大小是否小于预设存储空间的大小；

如果所述第一实际文件大小不小于所述预设存储空间的大小，则对所述第一文件存储池进行数据读取以确定所述目标文件在所述第一文件存储池中的文件部分的第二实际文件大小，并基于所述第一实际文件大小和所述第二实际文件大小对所述当前已保存元数据中的文件大小进行更新恢复。

5.根据权利要求1所述的分布式文件系统的元数据恢复方法，其特征在于，所述基于所述当前已保存元数据中的文件存储位置信息以及所述第一文件存储池和/或所述第二文件存储池中与所述目标文件对应的数据，确定出所述目标文件的实际元数据；利用所述实际元数据对所述当前已保存元数据进行更新恢复，包括：

如果所述当前已保存元数据中的所述文件存储位置信息表征所述目标文件对应的文件存储池数量为2个，则判断所述分布式文件系统的第二文件存储池中是否存在与所述目标文件对应的数据；

如果所述第二文件存储池中不存在与所述目标文件对应的数据，则判断所述第一文件存储池中是否存在与所述目标文件对应的数据；

如果所述第一文件存储池中存在与所述目标文件对应的数据，则对所述第一文件存储池进行数据读取以确定所述目标文件的实际文件大小，并判断所述当前已保存元数据中的文件大小是否与所述目标文件的实际文件大小一致，如果否则利用所述目标文件的实际文件大小对所述当前已保存元数据中的文件大小进行更新恢复，以及对所述当前已保存元数据中的文件存储位置信息进行更新，以使得更新后的文件存储位置信息用于表征所述目标文件对应的文件存储池数量为1个以及所述目标文件对应的文件存储池类型为所述第一文件存储池。

6.根据权利要求1所述的分布式文件系统的元数据恢复方法，其特征在于，所述基于所述当前已保存元数据中的文件存储位置信息以及所述第一文件存储池和/或所述第二文件存储池中与所述目标文件对应的数据，确定出所述目标文件的实际元数据；利用所述实际元数据对所述当前已保存元数据进行更新恢复，包括：

如果所述当前已保存元数据中的所述文件存储位置信息表征所述目标文件对应的文件存储池数量为2个，则判断所述分布式文件系统的第二文件存储池中是否存在与所述目标文件对应的数据；

如果所述第二文件存储池中不存在与所述目标文件对应的数据，则判断所述第一文件存储池中是否存在与所述目标文件对应的数据；

如果所述第一文件存储池中不存在与所述目标文件对应的数据，则将所述当前已保存元数据中的文件大小更新为零。

7.根据权利要求1至6任一项所述的分布式文件系统的元数据恢复方法，其特征在于，所述当前已保存元数据中记录的文件存储位置信息包括文件存储池数量以及文件存储池类型，所述文件存储池类型包括由机械硬盘构建的所述第一文件存储池的类型以及由固态硬盘构建的所述第二文件存储池的类型。

8.一种分布式文件系统的元数据恢复装置，其特征在于，应用于元数据服务器，包括：

元数据获取模块，用于当监测到元数据更新故障事件，则获取目标文件在本地中对应的当前已保存元数据；所述当前已保存元数据为用于记录文件存储位置信息以及文件大小的元数据，并且，所述目标文件为预先已保存在所述分布式文件系统的第一文件存储池和/或第二文件存储池中的文件，其中，若所述目标文件的文件大小类型在文件写入前已被确定为大文件类型，则通过所述第一文件存储池保存所述目标文件，并将相应的元数据异步更新至所述元数据服务器，若所述目标文件的文件大小类型在文件写入前无法被确定，则利用所述第二文件存储池中的预设存储空间对所述目标文件进行保存，如果所述预设存储空间不足，则将所述目标文件的剩余文件部分保存至所述第一文件存储池，并将相应的元数据异步更新至所述元数据服务器；

元数据确定模块，用于基于所述当前已保存元数据中的文件存储位置信息以及所述第一文件存储池和/或所述第二文件存储池中与所述目标文件对应的数据，确定出所述目标文件的实际元数据；

更新恢复模块，用于利用所述实际元数据对所述当前已保存元数据进行更新恢复。

9.一种电子设备，其特征在于，包括：

存储器，用于保护计算机程序；

处理器，用于执行所述计算机程序，以实现权利要求1至7任一项所述的分布式文件系统的元数据恢复方法。

10.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的分布式文件系统的元数据恢复方法。

Images