CN108153804B - 一种对称分布式文件系统的元数据日志更新方法 - Google Patents

Abstract

本发明公开一种对称分布式文件系统的元数据日志更新方法，包括：在对称分布式文件系统中的块节点的本地文件系统执行文件操作前，为该文件的元数据创建具有唯一序列号的文件操作的日志记录并将操作码和参数写入日志记录；本地文件系统执行文件操作；之后，将执行文件操作后文件的属性信息和完成标志写入日志记录；在本地文件系统从异常故障中恢复后扫描各日志记录，对于未写入完成标志的日志记录：根据该日志记录中的操作码和参数与文件当前的属性信息进行比对，以确认对应的文件操作是否完成，若完成则将完成标志写入该日志记录，若未完成则删除该日志记录。本发明可在对称分布式文件系统服务端构建完整有效精简的文件的元数据的日志记录。

Description

一种对称分布式文件系统的元数据日志更新方法

技术领域

本发明涉及数据管理技术领域。更具体地，涉及一种对称分布式文件系统的元数据日志更新方法。

背景技术

目前在存储领域，主流的分布式文件按照有无元数据服务器(集群)可以分为非对称分布式文件系统(有元数据服务器)和对称分布式文件系统(无元数据服务器)，非对称分布式文件系统构建的集群中要专门有一个中心节点或集群用于保存元数据信息和管理对数据的访问，非对称分布式文件系统的代表产品有CephFS、HDFS等；而对称分布式文件系统则与之相反，集群中只有一系列块节点，这些块节点形成了区间布局(hash layout)，客户端在访问文件时，先根据文件名计算出该文件属于哪个块节点，然后直接与此块节点建立连接以进行文件读写操作，对称分布式文件系统代表产品有GlusterFS。

有元数据服务器的非对称分布式文件系统会在内存中维护经常访问的元数据信息，并且每种类型的文件操作都会以更新日志(changlog)形式记录下来，以方便节点发生异常重启后，根据磁盘上的最近一次更新的元数据视图及后续的一系列更新日志来恢复节点异常那一刻的内存中的元数据状态。用这种方法可以很好的解决同步向磁盘更新元数据信息带来的性能低开销大的问题。内存中的元数据视图定期向磁盘刷新，近期的元数据的更新日志虽然已经作用不大，但依然可以保留下来提供给数据管理系统用于数据分析。

但是，对于像GlusterFS这种对称分布式文件系统来说：首先，对称分布式文件系统并没有统一的中心节点用于记录元数据信息，每个文件操作都要分布到某个块节点上；其次，在块节点上存储文件，更多的还是依赖于本地文件系统(local filesystem)，在块节点异常宕机时，可能出现实际执行的文件操作与文件的元数据更新后的日志记录不一致的情况发生，需要有额外机制来保护；最后，在将更新后的日志记录提供给数据管理系统时，由于每个块节点各自维护了自己的日志序列，如果简单的聚合成一个总的日志序列或者说总日志流，就会出现某些文件操作比其依赖的操作更早出现在总的日志序列中的情况，这可能会造成数据管理系统元数据信息与文件系统不一致。对称分布式文件系统的具体问题包括：

第一、在块节点的本地文件系统执行文件操作时，要把本次执行的文件操作的日志信息记录下来或者说写入日志记录，这实际是两个动作，在发生节点宕机等异常事件时，如果先执行文件操作，再写入日志记录，可能会导致日志丢失；反之，如果先写入日志记录，再执行文件操作，则可能出现无效的日志记录。

第二、文件写入数据操作会更新文件的元数据的长度属性(size)。连续的文件写入数据操作请求会产生大量的属性更新日志，开销较大，而且完全不必要，因为对于数据管理系统来说，只需要最终的文件长度信息。

第三、创建目录操作和删除目录操作会在块节点上执行，所以对于同一个目录是有重复的日志生成。多个块节点的日志记录在聚合时，为了保证“创建父目录-创建子目录项”和“删除所有子目录项-删除父目录”的逻辑关系，需要保留第一条执行创建目录操作后的日志记录和最后一条执行删除目录操作后的日志记录，其他的可以直接忽略掉。

第四、执行文件重命名操作，要涉及到源文件和目标文件，而源文件和目标文件可能不在同一个块节点上，这样就无法保证这条执行文件重命名操作后的日志记录对两个文件的所有操作都有序，可能导致数据管理系统与文件系统元数据视图不一致。

因此，需要提供一种新的对称分布式文件系统的元数据日志更新方法。

发明内容

本发明的目的在于提供一种对称分布式文件系统的元数据日志更新方法，以至少解决现有的对称分布式文件系统存在的前述问题其中之一。

为达到上述目的，本发明采用下述技术方案：

一种对称分布式文件系统的元数据日志更新方法，包括：

在对称分布式文件系统中的块节点的本地文件系统执行文件操作前，为该文件的元数据创建具有唯一序列号的文件操作的日志记录并将操作码和参数写入所述文件操作的日志记录；

所述本地文件系统执行文件操作；

在所述本地文件系统执行文件操作后，将执行文件操作后文件的属性信息和完成标志写入所述文件操作的日志记录；

在本地文件系统从宕机等异常故障中恢复后扫描各文件操作的日志记录，对于未写入完成标志的文件操作的日志记录：根据该未写入完成标志的文件操作的日志记录中的操作码和参数与文件当前的属性信息进行比对，以确认对应的文件操作是否完成，若完成则将完成标志写入该未写入完成标志的文件操作的日志记录，若未完成则删除该未写入完成标志的文件操作的日志记录。

优选地，所述文件操作包括：创建目录操作、删除目录操作、创建文件操作、删除文件操作、设置目录属性操作、设置文件属性操作、目录重命名操作、文件重命名操作和文件写入数据操作。

优选地，该方法还包括：

本地文件系统设定更新时段，当在本地文件系统执行文件写入数据操作后的更新时段内未出现新的文件写入数据操作请求时，本地文件系统才将文件当前的属性信息和完成标志写入文件写入数据操作的日志记录。

优选地，该方法还包括：

各块节点的本地文件系统每次提供一批文件的元数据中文件操作的日志记录聚合到总日志流时，对于创建目录操作，由于每个块节点都会产生相同的日志记录，则以该目录ID作为关键字选择时间上首先到来的创建目录操作的日志记录合入总日志流，且过滤删除掉时间上后续到来的重复日志记录，以维护先“创建父目录”后“创建子文件”这个序从每个块节点的日志流保持到总日志流。

优选地，该方法还包括：

各块节点的本地文件系统每次提供一批文件的元数据中文件操作的日志记录聚合到总日志流时，对于删除目录操作，因为每个块节点都会产生相同的日志记录，以该目录ID作为关键字过滤删除掉时间上先到达的重复日志，只选择时间上最后到来的删除目录操作的日志记录合入总日志流，以维护先“删除子文件”后“删除父目录”这个序从每个块节点的日志流保持到总日志流。

优选地，该方法还包括：

当本地文件系统执行文件重命名操作的过程中源文件和目标文件不属于对称分布式文件系统中同一个块节点的本地文件系统时，由源文件所属的块节点的本地文件系统执行该文件重命名操作并创建该文件重命名操作的日志记录。

优选地，该方法还包括：

在数据库导入各块节点的本地文件系统中文件的元数据中文件操作的日志记录时，对于文件重命名操作的日志记录，为维护先“创建目标文件”后“重命名覆盖目标文件”这个序，需要：

检查被覆盖的目标文件是否已存在于数据库中，若是则执行删除目标文件的日志记录并更新源文件的文件名，若否则更新源文件的文件名并将执行该文件重命名操作的日志记录录入对比表中；

在数据库导入每个创建文件操作的日志记录前，检查该文件是否在所述对比表中作为文件重命名操作的日志记录中的目标文件被覆盖，若是则忽略该执行创建文件操作的日志记录并将所述对比表中的对应的文件重命名操作的日志记录标记为已检查完成状态，在间隔设定的清除时段后清除该对应的文件重命名操作的日志记录。

本发明的有益效果如下：

本发明所述技术方案可在对称分布式文件系统服务端构建完整有效精简的文件的元数据的的日志记录，进而能够把这些分散的文件的元数据的的日志记录聚合成总日志流提供给数据管理系统。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细的说明；

图1示出对称分布式文件系统的元数据日志更新方法的流程图。

图2示出文件操作的日志记录更新、聚合及导入数据库的示意图。

具体实施方式

为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。

如图1和图2共同所示，本实施例针对无元数据架构的对称分布式文件系统的特性，提供了一种在多客户端，多块节点集群实时环境下的对称分布式文件系统的元数据日志更新方法，多路日志流经过滤后聚合形成有序的日志序列可提供给数据管理系统，最终转化为更新数据库中对应的表项。

本实施例提供的对称分布式文件系统的元数据日志更新方法，包括如下步骤：

在对称分布式文件系统中的块节点的本地文件系统执行文件操作前，为该文件的元数据创建具有唯一序列号的文件操作的日志记录并将操作码和参数写入文件操作的日志记录；

本地文件系统执行文件操作；

在本地文件系统执行文件操作后，将执行文件操作后文件的属性信息和完成标志写入文件操作的日志记录；

在本地文件系统从宕机等异常故障中恢复后扫描各文件操作的日志记录，对于未写入完成标志的文件操作的日志记录：根据该未写入完成标志的文件操作的日志记录中的操作码和参数与文件当前的属性信息进行比对，以确认对应的文件操作是否完成，若完成则将完成标志写入该未写入完成标志的文件操作的日志记录，若未完成则删除该未写入完成标志的文件操作的日志记录。

在对称分布式文件系统中的块节点的本地文件系统执行文件操作并更新文件的元数据中文件操作的日志记录时，采用上述“两阶段”的方法可保证即使发生了宕机事件也不会产生文件的元数据与文件的元数据中文件操作的日志记录不一致问题。当一个文件操作请求到来时，先为该文件操作的对象文件的元数据分配一个唯一的日志序列号，并将操作码及主要参数写入一条文件操作的日志记录，此时该日志记录并不是完整的。然后在本地文件系统上执行实际的文件操作。当文件操作完成后，将最终的文件的属性信息及一个完成标志写入到前述不完整的日志记录中，至此，这条日志记录是有效的、完整的。

文件的元数据中文件操作的日志记录也是记录到本地文件系统的隐藏文件中的，所以按照上述的逻辑，不存在文件操作完成，而日志记录丢失的情况。但可能存在日志记录未完成的情况，即只有部分日志信息有效，一般出现这种情况可能是块节点的本地文件系统出现宕机等异常故障导致的。因此，在本地文件系统从宕机等异常故障中恢复后扫描各文件操作的日志记录，这样在存储服务恢复时，就可以扫描到这些未完成的日志记录，并按照操作码及参数与文件当前的属性信息进行比对，确认对应的操作是否完成，没完成则删除此不完整的日志记录，完成了则将完成标志写入日志记录以使其完整。

在具体实施时，文件操作包括：创建目录操作(mkdir)、删除目录操作(rmdir)、创建文件操作(create)、删除文件操作(unlink)、设置目录属性操作(setattr)、设置文件属性操作(setattr)、目录重命名操作(rename)、文件重命名操作(rename)和文件写入数据操作(write)。其中，文件写入数据操作(write)会导致文件长度的变化，可以记录为一条setattr的日志记录。文件操作中针对目录的操作会在所有块节点上执行，而文件操作中针对文件的操作会根据算法选择在某个特定的块节点上执行

在具体实施时，该方法还包括：

本地文件系统设定更新时段，当在本地文件系统执行文件写入数据操作后的更新时段内未出现新的文件写入数据操作请求时，本地文件系统才将文件当前的属性信息和完成标志写入文件写入数据操作的日志记录。

这样，执行连续的文件写入数据操作(write)时，不会每次都记录一条setattr的日志记录，避免了开销较大且也没有太大意义的问题。数据管理系统需要的是一段时间内最终的文件状态。而在文件系统语义中，无法判断哪次写是最后一次，这完全取决于用户在客户端的行为。本实施例为解决这一问题采用的上述方法也可以称为一种定时检查、延迟查询方法：首先为每一个文件维护一个更新时间(update time)，每当有文件写入数据操作请求时，就更新此时间为当前系统时间。定期检查所有的文件的此更新时间，如果与当前时间比，已经超过一定时限没有再更新了，表示对该文件近一阶段的连续的文件写入数据操作已经结束了，此时将此文件从检查列表里移除，并从本地文件系统中查询该文件的属性信息构建一条setattr日志加入到日志文件中。

在具体实施时，该方法还包括：

各块节点的本地文件系统每次提供一批文件的元数据中文件操作的日志记录聚合到总日志流时，对于创建目录操作，由于每个块节点都会产生相同的日志记录，则以该目录ID作为关键字选择时间上首先到来的创建目录操作的日志记录合入总日志流，且过滤删除掉时间上后续到来的重复日志记录，以维护先“创建父目录”后“创建子文件”这个序从每个块节点的日志流保持到总日志流。

各块节点的本地文件系统每次提供一批文件的元数据中文件操作的日志记录聚合到总日志流时，对于删除目录操作，因为每个块节点都会产生相同的日志记录，以该目录ID作为关键字过滤删除掉时间上先到达的重复日志，只选择时间上最后到来的删除目录操作的日志记录合入总日志流，以维护先“删除子文件”后“删除父目录”这个序从每个块节点的日志流保持到总日志流。

在无元数据架构的对称分布式文件系统中，每个块节点都维护了完整的目录层次结构，所以每个目录操作(mkdir/rmdir/setattr/rename)在不同块节点上会产生重复的日志记录。本实施例为解决这一问题采用的上述方法具体而言是：在数据管理系统采集每个块节点上的元数据日志时，记录下每个创建目录操作的日志记录或删除目录操作的日志记录中的文件的属性信息和操作码作为检查项，过滤掉后续到来的相同的重复日志，另外，还可采用当达到预期个数后(块节点数)，清除该目录关于此操作的检查项。对于创建目录操作(mkdir)采用时间由前至后的顺序作为聚合到总日志流的顺序，或者说采用第一条日志记录到来的顺序为其聚合到总日志流的顺序，这是因为，要在逻辑上保证“创建父目录-创建子目录项”的日志顺序；相反的，为了保证“删除所有子目录项-删除父目录”的逻辑，对于删除目录操作(rmdir)采用时间由后至前的顺序作为聚合到总日志流的顺序，或者说采用最后一条日志到来的顺序为其聚合到总日志流的顺序。而设置目录属性操作(setattr)和目录重命名操作(rename)，因为只是目录自身的属性或名称的更新，所以不需要考虑依赖关系的问题，默认采用与创建目录相同的规则执行日志过滤聚合。

在具体实施时，该方法还包括：

当本地文件系统执行文件重命名操作的过程中源文件和目标文件不属于对称分布式文件系统中同一个块节点的本地文件系统时，由源文件所属的块节点的本地文件系统执行该文件重命名操作并创建该文件重命名操作的日志记录。

在数据库导入各块节点的本地文件系统中文件的元数据中文件操作的日志记录时，对于文件重命名操作的日志记录，为维护先“创建目标文件”后“重命名覆盖目标文件”这个序，需要：

检查被覆盖的目标文件是否已存在于数据库中，若是则执行删除目标文件的日志记录并更新源文件的文件名，若否则更新源文件的文件名并将执行该文件重命名操作的日志记录录入对比表中；

在数据库导入每个创建文件操作的日志记录前，检查该文件是否在对比表中作为文件重命名操作的日志记录中的目标文件被覆盖，若是则忽略该执行创建文件操作的日志记录并将对比表中的对应的文件重命名操作的日志记录标记为已检查完成状态，在间隔设定的清除时段后清除该对应的文件重命名操作的日志记录。

具体而言，对于文件重命名覆盖这种操作，因为涉及到两个文件，所以比较复杂。文件重命名操作实际包含两个动作，删除目标文件和重命名源文件为目标文件名。当源文件和目标文件不在同一个块节点时，无法保证日志记录聚合后，该操作的日志记录对两个文件的创建日志记录都是有序的，很可能出现：“创建源文件--重命名源文件覆盖目标文件—创建目标文件—更新目标文件属性”的日志序列，这样数据管理系统的数据库中最终状态是保留有目标文件的记录，与实际文件系统中元数据视图不一致。本实施例为解决这一问题采用的上述方法具体而言是：由源文件所属的块节点的本地文件系统执行该文件重命名操作，让该文件重命名操作的日志记录产生在源文件所属的块节点的本地文件系统中，这样该文件重命名操作对所有源文件的操作都是有序的。在数据管理系统中导入日志记录时读到一条文件重命名覆盖的日志记录后，会先检查被覆盖的目标文件是否已存在于数据库中，如果有则执行删除目标文件记录和更新源文件的文件名；如果没有则更新源文件的文件名并将该重命名操作记录到数据库的一张专门的对比表中。然后在每个创建文件操作的日志记录在导入数据库之前，先检查该创建文件操作的日志记录对应的文件是否在对比表中作为某条文件重命名操作对应的日志记录中的目标文件被覆盖，如果是，则忽略该条创建文件操作的日志记录，不再向数据库中导入，并且将对比表中的对应的文件重命名操作的日志记录标记为已检查完成状态，在间隔一定时间后清除掉该文件重命名操作的日志记录。此外，为了提高性能，减少查询数据库的次数，可以在内存中建立哈希表，被覆盖目标文件按照文件ID计算哈希索引，并在对应的哈希桶位置增加一次引用计数。在检查创建文件操作的日志记录时，如果该文件对应的哈希桶位置引用计数为0，则认为该文件不会被乱序先到的重命名操作覆盖，否则，就需要进一步检查数据库中的专门表。对目标文件的后续操作，比如一系列的setattr操作，都因为数据库中已无该文件记录而导致更新失败，不影响最终的元数据视图。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (7)

1.一种对称分布式文件系统的元数据日志更新方法，其特征在于，包括：

在对称分布式文件系统中的块节点的本地文件系统执行文件操作前，为该文件的元数据创建具有唯一序列号的文件操作的日志记录并将操作码和参数写入所述文件操作的日志记录；

所述本地文件系统执行文件操作；

在所述本地文件系统执行文件操作后，将执行文件操作后文件的属性信息和完成标志写入所述文件操作的日志记录；

在本地文件系统从异常故障中恢复后扫描各文件操作的日志记录，对于未写入完成标志的文件操作的日志记录：根据该未写入完成标志的文件操作的日志记录中的操作码和参数与文件当前的属性信息进行比对，以确认对应的文件操作是否完成，若完成则将完成标志写入该未写入完成标志的文件操作的日志记录，若未完成则删除该未写入完成标志的文件操作的日志记录。

2.根据权利要求1所述的对称分布式文件系统的元数据日志更新方法，其特征在于，所述文件操作包括：创建目录操作、删除目录操作、创建文件操作、删除文件操作、设置目录属性操作、设置文件属性操作、目录重命名操作、文件重命名操作和文件写入数据操作。

3.根据权利要求2所述的对称分布式文件系统的元数据日志更新方法，其特征在于，该方法还包括：

本地文件系统设定更新时段，当在本地文件系统执行文件写入数据操作后的更新时段内未出现新的文件写入数据操作请求时，本地文件系统才将文件当前的属性信息和完成标志写入文件写入数据操作的日志记录。

4.根据权利要求2所述的对称分布式文件系统的元数据日志更新方法，其特征在于，该方法还包括：

各块节点的本地文件系统每次提供一批文件的元数据中文件操作的日志记录聚合到总日志流时，对于创建目录操作，以该目录ID作为关键字选择时间上首先到来的创建目录操作的日志记录合入总日志流，且过滤删除掉时间上后续到来的重复日志记录。

5.根据权利要求2所述的对称分布式文件系统的元数据日志更新方法，其特征在于，该方法还包括：

各块节点的本地文件系统每次提供一批文件的元数据中文件操作的日志记录聚合到总日志流时，对于删除目录操作，以该目录ID作为关键字过滤删除掉时间上先到达的重复日志，只选择时间上最后到来的删除目录操作的日志记录合入总日志流。

6.根据权利要求2所述的对称分布式文件系统的元数据日志更新方法，其特征在于，该方法还包括：

当本地文件系统执行文件重命名操作的过程中源文件和目标文件不属于对称分布式文件系统中同一个块节点的本地文件系统时，由源文件所属的块节点的本地文件系统执行该文件重命名操作并创建该文件重命名操作的日志记录。

7.根据权利要求6所述的对称分布式文件系统的元数据日志更新方法，其特征在于，该方法还包括：

在数据库导入各块节点的本地文件系统中文件的元数据中文件操作的日志记录时，对于文件重命名操作的日志记录：

检查被覆盖的目标文件是否已存在于数据库中，若是则执行删除目标文件的日志记录并更新源文件的文件名，若否则更新源文件的文件名并将执行该文件重命名操作的日志记录录入对比表中；

在数据库导入每个创建文件操作的日志记录前，检查该文件是否在所述对比表中作为文件重命名操作的日志记录中的目标文件被覆盖，若是则忽略该创建文件操作的日志记录并将所述对比表中的对应的文件重命名操作的日志记录标记为已检查完成状态，在间隔设定的清除时段后清除该对应的文件重命名操作的日志记录。

Images