CN103210389A - 一种元数据的处理方法和装置 - Google Patents

Abstract

本发明实施例提供一种元数据的处理方法，涉及数据处理技术领域，能够提高元数据的写入效率。所述方法包括：获取目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和，同时获取有效元数据数目；当所述目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和与所述有效元数据数目的比例超过设定的阈值时，删除所述目录文件存储的元数据操作，在所述目录文件的地址上连续存储所述有效元数据的添加操作；否则，将所述尚未存储到所述目录文件的元数据操作按照操作时序在所述目录文件的地址上连续存储。本发明实施例还提供相应的装置。

Description

一种元数据的处理方法和装置

技术领域

本发明涉及数据处理技术领域，尤其涉及一种元数据的处理方法和装置。

背景技术

计算机存储系统处理的数据包括两类：一类是用户使用的数据，即数据内容；另一类是存储系统用于管理数据的数据，即元数据。

当对一个元数据进行操作时，需要在存储介质上存储该操作后的元数据。例如，当对一个元数据进行修改时，可以直接在存储介质上存储该元数据的地址上用修改后的元数据覆盖原来的元数据。但是这样操作会导致大量不必要的磁盘I/O(Input/Output，输入/输出)，最终会导致降低元数据写入效率。

发明内容

本发明实施例提供一种元数据的处理方法和装置，能够提高元数据的写入效率。

为达到上述目的，本发明的实施例采用如下技术方案：

本发明的一方面，提供一种元数据的处理方法，所述方法包括：

获取目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和，同时获取有效元数据数目；

当所述目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和与所述有效元数据数目的比例超过设定的阈值时，删除所述目录文件存储的元数据操作，在所述目录文件的地址上连续存储所述有效元数据的添加操作；

当所述目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和与所述有效元数据数目的比例未超过设定的阈值时，将所述尚未存储到所述目录文件的元数据操作按照操作时序在所述目录文件的地址上连续存储。

本发明另一方面，提供一种服务器，所述服务器包括：

处理单元，用于获取目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和，同时用于获取有效元数据数目；

存储单元，用于当目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和与所述有效元数据数目的比例超过设定的阈值时，删除所述目录文件存储的元数据操作，在所述目录文件的地址上连续存储所述有效元数据的添加操作；

或者，

所述存储单元，用于当目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和与有效元数据数目的比例未超过设定的阈值时，将所述尚未存储到所述目录文件的元数据操作按照操作时序在所述目录文件的地址上连续存储。

采用上述技术方案后，本发明实施例提供的元数据的处理方法和装置，一方面，由于在磁盘访问中，将元数据操作在目录文件地址连续地存储，另一方面，只需要将有效元数据以添加操作的方式将有效元数据的添加操作存储到目录文件，不会导致大量不必要的磁盘I/O。结合上述两个方面，可以提高元数据的写入效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种元数据的处理方法的流程图；

图2为本发明实施例提供的元数据处理的示意图；

图3为本发明实施例提供的元数据处理的示意图；

图4为本发明实施例提供的服务器的一结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。

图1是本发明实施例提供的一种元数据的处理方法的流程图。参照图1，本发明实施例提供一种元数据的处理方法，所述方法包括：

11、获取目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和，同时获取有效元数据数目。

生成元数据操作时，会将该元数据操作存储到目录文件中。本发明实施例中，元数据操作在目录文件的地址上连续存储。当生成元数据操作，尚未存储到目录文件时，获取目录文件中已经存储的元数据操作的数目和该已经生成但尚未存储到目录文件中的元数据操作数目之和。

所述“有效元数据”在本发明实施例中是指，一个元数据经过元数据操作之后仍有实际意义的元数据。例如，元数据M1在经过被修改为M1’操作之后的有效元数据为M1’。元数据M1、M2，在经过删除M1操作之后，在目录文件中存储元数据M1删除操作，即“删除M1’”，则元数据M1、M2经过删除M1操作后有效元数据为M2，当读取元数据时，根据元数据操作记录，认为该元数据已经删除。

所述元数据操作至少包括元数据添加操作、元数据修改操作或元数据删除操作中的一种。

本发明实施例以及后面的方法、装置实施例中提供的目录文件用来存储元数据操作，根据目录文件存储的元数据操作，可以解析出对应的元数据。

12、当所述目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和与所述有效元数据数目的比例超过设定的阈值时，删除所述目录文件存储的元数据操作，在所述目录文件的地址上连续存储所述有效元数据的添加操作。

在本发明实施例中，所述“设定的阈值”可根据需要进行设定，例如为200％、150％等，本发明对此不作限定。

13、当所述目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和与所述有效元数据数目的比例未超过设定的阈值时，将所述尚未存储到所述目录文件的元数据操作按照操作时序在所述目录文件的地址上连续存储。

进一步地，所述将所述尚未存储到所述目录文件的元数据操作按照操作时序在所述目录文件的地址上连续存储具体包括：

将所述尚未存储到所述目录文件的元数据操作按照操作时序以追加写的方式在所述目录文件的地址上连续存储。

本发明实施中按照元数据操作时序是指按照元数据操作结果发生的先后顺序。

以追加写的方式在目录文件的地址上连续存储是指在目录文件当前存储的最后一个元数据操作的地址的下一个地址上连续存储元数据操作。

所述元数据操作可包括元数据添加操作、元数据修改操作和元数据删除操作。其中，元数据添加操作时，在目录文件中存储一个新的元数据添加操作，并将添加的元数据写入目录文件；元数据修改操作时，在目录文件中存储一个元数据修改操作，并将修改后的元数据写入目录文件；删除一个元数据时，在目录文件中存储一个元数据删除操作。

本发明实施例提供的元数据的处理方法，一方面，由于在磁盘访问中，元数据操作是地址连续的存储到目录文件的；另一方面，只需要以添加操作的方式将有效元数据的添加操作存储到目录文件，不会导致大量不必要的磁盘I/O。结合上述两个方面，可以提高元数据的写入效率。

下面结合图2至图3对本发明实施例进行进一步说明。

首先参照图2，图2中的M0、M1、M2、M3和M4表示元数据，由图2可知，首先，在目录文件存储了添加元数据M0的操作，即“添加M0”，然后在存储添加元数据M0的操作的下一个地址存储添加元数据M1操作，同理依次存储了添加元数据M2、M3、M4操作。修改元数据M3时，并不直接在元数据M3的位置将其修改成M3’，而是在存储添加元数据M4操作之后的下一个地址存储将元数据M3修改成M3’的元数据修改操作，即“修改M3’”。删除元数据M2时，在存储“修改M3’”的下一个地址存储删除元数据M2操作，即“删除M2”。添加元数据M5时，在存储“删除M2”地址的下一个地址存储添加元数据M5操作，即存储“添加M5”。后续执行多个元数据操作：修改M1、M 3、M4时，同理，在操作添加M5之后的连续三个地址执行写内容，存储相应的元数据操作，即存储将M1修改成M1’、将M3’修改成M3”和将M4修改为M4’的操作，分别表示为“修改M1’”、“修改M3””和“修改M4’”。以上描述的元数据操作在目录文件中都是以元数据操作发生的先后时序依次在目录文件的地址上连续存储的。

在图2所示过程中，获取目录文件存储的元数据操作的数目和尚未存储到该目录文件的元数据操作的数目之和，同时获取有效元数据数目，所述“有效元数据”在本发明实施例中是指，一个元数据经过元数据操作之后仍有实际意义的元数据。在本发明实施例当中，元数据M0添加之后没有发生任何操作，则M0为有效元数据；元数据M1添加后，又修改为M1’，则其最终有效的元数据为M1’；元数据M2添加后又经过删除操作，因此不再是有效的元数据，同时，M3”、M4’和M5为有效的元数据。当该目录文件存储的元数据操作的数目和尚未存储到该目录文件的元数据操作的数目之和与有效元数据数目的比例超过设定的阈值时，删除该目录文件存储的元数据操作，在该目录文件的地址上连续存储有效元数据的添加操作。在图2中，设定的阈值举例而言为200％，在执行多个元数据操作：修改M1、M3、M4、删除M2、添加M5后，存储的元数据操作的数目为11，其中已经存储到目录文件中的元数据操作记录数为8，经过一次I/O操作，尚未存储到目录文件的元数据操作数目为3，有效元数据数目为5，满足目录文件存储的元数据操作数目和尚未存储到目录文件的元数据操作数目之和与有效元数据数目的比例超过设定的阈值200％，此时，删除该目录文件存储的所有元数据操作，将有效元数据的添加操作存储到该目录文件。具体到本发明实施例，将目录文件中存储的操作记录“添加M0”、“添加M1”、“添加M2”、“添加M3”、“添加M4”、“修改M3’”、“删除M2’”、“添加M5”、“修改M1’”、“修改M3””和“修改M4’”全部删除，将有效元数据存储到目录文件。具体地可将有效的元数据操作以添加方式存储到该目录文件中，即将元数据操作：“添加M0”、“添加M1’”、“添加M3””、“添加M4’”、“添加M5”存储到目录文件。

存储有效元数据添加操作后，即可进行读取操作。在读元数据时，以有效元数据操作在目录文件中的位置为顺序依次解析所有的元数据操作，恢复出所有有效的元数据。具体过程如下：

按顺序读，每次读的操作和读完该条记录的结果是：

1、添加M0→M0

2、添加M1’→M0、M1’

3、添加M3”→M0、M1’、M3”

4、添加M4’→M0、M1’、M3”、M4’

5、添加M5→M0、M1’、M3”、M4’、M5。

后续过程可依此类推。

如图2所示，当进行添加元数据M5操作之后，即在目录文件存储“删除M2”的下一个地址存储“添加M5”操作后，存储目录文件的服务器发生重启或者其他操作时，此时没有尚未存储的元数据操作，虽然元数据操作的数目与根据该目录文件存储的元数据操作获取的有效元数据数目的比例没有达到上述实施例设定的200％，但是需要解析出元数据。因此，需要根据目录文件存储的元数据操作记录解析出元数据，即以元数据操作在目录文件中的位置为顺序依次解析所有的元数据操作，后面的元数据操作会覆盖前面该元数据操作，恢复出所有有效的元数据。具体过程如下：

按顺序读，每次读的操作和读完该条记录的结果是：

1、添加M0→M0

2、添加M1→M0、M1

3、添加M2→M0、M1、M2

4、添加M3→M0、M1、M2、M3

5、添加M4→M0、M1、M2、M3、M4

6、修改M3’，覆盖M3→M0、M1、M2、M3’、M4

7、删除M2，删除M2对应的元数据→M0、M1、M3’、M4

8、添加M5→M0、M1、M3’、M4、M5。

采用本发明提供的元数据处理方法后，一方面，将元数据操作在目录文件地址连续地存储，另一方面，只需要存储有效元数据的添加操作，不会导致大量不必要的磁盘I/O。结合上述两个方面，可以提高元数据的写入效率。

下面参照图3，由图3可知，在第一次磁盘访问中，通过以追加写的方式地址连续地存储元数据操作到目录文件，执行三个元数据操作：修改M1、M3，删除M4，并且在目录文件存储“添加Mn”操作的下一个地址连续存储“修改M1”、“修改M3”和“删除M4”操作。在第二次磁盘访问中，修改M0、M2，添加Mn+1，通过以追加写的方式在目录文件中地址连续地存储元数据操作，即在目录文件存储“删除M4”操作的下一个地址连续存储“修改M0”、“修改M2”和“添加Mn+1”操作。。其中，在第一次磁盘访问中，写了三个元数据，寻址1次；在第二次磁盘访问中，写了三个元数据，寻址1次。相比于现有元数据的处理方法，大大提高了元数据的写速度。

可见，采用本发明实施例的方案后，将元数据通过修改或者删除而固化到存储介质中时，不会导致大量的不连续写操作，同时也不会导致大量不必要的磁盘I/O，提高了元数据写的效率。

与上述方法实施例相对应，参照图4，本发明实施例还提供一种服务器40，所述服务器40可包括：

处理单元41，用于获取目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和，同时用于获取有效元数据数目。

所述“有效元数据”在本发明实施例中是指，一个元数据经过元数据操作之后仍有实际意义的元数据。例如，元数据M1在经过被修改为M1’操作之后的有效元数据为M1’。元数据M1、M2，在经过删除M1操作之后，记为M1’，则元数据M1、M2经过删除M1操作后有效元数据为M2。

存储单元42，用于当目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和与有效元数据数目的比例超过设定的阈值时，删除该目录文件存储的元数据操作，在该目录文件的地址上连续存储该有效元数据的添加操作；

或者，

存储单元42，用于当该目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和与有效元数据数目的比例未超过设定的阈值时，将该尚未存储到所述目录文件的元数据操作按照操作时序在该目录文件的地址上连续存储。

本发明实施例中的元数据操作至少包括元数据添加操作、元数据修改操作或元数据删除操作中的一种。

本发明实施例提供的服务器，一方面，将元数据操作在目录文件地址连续地存储，另一方面，只需要存储有效元数据的添加操作，不会导致大量不必要的磁盘I/O。结合上述两个方面，可以提高元数据的写入效率。

在一个实施例中提供的服务器，其存储单元42可具体用于：

当目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和与有效元数据数目的比例未超过设定的阈值时，将该尚未存储到该目录文件的元数据操作按照操作时序以追加写的方式在所述目录文件的地址上连续存储。

以追加写的方式在目录文件的地址上连续存储是指在目录文件当前存储的最后一个元数据操作的地址的下一个地址上连续存储元数据操作。

这样保证在存储元数据操作时访问目录文件地址的连续性，减少寻址时间。

将有效元数据的添加操作存储到所述目录文件。从而在有效元数据添加操作存储后，即可进行读取操作。在读有效元数据添加操作时，以元数据操作在目录文件中的位置为顺序依次解析所有的元数据操作恢复出所有有效的元数据。

服务器实施例与本文中所述元数据处理方法相对应，且前面实施例已对元数据处理方法进行了详细描述，因而相关内容可参照前面方法实施例，在此不作赘述。

值得注意的是，上述服务器实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

此外，本发明实施例还提供一种分布式文件系统，所述分布式文件系统中包含有上面任一实施例所述的服务器40。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，所述存储介质可以是只读存储器、磁盘或光盘等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (6)

1.一种元数据的处理方法，其特征在于，所述方法包括：

获取目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和，同时获取有效元数据数目；

当所述目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和与所述有效元数据数目的比例超过设定的阈值时，删除所述目录文件存储的元数据操作，在所述目录文件的地址上连续存储所述有效元数据的添加操作；

当所述目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和与所述有效元数据数目的比例未超过设定的阈值时，将所述尚未存储到所述目录文件的元数据操作按照操作时序在所述目录文件的地址上连续存储。

2.根据权利要求1所述的方法，其特征在于，

所述将所述尚未存储到所述目录文件的元数据操作按照操作时序在所述目录文件的地址上连续存储具体包括：

将所述尚未存储到所述目录文件的元数据操作按照操作时序以追加写的方式在所述目录文件的地址上连续存储。

3.根据权利要求1所述的方法，其特征在于，所述元数据操作至少包括元数据添加操作、元数据修改操作或元数据删除操作中的一种。

4.一种服务器，其特征在于，包括：

处理单元，用于获取目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和，同时用于获取有效元数据数目；

存储单元，用于当目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和与所述有效元数据数目的比例超过设定的阈值时，删除所述目录文件存储的元数据操作，在所述目录文件的地址上连续存储所述有效元数据的添加操作；

或者，

所述存储单元，用于当目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和与有效元数据数目的比例未超过设定的阈值时，将所述尚未存储到所述目录文件的元数据操作按照操作时序在所述目录文件的地址上连续存储。

5.根据权利要求4所述的服务器，其特征在于，所述存储单元，具体用于：

当目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和与有效元数据数目的比例未超过设定的阈值时，将所述尚未存储到所述目录文件的元数据操作按照操作时序以追加写的方式在所述目录文件的地址上连续存储。

6.根据权利要求4所述的服务器，其特征在于，所述元数据操作至少包括元数据添加操作、元数据修改操作或元数据删除操作中的一种。

Images