CN104572350A - 一种元数据处理方法及装置 - Google Patents

Abstract

本发明实施例公开了一种元数据处理方法及装置，方法包括：1)备份修改元数据的操作日志，将备份的修改元数据的操作日志的状态标识设置为有效；2)写修改元数据的操作日志；3)根据所写的操作日志修改元数据正本；4)确定备份的修改元数据的操作日志与当前的元数据正本是否匹配；5)若不匹配，则将备份的修改元数据的操作日志的状态标识设置为无效。本发明实施例能够解决备份操作对事务的依赖问题，减少备份操作对系统性能的冲击，同时还能确保备份数据准确可靠。

Description

一种元数据处理方法及装置

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种元数据处理方法及装置。

背景技术

虚拟化的冗余独立硬盘阵列(Redundant array of independent disks，RAID)2.0技术，由于其固有的优点例如硬盘重构速度快、随机输入/输出(Input/Output，I/O)性能高等，颠覆了传统的RAID技术，越来越多的存储设备提供商正逐渐采纳该技术。

硬盘的虚拟化产生额外的管理数据称为元数据，元数据的可靠性是存储系统可靠性的核心，决定了整个系统的可靠性。对于元数据的修改，业界普遍采用以下方法：实时备份修改元数据的操作日志，在元数据正本损坏的场景下，通过备份的操作日志快速重建元数据。

元数据修改流程如图5所示，为了确保修改操作的可靠性，修改操作采用事务机制，修改信息先写操作日志，写操作日志成功后再根据操作日志修改元数据正本，并持久化修改后的元数据正本。为了提高可靠性，通常在根据操作日志修改元数据正本的同时，执行备份操作日志的动作，备份操作和修改操作同属于一个事务操作，确保了备份操作日志和元数据正本的匹配。

从上面的描述可以看出，现有技术中，备份操作和修改操作同时进行，备份信息的可靠性依赖事务框架的可靠性，且备份操作日志属于事务操作的一部分，增加了事务的负担，影响了系统性能。

发明内容

有鉴于此，本发明实施例提供了一种元数据处理方法及装置，能够解决备份操作对事务的依赖问题，减少备份操作对系统性能的冲击，同时还能确保备份数据准确可靠。

第一方面，本发明实施例提供的元数据处理方法，包括以下步骤：

1)备份修改元数据的操作日志，将备份的修改元数据的操作日志的状态标识设置为有效；

2)写修改元数据的操作日志；

3)根据所写的修改元数据的操作日志修改元数据正本；

4)确定所述备份的修改元数据的操作日志与当前的元数据正本是否匹配；

5)若不匹配，则将所述备份的修改元数据的操作日志的状态标识设置为无效。

结合第一方面，在第一方面的第一种实施方式中，步骤4)确定所述备份的修改元数据的操作日志与当前的元数据正本是否匹配包括：

当步骤2)或步骤3)执行失败时，确定所述备份的修改元数据的操作日志与所述当前的元数据正本是否匹配。

结合第一方面，在第一方面的第二种实施方式中，步骤4)确定所述备份的修改元数据的操作日志与当前的元数据正本是否匹配包括：

在执行步骤2)至步骤5)中的任意一个步骤中出现控制器故障或所述控制器复位重启时，确定所述备份的修改元数据的操作日志与所述当前的元数据正本是否匹配。

结合第一方面的第二种实施方式，在第一方面的第三种实施方式中，所述在执行步骤2)至步骤5)中的任意一个步骤中出现所述控制器复位重启时，确定所述备份的修改元数据的操作日志与所述当前的元数据正本是否匹配包括：

当在执行步骤2)至步骤5)中的任意一个步骤中出现所述控制器复位重启时，加载所述当前的元数据正本，确定所述备份的修改元数据的操作日志与所述当前的元数据正本是否匹配。

结合第一方面，或第一方面的第一种实施方式，或第一方面的第二种实施方式，或第一方面的第三种实施方式，在第一方面的第四种实施方式中，所述方法还包括：

当所述元数据正本损坏时，根据备份的修改元数据的操作日志重建元数据正本。

第二方面，本发明实施例提供的元数据处理装置，包括：

备份单元，用于备份修改元数据的操作日志；

设置单元，用于将备份的修改元数据的操作日志的状态标识设置为有效；

写处理单元，用于写修改元数据的操作日志；

修改单元，用于根据所述写处理单元所写的修改元数据的操作日志修改元数据正本；

确定单元，用于确定所述备份的修改元数据的操作日志与当前的元数据正本是否匹配；

所述设置单元还用于，当所述备份的修改元数据的操作日志与所述当前的元数据正本不匹配时，将所述备份的修改元数据的操作日志的状态标识设置为无效。

结合第二方面，在第二方面的第一种实施方式中，所述确定单元确定所述备份的修改元数据的操作日志与当前的元数据正本是否匹配包括：

在所述写处理单元或所述修改单元操作失败时，所述确定单元确定所述备份的修改元数据的操作日志与所述当前的元数据正本是否匹配。

结合第二方面，在第二方面的第二种实施方式中，所述确定单元确定所述备份的修改元数据的操作日志与当前的元数据正本是否匹配包括：

在所述写处理单元、所述修改单元、所述确定单元及所述设置单元中的任意一个单元操作的过程中出现控制器故障或所述控制器复位重启时，所述确定单元确定所述备份的修改元数据的操作日志与所述当前的元数据正本是否匹配。

结合第二方面的第二种实施方式，在第二方面的第三种实施方式中，在所述写处理单元、所述修改单元、所述确定单元及所述设置单元中的任意一个单元操作的过程中出现所述控制器复位重启时，所述确定单元确定所述备份的修改元数据的操作日志与所述当前的元数据正本是否匹配包括：

在所述写处理单元、所述修改单元、所述确定单元及所述设置单元中的任意一个单元操作的过程中出现所述控制器复位重启时，所述确定单元加载所述当前的元数据正本，确定所述备份的修改元数据的操作日志与所述当前的元数据正本是否匹配。

结合第二方面，或第二方面的第一种实施方式，或第二方面的第二种实施方式，或第二方面的第三种实施方式，在第二方面的第四种实施方式中，所述装置还包括：

元数据重建单元，用于当所述元数据正本损坏时，根据备份的修改元数据的操作日志重建元数据正本。

从以上技术方案可以看出，本发明实施例具有以下优点：

本发明实施例中，元数据处理方法包括备份修改元数据的操作日志，将备份的修改元数据的操作日志的状态标识设置为有效，写修改元数据的操作日志，根据所写的修改元数据的操作日志修改元数据正本，确定备份的修改元数据的操作日志与当前的元数据正本是否匹配，若不匹配，则将备份的修改元数据的操作日志的状态标识设置为无效。本发明实施例中，由于备份操作在元数据修改操作之前完成，从而解决了备份操作对事务的依赖问题，减少了备份操作对系统性能的冲击，且增加了确认备份的修改元数据的操作日志与当前的元数据正本是否匹配的步骤，从而确保了备份数据准确可靠。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明元数据处理方法一个实施例示意图；

图2为本发明元数据处理方法另一实施例示意图；

图3为本发明元数据处理装置一个实施例示意图；

图4为本发明元数据处理装置另一实施例示意图；

图5为现有技术中元数据处理方法一个实施例示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员所获得的所有其它实施例，都属于本发明保护的范围。

本发明提供了一种元数据处理方法及装置，能够解决备份操作对事务的依赖问题，减少备份操作对系统性能的冲击，同时还能确保备份数据准确可靠。

请参阅图1，本发明元数据处理方法一个实施例包括如下步骤：

101、备份修改元数据的操作日志，将备份的修改元数据的操作日志的状态标识设置为有效；

102、写修改元数据的操作日志；

103、根据所写的修改元数据的操作日志修改元数据正本；

104、确定备份的修改元数据的操作日志与当前的元数据正本是否匹配，若不匹配，则执行步骤105，否则，执行步骤106结束处理；

105、将备份的修改元数据的操作日志的状态标识设置为无效。

图1仅表明本发明元数据处理方法一个实施例中包括上述5个步骤，在具体实现中，可根据情况增加一个步骤或删除一个步骤，在不脱离本发明原理的前提下，所获得的其它实施方式均在本发明的保护范围之内。例如，在实际实现中，步骤102如果执行失败，则可能不再执行步骤103，而步骤104照常执行。

具体实现中，步骤104可在如下场景出现时执行：

第一，步骤102执行失败。此时步骤103可不再执行，直接执行步骤104，由于此时元数据正本还未修改，因此步骤104中将确定备份的修改元数据的操作日志与当前的元数据正本不匹配，需要将备份的修改元数据的操作日志的状态标识设置为无效。

第二，步骤103执行失败。此时元数据正本还未修改，步骤104中将确定备份的修改元数据的操作日志与当前的元数据正本不匹配，需要将备份的修改元数据的操作日志的状态标识设置为无效。如果步骤103执行成功，则元数据正本已经被修改，则备份的修改元数据的操作日志与当前的元数据正本匹配，可以结束处理。另外，如果步骤101执行失败，则可以认为针对本次的修改操作没有备份操作日志，而原有备份的操作日志与元数据正本是匹配的。

第三，执行步骤102至105中的任意一个步骤中出现控制器故障。若在步骤103执行完成之前，控制器发生故障，此时元数据正本还未做修改，备份的修改元数据的操作日志与当前的元数据正本将不匹配，因此需要将备份的修改元数据的操作日志的状态标识设置为无效；若在步骤103执行完成之后，控制器发生故障，此时元数据正本已完成修改，备份的修改元数据的操作日志与当前的元数据正本匹配，则保持原本设置的备份的修改元数据的操作日志的状态标识为有效的状态。

当控制器故障导致元数据正本损坏时，例如对于包含5个Chunk(即大容量物理硬盘按一定大小切割出来的小块硬盘空间)的Chunk组，其元数据正本为Chunk{0，1，2，3，4}，当任意一个Chunk如Chunk2发生故障时，系统启动重构，将Chunk2重构到Chunk2’，元数据正本需要修改为Chunk{0，1，2’，3，4}。若在步骤101或102之后，元数据正本损坏，理论上说，备份的修改元数据的操作日志与元数据正本不匹配，备份的修改元数据的操作日志的状态标识为无效，但是由于修改操作是在修改元数据的操作日志生成之后执行的，上面的例子中即在修改元数据正本之前，Chunk2已经重构到Chunk2’，而Chunk2’内是有效数据，这种情况下，在重建元数据正本时备份的修改元数据的操作日志是有效的。若在步骤103之后，元数据正本损坏，备份的修改元数据的操作日志与当前的元数据正本匹配，利用备份的修改元数据的操作日志即可重建元数据正本。

第四，执行步骤102至105中的任意一个步骤中出现控制器复位重启。这种情况下确定备份的修改元数据的操作日志与当前的元数据正本是否匹配可参阅图2，具体如下：

201、加载当前的元数据正本；

202、确定备份的修改元数据的操作日志与当前的元数据正本是否匹配，若不匹配，则执行步骤203，否则，执行步骤204结束处理；

203、将备份的修改元数据的操作日志的状态标识设置为无效。

具体实现中，在执行上述步骤102至105中的任意一个步骤中出现控制器复位重启时，均需加载当前的元数据正本，确定备份的修改元数据的操作日志与当前的元数据正本是否匹配，以确保备份的操作日志准确可靠。当控制器复位重启导致元数据正本损坏时，可参阅前述控制器故障导致元数据正本损坏时的处理方法，利用备份的修改元数据的操作日志重建元数据正本。

本实施例提供的方法，由于备份操作在元数据正本修改操作之前完成，从而解决了备份操作对事务的依赖问题，减少了备份操作对系统性能的冲击，且增加了确认备份的修改元数据的操作日志与当前的元数据正本是否匹配的步骤，从而确保了备份数据准确可靠。

下面介绍本发明提供的元数据处理装置，请参阅图3，本实施例的元数据处理装置300包括：

备份单元301，用于备份修改元数据的操作日志；

设置单元302，用于将备份的修改元数据的操作日志的状态标识设置为有效；

写处理单元303，用于写修改元数据的操作日志；

修改单元304，用于根据写处理单元303所写的修改元数据的操作日志修改元数据正本；

确定单元305，用于确定备份的修改元数据的操作日志与当前的元数据正本是否匹配；

设置单元302还用于，当确定单元305确定备份的修改元数据的操作日志与当前的元数据正本不匹配时，将备份的修改元数据的操作日志的状态标识设置为无效。

另外，本实施例中的元数据处理装置300还可以包括元数据重建单元306，元数据重建单元306用于当元数据正本损坏时，根据备份的修改元数据的操作日志重建元数据。

为进一步理解本实施例的元数据处理装置，下面以一个具体应用场景描述本实施例的元数据处理装置300内的各个单元之间的交互过程，具体如下：

首先，备份单元301备份修改元数据的操作日志，备份的时候设置单元302将备份的修改元数据的操作日志的状态标识设置为有效。在备份完成之后，写处理单元303写修改元数据的操作日志，修改单元304根据写处理单元303所写的修改元数据的操作日志修改元数据得到元数据正本。在这个过程中，写处理单元303或修改单元304可能处理失败，为保证备份的操作日志的准确性，确定单元305需要在写处理单元303处理失败或修改单元304处理失败时，确定备份的修改元数据的操作日志与当前的元数据正本是否匹配。

具体地，若写处理单元303处理失败，则修改单元304可不再进行处理，确定单元305将确定备份的修改元数据的操作日志与当前的元数据正本不匹配，设置单元302需要将备份的修改元数据的操作日志的状态标识设置为无效。若修改单元304处理失败，则确定单元305将确定备份的修改元数据的操作日志与当前的元数据正本不匹配，设置单元302需要将备份的修改元数据的操作日志的状态标识设置为无效。若修改单元304处理成功，则备份的修改元数据的操作日志与当前的元数据正本匹配，可以结束处理。

另外，在写处理单元303、修改单元304、确定单元305及设置单元302中的任意一个单元操作的过程中都可能出现控制器故障或控制器复位重启，因此，在这个过程中如果出现控制器故障或控制器复位重启，均需确定备份的修改元数据的操作日志与当前的元数据正本是否匹配。

若控制器故障发生在修改单元304处理完成之前，则元数据正本还未做修改，确定单元305确定备份的修改元数据的操作日志与当前的元数据正本不匹配，因此需要设置单元302将备份的修改元数据的操作日志的状态标识设置为无效；若控制器故障发生在修改单元304处理完成之后，则元数据正本已完成修改，此时备份的修改元数据的操作日志与当前的元数据正本匹配，则保持原本设置单元302设置的备份的修改元数据的操作日志的状态标识为有效的状态。

无论在哪个单元的处理过程中出现控制器复位重启，均需要确定单元305确定备份的修改元数据的操作日志与当前的元数据正本是否匹配，确定单元305需要先加载当前的元数据正本，确定备份的修改元数据的操作日志与加载的元数据正本是否匹配，以确保备份的操作日志准确可靠。

当控制器故障或控制器复位重启导致元数据正本损坏时，元数据重建单元306可利用备份的修改元数据的操作日志重建元数据正本。

需要说明的是，本实施例的元数据处理装置300还可以执行前述方法实施例中的其它步骤，此处不再赘述。

本实施例中，在写处理单元写修改元数据的操作日志之前，备份单元先备份修改元数据的操作日志，并由设置单元将备份的操作日志的状态标识设置为有效，修改单元根据写处理单元所写的操作日志修改元数据正本，由于备份操作在元数据修改操作之前完成，从而解决了备份操作对事务的依赖问题，减少了备份操作对系统性能的冲击，且通过确认单元确认备份的修改元数据的操作日志与元数据正本是否匹配，从而确保了备份数据准确可靠。

下面对本发明实施例中的元数据处理装置400进行进一步说明，请参阅图4，元数据处理装置400包括：

处理器(processor)410，通信接口(Communications Interface)420，存储器(memory)430，总线440。

处理器410，通信接口420，存储器430通过总线440完成相互间的通信。

通信接口420，用于与网元通信。

处理器410，用于执行程序432。

具体地，程序432可以包括程序代码，所述程序代码包括计算机操作指令。

处理器410可能是一个中央处理器CPU，或者是特定集成电路ASIC(Application Specific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。

存储器430，用于存放程序432。存储器430可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序432具体可以包括：

备份单元301，用于备份修改元数据的操作日志；

设置单元302，用于将备份的修改元数据的操作日志的状态标识设置为有效；

写处理单元303，用于写修改元数据的操作日志；

修改单元304，用于根据所述写处理单元所写的修改元数据的操作日志修改元数据正本；

确定单元305，用于确定所述备份的修改元数据的操作日志与当前的元数据正本是否匹配；

设置单元302还用于，当备份的修改元数据的操作日志与当前的元数据正本不匹配时，将所述备份的修改元数据的操作日志的状态标识设置为无效。

程序432中各单元的具体实现可以参见图3所示实施例中的相应单元，在此不赘述。

另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本发明而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘，U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上对本发明实施例所提供的一种元数据处理方法及装置进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，因此，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种元数据处理方法，其特征在于，包括以下步骤：

1)备份修改元数据的操作日志，将备份的修改元数据的操作日志的状态标识设置为有效；

2)写修改元数据的操作日志；

3)根据所写的修改元数据的操作日志修改元数据正本；

4)确定所述备份的修改元数据的操作日志与当前的元数据正本是否匹配；

5)若不匹配，则将所述备份的修改元数据的操作日志的状态标识设置为无效。

2.如权利要求1所述的方法，其特征在于，步骤4)确定所述备份的修改元数据的操作日志与当前的元数据正本是否匹配包括：

当步骤2)或步骤3)执行失败时，确定所述备份的修改元数据的操作日志与所述当前的元数据正本是否匹配。

3.如权利要求1所述的方法，其特征在于，步骤4)确定所述备份的修改元数据的操作日志与当前的元数据正本是否匹配包括：

在执行步骤2)至步骤5)中的任意一个步骤中出现控制器故障或所述控制器复位重启时，确定所述备份的修改元数据的操作日志与所述当前的元数据正本是否匹配。

4.如权利要求3所述的方法，其特征在于，所述在执行步骤2)至步骤5)中的任意一个步骤中出现所述控制器复位重启时，确定所述备份的修改元数据的操作日志与所述当前的元数据正本是否匹配包括：

当在执行步骤2)至步骤5)中的任意一个步骤中出现所述控制器复位重启时，加载所述当前的元数据正本，确定所述备份的修改元数据的操作日志与所述当前的元数据正本是否匹配。

5.如权利要求1至4任意一项所述的方法，其特征在于，所述方法还包括：

当所述元数据正本损坏时，根据备份的修改元数据的操作日志重建元数据正本。

6.一种元数据处理装置，其特征在于，包括：

备份单元，用于备份修改元数据的操作日志；

设置单元，用于将备份的修改元数据的操作日志的状态标识设置为有效；

写处理单元，用于写修改元数据的操作日志；

修改单元，用于根据所述写处理单元所写的修改元数据的操作日志修改元数据正本；

确定单元，用于确定所述备份的修改元数据的操作日志与当前的元数据正本是否匹配；

所述设置单元还用于，当所述备份的修改元数据的操作日志与所述当前的元数据正本不匹配时，将所述备份的修改元数据的操作日志的状态标识设置为无效。

7.如权利要求6所述的装置，其特征在于，所述确定单元确定所述备份的修改元数据的操作日志与当前的元数据正本是否匹配包括：

在所述写处理单元或所述修改单元操作失败时，所述确定单元确定所述备份的修改元数据的操作日志与所述当前的元数据正本是否匹配。

8.如权利要求6所述的装置，其特征在于，所述确定单元确定所述备份的修改元数据的操作日志与当前的元数据正本是否匹配包括：

在所述写处理单元、所述修改单元、所述确定单元及所述设置单元中的任意一个单元操作的过程中出现控制器故障或所述控制器复位重启时，所述确定单元确定所述备份的修改元数据的操作日志与所述当前的元数据正本是否匹配。

9.如权利要求8所述的装置，其特征在于，在所述写处理单元、所述修改单元、所述确定单元及所述设置单元中的任意一个单元操作的过程中出现所述控制器复位重启时，所述确定单元确定所述备份的修改元数据的操作日志与所述当前的元数据正本是否匹配包括：

在所述写处理单元、所述修改单元、所述确定单元及所述设置单元中的任意一个单元操作的过程中出现所述控制器复位重启时，所述确定单元加载所述当前的元数据正本，确定所述备份的修改元数据的操作日志与所述当前的元数据正本是否匹配。

10.如权利要求6至9任意一项所述的装置，其特征在于，所述装置还包括：

元数据重建单元，用于当所述元数据正本损坏时，根据备份的修改元数据的操作日志重建元数据正本。