CN107861842B

CN107861842B - 一种元数据损坏检测方法、系统、设备及存储介质

Info

Publication number: CN107861842B
Application number: CN201711091491.5A
Authority: CN
Inventors: 吕强
Original assignee: Zhengzhou Yunhai Information Technology Co Ltd
Current assignee: Zhengzhou Yunhai Information Technology Co Ltd
Priority date: 2017-11-08
Filing date: 2017-11-08
Publication date: 2021-10-15
Anticipated expiration: 2037-11-08
Also published as: CN107861842A

Abstract

本发明公开了一种元数据损坏检测方法，应用于元数据服务器，该方法包括：接收客户端发送的针对缓存中的目标目录的操作指令；在接收操作指令之后，判断目标目录的数据是否缺损；如果是，则从对象存储服务器中获取目标目录的元数据；对元数据进行数据解析，确定元数据是否为受损数据。应用本发明实施例所提供的技术方案，能够及时地对元数据的损坏进行发现，提高了系统的可维护性。本发明还提供了一种元数据损坏检测系统、设备及计算机可读存储介质，具有相应技术效果。

Description

一种元数据损坏检测方法、系统、设备及存储介质

技术领域

本发明涉及计算机存储技术领域，特别是涉及一种元数据损坏检测方法、系统、设备及存储介质。

背景技术

元数据是描述其它数据的数据，或者可以理解为用于提供某种资源的有关信息的结构数据。元数据可以对信息资源或数据等对象进行描述，其使用目的包括识别并评价资源，实现信息资源的有效发现和查找等。

特别是在分布式文件系统中，元数据显得至关重要。元数据就相当于整个文件系统的门户，要访问存储系统中的数据，就必须先获取相应的元数据，元数据如果出错，会导致相关的文件或者目录无法正确被访问。

在系统出现异常时，例如机器的宕机，网络异常导致的系统频繁重启等，均可能会导致元数据的损坏，其中包括数据的丢失，出错等。但在现有技术的存储系统中，并不对元数据进行检测。由于元数据损坏的情况时有发生，特别在分布式文件系统中，需要访问数据的用户数量也更多，元数据的损坏需要及时被发现以便工作人员进行处理。

综上所述，如何及时地对元数据进行检测，以便及早发现元数据的损坏，是目前本领域技术人员急需解决的技术问题。

发明内容

本发明的目的是提供一种元数据损坏检测方法、系统、设备及存储介质，能够及时地对元数据的损坏进行发现，提高了系统的可维护性。

为解决上述技术问题，本发明提供如下技术方案：

一种元数据损坏检测方法，应用于元数据服务器，该方法包括：

接收客户端发送的针对缓存中的目标目录的操作指令；

在接收所述操作指令之后，判断所述目标目录的数据是否缺损；

如果是，则从对象存储服务器中获取所述目标目录的元数据；

对所述元数据进行数据解析，确定所述元数据是否为受损数据。

优选的，在所述接收客户端发送的针对缓存中的目标目录的操作指令之前，还包括：

重启所述元数据服务器以清除缓存中的目录信息。

优选的，所述从对象存储服务器中获取所述目标目录的元数据，包括：

向对象存储服务器发送针对所述目标目录的元数据读取指令；

获得所述对象存储服务器发送的元数据；其中，所述元数据为所述对象存储服务器根据所述元数据读取指令，从磁盘中读取的数据。

优选的，所述对所述元数据进行数据解析，确定所述元数据是否为受损数据，包括：

对所述元数据进行数据解析，确定所述元数据的各个标识信息；

根据各个所述标识信息，确定所述元数据是否为受损数据。

优选的，所述接收客户端发送的针对缓存中的目标目录的操作指令，包括：

接收客户端发送的针对缓存中的目标目录的浏览指令和/或创建指令和/或删除指令。

优选的，在确定所述元数据为受损数据之后，还包括：

输出所述元数据受损的提示信息。

优选的，所述输出所述元数据受损的提示信息，包括：

向监控进程输出包含所述元数据的受损位置，检测到受损的时间的提示信息。

一种元数据损坏检测系统，应用于元数据服务器，该系统包括以下模块：

操作指令接收模块，用于接收客户端发送的针对缓存中的目标目录的操作指令；

缺损判定模块，用于在接收所述操作指令之后，判断所述目标目录的数据是否缺损，如果是，则触发元数据获取模块；

所述元数据获取模块，用于从对象存储服务器中获取所述目标目录的元数据；

元数据解析模块，用于对所述元数据进行数据解析，确定所述元数据是否为受损数据。

一种元数据损坏检测设备，应用于元数据服务器，该设备包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述任一项元数据损坏检测方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项元数据损坏检测方法的步骤。

应用本发明实施例所提供的技术方案，使用元数据服务器对元数据进行损坏检测。由于本发明的方案是在接收客户端发送的针对缓存中的目标目录的操作指令后，当判断出目标目录的数据缺损时，进行后续步骤。也就是说，每一次客户端需要对目标目录进行操作时，只要发现目标目录的数据缺损，元数据服务器都会进行一次该目标目录相应的元数据是否损坏的检测，也就使得如果元数据损坏时，本发明的方案能够对元数据的损坏及时发现。当目标目录的数据缺损时，可能是保存在对象存储服务器中的元数据损坏导致的，本发明的方案在判断出目标目录的数据缺损时，使用元数据服务器获取保存在对象存储服务器中的元数据，对获得的元数据进行数据解析，确定元数据是否为受损数据。本申请在每次客户端进行操作时，使用元数据服务器自动检测元数据的损坏情况，能够及时地对元数据的损坏进行发现，提高了系统的可维护性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明中一种元数据损坏检测方法的实施流程图；

图2为本发明中一种元数据损坏检测系统的结构示意图；

图3为本发明中一种元数据损坏检测设备的结构示意图。

具体实施方式

本发明的核心是提供一种元数据损坏检测方法，能够及时地对元数据的损坏进行发现，提高了系统的可维护性。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，为本发明中一种元数据损坏检测方法的实施流程图，应用于元数据服务器，该方法包括以下步骤：

S101：接收客户端发送的针对缓存中的目标目录的操作指令。

客户端可以通过发送操作指令以完成对目标目录的操作，元数据服务器可以接收客户端发送的操作指令，目标目录可以是缓存中的任意一个或者多个目录。客户端如果要对缓存中的数据进行操作，例如读取缓存中的数据，必须先获取元数据对应的目录，也就是说，本发明的方案中，每当客户端要对缓存中的数据进行操作，都会触发本申请提供的元数据损坏检测的流程。

在本发明的一种具体实施方式中，步骤S101可以包括：

客户端可以发送浏览指令以对缓存中的目标目录进行浏览操作，也可以发送创建指令进行目标目录的创建操作，还可以发送删除指令进行目标目录的删除操作。

S102：在接收操作指令之后，判断目标目录的数据是否缺损。

元数据服务器在接收到客户端发送的操作指令之后，可以判断目标目录的数据是否缺损。例如，如果目标目录的部分数据无法读取，或者目标目录的数据部分缺失，导致目标目录不完整，就可以判断出目标目录的数据为缺损数据。目标目录的数据如果缺损，可能是由于存储在对象存储服务器中的元数据损坏导致的，当然，也可能是其他原因，例如从对象存储服务器获得元数据的数据传输过程出现了问题，导致缓存中的目标目录不完整。因此，本发明的方案，在判断出目标目录的数据缺损时，进入步骤S103，获得元数据，以对元数据进行解析，确定元数据是否受损。

S103：从对象存储服务器中获取目标目录的元数据。

由于元数据保存在对象存储服务器中，因此需要从对象存储服务器中获取目标目录的元数据。在判断出目标目录的数据为缺损数据时，元数据服务器可以触发一个元数据获取的操作，例如触发readdir的操作，从对象存储服务器中获取目标目录的元数据。

S104：对元数据进行数据解析，确定元数据是否为受损数据。

在获取目标目录的元数据后，元数据服务器对元数据进行数据解析，根据数据解析的结果，可以确定元数据是否为受损数据。例如，对元数据进行解析后，如果确定出解析结果不完整，则可以确定元数据部分丢失，如果对元数据解析时，解析结果异常，可以确定元数据中存在异常数据等。元数据具体的损坏情况，包括损坏的程度及损坏的类别等，可以根据具体的解析结果进行确定。当然，如果无法从对象存储服务器中获取元数据，可以说明在对象存储服务器中的元数据丢失，则也可以确定元数据损坏。

在本发明的一种具体实施方式中，在步骤S101之前，还包括：

重启元数据服务器以清除缓存中的目录信息。

当客户端对目标目录进行操作时，在部分情况下缓存中保存有目标目录的数据，如果缓存中的目标目录的数据为完整的数据，在接收客户端的操作指令之后，元数据服务器会判断出目标目录的数据不缺损，但缓存中的这些此前保存的目标目录的数据完整，并不意味着目标目录对应的，保存在对象存储服务器中的元数据就是不缺损的数据。例如，目标目录对应的元数据在A时刻为完整的，并且缓存中也保存有完整的目标目录，在B时刻，元数据丢失，但缓存中依然保存有目标目录，则客户端对目标目录进行操作时，确定目标目录完整，就无法及时发现元数据缺损。而采用本发明的该种实施方案，可以在客户端对缓存中的目标目录进行操作之前，重启元数据服务器以清除缓存中的目录信息，避免了缓存中保存的目录完整，而对应的元数据不完整的情况，有利于及时发现元数据的损坏。

在本发明的一种具体实施方式中，步骤S103包括以下两个步骤：

步骤一：向对象存储服务器发送针对目标目录的元数据读取指令；

步骤二：获得对象存储服务器发送的元数据；其中，元数据为对象存储服务器根据元数据读取指令，从磁盘中读取的数据。

为了便于描述，将上述两个步骤合并说明。

在判断出目标目录的数据为缺损数据时，元数据服务器进行元数据的获取。例如可以触发目标目录的readdir的操作，从对象存储服务器中获取目标目录的元数据。具体的，元数据服务器可以向对象存储服务器发送针对目标目录的元数据读取指令，对象存储服务器接收到元数据读取指令之后，可以根据该指令，从磁盘中进行元数据的读取，然后向元数据服务器发送读取到的目标目录的元数据，元数据服务器接收对象存储服务器发送的元数据。

在本发明的一种具体实施方式中，步骤S104可以包括以下两个步骤：

步骤一：对元数据进行数据解析，确定元数据的各个标识信息；

步骤二：根据各个标识信息，确定元数据是否为受损数据。

对元数据进行数据解析，确定元数据是否为受损数据，可以有多种方法。在本发明的该种实施例中，可以对元数据进行数据解析，确定元数据的各个标识信息，再根据各个标识信息，确定元数据是否为受损数据。例如，可以确定解析出的标识是否完整，是否有误，以确定元数据是否为受损数据。

在本发明的一种具体实施方式中，在确定元数据为受损数据之后，还可以包括：

输出元数据受损的提示信息。例如，当确定目标目录的元数据为受损数据时，可以输出一个metadata damage的提示信息。在具体实施时，可以将提示信息上报给监控进程，以便工作人员在观察集群状态时，可以发现该提示信息并进行处理。在输出元数据受损的提示信息时，可以向监控进程输出包含元数据的受损位置，检测到受损的时间的提示信息，以便后续对受损元数据进行处理时，能够提高对受损元数据的处理效率。

相应于上面的方法实施例，本发明实施例还提供了一种元数据损坏检测系统，下文描述的元数据损坏检测系统与上文描述的元数据损坏检测方法可相互对应参照。

参见图2所示，为本发明中一种元数据损坏检测系统的结构示意图，该系统应用于元数据服务器，可以包括以下模块：

操作指令接收模块201，用于接收客户端发送的针对缓存中的目标目录的操作指令；

缺损判定模块202，用于在接收操作指令之后，判断目标目录的数据是否缺损，如果是，则触发元数据获取模块203；

元数据获取模块203，用于从对象存储服务器中获取目标目录的元数据；

元数据解析模块204，用于对元数据进行数据解析，确定元数据是否为受损数据。

在本发明的一种具体实施方式中，在接收客户端发送的针对缓存中的目标目录的操作指令之前，还包括：

重启模块，用于重启元数据服务器以清除缓存中的目录信息。

在本发明的一种具体实施方式中，元数据获取模块203，具体用于：

向对象存储服务器发送针对目标目录的元数据读取指令；

获得对象存储服务器发送的元数据；其中，元数据为对象存储服务器根据元数据读取指令，从磁盘中读取的数据。

在本发明的一种具体实施方式中，元数据解析模块204，具体用于：

对元数据进行数据解析，确定元数据的各个标识信息；

根据各个标识信息，确定元数据是否为受损数据。

在本发明的一种具体实施方式中，操作指令接收模块201，具体用于：

在本发明的一种具体实施方式中，在确定元数据为受损数据之后，还包括：

提示信息输出模块，用于输出元数据受损的提示信息。

在本发明的一种具体实施方式中，提示信息输出模块，具体用于：向监控进程输出包含元数据的受损位置，检测到受损的时间的提示信息。

相应于上面的方法及系统实施例，本发明实施例还提供了一种元数据损坏检测设备以及一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述任一项元数据损坏检测方法的步骤。下文描述的元数据损坏检测设备与上文描述的元数据损坏检测方法及系统可相互对应参照。

参见图3所示，为本发明中一种元数据损坏检测设备的结构示意图，应用于元数据服务器，该设备包括：

存储器301，用于存储计算机程序；

处理器302，用于执行计算机程序时实现上述任一项元数据损坏检测方法的步骤。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的系统、设备及计算机可读存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims

1.一种元数据损坏检测方法，其特征在于，应用于元数据服务器，包括：

接收客户端发送的针对缓存中的目标目录的操作指令；

对所述元数据进行数据解析，确定所述元数据是否为受损数据；

所述对所述元数据进行数据解析，确定所述元数据是否为受损数据，包括：

根据各个所述标识信息，确定所述元数据是否为受损数据。

2.根据权利要求1所述的方法，其特征在于，在所述接收客户端发送的针对缓存中的目标目录的操作指令之前，还包括：

重启所述元数据服务器以清除缓存中的目录信息。

3.根据权利要求1所述的方法，其特征在于，所述从对象存储服务器中获取所述目标目录的元数据，包括：

4.根据权利要求1所述的方法，其特征在于，所述接收客户端发送的针对缓存中的目标目录的操作指令，包括：

5.根据权利要求1至4任一项所述的方法，其特征在于，在确定所述元数据为受损数据之后，还包括：

输出所述元数据受损的提示信息。

6.根据权利要求5所述的方法，其特征在于，所述输出所述元数据受损的提示信息，包括：

7.一种元数据损坏检测系统，其特征在于，应用于元数据服务器，包括以下模块：

元数据解析模块，用于对所述元数据进行数据解析，确定所述元数据是否为受损数据；

所述元数据解析模块，具体用于：

对元数据进行数据解析，确定元数据的各个标识信息；

根据各个标识信息，确定元数据是否为受损数据。

8.一种元数据损坏检测设备，其特征在于，应用于元数据服务器，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述元数据损坏检测方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述元数据损坏检测方法的步骤。