CN110704241B - 一种文件元数据的恢复方法、装置、设备及介质 - Google Patents

Abstract

本发明公开了一种文件元数据的恢复方法，包括：按照预设的扫描规则，确定当前扫描次对应的多个扫描对象；对多个扫描对象进行并发扫描；判断各扫描对象是否为目标对象；其中，目标对象具体为最后写入可写范围中的数据对象；如果是，则根据目标对象的写入区段，确定文件数据的范围信息。由此可见，本发明无需对每个对象均进行扫描，大大减少了扫描的次数；并在判断最后写入可写范围中的数据对象时，采用了并发扫描的方式；当文件很大时，可快速完成整个扫描过程，提高了元数据恢复地速度和效率。此外，本发明所提供的一种文件元数据的恢复装置、设备及存储介质。

Description

一种文件元数据的恢复方法、装置、设备及介质

技术领域

本发明涉及数据存储技术领域，特别是涉及一种文件元数据的恢复方法、装置、设备及介质。

背景技术

在分布式文件系统集群使用过程中，通常采用异步的方式更新元数据，即通过数据管理模块先写入真实的文件数据，之后客户端在将缓存在内存中的文件数据的范围、文件修改时间等元数据信息更新到元数据服务器(MDS)中，实现元数据的更新。但是，采用异步的方式更新元数据可能导致文件元数据信息不正确的问题；且当客户端模块所在的节点发生断电或宕机时，则会导致其缓存的文件元数据信息永久丢失。因此，在以上情况中，对元数据信息进行正确地恢复是十分重要的步骤。

目前，对元数据信息进行恢复采用的方法是对文件数据的范围和文件修改时间两方面同时进行恢复。由于需要通过扫描每个对象才能确定出文件的最新的修改时间。因此，现有技术中恢复文件数据的范围时也只能对每一个对象均进行扫描，从而计算出真实写入的文件数据的范围信息；其中，对象由包含有真实的文件数据的大文件拆分而成。例如，客户端在文件写入过程中向MDS申请分配的可写范围区段为0～2G，但在元数据信息丢失时，该写入区段并非全部被写入。元数据信息恢复时，需从0开始扫描每个对象，从而得到文件数据占用的可写范围，也就是文件数据的范围信息。

但是，恢复文件修改时间等其他元数据信息可在恢复文件数据的范围信息后再进行，并不影响文件的读写操作；且当写入的文件数据很大时，文件数据将被拆分为大量的对象，扫描工作量增大，采用现有技术中的方法恢复文件数据的范围信息时，扫描可写范围中每个对象使整个扫描的过程非常耗时，不利于实现元数据高效、省时地恢复。

发明内容

本发明的目的是提供一种文件元数据的恢复方法、装置、设备及介质，通过在扫描对象的过程中，采用并发扫描的方式，从而减少扫描的次数，提高元数据恢复地速度和效率。

为解决上述技术问题，本发明提供一种文件元数据的恢复方法，包括：

按照预设的扫描规则，确定当前扫描次对应的多个扫描对象；

对多个所述扫描对象进行并发扫描；

判断各所述扫描对象是否为目标对象；其中，所述目标对象具体为最后写入可写范围中的数据对象；

如果是，则根据所述目标对象的写入区段，确定文件数据的范围信息。

优选地，所述扫描规则具体为：

将扫描开始位置设定为所述可写范围的最大值。

优选地，所述判断各所述扫描对象是否为目标对象具体包括：

判断所述扫描对象是否包含真实数据；

如果是，判断与所述扫描对象相邻的下一对象是否包含真实数据；

如果否，则说明所述扫描对象为所述目标对象。

优选地，还包括：

生成用于记录所述扫描对象及扫描时间的日志。

优选地，还包括：

显示确定的所述文件数据的范围信息。

优选地，还包括：

判断并发扫描过程是否正常进行；

如果否，保存当前扫描结果并在所述日志中进行异常提示。

优选地，还包括：

根据预先存储的运维人员的联系方式，通知所述运维人员进行异常处理。

为解决上述技术问题，本发明还提供一种文件元数据的恢复装置，包括：

第一确定模块，用于按照预设的扫描规则，确定当前扫描次对应的多个扫描对象；

扫描模块，用于对多个所述扫描对象进行并发扫描；

判断模块，用于判断各所述扫描对象是否为目标对象；其中，所述目标对象具体为最后写入可写范围中的数据对象；如果是，则进入第二确定模块；

第二确定模块，用于根据所述目标对象的写入区段，确定文件数据的范围信息。

为解决上述技术问题，本发明还提供一种文件元数据的恢复设备，包括存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上述任一项所述的文件元数据的恢复方法的步骤。

为解决上述技术问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的文件元数据的恢复方法的步骤。

本发明所提供的一种文件元数据的恢复方法，首先按照预设的扫描规则，确定当前扫描次对应的多个扫描对象；并对多个扫描对象进行并发扫描，在每次扫描结束后判断各扫描对象是否为目标对象；也就是判断是否扫描到了最后写入可写范围中的数据对象；然后，通过得到的最后写入可写范围中的数据对象的写入区段，确定出整个文件数据的范围信息，从而避免了扫描每一个对象的过程。由此可见，本发明无需对每个对象均进行扫描，大大减少了扫描的次数；并在判断最后写入可写范围中的数据对象时，采用了并发扫描的方式；当文件很大时，可快速完成整个扫描过程，提高了元数据恢复地速度和效率。

此外，本发明所提供的一种文件元数据的恢复装置、设备及存储介质与上述方法对应，具有同样的有益效果。

附图说明

为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种文件元数据的恢复方法的流程图；

图2为本发明实施例提供的另一种文件元数据的恢复方法的流程图；

图3为本发明实施例提供的一种文件元数据的恢复装置的结构图；

图4为本发明实施例提供的一种文件元数据的恢复设备的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本发明保护范围。

本发明的核心是提供一种文件元数据的恢复方法、装置、设备及介质，通过在扫描对象的过程中，采用并发扫描的方式，从而减少扫描的次数，提高元数据恢复地速度和效率。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。

图1为本发明实施例提供的一种文件元数据的恢复方法的流程图；如图1所示，本发明实施例提供的一种文件元数据的恢复方法，包括步骤S101-步骤S104：

步骤S101：按照预设的扫描规则，确定当前扫描次对应的多个扫描对象；

步骤S102：对多个扫描对象进行并发扫描；

可以理解地，客户端在文件写入过程中会向MDS申请分配可写范围区段，当客户端即将写满该可写范围区段后，会向MDS做同步更新元数据操作，并申请新的可写范围区段；MDS接到申请后会首先更新元数据，然后重新分配可写范围区段给客户端。客户端每次在新申请的可写范围区段将要写满时，向MDS做同步更新元数据操作。由此可知，元数据中的文件数据的范围信息为上一可写范围区段将被写满时文件数据的范围，并非记录了当前文件数据的范围信息。

需要说明的是，为客户端分配的可写范围在没有被写满时，一部分用于大文件拆分后的数据对象的写入，另一部分为空，没有被写入数据；本实施例将被写入数据的部分中的对象作为数据对象，将没有被写入数据的部分看作由多个空数据对象组成。数据对象和空数据对象均可作为扫描对象。并且，由于大文件写入时被拆分为固定大小的数据对象，每个数据对象按顺序依次写入可写范围区段，因此每个数据对象占用的可写范围是确定的，且占用的可写范围的区段也是固定的。对于空数据对象来说，在本实施例中对其占用的可写范围不作限定。一般情况下，为了便于后续操作，可将每个空数据对象看作与数据对象占用相同的范围，即各扫描对象占用可写范围相同。

在一个实施例中，按照预设的扫描规则，确定当前扫描次对应的多个扫描对象。可以理解地，每次扫描的扫描对象数量越多，则整个扫描过程时间越短，可更快速的完成恢复文件元数据的过程。本领域技术人员可根据实际情况及应用环境，设定每次的扫描对象的个数。

具体地，可通过扫描规则首先设定出扫描的开始位置，扫描的结束位置，一次扫描的扫描对象的个数及选取扫描对象的方式。例如，设定扫描的开始位置是可写范围的初始值、最大值或中间值；设定扫描结束的位置为可写范围的初始值或其他值；设定每次扫描的对象的个数为固定值；设定扫描方式为从扫描开始位置起，选取连续的数据对象作为单次扫描对象；或选取间隔的数据对象作为单次扫描对象，上述内容均可通过扫描规则预先设定。本领域技术人员也可根据实际需求对扫描规则的内容进行更改，本发明实施例对此并不作限定。

在一个实施例中，扫描规则具体包括：

将扫描开始位置设定为可写范围的最大值。

可以理解地，针对于大文件数据，常见的情况下，被拆分为数据对象后占用的可写范围的区段大于没有被写入的区段，说明具有真实数据的数据对象的数量大于空数据对象。

具体地，若每次按照区段的顺序选取相同个数的扫描对象进行并发扫描，且扫描到目标对象即停止扫描过程的情况下。当将扫描开始位置设定为可写范围的初始值时，由于具有真实数据的数据对象在空数据对象的前面，因此需要将整个文件拆分出的大量数据对象全部扫描完，才能确定出最后写入的数据对象。而将扫描开始位置设定为可写范围的最大值时，可先扫描空数据对象，当扫描完数量较少的空数据对象后，即可确定出目标对象。由于在可写范围内空数据对象比具有真实数据的数据对象要少，因此将扫描开始位置设定为可写范围的最大值具有更少的扫描次数，减少了扫描的工作量。

可以理解地，扫描的最大范围为可写范围的最大值处开始到文件数据的范围信息的记录值处结束。需要说明的是，文件数据的范围信息的记录值为最近一次MDS做同步更新元数据操作后，元数据中的文件数据的范围信息，即为上一可写范围区段将被写满时文件数据的范围。

步骤S103：判断各扫描对象是否为目标对象；其中，目标对象具体为最后写入可写范围中的数据对象；如果是，则进入步骤S104；

在一个实施例中，判断各扫描对象是否为目标对象具体包括：

判断扫描对象是否包含真实数据；

如果是，判断与扫描对象相邻的下一对象是否包含真实数据；

如果否，则说明扫描对象为目标对象。

具体地，由于最后写入可写范围中的数据对象具有真实数据，且与其相邻的下一对象为空数据对象。因此，判断扫描对象是否为目标对象，可首先判断扫描对象是否包含真实数据，如果是，则判断与扫描对象相邻的下一对象是否包含真实数据，也就是判断下一对象是否为空数据对象，如果是空数据对象，则可确定该扫描对象为最后写入可写范围中的数据对象。

进一步地，当预设的扫描规则为将扫描初始位置设定为可写范围的最大值，并按顺序选取扫描对象并发扫描时，可仅通过判断当前扫描次的扫描对象是否包含真实数据的步骤来确定是否为目标对象；如果是，则说明包含有真实数据的扫描对象即为目标对象。

步骤S104：则根据目标对象的写入区段，确定文件数据的范围信息。

在一个实施例中，当想要恢复文件元数据中当前文件数据的范围信息时，可通过最后写入可写范围中的数据对象占用的区段来确定。由于，各数据对象对应的可写范围的区段时确定的，因此当确定了最后写入可写范围中的数据对象占用的区段，也就可确定出全部数据对象共占用的可写范围，即整个文件的范围。将文件的范围信息向MDS做同步更新元数据操作，即可恢复文件元数据。

本发明所提供的一种文件元数据的恢复方法，首先按照预设的扫描规则，确定当前扫描次对应的多个扫描对象；并对多个扫描对象进行并发扫描，在每次扫描结束后判断各扫描对象是否为目标对象；也就是判断是否扫描到了最后写入可写范围中的数据对象；然后，通过得到的最后写入可写范围中的数据对象的写入区段，确定出整个文件数据的范围信息，从而避免了扫描每一个对象的过程。由此可见，本发明无需对每个对象均进行扫描，大大减少了扫描的次数；并在判断最后写入可写范围中的数据对象时，采用了并发扫描的方式；当文件很大时，可快速完成整个扫描过程，提高了元数据恢复地速度和效率。

图2为本发明实施例提供的另一种文件元数据的恢复方法的流程图；如图2所示，文件元数据的恢复方法还包括步骤S105-步骤S109：

步骤S105：生成用于记录扫描对象及扫描时间的日志。

通过生成用于记录扫描对象及扫描时间的日志，便于后续工作人员的核对与查看。

如图2所示，文件元数据的恢复方法，还包括：

步骤S106：显示确定的文件数据的范围信息。

将确定出的文件数据的范围信息显示于日志中，便于工作人员了解当前文件数据的范围及存储的实际情况，更好地规划存储设备的存储空间。

如图2所示，文件元数据的恢复方法，还包括：

步骤S107：判断并发扫描过程是否正常进行；如果否，则进入步骤S108；

步骤S108：保存当前扫描结果并在日志中进行异常提示。

在扫描过程中，判断扫描环境是否正常来判断并发扫描过程是否正常；可随机进行判断，也可定时进行判断；当发现扫描过程存在异常时，则可在日志中进行异常提示，便于工作人员及时发现扫描异常，并通过日志记录的扫描信息进行分析，能够快速发现、解决异常问题，提高文件元数据的恢复速度。

如图2所示，文件元数据的恢复方法，还包括：

步骤S109：根据预先存储的运维人员的联系方式，通知运维人员进行异常处理。

具体地，可根据预先存储有的运维人员的联系方式，例如，邮箱或者电话号等。当文件元数据的恢复过程出现异常时，可根据联系方式异常信息通知运维人员，使运维人员能够及时做出处理。使整个文件元数据的恢复过程更高效。提高元数据恢复的准利率。

本发明还提供一种文件元数据的恢复装置和设备对应的实施例。需要说明的是，本发明提出的文件元数据的恢复装置的实施例是基于功能模块的角度进行的描述，本发明提出的文件元数据的恢复设备的实施例是基于硬件的角度进行的描述。

图3为本发明实施例提供的一种文件元数据的恢复装置的结构图；如图3所示，本发明实施例提供的一种文件元数据的恢复装置，包括：

第一确定模块10，用于按照预设的扫描规则，确定当前扫描次对应的多个扫描对象；

扫描模块11，用于对多个扫描对象进行并发扫描；

判断模块12，用于判断各扫描对象是否为目标对象；其中，目标对象具体为最后写入可写范围中的数据对象；如果是，则进入第二确定模块13；

第二确定模块13，用于根据目标对象的写入区段，确定文件数据的范围信息。

由于本部分的实施例与方法部分的实施例相互对应，因此本部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

本发明实施例提供的一种文件元数据的恢复装置，还包括：

生成模块，用于生成用于记录扫描对象及扫描时间的日志。

显示模块，用于显示确定的文件数据的范围信息。

保存模块，用于判断并发扫描过程是否正常进行；如果否，保存当前扫描结果并在日志中进行异常提示。

通知模块，用于根据预先存储的运维人员的联系方式，通知运维人员进行异常处理。

本发明所提供的一种文件元数据的恢复装置，首先按照预设的扫描规则，确定当前扫描次对应的多个扫描对象；并对多个扫描对象进行并发扫描，在每次扫描结束后判断各扫描对象是否为目标对象；也就是判断是否扫描到了最后写入可写范围中的数据对象；然后，通过得到的最后写入可写范围中的数据对象的写入区段，确定出整个文件数据的范围信息，从而避免了扫描每一个对象的过程。由此可见，本发明无需对每个对象均进行扫描，大大减少了扫描的次数；并在判断最后写入可写范围中的数据对象时，采用了并发扫描的方式；当文件很大时，可快速完成整个扫描过程，提高了元数据恢复地速度和效率。

图4为本发明实施例提供的一种文件元数据的恢复设备的结构图；如图4所示，本发明实施例提供的一种文件元数据的恢复设备，包括存储器20，用于存储计算机程序；

处理器21，用于执行计算机程序时实现如上述任一项的文件元数据的恢复方法的步骤。

其中，处理器21可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器21可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器20可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器20还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器20至少用于存储以下计算机程序201，其中，该计算机程序被处理器21加载并执行之后，能够实现前述任一实施例公开的文件元数据的恢复的方法中的相关步骤。另外，存储器20所存储的资源还可以包括操作系统202和数据203等，存储方式可以是短暂存储或者永久存储。其中，操作系统202可以包括Windows、Unix、Linux等。

在一些实施例中，文件元数据的恢复设备还可包括有输入输出接口22、通信接口23、电源24以及通信总线25。

本领域技术人员可以理解，图4中示出的结构并不构成对文件元数据的恢复设备的限定，可以包括比图示更多或更少的组件。

由于设备部分的实施例与方法部分的实施例相互对应，因此设备部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。在本发明的一些实施例中，处理器和存储器可通过总线或其它方式连接。

本发明所提供的一种文件元数据的恢复设备，能够实现如下方法：首先按照预设的扫描规则，确定当前扫描次对应的多个扫描对象；并对多个扫描对象进行并发扫描，在每次扫描结束后判断各扫描对象是否为目标对象；也就是判断是否扫描到了最后写入可写范围中的数据对象；然后，通过得到的最后写入可写范围中的数据对象的写入区段，确定出整个文件数据的范围信息，从而避免了扫描每一个对象的过程。由此可见，本发明无需对每个对象均进行扫描，大大减少了扫描的次数；并在判断最后写入可写范围中的数据对象时，采用了并发扫描的方式；当文件很大时，可快速完成整个扫描过程，提高了元数据恢复地速度和效率。

最后，本发明还提供一种计算机可读存储介质对应的实施例。计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述方法实施例中记载的步骤。

可以理解的是，如果上述实施例中的方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上对本发明所提供的一种文件元数据的恢复方法、装置、设备及介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (8)

1.一种文件元数据的恢复方法，其特征在于，包括：

按照预设的扫描规则，确定当前扫描次对应的多个扫描对象；

对多个所述扫描对象进行并发扫描；

判断各所述扫描对象是否为目标对象；其中，所述目标对象具体为最后写入可写范围中的数据对象；

如果是，则根据所述目标对象的写入区段，确定文件数据的范围信息；其中，所述扫描规则具体为：

将扫描开始位置设定为所述可写范围的最大值；所述判断各所述扫描对象是否为目标对象具体包括：

判断所述扫描对象是否包含真实数据；

如果是，判断与所述扫描对象相邻的下一对象是否包含真实数据；

如果否，则说明所述扫描对象为所述目标对象。

2.根据权利要求1所述的文件元数据的恢复方法，其特征在于，还包括：

生成用于记录所述扫描对象及扫描时间的日志。

3.根据权利要求1所述的文件元数据的恢复方法，其特征在于，还包括：

显示确定的所述文件数据的范围信息。

4.根据权利要求2所述的文件元数据的恢复方法，其特征在于，还包括：

判断并发扫描过程是否正常进行；

如果否，保存当前扫描结果并在所述日志中进行异常提示。

5.根据权利要求4所述的文件元数据的恢复方法，其特征在于，还包括：

根据预先存储的运维人员的联系方式，通知所述运维人员进行异常处理。

6.一种文件元数据的恢复装置，其特征在于，包括：

第一确定模块，用于按照预设的扫描规则，确定当前扫描次对应的多个扫描对象；

扫描模块，用于对多个所述扫描对象进行并发扫描；

判断模块，用于判断各所述扫描对象是否为目标对象；其中，所述目标对象具体为最后写入可写范围中的数据对象；如果是，则进入第二确定模块；

所述第二确定模块，用于根据所述目标对象的写入区段，确定文件数据的范围信息；

其中，所述扫描规则具体为：

将扫描开始位置设定为所述可写范围的最大值；所述判断各所述扫描对象是否为目标对象具体包括：

判断所述扫描对象是否包含真实数据；

如果是，判断与所述扫描对象相邻的下一对象是否包含真实数据；

如果否，则说明所述扫描对象为所述目标对象。

7.一种文件元数据的恢复设备，其特征在于，包括存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述的文件元数据的恢复方法的步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的文件元数据的恢复方法的步骤。

Images