CN108228672A - 一种元数据迁移方法、装置、系统及设备 - Google Patents

Abstract

本申请实施例公开了一种元数据迁移方法、装置、系统及设备，该方法包括：确定待迁移目录中的待迁移条目；根据所述待迁移条目所对应的数据块数量，生成迁移任务，为所述迁移任务划分所述待迁移条目；将所述迁移任务分配至执行服务器以对所述待迁移条目进行元数据迁移。利用本申请实施例，可以实现待迁移条目在各个迁移任务中的均衡分布，从而避免出现可能分配到很大数据量的迁移任务的执行服务器，可以缩短执行服务器完成迁移任务需要耗费的时间，从而可以提高元数据迁移的整体工作效率。

Description

一种元数据迁移方法、装置、系统及设备

技术领域

本申请涉及计算机技术领域，尤其涉及一种元数据迁移方法、装置、系统及设备。

背景技术

目前大规模分布式存储系统应用比较广泛，分布式存储系统由元数据服务器管理文件系统命名空间和文件各种属性，提供文件访问权限和文件存储位置等信息，同时由数据存储服务器存储文件，处理客户端对文件数据的各种读写请求。多数分布式存储系统中的元数据服务器通常由多个构成一组提供服务，每组服务器构成一个元数据服务器组(即volume)，分布式存储系统通常会配置多个元数据服务器组，将元数据压力分散到各元数据服务器组上。

在系统运行过程中，元数据会不断存储到各元数据服务器组上，随着运行时间的增加，各元数据服务器组上存储的元数据也会逐渐出现不均衡。为均衡各元数据服务器组的负载，需要对各元数据服务器组进行元数据迁移。

目前，通常采用在元数据服务器组间进行元数据迁移的方式，即在元数据服务器组上对源目录进行拆分，获取待迁移条目，根据每个待迁移条目中包含的文件数量生成迁移任务，再将迁移任务分发到各个执行服务器进行元数据迁移。

在对现有技术进行研究后，发明人发现，在元数据服务器组间进行元数据迁移的过程中，基于待迁移条目中包含的文件数量生成迁移任务，由于文件粒度不均，因此生成的迁移任务中包含的数据量也不均，从而导致部分执行服务器可能分配到很大数据量的迁移任务，使得执行服务器完成该迁移任务需要耗费大量时间，致使元数据迁移的整体工作效率较低。

发明内容

本申请实施例的目的是提供一种元数据迁移方法、装置、系统及设备，以实现生成的迁移任务中包含的数据量相对均衡，提高元数据迁移的整体工作效率。

为解决上述技术问题，本申请实施例是这样实现的：

本申请实施例提供一种元数据迁移方法，所述方法包括：

确定待迁移目录中的待迁移条目；

根据所述待迁移条目所对应的数据块数量，生成迁移任务，为所述迁移任务划分所述待迁移条目；

将所述迁移任务分配至执行服务器以对所述待迁移条目对应的元数据进行元数据迁移。

本申请实施例提供一种元数据迁移装置，所述装置包括：

待迁移条目确定模块，用于确定待迁移目录中的待迁移条目；

迁移任务生成模块，用于根据所述待迁移条目所对应的数据块数量，生成迁移任务，为所述迁移任务划分所述待迁移条目；

迁移任务分配模块，用于将所述迁移任务分配至执行服务器以对所述待迁移条目进行元数据迁移。

本申请实施例提供一种元数据迁移系统，包括如上述实施例提供的元数据迁移装置、执行服务器和多个元数据服务器组，其中：

所述执行服务器，用于接收所述元数据迁移装置分配的迁移任务，根据所述迁移任务，在所述元数据服务器组之间进行数据迁移。

本申请实施例提供一种元数据迁移设备，所述元数据迁移设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：

确定待迁移目录中的待迁移条目；

根据所述待迁移条目所对应的数据块数量，生成迁移任务，为所述迁移任务划分所述待迁移条目；

将所述迁移任务分配至执行服务器以对所述待迁移条目对应的元数据进行元数据迁移。

由以上本申请实施例提供的技术方案可见，本申请实施例通过确定待迁移目录中的待迁移条目，并根据待迁移条目所对应的数据块数量，生成迁移任务，为迁移任务划分待迁移条目，最后将迁移任务分配至执行服务器以对待迁移条目进行元数据迁移，这样，通过待迁移条目所对应的数据块数量生成迁移任务，各个迁移任务中包含的数据量相对均衡，从而避免出现可能分配到很大数据量的迁移任务的执行服务器，缩短了执行服务器完成迁移任务需要耗费的时间，从而可以提高元数据迁移的整体工作效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一种元数据迁移方法实施例；

图2为本申请一种待迁移目录所在的目录树示意图；

图3为本申请一种迁移任务的迁移示意图；

图4为本申请一种元数据迁移装置实施例；

图5为本申请另一种元数据迁移装置实施例；

图6为本申请再一种元数据迁移装置实施例；

图7为本申请一种元数据迁移系统实施例；

图8为本申请一种元数据迁移设备实施例。

具体实施方式

本申请实施例提供一种元数据迁移方法、装置、系统及设备。

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

实施例一

如图1所示，本申请实施例提供一种元数据迁移方法，该方法的执行主体可以为控制元数据迁移的主服务器(也可称为Master服务器)，该主服务器通过控制多个执行服务器(也可称为Work服务器)，在多个元数据服务器组之间进行元数据迁移，以均衡各元数据服务器组的负载。该方法具体可以包括以下步骤：

步骤S101：确定待迁移目录中的待迁移条目。

其中，待迁移目录可以是需要进行元数据迁移的目录，也即是待迁移的元数据所在的目录。元数据可以是用于描述数据属性的信息，常用以支持如指示数据的存储位置、历史数据或资源的查找、文件记录等功能。待迁移条目可以包括待迁移目录和/或待迁移文件，待迁移文件可以是某种格式的文件，例如txt格式的文本文件、jnt格式的日记本文件等。

在实施中，分布式存储系统中，整个文件系统会根据实际需要被划分成多个部分，基于划分的过程可以生成相应的目录树，每个目录树可以分配至不同的元数据服务器组。主服务器可以周期性(如每隔12小时或每隔24小时等)或实时检测各元数据服务器的访问情况、数据输出情况等，可以通过检测到的上述情况对相应的元数据服务器组进行分析，确定该元数据服务器组是否负载过重。当某个元数据服务器组负载过重时，需要将该元数据服务器组的目录树中的部分子目录(即待迁移目录)重新分配给其他元数据服务器组。而重新为其他元数据服务器组分配子目录，就需要将这些子目录进行元数据迁移。

在进行元数据迁移时，需要确定待迁移目录中的待迁移条目。确定待迁移目录中的待迁移条目的处理可以多种多样，以下提供一种可选的处理方式，具体可以包括以下内容：主服务器可以通过遍历的方式遍历需要进行元数据迁移的待迁移目录，以得到该待迁移目录中的待迁移条目。例如，目录树为A-B-C、A-B-D、A-E，待迁移目录为B，则遍历该待迁移目录B，可以得到目录C和目录C中的文件c.txt，以及目录D和目录D中的文件d.txt，从而得到包括待迁移目录(包括目录C和目录D)和待迁移文件(包括c.txt和d.txt)的待迁移条目。

步骤S102：根据待迁移条目所对应的数据块数量，生成迁移任务，为迁移任务划分待迁移条目。

其中，数据块可以是一组或几组按顺序连续排列的用于存储数据的块，可以是存储设备与输入输出设备之间进行传输的数据单位，即数据传输的过程中可以一个或多个数据块为单位进行数据传输。数据块中能够存储的数据量可以根据实际情况确定，例如，数据块中能够存储的数据量可以为32MB或64MB等。迁移任务可以是用于指示执行服务器进行元数据迁移的指令任务。

在实施中，为了使得元数据服务器组中存储的元数据的数据量分布均衡，且考虑到待迁移条目的数据量与待迁移条目对应的元数据的数据量呈一定的比例关系，可以通过待迁移条目的数据量来划分迁移任务，使得每个迁移任务中包含的数据量趋于相等，从而达到均衡迁移工作量的目的。具体地，可以预先设定每个数据块中能够存储的数据量，可以对待迁移条目对应的数据量和每个数据块中能够存储的数据量进行计算，确定待迁移条目对应的数据块数量。

基于上述步骤S101的示例，若待迁移文件c.txt和d.txt对应的数据量为100MB，每个数据块中能够存储的数据量为32MB，则可以使用100/32得到3.12，因此，可以确定待迁移条目对应的数据块数量为4。

可以预先为迁移任务设定其能够容纳的最大数据块数量，然后，可以根据待迁移条目所对应的数据块数量，计算得到需要生成的迁移任务的数量。除上述方式外，还可以根据实际情况自由的设定迁移任务的数量。生成迁移任务后，可以相对均衡的向每个迁移任务中划分待迁移条目。

例如，待迁移条目包括A、B、C、D、E和F，其中，A对应的数据块数量为10，B对应的数据块数量为20，C对应的数据块数量为30，D对应的数据块数量为10，E对应的数据块数量为10，F对应的数据块数量为50，如果迁移任务能够容纳的最大数据块数量为70，则根据待迁移条目对应的数据块数量130，可以确定生成两个迁移任务，其中的一个迁移任务(可称为迁移任务1)中包含的数据块数量为70，另一个迁移任务(可称为迁移任务2)中包含的数据块数量为60。可以向两个迁移任务中分配待迁移条目，如果A、B、C、D、E和F依次顺序排列，则可以将待迁移条目A、B、C和D(对应的总数据块数量为70)划分到迁移任务1中，可以将待迁移条目E和F(对应的总数据块数量为60)划分到迁移任务2中。

在步骤S103中：将迁移任务分配至执行服务器以对待迁移条目进行元数据迁移。

其中，执行服务器可以是控制元数据服务器组执行迁移任务的服务器，该执行服务器可以是单一的服务器，也可以是由多个服务器构成的服务器集群(或服务器组)。

在实施中，主服务器可以获取各个执行服务器当前的剩余带宽和/或资源利用率等数据，可以基于获取的上述数据对各个执行服务器的元数据迁移能力进行评估，并可以根据元数据迁移能力的大小为执行服务器分配相应的迁移任务。主服务器确定迁移任务的分配关系后，可以将各个迁移任务下发给相应的执行服务器。执行服务器可以对接收到的迁移任务进行分析，并逐条执行该迁移任务，以将包括待迁移条目的元数据服务器组中的待迁移条目对应的元数据迁移到目标元数据服务器组中，其中，目标元数据服务器组可以是负载相对较轻的元数据服务器组。

本申请实施例提供一种元数据迁移方法，通过确定待迁移目录中的待迁移条目，并根据待迁移条目所对应的数据块数量，生成迁移任务，为迁移任务划分待迁移条目，最后将迁移任务分配至执行服务器以对待迁移条目进行元数据迁移，这样，通过待迁移条目所对应的数据块数量生成迁移任务，各个迁移任务中包含的数据量相对均衡，从而避免出现可能分配到很大数据量的迁移任务的执行服务器，缩短了执行服务器完成迁移任务需要耗费的时间，从而可以提高元数据迁移的整体工作效率。

实施例二

本申请实施例提供了一种元数据迁移方法，该方法的执行主体可以为主服务器，该主服务器通过控制多个执行服务器，在多个元数据服务器组之间进行元数据迁移，以均衡各元数据服务器组的负载。该方法具体可以包括以下步骤：

上述实施例一中S101的处理方式可以多种多样，以下还提供一种具体的处理方式，可以包括以下步骤S201～步骤S203。

在步骤S201中：从待迁移目录所在的的目录树的根目录进行遍历，遍历过程中记录当前遍历的条目标识。

其中，条目可以包括目录和文件，其中的目录可以包括根目录和子目录，根目录可以为文件存储的最上一级目录，例如，ac/file1/B.txt，其中，ac/可以为根目录，file1/可以为子目录，B.txt可以为文件。目录树可以是由根目录和子目录构成。

在实施中，主服务器可以周期性检测各元数据服务器组中存储的元数据的访问或使用情况，并可以通过检测到的情况确定需要进行元数据迁移的元数据服务器组，以及元数据迁移的目标元数据服务器组。然后，主服务器可以根据需要迁移的数据量或者根据实际情况确定待迁移目录，并确定待迁移目录所在的目录树，可以基于该目录树构建初始遍历栈。可以为初始遍历栈中的目录进行编号，并可以作为该目录的条目标识。然后，可以从该目录树的根目录进行遍历，确定各个目录中包含的文件，并在遍历过程中记录当前遍历的各个条目的条目标识。

例如，如图2所示，其中提供了一个待迁移条目所在的目录树，该目录树包括根目录“/”、子目录“A/”、“B/”和“C/”等，待迁移条目可以为“B/”，而且，根目录和各个子目录都设置有相应的条目标识，如图2根目录的条目标识为14，子目录“A/”的条目标识为6等。主服务器在遍历上述目录树的过程中，可以记录其遍历的条目标识，构成遍历栈，如14-6-1，14-9-8等。

需要说明的是，元数据服务器组的负载情况除了可以通过主服务器通过主动检测的方式处理外，还可以通过其它方式，例如，元数据服务器组中可以设置有管理服务器，管理服务器可以对元数据服务器组中存储的元数据的访问或使用情况进行检测，并将其上报给主服务器，以便主服务器及时调整元数据服务器组之间的负载。

在遍历的过程中，主服务器可能会遇到如死机或系统崩溃等故障，此时，主服务器需要重启，并在重启后需要继续执行上述遍历过程，相应的处理可以参见下述步骤S202和步骤S203。

在步骤S202中：在遍历过程中，若本地发生宕机，则在宕机恢复时，获取最近一次记录的条目标识，以重建遍历栈。

在实施中，在执行上述步骤S201对待迁移目录所在的目录树进行遍历的过程中，如果主服务器发生故障需要重启时，可以存储遍历完成的条目标识，然后，可以执行重启操作。主服务器重启后，可以获取上述待迁移目录所在的目录树，并从预先记录并存储的条目标识中获取最近一次记录的条目标识，可以根据最近一次记录的条目标识查找到包括该条目标识的遍历栈，可以基于查找到的遍历栈进行遍历栈重建。

在步骤S203中：根据重建的遍历栈继续对目录树进行遍历，确定待迁移目录中包含的待迁移条目。

在实施中，重建的遍历栈中通常已经包括根目录和最近一次记录的条目标识对应的子目录的上级子目录，因此，主服务器得到重建的遍历栈后，只需要继续从最近一次记录的条目标识对应的子目录向下遍历，通过对目录树的遍历可以得到每个目录中包含的文件，从而可以确定待迁移目录中包含的待迁移条目。

例如，如图2所示，如果主服务器最近一次记录的条目标识为8，则在主服务器重启后，可以根据条目标识8查找到预先记录并存储的遍历栈14-9-8，并基于14-9-8重建遍历栈，然后，主服务器可以14-9-8作为基础继续向下遍历，而不需要主服务器从根目录开始重新对待迁移目录所在的目录树进行遍历，从而可以节省对目录树的遍历时间。

上述实施例一中S102的处理方式可以多种多样，以下还提供一种具体的处理方式，可以包括以下步骤S204和步骤S205。

在步骤S204中：根据每个待迁移条目所对应的数据块数量，生成迁移任务并确定迁移任务容纳的数据块数量阈值。

其中，数据块数量阈值可以根据实际情况进行设定，例如，数据块数量阈值可以为10或30等。

上述步骤S204的处理过程可以参见上述实施例一中的步骤S102中的相关内容，在此不再赘述。

在步骤S205中：按照预设分配策略，在上述迁移任务容纳的数据块数量阈值范围内，为该迁移任务分配待迁移条目，直至待迁移条目分配完毕。

其中，预设分配策略可以根据实际情况进行设定，本申请实施例提供一种可选的预设分配策略，具体可以为：对于当前的迁移任务，若未分配的待迁移条目中存在数据块数量小于当前迁移任务空闲数据块数量的待迁移条目，则从未分配的待迁移条目中选取数据块数量小于当前迁移任务空闲数据块数量的待迁移条目分配给当前迁移任务。

在实施中，对于还没有分配待迁移条目的迁移任务，主服务器可以通过上述步骤S204的处理计算得到每个待迁移条目所对应的数据块数量，并可以将其与迁移任务能够容纳的数据块数量阈值进行比较，如果待迁移条目对应的数据块数量小于数据块数量阈值，则可以将该待迁移条目分配给该迁移任务。

对于已分配待迁移条目的迁移任务，主服务器可以计算数据块数量阈值与已分配的待迁移条目对应的数据块数量的差值，可以将该差值作为该迁移任务的空闲数据块数量，然后可以将其与某待迁移条目对应的数据块数量进行对比，如果该待迁移条目对应的数据块数量小于空闲数据块数量，则可以将该待迁移条目分配给该迁移任务。通过上述方式依次对每一个待迁移条目进行分配，使其进入相应的迁移任务中。

需要说明的是，通过上述方式将待迁移条目分配到相应的迁移任务的过程中，可以实时统计各个迁移任务中分配的待迁移条目对应的数据量，并可以实时调整各个迁移任务中的数据量，以使得各迁移任务中的数据量趋于相等，从而实现各元数据服务器组之间的负载均衡。

另外，为了加快上述步骤S201～步骤S203的遍历操作，以及上述步骤S204和步骤S205的迁移任务生成和为迁移任务分配的计算过程，还可以通过以下方式快速生成待迁移条目的迁移任务，具体可以包括以下内容：

在对待迁移目录所在的目录树进行遍历的过程中，可以获取上述目录树中各个子目录包含的条目数量，每个子目录包含的条目数量即：子目录本身(数量为1)、该子目录所包含的下级子目录的数量及该子目录所包含的文件的数量之和，如果待迁移目录中包含条目数量小于预定数量阈值(如500或800等)的目标子目录，则可以将目标子目录对应的条目、目标子目录包含的下级子目录对应的条目，以及目标子目录包含的文件对应的条目，一起分配到同一个迁移任务中，以便对条目数量较少的子目录快速遍历并为其分配迁移任务。

在步骤S206中：采用逐个下发的方式将上述迁移任务分配至执行服务器，且使执行服务器当前拥有的迁移任务小于预设值。

其中，预设值可以根据实际情况进行设定，具体如3或4等。

在实施中，执行服务器在执行某一项迁移任务时，分配给该执行服务器的其它迁移任务会处于等待执行状态，为了使得执行服务器中处于等待执行状态的迁移任务过多而无法执行，可以设定每个执行服务器拥有的迁移任务的数量的最大值(即预设值)。主服务器可以采用逐个下发的方式将生成的迁移任务分配至相应的执行服务器，具体可以参见上述实施例一中步骤S103中的相关内容，在此不再赘述。此外，主服务器还可以周期性或实时地检测执行服务器中拥有的迁移任务的数量，当某执行服务器中拥有的迁移任务的数量小于预定的任务阈值时，主服务器可以向该执行服务器下发迁移任务。例如，如果预设值为3，则执行服务器中拥有的迁移任务的数量为2。当主服务器检测到某执行服务器中拥有的迁移任务的数量小于2(即任务阈值)时，可以向该执行服务器下发迁移任务，这样，可以保证每个执行服务器可以最多拥有2个迁移任务，当执行服务器拥有的迁移任务不足2个时，主服务器可以尽快下发新的迁移任务来补足，从而，不仅可以使得执行服务器不会空闲，而且，可以最大可能的将迁移任务下发到任务处理压力相对较小的执行服务器，从而减少处于等待执行状态的迁移任务。

在分布式存储系统中，元数据服务器组故障不可避免，因此执行服务器在执行迁移任务过程中，很可能由于遇到相对缓慢甚至不可服务的元数据服务器组，为了迁移任务能够快速顺利的被执行完成，可以监测执行服务器执行迁移任务的执行状态，并可以根据不同的状态对当前执行的迁移任务进行相应的处理，具体可以参见下述步骤S207和步骤S208。

在步骤S207中：接收上述执行服务器反馈的迁移任务状态信息。

其中，迁移任务状态信息中可以包括一种或多种参数信息，如迁移任务的数据迁移速度和/或迁移任务中包含的数据量(或数据块数量)和/或已耗费的迁移时间和/或剩余迁移时长等。

在实施中，可以在执行服务器中设置反馈周期，例如30秒或1分钟等。当到达反馈周期时，执行服务器可以获取当前迁移任务的相关信息，可以基于该相关信息生成迁移任务状态信息发送给主服务器，主服务器可以接收执行服务器发送的迁移任务状态信息。

需要说明的是，获取迁移任务状态信息的处理方式除了可以采用上述为执行服务器设置反馈周期的方式外，还可以采用其它处理方式，例如主服务器主动拉取的方式。

在步骤S208中：根据上述迁移任务状态信息确定执行服务器是否存在阻塞的迁移任务，若执行服务器存在阻塞的迁移任务，则控制执行服务器进行加速迁移处理。

在实施中，主服务器接收到迁移任务状态信息后，可以对迁移任务状态信息进行分析，得到可以表征执行服务器中是否存在阻塞的迁移任务的目标参数数据，例如，迁移任务状态信息中可以包括迁移任务的数据迁移速度和迁移任务中包含的数据量(或数据块数量)，则主服务器可以通过计算得到迁移任务完成所需要的时长，可以将该时长作为执行服务器中是否存在阻塞的迁移任务的目标参数数据。

可以预先设置迁移任务的目标参数阈值，如果上述得到的目标参数数据大于该目标参数阈值，则可以确定执行服务器中存在阻塞的迁移任务，此时，主服务器可以向执行服务器发送加速迁移指令，执行服务器接收到该加速迁移指令后，可以对当前执行的迁移任务进行加速迁移处理，从而可以快速完成对迁移任务中待迁移条目的迁移。如果上述得到的目标参数数据小于该目标参数阈值，则可以确定执行服务器中不存在阻塞的迁移任务，此时，执行服务器可以继续执行该迁移任务直至该迁移任务完成。

上述步骤S208除了可以采用上述处理方式外，还可以采用多种处理方式，以下还提供一种可选的处理方式，具体可以包括以下步骤一～步骤三。

步骤一，根据执行服务器的迁移任务状态信息，获取执行服务器中当前进行元数据迁移的待迁移条目已耗费的迁移时间。

在实施中，当主服务器接收到执行服务器发送的迁移任务状态信息时，可以提取其中的正在执行的迁移任务的任务标识和待迁移条目的条目标识，并记录当前时间。当主服务器再次接收到执行服务器发送的迁移任务状态信息时，可以提取其中的正在执行的迁移任务的任务标识和待迁移条目的条目标识，如果上述两次的任务标识和条目标识均相同，则可以计算该待迁移条目已耗费的迁移时间。

步骤二，若该迁移时间超出预设阈值，则确定执行服务器存在阻塞的迁移任务。

其中，预设阈值可以根据实际情况进行设定，具体可以为10分钟或20分钟等。

需要说明的是，如果某待迁移条目对应的数据块数量相比于其它待迁移条目对应的数据块数量较大或较小，则可以根据待迁移条目与其它待迁移条目的数据量比值确定上述预设阈值，具体可以包括以下内容：如果待迁移条目中存在数据块数量大于预定数量的第一待迁移条目，则根据第一待迁移条目对应的数据块数量和预定数量，对上述预设阈值进行调整，得到第一待迁移条目对应的预设阈值。例如，某待迁移条目(即第一待迁移条目)对应的数据块数量为50，其它待迁移条目对应的数据块数量均为10，其它待迁移条目的预设阈值为10分钟，则该待迁移条目的预设阈值可以为50分钟等。

通常，待迁移条目可能在不同的数据存储服务器存有副本，对该待迁移条目进行元数据迁移时，必须保证所有副本的元数据都迁移成功，如果某个副本所在的数据存储服务器服务缓慢或者无法服务，就会造成迁移任务的阻塞，造成整体迁移工作的效率下降。

对于阻塞的迁移任务，本实施例采用将执行服务器切换为快速迁移模式(即FastMode)的方式，对阻塞的迁移任务进行加速迁移处理。具体如下：

步骤三，向存在阻塞迁移任务的执行服务器发送加速迁移指令，以使执行服务器切换为快速迁移模式迁移当前的待迁移条目对应的元数据。

在实施中，执行服务器在接收到主服务器发送的加速迁移指令后，将其工作模式切换到快速迁移模式。在快速迁移模式下，对于当前进行迁移的条目的副本，停止迁移其中耗费迁移时长超过预设阈值的副本的元数据，生成当前进行元数据迁移的条目的元数据恢复文件，将耗费迁移时长超过预设阈值的副本以外的其余副本的元数据及该元数据恢复文件迁移至目标元数据服务器组。主服务器可以根据上述目标元数据服务器中耗费迁移时长超过预设阈值的副本以外的其余副本的元数据及元数据恢复文件，在目标元数据服务器中恢复耗费迁移时长超过预设阈值的副本的元数据。

以下通过具体实例对上述步骤一～步骤三的处理过程进行说明，具体可以包括以下内容：

如图3所示，某迁移任务中的待迁移条目包括3个副本，在元数据迁移的过程中需要将3个副本的元数据全部迁移完成，该迁移任务才被确定为执行完成，这样迁移任务的执行时长就取决于迁移速度最慢的副本。为此，主服务器可以记录每个迁移任务的执行时间，当发现某迁移任务的执行时长过长(如超过10分钟)时，可以控制执行服务器进行模式切换，从而采用快速迁移模式迁移上述待迁移条目对应的元数据，从而避免长尾。

需要说明的是，为了加快对待迁移条目的元数据迁移，可以采用多线程并发的方式执行迁移任务。此外，由于调度原因，执行服务器有可能会接收到已经执行完成的迁移任务，因此执行服务器在执行迁移任务前，可以先判断该迁移任务是否已经迁移完毕，这样，可以节约重复迁移的时间。

本申请实施例提供一种元数据迁移方法，通过确定待迁移目录中的待迁移条目，并根据待迁移条目所对应的数据块数量，生成一个或多个迁移任务，并为每个迁移任务划分待迁移条目，最后将迁移任务分配至执行服务器以对待迁移条目进行元数据迁移，这样，通过待迁移条目所对应的数据块数量生成迁移任务，各个迁移任务中包含的数据量相对均衡，从而避免出现可能分配到很大数据量的迁移任务的执行服务器，缩短了执行服务器完成迁移任务需要耗费的时间，从而可以提高元数据迁移的整体工作效率。

进一步地，分布式文件系统的个别元数据服务器组很可能由于设备老化或负载过高，导致响应极慢，甚至无法服务，本申请实施例中，对于执行服务器中当前进行元数据迁移的待迁移条目已耗费的迁移时间超出预设阈值的迁移任务，停止对其进行元数据迁移，而继续执行其他迁移任务。并在其他迁移任务完成后，通过快速迁移的方式对上述停止执行的迁移任务进行加速迁移处理，从而可以避免长尾，进一步提高元数据迁移的整体工作效率。

实施例三

以上为本申请实施例提供的元数据迁移方法，基于同样的思路，本申请实施例还提供一种元数据迁移装置，如图4所示。

所述元数据迁移装置包括：待迁移条目确定模块401、迁移任务生成模块402和迁移任务分配模块403，其中：

待迁移条目确定模块401，用于确定待迁移目录中的待迁移条目；

迁移任务生成模块402，用于根据所述待迁移条目所对应的数据块数量，生成迁移任务，为所述迁移任务划分所述待迁移条目；

迁移任务分配模块403，用于将所述迁移任务分配至执行服务器以对所述待迁移条目进行元数据迁移。

本申请实施例中，如图5所示，所述装置还包括：

接收模块404，用于接收所述执行服务器反馈的迁移任务状态信息；

阻塞处理模块405，用于根据所述迁移任务状态信息确定所述执行服务器是否存在阻塞的迁移任务，若所述执行服务器存在阻塞的迁移任务，则控制所述执行服务器进行加速迁移处理。

本申请实施例中，所述阻塞处理模块405，包括：

迁移时间获取单元，用于根据所述执行服务器的迁移任务状态信息，获取所述执行服务器中当前进行元数据迁移的待迁移条目已耗费的迁移时间；

阻塞任务确定单元，用于若所述迁移时间超出预设阈值，则确定所述执行服务器存在阻塞的迁移任务；

发送单元，用于向所述存在阻塞迁移任务的执行服务器发送加速迁移指令，以使所述执行服务器切换为快速迁移模式迁移当前的待迁移条目对应的元数据。

本申请实施例中，如图5所示，所述装置还包括：

阈值调整模块406，用于如果待迁移条目中存在数据块数量大于预定数量的第一待迁移条目，则根据所述第一待迁移条目对应的数据块数量和所述预定数量，对所述预设阈值进行调整，得到所述第一待迁移条目对应的预设阈值。

本申请实施例中，所述待迁移条目确定模块401，包括：

遍历操作单元，用于从所述待迁移目录所在的目录树的根目录进行遍历，遍历过程中记录当前遍历的条目标识；

遍历栈重建单元，用于在遍历过程中，若本地发生宕机，则在宕机恢复时，获取最近一次记录的条目标识，以重建遍历栈；

所述遍历操作单元，还用于根据重建的遍历栈继续对所述目录树进行遍历，确定待迁移目录中包含的待迁移条目。

本申请实施例中，如图6所示，所述装置还包括：

条目数量获取模块407，用于在遍历过程中，获取所述目录树中各个子目录包含的条目数量；

条目分配模块408，用于如果所述目录树中包含条目数量小于预定数量阈值的目标子目录，则将所述目标子目录包含的条目分配到同一个迁移任务中。

本申请实施例中，所述迁移任务生成模块402，用于根据每个所述待迁移条目所对应的数据块数量，生成迁移任务并确定所述迁移任务容纳的数据块数量阈值；按照预设分配策略，在所述迁移任务容纳的数据块数量阈值范围内，为所述迁移任务分配所述待迁移条目，直至所述待迁移条目分配完毕；

其中，所述预设分配策略为：对于当前的迁移任务，若未分配的所述待迁移条目中存在数据块数量小于所述当前迁移任务空闲数据块数量的待迁移条目，则从未分配的所述待迁移条目中选取数据块数量小于所述当前迁移任务空闲数据块数量的待迁移条目分配给所述当前迁移任务。

本申请实施例中，所述迁移任务分配模块403，用于采用逐个下发的方式将所述迁移任务分配至所述执行服务器，且使所述执行服务器当前拥有的迁移任务小于预设值。

本申请实施例提供一种元数据迁移装置，通过确定待迁移目录中的待迁移条目，并根据待迁移条目所对应的数据块数量，生成迁移任务，为迁移任务划分待迁移条目，最后将迁移任务分配至执行服务器以对待迁移条目进行元数据迁移，这样，通过待迁移条目所对应的数据块数量生成迁移任务，各个迁移任务中包含的数据量相对均衡，从而避免出现可能分配到很大数据量的迁移任务的执行服务器，缩短了执行服务器完成迁移任务需要耗费的时间，从而可以提高元数据迁移的整体工作效率。

进一步地，分布式文件系统的个别元数据服务器组很可能由于设备老化或负载过高，导致响应极慢，甚至无法服务，本申请实施例中，对于执行服务器中当前进行元数据迁移的待迁移条目已耗费的迁移时间超出预设阈值的迁移任务，停止对其进行元数据迁移，而继续执行其他迁移任务。并在其他迁移任务完成后，通过快速迁移的方式对上述停止执行的迁移任务进行加速迁移处理，从而可以避免长尾，进一步提高元数据迁移的整体工作效率。

实施例四

以上为本申请实施例提供的元数据迁移装置，基于同样的思路，本申请实施例还提供一种元数据迁移系统，如图7所示。

所述元数据迁移系统包括：元数据迁移装置701、执行服务器702和多个元数据服务器组703，其中：

所述执行服务器702，用于接收所述元数据迁移装置701分配的迁移任务，根据所述迁移任务，在所述元数据服务器组703之间进行数据迁移。

其中，元数据迁移装置701可以是上述实施例一或实施例二中的主服务器。元数据服务器组703可以是由一个服务器构成，也可以是由多个服务器构成。

本申请实施例中，所述执行服务器702，还用于在接收到所述元数据迁移装置701发送的加速迁移指令后切换到快速迁移模式；在快速迁移模式下，对于当前进行迁移的条目的副本，停止迁移其中耗费迁移时长超过预设阈值的副本的元数据，生成所述当前进行元数据迁移的条目的元数据恢复文件，将所述耗费迁移时长超过预设阈值的副本以外的其余副本的元数据及所述元数据恢复文件迁移至目标元数据服务器组；

所述元数据迁移装置701，还用于根据所述目标元数据服务器中的所述耗费迁移时长超过预设阈值的副本以外的其余副本的元数据及所述元数据恢复文件，在所述目标元数据服务器中恢复所述耗费迁移时长超过预设阈值的副本的元数据。

本申请实施例提供一种元数据迁移系统，通过确定待迁移目录中的待迁移条目，并根据待迁移条目所对应的数据块数量，生成迁移任务，为迁移任务划分待迁移条目，最后将迁移任务分配至执行服务器以对待迁移条目进行元数据迁移，这样，通过待迁移条目所对应的数据块数量生成迁移任务，各个迁移任务中包含的数据量相对均衡，从而避免出现可能分配到很大数据量的迁移任务的执行服务器，缩短了执行服务器完成迁移任务需要耗费的时间，从而可以提高元数据迁移的整体工作效率。

进一步地，分布式文件系统的个别元数据服务器组很可能由于设备老化或负载过高，导致响应极慢，甚至无法服务，本申请实施例中，对于执行服务器中当前进行元数据迁移的待迁移条目已耗费的迁移时间超出预设阈值的迁移任务，停止对其进行元数据迁移，而继续执行其他迁移任务。并在其他迁移任务完成后，通过快速迁移的方式对上述停止执行的迁移任务进行加速迁移处理，从而可以避免长尾，进一步提高元数据迁移的整体工作效率。

实施例五

基于同样的思路，本申请实施例还提供一种元数据迁移设备，如图8所示。该元数据迁移设备可以为上述实施例提供的控制元数据迁移的主服务器(也可称为Master服务器)。

元数据迁移设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器801和存储器802，存储器802中可以存储有一个或一个以上存储应用程序或数据。其中，存储器802可以是短暂存储或持久存储。存储在存储器802的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对元数据迁移设备中的一系列计算机可执行指令。更进一步地，处理器801可以设置为与存储器802通信，在元数据迁移设备上执行存储器802中的一系列计算机可执行指令。元数据迁移设备还可以包括一个或一个以上电源803，一个或一个以上有线或无线网络接口804，一个或一个以上输入输出接口805，一个或一个以上键盘806等。

具体在本实施例中，元数据迁移设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对元数据迁移设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：

确定待迁移目录中的待迁移条目；

根据所述待迁移条目所对应的数据块数量，生成迁移任务，为所述迁移任务划分所述待迁移条目；

将所述迁移任务分配至执行服务器以对所述待迁移条目对应的元数据进行元数据迁移。

可选地，计算机可执行指令在被执行时，还可以使所述处理器：

在所述将所述迁移任务分配至执行服务器之后，接收所述执行服务器反馈的迁移任务状态信息；

根据所述迁移任务状态信息确定所述执行服务器是否存在阻塞的迁移任务，若所述执行服务器存在阻塞的迁移任务，则控制所述执行服务器进行加速迁移处理。

可选地，计算机可执行指令在被执行时，还可以使所述处理器：

根据所述执行服务器的迁移任务状态信息，获取所述执行服务器中当前进行元数据迁移的待迁移条目已耗费的迁移时间；

若所述迁移时间超出预设阈值，则确定所述执行服务器存在阻塞的迁移任务；

相应的，所述控制所述执行服务器进行加速迁移处理，包括：

向所述存在阻塞迁移任务的执行服务器发送加速迁移指令，以使所述执行服务器切换为快速迁移模式迁移当前的待迁移条目对应的元数据。

可选地，计算机可执行指令在被执行时，还可以使所述处理器：

如果待迁移条目中存在数据块数量大于预定数量的第一待迁移条目，则根据所述第一待迁移条目对应的数据块数量和所述预定数量，对所述预设阈值进行调整，得到所述第一待迁移条目对应的预设阈值。

可选地，计算机可执行指令在被执行时，还可以使所述处理器：

从所述待迁移目录所在的目录树的根目录进行遍历，遍历过程中记录当前遍历的条目标识；

在遍历过程中，若本地发生宕机，则在宕机恢复时，获取最近一次记录的条目标识，以重建遍历栈；

根据重建的遍历栈继续对所述目录树进行遍历，确定待迁移目录中包含的待迁移条目。

可选地，计算机可执行指令在被执行时，还可以使所述处理器：在所述从所述待迁移目录所在的目录树的根目录进行遍历，遍历过程中记录当前遍历的条目标识之后，在遍历过程中，获取所述目录树中各个子目录包含的条目数量；

如果所述目录树中包含条目数量小于预定数量阈值的目标子目录，则将所述目标子目录包含的条目分配到同一个迁移任务中。

可选地，计算机可执行指令在被执行时，还可以使所述处理器：

根据每个所述待迁移条目所对应的数据块数量，生成迁移任务并确定所述迁移任务容纳的数据块数量阈值；

按照预设分配策略，在所述迁移任务容纳的数据块数量阈值范围内，为所述迁移任务分配所述待迁移条目，直至所述待迁移条目分配完毕；

其中，所述预设分配策略为：对于当前的迁移任务，若未分配的所述待迁移条目中存在数据块数量小于所述当前迁移任务空闲数据块数量的待迁移条目，则从未分配的所述待迁移条目中选取数据块数量小于所述当前迁移任务空闲数据块数量的待迁移条目分配给所述当前迁移任务。

可选地，计算机可执行指令在被执行时，还可以使所述处理器：

采用逐个下发的方式将所述迁移任务分配至所述执行服务器，且使所述执行服务器当前拥有的迁移任务小于预设值。

本申请实施例提供一种元数据迁移设备，通过确定待迁移目录中的待迁移条目，并根据待迁移条目所对应的数据块数量，生成迁移任务，为迁移任务划分待迁移条目，最后将迁移任务分配至执行服务器以对待迁移条目进行元数据迁移，这样，通过待迁移条目所对应的数据块数量生成迁移任务，各个迁移任务中包含的数据量相对均衡，从而避免出现可能分配到很大数据量的迁移任务的执行服务器，缩短了执行服务器完成迁移任务需要耗费的时间，从而可以提高元数据迁移的整体工作效率。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device，PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (19)

1.一种元数据迁移方法，其特征在于，所述方法包括：

确定待迁移目录中的待迁移条目；

根据所述待迁移条目所对应的数据块数量，生成迁移任务，为所述迁移任务划分所述待迁移条目；

将所述迁移任务分配至执行服务器以对所述待迁移条目对应的元数据进行元数据迁移。

2.根据权利要求1所述的方法，其特征在于，所述将所述迁移任务分配至执行服务器之后，所述方法还包括：

接收所述执行服务器反馈的迁移任务状态信息；

根据所述迁移任务状态信息确定所述执行服务器是否存在阻塞的迁移任务，若所述执行服务器存在阻塞的迁移任务，则控制所述执行服务器进行加速迁移处理。

3.根据权利要求2所述的方法，其特征在于，所述根据所述迁移任务状态信息确定所述执行服务器是否存在阻塞的迁移任务，包括：

根据所述执行服务器的迁移任务状态信息，获取所述执行服务器中当前进行元数据迁移的待迁移条目已耗费的迁移时间；

若所述迁移时间超出预设阈值，则确定所述执行服务器存在阻塞的迁移任务；

相应的，所述控制所述执行服务器进行加速迁移处理，包括：

向所述存在阻塞迁移任务的执行服务器发送加速迁移指令，以使所述执行服务器切换为快速迁移模式迁移当前的待迁移条目对应的元数据。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

如果待迁移条目中存在数据块数量大于预定数量的第一待迁移条目，则根据所述第一待迁移条目对应的数据块数量和所述预定数量，对所述预设阈值进行调整，得到所述第一待迁移条目对应的预设阈值。

5.根据权利要求1所述的方法，其特征在于，所述确定待迁移目录中包含的待迁移条目，包括：

从所述待迁移目录所在的目录树的根目录进行遍历，遍历过程中记录当前遍历的条目标识；

在遍历过程中，若本地发生宕机，则在宕机恢复时，获取最近一次记录的条目标识，以重建遍历栈；

根据重建的遍历栈继续对所述目录树进行遍历，确定待迁移目录中包含的待迁移条目。

6.根据权利要求5所述的方法，其特征在于，所述从所述待迁移目录所在的目录树的根目录进行遍历，遍历过程中记录当前遍历的条目标识之后，还包括：

在遍历过程中，获取所述目录树中各个子目录包含的条目数量；

如果所述目录树中包含条目数量小于预定数量阈值的目标子目录，则将所述目标子目录包含的条目分配到同一个迁移任务中。

7.根据权利要求1所述的方法，其特征在于，所述根据所述待迁移条目所对应的数据块数量，生成迁移任务，为所述迁移任务划分所述待迁移条目，包括：

根据每个所述待迁移条目所对应的数据块数量，生成迁移任务并确定所述迁移任务容纳的数据块数量阈值；

按照预设分配策略，在所述迁移任务容纳的数据块数量阈值范围内，为所述迁移任务分配所述待迁移条目，直至所述待迁移条目分配完毕；

其中，所述预设分配策略为：对于当前的迁移任务，若未分配的所述待迁移条目中存在数据块数量小于所述当前迁移任务空闲数据块数量的待迁移条目，则从未分配的所述待迁移条目中选取数据块数量小于所述当前迁移任务空闲数据块数量的待迁移条目分配给所述当前迁移任务。

8.根据权利要求1所述的方法，其特征在于，所述将所述迁移任务分配至执行服务器，包括：

采用逐个下发的方式将所述迁移任务分配至所述执行服务器，且使所述执行服务器当前拥有的迁移任务小于预设值。

9.一种元数据迁移装置，其特征在于，所述装置包括：

待迁移条目确定模块，用于确定待迁移目录中的待迁移条目；

迁移任务生成模块，用于根据所述待迁移条目所对应的数据块数量，生成迁移任务，为所述迁移任务划分所述待迁移条目；

迁移任务分配模块，用于将所述迁移任务分配至执行服务器以对所述待迁移条目进行元数据迁移。

10.根据权利要求9所述的装置，其特征在于，所述装置还包括：

接收模块，用于接收所述执行服务器反馈的迁移任务状态信息；

阻塞处理模块，用于根据所述迁移任务状态信息确定所述执行服务器是否存在阻塞的迁移任务，若所述执行服务器存在阻塞的迁移任务，则控制所述执行服务器进行加速迁移处理。

11.根据权利要求10所述的装置，其特征在于，所述阻塞处理模块，包括：

迁移时间获取单元，用于根据所述执行服务器的迁移任务状态信息，获取所述执行服务器中当前进行元数据迁移的待迁移条目已耗费的迁移时间；

阻塞任务确定单元，用于若所述迁移时间超出预设阈值，则确定所述执行服务器存在阻塞的迁移任务；

发送单元，用于向所述存在阻塞迁移任务的执行服务器发送加速迁移指令，以使所述执行服务器切换为快速迁移模式迁移当前的待迁移条目对应的元数据。

12.根据权利要求11所述的装置，其特征在于，所述装置还包括：

阈值调整模块，用于如果待迁移条目中存在数据块数量大于预定数量的第一待迁移条目，则根据所述第一待迁移条目对应的数据块数量和所述预定数量，对所述预设阈值进行调整，得到所述第一待迁移条目对应的预设阈值。

13.根据权利要求9所述的装置，其特征在于，所述待迁移条目确定模块，包括：

遍历操作单元，用于从所述待迁移目录所在的目录树的根目录进行遍历，遍历过程中记录当前遍历的条目标识；

遍历栈重建单元，用于在遍历过程中，若本地发生宕机，则在宕机恢复时，获取最近一次记录的条目标识，以重建遍历栈；

所述遍历操作单元，还用于根据重建的遍历栈继续对所述目录树进行遍历，确定待迁移目录中包含的待迁移条目。

14.根据权利要求13所述的装置，其特征在于，所述装置还包括：

条目数量获取模块，用于在遍历过程中，获取所述目录树中各个子目录包含的条目数量；

条目分配模块，用于如果所述目录树中包含条目数量小于预定数量阈值的目标子目录，则将所述目标子目录包含的条目分配到同一个迁移任务中。

15.根据权利要求9所述的装置，其特征在于，所述迁移任务生成模块，用于根据每个所述待迁移条目所对应的数据块数量，生成迁移任务并确定所述迁移任务容纳的数据块数量阈值；按照预设分配策略，在所述迁移任务容纳的数据块数量阈值范围内，为所述迁移任务分配所述待迁移条目，直至所述待迁移条目分配完毕；

其中，所述预设分配策略为：对于当前的迁移任务，若未分配的所述待迁移条目中存在数据块数量小于所述当前迁移任务空闲数据块数量的待迁移条目，则从未分配的所述待迁移条目中选取数据块数量小于所述当前迁移任务空闲数据块数量的待迁移条目分配给所述当前迁移任务。

16.根据权利要求9所述的装置，其特征在于，所述迁移任务分配模块，用于采用逐个下发的方式将所述迁移任务分配至所述执行服务器，且使所述执行服务器当前拥有的迁移任务小于预设值。

17.一种元数据迁移系统，其特征在于，包括如权利要求9-16所述的元数据迁移装置、执行服务器和多个元数据服务器组，其中：

所述执行服务器，用于接收所述元数据迁移装置分配的迁移任务，根据所述迁移任务，在所述元数据服务器组之间进行元数据迁移。

18.根据权利要求17所述的系统，其特征在于，

所述执行服务器，还用于在接收到所述元数据迁移装置发送的加速迁移指令后切换到快速迁移模式；在快速迁移模式下，对于当前进行迁移的条目的副本，停止迁移其中耗费迁移时长超过预设阈值的副本的元数据，生成所述当前进行元数据迁移的条目的元数据恢复文件，将所述耗费迁移时长超过预设阈值的副本以外的其余副本的元数据及所述元数据恢复文件迁移至目标元数据服务器组；

所述元数据迁移装置，还用于根据所述目标元数据服务器中的所述耗费迁移时长超过预设阈值的副本以外的其余副本的元数据及所述元数据恢复文件，在所述目标元数据服务器中恢复所述耗费迁移时长超过预设阈值的副本的元数据。

19.一种元数据迁移设备，其特征在于，所述元数据迁移设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：

确定待迁移目录中的待迁移条目；

根据所述待迁移条目所对应的数据块数量，生成迁移任务，为所述迁移任务划分所述待迁移条目；

将所述迁移任务分配至执行服务器以对所述待迁移条目对应的元数据进行元数据迁移。