CN107643880A - 基于分布式文件系统的文件数据迁移的方法及装置 - Google Patents

Abstract

本发明公开了一种基于分布式文件系统的文件数据迁移的方法，该方法包括：记录待迁移目标文件的最后修改时间；从原存储池中读取所述目标文件中的数据并写入目标存储池；判断所述目标文件的最后修改时间是否发生变化；若发生变化，终止所述数据的迁移，并将已写入目标存储池的所述数据删除；若未发生变化，判断移动偏移量是否小于所述目标文件的大小；若所述移动偏移量不小于所述目标文件的大小，则完成所述数据的迁移。该方法是文件级别的数据迁移方法，可以根据用户的指定规则将文件存放在不同性能的存储设备上，满足了用户的需求。本发明还公开了一种基于分布式文件系统的文件数据迁移的装置、设备及计算机可读存储介质，均具有上述技术效果。

Description

基于分布式文件系统的文件数据迁移的方法及装置

技术领域

本发明涉及数据迁移领域，特别涉及一种基于分布式文件系统的文件数据迁移的方法、装置、设备及计算机可读存储介质。

背景技术

对象与文件类似，二者都包含有数据。对于分布式存储系统，目前存在的数据迁移方式是以对象为级别的自动迁移。这样的数据迁移方式无法满足用户对数据迁移的需求，因为对于文件系统而言，用户操作的对象是文件，用户希望可以按照指定规则主动地将文件存放于不同的存储池中。

因此，如何实现文件级别的数据迁移以满足用户需求是本领域技术人员亟待解决的问题。

发明内容

本发明的目的是提供一种基于分布式文件系统的文件数据迁移的方法，该方法是文件级别的数据迁移方法，可以根据用户指定的规则将文件存放在不同性能的存储池设备上，满足了用户的需求。

为解决上述技术问题，本发明提供一种基于分布式文件系统的文件数据迁移的方法，所述方法包括：

根据数据迁移触发指令，确定待迁移的目标文件；

记录所述目标文件的最后修改时间；

从原存储池中读取所述目标文件中的数据并写入目标存储池；

判断所述目标文件的最后修改时间是否发生变化；

若发生变化，则终止所述数据的迁移，并将已写入目标存储池的所述数据删除；

若未发生变化，则判断移动偏移量是否小于所述目标文件的大小；

若所述移动偏移量不小于所述目标文件的大小，则完成所述数据的迁移。

优选的，所述从原存储池中读取所述目标文件中的数据并写入目标存储池包括：

以预设值为单位循环从原存储池中读取所述数据并写入所述目标存储池。

优选的，所述完成所述数据的迁移后还包括：

获取读缓存权限；

若获取成功，则判断所述目标文件的最后修改时间是否发生变化；

若未发生变化，则向元数据服务器发送更新元数据的消息。

优选的，所述向元数据服务器发送更新元数据的消息后还包括：

收取所述元数据服务器关于更新元数据消息的回应；

若收取成功，则更改本地存储池的相关元数据，删除本地原存储池中的所述数据，释放所述读缓存权限。

优选的，所述方法还包括：

其他读写所述目标文件的客户端收取所述元数据服务器发送的元数据变更消息；

根据所述元数据变更消息，判断所述数据的存储池是否发生变化；

若发生变化，则更改本地存储池的相关元数据，删除本地原存储池中的所述数据。

本发明还提供了一种基于分布式文件系统的文件数据迁移的装置，所述装置包括：

确定单元，用于根据数据迁移触发指令，确定待迁移的目标文件；

记录单元，用于记录所述目标文件的最后修改时间；

读写单元，用于从原存储池中读取所述目标文件中的数据并写入目标存储池；

第一判断单元，用于判断所述目标文件的最后修改时间是否发生变化；

第一执行单元，用于当所述目标文件的最后修改时间发生变化时，终止所述数据的迁移，并将已写入所述目标存储池的所述数据删除；

第二判断单元，用于当所述目标文件的最后修改时间未发生变化时，判断移动偏移量是否小于所述目标文件的大小；

第二执行单元，用于当所述移动偏移量不小于所述目标文件的大小时，完成所述数据的迁移。

优选的，所述读写单元包括：

读写子单元，用于以预设值为单位循环从原存储池中读取所述数据并写入所述目标存储池。

优选的，所述装置还包括：

获取单元，用于当完成所述数据的迁移后，获取读缓存权限；

第三判断单元，用于当获取读缓存权限成功时，判断所述目标文件的最后修改时间是否发生变化；

发送单元，用于当所述目标文件的最后修改时间未发生变化时，向元数据服务器发送更新元数据的消息。

本发明还提供了一种基于分布式文件系统的文件数据迁移的设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上述所述基于分布式文件系统的文件数据迁移方法的步骤。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述基于分布式文件系统的文件数据迁移方法的步骤。

本发明所提供的基于分布式文件系统的文件数据迁移的方法，是文件级别的数据迁移方法，相比较于以对象为级别的数据迁移，本方法可以根据用户的指定规则将文件存放在不同性能的存储设备上，用户可以依据实际操作的需要选择存储池，设定数据迁移的起始时间，主动地触发数据迁移将数据迁移到用户选择的存储池中，满足了用户主动迁移数据的需求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例所提供的基于分布式文件系统的文件数据迁移的方法流程图；

图2为本发明提供的一种优选实施例的示意图；

图3为本发明提供的另一种优选实施例的示意图；

图4为本发明提供的另一种优选实施例的示意图；

图5为本发明提供的基于分布式文件系统文件数据迁移的装置的示意图；

图6为本发明提供的基于分布式文件系统文件数据迁移的设备的示意图。

具体实施方式

本发明的核心是提供一种基于分布式文件系统的文件数据迁移的方法,该方法是文件级别的数据迁移方法，可以根据用户的指定规则将文件存放在不同性能的存储设备上，满足了用户的需求。本发明的另一个核心是提供一种基于分布式文件系统的文件数据迁移的装置、设备及计算机可读存储介质，均具有上述技术效果。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1为本发明实施例所提供的基于分布式文件系统的文件数据迁移方法的流程图，参考图1可知，该方法可以包括以下步骤：

S101：根据数据迁移触发指令，确定待迁移的目标文件；

其中，数据迁移触发指令可以包括待迁移的目标文件、该目标文件中数据所在的原存储池及将要迁入的目标存储池等信息。用户也可以根据实际需要修改这些信息。

S102：记录目标文件的最后修改时间；

本发明提供的数据迁移的方法，在数据迁移的过程中，用户能够正常的操作文件，即可以对目标文件中的数据进行读写等操作，因此在数据迁移的过程中可能会出现目标文件被修改的情况，所以需记录目标文件的最后修改时间，以确保迁移完成后的数据是符合用户规则、满足用户需要的数据。

S103：从原存储池中读取目标文件中的数据并写入目标存储池；

其中，从原存储池读取数据并写入目标存储池可以一次将全部数据读取并写入目标存储池。也可以采用分段读取写入的方式，即一次读取一部分数据并写入目标存储池，通过多次循环读取并写入目标存储池完成全部数据的迁移。其中，原存储池和目标存储池分别为数据迁移前所在存储池和数据迁移后所在存储池。

S104：判断所述目标文件的最后修改时间是否发生变化；

需要说明的是，当有数据写入目标存储池后就要判断此次数据写入目标存储池后目标文件的最后修改时间是否发生变化。当最后修改时间没有变化时从而保证迁移过来的数据与之前的目标文件中的对应数据一致，没有在迁移过程中被用户修改。即本实施例通过步骤S104保证了迁移数据的可靠性。

S105：若目标文件的最后修改时间发生变化，则终止数据的迁移，并将已写入目标存储池的数据删除；

其中，目标文件的最后修改时间发生变化，则证明了在这部分数据迁移到目标存储池的过程中数据发生了改变，即目标存储池中的对应的数据不是最新的数据，因此，需要终止数据的迁移，并将已写入目标存储池的数据删除，重新对这部分数据进行迁移。此时用户若要迁移该发生变化的目标文件，可以在下一次数据迁移触发后，进行数据迁移。

S106：若目标文件的最后修改时间未发生变化，则判断移动偏移量是否小于目标文件的大小；

在数据迁移过程中可能会出现数据丢失、遗漏等故障，所以可以通过判断移动偏移量与目标文件大小的关系来判断目标文件中的数据是否已经全部迁移到目标存储池，以保证数据迁移结果准确无误。

S107：若移动偏移量不小于目标文件的大小，则完成数据的迁移；

S108：如果移动偏移量小于目标文件的大小，则可以再次读取目标文件中的数据并写入目标存储池，重复上述一项或几项步骤。

也可以终止数据迁移，发出报警信号以提醒用户此次数据迁移失败；或者采取其他的方式，具体可根据用户的需要确定，这里不作限定。

综上，本发明所提供的基于分布式文件系统的文件数据迁移的方法，是文件级别的数据迁移方法，相比较于以对象为级别的数据迁移，本方法可以根据用户的指定规则将文件存放在不同性能的存储设备上，用户可以依据实际操作的需要选择存储池，选择数据迁移的起始时间，主动地触发数据迁移将数据迁移到用户选择的存储池中，满足了用户主动迁移数据到指定存储池的需求。同时可以保证数据的安全，并且在数据迁移的过程中，用户能够正常地操作该目标文件。

一次将全部数据读取并写入目标存储池的方式虽然可以减少操作量，但是时间会比较长，因此在迁移过程中可能会出现目标文件被修改的情况，比如更改了目标文件中的某一段数据，此时虽然目标文件已经发生改变，但是数据迁移还未完成，所以仍然会继续执行迁移动作，直至全部数据迁移完成后，判断目标文件的最后修改时间发生了变化才会终止数据迁移，并删除已写入目标存储池的全部数据。这样会导致不必要的操作，浪费计算资源。

因此本实施例作为一种优选的实施例，可以采用分段读取并写入的方式。可以以某一预设值为单位循环从原存储池中读取目标文件中的数据并写入目标存储池。其中，预设值为每次读取并写入目标存储池的数据的大小，如每次从原存储池读取4M大小的数据，并将其写入目标存储池。

具体过程可以如下：

触发数据迁移后，记录目标文件的最后修改时间；

从原存储池中读取4M大小的数据并写入目标存储池；

写入后判断目标文件的最后修改时间是否发生了变化；

若目标文件的最后修改时间发生了变化，则终止数据迁移，并将已写入目标存储池的数据删除。

若目标文件的最后修改时间未发生变化，则判断移动偏移量是否小于目标文件的大小；

如果移动偏移量小于目标文件的大小则再次从原存储池中读取4M大小数据并写入目标存储池；

如果移动偏移量不小于目标文件的大小，则完成数据的迁移。

如此循环读取4M大小数据并写入目标存储池，并在每次写入4M大小的数据后判断目标文件的修改时间是否变化以及判断移动偏移量是否小于目标文件的大小的操作，直至移动偏移量不小于目标文件的大小，即将目标文件中的全部数据迁移到目标存储池中。

其中，预设值的大小可以综合考虑目标文件的大小以及迁移时间长短等因素来确定。

需要明白的是，无论预设值的取值为多少，每次读取该预设值大小的数据并写入目标存储池后，均要判断目标文件的最后修改时间是否发生变化以及移动偏移量是否小于目标文件的大小。

除了通过判断移动偏移量是否小于目标文件大小来判断数据是否迁移完成的方式以外，也可以通过识别数据中的某一标志位来判断数据是否全部迁移到目标存储池。或者也可以采用其他判断数据是否迁移完成的方式，这里不做限定。

该优选实施例采取分段读取并写入目标存储池的方式，当在数据迁移过程中出现目标文件中部分数据更改的情况时，可以在当前预设值大小的数据迁移完成后，及时终止数据迁移，对未迁移部分不再进行迁移操作，可以有效的减少数据迁移的操作量，避免计算浪费。同时因为每次只读取、写入部分数据，所以相比较于一次读取并写入全部数据的方式，该实施例还可以降低数据迁移过程中发生数据丢失、遗漏等故障的概率。

参考图2，作为一种优选的实施例，在完成数据的迁移后，还可以包括以下步骤：

S201：获取读缓存权限；

发起数据迁移的客户端在完成数据迁移后，可以通过获取目标文件的读缓存权限的方式，保证其他读写该目标文件的客户端无写操作。

S202：若获取读缓存权限失败，则终止数据的迁移，删除已写入目标文件的数据；

S203：若获取读缓存权限成功，则判断目标文件的最后修改时间是否发生变化；

S204：若目标文件的最后修改时间未发生变化，则向元数据服务器发送更新元数据的消息；

S205：若目标文件的最后修改时间发生变化，则终止数据迁移，删除已写入目标存储池的数据。

参考图3，作为一种优选的实施例，在向元数据服务器发送更新元数据的消息后，还可以执行如下步骤：

S301：收取元数据服务器关于更新元数据消息的回应；

S302：若收取元数据服务器关于更新元数据消息的回应成功，则更改本地存储池的相关元数据，删除本地原存储池中的数据，释放读缓存权限；

S303：若收取元数据服务器关于更新元数据消息的回应失败，则删除目标存储池中的数据，释放读缓存权限。

为了避免存储空间的浪费，本实施例中根据元数据服务器关于更新元数据消息的回应信息，执行对应的数据删除操作。

对于上述各实施例而言，各步骤的执行主体均为发起数据迁移的客户端，而对于分布式文件系统，除该发起数据迁移的客户端外，还有一些打开目标文件的客户端，其也需要进行相应的操作，参考图4，具体步骤可以如下：

S401：获取元数据服务器发送的元数据变更消息；

S402：根据元数据变更消息，判断对应数据的存储池是否发生变化；

S403：若发生变化，则更改本地存储池的相关元数据，删除本地原存储

池中的数据；

S404：若未发生变化，则不作处理。

该实施例可以保证在目标文件中的数据完成迁移之后，打开该目标文件的其他客户端仍旧可以对该目标文件进行相关的操作。

本发明还提供了一种基于分布式文件系统的文件数据迁移的装置，利用该装置可以实现文件数据的迁移。

下面对本发明提供的基于分布式文件系统的文件数据迁移的装置进行介绍，下文描述的该装置可以与上文描述的方法相互对应参照。

如图5所示，该装置包括确定单元1、记录单元2、读写单元3、第一判断单元4、第一执行单元5、第二判断单元6、第二执行单元7。

其中，确定单元1用于根据数据迁移触发指令，确定待迁移的目标文件；记录单元2，用于记录所述目标文件的最后修改时间；读写单元3，用于从原存储池中读取所述目标文件中的数据并写入目标存储池；第一判断单元4，用于判断所述目标文件的最后修改时间是否发生变化；第一执行单元5，用于当所述目标文件的最后修改时间发生变化时，终止所述数据的迁移，并将已写入所述目标存储池的所述数据删除；第二判断单元6，用于当所述目标文件的最后修改时间未发生变化时，判断移动偏移量是否小于所述目标文件的大小；第二执行单元7，用于当所述移动偏移量不小于所述目标文件的大小时，完成所述数据的迁移。

作为一种优选的方案，该读写单元3还可以包括：

读写子单元，用于以预设值为单位循环从原存储池中读取所述数据并写入所述目标存储池。

作为一种优选的方案，该装置还可以包括：

获取单元，用于当完成所述数据的迁移后，获取读缓存权限；

第三判断单元，用于当获取读缓存权限成功时，判断所述目标文件的最后修改时间是否发生变化；

发送单元，用于当所述目标文件的最后修改时间未发生变化时，向元数据服务器发送更新元数据的消息。

本发明还提供了一种基于分布式文件系统的文件数据迁移的设备，同样下文描述的该设备可以与上文描述的方法相互对应参照。

参考图6可知，该设备包括存储器8和处理器9。

存储器8用于存储计算机程序；

处理器9执行计算机程序，可以实现如上述方法的相关步骤，详细步骤这里不在赘述，可以参照上述方法。

本发明还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现上述方法的步骤。详细步骤这里不在赘述，可参照上述方法、装置或设备。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、设备以及计算机可读存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的基于分布式文件系统的文件数据迁移的方法、装置、设备以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种基于分布式文件系统的文件数据迁移的方法，其特征在于，所述方法包括：

根据数据迁移触发指令，确定待迁移的目标文件；

记录所述目标文件的最后修改时间；

从原存储池中读取所述目标文件中的数据并写入目标存储池；

判断所述目标文件的最后修改时间是否发生变化；

若发生变化，则终止所述数据的迁移，并将已写入目标存储池的所述数据删除；

若未发生变化，则判断移动偏移量是否小于所述目标文件的大小；

若所述移动偏移量不小于所述目标文件的大小，则完成所述数据的迁移。

2.根据权利要求1所述的方法，其特征在于，所述从原存储池中读取所述目标文件中的数据并写入目标存储池包括：

以预设值为单位循环从原存储池中读取所述数据并写入所述目标存储池。

3.根据权利要求1所述的方法，其特征在于，所述完成所述数据的迁移后还包括：

获取读缓存权限；

若获取成功，则判断所述目标文件的最后修改时间是否发生变化；

若未发生变化，则向元数据服务器发送更新元数据的消息。

4.根据权利要求3所述的方法，其特征在于，所述向元数据服务器发送更新元数据的消息后还包括：

收取所述元数据服务器关于更新元数据消息的回应；

若收取成功，则更改本地存储池的相关元数据，删除本地原存储池中的所述数据，释放所述读缓存权限。

5.根据权利要求1所述的方法，其特征在于，还包括：

其他读写所述目标文件的客户端收取所述元数据服务器发送的元数据变更消息；

根据所述元数据变更消息，判断所述数据的存储池是否发生变化；

若发生变化，则更改本地存储池的相关元数据，删除本地原存储池中的所述数据。

6.一种基于分布式文件系统的文件数据迁移的装置，其特征在于，包括：

确定单元，用于根据数据迁移触发指令，确定待迁移的目标文件；

记录单元，用于记录所述目标文件的最后修改时间；

读写单元，用于从原存储池中读取所述目标文件中的数据并写入目标存储池；

第一判断单元，用于判断所述目标文件的最后修改时间是否发生变化；

第一执行单元，用于当所述目标文件的最后修改时间发生变化时，终止所述数据的迁移，并将已写入所述目标存储池的所述数据删除；

第二判断单元，用于当所述目标文件的最后修改时间未发生变化时，判断移动偏移量是否小于所述目标文件的大小；

第二执行单元，用于当所述移动偏移量不小于所述目标文件的大小时，完成所述数据的迁移。

7.根据权利要求6所述的装置，其特征在于，所述读写单元包括：

读写子单元，用于以预设值为单位循环从原存储池中读取所述数据并写入所述目标存储池。

8.根据权利要求6所述的装置，其特征在于，还包括：

获取单元，用于当完成所述数据的迁移后，获取读缓存权限；

第三判断单元，用于当获取读缓存权限成功时，判断所述目标文件的最后修改时间是否发生变化；

发送单元，用于当所述目标文件的最后修改时间未发生变化时，向元数据服务器发送更新元数据的消息。

9.一种基于分布式文件系统的文件数据迁移的设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述基于分布式文件系统的文件数据迁移方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述基于分布式文件系统的文件数据迁移方法的步骤。