CN109558456A - 一种文件迁移方法、装置、设备及可读存储介质 - Google Patents

Abstract

本发明公开了一种文件迁移方法，该方法包括以下步骤：从待迁移文件中，确定出符合迁移条件的目标文件，并获取目标文件的目标索引记录；读取迁移记录文件，并利用迁移记录文件判断目标索引记录是否已插入数据库；其中，迁移记录文件中存储有向数据库插入文件索引记录的插入记录；如果是，则利用目标索引记录，将目标文件迁移至数据库。该方法，可减少重复插入文件索引记录，便可减少IO占用，可提升文件迁移速度，进一步提高系统性能。本发明还公开了一种文件迁移装置、设备及可读存储介质，具有相应的技术效果。

Description

一种文件迁移方法、装置、设备及可读存储介质

技术领域

本发明涉及存储技术领域，特别是涉及一种文件迁移方法、装置、设备及可读存储介质。

背景技术

对于分布式文件系统，即以对象存储方式存储数据的系统。实现文件分级过程中，目标索引记录在以目录为表名的数据库中存放，且都需将目录下的待迁移文件的目标索引记录添加到数据库中。

但是，满足迁移条件，将目标索引记录插入数据库的动作，是在元数据发生变化的时候所进行的。如此，便会出现一个问题，即元数据频繁变化，便要将目标索引记录频繁插入数据库，而将目标索引记录插入数据库便会占用数据库IO。多次插入同样的目标索引记录，产生无用IO，又因IOPS是相对固定的，而无用IO的产生，会降低迁移文件的平均耗时，进而影响系统性能。

综上所述，如何有效地解决文件迁移速度等问题，是目前本领域技术人员急需解决的技术问题。

发明内容

本发明的目的是提供一种文件迁移方法、装置、设备及可读存储介质，以提高文件迁移速度，提高系统性能。

为解决上述技术问题，本发明提供如下技术方案：

一种文件迁移方法，包括：

从待迁移文件中，确定出符合迁移条件的目标文件，并获取所述目标文件的目标索引记录；

读取迁移记录文件，并利用所述迁移记录文件判断所述目标索引记录是否已插入数据库；其中，所述迁移记录文件中存储有向所述数据库插入文件索引记录的插入记录；

如果是，则利用所述目标索引记录，将所述目标文件迁移至所述数据库。

优选地，在利用所述迁移记录文件判断出所述目标索引记录未插入所述数据库时，包括：

将所述目标索引记录插入所述数据库，并将所述目标索引记录的目标插入记录写入所述迁移记录文件；

执行所述利用所述目标索引记录，将所述目标文件迁移至所述数据库的步骤。

优选地，在利用所述目标索引记录，将所述目标文件迁移至所述数据库之后，还包括：

在预设时长内，判断所述目标文件是否符合所述迁移条件；

如果否，则清除所述迁移记录文件中的所述目标插入记录。

优选地，所述从待迁移文件中，确定出符合迁移条件的目标文件，包括：

获取所述待迁移文件的元数据信息；

利用所述元数据信息，从所述待迁移文件中确定出所述目标文件。

优选地，利用所述元数据信息，从所述待迁移文件中确定出所述目标文件，包括：

将所述元数据信息与所述迁移条件进行比较，确定出所述目标文件；其中，所述迁移条件包括文件大小变化大于预设文件阈值、文件名发生变化和存储池保存时间大于时间阈值中的至少一种。

优选地，所述读取迁移记录文件，并利用所述迁移记录文件判断所述目标索引记录是否已插入数据库，包括：

从缓存中读取所述迁移记录文件，并对所述迁移记录文件进行遍历；

若所述迁移记录文件中已有所述目标索引记录插入所述数据库的目标插入记录，则确定所述目标索引记录已插入所述数据库；

若所述迁移记录文件中暂无所述目标插入记录，则确定所述目标索引记录未插入所述数据库。

一种文件迁移装置，包括：

目标文件确定模块，用于从待迁移文件中，确定出符合迁移条件的目标文件，并获取所述目标文件的目标索引记录；

目标索引记录插入查询模块，用于读取迁移记录文件，并利用所述迁移记录文件判断所述目标索引记录是否已插入数据库；其中，所述迁移记录文件中存储有向所述数据库插入文件索引记录的插入记录；

目标文件迁移模块，用于如果是，则利用所述目标索引记录，将所述目标文件迁移至所述数据库。

优选地，包括：

目标索引记录插入模块，用于在利用所述迁移记录文件判断出所述目标索引记录未插入所述数据库时，将所述目标索引记录插入所述数据库，并将所述目标索引记录的目标插入记录写入所述迁移记录文件；

所述目标文件迁移模块，具体用于在将所述目标索引记录插入所述数据库之后，利用所述目标索引记录，将所述目标文件迁移至所述数据库。

一种文件迁移设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述文件迁移方法的步骤。

一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述文件迁移方法的步骤。

应用本发明实施例所提供的方法，从待迁移文件中，确定出符合迁移条件的目标文件，并获取目标文件的目标索引记录；读取迁移记录文件，并利用迁移记录文件判断目标索引记录是否已插入数据库；其中，迁移记录文件中存储有向数据库插入文件索引记录的插入记录；如果是，则利用目标索引记录，将目标文件迁移至数据库。

从待迁移文件中，确定出符合迁移条件的目标文件之后，首先获取目标文件的目标索引记录。然后，读取迁移记录文件，该迁移记录文件为存储有向数据库插入文件索引记录的插入记录，即利用迁移记录文件，可以判断出目标索引记录是否已插入数据库。如果是，则表明此时数据库中已有目标文件的目标索引记录，此时可直接利用数据库中的目标索引记录，将目标文件迁移至数据库中。如此，便可减少重复插入迁移记录文件的目标索引记录的次数，即可避免产生无用IO，进一步提升文件迁移速度。特别是针对大批量、且具有较高文件修改或更新频率的情况下，本发明实施例所提供的方法，可减少重复插入文件索引记录，便可减少IO占用，可提升文件迁移速度，进一步提高系统性能。

相应地，本发明实施例还提供了与上述文件迁移方法相对应的文件迁移装置、设备和可读存储介质，具有上述技术效果，在此不再赘述。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中一种文件迁移方法的实施流程图；

图2为本发明实施例中一种文件迁移装置的结构示意图；

图3为本发明实施例中一种文件迁移设备的结构示意图；

图4为本发明实施例中一种文件迁移设备的具体结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

请参考图1，图1为本发明实施例中一种文件迁移方法的流程图，该方法可应用于分布式文件系统中，如文件分级过程中，该方法包括以下步骤：

S101、从待迁移文件中，确定出符合迁移条件的目标文件，并获取目标文件的目标索引记录。

其中，待迁移文件可为常见的图片、音频、视频、文档、数表等常见的文件，具体的，即需将其从一个存储空间迁移至另一个存储空间。如将其从缓存中迁移至数据库，或将其从一个数据库迁移至另一个数据库。可按照迁移条件，从待迁移文件中确定出目标文件，以及目标文件的目标索引记录，其中，目标索引记录即为目标文件的文件索引记录。目标索引记录的具体内容可参见常见的文件索引记录，在此不再赘述。

其中，迁移条件可根据具体的应用场景而设置。具体的，若是文件更新的应用场景下，则可在待迁移文件发生数据更新的情况下，将待迁移文件确定为符合迁移条件的目标文件，即迁移条件为数据发生更新；若待迁移文件是暂存在内存(缓存)中的临时文件，则可在达到缓存时间之后，将其确定符合迁移条件的目标文件，即迁移条件为缓存时间即为迁移条件。下面以在分布式文件系统进行文件分级为例，对确定符合迁移条件的目标文件的具体过程进行详细说明。

在分布式文件系统中，若待迁移文件的元数据信息的变化满足迁移条件，则可将待迁移文件确定为目标文件，具体实现过程包括：

步骤一、获取待迁移文件的元数据信息；

步骤二、利用元数据信息，从待迁移文件中确定出目标文件。

为便于描述，下面将上述两个步骤结合起来进行说明。

首先获取待迁移文件的元数据信息。需要说明的是，待迁移文件可以具体为一个，以可为一个以上的个数。也得到元数据信息之后，便利用该元数据信息，从待迁移文件中确定出目标文件。若待迁移文件仅为一个，即确定该待迁移文件是否符合迁移条件，如果满足，则将该待迁移文件确定为目标文件；若待迁移文件为一个以上的数量，则将符合迁移条件的一个或多个待迁移文件均确定为目标文件。

其中，确定待迁移文件是否满足迁移条件，具体为将元数据信息与迁移条件进行比较，确定出目标文件；其中，迁移条件包括文件大小变化大于预设文件阈值、文件名发生变化和存储池保存时间大于时间阈值中的至少一种。也就是说，当迁移条件为文件大小变化大于预设文件阈值、文件名发生变化和存储池保存时间大于时间阈值中的至少一种时，基于元数据信息，确定待迁移文件满足迁移条件时，则可直接将待迁移文件确定目标文件。

确定出目标文件之后，可通过读取的方式，确定目标文件的目标索引记录，即目标文件的文件索引记录。

S102、读取迁移记录文件，并利用迁移记录文件判断目标索引记录是否已插入数据库。

其中，迁移记录文件中存储有向数据库插入文件索引记录的插入记录。

得到目标索引记录之后，便可读取迁移记录文件。该迁移记录文件即为记录了文件迁移过程中，向数据库插入文件索引记录的插入记录。即每一条插入记录即记录了一个文件的文件索引记录插入数据库的记录，具体的，该记录可包括插入时间、插入对象(即具体的文件索引记录)。读取到迁移记录文件之后，便可利用该迁移记录文件判断目标索引记录是否已插入数据库中。迁移记录文件中的内容可以预先写入，也可在文件迁移过程中，对文件索引记录插入数据库进行记录，进而获得具有文件索引记录插入记录的迁移记录文件。

优选地，为了提高文件迁移速度，还可将迁移记录文件存储在缓存中，即判断目标索引记录是否已插入数据库，则可通过执行以下步骤实现：

步骤一、从缓存中读取迁移记录文件，并对迁移记录文件进行遍历；

步骤二、若迁移记录文件中已有目标索引记录插入数据库的目标插入记录，则确定目标索引记录已插入数据库；

步骤三、若迁移记录文件中暂无目标插入记录，则确定目标索引记录未插入数据库。

为便于描述，下面将上述三个步骤结合起来进行说明。

首先从缓存中读取迁移记录文件，并对迁移记录文件进行遍历，根据遍历结果确定目标索引记录是否已插入数据库。当然，还可通过对迁移记录文件进程查询，确定该迁移记录文件中是否记录了目标索引记录的插入数据库的目标插入记录，如果有，则表明目标索引记录已插入数据库。

如果判断结果为是，则表明数据库中已有目标文件的目标索引记录，则可无需再次占用IO，插入数据库；若判断结果为否，则表明数据库中暂无目标文件的目标索引记录，此时可按照现有的迁移机制将目标文件迁移至数据库中。

当然，为了便于下次迁移目标文件时，无需再次插入目标索引记录，优选地，还可将目标索引记录插入至数据库。也就是说，基于不同的判断结果，执行步骤的操作步骤，即，如果判断结果为否，则执行完步骤S103之后，再执行步骤S104；如果判断结果为是，则直接执行步骤S104。

S103、将目标索引记录插入数据库，并将目标索引记录的目标插入记录写入迁移记录文件。

如果迁移记录文件中未存储目标索引记录的目标插入记录，此时，可将目标索引记录插入数据库。为了避免目标文件再次满足迁移条件时，出现重复插入目标索引记录的情况，将目标索引记录插入数据库之后，可将目标索引记录的目标插入记录写入迁移记录文件中。其中，关于如何将目标索引记录插入数据库的具体实现过程，可参见现有的文件索引记录插入数据库的详细过程，在此不再赘述。

S104、利用目标索引记录，将目标文件迁移至数据库。

在确保数据库中已有目标文件的目标索引记录之后，可利用目标索引记录，将目标文件迁移至数据库中。对于如何利用目标索引记录，将目标文件迁移至数据库的具体步骤可参见现有的利用文件索引记录将文件迁移至数据库的具体实现过程。

应用本发明实施例所提供的方法，从待迁移文件中，确定出符合迁移条件的目标文件，并获取目标文件的目标索引记录；读取迁移记录文件，并利用迁移记录文件判断目标索引记录是否已插入数据库；其中，迁移记录文件中存储有向数据库插入文件索引记录的插入记录；如果是，则利用目标索引记录，将目标文件迁移至数据库。

从待迁移文件中，确定出符合迁移条件的目标文件之后，首先获取目标文件的目标索引记录。然后，读取迁移记录文件，该迁移记录文件为存储有向数据库插入文件索引记录的插入记录，即利用迁移记录文件，可以判断出目标索引记录是否已插入数据库。如果是，则表明此时数据库中已有目标文件的目标索引记录，此时可直接利用数据库中的目标索引记录，将目标文件迁移至数据库中。如此，便可减少重复插入迁移记录文件的目标索引记录的次数，即可避免产生无用IO，进一步提升文件迁移速度。特别是针对大批量、且具有较高文件修改或更新频率的情况下，本发明实施例所提供的方法，可减少重复插入文件索引记录，便可减少IO占用，可提升文件迁移速度，进一步提高系统性能。

需要说明的是，基于上述实施例，本发明实施例还提供了相应的改进方案。在优选/改进实施例中涉及与上述实施例中相同步骤或相应步骤之间可相互参考，相应的有益效果也可相互参照，在本文的优选/改进实施例中不再一一赘述。

优选地，考虑到若不断的将发生文件索引记录插入数据库的插入记录写入迁移记录文件中，当遇到海量小文件，且针对同一个文件的迁移次数较低的情况，可能会导致迁移记录文件过大，进而可能会导致确定文件索引记录的插入记录查询过慢，以及占用缓存空间的问题。本发明实施例还提供了如下解决方案：

即在利用目标索引记录，将目标文件迁移至数据库之后，在预设时长内，判断目标文件是否符合迁移条件；如果否，则清除迁移记录文件中的目标插入记录。预设时长可具体为一分钟、五分钟等。即，文件迁移完成后，再次判断是否满足迁移条件，如果满足，证明文件还需要迁移，文件索引已存在数据库，此时记录在缓存中的迁移记录文件内的目标插入记录不清除；如果不满足迁移条件，清除迁移记录文件中记录的目标插入记录缓存记录，下次文件再次满足迁移条件时，再重新写数据库，以减少占用缓存空间。

实施例二：

相应于上面的方法实施例，本发明实施例还提供了一种文件迁移装置，下文描述的文件迁移装置与上文描述的文件迁移方法可相互对应参照。

参见图2所示，该装置包括以下模块：

目标文件确定模块101，用于从待迁移文件中，确定出符合迁移条件的目标文件，并获取目标文件的目标索引记录；

目标索引记录插入查询模块102，用于读取迁移记录文件，并利用迁移记录文件判断目标索引记录是否已插入数据库；其中，迁移记录文件中存储有向数据库插入文件索引记录的插入记录；

目标文件迁移模块103，用于如果是，则利用目标索引记录，将目标文件迁移至数据库。

应用本发明实施例所提供的装置，从待迁移文件中，确定出符合迁移条件的目标文件，并获取目标文件的目标索引记录；读取迁移记录文件，并利用迁移记录文件判断目标索引记录是否已插入数据库；其中，迁移记录文件中存储有向数据库插入文件索引记录的插入记录；如果是，则利用目标索引记录，将目标文件迁移至数据库。

从待迁移文件中，确定出符合迁移条件的目标文件之后，首先获取目标文件的目标索引记录。然后，读取迁移记录文件，该迁移记录文件为存储有向数据库插入文件索引记录的插入记录，即利用迁移记录文件，可以判断出目标索引记录是否已插入数据库。如果是，则表明此时数据库中已有目标文件的目标索引记录，此时可直接利用数据库中的目标索引记录，将目标文件迁移至数据库中。如此，便可减少重复插入迁移记录文件的目标索引记录的次数，即可避免产生无用IO，进一步提升文件迁移速度。特别是针对大批量、且具有较高文件修改或更新频率的情况下，本发明实施例所提供的装置，可减少重复插入文件索引记录，便可减少IO占用，可提升文件迁移速度，进一步提高系统性能。

在本发明的一种具体实施方式中，具体包括：

目标索引记录插入模块，用于在利用迁移记录文件判断出目标索引记录未插入数据库时，将目标索引记录插入数据库，并将目标索引记录的目标插入记录写入迁移记录文件；

目标文件迁移模块103，具体用于在将目标索引记录插入数据库之后，利用目标索引记录，将目标文件迁移至数据库。

在本发明的一种具体实施方式中，还包括：

迁移记录文件清理模块，用于在利用目标索引记录，将目标文件迁移至数据库之后，在预设时长内，判断目标文件是否符合迁移条件；如果否，则清除迁移记录文件中的目标插入记录。

在本发明的一种具体实施方式中，目标文件确定模块101，包括：

元数据信息获取单元，用于获取待迁移文件的元数据信息；

目标文件确定单元，用于利用元数据信息，从待迁移文件中确定出目标文件。

在本发明的一种具体实施方式中，目标文件确定单元，具体用于将元数据信息与迁移条件进行比较，确定出目标文件；其中，迁移条件包括文件大小变化大于预设文件阈值、文件名发生变化和存储池保存时间大于时间阈值中的至少一种。

在本发明的一种具体实施方式中，目标索引记录插入查询模块102，具体用于从缓存中读取迁移记录文件，并对迁移记录文件进行遍历；若迁移记录文件中已有目标索引记录插入数据库的目标插入记录，则确定目标索引记录已插入数据库；若迁移记录文件中暂无目标插入记录，则确定目标索引记录未插入数据库。

实施例三：

相应于上面的方法实施例，本发明实施例还提供了一种文件迁移设备，下文描述的一种文件迁移设备与上文描述的一种文件迁移方法可相互对应参照。

参见图3所示，该文件迁移设备包括：

存储器D1，用于存储计算机程序；

处理器D2，用于执行计算机程序时实现上述方法实施例的文件迁移方法的步骤。

具体的，请参考图4，图4为本实施例提供的一种文件迁移设备的具体结构示意图，该文件迁移设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)322(例如，一个或一个以上处理器)和存储器332，一个或一个以上存储应用程序342或数据344的存储介质330(例如一个或一个以上海量存储设备)。其中，存储器332和存储介质330可以是短暂存储或持久存储。存储在存储介质330的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对数据处理设备中的一系列指令操作。更进一步地，中央处理器322可以设置为与存储介质330通信，在文件迁移设备301上执行存储介质330中的一系列指令操作。

文件迁移设备301还可以包括一个或一个以上电源326，一个或一个以上有线或无线网络接口350，一个或一个以上输入输出接口358，和/或，一个或一个以上操作系统341。例如，Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等。

上文所描述的文件迁移方法中的步骤可以由文件迁移设备的结构实现。

实施例四：

相应于上面的方法实施例，本发明实施例还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的一种文件迁移方法可相互对应参照。

一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的文件迁移方法的步骤。

该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

Claims (10)

1.一种文件迁移方法，其特征在于，包括：

从待迁移文件中，确定出符合迁移条件的目标文件，并获取所述目标文件的目标索引记录；

读取迁移记录文件，并利用所述迁移记录文件判断所述目标索引记录是否已插入数据库；其中，所述迁移记录文件中存储有向所述数据库插入文件索引记录的插入记录；

如果是，则利用所述目标索引记录，将所述目标文件迁移至所述数据库。

2.根据权利要求1所述的文件迁移方法，其特征在于，在利用所述迁移记录文件判断出所述目标索引记录未插入所述数据库时，包括：

将所述目标索引记录插入所述数据库，并将所述目标索引记录的目标插入记录写入所述迁移记录文件；

执行所述利用所述目标索引记录，将所述目标文件迁移至所述数据库的步骤。

3.根据权利要求2所述的文件迁移方法，其特征在于，在利用所述目标索引记录，将所述目标文件迁移至所述数据库之后，还包括：

在预设时长内，判断所述目标文件是否符合所述迁移条件；

如果否，则清除所述迁移记录文件中的所述目标插入记录。

4.根据权利要求1所述的文件迁移方法，其特征在于，所述从待迁移文件中，确定出符合迁移条件的目标文件，包括：

获取所述待迁移文件的元数据信息；

利用所述元数据信息，从所述待迁移文件中确定出所述目标文件。

5.根据权利要求4所述的文件迁移方法，其特征在于，利用所述元数据信息，从所述待迁移文件中确定出所述目标文件，包括：

将所述元数据信息与所述迁移条件进行比较，确定出所述目标文件；其中，所述迁移条件包括文件大小变化大于预设文件阈值、文件名发生变化和存储池保存时间大于时间阈值中的至少一种。

6.根据权利要求1至5任一项所述的文件迁移方法，其特征在于，所述读取迁移记录文件，并利用所述迁移记录文件判断所述目标索引记录是否已插入数据库，包括：

从缓存中读取所述迁移记录文件，并对所述迁移记录文件进行遍历；

若所述迁移记录文件中已有所述目标索引记录插入所述数据库的目标插入记录，则确定所述目标索引记录已插入所述数据库；

若所述迁移记录文件中暂无所述目标插入记录，则确定所述目标索引记录未插入所述数据库。

7.一种文件迁移装置，其特征在于，包括：

目标文件确定模块，用于从待迁移文件中，确定出符合迁移条件的目标文件，并获取所述目标文件的目标索引记录；

目标索引记录插入查询模块，用于读取迁移记录文件，并利用所述迁移记录文件判断所述目标索引记录是否已插入数据库；其中，所述迁移记录文件中存储有向所述数据库插入文件索引记录的插入记录；

目标文件迁移模块，用于如果是，则利用所述目标索引记录，将所述目标文件迁移至所述数据库。

8.根据权利要求7所述的文件迁移装置，其特征在于，包括：

目标索引记录插入模块，用于在利用所述迁移记录文件判断出所述目标索引记录未插入所述数据库时，将所述目标索引记录插入所述数据库，并将所述目标索引记录的目标插入记录写入所述迁移记录文件；

所述目标文件迁移模块，具体用于在将所述目标索引记录插入所述数据库之后，利用所述目标索引记录，将所述目标文件迁移至所述数据库。

9.一种文件迁移设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述文件迁移方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述文件迁移方法的步骤。