CN111880970A - 一种快捷远程文件备份方法 - Google Patents

Abstract

本发明实施例提供了一种远程文件备份方法，所述方法包括：获取至少一个源文件的资源路径；资源路径基于统一资源标识符；获取至少一个目标文件的资源路径；根据源文件资源路径、目标文件资源路径，获取源文件的文件信息和目标文件的文件信息，根据源文件的文件信息和目标文件的文件信息，确定源文件和目标文件是否存在差异；若源文件和目标文件存在差异，则将源文件拷贝到目标文件的资源路径，替换目标文件。

Description

一种快捷远程文件备份方法

技术领域

本发明涉及数据管理技术领域，尤其涉及一种快捷远程文件备份方法。

背景技术

文件数据的备份，尤其是远程备份是生产任务中常见的操作。目前，市场上主流的远程备份方法中，有通过专业商业软件来进行远程备份，但是大部分的这类专业商业软件均需要价格不菲的硬件支持，有使用开源或系统自带如rsync等的备份方法，但也存在部署复杂-如需要在每台服务器上部署服务端和客户端、跨平台不友好，配置复杂且不灵活的问题。

因此，需要一种新的远程备份方法。

发明内容

本发明的实施例提供了一种快捷的远程文件备份方法，通过基于统一资源标识符URI的远程文件系统接口，采用文件对比算法和文件过滤规则判断需要备份的文件，并根据判断结果进行文件备份。采用该方法，可以解决了现有主流的远程备份方法中软件部署复杂、跨平台不友好、操作和配置不灵活的问题。

本发明为解决上述技术问题采用的技术方案为，第一方面提供一种远程文件备份方法，所述方法包括：

获取至少一个源文件的资源路径；所述资源路径基于统一资源标识符；

获取至少一个目标文件的资源路径；

根据所述源文件资源路径、目标文件资源路径，获取源文件的文件信息和目标文件的文件信息，根据源文件的文件信息和目标文件的文件信息，确定源文件和目标文件是否存在差异；

若源文件和目标文件存在差异，则将源文件拷贝到目标文件的资源路径，替换所述目标文件。

优选地，所述资源路径包括，基于多种文件访问接口的资源路径。

具体地，所述多种文件访问接口包括远程文件访问接口，和本地文件访问接口；

远程文件访问接口包括基于FTP、SFTP或SCP的远程文件访问接口。

优选地，获取源文件的文件信息和目标文件的文件信息，根据源文件的文件信息和目标文件的文件信息，确定源文件和目标文件是否存在差异，包括：

获取源文件和目标文件的文件大小和最后修改时间，根据源文件和目标文件的文件大小是否相等，以及源文件和目标文件的最后修改时间是否相等，确定源文件和目标文件是否存在差异；

若源文件和目标文件的文件大小、源文件和目标文件的最后修改时间之中有任一不相等，则确定源文件和目标文件存在差异。

具体地，所述备份方法还包括：

若源文件和目标文件的文件大小和最后修改时间，均相等，

则获取源文件和目标文件；

将源文件和目标文件均分为若干个文件块，生成连续的源文件文件块序列和目标文件块序列；

计算源文件文件块序列和目标文件块序列中每个文件块的哈希值；

根据源文件文件块序列中每个文件块的哈希值，是否都与目标文件块序列中序次相同的文件块的哈希值相同，确定源文件和目标文件是否存在差异；

若有任一源文件文件块序列中的文件块的哈希值，与目标文件块序列中与其序次相同的文件块的哈希值不同，则确定源文件和目标文件存在差异。

优选地，所述获取目标文件的文件信息，包括，获取目标文件是否存在的信息；

所述根据源文件的文件信息和目标文件的文件信息，确定源文件和目标文件是否存在差异；若源文件和目标文件存在差异，则将源文件拷贝到目标文件的资源路径，替换所述目标文件，包括：

若目标文件不存在，则将源文件拷贝到目标文件的资源路径。

优选地，所述获取至少一个源文件的资源路径，包括：

获取多个候选源文件的资源路径；

基于预先设定的筛选规则，对多个候选源文件进行筛选，确定进行备份的源文件。

具体地，所述基于预先设定的筛选规则，对多个候选源文件进行筛选，确定进行备份的源文件，包括：

所述筛选规则基于文件名或目录名；

所述筛选规则包括排除规则，所述排除规则指定不需要备份的文件；

所述筛选规则包括包含规则，所述包含规则指定需要备份的文件；

所述包含规则的优先级高于排除规则。

优选地，所述远程文件备份方法基于可视化配置界面，配置自动远程文件备份任务，所述自动远程文件备份任务的调度时间，采用cron表达式描述。

另一方面，提供一种远程文件备份方法，所述方法包括，

获取源目录的资源路径；所述资源路径基于统一资源标识符；

获取目标目录的资源路径；

遍历源目录及其后辈目录，获得源目录及其后辈目录下所有文件；

根据所述目标目录的资源路径，通过权利要求1所述方法，备份所述所有文件中每一个文件。

附图说明

为了更清楚说明本发明实施例的技术方案，下面将对实施例描述中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一个实施例提供的一种远程文件备份方法的流程图；

图2示出本发明另一个实施例提供的一种远程文件备份方法的流程图；

图3示出本发明一个实施例提供的备份任务调度界面的示意图；

图4示出本发明一个实施例提供的备份任务配置数据的示意图；

图5示出本发明一个实施例提供的基于URI的多种文件访问接口的示意图；

图6示出本发明一个实施例提供的一种远程文件备份方法的一种实施方式的完整流程图；

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如前所述，现有的远程备份方法中，大部分的专业商业备份软件需要价格不菲的硬件支持，而开源或系统自带的备份方法，存在需要在每台服务器上部署服务端和客户端、跨平台性不好、进行备份配置的方式复杂且不灵活的问题。

为解决上述问题，本发明提出一种远程文件备份方法。图1为本发明一个实施例提供的一种远程文件备份方法的流程图，如图1所示,该备份方法的过程至少包括如下步骤：

步骤11,获取至少一个源文件的资源路径；资源路径基于统一资源标识符。

资源路径,简单的讲就是文件作为网络资源在网络上的访问路径。统一资源标识符(URI)，URI是一种以特定语法标识网络资源的字符串。本发明方案中基于统一资源标识符表示源文件的资源路径。

根据一种实施方式，可以在URI中指定文件传输协议、资源IP地址、包括资源名称的资源路径(比如包含文件名的文件路径)。在另一个例子中，URI还可以指定用户名和密码作为获取资源的登录信息。在另一个例子中，URI还可以包括网络端口(如果URI中不包括网络端口，则利用相应协议的默认端口)。

在一个实施例中，资源路径可以是基于多种文件访问接口的资源路径。

在另一个实施例中，多种文件访问接口可以包括远程文件访问接口，和本地文件访问接口FILE。其中，远程文件访问接口可以是基于文件传输协议FTP、安全文件传输协议SFTP或安全拷贝协议SCP的远程文件访问接口。图5示出本发明一个实施例提供的基于URI的多种文件访问接口的示意图，如图5所示，该实施例中支持的文件访问接口支持文件传输协议FTP、安全文件传输协议SFTP、安全拷贝协议SCP和本地文件访问FILE，在远程访问中，URI还可以包括用户名、密码、资源IP地址、网络端口、资源路径。

根据一种实施方式，可以获取多个候选源文件的资源路径。在实际生产过程中，我们往往不需要完全备份资源路径下的所有文件，比如，需要过滤掉比如日志、临时文件、内存文件等，为此可以增加基于文件名/目录名的筛选功能。因此，在一个例子中，基于预先设定的筛选规则，对多个候选源文件进行筛选，确定需要进行备份的源文件。在另一个例子中，可以基于文件名或目录名设定筛选规则。筛选规则中可以包括排除规则，排除规则指定不需要备份的文件；筛选规则还可以包括包含规则，包含规则指定需要备份的文件；包含规则的优先级高于排除规则，也就是说当一个文件同时被包含规则和排除规则指定时，只有包含规则生效，需要备份该文件。在又一个例子中，还可以通过正则表达式匹配包含规则或排除规则中指定的文件名或目录名，实现筛选规则。

步骤12,获取至少一个目标文件的资源路径。

备份数据，一般而言即是将数据的拷贝保存在备份存储位置，因此，该步骤中，需要获取备份的目标位置，也就是备份的目标文件的资源路径。

步骤13,根据源文件资源路径、目标文件资源路径，获取源文件的文件信息和目标文件的文件信息，根据源文件的文件信息和目标文件的文件信息，确定源文件和目标文件是否存在差异。

要实现快速备份的目的，该步骤并非不加选择拷贝备份源下所有文件到备份目标(即全量备份)，而是采用强、弱两种文件对比算法来实现差异备份。其中，弱算法为比较源文件和目标文件的文件大小和文件最后修改时间。强算法则是把源文件和目标文件平均切分成若干个文件块，比如每块512个字节(最后一块会小于这个数)，然后对每对对应的文件块(源文件块和目标文件块)计算校验码，这样就可以确切知道是否源文件和目标文件的全部文件相等，如果有不等，具体为哪些文件块改变了。计算校验码可以采用哈希算法，比如采用MD5 hash算法。

弱算法可以快捷的区分源、目标文件的不同，而强算法则是在弱算法通过的前提下(弱算法下文件相同)，进一步确认源、目标文件是否相同。这样做的好处在于，由于弱算法计算速度快，在生产中通过弱算法使得大量需要备份的文件迅速被确定；而强算法的验证结果严格，可以保证初步判断中不需要备份的文件中内容实际发生改变的文件，也会被备份。结合强、弱算法可以保证文件备份的完整性，同时兼顾文件备份的快捷性。

具体的，在一种实施例中，可以获取源文件和目标文件的文件大小和最后修改时间，根据源文件和目标文件的文件大小是否相等，以及源文件和目标文件的最后修改时间是否相等，确定源文件和目标文件是否存在差异。

在另一种实施例中，若源文件和目标文件的文件大小和最后修改时间均相等，则获取源文件和目标文件；将源文件和目标文件均分为若干个文件块，生成连续的源文件文件块序列和目标文件块序列；计算源文件文件块序列和目标文件块序列中每个文件块的哈希值；根据源文件文件块序列和目标文件块序列中所有序次相同的文件块的哈希值是否都相同，确定源文件和目标文件是否存在差异。

在又一个实施例中，还可以获取目标文件是否存在的信息。

步骤14,若源文件和目标文件存在差异，则将源文件拷贝到目标文件的资源路径，替换目标文件。在一种实施方式中，可以通过创建文件输出流、打开文件输入流实现将源文件拷贝到目标文件的资源路径。

在一种实施例中，若源文件和目标文件的文件大小、源文件和目标文件的最后修改时间之中有任一不相等，则将源文件拷贝到目标文件的资源路径，替换目标文件。

在另一种实施例中，若源文件文件块序列和目标文件块序列中序次相同的文件块的哈希值有任一不相等，则确定源文件和目标文件存在差异；将源文件拷贝到目标文件的资源路径，替换所述目标文件。

在又一个实施例中，获取了目标文件不存在的信息，则将源文件拷贝到目标文件的资源路径。

根据一种实施方式，该远程文件备份方法可以基于可视化配置界面，配置自动的远程文件备份任务。该自动远程文件备份任务的调度时间，可以采用cron表达式描述。图3示出该实施例提供的备份任务调度界面的示意图。图4示出本发明一个实施例提供的备份任务配置数据的示意图，如图4所示，该实施例中采用JSON格式配置具体的备份信息，其配置的备份信息包括备份源信息、备份目标信息、备份排除规则集合、备份包含规则集合。其中，用exclude集指定不需要传输的文件集合；用include集指定需要传输的文件集合；如果exclude集与include集有冲突，以include集为优先。

一般生产实践中，进行数据备份的多个文件常以文件目录作为组织方式，即进行备份的多个文件常是某个或某些文件目录下的所有或多个文件。为此，图2示出本发明另一个实施例提供的一种远程文件备份方法的流程图，如图2所示,该备份方法的过程至少包括如下步骤：

步骤21，获取源目录的资源路径；该资源路径基于统一资源标识符。

步骤22，获取目标目录的资源路径。

步骤23，遍历源目录及其后辈目录，获得源目录及其后辈目录下所有文件。

步骤24，根据所述目标目录的资源路径，通过图1所示方法，备份所述所有文件中每一个文件。

在不同的实施例中，图2所示方法可以采用不同的具体实施方式。图6示出本发明一个实施例提供的一种远程文件备份方法的一种实施方式的完整流程图，如图6所示，可以在触发一个备份目录的远程文件备份任务后，利用图2所示的方法，遍历所有备份目录，利用过滤规则和文件比对算法选择该目录下需要备份的文件，然后备份这些文件。具体步骤可以为：配置完备份任务信息后，则等待调度系统触发备份操作，同时遍历源目录和目标目录；如果为目录则继续遍历目录所有文件及目录；如果为文件则先进行文件过滤操作，符合过滤规则的文件才进行下一步操作；通过文件对比算法，筛选文件是否需要备份，如果需要备份则开始对源文件复制到目标文件，并修改目标文件的最后修改时间；循环遍历上述操作，直到所有目录及文件被处理完成。

从以上实施例可以看出，采用本发明实施例提供的一种远程文件备份方法，具有如下的优点：

1)通过基于URI的远程文件系统接口进行备份文件的获取和拷贝，不需要在备份源服务器或目标服务器上部署或搭建服务，只需利用目前成熟的FTP、SFTP、SCP等文件传输协议，以及保证备份源服务器或目标服务器之间的网络处于开通状态，既可以进行跨平台跨传输服务的大规模远程文件备份。

2)采用强、弱文件对比算法和文件筛选规则判断需要备份的文件，保证和兼顾了大规模文件备份的快捷性和严格的备份数据完整性。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种远程文件备份方法，所述方法包括：

获取至少一个源文件的资源路径；所述资源路径基于统一资源标识符；

获取至少一个目标文件的资源路径；

根据所述源文件资源路径、目标文件资源路径，获取源文件的文件信息和目标文件的文件信息，根据源文件的文件信息和目标文件的文件信息，确定源文件和目标文件是否存在差异；

若源文件和目标文件存在差异，则将源文件拷贝到目标文件的资源路径，替换所述目标文件。

2.根据权利要求1所述的方法，其中，所述资源路径包括，基于多种文件访问接口的资源路径。

3.根据权利要求2所述的方法，其中，所述多种文件访问接口包括远程文件访问接口，和本地文件访问接口；

所述远程文件访问接口包括基于FTP、SFTP或SCP的远程文件访问接口。

4.根据权利要求1所述的方法，其中，获取源文件的文件信息和目标文件的文件信息，根据源文件的文件信息和目标文件的文件信息，确定源文件和目标文件是否存在差异，包括：

获取源文件和目标文件的文件大小和最后修改时间，根据源文件和目标文件的文件大小是否相等，以及源文件和目标文件的最后修改时间是否相等，确定源文件和目标文件是否存在差异；

若源文件和目标文件的文件大小、源文件和目标文件的最后修改时间之中有任一不相等，则确定源文件和目标文件存在差异。

5.根据权利要求4所述的方法，还包括：

若源文件和目标文件的文件大小和最后修改时间，均相等，

则获取源文件和目标文件；

将源文件和目标文件均分为若干个文件块，生成连续的源文件文件块序列和目标文件块序列；

计算源文件文件块序列和目标文件块序列中每个文件块的哈希值；

根据源文件文件块序列中每个文件块的哈希值，是否都与目标文件块序列中序次相同的文件块的哈希值相同，确定源文件和目标文件是否存在差异；

若有任一源文件文件块序列中的文件块的哈希值，与目标文件块序列中与其序次相同的文件块的哈希值不同，则确定源文件和目标文件存在差异。

6.根据权利要求1所述的方法，其中，所述获取目标文件的文件信息，包括，获取目标文件是否存在的信息；

所述根据源文件的文件信息和目标文件的文件信息，确定源文件和目标文件是否存在差异；若源文件和目标文件存在差异，则将源文件拷贝到目标文件的资源路径，替换所述目标文件，包括：

若目标文件不存在，则将源文件拷贝到目标文件的资源路径。

7.根据权利要求1所述的方法，其中，所述获取至少一个源文件的资源路径，包括：

获取多个候选源文件的资源路径；

基于预先设定的筛选规则，对多个候选源文件进行筛选，确定进行备份的源文件。

8.根据权利要求7所述的方法，其中，所述基于预先设定的筛选规则，对多个候选源文件进行筛选，确定进行备份的源文件，包括：

所述筛选规则基于文件名或目录名；

所述筛选规则包括排除规则，所述排除规则指定不需要备份的文件；

所述筛选规则包括包含规则，所述包含规则指定需要备份的文件；

所述包含规则的优先级高于排除规则。

9.根据权利要求1所述的方法，其中，所述远程文件备份方法基于可视化配置界面，配置自动远程文件备份任务，所述自动远程文件备份任务的调度时间，采用cron表达式描述。

10.一种远程文件备份方法，所述方法包括，

获取源目录的资源路径；所述资源路径基于统一资源标识符；

获取目标目录的资源路径；

遍历源目录及其后辈目录，获得源目录及其后辈目录下所有文件；

根据所述目标目录的资源路径，通过权利要求1所述方法，备份所述所有文件中每一个文件。

Images