CN102495880A - 一种文件同步的方法和装置 - Google Patents

Abstract

本发明公开一种文件同步的方法和装置，所述方法包括：读取配置文件获得配置信息，对于每个任务，当所述任务配置的同步时间到达时，启动所述任务的线程，进行文件同步操作；所述文件同步操作包括将源端的源路径下的文件复制到目的端的目标路径下，并将源路径下的文件备份到备份路径下，备份成功后将源路径下的文件删除，确定文件同步操作成功后结束线程；在将源路径下的文件复制到目标路径下时，如果目标路径存在同所述文件同名的文件，则在复制时进行覆盖。本发明能够提高文件同步的容错性。

Description

一种文件同步的方法和装置

技术领域

本发明涉及通信领域，特别涉及一种文件同步的方法和装置。

背景技术

现有技术中，越来越多的场合中需要文件同步，如移动计费基础文件在各个扣费平台中的同步，以用于日对账或者月对帐；微博消息需要同步到各个终端或者平台；游戏服务器用户的数据需要同步到多个服务器上。

该些文件同步需求量大，而现有技术中的文件同步仅是将源文件复制到各个需同步的设备中，然后将源文件删除。现有技术中的操作，容易因异常发生而导致文件丢失，可靠性差。

发明内容

本发明提供的一种文件同步的方法和装置，以解决通信系统中文件同步可靠性差的问题。

本发明公开了一种文件同步的方法，所述方法包括：

读取配置文件获得配置信息，对于每个任务，当所述任务配置的同步时间到达时，启动所述任务的线程，进行文件同步操作；

所述文件同步操作包括将源端的源路径下的文件复制到目的端的目标路径下，并将源路径下的文件备份到备份路径下，备份成功后将源路径下的文件删除，确定文件同步操作成功后结束线程；

在将源路径下的文件复制到目标路径下时，如果目标路径存在同所述文件同名的文件，则在复制时进行覆盖。

其中，所述配置信息中包括每个任务的同步时间段和同步扫描周期；

所述当所述任务配置的同步时间到达时，启动所述任务的线程，进行文件同步操作进一步包括：

步骤21，判断所述任务的线程是否已经启动，如果没有启动，则执行步骤22，如果已经启动，则等待线程结束后进行下次判断；

步骤22，判断当前时间是否在所述任务的同步时间段内并且所述任务的同步扫描周期是否到达，如果都为是，则启动所述任务的线程进行文件同步操作，否则，继续等待。

其中，所述将源端的源路径下的文件复制到目的端的目标路径下进一步包括

步骤31，所述任务的线程检测源路径和目标路径，如果检测都成功，则将源路径下的文件复制到目标路径下，否则，等待预设时长后重新进行检测或报告文件同步失败。

其中，所述配置信息中包括重试次数阈值和重试周期；

所述文件同步操作还包括

步骤41，在文件同步操作失败后，按配置的重试周期重新进行文件同步操作，如果重新进行文件同步操作的次数大于配置的重试次数阈值，则结束所述线程，并报告文件同步失败。

其中，所述启动所述任务的线程进一步包括

步骤51，启动同所述任务中源路径目标路径对数量相同的线程，每个线程处理一个源路径目标路径对的文件同步操作。

其中，所述将源端的源路径下的文件复制到目的端的目标路径下进一步包括

步骤61，根据预定义算法由源路径生成目标路径，将源路径下的文件复制到所述目标路径下。

其中，所述配置信息中包括全局定时器运行周期；

所述读取配置文件获得配置信息后还包括：

步骤71，启动全局定时器；当所述全局定时器到达配置的全局定时器运行周期时，检查任务的线程是否启动，在所述线程没有启动并且当所述任务配置的同步时间到达时，启动所述任务的线程，进行文件同步操作。

其中，所述方法还包括

步骤81，当所述配置文件更新时，停止所述全局定时器，等待所有正在进行的线程结束后，重新读取配置文件，并启动所述全局定时器。

本发明还公开了一种文件同步的装置，所述装置包括配置文件获取单元、文件同步操作单元、文件复制单元，

配置文件获取单元，用于读取配置文件获得配置信息；

文件同步操作单元，用于对于每个任务，当所述任务配置的同步时间到达时，启动所述任务的线程，调用文件复制单元，进行文件同步操作；

文件复制单元，用于将源端的源路径下的文件复制到目的端的目标路径下，如果目标路径存在同所述文件同名的文件，则在复制时进行覆盖，并将源路径下的文件备份到备份路径下，备份成功后将源路径下的文件删除，确定文件同步操作成功后结束线程。

其中，所述配置信息中包括每个任务的同步时间段和同步扫描周期；

所述文件同步操作单元进一步用于判断所述任务的线程是否已经启动，如果没有启动，则判断当前时间是否在所述任务的同步时间段内并且所述任务的同步扫描周期是否到达，如果都为是，则启动所述任务的线程进行文件同步操作，否则，继续等待，如果已经启动，则等待线程结束后进行下次判断；

或

所述文件复制单元在将源端的源路径下的文件复制到目的端的目标路径下时进一步用于使用所述线程检测源路径和目标路径，如果检测都成功，则将源路径下的文件复制到目标路径下，否则，等待预设时长后重新进行检测或报告文件同步失败。

本发明实施例的有益效果是：通过在源路径中文件备份成功后，删除源路径中文件，能够避免因断电、路由失败等异常情况而导致的文件丢失，容错性更高；通过自动在同步时间段进行周期同步，能够提高同步操作的灵活性，更好的适应不同应用环境下的同步要求；通过在源路径和目标路径检测都成功后进行同步复制，能够进一步增加同步成功的概率，减少因异常而导致的失败；通过在文件同步失败后进行重试，进一步提高文件同步的效率；通过对每个任务启动多个线程进行并行处理，进一步提高操作效率；通过更改目标路径，使得目标路径同源路径间关系被加密，提高文件同步的安全性；通过设置全局定时器，控制在配置更新时，暂停线程启动，能够既保证配置的灵活性又保证文件同步的正常运行，提高文件同步的灵活性和可靠性。

附图说明

图1为本发明文件同步的方法具体实施方式的流程图；

图2为本发明文件同步的方法实施例的流程图；

图3为本发明文件同步的方法实施例中文件同步操作的流程图；

图4为本发明文件同步的装置的结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

一种文件同步的方法包括：读取配置文件获得配置信息，对于每个任务，当所述任务配置的同步时间到达时，启动所述任务的线程，进行文件同步操作；所述文件同步操作包括将源端的源路径下的文件复制到目的端的目标路径下，并将源路径下的文件备份到备份路径下，备份成功后将源路径下的文件删除，确定文件同步操作成功后结束线程；在将源路径下的文件复制到目标路径下时，如果目标路径存在同所述文件同名的文件，则在复制时进行覆盖。

参见图1，为本发明具体实施方式提供的文件同步的方法的流程图。

该具体实施方式中，文件同步服务器将文件由源路径复制到目标路径。

步骤S110，读取配置文件获得配置信息。

配置信息中包括每个任务的同步时间段和同步扫描周期。

步骤S120，对于每个任务，当所述任务配置的同步时间到达时，启动所述任务的线程。

进一步地，启动的线程数量为任务中源路径目标路径对的数量，每个线程处理一个源路径目标路径对的文件同步操作。

所述步骤S120进一步包括：

步骤S121，判断所述任务的线程是否已经启动，如果没有启动，则执行步骤S122，如果已经启动，则等待线程结束后进行下次判断。

步骤S122，判断当前时间是否在所述任务的同步时间段内并且所述任务的同步扫描周期是否到达，如果都为是，则启动所述任务的线程，否则，继续等待。

步骤S130，线程检测源路径，如果检测成功，则执行步骤S140，否则，等待预设时长后重新进行检测或报告文件同步失败。

检测源路径存在，则认为检测成功，否则检测不成功。

步骤S140，线程检测目标路径，如果检测成功，则执行步骤S150，否则，等待预设时长后重新进行检测。

检测目标路径时，如果目标路径存在，则检测成功，否则，检测不成功。或者，如果到目的端路由成功，则认为检测成功，如果目的端没有目标路径，则在目的端依据目标路径创建目录，如果到目的端路由失败，则认为对目标路径检测失败。

目标路径同源路径间的对应关系为源路径的目录结构和名称和目标路径的目录结构和名称相同，或者，根据预定义算法由源路径生成目标路径，将源路径下的文件复制到所述目标路径下。例如，根据源目录+文件名称进行MD5运算得到的串再取最后一个字母为目标路径。

MD5(Message Digest Algorithm，消息摘要算法)为计算机安全领域广泛使用的一种散列函数，用以提供消息的完整性保护。该算法的文件号为RFC 1321(R.Rivest，MIT Laboratory for Computer Science and RSA DataSecurity Inc.April 1992)。

步骤S150，从源路径下读取待复制的文件。

步骤S160，将待复制的文件复制到目标路径下，如果目标路径存在同所述文件同名的文件，则在复制时进行覆盖。

步骤S170，将源路径下的文件备份到备份路径下，备份成功后将源路径下的文件删除，确定文件同步操作成功后结束线程。

检测到源路径下已经不存在复制的文件了，则认为文件同步操作成功。

备份路径可以是在源端本地也可以通过FTP方式，复制到同源端不同的备份设备上。

其中，如果备份路径不存在，则按备份路径创建目录，完成备份。

进一步地，所述配置信息中包括重试次数阈值和重试周期。

当因路径检测失败或断电等异常情况而导致文件同步失败，则在文件同步操作失败后，按配置的重试周期重新进行文件同步操作，如果重新进行文件同步操作的次数大于配置的重试次数阈值，则结束所述线程，并报告文件同步失败。

具体而言，在重试周期到达时，判断本次文件同步操作中进行重试的次数是否已经等于或大于配置的重试次数阈值，如果否，则重新执行步骤S130，如果是则报告文件同步失败，结束线程。

在另一具体实施方式中，所述配置信息中包括全局定时器运行周期。

所述步骤S110和所述步骤S120之间还包括启动全局定时器；当所述全局定时器到达配置的全局定时器运行周期时，检查任务的线程是否启动，在所述线程没有启动并且当所述任务配置的同步时间到达时，启动所述任务的线程，进行文件同步操作。

具体而言，启动全局定时器；判断所述全局定时器是否到达配置的全局定时器运行周期，如果到达，则当所述任务配置的同步时间到达时，启动所述任务的线程，进行文件同步操作，否则，继续等待。

所述方法还包括当所述配置文件更新时，停止所述全局定时器，等待所有正在进行的线程结束后，重新读取配置文件，并启动所述全局定时器。

参见图2，为本发明文件同步的方法实施例的流程图。

在本实施例中，配置文件如下所示。

配置文件中的配置定义说明：

ScanElaplse：表示全局定时器运行周期，单位毫秒。本实施例中，为3000毫秒。根据ScanElaplse启动线程。

CommRetryTimes/CommRetryelapse：表示线程的缺省重试次数阈值和重试周期，如果线程对应的源路径目的路径对下没有相应的配置则使用该缺省配置。

ReadMaxByte：表示打开文件一次读取最大的字节数，本实施例中为10Mbyte。

SrcFilesFilter：表示支持的文件类型，可以组合。*.*表示所有文件类型，*.表示没有扩展名的类型，*.doc表示doc类型。％a％.doc表示其中含有a字符的doc文件类型，都不区分大小写。

IsIncludeSubDir：表示同步范围，是否包括子目录。True表示包括，false表示不包括。

DestMode：表示模式方式的模式参数。默认为NULL表示目标路径同源路径相同。如果需要目标路径同源路径不同，则设置为对应的模式参数。例如，模式参数MODE1_MD5表示根据源目录+文件名称进行MD5运算得到的串再取最后一个字母为路径名。文件名称根据需要指定。

在本实施例中，备份的备份路径同源路径中的文件名称和目录结构相同。备份路径可以是在源端本地也可以同过FTP方式，复制到同源端不同的备份设备上。

timePeriod：表示同步时间段，线程在该时间段进行同步操作。本实施例中为1:24:30至2:20:30和2:40:00至3:00:00同步时间段内可以同步。

scanElapse：同步扫描周期，按该同步扫描周期启动线程进行同步。单位为毫秒。

步骤S2010，读取配置文件获得配置信息，初始化全局配置类。

全局配置类中记录有各个任务的文件同步操作的配置参数以及同步操作的运行状态。

步骤S2020，启动全局定时器。

步骤S2030，判断全局定时器是否到达配置的全局定时器运行周期，如果到达，执行步骤S2040，否则，执行步骤S2060。

步骤S2040，判断任务的线程是否已经启动，如果没有启动，则执行步骤S2050，如果已经启动，则执行步骤S2060，等待进行下次判断。

步骤S2050，判断当前时间是否在所述任务的同步时间段内并且所述任务的同步扫描周期是否到达，如果都为是，则执行步骤S2070，否则，执行步骤S2060，继续等待。

步骤S2060，等待。

步骤S2070，更新全局配置类。

步骤S2080，启动所述任务的线程。

启动的线程数量为任务中源路径目标路径对的数量，每个线程处理一个源路径目标路径对的文件同步操作。

步骤S2090，线程检测源路径和目标路径，如果都检测成功，则执行步骤S2100，否则，执行步骤S2110。

检测源路径存在，则认为检测成功，否则检测不成功。

检测目标路径时，如果到目的端路由成功，则认为检测成功，如果到目的端路由失败，则认为检测失败。

步骤S2100，进行文件同步的操作。

文件同步的操作的流程如图3所示。

步骤S2101，判断启动的模式方式，如果为NULL，则执行步骤S2103，否则，执行步骤S2102

步骤S2102，根据模式在目的端生成新的目标路径。

例如，模式参数MODE1_MD5表示根据源目录+文件名称进行MD5运算得到的串再取最后一个字母为路径名。

步骤S2103，读取源路径下的文件，每次读取的字节数不超过10Mbyte。

步骤S2104，将源路径下的文件复制到目标路径下。

如果目标路径不存在，则在目的端按目标路径创建目录。

步骤S2105，将源路径下的文件备份到备份路径下，备份成功后将源路径下的文件删除，但不删除源路径的目录。

备份路径可以是在源端本地也可以通过FTP方式，复制到同源端不同的备份设备上。

步骤S2110，在重试周期到达时，判断本次文件同步操作中进行重试的次数是否已经等于或大于配置的重试次数阈值，如果否，则重新执行步骤S2120，如果是则记录失败，执行步骤S2130。

步骤S2120，重新进行源路径和目的路径的检测，如果检测成功，则执行步骤S2100，如果检测不成功，则执行步骤S2110。

步骤S2130，更新全局配置类。

步骤S2140，线程结束，释放线程占用的资源。

当配置文件更新时，停止全局定时器，等待所有正在进行的线程结束后，重新读取配置文件，并启动所述全局定时器

优选的，实现实施例的伪代码中可以有如下内容要素的定义：

GetTasksFromConfig：程序启动后读取程序需要的公共配置；源路径目标路径对；以及该源路径目标路径对的同步时间段。

其中，LoadCommConfig为读取通用的公共配置，如前述配置。LoadDirectoryPairs为读取源、目标路径对，备份路径。LoadDirectoryLimittedElapse为读取上述源路径目标路径对的同步时间段，在该同步时间段内按同步扫描周期进行同步，本实施例中同步时间段为1:24:30至2:20:30和2:40:00至3:00:00，在该同步时间段内按同步扫描周期查看公共配置部分进行文件同步，同步扫描周期默认为5分钟。

其中，InitGlobalVar为初始化全局配置。

SetTasksTimer：设置全局定时器，根据配置中的全局定时器运行周期启动全局定时器，全局定时器的运行周期到了并且当前时间在相应的同步时间段内则开始执行文件同步操作，并记录日志。

StartTimer/StopTimer，通过启动和停止全局定时器来启动和停止服务，停止服务时不会立即停止，执行完所有正在执行的线程后安全退出。

在装载相关的配置后，根据任务中需要处理的源路径目标路径对启动相同数量的线程。

例如可通过如下定义实现：

StartThread：启动处理线程，记载启动日志。

启动线程后在同步时间段内进行文件同步操作，同步时间段内的同步扫描周期如配置文件中的配置，默认为5分钟。如果期间发生任何异常，则中止，按配置中的重试次数阈值，默认为3次，进行重试。如果成功，则把源文件放到备份路径下，并删除源文件。记载相应的日志。

RetrySynchronizatio，当发生异常时，需要进行重试，则启动重试机制。

EndSynchronization，当整个程序退出或者因异常而进行重试的次数达到配置的重试次数阈值时释放资源，例如非托管资源。

参见图4，为本发明的文件同步装置的结构图。

所述装置包括配置文件获取单元100、文件同步操作单元200、文件复制单元300。

配置文件获取单元100，用于读取配置文件获得配置信息。

文件同步操作单元200，用于对于每个任务，当所述任务配置的同步时间到达时，启动所述任务的线程，调用文件复制单元300，进行文件同步操作。

文件复制单元300，用于将源端的源路径下的文件复制到目的端的目标路径下，如果目标路径存在同所述文件同名的文件，则在复制时进行覆盖，并将源路径下的文件备份到备份路径下，备份成功后将源路径下的文件删除，确定文件同步操作成功后结束线程。

进一步地，所述配置信息中包括每个任务的同步时间段和同步扫描周期；

所述文件同步操作单元进一步用于判断所述任务的线程是否已经启动，如果没有启动，则判断当前时间是否在所述任务的同步时间段内并且所述任务的同步扫描周期是否到达，如果都为是，则启动所述任务的线程，调用文件复制单元，进行文件同步操作，否则，继续等待，如果已经启动，则等待线程结束后进行下次判断。

所述文件复制单元在将源端的源路径下的文件复制到目的端的目标路径下时进一步用于使用所述线程检测源路径和目标路径，如果检测都成功，则将源路径下的文件复制到目标路径下，否则，等待预设时长后重新进行检测或报告文件同步失败。

进一步地，所述配置信息中包括重试次数阈值和重试周期；

所述文件同步操作单元在文件同步操作时还用于在文件同步操作失败后，按配置的重试周期，调用文件复制单元，重新进行文件同步操作，如果重新进行文件同步操作的次数大于配置的重试次数阈值，则结束所述线程，并报告文件同步失败。

进一步地，所述文件同步操作单元在启动所述任务的线程时进一步用于启动同所述任务中源路径目标路径对数量相同的线程，每个线程处理一个源路径目标路径对的文件同步操作。

进一步地，所述文件复制单元在将源端的源路径下的文件复制到目的端的目标路径下时进一步用于根据预定义算法由源路径生成目标路径，将源路径下的文件复制到所述目标路径下。

进一步地，所述配置信息中包括全局定时器运行周期；

所述配置文件获取单元在读取配置文件获得配置信息后还用于启动全局定时器；

文件同步操作单元还用于当所述全局定时器到达配置的全局定时器运行周期时，检查任务的线程是否启动，在所述线程没有启动并且当所述任务配置的同步时间到达时，启动所述任务的线程，调用文件复制单元，进行文件同步操作。

进一步地，所述配置文件获取单元还用于当所述配置文件更新时，停止所述全局定时器，等待所有正在进行的线程结束后，重新读取配置文件，并启动所述全局定时器。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种文件同步的方法，其特征在于，所述方法包括：

读取配置文件获得配置信息，对于每个任务，当所述任务配置的同步时间到达时，启动所述任务的线程，进行文件同步操作；

所述文件同步操作包括将源端的源路径下的文件复制到目的端的目标路径下，并将源路径下的文件备份到备份路径下，备份成功后将源路径下的文件删除，确定文件同步操作成功后结束线程；

在将源路径下的文件复制到目标路径下时，如果目标路径存在同所述文件同名的文件，则在复制时进行覆盖。

2.根据权利要求1所述的文件同步的方法，其特征在于，

所述配置信息中包括每个任务的同步时间段和同步扫描周期；

所述当所述任务配置的同步时间到达时，启动所述任务的线程，进行文件同步操作进一步包括：

步骤21，判断所述任务的线程是否已经启动，如果没有启动，则执行步骤22，如果已经启动，则等待线程结束后进行下次判断；

步骤22，判断当前时间是否在所述任务的同步时间段内并且所述任务的同步扫描周期是否到达，如果都为是，则启动所述任务的线程进行文件同步操作，否则，继续等待。

3.根据权利要求1所述的文件同步的方法，其特征在于，

所述将源端的源路径下的文件复制到目的端的目标路径下进一步包括

步骤31，所述任务的线程检测源路径和目标路径，如果检测都成功，则将源路径下的文件复制到目标路径下，否则，等待预设时长后重新进行检测或报告文件同步失败。

4.根据权利要求1所述的文件同步的方法，其特征在于，

所述配置信息中包括重试次数阈值和重试周期；

所述文件同步操作还包括

步骤41，在文件同步操作失败后，按配置的重试周期重新进行文件同步操作，如果重新进行文件同步操作的次数大于配置的重试次数阈值，则结束所述线程，并报告文件同步失败。

5.根据权利要求1所述的文件同步的方法，其特征在于，

所述启动所述任务的线程进一步包括

步骤51，启动同所述任务中源路径目标路径对数量相同的线程，每个线程处理一个源路径目标路径对的文件同步操作。

6.根据权利要求1所述的文件同步的方法，其特征在于，

所述将源端的源路径下的文件复制到目的端的目标路径下进一步包括

步骤61，根据预定义算法由源路径生成目标路径，将源路径下的文件复制到所述目标路径下。

7.根据权利要求1所述的文件同步的方法，其特征在于，

所述配置信息中包括全局定时器运行周期；

所述读取配置文件获得配置信息后还包括：

步骤71，启动全局定时器；当所述全局定时器到达配置的全局定时器运行周期时，检查任务的线程是否启动，在所述线程没有启动并且当所述任务配置的同步时间到达时，启动所述任务的线程，进行文件同步操作。

8.根据权利要求7所述的文件同步的方法，其特征在于，

所述方法还包括

步骤81，当所述配置文件更新时，停止所述全局定时器，等待所有正在进行的线程结束后，重新读取配置文件，并启动所述全局定时器。

9.一种文件同步的装置，其特征在于，

所述装置包括配置文件获取单元、文件同步操作单元、文件复制单元，

配置文件获取单元，用于读取配置文件获得配置信息；

文件同步操作单元，用于对于每个任务，当所述任务配置的同步时间到达时，启动所述任务的线程，调用文件复制单元，进行文件同步操作；

文件复制单元，用于将源端的源路径下的文件复制到目的端的目标路径下，如果目标路径存在同所述文件同名的文件，则在复制时进行覆盖，并将源路径下的文件备份到备份路径下，备份成功后将源路径下的文件删除，确定文件同步操作成功后结束线程。

10.根据权利要求9所述的文件同步的装置，其特征在于，

所述配置信息中包括每个任务的同步时间段和同步扫描周期；

所述文件同步操作单元进一步用于判断所述任务的线程是否已经启动，如果没有启动，则判断当前时间是否在所述任务的同步时间段内并且所述任务的同步扫描周期是否到达，如果都为是，则启动所述任务的线程进行文件同步操作，否则，继续等待，如果已经启动，则等待线程结束后进行下次判断；

或

所述文件复制单元在将源端的源路径下的文件复制到目的端的目标路径下时进一步用于使用所述线程检测源路径和目标路径，如果检测都成功，则将源路径下的文件复制到目标路径下，否则，等待预设时长后重新进行检测或报告文件同步失败。

Images