CN106372526B - 一种监控文件变化和同步的方法及系统 - Google Patents

Abstract

本发明提供一种监控文件变化和同步的方法及系统，应用于windows系统下对应用程序所指定的目录下的文件监控和同步过程中，所述方法包括：在启动应用程序的进程时，创建监控线程和同步线程；获取指定目录句柄并创建IO完成端口使之关联指定目录句柄；创建将变化的文件信息传输至同步线程的传输对象；监控线程通过向windows系统读取文件目录句柄是否有变化获取对应的文件的变化信息，通过IO完成端口获取具体文件变化信息，对变化后的文件进行封装形成任务数据包并传输至同步线程；同步线程对任务数据包进行处理，将变化的文件同步到与应用程序对应的服务器上。本发明可以监控到所有指定目录下的文件变化，避免丢失文件变化信息。

Description

一种监控文件变化和同步的方法及系统

技术领域

本发明涉及数据同步技术领域，特别涉及数据同步技术领域中的文件变化监控，具体为一种监控文件变化和同步的方法及系统。

背景技术

随着互联网技术发展及计算机设备的普及，用户拥有了大量的终端设备，如台式电脑、笔记本电脑、平板电脑、手机等电子产品，用户在不同场景下使用不同设备，但是各终端设备又有一些文件用户希望可以进行同步使用，即台式电脑上修改了文件，手机上的该文件可以更新为修改后的状态。

为了在windows下同步盘监控文件变化，目前普遍采用的技术有基于窗口消息。但基于基于窗口消息方案有一些局限性，包括：

(1)应用程序只会接收基于窗口消息的通知。windows vista中虽然已经可以对所有文件的所有变更做监控，但windows xp中不可以。

(2)基于窗口消息会带来性能上的问题，大量文件发生变化或目录间做万级文件移动变化时，应用程序会不断接收到变更消息，同时会有部分通知丢失。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种监控文件变化和同步的方法及系统，用于解决现有技术无法对同步盘的文件进行高效准确地监控和同步的问题。

为实现上述目的及其他相关目的，本发明一方面提供一种监控文件变化和同步的方法，应用于windows系统下对应用程序所指定的目录下的文件监控和同步过程中，所述监控文件变化和同步的方法包括以下步骤：在启动应用程序的进程时，创建用于监控所述应用程序所指定目录下的文件的变化的监控线程和创建用于在监控到所述应用程序所指定目录下的文件有变化时将变化的文件同步到与所述应用程序对应的服务器上的同步线程；获取所述应用程序所指定目录下的文件的文件目录句柄并创建一个IO完成端口并使之关联所述文件目录句柄；创建一个在所述监控线程监控到所述应用程序所指定目录下的文件有变化时将变化的文件信息传输至所述同步线程的传输对象；启动所述监控线程和所述同步线程，所述监控线程通过向windows系统读取所述文件目录句柄是否有变化获取所述应用程序所指定目录下的文件变化信息；所述监控线程在获取到所述应用程序所指定目录下的文件有变化时，通过所述IO完成端口获取具体文件变化信息；所述监控线程对获取的所述具体文件变化信息进行解析获取变化后的文件并对所述变化后的文件进行封装形成一任务数据包；利用创建的所述传输对象将所述任务数据包传输至所述同步线程；所述同步线程对所述任务数据包进行处理，将变化的文件同步到与所述应用程序对应的服务器上。

于本发明的一实施例中，以异步IO方式且以共享读和共享写的方式获取所述应用程序所指定目录下的文件的文件目录的句柄。

于本发明的一实施例中，通过所述IO完成端口以异步IO的方式获取具体文件变化信息。

于本发明的一实施例中，所述监控线程和所述同步线程通过判断所述应用程序是否关闭来确定是否关闭所述监控线程和所述同步线程。

于本发明的一实施例中，所述同步线程为一个同步线程或同步线程池。

本发明另一方面还提供一种监控文件变化和同步的系统，应用于windows系统下对应用程序所指定的目录下的文件监控和同步过程中，所述监控文件变化和同步的系统包括：线程创建模块，用于在启动应用程序的进程时，创建用于监控所述应用程序所指定目录下的文件的变化的监控线程和创建用于在监控到所述应用程序所指定目录下的文件有变化时将变化的文件同步到与所述应用程序对应的服务器上的同步线程；初始化模块，用于获取所述应用程序所指定目录下的文件的文件目录句柄并创建一个IO完成端口并使之关联所述文件目录句柄，并创建一个在所述监控线程监控到所述应用程序所指定目录下的文件有变化时将变化的文件信息传输至所述同步线程的传输对象；监控线程处理模块，用于启动所述监控线程，通过向windows系统读取所述文件目录句柄是否有变化获取所述应用程序所指定目录下的文件变化信息，在获取到所述应用程序所指定目录下的文件有变化时，通过所述IO完成端口获取具体文件变化信息，并对获取的所述具体文件变化信息进行解析获取变化后的文件并对所述变化后的文件进行封装形成一任务数据包并利用创建的所述传输对象将所述任务数据包传输至所述同步线程；同步线程处理模块，用于启动所述同步线程并对接收到的所述任务数据包进行处理，将变化的文件同步到与所述应用程序对应的服务器上。

于本发明的一实施例中，所述初始化模块以异步IO方式且以共享读和共享写的方式获取所述应用程序所指定目录下的文件的文件目录的句柄。

于本发明的一实施例中，所述监控线程处理模块通过所述IO完成端口以异步IO的方式获取具体文件变化信息。

于本发明的一实施例中，所述监控线程和所述同步线程通过判断所述应用程序是否关闭来确定是否关闭所述监控线程和所述同步线程。

于本发明的一实施例中，所述同步线程为一个同步线程或同步线程池。

如上所述，本发明的监控文件变化和同步的方法及系统，具有以下有益效果：

本发明可以监控到所有的文件变化，避免了可能丢失的文件变化信息，本发明的监控过程通过任务方式，保证了所有文件变化都可被记录并执行。

附图说明

图1显示为本发明的监控文件变化和同步的方法的原理流程示意图。

图2显示为本发明的监控文件变化和同步的方法的具体流程示意图。

图3显示为本发明的监控文件变化和同步的方法于一实施例中的流程示意图。

图4显示为本发明的监控文件变化和同步的系统的原理结构示意图。

元件标号说明

100 监控文件变化和同步的系统

101 线程创建模块

102 初始化模块

103 监控线程处理模块

104 同步线程处理模块

S101～S111 步骤

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

本实施例的目的在于提供一种监控文件变化和同步的方法及系统，用于解决现有技术无法对同步盘的文件进行高效准确地监控和同步的问题。以下将详细阐述本实施例的一种监控文件变化和同步的方法及系统的原理及实施方式，使本领域技术人员不需要创造性劳动即可理解本实施例的一种监控文件变化和同步的方法及系统。

如图1所示，本实施例提供一种监控文件变化和同步的方法及系统，以共享读和共享写的方式打开文件目录的句柄并使用异步IO；创建一个关于文件目录句柄的IO完成端口；监控线程异步读取文件目录句柄的变化信息，读取文件变化；监控线程等待IO完成端口一次完成的操作；解析文件变化，封装文件变化信息并发起任务；同步线程执行该任务达到同步目的；退出时IO完成端口并关闭相关句柄。

具体地，如图2所示，本实施例中监控文件变化和同步的方法应用于windows系统下对应用程序所指定的目录下的文件监控和同步过程中，所述应用程序优选为具有文件存储功能的应用程序，例如为但不限于同步盘，本实施例在具体说明时以应用程序为同步盘为例进行说明。如图2所示，于本实施例中，所述监控文件变化和同步的方法包括以下步骤：

步骤S101，在启动应用程序的进程时，创建用于监控所述应用程序所指定目录下的文件的变化的监控线程和创建用于在监控到所述应用程序所指定目录下的文件有变化时将变化的文件同步到与所述应用程序对应的服务器上的同步线程。

其中，于本实施例中，所述同步线程为一个同步线程或同步线程池。优选为创建用于在监控到所述应用程序所指定目录下的文件有变化时将变化的文件同步到与所述应用程序对应的服务器上的同步线程池。

于本实施例中，所述文件的变化包括：新建、删除、修改、重命名，监控线程支持上万级文件新建、删除、修改、重命名、移动、拷贝。

于本实施例中，例如通过_beginthread创建监控线程，并注册ThreadProc回调函数。通过InterlockedExchange来控制监控线程是否退出。

步骤S102，获取所述应用程序所指定目录下的文件的文件目录句柄并创建一个IO完成端口并使之关联所述文件目录句柄。

其中，所述应用程序所指定目录下的文件的文件目录为想监控的文件目录，这个文件目录可以根据需求设定。

其中，于本实施例中，以异步IO方式且以共享读和共享写的方式获取所述应用程序所指定目录下的文件的文件目录的句柄。

于本实施例中，例如，通过CreateFile来创建监控目录的句柄，并以共享读和共享写权权限获取文件目录的句柄。通过CreateIoCompletionPort创建IO完成端口，可以高效地监控文件变化。

步骤S103，创建一个在所述监控线程监控到所述应用程序所指定目录下的文件有变化时将变化的文件信息传输至所述同步线程的传输对象。

步骤S104，启动所述监控线程和所述同步线程。

步骤S105，所述监控线程通过向windows系统读取所述文件目录句柄是否有变化，通过所述文件目录句柄的变化获取所述应用程序所指定目录下的文件变化信息，若所述文件目录句柄有变化，则执行步骤S106，确定所述应用程序所指定目录下的文件有变化，若所述文件目录句柄没有变化，则执行步骤S107，确定所述应用程序所指定目录下的文件没有变化。

步骤S108，所述监控线程在获取到所述应用程序所指定目录下的文件有变化时，通过所述IO完成端口获取具体文件变化信息。

其中，于本实施例中，通过所述IO完成端口以异步IO的方式获取具体文件变化信息。

步骤S109，所述监控线程对获取的所述具体文件变化信息进行解析获取变化后的文件并对所述变化后的文件进行封装形成一任务数据包。

步骤S110，利用创建的所述传输对象将所述任务数据包传输至所述同步线程。

监控线程的监控实现过程例如：在实际启动监控线程，开始执行ThreadProc回调函数。回调函数中循环做如下处理：同步盘是否退出，没有退出则通过ReadDirectoryChangesW读取文件变化，通过GetQueuedCompletionStatus异步接收IO完成端口，

通过FILE_NOTIFY_INFORMATION解析文件变化类型，

FILE_ACTION_RENAMED_NEW_NAME、FILE_ACTION_ADDED、

FILE_ACTION_MODIFIED、FILE_ACTION_REMOVED

分别代表重命名、增加、修改、删除，封装任务后通过传输对象发起任务。通过PostQueuedCompletionStatus退出监控线程，然后关闭打开的文件目录句柄。

步骤S111，所述同步线程对所述任务数据包进行处理，将变化的文件同步到与所述应用程序对应的服务器上。

于本实施例中，所述监控线程和所述同步线程通过判断所述应用程序是否关闭来确定是否关闭所述监控线程和所述同步线程。

如图3所示，本实施例中，监控文件变化和同步的方法对文件变化的监控和同步的具体实施过程如下：

启动同步盘，创建监控线程，创建同步线程，以共享读和共享写的方式打开文件目录句柄并使用异步IO，创建一个关于文件目录句柄的IO完成端口，启动传输对象，启动监控线程同时启动同步线程，监控线程判断监控线程是否停止，若停止，则退出，停止监控线程；若未停止，则读取文件变化，以异步IO形式接收文件变化，解析、封装文件变化，通知文件变化。同步线程判断同步线程是否停止，若停止，则退出，若未停止，读取通知变化，执行该接收到的任务。

监控线程和同步线程在检测到应用程序退出或停止时，停止监控，关闭IO完成端口，关闭文件目录句柄，停止通知变化，停止监控线程，停止同步线程，退出同步盘。

如图4所示，本实施例还提供一种监控文件变化和同步的系统100，应用于windows系统下对应用程序所指定的目录下的文件监控和同步过程中，所述监控文件变化和同步的系统100包括：线程创建模块101，初始化模块102，监控线程处理模块103以及同步线程处理模块104。

于本实施例中，所述线程创建模块101用于在启动应用程序的进程时，创建用于监控所述应用程序所指定目录下的文件的变化的监控线程和创建用于在监控到所述应用程序所指定目录下的文件有变化时将变化的文件同步到与所述应用程序对应的服务器上的同步线程。

其中，于本实施例中，所述同步线程为一个同步线程或同步线程池。优选为创建用于在监控到所述应用程序所指定目录下的文件有变化时将变化的文件同步到与所述应用程序对应的服务器上的同步线程池。

于本实施例中，所述文件的变化包括：新建、删除、修改、重命名，监控线程支持上万级文件新建、删除、修改、重命名、移动、拷贝。

于本实施例中，例如通过_beginthread创建监控线程，并注册ThreadProc回调函数。通过InterlockedExchange来控制监控线程是否退出。

于本实施例中，所述初始化模块102用于获取所述应用程序所指定目录下的文件的文件目录句柄并创建一个IO完成端口并使之关联所述文件目录句柄，并创建一个在所述监控线程监控到所述应用程序所指定目录下的文件有变化时将变化的文件信息传输至所述同步线程的传输对象。

其中，所述应用程序所指定目录下的文件的文件目录为想监控的文件目录，这个文件目录可以根据需求设定。

于本实施例中，所述初始化模块102以异步IO方式且以共享读和共享写的方式获取所述应用程序所指定目录下的文件的文件目录的句柄。

于本实施例中，例如，所述初始化模块102通过CreateFile来创建监控目录的句柄，并以共享读和共享写权权限获取文件目录的句柄。通过CreateIoCompletionPort创建IO完成端口，可以高效地监控文件变化。

于本实施例中，所述监控线程处理模块103用于启动所述监控线程，通过向windows系统读取所述文件目录句柄是否有变化获取所述应用程序所指定目录下的文件变化信息，在获取到所述应用程序所指定目录下的文件有变化时，通过所述IO完成端口获取具体文件变化信息，并对获取的所述具体文件变化信息进行解析获取变化后的文件并对所述变化后的文件进行封装形成一任务数据包并利用创建的所述传输对象将所述任务数据包传输至所述同步线程。

于本实施例中，所述监控线程通过向windows系统读取所述文件目录句柄是否有变化，通过所述文件目录句柄的变化获取所述应用程序所指定目录下的文件变化信息，若所述文件目录句柄有变化，则确定所述应用程序所指定目录下的文件有变化，若所述文件目录句柄没有变化，则确定所述应用程序所指定目录下的文件没有变化。

所述监控线程在获取到所述应用程序所指定目录下的文件有变化时，通过所述IO完成端口获取具体文件变化信息。其中，所述监控线程处理模块103通过所述IO完成端口以异步IO的方式获取具体文件变化信息。

监控线程的监控实现过程例如：在实际启动监控线程，开始执行ThreadProc回调函数。回调函数中循环做如下处理：同步盘是否退出，没有退出则通过ReadDirectoryChangesW读取文件变化，通过GetQueuedCompletionStatus异步接收IO完成端口，

通过FILE_NOTIFY_INFORMATION解析文件变化类型，

FILE_ACTION_RENAMED_NEW_NAME、FILE_ACTION_ADDED、

FILE_ACTION_MODIFIED、FILE_ACTION_REMOVED，

分别代表重命名、增加、修改、删除，封装任务后通过传输对象发起任务。通过PostQueuedCompletionStatus退出监控线程，然后关闭打开的文件目录句柄。

于本实施例中，所述同步线程处理模块104用于启动所述同步线程并对接收到的所述任务数据包进行处理，将变化的文件同步到与所述应用程序对应的服务器上。

于本实施例中，所述监控线程和所述同步线程通过判断所述应用程序是否关闭来确定是否关闭所述监控线程和所述同步线程。

于本实施例中，所述监控文件变化和同步的系统100对文件变化的监控和同步的具体实施过程如下：

启动同步盘，所述线程创建模块101创建监控线程，创建同步线程，所述初始化模块102以共享读和共享写的方式打开文件目录句柄并使用异步IO，创建一个关于文件目录句柄的IO完成端口，启动传输对象，所述监控线程处理模块103启动监控线程，同时所述同步线程处理模块104启动同步线程，所述监控线程处理模块103通过监控线程判断监控线程是否停止，若停止，则退出，停止监控线程；若未停止，则读取文件变化，以异步IO形式接收文件变化，解析、封装文件变化，通知文件变化。所述同步线程处理模块104利用同步线程判断同步线程是否停止，若停止，则退出，若未停止，读取通知变化，执行该接收到的任务。

所述监控线程和所述同步线程在检测到应用程序退出或停止时，停止监控，关闭IO完成端口，关闭文件目录句柄，停止通知变化，停止监控线程，停止同步线程，退出同步盘。

综上所述，本发明可以监控到所有的文件变化，避免了可能丢失的文件变化信息，本发明的监控过程通过任务方式，保证了所有文件变化都可被记录并执行。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (8)

1.一种监控文件变化和同步的方法，应用于windows系统下对应用程序所指定的目录下的文件监控和同步过程中，其特征在于，所述监控文件变化和同步的方法包括以下步骤：

在启动应用程序的进程时，创建用于监控所述应用程序所指定目录下的文件的变化的监控线程和创建用于在监控到所述应用程序所指定目录下的文件有变化时将变化的文件同步到与所述应用程序对应的服务器上的同步线程；

获取所述应用程序所指定目录下的文件的文件目录句柄并创建一个IO完成端口并使之关联所述文件目录句柄；以异步IO方式且以共享读和共享写的方式获取所述应用程序所指定目录下的文件的文件目录的句柄；

创建一个在所述监控线程监控到所述应用程序所指定目录下的文件有变化时将变化的文件信息传输至所述同步线程的传输对象；

启动所述监控线程和所述同步线程，所述监控线程通过向windows系统读取所述文件目录句柄是否有变化获取所述应用程序所指定目录下的文件变化信息；

所述监控线程在获取到所述应用程序所指定目录下的文件有变化时，通过所述IO完成端口获取具体文件变化信息；

所述监控线程对获取的所述具体文件变化信息进行解析获取变化后的文件并对所述变化后的文件进行封装形成一任务数据包；

利用创建的所述传输对象将所述任务数据包传输至所述同步线程；

所述同步线程对所述任务数据包进行处理，将变化的文件同步到与所述应用程序对应的服务器上。

2.根据权利要求1所述的监控文件变化和同步的方法，其特征在于：通过所述IO完成端口以异步IO的方式获取具体文件变化信息。

3.根据权利要求1所述的监控文件变化和同步的方法，其特征在于：所述监控线程和所述同步线程通过判断所述应用程序是否关闭来确定是否关闭所述监控线程和所述同步线程。

4.根据权利要求1或3所述的监控文件变化和同步的方法，其特征在于：所述同步线程为一个同步线程或同步线程池。

5.一种监控文件变化和同步的系统，应用于windows系统下对应用程序所指定的目录下的文件监控和同步过程中，其特征在于，所述监控文件变化和同步的系统包括：

线程创建模块，用于在启动应用程序的进程时，创建用于监控所述应用程序所指定目录下的文件的变化的监控线程和创建用于在监控到所述应用程序所指定目录下的文件有变化时将变化的文件同步到与所述应用程序对应的服务器上的同步线程；

初始化模块，用于获取所述应用程序所指定目录下的文件的文件目录句柄并创建一个IO完成端口并使之关联所述文件目录句柄，并创建一个在所述监控线程监控到所述应用程序所指定目录下的文件有变化时将变化的文件信息传输至所述同步线程的传输对象；所述初始化模块以异步IO方式且以共享读和共享写的方式获取所述应用程序所指定目录下的文件的文件目录的句柄；

监控线程处理模块，用于启动所述监控线程，通过向windows系统读取所述文件目录句柄是否有变化获取所述应用程序所指定目录下的文件变化信息，在获取到所述应用程序所指定目录下的文件有变化时，通过所述IO完成端口获取具体文件变化信息，并对获取的所述具体文件变化信息进行解析获取变化后的文件并对所述变化后的文件进行封装形成一任务数据包并利用创建的所述传输对象将所述任务数据包传输至所述同步线程；

同步线程处理模块，用于启动所述同步线程并对接收到的所述任务数据包进行处理，将变化的文件同步到与所述应用程序对应的服务器上。

6.根据权利要求5所述的监控文件变化和同步的系统，其特征在于：所述监控线程处理模块通过所述IO完成端口以异步IO的方式获取具体文件变化信息。

7.根据权利要求5所述的监控文件变化和同步的系统，其特征在于：所述监控线程和所述同步线程通过判断所述应用程序是否关闭来确定是否关闭所述监控线程和所述同步线程。

8.根据权利要求5或7所述的监控文件变化和同步的系统，其特征在于：所述同步线程为一个同步线程或同步线程池。