CN103916479B - 一种基于工作组文件的云同步局域网加速系统 - Google Patents

Abstract

本发明公开了一种基于工作组文件的云同步局域网加速系统，属于云存储的文件同步服务领域。其特征在于利用局域网高速的传输能力和工作组存在的局域特性，来解决大文件共享的问题。本发明采用了触发式同步更新模式，提出了服务端控制器配合客户端触发器调度控制策略。利用控制器发送的控制命令来协调工作组内协同共享文件，节省了云端的IO和网络带宽资源，并且有效地利用了空闲的客户端来进行配合同步传输，在不增加其他客户端的压力的前提下高效地实现了工作组成员之间的文件同步。

Description

一种基于工作组文件的云同步局域网加速系统

技术领域

本发明属于云存储的文件同步服务领域，涉及一种工作组利用多终端互相同步文件的云同步方法以及在局域网内加速。

背景技术

U盘、移动硬盘，以及即时通讯工具，都是人们实现同步文件、分享文件的主要途径。云存储是在云计算概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。在云的时代，云存储在帮助人们存储文件、管理文件、同步文件，分享文件等方面，都有着巨大的优势和便捷性。人们不再需要关注文件的差异性来管理文件了，一切的事情都可以由云存储后台悄无声息地完成。

工作组云同步是指在云存储平台上，多终端与云服务器之间的数据同步。由于云同步的便捷性，往往以小组为单位的工作组常常通过云同步工具进行分享文件、同步文件、共同编辑同一文件等操作。如何让工作组通过云同步工具实时地进行文件同步，提高工作效率是一个非常现实的技术问题。

目前，利用云存储的自动同步备份技术功能来解决工作组分享文件的问题是一种比较可行的解决方案。具体流程如，当工作组中的用户A要创建、编辑、删除文档后，操作记录和新文件会自动上传到云端服务器上，如果现在同一工作组的用户B在线，那么更新后的文件，将从服务器上同步到用户B所在的设备上，这样就实现了工作组的分享、备份文件的功能。

上述做法存在如下问题：

一个工作组中会有很多需要同步的文件的用户，而且用户也会频繁地添加、更新文件。这样的话会给服务器带来很大的压力，如果用户经常更新的是大文件的话，服务器的IO和网络带宽面临巨大的压力。严重影响服务器的性能，降低用户体验。

发明内容

根据上述背景技术中存在的缺陷和不足，本发明提出了一种基于工作组文件的云同步局域网加速系统。往往一个工作组经常会存在一个局域网内，或者一个工作组中某些用户在一个局域网内。为了减少服务器的IO和网络带宽面临的巨大压力，本发明利用工作组存在的局域网特性，采用只同步文件元数据到服务器，文件同步选择局域网内传输来节约网络带宽、加速同步速度、减低服务器压力。

技术方案：

为了解决上述问题，本发明将从登陆客户端时初始化时产生任务、客户端工作时的产生任务、处理任务队列，三部分来介绍本系统。解决方案如下：

（1）初始化客户端产生任务解决方案：

当工作组用户登陆客户端时，客户端首先会去服务器端获取用户所拥有的文件的元数据信息，同时扫描同步文件夹中存在的所有文件并存储下能唯一标示文件的元数据信息，然后对比服务器上的元数据信息与本地文件的元数据信息得出存在差异的文件，最后同步这些存在差异的文件。本发明将在这部分陈述局域网加速系统在这部分中的具体实现方法。具体步骤如下：

根据用户信息获取服务器端中该用户拥有的所有文件的元数据信息，一般文件的元数据信息包括文件名、所属用户、所属组、文件路径、创建时间、修改时间等，本系统采用的是用文件名、文件路径、所属用户、修改时间来标示一个文件的唯一性,称之文件的元数据信息。与此同时，在服务器端控制器上注册本客户端在线。开启局域网通信服务，并利用接口获得在同一个工作组内的局域网客户端地址。

扫描用户所要同步的目录，获取文件夹中所有文件的元数据信息。根据本地文件的元数据信息与服务器端中的元数据信息进行对比。本地的某一文件的元数据信息中的文件名、文件路径、文件创建时间、所属用户与服务器端的某一文件的这些元数据信息相同，那么系统认为这是同一个用户的同一个文件，我们用A来表示这一个文件的本地元数据中的最新修改时间，用B来表示这一文件的服务器元数据的最新修改时间。如果这一文件只有本地有元数据信息并且此文件没有在服务器有删除记录，那么此文件是新创建的文件，加入上传队列；如果A大于B，那么该文件需要从服务器同步到本地，加入下载更新队列；如果A小于B，那么该文件需要同步到服务器端，加入上传更新队列；如果这一文件只有服务器端的元数据并没有删除记录，认为此文件是此前已经创建的文件所以需要同步到本地客户端，那么加入下载队列。综上所诉，同步策略通过比较本地元数据信息与服务器端上的元数据信息的差异，来决定上传、下载同步、创建同步、删除同步，从而产生上传、下载队列、删除队列。

（2）客户端工作时产生任务解决方案：

因为客户端在工作时常常处于等待任务的状态，为了减轻服务器压力，实现文件同步时，不能采用客户端初始化时所使用的服务器端的元数据与本地元数据比对的策略。本系统在客户端等待任务的状态下采用触发的策略，只有当有了新任务的时候，服务器直接推送给客户端或者本地直接触发同步操作。具体方法如下：

本地触发器会监控本地目录，一旦目录中发生了修改、创建、删除操作，触发器会发出相应的触发命令到服务器端的控制器，同时把相应到动作抽象成任务加入上传更新队列或者删除队列中，任务结构包括任务操作类型（包括，上传创建、下载创建、本地删除、服务器删除、上传更新、下载更新）、目标文件的元数据信息、源地址、目标地址。本地客户端处在等待任务的状态下，当本地客户端收到服务器端的控制器推送的同步任务，那么本地触发器会根据任务的类型把它放到对应的类型的任务队列中，并根据任务的元数据信息、源地址、目标地址等信息处理任务，具体处理策略下一节详细阐述。

（3）处理任务队列解决方案：

当一个新任务加入某一类型任务队列中的时候会判断是否有线程在处理本队列的任务，如果没有的话，就创建一个线程来处理本类型的任务，如果有的话，就加入队列末尾等待处理。怎么处理每个队列中的任务以及怎么优化任务的执行速度，具体步骤如下：

a.本系统在处理上传任务的时候，上传任务的目标文件到服务器端进行备份，如果任务类型是上传更新，就更新服务器对应文件的元数据信息，否则就创建对应的文件的元数据信息。与此同时，询问服务器端的控制器是否有工作组成员跟本客户端在一个局域网内，如果有则直接从本客户端把文件传输到属于同一局域网的工作组成员，传输完成后更新服务器端，记录该工作组成员已经完成该文件的同步。在本客户端完成把目标文件同步到服务器端后，服务器会生成类型为下载更新；目标地址为与源客户端不在同一局域网内的工作组成员的下载任务。最后达到同步该文件到其他与源客户端不在一个局域网内的工作组成员的目的，完成该文件上传同步操作。

b.系统处理下载任务时候，会去询问服务器的控制器，是否有在线的工作组成员与本客户端在同一局域网内，并且待下载的文件在这个客户端上。如果有的话，在满足条件的成员中选取最有优的一个工作组成员进行传输同步（本系统采用选取最优的方法是比较工作组成员的上传队列和下载队列的任务个数，任务数最少为最优），控制器会给最优的客户端下达传输任务命令，客户端根据任务的描述进行客户端到客户端的文件传输，最后达到下载同步效果。

c.在处理删除任务时候，首先删除任务中对应的目标文件，然后更新服务器中的对应元数据信息标志为删除元数据，并通知控制器删除完成。

本发明为了实现工作组同步文件的局域网加速系统，提出了控制器，触发器机制来控制本地与服务端中的通操作，实现了元数据服务器与控制服务器分离有效减轻了元数据服务器压力。不仅如此，在工作组同步文件时，大量的需要同步文件采用局域网内传输，降低了服务器的IO和网络带宽压力，如果工作组中成员越多本系统的效果更佳明显。

附图说明

图1是本发明的场景示意图。

图2是本发明的系统结构图。

图3是客户端触发器的功能流程图。

图4是服务端控制器的功能流程图。

具体实施方式

下面结合附图对本发明的进行进一步的说明

本发明为一种基于工作组文件的云同步局域网加速系统，如图1所示，本发明的使用场景是在一个工作组中，用户客户端需要进行同步文件来协助工作组用户进行分享文件、协同工作等。工作组成员由多个客户端，和一个云存储系统构成，其中客户端可分为pc端、手机端、web端。在一个客户端把文件同步到云端后，云端会自动把此文件同步到其他工作组成员的客户端以到达分享、协作的功能。因为工作组的特性，会存在很多客户端在同一局域网内，本系统利用此特性进行了同步加速以达到节省带宽、提高同步速度、减轻服务器压力的效果。当某一客户端同步文件到服务器的时候，服务器会检测是否有客户端与源客户端在同一局域网内，如果存在则直接通知源客户端在把文件同步到服务器后直接传送文件到同一局域网的客户端上，以达到同步加速的目的。下面会详细阐述发明的实现细节。

图2是本发明的系统结构图，基本的工作步骤如下：

a.当客户端的文档发生改动（增、删、改）时，触发器的会收集到改动信息，发送同步消息到服务端的控制器，并发送改动文件到服务器。

b.控制器收到客户端触发器发送的同步消息，接受文件传输，并解析消息，根据消息的来源以及性质，发送控制消息到其他的客户端。控制消息包括从服务端同步文件或者从局域网内源客户端同步文件。

c.客户端触发器收到服务器发来的控制消息，根据消息的性质，执行相关同步操作，比如从服务器同步文件、从其他局域网客户端直接同步文件、删除相关文件。

上诉的系统架构图中提及了两个重要的部件，分别是触发器、控制器。下面会详细阐述触发器和控制器的设计细节。

触发器的作用是客户端的通讯枢纽，负责收集本地消息和控制器发送来的消息，同时也负责发送同步消息。触发器的工作流如图3所示，分为三个步骤：

a.触发器是一个守护进程，自客户端启动开始就一直运行着，客户端关闭的时候才会消失，负责监控是否有触发消息的产生。触发消息分为两种，一种是本地产生的触发消息，需要发给控制器，另外一种是服务器的控制器产生的触发消息，由客户端的触发器接受。

b.如果是本地触发的消息的话，触发器会产生触发消息，触发消息结构如：任务（任务类型、文件名、（路径、创建时间、修改时间、所属用户）、源地址：端口、目标地址：端口）。然后，调用接口结构化的数据转化成可序列化数据，并发送给控制器。

c.如果不如本地触发的消息，因为接收到的数据是可序列化的。调用相关接口解析成结构化的数据，例如上面的b所示标示的。解析器通过结构化数据中的任务类型、任务对象、任务的目标地址等信息生成同步任务，并根据类型加入相关任务队列。

服务器端的控制器是整个系统的控制调度中心，具有关键作用。图4是控制器的流程图，下面会详细讲述控制器的工作方式。

控制器在收到客户端发来的同步消息的时候，控制器根据消息类型执行不同的策略。当处理下载请求时候，首先控制器会解析消息，发送命令给客户端局域网服务程序，询问是否有局域网客户端存在目标文件，如果存在的话，控制器会分配一个任务队列中任务数最少的客户端作为传输文件的源客户端，生成源地址为此客户端，目标地址为请求客户端，传输任务并发送给源客户端。如果不存在，则直接生成下载任务，源地址为服务器，目标地址为请求客户端，并把此任务发送给客户端。

在客户端触发器监控到更新时候，触发器会发送类型为上传更新的触发消息。控制器在处理上传更新消息时候，第一步，进行上传文件到服务器同时局域网服务程序搜寻工作组在线客户端与源客户端在同一局域网内的成员。第二步，发送同步控制消息到与源客户端在同一局域网内的工作组成员，通知这些客户端与源客户端进行此文件同步，同时生成同步任务消息并发送给这些客户端。第三步，在源客户端完成文件传输到服务器端时，进行服务器端到其他与源客户端不在同一局域网内成员同步文件。在完成了本次文件上传更新的所有同步任务后，控制器会根据触发消息的结构化信息更新数据库中对应文件的元数据信息，如果是一个新文件就增加这个文件的元数据信息，否则是一个文件的更新操作，那么就更新对应文件的修改时间，当所有元数据修改成功，本次上传同步完成。

控制器处理删除操作时候非常简单，直接更新文件的元数据并且发送删除控制消息到其他在线客户端成员，当控制器收到各个客户端的触发器发来的删除成功的消息后完成本次同步操作。

Claims (1)

1.一种基于工作组文件的云同步局域网加速系统，包括从登陆客户端时初始化时产生任务、客户端工作时的产生任务和处理任务队列；其特征在于以下步骤，

(1)初始化客户端产生任务

当工作组用户登陆客户端时，客户端首先会去服务器端获取用户所拥有的文件的元数据信息，同时扫描同步文件夹中存在的所有文件并存储下能唯一标示文件的元数据信息，然后对比服务器上的元数据信息与本地文件的元数据信息得出存在差异的文件，最后同步这些存在差异的文件；具体如下：

a、根据用户信息获取服务器端中该用户拥有的所有文件的元数据信息，包括文件名、文件路径、所属用户、修改时间来标示一个文件的唯一性；与此同时，在服务器端控制器上注册本客户端在线；开启局域网通信服务，并利用接口获得在同一个工作组内的局域网客户端地址；

b、扫描用户所要同步的目录，获取文件夹中所有文件的元数据信息；根据本地文件的元数据信息与服务器端中的元数据信息进行对比；本地的某一文件的元数据信息中的文件名、文件路径、文件创建时间、所属用户与服务器端的某一文件的这些元数据信息相同，那么系统认为这是同一个用户的同一个文件，用A来表示这一个文件的本地元数据中的最新修改时间，用B来表示这一文件的服务器元数据的最新修改时间；如果这一文件只有本地有元数据信息并且此文件没有在服务器有删除记录，那么此文件是新创建的文件，加入上传队列；如果A大于B，那么该文件需要从服务器同步到本地，加入下载更新队列；如果A小于B，那么该文件需要同步到服务器端，加入上传更新队列；如果这一文件只有服务器端的元数据并没有删除记录，认为此文件是此前已经创建的文件所以需要同步到本地客户端，那么加入下载队列；

同步策略通过比较本地元数据信息与服务器端上的元数据信息的差异，来决定上传、下载同步、创建同步、删除同步，从而产生上传、下载队列、删除队列；

(2)客户端工作时的产生任务

本系统在客户端等待任务的状态下采用触发的策略，只有当有了新任务的时候，服务器直接推送给客户端或者本地直接触发同步操作；具体如下：

本地触发器会监控本地目录，一旦目录中发生了修改、创建、删除操作，触发器会发出相应的触发命令到服务器端的控制器，同时把相应到动作抽象成任务加入上传更新队列或者删除队列中，任务结构包括任务操作类型、目标文件的元数据信息、源地址、目标地址；本地客户端处在等待任务的状态下，当本地客户端收到服务器端的控制器推送的同步任务，那么本地触发器会根据任务的类型把它放到对应的类型的任务队列中，并根据任务的元数据信息、源地址、目标地址等信息处理任务；

(3)处理任务队列

当一个新任务加入某一类型任务队列中的时候会判断是否有线程在处理本队列的任务，如果没有的话，就创建一个线程来处理本类型的任务，如果有的话，就加入队列末尾等待处理；具体如下：

a、本系统在处理上传任务的时候，上传任务的目标文件到服务器端进行备份，如果任务类型是上传更新，就更新服务器对应文件的元数据信息，否则就创建对应的文件的元数据信息；与此同时，询问服务器端的控制器是否有工作组成员跟本客户端在一个局域网内，如果有则直接从本客户端把文件传输到属于同一局域网的工作组成员，传输完成后更新服务器端，记录该工作组成员已经完成该文件的同步；在本客户端完成把目标文件同步到服务器端后，服务器会生成类型为下载更新；目标地址为与源客户端不在同一局域网内的工作组成员的下载任务；最后达到同步该文件到其他与源客户端不在一个局域网内的工作组成员的目的，完成该文件上传同步操作；

b、系统处理下载任务时候，会去询问服务器的控制器，是否有在线的工作组成员与本客户端在同一局域网内，并且待下载的文件在这个客户端上；如果有的话，在满足条件的成员中选取最有优的一个工作组成员进行传输同步；采用选取最优的方法是比较工作组成员的上传队列和下载队列的任务个数，任务数最少为最优；控制器会给最优的客户端下达传输任务命令，客户端根据任务的描述进行客户端到客户端的文件传输，最后达到下载同步；

c、在处理删除任务时候，首先删除任务中对应的目标文件，然后更新服务器中的对应元数据信息标志为删除元数据，并通知控制器删除完成。