CN104219283B - 基于云存储的文件按需下载和自动同步方法及其装置 - Google Patents

Abstract

本发明涉及一种基于云存储的文件按需下载和自动同步方法及其装置，包括：调度同步装置，期将服务器端的文件变化同步到本地，同时自动将本地修改的文件同步到服务器端；缓存管理装置，用于负责在缓存文件状态管理，同时负责缓存的清理；监控装置，用于捕捉系统行为；所述的服务器端包括：文件服务装置，用于负责客户端上传文档写入到存储装置；同时负责客户端请求下载的文档从存储装置读取数据并返回给客户端；存储装置，用于负责文件的存储和读取。与现有技术相比，本发明具有用于解决用户希望使用文件能够不受阻碍的访问，同时又不占用本地空间的问题，能够在不改变系统使用习惯并且不受到任何干扰情况下完成工作。

Description

基于云存储的文件按需下载和自动同步方法及其装置

技术领域

本发明涉及一种计算机信息存储技术领域，尤其是涉及一种基于云存储的文件按需下载和自动同步方法及其装置，用户可以不用主动关心文件上传、下载行为，不用担心本地磁盘空间占用，也不用需要打开单独的客户端软件界面去选择文件下载同步，用户能够在不改变系统使用习惯并且不受到任何干扰情况下完成工作。

背景技术

目前，市面上存在着大量的文件管理系统、网盘、知识管理和内容管理系统。基本上所有系统都通过下列两种方式为用户提供文件访问，每种方式在实际工作中都会给用户造成一些困扰：

a)基于Web界面浏览文件夹及文件信息，通过Web预览功能查看目标文档的内容或通过将文件下载到本地，在本地使用文件相关的应用程序进行查看或修改。

困扰：当用户需要访问或修改多个不同文件，他需要通过多次选择文件下载、使用本地应用程序修改文件、再通过Web界面选择上传完成工作。用户需要在浏览器与本地应用程序间切换工作，并且需要主动上传文件变化，离线后基本上不能工作，非常不方便，会干扰用户工作思路影响效率。

b)基于客户端程序主动选择将需要使用的文件夹或文件同步到本地，用户使用资源管理器进行浏览并使用文件相关的应用程序进行查看或修改。本地文件内容被修改后程序主动将变化内容上传。没有任何变化时，程序会定期在后台检查服务器端文件是否被别人修改，一旦有变化会主动将变化内容下载到本地。用户工作环境离线仍能工作。

困扰：当一个团队或整个公司/学校都基于该系统进行工作，并且存放了大量文档数据时(比如资料图片、教学视频、收集的背景资料文档等)，所有数据同步到本地会大量占用本地磁盘空间。通常每个用户能够访问的公共资源数据为50GB～1000GB，甚至更多，而每个用户在工作中真正用到的数据可能5GB还不到。市面上大部分的系统都会在客户端程序中为用户提供“选择性同步”功能，用户通过弹出对话框勾选整个系统中需要同步到本地的文件夹或文件，这样能够解决用户磁盘空间占用并且减少不必要的网络带宽使用。但是这个看似解决用户困扰的功能实际上给用户带了另一个困扰：用户无法预测自己将要访问的文档会是哪些，如果全部选择那会造成浪费，并且首次登录可能会由于下载大量数据而造成使用体验非常差。如果仅选择部分那么在将来工作时发现需要使用的文档没同步到本地，仍需要通过该弹出对话框找到目标文件再次选择同步，会干扰用户工作思路影响效率。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于云存储的文件按需下载和自动同步方法及其装置，用于解决用户希望使用文件能够不受阻碍的访问，同时又不占用本地空间的问题，能够在不改变系统使用习惯并且不受到任何干扰情况下完成工作；最终达到的效果是用户可以直接在Windows资源管理器中看到所有云存储中有权限的文件列表，而只有在需要打开或者其他使用场景时才触发下载使用，也就是看到全部，使用少数。

本发明的目的可以通过以下技术方案来实现：

一种基于云存储的文件按需下载和自动同步方法，其特征在于，包括以下流程：

1)自动同步子流程；

2)文件触发下载流程；

3)缓存清理子流程。

所述的自动同步子流程具体包括以下步骤：

11)用户使用客户端登录后，调度同步装置发送请求给服务器端；

12)服务器端文件服务装置获得用户有权限访问的文件列表，通过深度优先算法逐个返回给客户端调度同步装置；

13)调度同步装置根据缓存管理装置中文件的历史信息，对于已经具有本地缓存的文件，请求文件服务装置返回内容更新本地缓存，并通知缓存管理装置；

14)对于从未缓存的文件，请求文件服务装置返回文件属性信息，包括名称、属性、大小和修改时间，创建虚拟文件对象，并通知缓存管理装置；

15)缓存管理装置，在获得文件对象时，判断实体对象和虚拟对象，在文件上叠加已缓存或者未缓存图标。

所述的文件触发下载流程具体包括以下步骤：

21)用户双击未缓存文件时，或者其他应用触发，监控装置截获相关请求，并触发调度同步装置，弹出对话框自动下载文件；

22)如果客户端程序未启动或离线时，打开未缓存文件时，监控装置截获请求，并弹出对话框提示“该文件未下载到本地，无法被正常访问，请在客户端启动并且在线时再次尝试，程序将自动下载该文件”；

23)程序未启动或离线时，如果文件旧版本已经下载到本地，但是服务器上已经有了新版本，则弹出对话框提示“当前打开的文件不是最新版本，请在客户端启动并且在线时再次尝试访问文件，程序将自动下载该文件”。

所述的缓存清理子流程具体包括以下步骤：

31)缓存管理装置定期检查缓存目录数据大小，当缓存大小超过设置的最大值时，触发缓存清理操作；

32)缓存清理的规则采用LRU，清除客户端最长时间未使用的文件清理；

33)用户选择某个缓存子目录文件夹，选择清理缓存，触发缓存清理操作；

34)清理掉的文件转换为未缓存虚拟文件对象，更改文件状态。

一种基于云存储的文件按需下载和自动同步方法的装置，其特征在于，包括客户端和服务器端；

所述的客户端包括：

调度同步装置，用于负责文件上传、下载及缓存信息记录，定期将服务器端的文件变化同步到本地，同时自动将本地修改的文件同步到服务器端；

缓存管理装置，用于负责在缓存文件状态管理，在Windows文件图标上叠加状态图标，用户使用资源管理器浏览文件夹及文件时能够区分已下载内容和未下载内容的文件；同时负责缓存的清理，当本地缓存超过限额时自动触发按LRU(Least Recently Used)规则清理本地缓存，或者根据用户手动触发清理指定文件夹的缓存文件；

监控装置，用于捕捉系统行为，当缓存目录下的文件被触发打开时，阻塞住未下载文件的访问请求并通知调度装置下载文件内容，当本地文件变化时，自动触发调度同步装置同步到服务器端；

所述的服务器端包括：

文件服务装置，用于负责客户端上传文档写入到存储装置；同时负责客户端请求下载的文档从存储装置读取数据并返回给客户端；

存储装置，用于负责文件的存储和读取。

本发明具有以下三个重要的创新点：

1)通过客户端程序将用户所有具有权限访问的文件信息从系统服务器上同步到本地磁盘，包括文件夹及文件，文件信息包含名称、属性、大小，不包含文件内容，所有文件信息都记录到本地缓存目录下，形成虚拟文件对象。

2)用户通过资源管理器即可浏览所有文件夹及文件，当用户浏览到希望访问的文件并双击打开时，打开文件的应用程序会被阻塞，而客户端程序则会被触发下载文件内容并显示下载进度，当文件内容下载完成后打开文件的应用程序被解阻塞并正常显示文件内容。

3)对于已经打开同步到本地的文件，任何修改或者添加都可以自动同步到服务器端；实际使用时用户不用关心将要打开的文件是否已经下载，访问时如何下载。由于仅仅下载用户访问过的文件，因此长时间使用也不会占用本地磁盘多过空间。

与现有技术相比，本发明能够解决用户使用文件时，即使是云端的文件，也能够继续沿用Windows资源管理器使用习惯，能够不受阻碍的访问；这在企业、学校等中大型组织机构中，海量的文档中，每个成员可以做到看到全部有权限的文档资源，但是可以按需使用，极大的提升了学校或者企业海量文档中心的共享协作的体验。

附图说明

图1为本发明的流程图；

图2为本发明的装置结构框图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

如图1所示，本发明主要流程包括：

文件更新过程：

1)定期探测或者获得文件列表

2)判断文件内容同步或者属性同步；

3)创建虚拟文件对象或者同步实际文件内容；

4)更新文件状态为已更新或者云端状态；

文件打开过程：

1)打开文件；

2)判断是否需要触发同步；

3)同步内容并返回第三方应用加载内容完成打开操作；

如图2所示，本实施例由客户端1和服务器端2组成，两者之间通过TCP/IP建立网络连接，所述的客户端1包括调度同步装置11、缓存管理装置12和监控装置13，所述的服务器端2包括文件服务装置21和存储装置22。

文档使用过程

1.用户U1可以访问的文件包括个人文档、群组文档库(比如社团的资料中心)、学校的文档库、其他人共享给U1的文件，预计总文件量超过10W，数据量超过100GB；

2.U1通过客户端登录后，调度同步装置发信息给服务器端，服务器端分发给集群内的任意节点处理，节点的文件服务装置扫描用户的文件列表返回给客户端；

3.客户端缓存管理装置对比文件列表的文件，如果属于已经缓存过的文件，要求服务器端对比文件版本，如果一致则略过，如果不一致，请求服务器端更新到本地客户端，此时客户端调度同步装置与服务器端文件服务装置同步数据。

4.如果文件未缓存，则要求服务器端给出文件属性，包括大小、修改时间等，缓存管理装置根据属性创建虚拟文件对象，并标识未缓存的云端图标。

5.用户U1在某文件夹X下看到文件列表，当选择A文件双击打开，或者拖进邮件客户端发送时，监控装置获得请求并转给调度同步装置处理，此时如果同步队列已经有传输对象，则会优先此请求。

6.调度同步装置同步完成文件内容后，触发监控装置释放应用程序的打开请求，应用程序加载内容并呈现给用户U1。

7.用户U1修改文件A保存，监控装置探测到变化，通知调度同步装置启动同步，调度同步装置将文件A内容同步到服务器端的文件服务装置。文件服务装置写入存储装置。

缓存清理过程

1.用户U1登录客户端后，通过缓存管理装置设置缓存空间限制，比如1GB；

2.客户端缓存管理装置定期扫描缓存目录，当缓存数据超过设置空间限额时，触发缓存清理。

3.清理时，采用LRU(Least Recently Used)，最近最少使用算法，与传统最近最少使用算法略有区别，在于LRU算法主要根据文件的最近访问时间判断，对于最近访问时间与当前时间相差最大的倒序，依次清除文件缓存。

4.另外一种情况是，用户选择缓存目录下的某个文件夹Y，选择清理缓存，触发缓存清理操作。

5.清理掉的文件转换为未缓存虚拟文件对象，更改文件状态。

Claims (4)

1.一种基于云存储的文件按需下载和自动同步方法，其特征在于，包括以下流程：

1)自动同步子流程；

2)文件触发下载流程；

3)缓存清理子流程；

所述的自动同步子流程具体包括以下步骤：

11)用户使用客户端登录后，调度同步装置发送请求给服务器端；

12)服务器端文件服务装置获得用户有权限访问的文件列表，通过深度优先算法逐个返回给客户端调度同步装置；

13)调度同步装置根据缓存管理装置中文件的历史信息，对于已经具有本地缓存的文件，请求文件服务装置返回内容更新本地缓存，并通知缓存管理装置；

14)对于从未缓存的文件，请求文件服务装置返回文件属性信息，包括名称、属性、大小和修改时间，创建虚拟文件对象，并通知缓存管理装置；

15)缓存管理装置，在获得文件对象时，判断实体对象和虚拟对象，在文件上叠加已缓存或者未缓存图标。

2.根据权利要求1所述的一种基于云存储的文件按需下载和自动同步方法，其特征在于，所述的文件触发下载流程具体包括以下步骤：

21)用户双击未缓存文件时，或者其他应用触发，监控装置截获相关请求，并触发调度同步装置，弹出对话框自动下载文件；

22)如果客户端程序未启动或离线时，打开未缓存文件时，监控装置截获请求，并弹出对话框提示“该文件未下载到本地，无法被正常访问，请在客户端启动并且在线时再次尝试，程序将自动下载该文件”；

23)程序未启动或离线时，如果文件旧版本已经下载到本地，但是服务器上已经有了新版本，则弹出对话框提示“当前打开的文件不是最新版本，请在客户端启动并且在线时再次尝试访问文件，程序将自动下载该文件”。

3.根据权利要求1所述的一种基于云存储的文件按需下载和自动同步方法，其特征在于，所述的缓存清理子流程具体包括以下步骤：

31)缓存管理装置定期检查缓存目录数据大小，当缓存大小超过设置的最大值时，触发缓存清理操作；

32)缓存清理的规则采用LRU，清除客户端最长时间未使用的文件；

33)用户选择某个缓存子目录文件夹，选择清理缓存，触发缓存清理操作；

34)清理掉的文件转换为未缓存虚拟文件对象，更改文件状态。

4.一种实施权利要求1-3中任一的基于云存储的文件按需下载和自动同步方法的装置，其特征在于，包括客户端和服务器端；

所述的客户端包括：

调度同步装置，用于负责文件上传、下载及缓存信息记录，定期将服务器端的文件变化同步到本地，同时自动将本地修改的文件同步到服务器端；

缓存管理装置，用于负责缓存文件状态管理，在Windows文件图标上叠加状态图标，用户使用资源管理器浏览文件夹及文件时能够区分已下载内容和未下载内容的文件；同时负责缓存的清理，当本地缓存超过限额时自动触发按LRU规则清理本地缓存，或者根据用户手动触发清理指定文件夹的缓存文件；

监控装置，用于捕捉系统行为，当缓存目录下的文件被触发打开时，阻塞住未下载文件的访问请求并通知调度同步装置下载文件内容，当本地文件变化时，自动触发调度同步装置同步到服务器端；

所述的服务器端包括：

文件服务装置，用于负责将客户端上传文档写入到存储装置；同时负责从存储装置读取客户端请求下载的文档并返回给客户端；

存储装置，用于负责文件的存储和读取。