CN102014158B - 一种云存储服务客户端高效细粒度数据缓存系统与方法 - Google Patents

Abstract

一种云存储服务客户端高效细粒度数据缓存系统，包括应用程序模块，文件系统模块，服务器、虚拟网络存储模块和本地移动存储设备、用户态文件系统模块。客户端的用户态文件系统模块拦截对移动设备的读写操作；根据读写操作的内容进行判断，如果读取的内容在本地有缓存，则从本地的稀疏文件中读出，如果没有则按照读取操作的大小向服务器请求数据，并将写入的数据直接放入本地缓存中；同步线程检查本地的待同步数据表，将客户端新写入的数据上传到服务器。本发明具有在网络带宽资源有限情况下，能够快速高效访问云存储中的文件等优点。

Description

一种云存储服务客户端高效细粒度数据缓存系统与方法

技术领域

本发明属于计算机数据存储技术领域，尤其是一种云存储服务客户端高效细粒度数据缓存系统与方法，在网络带宽较低时，尽可能提高用户的使用体验，并节省网络带宽和服务器端计算资源。

技术背景

云存储是一种目前迅速兴起、前景广阔的数据服务，它允许用户将数据放在专业存储服务运营商提供的存储空间里，用户能够在任何时间从任何地点通过网络方便地访问自己的数据。随着目前个人数据量的增长，以及越来越多的人共享数据，云存储服务得到了越来越广的应用，同时，云存储中的数据量也越来越大。由于目前用户还是通过网络来访问云存储中的数据，而网络带宽的增长速度远远跟不上数据量的增长速度，所以如何在有限带宽下有效提高用户的使用感受就成为一个关键的技术问题。

目前流行的云存储服务都是以文件作为最小操作单位的。一般用户态的应用程序在访问文件时，文件系统需要能够提供完整的文件信息和文件内容才允许应用程序访问，因此如果直接在用户态应用层提供缓存机制，那么一般只能实现文件粒度的缓存。按文件粒度进行操作可以提供很多文件系统自有的特性，例如数据一致性，对一个文件的关闭操作标志了这个文件的一个一致点，按照关闭操作来处理文件可以更简单地避免客户端与云存储服务器端不一致的情况发生。但这种传统的以文件为粒度的缓存方法并不高效，它要么占用客户端大量空间存储很多极少被访问的数据，要么牺牲大量网络带宽靠频繁从服务器下载来实现缓存文件替换，难以同时实现缓存空间和网络带宽的高效利用。当用户需要操作一个文件时，即使只是想访问或修改该文件的一小部分，也必须要求客户端存储有该文件的完整副本，如果客户端没有这个文件的副本，则要从云存储的服务器端通过网络有可能是广域网将整个文件取回，而且，当待访问的文件较大而本地又无缓存时，将完整文件从云存储服务器下载到客户端会造成客户端长时间等待，这一操作不仅耗费大量带宽和服务器端资源，而且还需要用户等候很长时间，例如，即使在当前较好的网络条件下如2Mbps接入带宽，取回几十M大小的文件就至少需要让用户等候几分钟的时间才能开始访问自己的数据，这无疑会严重损害用户体验。

由于上述原因，目前大部分云存储服务，例如卓普鲍克斯(Dropbox)公司提供的云存储服务客户端Dropbox，以及亚马逊(Amazon)公司提供的云存储服务S3，只能用于备份文件，并要求客户端具有跟该用户在云存储服务端相同大小的存储空间来放置服务器所有个人文件的副本，只有这样才能让用户快速、便捷地使用自己的数据。然而，以上方法直接导致用户的云存储空间受限于本地客户端的存储能力，无法真正实现让云存储服务提供无限存储能力，允许用户按需购买任意大存储空间的目标。这将导致云存储服务无法充分发挥其优势，甚至难以在实际中得到广泛的应用和快速的发展。

发明内容

为克服现有技术的不足，本发明的目的在于提供一种云存储服务客户端高效细粒度数据缓存系统与方法。

为实现上述目的，本发明采取的总体技术方案为，一种云存储服务客户端高效细粒度数据缓存系统，包括应用程序模块、文件系统模块、服务器、虚拟网络存储模块，其特征在于，该系统还包括以下模块：

应用程序模块，用于保存操作系统上实际运行的应用程序；

文件系统模块，用于保存操作系统上的文件系统；

服务器，用于记录数据和文件的元信息；

虚拟网络存储模块，用于对客户端提供虚拟的存储空间；

本地移动存储设备，用于缓存服务器文件的部分数据和服务器文件的全部元数据；

用户态文件系统模块，用于重新定向本地文件系统对虚拟网络存储模块的读写操作，实现应用程序对本地文件与云存储服务器上文件的无差别访问。

所述虚拟网络存储模块为卷形式，客户端对卷的操作全部由用户态文件系统模块完成。

所述客户端文件系统采用稀疏文件格式存储数据。

所述稀疏文件与客户端原文件一一对应。

一种云存储服务客户端高效细粒度数据缓存实现方法，包括以下步骤：

步骤1、客户端的用户态文件系统模块拦截对本地移动设备的读写操作；

步骤2、根据读写操作的内容进行判断，如果读取的内容在本地有缓存，则从本地的稀疏文件中读出，如果没有则按照读取操作的大小向服务器请求数据，并将写入的数据直接放入本地缓存中；

步骤3、同步线程检查本地的待同步缓存表，将客户端新写入的数据上传到服务器。

所述步骤1中的读操作具体包括以下步骤：

步骤11、客户端应用程序模块读取文件内容，用户态文件系统模块捕获其读取的文件偏移和请求长度；

步骤12、根据本地缓存的索引检查需要读取的数据是否在本地存在，如果存在则从本地缓存中读取需要的数据，更新被读取文件在本地缓存的文件元信息，并将更新后的元信息放入本地的待同步缓存表中；

步骤13、不存在则检查当前的联网状态，联网则从云存储服务器端读取需要的数据，将从服务器端取得的数据复制一份存在本地移动设备中，并更新本地缓存数据的索引，未联网则返回读取数据失败；

所述步骤12中的文件元信息包括文件名、文件的完整路径、创建时间、最后访问时间、最后修改时间、文件大小信息。

所述步骤2中的同步缓存表记录有文件的全局标识，以及数据块相对于整个文件的偏移地址和长度。

所述步骤1中的写操作具体包括以下步骤：

步骤21、客户端应用程序模块向移动设备中的文件写入数据，用户态文件系统模块捕获其写请求的文件偏移以及写入内容的长度；

步骤22、检查当前联网状态，联网则将数据写入本地移动存储设备，更新本地缓存数据索引和本地缓存的元数据信息，将数据写入远程数据存储服务器，并更新远程元数据服务器上的文件元信息，否则将数据写入本地移动存储设备，更新本地缓存数据索引，并更新本地缓存的元数据信息，将写入数据的信息记录到客户端待同步缓存表中；

步骤23、检查服务器端数据与元数据是否写入成功，如果成功则结束，否则将写入数据的信息记录到客户端待同步缓存表中，等待联网后写入或者重新写入。

所述步骤3进一步包括以下步骤：

步骤31、检查待同步缓存表中是否有需要同步的项；

步骤32、检查是否处于联网状态，如果联网则从待同步缓存表中选取一项，将需要同步的元数据发送到元数据服务器上，否则同步线程休眠，等待下一次唤醒；

步骤33、检查发送是否成功，如果成功则删除待同步缓存表中已经处理的一项，并继续检查待同步缓存表中是否有需要同步的项。

本发具有明显的优点和积极效果。1、本发明解决了云存储系统中客户端在网络带宽资源有限情况下不能够快速高效访问云存储中文件的问题。2、本发明通过用户态文件系统，将客户端对云存储中文件的操作捕获，并利用客户端移动存储设备作为缓存介质，通过缓存机制实现高效访问云存储中文件的目的，让云存储空间摆脱本地客户端存储能力的限制，实现云存储服务对本地存储空间的无限扩展。3、与传统的以文件为操作单位的客户端数据缓存方法相比，本发明提出的细粒度数据缓存方法还在客户端没有待访问文件的缓存数据如客户端数据遗失，或者从某个新的位置首次访问云存储空间中的文件等情况下具备显著优势，能够让用户立刻实现对任何文件任何位置的迅速随机访问，而传统方法需要用户等候很长时间，直至整个文件下载完毕才能访问其数据，该发明能有效节省和充分利用带宽资源。4、本发明能够捕获用户态应用程序对云存储空间内文件的所有操作，并能够按照需要重新定向读写操作到客户端缓存，减少了客户端访问云存储后台中文件的等待时间，在客户端缓存了所有访问过文件的元信息，提高了查看文件列表的效率，在客户端缓存云存储中文件的内容时，利用稀疏文件作为存储方式，不用缓存完整文件，提高了客户端存储空间的有效利用率，提升了客户端重复访问同一文件的效率，同时减少了客户端访问未缓存文件的等待时间。5、本发明利用用户态文件系统，将客户端对文件的各种操作捕获，判断每次读写操作的细粒度数据是否在客户端缓存中，即使客户端缓存中没有需要的数据，那么也只是从云存储后台获取一次读写所需的数据量，而和文件大小无关，所以，可以极大提高客户端存储空间和网络带宽的利用效率，并减少客户端等待时间，提高客户端用户的体验。

附图说明

图1为本发明的模块结构示意图；

图2为本发明的客户端数据缓存结构图；

图3为本发明的主流程图；

图4为本发明的客户端读数据流程图；

图5为本发明的客户端写数据流程图；

图6本发明的本地待同步缓存表与服务器端同步流程图。

具体实施方式

下面结合说明书附图来说明本发明的具体实施方式。

本发明的系统模块组成结构如图1所示，包括以下模块：

应用程序模块1，该模块为操作系统上实际运行的程序，会对存储在云存储上的文件进行操作；

文件系统模块2，该模块为操作系统上的文件系统，客户端移动存储设备的文件系统采用了Windows操作系统中的NTFS文件系统；

用户态文件系统模块3，该模块为自定义的文件系统模块，用于将文件系统对磁盘的读写操作转化到文件系统上层的应用程序上，采用驱动实现，将文件系统的底层操作转化到用户态上；

服务器4，包括数据服务器和元数据服务器，分别记录数据和文件的元信息；

虚拟网络存储模块5，该模块虚拟了云存储后台对客户端提供的存储空间，表现为一个卷的形式，客户端对此卷的操作全部由用户态文件系统完成；

本地移动存储设备6，用于缓存服务器文件的部分数据和服务器文件的全部元数据。

本发明的客户端数据缓存结构如图2所示，在客户端与服务器4端，数据可以按照任意的文件格式存储。服务器4端有完整的文件，并且会有文件的索引，本发明用数据库来做服务器4端文件的索引，每一个数据库的表项都由文件全局唯一标示和文件的元信息，在文件的唯一标示上建立数据库索引，来快速找到需要的文件。客户端用稀疏文件来存储数据，每个稀疏文件对应原来的一个文件，稀疏文件的好处是可以有效利用客户端的存储空间，允许文件中间有空洞，不占用实际存储空间。在客户端首先有稀疏文件与原文件对应的索引，客户端的索引同样用数据库实现，每个文件的索引包括一个数据库表项，表项中记录文件的全局唯一标示和文件元数据，用以快速查找原文件在本地缓存中对应的稀疏文件。同时，稀疏文件还有一个内容索引，由于稀疏文件允许中间存在空洞，所以本发明建立了稀疏文件内容的索引，用以标示稀疏文件中实际存在的数据，稀疏文件的内容索引同样用数据库记录，每条记录都包括文件的唯一标示、偏移地址、记录长度。偏移地址是稀疏文件中一个包含实际数据的块的起始地址，记录长度是相应数据块的大小。

参阅图3，本发明的主流程图，云存储服务客户端高效细粒度数据缓存方法，包括以下步骤，

首先，客户端的用户态文件系统模块2拦截对本地移动存储设备6的读写操作；

然后，根据读写操作的内容进行判断，如果读取的内容在本地客户端有缓存，则从本地的稀疏文件中读出，如果没有，则按照读取操作的大小向服务器4请求数据，并将写入的数据直接放入本地客户端缓存中；

同步线程检查本地的待同步数据表，将客户端新写入的数据上传到服务器4端。

本发明的客户端读数据流程如图4所示，包括以下步骤：

步骤1、客户端应用程序模块1读取文件内容，用户态文件系统捕获其读取的文件偏移和请求长度。例如读取文件位置从1024KB开始的64KB的数据。

步骤2、根据本地缓存的索引检查需要读取的数据是否在本地存在，如果存在则转步骤3，否则转步骤6。

步骤3、从本地缓存中读取需要的数据。

步骤4、更新被读取文件在本地缓存的文件元信息。文件元信息包括文件名、文件的完整路径、创建时间、最后访问时间、最后修改时间、文件大小、文件属性等信息。

步骤5、将更新后的元信息放入本地的待同步缓存表中。同步缓存表中记录了文件的全局标示，以及数据块相对于整个文件的偏移地址和长度，返回成功；

步骤6、检查当前的联网状态，如果为联网状态则转步骤7，否则返回读取数据失败；

步骤7、从云存储服务器端读取需要的数据；

步骤8、将从服务器4端取得的数据复制一份存在本地移动设备中，并更新本地缓存数据的索引，转步骤5。

本发明的写数据流程图如图5所示，包括以下步骤：

步骤1、客户端应用程序向移动存储设备6中的文件写入数据，用户态文件系统模块2捕获其写请求的文件偏移以及写入内容的长度。

步骤2、检查当前的联网状态，如果联网则转步骤3，否则转7步骤。

步骤3、将数据写入本地移动存储设备6，更新本地缓存数据索引，并更新本地缓存的元数据信息。

步骤4、将数据写入远程数据存储服务器，并更新远程元数据服务器上的文件元信息。

步骤5、检查服务器4端数据与元数据是否写入成功，如果成功则转

步骤6，否则转步骤8。

步骤6、返回写数据成功。

步骤7、将数据写入本地移动存储设备6，更新本地缓存数据索引，并更新本地缓存的元数据信息。

步骤8、将写入数据的信息记录到客户端待同步缓存表中，等待联网后写入或者重新写入，转步骤6。

请参阅图6本发明的本地待同步缓存表与服务器端的同步过程示意图，同步过程是时钟实现的一个守护线程，经过固定时间周期线程开始工作，同步过程包括以下步骤：

步骤1、检查待同步缓存表中是否有需要同步的项。同步缓存表为数据库中的一个表，如果该表中存在表项，则说明有需要同步的数据，否则没有，如果有则转步骤2，否则转步骤6。

步骤2、检查是否处于联网状态，如果联网则转步骤3，否则转步骤6。

步骤3、从待同步缓存表中选取一项，将需要同步的元数据发送到元数据服务器上，数据发送到数据服务器，转步骤4。

步骤4、检查发送是否成功，如果成功则转步骤5，否则转步骤7。

步骤5、删除待同步缓存表中已经处理的一项，转步骤1。

步骤6、同步线程休眠，等待下一次唤醒。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (10)

1.一种云存储服务客户端高效细粒度数据缓存系统，包括应用程序模块、文件系统模块、服务器、虚拟网络存储模块，其特征在于，该系统还包括以下模块： 

应用程序模块，用于保存操作系统上实际运行的应用程序； 

文件系统模块，用于保存操作系统上的文件系统； 

服务器，用于记录数据和文件的元信息； 

虚拟网络存储模块，用于对客户端提供虚拟的存储空间； 

本地移动存储设备，用于缓存服务器文件的部分数据和服务器文件的全部元数据； 

用户态文件系统模块，用于重新定向文件系统对虚拟网络存储模块的读写操作，实现应用程序对本地文件与服务器上文件的无差别访问。 

2.根据权利要求1所述的一种云存储服务客户端高效细粒度数据缓存系统，其特征在于，所述虚拟网络存储模块为卷形式，客户端对卷的操作全部由用户态文件系统模块完成。 

3.根据权利要求1所述的一种云存储服务客户端高效细粒度数据缓存系统，其特征在于，客户端的文件系统采用稀疏文件格式存储数据。 

4.根据权利要求3所述的一种云存储服务客户端高效细粒度数据缓存系统，其特征在于，所述稀疏文件与客户端原文件一一对应。 

5.一种云存储服务客户端高效细粒度数据缓存实现方法，包括以下步骤： 

步骤1：客户端的用户态文件系统模块拦截对本地移动设备的读写操作； 

步骤2：根据读写操作的内容进行判断，如果读取的内容在本地有缓 存，则从本地的稀疏文件中读出，如果没有则按照读取操作的大小向服务器请求数据，并将写入的数据直接放入本地缓存中； 

步骤3：同步线程检查本地的待同步缓存表，将客户端新写入的数据上传到服务器。 

6.根据权利要求5所述的一种云存储服务客户端高效细粒度数据缓存实现方法，其特征下在于，所述步骤1中的读操作具体包括以下步骤： 

步骤11、客户端应用程序模块读取文件内容，用户态文件系统模块捕获其读取的文件偏移和请求长度； 

步骤12、根据本地缓存的索引检查需要读取的数据是否在本地存在，如果存在则从本地缓存中读取需要的数据，更新被读取文件在本地缓存的文件元信息，并将更新后的元信息放入本地的待同步缓存表中； 

步骤13、不存在则检查当前的联网状态，如联网则从云存储服务器端读取需要的数据，将从服务器端取得的数据复制一份存在本地移动设备中，并更新本地缓存数据的索引，未联网则返回读取数据失败。 

7.根据权利要求6所述的一种云存储服务客户端高效细粒度数据缓存实现方法，其特征下在于，所述步骤12中的文件元信息包括文件名、文件的完整路径、创建时间、最后访问时间、最后修改时间、文件大小信息。 

8.根据权利要求6所述的一种云存储服务客户端高效细粒度数据缓存实现方法，其特征下在于，所述步骤12中的待同步缓存表记录有文件的全局标识，以及数据块相对于整个文件的偏移地址和长度。 

9.根据权利要求5所述的一种云存储服务客户端高效细粒度数据缓存实现方法，其特征下在于，所述步骤1中的写操作具体包括以下步骤： 

步骤21、客户端应用程序模块向本地移动设备中的文件写入数据，用户态文件系统模块捕获其写请求的文件偏移以及写入内容的长度； 

步骤22、检查当前联网状态，如果联网则将数据写入本地移动存储设备，更新本地缓存数据索引和本地缓存的元数据信息，将数据写入远程数据存储服务器，并更新远程元数据服务器上的文件元信息，否则将数据写入本地移动存储设备，更新本地缓存数据索引，并更新本地缓存的元数据信息，将写入数据的信息记录到客户端待同步缓存表中；

步骤23、检查服务器端数据与元数据是否写入成功，如果成功则结束，否则将写入数据的信息记录到客户端待同步缓存表中，等待联网后写入或者重新写入。

10.根据权利要求5所述的一种云存储服务客户端高效细粒度数据缓存实现方法，其特征下在于，所述步骤3进一步包括以下步骤：

步骤31、检查待同步缓存表中是否有需要同步的项；

步骤32、检查是否处于联网状态，如果联网则从待同步缓存表中选取一项，将需要同步的元数据发送到元数据服务器上，否则同步线程休眠，等待下一次唤醒；

步骤33、检查发送是否成功，如果成功则删除待同步缓存表中已经处理的一项，并继续检查待同步缓存表中是否有需要同步的项。 

Images