CN102014158B - 一种云存储服务客户端高效细粒度数据缓存系统与方法 - Google Patents
一种云存储服务客户端高效细粒度数据缓存系统与方法 Download PDFInfo
- Publication number
- CN102014158B CN102014158B CN 201010562797 CN201010562797A CN102014158B CN 102014158 B CN102014158 B CN 102014158B CN 201010562797 CN201010562797 CN 201010562797 CN 201010562797 A CN201010562797 A CN 201010562797A CN 102014158 B CN102014158 B CN 102014158B
- Authority
- CN
- China
- Prior art keywords
- data
- file
- client
- server
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 21
- 230000001360 synchronised effect Effects 0.000 claims abstract description 10
- 230000006855 networking Effects 0.000 claims description 21
- 238000007689 inspection Methods 0.000 claims description 5
- 230000004048 modification Effects 0.000 claims description 5
- 238000012986 modification Methods 0.000 claims description 5
- 238000013500 data storage Methods 0.000 claims description 4
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 230000005059 dormancy Effects 0.000 claims description 3
- 206010021703 Indifference Diseases 0.000 claims description 2
- 230000008901 benefit Effects 0.000 abstract description 6
- 230000008859 change Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种云存储服务客户端高效细粒度数据缓存系统,包括应用程序模块,文件系统模块,服务器、虚拟网络存储模块和本地移动存储设备、用户态文件系统模块。客户端的用户态文件系统模块拦截对移动设备的读写操作;根据读写操作的内容进行判断,如果读取的内容在本地有缓存,则从本地的稀疏文件中读出,如果没有则按照读取操作的大小向服务器请求数据,并将写入的数据直接放入本地缓存中;同步线程检查本地的待同步数据表,将客户端新写入的数据上传到服务器。本发明具有在网络带宽资源有限情况下,能够快速高效访问云存储中的文件等优点。
Description
技术领域
本发明属于计算机数据存储技术领域,尤其是一种云存储服务客户端高效细粒度数据缓存系统与方法,在网络带宽较低时,尽可能提高用户的使用体验,并节省网络带宽和服务器端计算资源。
技术背景
云存储是一种目前迅速兴起、前景广阔的数据服务,它允许用户将数据放在专业存储服务运营商提供的存储空间里,用户能够在任何时间从任何地点通过网络方便地访问自己的数据。随着目前个人数据量的增长,以及越来越多的人共享数据,云存储服务得到了越来越广的应用,同时,云存储中的数据量也越来越大。由于目前用户还是通过网络来访问云存储中的数据,而网络带宽的增长速度远远跟不上数据量的增长速度,所以如何在有限带宽下有效提高用户的使用感受就成为一个关键的技术问题。
目前流行的云存储服务都是以文件作为最小操作单位的。一般用户态的应用程序在访问文件时,文件系统需要能够提供完整的文件信息和文件内容才允许应用程序访问,因此如果直接在用户态应用层提供缓存机制,那么一般只能实现文件粒度的缓存。按文件粒度进行操作可以提供很多文件系统自有的特性,例如数据一致性,对一个文件的关闭操作标志了这个文件的一个一致点,按照关闭操作来处理文件可以更简单地避免客户端与云存储服务器端不一致的情况发生。但这种传统的以文件为粒度的缓存方法并不高效,它要么占用客户端大量空间存储很多极少被访问的数据,要么牺牲大量网络带宽靠频繁从服务器下载来实现缓存文件替换,难以同时实现缓存空间和网络带宽的高效利用。当用户需要操作一个文件时,即使只是想访问或修改该文件的一小部分,也必须要求客户端存储有该文件的完整副本,如果客户端没有这个文件的副本,则要从云存储的服务器端通过网络有可能是广域网将整个文件取回,而且,当待访问的文件较大而本地又无缓存时,将完整文件从云存储服务器下载到客户端会造成客户端长时间等待,这一操作不仅耗费大量带宽和服务器端资源,而且还需要用户等候很长时间,例如,即使在当前较好的网络条件下如2Mbps接入带宽,取回几十M大小的文件就至少需要让用户等候几分钟的时间才能开始访问自己的数据,这无疑会严重损害用户体验。
由于上述原因,目前大部分云存储服务,例如卓普鲍克斯(Dropbox)公司提供的云存储服务客户端Dropbox,以及亚马逊(Amazon)公司提供的云存储服务S3,只能用于备份文件,并要求客户端具有跟该用户在云存储服务端相同大小的存储空间来放置服务器所有个人文件的副本,只有这样才能让用户快速、便捷地使用自己的数据。然而,以上方法直接导致用户的云存储空间受限于本地客户端的存储能力,无法真正实现让云存储服务提供无限存储能力,允许用户按需购买任意大存储空间的目标。这将导致云存储服务无法充分发挥其优势,甚至难以在实际中得到广泛的应用和快速的发展。
发明内容
为克服现有技术的不足,本发明的目的在于提供一种云存储服务客户端高效细粒度数据缓存系统与方法。
为实现上述目的,本发明采取的总体技术方案为,一种云存储服务客户端高效细粒度数据缓存系统,包括应用程序模块、文件系统模块、服务器、虚拟网络存储模块,其特征在于,该系统还包括以下模块:
应用程序模块,用于保存操作系统上实际运行的应用程序;
文件系统模块,用于保存操作系统上的文件系统;
服务器,用于记录数据和文件的元信息;
虚拟网络存储模块,用于对客户端提供虚拟的存储空间;
本地移动存储设备,用于缓存服务器文件的部分数据和服务器文件的全部元数据;
用户态文件系统模块,用于重新定向本地文件系统对虚拟网络存储模块的读写操作,实现应用程序对本地文件与云存储服务器上文件的无差别访问。
所述虚拟网络存储模块为卷形式,客户端对卷的操作全部由用户态文件系统模块完成。
所述客户端文件系统采用稀疏文件格式存储数据。
所述稀疏文件与客户端原文件一一对应。
一种云存储服务客户端高效细粒度数据缓存实现方法,包括以下步骤:
步骤1、客户端的用户态文件系统模块拦截对本地移动设备的读写操作;
步骤2、根据读写操作的内容进行判断,如果读取的内容在本地有缓存,则从本地的稀疏文件中读出,如果没有则按照读取操作的大小向服务器请求数据,并将写入的数据直接放入本地缓存中;
步骤3、同步线程检查本地的待同步缓存表,将客户端新写入的数据上传到服务器。
所述步骤1中的读操作具体包括以下步骤:
步骤11、客户端应用程序模块读取文件内容,用户态文件系统模块捕获其读取的文件偏移和请求长度;
步骤12、根据本地缓存的索引检查需要读取的数据是否在本地存在,如果存在则从本地缓存中读取需要的数据,更新被读取文件在本地缓存的文件元信息,并将更新后的元信息放入本地的待同步缓存表中;
步骤13、不存在则检查当前的联网状态,联网则从云存储服务器端读取需要的数据,将从服务器端取得的数据复制一份存在本地移动设备中,并更新本地缓存数据的索引,未联网则返回读取数据失败;
所述步骤12中的文件元信息包括文件名、文件的完整路径、创建时间、最后访问时间、最后修改时间、文件大小信息。
所述步骤2中的同步缓存表记录有文件的全局标识,以及数据块相对于整个文件的偏移地址和长度。
所述步骤1中的写操作具体包括以下步骤:
步骤21、客户端应用程序模块向移动设备中的文件写入数据,用户态文件系统模块捕获其写请求的文件偏移以及写入内容的长度;
步骤22、检查当前联网状态,联网则将数据写入本地移动存储设备,更新本地缓存数据索引和本地缓存的元数据信息,将数据写入远程数据存储服务器,并更新远程元数据服务器上的文件元信息,否则将数据写入本地移动存储设备,更新本地缓存数据索引,并更新本地缓存的元数据信息,将写入数据的信息记录到客户端待同步缓存表中;
步骤23、检查服务器端数据与元数据是否写入成功,如果成功则结束,否则将写入数据的信息记录到客户端待同步缓存表中,等待联网后写入或者重新写入。
所述步骤3进一步包括以下步骤:
步骤31、检查待同步缓存表中是否有需要同步的项;
步骤32、检查是否处于联网状态,如果联网则从待同步缓存表中选取一项,将需要同步的元数据发送到元数据服务器上,否则同步线程休眠,等待下一次唤醒;
步骤33、检查发送是否成功,如果成功则删除待同步缓存表中已经处理的一项,并继续检查待同步缓存表中是否有需要同步的项。
本发具有明显的优点和积极效果。1、本发明解决了云存储系统中客户端在网络带宽资源有限情况下不能够快速高效访问云存储中文件的问题。2、本发明通过用户态文件系统,将客户端对云存储中文件的操作捕获,并利用客户端移动存储设备作为缓存介质,通过缓存机制实现高效访问云存储中文件的目的,让云存储空间摆脱本地客户端存储能力的限制,实现云存储服务对本地存储空间的无限扩展。3、与传统的以文件为操作单位的客户端数据缓存方法相比,本发明提出的细粒度数据缓存方法还在客户端没有待访问文件的缓存数据如客户端数据遗失,或者从某个新的位置首次访问云存储空间中的文件等情况下具备显著优势,能够让用户立刻实现对任何文件任何位置的迅速随机访问,而传统方法需要用户等候很长时间,直至整个文件下载完毕才能访问其数据,该发明能有效节省和充分利用带宽资源。4、本发明能够捕获用户态应用程序对云存储空间内文件的所有操作,并能够按照需要重新定向读写操作到客户端缓存,减少了客户端访问云存储后台中文件的等待时间,在客户端缓存了所有访问过文件的元信息,提高了查看文件列表的效率,在客户端缓存云存储中文件的内容时,利用稀疏文件作为存储方式,不用缓存完整文件,提高了客户端存储空间的有效利用率,提升了客户端重复访问同一文件的效率,同时减少了客户端访问未缓存文件的等待时间。5、本发明利用用户态文件系统,将客户端对文件的各种操作捕获,判断每次读写操作的细粒度数据是否在客户端缓存中,即使客户端缓存中没有需要的数据,那么也只是从云存储后台获取一次读写所需的数据量,而和文件大小无关,所以,可以极大提高客户端存储空间和网络带宽的利用效率,并减少客户端等待时间,提高客户端用户的体验。
附图说明
图1为本发明的模块结构示意图;
图2为本发明的客户端数据缓存结构图;
图3为本发明的主流程图;
图4为本发明的客户端读数据流程图;
图5为本发明的客户端写数据流程图;
图6本发明的本地待同步缓存表与服务器端同步流程图。
具体实施方式
下面结合说明书附图来说明本发明的具体实施方式。
本发明的系统模块组成结构如图1所示,包括以下模块:
应用程序模块1,该模块为操作系统上实际运行的程序,会对存储在云存储上的文件进行操作;
文件系统模块2,该模块为操作系统上的文件系统,客户端移动存储设备的文件系统采用了Windows操作系统中的NTFS文件系统;
用户态文件系统模块3,该模块为自定义的文件系统模块,用于将文件系统对磁盘的读写操作转化到文件系统上层的应用程序上,采用驱动实现,将文件系统的底层操作转化到用户态上;
服务器4,包括数据服务器和元数据服务器,分别记录数据和文件的元信息;
虚拟网络存储模块5,该模块虚拟了云存储后台对客户端提供的存储空间,表现为一个卷的形式,客户端对此卷的操作全部由用户态文件系统完成;
本地移动存储设备6,用于缓存服务器文件的部分数据和服务器文件的全部元数据。
本发明的客户端数据缓存结构如图2所示,在客户端与服务器4端,数据可以按照任意的文件格式存储。服务器4端有完整的文件,并且会有文件的索引,本发明用数据库来做服务器4端文件的索引,每一个数据库的表项都由文件全局唯一标示和文件的元信息,在文件的唯一标示上建立数据库索引,来快速找到需要的文件。客户端用稀疏文件来存储数据,每个稀疏文件对应原来的一个文件,稀疏文件的好处是可以有效利用客户端的存储空间,允许文件中间有空洞,不占用实际存储空间。在客户端首先有稀疏文件与原文件对应的索引,客户端的索引同样用数据库实现,每个文件的索引包括一个数据库表项,表项中记录文件的全局唯一标示和文件元数据,用以快速查找原文件在本地缓存中对应的稀疏文件。同时,稀疏文件还有一个内容索引,由于稀疏文件允许中间存在空洞,所以本发明建立了稀疏文件内容的索引,用以标示稀疏文件中实际存在的数据,稀疏文件的内容索引同样用数据库记录,每条记录都包括文件的唯一标示、偏移地址、记录长度。偏移地址是稀疏文件中一个包含实际数据的块的起始地址,记录长度是相应数据块的大小。
参阅图3,本发明的主流程图,云存储服务客户端高效细粒度数据缓存方法,包括以下步骤,
首先,客户端的用户态文件系统模块2拦截对本地移动存储设备6的读写操作;
然后,根据读写操作的内容进行判断,如果读取的内容在本地客户端有缓存,则从本地的稀疏文件中读出,如果没有,则按照读取操作的大小向服务器4请求数据,并将写入的数据直接放入本地客户端缓存中;
同步线程检查本地的待同步数据表,将客户端新写入的数据上传到服务器4端。
本发明的客户端读数据流程如图4所示,包括以下步骤:
步骤1、客户端应用程序模块1读取文件内容,用户态文件系统捕获其读取的文件偏移和请求长度。例如读取文件位置从1024KB开始的64KB的数据。
步骤2、根据本地缓存的索引检查需要读取的数据是否在本地存在,如果存在则转步骤3,否则转步骤6。
步骤3、从本地缓存中读取需要的数据。
步骤4、更新被读取文件在本地缓存的文件元信息。文件元信息包括文件名、文件的完整路径、创建时间、最后访问时间、最后修改时间、文件大小、文件属性等信息。
步骤5、将更新后的元信息放入本地的待同步缓存表中。同步缓存表中记录了文件的全局标示,以及数据块相对于整个文件的偏移地址和长度,返回成功;
步骤6、检查当前的联网状态,如果为联网状态则转步骤7,否则返回读取数据失败;
步骤7、从云存储服务器端读取需要的数据;
步骤8、将从服务器4端取得的数据复制一份存在本地移动设备中,并更新本地缓存数据的索引,转步骤5。
本发明的写数据流程图如图5所示,包括以下步骤:
步骤1、客户端应用程序向移动存储设备6中的文件写入数据,用户态文件系统模块2捕获其写请求的文件偏移以及写入内容的长度。
步骤2、检查当前的联网状态,如果联网则转步骤3,否则转7步骤。
步骤3、将数据写入本地移动存储设备6,更新本地缓存数据索引,并更新本地缓存的元数据信息。
步骤4、将数据写入远程数据存储服务器,并更新远程元数据服务器上的文件元信息。
步骤5、检查服务器4端数据与元数据是否写入成功,如果成功则转
步骤6,否则转步骤8。
步骤6、返回写数据成功。
步骤7、将数据写入本地移动存储设备6,更新本地缓存数据索引,并更新本地缓存的元数据信息。
步骤8、将写入数据的信息记录到客户端待同步缓存表中,等待联网后写入或者重新写入,转步骤6。
请参阅图6本发明的本地待同步缓存表与服务器端的同步过程示意图,同步过程是时钟实现的一个守护线程,经过固定时间周期线程开始工作,同步过程包括以下步骤:
步骤1、检查待同步缓存表中是否有需要同步的项。同步缓存表为数据库中的一个表,如果该表中存在表项,则说明有需要同步的数据,否则没有,如果有则转步骤2,否则转步骤6。
步骤2、检查是否处于联网状态,如果联网则转步骤3,否则转步骤6。
步骤3、从待同步缓存表中选取一项,将需要同步的元数据发送到元数据服务器上,数据发送到数据服务器,转步骤4。
步骤4、检查发送是否成功,如果成功则转步骤5,否则转步骤7。
步骤5、删除待同步缓存表中已经处理的一项,转步骤1。
步骤6、同步线程休眠,等待下一次唤醒。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的权利要求范围之内。
Claims (10)
1.一种云存储服务客户端高效细粒度数据缓存系统,包括应用程序模块、文件系统模块、服务器、虚拟网络存储模块,其特征在于,该系统还包括以下模块:
应用程序模块,用于保存操作系统上实际运行的应用程序;
文件系统模块,用于保存操作系统上的文件系统;
服务器,用于记录数据和文件的元信息;
虚拟网络存储模块,用于对客户端提供虚拟的存储空间;
本地移动存储设备,用于缓存服务器文件的部分数据和服务器文件的全部元数据;
用户态文件系统模块,用于重新定向文件系统对虚拟网络存储模块的读写操作,实现应用程序对本地文件与服务器上文件的无差别访问。
2.根据权利要求1所述的一种云存储服务客户端高效细粒度数据缓存系统,其特征在于,所述虚拟网络存储模块为卷形式,客户端对卷的操作全部由用户态文件系统模块完成。
3.根据权利要求1所述的一种云存储服务客户端高效细粒度数据缓存系统,其特征在于,客户端的文件系统采用稀疏文件格式存储数据。
4.根据权利要求3所述的一种云存储服务客户端高效细粒度数据缓存系统,其特征在于,所述稀疏文件与客户端原文件一一对应。
5.一种云存储服务客户端高效细粒度数据缓存实现方法,包括以下步骤:
步骤1:客户端的用户态文件系统模块拦截对本地移动设备的读写操作;
步骤2:根据读写操作的内容进行判断,如果读取的内容在本地有缓 存,则从本地的稀疏文件中读出,如果没有则按照读取操作的大小向服务器请求数据,并将写入的数据直接放入本地缓存中;
步骤3:同步线程检查本地的待同步缓存表,将客户端新写入的数据上传到服务器。
6.根据权利要求5所述的一种云存储服务客户端高效细粒度数据缓存实现方法,其特征下在于,所述步骤1中的读操作具体包括以下步骤:
步骤11、客户端应用程序模块读取文件内容,用户态文件系统模块捕获其读取的文件偏移和请求长度;
步骤12、根据本地缓存的索引检查需要读取的数据是否在本地存在,如果存在则从本地缓存中读取需要的数据,更新被读取文件在本地缓存的文件元信息,并将更新后的元信息放入本地的待同步缓存表中;
步骤13、不存在则检查当前的联网状态,如联网则从云存储服务器端读取需要的数据,将从服务器端取得的数据复制一份存在本地移动设备中,并更新本地缓存数据的索引,未联网则返回读取数据失败。
7.根据权利要求6所述的一种云存储服务客户端高效细粒度数据缓存实现方法,其特征下在于,所述步骤12中的文件元信息包括文件名、文件的完整路径、创建时间、最后访问时间、最后修改时间、文件大小信息。
8.根据权利要求6所述的一种云存储服务客户端高效细粒度数据缓存实现方法,其特征下在于,所述步骤12中的待同步缓存表记录有文件的全局标识,以及数据块相对于整个文件的偏移地址和长度。
9.根据权利要求5所述的一种云存储服务客户端高效细粒度数据缓存实现方法,其特征下在于,所述步骤1中的写操作具体包括以下步骤:
步骤21、客户端应用程序模块向本地移动设备中的文件写入数据,用户态文件系统模块捕获其写请求的文件偏移以及写入内容的长度;
步骤22、检查当前联网状态,如果联网则将数据写入本地移动存储设备,更新本地缓存数据索引和本地缓存的元数据信息,将数据写入远程数据存储服务器,并更新远程元数据服务器上的文件元信息,否则将数据写入本地移动存储设备,更新本地缓存数据索引,并更新本地缓存的元数据信息,将写入数据的信息记录到客户端待同步缓存表中;
步骤23、检查服务器端数据与元数据是否写入成功,如果成功则结束,否则将写入数据的信息记录到客户端待同步缓存表中,等待联网后写入或者重新写入。
10.根据权利要求5所述的一种云存储服务客户端高效细粒度数据缓存实现方法,其特征下在于,所述步骤3进一步包括以下步骤:
步骤31、检查待同步缓存表中是否有需要同步的项;
步骤32、检查是否处于联网状态,如果联网则从待同步缓存表中选取一项,将需要同步的元数据发送到元数据服务器上,否则同步线程休眠,等待下一次唤醒;
步骤33、检查发送是否成功,如果成功则删除待同步缓存表中已经处理的一项,并继续检查待同步缓存表中是否有需要同步的项。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201010562797 CN102014158B (zh) | 2010-11-29 | 2010-11-29 | 一种云存储服务客户端高效细粒度数据缓存系统与方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201010562797 CN102014158B (zh) | 2010-11-29 | 2010-11-29 | 一种云存储服务客户端高效细粒度数据缓存系统与方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102014158A CN102014158A (zh) | 2011-04-13 |
CN102014158B true CN102014158B (zh) | 2013-07-10 |
Family
ID=43844166
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201010562797 Expired - Fee Related CN102014158B (zh) | 2010-11-29 | 2010-11-29 | 一种云存储服务客户端高效细粒度数据缓存系统与方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102014158B (zh) |
Families Citing this family (48)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102170396B (zh) * | 2011-05-06 | 2014-07-30 | 浙江大学 | 一种基于区分服务的云存储系统QoS控制方法 |
CN102843396B (zh) * | 2011-06-22 | 2018-03-13 | 中兴通讯股份有限公司 | 一种分布式缓存系统中的数据写入及读取方法及装置 |
CN102355502B (zh) * | 2011-10-13 | 2015-02-04 | 罗立群 | 存储系统远程接入桌面操作系统的远程接入方法 |
CN103067419B (zh) * | 2011-10-19 | 2016-08-24 | 新奥特(北京)视频技术有限公司 | 一种分布式文件系统及在该系统中控制文件存储的方法 |
CN103139224B (zh) * | 2011-11-22 | 2016-01-27 | 腾讯科技(深圳)有限公司 | 一种网络文件系统及网络文件系统的访问方法 |
CN102497428A (zh) * | 2011-12-13 | 2012-06-13 | 方正国际软件有限公司 | 远程存储系统及其进行远程存储的方法 |
US8832296B2 (en) | 2011-12-15 | 2014-09-09 | Microsoft Corporation | Fast application streaming using on-demand staging |
US8938550B2 (en) * | 2011-12-15 | 2015-01-20 | Microsoft Corporation | Autonomous network streaming |
CN102404411A (zh) * | 2011-12-23 | 2012-04-04 | 创新科存储技术有限公司 | 云存储系统的数据同步方法 |
CN102523301A (zh) * | 2011-12-26 | 2012-06-27 | 深圳市创新科信息技术有限公司 | 一种云存储中在客户端缓存数据的方法 |
CN102546776B (zh) * | 2011-12-27 | 2014-10-22 | 北京中科大洋科技发展股份有限公司 | 一种san共享文件系统中实现离线读文件的方法 |
CN103209195A (zh) * | 2012-01-11 | 2013-07-17 | 国家电网公司 | 数据获取方法、终端以及远端设备 |
US20130219006A1 (en) * | 2012-02-21 | 2013-08-22 | Sony Corporation | Multiple media devices through a gateway server or services to access cloud computing service storage |
CN103309898A (zh) * | 2012-03-15 | 2013-09-18 | 苏州市国贸电子系统工程有限公司 | 一种离散文件记录索引搜索更新方法 |
CN103368991A (zh) * | 2012-03-28 | 2013-10-23 | 北京智慧风云科技有限公司 | 云存储的即时同步系统 |
CN103377208A (zh) * | 2012-04-19 | 2013-10-30 | 北京智慧风云科技有限公司 | 一种云服务文件管理系统更新文件的方法 |
CN103379150A (zh) * | 2012-04-19 | 2013-10-30 | 北京智慧风云科技有限公司 | 一种云服务文件管理系统 |
CN103516755B (zh) * | 2012-06-27 | 2017-07-14 | 华为技术有限公司 | 虚拟存储方法及设备 |
CN104508640A (zh) * | 2012-08-22 | 2015-04-08 | 三菱电机株式会社 | 高速缓冲存储器控制器和高速缓冲存储器控制方法 |
CN103678360A (zh) * | 2012-09-13 | 2014-03-26 | 腾讯科技(深圳)有限公司 | 一种分布式文件系统的数据存储方法和装置 |
CN102946415B (zh) * | 2012-10-18 | 2016-01-27 | 北京华胜鸣天科技有限公司 | 一种移动终端本地应用的实现方法和装置 |
CN102970358B (zh) * | 2012-11-08 | 2016-06-15 | 百度在线网络技术(北京)有限公司 | 网盘中移动客户端的本地缓存的控制方法和装置 |
CN103036948B (zh) * | 2012-11-21 | 2015-12-02 | 北京航空航天大学 | 网络文件处理方法、执行节点、软件即服务SaaS平台 |
CN103023982B (zh) * | 2012-11-22 | 2015-04-29 | 中国人民解放军国防科学技术大学 | 一种云存储客户端的低延迟元数据访问方法 |
CN103838639B (zh) * | 2012-11-23 | 2018-04-27 | 华为技术有限公司 | 一种恢复虚拟磁盘元数据的方法、装置及系统 |
CN103853714B (zh) * | 2012-11-28 | 2017-06-20 | 中国移动通信集团河南有限公司 | 一种数据处理方法和装置 |
CN103856516B (zh) * | 2012-12-03 | 2018-05-25 | 腾讯科技(深圳)有限公司 | 数据存储、读取方法及数据存储、读取装置 |
CN103037004A (zh) * | 2012-12-21 | 2013-04-10 | 曙光信息产业(北京)有限公司 | 云存储系统操作的实现方法和装置 |
CN104461929B (zh) * | 2013-09-23 | 2018-03-23 | 中国银联股份有限公司 | 基于拦截器的分布式数据缓存方法 |
CN103942120B (zh) * | 2014-04-02 | 2017-06-16 | 南京鼎岩信息科技有限公司 | 一种基于虚拟化技术的读写方法及系统 |
CN105095282B (zh) * | 2014-05-14 | 2019-12-24 | 腾讯科技(深圳)有限公司 | 一种缓存数据更新方法、装置及系统 |
CN104123952B (zh) * | 2014-07-18 | 2017-01-11 | 武汉光忆科技有限公司 | 一种无缓存光盘刻录方法及装置 |
CN104158863A (zh) * | 2014-08-02 | 2014-11-19 | 成都致云科技有限公司 | 基于事务级别全程高速缓冲的云存储机制 |
CN107209745A (zh) * | 2014-12-04 | 2017-09-26 | 惠普发展公司有限责任合伙企业 | 基于硬件标识符对基于网络的存储资源的访问 |
CN106302601A (zh) * | 2015-06-04 | 2017-01-04 | 中兴通讯股份有限公司 | 网络盘本地挂载处理方法、装置及系统 |
CN106331001B (zh) * | 2015-06-23 | 2019-06-18 | 华中科技大学 | 一种适合移动设备访问的云存储方法和系统 |
CN106649349B (zh) * | 2015-10-30 | 2021-07-09 | 腾讯科技(深圳)有限公司 | 用于游戏应用的数据缓存方法、装置和系统 |
CN105827632B (zh) * | 2016-04-26 | 2019-03-26 | 广东技术师范学院 | 云计算ccs细粒度数据控制方法 |
CN106202262B (zh) * | 2016-06-29 | 2020-09-25 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
CN106845259B (zh) * | 2017-02-28 | 2019-12-17 | 苏州浪潮智能科技有限公司 | 一种分布式文件读写权限设置方法 |
CN107357864B (zh) * | 2017-06-30 | 2021-02-19 | 联想(北京)有限公司 | 一种文件处理方法及终端 |
CN107291399B (zh) * | 2017-06-30 | 2020-11-24 | 苏州浪潮智能科技有限公司 | 一种基于spdk的后端存储方法、装置及系统 |
CN110389859B (zh) * | 2018-04-20 | 2023-07-07 | 伊姆西Ip控股有限责任公司 | 用于复制数据块的方法、设备和计算机程序产品 |
CN109783523B (zh) * | 2019-01-24 | 2022-02-25 | 广州虎牙信息科技有限公司 | 一种数据处理方法、装置、设备和存储介质 |
CN111984191A (zh) * | 2020-08-05 | 2020-11-24 | 华东计算技术研究所(中国电子科技集团公司第三十二研究所) | 一种支持分布式存储的多客户端缓存方法及系统 |
CN112527762B (zh) * | 2020-12-16 | 2024-06-14 | 航天壹进制(江苏)信息科技有限公司 | 一种基于稀疏文件的虚拟块设备存储系统与方法 |
CN113407506A (zh) * | 2021-07-06 | 2021-09-17 | 中国电信股份有限公司 | 数据处理方法、装置、设备及存储介质 |
CN116561089B (zh) * | 2023-07-10 | 2023-09-19 | 成都泛联智存科技有限公司 | 数据同步方法、装置、客户端和计算机可读存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101605148A (zh) * | 2009-05-21 | 2009-12-16 | 何吴迪 | 云存储的并行系统的架构方法 |
CN101753617A (zh) * | 2009-12-11 | 2010-06-23 | 中兴通讯股份有限公司 | 一种云存储系统和方法 |
CN101808139A (zh) * | 2010-03-31 | 2010-08-18 | 重庆索伦互联网信息服务有限公司 | 云环境中的数据存储系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8010498B2 (en) * | 2005-04-08 | 2011-08-30 | Microsoft Corporation | Virtually infinite reliable storage across multiple storage devices and storage services |
-
2010
- 2010-11-29 CN CN 201010562797 patent/CN102014158B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101605148A (zh) * | 2009-05-21 | 2009-12-16 | 何吴迪 | 云存储的并行系统的架构方法 |
CN101753617A (zh) * | 2009-12-11 | 2010-06-23 | 中兴通讯股份有限公司 | 一种云存储系统和方法 |
CN101808139A (zh) * | 2010-03-31 | 2010-08-18 | 重庆索伦互联网信息服务有限公司 | 云环境中的数据存储系统 |
Also Published As
Publication number | Publication date |
---|---|
CN102014158A (zh) | 2011-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102014158B (zh) | 一种云存储服务客户端高效细粒度数据缓存系统与方法 | |
US11593319B2 (en) | Virtualized data storage system architecture | |
US11068395B2 (en) | Cached volumes at storage gateways | |
CN109783438B (zh) | 基于librados的分布式NFS系统及其构建方法 | |
Beaver et al. | Finding a needle in haystack: Facebook's photo storage | |
JP5485866B2 (ja) | 情報管理方法、及び情報提供用計算機 | |
US9274956B1 (en) | Intelligent cache eviction at storage gateways | |
CN106775446B (zh) | 基于固态硬盘加速的分布式文件系统小文件访问方法 | |
US9268651B1 (en) | Efficient recovery of storage gateway cached volumes | |
US9559889B1 (en) | Cache population optimization for storage gateways | |
JP5400889B2 (ja) | ファイルサーバ装置、及びストレージシステムの管理方法、並びにプログラム | |
US20130232215A1 (en) | Virtualized data storage system architecture using prefetching agent | |
CN105183839A (zh) | 一种基于Hadoop的小文件分级索引的存储优化方法 | |
CN103530387A (zh) | 一种hdfs针对小文件的改进方法 | |
CN103116618A (zh) | 基于客户端持久缓存的远程文件系统镜像方法及系统 | |
CN111782612B (zh) | 跨域虚拟数据空间中文件数据边缘缓存方法 | |
US20170344478A1 (en) | Storing log records in a non-volatile memory | |
CN107368608A (zh) | 基于arc替换算法的hdfs小文件缓存管理方法 | |
CN103501319A (zh) | 一种低延迟的面向小文件的分布式存储系统 | |
US9178931B2 (en) | Method and system for accessing data by a client from a server | |
CN104281673A (zh) | 一种数据库的缓存构建系统及对应的构建方法 | |
Chernov et al. | Survey on deduplication techniques in flash-based storage | |
CN113220211A (zh) | 数据存储系统、数据访问方法及相关装置 | |
Zhou | Large scale distributed file system survey | |
CN117950597B (zh) | 数据修改写方法、数据修改写装置以及计算机存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
DD01 | Delivery of document by public notice |
Addressee: Beijing CUZKON Technology Development Co., Ltd. Document name: Notification to Pay the Fees |
|
DD01 | Delivery of document by public notice |
Addressee: Beijing CUZKON Technology Development Co., Ltd. Document name: Notification of Passing Examination on Formalities |
|
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130710 Termination date: 20131129 |