CN104052824B - 分布式缓存方法及系统 - Google Patents

分布式缓存方法及系统 Download PDF

Info

Publication number
CN104052824B
CN104052824B CN201410317772.8A CN201410317772A CN104052824B CN 104052824 B CN104052824 B CN 104052824B CN 201410317772 A CN201410317772 A CN 201410317772A CN 104052824 B CN104052824 B CN 104052824B
Authority
CN
China
Prior art keywords
file
hdfs
shared
distributed
service unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410317772.8A
Other languages
English (en)
Other versions
CN104052824A (zh
Inventor
何震宇
张高伟
李鑫
李义
陈明明
刘伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Graduate School Harbin Institute of Technology
Priority to CN201410317772.8A priority Critical patent/CN104052824B/zh
Publication of CN104052824A publication Critical patent/CN104052824A/zh
Application granted granted Critical
Publication of CN104052824B publication Critical patent/CN104052824B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Memory System Of A Hierarchy Structure (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明提供了一种分布式缓存方法及系统，该分布式缓存方法包括HDFS数据获取步骤：通过HDFS的API把HDFS上存储的文件内容读取出来加载到共享内存当中；共享内存管理步骤：用于连接客户端动态缓存库和服务器端缓存服务单元；交互控制步骤：用于完成同一个主机的交互工作，用于与ZooKeeper服务器完成远程交互，用于计算想要获得的文件并且定位到缓存。本发明的有益效果是本发明的分布式缓存方法及系统通过对HDFS上的文件进行缓存，在进行文件读取的过程，直接读取缓存中的文件，这样就会极大的降低文件读取的时间，从而提高实时云服务的吞吐量和降低云服务的响应时间。

Description

分布式缓存方法及系统
技术领域
本发明涉及互联网数据缓存领域，尤其涉及分布式缓存方法及系统。
背景技术
互联网的飞速发展，带来了大数据时代，从而出现了各种各样的云计算服务，海量数据的存储和获取成为了一种重要的研究方向。其中，主要的方案就是文件存储在分布式文件系统中，在此过程中，对于需要实时处理的应用中，文件的获取性能就成了一个巨大的挑战。
Apache Hadoop是一个能够对大量数据进行分布式处理的开源软件框架。
Hadoop的开源授权方式是Apache License2.0。
Hadoop技术是分布式系统基础架构，主要包括Map/Reduce和HDFS，其中HDFS是一个高度容错性的系统，适合部署在廉价的机器上，HDFS能提供高吞吐量的数据访问，非常适合大规模数据的应用，常用来保存海量的文件，但是缺乏对实时应用的支持。在HDFS中，读取文件需要很多的节点连接交互的过程，这个过程会极大的增加文件读取的时间。
发明内容
为了解决现有技术中的问题，本发明提供了一种分布式缓存方法。
本发明提供了一种分布式缓存方法，其特征在于，该分布式缓存方法包括客户端动态缓存库和多个服务器端缓存服务单元，该分布式缓存方法构建在HDFS之上，在服务器端缓存服务单元中包括执行如下步骤：
HDFS数据获取步骤：通过HDFS的API把HDFS上存储的文件内容读取出来加载到共享内存当中；
共享内存管理步骤：用于连接客户端动态缓存库和服务器端缓存服务单元；
在云服务应用端执行如下步骤：
交互控制步骤：用于完成同一个主机的交互工作，用于与ZooKeeper服务器完成远程交互，用于计算想要获得的文件并且定位到缓存。
作为本发明的进一步改进，该分布式缓存方法还包括运行在服务器端缓存服务单元上的序列号快照步骤，在所述序列号快照步骤中，用于周期性把元数据和所有的缓存文件写入本地操作系统的文件系统，形成一系列的快照。
作为本发明的进一步改进，在所述共享内存管理步骤中，通过HDFS数据获取步骤中获得的文件内容加载到分布式文件缓存当中，供客户端读取，提供一次写入、多次读取的模型。
作为本发明的进一步改进，在云服务应用端还包括执行客户端共享内存获取步骤，在所述客户端共享内存获取步骤中，通过与共享内存管理步骤的交互来读取所需文件内容。
作为本发明的进一步改进，在所述共享内存管理步骤中，共享内存被分成了从个固定的页，页是最小的内存分配单位，在每页的最后留下4位来存储同一个文件的下一页，所有的页是以链表的形式组织；当客户端获取一个文件，缓存没有命中的时候，服务器端缓存服务单元将会从其他的服务器端缓存服务单元或者HDFS的本地快照中查找文件；当服务器端缓存服务单元加载文件内容到共享内存的时候，如果共享内存已经没有足够的页来分配，服务器端缓存服务单元会使用LRU算法去移除元数据信息图中最近一段时间没有使用的缓存内容；在处理LRU算法的时候，移除的文件放在本地磁盘中，如果本地磁盘没有足够的空间，LRU算法同样应用于本地磁盘来移除本地磁盘上的最近一段时间没有使用的文件；每个缓存文件有多个副本。
本发明还提供了一种分布式缓存系统，其特征在于，该分布式缓存系统包括客户端动态缓存库和多个服务器端缓存服务单元，该分布式缓存系统构建在HDFS之上，在服务器端缓存服务单元中包括：
HDFS数据获取模块：通过HDFS的API把HDFS上存储的文件内容读取出来加载到共享内存当中；
共享内存管理模块：用于连接客户端动态缓存库和服务器端缓存服务单元；
客户端动态缓存库中包括：
客户端交互控制模块：用于完成同一个主机的交互工作，用于与ZooKeeper服务器完成远程交互，用于计算想要获得的文件并且定位到缓存。
作为本发明的进一步改进，该分布式缓存系统还包括运行在服务器端缓存服务单元上的序列号快照模块，在所述序列号快照模块中，用于周期性把元数据和所有的缓存文件写入本地操作系统的文件系统，形成一系列的快照。
作为本发明的进一步改进，在所述共享内存管理模块中，通过HDFS数据获取步骤中获得的文件内容加载到分布式文件缓存当中，供客户端读取，提供一次写入、多次读取的模型。
作为本发明的进一步改进，在客户端动态缓存库中还包括执行客户端共享内存获取模块，在所述客户端共享内存获取模块中，通过与共享内存管理模块的交互来读取所需文件内容。
作为本发明的进一步改进，在所述共享内存管理模块中，共享内存被分成了从个固定的页，页是最小的内存分配单位，在每页的最后留下4位来存储同一个文件的下一页，所有的页是以链表的形式组织；当客户端获取一个文件，缓存没有命中的时候，服务器端缓存服务单元将会从其他的服务器端缓存服务单元或者HDFS的本地快照中查找文件；当服务器端缓存服务单元加载文件内容到共享内存的时候，如果共享内存已经没有足够的页来分配，服务器端缓存服务单元会使用LRU算法去移除元数据信息图中最近一段时间没有使用的缓存内容；在处理LRU算法的时候，移除的文件放在本地磁盘中，如果本地磁盘没有足够的空间，LRU算法同样应用于本地磁盘来移除本地磁盘上的最近一段时间没有使用的文件；每个缓存文件有多个副本。
本发明的有益效果是：本发明的分布式缓存方法及系统通过对HDFS上的文件进行缓存，在进行文件读取的过程，直接读取缓存中的文件，这样就会极大的降低文件读取的时间，从而提高实时云服务的吞吐量和降低云服务的响应时间。
附图说明
图1是本发明的逻辑原理图；
图2是本发明的系统架构图；
图3为本发明的共享内存管理模块示意图；
图4是本发明的加载HDFS上的文件到分布式缓存算法示意图；
图5是本发明的分布式缓存副本节点选择示意图。
具体实施方式
如图1所示，本发明公开了一种分布式缓存方法，该分布式缓存方法包括客户端动态缓存库和多个服务器端缓存服务单元，该分布式缓存方法构建在HDFS之上，在服务器端缓存服务单元中包括执行如下步骤：
HDFS数据获取步骤：通过HDFS的API把HDFS上存储的文件内容读取出来加载到共享内存当中；
共享内存管理步骤：用于连接客户端动态缓存库和服务器端缓存服务单元；
在云服务应用端执行如下步骤：
交互控制步骤：用于完成同一个主机的交互工作，用于与ZooKeeper服务器完成远程交互，用于计算想要获得的文件并且定位到缓存。
该分布式缓存方法还包括运行在服务器端缓存服务单元上的序列号快照步骤，在所述序列号快照步骤中，用于周期性把元数据和所有的缓存文件写入本地操作系统的文件系统，形成一系列的快照。
在所述共享内存管理步骤中，通过HDFS数据获取步骤中获得的文件内容加载到分布式文件缓存当中，供客户端读取，提供一次写入、多次读取的模型。
在云服务应用端还包括执行客户端共享内存获取步骤，在所述客户端共享内存获取步骤中，通过与共享内存管理步骤的交互来读取所需文件内容。
在所述共享内存管理步骤中，共享内存被分成了从个固定的页，页是最小的内存分配单位，在每页的最后留下4位来存储同一个文件的下一页，所有的页是以链表的形式组织；当客户端获取一个文件，缓存没有命中的时候，服务器端缓存服务单元将会从其他的服务器端缓存服务单元或者HDFS的本地快照中查找文件；当服务器端缓存服务单元加载文件内容到共享内存的时候，如果共享内存已经没有足够的页来分配，服务器端缓存服务单元会使用LRU算法去移除元数据信息图中最近一段时间没有使用的缓存内容；在处理LRU算法的时候，移除的文件放在本地磁盘中，如果本地磁盘没有足够的空间，LRU算法同样应用于本地磁盘来移除本地磁盘上的最近一段时间没有使用的文件；每个缓存文件有多个副本。
如图1所示，本发明还公开了一种分布式缓存系统，构建在HDFS之上，包括一个分布式缓存集群，所用分布式缓存集群采用Hadoop，Zookeeper，Memcached作为基本架构；
该分布式缓存系统为C/S架构，有一个客户端动态缓存库和多个服务器端缓存服务单元。
在应用层之上提供一个客户端动态缓存库，该客户端动态缓存库包括两个主要的部分：交互控制部分和共享内存获取部分。
如图2所示，在服务器端缓存服务单元中包括：
HDFS数据获取模块：通过HDFS的API把HDFS上存储的文件内容读取出来加载到共享内存当中；
共享内存管理模块：用于连接客户端动态缓存库和服务器端缓存服务单元；在所述共享内存管理模块中，通过HDFS数据获取步骤中获得的文件内容加载到分布式文件缓存当中，此模块存储分布式缓存内容，供客户端读取，提供一次写入、多次读取的模型。
客户端动态缓存库中包括：
客户端交互控制模块：用于完成同一个主机的交互工作，用于与ZooKeeper服务器完成远程交互，用于计算想要获得的文件并且定位到缓存。例如，计算读取问价的哈希值并定位到特殊的缓存中。
该分布式缓存系统还包括运行在服务器端缓存服务单元上的序列号快照模块，在所述序列号快照模块中，用于周期性把元数据和所有的缓存文件写入本地操作系统的文件系统，形成一系列的快照。当一个主机宕机之后，可以通过读取本地文件系统来重建分布式缓存的内容。
在客户端动态缓存库中还包括执行客户端共享内存获取模块，在所述客户端共享内存获取模块中，通过与共享内存管理模块的交互来读取所需文件内容。
HDFS数据获取模块、共享内存管理模块、序列号快照模块为服务器端运行的服务器进程，客户端交互控制模块、客户端共享内存获取模块是部署在云服务应用端的。
本发明假设集群有5台普通PC机，如图3所示，本发明共享内存管理模块示意图，共享内存被分成了很多固定的页(每页大概4KB能够被用户重置)。在本分布式缓存系统中，页是最小的内存分配单位，在每页的最后，留下4位来存储同一个文件的下一页，所有的页是以链表的形式组织的。所有文件的第一页是存储在元数据信息图(Meta info Map)中的FirstP域中,云服务客户端库从缓存服务器上定位文件，然后从共享内存中直接获取文件内容。图3中的内存位图数据结构是内存管理部分用来申请和分配空闲内存页的。
当一个云服务应用打开一个缓存文件的时候，客户端动态缓存库记录此文件的第一页的地址，并且返回一个文件描述符。文件描述符和文件的元数据信息相关，比如读/写指针，客户端通过文件描述符来读或者写文件的内容。由于服务器端缓存服务单元支持多个云服务应用同时运行，所以客户端分别包括多个不同的读/写指针。
当客户端获取一个文件，缓存没有命中的时候，服务器端缓存服务单元将会从其他的服务器端缓存服务单元或者HDFS的本地快照中查找文件；当服务器端缓存服务单元加载文件内容到共享内存的时候，如果共享内存已经没有足够的页来分配，服务器端缓存服务单元会使用LRU算法去移除元数据信息图中最近一段时间没有使用的缓存内容；在处理LRU算法的时候，移除的文件放在本地磁盘中，如果本地磁盘没有足够的空间，LRU算法同样应用于本地磁盘来移除本地磁盘上的最近一段时间没有使用的文件。
如图4所示，本发明的加载HDFS上文件到分布式缓存算法示意图。HDFS引入了副本来增强系统的健壮性，默认情况下，每个存储在HDFS上的文件都有三个副本，分别存储在不同的机器上，这样能够降低其中一个机器宕机带来的影响。本发明同样采用这种设计，每个缓存文件都有三个副本。
与HDFS单一的主节点设计相比，本发明采用DHT(Distributed Hash Table，分布式哈希表)的方案设计。DHT在P2P系统和云存储系统中广泛用到。图4描述的一种分布式存储调度策略，选用的是Ketama哈希函数，不仅仅是因为Ketama是一个开源的实现，更主要的是它能够平衡计算性能、命中率以及分散性。
图4所述的Cache_File算法是在当缓存服务接收到一个文件获取请求并且不能在分布式缓存系统中找到文件副本的时候被调用的。缓存服务能够计算文件的哈希值，并且找到另外两个主机节点，来存储文件到分布式缓存系统的三个节点中。
如图5演示的是一个一致性哈希均衡的方法，关于分布式缓存副本节点选择的过程。如图5中所示，当节点A缓存了文件1，其中的一个副本存储在节点A的本地缓存服务中，至于其他存储副本的节点选择如下：
1.第二个副本选择节点B，其中B为节点A在顺时针方向上的增值；
2.最后一个副本选择节点X，节点X为节点B的补节点的顺时针上的下一个节点，如果B存在的话。
当一个文件读取的请求到达缓存服务器上的缓存服务时，首先在分布式缓存上进行检索文件；
如果没有命中的话，如果本地磁盘存在，缓存服务将会加载本地磁盘快照，然后进行检索；
如果缓存服务处理程序依旧没有找到需要的文件，缓存服务将会行HDFS上加载文件，并且通知缓存服务来存储加载的文件。
本发明的分布式缓存系统是在HDFS上层的，不是修改HDFS内部的特性，本分布式缓存系统是独立于HDFS的，本分布式缓存系统的任何改变都不会改变下层的HDFS系统。
本发明的分布式缓存方法及系统通过对HDFS上的文件进行缓存，在进行文件读取的过程，直接读取缓存中的文件，这样就会极大的降低文件读取的时间，从而提高实时云服务的吞吐量和降低云服务的响应时间。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (6)

1.一种分布式缓存方法，其特征在于，该分布式缓存方法包括客户端动态缓存库和多个服务器端缓存服务单元，该分布式缓存方法构建在HDFS之上，在服务器端缓存服务单元中包括执行如下步骤：
HDFS数据获取步骤：通过HDFS的API把HDFS上存储的文件内容读取出来加载到共享内存当中；
共享内存管理步骤：用于连接客户端动态缓存库和服务器端缓存服务单元；
在云服务应用端执行如下步骤：
交互控制步骤：用于完成同一个主机的交互工作，用于与ZooKeeper服务器完成远程交互，用于计算想要获得的文件并且定位到缓存；
该分布式缓存方法还包括运行在服务器端缓存服务单元上的序列号快照步骤，在所述序列号快照步骤中，用于周期性把元数据和所有的缓存文件写入本地操作系统的文件系统，形成一系列的快照；
在所述共享内存管理步骤中，共享内存被分成了从个固定的页，页是最小的内存分配单位，在每页的最后留下4位来存储同一个文件的下一页，所有的页是以链表的形式组织；当客户端获取一个文件，缓存没有命中的时候，服务器端缓存服务单元将会从其他的服务器端缓存服务单元或者HDFS的本地快照中查找文件；当服务器端缓存服务单元加载文件内容到共享内存的时候，如果共享内存已经没有足够的页来分配，服务器端缓存服务单元会使用LRU算法去移除元数据信息图中最近一段时间没有使用的缓存内容；在处理LRU算法的时候，移除的文件放在本地磁盘中，如果本地磁盘没有足够的空间，LRU算法同样应用于本地磁盘来移除本地磁盘上的最近一段时间没有使用的文件；每个缓存文件有多个副本。
2.根据权利要求1所述的分布式缓存方法，其特征在于：在所述共享内存管理步骤中，通过HDFS数据获取步骤中获得的文件内容加载到分布式文件缓存当中，供客户端读取，提供一次写入、多次读取的模型。
3.根据权利要求2所述的分布式缓存方法，其特征在于：在云服务应用端还包括执行客户端共享内存获取步骤，在所述客户端共享内存获取步骤中，通过与共享内存管理步骤的交互来读取所需文件内容。
4.一种分布式缓存系统，其特征在于，该分布式缓存系统包括客户端动态缓存库和多个服务器端缓存服务单元，该分布式缓存系统构建在HDFS之上，在服务器端缓存服务单元中包括：
HDFS数据获取模块：通过HDFS的API把HDFS上存储的文件内容读取出来加载到共享内存当中；
共享内存管理模块：用于连接客户端动态缓存库和服务器端缓存服务单元；
客户端动态缓存库中包括：
客户端交互控制模块：用于完成同一个主机的交互工作，用于与ZooKeeper服务器完成远程交互，用于计算想要获得的文件并且定位到缓存；
该分布式缓存系统还包括运行在服务器端缓存服务单元上的序列号快照模块，在所述序列号快照模块中，用于周期性把元数据和所有的缓存文件写入本地操作系统的文件系统，形成一系列的快照；
在所述共享内存管理模块中，共享内存被分成了从个固定的页，页是最小的内存分配单位，在每页的最后留下4位来存储同一个文件的下一页，所有的页是以链表的形式组织；当客户端获取一个文件，缓存没有命中的时候，服务器端缓存服务单元将会从其他的服务器端缓存服务单元或者HDFS的本地快照中查找文件；当服务器端缓存服务单元加载文件内容到共享内存的时候，如果共享内存已经没有足够的页来分配，服务器端缓存服务单元会使用LRU算法去移除元数据信息图中最近一段时间没有使用的缓存内容；在处理LRU算法的时候，移除的文件放在本地磁盘中，如果本地磁盘没有足够的空间，LRU算法同样应用于本地磁盘来移除本地磁盘上的最近一段时间没有使用的文件；每个缓存文件有多个副本。
5.根据权利要求4所述的分布式缓存系统，其特征在于：在所述共享内存管理模块中，通过HDFS数据获取步骤中获得的文件内容加载到分布式文件缓存当中，供客户端读取，提供一次写入、多次读取的模型。
6.根据权利要求5所述的分布式缓存系统，其特征在于：在客户端动态缓存库中还包括执行客户端共享内存获取模块，在所述客户端共享内存获取模块中，通过与共享内存管理模块的交互来读取所需文件内容。
CN201410317772.8A 2014-07-04 2014-07-04 分布式缓存方法及系统 Expired - Fee Related CN104052824B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410317772.8A CN104052824B (zh) 2014-07-04 2014-07-04 分布式缓存方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410317772.8A CN104052824B (zh) 2014-07-04 2014-07-04 分布式缓存方法及系统

Publications (2)

Publication Number Publication Date
CN104052824A CN104052824A (zh) 2014-09-17
CN104052824B true CN104052824B (zh) 2017-06-23

Family

ID=51505175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410317772.8A Expired - Fee Related CN104052824B (zh) 2014-07-04 2014-07-04 分布式缓存方法及系统

Country Status (1)

Country Link
CN (1) CN104052824B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105117394A (zh) * 2014-11-04 2015-12-02 合肥轩明信息科技有限公司 一种基于缓存技术的一种应用方式
CN105302922B (zh) * 2015-11-24 2018-07-06 无锡江南计算技术研究所 一种分布式文件系统快照实现方法
CN108243170A (zh) * 2016-12-27 2018-07-03 青岛融贯汇众软件有限公司 基于socket框架的数据访问系统及方法
CN107396320B (zh) * 2017-07-05 2020-02-18 河海大学 一种基于缓存队列的多探测源分布式室内实时定位方法
CN111400350B (zh) * 2020-03-13 2023-05-02 上海携程商务有限公司 配置数据读取方法、系统、电子设备和存储介质
CN112558869B (zh) * 2020-12-11 2024-07-16 北京航天世景信息技术有限公司 基于大数据遥感影像缓存方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101867607A (zh) * 2010-05-21 2010-10-20 北京无限立通通讯技术有限责任公司 一种分布式数据存取方法、装置及系统
CN102103544A (zh) * 2009-12-16 2011-06-22 腾讯科技（深圳）有限公司 一种分布式缓存的实现方法及装置
CN102387169A (zh) * 2010-08-26 2012-03-21 阿里巴巴集团控股有限公司 分布式缓存的对象删除方法、系统及删除服务器
CN102577241A (zh) * 2009-12-31 2012-07-11 华为技术有限公司 分布式缓存资源调度的方法、装置及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020161860A1 (en) * 2001-02-28 2002-10-31 Benjamin Godlin Method and system for differential distributed data file storage, management and access

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102103544A (zh) * 2009-12-16 2011-06-22 腾讯科技（深圳）有限公司 一种分布式缓存的实现方法及装置
CN102577241A (zh) * 2009-12-31 2012-07-11 华为技术有限公司 分布式缓存资源调度的方法、装置及系统
CN101867607A (zh) * 2010-05-21 2010-10-20 北京无限立通通讯技术有限责任公司 一种分布式数据存取方法、装置及系统
CN102387169A (zh) * 2010-08-26 2012-03-21 阿里巴巴集团控股有限公司 分布式缓存的对象删除方法、系统及删除服务器

Also Published As

Publication number Publication date
CN104052824A (zh) 2014-09-17

Similar Documents

Publication Publication Date Title
CN104052824B (zh) 分布式缓存方法及系统
CN112214424B (zh) 对象存储器结构、处理节点、存储器对象存储和管理方法
US9311252B2 (en) Hierarchical storage for LSM-based NoSQL stores
US11698868B2 (en) Logging pages accessed from I/O devices
US11245774B2 (en) Cache storage for streaming data
CN109085997A (zh) 用于非易失性存储器的存储器高效持续键值储存
US10747593B2 (en) Lock free container packing
US10824369B2 (en) Elastic method of remote direct memory access memory advertisement
US20180329712A1 (en) File access predication using counter based eviction policies at the file and page level
CN103605630B (zh) 一种虚拟服务器系统及其数据读写方法
CN109697016A (zh) 用于改进容器的存储性能的方法和装置
Cruz et al. A scalable file based data store for forensic analysis
CN104679670B (zh) 一种面向fft和fir的共享数据缓存结构及管理方法
CN107787485A (zh) 多读取和写入端口存储器
Zhou et al. Hierarchical consistent hashing for heterogeneous object-based storage
US11093169B1 (en) Lockless metadata binary tree access
Kulkarni Hadoop mapreduce over lustre
Luo et al. JeCache: just-enough data caching with just-in-time prefetching for big data applications
Inupakutika et al. Quantifying Performance Gains of GPUDirect Storage
US20210064259A1 (en) Managing data objects
Palanisamy et al. MapReduce analysis for cloud-archived data
Lim et al. Design of cache backend using remote memory for network file system
Park et al. FirepanIF: High Performance Host-Side Flash Cache Warm-Up Method in Cloud Computing
Zhao et al. Efficient inline deduplication on VM images in desktop virtualization environment
Liu et al. Mechanisms of client-side caching on high performance computers

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170623

Termination date: 20190704