CN110347647A - 一种简易高效的文件系统缓存实现方法 - Google Patents

一种简易高效的文件系统缓存实现方法 Download PDF

Info

Publication number
CN110347647A
CN110347647A CN201910610682.0A CN201910610682A CN110347647A CN 110347647 A CN110347647 A CN 110347647A CN 201910610682 A CN201910610682 A CN 201910610682A CN 110347647 A CN110347647 A CN 110347647A
Authority
CN
China
Prior art keywords
cache
file system
mirror image
consistency
image copies
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910610682.0A
Other languages
English (en)
Inventor
张振刚
钱兴林
张宗良
杨翔天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Unicloud Technology Co Ltd
Original Assignee
Unicloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Unicloud Technology Co Ltd filed Critical Unicloud Technology Co Ltd
Priority to CN201910610682.0A priority Critical patent/CN110347647A/zh
Publication of CN110347647A publication Critical patent/CN110347647A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/178—Techniques for file synchronisation in file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种简易高效的文件系统缓存实现方法，包括：S1、创建控制逻辑，作为外部访问入口，控制缓存镜像副本与云存储一致性；S2、云存储本地缓存镜像副本，通过将缓存镜像副本放在Cache储存器中实现访问加速；S3、加载目录树，作为控制逻辑控制缓存镜像副本和云存储文件系统一致性的依据。本发明所述的简易高效的文件系统缓存实现方法占用资源少：仅需要通过目录为单位识别需要刷盘的范围，高效的进行差异对比，识别需预读对象，不需要全量缓存元数据。

Description

一种简易高效的文件系统缓存实现方法
技术领域
本发明属于文件系统缓存技术领域，尤其是涉及一种简易高效的文件系统缓存实现方法。
背景技术
S3是一种面向Internet，对外以RestFul API方式提供高可靠和高扩展性的低成本存储服务。用户可以从Web上的任何位置随时随地从S3存储保存和提取任意数据。为了降低S3存储访问的时延，用户可能会实现一层本地cache以提升性能，如图1所示，B通过访问S3存储的Cache镜像来提升访问性能。A在S3存储上添加或者删除对象并不会通告Cache，因此需要Cache主动感知S3存储上文件的变化。B在访问Cache上缓存时，譬如列举目录文件时，面临的问题是：1.如何识别cache缓存上的文件列表是否需要更新？2.避免全量比较，如何只更新当前感兴趣的文件？。因此，解决多访问者增加或删除文件场景下，保持缓存文件系统和目标文件系统一致性，非常重要。
发明内容
有鉴于此，本发明旨在提出一种简易高效的文件系统缓存实现方法，以解决多访问者增加或删除文件场景下，保持缓存文件系统和目标文件系统一致性的问题。
为达到上述目的，本发明的技术方案是这样实现的：
一种简易高效的文件系统缓存实现方法，包括：
S1、创建控制逻辑，作为外部访问入口，控制缓存镜像副本与云存储一致性；
S2、云存储本地缓存镜像副本，通过将缓存镜像副本放在Cache储存器中实现访问加速；
S3、加载目录树，作为控制逻辑控制缓存镜像副本和云存储文件系统一致性的依据。
进一步的，所述步骤S1中，创建控制逻辑的方法如下：
S101、识别当前目录中缓存文件系统与目标文件系统是否符合一致性；
S102、如果符合一致性，则返回访问缓存镜像结果，对缓存镜像副本进行访问；
S103、如果不符合一致性，则进行缓存一致性处理，并更新目录树。
进一步的，对于步骤101，如果不符合一致性，进行一致性处理，处理完成后对缓存镜像副本进行访问。
相对于现有技术，本发明所述的简易高效的文件系统缓存实现方法具有以下优势：
(1)本发明所述的简易高效的文件系统缓存实现方法占用资源少：仅需要通过目录为单位识别需要刷盘的范围，高效的进行差异对比，识别需预读对象，不需要全量缓存元数据。
(2)本发明所述的简易高效的文件系统缓存实现方法按需加载降低资源消耗：按需预读避免一次性全量预读消耗大量资源。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例所述的简易高效的文件系统缓存实现方法结构框图；
图2为本发明实施例所述的控制逻辑流程图；
图3为本发明实施例所述的初始文件树结构图；
图4为本发明实施例所述的变更S3存储结构的结构图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。
下面将参考附图并结合实施例来详细说明本发明。
如图1所示，一种简易高效的文件系统缓存实现方法，包括：
S1、控制逻辑，作为外部访问入口，控制缓存镜像副本与云存储一致性；即控制逻辑是用来修改缓存镜像副本的。
S2、云存储本地缓存镜像副本，作为云存储的访问加速；即通过将缓存镜像副本放在Cache储存器中实现访问加速
S3、加载目录树，作为控制逻辑S1控制缓存镜像S2和云存储文件系统一致性的依据。
具体实施例，假设当前S3存储上的初始文件树结构如图3所示，
Cache维护两个存储区，一份作为S3存储的缓存镜像，一份存储加载目录树，最初始cache缓冲区均为空。
第一次访问cache时,加载目录树中不存在当前目录(第一级目录)，于是加载S3第一级目录下文件到cache缓存。
如果访问cache的/dir2目录，则触发加载/dir2。
如果有第三方变更S3存储结构如图4所示：
通过删除加载目录树，将触发Cache重新加载S3存储对象。B有访问/下任意IO操作时，首先发现加载目录树/节点不存在，重新加载/下的对象与cache中的进行差异对比，在cache层新增/dir3对象,同时删除cache中多余的/dir2和/file1，保持cache和s3存储的一致性。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种简易高效的文件系统缓存实现方法，其特征在于，包括：
S1、创建控制逻辑，作为外部访问入口，控制缓存镜像副本与云存储一致性；
S2、云存储本地缓存镜像副本，通过将缓存镜像副本放在Cache储存器中实现访问加速；
S3、加载目录树，作为控制逻辑控制缓存镜像副本和云存储文件系统一致性的依据。
2.根据权利要求1所述的简易高效的文件系统缓存实现方法，其特征在于，所述步骤S1中，创建控制逻辑的方法如下：
S101、识别当前目录中缓存文件系统与目标文件系统是否符合一致性；
S102、如果符合一致性，则返回访问缓存镜像结果，对缓存镜像副本进行访问；
S103、如果不符合一致性，则进行缓存一致性处理，并更新目录树。
3.根据权利要求2所述的简易高效的文件系统缓存实现方法，其特征在于：对于步骤101，如果不符合一致性，进行一致性处理，处理完成后对缓存镜像副本进行访问。
CN201910610682.0A 2019-07-08 2019-07-08 一种简易高效的文件系统缓存实现方法 Pending CN110347647A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910610682.0A CN110347647A (zh) 2019-07-08 2019-07-08 一种简易高效的文件系统缓存实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910610682.0A CN110347647A (zh) 2019-07-08 2019-07-08 一种简易高效的文件系统缓存实现方法

Publications (1)

Publication Number Publication Date
CN110347647A true CN110347647A (zh) 2019-10-18

Family

ID=68178514

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910610682.0A Pending CN110347647A (zh) 2019-07-08 2019-07-08 一种简易高效的文件系统缓存实现方法

Country Status (1)

Country Link
CN (1) CN110347647A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116618A (zh) * 2013-01-28 2013-05-22 南开大学 基于客户端持久缓存的远程文件系统镜像方法及系统
CN103744961A (zh) * 2014-01-06 2014-04-23 清华大学 用可重构的文件系统目录树提高非易失性存储寿命的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116618A (zh) * 2013-01-28 2013-05-22 南开大学 基于客户端持久缓存的远程文件系统镜像方法及系统
CN103744961A (zh) * 2014-01-06 2014-04-23 清华大学 用可重构的文件系统目录树提高非易失性存储寿命的方法

Similar Documents

Publication Publication Date Title
CN103116618B (zh) 基于客户端持久缓存的远程文件系统镜像方法及系统
CN109739815B (zh) 文件处理方法、系统、装置、设备及存储介质
US8515911B1 (en) Methods and apparatus for managing multiple point in time copies in a file system
JP5661188B2 (ja) ファイルシステム及びデータ処理方法
US10430047B2 (en) Managing content on an electronic device
US8868610B2 (en) File system with optimistic I/O operations on shared storage
CN108959455A (zh) 单页Web应用实现方法、装置、计算机设备和存储介质
US20070250552A1 (en) System and method for caching network file systems
US8868863B2 (en) Method and apparatus for a frugal cloud file system
CN110750507B (zh) 面向dfs的全局命名空间下的持久客户端缓存方法及系统
CN110018788A (zh) 分级存储方法、装置、电子设备及计算机可读存储介质
CN102497428A (zh) 远程存储系统及其进行远程存储的方法
US10552371B1 (en) Data storage system with transparent presentation of file attributes during file system migration
CN106802955B (zh) 一种图片数据缓存方法
CN104113587A (zh) 一种分布式文件系统客户端元数据缓存优化方法
CN113923213B (zh) 目录级服务质量控制方法、系统及接入节点
CN110287201A (zh) 数据访问方法、装置、设备及存储介质
CN116954680A (zh) 存储系统的插件更新方法、装置、设备、介质及程序产品
CN110196683B (zh) 一种操作控制的方法、装置、终端设备和介质
CN113448946B (zh) 数据迁移方法及装置、电子设备
CN111741107B (zh) 基于文件存储系统的分层方法及装置、电子设备
CN110347647A (zh) 一种简易高效的文件系统缓存实现方法
CN111309796B (zh) 一种数据处理方法、装置以及计算机可读存储介质
CN106254411A (zh) 用于提供服务的系统、服务器系统及方法
CN116974465A (zh) 数据加载方法、装置、设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191018

RJ01 Rejection of invention patent application after publication