CN110489060A - 一种基于fuse技术的混合文件构建方法及其系统 - Google Patents

一种基于fuse技术的混合文件构建方法及其系统 Download PDF

Info

Publication number
CN110489060A
CN110489060A CN201910681292.2A CN201910681292A CN110489060A CN 110489060 A CN110489060 A CN 110489060A CN 201910681292 A CN201910681292 A CN 201910681292A CN 110489060 A CN110489060 A CN 110489060A
Authority
CN
China
Prior art keywords
file
read
mixed
unit
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910681292.2A
Other languages
English (en)
Inventor
麦剑
史伟
黄衍博
闵宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Ruijiang Cloud Computing Co Ltd
Guangdong Eflycloud Computing Co Ltd
Original Assignee
Guangdong Ruijiang Cloud Computing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Ruijiang Cloud Computing Co Ltd filed Critical Guangdong Ruijiang Cloud Computing Co Ltd
Priority to CN201910681292.2A priority Critical patent/CN110489060A/zh
Publication of CN110489060A publication Critical patent/CN110489060A/zh
Priority to JP2020008080A priority patent/JP2021022357A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于FUSE技术的混合文件构建方法及其系统，混合文件构建系统包括：混合文件逻辑实现单元、磁盘驱动模块、网络驱动模块、本地存储单元以及网络存储单元；其中，所述混合文件逻辑实现单元用于根据用户需要读写的文件去判断文件的存储位置，并在对应的存储位置读写文件并反馈给用户；所述磁盘驱动模块用于驱动所述本地存储单元进行文件的读写；所述网络驱动模块用于驱动所述网络存储单元进行文件的读写；所述本地存储单元用于存储文件；所述网络存储单元用于存储文件。本发明构建了融合本地存储和网络存储的混合文件系统，用户把混合文件系统挂载到一个分区后就可以像普通磁盘目录那样使用，可以创建、删除、修改文件等。

Description

一种基于FUSE技术的混合文件构建方法及其系统
技术领域
本发明涉及计算机的存储技术领域，特别涉及一种基于FUSE技术的混合文件构建方法及其系统。
背景技术
计算机的文件系统是一种存储和组织计算机数据的体系，它使得对文件的访问和查找变得容易。现有的文件系统，其使用了文件和树形目录的抽象逻辑概念代替了硬盘和光盘等物理设备使用数据块的概念，用户使用文件系统来保存数据不必关心数据实际保存在硬盘(或者光盘)的地址为多少的数据块上，只需要记住这个文件的所属目录和文件名。
用户空间文件系统(Filesystem in Userspace，简称FUSE)是一个面向类Unix计算机操作系统的软件接口，它使无特权的用户能够无需编辑内核代码而创建自己的文件系统。
其中，根据文件系统的实现和提供方式，一般可以分为，本地文件系统和网络文件系统，顾名思义，本地文件系统底层提供服务的就是本地的磁盘，插在机器上面的存储设备等；网络文件系统，就是提供的载体不在本地是在网络的某个节点或者存储设备之上。
一般这样的文件系统都是单独存在并独立提供给使用者使用，比如一台计算机设备，有一个本地磁盘和对应的文件系统并挂载到某个分区(比如linux的/分区，比如windows的D盘等)；又有一个网络文件系统并挂载到某个分区(比如liunx的/nfs分区，比如windows的n盘等)。用户根据自身需求把数据放在本地文件系统或者网络文件系统，两者在系统层面有比较明显的界限。本地文件系统和网络文件系统是相互隔阂独立的文件系统，不利于两者之间相互访问和读写数据，在实际操作过程中比较繁琐。
发明内容
本发明要解决的技术问题在于，提供一种基于FUSE技术的混合文件构建方法及其系统，构建了融合本地存储和网络存储的混合文件系统，用户把混合文件系统挂载到一个分区后就可以像普通磁盘目录那样使用，可以创建、删除、修改文件等。
为解决上述技术问题，本发明提供如下技术方案：一种基于FUSE技术的混合文件构建系统，包括：混合文件逻辑实现单元、磁盘驱动模块、网络驱动模块、本地存储单元以及网络存储单元；
其中，所述混合文件逻辑实现单元用于根据用户需要读写的文件去判断文件的存储位置，并在对应的存储位置读写文件并反馈给用户；
所述磁盘驱动模块用于驱动所述本地存储单元进行文件的读写；
所述网络驱动模块用于驱动所述网络存储单元进行文件的读写；
所述本地存储单元用于存储文件；
所述网络存储单元用于存储文件。
优选地，所述混合文件逻辑实现单元是基于FUSE技术实现的混合文件逻辑实现单元。
本发明另一目的是提供一种基于FUSE技术的混合文件构建方法，包括以下步骤；
S1、用户在计算机上进行文件读写操作；
S2、混合文件逻辑实现单元根据用户所需文件进行判断，判断文件是在本地存储单元进行读写，还是在网络存储单元进行读写；
S3、若用户所需文件是需要在本地存储单元进行读写操作，则混合文件逻辑实现单元唤醒磁盘驱动模块，此时磁盘驱动模块驱动本地存储单元进行文件的读写操作；
S4、若用户所需文件是需要在网络存储单元进行读写操作，则混合文件逻辑实现单元唤醒网络驱动模块，此时网络驱动模块驱动网络存储单元进行文件的读写操作。
采用上述技术方案后，本发明至少具有如下有益效果：
1、本发明把两种不同方式的存储混合成一种文件格式提供给上层使用，可以享受两种存储方式的优点；
2、本发明将原有文件系统的接口维持不变，降低了迁移的成本；
3、本发明使用FUSE技术，在上层用户层实现文件系统，在下层内核层对接本地存储和网络存储两种存储方式，把两种存储方式混合成一种文件系统对外提供服务，使得文件的读取变得非常方便。
附图说明
图1为本发明实施例1一种基于FUSE技术的混合文件构建系统的结构框图；
图2为本发明实施例2一种基于FUSE技术的混合文件构建系统的具体应用结构框图；
图3为本发明实施例3一种基于FUSE技术的混合文件构建方法的步骤流程图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本申请作进一步详细说明。
实施例1
如图1所示，本实施例提供了一种基于FUSE技术的混合文件构建系统，包括混合文件逻辑实现单元、磁盘驱动模块、网络驱动模块、本地存储单元以及网络存储单元；
其中，所述混合文件逻辑实现单元用于根据用户需要读写的文件去判断文件的存储位置，并在对应的存储位置读写文件并反馈给用户；所述混合文件逻辑实现单元是基于FUSE技术实现的混合文件逻辑实现单元；
所述磁盘驱动模块用于驱动所述本地存储单元进行文件的读写；
所述网络驱动模块用于驱动所述网络存储单元进行文件的读写；
所述本地存储单元用于存储文件；
所述网络存储单元用于存储文件。
本发明的一种基于FUSE技术的混合文件构建系统，当用户创建一个文件的时候，可以指定是基于本地存储提供服务，还是基于网络存储提供服务；一旦文件创建后，对文件的读写操作都跟现有方式一样，底层的区分和转发逻辑由用户层的混合文件逻辑实现单元来实现。
实施例2
本实施例在实施例1基础上，以文件1、文件2为具体实例对混合文件构建系统进行说明。如图2所示，用户创建的文件1使用的是本地存储，文件2使用的是网络存储。
当用户对文件1进行读写操作时，会把读写操作指令发到混合文件逻辑实现单元，混合文件逻辑实现单元会判断到文件1是使用本地存储的，那么就把读写请求通过FUS技术转发到磁盘驱动模块，磁盘驱动模块驱动本地存储单元对文件1进行读写操作，完成后本地存储单元把结果反馈至混合文件逻辑实现单元；
当用户对文件2进行读写操作时，会把读写操作指令发到混合文件逻辑实现单元，混合文件逻辑实现单元会判断到文件2是使用网络存储的，那么就把读写请求通过FUSE技术转发到网络驱动模块，网络驱动模块驱动网络存储单元对文件2进行读写操作，完成后网络存储单元把结果反馈至混合文件逻辑实现单元；
整个读写操作过程，用户使用的都是同一个文件系统接口，由底层逻辑单元实现转发和结果返回。
实施例3
如图3所示，本实施例提供一种基于FUSE技术的混合文件构建方法，包括以下步骤；
S1、用户在计算机上进行文件读写操作；
S2、混合文件逻辑实现单元根据用户所需文件进行判断，判断文件是在本地存储单元进行读写，还是在网络存储单元进行读写；
S3、若用户所需文件是需要在本地存储单元进行读写操作，则混合文件逻辑实现单元唤醒磁盘驱动模块，此时磁盘驱动模块驱动本地存储单元进行文件的读写操作；
S4、若用户所需文件是需要在网络存储单元进行读写操作，则混合文件逻辑实现单元唤醒网络驱动模块，此时网络驱动模块驱动网络存储单元进行文件的读写操作。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解的是，在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种等效的变化、修改、替换和变型，本发明的范围由所附权利要求及其等同范围限定。

Claims (3)

1.一种基于FUSE技术的混合文件构建系统，其特征在于，包括：混合文件逻辑实现单元、磁盘驱动模块、网络驱动模块、本地存储单元以及网络存储单元；
其中，所述混合文件逻辑实现单元用于根据用户需要读写的文件去判断文件的存储位置，并在对应的存储位置读写文件并反馈给用户；
所述磁盘驱动模块用于驱动所述本地存储单元进行文件的读写；
所述网络驱动模块用于驱动所述网络存储单元进行文件的读写；
所述本地存储单元用于存储文件；
所述网络存储单元用于存储文件。
2.根据权利要求1所述的一种基于FUSE技术的混合文件构建系统，其特征在于，所述混合文件逻辑实现单元是基于FUSE技术实现的混合文件逻辑实现单元。
3.一种基于FUSE技术的混合文件构建方法，其特征在于，包括以下步骤；
S1、用户在计算机上进行文件读写操作；
S2、混合文件逻辑实现单元根据用户所需文件进行判断，判断文件是在本地存储单元进行读写，还是在网络存储单元进行读写；
S3、若用户所需文件是需要在本地存储单元进行读写操作，则混合文件逻辑实现单元唤醒磁盘驱动模块，此时磁盘驱动模块驱动本地存储单元进行文件的读写操作；
S4、若用户所需文件是需要在网络存储单元进行读写操作，则混合文件逻辑实现单元唤醒网络驱动模块，此时网络驱动模块驱动网络存储单元进行文件的读写操作。
CN201910681292.2A 2019-07-26 2019-07-26 一种基于fuse技术的混合文件构建方法及其系统 Pending CN110489060A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910681292.2A CN110489060A (zh) 2019-07-26 2019-07-26 一种基于fuse技术的混合文件构建方法及其系统
JP2020008080A JP2021022357A (ja) 2019-07-26 2020-01-22 Ｆｕｓｅ技術に基づくハイブリッドファイル構築方法及びそのシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910681292.2A CN110489060A (zh) 2019-07-26 2019-07-26 一种基于fuse技术的混合文件构建方法及其系统

Publications (1)

Publication Number Publication Date
CN110489060A true CN110489060A (zh) 2019-11-22

Family

ID=68548460

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910681292.2A Pending CN110489060A (zh) 2019-07-26 2019-07-26 一种基于fuse技术的混合文件构建方法及其系统

Country Status (2)

Country Link
JP (1) JP2021022357A (zh)
CN (1) CN110489060A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113407113A (zh) * 2021-05-25 2021-09-17 深圳市瑞驰信息技术有限公司 一种在安卓系统上实现存储加速的方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114281636B (zh) * 2021-11-12 2023-08-25 苏州浪潮智能科技有限公司 一种处理用户空间文件系统故障的方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113407113A (zh) * 2021-05-25 2021-09-17 深圳市瑞驰信息技术有限公司 一种在安卓系统上实现存储加速的方法

Also Published As

Publication number Publication date
JP2021022357A (ja) 2021-02-18

Similar Documents

Publication Publication Date Title
US9274803B2 (en) Storage of application specific profiles correlating to document versions
EP2780796B1 (en) Method of and system for merging, storing and retrieving incremental backup data
US20060277225A1 (en) Converting file system metadata structure while the file system remains available
US8082229B2 (en) Methods for backing up a database
US20120311258A1 (en) Methods for implementation of worm mode on a removable disk drive storage system
US10216455B1 (en) Systems and methods for performing storage location virtualization
US20090063410A1 (en) Method for Performing Parallel Data Indexing Within a Data Storage System
JPH04246742A (ja) 異なるファイル・システムにまたがる記憶管理システム
CN102272751B (zh) 在数据库环境通过背景同步的数据完整性
US20090254585A1 (en) Method for Associating Administrative Policies with User-Definable Groups of Files
US8046391B2 (en) Storage apparatus and its file control method and storage system
CN108549659B (zh) 一种数据仓库管理系统及管理方法
CN110489060A (zh) 一种基于fuse技术的混合文件构建方法及其系统
US9542399B2 (en) System and method for removable data storage elements provided as cloud based storage system
US11176089B2 (en) Systems and methods for implementing dynamic file systems
US20070299890A1 (en) System and method for archiving relational database data
US12118245B2 (en) File system improvements for zoned storage device operations
US9111015B1 (en) System and method for generating a point-in-time copy of a subset of a collectively-managed set of data items
JPH08314780A (ja) ファイル管理方式
US7584477B2 (en) Cross repository copier
US20070050714A1 (en) Host device and data management method thereof
US20100146016A1 (en) Method and apparatus for file association
JPH10133934A (ja) 分散型文書管理システムおよびそれを実現するプログラム記憶媒体
JP2003036192A (ja) ファイル管理プログラム、ファイル管理プログラムを記録したコンピュータ読取可能な記録媒体、およびファイル管理方法
JPH08255167A (ja) 画像データ収録媒体の外部コメント添付システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191122