CN111767257A - 基于fuse文件系统和nfs协议的数据传输方法及装置 - Google Patents

基于fuse文件系统和nfs协议的数据传输方法及装置 Download PDF

Info

Publication number
CN111767257A
CN111767257A CN202010598868.1A CN202010598868A CN111767257A CN 111767257 A CN111767257 A CN 111767257A CN 202010598868 A CN202010598868 A CN 202010598868A CN 111767257 A CN111767257 A CN 111767257A
Authority
CN
China
Prior art keywords
file
transmitted
file system
function
direct
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010598868.1A
Other languages
English (en)
Other versions
CN111767257B (zh
Inventor
程茂
张旭明
王豪迈
胥昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xsky Beijing Data Technology Corp ltd
Original Assignee
Xsky Beijing Data Technology Corp ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xsky Beijing Data Technology Corp ltd filed Critical Xsky Beijing Data Technology Corp ltd
Priority to CN202010598868.1A priority Critical patent/CN111767257B/zh
Priority claimed from CN202010598868.1A external-priority patent/CN111767257B/zh
Publication of CN111767257A publication Critical patent/CN111767257A/zh
Application granted granted Critical
Publication of CN111767257B publication Critical patent/CN111767257B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
    • G06F16/183—Provision of network file services by network file servers, e.g. by using NFS, CIFS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于FUSE文件系统和NFS协议的数据传输方法及装置。其中，该方法包括：通过网络文件系统NFS的服务端调用操作系统的直接输入输出IO功能；接收待传输文件，其中，待传输文件包括直接IO功能的标识；通过直接IO功能直接将待传输文件写入基于用户空间文件系统FUSE的目标文件系统。本发明解决了相关技术中客户端在对服务器进行读写数据时，在服务器端，需经过页高速缓存，导致影响读写数据的并发，导致效率较低的技术问题。

Description

基于FUSE文件系统和NFS协议的数据传输方法及装置
技术领域
本发明涉及数据处理领域，具体而言，涉及一种基于FUSE文件系统和NFS协议的数据传输方法及装置。
背景技术
相关技术中，通过FUSE和NFS进行数据传输时，为了数据安全，每次的write操作，都会额外触发一个fsync操作，而POSIX协议中要求file-system在实现fsync时，必须对文件加锁；导致所有的write请求最后都在fsync这里变成了串行，严重影响了write的并发，导致在多线程write时性能损失严重。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种基于FUSE文件系统和NFS协议的数据传输方法及装置，以至少解决相关技术中客户端在对服务器进行读写数据时，在服务器端，需经过页高速缓存，导致影响读写数据的并发，导致效率较低的技术问题。
根据本发明实施例的一个方面，提供了一种基于FUSE文件系统和NFS协议的数据传输方法，包括：通过网络文件系统NFS的服务端调用操作系统的直接输入输出IO功能；接收待传输文件，其中，所述待传输文件包括所述直接IO功能的标识；通过所述直接IO功能直接将所述待传输文件写入基于用户空间文件系统FUSE的目标文件系统。
可选的，通过所述NFS的服务端调用操作系统的直接IO功能之前，包括：通过所述NFS的客户端接收客户端设备通过第一虚拟文件系统VFS发送的所述待传输文件；通过远程过程调用EPC和互联网，将所述NFS的客户端接收的所述待传输文件转发至所述NFS的服务端。
可选的，接收待传输文件包括：通过所述NFS的服务端接收所述待传输文件；通过第二虚拟文件系统VFS将所述NFS的服务端接收的待传输文件发送给所述FUSE；通过所述FUSE接收所述待传输文件。
可选的，通过所述直接IO功能直接将所述待传输文件写入基于用户空间文件系统FUSE的目标文件系统包括：通过所述FUSE将所述待传输文件，利用直接IO功能，直接写入到所述目标文件系统。
可选的，通过所述NFS的服务端调用操作系统的直接IO功能包括：通过所述NFS根据需求修改调用文件，调用所述直接IO功能。
可选的，通过所述直接IO功能直接将所述待传输文件写入基于用户空间文件系统FUSE的目标文件系统之前，还包括：确定所述直接IO功能是否开启；在所述直接IO功能开启的情况下，执行通过所述直接IO功能直接将所述待传输文件写入基于用户空间文件系统FUSE的目标文件系统的步骤；在所述直接IO功能未开启的情况下，调用所述FUSE的接口；通过所述接口将所述待传输文件写入页高速缓存；通过所述页高速缓存将所述待传输文件写入所述目标文件系统。
可选的，通过所述页高速缓存将所述待传输文件写入所述目标文件系统包括：通过函数对所述待传输文件加锁；将所述加锁的待传输文件写入所述目标文件系统。
根据本发明实施例的另一方面，还提供了一种基于FUSE文件系统和NFS协议的数据传输装置，包括：调用模块，用于通过网络文件系统NFS的服务端调用操作系统的直接输入输出IO功能；接收模块，用于接收待传输文件，其中，所述待传输文件包括所述直接IO功能的标识；写入模块，用于通过所述直接IO功能直接将所述待传输文件写入基于用户空间文件系统FUSE的目标文件系统。
根据本发明实施例的另一方面，还提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述中任意一项所述的基于FUSE文件系统和NFS协议的数据传输方法。
根据本发明实施例的另一方面，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述中任意一项所述的基于FUSE文件系统和NFS协议的数据传输方法。
在本发明实施例中，采用通过网络文件系统NFS的服务端调用操作系统的直接输入输出IO功能；接收待传输文件，其中，待传输文件包括直接IO功能的标识；通过直接IO功能直接将待传输文件写入基于用户空间文件系统FUSE的目标文件系统的方式，通过调用操作系统的直接IO功能，将待传输文件可以直接写入FUSE系统，避免了fsync只能单线执行，达到了快速写入，且保证写入的多线程并发效率的目的，从而实现了实现读写数据的并发，提高效率的技术效果，进而解决了相关技术中客户端在对服务器进行读写数据时，在服务器端，需经过页高速缓存，导致影响读写数据的并发，导致效率较低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种基于FUSE文件系统和NFS协议的数据传输方法的流程图；
图2是根据本发明实施方式的数据传输方法的示意图；
图3是根据本发明实施方式的利用fsync进行数据传输的示意图；
图4是根据本发明实施方式的基于FUSE文件系统和NFS协议的数据传输方法的示意图；
图5是根据本发明实施例的一种基于FUSE文件系统和NFS协议的数据传输装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面对本实施例出现的专业名词进行解释：
FUSE，Filesystem in Userspace，用户空间文件系统，是一个面向类Unix计算机操作系统的软件接口，它使无特权的用户能够无需编辑内核代码而创建自己的文件系统。目前Linux操作系统通过内核模块对此进行支持。一些文件系统如cephfs、glusterfs和sshfs使用FUSE实现。
VFS，Virtual File System，虚拟文件系统，是Linux操作系统下提供的虚拟文件系统框架，在具体的文件系统之上抽象的一层，用来处理与posix文件系统相关的所有调用，表现为能够给各种文件系统提供一个通用的接口，使上层的应用程序能够使用通用的接口访问不同文件系统，同时也为不同文件系统的通信提供了媒介。
RPC，Remote Procedure Call，在分布式计算，远程过程调用(Remote ProcedureCall，缩写为RPC)是一个计算机通信协议。该协议允许运行于一台计算机的程序调用另一个地址空间(通常为一个开放网络的一台计算机)的子程序，而程序员就像调用本地程序一样，无需额外地为这个交互作用编程(无需关注细节)。RPC是一种服务器-客户端(Client/Server)模式，经典实现是一个通过发送请求-接受回应进行信息交互的系统。
NFS，Network File System，是一种分布式文件系统，力求客户端主机可以访问服务器端文件，并且其过程与访问本地存储时一样，它由太阳微系统开发，于1984年发布。它基于开放网络运算远程过程调用(ONC RPC)系统：一个开放、标准的RFC系统，任何人或组织都可以依据标准实现它。
FSYNC，File-sync，Linux下数据通常写入到内存即返回，文件系统提供了fsync接口，将内存中的数据持久化到硬盘或者后端设备。
根据本发明实施例，提供了一种基于FUSE文件系统和NFS协议的数据传输方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种基于FUSE文件系统和NFS协议的数据传输方法的流程图，如图1所示，该方法包括如下步骤：
步骤S102，通过网络文件系统NFS的服务端调用操作系统的直接输入输出IO功能；
步骤S104，接收待传输文件，其中，待传输文件包括直接IO功能的标识；
步骤S106，通过直接IO功能直接将待传输文件写入基于用户空间文件系统FUSE的目标文件系统。
通过上述步骤，采用通过网络文件系统NFS的服务端调用操作系统的直接输入输出IO功能；接收待传输文件，其中，待传输文件包括直接IO功能的标识；通过直接IO功能直接将待传输文件写入基于用户空间文件系统FUSE的目标文件系统的方式，通过调用操作系统的直接IO功能，将待传输文件可以直接写入FUSE系统，避免了fsync只能单线执行，达到了快速写入，且保证写入的多线程并发效率的目的，从而实现了实现读写数据的并发，提高效率的技术效果，进而解决了相关技术中客户端在对服务器进行读写数据时，在服务器端，需经过页高速缓存，导致影响读写数据的并发，导致效率较低的技术问题。
上述步骤的执行主体可以为服务器，上述网络文件系统NFS可以包括客户端和服务器端，分别设置在客户端和服务器，用于支持客户端访问服务器上的文件。上述操作系统可以为Linux，安卓，windows等。本实施例中，是针对Linux操作系统，上述直接输入输出功能也即是直接IO功能，也即是DIRECT-IO功能。
上述待传输文件可以为数据请求，响应数据等。上述待传输文件的传输过程，可以为写入或者读出，也即是对待传输文件进行传输可以为写操作或者读操作。上述待传输文件还可以包括读写操作的标识，例如，O_WRONLY(只写模式)，或者O_RDWR(读写模式)。以按照读写操作的标识进行数据传输。
通过直接IO功能直接将待传输文件写入基于用户空间文件系统FUSE的目标文件系统，以实现通过调用操作系统的直接IO功能，将待传输文件可以直接写入FUSE系统，避免了fsync只能单线执行，达到了快速写入，且保证写入的多线程并发效率的目的，从而实现了实现读写数据的并发，提高效率的技术效果，进而解决了相关技术中客户端在对服务器进行读写数据时，在服务器端，需经过页高速缓存，导致影响读写数据的并发，导致效率较低的技术问题。
可选的，通过NFS的服务端调用操作系统的直接IO功能之前，包括：通过NFS的客户端接收客户端设备通过第一虚拟文件系统VFS发送的待传输文件；通过远程过程调用EPC和互联网，将NFS的客户端接收的待传输文件转发至NFS的服务端。
上述第一虚拟文件系统VFS发送待传输文件之前可以由客户端的系统调用，生成上述待传输文件，通过第一虚拟文件系统VFS传输给NFS客户端，在一种情况下，上述第虚拟文件系统VFS可以将上述待传输文件传输给客户端的文件系统，存储在硬件磁盘中，根据需求进行调用。
上述NFS客户端通过远程过程调用EPC和互联网，将NFS的客户端接收的待传输文件转发至NFS的服务端，从而实现客户端向服务器的数据访问。
可选的，接收待传输文件包括：通过NFS的服务端接收待传输文件；通过第二虚拟文件系统VFS将NFS的服务端接收的待传输文件发送给FUSE；通过FUSE接收待传输文件。
上述第二虚拟文件系统与上述第一虚拟文件系统可以为同一个虚拟文件系统在客户端和服务器端的不同部署部分。可以对数据进行相同的处理方式或者逆向处理。
可选的，通过直接IO功能直接将待传输文件写入基于用户空间文件系统FUSE的目标文件系统包括：通过FUSE将待传输文件，利用直接IO功能，直接写入到目标文件系统。可选的，通过NFS的服务端调用操作系统的直接IO功能包括：通过NFS根据需求修改调用文件，调用直接IO功能。
上述调用文件可以为NFS提供的”/etc/exports”文件来控制NFS的相关选项，从而实现通过调用操作系统的直接IO功能，将待传输文件可以直接写入FUSE系统，避免了fsync只能单线执行，达到了快速写入，且保证写入的多线程并发效率的目的，从而实现了实现读写数据的并发，提高效率的技术效果，进而解决了相关技术中客户端在对服务器进行读写数据时，在服务器端，需经过页高速缓存，导致影响读写数据的并发，导致效率较低的技术问题。
可选的，通过直接IO功能直接将待传输文件写入基于用户空间文件系统FUSE的目标文件系统之前，还包括：确定直接IO功能是否开启；在直接IO功能开启的情况下，执行通过直接IO功能直接将待传输文件写入基于用户空间文件系统FUSE的目标文件系统的步骤；在直接IO功能未开启的情况下，调用FUSE的接口；通过接口将待传输文件写入页高速缓存；通过页高速缓存将待传输文件写入目标文件系统。
在直接IO功能没有开启的情况下，通过页高速缓存将待传输文件写入目标文件系统。保证了两种传输方式在不同的使用情况下，根据不同的需求按照不同的传输方式对待传输文件进行传输，提高使用灵活性。
可选的，通过页高速缓存将待传输文件写入目标文件系统包括：通过函数对待传输文件加锁；将加锁的待传输文件写入目标文件系统。
上述函数可以为fsync函数，待传输文件进行加锁，从而将待传输文件传输至目标文件系统。
需要说明的是，本实施例还提供了一种可选的实施方式，下面对该实施方式进行详细说明。
本实施方式的用户空间文件系统FUSE是操作系统中的概念，指完全在用户空间实现的文件系统。目前Linux通过内核模块对此进行支持。一些文件系统如ZFS，SSHFS，GLUSTERFS和CEPH都使用了FUSE技术。Linux从2.6.14版本开始通过FUSE模块支持在用户空间实现文件系统。
网络文件系统NFS最初只在SUN公司内部用作实验目的，开发团队在基础版本之上做了重大改进后于1989年发布了NFSv2；由于32-bit的限制，NFSv2只允许读写起始2G大小的内容；在1995年6月SUN发布了NFSv3，支持64bit文件大小和偏移量同时支持服务端的异步写操作；NFSv4协议于2000年12月发布，借鉴了AFS(Andrew File System)和SMB/CIFS(Server Message Block)的特性，主要做了如下改进：性能提升，强制安全策略，引入有状态的NFSv4协议。
图2是根据本发明实施方式的数据传输方法的示意图，如图2所示，write写数据时，Client端通过system-call进入到VFS，然后到调用NFS-client的write接口，通过RPC将数据发送到网络另一端的NFS server；NFS server收到数据后通过VFS将数据传递给FUSE，FUSE将数据写入到页高速缓存pagecache即返回应用了，但数据此时还在内存中。
为了数据安全，NFS server在发送数据到FUSE后，随即发送一个fsync操作，要求FUSE将页高速缓存pagecache中的数据持久化到底层的文件系统(file-systemc based onFUSE)，这也是NFS的默认配置(“/etc/exports”文件用于配置NFS相关选项，默认的选项即sync-io模型)。
图3是根据本发明实施方式的利用fsync进行数据传输的示意图，如图3所示，当第一个线程在执行write+fsync时(白色填充)，其他的线程的fsync(黑色填充)因为无法获取锁都将阻塞，导致多线程的write最终亦无法并发。
本实施方式创新地在NFS-server端引入了直接IO(DIRECT-IO)方式，即FUSE在收到数据后，绕过页高速缓存pagecache，直接将数据写到filesytem-based-on-FUSE，并在NFS-server端屏蔽掉fsync。这样既保证了数据安全，也可以提高多线程write的并发度。
目前架构中，NFS server写数据主要分为以下几个步骤：
第一步，打开文件，文件的flag应包含O_WRONLY(只写模式)或者O_RDWR(读写模式)。
第二步，NFS server调用FUSE提供的write接口，将数据写入到pagecache。
第三步，NFS server调用FUSE提供的fsync接口，将pagecache的数据持久化到filesystem-based-on-FUSE。
第四步，关闭文件。
图4是根据本发明实施方式的基于FUSE文件系统和NFS协议的数据传输方法的示意图，如图4所示，本实施方式NFS server引入直接IO(DIRECT-IO)方式后，写数据的步骤如下：
第一步，打开文件，文件的flag应包含O_WRONLY(只写模式)或者O_RDWR(读写模式)，同时必须包含O_DIRECT的flag
第二步，检查是否启用了直接IO(DIRECT-IO)功能(NFS提供了”/etc/exports”文件来控制NFS的相关选项)
第三步，调用FUSE提供的write接口，将数据写入到pagecache；若开启了DIRECT-IO功能则直接将数据写入到filesytem-based-on-FUSE。
第四步，检查是否开启了DIRECT-IO，若未开启则调用fsync将数据持久化到filesystem-based-on-FUSE.
第五步，关闭文件。
本实施方式的关键点如下：NFS server端可以根据应用场景来修改”/etc/exports”文件，来决定是否开启DIRECT-IO功能。NFS server端启用直接IO(DIRECT-IO)功能，数据可以直接写入到filesystem-based-on-FUSE,而不经过pagecache。NFS server端启用DIRECT-IO功能屏蔽了fsync带来的锁竞争，显著提升了多线程写的并行度。
本实施方式的NFS server的DIRECT-IO技术，在保护数据安全性的同时，屏蔽掉了fsync带来的锁竞争导致的串行写，显著提高了并发写同一个文件的性能。
图5是根据本发明实施例的一种基于FUSE文件系统和NFS协议的数据传输装置的示意图，如图5所示，根据本发明实施例的另一方面，还提供了一种基于FUSE文件系统和NFS协议的数据传输装置，包括：调用模块52，接收模块54和写入模块56，下面对该装置进行详细说明。
调用模块52，用于通过网络文件系统NFS的服务端调用操作系统的直接输入输出IO功能；接收模块54，与上述调用模块52相连，用于接收待传输文件，其中，待传输文件包括直接IO功能的标识；写入模块56，与上述接收模块54相连，用于通过直接IO功能直接将待传输文件写入基于用户空间文件系统FUSE的目标文件系统。
通过上述装置，采用通过网络文件系统NFS的服务端调用操作系统的直接输入输出IO功能；接收待传输文件，其中，所述待传输文件包括所述直接IO功能的标识；通过所述直接IO功能直接将所述待传输文件写入基于用户空间文件系统FUSE的目标文件系统的方式，通过调用操作系统的直接IO功能，将待传输文件可以直接写入FUSE系统，避免了fsync只能单线执行，达到了快速写入，且保证写入的多线程并发效率的目的，从而实现了实现读写数据的并发，提高效率的技术效果，进而解决了相关技术中客户端在对服务器进行读写数据时，在服务器端，需经过页高速缓存，导致影响读写数据的并发，导致效率较低的技术问题。
根据本发明实施例的另一方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述中任意一项的基于FUSE文件系统和NFS协议的数据传输方法。
根据本发明实施例的另一方面，还提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述中任意一项的基于FUSE文件系统和NFS协议的数据传输方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于FUSE文件系统和NFS协议的数据传输方法，其特征在于，包括：
通过网络文件系统NFS的服务端调用操作系统的直接输入输出IO功能；
接收待传输文件，其中，所述待传输文件包括所述直接IO功能的标识；
通过所述直接IO功能直接将所述待传输文件写入基于用户空间文件系统FUSE的目标文件系统。
2.根据权利要求1所述的方法，其特征在于，通过所述NFS的服务端调用操作系统的直接IO功能之前，包括：
通过所述NFS的客户端接收客户端设备通过第一虚拟文件系统VFS发送的所述待传输文件；
通过远程过程调用EPC和互联网，将所述NFS的客户端接收的所述待传输文件转发至所述NFS的服务端。
3.根据权利要求2所述的方法，其特征在于，接收待传输文件包括：
通过所述NFS的服务端接收所述待传输文件；
通过第二虚拟文件系统VFS将所述NFS的服务端接收的待传输文件发送给所述FUSE；
通过所述FUSE接收所述待传输文件。
4.根据权利要求3所述的方法，其特征在于，通过所述直接IO功能直接将所述待传输文件写入基于用户空间文件系统FUSE的目标文件系统包括：
通过所述FUSE将所述待传输文件，利用直接IO功能，直接写入到所述目标文件系统。
5.根据权利要求1所述的方法，其特征在于，通过所述NFS的服务端调用操作系统的直接IO功能包括：
通过所述NFS根据需求修改调用文件，调用所述直接IO功能。
6.根据权利要求1所述的方法，其特征在于，通过所述直接IO功能直接将所述待传输文件写入基于用户空间文件系统FUSE的目标文件系统之前，还包括：
确定所述直接IO功能是否开启；
在所述直接IO功能开启的情况下，执行通过所述直接IO功能直接将所述待传输文件写入基于用户空间文件系统FUSE的目标文件系统的步骤；
在所述直接IO功能未开启的情况下，调用所述FUSE的接口；通过所述接口将所述待传输文件写入页高速缓存；通过所述页高速缓存将所述待传输文件写入所述目标文件系统。
7.根据权利要求6所述的方法，其特征在于，通过所述页高速缓存将所述待传输文件写入所述目标文件系统包括：
通过函数对所述待传输文件加锁；
将所述加锁的待传输文件写入所述目标文件系统。
8.一种基于FUSE文件系统和NFS协议的数据传输装置，其特征在于，包括：
调用模块，用于通过网络文件系统NFS的服务端调用操作系统的直接输入输出IO功能；
接收模块，用于接收待传输文件，其中，所述待传输文件包括所述直接IO功能的标识；
写入模块，用于通过所述直接IO功能直接将所述待传输文件写入基于用户空间文件系统FUSE的目标文件系统。
9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至8中任意一项所述的基于FUSE文件系统和NFS协议的数据传输方法。
10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至8中任意一项所述的基于FUSE文件系统和NFS协议的数据传输方法。
CN202010598868.1A 2020-06-28 基于fuse文件系统和nfs协议的数据传输方法及装置 Active CN111767257B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010598868.1A CN111767257B (zh) 2020-06-28 基于fuse文件系统和nfs协议的数据传输方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010598868.1A CN111767257B (zh) 2020-06-28 基于fuse文件系统和nfs协议的数据传输方法及装置

Publications (2)

Publication Number Publication Date
CN111767257A true CN111767257A (zh) 2020-10-13
CN111767257B CN111767257B (zh) 2024-05-31

Family

ID=

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112632023A (zh) * 2020-12-30 2021-04-09 北京浩瀚深度信息技术股份有限公司 一种多数据源写入的文件传输方法、装置及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101789976A (zh) * 2010-01-27 2010-07-28 上海交通大学 嵌入式网络存储系统及其方法
CN102609485A (zh) * 2012-01-20 2012-07-25 无锡众志和达存储技术有限公司 基于文件系统的nfs数据i/o加速方法
CN102609486A (zh) * 2012-01-20 2012-07-25 无锡众志和达存储技术有限公司 一种Linux文件系统的数据读写加速方法
US20170060893A1 (en) * 2015-08-25 2017-03-02 Xcube Research And Development, Inc. Translating file type aware virtual filesystem and content addressable globally distributed filesystem
CN106933872A (zh) * 2015-12-30 2017-07-07 阿里巴巴集团控股有限公司 一种通过传统文件系统接口访问云存储服务的方法及装置
CN107734026A (zh) * 2017-10-11 2018-02-23 郑州云海信息技术有限公司 一种网络附加存储集群的设计方法、装置及设备
US20180307638A1 (en) * 2017-04-19 2018-10-25 Electronics And Telecommunications Research Institute System and method for supporting user-level direct memory access input/output in distributed file system environment
US20190005065A1 (en) * 2017-06-30 2019-01-03 Vmware, Inc. Cloud-scale file-based filesystem for hybrid cloud storage
CN109783438A (zh) * 2018-12-05 2019-05-21 南京华讯方舟通信设备有限公司 基于librados的分布式NFS系统及其构建方法
WO2019228217A1 (zh) * 2018-06-01 2019-12-05 阿里巴巴集团控股有限公司 文件系统数据访问方法和文件系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101789976A (zh) * 2010-01-27 2010-07-28 上海交通大学 嵌入式网络存储系统及其方法
CN102609485A (zh) * 2012-01-20 2012-07-25 无锡众志和达存储技术有限公司 基于文件系统的nfs数据i/o加速方法
CN102609486A (zh) * 2012-01-20 2012-07-25 无锡众志和达存储技术有限公司 一种Linux文件系统的数据读写加速方法
US20170060893A1 (en) * 2015-08-25 2017-03-02 Xcube Research And Development, Inc. Translating file type aware virtual filesystem and content addressable globally distributed filesystem
CN106933872A (zh) * 2015-12-30 2017-07-07 阿里巴巴集团控股有限公司 一种通过传统文件系统接口访问云存储服务的方法及装置
US20180307638A1 (en) * 2017-04-19 2018-10-25 Electronics And Telecommunications Research Institute System and method for supporting user-level direct memory access input/output in distributed file system environment
US20190005065A1 (en) * 2017-06-30 2019-01-03 Vmware, Inc. Cloud-scale file-based filesystem for hybrid cloud storage
CN107734026A (zh) * 2017-10-11 2018-02-23 郑州云海信息技术有限公司 一种网络附加存储集群的设计方法、装置及设备
WO2019228217A1 (zh) * 2018-06-01 2019-12-05 阿里巴巴集团控股有限公司 文件系统数据访问方法和文件系统
CN109783438A (zh) * 2018-12-05 2019-05-21 南京华讯方舟通信设备有限公司 基于librados的分布式NFS系统及其构建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
罗保山 等: ""混合存储数据迁移策略研究"", 《计算机技术与发展》, vol. 26, no. 6, 30 June 2016 (2016-06-30), pages 82 - 86 *
胡鹏 等: ""Linux文件服务器单线程和多线程架构的性能研究"", 《微型电脑应用》, vol. 28, no. 2, pages 35 - 38 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112632023A (zh) * 2020-12-30 2021-04-09 北京浩瀚深度信息技术股份有限公司 一种多数据源写入的文件传输方法、装置及存储介质

Similar Documents

Publication Publication Date Title
US4575797A (en) Digital data processing system incorporating object-based addressing and capable of executing instructions belonging to several instruction sets
CA2110243C (en) Apparatus and methods for making a portion of a first name space available as a portion of a second name space
US6647423B2 (en) Direct message transfer between distributed processes
US4513368A (en) Digital data processing system having object-based logical memory addressing and self-structuring modular memory
US5623666A (en) Distributed computing system
US9189263B1 (en) Object synchronization in shared object space
Kaashoek et al. Application performance and flexibility on exokernel systems
RU2335796C2 (ru) Модель и архитектура управляемых фильтров файловой системы
US5574903A (en) Method and apparatus for handling request regarding information stored in a file system
US4821184A (en) Universal addressing system for a digital data processing system
PL183365B1 (pl) Sposób zarządzania systemem komputerowym opartym na mikroprocesorze
US4731734A (en) Digital computer system incorporating object-based addressing and access control and tables defining derivation of addresses of data from operands in instructions
US20050086237A1 (en) Shared queues in shared object space
JP4171537B2 (ja) データベース情報をアクセスする方法
JPH1031612A (ja) 高度ファイル・サーバ
US6732211B1 (en) Intercepting I/O multiplexing operations involving cross-domain file descriptor sets
CN103593607A (zh) 宿主机与虚拟机文件系统隔离方法和装置
US4545012A (en) Access control system for use in a digital computer system with object-based addressing and call and return operations
US4498131A (en) Data processing system having addressing mechanisms for processing object-based information and a protection scheme for determining access rights to such information
CN103617039A (zh) 一种访问用户空间文件系统的方法及装置
CN111767257A (zh) 基于fuse文件系统和nfs协议的数据传输方法及装置
CN111767257B (zh) 基于fuse文件系统和nfs协议的数据传输方法及装置
US4660142A (en) Digital data processing system employing an object-based addressing system with a single object table
EP1492028B1 (en) Access to shared disk device on storage area network
US20060253858A1 (en) Software service application and method of servicing a software application

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100094 101, floors 1-5, building 7, courtyard 3, fengxiu Middle Road, Haidian District, Beijing

Applicant after: Beijing Xingchen Tianhe Technology Co.,Ltd.

Address before: 100097 room 806-1, block B, zone 2, Jinyuan times shopping center, indigo factory, Haidian District, Beijing

Applicant before: XSKY BEIJING DATA TECHNOLOGY Corp.,Ltd.

GR01 Patent grant