CN111475469A - Kubernetes用户态应用中基于虚拟文件系统的小文件存储优化系统 - Google Patents

Kubernetes用户态应用中基于虚拟文件系统的小文件存储优化系统 Download PDF

Info

Publication number
CN111475469A
CN111475469A CN202010195318.5A CN202010195318A CN111475469A CN 111475469 A CN111475469 A CN 111475469A CN 202010195318 A CN202010195318 A CN 202010195318A CN 111475469 A CN111475469 A CN 111475469A
Authority
CN
China
Prior art keywords
virtual file
file system
file block
block
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010195318.5A
Other languages
English (en)
Other versions
CN111475469B (zh
Inventor
杜量
郭贵鑫
钟康游
杜云飞
卢宇彤
周中柱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
National Sun Yat Sen University
Original Assignee
National Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Sun Yat Sen University filed Critical National Sun Yat Sen University
Priority to CN202010195318.5A priority Critical patent/CN111475469B/zh
Publication of CN111475469A publication Critical patent/CN111475469A/zh
Priority to PCT/CN2021/079582 priority patent/WO2021185109A1/zh
Priority to ZA2021/01819A priority patent/ZA202101819B/en
Priority to LU102666A priority patent/LU102666B1/en
Priority to US17/206,869 priority patent/US11409712B2/en
Priority to AU2021101420A priority patent/AU2021101420A4/en
Application granted granted Critical
Publication of CN111475469B publication Critical patent/CN111475469B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
    • G06F16/183—Provision of network file services by network file servers, e.g. by using NFS, CIFS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0766—Error or fault reporting or storing
    • G06F11/0772—Means for error signaling, e.g. using interrupts, exception flags, dedicated error registers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/122—File system administration, e.g. details of archiving or snapshots using management policies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/176—Support for shared access to files; File sharing support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/188—Virtual file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种KUBERNETES用户态应用中基于虚拟文件系统的小文件存储优化系统，优化系统应用于目标文件系统，优化系统包括用户态应用、网络文件系统和虚拟文件系统，虚拟文件系统包括虚拟文件系统客户端和虚拟文件系统服务端，网络文件系统包括网络文件系统服务器和网络文件系统客户端，用户态应用通过网络文件系统客户端挂载于网络文件系统服务器暴露的共享目录上；虚拟文件系统服务端中的文件块分配与格式化模块在其中一或多个目标文件系统的对象存储目标设备上，创建虚拟文件块用于存储小文件，虚拟文件块挂载于网络文件系统服务器暴露的共享目录上；本发明极大提升了大量小文件的读写性能，并保留分布式共享存储便于管理、可基于网络随处挂载的优点。

Description

KUBERNETES用户态应用中基于虚拟文件系统的小文件存储优 化系统
技术领域
本发明涉及文件系统存储领域，更具体地，涉及一种KUBERNETES用户态应用中基于虚拟文件系统的小文件存储优化系统。
背景技术
当今互联网，数据呈现爆炸式增长，社交网络、移动通信、网络视频、电子商务等各种应用往往能产生亿级甚至十亿、百亿级的海量小文件。由于在元数据管理、访问性能、存储效率等方面面临巨大的挑战，海量小文件问题成为了业界公认的难题。
在计算机存储领域，小文件的存储性能的优劣是影响整个文件系统存储性能的重要一方面，特别是在深度学习领域，以小图片和小文本为代表的大量小文件读写性能对整个深度学习训练过程的整体效率有着重要影响。
KUBERNETES是一个开源系统，用于容器化应用的自动部署、扩缩和管理。它旨在提供“跨主机集群的自动部署、扩展以及运行应用程序容器的平台”。它支持一系列容器工具,包括DOCKER等。并将构成应用的容器按逻辑单位进行分组以便于管理和发现。容器占用资源少、部署快，每个应用可以被打包成一个容器镜像，每个应用与容器间成一对一关系也使容器有更大优势，使用容器可以在build或release的阶段，为应用创建容器镜像，因为每个应用不需要与其余的应用堆栈组合，也不依赖于生产环境基础结构，这使得从研发到测试、生产能提供一致环境。类似地，容器比虚拟机轻量、更“透明”，这更便于监控和管理。
KUBERNETES包括MASTER节点和普通(工作)节点，在每个普通节点上包含POD(容器组)、KUBELET和KUBE-PROXY，每个POD中包含一个或多个CONTAINER(容器)，每个节点相当于一台虚拟机/物理机。
目标文件系统可为多种分布式文件系统，如Lustre文件系统，Lustre是一种集群存储体系结构，其核心组件就是lustre文件系统、该文件系统可在linux操作系统上运行，并提供了符合POSIX*标准的UNIX文件系统接口。Lustre架构普遍使用于高性能计算集群中，且可提供PB级存储和每秒数百GB的吞吐量。当Lustre文件系统存储用量逐渐增加时，继续在Lustre文件系统中存储小文件时随着文件量的增加，对小文件的读写效率将显著下降。在文件系统已用容量占比较大的场景下，对大量小文件的读写时，文件系统对其特定小文件元数据的检索需要在整个文件系统中进行，这是影响小文件存储性能的重要因素。
发明内容
本发明旨在克服上述现有技术的至少一种缺陷，提供一种KUBERNETES用户态应用中基于虚拟文件系统的小文件存储优化系统，用于解决小文件存储和读取的效率下降的问题。
本发明提供的技术方案是：
一种KUBERNETES用户态应用中基于虚拟文件系统的小文件存储优化系统，其特征在于，所述优化系统应用于目标文件系统，所述优化系统包括用户态应用、网络文件系统和虚拟文件系统，所述虚拟文件系统包括虚拟文件系统客户端和虚拟文件系统服务端，所述网络文件系统包括网络文件系统服务器和网络文件系统客户端，所述用户态应用中包含所述网络文件系统客户端；
所述网络文件系统服务器和所述虚拟文件系统封装在同一镜像中，该镜像所在的容器为NFS特制镜像容器，所述用户态应用封装在用户态应用镜像中，所述用户态应用镜像所在的容器为用户态应用镜像容器，所述NFS特制镜像容器和所述用户态应用镜像容器均部署在KUBERNETES集群中，所述目标文件系统为所述KUBERNETES集群所使用的文件系统；在所述用户态应用镜像容器被运行后，以及所述NFS特制镜像容器以PRIVILEGED＝TRUE的方式被运行后，所述用户态应用、所述网络文件系统客户端、所述网络文件系统服务端以及所述虚拟文件系统均在同一KUBERNETES集群网络中，所述用户态应用通过网络文件系统客户端挂载于所述网络文件系统服务器暴露的共享目录上，所述用户态应用用于向所述虚拟文件系统客户端发送虚拟文件块创建请求；
所述虚拟文件系统客户端部署于所述目标文件系统的客户端上，所述虚拟文件系统客户端用于将所述用户态应用发出的所述虚拟文件块创建请求发送至所述虚拟文件系统服务端；所述虚拟文件系统服务端部署于所述目标文件系统的对象存储服务器上；所述虚拟文件系统服务端包括文件块分配与格式化模块，所述文件块创建与格式化模块用于根据所述虚拟文件系统客户端发出的虚拟文件块创建请求在其中一或多个所述目标文件系统的对象存储目标设备上创建并格式化虚拟文件块；所述虚拟文件块用于存储小文件，所述虚拟文件块挂载于所述网络文件系统服务器暴露的共享目录上。
本发明提供的优化系统建立在KUBERNETES集群上，在该集群上部署有用户态应用镜像容器以及NFS特制镜像容器，该两个容器可处于任何KUBERNETES的节点上，封装有用户态应用的镜像设置在用户态应用镜像容器中，封装有网络文件系统服务器以及虚拟文件系统的镜像设置在NFS特制镜像容器中。所述优化系统应用于目标文件系统，目标文件系统为KUBERNETES集群所使用的文件系统，目标文件系统中包括对象存储服务器以及对象存储目标设备，对象存储服务器用于负责目标文件系统客户端与物理存储之间的交互及数据存储，该客户端通过对象存储服务器访问保存在对象存储目标设备中的文件数据。
在KUBERNETES环境下，运行用户态应用镜像容器以及NFS特制镜像容器，NFS特制镜像容器被运行后，虚拟文件系统中的虚拟文件系统客户端将部署于目标文件系统的客户端上，虚拟文件系统中的虚拟文件系统服务端将部署于目标文件系统的对象存储服务器上。用户态应用镜像容器被运行后，用户态应用向虚拟文件系统客户端发送虚拟文件块创建请求，虚拟文件系统客户端接收该请求后，通过目标文件系统的客户端，将其传输到部署在对象存储服务器上的虚拟文件系统服务端，虚拟文件系统服务端包括文件块分配与格式化模块，由于该模块处于对象存储服务器上，因此可对一个或多个对象存储目标设备进行管理，该模块获取虚拟文件系统客户端发出的虚拟文件块创建请求后，在一个或多个对象存储目标设备上创建并格式化虚拟文件块，用以存储小文件。
用户态应用通过应用本身包含的网络文件系统客户端，挂载于网络文件系统服务器暴露的共享目录上，网络文件系统服务器通过暴露共享目录，使网络文件系统客户端主机可以访问共享目录中的文件，且其访问过程与访问本地存储一样。同样挂载于该共享目录上的是上述创建的虚拟文件块，创建于对象存储目标设备上的虚拟文件块挂载于该共享目录上，通过网络文件系统的客户端与服务端，实现了用户态应用向虚拟文件块读写小文件的目的。
在KUBERNETES集群环境下，通过在一个或多个目标文件系统的对象存储目标设备上设置虚拟文件块，专门用于存储小文件，使小文件集中存储于虚拟文件块中，该虚拟文件系统可以极大地提升大量小文件的读写性能，而且保留了分布式共享存储便于管理、可基于网络随处挂载的优点。
进一步，所述用户态应用还用于向虚拟文件系统客户端发送虚拟文件块参数，所述虚拟文件系统客户端还用于将用户态应用发出的虚拟文件块参数发送至所述虚拟文件系统服务端，所述虚拟文件块参数包括虚拟文件块执行请求参数，所述虚拟文件系统服务端包括请求参数处理模块；所述请求参数处理模块用于获取所述虚拟文件系统客户端发出的所述虚拟文件块执行请求参数，并根据所述虚拟文件块执行请求参数判断是否可创建虚拟文件块；
所述文件块创建与格式化模块用于根据所述虚拟文件系统客户端发出的虚拟文件块创建请求在其中一或多个所述目标文件系统的对象存储目标设备上创建并格式化虚拟文件块，具体为：所述文件块创建与格式化模块用于在接收到所述虚拟文件系统客户端发出的虚拟文件块请求后，获取所述请求参数处理模块的判定结果，当所述请求参数处理模块判定可创建虚拟文件块时，在其中一或多个所述目标文件系统的对象存储目标设备上创建并格式化虚拟文件块。
用户态应用还向虚拟文件系统客户端发送虚拟文件块创建时所需要的虚拟文件块参数，该虚拟文件块参数中包括虚拟文件块执行请求参数，所述的请求参数处理模块主要用于根据该参数判断虚拟文件块的请求是否可执行，具体地，该模块用于获取虚拟文件块参数中的虚拟文件块执行请求参数，根据该参数判断是否可创建虚拟文件块；上述的文件块创建与格式化模块则用于根据请求参数处理模块的判定结果决定是否创建文件块，当请求参数处理模块判定可创建虚拟文件块时，文件块创建与格式化模块才会在虚拟文件系统的对象存储目标设备上创建虚拟文件块。
进一步，所述虚拟文件块执行请求参数包括所述虚拟文件块的大小和所述虚拟文件块的格式；所述请求参数处理模块用于获取所述虚拟文件系统客户端发出的所述虚拟文件块执行请求参数，并根据所述虚拟文件块执行请求参数判断是否可创建虚拟文件块，具体为：
所述请求参数处理模块用于获取所述虚拟文件系统客户端发出的所述虚拟文件块的大小和所述虚拟文件块的格式，并根据接收到的所述虚拟文件块的大小检测所述目标文件系统的存储容量和所述目标系统的用户存储配额是否满足创建虚拟文件块的要求，如不满足，则报告错误信息；如满足，则根据接收到的所述虚拟文件块的格式检测所述格式是否适用于所述目标文件系统的格式，如适用，则判定可创建虚拟文件块，如不适用，则判定不可创建虚拟文件块。
虚拟文件块执行请求参数主要用于在向虚拟文件系统服务端发起虚拟文件块创建请求后提供具体的创建参数，虚拟文件块执行请求参数包括了用户所需创建的虚拟文件块的大小和虚拟文件块的格式，请求参数处理模块接收到该虚拟文件块执行请求参数后，根据虚拟文件块的大小，以及根据目标文件系统的存储容量和目标文件系统的用户存储配额判断目标文件系统是否满足虚拟文件块的创建，如不满足，表明不可创建虚拟文件块，报告错误信息，虚拟文件块创建失败，如满足，则根据虚拟文件块的格式，以及目标文件系统的文件格式判断目标文件系统是否适用于该虚拟文件块的构件，如适用，则判定可构建虚拟文件块，如不适用，则表明不可创建虚拟文件块，报告错误信息。
进一步，所述虚拟文件块参数还包括虚拟文件块挂载参数，所述虚拟文件系统服务端还包括挂载与管理模块，所述挂载与管理模块用于获取所述虚拟文件块挂载请求参数，并用于根据所述虚拟文件块挂载请求参数检测所述虚拟文件块是否已挂载于所述共享目录上：如是，则退出当前操作，如否，则判断所述虚拟文件块挂载参数是否合法：如合法，则将所述虚拟文件块挂载于所述共享目录上，如不合法，则回滚当前操作。
用户态应用向虚拟文件系统客户端发送的虚拟文件块参数中还包括虚拟文件块挂载参数，所述的挂载与管理模块主要用于根据该参数执行虚拟文件块的挂载，具体地，该模块用于获取虚拟文件块参数中的虚拟文件块挂载参数，根据该参数检测虚拟文件块是否已挂载于共享目录上，如是，则无需再执行挂载操作，模块可退出当前的操作，如否，则模块需要判断该参数是否合法的参数，例如，参数中可能包含的挂载点是否合法的挂载点等等，如是，则可执行虚拟文件块的挂载，如否，则模块回滚当前操作，不进行虚拟文件块的挂载。
进一步，所述挂载与管理模块用于获取所述虚拟文件块挂载请求参数，并用于根据所述虚拟文件块挂载请求参数检测所述虚拟文件块是否已挂载于所述共享目录上：如是，则退出当前操作，具体为：所述虚拟文件块挂载请求参数包括挂载请求目录和挂载请求模式，所述挂载与管理模块用于获取所述挂载请求目录和所述挂载请求模式，并用于根据所述挂载请求目录检测所述虚拟文件块是否已挂载于所述共享目录上，如是，则判断当前虚拟文件块挂载于所述共享目录上的挂载模式与所述挂载请求模式是否相同：如相同，则退出当前操作，如不相同，则将当前虚拟文件块挂载于所述共享目录上的挂载模式更改为所述挂载请求模式，如不合法。
挂载与管理模块所获取的虚拟文件块挂载参数中，包括了共享目录以及挂载请求模式，共享目录是实现用户态应用向虚拟文件块读写小文件的必要桥梁，挂载请求模式即虚拟文件块挂载于共享目录时的模式。挂载与管理模块在获取了上述两种参数后，根据共享目录检测虚拟文件块是否已挂载于共享目录上时，如是，则需要进一步判断当前虚拟文件块挂载于共享目录上的挂载模式与挂载请求模式是否相同，如相同，则无需对现有的挂载作任何改变，模块退出当前操作，如不相同，则按照挂载请求模式更改当前虚拟文件块的挂载模式。
进一步，所述虚拟文件块参数还包括虚拟文件块权限参数，所述虚拟文件系统服务端还包括权限管理模块，所述权限管理模块用于当所述虚拟文件块挂载于所述共享目录上时，获取所述虚拟文件块权限参数，并根据所述虚拟文件块权限参数修改所述共享目录的属组权限和虚拟文件块的读写权限。
权限管理模块主要用于修改共享目录的属组权限和虚拟文件块的读写权限，属组权限即指可读写文件的所属用户和组，读写权限即指文件可被用户读取或写入的权限，用户态应用向虚拟文件系统客户端发送虚拟文件块权限参数，虚拟文件系统服务端所包括的权限管理模块用于获取该参数，并根据该参数修改虚拟文件块的属组权限和读写权限，使用户更有效地利用虚拟文件块管理小文件。
进一步，所述虚拟文件块权限参数包括用户UID/GID和所述虚拟文件块的请求读写权限；所述权限管理模块用于根据所述虚拟文件块权限参数修改所述共享目录的属组权限和所述虚拟文件块的读写权限，具体为：所述权限管理模块用于验证所述用户UID/GID的正确性，如不正确，则回滚当前操作，如正确，则根据所述用户UID/GID修改所述共享目录的属组权限，并验证虚拟文件块的请求读写权限是否合法，如合法，则根据虚拟文件的请求读写权限修改所述虚拟文件块的读写权限，如不合法，则回滚当前操作限。
权限管理模块在获取虚拟文件块权限参数后，需要验证其中参数的正确性，虚拟文件块权限参数还包括用户UID/GID，即指用户的ID以及用户所属组ID，权限管理模块首先验证权限参数中用户UID/GID的正确性，如参数不正确，模块则需要回滚当前操作；如参数正确，根据用户UID/GID修改共享目录的属组权限，并验证虚拟文件块的请求读写权限是否合法，如合法，则根据虚拟文件的请求读写权限修改所述虚拟文件块的读写权限，如不合法，则回滚当前操作；虚拟文件块权限参数还包括虚拟文件块的请求读写权限，请求读写权限即指用户请求设置对虚拟文件块的读写权限，权限管理模块还用于根据该请求读写权限修改虚拟文件块的读写权限，使用户态应用可对虚拟文件块中的小文件进行读写存储。
进一步，所述虚拟文件系统服务端还包括服务注册模块，所述服务注册模块用于获取所有所述虚拟文件块参数，并用于当所述共享目录的属组权限和所述虚拟文件块的读写权限已修改时，根据所获取的所述虚拟文件块参数向所述虚拟文件系统客户端中添加虚拟文件块注册信息。
服务注册模块主要用于在虚拟文件系统客户端中添加虚拟文件块的注册信息，具体地，服务注册模块用于获取虚拟文件块参数，在权限管理模块对用共享目录的属组权限以及虚拟文件块的读写权限进行修改后，服务注册模块将获取到的虚拟文件块参数作为虚拟文件块的注册信息，添加至虚拟文件系统客户端，以便在虚拟文件系统客户端对虚拟文件块进行管理以及查看其详细信息。
进一步，虚拟文件块注册信息包括所述虚拟文件块的大小、所述共享目录、所述共享目录的属组权限、所述虚拟文件块的读写权限和所述挂载请求模式。
服务注册模块在获取虚拟文件块参数后，从中选取虚拟文件块的大小、虚拟文件块挂载的共享目录、共享目录的属组权限、虚拟文件块的读写权限以及虚拟文件块挂载于共享目录的挂载请求模式，作为虚拟文件块注册信息的主要内容，有利于用户态应用通过虚拟文件系统客户端管理虚拟文件块。
与现有技术相比，本发明的有益效果为：
(1)在目标文件系统中创建虚拟文件夹，并通过网络文件系统使用户态应用能够在虚拟文件块中读写小文件，将小文件集中存储于虚拟文件夹方便小文件的管理和读写，本发明的虚拟文件系统可以极大地提升大量小文件的读写性能，而且保留了分布式共享存储便于管理、可基于网络随处挂载的优点。
(2)通过隐藏privileged＝true容器可以执行虚拟文件系统的创建、格式化和挂载操作、而由于其隐藏使得用户无法直接访问该容器，可以避免用户实际应用容器可无限制使用GPU资源的问题；该隐藏容器中使用NFS文件系统服务，当用户实际应用需要虚拟文件系统服务时将在用户应用中执行NFS文件系统的挂载，从而通过中转的方式使用虚拟文件系统工具。
附图说明
图1为本发明实施例1中KUBERNETES集群的容器分布示意图。
图2为本发明实施例1中KUBERNETES集群上优化系统与目标文件系统的交互示意图。
图3为本发明实施例1中虚拟文件系统服务端的结构示意图。
图4为本发明实施例1中请求参数处理模块的处理流程图。
图5为本发明实施例1中挂载与管理模块的处理流程图。
图6为本发明实施例1中请权限管理模块的处理流程图
具体实施方式
本发明附图仅用于示例性说明，不能理解为对本发明的限制。为了更好说明以下实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
实施例1
本实施例提供一种KUBERNETES用户态应用中基于虚拟文件系统的小文件存储优化系统，该优化系统应用于KUBERNETES集群的文件系统即目标文件系统上，目标文件系统中包括对象存储服务器以及对象存储目标设备，对象存储服务器用于负责目标文件系统客户端与物理存储之间的交互及数据存储，该客户端通过对象存储服务器访问保存在对象存储目标设备中的文件数据。
本实施例提供的优化系统包括用户态应用、网络文件系统和虚拟文件系统，虚拟文件系统包括虚拟文件系统客户端和虚拟文件系统服务端，网络文件系统包括网络文件系统服务器和网络文件系统客户端，网络文件系统客户端部署在所述用户态应用中；
如图1所示，在KUBERNETES集群中，网络文件系统服务器和虚拟文件系统封装在同一镜像中，该镜像为NFS特制镜像，其所在的容器为NFS特制镜像容器，用户态应用封装在用户态应用镜像中，其所在的容器为用户态应用镜像容器；
以KUBERNETES-DEPLOYMENT的方式运行用户态应用镜像容器以及NFS特制镜像容器后，其中，以PRIVILEGED＝TRUE的权限方式运行NFS特制镜像容器，以KUBERNETES-SERVICE的方式使NFS特制镜像容器中的网络文件系统服务器暴露网络文件服务挂载点，即共享目录。
如图2所示，用户态应用将用于向虚拟文件系统客户端发送虚拟文件块创建请求，用户态应用通过应用本身包含的网络文件系统客户端，用户态应用利用网络文件系统客户端通过VOLUME卷挂载于网络文件系统服务器暴露的共享目录上；虚拟文件系统客户端部署于目标文件系统的客户端上，虚拟文件系统客户端将用于将用户态应用发出的虚拟文件块创建请求发送至虚拟文件系统服务端；虚拟文件系统服务端部署于目标文件系统的对象存储服务器上；
虚拟文件系统服务端中包括文件块分配与格式化模块，由于该模块处于对象存储服务器上，因此可对一个或多个对象存储目标设备进行管理，该模块用于在一个或多个对象存储目标设备上创建并格式化虚拟文件块。在本实施例中，所述文件块创建与格式化模块在接收到虚拟文件系统客户端发出的虚拟文件块创建请求后，在其中一目标文件系统的对象存储目标设备X上创建并格式化虚拟文件块，虚拟文件块用于存储小文件。
虚拟文件块与用户态应用一样挂载于网络文件系统服务器暴露的共享目录上，由此实现了用户态应用通过网络文件系统向虚拟文件块中读写存储小文件。在KUBERNETES集群环境下，通过在一个或多个目标文件系统的对象存储目标设备上设置虚拟文件块，专门用于存储小文件，使小文件集中存储于虚拟文件块中，能够更有效率地管理小文件以及提高小文件存储读写的效率。
优选地，如图3所示，虚拟文件系统服务端还包括请求参数处理模块，所述用户态应用还用于向虚拟文件系统客户端发送虚拟文件块参数，所述虚拟文件系统客户端还用于将用户态应用发出的虚拟文件块参数发送至所述虚拟文件系统服务端，所述虚拟文件块参数中包括虚拟文件块执行请求参数，该虚拟文件块执行请求参数中包括虚拟文件块的大小和虚拟文件块的格式，请求参数处理模块用于获取虚拟文件块的大小和虚拟文件块的格式，并根据所述虚拟文件块执行请求参数判断是否可创建虚拟文件块；
所述文件块创建与格式化模块用于根据所述虚拟文件系统客户端发出的虚拟文件块创建请求用于在其中一或多个所述目标文件系统的对象存储目标设备上创建并格式化虚拟文件块，具体为：所述文件块创建与格式化模块用于在接收到所述虚拟文件系统客户端发出的虚拟文件块请求后，获取所述请求参数处理模块的判定结果，当所述请求参数处理模块判定可创建虚拟文件块时，在其中一或多个所述目标文件系统的对象存储目标设备上创建并格式化虚拟文件块。
如图4所示，请求参数处理模块具体的判断过程为：根据所述虚拟文件块的大小检测目标文件系统的存储容量和目标系统的用户存储配额是否满足创建虚拟文件块的要求，如不满足，则报告错误信息；如满足，则根据虚拟文件块的格式检测格式是否适用于目标文件系统的格式，如适用，则判定可创建虚拟文件块，如不适用，则报告错误信息。
优选地，如图3所示，虚拟文件系统服务端还包括挂载与管理模块，虚拟文件块参数还包括虚拟文件块挂载参数，虚拟文件块挂载请求参数包括所述共享目录和挂载请求模式，挂载与管理模块用于获取虚拟文件系统客户端发出的共享目录和挂载请求模式，并用于根据上述的两个参数执行如下操作：
如图5所示，挂载与管理模块根据共享目录检测所述虚拟文件块是否已挂载于共享目录上：如没有挂载在共享目录上，则判断共享目录和挂载请求模式是否合法：如合法，则将所述虚拟文件块挂载于所述共享目录上，如不合法，则回滚当前操作；如已挂载在共享目录上，根据挂载请求模式判断当前虚拟文件块挂载于共享目录上的挂载模式与挂载请求模式是否相同：如相同，则退出当前操作，如不相同，则将当前虚拟文件块挂载于所述共享目录上的挂载模式更改为所述挂载请求模式。
优选地，如图3所示，虚拟文件系统服务端还包括权限管理模块，权限管理模块用于当虚拟文件块挂载于共享目录上时，获取所述虚拟文件系统客户端发出的虚拟文件块权限参数，并根据虚拟文件块权限参数修改共享目录的属组权限和虚拟文件块的读写权限；虚拟文件块权限参数包括用户UID/GID和虚拟文件块的请求读写权限。
如图6所示，权限管理模块根据虚拟文件块权限参数修改虚拟文件块的属组权限和读写权限，具体过程为：在获取虚拟文件块权限参数中的用户UID/GID和虚拟文件块的请求读写权限后，验证所述用户UID/GID的正确性，如不正确，则回滚当前操作，如正确，则根据所述用户UID/GID修改所述虚拟文件块的属组权限，并验证虚拟文件块的请求读写权限是否合法，如合法，则根据虚拟文件的请求读写权限修改所述虚拟文件块的读写权限，如不合法，则回滚当前操作。
优选地，如图3所示，虚拟文件系统服务端还包括服务注册模块，服务注册模块用于获取所述虚拟文件系统客户端发出的所有所述虚拟文件块参数，并用于当共享目录的属组权限和虚拟文件块的读写权限已修改时，根据所获取的虚拟文件块参数向虚拟文件系统客户端中添加虚拟文件块注册信息，所述虚拟文件块注册信息包括虚拟文件块的大小、共享目录、共享目录的属组权限、虚拟文件块的读写权限和挂载请求模式。
显然，本发明的上述实施例仅仅是为清楚地说明本发明技术方案所作的举例，而并非是对本发明的具体实施方式的限定。凡在本发明权利要求书的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (9)

1.一种KUBERNETES用户态应用中基于虚拟文件系统的小文件存储优化系统，其特征在于，所述优化系统应用于目标文件系统，所述优化系统包括用户态应用、网络文件系统和虚拟文件系统，所述虚拟文件系统包括虚拟文件系统客户端和虚拟文件系统服务端，所述网络文件系统包括网络文件系统服务器和网络文件系统客户端，所述用户态应用中包含所述网络文件系统客户端；
所述网络文件系统服务器和所述虚拟文件系统封装在同一镜像中，该镜像所在的容器为NFS特制镜像容器，所述用户态应用封装在用户态应用镜像中，所述用户态应用镜像所在的容器为用户态应用镜像容器，所述NFS特制镜像容器和所述用户态应用镜像容器均部署在KUBERNETES集群中，所述目标文件系统为所述KUBERNETES集群所使用的文件系统；
在所述用户态应用镜像容器被运行后，以及所述NFS特制镜像容器以PRIVILEGED＝TRUE的方式被运行后，所述用户态应用、所述网络文件系统客户端、所述网络文件系统服务端以及所述虚拟文件系统均在同一KUBERNETES集群网络中，所述用户态应用通过网络文件系统客户端挂载于所述网络文件系统服务器暴露的共享目录上，所述用户态应用用于向所述虚拟文件系统客户端发送虚拟文件块创建请求；
所述虚拟文件系统客户端部署于所述目标文件系统的客户端上，所述虚拟文件系统客户端用于将所述用户态应用发出的所述虚拟文件块创建请求发送至所述虚拟文件系统服务端；所述虚拟文件系统服务端部署于所述目标文件系统的对象存储服务器上；所述虚拟文件系统服务端包括文件块分配与格式化模块，所述文件块创建与格式化模块用于根据所述虚拟文件系统客户端发出的虚拟文件块创建请求在其中一或多个所述目标文件系统的对象存储目标设备上创建并格式化虚拟文件块；所述虚拟文件块用于存储小文件，所述虚拟文件块挂载于所述网络文件系统服务器暴露的共享目录上。
2.根据权利要求1所述的KUBERNETES用户态应用中基于虚拟文件系统的小文件存储优化系统，其特征在于，所述用户态应用还用于向虚拟文件系统客户端发送虚拟文件块参数，所述虚拟文件系统客户端还用于将用户态应用发出的虚拟文件块参数发送至所述虚拟文件系统服务端，所述虚拟文件块参数中包括虚拟文件块执行请求参数，所述虚拟文件系统服务端还包括请求参数处理模块；所述请求参数处理模块用于获取所述虚拟文件系统客户端发出的所述虚拟文件块执行请求参数，并根据所述虚拟文件块执行请求参数判断是否可创建虚拟文件块；
所述文件块创建与格式化模块用于根据所述虚拟文件系统客户端发出的虚拟文件块创建请求用于在其中一或多个所述目标文件系统的对象存储目标设备上创建并格式化虚拟文件块，具体为：
所述文件块创建与格式化模块用于在接收到所述虚拟文件系统客户端发出的虚拟文件块请求后，获取所述请求参数处理模块的判定结果，当所述请求参数处理模块判定可创建虚拟文件块时，在其中一或多个所述目标文件系统的对象存储目标设备上创建并格式化虚拟文件块。
3.根据权利要求2所述的KUBERNETES用户态应用中基于虚拟文件系统的小文件存储优化系统，其特征在于，所述虚拟文件块执行请求参数包括所述虚拟文件块的大小和所述虚拟文件块的格式；所述请求参数处理模块用于获取所述虚拟文件系统客户端发出的所述虚拟文件块执行请求参数，并根据所述虚拟文件块执行请求参数判断是否可创建虚拟文件块，具体为：
所述请求参数处理模块用于获取所述虚拟文件系统客户端发出的所述虚拟文件块的大小和所述虚拟文件块的格式，并根据接收到的所述虚拟文件块的大小检测所述目标文件系统的存储容量和所述目标系统的用户存储配额是否满足创建虚拟文件块的要求，如不满足，则报告错误信息；如满足，则根据接收到的所述虚拟文件块的格式检测所述格式是否适用于所述目标文件系统的格式，如适用，则判定可创建虚拟文件块，如不适用，则报告错误信息。
4.根据权利要求2所述的KUBERNETES用户态应用中基于虚拟文件系统的小文件存储优化系统，其特征在于，所述虚拟文件块参数还包括虚拟文件块挂载参数，所述虚拟文件系统服务端还包括挂载与管理模块，所述挂载与管理模块用于获取所述虚拟文件系统客户端发出的所述虚拟文件块挂载请求参数，并用于根据所述虚拟文件块挂载请求参数检测所述虚拟文件块是否已挂载于所述共享目录上：如是，则退出当前操作，如否，则判断所述虚拟文件块挂载参数是否合法：如合法，则将所述虚拟文件块挂载于所述共享目录上，如不合法，则回滚当前操作。
5.根据权利要求4所述的KUBERNETES用户态应用中基于虚拟文件系统的小文件存储优化系统，其特征在于，所述虚拟文件块挂载请求参数包括所述共享目录和挂载请求模式；所述挂载与管理模块用于获取所述虚拟文件系统客户端发出的所述虚拟文件块挂载请求参数，并用于根据所述虚拟文件块挂载请求参数检测所述虚拟文件块是否已挂载于所述共享目录上：如是，则退出当前操作，具体为：
所述挂载与管理模块用于获取所述虚拟文件系统客户端发出的所述挂载请求目录和所述挂载请求模式，并用于根据所述共享目录检测所述虚拟文件块是否已挂载于所述共享目录上，如是，则根据所述挂载请求模式判断当前虚拟文件块挂载于所述共享目录上的挂载模式与所述挂载请求模式是否相同：如相同，则退出当前操作，如不相同，则将当前虚拟文件块挂载于所述共享目录上的挂载模式更改为所述挂载请求模式。
6.根据权利要求4所述的KUBERNETES用户态应用中基于虚拟文件系统的小文件存储优化系统，其特征在于，所述虚拟文件块参数还包括虚拟文件块权限参数，所述虚拟文件系统服务端还包括权限管理模块，所述权限管理模块用于当所述虚拟文件块挂载于所述共享目录上时，获取所述虚拟文件系统客户端发出的所述虚拟文件块权限参数，并根据所述虚拟文件块权限参数修改所述共享目录的属组权限和虚拟文件块的读写权限。
7.根据权利要求6所述的KUBERNETES用户态应用中基于虚拟文件系统的小文件存储优化系统，其特征在于，所述虚拟文件块权限参数包括用户UID/GID和所述虚拟文件块的请求读写权限；
所述权限管理模块用于根据所述虚拟文件块权限参数修改所述共享目录的属组权限和虚拟文件块的读写权限，具体为：
所述权限管理模块用于验证所述用户UID/GID的正确性，如正确，则根据所述用户UID/GID修改所述共享目录的属组权限，如不正确，则回滚当前操作；所述权限管理模块还用于根据所述虚拟文件块的请求读写权限修改所述虚拟文件块的读写权限。
8.根据权利要求6所述的KUBERNETES用户态应用中基于虚拟文件系统的小文件存储优化系统，其特征在于，所述虚拟文件系统服务端还包括服务注册模块，所述服务注册模块用于获取所述虚拟文件系统客户端发出的所有所述虚拟文件块参数，并用于当所述虚拟文件块的属组权限和读写权限已修改时，根据所获取的所述虚拟文件块参数向所述虚拟文件系统客户端中添加虚拟文件块注册信息。
9.根据权利要求8所述的KUBERNETES用户态应用中基于虚拟文件系统的小文件存储优化系统，其特征在于，所述虚拟文件块注册信息包括所述虚拟文件块的大小、所述共享目录、所述共享目录的属组权限、所述虚拟文件块的读写权限和所述挂载请求模式。
CN202010195318.5A 2020-03-19 2020-03-19 Kubernetes用户态应用中基于虚拟文件系统的小文件存储优化系统 Active CN111475469B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202010195318.5A CN111475469B (zh) 2020-03-19 2020-03-19 Kubernetes用户态应用中基于虚拟文件系统的小文件存储优化系统
PCT/CN2021/079582 WO2021185109A1 (zh) 2020-03-19 2021-03-08 Kubernetes用户态应用中基于虚拟文件系统的小文件存储优化系统
ZA2021/01819A ZA202101819B (en) 2020-03-19 2021-03-18 Small-file storage optimization system based on virtual file system in kubernetes user-mode application
LU102666A LU102666B1 (en) 2020-03-19 2021-03-18 Small-file storage optimization system based on virtual file system in kubernetes user-mode application
US17/206,869 US11409712B2 (en) 2020-03-19 2021-03-19 Small-file storage optimization system based on virtual file system in KUBERNETES user-mode application
AU2021101420A AU2021101420A4 (en) 2020-03-19 2021-03-19 Small-file storage optimization system based on virtual file system in KUBERNETES user-mode application

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010195318.5A CN111475469B (zh) 2020-03-19 2020-03-19 Kubernetes用户态应用中基于虚拟文件系统的小文件存储优化系统

Publications (2)

Publication Number Publication Date
CN111475469A true CN111475469A (zh) 2020-07-31
CN111475469B CN111475469B (zh) 2021-12-14

Family

ID=71747589

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010195318.5A Active CN111475469B (zh) 2020-03-19 2020-03-19 Kubernetes用户态应用中基于虚拟文件系统的小文件存储优化系统

Country Status (6)

Country Link
US (1) US11409712B2 (zh)
CN (1) CN111475469B (zh)
AU (1) AU2021101420A4 (zh)
LU (1) LU102666B1 (zh)
WO (1) WO2021185109A1 (zh)
ZA (1) ZA202101819B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111966471A (zh) * 2020-10-21 2020-11-20 北京首都在线科技股份有限公司 访问方法、装置、电子设备及计算机存储介质
CN112632011A (zh) * 2020-12-30 2021-04-09 上海中通吉网络技术有限公司 基于Kubernetes的数据读写方法、装置、系统及设备
CN112650727A (zh) * 2020-12-09 2021-04-13 湖南麒麟信安科技股份有限公司 一种面向网络存储系统的通用权限与配额管理系统与方法
CN113342280A (zh) * 2021-06-25 2021-09-03 航天云网科技发展有限责任公司 基于Kubernetes的存储配置方法、系统及电子设备
WO2021185109A1 (zh) * 2020-03-19 2021-09-23 中山大学 Kubernetes用户态应用中基于虚拟文件系统的小文件存储优化系统
CN113918519A (zh) * 2021-09-06 2022-01-11 中国长城科技集团股份有限公司 一种文件夹挂载方法、装置及终端设备
CN114048185A (zh) * 2021-11-18 2022-02-15 北京聚存科技有限公司 一种分布式文件系统中海量小文件透明打包存储与访问的方法
CN114676093A (zh) * 2022-05-25 2022-06-28 天津联想协同科技有限公司 一种文件管理方法、装置、电子设备及存储介质
CN114780042A (zh) * 2022-05-06 2022-07-22 江苏安超云软件有限公司 提升nas存储性能的方法及装置、电子设备和存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114064594B (zh) * 2021-11-22 2023-09-22 马上消费金融股份有限公司 数据处理方法和装置
CN115150185A (zh) * 2022-07-25 2022-10-04 杭州东方通信软件技术有限公司 一种基于多密码控制用户目录与权限的方法及装置
CN115242783B (zh) * 2022-09-22 2022-11-29 中科方德软件有限公司 传输方法、装置、电子设备和介质
CN116578393B (zh) * 2023-07-11 2023-09-29 苏州浪潮智能科技有限公司 一种容器使用加密目录的方法、系统、设备以及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7818535B1 (en) * 2007-06-30 2010-10-19 Emc Corporation Implicit container per version set
CN105843841A (zh) * 2016-03-07 2016-08-10 青岛理工大学 一种小文件存储方法和系统
CN106302733A (zh) * 2016-08-16 2017-01-04 浪潮(北京)电子信息产业有限公司 一种分布式集群融合nfs协议的实现方法及装置
CN106951529A (zh) * 2017-03-21 2017-07-14 郑州云海信息技术有限公司 一种海量小文件的管理方法及系统
CN108900606A (zh) * 2018-06-28 2018-11-27 郑州云海信息技术有限公司 一种跨系统实现数据共享的方法、装置及设备
US10419537B1 (en) * 2016-03-24 2019-09-17 EMC IP Holding Company LLC Architecture for a converged compute and file system within network-attached storage clusters
CN110515920A (zh) * 2019-08-30 2019-11-29 北京浪潮数据技术有限公司 一种基于Hadoop的海量小文件存取方法和系统
CN110647497A (zh) * 2019-07-19 2020-01-03 广东工业大学 一种基于hdfs的高性能文件存储与管理系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7418439B2 (en) * 2000-03-17 2008-08-26 Twin Peaks Software, Inc. Mirror file system
TWI476610B (zh) * 2008-04-29 2015-03-11 Maxiscale Inc 同級間冗餘檔案伺服器系統及方法
US10684786B2 (en) * 2017-04-28 2020-06-16 Netapp, Inc. Methods for performing global deduplication on data blocks and devices thereof
US10949384B2 (en) * 2018-07-03 2021-03-16 Cohesity, Inc. Using a storage system to optimize and maintain the metadata associated with a plurality of small files
CN110865989A (zh) * 2019-11-22 2020-03-06 浪潮电子信息产业股份有限公司 一种大规模计算集群的业务处理方法
CN111475469B (zh) * 2020-03-19 2021-12-14 中山大学 Kubernetes用户态应用中基于虚拟文件系统的小文件存储优化系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7818535B1 (en) * 2007-06-30 2010-10-19 Emc Corporation Implicit container per version set
CN105843841A (zh) * 2016-03-07 2016-08-10 青岛理工大学 一种小文件存储方法和系统
US10419537B1 (en) * 2016-03-24 2019-09-17 EMC IP Holding Company LLC Architecture for a converged compute and file system within network-attached storage clusters
CN106302733A (zh) * 2016-08-16 2017-01-04 浪潮(北京)电子信息产业有限公司 一种分布式集群融合nfs协议的实现方法及装置
CN106951529A (zh) * 2017-03-21 2017-07-14 郑州云海信息技术有限公司 一种海量小文件的管理方法及系统
CN108900606A (zh) * 2018-06-28 2018-11-27 郑州云海信息技术有限公司 一种跨系统实现数据共享的方法、装置及设备
CN110647497A (zh) * 2019-07-19 2020-01-03 广东工业大学 一种基于hdfs的高性能文件存储与管理系统
CN110515920A (zh) * 2019-08-30 2019-11-29 北京浪潮数据技术有限公司 一种基于Hadoop的海量小文件存取方法和系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
REN XIANZHEN 等: ""An Algorithm of Merging Small Files in HDFS"", 《2019 2ND INTERNATIONAL CONFERENCE ON ARTIFICIAL INTELLIGENCE AND BIG DATA》 *
刘福鑫 等: ""基于Kubernetes 的云原生海量数据存储系统设计与实现"", 《计算机应用》 *
张荣: ""基于HDFS的海量小文件处理性能的研究与优化"", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
翟雅荣 等: ""基于Filebeat自动收集Kubernetes日志的分析系统"", 《计算机系统应用》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021185109A1 (zh) * 2020-03-19 2021-09-23 中山大学 Kubernetes用户态应用中基于虚拟文件系统的小文件存储优化系统
CN111966471A (zh) * 2020-10-21 2020-11-20 北京首都在线科技股份有限公司 访问方法、装置、电子设备及计算机存储介质
CN111966471B (zh) * 2020-10-21 2022-03-08 北京首都在线科技股份有限公司 访问方法、装置、电子设备及计算机存储介质
CN112650727A (zh) * 2020-12-09 2021-04-13 湖南麒麟信安科技股份有限公司 一种面向网络存储系统的通用权限与配额管理系统与方法
CN112632011A (zh) * 2020-12-30 2021-04-09 上海中通吉网络技术有限公司 基于Kubernetes的数据读写方法、装置、系统及设备
CN113342280A (zh) * 2021-06-25 2021-09-03 航天云网科技发展有限责任公司 基于Kubernetes的存储配置方法、系统及电子设备
WO2022267428A1 (zh) * 2021-06-25 2022-12-29 航天云网科技发展有限责任公司 基于Kubernetes的存储配置方法、系统及电子设备
CN113918519A (zh) * 2021-09-06 2022-01-11 中国长城科技集团股份有限公司 一种文件夹挂载方法、装置及终端设备
CN114048185A (zh) * 2021-11-18 2022-02-15 北京聚存科技有限公司 一种分布式文件系统中海量小文件透明打包存储与访问的方法
CN114780042A (zh) * 2022-05-06 2022-07-22 江苏安超云软件有限公司 提升nas存储性能的方法及装置、电子设备和存储介质
CN114676093A (zh) * 2022-05-25 2022-06-28 天津联想协同科技有限公司 一种文件管理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2021185109A1 (zh) 2021-09-23
ZA202101819B (en) 2021-05-26
LU102666B1 (en) 2021-09-20
US11409712B2 (en) 2022-08-09
AU2021101420A4 (en) 2021-05-13
CN111475469B (zh) 2021-12-14
US20210294778A1 (en) 2021-09-23

Similar Documents

Publication Publication Date Title
CN111475469B (zh) Kubernetes用户态应用中基于虚拟文件系统的小文件存储优化系统
WO2011120791A1 (en) Transmission of map-reduce data based on a storage network or a storage network file system
CN101997823A (zh) 一种分布式文件系统及其数据访问方法
CN105892943A (zh) 一种分布式存储系统中块存储数据的访问方法及系统
CN109933312B (zh) 一种有效降低容器化关系型数据库i/o消耗的方法
CN111639114A (zh) 一种基于物联网平台的分布式数据融合管理系统
CN107861691B (zh) 一种多控存储系统的负载均衡方法和装置
US11740925B2 (en) Method and apparatus for online migration of multi-disk virtual machine into different storage pools
CN105635311A (zh) 一种云管理平台中资源池信息同步的方法
CN111488198A (zh) 一种超融合环境下的虚拟机调度方法、系统及介质
US10812543B1 (en) Managed distribution of data stream contents
WO2020134364A1 (zh) 一种虚拟机迁移方法、云计算管理平台和存储介质
CN105468296A (zh) 基于虚拟化平台的无共享存储管理方法
CN111399761A (zh) 存储资源分配方法、装置及设备、存储介质
CN101483668A (zh) 热点数据的网络存储和访问方法、设备及系统
CN111274004B (zh) 进程实例管理方法、装置及计算机存储介质
CN113032356A (zh) 一种客舱分布式文件存储系统及实现方法
CN115495023B (zh) 一种数据请求方法、装置、设备及存储介质
EP3349416B1 (en) Relationship chain processing method and system, and storage medium
CN115062092B (zh) 数据库访问方法、设备、系统及存储介质
CN112328697A (zh) 一种基于大数据的数据同步方法
CN106940725B (zh) 一种征信数据存储调度方法及系统
CN106790521B (zh) 采用基于ftp的节点设备进行分布式组网的系统及方法
CN111399753B (zh) 写入图片的方法和装置
CN113708994A (zh) 一种基于Go语言的云物理主机和云服务器监控方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant