CN114185490A - 一种实现glusterfs文件系统与对象存储s3数据互访方法 - Google Patents

一种实现glusterfs文件系统与对象存储s3数据互访方法 Download PDF

Info

Publication number
CN114185490A
CN114185490A CN202111516127.5A CN202111516127A CN114185490A CN 114185490 A CN114185490 A CN 114185490A CN 202111516127 A CN202111516127 A CN 202111516127A CN 114185490 A CN114185490 A CN 114185490A
Authority
CN
China
Prior art keywords
glusterfs
storage
file system
object storage
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111516127.5A
Other languages
English (en)
Inventor
张涛
林涛睿
高嵩
蓝振志
林鹏程
王涛
郭昊
罗天
邹子威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Vclusters Information Technology Co ltd
Original Assignee
Shenzhen Vclusters Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Vclusters Information Technology Co ltd filed Critical Shenzhen Vclusters Information Technology Co ltd
Priority to CN202111516127.5A priority Critical patent/CN114185490A/zh
Publication of CN114185490A publication Critical patent/CN114185490A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/176—Support for shared access to files; File sharing support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
    • G06F16/183—Provision of network file services by network file servers, e.g. by using NFS, CIFS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0632—Configuration or reconfiguration of storage systems by initialisation or re-initialisation of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662—Virtualisation aspects
    • G06F3/0665—Virtualisation aspects at area level, e.g. provisioning of virtual or logical volumes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于对象存储技术领域，尤其是一种实现glusterfs文件系统与对象存储s3数据互访方法，针对了GlusterFS文件系统对海量小文件存储效率和访问性能都表现不佳的问题，现提出如下方案，其包括部署gluster存储软件，每个gluster存储节点以brick方式挂载；本发明中部署机头节点/glusterfs目录为文件共享总nas目录，从而实现文件系统转s3接口互访，实现gluster存储软件文件同时写入glusterfs、对象存储，glusterfs文件转入到对象存储、对象存储数据转入文件系统的数据互相访问，不同文件接口系统并存且实现文件互访，从而保障了大数据应用下多种复杂应用场景对于不同存储的需求。

Description

一种实现glusterfs文件系统与对象存储s3数据互访方法
技术领域
本发明涉及对象存储技术领域，尤其涉及一种实现glusterfs文件系统与对象存储s3数据互访方法。
背景技术
Gluster是一个开源的分布式文件系统，具有强大的横向扩展能力，通过扩展能够支持大存储容量和满足数千客户端同时访问；
GlusterFS借助TCP/IP将来自多个服务器的磁盘存储资源聚合到一个全局命名空间中，使用全局统一命名空间来管理数据，对上层用户和应用屏蔽了底层的物理硬件；存储资源可以根据需要在虚拟存储池中进行弹性扩展，比如扩容或收缩；能够对外提供多种访问方式，可以通过NFS，SMB，HTTP协议等访问，还可以通过gluster本身提供的客户端访问。
由于GlusterFS是可横向拓展存储解决方案的核心，它是基于弹性哈希算法和Stripe数据分布策略，移除了元数据依赖，优化了数据分布，提高数据访问并行性，能够大幅提高大文件存储的性能；对于小文件，无元数据服务设计解决了元数据的问题，但GlusterFS并没有在I/O方面作优化，在存储服务器底层文件系统上仍然是大量小文件，本地文件系统元数据访问是一个瓶颈，数据分布和并行性也无法充分发挥作用。
因此，需要一种实现glusterfs文件系统与对象存储s3数据互访方法，用以解决GlusterFS文件系统对海量小文件存储效率和访问性能都表现不佳的问题。
发明内容
本发明提出的一种实现glusterfs文件系统与对象存储s3数据互访方法，解决了GlusterFS文件系统对海量小文件存储效率和访问性能都表现不佳的问题。
为了实现上述目的，本发明采用了如下技术方案：一种实现 glusterfs文件系统与对象存储s3数据互访方法，包括以下步骤：
S1、部署gluster存储软件，每个gluster存储节点以brick方式挂载；
S2、将步骤S1中所有存储节点均通过gluster peer probe server 命令方式组成一个群集；
S3、将步骤S2上的gluster节点上创建卷，并指定卷名为 vol-name以及底层数据分布模式replica 2；
S4、通过gluster volume star命令的方式开启卷，然后通过 nas挂载方式对外提供存储访问；
S5、在glusterfs机头节点上部署monio软件。
优选的，所述步骤S1中的gluster存储软件包括多个独立的服务器，每个服务器上的磁盘文件格式化处理。
优选的，所述步骤S2中的群集包括多个独立的brick，并将群集挂载至glusterfs机头节点上。
优选的，所述步骤S5的monio软件对底层文件系统进行封装处理并实现对外提供对象存储s3接口功能。
优选的，所述步骤S5的monio软件启动方式通过导入用户key 以及secret key值，通过--address ip:port指定提供minio对象访问接口的ip地址跟端口。
与现有技术相比，本发明的有益效果是：
1、本发明中用户通过输入用户key以及secret key值，通过 --address ip:port指定提供minio对象访问接口的ip地址跟端口，部署机头节点/glusterfs目录为文件共享总nas目录，从而实现文件系统转s3接口互访，实现gluster存储软件文件同时写入glusterfs、对象存储，glusterfs文件转入到对象存储、对象存储数据转入文件系统的数据互相访问，不同文件接口系统并存且实现文件互访，从而保障了大数据应用下多种复杂应用场景对于不同存储的需求、以及高带宽、高io、低延时、可拓展目的并存的应用需求，从而扩大大数据应用行业加速大数据的发展。
2、本发明在glusterfs进行大量小文件、海量图片写入的时候，客户端则直接将文件写入到对象存储minio存储中，利用对象存储扁平化的基于键值对的存储方式消除了元数据的依赖，并且打通了文件系统与对象存储系统之间的壁垒，既满足大文件高带宽的需求，又实现了海量小文件的高性能传输，达到双赢的效果。
3、本发明glusterfs文件系统与对象存储s3数据互访打破这种不同文件系统之间的文件互相读取访问的隔离壁垒，实现gluster文件系统glusterfs与对象存储minio数据互相访问读取并共存，让 glusterfs和对象存储优势互补共同促进大数据的发展，扩大大数据应用领域范围。
附图说明
图1为本发明提出的一种实现glusterfs文件系统与对象存储 s3数据互访方法的步骤流程框图；
图2为本发明提出的一种实现glusterfs文件系统与对象存储 s3数据互访方法的原理框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
参照图1-2，一种实现glusterfs文件系统与对象存储s3数据互访方法，包括以下步骤：
S1、部署gluster存储软件，每个gluster存储节点以brick方式挂载；
S2、将步骤S1中所有存储节点均通过gluster peer probe server 命令方式组成一个群集；
S3、将步骤S2上的gluster节点上创建卷，并指定卷名为 vol-name以及底层数据分布模式replica 2；
S4、通过gluster volume star命令的方式开启卷，然后通过 nas挂载方式对外提供存储访问；
S5、在glusterfs机头节点上部署monio软件。
其中步骤S1中的gluster存储软件包括多个独立的服务器，每个服务器上的磁盘文件格式化处理。
其中步骤S2中的群集包括多个独立的brick，并将群集挂载至 glusterfs机头节点上。
其中步骤S5的monio软件对底层文件系统进行封装处理并实现对外提供对象存储s3接口功能。
其中步骤S5的monio软件启动方式通过导入用户key以及 secret key值，通过--address ip:port指定提供minio对象访问接口的ip地址跟端口。
工作原理：在对glusterfs文件系统与对象存储s3数据互访处理时，实际部署gluster存储大数据环境一套，以及minio环境并提供s3接口支持对象存储服务，由于minio对象存储不仅提供s3接口也兼容AWS，而且支持在兼容posix标准的nas系统下，以网关的方式提供基于底层文件系统的对象存储服务；通过部署glusterfs文件系统存储系统，底层由多个独立的服务器组成，每个服务器上的磁盘格式化成文件系统以brick方式挂载，由多个brick组成一个大的 volume，并挂载到glusterfs机头节点，在glusterfs机头节点上部署monio对象存储软件，启动minio服务提供对象访问接口，用户通过输入用户key以及secretkey值，通过--address ip:port指定提供minio对象访问接口的ip地址跟端口，部署机头节点/glusterfs 目录为文件共享总nas目录，从而实现文件系统转s3接口互访，实现gluster存储软件文件同时写入glusterfs、对象存储，glusterfs 文件转入到对象存储、对象存储数据转入文件系统的数据互相访问，不同文件接口系统并存且实现文件互访，从而保障了大数据应用下多种复杂应用场景对于不同存储的需求、以及高带宽、高io、低延时、可拓展目的并存的应用需求，从而扩大大数据应用行业加速大数据的发展；在glusterfs进行大量小文件、海量图片写入的时候，客户端则直接将文件写入到对象存储minio存储中，利用对象存储扁平化的基于键值对的存储方式消除了元数据的依赖，并且打通了文件系统与对象存储系统之间的壁垒，既满足大文件高带宽的需求，又实现了海量小文件的高性能传输，达到双赢的效果；glusterfs文件系统与对象存储s3数据互访打破这种不同文件系统之间的文件互相读取访问的隔离壁垒，实现gluster文件系统glusterfs与对象存储minio数据互相访问读取并共存，让glusterfs和对象存储优势互补共同促进大数据的发展，扩大大数据应用领域范围。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种实现glusterfs文件系统与对象存储s3数据互访方法，其特征在于，包括以下步骤：
S1、部署gluster存储软件，每个gluster存储节点以brick方式挂载；
S2、将步骤S1中所有存储节点均通过gluster peer probe server命令方式组成一个群集；
S3、将步骤S2上的gluster节点上创建卷，并指定卷名为vol-name以及底层数据分布模式replica 2；
S4、通过gluster volume star命令的方式开启卷，然后通过nas挂载方式对外提供存储访问；
S5、在glusterfs机头节点上部署monio软件。
2.根据权利要求1所述的一种实现glusterfs文件系统与对象存储s3数据互访方法，其特征在于，所述步骤S1中的gluster存储软件包括多个独立的服务器，每个服务器上的磁盘文件格式化处理。
3.根据权利要求1所述的一种实现glusterfs文件系统与对象存储s3数据互访方法，其特征在于，所述步骤S2中的群集包括多个独立的brick，并将群集挂载至glusterfs机头节点上。
4.根据权利要求1所述的一种实现glusterfs文件系统与对象存储s3数据互访方法，其特征在于，所述步骤S5的monio软件对底层文件系统进行封装处理并实现对外提供对象存储s3接口功能。
5.根据权利要求1所述的一种实现glusterfs文件系统与对象存储s3数据互访方法，其特征在于，所述步骤S5的monio软件启动方式通过导入用户key以及secret key值，通过--address ip:port指定提供minio对象访问接口的ip地址跟端口。
CN202111516127.5A 2021-12-06 2021-12-06 一种实现glusterfs文件系统与对象存储s3数据互访方法 Pending CN114185490A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111516127.5A CN114185490A (zh) 2021-12-06 2021-12-06 一种实现glusterfs文件系统与对象存储s3数据互访方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111516127.5A CN114185490A (zh) 2021-12-06 2021-12-06 一种实现glusterfs文件系统与对象存储s3数据互访方法

Publications (1)

Publication Number Publication Date
CN114185490A true CN114185490A (zh) 2022-03-15

Family

ID=80543408

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111516127.5A Pending CN114185490A (zh) 2021-12-06 2021-12-06 一种实现glusterfs文件系统与对象存储s3数据互访方法

Country Status (1)

Country Link
CN (1) CN114185490A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114915470A (zh) * 2022-05-16 2022-08-16 深圳市瑞驰信息技术有限公司 一种基于对象存储网关的病毒扫描方法、系统及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105262820A (zh) * 2015-10-29 2016-01-20 浪潮电子信息产业股份有限公司 一种基于Linux操作系统的集群多机互备的方法
US10146590B1 (en) * 2016-03-31 2018-12-04 EMC IP Holding Company LLC Automatically deploying a virtualized object store in an open stack tenant name space
CN111708738A (zh) * 2020-05-29 2020-09-25 深圳市瑞驰信息技术有限公司 实现hadoop文件系统hdfs与对象存储s3数据互访方法及系统
CN111831230A (zh) * 2020-07-17 2020-10-27 华北电力大学 一种面向高性能计算及大数据的智能存储系统
CN111897486A (zh) * 2020-06-08 2020-11-06 华北电力大学 一种基于软件定义的智能统一存储系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105262820A (zh) * 2015-10-29 2016-01-20 浪潮电子信息产业股份有限公司 一种基于Linux操作系统的集群多机互备的方法
US10146590B1 (en) * 2016-03-31 2018-12-04 EMC IP Holding Company LLC Automatically deploying a virtualized object store in an open stack tenant name space
CN111708738A (zh) * 2020-05-29 2020-09-25 深圳市瑞驰信息技术有限公司 实现hadoop文件系统hdfs与对象存储s3数据互访方法及系统
CN111897486A (zh) * 2020-06-08 2020-11-06 华北电力大学 一种基于软件定义的智能统一存储系统
CN111831230A (zh) * 2020-07-17 2020-10-27 华北电力大学 一种面向高性能计算及大数据的智能存储系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DANIELYIN: "GlusterFS部署", Retrieved from the Internet <URL:https://www.zhihu.com/search?type=content&q=gluster%20peer%20probe%20server%20> *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114915470A (zh) * 2022-05-16 2022-08-16 深圳市瑞驰信息技术有限公司 一种基于对象存储网关的病毒扫描方法、系统及电子设备
CN114915470B (zh) * 2022-05-16 2024-05-31 深圳市瑞驰信息技术有限公司 一种基于对象存储网关的病毒扫描方法、系统及电子设备

Similar Documents

Publication Publication Date Title
CN108268208B (zh) 一种基于rdma的分布式内存文件系统
US11588783B2 (en) Techniques for implementing IPV6-based distributed storage space
CN109783438B (zh) 基于librados的分布式NFS系统及其构建方法
CN103237046B (zh) 支持混合云存储应用的分布式文件系统及实现方法
CN102541990B (zh) 利用虚拟分区的数据库重新分布方法和系统
CN106294870B (zh) 基于对象的分布式云存储方法
US10783121B2 (en) Techniques for optimizing data flows in hybrid cloud storage systems
CN105138571B (zh) 分布式文件系统及其存储海量小文件的方法
CN104361030A (zh) 一种具有任务分发功能的分布式缓存架构及缓存方法
CN105404679A (zh) 数据处理方法和装置
CN104410655B (zh) 基于命名机制的分布式网络的存储系统及方法
CN103595799A (zh) 一种实现分布式共享数据库的方法
CN103795801A (zh) 一种基于实时应用集群的元数据集群设计方法
CN109783018A (zh) 一种数据存储的方法及装置
CN114185490A (zh) 一种实现glusterfs文件系统与对象存储s3数据互访方法
JP2020166838A (ja) エッジ重複排除を提供するための技術
US9779108B1 (en) Lustre file system
Saxena et al. A cloud-native architecture for replicated data services
CN114428681A (zh) 数据库系统的计算能力扩容方法及装置
TW201807603A (zh) 分散式資料存取系統及方法
CN105389368A (zh) 一种mpp架构数据库集群元数据管理方法
Huang et al. Resource provisioning with QoS in cloud storage
CN110633256A (zh) 一种分布式集群系统中Session会话的共享方法
Zhou Large scale distributed file system survey
Lin et al. A hadoop-based efficient economic cloud storage system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination