CN114443677A - 对象存储服务系统 - Google Patents

对象存储服务系统 Download PDF

Info

Publication number
CN114443677A
CN114443677A CN202210109621.8A CN202210109621A CN114443677A CN 114443677 A CN114443677 A CN 114443677A CN 202210109621 A CN202210109621 A CN 202210109621A CN 114443677 A CN114443677 A CN 114443677A
Authority
CN
China
Prior art keywords
object storage
management module
gateway server
storage
server component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210109621.8A
Other languages
English (en)
Inventor
方浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202210109621.8A priority Critical patent/CN114443677A/zh
Publication of CN114443677A publication Critical patent/CN114443677A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2141—Access rights, e.g. capability lists, access control lists, access tables, access matrices

Abstract

本发明实施例涉及一种对象存储服务系统，包括：Gateway Server组件、对象存储管理模块、多个对象存储节点服务器、Etcd存储数据库；所述Gateway Server组件与对象存储接口连接，用于接收对象存储接口发送的对象存储请求；所述对象存储管理模块与所述Gateway Server组件连接，用于接收所述Gateway Server组件传输的所述对象存储请求；所述对象存储管理模块与所述多个对象存储节点服务器连接，用于管理所述多个对象存储节点服务器，由此系统，可以支持Openstack Swift接口和AWS Swift接口，同时支持EC纠删码和副本管理，采用强一致性确保数据一致性，同时引入了Etcd存储数据库作为集群管理和数据库管理，提高对象存储系统的功能、性能和可维护性。

Description

对象存储服务系统
技术领域
本发明实施例涉及对象存储领域，尤其涉及一种对象存储服务系统。
背景技术
在分布式存储领域，Openstack Swift和AWS S3是两个不同的对象存储接口，存储领域应用广泛，在对象存储服务中Ceph提供了Ceph RBD、Ceph FS、RGW三种块、文件和对象存储服务，其中RGW是一个对象存储服务，它支持Swift及AWSS3的API接口，提供两个不同的对象存储接口。另外，在开源对象存储服务中，Openstack Swfit是一个对象存储服务，它是Openstack体系中的一个对象存储管理，提供Swfit API接口；Minio是兼容AWS S3的对象存储管理管理。
Ceph的RGW对象存储服务兼容Swfit和AWS S3接口，但是由于Ceph的RBD和Ceph FS使用统一的Librados包装器，导致很难对对象存储做性能、易用性等相关优化，同时整个Ceph在部署和使用中也受限于整体Ceph体系，整个框架比较臃肿；Openstack Swift仅能提供Swift接口，同时采用最终一致性模型，在某些场景下无法保证数据的强一致性；Minio是使用Go语言编写的对象存储服务，Minio仅支持AWS S3对象存储服务，其仅支持EC纠删码，而不支持副本，在功能上缺失。
发明内容
鉴于此，为解决上述技术问题或部分技术问题，本发明实施例提供一种对象存储服务系统。
第一方面，本发明实施例提供一种对象存储服务系统，包括：Gateway Server组件、对象存储管理模块、多个对象存储节点服务器、Etcd存储数据库；
所述Gateway Server组件与对象存储接口连接，用于接收对象存储接口发送的对象存储请求；
所述对象存储管理模块与所述Gateway Server组件连接，用于接收所述GatewayServer组件传输的所述对象存储请求；
所述对象存储管理模块与所述多个对象存储节点服务器连接，用于管理所述多个对象存储节点服务器。
可选的，所述系统还包括：认证服务器；
所述认证服务器用于接收所述Gateway Server组件发送的账户认证请求，对账户的访问权限进行认证。
可选的所述对象存储管理模块包括：容器管理模块、账户管理模块、对象管理模块；
所述容器管理模块用于管理容器的状态信息；
所述账户管理模块用于管理账户的状态信息；
所述对象管理模块用于管理存储对象。
可选的，所述Etcd存储数据库与所述容器管理模块、所述账户管理模块和所述对象管理模块连接；
所述Etcd存储数据库用于接收账户的状态信息、容器的状态信息以及存储对象的元数据信息。
可选的，所述对象管理模块用于管理所述多个对象存储节点服务器的物理磁盘信息，采用分布式存储方法将待存储的对象信息存储到目标物理磁盘。
可选的，所述系统还包括：AWS S3模块，用于兼容AWS S3对象存储接口；
所述AWS S3对象存储接口与所述Gateway Server组件连接，用于向所述GatewayServer组件发送AWS S3对象存储请求。
可选的，所述系统还包括：Openstack Swift模块，用于兼容Openstack Swift对象存储接口；
所述Openstack Swift对象存储接口与所述Gateway Server组件连接，用于向所述Gateway Server组件发送Openstack Swift对象存储请求。
可选的，所述系统还包括：Ext4日志文件系统；
所述Ext4日志文件系统与所述Etcd存储数据库连接，用于存储Etcd存储数据库发送的账户的状态信息、容器的状态信息以及存储对象的元数据信息。
可选的，所述系统还包括：用户端；
所述用户端通过所述AWS S3对象存储接口和所述Openstack Swift对象存储接口发送对象存储请求。
本发明实施例提供的对象存储服务系统，包括：Gateway Server组件、对象存储管理模块、多个对象存储节点服务器、Etcd存储数据库；所述Gateway Server组件与对象存储接口连接，用于接收对象存储接口发送的对象存储请求；所述对象存储管理模块与所述Gateway Server组件连接，用于接收所述Gateway Server组件传输的所述对象存储请求；所述对象存储管理模块与所述多个对象存储节点服务器连接，用于管理所述多个对象存储节点服务器，由此系统，可以支持Openstack Swift接口和AWS Swift接口，同时支持EC纠删码和副本管理，采用强一致性确保数据一致性，同时引入了Etcd存储数据库作为集群管理和数据库管理，提高对象存储系统的功能、性能和可维护性。
附图说明
图1为对象存储服务系统的架构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定，实施例并不构成对本发明实施例的限定。
为便于对本发明实施例的理解，下面将结合附图以具体实施例做进一步的解释说明，实施例并不构成对本发明实施例的限定。
图1为对象存储服务系统的架构示意图，如图1所示，对象存储服务系统包括：Gateway Server组件、对象存储管理模块(Object Storage Manager)、多个对象存储节点服务器、Etcd存储数据库，其中，Gateway Server组件与对象存储接口连接，用于接收对象存储接口发送的对象存储请求；对象存储管理模块与Gateway Server组件连接，用于接收Gateway Server组件传输的对象存储请求；对象存储管理模块与多个对象存储节点服务器连接，用于管理多个对象存储节点服务器。
进一步的，本对象存储服务系统还包括：认证服务器(Authentication Server)，该认证服务器用于接收Gateway Server组件发送的账户认证请求，对账户的访问权限进行认证。Gateway Server组件根据对象存储服务系统对外提供的AWS S3和Openstak swift接口，接收用户端发送的对象存储请求，先向Authentication Server(认证服务器)发送认证，认证用户端访问的权限，支持Openstack Keystone认证；满足条件后，根据接口请求发送到对象存储管理模块。
可选的，对象存储管理模块包括：容器管理模块、账户管理模块、对象管理模块；容器管理模块用于管理容器的状态信息；账户管理模块用于管理账户的状态信息；对象管理模块用于管理存储对象。
对象存储管理模块管理所有对象存储节点服务器的信息，同时维护对象存储节点服务器的上线、下线等功能，通过Etcd存储数据库作为集群发现功能管理其他对象存储管理模块的状态信息。根据Gateway Server组件提供的访问，可以分别设定容器管理模块(Container Manager)、账户管理模块(Account Manager)、对象管理模块(ObjectManager)三个模块。如果是账户的创建、删除、查询等信息将其发送到Account Manager账户管理，如果是容器的创建、删除、查询等信息则发送到Container Manager容器管理模块。
可选的，对象管理模块还用于管理多个对象存储节点服务器的物理磁盘信息，采用分布式存储方法(例如，DHT分布式存储方法)将待存储的对象信息存储到目标物理磁盘(Disk)。
可选的，Etcd存储数据库与容器管理模块、账户管理模块和对象管理模块连接；Etcd存储数据库用于接收账户的状态信息、容器的状态信息以及存储对象的元数据信息。
可选的，对象存储服务系统还包括：Ext4日志文件系统，该Ext4日志文件系统与Etcd存储数据库连接，用于存储Etcd存储数据库发送的账户的状态信息、容器的状态信息以及存储对象的元数据信息。
可选的，对象存储服务系统还包括：AWS S3模块，用于兼容AWS S3对象存储接口，其中，AWS S3对象存储接口与Gateway Server组件连接，用于向Gateway Server组件发送AWS S3对象存储请求。
可选的，对象存储服务系统还包括：Openstack Swift模块，用于兼容OpenstackSwift对象存储接口，其中，Openstack Swift对象存储接口与Gateway Server组件连接，用于向Gateway Server组件发送Openstack Swift对象存储请求。
可选的，对象存储服务系统还包括：用户端，用户端通过AWS S3对象存储接口和Openstack Swift对象存储接口向Gateway Server组件发送对象存储请求。
本发明实施例提供的对象存储服务系统，包括：Gateway Server组件、对象存储管理模块、多个对象存储节点服务器、Etcd存储数据库；所述Gateway Server组件与对象存储接口连接，用于接收对象存储接口发送的对象存储请求；所述对象存储管理模块与所述Gateway Server组件连接，用于接收所述Gateway Server组件传输的所述对象存储请求；所述对象存储管理模块与所述多个对象存储节点服务器连接，用于管理所述多个对象存储节点服务器，由此系统，可以支持Openstack Swift接口和AWS Swift接口，同时支持EC纠删码和副本管理，采用强一致性确保数据一致性，同时引入了Etcd存储数据库作为集群管理和数据库管理，提高对象存储系统的功能、性能和可维护性。

Claims (9)

1.一种对象存储服务系统，其特征在于，包括：Gateway Server组件、对象存储管理模块、多个对象存储节点服务器、Etcd存储数据库；
所述Gateway Server组件与对象存储接口连接，用于接收对象存储接口发送的对象存储请求；
所述对象存储管理模块与所述Gateway Server组件连接，用于接收所述GatewayServer组件传输的所述对象存储请求；
所述对象存储管理模块与所述多个对象存储节点服务器连接，用于管理所述多个对象存储节点服务器。
2.根据权利要求1所述的系统，其特征在于，所述系统还包括：认证服务器；
所述认证服务器用于接收所述Gateway Server组件发送的账户认证请求，对账户的访问权限进行认证。
3.根据权利要求1所述的系统，其特征在于，所述对象存储管理模块包括：容器管理模块、账户管理模块、对象管理模块；
所述容器管理模块用于管理容器的状态信息；
所述账户管理模块用于管理账户的状态信息；
所述对象管理模块用于管理存储对象。
4.根据权利要求3所述的系统，其特征在于，所述Etcd存储数据库与所述容器管理模块、所述账户管理模块和所述对象管理模块连接；
所述Etcd存储数据库用于接收账户的状态信息、容器的状态信息以及存储对象的元数据信息。
5.根据权利要求3所述的系统，其特征在于，所述对象管理模块用于管理所述多个对象存储节点服务器的物理磁盘信息，采用分布式存储方法将待存储的对象信息存储到目标物理磁盘。
6.根据权利要求1所述的系统，其特征在于，所述系统还包括：AWS S3模块，用于兼容AWS S3对象存储接口；
所述AWS S3对象存储接口与所述Gateway Server组件连接，用于向所述GatewayServer组件发送AWS S3对象存储请求。
7.根据权利要求1所述的系统，其特征在于，所述系统还包括：Openstack Swift模块，用于兼容Openstack Swift对象存储接口；
所述Openstack Swift对象存储接口与所述Gateway Server组件连接，用于向所述Gateway Server组件发送Openstack Swift对象存储请求。
8.根据权利要求1所述的系统，其特征在于，所述系统还包括：Ext4日志文件系统；
所述Ext4日志文件系统与所述Etcd存储数据库连接，用于存储Etcd存储数据库发送的账户的状态信息、容器的状态信息以及存储对象的元数据信息。
9.根据权利要求6或7所述的系统，其特征在于，所述系统还包括：用户端；
所述用户端通过所述AWS S3对象存储接口和所述Openstack Swift对象存储接口发送对象存储请求。
CN202210109621.8A 2022-01-28 2022-01-28 对象存储服务系统 Pending CN114443677A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210109621.8A CN114443677A (zh) 2022-01-28 2022-01-28 对象存储服务系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210109621.8A CN114443677A (zh) 2022-01-28 2022-01-28 对象存储服务系统

Publications (1)

Publication Number Publication Date
CN114443677A true CN114443677A (zh) 2022-05-06

Family

ID=81371188

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210109621.8A Pending CN114443677A (zh) 2022-01-28 2022-01-28 对象存储服务系统

Country Status (1)

Country Link
CN (1) CN114443677A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114741441A (zh) * 2022-06-08 2022-07-12 广州市玄武无线科技股份有限公司 多类型存储引擎对象存储系统、方法和计算机可读介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114741441A (zh) * 2022-06-08 2022-07-12 广州市玄武无线科技股份有限公司 多类型存储引擎对象存储系统、方法和计算机可读介质

Similar Documents

Publication Publication Date Title
TWI473029B (zh) 可延伸及可程式化之多租戶服務結構
TW571541B (en) Electronic messaging system method and apparatus
US20070276838A1 (en) Distributed storage
US8606927B2 (en) Multi-device communication method and system
CN104268242A (zh) 目录租赁
US10831612B2 (en) Primary node-standby node data transmission method, control node, and database system
CN102035815B (zh) 数据获取方法、接入节点和系统
US20170249354A1 (en) Synchronizing query result between heterogeneous databases
WO2007113836A2 (en) Peer to peer syncronization system and method
CN103067463A (zh) 用户root权限集中管理系统和管理方法
CN101442558B (zh) 一种为p2sp网络提供索引服务的方法和系统
CN109547512A (zh) 一种基于NoSQL的分布式Session管理的方法及装置
KR101545626B1 (ko) Ｄｄｓ-ｄｂ 연동 시스템
CN109542861B (zh) 一种文件管理方法、装置和系统
CN101771723A (zh) 数据同步方法
CN102333029A (zh) 一种服务器集群系统中的路由方法
US20140136496A1 (en) System, method and non-transitory computer readable storage medium for supporting network file accessing and versioning with multiple protocols in a cloud storage server
WO2007134918A1 (en) Distributed storage
CN107707616A (zh) 一种数据传输方法及系统
CN108616581A (zh) 基于olap/oltp混合应用的数据存储系统及方法
KR20130011130A (ko) 메모 데이터의 동기화를 위한 메모 동기화 시스템, 모바일 시스템 및 메모 동기화 방법
CN114443677A (zh) 对象存储服务系统
CN108965054A (zh) 一种客户端与服务端数据快速交互方法
CN101789963A (zh) 数据同步系统
JP4247975B2 (ja) データ管理方法、データ管理システム、およびそのためのプログラムならびに記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination