CN110880986A - 一种基于Ceph的高可用NAS存储系统 - Google Patents

一种基于Ceph的高可用NAS存储系统 Download PDF

Info

Publication number
CN110880986A
CN110880986A CN201911047926.5A CN201911047926A CN110880986A CN 110880986 A CN110880986 A CN 110880986A CN 201911047926 A CN201911047926 A CN 201911047926A CN 110880986 A CN110880986 A CN 110880986A
Authority
CN
China
Prior art keywords
interface
nas
ceph
storage
nfs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201911047926.5A
Other languages
English (en)
Inventor
张道龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fiberhome Telecommunication Technologies Co Ltd
Original Assignee
Fiberhome Telecommunication Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fiberhome Telecommunication Technologies Co Ltd filed Critical Fiberhome Telecommunication Technologies Co Ltd
Priority to CN201911047926.5A priority Critical patent/CN110880986A/zh
Publication of CN110880986A publication Critical patent/CN110880986A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/04—Network management architectures or arrangements
    • H04L41/042—Network management architectures or arrangements comprising distributed management centres cooperatively managing the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于Ceph的高可用NAS存储系统，其特征在于，包括客户端和存储服务端，所述存储服务端包括分布在多个服务器上的多个存储单元集群和用来管理所述多个存储单元集群的集群管理单元，其中，每个所述存储单元包括：Ceph存储单元，用来存储数据；NAS接口，用来提供给客户端通过所述NAS接口读写所述Ceph存储单元的存储数据，所述NAS接口包括Samba接口和Nfs‑ganesha接口；Pacemaker管理单元，用来监控所述NAS接口的运行。本发明支持能够对外提供Samba接口和Nfs‑ganesha接口，实现接口多样化。

Description

一种基于Ceph的高可用NAS存储系统
技术领域
本发明属于云计算技术领域，更具体地，涉及一种基于Ceph的高可用NAS存储系统。
背景技术
NAS(Network Attached Storage)是指连接在网络上，具备资料存储功能的装置，因此也称为“网络存储器”。它是一种专用数据存储服务器，以数据为中心，将存储设备与服务器彻底分离，集中管理数据，从而释放带宽、提高性能、降低总拥有成本、保护投资。现在用户对NAS存储的要求越来越多，比如稳定性，可靠性，数据冗余，高并发，然而现有NAS接口单一，无法满足用户的需求。
发明内容
针对现有技术的至少一个缺陷或改进需求，本发明提供了一种基于Ceph的高可用NAS存储系统，其目的在于解决现有技术NAS接口单一的问题。
为实现上述目的，按照本发明的一个方面，提供了一种基于Ceph的高可用NAS存储系统，包括客户端和存储服务端，所述存储服务端包括分布在多个服务器上的多个存储单元和用来管理所述多个存储单元的集群管理单元，其中，每个所述存储单元包括：
Ceph存储单元，用来存储数据；
NAS接口，用来提供给所述客户端通过所述NAS接口读写所述Ceph存储单元的存储数据，所述NAS接口包括Samba接口和Nfs-ganesha接口；
Pacemaker管理单元，用来监控所述NAS接口的运行。
优选地，所述集群管理单元包括CTDB和Rados KV，所述CTDB用来管理所述Samba接口，所述Rados KV用来管理所述Nfs-ganesha接口。
优选地，所述客户端包括Samba客户端和NFS客户端，所述Samba客户端用来访问所述Samba接口，所述NFS客户端用来访问所述Nfs-ganesha接口。
优选地，所述Ceph存储单元采取冗余形式或纠删码形式保存数据。
优选地，所述Samba接口用来实现CIFS协议通信，所述Nfs-ganesha接口用来实现NFS协议通信。
优选地，所述NAS接口还包括DLAN接口。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，对外提供NAS接口服务Samba和nfs-Ganesha以集群化运行，这样去中心化，避免了节点故障成为瓶颈，然后通过pacemaker来保证服务正常运行，这样保证了NAS服务层面的高可高性，底层数据存储以Ceph基础，保证数据可靠性，数据的可靠性由Ceph自身保证，具有优点：扩展性好，架构灵活；支持多种NAS存储，Samba、nfs接口；提供数据冗余机制；提供高并发；支持NAS数据分级存储。
附图说明
图1是本发明实施例提供的一种基于Ceph的高可用NAS存储系统示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明实施例所提供的一种基于Ceph的高可用NAS存储系统，具备支持多种接口、高可靠性、稳定性、数据冗余的优点。具体结构如图1所示，包括客户端和存储服务端，存储服务端包括分布在多个服务器上的多个存储单元集群和用来管理存储单元集群的集群管理单元，其中，每个存储单元包括Ceph存储单元、NAS接口、Pacemaker管理单元。
Ceph存储单元，用来存储数据。Ceph是一个专注于分布式的、弹性可扩展的、高可靠的、性能优异的存储系统平台，可用于为虚拟机提供块存储方案或通过FUSE提供常规的文件系统。Ceph是个高度可配置的系统，管理者可以控制系统的各个方面。它提供了一个命令行界面用于监视和控制其存储集群。Ceph存储单可以采取冗余形式或纠删码形式保存数据。
NAS接口，用来提供给客户端通过NAS接口读写所述Ceph存储单元的存储数据，NAS接口包括Samba接口和Nfs-ganesha接口。优选地，NAS接口还包括DLAN接口。
Samba接口用来实现CIFS的NAS存储结构，需要Samba服务，同时通过CTDB共享元数据要实现Samba服务集群运行，同时可以对接Ceph，把通过Samba传过来数据保存到Ceph。Samba是在Linux和UNIX系统上实现SMB协议的一个免费软件，由服务器及客户端程序构成。SMB(Server Messages Block，信息服务块)是一种在局域网上共享文件和打印机的一种通信协议，它为局域网内的不同计算机之间提供文件及打印机等资源的共享服务。SMB协议是客户机/服务器型协议，客户机通过该协议可以访问服务器上的共享文件系统、打印机及其他资源。通过设置“NetBIOS over TCP/IP”使得Samba不但能与局域网络主机分享资源，还能与全世界的电脑分享资源。
Nfs-ganesha部分：实现NFS的NAS结构，需要Nfs-ganasha服务，同时要实现通过Rados共享N元数据实现Nfs-ganasha服务集群运行，同时可以对接Ceph,把通过Samba传过来数据保存到Ceph。NFS(Network File System)即网络文件系统，是FreeBSD支持的文件系统中的一种，它允许网络中的计算机之间共享资源。在NFS的应用中，本地NFS的客户端应用可以透明地读写位于远端NFS服务器上的文件，就像访问本地文件一样。
Pacemaker管理单元，用来监控所述NAS接口的运行。Pacemaker管理单元部分:通过组件可以监控服务Samba和Nfs-ganasha正常运行，保证集群运行的可靠性。Pacemaker是一个开源的高可用资源管理器(CRM)，位于HA集群架构中资源管理、资源代理(RA)这个层次，它不能提供底层心跳信息传递的功能，要想与对方节点通信需要借助底层的心跳传递服务，将信息通告给对方。作为通信层和提供关系管理服务，心跳引擎，检测心跳信息，Corosync是集群管理套件的一部分，它在传递信息的时候可以通过一个简单的配置文件来定义信息传递的方式和协议等。
所述集群管理单元包括CTDB和Rados KV，所述CTDB用来管理所述Samba接口，所述Rados KV用来管理所述Nfs-ganesha接口。利益哦给你Samba的CTBD来管理集群的元数据，利用Rados KV来管理Nfs-ganesha的元数据，实现NFS和CIFS以集群方式来对外提供服务。
客户端包括Samba客户端和NFS客户端，Samba客户端通过CIFS方式访问所述Samba接口，NFS客户端是通过NFS方式访问所述Nfs-ganesha接口。
相比于现有的NAS存储系统，本发明提供的NAS存储系统对外提供NAS接口服务Samba和Nfs-Ganesha以集群化运行，这样去中心化，避免了节点故障成为瓶颈，然后通过Pacemaker来保证服务正常运行，这样保证了NAS服务层面的高可高性，底层数据存储以Ceph基础，保证数据可靠性，数据的可靠性由Ceph自身保证，具有优点：扩展性好，架构灵活；支持多种NAS存储，Samba、Nfs-ganesha接口；提供数据冗余机制；提供高并发；支持NAS数据分级存储。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于Ceph的高可用NAS存储系统，其特征在于，包括客户端和存储服务端，所述存储服务端包括分布在多个服务器上的多个存储单元和用来管理所述多个存储单元的集群管理单元，其中，每个所述存储单元包括：
Ceph存储单元，用来存储数据；
NAS接口，用来提供给所述客户端通过所述NAS接口读写所述Ceph存储单元的存储数据，所述NAS接口包括Samba接口和Nfs-ganesha接口；
Pacemaker管理单元，用来监控所述NAS接口的运行。
2.如权利要求1所述的一种基于Ceph的高可用NAS存储系统，其特征在于，所述集群管理单元包括CTDB和Rados KV，所述CTDB用来管理所述Samba接口，所述Rados KV用来管理所述Nfs-ganesha接口。
3.如权利要求2所述的一种基于Ceph的高可用NAS存储系统，其特征在于，所述客户端包括Samba客户端和NFS客户端，所述Samba客户端用来访问所述Samba接口，所述NFS客户端用来访问所述Nfs-ganesha接口。
4.如权利要求1所述的一种基于Ceph的高可用NAS存储系统，其特征在于，所述Ceph存储单元采取冗余形式或纠删码形式保存数据。
5.如权利要求1所述的一种基于Ceph的高可用NAS存储系统，其特征在于，所述Samba接口用来实现CIFS协议通信，所述Nfs-ganesha接口用来实现NFS协议通信。
6.如权利要求1所述的一种基于Ceph的高可用NAS存储系统，其特征在于，所述NAS接口还包括DLAN接口。
CN201911047926.5A 2019-10-30 2019-10-30 一种基于Ceph的高可用NAS存储系统 Withdrawn CN110880986A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911047926.5A CN110880986A (zh) 2019-10-30 2019-10-30 一种基于Ceph的高可用NAS存储系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911047926.5A CN110880986A (zh) 2019-10-30 2019-10-30 一种基于Ceph的高可用NAS存储系统

Publications (1)

Publication Number Publication Date
CN110880986A true CN110880986A (zh) 2020-03-13

Family

ID=69728151

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911047926.5A Withdrawn CN110880986A (zh) 2019-10-30 2019-10-30 一种基于Ceph的高可用NAS存储系统

Country Status (1)

Country Link
CN (1) CN110880986A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111339059A (zh) * 2020-03-25 2020-06-26 星辰天合（北京）数据科技有限公司 基于分布式存储系统Ceph的NAS存储系统
CN112579549A (zh) * 2020-12-14 2021-03-30 浪潮云信息技术股份公司 CephFS文件协议共享系统、构建方法及实现方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101366028A (zh) * 2005-12-16 2009-02-11 鲍尔法尔有限公司 永久存储设备
CN103067488A (zh) * 2012-12-25 2013-04-24 中国科学院深圳先进技术研究院 一种统一存储的实现方法
CN105516117A (zh) * 2015-12-02 2016-04-20 南方电网科学研究院有限责任公司 一种基于云计算的电力数据安全存储方法
CN109062935A (zh) * 2018-06-14 2018-12-21 新华三技术有限公司 一种文件操作的方法和装置
US10289325B1 (en) * 2017-07-31 2019-05-14 EMC IP Holding Company LLC Managing multiple tenants in NAS (network attached storage) clusters

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101366028A (zh) * 2005-12-16 2009-02-11 鲍尔法尔有限公司 永久存储设备
CN103067488A (zh) * 2012-12-25 2013-04-24 中国科学院深圳先进技术研究院 一种统一存储的实现方法
CN105516117A (zh) * 2015-12-02 2016-04-20 南方电网科学研究院有限责任公司 一种基于云计算的电力数据安全存储方法
US10289325B1 (en) * 2017-07-31 2019-05-14 EMC IP Holding Company LLC Managing multiple tenants in NAS (network attached storage) clusters
CN109062935A (zh) * 2018-06-14 2018-12-21 新华三技术有限公司 一种文件操作的方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111339059A (zh) * 2020-03-25 2020-06-26 星辰天合（北京）数据科技有限公司 基于分布式存储系统Ceph的NAS存储系统
CN112579549A (zh) * 2020-12-14 2021-03-30 浪潮云信息技术股份公司 CephFS文件协议共享系统、构建方法及实现方法

Similar Documents

Publication Publication Date Title
US20200186602A1 (en) Continuous backup of data in a distributed data store
US10534681B2 (en) Clustered filesystems for mix of trusted and untrusted nodes
US7617216B2 (en) Metadata offload for a file server cluster
US9880753B2 (en) Write requests in a distributed storage system
US7275050B2 (en) Storage system, a method of file data backup and method of copying of file data
US20060041580A1 (en) Method and system for managing distributed storage
US8589550B1 (en) Asymmetric data storage system for high performance and grid computing
US9031984B2 (en) Providing multiple concurrent access to a file system
US20090222509A1 (en) System and Method for Sharing Storage Devices over a Network
US7139809B2 (en) System and method for providing virtual network attached storage using excess distributed storage capacity
US6185601B1 (en) Dynamic load balancing of a network of client and server computers
JP4448719B2 (ja) ストレージシステム
CN103561101A (zh) 一种网络文件系统
US20030028514A1 (en) Extended attribute caching in clustered filesystem
JP4478321B2 (ja) ストレージシステム
CN1723434A (zh) 用于可扩展网络附接存储系统的装置和方法
US7191225B1 (en) Mechanism to provide direct multi-node file system access to files on a single-node storage stack
US8701113B2 (en) Switch-aware parallel file system
CN110880986A (zh) 一种基于Ceph的高可用NAS存储系统
US11461123B1 (en) Dynamic pre-copy and post-copy determination for live migration between cloud regions and edge locations
US7103638B1 (en) Mechanism to re-export NFS client mount points from nodes in a cluster
US20050193021A1 (en) Method and apparatus for unified storage of data for storage area network systems and network attached storage systems
US7577688B2 (en) Systems and methods for transparent movement of file services in a clustered environment
US8315973B1 (en) Method and apparatus for data moving in multi-device file systems
Sacks Demystifying storage networking das, san, nas, nas gateways, fibre channel, and iscsi

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20200313

WW01 Invention patent application withdrawn after publication