CN108512908A - 一种基于Ceph的云存储容错机制和基于Ceph的web管理平台 - Google Patents

一种基于Ceph的云存储容错机制和基于Ceph的web管理平台 Download PDF

Info

Publication number
CN108512908A
CN108512908A CN201810204472.7A CN201810204472A CN108512908A CN 108512908 A CN108512908 A CN 108512908A CN 201810204472 A CN201810204472 A CN 201810204472A CN 108512908 A CN108512908 A CN 108512908A
Authority
CN
China
Prior art keywords
data
pond
correcting
ceph
eleting codes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810204472.7A
Other languages
English (en)
Inventor
左英楠
刘毅枫
侯亚杰
曲德源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Chaoyue CNC Electronics Co Ltd
Original Assignee
Shandong Chaoyue CNC Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Chaoyue CNC Electronics Co Ltd filed Critical Shandong Chaoyue CNC Electronics Co Ltd
Priority to CN201810204472.7A priority Critical patent/CN108512908A/zh
Publication of CN108512908A publication Critical patent/CN108512908A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于Ceph的云存储容错机制和基于Ceph的web管理平台，属于计算机应用技术领域，基于数据热度进行分层，将存储中的数据根据访问热度分为热数据、温数据和冷数据；设有三个存储池分别为副本池、柯西纠删码池和范德蒙纠删码池。热数据采用副本策略进行数据恢复，存放在副本池；温数据采用纠删码策略进行数据恢复，存放在柯西纠删码池；冷数据采用纠删码策略进行数据恢复，存放在范德蒙纠删码池。本发明通过合理的容错机制可以保证云存储中数据的高可靠性和可用性，可以极大地减少存储空间，提升存储利用率，有利于节约存储成本。

Description

一种基于Ceph的云存储容错机制和基于Ceph的web管理平台
技术领域
本发明涉及计算机应用技术领域，尤具体地说是一种基于Ceph的云存储容错机制和基于Ceph的web管理平台。
背景技术
随着信息科技的快速发展，人们生活水平的提高伴随着对信息量的需求不断增大，数据量呈现爆炸式增长趋势，数据存储需求不断扩大，存储服务也成为云计算中的一种服务需求。对于云存储服务，数据的价值往往高于硬件设备价值，因此，为保证数据可用性及可靠性，分布式云存储就需要具备高性能和高可靠等特性。
而在实际应用中，云存储系统中的文件的访问频率大不相同。有些文件会经常被读取或修改，有些文件则访问频率偏低，但会间歇性被读取，还有一些文件则是几乎不被读取。对于访问频率不同的文件，存储于相同的位置，对于所有文件均采用相同的方式去处理，就造成了存储资源的浪费，存储成本的提高。
发明内容
本发明的技术任务是针对以上不足之处，提供一种基于Ceph的云存储容错机制和基于Ceph的web管理平台，减少云存储的存储空间，提高存储利用率，节约存储成本。
一种基于Ceph的云存储容错机制，基于数据热度进行分层，将存储中的数据根据访问热度分为热数据、温数据和冷数据；设有三个存储池，分别为副本池、柯西纠删码池和范德蒙纠删码池；
热数据采用副本策略进行数据恢复，存放在副本池；
温数据采用纠删码策略进行数据恢复，存放在柯西纠删码池；
冷数据采用纠删码策略进行数据恢复，存放在范德蒙纠删码池。
Ceph集群中单点故障的概率很高，考虑集群中有一个OSD（object storagedevice）损坏时，副本策略和纠删码策略的数据恢复性能：当集群中节点损坏时，副本策略的数据恢复是最快的，只需要取另外的可用副本即可；对于纠删码，则需要获取指定数目的码块操作才能恢复原始数据；副本池的数据恢复性能优于纠删码池，柯西纠删码池性能优于范德蒙纠删码池。
存储中数据根据热度分为热数据、温数据和冷数据。热数据为访问频率较高的数据，通常需要高性能、高度可用、高要求的环境下即时存取，采用副本冗余策略的副本池有良好的读写性能及可靠性，因此适合热数据存储。温数据处于近线或在线备份环境中，用户需要快速访问这些数据，但访问次数较少，因此使用柯西纠删码池进行存储。冷数据通常访问次数极少，通常用于归档备份，因此用范德蒙纠删码池进行存储。
进一步的，实现该Ceph分布式的云存储容错机制，首先将所有数据先按副本策略进行存储，对存入系统的数据实时统计其被访问频率，设定热数据阈值和冷数据阈值，高于热数据阈值则判断为热数据，低于冷数据阈值则判断为冷数据；介于冷数据阈值和热数据阈值之间则判断为温数据。
云存储中的数据被访问频率高于热数据阈值时，判定为热数据，存放在副本池里，该存储池采用副本容错机制。数据被访问频率低于冷数据阈值时，判定为冷数据，存放在范德蒙RS纠删码池里，该存储池采用范德蒙RS纠删码容错机制。数据访问频率小于等于热数据阈值、大于等于冷数据阈值，即介于冷数据阈值和热数据阈值之间时，判定为温数据，存放在柯西RS纠删码池里，该存储池采用改进的柯西RS纠删码容错机制。
优选的，本机制每3个月对云存储中的数据进行一次数据热度划分，根据数据被访问的频率划分热数据、温数据和冷数据，将其各自放入相应的存储池，采用相应的容错机制处理数据。
一种基于Ceph的web管理平台，该管理平台具有资源访问统计日志，并搭建有Ceph存储集群；根据资源访问统计日志将存储数据划分为热数据、温数据和冷数据；Ceph存储集群包括一个监视器monitor和三个OSD（object storage device），并创建有三个存储池；监视器monitor用于管理Ceph存储集群数据信息，三个OSD分别用于三种数据的存储和维护，三个存储池分别用于存放三种数据。三个存储池存放不同类型的数据，采用不同的容错机制处理数据。
该管理平台搭建Ceph存储集群的具体步骤如下：
首先进行Ceph的初始化，进行网段的划分；
然后创建Ceph监视器；
再进行三个OSD的创建；
最后根据访问热度创建三个存储池，将三种数据分别放置对应的三个存储池里。
优选的，所述三个存储池分别为副本池Repool、范德蒙 RS纠删码池Rspool和柯西RS 纠删码池Capool，热数据放置于副本池Repool，该存储池采用副本容错机制；温数据放置于柯西 RS 纠删码池Capool，该存储池采用柯西RS纠删码容错机制；冷数据放置于范德蒙RS纠删码池，该存储池采用范德蒙RS纠删码容错机制。
本发明的一种基于Ceph的云存储容错机制和基于Ceph的web管理平台，具有以下优点：
根据数据访问热度将数据进行分层，针对热度不同的数据进行分别存储，研究其容错机制；通过合理的容错机制可以保证云存储中数据的高可靠性和可用性，可以极大地减少存储空间，提升存储利用率，有利于节约存储成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
附图1是实施例中基于数据热度分层的数据容错流程图；
附图2是基于Ceph存储集群的web管理平台搭建Ceph存储集群的流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明的方案，下面结合具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于Ceph的云存储容错机制，如图1所示，数据热度判决器基于数据热度对云存储中的数据进行分层，将存储中的数据根据其被访问热度分为热数据、温数据和冷数据；设有三个存储池，分别为副本池、柯西纠删码池和范德蒙纠删码池。
实现该Ceph分布式的云存储容错机制，首先将所有数据先按副本策略进行存储，对存入系统的数据实时统计其被访问频率，设定热数据阈值和冷数据阈值，高于热数据阈值则判断为热数据，低于冷数据阈值则判断为冷数据；介于冷数据阈值和热数据阈值之间则判断为温数据。
热数据存放在副本池，采用副本策略进行数据恢复；
温数据存放在柯西纠删码池，采用纠删码策略进行数据恢复；
冷数据存放在范德蒙纠删码池，采用纠删码策略进行数据恢复。
Ceph集群中单点故障的概率很高，考虑集群中有一个OSD（object storagedevice）损坏时，副本策略和纠删码策略的数据恢复性能：当集群中节点损坏时，副本策略的数据恢复是最快的，只需要取另外的可用副本即可；对于纠删码，则需要获取指定数目的码块操作才能恢复原始数据；副本池的数据恢复性能优于纠删码池，柯西纠删码池性能优于范德蒙纠删码池。
存储中数据根据热度分为热数据、温数据和冷数据。热数据为访问频率较高的数据，通常需要高性能、高度可用、高要求的环境下即时存取，采用副本冗余策略的副本池有良好的读写性能及可靠性，因此适合热数据存储。温数据处于近线或在线备份环境中，用户需要快速访问这些数据，但访问次数较少，因此使用柯西纠删码池进行存储。冷数据通常访问次数极少，通常用于归档备份，因此用范德蒙纠删码池进行存储。
云存储中的数据被访问频率高于热数据阈值时，判定为热数据，存放在副本池里，该存储池采用副本容错机制。数据被访问频率低于冷数据阈值时，判定为冷数据，存放在范德蒙RS纠删码池里，该存储池采用范德蒙RS纠删码容错机制。数据访问频率小于等于热数据阈值、大于等于冷数据阈值，即介于冷数据阈值和热数据阈值之间时，判定为温数据，存放在柯西RS纠删码池里，该存储池采用改进的柯西RS纠删码容错机制。
本机制每3个月对云存储中的数据进行一次数据热度划分，根据数据被访问的频率划分热数据、温数据和冷数据，将其各自放入相应的存储池，采用相应的容错机制处理数据。
一种基于Ceph的web管理平台，该管理平台具有资源访问统计日志，并搭建有Ceph存储集群；根据资源访问统计日志将存储数据划分为热数据、温数据和冷数据。Ceph存储集群包括一个监视器monitor和三个OSD（object storage device），并创建有三个存储池；监视器monitor用于管理Ceph存储集群数据信息，三个OSD分别用于三种数据的存储和维护，三个存储池分别用于存放三种数据。三个存储池存放不同类型的数据，采用不同的容错机制处理数据。
该管理平台搭建Ceph存储集群的具体步骤如下：
首先进行Ceph的初始化，进行网段的划分；
然后创建Ceph监视器；
再进行三个Ceph的OSD的创建；
最后创建三个存储池，分别为副本池Repool、范德蒙 RS纠删码池Rspool和柯西 RS 纠删码池Capool；
配置完成，健康状态中Ceph的状态良好即为可用状态。
热数据放置于副本池Repool，该存储池采用副本容错机制；温数据放置于柯西 RS纠删码池Capool，该存储池采用柯西RS纠删码容错机制；冷数据放置于范德蒙RS纠删码池，该存储池采用范德蒙RS纠删码容错机制。
通过合理的容错机制保证云存储中数据的高可靠性和可用性，同时可以极大地减少存储空间，提升存储空间利用率，有利于节约存储成本。
上述具体实施方式仅是本发明的具体个案，本发明的专利保护范围包括但不限于上述具体实施方式，任何符合本发明的一种基于Ceph的云存储容错机制和基于Ceph的web管理平台的权利要求书的且任何所述技术领域的普通技术人员对其所做的适当变化或替换，皆应落入本发明的专利保护范围。

Claims (6)

1.一种基于Ceph的云存储容错机制，其特征在于基于数据热度进行分层，将存储中的数据根据访问热度分为热数据、温数据和冷数据；设有三个存储池分别为副本池、柯西纠删码池和范德蒙纠删码池；
热数据采用副本策略进行数据恢复，存放在副本池；
温数据采用纠删码策略进行数据恢复，存放在柯西纠删码池；
冷数据采用纠删码策略进行数据恢复，存放在范德蒙纠删码池。
2.根据权利要求1所述的一种基于Ceph的云存储容错机制，其特征在于，所有数据先按副本策略进行存储，对存入系统的数据实时统计其被访问频率，设定热数据阈值和冷数据阈值，高于热数据阈值则判断为热数据，低于冷数据阈值则判断为冷数据；介于冷数据阈值和热数据阈值之间则判断为温数据。
3.根据权利要求1或2所述的一种基于Ceph的云存储容错机制，其特征在于每3个月进行一次数据热度划分。
4.一种基于Ceph的web管理平台，其特征在于具有资源访问统计日志，并搭建有Ceph存储集群；根据资源访问统计日志将存储数据划分为热数据、温数据和冷数据；Ceph存储集群包括一个监视器monitor和三个OSD，并创建有三个存储池；监视器monitor用于管理Ceph存储集群数据信息，三个OSD分别用于三种数据的存储和维护，三个存储池分别用于存放三种数据。
5.根据权利要求4所述的一种基于Ceph的web管理平台，其特征在于该管理平台搭建Ceph存储集群的具体步骤如下：
首先进行Ceph的初始化，进行网段的划分；
然后创建Ceph监视器；
再进行三个OSD的创建；
最后根据访问热度创建三个存储池，将三种数据分别放置对应的三个存储池里。
6.根据权利要求4或5所述的一种基于Ceph的web管理平台，其特征在于所述三个存储池分别为副本池Repool、范德蒙 RS纠删码池Rspool和柯西 RS 纠删码池Capool；热数据放置于副本池Repool，该存储池采用副本容错机制；温数据放置于柯西 RS 纠删码池Capool，该存储池采用柯西RS纠删码容错机制；冷数据放置于范德蒙RS纠删码池，该存储池采用范德蒙RS纠删码容错机制。
CN201810204472.7A 2018-03-13 2018-03-13 一种基于Ceph的云存储容错机制和基于Ceph的web管理平台 Pending CN108512908A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810204472.7A CN108512908A (zh) 2018-03-13 2018-03-13 一种基于Ceph的云存储容错机制和基于Ceph的web管理平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810204472.7A CN108512908A (zh) 2018-03-13 2018-03-13 一种基于Ceph的云存储容错机制和基于Ceph的web管理平台

Publications (1)

Publication Number Publication Date
CN108512908A true CN108512908A (zh) 2018-09-07

Family

ID=63376818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810204472.7A Pending CN108512908A (zh) 2018-03-13 2018-03-13 一种基于Ceph的云存储容错机制和基于Ceph的web管理平台

Country Status (1)

Country Link
CN (1) CN108512908A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109213637A (zh) * 2018-11-09 2019-01-15 浪潮电子信息产业股份有限公司 分布式文件系统集群节点的数据恢复方法、装置及介质
CN109783438A (zh) * 2018-12-05 2019-05-21 南京华讯方舟通信设备有限公司 基于librados的分布式NFS系统及其构建方法
CN109783016A (zh) * 2018-12-25 2019-05-21 西安交通大学 一种分布式存储系统中的弹性多维度冗余方法
CN110032338A (zh) * 2019-03-20 2019-07-19 华中科技大学 一种面向纠删码的数据副本放置方法及系统
CN110083649A (zh) * 2019-04-24 2019-08-02 北京电子工程总体研究所 一种基于冷、温、热数据的数据管理系统和数据管理方法
CN110545203A (zh) * 2019-08-21 2019-12-06 之江实验室 云平台创建初始资源备份池和云平台自愈修复的方法
CN111273862A (zh) * 2020-01-16 2020-06-12 上海依图网络科技有限公司 数据存储方法及其装置、可读介质和系统
CN113886115A (zh) * 2021-09-09 2022-01-04 上海智能网联汽车技术中心有限公司 一种基于车路协同的区块链拜占庭容错方法及系统
CN114723444A (zh) * 2022-01-21 2022-07-08 佛山赛思禅科技有限公司 一种用于并行投票共识的数据分片方法
CN114896098A (zh) * 2022-04-29 2022-08-12 重庆大学 一种数据容错方法及分布式存储系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130151884A1 (en) * 2011-12-09 2013-06-13 Promise Technology, Inc. Cloud data storage system
CN106254452A (zh) * 2016-08-01 2016-12-21 成都鼎智汇科技有限公司 云平台下的医疗大数据访问方法
CN106991118A (zh) * 2017-02-17 2017-07-28 深圳市中博睿存信息技术有限公司 基于ceph纠删除容错的读取文件方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130151884A1 (en) * 2011-12-09 2013-06-13 Promise Technology, Inc. Cloud data storage system
CN106254452A (zh) * 2016-08-01 2016-12-21 成都鼎智汇科技有限公司 云平台下的医疗大数据访问方法
CN106991118A (zh) * 2017-02-17 2017-07-28 深圳市中博睿存信息技术有限公司 基于ceph纠删除容错的读取文件方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
漆晓芳: ""基于ceph的云存储容错机制研究与实现"", 《信息技术》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109213637B (zh) * 2018-11-09 2022-03-04 浪潮电子信息产业股份有限公司 分布式文件系统集群节点的数据恢复方法、装置及介质
CN109213637A (zh) * 2018-11-09 2019-01-15 浪潮电子信息产业股份有限公司 分布式文件系统集群节点的数据恢复方法、装置及介质
CN109783438A (zh) * 2018-12-05 2019-05-21 南京华讯方舟通信设备有限公司 基于librados的分布式NFS系统及其构建方法
CN109783016A (zh) * 2018-12-25 2019-05-21 西安交通大学 一种分布式存储系统中的弹性多维度冗余方法
CN110032338A (zh) * 2019-03-20 2019-07-19 华中科技大学 一种面向纠删码的数据副本放置方法及系统
CN110083649A (zh) * 2019-04-24 2019-08-02 北京电子工程总体研究所 一种基于冷、温、热数据的数据管理系统和数据管理方法
CN110545203A (zh) * 2019-08-21 2019-12-06 之江实验室 云平台创建初始资源备份池和云平台自愈修复的方法
CN111273862A (zh) * 2020-01-16 2020-06-12 上海依图网络科技有限公司 数据存储方法及其装置、可读介质和系统
CN113886115A (zh) * 2021-09-09 2022-01-04 上海智能网联汽车技术中心有限公司 一种基于车路协同的区块链拜占庭容错方法及系统
CN113886115B (zh) * 2021-09-09 2024-02-20 上海智能网联汽车技术中心有限公司 一种基于车路协同的区块链拜占庭容错方法及系统
CN114723444A (zh) * 2022-01-21 2022-07-08 佛山赛思禅科技有限公司 一种用于并行投票共识的数据分片方法
CN114896098A (zh) * 2022-04-29 2022-08-12 重庆大学 一种数据容错方法及分布式存储系统
CN114896098B (zh) * 2022-04-29 2023-05-05 重庆大学 一种数据容错方法及分布式存储系统

Similar Documents

Publication Publication Date Title
CN108512908A (zh) 一种基于Ceph的云存储容错机制和基于Ceph的web管理平台
US10198356B2 (en) Distributed cache nodes to send redo log records and receive acknowledgments to satisfy a write quorum requirement
CN111124301B (zh) 一种对象存储设备的数据一致性存储方法及系统
US9906598B1 (en) Distributed data storage controller
US9430321B2 (en) Reconstructing data stored across archival data storage devices
US8918392B1 (en) Data storage mapping and management
US11314444B1 (en) Environment-sensitive distributed data management
EP1569085B1 (en) Method and apparatus for increasing data storage capacity
US8583885B1 (en) Energy efficient sync and async replication
US9436571B2 (en) Estimating data storage device lifespan
US9330108B2 (en) Multi-site heat map management
US8930364B1 (en) Intelligent data integration
CN107844269A (zh) 一种基于一致性哈希的分层混合存储系统及方法
JP2017519258A (ja) ワイド・エリア・ネットワーク上で同等の名前空間レプリカを用いる地理的に分散したファイルシステム
US9424156B2 (en) Identifying a potential failure event for a data storage device
KR20150130496A (ko) 분산 데이터베이스 시스템들을 위한 고속 장애 복구
CN103455577A (zh) 云主机镜像文件的多备份就近存储和读取方法及系统
US11188229B2 (en) Adaptive storage reclamation
US9557938B2 (en) Data retrieval based on storage device activation schedules
US9436524B2 (en) Managing archival storage
CN107918650A (zh) 一种快照创建方法、装置、系统及计算机可读存储介质
CN110196818A (zh) 缓存数据的方法、缓存设备和存储系统
CN104298574A (zh) 一种数据高速存储处理系统
CN116009761A (zh) 一种数据写入方法以及相关设备
CN114089923A (zh) 一种双活存储系统及其数据处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180907

RJ01 Rejection of invention patent application after publication