CN112667443A - 一种面向用户的可变分布式存储副本容错方法 - Google Patents

一种面向用户的可变分布式存储副本容错方法 Download PDF

Info

Publication number
CN112667443A
CN112667443A CN202011639986.9A CN202011639986A CN112667443A CN 112667443 A CN112667443 A CN 112667443A CN 202011639986 A CN202011639986 A CN 202011639986A CN 112667443 A CN112667443 A CN 112667443A
Authority
CN
China
Prior art keywords
distributed storage
fault tolerance
data
client data
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011639986.9A
Other languages
English (en)
Inventor
周涛
姜猛
冯禄明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Great Wall Chaoyun Beijing Technology Co ltd
Original Assignee
Great Wall Chaoyun Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Great Wall Chaoyun Beijing Technology Co ltd filed Critical Great Wall Chaoyun Beijing Technology Co ltd
Priority to CN202011639986.9A priority Critical patent/CN112667443A/zh
Publication of CN112667443A publication Critical patent/CN112667443A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种面向用户的可变分布式存储副本容错方法，对于重要数据设有容错性高的容错副本，容错性高以安全性为主，对于一般重要数据同样设有容错性低的容错副本保证安全性，同时通过低的副本容错级别来提升分布式存储可用容量；通过副本机制实现分布式存储容错，基于不同用户不同重要程度的数据实现不同的容错机制，既能保证重要数据的容错度，也能保证存储的有效使用容量，本发明解决了传统分布式存储中存储副本容错度和有效使用容量无法兼顾的问题。

Description

一种面向用户的可变分布式存储副本容错方法
技术领域
本发明涉及计算机存储领域，尤其涉及一种面向用户的可变分布式存储副本容错方法。
背景技术
互联网,5G及其相关产业的飞速发展使我们迈入了大数据时代,存储海量数据将面临着巨大挑战；大规模分布式存储系统以其海量存储能力,高吞吐量,高可用性和低成本的突出优势。随着数据爆炸性增长,分布式存储系统的规模也越来越大,节点数少则几十多则上万,磁盘或者节点出现故障的概率大大提高。传统的副本容错机制只能设置固定的副本容错机制，如三副本；对于不同用户不同重要级别的数据无法实现不同级别的容错机制，从而导致如果高容错副本机制会降低可用容量，提高可用容量会降低容错度；因此,容错技术是分布式存储系统中不可或缺的重要研究内容。
发明内容
本发明的目的在于提供一种面向用户的可变分布式存储副本容错方法，从而解决现有技术中存在的前述问题。
为了实现上述目的，本发明采用的技术方案如下：
一种面向用户的可变分布式存储副本容错方法，包括以下步骤：
S1、在分布式存储系统中设置针对客户端数据的容错级别；
S2、通过客户端私有协议，建立所述分布式存储系统与客户端之间的联系，在所述分布式存储系统中针对所述客户端数据设置数据重要程度，并按照所述数据重要程度划分所述客户端的副本容错级别；
S3、所述客户端数据通过所述客户端私有协议存储添加至所述分布式存储系统中时，对所述客户端数据进行用户验证，获取所述客户端数据的所述数据重要程度对应的所述副本容错级别；
S4、根据所述副本容错级别对应的容错机制，将所述客户端数据的副本对应存储至所述分布式存储系统中的分布式存储节点中。
优选的，所述容错机制为：所述客户端数据的所述数据重要程度越高，对应在所述分布式存储系统中的所述副本容错级别越高，用于存储所述客户端数据的所述分布式存储系统中的存储节点数越多。
优选的，所述数据重要程度包括重要数据和一般重要数据；所述重要数据对应在所述分布式存储系统中的副本容错级别为高容错级别，所述一般重要数据对应在所述分布式存储系统中的副本容错级别为一般容错级别。
优选的，所述高容错级别的容错机制为：所述分布式存储系统中存储有所述客户端数据的所述分布式存储节点设有3个；所述一般容错级别的容错机制为：所述分布式存储系统中存储有所述客户端数据的所述分布式存储节点中设有2个。
优选的，每一个所述分布式存储节点中存储有一个以上不同的所述客户端数据的副本，有且仅有一个相同的所述客户端数据的副本。
优选的，当存储有所述客户端数据的一个所述分布式存储节点存在故障时，在另一个存储有相同的所述客户端数据的副本的所述分布式存储节点中并行重建恢复相同的所述客户端数据。
本发明的有益效果是：本发明公开了一种面向用户的可变分布式存储副本容错方法，对于重要数据设有容错性高的容错副本，容错性高以安全性为主，对于一般重要数据同样设有容错性低的容错副本保证安全性，同时通过低的副本容错级别来提升分布式存储可用容量；通过副本机制实现分布式存储容错，基于不同用户不同重要程度的数据实现不同的容错机制，既能保证重要数据的容错度，也能保证存储的有效使用容量，本发明解决了传统分布式存储中存储副本容错度和有效使用容量无法兼顾的问题。
附图说明
图1是可变分布式存储副本容错流程图；
图2是分布式存储系统的整体架构；
图3是分布式存储副本容错机制；
图4是实施例分布式存储系统整体架构；
图5是实施例分布式存储副本容错机制。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。
一种面向用户的可变分布式存储副本容错方法，在传统分布式存储容错基础上，针对不同的用户不同重要程度的客户端数据采用不同的容错机制，将所述客户端数据存储至分布式存储系统中，既能保证重要数据的容错度，又能保证存储的有效使用容量；如图1所示，包括以下步骤：
S1、在所述分布式存储系统中设置针对客户端数据的副本容错级别；不同副本容错级别的所述客户端数据存储的副本数量不同；
S2、通过客户端私有协议，建立所述分布式存储系统与每一个客户端之间的联系，在所述分布式存储系统中针对所述客户端数据设置相应的数据重要程度，并按照所述数据重要程度对所述客户端数据进行分类，根据所述客户端数据的所述数据重要程度设置对应的副本容错级别；
S3、所述客户端通过所述客户端私有协议将所述客户端数据存储添加至所述分布式存储系统中，首先对所述客户端进行用户验证，用户验证完成后，获取对应的所述客户端数据的所述数据重要程度，以及对应的所述副本容错级别；
S4、根据所述副本容错级别对应的容错机制，将所述客户端数据的副本对应存储至所述分布式存储系统中的分布式存储节点中；所述分布式存储系统中的容错机制为：所述客户端数据的所述数据重要程度越高，对应在所述分布式存储系统中的所述副本容错级别越高，用于存储所述客户端数据的所述分布式存储系统中的存储节点数越多。
所述分布式存储系统的整体架构如图2所示：每一个相同的所述客户端数据均设有一个以上的副本，并存储至不同的所述分布式存储节点中，每一个所述分布式存储节点中存储有一个以上不同的所述客户端数据的副本；所述分布式存储节点的数量为三个以上。
所述分布式存储副本容错恢复机制如图3所示：当存储有所述客户端数据的一个所述分布式存储节点存在故障时，仍然存在存储有所述客户端数据的副本的所述分布式存储节点，在另一个存储有相同的所述客户端数据的副本的所述分布式存储节点中并行重建，恢复相同的所述客户端数据。
实施例
本实施例中如图4所示，将用户一的所述客户端数据设置为重要数据，用户二的所述客户端数据设置为一般重要数据；所以在所述分布式存储系统中用户一的客户端数据的副本容错级别为高容错级别，在所述分布式存储系统中进行三副本数据保存，设置有3个所述副本，并分别存储于3个所述分布式存储节点中；用户二的客户端数据的副本容错级别为一般容错级别，在所述分布式存储系统中进行双副本数据保存，设置有2个所述副本，并分别存储于2个所述分布式存储节点中。
所述分布式存储副本容错恢复如图5所示，当所述分布式存储节点出现故障时，其他所述分布式存储节点仍存储有副本保证所述客户端数据可用，将所述客户端数据在其他分布式存储节点中并行重建，恢复所述出现故障的所述分布式存储节点中的所述客户端数据。当所述分布式存储系统中的一个所述分布式存储节点或硬盘发生故障时，仍然存在其他分布式存储节点中保存的副本可以使用，保证数据的安全，当所述分布式存储系统中的两个所述分布式存储节点或硬盘发生故障时，会导致双副本数据保存的客户端数据不可用，而三副本数据保存的客户端数据仍然可用，从而保证重要性高的所述客户端数据的安全性。在本实施例中，若重要数据和一般重要数据各站50％，则所述客户端数据进行可变分布式存储相较于传统分布式存储的有效空间提升25％。
通过采用本发明公开的上述技术方案，得到了如下有益的效果：
本发明公开了一种面向用户的可变分布式存储副本容错方法，对于重要数据设有容错性高的容错副本，容错性高以安全性为主，对于一般重要数据同样设有容错性低的容错副本保证安全性，同时通过低的副本容错级别来提升分布式存储可用容量；通过副本机制实现分布式存储容错，基于不同用户不同重要程度的数据实现不同的容错机制，既能保证重要数据的容错度，也能保证存储的有效使用容量，本发明解决了传统分布式存储中存储副本容错度和有效使用容量无法兼顾的问题。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (6)

1.一种面向用户的可变分布式存储副本容错方法，其特征在于，包括以下步骤：
S1、在分布式存储系统中设置针对客户端数据的容错级别；
S2、通过客户端私有协议，建立所述分布式存储系统与客户端之间的联系，在所述分布式存储系统中针对所述客户端数据设置数据重要程度，并按照所述数据重要程度划分所述客户端的副本容错级别；
S3、所述客户端数据通过所述客户端私有协议存储添加至所述分布式存储系统中时，对所述客户端数据进行用户验证，获取所述客户端数据的所述数据重要程度对应的所述副本容错级别；
S4、根据所述副本容错级别对应的容错机制，将所述客户端数据的副本对应存储至所述分布式存储系统中的分布式存储节点中。
2.根据权利要求1所述的面向用户的可变分布式存储副本容错方法，其特征在于，所述容错机制为：所述客户端数据的所述数据重要程度越高，对应在所述分布式存储系统中的所述副本容错级别越高，用于存储所述客户端数据的所述分布式存储系统中的所述分布式存储节点数越多。
3.根据权利要求1所述的面向用户的可变分布式存储副本容错方法，其特征在于，所述数据重要程度包括重要数据和一般重要数据；所述重要数据对应在所述分布式存储系统中的副本容错级别为高容错级别，所述一般重要数据对应在所述分布式存储系统中的副本容错级别为一般容错级别。
4.根据权利要求3所述的面向用户的可变分布式存储副本容错方法，其特征在于，所述高容错级别的容错机制为：所述分布式存储系统中存储有所述客户端数据的所述分布式存储节点设有3个；所述一般容错级别的容错机制为：所述分布式存储系统中存储有所述客户端数据的所述分布式存储节点中设有2个。
5.根据权利要求1所述的面向用户的可变分布式存储副本容错方法，其特征在于，每一个所述分布式存储节点中存储有一个以上不同的所述客户端数据的副本，有且仅有一个相同的所述客户端数据的副本。
6.根据权利要求1所述的面向用户的可变分布式存储副本容错方法，其特征在于，当存储有所述客户端数据的一个所述分布式存储节点存在故障时，在另一个存储有相同的所述客户端数据的副本的所述分布式存储节点中并行重建恢复相同的所述客户端数据。
CN202011639986.9A 2020-12-31 2020-12-31 一种面向用户的可变分布式存储副本容错方法 Pending CN112667443A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011639986.9A CN112667443A (zh) 2020-12-31 2020-12-31 一种面向用户的可变分布式存储副本容错方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011639986.9A CN112667443A (zh) 2020-12-31 2020-12-31 一种面向用户的可变分布式存储副本容错方法

Publications (1)

Publication Number Publication Date
CN112667443A true CN112667443A (zh) 2021-04-16

Family

ID=75413831

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011639986.9A Pending CN112667443A (zh) 2020-12-31 2020-12-31 一种面向用户的可变分布式存储副本容错方法

Country Status (1)

Country Link
CN (1) CN112667443A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023077762A1 (zh) * 2021-11-03 2023-05-11 华为技术有限公司 一种数据存储空间的分配方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180343019A1 (en) * 2017-05-24 2018-11-29 Vmware, Inc. Efficient data write approach for distributed multi-mirror erasure coding system
CN109739777A (zh) * 2018-12-25 2019-05-10 清华大学 本地与分布式协同设计的可靠闪存存储方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180343019A1 (en) * 2017-05-24 2018-11-29 Vmware, Inc. Efficient data write approach for distributed multi-mirror erasure coding system
CN109739777A (zh) * 2018-12-25 2019-05-10 清华大学 本地与分布式协同设计的可靠闪存存储方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
丁海骏;卢菁;: "云环境下元数据弹性分级一致性保障机制研究", 计算机应用研究, no. 07, 29 September 2015 (2015-09-29) *
何丽丽;: "基于多云存储的数据放置策略方案研究", 电脑知识与技术, no. 07, 31 March 2016 (2016-03-31) *
冯清青;孟丹;韩冀中;: "基于分级编码的高可靠存储策略", 高技术通讯, no. 11, 15 November 2013 (2013-11-15) *
刘莎;楚传仁;: "基于文件等级的Ceph数据冗余存储策略的研究", 信息网络安全, no. 04, 10 April 2016 (2016-04-10) *
杨娜 等: "融合容错需求和资源约束的云容错服务适配方法", 计算机科学, 15 July 2017 (2017-07-15), pages 1 - 6 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023077762A1 (zh) * 2021-11-03 2023-05-11 华为技术有限公司 一种数据存储空间的分配方法及装置

Similar Documents

Publication Publication Date Title
US10860432B2 (en) Cloud data backup storage manager
US10114588B2 (en) Consolidating encoded data slices in read memory devices in a distributed storage network
Lakshman et al. Cassandra: a decentralized structured storage system
Xin et al. Reliability mechanisms for very large storage systems
US8234518B2 (en) Method for voting with secret shares in a distributed system
WO2018000812A1 (zh) 数据存储方法及装置
US10275313B2 (en) Writing encoded data slices in a dispersed storage network
US20120179870A1 (en) Data Storage Method with (D,K) Moore Graph-Based Network Storage Structure
CN107003933B (zh) 部分复制码的构建方法、装置及其数据修复的方法
CN107357689B (zh) 一种存储节点的故障处理方法及分布式存储系统
WO2010033644A1 (en) Matrix-based error correction and erasure code methods and apparatus and applications thereof
US10387273B2 (en) Hierarchical fault tolerance in system storage
CN105530294A (zh) 一种海量数据分布式存储的方法
CN113190377B (zh) 一种基于分布式存储系统的可靠冗余方法及设备
Alon et al. Scalable secure storage when half the system is faulty
CN113326006A (zh) 一种基于纠删码的分布式块存储系统
CN106027638A (zh) 一种基于混合编码的hadoop数据分发方法
US11782778B2 (en) Data recovery bypassing protocol for cloud network storage system
CN112667443A (zh) 一种面向用户的可变分布式存储副本容错方法
US10997040B1 (en) System and method for weight based data protection
JP6671708B2 (ja) バックアップリストアシステム及びバックアップリストア方法
Li et al. RE-store: Reliable and efficient KV-store with erasure coding and replication
CN111224747A (zh) 可降低修复带宽和磁盘读取开销的编码方法及其修复方法
CN111752892A (zh) 分布式文件系统及其实现方法、管理系统、设备及介质
US10067998B2 (en) Distributed sync list

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination