CN106649891A - 一种分布式数据存储方法和系统 - Google Patents

一种分布式数据存储方法和系统 Download PDF

Info

Publication number
CN106649891A
CN106649891A CN201710103994.3A CN201710103994A CN106649891A CN 106649891 A CN106649891 A CN 106649891A CN 201710103994 A CN201710103994 A CN 201710103994A CN 106649891 A CN106649891 A CN 106649891A
Authority
CN
China
Prior art keywords
data
storage
cache module
stored
cached
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710103994.3A
Other languages
English (en)
Inventor
张勤
李进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Toyou Feiji Electronics Co., Ltd.
Original Assignee
Shenzhen City Rui Bo Deposit Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen City Rui Bo Deposit Information Technology Co Ltd filed Critical Shenzhen City Rui Bo Deposit Information Technology Co Ltd
Priority to CN201710103994.3A priority Critical patent/CN106649891A/zh
Publication of CN106649891A publication Critical patent/CN106649891A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本发明公开了一种分布式数据存储方法，包括：包括若干存储区的副本存储端接收待存储数据并写入至少一个存储区；副本存储端将待存储数据写入缓存模块中，当达到预设条件时，缓存模块输出预定大小的缓存数据，对所述缓存数据基于纠删码编码方式进行编码并生成校验数据；所述缓存模块将所述缓存数据写入存储服务器组，将所述校验数据写入所述存储服务器组的至少一个存储服务器中。用于实现对应方法的系统。本发明提供备份区以存储原始数据，通过固态硬盘以作为数据缓存以提高数据传输速度，通过纠删技术以提高数据利用率，通过对象存储技术以提高存储效率，能够实现数据的安全和高效的存储和运用，有利于数据管理能力。

Description

一种分布式数据存储方法和系统
技术领域
本发明涉及一种分布式数据存储方法和系统，属于计算机存储领域。
背景技术
分布式文件系统存储已经逐渐在新的时代展现出了其特有的优势，比如支持超大数据的存储，存储量可以达到PB级别，检测和快速反应系统或硬件故障，支持磁盘容量扩展性，而不影响到整体架构，保证数据的一致性等。因此在很多场景下都会考虑采用分布式文件系统存储。虽然分布式文件存储系统有这么多的优点，与传统存储方案相比在某些方面还是需要不断的改进，比如在存储容量上，主流的方式为多个副本存储，但是存储量就会较大，同时造成读写消耗较大，采用一些压缩以及安全的算法保存数据的时候，会将处理后的数据和解密的密钥存储在同一类存储器，这样并不能完全消除，验证用的数据的安全威胁。
发明内容
为了解决上述问题，本发明通过提供一种分布式数据存储方法和系统。
本发明采用的技术方案一方面为一种分布式数据存储方法，包括：包括若干存储区的副本存储端接收待存储数据并写入至少一个存储区；副本存储端将待存储数据写入缓存模块中，所述缓存模块对所述待存储数据进行缓存；当达到预设条件时，缓存模块输出预定大小的缓存数据，对所述缓存数据基于纠删码编码方式进行编码并生成校验数据；所述缓存模块将所述缓存数据写入存储服务器组的多个存储服务器中，将所述校验数据写入所述存储服务器组的至少一个存储服务器中。
优选地，所述预定条件包括：所述缓存模块中所缓存的数据的大小达到所述预定大小；或者所述副本存储端写入数据的操作超过预定时长；或者所述缓存模块出现故障。
优选地，所述缓存模块包括固态硬盘单元和数据接口单元。
优选地，所述存储服务器组为基于对象存储技术的存储设备。
本发明采用的技术方案的另一方面为一种分布式数据存储系统，包括：包括若干存储区的副本存储端，用于接收待存储数据并写入至少一个存储区；缓存模块，用于接收副本存储端输出的待存储数据并进行缓存，当达到预设条件时，输出预定大小的缓存数据，对所述缓存数据基于纠删码编码方式进行编码并生成校验数据，将所述缓存数据写入存储服务器组的多个存储服务器中，将所述校验数据写入所述存储服务器组的至少一个存储服务器中；存储服务器组，用于存储数据。
本发明的有益效果为提供备份区以存储原始数据，通过固态硬盘以作为数据缓存以提高数据传输速度，通过纠删技术以提高数据利用率，通过对象存储技术以提高存储效率，能够实现数据的安全和高效的存储和运用，有利于数据管理能力。
附图说明
图1所示为基于本发明实施例的一种分布式数据存储系统的示意图。
具体实施方式
以下结合实施例对本发明进行说明。
基于发明的实施例，一种分布式数据存储方法，包括：包括若干存储区的副本存储端接收待存储数据并写入至少一个存储区；副本存储端将待存储数据写入缓存模块中，所述缓存模块对所述待存储数据进行缓存；当达到预设条件时，缓存模块输出预定大小的缓存数据，对所述缓存数据基于纠删码编码方式进行编码并生成校验数据；所述缓存模块将所述缓存数据写入存储服务器组的多个存储服务器中，将所述校验数据写入所述存储服务器组的至少一个存储服务器中。
建立副本池，将数据存储到副本池，这样就保证了一份数据有多个备份，一旦系统出现单点故障的时候，副本池就自动接管，恢复到故障前的状态；副本存储端接收数据并存入，设置备份，完成备份之后，将数据输出到缓存模块以增加数据传递和处理的速度，缓存模块在抵达一定条件的时候，通过数据处理的串口单元将缓存输出提取出来并进行纠删码处理，将经过处理得到的检验数据和缓存数据映射到OSD设备（存储服务器组）,例如按照4数据块和1个编码块，则纠删码处理后的纠删池分为5个块，每个块存储到一个OSD中，将块的编号作为唯一性，保存到对象中；假设有5个OSD，每一个OSD对应一个纠删池块，突然有1个OSD发生故障，这种情况下数据整体上并没有受到破坏，在纠删的过程中通过一定的计算方法已经将1个OSD故障出现的情况纳入在内，纠删池的目的就是为了节省存储空间，充分考虑到了编码块出错的比例，满足了用极少的空间存储大容量的数据，提升了磁盘的存储能力。
所述预定条件包括：所述缓存模块中所缓存的数据的大小达到所述预定大小；或者所述副本存储端写入数据的操作超过预定时长；或者所述缓存模块出现故障。
所述缓存模块包括固态硬盘单元和数据接口单元。
磁盘的存储容量扩大了，也就意味着在计算数据的时间上耗时更长，会影响到存储的性能，为了解决这个问题，增加了一个缓存池，缓存池采用固态硬盘作为介质，将进来的数据先存储到缓存池，由于固态硬盘读写效率非常高，当缓存数据积累到一定的量的时候，再一次性写入到OSD中，一个是缓解了内存的压力，再一个是减少了写入的来回次数；
接口单元则是起到将要输出到OSD的数据进行纠删处理，并对数据进行属性组合，属性信息的保存和标记，追踪，引导等操作以存储数据到OSD（对象存储设备）。
所述存储服务器组为基于对象存储技术的存储设备。
对象存储则将元数据独立了出来，控制节点叫元数据服务器（服务器+对象存储管理软件），里面主要负责存储对象的属性（主要是对象的数据被打散存放到了那几台分布式服务器中的信息），而其他负责存储数据的分布式服务器叫做OSD，主要负责存储文件的数据部分。当用户访问对象，会先访问元数据服务器，元数据服务器只负责反馈对象存储在哪些OSD，假设反馈文件A存储在B、C、D三台OSD，那么用户就会再次直接访问3台OSD服务器去读取数据。通过数据接口单元对数据的映射，实现待存储数据的对象存储。
基于发明的实施例，如图1所示，一种分布式数据存储系统，包括：包括若干存储区的副本存储端，用于接收待存储数据并写入至少一个存储区；缓存模块，用于接收副本存储端输出的待存储数据并进行缓存，当达到预设条件时，输出预定大小的缓存数据，对所述缓存数据基于纠删码编码方式进行编码并生成校验数据，将所述缓存数据写入存储服务器组的多个存储服务器中，将所述校验数据写入所述存储服务器组的至少一个存储服务器中；存储服务器组，用于存储数据。
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (5)

1.一种分布式数据存储方法，其特征在于，包括：
包括若干存储区的副本存储端接收待存储数据并写入至少一个存储区；
副本存储端将待存储数据写入缓存模块中，所述缓存模块对所述待存储数据进行缓存；
当达到预设条件时，缓存模块输出预定大小的缓存数据，对所述缓存数据基于纠删码编码方式进行编码并生成校验数据；
所述缓存模块将所述缓存数据写入存储服务器组的多个存储服务器中，将所述校验数据写入所述存储服务器组的至少一个存储服务器中。
2.根据权利要求1所述的一种分布式数据存储方法，其特征在于，所述预定条件包括：
所述缓存模块中所缓存的数据的大小达到所述预定大小；
或者所述副本存储端写入数据的操作超过预定时长；
或者所述缓存模块出现故障。
3.根据权利要求1所述的一种分布式数据存储方法，其特征在于，所述缓存模块包括固态硬盘单元和数据接口单元。
4.根据权利要求1所述的一种分布式数据存储方法，其特征在于，所述存储服务器组为基于对象存储技术的存储设备。
5.一种分布式数据存储系统，其特征在于，包括：
包括若干存储区的副本存储端，用于接收待存储数据并写入至少一个存储区；
缓存模块，用于接收副本存储端输出的待存储数据并进行缓存，当达到预设条件时，输出预定大小的缓存数据，对所述缓存数据基于纠删码编码方式进行编码并生成校验数据，将所述缓存数据写入存储服务器组的多个存储服务器中，将所述校验数据写入所述存储服务器组的至少一个存储服务器中；
存储服务器组，用于存储数据。
CN201710103994.3A 2017-02-24 2017-02-24 一种分布式数据存储方法和系统 Pending CN106649891A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710103994.3A CN106649891A (zh) 2017-02-24 2017-02-24 一种分布式数据存储方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710103994.3A CN106649891A (zh) 2017-02-24 2017-02-24 一种分布式数据存储方法和系统

Publications (1)

Publication Number Publication Date
CN106649891A true CN106649891A (zh) 2017-05-10

Family

ID=58847603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710103994.3A Pending CN106649891A (zh) 2017-02-24 2017-02-24 一种分布式数据存储方法和系统

Country Status (1)

Country Link
CN (1) CN106649891A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107589911A (zh) * 2017-09-05 2018-01-16 郑州云海信息技术有限公司 一种ssd缓存的io处理方法及装置
CN108255432A (zh) * 2018-01-12 2018-07-06 郑州云海信息技术有限公司 基于分层存储的写操作控制方法、系统、装置及存储介质
CN108762976A (zh) * 2018-05-30 2018-11-06 郑州云海信息技术有限公司 一种读取纠删码数据的方法、装置和存储介质
CN110196682A (zh) * 2018-06-15 2019-09-03 腾讯科技（深圳）有限公司 数据管理方法、装置、计算设备及存储介质
WO2019170133A1 (zh) * 2018-03-09 2019-09-12 杭州海康威视系统技术有限公司 一种数据存储方法及装置
CN110493339A (zh) * 2019-08-20 2019-11-22 曾亮 一种分布式远程存储管理方法、系统和装置
CN112115001A (zh) * 2020-09-18 2020-12-22 深圳市欢太科技有限公司 数据备份方法、装置、计算机存储介质及电子设备
CN112470112A (zh) * 2018-04-30 2021-03-09 亚马逊技术有限公司 块存储系统的分布式副本
CN113010113A (zh) * 2021-03-17 2021-06-22 阿里巴巴新加坡控股有限公司 数据处理方法、装置及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080307191A1 (en) * 2007-06-07 2008-12-11 International Business Machines Corporation Method, system and computer program product for managing the storage of data
CN105095352A (zh) * 2015-06-19 2015-11-25 曙光信息产业股份有限公司 应用于分布式系统的数据处理方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080307191A1 (en) * 2007-06-07 2008-12-11 International Business Machines Corporation Method, system and computer program product for managing the storage of data
CN105095352A (zh) * 2015-06-19 2015-11-25 曙光信息产业股份有限公司 应用于分布式系统的数据处理方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
晴天小猪NJU: "Ceph中纠删码的读写过程与缓存分层", 《HTTPS://BLOG.CSDN.NET/U012320882/ARTICLE/DETAILS/46367115》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107589911A (zh) * 2017-09-05 2018-01-16 郑州云海信息技术有限公司 一种ssd缓存的io处理方法及装置
CN108255432A (zh) * 2018-01-12 2018-07-06 郑州云海信息技术有限公司 基于分层存储的写操作控制方法、系统、装置及存储介质
WO2019170133A1 (zh) * 2018-03-09 2019-09-12 杭州海康威视系统技术有限公司 一种数据存储方法及装置
CN112470112A (zh) * 2018-04-30 2021-03-09 亚马逊技术有限公司 块存储系统的分布式副本
CN112470112B (zh) * 2018-04-30 2024-05-10 亚马逊技术有限公司 块存储系统的分布式副本
CN108762976A (zh) * 2018-05-30 2018-11-06 郑州云海信息技术有限公司 一种读取纠删码数据的方法、装置和存储介质
CN110196682A (zh) * 2018-06-15 2019-09-03 腾讯科技（深圳）有限公司 数据管理方法、装置、计算设备及存储介质
CN110493339B (zh) * 2019-08-20 2022-02-25 曾亮 一种分布式远程存储管理方法、系统和装置
CN110493339A (zh) * 2019-08-20 2019-11-22 曾亮 一种分布式远程存储管理方法、系统和装置
CN112115001A (zh) * 2020-09-18 2020-12-22 深圳市欢太科技有限公司 数据备份方法、装置、计算机存储介质及电子设备
CN112115001B (zh) * 2020-09-18 2024-06-07 深圳市欢太科技有限公司 数据备份方法、装置、计算机存储介质及电子设备
CN113010113A (zh) * 2021-03-17 2021-06-22 阿里巴巴新加坡控股有限公司 数据处理方法、装置及设备
CN113010113B (zh) * 2021-03-17 2024-05-14 阿里巴巴创新公司 数据处理方法、装置及设备

Similar Documents

Publication Publication Date Title
CN106649891A (zh) 一种分布式数据存储方法和系统
CN101488104B (zh) 一种实现高效安全存储的系统和方法
US8190662B2 (en) Virtualized data storage vaults on a dispersed data storage network
CN102937967B (zh) 数据冗余实现方法及装置
US8886711B2 (en) File system adapted for use with a dispersed data storage network
CN107436725A (zh) 一种数据写、读方法、装置及分布式对象存储集群
CN111400083B (zh) 数据存储方法及系统、存储介质
WO2015100627A1 (zh) 一种分布式文件存储系统中的数据处理方法及设备
CN107209714A (zh) 分布式存储系统及分布式存储系统的控制方法
CN107329708A (zh) 一种分布式存储系统实现缓存数据的方法及系统
CN109213420A (zh) 数据存储方法、装置及系统
CN104919430A (zh) 将数据实时分类到数据压缩域
CN103329111A (zh) 一种基于块存储的数据处理方法、装置及系统
CN104778018A (zh) 基于非对称混合型磁盘镜像的宽条带磁盘阵列及存储方法
CN108182154A (zh) 一种基于固态硬盘的日志文件的读写方法及固态硬盘
CN106657356A (zh) 一种云存储系统的数据写入方法、装置及云存储系统
Yan et al. An Effective RAID Data Layout for Object‐Based De‐duplication Backup System
CN109669822A (zh) 电子装置、备用存储池的创建方法和计算机可读存储介质
CN107038092A (zh) 一种数据复制方法及装置
CN107301021B (zh) 一种利用ssd缓存对lun进行加速的方法和装置
CN206833432U (zh) 一种分布式数据存储系统
CN102055797A (zh) 一种云存储的数据存取的方法、装置及系统
CN107977285A (zh) 一种纠删码存储机制的数据修改方法、装置及介质
CN102722450A (zh) 一种基于位置敏感哈希的删冗块设备存储方法
CN104572374B (zh) 存储的处理方法、装置和存储设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190904

Address after: 100089 Floor 1-4, No. 2 Building, No. 9 Courtyard, Dijin Road, Haidian District, Beijing

Applicant after: Beijing Toyou Feiji Electronics Co., Ltd.

Address before: 518000 Room 1402, Feiyada Science and Technology Building, Nanshan District, Shenzhen City, Guangdong Province

Applicant before: Shenzhen City Rui Bo deposit information technology Co. Ltd.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20170510

RJ01 Rejection of invention patent application after publication