CN103500147A - 一种嵌入分层存储的pb级集群存储系统的方法 - Google Patents

一种嵌入分层存储的pb级集群存储系统的方法 Download PDF

Info

Publication number
CN103500147A
CN103500147A CN201310447407.4A CN201310447407A CN103500147A CN 103500147 A CN103500147 A CN 103500147A CN 201310447407 A CN201310447407 A CN 201310447407A CN 103500147 A CN103500147 A CN 103500147A
Authority
CN
China
Prior art keywords
storage
pool
different
accumulation layer
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310447407.4A
Other languages
English (en)
Inventor
陈安太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN201310447407.4A priority Critical patent/CN103500147A/zh
Publication of CN103500147A publication Critical patent/CN103500147A/zh
Pending legal-status Critical Current

Links

Images

Abstract

本发明提供一种嵌入分层存储的PB级集群存储系统的方法，属于计算机存储领域，利用分层存储方案把高频率访问的数据放在高速存储介质上，而其他的数据放在速度较慢一些的介质上，利用基于备份的集群存储机制，按照存储数据的备份个数，氛围主备存储设备，主存储设备具有智能化利用Crush算法实现对数据的均衡分布。本发明优化其数据存储基础架构，从而降低成本、提高性能、扩展技术以满足不断增长的存储需求。

Description

一种嵌入分层存储的PB级集群存储系统的方法
 
技术领域   
    本发明涉及计算机存储领域，具体涉及一种嵌入分层存储的PB级集群存储系统的方法。
背景技术
随着网络应用的迅速发展，网络信息数据量越来越大，PB 级别的海量数据存储变得越来越重要。在计算机系统中，CPU 的运行速度往往要比内存速度快上好几百倍甚至更多，为了更多地榨取CPU的计算能力，就需要在访问数据的速度上进行提升，否则内存的速度将成为整个系统的性能短板。因此在这样的思想下，CPU慢慢发展出来1级或者2级这样的存储缓存。实际也表明，缓存的存在确实对于系统性能的提升起到了巨大的推动作用。
相应的，内存的访问速度又是硬盘访问速度的几百倍甚至更多，也是基于CPU类似的指导思想，如何控制存储以期提高系统的I/O性能，以满足应用对系统提出的更多高I/O的需求成为一种需求，以便于既能满足PB级海量存储，又能节省成本。
发明内容
本方案也是在基于备份的集群存储系统的方法上，利用智能存储设备，提出的PB级集群分层存储方案。利用分层存储方案把高频率访问的数据放在高速存储介质上，而其他的数据放在速度较慢一些的介质上，这实际上就是提高了系统的吞吐量。
本发明解决其技术问题所采用的技术方案是：
    一种嵌入分层存储的PB级集群存储系统的方法，包括以下步骤：
    1）、在集群存储系统创建资源池时，首先扫描存储设备，将不同的存储设备分层，当存储介质达到资源池的冗余备份个数时，将该存储介质加入到相应的pool存储层中；
    2）、在该集群存储系统上，利用pool可以实现对不同介质的存储设备进行组织，这样在一个pool存储资源池中，可以通过目录树结构，将某个pool资源池中的不同存储介质分为三层floor0，floor1和floor2，floor0时SSD存储层，floor1是SAS存储层，floor2是SATA存储层；
3）、每个存储层都有若干个存储组组成，每个存储组可以组织若干个obj对象；
    4）、根据不同的存储需求，在存储I/O过程中，选择不同的存储层。
该方案利用基于备份的集群存储机制，按照存储数据的备份个数，氛围主备存储设备，主存储设备具有智能化利用Crush算法实现对数据的均衡分布。
该方案在整个存储集群中建立一个pool资源池实现对不同存储介质（SSD、SAS、SATA）的组织，来达到集群分层存储的目的。在一个pool资源池中，利用不同的存储介质和组织单位，建立SSD、SAS及SATA的不同层级的存储块单元，以满足不同的存储需求和高性能高吞吐量应用的支持。
 本发明的一种服务器自动调整节能降噪散热方法与现有技术相比，所产生的有益效果是：
    通过利用智能存储设备实现分层的集群存储方案，实现在不同的层级之间使用有差别的存储介质，以期在相同成本下，既满足性能的需要又满足PB级容量存储的需要；能够有效地通过组合使用存储解决方案来优化其数据存储基础架构，从而降低成本、提高性能、扩展技术以满足不断增长的存储需求。
附图说明
附图1为PB级集群存储的分寸存储方案设计图。
具体实施方式
根据说明书附图对本发明做以下详细描述： 
1、目前主流的存储设备主要由SSD、SAS和SATA等存储介质，该集群存储的分层存储方案主要考虑以上三种存储介质。在集群存储系统创建资源池时，首先扫描存储设备，将不同的存储设备分层，当存储介质达到资源池的冗余备份个数时，将该存储介质加入到相应的pool存储层中。
    2、在该集群存储系统上，利用pool可以实现对不同介质的存储设备进行组织，这样在一个pool存储资源池中，可以通过目录树结构，将某个pool资源池中的不同存储介质分为三层floor0，floor1和floor2，floor0时SSD存储层，floor1是SAS存储层，floor2是SATA存储层。
3、每个存储层都有若干个存储组组成，每个存储组可以组织若干个obj对象（文件存储的最小组织单位）。这样我们以存储组为单位通过crush算法实现不同的层级的存储组的备份存储，避免存储数据的单点故障。
4、根据不同的存储需求，在存储I/O过程中，选择不同的存储层，实现存储需求。
    在存储之间也进行分层（或者说缓存）以期提高系统的I/O性能，以满足应用对系统提出的更多高I/O的需求，这样既能满足PB级海量存储，又能节省成本。

Claims (1)

1.一种嵌入分层存储的PB级集群存储系统的方法，其特征在于包括以下步骤：
    1）、在集群存储系统创建资源池时，首先扫描存储设备，将不同的存储设备分层，当存储介质达到资源池的冗余备份个数时，将该存储介质加入到相应的pool存储层中；
    2）、在该集群存储系统上，利用pool可以实现对不同介质的存储设备进行组织，这样在一个pool存储资源池中，可以通过目录树结构，将某个pool资源池中的不同存储介质分为三层floor0，floor1和floor2，floor0时SSD存储层，floor1是SAS存储层，floor2是SATA存储层；
3）、每个存储层都有若干个存储组组成，每个存储组可以组织若干个obj对象；
    4）、根据不同的存储需求，在存储I/O过程中，选择不同的存储层。
CN201310447407.4A 2013-09-27 2013-09-27 一种嵌入分层存储的pb级集群存储系统的方法 Pending CN103500147A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310447407.4A CN103500147A (zh) 2013-09-27 2013-09-27 一种嵌入分层存储的pb级集群存储系统的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310447407.4A CN103500147A (zh) 2013-09-27 2013-09-27 一种嵌入分层存储的pb级集群存储系统的方法

Publications (1)

Publication Number Publication Date
CN103500147A true CN103500147A (zh) 2014-01-08

Family

ID=49865361

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310447407.4A Pending CN103500147A (zh) 2013-09-27 2013-09-27 一种嵌入分层存储的pb级集群存储系统的方法

Country Status (1)

Country Link
CN (1) CN103500147A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103778255A (zh) * 2014-02-25 2014-05-07 深圳市中博科创信息技术有限公司 一种分布式文件系统及其数据分布方法
CN103905540A (zh) * 2014-03-25 2014-07-02 浪潮电子信息产业股份有限公司 基于两级哈希的对象存储数据分布机制
CN107239569A (zh) * 2017-06-27 2017-10-10 郑州云海信息技术有限公司 一种分布式文件系统子树存储方法及装置
CN108234551A (zh) * 2016-12-15 2018-06-29 腾讯科技（深圳）有限公司 一种数据处理方法及装置
CN109582509A (zh) * 2017-09-29 2019-04-05 中兴通讯股份有限公司 分布式文件系统容灾配置方法、装置和可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100318718A1 (en) * 2009-06-11 2010-12-16 Sean Eilert Memory device for a hierarchical memory architecture
CN102521152A (zh) * 2011-11-29 2012-06-27 成都市华为赛门铁克科技有限公司 一种分级存储方法及系统
CN103106047A (zh) * 2013-01-29 2013-05-15 浪潮(北京)电子信息产业有限公司 一种基于对象的存储系统及其存储方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100318718A1 (en) * 2009-06-11 2010-12-16 Sean Eilert Memory device for a hierarchical memory architecture
CN102521152A (zh) * 2011-11-29 2012-06-27 成都市华为赛门铁克科技有限公司 一种分级存储方法及系统
CN103106047A (zh) * 2013-01-29 2013-05-15 浪潮(北京)电子信息产业有限公司 一种基于对象的存储系统及其存储方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103778255A (zh) * 2014-02-25 2014-05-07 深圳市中博科创信息技术有限公司 一种分布式文件系统及其数据分布方法
CN103905540A (zh) * 2014-03-25 2014-07-02 浪潮电子信息产业股份有限公司 基于两级哈希的对象存储数据分布机制
CN108234551A (zh) * 2016-12-15 2018-06-29 腾讯科技（深圳）有限公司 一种数据处理方法及装置
CN107239569A (zh) * 2017-06-27 2017-10-10 郑州云海信息技术有限公司 一种分布式文件系统子树存储方法及装置
CN109582509A (zh) * 2017-09-29 2019-04-05 中兴通讯股份有限公司 分布式文件系统容灾配置方法、装置和可读存储介质

Similar Documents

Publication Publication Date Title
US10754550B2 (en) Optimized data placement for individual file accesses on deduplication-enabled sequential storage systems
CN102222085B (zh) 一种基于相似性与局部性结合的重复数据删除方法
US9229653B2 (en) Write spike performance enhancement in hybrid storage systems
CN102609360B (zh) 一种数据处理方法、装置及系统
CN101604226B (zh) 一种基于虚拟raid构建动态缓存池提高存储系统性能的方法
CN102982182B (zh) 一种数据存储规划方法及装置
CN103500147A (zh) 一种嵌入分层存储的pb级集群存储系统的方法
CN102945207A (zh) 一种块级数据的缓存管理方法及系统
CN102117248A (zh) 一种缓存系统和在缓存系统中缓存数据的方法
CN103870312B (zh) 建立虚拟机共享存储缓存的方法及装置
CN103516549B (zh) 一种基于共享对象存储的文件系统元数据日志机制
CN111400083B (zh) 数据存储方法及系统、存储介质
CN103678166A (zh) 一种采用固态硬盘作为计算机高速缓存的实现方法及系统
CN103593226A (zh) 一种提高虚拟机磁盘io性能的方法
CN107832423B (zh) 一种用于分布式文件系统的文件读写方法
JP2018520420A (ja) ハイブリッドオブジェクトストレージデバイスのためのキャッシュアーキテクチャおよびアルゴリズム
CN104267912A (zh) 一种nas加速方法及系统
CN103916459A (zh) 一种大数据归档存储系统
CN103795801A (zh) 一种基于实时应用集群的元数据集群设计方法
CN106469123A (zh) 一种基于nvdimm的写缓存分配、释放方法及其装置
CN115794669A (zh) 一种扩展内存的方法、装置及相关设备
CN106469119A (zh) 一种基于nvdimm的数据写缓存方法及其装置
CN102184141A (zh) 检查点数据的存储方法和装置
CN104239231A (zh) 一种加速二级缓存预热的方法及装置
US20190057121A1 (en) Predictable Allocation Latency in Fragmented Log Structured File Systems

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140108