CN104598568A - 一种高效、低功耗的离线存储系统及方法 - Google Patents
一种高效、低功耗的离线存储系统及方法 Download PDFInfo
- Publication number
- CN104598568A CN104598568A CN201510013550.1A CN201510013550A CN104598568A CN 104598568 A CN104598568 A CN 104598568A CN 201510013550 A CN201510013550 A CN 201510013550A CN 104598568 A CN104598568 A CN 104598568A
- Authority
- CN
- China
- Prior art keywords
- ost
- data
- node
- memory node
- data memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 16
- 238000013523 data management Methods 0.000 claims abstract description 27
- VQLYBLABXAHUDN-UHFFFAOYSA-N bis(4-fluorophenyl)-methyl-(1,2,4-triazol-1-ylmethyl)silane;methyl n-(1h-benzimidazol-2-yl)carbamate Chemical compound C1=CC=C2NC(NC(=O)OC)=NC2=C1.C=1C=C(F)C=CC=1[Si](C=1C=CC(F)=CC=1)(C)CN1C=NC=N1 VQLYBLABXAHUDN-UHFFFAOYSA-N 0.000 claims abstract description 26
- 238000012544 monitoring process Methods 0.000 claims abstract description 7
- 230000005611 electricity Effects 0.000 claims description 12
- 238000011084 recovery Methods 0.000 claims description 6
- 238000003491 array Methods 0.000 claims description 3
- 238000013500 data storage Methods 0.000 abstract 4
- 230000002035 prolonged effect Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000003203 everyday effect Effects 0.000 description 2
- 101100545228 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) ZDS1 gene Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Power Sources (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明特别涉及一种高效、低功耗的离线存储系统及方法。该高效、低功耗的离线存储系统,采用数据处理节点OSS与数据存储节点OST分离的架构,两个元数据节点以主备模式共享后端存储空间,每对数据处理节点OSS以双活模式共享一部分数据存储节点OST;采用数据管理节点监控系统中数据存储节点OST的容量占用率,并对数据存储节点OST进行上电和下电操作。该高效、低功耗的离线存储系统及方法,采用Lustre集群文件系统,不仅归档的性能方面要远优于磁带库做离线存储的方法,而且还可以定位文件数据的实际存放位置;同时,后端的存储系统并不是全部上电,而是仅使用部分上电,一方面降低了离线存储系统的功耗,另一方面延长了磁盘的使用寿命。
Description
技术领域
本发明涉及计算机应用技术领域,适用于文件系统支持元数据集群的情况,能够在元数据集群范围内平衡负载,提高元数据集群处理数据的效率,具体地说,特别涉及一种高效、低功耗的离线存储系统及方法。
背景技术
随着数据量的日益增大,需要归档的数据也越来越多,某些应用场景下,每天可能会产生数TB的数据,而需要归档的数据也在TB级别。而目前的带库归档系统性能偏低,仅在MB/s级别,每天能够归档的数据量远远不能满足需求。
使用磁盘存储系统,尤其是利用Lustre集群文件系统,能够实现GB级的数据带宽和数百PB的系统容量,将磁盘介质的集群存储系统作为离线存储系统能够极大的提高归档效率。
Lustre集群文件系统是美国能源部开发的一种Linux集群并行文件系统。该系统已推出1.0的发布版本,是第一个基于对象存储设备的,开源的并行文件系统。可以说,Lustre 集群文件系统是目前开源社区中最成熟、应用最广泛的集群文件系统,通过聚合多个存储设备,利用Infiniband、万兆等高速网络技术,能够实现很高的聚合带宽,并具有很高的扩展性,能够支持EB级的系统容量扩展。
Lustre集群文件系统由客户端、两个数据管理节点设备池通过高速的以太网或QWS Net连接构成。数据管理节点设备包括MDS (Metadata Server)和MDT(Metadata Target)。其中,MDS存储了文件系统的基本信息,负责管理整个系统的命名空间,维护整个文件系统的目录结构、用户权限,并负责维护文件系统数据的一致性;MDT存储了MDS上元数据的文件名、目录、权限和文件布局。Lustre集群文件系统可以支持1000个客户端节点的 I/O 请求,两个MDS 采用共享存储设备的 Active-Standby方式的容错机制,存储设备跟普通的、基于块的集成驱动器电子装置IDE存储设备不同,是基于对象的智能存储设备。
Lustre集群文件系统的架构中,元数据处理节点与数据处理节点相互独立,元数据节点用于文件系统的命名空间管理,负责处理、保存和维护文件的元数据信息,例如文件名、文件属性等;数据节点负责实际数据的存储。实际的生产中,lustre集群文件系统的架构的数据处理节点OSS和数据存储节点OST通常是两个独立的设备,数据存储节点OST利用RAID等技术保证数据的安全性,例如磁盘阵列,而数据处理节点OSS通过高性能的网络提供高带宽。通常情况下一个数据处理节点OSS能够管理32个数据存储节点OST。
Lustre集群文件系统的文件元数据中包括一个重要的属性:文件条带布局,利用该属性用户可以指定或者查询到文件数据的实际存放位置,也就是文件数据所在的数据节点OST。
但是,相对于带库,磁盘介质在power on情况下的使用寿命要短很多,仅在1400天左右。在超出使用寿命后,磁盘的故障率会明显增加,从而导致数据的丢失,严重影响数据安全和设备正常使用。
为了解决这一问题,亟待提出一种新的基于Lustre集群存储系统特征的方法。以期在实现高效归档同时,实现低功耗,并极大延长磁盘使用寿命。
发明内容
本发明为了弥补现有技术的缺陷,提供了一种能够延长磁盘寿命的高效、低功耗的离线存储系统及方法。
本发明是通过如下技术方案实现的:
一种高效、低功耗的离线存储系统,采用Lustre集群文件系统,其特征在于:所述Lustre集群文件系统采用数据处理节点OSS与数据存储节点OST分离的架构,所述数据处理节点OSS与数据存储节点OST以主备模式共享后端存储空间,每对数据处理节点OSS以双活模式共享一部分数据存储节点OST,以实现系统的高可用HA;采用数据管理节点监控系统中数据存储节点OST的容量占用率,并对数据存储节点OST进行上电和下电操作,所述数据管理节点设备包括MDS和MDT。
本发明高效、低功耗的离线存储方法,其特征在于:所述离线存储系统使用时,每对数据处理节点OSS只有2个数据存储节点OST上电,其他磁盘阵列下电,数据管理节点处于常上电状态;利用lustre集群文件系统的条带设置指令,将归档数据定位到上电的数据存储节点OST中;数据管理节点监控到正在使用的数据存储节点OST系统容量使用完时,对下一组数据存储节点OST进行上电操作,并将归档操作利用lustre集群文件系统的条带设置指令定位到新上电的数据存储节点OST上,然后对容量使用完的存储节点OST进行下电操作。
所述离线存储系统使用到最后的两组数据存储节点OST时,数据恢复流程可以通过lustre集群文件系统的条带获取指令由数据管理节点获取数据所在的数据存储节点OST。
前端应用需要恢复位于数据存储节点OST上的数据时,所述数据管理节点控制数据存储节点OST所在的磁盘阵列进行上电操作;数据处理节点OSS完全识别数据存储节点OST后,所述数据管理节点会通知前端应用进行数据的读取操作,数据读取完成后,若不再有针对数据存储节点OST上的数据访问,所述数据管理节点会再次将该数据存储节点OST所在的磁盘阵列进行下电操作。
本发明的有益效果是:该高效、低功耗的离线存储系统及方法,采用Lustre集群文件系统,不仅归档的性能方面要远优于磁带库做离线存储的方法,而且还可以定位文件数据的实际存放位置;同时,后端的存储系统并不是全部上电,而是仅使用部分上电,一方面降低了离线存储系统的功耗,另一方面延长了磁盘的使用寿命。
附图说明
附图1为发明离线存储系统部署架构示意图。
附图2为发明离线存储系统使用架构示意图。
附图3为发明离线存储系统数据恢复流程示意图。
图中,实线框表示数据存储节点OST上电,虚线框表示数据存储节点OST下电。
具体实施方式
下面结合附图对本发明进行详细的说明。
一种高效、低功耗的离线存储系统,采用Lustre集群文件系统,所述Lustre集群文件系统采用数据处理节点OSS与数据存储节点OST分离的架构,所述数据处理节点OSS与数据存储节点OST以主备模式共享后端存储空间,每对数据处理节点OSS以双活模式共享一部分数据存储节点OST,以实现系统的高可用HA;采用数据管理节点监控系统中数据存储节点OST的容量占用率,并对数据存储节点OST进行上电和下电操作,所述数据管理节点设备包括MDS和MDT。
根据系统容量配置数据节点数量,如附图2中所示,以4处理节点OSS1~OSS4为例,配置4*4个数据存储节点OST,每两个数据存储节点OST位于一个磁盘阵列上,每个数据存储节点OST容量4T*8(8+2),共512TB。
如附图3所示,所述离线存储系统使用时,每对数据处理节点OSS只有2个数据存储节点OST上电,即一个磁盘阵列,可用容量为64TB,其他磁盘阵列下电,数据管理节点处于常上电状态;利用lustre集群文件系统的条带设置指令,将归档数据定位到上电的数据存储节点OST中;数据管理节点监控到正在使用的数据存储节点OST系统容量使用完时,对下一组数据存储节点OST进行上电操作,并将归档操作利用lustre集群文件系统的条带设置指令定位到新上电的数据存储节点OST上,然后对容量使用完的存储节点OST进行下电操作。
如附图3所示,所述离线存储系统使用到最后的两组数据存储节点OST时,数据恢复流程可以通过lustre集群文件系统的条带获取指令由数据管理节点获取数据所在的数据存储节点OST。
如附图3所示,前端应用需要恢复位于数据存储节点OST上的数据时,所述数据管理节点控制数据存储节点OST所在的磁盘阵列进行上电操作;数据处理节点OSS完全识别数据存储节点OST后,所述数据管理节点会通知前端应用进行数据的读取操作,数据读取完成后,若不再有针对数据存储节点OST上的数据访问,所述数据管理节点会再次将该数据存储节点OST所在的磁盘阵列进行下电操作。
Claims (4)
1.一种高效、低功耗的离线存储系统,采用Lustre集群文件系统,其特征在于:所述Lustre集群文件系统采用数据处理节点OSS与数据存储节点OST分离的架构,所述数据处理节点OSS与数据存储节点OST以主备模式共享后端存储空间,每对数据处理节点OSS以双活模式共享一部分数据存储节点OST,以实现系统的高可用HA;采用数据管理节点监控系统中数据存储节点OST的容量占用率,并对数据存储节点OST进行上电和下电操作,所述数据管理节点设备包括MDS和MDT。
2.根据权利要求1所述的高效、低功耗的离线存储方法,其特征在于:所述离线存储系统使用时,每对数据处理节点OSS只有2个数据存储节点OST上电,其他磁盘阵列下电,数据管理节点处于常上电状态;利用lustre集群文件系统的条带设置指令,将归档数据定位到上电的数据存储节点OST中;数据管理节点监控到正在使用的数据存储节点OST系统容量使用完时,对下一组数据存储节点OST进行上电操作,并将归档操作利用lustre集群文件系统的条带设置指令定位到新上电的数据存储节点OST上,然后对容量使用完的存储节点OST进行下电操作。
3.根据权利要求2所述的高效、低功耗的离线存储方法,其特征在于:所述离线存储系统使用到最后的两组数据存储节点OST时,数据恢复流程可以通过lustre集群文件系统的条带获取指令由数据管理节点获取数据所在的数据存储节点OST。
4.根据权利要求2所述的高效、低功耗的离线存储方法,其特征在于:前端应用需要恢复位于数据存储节点OST上的数据时,所述数据管理节点控制数据存储节点OST所在的磁盘阵列进行上电操作;数据处理节点OSS完全识别数据存储节点OST后,所述数据管理节点会通知前端应用进行数据的读取操作,数据读取完成后,若不再有针对数据存储节点OST上的数据访问,所述数据管理节点会再次将该数据存储节点OST所在的磁盘阵列进行下电操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510013550.1A CN104598568A (zh) | 2015-01-12 | 2015-01-12 | 一种高效、低功耗的离线存储系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510013550.1A CN104598568A (zh) | 2015-01-12 | 2015-01-12 | 一种高效、低功耗的离线存储系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104598568A true CN104598568A (zh) | 2015-05-06 |
Family
ID=53124353
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510013550.1A Pending CN104598568A (zh) | 2015-01-12 | 2015-01-12 | 一种高效、低功耗的离线存储系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104598568A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017096942A1 (zh) * | 2015-12-11 | 2017-06-15 | 华为技术有限公司 | 一种文件存储系统、数据调度方法及数据节点 |
CN107291390A (zh) * | 2017-06-20 | 2017-10-24 | 郑州云海信息技术有限公司 | 一种数据分级存储方法及装置 |
CN108021484A (zh) * | 2016-11-02 | 2018-05-11 | 先智云端数据股份有限公司 | 云端服务系统中磁盘预期寿命值的延长方法及其系统 |
CN108153684A (zh) * | 2017-12-30 | 2018-06-12 | 广东技术师范学院 | 一种磁盘Cache的预取空间调整方法 |
CN108958639A (zh) * | 2017-05-19 | 2018-12-07 | 华邦电子股份有限公司 | 快闪存储器存储装置 |
CN109683810A (zh) * | 2017-08-15 | 2019-04-26 | 金钱猫科技股份有限公司 | 一种读写方法及终端 |
CN110968258A (zh) * | 2018-09-30 | 2020-04-07 | 华为技术有限公司 | 存储盘的控制方法及设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6961815B2 (en) * | 2002-12-05 | 2005-11-01 | International Business Machines Corporation | Multiple disk data storage system for reducing power consumption |
CN101599840A (zh) * | 2009-07-07 | 2009-12-09 | 浪潮电子信息产业股份有限公司 | 一种大规模集群中服务器分时上电的方法 |
CN201707642U (zh) * | 2010-06-11 | 2011-01-12 | 深圳华北工控股份有限公司 | 一种降低磁盘阵列上电瞬间功耗的装置 |
CN102404201A (zh) * | 2011-10-20 | 2012-04-04 | 浪潮电子信息产业股份有限公司 | 一种实现Lustre并行文件系统最大带宽的方法 |
CN103077245A (zh) * | 2013-01-18 | 2013-05-01 | 浪潮电子信息产业股份有限公司 | 一种利用集群计算节点空闲硬盘空间扩展并行文件系统的方法 |
CN103529920A (zh) * | 2013-09-27 | 2014-01-22 | 杭州华为数字技术有限公司 | 基于微服务器模块化组件上下电的方法、装置和系统 |
-
2015
- 2015-01-12 CN CN201510013550.1A patent/CN104598568A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6961815B2 (en) * | 2002-12-05 | 2005-11-01 | International Business Machines Corporation | Multiple disk data storage system for reducing power consumption |
CN101599840A (zh) * | 2009-07-07 | 2009-12-09 | 浪潮电子信息产业股份有限公司 | 一种大规模集群中服务器分时上电的方法 |
CN201707642U (zh) * | 2010-06-11 | 2011-01-12 | 深圳华北工控股份有限公司 | 一种降低磁盘阵列上电瞬间功耗的装置 |
CN102404201A (zh) * | 2011-10-20 | 2012-04-04 | 浪潮电子信息产业股份有限公司 | 一种实现Lustre并行文件系统最大带宽的方法 |
CN103077245A (zh) * | 2013-01-18 | 2013-05-01 | 浪潮电子信息产业股份有限公司 | 一种利用集群计算节点空闲硬盘空间扩展并行文件系统的方法 |
CN103529920A (zh) * | 2013-09-27 | 2014-01-22 | 杭州华为数字技术有限公司 | 基于微服务器模块化组件上下电的方法、装置和系统 |
Non-Patent Citations (3)
Title |
---|
DUFMAN: ""Thinking in BigData(九)大数据hadoop集群下离线数据存储和挖掘架构"", 《HTTP://BLOG.CSDN.NET/YCZWS1/ARTICLE/DETAILS/20380705》 * |
XIAOLANGIT: ""Part I 1.介绍Lustre文件系统"", 《HTTP://XIAOLANGIT.BLOG.51CTO.COM/3343422/1221247》 * |
赛迪网: "MAID磁盘阵列绿色存储功能与解决方案", 《HTTP://WWW.SEARCHSTORAGE.COM.CN/SHOWCONTENT_8904.HTM》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017096942A1 (zh) * | 2015-12-11 | 2017-06-15 | 华为技术有限公司 | 一种文件存储系统、数据调度方法及数据节点 |
CN108021484A (zh) * | 2016-11-02 | 2018-05-11 | 先智云端数据股份有限公司 | 云端服务系统中磁盘预期寿命值的延长方法及其系统 |
CN108021484B (zh) * | 2016-11-02 | 2021-03-16 | 先智云端数据股份有限公司 | 云端服务系统中磁盘预期寿命值的延长方法及其系统 |
CN108958639A (zh) * | 2017-05-19 | 2018-12-07 | 华邦电子股份有限公司 | 快闪存储器存储装置 |
CN108958639B (zh) * | 2017-05-19 | 2021-07-06 | 华邦电子股份有限公司 | 快闪存储器存储装置 |
CN107291390A (zh) * | 2017-06-20 | 2017-10-24 | 郑州云海信息技术有限公司 | 一种数据分级存储方法及装置 |
CN107291390B (zh) * | 2017-06-20 | 2020-05-15 | 苏州浪潮智能科技有限公司 | 一种数据分级存储方法及装置 |
CN109683810A (zh) * | 2017-08-15 | 2019-04-26 | 金钱猫科技股份有限公司 | 一种读写方法及终端 |
CN108153684A (zh) * | 2017-12-30 | 2018-06-12 | 广东技术师范学院 | 一种磁盘Cache的预取空间调整方法 |
CN110968258A (zh) * | 2018-09-30 | 2020-04-07 | 华为技术有限公司 | 存储盘的控制方法及设备 |
CN110968258B (zh) * | 2018-09-30 | 2021-09-07 | 华为技术有限公司 | 存储盘的控制方法及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104598568A (zh) | 一种高效、低功耗的离线存储系统及方法 | |
DE112019002584T5 (de) | Wechseln zwischen vermittlerdiensten für ein speichersystem | |
CN203982354U (zh) | 一种冗余存储系统 | |
US6915448B2 (en) | Storage disk failover and replacement system | |
CN108052655B (zh) | 数据写入及读取方法 | |
TWI285304B (en) | Extendable storage apparatus for blade server system | |
DE102021113808A1 (de) | Handhabung von Replikationen zwischen verschiedenen Netzwerken | |
US10838830B1 (en) | Distributed log collector and report generation | |
CN104460927A (zh) | 一种4u高密度存储系统供电设备及方法 | |
CN107422989B (zh) | 一种Server SAN系统多副本读取方法及存储系统 | |
CN104166445A (zh) | 一种高密度的大容量存储系统 | |
CN104461773A (zh) | 一种虚拟机备份去重的方法 | |
CN104460944A (zh) | 一种4u高密度存储系统供电设备及其方法 | |
CN104484131A (zh) | 多磁盘服务器的数据处理装置及对应的处理方法 | |
CN102681790B (zh) | 一种数据转储设备和通过其进行数据转储的方法及系统 | |
CN104965679B (zh) | 大容量数据长效存储归档系统 | |
CN105242988A (zh) | 分布式文件系统和分布式文件系统的数据备份方法 | |
CN104597977A (zh) | 一种前维护式2u4节点高密度服务器系统 | |
CN106200848A (zh) | 切换模块及相关的服务器装置与电源切换方法 | |
CN204557308U (zh) | 一种基于融合架构的高密度新型刀片型服务器 | |
CN103490923B (zh) | 日志文件的读写方法、装置及系统 | |
CN201781507U (zh) | 一种共享Cache结构的高性能VTL系统 | |
CN111475113A (zh) | 基于fpga和raid技术的大容量存储刀片及存取方法 | |
CN104460890A (zh) | 一种高扩展性1u服务器机箱 | |
CN104050108A (zh) | 一种存储设备、系统及数据存储方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20150506 |
|
RJ01 | Rejection of invention patent application after publication |