CN108153491A - 一种可关闭部分服务器的存储方法及架构 - Google Patents

一种可关闭部分服务器的存储方法及架构 Download PDF

Info

Publication number
CN108153491A
CN108153491A CN201711409071.7A CN201711409071A CN108153491A CN 108153491 A CN108153491 A CN 108153491A CN 201711409071 A CN201711409071 A CN 201711409071A CN 108153491 A CN108153491 A CN 108153491A
Authority
CN
China
Prior art keywords
data
domain
failure
server
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711409071.7A
Other languages
English (en)
Other versions
CN108153491B (zh
Inventor
刘凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Virtual Clusters Information Technology Co Ltd
Original Assignee
Shenzhen Virtual Clusters Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Virtual Clusters Information Technology Co Ltd filed Critical Shenzhen Virtual Clusters Information Technology Co Ltd
Priority to CN201711409071.7A priority Critical patent/CN108153491B/zh
Publication of CN108153491A publication Critical patent/CN108153491A/zh
Application granted granted Critical
Publication of CN108153491B publication Critical patent/CN108153491B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0625—Power saving in storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements

Abstract

本发明公开一种可关闭部分服务器的存储方法，包括以下步骤：集群存储服务器以副本模式运行，且该集群存储服务器划分为若干故障域，其中某一故障域被配置为主故障域，其他为副故障域；接收第1应用程序处理后的数据，将所述数据存储于所有故障域中；第2应用程序读取当前主故障域所述数据，若数据损坏，则读取任一副故障域的数据副本。本发明还提供一种可关闭部分服务器的存储架构。本发明的存储方法及架构，具有较好的节省电费的成本优势，对于一个拥有上千上万台服务器数据中心来说，服务器下电节省的费用是相当可观的。

Description

一种可关闭部分服务器的存储方法及架构
技术领域
本发明涉及集群存储服务器存储技术，特别涉及一种可关闭部分服务器的存储方法及架构，用于减小电量的消耗。
背景技术
目前的分布式存储集群，在采用副本模式的情况下，存储在集群中的数据是多份的。如2个副本则存储2份数据，3个副本则存储3份数据。业务繁忙时，这样的设计是没有问题的，可以及时将数据存储到磁盘上，保证数据安全可靠。但在业务访问量低的时间段内，这样的设计就显得很不合理，所有的服务器都在加电运行中，因此，会存在无用的耗电问题，负荷不大的服务器24小时运行，消耗的电量及费用也会非常高。
发明内容
针对现有技术存在的问题，本发明提供一种可关闭部分服务器的存储方法及架构。
为实现上述目的，首先本发明提供一种可关闭部分服务器的存储方法，其具体技术方案如下：
一种可关闭部分服务器的存储方法，包括如下步骤：
集群存储服务器以副本模式运行，且该集群存储服务器划分为若干故障域，其中某一故障域被配置为主故障域，其他为副故障域；
接收第1应用程序处理后的数据，将所述数据存储于所有故障域中；
第2应用程序读取当前主故障域所述数据，若数据损坏，则读取任一副故障域的数据副本。
优选地，该集群存储服务器设有一缓存池，所述第1应用程序处理后的数据，经该缓存池存储于所有故障域中。
优选地，所述缓存池分批将所述数据存储于所有故障域中，当部分故障域下电时，所述数据经缓存池存储至未下电的故障域，当该下电的故障域上电时，缓存池恢复对其数据的写入存储。
优选地，第1应用程序与第2应用程序相同。
本发明还提供一种可关闭部分服务器的存储架构，其包括：
集群存储服务器，其以副本模式运行，且该集群存储服务器划分为若干故障域，其中某一故障域被配置为主故障域，其他为副故障域；
应用程序，配置于所述集群存储服务器，用于实现对数据的写入与读取；
缓存池，存储所述应用程序的数据，并将所述数据写入至所有故障域中。
优选地，所述每一故障域包括若干节点；各故障域位于不同的机架上，之间不互相影响。
本发明的存储方法及架构，具有较好的节省电费的成本优势，对于一个拥有上千上万台服务器数据中心来说，服务器下电节省的费用是相当可观的。
附图说明
图1为本发明实施例1的示意图；
图2为本发明实施例2的示意图。
具体实施方式
以下结合附图和具体实施例，对本发明进一步说明。
参照图1至图2所示，本发明提供一种可关闭部分服务器的存储方法，包括如下步骤：
(1)、集群存储服务器以副本模式运行，且该集群存储服务器划分为若干故障域，其中某一故障域被配置为主故障域，其他为副故障域。
(2)、接收第1应用程序处理后的数据，将所述数据存储于所有故障域中。
其中，该集群存储服务器设有一缓存池，所述第1应用程序处理后的数据，经该缓存池存储于所有故障域中。
进一步地，所述缓存池分批将所述数据存储于所有故障域中，当部分故障域下电时，所述数据经缓存池存储至未下电的故障域，当该下电的故障域上电时，缓存池恢复对其数据的写入存储。
(3)、第2应用程序读取当前主故障域所述数据，若数据损坏，则读取任一副故障域的数据副本。
其中，第1应用程序与第2应用程序相同。
参照图2所示，本发明还提供一种可关闭部分服务器的存储架构，其包括：
集群存储服务器，其以副本模式运行，且该集群存储服务器划分为若干故障域，其中某一故障域被配置为主故障域，其他为副故障域；
应用程序，配置于所述集群存储服务器，用于实现对数据的写入与读取；
缓存池，存储所述应用程序的数据，并将所述数据写入至所有故障域中。
其中，所述每一故障域包括若干节点；各故障域位于不同的机架上，之间不互相影响。
继续参考图1，本发明实施例1中：
a、集群存储分成了3个故障域，各自在不同的机架上；
b、用户数据读入：从任意一个故障域读取；
c、3.用户数据写入：需要同时写入到3个故障域中；
其具有以下特点：
a、读取数据时，只需要从一个故障域读取数据，其他故障域中的数据副本只在主故障域中的数据损坏时才去读取；
b、写入数据时需要同时将数据写入到所有的故障域中，保障数据的安全性。
继续参考图2，本发明实施例1中，其针对业务量访问低的情况下，做如下的架构优化：
a、首先增加缓存池，写入的数据、读取的数据都先经过缓存池；
b、将故障域1、故障域2的所有节点下电；
c、数据写入时：故障域1、故障域2已经下电，数据先写入到缓存池中，然后再写入故障域3中。后续业务繁忙时，故障域1、故障域2中的节点上电后，数据再有缓存池写入到故障域1、故障域2中；
d、当数据读取时，可以从故障域3中直接读取即可。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (6)

1.一种可关闭部分服务器的存储方法，其特征在于，包括如下步骤：
集群存储服务器以副本模式运行，且该集群存储服务器划分为若干故障域，其中某一故障域被配置为主故障域，其他为副故障域；
接收第1应用程序处理后的数据，将所述数据存储于所有故障域中；
第2应用程序读取当前主故障域所述数据，若数据损坏，则读取任一副故障域的数据副本。
2.根据权利要求1所述的可关闭部分服务器的存储方法，其特征在于，该集群存储服务器设有一缓存池，所述第1应用程序处理后的数据，经该缓存池存储于所有故障域中。
3.根据权利要求2所述的可关闭部分服务器的存储方法，其特征在于，所述缓存池分批将所述数据存储于所有故障域中，当部分故障域下电时，所述数据经缓存池存储至未下电的故障域，当该下电的故障域上电时，缓存池恢复对其数据的写入存储。
4.根据权利要求1至3任一项所述的可关闭部分服务器的存储方法，其特征在于，第1应用程序与第2应用程序相同。
5.一种可关闭部分服务器的存储架构，其特征在于，包括：
集群存储服务器，其以副本模式运行，且该集群存储服务器划分为若干故障域，其中某一故障域被配置为主故障域，其他为副故障域；
应用程序，配置于所述集群存储服务器，用于实现对数据的写入与读取；
缓存池，存储所述应用程序的数据，并将所述数据写入至所有故障域中。
6.根据权利要求5所述的可关闭部分服务器的存储架构，其特征在于，所述每一故障域包括若干节点；各故障域位于不同的机架上，之间不互相影响。
CN201711409071.7A 2017-12-22 2017-12-22 一种可关闭部分服务器的存储方法及架构 Active CN108153491B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711409071.7A CN108153491B (zh) 2017-12-22 2017-12-22 一种可关闭部分服务器的存储方法及架构

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711409071.7A CN108153491B (zh) 2017-12-22 2017-12-22 一种可关闭部分服务器的存储方法及架构

Publications (2)

Publication Number Publication Date
CN108153491A true CN108153491A (zh) 2018-06-12
CN108153491B CN108153491B (zh) 2021-06-25

Family

ID=62465457

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711409071.7A Active CN108153491B (zh) 2017-12-22 2017-12-22 一种可关闭部分服务器的存储方法及架构

Country Status (1)

Country Link
CN (1) CN108153491B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110737924A (zh) * 2018-07-20 2020-01-31 中移(苏州)软件技术有限公司 一种数据保护的方法和设备
CN110968258A (zh) * 2018-09-30 2020-04-07 华为技术有限公司 存储盘的控制方法及设备

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070130442A1 (en) * 2004-12-21 2007-06-07 Samsung Electronics Co. Ltd. Apparatus and Methods Using Invalidity Indicators for Buffered Memory
CN201489027U (zh) * 2009-07-23 2010-05-26 宁波三星电气股份有限公司 远程抄表系统
CN102684917A (zh) * 2012-04-26 2012-09-19 华为技术有限公司 一种数据备份方法、装置及系统
CN103078955A (zh) * 2013-01-29 2013-05-01 东北大学 一种云计算平台服务器状态转移装置及方法
CN103516736A (zh) * 2012-06-20 2014-01-15 中兴通讯股份有限公司 分布式缓存系统的数据恢复方法及装置
CN104008075A (zh) * 2014-05-26 2014-08-27 华中科技大学 一种分布式存储系统请求的处理方法
CN104111804A (zh) * 2014-06-27 2014-10-22 暨南大学 一种分布式文件系统
CN104317526A (zh) * 2014-09-25 2015-01-28 天津大学 一种基于磁盘存储系统的科学数据存储方法
CN104767643A (zh) * 2015-04-09 2015-07-08 喜舟（上海）实业有限公司 一种基于虚拟机的容灾备份系统
CN105549723A (zh) * 2015-12-30 2016-05-04 联想(北京)有限公司 一种服务器节电控制方法、装置及电子设备节电控制装置
CN105897883A (zh) * 2016-04-07 2016-08-24 浙江大学苏州工业技术研究院 中药生产数据的处理方法
US20160313941A1 (en) * 2015-04-24 2016-10-27 Kabushiki Kaisha Toshiba Memory system that controls power state of buffer memory
CN106331166A (zh) * 2016-10-11 2017-01-11 杭州宏杉科技有限公司 一种存储资源的访问方法及装置
CN106487936A (zh) * 2016-12-29 2017-03-08 深圳市优必选科技有限公司 数据传输方法及设备、分布式存储系统
CN106502823A (zh) * 2016-09-29 2017-03-15 北京许继电气有限公司 数据云备份方法和系统
CN106899678A (zh) * 2017-03-03 2017-06-27 上海中兴电力建设发展有限公司 动态平衡能源互联网网络带宽的高效数据传输方法及系统
US20170212680A1 (en) * 2016-01-22 2017-07-27 Suraj Prabhakar WAGHULDE Adaptive prefix tree based order partitioned data storage system
CN107329708A (zh) * 2017-07-04 2017-11-07 郑州云海信息技术有限公司 一种分布式存储系统实现缓存数据的方法及系统

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070130442A1 (en) * 2004-12-21 2007-06-07 Samsung Electronics Co. Ltd. Apparatus and Methods Using Invalidity Indicators for Buffered Memory
CN201489027U (zh) * 2009-07-23 2010-05-26 宁波三星电气股份有限公司 远程抄表系统
CN102684917A (zh) * 2012-04-26 2012-09-19 华为技术有限公司 一种数据备份方法、装置及系统
CN103516736A (zh) * 2012-06-20 2014-01-15 中兴通讯股份有限公司 分布式缓存系统的数据恢复方法及装置
CN103078955A (zh) * 2013-01-29 2013-05-01 东北大学 一种云计算平台服务器状态转移装置及方法
CN104008075A (zh) * 2014-05-26 2014-08-27 华中科技大学 一种分布式存储系统请求的处理方法
CN104111804A (zh) * 2014-06-27 2014-10-22 暨南大学 一种分布式文件系统
CN104317526A (zh) * 2014-09-25 2015-01-28 天津大学 一种基于磁盘存储系统的科学数据存储方法
CN104767643A (zh) * 2015-04-09 2015-07-08 喜舟（上海）实业有限公司 一种基于虚拟机的容灾备份系统
US20160313941A1 (en) * 2015-04-24 2016-10-27 Kabushiki Kaisha Toshiba Memory system that controls power state of buffer memory
CN105549723A (zh) * 2015-12-30 2016-05-04 联想(北京)有限公司 一种服务器节电控制方法、装置及电子设备节电控制装置
US20170212680A1 (en) * 2016-01-22 2017-07-27 Suraj Prabhakar WAGHULDE Adaptive prefix tree based order partitioned data storage system
CN105897883A (zh) * 2016-04-07 2016-08-24 浙江大学苏州工业技术研究院 中药生产数据的处理方法
CN106502823A (zh) * 2016-09-29 2017-03-15 北京许继电气有限公司 数据云备份方法和系统
CN106331166A (zh) * 2016-10-11 2017-01-11 杭州宏杉科技有限公司 一种存储资源的访问方法及装置
CN106487936A (zh) * 2016-12-29 2017-03-08 深圳市优必选科技有限公司 数据传输方法及设备、分布式存储系统
CN106899678A (zh) * 2017-03-03 2017-06-27 上海中兴电力建设发展有限公司 动态平衡能源互联网网络带宽的高效数据传输方法及系统
CN107329708A (zh) * 2017-07-04 2017-11-07 郑州云海信息技术有限公司 一种分布式存储系统实现缓存数据的方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
QINGBO ZHU等: "Reducing Energy Consumption of Disk Storage Using Power-Aware Cache Management", 《10TH INTERNATIONAL SYMPOSIUM ON HIGH PERFORMANCE COMPUTER ARCHITECTURE (HPCA"04)》 *
冯幼乐: "分布式文件系统元数据管理技术研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
沈良好: "基于Ceph的分布式存储节能技术研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110737924A (zh) * 2018-07-20 2020-01-31 中移(苏州)软件技术有限公司 一种数据保护的方法和设备
CN110737924B (zh) * 2018-07-20 2021-07-27 中移(苏州)软件技术有限公司 一种数据保护的方法和设备
CN110968258A (zh) * 2018-09-30 2020-04-07 华为技术有限公司 存储盘的控制方法及设备
CN110968258B (zh) * 2018-09-30 2021-09-07 华为技术有限公司 存储盘的控制方法及设备

Also Published As

Publication number Publication date
CN108153491B (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN102799962B (zh) 一种配置型业务流程系统及其实现方法
US9652339B2 (en) Fault tolerant listener registration in the presence of node crashes in a data grid
CN102750317B (zh) 数据持久化处理方法、装置及数据库系统
CN103246616A (zh) 一种长短周期访问频度的全局共享缓存替换方法
CN103034592B (zh) 数据处理方法和装置
CN104899117B (zh) 面向非易失性内存的内存数据库并行日志方法
CN108153491A (zh) 一种可关闭部分服务器的存储方法及架构
CN107967122A (zh) 一种块设备的数据写入方法、装置及介质
CN102170460A (zh) 一种集群存储系统及其数据存储方法
US20140136878A1 (en) Scaling Up and Scaling Out of a Server Architecture for Large Scale Real-Time Applications
CN103514216A (zh) 基于数据库系统的流水号生成方法
CN104268097B (zh) 一种元数据处理方法及系统
CN111061748A (zh) 一种热点账户的记账方法及装置
Hassink Advancing the understanding of regional economic adaptability in a non‐Western context: An introduction to the special issue
CN102523303A (zh) 一种视频监控系统的数据保护方法
CN105005517B (zh) 呼叫中心录音文件的存储备份系统及方法
CN103309763A (zh) 虚拟机的容错机制的保护方法和装置
Donner et al. Platforms at the Margins
CN110046065A (zh) 一种存储阵列重建方法、装置、设备及存储介质
CN103324446A (zh) 一种高性能弹性容量虚拟机磁盘的实现方法
CN113051428B (zh) 一种摄像机前端存储备份的方法及装置
CN203164957U (zh) 企业级数据库备份系统
CN105354319A (zh) 针对sn架构的mpp数据库集群的数据库连接池管理方法及系统
CN110471977A (zh) 一种数据交换方法、装置、设备、介质
CN105930520A (zh) 一种基于集群文件系统的缓存保护方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant