CN104731676A - 一种加速集群系统数据恢复的方法 - Google Patents
一种加速集群系统数据恢复的方法 Download PDFInfo
- Publication number
- CN104731676A CN104731676A CN201510132062.2A CN201510132062A CN104731676A CN 104731676 A CN104731676 A CN 104731676A CN 201510132062 A CN201510132062 A CN 201510132062A CN 104731676 A CN104731676 A CN 104731676A
- Authority
- CN
- China
- Prior art keywords
- data
- cluster
- cluster system
- memory node
- recover
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开一种加速集群系统数据恢复的方法,涉及云存储领域，为集群存储系统的数据恢复过程提供一种系统内部处理机制，采用数据压缩和解压缩的方法降低带宽需求，利用CPU资源换取带宽资源，加速数据的恢复速度。该方法在集群存储系统的数据恢复过程中使用数据压缩或解压缩，极大减小了数据重构过程对前端业务的影响，显著提高了数据重构的速度，加速了集群系统数据的恢复。
Description
技术领域
本发明涉及云存储领域，具体的说就是一种加速集群系统数据恢复的方法。
背景技术
随着云计算和大数据的发展，集群存储系统成为数据存储的主要方式，目前主流的集群存储系统包括HDFS、ceph、Lustre等，为了保证数据的安全性，多数集群存储系统都采用了基于副本的数据冗余技术，在系统出现磁盘或者节点故障时，由于数据是副本形式存放，系统内部会根据数据的副本自动进行故障节点或磁盘上的数据进行重构恢复，以保证数据的冗余性。由于数据的重构对于前段的业务是透明的，因此重构的时间窗口越短对于前段业务的影响越小。此外数据重构的过程中为了减小对前段业务的影响通常也会对数据重构的带宽进行限制，在这种情况下如何加速数据重构的速度？针对这种情况，本发明提出了本方法一种加速集群存储系统数据恢复的方法。
发明内容
本发明针对现有技术存在的不足之处，提出了一种加速集群系统数据恢复的方法。
本发明所述一种加速集群系统数据恢复的方法，解决上述技术问题采用的技术方案如下：该加速集群系统数据恢复的方法，是一种集群存储系统的故障处理方法，为集群存储系统的数据恢复过程提供一种系统内部处理机制，采用数据压缩和解压缩的方法降低带宽需求，利用CPU资源换取带宽资源，来加速数据的恢复速度。
优选的，该加速集群系统数据恢复的方法，在数据重构时，首先将需要恢复的数据块利用相关数据压缩算法进行压缩，之后将压缩后的数据发送到指定的磁盘或者存储节点上，并在该存储节点上进行数据解压缩处理将数据恢复，从而实现数据的冗余性。
优选的，所述数据压缩算法采用zlib、snappy、lzo或lz4。
本发明的一种加速集群系统数据恢复的方法与现有技术相比具有的有益效果是：该方法在集群存储系统的数据恢复过程中使用数据压缩的方法加速数据的恢复速度，极大减小了数据重构过程对前端业务的影响，显著提高了数据重构的速度，加速了集群系统数据的恢复；集群系统数据的恢复过程为系统内部处理机制，加速方法的压缩和解压缩为系统内部处理，不会对前段业务的实时性造成影响，因此该方法具有较好的推广使用价值。
附图说明
附图1为为正常情况下的数据重构恢复流程图；
附图2为所述加速集群系统数据恢复的方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参考附图，对本发明所述一种加速集群系统数据恢复的方法进一步详细说明。
在大多数集群存储系统中数据是以对象的形式存放，因此在数据的重构过程中都是以对象为单位进行传输。集群存储系统中通常的对象大小为4MB，这种情况下，在数据重构的过程中系统对于带宽的需求大于对于CPU的需求，因此本发明所述加速集群系统数据恢复的方法采用数据压缩的方法降低带宽需求，利用CPU资源换取带宽资源，来加速数据的恢复速度。
实施例：
本实施例所述一种加速集群系统数据恢复的方法，是一种集群存储系统的故障处理方法，在数据重构时，首先进行将需要恢复的数据块利用相关数据压缩算法，例如zlib、snappy、lzo、lz4等，之后将压缩后的数据发送到指定的磁盘或者存储节点上，并在该存储节点上进行数据解压缩处理将数据恢复，从而实现数据的冗余性。
在集群存储系统的数据恢复过程中，都是大块数据的传输；集群存储系统的数据恢复过程为系统内部处理机制，加速方法的数据压缩和解压缩为系统内部处理，不会对前段业务的实时性造成影响。
附图1（包含图a和图b）为正常情况下的数据重构恢复流程图，如附图1所示，集群存储系统有四个存储节点构成，数据以两副本的冗余方式存放，由图可以看出每个数据块都有两份，分不到四个节点上，如图a所示当节点3出现故障时，集群存储系统需要将存储节点3上的数据进行重构恢复，根据系统的分布算法重新计算后数据分布可能如图b所示，这时就需要存储节点1将数据块1发送到存储节点2，存储节点2将数据块5发送到存储节点4，存储节点4将数据块3发送到存储节点1。在数据重构完成后，所有的数据块都恢复了两副本的配置，从而保证了集群存储系统的冗余性。
附图2为本实施例所述加速集群系统数据恢复的方法的流程图，如附图2所示，在数据重构时将数据进行了压缩处理，存储节点1在将数据块1发送到存储节点2前，首先将数据块1进行数据压缩处理，之后将压缩数据发送到存储节点2，存储节点2在接收到数据块1的压缩数据后进行数据解压缩处理，得到数据块1后存放到本地，从而恢复了数据块1的两副本配置，保证了数据块1的冗余性。其他数据块重构与数据块1的重构恢复方法一致。
上述具体实施方式仅是本发明的具体个案，本发明的专利保护范围包括但不限于上述具体实施方式，任何符合本发明的权利要求书的且任何所属技术领域的普通技术人员对其所做的适当变化或替换，皆应落入本发明的专利保护范围。
Claims (3)
1.一种加速集群系统数据恢复的方法，其特征在于，为集群存储系统的数据恢复过程提供一种系统内部处理机制，采用数据压缩和解压缩的方法降低带宽需求，利用CPU资源换取带宽资源，加速数据的恢复速度。
2.根据权利要求1所述一种加速集群系统数据恢复的方法，其特征在于，在数据重构时，首先将需要恢复的数据块利用相关数据压缩算法进行压缩，之后将压缩后的数据发送到指定的磁盘或者存储节点上，并在该存储节点上进行数据解压缩处理将数据恢复。
3.根据权利要求2所述一种加速集群系统数据恢复的方法，其特征在于，所述数据压缩算法采用zlib、snappy、lzo或lz4。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510132062.2A CN104731676A (zh) | 2015-03-24 | 2015-03-24 | 一种加速集群系统数据恢复的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510132062.2A CN104731676A (zh) | 2015-03-24 | 2015-03-24 | 一种加速集群系统数据恢复的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104731676A true CN104731676A (zh) | 2015-06-24 |
Family
ID=53455588
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510132062.2A Pending CN104731676A (zh) | 2015-03-24 | 2015-03-24 | 一种加速集群系统数据恢复的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104731676A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106921512A (zh) * | 2015-12-28 | 2017-07-04 | 中移(苏州)软件技术有限公司 | 一种大数据集群租户带宽控制方法及装置 |
| CN107577561A (zh) * | 2017-09-14 | 2018-01-12 | 郑州云海信息技术有限公司 | 一种数据恢复方法、装置、设备及计算机可读存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011023134A1 (en) * | 2009-08-28 | 2011-03-03 | Beijing Innovation Works Technology Company Limited | Method and system for managing distributed storage system through virtual file system |
| CN102063438A (zh) * | 2009-11-17 | 2011-05-18 | 阿里巴巴集团控股有限公司 | 一种受损文件的恢复方法和装置 |
| CN102880531A (zh) * | 2012-09-27 | 2013-01-16 | 新浪网技术(中国)有限公司 | 数据库备份系统及其备份方法和从数据库服务器 |
| CN103761195A (zh) * | 2014-01-09 | 2014-04-30 | 浪潮电子信息产业股份有限公司 | 一种利用分布式数据编码的存储方法 |
| CN103780615A (zh) * | 2014-01-20 | 2014-05-07 | 五八同城信息技术有限公司 | 一种在多个服务器间客户端会话数据共享方法 |
| CN104052576A (zh) * | 2014-06-07 | 2014-09-17 | 华中科技大学 | 一种云存储下基于纠错码的数据恢复方法 |
| CN104123300A (zh) * | 2013-04-26 | 2014-10-29 | 上海云人信息科技有限公司 | 数据分布式存储系统及方法 |
-
2015
- 2015-03-24 CN CN201510132062.2A patent/CN104731676A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011023134A1 (en) * | 2009-08-28 | 2011-03-03 | Beijing Innovation Works Technology Company Limited | Method and system for managing distributed storage system through virtual file system |
| CN102063438A (zh) * | 2009-11-17 | 2011-05-18 | 阿里巴巴集团控股有限公司 | 一种受损文件的恢复方法和装置 |
| CN102880531A (zh) * | 2012-09-27 | 2013-01-16 | 新浪网技术(中国)有限公司 | 数据库备份系统及其备份方法和从数据库服务器 |
| CN104123300A (zh) * | 2013-04-26 | 2014-10-29 | 上海云人信息科技有限公司 | 数据分布式存储系统及方法 |
| CN103761195A (zh) * | 2014-01-09 | 2014-04-30 | 浪潮电子信息产业股份有限公司 | 一种利用分布式数据编码的存储方法 |
| CN103780615A (zh) * | 2014-01-20 | 2014-05-07 | 五八同城信息技术有限公司 | 一种在多个服务器间客户端会话数据共享方法 |
| CN104052576A (zh) * | 2014-06-07 | 2014-09-17 | 华中科技大学 | 一种云存储下基于纠错码的数据恢复方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106921512A (zh) * | 2015-12-28 | 2017-07-04 | 中移(苏州)软件技术有限公司 | 一种大数据集群租户带宽控制方法及装置 |
| CN106921512B (zh) * | 2015-12-28 | 2020-08-04 | 中移(苏州)软件技术有限公司 | 一种大数据集群租户带宽控制方法及装置 |
| CN107577561A (zh) * | 2017-09-14 | 2018-01-12 | 郑州云海信息技术有限公司 | 一种数据恢复方法、装置、设备及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108170555B (zh) | 一种数据恢复方法及设备 | |
| EP3575964B1 (en) | Data storage method, data recovery method in a distributed storage system with m+k storage nodes | |
| US10776208B2 (en) | Distributed memory checkpointing using storage class memory systems | |
| US10503611B1 (en) | Data protection management for distributed storage | |
| US11003533B2 (en) | Data processing method, system, and apparatus | |
| US10270468B2 (en) | Method for file updating and version control for linear erasure coded and network coded storage | |
| CN103209210B (zh) | 一种提高基于纠删码的存储集群恢复性能的方法 | |
| CN107544862A (zh) | 一种基于纠删码的存储数据重构方法和装置、存储节点 | |
| CN106776129B (zh) | 一种基于最小存储再生码的多节点数据文件的修复方法 | |
| EP3316150A1 (en) | Method and apparatus for file compaction in key-value storage system | |
| CN110089035B (zh) | 存储控制器、数据处理芯片及数据处理方法 | |
| JP2017531250A (ja) | 粒状同期／半同期アーキテクチャ | |
| WO2012050935A2 (en) | Apparatus, system, and method for data transformations within a data storage device | |
| CN104052576A (zh) | 一种云存储下基于纠错码的数据恢复方法 | |
| CN109491835B (zh) | 一种基于动态分组码的数据容错方法 | |
| CN103106124B (zh) | 一种基于纠删码集群存储系统的交叉重构方法 | |
| CN104301434B (zh) | 一种基于集群的高速通信架构及方法 | |
| CN103916483A (zh) | 一种针对编码冗余存储系统的自适应数据存储与重构方法 | |
| US20150333766A1 (en) | Run time compression method for a vehicle communication bus | |
| US20180004600A1 (en) | Data object recovery for storage systems | |
| CN110389848B (zh) | 基于分块构造的部分重复码构造方法及故障节点修复方法 | |
| CN106528330A (zh) | 一种数据备份方法、节点及数据备份系统 | |
| CN102750195A (zh) | 一种集群文件系统数据容错的方法 | |
| CN104461773A (zh) | 一种虚拟机备份去重的方法 | |
| CN103559102A (zh) | 数据冗余处理方法、装置和分布式存储系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150624 |