CN105635252B - 一种Hadoop分布式文件系统HDFS纠删码冗余备份方法 - Google Patents

一种Hadoop分布式文件系统HDFS纠删码冗余备份方法 Download PDF

Info

Publication number
CN105635252B
CN105635252B CN201510976944.7A CN201510976944A CN105635252B CN 105635252 B CN105635252 B CN 105635252B CN 201510976944 A CN201510976944 A CN 201510976944A CN 105635252 B CN105635252 B CN 105635252B
Authority
CN
China
Prior art keywords
hdfs
data
redundancy
correcting
eleting codes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510976944.7A
Other languages
English (en)
Other versions
CN105635252A (zh
Inventor
王垒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Inspur Innovation and Entrepreneurship Technology Co Ltd
Original Assignee
Inspur Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Group Co Ltd filed Critical Inspur Group Co Ltd
Priority to CN201510976944.7A priority Critical patent/CN105635252B/zh
Publication of CN105635252A publication Critical patent/CN105635252A/zh
Application granted granted Critical
Publication of CN105635252B publication Critical patent/CN105635252B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0893—Assignment of logical groups to network elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明特别涉及一种Hadoop分布式文件系统HDFS纠删码冗余备份方法。该Hadoop分布式文件系统HDFS纠删码冗余备份方法，包括编码过程，数据完整性检查和不完整数据恢复三部分。该Hadoop分布式文件系统HDFS纠删码冗余备份方法，通过将纠删码策略引入到HDFS分布式文件系统中，提供了一种比HDFS三副本冗余备份策略更加节约磁盘空间的冗余备份方法，使HDFS能够更加灵活的选择数据备份方式。

Description

一种Hadoop分布式文件系统HDFS纠删码冗余备份方法
技术领域
本发明涉及大数据技术领域，特别涉及一种Hadoop分布式文件系统HDFS纠删码冗余备份方法。
背景技术
众所周知，Hadoop分布式文件系统(HDFS)采用三副本机制保障数据的可靠性，但是HDFS存储冷数据时，数据三副本造成了存储空间的极大浪费。纠删码冗余备份能够在减少副本的情况下，保障数据的可靠性，节省存储空间，降低集群存储成本。
基于上述问题，本发明设计了一种Hadoop分布式文件系统HDFS纠删码冗余备份方法。该方法不仅可以在最短的时间内实现资源的弹性配置，还可以实现运行着关键业务主机的宕机风险大大降低。
发明内容
本发明为了弥补现有技术的缺陷，提供了一种简单高效的Hadoop分布式文件系统HDFS纠删码冗余备份方法。
本发明是通过如下技术方案实现的：
一种Hadoop分布式文件系统HDFS纠删码冗余备份方法，其特征在于：包括编码过程，数据完整性检查和不完整数据恢复三部分；所述编码过程是由冗余编码节点周期性发起的，通过纠删码算法将HDFS文件进行冗余备份，并将HDFS原有三副本删除，冗余编码节点从HDFS上获取需raid的文件及文件blocks列表，冗余编码节点从HDFS读取数据执行编码，并将冗余块parities上传到HDFS；所述数据完整性检查是冗余编码节点周期性检查的，将损坏且能恢复的数据块添加到恢复数据列表中；所述不完整数据恢复即解码过程，由冗余编码节点周期性发起，通过纠删码解码算法对不完整数据进行恢复，从HDFS获取损坏冗余块parities，执行解码，并将恢复的数据上传到HDFS；如果不能恢复删除文件，则报告HDFS元数据节点。
该Hadoop分布式文件系统HDFS纠删码冗余备份方法，调用HDFS客户端接口实现对HDFS数据的操作，纠删码算法库采用Jerasure开源库；对应的纠删码冗余备份模块独立于HDFS，成为独立的可插拔模块。
所述编码过程，包括以下步骤：
(1)冗余编码节点检查raid.Check Conf.delay是否满足，满足则执行步骤(2)，不满足则执行步骤(1)；
(2)冗余编码节点处理参数，包括获取待编码文件，编码路径及编码方式；
(3)查询编码路径状态，判断是否包含目录且非local模式；
(4)如果不包含目录或者当前模式是local模式，则本地执行冗余编码，通过冗余编码节点遍历编码路经下所有文件并编码；
(5)如果包含目录且当前模式是dist模式，则向冗余编码节点提交冗余请求；冗余编码节点接收到client提交的请求后，根据提交的参数构造一个raid-policy，并添加到配置管理器中，等待冗余编码节点上守护线程处理该policy，执行编码。
所述数据完整性检查和不完整数据恢复，包括以下步骤：
(1)冗余编码节点检查raid.Check Integer.delay是否满足，满足则执行步骤(2)，不满足则执行步骤(1)；
(2)冗余编码节点判断损坏数据是否能恢复，不能恢复执行则执行步骤(3)，能恢复执行则执行步骤(4)；
(3)冗余编码节点报告HDFS数据块损坏；
(4)将数据块添加到修复队列，冗余编码节点周期性对恢复队列中的数据进行检查和修复。
本发明的有益效果是：该Hadoop分布式文件系统HDFS纠删码冗余备份方法，通过将纠删码策略引入到HDFS分布式文件系统中，提供了一种比HDFS三副本冗余备份策略更加节约磁盘空间的冗余备份方法，使HDFS能够更加灵活的选择数据备份方式。
附图说明
附图1为本发明纠删码冗余备份结构示意图。
附图2为本发明纠删码冗余备份编码过程示意图。
附图3为本发明数据完整性检查和不完整数据恢复流程示意图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行详细的说明。应当说明的是，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
该Hadoop分布式文件系统HDFS纠删码冗余备份方法，包括编码过程，数据完整性检查和不完整数据恢复三部分；所述编码过程是由冗余编码节点周期性发起的，通过纠删码算法将HDFS文件进行冗余备份，并将HDFS原有三副本删除，冗余编码节点从HDFS上获取需raid的文件及文件blocks列表，冗余编码节点从HDFS读取数据执行编码，并将冗余块parities上传到HDFS；所述数据完整性检查是冗余编码节点周期性检查的，将损坏且能恢复的数据块添加到恢复数据列表中；所述不完整数据恢复即解码过程，由冗余编码节点周期性发起，通过纠删码解码算法对不完整数据进行恢复，从HDFS获取损坏冗余块parities，执行解码，并将恢复的数据上传到HDFS；如果不能恢复删除文件，则报告HDFS元数据节点。
该Hadoop分布式文件系统HDFS纠删码冗余备份方法，调用HDFS客户端接口实现对HDFS数据的操作，纠删码算法库采用Jerasure开源库；对应的纠删码冗余备份模块独立于HDFS，成为独立的可插拔模块。
所述编码过程，包括以下步骤：
(1)冗余编码节点检查raid.Check Conf.delay是否满足，满足则执行步骤(2)，不满足则执行步骤(1)；
(2)冗余编码节点处理参数，包括获取待编码文件，编码路径及编码方式；
(3)查询编码路径状态，判断是否包含目录且非local模式；
(4)如果不包含目录或者当前模式是local模式，则本地执行冗余编码，通过冗余编码节点遍历编码路经下所有文件并编码；
(5)如果包含目录且当前模式是dist模式，则向冗余编码节点提交冗余请求；冗余编码节点接收到client提交的请求后，根据提交的参数构造一个raid-policy，并添加到配置管理器中，等待冗余编码节点上守护线程处理该policy，执行编码。
所述数据完整性检查和不完整数据恢复，包括以下步骤：
(1)冗余编码节点检查raid.Check Integer.delay是否满足，满足则执行步骤(2)，不满足则执行步骤(1)；
(2)冗余编码节点判断损坏数据是否能恢复，不能恢复执行则执行步骤(3)，能恢复执行则执行步骤(4)；
(3)冗余编码节点报告HDFS数据块损坏；
(4)将数据块添加到修复队列，冗余编码节点周期性对恢复队列中的数据进行检查和修复。

Claims (4)

1.一种Hadoop分布式文件系统HDFS纠删码冗余备份方法，其特征在于：包括编码过程，数据完整性检查和不完整数据恢复三部分；所述编码过程是由冗余编码节点周期性发起的，通过纠删码算法将HDFS文件进行冗余备份，并将HDFS原有三副本删除，冗余编码节点从HDFS上获取需raid的文件及文件blocks列表，冗余编码节点从HDFS读取数据执行编码，并将冗余块parities上传到HDFS；所述数据完整性检查是冗余编码节点周期性检查的，将损坏且能恢复的数据块添加到恢复数据列表中；所述不完整数据恢复即解码过程，由冗余编码节点周期性发起，通过纠删码解码算法对不完整数据进行恢复，从HDFS获取损坏冗余块parities，执行解码，并将恢复的数据上传到HDFS；如果不能恢复删除文件，则报告HDFS元数据节点。
2.根据权利要求1所述的Hadoop分布式文件系统HDFS纠删码冗余备份方法，其特征在于：调用HDFS客户端接口实现对HDFS数据的操作，纠删码算法库采用Jerasure开源库；对应的纠删码冗余备份模块独立于HDFS，成为独立的可插拔模块。
3.根据权利要求1所述的Hadoop分布式文件系统HDFS纠删码冗余备份方法，其特征在于：所述编码过程，包括以下步骤：
(1)冗余编码节点检查raid.Check Conf.delay是否满足，满足则执行步骤(2)，不满足则执行步骤(1)；
(2)冗余编码节点处理参数，包括获取待编码文件，编码路径及编码方式；
(3)查询编码路径状态，判断是否包含目录且非local模式；
(4)如果不包含目录或者当前模式是local模式，则本地执行冗余编码，通过冗余编码节点遍历编码路经下所有文件并编码；
(5)如果包含目录且当前模式是dist模式，则向冗余编码节点提交冗余请求；冗余编码节点接收到client提交的请求后，根据提交的参数构造一个raid-policy，并添加到配置管理器中，等待冗余编码节点上守护线程处理该policy，执行编码。
4.根据权利要求1所述的Hadoop分布式文件系统HDFS纠删码冗余备份方法，其特征在于：所述数据完整性检查和不完整数据恢复，包括以下步骤：
(1)冗余编码节点检查raid.Check Integer.delay是否满足，满足则执行步骤(2)，不满足则执行步骤(1)；
(2)冗余编码节点判断损坏数据是否能恢复，不能恢复执行则执行步骤(3)，能恢复执行则执行步骤(4)；
(3)冗余编码节点报告HDFS数据块损坏；
(4)将数据块添加到修复队列，冗余编码节点周期性对恢复队列中的数据进行检查和修复。
CN201510976944.7A 2015-12-23 2015-12-23 一种Hadoop分布式文件系统HDFS纠删码冗余备份方法 Active CN105635252B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510976944.7A CN105635252B (zh) 2015-12-23 2015-12-23 一种Hadoop分布式文件系统HDFS纠删码冗余备份方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510976944.7A CN105635252B (zh) 2015-12-23 2015-12-23 一种Hadoop分布式文件系统HDFS纠删码冗余备份方法

Publications (2)

Publication Number Publication Date
CN105635252A CN105635252A (zh) 2016-06-01
CN105635252B true CN105635252B (zh) 2019-06-25

Family

ID=56049724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510976944.7A Active CN105635252B (zh) 2015-12-23 2015-12-23 一种Hadoop分布式文件系统HDFS纠删码冗余备份方法

Country Status (1)

Country Link
CN (1) CN105635252B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107491455B (zh) * 2016-06-13 2020-11-20 阿里巴巴集团控股有限公司 一种分布式系统中的读取方法及装置
CN106227731B (zh) * 2016-07-06 2019-10-29 联想(北京)有限公司 一种数据处理方法、装置及分布式文件系统
CN106254161B (zh) * 2016-09-28 2020-01-03 上海爱数信息技术股份有限公司 基于hdfs的节点失效的快速检测与恢复方法及系统
CN106776146A (zh) * 2016-12-29 2017-05-31 华为技术有限公司 一种数据校验方法、装置及系统
CN107070590B (zh) * 2016-12-30 2020-12-29 南京海道普数据技术有限公司 基于MapReduce的WSN感知数据分布式解码方法
CN109739777B (zh) * 2018-12-25 2020-08-04 清华大学 本地与分布式协同设计的可靠闪存存储方法及系统
CN111858128B (zh) * 2019-04-26 2023-12-29 深信服科技股份有限公司 一种纠删码数据修复方法、装置、设备及存储介质
CN110149198A (zh) * 2019-04-29 2019-08-20 成都信息工程大学 一种自主可控地对数据进行安全保护与存储的系统和方法
CN111008181A (zh) * 2019-10-31 2020-04-14 苏州浪潮智能科技有限公司 一种分布式文件系统存储策略切换方法、系统、终端及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101840377A (zh) * 2010-05-13 2010-09-22 上海交通大学 基于rs纠删码的数据存储方法
CN102419766A (zh) * 2011-11-01 2012-04-18 西安电子科技大学 基于hdfs分布式文件系统的数据冗余及文件操作方法
CN102546755A (zh) * 2011-12-12 2012-07-04 华中科技大学 云存储系统的数据存储方法
CN103152395A (zh) * 2013-02-05 2013-06-12 北京奇虎科技有限公司 一种分布式文件系统的存储方法及装置
CN103336785A (zh) * 2013-06-04 2013-10-02 华中科技大学 一种基于网络编码的分布式存储方法及其装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7681104B1 (en) * 2004-08-09 2010-03-16 Bakbone Software, Inc. Method for erasure coding data across a plurality of data stores in a network

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101840377A (zh) * 2010-05-13 2010-09-22 上海交通大学 基于rs纠删码的数据存储方法
CN102419766A (zh) * 2011-11-01 2012-04-18 西安电子科技大学 基于hdfs分布式文件系统的数据冗余及文件操作方法
CN102546755A (zh) * 2011-12-12 2012-07-04 华中科技大学 云存储系统的数据存储方法
CN103152395A (zh) * 2013-02-05 2013-06-12 北京奇虎科技有限公司 一种分布式文件系统的存储方法及装置
CN103336785A (zh) * 2013-06-04 2013-10-02 华中科技大学 一种基于网络编码的分布式存储方法及其装置

Also Published As

Publication number Publication date
CN105635252A (zh) 2016-06-01

Similar Documents

Publication Publication Date Title
CN105635252B (zh) 一种Hadoop分布式文件系统HDFS纠删码冗余备份方法
US9940206B2 (en) Handling failed cluster members when replicating a database between clusters
US8707098B2 (en) Recovery procedure for a data storage system
CN106776130B (zh) 一种日志恢复方法、存储装置和存储节点
US9411682B2 (en) Scrubbing procedure for a data storage system
US10831741B2 (en) Log-shipping data replication with early log record fetching
CN106527993B (zh) 一种分布式系统中的海量文件储存方法及装置
CA3054040A1 (en) Synchronously replicating datasets and other managed objects to cloud-based storage systems
US9916478B2 (en) Data protection enhancement using free space
US9635109B2 (en) Enhancing reliability of a storage system by strategic replica placement and migration
CN110389858B (zh) 存储设备的故障恢复方法和设备
US20120005522A1 (en) Fault tolerance for map/reduce computing
US10346066B2 (en) Efficient erasure coding of large data objects
US10929043B2 (en) Space reservation for distributed storage systems
US8458513B2 (en) Efficient failure recovery in a distributed data storage system
WO2017041671A1 (zh) 故障恢复的方法和装置
CN111506450B (zh) 用于数据处理的方法、设备和计算机程序产品
US10366062B1 (en) Cycled clustering for redundancy coded data storage systems
US11474707B2 (en) Data loss recovery in a secondary storage controller from a primary storage controller
CN115599315B (zh) 数据处理方法、装置、系统、设备及介质
CN112799882A (zh) 一种基于图算法的文件感知恢复方法及装置
WO2021057377A1 (zh) 一种数据存储方法和数据存储装置
Saleh Cloud Computing Failures, Recovery Approaches and Management Tools
CN108153614B (zh) 一种数据库的备份及恢复方法
US8234246B1 (en) Method and apparatus for providing event based data replication

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230407

Address after: S02 Building, 1036 Langchao Road, Jinan Area, China (Shandong) Pilot Free Trade Zone, Jinan City, Shandong Province, 250000

Patentee after: Shandong Inspur innovation and entrepreneurship Technology Co.,Ltd.

Address before: No. 1036, Shandong high tech Zone wave road, Ji'nan, Shandong

Patentee before: INSPUR GROUP Co.,Ltd.

TR01 Transfer of patent right