CN105635252A - 一种Hadoop分布式文件系统HDFS纠删码冗余备份策略 - Google Patents

一种Hadoop分布式文件系统HDFS纠删码冗余备份策略 Download PDF

Info

Publication number
CN105635252A
CN105635252A CN201510976944.7A CN201510976944A CN105635252A CN 105635252 A CN105635252 A CN 105635252A CN 201510976944 A CN201510976944 A CN 201510976944A CN 105635252 A CN105635252 A CN 105635252A
Authority
CN
China
Prior art keywords
hdfs
data
redundancy
encoding node
redundancy encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510976944.7A
Other languages
English (en)
Other versions
CN105635252B (zh
Inventor
王垒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Inspur Innovation and Entrepreneurship Technology Co Ltd
Original Assignee
Inspur Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Group Co Ltd filed Critical Inspur Group Co Ltd
Priority to CN201510976944.7A priority Critical patent/CN105635252B/zh
Publication of CN105635252A publication Critical patent/CN105635252A/zh
Application granted granted Critical
Publication of CN105635252B publication Critical patent/CN105635252B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0893—Assignment of logical groups to network elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明特别涉及一种Hadoop分布式文件系统HDFS纠删码冗余备份策略。该Hadoop分布式文件系统HDFS纠删码冗余备份策略，包括编码过程，数据完整性检查和不完整数据恢复三部分。该Hadoop分布式文件系统HDFS纠删码冗余备份策略，通过将纠删码策略引入到HDFS分布式文件系统中，提供了一种比HDFS三副本冗余备份策略更加节约磁盘空间的冗余备份方法，使HDFS能够更加灵活的选择数据备份方式。

Description

一种Hadoop分布式文件系统HDFS纠删码冗余备份策略
技术领域
本发明涉及大数据技术领域，特别涉及一种Hadoop分布式文件系统HDFS纠删码冗余备份策略。
背景技术
众所周知，Hadoop分布式文件系统（HDFS）采用三副本机制保障数据的可靠性，但是HDFS存储冷数据时，数据三副本造成了存储空间的极大浪费。纠删码冗余备份能够在减少副本的情况下，保障数据的可靠性，节省存储空间，降低集群存储成本。
基于上述问题，本发明设计了一种Hadoop分布式文件系统HDFS纠删码冗余备份策略。该方法不仅可以在最短的时间内实现资源的弹性配置，还可以实现运行着关键业务主机的宕机风险大大降低。
发明内容
本发明为了弥补现有技术的缺陷，提供了一种简单高效的Hadoop分布式文件系统HDFS纠删码冗余备份策略。
本发明是通过如下技术方案实现的：
一种Hadoop分布式文件系统HDFS纠删码冗余备份策略，其特征在于：包括编码过程，数据完整性检查和不完整数据恢复三部分；述编码过程是由冗余编码节点周期性发起的，通过纠删码算法将HDFS文件进行冗余备份，并将HDFS原有三副本删除，冗余编码节点从HDFS上获取需raid的文件及文件blocks列表，冗余编码节点从HDFS读取数据执行编码，并将冗余块parities上传到HDFS；所述数据完整性检查是冗余编码节点周期性检查的，将损坏且能恢复的数据块添加到恢复数据列表中；所述不完整数据恢复即解码过程，由冗余编码节点周期性发起，通过纠删码解码算法对不完整数据进行恢复，从HDFS获取损坏数据块冗余码parities，执行解码，并将恢复的数据上传到HDFS；如果不能恢复删除文件，则报告HDFS元数据节点。
该Hadoop分布式文件系统HDFS纠删码冗余备份策略，调用HDFS客户端接口实现对HDFS数据的操作，纠删码算法库采用开源Jerasure库；对应的纠删码冗余备份模块可以独立于HDFS，成为独立的可插拔模块。
所述编码过程，包括以下按步骤：
（1）冗余编码节点检查raid.CheckConf.delay是否满足，满足则执行步骤（2），不满足则执行步骤（1）；
（2）冗余编码节点处理参数，包括获取待编码文件，编码路径及编码方式；
（3）查询编码路径状态，判断是否包含目录且非local模式；
（4）如果不包含目录或者当前模式是local模式，则本地执行冗余编码，通过冗余编码节点遍历编码路经下所有文件并编码；
（5）如果包含目录且当前模式是dist模式，则向冗余编码节点提交冗余请求；冗余编码节点接收到client提交的请求后，根据提交的参数构造一个raid-policy，并添加到配置管理器中，等待冗余编码节点上守护线程处理该policy，执行编码。
所述数据完整性检查和不完整数据恢复，包括以下步骤：
（1）冗余编码节点检查raid.CheckInteger.delay是否满足，满足则执行步骤（2），不满足则执行步骤（1）；
（2）冗余编码节点判断损坏数据是否能恢复，不能恢复执行则执行步骤（3），能恢复执行则执行步骤（4）；
（3）冗余编码节点报告HDFS数据块损坏；
（4）将数据块添加到修复队列，冗余编码节点周期性对恢复队列中的数据进行检查和修复。
本发明的有益效果是：该Hadoop分布式文件系统HDFS纠删码冗余备份策略，通过将纠删码策略引入到HDFS分布式文件系统中，提供了一种比HDFS三副本冗余备份策略更加节约磁盘空间的冗余备份方法，使HDFS能够更加灵活的选择数据备份方式。
附图说明
附图1为本发明纠删码冗余备份结构示意图。
附图2为本发明纠删码冗余备份编码过程示意图。
附图3为本发明数据完整性检查和不完整数据恢复流程示意图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行详细的说明。应当说明的是，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
该Hadoop分布式文件系统HDFS纠删码冗余备份策略，包括编码过程，数据完整性检查和不完整数据恢复三部分；述编码过程是由冗余编码节点周期性发起的，通过纠删码算法将HDFS文件进行冗余备份，并将HDFS原有三副本删除，冗余编码节点从HDFS上获取需raid的文件及文件blocks列表，冗余编码节点从HDFS读取数据执行编码，并将冗余块parities上传到HDFS；所述数据完整性检查是冗余编码节点周期性检查的，将损坏且能恢复的数据块添加到恢复数据列表中；所述不完整数据恢复即解码过程，由冗余编码节点周期性发起，通过纠删码解码算法对不完整数据进行恢复，从HDFS获取损坏数据块冗余码parities，执行解码，并将恢复的数据上传到HDFS；如果不能恢复删除文件，则报告HDFS元数据节点。
该Hadoop分布式文件系统HDFS纠删码冗余备份策略，调用HDFS客户端接口实现对HDFS数据的操作，纠删码算法库采用开源Jerasure库；对应的纠删码冗余备份模块可以独立于HDFS，成为独立的可插拔模块。
所述编码过程，包括以下按步骤：
（1）冗余编码节点检查raid.CheckConf.delay是否满足，满足则执行步骤（2），不满足则执行步骤（1）；
（2）冗余编码节点处理参数，包括获取待编码文件，编码路径及编码方式；
（3）查询编码路径状态，判断是否包含目录且非local模式；
（4）如果不包含目录或者当前模式是local模式，则本地执行冗余编码，通过冗余编码节点遍历编码路经下所有文件并编码；
（5）如果包含目录且当前模式是dist模式，则向冗余编码节点提交冗余请求；冗余编码节点接收到client提交的请求后，根据提交的参数构造一个raid-policy，并添加到配置管理器中，等待冗余编码节点上守护线程处理该policy，执行编码。
所述数据完整性检查和不完整数据恢复，包括以下步骤：
（1）冗余编码节点检查raid.CheckInteger.delay是否满足，满足则执行步骤（2），不满足则执行步骤（1）；
（2）冗余编码节点判断损坏数据是否能恢复，不能恢复执行则执行步骤（3），能恢复执行则执行步骤（4）；
（3）冗余编码节点报告HDFS数据块损坏；
（4）将数据块添加到修复队列，冗余编码节点周期性对恢复队列中的数据进行检查和修复。

Claims (4)

1.一种Hadoop分布式文件系统HDFS纠删码冗余备份策略，其特征在于：包括编码过程，数据完整性检查和不完整数据恢复三部分；述编码过程是由冗余编码节点周期性发起的，通过纠删码算法将HDFS文件进行冗余备份，并将HDFS原有三副本删除，冗余编码节点从HDFS上获取需raid的文件及文件blocks列表，冗余编码节点从HDFS读取数据执行编码，并将冗余块parities上传到HDFS；所述数据完整性检查是冗余编码节点周期性检查的，将损坏且能恢复的数据块添加到恢复数据列表中；所述不完整数据恢复即解码过程，由冗余编码节点周期性发起，通过纠删码解码算法对不完整数据进行恢复，从HDFS获取损坏数据块冗余码parities，执行解码，并将恢复的数据上传到HDFS；如果不能恢复删除文件，则报告HDFS元数据节点。
2.根据权利要求1所述的Hadoop分布式文件系统HDFS纠删码冗余备份策略，其特征在于：调用HDFS客户端接口实现对HDFS数据的操作，纠删码算法库采用开源Jerasure库；对应的纠删码冗余备份模块可以独立于HDFS，成为独立的可插拔模块。
3.根据权利要求1所述的Hadoop分布式文件系统HDFS纠删码冗余备份策略，其特征在于：所述编码过程，包括以下按步骤：
（1）冗余编码节点检查raid.CheckConf.delay是否满足，满足则执行步骤（2），不满足则执行步骤（1）；
（2）冗余编码节点处理参数，包括获取待编码文件，编码路径及编码方式；
（3）查询编码路径状态，判断是否包含目录且非local模式；
（4）如果不包含目录或者当前模式是local模式，则本地执行冗余编码，通过冗余编码节点遍历编码路经下所有文件并编码；
（5）如果包含目录且当前模式是dist模式，则向冗余编码节点提交冗余请求；冗余编码节点接收到client提交的请求后，根据提交的参数构造一个raid-policy，并添加到配置管理器中，等待冗余编码节点上守护线程处理该policy，执行编码。
4.根据权利要求1所述的Hadoop分布式文件系统HDFS纠删码冗余备份策略，其特征在于：所述数据完整性检查和不完整数据恢复，包括以下步骤：
（1）冗余编码节点检查raid.CheckInteger.delay是否满足，满足则执行步骤（2），不满足则执行步骤（1）；
（2）冗余编码节点判断损坏数据是否能恢复，不能恢复执行则执行步骤（3），能恢复执行则执行步骤（4）；
（3）冗余编码节点报告HDFS数据块损坏；
（4）将数据块添加到修复队列，冗余编码节点周期性对恢复队列中的数据进行检查和修复。
CN201510976944.7A 2015-12-23 2015-12-23 一种Hadoop分布式文件系统HDFS纠删码冗余备份方法 Active CN105635252B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510976944.7A CN105635252B (zh) 2015-12-23 2015-12-23 一种Hadoop分布式文件系统HDFS纠删码冗余备份方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510976944.7A CN105635252B (zh) 2015-12-23 2015-12-23 一种Hadoop分布式文件系统HDFS纠删码冗余备份方法

Publications (2)

Publication Number Publication Date
CN105635252A true CN105635252A (zh) 2016-06-01
CN105635252B CN105635252B (zh) 2019-06-25

Family

ID=56049724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510976944.7A Active CN105635252B (zh) 2015-12-23 2015-12-23 一种Hadoop分布式文件系统HDFS纠删码冗余备份方法

Country Status (1)

Country Link
CN (1) CN105635252B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106227731A (zh) * 2016-07-06 2016-12-14 联想(北京)有限公司 一种数据处理方法、装置及分布式文件系统
CN106254161A (zh) * 2016-09-28 2016-12-21 上海爱数信息技术股份有限公司 基于hdfs的节点失效的快速检测与恢复方法及系统
CN106776146A (zh) * 2016-12-29 2017-05-31 华为技术有限公司 一种数据校验方法、装置及系统
CN107070590A (zh) * 2016-12-30 2017-08-18 南京海道普数据技术有限公司 基于MapReduce的WSN感知数据分布式解码方法
CN107491455A (zh) * 2016-06-13 2017-12-19 阿里巴巴集团控股有限公司 一种分布式系统中的读取方法及装置
CN109739777A (zh) * 2018-12-25 2019-05-10 清华大学 本地与分布式协同设计的可靠闪存存储方法及系统
CN110149198A (zh) * 2019-04-29 2019-08-20 成都信息工程大学 一种自主可控地对数据进行安全保护与存储的系统和方法
CN111008181A (zh) * 2019-10-31 2020-04-14 苏州浪潮智能科技有限公司 一种分布式文件系统存储策略切换方法、系统、终端及存储介质
CN111858128A (zh) * 2019-04-26 2020-10-30 深信服科技股份有限公司 一种纠删码数据修复方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100162044A1 (en) * 2004-08-09 2010-06-24 Siew Yong Sim-Tang Method for erasure coding data across a plurality of data stores in a network
CN101840377A (zh) * 2010-05-13 2010-09-22 上海交通大学 基于rs纠删码的数据存储方法
CN102419766A (zh) * 2011-11-01 2012-04-18 西安电子科技大学 基于hdfs分布式文件系统的数据冗余及文件操作方法
CN102546755A (zh) * 2011-12-12 2012-07-04 华中科技大学 云存储系统的数据存储方法
CN103152395A (zh) * 2013-02-05 2013-06-12 北京奇虎科技有限公司 一种分布式文件系统的存储方法及装置
CN103336785A (zh) * 2013-06-04 2013-10-02 华中科技大学 一种基于网络编码的分布式存储方法及其装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100162044A1 (en) * 2004-08-09 2010-06-24 Siew Yong Sim-Tang Method for erasure coding data across a plurality of data stores in a network
CN101840377A (zh) * 2010-05-13 2010-09-22 上海交通大学 基于rs纠删码的数据存储方法
CN102419766A (zh) * 2011-11-01 2012-04-18 西安电子科技大学 基于hdfs分布式文件系统的数据冗余及文件操作方法
CN102546755A (zh) * 2011-12-12 2012-07-04 华中科技大学 云存储系统的数据存储方法
CN103152395A (zh) * 2013-02-05 2013-06-12 北京奇虎科技有限公司 一种分布式文件系统的存储方法及装置
CN103336785A (zh) * 2013-06-04 2013-10-02 华中科技大学 一种基于网络编码的分布式存储方法及其装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107491455B (zh) * 2016-06-13 2020-11-20 阿里巴巴集团控股有限公司 一种分布式系统中的读取方法及装置
CN107491455A (zh) * 2016-06-13 2017-12-19 阿里巴巴集团控股有限公司 一种分布式系统中的读取方法及装置
CN106227731B (zh) * 2016-07-06 2019-10-29 联想(北京)有限公司 一种数据处理方法、装置及分布式文件系统
CN106227731A (zh) * 2016-07-06 2016-12-14 联想(北京)有限公司 一种数据处理方法、装置及分布式文件系统
CN106254161A (zh) * 2016-09-28 2016-12-21 上海爱数信息技术股份有限公司 基于hdfs的节点失效的快速检测与恢复方法及系统
CN106254161B (zh) * 2016-09-28 2020-01-03 上海爱数信息技术股份有限公司 基于hdfs的节点失效的快速检测与恢复方法及系统
CN106776146A (zh) * 2016-12-29 2017-05-31 华为技术有限公司 一种数据校验方法、装置及系统
CN107070590A (zh) * 2016-12-30 2017-08-18 南京海道普数据技术有限公司 基于MapReduce的WSN感知数据分布式解码方法
CN107070590B (zh) * 2016-12-30 2020-12-29 南京海道普数据技术有限公司 基于MapReduce的WSN感知数据分布式解码方法
CN109739777A (zh) * 2018-12-25 2019-05-10 清华大学 本地与分布式协同设计的可靠闪存存储方法及系统
CN109739777B (zh) * 2018-12-25 2020-08-04 清华大学 本地与分布式协同设计的可靠闪存存储方法及系统
CN111858128B (zh) * 2019-04-26 2023-12-29 深信服科技股份有限公司 一种纠删码数据修复方法、装置、设备及存储介质
CN111858128A (zh) * 2019-04-26 2020-10-30 深信服科技股份有限公司 一种纠删码数据修复方法、装置、设备及存储介质
CN110149198A (zh) * 2019-04-29 2019-08-20 成都信息工程大学 一种自主可控地对数据进行安全保护与存储的系统和方法
CN111008181A (zh) * 2019-10-31 2020-04-14 苏州浪潮智能科技有限公司 一种分布式文件系统存储策略切换方法、系统、终端及存储介质

Also Published As

Publication number Publication date
CN105635252B (zh) 2019-06-25

Similar Documents

Publication Publication Date Title
CN105635252A (zh) 一种Hadoop分布式文件系统HDFS纠删码冗余备份策略
CN110413216B (zh) 用于管理存储系统的方法、设备和计算机程序产品
WO2021003822A1 (zh) 数据存储及恢复的方法、装置及计算机设备
US9098447B1 (en) Recovery of corrupted erasure-coded data files
US9354991B2 (en) Locally generated simple erasure codes
CN103944981B (zh) 一种基于纠删码技术改进的云存储系统及实现方法
CN106776130B (zh) 一种日志恢复方法、存储装置和存储节点
CN110442535B (zh) 提高分布式固态盘键值缓存系统可靠性的方法及系统
US8386841B1 (en) Systems and methods for improving redundant storage fault tolerance
CN110389858B (zh) 存储设备的故障恢复方法和设备
CN106708653B (zh) 一种基于纠删码与多副本的混合税务大数据安全保护方法
US20150186411A1 (en) Enhancing Reliability of a Storage System by Strategic Replica Placement and Migration
US9864772B2 (en) Log-shipping data replication with early log record fetching
CN105677508B (zh) 一种云存储中纠删码数据的修改方法及系统
CN113051104B (zh) 基于纠删码的磁盘间数据恢复方法及相关装置
CN111782152A (zh) 数据存储方法、数据恢复方法、装置、服务器及存储介质
CN113687975A (zh) 数据处理方法、装置、设备及存储介质
CN103064759B (zh) 数据修复的方法及装置
CN111625402A (zh) 数据恢复方法、装置、电子设备及计算机可读存储介质
CN111506450A (zh) 用于数据处理的方法、设备和计算机程序产品
US9098446B1 (en) Recovery of corrupted erasure-coded data files
CN104407806A (zh) 独立磁盘冗余阵列组硬盘信息的修改方法和装置
US11386060B1 (en) Techniques for verifiably processing data in distributed computing systems
CN115543190A (zh) 视频数据的智能分布式存储方法及系统
CN109558086A (zh) 一种数据读取方法、系统及相关组件

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230407

Address after: S02 Building, 1036 Langchao Road, Jinan Area, China (Shandong) Pilot Free Trade Zone, Jinan City, Shandong Province, 250000

Patentee after: Shandong Inspur innovation and entrepreneurship Technology Co.,Ltd.

Address before: No. 1036, Shandong high tech Zone wave road, Ji'nan, Shandong

Patentee before: INSPUR GROUP Co.,Ltd.

TR01 Transfer of patent right