CN102929561A - 一种hadoop集群搭建磁盘乱序的解决方法 - Google Patents

一种hadoop集群搭建磁盘乱序的解决方法 Download PDF

Info

Publication number
CN102929561A
CN102929561A CN2012103805357A CN201210380535A CN102929561A CN 102929561 A CN102929561 A CN 102929561A CN 2012103805357 A CN2012103805357 A CN 2012103805357A CN 201210380535 A CN201210380535 A CN 201210380535A CN 102929561 A CN102929561 A CN 102929561A
Authority
CN
China
Prior art keywords
disk
uuid
order
hadoop cluster
hadoop
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012103805357A
Other languages
English (en)
Inventor
杨鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dawning Information Industry Beijing Co Ltd
Original Assignee
Dawning Information Industry Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dawning Information Industry Beijing Co Ltd filed Critical Dawning Information Industry Beijing Co Ltd
Priority to CN2012103805357A priority Critical patent/CN102929561A/zh
Publication of CN102929561A publication Critical patent/CN102929561A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种hadoop集群搭建磁盘乱序的解决方法，所述方法包括：查询磁盘设备的UUID号；修改/etc/fstab文件；将磁盘挂载。本发明通过UUID号解决磁盘乱序问题，不会再出现重新NameNode格式化后，DataNode无法起动的现象。

Description

一种hadoop集群搭建磁盘乱序的解决方法
技术领域
本发明属于云计算技术领域，具体涉及一种hadoop集群搭建磁盘乱序的解决方法。
背景技术
目前，hadoop基于其强劲优势，得到了业界众多公司的青睐和大力支持，已经在互联网领域遍地开花。有公司用hadoop支持广告系统和Web搜索的研究；有公司用hadoop支持其数据分析和机器学习；有公司用Hadoop进行搜索日志的分析和网页数据的挖掘工作；也有公司用Hadoop系统存储并处理电子商务交易的相关数据。随着计算机技术和通信技术的发展和融合，Hadoop的应用也会从互联网领域向电信、电子商务、银行、生物制药等领域拓展。
Hadoop框架中最核心的设计就是：MapReduce和HDFS。Hadoop的架构如图1所示。
Hadoop环境架设好后，每次重起机器，会出现磁盘盘符的乱序。比如，机器重起前挂载的顺序是：
/hdfs/data1->sda1；
/hdfs/data2->sdb1;
/hdfs/data3->sdc1;
/hdfs/data4->sdd1;......
机器重起后挂载的顺序是：
/hdfs/data1->sdd1；
/hdfs/data2->sda1;
/hdfs/data3->sdb1;
/hdfs/data4->sda1;......
从而导致DataNode无法起来。
发明内容
为了克服上述现有技术的不足，本发明提供一种hadoop集群搭建磁盘乱序的解决方法，通过UUID解决磁盘乱序问题，不会再出现重新NameNode格式化后，DataNode无法起动的现象。
为了实现上述发明目的，本发明采取如下技术方案：
一种hadoop集群搭建磁盘乱序的解决方法，所述方法包括：
步骤1：查询磁盘设备的UUID；
步骤2：修改/etc/fstab文件；
步骤3：将磁盘挂载。
所述步骤1中，根据ls-la/dev/disk/by-uuid查询磁盘设备的UUID。
所述步骤2中，修改/etc/fstab文件，通过VIM命令，在/etc/fstab文件的末尾加入UUID的相关信息，将每个磁盘的UUID与需要被挂载的相关目录绑定。
所述步骤3中，通过mount命令将磁盘挂载到相关的目录。
与现有技术相比，本发明的有益效果在于：本发明提供一种hadoop集群搭建磁盘乱序的解决方法，通过UUID解决磁盘乱序问题，不会再出现重新NameNode格式化后，DataNode无法起动的现象，该方法简单可靠，易执行。
附图说明
图1是Hadoop的架构图；
图2是hadoop集群搭建磁盘乱序的解决方法流程图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
如图2，本发明提供一种hadoop集群搭建磁盘乱序的解决方法，所述方法包括：
步骤1：查询磁盘设备的UUID号；
步骤2：修改/etc/fstab文件；
步骤3：将磁盘挂载。
所述步骤1中，根据ls-la/dev/disk/by-uuid查询磁盘设备的UUID号。
如：
lrwxrwxrwx.1 root root 10 Aug 15 11:07 27f8bc60-3c63-41e4-a3bc-fac625775238->../../sda1
lrwxrwxrwx.1 root root 10 Aug 15 11:07 3210d886-cd42-439c-900f-010210fe385f->../../sdb1
lrwxrwxrwx 1 root root 10 Aug 15 11:07 fe6bd727-bdc6-4af9-b80c-7876ed8d557b->../../sdc1
lrwxrwxrwx.1 root root 10 Aug 15 11:07 b868c920-427e-454f-8d3b-20b76b5ec207->../../sdd1......
所述步骤2中，修改/etc/fstab文件，通过VIM命令，在/etc/fstab文件的末尾加入UUID的相关信息，将每个磁盘的UUID号与需要被挂载的相关目录绑定。
添加内容如下所示：
UUID=27f8bc60-3c63-41e4-a3bc-fac625775238/hdfs/data1ext4defaults 11
UUID=3210d886-cd42-439c-900f-010210fe385f/hdfs/data2ext4defaults 11
UUID=fe6bd727-bdc6-4af9-b80c-7876ed8d557b/hdfs/data3ext4defaults 11
UUID=b868c920-427e-454f-8d3b-20b76b5ec207/hdfs/data4ext4defaults 11
所述步骤3中，通过mount命令将磁盘挂载到相关的目录。
如：
mount/hdfs/data1
将相应的磁盘挂载到目录mount/hdfs/data1
mount/hdfs/data2
mount/hdfs/data3
mount/hdfs/data4
在一个Hadoop集群中，通常存在着大量的服务器，每一台服务器通常会有多块硬盘，内核分配盘符的顺序是/dev/sda、/dev/sdb、/dev/sdc......。在系统启动过程中，内核会按照扫描到硬盘的顺序分配盘符。在系统启动后，热插拔硬盘硬盘，系统会顺序分配盘符。在同一个硬盘槽位，每次插入硬盘后，在系统中的盘符都可能出现前后不一致。盘符可能从/dev/sda，变成/dev/sdc。盘符的变化，将直接导致原目录无法找到原相应的文件。在Hadoop的HDFS中，存储了成千上万的文件，一旦这种情况出现，将导致文件系统发生错乱。本方法能够方便快捷的解决这一问题。磁盘被格式化后，其UUID将不会发生变化，通过UUID绑定，可以一劳永逸的解决盘符错乱导致文件系统错乱的问题。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求范围当中。

Claims (4)

1.一种hadoop集群搭建磁盘乱序的解决方法，其特征在于：所述方法包括：
步骤1：查询磁盘设备的UUID号；
步骤2：修改/etc/fstab文件；
步骤3：将磁盘挂载。
2.根据权利要求1所述的hadoop集群搭建磁盘乱序的解决方法，其特征在于：所述步骤1中，根据ls-la/dev/disk/by-uuid查询磁盘设备的UUID号。
3.根据权利要求1所述的hadoop集群搭建磁盘乱序的解决方法，其特征在于：所述步骤2中，修改/etc/fstab文件，通过VIM命令，在/etc/fstab文件的末尾加入UUID的相关信息，将每个磁盘的UUID号与需要被挂载的相关目录绑定。
4.根据权利要求1所述的hadoop集群搭建磁盘乱序的解决方法，其特征在于：所述步骤3中，通过mount命令将磁盘挂载到相关的目录。
CN2012103805357A 2012-10-09 2012-10-09 一种hadoop集群搭建磁盘乱序的解决方法 Pending CN102929561A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2012103805357A CN102929561A (zh) 2012-10-09 2012-10-09 一种hadoop集群搭建磁盘乱序的解决方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2012103805357A CN102929561A (zh) 2012-10-09 2012-10-09 一种hadoop集群搭建磁盘乱序的解决方法

Publications (1)

Publication Number Publication Date
CN102929561A true CN102929561A (zh) 2013-02-13

Family

ID=47644376

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012103805357A Pending CN102929561A (zh) 2012-10-09 2012-10-09 一种hadoop集群搭建磁盘乱序的解决方法

Country Status (1)

Country Link
CN (1) CN102929561A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104731915A (zh) * 2015-03-24 2015-06-24 上海爱数软件有限公司 一种分布式存储系统中磁盘设备映射方法
CN107741827A (zh) * 2017-09-08 2018-02-27 郑州云海信息技术有限公司 一种解决Linux磁盘乱序的方法及系统
CN107861693A (zh) * 2017-11-27 2018-03-30 郑州云海信息技术有限公司 一种分布式块存储系统的osd进程部署方法、装置及介质
CN108153556A (zh) * 2018-01-23 2018-06-12 深圳市科力锐科技有限公司 信息自动修正方法、装置、用户设备、系统及存储介质
CN112328173A (zh) * 2020-10-27 2021-02-05 中国建设银行股份有限公司 一种分布式存储系统磁盘故障修复方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040010655A1 (en) * 2002-06-04 2004-01-15 Nobuyoshi Tanaka Storage device, information processing system having storage device, format method for storage device, data recording method, and program for implementing formatting and data recording
CN101840314A (zh) * 2010-05-05 2010-09-22 北京星网锐捷网络技术有限公司 扩展数据库存储空间的方法及装置、服务器

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040010655A1 (en) * 2002-06-04 2004-01-15 Nobuyoshi Tanaka Storage device, information processing system having storage device, format method for storage device, data recording method, and program for implementing formatting and data recording
CN101840314A (zh) * 2010-05-05 2010-09-22 北京星网锐捷网络技术有限公司 扩展数据库存储空间的方法及装置、服务器

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SUNBOY_2050: "VIM常用命令总结", 《HTTP://BLOG.CSDN.NET/ITHOMER/ARTICLE/DETAILS/5929428》 *
晴空万里: "linux mount（挂载命令）详解", 《HTTP://TUTU.SPACES.EEPW.COM.CN/ARTICLES/ARTICLE/ITEM/70737》 *
骆驼: "用UUID挂载硬盘，解决UBUNTU启动黑屏问题", 《HTTP://BLOG.163.COM/DWANG55@126/BLOG/STATIC/149106439201202114114918/》, 2 January 2012 (2012-01-02), pages 1 - 3 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104731915A (zh) * 2015-03-24 2015-06-24 上海爱数软件有限公司 一种分布式存储系统中磁盘设备映射方法
CN104731915B (zh) * 2015-03-24 2019-03-22 上海爱数信息技术股份有限公司 一种分布式存储系统中磁盘设备映射方法
CN107741827A (zh) * 2017-09-08 2018-02-27 郑州云海信息技术有限公司 一种解决Linux磁盘乱序的方法及系统
CN107861693A (zh) * 2017-11-27 2018-03-30 郑州云海信息技术有限公司 一种分布式块存储系统的osd进程部署方法、装置及介质
CN108153556A (zh) * 2018-01-23 2018-06-12 深圳市科力锐科技有限公司 信息自动修正方法、装置、用户设备、系统及存储介质
CN112328173A (zh) * 2020-10-27 2021-02-05 中国建设银行股份有限公司 一种分布式存储系统磁盘故障修复方法及装置

Similar Documents

Publication Publication Date Title
CN102929561A (zh) 一种hadoop集群搭建磁盘乱序的解决方法
CN103164435B (zh) 一种网络数据的采集方法和系统
CN104102710A (zh) 一种海量数据查询方法
CN103631623A (zh) 一种集群系统中部署应用软件的方法及装置
CN104778175A (zh) 一种实现异构数据库数据同步的方法及系统
CN103154943A (zh) 新数据和更新的数据的基于企业的搜索
US9110820B1 (en) Hybrid data storage system in an HPC exascale environment
CN102223410A (zh) 信息智能终端搜索方法及终端
WO2014110940A1 (en) A method, apparatus and system for storing, reading the directory index
CN103761102A (zh) 一种统一数据服务平台及其实现方法
CN103425785A (zh) 数据存储系统及其用户数据存储、读取方法
US20130041901A1 (en) News feed by filter
CN103699557A (zh) 报表处理方法及系统
CN103701909A (zh) 视频应用的快速生成方法及系统
CN103544036A (zh) 页面加载方法、终端及系统
CN103970844A (zh) 大数据的写入方法和装置、读取方法和装置及处理系统
CN105446981B (zh) 站点地图生成方法、访问方法及装置
CN103067500A (zh) 基于云终端的网页浏览方法
CN103678295A (zh) 一种向用户提供文件的方法及装置
CN104808995A (zh) 一种用于跨应用收藏应用内容的方法和装置
CN101986307B (zh) 一种mime类型插件的生成方法、系统及浏览器
EP3166024A1 (en) Method for unifying tool and information coming from multiple information sources, and computer program product and device using same
CN104283909A (zh) 一种兼容桌面应用的云计算方法及装置
CN108595488B (zh) 数据迁移方法和装置
CN104572649B (zh) 分布式存储系统的数据的处理方法、装置及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20130213

RJ01 Rejection of invention patent application after publication