CN102929561A - 一种hadoop集群搭建磁盘乱序的解决方法 - Google Patents
一种hadoop集群搭建磁盘乱序的解决方法 Download PDFInfo
- Publication number
- CN102929561A CN102929561A CN2012103805357A CN201210380535A CN102929561A CN 102929561 A CN102929561 A CN 102929561A CN 2012103805357 A CN2012103805357 A CN 2012103805357A CN 201210380535 A CN201210380535 A CN 201210380535A CN 102929561 A CN102929561 A CN 102929561A
- Authority
- CN
- China
- Prior art keywords
- disk
- uuid
- order
- hadoop cluster
- hadoop
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种hadoop集群搭建磁盘乱序的解决方法,所述方法包括:查询磁盘设备的UUID号;修改/etc/fstab文件;将磁盘挂载。本发明通过UUID号解决磁盘乱序问题,不会再出现重新NameNode格式化后,DataNode无法起动的现象。
Description
技术领域
本发明属于云计算技术领域,具体涉及一种hadoop集群搭建磁盘乱序的解决方法。
背景技术
目前,hadoop基于其强劲优势,得到了业界众多公司的青睐和大力支持,已经在互联网领域遍地开花。有公司用hadoop支持广告系统和Web搜索的研究;有公司用hadoop支持其数据分析和机器学习;有公司用Hadoop进行搜索日志的分析和网页数据的挖掘工作;也有公司用Hadoop系统存储并处理电子商务交易的相关数据。随着计算机技术和通信技术的发展和融合,Hadoop的应用也会从互联网领域向电信、电子商务、银行、生物制药等领域拓展。
Hadoop框架中最核心的设计就是:MapReduce和HDFS。Hadoop的架构如图1所示。
Hadoop环境架设好后,每次重起机器,会出现磁盘盘符的乱序。比如,机器重起前挂载的顺序是:
/hdfs/data1->sda1;
/hdfs/data2->sdb1;
/hdfs/data3->sdc1;
/hdfs/data4->sdd1;......
机器重起后挂载的顺序是:
/hdfs/data1->sdd1;
/hdfs/data2->sda1;
/hdfs/data3->sdb1;
/hdfs/data4->sda1;......
从而导致DataNode无法起来。
发明内容
为了克服上述现有技术的不足,本发明提供一种hadoop集群搭建磁盘乱序的解决方法,通过UUID解决磁盘乱序问题,不会再出现重新NameNode格式化后,DataNode无法起动的现象。
为了实现上述发明目的,本发明采取如下技术方案:
一种hadoop集群搭建磁盘乱序的解决方法,所述方法包括:
步骤1:查询磁盘设备的UUID;
步骤2:修改/etc/fstab文件;
步骤3:将磁盘挂载。
所述步骤1中,根据ls-la/dev/disk/by-uuid查询磁盘设备的UUID。
所述步骤2中,修改/etc/fstab文件,通过VIM命令,在/etc/fstab文件的末尾加入UUID的相关信息,将每个磁盘的UUID与需要被挂载的相关目录绑定。
所述步骤3中,通过mount命令将磁盘挂载到相关的目录。
与现有技术相比,本发明的有益效果在于:本发明提供一种hadoop集群搭建磁盘乱序的解决方法,通过UUID解决磁盘乱序问题,不会再出现重新NameNode格式化后,DataNode无法起动的现象,该方法简单可靠,易执行。
附图说明
图1是Hadoop的架构图;
图2是hadoop集群搭建磁盘乱序的解决方法流程图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
如图2,本发明提供一种hadoop集群搭建磁盘乱序的解决方法,所述方法包括:
步骤1:查询磁盘设备的UUID号;
步骤2:修改/etc/fstab文件;
步骤3:将磁盘挂载。
所述步骤1中,根据ls-la/dev/disk/by-uuid查询磁盘设备的UUID号。
如:
lrwxrwxrwx.1 root root 10 Aug 15 11:07 27f8bc60-3c63-41e4-a3bc-fac625775238->../../sda1
lrwxrwxrwx.1 root root 10 Aug 15 11:07 3210d886-cd42-439c-900f-010210fe385f->../../sdb1
lrwxrwxrwx 1 root root 10 Aug 15 11:07 fe6bd727-bdc6-4af9-b80c-7876ed8d557b->../../sdc1
lrwxrwxrwx.1 root root 10 Aug 15 11:07 b868c920-427e-454f-8d3b-20b76b5ec207->../../sdd1......
所述步骤2中,修改/etc/fstab文件,通过VIM命令,在/etc/fstab文件的末尾加入UUID的相关信息,将每个磁盘的UUID号与需要被挂载的相关目录绑定。
添加内容如下所示:
UUID=27f8bc60-3c63-41e4-a3bc-fac625775238/hdfs/data1ext4defaults 11
UUID=3210d886-cd42-439c-900f-010210fe385f/hdfs/data2ext4defaults 11
UUID=fe6bd727-bdc6-4af9-b80c-7876ed8d557b/hdfs/data3ext4defaults 11
UUID=b868c920-427e-454f-8d3b-20b76b5ec207/hdfs/data4ext4defaults 11
所述步骤3中,通过mount命令将磁盘挂载到相关的目录。
如:
mount/hdfs/data1
将相应的磁盘挂载到目录mount/hdfs/data1
mount/hdfs/data2
mount/hdfs/data3
mount/hdfs/data4
在一个Hadoop集群中,通常存在着大量的服务器,每一台服务器通常会有多块硬盘,内核分配盘符的顺序是/dev/sda、/dev/sdb、/dev/sdc......。在系统启动过程中,内核会按照扫描到硬盘的顺序分配盘符。在系统启动后,热插拔硬盘硬盘,系统会顺序分配盘符。在同一个硬盘槽位,每次插入硬盘后,在系统中的盘符都可能出现前后不一致。盘符可能从/dev/sda,变成/dev/sdc。盘符的变化,将直接导致原目录无法找到原相应的文件。在Hadoop的HDFS中,存储了成千上万的文件,一旦这种情况出现,将导致文件系统发生错乱。本方法能够方便快捷的解决这一问题。磁盘被格式化后,其UUID将不会发生变化,通过UUID绑定,可以一劳永逸的解决盘符错乱导致文件系统错乱的问题。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本发明的权利要求范围当中。
Claims (4)
1.一种hadoop集群搭建磁盘乱序的解决方法,其特征在于:所述方法包括:
步骤1:查询磁盘设备的UUID号;
步骤2:修改/etc/fstab文件;
步骤3:将磁盘挂载。
2.根据权利要求1所述的hadoop集群搭建磁盘乱序的解决方法,其特征在于:所述步骤1中,根据ls-la/dev/disk/by-uuid查询磁盘设备的UUID号。
3.根据权利要求1所述的hadoop集群搭建磁盘乱序的解决方法,其特征在于:所述步骤2中,修改/etc/fstab文件,通过VIM命令,在/etc/fstab文件的末尾加入UUID的相关信息,将每个磁盘的UUID号与需要被挂载的相关目录绑定。
4.根据权利要求1所述的hadoop集群搭建磁盘乱序的解决方法,其特征在于:所述步骤3中,通过mount命令将磁盘挂载到相关的目录。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2012103805357A CN102929561A (zh) | 2012-10-09 | 2012-10-09 | 一种hadoop集群搭建磁盘乱序的解决方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2012103805357A CN102929561A (zh) | 2012-10-09 | 2012-10-09 | 一种hadoop集群搭建磁盘乱序的解决方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102929561A true CN102929561A (zh) | 2013-02-13 |
Family
ID=47644376
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2012103805357A Pending CN102929561A (zh) | 2012-10-09 | 2012-10-09 | 一种hadoop集群搭建磁盘乱序的解决方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102929561A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104731915A (zh) * | 2015-03-24 | 2015-06-24 | 上海爱数软件有限公司 | 一种分布式存储系统中磁盘设备映射方法 |
CN107741827A (zh) * | 2017-09-08 | 2018-02-27 | 郑州云海信息技术有限公司 | 一种解决Linux磁盘乱序的方法及系统 |
CN107861693A (zh) * | 2017-11-27 | 2018-03-30 | 郑州云海信息技术有限公司 | 一种分布式块存储系统的osd进程部署方法、装置及介质 |
CN108153556A (zh) * | 2018-01-23 | 2018-06-12 | 深圳市科力锐科技有限公司 | 信息自动修正方法、装置、用户设备、系统及存储介质 |
CN112328173A (zh) * | 2020-10-27 | 2021-02-05 | 中国建设银行股份有限公司 | 一种分布式存储系统磁盘故障修复方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040010655A1 (en) * | 2002-06-04 | 2004-01-15 | Nobuyoshi Tanaka | Storage device, information processing system having storage device, format method for storage device, data recording method, and program for implementing formatting and data recording |
CN101840314A (zh) * | 2010-05-05 | 2010-09-22 | 北京星网锐捷网络技术有限公司 | 扩展数据库存储空间的方法及装置、服务器 |
-
2012
- 2012-10-09 CN CN2012103805357A patent/CN102929561A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040010655A1 (en) * | 2002-06-04 | 2004-01-15 | Nobuyoshi Tanaka | Storage device, information processing system having storage device, format method for storage device, data recording method, and program for implementing formatting and data recording |
CN101840314A (zh) * | 2010-05-05 | 2010-09-22 | 北京星网锐捷网络技术有限公司 | 扩展数据库存储空间的方法及装置、服务器 |
Non-Patent Citations (3)
Title |
---|
SUNBOY_2050: "VIM常用命令总结", 《HTTP://BLOG.CSDN.NET/ITHOMER/ARTICLE/DETAILS/5929428》 * |
晴空万里: "linux mount(挂载命令)详解", 《HTTP://TUTU.SPACES.EEPW.COM.CN/ARTICLES/ARTICLE/ITEM/70737》 * |
骆驼: "用UUID挂载硬盘,解决UBUNTU启动黑屏问题", 《HTTP://BLOG.163.COM/DWANG55@126/BLOG/STATIC/149106439201202114114918/》, 2 January 2012 (2012-01-02), pages 1 - 3 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104731915A (zh) * | 2015-03-24 | 2015-06-24 | 上海爱数软件有限公司 | 一种分布式存储系统中磁盘设备映射方法 |
CN104731915B (zh) * | 2015-03-24 | 2019-03-22 | 上海爱数信息技术股份有限公司 | 一种分布式存储系统中磁盘设备映射方法 |
CN107741827A (zh) * | 2017-09-08 | 2018-02-27 | 郑州云海信息技术有限公司 | 一种解决Linux磁盘乱序的方法及系统 |
CN107861693A (zh) * | 2017-11-27 | 2018-03-30 | 郑州云海信息技术有限公司 | 一种分布式块存储系统的osd进程部署方法、装置及介质 |
CN108153556A (zh) * | 2018-01-23 | 2018-06-12 | 深圳市科力锐科技有限公司 | 信息自动修正方法、装置、用户设备、系统及存储介质 |
CN112328173A (zh) * | 2020-10-27 | 2021-02-05 | 中国建设银行股份有限公司 | 一种分布式存储系统磁盘故障修复方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102929561A (zh) | 一种hadoop集群搭建磁盘乱序的解决方法 | |
CN103164435B (zh) | 一种网络数据的采集方法和系统 | |
CN104102710A (zh) | 一种海量数据查询方法 | |
CN103631623A (zh) | 一种集群系统中部署应用软件的方法及装置 | |
CN104778175A (zh) | 一种实现异构数据库数据同步的方法及系统 | |
CN103154943A (zh) | 新数据和更新的数据的基于企业的搜索 | |
US9110820B1 (en) | Hybrid data storage system in an HPC exascale environment | |
CN102223410A (zh) | 信息智能终端搜索方法及终端 | |
WO2014110940A1 (en) | A method, apparatus and system for storing, reading the directory index | |
CN103761102A (zh) | 一种统一数据服务平台及其实现方法 | |
CN103425785A (zh) | 数据存储系统及其用户数据存储、读取方法 | |
US20130041901A1 (en) | News feed by filter | |
CN103699557A (zh) | 报表处理方法及系统 | |
CN103701909A (zh) | 视频应用的快速生成方法及系统 | |
CN103544036A (zh) | 页面加载方法、终端及系统 | |
CN103970844A (zh) | 大数据的写入方法和装置、读取方法和装置及处理系统 | |
CN105446981B (zh) | 站点地图生成方法、访问方法及装置 | |
CN103067500A (zh) | 基于云终端的网页浏览方法 | |
CN103678295A (zh) | 一种向用户提供文件的方法及装置 | |
CN104808995A (zh) | 一种用于跨应用收藏应用内容的方法和装置 | |
CN101986307B (zh) | 一种mime类型插件的生成方法、系统及浏览器 | |
EP3166024A1 (en) | Method for unifying tool and information coming from multiple information sources, and computer program product and device using same | |
CN104283909A (zh) | 一种兼容桌面应用的云计算方法及装置 | |
CN108595488B (zh) | 数据迁移方法和装置 | |
CN104572649B (zh) | 分布式存储系统的数据的处理方法、装置及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20130213 |
|
RJ01 | Rejection of invention patent application after publication |