CN105893545A - 一种高效的Hadoop集群部署方法 - Google Patents

一种高效的Hadoop集群部署方法 Download PDF

Info

Publication number
CN105893545A
CN105893545A CN201610198156.4A CN201610198156A CN105893545A CN 105893545 A CN105893545 A CN 105893545A CN 201610198156 A CN201610198156 A CN 201610198156A CN 105893545 A CN105893545 A CN 105893545A
Authority
CN
China
Prior art keywords
hadoop
file
node
script
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610198156.4A
Other languages
English (en)
Inventor
辛永欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN201610198156.4A priority Critical patent/CN105893545A/zh
Publication of CN105893545A publication Critical patent/CN105893545A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Stored Programmes (AREA)

Abstract

本发明公开一种高效的Hadoop集群部署方法，属于集群管理技术领域；对集群节点进行无密码访问配置，在其中一个节点上将Hadoop环境变量设置、Hadoop配置文件、及Hadoop相关服务的启动利用相关脚本配置远程命令，远程执行环境变量设置、Hadoop配置文件、及Hadoop相关服务的启动的相关操作，将Hadoop文件打包自动分发到集群的其他节点上；实现了自动化设置环境变量，自动化配置无密码访问，自动化修改配置文件，自动化启动服务和验证等功能，只需要手动进行JDK的安装即可，部署简单快速，且大大降低了出错的概率，特别适合与在大机群上进行Hadoop的部署。

Description

一种高效的Hadoop集群部署方法
技术领域
本发明公开一种高效的Hadoop集群部署方法，属于集群管理技术领域。
背景技术
Hadoop是一个分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop的框架最核心的设计是HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。HDFS有高容错性的特点，并且设计用来部署在低廉的硬件上；而且它提供高吞吐量high throughput来访问应用程序的数据，适合那些有着超大数据集large data set的应用程序。
Hadoop作为分布式计算平台，虽然可以很容易的处理海量数据，但是部署步骤较为繁琐。官方上的部署文档一般是配置无密码访问、配置JDK、修改相关配置文件，在分发到几台节点服务器上。几个节点的集群从系统安装好到集群部署完成需要几个小时，相关服务无法启动的话还需要慢慢排错，因此，在大量节点上部署Hadoop环境时，由于需要进行的设置和修改的配置文件较多，手工进行操作，容易出错，且效率较低。
本发明公开一种高效的Hadoop集群部署方法，实现了自动化设置环境变量，自动化配置无密码访问，自动化修改配置文件，自动化启动服务和验证等功能，只需要手动进行JDK的安装即可，部署简单快速，且大大降低了出错的概率，特别适合与在大机群上进行Hadoop的部署。
发明内容
本发明针对现有技术中的问题，提供一种高效的Hadoop集群部署方法，实现了自动化设置环境变量，自动化配置无密码访问，自动化修改配置文件，自动化启动服务和验证等功能。整个Hadoop配置及服务启动过程，用时较短。大大简化了配置步骤，减少了配置时间。
本发明提出的具体方案是：
一种高效的Hadoop集群部署方法，对集群节点进行无密码访问配置，在其中一个节点上将Hadoop环境变量设置、Hadoop配置文件、及Hadoop相关服务的启动利用相关脚本配置远程命令，远程执行环境变量设置、Hadoop配置文件、及Hadoop相关服务的启动的相关操作，将Hadoop文件打包自动分发到集群的其他节点上。
所述对集群节点进行无密码访问配置：在节点间使用公钥，将公钥远程生成拷贝及合并操作存放到同一脚本，执行此脚本，使任意节点间进行无密码访问。
Hadoop环境变量设置：将环境变量的值，预先存放在固定的hadoop.sh文件里，利用脚本配置远程命令，将hadoop.sh远程拷贝并远程执行相关操作使环境变量生效。
对Hadoop配置文件进行配置，将配置参数统一存放在一个文件中，使用脚本将需要修改的参数，修改到预先准备的原始参数文件当中，生成目标参数文件，再将这些参数文件及其它的hadoop文件进行远程拷贝。
本发明的有益之处是：
本发明提供一种高效的Hadoop集群部署方法，对集群节点进行无密码访问配置，在其中一个节点上将Hadoop环境变量设置、Hadoop配置文件、及Hadoop相关服务的启动利用相关脚本配置远程命令，远程执行环境变量设置、Hadoop配置文件、及Hadoop相关服务的启动的相关操作，将Hadoop文件打包自动分发到集群的其他节点上；实现了自动化设置环境变量，自动化配置无密码访问，自动化修改配置文件，自动化启动服务和验证等功能，只需要手动进行JDK的安装即可，部署简单快速，且大大降低了出错的概率，特别适合与在大机群上进行Hadoop的部署。
附图说明
图1本发明方法设置脚本流程示意图。
具体实施方式
一种高效的Hadoop集群部署方法，对集群节点进行无密码访问配置，在其中一个节点上将Hadoop环境变量设置、Hadoop配置文件、及Hadoop相关服务的启动利用相关脚本配置远程命令，远程执行环境变量设置、Hadoop配置文件、及Hadoop相关服务的启动的相关操作，将Hadoop文件打包自动分发到集群的其他节点上。
根据上述方法及发明内容，结合附图对本发明做进一步说明。
利用本发明方法进行Hadoop集群部署时，系统环境已经安装完毕，网络配置正常，防火墙和selinux已关闭，本发明具体实施中主要包括以下几个脚本文件：设置无密码访问的setssh.sh，设置环境变量的setprofile.sh，修改hadoop配置文件的deploy.sh，启动并检查hadoop相关服务的run_check.sh。
以hadoop2.5.2为例，一种高效的Hadoop集群部署方法：
对集群节点进行无密码访问配置，在其中一个节点上将Hadoop环境变量设置、Hadoop配置文件、及Hadoop相关服务的启动利用相关脚本配置远程命令，远程执行环境变量设置、Hadoop配置文件、及Hadoop相关服务的启动的相关操作，将Hadoop文件打包自动分发到集群的其他节点上。
其中所述对集群节点进行无密码访问配置：设置无密码访问的setssh.sh，在节点间使用公钥，将公钥远程生成拷贝及合并操作存放到同一脚本setssh.sh，执行此脚本，使任意节点间进行无密码访问。例如两个节点间的无密码访问，比如A节点访问为B节点，将B节点的公钥放在A节点上，A节点便可无密码访问B节点。同理将A节点的公钥放在B节点上，B节点即可无密码访问A节点。如此在其他节点上执行同样操作，便可使A、B节点和更多的节点之间进行无密码访问。
Hadoop环境变量设置：设置环境变量的setprofile.sh，配置Hadoop时，一般需要设置如下环境变量：JAVA_HOME，HADOOP_HOME, HADOOP_CONF，CLASSPATH ，PATH。将环境变量的值，预先存放在固定的hadoop.sh文件里，利用脚本setprofile.sh配置远程命令，将hadoop.sh远程拷贝到目标机器的/etc/profile.d目录下，并远程执行source /etc/profile.d使环境变量生效。
对Hadoop配置文件进行配置：涉及修改hadoop配置文件的deploy.sh，配置hadoop时一般需要修改如下几个文件：core-site.xml，hdfs-site.xml，mapred-site.xml， master, slave。将配置参数统一存放在一个文件alter.txt中，使用deploy.sh脚本将需要修改的参数，修改到预先准备的原始参数文件当中，生成目标参数文件，再将这些参数文件及其它的hadoop文件进行远程拷贝。后续用户可以通过alter.txt查看进行了哪些修改，方便了问题的追查。或者对这个文件进行增删操作，增加或删除参数改动，重复利用率高。
启动hadoop相关服务的run_check.sh：用户在启动hadoop服务的时候，最好检查服务是否启动成功。run_check.sh脚本中配置了远程操作命令，帮助用户远程启动服务并且远程检查服务是否启动成功，并将服务启动失败的节点返回。
利用本发明方法整个hadoop配置及服务启动过程，用时较短。大大简化了配置步骤，减少了配置时间。

Claims (4)

1.一种高效的Hadoop集群部署方法，其特征是对集群节点进行无密码访问配置，在其中一个节点上将Hadoop环境变量设置、Hadoop配置文件、及Hadoop相关服务的启动利用相关脚本配置远程命令，远程执行环境变量设置、Hadoop配置文件、及Hadoop相关服务的启动的相关操作，将Hadoop文件打包自动分发到集群的其他节点上。
2.根据权利要求1所述的方法，其特征是所述对集群节点进行无密码访问配置：在节点间使用公钥，将公钥远程生成拷贝及合并操作存放到同一脚本，执行此脚本，使任意节点间进行无密码访问。
3.根据权利要求1或2所述的方法，其特征是Hadoop环境变量设置：将环境变量的值，预先存放在固定的hadoop.sh文件里，利用脚本配置远程命令，将hadoop.sh远程拷贝并远程执行相关操作使环境变量生效。
4.根据权利要求1或2所述的方法，其特征是对Hadoop配置文件进行配置，将配置参数统一存放在一个文件中，使用脚本将需要修改的参数，修改到预先准备的原始参数文件当中，生成目标参数文件，再将这些参数文件及其它的hadoop文件进行远程拷贝。
CN201610198156.4A 2016-04-01 2016-04-01 一种高效的Hadoop集群部署方法 Pending CN105893545A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610198156.4A CN105893545A (zh) 2016-04-01 2016-04-01 一种高效的Hadoop集群部署方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610198156.4A CN105893545A (zh) 2016-04-01 2016-04-01 一种高效的Hadoop集群部署方法

Publications (1)

Publication Number Publication Date
CN105893545A true CN105893545A (zh) 2016-08-24

Family

ID=57011827

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610198156.4A Pending CN105893545A (zh) 2016-04-01 2016-04-01 一种高效的Hadoop集群部署方法

Country Status (1)

Country Link
CN (1) CN105893545A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108270556A (zh) * 2016-12-30 2018-07-10 北京国双科技有限公司 终端的登录方法和装置
CN108572826A (zh) * 2018-04-18 2018-09-25 中山大学 一种基于脚本自动化部署Hadoop和Spark集群的方法
CN109274654A (zh) * 2018-08-31 2019-01-25 郑州云海信息技术有限公司 一种存储设备集群的建立方法、装置及存储介质
CN110633088A (zh) * 2019-08-15 2019-12-31 平安普惠企业管理有限公司 一种Hadoop自动安装方法及装置
CN110995725A (zh) * 2019-12-11 2020-04-10 北京明略软件系统有限公司 数据处理方法和装置、电子设备及计算机可读存储介质
CN111147542A (zh) * 2019-11-24 2020-05-12 浪潮电子信息产业股份有限公司 一种免密访问的设置方法、装置、设备及介质
CN112398669A (zh) * 2019-08-15 2021-02-23 北京京东尚科信息技术有限公司 一种Hadoop部署方法和装置
CN114489833A (zh) * 2021-12-31 2022-05-13 武汉达梦数据库股份有限公司 一种在应用程序中提交flink作业到yarn集群的实现方法与装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120054182A1 (en) * 2010-08-24 2012-03-01 International Business Machines Corporation Systems and methods for massive structured data management over cloud aware distributed file system
CN103064742A (zh) * 2012-12-25 2013-04-24 中国科学院深圳先进技术研究院 一种hadoop集群的自动部署系统及方法
CN104021503A (zh) * 2014-05-08 2014-09-03 国家电网公司 一种基于虚拟化Hadoop集群建设继保云的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120054182A1 (en) * 2010-08-24 2012-03-01 International Business Machines Corporation Systems and methods for massive structured data management over cloud aware distributed file system
CN103064742A (zh) * 2012-12-25 2013-04-24 中国科学院深圳先进技术研究院 一种hadoop集群的自动部署系统及方法
CN104021503A (zh) * 2014-05-08 2014-09-03 国家电网公司 一种基于虚拟化Hadoop集群建设继保云的方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108270556A (zh) * 2016-12-30 2018-07-10 北京国双科技有限公司 终端的登录方法和装置
CN108572826A (zh) * 2018-04-18 2018-09-25 中山大学 一种基于脚本自动化部署Hadoop和Spark集群的方法
CN108572826B (zh) * 2018-04-18 2022-08-16 中山大学 一种基于脚本自动化部署Hadoop和Spark集群的方法
CN109274654A (zh) * 2018-08-31 2019-01-25 郑州云海信息技术有限公司 一种存储设备集群的建立方法、装置及存储介质
CN110633088A (zh) * 2019-08-15 2019-12-31 平安普惠企业管理有限公司 一种Hadoop自动安装方法及装置
CN112398669A (zh) * 2019-08-15 2021-02-23 北京京东尚科信息技术有限公司 一种Hadoop部署方法和装置
CN112398669B (zh) * 2019-08-15 2023-09-26 北京京东尚科信息技术有限公司 一种Hadoop部署方法和装置
CN111147542A (zh) * 2019-11-24 2020-05-12 浪潮电子信息产业股份有限公司 一种免密访问的设置方法、装置、设备及介质
CN110995725A (zh) * 2019-12-11 2020-04-10 北京明略软件系统有限公司 数据处理方法和装置、电子设备及计算机可读存储介质
CN110995725B (zh) * 2019-12-11 2021-12-07 北京明略软件系统有限公司 数据处理方法和装置、电子设备及计算机可读存储介质
CN114489833A (zh) * 2021-12-31 2022-05-13 武汉达梦数据库股份有限公司 一种在应用程序中提交flink作业到yarn集群的实现方法与装置
CN114489833B (zh) * 2021-12-31 2022-12-23 武汉达梦数据库股份有限公司 一种在应用程序中提交flink作业到yarn集群的实现方法与装置

Similar Documents

Publication Publication Date Title
CN105893545A (zh) 一种高效的Hadoop集群部署方法
CN108829409B (zh) 一种分布式系统快速部署方法及系统
CN111666080B (zh) 微服务集群部署方法、装置、计算机设备及存储介质
US10430204B2 (en) System and method for cloud provisioning and application deployment
US20210141625A1 (en) Container image building using shared resources
US9489189B2 (en) Dynamically generate and execute a context-specific patch installation procedure on a computing system
US10216509B2 (en) Continuous and automatic application development and deployment
CN106843936B (zh) 一种自动化部署Web应用环境的方法
US10922067B1 (en) System and method for installing, updating and uninstalling applications
CN106104467B (zh) 一种自动化部署方法和终端
WO2017161984A1 (zh) 数据集群的部署方法、装置、系统及计算机存储介质
CN111198744A (zh) 自动化应用程序容器化和镜像备份发布的方法
CN110012088B (zh) 一种基于Kubernets的Redis主从集群自动化部署方案
CN110389766B (zh) HBase容器集群部署方法、系统、设备及计算机可读存储介质
CN102662705B (zh) 一种对计算机集群的系统环境进行升级的系统及方法
CN112585919A (zh) 利用基于云的应用管理技术来管理应用配置状态的方法
US20130007726A1 (en) Virtual machine disk image installation
US20100312879A1 (en) Plug-in provisioning integration in a clustered environment
CN113434158B (zh) 一种大数据组件的自定义管理方法、装置、设备及介质
CN110888652B (zh) 基于jenkins插件的多版本构建方法及终端
US10831171B2 (en) Auto binding of templates into existing systems
CN106502713A (zh) 一种软件升级方法和系统
CN113779477A (zh) 一种基于PaaS云平台的流水线发布方法及系统
CN106569863B (zh) 基于资源和代码模块化的安卓app资源更新和修复的方法
CN103455346A (zh) 应用程序部署方法、部署主控机、部署客户端和集群

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160824

RJ01 Rejection of invention patent application after publication