CN102929667A - 一种hadoop集群性能的优化方法 - Google Patents

Abstract

本发明涉及一种hadoop集群性能的优化方法，该方法采用监视工具nmon监视hadoop集群系统的性能指标；所述方法包括下述步骤：A、安装监视工具nmon；B、运行hadoop集群系统；C、根据运行过程中nmon工具的性能反馈，对hadoop集群参数进行调整。该方法能够监测CPU的使用率，内存使用情，内核统计信息和运行队列信，磁盘I/O速度、传输和读/写比，文件系统中的可用空，磁盘适配，网络I/O速度、传输和读/写比率，页面空间和页面速度，CPU和AIX规范，消耗资源最多的进程，计算机详细信息和资源，网络文件系统等。实时准确的定位系统性能瓶颈，能够快速实现对系统整体的性能优化。该方法能够使工程师的工作更有针对性，极大的减少了盲目的试探。

Description

一种hadoop集群性能的优化方法

技术领域

本发明涉及高性能集群领域，具体涉及一种hadoop集群性能的优化方法。

背景技术

hadoop技术已经在互联网领域得到广泛的应用，同时也得到了学术界的普遍关注。针对hadoop集群优化对于提高系统性能和执行效率具有重大的意义。以往的hadoop集群优化均为设置一个参数后，对系统进行性能测试，得出结果后根据经验判断参数设置的效果如何。这样将会造成太多时间的浪费。如何能快速定位系统性能瓶颈，并根据性能瓶颈进行性能优化是本发明要解决的问题。目前在hadoop集群优化中有大约几十个参数可以设置，给hadoop集群系统的性能优化带来了很大的麻烦。

发明内容

针对现有技术的不足，本发明提供一种hadoop集群性能的优化方法，该方法解决了如何能快速定位系统性能瓶颈，并根据性能瓶颈进行性能优化的问题，采用nmon工具来实时监控系统的各项性能指标，性能指标包括磁盘，CPU，内存网络等，在hadoop文件系统运行过程中及时发现性能瓶颈，及时发现hadoop集群系统设置参数的影响，从而更快更直接的进行hadoop集群系统的性能优化，节省大量的时间。

本发明的目的是采用下述技术方案实现的：

一种hadoop集群性能的优化方法，其改进之处在于，所述方法采用监视工具nmon监视hadoop集群系统的性能指标；所述方法包括下述步骤：

A、安装监视工具nmon；

B、运行hadoop集群系统。

C、根据运行过程中nmon工具的性能反馈，对hadoop集群参数进行调整，实现优化。

其中，所述安装监视工具nmon包括下述步骤：

a、从网页界面下载nmon二进制包；

b、将所述nmon二进制包复制到Hadoop集群的所有节点；

c、使用$NMON_HOME目录代表放置nmon二进制代码的位置；

d、选择作业管理节点jobtracker作为中心节点收集nmon数据；

e、登录jobtracker中心节点；

f、在所述jobtracker中心节点上创建目录并通过网络文件系统服务实现共享；

g、创建脚本在Hadoop集群的所有节点上启动nmon。

其中，所述步骤b中，所述Hadoop集群的所有节点包括：目录管理节点Namenode、任务计算节点Datanode、作业管理节点Jobtracker和辅助目录管理节点SecondNamenode。

其中，所述步骤f包括以下步骤：

（1）在所述jobtracker中心节点上创建目录；

（2）修改/etc/exports文件；

（3）重新启动网络文件系统服务；

（4）在目录管理节点Namenode、任务计算节点Datanode和辅助目录管理节点SecondNamenode上创建该目录并将其挂装到jobtracker中心节点上的perf_share目录中。

其中，所述步骤g中，所述脚本包括：-f表示希望把数据保存到文件中，并不在屏幕上显示；-m表示保存数据的位置；-s 30表示希望每30秒捕捉一次数据；-c 360表示需要360个数据点（即快照），总数据收集时间为30x360秒，即3小时。

其中，所述步骤B中，通过所述监视工具nmon返回hadoop集群系统性能数据确定性能瓶颈，进行hadoop系统配置参数调整。

其中，所述hadoop集群系统的性能指标包括磁盘、CPU和内存网络。

其中，所述nmon为系统管理、调优和基准测试工具，用于监视hadoop集群系统的性能指标。

其中，所述hadoop系统配置参数调整是一个反复循环的过程。

其中，所述步骤C中，根据运行过程中监视工具nmon的性能反馈，对hadoop集群参数进行调整，包括：

I、统计系统各项数据，包括CPU的使用率，内存使用情，内核统计信息和运行队列信，磁盘I/O速度、传输和读/写比，文件系统中的可用空，磁盘适配，网络I/O速度、传输和读/写比率，页面空间和页面速度，CPU和AIX规范，消耗资源最多的进程，计算机详细信息和资源，网络文件系统；

II、寻找调优的点，如果不能再优化，则维持现状；否则进行优化，继续进行步骤III；

III、进行hadoop集群系统优化，之后再进行统计测试。

与现有技术比，本发明达到的有益效果是：

本发明提供的hadoop集群性能的优化方法，在hadoop集群运行过程中使用一种系统整体性能监控工具，实时准确的定位系统性能瓶颈，从而能够快速实现对系统整体的性能优化，节省大量的时间。该优化方法能够监测CPU的使用率，内存使用情，内核统计信息和运行队列信，磁盘I/O速度、传输和读/写比，文件系统中的可用空，磁盘适配，网络I/O速度、传输和读/写比率，页面空间和页面速度，CPU和AIX规范，消耗资源最多的进程，计算机详细信息和资源，网络文件系统等等。实时准确的定位系统性能瓶颈，能够快速实现对系统整体的性能优化，如在某集群系统环境下，nmon的监测显示带宽的占有率达到了最大限度，这时，工程师就可以根据当下环境适当增大带宽。该方法能够使工程师的工作更有针对性，极大的减少了盲目的试探。

附图说明

图1是本发明提供的hadoop集群性能的优化方法的流程图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步的详细说明。

本发明提供的hadoop集群性能的优化方法的流程如图1所示，包括下述内容：

A、nmon的安装：

nmon是一个系统管理、调优和基准测试工具，可以简便地监视大量重要的性能信息。可以在整个性能调优过程中使用nmon作为监视工具。按以下步骤安装并配置nmon，建立自己的性能监视系统：

从nmon for Linux站点下载nmon二进制包。找到适合的版本，把它复制到Hadoop集群的所有节点。下面使用$NMON_HOME代表放置nmon二进制代码的位置。

因为已经让namenode、jobtracker和secondnamenode能够通过ssh无需密码地访问所有其他节点，而且将在jobtracker上提交所有map/reduce作业，所以选择jobtracker作为中心节点收集所有nmon数据。登录jobtracker节点，然后执行以下步骤。

使用以下命令在jobtracker上创建一个目录（例如/home/hadoop/perf_share）并通过NFS共享它：

（1）创建目录：$mkdir/home/hadoop/perf_share；

（2）修改/etc/exports文件，在其中包含以下行：/home/hadoop/perf_share*(rw，sync)；

（3）重新启动NFS服务：$/etc/rc.d/init.d/nfs restart；

（4）在所有其他节点上创建这个目录并把它们挂装到jobtracker上的perf_share目录；

创建以下脚本以便在所有节点上启动nmon：

在最后的nmon命令中，-f表示希望把数据保存到文件中，并不在屏幕上显示；-m表示保存数据的位置；-s 30表示希望每30秒捕捉一次数据；-c 360表示需要360个数据点（即快照），总数据收集时间为30x360秒，即3小时。

从nmonanalyser wiki下载nmonanalyser（这个Excel电子表格接受nmon的输出文件，生成一些漂亮的图表以帮助分析），用它分析收集到的监视数据。

B、运行hadoop集群，通过nmon监视工具返回的系统性能数据确定相应性能瓶颈，进行相应的参数调整，以期得到最高性能的集群。

C、根据运行过程中nmon工具的性能反馈，对hadoop集群参数进行调整，实现优化，包括：

I、统计系统各项数据，包括CPU的使用率，内存使用情，内核统计信息和运行队列信，磁盘I/O速度、传输和读/写比，文件系统中的可用空，磁盘适配，网络I/O速度、传输和读/写比率，页面空间和页面速度，CPU和AIX规范，消耗资源最多的进程，计算机详细信息和资源，网络文件系统；

II、寻找调优的点，如果不能再优化，则维持现状；否则进行优化，继续进行步骤III；

III、进行hadoop集群系统优化，之后再进行统计测试。

本发明提供的hadoop集群性能的优化方法中采用nmon工具来实时监控系统的各项性能指标包括磁盘，CPU，内存网络等，在hadoop文件系统运行过程中及时发现性能瓶颈，及时发现系统设置参数的影响，从而更快更直接的进行hadoop集群系统的性能优化。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种hadoop集群性能的优化方法，其特征在于，所述方法采用监视工具nmon监视hadoop集群系统的性能指标；所述方法包括下述步骤：

A、安装监视工具nmon；

B、运行hadoop集群系统。

C、根据运行过程中nmon工具的性能反馈，对hadoop集群参数进行调整，实现优化。

2.如权利要求1所述的hadoop集群性能的优化方法，其特征在于，所述安装监视工具nmon包括下述步骤：

a、从网页界面下载nmon二进制包；

b、将所述nmon二进制包复制到Hadoop集群的所有节点；

c、使用$NMON_HOME目录代表放置nmon二进制代码的位置；

d、选择作业管理节点jobtracker作为中心节点收集nmon数据；

e、登录jobtracker中心节点；

f、在所述jobtracker中心节点上创建目录并通过网络文件系统服务实现共享；

g、创建脚本在Hadoop集群的所有节点上启动nmon。

3.如权利要求2所述的hadoop集群性能的优化方法，其特征在于，所述步骤b中，所述Hadoop集群的所有节点包括：目录管理节点Namenode、任务计算节点Datanode、作业管理节点Jobtracker和辅助目录管理节点SecondNamenode。

4.如权利要求2所述的hadoop集群性能的优化方法，其特征在于，所述步骤f包括以下步骤：

（1）在所述jobtracker中心节点上创建目录；

（2）修改/etc/exports文件；

（3）重新启动网络文件系统服务；

（4）在目录管理节点Namenode、任务计算节点Datanode和辅助目录管理节点SecondNamenode上创建该目录并将其挂装到jobtracker中心节点上的perf_share目录中。

5.如权利要求2所述的hadoop集群性能的优化方法，其特征在于，所述步骤g中，所述脚本包括：-f表示希望把数据保存到文件中，并不在屏幕上显示；-m表示保存数据的位置；-s 30表示希望每30秒捕捉一次数据；-c 360表示需要360个数据点（即快照），总数据收集时间为30x360秒，即3小时。

6.如权利要求1所述的hadoop集群性能的优化方法，其特征在于，所述步骤B中，通过所述监视工具nmon返回hadoop集群系统性能数据确定性能瓶颈，进行hadoop系统配置参数调整。

7.如权利要求1所述的hadoop集群性能的优化方法，其特征在于，所述hadoop集群系统的性能指标包括磁盘、CPU和内存网络。

8.如权利要求1所述的hadoop集群性能的优化方法，其特征在于，所述nmon为系统管理、调优和基准测试工具，用于监视hadoop集群系统的性能指标。

9.如权利要求1所述的hadoop集群性能的优化方法，其特征在于，所述hadoop系统配置参数调整是一个反复循环的过程。

10.如权利要求1所述的hadoop集群性能的优化方法，其特征在于，所述步骤C中，根据运行过程中监视工具nmon的性能反馈，对hadoop集群参数进行调整，包括：

I、统计系统各项数据，包括CPU的使用率，内存使用情，内核统计信息和运行队列信，磁盘I/O速度、传输和读/写比，文件系统中的可用空，磁盘适配，网络I/O速度、传输和读/写比率，页面空间和页面速度，CPU和AIX规范，消耗资源最多的进程，计算机详细信息和资源，网络文件系统；

II、寻找调优的点，如果不能再优化，则维持现状；否则进行优化，继续进行步骤III；

III、进行hadoop集群系统优化，之后再进行统计测试。

Images