CN105490871A - 一种测试Hadoop集群稳定性的方法及系统 - Google Patents

Abstract

本发明实施例公开了一种测试Hadoop集群稳定性的方法及系统，包括：Namenode服务器运行基准测试，Datanode服务器运行NMON工具；其中，基准测试包括DFSIO基准测试和Terasort基准测试；Namenode服务器通过NMON工具，实时获取Datanode服务器运行基准测试的第一资源消耗数据；Namenode服务器根据第一资源消耗数据判断Hadoop集群的稳定性，可见，在本实施例中，通过在Namenode服务器上运行DFSIO基准测试和Terasort基准测试，能分别测出Hadoop集群HDFS和MapReduce的稳定性，从而测试整个Hadoop集群的稳定性。

Description

一种测试Hadoop集群稳定性的方法及系统

技术领域

本发明涉及大数据处理技术领域，更具体地说，涉及一种测试Hadoop集群稳定性的方法及系统。

背景技术

随着人类社会全面进入信息时代，数据成为与水、石油同等重要的战略资源。通过挖掘海量数据，能够使政府和企业的运行决策建立在更加科学的依据基础上，提高决策效率、危机应对能力和公共服务水平。大数据(bigdata)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据分析相比于传统的数据仓库应用，具有数据量大、查询分析复杂等特点。大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理(MPP)数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。

Hadoop是一个开发和运行处理大规模数据的软件平台，是Apache的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算。Hadoop框架中最核心设计就是：HDFS和MapReduce。HDFS提供了海量数据的存储，MapReduce提供了对数据的计算。Hadoop集群的稳定性取决于HDFS和MapReduce的稳定性，因此，如何测试HDFS和MapReduce的稳定性，从而测试整个Hadoop集群的稳定性，是现在需要解决的问题。

发明内容

本发明的目的在于提供一种测试Hadoop集群稳定性的方法及系统，以测试整个Hadoop集群的稳定性。

为实现上述目的，本发明实施例提供了如下技术方案：

一种测试Hadoop集群稳定性的方法，包括：

Namenode服务器运行基准测试，Datanode服务器运行NMON工具；其中，所述基准测试包括DFSIO基准测试和Terasort基准测试；

所述Namenode服务器通过所述NMON工具，实时获取所述Datanode服务器运行基准测试的第一资源消耗数据；

所述Namenode服务器根据所述第一资源消耗数据判断Hadoop集群的稳定性。

优选的，所述Namenode服务器通过所述NMON工具，实时获取所述Datanode服务器运行基准测试的资源消耗数据，并根据所述第一资源消耗数据判断Hadoop集群的稳定性包括：

所述Namenode服务器通过所述NMON工具，实时获取所述Datanode服务器运行DFSIO基准测试的第二资源消耗数据，并根据所述第二资源消耗数据判断所述Hadoop集群的HDFS的稳定性。

优选的，所述Namenode服务器运行DFSIO基准测试包括：所述Namenode服务器运行DFSIO-write基准测试和DFSIO-Read基准测试。

优选的，所述Namenode服务器通过所述NMON工具，实时获取所述Datanode服务器运行基准测试的资源消耗数据，并根据所述第一资源消耗数据判断Hadoop集群的稳定性包括：

所述Namenode服务器通过所述NMON工具，实时获取所述Datanode服务器运行Terasort基准测试的第三资源消耗数据，并根据所述第三资源消耗数据判断所述Hadoop集群的的MapReduce的稳定性。

优选的，所述Namenode服务器根据所述第一资源消耗数据判断Hadoop集群的稳定性，包括：

所述Namenode服务器判断所述第一资源消耗数据中的资源消耗值是否在预定范围内；

若是，则判定所述Hadoop集群的稳定性为稳定；若否，则判定所述所述Hadoop集群的稳定性为不稳定。

一种测试Hadoop集群稳定性的系统，包括：

Namenode服务器和Datanode服务器；其中，所述Namenode服务器运行基准测试，所述Datanode服务器运行NMON工具；所述基准测试包括DFSIO基准测试和Terasort基准测试；

所述Namenode服务器用于通过所述NMON工具，实时获取所述Datanode服务器运行基准测试的第一资源消耗数据，并根据所述第一资源消耗数据判断Hadoop集群的稳定性。

优选的，所述Namenode服务器包括：

第一测试模块，用于通过所述NMON工具，实时获取所述Datanode服务器运行DFSIO基准测试的第二资源消耗数据，并根据所述第二资源消耗数据判断所述Hadoop集群的HDFS的稳定性。

优选的，所述Namenode服务器运行DFSIO基准测试包括：所述Namenode服务器运行DFSIO-write基准测试和DFSIO-Read基准测试。

优选的，所述Namenode服务器包括：

第二测试模块，用于通过所述NMON工具，实时获取所述Datanode服务器运行Terasort基准测试的第三资源消耗数据，并根据所述第三资源消耗数据判断所述Hadoop集群的的MapReduce的稳定性。

优选的，所述Namenode服务器包括：

判断模块，用于判断所述第一资源消耗数据中的资源消耗值是否在预定范围内；若是，则判定所述Hadoop集群的稳定性为稳定；若否，则判定所述所述Hadoop集群的稳定性为不稳定。

通过以上方案可知，本发明实施例提供的一种测试Hadoop集群稳定性的方法及系统，包括：Namenode服务器运行基准测试，Datanode服务器运行NMON工具；其中，所述基准测试包括DFSIO基准测试和Terasort基准测试；所述Namenode服务器通过所述NMON工具，实时获取所述Datanode服务器运行基准测试的第一资源消耗数据；所述Namenode服务器根据所述第一资源消耗数据判断Hadoop集群的稳定性，可见，在本实施例中，通过在Namenode服务器上运行DFSIO基准测试和Terasort基准测试，能分别测出Hadoop集群HDFS和MapReduce的稳定性，从而测试整个Hadoop集群的稳定性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例公开的一种测试Hadoop集群稳定性的方法流程示意图；

图2为本发明实施例公开的一种测试HDFS稳定性的方法流程示意图；

图3为本发明实施例公开的一种测试MapReduce稳定性的方法流程示意图；

图4为本发明实施例公开的一种测试Hadoop集群稳定性的系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种测试Hadoop集群稳定性的方法及系统，以测试整个Hadoop集群的稳定性。

参见图1，本发明实施例提供的一种测试Hadoop集群稳定性的方法，包括：

S101、Namenode服务器运行基准测试，Datanode服务器运行NMON工具；其中，所述基准测试包括DFSIO基准测试和Terasort基准测试；

具体的，在本实施例中，在测试Hadoop集群之前要确定搭建Hadoop集群。在部署Hadoop集群时，使用多台适合大数据传输和存储处理的服务器以及其它相关设备，构建高效能大数据平台，并可弹性扩展。并且在部署Hadoop集群，严格根据具体需求，针对内存、cpu、硬盘、网络做出最优配置。具体可以准备千兆交换机一台和4台服务器构成1+3的Hadoop集群，其中1+3的Hadoop集群为1台Namenode服务器，3台Datanode服务器，并且在本实施例中Datanode服务器的数量可以根据实际需要进行自定义设定的，但是数量要大于等于3。

需要说明的是，在本实施例中，运行DFSIO基准测试和TeraSort基准测试时，要保持集群环境唯一性，即集群配置不变，并且集群在同时段只能运行一个任务。

S102、所述Namenode服务器通过所述NMON工具，实时获取所述Datanode服务器运行基准测试的第一资源消耗数据；

S103、所述Namenode服务器根据所述第一资源消耗数据判断Hadoop集群的稳定性。

具体在本实施例中，Namenode服务器通过在测试过程中实时获取资源消耗数据，判断Hadoop集群的稳定性是否稳定。其中，资源消耗数据可以包括CPU利用率、网络吞吐率、硬盘IO以及磁盘空间消耗等数据。

优选的，所述Namenode服务器根据所述第一资源消耗数据判断Hadoop集群的稳定性，包括：

所述Namenode服务器判断所述第一资源消耗数据中的资源消耗值是否在预定范围内；

若是，则判定所述Hadoop集群的稳定性为稳定；若否，则判定所述所述Hadoop集群的稳定性为不稳定。

具体的，在本实施例中，若通过NMON分析结果，得出稳定性报告中第一资源消耗数据的资源消耗值不在一个稳定的消耗范围内，则可以判定此时Hadoop集群不稳定，若第一资源消耗数据的资源消耗值在这个稳定的消耗范围内，则可以说明此Hadoop集群稳定。

具体在，在本实施例中，测试Hadoop集群稳定性可以通过测试HDFS和MapReduce的稳定性，因此参见图2，本发明实施例提供的另一种测试HDFS稳定性的方法，包括：

S201、Namenode服务器运行DFSIO基准测试，Datanode服务器运行NMON工具；其中，所述DFSIO基准测试包括DFSIO-write基准测试和DFSIO-Read基准测试；

具体的，在本实施例中，首先运行DFSIO-write基准测试，在DFSIO-write基准测试运行结束后，在运行DFSIO-Read基准测试。

S202、所述Namenode服务器通过所述NMON工具，实时获取所述Datanode服务器运行DFSIO基准测试的第二资源消耗数据；

S202、所述Namenode服务器根据所述第二资源消耗数据判断Hadoop集群的HDFS的稳定性。

参见图3，本发明实施例提供的另一种测试MapReduce稳定性的方法，包括：

S301、Namenode服务器运行hibench-Terasort基准测试，Datanode服务器运行NMON工具；

S302、所述Namenode服务器通过所述NMON工具，实时获取所述Datanode服务器运行Terasort基准测试的第三资源消耗数据；

S302、所述Namenode服务器根据所述第三资源消耗数据判断Hadoop集群的MapReduce的稳定性。

本发明实施例提供的一种测试Hadoop集群稳定性的方法，包括：Namenode服务器运行基准测试，Datanode服务器运行NMON工具；其中，所述基准测试包括DFSIO基准测试和Terasort基准测试；所述Namenode服务器通过所述NMON工具，实时获取所述Datanode服务器运行基准测试的第一资源消耗数据；所述Namenode服务器根据所述第一资源消耗数据判断Hadoop集群的稳定性，可见，在本实施例中，通过在Namenode服务器上运行DFSIO基准测试和Terasort基准测试，能分别测出Hadoop集群HDFS和MapReduce的稳定性，从而测试整个Hadoop集群的稳定性。

下面对本发明实施例提供的一种测试Hadoop集群稳定性的系统进行介绍，下文描述的一种测试Hadoop集群稳定性的系统与上文描述的一种测试Hadoop集群稳定性的方法可以相互参照。

本发明实施例提供的一种测试Hadoop集群稳定性的系统，包括：

Namenode服务器和Datanode服务器；其中，所述Namenode服务器运行基准测试，所述Datanode服务器运行NMON工具；所述基准测试包括DFSIO基准测试和Terasort基准测试；

所述Namenode服务器用于通过所述NMON工具，实时获取所述Datanode服务器运行基准测试的第一资源消耗数据，并根据所述第一资源消耗数据判断Hadoop集群的稳定性。

具体的，在本实施例中，Hadoop集群包括1台Namenode服务器100，3台Datanode服务器200，因此本实施例中的一种测试Hadoop集群稳定性的系统结构示意图如图4所示。

本发明实施例提供的一种测试Hadoop集群稳定性的系统，包括Namenode服务器和Datanode服务器；其中，所述Namenode服务器运行基准测试，所述Datanode服务器运行NMON工具；所述基准测试包括DFSIO基准测试和Terasort基准测试；所述Namenode服务器用于通过所述NMON工具，实时获取所述Datanode服务器运行基准测试的第一资源消耗数据，并根据所述第一资源消耗数据判断Hadoop集群的稳定性，可见，在本实施例中，通过在Namenode服务器上运行DFSIO基准测试和Terasort基准测试，能分别测出Hadoop集群HDFS和MapReduce的稳定性，从而测试整个Hadoop集群的稳定性。

优选的，在本发明的另一实施例中，所述Namenode服务器包括：

第一测试模块，用于通过所述NMON工具，实时获取所述Datanode服务器运行DFSIO基准测试的第二资源消耗数据，并根据所述第二资源消耗数据判断所述Hadoop集群的HDFS的稳定性。

优选的，在本发明的另一实施例中，所述Namenode服务器运行DFSIO基准测试包括：所述Namenode服务器运行DFSIO-write基准测试和DFSIO-Read基准测试。

优选的，在本发明的另一实施例中，所述Namenode服务器包括：

第二测试模块，用于通过所述NMON工具，实时获取所述Datanode服务器运行Terasort基准测试的第三资源消耗数据，并根据所述第三资源消耗数据判断所述Hadoop集群的的MapReduce的稳定性。

优选的，在本发明的另一实施例中，所述Namenode服务器包括：

判断模块，用于判断所述第一资源消耗数据中的资源消耗值是否在预定范围内；若是，则判定所述Hadoop集群的稳定性为稳定；若否，则判定所述所述Hadoop集群的稳定性为不稳定。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种测试Hadoop集群稳定性的方法，其特征在于，包括：

Namenode服务器运行基准测试，Datanode服务器运行NMON工具；其中，所述基准测试包括DFSIO基准测试和Terasort基准测试；

所述Namenode服务器通过所述NMON工具，实时获取所述Datanode服务器运行基准测试的第一资源消耗数据；

所述Namenode服务器根据所述第一资源消耗数据判断Hadoop集群的稳定性。

2.根据权利要求1所述的方法，其特征在于，所述Namenode服务器通过所述NMON工具，实时获取所述Datanode服务器运行基准测试的资源消耗数据，并根据所述第一资源消耗数据判断Hadoop集群的稳定性包括：

所述Namenode服务器通过所述NMON工具，实时获取所述Datanode服务器运行DFSIO基准测试的第二资源消耗数据，并根据所述第二资源消耗数据判断所述Hadoop集群的HDFS的稳定性。

3.根据权利要求2所述的方法，其特征在于，所述Namenode服务器运行DFSIO基准测试包括：所述Namenode服务器运行DFSIO-write基准测试和DFSIO-Read基准测试。

4.根据权利要求1所述的方法，其特征在于，所述Namenode服务器通过所述NMON工具，实时获取所述Datanode服务器运行基准测试的资源消耗数据，并根据所述第一资源消耗数据判断Hadoop集群的稳定性包括：

所述Namenode服务器通过所述NMON工具，实时获取所述Datanode服务器运行Terasort基准测试的第三资源消耗数据，并根据所述第三资源消耗数据判断所述Hadoop集群的的MapReduce的稳定性。

5.根据权利要求1-4中任意一项所述的方法，其特征在于，所述Namenode服务器根据所述第一资源消耗数据判断Hadoop集群的稳定性，包括：

所述Namenode服务器判断所述第一资源消耗数据中的资源消耗值是否在预定范围内；

若是，则判定所述Hadoop集群的稳定性为稳定；若否，则判定所述所述Hadoop集群的稳定性为不稳定。

6.一种测试Hadoop集群稳定性的系统，其特征在于，包括：

Namenode服务器和Datanode服务器；其中，所述Namenode服务器运行基准测试，所述Datanode服务器运行NMON工具；所述基准测试包括DFSIO基准测试和Terasort基准测试；

所述Namenode服务器用于通过所述NMON工具，实时获取所述Datanode服务器运行基准测试的第一资源消耗数据，并根据所述第一资源消耗数据判断Hadoop集群的稳定性。

7.根据权利要求6所述的系统，其特征在于，所述Namenode服务器包括：

第一测试模块，用于通过所述NMON工具，实时获取所述Datanode服务器运行DFSIO基准测试的第二资源消耗数据，并根据所述第二资源消耗数据判断所述Hadoop集群的HDFS的稳定性。

8.根据权利要求7所述的系统，其特征在于，所述Namenode服务器运行DFSIO基准测试包括：所述Namenode服务器运行DFSIO-write基准测试和DFSIO-Read基准测试。

9.根据权利要求6所述的系统，其特征在于，所述Namenode服务器包括：

第二测试模块，用于通过所述NMON工具，实时获取所述Datanode服务器运行Terasort基准测试的第三资源消耗数据，并根据所述第三资源消耗数据判断所述Hadoop集群的的MapReduce的稳定性。

10.根据权利要求6-9中任意一项所述的系统，其特征在于，所述Namenode服务器包括：

判断模块，用于判断所述第一资源消耗数据中的资源消耗值是否在预定范围内；若是，则判定所述Hadoop集群的稳定性为稳定；若否，则判定所述所述Hadoop集群的稳定性为不稳定。