CN110532187B

CN110532187B - 一种hdfs吞吐性能测试方法、系统、终端及存储介质

Info

Publication number: CN110532187B
Application number: CN201910814219.8A
Authority: CN
Inventors: 赵明伟
Original assignee: Suzhou Inspur Intelligent Technology Co Ltd
Current assignee: Suzhou Inspur Intelligent Technology Co Ltd
Priority date: 2019-08-30
Filing date: 2019-08-30
Publication date: 2022-07-22
Anticipated expiration: 2039-08-30
Also published as: CN110532187A

Abstract

本发明提供一种HDFS吞吐性能测试方法、系统、终端及存储介质，包括：根据存储集群的规模参数设置测试文件；将所述测试文件分发至存储集群的各节点，利用dd命令和所述测试文件获取存储集群节点磁盘的平均读写速率；利用集群基准测试工具TestDFSIO和所述测试文件获取集群平均读写速率；计算所述磁盘平均读写速率与所述集群平均读写速率的差值，并利用所述差值表征HDFS吞吐性能。本发明的测试准确性更高，且测试自动化程度高，节省了人力资源。

Description

一种HDFS吞吐性能测试方法、系统、终端及存储介质

技术领域

本发明涉及服务器测试技术领域，具体涉及一种HDFS吞吐性能测试方法、系统、终端及存储介质。

背景技术

Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统。HDFS有着高容错性(fault-tolerant)的特点，并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高吞吐量(high throughput)来访问应用程序的数据，适合那些有着超大数据集(large data set)的应用程序。

分布式文件系统HDFS的吞吐率性能是大数据集群的重要性能指标之一，标志着大数据平台存储的能力，故对评估大数据平台的分布式存储能力测试有着重要的参考价值。在大数据平台性能测试中，针对HDFS组件的吞吐率性能测试测试工具及方法不足，可借鉴的方案匮乏。

发明内容

针对现有技术的上述不足，本发明提供一种HDFS吞吐性能测试方法、系统、终端及存储介质，以解决上述技术问题。

第一方面，本发明提供一种HDFS吞吐性能测试方法，包括：

根据存储集群的规模参数设置测试文件；

将所述测试文件分发至存储集群的各节点，利用dd命令和所述测试文件获取存储集群节点磁盘的平均读写速率；

利用集群基准测试工具TestDFSIO和所述测试文件获取集群平均读写速率；

计算所述磁盘平均读写速率与所述集群平均读写速率的差值，并利用所述差值表征HDFS吞吐性能。

进一步的，所述根据存储集群的规模参数设置测试文件，包括：

获取存储集群的blocksize值和Datanode节点数；

根据所述blocksize值设置测试文件的单个文件大小；

根据所述Datanode节点数设置测试文件的文件数量。

进一步的，所述将所述测试文件分发至存储集群的各节点，利用dd命令和所述测试文件获取存储集群节点磁盘的平均读写速率，包括：

将测试文件均分至存储集群的各节点；

利用dd命令控制节点磁盘执行对分发测试文件的读操作，并获取读速率；

利用dd命令控制节点磁盘执行对分发测试文件的写操作，并获取写速率；

采集集群所有节点磁盘的读速率，计算采集的读速率的平均值作为磁盘平均读速率；

采集集群所有节点磁盘的写速率，计算采集的写速率的平均值作为磁盘平均写速率。

进一步的，所述利用差值表征HDFS吞吐性能，包括：

设置标准比对差值；

若所述差值不超过所述标准比对差值，则判定所述HDFS吞吐性能通过测试。

第二方面，本发明提供一种HDFS吞吐性能测试系统，包括：

文件设置单元，配置用于根据存储集群的规模参数设置测试文件；

磁盘测试单元，配置用于将所述测试文件分发至存储集群的各节点，利用dd命令和所述测试文件获取存储集群节点磁盘的平均读写速率；

集群测试单元，配置用于利用集群基准测试工具TestDFSIO和所述测试文件获取集群平均读写速率；

性能表征单元，配置用于计算所述磁盘平均读写速率与所述集群平均读写速率的差值，并利用所述差值表征HDFS吞吐性能。

进一步的，所述文件设置单元包括：

参数获取模块，配置用于获取存储集群的blocksize值和Datanode节点数；

大小设置模块，配置用于根据所述blocksize值设置测试文件的单个文件大小；

数量设置模块，配置用于根据所述Datanode节点数设置测试文件的文件数量。

进一步的，所述磁盘测试单元包括：

文件分发模块，配置用于将测试文件均分至存储集群的各节点；

读取测试模块，配置用于利用dd命令控制节点磁盘执行对分发测试文件的读操作，并获取读速率；

写入测试模块，配置用于利用dd命令控制节点磁盘执行对分发测试文件的写操作，并获取写速率；

读取计算模块，配置用于采集集群所有节点磁盘的读速率，计算采集的读速率的平均值作为磁盘平均读速率；

写入计算模块，配置用于采集集群所有节点磁盘的写速率，计算采集的写速率的平均值作为磁盘平均写速率。

进一步的，所述性能表征单元包括：

标准设置模块，配置用于设置标准比对差值；

性能判定模块，配置用于若所述差值不超过所述标准比对差值，则判定所述HDFS吞吐性能通过测试。

第三方面，提供一种终端，包括：

处理器、存储器，其中，

该存储器用于存储计算机程序，

该处理器用于从存储器中调用并运行该计算机程序，使得终端执行上述的终端的方法。

第四方面，提供了一种计算机存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。

本发明的有益效果在于，

本发明提供的HDFS吞吐性能测试方法、系统、终端及存储介质，通过采用dd磁盘读写命令及TestDFSIO基准测试工具进行HDFS读写性能的获取，再通过与合理、有效、科学的测试方法相结合，将集群服务器的磁盘平均读写速率与HDFS分布式存储的平均读写速率进行比较，从而分析出大数据平台HDFS分布式文件系统性能的优劣。相对于现有测试方法，本发明的测试准确性更高，且测试自动化程度高，节省了人力资源。

此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例的方法的示意性流程图。

图2是本发明一个实施例的系统的示意性框图。

图3为本发明实施例提供的一种终端的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

图1是本发明一个实施例的方法的示意性流程图。其中，图1执行主体可以为一种HDFS吞吐性能测试系统。

如图1所示，该方法100包括：

步骤110，根据存储集群的规模参数设置测试文件；

步骤120，将所述测试文件分发至存储集群的各节点，利用dd命令和所述测试文件获取存储集群节点磁盘的平均读写速率；

步骤130，利用集群基准测试工具TestDFSIO和所述测试文件获取集群平均读写速率；

步骤140，计算所述磁盘平均读写速率与所述集群平均读写速率的差值，并利用所述差值表征HDFS吞吐性能。

可选地，作为本发明一个实施例，所述根据存储集群的规模参数设置测试文件，包括：

获取存储集群的blocksize值和Datanode节点数；

根据所述blocksize值设置测试文件的单个文件大小；

根据所述Datanode节点数设置测试文件的文件数量。

可选地，作为本发明一个实施例，所述将所述测试文件分发至存储集群的各节点，利用dd命令和所述测试文件获取存储集群节点磁盘的平均读写速率，包括：

将测试文件均分至存储集群的各节点；

可选地，作为本发明一个实施例，所述利用差值表征HDFS吞吐性能，包括：

设置标准比对差值；

为了便于对本发明的理解，下面以本发明HDFS吞吐性能测试方法的原理，结合实施例中对HDFS的吞吐性能进行测试评价的过程，对本发明提供的HDFS吞吐性能测试方法做进一步的描述。

具体的，所述HDFS吞吐性能测试方法包括：

S1、根据存储集群的规模参数设置测试文件。

由于在不同的数据规模下，磁盘的读写速率和HDFS的读写速率影响较大，故在测试前，需要制定测试数据的规模，以保证测试结果的可靠性。

原则为：

在相同的数据文件大小前提下，不同的数据文件数量，对读写性能的影响；

在相同的数据文件数量下，不同的数据文件大小，对读写性能的影响。

具体方法如下：

(1)根据HDFS的blocksize值来设定单个数据文件大小，如blocksize的值为128MB，那么可测试数据大小建议是其0.5、1、1.5倍等，以便后续对测试结果进行性能分析。

(2)根据集群服务器的HDFS的Datanode节点数来设定数据文件的数量，如DataNode节点数为3个，那么可测试的文件数量建议为3的整数倍。

总体来说，可设置多种不同的数据规模，以便分析在哪种数据规模下性能最优。

例如：HDFS的blocksize为128MB，DataNode节点数为9个，集群服务器为9个。

测试数据规模1：

文件大小	文件数
		128MB	90个
128MB	180个
		….	….

测试数据规模2：

文件大小	文件数
		256MB	90个
256MB	180个
		….	….

S2、将所述测试文件分发至存储集群的各节点，利用dd命令和所述测试文件获取存储集群节点磁盘的平均读写速率。

由于HDFS是分布式文件存储系统，在进行I/O操作时是根据map数进行分布式读写，使用命令dd测试单磁盘读写性能时，应将数据规模调整为平均单节点的数据规模。

例如测试数据规模：数据大小128MB，数据数量90个，集群节点9个，则平均数据规模为数据大小128MB，数据数量10个。

磁盘读性能获取方式：(参数of＝/dev/null，代表写入伪设备)

time dd bs＝128M count＝9if＝/dev/sda2 of＝/dev/null conv＝fdatasync

磁盘写性能获取方式：(参数if＝/dev/zero，代表从伪设备读入)

time dd bs＝256M count＝9if＝/dev/zero of＝/dev/sda2 conv＝fdatasync

平均读或写速率获取方式为：在所有的集群服务器上执行上述命令各3次，取得每台服务器的3组读或写速率(数据组越多越精确)，并进行记录，再将读或写的数据分别进行平均计算，可评估出该数据规模下，整个集群服务器磁盘的平均读或写速率。

S3、利用集群基准测试工具TestDFSIO和所述测试文件获取集群平均读写速率。

由于HDFS是进行分布式存储，故测试机无特殊要求。

例如测试数据规模：数据大小128MB，数据数量90个

读性能测试：

hadoop jar/.../hadoop-mapreduce-client-jobclient****-tests.jar的路径TestDFSIO-D mapreduce.job.queuename＝"default"-read-nrFiles90-size 128MB

写性能测试：

hadoop jar jar/.../hadoop-mapreduce-client-jobclient****-tests.jar的路径TestDFSIO-D mapreduce.job.queuename＝"default"-write-nrFiles 90-size128MB

分别执行上述读写测试命令3次，取得3组HDFS读或写速率(数据组越多越精确)，并进行记录，再将读或写的数据分别进行平均计算，可评估出该数据规模下，HDFS的平均读或写速率。

S4、计算所述磁盘平均读写速率与所述集群平均读写速率的差值，并利用所述差值表征HDFS吞吐性能。

首先计算步骤S2得到的磁盘平均读写速率与步骤S3得到的集群平均读写速率的差值。差值越小，证明在该数据规模下，HDFS的读写性能越优，反之性能越差。

根据历史测试规律，设置标准比对差值，若上述计算的差值不超过标准比对差值则判定HDFS吞吐性能通过测试(合格)，若超过则判定HDFS吞吐性能未通过测试。

在其他实施方式中，若需对HDFS吞吐性能划分多个等级，则可以设置多个等级分别对应的标准比对差值，然后对HDFS吞吐性能进行划分。

如图2示，该系统200包括：

文件设置单元210，配置用于根据存储集群的规模参数设置测试文件；

磁盘测试单元220，配置用于将所述测试文件分发至存储集群的各节点，利用dd命令和所述测试文件获取存储集群节点磁盘的平均读写速率；

集群测试单元230，配置用于利用集群基准测试工具TestDFSIO和所述测试文件获取集群平均读写速率；

性能表征单元240，配置用于计算所述磁盘平均读写速率与所述集群平均读写速率的差值，并利用所述差值表征HDFS吞吐性能。

可选地，作为本发明一个实施例，所述文件设置单元包括：

可选地，作为本发明一个实施例，所述磁盘测试单元包括：

可选地，作为本发明一个实施例，所述性能表征单元包括：

标准设置模块，配置用于设置标准比对差值；

图3为本发明实施例提供的一种终端系统300的结构示意图，该终端系统300可以用于执行本发明实施例提供的HDFS吞吐性能测试方法。

其中，该终端系统300可以包括：处理器310、存储器320及通信单元330。这些组件通过一条或多条总线进行通信，本领域技术人员可以理解，图中示出的服务器的结构并不构成对本发明的限定，它既可以是总线形结构，也可以是星型结构，还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

其中，该存储器320可以用于存储处理器310的执行指令，存储器320可以由任何类型的易失性或非易失性存储终端或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。当存储器320中的执行指令由处理器310执行时，使得终端300能够执行以下上述方法实施例中的部分或全部步骤。

处理器310为存储终端的控制中心，利用各种接口和线路连接整个电子终端的各个部分，通过运行或执行存储在存储器320内的软件程序和/或模块，以及调用存储在存储器内的数据，以执行电子终端的各种功能和/或处理数据。所述处理器可以由集成电路(Integrated Circuit，简称IC)组成，例如可以由单颗封装的IC所组成，也可以由连接多颗相同功能或不同功能的封装IC而组成。举例来说，处理器310可以仅包括中央处理器(Central Processing Unit，简称CPU)。在本发明实施方式中，CPU可以是单运算核心，也可以包括多运算核心。

通信单元330，用于建立通信信道，从而使所述存储终端可以与其它终端进行通信。接收其他终端发送的用户数据或者向其他终端发送用户数据。

本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。

因此，本发明通过采用dd磁盘读写命令及TestDFSIO基准测试工具进行HDFS读写性能的获取，再通过与合理、有效、科学的测试方法相结合，将集群服务器的磁盘平均读写速率与HDFS分布式存储的平均读写速率进行比较，从而分析出大数据平台HDFS分布式文件系统性能的优劣。相对于现有测试方法，本发明的测试准确性更高，且测试自动化程度高，节省了人力资源，本实施例所能达到的技术效果可以参见上文中的描述，此处不再赘述。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中如U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，包括若干指令用以使得一台计算机终端(可以是个人计算机，服务器，或者第二终端、网络终端等)执行本发明各个实施例所述方法的全部或部分步骤。

本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于终端实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统、系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims

1.一种HDFS吞吐性能测试方法，其特征在于，包括：

根据存储集群的规模参数设置测试文件；

2.根据权利要求1所述的HDFS吞吐性能测试方法，其特征在于，所述根据存储集群的规模参数设置测试文件，包括：

获取存储集群的blocksize值和Datanode节点数；

根据所述blocksize值设置测试文件的单个文件大小；

根据所述Datanode节点数设置测试文件的文件数量。

3.根据权利要求1所述的HDFS吞吐性能测试方法，其特征在于，所述将所述测试文件分发至存储集群的各节点，利用dd命令和所述测试文件获取存储集群节点磁盘的平均读写速率，包括：

将测试文件均分至存储集群的各节点；

4.根据权利要求1所述的HDFS吞吐性能测试方法，其特征在于，所述利用差值表征HDFS吞吐性能，包括：

设置标准比对差值；

5.一种HDFS吞吐性能测试系统，其特征在于，包括：

6.根据权利要求5所述的HDFS吞吐性能测试系统，其特征在于，所述文件设置单元包括：

7.根据权利要求5所述的HDFS吞吐性能测试系统，其特征在于，所述磁盘测试单元包括：

8.根据权利要求5所述的HDFS吞吐性能测试系统，其特征在于，所述性能表征单元包括：

标准设置模块，配置用于设置标准比对差值；

9.一种终端，其特征在于，包括：

处理器；

用于存储处理器的执行指令的存储器；

其中，所述处理器被配置为执行权利要求1-4任一项所述的方法。

10.一种存储有计算机程序的计算机可读存储介质，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一项所述的方法。