CN105808428A - 一种对分布式文件系统进行统一性能测试的方法 - Google Patents

Abstract

本发明公开了一种对分布式文件系统进行统一性能测试的方法，具体包括以下步骤：首先，提供一个主从式的分布式测试框架，能够运行在多台计算机上，每台计算机上以多进程和多线程的方式并行地运行具体的测试用例；然后，在分布式测试框架中，定义并封装一套能够统一地访问不同分布式文件系统的访问接口；接着，在分布式测试框架中，设计一套能够用于实现不同测试用例的测试用例模型；最后，实现具体的、能够体现大规模机器学习以及大数据查询应用特性的测试用例。本发明解决了现有的分布式文件系统测试工具可扩展性能差，额外开销大，无法进行统一性能测试的问题。

Description

一种对分布式文件系统进行统一性能测试的方法

技术领域

本发明属于计算机分布式存储领域，尤其涉及一种对分布式文件系统进行统一性能测试的方法，特别是一种能支持对不同分布式文件系统进行统一性能测试的方法。

背景技术

近些年来，随着数据的爆炸式增长，陆续出现了面向大数据计算的新型分布式系统，而这些系统所处理的数据都存储在底层的分布式文件系统中。分布式文件系统用于在分布式环境下对上层应用提供文件存储服务。与单机文件系统相比，分布式文件系统拥有良好的可扩展性，其通常构建在多个计算机节点之上，因此其存储容量也通常可以随着存储节点数目的增长而扩充；另外，多个存储节点通常提供并发访问机制，这使得其读写的吞吐量也可以扩展以满足上层应用的需求。

对于分布式文件系统来说，性能测试能够很好地反映出系统对上层应用的支撑能力。随着越来越多的分布式文件系统被广泛地用于各种分布式环境，对分布式文件系统进行统一的性能测试显得尤为重要。首先，性能测试结果能够指导用户为应用选择最适合的分布式文件系统。统一的性能测试方法能够对比同一应用在不同的分布式文件系统上的性能，从而为用户选择给出指导性的意见。其次，性能测试可以不断地改进分布式文件系统自身。对于开发者来说，统一的性能测试方法能够使用不同的应用对同一分布式文件系统进行测试，及时地发现问题，反映出系统的瓶颈和不足，从而可以针对性地进行优化和改进。

目前已有的分布式文件系统性能测试工作中，有面向HDFS的测试工具HadoopBenchmark和HiBench，它们利用HadoopMapReduce计算平台对HDFS进行分布式测试；有基于MPI平台的测试工具IOR，它利用MPI计算平台对MPI计算时使用的分布式文件系统进行测试。但是，这些性能测试方案都不能很好地支持对不同的分布式文件系统进行统一的性能测试。首先，他们被设计为同某一个或一类分布式文件系统紧耦合，面向的分布式文件系统单一，不同分布式文件系统的测试结果难以直接比较。其次，这些方案都选用了对应的计算平台来适应分布式环境，在运行性能测试时会产生大量的额外开销，导致性能测试结果不精确。进一步地，这些方案所使用的测试用例通常是简单的文件操作，与实际的应用访问模式存在不小的差别，难以模拟繁复多样的真实应用，导致其性能测试结果无法为用户选择最合适的分布式文件系统提供指导。

发明内容

发明目的：为了克服现有的分布式存储领域中无法对不同的分布式文件系统进行可比较的性能测试的缺陷，本发明提供了一种对分布式文件系统进行统一性能测试的方法，该方法使用户可以对多个分布式文件系统进行统一的性能测试，而无需了解运行性能测试的具体实现细节。

为了实现上述发明目的，本发明采用的技术方案为一种对分布式文件系统进行统一性能测试的方法，包括以下步骤：

（1）提供一个主从式的分布式测试框架，能够运行在多台计算机上，每台计算机上以多进程和多线程的方式并行地运行具体的测试用例；

（2）在分布式测试框架中，定义并封装一套分布式文件系统的访问接口，能够统一地访问不同的分布式文件系统；

（3）在分布式测试框架中，设计一套测试用例模型，能够用于实现不同的测试用例；

（4）利用测试用例模型实现具体的、能够体现大规模机器学习以及大数据查询应用特性的测试用例。

进一步地，在所述步骤（1）中的测试框架为基于Java的主从式程序，能够运行在多台计算机节点上。程序运行时，会在其中一台计算机上启动主进程，主进程通过计算机网络向其余计算机发送指令，在其余计算机上启动多个从进程。每个从进程包含多个线程，每个线程并行地运行具体的测试用例。测试完成后，主进程通过计算机网络从其余计算机的从进程及其线程中收集测试结果，用以生成完整的测试报告。

进一步地，所述步骤（2）中的分布式文件系统访问接口包括以下四类：会话操作接口，用于建立和断开与分布式文件系统之间的网络连接；元数据操作接口，用于新建、删除和重命名分布式文件系统中的一个文件；文件属性操作接口，用于获取和修改分布式文件系统中一个文件的文件属性；文件数据操作接口，用于通过输入/输出流进行文件读写操作。

进一步地，所述步骤（2）的分布式文件系统访问接口被定义和封装为一套抽象的接口，由多个实例实现，以对不同的分布式文件系统进行访问，测试框架在运行测试时，通过Java反射机制决定具体使用哪个实例，以达到统一访问分布式文件系统的目的。

进一步地，所述步骤（3）中实现具体的测试用例的方法是在测试用例模型中调用不同的分布式文件系统访问接口，同时，测试用例模型也提供了测试所需的可配置项，通过配置的方式同样可以定制具体的测试用例。进行性能测试时，一个具体测试用例的执行逻辑被包含在分布式测试框架的每个线程中，并行地运行。

进一步地，所述步骤（4）中具体的、能够体现大规模机器学习以及大数据查询应用特性的测试用例是通过模拟这些应用的文件操作模式实现的。利用本发明提供的扩展软件包，在不改动现有应用程序源代码的前提下，对大规模机器学习以及大数据查询应用程序中的文件操作进行跟踪，包括元数据操作、文件属性操作和文件数据操作，得到其文件操作模式。然后在测试用例模型中调用对应的分布式文件系统访问接口以重现这些文件操作模式，实现能够模拟这些应用特性的测试用例。

本发明的有益效果是：（1）通过主从式的测试框架，本发明能够以多计算机节点、多进程和多线程的方式并行地进行性能测试，支持运行在不同的分布式集群环境上，从而能够适应不同分布式文件系统的运行环境，同时避免了使用计算平台而导致的额外开销。（2）通过封装一套分布式文件系统的访问接口，本发明能够访问不同的分布式文件系统，统一地进行性能测试，很好地解决了现有的分布式文件系统性能测试结果不能直接比较的问题，同时使得整个性能测试框架具有良好的可扩展性。（3）本发明通过一套统一的分布式文件系统访问接口以及测试用例模型，简化了测试用例的实现步骤，计算机用户可以使用简单的配置方式，根据自身的实际需求定制测试用例，减轻了计算机用户在使用本发明时的学习成本。（4）在使用本发明提供的具体测试用例模拟应用特性测试分布式文件系统时，能够对比不同分布式文件系统的特性，发现现有分布式文件系统的优势和缺陷。

附图说明

图1是本发明进行分布式文件系统性能测试的整体流程示意图；

图2是本发明的分布式测试框架的工作流示意图；

图3（A）是本发明的文件元数据性能测试结果示意图，图3（B）是本发明的文件读写性能测试结果示意图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

本发明采用一种基于主从式模型的分布式测试框架，该分布式测试框架能够在分布式环境下运行测试用例，使用一套统一的分布式文件系统访问接口实现分布式测试框架与分布式文件系统之间的松耦合。

该分布式测试框架为一个基于Java的主从式分布式程序，在多台计算机上运行多个Java进程，其中一个为主进程，其余为从进程，每个从进程中会运行多个Java线程。分布式测试框架的主从进程之间通过计算机网络进行通信。在测试运行过程中，分布式测试框架会访问分布式文件系统，进行具体的文件操作，分布式文件系统不属于本发明内容。

用户使用本发明进行分布式文件系统性能测试的具体流程如图1所示。用户通过修改配置文件的方式指定测试所需的配置项，然后启动分布式测试框架中的主进程，主进程最终会将测试报告返回给用户。主进程通过计算机网络启动多个从进程，每个从进程启动多个线程来运行具体的测试用例，测试运行完毕后主进程通过计算机网络收集所有的测试结果，生成测试报告返回给用户。

本发明中分布式测试框架主从进程之间的工作流程如图2所示，具体包括以下步骤：

（1）主进程启动后，读取用户修改的配置，并通过计算机网络向所有从进程分发测试所需的配置项，然后等待所有从进程启动完毕；

（2）从进程启动后，接收主进程发送的配置项，初始化运行测试的环境，接着通过计算机网络向主进程返回启动完毕信号；

（3）所有从进程启动完毕后，由主进程通过计算机网络发出开始运行测试的信号，所有从进程启动多个线程开始运行具体的测试用例；

（4）从进程在运行测试时记录其所有线程的测试数据，待测试用例运行结束后每个从进程生成一个本地测试结果，并通过计算机网络将结果返回给主进程。从进程结束；

（5）主进程收集齐所有从进程的测试结果后，生成一个统一的测试报告，返回给用户。主进程结束。

本发明中分布式测试框架通过一套统一的分布式文件系统访问接口进行文件操作，该套接口被实现为一个Java接口类，由多个Java实体类实现这个接口类，分别用于访问不同的分布式文件系统。测试框架在运行测试时，通过Java反射机制决定具体使用哪个Java实体类，以达到统一访问分布式文件系统的目的。这套统一的访问接口具体包括以下四类：

（1）会话操作接口，用于建立和断开与分布式文件系统之间的网络连接，包括建立连接、初始化连接和终止连接。

（2）元数据操作接口，用于操作分布式文件系统中的文件目录结构，包括在分布式文件系统中检查一个文件是否存在、新建、重命名以及删除一个文件。

（3）文件属性操作接口，用于获取和修改分布式文件系统中一个文件的文件属性，包括添加、修改和删除分布式文件系统中一个文件的文件名、大小、创建/修改/访问时间以及文件存储位置等。

（4）文件数据操作接口，用于通过输入/输出流进行文件读写操作，包括获得分布式文件系统中一个文件的输入流、新建文件的输出流，以及向已有文件尾追加数据的输出流。

本发明中分布式测试框架的测试用例模型主要由两部分构成，一是测试的执行逻辑，具体可以通过调用不同的分布式文件系统访问接口实现，在运行性能测试时，这部分执行逻辑被包含在分布式测试框架的每个线程中，并行地运行；二是测试所需的配置项，这些配置项以文本格式存储在配置文件中，在运行性能测试时由主进程读取并解析，然后分发给从进程，计算机用户可以通过修改配置文件来定制具体的测试用例。

本发明中提供了实现的具体测试用例，模拟大规模机器学习以及大数据查询应用的特性进行性能测试，实现这些具体测试用例包括以下步骤：

（1）利用本发明提供的扩展软件包，跟踪大规模机器学习以及大数据查询应用程序中的文件操作，包括元数据操作、文件属性操作和文件数据操作，得到具体的文件操作记录；

（2）分析这些文件操作记录，统计每种操作的次数、频率，操作文件的数量，各种操作所涉及数据量的大小，以归纳出不同的文件操作模式；

（3）为各个文件操作模式设计分布式文件系统访问接口的调用方案，通过不同的调用方式重现这些文件操作模式；

（4）在测试用例模型中实现这些调用方案，并添加具体操作频率、操作文件的文件名、操作数据量大小的配置项，实现出能够模拟这些应用特性的具体测试用例。

进一步地，在上述步骤（1）中，所述扩展软件包能够在不改动现有应用程序源代码的前提下，跟踪应用程序中的文件操作。其具体实现方法为：首先，在所述扩展软件包中，利用本发明提供的统一的分布式文件系统访问接口，实现了另一套具有相同的文件访问功能、但是包含额外的操作记录功能的接口；其次，通过修改系统配置的方式，使得应用程序调用所述扩展软件包中提供的接口函数，访问分布式文件系统；最后，应用程序在运行时，所述扩展软件包中的操作记录功能会记录其调用的文件访问接口，完成对文件操作的跟踪。

进一步地，按照上述步骤，本发明提供了具体的测试用例，能够针对不同特性测试多个分布式文件系统，这些具体的测试用例包括：

（1）元数据操作测试用例，在测试用例模型中调用分布式文件系统访问接口中的元数据操作接口，不断进行创建新文件、检查文件是否存在、重命名文件、删除文件操作，而不涉及文件数据的读写，以此测试分布式文件系统管理文件元数据的性能。

（2）基本读写操作测试用例，该测试用例根据用户的配置可以进行三种不同的基本读写操作，包括将数据顺序写入一个文件、从一个文件中顺序读取数据以及从一个文件中按随机访问的方式读取数据，以此测试分布式文件系统支持单个文件数据读写的性能。同时，不同的读写方式也模拟了大数据查询应用中对索引数据和详细数据进行的插入、扫描、检索等操作。这里要注意的是，由于分布式文件系统不支持按随机访问的方式向文件中写入数据，因此本发明中的分布式文件系统访问接口和测试用例模型中均不涉及对文件进行随机写入。

（3）混合读写操作测试用例，在测试用例模型中按一定比例调用分布式文件系统访问接口中的读文件和写文件操作，将文件数据的读写混合在一起，并且该比例是用户可配置的。同样地，读写文件操作包括顺序读取、随机读取以及顺序写入三种操作。

（4）迭代式读写操作测试用例，在测试用例模型中迭代式地调用分布式文件系统访问接口中的读文件和写文件操作，具体表现为，先从分布式文件系统中读取一批文件的数据，然后向分布式文件系统中写入一批新的文件，循环该读写过程，并且保证下一轮迭代读取的文件是上一轮迭代中写入的文件。迭代的轮数、读写文件的方式以及文件的大小均是用户可配置的。这种迭代式的读写操作模拟了大规模机器学习应用中对模型的训练过程。

（5）无规律访问测试用例，在测试用例模型中无规律地调用任意分布式文件系统访问接口。该测试用例中的操作是随机决定的、无规律的，以此模拟多应用同时使用分布式文件系统的复杂情况。

本发明的有益效果是，使计算机用户能够对不同的分布式文件系统进行统一的性能测试；通过测试用例模拟不同的应用，本发明可以让用户对比不同分布式文件系统的特性，发现现有分布式文件系统的优势和缺陷。本发明基于已有的一些开源软件实现了一个原型系统。根据本发明的技术方案要求，原型系统为基于Java的主从式的分布式测试框架。在开发中使用了ApacheThrift项目（项目主页http://thrift.apache.org/）提供的软件，利用其提供的远程过程调用（RPC，RemoteProcedureCall）的方式实现主进程和从进程之间的通信。ApacheThrift项目提供的软件不属于本发明的内容。

通过对现有的三个分布式文件系统，GlusterFS，HDFS和Tachyon进行性能测试，对本发明实现的原型系统进行验证。图3（A）显示了三个分布式文件系统的元数据操作性能测试结果，HDFS>Tachyon>GlusterFS；图3（B）显示了三个分布式文件系统的读写性能测试结果，Tachyon>HDFS>GlusterFS。从测试结果可以看出，本发明提出的方法能够对比不同分布式文件系统的特性，发现各自的优势和缺陷。

Claims (6)

1.一种对分布式文件系统进行统一性能测试的方法，包括以下步骤：

（1）提供一个主从式的分布式测试框架，能够运行在多台计算机上，每台计算机上以多进程和多线程的方式并行地运行具体的测试用例；

（2）在所述分布式测试框架中，定义并封装一套分布式文件系统的访问接口，能够统一地访问不同的分布式文件系统；

（3）在所述分布式测试框架中，设计一套测试用例模型，能够用于实现不同的测试用例；

（4）利用所述测试用例模型实现具体的、能够体现大规模机器学习以及大数据查询应用特性的测试用例。

2.根据权利要求1所述的一种对分布式文件系统进行统一性能测试的方法，其特征是：所述步骤（1）中的测试框架为基于Java的主从式程序，所述主从式程序的工作流程为：首先在一台计算机上启动主进程，然后所述主进程通过计算机网络向多台计算机发送指令启动从进程，每个所述从进程包含多个线程，每个所述线程并行地进行测试，最后所述主进程通过计算机网络收集所有从进程的测试结果。

3.根据权利要求1所述的一种对分布式文件系统进行统一性能测试的方法，其特征是：所述步骤（2）中的访问接口包括以下四类：会话操作接口，用于建立和断开与分布式文件系统之间的网络连接；元数据操作接口，用于新建、删除和重命名分布式文件系统中的一个文件；文件属性操作接口，用于获取和修改分布式文件系统中一个文件的文件属性；文件数据操作接口，用于通过输入/输出流进行文件读写操作。

4.根据权利要求1所述的一种对分布式文件系统进行统一性能测试的方法，其特征是：所述步骤（2）中的访问接口为一套抽象的接口，由多个实例实现对不同分布式文件系统的访问，分布式测试框架在运行测试时，通过Java反射机制决定具体使用哪个实例，以达到统一访问分布式文件系统的目的。

5.根据权利要求1所述的一种对分布式文件系统进行统一性能测试的方法，其特征是：所述步骤（3）中实现具体测试用例的方式为，在所述测试用例模型中调用不同的访问接口。

6.根据权利要求1所述的一种对分布式文件系统进行统一性能测试的方法，其特征是：所述步骤（4）的工作流程为：利用本发明实现的用于跟踪应用程序中文件操作的扩展软件包，在不改动现有应用程序源代码的前提下，分析大规模机器学习以及大数据查询应用程序中的元数据操作、文件属性操作和文件数据操作，得到文件操作模式；在具体测试用例的实现中重现对应的文件操作模式，以模拟应用特性测试分布式文件系统。