CN101783755A - 一种同步测试集群并行文件系统性能的方法及装置 - Google Patents

Abstract

本发明提供了一种同步测试集群并行文件系统性能的方法及装置，所述同步测试集群并行文件系统中包括若干个测试机，所述方法包括：所述集群并行文件系统中的每一测试机均在所述集群并行文件系统的共享目录中维护一用以指示其测试执行情况的信息；当所述测试机执行完一项测试后，先检测所述共享目录中用以指示其他测试机测试执行情况的信息，当检测到所有的测试机均完成了该项测试后，才执行下一项测试。该方法能够简单方便地实现大数量集群性能测试的同步工作。

Description

一种同步测试集群并行文件系统性能的方法及装置

技术领域

本发明涉及集群并行文件系统的开发测试方法及装置。

背景技术

目前，集群的发展进入到一个新的阶段，对于集群并行文件系统的应用取得长远的进步，特别是针对目前开源并行文件系统的发展。Lustre是一个开源的、基于对象存储技术的集群并行文件系统，它具有很高的可扩展性、可用性、性能、易用性等，在高性能计算系统中被广泛使用。集群并行文件系统网络结构如图1所示，主要包括三个部分：元数据服务器(MetadataServer，简称MDS)、对象存储服务器(Object Storage Server，简称OSS)，以及客户端(Client)。

集群技术发展的主要目的是提升计算机系统的性能。对于研发、生产厂商，硬件产品性能的测试工作非常重要。与普通存储系统相比，集群并行文件系统具有其特殊性。首先，集群并行文件系统中的机器数量庞大(不同系统数量不一)，如果测试过程单纯使用目前市面上的测试软件，不仅工作量大，且需要较多的技术培训。另外，由于集群测试要在多台机器上同时进行，同步工作还需要进行特殊的时间服务器配置，增加了系统的额外技术因素及工作量。

在并行文件系统的测试工具中，iozone可以较好的完成MBPS、IOPS的测试；同时可以选用bonnie++进行相关项的对比测试。但目前的这些测试软件测试过程中，由于机器配置的不同或者外界环境影响造成单项测试命令执行的时间不一致。结果使得多个测试机上后续测试命令的开始时间错位，影响到测试精度。

发明内容

本发明要解决的技术问题是，提出一种同步测试集群并行文件系统性能的方法及装置，能够简单方便地实现大数量集群性能测试的同步工作。

为了解决上述技术问题，本发明提出了一种同步测试集群并行文件系统性能的方法，所述同步测试集群并行文件系统中包括若干个测试机，所述方法包括：

所述集群并行文件系统中的每一测试机均在所述集群并行文件系统的共享目录中维护一用以指示其测试执行情况的信息；

当所述测试机执行完一项测试后，检测所述共享目录中用以指示其他测试机测试执行情况的信息，当检测到所有的测试机均完成了该项测试后，才执行下一项测试。

进一步地，上述方法还可具有以下特点：

所述集群并行文件系统中的每一测试机分别在所述共享目录中建立并维护一个标志子目录或文件，所述子目录或文件名称中包含其测试机名称或者编号，以及其当前执行的测试项目的名称或者编号信息，所述测试机在执行完一项测试后，将所述共享目录中其对应的所述子目录或文件的名称中的测试项目的名称或者编号更新为下一项测试项目的名称或者编号，从而以所述子目录或文件的名称来以指示其对应的测试机的测试执行情况。

进一步地，上述方法还可具有以下特点：

在所述共享目录中维护用以指示各测试机的测试执行情况的信息之前，先对各测试机进行配置，包括配置测试环境参数、测试项目参数、配置测试的同步变量，其中，配置测试的同步变量是指配置用以指示其对应的测试机测试执行情况的信息，并将其存储位置配置到所述共享目录中。

进一步地，上述方法还可具有以下特点：

在对各测试机进行配置时，还配置结果输出位置参数，利用结果重定向功能配置测试结果的存储位置。

进一步地，上述方法还可具有以下特点：

在执行各测试项目时，选用一种或者多种测试工具进行测试，利用结果重定向功能将测试结果输出并对其进行统计分析。

为了解决上述技术问题，本发明还提出了一种同步测试集群并行文件系统性能的装置，所述集群并行文件系统包括若干个测试机，所述同步测试集群并行文件系统性能的装置位于每一测试机上，其包括控制处理模块和检测判断模块，其中：

所述控制处理模块，用以在所述集群并行文件系统的共享目录中维护一用以指示其所在测试机的测试执行情况的信息，在完成一项测试后，更新所述共享目录中用以指示其所在测试机的测试执行情况的信息；以及在接收到所述检测判断模块发送来的执行下一项测试的控制命令后，开始执行下一项测试；

所述检测判断模块，用以在其所在测试机执行完一项测试后，检测所述共享目录中用以指示各测试机测试执行情况的信息，当检测到所有的测试机均完成了该项测试后，向所述控制处理模块发送执行下一项测试的控制命令。

进一步地，上述装置还可具有以下特点：

所述控制处理模块，用以在所述共享目录中建立并维护一个标志子目录或文件，所述子目录或文件名称中包含与其所在测试机的名称或者编号，以及其所在测试机当前执行的测试项目的名称或者编号信息，在其所在测试机在执行完一项测试后，将所述共享目录中与其所在测试机对应的所述子目录或文件的名称中的测试项目的名称或者编号更新为下一项测试项目的名称或者编号，从而以所述子目录或文件的名称来以指示其所在测试机的测试执行情况。

进一步地，上述装置还可具有以下特点：

还包括配置模块，其中：

所述配置模块，用以在其所在测试机进行配置，包括配置测试环境参数、测试项目参数、配置测试的同步变量，其中，配置测试的同步变量用以指示其所在测试机的测试执行情况，并将其存储位置配置到所述共享目录中。

进一步地，上述装置还可具有以下特点：

所述配置模块，还用以配置结果输出位置参数，利用结果重定向功能配置测试结果的存储位置。

进一步地，上述装置还可具有以下特点：

还包括一统计分析模块，其中：

所述配置模块，用以在配置各测试项目时，选用一种或者多种测试工具，在配置结果输出位置参数时，将测试结果输出位置配置至所述统计分析模块；

所述统计分析模块，用以接收其所在测试机的测试结果并对其进行统计分析。

本发明提供的一种同步测试集群并行文件系统性能的方法及装置，无需其他技术资源及复杂配置，可以方便快捷地实现集群性能的同步测试。

附图说明

图1是集群并行文件系统网络结构示意图；

图2是本发明实施例一种同步测试集群并行文件系统性能的方法流程图；

图3是本发明实施例一种同步测试集群并行文件系统性能的装置方框图。

具体实施方式

下面将结合附图来详细说明本发明实施方案。

本发明提供了一种同步测试集群并行文件系统性能的方法，其基本构思是，通过巧妙地在共享文件目录中维护用以指示各测试机的测试执行情况的信息，每一测试机在执行完一项测试后，检测所述共享目录中用以指示其他测试机测试执行情况的信息，当检测到所有的测试机均完成了该项测试后，才执行下一项测试，从而简单方便地实现大数量集群性能测试的同步工作。

参见图2，该图示出了本发明实施例一种同步测试集群并行文件系统性能的方法，包括如下步骤：

步骤S201：利用shell脚本编写测试程序，其中至少包括人机交互接口部分、同步命令测试部分，以及结果重定向输出部分；

步骤S202：将编写好的测试程序下载至集群并行文件系统中各测试机的客户端上，并启动该测试程序；

步骤S203：运行测试程序中的人机交互接口部分，进行测试参数配置，配置测试的同步变量参数并将其配置到集群并行文件系统的共享目录中，所述测试的同步变量用以指示测试机的测试执行情况；

具体配置包括：

1、配置测试环境参数，包括：配置测试机的数量、测试机编号等详细参数，例如配置集群并行文件系统中所有测试机的总数量、各测试机在集群并行文件系统中的编号、使用的测试工具，等等；

2、配置测试项目参数，包括：配置测试项目的编号，指定读文件、写文件、读写文件等模式、测试数据块大小，等等。

3、配置测试的同步变量参数，包括：配置测试的同步变量是指配置用以指示其对应的测试机测试执行情况的信息，并将其存储位置配置到集群并行文件系统的共享目录中。

配置测试的同步变量时，可以采用以下方式实现：在集群并行文件系统的共享目录中建立一个标志子目录或文件，该子目录或文件名称中包含测试机的名称或者编号，以及其当前执行的测试项目的名称或者编号信息。例如，可以配置所述目录或文件名称的格式为“(机器编号)-(任务号)”，初始值为“(机器编号)-(0)”。这样，即可实现以所述子目录或文件的名称来以指示其对应的测试机的测试执行情况。

4、配置结果输出位置参数，包括：利用结果重定向功能配置测试结果的存储位置。

步骤S204：运行测试程序中的同步命令测试部分，依次完成各项测试，通过对配置在集群并行文件系统的共享目录中的测试的同步变量参数进行循环检测确保多机测试命令的同步运行；

循环检测过程如下：当一测试机执行完一项测试后，更新集群并行文件系统的共享目录中用以指示其对应的测试机测试执行情况的信息，检测所述共享目录中用以指示其他测试机测试执行情况的信息，当检测到所有的测试机均完成了该项测试后，才执行下一项测试。

例如，当采用在集群并行文件系统的共享目录中建立并维护名称与其测试机的名称或者编号，以及其当前执行的测试项目的名称或者编号相关的子目录或文件来指示其对应的测试机的测试执行情况时，每当测试机完成一项测试后，便会将其对应的子目录(或文件)进行重命名，命名规则为“(机器编号)-(任务号+1)”，在进行下一项测试任务前会循环扫描共享目录中所有测试机对应的建立的用以指示各测试机的测试执行情况的子目录(或文件)，通过名称判断各个测试机上的该项测试任务是否完成，如果全部测试机器的“(机器编号)-(任务号)”都显示上一测试任务完成，则开始进入下一测试任务，发现未全部完成则继续扫描等待，直到所有测试机均完成该项测试。

执行同步命令测试的过程包括：当所有测试机配置完毕后，测试程序中的同步命令测试部分将实现各测试机的测试同步，当一项测试在其中一测试机上首先完成时，该测试机自动进入第二项测试的循环扫描等待界面；当所有测试机均完成本项测试后，下一项测试同步启动。所有测试项目按照上述规则依次进行，直到所有测试机正常完成所有测试，结束。

步骤S205：在所有测试项目进行完毕之后，运行测试程序中的结果重定向输出部分，将测试结果输出至指定的位置。

对集群并行文件系统的IOPS、MBPS的测试需要利用不同的测试工具进行多次测试，现有技术中大部分的性能测试软件单机运行，难以实现多机同步。而采用本发明测试程序中的人机交互接口部分和同步命令测试部分可以很好地使测试命令同步组合。

此外，有些环境中可以直接选用简单的dd命令进行数据读写MBPS的测试，简单方便，节省工作时间。

另外，由于各种工具的输出结果具有特定的格式，不便于统计分析，因此本发明实施例还设计了输出结果融合统计的方法，可以利用linux系统下的正则表达式、数据重定向实现测试结果数据的统计输出。进而可以将数据copy至windows系统下的excel表格中进行数据的分析处理，便于集群并行文件系统后续的问题解决、性能的提升。

本发明实施例还提供了一种同步测试集群并行文件系统性能的装置，所述集群并行文件系统包括若干个测试机，所述同步测试集群并行文件系统性能的装置位于每一测试机上，如图3所示，包括控制处理模块、检测判断模块、配置模块，以及统计分析模块，其中：

所述控制处理模块，用以在所述集群并行文件系统的共享目录中维护一用以指示其所在测试机的测试执行情况的信息，在完成一项测试后，更新所述共享目录中用以指示其所在测试机的测试执行情况的信息；以及在接收到所述检测判断模块发送来的执行下一项测试的控制命令后，开始执行下一项测试。

进一步地，所述控制处理模块，可以在所述共享目录中建立并维护一个标志子目录或文件，所述子目录或文件名称中包含与其所在测试机的名称或者编号，以及其所在测试机当前执行的测试项目的名称或者编号信息，在其所在测试机在执行完一项测试后，将所述共享目录中与其所在测试机对应的所述子目录或文件的名称中的测试项目的名称或者编号更新为下一项测试项目的名称或者编号，从而以所述子目录或文件的名称来以指示其所在测试机的测试执行情况。

所述检测判断模块，用以在其所在测试机执行完一项测试后，检测所述共享目录中用以指示各测试机测试执行情况的信息，当检测到所有的测试机均完成了该项测试后，向所述控制处理模块发送执行下一项测试的控制命令。

所述配置模块，用以在其所在测试机进行配置，包括配置测试环境参数、测试项目参数、配置测试的同步变量，其中，配置测试的同步变量用以指示其所在测试机的测试执行情况，并将其存储位置配置到所述共享目录中。

所述配置模块，还用以配置结果输出位置参数，利用结果重定向功能配置测试结果的存储位置。

所述配置模块，还可以在配置各测试项目时，选用一种或者多种测试工具，在配置结果输出位置参数时，将测试结果输出位置配置至所述统计分析模块。所述统计分析模块，用以接收其所在测试机的测试结果并对其进行统计分析。

当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种同步测试集群并行文件系统性能的方法，所述同步测试集群并行文件系统中包括若干个测试机，其特征在于，所述方法包括：

所述集群并行文件系统中的每一测试机均在所述集群并行文件系统的共享目录中维护一用以指示其测试执行情况的信息；

当所述测试机执行完一项测试后，先检测所述共享目录中用以指示其他测试机测试执行情况的信息，当检测到所有的测试机均完成了该项测试后，才执行下一项测试。

2.如权利要求1所述的方法，其特征在于：

所述集群并行文件系统中的每一测试机分别在所述共享目录中建立并维护一个标志子目录或文件，所述子目录或文件名称中包含其测试机名称或者编号，以及其当前执行的测试项目的名称或者编号信息，所述测试机在执行完一项测试后，将所述共享目录中其对应的所述子目录或文件的名称中的测试项目的名称或者编号更新为下一项测试项目的名称或者编号，从而以所述子目录或文件的名称来以指示其对应的测试机的测试执行情况。

3.如权利要求1或2所述的方法，其特征在于：

在所述共享目录中维护用以指示各测试机的测试执行情况的信息之前，先对各测试机进行配置，包括配置测试环境参数、测试项目参数、配置测试的同步变量，其中，配置测试的同步变量是指配置用以指示其对应的测试机测试执行情况的信息，并将其存储位置配置到所述共享目录中。

4.如权利要求3所述的方法，其特征在于：

在对各测试机进行配置时，还配置结果输出位置参数，利用结果重定向功能配置测试结果的存储位置。

5.如权利要求4所述的方法，其特征在于：

在执行各测试项目时，选用一种或者多种测试工具进行测试，利用结果重定向功能将测试结果输出并对其进行统计分析。

6.一种同步测试集群并行文件系统性能的装置，所述集群并行文件系统包括若干个测试机，所述同步测试集群并行文件系统性能的装置位于每一测试机上，其特征在于，包括控制处理模块和检测判断模块，其中：

所述控制处理模块，用以在所述集群并行文件系统的共享目录中维护一用以指示其所在测试机的测试执行情况的信息，在完成一项测试后，更新所述共享目录中用以指示其所在测试机的测试执行情况的信息；以及在接收到所述检测判断模块发送来的执行下一项测试的控制命令后，开始执行下一项测试；

所述检测判断模块，用以在其所在测试机执行完一项测试后，检测所述共享目录中用以指示各测试机测试执行情况的信息，当检测到所有的测试机均完成了该项测试后，向所述控制处理模块发送执行下一项测试的控制命令。

7.如权利要求6所述的装置，其特征在于：

所述控制处理模块，用以在所述共享目录中建立并维护一个标志子目录或文件，所述子目录或文件名称中包含与其所在测试机的名称或者编号，以及其所在测试机当前执行的测试项目的名称或者编号信息，在其所在测试机在执行完一项测试后，将所述共享目录中与其所在测试机对应的所述子目录或文件的名称中的测试项目的名称或者编号更新为下一项测试项目的名称或者编号，从而以所述子目录或文件的名称来以指示其所在测试机的测试执行情况。

8.如权利要求6或7所述的装置，其特征在于，还包括配置模块，其中：

所述配置模块，用以在其所在测试机进行配置，包括配置测试环境参数、测试项目参数、配置测试的同步变量，其中，配置测试的同步变量用以指示其所在测试机的测试执行情况，并将其存储位置配置到所述共享目录中。

9.如权利要求8所述的装置，其特征在于：

所述配置模块，还用以配置结果输出位置参数，利用结果重定向功能配置测试结果的存储位置。

10.如权利要求9所述的装置，其特征在于，还包括一统计分析模块，其中：

所述配置模块，用以在配置各测试项目时，选用一种或者多种测试工具，在配置结果输出位置参数时，将测试结果输出位置配置至所述统计分析模块；

所述统计分析模块，用以接收其所在测试机的测试结果并对其进行统计分析。

Images