CN103078763A - 一种信息存储系统的多协议并行测试方法及系统 - Google Patents

Abstract

本发明提供一种信息存储系统的多协议并行测试方法及系统，搭建分布式测试环境，该分布式测试环境包括一个管理节点和至少两个测试节点，测试节点可以通过相同的或不同的存储协议对多个存储空间进行并行负载测试，并把测试结果转化成统一的以数据块的形式描述的测试结果向管理节点提交；管理节点管控所有测试节点，发起并行测试，管理测试执行过程，统计所有所述测试节点发送的测试结果，并报告被测所述信息存储系统的综合测试结果。本发明针对信息存储系统的多协议并行存储服务，通过对多种协议的并行测试来综合评价被测的信息存储系统的服务质量，包括性能、功能和可靠性等，解决对信息存储系统多协议并行测试的需求。

Description

一种信息存储系统的多协议并行测试方法及系统

技术领域

本发明涉及一种信息存储系统的测试技术，具体是一种信息存储系统的多协议并行测试方法及系统。

背景技术

信息存储系统是指计算机中由存放程序和数据的各种存储设备、控制部件及管理信息调度的硬件和软件所组成的系统。信息存储系统包括单一存储系统和统一存储系统。单一存储系统是一套存储系统通过一种协议对外提供存储服务，相当于一套信息存储系统只能提供基于上述一种协议的单一存储服务；统一存储系统亦称多协议存储系统，是一套信息存储系统通过存储管理系统的配置，把信息存储系统划分成不同的存储空间，然后通过不同的存储协议同时对外提供信息存储服务，统一存储系统是解决一套存储系统提供多种存储服务问题的一种常见方法。

随着信息的迅猛增加，信息存储已经迈向了海量信息存储时代，数据容量已持续爆炸性增长到拍字节(Petabytes)和艾字节(Exabytes)，大中型企业的IT部门正在纠结于海量数据和不断增长的各种类型的数据管理。他们需要能够满足其发展要求并可以简化操作、降低总成本和快速适应日新月异的业务增长需求的存储解决方案。信息存储系统的应用也从原来的单一存储方式步入了统一存储方式，目前的海量信息存储系统提供的已不仅仅是单一服务，而是多种存储服务共存的综合服务。

测试是检验信息存储系统的性能、可靠性和功能等指标的重要方法。传统的测试方法只能针对信息存储系统的单一存储协议进行测试。对于信息存储系统的多个存储空间通过不同存储协议对外同时提供服务时，如果利用传统的测试方法进行测试，是对各个存储空间各自单独进行测试，一方面，由于各个存储空间对外提供服务时是共享一套存储系统的资源，这些资源包括CPU、内存、网络带宽等，因此各个存储空间所使用的资源不是固定的，加上各个存储空间提供服务时存在资源竞争的问题，从而测试结果无法重现；另一方面，对不同存储协议的测试方法、测评对象和测评指标也是不同的，如NAS协议是以文件为对象进行测试的，其IO性能的测评指标是OPS/sec(操作数每秒)，iSCSI协议是以块为对象进行测试的，其IO性能测测评指标是IOPS(IO数每秒)，测试的结果只能反映每个存储空间当时对外提供存储服务的使用情况，从而无法对整套信息存储系统进行测试，无法反映统一存储系统的综合性能。因此，目前对整个信息存储系统的性能、可靠性和功能等进行测试，既没有相应的测试方法，也没有可行的测试工具。

发明内容

本发明所要解决的技术问题是现有技术中无法对信息存储系统的多协议并行存储服务的性能、可靠性及功能等进行准确测试和评估，从而提出一种信息存储系统的多协议并行测试方法及系统。

为解决上述技术问题，本发明是通过以下技术方案实现的：

一种信息存储系统的多协议并行测试方法，包括如下步骤：

S1：将信息存储系统划分成多个提供相同或不同存储服务的存储空间，各个所述存储空间通过相同或不同的存储协议能够同时对外提供相同或不同的信息存储服务；

S2：搭建分布式测试环境，所述分布式测试环境包括一个管理节点和至少两个测试节点；

S3：所述管理节点监控所有所述测试节点，并发起并行测试；

S4：各个所述测试节点根据所述管理节点设置的负载测试参数对各自的存储空间采用统一的评价指标进行并行负载测试，并把测试结果转化成统一的以数据块的形式描述的测试结果，发送给所述管理节点；

S5：所述管理节点统计所有所述测试节点发送的测试结果，并报告被测所述信息存储系统的综合测试结果。

所述的测试方法，所述步骤S2具体包括以下步骤：

S21：根据所述存储协议把所有所述测试节点分成至少一个测试组，每个所述测试组由至少一个所述测试节点组成；

S22：在测试节点安装所述存储协议的驱动，调试测试环境；

S23：所述管理节点对不同的所述测试组设置对应的所述负载测试参数；

所述的测试方法，所述步骤S1中的所述存储协议包括iSCSI协议、FC协议和NFS协议。

所述的测试方法，所述评价指标包括IO吞吐率、数据吞吐率和IO响应时间。

所述的测试方法，所述测试组的负载测试参数包括测试开始时间、预热时间、测试时间、结束时间和测试次数。

所述的测试方法，所述iSCSI协议和所述FC协议的负载测试参数分别还包括被测空间、每次IO的数据块大小、队列深度、读写顺序、读写比例和随机比例。

所述的测试方法，所述NFS协议的负载测试参数还包括被测空间、读写的文件大小、文件块大小、文件数量和访问模式。

所述的测试方法，所述信息存储系统至少有一个控制器。

一种信息存储系统的多协议并行测试系统，包括

信息存储配置装置，用于将信息存储系统配置成多个提供相同或不同存储服务的存储空间，各个所述存储空间通过相同或不同的存储协议能够同时对外提供相同或不同的信息存储服务；

测试环境搭建装置，用于搭建分布式测试环境，所述分布式测试环境包括一个管理节点和至少两个测试节点；

管理节点控制装置，用于所述管理节点监控所有所述测试节点，并发起并行测试；

测试节点测试装置，用于各个所述测试节点根据所述管理节点设置的负载测试参数对各自的存储空间采用统一的评价指标进行并行负载测试，并把测试结果转化成统一的以数据块的形式描述的测试结果，发送给所述管理节点；

管理节点输出装置，所述管理节点统计所有所述测试节点发送的测试结果，并报告被测所述信息存储系统的综合测试结果。

所述的测试系统，测试环境搭建装置包括

测试组模块，用于根据所述存储协议把所有所述测试节点分成至少一个测试组，每个所述测试组由至少一个所述测试节点组成；

调试模块，用于在测试节点安装所述存储协议的驱动，调试测试环境；

负载测试参数设置模块，用于所述管理节点对不同的所述测试组设置对应的所述负载测试参数。

本发明的上述技术方案相比现有技术具有以下优点：

本发明提供一种信息存储系统的多协议并行测试方法及系统，利用分布式的测试技术，搭建分布式测试环境，该分布式测试环境包括一个管理节点和至少两个测试节点，测试节点用于对被测信息存储系统的指定存储空间进行负载测试，多个测试节点可以通过相同或不同的存储协议对多个存储空间进行并行负载测试，各个测试节点收集各自的测试结果，并转化成统一的以数据块的形式描述的测试结果发送给管理节点；管理节点管控所有测试节点，发起并行测试，管理测试执行过程，收集所有所述测试节点发送的测试结果，并统计和报告被测所述信息存储系统的综合测试结果。本发明针对信息存储系统多协议并行服务，通过测试节点屏蔽不同存储协议之间的IO差异，并向管理节点报告相应的底层数据块IO读写性能，管理节点统计和报告被测信息存储系统的综合测试结果，通过对多种应用的并行测试来综合评价被测的信息存储系统，得出可比较的测试结果，因此，本发明解决对信息存储系统多协议并行性能测试的需求，为用户选择信息存储系统提供了评价指标和方法。

附图说明

为了使本发明的内容更容易被清楚的理解，下面结合附图，对本发明作进一步详细的说明，其中，

图1是本发明所述一种信息存储系统的多协议并行测试方法的流程图；

图2是本发明所述一种信息存储系统的多协议并行测试系统的架构图。

具体实施方式

参见图1、图2所示，本发明所述的一种信息存储系统的多协议并行测试方法，包括如下步骤：

S1：将信息存储系统划分成多个提供相同或不同存储服务的存储空间，各个所述存储空间通过相同或不同的存储协议能够同时对外提供相同或不同的信息存储服务；信息存储系统至少有一个控制器；

将信息存储系统通过存储系统管理工具划分成多个提供相同或不同存储服务的存储空间，各个所述存储空间通过所述网络层的相同或不同的存储协议能够同时对外提供相同或不同的信息存储服务；网络层包括被测信息存储层的网络适配层和应用服务器的网络适配层，如光纤接口、以太网接口等，还包括网络交换机，如8Gbps光纤交换机和千兆以太网交换机，涉及的软件部分包括不同的协议和协议驱动。

本实施例中，信息存储系统只有一个控制器；控制器一般包括CPU、内存和总线，主要用于计算、传输数据等。将信息存储系统的存储空间分成存储空间LV1、存储空间LV2和存储空间LV3，所述存储协议包括iSCSI(Internet Small Computer System Interface，互联网小型计算机系统接口)协议、FC(Fibre Channel，光纤通道)协议和NFS(Network FileSystem，网络文件系统)协议，存储空间LV1通过iSCSI协议对外提供基于数据块的IP存储服务，存储空间LV2通过FC协议对外提供基于数据块的光纤存储服务，存储空间LV3通过NFS协议对外提供基于文件的网络存储服务。所述存储空间LV1、所述存储空间LV2和存储空间LV3共用被测信息存储系统的所述控制器的硬件资源。

S2：搭建分布式测试环境，所述分布式测试环境包括一个管理节点和至少两个测试节点。节点是指物理设备端或软件客户端，物理设备端例如单独的服务器或PC机，这属于现有技术的内容，在此不多做赘述。

管理节点通常由一个独立的节点组成，也可以由承担测试的测试节点同时作为管理节点，一个承担测试的测试节点同时作为管理节点能够减少物理机器的数量，节约成本。

本实施例中，所述管理节点为一个独立的管理节点1；所述测试节点为5个，包括测试节点21、测试节点22、测试节点23、测试节点24和测试节点25，所述管理节点1与所述测试节点21、所述测试节点22、所述测试节点23、所述测试节点24和所述测试节点25通过网络进行通信和协调工作。

搭建分布式测试环境的具体步骤如下：

S21：根据所述存储协议把所有所述测试节点分成至少一个测试组，每个测试组由至少一个所述测试节点组成，同一组中的所述测试节点进行相同的负载测试工作；本实施例中，存储空间LV1通过iSCSI协议提供给测试节点21和测试节点22使用，所述测试节点21和测试节点22构成一个测试组；存储空间LV2通过FC协议提供给测试节点23使用，所述测试节点23构成一个测试组；存储空间LV3通过NFS协议提供给测试节点24和测试节点25使用，所述测试节点24和测试节点25构成一个测试组。

实际上，由于一个测试节点无法给海量的信息存储系统发起足够的测试负载，因此，对于海量的信息存储系统，一般需要用多台测试节点同时发送负载，以达到压力测试的目的，实际测试时测试节点可以是几十个甚至上百个。

S22：在测试节点安装所述存储协议的驱动，调试测试环境。

S23：所述管理节点1对所述不同的测试组设置相应的所述负载测试参数；负载是指在性能测试中给被测信息存储系统施加的压力，测试参数是为了达到一定压力而设置的变量。本实施例中，这三种不同应用的负载测试参数的测试开始时间、预热时间、测试时间、结束时间和测试次数必须一致；然后，分别设置好这三种不同应用的负载测试参数，对于iSCSI协议测试主要包括被测空间(一般为被测信息存储系统挂载到客户端的裸盘，如F盘)、每次IO的数据块大小(如1KB)、队列深度(如64)、读写顺序(如100％顺序)、读写比例(如50％写)和随机比例(如100％随机)；对于FC协议测试，由于它也是基于数据块的IO操作，因此其测试的负载测试参数与iSCSI协议测试的负载测试参数相同；对于NFS协议的测试，由于它是基于文件的IO操作，因此其负载测试参数主要包括被测空间(一般为被测信息存储系统挂载到客户端的存储空间并经过初始化后的文件目录，如F盘下的nfstest目录)、读写的文件大小(如10GB)、文件块大小(如1MB)、文件数量(如100个)、共享或并发访问模式(如并发访问)。

S3：所述管理节点监控所有所述测试节点，并发起并行测试。

为了能够统一测评被测信息存储系统的性能，所述步骤S4中所有所述测试节点采用统一的评价指标进行并行负载测试，我们制定的统一评价指标只针对底层的数据块。基于文件系统的协议，在本测试方法中，所述测试节点24、测试节点25也只针对其底层的数据块进行统计和测试，从而屏蔽文件级IO和数据块级IO的IO差异，并向管理节点报告相应的底层数据块IO读写性能，实现统一的测评。管理节点1通过控制所有所述测试节点对被测信息存储系统进行并行测试，并统计和报告测试结果来实现对整个测试的管理。

S4：各个所述测试节点根据管理节点设置的负载测试参数对各自的存储空间采用统一的评价指标进行并行负载测试，并把测试结果转化成统一的以数据块的形式描述的测试结果，发送给所述管理节点；本实施例中，三种存储协议同时对外提供不同的信息存储服务时，三种存储服务共享信息存储系统的CPU、内存和网络等资源；所述评价指标为IO吞吐率(被测信息存储系统每秒能处理的IO数，单位为IOPS，即Input/Output Per Second)、数据吞吐率(被测信息系统每秒能处理的数据量大小，单位为MBPS，即Million Bits Per Second)，和IO响应时间(即被测信息存储系统平均处理一个IO的时间，单位为ms，即Millisecond)。

本实施例中，各个所述测试节点把测试结果转化成统一的以数据块的形式描述的测试结果发送给所述管理节点。

作为其他实施方式，所述管理节点接收各个所述测试节点的并行负载测试结果，然后把该测试结果转化成统一的以数据块的形式描述的测试结果。

S5：所述管理节点统计所有所述测试节点发送的测试结果、并报告被测所述信息存储系统的综合测试结果，本实施例中，所述信息存储系统的综合测试结果通过显示设备显示出来。

本发明同时提供一种信息的存储系统多协议并行测试系统，包括信息存储配置装置、测试环境搭建装置、管理节点控制装置、测试节点测试装置和管理节点输出装置。信息存储配置装置，用于将信息存储系统通过存储系统管理工具划分成多个提供相同或不同存储服务的存储空间，各个所述存储空间通过相同或不同的存储协议能够同时对外提供相同或不同的信息存储服务。

测试环境搭建装置，用于搭建分布式测试环境，所述分布式测试环境包括一个管理节点和至少两个测试节点。测试环境搭建装置包括测试组模块，用于根据所述存储协议把所有所述测试节点分成至少一个测试组，每个所述测试组由至少一个所述测试节点组成；调试模块，用于在测试节点安装所述存储协议的驱动，调试测试环境；负载测试参数设置模块，用于所述管理节点对不同的所述测试组设置对应的所述负载测试参数。

管理节点控制装置，用于所述管理节点监控所有所述测试节点，并发起并行测试。

测试节点测试装置，用于各个所述测试节点根据所述管理节点设置的负载测试参数对各自的存储空间采用统一的评价指标进行并行负载测试，并把测试结果转化成统一的以数据块的形式描述的测试结果，发送给所述管理节点。

管理节点输出装置，所述管理节点统计所有所述测试节点发送的测试结果，并报告被测所述信息存储系统的综合测试结果。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种信息存储系统的多协议并行测试方法，其特征在于，包括如下步骤： 

S1：将信息存储系统划分成多个提供相同或不同存储服务的存储空间，各个所述存储空间通过相同或不同的存储协议能够同时对外提供相同或不同的信息存储服务； 

S2：搭建分布式测试环境，所述分布式测试环境包括一个管理节点和至少两个测试节点； 

S3：所述管理节点监控所有所述测试节点，并发起并行测试； 

S4：各个所述测试节点根据所述管理节点设置的负载测试参数对各自的存储空间采用统一的评价指标进行并行负载测试，并把测试结果转化成统一的以数据块的形式描述的测试结果，发送给所述管理节点； 

S5：所述管理节点统计所有所述测试节点发送的测试结果，并报告被测所述信息存储系统的综合测试结果。 

2.根据权利要求1所述的测试方法，其特征在于，所述步骤S2具体包括以下步骤： 

S21：根据所述存储协议把所有所述测试节点分成至少一个测试组，每个所述测试组由至少一个所述测试节点组成； 

S22：在测试节点安装所述存储协议的驱动，调试测试环境； 

S23：所述管理节点对不同的所述测试组设置对应的所述负载测试参数。 

3.根据权利要求1或2所述的测试方法，其特征在于，所述步骤S1中的所述存储协议包括iSCSI协议、FC协议和NFS协议。 

4.根据权利要求1或2或3所述的测试方法，其特征在于，所述评价指标包括IO吞吐率、数据吞吐率和IO响应时间。 

5.根据权利要求1-4任一所述的测试方法，其特征在于，所述测试组的负载测试参数包括测试开始时间、预热时间、测试时间、结束时间和测试次数。 

6.根据权利要求5所述的测试方法，其特征在于，所述iSCSI协议和所述FC协议的负载测试参数分别还包括被测空间、每次IO的数据块大小、队列深度、读写顺序、读写比例和随机比例。 

7.根据权利要求5所述的测试方法，其特征在于，所述NFS协议的负载测试参数还包括被测空间、读写的文件大小、文件块大小、文件数量和访问模式。 

8.根据权利要求1-7任一所述的测试方法，其特征在于，所述信息存储系统至少有一个控制器。 

9.一种信息存储系统的多协议并行测试系统，其特征在于，包括 

信息存储配置装置，用于将信息存储系统配置成多个提供相同或不同存储服务的存储空间，各个所述存储空间通过相同或不同的存储协议能够同时对外提供相同或不同的信息存储服务； 

测试环境搭建装置，用于搭建分布式测试环境，所述分布式测试环境包括一个管理节点和至少两个测试节点； 

管理节点控制装置，用于所述管理节点监控所有所述测试节点，并发起并行测试； 

测试节点测试装置，用于各个所述测试节点根据所述管理节点设置的负载测试参数对各自的存储空间采用统一的评价指标进行并行负载测试，并把测试结果转化成统一的以数据块的形式描述的测试结果，发送给所述管理节点； 

管理节点输出装置，所述管理节点统计所有所述测试节点发送的测试结果，并报告被测所述信息存储系统的综合测试结果。 

10.根据权利要求9所述的测试系统，其特征在于，所述测试环境搭建装置包括 

测试组模块，用于根据所述存储协议把所有所述测试节点分成至少一个测试组，每个所述测试组由至少一个所述测试节点组成； 

调试模块，用于在测试节点安装所述存储协议的驱动，调试测试环境； 

负载测试参数设置模块，用于所述管理节点对不同的所述测试组设置对应的所述负载测试参数。 

Images