CN102033796A

CN102033796A - 测试系统和方法

Info

Publication number: CN102033796A
Application number: CN2009101771119A
Authority: CN
Inventors: 贠文辉; 唐本亭; 鲁江华; 高峰; 张峰; 赵丹怀; 赵立君; 程卫东
Original assignee: China Mobile Communications Group Co Ltd
Current assignee: China Mobile Communications Group Co Ltd
Priority date: 2009-09-25
Filing date: 2009-09-25
Publication date: 2011-04-27
Anticipated expiration: 2029-09-25
Also published as: CN102033796B

Abstract

公开了一种测试系统和方法。所述测试系统可包括：被测模块，划分为多个逻辑存储单元；至少一个压力机，其每一个用于对至少一个所述逻辑存储单元的IO性能进行测试；以及控制模块，用于为每个逻辑存储单元设置测试模型；其中，所述控制模块控制所述多个压力机中的至少一个根据所述测试模型对每个逻辑存储单元的IO性能进行测试。

Description

测试系统和方法

技术领域

本申请公开的内容涉及一种测试系统和测试方法

背景技术

现有技术中，厂商提到的设备最大IOPS(每秒读写次数)通常是采用不公布被测设备的具体配置细节的“黑盒”测试方法测得的。具体而言，在被测设备上生成一个与被测设备的Cache大小相差不大的测试文件，生成的测试文件不能保证能够遍历所有逻辑存储单元(LUN)。由于生成的测试文件只分布于部分LUN之上，当进行读IO测试时，经过首次读IO操作后，该文件被装入Cache，以后的读写均在Cache中完成，因此得到结果均为Cache的IOPS；当进行写IO测试时，被测设备也将数据直接写至Cache中，并返回写成功操作指示，然后被测设备根据各自算法在CPU空闲时进行写磁盘操作；这样，测试过程中并不能得到真正的磁盘写IO处理性能，也得不到各被测设备写Cache算法中从Cache到磁盘的实际写时间。

发明内容

本申请将提供一种能够遍历所有磁盘进行IO读写性能的测试系统和测试方法。

根据本申请一方面的测试系统可包括：被测模块，划分为多个逻辑存储单元；至少一个压力机，其每一个用于对至少一个所述逻辑存储单元的IO性能进行测试；以及控制模块，用于为每个逻辑存储单元设置测试模型；其中，所述控制模块控制所述多个压力机中的至少一个根据所述测试模型对每个逻辑存储单元的IO性能进行测试。

根据本申请另一方面的测试方法可包括：将被测模块划分为多个LUN；为所述多个LUN中的每一个设置测试模型；为所述多个LUN中的每一个绑定至少一个测试进程；以及基于所述测试模型，利用所述绑定的至少一个测试进程对所述多个LUN中的每一个进行IO性能测试。

根据上述的测试系统和方法，可提供比传统测试工具更为详细的测试结果，包括磁盘读IOPS、Cache写IOPS、Cache写磁盘IOPS、吞吐带宽等。

附图说明

图1示出了根据本发明一个实施方式的测试系统的方框图；

图2为图1中示出的压力机的具体结构方框图；

图3示例性地示出了被测模块的LUN与压力机之间的关系；

图4示出了根据本发明一个实施方式的测试方法的流程图；

图5示出了压力机进行I/O压力加载的模型图；

图6示出了根据本发明一个实施方式读测试的流程图；以及

图7示出了根据本发明一个实施方式读测试的流程图。

具体实施方式

如图1所示，根据本发明一个实施方式的测试系统1000包括控制模块10、多个压力机20-1、20-2...20-n、被测模块30和连接模块40。

控制模块10用于分别为被测模块30设置IO压力模型，并控制压力机20-1、20-2...20-n根据设置的IO压力模型生成不同数目的测试进程(worker)，以对被测模块30进行IO读/写测试。被测模块30可以是任意的存储设备或系统，并被划分为多个逻辑存储单元(LUN)。在一个实施方式中，被测模块30被划分为以73G或146G为单位的多个LUN。

控制模块10设置的IO压力模型可包括IO块大小、IO读写比例、IO顺序随机比例等参数。可根据不同应用的IO读写特点，确定不同的I/O压力模型，例如，用于OLTP和OLAP的压力模型的具体模型参数可分别如表1和表2所示：

IO操作	块大小	比例
			随机读命中	8k	20％
随机读	4k	45％
			随机写	8k	15％
顺序读	64k	10％
			顺序写	64k	10％

表1：OLTP的IO压力模型

IO操作	块大小	比例
			随机读命中	4k	0％
随机读	4k	15％
			随机写	4k	5％
顺序读	64k	70％
			顺序写	64k	10％

表2：OLAP的IO压力模型

除了设置上述参数外，控制模块10还用于统计各压力机返回的IOPS、响应时间、吞吐带宽等测试结果。控制模块10配置的参数还可包括但不限于：压力机进程与被测模块的磁盘对应关系、磁盘起始访问扇区和访问扇区范围、并发指令数、磁盘访问(打开/关闭)频率、测试结果格式等。

在一个实施方式中，控制模块10例如可包括用于为测试系统1000提供用于图形化配置管理的界面。

压力机20-1、20-2...20-n可例如通过连接模块40连接到被测设备30。虽然在图2中示出了n个压力机，但是应该理解，压力机的个数可以根据具体的应用而改变。如图2所示，各个压力机包括计数器201、测试模块202、测试文件生成模块203和验证模块204。

计数器201用于对测试过程中的各时间段进行计时，例如设置读测试的总时间等。

测试模块202安装有例如Agent的测试软件。测试软件在控制模块10的控制下，可根据被测模块30被划分的LUN数量生成不同个数的测试进程。生成的测试进程根据控制模块10预先设置的IO读写模型对被测模块30进行IO读写测试，然后将测试结果返回给控制模块10。为保证测试中IO压力能够均匀分布到所有被测模块，所生成的进程数和LUN的对应关系可根据具体的被测试设备而改变。在一个实施方式中，测试进程与LUN为全网状(Mesh)对应关系，即每个测试进程都与所有的LUN绑定，以测试达到当前测试模型下的最大IOPS为原则，如图3所示。然而本发明并不限于此，可根据需要为每一个LUN绑定任意数量的压力机和测试进程。

测试文件生成模块203用于在LUN上生成一个测试文件，文件大小为整个LUN的容量。测试文件的文件名可例如为LUN号.tst，同时每个LUN上生成的文件内容各不相同。读操作完成一个扇区的读IO后，将该扇区对应的标志位设置为1。当一个测试进程完成所绑定的LUN的所有扇区的读后，将在该LUN上重新生成一个不同内容的测试文件，以在计数器201设定的测试总时间内利用其它测试进程继续对该扇区进行读操作，以能够保证IO读压力(即，测试进程)遍历该LUN，从而避免出现读Cache IOPS和热点盘现象所导致的测试值失真。

验证模块204将上述测试进程读出的内容与预置文件的内容对比，以判断读出的内容与文件预置内容是否一致。在生成各个测试文件的同时形成与测试文件相同的预置文件。如果判断的结果一致，则表明读测试成功，然后统计读响应时间、IOPS和吞吐带宽等，这将在下文中具体描述。如果判断的结果不一致，则统计IO读错误数。

连接模块40用于连接压力机20和被测模块30。根据被测设备的不同，连接模块40可需要支持Fiber Channel协议或IP协议。连接模块40的带宽高于被测设备的标称吞吐带宽。此外，本领域技术人员应该理解，连接模块40可以是任意能够使得压力机20和被测模块30通信的连接装置。

下面将参照图4所示的测试方法2000进一步描述控制模块10，压力机20-1、20-2...20-n，连接模块40，被测模块30的操作。

如图4所示，在步骤401，将被测模块30划分为多个LUN，并在步骤S402中，通过控制模块10为所划分的多个LUN分别设置如上所述的IO压力模型。在步骤S403，控制模块10根据步骤S401中划分的多个LUN的数目为压力机20-1、20-2...20-n中的每一个的测试模块202分配一个或多个测试进程，并将分配的测试进程以例如网状对应关系绑定到划分的多个LUN。

在步骤S404，每个测试进程按照IO压力模型向对应的LUN发起IO压力，即，进行I/O测试。I/O测试的过程是一个负载测试和压力测试的过程，通过逐渐增加压力机的I/O负载，即，逐渐在每个LUN上增加测试进程数以达到逐渐增加压力的目标，直到系统的I/O压力曲线出现性能拐点，通过综合分析来确定系统I/O性能。具体而言，如图5所示，在测试过程中，首先需要一个压力上升阶段(即，t₁-t₂)将I/O压力逐渐加到设定值，然后是一个长时间(例如，30分钟左右)持续平稳加压过程(t₂-t₅)，最后经过一个压力逐渐释放的阶段(t₅-t₆)，为保证测试数据的真实性，其中t₃-t₄阶段为压力数据统计记录，t₀-t₃和t₄-t₆阶段的数据不记录到最后结果。

下面分别参照图6和图7描述压力机20-1、20-2...20-n对被测设备30进行读IO测试处理3000和写IO测试处理4000的具体处理，出于简洁的目的，下面的描述中省略了逐渐增加测试压力(即增加测试进程)的处理。

如图6所示，在步骤S601中，每个压力机20-1、20-2...20-n中的测试文件生成模块203在测试模块202绑定的LUN上生成例如充满该LUN的测试文件，并将该LUN中的每个扇区置测试标志位为0。所有扇区的标志位可例如保存在扇区记录表中。例如，被测试的一个LUN包括多个扇区1、2、3....；其中，扇区1的内容例如为“aaaa”、扇区2的内容为“bbbb”、以及扇区3的内容为“cccc”....。

在步骤S602，压力机启动计时器201并设定测试时间。在步骤S603中，测试模块202判断测试时间是否到期，并扫描扇区标志位记录表，判断是否存在需要读取的测试模块，即是否存在测试标签为tag＝0的扇区。如果计时器201未到期，并且存在需要测试的扇区，则在步骤S604中对需要测试的一个扇区进行读操作。在这里，例如首先对扇区1进行读操作，即，将扇区1的内容“aaaa”被读出，并将扇区1的标记为tag置位为1，然后返回读成功操作指示，并记录对该扇区读操作使用的time1(即读响应时间)。

在步骤S605中，验证模块204将读出的扇区1内容与预置文件的内容对比，以判断读出的内容与文件预置内容是否一致。在步骤S606中，测试模块根据判断的结果计算测试结果。具体地，如果读出的内容与文件预置内容一致，则根据time1以及预设的IO压力模型计算并记录读扇区1的IOPS、吞吐带宽等参数。例如，读扇区1的IOPS＝1/time1；以及吞吐带宽＝IOPS*读/写块的大小。如果在步骤S605中判断的结果不一致，则表明IO读错误，测试模块可根据该结果计算读IO错误率。验证处理后，测试模块将扇区1的测试标记为tag设置为1，读测试处理3000回到步骤S603。

如果在步骤S603中判断的结果是测试时间到期，或者所有扇区的标签都为1，则表明对该LUN的测试已经结束，接着在步骤607中统计测试结果，并为下一LUN重新生成新的测试文件。

下面参照图7描述写IO测试方法。当进行写IO测试时，每个绑定了逻辑存储单元(LUN)的进程在成功完成一次写操作收到常规的File_close回复后，记录此时的时间time1，然后发起一个针对LUN的扇区的读操作，确认数据是否真正已写入磁盘扇区，如返回的写标志为0，则继续查询，直到查询到所写数据，此时记录时间time2，time1和time2的差值为Cache写磁盘的时间。

如图7所示，在步骤S701，启动计时器设定测试时间。在步骤S702，所有压力机中的测试模块202判断计时器是否到期，并判断在某个LUN中是否存在写标志为0的扇区。如果存在，在S703中，写进程将例如“AAAA”写入被测试设备的Cache，然后记录Cache写成功操作时间time1，并返回写成功操作，即收到File_close。

在步骤S704，启动读进程根据测试模型顺序地或随机地对一个或多个写标志为0的扇区进行读操作，在这里，例如假设读取某一LUN的扇区1的内容。

步骤S705，将读出的内容与写内容AAAA进行验证，以判断扇区1的内容是否已更新为AAAA。

如果没有更新，则在回到步骤S704；否则在步骤S706，返回磁盘写成功操作指示，记录此时的测试时间time2，并将扇区1的写标志位设置为1。

在步骤S707中，测试模块计算对该扇区的测试结果。具体地，time1和time2的差值为Cache写磁盘的时间测试时间，time2即为写扇区1所实际使用的总时间。测试模块计算的写性能参数例如可包括：根据time1和预设的IO压力模型计算的写Cache操作的响应时间、写Cache操作的IOPS(1/time1)和写Cache操作的吞吐带宽(IOPS*读/写块的大小)；以及根据time1和time2的差值以及预设的IO压力模型计算的Cache写磁盘的响应时间、Cache写磁盘的IOPS(1/(time1-time2))和吞吐带宽(IOPS*读/写块的大小)。此外，虽然在图中未示出，然而本领域技术人员还应该理解，还可以根据步骤S705中比较的结果统计IO写错误率。

如果在步骤S702中判断的结果是不存在写标志为0的扇区或者测试时间到期，则表明对该LUN的测试结束，则直接在步骤S708中统计对该LUN的写测试操作结果。

以上虽然参照并采用系统1000中的具体结构来描述测试方法2000，然而本领域技术人员应该理解，本发明并不限于此。本领域技术人员可根据上述公开的内容借助适当的系统或设备来实现测试方法2000。

以上所述仅为一些具体的实施方式，并非用来限制本发明的专利范围，凡是利用本申请说明书及附图内容所作的等效变换，或直接或间接运用在其他相关的技术领域的等同技术特征对本申请文件公开的技术方案进行的修改，均包括在本发明的保护范围内。

Claims

1.一种测试系统，包括：

被测模块，划分为多个逻辑存储单元；

至少一个压力机，其每一个用于对至少一个所述逻辑存储单元的IO性能进行测试；以及

控制模块，用于为每个逻辑存储单元设置测试模型；

其中，所述控制模块控制所述多个压力机中的至少一个根据所述测试模型对每个逻辑存储单元的IO性能进行测试。

2.如权利要求1所述的系统，其中，每个所述压力机包括：

测试模块，用于控制所述测试模块根据所述被测模块的逻辑存储单元个数生成一个或多个测试进程，每个所述测试进程与所述多个逻辑存储单元中的至少一个绑定。

3.如权利要求2所述的系统，其中，每个所述压力机还包括：

测试文件生成模块，用于为每一个绑定的逻辑存储单元生成一个测试文件；

其中，所述测试文件大小为整个逻辑存储单元的容量，以及每个所述测试进程通过对所述测试文件进行读操作，测试所述绑定的逻辑存储单元的读性能。

4.如权利要求3所述的系统，其中，所述测试模块被配置为通过所述测试进程测试所述绑定的逻辑存储单元的写性能。

5.如权利要求4所述的系统，其中，每个所述压力机还包括：

验证模块，用于通过预置文件验证每个所述测试进程对所述读性能和写性能的测试结果；以及

统计模块，根据所述验证模块验证的结果分别计算读IO错误率和写IO错误率。

6.一种测试方法，包括：

将被测模块划分为多个逻辑存储单元；

为所述多个逻辑存储单元中的每一个设置测试模型；

为所述多个逻辑存储单元中的每一个绑定至少一个测试进程；以及

基于所述测试模型，利用所述绑定的至少一个测试进程对所述多个逻辑存储单元中的每一个进行IO性能测试。

7.如权利要求6所述的方法，其中，利用所述绑定的至少一个测试进程对所述多个逻辑存储单元中的每一个进行IO性能测试的步骤还包括：

在所述多个逻辑存储单元中的每一个上生成一个测试文件；以及

通过读取所述测试文件计算每个所述逻辑存储单元的读性能。

8.如权利要求7所述的方法，其中，利用所述绑定的至少一个测试进程对所述多个逻辑存储单元中的每一个进行IO性能测试的步骤还包括：

记录所述至少一个测试进程中的每一个将测试内容写入所述被测设备的Cache的第一测试时间；

读取所述多个LUN中的每一个的扇区的内容，以确认所述测试内容是否真正已写入相应的扇区；

如果确认已经将测试内容写入相应的扇区，则记录第二测试时间；

根据所述第一测试时间计算写Cache性能参数；以及

根据所述第一测试时间和第二测试时间计算Cache写磁盘的性能参数。

9.如权利要求8所述的方法，其中，利用所述绑定的至少一个测试进程对所述多个逻辑存储单元中的每一个进行IO性能测试的步骤还包括：

验证每个所述测试进程对所述读性能和写性能的测试结果；以及

根据验证的结果分别计算读IO错误率和写IO错误率。

10.如权利要求8所述的方法，其中，所述写Cache性能参数包括写Cache操作的响应时间、写Cache操作的IOPS和写Cache操作的吞吐带宽；以及

其中，所述Cache写磁盘的性能参数包括所述Cache写磁盘的响应时间、Cache写磁盘的IOPS和Cache写磁盘的吞吐带宽。