CN115801633B - San存储的多客户端共享并发性能测试方法和系统 - Google Patents

Abstract

本发明公开一种SAN存储的多客户端共享并发性能测试方法和系统，该方法步骤包括：S01.将多个部署有测试装置的客户端与待测SAN存储设备进行连接以及各个客户端之间建立通信连接，并分别为各客户端配置测试时在SAN存储设备上的不同偏移量；S02.向各个客户端下发执行性能测试命令，以控制各个客户端根据在SAN存储设备上的偏移量对待测SAN存储设备共享并发执行性能测试；S03.根据各个客户端的测试结果得到待测SAN存储设备的性能测试结果。本发明能够实现SAN存储设备性能的多客户端共享并发测试，且具有实现方法简单、成本低、测试效率以及精度高且能够避免数据损坏等优点。

Description

SAN存储的多客户端共享并发性能测试方法和系统

技术领域

本发明涉及SAN(Storage Area Network，存储区域网络)存储的性能测试技术领域，尤其涉及一种SAN存储的多客户端共享并发性能测试方法和系统。

背景技术

SAN是一种基于块的存储，利用高速网络架构将服务器与其逻辑磁盘单元(Logical Disk Unit, LUN) 相连，其中LUN 是一系列通过共享存储池配置的块，以逻辑磁盘的形式呈现给服务器。 SAN共享存储系统是用于多客户端并发访问SAN存储设备，一般由SAN存储和共享文件系统构成。SAN共享存储系统已经大量应用于勘探数据分析、遥感信息处理、高性能计算、模拟仿真、数字媒体、金融、制造等领域。为了确保多客户端对同一SAN存储的访问权限和管理权限的统一，需要安装专门的共享管理软件或者共享文件系统，如SANergy、ImageSAN、StorNext、Panasas、Lustre、GPFS、CXFS、BWFS等。而为了更好地对比、分析、应用SAN共享存储系统，需要对应用于SAN共享存储系统的SAN存储进行多客户端共享并发测试，以获取SAN存储的基准性能。

现有技术中SAN存储共享性能测试方法主要有以下两类：1、基于单客户端对存储整体的测试，即将SAN存储作为一个LUN逻辑卷发布，然后进行单客户端最大带宽或者最大iops（每秒的输入输出操作数）测试；2.基于多客户端对共享文件系统的测试，即对SAN存储发布的单个或多个LUN逻辑卷搭建文件系统，然后在多个客户端挂载该文件系统，进行多客户端性能测试。但是上述两类测试方法测试得到的结果，与SAN存储实际使用性能相比均会存在不同程度的差异，均无法精准获取SAN存储整体使用的基准性能。如其中第一种基于单客户端的测试方式，单客户端对存储整体的测试，会受限于单客户端的瓶颈（如网络、IO性能），导致SAN存储测试性能结果明显偏低。对于第二种基于多客户端对共享文件系统的测试方式，由于是在共享文件系统上进行的测试，会受到文件系统元数据存储机制、文件读写方式等影响，造成一定程度的损耗，性能测试的结果仍然会偏低。而如果考虑采取多客户端、存储整体的测试，由于多个客户端之间没有元数据信息的交互，又会出现多客户端写入区间重合而导致写入覆盖、数据损坏等的问题。

中国专利申请CN201611227923.6公开一种SAN存储设备的IO性能测试方法及装置，该方案通过在SAN存储创建多个用于测试的LUN，各LUN分别挂载在多台测试客户机，各LUN采用不同RAID级别进行创建，以模拟实际应用场景。该方案通过对SAN存储进行LUN划分后再分别挂载测试客户机，仅能基于多客户端实现对多个非共享卷LUN的测试，仍然无法实现SAN存储设备整体共享性能的测试，且由于多个LUN逻辑卷之间不共享，多个LUN对应的存储控制器及链路可能有所不同，如果将多个非共享卷的测试结果简单相加，仍然不能准确反映SAN存储设备整体共享使用的性能，而如果不划分LUN，由多客户端直接连接SAN存储直接进行读写，由于多客户端之间缺少元数据信息的交互，会导致写入区间可能产生重合导致写入数据覆盖或者破坏。

综上，传统方法SAN存储共享性能测试方法均无法精准、可靠的实现SAN存储整体性能测试，亟需一种能够实现多客户端同时共享访问SAN存储设备的性能测试方法，以使得能够精准获得SAN存储整体的实际基准性能，同时能够避免多客户端同时共享访问SAN存储设备造成数据损坏。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种实现方法简单、成本低、测试效率以及精度高且能够避免数据损坏的SAN存储的多客户端共享并发性能测试方法和系统，能够高效实现SAN存储设备性能的多客户端共享并发测试，从而更精准测试出SAN存储使用时的基准性能。

为解决上述技术问题，本发明提出的技术方案为：

一种SAN存储的多客户端共享并发性能测试方法，步骤包括：

步骤S01.将多个部署有测试装置的客户端与待测SAN存储设备进行连接以及各个客户端之间建立通信连接，并分别为各客户端配置测试时在SAN存储设备上的不同偏移量，即每个客户端的测试装置按照在SAN存储设备上的不同偏移量访问SAN存储设备，以实现共享并发测试；

步骤S02.当各个客户端接收到执行性能测试命令时，通过调用所述测试装置根据在SAN存储设备上的所述偏移量对待测SAN存储设备共享并发执行性能测试；

步骤S03.根据各个客户端的测试结果得到待测SAN存储设备的性能测试结果输出。

进一步的，所述步骤S01中，还包括将各个客户端中配置一个客户端为主节点、其余客户端为备节点，所述主节点与备节点之间配置SSH免密互信以进行数据交互。

进一步的，所述步骤S02中，通过在所述主节点调用测试装置执行性能测试，由所述主节点通过数据交互向各个备节点下发执行测试命令以控制各个备节点执行性能测试。

进一步的，所述步骤S01中，还包括配置预设测试参数，根据所述预设测试参数确定各客户端测试时在SAN存储设备上的不同偏移量，所述预设测试参数包括SAN存储容量、测试客户端数量、客户端主机名、数据总大小、块大小、起始位置、跳转间隔中任意多种。

进一步的，所述步骤S02中，所述测试装置通过先进行所述预设测试参数的解析，使用解析出的所述预设测试参数控制执行读写测试。

进一步的，所述测试装置中预先加载有多个对应不同测试功能的测试组件，所述测试装置通过调用各所述测试组件以执行所需的性能测试，所述测试组件包括用于模拟压力负载下读写测试的压力测试组件和/或用于故障条件下的读写测试的故障测试组件。

进一步的，所述测试装置执行性能测试过程中，还包括对读写测试进行一致性校验。

一种SAN存储的多客户端共享并发性能测试系统，包括多个客户端，还包括：

环境配置模块，用于将各个客户端与待测SAN存储设备进行连接以及各个客户端之间建立通信连接，并分别为各客户端配置测试时在SAN存储设备上的不同偏移量；

各个客户端均部署有测试装置，用于当各个客户端接收到执行性能测试命令时，根据在SAN存储设备上的所述偏移量对待测SAN存储设备共享并发执行性能测试，即每个客户端的测试装置按照在SAN存储设备上的不同偏移量访问SAN存储设备，以实现共享并发测试；

以及测试结果输出模块，用于根据各个客户端的测试结果得到待测SAN存储设备的性能测试结果输出。

进一步的，所述测试装置包括：

参数解析模块，用于解析预先配置的预设测试参数；

测试运行模块，用于根据所述参数解析模块解析得到的预设测试参数，调用预先加载的各所述测试组件以执行所需的性能测试；

数据收集模块，用于收集所述测试运行模块得到的测试结果；

数据分析模块，用于对所述数据收集模块收集到的测试结果进行数据分析。

一种计算机系统，包括处理器以及存储器，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序以执行如上述方法。

与现有技术相比，本发明的优点在于：本发明SAN存储的多客户端共享并发性能测试方法及装置,通过由多个数据互通的客户端连接SAN存储，同时为各客户端指定测试时在SAN存储设备上的不同偏移量，实现对多客户端的数据读写的划分限制，使得既能满足共享需求，又能保证写入数据的正确性，使得不需要对磁盘进行额外划分及文件系统创建，即可实现对SAN存储共享并发访问测试，快速、精准的测试出SAN存储多客户端共享并发的基准性能，还能够有效解决单个LUN多客户端访问互相冲突的问题，从而能更好地实现筛选、优化SAN存储以及开发和应用SAN共享存储系统。

附图说明

图1是本实施例SAN存储的多客户端共享并发性能测试方法的实现流程示意图。

图2是本实施例实现SAN存储的多客户端共享并发性能测试的原理流程示意图。

图3是本实施例中测试装置的结构原理示意图。

具体实施方式

以下结合说明书附图和具体优选的实施例对本发明作进一步描述，但并不因此而限制本发明的保护范围。

如图1、2所示，本实施例SAN存储的多客户端共享并发性能测试方法的步骤包括：

步骤S01.配置测试环境：将多个部署有测试装置的客户端与待测SAN存储设备进行连接以及各个客户端之间建立通信连接，并分别为各客户端配置测试时在SAN存储设备上的不同偏移量。

S101.搭建基本环境：在各客户端安装操作系统，例如linux操作系统环境，然后对SAN存储进行初始化配置。

各客户端安装好后，还包括将各个客户端中配置一个客户端为主节点、其余客户端为备节点，主节点与备节点之间配置SSH免密互信以便于进行数据交互，使得各客户端可以对SAN存储实现共享并发访问。

SAN存储初始化具体包含对SAN存储进行统一存储池构建、客户端主机与存储映射视图创建等。可选的，存储配置支持Raid（独立磁盘冗余阵列）配置以及多路径配置等。其中当存储配置多路径时，则客户端也需要对应配置并启用多路径服务。

S102.配置测试环境：将各客户端与SAN存储进行连接，在各客户端部署测试装置，然后获取预设测试参数进行配置，以及指定不同客户端测试时在存储设备上的偏移量，准备测试。

上述预设测试参数具体可采用写入配置文件的方式，后续由测试装置读取配置文件以获取该预设测试参数。预设测试参数也可以采用在使用测试装置时用命令指定参数的方式进行配置，或者还可以不指定参数，由测试装置基于客户端数量自动分配参数的方式实现。上述预设测试参数包括但不限于测试客户端数量、客户端主机名、数据总大小、块大小、起始位置、跳转间隔等，具体可以根据实际需求配置。基于上述预设测试参数即可以实现为不同客户端指定测试时在存储设备上的偏移量，使得各客户端可以同时访问整个SAN存储进行各种读写访问测试，而不会对SAN存储上的数据造成损坏，确保测试过程中数据正确性。

将各客户端与磁盘存储进行连接时，具体连接支持FC（光纤通道协议）/ISCSI/FCoE/ FC-NVMe协议等，其中FC为使用具有嵌入式 SCSI 命令的光纤通道传输协议;iSCSI为Internet 小型计算机系统接口,将 SCSI 命令封装在以太网帧内，然后使用 IP 以太网络进行传输;FCoE为以太网光纤通道，将 FC 帧封装在以太网数据报中，使用 IP 以太网络进行传输;FC-NVMe为基于光纤通道的非易失性内存标准,通过 PCIExpress (PCIe) 总线访问闪存存储的接口协议。协议配置具体可以根据实际需求选取。

步骤S02.执行性能测试：当各个客户端接收到执行性能测试命令时，通过调用测试装置根据在SAN存储设备上的偏移量对待测SAN存储设备共享并发执行性能测试，即每个客户端的测试装置按照在SAN存储设备上的不同偏移量访问SAN存储设备，以实现共享并发测试。

当需要执行SAN存储的性能测试时，向各个客户端下发测试命令，通过调用各测试装置在多个客户端进行测试，每个客户端的测试装置按照在SAN存储设备上的不同偏移量访问SAN存储设备，结合主备节点的模式，具体可以通过在主节点调用测试装置执行性能测试，由主节点通过SSH数据交互向各个备节点下发执行测试命令以控制各个备节点执行性能测试，以利用主备节点之间的数据交互实现SAN存储的多客户端共享并发性能测试，再将多个客户端测试的数据进行统一收集，保存为指定的数据格式文件，即可以获取SAN存储整体性能测试结果。当各个客户端完成测试后，可以将多个客户端的测试结果通过SSH交互收集到主节点，保存为指定格式文件以用于后续数据分析。

本实施例执行性能测试时，测试装置具体通过先进行预设测试参数（测试客户端数量、客户端主机名、数据总大小、块大小、起始位置、跳转间隔等）的解析，使用解析出的预设测试参数控制执行读写测试，例如获取SAN存储容量，然后基于客户端数量、主机名及获取的存储容量，对数据总大小、块大小、起始位置、跳转间隔进行自动配置。基于上述测试参数，能指定不同客户端测试时在存储设备上的不同偏移量，进行各种读写访问测试，使得可以实现多客户端同时访问整个SAN存储，而不会对SAN存储上的数据造成损坏。

本实施例测试装置中预先加载有多个对应不同测试功能的测试组件，测试装置通过调用各测试组件以执行所需的性能测试。可选的，上述测试组件具体包括用于模拟压力负载下读写测试的压力测试组件、用于故障条件下的读写测试的故障测试组件等。

在具体应用实施例中，测试装置中配置有以下各模块：

参数解析模块，用于解析命令行输入或者配置文件指定的预设测试参数进行参数配置，如果没有配置则进行默认配置：

测试运行模块，用于基于参数解析模块得到的测试参数，调用各测试组件进行测试，测试组件包括支持压力测试组件、故障测试组件等。

数据收集模块，用于将测试运行模块测试得到的结果数据进行收集，保存为指定格式文件，如cvs（逗号分隔值文件格式）格式文件等。

数据分析模块，用于对收集的测试结果进行数据分析，例如可以配置根据需要选择调用shell脚本，读取cvs数据文件进行Gnuplot自动绘图，或者使用python脚本进行Excel自动统计绘图。其中Gnuplot作为轻量级绘图软件，可以支持linux、windows、mac等操作系统。

进一步的，测试装置还设置有测试校验模块，以用于执行性能测试过程中，对读写测试进行一致性校验，以进一步确保测试的可靠性。

本实施例通过配置上述测试装置，能够自动化地实现配置参数、执行测试以及收集整理测试数据，可以大大减少人工操作，提高测试效率。

步骤S03.根据各个客户端的测试结果得到待测SAN存储设备的性能测试结果输出。

本实施例具体可以通过收集步骤S02得到的各客户端的测试结果形成的数据文件并进行绘图展示，例如可以在主节点调用脚本将收集的csv文件进行绘图展示，以便于用户直观获取测试结果。

本发明上述SAN存储的多客户端共享并发性能测试方法,通过由多个数据互通的客户端连接SAN存储，同时为各客户端指定测试时在SAN存储设备上的不同偏移量，实现对多客户端的数据读写的划分限制，使得既能满足共享需求，又能保证写入数据的正确性，使得不需要对磁盘进行额外划分及文件系统创建，即可实现对SAN存储共享并发访问测试，快速、精准的测试出SAN存储多客户端共享并发的基准性能，还能够有效解决单个LUN多客户端访问互相冲突的问题，从而能更好地实现筛选、优化SAN存储以及开发和应用SAN共享存储系统。

本实施例SAN存储的多客户端共享并发性能测试系统，包括多个客户端，还包括：

环境配置模块，用于将各个客户端与待测SAN存储设备进行连接以及各个客户端之间建立通信连接，并分别为各客户端配置测试时在SAN存储设备上的不同偏移量；

各个客户端均部署有测试装置，用于当各个客户端接收到执行性能测试命令时，根据在SAN存储设备上的所述偏移量对待测SAN存储设备共享并发执行性能测试，即每个客户端的测试装置按照在SAN存储设备上的不同偏移量访问SAN存储设备，以实现共享并发测试；

以及测试结果输出模块，用于根据各个客户端的测试结果得到待测SAN存储设备的性能测试结果输出。

如图3所示，本实施例中测试装置如上所述，具体包括：

参数解析模块，用于解析预先配置的预设测试参数；

测试运行模块，用于根据参数解析模块解析得到的预设测试参数，调用预先加载的各所述测试组件以执行所需的性能测试；

数据收集模块，用于收集所述测试运行模块得到的测试结果；

数据分析模块，用于对数据收集模块收集到的测试结果进行数据分析，如统计分析、图形输出等。

进一步的，测试装置中在测试运行模块与数据收集模块之间还设置有测试校验模块，以用于执行性能测试过程中，对读写测试进行一致性校验。

本实施例SAN存储的多客户端共享并发性能测试系统与上述SAN存储的多客户端共享并发性能测试方法为一一对应，在此不再一一赘述。

本实施例还提供计算机系统，包括处理器以及存储器，存储器用于存储计算机程序，处理器用于执行所述计算机程序以执行如上述方法。

上述只是本发明的较佳实施例，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。因此，凡是未脱离本发明技术方案的内容，依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均应落在本发明技术方案保护的范围内。

Claims (10)

1.一种SAN存储的多客户端共享并发性能测试方法，其特征在于，步骤包括：

步骤S01.将多个部署有测试装置的客户端与待测SAN存储设备进行连接以及各个客户端之间建立通信连接，并分别为各客户端配置测试时在SAN存储设备上的不同偏移量；

步骤S02.当各个客户端接收到执行性能测试命令时，通过调用所述测试装置根据在SAN存储设备上的所述偏移量对待测SAN存储设备共享并发执行性能测试，即每个客户端的测试装置按照在SAN存储设备上的不同偏移量访问SAN存储设备，以实现共享并发测试；

步骤S03.根据各个客户端的测试结果得到待测SAN存储设备的性能测试结果输出。

2.根据权利要求1所述的SAN存储的多客户端共享并发性能测试方法，其特征在于，所述步骤S01中，还包括将各个客户端中配置一个客户端为主节点、其余客户端为备节点，所述主节点与备节点之间配置SSH免密互信以进行数据交互。

3.根据权利要求2所述的SAN存储的多客户端共享并发性能测试方法，其特征在于，所述步骤S02中，通过在所述主节点调用测试装置执行性能测试，由所述主节点通过数据交互向各个备节点下发执行测试命令以控制各个备节点执行性能测试。

4.根据权利要求1所述的SAN存储的多客户端共享并发性能测试方法，其特征在于，所述步骤S01中，还包括配置预设测试参数，根据所述预设测试参数确定各客户端测试时在SAN存储设备上的不同偏移量，所述预设测试参数包括SAN存储容量、测试客户端数量、客户端主机名、数据总大小、块大小、起始位置、跳转间隔中任意多种。

5.根据权利要求4所述的SAN存储的多客户端共享并发性能测试方法，其特征在于，所述步骤S02中，所述测试装置通过先进行所述预设测试参数的解析，使用解析出的所述预设测试参数控制执行读写测试。

6.根据权利要求5所述的SAN存储的多客户端共享并发性能测试方法，其特征在于，所述测试装置中预先加载有多个对应不同测试功能的测试组件，所述测试装置通过调用各所述测试组件以执行所需的性能测试，所述测试组件包括用于模拟压力负载下读写测试的压力测试组件和/或用于故障条件下的读写测试的故障测试组件。

7.根据权利要求1～6中任意一项所述的SAN存储的多客户端共享并发性能测试方法，其特征在于，所述测试装置执行性能测试过程中，还包括对读写测试进行一致性校验。

8.一种SAN存储的多客户端共享并发性能测试系统，包括多个客户端，其特征在于，还包括：

环境配置模块，用于将各个客户端与待测SAN存储设备进行连接以及各个客户端之间建立通信连接，并分别为各客户端配置测试时在SAN存储设备上的不同偏移量；

各个客户端均部署有测试装置，用于当各个客户端接收到执行性能测试命令时，根据在SAN存储设备上的所述偏移量对待测SAN存储设备共享并发执行性能测试；

以及测试结果输出模块，用于根据各个客户端的测试结果得到待测SAN存储设备的性能测试结果输出。

9.根据权利要求8所述的SAN存储的多客户端共享并发性能测试系统，其特征在于，所述测试装置包括：

参数解析模块，用于解析预先配置的预设测试参数；

测试运行模块，用于根据所述参数解析模块解析得到的预设测试参数，调用预先加载的各测试组件以执行所需的性能测试；

数据收集模块，用于收集所述测试运行模块得到的测试结果；

数据分析模块，用于对所述数据收集模块收集到的测试结果进行数据分析。

10.一种计算机系统，包括处理器以及存储器，所述存储器用于存储计算机程序，其特征在于，所述处理器用于执行所述计算机程序以执行如权利要求1～7中任意一项所述方法。

Images