CN115774669A - 一种动态获取存储系统最优性能的方法及系统 - Google Patents

Abstract

本发明公开了一种动态获取存储系统最优性能的方法及系统，涉及存储系统的性能测试技术领域。该动态获取存储系统最优性能的方法，包括根据生成的用户配置文件，通过对照转换规则解析生成对应测试工具的测试配置文件，通过生成的测试配置文件调用对应的测试工具进行自动测试，最后对测试结果中的性能相关数据进行自动处理分析，生成可视化图表。本发明通过对配置文件的转换，自动调用对应的测试工具，相对于现有技术而言，不需要研发人员手动不断比对测试结果并调整测试压力和参数重复测试，整个过程可以自动完成，同时测试结构也不需要人工提取分析，系统提取分析后自动生成可视化图表，更加直观。

Description

一种动态获取存储系统最优性能的方法及系统

技术领域

本发明涉及存储系统的性能测试技术领域，具体为一种动态获取存储系统最优性能的方法及系统。

背景技术

随着信息技术的高速发展，各行各业的数据都出现了“井喷式”的爆发增长。存储系统作为最终承载数据的核心系统，其重要性不言而喻。而性能数据作为存储产品极为重要的参数指标，是存储系统最重要的核心竞争力之一。在存储系统研发过程中，研发人员经常需要使用性能测试工具(如vdbench)对存储系统不断加压进行反复测试，得出产品的最优性能。使用存储性能测试工具进行测试时，可以通过不断增加线程数来增加业务压力从而测试出存储系统的极限IOPS。

这种测试方法测试出的IOPS值较高，可以作为产品的宣传参数使用，但是在实际应用时，除了IOPS还必须考虑时延，如果IOPS较高但同时时延也较高，应用程序性能会非常差，因此如何找到IOPS和时延之间的平衡点是研发人员格外关注的。

实际测试过程中需要研发人员先测试出一个极限IOPS值和对应的时延，然后通过不断调整业务压力进行重复测试来找到IOPS和时延的平衡点。该过程需要研发人员手动不断比对测试结果并调整测试压力和参数重复测试，耗时长且效率低，同时测试结果需要手工提取分析，不直观。

发明内容

针对现有技术的不足，本发明提供了一种动态获取存储系统最优性能的方法及系统，解决了现有的测试过程需要研发人员手动不断比对测试结果并调整测试压力和参数重复测试，耗时长且效率低，同时测试结果需要手工提取分析，不直观的问题。

为实现以上目的，本发明通过以下技术方案予以实现：一种动态获取存储系统最优性能的方法，包括如下步骤：

S1：根据规则编写用户配置文件，作为后续生成测试工具配置文件的输入；

S2：获取测试压力机的CPU信息，根据CPU线程数确定并获取合适的测试线程数并写入S1的用户配置文件中；

S3：根据S2中生成的用户配置文件，通过对照转换规则解析生成对应测试工具的测试配置文件；

S4：根据S3生成的测试配置文件调用对应的测试工具进行自动测试；

S5：对测试结果中的性能相关数据进行自动处理分析，生成可视化图表。

进一步地，所述S1的配置文件中的信息包含待测试IO块大小、读写模式、读写比例、待测试存储卷设备路径、测试工具绝对路径、运行时间、数据采样点。

进一步地，所述S1的配置文件以ini形式保存，分为globalsect ion和rdsection，所述rd sect ion设置为多个。

进一步地，所述S2中获取测试线程数的方法包括：

S21：根据Linux指令获取测试客户的CPU核心数；

S22：将S21获取的CPU核心数的2倍值作为线程数，写入用户配置文件。

进一步地，所述S3具体包括如下步骤：

S31：系统读取S1和S2中生成的用户配置文件；

S32：按照对照转换规则将S31中的用户配置文件逐个进行解析，其中字典键为用户配置文件中的字段名，值为对应测试工具配置文件中的字段名，所述转换规则为用户配置文件中的字段和常用存储性能测试工具配置文件字段的对应关系，转换规则以字典的形式存在；

S33：生成用户配置文件中测试工具的配置文件。

进一步地，所述S4调用对应的测试工具进行自动测试包括如下步骤：

S41：测试系统根据用户配置文件中指定的测试工具，启动测试工具并加载测试配置文件，所述测试工具为vdbench工具；

S42：使用步骤3生成的测试配置文件进行一次最大性能测试，测试出存储系统的IOPS最大值；

S43：系统根据用户配置文件中datapoint字段定义的值进行多次动态测试，记录每次测试的业务压力限制，所述业务压力限制为IOPS最大值与datapoint字段定义的值的乘积。

进一步地，所述S43中datapoint字段定义的值根据S3的转换规则写入到测试配置文件中。

进一步地，所述最大性能测试和动态测试的测试时间均为300秒。

进一步地，所述S5具体包括如下步骤：

S51：系统切换到测试结果目录，提取测试结果中的有效数据，包括每个IO测试模型下所有测试轮次的关键测试数据；

S52：将每个IO模型下最大性能测试轮次的数据提取出来，每个IO测试模型一行，以表的形式展示；

将每个IO测试模型下不同业务压力的IOPS和时延提取出来，以IOPS为横轴，时延为纵轴，通过折线图的形式展示出IOPS和时延的对应关系。

一种动态获取存储系统最优性能的系统，包括：

配置生成模块，用于读取测试压力机上的CPU信息，确定测试线程数并写入用户配置文件，同时对用户配置文件进行解析，根据模板配置文件中的配置项生成对应测试工具的测试配置文件；

调度执行模块，用于根据用户配置文件中指定的测试工具调用对应测试工具，使用生成的测试配置文件进行测试；

日志记录模块，用于通过日志记录运行过程中的关键步骤和信息，便于跟踪和追溯分析问题；

结果解析模块，用于对测试生成的结果进行处理，提取性能关键信息，以可视化图表的形式对测试数据进行展示。

本发明具有以下有益效果：

将用户配置文件通过对照转换规则解析生成对应测试工具的测试配置文件，之后系统根据测试配置文件调用对应的测试工具进行一次最大性能测试，测试出存储系统的IOPS最大值，根据用户配置文件中datapoint字段定义的值进行多次动态测试，记录每次测试的业务压力限制，最后对对测试生成的结果进行处理，提取性能关键信息，以可视化图表的形式对测试数据进行展示，相对于现有技术而言，不需要研发人员手动不断比对测试结果并调整测试压力和参数重复测试，整个过程可以自动完成，同时测试结构也不需要人工提取分析，系统提取分析后自动生成可视化图表，更加直观。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

图1为本发明方法流程图；

图2为本发明系统流程图；

图3为本发明用户配置文件示意图；

图4为本发明每个IO模型下最大性能测试轮次的数据；

图5为本发明IOPS和时延的对应关系图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“开孔”、“上”、“下”、“厚度”、“顶”、“中”、“长度”、“内”、“四周”等指示方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的组件或元件必须具有特定的方位，以特定的方位构造和操作，因此不能理解为对本发明的限制。

请参阅图1-图5，本发明实施例提供一种技术方案：一种动态获取存储系统最优性能的方法，包括如下步骤：

S1：根据规则编写用户配置文件，作为后续生成测试工具配置文件的输入；

S2：获取测试压力机的CPU信息，根据CPU线程数确定并获取合适的测试线程数并写入S1的用户配置文件中；

S3：根据S2中生成的用户配置文件，通过对照转换规则解析生成对应测试工具的测试配置文件；

S4：根据S3生成的测试配置文件调用对应的测试工具进行自动测试；

S5：对测试结果中的性能相关数据进行自动处理分析，生成可视化图表。

所述S1的配置文件中的信息包含待测试IO块大小、读写模式、读写比例、待测试存储卷设备路径、测试工具绝对路径、运行时间、数据采样点。

具体地，所述S1的配置文件以ini形式保存，分为globalsection和rdsection，所述rd section设置为多个。

本实施方案中，用户配置文件以ini形式保存，分为globalsection和rdsection，rd section可以有多个，其中通用配置项比如lun、tool_path、runtime、datapoint放在global字段下，其余信息放在rd字段下。

具体地，所述S2中获取测试线程数的方法包括：

S21：根据Linux指令获取测试客户的CPU核心数；

S22：将S21获取的CPU核心数的2倍值作为线程数，写入用户配置文件。

本实施方案中，系统首先通过l inux命令(如“cat/proc/cpuinfo|grepprocessor|wc-l”)获取测试客户机的CPU核心数，将获取的CPU核心数的二倍值以threads＝CPU核心数*2的方式写入用户配置文件的global sect ion下。

具体地，所述S3具体包括如下步骤：

S31：系统读取S1和S2中生成的用户配置文件；

S32：按照对照转换规则将S31中的用户配置文件逐个进行解析，其中字典键为用户配置文件中的字段名，值为对应测试工具配置文件中的字段名，转换规则为用户配置文件中的字段和常用存储性能测试工具配置文件字段的对应关系，转换规则以字典的形式存在；

S33：生成用户配置文件中测试工具的配置文件。

本实施方案中，转换规则是指用户配置文件中的字段和常用存储性能测试工具配置文件字段的对应关系，转换规则以字典的形式存在，其中字典键为用户配置文件中的字段名，值为对应测试工具配置文件中的字段名，系统读取用户配置文件，对照转换规则逐个进行解析，生成用户配置文件中测试工具的配置文件。

具体地，所述S4调用对应的测试工具进行自动测试包括如下步骤：

S41：测试系统根据用户配置文件中指定的测试工具，启动测试工具并加载测试配置文件，所述测试工具为vdbench工具；

S42：使用步骤3生成的测试配置文件进行一次最大性能测试，测试出存储系统的IOPS最大值；

S43：系统根据用户配置文件中datapoint字段定义的值进行多次动态测试，记录每次测试的业务压力限制，所述业务压力限制为IOPS最大值与datapoint字段定义的值的乘积；

所述S43中datapoint字段定义的值根据S3的转换规则写入到测试配置文件中；

所述最大性能测试和动态测试的测试时间均为300秒。

本实施方案中，测试系统会根据用户配置文件中指定的测试工具，启动测试工具并加载测试配置文件进行测试，测试工具会使用转换生成的测试配置文件进行一次最大性能测试，测试出存储系统的IOPS最大值，记为P1；

在最大化IOPS测试完成后，系统根据用户配置文件中datapoint字段定义的值进行多次动态测试，每次测试的业务压力为P1与datapoint中定义的比例的乘积。

具体地，所述S5具体包括如下步骤：

S51：系统切换到测试结果目录，提取测试结果中的有效数据，包括每个IO测试模型下所有测试轮次的关键测试数据；

S52：将每个IO模型下最大性能测试轮次的数据提取出来，每个IO测试模型一行，以表的形式展示；

将每个IO测试模型下不同业务压力的IOPS和时延提取出来，以IOPS为横轴，时延为纵轴，通过折线图的形式展示出IOPS和时延的对应关系。

本实施方案中，测试完成后，系统会切换到测试结果目录，对测试结果进行分析处理，提取关键信息生成可视化图表，便于研发人员查看最大性能并快速定位到时延发生跳变的点，找到IOPS和时延的平衡点。

在此过程中，系统会提取测试结果中的有效数据，包括每个IO测试模型下所有测试轮次的关键测试数据，如IO大小，读写比例，读写模式，时延，IOPS等，系统将每个IO模型下最大性能测试轮次的数据提取出来，每个IO测试模型一行，以表的形式展示；

同时将每个IO测试模型下不同业务压力的IOPS和时延提取出来，以IOPS为横轴，时延为纵轴，通过折线图的形式展示出IOPS和时延的对应关系。

一种动态获取存储系统最优性能的系统，包括：

配置生成模块，用于读取测试压力机上的CPU信息，确定测试线程数并写入用户配置文件，同时对用户配置文件进行解析，根据模板配置文件中的配置项生成对应测试工具的测试配置文件；

调度执行模块，用于根据用户配置文件中指定的测试工具调用对应测试工具，使用生成的测试配置文件进行测试；

日志记录模块，用于通过日志记录运行过程中的关键步骤和信息，便于跟踪和追溯分析问题；

结果解析模块，用于对测试生成的结果进行处理，提取性能关键信息，以可视化图表的形式对测试数据进行展示。

本实施方案中，配置生成模块读取测试压力机上的CPU信息，确定测试线程数并写入用户配置文件，同时对用户配置文件进行解析，根据模板配置文件中的配置项生成对应测试工具的测试配置文件，之后调度执行模块根据用户配置文件中指定的测试工具调用对应测试工具，使用生成的测试配置文件进行测试；

在测试的过程中，日志记录模块通过日志记录运行过程中的关键步骤和信息，便于跟踪和追溯分析问题；

测试完成后，结果解析模块对测试生成的结果进行处理，提取性能关键信息，以可视化图表的形式对测试数据进行展示。

如图1所示，在进行测试之前，首先需要按照规则编写用户配置文件，用户配置文件主要用来限定测试场景以及测试工具和待测试设备等信息，主要包括IO块大小、读写模式，读写比例，待测试卷的设备路径，测试工具在压力机上的绝对路径，测试时长，数据采样点等信息，分别配置为xfers ize、seekpct、rdpct、lun、tool_path、runt ime，datapoint字段下，并且用户配置文件以ini形式保存，分为globalsect ion和rdsect ion，其中rdsection可以有多个；

通用配置项比如lun、tool_path、runt ime、datapoint放在global sect ion字段下，其余信息放在rd sect ion字段下，其中xfers ize有4K、8K、64K和1M四种；seekpct有0和100两种，分别代表顺序和随机两种模式；rdpct设置范围从0-100，表示业务IO中的读IO比例；lun用来指定存储系统挂载到压力机上的卷设备路径，如/dev/sdb；tool_path用来指定测试工具的系统路径，如/usr/local/bin/vdbench；runt ime表示测试运行的时间，以秒为单位，如runt ime＝300表示单个测试运行5分钟；

如图3所示，该配置文件配置了2个rdsection，即2个IO测试模型，分别是8K顺序读写，其中读比例为30％和8K随机读写，写比例则为100％。同时结合global字段的配置可知，使用vdbench工具对/dev/sdb设备进行测试，每个测试执行300秒。

用户配置文件完成之后，将其作为后续测试工具配置文件的输入，之后需要获取测试压力机的CPU信息，根据CPU线程数确定并获取合适的测试线程数并写入到用户配置文件中；

在此过程中，系统先通过l inux命令(如“cat/proc/cpuinfo|grep processor|wc-l”)获取测试客户机的CPU核心数，而为了保证有足够的业务压力，将获取的CPU核心数的二倍值以threads＝CPU核心数*2得方式写入用户配置文件的global section下，比如当前测试压力机的CPU核心数为48，则写入用户配置文件的信息为threads＝96。

完成上述步骤后，需要将最终生成的用户配置文件，根据转换规则将用户配置文件转换为指定测试工具的测试配置文件。

转换规则是指用户配置文件中的字段和常用存储性能测试工具配置文件字段的对应关系，转换规则以多个字典的形式存在，其中字典键为用户配置文件中的字段名，值为对应测试工具配置文件中的字段名。如图3所示的用户配置文件，根据里面tool_path可以看到指定的测试工具是vdbench，测试时间runtime是300s，根据转换规则的对应关系，runtime＝300会转换成elapsed＝300，同理其余字段也会根据对应关系转换成vdbench配置文件中的相应值，最终生成一个完成的vdbench测试配置文件，有了对照转换规则，系统可以将上述步骤生成的用户配置文件，生成用户配置文件中测试工具的配置文件，tool_path指定的为其它测试工具时，也会按照类似的流程进行解析转换。

之后，系统调用指定的测试工具，使用转换后的测试配置文件进行测试，测试系统会根据用户配置文件中指定的测试工具，启动测试工具并加载测试配置文件进行测试。

首先，测试工具会使用转换生成的测试配置文件进行一次最大性能测试，测试出存储系统的IOPS最大值，记为P1；

在最大化IOPS测试完成后，系统根据用户配置文件中datapoint字段定义的值进行多次动态测试，每次测试的业务压力为P1与datapoint中定义的比例的乘积。如图3所示的用户配置文件，其中datapoint的值为50％,60％,70％,80％,85％,90％,91％,92％,93％,94％,95％,96％,97％,98％,99％，表示在完第一次最大IOPS测试后，会再进行15次测试，每次测试时间为用户配置文件中定义的300秒，业务压力限制为P1与对应比例的乘积；

其中，业务压力限制参数是转换规则写入到测试配置文件中的。如图3所示的用户配置文件中指定的测试工具是vdbench，其测试配置文件中限制业务压力的对应参数为iorate，当一次最大IOPS测试完成后，系统会根据datapoint中的比例值计算出每一次的iorate参数，写入测试配置文件，进行新的测试。假设第一次测试出的IOPS最大值为10000，则后续每次测试时，对应的业务压力分别为5000,6000,7000,8000,8500,9000,9100等，系统会持续进行这个过程，直到用户配置文件中定义的所有IO测试模型及其对应的datapoint全部测试完成为止，从而完成多次动态测试。

测试完成后，系统会切换到测试结果目录，对测试结果进行分析处理，提取关键信息生成可视化图表，便于研发人员查看最大性能并快速定位到时延发生跳变的点，找到IOPS和时延的平衡点。

在此过程中，系统会提取测试结果中的有效数据，包括每个IO测试模型下所有测试轮次的关键测试数据，如IO大小，读写比例，读写模式，时延，IOPS等。如图4所示，系统将每个IO模型下最大性能测试轮次的数据提取出来，每个IO测试模型一行，以表的形式展示；

同时将每个IO测试模型下不同业务压力的IOPS和时延提取出来，以IOPS为横轴，时延为纵轴，通过折线图的形式展示出IOPS和时延的对应关系，如图5所示，当IOPS超过120000以后，时延会发生陡升，我们基本可以判断存储系统的最优性能为120000IOPS。

基于上述方法，能够自动动态获取存储系统的最优性能，极大地提升了测试效率和准确性，该过程不需要研发人员手动不断比对测试结果并调整测试压力和参数重复测试，耗时短且效率高，同时测试结果不需要手工提取分析，通过可视化图表展示更加直观。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (10)

1.一种动态获取存储系统最优性能的方法，其特征在于：包括如下步骤：

S1：根据规则编写用户配置文件，作为后续生成测试工具配置文件的输入；

S2：获取测试压力机的CPU信息，根据CPU线程数确定并获取合适的测试线程数并写入S1的用户配置文件中；

S3：根据S2中生成的用户配置文件，通过对照转换规则解析生成对应测试工具的测试配置文件；

S4：根据S3生成的测试配置文件调用对应的测试工具进行自动测试；

S5：对测试结果中的性能相关数据进行自动处理分析，生成可视化图表。

2.根据权利要求1所述的一种动态获取存储系统最优性能的方法，其特征在于：所述S1的配置文件中的信息包含待测试IO块大小、读写模式、读写比例、待测试存储卷设备路径、测试工具绝对路径、运行时间、数据采样点。

3.根据权利要求1所述的一种动态获取存储系统最优性能的方法，其特征在于：所述S1的配置文件以ini形式保存，分为globalsection和rdsection，所述rd section设置为多个。

4.根据权利要求1所述的一种动态获取存储系统最优性能的方法，其特征在于：所述S2中获取测试线程数的方法包括：

S21：根据Linux指令获取测试客户的CPU核心数；

S22：将S21获取的CPU核心数的2倍值作为线程数，写入用户配置文件。

5.根据权利要求1所述的一种动态获取存储系统最优性能的方法，其特征在于：所述S3具体包括如下步骤：

S31：系统读取S1和S2中生成的用户配置文件；

S32：按照对照转换规则将S31中的用户配置文件逐个进行解析，其中字典键为用户配置文件中的字段名，值为对应测试工具配置文件中的字段名，所述转换规则为用户配置文件中的字段和常用存储性能测试工具配置文件字段的对应关系，转换规则以字典的形式存在；

S33：生成用户配置文件中测试工具的配置文件。

6.根据权利要求1所述的一种动态获取存储系统最优性能的方法，其特征在于：所述S4调用对应的测试工具进行自动测试包括如下步骤：

S41：测试系统根据用户配置文件中指定的测试工具，启动测试工具并加载测试配置文件，所述测试工具为vdbench工具；

S42：使用步骤3生成的测试配置文件进行一次最大性能测试，测试出存储系统的IOPS最大值；

S43：系统根据用户配置文件中datapoint字段定义的值进行多次动态测试，记录每次测试的业务压力限制，所述业务压力限制为IOPS最大值与datapoint字段定义的值的乘积。

7.根据权利要求6所述的一种动态获取存储系统最优性能的方法，其特征在于：所述S43中datapoint字段定义的值根据S3的转换规则写入到测试配置文件中。

8.根据权利要求6所述的一种动态获取存储系统最优性能的方法，其特征在于：所述最大性能测试和动态测试的测试时间均为300秒。

9.根据权利要求1所述的一种动态获取存储系统最优性能的方法，其特征在于：所述S5具体包括如下步骤：

S51：系统切换到测试结果目录，提取测试结果中的有效数据，包括每个IO测试模型下所有测试轮次的关键测试数据；

S52：将每个IO模型下最大性能测试轮次的数据提取出来，每个IO测试模型一行，以表的形式展示；

将每个IO测试模型下不同业务压力的IOPS和时延提取出来，以IOPS为横轴，时延为纵轴，通过折线图的形式展示出IOPS和时延的对应关系。

10.一种动态获取存储系统最优性能的系统，其特征在于：包括：

配置生成模块，用于读取测试压力机上的CPU信息，确定测试线程数并写入用户配置文件，同时对用户配置文件进行解析，根据模板配置文件中的配置项生成对应测试工具的测试配置文件；

调度执行模块，用于根据用户配置文件中指定的测试工具调用对应测试工具，使用生成的测试配置文件进行测试；

日志记录模块，用于通过日志记录运行过程中的关键步骤和信息，便于跟踪和追溯分析问题；

结果解析模块，用于对测试生成的结果进行处理，提取性能关键信息，以可视化图表的形式对测试数据进行展示。

Images