CN107729362B - 一种基于mpi并发的存储性能测试方法 - Google Patents

一种基于mpi并发的存储性能测试方法 Download PDF

Info

Publication number
CN107729362B
CN107729362B CN201710792213.6A CN201710792213A CN107729362B CN 107729362 B CN107729362 B CN 107729362B CN 201710792213 A CN201710792213 A CN 201710792213A CN 107729362 B CN107729362 B CN 107729362B
Authority
CN
China
Prior art keywords
client
mpi
read
setting
write
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710792213.6A
Other languages
English (en)
Other versions
CN107729362A (zh
Inventor
吴丙涛
徐艳秋
王志华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201710792213.6A priority Critical patent/CN107729362B/zh
Publication of CN107729362A publication Critical patent/CN107729362A/zh
Application granted granted Critical
Publication of CN107729362B publication Critical patent/CN107729362B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3419—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment by assessing time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供一种基于MPI并发的存储性能测试方法，步骤如下：1.初始化MPI环境；2.设置客户端矩阵表信息；3.设置测试场景；4.对测试场景进行参数设置；5.读取客户端矩阵表信息；6.判断客户端矩阵表信息是否读完；读完进入11；未读完进入7；7.获取客户端信息；8.提高客户端的线程数，对后端存储增加压力；9.判断客户端性能是否稳定；稳定进入10；不稳定返回8；10.汇总所有客户端性能数据；11.判断总性能是否稳定；稳定进入12；不稳定返回6；12.汇总数据输出结果。本发明通过MPI不断增加客户端数量、线程数达到对后端存储裸设备或文件系统的性能数据汇总，实现对存储性能数据的快速、便捷有效测试。

Description

一种基于MPI并发的存储性能测试方法
技术领域
本发明属于存储产品性能测试领域，具体涉及一种基于MPI并发的存储性能测试方法。
背景技术
数据的爆炸性增长使得企业内部对存储的性能要求越来越重要，海量的数据需要高性能的存储作为保障，才能应对复杂多变的应用场景，性能一直是存储领域的一个重要问题，如何将五花八门的性能指标如带宽、IOPS、读、写有效利用起来，发现性能瓶颈，得出有效的性能数据，是存储领域研究的一个重要方向。
因此，针对上述问题，提供一种基于MPI并发的存储性能测试方法，是非常有必要的。
发明内容
本发明的目的在于，针对上述如何将存储产品的性能指标有效利用的问题，提供一种基于MPI并发的存储性能测试方法，以解决上述方法。
为实现上述目的，本发明给出以下技术方案：
一种基于MPI并发的存储性能测试方法，包括如下步骤：
步骤1.初始化MPI环境；
步骤2.设置客户端矩阵表信息；
步骤3.设置测试场景；
步骤4.对测试场景进行参数设置；
步骤5.读取客户端矩阵表信息；
步骤6.判断客户端矩阵表信息是否读完；
若读完，进入步骤11；若未读完，进入步骤7；
步骤7.获取客户端信息；
步骤8.提高客户端的线程数，对后端存储增加压力；
步骤9.判断客户端性能是否稳定；若稳定，进入步骤10；若不稳定，返回步骤8；客户端性能稳定的表现为增加客户端线程数后，性能不会有明显提升；
步骤10.汇总所有客户端性能数据；
步骤11.判断总性能是否稳定；若稳定，进入步骤12；若不稳定，返回步骤6；
步骤12.汇总数据输出结果。
进一步地，步骤2中客户端矩阵表信息包括每个客户端IP和每个客户端并行核数。
进一步地，步骤3中测试场景包括裸设备块、文件系统或裸设备块与文件系统的混合。
进一步地，步骤4中对测试场景进行参数设置，包括设置裸设备块参数、设置文件系统参数或设置混合参数，混合参数指的是裸设备块与文件系统混合的参数。
进一步地，设置块设备参数包括设置块大小、读写方式及读写比例；读写比例指的是多少IO口是用来读的，多少IO口是用来写的。
进一步地，读写方式包括随机读、随机写、顺序读、顺序写、随机读写及顺序读写；随机读和顺序读的读写比例为100%读，没有写；随机写和顺序写的读写比例为100%写，没有读；随机读写和顺序读写需要同时读写，按照实际需求设计。
进一步地，设置文件系统参数包括设置文件系统的接口，通过文件系统的接口进行文件操作，文件操作包括打开文件、关闭文件、创建文件、删除文件和修改文件。
进一步地，设置文件系统接口采用POSIX接口。
进一步地，步骤4种采用静态或动态的方式对测试场景的参数进行设置；静态的方式对测试场景的参数进行设置是在测试启动时设置参数，动态的方式对测试场景的参数进行设置是在测试过程中设置参数。
进一步地，步骤10中的客户端性能参数在裸设备块测试场景下指的是带宽值、IOPS值、平均响应时间以及最大响应时间；
客户端性能参数在文件系统测试场景下指的是平均响应时间和最大响应时间。
本发明的有益效果在于：
本发明通过MPI不断的增加客户端数量、线程数达到针对后端存储裸设备或文件系统的性能数据汇总，实现对存储性能数据的快速、便捷的有效测试。
此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。
由此可见，本发明与现有技术相比，具有突出的实质性特点和显著的进步，其实施的有益效果也是显而易见的。
附图说明
图1为本发明的方法流程图；
图2为实施例1和实施例2的客户端矩阵表信息。
具体实施方式：
为使得本发明的目的、特征、优点能够更加的明显和易懂，下面将结合本发明具体实施例中的附图，对本发明中的技术方案进行清楚、完整地描述。
如图1所示，本发明提供一种基于MPI并发的存储性能测试方法，包括如下步骤：
步骤1.初始化MPI环境；
步骤2.设置客户端矩阵表信息；客户端矩阵表信息包括每个客户端IP和每个客户端并行核数；
步骤3.设置测试场景；测试场景包括裸设备块、文件系统或裸设备块与文件系统的混合；
步骤4. 采用静态或动态的方式对测试场景进行参数设置；
包括设置裸设备块参数、设置文件系统参数或设置混合参数，混合参数指的是裸设备块与文件系统混合的参数；
设置裸设备块参数包括设置块大小、读写方式及读写比例；读写方式包括随机读、随机写、顺序读、顺序写、随机读写及顺序读写；读写比例指的是多少IO口是用来读的，多少IO口是用来写的；随机读和顺序读的读写比例为100%读，没有写；随机写和顺序写的读写比例为100%写，没有读；随机读写和顺序读写需要同时读写，按照实际需求设计；
设置文件系统参数包括设置文件系统的接口采用POSIX接口，通过文件系统的接口POSIX进行文件操作，文件操作包括打开文件、关闭文件、创建文件、删除文件和修改文件；
步骤5.读取客户端矩阵表信息；
步骤6.判断客户端矩阵表信息是否读完；
若读完，进入步骤11；若未读完，进入步骤7；
步骤7.获取客户端信息；
步骤8.提高客户端的线程数，对后端存储增加压力；
步骤9.判断客户端性能是否稳定；若稳定，进入步骤10；若不稳定，返回步骤8；客户端性能稳定的表现为增加客户端线程数后，性能不会有明显提升；
步骤10.汇总所有客户端性能数据；客户端性能数据在裸设备块测试场景下指的是带宽值、IOPS值、平均响应时间以及最大响应时间；客户端性能参数在文件系统测试场景下指的是平均响应时间和最大响应时间。
步骤11.判断总性能是否稳定；若稳定，进入步骤12；若不稳定，返回步骤6；
步骤12.汇总数据输出结果。
实施例1，本发明提供一种基于MPI并发的存储性能测试方法，包括如下步骤：
步骤1.初始化MPI环境；
步骤2.设置客户端矩阵表信息；客户端矩阵表信息包括每个客户端IP和每个客户端并行核数；
如图2所示，客户端A运行核数分别为1核、2核、3核和4核；客户端B运行核数分别为1核、2核、3核和4核；客户端C运行核数分别为1核、2核、3核和4核；客户端D运行核数分别为1核、2核、3核和4核；
步骤3.设置测试场景；设置测试场景为对裸设备块进行测试；
步骤4.对测试场景进行参数设置；对块设备的测试场景进行参数设置，设置块大小为8K字节；
设置读写方式为顺序读写，设置读写比例为读30%，写70%，即30%的IO口用来读，70%的IO口用来写；
步骤5.读取客户端矩阵表信息；
步骤6.判断客户端矩阵表信息是否读完；从客户端矩阵信息表的第一行第一列开始；
未读完，进入下一步，获取第一个数据客户端A并行1核开始,依照设定的测试场景参数，对裸设备块以进行读写方式为顺序读写、读写比例为30%读，70%写的读写测试；获取带宽值、IOPS值、平均/最大响应时间等性能数据；
若客户端A性能不稳定，提高客户端A线程数，即依次获取第一个客户端A并行2核、第一个客户端A并行3核以及第一个客户端A并行4核时，在顺序读写方式下，30%读，70%写的读写比例下的带宽值、IOPS值、平均/最大响应时间等性能数据；
客户端仍未读完，进入下一步，继续获取第二个客户端B并行1核开始,依照设定的测试场景参数，对裸设备块进行读写方式为顺序读写、读写比例为30%读，70%写的读写测试；获取性能数据 ；
若客户端B性能不稳定，提高客户端B线程数，即依次获取第二个客户端B并行2核、第二个客户端B并行3核以及第二个客户端B并行4核时，在顺序读写方式下，30%读，70%写的读写比例下的性能数据；
客户端仍未读完，进入下一步，继续获取第三个客户端C并行1核开始,依照设定的测试场景参数，对裸设备块进行读写方式为顺序读写、读写比例为30%读，70%写的读写测试；获取性能数据 ；
若客户端C性能不稳定，提高客户端C线程数，即依次获取第三个客户端C并行2核、第三个客户端C并行3核以及第三个客户端C并行4核时，在顺序读写方式下，30%读，70%写的读写比例下的性能数据；
客户端仍未读完，进入下一步，继续获取第四个客户端D并行1核开始,依照设定的测试场景参数，对裸设备块进行读写方式为顺序读写、读写比例为30%读，70%写的读写测试；获取性能数据 ；
若客户端B性能不稳定，提高客户端B线程数，即依次获取第四个客户端D并行2核、第四个客户端D并行3核以及第四个客户端D并行4核时，在顺序读写方式下，30%读，70%写的读写比例下的性能数据；
所有客户端已读完，汇总客户端A、客户端B、客户端C以及客户端D的性能数据；
总性能数据稳定，则汇总数据输出结果，测试结束。
实施例2，本发明提供一种基于MPI并发的存储性能测试方法，包括如下步骤：
步骤1.初始化MPI环境；
步骤2.设置客户端矩阵表信息；客户端矩阵表信息包括每个客户端IP和每个客户端并行核数；
如图2所示，客户端A运行核数分别为1核、2核、3核和4核；客户端B运行核数分别为1核、2核、3核和4核；客户端C运行核数分别为1核、2核、3核和4核；客户端D运行核数分别为1核、2核、3核和4核；
步骤3.设置测试场景；设置测试场景为对文件系统进行测试；
步骤4.对测试场景进行参数设置；对文件系统的测试场景进行参数设置，通过文件系统的POSIX接口进行打开文件和关闭文件的操作；
步骤5.读取客户端矩阵表信息；
步骤6.判断客户端矩阵表信息是否读完；从客户端矩阵信息表的第一行第一列开始；
未读完，进入下一步，获取第一个数据客户端A并行1核开始,依照设定的测试场景参数，对文件系统进行打开文件和关闭文件的操作；获取平均响应时间和最大响应时间等性能数据；
若客户端A性能不稳定，提高客户端A线程数，即依次获取第一个客户端A并行2核、第一个客户端A并行3核以及第一个客户端A并行4核时，对文件系统进行打开文件和关闭文件的操作时的平均响应时间和最大响应时间等性能数据；
客户端仍未读完，进入下一步，继续获取第二个客户端B并行1核开始,依照设定的测试场景参数，对文件系统进行打开文件和关闭文件的操作时的性能数据；
若客户端B性能不稳定，提高客户端B线程数，即依次获取第二个客户端B并行2核、第二个客户端B并行3核以及第二个客户端B并行4核时，对文件系统进行打开文件和关闭文件的操作时的性能数据；
客户端仍未读完，进入下一步，继续获取第三个客户端C并行1核开始,依照设定的测试场景参数，对文件系统进行打开文件和关闭文件的操作时的性能数据；
若客户端C性能不稳定，提高客户端C线程数，即依次获取第三个客户端C并行2核、第三个客户端C并行3核以及第三个客户端C并行4核时，对文件系统进行打开文件和关闭文件的操作时的性能数据；
客户端仍未读完，进入下一步，继续获取第四个客户端D并行1核开始,依照设定的测试场景参数，对对文件系统进行打开文件和关闭文件的操作时的性能数据；
若客户端B性能不稳定，提高客户端B线程数，即依次获取第四个客户端D并行2核、第四个客户端D并行3核以及第四个客户端D并行4核时，在对文件系统进行打开文件和关闭文件的操作时的性能数据；
所有客户端已读完，汇总客户端A、客户端B、客户端C以及客户端D的性能数据；
总性能数据稳定，则汇总数据输出结果，测试结束。
本发明的实施例是说明性的，而非限定性的，上述实施例只是帮助理解本发明，因此本发明不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他的具体实施方式，同样属于本发明保护的范围。

Claims (10)

1.一种基于MPI并发的存储性能测试方法，其特征在于，包括如下步骤：
步骤1.初始化MPI环境；
步骤2.设置客户端矩阵表信息；
步骤3.设置测试场景；
步骤4.对测试场景进行参数设置；
步骤5.读取客户端矩阵表信息；
步骤6.判断客户端矩阵表信息是否读完；
若读完，进入步骤11；若未读完，进入步骤7；
步骤7.获取客户端信息；
步骤8.提高客户端的线程数，对后端存储增加压力；
步骤9.判断客户端性能是否稳定；若稳定，进入步骤10；若不稳定，返回步骤8；
步骤10.汇总所有客户端性能数据；
步骤11.判断总性能是否稳定；若稳定，进入步骤12；若不稳定，返回步骤6；
步骤12.汇总数据输出结果。
2.如权利要求1所述的一种基于MPI并发的存储性能测试方法，其特征在于，步骤2中客户端矩阵表信息包括每个客户端IP和每个客户端并行核数。
3.如权利要求1所述的一种基于MPI并发的存储性能测试方法，其特征在于，步骤3中测试场景包括裸设备块、文件系统或裸设备块与文件系统的混合。
4.如权利要求3所述的一种基于MPI并发的存储性能测试方法，其特征在于，
步骤4中对测试场景进行参数设置，包括设置裸设备块参数、设置文件系统参数或设置混合参数，混合参数指的是裸设备块与文件系统混合的参数。
5.如权利要求4所述的一种基于MPI并发的存储性能测试方法，其特征在于，设置裸设备块参数包括设置块大小、读写方式及读写比例。
6.如权利要求5所述的一种基于MPI并发的存储性能测试方法，其特征在于，读写方式包括随机读、随机写、顺序读、顺序写、随机读写及顺序读写。
7.如权利要求4所述的一种基于MPI并发的存储性能测试方法，其特征在于，设置文件系统参数包括设置文件系统的接口，通过文件系统的接口进行文件操作，文件操作包括打开文件、关闭文件、创建文件、删除文件和修改文件。
8.如权利要求7所述的一种基于MPI并发的存储性能测试方法，其特征在于，设置文件系统接口采用POSIX接口。
9.如权利要求1所述的一种基于MPI并发的存储性能测试方法，其特征在于，步骤4种采用静态或动态的方式对测试场景的参数进行设置。
10.如权利要求3所述的一种基于MPI并发的存储性能测试方法，其特征在于，步骤10中的客户端性能参数在裸设备块测试场景下指的是带宽值、IOPS值、平均响应时间以及最大响应时间；
客户端性能参数在文件系统测试场景下指的是平均响应时间和最大响应时间。
CN201710792213.6A 2017-09-05 2017-09-05 一种基于mpi并发的存储性能测试方法 Active CN107729362B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710792213.6A CN107729362B (zh) 2017-09-05 2017-09-05 一种基于mpi并发的存储性能测试方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710792213.6A CN107729362B (zh) 2017-09-05 2017-09-05 一种基于mpi并发的存储性能测试方法

Publications (2)

Publication Number Publication Date
CN107729362A CN107729362A (zh) 2018-02-23
CN107729362B true CN107729362B (zh) 2021-08-20

Family

ID=61205082

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710792213.6A Active CN107729362B (zh) 2017-09-05 2017-09-05 一种基于mpi并发的存储性能测试方法

Country Status (1)

Country Link
CN (1) CN107729362B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109101382A (zh) * 2018-08-06 2018-12-28 郑州云海信息技术有限公司 一种truncate自动测试方法、装置、终端及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106844184A (zh) * 2017-02-20 2017-06-13 郑州云海信息技术有限公司 一种分布式系统元数据性能测试方法、脚本及工具
CN107092541A (zh) * 2017-04-27 2017-08-25 郑州云海信息技术有限公司 一种运用虚拟机进行存储性能测试的方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8630811B2 (en) * 2007-09-17 2014-01-14 Shape Medical Systems, Inc. Method for combining individual risk variables derived from cardiopulmonary exercise testing into a single variable
US9208131B2 (en) * 2013-05-06 2015-12-08 Sas Institute, Inc. Techniques to simulate statistical tests
US9465712B2 (en) * 2013-06-26 2016-10-11 Silicon Graphics International Corp. Assessment of a high performance computing application in relation to network latency due to the chosen interconnects
CN103984612B (zh) * 2014-05-28 2017-11-10 浪潮电子信息产业股份有限公司 一种基于hpl工具的无人值守压力测试的方法
CN104182343B (zh) * 2014-08-22 2017-02-08 工业和信息化部电子第五研究所 操作系统的性能测试方法及装置
CN104850480B (zh) * 2015-05-18 2017-08-18 曙光信息产业(北京)有限公司 高密度存储服务器硬盘性能测试的方法及装置
CN106933715A (zh) * 2017-03-14 2017-07-07 郑州云海信息技术有限公司 一种基于不同测试场景的服务器性能测试方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106844184A (zh) * 2017-02-20 2017-06-13 郑州云海信息技术有限公司 一种分布式系统元数据性能测试方法、脚本及工具
CN107092541A (zh) * 2017-04-27 2017-08-25 郑州云海信息技术有限公司 一种运用虚拟机进行存储性能测试的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于MPI的GPU集群并行通信系统实现";侯景德 等;《计算机应用与软件》;20160430;第33卷(第4期);第116-121页 *

Also Published As

Publication number Publication date
CN107729362A (zh) 2018-02-23

Similar Documents

Publication Publication Date Title
CN105117417B (zh) 一种读优化的内存数据库Trie树索引方法
US10210196B2 (en) Data storage device having internal hardware filter, data storage method and data storage system
CN105095247B (zh) 符号数据分析方法和系统
Abramova et al. Testing cloud benchmark scalability with cassandra
CN105630834B (zh) 一种实现重复数据删除的方法及装置
CN100568397C (zh) 一种内存性能的生产测试方法
CN103150149A (zh) 处理数据库重做数据的方法和装置
CN104063384A (zh) 一种数据检索方法及装置
CN107729362B (zh) 一种基于mpi并发的存储性能测试方法
CN111177119A (zh) 基于数据库的全量数据比对方法、装置、设备及存储介质
CN101883019B (zh) 一种验证存储服务器是否满足视频应用的测试方法
CN104778252A (zh) 索引的存储方法和装置
CN116028327B (zh) 文件系统读写性能测试方法、装置、可读存储介质及设备
CN104268225A (zh) 一种多维自由度寻址的文件系统架构及其生成和访问方式
CN109343117B (zh) 双缓存双线程地震数据显示方法
US8988258B2 (en) Hardware compression using common portions of data
CN113704215A (zh) 业务过程事件日志采样方法、系统、存储介质及计算设备
CN110489349B (zh) 一种基于json配置文件的接口测试方法
CN109684144B (zh) 一种gpu-box系统测试的方法及装置
CN108256003A (zh) 一种根据分析数据重复率提高union运算效率的方法
CN112231236A (zh) 一种数据库性能的测试方法
CN105224697A (zh) 带过滤条件的排序方法和用于执行所述方法的装置
CN104978250A (zh) 一种基于iozone的HBA卡性能测试的方法
TW201013536A (en) Method for creating image and method for sorting file systems
Ma et al. UCDC: unlimited content-defined chunking, a file-differing method apply to file-synchronization among multiple hosts

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant