CN109213666A - 一种分布式文件存储系统的性能测试方法 - Google Patents
一种分布式文件存储系统的性能测试方法 Download PDFInfo
- Publication number
- CN109213666A CN109213666A CN201811074528.8A CN201811074528A CN109213666A CN 109213666 A CN109213666 A CN 109213666A CN 201811074528 A CN201811074528 A CN 201811074528A CN 109213666 A CN109213666 A CN 109213666A
- Authority
- CN
- China
- Prior art keywords
- performance test
- disk
- memory node
- storage system
- distributed file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种分布式文件存储系统的性能测试方法，其特征在于，包括以下步骤：S1：性能测试之前的准备步骤，具体包括以下步骤：S2：多客户端大文件性能测试的步骤，S3：多客户端小文件性能测试的步骤。
Description
技术领域
本发明属于存储系统的测试技术领域，具体涉及一种分布式文件存储系统的性能测试方法。
背景技术
随着分布式文件存储系统的快速发展，存储容量已达到PB级别，存储数据越来越多，适用范围越来越广泛，人们对于分布式文件存储系统的性能要求越来越高，如何测试出存储产品的真实性能值得深思；现有技术中的测试方法，测得的真实性能准确率偏低。此为现有技术的不足之处。
因此，针对现有技术中的上述缺陷，提供设计一种分布式文件存储系统的性能测试方法；以解决现有技术中的上述缺陷，是非常有必要的。
发明内容
本发明的目的在于，针对上述现有技术存在的缺陷，提供设计一种分布式文件存储系统的性能测试方法，以解决上述技术问题。
为实现上述目的，本发明给出以下技术方案：
一种分布式文件存储系统的性能测试方法，其特征在于，包括以下步骤：
S1：性能测试之前的准备步骤，具体包括以下步骤：
S1.1：排出硬件故障；
S1.2：部署至少三存储节点分布式文件存储系统，包括部署主mon，元数据集群，osd服务；
S1.3：部署多客户端无密码访问，并在多个客户端相同目录下解压vdbench工具；
S2：多客户端大文件性能测试的步骤，具体包括以下步骤：
S2.1：预先填满缓存数据，运行性能测试工具vdbench写入10000个200MB文件；系统定义设置如下：
fsd=fsd1,anchor=/mnt/1,depth=1,width=100,files=100,size=200MB ；
S2.2：在压力机上同时运行性能测试工具，
按照6:4读写比例起线程；负载参数设置如下：
fwd=fwd1,host=one,fsd=fsd1,operation=read,xfersize=1MB,fileio=random,f
ileselect=sequential,rdpct=60,threads=24；
S2.3：运行10分钟，设置运行参数如下：
rd=rd1,fwd=fwd1,fwdrate=max,format=no,elapsed=600,interval =10；
S2.4：在监控服务器上观察数据存储节点上聚合网络吞吐量和文件平均访问响应时间、存储端的磁盘利用率，记录最终的测试结果；
S3：多客户端小文件性能测试的步骤，具体包括以下步骤：
S3.1：预先填充数据，运行性能测试负载工具vdbench写入20000000个64k文件；系统定义设置如下：
fsd=fsd1,anchor=/mnt/1,depth=2,width=100,files=2000,size= 64k；
S3.2：在压力机上同时运行性能测试工具，文件操作设置为6:4读写；负载参数设置如下：
fwd=fwd1,host=one,fsd=fsd1,operation=read,xfersize=32k,fi
leio=random,fileselect=sequential,rdpct=60,threads=24；
S3.3：运行10分钟，设置运行参数如下：
rd=rd1,fwd=fwd1,fwdrate=max,format=no,elapsed=600,interva l=10；
S3.4：在监控服务器上观察数据存储节点上聚合网络吞吐量和文件平均访问响应时间、存储端的磁盘利用率，记录最终的测试结果。
作为优选，所述步骤S1.1具体包括：
在集群部署之前进行磁盘检查工作，通过dd命令，对磁盘sdb进行数据测试，若磁盘无法写入则说明该磁盘已损坏，立刻给存储节点更换磁盘。
作为优选，所述步骤S2.2中，压力机数量为数据存储节点数的1.5倍。
作为优选，所述步骤S3.2中，压力机数量为数据存储节点数的1.5倍。
本发明的有益效果在于，适用于多种分布式文件存储场景，符合客户场景，能更真实的测试出分布式文件存储系统的性能。
此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。
由此可见，本发明与现有技术相比，具有突出的实质性特点和显著地进步，其实施的有益效果也是显而易见的。
附图说明
图1是本发明提供的一种分布式文件存储系统的性能测试方法的流程图。
具体实施方式
下面结合附图并通过具体实施例对本发明进行详细阐述，以下实施例是对本发明的解释，而本发明并不局限于以下实施方式。
如图1所示，本发明提供的一种分布式文件存储系统的性能测试方法，其特征在于，包括以下步骤：
S1：性能测试之前的准备步骤，具体包括以下步骤：
S1.1：排出硬件故障；
S1.2：部署至少三存储节点分布式文件存储系统，包括部署主mon，元数据集群，osd服务；
S1.3：部署多客户端无密码访问，并在多个客户端相同目录下解压vdbench工具；
S2：多客户端大文件性能测试的步骤，具体包括以下步骤：
S2.1：预先填满缓存数据，运行性能测试工具vdbench写入10000个200MB文件；系统定义设置如下：
fsd=fsd1,anchor=/mnt/1,depth=1,width=100,files=100,size=200MB ；
S2.2：在压力机上同时运行性能测试工具，
按照6:4读写比例起线程；负载参数设置如下：
fwd=fwd1,host=one,fsd=fsd1,operation=read,xfersize=1MB,fileio=random,f
ileselect=sequential,rdpct=60,threads=24；
S2.3：运行10分钟，设置运行参数如下：
rd=rd1,fwd=fwd1,fwdrate=max,format=no,elapsed=600,interval =10；
S2.4：在监控服务器上观察数据存储节点上聚合网络吞吐量和文件平均访问响应时间、存储端的磁盘利用率，记录最终的测试结果；
S3：多客户端小文件性能测试的步骤，具体包括以下步骤：
S3.1：预先填充数据，运行性能测试负载工具vdbench写入20000000个64k文件；系统定义设置如下：
fsd=fsd1,anchor=/mnt/1,depth=2,width=100,files=2000,size= 64k；
S3.2：在压力机上同时运行性能测试工具，文件操作设置为6:4读写；负载参数设置如下：
fwd=fwd1,host=one,fsd=fsd1,operation=read,xfersize=32k,fi
leio=random,fileselect=sequential,rdpct=60,threads=24；
S3.3：运行10分钟，设置运行参数如下：
rd=rd1,fwd=fwd1,fwdrate=max,format=no,elapsed=600,interva l=10；
S3.4：在监控服务器上观察数据存储节点上聚合网络吞吐量和文件平均访问响应时间、存储端的磁盘利用率，记录最终的测试结果。
本实施例中，所述步骤S1.1具体包括：
在集群部署之前进行磁盘检查工作，通过dd命令，对磁盘sdb进行数据测试，若磁盘无法写入则说明该磁盘已损坏，立刻给存储节点更换磁盘。
本实施例中，所述步骤S2.2中，压力机数量为数据存储节点数的1.5倍。
本实施例中，所述步骤S3.2中，压力机数量为数据存储节点数的1.5倍。
以上公开的仅为本发明的优选实施方式，但本发明并非局限于此，任何本领域的技术人员能思之的没有创造性的变化，以及在不脱离本发明原理前提下所作的若干改进和润饰，都应落在本发明的保护范围内。
Claims (4)
1.一种分布式文件存储系统的性能测试方法，其特征在于，包括以下步骤：
S1：性能测试之前的准备步骤，具体包括以下步骤：
S1.1：排出硬件故障；
S1.2：部署至少三存储节点分布式文件存储系统，包括部署主mon，元数据集群，osd服务；
S1.3：部署多客户端无密码访问，并在多个客户端相同目录下解压vdbench工具；
S2：多客户端大文件性能测试的步骤，具体包括以下步骤：
S2.1：预先填满缓存数据，运行性能测试工具vdbench写入10000个200MB文件；
S2.2：在压力机上同时运行性能测试工具，
S2.3：运行10分钟，设置运行参数如下：
rd=rd1,fwd=fwd1,fwdrate=max,format=no,elapsed=600,interval =10；
S2.4：在监控服务器上观察数据存储节点上聚合网络吞吐量和文件平均访问响应时间、存储端的磁盘利用率，记录最终的测试结果；
S3：多客户端小文件性能测试的步骤，具体包括以下步骤：
S3.1：预先填充数据，运行性能测试负载工具vdbench写入20000000个64k文件；
S3.2：在压力机上同时运行性能测试工具，文件操作设置为6:4读写；
S3.3：运行10分钟，设置运行参数如下：
rd=rd1,fwd=fwd1,fwdrate=max,format=no,elapsed=600,interva l=10；
S3.4：在监控服务器上观察数据存储节点上聚合网络吞吐量和文件平均访问响应时间、存储端的磁盘利用率，记录最终的测试结果。
2.根据权利要求1所述的一种分布式文件存储系统的性能测试方法，其特征在于，所述步骤S1.1具体包括：
在集群部署之前进行磁盘检查工作，通过dd命令，对磁盘sdb进行数据测试，若磁盘无法写入则说明该磁盘已损坏，立刻给存储节点更换磁盘。
3.根据权利要求2所述的一种分布式文件存储系统的性能测试方法，其特征在于，所述步骤S2.2中，压力机数量为数据存储节点数的1.5倍。
4.根据权利要求3所述的一种分布式文件存储系统的性能测试方法，其特征在于，所述步骤S3.2中，压力机数量为数据存储节点数的1.5倍。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811074528.8A CN109213666A (zh) | 2018-09-14 | 2018-09-14 | 一种分布式文件存储系统的性能测试方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811074528.8A CN109213666A (zh) | 2018-09-14 | 2018-09-14 | 一种分布式文件存储系统的性能测试方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109213666A true CN109213666A (zh) | 2019-01-15 |
Family
ID=64984434
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811074528.8A Pending CN109213666A (zh) | 2018-09-14 | 2018-09-14 | 一种分布式文件存储系统的性能测试方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109213666A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111221672A (zh) * | 2019-12-26 | 2020-06-02 | 曙光信息产业股份有限公司 | 用于分布式存储系统的数据一致性校验方法及装置 |
| CN112749069A (zh) * | 2020-12-25 | 2021-05-04 | 河南创新科信息技术有限公司 | 一种利用vdbench循环跑检测文件稳定性的方法及计算机可读存储介质 |
| CN117194133A (zh) * | 2023-11-08 | 2023-12-08 | 联通在线信息科技有限公司 | 视频监控场景下分布式存储的资源部署方法及电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101246446A (zh) * | 2008-03-12 | 2008-08-20 | 浪潮电子信息产业股份有限公司 | 一种测试pc服务器性能表现的方法 |
| CN104360919A (zh) * | 2014-10-24 | 2015-02-18 | 浪潮电子信息产业股份有限公司 | 一种自动进行ssd性能、功能及稳定性测试的方法 |
| CN105468296A (zh) * | 2015-11-18 | 2016-04-06 | 南京格睿信息技术有限公司 | 基于虚拟化平台的无共享存储管理方法 |
| WO2017003315A1 (en) * | 2015-06-30 | 2017-01-05 | Emc Corporation | Method, apparatus and computer program product for evaluating data storage systems for energy efficiency |
| CN107797767A (zh) * | 2017-09-30 | 2018-03-13 | 南京卓盛云信息科技有限公司 | 一种基于容器技术部署分布式存储系统及其存储方法 |
-
2018
- 2018-09-14 CN CN201811074528.8A patent/CN109213666A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101246446A (zh) * | 2008-03-12 | 2008-08-20 | 浪潮电子信息产业股份有限公司 | 一种测试pc服务器性能表现的方法 |
| CN104360919A (zh) * | 2014-10-24 | 2015-02-18 | 浪潮电子信息产业股份有限公司 | 一种自动进行ssd性能、功能及稳定性测试的方法 |
| WO2017003315A1 (en) * | 2015-06-30 | 2017-01-05 | Emc Corporation | Method, apparatus and computer program product for evaluating data storage systems for energy efficiency |
| CN105468296A (zh) * | 2015-11-18 | 2016-04-06 | 南京格睿信息技术有限公司 | 基于虚拟化平台的无共享存储管理方法 |
| CN107797767A (zh) * | 2017-09-30 | 2018-03-13 | 南京卓盛云信息科技有限公司 | 一种基于容器技术部署分布式存储系统及其存储方法 |
Non-Patent Citations (2)
| Title |
|---|
| 百度文库: "VdBench测试指导手册", 《HTTPS://WENKU.BAIDU.COM/VIEW/0EA9187B910EF12D2AF9E7B4.HTML》 * |
| 豆丁网: "VdBench测试指导手册", 《HTTPS://WWW.DOCIN.COM/P-1939028793.HTML》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111221672A (zh) * | 2019-12-26 | 2020-06-02 | 曙光信息产业股份有限公司 | 用于分布式存储系统的数据一致性校验方法及装置 |
| CN112749069A (zh) * | 2020-12-25 | 2021-05-04 | 河南创新科信息技术有限公司 | 一种利用vdbench循环跑检测文件稳定性的方法及计算机可读存储介质 |
| CN112749069B (zh) * | 2020-12-25 | 2023-03-21 | 河南创新科信息技术有限公司 | 一种利用vdbench循环跑检测文件稳定性的方法及计算机可读存储介质 |
| CN117194133A (zh) * | 2023-11-08 | 2023-12-08 | 联通在线信息科技有限公司 | 视频监控场景下分布式存储的资源部署方法及电子设备 |
| CN117194133B (zh) * | 2023-11-08 | 2024-02-27 | 联通在线信息科技有限公司 | 视频监控场景下分布式存储的资源部署方法及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107957957B (zh) | 测试用例的获取方法和装置 | |
| CN109213666A (zh) | 一种分布式文件存储系统的性能测试方法 | |
| CN106021031B (zh) | 一种btrfs文件系统的删除数据恢复方法和装置 | |
| CN109213817B (zh) | 增量数据抽取方法、装置及服务器 | |
| WO2017049757A1 (zh) | 存储时间序列数据的方法和装置 | |
| CN105183400B (zh) | 一种基于内容寻址的对象存储方法和系统 | |
| US10613787B2 (en) | Techniques for rebalancing storage between subspaces | |
| CN107436738B (zh) | 一种数据存储方法及系统 | |
| CN103744759A (zh) | 一种Linux系统下无人值守磁盘性能及稳定性验证方法 | |
| US9940331B1 (en) | Proactive scavenging of file system snaps | |
| CN104731896A (zh) | 一种数据处理方法及系统 | |
| CN113806300B (zh) | 数据存储方法、系统、装置、设备及存储介质 | |
| CN110727406A (zh) | 一种数据存储调度方法及装置 | |
| CN107995318A (zh) | 一种网络云盘的高可用系统 | |
| CN107665246A (zh) | 基于图数据库的动态数据迁移方法及图数据库集群 | |
| CN110515549A (zh) | 一种数据迁移方法及装置 | |
| CN103279489A (zh) | 一种元数据的存储方法、装置 | |
| CN107273251A (zh) | 一种在生产环境下Rack机柜JBOD存储的测试方法 | |
| CN107479834A (zh) | 一种基于cos的文件存储方法及装置 | |
| CN104731858A (zh) | 一种多客户端并行检测数据库内容一致性系统及方法 | |
| CN105426125B (zh) | 一种数据存储方法及装置 | |
| CN103744626A (zh) | 一种基于内存替换进行数据写入的方法 | |
| CN105549912A (zh) | 同时包含多种类操作系统的服务器集群的存储方法 | |
| CN108881411A (zh) | 一种大规模节点下ctdb集群分组的方法 | |
| CN108829573A (zh) | 一种基于Linux系统小文件预读功能的可靠性测试方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190115 |
|
| RJ01 | Rejection of invention patent application after publication |