CN104461848A - 一种文件系统评估方法及系统 - Google Patents
一种文件系统评估方法及系统 Download PDFInfo
- Publication number
- CN104461848A CN104461848A CN201410728328.5A CN201410728328A CN104461848A CN 104461848 A CN104461848 A CN 104461848A CN 201410728328 A CN201410728328 A CN 201410728328A CN 104461848 A CN104461848 A CN 104461848A
- Authority
- CN
- China
- Prior art keywords
- file system
- evaluate parameter
- testing tool
- average
- preset period
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供一种文件系统评估方法及系统,上述方法包括以下步骤:运行选择的测试工具,获取预设时段内的文件系统评估参数;根据获得的预设时段内的所述文件系统评估参数,按照预设评估分级策略,确定对应的文件系统级别;本发明采用多种测试工具对文件系统进行测试并且综合各种测试结果进行分析的方案,实现了对文件系统的准确、高效评估。
Description
技术领域
本发明属于测试评估领域,尤其涉及一种文件系统评估方法及系统。
背景技术
分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连,现有的各种分布式文件系统各具特色,各有各的优势和侧重点,著名的分布式文件系统有NFS(Network File System;网络文件系统)、GPFS(GeneralParallel File System;共享文件系统)、Google文件系统等,对于被测系统以及所要测试的指标来说,选择合适的测试工具很关键。
目前存在很多性能测试工具,最基本的测试工具如dd命令测试工具,比较成熟的测试工具有iozone测试工具、IOR测试工具、mdtest测试工具等;其中,iozone测试工具用于测试聚合带宽;IOR测试工具是一款基于mpi(Multi Point Interface;多点接口)的输入输出I/O基准测试工具;可用IOR测试工具的测试结果与iozone测试工具的测试结果进行对比,若两种结果相差较大,则检查问题所在。dd命令测试工具是系统自带的一个I/O性能测试工具,dd命令测试工具只能提供一个大概的测试结果,而且是连续I/O而不是随机I/O,且只能进行单节点测试;mdtest测试工具用于测试文件系统IOPS的测试工具,能够测试文件的创建,删除,目录的创建,删除性能,但是不能给出系统的聚合带宽,如果需要测试多个节点的IOPS,则需要使用多点接口mpi;通过配置mpi也可以实现单个节点上多进程测试。
使用单个测试工具对文件系统进行测试,造成不能对文件系统进行准确的评估;即使使用多个测试工具进行评估,结果往往是分别独立的,没有一个综合的评估方案,也很难准确的对文件系统进行综合评估。
发明内容
本发明提供一种文件系统评估方法及系统,以解决上述问题。
本发明提供一种文件系统评估方法。上述方法包括以下步骤:
运行选择的测试工具,获取预设时段内的文件系统评估参数;
根据获得的预设时段内的所述文件系统评估参数,按照预设评估分级策略,确定对应的文件系统级别。
本发明还提供一种文件系统评估系统,包括文件系统评估参数获取模块、文件系统分级模块;其中,所述文件系统评估参数获取模块与所述文件系统分级模块相连;
所述文件系统评估参数获取模块,用于运行选择的测试工具,获取预设时段内的文件系统评估参数并将预设时段内的文件系统评估参数发送至所述文件系统分级模块;
所述文件系统分级模块,用于根据获得的预设时段内的所述文件系统评估参数,按照预设评估分级策略,确定对应的文件系统级别。
本发明提供一种文件系统评估方法及系统,采用多种测试工具对文件系统进行测试并且综合各种测试结果进行分析的方案,实现了对文件系统的准确、高效评估。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1所示为本发明实施例1的文件系统评估方法处理流程图;
图2所示为本发明实施例2的文件系统评估系统结构图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
图1所示为本发明实施例1的文件系统评估方法处理流程图,包括以下步骤:
步骤101:运行选择的测试工具,获取预设时段内的文件系统评估参数;
测试工具包括:netperf测试工具、iozone测试工具、mdtest测试工具、atop测试工具。
文件系统评估参数包括:网络连接中断次数、数据包丢包次数、数据包平均数、平均顺序读写带宽、平均IOPS、文件系统平均操作数、输入输出出错次数、CPU资源平均占用率、内存平均占用率。
运行选择的测试工具,获取文件系统评估参数的过程为:运行netperf测试工具获取预设时段内网络连接中断次数、数据包丢包次数、数据包平均数。
运行选择的测试工具,获取文件系统评估参数的过程为:运行iozone测试工具获取预设时段内平均顺序读写带宽、平均IOPS即平均每秒进行读写(I/O)操作的次数。
运行选择的测试工具,获取文件系统评估参数的过程为:运行mdtest测试工具获取预设时段内文件系统平均操作数、输入输出出错次数。
运行选择的测试工具,获取文件系统评估参数的过程为:运行atop测试工具获取CPU资源平均占用率、内存平均占用率。
运行netperf测试工具获取预设时段内网络连接中断次数、数据包丢包次数;运行iozone测试工具获取预设时段内平均顺序读写带宽(例如:386MB/S和310MB/S);运行iozone测试工具获取预设时段内平均IOPS(Input/Output Operations Per Second)即平均每秒进行读写(I/O)操作的次数。
运行dd测试工具,对iozone测试工具获取评估参数进行验证(平均顺序读写带宽、平均IOPS)。
运行mdtest测试工具获取预设时段内文件系统平均操作数;其中,所述文件系统平均操作数包括:文件系统平均创建数、文件系统平均查询数。
例如:A文件系统预设时段内(例如:2秒内)文件平均创建数为30000个文件,B文件系统预设时段内(例如:2秒内)文件平均创建数为30个文件。
若进行海量文件的创建,B文件系统明显要吃力很多而且直接影响到带宽性能的发挥,而A文件系统就可完全发挥出文件系统的性能。
运行test测试工具,在预设时段内,进行单客户端、多客户端的混合循环输入输出,获取输入输出出错次数。
运行netperf测试工具获取预设时段内任意两个节点之间发送的数据包平均数;运行atop测试工具获取CPU资源平均占用率、内存平均占用率。
步骤102:根据获得的预设时段内的所述文件系统评估参数,按照预设评估分级策略,确定对应的文件系统级别。
根据获得的预设时段内的所述文件系统评估参数,按照预设评估分级策略,确定对应的文件系统级别的过程为:
根据获得的预设时段内的所述文件系统评估参数,获取文件系统评估参数分级值,若所述文件系统评估参数分级值大于预设值,则确定所述文件系统级别为第二等级;若所述文件系统评估参数分级值小于或等于预设值,则确定所述文件系统级别为第一等级;其中,等级越高,文件系统越稳定。
根据获得的预设时段内的所述文件系统评估参数,获取文件系统评估参数分级值的过程为:
文件系统评估参数分级值=(数据包平均数+平均每秒进行读写操作的次数+文件系统平均操作数)/(CPU资源平均占用率+内存平均占用率)
根据获得的预设时段内的所述文件系统评估参数,获取文件系统评估参数分级值的过程为:
文件系统评估参数分级值=(平均顺序读写带宽)/(网络连接中断次数+数据包丢包次数+输入输出出错次数)。
图2所示为本发明实施例2的文件系统评估系统结构图,包括文件系统评估参数获取模块、文件系统分级模块;其中,所述文件系统评估参数获取模块与所述文件系统分级模块相连;
所述文件系统评估参数获取模块,用于运行选择的测试工具,获取预设时段内的文件系统评估参数并将预设时段内的文件系统评估参数发送至所述文件系统分级模块;
所述文件系统分级模块,用于根据获得的预设时段内的所述文件系统评估参数,按照预设评估分级策略,确定对应的文件系统级别。
本发明提供一种文件系统评估方法及系统,采用多种测试工具对文件系统进行测试并且综合各种测试结果进行分析的方案,实现了对文件系统的准确、高效评估。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种文件系统评估方法,其特征在于,包括以下步骤:
运行选择的测试工具,获取预设时段内的文件系统评估参数;
根据获得的预设时段内的所述文件系统评估参数,按照预设评估分级策略,确定对应的文件系统级别。
2.根据权利要求1所述的方法,其特征在于,测试工具包括:netperf测试工具、iozone测试工具、mdtest测试工具、atop测试工具;文件系统评估参数包括:网络连接中断次数、数据包丢包次数、数据包平均数、平均顺序读写带宽、平均每秒进行读写操作的次数、文件系统平均操作数、输入输出出错次数、CPU资源平均占用率、内存平均占用率。
3.根据权利要求2所述的方法,其特征在于,运行选择的测试工具,获取预设时段内的文件系统评估参数的过程为:运行netperf测试工具获取预设时段内网络连接中断次数、数据包丢包次数、数据包平均数。
4.根据权利要求2所述的方法,其特征在于,运行选择的测试工具,获取预设时段内的文件系统评估参数的过程为:运行iozone测试工具获取预设时段内平均顺序读写带宽、平均每秒进行读写操作的次数。
5.根据权利要求2所述的方法,其特征在于,运行选择的测试工具,获取预设时段内的文件系统评估参数的过程为:运行mdtest测试工具获取预设时段内文件系统平均操作数、输入输出出错次数。
6.根据权利要求2所述的方法,其特征在于,运行选择的测试工具,获取预设时段内的文件系统评估参数的过程为:运行atop测试工具获取CPU资源平均占用率、内存平均占用率。
7.根据权利要求1所述的方法,其特征在于,根据获得的预设时段内的所述文件系统评估参数,获取文件系统评估参数分级值,若所述文件系统评估参数分级值大于预设值,则确定所述文件系统级别为第二等级;若所述文件系统评估参数分级值小于或等于预设值,则确定所述文件系统级别为第一等级;其中,等级越高,文件系统越稳定。
8.根据权利要求7所述的方法,其特征在于,根据获得的预设时段内的所述文件系统评估参数,获取文件系统评估参数分级值的过程为:
文件系统评估参数分级值=(数据包平均数+平均每秒进行读写操作的次数+文件系统平均操作数)/(CPU资源平均占用率+内存平均占用率)。
9.根据权利要求7所述的方法,其特征在于,根据获得的预设时段内的所述文件系统评估参数,获取文件系统评估参数分级值的过程还可以为:
文件系统评估参数分级值=(平均顺序读写带宽)/(网络连接中断次数+数据包丢包次数+输入输出出错次数)。
10.一种文件系统评估系统,其特征在于,包括文件系统评估参数获取模块、文件系统分级模块;其中,所述文件系统评估参数获取模块与所述文件系统分级模块相连;
所述文件系统评估参数获取模块,用于运行选择的测试工具,获取预设时段内的文件系统评估参数并将预设时段内的文件系统评估参数发送至所述文件系统分级模块;
所述文件系统分级模块,用于根据获得的预设时段内的所述文件系统评估参数,按照预设评估分级策略,确定对应的文件系统级别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410728328.5A CN104461848B (zh) | 2014-12-03 | 2014-12-03 | 一种文件系统评估方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410728328.5A CN104461848B (zh) | 2014-12-03 | 2014-12-03 | 一种文件系统评估方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104461848A true CN104461848A (zh) | 2015-03-25 |
CN104461848B CN104461848B (zh) | 2017-11-10 |
Family
ID=52907941
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410728328.5A Active CN104461848B (zh) | 2014-12-03 | 2014-12-03 | 一种文件系统评估方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104461848B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108399118A (zh) * | 2018-03-20 | 2018-08-14 | 广东欧珀移动通信有限公司 | 文件系统测试数据处理方法、装置、存储介质及终端 |
CN113626299A (zh) * | 2021-07-23 | 2021-11-09 | 济南浪潮数据技术有限公司 | 一种分布式文件系统的并行性能评估方法和装置 |
CN117421253A (zh) * | 2023-12-19 | 2024-01-19 | 深圳市智慧城市科技发展集团有限公司 | 接口安全测试方法、装置、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007272620A (ja) * | 2006-03-31 | 2007-10-18 | Fujitsu Ltd | ファイル評価装置、ファイル評価方法、およびファイル評価プログラム |
CN102035697A (zh) * | 2010-12-31 | 2011-04-27 | 中国电子科技集团公司第十五研究所 | 一种文件系统的并发连接数性能测试系统和方法 |
CN102708056A (zh) * | 2012-05-15 | 2012-10-03 | 浪潮电子信息产业股份有限公司 | 一种评测服务器性能的方法 |
CN102750221A (zh) * | 2012-05-29 | 2012-10-24 | 兰雨晴 | 一种针对Linux文件系统的性能测试方法 |
-
2014
- 2014-12-03 CN CN201410728328.5A patent/CN104461848B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007272620A (ja) * | 2006-03-31 | 2007-10-18 | Fujitsu Ltd | ファイル評価装置、ファイル評価方法、およびファイル評価プログラム |
CN102035697A (zh) * | 2010-12-31 | 2011-04-27 | 中国电子科技集团公司第十五研究所 | 一种文件系统的并发连接数性能测试系统和方法 |
CN102708056A (zh) * | 2012-05-15 | 2012-10-03 | 浪潮电子信息产业股份有限公司 | 一种评测服务器性能的方法 |
CN102750221A (zh) * | 2012-05-29 | 2012-10-24 | 兰雨晴 | 一种针对Linux文件系统的性能测试方法 |
Non-Patent Citations (2)
Title |
---|
王阎等: "海量存储系统评测体系的研究", 《电子设计工程》 * |
薄怀祥: "分布式文件系统性能测试软件的设计", 《山东广播电视大学学报》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108399118A (zh) * | 2018-03-20 | 2018-08-14 | 广东欧珀移动通信有限公司 | 文件系统测试数据处理方法、装置、存储介质及终端 |
CN108399118B (zh) * | 2018-03-20 | 2021-11-26 | Oppo广东移动通信有限公司 | 文件系统测试数据处理方法、装置、存储介质及终端 |
CN113626299A (zh) * | 2021-07-23 | 2021-11-09 | 济南浪潮数据技术有限公司 | 一种分布式文件系统的并行性能评估方法和装置 |
CN113626299B (zh) * | 2021-07-23 | 2023-12-22 | 济南浪潮数据技术有限公司 | 一种分布式文件系统的并行性能评估方法和装置 |
CN117421253A (zh) * | 2023-12-19 | 2024-01-19 | 深圳市智慧城市科技发展集团有限公司 | 接口安全测试方法、装置、设备及存储介质 |
CN117421253B (zh) * | 2023-12-19 | 2024-04-02 | 深圳市智慧城市科技发展集团有限公司 | 接口安全测试方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN104461848B (zh) | 2017-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107003928B (zh) | 性能异常诊断 | |
US10291463B2 (en) | Large-scale distributed correlation | |
US20100250732A1 (en) | Determining server load capacity | |
US9590880B2 (en) | Dynamic collection analysis and reporting of telemetry data | |
US10601671B1 (en) | Creating and displaying a graph representation of a computer network topology for an executing application | |
CN102902621A (zh) | 应用性能评价和报告 | |
US10469326B1 (en) | Discovering a computer network topology for an executing application | |
CN103714004A (zh) | Jvm在线内存泄露分析方法及系统 | |
CN104133773A (zh) | 一种基于windows的服务器稳定性测试方法 | |
CN106776337A (zh) | 一种性能分析方法、装置及电子设备 | |
US20210258222A1 (en) | Techniques for dynamic network management | |
CN103078763A (zh) | 一种信息存储系统的多协议并行测试方法及系统 | |
US20180196861A1 (en) | Method for generating graph database of incident resources and apparatus thereof | |
WO2020106501A1 (en) | Veto-based model for measuring product health | |
Shen et al. | Geographic location-based network-aware qos prediction for service composition | |
CN104461848A (zh) | 一种文件系统评估方法及系统 | |
Tang et al. | Optimizing inter-server communication for online social networks | |
CN112346962B (zh) | 一种应用于对照测试系统中的对照数据测试方法及装置 | |
US20150026347A1 (en) | Method and apparatus for allocating stream processing unit | |
CN107018039B (zh) | 测试服务器集群性能瓶颈的方法和装置 | |
CN116938953A (zh) | 基于区块链的数据处理方法、装置、电子设备及存储介质 | |
CN103746870A (zh) | Cdn分发网络的分析方法、文件分发控制中心及系统 | |
Jiang et al. | Understanding and improvement of the selection of replica servers in key–value stores | |
Ivan et al. | Assigning weights for quality software metrics aggregation | |
CN101651583B (zh) | 一种监控信息管理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |