CN105426522A - 一种文件系统性能统计方法与系统 - Google Patents
一种文件系统性能统计方法与系统 Download PDFInfo
- Publication number
- CN105426522A CN105426522A CN201510890629.2A CN201510890629A CN105426522A CN 105426522 A CN105426522 A CN 105426522A CN 201510890629 A CN201510890629 A CN 201510890629A CN 105426522 A CN105426522 A CN 105426522A
- Authority
- CN
- China
- Prior art keywords
- file operation
- file
- information
- statistical
- shared drive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种文件系统性能统计方法与系统,响应性能统计指令,指定共享内存区域,进行文件操作时将文件操作信息进行统计得到文件操作统计信息,将所述文件操作统计信息保存至所述共享内存区域,令客户端通过访问所述共享内存获取所述文件操作信息。对文件操作进行性能统计,使用指定的共享内存区域保存性能数据,客户端可以直接读取共享内存中的性能数据,提高了性能统计的实时性,可以高效地进行文件系统性能统计。
Description
技术领域
本发明涉及计算机存储领域,特别是涉及一种文件系统性能统计方法与系统。
背景技术
随着网络应用的迅速发展,网络信息数据量越来越大,PB级别的海量数据存储变得越来越重要,大容量的分布式文件系统显得尤为重要。
在进行文件系统开发时,需要实时获取整个文件系统的性能数据,分析每一个文件操作的请求数量、耗时等,可以有针对性的进行优化,因此需要一种监控文件系统性能的方法。
发明内容
有鉴于此,本发明的主要目的在于提供一种文件系统性能统计方法与系统,可以高效地进行文件系统性能统计。
为实现上述目的,本发明提供了一种文件系统性能统计方法,包括:
响应性能统计指令,指定共享内存区域;
进行文件操作时将文件操作信息进行统计得到文件操作统计信息;
将所述文件操作统计信息保存至所述共享内存区域,令客户端通过访问所述共享内存获取所述文件操作信息。
优选地,所述文件操作信息包括:
文件操作类型、文件操作次数和文件操作延迟。
优选地,所述文件操作类型包括新增和删除。
优选地,进行文件操作时将文件操作信息进行统计得到文件操作统计信息包括:
当文件操作信息为文件操作类型时,将各次文件操作按文件操作类型进行次数累加,得到各文件操作类型的次数;
当文件操作信息为文件操作次数时,将各次文件操作进行次数累加,得到文件操作总次数;
当文件操作信息为文件操作延迟时,统计各次文件操作的耗时,得到文件操作延迟。
优选地,当文件系统为多线程时,将所述文件操作统计信息保存至所述共享内存区域包括:
在所述共享内存区域中为各线程分别分配对应的空间,将所述文件操作统计信息按照线程分别保存至所述共享内存区域内对应的空间中。
本发明还提供了一种文件系统性能统计系统,包括:
共享内存区域指定模块,用于响应性能统计指令,指定共享内存区域;
文件操作统计模块,用于进行文件操作时将文件操作信息进行统计得到文件操作统计信息;
统计信息共享模块,用于将所述文件操作统计信息保存至所述共享内存区域,令客户端通过访问所述共享内存获取所述文件操作信息。
优选地,所述文件操作信息包括:
文件操作类型、文件操作次数和文件操作延迟。
优选地,所述文件操作类型包括新增和删除。
优选地,所述文件操作统计模块包括:
文件操作类型统计子模块,用于当文件操作信息为文件操作类型时,将各次文件操作按文件操作类型进行次数累加,得到各文件操作类型的次数;
文件操作次数统计子模块,用于当文件操作信息为文件操作次数时,将各次文件操作进行次数累加,得到文件操作总次数;
文件操作延迟统计子模块,用于当文件操作信息为文件操作延迟时,统计各次文件操作的耗时,得到文件操作延迟。
应用本发明提供的一种文件系统性能统计方法与系统,响应性能统计指令,指定共享内存区域,进行文件操作时将文件操作信息进行统计得到文件操作统计信息,将所述文件操作统计信息保存至所述共享内存区域,令客户端通过访问所述共享内存获取所述文件操作信息。对文件操作进行性能统计,使用指定的共享内存区域保存性能数据,客户端可以直接读取共享内存中的性能数据,提高了性能统计的实时性,可以高效地进行文件系统性能统计。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明一种文件系统性能统计方法实施例的流程图;
图2为本发明一种文件系统性能统计方法实施例的原理示意图;
图3为本发明一种文件系统性能统计系统实施例的结构示意图;
图4为本发明一种文件系统性能统计系统实施例的详细结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行
清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供了一种文件系统性能统计方法,图1示出了本发明文件系统性能统计方法实施例的流程图,包括:
步骤S101:响应性能统计指令,指定共享内存区域;
挂载文件系统,对文件系统进行读写操作,客户端发送性能统计指令,分配和初始化共享内存区域,可通过写入特殊的命令控制统计功能的开关,保证文件系统在正常运行下性能不受影响。
步骤S102:进行文件操作时将文件操作信息进行统计得到文件操作统计信息;
服务端通过共享内存检测到客户端发送的性能统计指令,进行文件操作信息的统计,文件操作信息包括:文件操作类型、文件操作次数和文件操作延迟等,文件操作类型包括新增和删除等,当文件操作信息为文件操作类型时,将各次文件操作按文件操作类型进行次数累加,得到各文件操作类型的次数;当文件操作信息为文件操作次数时,将各次文件操作进行次数累加,得到文件操作总次数;当文件操作信息为文件操作延迟时,统计各次文件操作的耗时,得到文件操作延迟。
步骤S103:将所述文件操作统计信息保存至所述共享内存区域,令客户端通过访问所述共享内存获取所述文件操作信息。
将统计的文件操作统计信息保存至共享内存区域,客户端可直接访问共享内存,获取性能数据后输出到控制台或者文件,在读取共享内存时,为了防止重复读取性能数据,需要在共享内存中保存一个文件指针,标识当前所读的某一条性能数据。
本实施例可以为每一个文件操作(例如新增、删除文件等)定义一个统计对象,包括操作类型、次数和延迟等,在每一个文件操作中,进行操作次数和延迟的统计,然后将该统计对象保存到指定的共享内存中。如果文件系统为多线程系统,可以通过加锁的方式保存到同一个统计对象,也可以在共享内存中为每个线程分配私有空间,即在所述共享内存区域中为各线程分别分配对应的空间,将所述文件操作统计信息按照线程分别保存至所述共享内存区域内对应的空间中,可以提高统计的效率,如图2所示。
应用本实施例提供的一种文件系统性能统计方法,响应性能统计指令,指定共享内存区域,进行文件操作时将文件操作信息进行统计得到文件操作统计信息,将所述文件操作统计信息保存至所述共享内存区域,令客户端通过访问所述共享内存获取所述文件操作信息。对文件操作进行性能统计,使用指定的共享内存区域保存性能数据,客户端可以直接读取共享内存中的性能数据,提高了性能统计的实时性,可以高效地进行文件系统性能统计。
本发明还提供了一种文件系统性能统计系统,图3示出了本发明文件系统性能统计系统实施例的结构示意图,包括:
共享内存区域指定模块101,用于响应性能统计指令,指定共享内存区域;
文件操作统计模块102,与所述共享内存区域指定模块101相连接,用于进行文件操作时将文件操作信息进行统计得到文件操作统计信息;
统计信息共享模块,与所述文件操作统计模块102相连接,用于将所述文件操作统计信息保存至所述共享内存区域,令客户端通过访问所述共享内存获取所述文件操作信息。
本实施例中文件操作信息包括:文件操作类型、文件操作次数和文件操作延迟等,文件操作类型包括新增和删除等。
如图4所示,文件操作统计模块102可包括:
文件操作类型统计子模块201,用于当文件操作信息为文件操作类型时,将各次文件操作按文件操作类型进行次数累加,得到各文件操作类型的次数;
文件操作次数统计子模块202,用于当文件操作信息为文件操作次数时,将各次文件操作进行次数累加,得到文件操作总次数;
文件操作延迟统计子模块203,用于当文件操作信息为文件操作延迟时,统计各次文件操作的耗时,得到文件操作延迟。
应用本实施例提供的一种文件系统性能统计系统,响应性能统计指令,指定共享内存区域,进行文件操作时将文件操作信息进行统计得到文件操作统计信息,将所述文件操作统计信息保存至所述共享内存区域,令客户端通过访问所述共享内存获取所述文件操作信息。对文件操作进行性能统计,使用指定的共享内存区域保存性能数据,客户端可以直接读取共享内存中的性能数据,提高了性能统计的实时性,可以高效地进行文件系统性能统计。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于系统类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
最后,还需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的方法和系统进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (9)
1.一种文件系统性能统计方法,其特征在于,包括:
响应性能统计指令,指定共享内存区域;
进行文件操作时将文件操作信息进行统计得到文件操作统计信息;
将所述文件操作统计信息保存至所述共享内存区域,令客户端通过访问所述共享内存获取所述文件操作信息。
2.根据权利要求1所述的文件系统性能统计方法,其特征在于,所述文件操作信息包括:
文件操作类型、文件操作次数和文件操作延迟。
3.根据权利要求2所述的文件系统性能统计方法,其特征在于,所述文件操作类型包括新增和删除。
4.根据权利要求3所述的文件系统性能统计方法,其特征在于,进行文件操作时将文件操作信息进行统计得到文件操作统计信息包括:
当文件操作信息为文件操作类型时,将各次文件操作按文件操作类型进行次数累加,得到各文件操作类型的次数;
当文件操作信息为文件操作次数时,将各次文件操作进行次数累加,得到文件操作总次数;
当文件操作信息为文件操作延迟时,统计各次文件操作的耗时,得到文件操作延迟。
5.根据权利要求1所述的文件系统性能统计方法,其特征在于,当文件系统为多线程时,将所述文件操作统计信息保存至所述共享内存区域包括:
在所述共享内存区域中为各线程分别分配对应的空间,将所述文件操作统计信息按照线程分别保存至所述共享内存区域内对应的空间中。
6.一种文件系统性能统计系统,其特征在于,包括:
共享内存区域指定模块,用于响应性能统计指令,指定共享内存区域;
文件操作统计模块,用于进行文件操作时将文件操作信息进行统计得到文件操作统计信息;
统计信息共享模块,用于将所述文件操作统计信息保存至所述共享内存区域,令客户端通过访问所述共享内存获取所述文件操作信息。
7.根据权利要求6所述的文件系统性能统计系统,其特征在于,所述文件操作信息包括:
文件操作类型、文件操作次数和文件操作延迟。
8.根据权利要求7所述的文件系统性能统计系统,其特征在于,所述文件操作类型包括新增和删除。
9.根据权利要求8所述的文件系统性能统计系统,其特征在于,所述文件操作统计模块包括:
文件操作类型统计子模块,用于当文件操作信息为文件操作类型时,将各次文件操作按文件操作类型进行次数累加,得到各文件操作类型的次数;
文件操作次数统计子模块,用于当文件操作信息为文件操作次数时,将各次文件操作进行次数累加,得到文件操作总次数;
文件操作延迟统计子模块,用于当文件操作信息为文件操作延迟时,统计各次文件操作的耗时,得到文件操作延迟。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510890629.2A CN105426522A (zh) | 2015-12-07 | 2015-12-07 | 一种文件系统性能统计方法与系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510890629.2A CN105426522A (zh) | 2015-12-07 | 2015-12-07 | 一种文件系统性能统计方法与系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105426522A true CN105426522A (zh) | 2016-03-23 |
Family
ID=55504734
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510890629.2A Pending CN105426522A (zh) | 2015-12-07 | 2015-12-07 | 一种文件系统性能统计方法与系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105426522A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106021399A (zh) * | 2016-05-12 | 2016-10-12 | 网易(杭州)网络有限公司 | 查询请求消息的处理方法及装置 |
CN106547612A (zh) * | 2016-10-18 | 2017-03-29 | 深圳怡化电脑股份有限公司 | 一种多任务处理方法及装置 |
CN107894921A (zh) * | 2017-11-09 | 2018-04-10 | 郑州云海信息技术有限公司 | 一种分布式块存储卷性能统计的实现方法及系统 |
CN109063081A (zh) * | 2018-07-25 | 2018-12-21 | 广东浪潮大数据研究有限公司 | 一种nfs业务监控方法、装置、设备及可读存储介质 |
CN110809056A (zh) * | 2019-11-12 | 2020-02-18 | 浪潮云信息技术有限公司 | 一种文件存储用户使用量统计的方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102170494A (zh) * | 2011-03-30 | 2011-08-31 | 深圳市五巨科技有限公司 | 一种记录移动终端操作过程的方法、系统及移动终端 |
US20120226869A1 (en) * | 2010-03-31 | 2012-09-06 | Hitachi Solutions, Ltd. | File server apparatus, management method of storage system, and program |
CN102662823A (zh) * | 2012-03-09 | 2012-09-12 | 无锡华御信息技术有限公司 | 一种对程序和文件进行操作数统计的方法 |
CN102722405A (zh) * | 2012-06-06 | 2012-10-10 | 新浪网技术(中国)有限公司 | 高并发、多线程应用中的计数方法及系统 |
CN104123385A (zh) * | 2014-08-07 | 2014-10-29 | 肖龙旭 | 一种文件存储与管理方法 |
CN104680070A (zh) * | 2014-12-27 | 2015-06-03 | 宁波江东恒冠信息技术有限公司 | 一种对用户使用文件的管理方法、装置及系统 |
-
2015
- 2015-12-07 CN CN201510890629.2A patent/CN105426522A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120226869A1 (en) * | 2010-03-31 | 2012-09-06 | Hitachi Solutions, Ltd. | File server apparatus, management method of storage system, and program |
CN102170494A (zh) * | 2011-03-30 | 2011-08-31 | 深圳市五巨科技有限公司 | 一种记录移动终端操作过程的方法、系统及移动终端 |
CN102662823A (zh) * | 2012-03-09 | 2012-09-12 | 无锡华御信息技术有限公司 | 一种对程序和文件进行操作数统计的方法 |
CN102722405A (zh) * | 2012-06-06 | 2012-10-10 | 新浪网技术(中国)有限公司 | 高并发、多线程应用中的计数方法及系统 |
CN104123385A (zh) * | 2014-08-07 | 2014-10-29 | 肖龙旭 | 一种文件存储与管理方法 |
CN104680070A (zh) * | 2014-12-27 | 2015-06-03 | 宁波江东恒冠信息技术有限公司 | 一种对用户使用文件的管理方法、装置及系统 |
Non-Patent Citations (1)
Title |
---|
万定生等: "《JAVA程序设计实验指导书》", 31 July 2007 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106021399A (zh) * | 2016-05-12 | 2016-10-12 | 网易(杭州)网络有限公司 | 查询请求消息的处理方法及装置 |
CN106547612A (zh) * | 2016-10-18 | 2017-03-29 | 深圳怡化电脑股份有限公司 | 一种多任务处理方法及装置 |
CN106547612B (zh) * | 2016-10-18 | 2020-10-20 | 深圳怡化电脑股份有限公司 | 一种多任务处理方法及装置 |
CN107894921A (zh) * | 2017-11-09 | 2018-04-10 | 郑州云海信息技术有限公司 | 一种分布式块存储卷性能统计的实现方法及系统 |
CN109063081A (zh) * | 2018-07-25 | 2018-12-21 | 广东浪潮大数据研究有限公司 | 一种nfs业务监控方法、装置、设备及可读存储介质 |
CN110809056A (zh) * | 2019-11-12 | 2020-02-18 | 浪潮云信息技术有限公司 | 一种文件存储用户使用量统计的方法 |
CN110809056B (zh) * | 2019-11-12 | 2022-03-22 | 浪潮云信息技术股份公司 | 一种文件存储用户使用量统计的方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11461329B2 (en) | Tracking query execution status for selectively routing queries | |
CN105426522A (zh) | 一种文件系统性能统计方法与系统 | |
CN104969192A (zh) | 基于改变的数据选择备份类型 | |
CN105262680A (zh) | 一种应用于云存储系统的多线程nas网关 | |
CN105224444A (zh) | 日志生成方法及装置 | |
CN104050248A (zh) | 一种文件存储系统及存储方法 | |
CN104461747A (zh) | 一种分布式任务调度系统 | |
CN105302497A (zh) | 一种缓存管理方法与系统 | |
CN104504147A (zh) | 一种数据库集群的资源协调方法、装置及系统 | |
US9405578B2 (en) | Intelligent application back stack management | |
CN104102549A (zh) | 一种实现多线程互斥操作的方法、装置和芯片 | |
US9069621B2 (en) | Submitting operations to a shared resource based on busy-to-success ratios | |
CN107870872B (zh) | 用于管理高速缓存的方法和设备 | |
CN107920131A (zh) | 一种hdfs存储系统的元数据管理方法及装置 | |
EP3407196A1 (en) | Preventing reader starvation during order preserving data stream consumption | |
DE102016119494A1 (de) | Takterzeugungsschaltung, welche eine Entzerrfunktion hat, und integrierte Halbleiterschaltung mit derselben | |
CN104679575A (zh) | 输入输出流的控制系统及其方法 | |
CN103530253A (zh) | 集群多全局缓冲池系统、中心节点、计算节点及管理方法 | |
CN103970714A (zh) | 用于共享功能逻辑的设备和方法及其可重配置处理器 | |
CN104216834A (zh) | 一种内存访问的方法、缓冲调度器和内存模块 | |
CN105045727A (zh) | 一种访问共享内存的方法及设备 | |
US10812408B1 (en) | Preventing concentrated selection of resource hosts for placing resources | |
CN104657216A (zh) | 一种资源池的资源分配方法及装置 | |
CN112748848A (zh) | 用于存储管理的方法、设备和计算机程序产品 | |
CN109271278B (zh) | 一种确定磁盘快照数据切片的引用次数的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160323 |
|
RJ01 | Rejection of invention patent application after publication |