CN103793517B - 一种基于监控机制的文件系统日志转储动态增容方法 - Google Patents

一种基于监控机制的文件系统日志转储动态增容方法 Download PDF

Info

Publication number
CN103793517B
CN103793517B CN201410048693.1A CN201410048693A CN103793517B CN 103793517 B CN103793517 B CN 103793517B CN 201410048693 A CN201410048693 A CN 201410048693A CN 103793517 B CN103793517 B CN 103793517B
Authority
CN
China
Prior art keywords
module
log buffer
dump
log
carry out
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410048693.1A
Other languages
English (en)
Other versions
CN103793517A (zh
Inventor
王通
郭鹏
姜伟丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN201410048693.1A priority Critical patent/CN103793517B/zh
Publication of CN103793517A publication Critical patent/CN103793517A/zh
Application granted granted Critical
Publication of CN103793517B publication Critical patent/CN103793517B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供一种基于监控机制的文件系统日志转储动态增容方法，其具体实现过程为：设置系统负载监控模块，该模块负责检测系统负载，提供负载数据，作为日志模块动态增加日志缓存或者进行日志转储的判断依据；设置日志缓冲模块，该模块根据系统负载监控模块提供的数据，进行判断动态增加日志缓存或者进行日志转储；设置日志缓冲池来缓存日志，同时可动态增加日志缓冲池容量；设置日志转储模块，该模块负责将日志缓存池中的日志转储到存储设备上。该一种基于监控机制的文件系统日志转储动态增容方法和现有技术相比，提高效率，保证数据一致性，防止丢失最新的数据；实用性强，易于推广。

Description

一种基于监控机制的文件系统日志转储动态增容方法
技术领域
本发明涉及通信信息技术领域，具体的说是一种基于监控机制的文件系统日志转储动态增容方法。
背景技术
传统存储系统的写日志模型如附图1所示：先顺序写日志，然后执行日志的转储，无法根据系统负载情况进行日志操作，当系统负载较重时，仍然进行串行的写日志、日志转储操作，成为文件系统写操作的瓶颈。基于此，现提供一种可根据实际的系统负载情况，来决定日志处理操作、基于监控机制的文件系统日志转储动态增容方法。
发明内容
本发明的技术任务是解决现有技术的不足，提供一种基于监控机制的文件系统日志转储动态增容方法。
本发明的技术方案是按以下方式实现的，该一种基于监控机制的文件系统日志转储动态增容方法，其具体实现过程为：
设置系统负载监控模块，该模块负责检测系统负载，提供负载数据，作为日志模块动态增加日志缓存或者进行日志转储的判断依据；
设置与系统负载监控模块连接的日志缓冲模块，该模块根据系统负载监控模块提供的数据，进行判断动态增加日志缓存或者进行日志转储；
设置与日志缓冲模块连通的日志缓冲池来缓存日志，同时可动态增加日志缓冲池容量；
设置读取日志缓冲池中日志的日志转储模块，该模块负责将日志缓存池中的日志转储到存储设备上。
所述日志缓冲模块依据系统负载监控模块的数据来决定进行日志转储还是动态增加日志缓冲池容量，当系统的负载较轻时，实时日志转储操作，即直接写入日志缓冲池，并调用日志转储模块转储日志缓冲池中的日志到存储设备；当系统的负载较重时，动态增加日志存储的容量，负载一旦降低将优先执行新增加日志的转储。
本发明与现有技术相比所产生的有益效果是：
本发明的一种基于监控机制的文件系统日志转储动态增容方法可根据实际的系统负载情况，来决定日志处理操作：当系统负载较轻时，实时进行日志转储操作，及时将日志信息写入磁盘，提高效率，保证数据一致性；当系统负载较重时，动态增加日志缓冲池的大小，写日志到日志缓冲池成功后立即返回，大容量的日志缓存有助于提高系统性能，而当系统负载减轻时，优先执行新“增加”日志的转储，防止丢失最新的数据；实用性强，易于推广。
附图说明
附图1为传统的日志系统模型图。
附图2为本发明的基于监控机制的文件系统日志转储动态增容示意图。
具体实施方式
下面结合附图对本发明的一种基于监控机制的文件系统日志转储动态增容方法作以下详细说明。
如附图2所示，一种基于监控机制的文件系统日志转储动态增容方法, 以系统负载监控为核心，通过整合日志缓冲模块、日志缓冲池、日志存储模块，可以根据系统负载情况动态增加日志缓冲及进行日志转储操作。该方法的模块结构包括：系统负载监控模块、日志缓冲模块、日志缓冲池、日志转储模块，其中：
系统负载监控模块是新型日志系统的核心，负责检测系统负载，提供负载数据，作为日志模块动态增加日志缓存或者进行日志转储的判断依据。
日志缓冲模块根据系统负载监控模块提供的数据，进行判断动态增加日志缓存或者进行日志转储。
日志缓冲池缓存日志，可动态增加日志缓冲池容量。
日志转储模块负责将日志缓存池中的日志转储到存储设备上。
系统负载监控模块实时监控系统负载情况，日志缓冲模块根据系统负载监控模块提供的数据，进行判断动态增加日志缓存或者进行日志转储，当系统负载较轻时，实时进行日志转储操作，及时将日志信息写入磁盘，保证数据一致性；当系统负载较重时，动态增加日志缓冲池的大小，写日志到日志缓冲池成功后立即返回，大容量的日志缓存有助于提高系统性能，而当系统负载减轻时，优先执行新“增加”日志的转储，防止丢失最新的数据。
以上所述仅为本发明的实施例而已，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于监控机制的文件系统日志转储动态增容方法，其特征在于其具体实现过程为：
设置系统负载监控模块，该模块负责检测系统负载，提供负载数据，作为日志模块动态增加日志缓存或者进行日志转储的判断依据；
设置与系统负载监控模块连接的日志缓冲模块，该模块根据系统负载监控模块提供的数据，进行判断动态增加日志缓存或者进行日志转储；
设置与日志缓冲模块连通的日志缓冲池来缓存日志，同时可动态增加日志缓冲池容量；
设置读取日志缓冲池中日志的日志转储模块，该模块负责将日志缓存池中的日志转储到存储设备上；
所述日志缓冲模块依据系统负载监控模块的数据来决定进行日志转储还是动态增加日志缓冲池容量，当系统的负载较轻时，实时日志转储操作，即直接写入日志缓冲池，并调用日志转储模块转储日志缓冲池中的日志到存储设备；当系统的负载较重时，动态增加日志存储的容量，负载一旦降低将优先执行新增加日志的转储。
CN201410048693.1A 2014-02-12 2014-02-12 一种基于监控机制的文件系统日志转储动态增容方法 Active CN103793517B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410048693.1A CN103793517B (zh) 2014-02-12 2014-02-12 一种基于监控机制的文件系统日志转储动态增容方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410048693.1A CN103793517B (zh) 2014-02-12 2014-02-12 一种基于监控机制的文件系统日志转储动态增容方法

Publications (2)

Publication Number Publication Date
CN103793517A CN103793517A (zh) 2014-05-14
CN103793517B true CN103793517B (zh) 2017-07-28

Family

ID=50669183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410048693.1A Active CN103793517B (zh) 2014-02-12 2014-02-12 一种基于监控机制的文件系统日志转储动态增容方法

Country Status (1)

Country Link
CN (1) CN103793517B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107995234B (zh) * 2016-10-26 2021-08-10 北京国双科技有限公司 数据传输方法及装置
CN106504402A (zh) * 2016-11-08 2017-03-15 深圳怡化电脑股份有限公司 日志信息记录方法及装置
EP3553669A4 (en) 2016-12-30 2019-10-16 Huawei Technologies Co., Ltd. INCIDENT RECOVERY METHOD AND DEVICE, AND SYSTEM

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1564138A (zh) * 2004-03-26 2005-01-12 清华大学 快速同步高性能日志设备及其同步写操作方法
US20080027894A1 (en) * 2006-07-25 2008-01-31 Hitachi Global Storage Technologies Netherlands B.V. File system alteration of media files
CN103064771A (zh) * 2011-10-19 2013-04-24 精英电脑股份有限公司 同步进行计算机的检测及映像下载的方法及其计算机系统
CN102932424B (zh) * 2012-09-29 2015-04-08 浪潮(北京)电子信息产业有限公司 一种分布式并行文件系统缓存数据同步的方法及系统
CN103064779B (zh) * 2012-12-26 2016-08-03 北京思特奇信息技术股份有限公司 一种快速处理日志信息的方法
CN103106153B (zh) * 2013-02-20 2016-04-06 哈尔滨工业大学 基于访问密度的web缓存替换方法
CN103516549B (zh) * 2013-09-27 2018-03-27 浪潮电子信息产业股份有限公司 一种基于共享对象存储的文件系统元数据日志机制

Also Published As

Publication number Publication date
CN103793517A (zh) 2014-05-14

Similar Documents

Publication Publication Date Title
CN103793517B (zh) 一种基于监控机制的文件系统日志转储动态增容方法
EP3757896A8 (en) Method and device for pre-processing data in a neural network
WO2009088626A3 (en) Method and system for balancing host write operations and cache flushing
WO2008094455A3 (en) Hierarchical immutable content-addressable memory processor
WO2005088456A3 (en) Flash controller cache architecture
WO2008055269A3 (en) Asymmetric memory migration in hybrid main memory
WO2012161838A3 (en) System and method for computations utilizing optimized earth model representations
CN103064503B (zh) 片上系统及其缓存器
CN105868093A (zh) 一种日志写入方法及服务端
CN102184141A (zh) 检查点数据的存储方法和装置
CN102339386B (zh) 一种嵌入式指纹特征提取加速方法
CN103488582B (zh) 写高速缓冲存储器的方法及装置
CN105589912A (zh) 一种利用mram处理频写文件的方法及存储结构
CN103544120A (zh) 能够提升记忆体效能的方法和相关的记忆体系统
CN108073475A (zh) 固态硬盘备份对照表的方法
CN106293535A (zh) 一种nas的性能优化方法及装置
WO2021017378A1 (zh) 基于fpga的卷积参数加速装置、数据读写方法
CN105843360B (zh) 一种降低指令高速缓冲存储器功耗的装置及方法
CN105843363A (zh) 一种芯片低功耗优化方法和装置
CN103645990B (zh) 一种基于大页面Flash的数据更新和读取方法
CN105808154B (zh) 基于位图的双控制器的高速缓冲存储器回写方法及装置
CN102929677B (zh) 多数字信号处理器的加载系统及方法
Guillemette A capital story
CN205983437U (zh) 一种高效的大规模数据存储装置
CN203152302U (zh) 一种便捷装卸式管付鱼钩

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant