CN106528344A - 一种存储系统日志管理方法 - Google Patents

一种存储系统日志管理方法 Download PDF

Info

Publication number
CN106528344A
CN106528344A CN201610993144.0A CN201610993144A CN106528344A CN 106528344 A CN106528344 A CN 106528344A CN 201610993144 A CN201610993144 A CN 201610993144A CN 106528344 A CN106528344 A CN 106528344A
Authority
CN
China
Prior art keywords
log
daily record
priority
storage system
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610993144.0A
Other languages
English (en)
Inventor
张月辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201610993144.0A priority Critical patent/CN106528344A/zh
Publication of CN106528344A publication Critical patent/CN106528344A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1471—Saving, restoring, recovering or retrying involving logging of persistent data for recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1479—Generic software techniques for error detection or fault masking

Abstract

本发明公开了一种存储系统日志管理方法，该方法步骤如下：1）日志生成模块把生成所有的日志交给日志处理模块进行处理，日志处理模块对日志提取优先级，按照日志类型的不同设置不同的优先级；2）日志生成模块根据日志处理模块反馈的日志优先级；3）通过日志生成模块对高优先级的日志类型进行增量输出后，对日志信息进行归并；4）在对日志信息进行自反馈调节后，对大量日志信息进行覆盖时采用逐级覆盖策略。本发明的一种存储系统日志管理方法和现有技术相比，该方法通过对存储系统中日志信息进行自反馈调节和逐级覆盖，能够在一定日志大小的情况下保留最有价值的日志信息，避免了因日志覆盖造成重要信息的丢失。

Description

一种存储系统日志管理方法
技术领域
本发明涉及数据增量备份技术领域，具体地说是一种存储系统日志管理方法。
背景技术
随着科技的进一步发展，大数据时代的逐步来临，存储系统应用越来越广泛。在存储系统中，应用软件运行时会产生大量的日志数据，这些日志数据对分析存储系统的稳定性、可靠性和性能都有至关重要的作用，而且日志分析也是主要的解决存储系统故障的主要手段。所以如何有效的日志数据对存储系统很重要。但是在在存储系统中，如果输出太少日志信息，则对分析存储系统起不到很大的作用，而如果输出大量的日志信息，虽然会对分析存储系统有用，但是会占用大量存储空间，而且不停输出大量的日志也会对存储性能有影响。
目前存储系统中日志的产生可以分两种情况：一种在日志中只是输出极少数的错误信息，这样对存储性能几乎没什么影响，但是无法根据日志数据分析存储系统的稳定性、可靠性和性能等。另外一种是在日志中输出尽可能全面的数据信息，但是由于存储空间有限，当日志到达一定大小的时候，只能循环覆盖较早时间产生的日志。这种情况下一些重复的日志数据可能会覆盖掉之前比较重要的日志数据，而影响日志分析的准确性和全面性。
在存储系统中，有效的日志管理方法，不仅可以提高日志数据对存储系统的使用价值，而且可以使日志数据的分析作为解决存储系统故障问题可依赖的重要手段。所以设计一种合理有效的日志管理方法，对存储系统的发展意义重大。
发明内容
本发明的技术任务是提供一种存储系统日志管理方法。
本发明的技术任务是按以下方式实现的，该方法步骤如下：
1）日志生成模块把生成所有的日志交给日志处理模块进行处理，日志处理模块对日志提取优先级，按照日志类型的不同设置不同的优先级；日志处理模块提取错误日志的数量，根据错误日志的数量对日志类型设置优先级；
2）日志生成模块根据日志处理模块反馈的日志优先级，对高优先级的日志进行增量输出，对低优先级的日志进行减量输出；并对出错程序模块输出更详细的日志记录；
3）通过日志生成模块对高优先级的日志类型进行增量输出后，对日志信息进行归并；对日志信息进行归并时，采取统一日志类型内进行归并，即对相同日志类型的信息按照关键字进行归并；
4）在对日志信息进行自反馈调节后，对大量日志信息进行覆盖时采用逐级覆盖策略；对日志信息进行逐级覆盖时，根据日志类型的优先级，依次先覆盖优先级较低的日志信息，并且覆盖时只覆盖较早时间段的日志信息。
所述的步骤1）中日志类型是按照生成日志的子模块的不同来划分日志类型。
所述的步骤1）中对日志类型设置优先级：错误日志数量多的日志类型拥有较高的优先级，错误日志数量少的日志类型拥有较低的优先级。
所述的步骤3）中关键字为程序模块的函数名。
本发明的一种存储系统日志管理方法和现有技术相比，该方法通过对存储系统中日志信息进行自反馈调节和逐级覆盖，能够在一定日志大小的情况下保留最有价值的日志信息，避免了因日志覆盖造成重要信息的丢失。对日志信息进行自反馈调节时，根据日志处理模块得到的日志优先级，反馈给日志生成模块，使日志生成模块对高优先级的日志进行增量输出，对低优先级的日志进行减量输出。然后对相同日志类型的日志信息进行归并处理，得到去重后的信息。在对日志信息进行自反馈调节后，对大量日志信息进行覆盖时采用逐级覆盖策略，保留最有价值的日志信息，避免因日志覆盖造成重要信息的丢失。对日志信息进行逐级覆盖时，根据日志类型的优先级，依次先覆盖优先级较低的日志信息；并且覆盖时只覆盖较早时间段的日志信息。
附图说明
附图1为一种存储系统日志管理方法的流程示意图。
附图2为日志自反馈处理流程图。
具体实施方式
实施例1：
该存储系统日志管理方法步骤如下：
1）日志生成模块把生成所有的日志交给日志处理模块进行处理，日志处理模块对日志提取优先级，按照日志类型的不同设置不同的优先级。所有的日志信息都来自不同的程序子模块，按照生成日志的子模块的不同来划分日志类型。日志处理模块提取错误日志的数量，根据错误日志的数量对日志类型设置优先级。错误日志数量多的日志类型拥有较高的优先级，错误日志数量少的日志类型拥有较低的优先级。
2）日志生成模块根据日志处理模块反馈的日志优先级，对高优先级的日志进行增量输出，对低优先级的日志进行减量输出。这样，可以对出错程序模块输出更详细的日志记录。
3）通过日志生成模块对高优先级的日志类型进行增量输出后，难免会生成大量的重复日志信息，所以为了在有限存储空间存储最有价值的日志，需要对日志信息进行归并。对日志信息进行归并时，采取统一日志类型内进行归并，即对相同日志类型的信息按照关键字进行归并，常用的关键字可以为程序模块的函数名。通过对相同日志类型进行归并处理，可以有效避免重复日志信息占用大量的存储空间。
4）在对日志信息进行自反馈调节后，对大量日志信息进行覆盖时采用逐级覆盖策略，保留最有价值的日志信息，避免因日志覆盖造成重要信息的丢失。对日志信息进行逐级覆盖时，根据日志类型的优先级，依次先覆盖优先级较低的日志信息。并且覆盖时只覆盖较早时间段的日志信息。
通过上面具体实施方式，所述技术领域的技术人员可容易的实现本发明。但是应当理解，本发明并不限于上述的几种具体实施方式。在公开的实施方式的基础上，所述技术领域的技术人员可任意组合不同的技术特征，从而实现不同的技术方案。

Claims (4)

1.一种存储系统日志管理方法，其特征在于，该方法步骤如下：
1）日志生成模块把生成所有的日志交给日志处理模块进行处理，日志处理模块对日志提取优先级，按照日志类型的不同设置不同的优先级；日志处理模块提取错误日志的数量，根据错误日志的数量对日志类型设置优先级；
2）日志生成模块根据日志处理模块反馈的日志优先级，对高优先级的日志进行增量输出，对低优先级的日志进行减量输出；并对出错程序模块输出更详细的日志记录；
3）通过日志生成模块对高优先级的日志类型进行增量输出后，对日志信息进行归并；对日志信息进行归并时，采取统一日志类型内进行归并，即对相同日志类型的信息按照关键字进行归并；
4）在对日志信息进行自反馈调节后，对大量日志信息进行覆盖时采用逐级覆盖策略；对日志信息进行逐级覆盖时，根据日志类型的优先级，依次先覆盖优先级较低的日志信息，并且覆盖时只覆盖较早时间段的日志信息。
2.根据权利要求1所述的一种存储系统日志管理方法，其特征在于，所述的步骤1）中日志类型是按照生成日志的子模块的不同来划分日志类型。
3.根据权利要求1所述的一种存储系统日志管理方法，其特征在于，所述的步骤1）中对日志类型设置优先级：错误日志数量多的日志类型拥有较高的优先级，错误日志数量少的日志类型拥有较低的优先级。
4.根据权利要求1所述的一种存储系统日志管理方法，其特征在于，所述的步骤3）中关键字为程序模块的函数名。
CN201610993144.0A 2016-11-11 2016-11-11 一种存储系统日志管理方法 Pending CN106528344A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610993144.0A CN106528344A (zh) 2016-11-11 2016-11-11 一种存储系统日志管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610993144.0A CN106528344A (zh) 2016-11-11 2016-11-11 一种存储系统日志管理方法

Publications (1)

Publication Number Publication Date
CN106528344A true CN106528344A (zh) 2017-03-22

Family

ID=58351091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610993144.0A Pending CN106528344A (zh) 2016-11-11 2016-11-11 一种存储系统日志管理方法

Country Status (1)

Country Link
CN (1) CN106528344A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107256273A (zh) * 2017-06-28 2017-10-17 联想(北京)有限公司 一种文件系统日志的缓存方法及系统
CN107291615A (zh) * 2017-05-19 2017-10-24 北京北信源软件股份有限公司 一种web前端日志输出方法与装置
CN108170819A (zh) * 2018-01-02 2018-06-15 联想(北京)有限公司 一种用于基板管理控制器的日志管理方法及装置
CN112994924A (zh) * 2019-12-18 2021-06-18 中国科学院声学研究所 一种网络业务日志在线归并方法
US11658864B1 (en) 2021-10-29 2023-05-23 International Business Machines Corporation Adaptive message retention

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1815451A (zh) * 2005-01-31 2006-08-09 华为技术有限公司 日志信息管理方法及系统
CN101571827A (zh) * 2008-04-30 2009-11-04 国际商业机器公司 保存日志的方法和日志系统
CN102594581A (zh) * 2011-01-12 2012-07-18 鼎桥通信技术有限公司 一种日志数据的记录方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1815451A (zh) * 2005-01-31 2006-08-09 华为技术有限公司 日志信息管理方法及系统
CN101571827A (zh) * 2008-04-30 2009-11-04 国际商业机器公司 保存日志的方法和日志系统
CN102594581A (zh) * 2011-01-12 2012-07-18 鼎桥通信技术有限公司 一种日志数据的记录方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107291615A (zh) * 2017-05-19 2017-10-24 北京北信源软件股份有限公司 一种web前端日志输出方法与装置
CN107256273A (zh) * 2017-06-28 2017-10-17 联想(北京)有限公司 一种文件系统日志的缓存方法及系统
CN108170819A (zh) * 2018-01-02 2018-06-15 联想(北京)有限公司 一种用于基板管理控制器的日志管理方法及装置
CN112994924A (zh) * 2019-12-18 2021-06-18 中国科学院声学研究所 一种网络业务日志在线归并方法
US11658864B1 (en) 2021-10-29 2023-05-23 International Business Machines Corporation Adaptive message retention

Similar Documents

Publication Publication Date Title
CN106528344A (zh) 一种存储系统日志管理方法
CN104572895B (zh) MPP数据库与Hadoop集群数据互通方法、工具及实现方法
CN109542428A (zh) 业务处理方法、装置、计算机设备和存储介质
CN108228166A (zh) 一种基于模板的后端代码生成方法及系统
CN104536987B (zh) 一种查询数据的方法及装置
CN106682036A (zh) 一种数据交换系统及其交换方法
CN105740466A (zh) 一种挖掘热点概念之间关联关系的方法和装置
CN111797604A (zh) 报表生成方法、装置、设备及计算机可读存储介质
CN106293541A (zh) 一种存储系统的日志管理方法和系统
CN115062016A (zh) 关联关系提取方法、装置和计算机设备
CN104317850A (zh) 数据处理方法和装置
CN116644729A (zh) 表格文件处理方法、装置、计算机设备和存储介质
CN111475494A (zh) 一种海量数据处理方法、系统、终端及存储介质
CN110347827A (zh) 面向异构文本运维数据的事件提取方法
CN113918532A (zh) 画像标签聚合方法、电子设备及存储介质
CN109542869A (zh) 一种结构化数据核对方法
CN104090895B (zh) 获取基数的方法、装置、服务器及系统
CA3180833A1 (en) Flink sql statement verification method and device, computer equipment and storage medium
CN116089535A (zh) 数据同步方法、装置、设备及存储介质
US11709798B2 (en) Hash suppression
CN110377891A (zh) 事件分析文章的生成方法、装置、设备及计算机可读存储介质
CN114968725A (zh) 任务依赖关系校正方法、装置、计算机设备及存储介质
CN106776654B (zh) 一种数据搜索方法及装置
CN110297842B (zh) 一种数据比对方法、装置、终端和存储介质
CN114328486A (zh) 基于模型的数据质量核查方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170322

RJ01 Rejection of invention patent application after publication