CN100361091C - 日志信息管理方法及系统 - Google Patents

日志信息管理方法及系统 Download PDF

Info

Publication number
CN100361091C
CN100361091C CNB200510005318XA CN200510005318A CN100361091C CN 100361091 C CN100361091 C CN 100361091C CN B200510005318X A CNB200510005318X A CN B200510005318XA CN 200510005318 A CN200510005318 A CN 200510005318A CN 100361091 C CN100361091 C CN 100361091C
Authority
CN
China
Prior art keywords
log
request
log information
processing module
access
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB200510005318XA
Other languages
English (en)
Other versions
CN1815451A (zh
Inventor
龚德利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CNB200510005318XA priority Critical patent/CN100361091C/zh
Publication of CN1815451A publication Critical patent/CN1815451A/zh
Application granted granted Critical
Publication of CN100361091C publication Critical patent/CN100361091C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种日志信息管理方法,将日志信息管理系统划分为日志请求处理模块和日志信息处理模块;该方法包括:日志检测过程;所述日志检测过程,包括:A1.日志请求处理模块构造并输出日志检测请求给日志信息处理模块;B1.日志信息处理模块监测到日志检测请求后,检测当前日志信息库中日志信息的存储状态,判断该检测得到的日志信息的存储状态是否超出预先配置的日志存储状态门限,如果是,删除日志信息库中日志信息属性不重要的日志信息;否则结束当前处理。应用本发明方法能够实现日志信息的检测,并自动删除不重要的日志信息。

Description

日志信息管理方法及系统
技术领域
本发明涉及计算机系统的日志信息处理技术,特别涉及日志信息管理方法及系统。
背景技术
目前,几乎所有的计算机系统都需要定期或实时保存日志信息,所述日志信息记录了计算机系统每一次操作的情况,包括:保存时间、设备、命令及命令处理状态等信息,从而根据日志信息可以对发生的系统故障进行诊断、及时使系统恢复运行。其中,日志信息的管理方式基本有两种:基于文件系统和基于数据库系统。
所述日志信息的文件系统管理方式属较为传统的管理机制,该机制的主要特点为:一、日志信息以文件的形式长期保存在外存储器中;二、应用程序在访问日志信息时,根据文件名打开日志文件进行访问。但是,该机制应用于大型计算机系统时,将出现如下问题:一、日志信息存储在文件中,信息不具备结构性,并且各文件之间孤立,因此无法反映日志信息之间的联系;二、日志信息的存放依赖于应用程序之间的逻辑关系,通常由一个或几个应用程序共享一个日志信息文件;三、日志信息的表示依赖于应用程序,不易扩充,并且独立性较差,同一日志信息可能存放于多个日志文件中并且取值不同,因此,数据的冗余度大、一致性差。
针对上述问题,出现了基于数据库系统的日志信息管理技术,将日志信息存储在共享的数据库中,对所有日志信息实行统一、集中的管理,使日志信息独立于应用程序之外。除此之外,日志信息以表的形式存储在数据库中,信息能够组织成面向全部应用程序的结构化数据,从而易于扩充并可实现所有应用程序对日志信息的共享。此种日志信息数据库系统的管理方式需要在各应用程序与日志信息数据库之间建立日志信息管理系统,负责对日志信息的访问、检测等处理进行控制。
但是,现有的日志信息管理系统对所有日志信息进行无区别处理,日志信息数据库中往往保存大量不重要的日志信息,浪费大量存储空间,甚至于使重要的日志信息无法保存。这样,在系统出现故障时,数据库中保存的日志信息往往不能满足问题分析的需要,大大降低了日志信息的利用价值。另外,由于数据库的存储空间有限,用户必须定期通过配置命令对日志信息进行清理,不仅用户使用不便,而且也无法实时、有效的清除不重要的日志信息。
综上所述,虽然目前日志信息的数据库管理机制能够实现日志信息的共享,但随着计算机系统的不断扩充,日志信息的处理量将大大增加,如何能充分利用数据库存储资源有效保存重要的日志信息成为当前日志信息管理技术中亟待解决的问题。
发明内容
有鉴于此,本发明的主要目的在于提供日志信息管理方法及系统,能够对所保存的日志信息进行检测,并自动删除不重要的日志信息,从而有效利用数据库存储空间管理日志信息。
为达到上述目的,本发明的技术方案是这样实现的:
本发明公开了一种日志信息管理方法,将日志信息管理系统划分为日志请求处理模块和日志信息处理模块;该方法包括:日志检测过程;所述日志检测过程,包括:
A1.日志请求处理模块构造并输出日志检测请求给日志信息处理模块;
B1.日志信息处理模块监测到日志检测请求后,检测当前日志信息库中日志信息的存储状态,判断该检测得到的日志信息的存储状态是否超出预先配置的日志存储状态门限,如果是,删除日志信息库中日志信息属性不重要的日志信息;否则结束当前处理。
其中,该方法进一步包括:日志访问过程;所述日志访问过程,包括:
A2.日志请求处理模块接收到外部应用程序的访问请求后,构造并输出日志访问请求给日志信息处理模块;
B2.日志信息处理模块监测到日志访问请求后,根据该日志访问请求访问日志信息库。
其中,所述日志访问过程进一步包括:日志信息处理模块根据访问日志信息库的结果构造日志访问结果并返回给日志请求处理模块;所述日志检测过程进一步包括:日志信息处理模块根据检测日志信息库的结果构造日志检测结果并返回给日志请求处理模块。
其中,根据日志信息属性将日志信息分为一类或一类以上;为每一类日志信息配置日志存储状态门限;步骤B1中,所述判断为:根据日志信息属性判断是否有一类或一类以上的日志信息超出其所属类的日志存储状态门限,如果有,删除该类日志信息中日志信息属性不重要的日志信息;否则结束当前处理。
其中,所述根据日志信息属性将日志信息分为一类或一类以上的方法为:根据日志信息属性中的保存时间、或设备、或命令、或命令处理状态、或四者的任意组合进行分类。
其中,所述日志请求处理模块向日志信息处理模块输出所述日志检测请求的方法为:日志请求处理模块构造日志检测请求之后缓存该请求,并通知日志信息处理模块,该日志信息处理模块再从该日志请求处理模块提取该被缓存的日志检测请求。
其中,所述日志检测请求由日志消息帧来承载;所述日志请求处理模块将所构造的日志消息帧缓存在消息队列中,所述日志信息处理模块从该消息队列中提取日志消息帧。
其中,所述日志请求处理模块向日志信息处理模块输出所述日志访问请求的方法为:日志请求处理模块构造日志访问请求之后缓存该请求,并通知日志信息处理模块,该日志信息处理模块再从该日志请求处理模块提取该被缓存的日志访问请求。
其中,所述日志访问请求由日志消息帧来承载;所述日志请求处理模块将所构造的日志消息帧缓存在消息队列中,所述日志信息处理模块从该消息队列中提取日志消息帧。
步骤A1中,日志请求处理模块按预先配置的检测周期定时构造日志检测请求。
步骤A1中,日志请求处理模块根据预先配置的触发条件构造日志检测请求。
步骤B1中,所述日志存储状态门限为保存时间门限和/或记录数量门限。
步骤B1中,所述根据日志信息属性删除日志信息的方法为:根据日志信息属性中的保存时间,按最早保存时间先删除的原则删除一条或一条以上的日志信息。
其中,所述日志信息库为独立设置,应用软件系统卸载或升级时保留该日志信息库;当应用软件系统安装时,该方法进一步包括:应用软件安装模块判断当前是否存在日志信息库,如果是,则使用该已存在的日志信息库;否则建立日志信息库。
其中,所述访问请求为创建、或修改、或查询请求。
本发明还提供了一种日志信息管理系统,该系统包括:
日志请求处理模块,用于构造日志检测请求并发送至日志信息处理模块;
日志信息处理模块,用于接收日志检测请求,根据所述接收到的日志检测请求检测日志信息,并在检测到日志信息存储状态超出预先设置的日志存储状态门限时,删除不重要的日志信息。
其中,所述日志请求处理模块包括:检测请求模块,用于构造日志检测请求并发送至日志信息处理模块;所述日志请求处理模块进一步包括:访问请求模块,用于接收外部应用程序的访问请求,构造日志访问请求并输出至日志信息处理模块;所述日志信息处理模块进一步用于接收日志访问请求,并根据该日志访问请求访问日志信息库。
其中,所述日志信息处理模块包括:日志检测模块,用于接收来自检测请求模块的日志检测请求,检测日志信息,并删除不重要的日志信息;日志访问模块,用于接收来自访问请求模块的日志访问请求,根据该日志访问请求访问日志信息库。
其中,所述日志请求处理模块进一步包括:日志请求缓存模块,用于分别从检测请求模块和访问请求模块接收日志检测请求和日志访问请求,缓存并输出日志检测请求和日志访问请求至日志请求监控模块;所述日志信息处理模块进一步包括:日志请求监控模块,用于从所述日志请求缓存模块接收日志检测请求和日志访问请求,将该日志检测请求和日志访问请求分别发送至日志检测模块和日志访问模块。
其中,所述日志检测模块进一步返回日志检测结果给检测请求模块;所述日志访问模块进一步返回日志访问结果给访问请求模块。
其中,所述日志信息处理模块进一步包括:日志反馈缓存模块,用于分别从日志检测模块和日志访问模块接收日志检测结果和日志访问结果,缓存并输出日志检测结果和日志访问结果至日志反馈监控模块;所述日志请求处理模块进一步包括:日志反馈监控模块,用于从所述日志反馈缓存模块提取日志检测结果和日志访问结果,将该日志检测结果和日志访问结果分别发送至检测请求模块和访问请求模块。
由上述方案可以看出,本发明的关键在于:将日志信息管理系统划分为日志请求处理模块和日志信息处理模块;由日志请求处理模块构造并输出日志检测请求给日志信息处理模块;由日志信息处理模块接收到该日志检测请求后判断当前日志信息库中日志信息的存储状态是否超出预先配置的日志存储状态门限,如果是,根据日志信息属性删除不重要的日志信息;否则结束当前处理。
因此,本发明所提供的日志信息管理方法及系统,能够实现日志信息的检测,自动删除不重要的日志信息,并进一步实现日志信息的访问、以及日志信息的分类检测处理,从而完成对日志信息全面、灵活的管理,能够有效利用数据库存储空间将较重要的日志信息保存下来,有利于为系统故障的责任追溯提供有效的分析依据。
附图说明
图1为本发明日志信息管理系统组成结构示意图;
图2为本发明方法中日志访问过程一较佳实施例处理流程示意图;
图3为本发明方法中日志检测过程一较佳实施例处理流程示意图;
图4为图3所述检测日志信息的处理一较佳实施例处理流程示意图。
具体实施方式
下面结合附图及具体实施例对本发明再作进一步详细的说明。
本发明提供了一种日志信息管理系统,该系统包括:日志请求处理模块和日志信息处理模块。所述日志请求处理模块负责构造日志检测请求并输出至日志信息处理模块;所述日志信息处理模块根据接收到的日志检测请求完成日志检测处理,并在检测到日志信息存储状态超出预先设置的日志存储状态门限时,删除不重要的日志信息。其中,所述日志请求处理模块还可以进一步用于构造日志访问请求并输出至日志信息处理模块,该日志信息处理模块还可以进一步用于根据接收到的日志访问请求访问日志信息库;这里,所述日志请求处理模块包括:访问请求模块和检测请求模块,所述日志信息处理模块包括:日志访问模块和日志检测模块。
由于,日志请求处理模块在并发构造大量日志访问请求和/或日志检测请求时,如果直接将所构造的请求发送至日志信息处理模块,日志信息处理模块很难及时执行大量请求的处理,这样,就会出现请求丢失、甚至于系统因资源不足而瘫痪的情况。因此,所述日志请求处理模块还进一步包括:用于缓存日志访问请求和/或日志检测请求的日志请求缓存模块,所述日志信息处理模块还进一步包括:用于从所述日志请求缓存模块提取日志访问请求和/或日志检测请求的日志请求监控模块。
图1为本发明系统一较佳实施例组成结构示意图。如图1所示,该系统包括:日志请求处理模块110和日志信息处理模块120;所述日志请求处理模块110包括:访问请求模块111、检测请求模块112和日志请求缓存模块113;所述日志信息处理模块120包括:日志访问模块121、日志检测模块122和日志请求监控模块123。本实施例中,由于,日志访问模块121和日志检测模块122在完成日志信息访问和检测任务后,还将分别返回日志信息的访问结果和检测结果;因此,所述日志信息处理模块120还进一步包括日志反馈缓存模块124,所述日志请求处理模块110还进一步包括日志反馈监控模块114,则通过日志反馈缓存模块124和日志反馈监控模块114能够将所述访问结果和检测结果分别发送给访问请求模块111和检测请求模块112。
其中,访问请求模块111,用于根据从外部应用程序接收的访问请求构造日志访问请求并输出至日志请求缓存模块113;检测请求模块112,用于定时构造日志检测请求并输出至日志请求缓存模块113;日志请求缓存模块113,在接收到日志访问请求和/或日志检测请求时,缓存所述请求并发送通知消息给日志请求监控模块123。日志请求监控模块123,用于在接收到日志请求缓存模块113的通知后,从日志请求缓存模块113提取日志访问请求和/或日志检测请求,对提取到的请求进行识别并输出至日志访问模块121和/或日志检测模块122;日志检测模块122,用于在接收到来自日志请求监控模块123的日志检测请求后对日志信息库进行检测,在日志信息存储状态超出日志存储状态门限时,删除部分或全部不重要的日志信息,并在必要时将日志信息的检测结果发送给日志反馈缓存模块124;日志访问模块121,用于根据来自日志请求缓存模块123的日志访问请求对日志信息库进行访问,包括:创建、修改、查询等操作,并将访问结果尤其是查询日志信息的结果发送给日志反馈缓存模块124。日志反馈缓存模块124,接收来自日志访问模块121和/或日志检测模块122的访问结果和/或检测结果,进行缓存并发送通知消息给日志反馈监控模块114;日志反馈监控模块114,在接收到来自日志反馈缓存模块124的通知后,从该日志反馈缓存模块124提取访问结果和/或检测结果,对提取到的信息进行识别并发送至访问请求模块111和/或检测请求模块112。
基于上述本发明日志信息管理系统的组成结构,本发明方法的处理包括两个相对独立的过程:日志检测过程和日志访问过程。所述日志检测过程主要由检测请求模块、日志请求缓存模块、日志请求监控模块、以及日志检测模块来完成;所述日志访问过程主要由访问请求模块、日志请求缓存模块、日志请求监控模块、以及日志访问模块来完成。其中,各模块之间交互的信息,如:日志访问请求、日志检测请求等可以由日志消息帧来承载,则所述日志请求缓存模块可采用消息队列的缓存机制接收/发送日志消息帧。
日志信息管理系统启动时,将自动读取与日志相关的配置信息,包括:日志的分类、各类日志的日志存储状态门限、日志检测周期等,同时按日志检测周期启动检测定时器、初始化消息队列等等,然后,系统开始准备执行所述日志访问和/或日志检测过程。这里,关于系统启动时具体如何完成相关信息配置以及初始化的过程,属公知技术,这里不作详述。下面结合图2至图4对本发明方法的日志访问和日志检测过程加以详细说明。
图2为本发明方法中日志访问过程一较佳实施例处理流程示意图。如图2所示,具体处理包括:
步骤201:访问请求模块接收到外部应用程序的访问请求后启动日志访问过程,该模块根据接收到的访问请求构造日志访问请求,该请求由日志访问消息帧承载。
其中,应用程序发送的访问请求至少包含:访问性质和日志信息内容。所述访问性质为指示对日志信息库进行何种操作的信息,所述操作可以为:创建、查询、或修改等等,其中,所谓创建为在日志信息库中添加新的日志信息记录,所谓查询为从日志信息库中匹配得到符合查询条件的日志信息记录,所谓修改为对日志信息库中的日志信息记录的某记录项的值进行修改。所述日志信息内容为指示对日志信息库的哪些内容进行访问的信息,比如:对于指示创建的访问请求来说,其日志信息内容为需要添加的日志信息记录内容;对于指示查询的访问请求来说,其日志信息内容指示查询条件以及要求输出的日志信息记录项;对于指示修改的访问请求来说,其日志信息内容则指示对哪些日志信息记录的哪些记录项进行修改以及修改后的取值。
本步骤所构造的日志访问消息帧至少应包含应用程序发来的访问请求中的访问性质和日志信息内容,并且该消息帧中还包含其所来源的模块的标识,即访问请求模块的标识。
步骤202:访问请求模块将自身构造的日志访问消息帧输出至日志请求缓存模块,该日志请求缓存模块将该消息帧加入消息队列。
步骤203:当步骤202中的消息帧加入消息队列时将触发日志请求缓存模块的通知事件,则该模块即刻向日志请求监控模块发送通知。该日志请求监控模块接收到通知后从所述日志请求缓存模块提取日志消息帧。
步骤204:日志请求监控模块判断步骤203所提取的日志消息帧是否为日志访问消息帧,如果是,执行步骤205;否则结束当前处理。
这里,可以根据日志消息帧中是否包含访问请求模块标识判决该消息帧是否为日志访问消息帧。
步骤205:日志请求监控模块将该日志访问消息帧发送至日志访问模块,该日志访问模块根据接收到的日志访问消息帧对日志信息库进行操作。
这里,所述日志访问消息帧中包含的访问性质和日志信息内容将指示日志访问模块对日志信息库中的日志信息表进行创建、修改、或查询等处理,关于如何完成此处理属公知技术,本文不作进一步描述。
图3为本发明方法中日志检测过程一较佳实施例处理流程示意图。如图3所示,具体处理包括:
步骤301:检测请求模块中的检测定时器按预先配置的检测周期定时构造日志访问请求,该请求由日志检测消息帧承载,该日志检测消息帧包含该检测请求模块的标识。
步骤302:检测请求模块将自身构造的日志检测消息帧输出至日志请求缓存模块,该日志请求缓存模块将该消息帧加入消息队列。
步骤303:当步骤302中的消息帧加入消息队列时将触发日志请求缓存模块的通知事件,则该模块即刻向日志请求监控模块发送通知。该日志请求监控模块接收到通知后从所述日志请求缓存模块提取日志消息帧。
步骤304:日志请求监控模块判断步骤303所提取的日志消息帧是否为日志检测消息帧,如果是,执行步骤305;否则结束当前处理。这里,可以根据日志消息帧中是否包含检测请求模块标识判决该消息帧是否为日志检测消息帧。
当图2所述的日志访问过程与图3所述日志检测过程并行处理时,日志请求缓存模块将接收到的日志访问消息帧以及日志检测消息帧均缓存在消息队列中,并且每接收到一个消息帧均会向日志请求监控模块发送消息帧通知,日志请求监控模块每接收到消息帧通知即从消息队列提取日志消息帧,并根据该日志消息帧中所携带的模块标识,识别该日志消息帧是日志访问消息帧还是日志检测消息帧,从而选择将消息帧发送给日志访问模块还是日志检测模块。这样,能基本避免消息帧的丢失,并且每一个消息帧都能够得到及时处理。另外,由于日志请求监控模块通过识别日志消息帧统一调用日志访问模块和日志检测模块,因此还可以避免日志访问模块和日志检测模块同时访问日志信息库时容易发生的死锁情况,从而保证了日志信息系统的安全性。
步骤305:日志请求监控模块将该日志检测消息帧发送至日志检测模块,该日志检测模块对日志信息库中的日志信息表进行检测,并在日志信息的存储状态超出预先配置的日志存储状态门限时,删除部分或全部不重要的日志信息。
其中,日志信息以日志信息表的形式保存在日志信息库中,应用程序每次发送指示创建的访问请求给日志信息管理系统时,该系统就在日志信息表中添加一条日志信息记录。所述日志信息记录所包含的记录项包括:保存时间、设备、命令、命令处理状态等信息,该日志信息记录项可以表示日志信息的属性。所述预先配置的日志存储状态门限可以为保存时间门限和/或记录数量门限,根据该日志存储状态门限,日志检测模块通过配置查询条件能够直接查询日志信息库,确定是否有日志信息的保存时间超出门限或者日志信息记录的数量是否超出门限。并且,在检测到当前日志信息存储状态超出日志存储状态门限时,删除日志信息属性不重要的日志信息,比如:通常保存时间越早的日志信息越不重要,则可以根据日志信息属性中的保存时间,按最早保存时间先删除的原则将保存时间最早的一条或一条以上的日志信息记录删除。
这里,所述配置查询条件查询日志信息库、确定日志信息存储状态是否超出日志存储状态门限、以及根据日志信息属性删除日志信息的具体处理过程,属公知技术,这里不作进一步详述。
为了使日志信息管理更灵活,本发明还针对不同种类日志信息的特性进行保存,预先将日志信息分为几类,并分别配置各类日志信息的日志存储状态门限,然后根据各类日志信息的日志存储状态门限对日志信息进行分类检测。这样,可以将几类比较重要的日志信息的日志存储状态门限设置较高,日志信息库就可以更多地和/或更长时间地保存重要的日志信息,从而充分利用有限的存储空间。其中,可以根据日志信息的属性对日志信息进行分类,比如:按保存时间段、或按设备类型、或按命令类型、或按命令处理状态、或按此四者的组合等进行分类。下面结合图4对步骤305所述日志检测模块分类检测日志信息的处理加以详细描述。
图4为图3所述检测日志信息的处理一较佳实施例处理流程示意图。如图4所示,具体处理包括:
步骤401:日志检测模块根据预先配置的各类日志信息的记录数量门限查询日志信息库,判断是否有一类或一类以上的日志信息超出自身所属类的记录数量门限,如果是,执行步骤402;否则执行步骤403。
步骤402:根据日志信息的保存时间,删除各超出本类记录数量门限的日志信息中保存时间最早的一条或一条以上的日志信息记录。这里,系统预先配置具体删除几条日志信息,可以将超出记录数量门限部分的日志信息全部删除,也可以删除其中一部分日志信息,本发明不进行限定。
步骤403:日志检测模块根据预先配置的各类日志信息的保存时间门限查询日志信息库,判断是否有一类或一类以上的日志信息超出自身所属类的保存时间门限,如果是,执行步骤404;否则结束当前处理。
步骤404:根据日志信息的保存时间,删除各超出本类保存时间门限的日志信息中保存时间最早的一条或一条以上的日志信息记录。这里,系统预先配置具体删除几条日志信息,可以将超出保存时间门限的日志信息全部删除,也可以删除其中一部分日志信息,本发明不进行限定。
图4所述实施例中,日志存储状态门限包括:记录数量门限和保存时间门限。在实际处理过程中,本发明并不限定先判断记录数量门限还是先判断保存时间门限,因此也可以先执行步骤403和步骤404,再执行步骤401和步骤402;或者,步骤401和步骤402,与步骤403和步骤404并行执行。另外,该日志存储状态门限也可仅为:记录数量门限、或保存时间门限,对应的,则仅执行步骤401和步骤402,或者仅执行步骤403和步骤404。
上述图3和图4所述的处理中,检测请求模块定时构造日志检测消息帧,从而发起所述日志检测过程。系统也可以预先配置日志检测过程的触发条件,当满足该触发条件时即开始执行日志检测过程。比如:可以设置触发条件为日志存储状态门限重配置。由于,当日志存储状态门限被修改时,现存的日志信息很有可能超出修改后的日志存储状态门限,则需要执行日志检测过程。因此,通常设置所述触发条件为日志存储状态门限重配置,则检测请求模块在得知日志存储状态门限重新配置后,构造日志检测消息帧,从而触发图3和图4所述的日志检测过程,将日志信息重新按照更新后的日志存储状态门限进行检测和清理。这里,关于检测请求模块如何得知所述日志存储状态门限重配置的方法,属公知技术,并且非本发明重点,因此不作详述。
上述日志访问过程和日志检测过程的处理中,并未向用户返回处理的结果信息,这对于一般的创建、修改、以及正常的检测操作来说是可行的。但对于查询操作来说,系统必须向用户返回查询结果;并且当检测发现较严重的问题时也需要向用户返回检测结果。因此,所述日志访问模块和日志检测模块分别完成日志访问处理和日志检测处理后,还可以进一步分别将访问结果和检测结果构造成日志消息帧发送至日志反馈缓存模块,由该日志反馈缓存模块将日志消息帧加入自身的消息队列,并发送消息帧通知给日志反馈监控模块。日志反馈监控模块再从日志反馈缓存模块的消息队列中提取日志消息帧,并根据消息帧内容识别此为访问结果消息帧还是检测结果消息帧,然后将访问结果消息帧和检测结果消息帧分别发送至访问请求模块和检测请求模块,由访问请求模块和检测请求模块分别将接收到的访问结果和检测结果显示给用户。这里,所述将访问结果和检测结果返回给用户的具体方法,属公知技术,因此不作进一步描述。
由于,现有的日志信息通常与应用软件系统的其它配置信息存储在同一数据库中,当系统卸载或升级时,日志信息也将同其它配置信息一起被删除。这样,系统在卸载或升级之后,就无法获取到卸载或升级之前的日志信息,从而无法根据卸载或升级之前的日志信息对卸载或升级之后的系统故障进行分析,也无法分析升级过程中出现的问题。因此,本发明所述的日志信息库为独立设置的数据库,在应用软件系统卸载或升级时该日志信息库仍保留;并且,当应用软件系统安装时,应用软件安装模块自动判断当前是否存在日志信息库,如果是,则使用该已存在的日志信息库;否则建立日志信息库。这里,所述应用软件安装模块如何进行判断、以及建立日志信息库的方法,属公知技术,本文不作详述。
综上所述,应用本发明方法和系统能够实现日志信息的检测,在检测到日志信息的存储状态超出日志存储状态门限时还能够自动删除不重要的日志信息,并且,在此日志信息检测机制的基础之上能够方便实现日志信息的访问。其中,日志信息的检测可以定时触发、也可以由条件触发,并可实现分类检测,从而可以灵活的启动检测过程,并根据各类日志信息特性设置不同的日志存储状态门限,有效利用数据库存储空间保存日志信息。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (21)

1、一种日志信息管理方法,其特征在于,将日志信息管理系统划分为日志请求处理模块和日志信息处理模块;该方法包括:日志检测过程;
所述日志检测过程,包括:
A1.日志请求处理模块构造并输出日志检测请求给日志信息处理模块;
B1.日志信息处理模块监测到日志检测请求后,检测当前日志信息库中日志信息的存储状态,判断该检测得到的日志信息的存储状态是否超出预先配置的日志存储状态门限,如果是,删除日志信息库中日志信息属性不重要的日志信息;否则结束当前处理。
2、根据权利要求1所述的方法,其特征在于,该方法进一步包括:日志访问过程;
所述日志访问过程,包括:
A2.日志请求处理模块接收到外部应用程序的访问请求后,构造并输出日志访问请求给日志信息处理模块;
B2.日志信息处理模块监测到日志访问请求后,根据该日志访问请求访问日志信息库。
3、根据权利要求2所述的方法,其特征在于,所述日志访问过程进一步包括:日志信息处理模块根据访问日志信息库的结果构造日志访问结果并返回给日志请求处理模块;
所述日志检测过程进一步包括:日志信息处理模块根据检测日志信息库的结果构造日志检测结果并返回给日志请求处理模块。
4、根据权利要求1所述的方法,其特征在于,根据日志信息属性将日志信息分为一类或一类以上;为每一类日志信息配置日志存储状态门限;
步骤B1中,所述判断为:根据日志信息属性判断是否有一类或一类以上的日志信息超出其所属类的日志存储状态门限,如果有,删除该类日志信息中日志信息属性不重要的日志信息;否则结束当前处理。
5、根据权利要求4所述的方法,其特征在于,所述根据日志信息属性将日志信息分为一类或一类以上的方法为:根据日志信息属性中的保存时间、或设备、或命令、或命令处理状态、或四者的任意组合进行分类。
6、根据权利要求1所述的方法,其特征在于,所述日志请求处理模块向日志信息处理模块输出所述日志检测请求的方法为:日志请求处理模块构造日志检测请求之后缓存该请求,并通知日志信息处理模块,该日志信息处理模块再从该日志请求处理模块提取该被缓存的日志检测请求。
7、根据权利要求6所述的方法,其特征在于,所述日志检测请求由日志消息帧来承载;所述日志请求处理模块将所构造的日志消息帧缓存在消息队列中,所述日志信息处理模块从该消息队列中提取日志消息帧。
8、根据权利要求2所述的方法,其特征在于,所述日志请求处理模块向日志信息处理模块输出所述日志访问请求的方法为:日志请求处理模块构造日志访问请求之后缓存该请求,并通知日志信息处理模块,该日志信息处理模块再从该日志请求处理模块提取该被缓存的日志访问请求。
9、根据权利要求8所述的方法,其特征在于,所述日志访问请求由日志消息帧来承载;所述日志请求处理模块将所构造的日志消息帧缓存在消息队列中,所述日志信息处理模块从该消息队列中提取日志消息帧。
10、根据权利要求1至9任一项所述的方法,其特征在于,步骤A1中,日志请求处理模块按预先配置的检测周期定时构造日志检测请求。
11、根据权利要求1至9任一项所述的方法,其特征在于,步骤A1中,日志请求处理模块根据预先配置的触发条件构造日志检测请求。
12、根据权利要求1至9任一项所述的方法,其特征在于,步骤B1中,所述日志存储状态门限为保存时间门限和/或记录数量门限。
13、根据权利要求1至9任一项所述的方法,其特征在于,步骤B1中,所述根据日志信息属性删除日志信息的方法为:根据日志信息属性中的保存时间,按最早保存时间先删除的原则删除一条或一条以上的日志信息。
14、根据权利要求1至9任一项所述的方法,其特征在于,所述日志信息库为独立设置,应用软件系统卸载或升级时保留该日志信息库;当应用软件系统安装时,该方法进一步包括:应用软件安装模块判断当前是否存在日志信息库,如果是,则使用该已存在的日志信息库;否则建立日志信息库。
15、根据权利要求2、3、8或9所述的方法,其特征在于,所述访问请求为创建、或修改、或查询请求。
16、一种日志信息管理系统,其特征在于,该系统包括:
日志请求处理模块,用于构造日志检测请求并发送至日志信息处理模块;
日志信息处理模块,用于接收日志检测请求,根据所述接收到的日志检测请求检测日志信息,并在检测到日志信息存储状态超出预先设置的日志存储状态门限时,删除不重要的日志信息。
17、根据权利要求16所述的系统,其特征在于,所述日志请求处理模块包括:检测请求模块,用于构造日志检测请求并发送至日志信息处理模块;
所述日志请求处理模块进一步包括:访问请求模块,用于接收外部应用程序的访问请求,构造日志访问请求并输出至日志信息处理模块;
所述日志信息处理模块进一步用于接收日志访问请求,并根据该日志访问请求访问日志信息库。
18、根据权利要求17所述的系统,其特征在于,所述日志信息处理模块包括:
日志检测模块,用于接收来自检测请求模块的日志检测请求,检测日志信息,并删除不重要的日志信息;
日志访问模块,用于接收来自访问请求模块的日志访问请求,根据该日志访问请求访问日志信息库。
19、根据权利要求18所述的系统,其特征在于,所述日志请求处理模块进一步包括:日志请求缓存模块,用于分别从检测请求模块和访问请求模块接收日志检测请求和日志访问请求,缓存并输出日志检测请求和日志访问请求至日志请求监控模块;
所述日志信息处理模块进一步包括:日志请求监控模块,用于从所述日志请求缓存模块接收日志检测请求和日志访问请求,将该日志检测请求和日志访问请求分别发送至日志检测模块和日志访问模块。
20、根据权利要求18或19所述的系统,其特征在于,所述日志检测模块进一步返回日志检测结果给检测请求模块;所述日志访问模块进一步返回日志访问结果给访问请求模块。
21、根据权利要求20所述的系统,其特征在于,所述日志信息处理模块进一步包括:日志反馈缓存模块,用于分别从日志检测模块和日志访问模块接收日志检测结果和日志访问结果,缓存并输出日志检测结果和日志访问结果至日志反馈监控模块;
所述日志请求处理模块进一步包括:日志反馈监控模块,用于从所述日志反馈缓存模块提取日志检测结果和日志访问结果,将该日志检测结果和日志访问结果分别发送至检测请求模块和访问请求模块。
CNB200510005318XA 2005-01-31 2005-01-31 日志信息管理方法及系统 Expired - Fee Related CN100361091C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNB200510005318XA CN100361091C (zh) 2005-01-31 2005-01-31 日志信息管理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNB200510005318XA CN100361091C (zh) 2005-01-31 2005-01-31 日志信息管理方法及系统

Publications (2)

Publication Number Publication Date
CN1815451A CN1815451A (zh) 2006-08-09
CN100361091C true CN100361091C (zh) 2008-01-09

Family

ID=36907668

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB200510005318XA Expired - Fee Related CN100361091C (zh) 2005-01-31 2005-01-31 日志信息管理方法及系统

Country Status (1)

Country Link
CN (1) CN100361091C (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100502367C (zh) 2007-04-04 2009-06-17 华为技术有限公司 保存域名系统记录的方法、装置
CN101216800B (zh) * 2008-01-02 2010-12-29 中兴通讯股份有限公司 一种linux日志的管理装置及方法
CN101677445A (zh) * 2008-09-16 2010-03-24 中兴通讯股份有限公司 一种业务系统日志文件的清理方法及系统
CN101789174B (zh) * 2009-12-29 2013-07-24 北京世纪高通科技有限公司 一种日志的监测方法及装置
CN102164043A (zh) * 2010-10-27 2011-08-24 青岛海信传媒网络技术有限公司 日志上报方法及终端
CN102467516A (zh) * 2010-11-04 2012-05-23 北京北方微电子基地设备工艺研究中心有限责任公司 设备控制过程中的日志记录方法、装置及系统
US8868618B2 (en) * 2010-12-14 2014-10-21 Microsoft Corporation Usage-optimized tables
CN102385624B (zh) * 2011-10-25 2014-01-01 曙光信息产业(北京)有限公司 一种面向分布式文件系统的日志数据组织的方法
CN102611611B (zh) * 2011-12-13 2015-08-12 北京安天电子设备有限公司 一种日志缓存系统及方法
JP6000567B2 (ja) 2012-02-23 2016-09-28 キヤノン株式会社 画像形成装置、画像形成装置の制御方法、及びプログラム
CN103092745B (zh) * 2013-01-22 2016-04-13 中兴通讯股份有限公司 系统日志记录的控制方法和装置
CN103546350B (zh) * 2013-11-06 2018-07-13 北京国双科技有限公司 日志生成的检测方法和装置
CN103793479A (zh) * 2014-01-14 2014-05-14 上海上讯信息技术股份有限公司 日志管理方法及系统
CN105279398A (zh) * 2014-05-29 2016-01-27 宇龙计算机通信科技(深圳)有限公司 信息的保护方法、装置及终端
CN105515836A (zh) * 2015-11-27 2016-04-20 小米科技有限责任公司 日志处理方法、装置及服务器
CN106293541A (zh) * 2016-08-19 2017-01-04 浪潮(北京)电子信息产业有限公司 一种存储系统的日志管理方法和系统
CN106485461B (zh) * 2016-09-08 2020-02-04 东软集团股份有限公司 记录流程日志的方法和装置
CN106528344A (zh) * 2016-11-11 2017-03-22 郑州云海信息技术有限公司 一种存储系统日志管理方法
CN107423411A (zh) * 2017-07-28 2017-12-01 郑州云海信息技术有限公司 日志显示方法和装置
CN108170819A (zh) * 2018-01-02 2018-06-15 联想(北京)有限公司 一种用于基板管理控制器的日志管理方法及装置
CN108257383A (zh) * 2018-01-16 2018-07-06 河南魏来网络科技有限公司 一种车载终端和交通通行行为的监控系统
CN109933462A (zh) * 2019-02-25 2019-06-25 深圳小云字符信息科技有限公司 日志信息处理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6125393A (en) * 1997-03-28 2000-09-26 International Business Machines Corporation System of compressing the tail of a sparse log stream of a multisystem environment
CN1506805A (zh) * 2002-12-13 2004-06-23 英业达股份有限公司 动态日志记录方法
JP2004185189A (ja) * 2002-12-02 2004-07-02 Sankyo Seiki Mfg Co Ltd ログ記録データ管理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6125393A (en) * 1997-03-28 2000-09-26 International Business Machines Corporation System of compressing the tail of a sparse log stream of a multisystem environment
JP2004185189A (ja) * 2002-12-02 2004-07-02 Sankyo Seiki Mfg Co Ltd ログ記録データ管理方法
CN1506805A (zh) * 2002-12-13 2004-06-23 英业达股份有限公司 动态日志记录方法

Also Published As

Publication number Publication date
CN1815451A (zh) 2006-08-09

Similar Documents

Publication Publication Date Title
CN100361091C (zh) 日志信息管理方法及系统
CN107463635B (zh) 一种图片数据查询的方法和分布式NewSQL数据库系统
CN110795257B (zh) 处理多集群作业记录的方法、装置、设备及存储介质
CN104301360B (zh) 一种日志数据记录的方法、日志服务器及系统
CN100470522C (zh) 访问内容可寻址存储系统的虚拟库中的内容的方法和装置
US7624118B2 (en) Data processing over very large databases
CN102831156B (zh) 一种云计算平台上的分布式事务处理方法
US7412451B2 (en) Method for persisting a schedule and database schema
US7386530B2 (en) System and method for managing content including addressability features
CA2485936C (en) High-performance change capture for data warehousing
US20020103804A1 (en) Sharing live data with a non cooperative DBMS
CN108319543A (zh) 一种计算机日志数据的异步处理方法及其介质、系统
CN111062684B (zh) 云流程平台下实现业务数据与流程数据一致性处理的系统及其方法
WO2002017183A2 (en) System and method for analysing a transactional monitoring system
CN101578599A (zh) 数据的动态大块到砖块转换
CN101408889A (zh) 一种性能监控的方法、装置及系统
CN111796767A (zh) 一种分布式文件系统及数据管理方法
CN110928906A (zh) 基于flink仅一次写入carbonData的方法
CN101645802B (zh) 内容控制方法及装置
CN101334791A (zh) 用于执行智能内容索引的技术
CN100576848C (zh) 分布式数据动态程序代理方法
CN103617099B (zh) 一种实时的用户文件内容审计方法及系统
US20030200193A1 (en) Fast retrieval of data stored in metadata
US20040181510A1 (en) System and method for cooperative database acceleration
US20060200516A1 (en) Data processing system and method for message handling

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080109

Termination date: 20170131

CF01 Termination of patent right due to non-payment of annual fee