CN100372307C - 一种系统日志管理方法 - Google Patents

一种系统日志管理方法 Download PDF

Info

Publication number
CN100372307C
CN100372307C CNB2005100735742A CN200510073574A CN100372307C CN 100372307 C CN100372307 C CN 100372307C CN B2005100735742 A CNB2005100735742 A CN B2005100735742A CN 200510073574 A CN200510073574 A CN 200510073574A CN 100372307 C CN100372307 C CN 100372307C
Authority
CN
China
Prior art keywords
log
record
file
log record
backup file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2005100735742A
Other languages
English (en)
Other versions
CN1874253A (zh
Inventor
商拖斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CNB2005100735742A priority Critical patent/CN100372307C/zh
Publication of CN1874253A publication Critical patent/CN1874253A/zh
Application granted granted Critical
Publication of CN100372307C publication Critical patent/CN100372307C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种系统日志管理方法，该方法包含：A、判断系统日志备份文件中是否有日志记录，如果是，则读取系统日志备份文件中的日志记录进行处理，并将处理后得到的日志数据存储到日志数据库中，然后执行步骤B；否则直接执行步骤B；B、读取系统日志文件中的日志记录，并将读取的日志记录存储到系统日志备份文件中，然后清除系统日志文件中的日志记录；C、读取系统日志备份文件中的日志记录进行处理，并将处理后得到的日志数据存储到日志数据库中，然后清除系统日志备份文件中的日志记录。本发明中，通过先对系统日志备份文件中的日志记录进行处理并存储，避免了在系统出现故障重启后系统日志备份文件中日志记录的丢失，减少了损失。

Description

一种系统日志管理方法
技术领域
本发明涉及网络管理系统(Network Management System，NMS)技术领域，特别是指一种系统日志管理方法。
背景技术
系统的日志记录提供了对系统活动的详细审计，这些日志用于评估、审查系统的运行环境和各种操作。对于一般情况，日志记录包括记录用户登录时间、登录地点、进行什么操作等内容，如果使用得当，日志记录能向系统管理员提供有关危害安全的侵害或入侵试图等非常有用的信息。
对于比较庞大的网络管理系统来说，由于整个系统产生的日志数量非常巨大，通常需要专门的日志管理系统(Log Management System)对整个系统产生的日志记录进行处理。网络管理系统中的各个设备发送的日志记录通常会发送到一个专门用来收集系统日志的设备上，一般称该设备为系统日志服务器(Syslog Server)，系统日志服务器在接收到其他设备发送的日志记录后，将日志记录存储到系统日志文件(Syslog File)中。此后，网络管理系统中的日志管理系统就可以对系统日志文件中的日志记录进行处理并将处理后的日志数据存储到日志数据库(Log DB)中，通过日志数据库中的日志数据，就能够向网络管理员提供处理过的日志相关数据。
由于网络管理系统所产生的日志记录数量巨大，如果将产生的所有日志记录都存储在系统日志文件中，将浪费巨大的存储空间，并且由于系统日志文件的变化非常迅速，很难直接对系统日志文件进行更新和处理。因此在现有技术中，日志管理系统为系统日志文件建立系统日志备份文件，通过定时触发的方式将系统日志文件中的日志记录转移到系统日志备份文件中，再对系统日志备份文件中的日志记录进行处理，并将处理后得到的日志数据存储到日志数据库中，然后清除系统日志备份文件中的日志记录。通过这样的周期性处理，只需要根据系统情况和定时触发的时间长短为系统日志文件和系统日志备份文件分配合适的存储空间，就可以实现对快速产生的大量日志记录的处理，以及处理后的日志数据的存储。
但是，如果在对系统日志备份文件中的日志记录进行处理的过程中，由于系统出现故障或其他如掉电等原因死机或突然关机，或者由于数据库出现故障没有将处理后的数据存储到日志数据库中，那么在重新启动系统后，系统首先将系统日志文件中的日志记录转移到系统日志备份文件中，这些日志记录覆盖了系统重新启动前系统日志备份文件中的日志记录，而系统重新启动前系统日志备份文件中的日志记录并没有被处理成日志数据存储到日志数据库中，从而导致了系统重新启动前系统日志备份文件中日志记录的丢失。由于日志记录对于网络管理系统来说非常重要，而系统出现故障之前的日志记录更因为通过这些日志记录可以查询到系统出现故障的相关原因而更为重要，所以这些日志记录的丢失，造成的损失非常巨大。
发明内容
有鉴于此，本发明的目的在于提供一种系统日志管理方法，该方法能够防止日志记录的丢失。
为了达到上述目的，本发明提供了一种系统日志管理方法，该方法中，定时触发下述步骤：
A、判断系统日志备份文件中是否有日志记录，如果是，则读取系统日志备份文件中的日志记录进行处理，并将处理后得到的日志数据存储到日志数据库中，然后执行步骤B；否则直接执行步骤B；
B、读取系统日志文件中的日志记录，并将读取的日志记录存储到系统日志备份文件中，然后清除系统日志文件中的日志记录；
C、读取系统日志备份文件中的日志记录进行处理，并将处理后得到的日志数据存储到日志数据库中，然后清除系统日志备份文件中的日志记录。
较佳地，步骤A中所述将处理后得到的日志数据存储到日志数据库中后，进一步包括：清除系统日志备份文件中的日志记录。
从以上技术方案可以看出，本发明中，通过在对系统日志的管理过程中，首先判断系统日志备份文件中是否有日志记录，如果有，则在对系统日志备份文件中的日志记录进行处理并将处理后得到的日志数据存储到日志数据库中之后，才将系统日志文件中的日志记录转移到系统日志备份文件中，然后再处理系统日志备份文件中的日志记录，将得到的日志数据存储到日志数据库中；从而在将系统日志文件中的日志记录转移到系统日志备份文件中后，即使系统出现故障，没有对系统日志备份文件中的日志记录处理，或没有将处理后的日志数据存储到日志数据库中，在系统重新启动后，也不会直接覆盖系统日志备份文件中原有的日志记录，避免了日志记录的丢失，减少了损失；
此外，本发明中通过在将处理后得到的日志数据存储到日志数据库中后，对系统日志备份文件中的日志记录进行清除，防止了对系统日志备份文件中日志记录的重复处理，减轻了系统的负担。
附图说明
图1为本发明系统日志管理方法的总体流程图；
图2为本发明系统日志管理方法具体实施例的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。
本发明的主要思想是，日志管理系统在对系统日志的管理过程中，首先对系统日志备份文件中的日志记录进行处理，并在将处理后得到的日志数据存储到日志数据库中之后，才读取系统日志文件中的日志记录存储到日志备份文件中，从而避免在系统出现故障重启后备份文件中日志记录的丢失。
本发明系统日志管理方法的总体流程如图1所示，步骤如下：
步骤101～102、判断系统日志备份文件中是否有日志记录，如果是，则读取系统日志备份文件中的日志记录进行处理，并将处理后得到的日志数据存储到日志数据库中，然后执行步骤103；否则直接执行步骤103；
与现有技术相同，系统通过定时的方式触发并执行本步骤；
步骤103、读取系统日志文件中的日志记录，并将读取的日志记录存储到系统日志备份文件中，然后清除系统日志文件中的日志记录；
在本步骤中，将读取的日志记录存储到系统日志备份文件中时，虽然覆盖了原有系统日志备份文件中的日志记录，但由于这些日志记录已经被处理，并将处理后的日志数据保存到了日志数据库中，就保证了日志记录不会丢失；
步骤104、读取系统日志备份文件中的日志记录进行处理，并将处理后得到的日志数据存储到日志数据库中，然后清除系统日志备份文件中的日志记录。
下面再通过具体实施例对本发明进行详细说明。
本发明系统日志管理方法的具体实施例的流程如图2所示，图2中的流程也由系统定时触发，其中的步骤大部分与图1相同，区别仅在于，在步骤102中将处理后得到的日志数据存储到日志数据库中后，执行步骤103之前，先执行步骤1021：清除系统日志备份文件中的日志记录。
由于在执行步骤103时，在用系统日志文件中的日志记录覆盖系统日志备份文件中的日志记录之前系统可能出现故障，而在该时刻出现故障并重启后执行图1中流程时，系统会再次对系统日志备份文件中已经处理并存储了处理结果的日志记录进行处理。所以在本实施例中增加了步骤1021，通过在步骤1021中清除系统日志备份文件中的日志记录，即使在用系统日志文件中的日志记录覆盖系统日志备份文件中的日志记录之前系统出现了故障，重启后会在判断出系统日志备份文件为空后，直接执行步骤103，防止了对系统日志备份文件中日志记录的重复处理，减轻了系统的负担。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种系统日志管理方法，其特征在于，该方法中定时触发下述步骤：
A、判断系统日志备份文件中是否有日志记录，如果是，则读取系统日志备份文件中的日志记录进行处理，并将处理后得到的日志数据存储到日志数据库中，然后执行步骤B；否则直接执行步骤B；
B、读取系统日志文件中的日志记录，并将读取的日志记录存储到系统日志备份文件中，然后清除系统日志文件中的日志记录；
C、读取系统日志备份文件中的日志记录进行处理，并将处理后得到的日志数据存储到日志数据库中，然后清除系统日志备份文件中的日志记录。
2.根据权利要求1所述的方法，其特征在于，步骤A中所述将处理后得到的日志数据存储到日志数据库中后，进一步包括：清除系统日志备份文件中的日志记录。
CNB2005100735742A 2005-06-02 2005-06-02 一种系统日志管理方法 Expired - Fee Related CN100372307C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNB2005100735742A CN100372307C (zh) 2005-06-02 2005-06-02 一种系统日志管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNB2005100735742A CN100372307C (zh) 2005-06-02 2005-06-02 一种系统日志管理方法

Publications (2)

Publication Number Publication Date
CN1874253A CN1874253A (zh) 2006-12-06
CN100372307C true CN100372307C (zh) 2008-02-27

Family

ID=37484534

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005100735742A Expired - Fee Related CN100372307C (zh) 2005-06-02 2005-06-02 一种系统日志管理方法

Country Status (1)

Country Link
CN (1) CN100372307C (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1976499B (zh) * 2006-12-18 2010-05-19 中兴通讯股份有限公司 一种实现历史短消息转存的系统及其方法
CN101677445A (zh) * 2008-09-16 2010-03-24 中兴通讯股份有限公司 一种业务系统日志文件的清理方法及系统
CN102521070A (zh) * 2011-11-18 2012-06-27 深圳中兴网信科技有限公司 一种基于内存的日志信息镜像恢复方法
CN105281934B (zh) * 2014-06-27 2020-02-14 中兴通讯股份有限公司 单板日志信息的存储方法及系统
CN107357686A (zh) * 2017-07-20 2017-11-17 郑州云海信息技术有限公司 一种日志删除方法及装置
CN109104314B (zh) * 2018-08-20 2022-02-25 郑州云海信息技术有限公司 一种修改日志配置文件的方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1011330A (ja) * 1996-06-26 1998-01-16 Ricoh Co Ltd ログ記録方法およびログ記録装置
JPH11312101A (ja) * 1998-04-28 1999-11-09 Oki Electric Ind Co Ltd 稼働情報管理方法及び装置
CN1361489A (zh) * 2000-12-28 2002-07-31 深圳市中兴通讯股份有限公司 一种日志信息的自动循环存储方法和系统
CN1506805A (zh) * 2002-12-13 2004-06-23 英业达股份有限公司 动态日志记录方法
JP2004185460A (ja) * 2002-12-05 2004-07-02 Mitsubishi Electric Corp 運転履歴データ管理システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1011330A (ja) * 1996-06-26 1998-01-16 Ricoh Co Ltd ログ記録方法およびログ記録装置
JPH11312101A (ja) * 1998-04-28 1999-11-09 Oki Electric Ind Co Ltd 稼働情報管理方法及び装置
CN1361489A (zh) * 2000-12-28 2002-07-31 深圳市中兴通讯股份有限公司 一种日志信息的自动循环存储方法和系统
JP2004185460A (ja) * 2002-12-05 2004-07-02 Mitsubishi Electric Corp 運転履歴データ管理システム
CN1506805A (zh) * 2002-12-13 2004-06-23 英业达股份有限公司 动态日志记录方法

Also Published As

Publication number Publication date
CN1874253A (zh) 2006-12-06

Similar Documents

Publication Publication Date Title
KR101801432B1 (ko) 파일 시스템 내에 투명 페일오버의 제공
CN100372307C (zh) 一种系统日志管理方法
CN102769549B (zh) 网络安全监控的方法和装置
CN107704360B (zh) 监控数据的处理方法、设备、服务器及存储介质
US20110004917A1 (en) Integration Platform for Collecting Security Audit Trail
CN103761165B (zh) 日志备份方法及装置
CA2593542C (en) Systems, methods, and software for distributed loading of databases
CN104679772A (zh) 分布式数据仓库中删除文件的方法、装置、设备及系统
CN103023984B (zh) 终端应用服务器及其应用日志过滤方法
CN113595788B (zh) 一种基于插件的api网关管理方法及装置
US11169901B2 (en) Storage-based log file management
CN107040576A (zh) 信息推送方法及装置、通讯系统
CN111342986B (zh) 分布式节点管理方法及装置、分布式系统、存储介质
CN102436567B (zh) 信息处理装置及密码诊断方法
JP4256107B2 (ja) データサーバへの不正侵入対処方法、及びプログラム
CN109104314B (zh) 一种修改日志配置文件的方法及装置
US9852031B2 (en) Computer system and method of identifying a failure
EP2210367A1 (fr) Procede de gestion d'operations d'administration, de maintenance et de maintien en condition operationnelle, entite de gestion, et produit programme d'ordinateur correspondant
CN106686035A (zh) 基于Apache FtpServer实现定制化FTP服务器的方法及装置
CN114003612A (zh) 针对数据库异常状况的处理方法及处理系统
CN104166820A (zh) 一种数据管理方法和系统
CN108924013B (zh) 网络流量精确采集方法及装置
CN111124428A (zh) 一种基于中创中间件的应用自动化发布方法和相关装置
CN103970803B (zh) 浏览器访问提示方法和系统
CN116719663B (zh) 一种数据处理方法、装置、设备以及可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080227

Termination date: 20160602