CN100518078C - 网络日志数据管理系统及方法 - Google Patents

网络日志数据管理系统及方法 Download PDF

Info

Publication number
CN100518078C
CN100518078C CNB2004100267767A CN200410026776A CN100518078C CN 100518078 C CN100518078 C CN 100518078C CN B2004100267767 A CNB2004100267767 A CN B2004100267767A CN 200410026776 A CN200410026776 A CN 200410026776A CN 100518078 C CN100518078 C CN 100518078C
Authority
CN
China
Prior art keywords
log
daily record
data
module
record data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2004100267767A
Other languages
English (en)
Other versions
CN1677931A (zh
Inventor
王建中
许传政
陈俊安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hongfujin Precision Industry Shenzhen Co Ltd
Hon Hai Precision Industry Co Ltd
Original Assignee
Hongfujin Precision Industry Shenzhen Co Ltd
Hon Hai Precision Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hongfujin Precision Industry Shenzhen Co Ltd, Hon Hai Precision Industry Co Ltd filed Critical Hongfujin Precision Industry Shenzhen Co Ltd
Priority to CNB2004100267767A priority Critical patent/CN100518078C/zh
Publication of CN1677931A publication Critical patent/CN1677931A/zh
Application granted granted Critical
Publication of CN100518078C publication Critical patent/CN100518078C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

本发明提供一种网络日志数据管理系统及方法，用于记录和管理网络信息，该系统包括：若干日志服务模块，用于创建网络系统运行过程中发生的若干日志数据并对各日志数据进行级别分类；一日志管理模块，用于分析并处理所述若干日志服务模块所创建的日志数据，其进一步包括一日志缓冲模块，用于暂时存放最新发生的日志数据；一日志存储模块，用于存储来自日志管理模块的日志数据；以及一用户界面，用以供用户发送指令，及显示用户所需网络运作当前或先前的日志数据。

Description

网络日志数据管理系统及方法
【技术领域】
本发明涉及一种日志数据管理系统，尤其涉及一种对网络系统运作过程中各网络设备、功能模块的配置情况及运行状态进行记录、分析和存储的日志数据管理系统。
【背景技术】
随着计算机网络的迅速发展，与网络连接的硬设备和运行在各伺服设备上的软件程序均与日俱增，各网络系统与外界连接也日渐频繁。因而在进行网络管理时有必要将网络系统运作过程中各设备、软件模块的日志数据进行记录、分析和存储，以便管理人员有效排除网络故障。
现有日志处理相关技术中，如2001年10月17日公开，申请号为00128889.x，名为“在通信网络中存储日志数据的方法和装置”的中国专利，其提供了一种只容许写一次日志数据的存储方法，采用光盘记录器介质(Compact Disk-Recorder，CD-R)或数字通用光盘记录器介质(Digital Versatile Disk-Recorder，DVDR)进行日志数据的记录，从而可以防止未被授权的用户擅自修改或者删除原先所记录的日志数据。
再如另一现有日志处理相关技术，于2002年3月27日公开，申请号为01127802.1，名为“电子日志记录方法”的中国专利，其采用微处理器对日志数据在写入或者读出日志数据都进行加密运算，使得日志数据的记录不可以伪造和删除。
上述两项发明均仅仅在日志数据存储的可靠性方面进行优化，而未涉及提供给用户一个灵活变换各级别日志数据的处理方式，以及能够快速显示日志数据的方法。
【发明内容】
鉴于现有网络日志数据管理系统的不足，本发明采用一灵活的过滤机制，以供用户随时设定其需要了解的日志数据，以及采用一快速的缓存模块用于及时显示日志数据。
本发明提供一种网络日志数据管理系统，其可对网络中各类数据，诸如网络中所有网络设备配置数据的改变、网络系统各设备或模块运作方式的改变，进行创建、分析和存储管理。该网络日志数据管理系统，包括：日志服务模块，用于创建网络系统运行过程中发生的若干日志数据并对各日志数据进行级别分类；一日志管理模块，用于根据各日志数据的级别分析并处理所获取的日志数据，其还包括一日志缓冲模块，用于暂时存放最新发生的日志数据；一日志存储模块，用于保存来自日志管理模块的日志数据；以及一用户界面，为CLI(Command Line Interface)界面或Web界面，用以供用户发送指令，及显示用户所需网络运作当前或先前的日志数据。
本发明的网络日志数据管理方法，其可对网络运作期间所发生的日志数据进行创建、分析和存储等管理，该方法包括有如下步骤：(a)启动日志数据管理模块；(b)判断用户是否需要显示启动之前的日志数据；(c)若步骤(b)判断成立，日志管理模块从日志存储模块中读取日志数据并传递给用户界面加以显示；(d)若步骤(b)判断不成立，日志管理模块向日志中转模块进行日志注册；(e)日志管理模块接收来自日志中转模块的日志数据，并将其暂存于日志缓冲模块内；(f)判断用户是否需要显示当前日志数据；(g)若步骤(f)判断成立，则根据日志过滤机制一一比较各日志数据的级别，并显示不高于过滤机制级别的日志数据；(h)若步骤(f)判断不成立，存储日志数据。
相较现有的网络日志数据管理系统和方法，本发明对网络运作期间所产生的日志数据进行级别分类处理，用户可根据其需要灵活变换各级别日志数据的处理方式。
【附图说明】
图1是本发明网络日志数据管理系统的功能模块示意图。
图2是本发明网络日志数据管理方法的流程图。
【具体实施方式】
如图1所示，是本发明网络日志数据管理系统的功能模块示意图。本发明的网络日志数据管理系统包括：日志管理模块110、日志中转模块120、若干日志服务模块130、日志存储模块150和用户界面160，其中日志管理模块110中又包括有一日志缓冲模块111。
在网络系统运作过程中，若干日志服务模块130负责创建若干日志数据、对各日志数据进行级别分类，并将其传输给日志中转模块120。在本发明中，采用了四个由低到高的日志级别：INFORMATIONAL级别、NOTIFICATION级别、ALERT级别、以及CRITICAL级别。其中，INFORMATIONAL级别用于描述在网络系统运行期间所有改变的数据，NOTIFICATION级别用于描述网络系统配置类的数据，ALERT级别用于描述造成网络系统运行混乱的数据，CRITICAL级别用于描述将会引发网络系统崩溃的数据。
日志中转模块120用于收集来自不同日志服务模块发送的日志数据，并随时响应日志管理模块110传送日志数据的请求。
日志管理模块110为该日志数据管理系统的核心模块，其包含有以下功能：(1)向日志中转模块120进行日志数据注册；(2)接收日志中转模块120发送的日志数据并将其存储在日志缓冲模块111中；(3)根据日志过滤机制，将日志缓冲模块111中的日志数据提供给用户界面加以显示，以及将其进一步存储到日志存储模块150。在系统默认的日志过滤机制下，日志管理模块110将网络系统运行过程中所有发生的日志数据提供给用户界面显示，也即日志过滤机制级别为INFORMATIONAL级别。用户可以根据其需要更改此日志过滤机制，如当日志过滤机制设置为NOTIFICATION级别表示客户端将显示所有被NOTIFICATION级别、ALERT级别、以及CRITICAL级别所覆盖的日志数据；当日志过滤机制设置为ALERT级别时，表示客户端将显示所有被ALERT级别和CRITICAL级别所覆盖的日志数据；当日志过滤机制设置为CRITICAL级别时，表示客户端将显示所有被CRITICAL级别所覆盖的日志数据。
日志缓冲模块111内置于日志管理模块110中，其可以实现快速存储的功能。该日志缓冲模块111系采用先进先出(First In First Out，FIFO)的堆栈方式来存储若干日志数据，即当存储容量充满时，新的日志数据将覆盖该堆栈序列中最先存储的日志数据。日志管理模块110可以用来清除日志缓冲模块111的内容，同时通过删除日志存储模块150中日志数据的文件也可达到上述清除目的。
日志存储模块150主要用来长时间的保存日志数据，确保网络系统发生故障时，可以从中调取相关的日志数据进行分析。
用户界面160系用来供用户发送各种指令及显示用户所需要日志数据，其可采用CLI(Command Line Interface，命令行)界面或Web界面的方式。
如图2所示，是本发明网络日志数据管理方法的流程图。系统运行开始，当用户界面160启动日志管理模块110后，日志管理模块110判断用户是否需要显示启动之前的日志数据(步骤S210)。若上述判断需要显示，则日志管理模块110从日志存储模块150中读取日志数据并将其存储在日志缓冲模块111中(步骤S270)。用户界面160从日志缓冲模块111中获取日志数据并且加以显示，以供用户查询之前网络系统产生的数据(步骤S280)。若上述判断不需要显示，则日志管理模块110向日志中转模块120进行日志注册(步骤S220)，要求其在接收到若干日志服务模块130创建的日志后根据该注册数据将对应的日志数据发送给日志管理模块110。日志管理模块110接收到若干日志服务模块130创建的日志数据(步骤S230)。日志管理模块110将日志数据暂时存储于日志缓冲模块111中(步骤S240)。日志管理模块110判断用户是否需要显示当前的日志数据(步骤S250)。若用户需要显示，则日志管理模块110根据日志过滤机制对日志缓冲模块111中若干日志数据的级别进行一一比较，再通过用户界面160显示那些日志缓冲模块111中不高于过滤机制级别的日志数据(步骤S290)。在显示日志数据过程中，其系先显示新产生的日志数据而后显示后产生的日志数据。在本实施例中，所有的日志数据分为由低到高的四个日志级别：INFORMATIONAL级别、NOTIFICATION级别、ALERT级别、以及CRITICAL级别，而日志过滤机制设定为其中一个级别。最后将日志缓冲模块111中的日志数据存储到日志存储模块150中(步骤S260)。

Claims (14)

1.一种网络日志数据管理系统，用于记录和管理网络信息，包括：若干用于创建日志数据的日志服务模块和一日志存储模块，其特征在于，日志服务模块还对各日志数据进行级别分类，该系统还包含一日志管理模块，用于根据各日志数据的级别分析并处理所述若干日志服务模块所创建的日志数据，所述日志管理模块进一步包括一日志缓冲模块，用于暂时存放最新发生的日志数据。
2.如权利要求1所述的网络日志数据管理系统，其特征在于更包含有一日志中转模块，用于根据预定的条件将日志数据传送至日志管理模块。
3.如权利要求1所述的网络日志数据管理系统，其特征在于更包含有一用户界面，用于供用户发送各种指令及显示日志数据。
4.如权利要求3所述的网络日志数据管理系统，其特征在于该用户界面为命令行界面。
5.如权利要求3所述的网络日志数据管理系统，其特征在于该用户界面为Web界面。
6.如权利要求1所述的网络日志数据管理系统，其特征在于该日志数据级别至少包含有一第一级别，该级别涵盖所有网络运作时发生的数据。
7.如权利要求1所述的网络日志数据管理系统，其特征在于该日志数据级别至少包含有一第二级别，该级别描述网络系统配置类的数据。
8.如权利要求1所述的网络日志数据管理系统，其特征在于该日志数据级别至少包含有一第三级别，该级别描述造成网络系统运行混乱的数据。
9.如权利要求1所述的网络日志数据管理系统，其特征在于该日志数据的级别至少包含有一第四级别，该级别描述将会引发网络系统崩溃的数据。
10.如权利要求1所述的网络日志数据管理系统，其特征在于该日志管理模块更包含一日志过滤机制，用于设定各级别的日志数据的管理方式。
11.一种网络日志数据管理方法，用于记录和管理网络信息，其特征在于包含如下步骤：
(a)启动日志管理模块；
(b)判断用户是否需要显示启动之前的日志数据；
(c)若步骤(b)判断成立，日志管理模块从日志存储模块中读取日志数据并传递给用户界面加以显示；
(d)若步骤(b)判断不成立，日志管理模块向日志中转模块进行日志注册；
(e)日志管理模块接收来自日志中转模块的日志数据，并将其暂存于日志缓冲模块内；
(f)判断用户是否需要显示当前日志数据；
(g)若步骤(f)判断成立，则根据日志过滤机制一一比较各日志数据的级别，并显示不高于过滤机制级别的日志数据；
(h)若步骤(f)判断不成立，存储日志数据。
12.如权利要求11所述的网络日志数据管理方法，其特征在于该日志中转模块在网络运行期间接收来自各日志服务模块创建并进行级别分类的日志数据。
13.如权利要求12所述的网络日志数据管理方法，其特征在于步骤(g)进一步包括以下子步骤：
(g1)判断日志缓冲模块中日志数据的级别是否不小于过滤机制中设定的等级；
(g2)若(g1)的判断成立，则将该日志数据提供给用户界面用以显示并存储。
14.如权利要求11所述的网络日志数据管理方法，其特征在于该日志缓冲模块采用先进先出的存储方式。
CNB2004100267767A 2004-04-02 2004-04-02 网络日志数据管理系统及方法 Expired - Fee Related CN100518078C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNB2004100267767A CN100518078C (zh) 2004-04-02 2004-04-02 网络日志数据管理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNB2004100267767A CN100518078C (zh) 2004-04-02 2004-04-02 网络日志数据管理系统及方法

Publications (2)

Publication Number Publication Date
CN1677931A CN1677931A (zh) 2005-10-05
CN100518078C true CN100518078C (zh) 2009-07-22

Family

ID=35050247

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2004100267767A Expired - Fee Related CN100518078C (zh) 2004-04-02 2004-04-02 网络日志数据管理系统及方法

Country Status (1)

Country Link
CN (1) CN100518078C (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100461710C (zh) * 2007-03-15 2009-02-11 华为技术有限公司 分布式系统日志收集方法及系统
CN101079883B (zh) * 2007-03-26 2010-09-08 腾讯科技（深圳）有限公司 一种留言板实现系统及方法
CN101582816B (zh) * 2009-06-11 2012-02-08 中兴通讯股份有限公司 一种家庭网关及其诊断维护信息的收集系统及方法
CN102053923B (zh) * 2009-11-05 2013-06-12 北京金山软件有限公司 一种日志数据的存储方法及存储装置
CN102111285B (zh) * 2009-12-24 2015-06-10 北京世纪互联宽带数据中心有限公司 一种日志信息管理方法及系统
CN102385549A (zh) * 2010-09-02 2012-03-21 北京无限立通通讯技术有限责任公司 日志处理系统、日志处理方法和日志存储子系统
CN101964795A (zh) * 2010-09-30 2011-02-02 北京世纪互联工程技术服务有限公司 日志采集系统、日志采集方法和日志回收服务器
CN101958837B (zh) * 2010-09-30 2015-10-07 北京世纪互联宽带数据中心有限公司 日志处理系统、日志处理方法、节点服务器和中心服务器
CN102761439B (zh) * 2012-06-13 2014-11-19 烽火通信科技股份有限公司 Pon接入系统中基于看门狗的异常检测记录装置及方法
CN103580899B (zh) * 2012-08-01 2018-11-30 南京中兴新软件有限责任公司 事件日志管理方法、系统、云服务客户端及虚拟化平台
CN102981943B (zh) * 2012-10-29 2016-05-11 新浪技术（中国）有限公司 监控应用日志的方法及系统
CN103064905B (zh) * 2012-12-18 2016-04-20 武汉华中数控股份有限公司 一种数控系统的日志管理方法
CN103905223B (zh) * 2012-12-26 2018-01-19 腾讯科技（北京）有限公司 数据包采集方法、系统和装置
CN104731763A (zh) * 2013-12-24 2015-06-24 横河电机株式会社 一种监控显示系统及方法
CN103763368B (zh) * 2014-01-20 2016-07-06 浪潮电子信息产业股份有限公司 一种跨数据中心的数据同步方法
CN105071958B (zh) * 2015-07-29 2018-07-31 上海斐讯数据通信技术有限公司 一种服务器控制台日志管理系统和方法
CN105550265A (zh) * 2015-12-09 2016-05-04 苏州天平先进数字科技有限公司 一种准实时用户日志收集和处理方法
CN105550264A (zh) * 2015-12-09 2016-05-04 苏州天平先进数字科技有限公司 用户日志收集和处理系统以及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001197155A (ja) * 2000-01-14 2001-07-19 Mitsubishi Electric Corp ロギングデータの管理方式
CN1317745A (zh) * 2000-04-07 2001-10-17 数字保安株式会社 在通信网络中存储日志数据的方法和装置
CN1394034A (zh) * 2001-06-21 2003-01-29 华为技术有限公司 综合网管设备日志管理系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001197155A (ja) * 2000-01-14 2001-07-19 Mitsubishi Electric Corp ロギングデータの管理方式
CN1317745A (zh) * 2000-04-07 2001-10-17 数字保安株式会社 在通信网络中存储日志数据的方法和装置
CN1394034A (zh) * 2001-06-21 2003-01-29 华为技术有限公司 综合网管设备日志管理系统

Also Published As

Publication number Publication date
CN1677931A (zh) 2005-10-05

Similar Documents

Publication Publication Date Title
CN100518078C (zh) 网络日志数据管理系统及方法
US8819364B2 (en) Information processing apparatus, tape device, and computer-readable medium storing program
CN100512409C (zh) 数据处理装置和数据处理方法
CN101673192B (zh) 时序化的数据处理方法、装置及系统
CN104750859A (zh) 一种网络存储方法
RU2007101287A (ru) Усовершенствованное устройство обработки сетевой статистики
CN106648442A (zh) 一种元数据节点的内存镜像方法、装置
CN106980665A (zh) 数据字典实现方法、装置及数据字典管理系统
CN108021585A (zh) 分布式数据存储方法和装置
TWI263915B (en) System and method for logging event of telecommunications devices
CN110505444A (zh) 基于大数据的安防监控系统
CN113553325A (zh) 一种对象存储系统中聚合对象的同步方法和系统
US6499056B1 (en) First host computer through a first interface sending to a second host computer a message including information about transfer data written to a storage subsystem through a second interface
US4733349A (en) Method for recording and managing processing history information using a plurality of storage devices
CN110311817B (zh) 用于Kubernetes集群的容器日志处理系统
CN114780493A (zh) 无人车数据的处理方法、装置、设备和存储介质
CN109522273A (zh) 一种实现数据写入的方法及装置
US8041529B2 (en) Changing parameters in a tested system using virtual working pages
CN109614380A (zh) 日志处理方法、系统、计算机设备及可读介质
CN112181973B (zh) 一种时序数据的存储方法
CN113115069A (zh) 一种行车记录仪的视频存储方法和系统
JP2004157728A (ja) データベース乱れ解消処理方法及びその実施装置並びにその処理プログラム
CN110019105A (zh) 一种可靠高效的分布式文件系统
JP2985385B2 (ja) 画像データ検索システム
CN105912267B (zh) 一种文件分配表处理方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090722

Termination date: 20100402