CN107766167A - 一种故障日志重复报错归并的方法 - Google Patents

一种故障日志重复报错归并的方法 Download PDF

Info

Publication number
CN107766167A
CN107766167A CN201710994260.9A CN201710994260A CN107766167A CN 107766167 A CN107766167 A CN 107766167A CN 201710994260 A CN201710994260 A CN 201710994260A CN 107766167 A CN107766167 A CN 107766167A
Authority
CN
China
Prior art keywords
event
chained list
merger
error
log
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710994260.9A
Other languages
English (en)
Inventor
郭美思
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201710994260.9A priority Critical patent/CN107766167A/zh
Publication of CN107766167A publication Critical patent/CN107766167A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/079—Root cause analysis, i.e. error or fault diagnosis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明特别涉及一种故障日志重复报错归并的方法，先根据服务器实际出现故障的情况，建立故障规则库；然后读取日志，根据建立的故障规则库检索日志文件，按照故障规则库中的关键字封装事件，并将事件插入事件链表中；当有相同规则事件产生时，对比事件链表中的事件信息，对日志信息进行相似度匹配，若事件信息相同则与事件链表中原有事件合并。该故障日志重复报错归并的方法，能够将故障日志中描述同一故障的重复报错信息进行归并处理，提高了技术人员故障诊断效率。

Description

一种故障日志重复报错归并的方法
技术领域
本发明涉及故障诊断技术领域，特别涉及一种故障日志重复报错归并的方法。
背景技术
为了让系统管理员对系统的运行流程有全面的了解，系统中的程序在运行过程中会产生大量的日志信息，其中包括运行日志、故障日志、调试日志等。在现代计算机系统中，故障日志一直都是获取系统运行情况，诊断系统故障的首要信息来源。通过对故障日志的分析可以有效的监视用户的操作，探测外部的攻击，发现系统的运行瓶颈以及诊断系统中的故障。
但是随着云计算和集群环境的发展，系统和软件的架构也越来越复杂，各个不同层次间的软件和硬件频繁的交互，导致了系统的高耦合性，也加大了对系统故障进行诊断的难度。
同时，面对系统中大量组件产生的海量日志，运维人员发现系统日志中常常有大量的重复信息，这些故障信息描述的是同种错误。此时仅仅依靠系统运维人员很难从大量复杂的日志信息中抽取出准确有效的故障信息，日志信息中连续打印的重复的故障信息会使技术人员在诊断故障时造成大量时间的浪费。传统的基于故障日志的故障分析很难对系统进行全面、准确的故障诊断。
基于此，本发明设计了一种故障日志重复报错归并的方法。
发明内容
本发明为了弥补现有技术的缺陷，提供了一种简单高效的故障日志重复报错归并的方法。
本发明是通过如下技术方案实现的：
一种故障日志重复报错归并的方法，其特征在于，包括以下步骤：
（1）根据服务器实际出现故障的情况，建立故障规则库；
（2）读取日志，根据建立的故障规则库检索日志文件，按照故障规则库中的关键字封装事件，并将事件插入事件链表中；
（3）当有相同规则事件产生时，对比事件链表中的事件信息，对日志信息进行相似度匹配，若事件信息相同则与事件链表中原有事件合并。
所述步骤（1）中，建立故障规则库的故障规则字段包括故障类别，故障部件，日志级别，日志详细信息，关键字，日志路径，问题描述和解决方法。
所述步骤（2）中，根据故障规则库中筛选出相同的关键字所在行记录，封装事件；所述步骤（3）中，当有相同规则事件产生时，对比事件链表中的记录，匹配行记录是否相同，若相同，则替换事件链表中的事件，若不同，则插入事件链表。
本发明的有益效果：该故障日志重复报错归并的方法，能够将故障日志中描述同一故障的重复报错信息进行归并处理，提高了运维人员的系统故障诊断效率，对当前计算机系统管理有非常重要的意义。
附图说明
附图1为本发明故障日志重复报错归并的方法示意图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图和实施例，对本发明进行详细的说明。应当说明的是，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
该故障日志重复报错归并的方法，包括以下步骤：
（1）根据服务器实际出现故障的情况，建立故障规则库；
（2）读取日志，根据建立的故障规则库检索日志文件，按照故障规则库中的关键字封装事件，并将事件插入事件链表中；
（3）当有相同规则事件产生时，对比事件链表中的事件信息，对日志信息进行相似度匹配，若事件信息相同则与事件链表中原有事件合并。
所述步骤（1）中，建立故障规则库的故障规则字段包括故障类别，故障部件，日志级别，日志详细信息，关键字，日志路径，问题描述和解决方法。
所述步骤（2）中，根据故障规则库中筛选出相同的关键字所在行记录，封装事件；所述步骤（3）中，当有相同规则事件产生时，对比事件链表中的记录，匹配行记录是否相同，若相同，则替换事件链表中的事件，若不同，则插入事件链表。
该故障日志重复报错归并的方法，对故障日志中重复报错的信息进行归并处理，把这些重复的故障信息归并成一个事件处理，提高了系统运维人员的工作效率，对当前计算机系统管理有非常重要的意义。

Claims (3)

1.一种故障日志重复报错归并的方法，其特征在于，包括以下步骤：
（1）根据服务器实际出现故障的情况，建立故障规则库；
（2）读取日志，根据建立的故障规则库检索日志文件，按照故障规则库中的关键字封装事件，并将事件插入事件链表中；
（3）当有相同规则事件产生时，对比事件链表中的事件信息，对日志信息进行相似度匹配，若事件信息相同则与事件链表中原有事件合并。
2.根据权利要求1所述的故障日志重复报错归并的方法，其特征在于：所述步骤（1）中，建立故障规则库的故障规则字段包括故障类别，故障部件，日志级别，日志详细信息，关键字，日志路径，问题描述和解决方法。
3.根据权利要求1所述的故障日志重复报错归并的方法，其特征在于：所述步骤（2）中，根据故障规则库中筛选出相同的关键字所在行记录，封装事件；所述步骤（3）中，当有相同规则事件产生时，对比事件链表中的记录，匹配行记录是否相同，若相同，则替换事件链表中的事件，若不同，则插入事件链表。
CN201710994260.9A 2017-10-23 2017-10-23 一种故障日志重复报错归并的方法 Pending CN107766167A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710994260.9A CN107766167A (zh) 2017-10-23 2017-10-23 一种故障日志重复报错归并的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710994260.9A CN107766167A (zh) 2017-10-23 2017-10-23 一种故障日志重复报错归并的方法

Publications (1)

Publication Number Publication Date
CN107766167A true CN107766167A (zh) 2018-03-06

Family

ID=61269849

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710994260.9A Pending CN107766167A (zh) 2017-10-23 2017-10-23 一种故障日志重复报错归并的方法

Country Status (1)

Country Link
CN (1) CN107766167A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109062746A (zh) * 2018-07-27 2018-12-21 郑州云海信息技术有限公司 一种服务器管理单元的故障自诊断方法、装置及存储介质
CN113676464A (zh) * 2021-08-09 2021-11-19 国家电网有限公司 一种基于大数据分析技术的网络安全日志告警处理方法
CN114546706A (zh) * 2022-03-08 2022-05-27 哈尔滨禹晖文化传媒有限公司 一种应用于深度学习的应用程序缺陷分析方法及服务器

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040143417A1 (en) * 1999-10-28 2004-07-22 Hedlund Eric H. Apparatus and method for performance and fault data analysis
CN101060436A (zh) * 2007-06-05 2007-10-24 杭州华三通信技术有限公司 一种用于通信设备的故障分析方法及装置
CN104021143A (zh) * 2014-05-14 2014-09-03 北京网康科技有限公司 一种记录网页访问行为的方法及装置
CN104933056A (zh) * 2014-03-18 2015-09-23 腾讯科技（深圳）有限公司 统一资源定位符去重方法及装置
CN105447090A (zh) * 2015-11-05 2016-03-30 华中科技大学 一种自动化数据挖掘预处理方法
CN106209456A (zh) * 2016-07-13 2016-12-07 浪潮(北京)电子信息产业有限公司 一种内核态下网络故障检测方法及装置
CN107018023A (zh) * 2017-04-17 2017-08-04 广东浪潮大数据研究有限公司 一种服务器诊断方法、装置及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040143417A1 (en) * 1999-10-28 2004-07-22 Hedlund Eric H. Apparatus and method for performance and fault data analysis
CN101060436A (zh) * 2007-06-05 2007-10-24 杭州华三通信技术有限公司 一种用于通信设备的故障分析方法及装置
CN104933056A (zh) * 2014-03-18 2015-09-23 腾讯科技（深圳）有限公司 统一资源定位符去重方法及装置
CN104021143A (zh) * 2014-05-14 2014-09-03 北京网康科技有限公司 一种记录网页访问行为的方法及装置
CN105447090A (zh) * 2015-11-05 2016-03-30 华中科技大学 一种自动化数据挖掘预处理方法
CN106209456A (zh) * 2016-07-13 2016-12-07 浪潮(北京)电子信息产业有限公司 一种内核态下网络故障检测方法及装置
CN107018023A (zh) * 2017-04-17 2017-08-04 广东浪潮大数据研究有限公司 一种服务器诊断方法、装置及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109062746A (zh) * 2018-07-27 2018-12-21 郑州云海信息技术有限公司 一种服务器管理单元的故障自诊断方法、装置及存储介质
CN113676464A (zh) * 2021-08-09 2021-11-19 国家电网有限公司 一种基于大数据分析技术的网络安全日志告警处理方法
CN114546706A (zh) * 2022-03-08 2022-05-27 哈尔滨禹晖文化传媒有限公司 一种应用于深度学习的应用程序缺陷分析方法及服务器
CN114546706B (zh) * 2022-03-08 2022-11-11 极客邦控股(北京)有限公司 一种应用于深度学习的应用程序缺陷分析方法及服务器

Similar Documents

Publication Publication Date Title
CN111209131B (zh) 一种基于机器学习确定异构系统的故障的方法和系统
CN111984499B (zh) 一种大数据集群的故障检测方法和装置
Lou et al. Mining dependency in distributed systems through unstructured logs analysis
US20200007381A1 (en) Predicting computer network equipment failure
Zhao et al. An empirical investigation of practical log anomaly detection for online service systems
CN107995049A (zh) 电力安全区跨区同步故障监测方法、装置和系统
CN110750377A (zh) 一种故障定位方法及装置
CN107766167A (zh) 一种故障日志重复报错归并的方法
CN103324565B (zh) 日志监控方法
CN107562603A (zh) 一种基于linux的故障智能定位系统及方法
CN113282635A (zh) 一种微服务系统故障根因定位方法及装置
CN106789398A (zh) 一种媒体大数据hadoop集群监控的方法
CN113157521B (zh) 用于区块链全生命周期的监控方法和监控系统
US20190163598A1 (en) Methods and systems to determine baseline event-type distributions of event sources and detect changes in behavior of event sources
CN112182065A (zh) 基于自动采集和多源导入的资产管理系统及方法
Liu et al. System anomaly detection in distributed systems through MapReduce-Based log analysis
CN117220917A (zh) 一种基于云计算的网络实时监控方法
CN116541728A (zh) 一种基于密度聚类的故障诊断方法及装置
CN113900902A (zh) 日志处理方法、装置、电子设备及存储介质
CN113037550B (zh) 一种服务故障监控方法、系统及计算机可读存储介质
CN111061609A (zh) 一种日志监控方法及系统
Zhou et al. VarLog: Mining Invariants with Variables for Log Anomaly Detection
Chen et al. Aiops innovations of incident management for cloud services
CN117435441B (zh) 一种基于日志数据的故障诊断方法及装置
CN111010289B (zh) 一种用于就地化变电站的全景网络配置检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180306

RJ01 Rejection of invention patent application after publication