CN108964995B - 基于时间轴事件的日志关联分析方法 - Google Patents
基于时间轴事件的日志关联分析方法 Download PDFInfo
- Publication number
- CN108964995B CN108964995B CN201810713881.XA CN201810713881A CN108964995B CN 108964995 B CN108964995 B CN 108964995B CN 201810713881 A CN201810713881 A CN 201810713881A CN 108964995 B CN108964995 B CN 108964995B
- Authority
- CN
- China
- Prior art keywords
- log
- events
- analysis
- event
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
- H04L41/065—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis involving logical or physical relationship, e.g. grouping and hierarchies
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种基于时间轴事件的日志关联分析方法，包括如下步骤：a)采集有效日志数据，对日志数据进行预处理；b)将不同应用、设备产生的日志事件信息进行分类存储和管理；c)为所有服务的日志事件设置分层标签，生成不同层级的日志事件；d)按日志数据流向顺序形成事件链，建立日志事件调用关系，并设置不同的分析标签，在分析标签中设置提取规则和告警条件，从而形成分析主题；e)根据事件链顺序，再设定时间范围提取对应的日志数据进行分析，根据分析标签预设的告警条件，生成各类日志事件的统计分析报告。本发明通过时间轴事件的日志关联分析法可以快速有效的从大量的日志中挖掘出有用信息，及时找出问题根源。
Description
技术领域
本发明涉及一种日志关联分析方法，尤其涉及一种基于时间轴事件的日志关联分析方法。
背景技术
随着信息技术的发展，复杂网络系统由种类繁多的安全设备(防火墙，防病毒设备等)、网络设备(路由器，交换机等)、应用系统(管理系统，Web服务等)及主机(Windows、Linux等)等组成，每天产生大量日志数据。例如一个完整的用户请求会经过防火墙、负载均衡、web中间件、应用中间件、业务系统，每个环节中都会产生相应的日志数据，而这些日志数据都是独立于其他软硬件设备的，一旦发生故障，一个异常问题的发生，必定是有一个或者多个原因导致的，这样日志信息来源各异，格式存在诸多差异，如防火墙日志、负载均衡日志、中间件系统相互间无法比较。
日志数据信息量巨大，有用异常日志数据存在于大量的冗余日志中，仅依靠人工分析，建立日志时间关联将费时费力，故需要借助时间轴事件关联分析法快速有效的从中挖掘有用的信息，及时找出问题的根源，快速解决问题。
发明内容
本发明所要解决的技术问题是提供一种基于时间轴事件的日志关联分析方法，可以快速有效的从计算机网络系统IT资源运行过程中产生的大量日志中挖掘出有用信息，及时找出问题根源。
本发明为解决上述技术问题而采用的技术方案是提供一种基于时间轴事件的日志关联分析方法，包括如下步骤：a)采集有效日志数据，对日志数据进行预处理，通过预设的正则表达式提取日志数据，生成格式化的日志事件信息；b)将不同应用、设备产生的日志事件信息进行分类存储和管理，生成不同服务的日志事件；c)为所有服务的日志事件设置分层标签，生成不同层级的日志事件；d)按日志数据流向顺序形成事件链，建立日志事件调用关系，为每个服务的每个层级的日志事件设置不同的分析标签，并在分析标签中设置提取规则和告警条件，从而形成分析主题；e)根据事件链顺序，再设定时间范围提取对应的日志数据进行分析，根据分析标签预设的告警条件，生成各类日志事件的统计分析报告。
进一步地，所述步骤a)采集等级为Warn、Error以上的日志数据和格式不正常的日志数据信息，所述日志数据信息至少包含日志数据的服务器ip、产生时间和入库时间。
进一步地，所述步骤a)采用基于agent的分布式数据采集方法获取有效日志数据，所述有效日志数据包括防火墙日志信息、病毒日志信息、漏洞扫描日志信息源、主机操作日志信息、业务系统的用户操作日志信息和数据库操作日志信息。
进一步地，所述步骤b)将不同应用、设备产生的日志事件分组存储，不同分组具有不同的日志字段名和数量。
进一步地，所述步骤c)设置的分层标签为：业务层、应用层、系统层和硬件层。
进一步地，所述步骤e)的事件链顺序按事件发生的先后顺序进行排序，所述指定的时间范围分成10份，将在同一时间窗口的同类事件进行合并，减少日志事件数量。
本发明对比现有技术有如下的有益效果：本发明提供的基于时间轴事件的日志关联分析方法，可以快速有效的从计算机网络系统IT资源运行过程中产生的大量日志中挖掘出有用信息，及时找出问题根源，快速解决问题。
附图说明
图1为本发明基于时间轴事件的日志关联分析法的过程示意图；
图2为本发明的时间轴事件相互关联的示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的描述。
图1为本发明基于时间轴事件的日志关联分析法的过程示意图。
请参见图1，本发明提供的基于时间轴事件的日志关联分析方法，包括如下步骤：
a)采集有效日志数据，对日志数据进行预处理，通过预设的正则表达式提取日志数据，生成格式化的日志事件信息；
b)将不同应用、设备产生的日志事件信息进行分类存储和管理，生成不同服务的日志事件；
c)为所有服务的日志事件设置分层标签，生成不同层级的日志事件；
d)按日志数据流向顺序形成事件链，建立日志事件调用关系，为每个服务的每个层级的日志事件设置不同的分析标签，并在分析标签中设置提取规则和告警条件，从而形成分析主题；
e)根据事件链顺序，再设定时间范围提取对应的日志数据进行分析，根据分析标签预设的告警条件，生成各类日志事件的统计分析报告。
本发明的具体实现过程如下：
1、采集数据，设置标签
本发明提供的基于时间轴事件的日志关联分析方法，所述步骤a)采集等级为Warn、Error以上的日志数据或格式不正常的日志数据信息，以免造成大量数据冗余，所述日志数据信息至少包含日志数据的服务器ip、产生时间和入库时间；采集的日志信息包括防火墙日志信息、病毒日志信息、漏洞扫描日志信息源、主机操作日志信息、业务系统的用户操作日志信息、数据库操作日志信息等；所述步骤a)采用基于agent的分布式数据采集方法，然后按预设的正则表达式提取出对应的数据字段，对提取的原始日志数据进行预处理，多源异构的日志数据归一化，生成格式化的日志事件信息。
图2为本发明的时间轴事件相互关联的示意图
请参见图2，本发明提供的基于时间轴事件的日志关联分析方法，所述步骤b)将不同应用、设备产生的日志事件信息进行分类存储和管理，生成不同服务的日志事件，不同服务的日志字段名、数量不一样，为了方便进行分析定位，本发明对所有采集的日志进行了标签：业务层：该层指标反映出Service的质量，如一个订单系统的下单成功率；应用层：该层指标反映出应用软件的运行状态，如Nginx连接数；系统层：该层指标反映出操作系统的运行状态，如平均负载；硬件层：该层指标反映出硬件设备的运行状态，如CPU温度,这样就生产不同层级的日志事件。
2、确定时间轴日志事件调用关系
本发明提供的基于时间轴事件的日志关联分析方法，所述步骤d)建立数据流在分布式模块调用关系，在分布式多服务模块系统中，用户的请求数据经过A，B，C三个服务模块，该模块调用关系是一种人为定义的确定性关系，有如下两种确定事件之间关系的方法：1)时间相关性：这是一种非确定性的策略，代表了一种相关可能性；2)事实相关性：通过对大批量历史数据进行分析计算，找到事件之间事实上发生的相关性。而形成事件或产生异常的来源有这几个方面：自身异常，如硬盘损坏；依赖方异常，如A调用了B的服务，然而B服务异常；来自外部的对其产生的变更，如开发者对A服务进行了代码升级，该服务器所在交换机故障等。同时每个服务的各个层级的分析角度都不一样的，可以根据不同的层级设定不同的分析标签，业务层关注自身业务相关的异常信息，应用层关注如Nginx连接数等；在标签中设置提取事件的规则，比如日志等级字段值为“ERROR”级别的数据，根据所关注的故障信息的重要性，设定触发分析标签时的故障的严重性，方便排查错误时快速关注重点问题。
3、按时间轴事件关系分析日志数据
本发明提供的基于时间轴事件的日志关联分析方法，由于收集到的日志数据的量一般情况下都是海量的，分析时尽量选取短的时间窗口，再将时间窗口划分成10份，缩小时间范围进行处理，将在同一时间窗口的同类事件进行合并，以事件日志减少数量，同时为了更精确地定位问题，分析步骤应按照预设的事件链先后进行分析。对于分析结果，可以生成按日志事件类型(业务层、应用层、系统层、硬件层)和时间窗口两个维度进行展示，分析的指标按无日志、良好、一般、告警、严重几个等级标识，每个小的时间窗口中都可以查看到各个层面的系统、设备的运行状况。最后定位故障，事件调用链越尾端的模块，越有可能是故障根本原因，并且监控指标中越下层的，越有可能是故障根本原因。
虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的修改和完善，因此本发明的保护范围当以权利要求书所界定的为准。
Claims (4)
1.一种基于时间轴事件的日志关联分析方法，其特征在于，包括如下步骤：
a) 采集有效日志数据，对日志数据进行预处理，通过预设的正则表达式提取日志数据，生成格式化的日志事件信息；
b) 将不同应用、设备产生的日志事件信息进行分类存储和管理，生成不同服务的日志事件；
c) 为所有服务的日志事件设置分层标签，生成不同层级的日志事件；
d) 按日志数据流向顺序形成事件链，建立日志事件调用关系，为每个服务的每个层级的日志事件设置不同的分析标签，并在分析标签中设置提取规则和告警条件，从而形成分析主题；
e) 根据事件链顺序，再设定时间范围提取对应的日志数据进行分析，根据分析标签预设的告警条件，生成各类日志事件的统计分析报告；
所述步骤b) 将不同应用、设备产生的日志事件分组存储，不同分组具有不同的日志字段名和数量；
所述步骤e)的事件链顺序按事件发生的先后顺序进行排序，所述设定的时间范围分成10份，并将在同一时间窗口的同类事件进行合并，减少日志事件数量。
2.如权利要求1所述的基于时间轴事件的日志关联分析方法，其特征在于，所述步骤a)采集等级为Warn、Error以上的日志数据和格式不正常的日志数据信息，所述日志数据信息至少包含日志数据的服务器ip、产生时间和入库时间。
3.如权利要求1所述的基于时间轴事件的日志关联分析方法，其特征在于，所述步骤a)采用基于agent的分布式数据采集方法获取有效日志数据，所述有效日志数据包括防火墙日志信息、病毒日志信息、漏洞扫描日志信息源、主机操作日志信息、业务系统的用户操作日志信息和数据库操作日志信息。
4.如权利要求1所述的基于时间轴事件的日志关联分析方法，其特征在于，所述步骤c)设置的分层标签为：业务层、应用层、系统层和硬件层。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810713881.XA CN108964995B (zh) | 2018-07-03 | 2018-07-03 | 基于时间轴事件的日志关联分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810713881.XA CN108964995B (zh) | 2018-07-03 | 2018-07-03 | 基于时间轴事件的日志关联分析方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108964995A CN108964995A (zh) | 2018-12-07 |
| CN108964995B true CN108964995B (zh) | 2021-09-28 |
Family
ID=64485013
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810713881.XA Active CN108964995B (zh) | 2018-07-03 | 2018-07-03 | 基于时间轴事件的日志关联分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108964995B (zh) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111324583B (zh) * | 2018-12-17 | 2023-10-27 | 中国移动通信集团广西有限公司 | 一种业务日志的分类方法及装置 |
| CN109711805A (zh) * | 2018-12-20 | 2019-05-03 | 惠州Tcl移动通信有限公司 | 一种自动化生成报表的系统及其方法 |
| CN109857758A (zh) * | 2018-12-29 | 2019-06-07 | 天津南大通用数据技术股份有限公司 | 一种基于邻居窗口的关联分析方法及系统 |
| CN109885537B (zh) * | 2019-02-22 | 2024-02-20 | 深圳市兴海物联科技有限公司 | 一种日志显示方法、系统及计算机可读存储介质 |
| CN110569274A (zh) * | 2019-08-02 | 2019-12-13 | 福建星网智慧软件有限公司 | 一种分布式实时日志分析方法和计算机可读存储介质 |
| CN110855663B (zh) * | 2019-11-12 | 2021-12-14 | 北京中安智达科技有限公司 | 一种基于时空相关性分析的身份识别方法及系统 |
| CN110855503A (zh) * | 2019-11-22 | 2020-02-28 | 叶晓斌 | 一种基于网络协议层级依赖关系的故障定因方法和系统 |
| CN111078455A (zh) * | 2019-12-24 | 2020-04-28 | 北京优特捷信息技术有限公司 | 基于时间轴的异常行为序列关联处理方法以及装置、设备、存储介质 |
| CN112422889A (zh) * | 2020-07-03 | 2021-02-26 | 上海趣蕴网络科技有限公司 | 一种监控系统及方法 |
| CN111983960A (zh) * | 2020-07-03 | 2020-11-24 | 上海趣蕴网络科技有限公司 | 一种监控系统及方法 |
| CN111966950B (zh) * | 2020-10-21 | 2021-01-15 | 北京每日优鲜电子商务有限公司 | 日志发送方法、装置、电子设备和计算机可读介质 |
| CN112256791A (zh) * | 2020-10-27 | 2021-01-22 | 北京微步在线科技有限公司 | 一种网络攻击事件的展示方法及存储介质 |
| CN113271220B (zh) * | 2021-03-30 | 2022-10-14 | 国家计算机网络与信息安全管理中心 | 一种基于配置文件和日志文件的跨组件数据流向审计方法和系统 |
| CN113641632B (zh) * | 2021-07-14 | 2022-08-02 | 广州市玄武无线科技股份有限公司 | 一种命令行提取日志数据转图形展示的方法 |
| CN113282518B (zh) * | 2021-07-22 | 2021-12-10 | 广州市玄武无线科技股份有限公司 | 一种移动端表单行为实时追踪及展示方法及其装置 |
| CN115292062A (zh) * | 2022-07-29 | 2022-11-04 | 成都智元汇信息技术股份有限公司 | 一种基于流架构实现产品顺序确认的方法、系统及装置 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101610174B (zh) * | 2009-07-24 | 2011-08-24 | 深圳市永达电子股份有限公司 | 一种日志事件关联分析系统与方法 |
| CN102158355B (zh) * | 2011-03-11 | 2013-08-14 | 广州蓝科科技股份有限公司 | 一种可并发和断续分析的日志事件关联分析方法和装置 |
| US9064216B2 (en) * | 2012-06-06 | 2015-06-23 | Juniper Networks, Inc. | Identifying likely faulty components in a distributed system |
| CN103546312A (zh) * | 2013-08-27 | 2014-01-29 | 中国航天科工集团第二研究院七〇六所 | 一种海量多源异构日志关联分析方法 |
| CN104917627B (zh) * | 2015-01-20 | 2018-06-19 | 杭州安恒信息技术有限公司 | 一种用于大型服务器集群的日志集群扫描与分析方法 |
| CN104978438A (zh) * | 2015-07-23 | 2015-10-14 | 上海斐讯数据通信技术有限公司 | 基于日志的实时分析方法及系统 |
| CN107678933A (zh) * | 2017-09-28 | 2018-02-09 | 中国平安人寿保险股份有限公司 | 日志生成管理方法、装置、设备及计算机可读存储介质 |
-
2018
- 2018-07-03 CN CN201810713881.XA patent/CN108964995B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN108964995A (zh) | 2018-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108964995B (zh) | 基于时间轴事件的日志关联分析方法 | |
| US11677635B2 (en) | Hierarchical network analysis service | |
| US20220187815A1 (en) | Systems and methods for detecting and predicting faults in an industrial process automation system | |
| US7500142B1 (en) | Preliminary classification of events to facilitate cause-based analysis | |
| US20150254969A1 (en) | Method and system for providing aggregated network alarms | |
| EP2487860B1 (en) | Method and system for improving security threats detection in communication networks | |
| CN113328872B (zh) | 故障修复方法、装置和存储介质 | |
| CN111176879A (zh) | 设备的故障修复方法及装置 | |
| Wang et al. | Efficient alarm behavior analytics for telecom networks | |
| CN104796273A (zh) | 一种网络故障根源诊断的方法和装置 | |
| CN113342564A (zh) | 日志审计方法、装置、电子设备和介质 | |
| CN115809183A (zh) | 基于知识图谱的信创终端故障发现及处置的方法 | |
| US7469287B1 (en) | Apparatus and method for monitoring objects in a network and automatically validating events relating to the objects | |
| JP2009527839A (ja) | 通信ネットワークのトランザクション監視のための方法及びシステム | |
| CN113254341B (zh) | 链路数据的跟踪方法、装置、设备及存储介质 | |
| US10372572B1 (en) | Prediction model testing framework | |
| CN112769605A (zh) | 一种异构多云的运维管理方法及混合云平台 | |
| CN107635003A (zh) | 系统日志的管理方法、装置及系统 | |
| CN116719664B (zh) | 基于微服务部署的应用和云平台跨层故障分析方法及系统 | |
| Solmaz et al. | ALACA: A platform for dynamic alarm collection and alert notification in network management systems | |
| CN113067717A (zh) | 网络请求日志链式跟踪方法、全链路调用监控系统和介质 | |
| CN106487597A (zh) | 一种基于Zookeeper的服务监控系统和方法 | |
| CN115220995A (zh) | 一种基于agent探针的微服务全链路分析方法 | |
| CN115549953B (zh) | 一种网络安全告警方法及系统 | |
| CN112966056B (zh) | 一种信息处理方法、装置、设备、系统及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |