CN110855461A - 一种基于关联分析和规则库的日志分析方法 - Google Patents

一种基于关联分析和规则库的日志分析方法 Download PDF

Info

Publication number
CN110855461A
CN110855461A CN201810951267.7A CN201810951267A CN110855461A CN 110855461 A CN110855461 A CN 110855461A CN 201810951267 A CN201810951267 A CN 201810951267A CN 110855461 A CN110855461 A CN 110855461A
Authority
CN
China
Prior art keywords
log
analysis
rule base
user behavior
association
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810951267.7A
Other languages
English (en)
Inventor
李海峰
陈瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Changfeng Science Technology Industry Group Corp
Original Assignee
China Changfeng Science Technology Industry Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Changfeng Science Technology Industry Group Corp filed Critical China Changfeng Science Technology Industry Group Corp
Priority to CN201810951267.7A priority Critical patent/CN110855461A/zh
Publication of CN110855461A publication Critical patent/CN110855461A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Debugging And Monitoring (AREA)
  • Computer And Data Communications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供一种基于关联分析和规则库的日志分析方法，用于对各类系统和网关设备产生的日志进行分析。首先应用基于正则表达式的模式匹配方法进行日志数据初步处理，然后使用FP‑树频集算法进行关联规则挖掘，以便从更加深入的层次进行日志分析，得出更加立体的系统运行状态和用户行为特征，主要包括日志数据收集、日志预处理、日志关联分析、用户行为规则库的生成、用户行为异常检测、发出报警信息、生成统计报表。

Description

一种基于关联分析和规则库的日志分析方法
技术领域
本发明属于计算机网络技术领域，涉及对各类系统和网关设备产生的日志进行分析的方法，具体涉及一种基于关联分析和规则库的日志分析方法，通过这些关联特征，能够更好的刻画用户的行为等信息，为业务分析和系统管理提供参考。
背景技术
目前，各类系统和网关设备产生了大量各种十分有价值的日志，这些日志反映了同这些设备相连接的网络的基本情况，同时也反映了用户操作行为的一些特征。
对系统产生的日志数据的分析即是对用户、应用软件或操作系统活动产生的一系列事件的记录和分析过程。
当前，虽然存在大量的工具和程序，但这些工具一般对包含特定内容(报警、故障或严重故障)的日志关注较多，而对日志中蕴含的更深层次的信息较少考虑，如日志记录中一些事件之间表现出的关联性规律。
发明内容
本发明的目的在于提出一种基于规则库和关联分析的日志分析方案，首先应用基于正则表达式的模式匹配方法进行日志数据初步处理，然后使用FP-树频集算法进行关联规则挖掘，以便从更加深入的层次进行日志分析，得出更加立体的系统运行状态和用户行为特征。
本发明的技术方案如下：
一种基于关联分析和规则库的日志分析方法，其特征在于包括以下步骤：
(1)日志数据收集：以网络设备产生的日志作为系统日志的主要来源，包括应用服务器、网络主机、交换机、路由器、网关等等，支持多种日志格式输入；
(2)日志预处理：通过正则表达式进行模式匹配，使输入的日志文件更适合于下一步的分析；
(3)日志关联分析：整个日志分析系统的核心，采取FP树频集算法对日志数据进行深入分析，从而生成规则；
(4)用户行为规则库的生成：根据日志分析的结果，识别有价值的用户行为规则，存储在相应的规则库中；
(5)用户行为异常检测：把用户的行为与规则库中的标准行为做比较，检测出异常的存在；
(6)发出报警信息：对于系统管理员实时检测的要求，实现对系统行为的实时跟踪；
(7)生成统计报表：针对于系统管理员事后分析的要求，生成反映网络状况的数据和报表。
本发明首先应用基于正则表达式的模式匹配方法进行日志数据初步处理，然后使用FP-树频集算法进行关联规则挖掘，以便从更加深入的层次进行日志分析，得出更加立体的系统运行状态和用户行为特征。
附图说明
图1是本发明的日志分析系统逻辑结构图。
具体实施方式
在一个日志中，有着大量的无用、重复的信息(Log)，同时还存在着一些非常重要和紧急的信息。要通过人工的方式去分析和总结这些信息，并转换成为有意义的事件信息(Event)，需要花费大量的人力，效率低，实时性差。本发明主要采用正则表达式对采集过来的日志进行初步处理，把在日志中重要的信息提取出来，这些信息包括需要马上处理的，也包括一些状态信息的表示。
日志分析系统的核心是处理规则，这些处理规则又和不同设备，系统的日志息息相关。所以采用基于数据挖掘的关联分析，主要运用FP-树频集算法对日志数据进行关联模式的挖掘，把这些知识转换成规则。
如图1所示，本系统可分为个4个功能模块，分别为：日志采集模块、日志预处理模块、日志分析模块和结果输出模块。其中日志分析与审计模块还包括三个子模块，分别为关联分析模块、规则库生成模块和异常检测模块。结果输出模块也包括两个子模块，分别为异常报警模块和报表生成模块。
1.日志数据收集
日志数据的收集驶进行分析和异常检测的基础，本系统以网络设备产生的日志作为系统日志的主要来源，包括应用服务器、网络主机、交换机、路由器、网关等等，支持多种日志格式输入。
日志主要通过两种方式采集：
1).直接采集：来自设备或系统，包括应用服务器(Linux)，交换机，路由器以及防火墙等，syslog格式的日志数据。这些设备将生成的日志数据发送到syslog服务器并保存为日志文件。
2).间接采集：将日志数据从日志文件所在路径和数据库等存储系统读出。
2.日志预处理
通过正则表达式进行模式匹配，使输入的日志文件更适合于下一步的分析。
3.日志关联分析
整个日志分析系统的核心，采取FP树频集算法对日志数据进行深入分析，从而生成规则。
4.用户行为规则库的生成
根据日志分析的结果，识别有价值的用户行为规则，存储在相应的规则库中。
5.用户行为异常检测
把用户的行为与规则库中的标准行为做比较，检测出异常的存在。
6.发出报警信息
对于系统管理员实时检测的要求，实现对系统行为的实时跟踪。
7.生成统计报表
针对于系统管理员事后分析的要求，生成反映网络状况的数据和报表。

Claims (2)

1.一种基于关联分析和规则库的日志分析方法，其特征在于包括以下步骤：
(1)日志数据收集：以网络设备产生的日志作为系统日志的主要来源，包括应用服务器、网络主机、交换机、路由器、网关等等，支持多种日志格式输入；
(2)日志预处理：通过正则表达式进行模式匹配，使输入的日志文件更适合于下一步的分析；
(3)日志关联分析：整个日志分析系统的核心，采取FP树频集算法对日志数据进行深入分析，从而生成规则；
(4)用户行为规则库的生成：根据日志分析的结果，识别有价值的用户行为规则，存储在相应的规则库中；
(5)用户行为异常检测：把用户的行为与规则库中的标准行为做比较，检测出异常的存在；
(6)发出报警信息：对于系统管理员实时检测的要求，实现对系统行为的实时跟踪；
(7)生成统计报表：针对于系统管理员事后分析的要求，生成反映网络状况的数据和报表。
2.根据权利要求2所述的基于关联分析和规则库的日志分析方法，其特征在于：步骤(1)所述的日志采集主要通过两种方式：
(11)直接采集：来自设备或系统，包括应用服务器，交换机，路由器以及防火墙，这些设备将生成的日志数据发送到syslog服务器并保存为日志文件；
(12)间接采集：将日志数据从日志文件所在路径和数据库等存储系统读出。
CN201810951267.7A 2018-08-20 2018-08-20 一种基于关联分析和规则库的日志分析方法 Pending CN110855461A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810951267.7A CN110855461A (zh) 2018-08-20 2018-08-20 一种基于关联分析和规则库的日志分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810951267.7A CN110855461A (zh) 2018-08-20 2018-08-20 一种基于关联分析和规则库的日志分析方法

Publications (1)

Publication Number Publication Date
CN110855461A true CN110855461A (zh) 2020-02-28

Family

ID=69595416

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810951267.7A Pending CN110855461A (zh) 2018-08-20 2018-08-20 一种基于关联分析和规则库的日志分析方法

Country Status (1)

Country Link
CN (1) CN110855461A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364284A (zh) * 2020-11-23 2021-02-12 北京八分量信息科技有限公司 基于上下文进行异常侦测的方法、装置及相关产品
CN112804196A (zh) * 2020-12-25 2021-05-14 北京明朝万达科技股份有限公司 日志数据的处理方法及装置
CN113254438A (zh) * 2020-11-20 2021-08-13 云智慧（北京）科技有限公司 一种基于树结构的日志解析方法和系统
CN114338746A (zh) * 2021-12-30 2022-04-12 以萨技术股份有限公司 一种用于物联网设备数据收集的分析预警方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113254438A (zh) * 2020-11-20 2021-08-13 云智慧（北京）科技有限公司 一种基于树结构的日志解析方法和系统
CN112364284A (zh) * 2020-11-23 2021-02-12 北京八分量信息科技有限公司 基于上下文进行异常侦测的方法、装置及相关产品
CN112364284B (zh) * 2020-11-23 2024-01-30 北京八分量信息科技有限公司 基于上下文进行异常侦测的方法、装置及相关产品
CN112804196A (zh) * 2020-12-25 2021-05-14 北京明朝万达科技股份有限公司 日志数据的处理方法及装置
CN114338746A (zh) * 2021-12-30 2022-04-12 以萨技术股份有限公司 一种用于物联网设备数据收集的分析预警方法及系统

Similar Documents

Publication Publication Date Title
CN111277578B (zh) 加密流量分析特征提取方法、系统、存储介质、安全设备
CN110855461A (zh) 一种基于关联分析和规则库的日志分析方法
CN108040074B (zh) 一种基于大数据的实时网络异常行为检测系统及方法
CN110740141A (zh) 一体化网络安全态势感知方法、装置及计算机设备
CN110336827B (zh) 一种基于异常字段定位的Modbus TCP协议模糊测试方法
CN114584401B (zh) 一种面向大规模网络攻击的追踪溯源系统及方法
CN111866016B (zh) 日志的分析方法及系统
US9584533B2 (en) Performance enhancements for finding top traffic patterns
CN112114995A (zh) 基于进程的终端异常分析方法、装置、设备及存储介质
CN112350989A (zh) 一种日志数据的解析方法
CN114567463B (zh) 一种工业网络信息安全监测与防护系统
EP3623983A1 (en) Method and device for identifying security threats, storage medium, processor and terminal
CN110958231A (zh) 基于互联网的工控安全事件监测平台及其方法
CN111930886A (zh) 日志处理方法、系统、存储介质及计算机设备
CN116800536A (zh) 一种基于大数据分析的网络安全监测系统
US20220335013A1 (en) Generating readable, compressed event trace logs from raw event trace logs
CN112416872A (zh) 一种基于大数据的云平台日志管理系统
CN111274218A (zh) 一种电力信息系统多源日志数据处理方法
CN113779573B (zh) 一种基于系统溯源图的大规模勒索软件分析方法和分析装置
CN111753070A (zh) 一种服务器监控日志处理的系统和方法
CN112714118B (zh) 网络流量检测方法和装置
CN110912753B (zh) 一种基于机器学习的云安全事件实时检测系统及方法
CN115865525A (zh) 日志数据处理方法、装置、电子设备和存储介质
CN114969450B (zh) 一种用户行为分析方法、装置、设备及存储介质
CN112910842B (zh) 一种基于流量还原的网络攻击事件取证方法与装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200228

WD01 Invention patent application deemed withdrawn after publication