CN101399658A - 一种安全日志分析方法及系统 - Google Patents

Abstract

本发明公开了一种安全日志分析方法及系统，实现了从海量日志中过滤无效日志和误报日志，发现大规模网络安全事件，以及经常出现的攻击序列。所述方法包括：利用面向属性归纳算法，对海量日志进行聚类分析，生成聚类后每类日志的类描述；管理员根据聚类后的类描述设置过滤规则，从当前日志库中去除不相关日志和误报的日志，对海量日志进行精简；提取Internet蠕虫、分布式拒绝服务攻击等大规模网络安全事件特征；对精简后的日志进行序列模式挖掘，找出攻击者常用的攻击行为序列描述，并最终提交给管理员。所述系统包括聚类分析模块、过滤模块和序列模式挖掘模块。本发明适用于对安全产品的海量日志信息处理。

Description

一种安全日志分析方法及系统

技术领域

本发明涉及信息安全领域，具体涉及一种安全日志分析方法及系统。

背景技术

Internet的飞速发展，为信息的传播和利用带来了极大的方便，同时也使人类社会面临着信息安全的巨大挑战。为了缓解日益严重的安全问题，防火墙、入侵检测系统、安全审计系统等安全产品得到了越来越广泛的部署。但是安全设备的大量引入也带来了新的问题，概况起来主要体现在以下两个方面：

1.连续运行的安全设备会产生海量的日志，加上安全产品自身的缺陷，相当一部分报警是误报信息，而真正有价值的报警信息被淹没在海量日志中。由于报警量大、不相关报警多，安全管理人员的大部分精力被耗费在处理无用信息上，很难了解系统的安全威胁状况。

2.现有的安全产品大都是基于单个数据包进行检测的，体现在表现形式上，安全产品的报警信息为孤立的入侵事件。这样当出现大规模网络异常行为时，很难从报警信息中直观获取异常行为的特点；对于一次蓄意的入侵过程，难以获取前后两个攻击行为之间的关联关系。

经对现有技术的文献检索发现，论文“A data mining analysis of RTID alarms”于2000年发表于“Computer Networks”第34卷第4期，页码为571～577，作者为Stefanos Manganaris，Marvin Christensen，Dan Zerkle等，该论文提出了利用数据挖掘算法提取日志规约规则的方法，其核心思想是：对汇总的入侵检测系统(IDS)日志进行序列模式挖掘，发现经常出现的序列模式。由于大部分的日志都是管理员不感兴趣的日志，因而这些挖掘出来的序列规则代表了IDS的误报，可以直接进行过滤。此方法能够过滤掉大量反复出现的误报日志，但对于Internet蠕虫、DDoS(Distributed Denial of service，分布式拒绝服务)攻击等大规模网络安全事件，由于这些事件的日志也符合反复出现的特点，将会被过滤而不能正常报警。

中国专利公开号CN1492336A，专利名“基于数据仓库的信息安全审计方法”，提出了一种采用Syslog标准协议及基于正则表达式的方法实施收集日志信息，在数据仓库的基础上采用数据挖掘方法以及关联分析的方法进行数据挖掘，发现网络中存在的安全漏洞和问题的方法。该方法直接在收集到的日志上进行数据挖掘，如果日志信息中包含大量的无效日志和误报日志，挖掘出的关联规则将毫无意义，难以取得预期效果。

发明内容

本发明的目的在于针对现有发明的不足，提出了一种安全日志分析方法及系统，使得能够降低海量日志中无效日志和误报日志的干扰，发现大规模网络安全事件，以及经常出现的攻击序列。

本发明是通过以下技术方案实现的：一种安全日志分析方法，利用数据挖掘技术对海量日志进行分析和处理，该方法包括以下步骤：

A.利用AOI(Attribute Oriented Induction，面向属性归纳)算法(见KlausJulisch，Marc Dacier.Mining intrusion detection alarms for actionable knowledge.InProceedings of the eighth ACM SIGKDD international conference on Knowledgediscovery and data mining table of contents，pp.366-375，Canada，2002.)，根据选定的归纳属性，对海量日志进行聚类分析，生成聚类后每类日志的类描述；

B.管理员根据聚类后的类描述设置过滤规则，从当前日志库中去除不相关日志和误报的日志；对海量日志进行精简；提取Internet蠕虫、分布式拒绝服务攻击等大规模网络安全事件特征；

C.对精简后的日志进行序列模式挖掘，找出攻击者常用的攻击行为序列描述，并最终提交给管理员。

优选的是，所述步骤A中用于归纳的属性包括但不局限于：事件源地址，目的地址，事件发生时间，事件类型。

优选的是，所述步骤B包括：

B1.将聚类后的日志分为三种类型：大规模网络安全事件；需进一步处理的事件；无效事件和误报事件；

B2.根据无效事件和误报事件的类描述生成SQL(结构化查询语言)语句；将该类日志从日志数据库中删除。

优选的是，所述步骤C包括：

C1.根据源IP地址、目的IP地址、时间窗约束，对安全日志进行序列划分；

C2.对划分后的日志序列进行序列模式挖掘，找出满足置信度和支持度要求的事件序列模式。

一种安全日志分析系统，包括：

利用面向属性归纳算法，对海量日志进行聚类分析，生成聚类后每类日志的类描述的聚类分析模块；

接收聚类后的类描述，对聚类结果进行分类，根据类描述生成SQL语句，从当前日志库中去除不相关日志和误报的日志，对海量日志进行精简；提取Internet蠕虫、分布式拒绝服务攻击等大规模网络安全事件特征的过滤模块；

对过滤模块接精简后的日志进行首先进行序列划分，然后进行序列模式挖掘，找出攻击者常用的攻击行为序列描述，并通过人机界面提交给管理员的序列模式挖掘模块。

本发明的有益效果是：

1.通过面向属性归纳的聚类分析，将具备相似性的日志归为一类，能够有效地发现网络中存在的大规模网络安全事件，实现对Internet蠕虫、DDoS攻击事件的检测。

2.通过对无效日志和误报日志提取过滤规则，将该类日志从日志数据库中删除，可以降低管理员进行日志处理的工作量，从而将注意力集中在真正有价值的报警信息中。

3.通过对日志数据库进行先过滤，再序列模式挖掘的处理，可以避免无效日志和误报日志对序列模式挖掘的干扰，从而使得挖掘出的序列模式规则更真实、更有意义。

附图说明

图1为日志分析系统结构图；

图2为AOI层次聚类流程图。

为了进一步说明本发明的原理及特性，以下结合附图和实例进行详细的说明。

具体实施方式

实施例一：

本实施例为日志分析系统工作流程，如图1所示，包括以下步骤：

1.分布在各个被保护网络的IDS探测器将观测到的入侵事件上报到统一的日志服务器，完成日志的汇总，并按照设定的聚类阈值要求，以及设定的属性划分对日志进行预处理。

2.AOI层次聚类模块按照管理员指定的属性划分，对汇总的日志进行聚类分析，导出聚类规则。产生聚类规则分为三类：对大规模网络安全事件(如DD0S)的描述，管理员可采取相应措施处理；对经常发生的、但管理员认为不重要的无效事件、误报事件，可设置为过滤规则；管理员认为需要进一步处理的事件描述，可不进行处理。

3.依据聚类产生的类描述，以过滤规则对IDS日志库进行清理，去除管理员不感兴趣的日志，避免此类日志对后续分析造成干扰。

4.对精简后的日志进行序列模式挖掘，找出那些经常出现、前后相关的报警事件序列。这些序列可能是攻击者经常采用的攻击序列，也可能是Internet蠕虫、僵尸网络传播的感染流程。

5.将产生的聚类描述和序列模式描述通过人机界面进行展示，使得管理员对网络安全状况有直观的了解，并采取适当防范措施。

实施例二：

本实施例为AOI层次聚类模块处理流程，如图2所示，包括以下步骤：

步骤201：设置聚类阈值和属性划分。聚类阈值是指一个簇中包含的日志数量达到什么条件时可以被作为一个整体来处理，属性划分是指参与聚类的日志属性上的层次关系。

步骤202：判断未聚类日志数量是否低于聚类阈值，是则结束聚类过程，否则转步骤203。

步骤203：从参与聚类的属性中，选取待归纳的属性。

步骤204：对于选定的属性，将日志数据库中的日志在该属性上的值，用其属性划分中的上层属性值表示。

步骤205：将属性值替换后各个属性值均相同的日志归为一个簇，计算各个簇中日志的数量。

步骤206：判断各个簇中的日志数量是否超过了聚类阈值，是则转步骤207，否则转步骤203。

步骤207：将超过聚类阈值的簇中的日志标记为已聚类，转步骤202。实施例三：

本实施例为日志分析系统的一次具体处理流程。

本实施例中，采用了一台网络入侵检测系统在一个真实网络环境中连续运行一个月产生的日志，共计82383条。处理过程包括以下步骤：

1.设置聚类的阈值为总日志量的5％，即当聚类得到的一个簇中所包含的日志数量超过总日志量的5％时，将停止对该簇的进一步归纳。

设置各个属性的划分：源地址与目的地址的划分相同，均为IP地址划分。将IP地址划分为内网(Internal)和外网(External)两部分，内网为192.168.2.0网段的地址，外网为除内网地址外的其它地址。将事件按协议划分为不同类型。将时间划分为工作日(WorkDay)和周末(Weekend)，工作日包含周一至周五，周末包含周六和周日。每个属性划分的根(即表示任意值)用任意(Any)表示。

对选定日志进行聚类的结果如下的表1：

表1

2.对聚类结果进行分类，将其分为三类：

第一类：大规模安全事件，包括簇ID为3的事件，即主机192.168.2.3对局域网的一个共享口令穷举探测，属于扫描事件。管理员可对该类事件进行统一处理。

第二类：误报事件和无效事件，包括簇ID为1和2的事件。经调查发现，主机192.168.2.4上运行着一个业务软件，会周期访问位于地址192.168.2.13和192.168.2.11的两台服务器，而访问时管理员分配的口令强度较弱。为了解决该问题，管理员可以更改口令，或者当管理员认为该事件不重要时，可以不处理这部分日志，这样就大大降低了日志分析的工作强度。

第三类：需进一步处理的事件，包括簇ID为4的事件，以及聚类后剩余的事件。

3.根据聚类结果制定过滤规则，设置过滤条件为：

将日志库中源IP为192.168.2.4，目的IP为192.168.2.13，事件类型为TDS_MS-SQL_口令弱，事件时间为Workday的事件删除；

将日志库中源IP为192.168.2.4，目的IP为192.168.2.11，事件类型为TDS_MS-SQL_口令弱，事件时间为任意时间的事件删除。

4.在进行日志过滤的基础上，设置序列模式挖掘的最大时间间隔为120s，支持率为10％，置信度为50％，序列模式挖掘结果如下表2：

表2

序列1描述了中一种常见的攻击模式，即先通过扫描进行漏洞发现，然后针对漏洞发起溢出攻击。序列2描述了一种常见的探测方法，通过ICMP Ping事件和访问UDP端口0，根据返回结果判断目标主机运行状态。序列3描述了利用路由器缺省口令的登录攻击，序列4则是针对FTP服务的口令探测攻击。

5.将产生的聚类描述和序列模式描述通过人机界面进行展示，使得管理员对网络安全状况有直观的了解，并采取适当防范措施。

Claims (5)

1.一种安全日志分析方法，利用数据挖掘技术对海量日志进行分析和处理，其特征在于，该方法包括以下步骤：

A.利用AOI(Attribute Oriented Induction，面向属性归纳)算法，根据选定的归纳属性，对海量日志进行聚类分析，生成聚类后每类日志的类描述；

B.管理员根据聚类后的类描述设置过滤规则，从当前日志库中去除不相关日志和误报的日志，对海量日志进行精简；提取Internet蠕虫、分布式拒绝服务攻击等大规模网络安全事件特征；

C.对精简后的日志进行序列模式挖掘，找出攻击者常用的攻击行为序列描述，并最终提交给管理员。

2.根据权利要求1所述的一种安全日志分析方法，其特征在于，所述步骤A中用于归纳的属性包括但不局限于：事件源地址，目的地址，事件发生时间，事件类型。

3.根据权利要求1所述的一种安全日志分析方法，其特征在于，所述步骤B包括：

B1.将聚类后的日志分为三种类型：大规模网络安全事件；需进一步处理的事件；无效事件和误报事件；

B2.根据无效事件和误报事件的类描述生成SQL语句；将该类日志从日志数据库中删除。

4.根据权利要求1所述的一种安全日志分析方法，其特征在于，所述步骤C包括：

C1.根据源IP地址、目的IP地址、时间窗约束，对安全日志进行序列划分；

C2.对划分后的日志序列进行序列模式挖掘，找出满足置信度和支持度要求的事件序列模式。

5.一种安全日志分析系统，其特征在于：包括聚类分析模块、过滤模块、序列模式挖掘模块；

利用面向属性归纳算法，对海量日志进行聚类分析，生成聚类后每类日志的类描述的聚类分析模块；

接收聚类后的类描述，对聚类结果进行分类，根据类描述生成SQL语句，从当前日志库中去除不相关日志和误报的日志，对海量日志进行精简；提取Internet蠕虫、分布式拒绝服务攻击等大规模网络安全事件特征的过滤模块；

对过滤模块接精简后的日志进行首先进行序列划分，然后进行序列模式挖掘，找出攻击者常用的攻击行为序列描述，并通过人机界面提交给管理员的序列模式挖掘模块。

Images