CN103546312A

CN103546312A - 一种海量多源异构日志关联分析方法

Info

Publication number: CN103546312A
Application number: CN201310379251.0A
Authority: CN
Inventors: 高景生; 王润高; 孙宇; 孙宝贵; 沈艳林
Original assignee: 706th Institute Of No2 Research Institute Casic
Current assignee: 706th Institute Of No2 Research Institute Casic
Priority date: 2013-08-27
Filing date: 2013-08-27
Publication date: 2014-01-29

Abstract

本发明属于网络安全领域，特别是一种海量多源异构日志关联分析方法。步骤1：对原始数据进行预处理，剔除错误日志，多源异构日志归一化，生成格式化的安全事件信息；步骤2：基于事件各个字段的内容，生成一个描述本事件的特征向量；步骤3：将不同设备所产生的事件分类存储；步骤4：不同设备的事件进行相似度计算并比较，判断是否属于同一类事件，将不同的事件中的同类事件进行两两合并，并剔除重复事件；步骤5：针对同一个文件内的日志进行合并，以减少数量；同时生成各类事件的统计分析结果；步骤6：在支持度和置信度下分析事件的关联关系；步骤7：生成各类事件的统计分析报告及关联分析结果报告。通过上述方法的分析使得日志分析结果更加丰富全面且易于理解，提升了网络安全管理的指导意义。

Description

一种海量多源异构日志关联分析方法

技术领域

本发明属于网络安全技术领域，是一种海量多源异构日志关联分析方法。

背景技术

随着信息技术的发展，各企事业单位、党政军各级机构为了其自身内部网络安全需要，安装部署了网络安全管理系统，用于集中管理内部网络设备和各业务系统产生的事件，监测整体网络的运营态势。

网络安全管理系统的主要功能是收集内部网络产生的安全事件并进行分析。收集的事件包括如下内容：防火墙日志信息、入侵检测日志信息、病毒日志信息、漏洞扫描日志信息源、主机操作日志信息、业务系统的用户操作日志信息、入侵防御日志信息、VPN日志信息、数据库操作日志信息等。目前，设备类日志格式并无统一的规范，导致设备日志结构各异。

内部网络设备和业务系统所产生的事件数量，随着安全管理系统的运营，会变得异常庞大，对这些日志的分析也变得困难。由于各类事件数量非常大，目前市面常用的分析方法主要基于统计的方法，但是该方法存在以下不足：

设备之间存在功能交叉，针对同一行为会被不同设备分别上报，容易产生误报。

统计功能相对单一，分析不深入。

发明内容

本发明就是为了解决上述问题，提出一种海量多源异构日志关联分析方法，引入数据挖掘算法，对数据进行预处理，剔除重复事件，对事件进行聚合后再对事件进行深入分析。

本发明结合各类事件的特点，对事件进行分类、聚合、不同设备间同类日志合并等处理后，基于数据挖掘算法进行分析，具体执行流程如图1所示。

本发明方法的具体步骤如下：

步骤1：对原始数据进行预处理，剔除错误日志，多源异构日志归一化，生成格式化的安全事件信息；

步骤2：基于事件各个字段的内容，生成一个描述本事件的特征向量；

步骤3：将不同设备所产生的事件分类存储；

步骤4：不同设备的事件进行相似度计算并比较，判断是否属于同一类事件，通过基于相似度公式进行距离计算实现，若距离小于阈值，阈值大于0.9，即认为同类事件；

对于不同设备上报同类事件，需要判断是否为一件事，如果是一件事需要剔除，剔除原则：

|t₁-t₂|<window

其中，其中t₁是事件1的发生时间，t₂是事件2发生的时间；window是时间阈值，可根据网络延时情况设定，建议小于1分钟；

将不同的事件中的同类事件进行两两合并，并剔除重复事件；

步骤5：按事件发生的顺序进行排序；针对同一个文件内的日志进行的，进行相似度计算；首先计算由于按照指定的时间窗口，指定的时间窗口小于1分钟，将在同一窗口的同类事件进行合并，以减少数量；同时生成各类事件的统计分析结果；

步骤6：对事件应用关联分析算法，在支持度和置信度下分析事件的关联关系；

步骤7：生成各类事件的统计分析报告及关联分析结果报告通过上述方法的分析使得日志分析结果更加丰富全面且易于理解，提升了网络安全管理的指导意义。

附图说明

图1本发明流程图。

图2日统计报表-按各类型统计

图3日统计报表-按安全类型统计

图4统计报表-按来源统计

图5关联分析的举例

具体实施方式

下面结合流程图，对实施方式详细说明，应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

步骤1：对原始数据进行预处理，剔除错误日志，多源异构日志归一化，生成格式化的安全事件信息。

用于分析的日志包括防火墙日志信息、入侵检测日志信息、病毒日志信息、漏洞扫描日志信息源、主机操作日志信息、业务系统的用户操作日志信息、入侵防御日志信息、VPN 日志信息、数据库操作日志信息等，可根据实际情况加入其他设备日志信息。

预处理过程大概分成如下步骤：

（1）数据清洗，即剔除不合格日志。不合格日志分为两类，一类是安防系统不需要接收的日志，比如系统的运维日志，由于安防设备并不会区分各类日志，而是将其产生的日志一并发送给接收者，因此需剔除这类并不是系统安全事件的日志；另一类是格式不正常的日志，比如发送方或日志在发送过程中网络异常造成的某些数据丢失，解析后得到的数据不全，这类可丢弃。

（2）解析日志。将各类设备的事件进行归一化处理并存储在数据库中，为提供后续扩展性，事件属性设置为各类日志的并集，对未标识的属性值设为空。以网域设备的某类日志为例，假设数据库中存储格式为（即上面所说的并集）：用户名，产生时间、事件类型、事件名称、安全级别、协议、源地址、源端口、目的地址、目的端口、操作结果。则下属两类日志的解析字段为：

a）May914:09:46targe event:devid=0date="2013/05/0914:09:46"dname=targe.infocenter logtype=16pri=4user=""mod="ips"事件类型=IPS事件名="Virus(Worm)Worms Microsoft SQL Server Slammer/Saphire"安全级别="低"dsp_msg="检测到攻击:Worms Microsoft SQL Server Slammer/Saphire,类型:Virus(Worm)"协议=UDP源地址=172.31.216.18源端口=3283目的地址=226.233.26.26目的端口=1434重复次数=21000事件详情=""动作="丢弃"链路别名=""fwlog=0

此类日志可解析的日志字段为（用户名：NULL，时间：2013/05/0914:09:46，事件类型：IPS，安全级别：4，事件名：Virus(Worm)Worms Microsoft SQL Server Slammer/Saphire，协议：UDP，源地址：172.31.216.18，源端口：3283；目的地址：226.233.26.26，目的端口：1434，操作结果：NULL）。由于该日志是非用户操作类日志且没有操作结果说明，因此用户名和操作结果的值为NULL，即设为空。

（3）格式归一化。由于不同系统或设备之间日志格式不一，且表述内容不一致，这就造成同一事件相同的属性值却产生了不同的名称，比如事件名为“Virus(Worm)Worms Microsoft SQL Server Slammer/Saphire”的日志在另一设备中事件名称可能被称为“SQLSlammer”、“sql蠕虫”或“Win32/SQLSlammer.Worm”。这里的归一化操作通过某种方式（如维护一张字典表）将各种数据统一，取值标准化，便于步骤2操作。将归一化后的日志存入数据库中。

将归一化的日志进行量化，按照已建模的模型，把属性值转为数字，生成描述事件的特征向量。以步骤1中的日志为例，解析后的字段为（用户名：NULL，时间：2013/05/0914:09:46，事件类型：IPS，安全级别：4，事件名：Virus(Worm)Worms Microsoft SQL Server Slammer/Saphire，协议：UDP，源地址：172.31.216.18，源端口：3283；目的地址：226.233.26.26，目的端口：1434，操作结果：NULL）。量化过程：

a）此类日志没有用户名和操作结果，因此用户名和操作结果的属性值为-1；

b）事件类型可通过字典表的形式，将其指定为某一数字，比如IPS的值为1；

c）安全级别通常数字无须更改，即为4；

d）事件名和协议类型同样可以采用b）的量化方法，将其转为数字，假设均为2

e）IP地址转为长整形数字

f）端口为数字，可采用原值。

说明：考虑到时间对于区分事件种类贡献不大，因此未将时间列入量化范围。此条日志可变为长度为10的向量，即为10维向量空间的一个向量，如上述日志按[用户名，事件类型，安全级别，事件名，协议，源地址，源端口，目的地址，目的端口，操作结果]生成向量为[-1，1，4，2，2，247924307，3283，7234314534，1434，-1]。

步骤3：将不同设备所产生的事件分类存储；

不同类别之间的日志关联性比较小，因此，采用分类算法对不同来源的日志进行分类，并将分类结果存储在XML文件中。说明：可根据日志解析模版ID+服务器IP方法区分不同的设备类，进行粗略分类，并将日志分类存于各个XML文档中。

步骤4：不同设备的事件进行相似度计算并比较，将不同的事件进行两两合并，剔除重复事件。

步骤4需要完成两个工作：（1）判断不同设备之间上报的事件是否包含相同类的事件（2）剔除相同的事件，减少误报。

判断是否属于同一类事件，通过基于相似度公式进行距离计算实现，若距离小于阈值，即认为同类事件。相似度公式如下所示：

d (x, y) = \frac{x_{1} x_{2} + y_{1} y_{2} + z_{1} z_{2} + . . . + n_{1} n_{2}}{\sqrt{{x_{1}}^{2} + {y_{1}}^{2} + {z_{1}}^{2} + . . . + {n_{1}}^{2}} \cdot \sqrt{{x_{2}}^{2} + {y_{2}}^{2} + {z_{2}}^{2} + . . . {n_{2}}^{2}}}

说明x₁，y₁，z₁，…，n₁，表示的是此类事件的各维向量，如果两个事件的向量长度不同，则这两个事件就不具可比性，因此不用计算相似度。当相似度小于某一阈值，将不同的日志进行合并，合并原则如下所示。

d(x,y)>σ

由于两类事件如果为同一类，则其相似度接近或等于1，因此需要设定一个阈值作为区分是否为同一类事件，即σ，可以根据尽量接近1，建议取值大于0.9。

|t₁-t₂|<window

其中，其中t₁是事件1的发生时间，t₂是事件2发生的时间。window是时间阈值，可根据部署的网络环境以及数据上报的延迟决定，通常不会大于1分钟。

步骤5：根据步骤4结果，对合并后的事件进行聚合，首先计算由于按照指定的时间窗口，将在同一窗口的事件进行合并，以减少数量；同时生成各类事件的统计分析结果。重复步骤5操作，直至所有事件都处理完毕。

步骤5完成三个工作：（1）合并是针对同一个文件内的日志进行的，由于每个文件在步骤三的分类比较粗，因此可能每个文件内部也包含不同类的日志，因此需要进行相似度计算；（2）将处于同一个时间窗口的事件进行合并，减少事件数量；（3）合并后，对各类事件进行统计。

完成步骤5的说明：

a）步骤5是合并数据的步骤，合并前需要进行排序工作，按事件发生的顺序进行排序。

b）相似度的计算是发生在文件内部的日志之间。

c）与步骤4相同的是合并的时机为：

|t₁-t₂|<window

但不同的是，要更新事件的时间范围（用scope表示），更新时间说明：

（1）将首先时间转换为毫秒数，假设窗口设置为1分钟（即60000毫秒，window=60000），事件1的发生时间t₁转换为毫秒数（假设t₁=182287423980000），则其scope属性为[t₁-window，t₁+window],即为[182287424040000，182287423920000]，也即说明只要被合并的事件2的发生时间处于scope的范围内即可合并；

（2）对于scope公式的说明，当满足合并条件，进行合并后，需要对scope的范围进行调整，当t₂的发生时间大于t₁是，scope为[t₁-window,t₂+window]，相反，则scope为[t₂-window，t₁+window],及根据合并的事件时间差，来扩大合并范围。

d）统计事件的条件。被剔除的数据是重复的数据，因此不在统计范围之内；被合并的数据即在短时间内重复上报的数据，虽然属于同一事件，但上报数量的频繁程度，在一定程度也反应了当前事件的发生严重程度，因此要进行统计。

步骤6：对事件应用关联分析算法，在指定的支持度和置信度下分析事件的关联关系

步骤6完成的工作有：（1）计算各类事件的频繁项集；（2）生成各类事件的关联规则。

所谓频繁项集，是指事件中频繁同时出现的词汇，而本发明中需要找到最大频繁项集，也即事件中频繁同时出现的最多的词汇集合。频繁性的度量是通过支持度来描述的，它的计算公式：

\sup = \frac{(X \cup Y) \cdot count}{n}

sup即为频繁项集的支持度，分子是含有X和Y的事件数量，分母是该类事件的所有事件的总数，支持度越大则说明X和Y同时出现的频率越大，及X和Y就越相关。举例说明，假设存在10条日志，如下表。

序号	事件名称	事件类型	优先级	协议类型	操作结果
						1	蠕虫攻击	病毒事件	1	UDP	成功
2	蠕虫攻击	病毒事件	1	UDP	成功
						3	用户登录	主机事件	3	HTTP	成功
4	用户登录	应用系统	3	HTTP	失败
						5	用户登录	应用系统	4	HTTP	成功
6	用户登录	邮件系统	4	HTTP	成功
						7	用户登录	业务系统甲	2	HTTPS	成功

[0073]

8	用户登录	业务系统乙	1	HTTPS	成功
						9	用户登录	业务系统丙	3	HTTP	成功
10	用户登录	业务系统丁	5	HTTP	成功

假设支持度为0.7，这这里可以出现一个频繁项集{用户登录，成功}，即在上述条日志中，有7条日志同时出现了时间名称为用户登录且操作成功的情况。

关联规则的产生是在最大频繁项集中找出满足最小支持度的数据而生成的类似于X->Y的形式，用于寻找事件本身内部的关联关系。最小支持度（minconf）的度量公式如下所示：

\min conf = \frac{(X \cup Y) \cdot count}{X \cdot n}

其中，分子是含有X和Y的事件数量，分母为含有X的事件的数量。置信度表明X->Y形式的可靠性，置信度越大，表明X和Y的关联性的可靠度就越大。

上述例子中，频繁项集中只有两个项，因此可以得出两个关联规则：

（1）X->Y，置信度为7/8=87.5%,即表明当用户登录事件发生时，用户登录成功的可能性为87.5%。

（2）Y->X，置信度为7/9=77.7%，及在所有操作成功的事件中，用户登录行为占了77.7%的可能性。

本例只是为了说明两个概念，举例并不恰当。当数量庞大时，这种应用才有意义。

步骤7：生成关联分析结果报告。

关联分级结果报告分成两部分：（1）各类事件的统计分析报告；用图形方式展示统计信息。（2）关联分析报告；以图形的方式展示日志各属性之间的关联关系。

效果，举例说明：

（1）事件统计分析报告，

统计分析可生成按事件类型（主机、网络设备、应用系统操作）、按来源（由哪些设备或服务器发送）、按事件的安全级别（安全级别分为非常低、低、中、高、非常高以及其他）、按活跃用户等多种方式，可产生年、月、日等各类型的统计报表，如图2-4所示：

图2日统计报表-按各类型统计

图3日统计报表-按安全类型统计

图4统计报表-按来源统计

（2）关联分析报告，主要生成各类时间的关联规则。规则可按整体、按来源等方式生成关联规则，可生成月、日以及年度汇总报表等，图5是按来源进行的关联分析报表举例，说明纵坐标指事件发生的数量，横坐标是关联规则，以“事件名称：用户登录->结果：登录成功”为例，表示在所有的事件中有30%的事件用户登录事件，而在这些用户登录事件中70%是成功登录的，用户成功登录的事件共发生了200次。

Claims

1.一种海量多源异构日志关联分析方法，其特征在于，包括如下步骤：

步骤3：将不同设备所产生的事件分类存储；

|t₁-t₂|<window

步骤7：生成各类事件的统计分析报告及关联分析结果报告。