CN103577307A - 基于xml规则模型的防火墙日志自动提取与分析方法 - Google Patents

Abstract

本发明涉及基于XML规则模型的防火墙日志自动提取与分析方法，该方法包括以下的步骤：一、定义XML日志分析模板，二、防火墙日志的自动提取，三、防火墙日志的分析。本发明提取出每条日志中所包含的五元组信息：时间、源IP地址、源端口、目的IP地址、目的端口；根据每类防火墙日志文件的结构特点制定XML模板，在XML模板中为防火墙日志文件中包含的每种记录类型定义特征标识，根据这些标识，对防火墙日志文件进行提取，自动识别防火墙日志中的五元组信息，并根据预先定义的安全规则，自动判断目标设备的运行状态是否正常。本发明可以自动快速提取大量防火墙日志信息，分析异常网络访问行为，为网络安全分析与管理提供依据。

Description

基于XML规则模型的防火墙日志自动提取与分析方法

技术领域

本发明涉及一种针对信息安全领域的基于XML规则模型的防火墙安全日志自动提取方法，根据防火墙安全日志文件的结构特点采用XML语言定义规则模板，基于模板的日志分析系统进入防火墙日志信息的自动提取过程，将提取出的日志信息与对应的XML安全规则进行匹配，从而有效判断提取出的防火墙日志信息中是否反映了目标设备或系统的异常运行使用情况，于信息技术领域。

背景技术

防火墙在计算机网络安全上得到了广泛应用。防火墙都具有日志记录功能，能够记录下所有经过防火墙访问内网和外网的情况。日志的内容主要包括时间、源IP地址、源端口、目的IP地址、目的端口，统称为网络访问的五元组。对防火墙日志进行采集、管理和分析，从而发现异常网络访问行为，是网络安全管理的普遍做法。尽管防火墙日志中包含了大量有用的信息，但是这些日志只有在经过深入分析后才能够发挥作用。虽然防火墙厂家大多提供防火墙日志管理系统，但只侧重于日志的统一采集、存储、查询和统计，日志的分析能力比较弱，很难发现日志中的异常情况。通常是在发生严重安全事件的情况下采取人工观察的方式搜查日志记录，从中获取有用信息。由于防火墙每天产生大量的日志记录，日志量非常庞大，管理员关注的信息往往淹没在大量普通的信息中，采用人工方式对防火墙日志进行分析，工作量异常繁重，效率也很低。同时，防火墙日志都是记录的对某些主机、某些应用服务的访问，至于对这些主机、这些服务的访问是否正常，防火墙日志本身无法体现。而网络安全管理中需要经常针对网络访问的异常情况进行分析，需要从表面上看似正常的防火墙日志中分析挖掘出异常的行为。

现在已有一些对防火墙日志进行管理的工具，但这些工具通常只针对某种特定防火墙的日志进行管理，例如天融信日志管理系统，主要针对天融信防火墙日志进行管理，同时主要功能集中在日志采集、存储、展示和查询，而没有对异常日志的分析功能，无法从大量日志中分析异常行为的信息。由于各种防火墙日志信息没有采用统一格式，都是非结构化数据，因此为防火墙统一分析带来极大的不便。

可扩展标记语言(Extensible Markup Language,XML)，用于标记电子文件使其具有结构性的标记语言，可以用来标记数据、定义数据类型，是一种允许用户对自己的标记语言进行定义的源语言。XML是标准通用标记语言(SGML)的子集，非常适合Web传输。XML提供统一的方法来描述和交换独立于应用程序或供应商的结构化数据。它能有效实现将各种非结构化日志数据转换成结构化数据，为日志的分析带来很多方便。

发明内容

本发明的目的在于克服防火墙日志分析技术中的不足，提出一种基于XML模板的异构防火墙日志提取与分析方法，从各种不同防火墙日志信息中，通过定义的XML日志分析模板，即可实现对多种异构防火墙日志的提取和分析，从而有效提高防火墙日志的挖掘和利用能量，为安全管理系统和网络监控分析系统提供有利的技术支持。

为了实现上述的目的，本发明采用了以下的技术方案：

基于XML规则模型的防火墙日志自动提取与分析方法，该方法包括以下的步骤：

一、定义XML日志分析模板

XML日志分析模板的定义如下：

上述XML模板的含义如下：

●Firewall_id：防火墙日志标识号，用于区分不同防火墙；

●Log_type_num：日志类型数量，防火墙日志所包含的类型数；

●Max_log_len：防火墙日志中最大记录数；

●Log_type_name：防火墙每条日志的日志类型名称；

●Log_start_tag：每条日志的起始标记；

●Log_end_tag：每条日志的结束标记；

●Item_type：每条日志中包含多个字段，每个字段的类型；

●Item_name：每个字段的名称；

●Item_start_offset：每个字段的在记录中的偏移地址；

●Item_Match：每个字段的匹配字符；

二、防火墙日志的自动提取

防火墙XML日志模板定义完成后，进行日志自动提取过程，具体流程如下：

2.1）接收防火墙日志文件，当收到新的防火墙日志时对其根据XML模板进行处理；

2.2）读取防火墙日志对应的XML分析模板；

2.3）根据模板中定义的Log_start_tag和Log_end_tag从日志文件中获取一条日志记录；

2.4）根据XML模板中“数据项”定义的Item_type属性、Item_name属性、Item_start_offset属性、Item_Match属性提前日志记录中的时间、源IP地址、源端口、目的IP地址、目的端口；

2.5）根据2.4）得到的五组数据以结构化数据表结构进行存储；

2.6）判断该日志文件中的所有记录是否处理完毕，如果没有处理完毕，转到2.3），如果处理完毕，则进入防火墙日志分析流程；

三、防火墙日志的分析

防火墙日志分析方法采用方差分析方法，包括以下步骤：

3.1）根据时间范围n，从防火墙日志结构化数据表中提取所有时间值在此时间范围内的日志集合；

3.2）根据分析目标A，A为源IP地址、源端口、目的IP地址、目的端口四个参数中的一个，对3.1）所涉及的日志集合中所有不同的A的取值进行分类，产生集合{a₁，a₂，a₃…a_m}；

3.3）从集合{a₁，a₂，a₃…a_m}中提取一个元素，根据3.1）所涉及的日志集合，按天为单位进行统计，统计出该元素每天发生的次数：x₁，x₂，x₃…x_n；

3.4）对x₁，x₂，x₃…x_n进行方差分析，如果方差值超过方差阀值，则进行报警处理；

3.5）重复3.3）和3.4），直到对集合{a₁，a₂，a₃…a_m}中的每一个元数都处理完毕。

本发明由于采用了上述的技术方案，根据防火墙日志结构的特点，提取出每条日志中所包含的五元组信息：时间、源IP地址、源端口、目的IP地址、目的端口；根据每类防火墙日志文件的结构特点制定XML模板，在XML模板中为防火墙日志文件中包含的每种记录类型定义特征标识，如数据项的分隔标识、换行标识、数据类型标识等，根据这些标识，对防火墙日志文件进行提取，自动识别防火墙日志中的五元组信息，并根据预先定义的安全规则，自动判断目标设备的运行状态是否正常。通过这种方法，可以自动快速提取大量防火墙日志信息，分析异常网络访问行为，为网络安全分析与管理提供依据。

附图说明

图1是本发明的防火墙日志提取方法的流程图。

图2是本发明的防火墙日志分析方法的流程图。

具体实施方式

下面根据防火墙日志，说明本发明提出的技术方案的具体实现方法。

如图1所示，本发明实现的防火墙日志提取方法首先定期获取防火墙日志文件，步骤S1。根据XML分析模型读取该日志文件对应的XML模型，步骤S2。

根据XML模型定义从日志文件中获取一条日志记录，步骤S3。判断该日志记录的特征值是否与XML定义的“记录类型”相匹配，步骤S4。如果不相匹配，转至S3。如果相匹配，根据“记录类型”下“数据项”中的属性，提前对应的日志参数，步骤S5。

判断日志文件中所有记录是否都处理完，步骤S6。如果没有处理完，转至S3。如果所有记录都已处理完，将所有提取出的日志记录保存到结构化数据表中，并进入“防火墙日志分析流程”，步骤S7。

如图2所示，本发明的实现的防火墙日志分析方法从“防火墙日志提取方法”中获取结构化日志信息，步骤T1。

从防火墙结构化日志中取出一段时间内的日志信息，并根据目的IP地址，在提取出的所有日志中列出所有不同的目的IP地址，组成目的IP地址集合，步骤T2。例如最近三十天防火墙日志中，所有不同的目的IP地址有一百个，则目的IP地址集合为{a₁，a₂，a₃…a₁₀₀}。

对这一百个不同的目的IP地址分别统计出每个目的IP地址每天产生的日志信息记录数，步骤T3。例如：目的IP地址a₁在最近三十天每天产生的日志数量为：x₁，x₂，x₃…x₃₀。

对这一百个不同的目的IP地址，根据每天产生的记录数，分别计算出方差，过程T4。方差公式如下：

若

为x₁，x₂，x₃…x₃₀的平均数，S²为这组数据的方差，则有：

$S^2=\frac{1}{30}[{(x_1-\stackrel{\‾}{x})}^2+{(x_2-\stackrel{\‾}{x})}^2+...+{(x_{30}-\stackrel{\‾}{x})}^2]=\frac{1}{n}[{x_1}^2+{x_2}^2+...+{x_{30}}^2)-30{\stackrel{\‾}{x}}^2]$

如果S²大于方差阀值90，产生报警事件，表明发现了异常日志，即对某个目的IP地址的访问有异常；否则防火墙日志正常，过程T5。

重复过程T3、T4、T5，直到所有不同的目的IP地址都处理完毕。

一般情况下，防火墙记录的对各个IP地址和端口的访问数量应该保持稳定。一旦发现对某个IP地址和端口的访问统计出现了较大的波动，或者突然出现了以前从来未有过的访问记录，可以认为有异常情况发生。例如，对某个服务器的访问正常情况下为每天1000此以下，如果某天对该服务器的访问急剧增加到10万次以上，其方差值会超过预定的阀值，从而产生报警。

本发明提出了利用XML规则模型自动获取防火墙日志以及利用方差分析防火墙日志的方法，根据此方法，能够将多种不同类型的防火墙日志信息自动归纳到由XML定义的结构化数据表中，并利用方差技术对结构化防火墙日志进行分析，实现了大型网络环境下对防火墙日志自动分析的功能，提高防火墙日志的利用效率，减轻管理员日志分析工作量。

Claims (1)

1.基于XML规则模型的防火墙日志自动提取与分析方法，该方法包括以下的步骤：

一、定义XML日志分析模板

XML日志分析模板的定义如下：

上述XML模板的含义如下：

●Firewall_id：防火墙日志标识号，用于区分不同防火墙；

●Log_type_num：日志类型数量，防火墙日志所包含的类型数；

●Max_log_len：防火墙日志中最大记录数；

●Log_type_name：防火墙每条日志的日志类型名称；

●Log_start_tag：每条日志的起始标记；

●Log_end_tag：每条日志的结束标记；

●Item_type：每条日志中包含多个字段，每个字段的类型；

●Item_name：每个字段的名称；

●Item_start_offset：每个字段的在记录中的偏移地址；

●Item_Match：每个字段的匹配字符；

二、防火墙日志的自动提取

防火墙XML日志模板定义完成后，进行日志自动提取过程，具体流程如下：

2.1）接收防火墙日志文件，当收到新的防火墙日志时对其根据XML模板进行处理；

2.2）读取防火墙日志对应的XML分析模板；

2.3）根据模板中定义的Log_start_tag和Log_end_tag从日志文件中获取一条日志记录；

2.4）根据XML模板中“数据项”定义的Item_type属性、Item_name属性、Item_start_offset属性、Item_Match属性提前日志记录中的时间、源IP地址、源端口、目的IP地址、目的端口；

2.5）根据2.4）得到的五组数据以结构化数据表结构进行存储；

2.6）判断该日志文件中的所有记录是否处理完毕，如果没有处理完毕，转到2.3），如果处理完毕，则进入防火墙日志分析流程；

三、防火墙日志的分析

防火墙日志分析方法采用方差分析方法，包括以下步骤：

3.1）根据时间范围n，从防火墙日志结构化数据表中提取所有时间值在此时间范围内的日志集合；

3.2）根据分析目标A，A为源IP地址、源端口、目的IP地址、目的端口四个参数中的一个，对3.1）所涉及的日志集合中所有不同的A的取值进行分类，产生集合{a₁，a₂，a₃…a_m}；

3.3）从集合{a₁，a₂，a₃…a_m}中提取一个元素，根据3.1）所涉及的日志集合，按天为单位进行统计，统计出该元素每天发生的次数：x₁，x₂，x₃…x_n；

3.4）对x₁，x₂，x₃…x_n进行方差分析，如果方差值超过方差阀值，则进行报警处理；

3.5）重复3.3）和3.4），直到对集合{a₁，a₂，a₃…a_m}中的每一个元数都处理完毕。

Images