CN100351833C - 基于插件技术的设备日志实时解析系统及日志解析方法 - Google Patents

Abstract

本发明是基于插件技术的对设备的日志进行实时解析的系统及日志解析方法，该系统设备插件的设备控制接口有一组用于日志分析的接口，日志分析接口可以将收到的设备发出的原始日志输出为能够被系统的日志分析引擎所识别的标准格式日志。解析方法包括前端机接受设备发出的一个日志；查找来源设备地址对应的插件接口对象；如果找到接口对象，则调用这个设备插件接口对象的日志解析方法，解析日志内容，发送解析结果到管理中心，如果没有找到插件接口对象，则放弃该日志的步骤。当新设备加入到系统中时，不需要重新编写管理系统的分析引擎，只需要为这个设备编写一个插件加入到系统中，就可以以较小的工作量，使管理系统能接收并分析新设备的日志。

Description

基于插件技术的设备日志实时解析系统及日志解析方法

技术领域

本发明涉及计算机网络安全管理技术，特别是一种基于插件技术的对设备的日志进行实时解析的系统及日志解析方法，属于计算机应用领域。

背景技术

在安全集中管理系统中，对设备发出的事件的日志实时分析是重要的内容。日志是描述计算机系统或设备行为的记录，它们由观测系统行为的日志记录系统来负责完成，记录主要针对操作系统、应用程序和用户行为。在日志中，任何一种事件都可以表示为主体对客体进行的操作。在入侵检测模型中，行为主要是系统服务和上层的程序应用行为，主体主要是指用户或者代表用户的操作行为，客体主要是受保护的系统资源。在计算机安全领域中，日志主要用于用户行为的监控，记录用户对系统的使用情况，防止用户越权使用；异常事件的诊断，通过观察日志对异常事件的相关行为进行评估、重组得出该事件发生的时间、原因等；问题的监控是通过日志系统来监测系统资源或者网络流量的使用情况，来检测问题是否发生。此外，日志系统在入侵检测中的应用显得尤为重要，实时地对日志进行分析并以此检测和预防入侵是计算机安全领域中研究的热点之一。常用的日志及基于日志分析的入侵检测模型有：系统日志，它是为系统应用提供的一项审计服务，在系统应用提供的文本串形式的信息前面添加应用运行的系统名和时间信息，然后进行本地或远程归档处理，但是它并不安全，操作系统的守护程序极易遭受缓冲区溢出性攻击；C2级安全性审计记录，用于记录系统中所有潜在的安全相关事件的信息，对系统活动的详细信息进行了可靠的收集，它在大多数的入侵检测系统原型以及检测工具中都作为主要的数据源，但在将日志引入到入侵检测的实际过程中还面临了很多问题，主要是不同的日志都有不同的格式和内容。

目前常用的日志分析方法主要有：统计方法，用统计理论提取用户或系统正常行为的活动简档；基于规则集的专家系统，利用知识库中的一些规则与日志中的事件进行匹配以检测入侵事件；向机器学习的方法，利用日志的信息来学习用户的正常行为模式，通过日志中的历史事件用一些学习算法来预测未来的用户行为。

通常，设备发出的日志或事件是有一定格式的字符串，安全集中管理系统接收到这些字符串以后，按照格式的规则解释这些字符串，从中分析出所期望的内容。但由于不同的设备所发出的日志在格式和内容上都有相当大的区别，因此，在一个安全集中管理系统中，对多种不同设备的日志同时作实时解析是比较困难的，这也就限制了一个安全管理系统所能够支持的设备的种类。目前被广泛采用的方法是使用一个外部程序，将日志转换为某种统一的格式以后再提供给管理系统。使用这种方法时，一个日志要经历解析-合成统一格式-再解析的繁琐过程，显然其效率比较低下。

发明内容

本发明的主要目的在于提供一种基于插件技术的设备日志实时解析系统及日志解析方法，通过为每个设备编写一个插件来分析设备发出的日志，将日志解析成安全管理系统可以处理的数据结构，提供给安全管理系统处理。

本发明的另一个目的在于提供一种基于插件技术的设备日志实时解析系统及日志解析方法，当新设备加入到系统中时，不需要重新编写管理系统的分析引擎，只需要为这个设备编写一个插件加入到系统中，就可以以比较小的工作量，使管理系统能够接收并分析新设备的日志。

本发明采用的技术方案是：基于插件技术的设备日志实时解析系统，包括管理员控制台计算机、系统管理中心计算机和系统的前端机，系统上运行有网络管理软件和插件，该系统设备插件的设备控制接口有一组用于日志分析的接口，日志分析接口能够将收到的前端机转发的由设备发出的原始日志输出为能够被系统的日志分析引擎所识别的标准格式日志。

上述系统所述日志分析接口具体是指：设备插件中根据日志字符串中的关键单词，分析出是哪一种日志，然后解析日志字符串，获取日志字符串中每个项目的值，生成与日志字符串对应的内部数据结构的接口。

实现上述系统的日志解析方法，包括以下步骤：

步骤1、前端机接收由被管理的设备发出的一个日志；

步骤2、查找与来源设备地址对应的插件接口对象；

步骤3、如果找到接口对象，则调用这个设备插件接口对象的日志解析方法，对日志内容进行解析，将解析结果发送到管理中心，如果没有找到插件接口对象，则放弃这条日志。

在上述方法中，步骤2所述设备地址是IP地址；所述设备是防火墙。

在上述方法中，步骤3所述解析具体包括：

步骤31、设备插件判断设备发来的超文本传输协议的代理日志字符串的单词，用超文本传输协议代理的模式串去解析这个字符串，得到每个项目的值；

步骤32、生成一个标准格式的代理对象，这个对象用于表示各种设备的各种代理类型的日志，设置代理对象的类型为超文本协议代理日志在设备中类型中的编号，设置主机地址项目的值。

步骤33、插件将代理对象通过接口返回给前端机模块。

本发明将插件技术应用于日志解析，具有显著的优点，通过为每个设备编写一个插件来分析设备发出的日志，将日志解析成安全管理系统可以处理的数据结构，提供给安全管理系统处理。当新设备加入到系统中时，不需要重新编写安全管理系统的分析引擎，只需要为这个设备编写一个插件加入到系统中，就可以以比较小的工作量，使管理系统能够接收并分析新设备的日志。

附图说明

图1是本发明的一个实施例的系统示意图；

图2本发明的主流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步详细的说明。

本发明所述插件技术，其原理是一种在插件的函数型接口和动态库调用的基础上，为解决用户对软件功能的多样化需求的软件进程内扩展技术。框架结构插件技术在软件实体上是一个插件库，插件库采用静态连接库的形式提供。插件库分成两个对称的独立部分：插件客户端库和插件服务器端库。当主件和插件结合在一起运行时，它们之间通过这两个库之间的接口就可以动态地连接起来。

本发明基于插件技术的设备日志实时解析系统的一个实施例，包括管理员控制台计算机、系统管理中心计算机和系统的前端机，系统上运行有网络管理软件和插件，系统使用一套内部日志结构，设备插件的设备控制接口有一组用于日志分析的接口，日志分析接口可以将收到的设备发出的原始日志转换输出为能够被系统的日志分析引擎所识别的标准格式日志，图1中，系统/前端机1接收设备防火墙2发出的原始日志6，将原始日志6发到防火墙插件4进行解析，防火墙插件4返回原始日志6的解析结果5，系统/前端机1将解析后的标准日志格式发给系统/管理中心3。

系统使用内部日志结构来表示日志，管理中心可以直接处理这个结构的数据而不需要任何转换。本发明采用基类和派生类的结构来表示多种日志。基类包括：该日志在设备日志中的类型序号、该日志的接收时间等基本信息，而派生类则包括该类型日志所应该包含的所有内容。比如，以代理日志为例，代理日志包括代理源地址、代理目的地址、用户名、代理发生时间、结束时间、流量等等，这些内容是管理系统需要处理的，与具体的设备无关，通常具体设备发出的某种代理日志通常都会包含这些内容。

本发明为系统中设备插件的设备控制接口增加一组用于日志分解析的接口，通过这组接口，输入设备发出的原始日志字符串通过接口可以输出能够被系统的日志分析引擎所识别的内部数据结构。由于一个设备插件是针对该设备专门编写的，因此，只需要根据该设备本身的日志格式来编写解析代码，程序编写比较容易，也容易获得比较高的效率。

本发明的接口形式是设备接口对象的方法。设备接口对象是由设备插件创建的一个对象，其中包括了插件所代表类型的某个具体设备的配置参数、运行参数和访问接口等。日志解析的接口就是这个对象的一个方法。通过将某个设备接口对象和一个具体的设备对应起来，这个设备发出的日志就可以直接地被这个设备接口对象正确解析。日志解析接口的输入收到一个日志字符串，而返回给管理系统的是一个内部日志数据结构，在本发明中就是一个日志对象。

当负责安全管理的系统/前端机1接收到一个设备发出的日志后，就调用在管理系统中这个设备对应的插件接口对象实例的日志解析方法。然后将解析的结果5即标准格式的日志转发给处理分析的模块，如图1中的系统/管理中心3。

图2为本发明的主流程图。该图2表示了实现基于插件技术的设备日志实时解析系统的方法，包括以下步骤：

步骤1、前端机接收设备发出的一个日志；

步骤2、查找与来源设备地址对应的插件接口对象；

步骤3、如果找到接口对象，则调用这个设备插件接口对象的日志解析方法，解析日志内容，发送解析结果到管理中心，如果没有找到插件接口对象，则放弃这条日志。

较佳实施例：一个基于插件技术的设备日志实时解析系统，该系统可以分为三个部分模块，分别是界面即控制台、管理中心和前端机，三个模块分别运行在不同的计算机上。控制台模块用来显示每种设备的配置界面，管理中心则需要分析、存储设备的配置、设备的事件，而前端机则直接和设备连接，获取和控制设备的配置，并采集设备的事件。

本发明的实施例中，包括一个被管理的设备--防火墙，防火墙通过用户数据报协议(UDP)，向一个指定网际协议(IP)地址的数据报端口发送日志，日志以文本格式发送，有34种各不相同的类型，这些日志没有遵守某种特定的日志格式。因此，需要对这些日志格式进行转换。

日志的接收和解析是在前端机完成的。首先，前端机根据被管理的防火墙的设备类型号调入正确的插件。然后，就可以接收防火墙的日志了。

防火墙向前端机的数据报端口发送日志，前端机接收防火墙发出的日志。前端机接收到日志后，根据发出这些日志的设备地址，就可以正确地调用插件实例接口，将日志传给防火墙的插件。

防火墙插件根据日志字符串中的关键单词，分析出是哪一种日志，然后解析日志字符串，获取日志中每个项目的值，生成对应的内部数据结构，如基类的某个派生类，34种日志和基类的派生类的对应关系，插件已经通过接口输出给了系统。分析完成后，通过接口的返回参数，将基类加派生类形式的分析结果返回给前端机。

前端机将分析结果发送给管理中心。管理中心接收到的是一个标准格式基类加派生类的日志，这个日志可以直接送给被管理中心的分析引擎进行分析。

前端机接收到日志字符串以后，根据发送的来源IP地址，调用该设备在前端机模块中对应的设备对象的分析接口，这个调用被定向到防火墙插件中。

在插件中，就可以根据字符串的单词，判断出这是一个超文本传输协议(HTTP)的代理日志，然后用HTTP代理的模式串去解析这个字符串，得到每个项目的值，例如，主机地址项目的值解析完成后，生成一个基类加派生类代理对象，这个对象用于表示各种设备的各种代理类型的日志，设置代理对象的类型为超文本协议代理日志在设备中34个类型中的编号1，设置主机地址项目的值等。最后，插件将基类加派生类代理对象通过接口返回给前端机，前端机将这个对象传输给管理中心。

这样，各种不同的设备的不同格式、不同类型的日志，通过自身的插件，都可以被转换为标准的日志格式，从而实现在不修改集中管理系统本身情况下，通过设备插件，实现对设备日志的接收和分析。

最后所应说明的是：以上实施例仅用以说明而非限制本发明的技术方案，尽管参照上述实施例对本发明进行了详细说明，本领域的普通技术人员应当理解：依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或局部替换，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1、基于插件技术的设备日志实时解析系统，包括管理员控制台计算机、系统管理中心计算机和系统的前端机，系统上运行有网络管理软件和插件，其特征在于：该系统设备插件的设备控制接口有一组用于日志分析的接口，所述日志分析接口能够收到前端机转发的由设备发出的原始日志，其输出为能够被系统的日志分析引擎所识别的标准格式日志。

2、根据权利要求1所述的实现基于插件技术的设备日志实时解析系统，其特征在于：所述日志分析接口具体是指：设备插件中根据日志字符串中的关键单词，分析出是哪一种日志，然后解析日志字符串，获取日志字符串中每个项目的值，生成与日志字符串对应的内部数据结构的接口。

3、实现权利要求1所述的一种基于插件技术的设备日志实时解析系统的方法，其特征在于：该方法包括以下步骤：

步骤1、前端机接收由被管理的设备发出的一个日志；

步骤2、查找与来源设备地址对应的插件接口对象；

步骤3、如果找到接口对象，则调用这个设备插件接口对象的日志解析方法，对日志内容进行解析，将解析结果发送到管理中心，如果没有找到插件接口对象，则放弃该日志。

4、根据权利要求3所述的实现基于插件技术的设备日志实时解析系统的方法，其特征在于：步骤2所述设备地址是IP地址。

5、根据权利要求3所述的实现基于插件技术的设备日志实时解析系统的方法，其特征在于：所述设备是防火墙。

6、根据权利要求3或4所述的实现基于插件技术的设备日志实时解析系统的方法，其特征在于：步骤3所述解析具体包括以下步骤：

步骤31、设备插件判断设备发来的超文本传输协议的代理日志字符串的单词，用超文本传输协议代理的模式串去解析这个字符串，得到每个项目的值；

步骤32、生成一个标准格式的代理对象，这个对象用于表示各种设备的各种代理类型的日志，设置代理对象的类型为超文本协议代理日志在设备中类型中的编号，设置主机地址项目的值；

步骤33、插件将代理对象通过接口返回给前端机模块。

Images