CN115150166B - 一种日志收集与分析管理系统 - Google Patents

Abstract

本发明公开了一种日志收集与分析管理系统。包括：至少一个通用接口采集前置机以及至少一个第一类日志服务器；各通用接口采集前置机与各第一类日志服务器的数量和连接方式，与所日志收集与分析管理系统所处的网络环境相匹配；通用接口采集前置机，用于采集所直连的防火墙中的日志信息，并对采集到的日志信息进行标签标注后，发送至相连的第一类日志服务器；第一类日志服务器，用于在接收日志信息时，采用与日志信息的标签匹配的数据解析算法将日志信息解析为解析日志，并将解析日志存储于内部的数据库中。通过采用日志收集与分析管理系统，能够实现对不同防火墙的日志信息的采集，有效增加日志信息的保存时限。

Description

一种日志收集与分析管理系统

技术领域

本发明涉及互联网技术领域，尤其涉及一种日志收集与分析管理系统。

背景技术

通信设备的日志能够记录通信设备的全部行为，通过从防火墙获取日志信息并记录和分析，能够对通信设备以及所使用的通信网络进行优化、调试和运行维护。

为了保证运维人员能够对通信系统进行高效运维，通信设备的日志保存期限需要满足等保测评关于防火墙日志保存180天的需求。

边界防火墙本体储存空间有限，仅能保存五分钟以内的日志，且由于不同厂家的防火墙所采用的技术标准不一致，无法集中保存使用不同防火墙的通信设备的日志。

发明内容

本发明提供了一种日志收集与分析管理系统，通过采用所述日志收集与分析管理系统，能够实现对不同防火墙的日志信息的采集，有效增加日志信息的保存时限。

根据本发明的一方面，提供了一种日志收集与分析管理系统，包括至少一个通用接口采集前置机以及至少一个第一类日志服务器；

其中，各通用接口采集前置机与各第一类日志服务器的数量和连接方式，与所述日志收集与分析管理系统所处的网络环境相匹配；

所述通用接口采集前置机，用于采集所直连的防火墙中的日志信息，并对采集到的日志信息进行标签标注后，发送至相连的第一类日志服务器；

其中，标签用于区分不同厂家、型号和技术标准中至少一项的防火墙；

所述第一类日志服务器，用于在接收日志信息时，采用与日志信息的标签匹配的数据解析算法将日志信息解析为解析日志，并将所述解析日志存储于内部的数据库中。

可选的，所述通用接口采集前置机预先向所述直连的防火墙开放UDP(UserDatagram Protocol，用户数据报协议)端口；

所述通用接口采集前置机具体用于：

通过所述UDP端口，接收所述防火墙发送的日志信息。

可选的，所述第一类日志服务器内置有通用格式转换API(ApplicationProgramming Interface，应用程序接口)；在所述通用格式转换API中，内置有多个数据解析算法，不同数据解析算法与不同日志信息的标签相关联；

所述第一类日志服务器具体用于：

在接收日志信息时，通过所述通用格式转换API获取所述日志信息的标签，并获取与所述标签匹配的数据解析算法，将日志信息解析为解析日志。

可选的，所述第一类日志服务器还用于：

在将所述解析日志存储于数据库中之前，采用预设数据规则对所述解析日志进行格式规整化处理。

可选的，所述日志收集与分析管理系统，还包括至少一个镜像流量采集前置机，以及与所述镜像流量采集前置机对应相连的第二类日志服务器；

所述镜像流量采集前置机，用于采集传输层流量中的日志信息，并将采集到的日志信息发送至对应相连的第二类日志服务器；

所述第二类日志服务器，用于在接收到日志信息时，采用预设数据规则对所述解析日志进行格式规整化处理后，将所述日志信息存储于内部的数据库中。

可选的，所述镜像流量采集前置机具体用于：

通过JPCAP调用wincap或者libpcap，采集传输层流量中的日志信息。

可选的，所述日至收集与分析管理系统还包括：至少一个日志查询工作站；所述日志查询工作站与所述第一类日志服务器或者第二类日志服务器相连；

所述日志查询工作站，用于获取用户的日志信息关键词，通过预先建立的数据库索引，确定与所述日志信息关键词匹配的目标日志服务器；查询所述目标日志服务器，获取与所述日志信息关键词匹配的目标日志数据，并将所述目标日志数据以列表的形式反馈给所述用户。

可选的，所述数据库索引包括下述至少一项：

日志信息的源地址、源端口、目标地址、目标端口、协议信息和动作信息。

可选的，所述日志收集与分析管理系统所处的网络环境包括多个第一类网络以及多个第二类网络：每个第一类网络通过防火墙与所述日志收集与分析管理系统相连，每个第二类网络直接与所述日志收集与分析管理系统相连；不同第一类网络使用不同厂家、型号和技术标准中至少一项的防火墙；

所述日志收集与分析管理系统具体包括至少一个通用接口采集前置机、至少一个第一类日志服务器、与所述第二类网络数量匹配的镜像流量采集前置机以及与所述镜像流量采集前置机对应相连的第二类日志服务器；

每个通用接口采集前置机分别与一个或者多个防火墙相连；每个第一类日志服务器分别与一个或者多个通用接口采集前置机相连。

可选的，每个通用接口采集前置机所连接的防火墙的数量，与所述通用接口采集前置机的内存容量相匹配；

每个第一类日志服务器所连接的通用接口采集前置机，与所述第一类日志服务器的内存容量相匹配。

本发明实施例的技术方案，通过对日至收集与分析管理系统配置至少一个通用接口采集前置机与至少一个第一类日志服务器，从与通用接口采集前置机直连的防火墙中获取日志信息，并对日志信息进行标签标注和数据解析，将解析后得到的解析日志经格式规整化处理后存储于内部的数据库中并生成数据库索引的方式，实现了对不同厂家、型号和技术标准的防火墙的日志信息进行采集和数据解析，同时增加了日志信息的保存时限。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例一提供的一种日志收集与分析管理系统的结构示意图；

图2是根据本发明实施例一提供的另一种日志收集与分析管理系统的结构示意图；

图3a是本发明实施例的技术方案所适用的一种具体应用场景的结构示意图；

图3b是本发明实施例的技术方案所适用的另一种具体应用场景的结构示意图；

图3c是本发明实施例的技术方案所适用的另一种具体应用场景的结构示意图；

图3d是本发明实施例的技术方案所适用的另一种具体应用场景的结构示意图；

图3e是本发明实施例的技术方案所适用的另一种具体应用场景的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1为本发明实施例一提供的一种日志收集与分析管理系统的结构示意图，包括：通用接口采集前置机110和第一类日志服务器120。

如图1所示，日志收集与分析管理系统中包括至少一个通用接口采集前置机110以及至少一个第一类日志服务器120。为了便于理解本实施例，图1中示出了与通用接口采集前置机110相连的至少一个防火墙，防火墙不属于日志收集与分析管理系统，但防火墙与日志收集与分析管理系统中的通用接口采集前置机110之间具有直连关系。

在本发明的实施例中,可对每个通用接口采集前置机110、第一类日志服务器120和防火墙采用编号形式表示，用n号代表日志收集与分析管理系统中具有n个通用接口采集前置机110，用m号代表日志收集与分析管理系统中具有m个第一类日志服务器120，用p号代表有p个防火墙与通用接口采集前置机110直接相连，此处的编号设置的目的在于便于理解说明，并非用于限定所述日志收集与分析管理系统。

在一个具体的实施方式中，通用接口采集前置机110可采用JAVA语言基于Windows操作系统开发，第一类日志服务器120可采用PHP语言基于Windows操作系统开发，也可采用其他语言开发，以实现相同的使用功能，本发明的实施例对通用接口采集前置机110和第一类日志服务器120的开发方式不作限定。

其中，各通用接口采集前置机110与各第一类日志服务器120的数量和连接方式，与所述日志收集与分析管理系统所处的网络环境相匹配；

所述通用接口采集前置机110，用于采集所直连的防火墙中的日志信息，并对采集到的日志信息进行标签标注后，发送至相连的第一类日志服务器120；

其中，标签用于区分不同厂家、型号和技术标准中至少一项的防火墙；

所述第一类日志服务器120，用于在接收日志信息时，采用与日志信息的标签匹配的数据解析算法将日志信息解析为解析日志，并将所述解析日志存储于内部的数据库中。

日志收集与分析管理系统所处的网络环境包括多个第一类网络，每个第一类网络通过防火墙与所述日志收集与分析管理系统相连；不同第一类网络使用不同厂家、型号和技术标准中至少一项的防火墙；

每个通用接口采集前置机110分别与一个或者多个防火墙相连；每个第一类日志服务器120分别与一个或者多个通用接口采集前置机110相连。

每个通用接口采集前置机110所连接的防火墙的数量，与所述通用接口采集前置机110的内存容量相匹配；

每个第一类日志服务器120所连接的通用接口采集前置机110，与所述第一类日志服务器120的内存容量相匹配。

在一个具体的实施方式中，目标防火墙发送的日志信息需暂存至目标通用接口采集前置机110中进行标签标注操作，目标通用接口采集前置机110需将经标签标注后的日志信息发送至相连的目标第一类日志服务器120中。若目标通用接口采集前置机110的内存容量仅能够对单个目标防火墙进行日志信息的采集和标签标注操作，则目标通用接口采集前置机110仅与单个目标防火墙相连；若目标通用接口采集前置机110的内存容量能够支持同时对多个目标防火墙进行日志信息的采集和标签标注操作，则目标通用接口采集前置机110可与相应数量的目标防火墙相连。相似的，若目标第一类日志服务器120的内存容量仅能够满足单个通用接口采集前置机110在目标时间段内的日志信息存储需求，则目标第一类日志服务器120与单个通用接口采集前置机110相连；若目标第一类日志服务器120的内存容量能够同时满足多个通用接口采集前置机110在目标时间段内的日志信息存储需求，则目标第一类日志服务器120可与相应数量的目标通用接口采集前置机110相连。每个第一类日志服务器120至少与一个通用接口采集前置机110相连，每个通用接口采集前置机110至少与一个防火墙相连，当第一类日志服务器120与多个通用接口采集前置机110相连或通用接口采集前置机110与多个防火墙相连时，仅需考虑内存容量和实际应用需求，此处不对具体可以连接数量进行限定。

这样设置的好处在于：根据目标防火墙发送的日志信息合理设置与通用接口采集前置机110相连的防火墙的数量，可保证通用接口采集前置机110能够流畅的采集目标日志信息，且能够有效节约通用接口采集前置机110的设备资源；根据通用接口采集前置机110发送的日志信息与日志信息的目标存储时长合理设置与第一类日志服务器120相连的通用接口采集前置机110的数量，能够保证日志信息可以长时间保存，且能够有效节约第一类日志服务器120的设备资源。

所述通用接口采集前置机110预先向所述直连的防火墙开放UDP端口；

所述通用接口采集前置机110可以具体用于：

通过所述UDP端口，接收所述防火墙发送的日志信息。

具体的，防火墙可以将日志信息以数据包形式，经UDP端口发送至通用接口采集前置机110。

UDP是一个无连接协议，在传输数据之前无需建立发送端和接收端间的连接，可将日志信息以数据包形式由防火墙传输至通用接口采集前置机110。

这样设置的好处在于：通用接口采集前置机110通过UDP端口接收目标防火墙发送的日志信息，可使日志信息传输过程中的延迟小，提高日志信息的传输效率。

由于各不同厂家、型号和技术标准的防火墙发送的日志信息的数据格式均具有一定差异，若将各通用接口采集前置机110采集到的日志信息直接进行存储，则会导致后续查看日志信息时仍需单独解析日志信息，无法快速高效查看日志信息。

在一个具体的实施方式中，在通用接口采集前置机110在接收防火墙发送的日志信息之后，可通过通用接口采集前置机110对采集到的日志信息进行标签标注。系统开发人员可以根据历史经验提取各厂家、型号和技术标准信息的关键字段并配置于通用接口采集前置机110中，通用接口采集前置机110可根据所接收的目标日志信息的关键字段识别发送目标日志信息的防火墙的厂家、型号和技术标准信息，并根据识别结果对目标日志信息进行标签标注。可选的，可以在通用接口采集前置机110中单独配置日志收集和分析接口用于对采集到的日志信息进行标签标注，但此处不作限定。

这样设置的好处在于：在通用接口采集前置机110采集到目标日志信息后以标签标注的方式对各日志信息进行标签分类，便于第一类日志服务器120能够根据各日志信息的标签对目标日志信息进行精准快速的解析。

所述第一类日志服务器120内置有通用格式转换API；在所述通用格式转换API中，内置有多个数据解析算法，不同数据解析算法与不同日志信息的标签相关联；

所述第一类日志服务器120可以具体用于：

在接收日志信息时，通过所述通用格式转换API获取所述日志信息的标签，并获取与所述标签匹配的数据解析算法，将日志信息解析为解析日志。

所述数据解析算法可以为系统开发人员根据历史经验提供的算法，各数据解析算法可以具体用于将与其标签相关联的日志信息进行解析，以获得最终的解析日志。解析日志的数据格式不再受防火墙的厂家、型号和技术标准的限定，但仍包括解析前日志信息的全部内容。

所述第一类日志服务器120还可以用于：

在将所述解析日志存储于数据库中之前，采用预设数据规则对所述解析日志进行格式规整化处理。

所述格式规整化处理可理解为将解析日志按照统一规定的数据格式进行重构，获取统一格式的规整化日志信息。

在一个具体的实施方式中，第一类日志服务器120将通用接口采集前置机110发送的目标日志信息通过目标数据解析算法解析为解析日志，并将目标解析日志进行格式规整化处理，得到规整化日志信息。

这样设置的好处在于：为了避免不同厂家、型号和技术标准的防火墙发送的日志信息无法直接读取的问题，对目标日志信息利用数据解析算法获取解析日志，并将解析日志进行格式规整化处理，可以将不同厂家、型号和技术标准的防火墙发送的日志信息统一数据格式，便于后续能够快速的进行日志信息存储和查询。

经格式规整化处理后的日志信息可集中存储于第一类日志服务器120的数据库中，在第一类日志服务器120的数据库存储首条日志信息之后，数据库能够自动生成数据库索引，并在每次更新日志信息之后，自动更新数据库索引。

数据库索引可以包括下述至少一项：

日志信息的源地址、源端口、目标地址、目标端口、协议信息和动作信息。

这样设置的好处在于：将日志信息中的主要信息自动生成数据库索引，便于后续通过数据库索引查找目标日志信息。

本发明实施例的技术方案，通过对日至收集与分析管理系统配置至少一个通用接口采集前置机与至少一个第一类日志服务器，从与通用接口采集前置机直连的防火墙中获取日志信息，并对日志信息进行标签标注和数据解析，将解析后得到的解析日志经格式规整化处理后存储于内部的数据库中并生成数据库索引的方式，实现了对不同厂家、型号和技术标准的防火墙的日志信息进行采集和数据解析，同时增加了日志信息的保存时限。

实施例二

图2为本发明实施例二提供的另一种日志收集与分析管理系统的结构示意图，包括：镜像流量采集前置机210和第二类日至服务器220。本实施例在上述实施例的基础上，进一步细化了日志收集与分析管理系统的结构。

日志收集与分析管理系统所处的网络环境还可以包括多个第二类网络，每个第二类网络直接与所述日志收集与分析管理系统相连。

日志收集与分析管理系统可以包括与第二类网络数量匹配的镜像流量采集前置机210以及与所述镜像流量采集前置机210对应相连的第二类日志服务器220。

在本发明实施例的技术方案中，第二类网络可表示为包含一个传输层的网络环境。

如图2所示，日志收集与分析管理系统还包括至少一个镜像流量采集前置机210，以及与所述镜像流量采集前置机对应相连的第二类日志服务器220。为了便于理解本实施例，图2中示出了与镜像流量采集前置机210相连的至少一个传输层，传输层不属于日志收集与分析管理系统，但传输层与日志收集与分析管理系统中的镜像流量采集前置机210之间具有直连关系。

在本发明的实施例中,可对每个镜像流量采集前置机210、第二类日志服务器220和传输层采用编号形式表示，用x号代表日志收集与分析管理系统中具有x个镜像流量采集前置机210，用y号代表日志收集与分析管理系统中具有y个第二类日志服务器220，由于第二类网络数量与镜像流量采集前置机210数量相匹配，因此传输层的数量与镜像流量采集前置机210相同，此处的编号设置的目的在于便于理解说明，并非用于限定所述日志收集与分析管理系统。

在一个具体的实施方式中，镜像流量采集前置机210可采用JAVA语言基于Windows操作系统开发，第二类日志服务器220可采用PHP语言基于Windows操作系统开发，也可采用其他语言开发，以实现相同的使用功能，本发明的实施例对镜像流量采集前置机210和第二类日志服务器220的开发方式不作限定。

所述镜像流量采集前置机210，用于采集传输层流量中的日志信息，并将采集到的日志信息发送至对应相连的第二类日志服务器220；

所述第二类日志服务器220，用于在接收到日志信息时，采用预设数据规则对所述解析日志进行格式规整化处理后，将所述日志信息存储于内部的数据库中。

所述镜像流量采集前置机210可以具体用于：

通过JPCAP调用winpcap或者libpcap，采集传输层流量中的日志信息。

JPCAP为JAVA平台中的一个能够抓取和发送网络数据包的组件；winpcap为Windows平台下的用于网络封包抓取的一套工具，为32位的操作平台中的应用程序提供了访问网络底层的能力；libpcap是unix或linux平台下的网络数据包捕获函数包，提供了系统独立的用户级别网络数据包捕获接口。JPCAP可根据操作平台选择调用winpcap或者libpcap中提供的网络数据包捕获接口，通过网络数据包捕获接口获取相应的传输层流量中的日志信息。

这样设置的好处在于：JPCAP能够通过调用winpcap或者libpcap中提供的网络数据包捕获接口获取流量层中的日志信息，能够实现日志信息采集的平台无关性。

具体的，传输层可以将日志信息以数据包的形式，经JPCAP调用的接口传输至镜像流量采集前置机210。

所述第二类日志服务器220可以用于：

在将所述日志信息存储于数据库中之前，采用预设数据规则对所述解析日志进行格式规整化处理。

在一个具体的实施方式中，当镜像流量采集前置机210将从传输层中采集的日志信息发送至第二类日志服务器220之后，第二类日志服务器220通过预设的数据规则，对日志信息进行格式统一化处理。

需要说明的是，在本发明的实施例一中的通用接口采集前置机110从不同防火墙采集日志信息之后，需要对日志信息进行标签标注和标签解析处理，这样设置的原因在于：不同防火墙发送的日志信息的逻辑架构和语句格式均不同，所以需要对日志信息进行解析后才能统一数据格式；但本发明实施例二中提供的镜像流量采集前置机210是从传输层中获取日志信息，传输层中获取的日志信息均具有统一的逻辑架构和语句格式，因此在第二类日志服务器220接收到由镜像流量采集前置机210发送的日志信息后，可直接对日志信息进行格式统一化处理。

这样设置的好处在于：将从防火墙中采集的日志信息和从传输层中采集的日志信息均采用统一的格式化处理，将全部日志信息以相同的数据格式保存至数据库中，便于用户能够高效便捷的查看已保存的日志信息。

经格式规整化处理后的日志信息可集中存储于第二类日志服务器220的数据库中，在第二类日志服务器220的数据库存储首条日志信息之后，数据库能够自动生成数据库索引，并在每次更新日志信息之后，自动更新数据库索引。

数据库索引可以包括下述至少一项：

日志信息的源地址、源端口、目标地址、目标端口、协议信息和动作信息。

日志收集与分析管理系统系统还可以包括：至少一个日志查询工作站；所述日志查询工作站与所述第一类日志服务器120或者第二类日志服务器220相连；

所述日志查询工作站，用于获取用户的日志信息关键词，通过预先建立的数据库索引，确定与所述日志信息关键词匹配的目标日志服务器；查询所述目标日志服务器，获取与所述日志信息关键词匹配的目标日志数据，并将所述目标日志数据以列表的形式反馈给所述用户。

当一个日志查询工作站与多个第一类日志服务器120或多个第二类日志服务器220相连时，可通过在日志查询工作站与各第一类日志服务器120和各第二类日志服务器220之间添加交换机的方式，实现日志查询工作站对目标日志服务器的调用。

在一个具体的实施方式中：用户可使用数据库索引中包含的关键词通过日志查询工作站查询目标日志信息，目标日志信息能够以表格形式通过日志查询工作站反馈给用户，用户也可在日志查询工作站通过选择导出选项，将已查询的日志信息以表格形式导出至日志查询工作站的本地保存。

这样设置的好处在于：用户能够在日志收集与分析管理系统所配置的日志查询工作站中，通过搜索关键词的方式快速查询目标日志信息，并能保存至本地便于后续快速查看，能够有效提高用户的工作效率。

本发明实施例的技术方案，通过在日志收集与分析管理系统中配置镜像流量采集前置机210和第二类日志服务器220，能够采集传输层中的日志信息并长期保存日志信息，通过在日志收集与分析管理系统中配置日志查询工作站，能够使用户通过日志查询工作站快速便捷的查询目标日志信息。

具体应用场景

1.图3a是本发明实施例的技术方案所适用的一种具体应用场景的结构示意图。如图3a所示，在该应用场景中，防火墙1与通用接口采集前置机1直接相连，通用接口采集前置机1与第一类日至服务器1相连，日志查询工作站与第一类日至服务器1相连，防火墙1可采集来自省网和地王的日志数据。

具体的，由通用接口采集前置机1采集防火墙1的日志信息，进行标签标注后发送至第一类日志服务器1中，第一类日志服务器1对日志信息进行数据解析和格式规整化处理，并存储至第一类日至服务器1的数据库中。

用户可通过日志查询工作站1调用第一类日志服务器1的数据库中的日志信息，对日志信息进行查看、删除或导出等操作。

2.图3b是本发明实施例的技术方案所适用的另一种具体应用场景的结构示意图。如图3b所示，在该应用场景中，防火墙2与通用接口采集前置机2直接相连，防火墙3与通用接口采集前置机3直接相连，防火墙4与通用接口采集前置机4直接相连，通用接口采集前置机2、通用接口采集前置机3和通用接口采集前置机4均与第一类日志服务器2相连，防火墙2、防火墙3和防火墙4可采集来自省网、地网和信息中心机房中的日志信息，且各防火墙可采集多个网络中的日志信息。

具体的，由通用接口采集前置机2、通用接口采集前置机3和通用接口采集前置机4分别采集防火墙2、防火墙3和防火墙4中的日志信息并进行标签标注，日志查询工作站2对日志信息进行数据解析和格式化规整处理后，存储至第一类日志服务器2的数据库中。

用户可通过日志查询工作站2调用第一类日志服务器2的数据库中的日志信息，对日志信息进行查看、删除或导出等操作。

3.图3c是本发明实施例的技术方案所适用的另一种具体应用场景的结构示意图。如图3c所示，在该应用场景中，防火墙5与通用接口采集前置机5直接相连，通用接口采集前置机5与第一类日志服务器5相连，防火墙6与通用接口采集前置机6直接相连，通用接口采集前置机6与第一类日志服务器6相连，防火墙7与通用接口采集前置机7直接相连，通用接口采集前置机7与第一类日志服务器7相连，第一类日志服务器5、第一类日志服务器6和第一类日志服务器7均与交换机相连，交换机与日志查询工作站3相连。防火墙5、防火墙6和防火墙7可采集来自省网、地网和信息中心机房中的日志信息，且各防火墙可采集多个网络中的日志信息。

具体的，由通用接口采集前置机5、通用接口采集前置机6和通用接口采集前置机7分别采集防火墙5、防火墙6和防火墙7中的日志信息并进行标签标注，通过第一类日志服务器5、第一类日志服务器6和第一类日志服务器7分别对日志信息进行数据解析和格式化规整处理后，分别存储至各日志服务器的数据库中。

用户可在日志查询工作站3中选择目标第一类日志服务器，通过交换机调用目标第一类日志服务器的数据库中的日志信息，并对日志信息进行查看、删除或导出等操作。

4.图3d是本发明实施例的技术方案所适用的一种具体应用场景的结构示意图。如图3d所示，在该应用场景中，镜像流量采集前置机1可直接与地网中的传输层相连，第二类日志服务器1与镜像流量采集前置机1相连，日志查询工作站4与第二类日志服务器1相连。地网中的日志数据可由互联网数据中心传输。

具体的，由镜像流量采集前置机1采集地网传输层中的日志信息，将采集到的日志信息发送至第二类日志服务器1中，第二类日志服务器1对日志信息进行格式规整化处理，并存储至第二类日至服务器1的数据库中。

用户可通过日志查询工作站4调用第二类日志服务器1的数据库中的日志信息，对日志信息进行查看、删除或导出等操作。

5.图3e是本发明实施例的技术方案所适用的另一种具体应用场景的结构示意图。如图3e所示，在该应用场景中，防火墙8与通用接口采集前置机8直接相连，通用接口采集前置机8与第一类日志服务器8相连，防火墙9和防火墙10与通用接口采集前置机9直接相连，通用接口采集前置机9与第一类日志服务器9相连，镜像流量采集前置机2可直接与地网中的传输层相连，第二类日志服务器2与镜像流量采集前置机2相连,第一类日志服务器8、第一类日志服务器8和第二类日志服务器2均与交换机相连，交换机与日志查询工作站5相连。防火墙8、防火9和防火墙10可采集来自省网、地网和信息中心机房中的日志信息，且各防火墙可采集多个网络中的日志信息，地网中的日志数据可由互联网数据中心传输。

具体的，由通用接口采集前置机8采集防火墙8中的日志信息并进行标签标注，由通用接口采集前置机9采集防火墙9和防火墙10中的日志信息并进行标签标注，由镜像流量采集前置机2采集地网传输层中的日志信息，将采集到的日志信息分别发送至第一类日志服务8、第一类日志服务器9和第二类日志服务器2中进行数据解析和格式化规整处理之后，分别存储至各日志服务器的数据库中。

用户可在日志查询工作站5中选择目标第一类日志服务器或目标第二类日志服务器，通过交换机调用目标第一类日志服务器或目标第二类日志服务器的数据库中的日志信息，并对日志信息进行查看、删除或导出等操作。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (9)

1.一种日志收集与分析管理系统，其特征在于，包括至少一个通用接口采集前置机以及至少一个第一类日志服务器；

其中，各通用接口采集前置机与各第一类日志服务器的数量和连接方式，与所述日志收集与分析管理系统所处的网络环境相匹配；

所述通用接口采集前置机，用于采集所直连的防火墙中的日志信息，并对采集到的日志信息进行标签标注后，发送至相连的第一类日志服务器；

其中，标签用于区分不同厂家、型号和技术标准中至少一项的防火墙；

所述第一类日志服务器，用于在接收日志信息时，采用与日志信息的标签匹配的数据解析算法将日志信息解析为解析日志，并将所述解析日志存储于内部的数据库中；

其中，日志收集与分析管理系统，还包括至少一个镜像流量采集前置机，以及与所述镜像流量采集前置机对应相连的第二类日志服务器；

所述镜像流量采集前置机，用于采集传输层流量中的日志信息，并将采集到的日志信息发送至对应相连的第二类日志服务器；

其中，所述日志收集与分析管理系统所处的网络环境包括多个第一类网络以及多个第二类网络：每个第一类网络通过防火墙与所述日志收集与分析管理系统相连，每个第二类网络直接与所述日志收集与分析管理系统相连；不同第一类网络使用不同厂家、型号和技术标准中至少一项的防火墙；第二类网络为包含一个传输层的网络环境。

2.根据权利要求1所述的系统，其特征在于，所述通用接口采集前置机预先向所述直连的防火墙开放用户数据报协议UDP端口；

所述通用接口采集前置机具体用于：

通过所述UDP端口，接收所述防火墙发送的日志信息。

3.根据权利要求1所述的系统，其特征在于，所述第一类日志服务器内置有通用格式转换应用程序接口API；在所述通用格式转换API中，内置有多个数据解析算法，不同数据解析算法与不同日志信息的标签相关联；

所述第一类日志服务器具体用于：

在接收日志信息时，通过所述通用格式转换API获取所述日志信息的标签，并获取与所述标签匹配的数据解析算法，将日志信息解析为解析日志。

4.根据权利要求1所述的系统，其特征在于，所述第一类日志服务器还用于：

在将所述解析日志存储于数据库中之前，采用预设数据规则对所述解析日志进行格式规整化处理。

5.根据权利要求1所述的系统，其特征在于，所述镜像流量采集前置机具体用于：

通过JPCAP调用winpcap或者libpcap，采集传输层流量中的日志信息。

6.根据权利要求1所述的系统，其特征在于，所述系统还包括：至少一个日志查询工作站；所述日志查询工作站与所述第一类日志服务器或者第二类日志服务器相连；

所述日志查询工作站，用于获取用户的日志信息关键词，通过预先建立的数据库索引，确定与所述日志信息关键词匹配的目标日志服务器；查询所述目标日志服务器，获取与所述日志信息关键词匹配的目标日志数据，并将所述目标日志数据以列表的形式反馈给所述用户。

7.根据权利要求6所述的系统，其特征在于，所述数据库索引包括下述至少一项：

日志信息的源地址、源端口、目标地址、目标端口、协议信息和动作信息。

8.根据权利要求1所述的系统，其特征在于，所述日志收集与分析管理系统具体包括至少一个通用接口采集前置机、至少一个第一类日志服务器、与所述第二类网络数量匹配的镜像流量采集前置机以及与所述镜像流量采集前置机对应相连的第二类日志服务器；

每个通用接口采集前置机分别与一个或者多个防火墙相连；每个第一类日志服务器分别与一个或者多个通用接口采集前置机相连。

9.根据权利要求8所述的系统，其特征在于，每个通用接口采集前置机所连接的防火墙的数量，与所述通用接口采集前置机的内存容量相匹配；

每个第一类日志服务器所连接的通用接口采集前置机，与所述第一类日志服务器的内存容量相匹配。