CN103138989B - 一种海量日志分析系统及方法 - Google Patents

Abstract

本发明公开了一种海量日志分析系统及方法，该系统包括任务结点集群、管理结点和数据库；其中该任务结点集群包括至少一个任务结点，用于海量日志文件的分布式采集、存储和分析，该管理结点用于制定采集策略，对所述任务结点集群实施调度管理，完成分布式存储和分析，并由该管理结点将最终的日志分析结果和审计信息写入所述数据库。本发明可以在大型网络环境中对海量日志进行高效的分析和存储，提高了利用日志进行安全审计的可靠性和有效性。

Description

一种海量日志分析系统及方法

技术领域

本发明有关一种日志分析系统及方法，特别是指一种在大型复杂网络中对海量日志分析的系统及方法。

背景技术

当前，针对网络环境中关键信息资源的威胁数量和类型都在急剧上升，如何及时对网络攻击行为做出主动反应，是网络安全领域近年来的研究热点。通过分析日志文件对网络安全态势进行评估已得到越来越广泛的认可。然而，当前的日志分析系统通常由日志采集代理和分析管理系统组成，可对数据量较小的日志进行安全分析，但面对大型、复杂网络中的海量日志文件，其以工具形态工作的方式无法较好地胜任采集与分析任务，并且缺乏对整体日志数据的综合分析，无法使网络成为一个整体来应对安全事件；而且大型网络中，由于网络的复杂性，由其他网络安全设备、负载均衡设备带来诸多的不确定因素，也需要采集、分析能力更为强劲，部署更为灵活的日志分析系统。

发明内容

有鉴于此，本发明的主要目的在于提供一种在大型复杂网络中对海量日志文件分析的系统及方法。

为达到上述目的，本发明提供一种海量日志分析系统，其包括任务结点集群、管理结点和数据库；其中该任务结点集群包括至少一个任务结点，用于海量日志文件的分布式采集、存储和分析，该管理结点用于制定采集策略，对所述任务结点集群实施调度管理，完成分布式存储和分析，并由该管理结点将最终的日志分析结果和审计信息写入所述数据库。

单个所述任务结点负责至少一个目标对象的日志文件采集和本地存储，并接受所述管理结点的调度完成分布式存储和分析，所述任务结点的功能模块，包括日志采集模块、日志存储模块、日志预处理模块、日志分析模块和管理配置模块，该日志存储模块包括具有本地使用空间的本地存储管理模块与具有分布式文件系统空间的分布式存储管理模块。

所述管理结点是日志采集与分析的控制中心，该管理结点的功能模块包括采集策略模块、接收管理模块、结点调度模块和存储管理模块。

每个所述任务结点通过所述配置管理模块接收采集任务、设置采集的目标对象，所述日志采集模块采集日志文件，将采集的原始日志文件由所述本地存储管理模块存储于本地存储空间，所述分布式存储管理模块接受所述管理结点的调度，用于将管理结点分配的日志数据存储至所述分布式文件系统空间，实现海量日志文件的分布式存储；所述日志预处理模块将采集并存储于所述本地存储空间中的日志文件进行预处理；所述日志分析模块组成的分布式分析系统，在所述管理结点的调度下分析存储在所述分布式文件系统空间中的海量日志文件，识别安全事件，形成分布式分析结果；所述配置管理模块接受管理结点的调度管理，接收下发的任务并将预处理后的日志文件提交给所述管理结点。

所述采集策略模块制定采集方案，由所述结点调度模块向所述任务结点集群下发采集任务并调度执行；所述任务结点集群完成采集并提交后，所述接收管理模块接收任务结点集群提交的日志文件，由所述结点调度模块调度任务结点集群将日志文件分布式存储及分析，并由所述接收管理模块接收分析结果；所述存储管理模块将任务结点集群提交的分析结果存入所述数据库。

所述管理结点通过制定和下发的采集策略，将不同任务结点采集的属于同一集群的日志完成合并后再分析，得到完整的集群日志分析结果。

所述日志预处理模块对日志文件的预处理为过滤和格式化处理，去除那些不能体现网络安全的日志记录，并将多类型日志文件进行归一化处理，统一文件格式。

所述日志采集模块按一次性采集、手动采集或定时采集方式采集日志文件。

本发明还提供一种海量日志分析方法，该方法包括：

步骤1：由采集策略模块制定采集方案，由结点调度模块将采集任务下发至任务结点集群；

步骤2：配置管理模块接受采集任务后，日志采集模块采集日志文件，同时，本地存储管理模块将日志文件存储至本地存储空间中，日志预处理模块将日志文件进行预处理后，配置管理模块向管理结点的接收管理模块提交预处理后的日志文件；

步骤3：接收管理模块接收任务结点集群提交的日志文件后，根据采集任务判断是否需要进行集群日志合并，若不需，转到下一步；若需，则将不同任务结点采集的同集群日志文件合并后输出；

步骤4：结点调度模块调度任务结点集群的分布式存储管理模块将预处理后的日志文件分片存储于任务结点集群的分布式文件系统空间；

步骤5：结点调度模块命令任务结点的日志分析模块分析本节点分布式文件系统空间中的日志文件；

步骤6：配置管理模块向管理结点的接收管理模块提交分析结果；

步骤7：存储管理模块将分析结果统一存入数据库，步骤结束。

本发明可以在大型网络环境中对海量日志进行高效的分析和存储，提高了利用日志进行安全审计的可靠性和有效性。

附图说明

图1为本发明海量日志分析系统的组成示意图；

图2为图1所示系统的任务结点组成示意图；

图3为图1所示系统的管理结点组成示意图；

图4为本发明海量日志分析系统分析流程示意图。

具体实施方式

为便于对本发明的方法及系统以及达到的效果有进一步的了解，现结合附图并举较佳实施例详细说明如下。

图1为本发明海量日志分析系统组成示意图。如图1所示，海量日志分析系统包括任务结点集群100、管理结点200和数据库300；其中该任务结点集群100包括至少一个任务结点101，用于海量日志文件的分布式采集、存储和分析，该管理结点200用于制定采集策略，对任务结点集群100实施调度管理，完成分布式存储和分析，并由管理结点200将最终的日志分析结果和审计信息写入数据库300。

图2为图1所示海量日志分析系统的任务结点组成示意图。本发明中的单个任务结点101负责一个或多个目标对象的日志文件采集和本地存储，并接受管理结点200的调度完成分布式存储和分析；如图2所示，海量日志分析系统的任务结点101，其功能模块，包括日志采集模块M11、日志存储模块M12、日志预处理模块M13、日志分析模块M14和管理配置模块M15。该日志存储模块M12包括具有本地使用空间S1的本地存储管理模块M121与具有分布式文件系统空间S2的分布式存储管理模块M122。

图3为图1所示海量日志分析系统的管理结点组成示意图。如图3所示，海量日志分析系统的管理结点200，其功能模块，包括采集策略模块M21、接收管理模块M22、结点调度模块M23和存储管理模块M24。

所述任务结点集群100，用于执行采集、存储和分析任务。每个任务结点101通过配置管理模块M15接收采集任务、设置采集的目标对象后，日志采集模块M11按一次性采集、手动采集或定时采集等方式采集日志文件，原始日志文件由本地存储管理模块M121存储于本地存储空间S1，分布式存储管理模块M122接受所述管理结点200的结点调度模块M23的调度，用于将管理结点200分配的日志数据存储至分布式文件系统空间S2，实现海量日志文件的分布式存储；日志预处理模块M13将采集并存储于本地存储空间S1中的日志文件进行过滤和格式化处理，去除那些不能体现网络安全的日志记录，如图片、视频等网络资源的访问记录，并将多类型日志文件进行归一化处理，统一文件格式；日志分析模块M14组成的分布式分析系统，将在管理结点200的结点调度模块M23的调度下根据预设规则分析存储在分布式文件系统空间S2中的海量日志文件，识别安全事件，形成分布式分析结果；所述配置管理模块M15接受管理结点200的结点调度模块M23的调度管理，接收下发的任务并将处理后的日志文件提交给管理结点200的接收管理模块M22。

所述管理结点200，是日志采集与分析的控制中心。通过采集策略模块M21制定采集方案后，由结点调度模块M23向任务结点集群100下发采集任务并调度执行；待任务结点集群100完成采集并提交后，接收管理模块M22接收任务结点集群100提交的日志文件，由结点调度模块M23调度任务结点集群100将日志文件分布式存储及分析，并由接收管理模块M22接收分析结果；存储管理模块M24将任务结点集群100提交的分析结果存入数据库300。管理结点200通过制定和下发的采集策略，可将不同任务结点101采集的属于同一集群的日志完成合并后再分析，得到完整的集群日志分析结果。

所述数据库300，是海量日志分析结果的存储中心，由管理结点200的存储管理模块M24将日志分析结果写入数据库。

图4为本发明海量日志文件分析流程示意图。如图4所示，海量日志文件分析流程如下：

步骤A1：由采集策略模块M21制定采集方案，由结点调度模块M23将采集任务下发至任务结点集群100；

步骤A2：配置管理模块M15接受采集任务后，日志采集模块M11采集日志文件，同时，本地存储管理模块M121将日志文件存储至本地存储空间S1中，日志预处理模块M13将日志文件进行预处理后，配置管理模块M15向管理结点200的接收管理模块M22提交预处理后的日志文件；

步骤A3：接收管理模块M22接收任务结点集群100提交的日志文件后，根据采集任务判断是否需要进行集群日志合并，若不需，转到下一步；若需，则将不同任务结点101采集的同集群日志文件合并后输出；

步骤A4：结点调度模块M23调度任务结点集群100的分布式存储管理模块M122将预处理后的日志文件分片存储于任务结点集群100的分布式文件系统空间S2；

步骤A5：结点调度模块M23命令任务结点的日志分析模块M14分析本节点分布式文件系统空间S2中的日志文件；

步骤A6：配置管理模块M15向管理结点200的接收管理模块M22提交分析结果；

步骤A7：存储管理模块M24将分析结果统一存入数据库300，步骤结束。

总之，本发明解决了大型网络环境中海量日志的高效分析和存储，提高了利用日志进行安全审计的可靠性和有效性。

以上所描述的实施例仅是本发明的较佳实施例，并非用于限定本发明的保护范围。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

Claims (6)

1.一种海量日志分析系统，其特征在于，其包括任务结点集群、管理结点和数据库；其中该任务结点集群包括至少一个任务结点，用于海量日志文件的分布式采集、存储和分析，该管理结点用于制定采集策略，对所述任务结点集群实施调度管理，完成分布式存储和分析，并由该管理结点将最终的日志分析结果和审计信息写入所述数据库；

单个所述任务结点负责至少一个目标对象的日志文件采集和本地存储，并接受所述管理结点的调度完成分布式存储和分析，所述任务结点的功能模块，包括日志采集模块、日志存储模块、日志预处理模块、日志分析模块和配置管理模块，该日志存储模块包括具有本地使用空间的本地存储管理模块与具有分布式文件系统空间的分布式存储管理模块；

每个所述任务结点通过所述配置管理模块接收采集任务、设置采集的目标对象，所述日志采集模块采集日志文件，将采集的原始日志文件由所述本地存储管理模块存储于本地存储空间，所述分布式存储管理模块接受所述管理结点的调度，用于将管理结点分配的日志数据存储至所述分布式文件系统空间，实现海量日志文件的分布式存储；所述日志预处理模块将采集并存储于所述本地存储空间中的日志文件进行预处理；所述日志分析模块组成的分布式分析系统，在所述管理结点的调度下分析存储在所述分布式文件系统空间中的海量日志文件，识别安全事件，形成分布式分析结果；所述配置管理模块接受管理结点的调度管理，接收下发的任务并将预处理后的日志文件提交给所述管理结点。

2.如权利要求1所述的海量日志分析系统，其特征在于，所述管理结点是日志采集与分析的控制中心，该管理结点的功能模块包括采集策略模块、接收管理模块、结点调度模块和存储管理模块；

所述采集策略模块制定采集方案，由所述结点调度模块向所述任务结点集群下发采集任务并调度执行；所述任务结点集群完成采集并提交后，所述接收管理模块接收任务结点集群提交的日志文件，由所述结点调度模块调度任务结点集群将日志文件分布式存储及分析，并由所述接收管理模块接收分析结果；所述存储管理模块将任务结点集群提交的分析结果存入所述数据库。

3.如权利要求2所述的海量日志分析系统，其特征在于，所述管理结点通过制定和下发的采集策略，将不同任务结点采集的属于同一集群的日志完成合并后再分析，得到完整的集群日志分析结果。

4.如权利要求1所述的海量日志分析系统，其特征在于，所述日志预处理模块对日志文件的预处理为过滤和格式化处理，去除那些不能体现网络安全的日志记录，并将多类型日志文件进行归一化处理，统一文件格式。

5.如权利要求1所述的海量日志分析系统，其特征在于，所述日志采集模块按一次性采集、手动采集或定时采集方式采集日志文件。

6.一种利用权利要求2所述的海量日志分析系统进行日志分析的方法，其特征在于，该方法包括：

步骤1：由采集策略模块制定采集方案，由结点调度模块将采集任务下发至任务结点集群；

步骤2：配置管理模块接受采集任务后，日志采集模块采集日志文件，同时，本地存储管理模块将日志文件存储至本地存储空间中，日志预处理模块将日志文件进行预处理后，配置管理模块向管理结点的接收管理模块提交预处理后的日志文件；

步骤3：接收管理模块接收任务结点集群提交的日志文件后，根据采集任务判断是否需要进行集群日志合并，若不需，转到下一步；若需，则将不同任务结点采集的同集群日志文件合并后输出；

步骤4：结点调度模块调度任务结点集群的分布式存储管理模块将预处理后的日志文件分片存储于任务结点集群的分布式文件系统空间；

步骤5：结点调度模块命令任务结点的日志分析模块分析本节点分布式文件系统空间中的日志文件；

步骤6：配置管理模块向管理结点的接收管理模块提交分析结果；

步骤7：存储管理模块将分析结果统一存入数据库，步骤结束。