CN106484709A - 一种日志数据的审计方法和审计装置 - Google Patents

Abstract

本发明公开了一种日志数据的审计方法和装置，该方法包括：获取采集的原始日志数据经预处理后得到的预处理日志数据并保存到分布式存储平台的各个子节点中；对分布式存储平台的各个子节点中保存的预处理日志数据进行分布式标准化处理，得到标准化日志数据并保存在相应的原子节点中；对分布式存储平台的各个子节点中保存的标准化日志数据进行分析处理，得到审计结果；将审计结果发送到关系数据库中保存。本发明的技术方案通过将日志数据的存储和标准化处理过程逐步云化，实现分布式并行计算，将原有的单节点计算能力提升为集群计算能力，既增强了计算处理能力又避免了单节点处理过程中的丢包、阻塞、过度延时等问题，提升了审计性能。

Description

一种日志数据的审计方法和审计装置

技术领域

本发明涉及信息安全和网络管理技术领域，具体涉及一种日志数据的审计方法和审计装置。

背景技术

日志(log)是用于展示某些事件全貌的日志消息的集合。日志数据(logdata)就是一条日志消息的内在含义。换句话说，日志数据就是一条日志消息里用来告诉你为什么生成日志消息的信息。例如，Web服务器一般会在有人访问Web页面请求资源(图片、文件等等)的时候记录日志。如果用户访问的页面需要通过认证，日志消息将会包含用户名。这就是日志数据的一个例子：可以使用用户名来判断哪一个用户访问过一个资源。

日志审计是通过集中采集系统中的系统安全事件、用户访问记录、系统运行日志、系统运行状态等各类日志信息，经过规范化、过滤、归并和告警分析等预处理后，进行集中存储和管理，结合日志数据统计汇总及关联分析功能，实现对系统日志数据的全面审计。

现有技术在审计过程中，审计系统的日志采集装置直接将采集到的越来越庞大的日志数据以及审计结果存储在本地关系数据库中，供管理员查询查看。由于传统关系型数据库存储的数据量非常庞大，严重影响日志数据的查询速度和审计效率。

发明内容

本发明提供了一种日志数据的审计方法和审计装置以解决现有技术中审计处理过程中审计系统的日志采集装置直接将采集的日志数据存储到关系数据库中，影响日志数据的查询速度和审计效率的技术问题。

为了达到上述目的，本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种日志数据的审计方法，该方法包括：

获取采集的原始日志数据经预处理后得到的预处理日志数据，并保存到分布式存储平台的各个子节点中；

对所述分布式存储平台的各个子节点中保存的预处理日志数据进行分布式标准化处理，得到标准化日志数据并保存在相应的原子节点中；

对所述分布式存储平台的各个子节点中保存的标准化日志数据进行分析处理，得到审计结果；

将所述审计结果发送到关系数据库中保存。

可选地，所述对分布式存储平台的各个子节点中保存的预处理日志数据进行分布式标准化处理包括：

从所述分布式存储平台中的主控制节点获取标准化组件到各个子节点；

由每个子节点利用所述标准化组件完成所在节点的预处理日志数据的标准化处理，得到标准化日志数据。

可选地，所述对分布式存储平台的各个子节点中保存的标准化日志数据进行分析处理，得到审计结果包括：

根据预定的筛选规则，对分布式存储平台的各个子节点中保存的标准化日志数据进行筛选得到待审计日志数据，对所述待审计日志数据进行分布式分析处理，得到审计结果。

可选地，所述对所述待审计日志数据进行分布式分析处理包括：

从所述分布式存储平台中的主控制节点获取分析组件到各个子节点；

由每个子节点进行待审计日志数据的统计分析、关键字分析和关联分析处理。

可选地，所述获取采集的原始日志数据经预处理后得到的预处理日志数据，并保存到分布式存储平台的各个子节点中包括：

获取采集的原始日志数据按照预定业务规则进行过滤、清洗、转换预处理后的预处理日志数据；

将所述预处理日志数据以日志文件的形式保存到所述分布式存储平台的各个子节点中，每个所述日志文件中还包括根据预处理日志数据的业务特性而建立的索引文件。

可选地，所述获取采集的原始日志数据经预处理后得到的预处理日志数据，并保存到分布式存储平台的各个子节点中还包括：

所述分布式存储平台的各个子节点采用缓存技术，将使用频次高的预处理日志数据按日志估算量进行缓存。

根据本发明的另一个方面，还提供了一种日志数据的审计装置，该日志数据的审计装置包括：

日志获取模块，用于获取采集的原始日志数据经预处理后得到的预处理日志数据，并保存到分布式存储平台的各个子节点中；

标准化模块，用于对所述分布式存储平台的各个子节点中保存的预处理日志数据进行分布式标准化处理，得到标准化日志数据并保存在相应的原子节点中；

审计分析模块，用于对所述分布式存储平台的各个子节点中保存的标准化日志数据进行分析处理，得到审计结果；

结果模块，用于将所述审计结果发送到关系数据库中保存。

可选地，所述标准化模块，具体用于从所述分布式存储平台中的主控制节点获取标准化组件到各个子节点；由每个子节点利用所述标准化组件完成所在节点的预处理日志数据的标准化处理，得到标准化日志数据。

可选地，所述审计分析模块，具体用于根据预定的筛选规则，对分布式存储平台的各个子节点中保存的标准化日志数据进行筛选得到待审计日志数据，对所述待审计日志数据进行分布式分析处理，得到审计结果。

可选地，所述审计分析模块，还用于从所述分布式存储平台中的主控制节点获取分析组件到各个子节点；由每个子节点进行待审计日志数据的统计分析、关键字分析和关联分析处理。

本发明的有益效果是：本发明的日志数据的审计方法和审计装置，通过获取采集的原始日志数据预处理后的预处理日志数据，并将预处理日志数据保存到分布式存储平台个子节点中，在该分布式存储平台的子节点中进行预处理日志数据的标准化处理，得到标准化日志数据；对得到的标准化日志数据根据筛选规则，确定待审计数据，并对待审计数据进行分析处理和数据挖掘，体现日志数据的审计业务价值。本发明的技术方案逐步实现了审计日志存储分布化与分析处理分布化的效果，利用分布式存储子节点的计算能力提升审计性能和效率，在将审计结果保存在关系数据库的基础上，实现日志数据和审计结果的快速查询检索。

附图说明

图1是本发明一个实施例的一种日志数据的审计方法的流程图；

图2是本发明一个实施例的一种日志数据的审计流程图；

图3是本发明一个实施例的预处理日志数据标准化的示意图；

图4是本发明一个实施例的标准化日志数据分析的示意图；

图5是本发明一个实施例的一种日志数据的审计装置的框图。

具体实施方式

本发明的核心思想是：针对现有技术中审计系统的日志采集装置直接将采集到的越来越庞大的日志数据存储在本地关系数据库中，而本地关系数据库往往存储大量数据，严重影响了日志数据查询速度和审计效率的问题，提供了一种日志数据的审计方法和审计装置。本发明的技术方案主要是将现有的日志数据存储在关系数据库中的方式转变为数据库存储和文件存储相结合的存储方式；其中，数据库中存储审计结果数据，而原始日志数据、标准化日志数据以及待审计日志数据以文件的形式存储在分布式存储平台的各子节点上，利用分布式存储平台中的各个子节点来完成日志数据的标准化和分析处理，将原有的单节点处理能力提升为集群处理能力，从而提升审计性能和效率。

图1是本发明一个实施例的一种日志数据的审计方法的流程图，参见图1，日志数据的审计方法包括：

步骤S11，获取采集的原始日志数据经预处理后得到的预处理日志数据，并保存到分布式存储平台的各个子节点中；

步骤S12，对所述分布式存储平台的各个子节点中保存的预处理日志数据进行分布式标准化处理，得到标准化日志数据并保存在相应的原子节点中；

步骤S13，对所述分布式存储平台的各个子节点中保存的标准化日志数据进行分析处理，得到审计结果；

步骤S14，将所述审计结果发送到关系数据库中保存。

经过图1所示的步骤，本发明的这种日志数据的审计方法通过获取采集的原始的日志数据经预处理后得到的预处理日志数据，并保存到分布式存储平台的各个子节点中，实现了日志数据的分布式存储，这样在后续对预处理日志数据进行标准化以及审计分析处理时都可以在各个子节点之间并行处理完成，实现了分布式并行计算，将原有的单节点计算能力提升为集群计算能力，增强处理能力的同时，避免了单节点处理过程中出现丢包、阻塞、过度延时等问题，提升了审计性能和审计效率。另外，将大数据的日志分散存储在各个子节点上，实现了磁盘I/O分流以及计算分担。并且，将预处理日志数据分布式存储，实现了系统计算资源和内存资源的最大化利用。

在本发明的一个实施例中，对分布式存储平台的各个子节点中保存的预处理日志数据进行分布式标准化处理包括：

从分布式存储平台中的主控制节点获取标准化组件到各个子节点；

由每个子节点利用标准化组件完成所在节点的预处理日志数据的标准化处理，得到标准化日志数据。

其中，标准化组件是子节点从主控节点获取的，标准化组件包括了如何对预处理后的日志数据进行标准化处理的处理规则，具体的处理规则可以根据需要进行设定，并且审计过程中的标准化过程是现有技术，可以采用现有的技术手段实现，对此不作限制。本发明实施例是将标准化的处理过程进行分布式，以提升审计的效率和性能。

图2是本发明一个实施例的一种日志数据的审计流程图，参见图2，本实施例中，对日志数据的审计过程如下：

步骤S21，采集原始日志数据；

系统中的安全审计是建立在采集的原始日志数据的基础上，因而，审计的前提是采集得到原始日志数据；

步骤S22，过滤、清洗、转换；

采集得到原始日志数据后，对原始日志数据进行预处理，这里预处理主要包括：过滤、清洗和转换。可以理解，数据的过滤和/或清洗和/或转换时预处理步骤是根据采集到的原始日志数据的状态，采取具体的数据预处理方式，例如利用采集器按照实际业务规则，对异常数据进行清洗；或者，对数据结构异常的数据识别与筛选、再次加工(即数据转换)、或者，基于业务规则的数据质量稽核与判定；其中，实际业务规则是日志数据的来源以及业务特性。例如采集器在采集堡垒主机的回显日志数据时，配置回显日志的规则对堡垒主机的回显日志进行过滤，满足规则的日志均被过滤掉。需要说明的是，这里预处理过程和现有技术中的将日志数据保存到本地关系数据库中的预处理过程相同，并且预处理过程为现有技术，可以采用现有技术手段来实现，在此不再赘述。

步骤S23，装载、压缩入云存储；

数据通过清洗和转换等预处理后，形成预处理日志数据，将预处理日志数据按照一定的压缩规则装载到分布式存储平台的各子节点中，这里的入云存储的含义即，将预处理日志数据保存到分布式存储平台的各子节点中。数据的装载方式可以是不间断装载，系统出现峰值时的数据装载，数据漏传后的补采装载，数据处理异常后的重新装载，数据结构发生变化后的重新装载。

步骤S24，标准化处理；

预处理日志数据保存到分布式存储平台的各子节点中后，将保存在各个子节点中的预处理日志数据进行分布式标准化处理，即标准化处理过程的云化。

步骤S25，再次存储；

预处理日志数据经过标准化后，得到标准化日志数据，将新得到的标准化日志数据压缩形成日志文件，并在日志文件中根据日志的业务特性建立索引文件，将日志文件和索引文件装载到对应的原子节点中；这里的日志文件是将复杂的单条同类日志数据集合成一个大文件的形式进行存储，以方便后续的日志标准化处理和分析处理。

具体的日志数据都会以不同名字命名的日志文件形式分布到分布式存储平台的各子节点。日志明细数据将以日志文件的形式存储，对日志文件的审计分析结果数据存储在关系数据库里。

步骤S26，分析；

根据筛选规则对标准化完成的标准化日志数据进行筛选，经过筛选后得到待审计数据，对待审计日志数据进行分布式分析处理。

步骤S27，审计结果展现；

根据待审计日志数据的分析处理形成结果数据，利用结果数据展现告警信息，并对影响系统安全的关键数据进行记录，将审计结果存储到本地关系数据库中。具体的如何展现审计结果可以根据实际应用场景进行调整和选择，对此不作限制。

在本发明的一个实施例中，对分布式存储平台的各个子节点中保存的预处理日志数据进行分布式标准化处理包括：从分布式存储平台中的主控制节点获取标准化组件到各个子节点；由每个子节点利用标准化组件完成所在节点的预处理日志数据的标准化处理，得到标准化日志数据。

图3是本发明一个实施例的预处理日志数据标准化的示意图。参见图3，本发明的这种日志数据的审计方法在对预处理日志数据进行标准化时，分布式存储平台中设置有一个主控制节点和三个子节点，三个子节点分别是子节点1、子节点2和子节点3，每个子节点上都保存有预处理日志数据。其中，主控制节点还有一个备份控制节点，备份控制节点对主控制节点中的数据进行备份，当主控制节点发生故障时，可以由备份控制节点完成原主控制节点的功能，提高分布式存储平台的稳定性和安全性。

基于预处理日志数据分布式存储这一前提，在对预处理日志数据标准化时，从分布式存储平台中的主控制节点获取标准化组件到各个子节点，由每个子节点完成所在节点预处理日志数据的标准化处理，最终将标准化的结果(即标准化日志数据)保存在对应的原子节点中。例如，子节点1利用从主控制节点中获取到的标准化组件，对保存在子节点1上的预处理日志数据进行标准化，并将标准化后的结果即标准化日志数据保存在子节点1中。子节点2利用从主控制节点中获取到的标准化组件，对保存在子节点2上的预处理日志数据进行标准化，并将标准化后的结果即标准化日志数据保存在子节点2中。同样地，子节点3的工作和子节点1与2的标准化处理相同，在此不再赘述。通过上述说明可知，本发明的这种日志数据的审计方法通过各个子节点并发处理，避免了单节点处理过程中出现的丢包、阻塞、过度延时等问题，提高了日志数据标准化的性能。

在本发明的一个实施例中，对分布式存储平台的各个子节点中保存的标准化日志数据进行分析处理，得到审计结果包括：根据预定的筛选规则，对分布式存储平台的各个子节点中保存的标准化日志数据进行筛选得到待审计日志数据，对所述待审计日志数据进行分布式分析处理，得到审计结果。

在本发明的一个实施例中，对所述待审计日志数据进行分布式分析处理包括：从分布式存储平台中的主控制节点获取分析组件到各个子节点；由每个子节点进行待审计日志数据的统计分析、关键字分析和关联分析处理。

图4是本发明一个实施例的标准化日志数据分析的示意图，参见图4，标准化日志数据分析也是通过分布式存储平台上的子节点来完成的。

具体的，分布式存储平台中设置有一个主控制节点和三个子节点，三个子节点分别是子节点1、子节点2和子节点3，每个子节点上都保存有经过标准化处理后得到的标准化日志数据。其中，主控制节点还有一个备份控制节点，对主控制节点中的数据进行备份，这样当主控制节点发生故障时，可以由备份控制节点完成原主控制节点的工作，提高分布式存储平台的稳定性和安全性。

在本实施例中，具体审计分析时先对3个子节点中的标准化日志数据按照筛选规则进行筛选，得到待审计日志数据，然后对这些待审计日志数据进行分析处理，这样可以减少计算量，提高审计效率。也就是说，待审计日志数据是在标准化日志数据的基础上根据筛选规则筛选出来的，待审计日志数据是标准化日志数据的一个子集。这里的筛选规则可以根据实际应用需要自行设定，对此不作限制。

具体对待审计日志数据进行分析是从分布式存储平台中的主控制节点获取分析组件到各个子节点，由每个子节点完成所在节点待审计日志数据的分析工作，最终将分析结果(即审计结果)保存在关系数据库中。主控制节点下发的分析组件中携带有分析策略，例如，分析策略为敏感操作规则，在对待审计日志数据分析的过程中如果有待审计日志数据满足这一敏感操作规则，则进行告警，并对这一待审计日志数据中的关键数据进行记录。

例如，子节点1利用从主控制节点中获取到的分析组件，对保存在子节点1上的待审计日志数据进行分析，并将分析后的结果发送到关系数据库中保存。子节点2从主控制节点获取到的分析组件，对保存在子节点2上的待审计日志数据进行分析，并将分析后的结果即审计结果发送到关系数据库中保存。同样地，子节点3的分析工作和子节点1与2的分析工作相同，通过上述说明可知，本发明的这种对待审计日志数据的分析工作通过各个子节点并发处理，提高了日志数据分析的性能。

此外，从主控制节点获取的分析组件中还设置有分析方式，例如，对待审计日志数据的分析包括统计分析、关键字分析和关联分析。分析后得到审计结果，将审计结果存储到本地关系数据库中，基于不同类型的待审计日志数据可以选择采用列式或行式进行数据记录的存储，以适合于批量数据处理，降低I/O开销。并且可以将分析后的审计结果数据根据关键字段建立对应索引信息，达到快速审计查询的目的。

需要说明的是，上述图3和图4所示的分布式存储平台中示意性的描述了三个子节点的结构，但是在实际应用中，分布式存储平台中的子节点的数量不限于本实施例中的三个，而往往包括更多的子节点。

在本发明的一个实施例中，分布式存储平台中的子节点同时采用分布式缓存技术，将部分使用频次高的预处理日志数据按日志估算量进行缓存(即将经常使用的日志缓存起来)。这样可以快速响应请求、降低计算开销，提高处理性能。并且，分布式存储平台采用Hadoop分布式文件系统(HDFS)的可靠数据存储服务，以及利用一种叫做MapReduce技术的高性能并行数据处理服务提供高吞吐量的数据访问，实现对结构化和复杂数据的快速、可靠分析，实现日志数据的存储云化和处理云化，并且将原始日志数据、标准化日志数据、待审计日志数据由现有技术中的数据库存储方式改为数据库存储和文件存储相配合的方式(日志明细数据存储在分布式文件系统(即分布式存储平台)中，审计分析结果数据存储在本地关系数据库里)。

与上述一种日志数据的审计方法相对应的，本发明还提供了一种日志数据的审计装置，该日志数据的审计装置50包括：

日志获取模块51，用于获取采集的原始日志数据经预处理后得到的预处理日志数据，并保存到分布式存储平台的各个子节点中；

标准化模块52，用于对所述分布式存储平台的各个子节点中保存的预处理日志数据进行分布式标准化处理，得到标准化日志数据并保存在相应的原子节点中；

审计分析模块53，用于对所述分布式存储平台的各个子节点中保存的标准化日志数据进行分析处理，得到审计结果；

结果模块54，用于将所述审计结果发送到关系数据库中保存。

在本发明的一个实施例中，标准化模块52，具体用于从分布式存储平台中的主控制节点获取标准化组件到各个子节点；由每个子节点利用标准化组件完成所在节点的预处理日志数据的标准化处理，得到标准化日志数据。

在本发明的一个实施例中，审计分析模块53，具体用于根据预定的筛选规则，对分布式存储平台的各个子节点中保存的标准化日志数据进行筛选得到待审计日志数据，对待审计日志数据进行分布式分析处理，得到审计结果。

在本发明的一个实施例中，审计分析模块53，还用于从分布式存储平台中的主控制节点获取分析组件到各个子节点；由每个子节点进行待审计日志数据的统计分析、关键字分析和关联分析处理。

在本发明的一个实施例中，日志获取模块51，还用于获取采集的原始日志数据按照预定业务规则进行过滤和/或清洗和/或转换预处理后的预处理日志数据；将预处理日志数据以日志文件的形式保存到分布式存储平台的各个子节点中，每个日志文件中还包括根据预处理日志数据的业务特性而建立的索引文件。这里的日志文件是指将复杂的单条同类日志数据集合成一个大文件，以大文件的形式进行存储，便于后续的日志标准化处理和分析处理。日志数据都会以日志文件的形式不同名字命名分布到分布式存储平台的各子节点。其中，日志明细数据将以日志文件的形式存储，审计分析结果数据将被存储在关系数据库里面。

在本发明的一个实施例中，日志获取模块51，还用于在分布式存储平台的各个子节点中采用缓存技术，将使用频次高的预处理日志数据按日志估算量进行缓存，方便后续的对日志数据审计过程中取用数据，节省了数据查询和获取的时间。

需要说明的是，本发明实施例的这种日志数据的审计装置是和前述的日志数据的审计方法相对应的，因而本实施例中日志数据的审计装置的工作过程可以参见上述日志数据的审计方法部分的相关具体说明，在此不再赘述。

综上所述，本发明的这种日志数据的审计方法和审计装置通过获取采集的原始日志数据预处理后的预处理日志数据，并将预处理日志数据保存到分布式存储平台个子节点中，在该分布式存储平台的子节点中进行预处理日志数据的标准化处理，得到标准化日志数据；对得到的标准化日志数据进行审计分析和数据挖掘，体现日志数据的审计业务价值。

本发明的技术方案的有益效果总结如下：

1、日志数据存储分布化，将大数据的日志分散存储在分布式存储平台的各个子节点上，实现磁盘I/O分流和计算分担；同时采用分布式缓存技术，将部分使用频次高的日志按日志估算量进行缓存。

2、日志数据分析处理分布化，将日志数据分析处理功能进行云化，实现分布式并行计算，将原有的单节点计算能力提升为集群计算能力，增强处理能力的同时，还能够防止单节点处理过程中出现的丢包、阻塞、过度延时等现象的发生。

3、分布式存储平台采用Hadoop分布式文件系统(HDFS)的可靠数据存储服务，以及MapReduce技术的高性能并行数据处理服务提供高吞吐量的数据访问，提供一个使对结构化和复杂数据的快速、可靠分析变为现实的基础，实现日志数据的存储云化(即分布化)和处理云化(即分布化)，通过分布化的方式实现日志标准化及分析，实现计算资源和内存资源最大化利用，提升审计性能。

4、将原始日志数据、标准化日志数据、待审计日志数据由现有的数据库存储方式转变为数据库存储和文件存储配合的方式，提升审计效率，达到快速灵活查询的效果。

5、本发明的在这种日志数据的审计方案保留关系数据库，审计结果数据保存在本地关系数据库中。由于安全审计涉及业务关系复杂，需要各种数据参照做关联性分析，因而保留关系数据库，可以发挥关系数据库在处理数据关联和数据整合方面的优势，提升审计价值。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种日志数据的审计方法，其特征在于，该方法包括：

获取采集的原始日志数据经预处理后得到的预处理日志数据，并保存到分布式存储平台的各个子节点中；

对所述分布式存储平台的各个子节点中保存的预处理日志数据进行分布式标准化处理，得到标准化日志数据并保存在相应的原子节点中；

对所述分布式存储平台的各个子节点中保存的标准化日志数据进行分析处理，得到审计结果；

将所述审计结果发送到关系数据库中保存。

2.如权利要求1所述的日志数据的审计方法，其特征在于，所述对分布式存储平台的各个子节点中保存的预处理日志数据进行分布式标准化处理包括：

从所述分布式存储平台中的主控制节点获取标准化组件到各个子节点；

由每个子节点利用所述标准化组件完成所在节点的预处理日志数据的标准化处理，得到标准化日志数据。

3.如权利要求1所述的日志数据的审计方法，其特征在于，所述对分布式存储平台的各个子节点中保存的标准化日志数据进行分析处理，得到审计结果包括：

根据预定的筛选规则，对分布式存储平台的各个子节点中保存的标准化日志数据进行筛选得到待审计日志数据，对所述待审计日志数据进行分布式分析处理，得到审计结果。

4.如权利要求3所述的日志数据的审计方法，其特征在于，所述对所述待审计日志数据进行分布式分析处理包括：

从所述分布式存储平台中的主控制节点获取分析组件到各个子节点；

由每个子节点进行待审计日志数据的统计分析、关键字分析和关联分析处理。

5.如权利要求1所述的日志数据的审计方法，其特征在于，所述获取采集的原始日志数据经预处理后得到的预处理日志数据，并保存到分布式存储平台的各个子节点中包括：

获取采集的原始日志数据按照预定业务规则进行过滤、清洗和/或转换得到预处理后的预处理日志数据；

将所述预处理日志数据以日志文件的形式保存到所述分布式存储平台的各个子节点中，每个所述日志文件中还包括根据预处理日志数据的业务特性而建立的索引文件。

6.如权利要求1所述的日志数据的审计方法，其特征在于，所述获取采集的原始日志数据经预处理后得到的预处理日志数据，并保存到分布式存储平台的各个子节点中，还包括：

所述分布式存储平台的各个子节点采用缓存技术，将使用频次高的预处理日志数据按日志估算量进行缓存。

7.一种日志数据的审计装置，其特征在于，该装置包括：

日志获取模块，用于获取采集的原始日志数据经预处理后得到的预处理日志数据，并保存到分布式存储平台的各个子节点中；

标准化模块，用于对所述分布式存储平台的各个子节点中保存的预处理日志数据进行分布式标准化处理，得到标准化日志数据并保存在相应的原子节点中；

审计分析模块，用于对所述分布式存储平台的各个子节点中保存的标准化日志数据进行分析处理，得到审计结果；

结果模块，用于将所述审计结果发送到关系数据库中保存。

8.如权利要求7所述的日志数据的审计装置，其特征在于，

所述标准化模块，具体用于从所述分布式存储平台中的主控制节点获取标准化组件到各个子节点；由每个子节点利用所述标准化组件完成所在节点的预处理日志数据的标准化处理，得到标准化日志数据。

9.如权利要求7所述的日志数据的审计装置，其特征在于，

所述审计分析模块，具体用于根据预定的筛选规则，对分布式存储平台的各个子节点中保存的标准化日志数据进行筛选得到待审计日志数据，对所述待审计日志数据进行分布式分析处理，得到审计结果。

10.如权利要求9所述的日志数据的审计装置，其特征在于，

所述审计分析模块，还用于从所述分布式存储平台中的主控制节点获取分析组件到各个子节点；由每个子节点进行待审计日志数据的统计分析、关键字分析和关联分析处理。