CN103812679B - 一种海量日志统计分析系统和方法 - Google Patents

Abstract

本发明公开了一种海量日志统计分析系统，包括预处理模块、时间滑动窗口模块和日志结果模块；其中，所述预处理模块，用于根据配置的统计分析策略对日志进行预处理，并将预处理结果发送至时间滑动窗口模块；所述时间滑动窗口模块，用于根据配置的统计分析策略对预处理结果进行分析，并将分析结果发送至日志结果模块；所述日志结果模块，用于根据配置的统计分析策略和分析结果拼装日志检索语句，向用户提供检索到的日志信息。本发明还公开了一种海量日志统计分析方法，采用本发明，能够优化海量日志统计分析方法，提高了统计分析效率。

Description

一种海量日志统计分析系统和方法

技术领域

本发明涉及通信网络中的日志统计分析技术，尤其涉及一种海量日志统计分析系统和方法。

背景技术

随着现代通信技术的飞速发展以及人们信息量需求的增大，行业用户的网络结构变的越来越复杂。网络的集中带动数据和应用的集中，各级数据中心应用系统越来越庞大，管理复杂度越来越高。对于安全管理人员来说，需要定期分析大量网络设备、安全设备、应用系统、数据库和主机等产生的海量日志。通过对海量日志的统计分析，识别出潜在的安全风险。

目前，对海量日志的统计分析一般采用三种方式：第一种是将IT日志存储在数据库，通过应用取出日志数据，直接使用滑动窗口的方式进行本地统计分析，但是，这种方式在海量日志情况下，取到本地的数据量太大，应用的处理效率低，难以承受资源消耗的压力；第二种是将日志存储在数据库，利用数据库做统计分析，但是，由于事件起止时间难以确定，所以通过数据库做统计分析效率低，数据库资源消耗大；第三种是对获取到的日志通过时间滑动窗口做实时统计分析，此种方式的优点是较实时，但是，如果统计时间周期过长，比如一天内同一账号相关操作超过N次，时间滑动窗口的处理压力过大，造成分析效率低。

发明内容

有鉴于此，本发明的主要目的在于提供一种海量日志统计分析系统和方法，能够对海量日志进行高效的统计分析。

为达到上述目的，本发明的技术方案是这样实现的：

本发明提供了一种海量日志统计分析系统，该系统包括：预处理模块、时间滑动窗口模块和日志结果模块；其中，

所述预处理模块，用于存储采集到的日志，根据配置的统计分析策略对日志进行预处理，并将预处理结果发送至时间滑动窗口模块；

所述时间滑动窗口模块，用于根据配置的统计分析策略对所述预处理结果进行分析，并将分析结果发送至日志结果模块；

所述日志结果模块，用于根据配置的统计分析策略和所述分析结果拼装日志检索语句，向用户提供检索到的日志信息。

上述方案中，所述系统进一步包括：配置模块，用于配置统计分析策略，并发送至预处理模块、时间滑动窗口模块和日志结果模块。

上述方案中，所述日志结果模块，进一步用于：根据配置的用户权限信息提供日志检索功能给具有权限的用户。

上述方案中，所述配置模块包括权限配置模块和策略配置模块；其中，

所述权限配置模块，用于配置用户权限信息，并发送至日志结果模块；

所述策略配置模块，用于配置统计分析策略，并发送至预处理模块、时间滑动窗口模块和日志结果模块。

上述方案中，所述预处理模块包括日志存储模块和分析预处理模块；其中，

所述日志存储模块，用于存储采集到的日志；

所述分析预处理模块，用于根据配置的统计分析策略对日志进行预处理，并将预处理结果发送至时间滑动窗口模块。

上述方案中，所述日志结果模块包括日志拼装模块和日志检索模块；其中，

所述日志拼装模块，用于根据配置的统计分析策略和所述分析结果拼装日志检索语句；

所述日志检索模块，用于向用户提供检索到的日志信息。

上述方案中，所述日志检索模块，进一步用于根据配置的用户权限信息将检索到的日志信息提供给对应检索权限的用户。

本发明提供了一种海量日志统计分析方法，该方法包括：

根据配置的统计分析策略对日志进行预处理，得到预处理结果；

根据配置的统计分析策略对所述预处理结果进行分析，得到分析结果；

根据配置的统计分析策略和所述分析结果拼装日志检索语句，向用户提供检索到的日志信息。

上述方案中，所述向用户提供检索到的日志信息，包括：

根据配置的用户权限信息将检索到的日志信息提供给对应检索权限的用户。

上述方案中，所述预处理包括：

将预处理操作编成相应的MapReduce方法；

将MapReduce方法并发在分布式数据节点上，根据配置的统计分析策略对日志进行预处理。

本发明提供的海量日志统计分析系统和方法，将预处理模块、时间滑动窗口模块内置到所述系统中，预处理模块根据配置好的预处理策略对日志进行统计，确定了事件起止时间及统计时间周期，时间滑动窗口模块根据时间窗口策略对预处理结果进行分析，如此，优化了统计分析方法，提高了统计分析效率。

另外，将日志结果模块内置到所述系统中，日志结果模块根据配置好的用户权限信息，对用户进行身份验证，只有具有权限的用户才能对日志进行检索，提高了日志信息的安全性。

附图说明

图1为本发明海量日志统计分析系统的组成结构示意图；

图2为本发明海量日志统计分析方法的实现流程示意图。

具体实施方式

为了能够更加详尽地了解本发明的特点与技术内容，下面结合附图对本发明的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本发明。

图1为本发明海量日志统计分析系统的组成结构示意图，如图1所示，该系统包括：配置模块11、预处理模块12、时间滑动窗口模块13、日志结果模块14；其中，

所述配置模块11，用于配置统计分析策略，并发送至预处理模块12、时间滑动窗口模块13、日志结果模块14进行统计分析；进一步用于配置用户权限信息，并发送至日志结果模块14进行用户身份验证；

这里，所述配置用户权限是指配置用户对日志的检索权限；

这里，所述用户身份验证是指：将用户标识和用户所需检索的日志的相关信息与配置好的用户权限信息进行比对，当匹配到的用户标识对应的检索权限与用户所需检索的日志的相关信息一致时，即为验证成功，表明用户可以检索相应的日志信息，向用户提供检索到的对应日志信息；当匹配到的用户标识对应的检索权限与用户所需检索的日志的相关信息不一致、或匹配不到用户标识时，即为验证失败，表明用户不可以检索相应的日志信息，不向用户提供检索到的对应日志信息；

这里，所述统计分析策略包括：预处理策略、时间窗口策略、日志拼装策略；进一步的，预处理策略是指统计单位周期时间内某类操作的信息，如一分钟周期内登录某一网址的信息，所述信息包括：用户名、登录地点、登录时间等等；时间窗口策略是指分析某类操作的信息，如分析该操作是否同一用户、是否不同登录地点、是否超过时间周期等等；日志拼装策略是指根据事件发生的开始、结束时间拼装日志检索语句；

相应的，配置模块11将配置的预处理策略发送至预处理模块12，作为预处理模块12进行统计的依据；将配置的时间窗口策略发送至时间滑动窗口模块13，作为时间滑动窗口模块13进行分析的依据；将配置的日志拼装策略发送至日志结果模块14，作为日志结果模块14进行语句拼装的依据。

所述预处理模块12，用于存储采集到的日志，根据配置模块11发送的统计分析策略对日志进行预处理，并将预处理结果发送至时间滑动窗口模块13；

这里，所述存储采集到的日志是指存储在分布式数据节点后；

这里，配置模块11发送的统计分析策略是指预处理策略；

这里，根据配置模块11发送的统计分析策略对日志进行预处理包括：统计单位周期时间内某类操作的信息，如一分钟周期内登录某一网址的信息，所述信息包括：用户名、登录地点、登录时间等等；

进一步的，对日志进行预处理是通过以下方式来实现：将预处理操作编成相应的MapReduce方法，将MapReduce方法并发在分布式数据节点上，进而根据配置的统计分析策略对日志进行预处理；

这里，所述预处理结果是指单位周期时间内某类操作的信息，如一分钟周期内登录某一网址的信息，所述信息包括：用户名、登录地点、登录时间等等。

所述时间滑动窗口模块13，用于接收预处理模块12发送的预处理结果，根据配置模块11发送的统计分析策略对预处理结果进行分析，并将分析结果发送至日志结果模块14进行日志拼装；

这里，所述统计分析策略是指时间窗口策略；

这里，所述对预处理结果进行分析是指：分析操作是否同一用户、是否不同登录地点、是否超过时间周期等等；进一步的，如果满足上述分析条件，则生成统计分析事件；

这里，所述分析结果是指统计分析事件的开始、结束时间。

所述日志结果模块14，用于接收时间滑动窗口模块13发送的分析结果，根据配置模块11发送的统计分析策略和分析结果拼装日志检索语句，提供日志检索给用户；进一步用于接收配置模块11发送的用户权限信息，并根据用户权限信息提供日志检索功能给具有权限的用户；

这里，所述统计分析策略是指日志拼装策略。

所述配置模块11进一步包括权限配置模块111和策略配置模块112；其中，

所述权限配置模块111，用于配置用户权限信息，并发送至日志结果模块14进行用户身份验证；

所述策略配置模块112，用于配置统计分析策略，并发送至预处理模块12、时间滑动窗口模块13、日志结果模块14进行统计分析。

所述预处理模块12进一步包括日志存储模块121和分析预处理模块122；其中，

所述日志存储模块121，用于存储采集到的日志；

所述分析预处理模块122，用于接收配置模块11、具体可以是配置模块11中的策略配置模块112发送的统计分析策略，对日志存储模块121中的日志进行预处理，并将预处理结果发送至时间滑动窗口模块13。

相应的，时间滑动窗口模块13接收分析预处理模块122发送的预处理结果，根据配置模块11、具体可以是策略配置模块112发送的时间窗口策略对预处理结果进行分析，并将分析结果发送至日志结果模块14进行日志拼装。

所述日志结果模块14进一步包括日志拼装模块141和日志检索模块142；

所述日志拼装模块141，用于接收时间滑动窗口模块13发送的分析结果，根据策略配置模块112发送的日志拼装策略和分析结果拼装日志检索语句；

所述日志检索模块142，用于向用户提供检索到的日志信息，进一步地，具体用于接收配置模块11、具体可以是权限配置模块111发送的用户权限信息，并根据用户权限信息提供日志检索功能给具有权限的用户、即将检索到的日志信息提供给有对应检索权限的用户。

图2为本发明海量日志统计分析方法的实现流程示意图，其中所述系统均为海量日志统计分析系统的简称，如图2所示，该方法包括：

步骤201：系统根据配置的统计分析策略对日志进行预处理，得到预处理结果；

这里，所述系统包括配置模块、预处理模块、时间滑动窗口模块和日志结果模块，配置统计分析策略由配置模块中的策略配置模块完成，所述统计分析策略针对预处理具体是指预处理策略，进一步的，预处理策略是指统计单位周期时间内某类操作的信息，如一分钟周期内登录某一网址的信息，所述信息包括：用户名、登录地点、登录时间等等；

预处理模块存储采集到的日志，根据配置模块发送的预处理策略对存储的日志进行预处理，并将预处理结果发送至时间滑动窗口模块；

这里，所述日志存储在分布式数据节点后，位于预处理模块中的日志存储模块中；

这里，对日志进行预处理由预处理模块中的分析预处理模块完成，进一步的，分析预处理模块根据策略配置模块发送的预处理策略，对预处理模块中的日志存储模块中的日志进行预处理；所述预处理是通过以下方式来实现：将预处理操作编成相应的MapReduce方法，将MapReduce方法并发在分布式数据节点上，进而对日志进行预处理，并将预处理结果发送至时间滑动窗口模块。

步骤202：系统根据配置的统计分析策略对预处理结果进行分析，得到分析结果；

这里，配置统计分析策略由配置模块中的策略配置模块完成，所述统计分析策略针对分析处理具体是指时间窗口策略，进一步的，时间窗口策略是指分析某类操作的信息，如分析该操作是否同一用户、是否不同登录地点、是否超过时间周期等等；

这里，所述对预处理结果进行分析由时间滑动窗口模块完成，时间滑动窗口根据策略配置模块发送的时间窗口策略对预处理结果进行分析，并将分析结果发送至日志结果模块，相应的，本步骤前还包括：分析预处理模块将预处理结果，如单位周期时间内某类操作的信息，发送至时间滑动窗口模块。

步骤203：系统根据配置的统计分析策略和分析结果拼装日志检索语句；

这里，配置统计分析策略由配置模块中的策略配置模块完成，所述统计分析策略针对日志拼装具体是指日志拼装策略，日志拼装策略是指根据事件发生的开始、结束时间拼装日志检索语句；

日志结果模块接收时间滑动窗口模块发送的分析结果，根据配置模块发送的日志拼装策略和分析结果拼装日志检索语句，以提供日志检索给用户。

这里，所述进行日志拼装由日志结果模块中的日志拼装模块完成，日志拼装模块接收到时间滑动窗口模块发来的分析结果，根据日志拼装策略和分析结果拼装日志检索语句。

步骤204：系统根据配置的用户权限信息，向用户提供对应日志检索；

这里，配置用户权限信息由配置模块中的权限配置模块完成，权限配置模块配置用户权限信息、即用户对日志信息的检索权限；所述用户权限信息包括用户标识和对应检索权限；

日志结果模块接收配置模块发送的用户权限信息，根据用户权限信息提供日志检索功能给具有权限的用户。

所述对日志进行检索由具体由日志结果模块中的日志检索模块完成；

具体的，日志检索模块接收权限配置模块发送的用户权限信息，并接收用户的检索语句，用户的检索语句表明用户所需检索的日志的相关信息，如用户需要检索某类日志，将用户标识与配置好的用户权限信息中的用户标识进行比对，当能够匹配时，判断检索语句对应的日志信息是否在用户权限信息的检索权限中时，如果在，即为验证成功，表明用户可以检索相应的日志信息，向用户提供检索到的对应日志信息；如果不在或者用户标识与配置好的用户权限信息中的用户标识不匹配时，即为验证失败，表明用户不可以检索相应的日志信息，不向用户提供日志信息。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (10)

1.一种海量日志统计分析系统，其特征在于，该系统包括：预处理模块、时间滑动窗口模块和日志结果模块；其中，

所述预处理模块，用于存储采集到的日志，根据配置的统计分析策略对日志进行预处理，并将预处理结果发送至时间滑动窗口模块；

所述时间滑动窗口模块，用于根据配置的统计分析策略对所述预处理结果进行分析，并将分析结果发送至日志结果模块；

所述日志结果模块，用于根据配置的统计分析策略和所述分析结果拼装日志检索语句，向用户提供检索到的日志信息；

所述统计分析策略包括：预处理策略、时间窗口策略、日志拼装策略；所述预处理策略是指统计单位周期时间内某类操作的信息；所述时间窗口策略是指分析某类操作的信息；所述日志拼装策略是指根据事件发生的开始、结束时间拼装日志检索语句。

2.根据权利要求1所述的系统，其特征在于，所述系统进一步包括：配置模块，用于配置统计分析策略，并发送至预处理模块、时间滑动窗口模块和日志结果模块。

3.根据权利要求2所述的系统，其特征在于，所述日志结果模块，进一步用于：根据配置的用户权限信息提供日志检索功能给具有权限的用户。

4.根据权利要求3所述的系统，其特征在于，所述配置模块包括权限配置模块和策略配置模块；其中，

所述权限配置模块，用于配置用户权限信息，并发送至日志结果模块；

所述策略配置模块，用于配置统计分析策略，并发送至预处理模块、时间滑动窗口模块和日志结果模块。

5.根据权利要求1所述的系统，其特征在于，所述预处理模块包括日志存储模块和分析预处理模块；其中，

所述日志存储模块，用于存储采集到的日志；

所述分析预处理模块，用于根据配置的统计分析策略对日志进行预处理，并将预处理结果发送至时间滑动窗口模块。

6.根据权利要求1至5任一所述的系统，其特征在于，所述日志结果模块包括日志拼装模块和日志检索模块；其中，

所述日志拼装模块，用于根据配置的统计分析策略和所述分析结果拼装日志检索语句；

所述日志检索模块，用于向用户提供检索到的日志信息。

7.根据权利要求6所述的系统，其特征在于，所述日志检索模块，进一步用于根据配置的用户权限信息将检索到的日志信息提供给对应检索权限的用户。

8.一种海量日志统计分析方法，其特征在于，该方法包括：

根据配置的统计分析策略对日志进行预处理，得到预处理结果；

根据配置的统计分析策略对所述预处理结果进行分析，得到分析结果；

根据配置的统计分析策略和所述分析结果拼装日志检索语句，向用户提供检索到的日志信息；

所述统计分析策略包括：预处理策略、时间窗口策略、日志拼装策略；所述预处理策略是指统计单位周期时间内某类操作的信息；所述时间窗口策略是指分析某类操作的信息；所述日志拼装策略是指根据事件发生的开始、结束时间拼装日志检索语句。

9.根据权利要求8所述的方法，其特征在于，所述向用户提供检索到的日志信息，包括：

根据配置的用户权限信息将检索到的日志信息提供给对应检索权限的用户。

10.根据权利要求8或9所述的方法，其特征在于，所述预处理包括：

将预处理操作编成相应的MapReduce方法；

将MapReduce方法并发在分布式数据节点上，根据配置的统计分析策略对日志进行预处理。