CN109885543A - 基于大数据集群的日志处理方法及装置 - Google Patents

Abstract

本发明公开了一种基于大数据集群的日志处理方法及装置，该方法包括：将获取到的原始日志集合进行规范化处理，得到规范化日志集合；获取所述规范化日志集合包括的用户名和文件名；基于所述规范化日志集合对各个用户名与各个文件名之间进行行为分析；将分析结果保存在图数据库中。该方案中，可以对原始日志集合进行规范化处理，得到规范化日志集合，然后基于规范化日志集合对其包括的各个用户名和各个文件名之间进行行为分析，将分析结果保存在图数据库中，从而可以直观反映出用户名与文件名之间的行为关系，实现自动处理原始日志，无需人工参与，相对于现有技术，可以大大节省人力资源，提升效率和准确率。

Description

基于大数据集群的日志处理方法及装置

技术领域

本发明涉及日志处理技术领域，尤指一种基于大数据集群的日志处理方法及装置。

背景技术

当前大数据集群在数据的大规模存放和高性能计算方面有无可替代的优势，能够提供高效的大数据存储、计算、运维和监控服务，使用越来越广泛。然而，当前大数据集群的安全防护措施缺乏标准和要求，跟不上大数据集群自身业务需求的发展，与数据集中、数据共享的高价值业务不匹配。因此，探索大数据集群中数据安全风险及解决措施，深化大数据安全管控范围和应用领域，是目前研究的重点。

大数据集群的核心组件，如分布式文件系统(Hadoop Distributed File System，HDFS)、Hive、HBase、Spark、MapReduce等，其大量的信息都会存储在日志中。具体的，日志包括组件维护日志和数据访问日志两类，前者记录了平台管理操作如节点扩展移除、节点启停、组件服务启停等，后者记录了用户活动信息和用户操作指令信息。因此，大数据集群的日志可用于在安全事件中定位问题原因及划分事故责任。相应的，大数据集群的日志审计，研究大数据集群各组件日志的记录、存储、采集、标准化处理以及审计和告警，推进审计策略在大数据环境下落地是大数据集群安全管控的重要环节。

目前，对于大数据集群的日志分析审计等处理，只能以人工方式进行，由于日志保存分散、体量大，人工方式费时费力，效率及准确率非常低。

发明内容

本发明实施例提供一种基于大数据集群的日志处理方法及装置，用以解决现有技术中存在的人工方式费时费力，效率及准确率非常低的问题。

根据本发明实施例，提供一种基于大数据集群的日志处理方法，所述方法包括：

将获取到的原始日志集合进行规范化处理，得到规范化日志集合；

获取所述规范化日志集合包括的用户名和文件名；

基于所述规范化日志集合对各个用户名与各个文件名之间进行行为分析；

将分析结果保存在图数据库中。

具体的，将获取到的原始日志集合进行规范化处理，得到规范化日志集合，具体包括：

将所述原始日志集合进行进行去重处理和无用日志过滤处理，得到候选日志集合；

将所述候选日志集合中的原始日志转化为设定格式，得到所述规范化日志集合。

具体的，基于所述规范化日志集合对各个用户名与各个文件名之间进行行为分析，具体包括：

将所述规范化日志集合中的规范化日志分别按照各个用户名和各个文件名进行分组，得到各个用户名对应的规范化日志分组以及各个文件名对应的规范化日志分组；

基于各个用户名对应的规范化日志分组、各个文件名对应的规范化日志分组和设定规则对各个用户名与各个文件名之间进行行为分析；

根据各个用户名对应的规范化日志分组和设定规则分析各个用户名与访问过的文件名的第一行为关系集合；

根据各个文件名对应的规范化日志分组和所述设定规则分析各个文件名与访问的用户名的第二行为关系集合。

具体的，将分析结果保存在图数据库中，具体包括：

将所述第一行为关系集合和所述第二行为关系集合保存在所述图数据库中。

可选的，还包括：

将所述第一行为关系集合、所述第二行为关系集合分别与告警规则进行匹配；

若存在与所述告警规则匹配的行为关系，则产生告警信息。

可选的，还包括：

将所述规范化日志集合保存在基础数据库中，以使管理员根据所述基础数据库和所述图数据库进行日志审计。

根据本发明实施例，还提供一种基于大数据集群的日志处理装置，所述装置包括：

处理模块，用于将获取到的原始日志集合进行规范化处理，得到规范化日志集合；

获取模块，用于获取所述规范化日志集合包括的用户名和文件名；

分析模块，用于基于所述规范化日志集合对各个用户名与各个文件名之间进行行为分析；

保存模块，用于将分析结果保存在图数据库中。

具体的，所述处理模块，具体用于：

将所述原始日志集合进行进行去重处理和无用日志过滤处理，得到候选日志集合；

将所述候选日志集合中的原始日志转化为设定格式，得到所述规范化日志集合。

具体的，所述分析模块，具体用于：

将所述规范化日志集合中的规范化日志分别按照各个用户名和各个文件名进行分组，得到各个用户名对应的规范化日志分组以及各个文件名对应的规范化日志分组；

基于各个用户名对应的规范化日志分组、各个文件名对应的规范化日志分组和设定规则对各个用户名与各个文件名之间进行行为分析；

根据各个用户名对应的规范化日志分组和设定规则分析各个用户名与访问过的文件名的第一行为关系集合；

根据各个文件名对应的规范化日志分组和所述设定规则分析各个文件名与访问的用户名的第二行为关系集合。

具体的，所述保存模块，具体用于：

将所述第一行为关系集合和所述第二行为关系集合保存在所述图数据库中。

可选的，还包括：

匹配模块，用于将所述第一行为关系集合、所述第二行为关系集合分别与告警规则进行匹配；

告警模块，用于若存在与所述告警规则匹配的行为关系，则产生告警信息。

可选的，所述保存模块，还用于：

将所述规范化日志集合保存在基础数据库中，以使管理员根据所述基础数据库和所述图数据库进行日志审计。

本发明有益效果如下：

本发明实施例提供一种基于大数据集群的日志处理方法及装置，通过将获取到的原始日志集合进行规范化处理，得到规范化日志集合；获取所述规范化日志集合包括的用户名和文件名；基于所述规范化日志集合对各个用户名与各个文件名之间进行行为分析；将分析结果保存在图数据库中。该方案中，可以对原始日志集合进行规范化处理，得到规范化日志集合，然后基于规范化日志集合对其包括的各个用户名和各个文件名之间进行行为分析，将分析结果保存在图数据库中，从而可以直观反映出用户名与文件名之间的行为关系，实现自动处理原始日志，无需人工参与，相对于现有技术，可以大大节省人力资源，提升效率和准确率。

附图说明

图1为本发明实施例中一种基于大数据集群的日志处理方法的流程图；

图2为本发明实施例中一种基于大数据集群的日志处理装置的结构示意图。

具体实施方式

针对现有技术中存在的人工方式费时费力，效率及准确率非常低的问题，本发明实施例提供一种基于大数据集群的日志处理方法，该方法的流程如图1所示，执行步骤如下：

S11：将获取到的原始日志集合进行规范化处理，得到规范化日志集合。

原始日志集合可以包括API、shell script、Linux cli收集的大数据集群、linux用户操作、文件状态、网络等的日志，有些原始日志可能不规范，为了便于后续处理，可以先对其进行规范化处理。

S12：获取规范化日志集合包括的用户名和文件名。

规范化日志集合包括的日志中会有用户名和文件名，统计各个日志中包括的用户名和文件名，从而获取规范化日志集合包括的用户名和文件名。

S13：基于规范化日志集合对各个用户名与各个文件名之间进行行为分析。

规范化日志集合中记录了各个用户名访问过的文件名，也记录了各个文件名被哪些用户名访问过，因此，可以基于规范化日志集合对各个用户名与各个文件名之间进行行为分析，就可以得到他们之间的行为关系。

S14：将分析结果保存在图数据库中。

图数据库是一种非关系型数据库，它应用图形理论存储实体之间的关系信息。所有的数据以节点与边的形式存储。每个节点表示现实世界存在的“实体”，每条边为实体与实体之间的“关系”。通俗地讲，图数据库存储了由若干个节点和边组成的关系网络图。相比与关系型数据库而言.图数据库由于储存形式简单，能够将大最结构化数据储存在灵活的网络结构之下，实现数据的大量存储和灵活查询等功能，是当前大数据时代下最常见的数据系统。因此，可以将分析结果直接保存在图数据库中，从而可以直观看到各个用户名与各个文件名之间的行为关系。

该方案中，可以对原始日志集合进行规范化处理，得到规范化日志集合，然后基于规范化日志集合对其包括的各个用户名和各个文件名之间进行行为分析，将分析结果保存在图数据库中，从而可以直观反映出用户名与文件名之间的行为关系，实现自动处理原始日志，无需人工参与，相对于现有技术，可以大大节省人力资源，提升效率和准确率。

具体的，上述S11中将获取到的原始日志集合进行规范化处理，得到规范化日志集合，具体包括：

将原始日志集合进行进行去重处理和无用日志过滤处理，得到候选日志集合；

将候选日志集合中的原始日志转化为设定格式，得到规范化日志集合。

有些原始日志集合中的原始日志是重复的或者无用的，可以对这些进行过滤，然后将剩下的日志转化为设定格式，以便于后续处理。

具体的，上述S13中基于规范化日志集合对各个用户名与各个文件名之间进行行为分析，具体包括：

将规范化日志集合中的规范化日志分别按照各个用户名和各个文件名进行分组，得到各个用户名对应的规范化日志分组以及各个文件名对应的规范化日志分组；

基于各个用户名对应的规范化日志分组、各个文件名对应的规范化日志分组和设定规则对各个用户名与各个文件名之间进行行为分析；

根据各个用户名对应的规范化日志分组和设定规则分析各个用户名与访问过的文件名的第一行为关系集合；

根据各个文件名对应的规范化日志分组和设定规则分析各个文件名与访问的用户名的第二行为关系集合。

规范化日志集合中记录了各个用户名访问过的文件名，也记录了各个文件名被哪些用户名访问过，因此，可以基于规范化日志集合对各个用户名与各个文件名之间进行行为分析，就可以得到他们之间的行为关系。

可以将设定规则存储在规则库中，并对规则库进行规则增加及通过Spark对数据挖掘和机器学习技术的支持，对存储的原始日志进行离线分析，并与规则库结合产生新的规则，发现未知攻击。

相应地，上述S14中将分析结果保存在图数据库中，具体包括：

将第一行为关系集合和第二行为关系集合保存在图数据库中。

可选的，还包括：

将第一行为关系集合、第二行为关系集合分别与告警规则进行匹配；

若存在与告警规则匹配的行为关系，则产生告警信息。

告警规则可以但不限于为：1、根据单条日志的内容：如用户进行数据导出大数据集群处理要作为告警信息；2、根据单位时间内某种事件出现的频率：例如多次尝试访问未授权资源或输入某个用户名、密码错误，5分钟内发生了超过5次则可作为一个告警信息；3、根据原始日志进行关系判断处理，例如根据下面三条原始日志信息

2018-07-09 09:51:58,588INFO FSNamesystem.audit:allowed＝true ugi＝gaoshuai@AISINO.COM(auth:KERBEROS)ip＝/192.168.10.20cmd＝open src＝/user/gaoshuai/enterprise/part-m-00000dst＝null perm＝null proto＝rpc

2018-07-09 09:51:58,648INFO FSNamesystem.audit:allowed＝true ugi＝gaoshuai@AISINO.COM(auth:KERBEROS)ip＝/192.168.10.20cmd＝getfileinf o src＝/user/gaoshuai/test.txt._COPYING_dst＝null perm＝null proto＝rpc

2018-07-09 09:51:58,691INFO FSNamesystem.audit:allowed＝true ugi＝gaoshuai@AISINO.COM(auth:KERBEROS)ip＝/192.168.10.20cmd＝create src＝/user/gaoshuai/test.txt._COPYING_dst＝null perm＝gaoshuai:gaoshuai:rw-r--r--proto＝rpc

通过已有规则分析文件拷贝生成了/user/gaoshuai/test.txt，源文件是通过读取/user/gaoshuai/enterprise/part-m-00000，那么需要在hbase数据库中记录两条访问日志2018-07-09 09:51:58,588用户名gaoshuai正常权限读了/user/gaoshuai/enterprise/part-m-00000，2018-07-09 09:51:58,691用户名gaoshuai正常权限创建并写了Hdfs文件/user/gaoshuai/test.txt，另外在图数据库中记录关系如/user/gaoshuai/test.txt与文件/user/gaoshuai/enterprise/part-m-00000是备份关系。

图数据库模型示例如下：

可选的，还包括：

将规范化日志集合保存在基础数据库中，以使管理员根据基础数据库和图数据库进行日志审计。

基础数据库可以包括hbase数据库和ElasticSearch数据库，Hbase数据库存储日志记录及规则等关系型数据，解决日志大量存储问题，ElasticSearch缓存数据，用户审计时读取数据快速响应。用户通过web页面进行日志审计，查询告警信息，通过文件名和用户名进行行为关系追溯，生成审计报表，用户可以进行配置修改、告警规则设置、设定规则添加等等。

基于同一发明构思，本发明实施例提供一种基于大数据集群的日志处理装置，该装置的结构如图2所示，包括：

处理模块21，用于将获取到的原始日志集合进行规范化处理，得到规范化日志集合；

获取模块22，用于获取规范化日志集合包括的用户名和文件名；

分析模块23，用于基于规范化日志集合对各个用户名与各个文件名之间进行行为分析；

保存模块24，用于将分析结果保存在图数据库中。

该方案中，可以对原始日志集合进行规范化处理，得到规范化日志集合，然后基于规范化日志集合对其包括的各个用户名和各个文件名之间进行行为分析，将分析结果保存在图数据库中，从而可以直观反映出用户名与文件名之间的行为关系，实现自动处理原始日志，无需人工参与，相对于现有技术，可以大大节省人力资源，提升效率和准确率。

具体的，处理模块21，具体用于：

将原始日志集合进行进行去重处理和无用日志过滤处理，得到候选日志集合；

将候选日志集合中的原始日志转化为设定格式，得到规范化日志集合。

具体的，分析模块23，具体用于：

将规范化日志集合中的规范化日志分别按照各个用户名和各个文件名进行分组，得到各个用户名对应的规范化日志分组以及各个文件名对应的规范化日志分组；

基于各个用户名对应的规范化日志分组、各个文件名对应的规范化日志分组和设定规则对各个用户名与各个文件名之间进行行为分析；

根据各个用户名对应的规范化日志分组和设定规则分析各个用户名与访问过的文件名的第一行为关系集合；

根据各个文件名对应的规范化日志分组和设定规则分析各个文件名与访问的用户名的第二行为关系集合。

具体的，保存模块24，具体用于：

将第一行为关系集合和第二行为关系集合保存在图数据库中。

可选的，还包括：

匹配模块，用于将第一行为关系集合、第二行为关系集合分别与告警规则进行匹配；

告警模块，用于若存在与告警规则匹配的行为关系，则产生告警信息。

可选的，保存模块24，还用于：

将规范化日志集合保存在基础数据库中，以使管理员根据基础数据库和图数据库进行日志审计。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的可选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括可选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种基于大数据集群的日志处理方法，其特征在于，所述方法包括：

将获取到的原始日志集合进行规范化处理，得到规范化日志集合；

获取所述规范化日志集合包括的用户名和文件名；

基于所述规范化日志集合对各个用户名与各个文件名之间进行行为分析；

将分析结果保存在图数据库中。

2.如权利要求1所述的方法，其特征在于，将获取到的原始日志集合进行规范化处理，得到规范化日志集合，具体包括：

将所述原始日志集合进行进行去重处理和无用日志过滤处理，得到候选日志集合；

将所述候选日志集合中的原始日志转化为设定格式，得到所述规范化日志集合。

3.如权利要求1所述的方法，其特征在于，基于所述规范化日志集合对各个用户名与各个文件名之间进行行为分析，具体包括：

将所述规范化日志集合中的规范化日志分别按照各个用户名和各个文件名进行分组，得到各个用户名对应的规范化日志分组以及各个文件名对应的规范化日志分组；

基于各个用户名对应的规范化日志分组、各个文件名对应的规范化日志分组和设定规则对各个用户名与各个文件名之间进行行为分析；

根据各个用户名对应的规范化日志分组和设定规则分析各个用户名与访问过的文件名的第一行为关系集合；

根据各个文件名对应的规范化日志分组和所述设定规则分析各个文件名与访问的用户名的第二行为关系集合。

4.如权利要求3所述的方法，其特征在于，将分析结果保存在图数据库中，具体包括：

将所述第一行为关系集合和所述第二行为关系集合保存在所述图数据库中。

5.如权利要求3所述的方法，其特征在于，还包括：

将所述第一行为关系集合、所述第二行为关系集合分别与告警规则进行匹配；

若存在与所述告警规则匹配的行为关系，则产生告警信息。

6.如权利要求1-5任一所述的方法，其特征在于，还包括：

将所述规范化日志集合保存在基础数据库中，以使管理员根据所述基础数据库和所述图数据库进行日志审计。

7.一种基于大数据集群的日志处理装置，其特征在于，所述装置包括：

处理模块，用于将获取到的原始日志集合进行规范化处理，得到规范化日志集合；

获取模块，用于获取所述规范化日志集合包括的用户名和文件名；

分析模块，用于基于所述规范化日志集合对各个用户名与各个文件名之间进行行为分析；

保存模块，用于将分析结果保存在图数据库中。

8.如权利要求7所述的装置，其特征在于，所述处理模块，具体用于：

将所述原始日志集合进行进行去重处理和无用日志过滤处理，得到候选日志集合；

将所述候选日志集合中的原始日志转化为设定格式，得到所述规范化日志集合。

9.如权利要求8所述的装置，其特征在于，所述分析模块，具体用于：

将所述规范化日志集合中的规范化日志分别按照各个用户名和各个文件名进行分组，得到各个用户名对应的规范化日志分组以及各个文件名对应的规范化日志分组；

基于各个用户名对应的规范化日志分组、各个文件名对应的规范化日志分组和设定规则对各个用户名与各个文件名之间进行行为分析；

根据各个用户名对应的规范化日志分组和设定规则分析各个用户名与访问过的文件名的第一行为关系集合；

根据各个文件名对应的规范化日志分组和所述设定规则分析各个文件名与访问的用户名的第二行为关系集合。

10.如权利要求9所述的装置，其特征在于，所述保存模块，具体用于：

将所述第一行为关系集合和所述第二行为关系集合保存在所述图数据库中。

11.如权利要求9所述的装置，其特征在于，还包括：

匹配模块，用于将所述第一行为关系集合、所述第二行为关系集合分别与告警规则进行匹配；

告警模块，用于若存在与所述告警规则匹配的行为关系，则产生告警信息。

12.如权利要求7-11任一所述的装置，其特征在于，所述保存模块，还用于：

将所述规范化日志集合保存在基础数据库中，以使管理员根据所述基础数据库和所述图数据库进行日志审计。