CN106815125A - 一种日志审计方法及平台 - Google Patents

Abstract

本申请涉及计算机技术，公开了一种日志审计方法及平台，用以实现云环境下的日志实时审计。该方法为：审计平台从云端的各类平台分别采集相应的系统日志，并将获得的系统日志缓存至分布式异步队列中，以及确定满足预计的触发条件时，从该分布式异步队列中读取符合上述触发条件的系统日志，并基于规则模型对获得的系统日志进行审计，其中，规则模型是基于历史审计数据进行机器学习训练后生成的。这样，基于历史审计数据建模形成的规则模型相较于现有技术下单一的规则，更能够描述出复杂的审计条件，便于挑选出因复杂预警事件而产生的系统日志，从而便于管理人员及时发现并进行管理。

Description

一种日志审计方法及平台

技术领域

本申请涉及计算机技术，特别涉及一种日志审计方法及平台。

背景技术

随着云计算、移动互联、虚拟化等新技术的应用日益广泛，用户面临的安全威胁越来越多。网络中的主机、服务器、网络设备、安全设备、数据库以及各种应用服务系统在运行过程中会产生大量的日志和事件，管理人员面对数量如此巨大的信息，由于缺乏分析手段，因为无法及时准确定位网络故障和真正的安全隐患所在。

在传统的计算机网络环境下，安全厂商会将集群内日志数据的收集、存储、分析、报警、归档、报表等功能集成到一个定制的硬件设备中，通过部署该硬件设备到客户的计算机集群环境中，以完成离线的日志审计功能。

但是在云计算环境下，因为虚拟化技术和网络虚拟化，无法采用传统的硬件盒子的方式来解决日志审计问题，众多的云产品运行在复杂的平台上，这些产品自身以及相互调用会有大量的操作，产生大量的日志和事件，需要实时地对日志进行审计，以便于及时处理各类事件，因此，现有的离线审计方式已不适用于云环境下的日志审计需求。

而现有的云环境下目前暂时没有好的技术方案解决该问题。

发明内容

本申请实施例提供一种日志审计方法及平台，用以实现云环境下的日志实时审计。

本申请实施例提供的具体技术方案如下：

一种日志审计方法，包括：

审计平台从云端的各类平台分别采集相应的系统日志，并将获得的系统日志缓存至分布式异步队列中；

审计平台确定满足预计的触发条件时，从所述分布式异步队列中读取符合所述触发条件的系统日志；

审计平台基于规则模型对获得的系统日志进行审计，其中，所述规则模型是基于历史审计数据进行机器学习训练后生成的。

可选的，审计平台从云端的任意一平台采集相应的系统日志，包括：

基于设定的筛选条件，实时从所述任意一平台采集符合所述筛选条件的系统日志。

可选的，所述审计平台确定满足预计的触发条件时，从所述分布式异步队列中读取符合所述触发条件的系统日志，包括：

从所述分布式异步队列中读取满足第一订阅内容的系统日志；或者，

从所述分布式异步队列中读取缓存时长满足第一设定阈值的系统日志；或者，

从所述分布式异步队列中读取缓存数据量满足第二设定阈值的系统日志。

可选的，所述审计平台基于规则模型对获得的任意一条系统日志进行审计，包括：

读取所述任意一条系统日志后，基于所述任意一条日志包含的主机字段、路径字段和参数字段获取相匹配的规则模型；

采用获得的规则模型对所述任意一条系统日志进行检测，计算所述任意一条系统日志基于所述规则模型输出的概率；

将所述概率与预设的门限值进行比较，确定所述概率低于所述门限值时，确定所述任意一条系统日志为异常日志，确定所述概率不低于所述门限值时，确定所述任意一条日志为正常日志。

可选的，进一步包括：

审计平台对应符合事件特征的系统日志及相应的审计结果进行索引构建。

可选的，进一步包括：

审计平台对应满足第二订阅内容的系统日志进行系统日志初始索引构建；或/和，

审计平台对应满足第三订阅内容的系统日志进行保存。

一种日志审计平台，包括：

采集模块，用于从云端的各类平台分别采集相应的系统日志，并将获得的系统日志缓存至分布式异步队列中；

分发模块，用于确定满足预计的触发条件时，从所述分布式异步队列中读取符合所述触发条件的系统日志；

审计模块，用于基于规则模型对获得的系统日志进行审计，其中，所述规则模型是基于历史审计数据进行机器学习训练后生成的。

可选的，从云端的任意一平台采集相应的系统日志时，所述采集模块具体用于：

基于设定的筛选条件，实时从所述任意一平台采集符合所述筛选条件的系统日志。

可选的，基于确定满足预计的触发条件时，从所述分布式异步队列中读取符合所述触发条件的系统日志时，所述分发模块具体用于：

从所述分布式异步队列中读取满足第一订阅内容的系统日志；或者，

从所述分布式异步队列中读取缓存时长满足第一设定阈值的系统日志；或者，

从所述分布式异步队列中读取缓存数据量满足第二设定阈值的系统日志。

可选的，基于规则模型对获得的系统日志进行审计时，所述审计模块具体用于：

读取所述任意一条系统日志后，基于所述任意一条日志包含的主机字段、路径字段和参数字段获取相匹配的规则模型；

采用获得的规则模型对所述任意一条系统日志进行检测，计算所述任意一条系统日志基于所述规则模型输出的概率；

将所述概率与预设的门限值进行比较，确定所述概率低于所述门限值时，确定所述任意一条系统日志为异常日志，确定所述概率不低于所述门限值时，确定所述任意一条日志为正常日志。

可选的，进一步包括：

构建模块，用于对应符合事件特征的系统日志及相应的审计结果进行索引构建。

可选的，进一步包括：

构建模块，用于对应满足第二订阅内容的系统日志进行系统日志初始索引构建；或/和，

存储模块，用于保存满足第三订阅内容的系统日志。

本发明实施例中，审计平台从云端的各类平台分别采集相应的系统日志，并将获得的系统日志缓存至分布式异步队列中，以及在确定满足预计的触发条件时，从该分布式异步队列中读取符合上述触发条件的系统日志，并基于规则模型对获得的系统日志进行审计，其中，规则模型是基于历史审计数据进行机器学习训练后生成的。这样，便通过分布式的审计平台达到了实时读取、分析云端各类平台的系统日志的目的，并且，基于历史审计数据建模形成的规则模型相较于现有技术下单一的规则，更能够描述出复杂的审计条件，便于挑选出因复杂预警事件而产生的系统日志，从而便于管理人员及时发现并进行管理。

附图说明

图1为本申请实施例中日志审计系统架构图；

图2为本申请实施例中日志审计流程图；

图3为本申请实施例中HMM模型建立示意图；

图4为本申请实施例中机器学习过程示意图。

具体实施方式

为了实时云环境下的日志文件实时审计，本申请实施例中，重新设计了一套新的审计平台，该审计平台采用分布式结构，其中，采集模块实时地从云环境下采集日志传送至分发装置，分发模块根据按照预设的触发条件，将获得的日志文件发往审计模块，审计模块根据预设的规则对日志文件进行审计。

下面结合附图对本申请优选的实施方式进行详细说明。

参阅图1所示，以分布式结构重新设计审计平台，该审计平台至少包括采集模块10、分发模块11和审计模块12；其中，采集模块10用于从云环境下采用系统日志，而分发模块11用于缓存采集的系统日志，并按照设定的触发事件发往审计模块12，审计模块则会基于预设事件规则对系统日志进行审计，获得审计结果。

基于上述日志审计系统，参阅图2所示，本申请实施例中，进行日志审计的具体流程如下：

步骤200：采集模块10从云端的各类平台分别采集相应的系统日志，并将获得的系统日志缓存至分布式异步队列中。

如图1所示，实际应用中，不同类平台可以通过应用程序编程接口(Application Programming Interface，API)或者代理(Agent)接入采集模块10，这样可以方便日志源扩展；采集模块10可以定期从各类平台采集相应的系统日志，以任意一平台A为例，假设平台A通过API接入采集模块10，那么，采集模块10可以随时从平台A读取相应的系统日志，可选的，采集模块10可以一次性读取平台A上所有的系统日志，或者，为了节省系统资源，采集模块10可以对系统日志进行初步筛选，例如，根据预设的筛选条件(如，设定日志格式，设定日志属性、设定日志日期等等)从平台A中读取出符合上述筛选条件的系统日志。

以筛选条件为设定日志格式为例，采集模块10基于设定的标准格式，进行系统日志筛选，若采集的系统日志不符合标准格式，则会丢弃，不转发到分发模块11，从而提升系统日志采集的准确率和有效性。例如，具体格式标准如表1所示：

表1

另一方面，采集模块10从云端的各类平台读取系统日志后，不立即进行存储，而是对其进行标准化处理后，以标准消息格式缓存至分布式异步队列中，所谓分布式异步队列是指构建在分布式环境中的消息队列，具有高可用、高并发、易扩展等特性，这样做的好处是能降低系统模块之间的耦合；同时在云环境下，极可能出现日志出现高并发写入，给系统带来瞬间的压力，分布式异步队列具有较高的灵活性和峰值处理能力，提升系统的健壮性。

步骤210：分发模块11确定满足预计的触发条件时，从上述分布式异步队列中读取符合上述触发条件的系统日志。

本申请实施例中，步骤210的执行方式有多种方式，包含但不限于以下几种：

1、采集模块10从分布式异步队列中读取满足第一订阅内容的系统日志。

第一订阅内容是审计模块12配置的，这样，采集模块10可以采用订阅－发送方式下发系统日志，从而令审计模块12及时获得订阅平台的最新的系统日志。

2、采集模块10从分布式异步队列中读取缓存时长满足第一设定阈值的系统日志。

采用这种方式，可以在短时间内累积一定数量的系统日志再读取，从而避免因为频繁数据交互而造成的系统资源浪费，上述第一设定阈值可以设置得较短，这样，审计模块12同样可以实时地得到所需的系统日志。

3、采集模块10从分布式异步队列中读取缓存数据量满足第二设定阈值的系统日志。

采用这种方式，同样可以累积一定数量的系统日志再读取，从而避免因为频繁数据交互而造成的系统资源浪费，上述第二设定阈值可以设置得较少，这样，审计模块12同样可以实时地得到所需的系统日志。

步骤220：审计模块12基于规则模型对获得的系统日志进行审计，其中，该规则模型是审计模块12基于历史审计数据进行机器学习训练后生成的。

主要根据隐马尔科夫算法模型(Hidden Markov Model，HMM)对海量历史审计数据进行机器学习训练后，输出规则模型。再将该规则模型应用于审计模块12，用于检测异常的系统日志。

例如，以url日志为例，大多数正常的url日志的格式都非常类似，具体如下：

http://xxx.com/index.html？id＝123&user＝abc&query＝手套

http://xxx.com/index.html？id＝124&user＝apple&query＝手表

http://xxx.com/index.html？id＝133&user＝edfc&query＝冰箱

http://xxx.com/index.html？id＝135&user＝xxxx&query＝洗衣机

而异常的url日志的格式往往都不大相同，具体如下：

http://xxx.com/index.html？id＝1'union select id,name,SCHEMA_NAME from

User_information

http://xxx.com/index.html？id＝％3Cscript％3Ealert('XSS')％3C/script％3E

http://xxx.com/index.html/$％7B@print(md5(acunetix_wvs_security_test))％7D

因此，基于海量正常的url日志可以建立多个HMM模型。

具体的，正常的url日志的格式中，均包括有主机字段(如，http://xxx.com)、路径字段(如，/index.html？)和参数字段(如，id＝％3Cscript％3Ealert('XSS')％3C/script％3E)，在针对一条url日志建立HMM模型时，是对url日志中参数字段内包含的所有参数进行映射处理，建立相应的HMM模型，再通过该url日志中主机字段和路径字段链接至该HMM模型.

例如，参阅图3所示，在建立HMM模型时，将一条url日志的中每个参数的值由可见状态按照以下规则映射为隐藏状态：a～z→A(Alphabet)；0～9→N(Number)；中文→C(Chinese)；其他的特殊符号不进行映射；从而建立HMM模型。

在机器学习阶段，使用正常的url日志作为输入数据，避免污染模型，正常的url日志来源于通过正则表达式匹配的数据)；然后，按照url日志的主机字段+路径字段进行分组，在每一组中再分别按照不同url日志包含的参数分别建立相应的HMM模型；接着，设定异常概率门限值：H＝Min(概率)-ε，ε＝Min(概率)/100。

参阅图4所示，通过历史数据集中提取的数据进行机器学习后，建立了多种类型的HMM模型，那么，在检测阶段，再提取到新的url日志时，可以按照url日志的主机字段+路径字段+参数字段提取相应的HMM模型进行检测，经检测，若概率<H，则表示相应的url日志属于异常日志，其中，所谓的概率表示url日志按照相应的HMM模型表征的参数输出的概率值，取值越低，表示url日志的格式越异常，有可能为非法的url日志；若概率≥H，则表示相应的url日志属于正常日志，可以作为新数据添加到历史数据集中，作为下一次机器学习训练使用。

而现有的规则是通过正则表达式表示的，采用正则表达式检测异常的系统日志，存在性能和灵活性较差的问题，因为只能逐条检测系统日志是否与正则表达匹配，无法做到关联分析，基于机器学习的规则模型可以根据历史数据中的前后系统日志的内容进行关联分析，进而检测出异常。

参阅图1所示，在审计平台中，进一步地，还可以包括构建模块13和存储模块14，这两者也可以订阅相关的系统日志，同理，分发模块11也会将满足构建模块13设置的第二订阅内容的系统日志实时发往构建模块13，以便于构建模块13对应各个系统日志构建相应的初始索引，或/和，分发模块11出会将满足存储模块14设置的第三订阅内容的系统日志实时发往存储模块14进行保存，可选的，存储模块14可以将系统日志存储至特定的存储介质，如，开放结构化数据服务(Open Table Service，OTS)开放结构化数据服务]、Hadoop数据库(Hbase[Hadoop Database]，Hbase)等)，同时可根据不同规格配置，将超过一定存储时长的系统日志归档至开放数据处理服务ODPS[(Open DataProcessing Service，ODPS)开放数据处理服务]中。

本申请实施例中，可选的，日志审计系统根据构建模块13和存储模块14的订阅内容进行系统日志下发，这是因为，不是所有系统日志都需要进行初始索引构建以及保存，有时海量的临时的系统日志经审计无特殊价值后可以直接丢弃，以保证系统的存储空间，因此，日志审计系统只会根据订阅内容向构建模块13和存储模块14下发相应的系统日志。

另一方面，进一步的，审计模块12对系统日志进行审计后，会将符合事件特征的系统日志及相应的审计结果(即事件描述内容)发往构建模块13进行索引构建，这是为了在系统日志和相应审计结果之间建立关联，以便后续查询；那么，构建模块13接收到系统日志和相应的审计结果后，会判断是否订阅了相关系统日志并已构建了初始索引，若是，则基于系统日志和相应的审计结果对相应的初始索引进行更新，这样，系统日志和审计结果之间便建立了关联关系，以便于后续的事件查询洄溯；否则，直接基于系统日志和相应的审计结果构建索引，即建立关联关系，便于后续的事件查询洄溯。

本申请实施例中，审计平台从云端的各类平台分别采集相应的系统日志，并将获得的系统日志缓存至分布式异步队列中，以及在确定满足预计的触发条件时，从该分布式异步队列中读取符合上述触发条件的系统日志，并基于规则模型对获得的系统日志进行审计，其中，规则模型是基于历史审计数据进行机器学习训练后生成的。这样，便通过分布式的日志审计系统达到了实时读取、分析云端各类平台的系统日志的目的，并且，基于历史审计数据建模形成的规则模型相较于现有技术下单一的规则，更能够描述出复杂的审计条件，便于挑选出因复杂预警事件而产生的系统日志，从而便于管理人员及时发现并进行管理。进一步地，本申请实施例中，将系统日志和审计结果(即审计后确定发生的事件)建立关联关联，之间，可以通过搜索引擎及时进行关联检索，方便管理人员进行关联分析。

本申请描述的整套系统基于云产品搭建，和各类云平台兼容，易部署，具有高扩展性，方便接入各式各样的审计日志源。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请实施例的精神和范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (12)

1.一种日志审计方法，其特征在于，包括：

审计平台从云端的各类平台分别采集相应的系统日志，并将获得的系统日志缓存至分布式异步队列中；

审计平台确定满足预计的触发条件时，从所述分布式异步队列中读取符合所述触发条件的系统日志；

审计平台基于规则模型对获得的系统日志进行审计，其中，所述规则模型是基于历史审计数据进行机器学习训练后生成的。

2.如权利要求1所述的方法，其特征在于，审计平台从云端的任意一平台采集相应的系统日志，包括：

基于设定的筛选条件，实时从所述任意一平台采集符合所述筛选条件的系统日志。

3.如权利要求1所述的方法，其特征在于，所述审计平台确定满足预计的触发条件时，从所述分布式异步队列中读取符合所述触发条件的系统日志，包括：

从所述分布式异步队列中读取满足第一订阅内容的系统日志；或者，

从所述分布式异步队列中读取缓存时长满足第一设定阈值的系统日志；或者，

从所述分布式异步队列中读取缓存数据量满足第二设定阈值的系统日志。

4.如权利要求1、2或3所述的方法，其特征在于，所述审计平台基于规则模型对获得的任意一条系统日志进行审计，包括：

读取所述任意一条系统日志后，基于所述任意一条日志包含的主机字段、路径字段和参数字段获取相匹配的规则模型；

采用获得的规则模型对所述任意一条系统日志进行检测，计算所述任意一条系统日志基于所述规则模型输出的概率；

将所述概率与预设的门限值进行比较，确定所述概率低于所述门限值时，确定所述任意一条系统日志为异常日志，确定所述概率不低于所述门限值时，确定所述任意一条日志为正常日志。

5.如权利要求4所述的方法，其特征在于，进一步包括：

审计平台对应符合事件特征的系统日志及相应的审计结果进行索引构建。

6.如权利要求1、2或3所述的方法，其特征在于，进一步包括：

审计平台对应满足第二订阅内容的系统日志进行系统日志初始索引构建；或/和，

审计平台对应满足第三订阅内容的系统日志进行保存。

7.一种日志审计平台，其特征在于，包括：

采集模块，用于从云端的各类平台分别采集相应的系统日志，并将获得的系统日志缓存至分布式异步队列中；

分发模块，用于确定满足预计的触发条件时，从所述分布式异步队列中读取符合所述触发条件的系统日志；

审计模块，用于基于规则模型对获得的系统日志进行审计，其中，所述规则模型是基于历史审计数据进行机器学习训练后生成的。

8.如权利要求7所述的平台，其特征在于，从云端的任意一平台采集相应的系统日志时，所述采集模块具体用于：

基于设定的筛选条件，实时从所述任意一平台采集符合所述筛选条件的系统日志。

9.如权利要求7所述的平台，其特征在于，基于确定满足预计的触发条件时，从所述分布式异步队列中读取符合所述触发条件的系统日志时，所述分发模块具体用于：

从所述分布式异步队列中读取满足第一订阅内容的系统日志；或者，

从所述分布式异步队列中读取缓存时长满足第一设定阈值的系统日志；或者，

从所述分布式异步队列中读取缓存数据量满足第二设定阈值的系统日志。

10.如权利要求7、8或9所述的平台，其特征在于，基于规则模型对获得的系统日志进行审计时，所述审计模块具体用于：

读取所述任意一条系统日志后，基于所述任意一条日志包含的主机字段、路径字段和参数字段获取相匹配的规则模型；

采用获得的规则模型对所述任意一条系统日志进行检测，计算所述任意一条系统日志基于所述规则模型输出的概率；

将所述概率与预设的门限值进行比较，确定所述概率低于所述门限值时，确定所述任意一条系统日志为异常日志，确定所述概率不低于所述门限值时，确定所述任意一条日志为正常日志。

11.如权利要求10所述的平台，其特征在于，进一步包括：

构建模块，用于对应符合事件特征的系统日志及相应的审计结果进行索引构建。

12.如权利要求7、8或9所述的平台，其特征在于，进一步包括：

构建模块，用于对应满足第二订阅内容的系统日志进行系统日志初始索引构建；或/和，

存储模块，用于保存满足第三订阅内容的系统日志。