CN110300100A - 日志审计的关联分析方法与系统 - Google Patents

Abstract

本发明旨在提供一种日志审计的关联分析方法与系统，包括：接收事件对象：所述事件对象由采集代理对日志经过包括归并、过滤与解析的处理后发送至缓存队列，再通过TCP方式不断发送至关联分析引擎；根据关联分析规则，对事件对象进行关联处理；若事件对象触发关联分析规则，按照预定义的告警规则产生告警信息并入库。通过系统关联分析，对各种设备的日志信息，进行归并和范式化处理。基于事件规则、统计规则、时间规则等多种方式进行关联，作出预防响应，防患于未然。

Description

日志审计的关联分析方法与系统

技术领域

本发明属于网络安全技术领域,尤其是涉及一种应用于日志审计的时间关联分析方法与系统。

背景技术

现如今，每个用户网络包含大量的信息资产，包括各种网络设备、安全设备、主机、应用及数据库等，每种设备类型的日志格式都不相同，即使是记录同一事件，也都有各自的日志规格。例如同样的登录失败信息，防火墙中的描述和主机操作系统中的描述格式就可能根本不相同，这样会迫使审计人员去了解每种设备类型的格式。但是，每个产品的日志量是巨大的，例如一个标准的入侵检测系统每天可能产生超过千万数量的事件日志，海量的数据常常让运维审计工作变得没有毫无头绪，成为业务顺畅运行的挑战。

日志审计系统，是一种采用大数据采集、建模、分析技术，通过对各种网络资源的多维度信息采集和自动化的关联分析，及时发现网络当中的威胁和异常行为的网络安全工具，可以通过与防火墙、入侵防御、终端安全等产品的安全联动，实现对威胁和异常行为的有效处置。

其中，关联分析是用户根据实际环境制定一条关联规则，根据已知的情景作出预防响应，防患于未然。关联规则定义各类安全事件之间在发生序列、事后影响等方面的关联性。而实时关联分析引擎基于预定义的关联规则，检测事件间的关联。

关联分析涉及到对实时事件的处理，需要对数据库进行大量的查询访问，传统的关系型数据库不适合执行每秒成千上万规模数据量的查询，而Esper框架具有更高的性能和更高的实时性。

发明内容

本发明旨在提供一种运用Esper框架的，根据预置规则对日志事件对象进行计算和关联分析并产生告警的方法与系统。

本发明采用的具体技术方案包括：

首先提供一种日志审计的关联分析方法，包括：

接收事件对象：所述事件对象由采集代理对日志经过包括归并、过滤与解析的处理后发送至缓存队列，再通过TCP方式发送至关联分析引擎；

根据关联分析规则，对事件对象进行关联处理；

若事件对象触发关联分析规则，按照预定义的告警规则产生告警信息并入库。

所述关联分析规则包括事件规则、统计规则与时间规则，所述事件规则包括事件名称、规则描述与规则配置，规则配置包括规则的事件名称、事件类型、设备类型与触发方式，所述触发方式包括每M秒有n个事件符合匹配条件，所述匹配条件包括事件在设定的时长内发生设定的次数；

所述关联分析规则包括系统内置规则与自定义规则，且规则状态包括启用状态和禁用状态。

上述的关联分析规则，当规则为多个时，其关系包括“或”和“与”；所述“或”关系：当符合其中任一个规则即可触发；所述“与”关系：当符合所有的规则才能触发。

进一步的，当关联分析引擎启动时会进行初始化，加载状态为启用的系统内置关联分析规则并翻译为EPL语句后按照规则ID加入Esper引擎；

所述系统内置的关联分析规则，设置相应的数据表并设置目录存放以规则ID命名的规则xml文件。

需要添加新的关联分析规则时，根据前端提交的规则描述生成以规则ID命名的规则xml文件；修改关联分析规则时，根据规则ID删除旧的规则xml文件，再根据提交的规则内容生成对应的新的规则xml文件；删除关联分析规则时，根据规则ID删除其xml文件，并发送socket通知Esper引擎移除该规则。

进一步的，修改关联分析规则时，若规则为启用状态，则发送socket通知Esper引擎重新加载该规则。

告警规则包括触发关联分析规则后的告警动作，可选择是否开启告警，告警动作包括防火墙阻断、Snmp trap告警、邮件、声光报警、短信、弹窗、交换机端口禁用。

进一步的，入库后的告警信息，以设定的频率进行实时统计，用于监控展示。

本发明还提供一种日志审计的关联分析系统，包括：

规则库，存放系统默认内置的规则列表；

关联分析引擎，接收实时的事件对象，按照关联分析规则进行事件的关联和分析处理并产生告警；

规则处理模块，用于实现对关联分析规则进行添加、修改与删除处理。

Esper监听器，用于监听和加载关联分析规则，监听并接收事件对象；

告警模块，用于对关联分析引擎产生的告警信息入库，并对告警进行响应。

关联分析引擎接收来自采集代理发送的事件对象，根据不同的关联分析规则，将事件对象进行设定时长或设定长度窗口的缓存，当事件对象触发关联分析规则时，按照预定义的告警规则进行告警，并将告警数据入库。

采用以上技术方案的本发明，通过系统关联分析，对各种设备的日志信息，进行归并和范式化处理。基于事件规则、统计规则、时间规则等多种方式进行关联。可根据各种属性在一定条件下满足一定统计规则定义的事件，及时触发安全响应。实现各资产间的关联分析，根据已知的情景作出预防响应，防患于未然。

附图说明

附图1为本发明的日志审计的关联分析方法实施例，关联分析工作流程图；

附图2为本发明的日志审计的关联分析方法实施例，关联分析规则发生变化的处理流程图；

附图3为本发明的日志审计的关联分析方法实施例，告警的工作流程图；

附图4为本发明的日志审计的关联分析方法实施例，多事件处理流程图；

附图5为本发明的日志审计的关联分析系统实施例，组成示意图。

具体实施方式

下面结合附图和实施例对本发明的关联分析方法与系统的技术方案进行详细说明。

如图1所示，首先提供一种日志审计的关联分析方法，200表示关联分析引擎。

步骤1，采集代理对数据源进行日志采集，采集代理主要完成对日志的采集、归并、过滤和范式化工作。

具体的讲，采集模块收到设备发送的日志后，首先判断是否在配置的数据源列表中，如果不在，则不处理；如果在列表中，则首先按照管理员配置的过滤规则对日志进行过滤，过滤后的日志首先存储一份原始日志到原始日志库，同时，将日志流放入日志范式化处理队列中进行范式化处理。

范式化处理模块，实时的从范式化队列中获取日志信息，并执行范式化处理，范式化处理完成后，封装成系统定义的事件对象，发送至缓存队列，再通过TCP方式发送至关联分析队列。

步骤2，关联分析引擎接收事件对象，分析引擎将接收到的事件流进行特定时间或者特定长度窗口的缓存。

步骤3，根据关联分析规则，对事件对象进行关联处理。

所述关联分析规则包括事件规则、统计规则与时间规则，所述事件规则包括事件名称、规则描述与规则配置，规则配置包括规则的事件名称、事件类型、设备类型与触发方式。

本发明的技术方案，一共支持23种事件类型：文件变更监控，网页状态监控，防篡改WEB防护，网页防篡改，性能监控，设备流量，网口状态，系统进程，管理员登录，管理员操作，访问控制，攻击检测，病毒检测，漏洞发现，应用行为审计，内容审计，移动介质操作审计，用户登录，用户认证，用户访问资源，VPN隧道建立，主机审计，WEB防护。

上述的触发方式，包括每M秒有n个事件符合匹配条件，所述匹配条件包括事件在设定的时长内发生设定的次数；

关联分析规则包括系统内置规则与自定义规则，且规则状态包括启用状态和禁用状态。

关联分析引擎启动过程中会加载系统默认内置的规则列表，采集代理将接收到的日志进行一系列的归并、过滤、解析后，最终将事件对象通过发送到关联分析引擎的监听端口。

进一步的，当关联分析引擎初始化，加载启用状态的系统内置关联分析规则并翻译为EPL语句后按照规则ID加入Esper引擎；所述系统内置的关联分析规则，设置相应的数据表并设置目录存放以规则ID命名的规则xml文件。

步骤4，若事件对象触发关联分析规则，按照预定义的告警规则产生告警信息并入库。

步骤5，不同的告警信息配置相应的告警动作，可选择是否开启告警，告警动作包括防火墙阻断、Snmp trap告警、邮件、声光报警、短信、弹窗、交换机端口禁用。

步骤6，入库后的告警信息，以设定的频率进行实时统计，用于监控展示。

如图2所示，用户可以通过Web界面进行规则的配置。

规则变化后，首先判断该规则的状态为启用还是禁用，若为禁用则只进行刷新规则列表的操作，若为启用则将规则ID发送至规则变化监听端口；

其次判断规则变化的方式：若为新增规则，根据前端提交的规则描述生成以规则ID命名的规则xml文件，并将规则ID添加至Esper监听器；若为规则修改，根据规则ID删除旧的规则xml文件，再根据提交的规则内容生成对应的新的规则xml文件，并对Esper监听器进行先移除后添加俄操作，进一步的，如果规则为启用状态，还需要发送socket通知分析引擎重新加载该规则；若为规则删除，根据规则ID删除其xml文件，并发送通知Esper监听器移除该规则。

如图3所示，告警响应的工作流程。当事件对象在特定时间窗口内触发关联分析规则时，将相关信息存入数据库，同时判断是否开启了告警，若未开启则Esper监听器继续监听；若开启了告警，则进行告警响应，并将告警信息入库。

如图4所示，多事件的关联分析流程，指多个事件与多个规则之间的关联分析过程，为便于叙述，图中以两个规则为例进行说明。

关联分析规则，当规则为多个时，其关系包括“或”和“与”；所述“或”关系：当符合其中任一个规则即可触发；所述“与”关系：当符合所有的规则才能触发。

设置两个Esper监听器，监听采集代理发送的事件对象，判断事件流是否触发了关联规则，若未触发则继续监听；

若触发了关联规则，则判断两个规则之间的关系；

若两个规则为“或”关系，则判断实际触发的是哪一个规则，并产生告警信息；

若两个规则为“与”关系，则判断触发的其中一个规则，并作相应的处理，等待另一个规则的触发，继续接收新的事件对象，当第二个规则也被触发时，产生告警信息。

如图5所示，本发明还提供一种日志审计的关联分析系统，包括：

规则库，存放系统默认内置的规则列表；

关联分析引擎，接收实时的事件对象，按照关联分析规则进行事件的关联和分析处理并产生告警；

规则处理模块，用于实现对关联分析规则进行添加、修改与删除处理。

Esper监听器，用于监听和加载关联分析规则，监听并接收事件对象；

告警模块，用于对关联分析引擎产生的告警信息入库，并对告警进行响应。

关联分析引擎接收来自采集代理发送的事件对象，根据不同的关联分析规则，将事件对象进行设定时长或设定长度窗口的缓存，当事件对象触发关联分析规则时，按照预定义的告警规则进行告警，并将告警数据入库。

Claims (10)

1.日志审计的关联分析方法，其特征在于，包括：

接收事件对象：所述事件对象由采集代理对日志经过包括归并、过滤与解析的处理后发送至缓存队列，再通过TCP方式不断发送至关联分析引擎；

根据关联分析规则，对事件对象进行关联处理；

若事件对象触发关联分析规则，按照预定义的告警规则产生告警信息并入库。

2.根据权利要求1所述的关联分析方法，其特征在于，

所述关联分析规则包括事件规则、统计规则与时间规则；

所述事件规则包括事件名称、规则描述与规则配置，规则配置包括事件名称、事件类型、设备类型与触发方式，所述触发方式包括每M秒有n个事件符合匹配条件，所述匹配条件包括事件在设定的时长内发生设定的次数；

所述关联分析规则包括系统内置规则与自定义规则，且规则状态包括启用状态和禁用状态。

3.根据权利要求2所述的关联分析方法，其特征在于，多个关联分析规则的关系包括“或”和“与”；所述“或”关系：当符合其中任一个规则即可触发；所述“与”关系：当符合所有的规则才能触发。

4.根据权利要求1所述的关联分析方法，其特征在于，关联分析引擎启动时进行初始化，加载启用状态的系统内置关联分析规则并翻译为EPL语句后按照规则ID加入Esper引擎；

所述系统内置的关联分析规则，设置相应的数据表并设置目录存放以规则ID命名的规则xml文件。

5.根据权利要求4所述的关联分析方法，其特征在于，新增关联分析规则时，根据前端提交的规则描述生成以规则ID命名的规则xml文件；修改关联分析规则时，根据规则ID删除旧的规则xml文件，再根据提交的规则内容生成对应的新的规则xml文件；删除关联分析规则时，根据规则ID删除其xml文件，并发送socket通知Esper引擎移除该规则。

6.根据权利要求5所述的关联分析方法，其特征在于，修改关联分析规则时，若规则为启用状态，则发送socket通知Esper引擎重新加载该规则。

7.根据权利要求1所述的关联分析方法，其特征在于，所述告警规则包括触发关联分析规则后的告警动作，可选择是否开启告警，告警动作包括防火墙阻断、Snmp trap告警、邮件、声光报警、短信、弹窗、交换机端口禁用。

8.根据权利要求1所述的关联分析方法，其特征在于，入库后的告警信息，以设定的频率进行实时统计，用于监控展示。

9.日志审计的关联分析系统，其特征在于，包括：

规则库，存放系统默认内置的规则列表；

关联分析引擎，接收实时的事件对象，按照关联分析规则进行事件的关联和分析处理并产生告警；

规则处理模块，用于实现对关联分析规则进行添加、修改与删除处理；

Esper监听器，用于监听和加载关联分析规则，监听并接收事件对象；

告警模块，用于对关联分析引擎产生的告警信息入库，并对告警进行响应。

10.根据权利要求9所述的关联分析系统，其特征在于，关联分析引擎接收来自采集代理发送的事件对象，根据不同的关联分析规则，将事件对象进行设定时长或设定长度窗口的缓存，当事件对象触发关联分析规则时，按照预定义的告警规则进行告警，并将告警数据入库。