CN109729147A - 一种云环境下支持多租户的审计系统及实现方法 - Google Patents

Abstract

本发明涉及云计算技术领域，特别是一种云环境下支持多租户的审计系统及实现方法。本发明包括：日志采集模块，支持采集各种文本日志、流量日志，同时提供SSL加密功能；审计管理模块，为云租户处理多样的审计源提供灵活的管理功能；日志分析模块，为租户提供强大的审计日志检索、分析、风险告警、数据近实时展示及审计报表功能；日志存储模块，提供高可靠性的日志存储服务及远程仓库备份，并提供细粒度的审计日志归档管理功能。本发明解决了传统数据中心架构下审计系统无法适用云环境的情形，为云环境下多租户审计系统提供了一种实现方案。

Description

一种云环境下支持多租户的审计系统及实现方法

技术领域

本发明涉及云计算技术领域，特别是一种云环境下支持多租户的审计系统及实现方法。

背景技术

当前云计算技术日新月异、云计算产品市场空前繁荣、云计算产业迅猛发展；在云计算技术本身优势及相关政策推动趋势下，不管是传统制造业还是新兴互联网行业纷纷提出“上云”的口号，将企业服务迁移的云环境。审计系统作为企业安全审计的重要一环，自然无法避免地需要考虑面向云环境的审计系统问题。但目前审计系统的主要产品却主要面对的是传统的IT架构提供的审计服务；将存在如下问题：

一、审计系统部署方式面对的是传统IT架构，通过在底层部署专业的审计硬件设备实现对整个环境中所有数据库、服务器、应用等进行审计；这种方式面对如今企业应用部署在云上就显得不那么适应，因为租户无法触及云环境中底层基础设施，而且专业设备成本也较高，资源获取不够弹性。

二、审计产品部署、维护成本高，在云环境中部署整个审计系统，显然这种服务方式成为了用户单独的应用，用户需要安排专门的运维人员维护整个系统正常运行。这种方式还将导致用户获取的资源虽然弹性，但毕竟资源有限，并未发掘出云环境看似无限的资源池能够提供高性能的计算、存储、网络的能力。所以这里审计系统仅是用户的一种应用，并非是真正云环境下审计系统面向多租户的形式。

三、审计系统数据采集常采用的方式就是无差别的接收，默认所有数据来源都是可靠、安全的。审计数据本身的量就非常大，可能一天达到几十G甚至上百G的流量；其次即使是否内网也并非绝对安全无漏洞环境，若存在恶意用户对审计接收端发送大量数据，将挤占本已十分有限的带宽，导致正常的审计数据无法接收，甚至整个审计系统崩溃。

四、审计系统本身提供的数据存储方案由于网络带宽的限制，基本使用的是本地存储方案；但是面对每天如此大的审计日志的数据量，本地存储方案存在一个明显的缺陷就是容量有限。由于无论是传统IT架构下的审计系统，或者提供审计系统在云环境下的镜像这种模式，数据始终是存放在用户本地，这种方式将始终存在性能、可靠性问题。

因此目前审计系统无论是在成本、性能、可靠性、灵活性方面都存在很大的改进空间。

发明内容

本发明解决的技术问题在于提供一种云环境下支持多租户的审计系统及实现方法，将审计以服务的形式提供给租户，审计系统底层资源完全由云环境提供，审计系统底层运维完全交由云服务商负责，结合审计系统与云计算特点，充分利用各自的优势，简化租户自建审计系统的工作量。

本发明解决上述技术问题的技术方案是：

所述的系统包括日志采集模块、审计管理模块、日志分析模块、日志存储模块；

所述的日志采集模块是一个跨平台的模块，负责监控审计对象的日志文件的inode节点信息从而得到日志文件offset，进而获取文件新增内容，将新内容发送给审计管理模块；

所述的审计管理模块对日志采集模块发来的消息，根据AuditId进行是否放行判断，隔绝恶意、异常流量占用审计管理模块接收带宽；

所述的日志分析模块分析所有租户共用底层审计分析引擎、数据可视化引擎，同时告警、报表共用云环境下的公共服务；

所述的日志存储模块存储数据，实现租户空间的隔离。

所述的审计管理模块对外提供审计管理API，以便于租户将该模块与第三方集成。

所述的方法包括如下步骤：

步骤1：租户从审计系统创建一个审计项，审计系统为该审计对象的Agent生成一个唯一的配置文件，配置文件中将包含AuditId，用于审计对象管理是否放行判断；用户随之下载对应日志采集模块；

步骤2：在审计对象服务器中部署日志收集模块，配置日志采集模块指定日志文件采集路径，定时轮询日志文件，并将日志文件中新增的内容发送给审计管理模块；

步骤3：审计管理模块中，租户通过云平台提供的审计服务，管理自己的审计对象，并通过AuditId识别不同租户的审计对象，并决定是否放行该条审计记录；审计管理模块底层计算、网络资源由云平台提供；

步骤4：日志分析模块中所有租户共用底层审计分析引擎，同时其告警、报表可共用云环境下的公共服务；审计分析引擎的基础资源由云平台提供，实现资源配置弹性可伸缩，审计分析引擎的运维交由云服务商负责；

步骤5：由日志存储模块为租户提供日志备份、配额管理、归档管理；不同租户之间的审计数据实现租户空间之间的隔离；

所述的日志采集模块支持linux或windows环境；

日志采集模块同时支持SSL加密功能以满足公网环境下租户对传输日志的机密性、完整性及真实性需求。

所述的审计管理模块放行正常来源的流量，丢弃掉非法、恶意抢占带宽的流量；该过程的数据包管理用linux环境下的netfilter框架，在INPUT阶段将DROP或ACCEPT；审计管理模块还对外提供Restful风格的管理API；租户可将该审计服务与第三方工具集成；审计管理模块的运维交由审计服务商负责。

所述的日志分析模块中审计分析引擎底层使用Elasticsearch实现，数据可视化报表使用Grafana实现，数据可视化、告警均调用平台提供的公共服务实现。

所述的日志存储模块的日志存储粒度可以控制到具体某天的审计对象；

所述的日志存储服务实现冷、热数据分开存储；热数据使用Elasticsearch分布式数据库进行本地存储，冷数据使用远程数据仓库；租户通过归档管理实现冷、热数据轮替及数据恢复；数据归档管理可根据租户对每个审计设置手动及自动归档规则相结合的方式，灵活管理归档。

本发明提出一种云环境下审计系统支持多租户的方法，给出了一种面向云环境下的审计系统架构，审计系统以服务的形式提供给租户，审计系统的底层资源(包括计算、存储、网络资源)交由云平台统一分配、管理，对租户完全屏蔽；可实现一键部署基于租户的审计系统。本发明充分发挥云环境下资源弹性、灵活的优势，将云环境下的审计系统以服务的形式提供给租户，租户自行接入审计对象，创建租户的审计系统，简化租户自建审计系统；审计系统底层运维交由云服务提供商负责。

附图说明

下面结合附图对本发明进一步说明：

图1为本发明逻辑架构图；

图2为本发明实施流程图。

具体实施方式

见图1、2所示，本发明的系统包括日志采集模块、审计管理模块、日志分析模块、日志存储模块；日志采集模块是一个跨平台的模块，负责监控审计对象的日志文件的inode节点信息从而得到日志文件offset，进而获取文件新增内容，将新内容发送给审计管理模块；审计管理模块对日志采集模块发来的消息，根据AuditId进行是否放行判断，隔绝恶意、异常流量占用审计管理模块接收带宽；日志分析模块分析所有租户共用底层审计分析引擎、数据可视化引擎，同时告警、报表共用云环境下的公共服务；日志存储模块存储数据，实现租户空间的隔离。

本发明的流程如下：

租户先通过审计管理端创建一个对应的审计对象，审计对象创建成功后，下载对应的审计Agent(日志采集模块)。该Agent的配置文件audit_agent.yml由审计对象创建成功后，系统自动生成。并且可以根据日志的重要程度配置ssl。

audit_agent.yml文件内容如下：

租户通过审计管理端能够通过控制是否放行Agent的来源数据包，其内部通过基于linux内核模块通过在netfilter框架的INPUT阶段插入一个钩子函数实现。代码逻辑如下：

审计系统将所有租户的数据送入本地存储时，需要在审计管理端与本地数据存储之间增加缓存中间件，实现审计系统对数据流量控制缓存服务使用云平台的缓存中间件kafka集群。

日志分析引擎基于Elasticsearch搜索引擎深度开发实现、数据可视化引擎基于Grafana深度开发实现、调用公共告警服务。

租户通过配置告警规则，在规则中定义告警对象的告警字段在特定时间段内出现的频率、峰值、变化趋势，触发告警，然后条用云平台提供的公共告警服务接口实现邮件、短信、微信告警。

审计归档管理包括租户归档规则管理、租户存储配额管理。其中每个租户通过设置每个审计对象的数据归档规则，实现本地存储的热数据自动轮替，并将冷数据归档到云平台为每个租户提供的Ceph集群自动。每个租户的本地数据存储、数据仓库配额，根据租户订购的审计服务提供，可弹性配置。

归档管理的代码逻辑如下：

本发明实现云环境下将审计以一种服务的形式提供给租户，审计系统公共资源完全由云平台提供，运维也交由云服务商负责，这种方式极大的简化租户自建审计系统部署。

Claims (7)

1.一种云环境下支持多租户的审计系统，其特征在于：所述的系统包括日志采集模块、审计管理模块、日志分析模块、日志存储模块；

所述的日志采集模块是一个跨平台的模块，负责监控审计对象的日志文件的inode节点信息从而得到日志文件offset，进而获取文件新增内容，将新内容发送给审计管理模块；

所述的审计管理模块对日志采集模块发来的消息，根据AuditId进行是否放行判断，隔绝恶意、异常流量占用审计管理模块接收带宽；

所述的日志分析模块分析所有租户共用底层审计分析引擎、数据可视化引擎，同时告警、报表共用云环境下的公共服务；

所述的日志存储模块存储数据，实现租户空间的隔离。

2.根据权利要求1所述的系统，其特征在于：所述的审计管理模块对外提供审计管理API，以便于租户将该模块与第三方集成。

3.一种权利要求1或2所述系统的实现方法，其特征在于：所述的方法包括如下步骤：

步骤1：租户从审计系统创建一个审计项，审计系统为该审计对象的Agent生成一个唯一的配置文件，配置文件中将包含AuditId，用于审计对象管理是否放行判断；用户随之下载对应日志采集模块；

步骤2：在审计对象服务器中部署日志收集模块，配置日志采集模块指定日志文件采集路径，定时轮询日志文件，并将日志文件中新增的内容发送给审计管理模块；

步骤3：审计管理模块中，租户通过云平台提供的审计服务，管理自己的审计对象，并通过AuditId识别不同租户的审计对象，并决定是否放行该条审计记录；审计管理模块底层计算、网络资源由云平台提供；

步骤4：日志分析模块中所有租户共用底层审计分析引擎，同时其告警、报表可共用云环境下的公共服务；审计分析引擎的基础资源由云平台提供，实现资源配置弹性可伸缩，审计分析引擎的运维交由云服务商负责；

步骤5：由日志存储模块为租户提供日志备份、配额管理、归档管理；不同租户之间的审计数据实现租户空间之间的隔离。

4.根据权利要求3所述的方法，其特征在于：所述的日志采集模块支持linux或windows环境；

日志采集模块同时支持SSL加密功能以满足公网环境下租户对传输日志的机密性、完整性及真实性需求。

5.根据权利要求3所述的方法，其特征在于：所述的审计管理模块放行正常来源的流量，丢弃掉非法、恶意抢占带宽的流量；该过程的数据包管理用linux环境下的netfilter框架，在INPUT阶段将DROP或ACCEPT；审计管理模块还对外提供Restful风格的管理API；租户可将该审计服务与第三方工具集成；审计管理模块的运维交由审计服务商负责。

6.根据权利要求3所述的方法，其特征在于：所述的日志分析模块中审计分析引擎底层使用Elasticsearch实现，数据可视化报表使用Grafana实现，数据可视化、告警均调用平台提供的公共服务实现。

7.根据权利要求3所述的方法，其特征在于：所述的日志存储模块的日志存储粒度可以控制到具体某天的审计对象；

所述的日志存储服务实现冷、热数据分开存储；热数据使用Elasticsearch分布式数据库进行本地存储，冷数据使用远程数据仓库；租户通过归档管理实现冷、热数据轮替及数据恢复；数据归档管理可根据租户对每个审计设置手动及自动归档规则相结合的方式，灵活管理归档。