CN109471846A - 一种基于云日志分析的云上用户行为审计系统及方法 - Google Patents

Abstract

本发明的基于云日志分析的云上用户行为审计系统及方法提供一套独特的云日志处理算法，能够高效、准确的从海量格式不确定的原始日志中提取有效信息，将其转化为结构化的，可供大数据分析的用户操作行为数据。基于操作行为数据，本发明提供了用户操作行为审计、记录、多维度展示、违规告警、合规性分析、复杂流程审计、审计策略自动生成等功能，极大的提高了云系统整体安全性。

Description

一种基于云日志分析的云上用户行为审计系统及方法

技术领域

本发明涉及大数据、机器学习、日志处理技术、云计算技术、审计技术等领域，具体地说，本发明涉及一种基于云日志分析的云上用户行为审计系统及方法。

背景技术

随着云的广泛应用，越来越多的业务迁移上云，极大的提升了效率、降低了成本。但是在使用过程中，用户的日常操作存在操作者身份不明确、操作过程不透明、操作内容不可知、操作行为不可控、操作事故无法定位等安全风险，用户的过失和恶意操作可能危害云上业务及数据安全；此外，随着云规模扩展，系统透明度越来越低，用户和监管人员难以感知云上发生的违规操作，无法及时做出应对，降低了云系统整体安全性。在云日志中，包含了系统内部的安全事件、用户访问记录、用户操作行为、系统运行、系统状态等各类信息。通过对云日志的分析处理，能够有效的获取云的运行状态，跟踪记录用户操作，极大的增强云的透明度和安全性。云日志的分析结果，能够指导云合理的调整配置、优化系统程序、增加防御机制、修复系统问题，提升云在运行过程中的稳定性、可靠性、安全性、合规性。因此，日志分析在云监管、云审计、安全防御、合规性检测、运维、系统优化、搭建自我管理系统(自优化、自修复、自保护、自配置)等领域都有着重要的价值。

云日志具有数量巨大，日志格式千变万化，冗余日志多，有效信息随机分布等特点，无法对直接在其上运行分析算法。数据量大、有效信息比例低且随机分布，导致普通的过滤算法无法充分过滤无效日志；日志格式多，且随版本迭代变化，无法预知日志格式，并通过正则表达式提取日志信息；此外，几款主流云产品的日志互不相同，难以用同一套日志模型从不同云中提取有效信息。

发明内容

为了解决上述问题，本发明提供一种基于云日志分析的云上用户行为审计系统及方法。

本发明的一种基于云日志分析的云上用户行为审计系统，包括从云平台获取原始日志并将原始日志写入大数据平台的分布式文件系统中的数据采集模块、从原始日志中提取具体操作对应的日志模型并具有实时审计功能的日志预处理模块、提供数据存储并确保存储的数据不会被篡改的数据存储模块、利用日志预处理模块的结果进行数据层面的分析和处理的审计分析模块、根据审计分析模块的分析结果并结合云平台用户的组织架构关系给不同用户提供不同业务展示的审计业务模块。所述数据采集模块包括对云平台的日志进行收集和进行格式化处理并将数据直接发送到消息队列中的日志采集服务模块、收集云平台平台内关于用户和资源以及流量的平台内基础信息的第三方数据收集模块、将收集的日志信息进行真不后分别存入到对应的分布式存储系统和全文搜索引擎服务中以便检索的数据存储模块。所述日志预处理模块包括对日志进行分类计算信息熵值并过滤低熵值部分而保留有效日志信息的日志过滤模块、根据日志过滤模块输出的日志信息进行处理生成对应的日志向量作为日志行为的标识的日志行为提取模块、根据日志行为提取模块输出的日志行为标识进行分类并进行识别的日志行为识别模块、将不同层级的日志整合成完整日志存入操作事件库以便分析展示的归一化模块、为日志预处理模块内各模块间提供实时通讯渠道的消息中间件系统、实时处理消息中间件系统中的消息并根据预置的规则实时判断分析日志信息提供实时告警的实时审计模块。所述数据存储模块包括存储常规的基础数据和已经经过格式化预处理后的日志数据的格式化数据仓库、存储最原始的日志文件信息提供数据保全功能的分布式文件系统、在原始数据基础上构建分布式索引以方便实时获取相关原始日志信息的日志索引系统、单独存储非格式化数据方便上层分析整合应用的非格式化数据仓库、同步各个数据仓库中的数据保证各个数据最终一致性的同步服务模块。所述审计分析模块包括根据规则判断用户操作是否符合规则的规则分析模块、结合虚拟机安全部分的数据判断云平台内部的网络合规性的流量分析模块、根据用户的纬度提供该用户操作的行为日志记录统计以及对该用户行为的审计的行为分析模块、对云数据中心的物理资源和虚拟资源进行数理统计的资源分析模块、在用户行为分析之上针对部分场景增加网络流量和其他关联资源的运行状况的场景还原模块、为其他分析模块提供基础支撑性分析数据的日志追溯模块；其中，所述规则分析模块包括根据默认规则和用户自定义规则判断云平台上的数据以及操作行为和网络通信数据是否符合规则的静态规则分析模块、根据系统用户的操作习惯进行规则自学习并根据规则自学习模型自动生成新的动态规则识别新的审计漏洞的动态规则分析模块。所述审计业务模块包括提供满足不同需求的各类统计分析报表并确保有效性的报表管理模块、为业务展示提供相关数据和各个资源间的基础关联数据信息的支撑数据模块、提供审计规则的日常管理与运维的规则管理模块、提供审计结果的报警信息管理与处置的报警管理模块、将分析的数据进行可视化展示并以图表方式直观展示相关的统计分析信息的数据可视化模块。

本发明的一种基于云日志分析的云上用户行为审计方法，包括如下步骤：

s1、通过基于云日志分析的云上用户行为审计系统中的数据采集模块，采用日志代理或者API方式从云平台获取用户原始日志，将用户原始日志数据写入大数据平台的分布式文件系统中；

s2、通过基于云日志分析的云上用户行为审计系统中的日志预处理模块实时消费原始日志信息或者离线读取大批量日志信息，通过日志过滤、日志解交织、操作行为识别模型操作，将识别过程及结果输出到对应的数据仓库；同时，实时处理消息中间件系统中的消息，根据预置的规则实时判断分析日志信息，并提供实时告警；

s3、根据步骤s2中输出的结果，进行数据层面的分析和处理，包括规则分析、流量分析、关联分析、行为分析、场景还原、日志追溯和资源分析，并将分析的结果直接输出到分析结构库中，提供前端业务层所需要的也无需求相关数据；

s4、根据步骤s3中的分析结果，按照相关的政策法规和用户的组织架构关系，实现相关的业务逻辑，提供给不同用户不同的展示界面、数据内容、保报表内容。

本发明提供一套独特的云日志处理算法，能够高效、准确的从海量格式不确定的原始日志中提取有效信息，将其转化为结构化的，可供大数据分析的用户操作行为数据。基于操作行为数据，本发明提供了用户操作行为审计、记录、多维度展示、违规告警、合规性分析、复杂流程审计、审计策略自动生成等功能，极大的提高了云系统整体安全性

附图说明

图1是本发明的一种基于云日志分析的云上用户行为审计系统架构示意图。

具体实施方式

为了更好的理解本发明，下面结合附图详细说明本发明。

本发明主要就是通过分析云的运行日志，提取用户操作行为信息，从而记录用户操作行为，了解云的运行状态，及时发现云上发生的风险和违规操作。本发明从云系统的运行日志中提取用户操作行为信息，对用户进行操作行为审计；系统自动采集云系统内所有子模块的全量日志，利用组合过滤算法，有效过滤掉无效日志，保留包含审计所需信息的有效日志，提高系统处理能力；系统能够处理任意格式的日志，利用日志类型提取算法，自动识别云系统中所有的日志格式，审计系统能够无缝切换到任意云系统；系统利用行为模型提取算法，该系统能够自动识别用户在云平台上的操作行为，建立模型(而不需要提前录入某个操作行为对应的日志特征值或模型)。系统利用实时处理模块实时处理海量日志，将原始日志转换为能够描述用户某个操作行为的结构化数据，并提取操作行为对应的要素，例如操作者、操作对象、操作时间、操作结果、操作位置等；系统能够将日志中提取的要素和云系统中的内容进行关联分析，通过日志中采集到的ID查询用户、资产、权限等信息；根据操作行为的时间、频率、操作者权限、历史操作习惯、风险等级、黑白名单等方式生成审计策略，对触发规则的操作进行告警；多维度分析展示，通过资产操作热力图、用户资产全生命周期展示等方式，直观的展示系统、资产的状态，用户的行为习惯，识别风险资产和用户；系统支持复杂流程审计算法，能够从日志中分析出用户操作行为流程，并判断是否合规；系统支持历史安全事件特征值提取算法，用历史安全事件发生前后的异常指标，自动学习生成告警规则；系统支持历史安全事件特征值提取算法，用历史安全事件发生前后的异常指标，自动学习生成告警规则；系统支持复杂流程审计算法，能够结合从日志中分析出用户操作行为流程之间的前后关系、资源之间的依赖关系，判断是否合规。

如图1所示，本发明的一种基于云日志分析的云上用户行为审计系统，包括从云平台获取原始日志并将原始日志写入大数据平台的分布式文件系统中的数据采集模块、从原始日志中提取具体操作对应的日志模型并具有实时审计功能的日志预处理模块、提供数据存储并确保存储的数据不会被篡改的数据存储模块、利用日志预处理模块的结果进行数据层面的分析和处理的审计分析模块、根据审计分析模块的分析结果并结合云平台用户的组织架构关系给不同用户提供不同业务展示的审计业务模块。

所述数据采集模块包括对云平台的日志进行收集和进行格式化处理并将数据直接发送到消息队列中的日志采集服务模块、收集云平台平台内关于用户和资源以及流量的平台内基础信息的第三方数据收集模块、将收集的日志信息进行真不后分别存入到对应的分布式存储系统和全文搜索引擎服务中以便检索的数据存储模块。其中，日志采集服务模块主要采用了2种方式进行，一种是通过在日志所在服务器中预先放置日志采集代理的方式进行，一种是通过与云平台的日志服务对接，通过API的方式进行，日志采集完成以后，经过简单的格式化处理以后，将数据直接发送到消息队列中。第三方数据收集模块主要是根据分析模块的需要，通过导流、API等方式收集云平台上的用户基础信息、资源基础信息、流量等平台内基础信息，并将信息直接存入到基础数据库中。数据存储模块主要是将收集的日志信息，按照日志的类别、时间、进行甄别以后分别存入到对应的分布式存储系统和全文搜索引擎服务中，以便检索。

所述日志预处理模块包括对日志进行分类计算信息熵值并过滤低熵值部分而保留有效日志信息的日志过滤模块、根据日志过滤模块输出的日志信息进行处理生成对应的日志向量作为日志行为的标识的日志行为提取模块、根据日志行为提取模块输出的日志行为标识进行分类并进行识别的日志行为识别模块、将不同层级的日志整合成完整日志存入操作事件库以便分析展示的归一化模块、为日志预处理模块内各模块间提供实时通讯渠道的消息中间件系统、实时处理消息中间件系统中的消息并根据预置的规则实时判断分析日志信息提供实时告警的实时审计模块。由于数据采集模块采集的数据中，存在部分不合规的数据，如部分日志数据缺失重要选项、日志格式繁多、内容繁杂、无效信息较多，因此通过日志预处理模块可以从日志中提取有用的信息，并标准化，从而实现API数据和日志数据之间的标准化。日志预处理模块的主要工作是从原始日志中提取某个操作对应的日志模型，日志模型包括几个要素：操作所触发的日志的集合、集合中每条日志的正则表达式、集合中包含的参数及其含义。首先将用户的一个操作行为称为“事件”，例如创建虚拟机、虚拟机迁移、增加虚拟机卷等操作都是一个“事件”，在执行这些“事件”的过程中，会触发多条日志，日志中携带了描述“事件”时间、触发者、操作对象等关键信息的参数，将“事件”触发的日志收集起来，获取其正则表达式，同时找到所有参数在日志中的位置，以及参数的具体含义，这样就能生成一个“事件”对应的日志模型。通过日志模型，程序能够从海量日志中找到某个“事件”触发的日志，并从中提取关键的参数，从而还原出用户在云上的具体操作，从而达到审计的目的。为了识别用户操作日志的类别并提取有效信息，本发明审计系统对原始日志分以下三步依次进行了处理:日志过滤、日志行为提取、日志行为识别。日志过滤模块的日志过滤主要针对云产生的日志中含有大量固定的周期重复日志以及日志信息中存在时间、操作对象等信息实质上存在一定的关联关系特点。我们首先采用聚类的方法，对日志进行大范围的分类，然后再根据信息论信心熵的理论，通过计算信息熵值，过滤掉其中低熵值的部分，从而保留有效日志信息；日志行为提取模块根据日志过滤模块输出的日志信息，结合我们自研的解交织算法，首先将交织在一起的日志分解不同待识别的日志，然后通过相应的自然语言分词分辨出日志中的参数，通过向量化日志，得出日志中词汇的位置和频次等信息，生成对应的日志向量作为日志行为的标识。日志行为识别模块结合预先待人工标的事件日志向量，采用自研的日志分类模型算法对日志行为提取模块生成的日志行为向量进行分类，识别出对应的日志行为，最后根据识别出的日志行为，反向关联日志行为模块的输入日志信息，提取有效信息后关联其类别及来源输出到用户行为数据库。由于识别的日志行为信息可能来自于同一事件在不同层级产生的日志，同时不同层级的日志有效信息不完全相同。因此，审计系统的归一化模块主要作用就是将不同层级的日志根据日志发生的RequestId,OperatorId,ObjectID等有效信息将不同层级的日志整合成一条完整的日志，存入操作事件库以便分析展示使用。消息中间件系统主要是提供一个各个预处理模块间的一个实时通讯渠道，可以方便多个模块同时使用处理完毕的日志信息并将处理完毕的信息同步到该通道中，方便下一个流程处理。实时审计模块主要是实时处理消息中间件系统中的消息，根据预置的规则实时判断分析日志信息，并提供实时告警。

所述数据存储模块包括存储常规的基础数据和已经经过格式化预处理后的日志数据的格式化数据仓库、存储最原始的日志文件信息提供数据保全功能的分布式文件系统、在原始数据基础上构建分布式索引以方便实时获取相关原始日志信息的日志索引系统、单独存储非格式化数据方便上层分析整合应用的非格式化数据仓库、同步各个数据仓库中的数据保证各个数据最终一致性的同步服务模块。数据存储模块主要是负责提供各种审计原始数据、审计中间层数据、审计结果数据等数据的存储，并确保存储的数据不会被篡改。其中，格式化数据仓库主要由传统关系型数据库、NoSQL数据库构成，其主要存储常规的基础数据和已经经过格式化预处理后的日志数据，其按照年、月、日、小时进行相应的分库分表进行存储，对于每一条数据都有唯一的验证码进行验证保护，确保数据不能被篡改。分布式文件系统主要是存储最原始的日志文件信息，提供数据的保全功能。日志索引系统主要是在原始的数据基础上构建了一套分布式索引，通过索引可以近乎实时地获取相关的原始日志信息。非格式化数据仓库针对日志数据差异大、日志间关系复杂的特点，来存储非格式化的数据文件如图片、拓扑关系等数据，方便上层分析整合使用。同步服务模块主要用于同步各个数据仓库中的数据，保证各个数据中的最终一致性。

所述审计分析模块包括根据规则判断用户操作是否符合规则的规则分析模块、结合虚拟机安全部分的数据判断云平台内部的网络合规性的流量分析模块、根据用户的纬度提供该用户操作的行为日志记录统计以及对该用户行为的审计的行为分析模块、对云数据中心的物理资源和虚拟资源进行数理统计的资源分析模块、在用户行为分析之上针对部分场景增加网络流量和其他关联资源的运行状况的场景还原模块、为其他分析模块提供基础支撑性分析数据的日志追溯模块；其中，所述规则分析模块包括根据默认规则和用户自定义规则判断云平台上的数据以及操作行为和网络通信数据是否符合规则的静态规则分析模块、根据系统用户的操作习惯进行规则自学习并根据规则自学习模型自动生成新的动态规则识别新的审计漏洞的动态规则分析模块。审计分析模块主要是根据审计安全规则以及用户行为之间的行为，找到对应的用户、资产、权限信息，并根据审计策略判断操作行为是否合规关联性进行关联分析、还原用户操作场景、实现日志追溯以及自动策略学习生成并将分析结果输出到分析数据库；同时，审计分析模块主要是利用数据预处理输出的各类用户操作事件，进行数据层面的分析和处理。其按照功能横向划分可以分为规则分析模块、流量分析模块、关联分析、行为分析、场景还原、日志追溯模块、资源分析模块。各个模块将分析的结果直接输出到分析结构库中，供前端业务层根据业务需求获取相关数据。静态规则模块主要是根据默认规则和客户自定义规则，判断云平台上的数据以及操作行为、网络通讯数据是否符合规则(如用户登录失败5次，则为异常)，包括实时审计(取消息队列中的实时日志ID号判断审计)、离线审计两种。动态规则分析模块则是系统根据用户的操作习惯(如用户都是先创建VPC再创建ECS，但有一天用户改为先创建OSS，在创建ECS)、资源的运行状况(发现云平台中出现未登记的IP地址在与外部进行通讯)进行规则自学习，通过规则自学习模型，自动生成新的动态规则识别新的审计漏洞。流量分析模块主要是结合虚拟机安全部分的数据，判断云平台内部的网络合规性，内部专门构建流量模型安全识别模块，主要包括异常流量模型、非法外联行为模型、流量统计模型等。行为分析模块主要功能是根据用户的维度，提供该用户操作的行为日志记录统计以及对该用户行为的行为审计，其行为审计(不包括规则审计)主要包括从深度以及广度上的审计、行为关联度模型审计；所谓的深度和广度审计主要是指当一个用户行为发生的时候，该动作需要具备从API层的操作日志、API层数据核实、虚拟化层日志在内的不同层次日志的逐层核实，同时其需要的其他广度关联数据如网络层支撑数据均有相关操作日志记录才能确认该操作是属于合规操作，否则已核实的的深度和广度区间判断该行为是否为不合规可疑；根据不同的操作行为，建立不同的审计合规性模型，统计学习每一个操作在运行过程中，所产生的时间序列规律，置信度关联由训练好的关联模型判断当前数据的关联度得出其合理性。资源分析模块主要是针对云数据中心的物理资源和虚拟资源进行数理统计，统计当前数据中心已核实的资源和待核实的资源，以及对应资源的变化情况，并以资源为中心构建资源画像，形成资源画像图谱，实现对资源的全流程审计监控。场景还原模块主要是针对部分重要场景在用户行为分析场景之上，增加网络流量、其他关联资源(如同租户下ECS、同VPC下ECS)的资源运行影响状况，作为给其他分析模块提供基础支撑性分析数据，主要为将API日志、调度执行日志、API信息等按照其执行链进行关联以后，提供执行操作链关联记录(实时进行关联在存盘，发送存盘的日志记录ID号)。

所述审计业务模块包括提供满足不同需求的各类统计分析报表并确保有效性的报表管理模块、为业务展示提供相关数据和各个资源间的基础关联数据信息的支撑数据模块、提供审计规则的日常管理与运维的规则管理模块、提供审计结果的报警信息管理与处置的报警管理模块、将分析的数据进行可视化展示并以图表方式直观展示相关的统计分析信息的数据可视化模块。简单的说，审计业务模块负责审计分析结果的多维度展示，让用户能够直观的了解当前系统用户操作行为分类统计、合规性状况、敏感资产等信息，并支持查阅系统记录的用户操作行为。审计业务模块主要是根据审计分析模块的分析结果，按照相关的政策法规，云平台用户的组织架构关系，实现相关的业务逻辑，提供给不同用户不同的展示界面、数据、报表等内容。其中，报表管理模块主要是提供满足各个审计部门、等保等不同需求的各类统计分析报表以及支持如docx,pdf等样式的导出功能，并在每个报表中添加签名盖章，确保其有效性。支撑数据模块主要是提供用于方便页面业务展示的相关数据，提供各个资源间的基础关联数据信息。规则管理模块提供审计规则的日常管理与运维，包括创建规则、修改规则默认参数等信息。报警管理模块主要是提供审计结果的报警信息管理以及处置，包括发送消息给相关责任人，对报警的信息进行管理及处置，统计分析报警的处置情况。数据可视化模块主要是将分析的数据进行可视化展示，以图表的方式直观展示相关的统计分析信息。根据需求的不同，审计业务包括数据图表的展示功能、审计静态规则的管理功能、报警功能、日志查询功能、报表生成及管理等业务功能。通过这些业务功能地展示，审计系统能够提供满足多层级、全方位的审计、实现对云上用户事前、事中、事后的操作行为全程监管。首先，审计业务模块能够对某个租户或整个云系统范围内一段时间周期内的操作行为频率、违规操作频率、热门资产和活跃用户进行直观展示；其次，其针对某个特定的虚拟资源，能够对其进行全生命周期审计，全生命周期内所有对其进行的访问和管理操作，能够按照操作行为类型、发起用户、操作结果的维度进行审计和展示；最后，针对某个独立用户，也能对其全生命周期过程中发起的所有操作行为按照操作类型、操作对象、结果等维度进行分析审计。

本发明的一种基于云日志分析的云上用户行为审计方法，包括如下步骤：

s1、通过基于云日志分析的云上用户行为审计系统中的数据采集模块，采用日志代理或者API方式从云平台获取用户原始日志，将用户原始日志数据写入大数据平台的分布式文件系统中；

s2、通过基于云日志分析的云上用户行为审计系统中的日志预处理模块实时消费原始日志信息或者离线读取大批量日志信息，通过日志过滤、日志解交织、操作行为识别模型操作，将识别过程及结果输出到对应的数据仓库；同时，实时处理消息中间件系统中的消息，根据预置的规则实时判断分析日志信息，并提供实时告警；

s3、根据步骤s2中输出的结果，进行数据层面的分析和处理，包括规则分析、流量分析、关联分析、行为分析、场景还原、日志追溯和资源分析，并将分析的结果直接输出到分析结构库中，提供前端业务层所需要的也无需求相关数据；

s4、根据步骤s3中的分析结果，按照相关的政策法规和用户的组织架构关系，实现相关的业务逻辑，提供给不同用户不同的展示界面、数据内容、保报表内容。

本发明提供一套独特的云日志处理算法，能够高效、准确的从海量格式不确定的原始日志中提取有效信息，将其转化为结构化的，可供大数据分析的用户操作行为数据。基于操作行为数据，本发明提供了用户操作行为审计、记录、多维度展示、违规告警、合规性分析、复杂流程审计、审计策略自动生成等功能，极大的提高了云系统整体安全性

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种基于云日志分析的云上用于行为审计系统，其特征在于，所述基于云日志分析的云上用于行为审计系统包括从云平台获取原始日志并将原始日志写入大数据平台的分布式文件系统中的数据采集模块、从原始日志中提取具体操作对应的日志模型并具有实时审计功能的日志预处理模块、提供数据存储并确保存储的数据不会被篡改的数据存储模块、利用日志预处理模块的结果进行数据层面的分析和处理的审计分析模块、根据审计分析模块的分析结果并结合云平台用户的组织架构关系给不同用户提供不同业务展示的审计业务模块。

2.根据权利要求1所述的一种基于云日志分析的云上用户行为审计系统，其特征在于，所述数据采集模块包括对云平台的日志进行收集和进行格式化处理并将数据直接发送到消息队列中的日志采集服务模块、收集云平台平台内关于用户和资源以及流量的平台内基础信息的第三方数据收集模块、将收集的日志信息进行真不后分别存入到对应的分布式存储系统和全文搜索引擎服务中以便检索的数据存储模块。

3.根据权利要求1所述的一种基于云日志分析的云上用户行为审计系统，其特征在于，所述日志预处理模块包括对日志进行分类计算信息熵值并过滤低熵值部分而保留有效日志信息的日志过滤模块、根据日志过滤模块输出的日志信息进行处理生成对应的日志向量作为日志行为的标识的日志行为提取模块、根据日志行为提取模块输出的日志行为标识进行分类并进行识别的日志行为识别模块、将不同层级的日志整合成完整日志存入操作事件库以便分析展示的归一化模块、为日志预处理模块内各模块间提供实时通讯渠道的消息中间件系统、实时处理消息中间件系统中的消息并根据预置的规则实时判断分析日志信息提供实时告警的实时审计模块。

4.根据权利要求1所述的一种基于云日志分析的云上用户行为审计系统，其特征在于，所述数据存储模块包括存储常规的基础数据和已经经过格式化预处理后的日志数据的格式化数据仓库、存储最原始的日志文件信息提供数据保全功能的分布式文件系统、在原始数据基础上构建分布式索引以方便实时获取相关原始日志信息的日志索引系统、单独存储非格式化数据方便上层分析整合应用的非格式化数据仓库、同步各个数据仓库中的数据保证各个数据最终一致性的同步服务模块。

5.根据权利要求1所述的一种基于云日志分析的云上用户行为审计系统，其特征在于，所述审计分析模块包括根据规则判断用户操作是否符合规则的规则分析模块、结合虚拟机安全部分的数据判断云平台内部的网络合规性的流量分析模块、根据用户的纬度提供该用户操作的行为日志记录统计以及对该用户行为的审计的行为分析模块、对云数据中心的物理资源和虚拟资源进行数理统计的资源分析模块、在用户行为分析之上针对部分场景增加网络流量和其他关联资源的运行状况的场景还原模块、为其他分析模块提供基础支撑性分析数据的日志追溯模块。

6.根据权利要求5所述的一种基于云日志分析的云上用户行为审计系统，所述规则分析模块包括根据默认规则和用户自定义规则判断云平台上的数据以及操作行为和网络通信数据是否符合规则的静态规则分析模块、根据系统用户的操作习惯进行规则自学习并根据规则自学习模型自动生成新的动态规则识别新的审计漏洞的动态规则分析模块。

7.根据权利要求1所述的一种基于云日志分析的云上用户行为审计系统，其特征在于，所述审计业务模块包括提供满足不同需求的各类统计分析报表并确保有效性的报表管理模块、为业务展示提供相关数据和各个资源间的基础关联数据信息的支撑数据模块、提供审计规则的日常管理与运维的规则管理模块、提供审计结果的报警信息管理与处置的报警管理模块、将分析的数据进行可视化展示并以图表方式直观展示相关的统计分析信息的数据可视化模块。

8.一种基于云日志分析的云上用户行为审计方法，其特征在于，包括如下步骤：

s1、通过基于云日志分析的云上用户行为审计系统中的数据采集模块，采用日志代理或者API方式从云平台获取用户原始日志，将用户原始日志数据写入大数据平台的分布式文件系统中；

s2、通过基于云日志分析的云上用户行为审计系统中的日志预处理模块实时消费原始日志信息或者离线读取大批量日志信息，通过日志过滤、日志解交织、操作行为识别模型操作，将识别过程及结果输出到对应的数据仓库；同时，实时处理消息中间件系统中的消息，根据预置的规则实时判断分析日志信息，并提供实时告警；

s3、根据步骤s2中输出的结果，进行数据层面的分析和处理，包括规则分析、流量分析、关联分析、行为分析、场景还原、日志追溯和资源分析，并将分析的结果直接输出到分析结构库中，提供前端业务层所需要的也无需求相关数据；

s4、根据步骤s3中的分析结果，按照相关的政策法规和用户的组织架构关系，实现相关的业务逻辑，提供给不同用户不同的展示界面、数据内容、保报表内容。