CN108021458A - 一种基于消息触发的多租户审计索引方法 - Google Patents

Abstract

一种基于消息触发的多租户审计索引方法，步骤包括S301：云平台API服务加载审计事件过滤器；S302：所述云平台API服务将用户请求数据发送给所述审计事件过滤器；S303：所述审计事件过滤器将所述用户请求数据发送到分布式消息队列；S304：审计数据处理模块对所述分布式消息队列中的消息数据进行处理并存储到数据库；所述审计事件过滤器采用插件式结构。本申请的有益效果是：通过审计事件过滤器和分布式消息队列组合，提高了整个系统的稳定性、伸缩性，从而可支持上千节点的大规模云环境；审计事件过滤器插件式设计，支持自定义插件，提高了可扩展性，减少了网络压力。

Description

一种基于消息触发的多租户审计索引方法

技术领域

本申请属于云计算技术领域，具体地说，涉及一种基于消息触发的多租户审计索引方法。

背景技术

云计算是继大型计算机、个人计算机、互联网之后，IT产业的第四次革命。云计算秉承“按需服务”的理念。云计算将IT相关的能力以服务的方式提供给用户。允许用户在不了解提供服务的技术、没有相关知识以及设备操作能力的情况下，通过互联网获取需要服务。

通俗的理解，所谓云计算，就是要建立信息的公共电厂。它意味着计算能力也可以作为一种商品进行流通。像电一样，取用方便，费用低廉，无论企业还是消费者，只需要买其他人提供的服务，而不需要自己去“发电”。在云时代，不卖“计算机”，卖“计算”了；不卖“存储器”，卖“存储”了；不卖“服务器”，卖“服务”了。几乎所有的IT资源都可以作为云服务来提供，例如应用程序、计算能力、存储容量、联网、编程工具以及通信服务和协作工具。

狭义的云计算，关注IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需的资源，如硬件、软件以及平台。另一方面，广义的云计算则是指强调服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需的服务。这种服务可以是IT和软件、互联网相关的，也可以是任意其他的服务。

多租户技术(multi-tenancy technology)又称多重租赁技术，是一种软件架构技术，它是在探讨与实现如何于多用户的环境下共用相同的系统或程序组件，并且仍可确保各用户间数据的隔离性。

多租户是目前云计算平台的基本属性之一。在多租户云计算环境下，云平台管理员或者用户需要记录查询租户对于云资源的操作请求以及请求结果的操作记录，供快速查询、审计和回溯使用。另外随着云平台租户数量以及云平台资源规模的增加，相应的操作记录数据量也会急剧增大，这样就会导致审计结果的查询索引时间变长。

现有的多租户审计方法通常是：云服务直接将审计日志数据发送给审计服务，审计服务处理数据后存储到数据库，这样的方法可能会存在如下缺陷：

1)云服务服务将没有经过处理及过滤的数据直接发送给审计服务，在大规模环境下会增加网络以及审计服务处理数据的压力；

2)云服务通过API接口发送数据给审计服务，扩展性不如分布式消息队列处理，并且可能会造成数据丢失；

3)没有提供多维度查询索引API供用户快速方便使用；

4)不支持插件式审计事件过滤，审计服务没有模块化，扩展性、伸缩性差。

中国发明专利“基于云计算的安全审计系统及方法”(申请号CN201110391615.8)，该发明公开了一种基于云计算的安全审计系统及方法，它包括若干个客户端，用于获取监控目标的当前数据，并对其进行处理后上传至云审计中心；若干个云审计中心，用于对所述监控数据进行审计和处理，并响应监控终端指令；若干个监控终端，用于查看各监控目标状态，统一监控管理所述云审计中心及监控目标，下达远程遥控指令，接受报警信息。虽然该发明可以快速有效地定位非法数据源并采取相应安全措施，但是其中所采用的审计方法仍基于传统方法，不同于本专利申请中提出的多租户插件式审计方法。

中国发明专利“提供能力访问策略的方法、服务器和系统”(申请号CN201210404826.5)，该发明提供了一种提供能力访问策略的方法、服务器和系统，通过利用多租户技术，可有效对用户终端进行身份认证，提高了系统的安全性，并可为不同租户提供不同的能力访问策略。该发明主要关注云主机系统的安全性，并没有涉及到本专利申请中云计算环境的多租户审计索引技术。

中国发明专利“云数据安全的一个有效的多写入者模型公共审计方法”(申请号CN201310110638.6)，该发明提供了一种云数据安全的一个有效的多写入者模型公共审计方法，属于云计算安全技术领域。虽然该发明能独立于数据拥有者的数量，减轻云服务器的负担，同时还享有公开审计和隐私保护功能，但并没有涉及到本专利申请中云计算环境的多租户审计索引技术。

中国发明专利“面向Hive平台的用户行为审计系统及方法”(申请号CN201510327975.X)，该发明提供了面向Hive平台的用户行为审计系统及方法。虽然该审计系统和审计方法能够有效全面地监控用户对Hive平台的访问行为，通过灵活的审计分析，帮助管理员和审计员评估Hive平台整体的安全状态，但是该发明主要关注于Hive数据分析平台，并没有考虑到本发明专利中云计算环境。

中国发明专利“一种基于多租户技术的需求响应系统及方法”(申请号CN201710003920.2)，该发明提供了一种基于多租户技术的需求响应系统及方法，包括将电能供应商、能源服务商等需求响应实施单位作为软件系统的租户，每个租户下辖多个电力用户；本申请提出的系统和方法支持多用户操作，且不同租户和用电用户间存在级联关系，可实现多个租户数据进行需求响应潜力、需求响应效果评估等数据分析，从而有效避免地址复用和资源的浪费。该发明实现了电网中不同租户数据需求响应潜力的分析和需求响应效果的评估，但没有涉及到本专利申请中云计算环境的多租户审计索引技术。

发明内容

有鉴于此，本申请所要解决的技术问题是提供了一种基于消息触发的多租户审计索引方法，通过分布式消息队列发送接收审计数据，利用ElasticSearch数据库存储审计数据，不仅实现了云计算平台中云资源记录的实时审计，还实现了审计数据的索引存储以及审计数据所有字段的快速查询索引。

为了解决上述技术问题，本申请公开了一种基于消息触发的多租户审计索引方法，并采用以下技术方案来实现。

一种基于消息触发的多租户审计索引方法，步骤包括：

S301：云平台API服务加载审计事件过滤器；

S302：所述云平台API服务将用户请求数据发送给所述审计事件过滤器；

S303：所述审计事件过滤器将所述用户请求数据发送到分布式消息队列；

S304：审计数据处理模块对所述分布式消息队列中的消息数据进行处理并存储到数据库。

进一步的，所述步骤S302具体为：当用户登入/登出云平台时，以及对云计算、云存储、镜像以及其他云平台资源进行创建、删除、修改等操作时，云平台API服务接收用户请求数据，将用户API请求数据发送给审计事件过滤器。

进一步的，所述步骤S302和所述步骤S303之间还包括：

S303a：所述审计事件过滤器将所述用户请求数据转换成标准的CADF JSON格式数据。

具体的，所述步骤S304中，所述审计数据处理模块对所述分布式消息队列中数据进行的处理包括：

a：监听所述分布式消息队列获取消息数据；

b：将所述消息数据格式化成统一的数据格式。

进一步的，所述步骤S304中，所述审计数据处理模块将所述消息数据存储到数据库具体为：通过存储API接口将格式化后的消息数据存入ElasticSearch数据库中。

进一步的，所述基于消息触发的多租户审计索引方法，还包括：

S305：通过审计API服务模块对所述数据库中的所述消息数据进行多维度查询和/或索引。

进一步的，所述审计API服务模块通过标准REST API接口实现对所述消息数据的查询和/或索引。

一种基于消息触发的多租户审计索引系统，包括若干云平台API服务，每个所述云平台API服务内部均包含审计事件过滤器；所述审计索引系统还包括：能够暂存消息数据的分布式消息队列、用于进行消息触发以及对所述消息数据进行处理并存储至数据库的审计数据处理模块以及用于存储所述消息数据的数据库。

进一步的，所述审计事件过滤器采用插件式结构。

进一步的，所述基于消息触发的多租户审计索引系统，还包括用于对所述数据库中消息数据进行查询和/或索引的审计API服务模块。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述审计索引方法的步骤。

与现有技术相比，本申请可以获得包括以下技术效果：通过审计事件过滤器和分布式消息队列组合，提高了整个系统的稳定性、伸缩性，从而可支持上千节点的大规模云环境；审计事件过滤器插件式设计，支持自定义插件，提高了可扩展性，减少了网络压力；使用ElasticSearch数据库作后端存储，可以实现大规模云环境下的年度级别审计数据存储及查询；通过继承ElasticSearch索引API，以及多租户全文检索的能力，可实现审计API服务的多维度快速查询；审计服务组件模块化设计，各个模块之间松耦合，支持大规模扩展。

当然，实施本申请的任一产品必不一定需要同时达到以上所述的所有技术效果。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本申请一个实施例的审计索引模块结构框图。

图2是本申请一个实施例的审计数据处理模块的结构框图。

图3是本申请一个实施例的审计索引方法流程图。

具体实施方式

以下将配合附图及实施例来详细说明本申请的实施方式，藉此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。

如图1所示，基于消息触发的多租户审计索引系统，包括若干云平台API服务，如云平台API服务1，…，云平台API服务n。每个云平台API服务模块内都包含审计事件过滤器。基于消息触发的多租户审计索引系统还包括分布式消息队列、审计数据处理模块、审计API服务模块和ElasticSearch数据库。云平台API服务应用户请求加载审计事件过滤器，并将信息传输给分布式消息队列。审计数据处理模块与分布式消息队列通信连接，实时监视分布式消息队列中的消息情况，并采集消息进行处理。审计数据处理模块将处理后的消息数据通过自身的API接口传输给ElasticSearch数据库。审计API服务模块与ElasticSearch数据库通信连接，对ElasticSearch数据库内的数据进行查询。每个模块均松耦合，通过TCP/IP相互通信。

审计事件过滤器设计为插件式结构，支持多种插件过滤方式，例如API请求过滤方式、操作类型过滤方式等。为支持计算、网络、存储等多个服务组件，云平台审计系统需要多个云平台API服务。每个云平台API服务则通过配置文件加载审计事件过滤器，当用户登入/登出云平台时，以及对云计算、云存储、镜像以及其他云平台资源进行创建、删除、修改等操作时，审计事件过滤器会处理用户请求数据，并将用户请求数据处理成标准CADF JSON格式审计数据，然后发送到分布式消息队列。

审计数据处理模块负责监听分布式消息队列的消息、格式化审计数以及将格式化数据存储至ElasticSearch数据库。审计数据处理模块又可分为3个子部分：消息队列监听子模块、格式化子模块和存储子模块，如图2所示。其中，消息队列监听子模块用于监听和审计事件过滤器通信连接的分布式消息队列。当用户发出任何API请求后，消息队列监听子模块可以实时获取审计事件过滤器所发送出来的审计消息；审计消息再经过格式化子模块处理成统一的数据格式；然后存储子模块通过封装后的存储API接口将最后的审计数据存入ElasticSearch数据库中。

审计API服务模块则提供标准的REST API接口，不仅可以实现对审计数据的多维度查询索引，如资源类型、资源名称或ID、操作类型、操作结果、用户ID、租户ID、审计时间范围，而且还支持审计数据的模糊匹配。

基于消息触发的多租户审计索引方法的工作流程是：在用户调用云平台API请求的过程中，审计事件过滤器将API请求数据结构化成标准的JSON格式数据，然后发送到分布式消息队列，审计服务模块通过监听对应的消息队列，获取实时的审计数据，统一处理后存储到ElasticSearch数据存储后端，通过API调用触发消息的方式，可以支持所有的云平台API调用，且能保证审计数据的实时性。管理员或者用户通过调用统一的API接口，实现审计数据的实时快速查询检索。

具体流程如图3所示，一种基于消息触发的多租户审计索引方法，步骤包括：

S301：云平台API服务通过配置文件加载审计事件过滤器；审计事件过滤器多插件支持；

S302：当用户登入/登出云平台时，以及对云计算、云存储、镜像以及其他云平台资源进行创建、删除、修改等操作时，云平台API服务接收用户请求数据，将用户API请求数据发送给审计事件过滤器；

S303：审计数据从云服务API通过分布式消息队列发送出去；具体为审计事件过滤器将用户API请求数据转换成标准的CADF JSON格式数据，然后发送到分布式消息队列；

S304a：审计数据处理模块中消息队列监听子模块通过监听分布式消息队列的方式，即本发明所提的消息触发方式主动触发监听子模块，从而实时获取审计事件过滤器所发送出来的审计消息；

S304b：审计消息再经过审计数据处理模块中格式化子模块处理数据成统一的数据格式；

S304c：审计数据处理模块中存储子模块通过封装后的存储API接口将最后的审计数据存入ElasticSearch数据库中；

S305：用户可以通过审计API服务模块所提供的标准REST API接口，实现对审计数据的多维度查询和/或索引。

一般情况下，索引是对名词即文献、文章的目录的查找；查询是对动词即某一方面的内容进行查找和咨询。但本申请的“查询”和“索引”不限于以上解释，而是泛指一切从数据库中对消息数据进行调用的行为。

本申请的有益效果是：通过审计事件过滤器以及分布式消息队列组合，提高了整个系统的稳定性、伸缩性，从而可支持上千节点的大规模云环境；审计事件过滤器插件式设计，支持自定义插件，提高了可扩展性，减少了网络压力；使用ElasticSearch数据库作后端存储，可以实现大规模云环境下的年度级别审计数据存储及查询；通过继承ElasticSearch索引API，以及多租户全文检索的能力，可实现审计API服务的多维度快速查询；审计服务组件模块化设计，各个模块之间松耦合，支持大规模扩展。

以上对本申请实施例所提供的一种基于消息触发的多租户审计索引方法，进行了详细介绍。以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，不同机构可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语，故应解释成“包含但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求所界定者为准。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

上述说明示出并描述了本申请的若干优选实施例，但如前所述，应当理解本申请并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明创造构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本申请的精神和范围，则都应在本申请所附权利要求的保护范围内。

Claims (10)

1.一种基于消息触发的多租户审计索引方法，步骤包括：

S301：云平台API服务加载审计事件过滤器；

S302：所述云平台API服务将用户请求数据发送给所述审计事件过滤器；

S303：所述审计事件过滤器将所述用户请求数据发送到分布式消息队列；

S304：审计数据处理模块对所述分布式消息队列中的消息数据进行处理并存储到数据库。

2.根据权利要求1所述基于消息触发的多租户审计索引方法，其特征在于：所述步骤S302具体为：当用户登入/登出云平台时，以及对云平台资源进行操作时，云平台API服务接收用户请求数据，将用户API请求数据发送给审计事件过滤器。

3.根据权利要求1所述基于消息触发的多租户审计索引方法，其特征在于：所述步骤S302和所述步骤S303之间还包括：

S303a：所述审计事件过滤器将所述用户请求数据转换成标准的CADF JSON格式数据。

4.根据权利要求1-3任一所述基于消息触发的多租户审计索引方法，其特征在于：所述步骤S304中，所述审计数据处理模块对所述分布式消息队列中数据进行的处理包括：

a：监听所述分布式消息队列获取消息数据；

b：将所述消息数据格式化成统一的数据格式。

5.根据权利要求4所述基于消息触发的多租户审计索引方法，其特征在于：所述步骤S304中，所述审计数据处理模块将所述消息数据存储到数据库具体为：通过存储API接口将格式化后的消息数据存入ElasticSearch数据库中。

6.根据权利要求1-3、5任一所述基于消息触发的多租户审计索引方法，其特征在于：还包括：

S305：通过审计API服务模块对所述数据库中的所述消息数据进行多维度查询和/或索引。

7.根据权利要求6所述基于消息触发的多租户审计索引方法，其特征在于：所述审计API服务模块通过标准REST API接口实现对所述消息数据的查询和/或索引。

8.一种基于消息触发的多租户审计索引系统，包括若干云平台API服务，其特征在于：每个所述云平台API服务内部均包含审计事件过滤器；所述审计索引系统还包括：能够暂存消息数据的分布式消息队列、用于进行消息触发以及对所述消息数据进行处理并存储至数据库的审计数据处理模块以及用于存储所述消息数据的数据库；优选的，所述审计事件过滤器采用插件式结构。

9.根据权利要求8所述基于消息触发的多租户审计索引系统，其特征在于：还包括用于对所述数据库中消息数据进行查询和/或索引的审计API服务模块。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-3、5、7任一所述方法的步骤。