CN109902497A - 一种面向大数据集群的访问权限管理方法及系统 - Google Patents

Abstract

本发明属于数据处理技术领域，公开了一种面向大数据集群的访问权限管理方法及系统，包括提供访问权限管理系统、用户同步组件、权限控制插件及其相应控制逻辑；安装在大数据集群所属机器上的用户信息同步组件将会定期将用户及用户组信息发送至访问权限管理系统；系统管理员针对每种大数据集群自定义相应的权限策略，将读、写、查、执行等各种权限赋予相应的用户或用户组；安装在大数据集群上的权限控制插件自动同步对应的权限策略；权限控制插件会在用户访问大数据集群时对其进行鉴权，根据已定义的权限策略进行控制用户的访问权限。本发明通过采用严谨的权限策略逻辑，达到了大数据集群访问权限控制的目的。

Description

一种面向大数据集群的访问权限管理方法及系统

技术领域

本发明属于数据处理技术领域，尤其涉及一种面向大数据集群的访问权限管理方法及系统。

背景技术

目前，业内常用访问控制列表ACL技术来实现，ACL具有一定的优点，比如表述直观、易于理解，比较容易查出对某一特定资源拥有访问权限的所有用户，有效地实施授权管理。但是也存在一些弊端，首先如果资源很多，ACL需要设定大量的表项，而且修改起来比较困难，实现整个组织范围内一致的控制政策也比较困难；其次，单纯使用ACL，不易实现最小权限原则及复杂的安全政策；另外，欠缺审计方面的功能，对资源被访问的记录没有形成审计。

大数据技术的发展和应用已经非常普遍，并且对国家的治理模式、社会的组织结构、企业的决策架构、商业的业务策略以及个人的生活方式均产生了深远的影响。

但随着大数据技术广泛应用于个领域的同时，也带来了潜在的安全风险。由于大数据的数据集中、数据量大、数据价值大等特点，一旦数据被非法访问、泄露甚至破坏，造成的损失将十分巨大。建设一套能够为大数据的使用保驾护航的安全系统是必要的。

综上所述，现有技术存在的问题是：

(1)现有技术中，没有以权限策略为单元，没有以一个完整的策略树来实现严谨的权限控制逻辑，从而导致不能有效地对大数据集群的访问权限进行控制。

(2)在对众多大数据组件进行权限管理时，所需设定大量表项难以维护，且在访问权限控制的粒度上不够精细。

(3)缺乏一个有效的审计机制，当用户访问大数据资源时，没有办法实时地记录相关操作信息及系统给予的反馈信息，形成了日志缺失。

解决上述技术问题的难度：

需要针对所需要权限控制的大数据组件进行插件开发，因为每个组件的资源类型不同，权限类型也不同，需要有各自的定制化。但由于定制化，才能实现各组件的细粒度权限控制。

解决上述技术问题意义：

本发明以权限策略为单元，以一个完整的策略树来实现严谨的权限控制逻辑，这样可以规避由于逻辑不严谨而导致的系统漏洞。针对权限策略，需提取共性，制定相应数据库表，便于管理和维护。

本发明的系统提供审计功能，审计信息来源于用户操作组件时所触发的审计信息收集器，它将组件被访问的时间、访问用户、资源、结果、来源等信息发送至系统主服务，存入审计库中。审计信息可以反应出很多的安全攻击行为，比如登录错误，异常访问等。审计功能会成为在事故发生后查明事故原因的一个很好的信息来源。

发明内容

针对现有技术存在的问题，本发明提供了一种面向大数据集群的访问权限管理方法及系统。本发明其实现方式是以权限策略为单元，策略的实施是以一个完整的策略树来实现严谨的权限控制逻辑，从而有效地对大数据集群的访问权限进行控制。

本发明是这样实现的，一种面向大数据集群的访问权限管理方法，包括：

安装在大数据集群所属机器上的用户信息同步组件定期将用户及用户组信息发送至访问权限管理系统；

权限管理系统针对每种大数据集群自定义相应的权限策略，将读、写、查、执行各种权限赋予相应的用户或用户组；

安装在大数据集群上的权限控制插件自动同步对应的权限策略；

权限控制插件在用户访问大数据集群时对大数据集群进行鉴权，根据已定义的权限策略进行控制用户的访问权限。

进一步，所述面向大数据集群的访问权限管理方法具体包括：

步骤一：提供访问权限管理系统，提供一个可供操作的管理界面，并提供一个完整的RESTful API用于同步组件和各插件的访问；

步骤二：系统提供用户信息同步组件，并安装在各台需要控制的主机上，用户信息同步组件将获取各主机的用户和用户组信息，并上报给管理服务器，以应用于后续的权限策略定义；

步骤三：将权限控制插件安装至大数据集群相关节点中，大数据各集群在权限控制接口的逻辑嵌入至各集群的执行流程中；

步骤四：判断用户是否有对应的访问权限。

进一步，步骤四具体包括：

第一步：登录管理系统操作界面，在用户管理模块查看和管理从各主机同步过来的用户和用户组信息；

第二步：通过操作界面建立与大数据各集群相对应的服务，在服务管理页中编辑各种安全策略，所述安全策略保存在数据库中，然后权限控制插件定时通过RESTful API获取最新的策略，并保存至插件安装的主机文件系统中；一条安全策略包含访问的资源及其访问条件；

第三步：访问的资源取决于各大数据集群类型；包括HDFS为路径，HBase为库、表、字段，Kafka为Topic；

第四步：访问条件包含用户、用户组、权限类型；其中用户及用户组来源于第一步；权限类型取决于各大数据集群类型，HDFS集群提供的权限为读、写、执行，HBase集群提供的权限为读、写、创建、管理员；

第五步：访问条件分为允许条件、允许例外条件、拒绝条件、拒绝例外条件；用户请求某个大数据集群，权限插件将查找匹配的权限策略，并遍历这些策略，以统一的判断流程执行，最终判断用户是否有对应的访问权限。

进一步，第五步具体包括：

步骤a：判断是否匹配拒绝条件，若用户的访问行为在已定义的拒绝条件中的，则进入步骤b，反之，则进入步骤c；

步骤b：判断是否匹配拒绝例外条件，若用户的访问行为是在已定义的拒绝例外条件中的，则进入步骤c，反之，则拒绝用户访问；

步骤c：判断是否匹配允许条件，若用户的访问行为是在已定义的允许条件中的，则进入步骤d，反之，则拒绝用户访问；

步骤d：判断是否匹配允许例外条件，若用户的访问行为是在已定义的允许例外条件中的，则拒绝用户访问，反之，则允许用户访问.

本发明的另一目的在于提供一种实现所述面向大数据集群的访问权限管理方法的计算机程序。

本发明的另一目的在于提供一种实现所述面向大数据集群的访问权限管理方法的信息数据处理终端。

本发明的另一目的在于提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如所述的面向大数据集群的访问权限管理方法。

本发明的另一目的在于提供一种实现所述面向大数据集群的访问权限管理方法的面向大数据集群的访问权限管理系统，所述面向大数据集群的访问权限管理系统包括提供访问权限管理系统、用户同步组件、权限控制插件；

安装在大数据集群所属机器上的用户信息同步组件定期将用户及用户组信息发送至访问权限管理系统；

访问权限管理系统针对每种大数据集群自定义相应的权限策略，将读、写、查、执行各种权限赋予相应的用户或用户组；

安装在大数据集群上的权限控制插件自动同步对应的权限策略；

权限控制插件在用户访问大数据集群时进行鉴权，根据定义的权限策略进行控制用户的访问权限。

本发明的另一目的在于提供一种商业的业务策略平台，所述商业的业务策略平台至少搭载所述的面向大数据集群的访问权限管理系统。

本发明的另一目的在于提供一种企业的决策架构平台，所述企业的决策架构平台至少搭载所述的面向大数据集群的访问权限管理系统。

综上所述，本发明的优点及积极效果为：

可以针对大数据集群内的组件进行自定义插件，在以权限为单位、完整策略树为控制逻辑，实现各组件的细粒度权限控制。相比于传统ACL技术，有细粒度上的优势，且易于管理和维护。而在权限控制的同时，又可以实现操作记录的信息保存，达到审计的目的，这也是传统ACL所不具备的能力。

本发明安装在大数据集群所属机器上的用户信息同步组件将会定期将用户及用户组信息发送至访问权限管理系统；系统管理员针对每种大数据集群自定义相应的权限策略，将读、写、查、执行等各种权限赋予相应的用户或用户组；安装在大数据集群上的权限控制插件自动同步对应的权限策略；权限控制插件会在用户访问大数据集群时对其进行鉴权，根据已定义的权限策略进行控制用户的访问权限。本发明通过采用严谨的权限策略逻辑，达到了大数据集群访问权限控制的目的。

附图说明

图1是本发明实施例提供的面向大数据集群的访问权限管理系统示意图；

图2是本发明实施例提供的面向大数据集群的访问权限管理方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

现有技术中，没有以权限策略为单元，没有以一个完整的策略树来实现严谨的权限控制逻辑，从而导致不能有效地对大数据集群的访问权限进行控制。

为解决上述问题，下面结合具体方案对本发明作详细描述。

如图1所示，本发明实施例提供面向大数据集群的访问权限管理系统，包括提供访问权限管理系统、用户同步组件、权限控制插件及其相应控制逻辑。其中，安装在大数据集群所属机器上的用户信息同步组件将会定期将用户及用户组信息发送至访问权限管理系统；系统管理员针对每种大数据集群自定义相应的权限策略，将读、写、查、执行等各种权限赋予相应的用户或用户组；安装在大数据集群上的权限控制插件自动同步对应的权限策略；权限控制插件会在用户访问大数据集群时对其进行鉴权，根据已定义的权限策略进行控制用户的访问权限。

如图2，本发明实施例提供的面向大数据集群的访问权限管理方法包括以下步骤：

步骤1：提供访问权限管理系统，系统提供一个可供操作的管理界面，并提供一个完整的RESTful API用于同步组件和各插件的访问。

步骤2：系统提供用户信息同步组件，并安装在各台需要控制的主机上，用户信息同步组件将获取各主机的用户和用户组信息，并上报给管理服务器，以应用于后续的权限策略定义。

步骤3：将权限控制插件安装至大数据集群相关节点中，插件程序中实现了大数据各集群在权限控制接口的逻辑，嵌入至各集群的执行流程中。

步骤4：判断用户是否有对应的访问权限。

步骤4中，具体包括：

步骤4.1：管理员登录管理系统操作界面，可在用户管理模块查看和管理从各主机同步过来的用户和用户组信息。

步骤4.2：可通过操作界面建立与大数据各集群相对应的服务，在服务管理页中可编辑各种安全策略，这些安全策略将会保存在数据库中，然后权限控制插件将定时通过RESTful API获取最新的策略，并保存至插件安装的主机文件系统中。一条安全策略基本包含访问的资源及其访问条件。

步骤4.3：访问的资源取决于各大数据集群类型，如HDFS为路径，HBase为库、表、字段，Kafka为Topic等。

步骤4.4：访问条件包含用户、用户组、权限类型三种元素。其中用户及用户组来源于步骤4.1所述；权限类型取决于各大数据集群类型，如HDFS集群提供的权限为读、写、执行，HBase集群提供的权限为读、写、创建、管理员等。

步骤4.5：访问条件可分为允许条件、允许例外条件、拒绝条件、拒绝例外条件等4个子条件，首先用户请求某个大数据集群，以Hive集群为例，权限插件将会查找匹配的权限策略，并遍历这些策略，以统一的判断流程执行，最终判断用户是否有对应的访问权限。

步骤4.5具体包括：

步骤4.5.1：判断是否匹配拒绝条件，若用户的访问行为是在已定义的拒绝条件中的，则进入步骤4.5.2，反之，则进入步骤4.5.3；

步骤4.5.2：判断是否匹配拒绝例外条件，若用户的访问行为是在已定义的拒绝例外条件中的，则进入步骤4.5.3，反之，则拒绝用户访问；

步骤4.5.3：判断是否匹配允许条件，若用户的访问行为是在已定义的允许条件中的，则进入步骤4.5.4，反之，则拒绝用户访问；

步骤4.5.4：判断是否匹配允许例外条件，若用户的访问行为是在已定义的允许例外条件中的，则拒绝用户访问，反之，则允许用户访问。

本发明以用户访问HDFS为例，我们针对它设定一个权限策略，如用户A对于/TEST这个文件路径的访问权限为只能读取，不能写入。我们可以在允许条件中配置用户A、路径/TEST、权限只勾选“READ”选项。权限生效后，通过终端命令验证用户A可以正常读取到/TEST路径的文件内容，而当通过用户A去修改/TEST路径下文件内容时，系统报错，提示没有相关权限。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种面向大数据集群的访问权限管理方法，其特征在于，所述面向大数据集群的访问权限管理方法包括：

安装在大数据集群所属机器上的用户信息同步组件定期将用户及用户组信息发送至访问权限管理系统；

权限管理系统针对每种大数据集群自定义相应的权限策略，将读、写、查、执行各种权限赋予相应的用户或用户组；

安装在大数据集群上的权限控制插件自动同步对应的权限策略；

权限控制插件在用户访问大数据集群时对大数据集群进行鉴权，根据已定义的权限策略进行控制用户的访问权限。

2.如权利要求1所述的面向大数据集群的访问权限管理方法，其特征在于，所述面向大数据集群的访问权限管理方法具体包括：

步骤一：提供访问权限管理系统，提供一个可供操作的管理界面，并提供一个完整的RESTful API用于同步组件和各插件的访问；

步骤二：系统提供用户信息同步组件，并安装在各台需要控制的主机上，用户信息同步组件将获取各主机的用户和用户组信息，并上报给管理服务器，以应用于后续的权限策略定义；

步骤三：将权限控制插件安装至大数据集群相关节点中，大数据各集群在权限控制接口的逻辑嵌入至各集群的执行流程中；

步骤四：判断用户是否有对应的访问权限。

3.如权利要求2所述的面向大数据集群的访问权限管理方法，其特征在于，步骤四具体包括：

第一步：登录管理系统操作界面，在用户管理模块查看和管理从各主机同步过来的用户和用户组信息；

第二步：通过操作界面建立与大数据各集群相对应的服务，在服务管理页中编辑各种安全策略，所述安全策略保存在数据库中，然后权限控制插件定时通过RESTful API获取最新的策略，并保存至插件安装的主机文件系统中；一条安全策略包含访问的资源及其访问条件；

第三步：访问的资源取决于各大数据集群类型；包括HDFS为路径，HBase为库、表、字段，Kafka为Topic；

第四步：访问条件包含用户、用户组、权限类型；其中用户及用户组来源于第一步；权限类型取决于各大数据集群类型，HDFS集群提供的权限为读、写、执行，HBase集群提供的权限为读、写、创建、管理员；

第五步：访问条件分为允许条件、允许例外条件、拒绝条件、拒绝例外条件；用户请求某个大数据集群，权限插件将查找匹配的权限策略，并遍历这些策略，以统一的判断流程执行，最终判断用户是否有对应的访问权限。

4.如权利要求3所述的面向大数据集群的访问权限管理方法，其特征在于，

第五步具体包括：

步骤a：判断是否匹配拒绝条件，若用户的访问行为在已定义的拒绝条件中的，则进入步骤b，反之，则进入步骤c；

步骤b：判断是否匹配拒绝例外条件，若用户的访问行为是在已定义的拒绝例外条件中的，则进入步骤c，反之，则拒绝用户访问；

步骤c：判断是否匹配允许条件，若用户的访问行为是在已定义的允许条件中的，则进入步骤d，反之，则拒绝用户访问；

步骤d：判断是否匹配允许例外条件，若用户的访问行为是在已定义的允许例外条件中的，则拒绝用户访问，反之，则允许用户访问。

5.一种实现权利要求1～4任意一项所述面向大数据集群的访问权限管理方法的计算机程序。

6.一种实现权利要求1～4任意一项所述面向大数据集群的访问权限管理方法的信息数据处理终端。

7.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-4任意一项所述的面向大数据集群的访问权限管理方法。

8.一种实现权利要求1～4任意一项所述面向大数据集群的访问权限管理方法的面向大数据集群的访问权限管理系统，其特征在于，所述面向大数据集群的访问权限管理系统包括提供访问权限管理系统、用户同步组件、权限控制插件；

安装在大数据集群所属机器上的用户信息同步组件定期将用户及用户组信息发送至访问权限管理系统；

访问权限管理系统针对每种大数据集群自定义相应的权限策略，将读、写、查、执行各种权限赋予相应的用户或用户组；

安装在大数据集群上的权限控制插件自动同步对应的权限策略；

权限控制插件在用户访问大数据集群时进行鉴权，根据定义的权限策略进行控制用户的访问权限。

9.一种商业的业务策略平台，其特征在于，所述商业的业务策略平台至少搭载权利要求8所述的面向大数据集群的访问权限管理系统。

10.一种企业的决策架构平台，其特征在于，所述企业的决策架构平台至少搭载权利要求8所述的面向大数据集群的访问权限管理系统。