CN107622211A - 一种大数据集群权限访问控制方法及装置 - Google Patents

Abstract

本发明提供了一种大数据集群权限访问控制方法及装置，该方法包括：在数据仓库组件中开启数据访问模块；在内存计算组件中设置与所述数据访问模块对应的至少一个配置参数；为每一个访问用户设置对应的访问权限；接收外部用户发送的访问指令；根据所述访问指令、所述至少一个配置参数以及每一个所述访问用户对应的访问权限，从所述数据仓库组件对应的数据资源中调取所述访问指令对应的数据。因此，本发明提供的方案可以提高大数据集群中数据资源的安全性。

Description

一种大数据集群权限访问控制方法及装置

技术领域

本发明涉及大数据技术领域，特别涉及一种大数据集群权限访问控制方法及装置。

背景技术

随着信息时代的发展，大部分数据资源都是以大数据集群的方式出现。为了保护大数据集群中数据资源的安全，使得数据集群访问权限控制在大数据集群管理中占有重要的地位。

目前，用户在访问大数据集群时，大数据集群将用户要求的全部数据均提供给该用户。但是，提供给该用户的数据资源中，可能会存在部分数据资源为该用户没有权限访问的数据资源。从而使部分数据资源泄露给该用户。因此，现有的方式大数据集群中数据资源的安全性较低。

发明内容

本发明实施例提供了一种大数据集群权限访问控制方法及装置，可以提高大数据集群中数据资源的安全性。

第一方面，本发明实施例提供了一种大数据集群权限访问控制方法，该方法包括：

在数据仓库组件中开启数据访问模块；

在内存计算组件中设置与所述数据访问模块对应的至少一个配置参数；

为每一个访问用户设置对应的访问权限；

接收外部用户发送的访问指令；

根据所述访问指令、所述至少一个配置参数以及每一个所述访问用户对应的访问权限，从所述数据仓库组件对应的数据资源中调取所述访问指令对应的数据。

优选的，

所述数据访问模块包括LLAP模块；

所述在数据仓库组件中开启数据访问模块，包括：

在所述数据仓库组件中设置至少一个运行参数；

利用所述至少一个运行参数，控制所述LLAP模块开启。

优选的，

所述至少一个运行参数包括：队列名称、节点数、并发查询的最大个数、每一个数据访问守护进程的内存缓存大小、每一个数据访问守护进程的堆大小、调度容器运行每一个数据访问守护进程的预留内存大小、以及总内存大小中的至少一个或多个；

其中，在所述至少一个运行参数包括总内存大小时，所述总内存大小为每一个数据访问守护进程的内存缓存大小、每一个数据访问守护进程的堆大小、调度容器运行每一个数据访问守护进程的预留内存大小之和。

优选地，

所述访问指令包括：外部用户信息以及待访问数据标识信息；

所述访问权限包括：可访问数据位置信息以及操作权限；

所述根据所述访问指令、所述至少一个配置参数以及每一个所述访问用户对应的访问权限，从所述数据仓库组件对应的数据资源中调取所述访问指令对应的数据，包括：

根据所述访问指令中包括的用户信息，判断所述外部用户是否在各个所述访问用户中存在；

如果是，确定所述外部用户对应的访问权限；

则，继续判断所述访问指令中包括的待访问数据标识信息是否与所确定的访问权限中的可访问数据位置信息相匹配；

如果是，为所述外部用户开启所确定的访问权限中的操作权限，并利用所述至少一个配置参数从所述数据资源中调取所述待访问数据标识信息对应的数据。

优选地，

进一步包括：

部署统一授权策略管理的框架RANGER服务；

所述为每一个访问用户设置对应的访问权限，包括：

接收外部输入的每一个所述访问用户对应的可访问数据信息；

根据每一个所述访问用户对应的可访问数据信息，通过所述RANGER服务为每一个所述访问用户设置对应的访问权限。

优选地，

所述至少一个配置参数包括：所述数据仓库组件的标识、大数据集群zookeeper的信息以及数据访问模块所在机器身份认证标识中的至少一个或多个。

第二方面，本发明实施例提供了一种大数据集群权限访问控制装置，该装置包括：

开启单元，用于在数据仓库组件中开启数据访问模块；

参数设置单元，用于在内存计算组件中设置与所述数据访问模块对应的至少一个配置参数；

访问权限设置单元，用于为每一个访问用户设置对应的访问权限；

接收单元，用于接收外部用户发送的访问指令；

调取单元，用于根据所述接收单元接收的所述访问指令、所述参数配置单元配置的所述至少一个配置参数以及所述访问权限设置单元设置的每一个所述访问用户对应的访问权限，从所述数据仓库组件对应的数据资源中调取所述访问指令对应的数据。

优选地，

所述数据访问模块包括LLAP模块；

所述开启单元包括：设置子单元以及开启子单元；

所述设置子单元，用于在所述数据仓库组件中设置至少一个运行参数；

所述开启子单元，用于利用所述设置子单元设置的所述至少一个运行参数，控制所述LLAP模块开启。

优选地，

所述设置子单元设置的所述至少一个运行参数包括：队列名称、节点数、并发查询的最大个数、每一个数据访问守护进程的内存缓存大小、每一个数据访问守护进程的堆大小、调度容器运行每一个数据访问守护进程的预留内存大小、以及总内存大小中的至少一个或多个；

其中，在所述至少一个运行参数包括总内存大小时，所述总内存大小为每一个数据访问守护进程的内存缓存大小、每一个数据访问守护进程的堆大小、调度容器运行每一个数据访问守护进程的预留内存大小之和。

优选地，

所述访问指令包括：外部用户信息以及待访问数据标识信息；

所述访问权限包括：可访问数据位置信息以及操作权限；

所述调用单元包括：判断子单元、匹配子单元以及调用子单元；

所述判断子单元，用于根据所述访问指令中包括的用户信息，判断所述外部用户是否在各个所述访问用户中存在；如果是，确定所述外部用户对应的访问权限；

所述匹配子单元，用于判断所述访问指令中包括的待访问数据标识信息是否与所述判断子单元所确定的访问权限中的可访问数据位置信息相匹配；如果是，触发所述调用子单元；

所述调用子单元，用于在所述匹配子单元的触发下，为所述外部用户开启所确定的访问权限中的操作权限，并利用所述至少一个配置参数从所述数据资源中调取所述待访问数据标识信息对应的数据。

优选地，

进一步包括：部署单元；

所述部署单元，用于部署统一授权策略管理的框架RANGER服务；

则，所述访问权限设置单元，用于接收外部输入的每一个所述访问用户对应的可访问数据信息；根据每一个所述访问用户对应的可访问数据信息，通过所述RANGER服务为每一个访问用户设置对应的访问权限。

本发明实施例提供了一种大数据集群权限访问控制方法及装置，首先在数据仓库组件中开启数据访问模块，并在内存计算组件中设置了与数据访问模块对应的配置参数。然后为各个访问用户设置对应的访问权限。当接收到外部用户发送的访问指令时，根据接收到的访问指令、各个配置参数以及各个用户对应的访问权限，从数据仓库组件对应的数据资源中调取访问指令对应的数据。通过上述可知，本方案中由于在数据仓库组件中开启了数据访问模块，且为各个访问用户设置了对应的访问权限。因此在有外部用户对大数据集群进行访问时，只调取与访问指令对应的数据，并将所调取的数据提供给外部用户，而不是将数据仓库组件对应的数据资源均提供给外部用户。因此，本发明实施例提供的方案可以提高大数据集群中数据资源的安全性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例提供的一种大数据集群权限访问控制方法的流程图；

图2是本发明另一个实施例提供的一种大数据集群权限访问控制方法的流程图；

图3是本发明一个实施例提供的一种大数据集群权限访问控制装置所在设备的一种硬件结构图；

图4是本发明一个实施例提供的一种大数据集群权限访问控制装置的结构示意图；

图5是本发明一个实施例提供的一种包括设置子单元和开启子单元的大数据集群权限访问控制装置的结构示意图；

图6是本发明另一个实施例提供的一种大数据集群权限访问控制装置的结构示意图；

图7是本发明一个实施例提供的一种包括部署单元的大数据集群权限访问控制装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供了一种大数据集群权限访问控制方法，该方法可以包括以下步骤：

步骤101：在数据仓库组件中开启数据访问模块；

步骤102：在内存计算组件中设置与所述数据访问模块对应的至少一个配置参数；

步骤103：为每一个访问用户设置对应的访问权限；

步骤104：接收外部用户发送的访问指令；

步骤105：根据所述访问指令、所述至少一个配置参数以及每一个所述访问用户对应的访问权限，从所述数据仓库组件对应的数据资源中调取所述访问指令对应的数据。

根据图1所示的实施例，首先在数据仓库组件中开启数据访问模块，并在内存计算组件中设置了与数据访问模块对应的配置参数。然后为各个访问用户设置对应的访问权限。当接收到外部用户发送的访问指令时，根据接收到的访问指令、各个配置参数以及各个用户对应的访问权限，从数据仓库组件对应的数据资源中调取访问指令对应的数据。通过上述可知，本方案中由于在数据仓库组件中开启了数据访问模块，且为各个访问用户设置了对应的访问权限，因此在有外部用户对大数据集群进行访问时，只调取与访问指令对应的数据，并将所调取的数据提供给外部用户，而不是将数据仓库组件对应的数据资源均提供给外部用户。因此，本发明实施例提供的方案可以提高大数据集群中数据资源的安全性。

在本发明一个实施例中，数据仓库组件以及数据访问模块的具体型式可以根据业务要求确定。比如，数据仓库组件可以为Hive组件，数据访问模块为LLAP模块。

在本发明一个实施例中，内存计算组件的具体型式可以根据业务要求确定。比如，选用的内存计算组件为Spark组件。

在本发明一个实施例中，上述图1所示流程图中所涉及的数据访问模块可以包括LLAP模块；

则上述图1所示流程图中的步骤101在数据仓库组件中开启数据访问模块可以包括：

在所述数据仓库组件中设置至少一个运行参数；

利用所述至少一个运行参数，控制所述LLAP模块开启。

其中，所述至少一个运行参数包括：队列名称、节点数、并发查询的最大个数、每一个数据访问守护进程的内存缓存大小、每一个数据访问守护进程的堆大小、调度容器运行每一个数据访问守护进程的预留内存大小、以及总内存大小中的至少一个或多个；

其中，在所述至少一个运行参数包括总内存大小时，所述总内存大小为每一个数据访问守护进程的内存缓存大小、每一个数据访问守护进程的堆大小、调度容器运行每一个数据访问守护进程的预留内存大小之和。

在本实施例中，运行参数的具体型式可以根据业务要求确定，且与数据仓库组件的型式有关。

当数据仓库组件为Hive组件，且数据访问模块为LLAP模块时，设置的运行参数可以包括分配运行在Yarn上队列名称、Hive LLAP使用的节点数(该节点数默认值为1，可以根据业务要求修改为其他数值)、Hive LLAP并发查询的最大个数、每个Hive LLAP守护进程的内存缓存大小(cache size)、每一个数据访问守护进程的堆大小(heap size)、yarncontainer运行Hive LLAP守护进程的预留内存大小(headroom)以及总内存大小。其中总内存大小可以为每一个数据访问守护进程的内存缓存大小、每一个数据访问守护进程的堆大小、调度容器运行每一个数据访问守护进程的预留内存大小之和。

在本实施例中，当运行参数设置为完成后，可以利用各个运行参数控制LLAP模块开启。

根据上述实施例，在数据仓库组件中设置运行参数，并利用各个运行参数控制数据访问模块开启。以利用所开启的数据访问模块为大数据集群权限访问控制提供运行基础。

在本发明一个实施例，上述图1所示流程图中所涉及的至少一个配置参数可以包括所述数据仓库组件的标识、大数据集群zookeeper的信息以及数据访问模块所在机器身份认证标识中的至少一个或多个。

在本实施例中，配置参数的具体型式可以根据业务要求确定，且与内存计算组件的型式有关。其中当数据仓库组件为Hive组件，且数据访问模块为LLAP模块时，数据访问模块所在机器身份认证标识为Hive LLAP所在机器身份认证标识。

在本实施例中，比如在数据仓库组件为Hive组件时，且选用的内存计算组件为Spark组件时，配置参数包括的具体内容如表-1所示。

表-1

根据上述实施例，至少一个配置参数包括的具体内容可以根据业务要求选择数据仓库组件的标识、大数据集群zookeeper的信息以及数据访问模块所在机器身份认证标识中的至少一个或多个。因此业务适用性较强。

在本发明一个实施例中，每一个访问用户对应的访问权限可以包括可访问数据位置信息以及操作权限。其中，可访问数据位置信息可以包括：可访问数据所处表、可访问数据在所处表中的行、列信息、可访问数据对应的字段以及用于自定义函数UDF计算出的可访问数据对应的标识中的任意一种。操作权限可以包括读取、修改、删除中的任意一种或多种。

在本发明一个实施例，上述图1所示流程图所涉及的访问指令可以包括外部用户信息以及待访问数据标识信息；上述图1所示流程图所涉及的访问权限可以包括可访问数据位置信息以及操作权限；

则上述图1所示流程图中步骤105根据所述访问指令、所述至少一个配置参数以及每一个所述访问用户对应的访问权限，从所述数据仓库组件对应的数据资源中调取所述访问指令对应的数据可以包括：

根据所述访问指令中包括的用户信息，判断所述外部用户是否在各个所述访问用户中存在；

如果是，确定所述外部用户对应的访问权限；

则，继续判断所述访问指令中包括的待访问数据标识信息是否与所确定的访问权限中的可访问数据位置信息相匹配；

如果是，为所述外部用户开启所确定的访问权限中的操作权限，并利用所述至少一个配置参数从所述数据资源中调取所述待访问数据标识信息对应的数据。

在本实施例中，用户信息可以包括用户名以及登录密码。待访问数据标识信息可以为待访问数据对应的名称。

当接收到访问指令时，判断访问指令包括的用户名以及密码是否在预先存储的各个访问用户信息中存在。当判断出不存在时，则说明外部用户为非法用户，结束当前流程。当判断出存在时，则说明外部用户为合法用户，则在所设置的各个访问用户对应的访问权限中确定出外部用户对应的访问权限。

当确定出外部用户对应的访问权限时，为外部用户开启所确定的访问权限中的操作权限，以使外部用户可以对其访问的数据执行与操作权限对应的操作。然后利用内存计算组件中的各个配置参数从数据仓库组件对应的数据资源中调取待访问数据标识信息对应的数据，以使外部用户对所调取的数据进行访问。

根据上述实施例，通过访问指令包括的外部用户信息和待访问数据标识信息，以及访问权限包括的可访问数据位置信息和操作权限。从数据资源中调取外部用户对应的可访问数据位置信息所对应的数据，以限制外部用户仅能访问其对应的数据，因此可以提高数据集群中数据资源的安全性。

在本发明一个实施例，在大数据集群权限访问控制进一步包括部署统一授权策略管理的框架RANGER服务时，

上述图1所示流程图中步骤103为每一个访问用户设置对应的访问权限可以包括：

接收外部输入的每一个所述访问用户对应的可访问数据信息；

根据每一个所述访问用户对应的可访问数据信息，通过所述RANGER服务为每一个访问用户设置对应的访问权限。

在本实施例中，可访问数据信息可以包括访问数据位置信息以及操作权限。其中，可访问数据位置信息可以包括：可访问数据所处表、可访问数据在所处表中的行、列信息、可访问数据对应的字段以及用于自定义函数UDF计算出的可访问数据对应的标识中的任意一种。操作权限可以包括读取、修改、删除中的任意一种或多种。

根据上述实施例，根据每一个访问用户对应的可访问数据信息，通过统一授权策略管理的框架RANGER服务为每一个访问用户设置对应的访问权限。以根据各个访问用户的访问权限，限定各个访问用户的访问数据的访问范围。

下面以数据仓库组件为Hive组件、内存计算组件为Spark组件以及数据访问模块为LLAP模块为例。展开说明大数据集群权限访问控制方法，如图2所示，该大数据集群权限访问控制方法可以包括如下步骤：

步骤201：在数据仓库组件中设置至少一个运行参数。

在本步骤中，在Hive组件中设置的运行参数包括分配运行在Yarn上队列名称、Hive LLAP使用的节点数、Hive LLAP并发查询的最大个数、每个Hive LLAP守护进程的内存缓存大小、每一个数据访问守护进程的堆大小、yarn container运行Hive LLAP守护进程的预留内存大小以及总内存大小。

步骤202：利用至少一个运行参数，控制LLAP模块开启。

在本步骤中，利用步骤201中设置的各个运行参数，控制LLAP模块开启。

步骤203：在内存计算组件中设置与数据访问模块对应的至少一个配置参数。

在本步骤中，在Spark组件中配置与Hive LLAP对应的各个配置参数，其中配置参数包括的内容，如表-1所示。

步骤204：部署统一授权策略管理的框架RANGER服务。

步骤205：接收外部输入的每一个访问用户对应的可访问数据信息。

在本步骤中，比如接收到外部输入的访问用户A对应的可访问数据信息A以及访问用户B对应的可访问数据信息B。其中，可访问数据信息A中包括可访问数据位置信息A(数据表1中的第五行第五列)以及操作权限(读取)。可访问数据信息B中包括可访问数据位置信息B(数据表2)以及操作权限(读取、修改、删除)。

步骤206：根据每一个访问用户对应的可访问数据信息，通过RANGER服务为每一个访问用户设置对应的访问权限。

在本实施例中，以访问用户A为例进行说明：通过RANGER服务为访问用户A设置对应的访问权限为(可访问数据位置信息“数据表1中的第五行第五列”以及操作权限“读取”)。

步骤207：接收外部用户发送的访问指令。

在本步骤中，接收外部用户C发送的访问指令C，其中访问指令中包括用户信息(为外部用户拥有唯一标识自己身份证书的keytab文件，此keytab文件是通过大数据集群中的kerberos组件分发给外部用户的)以及待访问数据标识信息(标识C)。

步骤208：根据访问指令中包括的用户信息，判断外部用户是否在各个访问用户中存在，如果是，执行步骤209；否则，结束当前流程。

在本实施例中，根据用户信息判断外部用户在各个访问用户存在，执行步骤209。

步骤209：确定外部用户对应的访问权限。

在本步骤中，确定外部用户C对应的访问权限为(可访问数据位置信息“数据表1中的第五行第五列”以及操作权限“读取”)。

步骤210：判断访问指令中包括的待访问数据标识信息是否与所确定的访问权限中的可访问数据位置信息相匹配，如果是，执行步骤211；否则，结束当前流程。

在本步骤中，判断待访问数据标识信息(标识C)与所确定的访问权限中的可访问数据位置信息“数据表1中的第五行第五列”相匹配，执行步骤211。

步骤211：为外部用户开启所确定的访问权限中的操作权限，并利用至少一个配置参数从数据资源中调取待访问数据标识信息对应的数据。

在本步骤中，为外部用户C开启操作权限“读取”，并利用步骤203中设置的各个配置参数从Hive组件中调取“数据表1中的第五行第五列”对应的数据，以使外部用户C读取所调取的数据。

如图3、图4所示，本发明实施例提供了一种大数据集群权限访问控制装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。从硬件层面而言，如图3所示，为本发明实施例提供的大数据集群权限访问控制装置所在设备的一种硬件结构图，除了图3所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的设备通常还可以包括其他硬件，如负责处理报文的转发芯片等等。以软件实现为例，如图4所示，作为一个逻辑意义上的装置，是通过其所在设备的CPU将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。本实施例提供的大数据集群权限访问控制装置，包括：

开启单元401，用于在数据仓库组件中开启数据访问模块；

参数设置单元402，用于在内存计算组件中设置与所述数据访问模块对应的至少一个配置参数；

访问权限设置单元403，用于为每一个访问用户设置对应的访问权限；

接收单元404，用于接收外部用户发送的访问指令；

调取单元405，用于根据所述接收单元404接收的所述访问指令、所述参数配置单元402配置的所述至少一个配置参数以及所述访问权限设置单元403设置的每一个所述访问用户对应的访问权限，从所述数据仓库组件对应的数据资源中调取所述访问指令对应的数据。

根据图4所示的实施例，利用开启单元在数据仓库组件中开启数据访问模块，以及利用参数设置单元在内存计算组件中设置与数据访问模块对应的至少一个配置参数。再利用访问权限设置单元为各个访问用户设置对应的访问权限。在接收单元接收到外部用户发送的访问指令时，利用调取单元根据接收单元接收的所述访问指令、参数配置单元配置的各个配置参数以及访问权限设置单元设置的各个访问用户对应的访问权限，从数据仓库组件对应的数据资源中调取访问指令对应的数据。通过上述可知，本方案中由于在数据仓库组件中开启了数据访问模块，且为各个访问用户设置了对应的访问权限。因此在有外部用户对大数据集群进行访问时，只调取与访问指令对应的数据，并将所调取的数据提供给外部用户，而不是将数据仓库组件对应的数据资源均提供给外部用户。因此，本发明实施例提供的方案可以提高大数据集群中数据资源的安全性。

在本发明一个实施例中，如图5所示，在所述数据访问模块包括LLAP模块时，

所述开启单元401可以包括：设置子单元501以及开启子单元502；

所述设置子单元501，用于在所述数据仓库组件中设置至少一个运行参数；

所述开启子单元502，用于利用所述设置子单元501设置的所述至少一个运行参数，控制所述LLAP模块开启。

在本发明一个实施例中，所述设置子单元501设置的所述至少一个运行参数包括：队列名称、节点数、并发查询的最大个数、每一个数据访问守护进程的内存缓存大小、每一个数据访问守护进程的堆大小、调度容器运行每一个数据访问守护进程的预留内存大小、以及总内存大小中的至少一个或多个；

其中，在所述至少一个运行参数包括总内存大小时，所述总内存大小为每一个数据访问守护进程的内存缓存大小、每一个数据访问守护进程的堆大小、调度容器运行每一个数据访问守护进程的预留内存大小之和。

在本发明一个实施例中，如图6所示，所述访问指令包括：外部用户信息以及待访问数据标识信息；所述访问权限包括：可访问数据位置信息以及操作权限；

所述调用单元405可以包括判断子单元601、匹配子单元602以及调用子单元603；

所述判断子单元601，用于根据所述访问指令中包括的用户信息，判断所述外部用户是否在各个所述访问用户中存在；如果是，确定所述外部用户对应的访问权限；

所述匹配子单元602，用于判断所述访问指令中包括的待访问数据标识信息是否与所述判断子单元所确定的访问权限中的可访问数据位置信息相匹配；如果是，触发所述调用子单元603；

所述调用子单元603，用于在所述匹配子单元602的触发下，为所述外部用户开启所确定的访问权限中的操作权限，并利用所述至少一个配置参数从所述数据资源中调取所述待访问数据标识信息对应的数据。

在本发明一个实施例中，如图7所示，大数据集群权限访问控制装置可以进一步包括部署单元701；

所述部署单元701，用于部署统一授权策略管理的框架RANGER服务；

则，所述访问权限设置单元403，用于接收外部输入的每一个所述访问用户对应的可访问数据信息；根据每一个所述访问用户对应的可访问数据信息，通过所述RANGER服务为每一个访问用户设置对应的访问权限。

在本发明一个实施例提供了一种可读介质，该可读介质包括：执行指令，当存储控制器的处理器执行所述执行指令时，所述存储控制器执行上述任一项所述大数据集群权限访问控制方法。

在本发明一个实施例提供了一种存储控制器，该存储控制器包括：处理器、存储器和总线；所述存储器用于存储执行指令；所述处理器与所述存储器通过所述总线连接；当所述存储控制器运行时，所述处理器执行所述存储器存储的所述执行指令，以使所述存储控制器执行上述任一项所述大数据集群权限访问控制方法。

上述装置内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

综上所述，本发明各个实施例至少可以实现如下有益效果：

1、在本发明实施例中，首先在数据仓库组件中开启数据访问模块，并在内存计算组件中设置了与数据访问模块对应的配置参数。然后为各个访问用户设置对应的访问权限。当接收到外部用户发送的访问指令时，根据接收到的访问指令、各个配置参数以及各个用户对应的访问权限，从数据仓库组件对应的数据资源中调取访问指令对应的数据。通过上述可知，本方案中由于在数据仓库组件中开启了数据访问模块，且为各个访问用户设置了对应的访问权限。因此在有外部用户对大数据集群进行访问时，只调取与访问指令对应的数据，并将所调取的数据提供给外部用户，而不是将数据仓库组件对应的数据资源均提供给外部用户。因此，本发明实施例提供的方案可以提高大数据集群中数据资源的安全性。

2、在本发明实施例中，在数据仓库组件中设置运行参数，并利用各个运行参数控制数据访问模块开启。以利用所开启的数据访问模块为大数据集群权限访问控制提供运行基础。

3、在本发明实施例中，至少一个配置参数包括的具体内容可以根据业务要求选择数据仓库组件的标识、大数据集群zookeeper的信息以及数据访问模块所在机器身份认证标识中的至少一个或多个。因此业务适用性较强。

4、在本发明实施例中，通过访问指令包括的外部用户信息和待访问数据标识信息，以及访问权限包括的可访问数据位置信息和操作权限。从数据资源中调取外部用户对应的可访问数据位置信息所对应的数据，以限制外部用户仅能访问其对应的数据，因此可以提高大数据集群中数据资源的安全性。

5、在本发明实施例中，根据每一个访问用户对应的可访问数据信息，通过统一授权策略管理的框架RANGER服务为每一个访问用户设置对应的访问权限。以根据各个访问用户的访问权限，限定各个访问用户的访问数据的访问范围。

6、在本发明实施例中，利用开启单元在数据仓库组件中开启数据访问模块，以及利用参数设置单元在内存计算组件中设置与数据访问模块对应的至少一个配置参数。再利用访问权限设置单元为各个访问用户设置对应的访问权限。在接收单元接收到外部用户发送的访问指令时，利用调取单元根据接收单元接收的所述访问指令、参数配置单元配置的各个配置参数以及访问权限设置单元设置的各个访问用户对应的访问权限，从数据仓库组件对应的数据资源中调取访问指令对应的数据。通过上述可知，本方案中由于在数据仓库组件中开启了数据访问模块，且为各个访问用户设置了对应的访问权限。因此在有外部用户对大数据集群进行访问时，只调取与访问指令对应的数据，并将所调取的数据提供给外部用户，而不是将数据仓库组件对应的数据资源均提供给外部用户。因此，本发明实施例提供的方案可以提高大数据集群中数据资源的安全性。

需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个······”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。

最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种大数据集群权限访问控制方法，其特征在于，包括：

在数据仓库组件中开启数据访问模块；

在内存计算组件中设置与所述数据访问模块对应的至少一个配置参数；

为每一个访问用户设置对应的访问权限；

接收外部用户发送的访问指令；

根据所述访问指令、所述至少一个配置参数以及每一个所述访问用户对应的访问权限，从所述数据仓库组件对应的数据资源中调取所述访问指令对应的数据。

2.根据权利要求1所述的方法，其特征在于，

所述数据访问模块包括低延迟分析处理LLAP模块；

所述在数据仓库组件中开启数据访问模块，包括：

在所述数据仓库组件中设置至少一个运行参数；

利用所述至少一个运行参数，控制所述LLAP模块开启。

3.根据权利要求2所述的方法，其特征在于，

所述至少一个运行参数包括：队列名称、节点数、并发查询的最大个数、每一个数据访问守护进程的内存缓存大小、每一个数据访问守护进程的堆大小、调度容器运行每一个数据访问守护进程的预留内存大小、以及总内存大小中的至少一个或多个；

其中，在所述至少一个运行参数包括总内存大小时，所述总内存大小为每一个数据访问守护进程的内存缓存大小、每一个数据访问守护进程的堆大小、调度容器运行每一个数据访问守护进程的预留内存大小之和。

4.根据权利要求1所述的方法，其特征在于，

所述访问指令包括：外部用户信息以及待访问数据标识信息；

所述访问权限包括：可访问数据位置信息以及操作权限；

所述根据所述访问指令、所述至少一个配置参数以及每一个所述访问用户对应的访问权限，从所述数据仓库组件对应的数据资源中调取所述访问指令对应的数据，包括：

根据所述访问指令中包括的用户信息，判断所述外部用户是否在各个所述访问用户中存在；

如果是，确定所述外部用户对应的访问权限；

则，继续判断所述访问指令中包括的待访问数据标识信息是否与所确定的访问权限中的可访问数据位置信息相匹配；

如果是，为所述外部用户开启所确定的访问权限中的操作权限，并利用所述至少一个配置参数从所述数据资源中调取所述待访问数据标识信息对应的数据。

5.根据权利要求1至4任一所述的方法，其特征在于，

进一步包括：

部署统一授权策略管理的框架RANGER服务；

所述为每一个访问用户设置对应的访问权限，包括：

接收外部输入的每一个所述访问用户对应的可访问数据信息；

根据每一个所述访问用户对应的可访问数据信息，通过所述RANGER服务为每一个所述访问用户设置对应的访问权限；

和/或，

所述至少一个配置参数包括：所述数据仓库组件的标识、大数据集群zookeeper的信息以及数据访问模块所在机器身份认证标识中的至少一个或多个。

6.一种大数据集群权限访问控制装置，其特征在于，包括：

开启单元，用于在数据仓库组件中开启数据访问模块；

参数设置单元，用于在内存计算组件中设置与所述数据访问模块对应的至少一个配置参数；

访问权限设置单元，用于为每一个访问用户设置对应的访问权限；

接收单元，用于接收外部用户发送的访问指令；

调取单元，用于根据所述接收单元接收的所述访问指令、所述参数配置单元配置的所述至少一个配置参数以及所述访问权限设置单元设置的每一个所述访问用户对应的访问权限，从所述数据仓库组件对应的数据资源中调取所述访问指令对应的数据。

7.根据权利要求6所述的装置，其特征在于，

所述数据访问模块包括LLAP模块；

所述开启单元包括：设置子单元以及开启子单元；

所述设置子单元，用于在所述数据仓库组件中设置至少一个运行参数；

所述开启子单元，用于利用所述设置子单元设置的所述至少一个运行参数，控制所述LLAP模块开启。

8.根据权利要求7所述的装置，其特征在于，

所述设置子单元设置的所述至少一个运行参数包括：队列名称、节点数、并发查询的最大个数、每一个数据访问守护进程的内存缓存大小、每一个数据访问守护进程的堆大小、调度容器运行每一个数据访问守护进程的预留内存大小、以及总内存大小中的至少一个或多个；

其中，在所述至少一个运行参数包括总内存大小时，所述总内存大小为每一个数据访问守护进程的内存缓存大小、每一个数据访问守护进程的堆大小、调度容器运行每一个数据访问守护进程的预留内存大小之和。

9.根据权利要求6所述的装置，其特征在于，

所述访问指令包括：外部用户信息以及待访问数据标识信息；

所述访问权限包括：可访问数据位置信息以及操作权限；

所述调用单元包括：判断子单元、匹配子单元以及调用子单元；

所述判断子单元，用于根据所述访问指令中包括的用户信息，判断所述外部用户是否在各个所述访问用户中存在；如果是，确定所述外部用户对应的访问权限；

所述匹配子单元，用于判断所述访问指令中包括的待访问数据标识信息是否与所述判断子单元所确定的访问权限中的可访问数据位置信息相匹配；如果是，触发所述调用子单元；

所述调用子单元，用于在所述匹配子单元的触发下，为所述外部用户开启所确定的访问权限中的操作权限，并利用所述至少一个配置参数从所述数据资源中调取所述待访问数据标识信息对应的数据。

10.根据权利要求6至9任一所述的装置，其特征在于，

进一步包括：部署单元；

所述部署单元，用于部署统一授权策略管理的框架RANGER服务；

则，所述访问权限设置单元，用于接收外部输入的每一个所述访问用户对应的可访问数据信息；根据每一个所述访问用户对应的可访问数据信息，通过所述RANGER服务为每一个访问用户设置对应的访问权限。