CN109063439A - 一种用于Spark SQL的用户权限控制方法和系统 - Google Patents

Abstract

本发明公开了一种用于Spark SQL的用户权限控制方法和系统，该方法包括：预先建立用于对各目标数据库的相应分权控制权限信息进行汇总和持久化的权限管理中心；各Spark SQL引擎获取权限管理中心中所有数据库的全量权限信息；获取用户输入的SQL语句，并摘取该SQL语句的权限元素；将权限元素和全量权限信息进行比对，判断当前用户是否有执行当前SQL语句的权限；返回权限判断结果。通过对各目标数据库进行不同维度的分权控制，各Spark SQL引擎在获取用户输入的语句时，判断其是否具有执行该语句的权限，当多用户协同开发时，每个用户被赋予的权限不同，各自只能在自身所被赋予的权限内操作，实现了更细粒度的按需的保证用户各自数据的安全。

Description

一种用于Spark SQL的用户权限控制方法和系统

技术领域

本发明涉及大数据领域，特别是涉及一种用于Spark SQL的用户权限控制方法和系统。

背景技术

Spark技术是大数据技术中公认的最有发展、使用最多的一门技术，是当前各行各业相推动和依赖的技术。

Spark作为一个通用引擎，能够用来完成各种各样的运算，其中包括SQL查询、文本处理和机器学习等。在很多行业中，大量数据分析人员每天运行数以万计的Spark SQL任务作为数据分析和业务决策。而Spark SQL本身是支持认证的，即需要使用Spark SQL的使用者，需要通过用户名和密码的方式进行登录才能正常使用，但是当多用户协同开发时，每个用户的权限相同，不能保证各自的数据安全。

因此，如何在用户使用Spark SQL时，保证用户自身的数据安全是本领域技术人员目前需要解决的技术问题。

发明内容

本发明的目的是提供一种用于Spark SQL的用户权限控制方法和系统，可以在用户使用Spark SQL时，保证用户自身的数据安全。

为解决上述技术问题，本发明提供了如下技术方案：

一种用于Spark SQL的用户权限控制方法，包括：

预先建立用于对各目标数据库的相应分权控制权限信息进行汇总和持久化的权限管理中心；

各Spark SQL引擎获取所述权限管理中心中所有数据库的全量权限信息；

获取用户输入的SQL语句，并摘取该SQL语句的权限元素；

将所述权限元素和所述全量权限信息进行比对，判断当前用户是否有执行当前SQL语句的权限；

返回权限判断结果。

优选地，所述获取用户输入的SQL语句，并摘取该SQL语句的权限元素，包括：

获取用户输入的SQL语句；

根据预设的SQL语法定义进行语法解析，生成语法树；

摘取所述语法树中需要进行权限控制的元素作为该SQL语句的权限元素。

优选地，所述预先建立用于对各目标数据库的相应分权控制权限信息进行汇总和持久化的权限管理中心，包括：

预先对各目标数据库按照库、表、列进行维度分级，其中，库级为最大的授权单元，列级为最小的授权单位；

建立用于响应预设授权用户操作进行权限按级配置的权限管理页面，所述权限管理页面包括和预设的目标数据库的各级授权单元一一对应映射的权限配置单元；

建立所述权限管理中心，通过所述权限管理中心对所述权限管理页面配置的所有目标数据库的各自对应的分级的权限信息进行汇总和持久化。

优选地，还包括：

获取目标群体的用户的属性信息；

根据所述属性信息以及预设的属性信息特征对所述目标群体的用户进行角色分类；

通过所述权限管理页面对角色分类得到的角色进行一一对应映射；

将相应的目标数据库的对应级别的授权单元的操作权限赋予对应的角色。

优选地，在各Spark SQL引擎获取所述权限管理中心中所有数据库的全量权限信息的同时，还包括：

以版本号的形式将所述全量权限信息在本地进行缓存，以通过所述版本号来判断本地当前所缓存的所述全量权限信息是否需要更新。

一种用于Spark SQL的用户权限控制系统，包括：

权限管理中心建立模块，用于预先建立用于对各目标数据库的相应分权控制权限信息进行汇总和持久化的权限管理中心；

获取模块，各Spark SQL引擎通过所述获取模块获取所述权限管理中心中所有数据库的全量权限信息；

摘取模块，用于获取用户输入的SQL语句，并摘取该SQL语句的权限元素；

判断模块，用于将所述权限元素和所述全量权限信息进行比对，判断当前用户是否有执行当前SQL语句的权限；

结果返回模块，用于返回权限判断结果。

优选地，所述摘取模块包括：

第一获取单元，用于获取用户输入的SQL语句；

解析单元，用于根据预设的SQL语法定义进行语法解析，生成语法树；

摘取单元，用于摘取所述语法树中需要进行权限控制的元素作为该SQL语句的权限元素。

优选地，所述权限管理中心建立模块包括：

分级单元，用于预先对各目标数据库按照库、表、列进行维度分级，其中，库级为最大的授权单元，列级为最小的授权单位；

权限管理页面单元，用于建立用于响应预设授权用户操作进行权限按级配置的权限管理页面，所述权限管理页面包括和预设的目标数据库的各级授权单元一一对应映射的权限配置单元；

权限管理中心建立单元，用于建立所述权限管理中心，通过所述权限管理中心对所述权限管理页面配置的所有目标数据库的各自对应的分级的权限信息进行汇总和持久化。

优选地，还包括：

第二获取单元，用于获取目标群体的用户的属性信息；

角色分类单元，用于根据所述属性信息以及预设的属性信息特征对所述目标群体的用户进行角色分类；

映射单元，用于通过所述权限管理页面对角色分类得到的角色进行一一对应映射；

角色赋权单元，用于将相应的目标数据库的对应级别的授权单元的操作权限赋予对应的角色。

优选地，还包括：

本地缓存模块，用于以版本号的形式将所述全量权限信息在本地进行缓存，以通过所述版本号来判断本地当前所缓存的所述全量权限信息是否需要更新。

与现有技术相比，上述技术方案具有以下优点：

本发明实施例所提供的一种用于Spark SQL的用户权限控制方法，包括：预先建立用于对各目标数据库的相应分权控制权限信息进行汇总和持久化的权限管理中心；各Spark SQL引擎获取权限管理中心中所有数据库的全量权限信息；获取用户输入的SQL语句，并摘取该SQL语句的权限元素；将权限元素和全量权限信息进行比对，判断当前用户是否有执行当前SQL语句的权限；返回权限判断结果。通过建立权限管理中心对各目标数据库进行不同维度的分权控制，并对分权控制的权限信息进行汇总和持久化，各Spark SQL引擎在获取用户输入的语句时，判断该用户是否具有执行该语句的权限，这样，用户在登录正常使用时，也会根据自身被授予的分权控制权限进行权限内的操作；当多用户协同开发时，每个用户被赋予的权限不同，各自只能在自身所被赋予的权限内进行操作，从而实现了更细粒度的，按需的保证用户各自数据的安全。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种具体实施方式所提供的用于Spark SQL的用户权限控制方法流程图；

图2为本发明一种具体实施方式所提供的用于Spark SQL的用户权限控制系统示意图。

具体实施方式

本发明的核心是提供一种用于Spark SQL的用户权限控制方法和系统，可以在用户使用Spark SQL时，保证用户自身的数据安全。

为了使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

在以下描述中阐述了具体细节以便于充分理解本发明。但是本发明能够以多种不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广。因此本发明不受下面公开的具体实施的限制。

请参考图1，图1为本发明一种具体实施方式所提供的用于Spark SQL的用户权限控制方法流程图。

本发明的一种具体实施方式提供了一种用于Spark SQL的用户权限控制方法，包括：

S11：预先建立用于对各目标数据库的相应分权控制权限信息进行汇总和持久化的权限管理中心。

在本发明的一种实施方式中，预先建立用于对各目标数据库的相应分权控制权限信息进行汇总和持久化的权限管理中心，包括：预先对各目标数据库按照库、表、列进行维度分级，其中，库级为最大的授权单元，列级为最小的授权单位；建立用于响应预设授权用户操作进行权限按级配置的权限管理页面，权限管理页面包括和预设的目标数据库的各级授权单元一一对应映射的权限配置单元；建立权限管理中心，通过权限管理中心对权限管理页面配置的所有目标数据库的各自对应的分级的权限信息进行汇总和持久化。

在本实施方式中，优选基于库级、表级和列级的不同维度的分权控制，以库级作为最大的授权单元，库级的授权对象-即管理员，该管理员可以将库中的任意资源按需授权给其他用户，其中，在管理员未授权的时候，默认除却管理员之外的其他任意用户是没有权限调用或处理库中的资源的。以列级作为最小的授权单元，管理员不仅能够对表进行授权，还能对表中的列数据继续授权。从而实现了分权控制，即可以按照库-表-列的不同维度，按照不同的级别对资源对不同的用户进行授权，这样用户的权限更加细粒度化。

进一步地，本实施方式通过权限管理页面的形式进行权限的增删改查，便于直观地对Spark SQL的访问权限进行管理。

S12：各Spark SQL引擎获取权限管理中心中所有数据库的全量权限信息。

S13：获取用户输入的SQL语句，并摘取该SQL语句的权限元素。

S14：将权限元素和全量权限信息进行比对，判断当前用户是否有执行当前SQL语句的权限。

S15：返回权限判断结果。

通过建立权限管理中心对各目标数据库进行不同维度的分权控制，并对分权控制的权限信息进行汇总和持久化，各Spark SQL引擎在获取用户输入的语句时，判断该用户是否具有执行该语句的权限，这样，用户在登录正常使用时，也会根据自身被授予的分权控制权限进行权限内的操作；当多用户协同开发时，由于权限控制更加细粒度化，每个用户被赋予的权限不同，各自只能在自身所被赋予的权限内进行操作，从而实现了更细粒度的，按需的权限配置，保证了用户各自数据的安全。

在本发明的一种实施方式中，获取用户输入的SQL语句，并摘取该SQL语句的权限元素，包括：获取用户输入的SQL语句；根据预设的SQL语法定义进行语法解析，生成语法树；摘取语法树中需要进行权限控制的元素作为该SQL语句的权限元素。

在本实施方式中，Spark SQL引擎可通过Antlr工具预先定义好SQL的语法；当Spark SQL引擎接收到用户输入的SQL语句后，对该SQL语句进行语法解析，生成语法树；并摘取该语法树中需要进行权限控制的元素，包括但不限于输入表、输出表以及Select、Insert、Alter、Drop等语法关键字。

通过对SQL语句进行解析并生成语法树，进一步摘取需要进行权限控制的元素，便于后续对输入该SQL语句的用户的权限的判断，尤其是可以判断出该权限元素对应的维度级别，从而判断出该用户对当前需要进行操作的级别的授权单元是否具有权限。

进一步地，在本发明一种实施方式中，用于Spark SQL的用户权限控制方法还包括：获取目标群体的用户的属性信息；根据属性信息以及预设的属性信息特征对目标群体的用户进行角色分类；通过权限管理页面对角色分类得到的角色进行一一对应映射；将相应的目标数据库的对应级别的授权单元的操作权限赋予对应的角色。

在本实施方式中，为了方便为用户进行权限分配，将具有相同特征的用户分类成一种角色，通过对角色进行权限配置，大大降低了批量进行权限管理的管理成本。

在本发明的一种实施方式中，在各Spark SQL引擎获取权限管理中心中所有数据库的全量权限信息的同时，还包括：以版本号的形式将全量权限信息在本地进行缓存，以通过版本号来判断本地当前所缓存的全量权限信息是否需要更新。

在本实施方式中，各Spark SQL引擎调用权限管理中心的API(应用程序编程接口)，获取所有库的全量权限信息，以版本号的形式将全量权限信息在本地进行缓存。这样，在将权限元素和全量权限信息进行比对时，只需将目标权限元素和本地缓存的相应权限信息进行比对即可。在本地利用版本号进行权限信息缓存，既能满足权限同步的需求，又降低了权限同步的成本。

请参考图2，图2为本发明一种具体实施方式所提供的用于Spark SQL的用户权限控制系统示意图。

相应地，本发明一种实施方式还提供了一种用于Spark SQL的用户权限控制系统，包括：权限管理中心建立模块21，用于预先建立用于对各目标数据库的相应分权控制权限信息进行汇总和持久化的权限管理中心；获取模块22，各Spark SQL引擎通过获取模块获取权限管理中心中所有数据库的全量权限信息；摘取模块23，用于获取用户输入的SQL语句，并摘取该SQL语句的权限元素；判断模块24，用于将权限元素和全量权限信息进行比对，判断当前用户是否有执行当前SQL语句的权限；结果返回模块25，用于返回权限判断结果。

通过建立权限管理中心对各目标数据库进行不同维度的分权控制，并对分权控制的权限信息进行汇总和持久化，各Spark SQL引擎在获取用户输入的语句时，判断该用户是否具有执行该语句的权限，这样，用户在登录正常使用时，也会根据自身被授予的分权控制权限进行权限内的操作；当多用户协同开发时，由于权限控制更加细粒度化，每个用户被赋予的权限不同，各自只能在自身所被赋予的权限内进行操作，从而实现了更细粒度的，按需的权限配置，保证了用户各自数据的安全。

进一步地，摘取模块包括：第一获取单元，用于获取用户输入的SQL语句；解析单元，用于根据预设的SQL语法定义进行语法解析，生成语法树；摘取单元，用于摘取语法树中需要进行权限控制的元素作为该SQL语句的权限元素。

通过对SQL语句进行解析并生成语法树，进一步摘取需要进行权限控制的元素，便于后续对输入该SQL语句的用户的权限的判断，尤其是可以判断出该权限元素对应的维度级别，从而判断出该用户对当前需要进行操作的级别的授权单元是否具有权限。

在本发明的一种实施方式中，权限管理中心建立模块包括：分级单元，用于预先对各目标数据库按照库、表、列进行维度分级，其中，库级为最大的授权单元，列级为最小的授权单位；权限管理页面单元，用于建立用于响应预设授权用户操作进行权限按级配置的权限管理页面，权限管理页面包括和预设的目标数据库的各级授权单元一一对应映射的权限配置单元；权限管理中心建立单元，用于建立权限管理中心，通过权限管理中心对权限管理页面配置的所有目标数据库的各自对应的分级的权限信息进行汇总和持久化。

在本实施方式中，优选基于库级、表级和列级的不同维度的分权控制，以库级作为最大的授权单元，库级的授权对象-即管理员，该管理员可以将库中的任意资源按需授权给其他用户，其中，在管理员未授权的时候，默认除却管理员之外的其他任意用户是没有权限调用或处理库中的资源的。以列级作为最小的授权单元，管理员不仅能够对表进行授权，还能对表中的列数据继续授权。从而实现了分权控制，即可以按照库-表-列的不同维度，按照不同的级别对资源对不同的用户进行授权，这样用户的权限更加细粒度化。通过权限管理页面的形式进行权限的增删改查，便于直观地对Spark SQL的访问权限进行管理。

在本发明的一种实施方式中，该系统还包括：第二获取单元，用于获取目标群体的用户的属性信息；角色分类单元，用于根据属性信息以及预设的属性信息特征对目标群体的用户进行角色分类；映射单元，用于通过权限管理页面对角色分类得到的角色进行一一对应映射；角色赋权单元，用于将相应的目标数据库的对应级别的授权单元的操作权限赋予对应的角色。

在本实施方式中，为了方便为用户进行权限分配，将具有相同特征的用户分类成一种角色，通过对角色进行权限配置，大大降低了批量进行权限管理的管理成本。

在本发明的一种实施方式中，该系统还包括：本地缓存模块，用于以版本号的形式将全量权限信息在本地进行缓存，以通过版本号来判断本地当前所缓存的全量权限信息是否需要更新。

在本实施方式中，各Spark SQL引擎调用权限管理中心的API(应用程序编程接口)，获取所有库的全量权限信息，以版本号的形式将全量权限信息在本地进行缓存。这样，在将权限元素和全量权限信息进行比对时，只需将目标权限元素和本地缓存的相应权限信息进行比对即可。在本地利用版本号进行权限信息缓存，既能满足权限同步的需求，又降低了权限同步的成本。

综上所述，本发明实施方式所提供的用于Spark SQL的用户权限控制方法和系统，实现了基于库级、表级、列级的不同维度的分权控制，还能实现基于Select、Insert、Alter、Drop等语法级别的分权控制；而其权限管理页面的设置实现了直观地对Spark SQL访问权限的管理；而基于角色的授权，可以降低批量权限管理的管理成本；而在本地利用版本号进行权限信息缓存，既能满足权限同步的需求，又降低了权限同步的成本。从而可以在用户使用Spark SQL时，保证用户自身的数据安全。

以上对本发明所提供的一种用于Spark SQL的用户权限控制方法和系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种用于Spark SQL的用户权限控制方法，其特征在于，包括：

预先建立用于对各目标数据库的相应分权控制权限信息进行汇总和持久化的权限管理中心；

各Spark SQL引擎获取所述权限管理中心中所有数据库的全量权限信息；

获取用户输入的SQL语句，并摘取该SQL语句的权限元素；

将所述权限元素和所述全量权限信息进行比对，判断当前用户是否有执行当前SQL语句的权限；

返回权限判断结果。

2.根据权利要求1所述的方法，其特征在于，所述获取用户输入的SQL语句，并摘取该SQL语句的权限元素，包括：

获取用户输入的SQL语句；

根据预设的SQL语法定义进行语法解析，生成语法树；

摘取所述语法树中需要进行权限控制的元素作为该SQL语句的权限元素。

3.根据权利要求1或2所述的方法，其特征在于，所述预先建立用于对各目标数据库的相应分权控制权限信息进行汇总和持久化的权限管理中心，包括：

预先对各目标数据库按照库、表、列进行维度分级，其中，库级为最大的授权单元，列级为最小的授权单位；

建立用于响应预设授权用户操作进行权限按级配置的权限管理页面，所述权限管理页面包括和预设的目标数据库的各级授权单元一一对应映射的权限配置单元；

建立所述权限管理中心，通过所述权限管理中心对所述权限管理页面配置的所有目标数据库的各自对应的分级的权限信息进行汇总和持久化。

4.根据权利要求3所述的方法，其特征在于，还包括：

获取目标群体的用户的属性信息；

根据所述属性信息以及预设的属性信息特征对所述目标群体的用户进行角色分类；

通过所述权限管理页面对角色分类得到的角色进行一一对应映射；

将相应的目标数据库的对应级别的授权单元的操作权限赋予对应的角色。

5.根据权利要求4所述的方法，其特征在于，在各Spark SQL引擎获取所述权限管理中心中所有数据库的全量权限信息的同时，还包括：

以版本号的形式将所述全量权限信息在本地进行缓存，以通过所述版本号来判断本地当前所缓存的所述全量权限信息是否需要更新。

6.一种用于Spark SQL的用户权限控制系统，其特征在于，包括：

权限管理中心建立模块，用于预先建立用于对各目标数据库的相应分权控制权限信息进行汇总和持久化的权限管理中心；

获取模块，各Spark SQL引擎通过所述获取模块获取所述权限管理中心中所有数据库的全量权限信息；

摘取模块，用于获取用户输入的SQL语句，并摘取该SQL语句的权限元素；

判断模块，用于将所述权限元素和所述全量权限信息进行比对，判断当前用户是否有执行当前SQL语句的权限；

结果返回模块，用于返回权限判断结果。

7.根据权利要求6所述的系统，其特征在于，所述摘取模块包括：

第一获取单元，用于获取用户输入的SQL语句；

解析单元，用于根据预设的SQL语法定义进行语法解析，生成语法树；

摘取单元，用于摘取所述语法树中需要进行权限控制的元素作为该SQL语句的权限元素。

8.根据权利要求6或7所述的系统，其特征在于，所述权限管理中心建立模块包括：

分级单元，用于预先对各目标数据库按照库、表、列进行维度分级，其中，库级为最大的授权单元，列级为最小的授权单位；

权限管理页面单元，用于建立用于响应预设授权用户操作进行权限按级配置的权限管理页面，所述权限管理页面包括和预设的目标数据库的各级授权单元一一对应映射的权限配置单元；

权限管理中心建立单元，用于建立所述权限管理中心，通过所述权限管理中心对所述权限管理页面配置的所有目标数据库的各自对应的分级的权限信息进行汇总和持久化。

9.根据权利要求8所述的系统，其特征在于，还包括：

第二获取单元，用于获取目标群体的用户的属性信息；

角色分类单元，用于根据所述属性信息以及预设的属性信息特征对所述目标群体的用户进行角色分类；

映射单元，用于通过所述权限管理页面对角色分类得到的角色进行一一对应映射；

角色赋权单元，用于将相应的目标数据库的对应级别的授权单元的操作权限赋予对应的角色。

10.根据权利要求9所述的系统，其特征在于，还包括：

本地缓存模块，用于以版本号的形式将所述全量权限信息在本地进行缓存，以通过所述版本号来判断本地当前所缓存的所述全量权限信息是否需要更新。