CN109726535A - 一种用于大数据平台的数据权限管理的方法和系统 - Google Patents

Abstract

本发明公开了一种用于大数据平台的数据权限管理的方法和装置。一种用于鉴定任务的权限的方法，包括：(1)鉴定所述任务是否能够对所述任务涉及的库进行所述任务中与所述库对应的操作的类型，并且如果鉴定通过则返回鉴定成功，否则进入步骤(2)；(2)鉴定所述任务是否能够对所述任务涉及的表进行所述任务中与所述表对应的操作的类型，并且如果鉴定通过则返回鉴定成功，否则进入步骤(3)；(3)鉴定所述任务是否能够对所述任务涉及的字段进行所述任务中与所述字段对应的操作的类型，并且如果鉴定通过则返回鉴定成功，否则返回鉴定失败。

Description

一种用于大数据平台的数据权限管理的方法和系统

技术领域

本发明涉及大数据平台，特别地涉及一种用于大数据平台的数据权限管理的方法和系统。

背景技术

学术界和工业界提出了多种大数据处理工具。例如分布式计算框架Hadoop、数据仓库工具Hive等。然而，这些大数据工具也带来了安全控制的问题。例如，难于保证用户的数据安全，并且也难于保证部门之间和部门之内的各个开发人员或者运维人员的权限的正当性或准确性。数据开发人员会提交各种类型的作业需要分析数据，作业访问各个库/表时可能会导致跨部门的库、表的读取和写入问题。因此，需要一种细致的权限控制装置来统一负责大数据平台上的数据/作业的访问。

发明内容

本发明的实施例能够实现精确到字段级别的权限控制，能同时支持库、表、字段的权限管理。本发明的实施例也允许租户配置多个库，从而可以进行跨库的权限的验证。

根据本发明的一个方面，一种用于鉴定任务的权限的方法可以包括：(1)鉴定所述任务是否能够对所述任务涉及的库进行所述任务中与所述库对应的操作的类型，并且如果鉴定通过则返回鉴定成功，否则进入步骤(2)；(2)鉴定所述任务是否能够对所述任务涉及的表进行所述任务中与所述表对应的操作的类型，并且如果鉴定通过则返回鉴定成功，否则进入步骤(3)；(3)鉴定所述任务是否能够对所述任务涉及的字段进行所述任务中与所述字段对应的操作的类型，并且如果鉴定通过则返回鉴定成功，否则返回鉴定失败。

所述方法还包括：鉴定所述任务是否能够对所述任务涉及的函数进行调用，并且如果鉴定未通过则返回鉴定失败。

所述方法还包括：在所述步骤(1)之前，解析所述任务，以获得所述任务涉及的所述库、所述表和所述字段。

所述方法还包括：获取提交所述任务的用户的用户信息，其中所述用户信息在所述步骤(1)、(2)和(3)中的至少之一的鉴定操作中被使用。

所述方法还包括：根据所述用户信息，获取该用户已申请且被批准的权限，其中，与所获取的权限的信息在所述步骤(1)、(2)和/或(3)中的所述鉴定操作中使用。

在所述步骤(1)、(2)和/或(3)中的所述鉴定操作中，如果所述任务对所述任务所涉及的所述库、表或字段进行的对应的操作的类型包含在所述所获取的权限的范围之内，则鉴定通过。

所述解析操作根据预定规则修正所述任务涉及的所述库、表、字段及其对应的操作的类型。

所述方法还包括：由提交所述任务的用户申请其所需要的权限。

所述方法还包括：审核所述用户申请的所述权限，并且如果所述权限被批准则存储所述权限。

所述方法还包括：形成与所述任务相关联的鉴权请求，所述鉴权请求包含所述任务涉及的库、表、字段以及对应的操作的类型；并且校验所述鉴权请求的合法性。

根据本发明的一个方面一种用于申请权限的方法可以包括：选择库、表、字段以及与所述库、表和字段分别对应的操作的类型，以形成权限信息；并且存储该权限信息。

所述选择操作可以包括：先选择库，然后在所述库内的表中进行选择，并且所述表被选择后，在所述表的字段内进行选择。

所述方法还包括：选择函数，以使得所述权限信息包括所述函数的信息。

根据本发明的一个方面，一种用于对任务进行鉴权的系统可以包括：解析模块，其用于解析所述任务，以形成所述任务的鉴权请求；以及鉴权模块，其能够执行以下操作：(1)鉴定所述鉴权请求所涉及的库以及所述鉴权请求中与所述库对应的操作的类型，并且如果鉴定通过则返回鉴定成功，否则进入步骤(2)；(2)鉴定所述鉴权请求所涉及的表以及所述鉴权请求中与所述表对应的操作的类型，并且如果鉴定通过则返回鉴定成功，否则进入步骤(3)；(3)鉴定所述鉴权请求所涉及的字段以及所述鉴权请求中与所述字段对应的操作的类型，并且如果鉴定通过则返回鉴定成功，否则返回鉴定失败。

所述鉴权模块还能够执行以下操作：鉴定所述鉴权请求所涉及的函数，并且如果鉴定未通过则返回鉴定失败。

所述解析模块还能够：根据预定规则修正所述任务涉及的库、表、字段及其对应的操作的类型，以形成所述鉴权请求。

所述鉴权模块还能够：获取提交所述任务的用户的用户信息，其中所述用户信息在所述步骤(1)、(2)和(3)中的至少之一的鉴定操作中被使用。

所述鉴权模块还能够：根据所述用户信息，获取该用户已申请且被批准的权限，其中，与所获取的权限的信息在所述步骤(1)、(2)和/或(3)中的所述鉴定操作中使用。

在所述步骤(1)、(2)和/或(3)中的所述鉴定操作中，如果所述任务对所述任务所涉及的所述库、表或字段进行的对应的操作的类型包含在所述所获取的权限的范围之内，则鉴定通过。

所述解析模块还能够：根据预定规则修正所述任务涉及的所述库、表、字段及其对应的操作的类型，以形成所述鉴权请求。

所述鉴权模块还能够：校验所述鉴权请求的合法性。

根据本发明的一个方面，一种用于申请权限的系统可以包括：用于选择库、表、字段以及与所述库、表和字段分别对应的操作的类型，以形成权限信息的模块；和用于存储该权限信息的模块。

所述用于选择库、表、字段以及与所述库、表和字段分别对应的操作的类型，以形成权限信息的模块能够操作来先选择库，然后在所述库内的表中进行选择，并且所述表被选择后，在所述表的字段内进行选择。

所述系统还包括：用于选择函数，以使得所述权限信息包括所述函数的信息的模块。

根据本发明的一个方面，一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令被计算机执行时能够执行如上所述任意之一所述的方法。

在本公开中提出的根据库、表、字段粒度进行权限的管理和控制可以更精细地保证数据的安全。

附图说明

图1示出了根据本发明的实施例的大数据平台上的数据权限管理系统的架构图。

具体实施方式

现在将参照若干示例性实施例来论述本发明的内容。应当理解，论述了这些实施例仅是为了使得本领域普通技术人员能够更好地理解且因此实现本发明的内容，而不是暗示对本发明的范围的任何限制。

如本文中所使用的，术语“包括”及其变体要被解读为意味着“包括但不限于”的开放式术语。术语“基于”要被解读为“至少部分地基于”。术语“一个实施例”和“一种实施例”要被解读为“至少一个实施例”。术语“另一个实施例”要被解读为“至少一个其他实施例”。在本公开中，术语“作业”等同于术语“任务”。

如图1所示，本发明的一个实施例的系统架构包括四个部分：用户层、调度层、鉴权层和任务管理层。下面依次介绍各个部分：

·用户层：用户可以在用户层编写任务(例如SQL任务)并发送到调度层。每个用户具有能唯一标识该用户的用户信息(例如系统随机生成的字符串或用户自己选择的用户名称)。在用户层，用户还可以申请权限。在本申请中，权限体现为用户的任务可以操作的资源、可以采取的操作的类型、可以调用的函数等。例如，默认用户具备在自己工作空间(例如用户的操作界面)内操作所绑定的库的所有权限；然而，当用户需要对其他库进行操作时，用户可以向本系统申请权限，管理员可以对申请进行审核。例如，当一个用户在其操作界面申请一个库级别的包含所有类型的操作的权限时，权限管理系统的管理员对用户的申请进行审核。如果在审核中管理员同意了该申请(即批准了该申请)，则该用户拥有了所述库下所有资源及所有类型的操作(包括增加、删除、修改、查询等操作)的权限。如果在审核中管理员拒绝了该条申请，则该用户不具备相应的权限。可以以图形用户界面的方式来允许用户选择权限。例如在申请权限时选择了库，界面可以以下拉框的方式来列出该库下的表，以允许用户选择表和对应的操作的类型。用户选择一张表之后，界面会显示出该表的字段，以允许用户根据自己的需求选择相应的字段并选择一种或多种类型的操作。此外，用户的任务可能需要调用函数来对数据进行操作。除了系统提供的函数之外，用户还可以自定义函数。如果用户已自定义一个函数，则将该函数注册到本发明的实施例的元数据系统中。在本发明的实施例中，元数据系统可以存储用户申请并被批准的权限信息(包括但不限于用户申请的要操作的资源、操作类型、函数等)，还可以存储大数据平台涉及的数据源或数据库的信息(例如数据库的表、字段信息等数据库本身的元数据)。用户所自定义的函数既可以包括临时函数，又可以包括永久的函数。因此，也有必要控制函数的权限。若用户在SQL语句中使用到了一个函数，却没有使用该函数的权限，就会鉴权失败。·调度层：调度层接收用户层发来的任务，并将该用户的用户信息和该任务分发到与该用户的大数据集群相对应的鉴权层。

·鉴权层：鉴权层包括任务预解析模块和鉴权中心。鉴权层可以接收来自调度层传来的用户信息和任务，并将任务交给任务预解析模块进行解析。任务预解析模块可以根据不同类型的任务中的语句解析出该任务所涉及库、表、字段以及操作类型等信息。任务预解析模块将解析任务所得到的信息以及用户信息传送给鉴权中心。当鉴权结果为鉴权成功时，鉴权层会将任务发送给任务管理层。当鉴权结果为鉴权失败时，将鉴权结果返回给用户层。下面将对任务预解析模块和鉴权中心的功能和操作进行更详细的描述。

·任务管理层：针对鉴权成功的任务，将其交给大数据集群中的计算引擎以执行所述任务。

在本发明中，任务预解析模块可以利用已存在的预解析技术，例如Calcite技术(有关Calcite的技术可访问https://calcite.apache.org/)。根据本发明的一个实施例，任务预解析模块可以启动语法分析器，根据相关语言的通用语法分析过程，对SQL语言或其他语言构成的任务进行语法分析。结合语法分析，任务预解析模块还可以连接元数据系统并从中取得相关数据库的元数据信息(例如相关库、表、字段信息)以及函数的信息，以配合前述语法分析，最终获得该任务要操作的资源(例如，库、表、字段)和/或函数，以及与资源对应的操作类型。在本发明的实施例中，对某些特殊的操作类型设定预定的规则，并利用从元数据系统中取得的信息，能够对直接从语法分析中获得的该操作要涉及的资源的信息进行修正。所述修正例如是超越直接从语法分析中获得的资源之外，而扩展到该操作实际会影响的所有资源。例如对于INSERT操作，除了体现在SQL语句中的表的字段外，实际上该表的所有字段都会被影响，因此INSERT操作实际要操作的资源是该表的所有字段。

当用户选择的操作类型在语法上直接需要操作某几个字段进行操作时，但由于没有所有字段的权限，则鉴权也会失败；这是因为当需要对一个字段中插入某些数据时，可能会对其他字段内的数据产生影响(例如，造成其他字段内的数据不正确)，因此必须获得所有字段的权限才能进行INSERT操作。在另外一些场合下，根据预定规则，对任务所要操作的资源的修正也可能改变或缩小直接从语法分析中获得的资源。在另外一些场合下，根据预定规则，修正任务所涉及的资源的操作的类型(例如如果一种操作必然要触发另一种操作，则增加对另一种操作的权限的请求)。

根据本发明的实施例，鉴权层的任务预解析模块针对用户编写的任务(例如SQL任务)进行预解析。例如对于SQL任务，任务预解析模块根据任务中的SQL语句解析出该任务所涉及的库、表、字段以及操作类型等信息。例如对于SQL任务一“INSERTINTO TABLE BSELECT*FROM A”，则任务预解析模块会解析出此条SQL任务(只包括一个SQL语句)的操作类型信息和表的信息：此条SQL语句涉及A表和B表，其中，A表的操作类型为SELECT，而B表的操作类型INSERT。又例如，假设SQL任务二为“SELECT id,name FROM DB1.A”(在DB1库的A表中针对id、name字段进行选择操作)。此时任务预解析的结果为：SQL任务的操作类型为SELECT，其包含的任务操作资源包括库DB1，A表以及id和name字段，该SQL任务中不包括函数。还例如，如前所述，对于SQL任务三“INSERT INTO B.student SELECT FROMA.student”，其中的语句INSERT不仅需要操作B表的student字段，实际上还需要具有操作B表的其他字段的权限。

任务预解析模块将该用户的用户信息以及通过解析获得的与权限有关的信息封装成一个鉴权请求，并将该鉴权请求发送至鉴权中心。或者，可以在代表鉴权请求的数据包中只封装与权限有关的信息，同时将该数据包和用户信息一起发送给鉴权中心。

鉴权中心可以存储用户所拥有的关于任务要操作的资源(例如库、表、字段等资源)、操作类型(例如增加、删除、修改、查询等操作)以及用户所调用的函数的权限信息。鉴权中心可以对将解析任务所得到的信息与用户所拥有的权限信息进行对比(例如确定任务所要求的权限是否包含在用户已申请且被批准的权限范围之内)，得到鉴权结果。例如，如果解析任务所得到的信息包含在权限信息中，则鉴权结果为鉴权成功；否则为鉴权失败。

例如针对上诉SQL任务一，需要鉴定用户已申请且被批准的权限是否包含同时对表A进行SELECT操作以及对表B进行INSERT操作的权限。

例如针对上述SQL任务二，首先对A库进行鉴定，通过与鉴权中心中存储的权限信息进行对比得到用户是否具有A库的权限。如果用户有A库的权限，则能对A库进行SELECT操作(即意味着对A库下所有表的所有字段都可进行SELECT操作)，否则会鉴定该用户是否拥有该库中student表的权限。

当用户有student表的权限(即意味着对该表的所有字段都可进行SELECT操作)，则针对student表进行SELECT操作，否则会鉴定该用户是否拥有该表中id和name字段的权限。

当用户有id和name字段的权限，则针对id和name字段进行SELECT操作，否则返回鉴权失败。其中，针对字段的鉴权失败的情况例如包括：当用户需要针对多个字段进行操作时，如果有一个字段的权限校验失败，则鉴权失败。

根据本发明的权限管理的一个实施例涉及如下过程：

(1)用户在工作空间中编写并提交SQL任务；

(2)用户层将该用户的用户信息以及SQL任务发送给调度层进行任务调度；

(3)调度层接收到用户信息并将SQL任务发送给与该用户对应的鉴权层进行权限鉴定；

(4)鉴权层中的任务预解析模块对接收到的SQL任务进行解析，得到的解析结果包括SQL任务所要操作的资源、操作类型以及所要调用的函数等信息；

(5)将步骤(4)中得到的信息封装成一个鉴权请求并将该鉴权请求发送至鉴权中心，其中鉴权中心可以复制了元数据系统中所包含的所有数据，从而能得到用户所拥有的能操作的资源、操作类型以及该用户可以调用的函数的权限的信息；

(6)鉴权中心将获取到的用户信息以及SQL任务所包含的要操作的资源、操作类型以及函数与鉴权中心中存储的权限信息进行对比，得到鉴权结果；

(7)如果鉴权结果是鉴权成功，则将SQL任务发送给任务管理层真正执行SQL任务，如果鉴权失败则将鉴权失败的信息返回给用户层以通知用户。

在本发明的实施例中，所有的用户可以共享同一个鉴权层，因而共享同一个鉴权中心(此时用户信息需要传递给鉴权中心)；也可以是不同用户被关联到不同的鉴权层和不同的鉴权中心。

根据本发明的一个实施例，鉴权中心中的具体的鉴权过程包括如下步骤：

(1)合法性校验

获取鉴权请求中所包含的用户信息以及任务要操作的资源、操作类型和函数等权限信息。鉴权中心会对鉴权请求进行合法性校验，即确认鉴权请求中是否正确包含了鉴权中心能处理的权限信息以及该权限信息的格式是否正确。鉴权中心能处理的权限信息可以是预定义的，例如鉴权信息必须要包含与任务要操作的资源和操作类型相关的权限信息，但可以不包括与函数相关的权限信息，同时不能包含涉及其他主题的权限信息。权限信息的正确格式也可以是预定义的。所述预定义例如可以存储在元数据系统中，并被复制到鉴权中心。

(2)库级别鉴定

将鉴权请求中所包含的资源中的库的信息和操作类型与鉴权中心中已经存储的该用户的权限信息中包含的库和操作类型进行对比，从而得到用户是否具有库级别的权限。如果不具有该库的权限，则进入(3)进行表级别的权限鉴定；如果具有该库的权限，则鉴定为鉴权成功并进入(5)。

(3)表级别鉴定

将鉴权请求中所包含的资源中的表的信息和操作类型与鉴权中心中已经存储的该用户的权限信息中包含的表和操作类型进行对比，从而得到用户是否具有表级别的权限。如果不具有该表的权限，则进入(4)进行字段级别的权限鉴定；如果具有该表的权限，则鉴定为鉴权成功并进入(5)。

(4)字段级别鉴定

将鉴权请求中所包含的资源中的字段的信息和操作类型与鉴权中心中已经存储的该用户的权限信息中包含的字段和操作类型进行对比，从而得到用户是否具有字段级别的权限。如果不具有所述字段的权限，则鉴权失败；如果具有所述字段的权限，

则鉴定为鉴权成功并进入(5)。

(5)结束鉴权。

根据本发明的实施例，允许用户定义自己的工作空间，并允许用户访问自己的工作空间内的资源或他人的工作空间内的资源(例如他人的空间内的库、表和字段)，从而能够实现跨空间或跨库的权限管理。

根据需要，本发明各实施例的系统、方法和装置可以实现为纯粹的软件模块(例如JAVA和/或C++语言)，也可以根据需要实现为纯粹的硬件模块(例如专用ASIC芯片或FPGA芯片)，还可以实现为结合了软件和硬件的系统(例如存储有固定代码的固件系统或者带有通用存储器和处理器的系统)。

本发明的另一个方面是一种计算机可读介质，其上存储有计算机可读指令，所述指令被执行时可实施本发明各实施例的方法。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所公开的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。要求保护的主题的范围仅由所附的权利要求进行限定。

Claims (25)

1.一种用于鉴定任务的权限的方法，包括：

(1)鉴定所述任务是否能够对所述任务涉及的库进行所述任务中与所述库对应的操作的类型，并且如果鉴定通过则返回鉴定成功，否则进入步骤(2)；

(2)鉴定所述任务是否能够对所述任务涉及的表进行所述任务中与所述表对应的操作的类型，并且如果鉴定通过则返回鉴定成功，否则进入步骤(3)；和

(3)鉴定所述任务是否能够对所述任务涉及的字段进行所述任务中与所述字段对应的操作的类型，并且如果鉴定通过则返回鉴定成功，否则返回鉴定失败。

2.根据权利要求1所述的方法，还包括：

鉴定所述任务是否能够对所述任务涉及的函数进行调用，并且如果鉴定未通过则返回鉴定失败。

3.根据权利要求1所述的方法，还包括：

在所述步骤(1)之前，解析所述任务，以获得所述任务涉及的所述库、所述表和所述字段。

4.根据权利要求1所述的方法，还包括：

获取提交所述任务的用户的用户信息，其中所述用户信息在所述步骤(1)、(2)和(3)中的至少之一的鉴定操作中被使用。

5.根据权利要求4所述的方法，还包括：

根据所述用户信息，获取该用户已申请且被批准的权限，

其中，与所获取的权限的信息在所述步骤(1)、(2)和/或(3)中的所述鉴定操作中使用。

6.根据权利要求5所述的方法，其中，在所述步骤(1)、(2)和/或(3)中的所述鉴定操作中，如果所述任务对所述任务所涉及的所述库、表或字段进行的对应的操作的类型包含在所述所获取的权限的范围之内，则鉴定通过。

7.根据权利要求3所述的方法，其中，所述解析操作根据预定规则修正所述任务涉及的所述库、表、字段及其对应的操作的类型。

8.根据权利要求1所述的方法，还包括：

由提交所述任务的用户申请其所需要的权限。

9.根据权利要求8所述的方法，还包括：

审核所述用户申请的所述权限，并且如果所述权限被批准则存储所述权限。

10.根据权利要求1所述的方法，还包括：

形成与所述任务相关联的鉴权请求，所述鉴权请求包含所述任务涉及的库、表、字段以及对应的操作的类型；和

校验所述鉴权请求的合法性。

11.一种用于申请权限的方法，包括：

选择库、表、字段以及与所述库、表和字段分别对应的操作的类型，以形成权限信息；和

存储该权限信息。

12.根据权利要求11所述的方法，其中，所述选择操作包括：

先选择库，然后在所述库内的表中进行选择，并且所述表被选择后，在所述表的字段内进行选择。

13.根据权利要求11所述的方法，还包括：

选择函数，以使得所述权限信息包括所述函数的信息。

14.一种用于对任务进行鉴权的系统，包括：

解析模块，其用于解析所述任务，以形成所述任务的鉴权请求；以及

鉴权模块，其能够执行以下操作：

(1)鉴定所述鉴权请求所涉及的库以及所述鉴权请求中与所述库对应的操作的类型，并且如果鉴定通过则返回鉴定成功，否则进入步骤(2)，

(2)鉴定所述鉴权请求所涉及的表以及所述鉴权请求中与所述表对应的操作的类型，并且如果鉴定通过则返回鉴定成功，否则进入步骤(3)，和

(3)鉴定所述鉴权请求所涉及的字段以及所述鉴权请求中与所述字段对应的操作的类型，并且如果鉴定通过则返回鉴定成功，否则返回鉴定失败。

15.根据权利要求14所述的系统，其中，所述鉴权模块还能够执行以下操作：

鉴定所述鉴权请求所涉及的函数，并且如果鉴定未通过则返回鉴定失败。

16.根据权利要求14所述的系统，其中，所述解析模块还能够：

根据预定规则修正所述任务涉及的库、表、字段及其对应的操作的类型，以形成所述鉴权请求。

17.根据权利要求14所述的系统，其中所述鉴权模块还能够：

获取提交所述任务的用户的用户信息，其中所述用户信息在所述步骤(1)、(2)和(3)中的至少之一的鉴定操作中被使用。

18.根据权利要求17所述的系统，其中所述鉴权模块还能够：

根据所述用户信息，获取该用户已申请且被批准的权限，

其中，与所获取的权限的信息在所述步骤(1)、(2)和/或(3)中的所述鉴定操作中使用。

19.根据权利要求18所述的系统，其中，在所述步骤(1)、(2)和/或(3)中的所述鉴定操作中，如果所述任务对所述任务所涉及的所述库、表或字段进行的对应的操作的类型包含在所述所获取的权限的范围之内，则鉴定通过。

20.根据权利要求14所述的系统，其中所述解析模块还能够：

根据预定规则修正所述任务涉及的所述库、表、字段及其对应的操作的类型，以形成所述鉴权请求。

21.根据权利要求14所述的系统，所述鉴权模块还能够：

校验所述鉴权请求的合法性。

22.一种用于申请权限的系统，包括：

用于选择库、表、字段以及与所述库、表和字段分别对应的操作的类型，以形成权限信息的模块；和

用于存储该权限信息的模块。

23.根据权利要求22所述的系统，其中，所述用于选择库、表、字段以及与所述库、表和字段分别对应的操作的类型，以形成权限信息的模块能够操作来先选择库，然后在所述库内的表中进行选择，并且所述表被选择后，在所述表的字段内进行选择。

24.根据权利要求22所述的系统，还包括：

用于选择函数，以使得所述权限信息包括所述函数的信息的模块。

25.一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令被计算机执行时能够执行如权利要求1-13中任意之一所述的方法。