CN117725569B - 用于数据计算的安全管理系统 - Google Patents

Abstract

本申请实施例提供一种用于数据计算的安全管理系统。包括：多租户平台，用于获取终端提交的携带有登录账号的登录请求和数据库操作脚本，将登录请求发送至统一用户认证系统，并在登录请求验证通过时将脚本发送至数据中台系统，并在登录账号具备针对脚本解析出来的元数据的访问权限时，将脚本发送至与脚本对应的目标计算引擎；统一用户认证系统，用于接收登录请求以验证登录账号是否具备登录权限；数据中台系统，用于将对脚本解析得到的元数据与预存的用户权限信息进行对比，以确认登录账号是否具备元数据的访问权限；计算系统，用于提供目标计算引擎将脚本解析成对应的计算任务，并基于元数据获取对应的计算数据执行计算任务。

Description

用于数据计算的安全管理系统

技术领域

本申请涉及物联网数据技术领域，具体涉及一种用于数据计算的安全管理系统。

背景技术

随着以大数据、云计算、物联网、区块链、人工智能、5G通信等新兴技术引领的数字经济的不断发展，与人，机，料，法环等相关的数据正指数级的形式不断递增，并集中存储在以数仓或者数据湖为代表的大数据存储系统中。为了发挥这些存量或者增量数据的价值，各种数据分析计算SQL引擎如雨后春笋应运而生，目的是满足不同应用场景下的数据分析需求。比较具有代表性的SQL分析引擎有Flink SQL、Spark SQL、Trino/Impala/HAWQ、Kylin、Dorisdb、FineBI/SuperSet、TIDB等，很多公司通常都是多种SQL计算引擎并存，以满足不同业务场景下的数据分析需求。然而，多种分析计算技术的引进虽然解决了多场景下的业务问题，但是也带来了很严重的数据安全问题，大大增加了数据的管理成本。通过这些先进的数据分析系统的计算，多维的分析，可以从海量数据中获取到人和物海量多维度的信息，这些信息涉及方方面面。

为了解决数据安全和数据权限管理的问题，现有的数据安全管理方式主要包括三种。其中，第一种是通过不同计算系统独立的用户认证和数据权限管理模块进行登录和数据安全管理，不同的SQL计算引擎委派不同的数据管理员对相应的用户进行登录账户密码的注册和数据库表，行列权限的配置。这种多体系的用户认证和数据权限管理，管理成本较高，且各系统的审计内容和强度不一致，无法贯彻统一的审计管理策略。第二种是通过集成一些外部登录认证系统和数据权限管理系统对用户和数据进行有效管理，然而每个计算引擎需要分别与外部系统进行系统间集成，不仅集成难度大、成本高，且由于多个外部系统并存，系统运维难度极大。第三种是通过为每个计算引擎开发一些专业的用户登录认证和数据权限审批服务，这会导致无法统一管理，且存在较高的管理成本。因此，亟须一种可以低成本统一登录认证和统一数据权限预检技术的数据安全统一管理方法。

发明内容

本申请实施例的目的是提供一种用于数据计算的安全管理系统，用以解决现有技术中对数据权限实现安全管控时无法统一管理且管理成本较高的技术缺陷。

为了实现上述目的，本申请第一方面提供一种用于数据计算的安全管理系统，包括：

多租户平台，包括接口层、服务层、引擎层，接口层用于提供统一结构化数据接口，并基于统一结构化数据接口获取终端发起的登录请求以及终端提交的数据库操作脚本，登录请求携带有登录账号；服务层与统一用户认证系统和数据中台系统连接，用于将登录请求发送至统一用户认证系统，并在登录请求验证通过的情况下，将数据库操作脚本发送至数据中台系统；引擎层与计算系统连接，用于在登录账号具备针对数据库操作脚本解析出来的元数据的访问权限的情况下，确定与数据库操作脚本对应的目标计算引擎，并将数据库操作脚本发送至目标计算引擎；

统一用户认证系统，包括权限管理模块、统一认证中心以及账号管理模块，账号管理模块与多个业务系统连接，用于采集用户在每个业务系统的账号信息；权限管理模块用于基于多个账号信息为登录账号配置统一登录权限和统一访问权限；统一认证中心用于接收登录请求，并基于登录请求与权限管理模块和账号管理模块进行交互，以验证登录账号是否具备登录权限；

数据中台系统，用于接收数据库操作脚本，并对数据库操作脚本进行解析以得到元数据；将元数据与预存的用户权限信息进行对比，以确认登录账号是否具备元数据的访问权限；

计算系统，包括多种计算引擎，用于提供与数据库操作脚本对应的目标计算引擎，目标计算引擎用于将数据库操作脚本解析成对应的计算任务；基于元数据获取对应的计算数据，以基于计算数据执行计算任务，并将计算结果返回至终端。

在本申请的实施例中，统一用户认证系统还包括：应用管理模块，用于将多租户平台在统一用户认证系统中进行注册，以激活统一用户认证系统；登录日志模块，用于生成与登录请求对应的日志并进行存储；验证日志模块，用于在统一认证中心对登录账号进行验证的过程中生成对应的验证日志并进行存储。

在本申请的实施例中，多个业务系统至少包括流程管理系统、人力管理系统以及客户管理系统，统一用户认证系统还包括：账户中心，用于维护并存储登录账号与流程管理系统、人力管理系统以及客户管理系统的关联信息。

在本申请的实施例中，数据中台系统包括：项目管理模块，用于管理针对多个业务系统的多个任务项目；用户管理模块，用于管理每个任务项目对应的项目成员信息。

在本申请的实施例中，安全管理系统还包括：分布式存储系统，用于存储安全管理系统所需的所有业务数据以及所有业务数据对应的元数据，并根据数据库操作脚本解析得到的元数据提供对应的计算数据。

在本申请的实施例中，数据中台系统还包括：元数据管理服务，用于获取分布式存储系统中的所有元数据，并对所有元数据进行分级管理。

在本申请的实施例中，数据中台系统还包括：数据库语法解析模块，用于接收数据库操作脚本，并基于预设语法树对数据库操作脚本进行解析以得到元数据；数据权限管理模块，用于存储用户权限信息，其中，用户权限信息包括项目id、成员编号、项目id或成员编号对应的元数据、登录账号对应的项目id、成员编号，以及登录账号对应的元数据；数据鉴权服务，用于将数据库操作脚本解析得到的元数据与数据权限管理模块预存的用户权限信息进行对比，以确认登录账号是否具备元数据的访问权限。

在本申请的实施例中，数据鉴权服务还用于：在确认完毕登录账号是否具备元数据的访问权限的情况下，生成对应的鉴权成功信息或鉴权失败信息，并将鉴权成功信息或鉴权失败信息返回至多租户平台的服务层。

在本申请的实施例中，多租户平台还用于：在接收到数据鉴权服务返回的鉴权成功信息的情况下，通过引擎层将数据库操作脚本发送至目标计算引擎；在接收到数据鉴权服务返回的鉴权失败信息的情况下，通过服务层生成针对不具备访问权限的提示信息并返回至终端，以终止上传数据库操作脚本。

在本申请的实施例中，多租户平台还包括：安全验证模块，用于调用多租户平台构建的针对统一用户认证系统和数据中台系统的工具包，以使得多租户平台与统一用户认证系统和数据中台系统连接。

上述技术方案，通过提供了一种用于数据计算的安全管理系统，包括多租户平台，用于获取终端提交的携带有登录账号的登录请求和数据库操作脚本，将登录请求发送至统一用户认证系统，并在登录请求验证通过时将脚本发送至数据中台系统，并在登录账号具备针对脚本解析出来的元数据的访问权限时，将脚本发送至与脚本对应的目标计算引擎；统一用户认证系统，用于接收登录请求以验证登录账号是否具备登录权限；数据中台系统，用于将对脚本解析得到的元数据与预存的用户权限信息进行对比，以确认登录账号是否具备元数据的访问权限；计算系统，用于提供目标计算引擎将脚本解析成对应的计算任务，并基于元数据获取对应的计算数据执行计算任务。实现了统一登录认证和统一数据权限预检，有效地保障了生产数据的安全以及数据操作权限的审批执行。同时，简化了传统数据安全管理方式需要进行大规模IT系统建设维护的弊端，有效降低了管理成本。

本申请实施例的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本申请实施例，但并不构成对本申请实施例的限制。在附图中：

图1示意性示出了根据本申请实施例的用于数据计算的安全管理系统的结构框图；

图2示意性示出了根据本申请实施例的用于数据计算的安全管理系统的流程示意图；

图3示意性示出了根据本申请实施例的又一用于数据计算的安全管理系统的结构框图；

图4示意性示出了根据本申请实施例的统一用户认证系统的流程示意图；

图5示意性示出了根据本申请实施例的数据中台系统的流程示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解的是，此处所描述的具体实施方式仅用于说明和解释本申请实施例，并不用于限制本申请实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

另外，若本申请实施例中有涉及“第一”“第二”等的描述，则该“第一”“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。

图1示意性示出了根据本申请实施例的用于数据计算的安全管理系统的结构框图。如图1所示，本申请实施例提供一种用于数据计算的安全管理系统，该安全系统可以包括：

多租户平台110，包括接口层112、服务层114、引擎层116，接口层112用于提供统一结构化数据接口，并基于统一结构化数据接口获取终端发起的登录请求以及终端提交的数据库操作脚本，登录请求携带有登录账号；服务层114与统一用户认证系统120和数据中台系统130连接，用于将登录请求发送至统一用户认证系统120，并在登录请求验证通过的情况下，将数据库操作脚本发送至数据中台系统130；引擎层116与计算系统140连接，用于在登录账号具备针对数据库操作脚本解析出来的元数据的访问权限的情况下，确定与数据库操作脚本对应的目标计算引擎，并将数据库操作脚本发送至目标计算引擎。

多租户平台可以是指kyuubi，kyuubi是一个分布式多租户Thrift JDBC/ODBC服务器，用于大规模数据管理、处理和分析，kyuubi可以提供无服务器SQL，支持多种计算引擎，通过一个统一网关实现对任何计算引擎集群资源的简化、安全访问，为中断用户部署不同的工作负载。其中，无服务器SQL是指可以在不依赖任何数据库服务器的情况下运行SQL查询。随着大数据技术的发展，以SQL分析为主的高阶API得到了高速的发展，几乎所有的大数据分析引擎都支持SQL这种简单易上手的脚本语言开发的数据分析任务，并提供了相应的JDBC接口供用户方面提交分析任务。通常，需要使用不同的大数据分析引擎进行不同场景下的数据分析，因而需要切换不同JDBC连接方式并进行登录认证，来进行数据分析任务的开发和提交，这种开发方式带来了很大的管理及运维成本，降低了开发效率。在本技术方案中，kyuubi包括接口层、服务层以及引擎层，统一结构化数据接口可以是指只提供HIVEJDBC这一种接口服务的接口，数据库操作脚本可以是指SQL脚本，具体地，接口层可以通过HIVE JDBC获取用户通过终端提交的登录请求以及SQL脚本，其中，登录请求携带有登录账号。

服务层可以是指kyuubi server层，接口层通过HIVE JDBC获取终端提交的登录请求以及SQL脚本之后，登录请求以及SQL脚本进入kyuubi server层进行处理，kyuubiserver层可以将登录请求发送至与kyuubi server层连接的统一用户认证系统。并在登录请求通过统一用户认证系统验证的情况下，将SQL脚本发送至数据中台系统，以供数据中台对SQL脚本进行后续的解析操作。在本技术方案中，kyuubi server承担为终端提供统一数据分析服务，对用户屏蔽后台计算引擎的连接信息，用户所有的操作和请求均在kyuubiserver侧归集，即无论用户请求使用何种计算引擎，用户都只需要基于HIVE JDBC与kyuubiserver进行通信。当用户基于终端通过HIVE JDBC与kyuubi server建立连接并成功通过登录请求验证之后，kyuubi server就可以根据终端传入的SQL脚本携带的计算引擎信息发送到后台的计算系统去执行，执行完成之后将结果返回给终端的用户。用户不需要分别向不同计算引擎发起登录连接请求，对用户而言就只有一种数据分析服务需要关注，大大简化了数据分析服务的服务形式。

引擎层可以是指kyuubi engine层，接口层通过HIVE JDBC获取终端提交的登录请求以及SQL脚本，登录请求通过kyuubi server层传输至统一用户认证系统，并在登录请求通过统一用户认证系统验证之后，kyuubi server层将SQL脚本发送至与kyuubi server层连接的数据中台系统。在通过数据中台系统对SQL脚本进行解析以确认登录账号具备针对该SQL脚本解析出来的元数据的访问权限的情况下，将该SQL脚本通过kyuubi engine层传递至计算系统中与SQL脚本对应的目标计算引擎，以通过目标计算对该SQL脚本进行后续的计算。具体地，在本技术方案中，kyuubi engine层负责与底层计算引擎进行交互，通过程序设计和代码开发，可以使kyuubi engine可以适配不同的计算引擎。将所有计算引擎适配好之后，启动kyuubi服务，当有分析需求从kyuubi server传递过来时，kyuubi engine就会从匹配对应的计算引擎进行连接，并把SQL脚本传递给该计算引擎进行计算。

统一用户认证系统120，包括权限管理模块、统一认证中心以及账号管理模块，账号管理模块与多个业务系统连接，用于采集用户在每个业务系统的账号信息；权限管理模块用于基于多个账号信息为登录账号配置统一登录权限和统一访问权限；统一认证中心用于接收登录请求，并基于登录请求与权限管理模块和账号管理模块进行交互，以验证登录账号是否具备登录权限。

在本技术方案中，为了实现不同用户可以使用独立的账号进行登录认证，避免因使用公共账号而带来的权限管理难以有效隔离的问题或者使用多套账号进行重复登录而导致的效率低下问题，可以对Kyuubi Server进行了改造，在Kyuubi Server侧集成统一用户认证系统，并通过创新性的编程工作实现了统一认证的登录审计核心功能。具体地，统一用户认证系统主要是通过将企业的多个业务系统，例如SAP系统中CRM或者HR系统以及OA系统与统一认证中心打通，并将OA中员工的账户信息同步到统一用户认证系统。统一用户认证系统维护了第三方应用譬如各种应用的相关信息，用户可以使用自己已有的OA账号来进行第三方应用的登录鉴权，即用户发起登录请求时，该登录请求会通过API跳转至统一认证中心，统一认证中心与OA系统进行交互，并对该用户进行审计，审计通过后将登录请求跳转至第三方系统并返回相应的资源。

如图2所示，提供了一种统一用户认证系统的流程示意图。具体地，统一用户认证系统包括权限管理模块、统一认证中心以及账号管理模块，其中，账号管理模块与多个业务系统连接，用于采集用户在每个业务系统的账号信息。在本技术方案中，账号管理模块的主要功能是可以实现与多个业务系统的互通，其中，多个业务系统可以是指OA系统、CRM系统，以及HR系统。因此，在账号管理模块分别与OA系统、CRM系统，以及HR系统互通之后，可以获取到用户在OA系统、CRM系统，以及HR系统中的账号信息。此外，账号管理模块还可以新建新用户账号。在获取到用户在每个业务系统中的账号信息之后，权限管理模块则可以基于多个账号信息为登录账号配置统一登录权限和统一访问权限，具体地，权限管理模块还可以为登录账号配置菜单权限以及用户所属组织机构权限等信息。在kyuubi server将用户通过终端提交的登录请求传输至统一用户认证系统时，统一用户认证系统中的统一认证中心可以接收该登录请求，并基于该登录请求与权限管理模块和账号管理模块进行交互，进而完成用户的登录审计和访问权限审计，以验证该登录账号是否具备登录权限。具体地，如若该登录账号具备登录权限，用户成功登入kyuubi server层，kyuubi server层则将用户提交的SQL脚本发送至与kyuubi server层连接的数据中台系统，并通过数据中台系统对SQL脚本进行解析以确认登录账号具备对该SQL脚本解析出来的元数据的访问权限。如若该登录账号不具备登录权限，则不允许用户登入kyuubi server层并不接受用户提交的SQL脚本。

数据中台系统130，用于接收数据库操作脚本，并对数据库操作脚本进行解析以得到元数据；将元数据与预存的用户权限信息进行对比，以确认登录账号是否具备元数据的访问权限。

多租户平台的接口层通过HIVE JDBC获取终端提交的登录请求以及SQL脚本之后，登录请求通过kyuubi server层传输至统一用户认证系统。在登录请求通过统一用户认证系统验证具备登录权限之后，kyuubi server层将SQL脚本发送至与kyuubi server层连接的数据中台系统，并通过数据中台系统对SQL脚本进行解析以确认登录账号具备针对该SQL脚本解析出来的元数据的访问权限。

在本技术方案中，基于元数据进行数据安全管控，目的就是要在用户还没有接触到底层的真实数据之前就进行数据权限确权，如若用户不具备数据权限的访问，则在提交分析任务之前拒绝该提交请求，从而实现海量数据的高效鉴权。具体地，用户通过统一用户认证系统确权之后成功登录kyuubi Server，从而可以进行数据分析任务业务逻辑代码的开发，形成一个SQL脚本，这里可以将其抽象为一个statement，该statement中包含了用户进行数据分析时需要用的库表、字段和访问特定数据行的条件信息。具体地，数据中台系统接收kyuubi Server发送的SQL脚本，对SQL脚本进行解析以得到元数据，并将该SQL脚本解析得到的元数据与预存的用户权限信息进行对比，以确认用户的登录账号是否具备该元数据的访问权限。具体地，如若该登录账号具备针对该SQL脚本解析出来的元数据的访问权限，kyuubi engine层则将该SQL脚本传递至计算系统中与SQL脚本对应的目标计算引擎，以通过目标计算对该SQL脚本进行后续的计算。如若该登录账号不具备针对该SQL脚本解析出来的元数据的访问权限，则SQL脚本的执行就此中断。

计算系统140，包括多种计算引擎，用于提供与数据库操作脚本对应的目标计算引擎，目标计算引擎用于将数据库操作脚本解析成对应的计算任务；基于元数据获取对应的计算数据，以基于计算数据执行计算任务，并将计算结果返回至终端。

计算系统可以是指将多种不同类型的计算引擎进行集成的一种服务平台，在本技术方案中，为了向用户提供更加便捷，更加通用的数据分析服务，能满足各种场景下的数据分析计算需求，同时让用户在使用终端向不同计算引擎发起登录连接请求时，对用户而言就只有一种数据分析服务需要关注。因此，需要有一个能够统一计算引擎的服务，能够将不同的计算引擎方便地集成到一起。具体地，本技术方案中的计算系统集成了多种不同的计算引擎，例如spark，flink，Trino，hive，Dorisdb等计算引擎。同时，计算系统将多种计算引擎进行集成之后，需要一个统一的服务接口对外提供计算服务。因此，本技术方案中选择可以支持不同计算引擎的多租户平台kyuubi来与各种计算引擎进行集成，各种计算引擎在kyuubi接口层提供的统一HIVE JDBC接口服务下实现统一数据分析服务的提供。具体地，计算系统在接收到kyuubi Server发送的SQL脚本之后，对SQL脚本进行解析以得到元数据，并提供与SQL脚本对应的目标计算引擎，通过该目标计算引擎将SQL脚本解析成对应的计算任务，并基于元数据从底层的分布式存储系统中获取对应的计算数据，以基于计算数据执行计算任务，并将计算结果返回至终端。在本技术方案中，如果用户通过了数据中台系统的数据权限鉴权服务的确权，即用户有权限访问SQL脚本相应库表字段，那么kyuubi Sever就会将用户编写的业务逻辑SQL代码提交到用户指定的后端计算引擎。由于已经在kyuubiserver侧已经进行了登录账号的登录权限验证，后端计算引擎不需要再次进行登录鉴权，默认用户可以选择任何计算引擎进行相应的数据计算。后端计算引擎使用calcite框架解析Statement，将SQL脚本解析成具体的逻辑执行计划和物理执行计划，并根据解析出的库表字段从分布式存储系统获取真实的计算数据。并将该计算数据加载到计算引擎所申请的内存资源中进行计算，计算完成后的结果则通过计算引擎返回给kyuubi server侧，进而返回给终端的用户。

上述技术方案，通过提供了一种用于数据计算的安全管理系统，包括多租户平台，用于获取终端提交的携带有登录账号的登录请求和数据库操作脚本，将登录请求发送至统一用户认证系统，并在登录请求验证通过时将脚本发送至数据中台系统，并在登录账号具备针对脚本解析出来的元数据的访问权限时，将脚本发送至与脚本对应的目标计算引擎；统一用户认证系统，用于接收登录请求以验证登录账号是否具备登录权限；数据中台系统，用于将对脚本解析得到的元数据与预存的用户权限信息进行对比，以确认登录账号是否具备元数据的访问权限；计算系统，用于提供目标计算引擎将脚本解析成对应的计算任务，并基于元数据获取对应的计算数据执行计算任务。实现了统一登录认证和统一数据权限预检，有效地保障了生产数据的安全以及数据操作权限的审批执行。同时，简化了传统数据安全管理方式需要进行大规模IT系统建设维护的弊端，有效降低了管理成本。

在本申请的实施例中，如图3所示，提供了又一用于数据计算的安全管理系统的结构框图，安全管理系统还包括：

分布式存储系统150，用于存储所述安全管理系统所需的所有业务数据以及所有业务数据对应的元数据，并根据所述数据库操作脚本解析得到的元数据提供对应的计算数据。

在本技术方案中，分布式存储系统可以是指HADOOP HDFS或minio，其中，HADOOPHDFS是一个具备高度容错性和高吞吐量的海量数据存储系统。minio是一个高性能、分布式的对象存储平台，其提供高性能、S3协议兼容的对象存储，非常适合于存储大容量非结构化的数据。minio作为一个对象存储平台，其所处理的对象是以文件为粒度，即只需要把承载海量数据的各种数据文件（电子化的各式文件）通过minio客户端以文件的形式上传上去即可以完成数据的存储。其中，对象存储平台中的存储桶可以是指bucket，minio中存在多个bucket，每一个bucket均可用于存储数据。具体地，分布式存储系统中存储有安全管理系统所需的所有业务数据以及所有业务数据对应的元数据，计算系统在接收到kyuubi server发送的SQL脚本之后，计算系统中提供的计算引擎使用calcite框架解析Statement，将SQL脚本解析成具体的逻辑执行计划和物理执行计划，并根据解析出的库表字段从HADOOPHDFS或minio中存储的业务数据中获取真实的计算数据。并将该计算数据加载到计算引擎所申请的内存资源中进行计算，计算完成后的结果则通过计算引擎返回给kyuubi server侧，进而返回给终端的用户。

在本申请的实施例中，如图4所示，提供了一种用于数据计算的安全管理系统的流程示意图。如图4所示，安全管理系统包括多租户平台kyuubi、统一用户认证系统、具备SQL预检功能的数据中台系统、集成有spark，flink，Trino，hive，Dorisdb等计算引擎的计算系统，以及用于存储安全管理系统所需的业务数据的底层分布式存储系统HADOOP HDFS或minio。其中，kyuubi包括用于向终端用户提供统一HIVE JDBC的接口层、与统一用户认证系统和数据中台系统集成的服务层kyuubi server，以及与底层计算系统集成的引擎层kyuubi engine。

在本技术方案中，数据安全管理的第一步就是要确认数据分析用户身份的合法性，也就是当要用一种计算引擎进行数据分析时首先要用账户和密码登录该计算引擎，登录验证通过之后，才能继续后面的步骤。在日常工作中，通常需要维护多个系统的用户名密码，譬如开机用户名密码，OA，各种通信软件，办公软件和系统用户名密码，数据分析者进行数据分析时，又要维护各个计算引擎的用户名密码，这会给的工作带来很大困扰和麻烦，降低数据开发人员的开发效率。本方案通过技术创新，基于标准的oauth2协议开发了统一用户认证系统，解决了数据开发人员使用不同计算系统时统一登录，统一审计的功能，即用户可以仅使用同一个密码和账户就可以实现对不同计算系统的登录。同时，为了避免数据分析用户在不同计算系统之间进行频繁的登录切换，本方案创新地将多租户平台Kyuubi与集成有Flink，Spark，Trino，Dorisdb等多种计算引擎的计算系统进行集成，统一了数据分析入口，即用户无需分别与不同计算系统进行直接交互。用户通过终端基于接口层的HIVEJDBC向kyuubi server发起登录请求和SQL脚本时，通过kyuubi server这一侧集成的统一用户认证系统对登录账号进行登录权限验证。经统一用户认证系统验证通过之后，就可以向指定计算系统发起SQL脚本分析请求。为了对数据安全进行有效地管控，本方案创新地开发了可以进行数据权限预检的数据中台系统，通过数据中台系统对SQL中涉及的库，表，字段进行登录账号的数据权限预检，如若数据权限预检不通过，登录账号则不能查询SQL脚本相应的数据。如若预检通过，登录账号则可以通过kyuubi server提交相应的SQL脚本分析任务到计算系统指定的目标计算引擎，并基于目标计算引擎从底层的HADOOP HDFS或minio等分布式存储系统中抽取与SQL脚本解析得到的元数据对应的计算数据进行计算，并将计算结果通过kyuubi server返回给终端的用户。通过整合了多租户平遥kyuubi，统一用户认证系统以及数据中台系统，实现了用户登录不同计算系统的统一验证，以及数据权限的安全管控。

在本申请的实施例中，统一用户认证系统还包括：应用管理模块，用于将多租户平台在统一用户认证系统中进行注册，以激活统一用户认证系统；登录日志模块，用于生成与登录请求对应的日志并进行存储；验证日志模块，用于在统一认证中心对登录账号进行验证的过程中生成对应的验证日志并进行存储。

如图2所示，统一用户认证系统还包括应用管理模块、登录日志模块以及验证日志模块。具体地，如若需要使得kyuubi server能够调用统一用户认证系统，首先需要在统一用户认证系统的应用管理模块中注册需要进行登录验证的应用信息，本技术方案中可以将kyuubi作为一个应用在应用管理模块中进行注册登记，应用管理模块中则会记录kyuubi应用的appId和appSecret等信息，kyuubi server则可以激活统一用户认证系统进行使用。登录日志模块和验证日志功能模块用于记录用户登录验证过程日志，方便问题追溯。其中，登录日志模块可以生成与登录请求对应的日志并进行存储，验证日志模块可以在统一认证中心对登录账号进行验证的过程中生成对应的验证日志并进行存储。

在本申请的实施例中，多个业务系统至少包括流程管理系统、人力管理系统以及客户管理系统，统一用户认证系统还包括：账户中心，用于维护并存储登录账号与流程管理系统、人力管理系统以及客户管理系统的关联信息。

在本技术方案中，统一用户认证系统主要是通过将企业的多个业务系统，例如SAP系统中CRM或者HR系统以及OA系统与统一认证中心打通，并将OA中员工的账户信息同步到统一用户认证系统。统一用户认证系统维护了第三方应用譬如各种应用的相关信息，用户可以使用自己已有的OA账号来进行第三方应用的登录鉴权，即用户发起登录请求时，该登录请求会通过API跳转至统一认证中心，统一认证中心与OA系统进行交互，并对该用户进行审计，审计通过后将登录请求跳转至第三方系统并返回相应的资源。因此，流程管理系统可以是指OA系统，人力管理系统可以是指HR系统，客户管理系统可以是指CRM系统。账号管理模块分别实现与OA系统、CRM系统，以及HR系统的互通之后，获取用户在OA系统、HR系统以及CRM系统中的账号信息。权限管理模块基于多个账号信息为登录账号配置统一登录权限、统一访问权限、菜单权限以及用户所属组织机构权限，账户中心模块可以将上述这些账号信息、统一登录权限、统一访问权限、菜单权限以及用户所属组织机构权限等与各业务系统的关联信息进行维护。

在本申请的实施例中，数据中台系统包括：项目管理模块，用于管理针对多个业务系统的多个任务项目；用户管理模块，用于管理每个任务项目对应的项目成员信息。

如图5所示，提供了一种数据中台系统的流程图。数据中台系统可以包括项目管理模块和用户管理模块，具体地，为了实现用户－项目－元数据－权限之间的关系模型，其中，该模型主要描述了用户属于哪个项目的成员，该项目涉及哪些库，哪些表，哪些字段，该项目及项目成员是否有权限访问这些数据库，数据表，数据字段或者数据行，即权限问题。因此，在本技术方案中创新性地开发了用户管理模块，用于管理每个任务项目对应的项目成员信息，以及项目管理模块，用于管理针对多个业务系统的多个任务项目。

在本申请的实施例中，数据中台系统还包括：元数据管理服务，用于获取分布式存储系统中的所有元数据，并对所有元数据进行分级管理。

如图5所示，数据中台系统还包括元数据管理服务，可以用于获取分布式存储系统中的所有元数据，并对所有元数据进行分级管理。具体地，在本技术方案中，数据开发人员等用户成功登录kyuubi Server之后，接下来就要进入SQL脚本数据分析任务的开发阶段，用户可以选择底层分布式存储系统中不同数据库，表和列中的元数据信息进行业务逻辑的开发。而为了判断用户是否拥有这些数据库，表，列对应具体数据的访问权限，基于数据安全的准则，需要进行严格控制。传统的数据安全通常是对具体的数据文件，数据内容进行访问限制以达到数据安全管理的目的，而在本技术方案中，并不对具体的数据内容进行安全限制，创新性地通过对数据的元数据进行权限控制，以期达到对数据内容的安全管控。元数据相对于具体数据文件来说，是非常小的一部分数据，通过对极小一部分数据的安全控制进而达到对海量数据的安全管理是非常有效的数据安全管理办法。本技术方案中，可以通过Flink CDC技术对hive的元数据-mysql中涉及的库，表，字段的信息进行实时的采集，在获取到底层分布式存储系统中所有数据的元数据信息之后，构建对应的元数据管理服务，以对获取到的元数据进行不同安全级别的分类分级管理。

在本申请的实施例中，数据中台系统还包括：数据库语法解析模块，用于接收数据库操作脚本，并基于预设语法树对数据库操作脚本进行解析以得到元数据；数据权限管理模块，用于存储用户权限信息，其中，用户权限信息包括项目id、成员编号、项目id或成员编号对应的元数据、登录账号对应的项目id、成员编号，以及登录账号对应的元数据；数据鉴权服务，用于将数据库操作脚本解析得到的元数据与数据权限管理模块预存的用户权限信息进行对比，以确认登录账号是否具备元数据的访问权限。

如图5所示，数据中台系统还包括数据库语法解析模块、数据权限管理模块以及数据鉴权服务。具体地，数据权限管理模块负责维护和管理，用户与元数据，项目与元数据，用户与项目之间的所属关系和访问权限关系，通过该服务就可以根据项目id或者员工编号查询到该用户可以访问哪些库表字段等元数据信息以及具体项目可以访问哪些库表字段等元数据信息。这些模块都属于数据中台系统，为了配合后续的数据权限预检功能实现，在数据中台系统中，创新性地开发了SQL数据库语法解析模块，该模块的主要功能是接收用户传输过来的SQL脚本，并从SQL脚本中，通过预设语法树即AST语法树解析技术将其中的库表字段等元数据信息解析出来。将解析到的库表字段等元数据信息结合用户id和项目id信息，在具备数据权限预检功能的数据鉴权服务中进行用户、项目所访问的库表字段等权限的确权，数据鉴权服务会将用户传输进来的元数据，项目，用户id等信息与数据权限管理模块中管理员手动维护的该用户和项目所拥有的库表字段权限信息进行比对，如果一致，说明用户有权限访问对应的数据的元数据，如果不一致，说明用户或者项目没有权限访问SQL脚本相应的元数据。

在本申请的实施例中，数据鉴权服务还用于：在确认完毕登录账号是否具备元数据的访问权限的情况下，生成对应的鉴权成功信息或鉴权失败信息，并将鉴权成功信息或鉴权失败信息返回至多租户平台的服务层。

在本技术方案中，数据鉴权服务还可以在确认完毕登录账号是否具备元数据的访问权限的情况下，生成对应的鉴权成功信息或鉴权失败信息，并将鉴权成功信息或鉴权失败信息返回至kyuubi Server。具体地，数据中台系统可以根据接收到的用户信息和SQL脚本在数据鉴权服务中进行元数据权限的确权。如果鉴权通过，则返回鉴权成功的信息到Kyuubi Server，如果鉴权不通过，则返回鉴权失败的信息到Kyuubi Server。

在本申请的实施例中，多租户平台还用于：在接收到数据鉴权服务返回的鉴权成功信息的情况下，通过引擎层将数据库操作脚本发送至目标计算引擎；在接收到数据鉴权服务返回的鉴权失败信息的情况下，通过服务层生成针对不具备访问权限的提示信息并返回至终端，以终止上传数据库操作脚本。

在本技术方案中，数据鉴权服务还可以在确认完毕登录账号是否具备元数据的访问权限的情况下，生成对应的鉴权成功信息或鉴权失败信息，并将鉴权成功信息或鉴权失败信息返回至kyuubi Server。具体地，数据中台系统可以根据接收到的用户信息和SQL脚本在数据鉴权服务中进行元数据权限的确权。如果鉴权通过，则返回鉴权成功的信息到Kyuubi Server，Kyuubi server就可以将该statement继续提交给后台的Kyuubi Engine。kyuubi Engine维护了与每个计算引擎例如Flink SQL、Spark SQL 、Trino、hive、Dorisdb的会话信息，kyuubi Engine通过会话信息将SQL脚本分析任务提交到指定的计算引擎上去执行。如果鉴权不通过，Kyuubi Server就直接返回权限不够的错误信息给到用户，SQL脚本的执行就此中断，即在用户还没有接触到底层分布式存储系统中的真实数据之前就停止用户的访问操作。之后用户需要向数据中台系统中的数据权限管理模块中申请相应的元数据权限，有了相应的权限之后才能继续发起登录和提交任务请求，进而向计算系统中的计算引擎提交查询任务的SQL脚本。

在本申请的实施例中，多租户平台还包括：安全验证模块，用于调用多租户平台构建的针对统一用户认证系统和数据中台系统的工具包，以使得多租户平台与统一用户认证系统和数据中台系统连接。

在本技术方案中，统一用户认证系统作为一个单独的服务可以与kyuubi同时并行运行，当有用户登录kyuubi server时，kyuubi sever就将该登录请求发送到外部的统一用户认证系统中的统一认证中心进行登录账号的确权。本技术方案中，为了解决在KyuubiServer中调用外部统一认证服务的问题，并对kyuubi server屏蔽统一认证的实现过程，尽量保持kyuubi server代码的纯净性和业务逻辑的清晰明了，开发了统一认证用户审计功能的工具包sdk。在该sdk内封装了统一认证用户审计功能的具体方法和服务接口连接信息，在kyuubi server的安全验证模块中，开发了自定义的安全验证方法，并在该安全验证模块中引入上述sdk，并调用sdk中封装的统一认证用户权限验证方法。当用户登录kyuubiserver，传入用户名和密码，即可通过调用sdk访问统一用户认证系统，从而实现登录账号验证。如果验证通过，用户就可以成功登录kyuubi-server，进行后续的SQL脚本数据分析任务，如若验证不通过，用户则无法登录kyuubi server，进而中断SQL脚本的执行。同时，在本技术方案中，为了保持kyuubi server代码的纯洁性和业务逻辑的纯粹性，可以将数据中台中数据鉴权服务等模块封装至上述sdk中，该sdk中包含有SQL脚本解析，元数据鉴权服务的方法和服务地址信息。在Kyuubi Server中，通过代码重构，创新性地在Executement类中调用数据鉴权服务的sdk，将Kyuubi Server中用户的id，statement（SQL脚本）通过sdk传输给数据中台系统中的数据鉴权服务，从而通过数据鉴权服务确认登录账号是否具备针对SQL解析出来的元数据的访问权限。

通过上述创新性的流程设计和技术创新，实现了所有大数据计算引擎的统一登录，统一认证鉴权，通过统一用户认证系统，实现了所有用户的独立账户登录和分别授权。同时，通过元数据的采集和元数据－用户－项目鉴权模型的设计，可以在数据中台系统相关模块中快速维护和配置登录用户的元数据权限，并通过在Kyuubi侧调用数据中台系统中的数据鉴权服务sdk接口，实现了对海量数据高效的权限和安全管理。通过数据安全鉴权的SQL脚本就可以提交到任意SQL脚本分析引擎进行执行，获取数据进行计算，并返回最终结果给到用户。本技术方案提出了一种高效全新的数据安全管理控制方案，有效地保障了生产数据的安全以及数据操作权限的审批执行，简化了传统数据安全管理方式需要进行大规模IT系统建设维护的弊端，为数据安全行业提供了一种简单易行的方案。

在本技术方案中，采用了创新性的流程设计和技术创新，实现了多种计算引擎的统一登录鉴权，统一任务提交，并通过数据中台系统中的SQL预检功能设计，实现了海量数据的高效数据权限和安全预检，是一种极具竞争力的数据安全方案。本技术方案创新性地引入了多租户平台kyuubi，通过代码重构使其可以同时支持Flink SQL、Spark SQL，Trino，hive、Dorisdb等多种计算引擎，做到了统一SQL入口。并创新性地开发和设计了用户认证系统，并在Kyuubi Server侧集成了统一用户认证系统，实现了用户登录不同计算引擎时的统一认证，避免了维护多套账户密码，多套jdbc连接的复杂低效做法，同时也实现了不同用户的独立认证，避免了使用公共用户带来的权限无法有效管控的问题。同时，创新性地设计和开发了元数据采集服务，用户管理，项目管理，数据权限管理，SQL解析服务，数据鉴权服务等数据中台系统的核心安全管控服务，设计出了元数据－用户－项目－权限的4维对应关系，为数据的鉴权提供了很好的基础。在kyuubi server侧创新地集成了具备数据鉴权服务的数据中台系统，成功实现了对用户－项目所拥有的元数据权限的确权。在SQL真正执行前就完成了数据权限的验证和审计，通过该创新性的SQL预检功能，极大地提高数据安全的管理和审计效率。创新性地实现了用户可以任意指定SQL执行引擎，具有很高的灵活性，提高了开发效率，满足各种场景下的开发需求。

还需要说明的是，术语“包括”“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所做的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (7)

1.一种用于数据计算的安全管理系统，其特征在于，所述安全管理系统包括：

多租户平台，包括接口层、服务层、引擎层，所述接口层用于提供统一结构化数据接口，并基于所述统一结构化数据接口获取终端发起的登录请求以及所述终端提交的数据库操作脚本，所述登录请求携带有登录账号；所述服务层与统一用户认证系统和数据中台系统连接，用于将所述登录请求发送至所述统一用户认证系统，并在所述登录请求验证通过的情况下，将所述数据库操作脚本发送至所述数据中台系统；所述引擎层与计算系统连接，用于在所述登录账号具备针对所述数据库操作脚本解析出来的元数据的访问权限的情况下，确定与所述数据库操作脚本对应的目标计算引擎，并将所述数据库操作脚本发送至所述目标计算引擎；

所述统一用户认证系统，包括权限管理模块、统一认证中心以及账号管理模块，所述账号管理模块与多个业务系统连接，用于采集所述用户在每个业务系统的账号信息；所述权限管理模块用于基于多个账号信息为所述登录账号配置统一登录权限和统一访问权限；所述统一认证中心用于接收所述登录请求，并基于所述登录请求与所述权限管理模块和所述账号管理模块进行交互，以验证所述登录账号是否具备登录权限；

所述数据中台系统，包括元数据管理服务、数据库语法解析模块、数据权限管理模块以及数据鉴权服务，所述元数据管理服务用于获取分布式存储系统中的所有元数据，并对所有元数据进行分级管理；所述数据库语法解析模块用于接收所述数据库操作脚本，并基于预设语法树对所述数据库操作脚本进行解析以得到所述元数据；所述数据权限管理模块用于存储所述用户权限信息，其中，所述用户权限信息包括项目id、成员编号、所述项目id或所述成员编号对应的元数据、所述登录账号对应的项目id、成员编号，以及所述登录账号对应的元数据；所述数据鉴权服务用于将所述数据库操作脚本解析得到的元数据与所述数据权限管理模块预存的用户权限信息进行对比，以确认所述登录账号是否具备所述元数据的访问权限；

所述分布式存储系统，用于存储所述安全管理系统所需的所有业务数据以及所有业务数据对应的元数据，并根据所述数据库操作脚本解析得到的元数据提供对应的计算数据；

所述计算系统，包括多种计算引擎，用于提供与所述数据库操作脚本对应的目标计算引擎，所述目标计算引擎用于将所述数据库操作脚本解析成对应的计算任务；基于所述元数据获取对应的计算数据，以基于所述计算数据执行所述计算任务，并将计算结果返回至所述终端。

2.根据权利要求1所述的用于数据计算的安全管理系统，其特征在于，所述统一用户认证系统还包括：

应用管理模块，用于将所述多租户平台在所述统一用户认证系统中进行注册，以激活所述统一用户认证系统；

登录日志模块，用于生成与所述登录请求对应的日志并进行存储；

验证日志模块，用于在所述统一认证中心对所述登录账号进行验证的过程中生成对应的验证日志并进行存储。

3.根据权利要求1所述的用于数据计算的安全管理系统，其特征在于，所述多个业务系统至少包括流程管理系统、人力管理系统以及客户管理系统，所述统一用户认证系统还包括：

账户中心，用于维护并存储所述登录账号与所述流程管理系统、所述人力管理系统以及所述客户管理系统的关联信息。

4.根据权利要求1所述的用于数据计算的安全管理系统，其特征在于，所述数据中台系统包括：

项目管理模块，用于管理针对所述多个业务系统的多个任务项目；

用户管理模块，用于管理每个任务项目对应的项目成员信息。

5.根据权利要求1所述的用于数据计算的安全管理系统，其特征在于，所述数据鉴权服务还用于：

在确认完毕所述登录账号是否具备所述元数据的访问权限的情况下，生成对应的鉴权成功信息或鉴权失败信息，并将所述鉴权成功信息或所述鉴权失败信息返回至所述多租户平台的服务层。

6.根据权利要求5所述的用于数据计算的安全管理系统，其特征在于，所述多租户平台还用于：

在接收到所述数据鉴权服务返回的鉴权成功信息的情况下，通过所述引擎层将所述数据库操作脚本发送至所述目标计算引擎；

在接收到所述数据鉴权服务返回的鉴权失败信息的情况下，通过所述服务层生成针对不具备访问权限的提示信息并返回至所述终端，以终止上传所述数据库操作脚本。

7.根据权利要求1所述的用于数据计算的安全管理系统，其特征在于，所述多租户平台还包括：

安全验证模块，用于调用所述多租户平台构建的针对所述统一用户认证系统和所述数据中台系统的工具包，以使得所述多租户平台与所述统一用户认证系统和所述数据中台系统连接。