CN111177788A

CN111177788A - Hive的动态脱敏方法及动态脱敏系统

Info

Publication number: CN111177788A
Application number: CN202010012255.5A
Authority: CN
Inventors: 黄玉龙; 吴芳; 陈锦; 王禹
Original assignee: Beijing Venus Information Security Technology Co Ltd; China Information Technology Security Evaluation Center
Current assignee: Beijing Venus Information Security Technology Co Ltd; China Information Technology Security Evaluation Center
Priority date: 2020-01-07
Filing date: 2020-01-07
Publication date: 2020-05-19

Abstract

本申请提供了一种Hive的动态脱敏方法及动态脱敏系统，动态脱敏方法包括以下步骤：获取Hive SQL语句；对获取的Hive SQL语句进行脱敏化处理，得到脱敏化处理后的Hive SQL语句；获取脱敏化处理后的Hive SQL语句对应的请求结果。本申请通过网关代理服务器访问大数据平台里的Hive，根据可视化管理平台配置的脱敏策略，网关代理服务器对客户端请求的Hive SQL语句进行脱敏化处理，返回脱敏数据。本申请能够显著地降低敏感数据泄露的风险；本申请借助动态数据脱敏技术，屏蔽敏感信息，还可以使屏蔽的信息保留其原始数据格式和属性，以确保应用程序可在使用脱敏数据的开发与测试过程中正常运行。

Description

Hive的动态脱敏方法及动态脱敏系统

技术领域

本申请属于计算机技术领域，具体涉及一种Hive的动态脱敏方法及动态脱敏系统。

背景技术

Hive是基于Hadoop(Hadoop是一个由Apache基金会所开发的分布式系统基础架构)的一个数据仓库工具，用来进行数据提取、转化和加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行；其中，Hive定义了一套自己的SQL查询语言Hive SQL(Hive Structured Query Language，Hive结构化查询语言)，Hive SQL与关系型数据库的SQL有所不同，但支持绝大多数的语句如DDL、DML以及常见的聚合函数、连接查询、条件查询。Hive不适合联机事务处理和实时查询功能，也不提供实时查询功能，它最适合应用在基于大量不可变数据的批处理作业。

Hive作为Hadoop大数据生态系统中一个重要的数据仓库组件，集中存放许多数据资源，可能会包含隐私及敏感信息。通过Hive操纵数据时，因为数据安全管理安全意识淡薄，极易引发敏感数据泄露的风险，带来不可估量损失，因此必须通过安全管控手段进行数据防泄漏保护，数据脱敏就是其中一种重要的数据防泄漏手段。

数据脱敏可以分为静态数据脱敏和动态数据脱敏，对于静态脱敏来说，数据管理员提前对数据进行不同级别的脱敏处理，生成不同安全级别的数据，然后授予不同用户访问不同安全级别数据的权限。对于动态脱敏来说，管理员通过原数据管理不同用户访问具体数据的安全权限，在用户访问数据的时候，动态的从原始数据中按照用户权限动态的进行脱敏处理。相比而言，动态脱敏因用户无感知，性能损耗低，灵活的扩展多个优点，在大数据环境中推荐使用。然而，现有技术中并不存在Hive的动态脱敏方法。

发明内容

为至少在一定程度上克服相关技术中存在的问题，本申请提供了一种Hive的动态脱敏方法及动态脱敏系统。

根据本申请实施例的第一方面，本申请提供了一种动态脱敏方法，其包括以下步骤：

获取Hive SQL语句；

对获取的Hive SQL语句进行脱敏化处理，得到脱敏化处理后的HiveSQL语句；

获取脱敏化处理后的Hive SQL语句对应的请求结果。

上述Hive的动态脱敏方法中，所述对获取的Hive SQL语句进行脱敏化处理包括对获取的Hive SQL语句进行解析和改造。

进一步地，所述对获取的Hive SQL语句进行解析时，采用开源语法分析器Antlr对获取的Hive SQL语句的词法和语法进行解析，转换成抽象语法树AST。

更进一步地，所述对获取的Hive SQL语句进行改造的过程为：

从Hive SQL语句转换成的抽象语法树AST中获取需要查询的表和字段信息；

查询脱敏策略表，并从所述脱敏策略表中获取查询到的所述表的所述字段需要脱敏的内容；

将在所述抽象语法树AST中找到的所述字段在Hive SQL语句中的位置进行替换。

上述Hive的动态脱敏方法还包括以下步骤：对不同的用户角色配置相应的脱敏策略。

根据本申请实施例的第二方面，本申请提供了一种动态脱敏系统，其包括客户端、网关代理服务器和Hive；

所述客户端将请求执行的Hive SQL语句发送给所述网关代理服务器；

所述网关代理服务器对接收到的Hive SQL语句进行脱敏化处理，得到脱敏化处理后的Hive SQL语句，并将脱敏化处理后的Hive SQL语句发送给所述Hive；

所述Hive根据脱敏化处理后的Hive SQL语句得到脱敏化处理后的HiveSQL语句对应的请求结果，并将请求结果通过所述网关代理服务器透传给所述客户端。

上述Hive的动态脱敏系统中，所述网关代理服务器包括解析模块和改造模块；

所述解析模块用于对客户端请求执行的Hive SQL语句进行解析，得到抽象语法树AST，获取需要查询的表和字段信息；

所述改造模块用于根据脱敏策略表将在抽象语法树AST中找到的字段在Hive SQL语句中的位置进行替换，得到脱敏化处理后的Hive SQL语句。

进一步地，上述Hive的动态脱敏系统中还包括可视化管理平台，所述可视化管理平台与网关代理服务器连接，用于构建用户角色体系、管理网关代理服务器内置的脱敏规则，并为不同的用户角色配置相应的脱敏策略。

更进一步地，所述可视化管理平台包括用户角色管理模块，动态脱敏规则管理模块，脱敏管理模块；

所述用户角色管理模块，用于为访问Hive的客户端构建用户角色体系；

所述动态脱敏规则管理模块，用于对网关代理服务器内置的脱敏规则进行管理；

所述脱敏管理模块，用于针对不同的网关代理服务器的角色以及不同表字段配置不同的脱敏策略。

更进一步地，所述脱敏管理模块的工作过程为：

通过浏览器访问脱敏管理模块，新增脱敏策略；

选择需要应用脱敏策略的角色；

可视化的选择指定现有Hive中需要脱敏的字段列；

选择应用的脱敏规则并配置相应参数；

将脱敏策略下发到网关代理服务器的进程中。

根据本申请的上述具体实施方式可知，至少具有以下有益效果：本申请通过网关代理服务器访问大数据平台里的Hive，根据可视化管理平台配置的脱敏策略，网关代理服务器对客户端请求的Hive SQL语句进行脱敏化处理，返回脱敏数据；本申请借助动态数据脱敏技术，屏蔽敏感信息，并使屏蔽的信息保留其原始数据格式和属性，以确保应用程序可在使用脱敏数据的开发与测试过程中正常运行；本申请还能够显著地降低敏感数据泄露的风险。

应了解的是，上述一般描述及以下具体实施方式仅为示例性及阐释性的，其并不能限制本申请所欲主张的范围。

附图说明

下面的所附附图是本申请的说明书的一部分，其示出了本申请的实施例，所附附图与说明书的描述一起用来说明本申请的原理。

图1为现有技术中客户端访问Hive的流程图。

图2为本申请具体实施方式提供的一种Hive的动态脱敏方法的流程图。

图3为本申请具体实施方式提供的一种Hive的动态脱敏方法中生成的抽象语法树AST的结构示意图。

图4为本申请具体实施方式提供的一种Hive的动态脱敏系统的结构框图之一。

图5为本申请具体实施方式提供的一种Hive的动态脱敏系统的结构框图之二。

附图标记说明：

1、客户端；2、网关代理服务器；3、Hive；4、可视化管理平台。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚明白，下面将以附图及详细叙述清楚说明本申请所揭示内容的精神，任何所属技术领域技术人员在了解本申请内容的实施例后，当可由本申请内容所教示的技术，加以改变及修饰，其并不脱离本申请内容的精神与范围。

本申请的示意性实施例及其说明用于解释本申请，但并不作为对本申请的限定。另外，在附图及实施方式中所使用相同或类似标号的元件/构件是用来代表相同或类似部分。

关于本文中所使用的“第一”、“第二”、…等，并非特别指称次序或顺位的意思，也非用以限定本申请，其仅为了区别以相同技术用语描述的元件或操作。

关于本文中所使用的方向用语，例如：上、下、左、右、前或后等，仅是参考附图的方向。因此，使用的方向用语是用来说明并非用来限制本创作。

关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等，均为开放性的用语，即意指包含但不限于。

关于本文中所使用的“及/或”，包括所述事物的任一或全部组合。

关于本文中的“多个”包括“两个”及“两个以上”；关于本文中的“多组”包括“两组”及“两组以上”。

某些用以描述本申请的用词将于下或在此说明书的别处讨论，以提供本领域技术人员在有关本申请的描述上额外的引导。

图1为现有技术中客户端访问Hive的流程图。如图1所示，在现有技术中，客户端将Hive SQL语句发送给Hive，Hive根据接收到的Hive SQL语句将查询结果反馈给客户端。由于Hive中的数据可能包含隐私及敏感信息，通过Hive操纵数据极易引发敏感数据的泄露，进而带来不可估量的损失；因此需要研发一种Hive的动态脱敏方法。

图2为本申请具体实施方式提供的一种Hive的动态脱敏方法的流程图。如图2所示，本申请提供的Hive的动态脱敏方法包括以下步骤：

S1、获取Hive SQL语句。

S2、对获取的Hive SQL语句进行脱敏化处理，得到脱敏化处理后的HiveSQL语句。

S3、获取脱敏化处理后的Hive SQL语句对应的请求结果。

上述步骤S1中，可以从智能手机、电脑等客户端获取Hive SQL语句。

上述步骤S2中，对获取的Hive SQL语句进行脱敏化处理具体包括对获取的HiveSQL语句进行解析和改造。

对获取的Hive SQL语句进行解析时，采用开源语法分析器Antlr对获取的HiveSQL语句的词法和语法进行解析，转换成抽象语法树AST，这个抽象语法树AST能够很方便的实现对特定字段位置的查找以及字段的替换，并能够自由的实现由抽象语法树AST还原成Hive SQL语句。例如，对于一条查询语句：“select*frompeople；”，开源语法分析器Antrl生成的抽象语法树AST的结构如图3所示。其中，利用开源语法分析器Antlr生成抽象语法树AST属于现有技术，在此不再赘述。

在图3中，节点TOK_QUERY表示该节点以下是一个select语句，TOK_FROM表示的是该节点以下是from部分，其他节点同理。从这个语法树中可以很容易地找到Hive SQL语句中字段的位置，从而可以确定需要的表名、列字段名等。

对获取的Hive SQL语句进行解析完成后，根据网关代理服务器内置或用户定义的脱敏策略，对解析后的Hive SQL语句进行改造，生成脱敏化处理后的Hive SQL语句，其具体改造过程为：

从Hive SQL语句转换成的抽象语法树AST中获取需要查询的表和字段信息。

查询脱敏策略表，并从该脱敏策略表中获取查询到的该表的该字段需要脱敏的内容。

将在抽象语法树AST中找到的该字段在Hive SQL语句中的位置进行替换。具体地，可以是对字段套上函数的字符串，或*、NULL等字符串进行替换。

其中，脱敏策略是指用户针对特定需要模糊化的列配置的脱敏方法。内置预设了一些常用的脱敏方式，如“身份证号码脱敏”、“全部字符替换”、“手机号码脱敏”、“邮箱脱敏”等，还可以添加自定义的脱敏策略。

使用时，抽象语法树AST获得了解析后的Hive SQL语句的所有字段，然后匹配脱敏策略表中客户端及脱敏字段，确定当前解析后的Hive SQL语句是否需要改造及如何改造。

例如，有一条脱敏策略：客户端A查询people中姓名字段的时候进行姓名脱敏。其中，姓名脱敏是网关代理服务器中内置的一种脱敏方法，该方法要求只保留姓名的姓，名字用*表示。

当客户端A通过网关代理服务器访问Hive时，

首先，网关代理服务器获取到连接的客户端是客户端A。

其次，对客户端A请求中协议进行解析，捕获到客户端A执行了一条Hive SQL语句“select name frompeople”，对这条Hive SQL语句进行解析，得到抽象语法树AST，获取需要查询的表和字段信息。

再次，查询脱敏策略表，获取这个people表的name字段在客户端A请求的时候需要进行姓名脱敏，则将在抽象语法树AST中找到的name字段在Hive SQL语句中的位置替换为“concat(substring(name,0,1),repeat('*',length(name)))”，得到脱敏后的Hive SQL语句“selectconcat(substring(name,0,1),repeat('*',length(name)))frompeople”。

最后，将脱敏后的Hive SQL语句发送给Hive执行，网关代理服务器将Hive返回的结果直接反馈给客户端A。

本申请实施例提供的Hive的动态脱敏方法还包括以下步骤：对不同的用户角色配置相应的脱敏策略。

本申请提供的Hive的动态脱敏方法可以在网关代理服务器中执行，其通过对客户端请求执行的Hive SQL语句进行脱敏以达到对客户端请求数据的脱敏。

图4为本申请具体实施方式提供的一种Hive的动态脱敏系统的结构框图之一。如图4所示，基于本申请提供的Hive的动态脱敏方法，本申请提供的一种Hive的动态脱敏系统包括客户端、网关代理服务器和Hive，其中，客户端将请求执行的Hive SQL语句发送给网关代理服务器，网关代理服务器对接收到的Hive SQL语句进行脱敏化处理，得到脱敏化处理后的HiveSQL语句，并将脱敏化处理后的Hive SQL语句发送给Hive。Hive根据脱敏化处理后的Hive SQL语句得到脱敏化处理后的Hive SQL语句对应的请求结果，并将请求结果通过网关代理服务器透传给客户端。

上述实施例中，网关代理服务器包括解析模块和改造模块。其中，解析模块用于对客户端请求执行的Hive SQL语句进行解析，得到抽象语法树AST，获取需要查询的表和字段信息。改造模块用于根据脱敏策略表将在抽象语法树AST中找到的字段在Hive SQL语句中的位置进行替换，得到脱敏化处理后的Hive SQL语句。

图5为本申请具体实施方式提供的一种Hive的动态脱敏系统的结构框图之二。如图5所示，为便于对网关代理服务器中设置的脱敏策略表进行维护，本申请实施例提供的Hive的动态脱敏系统中还设置有可视化管理平台。其中，可视化管理平台与网关代理服务器连接，用于构建用户角色体系、管理网关代理服务器内置的脱敏规则，并为不同的用户角色配置相应的脱敏策略。

可视化管理平台包括用户角色管理模块，动态脱敏规则管理模块，脱敏管理模块。

用户角色管理模块，用于为访问Hive的客户端构建用户角色体系，后续用户认证和脱敏规则的判定都基于该构建的用户角色体系。具体地，可以通过手动录入、批量文件导入、第三方接口获取的方式创建网关代理服务器使用的用户角色。

动态脱敏规则管理模块，用于对网关代理服务器内置的脱敏规则进行管理。动态脱敏规则管理模块内置几十种脱敏规则，这些内置的脱敏规则包括了常用的敏感数据类型脱敏方法，如身份证号码、银行卡号、车牌号、邮箱、姓名、住址、ip，护照等的脱敏，并还可以添加自主实现的脱敏函数(Hive中的UDF)作为脱敏方法，能够灵活的扩展脱敏策略。

脱敏管理模块，用于针对不同的网关代理服务器的角色以及不同表字段配置不同的脱敏策略。

脱敏管理模块的工作过程为：

通过浏览器访问脱敏管理模块，新增脱敏策略。

选择需要应用脱敏策略的角色。

可视化的选择指定现有Hive中需要脱敏的字段列。

选择应用的脱敏规则并配置相应参数。

将脱敏策略下发到网关代理服务器的进程中。

客户端通过网关代理服务器访问大数据平台里的Hive，借助动态数据脱敏技术，屏蔽敏感信息，能够对敏感信息泄进行安全防护，结合的特定的脱敏方法如保型加密等，能够保留数据的特性，确保应用程序在使用脱敏数据的开发与测试过程中正常运行。

上述的本申请实施例可在各种硬件、软件编码或两者组合中进行实施。例如，本申请的实施例也可为在数据信号处理器(Digital Signal Processor，DSP)中执行上述方法的程序代码。本申请也可涉及计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(Field Programmable GateArray，FPGA)执行的多种功能。可根据本申请配置上述处理器执行特定任务，其通过执行定义了本申请揭示的特定方法的机器可读软件代码或固件代码来完成。可将软件代码或固件代码发展为不同的程序语言与不同的格式或形式。也可为不同的目标平台编译软件代码。然而，根据本申请执行任务的软件代码与其他类型配置代码的不同代码样式、类型与语言不脱离本申请的精神与范围。

以上所述仅为本申请示意性的具体实施方式，在不脱离本申请的构思和原则的前提下，任何本领域的技术人员所做出的等同变化与修改，均应属于本申请保护的范围。

Claims

1.一种Hive的动态脱敏方法，其特征在于，包括以下步骤：

获取Hive SQL语句；

对获取的Hive SQL语句进行脱敏化处理，得到脱敏化处理后的Hive SQL语句；

获取脱敏化处理后的Hive SQL语句对应的请求结果。

2.根据权利要求1所述的Hive的动态脱敏方法，其特征在于，所述对获取的Hive SQL语句进行脱敏化处理包括对获取的Hive SQL语句进行解析和改造。

3.根据权利要求2所述的Hive的动态脱敏方法，其特征在于，所述对获取的Hive SQL语句进行解析时，采用开源语法分析器Antlr对获取的Hive SQL语句的词法和语法进行解析，转换成抽象语法树AST。

4.根据权利要求3所述的Hive的动态脱敏方法，其特征在于，所述对获取的Hive SQL语句进行改造的过程为：

5.根据权利要求1或2或3或4所述的Hive的动态脱敏方法，其特征在于，还包括以下步骤：对不同的用户角色配置相应的脱敏策略。

6.一种Hive的动态脱敏系统，其特征在于，包括客户端、网关代理服务器和Hive；

所述Hive根据脱敏化处理后的Hive SQL语句得到脱敏化处理后的Hive SQL语句对应的请求结果，并将请求结果通过所述网关代理服务器透传给所述客户端。

7.根据权利要求6所述的Hive的动态脱敏系统，其特征在于，所述网关代理服务器包括解析模块和改造模块；

8.根据权利要求6所述的Hive的动态脱敏系统，其特征在于，还包括可视化管理平台，所述可视化管理平台与网关代理服务器连接，用于构建用户角色体系、管理网关代理服务器内置的脱敏规则，并为不同的用户角色配置相应的脱敏策略。

9.根据权利要求8所述的Hive的动态脱敏系统，其特征在于，所述可视化管理平台包括用户角色管理模块，动态脱敏规则管理模块，脱敏管理模块；

10.根据权利要求8所述的Hive的动态脱敏系统，其特征在于，所述脱敏管理模块的工作过程为：

通过浏览器访问脱敏管理模块，新增脱敏策略；

选择需要应用脱敏策略的角色；

可视化的选择指定现有Hive中需要脱敏的字段列；

选择应用的脱敏规则并配置相应参数；

将脱敏策略下发到网关代理服务器的进程中。