CN113343297A - 一种Hive数据遮蔽方法、系统、电子设备及存储介质 - Google Patents
一种Hive数据遮蔽方法、系统、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113343297A CN113343297A CN202110677258.5A CN202110677258A CN113343297A CN 113343297 A CN113343297 A CN 113343297A CN 202110677258 A CN202110677258 A CN 202110677258A CN 113343297 A CN113343297 A CN 113343297A
- Authority
- CN
- China
- Prior art keywords
- syntax tree
- desensitization
- data
- hive
- sql
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000000586 desensitisation Methods 0.000 claims abstract description 59
- 230000000873 masking effect Effects 0.000 claims abstract description 52
- 238000010276 construction Methods 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 22
- 238000004458 analytical method Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 12
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 101100328884 Caenorhabditis elegans sqt-3 gene Proteins 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005215 recombination Methods 0.000 description 2
- 230000006798 recombination Effects 0.000 description 2
- 238000012550 audit Methods 0.000 description 1
- 230000001680 brushing effect Effects 0.000 description 1
- 239000003638 chemical reducing agent Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011068 loading method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6227—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Security & Cryptography (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Software Systems (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提出一种Hive数据遮蔽方法、系统、电子设备及存储介质，其方法技术方案包括SQL语句接收步骤，在Hive程序的执行过程中接收一SQL语句；语法树构建步骤，根据所述SQL语句构建一语法树；数据脱敏遮蔽步骤，将所述语法树进行脱敏后返回；SQL语句执行步骤，根据脱敏后的所述语法树创建对应的执行计划，并根据所述执行计划执行所述SQL语句，返回所述SQL语句的执行结果。本发明在Hive程序内部对SQL的执行进行干涉，可以在保留原有数据的正确、完整性的前提下，将所有执行的SQL输出的结果都进行脱敏。
Description
技术领域
本发明属于数据安全领域，尤其涉及一种Hive数据遮蔽方法、系统、电子设备及存储介质。
背景技术
数据中台蓬勃发展，如火如荼，呈现出一片欣欣向荣的繁华景象。但在这片繁花似锦背后，存在一个至关重要的问题，如不解决，便如同达摩克利斯之剑一般，一旦被发现利用，便会引发重大问题，造成极其恶劣的影响。这个问题就是数据的安全与伦理问题。数据中包含着用户的各种私密信息，如果不加遮掩的任由使用，被别有用心的人利用，将会带来非常严重的后果。
当前，部分公司为了对数据进行一定程度上的去敏感化，采用了多种方式来将原本的敏感数据脱敏。其中包括，在ETL数据清洗阶段对数据进行脱敏，或在提交查询语句阶段对语句进行改造进行脱敏。但是，改造SQL的方式过于粗暴，且改造方案并不一定适用于所有SQL，会有某些SQL在改造后执行失败或执行计划发生变更，不能保证正确性。在ETL数据清洗阶段对数据进行脱敏则将接入的原始数据修改，破坏了数据的完整性和准确性，丢失了一定的数据信息。
发明内容
本申请实施例提供了一种Hive数据遮蔽方法、系统、电子设备及存储介质，以至少解决现有Hive数据遮蔽方法无法保留原始值的问题。
第一方面，本申请实施例提供了一种Hive数据遮蔽方法，包括：SQL语句接收步骤，在Hive程序的执行过程中接收一SQL语句；语法树构建步骤，根据所述SQL语句构建一语法树；数据脱敏遮蔽步骤，将所述语法树进行脱敏后返回；SQL语句执行步骤，根据脱敏后的所述语法树创建对应的执行计划，并根据所述执行计划执行所述SQL语句，返回所述SQL语句的执行结果。
优选的，所述语法树构建步骤进一步包括：将所述SQL语句划分为一树形结构，并将所述SQL语句所操作的对象及操作类型进行节点解析，根据解析得到的所述节点构建所述语法树。
优选的，所述数据脱敏遮蔽步骤进一步包括：预设权限定义步骤，根据一脱敏需求定义一预设权限，根据所述预设权限对所述语法树进行数据遮蔽。
优选的，所述数据脱敏遮蔽步骤进一步包括：脱敏函数配置步骤，根据所述预设权限，将所述语法树内需要进行所述脱敏的所述节点配置脱敏函数以进行脱敏。
第二方面，本申请实施例提供了一种Hive数据遮蔽系统，适用于上述一种Hive数据遮蔽方法，包括：SQL语句接收模块，在Hive程序的执行过程中接收一SQL语句；语法树构建模块，根据所述SQL语句构建一语法树；数据脱敏遮蔽模块，将所述语法树进行脱敏后返回；SQL语句执行模块，根据脱敏后的所述语法树创建对应的执行计划，并根据所述执行计划执行所述SQL语句，返回所述SQL语句的执行结果。
在其中一些实施例中，所述语法树构建模块进一步包括：将所述SQL语句划分为一树形结构，并将所述SQL语句所操作的对象及操作类型进行节点解析，根据解析得到的所述节点构建所述语法树。
在其中一些实施例中，所述数据脱敏遮蔽模块进一步包括：预设权限定义单元，根据一脱敏需求定义一预设权限，根据所述预设权限对所述语法树进行数据遮蔽。
在其中一些实施例中，所述数据脱敏遮蔽模块进一步包括：脱敏函数配置单元，根据所述预设权限，将所述语法树内需要进行所述脱敏的所述节点配置脱敏函数以进行脱敏。
第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的一种Hive数据遮蔽方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的一种Hive数据遮蔽方法。
本申请可应用于数据能力领域。相比于相关技术，本申请实施例提供的一种Hive数据遮蔽方法对数据的脱敏，是在执行SQL前，在构建语法树时便将需要脱敏的数据节点添加上脱敏函数，既保留了数据的完整性，又保证了所有对数据的操作都进行了脱敏。其次，在与hive执行引擎交互时，是直接通过语法树来与其进行交互，并非通过改造SQL的方式进行交互，该方法一来简化了流程，只需要进行一次从SQL到语法树的转换，二来增加了安全性，避免改造SQL所带来的语法树结构上的大变更，杜绝了改造SQL导致解析语法树失败的可能性。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明的Hive数据遮蔽方法流程图；
图2图1中步骤S3的分步骤流程图；
图3为本发明的Hive数据遮蔽系统的框架图；
图4为本发明的电子设备的框架图；
以上图中：
1、SQL语句接收模块；2、语法树构建模块；3、数据脱敏遮蔽模块；4、SQL语句执行模块；31、预设权限定义单元；32、脱敏函数配置单元；60、总线；61、处理器；62、存储器；63、通信接口。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
Hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能；可以将SQL语句转换为MapReduce任务运行，通过自己的SQL查询分析需要的内容，这套SQL简称Hive SQL，使不熟悉mapreduce的用户可以很方便地利用SQL语言查询、汇总和分析数据。而mapreduce开发人员可以把自己写的mapper和reducer作为插件来支持hive做更复杂的数据分析。它与关系型数据库的SQL略有不同，但支持了绝大多数的语句如DDL、DML以及常见的聚合函数、连接查询、条件查询。它还提供了一系列的工具进行数据提取转化加载，用来存储、查询和分析存储在Hadoop中的大规模数据集，并支持UDF(User-Defined Function)、UDAF(User-Defnes AggregateFunction)和UDTF(User-Defined Table-Generating Func tion)，也可以实现对map和reduce函数的定制，为数据操作提供了良好的伸缩性和可扩展性。
数据脱敏是指对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护。在涉及客户安全数据或者一些商业性敏感数据的情况下，在不违反系统规则条件下，对真实数据进行改造并提供测试使用，如身份证号、手机号、卡号、客户号等个人信息都需要进行数据脱敏。数据安全技术之一，数据库安全技术主要包括：数据库漏扫、数据库加密、数据库防火墙、数据脱敏、数据库安全审计系统。数据库安全风险包括：拖库、刷库、撞库。
以下，结合附图详细介绍本发明的实施例：
图1为本发明的Hive数据遮蔽方法流程图，请参见图1，本发明Hive数据遮蔽方法包括如下步骤：
S1：在Hive程序的执行过程中接收一SQL语句。
S2：根据所述SQL语句构建一语法树；可选的，将所述SQL语句划分为一树形结构，并将所述SQL语句所操作的对象及操作类型进行节点解析，根据解析得到的所述节点构建所述语法树。
在具体实施中，在hive的执行过程中，hive程序接收到了SQL语句后，会将其划分成一个树形结构，该结构中将该SQL所操作的对象及操作的类型解析成一个个节点，再将各节点以一个树的形式清晰的展现出来，这便是语法树。
本申请提供一具体实施例对语法树的构建进行进一步说明，SQL语句selectcount(col1)from test013构建语法树后为以下形式：
S3：将所述语法树进行脱敏后返回。
图2为图1中步骤S3的分步骤流程图，请参见图2：
S31：根据一脱敏需求定义一预设权限，根据所述预设权限对所述语法树进行数据遮蔽；
S32：根据所述预设权限，将所述语法树内需要进行所述脱敏的所述节点配置脱敏函数以进行脱敏。
在具体实施中，若不执行脱敏，常规的操作为在构建完语法树后，hive便根据语法树创建对应的执行计划，并按照执行计划来执行指令，最终返回该语句的执行结果。在具体实施中，本申请实施例进行脱敏数据遮蔽操作，在构建完语法树后，会从语法树中获取从表内获取数据的节点统一发给权限操作，由权限操作将需要被脱敏的节点添加上脱敏函数，再将结果发送回hive程序。
请继续参见图1：
S4：根据脱敏后的所述语法树创建对应的执行计划，并根据所述执行计划执行所述SQL语句，返回所述SQL语句的执行结果。
在具体实施中，由hive程序将脱敏后的语法树构建成执行计划，对数据进行操作，并返回结果。
本申请直接通过语法树来与执行引擎进行交互，并非通过改造SQL的方式进行交互，简化了次分析、重组、并重新发送SQL的流程，结果更为准确，在hive程序内部对SQL的执行进行干涉，可以在保留原有数据的正确、完整性的前提下，将所有执行的SQL输出的结果都进行脱敏。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例提供了一种Hive数据遮蔽系统，适用于上述的一种Hive数据遮蔽方法。如以下所使用的，术语“单元”、“模块”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件、或者软件和硬件的组合的实现也是可能并被构想的。
图3为根据本发明的Hive数据遮蔽系统的框架图，请参见图3，包括：
SQL语句接收模块1：在Hive程序的执行过程中接收一SQL语句。
语法树构建模块2：根据所述SQL语句构建一语法树；可选的，将所述SQL语句划分为一树形结构，并将所述SQL语句所操作的对象及操作类型进行节点解析，根据解析得到的所述节点构建所述语法树。
在具体实施中，在hive的执行过程中，hive程序接收到了SQL语句后，会将其划分成一个树形结构，该结构中将该SQL所操作的对象及操作的类型解析成一个个节点，再将各节点以一个树的形式清晰的展现出来，这便是语法树。
本申请提供一具体实施例对语法树的构建进行进一步说明，SQL语句selectcount(col1)from test013构建语法树后为以下形式：
数据脱敏遮蔽模块3：将所述语法树进行脱敏后返回；可选的，数据脱敏遮蔽模块3进一步包括：
预设权限定义单元31：根据一脱敏需求定义一预设权限，根据所述预设权限对所述语法树进行数据遮蔽；
脱敏函数配置单元32：根据所述预设权限，将所述语法树内需要进行所述脱敏的所述节点配置脱敏函数以进行脱敏。
在具体实施中，若不执行脱敏，常规的操作为在构建完语法树后，hive便根据语法树创建对应的执行计划，并按照执行计划来执行指令，最终返回该语句的执行结果。在具体实施中，本申请实施例进行脱敏数据遮蔽操作，在构建完语法树后，会从语法树中获取从表内获取数据的节点统一发给权限操作，由权限操作将需要被脱敏的节点添加上脱敏函数，再将结果发送回hive程序。
SQL语句执行模块4：根据脱敏后的所述语法树创建对应的执行计划，并根据所述执行计划执行所述SQL语句，返回所述SQL语句的执行结果。
在具体实施中，由hive程序将脱敏后的语法树构建成执行计划，对数据进行操作，并返回结果。
本申请直接通过语法树来与执行引擎进行交互，并非通过改造SQL的方式进行交互，简化了次分析、重组、并重新发送SQL的流程，结果更为准确，在hive程序内部对SQL的执行进行干涉，可以在保留原有数据的正确、完整性的前提下，将所有执行的SQL输出的结果都进行脱敏。
另外，结合图1、图2描述的一种Hive数据遮蔽方法可以由电子设备来实现。图4为本发明的电子设备的框架图。
电子设备可以包括处理器61以及存储有计算机程序指令的存储器62。
具体地，上述处理器61可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器62可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器62可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器62可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器62可在数据处理装置的内部或外部。在特定实施例中，存储器62是非易失性(Non-Volatile)存储器。在特定实施例中，存储器62包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(RandomAccess Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory，简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-Access Memory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。
存储器62可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器61所执行的可能的计算机程序指令。
处理器61通过读取并执行存储器62中存储的计算机程序指令，以实现上述实施例中的任意一种Hive数据遮蔽方法。
在其中一些实施例中，电子设备还可包括通信接口63和总线60。其中，如图4所示，处理器61、存储器62、通信接口63通过总线60连接并完成相互间的通信。
通信端口63可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线60包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。总线60包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(Address Bus)、控制总线(ControlBus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线60可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，简称为EISA)总线、前端总线(FrontSide Bus，简称为FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count，简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture，简称为MCA)总线、外围组件互连(Peripheral Component Interconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment，简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus，简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线60可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
该电子设备可以执行本申请实施例中的一种Hive数据遮蔽方法。
另外，结合上述实施例中的一种Hive数据遮蔽方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种Hive数据遮蔽方法。
而前述的存储介质包括：U盘、移动硬盘、只读存储器(ReadOnly Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种Hive数据遮蔽方法，其特征在于，包括：
SQL语句接收步骤，在Hive程序的执行过程中接收一SQL语句；
语法树构建步骤，根据所述SQL语句构建一语法树；
数据脱敏遮蔽步骤，将所述语法树进行脱敏后返回；
SQL语句执行步骤，根据脱敏后的所述语法树创建对应的执行计划，并根据所述执行计划执行所述SQL语句，返回所述SQL语句的执行结果。
2.根据权利要求1所述的Hive数据遮蔽方法，其特征在于，所述语法树构建步骤进一步包括：将所述SQL语句划分为一树形结构，并将所述SQL语句所操作的对象及操作类型进行节点解析，根据解析得到的所述节点构建所述语法树。
3.根据权利要求2所述的Hive数据遮蔽方法，其特征在于，所述数据脱敏遮蔽步骤进一步包括：
预设权限定义步骤，根据一脱敏需求定义一预设权限，根据所述预设权限对所述语法树进行数据遮蔽。
4.根据权利要求3所述的Hive数据遮蔽方法，其特征在于，所述数据脱敏遮蔽步骤进一步包括：
脱敏函数配置步骤，根据所述预设权限，将所述语法树内需要进行所述脱敏的所述节点配置脱敏函数以进行脱敏。
5.一种Hive数据遮蔽系统，其特征在于，包括：
SQL语句接收模块，在Hive程序的执行过程中接收一SQL语句；
语法树构建模块，根据所述SQL语句构建一语法树；
数据脱敏遮蔽模块，将所述语法树进行脱敏后返回；
SQL语句执行模块，根据脱敏后的所述语法树创建对应的执行计划，并根据所述执行计划执行所述SQL语句，返回所述SQL语句的执行结果。
6.根据权利要求5所述的Hive数据遮蔽系统，其特征在于，所述语法树构建模块进一步包括：将所述SQL语句划分为一树形结构，并将所述SQL语句所操作的对象及操作类型进行节点解析，根据解析得到的所述节点构建所述语法树。
7.根据权利要求6所述的Hive数据遮蔽系统，其特征在于，所述数据脱敏遮蔽模块进一步包括：
预设权限定义单元，根据一脱敏需求定义一预设权限，根据所述预设权限对所述语法树进行数据遮蔽。
8.根据权利要求7所述的Hive数据遮蔽系统，其特征在于，所述数据脱敏遮蔽模块进一步包括：
脱敏函数配置单元，根据所述预设权限，将所述语法树内需要进行所述脱敏的所述节点配置脱敏函数以进行脱敏。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述的Hive数据遮蔽方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至4中任一项所述的Hive数据遮蔽方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110677258.5A CN113343297A (zh) | 2021-06-18 | 2021-06-18 | 一种Hive数据遮蔽方法、系统、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110677258.5A CN113343297A (zh) | 2021-06-18 | 2021-06-18 | 一种Hive数据遮蔽方法、系统、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113343297A true CN113343297A (zh) | 2021-09-03 |
Family
ID=77476351
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110677258.5A Pending CN113343297A (zh) | 2021-06-18 | 2021-06-18 | 一种Hive数据遮蔽方法、系统、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113343297A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110443059A (zh) * | 2018-05-02 | 2019-11-12 | 中兴通讯股份有限公司 | 数据保护方法及装置 |
| CN111177788A (zh) * | 2020-01-07 | 2020-05-19 | 北京启明星辰信息安全技术有限公司 | Hive的动态脱敏方法及动态脱敏系统 |
| CN112765658A (zh) * | 2021-01-15 | 2021-05-07 | 杭州数梦工场科技有限公司 | 一种数据脱敏方法、装置及电子设备和存储介质 |
-
2021
- 2021-06-18 CN CN202110677258.5A patent/CN113343297A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110443059A (zh) * | 2018-05-02 | 2019-11-12 | 中兴通讯股份有限公司 | 数据保护方法及装置 |
| CN111177788A (zh) * | 2020-01-07 | 2020-05-19 | 北京启明星辰信息安全技术有限公司 | Hive的动态脱敏方法及动态脱敏系统 |
| CN112765658A (zh) * | 2021-01-15 | 2021-05-07 | 杭州数梦工场科技有限公司 | 一种数据脱敏方法、装置及电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109960944A (zh) | 一种数据脱敏方法、服务器、终端及计算机可读存储介质 | |
| CN106778288A (zh) | 一种数据脱敏的方法及系统 | |
| US10754628B2 (en) | Extracting web API endpoint data from source code to identify potential security threats | |
| CN114625732B (zh) | 基于结构化查询语言sql的查询方法和系统 | |
| CN109829287A (zh) | Api接口权限访问方法、设备、存储介质及装置 | |
| CN112560100B (zh) | 数据脱敏方法及装置、计算机可读存储介质、电子设备 | |
| CN109710220B (zh) | 关系型数据库查询方法、装置、设备及存储介质 | |
| CN110764748A (zh) | 代码调用方法、装置、终端及存储介质 | |
| CN113177095A (zh) | 一种企业知识管理方法、系统、电子设备及存储介质 | |
| CN115827903A (zh) | 媒体信息的违规检测方法、装置、电子设备及存储介质 | |
| CN113868698A (zh) | 一种文件脱敏方法及设备 | |
| CN112162982A (zh) | 数据查询方法、装置、设备及介质 | |
| US10872085B2 (en) | Recording lineage in query optimization | |
| US10540157B2 (en) | Systems to remove object relational mappings from a software project | |
| CN113343297A (zh) | 一种Hive数据遮蔽方法、系统、电子设备及存储介质 | |
| CN113254470B (zh) | 一种数据更改方法、装置、计算机设备及存储介质 | |
| CN113656830A (zh) | 数据库脱敏语法解析方法、系统、计算机及可读存储介质 | |
| CN112416945A (zh) | 基于大数据平台的数据处理方法、系统和计算机设备 | |
| CN110209885B (zh) | 一种图查询方法及系统 | |
| CN110119402B (zh) | 数据查询方法、装置、设备及存储介质 | |
| CN109408368A (zh) | 一种测试辅助信息的输出方法、存储介质和服务器 | |
| US10719304B2 (en) | Computer program generation using a library | |
| KR102622018B1 (ko) | 보안데이터 처리장치, 보안데이터 처리방법 및 보안데이터를 처리하는 컴퓨터로 실행 가능한 프로그램을 저장하는 저장매체 | |
| KR101921123B1 (ko) | 메시지의 필드 인덱싱 방법 | |
| WO2023030461A1 (zh) | 一种分布式数据库检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |