CN108959867A - 一种基于Hive Matedata的多用户数据资产权限安全访问控制方法 - Google Patents

一种基于Hive Matedata的多用户数据资产权限安全访问控制方法 Download PDF

Info

Publication number
CN108959867A
CN108959867A CN201810569268.5A CN201810569268A CN108959867A CN 108959867 A CN108959867 A CN 108959867A CN 201810569268 A CN201810569268 A CN 201810569268A CN 108959867 A CN108959867 A CN 108959867A
Authority
CN
China
Prior art keywords
data
tables
user
founder
access
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810569268.5A
Other languages
English (en)
Inventor
刘勇
杨建党
马新强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201810569268.5A priority Critical patent/CN108959867A/zh
Publication of CN108959867A publication Critical patent/CN108959867A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Storage Device Security (AREA)

Abstract

一种基于Hive Matedata的多用户数据资产权限安全访问控制方法，包括：步骤1、用户基于Hive数据库建立数据访问权限模型；步骤2、用户基于Hive数据库新建数据表，当前用户根据所述数据访问权限模型分配不同读权限；步骤3、数据表创建成功后，根据所述数据访问权限模型和用户信息构建访问权限关系；步骤4、构建可查看数据列表；步骤5、当前用户申请可读授权；步骤6、当前用户要对数据表进行访问操作时，判断用户对表是写入操作，还是读取操作；步骤7、数据表的创建者可以删除其创建的数据表。将原来Hive的访问权限屏蔽，只给用户分配最低限度的数据访问权限，可以保证数据访问的权限控制机制最精简，控制效率最高，给用户的数据资产提供最高的安全控制。

Description

一种基于Hive Matedata的多用户数据资产权限安全访问控 制方法
技术领域
本发明涉及一种大数据的数据资产的访问控制方法，具体地说涉及一种基于HiveMatedata的多用户数据资产权限安全访问控制方法。
背景技术
随着现代信息技术的发展，各个方面产生地海量数据所蕴含的价值已经得到人们的充分认识，传统的数据处理工具也被hive、impala等大规模数据的处理工具所取代。hive数据库具备基础的权限控制，但很薄弱，无法对数据资产起到有效的保护作用。
发明内容
针对上述大数据方面元数据资产管理的缺陷，本发明提供了一种基于HiveMatedata的多用户数据资产权限安全访问控制方法。因此，本发明采用以下技术方案。
一种基于Hive Matedata的多用户数据资产权限安全访问控制方法，所述方法包括以下步骤：
步骤1、用户基于Hive数据库建立数据访问权限模型；
步骤2、用户基于Hive数据库新建数据表，当前用户根据所述数据访问权限模型给所述数据表分配三级不同读权限；
步骤3、数据表创建成功后，根据所述数据访问权限模型和用户信息构建访问权限关系；
步骤4、构建当前用户的可查看数据列表；
步骤5、当前用户向其他可见不可读的数据表的创建者，申请可读授权；数据表创建者确认授权后，当前用户才有权限读取表中的数据；否则，当前用户无权限读取表中的数据；
步骤6、当前用户要对数据表进行访问操作时，判断用户对表是写入操作，还是读取操作；
如果用户要对数据写入操作，判断当前用户是否是该数据表的创建者；如果是创建者，则权限通过；否则，拒绝操作；
如果用户要对数据读取操作，判断当前用户是否对该数据表具有读权限；如果有，则权限通过；否则，拒绝操作；
步骤7、数据表的创建者可以删除其创建的数据表。
优选的，所述数据访问权限模型包括：
一级写权限w1：只有数据表的创建者有写权限，保证了数据的安全性和一致性；
一级读权限r1：只有数据表的创建者对该数据表可见和可读，其他用户对该数据表不可见和不可读；
二级读权限r2：数据表的创建者对该数据表可见和可读，其他用户对该数据表可见，但不可读，由该数据表的创建者授权后可读；
三级读权限r3：所有用户对数据表可见和可读。
优选的，所述步骤4中的可查看数据列表中展示的内容是满足以下条件的数据表的并集：1）当前用户创建的数据表；2）访问等级为三级读权限r3的数据表；3）访问等级为二级读权限r2的数据表。
优选的，所述步骤6中进一步包括，如果用户要对数据读取操作，判断当前用户是否满足以下条件之一：1）当前用户是数据表的创建者；2）表访问等级为三级读权限r3；3）表访问等级为二级读权限r2，且表创建者已经给当前用户授权当前表的可读权限；如果满足条件，则权限通过；否则，拒绝操作。
优选的，二级读权限r2的数据表删除后，和该数据表关联的用户授权关系也同步删除。
本发明的有益效果是：将原来Hive的访问权限屏蔽，只给用户分配最低限度的数据访问权限，可以保证数据访问的权限控制机制最精简，控制效率最高，给用户的数据资产提供最高的安全控制。
附图说明
图1 是本发明中用户登录流程图。
图2 是本发明中操作提交流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于Hive Matedata的多用户数据资产权限安全访问控制方法，包括以下步骤：
1、用户基于Hive数据库建立数据访问权限模型，权限控制模型共划分为四级，如表1所示，分别为：一级写权限w1：只有数据表的创建者有写权限，保证了数据的安全性和一致性；一级读权限r1：只有数据表的创建者对表可见和可读，其他用户对表不可见和不可读；二级读权限r2：数据表的创建者对表可见和可读，其他用户对表可见，但不可读，由表的创建者授权后可读；三级读权限r3：所有用户对表可见和可读。权限等级的实施方式为独立的、仅可由数据库管理员查看\修改的所有数据库，用户默认具有创建数据库的权限，数据库的字段为数据库名D、数据表名T、用户名U、权限等级L。数据库内数据条数N为数据表数量TN*用户数量UN，冗余的数据内容可以有效的提高数据安全性。
表1 权限等级说明表
2、用户可以基于Hive数据库新建数据表；当前用户可以给表分配三级不同读权限（r1/r2/r3）。
3、数据表创建成功时，依据数据访问权限模型和用户信息构建访问权限关系；只有表的创建者有一级写权限w1，其他用户根据表的三级读权限对应相应的访问权限。用户信息包括用户身份信息。
4、用户可以查看数据列表，列表中的展示的内容是满足以下条件的表的并集：1）当前用户创建的表；2）访问等级为三级读权限r3的表；3）访问等级为二级读权限r2的表。
5、用户可以向二级读权限r2表的创建者，申请可读授权；表创建者确认授权后，用户才有权限读取表中的数据；否则，用户无权限读取表中的数据
6、用户要对表进行访问操作时，判断用户对表是写入操作，还是读取操作；
6.1如果用户要对数据写入操作，判断当前用户是否是表的创建者；如果是创建者，则权限通过；否则，拒绝操作；
6.2如果用户要对数据读取操作，判断当前用户是否满足以下条件之一：1）当前用户是表的创建者；2）表访问等级为三级读权限r3；3）表访问等级为二级读权限r2，且表创建者已经给当前用户授权当前表的可读权限；如果满足条件，则权限通过；否则，拒绝操作。
7、只有表创建者可以删除表；二级读权限r2的表删除后，和表关联的用户授权关系也同步删除。
数据库、数据表权限信息需要建立存储单元，存储该数据单元的权限等级。用户输入登录信息后，查询权限数据单元，根据用户的权限有选择性的对数据库、数据表对用户展示。用户可以通过Hive Metadata提供的API创表接口，创建自己数据表，在进行创建数据表操作时，首先生成创建元数据库的事务；其次要求对已存在用户分配管理权限，生成更新权限数据单元的事务；经过确认后提交事务。在进行数据写入操作时，生成数据写入事务；查询权限数据单元，确认操作者对该数据表或该数据库是否具备写入权限；若操作者具备权限，则提交事务；若操作者不具备权限，则回退事务。获得操作者对数据的权限后，展示操作者可见数据时，能否对数据库进行删除，对数据表进行删除、写入、新建等操作都进行标示。
下面对用户的登陆流程和操作提交流程进行描述。
用户的登录流程如图1所示，包含以下步骤：
步骤1、由用户输入登录用信息，为用户名、用户密码，本实施例并不限定用户信息的具体内容；
步骤2、遍历权限数据表，查询该用户的权限信息；
步骤3、返回对应权限、对应数据表的基础信息，如数据表名、创建时间、数据量等，本实施例并不限定基础信息的具体内容；
步骤4、对返回信息可视化，具体表现为数据表名以四种不同颜色对四种不同的权限进行标注，为：可读标记为绿色、可写标记为绿色加额外的w标记、可见不可读标记为黄色。
用户的操作提交流程如图2所示，包含以下步骤：
步骤1、用户提交操作，即HiveQL语句，操作种类包括检索、读取、修改（hive不支持update，由本实施例解析、实现）、删除，本实施例并不限定用户操作信息的具体内容；
步骤2、解析用户提交的操作，获得操作对象，与用户权限数据库对比，确认权限是否符合；
步骤 21、当用户具备操作权限时，则生成HiveMatedata API实现的可执行的事务，并将事务提交Hive执行；Hive执行操作结束后，将执行结果返回给用户，操作执行的结果根据操作不同以不同的形式返回给用户；
步骤22、当前用户不具备操作权限时，则拒绝操作请求，返回相应的权限错误信息，错误信息包括用户在该操作对象具备的权限等级、该操作在该操作对象需要的权限等级、操作内容、操作时间。
元数据库的创建者具备当前数据库权限分配权限力。
本发明提供了一种基于Hive Matedata（hive 元数据）的多用户数据资产权限安全访问控制方法，通过对hivetable进行的操作进行封装，提供hivetable原信息的增删改查，同时避免用户直接操作hivemetastore，保证了hive元数据和大数据平台的数据安全。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (5)

1.一种基于Hive Matedata的多用户数据资产权限安全访问控制方法，其特征在于，所述方法包括以下步骤：
步骤1、用户基于Hive数据库建立数据访问权限模型；
步骤2、用户基于Hive数据库新建数据表，当前用户根据所述数据访问权限模型给所述数据表分配三级不同读权限；
步骤3、数据表创建成功后，根据所述数据访问权限模型和用户信息构建访问权限关系；
步骤4、构建当前用户的可查看数据列表；
步骤5、当前用户向其他可见不可读的数据表的创建者，申请可读授权；数据表创建者确认授权后，当前用户才有权限读取表中的数据；否则，当前用户无权限读取表中的数据；
步骤6、当前用户要对数据表进行访问操作时，判断用户对表是写入操作，还是读取操作；
如果用户要对数据写入操作，判断当前用户是否是该数据表的创建者；如果是创建者，则权限通过；否则，拒绝操作；
如果用户要对数据读取操作，判断当前用户是否对该数据表具有读权限；如果有，则权限通过；否则，拒绝操作；
步骤7、数据表的创建者可以删除其创建的数据表。
2.根据权利要求1所述的一种基于Hive Matedata的多用户数据资产权限安全访问控制方法，其特征在于，所述数据访问权限模型包括：
一级写权限w1：只有数据表的创建者有写权限，保证了数据的安全性和一致性；
一级读权限r1：只有数据表的创建者对该数据表可见和可读，其他用户对该数据表不可见和不可读；
二级读权限r2：数据表的创建者对该数据表可见和可读，其他用户对该数据表可见，但不可读，由该数据表的创建者授权后可读；
三级读权限r3：所有用户对数据表可见和可读。
3.根据权利要求2所述的一种基于Hive Matedata的多用户数据资产权限安全访问控制方法，其特征在于，所述步骤4中的可查看数据列表中展示的内容是满足以下条件的数据表的并集：1）当前用户创建的数据表；2）访问等级为三级读权限r3的数据表；3）访问等级为二级读权限r2的数据表。
4.根据权利要求2所述的一种基于Hive Matedata的多用户数据资产权限安全访问控制方法，其特征在于，所述步骤6中进一步包括，如果用户要对数据读取操作，判断当前用户是否满足以下条件之一：1）当前用户是数据表的创建者；2）表访问等级为三级读权限r3；3）表访问等级为二级读权限r2，且表创建者已经给当前用户授权当前表的可读权限；如果满足条件，则权限通过；否则，拒绝操作。
5.根据权利要求2所述的一种基于Hive Matedata的多用户数据资产权限安全访问控制方法，其特征在于，二级读权限r2的数据表删除后，和该数据表关联的用户授权关系也同步删除。
CN201810569268.5A 2018-06-05 2018-06-05 一种基于Hive Matedata的多用户数据资产权限安全访问控制方法 Pending CN108959867A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810569268.5A CN108959867A (zh) 2018-06-05 2018-06-05 一种基于Hive Matedata的多用户数据资产权限安全访问控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810569268.5A CN108959867A (zh) 2018-06-05 2018-06-05 一种基于Hive Matedata的多用户数据资产权限安全访问控制方法

Publications (1)

Publication Number Publication Date
CN108959867A true CN108959867A (zh) 2018-12-07

Family

ID=64493676

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810569268.5A Pending CN108959867A (zh) 2018-06-05 2018-06-05 一种基于Hive Matedata的多用户数据资产权限安全访问控制方法

Country Status (1)

Country Link
CN (1) CN108959867A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110196858A (zh) * 2019-06-05 2019-09-03 浪潮软件集团有限公司 一种基于Hive Mutation API进行数据更新的方法
CN110619226A (zh) * 2019-09-12 2019-12-27 秒针信息技术有限公司 一种基于平台的数据处理方法、系统、设备及存储介质
CN110717153A (zh) * 2019-09-30 2020-01-21 新华三大数据技术有限公司 一种权限验证方法和装置
CN115203750A (zh) * 2022-09-19 2022-10-18 杭州比智科技有限公司 基于Hive插件对Hive数据权限管控及安全审计方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1936915A (zh) * 2006-09-15 2007-03-28 毛德操 在操作系统中根据用户行为历史来控制文件访问的方法
CN103488706A (zh) * 2013-09-06 2014-01-01 北京东方艾迪普科技发展有限公司 一种海量数据资源库的处理方法和装置
CN107302546A (zh) * 2017-08-16 2017-10-27 北京奇虎科技有限公司 大数据平台安全访问系统、方法及电子设备
CN107358069A (zh) * 2017-07-16 2017-11-17 塞纳德（北京）信息技术有限公司 一种基于Hue的权限管理系统
CN107818112A (zh) * 2016-09-13 2018-03-20 腾讯科技（深圳）有限公司 一种大数据分析作业系统及任务提交方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1936915A (zh) * 2006-09-15 2007-03-28 毛德操 在操作系统中根据用户行为历史来控制文件访问的方法
CN103488706A (zh) * 2013-09-06 2014-01-01 北京东方艾迪普科技发展有限公司 一种海量数据资源库的处理方法和装置
CN107818112A (zh) * 2016-09-13 2018-03-20 腾讯科技（深圳）有限公司 一种大数据分析作业系统及任务提交方法
CN107358069A (zh) * 2017-07-16 2017-11-17 塞纳德（北京）信息技术有限公司 一种基于Hue的权限管理系统
CN107302546A (zh) * 2017-08-16 2017-10-27 北京奇虎科技有限公司 大数据平台安全访问系统、方法及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JINLIWEI1990: "hive数据权限管理", 《HTTPS://BLOG.CSDN.NET/JINLIWEI1990/ARTICLE/DETAILS/58072618?UTM_MEDIUM=DISTRIBUTE.PC_RELEVANT_T0.NONE-TASK-BLOG-2%7EDEFAULT%7EBLOGCOMMENDFROMMACHINELEARNPAI2%7EDEFAULT-1.CONTROL&DIST_REQUEST_ID=1328690.10200.16165719187349503&DEPTH_1-UTM_SOURCE=DIST *
SIX_2011: "hive权限控制（一）", 《HTTPS://BLOG.CSDN.NET/SLX_2011/ARTICLE/DETAILS/22686873》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110196858A (zh) * 2019-06-05 2019-09-03 浪潮软件集团有限公司 一种基于Hive Mutation API进行数据更新的方法
CN110619226A (zh) * 2019-09-12 2019-12-27 秒针信息技术有限公司 一种基于平台的数据处理方法、系统、设备及存储介质
CN110717153A (zh) * 2019-09-30 2020-01-21 新华三大数据技术有限公司 一种权限验证方法和装置
CN110717153B (zh) * 2019-09-30 2021-08-24 新华三大数据技术有限公司 一种权限验证方法和装置
CN115203750A (zh) * 2022-09-19 2022-10-18 杭州比智科技有限公司 基于Hive插件对Hive数据权限管控及安全审计方法及系统
CN115203750B (zh) * 2022-09-19 2022-12-16 杭州比智科技有限公司 基于Hive插件对Hive数据权限管控及安全审计方法及系统

Similar Documents

Publication Publication Date Title
CN108959867A (zh) 一种基于Hive Matedata的多用户数据资产权限安全访问控制方法
CN111460500B (zh) 一种网络资源的权限管理方法
Zhang et al. Transformation of organ donation in China
CN108228747A (zh) 数据治理中的数据血缘关系可视化图形系统
Marsh Decolonising the interface between I ndigenous peoples and mining companies in A ustralia: Making space for cultural heritage sites
JP5469645B2 (ja) 文書管理サーバーシステム
CN107194272A (zh) 数据库访问权限申请方法及装置
CN109460400B (zh) 一种电力监控系统安全基线库的建立系统及方法
US9432344B2 (en) Secure storage and sharing of user objects
CN111275395A (zh) 一种基于区块链的去中心化的企业绩效考核方法
CN115146598A (zh) 文件协同编辑方法、装置、网盘及存储介质
CN109447395A (zh) 一种核电站个人剂量互联网管理系统及方法
Xing et al. Key factors and coupling relationships of collaborative governance for disaster prevention in China's coastal cities
CN110046205A (zh) 一种关系型数据库行安全访问控制方法及系统
Shaw et al. Commonwealth perspectives on international relations
Hongbo et al. Research on the application of block chain technology in asset backed securitization
Šimović et al. Applying SQL database query to access SQL server 2019–visual studio 2019
Aragay et al. Precariousness in Drama and Theatre: An Introduction
CN111552956B (zh) 一种用于后台管理的角色权限控制方法及装置
Hernandez et al. TIKD: A Trusted Integrated Knowledge Dataspace for Sensitive Data Sharing and Collaboration
CN107464091A (zh) 用于司法鉴定/法庭科学机构的智能化案件委托管理方法
CN107124429A (zh) 一种基于双数据表设计的网络业务安全保护方法及系统
Ruan Exploration and Practice of the Acquisition Path of Spoken English for Special Purposes with the Blockchain Technology
Mbaku et al. Information communication technologies, transparency and governance in China
Li et al. Design and Implementation of International Civil Aviation Security Information Database Management System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181207