CN111651122B - 数据删除方法、装置、服务器及存储介质 - Google Patents

数据删除方法、装置、服务器及存储介质 Download PDF

Info

Publication number
CN111651122B
CN111651122B CN202010431652.6A CN202010431652A CN111651122B CN 111651122 B CN111651122 B CN 111651122B CN 202010431652 A CN202010431652 A CN 202010431652A CN 111651122 B CN111651122 B CN 111651122B
Authority
CN
China
Prior art keywords
data
hdfs
resource
protection resource
hive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010431652.6A
Other languages
English (en)
Other versions
CN111651122A (zh
Inventor
段川杰
王宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Envision Innovation Intelligent Technology Co Ltd
Envision Digital International Pte Ltd
Original Assignee
Shanghai Envision Innovation Intelligent Technology Co Ltd
Envision Digital International Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Envision Innovation Intelligent Technology Co Ltd, Envision Digital International Pte Ltd filed Critical Shanghai Envision Innovation Intelligent Technology Co Ltd
Priority to CN202010431652.6A priority Critical patent/CN111651122B/zh
Publication of CN111651122A publication Critical patent/CN111651122A/zh
Application granted granted Critical
Publication of CN111651122B publication Critical patent/CN111651122B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/604—Tools and structures for managing or administering access control systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062—Securing storage systems
    • G06F3/0623—Securing storage systems in relation to content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0637—Permissions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2141—Access rights, e.g. capability lists, access control lists, access tables, access matrices
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本申请实施例公开了一种数据删除方法、装置、服务器及存储介质，属于数据库技术领域。该方法包括：接收客户端发送的数据删除指令，数据删除指令用于指示删除目标数据，目标数据属于HDFS或Hive；若目标数据属于系统保护资源或用户保护资源，则停止响应数据删除指令，系统保护资源属于HDFS资源，用户保护资源属于HDFS资源或Hive资源；若目标数据不属于系统保护资源和用户保护资源，且客户端通过权限验证，则响应数据删除指令。采用本申请实施例提供的方法，通过设置系统保护资源和用户保护资源，对客户端发送的数据删除指令进行权限验证，避免了运维人员的误操作导致数据丢失，提高了HDFS和Hive中的数据的安全性。

Description

数据删除方法、装置、服务器及存储介质
技术领域
本申请实施例涉及数据库技术领域，特别涉及一种数据删除方法、装置、服务器及存储介质。
背景技术
大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，并且数据创造的主体已经由企业逐渐转向个体，现代企业通过对采集的数据进行分析处理，获取有价值的信息，这一过程中，数据安全尤为重要。
相关技术中，通常采用海杜普(Hadoop)分布式系统基础架构存储和分析处理数据，服务器集群利用Hadoop分布式文件系统(Hadoop Distributed File System，HDFS)将采集到的数据进行存储并建立相关目录，用户通过管理文件目录，可以对数据文件进行删除、移动等操作。
然而，采用相关技术中的数据存储和管理方法，用户在对文件目录进行管理时可能产生误操作，例如将数据文件删除，则该数据文件将无法恢复，会造成数据丢失。
发明内容
本申请实施例提供了一种数据删除方法、装置、服务器及存储介质。所述技术方案如下：
一方面，本申请实施例提供了一种数据删除方法，所述方法用于服务器，所述服务器设置有HDFS和数据仓库工具(Hive)，所述方法包括：
接收客户端发送的数据删除指令，所述数据删除指令用于指示删除目标数据，所述目标数据属于所述HDFS或所述Hive；
若所述目标数据属于系统保护资源或用户保护资源，则停止响应所述数据删除指令，所述系统保护资源属于HDFS资源，所述用户保护资源属于所述HDFS资源或所述Hive资源；
若所述目标数据不属于所述系统保护资源和所述用户保护资源，且所述客户端的当前账号通过权限验证，则响应所述数据删除指令。
另一方面，本申请实施例提供了一种数据删除装置，所述装置用于服务器，所述服务器设置有HDFS和Hive，所述装置包括：
接收模块，用于接收客户端发送的数据删除指令，所述数据删除指令用于指示删除目标数据，所述目标数据属于所述HDFS或所述Hive；
第一响应模块，用于若所述目标数据属于系统保护资源或用户保护资源，则停止响应所述数据删除指令，所述系统保护资源属于HDFS资源，所述用户保护资源属于所述HDFS资源或所述Hive资源；
第二响应模块，用于若所述目标数据不属于所述系统保护资源和所述用户保护资源，且所述客户端的当前账号通过权限验证，则响应所述数据删除指令。
另一方面，本申请实施例提供了一种服务器，所述服务器包括处理器和存储器；所述存储器存储有至少一条指令，所述至少一条指令用于被所述处理器执行以实现如上述方面所述的数据删除方法。
另一方面，提供了一种计算机可读存储介质，所述存储介质存储有至少一条指令，所述至少一条指令用于被处理器执行以实现如上述方面所述的数据删除方法。
本申请实施例提供的技术方案的有益效果至少包括：
本申请实施例中，通过设置系统保护资源和用户保护资源，对客户端发送的数据删除指令进行权限验证，若目标数据属于系统保护资源或用户保护资源，则客户端无法删除目标数据，若目标数据不属于系统保护资源和用户保护资源，且客户端拥有删除目标数据的权限，则可以删除目标数据，避免了运维人员的误操作导致数据丢失，提高了HDFS和Hive中的数据的安全性。
附图说明
图1是本申请一个示例性实施例提供的实施环境的示意图；
图2是根据本申请一示例性实施例示出的数据删除方法的流程图；
图3是根据本申请另一示例性实施例示出的数据删除方法的流程图；
图4是根据本申请另一示例性实施例示出的数据删除方法的流程图；
图5是根据本申请一示例性实施例示出的用户申请授权的流程图；
图6是根据本申请一示例性实施例示出的拉取目标策略的流程图；
图7是根据本申请一示例性实施例示出的HDFS的Protal界面示意图；
图8是根据本申请一示例性实施例示出的HDFS策略申请界面的示意图；
图9是根据本申请一示例性实施例示出的Hive的Protal界面示意图；
图10是根据本申请一示例性实施例示出的Hive策略申请界面的示意图；
图11是根据本申请另一示例性实施例示出的数据删除方法的流程图；
图12是根据本申请一示例性实施例示出的数据删除装置的结构框图；
图13是根据本申请一示例性实施例示出的服务器的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
请参考图1，其示出了本申请一个示例性实施例提供的实施环境的示意图。该实施环境中包括客户端101和服务器102。
客户端101是数据库用户在管理、查询数据库数据时使用的客户端。在一种可能的实施方式中，用户在客户端101的数据管理界面中输入指令(例如数据删除指令)或数据，并发送至服务器102；同时客户端101可以接受服务器102发送的指令或根据上述指令反馈的数据等信息。可选地，客户端101可以泛指多个终端中的一个。
客户端101通过无线网络或有线网络与服务器102相连。
服务器102包括一台服务器、多台服务器、云计算平台和虚拟化中心中的至少一种，服务器102是运行有数据库的服务器。在一种可能的实施方式中，服务器接收数据采集工具上传的数据，并与客户端101之间传输数据或指令。当服务器102接收到来自客户端101的指令时，判断是否执行该指令，并将执行结果返回至客户端101。例如，当服务器102接收到客户端101发送的目标数据的数据删除指令时，判断目标数据是否为被保护的数据以及该客户端是否拥有删除目标数据的权限，根据判断结果确定是否执行该数据删除指令，并将执行结果返回至客户端101。
请参考图2，其示出了本申请一个示例性实施例提供的数据删除方法的流程图。本实施例以该方法用于设置有HDFS和Hive的服务器为例进行说明，该方法包括如下步骤：
步骤201，接收客户端发送的数据删除指令，数据删除指令用于指示删除目标数据，目标数据属于HDFS或Hive。
其中，Hadoop是一个能够对大量数据进行分布式处理的软件框架，用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储。Hadoop由许多元素构成。其最底部是HDFS，它用于存储Hadoop集群中所有存储节点上的文件。对于客户端而言，HDFS相当于一个传统的分级文件系统，运维人员可以创建、删除、移动或重命名文件，等等。Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供数据查询功能。Hive将计算得到的数据实际存储在分布式系统上，如HDFS。
在一种可能的实施方式中，Hadoop的运维人员利用如图1所示的客户端101对数据库中的数据进行查询和处理。例如，运维人员在客户端的管理界面中输入数据删除指令，客户端将该数据删除指令发送至服务器102，指示服务器102删除目标数据，服务器102接收到客户端101发送的数据删除指令后，根据该指令和对应的客户端判断是否删除目标数据，该目标数据属于HDFS或Hive。
步骤202，若目标数据属于系统保护资源或用户保护资源，则停止响应数据删除指令，系统保护资源属于HDFS资源，用户保护资源属于HDFS资源或Hive资源。
在一种可能的实施方式中，服务器针对HDFS资源预先设置有系统保护资源，针对HDFS资源和Hive资源设置有用户保护资源，对于系统保护资源和用户保护资源中的数据，运维人员无法删除，即服务器不响应对该类目标数据的数据删除指令。
示意性的，当服务器查询到当前数据删除指令对应的目标数据属于某一系统保护资源，则停止响应该数据删除指令，并生成无法删除目标数据的提示信息，发送至客户端，客户端显示该提示信息，提醒运维人员目标数据被保护，无法删除。
步骤203，若目标数据不属于系统保护资源和用户保护资源，且客户端的当前账号通过权限验证，则响应数据删除指令。
在一种可能的实施方式中，对于不属于系统保护资源和用户保护资源的目标数据，拥有目标数据删除权限的用户可以通过客户端删除目标数据。
示意性的，服务器接收到的数据删除指令中包含目标数据的标识和用户标识，若服务器通过目标数据标识识别出该目标数据不属于系统保护资源和用户保护资源，则根据当前账号查询该用户是否拥有对目标数据的删除权限，若不拥有，则停止响应数据删除指令并向客户端发送没有删除权限的提示信息，若拥有，则响应数据删除指令。
综上所述，本申请实施例中，通过设置系统保护资源和用户保护资源，对客户端发送的数据删除指令进行权限验证，若目标数据属于系统保护资源或用户保护资源，则客户端无法删除目标数据，若目标数据不属于系统保护资源和用户保护资源，且客户端拥有删除目标数据的权限，则可以删除目标数据，避免了运维人员的误操作导致数据丢失，提高了HDFS和Hive中的数据的安全性。
请参考图3，其示出了本申请另一个示例性实施例提供的数据删除方法的流程图。本实施例以该方法用于设置有采用HDFS的Hive的服务器为例进行说明，该方法包括如下步骤：
步骤301，接收客户端发送的数据删除指令，数据删除指令用于指示删除目标数据，目标数据属于HDFS或Hive。
步骤301的实施方式可以参考上述步骤201，本申请实施例在此不再赘述。
步骤302，若目标数据属于HDFS，通过HDFS的命名节点(NameNode)读取系统保护资源列表，系统保护资源列表中包含系统保护资源。
其中，NameNode是管理文件系统的命名空间，它维护着文件系统树及整棵树内所有的文件和目录。
可选地，系统保护资源包括HDFS的系统级别目录，该系统保护资源是固定资源，由开发人员预先设置，即使拥有超级权限的用户也无法删除该类资源中的数据。
在一种可能的实施方式中，开发人员将系统保护资源列表设置在配置文件中。Namenode启动时，服务器通过Namenode将配置文件中包含的系统保护资源列表加载至内存，以便服务器在接收到数据删除指令时，读取系统保护资源列表。
示意性的，表1示出了一种配置文件的部分内容，其中包括各项系统保护资源以及对应的类别和描述：
表1
步骤303，若目标数据属于系统保护资源列表，则停止响应数据删除指令。
由于系统保护资源列表中包含的系统保护资源通常为关系到系统功能的重要文件，若目标数据属于系统保护资源列表，运维人员即使拥有超级权限也无法删除目标数据，因此当服务器查询到目标数据属于系统保护资源列表，则停止响应数据删除指令，并向客户端发送目标数据属于系统保护资源，无法删除等提示信息。
示意性的，服务器配置文件中的部分系统资源保护列表如表1所示，若服务器接收到客户端发送的对hive.exec.stagingdir的数据删除指令，则停止响应该数据删除指令。
如图4所示，其示出了一种数据删除方法的流程图，该方法包括：步骤401客户端发送数据删除指令；步骤402，NameNode读取系统保护资源列表；步骤403，判断是否为系统保护资源，若是，则执行步骤404，否则执行步骤405；步骤404，停止响应数据删除指令；步骤405，判断当前账户是否通过权限认证，若否，则执行步骤406，是则执行步骤407；步骤406，停止响应数据删除指令；步骤407，响应数据删除指令。
步骤304，通过权限管理(Ranger)工具确定目标数据是否属于用户保护资源，并验证当前账号的删除权限。
可选地，服务器还设置有Ranger工具。其中，Ranger工具是一款被设计成全面掌握Hadoop生态系统的数据安全管理框架，它为Hadoop生态系统中众多的组件提供了一个统一的数据授权和管理界面，使得系统管理员只需面对Ranger一个系统，就能对Hadoop整个生态体系进行数据授权，数据管理与审计。
可选地，用户保护资源包括当前账号对应的HDFS的用户级别目录、Hive的数据库和数据表中的至少一种。
在一种可能的实施方式中，服务器利用Ranger工具确定目标数据是否属于用户保护资源，并验证客户端的删除权限，若目标数据属于用户保护资源，或客户端没有对目标数据的删除权限，则服务器不执行数据删除指令。
其中，删除权限是由客户端申请包含删除权限的策略并且审批通过后得到的，因此Ranger工具需要定期获取HDFS和Hive资源的策略。在一种可能的实施方式中，服务器通过Ranger工具从HDFS和Hive处拉取策略集，策略集包括支持删除的资源以及具有删除权限的账号。
示意性的，服务器每隔一分钟通过Ranger工具从HDFS和Hive处拉取策略集。
用户通过客户端可以申请包含删除权限的策略并在审批通过后得到删除权限。在一种可能的实施方式中，当接收到授权指令时，服务器在HDFS或Hive中设置权限管理接口(RangerApplication Programming Interface，RangerAPI)，授权指令是身份识别与访问管理(Identity and Access Management，IAM)接收到客户端通过门户网站(Portal)发送的授权请求，且授权请求通过时由IAM发送，授权请求中包含目标策略，目标策略属于策略集。
示意性的，请参考图5，其示出了一种申请授权的流程图。用户通过点击Protal501的界面触发授权请求，Protal接收授权请求后，将,该授权请求转发至IAM502，工作人员根据申请人和授权请求的详细内容进行审批，若审批通过，IAM502发送授权请求至Ranger工具503，Ranger工具503定期从HDFS504和Hive505拉取策略。
示意性的，服务器创建一条HDFS的目标策略RangerAPI的过程如下：
在一种可能的实施方式中，服务器通过Ranger工具从HDFS和Hive处拉取策略集，包括：
通过Ranger工具从HDFS和Hive处设置的Ranger插件处拉取策略集，策略集由Ranger插件通过RangerAPI获取。服务器通过Ranger工具定期利用Ranger插件通过RangerAPI处拉取策略集，并保存在本地和内存中。
示意性的，请参考图6，Ranger工具601定期通过HDFS Namenode处的Ranger插件602和Hive服务器处的Ranger插件603拉取策略集。
示意性的，请参考图7至图10，其示出了客户端发送授权请求过程的界面图。图7是HDFS的Portal界面示意图，该界面中包含添加新策略控件701，运维人员在客户端点击该添加新策略控件701可以申请添加新策略，界面下方为已有的HDFS策略的列表702，运维人员可以在该列表702中查看或编辑已有的策略。
运维人员点击添加新策略控件701后，客户端显示如图8所示的新策略添加界面，该界面中包含策略详情部分和禁止状态部分，运维人员在策略详情部分填写策略信息栏801，并在禁止状态部分的申请表802中选择申请人和允许项，允许项的选择列表803中包含读、写、删除等多个选项，运维人员根据需要选择相应选项，并且可以通过点击添加控件804添加多个申请表，对同一资源同时申请多项权限。
图9是Hive的Portal界面示意图，该界面中包含添加新策略控件901，运维人员在客户端点击该添加新策略控件901可以申请添加新策略，界面下方为已有的Hive策略的列表902，运维人员可以在该列表902中查看或编辑已有的Hive策略。
运维人员点击添加新策略控件901后，客户端显示如图10所示的新策略添加界面，该界面中包含策略详情部分和禁止状态部分，运维人员在策略详情部分填写策略信息栏1001，并在禁止状态部分的申请表1002中选择申请人和允许项，允许项的选择列表1003中包含选择、更新、创建、删除等多个选项，运维人员根据需要选择相应选项，并且可以通过点击添加控件1004添加多个申请表，对同一资源同时申请多项权限。
在一种可能的实施方式中，步骤304包括：
根据目标策略，通过Ranger工具确定目标数据是否属于用户保护资源，并验证客户端的删除权限。当接收到数据删除指令时，服务器从本地和内存中保存的已有策略中查询是否存在目标数据的目标策略，若存在，则确定目标数据不属于用户保护资源，并验证发送数据删除指令的客户端的删除权限。
步骤305，若目标数据不属于用户保护资源，且客户端通过权限验证，则响应数据删除指令。
在一种可能的实施方式中，若服务器查询到本地和内存中包含目标数据的目标策略，且客户端有用该目标策略的权限，即目标数据的删除权限，则确定目标数据不属于用户保护资源，且客户端通过权限验证，并响应数据删除指令。
如图11所示，其示出了一种数据删除方法的流程图，该方法包括：步骤1101客户端发送数据删除指令；步骤1102，Ranger读取目标策略；步骤1103，判断是否为用户保护资源，若是，则执行步骤1104，否则执行步骤1105；步骤1104，停止响应数据删除指令；步骤1105，判断当前账号是否通过权限认证，若否，则执行步骤1106，是则执行步骤1107；步骤1106，停止响应数据删除指令；步骤1107，响应数据删除指令。
本申请实施例中，利用配置文件预先配置系统保护资源，运维人员在系统初始化时即可完成配置，对于用户资源，运维人员可以通过Protal提交目标策略的授权请求，服务器利用Ranger工具的RangerAPI拉取策略集，在内存中及时更新策略集，保证运维人员在获得目标数据的删除权限后可以通过发送数据删除指令删除目标数据，同时禁止删除用户保护资源或未获得删除权限的用户资源，降低了运维人员误操作导致数据丢失的风险。
请参考图12，其示出了本申请一个示例性实施例提供的数据删除装置的结构框图。该装置可以通过软件、硬件或者两者的结合实现成为服务器的全部或一部分。该装置包括：
接收模块1201，用于接收客户端发送的数据删除指令，所述数据删除指令用于指示删除目标数据，所述目标数据属于所述HDFS或所述Hive；
第一响应模块1202，用于若所述目标数据属于系统保护资源或用户保护资源，则停止响应所述数据删除指令，所述系统保护资源属于HDFS资源，所述用户保护资源属于所述HDFS资源或所述Hive资源；
第二响应模块1203，用于若所述目标数据不属于所述系统保护资源和所述用户保护资源，且所述客户端的当前账号通过权限验证，则响应所述数据删除指令。
可选的，所述第一响应模块1202，包括：
读取单元，用于若所述目标数据属于所述HDFS，通过所述HDFS的NameNode读取系统保护资源列表，所述系统保护资源列表中包含所述系统保护资源；
第一响应单元，用于若所述目标数据属于所述系统保护资源列表，则停止响应所述数据删除指令。
可选的，所述装置还包括：
加载模块，用于所述Namenode启动时，通过所述Namenode将配置文件中包含的所述系统保护资源列表加载至内存。
可选的，所述服务器还设置有Ranger工具；
所述第二响应模块1203，包括：
验证单元，用于通过所述Ranger工具确定所述目标数据是否属于所述用户保护资源，并验证所述当前账号的删除权限；
第二响应单元，用于若所述目标数据不属于所述用户保护资源，且所述客户端通过权限验证，则响应所述数据删除指令。
可选的，所述装置还包括：
拉取模块，用于通过所述Ranger工具从所述HDFS和所述Hive处拉取策略集，所述策略集包括支持删除的资源以及具有所述删除权限的账号；
所述验证单元，还用于：
根据所述策略集，通过所述Ranger工具确定所述目标数据是否属于所述用户保护资源，并验证所述客户端的删除权限。
可选的，所述HDFS和所述Hive集成有Ranger插件；
所述装置还包括：
设置模块，用于当接收到授权指令时，在所述HDFS或所述Hive中设置RangerAPI，所述授权指令是IAM接收到客户端通过Portal发送的授权请求，且所述授权请求通过时由所述IAM发送，所述授权请求中包含目标策略，所述目标策略属于所述策略集；
所述拉取模块，包括：
拉取单元，用于通过所述Ranger工具从所述HDFS和所述Hive处设置的所述Ranger插件处拉取所述策略集，所述策略集由所述Ranger插件通过所述RangerAPI获取。
可选的，所述系统保护资源包括所述HDFS的系统级别目录，所述用户保护资源包括所述当前账号对应的所述HDFS的用户级别目录、所述Hive的数据库和数据表中的至少一种。
请参考图13，其示出了本申请一个示例性实施例提供的服务器的结构示意图。具体来讲：所述服务器1300包括中央处理单元(Central Processing Unit，CPU)1301、包括随机存取存储器(Random Access Memory，RAM)1302和只读存储器(Read-Only Memory，ROM)1303的系统存储器1304，以及连接系统存储器1304和中央处理单元1301的系统总线1305。所述服务器1300还包括帮助计算机设备内的各个器件之间传输信息的基本输入/输出(Input/Output，I/O)系统1306，和用于存储操作系统1313、应用程序1314和其他程序模块1315的大容量存储设备1307。
所述基本输入/输出系统1306包括有用于显示信息的显示器1308和用于用户输入信息的诸如鼠标、键盘之类的输入设备1309。其中所述显示器1308和输入设备1309都通过连接到系统总线1305的输入输出控制器1310连接到中央处理单元1301。所述基本输入/输出系统1306还可以包括输入输出控制器1310以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1310还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备1307通过连接到系统总线1305的大容量存储控制器(未示出)连接到中央处理单元1301。所述大容量存储设备1307及其相关联的计算机可读存储介质为服务器1300提供非易失性存储。也就是说，所述大容量存储设备1307可以包括诸如硬盘或者只读光盘(Compact Disc Read-Only Memory，CD-ROM)驱动器之类的计算机可读存储介质(未示出)。
不失一般性，所述计算机可读存储介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读存储指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、计算机存储器(Erasable Programmable Read Only Memor，EPROM)、读写存储器(Electrically Erasable Programmable Read Only Memory，EEPROM)、闪存或其他固态存储其技术，CD-ROM、数字通用光盘(Digital Versatile Disc，DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1304和大容量存储设备1307可以统称为存储器。
存储器存储有一个或多个程序，一个或多个程序被配置成由一个或多个中央处理单元1301执行，一个或多个程序包含用于实现上述风机维护计划的生成方法的指令，中央处理单元1301执行该一个或多个程序实现上述各个方法实施例提供的风机维护计划的生成方法。
根据本申请的各种实施例，所述服务器1300还可以通过诸如因特网等网络连接到网络上的远程计算机设备运行。也即服务器1300可以通过连接在所述系统总线1305上的网络接口单元1311连接到网络1312，或者说，也可以使用网络接口单元1311来连接到其他类型的网络或远程计算机设备系统(未示出)。
所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，所述一个或者一个以上程序包含用于进行本申请实施例提供的方法中由计算机设备所执行的步骤。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上各个实施例所述的数据删除方法。
本申请实施例还提供了一种计算机程序产品，该计算机程序产品存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上各个实施例所述的数据删除方法。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读存储介质中或者作为计算机可读存储介质上的一个或多个指令或代码进行传输。计算机可读存储介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (7)

1.一种数据删除方法，其特征在于，所述方法用于服务器，所述服务器设置有海杜普Hadoop分布式文件系统HDFS、数据仓库工具Hive以及权限管理Ranger工具，所述HDFS和所述Hive集成有Ranger插件，所述方法包括：
接收客户端发送的数据删除指令，所述数据删除指令用于指示删除目标数据，所述目标数据属于所述HDFS或所述Hive；
若所述目标数据属于系统保护资源或用户保护资源，则停止响应所述数据删除指令，所述系统保护资源属于HDFS资源，所述用户保护资源属于所述HDFS资源或所述Hive资源；
当接收到授权指令时，在所述HDFS或所述Hive中设置权限管理接口RangerAPI，所述授权指令是身份识别与访问管理IAM接收到客户端通过门户网站Portal发送的授权请求，且所述授权请求通过时由所述IAM发送，所述授权请求中包含目标策略，所述目标策略属于策略集；
通过所述Ranger工具从所述HDFS和所述Hive处设置的所述Ranger插件处拉取所述策略集，所述策略集由所述Ranger插件通过所述RangerAPI获取，所述策略集包括支持删除的资源以及具有所述删除权限的账号；
根据所述策略集，通过所述Ranger工具确定所述目标数据是否属于所述用户保护资源，并验证所述客户端的删除权限；若所述目标数据不属于所述系统保护资源和所述用户保护资源，且所述客户端的当前账号通过权限验证，则响应所述数据删除指令。
2.根据权利要求1所述的方法，其特征在于，所述若所述目标数据属于系统保护资源或用户保护资源，则停止响应所述数据删除指令，包括：
若所述目标数据属于所述HDFS，通过所述HDFS的命名节点NameNode读取系统保护资源列表，所述系统保护资源列表中包含所述系统保护资源；
若所述目标数据属于所述系统保护资源列表，则停止响应所述数据删除指令。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
所述Namenode启动时，通过所述Namenode将配置文件中包含的所述系统保护资源列表加载至内存。
4.根据权利要求1至3任一所述的方法，其特征在于，所述系统保护资源包括所述HDFS的系统级别目录，所述用户保护资源包括所述当前账号对应的所述HDFS的用户级别目录、所述Hive的数据库和数据表中的至少一种。
5.一种数据删除装置，其特征在于，所述装置用于服务器，所述服务器设置有HDFS、Hive以及Ranger工具，所述HDFS和所述Hive集成有Ranger插件，所述装置包括：
接收模块，用于接收客户端发送的数据删除指令，所述数据删除指令用于指示删除目标数据，所述目标数据属于所述HDFS或所述Hive；
第一响应模块，用于若所述目标数据属于系统保护资源或用户保护资源，则停止响应所述数据删除指令，所述系统保护资源属于HDFS资源，所述用户保护资源属于所述HDFS资源或所述Hive资源；
设置模块，用于当接收到授权指令时，在所述HDFS或所述Hive中设置权限管理接口RangerAPI，所述授权指令是身份识别与访问管理IAM接收到客户端通过门户网站Portal发送的授权请求，且所述授权请求通过时由所述IAM发送，所述授权请求中包含目标策略，所述目标策略属于策略集；
拉取模块，用于通过所述Ranger工具从所述HDFS和所述Hive处设置的所述Ranger插件处拉取所述策略集，所述策略集由所述Ranger插件通过所述RangerAPI获取，所述策略集包括支持删除的资源以及具有所述删除权限的账号；
第二响应模块，用于根据所述策略集，通过所述Ranger工具确定所述目标数据是否属于所述用户保护资源，并验证所述客户端的删除权限；
所述第二响应模块，还用于若所述目标数据不属于所述系统保护资源和所述用户保护资源，且所述客户端通过权限验证，则响应所述数据删除指令。
6.一种服务器，其特征在于，所述服务器包括处理器和存储器；所述存储器存储有至少一条指令，所述至少一条指令用于被所述处理器执行以实现如权利要求1至4任一所述的数据删除方法。
7.一种计算机可读存储介质，其特征在于，所述存储介质存储有至少一条指令，所述至少一条指令用于被处理器执行以实现如权利要求1至4任一所述的数据删除方法。
CN202010431652.6A 2020-05-20 2020-05-20 数据删除方法、装置、服务器及存储介质 Active CN111651122B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010431652.6A CN111651122B (zh) 2020-05-20 2020-05-20 数据删除方法、装置、服务器及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010431652.6A CN111651122B (zh) 2020-05-20 2020-05-20 数据删除方法、装置、服务器及存储介质

Publications (2)

Publication Number Publication Date
CN111651122A CN111651122A (zh) 2020-09-11
CN111651122B true CN111651122B (zh) 2023-07-28

Family

ID=72349567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010431652.6A Active CN111651122B (zh) 2020-05-20 2020-05-20 数据删除方法、装置、服务器及存储介质

Country Status (1)

Country Link
CN (1) CN111651122B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112464286B (zh) * 2020-12-11 2024-02-13 北京浪潮数据技术有限公司 一种云管理平台的资源保护方法及相关装置
CN113867628B (zh) * 2021-09-02 2024-01-19 网易（杭州）网络有限公司 数据删除方法、装置、存储介质和计算设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105760788A (zh) * 2016-02-05 2016-07-13 青岛海信移动通信技术股份有限公司 一种数据保护方法和装置
CN107463852A (zh) * 2017-06-28 2017-12-12 北京北信源软件股份有限公司 基于ApacheRanger对Hadoop集群数据的保护装置及保护方法
CN108280367A (zh) * 2018-01-22 2018-07-13 腾讯科技（深圳）有限公司 数据操作权限的管理方法、装置、计算设备及存储介质
CN109753222A (zh) * 2017-11-01 2019-05-14 腾讯科技（深圳）有限公司 数据删除方法、服务器及计算机可读介质
CN110188573A (zh) * 2019-05-27 2019-08-30 深圳前海微众银行股份有限公司 分区授权方法、装置、设备及计算机可读存储介质
CN110717153A (zh) * 2019-09-30 2020-01-21 新华三大数据技术有限公司 一种权限验证方法和装置
CN111125674A (zh) * 2019-12-20 2020-05-08 中国银联股份有限公司 开放式数据处理系统、开放式数据系统及数据处理方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140053229A1 (en) * 2012-08-15 2014-02-20 Appsense Limited Systems and Methods for Policy Propagation and Enforcement
CA3050220A1 (en) * 2018-07-19 2020-01-19 Bank Of Montreal Systems and methods for data storage and processing

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105760788A (zh) * 2016-02-05 2016-07-13 青岛海信移动通信技术股份有限公司 一种数据保护方法和装置
CN107463852A (zh) * 2017-06-28 2017-12-12 北京北信源软件股份有限公司 基于ApacheRanger对Hadoop集群数据的保护装置及保护方法
CN109753222A (zh) * 2017-11-01 2019-05-14 腾讯科技（深圳）有限公司 数据删除方法、服务器及计算机可读介质
CN108280367A (zh) * 2018-01-22 2018-07-13 腾讯科技（深圳）有限公司 数据操作权限的管理方法、装置、计算设备及存储介质
CN110188573A (zh) * 2019-05-27 2019-08-30 深圳前海微众银行股份有限公司 分区授权方法、装置、设备及计算机可读存储介质
CN110717153A (zh) * 2019-09-30 2020-01-21 新华三大数据技术有限公司 一种权限验证方法和装置
CN111125674A (zh) * 2019-12-20 2020-05-08 中国银联股份有限公司 开放式数据处理系统、开放式数据系统及数据处理方法

Also Published As

Publication number Publication date
CN111651122A (zh) 2020-09-11

Similar Documents

Publication Publication Date Title
US9805209B2 (en) Systems and methodologies for managing document access permissions
US8819068B1 (en) Automating creation or modification of database objects
US9253130B2 (en) Systems and methods for supporting social productivity using a dashboard
WO2022022477A1 (zh) 一种管理运维平台及数据处理方法
JP4726545B2 (ja) データソースを発見して接続するための方法、システムおよび装置
US8255409B2 (en) Systems and methods for generating a change log for files in a managed network
CN108289098B (zh) 分布式文件系统的权限管理方法和装置、服务器、介质
CN111695156A (zh) 业务平台的访问方法、装置、设备及存储介质
DE112013002544T5 (de) Cloudbasiertes Teilen von Datenpunkten und Zusammenarbeit unter Benutzergruppen
CN104380261A (zh) 本地支持的基于云端的存储
CN111327613B (zh) 分布式服务的权限控制方法、装置及计算机可读存储介质
CN111651122B (zh) 数据删除方法、装置、服务器及存储介质
CN108885671A (zh) 一种目录删除方法、装置和存储服务器
CN111737227A (zh) 数据修改方法及系统
CN111048164A (zh) 一种医学大数据长期保存系统
US20240126787A1 (en) System and method for data pruning via dynamic partition management
WO2000063801A1 (en) Managed remote virtual mass storage for client data terminal
CN116070294B (zh) 一种权限管理方法、系统、装置、服务器及存储介质
CN111723401A (zh) 数据访问权限控制方法、装置、系统、存储介质及设备
US20150288762A1 (en) File storage system and method for managing user data
CN112181481A (zh) 版本管理系统的权限更新方法和装置
US11803569B2 (en) Computer system and method for accessing user data that is distributed within a multi-zone computing platform
US20240121292A1 (en) Object-based transportation across tenants
CN117668811A (zh) 一种离线特征管理平台、方法、电子设备及存储介质
CN115396181A (zh) 客户端的授权方法、存储介质及计算机终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant