CN112579557A - 请求响应方法、装置、系统、计算机系统和可读存储介质 - Google Patents

请求响应方法、装置、系统、计算机系统和可读存储介质 Download PDF

Info

Publication number
CN112579557A
CN112579557A CN201910931501.4A CN201910931501A CN112579557A CN 112579557 A CN112579557 A CN 112579557A CN 201910931501 A CN201910931501 A CN 201910931501A CN 112579557 A CN112579557 A CN 112579557A
Authority
CN
China
Prior art keywords
data
user
authority
management node
relationship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910931501.4A
Other languages
English (en)
Inventor
周艳萍
李冬峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201910931501.4A priority Critical patent/CN112579557A/zh
Publication of CN112579557A publication Critical patent/CN112579557A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/211—Schema design and management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2379—Updates performed during online database operations; commit processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供了一种请求响应方法，应用于包括管理节点和存储节点的分布式系统，该方法包括：获取用户的访问请求，其中，访问请求用于请求操作分布式系统的存储节点中的数据；响应于访问请求，调用管理节点中的用户与数据权限关系，确定用户的权限；以及根据用户的权限确定是否对分布式系统的存储节点中的数据进行操作。本公开还提供了一种请求响应装置、一种请求响应系统、一种计算机系统和一种计算机可读存储介质。

Description

请求响应方法、装置、系统、计算机系统和可读存储介质
技术领域
本公开涉及计算机技术领域，更具体地，涉及一种请求响应方法、一种请求响应装置、一种请求响应系统、一种计算机系统和一种计算机可读存储介质。
背景技术
随着业务的高速发展、数据体量急剧增长、数据分析人员快速增多、数据应用场景不计其数。传统的以“保障数据安全”为核心目标构建的数据权限体系已经成为了“数据价值最大化”的一道枷锁。
图1示意性示出了企业传统的数据权限系统的架构图。企业传统的数据权限系统架构100一般采用关系型数据库102存储用户与数据的权限关系，采用数据存储系统103存储企业的生产数据，关系型数据库102与数据存储系统103在物理上是分离的。如图1所示，当用户101申请查看数据时，采用关系型数据库102比对该用户是否具备数据的权限，只有在关系型数据库102比对通过后，数据存储系统103才会响应用户查询和使用数据，否则关系型数据库102返还无权限提不。
在实现本公开的过程中，发明人发现：传统的数据权限系统的缺点是用户每次查询数据必须通过关系型数据库调用权限比对，无法满足海量大数据、高效、高并发数据查询需求，不适用于大数据数据环境，严重降低了数据操作效率。
发明内容
有鉴于此，本公开提供了一种请求响应方法、一种请求响应装置、一种请求响应系统、一种计算机系统和一种计算机可读存储介质。
本公开的一个方面提供了一种请求响应方法，应用于包括管理节点和存储节点的分布式系统，上述方法包括：获取用户的访问请求，其中，上述访问请求用于请求操作上述分布式系统的存储节点中的数据；响应于上述访问请求，调用上述管理节点中的用户与数据权限关系，确定上述用户的权限；以及根据上述用户的权限确定是否对上述分布式系统的存储节点中的数据进行操作。
根据本公开的实施例，上述方法还包括：在调用上述管理节点中的用户与数据权限关系之前，在上述管理节点中创建目标容器，其中，上述目标容器中存储有上述用户与数据权限关系，上述用户与数据权限关系的存储格式为以用户名为key值和以上述用户名拥有的数据授权关系为value值；以及从上述管理节点的目标容器中调用上述用户与数据权限关系。
根据本公开的实施例，上述方法还包括：实时获取权限系统中发生改变的用户与数据权限关系，其中，上述权限系统用于对外提供变更用户与数据权限关系的功能；以及基于实时获取的上述发生改变的用户与数据权限关系，对上述管理节点中的用户与数据权限关系进行更新。
根据本公开的实施例，上述应用于包括管理节点和存储节点的分布式系统包括应用于包括管理节点和存储节点的Hadoop分布式系统。
本公开的另一个方面提供了一种请求响应装置，应用于包括管理节点和存储节点的分布式系统，上述装置包括：第一获取模块，用于获取用户的访问请求，其中，上述访问请求用于请求操作上述分布式系统的存储节点中的数据；响应模块，用于响应于上述访问请求，调用上述管理节点中的用户与数据权限关系，确定上述用户的权限；以及确定模块，用于根据上述用户的权限确定是否对上述分布式系统的存储节点中的数据进行操作。
根据本公开的实施例，上述装置还包括创建模块，用于在调用上述管理节点中的用户与数据权限关系之前，在上述管理节点中创建目标容器，其中，上述目标容器中存储有上述用户与数据权限关系，上述用户与数据权限关系的存储格式为以用户名为key值和以上述用户名拥有的数据授权关系为value值；以及上述响应模块用于从上述管理节点的目标容器中调用上述用户与数据权限关系。
根据本公开的实施例，上述装置还包括第二获取模块，用于实时获取权限系统中发生改变的用户与数据权限关系，其中，上述权限系统用于对外提供变更用户与数据权限关系的功能；以及更新模块，用于基于实时获取的上述发生改变的用户与数据权限关系，对上述管理节点中的用户与数据权限关系进行更新。
根据本公开的实施例，上述应用于包括管理节点和存储节点的分布式系统包括应用于包括管理节点和存储节点的Hadoop分布式系统。
本公开的另一个方面提供了一种请求响应系统，包括：分布式系统，包括管理节点和存储节点，其中，上述管理节点中部署有请求响应装置，上述请求响应装置包括：第一获取模块，用于获取用户的访问请求，其中，上述访问请求用于请求操作上述分布式系统的存储节点中的数据；响应模块，用于响应于上述访问请求，调用上述管理节点中的用户与数据权限关系，确定上述用户的权限；以及确定模块，用于根据上述用户的权限确定是否对上述分布式系统的存储节点中的数据进行操作；权限系统，用于对外提供变更用户与数据权限关系的功能，并向上述分布式系统发送发生改变的用户与数据权限关系。
根据本公开的实施例，上述分布式系统中的上述管理节点基于实时获取的上述发生改变的用户与数据权限关系，对上述管理节点中的用户与数据权限关系进行更新。
本公开的另一个方面提供了一种计算机系统，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现上述的方法。
本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，上述指令在被执行时用于实现上述的方法。
本公开的另一方面提供了一种计算机程序，上述计算机程序包括计算机可执行指令，上述指令在被执行时用于实现上述的方法。
在相关技术中，需要通过与数据存储系统在物理上分离的关系型数据库查询用户是否具有权限，根据本公开的实施例，本公开在响应用户访问请求时，直接调用分布式系统的管理节点中的用户与数据权限关系，确定用户的权限，根据用户权限进行响应，适用于海量数据场景，所以至少部分地克服了相关技术中基于关系型数据库查询数据时查询效率低，难以满足大数据、高效、高并发数据查询需求的技术问题，进而达到了提高数据操作效率的技术效果。
附图说明
通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：
图1示意性示出了企业传统的数据权限系统的架构图；
图2示意性示出了根据本公开实施例的可以应用请求响应方法、请求响应装置、请求响应系统、计算机系统和计算机可读存储介质的示例性应用场景；
图3示意性示出了根据本公开实施例的请求响应方法的流程图；
图4示意性示出了根据本公开实施例的调用用户与数据权限关系的流程图；
图5示意性示出了根据本公开实施例的用户与数据权限关系进行更新的流程图；
图6示意性示出了根据本公开实施例的可以应用请求响应方法、请求响应装置、请求响应系统、计算机系统和计算机可读存储介质的示例性系统架构；
图7示意性示出了根据本公开实施例的请求响应装置的框图；以及
图8示意性示出了根据本公开实施例的适于实现请求响应方法的计算机系统的框图。
具体实施方式
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
本公开所涉及的技术术语解释可以包括如下。
分布式系统(distributed system)：是建立在网络之上的软件系统，具有高度的内聚性和透明性。在分布式系统中展现给用户的是一个统一的整体，但实际上系统拥有多种通用的物理和逻辑资源，可以动态的分配任务，分散的物理和逻辑资源通过计算机网络实现信息交换。
Hadoop：是一个由Apache基金会所开发的分布式系统基础架构。
HDFS是一个分布式文件系统(Hadoop Distributed File System)，简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的(low-cost)硬件上；而且它提供高吞吐量(high throughput)来访问应用程序的数据，适合那些有着超大数据集(large dataset)的应用程序。HDFS放宽了(relax)POSIX的要求，可以以流的形式访问(streamingaccess)文件系统中的数据。分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为ApacheNutch搜索引擎项目的基础架构而开发的。HDFS是Apache HadoopCore项目的一部分。
Hive：是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载(ETL)，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户查询数据。同时，这个语言也允许熟悉MapReduce开发者的开发自定义的mapper和reducer来处理内建的mapper和reducer无法完成的复杂的分析工作。
TB：太字节(Terabyte)，计算机存储容量单位，也常用TB来表示。1TB＝1024GB＝＝2^40字节。
本公开的实施例提供了一种请求响应方法，应用于包括管理节点和存储节点的分布式系统，该方法包括：获取用户的访问请求，其中，访问请求用于请求操作分布式系统的存储节点中的数据；响应于访问请求，调用管理节点中的用户与数据权限关系，确定用户的权限；以及根据用户的权限确定是否对分布式系统的存储节点中的数据进行操作。
图2示意性示出了根据本公开实施例的可以应用请求响应方法、请求响应装置、请求响应系统、计算机系统和计算机可读存储介质的示例性应用场景。
如图2所示，用户可以使用终端设备211、212、213通过网络与分布式系统220交互，以接收或发送数据等。网络用以在终端设备211、212、213和分布式系统220之间提供通信链路的介质。网络可以包括各种连接类型，例如有线和/或无线通信链路等等。
终端设备211、212、213上可以安装有各种通讯客户端应用，例如用于访问分布式系统220的客户端应用、购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。
终端设备211、212、213可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
分布式系统220可以是Hadoop分布式系统，在基于Hadoop分布式系统搭建的企业级大数据(TB级)环境上进行数据查询、读、写数据时，可以通过分布式数据权限管理系统对数据进行权限管理与控制，并满足用户高效(毫秒级)、高并发、实时的数据查询、读、写的需求。
分布式系统220可以包括管理节点1、管理节点2、管理节点3、管理节点N、存储节点1、存储节点2、存储节点3、存储节点M。管理节点1、管理节点2、管理节点3、管理节点N中的任意一个可以对存储节点1、存储节点2、存储节点3、存储节点M中的任意一个执行数据操作。例如，管理节点1执行数据初始化和数据同步操作，并将初始化和同步后的数据存储到存储节点1中；或者，管理节点2执行权限数据动态存储操作，并将数据存储到存储节点2或3中；或者，管理节点N执行实时权限数据比对操作，根据比对结果确定从存储节点M中查找相应数据等等。
需要说明的是，本公开实施例所提供的请求响应方法一般可以由分布式系统220执行。相应地，本公开实施例所提供的请求响应装置一般可以设置于分布式系统220中。
应该理解，图2中的终端设备、网络、管理节点和存储节点的数目仅仅是示意性的。可以根据实现需要，具有任意数目，在此不做限定。
图3示意性示出了根据本公开实施例的请求响应方法的流程图。
请求响应方法应用于包括管理节点和存储节点的分布式系统，如图3所示，该方法包括操作S310～S330。
在操作S310，获取用户的访问请求，其中，访问请求用于请求操作分布式系统的存储节点中的数据。
访问请求可以包括查询数据请求、删除数据请求、修改数据请求、添加数据请求等等。当用户向分布式系统提交访问请求时，可以直接访问分布式系统的访问接口。
在操作S320，响应于访问请求，调用管理节点中的用户与数据权限关系，确定用户的权限。
在操作S330，根据用户的权限确定是否对分布式系统的存储节点中的数据进行操作。
以分布式系统为Hadoop分布式系统为例，当用户向Hadoop分布式系统提交查询请求时，可以直接访问Hadoop系统查询接口。当Hadoop分布式系统收到查询请求时，调用Hadoop系统管理节点中的用户与数据权限关系，比对用户与数据权限关系。若用户具备访问权限，则执行操作，否则返回用户无访问权限。
下面通过一示例，如用户向Hadoop分布式系统提交查询请求，结合图2进行说明。
例如，用户张三希望查询TABLE_A的6月18日的数据，张三想通过Hadoop分布式系统提交的数据查询申请如下所示。
第一步，确定查询语句。参数：User：张三，TABLE_A：select；查询SQL：select*fromtable_Awheredate＝’2017-06-18’。
第二步，当Hadoop分布式系统接收到用户张三的请求后，直接调用管理节点中的用户与数据权限关系进行比对，定位到用户张三的权限数据。Hadoop分布式系统可以预先调用权限系统的数据(图2未示出)，权限系统将用户与数据权限关系写入到Hadoop分布式系统的管理节点中。具体方法如下。
1)用户与数据权限关系在Hadoop分布式系统管理节点NameNode的Map容器中；
示例代码：Map<String，String＞map；//获取当前map容器的对象；
2)遍历NameNode中所有key值为张三的数据，提取张三用户的全部权限；
示例代码：
for(Stringkey：map.keySet()){//使用for-each循环中遍历key值
Ifkey＝“张三”//key值为张三的数据
…
}
张三用户的全部权限为：map·put(″张三″，″TABLE_A：select″)；map·put(″张三″，″TABLE_B：select|insert|alert″)；map.put(″张三″，″TABLE_C：select|insert|alert&drop″)。
3)判断用户张三是否具备权限；
用户提交申请的权限是：(″张三″，″TABLE_A：select″)
张三已具备的权限：map.put(″张三″，″TABLE_A：select″)；map.put(″张三″，″TABLE_B：select|insert|alert″)；map.put(″张三″，″TABLE_C：select|insert|alert&drop″)。
最终通过比对发现，用户张三提交的申请与其已具备的权限匹配，所以代表用户具备此申请的查询权限可以执行操作。反之，提示用户“无权限访问”。
在相关技术中，需要通过与数据存储系统在物理上分离的关系型数据库查询用户是否具有权限，根据本公开的实施例，本公开在响应用户访问请求时，直接调用分布式系统的管理节点中的用户与数据权限关系，确定用户的权限，根据用户权限进行响应，适用于海量数据场景，所以至少部分地克服了相关技术中基于关系型数据库查询数据时查询效率低，难以满足大数据、高效、高并发数据查询需求的技术问题，进而达到了提高数据操作效率的技术效果。
根据本公开的实施例，应用于包括管理节点和存储节点的分布式系统包括应用于包括管理节点和存储节点的Hadoop分布式系统。
根据本公开的实施例，可以基于Hadoop分布式系统(简称：Hadoop系统)技术构建企业的数据维护系统。可以采用Yarn作为Hadoop分布式系统的资源管理器。Yarn(YetAnotherResourceNegotiator，简称：Yarn，另一种资源协调者)是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。
Yarn是一个资源管理、任务调度的框架，主要包含三大模块：ResourceManager(RM)、NodeManager(NM)、ApplicationMaster(AM)。
其中，ResourceManager(简称RM)负责整个集群的资源管理和分配，是一个全局的资源管理系统。
其中，NodeManager(简称NM)是每个节点上的资源和任务管理器，它是管理节点这台机器的代理，负责该节点程序的运行，以及该节点资源的管理和监控。
其中，ApplicationMaster(简称AM)用户提交的每个应用程序均包含1个AM，主要功能包括：与RM调度器协商以获取资源；将得到的任务进一步分配给内部的任务；与NM通信以启动/停止任务；监控任务状态，在任务运行失败时，为任务重新申请资源并重启任务。
下面对Hadoop分布式系统的运行原理进行简要说明。
a)Client客户端向ResourceManager提交应用程序，其中包括启动该应用的ApplicationMaster的必须信息，例如ApplicationMaster程序、启动ApplicationMaster的命令、用户程序等。
b)ResourceManager启动一个container容器用于运行ApplicationMaster。
c)启动中的ApplicationMaster向ResourceManager注册自己，启动成功后与RM保持心跳同步。
d)ApplicationMaster向ResourceManager发送请求，申请相应数目的container容器。
e)ResourceManager返回ApplicationMaster的申请的containers容器信息。申请成功的container容器，由ApplicationMaster进行初始化。container容器的启动信息初始化后，AM与对应的NodeManager通信，要求NM启动container容器。AM与NM保持心跳，从而对NM上运行的任务进行监控和管理。
f)container容器运行期间，ApplicationMaster对container进行监控。container通过RPC协议向对应的AM汇报自己的进度和状态等信息。
g)应用运行期间，client直接与ApplicationMaster通信获取应用的状态、进度更新等信息。
h)应用运行结束后，ApplicationMaster向ResourceManager注销自已，并允许属于它的container被收回。
下面参考图4～图6，结合具体实施例对图3所示的方法做进一步说明。
图4示意性示出了根据本公开实施例的调用用户与数据权限关系的流程图。
如图4所示，该方法包括操作S410～S420。
在操作S410，在调用管理节点中的用户与数据权限关系之前，在管理节点中创建目标容器，其中，目标容器中存储有用户与数据权限关系，用户与数据权限关系的存储格式为以用户名为key值和以用户名拥有的数据授权关系为value值。
在操作S420，从管理节点的目标容器中调用用户与数据权限关系。
根据本公开的实施例，可以在管理节点中创建Map容器。Map容器采用(key)、值(value)的模式存储数据，即采用<key，value＞模式，允许通过键查找值。Map容器结构简单、扩展容易，并且查询效率非常高，是存储用户与数据的授权关系的较佳选择。示例代码：Map<String，String＞map＝new HashMap<String，String＞()。
根据本公开的实施例，在Map容器内，可以存储用户名，用户的数据授权关系。以Map键(key)、值(value)的方式存储容器中。其中，将用户名存入key值，作为用于查询的关键字，将用户拥有的数据授权关系存为value值，用于返回查询结果。
例如，用户张三具备2个数据的授权关系权限，如下所示：拥有数据A的读权限；拥有数据B的读、写、执行表权限；拥有数据C的读、写、执行、递归表权限。
根据本公开的实施例，可以在管理节点为张三创建三条数据权限，如下所示：
Key1＝’张三’；Value1＝’TABLE_A：select’；
Key2＝’张三’；Value2＝’TABLE_B：select|insert|alert；
Key3＝’张三’；Value3＝’TABLE_C：select|insert|alert&recursion’。
根据本公开的实施例，可以将张三的三条数据权限放入Map容器中，map.put为放入方法，如下所示：
map.put(″张三″，″TABLE_A：select″)；
map.put(″张三″，″TABLE_B：select|insert|alert″)；
map.put(″张三″，″TABLE_C：select|insert|alert&drop″)。
图5示意性示出了根据本公开实施例的用户与数据权限关系进行更新的流程图。
如图5所示，该方法包括操作S510～S520。
在操作S510，实时获取权限系统中发生改变的用户与数据权限关系，其中，权限系统用于对外提供变更用户与数据权限关系的功能。
在操作S520，基于实时获取的发生改变的用户与数据权限关系，对管理节点中的用户与数据权限关系进行更新。
根据本公开的实施例，权限系统中发生改变的用户与数据权限关系可以是在用户数据权限初始化过程中发生的。如果将用户与数据授权关系存储在管理节点中，由于管理节点的自身特性会在Hadoop系统关机时被清空，所以Hadoop分布式系统不会永久存储此类数据。必须在Hadoop分布式系统启动时，自动重新加载用户与数据授权关系。
根据本公开的实施例，由于权限系统的Web端的用户与数据权限关系可以是变化的，为了保障Hadoop分布式管理节点中始终保持的是最新的用户与数据权限关系，当用户与数据权限关系变化后，权限系统会立即将变化数据通过接口发送到Hadoop分布式系统的管理节点中。基于实时获取的发生改变的用户与数据权限关系，对管理节点中的用户与数据权限关系进行更新。
图6示意性示出了根据本公开实施例的可以应用请求响应方法、请求响应装置、请求响应系统、计算机系统和计算机可读存储介质的示例性系统架构。需要注意的是，图6所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
根据本公开的实施例，请求响应系统可以包括权限系统620和分布式系统630。
分布式系统630包括管理节点和存储节点，其中，管理节点中部署有请求响应装置，请求响应装置包括第一获取模块、响应模块和确定模块。
第一获取模块用于获取用户的访问请求，其中，访问请求用于请求操作分布式系统的存储节点中的数据。
响应模块用于响应于访问请求，调用管理节点中的用户与数据权限关系，确定用户的权限。
确定模块用于根据用户的权限确定是否对分布式系统的存储节点中的数据进行操作。
根据本公开的实施例，权限系统620用于对外提供变更用户与数据权限关系的功能，并向分布式系统发送发生改变的用户与数据权限关系。
根据本公开的实施例，分布式系统中的管理节点基于实时获取的发生改变的用户与数据权限关系，对管理节点中的用户与数据权限关系进行更新。
根据本公开的实施例，如图6所示，用户可以在用户端610建立、审批、控制用户与数据的关系。在企业中某一个用户能访问、使用的数据是由公司的自身业务决定的。但无论何种业务形态的企业都可以采用用户申请(数据使用者)和管理员审批(数据拥有者)的方式建立用户与数据的关系。
以分布式数据权限系统为例，分布式数据权限系统会开放数据给用户申请。在用户申请时，用户是数据的使用者，用户根据工作需要选择所需的数据，并填写数据使用申请；然后由管理员审批，管理员是数据的拥有者。管理员根据企业的数据安全规定，判断此用户是否能够获得数据权限，若可以审批通过，否则驳回用户申请。其中，用户申请、管理员审批的模式可以有很多种，既可以是电子工单、也可以是邮件、甚至是口头授权等。
根据本公开的实施例，账号是在分布式系统运行时所需的系统账号，类似于window系统的登录密码。一个系统可以同时支持多个账号，账号使得权限与资源是相互隔离。本公开在权限系统中提供了两种账号，包括团队账号和个人账号。
团队账号是指数据使用者以团队team的形式分布在业务部门中。由于同一个team工作内容的一致性，导致他们对数据和计算资源需求十分相似。所以经常有用户要求与某同事一样的数据服务权限。
面对这种情况，为相同team的用户创建了一个teamUser账号，并为此账号内置了数据、计算资源。这样做的优点在于新员工入职后，仅需要知道team内所使用的teamUser并申请加入即可。新员工可以快速开展工作，避免了重复性的数据调研与重复的流程申请。当员工的工作职责扩大或变更时，仅需要增加或变更teamUser账号，即可获得更多数据、计算资源。当发生员工离职时，数据管理者可以便捷的将老员工从teamUser中移除，并将新员工加入到teamUser中即可完成数据交接。
个人账号可以是公司为每位在职员工分配的唯一身份标识。可以严格管控个人账号的数据权限。使用个人账号登录大数据平台时，初始时，没有任何数据权限，需要申请数据使用权限，并仅限本人使用。
在权限系统中可以存储资源，该资源可以是hadoop分布式系统中存储的数据的元数据，可以包括hadoop分布式系统中存储的数据的存储路径，数据名称等等。
hadoop分布式系统中的数据可以以HDFS文件的形式存储，并以数据表的形式对用户提供服务。HDFS可以被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。hadoop分布式系统中还可以建立数据仓库基础构架Hive，用来进行数据提取转化加载等。
数据表可以是一般为产品或资料提供一个详细具体的数据资料，方便用户使用和工作时能够清楚方便的获得相应的数据信息。
授权是指在hadoop分布式系统中构建的账号与资源的关系。主要包括账号对数据的权限控制。例如，select权限：读取数据权限；insert权限：插入数据的权限；alter权限：修改表结构权限；drop权限：删除数据的权限。
根据本公开的实施例，权限系统不是将用户与数据的权限关系存储到关系型数据库中，而是将用户与数据的权限关系直接加载到Hadoop分布式系统的管理节点中运行。
当用户访问hadoop分布式系统，在管理节点中进行实时权限校验，不依赖其他系统。能够胜任海量数据查询、读、写，并在毫米时间内返还结果。
图7示意性示出了根据本公开实施例的请求响应装置的框图。
根据本公开的实施例，请求响应装置应用于包括管理节点和存储节点的分布式系统，如图7所示，请求响应装置700包括第一获取模块710、响应模块720和确定模块730。
第一获取模块710用于获取用户的访问请求，其中，访问请求用于请求操作分布式系统的存储节点中的数据。
响应模块720用于响应于访问请求，调用管理节点中的用户与数据权限关系，确定用户的权限。
确定模块730用于根据用户的权限确定是否对分布式系统的存储节点中的数据进行操作。
在相关技术中，需要通过与数据存储系统在物理上分离的关系型数据库查询用户是否具有权限，根据本公开的实施例，本公开在响应用户访问请求时，直接调用分布式系统的管理节点中的用户与数据权限关系，确定用户的权限，根据用户权限进行响应，适用于海量数据场景，所以至少部分地克服了相关技术中基于关系型数据库查询数据时查询效率低，难以满足大数据、高效、高并发数据查询需求的技术问题，进而达到了提高数据操作效率的技术效果。
根据本公开的实施例，请求响应装置700还包括创建模块，用于在调用管理节点中的用户与数据权限关系之前，在管理节点中创建目标容器，其中，目标容器中存储有用户与数据权限关系，用户与数据权限关系的存储格式为以用户名为key值和以用户名拥有的数据授权关系为value值。
根据本公开的实施例，响应模块720用于从管理节点的目标容器中调用用户与数据权限关系。
根据本公开的实施例，请求响应装置700还包括第二获取模块和更新模块。
第二获取模块用于实时获取权限系统中发生改变的用户与数据权限关系，其中，权限系统用于对外提供变更用户与数据权限关系的功能。
更新模块用于基于实时获取的发生改变的用户与数据权限关系，对管理节点中的用户与数据权限关系进行更新。
根据本公开的实施例，应用于包括管理节点和存储节点的分布式系统包括应用于包括管理节点和存储节点的Hadoop分布式系统。
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
例如，第一获取模块710、响应模块720和确定模块730中的任意多个可以合并在一个模块/单元/子单元中实现，或者其中的任意一个模块/单元/子单元可以被拆分成多个模块/单元/子单元。或者，这些模块/单元/子单元中的一个或多个模块/单元/子单元的至少部分功能可以与其他模块/单元/子单元的至少部分功能相结合，并在一个模块/单元/子单元中实现。根据本公开的实施例，第一获取模块710、响应模块720和确定模块730中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，第一获取模块710、响应模块720和确定模块730中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
需要说明的是，本公开的实施例中请求响应装置部分与本公开的实施例中请求响应方法部分是相对应的，请求响应装置部分的描述具体参考请求响应方法部分，在此不再赘述。
图8示意性示出了根据本公开实施例的适于实现上文描述的方法的计算机系统的框图。图8示出的计算机系统仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图8所示，根据本公开实施例的计算机系统800包括处理器801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。处理器801例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器801还可以包括用于缓存用途的板载存储器。处理器801可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 803中，存储有系统800操作所需的各种程序和数据。处理器801、ROM 802以及RAM 803通过总线804彼此相连。处理器801通过执行ROM 802和/或RAM 803中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 802和RAM 803以外的一个或多个存储器中。处理器801也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例，系统800还可以包括输入/输出(I/O)接口805，输入/输出(I/O)接口805也连接至总线804。系统800还可以包括连接至I/O接口805的以下部件中的一项或多项：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被处理器801执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 802和/或RAM 803和/或ROM 802和RAM 803以外的一个或多个存储器。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (12)

1.一种请求响应方法，应用于包括管理节点和存储节点的分布式系统，所述方法包括：
获取用户的访问请求，其中，所述访问请求用于请求操作所述分布式系统的存储节点中的数据；
响应于所述访问请求，调用所述管理节点中的用户与数据权限关系，确定所述用户的权限；以及
根据所述用户的权限确定是否对所述分布式系统的存储节点中的数据进行操作。
2.根据权利要求1所述的方法，还包括：
在调用所述管理节点中的用户与数据权限关系之前，在所述管理节点中创建目标容器，其中，所述目标容器中存储有所述用户与数据权限关系，所述用户与数据权限关系的存储格式为以用户名为key值和以所述用户名拥有的数据授权关系为value值；以及
从所述管理节点的目标容器中调用所述用户与数据权限关系。
3.根据权利要求2所述的方法，还包括：
实时获取权限系统中发生改变的用户与数据权限关系，其中，所述权限系统用于对外提供变更用户与数据权限关系的功能；以及
基于实时获取的所述发生改变的用户与数据权限关系，对所述管理节点中的用户与数据权限关系进行更新。
4.根据权利要求1所述的方法，其中，所述应用于包括管理节点和存储节点的分布式系统包括应用于包括管理节点和存储节点的Hadoop分布式系统。
5.一种请求响应装置，应用于包括管理节点和存储节点的分布式系统，所述装置包括：
第一获取模块，用于获取用户的访问请求，其中，所述访问请求用于请求操作所述分布式系统的存储节点中的数据；
响应模块，用于响应于所述访问请求，调用所述管理节点中的用户与数据权限关系，确定所述用户的权限；以及
确定模块，用于根据所述用户的权限确定是否对所述分布式系统的存储节点中的数据进行操作。
6.根据权利要求5所述的装置，还包括：
创建模块，用于在调用所述管理节点中的用户与数据权限关系之前，在所述管理节点中创建目标容器，其中，所述目标容器中存储有所述用户与数据权限关系，所述用户与数据权限关系的存储格式为以用户名为key值和以所述用户名拥有的数据授权关系为value值；以及
所述响应模块用于从所述管理节点的目标容器中调用所述用户与数据权限关系。
7.根据权利要求6所述的装置，还包括：
第二获取模块，用于实时获取权限系统中发生改变的用户与数据权限关系，其中，所述权限系统用于对外提供变更用户与数据权限关系的功能；以及
更新模块，用于基于实时获取的所述发生改变的用户与数据权限关系，对所述管理节点中的用户与数据权限关系进行更新。
8.根据权利要求5所述的装置，其中，所述应用于包括管理节点和存储节点的分布式系统包括应用于包括管理节点和存储节点的Hadoop分布式系统。
9.一种请求响应系统，包括：
分布式系统，包括管理节点和存储节点，其中，所述管理节点中部署有请求响应装置，所述请求响应装置包括：
第一获取模块，用于获取用户的访问请求，其中，所述访问请求用于请求操作所述分布式系统的存储节点中的数据；
响应模块，用于响应于所述访问请求，调用所述管理节点中的用户与数据权限关系，确定所述用户的权限；以及
确定模块，用于根据所述用户的权限确定是否对所述分布式系统的存储节点中的数据进行操作；
权限系统，用于对外提供变更用户与数据权限关系的功能，并向所述分布式系统发送发生改变的用户与数据权限关系。
10.根据权利要求9所述的系统，其中，所述分布式系统中的所述管理节点基于实时获取的所述发生改变的用户与数据权限关系，对所述管理节点中的用户与数据权限关系进行更新。
11.一种计算机系统，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至4中任一项所述的方法。
12.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现权利要求1至4中任一项所述的方法。
CN201910931501.4A 2019-09-27 2019-09-27 请求响应方法、装置、系统、计算机系统和可读存储介质 Withdrawn CN112579557A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910931501.4A CN112579557A (zh) 2019-09-27 2019-09-27 请求响应方法、装置、系统、计算机系统和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910931501.4A CN112579557A (zh) 2019-09-27 2019-09-27 请求响应方法、装置、系统、计算机系统和可读存储介质

Publications (1)

Publication Number Publication Date
CN112579557A true CN112579557A (zh) 2021-03-30

Family

ID=75110568

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910931501.4A Withdrawn CN112579557A (zh) 2019-09-27 2019-09-27 请求响应方法、装置、系统、计算机系统和可读存储介质

Country Status (1)

Country Link
CN (1) CN112579557A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114039974A (zh) * 2021-10-20 2022-02-11 支付宝(杭州)信息技术有限公司 一种云容器生成方法、装置、存储介质及电子设备
WO2024061108A1 (en) * 2022-09-21 2024-03-28 Zhejiang Dahua Technology Co., Ltd. Distributed storage systems and methods thereof, device and storage medium
CN114039974B (zh) * 2021-10-20 2024-05-31 支付宝(杭州)信息技术有限公司 向用户提供设备服务的方法、装置、存储介质及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358069A (zh) * 2017-07-16 2017-11-17 塞纳德（北京）信息技术有限公司 一种基于Hue的权限管理系统
CN108289098A (zh) * 2018-01-12 2018-07-17 百度在线网络技术（北京）有限公司 分布式文件系统的权限管理方法和装置、服务器、介质
CN109558433A (zh) * 2017-09-27 2019-04-02 北京京东尚科信息技术有限公司 一种请求访问hdfs的方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358069A (zh) * 2017-07-16 2017-11-17 塞纳德（北京）信息技术有限公司 一种基于Hue的权限管理系统
CN109558433A (zh) * 2017-09-27 2019-04-02 北京京东尚科信息技术有限公司 一种请求访问hdfs的方法和装置
CN108289098A (zh) * 2018-01-12 2018-07-17 百度在线网络技术（北京）有限公司 分布式文件系统的权限管理方法和装置、服务器、介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114039974A (zh) * 2021-10-20 2022-02-11 支付宝(杭州)信息技术有限公司 一种云容器生成方法、装置、存储介质及电子设备
CN114039974B (zh) * 2021-10-20 2024-05-31 支付宝(杭州)信息技术有限公司 向用户提供设备服务的方法、装置、存储介质及电子设备
WO2024061108A1 (en) * 2022-09-21 2024-03-28 Zhejiang Dahua Technology Co., Ltd. Distributed storage systems and methods thereof, device and storage medium

Similar Documents

Publication Publication Date Title
US11711420B2 (en) Automated management of resource attributes across network-based services
US11237912B1 (en) Storage snapshot management
US7987152B1 (en) Federation of clusters for enterprise data management
US7730068B2 (en) Extensible data collectors
CN116737775A (zh) 分布式事件处理系统中的数据序列化
US10445186B1 (en) Associating a guest application within a virtual machine to create dependencies in backup/restore policy
CN109033113B (zh) 数据仓库和数据集市的管理方法及装置
WO2011108695A1 (ja) 並列データ処理システム、並列データ処理方法及びプログラム
EP3173951A1 (en) Integrated framework for secured data provisioning and management
CN103946833A (zh) 管理专用缓存的系统和方法
US20190108253A1 (en) Database Configuration Change Management
US11188450B2 (en) Cloud application architecture using edge computing
US9672231B2 (en) Concurrent access for hierarchical data storage
US11886458B2 (en) Configurable data transformation between different database systems
US11138215B2 (en) Method and system for implementing parallel database queries
WO2018188607A1 (zh) 流处理方法及装置
CN112579557A (zh) 请求响应方法、装置、系统、计算机系统和可读存储介质
US20160210273A1 (en) In-memory workspace management
US11601495B2 (en) Mechanism for a work node scan process to facilitate cluster scaling
US11106670B2 (en) Local identifiers for database objects
WO2023024740A1 (zh) 一种基于容器部署联邦学习任务的方法及装置
US11853286B2 (en) Dynamic deployment of multiple database systems with data reduction
US20230023945A1 (en) Orchestrating and Automating Product Deployment Flow and Lifecycle Management
CN117043764A (zh) 数据库复制到远程部署
US11907176B2 (en) Container-based virtualization for testing database system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210330